JP2009246776A

JP2009246776A - 画像記録再生装置

Info

Publication number: JP2009246776A
Application number: JP2008092370A
Authority: JP
Inventors: Hideto Sakakima; 英人榊間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-03-31
Filing date: 2008-03-31
Publication date: 2009-10-22
Anticipated expiration: 2028-03-31
Also published as: JP5084586B2

Abstract

【課題】様々な視聴環境に応じた再生画像を提供することができ、かつ再生画質を向上させることができる画像記録再生装置を提供する。
【解決手段】画像記録再生装置は、画像記録装置１００と画像再生装置１１０とから構成される。画像記録装置１００は、記録モードに応じて撮影シャッタースピードを設定する第１の決定手段を備える。また、第１の決定手段で決定された撮影シャッタースピードを画像ごとに変更する変更手段と、一定の時間内で、変更された撮影シャッタースピードで複数画像を記録する撮影手段とを備える。画像再生装置１１０は、再生する画像の再生シャッタースピードを決定する第２の決定手段を備える。また、第２の決定手段で決定された再生シャッタースピードに応じて使用する画像を選択する選択手段と、選択手段で選択された画像から表示する画像を作成する作成手段とを備える。
【選択図】図１

Description

本発明は、高フレームレートで画像を撮影し、撮影された画像を再生する画像記録再生装置に関する。

従来、デジタルカメラやデジタルビデオカメラにおいての画像の撮影は、各種パラメータを指定して撮影することが一般的である。ここでいう画像とは、動画像及び静止画像の双方を含んでいる。また、各種パラメータの例としては、シャッタースピード、ホワイトバランス、露出が挙げられる。

これらのパラメータは、撮影時に設定され、設定された値に従ったパラメータで画像が撮影されることになる。よって、基本的にシャッタースピード等のパラメータは各画像に対して１つに決定され、再生時には撮影時のシャッタースピード設定に基づいた画像が再生されることになる。

上記各種パラメータは画像の特徴を決定付けるものであるため、さまざまなパラメータで撮影することで画像の特徴をその画像にあったものとして撮影することが可能である。

例えば、特許文献１に記載の技術は、動画像の撮影時において、静止画像のためにシャッタースピード値を速くしたフレームを一定時間内に１枚ずつ撮影し、挿入する手法により、動画像だけではなく静止画像にも適した画像の記録を実現している。

また、近年、画像を撮影するセンサの高速度化により、超高速度での画像の撮影が可能となりつつある。従来までは、６０ｆｐｓ（frame per second）程度での動画の撮影が限界であったが、６００ｆｐｓまたはそれ以上のフレームレートでの撮影の実現性が高まりつつある。

このセンサを使用することで、シャッタースピードをメタデータとして画像に記録し、再生時にメタデータとして記録されたシャッタースピードから複数枚のフレームを合成して表示するフレームを作成する技術も提案されている。
特開平６−２０５２８４号公報

上記シャッタースピード等の各種パラメータは、撮影時に設定されるものであるため、再生時において、視聴者は記録時のパラメータに依存した再生のみ行うことが可能であった。

例えば、シャッタースピードを遅く設定して撮影した動画像は、再生時にはそのままシャッタースピードの遅い動画像としてのみ再生されることになる。つまり撮影者の意図や趣向を反映した再生のみ実施可能であった。

視聴者によっては、撮影者の趣向とは異なるパラメータで再生を実施することを望む場合も考えられる。再生画像を視聴中に、より時間分解能の高い画像を視聴したいと望む場合等があることは容易に考えられる。その際に、従来の技術では、再生側で撮影時のパラメータを変更して再生するということができないため、視聴者の望む再生形態を提供することができないという課題があった。

このような課題を解決するため、シャッタースピードをメタデータとして画像に記録しておき、再生時に任意の値に変更する技術も考えられている。この技術は、高速フレームレートで画像を記録しておき、メタデータとして記録されたシャッタースピード値に基づいて画像を加算処理し、表示画像を作成する技術である。

しかし、この技術では、一定のフレームレートで画像を記録するため、シャッタースピードの遅い画像を作成する場合は加算処理が必須の処理となる。従って、画像によっては、表示する画像の画質が劣化する可能性がある。

また、フレームレートを速くすることにより、フレーム間の隙間時間の割合が多くなるため、記録した画像の画質が劣化する可能性がある。

本発明の目的は、様々な視聴環境に応じた再生画像を提供することができ、かつ再生画質を向上させることができる画像記録再生装置を提供することにある。

上記目的を達成するために、請求項１記載の画像記録装置と画像再生装置とから構成される画像記録再生装置において、前記画像記録装置は、記録モードに応じて撮影シャッタースピードを設定する第１の決定手段と、前記第１の決定手段で決定された前記撮影シャッタースピードを画像ごとに変更する変更手段と、一定の時間内で、変更された前記撮影シャッタースピードで複数画像を記録する撮影手段とを備え、前記画像再生装置は、再生する画像の再生シャッタースピードを決定する第２の決定手段と、前記第２の決定手段で決定された前記再生シャッタースピードに応じて使用する画像を選択する選択手段と、前記選択手段で選択された画像から表示する画像を作成する作成手段とを備えることを特徴とする。

本発明の画像記録再生装置によれば、様々な視聴環境に応じた再生画像を提供することができ、かつ再生画質を向上させることができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る画像記録再生装置のブロック図である。

図１において、画像記録再生装置は、記録装置（画像記録装置）１００と再生装置（画像再生装置）１１０とから構成される。

記録装置１００は、外部から入力される画像情報を記録し、保存する装置である。具体的には、デジタルカメラ、カムコーダ等が挙げられる。記録装置１００を構成する各要素について以下に述べる。

記録装置操作手段１０１は、画像記録時の記録方法、または記録装置１００の各種操作をユーザーが操作する手段である。操作の具体的な例としては、画像記録の際の各種設定を変更する操作や、記録開始・停止操作である。記録装置操作手段１０１は、記録装置１００に設けられるボタンや、リモコン等が想定される。

記録装置インタフェース部１０２は、記録装置操作手段１０１で操作された情報を受信し、設定情報格納部１０３へ情報を送信する。その後、設定情報格納部１０３で受信した情報が蓄積（格納）される。

シャッタースピード制御部１０４は、設定情報格納部１０３に格納されている、記録する際の設定値を元に、各画像のシャッタースピードを決定する処理を行う。また、シャッタースピード制御部１０４は、エンコーダ１０８に決定されたシャッタースピードを通知し、画像内へシャッタースピード情報を重畳する処理を補佐する。

シャッタースピード変更処理部１０５は、シャッタースピード制御部１０４で決定されたシャッタースピード値に従い、シャッター１０６を制御する処理を行う。

シャッター１０６は、外部から入力される光を一定間隔で遮断するための機構であり、シャッター１０６で遮断される間隔の光を、センサ１０７で蓄積する。センサ１０７として具体的なものは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxside Semiconductor）センサが挙げられる。

エンコーダ１０８は、センサ１０７で蓄積された光を画像に変換する処理を行う。エンコードされた結果は、圧縮符号化される。圧縮方法としては、動画像はＭＰＥＧ−２（Moving Picture Expert Group-2）やＡＶＣ（Advanced Video Coding）／Ｈ．２６４が挙げられる。静止画像は、ＪＰＥＧ（Joint Photographic Expert Group）等が例として挙げられる。また、圧縮しない状態で保存するＲＡＷデータ等も考えられる。

さらに、エンコーダ１０８では、シャッタースピード制御部１０４で決定されたシャッタースピード値を、画像内にメタデータとして重畳する処理を行う。

記録媒体１０９は、エンコーダ１０８で作成された画像データを記録する。具体的な例としては、ＨＤＤ、ＳＤカード、ＤＶＤ等が挙げられる。

次に、再生装置１１０及びそれを構成する各要素について説明を行う。再生装置１１０は記録装置１００で作成された画像データを再生する装置である。

再生装置操作手段１１１は、再生に係わる各種処理や設定をユーザーが操作可能とする機能を提供する。具体的には赤外線リモートコントローラ等が想定される。また、ユーザー操作の例としては、再生の開始・終了指示、また再生方法の設定等が考えられる。

再生装置インタフェース部１１２は、再生装置操作手段１１１によって指示された各種操作情報を受信する処理を行う。

フレーム作成制御部１１３は、再生装置インタフェース部１１２を介して取得されたユーザー操作を元に、表示装置１１７で表示する画像の作成方法を制御する処理を行う。フレーム作成制御部１１３で実施される処理は、デコーダ１１４でデコードされたフレームの中でどのフレームを表示する画像として使用するかを決定する処理と、その選択されたフレームから表示する画像を作成する際の作成方法を決定する処理がある。

決定されたフレーム選択情報は、フレーム選択部１１５へ送信され、決定された作成方法は、フレーム作成部１１６へ送信される。また、フレーム作成制御部１１３において制御のために使用される情報は、ユーザーからの操作情報、デコーダ１１４から出力される、画像内に重畳されたメタデータ及び表示装置１１７から表示装置情報取得部１１８を介して取得される情報である。

デコーダ１１４は、記録装置１００で作成された画像データをデコードし、フレームとして再現する処理を行う。また、デコーダ１１４は、画像データ内に重畳された、シャッタースピード情報等のメタデータ情報を抽出し、フレーム作成制御部１１３へ送信する。

フレーム選択部１１５は、フレーム作成制御部１１３によって決定された、表示に使用する画像情報を元に、実際にフレームの選択処理を行う。

フレーム作成部１１６は、フレーム作成制御部１１３で決定されたフレーム作成方法を元に、表示する画像を作成する処理を行う。

表示装置１１７は、再生装置１１０で作成された表示画像を表示する装置である。

表示装置情報取得部１１８は、表示装置１１７の情報を取得する処理を行う。具体的な情報の例としては、表示装置１１７が再生可能なフレームレート値である。

尚、図１では、記録装置１００と再生装置１１０が別構成として記載されているが、記録装置１００と再生装置１１０が一体となった構成についても同様に考えられる。

図２は、図１における記録装置によって実行される画像の記録処理の手順を示すフローチャートである。

まず、ステップＳ２０１で、記録装置１００を使用するユーザーが、記録モードを記録装置操作手段１０１で設定する。ここで、記録モードとは、シャッタースピードをどのようにフレームごとに変更して記録するかを示すものである。以下、図３を用いて、記録モードの説明を行う。

図３では、２種類の記録モードの例を示している。図３の（ａ）に示しているモードは通常記録モードであり、（ｂ）は動画優先記録モードである。各モードを示す図において、横軸は時間を示しており、矩形の横幅の長さで記録するフレームのシャッタースピード時間を示している。また、本実施の形態で示す記録装置１００で記録可能な最大速度のシャッタースピード時間を１／４８０秒とする。

図３の（ａ）で示す通常記録モードは、シャッタースピードを全てのフレームで１／４８０秒で撮影するモードである。通常記録モードは、その記録装置が可能な最大速度のシャッタースピード値でフレームを撮影するモードである。

通常記録モードの有利な点は、複数のフレームを選択して合成することにより、各種のシャッタースピード値を持つ画像を再生画像として作成可能な点である。通常記録モードの不利な点は、画像を時間方向に複数分割して記録することになるため、全体的にセンサに光を取り込む時間が減少し、画質が一定量劣化することが挙げられる。

図３の（ｂ）で示す動画優先記録モードは、シャッタースピード値を動画の再生に適したシャッタースピード値で記録したフレームを含み、フレームごとにシャッタースピードを変更して記録するモードである。

図３の（ｂ）の例では、一定の期間内で複数の種類のシャッタースピードを持つフレームを記録し、それを繰り返して全体の画像を構成する。図３では、一定の期間として、１／６０秒を、複数のシャッタースピード値として、１／４８０秒、１／２４０秒、１／１２０秒を例として記載している。

動画優先記録モードの利点は、シャッターを閉じる回数が（ａ）の通常記録モードより少ないため、センサ１０７に光を取り込む時間が相対的に増加することによる画質の向上が挙げられる。

例えば、通常記録モードで記録した画像を、１／１２０秒のシャッタースピードで再生する場合、全てのフレームが１／４８０秒で記録されているため、１／４８０秒で撮影された画像を４枚使用して、合成処理等を行い再生する必要がある。

しかし、動画優先記録モードで記録した画像の場合、１／１２０秒で撮影された画像があるため、これをそのまま利用することで、より画質の良い再生画像を提供することが可能となる。

動画優先記録モードの難点としては、ある程度遅いシャッタースピード値で撮影したフレームも存在することになるため、再生時のシャッタースピード値選択に柔軟性が欠けてしまうということが挙げられる。

尚、ここで示した記録モードは単なる一例であり、この他にも様々な記録モードが考えられる。

再び、図２に戻り、ステップＳ２０１で記録モードが設定された後、実際の画像記録が開始される。

ステップＳ２０２で、ユーザーが、記録装置１００の記録装置操作手段１０１により、画像記録の開始を指示する。ステップＳ２０２以降、画像ごとにシャッタースピードを切り替え、画像を記録する処理が開始される。

ステップＳ２０３で、ユーザーから指定された記録モードを元に、記録装置１００のシャッタースピード制御部１０４において画像のシャッタースピードが決定される。その後、ステップＳ２０４で、シャッタースピード変更処理部１０５により、シャッタースピードが変更される。

ステップＳ２０３は、記録モードに応じて撮影シャッタースピード（撮影時のシャッタースピード）を設定する第１の決定手段として機能する。ステップＳ２０４は、第１の決定手段で決定された撮影シャッタースピードを画像ごとに変更する変更手段として機能する。

ステップＳ２０５で、ステップＳ２０４で変更されたシャッタースピードに応じた画像がセンサ１０７から読み込まれ、メモリに蓄積される。ステップＳ２０５は、一定の時間内で、変更された撮影シャッタースピードで複数画像を記録する撮影手段として機能する。ステップＳ２０６で、画像がエンコード処理される。

以上説明を行ったステップＳ２０３からステップＳ２０６までで、１枚の画像が作成される処理が完了する。

ステップＳ２０７で、画像の記録の終了判定を行い、終了していない場合は、ステップＳ２０３へ戻り、画像の記録を継続する。ステップＳ２０７で画像の記録終了が判定された際は、ステップＳ２０８へ進み、記録された画像を図１の記録媒体１０９に保存する。そして、本処理を終了する。

以上、図２のフローにより、図３で示した記録モードに従った画像の記録処理が実施される。

図４は、図１における再生装置によって実行される画像の再生処理の手順を示すフローチャートである。

まず、ステップＳ４０１により、ユーザーが画像の再生を開始する。再生操作は、再生装置操作手段１１１より実施される。

ステップＳ４０２で、再生時のシャッタースピード値が決定される。このシャッタースピード値の決定は、フレーム作成制御部１１３により実施される。ステップＳ４０２は、再生する画像の再生シャッタースピード（再生時のシャッタースピード）を決定する第２の決定手段として機能する。

再生時のシャッタースピードの決定方法としては、ユーザー操作による決定方法、表示装置１１７の特徴から自動的に決定される方法及び再生する画像に応じて自動的に決定する方法等が挙げられる。

ユーザー操作による決定方法は、再生時のシャッタースピード値を、ユーザーが、再生装置操作手段１１１より設定を行い、その設定に従って決定される。

表示装置１１７の特徴から自動的に決定される方法は、表示装置１１７から表示装置情報取得部１１８によって取得される表示装置１１７の情報を元に、フレーム作成制御部１１３が決定する。例えば、表示装置１１７が表示可能なフレームレートが１２０ｆｐｓであった場合、シャッタースピード値を１／１２０秒とする、等である。

再生する画像に応じて自動的に決定する方法とは、デコーダ１１４から取得した画像の情報を元に、再生時のシャッタースピードを決定する方法である。例えば、画像がサッカー等のスポーツを撮影したものである場合は、撮影画像内の動きが速いと予想されるため、シャッタースピードを速めに設定して再生する、等が挙げられる。尚、ここでは３種類の決定方法について説明を行ったが、これに制限されるものではない。

ステップＳ４０２において決定されたシャッタースピードを元に、ステップＳ４０３で、表示するフレームの作成方法を決定する。フレームの作成方法とは、表示するフレームを作成するために使用するフレームの情報の合成方法である。

使用するフレーム情報がフレーム選択部１１５に送信され、合成方法が図１のフレーム作成部１１６に送信される。ステップＳ４０３で行われる処理を、図５を用いて説明する。

図５は、図１の記録装置において、図３の動画優先記録モードで撮影された画像を、シャッタースピード値１／１２０秒で再生する際の例を示す図である。

図５の例では、シャッタースピード値１／１２０秒のフレームが記録されているため、表示するフレームの作成に使用するフレームは記録されている１／１２０秒のフレーム１枚となる。また、使用フレームが１枚であるため、合成する必要がなく、そのままそのフレームを表示することとなる。

ステップＳ４０４以降、１枚の表示画像を作成するフローが開始される。ステップＳ４０４で、表示に使用するフレームを作成するために使用される画像が選択される。ステップＳ４０４の処理は、フレーム選択部１１５で実施される。

ステップＳ４０４は、第２の決定手段で決定された再生シャッタースピードに応じて使用する画像を選択する選択手段として機能する。選択手段は、再生する画像の再生シャッタースピードに近いシャッタースピードを持つ記録された画像を１枚選択する。また、選択手段は、再生する画像の再生シャッタースピードに対し加算処理を施して再生シャッタースピードに近い値となるシャッタースピードを持つ複数の画像を選択する。

ステップＳ４０５で、実施に表示される画像が作成される。ステップＳ４０５の処理はフレーム作成部１１６で実施される。ステップＳ４０５は、選択手段で選択された画像から表示する画像を作成する作成手段として機能する。その後、ステップＳ４０６で、表示フレームが表示装置１１７に送信され、ユーザーに提示される。

ステップＳ４０７で再生の終了判定を行い、再生継続の場合は、ステップＳ４０４へ戻り、画像の提示処理が継続される。再生処理が終了した場合は、本フローを終了する。

以上説明した通り、本実施の形態では、再生装置１１０において、再生する状況に応じたシャッタースピードで再生画像を作成することが可能となる。

例えば、動画像を再生する場合は、動画像に適した形式で撮影されたシャッタースピード値のフレームを選択することで、高画質な動画像を提供することが可能となる。

また、静止画像を再生する場合は、動画像よりシャッタースピード値の速いフレームを選択することで、時間分解能の高いクリアな画像を再生することが可能となる。

次に、再生装置１１０で画像を再生する際に、指定されたシャッタースピード値で記録されたフレームが記録画像に含まれない場合の再生方法について示す。

図６は、図４のステップＳ４０４で実行される処理を示す図である。

具体的には、図６は、図１の記録装置において、図３の動画優先記録モードで撮影された画像を、シャッタースピード値１／８０秒で再生する際の例を示す図である。

図６の例では、シャッタースピード値１／８０秒のフレームが記録されていないため、再生する表示するフレームを作成するため複数のフレームを選択して合成する処理が必要となる。

ここで、表示するフレームの作成に使用するフレームは、記録されている１／２４０のフレーム（Ｉ）と１／１２０秒のフレーム（ＩＩ）の２枚となる。（Ｉ）と（ＩＩ）のフレームを合成することで、１／８０秒のシャッタースピード値を合成により作成することが可能となる。また表示フレームの作成方法は加算処理と決定する。

尚、本説明では、指定された１／８０秒に一致する組み合わせがある例を示したが、この限りではない。一致するものがない場合は、指定されたシャッタースピード値に近いものを選択する手法が考えられる。また選択するフレーム数についても、本説明では２枚を選択する方法を示したが、この限りではない。

また、合成処理についても加算処理を例として示したが、この限りではなく、例えば、シャッタースピード値に応じた重み付け加算等も考えられる。

以上説明した通り、本実施の形態では、再生装置１１０において、再生する状況に応じたシャッタースピードを合成して作成することが可能となり、任意のシャッタースピードで比較的高画質な再生画像を提供することが可能となる。

本発明の実施の形態に係る画像記録再生装置のブロック図である。記録装置によって実行される画像の記録処理の手順を示すフローチャートである。図１における記録装置で記録する画像データの記録モードについて説明する図である。図１における再生装置によって実行される画像の再生処理の手順を示すフローチャートである。図１における再生装置による画像の再生方法について説明する図である（１）。図１における再生装置による画像の再生方法について説明する図である（２）。

符号の説明

１００記録装置
１０１記録装置操作手段
１０２記録装置インタフェース部
１０３設定情報格納部
１０４シャッタースピード制御部
１０５シャッタースピード変更処理部
１０６シャッター
１０７センサ
１０８エンコーダ
１０９記録媒体
１１０再生装置
１１１再生装置操作手段
１１２再生装置インタフェース部
１１３フレーム作成部
１１４デコーダ
１１５フレーム選択部
１１６フレーム作成部
１１７表示装置
１１８表示装置情報取得部

Claims

画像記録装置と画像再生装置とから構成される画像記録再生装置において、
前記画像記録装置は、
記録モードに応じて撮影シャッタースピードを設定する第１の決定手段と、
前記第１の決定手段で決定された前記撮影シャッタースピードを画像ごとに変更する変更手段と、
一定の時間内で、変更された前記撮影シャッタースピードで複数画像を記録する撮影手段とを備え、
前記画像再生装置は、
再生する画像の再生シャッタースピードを決定する第２の決定手段と、
前記第２の決定手段で決定された前記再生シャッタースピードに応じて使用する画像を選択する選択手段と、
前記選択手段で選択された画像から表示する画像を作成する作成手段とを備えることを特徴とする画像記録再生装置。
前記選択手段は、前記再生する画像の前記再生シャッタースピードに近いシャッタースピードを持つ記録された画像を１枚選択することを特徴とする請求項１記載の画像記録再生装置。
前記選択手段は、再生する画像の前記再生シャッタースピードに対し加算処理を施して前記再生シャッタースピードに近い値となるシャッタースピードを持つ複数の画像を選択することを特徴とする請求項１記載の画像記録再生装置。