JP2009077093A - 情報記録再生装置及び情報記録方法及び情報再生方法 - Google Patents

Abstract

【課題】
従来の電子的手ブレ補正では撮影画像の一部を切り出して記録するため、広角な光学系を必要とした。
【解決手段】
撮影された画像よりも大きな範囲を表示して、その中で撮影された画像の位置を調整して手ブレを補正する。望ましくは、撮影時に手ブレ情報を記録し、再生時に手ブレを補正して表示することが良いが、撮影時に手ブレ補正することも可能である。

【選択図】 図１

Description

本発明は、情報記録再生装置及び情報記録方法及び情報再生方法に関するものである。

カメラの手ブレを補正する目的で、従来から特許文献１や特許文献２に示すような技術が実施されている。これらの技術は主に、特許文献１に例を示す光学的な補正技術と、特許文献２に例を示す電子的な補正技術とに大別される。

光学的な補正技術は、撮影用の光学系の一部を偏心させ、手ブレを打ち消すように、撮像素子上に結像する像を移動させることで手ブレを補正するものである。

電子的な補正技術は、実際に記録される画角よりも広い画角を撮像素子上に結像させ、手ブレに追従するように記録する範囲を移動させることで補正するものである。

また、静止画用カメラにおいては、特許文献３に示すように、撮影時に手ブレの補正を行わず、手ブレの情報のみを画像とともに記録し、撮影後に該手ブレの情報を元に撮影した画像を処理して補正する技術も提案されている。

特許第3424440号公報 特許第2584383号公報 特開昭63-187883号公報

前記従来技術のうち、電子的な補正技術では、実際に記録される画角よりも広い画角を撮像素子に結像させるために、広角撮影用の光学系（以下、広角光学系と呼ぶ）を必要とする。

また、光学的な補正技術においても、撮影用光学系全体の向きを変えずに撮像素子に結像する像を移動するには、手ブレ補正の余裕分を持つ広角な光学系が必要である。すなわち、撮影用光学系を構成するレンズのうち、手ブレ補正用に移動させるレンズよりも被写体側にある部分は、広角光学系と同等のものが必要になる。

一般に広角光学系は、前玉径が大きくなるためカメラ全体の大きさやデザインに影響を与え、コストも上昇する。しかし、従来の手ブレ補正技術では、広角光学系で撮像した画素を手ブレ補正処理するため、広角光学系で撮像した画素全てを記録できるわけではなく、所定数減少した後の画素が記録されることになる。つまり、従来の手ブレ補正技術ではこれらのデザイン的、コスト的負担に関わらず、広角光学系が有する画角より狭い画角しか記録できない。

本発明は、これらの課題を解決し、情報を適切に記録又は再生することができる情報記録再生装置及び情報記録方法及び情報再生方法を提供することを課題とする。

本発明では、従来の電子的な補正技術を改良し、撮像素子から読み出した画像をフレームバッファに一時的に保持することで前記課題を解決する。フレームバッファに格納可能な画素数は撮像素子の画素数よりも多くし、撮像素子に結像した範囲よりも広い範囲の画角の画像を保持可能としておく。そして、手ブレの移動量に応じて、撮像素子から読み出した画像をフレームバッファ上に配置する位置を移動させ、このフレームバッファ全体または一部を切り出して記録することで手ブレ補正を実現する。

また本発明の別な実現方法として、撮影時ではなく、再生、表示する際に手ブレを補正することもできる。この方法では、撮影時に撮像素子から読み出した画像と手ブレの情報を記録し、表示する際には再生した画像をフレームバッファに一時的に保持する。再生した画像をフレームバッファに配置する際には、撮影時に記録した手ブレによる移動量の情報に応じて、フレームバッファ上に配置する位置を移動させ、このフレームバッファ全体または一部を切り出して表示することで手ブレ補正を実現する。

本発明によれば、情報を適切に記録又は再生することができる情報記録再生装置、及び情報記録方法及び情報再生方法を提供することができる。

本発明の好適な実施例を図面を用いて説明する。

本発明の第１の実施例を、図１に従って説明する。

図１は、本発明による手ブレ補正装置を搭載した情報記録再生装置の概略を示すブロック図である。ここでは、一例として情報記録再生装置がビデオカメラである場合について説明するが、これに限られることはない。

図１において１は信号処理系であり、１１はレンズであり、１２は撮像素子であり、１３は撮像素子制御部であり、１４は書き込み制御部であり、１５はフレームバッファであり、１６は記録部であり、１７は手ブレ検出部であり、１６１は電子ズーム部であり、１６２はコーデック部であり、１６３はメディア制御部であり、１６４はＤＶＤドライブであり、１６５はＨＤＤであり、２は操作系であり、３はバッテリであり、４はマイコンであり、５はＬＣＤであり、６は外部出力端子である。ここで、１６４はＤＶＤに情報を記録可能なドライブとしたが、例えばＢＤやＨＤ ＤＶＤ等の媒体であってもよい。また、１６５はＨＤＤとしたが、これについてもメモリ等の記憶装置であってもよい。 信号処理系１のうち、レンズ１１と撮像素子１２と撮像素子制御部１３と記録部１６と手ブレ検出部１７は、一般的に電子式手ブレ補正装置に使用されているものを用いることができ、書き込み制御部１４とフレームバッファ１５は本発明の実施のために追加した要素である。

本発明で用いるフレームバッファ１５が保持可能な画素数は、撮像素子１２の画素数に加えて、手ブレ補正のための余裕分を持たせる。例えば、撮像素子１２の画素数が縦４８０画素、横６４０画素であり、発生する手ブレの量が撮影中の画角の１０％以下であると見積もるならば、フレームバッファ１５の画素数は撮像素子１の縦横の画素数に１０％の余裕分を加え、縦５２８画素、横７０４画素とする。

次に図１にしたがって本実施例の動作を説明する。

撮像素子制御部１３は、レンズ１１から取り込んだ撮像素子１２内の画素を順次読み出し、デジタル変換した上で1フレームごとの画像情報として書き込み制御部１４に送る。手ブレ検出部１７はカメラの手ブレの向きと量を検出して、手ブレ情報として書き込み制御部１４に送る。手ブレ検出部１７は、たとえば角速度センサで実現できるが、撮像素子制御部１３の出力である映像信号を画像処理して手ブレ検出を実現することも可能である。

書き込み制御部１４は、撮像素子制御部１３から送られた画像情報を1フレームごとにフレームバッファ１５に書き込む。この際書き込み制御部１４は、手ブレ検出部１７から送られた手ブレの向きと量に関する手ブレ情報に基づいて、フレームバッファに画像情報を書き込む位置を移動させる。
具体的には、新しいフレームを書き込む際に、１つ前のフレームの書き込み以後に発生した手ブレの向きと量に応じて、書きこむ位置を毎回移動させる。

ここで、フレームバッファ上で画像情報を書き込む位置の移動量を、発生した手ブレの量と同じにすれば、結果として手ブレの影響を無くすことが出来る。また、フレームバッファ上で画像情報を書き込む位置の移動量を、発生した手ブレの量よりも少なくした場合には、手ブレの影響を完全に無くすことは出来ず、ただ影響を緩和するだけであるが、その場合にはフレームバッファが保持すべき画素数を減らすことができる。

これにより、フレームバッファ上のフレームの位置は手ブレの向きと量と同じだけ移動するが、撮影された被写体はブレの影響を受けることなく、例えば静止した被写体に対しては静止した映像が得られる。この結果、フレームバッファ１５上の画像は手ブレが補正されたのと同様なものとなる。

記録部１６は、フレームバッファ１５上の画像を読み出し、その画像を電子ズーム部１６１によって記録に適した画素数の画像に変換し、次にこの画像をコーデック部１６２によって圧縮したデータとし、次にこの圧縮したデータをメディア制御部１６３を用いてＤＶＤ１６４またはＨＤＤ１６５に記録する。
また、書き込み制御部１４は、フレームバッファ１５の内容をフレームの書き込みごとに消去したり、あるいは消去せずに前のフレームの画像の上に書き加えても良い。フレームバッファ１５の内容をフレームの書き込みごとに消去する場合は、記録される画面内の物体は常に同じ時点のものであり、正しい位置関係で表示される。一方、消去せずに前のフレームの画像の上に書き加える場合には、１つの画面の中に最新の画像情報のみならず過去に書きこまれた画像情報も残り、画面内の物体の位置関係が実際とは異なって表示されることもあるが、擬似的に撮影画角を広げる効果もある。

図２に信号処理回路１が記録開始から記録終了までに実行する動作のフローチャートを示す。以下のフローチャートに示す動作は、マイコン４、撮像素子制御部１３、書き込み制御部１４およびメディア制御部１６３による制御の下で実行されるものとして説明する。

ユーザーによる記録開始指示等により、ビデオカメラの記録が開始される（ステップＳ２１）。撮像素子制御部１３は撮像素子から被写体の映像情報を取得する（ステップＳ２２）。書き込み制御部１４は手ブレ検出部１７から手ブレの向きと量に関するフレーム間の手ブレ情報を取得する（ステップＳ２３）。書き込み制御部１４は、手ブレ情報とフレームの画像から、書き込み開始座標（初期位置とブレ移動量の合計）でフレームバッファ１５上にフレームの書き込みを開始する（ステップＳ２４）。この際の初期位置には、記録開始時点でのフレームの位置を使ってもよいし、任意の座標点を使ってもよい。フレームバッファ１５上に記録された画像は、記録部１６へ出力される（ステップＳ２５）。画像情報は、記録部１６内部のコーデック部１６２で圧縮され、ＤＶＤ１６４またはＨＤＤ１６５の記録媒体に記録される（ステップＳ２６）。操作系２から記録終了指示が出ていればそのまま記録を終了する（ステップＳ２８）。記録終了指示が出ていない場合、そのままステップＳ２２〜２６を繰り返す。この際、バッファ上の前のフレームを消去する場合はＳ２７で消去するが、消去しない場合はＳ２７をなくすこととする。

上記の動作により記録された画像の一例を図５〜９に従って説明する。図５〜９は、それぞれ本実施例によって手ブレ補正された映像の１フレーム目、３フレーム目、１６フレーム目、４７フレーム目、６０フレーム目を表す模式図である。
まず図５は、撮影された１フレーム目を表示した状態を示している。フレームバッファが保持する画素は、撮像素子から取得する画像情報の画素よりも多いため、１フレーム目の周りに画像のない領域を黒く塗りつぶして表示している。
次に図６では、１フレーム目と２フレーム目の画像を表示した上に、３フレーム目を表示した状態を示している。３フレーム目は、１フレーム目、２フレーム目に比べ、手ブレによりわずかに画面左側を撮影しているため、フレームバッファ内でわずかに左に移動した位置に表示している。ここでは分かりやすくするために、最新のフレームの周囲に矩形の枠を描いている。また古いフレームの画像は薄く表示してある。図中の矢印は、手ブレの方向を模式的に示している。矢印は便宜的に手ブレの方向を示すために記載されているため、矢印の長さと手ブレの量は比例していない。
次に図７では、１から１５フレーム目までの画像の上に１６フレーム目を表示した状態を示している。
次に図８では、１から４６フレーム目までの画像の上に４７フレーム目を表示した状態を示している。
次に図９では、１から５９フレーム目までの画像の上に６０フレーム目を表示した状態を示している。

以上のように、本実施例によれば、フレームバッファ（の枠）の中で、撮像素子から取得する画像情報（の枠）が移動して記録される。このようにすれば、本発明によれば、図５〜９で見るように手ブレを補正したのと同様に記録、表示することができる。また、上記の例では、カメラの光学系が持つ本来の画角全体が表示されるだけではなく擬似的に光学系の画角以上の領域を表示している。

なお、本発明により手ブレを補正した画像には、フレームバッファ上で撮影した範囲の外側に余白部分があり、上記では前のフレームを消去せずに表示したが、次の（１）から（２）に例示するように処理して表示しても良い。
（１）余白部分を別に用意した背景画像で埋める。この場合、背景画像の前で、撮影した画像の範囲である矩形の枠が手ブレとともに揺れ動いて見える。
（２）撮影した範囲の外側を画像処理によって埋める。この画像処理としては、フラクタルなどの高度なアルゴリズムを用いて撮影した範囲の外側の画像を推測するものであっても良いし、単純なぼかし処理で撮影した範囲の枠を目立たなくするだけの物であっても良い。
上記の処理は、画像に視覚効果を与えて娯楽性を高める効果もある。

また、本実施例により、例えば撮影者が激しく揺れる乗り物の中から外の映像を撮影しても、振動することの無い安定した映像を撮影することが可能である。これにより視聴者が酔って気分が悪くなること等を防止する効果を得る。

本発明の第２の実施例を、図３と図４に従って説明する。本実施例は、手ブレ処理を撮影時と再生時の２つに分けたことを特徴とする。
ここでは、一例として情報記録再生装置がビデオカメラとビデオプレイヤーである場合について説明するが、これらに限られることはない。

図３は、本発明の第２の実施例のビデオカメラの信号処理系の概略を示すブロック図である。図３において１６６は重畳器であり、それ以外は図１と同じである。
また、図３における構成は図１と比べ、書き込み制御部１４およびフレームバッファ１５を有していないが、重畳器１６６を有している。
さらに、レンズ１１と撮像素子１２と撮像素子制御部１３と手ブレ検出部１７は、一般的に電子式手ブレ補正装置に使用されているものを用いることができる。また、記録部１６内の、重畳器６４以外の要素も一般的に電子式手ブレ補正装置に使用されているものを用いることができ、重畳器６４は本発明の実施のために追加した要素である。

図４は、本発明の第２の実施例のビデオプレーヤーの信号処理系の概略を示すブロック図である。図４において１８は、映像が記録されたメディアを再生する再生部であり、１８３は分離器であり、１９は表示出力部であり、それ以外は図１と同じである。
また、図４における構成は図１と比べ、手ブレ検出部１７を有していないが分離器１８３を有している。
再生部１８のＤＶＤ１８４とＨＤＤ１８５とメディア制御部１８１とコーデック部１８２は、一般的にビデオプレーヤーに使用されているものを用いることができ、分離器１８３は本発明の実施のために追加した要素である。
表示出力部１９は、一般的にビデオプレーヤーに使用されているものを用いることができ、書き込み制御部１４とフレームバッファ１５は本発明の実施のために追加した要素である。

なお、本実施例では、重畳器６４をコーデック部１６２の前段に設け、分離器１８３をコーデック部１８２の後段に設けているが、手ブレ情報が正確に重畳、分離できるならば、それぞれ重畳器６４をコーデック部１６２の後段に設け、分離器１８３をコーデック部１８２の前段に設けても良い。

本発明で用いるフレームバッファ１５が保持可能な画素数は、コーデック部１８２が出力するフレームの画素数に加えて、手ブレ補正のための余裕分を持たせる。例えば、コーデック部１８２が出力する画素数が縦４８０画素、横６４０画素であり、手ブレの量が撮影中の画角の１０％以下であると見積もるならば、フレームバッファ１５の画素数はコーデック部１８２が出力する縦横の画素数に１０％の余裕分を加え、縦５２８画素、横７０４画素とする。

次に図３と図４に従って本実施例の動作を説明する。

まず図３を用いて、撮影時の処理を説明する。
撮像素子制御部１３は、撮像素子１２内の画素を順次読み出し、デジタル変換した上で1フレームごとの画像情報として記録部１６に送る。
記録部１６は、電子ズーム部１６１によって撮像素子制御部１３の出力である１フレームの画像を記録に適した画素数に変換し、次に重畳器１６６によって、手ブレ検出部１７の出力である手ブレ情報を画像に重畳し、次にこの画像をコーデック部１６２によって圧縮し、次にメディア制御部１６３を用いてメディアに記録する。
この時点でメディアに記録される画像は手ブレ補正されておらず、手ブレ情報が重畳されている点が従来の方法で記録された画像と異なる。

次に図４を用いて、再生時の処理を説明する。
再生部１８は、メディア制御部１８１によって圧縮された画像情報をメディアから読み出し、コーデック部１８２によって画像情報を展開し、分離器１８３によって画像に重畳された手ブレ情報を分離し、この手ブレ情報と画像情報を書き込み制御部１４に送る。
書き込み制御部１４は、再生部１８から送られた画像情報を1フレームごとにフレームバッファ１５に書き込む。
この際書き込み制御部１４は、分離器１８３によって分離された手ブレの向きと量に関する手ブレ情報に基づいて、フレームバッファに画像情報を書き込む位置を移動させる。
具体的には、新しいフレームを書き込む際に、１つ前のフレームの書き込み以後に発生した手ブレの向きと量に応じて、書きこむ位置を毎回移動させる。
この結果、フレームバッファ１５上の画像は手ブレが補正されたのと同様なものとなる。
表示出力部１９はフレームバッファから１フレームごとに画像を読み出し、ディスプレイなどの表示装置に出力する。

本実施例においても前記書き込み制御部１４は、第１の実施例と同様に、再生部１８から送られた画像以外に、予め用意した画像や、書き込み制御部１４が生成した画像をフレームバッファ１５に書き加えても良い。また、書き込み制御部１４は、フレームバッファ１５の内容をフレームの書き込みごとに消去したり、あるいは消去せずに前のフレームの画像の上に書き加えても良い。

また書き込み制御部１４は、撮像素子制御部１３から送られた画像情報にアフィン変換やその他の画像変換処理を加えた上でフレームバッファ１５に書き込んでも良い。

本実施例では、撮像素子１２によって撮影された画像がそのままメディアに記録されるため、画像の劣化を伴わない。また、再生側の手ブレ処理は再生時にリアルタイムに行う必要は無く、時間をかけて行い、別の記録装置に保存しておくことも出来る。

本発明による手ブレ補正は、高価な広角光学系なしに安価なビデオカメラを実現する用途に利用可能である。

また、本発明による手ブレ補正の結果、撮影された画像の周囲に特有の処理が施されており、新しい種類の画像効果として利用可能である。

図１は、本発明による手ブレ補正装置を搭載した第１の実施例のビデオカメラの概略を示すブロック図である。 図２は、本発明の第１の実施例の記録開始から記録終了までに実行する動作のフローチャートである。 図３は、本発明の第２の実施例のビデオカメラの撮影時処理を行う信号処理系の概略を示すブロック図である。 図４は、本発明の第２の実施例のビデオプレーヤーの再生時処理を行う信号処理系の概略を示すブロック図である。 本発明により手ブレ補正された画像の例の１フレーム目を示す模式図。 本発明により手ブレ補正された画像の例の３フレーム目を示す模式図。 本発明により手ブレ補正された画像の例の１６フレーム目を示す模式図。 本発明により手ブレ補正された画像の例の４７フレーム目を示す模式図。 本発明により手ブレ補正された画像の例の６０フレーム目を示す模式図。

符号の説明

１ 信号処理系
２ 操作系
３ バッテリ
４ マイコン
５ LCD
６ 外部出力端子
１１ レンズ
１２ 撮像素子
１４ 書き込み制御部
１５ フレームバッファ
１６ 記録部
１６２ コーデック部
１６４ DVD
１６５ HDD
１６６ 重畳器
１７ 手ブレ検出部
１８ 再生部
１８２ コーデック部
１８３ 分離機
１８４ DVD
１８５ HDD
１９ 表示出力部

Claims (18)

1. 記録媒体に対して映像情報の記録および再生を行う情報記録再生装置であって、
   被写体を撮影して前記被写体の映像情報を取得する撮影手段と、
   前記撮影手段により取得した前記映像情報を１フレームごとにフレームバッファに書き込む書き込み制御手段と、
   前記フレームの画素数よりも多くの画素数を保持可能なフレームバッファと、
   前記情報記録装置の手ブレの方向及び量に関する手ブレ情報を検出する手ブレ情報検出手段と、
   フレームバッファ上の前記映像情報を前記記録媒体に記録する記録手段とを有し、
   前記書き込み制御手段は、前記手ブレ情報を元に前記フレームを書き込むフレームバッファ上の位置を制御することを特徴とする情報記録再生装置。
2. 請求項１記載の情報記録再生装置であって、
   前記書き込み制御手段は、新しいフレームを書き込む際に、１つ前のフレームの書き込み以後に発生した手ブレの向きと量と同じ分、フレームバッファ上の書きこむ位置を毎回移動させることを特徴とする請求項１記載の情報記録再生装置。
3. 請求項１記載の情報記録再生装置であって、
   前記書込み制御手段が前記フレームバッファ上にフレームを書き込む際に、フレームバッファに残された前のフレームを消去せずに、新しいフレームを上書きすることを特徴とする請求項１記載の情報記録再生装置。
4. 請求項１記載の情報記録再生装置であって、
   前記書込み制御手段が、前記フレームバッファ上のフレームの周囲に、予め用意された画像を書き込むことを特徴とする請求項１記載の情報記録再生装置。
5. 請求項１記載の情報記録再生装置であって、
   前記書込み制御手段が、前記フレームバッファ上のフレームの周囲に、画像処理により生成した画像を書き込むことを特徴とする請求項１記載の情報記録再生装置。
6. 映像情報を記録媒体に記録する情報記録方法であって、
   被写体を撮影して映像情報としてフレームを取得するステップと、
   揺れを検出する手ブレ情報検出手段により手ブレの向きと量を含む手ブレ情報を取得するステップと、
   前記手ブレ情報を元にフレームの書き込み位置を算出し、前記映像情報のフレームをフレームバッファ上の算出した位置に書き込むステップと、
   フレームバッファ上の画像を記録媒体に記録するステップを有することを特徴とする情報記録方法。
7. 請求項６記載の情報記録方法であって、
   フレームバッファ上にフレームを書き込む際に、フレームバッファ上に残された前のフレームを消去せずに、新しいフレームを上書きすることを特徴とする請求項６記載の情報記録方法。
8. 請求項６記載の情報記録方法であって、
   フレームバッファ上のフレームの周囲に、予め用意された画像を書き込むことを特徴とする請求項６記載の情報記録方法。
9. 請求項６記載の情報記録方法であって、
   フレームバッファ上のフレームの周囲に、画像処理により生成した画像を書き込むことを特徴とする請求項６記載の情報記録方法。
10. 記録媒体に対して映像情報の記録および再生を行う情報記録再生装置であって、
    記録媒体に記録された映像情報のフレームを、１フレームごとに再生する再生手段と、
    前記再生手段が再生したフレームからフレーム間の手ブレの向きと量を含む手ブレ情報を分離する分離手段と、
    前記再生手段が再生した画像を１フレームごとにフレームバッファ上に書き込む、書き込み制御手段と、
    前記フレームの画素数よりも、多くの画素数を保持可能なフレームバッファとを有し、
    前記書き込み制御手段は、前記手ブレ情報を元に、前記映像情報のフレームをフレームバッファ上に書き込む位置を制御することを特徴とする情報記録再生装置。
11. 請求項１０記載の情報記録再生装置であって、
    前記書き込み制御手段は、新しいフレームを書き込む際に、１つ前のフレームの書き込み以後に発生した手ブレの向きと量と同じ分、フレームバッファ上の書きこむ位置を毎回移動させることを特徴とする請求項１０記載の情報記録再生装置。
12. 請求項１０記載の情報記録再生装置であって、
    前記書込み制御手段が前記フレームバッファ上にフレームを書き込む際に、フレームバッファに残された前のフレームを消去せずに、新しいフレームを上書きすることを特徴とする請求項１０記載の情報記録再生装置。
13. 請求項１０記載の情報記録再生装置であって、
    前記書込み制御手段が、前記フレームバッファ上のフレームの周囲に、予め用意された画像を書き込むことを特徴とする請求項１０記載の情報記録再生装置。
14. 請求項１０記載の情報記録再生装置であって、
    前記書込み制御手段が、前記フレームバッファ上のフレームの周囲に、画像処理により生成した画像を書き込むことを特徴とする請求項１０記載の情報記録再生装置。
15. 記録媒体に記録された映像情報を再生する情報再生方法であって、
    再生したフレームからフレーム間の手ブレの向きと量を含む手ブレ情報を分離するステップと、
    前記手ブレ情報を元にフレームの書き込み位置を算出し、前記再生したフレームをフレームバッファ上の算出した位置に書き込むステップと、
    フレームバッファ上の画像を出力して表示するステップとを有することを特徴とする情報再生方法。
16. 請求項１５記載の情報再生方法であって、
    フレームバッファ上にフレームを書き込む際に、フレームバッファ上に残された前のフレームを消去せずに、新しいフレームを上書きすることを特徴とする請求項１５記載の情報再生方法。
17. 請求項１５記載の情報再生方法であって、
    フレームバッファ上のフレームの周囲に、予め用意された画像を書き込むことを特徴とする請求項１５記載の情報再生方法。
18. 請求項１５記載の情報再生方法であって、
    フレームバッファ上のフレームの周囲に、画像処理により生成した画像を書き込むことを特徴とする請求項１５記載の情報再生方法。

Images