JP2012039177A5 - - Google Patents

Description

特開２００６−１８６８８５号公報 特開２００７−０２００４５号公報

前記の課題を解決するため、本発明の撮像装置は、ローリングシャッタ方式で複数フレームを連続して撮影する撮影手段と、撮影された画像を格納するバッファメモリと、フレーム間の動き量を検出する動き検出手段と、検出された動き量を格納するメモリと、バッファメモリに格納された撮影画像を補正する補正手段と、補正された画像を出力する出力手段とを備え、補正手段は、撮影画像の所定のフレームの各ラインの撮影時刻における動き量に基づいて、出力する画像の各ラインの画素を撮影された複数フレームのどこから読み出すかを決定し、決定された読み出し位置が所定のフレームの撮影範囲を超えている画素に対しては、所定のフレームの前後に撮影されたフレームから対応する画素を読み出すことで撮影画像を補正することを特徴とする。

図３はビデオカメラ１００が右方向に動いた場合に（パンニング）、動き検出部１１０が時間経過（縦軸）に対して検出した水平方向の動き量ｄ（横軸）の例を示す。動き検出部１１０は撮像センサ１０５から１フレーム分の画像信号が出力される期間に、図中に黒丸で示すように、複数回継続して動き量ｄ(本実施例の場合は水平方向の動き量)を検出する。ここで、動き量ｄはフレーム０のライン０を基準として、それに対する相対位置を右方向を正とする符号付きで表す。フレーム０の任意のラインｅの出力時の動き量ｄ［０］［ｅ］は、検出された複数の動き量ｄを補間して算出することで求められる。例えば、フレーム０の終端ラインＥ−１の出力時の補間された動き量はｄ［０］［Ｅ−１］と表される。検出された動き量および補間により求められた動き量は、ＣＰＵ１０１の制御のもとでＲＡＭ１０２に記憶される。

図１１はビデオカメラ１００が上方向に動いた場合の、時間経過（横軸）に対する各ラインの撮影位置の例を示す。縦に８、横に１６並んでいる実線で区切られた矩形領域は、撮像センサの各ラインが、時間経過に対してどのように動いているかを示している。ここでは図を単純化するために、有効画像のライン数Ｅ＝６、垂直ブランキングのライン数Ｂ＝２、合計のライン数を８として図示している。左から８列分がフレーム−１を撮影している期間であって、中央から右に８列分がフレーム０を撮影している期間を示す。太線で区切られた矩形領域は、その時刻に撮影されているラインであることを示す。また、図の上下方向は撮影画像の最上部からの距離に対応し、隣接する太線矩形領域が上下方向で一部重なっているのはチルティングによるカメラの上方向の動きによる。したがって、チルティング下で得られる撮影画像（太線領域１１１１〜１１１６）は、矩形領域１１１１〜１１２０に対応する画像より画像の垂直方向において狭い範囲の画像となる。この撮影画像がＥラインの１フレームの画像として記憶された場合、図１３の画像１３０３のように垂直方向に引き伸ばされた画像になる。例えば、左端の上端にある太線で区切られた矩形領域１１０１は、フレーム−１のライン０がこの時刻に撮影されることを示す。その右隣下の矩形領域１１０２は、上方向のチルティングにより移動したフレーム−１において、ライン１が次に撮影されることを示す。

Claims (10)

1. ローリングシャッタ方式で複数のフレームを連続して撮影する撮影手段と、
   撮影された複数のフレームの撮影画像を格納するバッファメモリと、
   フレーム間の動き量を検出する動き検出手段と、
   前記バッファメモリに格納された撮影画像を補正する補正手段と、
   前記補正手段で補正された画像を出力する出力手段とを備え、
   前記補正手段は、前記撮影画像の所定のフレームの各ラインの撮影時刻における動き量に基づいて、出力する画像の各ラインの画素を前記撮影された複数のフレームのどこから読み出すかを決定し、
   決定された読み出し位置が前記所定のフレームの撮影範囲を超えている画素に対しては、前記所定のフレームの前後に撮影されたフレームから対応する画素を読み出すことで前記撮影画像を補正することを特徴とする撮像装置。
2. 前記補正手段は、前記対応する画素の読み出し位置を、当該対応する画素が読み出されるフレームの各ラインの撮影時刻における動き量に基づいて算出することを特徴とする請求項１記載の撮像装置。
3. 前記補正手段は、前記所定のフレームの先頭ラインの撮影時刻を基準として、各ラインの撮影時刻における動き量から、前記出力する画像の各ラインの画素を前記所定のフレームのどこから読み出すかを決定し、
   前記決定された読み出し位置が前記所定のフレームの撮影範囲を超えている画素に対しては、前記所定のフレームの１つ前に撮影されたフレームから対応する画素を読み出すことを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正手段は、前記出力画像の各ラインの画素の決定された読み出し位置が、前記所定のフレーム及び前記所定のフレームの前後に撮影されたフレームの撮影範囲を超えている場合、前記撮影範囲を超えない範囲で前記ラインの読み出し位置を決定し、前記ラインの読み出し位置から前記画素の読み出し位置を算出することを特徴とする請求項１または２に記載の撮像装置。
5. 前記補正手段は、撮影画像の所定のフレームの中間ラインの撮影時刻を基準として、各ラインの撮影時刻における動き量から、前記各ラインの読み出し位置を決定し、
   読み出し位置が決定された各ラインに含まれる画素のうち前記所定のフレームの撮影範囲を超えた画素に対しては、前記画素のラインが出力画像の中間ラインより前か後ろかに応じて、前記フレームの１つ前又は１つ後に撮影されたフレームから読み出すことを特徴とする請求項１または２に記載の撮像装置。
6. 前記補正手段は、撮影画像の所定のフレームの各ラインの撮影時刻における動き量から、当該ラインの読み出し位置を決定し、
   読み出し位置が決定された各ラインに含まれる画素のうち、前記所定のフレームの撮影範囲の境界近傍にある画素に対しては、前記所定のフレームから読み出した画素と、前記所定のフレームの前後に撮影されたフレームから読み出した画素とを前記境界からの距離に応じた比率で合成し、
   前記所定のフレームの前後に撮影されたフレームからの画素の読み出し位置を、当該フレームの各ラインの撮影時刻における動き量から算出することを特徴とする請求項１または２に記載の撮像装置。
7. 複数回継続した検出で得られた動き量から、前記装置がパンニングまたはチルティングしているかどうかを判定する判別手段を備え、
   前記補正手段は前記装置がパンニングまたはチルティングしている場合のみ、前記検出された動き量に基づいて撮影画像を前記バッファメモリからの読み出すことを特徴とする請求項１ないし６の何れか１項に記載の撮像装置。
8. ローリングシャッタ方式で複数のフレームを連続して撮影する撮影手段と、
   撮影された複数のフレームの撮影画像を格納するバッファメモリと、
   フレーム間の動き量を検出する動き検出手段とを備える撮像装置の制御方法であり、
   前記バッファメモリに格納された撮影画像を補正する補正ステップと、
   前記補正ステップで補正された画像を出力する出力ステップとを備え、
   前記補正ステップは、
   前記撮影画像の所定のフレームの各ラインの撮影時刻における動き量に基づいて、出力する画像の各ラインの画素を前記撮影された複数のフレームのどこから読み出すかを決定するステップと、
   決定された読み出し位置が前記所定のフレームの撮影範囲を超えている画素に対しては、前記所定のフレームの前後に撮影されたフレームから対応する画素を読み出すことで前記撮影画像を補正することを特徴とする撮像装置の制御方法。
9. コンピュータを、
   ローリングシャッタ方式で複数のフレームを連続して撮影する撮影手段と
   撮影された複数のフレームの撮影画像を格納するバッファメモリと、
   フレーム間の動き量を検出する動き検出手段とを備える撮像装置において、
   前記撮影画像の所定のフレームの各ラインの撮影時刻における動き量に基づいて、出力する画像の各ラインの画素を前記撮影された複数のフレームのどこから読み出すかを決定し、決定された読み出し位置が前記所定のフレームの撮影範囲を超えている画素に対しては、前記所定のフレームの前後に撮影されたフレームから対応する画素を読み出すように前記バッファメモリに格納された撮影画像を補正する補正手段と、前記補正手段により補正された画像を出力する出力手段として機能させるためのプログラム。
10. 請求項９のプログラムを記録したコンピュータが読み取り可能な記録媒体。