JP2007267122A - 手振れ補正装置 - Google Patents

Abstract

【課題】 ビデオカメラにおいて、垂直方向の手振れ補正用に必要となるメモリ容量を削減しつつ高精度な手振れ補正装置を提供する。
【解決手段】 ＣＣＤ１１から出力された画像信号は、信号処理回路１３に供給されＹ，Ｃｂ，Ｃｒ信号に変換され、フィールドメモリ１５、ベクトル検出手段１４にそれぞれ供給される。動きベクトル検出手段１４で求められた動きベクトル量はＣＰＵ１６に供給され、積分手段１６ａ、センタリング制御手段１６ｂ、フィールドメモリ読み出し・ＣＣＤ切り出し位置制御手段１６ｃによりフィールドメモリ１５の読み出し位置、ＣＣＤ１１の切り出し位置をそれぞれ制御する。
【選択図】 図１

Description

本発明は、ビデオカメラなどに用いられる手振れによる画像の揺れを低減する手振れ補正装置に関する。

従来、ビデオカメラの手振れによる画像の揺れを低減する方法として、画面の１フィールド期間の動きベクトルを検出し、この動きベクトルを用いて手振れを補正する方法がある。画面の１フィールド期間の動きベクトルの検出方法には、１つ前のフィールドと現在のフィールドの代表点を比較する代表点マッチング法と、垂直方向及び水平方向の角速度を検出するジャイロを利用したものなどが知られている。

そして、この検出した１フィールド期間の動きベクトルに応じてフィールドメモリから読み出す画面の領域を決定するものである。その際、フィールドメモリの容量という物理的な制約である補正範囲が狭くとも、実用的に十分な補正範囲を実現する手振れ補正装置を提供する方法が提案されている（例えば、特許文献１参照。）。

特許文献１に提案されている方法では、フィールド毎に求めた動きベクトルを積分し、求めた積分値に対応して積分値を減衰させるセンタリング制御部を備え、積分値が小さい場合には減衰させる度合いを小さく、積分値が大きい場合には減衰させる度合いを大きくし、フィールドメモリから読み出す画像の位置を常に中央近傍とし、次フィールドの手振れに対する補正範囲を十分確保しつつも、低周波の手振れも正確に補正する制御を行っている。

この動作を図４に示す。同図（ａ）のように、動きベクトルの積分値が小さく、メモリの中央位置からさほど離れていない場合には、減衰させる度合いを小さくするため中央方向への力は小さくなり、高精度な手振れ補正が可能となる。一方、同図（ｂ）に示すように、動きベクトルの積分値が大きく、メモリの中央位置から離れ、補正可能範囲が残り少なくなる場合には、減衰させる度合いを大きくするため中央方向への力は大きくなり、次の大きな手振れに対して十分な補正範囲を確保することが可能となる。
特許第２５６３５６７号公報

ところで、上述の特許文献１に記載の発明では、物理的に補正範囲が狭くとも、実行的に十分な補正範囲のある手振れ補正装置を提供すると提言している。しかしながら、手振れを違和感なく補正させるためには、“物理的な補正範囲が狭い”とはいっても、“実行的に十分な補正範囲”をもつフィールドメモリを用意する必要がある。そのためには、実際に出力する画面の画像サイズより十分に大きなサイズのフィールドメモリが必要となってしまい、ハードウエアの負荷が大きくなるという問題があった。

本発明は、以上の点に鑑みなされたもので、ビデオカメラにおいて手振れ補正に用いるフィールドメモリからの画像読み出し制御に加え、タイミングジェネレータを用いてＣＣＤからの画像切り出し位置制御を併用することで、垂直方向の手振れ補正用に必要となるメモリ容量を削減しつつ高精度な手振れ補正装置を提供することを目的とする。

本発明は、上記課題を解決するために、以下に記載の手段よりなる。
すなわち、
入来する撮像光を撮像素子により光電変換し一旦フィールドメモリに取り込み、手振れ検出手段により検出した手振れ量に応じて前記フィールドメモリからの読み出しタイミングを制御し出力画像の揺れを補正する撮像装置に用いられる手振れ補正装置であって、
前記手振れ検出手段によりフィールド毎に検出された動きベクトルを積分する積分手段と、
前記積分手段により得られた積分値に応じて手振れ補正量を制御するセンタリング制御手段と、
前記センタリング制御手段より制御される手振れ補正量に応じてフィールドメモリの読み出し位置とＣＣＤ切り出し位置とを算出する位置制御手段とを備え、
前記フィールドメモリの容量は、前記出力画像に対応した容量に１フィールド期間の手振れ量を加算した容量であり、前記位置制御手段において前記手振れ補正量から現フィールドのＣＣＤ切り出し位置を減算した値が前記フィールドメモリ容量以下である場合はこの値をフィールドメモリからの垂直方向の読み出し位置とし、この値に現フィールドのＣＣＤ切り出し位置を加算した値を次のＣＣＤ切り出し位置とする一方、
前記加算した値がフィールドメモリ容量より大である場合は該フィールドのＣＣＤ切り出し位置に前記フィールドメモリで補正した手振れ補正量を加算し、且つ、前記フィールドメモリ容量より大である量に所定の定数を乗算して加算した値を次のＣＣＤ切り出し位置とすることを特徴とする手振れ補正装置。

本発明による手振れ補正装置によれば、手振れと定義する振れの範囲を含んだメモリ容量のフィールドメモリを用いて、フィールドメモリからの画像読み出し制御とＣＣＤからの画像切り出し制御とを併用することで、メモリ容量を削減でき、なおかつ高精度な手振れ補正制御が可能となる手振れ補正装置を提供することができる。

以下、本発明に係る手振れ補正装置の発明を実施するための最良の形態につき、好ましい実施例により説明する。

図１は、本実施例に適用される手振れ補正装置を示すブロック図である。同図に示すように手振れ補正装置１０は、撮像素子であるＣＣＤ１１と、ＣＣＤ１１からの画像の出力位置である切り出し位置を制御するタイミングジェネレータ１２（以下ＴＧと記す）と、ＣＣＤ１１の出力信号をＹ，Ｃｂ，Ｃｒに変換する信号処理回路１３と、画像を記憶し格納するフィールドメモリ１５と、１フィールド期間の動きベクトルを検出する動きベクトル検出手段１４と、ＣＰＵ１６内に、このフィールド毎の動きベクトルを積分する積分手段１６ａと、この積分値によりセンタリング処理を行うセンタリング制御手段１６ｂと、ＣＣＤ１１からの画像切り出し位置とフィールドメモリ１５からの画像読み出し位置を算出するフィールドメモリ読み出し・ＣＣＤ切り出し位置制御手段１６ｃから構成される。

ここで、従来の問題点について今一度説明する。手振れに起因する振れは、撮影しようとする対象物を撮影画像中心に据えて撮影する際発生する振れである。すなわち、撮影者が意図してチルト、あるいはパンを行う動作とは異なり、通常は撮影者が意図しない細かな振れの振幅範囲を手振れに起因する振れと判断し、前述のように一旦メモリに取り込んだ画像の読み出し位置を制御し撮影した対象物を出力画像の中心に位置させようとするものである。

また、上述のように、通常は撮影する対象物を撮影画像中心に据えて撮影しようとする意識が働くので、手振れに起因する振れは撮影画像中心に振動する波形になっていると考えられる。従って、手振れと定義する振れの範囲を含んだメモリ容量を用意すれば、手振れ補正が実現できる。しかしながら、微妙にいずれかの方向へ振れが継続したような場合は、撮影者が意図してチルト、あるいはパンを行う動作と判断されずに、手振れと定義する振れの範囲を含んだメモリ容量を超えた範囲となってしまい手振れ補正が実現できなくなる。その結果、やはり手振れと定義する振れの範囲を超えたメモリ容量を用意する必要がある。この点が、発明が解決しようとする課題で述べた、手振れを違和感なく補正させるためには、“物理的な補正範囲が狭い”とはいっても、“実行的に十分な補正範囲”をもつフィールドメモリを用意する必要があることを意味する。そのためには、実際に出力する画面の画像サイズより十分に大きなサイズのフィールドメモリが必要となるといった問題を発生させている。

以下、本実施例に適用される手振れ補正装置１０について、図１を参照しながら詳細に説明する。ＣＣＤ１１から出力された画像信号は、信号処理回路１３に供給されＹ，Ｃｂ，Ｃｒ信号に変換される。変換されたＹ，Ｃｂ，Ｃｒ信号はフィールドメモリ１５に、Ｙ信号は動きベクトル検出手段１４にそれぞれ供給される。動きベクトル検出手段１４では代表点マッチング法を利用し１フィールド期間に動いたベクトル量を求める。

１フィールド期間の動きベクトルの求め方は代表点マッチング法に限らず、加速度センサー等を利用して求める構成としてもよい。

次に、ＣＰＵ１６での処理を説明する。動きベクトル検出手段１４で求められた動きベクトル量はＣＰＵ１６に供給され、さらに積分手段１６ａに供給される。積分手段１６ａでは供給されたフィールド毎の動きベクトルを水平／垂直方向それぞれ別々に積分する。そして、算出された積分値をセンタリング制御手段１６ｂに供給する。

センタリング制御手段１６ｂでは供給された積分値に従い、水平／垂直方向のセンタリングをそれぞれ行う。センタリング制御はフィールドメモリの中央からの距離が離れるに従い（つまりベクトル積分値の絶対値が大きくなるに従い）、中央に向う力が強くなるように制御する。

従来の方式では、センタリング後の値をフィールドメモリからの読み出し開始位置として出力画像を読み出していた。しかし、見る者に不自然な印象を与えないためには、水平方向、垂直方向ともに十分な補正領域を必要としていたため、上述のように実際の出力画像よりもかなり大きなフィールドメモリ容量を必要とした。

本実施例では、後述のフィールドメモリ読み出し位置、ＣＣＤ切り出し位置とは、フィールドメモリ１５やＣＣＤ１１の中央位置からどれだけ離れているかを表す量である。ＣＣＤ切り出し位置は整数値に限られるが、フィールドメモリ読み出し位置は小数値を許容し画像補間によりこれを実現する構成としてもよい。

本実施例では、ＴＧ１２を利用して垂直方向はフィールドメモリ１５からの読み出しに加え、ＣＣＤ１１の切り出し位置制御を併用することで、フィールドメモリ１５の容量を必要最小限に抑えることができるものである。従来の手振れ補正装置では、上述のように実現しようとする手振れ補正の補正範囲に相当する容量より大きなフィールドメモリの容量が必要であった。すなわち、ビデオカメラに用いる場合、最大の手振れ補正の補正範囲に相当する容量であるビデオカメラの光学系の最大光学倍率の１フィールド期間に発生する最大の手振れ量に相当する容量より大なる容量を確保する必要があった。

しかしながら、本実施例の方式ではフィールドメモリ１５の垂直方向の実際の補正領域として、この実現しようとする手振れ補正の補正範囲に相当するフィールドメモリの容量より小さい容量である、ビデオカメラの光学系の最大光学倍率の１フィールド期間に発生する最大の手振れ量に相当する容量で十分である。この理由については、以下に述べる通りである。

画像の垂直方向の出力について説明する。今任意の時刻Ｔ１でフィールドメモリ１５から読み出した垂直方向の位置に対し、その次のフィールドで同じ量だけＣＣＤ１１から切り出すようにする。ここでフィールドメモリ１５とＣＣＤ１１との時間関係であるが、フィールドメモリ１５からの読み出しはＴ１と同じタイミングのリアルタイムな制御（動きベクトルを検出した同じ時刻のフィールドに作用）であるのに対し、ＣＣＤ１１からの切り出しは動きベクトルを検出したフィールドＴ１に対し１フィールド遅れた制御になることである。このため同じタイミングで同じフィールドメモリ１５読み出しとＣＣＤ１１切り出し位置を設定すると、ＣＣＤ１１の切り出しは１フィールド後の画像に反映される。

上述の任意の時刻Ｔ１におけるフィールドで出力された画像と同じ位置を次のフィールドでＣＣＤ１１から切り出せば、動きベクトル検出手段で検出される垂直方向の動きベクトル量は、１フィールド期間に発生する最大の手振れ量に相当する量となる。従って、垂直方向はビデオカメラにおいて、一番手振れ量が大きくなる場合、すなわち光学系における最大光学倍率時の想定した最大振れ量分だけフィールドメモリ１５を用意すればよいことになる。

ただし、ここで想定した最大手振れ量を超過するような大きな手振れが発生したときは、補正領域の端（上端／下端）にぶつかり、これ以上は補正が行うことができない。また、この場合、フィールドメモリ１５からの読み出しとＣＣＤ１１切り出しが連動していないため、次のフィールドで画像の垂直方向に不連続となる大きな揺れが発生してしまう。これでは見る者に不快感を与えてしまうため、見た目に不快感を与えないように、この大きな揺れも補正できるようするために以下の式に従いＣＣＤ切り出し位置を制御する。

時刻ＴｎでＣＰＵから設定する垂直方向のフィールドメモリ１５読み出し位置、ＣＣＤ１１切り出し位置は以下の通りである。時刻Ｔｎのフィールドメモリの垂直方向の読み出し位置をFMemV[Ｔn]、時刻ＴｎのＣＣＤ切り出し位置をCcdV[Ｔn]と表す。

但し、
フィールドｎでの時刻：時刻Ｔｎ
時刻Ｔｎで補正が必要な垂直方向のベクトル量 VecV[Ｔn]
フィールドメモリの垂直方向の補正可能最大値 FMemVmax
時刻Ｔｎのフィールドメモリの垂直方向の読み出し位置 FMemV[Ｔn]
時刻ＴｎのＣＣＤ切り出し位置 CcdV[Ｔn]
関数Ｌimit（ａ，ｂ）：ｉｆ（ａ＞ｂ）……b
ｅｌｓｅ ｉｆ（ａ＜−ｂ）……−b
ｅｌｓｅ ……ａ
倍率 α （＜ 1）
とする。

フィールドメモリ読み出しとＣＣＤ切り出しを併用する場合、図２に記すように垂直方向の手振れ補正量は、１フィールド前に設定したＣＣＤ切り出しが現フィールドに反映されているため、実際にフィールドメモリで補正する量はこの値（この分が既に補正されていると考える）を差し引いた値に補正可能最大値で制限を施した値となる。一方、ＣＣＤ切り出し位置は、１フィールド前に設定したＣＣＤ切り出し位置にフィールドメモリで補正した読み出し位置分を加算する。

さらに、フィールドメモリの容量での補正範囲を超える大きい振れが発生したときには、フィールドメモリで補正しきれなかった量に１以下の定数を乗算した値も加算する。これは、現在のフィールドで大きな振れが発生した場合、次のフィールドでも同じ方向に振れが続いている可能性が高いと考えられるためで、大きな振れが発生した場合のみ同じ方向にＣＣＤ切り出し位置をその大きさに比例させて移動させ、高精度な手振れ補正効果を狙ったものである。以上のＣＣＤ切り出し位置の算出式をグラフ化したものを図３に示す。ただし、説明をしやすくするために１フィールド前のＣＣＤ切り出し位置CcdV[Ｔn−1]はグラフ表記から除外している。

このように、手振れの垂直方向の補正手段としてフィールドメモリ読み出しに加え、ＣＣＤ切り出しを併用することで、フィールドメモリの容量を減らすことが可能となる。またフィールドメモリの容量での補正範囲を超える大きい振れが発生したときでも、ＣＣＤ切り出しを併用しているために、見る者に違和感を感じさせずに出力画像の揺れを低減することが可能となり、高性能な手振れ補正を実現することが可能である。

なお、上述の実施例では、積分手段、センタリング制御手段、フィールドメモリ読み出し・ＣＣＤ切り出し位置制御手段について、ＣＰＵ内にそれぞれの構成を設けソフトウエア処理を行っているが、独立した回路としてハードウエア的に実現する構成としてもよい。

また、上述の実施例ではＣＣＤの垂直方向の画像切り出し位置のみを制御する方法を述べたが、ＣＣＤの出力をフィールドメモリに書き込む際、水平方向の位置制御を同様に行う構成としてもよく、水平方向、垂直方向同時に制御するよう構成してもよい。

本実施例に適用される手振れ補正装置を示すブロック図である。 本実施例に適用されるフィールドメモリ読み出し・ＣＣＤ切り出し位置を説明するための図である。 本実施例に適用されるＣＣＤ切り出し位置制御を説明するための図である。 従来例における積分値に対応して積分値を減衰させるセンタリング制御を説明するための図である。

符号の説明

１０…手振れ補正装置
１１…撮像素子（ＣＣＤ）
１２…タイミングジェネレータ（ＴＧ）
１３…信号処理回路
１４…動きベクトル検出手段
１５…フィールドメモリ
１６…ＣＰＵ
１６ａ…積分手段
１６ｂ…センタリング制御手段
１６ｃ…フィールドメモリ読み出し・ＣＣＤ切り出し位置制御手段

Claims (1)

1. 入来する撮像光を撮像素子により光電変換し一旦フィールドメモリに取り込み、手振れ検出手段により検出した手振れ量に応じて前記フィールドメモリからの読み出しタイミングを制御し出力画像の揺れを補正する撮像装置に用いられる手振れ補正装置であって、
   前記手振れ検出手段によりフィールド毎に検出された動きベクトルを積分する積分手段と、
   前記積分手段により得られた積分値に応じて手振れ補正量を制御するセンタリング制御手段と、
   前記センタリング制御手段より制御される手振れ補正量に応じてフィールドメモリの読み出し位置とＣＣＤ切り出し位置とを算出する位置制御手段とを備え、
   前記フィールドメモリの容量は、前記出力画像に対応した容量に１フィールド期間の手振れ量を加算した容量であり、前記位置制御手段において前記手振れ補正量から現フィールドのＣＣＤ切り出し位置を減算した値が前記フィールドメモリ容量以下である場合はこの値をフィールドメモリからの垂直方向の読み出し位置とし、この値に現フィールドのＣＣＤ切り出し位置を加算した値を次のＣＣＤ切り出し位置とする一方、
   前記加算した値がフィールドメモリ容量より大である場合は該フィールドのＣＣＤ切り出し位置に前記フィールドメモリで補正した手振れ補正量を加算し、且つ、前記フィールドメモリ容量より大である量に所定の定数を乗算して加算した値を次のＣＣＤ切り出し位置とすることを特徴とする手振れ補正装置。
   
   

Images