JP2007208925A - デジタルカメラの電子的手振れ補正方法及び電子的手振れ補正機能付デジタルカメラ - Google Patents

Abstract

【課題】 デジタルカメラにおいて、電子的手振れ補正を低コストで実現する。
【解決手段】 被写体を撮像する固体撮像素子を搭載した撮像部１と、該固体撮像素子から出力される画像データを動画圧縮するＭＰＥＧ処理部５と、ＭＰＥＧ処理部５が中間過程で算出する部分画像データ毎の動きベクトルを取り込み前記固体撮像素子から出力される画像データ全体の動きベクトルを算出する制御部７と、制御部７からの指示を受け前記固体撮像素子から前記画像データを読み出す出力範囲を前記画像全体の動きベクトルの方向にずらす撮像素子駆動部８とを備える。既存のＭＰＥＧ処理部が算出する動きベクトルを利用して手振れ量を算出するため、低コストで電子的手振れ補正を実現できる。
【選択図】 図１

Description

本発明は、デジタルカメラの電子的手振れ補正方法及び電子的手振れ補正機能を搭載したデジタルカメラに関する。

デジタルカメラ等に搭載されている固体撮像素子から得られる撮像画像の手振れを電子的に補正し手振れを抑制した画像を得る場合、先行して得られる画像（先行画像）と後続画像とを比較して両者間の相関を求めることで先行画像に対する後続画像のシフト量及びシフト方向（即ち、動きベクトル）を検出し、後続画像を出力するとき後続画像をこの動きベクトルだけシフトさせている。

この電子的な手振れ補正を行うには、先行画像と後続画像とを１画素毎に比較して動きベクトルを算出しなければならないため、多大な演算量が必要となり、大規模な演算用ハードウェアが必要になってしまう。

尚、電子的手ぶれ補正の従来技術として、例えば下記特許文献１，２がある。

特開平１―１０９９７０号公報 特開平７―３０７８９１号公報

上述した様に、電子的手ぶれ補正機能をデジタルカメラに搭載する場合、大規模な動きベクトル算出回路が必要となり、デジタルカメラをコストアップさせる要因になっている。

本発明の目的は、デジタルカメラの電子手振れ補正方法及び電子的手振れ補正機能を低コストで搭載したデジタルカメラを提供することにある。

本発明のデジタルカメラの電子的手振れ補正方法は、被写体を撮像する固体撮像素子と該固体撮像素子から出力される画像データを動画圧縮するＭＰＥＧ処理部とを搭載したデジタルカメラの電子的手振れ補正方法において、前記ＭＰＥＧ処理部が中間過程で算出する部分画像データ毎の動きベクトルを用いて前記固体撮像素子から出力される画像データ全体の動きベクトルを算出し、前記固体撮像素子から前記画像データを読み出す出力範囲を前記画像全体の動きベクトルの方向にずらすことを特徴とする。

本発明のデジタルカメラの電子的手振れ補正方法は、前記部分画像データのうち所定面積以上の部分画像データ毎の動きベクトルから前記画像全体の動きベクトルを算出することを特徴とする。

本発明のデジタルカメラの電子的手振れ補正方法は、前記部分画像データ毎の動きベクトルの平均値を前記画像全体の動きベクトルとして算出することを特徴とする。

本発明のデジタルカメラの電子的手振れ補正方法は、前記部分画像データ毎の動きベクトルのうち特異な動きベクトルを除外した動きベクトルから前記画像全体の動きベクトルを算出することを特徴とする。

本発明の電子的手振れ補正機能付デジタルカメラは、被写体を撮像する固体撮像素子と、該固体撮像素子から出力される画像データを動画圧縮するＭＰＥＧ処理部と、該ＭＰＥＧ処理部が中間過程で算出する部分画像データ毎の動きベクトルを取り込み前記固体撮像素子から出力される画像データ全体の動きベクトルを算出する制御部と、該制御部からの指示を受け前記固体撮像素子から前記画像データを読み出す出力範囲を前記画像全体の動きベクトルの方向にずらす撮像素子駆動部とを備えることを特徴とする。

本発明の電子的手振れ補正機能付デジタルカメラの前記制御部は、前記部分画像データのうち所定面積以上の部分画像データ毎の動きベクトルから前記画像全体の動きベクトルを算出することを特徴とする。

本発明の電子的手振れ補正機能付デジタルカメラの前記制御部は、前記部分画像データ毎の動きベクトルの平均値を前記画像全体の動きベクトルとして算出することを特徴とする。

本発明の電子的手振れ補正機能付デジタルカメラの前記制御部は、前記部分画像データ毎の動きベクトルのうち特異な動きベクトルを除外した動きベクトルから前記画像全体の動きベクトルを算出することを特徴とする。

本発明によれば、既存のＭＰＥＧ処理部が処理の中間過程として算出する動きベクトルを利用して手振れ補正量を求めるため、低コストで電子的手振れ補正を実現することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る動画撮影機能付デジタルカメラの機能ブロック図である。本実施形態のデジタルカメラは、被写体画像を撮像する撮像部１と、この撮像部１から出力されるアナログの撮像画像データを取り込み自動利得調整（ＡＧＣ）や相関二重サンプリング処理（ＣＤＳ）等を行うアナログ信号処理部２と、アナログ信号処理部２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル（Ａ／Ｄ）変換部３と、デジタル画像データに対してガンマ補正処理や補間処理，ＹＣ／ＲＧＢ変換処理その他の必要な画像処理を施すデジタル信号処理部（ＤＳＰ）４とを備える。

このデジタルカメラは、更に、デジタル画像処理された画像データを取り込み、画像データを動画圧縮するためのＭＰＥＧ（Moving Picture Expert Group）処理部５と、ＭＰＥＧ形式に圧縮された動画像データを記録メディアに記録する記録部６と、ＭＰＥＧ処理部５が内部処理で求めた動きベクトルを取り出し手振れ補正量を算出する制御部７と、制御部７からの指示により撮像部１に対して駆動パルスを出力するタイミングジェネレータ（撮像素子駆動部）８とを備える。

撮像部１は、撮影レンズや光学ローパスフィルタ，絞り等の光学系と、ＣＣＤ型イメージセンサやＣＯＭＳ型イメージセンサ等の固体撮像素子とを備え、固体撮像素子に対してタイミングジェネレータ８から駆動パルスが供給される。

図１に示す動画撮影機能付デジタルカメラは、その他にも、デジタル信号処理部４が画像処理した画像データを静止画像データとしてＪＰＥＧ圧縮して記録メディアに格納する処理部や、デジタルカメラを統括制御する制御部７からの指示に基づき発光するフラッシュ等を備えるが、これらは電子的手振れ補正の説明には必要ないため図示及び説明を省略する。

図２は、撮像部１に搭載される固体撮像素子の受光面を示す模式図である。固体撮像素子１０は、受光面全面の画素から画像データを出力するのではなく、受光面より若干小面積に設定された所定矩形状出力範囲の撮像画像データを出力する様になっている。出力範囲の位置は、受光面上の任意位置に移動可能に制御され、タイミングジェネレータ８からの駆動パルスによってその位置が選択される。

図２には、３つの出力範囲Ａ，Ｂ，Ｃの位置が例示されており、出力範囲Ａがタイミングジェネレータ８の駆動パルスによって選択された場合には出力範囲Ａの画像データが画像出力Ａとしてアナログ信号処理部２に出力され、出力範囲Ｂが選択された場合には出力範囲Ｂの画像データが画像出力Ｂとしてアナログ信号処理部２に出力される。

制御部７は、後述するようにして先行画像に対する後続画像の動きベクトルを算出し、タイミングジェネレータ８に指令を出すことにより、先行画像に対する後続画像の手振れ量に応じて後続画像を読み出す出力範囲を選択する。これにより、手振れが抑制された画像が撮像部１から読み出されることになる。

デジタルカメラが搭載するＭＰＥＧ処理部５は、Ｎフレーム目の先行画像を取り込み、次にＮ＋１フレーム目の後続画像を取り込んだとき、例えば、図３に示す様に、Ｎフレーム目の画像中に定めたブロック２０内の部分画像が、Ｎ＋１フレーム目の画像中のどの位置に動いたかを検出し、この動きに基づいて画像圧縮を行う。

この動き検出を行う場合、Ｎ＋１フレーム画像中にブロック２０と同じ大きさのブロック２１を定め、ブロック２０内の画像とブロック２１内の画像との間の相関性を求める。そして、次に、ブロック２１を動かしたブロック２２内の画像とブロック２０内の画像との相関性を求め、次に、ブロック２２を動かしたブロック２３内の画像とブロック２０内の画像との相関性を求め、…という処理を繰り返し、相関性の最も高いブロック位置がブロック２０が動いた位置であると判定する。

図示する例の様に、ブロック２３の画像とブロック２０の画像との間の相関性が最も高いと判定されたとき、ブロック２０の動きベクトルは図示する「Ｋ」として求まる。

ＭＰＥＧ処理部５は、大きなブロック２０が後続画像中で動いていると判定した場合には、適応的にブロック２０を更に小さなブロックに細分して各小ブロック毎の動きベクトルを求める様になっており、画面中の小さな被写体の動きも検出できるようになっている。そして、各種大きさのブロック毎の動きベクトルを検出した後、各動きベクトルを参考にして、先行画像に対する後続画像の圧縮を行う。

ＭＰＥＧ処理部５では、ブロック２１→２２→２３…の移動単位を１画素単位あるいは数画素単位で移動させ、また相関性を求めるときもブロック内画像を１画素毎に比較演算するため、その演算量は非常に膨大となる。このため、デジタルカメラでは、このＭＰＥＧ処理を専用ハードウェアで行うのが普通になっている。

従来のＭＰＥＧ処理部は、動き検出と画像圧縮とを１チップ内に集積した回路で行っており、ＭＰＥＧ処理の中間過程で検出した動きベクトルを外部に取り出す構造になっていない。

これに対し、本実施形態のデジタルカメラでは、電子的手振れ補正に、ＭＰＥＧ処理部５が検出した動きベクトルを利用するため、ＭＰＥＧ処理部５がＭＰＥＧ処理の中間過程で検出した動きベクトルを外部出力する端子をＭＰＥＧ処理部５に設けている。

そして、この端子から出力される動きベクトルを制御部７が取り込んで手振れ量を算出し、この手振れ量に応じて、図２で説明した出力範囲を適宜移動させる様になっている。

ユーザがデジタルカメラを手に持ち構えた場合に起きる手振れ量は、「回転」が小さければ画面全体で同じ量になる。例えば、画面右上隅に定めたブロックの動きベクトルは、画面左上隅，画面左下隅，画面右下隅，画面中央に夫々定めたブロックの動きベクトルと同じになる。

しかし、ＭＰＥＧ処理部５からは様々な大きさのブロックの動きベクトルが出力される。例えば、画面中の小さな被写体、例えば小動物が動き回っている場合には、この小動物を囲む小さなブロックの動きベクトルは大きな値を示すことになる。

そこで、ＭＰＥＧ処理部５から出力される各動きベクトルの中から、手振れ量算出の基になる動きベクトルを弁別する必要が生じる。この動きベクトルの弁別処理には、様々な方法がある。

画面中の被写体の動きは小さなブロックの動きベクトルとして検出される蓋然性が高いため、手振れ補正量の算出に用いる動きベクトルは、所定面積の閾値より大きなブロックの動きベクトルだけを取り出し、その平均値とする。

或いは、手振れは画面全体の揺れとして起きるため、画面中に平均的に分散する所定面積以上のブロックの動きベクトルだけを取り出し、その平均値とする。

或いは、例えば図４に示す様に、画面を４×４＝１６の１６個のブロック２５に分割し、各分割ブロック２５毎の動きベクトルＫｉｊ（ｉ，ｊ＝１〜４）を取り出し、その平均値とする。

或いは、単に平均値とするのではなく、算出に使用する動きベクトルのうち他の動きベクトルとは明らかに違う方向やシフト量を持つ特異な動きベクトル（図４に図示する例では、Ｋ31，Ｋ43）を除外した残りの動きベクトルの平均値とする。

特異な動きベクトルであるか否かは、動きベクトルの統計をとったとき、ある動きベクトルの集団から離れた位置に特異なベクトルが来るため、容易に弁別可能である。

この様にすることにより、制御部７はＭＰＥＧ処理部５から出力される動きベクトルから精度良く手振れ量を求めることができ、この手振れ量をキャンセルする駆動パルスをタイミングジェネレータ８から撮像部１に出力させる。これにより、撮像部１の固体撮像素子受光面の出力範囲は、手振れ量に対して出力範囲が選択されるため、手振れが抑制された画像が固体撮像素子から出力される。

本発明に係る電子的手振れ補正方法は低コストで実現できるため、デジタルカメラに搭載する手振れ補正方法として有用である。

本発明の一実施形態に係る動画撮影機能付デジタルカメラの機能ブロック図である。 図１に示す撮像部に搭載される固体撮像素子の受光面の説明図である。 図１に示すＭＰＥＧ処理部の処理説明図である。 本発明の一実施形態に係る手振れ補正量を動きベクトルから求める説明図である。

符号の説明

１ 固体撮像素子を搭載した撮像部
５ ＭＰＥＧ処理部
７ 制御部
８ タイミングジェネレータ
２５ 分割ブロック
Ｋij 分割ブロック毎の動きベクトル

Claims (8)

1. 被写体を撮像する固体撮像素子と該固体撮像素子から出力される画像データを動画圧縮するＭＰＥＧ処理部とを搭載したデジタルカメラの電子的手振れ補正方法において、前記ＭＰＥＧ処理部が中間過程で算出する部分画像データ毎の動きベクトルを用いて前記固体撮像素子から出力される画像データ全体の動きベクトルを算出し、前記固体撮像素子から前記画像データを読み出す出力範囲を前記画像全体の動きベクトルの方向にずらすことを特徴とするデジタルカメラの電子的手振れ補正方法。
2. 前記部分画像データのうち所定面積以上の部分画像データ毎の動きベクトルから前記画像全体の動きベクトルを算出することを特徴とする請求項１に記載のデジタルカメラの電子的手振れ補正方法。
3. 前記部分画像データ毎の動きベクトルの平均値を前記画像全体の動きベクトルとして算出することを特徴とする請求項１または請求項２に記載のデジタルカメラの電子的手振れ補正方法。
4. 前記部分画像データ毎の動きベクトルのうち特異な動きベクトルを除外した動きベクトルから前記画像全体の動きベクトルを算出することを特徴とする請求項１乃至請求項３のいずれかに記載のデジタルカメラの電子的手振れ補正方法。
5. 被写体を撮像する固体撮像素子と、該固体撮像素子から出力される画像データを動画圧縮するＭＰＥＧ処理部と、該ＭＰＥＧ処理部が中間過程で算出する部分画像データ毎の動きベクトルを取り込み前記固体撮像素子から出力される画像データ全体の動きベクトルを算出する制御部と、該制御部からの指示を受け前記固体撮像素子から前記画像データを読み出す出力範囲を前記画像全体の動きベクトルの方向にずらす撮像素子駆動部とを備えることを特徴とする電子的手振れ補正機能付デジタルカメラ。
6. 前記制御部は、前記部分画像データのうち所定面積以上の部分画像データ毎の動きベクトルから前記画像全体の動きベクトルを算出することを特徴とする請求項５に記載の電子的手振れ補正機能付デジタルカメラ。
7. 前記制御部は、前記部分画像データ毎の動きベクトルの平均値を前記画像全体の動きベクトルとして算出することを特徴とする請求項５または請求項６に記載の電子的手振れ補正機能付デジタルカメラ。
8. 前記制御部は、前記部分画像データ毎の動きベクトルのうち特異な動きベクトルを除外した動きベクトルから前記画像全体の動きベクトルを算出することを特徴とする請求項５乃至請求項７のいずれかに記載の電子的手振れ補正機能付デジタルカメラ。

Images