JP2009088628A

JP2009088628A - 画像処理装置

Info

Publication number: JP2009088628A
Application number: JP2007251859A
Authority: JP
Inventors: Yoshihiro Kobayashi; 義宏小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-09-27
Filing date: 2007-09-27
Publication date: 2009-04-23

Abstract

【課題】動きベクトルを利用した電子手ぶれ補正の機能を備えたデジタルカメラにおいて、像ぶれに起因する動きベクトルを除外し、手ぶれに起因する動きベクトルを使用して適切な電子手ぶれ補正機能を実現することを目的とする。
【解決手段】顔検出回路による顔検出結果に基づき、動きベクトル検出回路は、顔が含まれるブロック周辺の動きベクトルを検出しない構成に制御され、システム制御回路は、動きベクトル検出回路から取得される動きベクトルに基づいて、電子手ぶれ補正の処理を行う。検出される動きベクトルには、顔が含まれるブロック周辺の動きベクトルが除外されている為、像ぶれに起因する動きベクトルの影響をなくした電子手ぶれ補正処理を実現することが可能になる。
【選択図】図１

Description

本発明は、静止画像や動画像を記録、再生、表示するための画像処理装置及び画像処理方法に関する。

デジタルカメラ撮影における画質劣化の要因の一つに手ぶれがある。特に室内撮影など、十分な光量が確保できない条件下での撮影では、手ぶれによる画質劣化を避けることが難しくなる。

また、電子ビューファインダーあるいは動画撮影時において、撮影領域を一定に保ったまま撮影するには、三脚で固定するなどして、手ぶれ等の影響をなくする必要がある。

このような撮影時の手ぶれ軽減の方法として、電子式手ぶれ補正方式と光学式手ぶれ補正方式の２つの方式が知られている。

電子式手ぶれ補正方式は、連続するフレーム間の画像を比較し、画像全体が動く方向と大きさを動きベクトル検出回路により検出し、検出結果から算出される撮影時の手ぶれ量に応じて、画像の読み出し位置を変更することによって、手ぶれ補正を実現している。

一方、光学式手ぶれ補正は、ジャイロによりレンズユニットの動きを検出し、動きの方向と大きさに応じて、レンズの光軸を調整することによって、手ぶれ補正を実現している。

また、カメラのモニターを鏡として使用する場合の例として、選択した特定の領域のみを動きベクトル検出領域とすることで、選択された表示領域が常に一定となるよう手ぶれ補正される提案がなされている（例えば、特許文献１を参照）。
特開２００５−００５７９１号公報

しかしながら、このようなぶれによる画質劣化の要因は、手ぶれだけではなく、被写体そのものが動いてしまう為に発生する、像ぶれの場合もある。

室内での子供の撮影など、特に像ぶれが発生しやすい撮影条件においては、像ぶれの影響とカメラの手ぶれによる影響を正しく分離しないと、不適切な手ぶれ補正を行ってしまう可能性がある。

本発明は、上述の事情に鑑みてなされたものであり、手ぶれ及び像ぶれが発生しやすい撮影条件下において、適切な手ぶれ補正処理を実現することを目的とする。

上述の課題を解決するため、本発明は、入力画像データから被写体の顔領域を検出する顔検出手段と、入力画像データを一時的に保存するメモリ手段と、前記メモリ手段に保存された画像データと、前記入力画像データとの間で、動きベクトルの検出を行う動きベクトル検出手段とを備えた画像処理装置であって、前記顔検出手段により取得される顔領域の情報に基づいて、前記動きベクトル検出手段を制御することを特徴とするものである。

本発明に寄れば、被写体の顔が動いている場合であっても、カメラの手ぶれによる動きベクトルの検出領域からは除外されている為、像ぶれの影響を無視して、手ぶれを原因とする動きベクトルの抽出のみを行うことで、適切な手ぶれ補正を行うことが可能になる。

次に、本発明の詳細を実施例の記述に従って説明する。

図１は、本発明の実施例における、画像処理装置１００の構成を示す図である。

１０はズーム機構や絞り機構等を有するレンズユニット、１２は光学像を電気信号に変換する撮像素子（例えばＣＣＤ素子）、１４は撮像素子１２のアナログ出力信号を電気信号に変換するＡ／Ｄ変換器である。１６は、撮像素子１２、Ａ／Ｄ変換機１４、Ｄ／Ａ変換器３０にクロック信号や制御信号を供給するタイミング発生回路であり、システム制御回路５０により制御される。

１８はメモリ制御回路であり、Ａ／Ｄ変換器１４、画像処理回路２０、メモリ２２、記録媒体２４、圧縮・伸長回路２６、Ｄ／Ａ変換器３０、変倍回路２９、顔検出回路８０、動きベクトル検出回路９０との間でデータ転送制御を行う。

Ａ／Ｄ変換器１４から出力されるデータは、画像処理回路２０およびメモリ制御回路１８を介して、或いは画像処理回路２０を介することなくメモリ制御回路１８のみを介して、メモリ２２もしく記録媒体２４に書き込まれる。

２０は、画像処理回路であり、Ａ／Ｄ変換器１４から出力されるデータ或いは、メモリ制御回路１８から出力されるデータに対して、例えば、画像補間処理や色変換処理等の画像処理を施し、ＲＡＷデータからＹＵＶデータに変換する。

２２は、撮影した静止画像や動画像の画像処理や圧縮伸長時の作業領域として使用したり、また表示画像用として使用するメモリであり、画像処理装置１００に内蔵されている。所定枚数の静止画像や所定時間の動画像を格納するに十分な記録容量を備えている。また、メモリ２２は、システム制御回路５０の作業領域としても使用されうる。

２４は、圧縮された画像データを記録するメモリカードやハードディスク等の記録媒体である。記録媒体２４は、半導体メモリや磁気ディスク等から構成され、画像処理装置１００に内蔵されているものもあれば、着脱可能なものもある。

２６は、例えば、ＪＰＥＧ圧縮等により画像データを圧縮或いは伸長する圧縮・伸長回路であり、記録媒体２４に格納された画像データを読み込んで、圧縮処理或いは伸長処理を行い、処理済みのデータをメモリ２２に書き込む。

２８は、変倍回路であり、画像処理回路２０から出力され、メモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、ＹＵＶデータの変倍処理を行う。

３０はＤ／Ａ変換器である。３２は例えば、ＴＦＴ−ＬＣＤ等で構成される画像表示部である。メモリ２２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器３０を介して画像表示部３２に供給され、これにより画像が表示される。

画像表示部３２を用いて、撮像にかかる画像を逐次表示することにより、電子ファインダー機能を実現することができる。また画像表示部３２には、撮影に必要な情報、例えば合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等を行うことができる。

３４は光学ファインダーであり、この光学ファインダー３４を利用することにより、画像表示部３２を利用した電子ファインダー機能を使用することなく、撮影を行うことができる。また、光学ファインダー３４内には、表示手段３２を介して表示する各種撮影用の情報表示および警告表示等を行うための素子が設置されている。

３６はフラッシュであり、ＡＦ補助光の投光機能やフラッシュ調光機能も有する。

３８はレンズユニット１０の制御部であり、システム制御回路５０の指示に従いレンズユニット１０の焦点制御、ズーム制御、絞り値、シャッタースピードの制御等を行う。

４０はモードダイヤルスイッチであり、これにより操作者は、電源オフ、自動撮影モード、マニュアル撮影モード、パノラマ撮影モード、再生モード、動画モード、等の各機能モードを切り替えることができる。

４２はシャッタースイッチであり、シャッターボタン４４の操作途中（半押し）で、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作の開始を指示する。

またシャッタースイッチ４２は、シャッターボタン４４の操作完了（全押し、即ち操作者指示）で、撮像素子１２から出力される信号をＡ／Ｄ変換器１４によりデジタル信号に変換し、これを、メモリ制御回路１８を介してメモリ２２に格納する露光処理、メモリ制御回路１８を介して変倍回路Ａで行うＲＡＷデータの変倍処理、メモリ制御回路１８を介して画像処理回路２０において行う現像処理、メモリ制御回路１８を介して変倍回路Ｂにおいて行うＹＵＶデータの変倍処理、メモリ制御回路１８を介して圧縮伸長回路２６において行う圧縮処理、メモリ制御回路１８を介してメモリ２２から記録媒体２４へと圧縮された画像データを書き込む記録処理の、一連の処理の開始を指示する。

４６は表示切替スイッチである。撮影時においては、表示切り替えスイッチ４６が押されると、画像表示部３２を利用した電子ファインダー機能の、ON／OFF制御をシステム制御回路５０に指示する。また再生時においては、表示切替スイッチ４６が押されると、情報表示付き再生機能のＯＮ／ＯＦＦ制御をシステム制御回路５０に指示する。

４８は、ズームレバーである。システム制御回路５０を介して、レンズユニット１０へのズーム動作の指示あるいは、電子ズーム倍率をシステム制御回路５０に指示する。

５０は、画像処理装置１００を制御するシステム制御回路である。システム制御回路５０は、画像処理回路２０の処理パラメータ、圧縮・伸長回路２６の圧縮パラメータを指示し、ズームレバー４８の指示に従い、変倍回路の変倍パラメータ等の指定を行う。

５２はシステム制御回路５０が動作する際に参照する定数、変数、プログラム等を記憶するメモリである。

６０は電源制御部であり、例えば電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池装着の有無、電池の種類及び電池残量を検出し、その検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間だけ各部に供給する。６２はコネクタ、６４は、例えばアルカリ電池やリチウム電池等の一次電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等で構成される電源部である。

８０は顔検出回路であり、画像処理回路２０の出力を直接、或いは画像処理回路２０から出力されメモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、入力された画像データの中に顔と判断できる画像が存在する場合には、顔の位置ならびに大きさに関する情報を取得する。

９０は動きベクトル検出回路であり、画像処理回路２０の出力を直接、或いは画像処理回路２０から出力されメモリ２２に書き込まれた画像データを、メモリ制御回路１８を介して読み込み、さらに連続する異なる時刻の画像データを、メモリ制御回路１８を介して読み込む。

動きベクトル検出回路９０は、入力された2枚の画像データから所定ブロック毎に動きベクトルの方向と大きさの検出を行う。

図２（ａ）および図２（ｂ）は、動きベクトル検出回路９０で取得される動きベクトルに関する説明を図示したものである。

動きベクトル検出回路９０は、連続する異なる時刻の画像データを入力とし、図示のとおり、各ブロックおける2画像間の動きベクトルの演算を行う。

演算された動きベクトル：Vm００〜Vm５７は、２画像の移動量として、矢印にて図示される。

ここで、図２（ａ）は手ぶれがほとんど無い場合において、中心付近の被写体が移動している場合の動きベクトルの様子を図示したものである。

一方、図２（ｂ）は被写体の移動がほとんど無い場合において、手ぶれにより、画面全体が同一方向に移動している場合の動きベクトルの様子を図示したものである。

システム制御回路５０は、動きベクトル検出回路９０にアクセスすることで、ブロック毎に演算された動きベクトル：Vm００〜Vm５７を取得することができる。

システム制御回路５０は、図２（ｂ）に図示されるように、画面上ほとんどのブロックの動きベクトルが、ほぼ同一方向を向いている場合には、手ぶれが発生したものと判断することができる。

システム制御回路５０は、手ぶれが発生したと判断した場合、撮像素子１２からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子手ぶれ補正処理を行う。

図３は、顔検出回路８０から取得される顔の位置ならびに大きさに関する情報を図示した例である。

顔検出回路８０は、画像処理回路２０の出力される画像データ、或いはメモリ制御回路１８を介して読み込まれる画像データを読み込みながら、×印で図示される顔の中心座標及び、矢印にて図示される顔の顔の中心座標からの半径を検出する。

システム制御回路５０は、顔検出回路８０にアクセスすることで、検出された顔の個数ならびに各顔の中心座標及び半径を取得することができる。

なお本実施例では、検出領域の例を真円として図示しているが、顔検出回路８０のアルゴリズムによっては、楕円あるいは矩形領域を顔検出領域の結果としてもよい。

図４は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第一の実施例を図示したものである。

システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、動きベクトル検出回路９０が、顔が含まれるブロックの動きベクトルの検出を行わないよう制御する。

動きベクトル検出回路９０は、図示のとおり、顔領域を含む中心付近４つのブロックについて、動きベクトルの検出を実施しない為、該４つのブロックの動きベクトルはゼロとなる。

システム制御回路５０は、主被写体の体幹部分の動きベクトルが、主被写体の背景部分の動きベクトルと異なる方向に動いているものの、ほぼ画面全体の動きベクトルが同一方向に動いているので、手ぶれが発生しているものと判断することができる。

また、動きベクトル検出回路９０は、画面全体の動きベクトルを取得し、システム制御回路５０は、動きベクトル検出回路９０から取得される動きベクトルのうち、顔検出回路８０による顔検出結果に基づいて、顔が含まれるブロックから取得された動きベクトルを参照しない構成とすることもできる。

図５は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第二の実施例を図示したものである。

システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、動きベクトル検出回路９０が、顔が含まれるブロックと、さらに顔が含まれるブロックの左右及び下方向の１ブロックに対して、動きベクトルの検出を行わないよう制御する。

動きベクトル検出回路９０は、図示のとおり、顔が含まれるブロックを含む８つのブロックについて、動きベクトルの検出を実施しない為、該８つのブロックの動きベクトルはゼロとなる。

システム制御回路５０は、顔部分を含む主被写体を除いた背景部分の動きベクトルが、同一方向に動いていることから、手ぶれが発生しているものと正確に判断することができる。

また、動きベクトル検出回路９０は、画面全体の動きベクトルを取得し、システム制御回路５０は、動きベクトル検出回路９０から取得される動きベクトルのうち、顔検出回路８０による顔検出結果に基づいて、顔が含まれるブロックと、さらに顔が含まれるブロックの左右及び下方向の１ブロックが含まれるブロックから取得された動きベクトルを参照しない構成とすることもできる。

図６は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第三の実施例を図示したものである。

図示されているとおり、主被写体の動きベクトルと、背景の動きベクトルが異なる方向に向いている場合において、システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、顔領域を含む８つのブロックの動きベクトルが、他の背景部分の動きベクトルとは相関性が無いと判断する。

システム制御回路５０は、顔領域を含まない他の背景部分の動きベクトルのみ評価し、ほぼ同一方向に動いていることから、手ぶれが発生しているものと判断することができる。

図７は、顔検出の結果に基づいて行う電子手ぶれ補正処理における、第三の実施例を図示したものである。

図示されているとおり、主被写体の動きベクトルと、背景の動きベクトルが同じ方向に向いている場合において、システム制御回路５０は、顔検出回路８０による顔検出結果に基づき、顔領域を含む８つのブロックの動きベクトルが、他の背景部分の動きベクトルと相関性が有ると判断する。

システム制御回路５０は、顔領域を含む全画像領域の動きベクトルを評価し、ほぼ同一方向に動いていることから、手ぶれが発生しているものと判断することができる。

本発明の実施例のブロック構成図である。本発明の実施例における動きベクトルに関して説明する図である。本発明の実施例における顔検出情報に関して説明する図である。本発明の第一の実施例における手ぶれ判定の説明に関する図である。本発明の第二の実施例における手ぶれ判定の説明に関する図である。本発明の第三の実施例における手ぶれ判定の説明に関する図である。本発明の第四の実施例における手ぶれ判定の説明に関する図である。

符号の説明

１０レンズユニット
１２撮像素子
１４Ａ／Ｄ変換器
１６タイミング発生回路
１８メモリ制御回路
２０画像処理回路
２２メモリ
２４記録媒体
２６圧縮・伸長回路
２８ＲＡＷデータ用変倍回路Ａ
２９ＹＵＶデータ用変倍回路Ｂ
３０Ｄ／Ａ変換器
３２画像表示部
３４光学ファインダ
３６フラッシュ
３８レンズ制御
４０モードダイヤル
４２シャッタースイッチ
４４シャッターボタン
４６表示切替スイッチ
４８ズームレバー
５２メモリ
６０電源制御
６２コネクタ
６４電源部
８０顔検出回路
９０動きベクトル検出回路
１００画像処理装置

Claims

入力画像データから被写体の顔領域を検出する顔検出手段と、入力画像データを一時的に保存するメモリ手段と、前記メモリ手段に保存された画像データと、前記入力画像データとの間で、動きベクトルの検出を行う動きベクトル検出手段とを備え、
前記顔検出手段により取得される顔領域の情報に基づいて、前記動きベクトル検出手段を制御することを特徴とする画像処理装置。
前記動きベクトル検出手段は、前記顔検出手段により取得される顔領域を、動きベクトル検出領域から除外することを特徴とする請求項１に記載の画像処理装置。
前記動きベクトル検出手段は、前記顔検出手段により取得される顔領域を含む周辺画素領域を、動きベクトル検出領域から除外することを特徴とする請求項１に記載の画像処理装置。
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルに基づいて、電子手ぶれ補正処理を行うことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルのうち、前記顔検出手段により取得される顔領域から取得された動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記動きベクトル検出手段により取得された動きベクトルのうち、前記顔検出手段により取得される顔領域を含む周辺画素領域から取得された動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記顔検出手段により取得される顔領域を含む領域の動きベクトルが、顔領域を含まない領域の動きベクトルと相関性が無い場合には、前記顔領域を含む領域の動きベクトルを除外して、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
電子手ぶれ補正処理を行う電子手ぶれ補正手段を備え、前記顔検出手段により取得される顔領域を含む領域の動きベクトルが、顔領域を含まない領域の動きベクトルと相関性がある場合には、前記顔領域を含む領域の動きベクトルを除外しないで、電子手ぶれ補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記顔検出手段に入力される画像データは、撮像素子により撮像された画像データから抽出された画像データであることを特徴とする請求項１〜請求項８のいずれかに記載の画像処理装置。