JP2012100066A

JP2012100066A - 撮像装置

Info

Publication number: JP2012100066A
Application number: JP2010245838A
Authority: JP
Inventors: Masaru Narita; 優成田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-11-02
Filing date: 2010-11-02
Publication date: 2012-05-24

Abstract

【課題】動き領域の検出精度を上げて、巡回ＮＲなどの性能向上を目的とする。
【解決手段】画像入力手段と、入力画像の現フレームの複数の解像度画像を生成する手段と、入力画像の過去フレームの複数の解像度画像を生成する手段と、現フレームの複数の解像度画像と過去フレームの複数の解像度画像から複数解像度の動き量を算出する動き量算出手段と、前記複数解像度の動き量を比較し、入力画像の領域または画素ごとに動き判定情報を生成する手段と、さらに、少なくとも撮像部とジャイロセンサと撮像システム制御部を構成し、撮像装置本体の加速度の撮像付加情報に基づき、前記複数解像度の動き量の比較内容を変更することを特徴とする撮像装置。
【選択図】図１

Description

本発明は画像処理装置に関し、特に映像信号の時間的に異なるフレーム間における、被写体の動き量に基づく処理を行う機能に関するものである。

ビデオカメラ等の撮像装置では、従来より、フィールドまたはフレーム間の時間方向の差分情報から、被写体の動き量を求めて、その動き量に応じた処理を行うことがある。

例えば、フィールド巡回やフレーム巡回といった、時間方向に処理する巡回型フィルタを用いたノイズ抑圧処理（以下、巡回ＮＲと呼ぶ）では、動いている被写体に対して巡回ＮＲを強くかけると残像してしまうため、画素ごとにフレーム間の差分求め、動き量を推定し、これに応じた比率で、巡回ＮＲの強さを変更することで、動き部分では残像を抑えながらも、動きが小さい部分ではノイズ抑圧効果を高めることが行われている。この技術は特許文献１に記載されている。

例えば、インターレース信号をプログレッシブ信号に変換する処理（以下、ＩＰ変換と呼ぶ）においては、同様に画素毎の動き量を求め、これに応じた比率でフィールド内補間による信号とフィールド間補間による信号を混合してプログレッシブ信号への変換を行うことで、動き部分、動きが小さい部分のどちらにも適した変換を行う技術が開示されている。この技術は特許文献２に記載されている。

特開２００７−２７４０６７号公報特開昭５８−０７７３７３号公報

しかしながら従来の技術では、比較的大きく写された被写体が動いていて、その被写体内にコントラストの小さい領域があると、フィールド間またはフレーム間の差分をとった場合に、差分が小さい部分が生じてしまう。そのため、その被写体としては動いているにも関わらず、被写体の一部分が静止しているものと誤判定されるという問題がある。

これは、特許文献１においては、動いている被写体の領域内で、巡回ＮＲの効果が均一とならず、違和感が発生するという問題がある。

特許文献２でも同様に、被写体は動いているのに画素間の差分が小さく、動きが小さいと判定されてしまうと、その領域はフィールド間補間となってしまい、動き領域内で補間結果が均一とならず、画質が低下するという問題がある。

さらに、ビデオカメラの撮影方法や、被写体の種類によっては、こうした問題がより目立ちやすい状況があり、上記従来の技術では不十分であった。

上記課題を解決するための、本発明の第１の特徴としては、
画像入力手段と、入力画像の現フレームの複数の解像度画像を生成する手段と、入力画像の過去フレームの複数の解像度画像を生成する手段と、現フレームの複数の解像度画像と過去フレームの複数の解像度画像から複数解像度の動き量を算出する動き量算出手段と、前記複数解像度の動き量を比較し、入力画像の領域または画素ごとに動き判定情報を生成する手段と、さらに、少なくとも撮像部とジャイロセンサと撮像システム制御部を構成し、撮像装置本体の加速度の撮像付加情報に基づき、前記複数解像度の動き量の比較内容を変更する点がある。

さらに、本発明の第２の特徴としては、
前記撮影付加情報は、撮像装置本体の加速度から得られるパンニング情報であって、パンニング中は、前記複数解像度の動き量のうち、低解像度側の動き量を大きく参照する点がある。

さらに、本発明の第３の特徴としては、
画像入力手段と、入力画像の現フレームの複数の解像度画像を生成する手段と、入力画像の過去フレームの複数の解像度画像を生成する手段と、現フレームの複数の解像度画像と過去フレームの複数の解像度画像から複数解像度の動き量を算出する動き量算出手段と、前記複数解像度の動き量を比較し、入力画像の領域または画素ごとに動き判定情報を生成する手段と、さらに、入力画像または複数の解像度画像を解析する画像解析手段と、システム制御部を構成し、前記画像解析手段により得られる画像解析情報に基づき、前記複数解像度の動き量の比較内容を変更する点がある。

さらに、本発明の第４の特徴としては、
前記画像解析情報は、色域情報であって、前記色域情報に応じて、前記複数解像度の動き量の比較内容を変更する点がある。

さらに、本発明の第５の特徴としては、
前記画像解析情報は、少なくとも顔のサイズ情報を含む顔検出情報であって、前記顔のサイズに応じて前記複数解像度の動き量の比較内容を変更する点がある。

以上説明したように、本発明に係る第１の発明によれば、複数の解像度の画像から動き量を算出することで、比較的大きく写された被写体が動く場合に、コントラストの低い領域内の動き量を、従来に比べてより明確に検出することができるので、前記従来の技術の問題を改善することができる。さらに、流し撮りなどのビデオカメラの撮影方法に対して、前記複数の解像度の画像からの動き量の算出内容を調整することにより、前記従来の技術の問題を改善することができる。

さらに、本発明に係る第２の発明によれば、被写体に応じて前記複数の解像度の画像からの動き量の算出内容を調整することにより、前記従来の技術の問題を改善することができる。

本発明の第１の実施形態に関わる撮像装置の構成を示すブロック図本発明の第１の実施形態に関わる第１の動き量合成手段１１４、および第２の動き量合成手段１１６の構成を示すブロック図第１の動き量合成手段１１４、および第２の動き量合成手段１１６の動作を説明する図重み付け係数の例１本発明の第２の実施形態に関わる撮像装置の構成を示すブロック図重み付け係数の例２本発明の第３の実施形態に関わる撮像装置の構成を示すブロック図重み付け係数の例３

以下、本発明の好適な実施形態について図面を参照して詳細に説明する。

［実施例１］
図１は本発明の第１の実施例であって、ビデオカメラ装置に適用した例である。図１の構成要素としては、１０１は結像光学系、１０２イメージエリアセンサ、１０３はカメラ信号処理手段、１０４は第１の縮小処理手段、１０５は第２の縮小処理手段、１０６は第３の縮小処理手段、１０７は第４の縮小処理手段、１０８は第１の動き量算出手段、１０９は第２の動き量算出手段、１１０は第３の動き量算出手段、１１１は第１の拡大処理手段、１１２はジャイロセンサ、１１３はマイコン、１１４は第１の動き量合成手段、１１５は第２の拡大処理手段、１１６は第２の動き量合成手段、１１７は巡回ＮＲ手段、１１８はメモリである。

また、図１の信号、データとしては、Ｓ１０１は撮像画像、Ｓ１０２は第１の縮小画像、Ｓ１０３は第２の縮小画像、Ｓ１０４は第３の縮小画像、Ｓ１０５は第４の縮小画像、Ｓ１０６は第１階層の差分画像、Ｓ１０７は第２階層の差分画像、Ｓ１０８は第３階層の差分画像、Ｓ１０９は第３階層の拡大差分画像、Ｓ１１２は第２階層の合成差分画像、Ｓ１１３は第２階層の拡大差分画像、Ｓ１１４は巡回ＮＲ用動き判定画像、Ｓ１１５は巡回ＮＲ処理後の画像信号、Ｓ１１６は１フレーム前の画像信号、Ｓ１１０は加速度データ、Ｓ１１１は合成制御データである。

次に、本発明の第１の実施例の動作について、説明する。前記１０１の結像光学系を通じて、前記１０２のイメージエリアセンサの受光面上に結像された光学像は、前記１０２のイメージエリアセンサにて光電変換され、センサー出力映像信号として生成され、前記１０３のカメラ信号処理手段にて相関二重サンプリングおよびＡ／Ｄ変換、周知のカメラ信号処理がなされて、撮像画像Ｓ１０１が生成される。

前記１０３のカメラ信号処理手段から出力された前記撮像画像Ｓ１０１は、前記１１７の巡回ＮＲ手段、前記１０４の第１の縮小処理手段、および前記１０８の第１の動き量算出手段に入力される。

前記１１８のメモリは、前記巡回ＮＲ手段１１７からの前記巡回ＮＲ処理後の画像信号Ｓ１１５を１フレーム保持し、前記１１７の巡回ＮＲ手段、前記１０６の第３の縮小処理手段、および前記１０８の第１の動き量算出手段に、前記１フレーム前の画像信号Ｓ１１６として出力する。

前記１１７の巡回ＮＲ手段は、前記撮像画像Ｓ１０１と前記１フレーム前の画像信号Ｓ１１６について、前記巡回ＮＲ用動き判定画像Ｓ１１４を用いて画素ごとに動き判定を行い、前記巡回ＮＲ処理後の画像信号Ｓ１１５を出力する。

前記１０４の第１の縮小処理手段から出力された前記第１の縮小画像Ｓ１０２は、周知のガウシアンフィルタ等による帯域制限および間引き処理により、水平垂直共に１／２の画像サイズとされる。前記第１の縮小画像Ｓ１０２は、前記１０５の第２の縮小処理手段、および前記１０９の第２の動き量算出手段に入力される。

前記１０５の第２の縮小処理手段から出力された前記第２の縮小画像Ｓ１０３は、前記第１の縮小画像Ｓ１０２のさらに１／２の画像サイズとされる。前記第２の縮小画像Ｓ１０３は、前記１１０の第３の動き量算出手段に入力される。

前記１０６の第３の縮小処理手段から出力された前記第３の縮小画像Ｓ１０４は、前記１０７の第４の縮小処理手段、および前記１０９の第２の動き量算出手段に入力される。

前記１０７の第４の縮小処理手段から出力された前記第４の縮小画像Ｓ１０５は、前記１１０の第３の動き量算出手段に入力される。

このように前記第１の縮小画像Ｓ１０２、前記第２の縮小画像Ｓ１０３は、前記撮像画像Ｓ１０１に対して階層化された多重解像度画像となっており、前記第３の縮小画像Ｓ１０４、前記第４の縮小画像Ｓ１０５は、前記１フレーム前の画像信号Ｓ１１６に対して階層化された多重解像度画像となっている。

前記１０８の第１の動き量算出手段は、前記撮像画像Ｓ１０１と前記１フレーム前の画像信号Ｓ１１６を用いて、前記１１６の第２の動き量合成手段に、前記第１階層の差分画像Ｓ１０６を出力する。

前記１０９の第２の動き量算出手段は、前記１０４の第１の縮小処理手段から出力された前記第１の縮小画像Ｓ１０２と、前記１０６の第３の縮小処理手段から出力された前記第３の縮小画像Ｓ１０４を用いて、前記１１４の第１の動き量合成手段に、前記第２階層の差分画像Ｓ１０７を出力する。

前記１１０の第３の動き量算出手段は、前記１０５の第２の縮小処理手段から出力された前記第２の縮小画像Ｓ１０３と、前記１０７の第４の縮小処理手段から出力された前記第４の縮小画像Ｓ１０５を用いて、前記１１１の第１の拡大処理手段に、前記第３階層の差分画像Ｓ１０８を出力する。

このように、前記１０８〜１１０の第１〜第３の動き量算出手段は、２枚の画像の差分を動き量とみなす周知の動き量算出を行う。従って、前記１０８〜１１０の第１〜第３の動き量算出手段の出力は、各々入力された２枚の画像の画素単位で動き量となっている。

従って、前記第１階層の差分画像Ｓ１０６、前記第２階層の差分画像Ｓ１０７、前記第３階層の差分画像Ｓ１０８は、階層化された多重解像度画像の各階層毎の動き量が、各階層の画素毎に得られた結果を示すものである。

前記１１１の第１の拡大処理手段は、周知の多重解像度画像の拡大方法により、前記第３階層の差分画像Ｓ１０８を水平・垂直共に２倍の画像サイズに拡大処理し、前記１１４の第１の動き量合成手段に、前記第３階層の拡大差分画像Ｓ１０９を出力する。従って、前記第３階層の拡大差分画像Ｓ１０９の画像サイズは前記第２階層の差分画像Ｓ１０７と同じとなる。

前記１１４の第１の動き量合成手段は、同一画像サイズである前記第２階層の差分画像Ｓ１０７と前記第３階層の拡大差分画像Ｓ１０９から、前記合成制御データＳ１１１を用いて、前記第２階層の合成差分画像Ｓ１１２を生成し、前記１１５の第２の拡大処理手段に出力する。

前記１１５の第２の拡大処理手段は、上記と同様に前記第２階層の合成差分画像Ｓ１１２を水平・垂直共に２倍に拡大処理し、前記１１６の第２の動き量合成手段に、前記第２階層の拡大差分画像Ｓ１１３を出力する。前記第２階層の拡大差分画像Ｓ１１３は、前記第１階層の差分画像Ｓ１０６と同じ画像サイズとなり、即ち、前記撮像画像Ｓ１０１と同じ画像サイズに戻ったものとなる。

前記１１６の第２の動き量合成手段は、前記第１階層の差分画像Ｓ１０６と前記第２階層の拡大差分画像Ｓ１１３から、前記合成制御データＳ１１１を用いて、前記巡回ＮＲ用動き判定画像Ｓ１１４を生成し、前記１１７の巡回ＮＲ手段に出力する。前記巡回ＮＲ用動き判定画像Ｓ１１４は、前記撮像画像Ｓ１０１、前記巡回ＮＲ処理後の画像信号Ｓ１１５、前記１フレーム前の画像信号Ｓ１１６と同じ画像サイズとなる。

図２は、図１の前記１１４の第１の動き量合成手段、および前記１１６の第２の動き量合成手段の内部構成例である。

前記動き量合成部の詳細について述べる。図２において、２０１は合成制御手段、２０２、２０３は乗算器、２０４は大小選択手段である。また、Ｓ２０１は高解像度画像信号、Ｓ２０２は低解像度画像信号、Ｓ２０３は合成制御データ、Ｓ２０４は高解像度重み付け信号、Ｓ２０５は低解像度重み付け信号、Ｓ２０６は重み付け後の高解像度画像信号、Ｓ２０７は重み付け後の低解像度画像信号、Ｓ２０８は大小選択制御信号、Ｓ２０９は動き量合成出力信号である。

前記２０１の合成制御手段は、入力された前記合成制御データＳ２０３に基づいて、前記高解像度重み付け信号Ｓ２０４、前記低解像度重み付け信号Ｓ２０５、前記大小選択制御信号Ｓ２０８を生成し、それぞれ前記２０２の乗算器、前記２０３の乗算器、前記２０４の大小選択手段に出力する。

前記２０２の乗算器は、入力された前記高解像度画像信号Ｓ２０１と前記高解像度重み付け信号Ｓ２０４を乗算して、前記大小選択手段２０４に、前記重み付け後の高解像度画像信号Ｓ２０６を出力する。

同様に前記２０３の乗算器は、前記入力された低解像度画像信号Ｓ２０２と前記低解像度重み付け信号Ｓ２０５を乗算して、前記大小選択手段２０４に、前記重み付け後の低解像度画像信号Ｓ２０７を出力する。

前記２０４の大小選択手段では、入力された前記重み付け後の高解像度画像信号Ｓ２０６と前記重み付け後の低解像度画像信号Ｓ２０７の大きさを比較し、前記大小選択信号Ｓ２０８が０の場合は小さい方、１の場合は大きい方を選択して出力する。どのような場合に大小選択を切り替えるかについては後述する。

前記動き量合成部の動作の概要を図に示す。図３（ａ）は、ある時刻Ｔ１から１フレーム後の時刻Ｔ２の間で被写体が移動した様子を示している。ラインＡ−Ａ’上にあるのが相対的に面積の大きな被写体で、ラインＢ−Ｂ’上にあるのが相対的に細かな被写体である。

図３（ａ）のＡ−Ａ’のように被写体が動いたとき、前後のフレームで被写体の一部（領域Ｃ）が重なる場合を考える。即ち、Ｔ１における被写体は、例えば図１の前記第３の縮小画像Ｓ１０４、Ｔ２における被写体は、例えば図１の前記第１の縮小画像Ｓ１０２を意味する。

この場合、前記第１の縮小画像Ｓ１０２と前記第３の縮小画像Ｓ１０４の差分、即ち前記第２階層の差分画像Ｓ１０７は、Ａ−Ａ’、Ｂ−Ｂ’においての輝度差が同一とすれば図３（ｂ）に示す通りとなる。

このとき、領域Ｃについては被写体が動いているので動き量が検出されることが望まれるが、被写体のコントラストが低い場合、差分が小さく、静止領域とされる場合がある。

そこで、Ｔ１とＴ２における１階層下の解像度の画像である前記第２の縮小画像Ｓ１０３と前記第４の縮小画像Ｓ１０５の差分である前記第３階層の差分画像Ｓ１０８を拡大した前記第３階層の拡大差分画像Ｓ１０９に着目すると、一旦、周波数帯域を水平・垂直共に１／２に落として得られた前記第３階層の差分画像Ｓ１０８に基づくので、前記第３階層の拡大差分画像Ｓ１０９におけるＡ−Ａ’、Ｂ−Ｂ’の動き量は図３（ｃ）となる。

次に、図３（ｂ）と図３（ｃ）のそれぞれの動き量から値の大きい方を各画素で選択し合成すれば図３（ｄ）のような動き量が得られ、領域Ｃについても動き情報を得ることが出来る。

一方で、相対的に細かい被写体の動きＢ−Ｂ’については、一旦、周波数帯域を１／２に落として得られた前記第３階層の差分画像Ｓ１０８に基づく前記第３階層の拡大差分画像Ｓ１０９は、画素値が小さくなるので、大概、上位階層である前記第２階層の差分画像Ｓ１０７の動き量が選択される。

こうして、Ａ−Ａ’のような相対的に大きな被写体の動きと、Ｂ−Ｂ’のような相対的に小さな被写体の動きが両方共に上手く選択され、前記第２階層の合成差分画像Ｓ１１２となる。

前記１１４の第１の動き量合成手段から得られた合成後の動き量は、前記１１５の第２の拡大処理手段によって拡大処理された後に、再び前記１１６の第２の動き量合成手段で前記第１階層の差分画像Ｓ１０６と合成される。この前記１１６の第２の動き量合成手段の動作は、前記１１４の第１の動き量合成手段と同様である。

以上で第１階層、第２階層および第３階層の画像における動き量が全て合成され、最終的に前記巡回ＮＲ用動き判定画像Ｓ１１４が得られる。

前記巡回ＮＲ用動き判定画像Ｓ１１４を巡回係数として周知のフレーム巡回ＮＲによるノイズ抑圧が行われる。前記巡回ＮＲ用動き判定画像Ｓ１１４を巡回係数として与えるので、動きの大きい画素は巡回係数が大きくなり、逆に動きの小さい画素は巡回係数が小さくなる。そのため、静止している領域に対しては巡回ＮＲを強くかけ、図３（ａ）の相対的に面積の大きい被写体や細かな被写体の動きに対しても巡回ＮＲを適切に弱めるという所望のＮＲが得られることになる。

前記１１２のジャイロセンサは、前記１１３のマイコンに前記加速度データＳ１１０を出力する。前記１１３のマイコンは、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段に、前記合成制御データＳ１１１を出力する。

前記１１４の第１の動き量合成手段および前記１１６の第２の動き量合成手段は、前記１１２のジャイロセンサから前記１１３のマイコンを通じて得られるカメラの速度情報に基づいて、各階層画像における動き量の合成比を変更する。

カメラ、とりわけビデオカメラの撮影において、動いている被写体の動きに合わせて撮影する流し撮りというものがある。流し撮りでは通常被写体の動き量は小さく、背景の動き量が大きくなる。また被写体に追従してカメラを動かす速度が早いほど、被写体と背景の動き量の差が大きくなり、被写体と背景の境界部分の動き量の変化が急峻になる。

巡回ＮＲによるノイズ抑圧を行う場合、動き量の小さい被写体に対してはノイズ抑圧を強く、動き量の大きな背景に対してはノイズ抑圧を弱くしたいが、被写体と背景の境界部分で残像が出ないようにする必要がある。そのためには、被写体と背景の境界部分における動き量の変化をなだらかにして、ノイズ抑圧の強さをなだらかに変化させれば良い。これは下位階層の低解像度画像における動き量を重視して、前記巡回ＮＲ用動き判定画像Ｓ１１４を生成することで実現される。

また、境界部分の動き量の変化が急峻な程、つまりカメラを動かす速度が速い程、より低解像度画像の動き量を重視して、動き量の変化をなだらかにする効果を強めることがより望ましい。

流し撮りを行うことにより、前記１１２のジャイロセンサからは、カメラ本体の動き量が前記１１３のマイコンに出力され、前記１１３のマイコンはカメラ本体の動き量に応じて、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段に、前記合成制御データＳ１１１を設定する。

前記合成制御データＳ１１１は、例えば図４に示すように、前記カメラの動き量を大、中、小と３つのカテゴリに分類したとして、動き量が小ならば前記合成制御データＳ１１１を０とし、動き量が中ならば１とし、動き量が大ならば２という値とする。

前記２０１の合成制御手段は、入力された前記合成制御データＳ１１１（すなわち、図２の前記合成制御データＳ２０３）が０のとき、すなわち動き量が小のとき、前記高解像度重み付け信号Ｓ２０４を０．５、前記低解像度重み付け信号Ｓ２０５を０．５とするように出力する。よって、動き量が小のとき、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段においては、上位階層側の重みが０．５となり、下位階層側の重みが０．５となるので、前記動き量合成出力信号Ｓ２０９は、前記高解像度画像信号Ｓ２０１と前記低解像度画像信号Ｓ２０２のちょうど平均になる。

従って、前記１１７の巡回ＮＲ手段に与えられる前記巡回ＮＲ用動き判定画像Ｓ１１４は、面積の大きな被写体の低コントラスト領域が静止寄りに誤判定されることを防止する効果と、細かい被写体の動き判定精度を保つ効果が、ほぼ均等にバランス取りされる状況を実現する。

一方で、前記２０１の合成制御手段は、入力された前記合成制御データＳ１１１（すなわち、図２の前記合成制御データＳ２０３）が１のとき、すなわち動き量が中のとき、前記高解像度重み付け信号Ｓ２０４を０．３、前記低解像度重み付け信号Ｓ２０５を０．７とするように出力する。よって、動き量が中のときは、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段においては、上位階層側の重みが０．３となり、下位階層側の重みが０．７となるので、前記高解像度画像信号Ｓ２０１が３０％、前記低解像度画像信号Ｓ２０２が７０％使用されることになる。

従って、前記１１７の巡回ＮＲ手段に与えられる前記巡回ＮＲ用動き判定画像Ｓ１１４は、面積の大きな被写体の低コントラスト領域が静止寄りに誤判定されることを防止する効果を強める。このとき、細かい被写体の動き判定精度は落ちてしまうが、前記１１２のジャイロセンサから得られるカメラ本体の動きが大きいので、画像の動きブレがあるので、画質への影響は少ない。

さらに前記２０１の合成制御手段は、入力された前記合成制御データＳ１１１（すなわち、図２の前記合成制御データＳ２０３）が２のとき、すなわち動き量が大のとき、前記高解像度重み付け信号Ｓ２０４を０．１、前記低解像度重み付け信号Ｓ２０５を０．９とするように出力する。よって、動き量が大のときは、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段においては、上位階層側の重みが０．１となり、下位階層側の重みが０．９となるので、前記高解像度画像信号Ｓ２０１が１０％、前記低解像度画像信号Ｓ２０２が９０％使用され、ほとんど前記低解像度画像信号Ｓ２０２が使用されることになる。

従って、前記１１７の巡回ＮＲ手段に与えられる前記巡回ＮＲ用動き判定画像Ｓ１１４は、面積の大きな被写体の低コントラスト領域が静止寄りに誤判定されることを防止する効果をより一層強める動作となる。

このように、前記１１２のジャイロセンサから得られるカメラ本体の動きから、流し撮りの状態を想定して、巡回ＮＲの掛け方を、より細かく制御することができる。なお、図１においては、巡回ＮＲの例としたが、もちろん、ＩＰ変換のような画素毎の動き量に応じて処理を行うものに対して適用することも可能である。

［実施例２］
図５は本発明の第２の実施例であって、ビデオカメラ装置に適用した例である。図５において、図１の本発明の第１の実施例と同様の構成要素、信号およびデータに対しては、図１と同じ符号を付加し、説明を省略する。

図５において、５１２は顔検出手段、Ｓ５１０は顔検出情報である。本発明の第２の実施例において、前記本発明の第１の実施例と異なる点は、前記１１４の第１の動き量合成手段および前記１１６の第２の動き量合成手段が、前記５１２の顔検出手段から得られる前記顔検出情報Ｓ５１０を用いて、各階層画像における動き量の合成比を変えるということである。

前記５１２の顔検出手段は、周知の検出アルゴリズムを用いて、前記撮像画像Ｓ１０１内の顔領域を検出し、前記１１３のマイコンに顔検出情報Ｓ５１０を出力する。前記顔検出情報Ｓ５１０は、顔の位置、サイズ、向き等の情報から成る。また、前記１１３のマイコンは、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段に、前記合成制御データＳ１１１を出力する。

前記１１４の第１の動き量合成手段および前記１１６の第２の動き量合成手段は、前記５１２の顔検出手段から前記１１３のマイコンを通じて得られる前記顔検出情報Ｓ５１０に基づいて、各階層画像における動き量の合成比を変える。

カメラ、とりわけビデオカメラの撮影において、人の顔を撮影するとき、顔が小さく写っている場合には顔パーツ、すなわち目や睫毛、口元などの細かなものの動きはあまり目立たず、顔全体の動きが主である。従って、顔のサイズが小さい場合は、額や頬の部分のようなコントラストの低い領域でも動きを検出して巡回ＮＲによる違和感を防止すべきである。

一方で、顔が大きく写っている場合には顔パーツの動きが主となり、顔全体の動きはあまり目立たない。従って、顔サイズが大きい場合には、顔パーツの動きと、それ以外の静止状態を明確に区別して、巡回ＮＲを実施すべきである。

そこで、前記１１３のマイコンは前記顔検出情報Ｓ５１０の顔サイズに応じて、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段に前記合成制御データＳ１１１を設定する。

例えば、例えば図６に示すように、前記顔のサイズ情報を大、小と２つのカテゴリに分類したとして、顔のサイズ情報が小ならば前記合成制御データＳ１１１を０とし、顔のサイズ情報が大ならば１という値とする。

前記２０１の合成制御手段は、前記合成制御データＳ１１１が０のとき、すなわち顔のサイズが小のとき、前記高解像度重み付け信号Ｓ２０４を０．５、前記低解像度重み付け信号Ｓ２０５を０．５とするように出力する。よって、顔のサイズが小のとき、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段においては、上位階層側の重みが０．５となり、下位階層側の重みが０．５となるので、前記巡回ＮＲ用動き判定画像Ｓ２０９は、前記高解像度画像信号Ｓ２０１と前記低解像度画像信号Ｓ２０２のちょうど平均になる。

従って、前記１１７の巡回ＮＲ手段に与えられる前記巡回ＮＲ用動き判定画像Ｓ１１４は、額や頬の部分のような低コントラスト領域が静止寄りに誤判定されることを防止する効果と、細かい被写体の動き判定精度を保つ効果が、ほぼ均等にバランス取りされる状況を実現する。

前記２０１の合成制御手段は前記合成制御データＳ１１１が１のとき、すなわち顔のサイズが大のとき、前記高解像度重み付け信号Ｓ２０４を０．８、前記低解像度重み付け信号Ｓ２０５を０．２とするように出力する。よって、顔のサイズが大のとき、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段においては、上位階層側の重みが０．８となり、下位階層側の重みが０．２となるので、前記高解像度画像信号Ｓ２０１が８０％、前記低解像度画像信号Ｓ２０２が２０％使用され、ほとんど前記高解像度画像信号Ｓ２０１が使用されることになる。

従って、前記１１７の巡回ＮＲ手段に与えられる前記巡回ＮＲ用動き判定画像Ｓ１１４は、顔パーツのような細かい被写体の動き判定精度が向上する効果を強める動作となる。

このように、前記５１２の顔検出手段から得られる顔のサイズから被写体（顔）の動きを想定して、巡回ＮＲのかけ方をより細かく制御できる。

なお、図５においては、巡回ＮＲの例としたが、もちろん、ＩＰ変換のような画素毎の動き量に応じて処理を行うものに対して適用することも可能である。

［実施例３］
図７は本発明の第３の実施例であって、ビデオカメラ装置に適用した例である。図７において、図１の本発明の第１の実施例と同様の構成要素、信号およびデータに対しては、図１と同じ符号を付加し、説明を省略する。

図７において、６１２は色域検出手段、Ｓ６１０は色域情報である。本発明の第３の実施例において、前記本発明の第１の実施例と異なる点は、前記１１４の第１の動き量合成手段および前記１１６の第２の動き量合成手段が、前記６１２の色域検出手段から得られる前記色域情報Ｓ６１０を用いて、各階層画像における動き量の合成比を変えるということである。

前記６１２の色域検出手段は、周知の検出アルゴリズムを用いて、前記撮像画像Ｓ１０１内の色域を検出し、前記１１３のマイコンに前記色域情報Ｓ６１０を出力する。前記１１３のマイコンは、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段に、前記合成制御データＳ１１１を出力する。

前記１１４の第１の動き量合成手段および前記１１６の第２の動き量合成手段は、前記６１２の色域検出手段から前記１１３のマイコンを通じて得られる前記色域情報Ｓ６１０に基づいて、各階層画像における動き量の合成比を変える。

カメラ、とりわけビデオカメラの撮影において、空色を検出した場合、被写体は空や海である可能性が高く、これらは大きな動きを伴わず静止していることが予測される。従って、静止していると想定される空色の被写体に対しては巡回ＮＲを強くかけるべきである。

また、肌色を検出した場合には、被写体が人である可能性があり、大きな動きを伴うことが予測される。従って、人肌のようなコントラストの低い領域でも動きを検出して巡回ＮＲによる違和感を防止すべきである。

そこで、前記１１３のマイコンは前記色域情報Ｓ６１０に応じて、前記１１４の第１の動き量合成手段と前記１１６の第２の動き量合成手段に前記合成制御データＳ１１１を設定する。

前記設定比は、例えば、例えば図８に示すように、前記色域情報を空色、肌色、その他の色と３つのカテゴリに分類したとして、色域が空色ならば前記合成制御データＳ１１１を０とし、色域が肌色ならば１とし、色域がその他の色ならば２という値とする。

前記２０１の合成制御手段は、入力された前記合成制御データＳ１１１（すなわち、図２の前記合成制御データＳ２０３）が０のとき、すなわち色域が空色のとき、前記高解像度重み付け信号Ｓ２０４を０．５、前記低解像度重み付け信号Ｓ２０５を０．５とし、同時に前記２０４の大小選択手段は、前記大小選択信号Ｓ２０８を０とする。

これにより、入力された前記重み付け後の高解像度画像信号Ｓ２０６と前記重み付け後の低解像度画像信号Ｓ２０７のうち、小さい方が選択されることになる。これは図７でいえば、例えば前記第２階層の差分画像Ｓ１０７と前記第３階層の拡大差分画像Ｓ１０９の小さい方、つまり動き量の小さい方が選択されるので、静止状態の検出を重視することとなる。従って、静止が予測される空色の色域で、より確実に静止状態を検出することになる。

前記合成制御データＳ１１１が１、すなわち、肌色の色域にある場合は、前記高解像度重み付け信号Ｓ２０４＝０．５、前記低解像度重み付け信号Ｓ２０５＝０．５、前記大小選択信号Ｓ２０８＝１とする。これによる動作、効果は、第２の実施例と同様のため、説明は省略する。

前記合成制御データＳ１１１が２、すなわち、他の色域にある場合は、前記高解像度重み付け信号Ｓ２０４＝１、前記低解像度重み付け信号Ｓ２０５＝０、前記大小選択信号Ｓ２０８＝１とする。この場合、図７の前記１１６の第２の動き量合成手段において、前記第１階層の差分画像Ｓ１０６が１００％使用される。これは通常の巡回ＮＲ処理となる。

このように、前記６１２の色域検出手段から得られる色域情報から被写体の動きを想定して、巡回ＮＲのかけ方をより細かく制御できる。

なお、図７においては、巡回ＮＲの例としたが、もちろん、ＩＰ変換のような画素毎の動き量に応じて処理を行うものに対して適用することも可能である。

１０１は結像光学系
１０２はイメージエリアセンサ
１０３はカメラ信号処理手段
１０４は第１の縮小処理手段
１０５は第２の縮小処理手段
１０６は第３の縮小処理手段
１０７は第４の縮小処理手段
１０８は第１の動き量算出手段
１０９は第２の動き量算出手段
１１０は第３の動き量算出手段
１１１は第１の拡大処理手段
１１２はジャイロセンサ
１１３はマイコン
１１４は第１の動き量合成手段
１１５は第２の拡大処理手段
１１６は第２の動き量合成手段
１１７は巡回ＮＲ手段
１１８はメモリ

Claims

画像入力手段と、入力画像の現フレームの複数の解像度画像を生成する手段と、入力画像の過去フレームの複数の解像度画像を生成する手段と、現フレームの複数の解像度画像と過去フレームの複数の解像度画像から複数解像度の動き量を算出する動き量算出手段と、前記複数解像度の動き量を比較し、入力画像の領域または画素ごとに動き判定情報を生成する手段と、さらに、少なくとも撮像部とジャイロセンサと撮像システム制御部を構成し、撮像装置本体の加速度の撮像付加情報に基づき、前記複数解像度の動き量の比較内容を変更することを特徴とする撮像装置。
前記撮影付加情報は、撮像装置本体の加速度から得られるパンニング情報であって、パンニング中は、前記複数解像度の動き量のうち、低解像度側の動き量を大きく参照することを特徴とする請求項１に記載の撮像装置。
画像入力手段と、入力画像の現フレームの複数の解像度画像を生成する手段と、入力画像の過去フレームの複数の解像度画像を生成する手段と、現フレームの複数の解像度画像と過去フレームの複数の解像度画像から複数解像度の動き量を算出する動き量算出手段と、前記複数解像度の動き量を比較し、入力画像の領域または画素ごとに動き判定情報を生成する手段と、さらに、入力画像または複数の解像度画像を解析する画像解析手段と、システム制御部を構成し、前記画像解析手段により得られる画像解析情報に基づき、前記複数解像度の動き量の比較内容を変更することを特徴とする撮像装置。
前記画像解析情報は、色域情報であって、前記色域情報に応じて、前記複数解像度の動き量の比較内容を変更することを特徴とする請求項３に記載の撮像装置。
前記画像解析情報は、少なくとも顔のサイズ情報を含む顔検出情報であって、前記顔のサイズに応じて前記複数解像度の動き量の比較内容を変更することを特徴とする請求項３に記載の撮像装置。