JP2023140411A - 画像処理装置、および撮像システム - Google Patents

Abstract

【課題】撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することを可能にする。【解決手段】本開示の画像処理装置は、連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。【選択図】図２４

Description

本開示は、画像処理装置、および撮像システムに関する。

例えば、顔認証のために用いられる画像は、ノイズおよび像ぶれが抑制された明るい画像であることが望ましい。一方、電子カメラで暗い被写体を撮影して明るい画像を得る方法として、画像信号を増幅する方法と、露光時間を長くする方法とがある。また、像ぶれの抑制された画像を得る技術としては、複数の画像を合成する技術がある（例えば特許文献１参照）。

特開２００４－３５７０４０号公報

画像信号を増幅する方法では、ノイズ成分も増幅されてしまう。一方、露光時間を長くする方法では、被写体が動くと像がぶれてしまう。このため、ノイズおよび像ぶれの両方を抑制することは困難であった。

撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能な画像処理装置、および撮像システムを提供することが望ましい。

本開示の一実施の形態に係る画像処理装置は、連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。

本開示の一実施の形態に係る撮像システムは、撮像部と、撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。

本開示の一実施の形態に係る画像処理装置、または撮像システムでは、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像が生成される。

一般的な撮像素子の原理を概略的に示す説明図である。 一般的な撮像回路の構成と働きの一例を概略的に示す説明図である。 一般的な画像センサの光学的構造の一例を概略的に示す説明図である。 光学レンズの焦点距離の一例を概略的に示す説明図である。 カメラレンズの焦点距離の一例を概略的に示す説明図である。 カメラレンズが小口径レンズである場合の被写界深度の一例を概略的に示す説明図である。 カメラレンズが大口径レンズである場合の被写界深度の一例を概略的に示す説明図である。 カメラレンズが広角レンズである場合の被写界深度と望遠レンズである場合の被写界深度との一例を概略的に示す説明図である。 撮像素子に到達する光子数のばらつき特性の一例を示す説明図である。 シャッタ速度を優先する露光制御の一例を概略的に示す説明図である。 シャッタ速度を優先する露光制御を行った場合の撮影画像の一例を概略的に示す説明図である。 ゲインを優先する露光制御の一例を概略的に示す説明図である。 ゲインを優先する露光制御を行った場合の撮影画像の一例を概略的に示す説明図である。 シャッタ速度とゲインとのバランスを取った露光制御の一例を概略的に示す説明図である。 被写体速度と露光時間との関係の一例を概略的に示す説明図である。 量子ノイズの発生について示す説明図である。 表現ビット数としてのＨＤＲの概要を示す説明図である。 画像合成としてのＨＤＲの概要を示す説明図である。 シャッタ速度を優先する露光制御をすることにより得られた画像に基づいて生成されたＨＤＲ画像の一例を示す説明図である。 ゲインを優先する露光制御をすることにより得られた画像に基づいて生成されたＨＤＲ画像の一例を示す説明図である。 本開示の一実施の形態に係る技術により得られる画像の一例を示す説明図である。 本開示の一実施の形態に係る技術により得られる画像の一例を示す説明図である。 本開示の一実施の形態に係る画像処理装置、および撮像システムを顔認証システムに適用した構成例を概略的に示すブロック図である。 一実施の形態に係る画像処理装置、および撮像システムの概要を示すブロック図である。 一実施の形態に係る画像処理装置の詳細な構成例を概略的に示すブロック図である。 被写体の角度変化の一例を概略的に示す説明図である。 一実施の形態に係る画像処理装置の処理動作の一例を示すフローチャートである。 ＦＩＲ方式による画像の積分演算の概要を示す説明図である。 ＦＩＲ方式による画像の積分演算の概要を示すタイミングチャートである。 ＩＩＲ方式による画像の積分演算の概要を示す説明図である。 比較例に係る露光制御による露光時間が短い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。 比較例に係る露光制御による露光時間が長い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。 一実施の形態に係る露光制御による画像データの出力タイミングの一例を概略的に示すタイミングチャートである。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．一実施の形態
１．１ デジタル画像撮影の原理
１．２ 課題および比較例
１．３ 構成および動作
１．４ 変形例
１．５ 効果
２．その他の実施の形態

＜１．一実施の形態＞
［１．１ デジタル画像撮影の原理］
一実施の形態に係る技術について説明する前に、比較例に係る一般的なデジタル画像撮影の原理を説明する。

（撮像素子の原理）
図１に、一般的な撮像素子の原理を概略的に示す。

現代の電子カメラの原理は、入射した光子により半導体の電子結合に外乱が生じ、負電荷（ｎ型キャリア）と正電荷（ｐ型キャリア）とのペアが生成されるＯ（Ｏｐｔｉｃ）Ｅ（Ｅｌｅｃｔｒｉｃ）変換による。電子カメラの画像センサは、縦横に整然と並んだ多数の撮像素子１０１（受光素子）を備える。各撮像素子１０１では入射した光子によって、光子の数に応じた電荷ペアが生成される。生じた正電荷と負電荷はそれぞれ反対極性の電極に引き寄せられ、光の強度（＝光子数）に応じた電荷量が各撮像素子１０１に蓄積される。かつては各画素の撮像素子１０１の感度にばらつきがあり、固定ノイズの原因になっていた。現在は感度ばらつき精度改善のほか、後段の撮像回路で補正が行われる等、固定ノイズ抑制の工夫がされている。画像センサが高解像度であるほど、撮像素子１０１としてのフォトダイオードの面積が小さくなり、１画素あたりの受光量が減少する。

（撮像回路の構成と働き）
図２に、一般的な撮像回路の構成と働きの一例を概略的に示す。かつては撮像回路が変動ノイズの主な混入箇所であったが、現在では様々なノイズ抑制の工夫がなされている。

図２に示したように、各撮像素子１０１に蓄積された電荷は、順次電流としてＩ－Ｖアンプ（電流／電圧変換増幅器）１１１により電圧信号に変換される。電圧信号はＡＧＣ（Auto Gain Control）アンプ１１２により設定ゲインに従って増幅され、Ａ（アナログ）／Ｄ（デジタル）コンバータ１１３によりデジタル信号に変換される。

（画像センサの光学的構造と特性）
図３に、一般的な画像センサの光学的構造の一例を概略的に示す。

一般的な画像センサの構造として、例えば、撮像素子１０１に対して、カラーフィルタ１２１と、マイクロレンズ１２２と、光学ローパスフィルタ１２３と、赤外カットフィルタ１２４とが配置されたものがある。撮像素子１０１は例えばフォトダイオードである。

一般的なカメラレンズは可視光を想定して焦点設計されており、赤外光が混入するとピンボケの原因になる。赤外カットフィルタ１２４は、赤外光を排除するために設けられる。画素ピッチを超える解像度の被写体はモワレの発生原因となる。光学ローパスフィルタ１２３は、モワレの発生を抑制するため、光をわずかに散乱させる作用を有する。マイクロレンズ１２２は、受光効率を改善するとともに、各画素の入射光が隣接画素に漏れるのを防止する。カラーフィルタ１２１は、例えば、１つの画素に対して例えば光の３原色（赤、緑、青）のいずれか１色の光のみを通すことにより、カラー画像撮影を可能にする原色フィルタである。なお、かつて撮像素子１０１の感度が低かった頃は、カラーフィルタ１２１として補色フィルタを用い、２色の光を通過させ、演算で色再現していた。カラーフィルタ１２１を通過できない光は捨てられ、撮影に利用できる光は測定照度より少なくなる。

（カメラレンズの光学特性）
・焦点距離
図４に、光学レンズ１３０の焦点距離の一例を概略的に示す。図５に、カメラレンズ１３１の焦点距離の一例を概略的に示す。

カメラレンズ１３１の焦点距離は、光学レンズ１３０の焦点距離とは意味が異なる。図４に示したように、光学レンズ１３０の焦点距離（＝ピント）は、レンズ中心と平行光が入射した場合の像面上の結像点との間の距離となる。カメラレンズ１３１の焦点距離は、レンズ中心と画像センサ（＝像面）との間の距離を、３５ｍｍフィルムカメラに換算した値であり、撮影画角の定義として使用される。図５には、広角レンズ（焦点距離が小さい）の場合と望遠レンズ（焦点距離が小さい）の場合の焦点距離の概念を模式的に示す。

・Ｆ値
Ｆ値は、カメラレンズ１３１の焦点距離を対物側の有効径で割った値である。Ｆ値が小さいほど、明るい（光を多く集める）レンズである。広角である（焦点距離が小さい）ほど、Ｆ値は小さい（明るい）。また、口径が大きい（大型カメラ）ほど、Ｆ値は小さい（明るい）。暗い広角のレンズは口径が小さくレンズ全長が短いので、小型で安価である。明るい望遠レンズは口径が大きくレンズ全長が長いので、大型で高価である。

・被写界深度
図６に、カメラレンズ１３１が小口径レンズである場合の被写界深度の一例を概略的に示す。図７に、カメラレンズ１３１が大口径レンズである場合の被写界深度の一例を概略的に示す。

被写界深度は、被写体の距離が合焦点位置から外れている場合の像面上でのボケ具合を示す。被写界深度が深い場合、被写体の距離が合焦点位置から多少外れていても、像面上ではボケにくい。被写界深度が浅い場合、被写体の距離が合焦点位置から少し離れるだけで、像面上ではボケやすい。図６に示したように、口径が小さい（＝暗い）レンズほど、被写界深度は深い（ボケにくい）。図７に示したように、口径が大きい（＝明るい）レンズほど、被写界深度は浅い（ボケやすい）。大口径の明るいレンズは精密なフォーカス制御が必要であり、遠くの被写体と近くの被写体とを同時撮影するには不向きである。

図８に、カメラレンズ１３１が広角レンズである場合の被写界深度と望遠レンズである場合の被写界深度との一例を概略的に示す。

広角レンズ（短焦点レンズ）ほど、被写界深度は深い（ボケにくい）。望遠レンズ（長焦点レンズ）ほど、被写界深度は浅い（ボケやすい）。遠い被写体と近い被写体とを同時撮影したい場合、被写界深度が深いレンズ、すなわち口径が小さく、広角のレンズほど有利になる。

（量子化ノイズと量子ノイズの違い）
デジタル信号処理における「量子化ノイズ」という用語は、連続量であるアナログ信号をデジタル化する際に発生する、１ビット未満の微小誤差を表現するのに使われる。一実施の形態に係る技術で解決すべき「量子ノイズ」は、光子の量子力学的性質に起因するものであり、全く別の概念であることに注意する必要がある。光子は、粒子としての性質と波動としての性質を併せ持つ、物理学で言うところの「量子」である。「波動」というのは光子の存在確率が波の性質を持つと解釈されている。すなわち、光子の存在確率はレンズにより波動的屈折を受け、撮像素子１０１に「確率的」に到達する。従って、撮像素子１０１で検知される光子の個数は、確率分布に従ってゆらぎが生じ、一定ではない。これにより画像信号に発生するノイズが量子ノイズである。

（光の量子力学的性質）
光には、大きく分けて、色と明るさという２つのパラメータがある。

色は、光子のエネルギーにより決まる。光子のエネルギーは振動数に比例し、Ｅ＝ｈ・νで表される。ｈはプランク定数＝６．６２６０７０１５^-34（Ｊ・ｓ）、νは光の振動数＝（光の速度／波長）、Ｅは光子のエネルギー（Ｊ）である。光の波長λ＝５５５ｎｍ（黄緑）のとき、Ｅ＝３．５７９１８^-19（Ｊ）になる。

明るさは、光子の数により決まる。光子の数は、（光の照射エネルギー）／（光子のエネルギー）で表される。照度が１Ｌｕｘのとき、１ｍ²あたりの光の照射エネルギーは、０．００１４６（Ｊ／ｓ）になる（λ＝５５５ｎｍのとき）。これは、１ｍ²の面積に１秒間で４．０７９１４⁺¹⁵個の光子が到達することを意味する。

（照度と光子数のばらつき特性（ポアソン分布））
図９に、撮像素子１０１に到達する光子数のばらつき特性の一例を示す。

完全にランダムな事象が少数回発生するとき、事象の発生確率はポアソン分布に従い、事象の頻度が大きくなると正規分布に近似されることが知られている。標準カメラの画素サイズ（１．１２μｍ）に換算すると、画像センサ上で１Ｌｕｘのとき、１画素あたりの光子数は５，１１７個／秒、３０ｍｓでは１５３個に相当し、８ｂｉｔ＝２５６階調を下回る。これは１Ｌｕｘ下で最大輝度の場合であり、画像を表現する階調によっては１画素あたり数１０～数個の光子しか到達せず、ポアソン分布の適用範囲になる。図９には、光子数λ＝１０，５０，１００の光子が１画素に到達する確率分布を示す。光子数λが小さいほど分散が大きくなる。すなわち、暗い被写体ほど光子が１画素に到達する確率が低くなり、ノイズが大きくなる。

（カメラの露光制御方法）
暗い被写体を明るい画像として撮影する方法は、シャッタ速度優先制御とゲイン優先制御との２種類に大別される。

・シャッタ速度優先制御
図１０に、シャッタ速度を優先する露光制御（シャッタ速度優先制御）の一例を概略的に示す。図１１に、シャッタ速度を優先する露光制御を行った場合の撮影画像の一例を概略的に示す。

シャッタ速度優先制御は、一般に、動いている被写体の撮影に適用される。シャッタ速度優先制御は、図１０に示したように、照度にかかわらず露光時間（シャッタ速度）の設定を維持（固定）したまま、照度に応じてＡＧＣアンプ１１２による信号の増幅率（ゲイン）を変えて暗い被写体ほど信号の増幅率を上げることにより画像を明るくする制御である。シャッタ速度優先制御をした場合、図１１に示したように、信号増幅率を上げることで画像の輝度とともに、量子ノイズも増幅される。

・ゲイン優先制御
図１２に、ゲインを優先する露光制御（ゲイン優先制御）の一例を概略的に示す。図１３に、ゲインを優先する露光制御を行った場合の撮影画像の一例を概略的に示す。

ゲイン優先制御は、一般に、動きの少ない被写体に適用される。ゲイン優先制御は、図１２に示したように、照度にかかわらずＡＧＣアンプ１１２による信号の増幅率（ゲイン）を維持（固定）したまま、照度に応じて露光時間（シャッタ速度）を変えて暗い被写体ほど長時間露光することで光子を蓄積することにより画像を明るくする制御である。ゲイン優先制御をした場合、図１３に示したように、量子ノイズが抑制される反面、動きのある被写体にぶれが生じる。

・バランス制御
図１４に、シャッタ速度とゲインとのバランスを取った露光制御（バランス制御）の一例を概略的に示す。

例えば、明るい被写体、あるいは明るい（Ｆ値の大きい）レンズによる撮影では、図１４に示したように、照度に応じて露光時間（シャッタ速度）とＡＧＣアンプ１１２による信号の増幅率（ゲイン）とを交互に制御し、露光条件が最適になるよう制御するＡＥ（Auto Exposure）制御が行われる。なお、大口径レンズを装備する高級カメラでは、さらに絞り機構でＦ値を下げたり、ＮＤフィルタを装着して入射光を減衰させることもある。しかし、小口径レンズで暗い被写体を撮影する場合、このような余裕はない。

（被写体速度と露光時間の関係）
図１５に、被写体速度と露光時間との関係の一例を概略的に示す。

図１５に示したように、移動する被写体１００を撮影する場合、像ぶれが発生しないようにするためには、露光時間を小さくする必要がある。例えば、水平解像度２０４８画素の画像センサを露光時間３０ｍｓ（動画撮影の最大値）で撮影するとき、像ぶれを１画素に抑えるためは、許される移動速度は３３．３画素／秒以下、すなわち水平画角を横切る時間は１分以上になる。

（照度および露光時間と量子ノイズ）
図１６に、量子ノイズの発生について示す。

動きのある被写体の撮影で露光時間が制限されている場合、低照度環境下ではＡＧＣアンプ１１２による信号の増幅率（ゲイン）を上げてＡ／Ｄコンバータ１１３への入力信号のレベルを確保する必要がある。画像センサの受光面で数Ｌｕｘ以下の低照度では、８ｂｉｔ＝２５６階調を満たせるだけの光子数が集まらず、光子の確率波に起因する量子ノイズが発生する。

［１．２ 課題および比較例］
一般に、写真撮影においては撮影前に適切な露光時間を予測して設定している。銀塩写真の時代に比べ、現代の電子カメラでは即時に撮影結果を確認して撮影し直すことができるようになり、さらには測光から露光設定までを自動で行うＡＥ制御も普及している。しかし、上述したように、低照度下での撮影においてはノイズと像ぶれという相反する課題をともに解決することができず、目的に応じた露光条件の設定を行うことは困難であった。

そこで、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能な画像処理装置、および撮像システムを提供することが望ましい。例えば物体認証、特に顔認証の用途において、露光条件を撮影後に設定することを可能とし、露光制御の設定を劇的に改善することが可能な技術が望まれている。

（ＨＤＲとの違い）
後述する一実施の形態に係る技術と、比較例としてのＨＤＲ（High Dynamic Range）の技術との違いについて説明する。

・表現ビット数としてのＨＤＲ
図１７に、表現ビット数としてのＨＤＲの概要を示す。

古くから、デジタル画像は各画素の明るさが８ｂｉｔ＝２５６階調で表現されてきた。画像機器の性能向上に従って多階調表現が可能になり、より高い画質を求める声に応えるため、１０ｂｉｔ＝１０２４階調、１２ｂｉｔ＝４０９６階調など、画像のダイナミックレンジ拡張仕様が登場している（ダイナミックレンジ＝最小信号から最大信号までの表現域）。しかし、図１７に示したように、そもそも光子の数が階調数に満たなければ性能を発揮することは困難である。

・画像合成としてのＨＤＲ
図１８に、画像合成としてのＨＤＲの概要を示す。

画像合成としてのＨＤＲは、アナログゲインを高速で切り替えて連続撮影した、複数枚の画像データを合成し、ダイナミックレンジを拡大する方法である。例えば、図１８に示したように、明るい部分が抑制されるように設定されたアナログゲインによって得られた第１のアナログ信号をＡ／Ｄコンバータ１４１によって第１のデジタル信号（例えば１０ｂｉｔ）に変換する。さらにＬＵＴ（ルックアップテーブル）１４２によってガンマ補正やシェーディング補正することによって第１の画像が得られる。第１の画像はダイナミックレンジを拡大していないノーマル画像（例えば８ｂｉｔ）としてもよい。

一方、暗い部分が強調されるように設定されたアナログゲインによって得られた第２のアナログ信号をＡ／Ｄコンバータ１５１によって第２のデジタル信号（例えば１０ｂｉｔ）に変換する。さらにＬＵＴ（ルックアップテーブル）１５２によってガンマ補正やシェーディング補正することによって第２の画像が得られる。第１の画像は明るい部分が抑制されているので、部分的に黒潰れが発生する場合がある。一方、第２の画像は暗い部分が強調されているので、部分的に白飛びが発生する場合がある。黒潰れが発生している部分と白飛びが発生している部分とを除くように第１の画像と第２の画像とを合成することで、ダイナミックレンジの拡大されたＨＤＲ画像（例えば１０ｂｉｔ）を得ることができる。

（画像合成としてのＨＤＲ画像の例）
図１９に、シャッタ速度を優先する露光制御（シャッタ速度優先制御）をすることにより得られた画像に基づいて生成されたＨＤＲ画像の一例を示す。図２０に、ゲインを優先する露光制御（ゲイン優先制御）をすることにより得られた画像に基づいて生成されたＨＤＲ画像の一例を示す。図１９およびに図２０には、大口径レンズを用いて撮影された画像に基づいて生成されたＨＤＲ画像と、小口径レンズを用いて撮影された画像に基づいて生成されたＨＤＲ画像との例を示す。

画像合成によって得られたＨＤＲ画像は、暗い部分が光量不足の場合は信号を増幅すると量子ノイズが目立つ。また、連続撮影の間に被写体が動いてしまうと、合成ミスが発生することがある。例えば、図１９に示したように、特に、小口径レンズを用いてシャッタ速度優先制御により撮影された画像に基づいて生成されたＨＤＲ画像では、ゲインを上げることにより、被写体像の量子ノイズも強調されてしまう。また、例えば、図２０に示したように、特に、小口径レンズを用いてゲイン優先制御により撮影された画像に基づいて生成されたＨＤＲ画像では、長時間露光により、被写体像にぶれが発生してしまう。

（一実施の形態に係る技術により生成される露光画像の例）
図２１に、本開示の一実施の形態に係る技術により得られる画像の一例を示す。図２１には、大口径レンズを用いて撮影された画像に基づいて生成された露光画像と、小口径レンズを用いて撮影された画像に基づいて生成された露光画像との例を示す。

一実施の形態に係る技術を適用した場合、例えば、大口径レンズを用いて撮影された画像に基づいて生成された露光画像と小口径レンズを用いて撮影された画像に基づいて生成された露光画像との双方において、被写体の露光状態が最適化される。なお、例えば、小口径レンズを用いて撮影された画像に基づいて生成された露光画像では、被写体の背景にのみ、像ぶれが発生する。

（光学手振れ補正）
また、カメラを手持ちで撮影する場合の像ぶれを抑制する技術として、光学手振れ補正技術がある。例えば、カメラに加速度センサおよびジャイロセンサを搭載する。また、カメラのレンズに撮影光路を変化させる光学アクチュエータを搭載する。そして、加速度センサおよびジャイロセンサにより、カメラの姿勢変化を測定する。測定した姿勢変化量を打ち消す方向に、光学アクチュエータを駆動する。これにより、カメラの姿勢変化に起因する像ぶれについては、抑制することが可能である。しかし、被写体の運動に起因する像ぶれについては、抑制は困難であった。

それに対し、特許文献１（特開２００４－３５７０４０号公報）では、連続撮影した複数枚の画像の中で、最も移動しない特徴点の動きベクトルを検出し、各画像の位置を合わせて合成する技術が提案されている。しかしながら、特許文献１に記載の技術は、例えばシャッタ半押しによる被写体観察段階において測定した露光条件を、シャッタ全押しによる撮影段階において適用する技術であり、実際の撮影段階における露光条件を最適化するようなものではない。このため、特に、例えば顔認証をする場合において、暗所での歩行運動に対応した顔撮影をする等の目的には性能不足である。

（被写体追跡）
例えば、移動する被写体を長時間露光撮影する技術として、被写体追跡がある。例えば、陸上競技選手の撮影において、トラックと並行にレールを設置し、カメラを搭載した台車をレールに載せて並走させる方法などがある。あるいは、星雲など暗い天体を撮影する際、カメラをモータ駆動赤道儀に搭載し、天体の日周運動に追尾させる方法などがある。このような方法により、被写体が移動する場合においても像ぶれの抑制が可能になる。しかし、カメラを被写体に合わせて移動させる装置は大掛かりになりがちであり、また人の動作など予測できない動きに追従することは困難である。

［１．３ 構成および動作］
（概要）
図２２に、本開示の一実施の形態に係る技術により得られる画像の一例を示す。

一実施の形態に係る技術では、例えば、標準の露光時間で連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出する。次に、複数の撮影画像から所望の被写体像を切り出し、所望の被写体像の変化が補正された複数の補正画像を生成する。そして、複数の補正画像を合成し、所望の露光状態の高精度の露光画像を生成する

例えば顔認証を行う場合、図２２に示したように、シャッタ速度を上げて背景も含めて所望の被写体（例えば認証対象の顔）を撮影すると、個々のフレームＦ１，Ｆ２，Ｆ３は暗く、そのままでは顔認証に不向きである。また、フレームＦ１，Ｆ２，Ｆ３ごとに所望の被写体の位置が変化すると、そのままでは各フレームＦ１，Ｆ２，Ｆ３を重ね合わせることは困難である。しかし、多くの場合、所望の被写体部分（例えば顔部分）のみに注目すればフレームＦ１，Ｆ２，Ｆ３ごとの差異は少ない。よって、所望の被写体部分の画像を切り出し、その切出画像Ｆ１１，Ｆ１２，Ｆ１３を重ね合わせることで、顔認証に適した明るさの画像を得ることができる。なお、図２２には参考として、各切出画像Ｆ１１，Ｆ１２，Ｆ１３を明るくした画像を示す。例えば、各切出画像Ｆ１１，Ｆ１２，Ｆ１３を重ね合わせることなく、信号処理で明るくした場合、ノイズが発生する。

（適用例）
一実施の形態に係る技術は、例えば顔認証システムに好適である。ただし、一実施の形態に係る技術は、顔認証システム以外の用途にも適用可能である。

図２３に、本開示の一実施の形態に係る画像処理装置、および撮像システムを顔認証システムに適用した構成例を概略的に示す。

このシステムは、カメラデバイス１と、ＩＳＰ（Image Signal Processor）２と、ＤＮＮ（Deep Neural Network）プロセッサ３と、顔認証システム４と、特徴量ＤＢ（データベース）５とを備える。カメラデバイス１とＩＳＰ２は、例えばＭＩＰＩ（Mobile Industry Processor Interface）－ＣＳＩ（Camera Serial Interface）およびＩ²Ｃインタフェース等のインタフェースによって互いに通信可能に接続されている。

カメラデバイス１による撮影画像（ＲＡＷデータ）は、例えばＭＩＰＩ－ＣＳＩによりＩＳＰ２に出力される。

ＩＳＰ２は、ＲＡＷデータにガンマ補正、色変換等を施して画像データを生成し、その画像データをＤＮＮプロセッサ３に出力する。

ＤＮＮプロセッサ３は画像データの中の所望の被写体領域として顔領域を検出して顔画像を抽出する。また、ＤＮＮプロセッサ３は、顔画像から特徴量ベクトルを生成し、顔認証システム４に出力する。ＤＮＮプロセッサ３は、例えばＧＰＵ（Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）、およびＤＳＰ（Digital Signal Processor）等のうち、少なくとも１つ含んで構成される。

顔認証システム４は、受信した特徴量ベクトルを特徴量ＤＢ５の登録データと照合し、顔認証による本人判定を行う。

一実施の形態に係る画像処理装置は、例えばＤＮＮプロセッサ３によって実現され得る。一実施の形態に係る撮像システムは、例えばカメラデバイス１と、ＩＳＰ２と、ＤＮＮプロセッサ３とによって実現され得る。一実施の形態に係る画像処理装置、および撮像システムによる画像処理の技術は、例えばＤＮＮプロセッサ３内における特徴量ベクトルを生成する前段階の処理として、画像データから顔領域を検出して顔画像を抽出する処理に適用され得る。

（具体的な構成例および動作例）
図２４に、一実施の形態に係る画像処理装置、および撮像システムの概要を示す。図２５に、一実施の形態に係る画像処理装置の詳細な構成例を概略的に示す。図２６に、被写体の角度変化の一例を概略的に示す。図２７に、一実施の形態に係る画像処理装置の処理動作の一例を示す。

一実施の形態に係る撮像システムは、撮像部１０と、画像切出器１１と、移動検出器２０と、変形検出器３０と、画像補正器４０と、露光処理部５０と、画像出力器６０と、撮影画像メモリＭ１と、基準データメモリＭ２と、演算画像メモリＭ３とを備えている。移動検出器２０は、前処理部２１と、変化量計算器２２とを有している。露光処理部５０は、画像演算器５１と、露光演算器５２とを有している。なお、撮影画像メモリＭ１、基準データメモリＭ２、および演算画像メモリＭ３は、ハードウェアとしては１つのメモリで構成されてもよい。

以下、図２７に示した処理動作の流れに従って、一実施の形態に係る画像処理装置、および撮像システムの具体的な構成例および動作例を説明する。

撮像部１０は、所望の被写体（例えば顔）を連続的に撮影する。撮影画像メモリＭ１は、撮像部１０によって連続的に撮影された複数の撮影画像を記憶する。画像切出器１１は、撮影画像メモリＭ１に記憶された複数の撮影画像のそれぞれから所望の被写体像を検出して所望の被写体像に相当する画像を切り出し、複数の第１切出画像として出力する（図２７のステップＳ１０１）。

画像切出器１１は、撮影画像メモリＭ１に記憶された複数の撮影画像のそれぞれから所望の被写体像の出現、消失、移動、サイズ変化等を検出する。画像切出器１１は、複数の第１切出画像のそれぞれに、切り出し位置の座標、および画像サイズ等を示す付加情報を付加する。このとき、画像切出器１１は、同一の撮影画像内に所望の被写体として例えば複数の顔が検出された場合は、それぞれの顔について第１切出画像を生成する。座標、および画像サイズ等の付加情報は、移動検出器２０の変化量計算器２２において使用され、同一人物の顔か否かの判断や変化量計算で用いられる。複数の第１切出画像のそれぞれの座標、および画像サイズは、変化量計算によって精密に補正され、画像切出器１１にフィードバックされ、未来の所望の被写体像の検出位置の予測等に用いられる。

移動検出器２０は、撮像部１０によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する。移動検出器２０では、画像切出器１１によって切り出された複数の第１切出画像に基づいて、所望の被写体像の変化量を検出する。

移動検出器２０では、まず、前処理部２１において第１切出画像に前処理を施した前処理画像を変化量計算器２２に送る（図２７のステップＳ１０２）。前処理部２１は、前処理として、変化量計算に適した加工を第１切出画像に施す処理を行う。前処理部２１は、例えば、前処理として、周囲から大きく外れた値を持つ画素を周囲画素の平均値で置き換える特異点除去を行う。また、前処理部２１は、例えば、特異点除去で取り切れないノイズ成分を空間ローパスフィルタにより除去するフィルタ処理を行う。また、前処理部２１は、その他の処理として、例えば、変化量計算の障害になりそうな画像成分を必要に応じ除去する処理を行う。

次に、移動検出器２０では、変化量計算器２２において、初回の変化量計算であるか否かを判断する（図２７のステップＳ１０３）。初回であると判断した場合（図２７のステップＳ１０３；Ｙ）、変化量計算器２２は、次に、前処理画像を基準データとして、基準データメモリＭ２に保存する（図２７のステップＳ１０５）。初回ではないと判断した場合（図２７のステップＳ１０３；Ｎ）、変化量計算器２２は、次に、あらたな前処理画像と基準データとを照合し、あらたな前処理画像の基準データに対する変化量計算を実施する（図２７のステップＳ１０４）。

基準データメモリＭ２は、基準データとして、移動検出器２０の変化量計算器２２において変化量を検出するための基準画像を記憶する。基準データには、基準画像の元となる第１切出画像の切り出し位置の座標、および画像サイズ等を示す付加情報が含まれてもよい。移動検出器２０の変化量計算器２２は、基準画像に対する所望の被写体像の変化量を検出する。移動検出器２０は、撮影画像メモリＭ１に記憶された複数の撮影画像に基づいて、所望の被写体像の移動軌跡を補間演算により算出し、移動軌跡に基づいて、所望の被写体像の変化量を検出するようにしてもよい。

変形検出器３０は、複数の第１切出画像における所望の被写体像の変形を検出する。移動検出器２０は、複数の第１切出画像のうち、変形検出器３０によって所望の被写体像の変形が検出された第１切出画像を、所望の被写体像の変化量の検出対象から除外したり、別の被写体として扱うようにしてもよい。変形の例としては、所望の被写体が顔である場合、例えば、まばたきや左右への首振り等がある。

変化量計算器２２において検出される変化量は、所望の被写体像の位置、サイズ、および角度（Ｙａｗ／Ｐｉｔｃｈ／Ｒｏｌｌ）の情報を含んでもよい。基準データメモリＭ２は、異なる被写体ごとの基準データを記憶してもよい。変化量計算器２２は、複数の基準データのうち、座標やサイズ等の情報に基づいて最適な基準データを選択するようにしてもよい。基準データは、初回保存時からの時間経過やサイズの変化等、条件変化に応じて適宜更新するようにしてもよい。変化量計算の結果、基準データに対して前処理画像の座標およびサイズ等に誤差が認められた場合は前処理画像の補正を行うようにしてもよい。照合すべきあらたな前処理画像が一定時間、変化量計算器２２に来なくなった基準データは、基準データメモリＭ２から削除するようにしてもよい。

次に、画像補正器４０は、移動情報を元に精密な複数の第２切出画像を取得する。そして、取得した複数の第２切出画像に整合処理を実施し、複数の補正画像を生成する（図２７のステップＳ１０６）。

画像補正器４０は、移動検出器２０によって生成された移動情報に基づいて複数の第２切出画像の整合処理を行うことで、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する。画像補正器４０は、移動情報に基づいて、複数の撮影画像のそれぞれにおける所望の被写体像に相当する複数の第２切出画像を切り出し、複数の第２切出画像に対して移動情報に基づく補正を行うことにより、複数の補正画像を生成する。画像補正器４０は、基準データメモリＭ２に記憶された基準画像に対する所望の被写体像の変化を補正する。第２切出画像は、第１切出画像から画像の再切り出しを行うことにより取得してもよいし、撮影画像メモリＭ１に記憶された複数の撮影画像のそれぞれから、あらためて画像の切り出しを行うことにより取得してもよい。画像補正器４０は、所望の被写体像の変化の補正として、例えば、位置、およびサイズの変化の補正を行う。また、画像補正器４０は、所望の被写体像の変化の補正として、例えば図２６に示したような首をかしげる等の被写体１００の角度変化の補正（回転補正）を行う。これにより、連続的に撮影された複数の撮影画像中の所望の被写体像の位置およびサイズ等を合致させることができる。

次に、露光処理部５０は、複数の補正画像を蓄積処理し、演算データとして演算画像メモリＭ３に保存する。そして、演算データから最適な露光状態の画像を露光画像として取得する（図２７のステップＳ１０７）。画像出力器６０は、露光処理部５０によって生成された露光画像を、所望の被写体像が必要とされる外部装置（例えば図２３の顔認証システム４）に出力する。

露光処理部５０は、画像補正器４０によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。画像演算器５１は、複数の補正画像に対して積分演算を行う。演算画像メモリＭ３は、画像演算器５１によって積分演算することによって生成された演算データを記憶する。

露光演算器５２は、画像演算器５１を制御し、所望の露光状態となる露光画像を生成する。露光演算器５２は、演算画像メモリＭ３に記憶された演算データに基づいて、所望の露光状態となる露光画像を生成する。露光演算器５２は、画像演算器５１の制御に加え、複数の撮影画像の出力を行う撮像部１０における撮影条件の制御を行うようにしてもよい。撮影条件は、例えば、露光条件（絞り、露光時間、ゲイン）やフレームレート等であってもよい。

画像演算器５１による積分演算において、積分期間を長くすると長時間露光すなわち低速シャッタ、積分期間を短くすると短時間露光すなわち高速シャッタに相当する露光画像が得られる。演算画像メモリＭ３に記憶された演算データは、露光演算器５２によって適宜、読み出され、例えば輝度の正規化がなされて、露光画像として出力される。これにより、撮影時は高速シャッタでありながら、撮影後の演算制御により、長時間露光と同等の露光量による顔画像等を得ることが可能となる。

なお、積分演算の代表的な手法として、デジタルフィルタでよく使われるＦＩＲ（Finite Impulse Response）方式とＩＩＲ（Infinite Impulse Response）方式がある。画像演算器５１は、必要とされる露光量および画質に応じて、ＦＩＲ方式とＩＩＲ方式とを組み合わせた積分演算を行うようにしてもよい。

図２８に、ＦＩＲ方式による画像の積分演算の概要を示す。

ＦＩＲ方式を用いる場合、画像演算器５１は複数の補正画像を一定枚数、演算画像メモリＭ３に保存し、保存された一定枚数の補正画像に対して平均化演算を行って露光画像を生成する。

図２９は、ＦＩＲ方式による画像の積分演算の概要を示すタイミングチャートである。図２９において（Ａ）はＶＳＹＮＣ（垂直同期信号）、（Ｂ）は比較例に係る技術によるシャッタタイミング、（Ｃ）は一実施の形態に係る技術によるシャッタタイミングの一例を示す。

比較例に係る技術では、図２９の（Ｂ）に示したように、例えば１フレームを超える長時間露光をすることで複数フレームの撮影画像を蓄積した露光画像が得られる。一実施の形態に係る技術では、図２９の（Ｃ）に示したように、例えば１フレーム期間内で撮影された複数の撮影画像内の所望の被写体像の位置が検出され、所望の被写体像を含む複数の画像の整合処理および蓄積処理を行うことで、長時間露光に相当する露光画像が得られる。

図３０に、ＩＩＲ方式による画像の積分演算の概要を示す。

ＩＩＲ方式では、蓄積された平均値画像に対し、あらたな入力画像を所定の割合（例えばＡ％）を決めて混ぜていく方式であり、少ないメモリ量で長時間の移動平均画像を生成できる。一実施の形態に係る技術においてＩＩＲ方式を適用する場合、画像補正器４０によって演算された複数の補正画像の平均値画像が演算画像メモリＭ３に保存され、所望の露光状態になった段階で露光演算器５２によって平均値画像が露光画像として読み出される。

［１．４ 変形例］
一実施の形態に係る技術を例えば顔パーツ検出技術と組み合わせ、まばたきした瞬間の画像を露光処理部５０による露光処理から排除するようにしてもよい。また、露光処理部５０において、連続的に撮影された複数の撮影画像における、所望の被写体像の座標の変化量が最も少ない区間の画像を選択して露光処理をするようにしてもよい。

一実施の形態に係る技術において、移動検出器２０は、所望の被写体像として、複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出するようにしてもよい。この場合、画像補正器４０は、複数の所望の被写体像のそれぞれについて、複数の補正画像を生成するようにしてもよい。露光処理部５０は、複数の所望の被写体像のそれぞれについて、所望の露光状態の露光画像を生成するようにしてもよい。移動検出器２０、基準データメモリＭ２、画像補正器４０、画像演算器５１、演算画像メモリＭ３、露光演算器５２は複数装備、もしくは時分割で動作させることも可能である。これにより、同一画像内の複数の被写体のそれぞれについて個別に最適な露光状態の露光画像を生成できる。

［１．５ 効果］
以上説明したように、一実施の形態に係る技術によれば、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。これにより、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能となる。

比較的高速で移動する被写体の撮影において、カメラ画角内における被写体像の位置およびサイズが変化したとしても、被写体像の形状は急激に変化しない。従って、一実施の形態に係る技術によれば、高速シャッタで撮影された複数の撮影画像における所望の被写体像を検出して切り出し、複数の撮影画像における各所望の被写体像の位置およびサイズを精密に合わせて重畳することにより、長時間露光と同等の像を得ることができる。特に、一実施の形態に係る技術の主たる適用分野である顔認証において、被写体移動の主要因は歩行運動であり、画角内の顔位置およびサイズは変化するが、顔の形状が大きく変化するわけではない。従って、高速シャッタで連続撮影された各撮影画像の光量が不足し、ノイズが多い場合であっても、各撮影画像から切り出された顔画像の位置とサイズとを合わせて重畳することにより、ノイズの少ない顔画像を得ることができる。一方、背景については顔の移動に伴って変化するため、重畳により像ぶれが生じる。これは、顔認証アルゴリズムに対し、背景の影響が軽減される方向に働くため、むしろ有利になる。

一実施の形態に係る技術によれば、暗い被写体であってもノイズの少ない高品質の画像を得ることが撮影できる。また、撮影を実行した後で目的に応じて露光方法を選択できる。

図３１は、比較例に係る露光制御による露光時間が短い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図３２は、比較例に係る露光制御による露光時間が長い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図３３は、一実施の形態に係る露光制御による画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図３１～図３３において（Ａ）はＶＳＹＮＣ（垂直同期信号）、（Ｂ）は露光タイミング（シャッタタイミング）、（Ｃ）は画像データの出力タイミングの一例を示す。

比較例に係る露光制御では、露光時間が短い場合（露光時間が１フレーム期間内）、図３１に示したように、連続的に撮影された各画像データ（Ｄ１，Ｄ２，Ｄ３…）は、撮影時（露光時）のフレームタイミングの次のフレームタイミングで送出される。露光時間が長い場合（露光時間が１フレーム期間を超える場合）、図３２に示したように、連続的に撮影された各画像データ（Ｄ１，Ｄ２，Ｄ３…）は、露光終了後のフレームタイミングで送出される。このため、露光時間が１フレーム期間を超える場合、フレームレートは低下する。これに対し、一実施の形態に係る技術は、複数の画像データ（Ｄ１，Ｄ２，Ｄ３…）を合成して事後的に長時間露光に相当する露光調整を行う技術である。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

＜２．その他の実施の形態＞
本開示による技術は、上記一実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。これにより、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能となる。

（１）
連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
を備える
画像処理装置。
（２）
前記複数の撮影画像のそれぞれから前記所望の被写体像を検出して前記所望の被写体像に相当する画像を切り出し、複数の第１切出画像として出力する画像切出器、をさらに備え、
前記移動検出器は、前記画像切出器によって切り出された前記複数の第１切出画像に基づいて、前記所望の被写体像の変化量を検出する
上記（１）に記載の画像処理装置。
（３）
前記画像切出器は、前記複数の第１切出画像のそれぞれに、切り出し位置の座標、および画像サイズを示す付加情報を付加する
上記（２）に記載の画像処理装置。
（４）
前記画像補正器は、前記移動情報に基づいて、前記複数の撮影画像のそれぞれにおける前記所望の被写体像に相当する複数の第２切出画像を切り出し、前記複数の第２切出画像に対して前記移動情報に基づく補正を行うことにより、前記複数の補正画像を生成する
上記（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
前記移動検出器において前記変化量を検出するための基準画像を含む基準データを記憶する基準データメモリ、をさらに備え、
前記移動検出器は、前記基準画像に対する前記所望の被写体像の変化量を検出する
上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
（６）
前記画像補正器は、前記基準画像に対する前記所望の被写体像の変化を補正する
上記（５）に記載の画像処理装置。
（７）
前記露光処理部は、
前記複数の補正画像に対して積分演算を行う画像演算器と、
前記画像演算器を制御し、前記所望の露光状態となる前記露光画像を生成する露光演算器と
を有する
上記（１）ないし（６）のいずれか１つに記載の画像処理装置。
（８）
前記画像演算器によって積分演算することによって生成された演算データを記憶する演算画像メモリ、をさらに備える
上記（７）に記載の画像処理装置。
（９）
前記露光演算器は、前記演算画像メモリに記憶された前記演算データに基づいて、前記所望の露光状態となる前記露光画像を生成する
上記（８）に記載の画像処理装置。
（１０）
前記露光演算器は、前記画像演算器の制御に加え、前記複数の撮影画像の出力を行う撮像部における撮影条件の制御を行う
上記（７）ないし（９）のいずれか１つに記載の画像処理装置。
（１１）
前記露光処理部によって生成された前記露光画像を、前記所望の被写体像が必要とされる外部装置に出力する画像出力器、をさらに備える
上記（１）ないし（１０）のいずれか１つに記載の画像処理装置。
（１２）
前記移動検出器は、前記所望の被写体像として、前記複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出し、
前記画像補正器は、前記複数の所望の被写体像のそれぞれについて、前記複数の補正画像を生成し、
前記露光処理部は、前記複数の所望の被写体像のそれぞれについて、前記所望の露光状態の露光画像を生成する
上記（１）ないし（１１）のいずれか１つに記載の画像処理装置。
（１３）
前記複数の撮影画像を記憶する撮影画像メモリを、をさらに備え、
前記移動検出器は、前記撮影画像メモリに記憶された前記複数の撮影画像に基づいて、前記所望の被写体像の移動軌跡を補間演算により算出し、前記移動軌跡に基づいて、前記所望の被写体像の変化量を検出する
上記（１）ないし（１２）のいずれか１つに記載の画像処理装置。
（１４）
前記複数の第１切出画像における前記所望の被写体像の変形を検出する変形検出器、をさらに備え
前記移動検出器は、前記複数の第１切出画像のうち、前記変形検出器によって前記所望の被写体像の変形が検出された第１切出画像を、前記所望の被写体像の変化量の検出対象から除外する
上記（２）ないし（１３）のいずれか１つに記載の画像処理装置。
（１５）
前記移動検出器において検出される前記変化量は、前記所望の被写体像の位置、サイズ、および角度の情報を含む
上記（１）ないし（１４）のいずれか１つに記載の画像処理装置。
（１６）
前記画像補正器は、前記所望の被写体像の変化の補正として、位置、サイズ、および角度の変化の補正を行う
上記（１５）に記載の画像処理装置。
（１７）
撮像部と、
前記撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
を備える
撮像システム。

１…カメラデバイス、２…ＩＳＰ（Image Signal Processor）、３…ＤＮＮ（Deep Neural Network）プロセッサ、４…顔認証システム、５…特徴量ＤＢ（データベース）、１０…撮像部、１１…画像切出器、２０…移動検出器、２１…前処理部、２２…変化量計算器、３０…変形検出器、４０…画像補正器、５０…露光処理部、５１…画像演算器、５２…露光演算器、６０…画像出力器、１００…被写体、１０１…撮像素子、１１１…Ｉ－Ｖアンプ（電流／電圧変換増幅器）、１１２…ＡＧＣ（Auto Gain Control）アンプ、１１３…Ａ（アナログ）／Ｄ（デジタル）コンバータ、１１４…ＭＩＰＩ（Mobile Industry Processor Interface）－ＣＳＩ（Camera Serial Interface）、１２１…カラーフィルタ、１２２…マイクロレンズ、１２３…光学ローパスフィルタ、１２４…赤外カットフィルタ、１３０…光学レンズ、１３１…カメラレンズ、１４１…Ａ／Ｄコンバータ、１４２…ＬＵＴ（ルックアップテーブル）、１５１…Ａ／Ｄコンバータ、１５２…ＬＵＴ（ルックアップテーブル）、Ｆ１，Ｆ２，Ｆ３…撮影画像（フレーム画像）、Ｆ１１，Ｆ１２，Ｆ１３…切出画像、Ｍ１…撮影画像メモリ、Ｍ２…基準データメモリ、Ｍ３…演算画像メモリ。

Claims (17)

1. 連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
   前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
   前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
   を備える
   画像処理装置。
2. 前記複数の撮影画像のそれぞれから前記所望の被写体像を検出して前記所望の被写体像に相当する画像を切り出し、複数の第１切出画像として出力する画像切出器、をさらに備え、
   前記移動検出器は、前記画像切出器によって切り出された前記複数の第１切出画像に基づいて、前記所望の被写体像の変化量を検出する
   請求項１に記載の画像処理装置。
3. 前記画像切出器は、前記複数の第１切出画像のそれぞれに、切り出し位置の座標、および画像サイズを示す付加情報を付加する
   請求項２に記載の画像処理装置。
4. 前記画像補正器は、前記移動情報に基づいて、前記複数の撮影画像のそれぞれにおける前記所望の被写体像に相当する複数の第２切出画像を切り出し、前記複数の第２切出画像に対して前記移動情報に基づく補正を行うことにより、前記複数の補正画像を生成する
   請求項１に記載の画像処理装置。
5. 前記移動検出器において前記変化量を検出するための基準画像を含む基準データを記憶する基準データメモリ、をさらに備え、
   前記移動検出器は、前記基準画像に対する前記所望の被写体像の変化量を検出する
   請求項１に記載の画像処理装置。
6. 前記画像補正器は、前記基準画像に対する前記所望の被写体像の変化を補正する
   請求項５に記載の画像処理装置。
7. 前記露光処理部は、
   前記複数の補正画像に対して積分演算を行う画像演算器と、
   前記画像演算器を制御し、前記所望の露光状態となる前記露光画像を生成する露光演算器と
   を有する
   請求項１に記載の画像処理装置。
8. 前記画像演算器によって積分演算することによって生成された演算データを記憶する演算画像メモリ、をさらに備える
   請求項７に記載の画像処理装置。
9. 前記露光演算器は、前記演算画像メモリに記憶された前記演算データに基づいて、前記所望の露光状態となる前記露光画像を生成する
   請求項８に記載の画像処理装置。
10. 前記露光演算器は、前記画像演算器の制御に加え、前記複数の撮影画像の出力を行う撮像部における撮影条件の制御を行う
    請求項７に記載の画像処理装置。
11. 前記露光処理部によって生成された前記露光画像を、前記所望の被写体像が必要とされる外部装置に出力する画像出力器、をさらに備える
    請求項１に記載の画像処理装置。
12. 前記移動検出器は、前記所望の被写体像として、前記複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出し、
    前記画像補正器は、前記複数の所望の被写体像のそれぞれについて、前記複数の補正画像を生成し、
    前記露光処理部は、前記複数の所望の被写体像のそれぞれについて、前記所望の露光状態の露光画像を生成する
    請求項１に記載の画像処理装置。
13. 前記複数の撮影画像を記憶する撮影画像メモリを、をさらに備え、
    前記移動検出器は、前記撮影画像メモリに記憶された前記複数の撮影画像に基づいて、前記所望の被写体像の移動軌跡を補間演算により算出し、前記移動軌跡に基づいて、所望の被写体像の変化量を検出する
    請求項１に記載の画像処理装置。
14. 前記複数の第１切出画像における前記所望の被写体像の変形を検出する変形検出器、をさらに備え
    前記移動検出器は、前記複数の第１切出画像のうち、前記変形検出器によって前記所望の被写体像の変形が検出された第１切出画像を、前記所望の被写体像の変化量の検出対象から除外する
    請求項２に記載の画像処理装置。
15. 前記移動検出器において検出される前記変化量は、前記所望の被写体像の位置、サイズ、および角度の情報を含む
    請求項１に記載の画像処理装置。
16. 前記画像補正器は、前記所望の被写体像の変化の補正として、位置、サイズ、および角度の変化の補正を行う
    請求項１５に記載の画像処理装置。
17. 撮像部と、
    前記撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
    前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
    前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
    を備える
    撮像システム。

Images