JP2023140411A - 画像処理装置、および撮像システム - Google Patents

画像処理装置、および撮像システム Download PDF

Info

Publication number
JP2023140411A
JP2023140411A JP2022046232A JP2022046232A JP2023140411A JP 2023140411 A JP2023140411 A JP 2023140411A JP 2022046232 A JP2022046232 A JP 2022046232A JP 2022046232 A JP2022046232 A JP 2022046232A JP 2023140411 A JP2023140411 A JP 2023140411A
Authority
JP
Japan
Prior art keywords
image
exposure
images
desired subject
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022046232A
Other languages
English (en)
Inventor
雄一 鈴木
Yuichi Suzuki
貫之 大石
Tsurayuki Oishi
誠司 黒田
Seiji Kuroda
吉隆 杉本
Yoshitaka Sugimoto
彰 横川
Akira Yokogawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2022046232A priority Critical patent/JP2023140411A/ja
Priority to PCT/JP2023/002598 priority patent/WO2023181630A1/ja
Publication of JP2023140411A publication Critical patent/JP2023140411A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Abstract

【課題】撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することを可能にする。【解決手段】本開示の画像処理装置は、連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。【選択図】図24

Description

本開示は、画像処理装置、および撮像システムに関する。
例えば、顔認証のために用いられる画像は、ノイズおよび像ぶれが抑制された明るい画像であることが望ましい。一方、電子カメラで暗い被写体を撮影して明るい画像を得る方法として、画像信号を増幅する方法と、露光時間を長くする方法とがある。また、像ぶれの抑制された画像を得る技術としては、複数の画像を合成する技術がある(例えば特許文献1参照)。
特開2004-357040号公報
画像信号を増幅する方法では、ノイズ成分も増幅されてしまう。一方、露光時間を長くする方法では、被写体が動くと像がぶれてしまう。このため、ノイズおよび像ぶれの両方を抑制することは困難であった。
撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能な画像処理装置、および撮像システムを提供することが望ましい。
本開示の一実施の形態に係る画像処理装置は、連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。
本開示の一実施の形態に係る撮像システムは、撮像部と、撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する移動検出器と、移動検出器によって生成された移動情報に基づいて、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、画像補正器によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部とを備える。
本開示の一実施の形態に係る画像処理装置、または撮像システムでは、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像が生成される。
一般的な撮像素子の原理を概略的に示す説明図である。 一般的な撮像回路の構成と働きの一例を概略的に示す説明図である。 一般的な画像センサの光学的構造の一例を概略的に示す説明図である。 光学レンズの焦点距離の一例を概略的に示す説明図である。 カメラレンズの焦点距離の一例を概略的に示す説明図である。 カメラレンズが小口径レンズである場合の被写界深度の一例を概略的に示す説明図である。 カメラレンズが大口径レンズである場合の被写界深度の一例を概略的に示す説明図である。 カメラレンズが広角レンズである場合の被写界深度と望遠レンズである場合の被写界深度との一例を概略的に示す説明図である。 撮像素子に到達する光子数のばらつき特性の一例を示す説明図である。 シャッタ速度を優先する露光制御の一例を概略的に示す説明図である。 シャッタ速度を優先する露光制御を行った場合の撮影画像の一例を概略的に示す説明図である。 ゲインを優先する露光制御の一例を概略的に示す説明図である。 ゲインを優先する露光制御を行った場合の撮影画像の一例を概略的に示す説明図である。 シャッタ速度とゲインとのバランスを取った露光制御の一例を概略的に示す説明図である。 被写体速度と露光時間との関係の一例を概略的に示す説明図である。 量子ノイズの発生について示す説明図である。 表現ビット数としてのHDRの概要を示す説明図である。 画像合成としてのHDRの概要を示す説明図である。 シャッタ速度を優先する露光制御をすることにより得られた画像に基づいて生成されたHDR画像の一例を示す説明図である。 ゲインを優先する露光制御をすることにより得られた画像に基づいて生成されたHDR画像の一例を示す説明図である。 本開示の一実施の形態に係る技術により得られる画像の一例を示す説明図である。 本開示の一実施の形態に係る技術により得られる画像の一例を示す説明図である。 本開示の一実施の形態に係る画像処理装置、および撮像システムを顔認証システムに適用した構成例を概略的に示すブロック図である。 一実施の形態に係る画像処理装置、および撮像システムの概要を示すブロック図である。 一実施の形態に係る画像処理装置の詳細な構成例を概略的に示すブロック図である。 被写体の角度変化の一例を概略的に示す説明図である。 一実施の形態に係る画像処理装置の処理動作の一例を示すフローチャートである。 FIR方式による画像の積分演算の概要を示す説明図である。 FIR方式による画像の積分演算の概要を示すタイミングチャートである。 IIR方式による画像の積分演算の概要を示す説明図である。 比較例に係る露光制御による露光時間が短い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。 比較例に係る露光制御による露光時間が長い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。 一実施の形態に係る露光制御による画像データの出力タイミングの一例を概略的に示すタイミングチャートである。
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.一実施の形態
1.1 デジタル画像撮影の原理
1.2 課題および比較例
1.3 構成および動作
1.4 変形例
1.5 効果
2.その他の実施の形態
<1.一実施の形態>
[1.1 デジタル画像撮影の原理]
一実施の形態に係る技術について説明する前に、比較例に係る一般的なデジタル画像撮影の原理を説明する。
(撮像素子の原理)
図1に、一般的な撮像素子の原理を概略的に示す。
現代の電子カメラの原理は、入射した光子により半導体の電子結合に外乱が生じ、負電荷(n型キャリア)と正電荷(p型キャリア)とのペアが生成されるO(Optic)E(Electric)変換による。電子カメラの画像センサは、縦横に整然と並んだ多数の撮像素子101(受光素子)を備える。各撮像素子101では入射した光子によって、光子の数に応じた電荷ペアが生成される。生じた正電荷と負電荷はそれぞれ反対極性の電極に引き寄せられ、光の強度(=光子数)に応じた電荷量が各撮像素子101に蓄積される。かつては各画素の撮像素子101の感度にばらつきがあり、固定ノイズの原因になっていた。現在は感度ばらつき精度改善のほか、後段の撮像回路で補正が行われる等、固定ノイズ抑制の工夫がされている。画像センサが高解像度であるほど、撮像素子101としてのフォトダイオードの面積が小さくなり、1画素あたりの受光量が減少する。
(撮像回路の構成と働き)
図2に、一般的な撮像回路の構成と働きの一例を概略的に示す。かつては撮像回路が変動ノイズの主な混入箇所であったが、現在では様々なノイズ抑制の工夫がなされている。
図2に示したように、各撮像素子101に蓄積された電荷は、順次電流としてI-Vアンプ(電流/電圧変換増幅器)111により電圧信号に変換される。電圧信号はAGC(Auto Gain Control)アンプ112により設定ゲインに従って増幅され、A(アナログ)/D(デジタル)コンバータ113によりデジタル信号に変換される。
(画像センサの光学的構造と特性)
図3に、一般的な画像センサの光学的構造の一例を概略的に示す。
一般的な画像センサの構造として、例えば、撮像素子101に対して、カラーフィルタ121と、マイクロレンズ122と、光学ローパスフィルタ123と、赤外カットフィルタ124とが配置されたものがある。撮像素子101は例えばフォトダイオードである。
一般的なカメラレンズは可視光を想定して焦点設計されており、赤外光が混入するとピンボケの原因になる。赤外カットフィルタ124は、赤外光を排除するために設けられる。画素ピッチを超える解像度の被写体はモワレの発生原因となる。光学ローパスフィルタ123は、モワレの発生を抑制するため、光をわずかに散乱させる作用を有する。マイクロレンズ122は、受光効率を改善するとともに、各画素の入射光が隣接画素に漏れるのを防止する。カラーフィルタ121は、例えば、1つの画素に対して例えば光の3原色(赤、緑、青)のいずれか1色の光のみを通すことにより、カラー画像撮影を可能にする原色フィルタである。なお、かつて撮像素子101の感度が低かった頃は、カラーフィルタ121として補色フィルタを用い、2色の光を通過させ、演算で色再現していた。カラーフィルタ121を通過できない光は捨てられ、撮影に利用できる光は測定照度より少なくなる。
(カメラレンズの光学特性)
・焦点距離
図4に、光学レンズ130の焦点距離の一例を概略的に示す。図5に、カメラレンズ131の焦点距離の一例を概略的に示す。
カメラレンズ131の焦点距離は、光学レンズ130の焦点距離とは意味が異なる。図4に示したように、光学レンズ130の焦点距離(=ピント)は、レンズ中心と平行光が入射した場合の像面上の結像点との間の距離となる。カメラレンズ131の焦点距離は、レンズ中心と画像センサ(=像面)との間の距離を、35mmフィルムカメラに換算した値であり、撮影画角の定義として使用される。図5には、広角レンズ(焦点距離が小さい)の場合と望遠レンズ(焦点距離が小さい)の場合の焦点距離の概念を模式的に示す。
・F値
F値は、カメラレンズ131の焦点距離を対物側の有効径で割った値である。F値が小さいほど、明るい(光を多く集める)レンズである。広角である(焦点距離が小さい)ほど、F値は小さい(明るい)。また、口径が大きい(大型カメラ)ほど、F値は小さい(明るい)。暗い広角のレンズは口径が小さくレンズ全長が短いので、小型で安価である。明るい望遠レンズは口径が大きくレンズ全長が長いので、大型で高価である。
・被写界深度
図6に、カメラレンズ131が小口径レンズである場合の被写界深度の一例を概略的に示す。図7に、カメラレンズ131が大口径レンズである場合の被写界深度の一例を概略的に示す。
被写界深度は、被写体の距離が合焦点位置から外れている場合の像面上でのボケ具合を示す。被写界深度が深い場合、被写体の距離が合焦点位置から多少外れていても、像面上ではボケにくい。被写界深度が浅い場合、被写体の距離が合焦点位置から少し離れるだけで、像面上ではボケやすい。図6に示したように、口径が小さい(=暗い)レンズほど、被写界深度は深い(ボケにくい)。図7に示したように、口径が大きい(=明るい)レンズほど、被写界深度は浅い(ボケやすい)。大口径の明るいレンズは精密なフォーカス制御が必要であり、遠くの被写体と近くの被写体とを同時撮影するには不向きである。
図8に、カメラレンズ131が広角レンズである場合の被写界深度と望遠レンズである場合の被写界深度との一例を概略的に示す。
広角レンズ(短焦点レンズ)ほど、被写界深度は深い(ボケにくい)。望遠レンズ(長焦点レンズ)ほど、被写界深度は浅い(ボケやすい)。遠い被写体と近い被写体とを同時撮影したい場合、被写界深度が深いレンズ、すなわち口径が小さく、広角のレンズほど有利になる。
(量子化ノイズと量子ノイズの違い)
デジタル信号処理における「量子化ノイズ」という用語は、連続量であるアナログ信号をデジタル化する際に発生する、1ビット未満の微小誤差を表現するのに使われる。一実施の形態に係る技術で解決すべき「量子ノイズ」は、光子の量子力学的性質に起因するものであり、全く別の概念であることに注意する必要がある。光子は、粒子としての性質と波動としての性質を併せ持つ、物理学で言うところの「量子」である。「波動」というのは光子の存在確率が波の性質を持つと解釈されている。すなわち、光子の存在確率はレンズにより波動的屈折を受け、撮像素子101に「確率的」に到達する。従って、撮像素子101で検知される光子の個数は、確率分布に従ってゆらぎが生じ、一定ではない。これにより画像信号に発生するノイズが量子ノイズである。
(光の量子力学的性質)
光には、大きく分けて、色と明るさという2つのパラメータがある。
色は、光子のエネルギーにより決まる。光子のエネルギーは振動数に比例し、E=h・νで表される。hはプランク定数=6.62607015-34(J・s)、νは光の振動数=(光の速度/波長)、Eは光子のエネルギー(J)である。光の波長λ=555nm(黄緑)のとき、E=3.57918-19(J)になる。
明るさは、光子の数により決まる。光子の数は、(光の照射エネルギー)/(光子のエネルギー)で表される。照度が1Luxのとき、1m2あたりの光の照射エネルギーは、0.00146(J/s)になる(λ=555nmのとき)。これは、1m2の面積に1秒間で4.07914+15個の光子が到達することを意味する。
(照度と光子数のばらつき特性(ポアソン分布))
図9に、撮像素子101に到達する光子数のばらつき特性の一例を示す。
完全にランダムな事象が少数回発生するとき、事象の発生確率はポアソン分布に従い、事象の頻度が大きくなると正規分布に近似されることが知られている。標準カメラの画素サイズ(1.12μm)に換算すると、画像センサ上で1Luxのとき、1画素あたりの光子数は5,117個/秒、30msでは153個に相当し、8bit=256階調を下回る。これは1Lux下で最大輝度の場合であり、画像を表現する階調によっては1画素あたり数10~数個の光子しか到達せず、ポアソン分布の適用範囲になる。図9には、光子数λ=10,50,100の光子が1画素に到達する確率分布を示す。光子数λが小さいほど分散が大きくなる。すなわち、暗い被写体ほど光子が1画素に到達する確率が低くなり、ノイズが大きくなる。
(カメラの露光制御方法)
暗い被写体を明るい画像として撮影する方法は、シャッタ速度優先制御とゲイン優先制御との2種類に大別される。
・シャッタ速度優先制御
図10に、シャッタ速度を優先する露光制御(シャッタ速度優先制御)の一例を概略的に示す。図11に、シャッタ速度を優先する露光制御を行った場合の撮影画像の一例を概略的に示す。
シャッタ速度優先制御は、一般に、動いている被写体の撮影に適用される。シャッタ速度優先制御は、図10に示したように、照度にかかわらず露光時間(シャッタ速度)の設定を維持(固定)したまま、照度に応じてAGCアンプ112による信号の増幅率(ゲイン)を変えて暗い被写体ほど信号の増幅率を上げることにより画像を明るくする制御である。シャッタ速度優先制御をした場合、図11に示したように、信号増幅率を上げることで画像の輝度とともに、量子ノイズも増幅される。
・ゲイン優先制御
図12に、ゲインを優先する露光制御(ゲイン優先制御)の一例を概略的に示す。図13に、ゲインを優先する露光制御を行った場合の撮影画像の一例を概略的に示す。
ゲイン優先制御は、一般に、動きの少ない被写体に適用される。ゲイン優先制御は、図12に示したように、照度にかかわらずAGCアンプ112による信号の増幅率(ゲイン)を維持(固定)したまま、照度に応じて露光時間(シャッタ速度)を変えて暗い被写体ほど長時間露光することで光子を蓄積することにより画像を明るくする制御である。ゲイン優先制御をした場合、図13に示したように、量子ノイズが抑制される反面、動きのある被写体にぶれが生じる。
・バランス制御
図14に、シャッタ速度とゲインとのバランスを取った露光制御(バランス制御)の一例を概略的に示す。
例えば、明るい被写体、あるいは明るい(F値の大きい)レンズによる撮影では、図14に示したように、照度に応じて露光時間(シャッタ速度)とAGCアンプ112による信号の増幅率(ゲイン)とを交互に制御し、露光条件が最適になるよう制御するAE(Auto Exposure)制御が行われる。なお、大口径レンズを装備する高級カメラでは、さらに絞り機構でF値を下げたり、NDフィルタを装着して入射光を減衰させることもある。しかし、小口径レンズで暗い被写体を撮影する場合、このような余裕はない。
(被写体速度と露光時間の関係)
図15に、被写体速度と露光時間との関係の一例を概略的に示す。
図15に示したように、移動する被写体100を撮影する場合、像ぶれが発生しないようにするためには、露光時間を小さくする必要がある。例えば、水平解像度2048画素の画像センサを露光時間30ms(動画撮影の最大値)で撮影するとき、像ぶれを1画素に抑えるためは、許される移動速度は33.3画素/秒以下、すなわち水平画角を横切る時間は1分以上になる。
(照度および露光時間と量子ノイズ)
図16に、量子ノイズの発生について示す。
動きのある被写体の撮影で露光時間が制限されている場合、低照度環境下ではAGCアンプ112による信号の増幅率(ゲイン)を上げてA/Dコンバータ113への入力信号のレベルを確保する必要がある。画像センサの受光面で数Lux以下の低照度では、8bit=256階調を満たせるだけの光子数が集まらず、光子の確率波に起因する量子ノイズが発生する。
[1.2 課題および比較例]
一般に、写真撮影においては撮影前に適切な露光時間を予測して設定している。銀塩写真の時代に比べ、現代の電子カメラでは即時に撮影結果を確認して撮影し直すことができるようになり、さらには測光から露光設定までを自動で行うAE制御も普及している。しかし、上述したように、低照度下での撮影においてはノイズと像ぶれという相反する課題をともに解決することができず、目的に応じた露光条件の設定を行うことは困難であった。
そこで、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能な画像処理装置、および撮像システムを提供することが望ましい。例えば物体認証、特に顔認証の用途において、露光条件を撮影後に設定することを可能とし、露光制御の設定を劇的に改善することが可能な技術が望まれている。
(HDRとの違い)
後述する一実施の形態に係る技術と、比較例としてのHDR(High Dynamic Range)の技術との違いについて説明する。
・表現ビット数としてのHDR
図17に、表現ビット数としてのHDRの概要を示す。
古くから、デジタル画像は各画素の明るさが8bit=256階調で表現されてきた。画像機器の性能向上に従って多階調表現が可能になり、より高い画質を求める声に応えるため、10bit=1024階調、12bit=4096階調など、画像のダイナミックレンジ拡張仕様が登場している(ダイナミックレンジ=最小信号から最大信号までの表現域)。しかし、図17に示したように、そもそも光子の数が階調数に満たなければ性能を発揮することは困難である。
・画像合成としてのHDR
図18に、画像合成としてのHDRの概要を示す。
画像合成としてのHDRは、アナログゲインを高速で切り替えて連続撮影した、複数枚の画像データを合成し、ダイナミックレンジを拡大する方法である。例えば、図18に示したように、明るい部分が抑制されるように設定されたアナログゲインによって得られた第1のアナログ信号をA/Dコンバータ141によって第1のデジタル信号(例えば10bit)に変換する。さらにLUT(ルックアップテーブル)142によってガンマ補正やシェーディング補正することによって第1の画像が得られる。第1の画像はダイナミックレンジを拡大していないノーマル画像(例えば8bit)としてもよい。
一方、暗い部分が強調されるように設定されたアナログゲインによって得られた第2のアナログ信号をA/Dコンバータ151によって第2のデジタル信号(例えば10bit)に変換する。さらにLUT(ルックアップテーブル)152によってガンマ補正やシェーディング補正することによって第2の画像が得られる。第1の画像は明るい部分が抑制されているので、部分的に黒潰れが発生する場合がある。一方、第2の画像は暗い部分が強調されているので、部分的に白飛びが発生する場合がある。黒潰れが発生している部分と白飛びが発生している部分とを除くように第1の画像と第2の画像とを合成することで、ダイナミックレンジの拡大されたHDR画像(例えば10bit)を得ることができる。
(画像合成としてのHDR画像の例)
図19に、シャッタ速度を優先する露光制御(シャッタ速度優先制御)をすることにより得られた画像に基づいて生成されたHDR画像の一例を示す。図20に、ゲインを優先する露光制御(ゲイン優先制御)をすることにより得られた画像に基づいて生成されたHDR画像の一例を示す。図19およびに図20には、大口径レンズを用いて撮影された画像に基づいて生成されたHDR画像と、小口径レンズを用いて撮影された画像に基づいて生成されたHDR画像との例を示す。
画像合成によって得られたHDR画像は、暗い部分が光量不足の場合は信号を増幅すると量子ノイズが目立つ。また、連続撮影の間に被写体が動いてしまうと、合成ミスが発生することがある。例えば、図19に示したように、特に、小口径レンズを用いてシャッタ速度優先制御により撮影された画像に基づいて生成されたHDR画像では、ゲインを上げることにより、被写体像の量子ノイズも強調されてしまう。また、例えば、図20に示したように、特に、小口径レンズを用いてゲイン優先制御により撮影された画像に基づいて生成されたHDR画像では、長時間露光により、被写体像にぶれが発生してしまう。
(一実施の形態に係る技術により生成される露光画像の例)
図21に、本開示の一実施の形態に係る技術により得られる画像の一例を示す。図21には、大口径レンズを用いて撮影された画像に基づいて生成された露光画像と、小口径レンズを用いて撮影された画像に基づいて生成された露光画像との例を示す。
一実施の形態に係る技術を適用した場合、例えば、大口径レンズを用いて撮影された画像に基づいて生成された露光画像と小口径レンズを用いて撮影された画像に基づいて生成された露光画像との双方において、被写体の露光状態が最適化される。なお、例えば、小口径レンズを用いて撮影された画像に基づいて生成された露光画像では、被写体の背景にのみ、像ぶれが発生する。
(光学手振れ補正)
また、カメラを手持ちで撮影する場合の像ぶれを抑制する技術として、光学手振れ補正技術がある。例えば、カメラに加速度センサおよびジャイロセンサを搭載する。また、カメラのレンズに撮影光路を変化させる光学アクチュエータを搭載する。そして、加速度センサおよびジャイロセンサにより、カメラの姿勢変化を測定する。測定した姿勢変化量を打ち消す方向に、光学アクチュエータを駆動する。これにより、カメラの姿勢変化に起因する像ぶれについては、抑制することが可能である。しかし、被写体の運動に起因する像ぶれについては、抑制は困難であった。
それに対し、特許文献1(特開2004-357040号公報)では、連続撮影した複数枚の画像の中で、最も移動しない特徴点の動きベクトルを検出し、各画像の位置を合わせて合成する技術が提案されている。しかしながら、特許文献1に記載の技術は、例えばシャッタ半押しによる被写体観察段階において測定した露光条件を、シャッタ全押しによる撮影段階において適用する技術であり、実際の撮影段階における露光条件を最適化するようなものではない。このため、特に、例えば顔認証をする場合において、暗所での歩行運動に対応した顔撮影をする等の目的には性能不足である。
(被写体追跡)
例えば、移動する被写体を長時間露光撮影する技術として、被写体追跡がある。例えば、陸上競技選手の撮影において、トラックと並行にレールを設置し、カメラを搭載した台車をレールに載せて並走させる方法などがある。あるいは、星雲など暗い天体を撮影する際、カメラをモータ駆動赤道儀に搭載し、天体の日周運動に追尾させる方法などがある。このような方法により、被写体が移動する場合においても像ぶれの抑制が可能になる。しかし、カメラを被写体に合わせて移動させる装置は大掛かりになりがちであり、また人の動作など予測できない動きに追従することは困難である。
[1.3 構成および動作]
(概要)
図22に、本開示の一実施の形態に係る技術により得られる画像の一例を示す。
一実施の形態に係る技術では、例えば、標準の露光時間で連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出する。次に、複数の撮影画像から所望の被写体像を切り出し、所望の被写体像の変化が補正された複数の補正画像を生成する。そして、複数の補正画像を合成し、所望の露光状態の高精度の露光画像を生成する
例えば顔認証を行う場合、図22に示したように、シャッタ速度を上げて背景も含めて所望の被写体(例えば認証対象の顔)を撮影すると、個々のフレームF1,F2,F3は暗く、そのままでは顔認証に不向きである。また、フレームF1,F2,F3ごとに所望の被写体の位置が変化すると、そのままでは各フレームF1,F2,F3を重ね合わせることは困難である。しかし、多くの場合、所望の被写体部分(例えば顔部分)のみに注目すればフレームF1,F2,F3ごとの差異は少ない。よって、所望の被写体部分の画像を切り出し、その切出画像F11,F12,F13を重ね合わせることで、顔認証に適した明るさの画像を得ることができる。なお、図22には参考として、各切出画像F11,F12,F13を明るくした画像を示す。例えば、各切出画像F11,F12,F13を重ね合わせることなく、信号処理で明るくした場合、ノイズが発生する。
(適用例)
一実施の形態に係る技術は、例えば顔認証システムに好適である。ただし、一実施の形態に係る技術は、顔認証システム以外の用途にも適用可能である。
図23に、本開示の一実施の形態に係る画像処理装置、および撮像システムを顔認証システムに適用した構成例を概略的に示す。
このシステムは、カメラデバイス1と、ISP(Image Signal Processor)2と、DNN(Deep Neural Network)プロセッサ3と、顔認証システム4と、特徴量DB(データベース)5とを備える。カメラデバイス1とISP2は、例えばMIPI(Mobile Industry Processor Interface)-CSI(Camera Serial Interface)およびI2Cインタフェース等のインタフェースによって互いに通信可能に接続されている。
カメラデバイス1による撮影画像(RAWデータ)は、例えばMIPI-CSIによりISP2に出力される。
ISP2は、RAWデータにガンマ補正、色変換等を施して画像データを生成し、その画像データをDNNプロセッサ3に出力する。
DNNプロセッサ3は画像データの中の所望の被写体領域として顔領域を検出して顔画像を抽出する。また、DNNプロセッサ3は、顔画像から特徴量ベクトルを生成し、顔認証システム4に出力する。DNNプロセッサ3は、例えばGPU(Graphics Processing Unit)、CPU(Central Processing Unit)、およびDSP(Digital Signal Processor)等のうち、少なくとも1つ含んで構成される。
顔認証システム4は、受信した特徴量ベクトルを特徴量DB5の登録データと照合し、顔認証による本人判定を行う。
一実施の形態に係る画像処理装置は、例えばDNNプロセッサ3によって実現され得る。一実施の形態に係る撮像システムは、例えばカメラデバイス1と、ISP2と、DNNプロセッサ3とによって実現され得る。一実施の形態に係る画像処理装置、および撮像システムによる画像処理の技術は、例えばDNNプロセッサ3内における特徴量ベクトルを生成する前段階の処理として、画像データから顔領域を検出して顔画像を抽出する処理に適用され得る。
(具体的な構成例および動作例)
図24に、一実施の形態に係る画像処理装置、および撮像システムの概要を示す。図25に、一実施の形態に係る画像処理装置の詳細な構成例を概略的に示す。図26に、被写体の角度変化の一例を概略的に示す。図27に、一実施の形態に係る画像処理装置の処理動作の一例を示す。
一実施の形態に係る撮像システムは、撮像部10と、画像切出器11と、移動検出器20と、変形検出器30と、画像補正器40と、露光処理部50と、画像出力器60と、撮影画像メモリM1と、基準データメモリM2と、演算画像メモリM3とを備えている。移動検出器20は、前処理部21と、変化量計算器22とを有している。露光処理部50は、画像演算器51と、露光演算器52とを有している。なお、撮影画像メモリM1、基準データメモリM2、および演算画像メモリM3は、ハードウェアとしては1つのメモリで構成されてもよい。
以下、図27に示した処理動作の流れに従って、一実施の形態に係る画像処理装置、および撮像システムの具体的な構成例および動作例を説明する。
撮像部10は、所望の被写体(例えば顔)を連続的に撮影する。撮影画像メモリM1は、撮像部10によって連続的に撮影された複数の撮影画像を記憶する。画像切出器11は、撮影画像メモリM1に記憶された複数の撮影画像のそれぞれから所望の被写体像を検出して所望の被写体像に相当する画像を切り出し、複数の第1切出画像として出力する(図27のステップS101)。
画像切出器11は、撮影画像メモリM1に記憶された複数の撮影画像のそれぞれから所望の被写体像の出現、消失、移動、サイズ変化等を検出する。画像切出器11は、複数の第1切出画像のそれぞれに、切り出し位置の座標、および画像サイズ等を示す付加情報を付加する。このとき、画像切出器11は、同一の撮影画像内に所望の被写体として例えば複数の顔が検出された場合は、それぞれの顔について第1切出画像を生成する。座標、および画像サイズ等の付加情報は、移動検出器20の変化量計算器22において使用され、同一人物の顔か否かの判断や変化量計算で用いられる。複数の第1切出画像のそれぞれの座標、および画像サイズは、変化量計算によって精密に補正され、画像切出器11にフィードバックされ、未来の所望の被写体像の検出位置の予測等に用いられる。
移動検出器20は、撮像部10によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、所望の被写体像の移動情報を生成する。移動検出器20では、画像切出器11によって切り出された複数の第1切出画像に基づいて、所望の被写体像の変化量を検出する。
移動検出器20では、まず、前処理部21において第1切出画像に前処理を施した前処理画像を変化量計算器22に送る(図27のステップS102)。前処理部21は、前処理として、変化量計算に適した加工を第1切出画像に施す処理を行う。前処理部21は、例えば、前処理として、周囲から大きく外れた値を持つ画素を周囲画素の平均値で置き換える特異点除去を行う。また、前処理部21は、例えば、特異点除去で取り切れないノイズ成分を空間ローパスフィルタにより除去するフィルタ処理を行う。また、前処理部21は、その他の処理として、例えば、変化量計算の障害になりそうな画像成分を必要に応じ除去する処理を行う。
次に、移動検出器20では、変化量計算器22において、初回の変化量計算であるか否かを判断する(図27のステップS103)。初回であると判断した場合(図27のステップS103;Y)、変化量計算器22は、次に、前処理画像を基準データとして、基準データメモリM2に保存する(図27のステップS105)。初回ではないと判断した場合(図27のステップS103;N)、変化量計算器22は、次に、あらたな前処理画像と基準データとを照合し、あらたな前処理画像の基準データに対する変化量計算を実施する(図27のステップS104)。
基準データメモリM2は、基準データとして、移動検出器20の変化量計算器22において変化量を検出するための基準画像を記憶する。基準データには、基準画像の元となる第1切出画像の切り出し位置の座標、および画像サイズ等を示す付加情報が含まれてもよい。移動検出器20の変化量計算器22は、基準画像に対する所望の被写体像の変化量を検出する。移動検出器20は、撮影画像メモリM1に記憶された複数の撮影画像に基づいて、所望の被写体像の移動軌跡を補間演算により算出し、移動軌跡に基づいて、所望の被写体像の変化量を検出するようにしてもよい。
変形検出器30は、複数の第1切出画像における所望の被写体像の変形を検出する。移動検出器20は、複数の第1切出画像のうち、変形検出器30によって所望の被写体像の変形が検出された第1切出画像を、所望の被写体像の変化量の検出対象から除外したり、別の被写体として扱うようにしてもよい。変形の例としては、所望の被写体が顔である場合、例えば、まばたきや左右への首振り等がある。
変化量計算器22において検出される変化量は、所望の被写体像の位置、サイズ、および角度(Yaw/Pitch/Roll)の情報を含んでもよい。基準データメモリM2は、異なる被写体ごとの基準データを記憶してもよい。変化量計算器22は、複数の基準データのうち、座標やサイズ等の情報に基づいて最適な基準データを選択するようにしてもよい。基準データは、初回保存時からの時間経過やサイズの変化等、条件変化に応じて適宜更新するようにしてもよい。変化量計算の結果、基準データに対して前処理画像の座標およびサイズ等に誤差が認められた場合は前処理画像の補正を行うようにしてもよい。照合すべきあらたな前処理画像が一定時間、変化量計算器22に来なくなった基準データは、基準データメモリM2から削除するようにしてもよい。
次に、画像補正器40は、移動情報を元に精密な複数の第2切出画像を取得する。そして、取得した複数の第2切出画像に整合処理を実施し、複数の補正画像を生成する(図27のステップS106)。
画像補正器40は、移動検出器20によって生成された移動情報に基づいて複数の第2切出画像の整合処理を行うことで、複数の撮影画像間の所望の被写体像の変化が補正された複数の補正画像を生成する。画像補正器40は、移動情報に基づいて、複数の撮影画像のそれぞれにおける所望の被写体像に相当する複数の第2切出画像を切り出し、複数の第2切出画像に対して移動情報に基づく補正を行うことにより、複数の補正画像を生成する。画像補正器40は、基準データメモリM2に記憶された基準画像に対する所望の被写体像の変化を補正する。第2切出画像は、第1切出画像から画像の再切り出しを行うことにより取得してもよいし、撮影画像メモリM1に記憶された複数の撮影画像のそれぞれから、あらためて画像の切り出しを行うことにより取得してもよい。画像補正器40は、所望の被写体像の変化の補正として、例えば、位置、およびサイズの変化の補正を行う。また、画像補正器40は、所望の被写体像の変化の補正として、例えば図26に示したような首をかしげる等の被写体100の角度変化の補正(回転補正)を行う。これにより、連続的に撮影された複数の撮影画像中の所望の被写体像の位置およびサイズ等を合致させることができる。
次に、露光処理部50は、複数の補正画像を蓄積処理し、演算データとして演算画像メモリM3に保存する。そして、演算データから最適な露光状態の画像を露光画像として取得する(図27のステップS107)。画像出力器60は、露光処理部50によって生成された露光画像を、所望の被写体像が必要とされる外部装置(例えば図23の顔認証システム4)に出力する。
露光処理部50は、画像補正器40によって生成された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。画像演算器51は、複数の補正画像に対して積分演算を行う。演算画像メモリM3は、画像演算器51によって積分演算することによって生成された演算データを記憶する。
露光演算器52は、画像演算器51を制御し、所望の露光状態となる露光画像を生成する。露光演算器52は、演算画像メモリM3に記憶された演算データに基づいて、所望の露光状態となる露光画像を生成する。露光演算器52は、画像演算器51の制御に加え、複数の撮影画像の出力を行う撮像部10における撮影条件の制御を行うようにしてもよい。撮影条件は、例えば、露光条件(絞り、露光時間、ゲイン)やフレームレート等であってもよい。
画像演算器51による積分演算において、積分期間を長くすると長時間露光すなわち低速シャッタ、積分期間を短くすると短時間露光すなわち高速シャッタに相当する露光画像が得られる。演算画像メモリM3に記憶された演算データは、露光演算器52によって適宜、読み出され、例えば輝度の正規化がなされて、露光画像として出力される。これにより、撮影時は高速シャッタでありながら、撮影後の演算制御により、長時間露光と同等の露光量による顔画像等を得ることが可能となる。
なお、積分演算の代表的な手法として、デジタルフィルタでよく使われるFIR(Finite Impulse Response)方式とIIR(Infinite Impulse Response)方式がある。画像演算器51は、必要とされる露光量および画質に応じて、FIR方式とIIR方式とを組み合わせた積分演算を行うようにしてもよい。
図28に、FIR方式による画像の積分演算の概要を示す。
FIR方式を用いる場合、画像演算器51は複数の補正画像を一定枚数、演算画像メモリM3に保存し、保存された一定枚数の補正画像に対して平均化演算を行って露光画像を生成する。
図29は、FIR方式による画像の積分演算の概要を示すタイミングチャートである。図29において(A)はVSYNC(垂直同期信号)、(B)は比較例に係る技術によるシャッタタイミング、(C)は一実施の形態に係る技術によるシャッタタイミングの一例を示す。
比較例に係る技術では、図29の(B)に示したように、例えば1フレームを超える長時間露光をすることで複数フレームの撮影画像を蓄積した露光画像が得られる。一実施の形態に係る技術では、図29の(C)に示したように、例えば1フレーム期間内で撮影された複数の撮影画像内の所望の被写体像の位置が検出され、所望の被写体像を含む複数の画像の整合処理および蓄積処理を行うことで、長時間露光に相当する露光画像が得られる。
図30に、IIR方式による画像の積分演算の概要を示す。
IIR方式では、蓄積された平均値画像に対し、あらたな入力画像を所定の割合(例えばA%)を決めて混ぜていく方式であり、少ないメモリ量で長時間の移動平均画像を生成できる。一実施の形態に係る技術においてIIR方式を適用する場合、画像補正器40によって演算された複数の補正画像の平均値画像が演算画像メモリM3に保存され、所望の露光状態になった段階で露光演算器52によって平均値画像が露光画像として読み出される。
[1.4 変形例]
一実施の形態に係る技術を例えば顔パーツ検出技術と組み合わせ、まばたきした瞬間の画像を露光処理部50による露光処理から排除するようにしてもよい。また、露光処理部50において、連続的に撮影された複数の撮影画像における、所望の被写体像の座標の変化量が最も少ない区間の画像を選択して露光処理をするようにしてもよい。
一実施の形態に係る技術において、移動検出器20は、所望の被写体像として、複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出するようにしてもよい。この場合、画像補正器40は、複数の所望の被写体像のそれぞれについて、複数の補正画像を生成するようにしてもよい。露光処理部50は、複数の所望の被写体像のそれぞれについて、所望の露光状態の露光画像を生成するようにしてもよい。移動検出器20、基準データメモリM2、画像補正器40、画像演算器51、演算画像メモリM3、露光演算器52は複数装備、もしくは時分割で動作させることも可能である。これにより、同一画像内の複数の被写体のそれぞれについて個別に最適な露光状態の露光画像を生成できる。
[1.5 効果]
以上説明したように、一実施の形態に係る技術によれば、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。これにより、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能となる。
比較的高速で移動する被写体の撮影において、カメラ画角内における被写体像の位置およびサイズが変化したとしても、被写体像の形状は急激に変化しない。従って、一実施の形態に係る技術によれば、高速シャッタで撮影された複数の撮影画像における所望の被写体像を検出して切り出し、複数の撮影画像における各所望の被写体像の位置およびサイズを精密に合わせて重畳することにより、長時間露光と同等の像を得ることができる。特に、一実施の形態に係る技術の主たる適用分野である顔認証において、被写体移動の主要因は歩行運動であり、画角内の顔位置およびサイズは変化するが、顔の形状が大きく変化するわけではない。従って、高速シャッタで連続撮影された各撮影画像の光量が不足し、ノイズが多い場合であっても、各撮影画像から切り出された顔画像の位置とサイズとを合わせて重畳することにより、ノイズの少ない顔画像を得ることができる。一方、背景については顔の移動に伴って変化するため、重畳により像ぶれが生じる。これは、顔認証アルゴリズムに対し、背景の影響が軽減される方向に働くため、むしろ有利になる。
一実施の形態に係る技術によれば、暗い被写体であってもノイズの少ない高品質の画像を得ることが撮影できる。また、撮影を実行した後で目的に応じて露光方法を選択できる。
図31は、比較例に係る露光制御による露光時間が短い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図32は、比較例に係る露光制御による露光時間が長い場合の画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図33は、一実施の形態に係る露光制御による画像データの出力タイミングの一例を概略的に示すタイミングチャートである。図31~図33において(A)はVSYNC(垂直同期信号)、(B)は露光タイミング(シャッタタイミング)、(C)は画像データの出力タイミングの一例を示す。
比較例に係る露光制御では、露光時間が短い場合(露光時間が1フレーム期間内)、図31に示したように、連続的に撮影された各画像データ(D1,D2,D3…)は、撮影時(露光時)のフレームタイミングの次のフレームタイミングで送出される。露光時間が長い場合(露光時間が1フレーム期間を超える場合)、図32に示したように、連続的に撮影された各画像データ(D1,D2,D3…)は、露光終了後のフレームタイミングで送出される。このため、露光時間が1フレーム期間を超える場合、フレームレートは低下する。これに対し、一実施の形態に係る技術は、複数の画像データ(D1,D2,D3…)を合成して事後的に長時間露光に相当する露光調整を行う技術である。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
<2.その他の実施の形態>
本開示による技術は、上記一実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、連続的に撮影された複数の撮影画像における所望の被写体像の移動情報に基づいて補正された複数の補正画像に基づいて、所望の露光状態の露光画像を生成する。これにより、撮影後にノイズおよび像ぶれの抑制された所望の露光状態の画像を生成することが可能となる。
(1)
連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
を備える
画像処理装置。
(2)
前記複数の撮影画像のそれぞれから前記所望の被写体像を検出して前記所望の被写体像に相当する画像を切り出し、複数の第1切出画像として出力する画像切出器、をさらに備え、
前記移動検出器は、前記画像切出器によって切り出された前記複数の第1切出画像に基づいて、前記所望の被写体像の変化量を検出する
上記(1)に記載の画像処理装置。
(3)
前記画像切出器は、前記複数の第1切出画像のそれぞれに、切り出し位置の座標、および画像サイズを示す付加情報を付加する
上記(2)に記載の画像処理装置。
(4)
前記画像補正器は、前記移動情報に基づいて、前記複数の撮影画像のそれぞれにおける前記所望の被写体像に相当する複数の第2切出画像を切り出し、前記複数の第2切出画像に対して前記移動情報に基づく補正を行うことにより、前記複数の補正画像を生成する
上記(1)ないし(3)のいずれか1つに記載の画像処理装置。
(5)
前記移動検出器において前記変化量を検出するための基準画像を含む基準データを記憶する基準データメモリ、をさらに備え、
前記移動検出器は、前記基準画像に対する前記所望の被写体像の変化量を検出する
上記(1)ないし(4)のいずれか1つに記載の画像処理装置。
(6)
前記画像補正器は、前記基準画像に対する前記所望の被写体像の変化を補正する
上記(5)に記載の画像処理装置。
(7)
前記露光処理部は、
前記複数の補正画像に対して積分演算を行う画像演算器と、
前記画像演算器を制御し、前記所望の露光状態となる前記露光画像を生成する露光演算器と
を有する
上記(1)ないし(6)のいずれか1つに記載の画像処理装置。
(8)
前記画像演算器によって積分演算することによって生成された演算データを記憶する演算画像メモリ、をさらに備える
上記(7)に記載の画像処理装置。
(9)
前記露光演算器は、前記演算画像メモリに記憶された前記演算データに基づいて、前記所望の露光状態となる前記露光画像を生成する
上記(8)に記載の画像処理装置。
(10)
前記露光演算器は、前記画像演算器の制御に加え、前記複数の撮影画像の出力を行う撮像部における撮影条件の制御を行う
上記(7)ないし(9)のいずれか1つに記載の画像処理装置。
(11)
前記露光処理部によって生成された前記露光画像を、前記所望の被写体像が必要とされる外部装置に出力する画像出力器、をさらに備える
上記(1)ないし(10)のいずれか1つに記載の画像処理装置。
(12)
前記移動検出器は、前記所望の被写体像として、前記複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出し、
前記画像補正器は、前記複数の所望の被写体像のそれぞれについて、前記複数の補正画像を生成し、
前記露光処理部は、前記複数の所望の被写体像のそれぞれについて、前記所望の露光状態の露光画像を生成する
上記(1)ないし(11)のいずれか1つに記載の画像処理装置。
(13)
前記複数の撮影画像を記憶する撮影画像メモリを、をさらに備え、
前記移動検出器は、前記撮影画像メモリに記憶された前記複数の撮影画像に基づいて、前記所望の被写体像の移動軌跡を補間演算により算出し、前記移動軌跡に基づいて、前記所望の被写体像の変化量を検出する
上記(1)ないし(12)のいずれか1つに記載の画像処理装置。
(14)
前記複数の第1切出画像における前記所望の被写体像の変形を検出する変形検出器、をさらに備え
前記移動検出器は、前記複数の第1切出画像のうち、前記変形検出器によって前記所望の被写体像の変形が検出された第1切出画像を、前記所望の被写体像の変化量の検出対象から除外する
上記(2)ないし(13)のいずれか1つに記載の画像処理装置。
(15)
前記移動検出器において検出される前記変化量は、前記所望の被写体像の位置、サイズ、および角度の情報を含む
上記(1)ないし(14)のいずれか1つに記載の画像処理装置。
(16)
前記画像補正器は、前記所望の被写体像の変化の補正として、位置、サイズ、および角度の変化の補正を行う
上記(15)に記載の画像処理装置。
(17)
撮像部と、
前記撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
を備える
撮像システム。
1…カメラデバイス、2…ISP(Image Signal Processor)、3…DNN(Deep Neural Network)プロセッサ、4…顔認証システム、5…特徴量DB(データベース)、10…撮像部、11…画像切出器、20…移動検出器、21…前処理部、22…変化量計算器、30…変形検出器、40…画像補正器、50…露光処理部、51…画像演算器、52…露光演算器、60…画像出力器、100…被写体、101…撮像素子、111…I-Vアンプ(電流/電圧変換増幅器)、112…AGC(Auto Gain Control)アンプ、113…A(アナログ)/D(デジタル)コンバータ、114…MIPI(Mobile Industry Processor Interface)-CSI(Camera Serial Interface)、121…カラーフィルタ、122…マイクロレンズ、123…光学ローパスフィルタ、124…赤外カットフィルタ、130…光学レンズ、131…カメラレンズ、141…A/Dコンバータ、142…LUT(ルックアップテーブル)、151…A/Dコンバータ、152…LUT(ルックアップテーブル)、F1,F2,F3…撮影画像(フレーム画像)、F11,F12,F13…切出画像、M1…撮影画像メモリ、M2…基準データメモリ、M3…演算画像メモリ。

Claims (17)

  1. 連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
    前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
    前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
    を備える
    画像処理装置。
  2. 前記複数の撮影画像のそれぞれから前記所望の被写体像を検出して前記所望の被写体像に相当する画像を切り出し、複数の第1切出画像として出力する画像切出器、をさらに備え、
    前記移動検出器は、前記画像切出器によって切り出された前記複数の第1切出画像に基づいて、前記所望の被写体像の変化量を検出する
    請求項1に記載の画像処理装置。
  3. 前記画像切出器は、前記複数の第1切出画像のそれぞれに、切り出し位置の座標、および画像サイズを示す付加情報を付加する
    請求項2に記載の画像処理装置。
  4. 前記画像補正器は、前記移動情報に基づいて、前記複数の撮影画像のそれぞれにおける前記所望の被写体像に相当する複数の第2切出画像を切り出し、前記複数の第2切出画像に対して前記移動情報に基づく補正を行うことにより、前記複数の補正画像を生成する
    請求項1に記載の画像処理装置。
  5. 前記移動検出器において前記変化量を検出するための基準画像を含む基準データを記憶する基準データメモリ、をさらに備え、
    前記移動検出器は、前記基準画像に対する前記所望の被写体像の変化量を検出する
    請求項1に記載の画像処理装置。
  6. 前記画像補正器は、前記基準画像に対する前記所望の被写体像の変化を補正する
    請求項5に記載の画像処理装置。
  7. 前記露光処理部は、
    前記複数の補正画像に対して積分演算を行う画像演算器と、
    前記画像演算器を制御し、前記所望の露光状態となる前記露光画像を生成する露光演算器と
    を有する
    請求項1に記載の画像処理装置。
  8. 前記画像演算器によって積分演算することによって生成された演算データを記憶する演算画像メモリ、をさらに備える
    請求項7に記載の画像処理装置。
  9. 前記露光演算器は、前記演算画像メモリに記憶された前記演算データに基づいて、前記所望の露光状態となる前記露光画像を生成する
    請求項8に記載の画像処理装置。
  10. 前記露光演算器は、前記画像演算器の制御に加え、前記複数の撮影画像の出力を行う撮像部における撮影条件の制御を行う
    請求項7に記載の画像処理装置。
  11. 前記露光処理部によって生成された前記露光画像を、前記所望の被写体像が必要とされる外部装置に出力する画像出力器、をさらに備える
    請求項1に記載の画像処理装置。
  12. 前記移動検出器は、前記所望の被写体像として、前記複数の撮影画像のそれぞれにおける複数の所望の被写体像のそれぞれの変化量を検出し、
    前記画像補正器は、前記複数の所望の被写体像のそれぞれについて、前記複数の補正画像を生成し、
    前記露光処理部は、前記複数の所望の被写体像のそれぞれについて、前記所望の露光状態の露光画像を生成する
    請求項1に記載の画像処理装置。
  13. 前記複数の撮影画像を記憶する撮影画像メモリを、をさらに備え、
    前記移動検出器は、前記撮影画像メモリに記憶された前記複数の撮影画像に基づいて、前記所望の被写体像の移動軌跡を補間演算により算出し、前記移動軌跡に基づいて、所望の被写体像の変化量を検出する
    請求項1に記載の画像処理装置。
  14. 前記複数の第1切出画像における前記所望の被写体像の変形を検出する変形検出器、をさらに備え
    前記移動検出器は、前記複数の第1切出画像のうち、前記変形検出器によって前記所望の被写体像の変形が検出された第1切出画像を、前記所望の被写体像の変化量の検出対象から除外する
    請求項2に記載の画像処理装置。
  15. 前記移動検出器において検出される前記変化量は、前記所望の被写体像の位置、サイズ、および角度の情報を含む
    請求項1に記載の画像処理装置。
  16. 前記画像補正器は、前記所望の被写体像の変化の補正として、位置、サイズ、および角度の変化の補正を行う
    請求項15に記載の画像処理装置。
  17. 撮像部と、
    前記撮像部によって連続的に撮影された複数の撮影画像における所望の被写体像の変化量を検出し、前記所望の被写体像の移動情報を生成する移動検出器と、
    前記移動検出器によって生成された前記移動情報に基づいて、前記複数の撮影画像間の前記所望の被写体像の変化が補正された複数の補正画像を生成する画像補正器と、
    前記画像補正器によって生成された前記複数の補正画像に基づいて、所望の露光状態の露光画像を生成する露光処理部と
    を備える
    撮像システム。
JP2022046232A 2022-03-23 2022-03-23 画像処理装置、および撮像システム Pending JP2023140411A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022046232A JP2023140411A (ja) 2022-03-23 2022-03-23 画像処理装置、および撮像システム
PCT/JP2023/002598 WO2023181630A1 (ja) 2022-03-23 2023-01-27 画像処理装置、および撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022046232A JP2023140411A (ja) 2022-03-23 2022-03-23 画像処理装置、および撮像システム

Publications (1)

Publication Number Publication Date
JP2023140411A true JP2023140411A (ja) 2023-10-05

Family

ID=88101048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022046232A Pending JP2023140411A (ja) 2022-03-23 2022-03-23 画像処理装置、および撮像システム

Country Status (2)

Country Link
JP (1) JP2023140411A (ja)
WO (1) WO2023181630A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074031A (ja) * 2005-09-02 2007-03-22 Canon Inc 撮像装置、及び、画像処理装置及び方法
JP2010136058A (ja) * 2008-12-04 2010-06-17 Nikon Corp 電子カメラおよび画像処理プログラム
JP6570918B2 (ja) * 2015-08-19 2019-09-04 オリンパス株式会社 撮像装置、撮像方法

Also Published As

Publication number Publication date
WO2023181630A1 (ja) 2023-09-28

Similar Documents

Publication Publication Date Title
CA3117946A1 (en) Bright spot removal using a neural network
EP3162048B1 (en) Exposure metering based on background pixels
US9131145B2 (en) Image pickup apparatus and control method therefor
WO2016185713A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
WO2011099239A1 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP6769434B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
WO2019047620A1 (zh) 一种成像装置及成像方法
CN104702854B (zh) 图像数据的聚合高动态范围的成像系统及相关方法
CN111246093B (zh) 图像处理方法、装置、存储介质及电子设备
EP3266195A1 (en) Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium
JP4523629B2 (ja) 撮像装置
CN111093064B (zh) 图像处理
US9191573B2 (en) Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same
JP6330474B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
WO2023181630A1 (ja) 画像処理装置、および撮像システム
JP2018201156A (ja) 画像処理装置および画像処理方法
US10917590B2 (en) Imaging control device, imaging apparatus, and imaging control method
JP2020067503A (ja) 撮像装置、監視システム、撮像装置の制御方法およびプログラム
US11270421B2 (en) Image processing apparatus and image processing method that reduce image noise, and storage medium
JP2013175928A (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2017085337A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
WO2020084894A1 (ja) マルチカメラシステム、制御値算出方法及び制御装置
JP2017183983A (ja) 撮像装置、その制御方法、および制御プログラム
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体