JP2018064201A - 画像処理装置、画像処理方法、及び画像処理回路 - Google Patents

Abstract

【課題】異なる露光時間で撮影された複数の画像の合成において、画像内のブレを低減した高画質を実現する画像処理装置を提供する。【解決手段】１フレーム時間内で並行する長さの異なる２以上の露光時間で撮影された第１画像及び第２画像を合成する画像処理装置１０は、第１画像を調整して第２画像の輝度レベルと略合わせた補正第１画像を出力するレベル調整部１００と、補正第１画像及び第２画像の同位置画素間の画素値の差分の絶対値を算出し、算出した絶対値を画像ブロック毎に累算することで画像ブロック毎の動き検出量を求める動き検出部１１０と、動き検出量を平滑化し、平滑化した動き検出量に基づいて同位置画素間の動きブレンド比率を算出する動きブレンド比率算出部１２０と、動きブレンド比率で同位置画素どうしを合成することで動き適応画像を生成する画像合成部１３０とを備える。【選択図】図１

Description

本開示は、長さの異なる露光時間で並行して撮影された複数の画像を合成する画像処理装置に関する。

特許文献１は、複数の画像からダイナミックレンジが拡張された合成画像を生成する画像合成装置を開示する。この画像合成装置は、基準画像と他の画像とを比較することによりこれらの画像に含まれる動体の領域を検出し、基準画像に含まれるこの動体の領域の画像を動体画像とする。そして画像合成装置は、この動体領域を他の画像の対応する領域に置換して置換画像を生成し、置換画像と基準画像とを合成して合成画像を生成する。この構成により、動体を考慮した合成画像が生成される。

特許文献２は、移動する被写体を写した複数枚の画像から合成画像を生成する画像処理装置を開示する。この画像処理装置は、明るさに係る評価値、動きに係る評価値、及びコントラストに係る評価値に基づいて算出した合成比率に従って複数の画像を合成する。この構成により、移動する被写体を写した画像からであっても見えが自然な合成画像が生成される。

特許文献３は、動被写体の像を含み、明るさの異なる複数の画像の合成処理を行う画像合成装置を開示する。この画像合成装置は、基準画像と、基準画像及び非基準画像から生成した比較画像とのズレ量である動きデータを算出する。また、基準画像及び比較画像それぞれについて、所定の大きさの画像ブロックごとの画素平均値を算出し、この画素平均値どうしの差分と所定の閾値との比較の結果に基づいて、動きデータによって対応付けられる基準画像の画像ブロックと非基準画像の画像ブロックとの合成可否を判定する。なお、所定の閾値及び画像ブロックの合成の比率は、基準画像の画像ブロックの画素平均値に基づいて決定される。この構成により、画像のブレが補正され、且つダイナミックレンジが拡張された合成画像が得られる。

特開２０１１−１８８２７７号公報 特開２０１４−２２９９８８号公報 特開２０１２−８４９６０号公報

本開示は、異なる露光時間で撮影された複数の画像を合成する画像処理装置であって、画像内のブレを低減した高画質をより小規模な回路構成で実現する画像処理装置を提供する。

本開示における画像処理装置は、１フレーム時間内で並行する長さの異なる２以上の露光時間で撮影された第１画像及び第２画像を合成する画像処理装置であって、第１画像の輝度レベルを調整して第２画像の輝度レベルと略合わせた補正第１画像を出力するレベル調整部と、補正第１画像及び第２画像の同じ位置にある同位置画素間の画素値の差分の絶対値を算出し、絶対値を、補正第１画像又は第２画像内の連続する複数の画素の集まりである画像ブロック毎に累算することで複数の画像ブロックそれぞれにおける動き検出量を求める動き検出部と、複数の画像ブロックの動き検出量を平滑化し、平滑化した動き検出量に基づいて同位置画素間の動きブレンド比率を算出する動きブレンド比率算出部と、動きブレンド比率で同位置画素どうしを合成することで動き適応画像を生成する画像合成部とを備える。

本開示における画像処理装置は、異なる露光時間で撮影された複数の画像の合成において、画像内のブレを低減した高画質をより小規模な回路構成で実現する。

実施の形態１における画像処理装置の構成を示すブロック図 実施の形態１における画像処理装置の動作手順の一例を示すフローチャート 上記処理手順による処理の対象である画像の一例を示す模式図 上記処理手順による処理の対象である画像の一例を示す模式図 上記処理手順の中間段階でモニタした場合の画像の一例を示す模式図 上記処理手順の中間段階でモニタした場合の画像の一例を示す模式図 実施の形態２における画像処理装置の構成を示すブロック図 実施の形態２における画像処理装置の動作手順の一例を示すフローチャート 実施の形態３における画像処理装置の構成を示すブロック図 実施の形態３における画像ブロック間の平滑化処理を説明するための図 実施の形態３における画像ブロック間の平滑化処理及び画像ブロック内での平滑化処理を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜図５を用いて実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１にかかる画像処理装置１０の構成を示すブロック図である。

画像処理装置１０は、例えばゲートアレイ等を含む電子回路によって実現され、イメージセンサ（図示なし）から入力される複数枚の画像を合成して１枚の画像として出力する。

入力される複数枚の画像とは、図１に示される長露光画像及び短露光画像であり、１のイメージセンサによって略同一の光景を長さの異なる露光時間で撮影して得られた画像であり、本実施の形態における第１画像及び第２画像の例である。これらの画像上では、共通の被写体の像であってもこの露光時間の差異に応じて明るさが異なる。画像処理装置１０は、これらの画像を合成して、ハイダイナミックレンジ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ、以下及び各図面ではＨＤＲとも表記する）画像を出力する。

なお、この露光時間の差が大きいほど画像間での明るさにも差が表れるため、ダイナミックレンジのより広いＨＤＲ画像が得やすい。今日では、ＨＤＲの動画を撮影するイメージセンサには、垂直同期の周期、つまり１フレーム時間毎に露光時間を変えて１枚撮影するＦｒａｍｅ ｂｙ Ｆｒａｍｅ方式に代えて、１フレーム時間内で露光時間を変えて複数の画像が撮影されるＬｉｎｅ ｂｙ Ｌｉｎｅ方式と呼ばれる駆動方式が採用され始めている。Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式では、Ｆｒａｍｅ ｂｙ Ｆｒａｍｅ方式に比べて次の３つの利点がある。

（１）複数の画像の撮像間隔を短くしやすい
例えば長露光画像と短露光画像との２つの画像を得るために、Ｆｒａｍｅ ｂｙ Ｆｒａｍｅ方式のイメージセンサでは、１フレーム時間内で先頭行から最終行までの各行の長露光での撮像によるデータ（以下、長露光データともいう）の出力がされ、次の１フレーム時間内で先頭行から最終行までの各行の短露光での撮像によるデータ（以下、短露光データともいう）が出力される。したがって、各行の長露光データの出力と短露光データの出力との時間差は、短露光時間の長さに拘わらず１フレーム時間で一定であり、すなわち、各露光時間の全行データ一揃いの出力、つまり１画像の撮像と撮像との間隔が１フレーム時間で一定である。

これに対し、Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式のイメージセンサでは、先頭行の長露光データの出力が終わると、すぐさま先頭行での短露光での撮像が開始され、最終行の長露光データの出力が終わる前に先頭行の短露光データの出力が開始される。以下、最終行まで各行で長露光データの出力が終わると短露光での撮像が開始される。したがって、各行の長露光データの出力と短露光データの出力との時間差は、短露光時間の長さと実質的に等しく、１画像の撮像と撮像との間隔も同様である。短露光での撮像が終わると、次のフレーム時間に入る長露光での撮像が開始され、以降、長露光での撮像と短露光での撮像とが交互に行われる。別の表現をすると、長露光画像の撮影と短露光画像の撮影とは、Ｆｒａｍｅ ｂｙ Ｆｒａｍｅ方式のイメージセンサでは別フレームの時間に行われて並行しないが、Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式のイメージセンサでは１フレーム時間内で並行する。なお、ＨＤＲ画像合成では、露光条件の異なる複数の画像の撮影は、時間間隔がより短いほど被写体又はイメージセンサ（を備えるカメラ）の位置の差がより小さく画の一致度が上がるため、高画質のＨＤＲ画像が得やすい。

（２）長露光画像の露光時間を長くしやすい
仮に３０ｆｐｓのＨＤＲ動画を撮影する場合に、各フレームで長露光画像と短露光画像とからＨＤＲ画像を生成する場合、Ｆｒａｍｅ ｂｙ Ｆｒａｍｅ方式のイメージセンサでは、３０分の１秒に各露光時間の画像が１組出力される必要があり、実質的には６０ｆｐｓで撮影される。つまり、長露光画像の露光時間の上限は６０分の１秒である。一方、Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式のイメージセンサでは、各行で３０分の１秒をかけて長露光データと短露光データとを出力すればよく、長露光画像の露光時間の上限は６０分の１秒に限定されない。例えば１フレーム時間における長露光画像の露光時間と短露光画像の露光時間の比が２：１であれば、長露光画像の露光時間は４５分の１秒である。実際には、１フレーム時間に占める長露光画像の露光時間の比率はさらに高くてもよい。

このように、Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式では長露光画像の露光時間を長くして、短露光画像の露光時間との差を大きくしやすいため、ダイナミックレンジのより広いＨＤＲ画像が得やすい。また、被写体の様々な明るさに応じて適正な画像を取得するために露光時間のバリエーションをさらに増やしても、長露光画像の露光時間への影響がＦｒａｍｅ ｂｙ Ｆｒａｍｅ方式に比べて小さい。仮に３０ｆｐｓのＨＤＲ動画の撮影のために３段階の露光時間で撮影する場合、Ｆｒａｍｅ ｂｙ Ｆｒａｍｅ方式のイメージセンサでは、最長露光時間の上限は９０分の１秒に留まる。

（３）回路規模を小さくしやすい
Ｆｒａｍｅ ｂｙ Ｆｒａｍｅ方式のイメージセンサでは、出力データを受ける側で、各露光時間で撮影された画像を合成まで一時保存するためにフレームメモリが必要である。一方、Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式のイメージセンサでは、各露光時間で撮影された画像が揃う前に合成を開始できるためフレームメモリは不要である。したがって、回路規模を小さくすることができ、また、その分消費電力を抑えることができる。

このようにＬｉｎｅ ｂｙ Ｌｉｎｅ方式のイメージセンサは、ダイナミックレンジの拡大に有利である。しかしながら、露光時間が長ければ、被写体及びカメラの両方が固定されていない限り両者の相対位置の変化は大きくなりやすく、画像に動きブレ又はカメラブレ（以下、包括的に単にブレとも表記する）が生じやすい。大きなブレを含む画像は用途によっては適さない。例えば、電子ミラーではドライバーによる周囲の状況の認知精度が下がり、自動運転車等での周囲の物体検知では検知の精度が下がり、いずれも安全性に関わる。また、ドライビングレコーダでは、例えば事故時の状況の把握、相手の運転者又は車両の特徴、及び自動車のナンバーの識別が困難になる。

なお、本開示における画像処理装置は、上記のようなＬｉｎｅ ｂｙ Ｌｉｎｅ方式のイメージセンサから出力される画像の合成処理に適用可能であるが、適用可能なイメージセンサはこれに限定されない。例えばグローバルシャッター方式のイメージセンサから出力される画像の合成処理にも適用可能である。

図１に示されるように、画像処理装置１０は、レベル調整部１００、動き検出部１１０、動きブレンド比率算出部１２０、動き適応合成部１３０、輝度ブレンド比率算出部１４０、及びハイダイナミックレンジ合成部（以下、ＨＤＲ合成部と表記する）１５０を備える。画像処理装置１０には、イメージセンサから長露光画像及び短露光画像が入力される。長露光画像は、動き検出部１１０、動き適応合成部１３０、及び輝度ブレンド比率算出部１４０に入力され、短露光画像は、レベル調整部１００、輝度ブレンド比率算出部１４０、及びＨＤＲ合成部１５０に入力される。

レベル調整部１００は、イメージセンサから入力された短露光画像の輝度レベルを調整し、調整後の短露光画像を長露光画像の輝度レベルと略合わせた補正短露光画像として出力する。より具体的には、短露光画像を示す信号のゲインを上げて、補正短露光画像を示す信号を出力する。出力された補正短露光画像は、後述の動き検出部１１０と、動き適応合成部１３０とに入力される。

動き検出部１１０は、画像に現れた被写体の動きを検知する。動き検出部１１０は、減算部１１１、絶対値算出部１１３、及びブロック差分累算部１１５を備える。

減算部１１１は、イメージセンサから動き検出部１１０に入力された長露光画像と、レベル調整部１００から入力された補正短露光画像との差分を取って出力する。より具体的には、同じイメージセンサに由来する長露光画像の信号と補正短露光画像の信号とを用いて、長露光画像の注目画素の画素値から、補正短露光画像で注目画素と同一の位置にある画素の画素値を減じた結果である差分を出力する。この減算と差分の出力を、長露光画像と補正短露光画像で同一位置にある画素どうしの各組に対して行う。出力された差分は絶対値算出部１１３に入力される。なお、動き検出部１１０に入力された長露光画像及びレベル調整部１００に入力された短露光画像は、上述のＬｉｎｅ ｂｙ Ｌｉｎｅ方式のイメージセンサから入力された画像であれば、同一のフレーム時間内で並行して撮像された長露光画像及び短露光画像である。

絶対値算出部１１３は、減算部１１１から入力された差分の絶対値を出力し、ブロック差分累算部１１５に出力する。回路での信号の処理としては、減算部１１１からの信号が整流される。このような差分の絶対値は、長露光画像及び短露光画像の同一位置にある画素どうしの画素値の差の大きさを示す。

ブロック差分累算部１１５は、絶対値算出部１１３から入力された差分（絶対値）を画像ブロック毎に累算して出力する。画像ブロックとは、長露光画像又は短露光画像を、所定の大きさの桝目状に分割して得られる、連続する複数の画素の集まりからなる領域である。長露光画像の露光時間内に生じた被写体の動き量が大きいほど長露光画像での被写体の像はブレて短露光画像との差が大きくなる。したがって、被写体の動き量が大きいほど、画像ブロック毎の累算値は大きくなる。この累算値は、検出された被写体の動き量（以下、動き検出量という）として出力される。なお、動いた被写体の像は、画像上ではブレてある程度の領域に広がるため、適切な大きさの画像ブロック単位で集計された動き量であっても、画像内の被写体の動きをある程度正確に示す。なお、上記の画像ブロックの大きさは、例えば画像処理装置１０を含む撮影装置の画角、画素数、及び用途上求められる精度と処理速度等に応じて適宜決定される。

動き検出部１１０では、このように各構成要素が機能を発揮することによって、１フレーム時間内で並行して撮影された長露光画像と短露光画像から、被写体の動き量に応じた動き検出量が求められて出力される。

動きブレンド比率算出部１２０は、画像ブロック毎に算出された動き検出量を入力し、動き検出量に基づいて長露光画像と短露光画像の同位置にある画素どうしのブレンド比率を算出する。まず、動きブレンド比率算出部１２０は、画像ブロックの動き検出量を平滑化する。より具体的には、隣接する画像ブロック間の動き検出量の差を細分化し、画像ブロックの重心と各画素との距離及び応じてこの差を振り分けるよう各画素の動き検出量を内挿する。次に、動きブレンド比率算出部１２０は、短露光画像のブレンド率が、被写体の動きを示す動き検出量と正の相関関係を有するよう画素どうしのブレンド比率を算出する。これは、大きな動きが検出された画像ブロックでは、長露光画像の被写体像がブレている可能性が高いためである。ここで、画素間の動き検出量の変化は、上記の平滑化処理の結果、画像ブロックの境界を挟んで滑らかになっているため、算出される画素間のブレンド比率も画像ブロックの境界を挟んで滑らかに変化する。つまり、長露光画像と補正短露光画像のブレンド比率はブロックごとではなく、画素毎に決定されて適用されるため、合成後の画像のブロック歪みを生じにくくすることができる。動きブレンド比率算出部１２０が算出された各画素のブレンド比率（以下、動きブレンド比率ともいう）は、動き適応合成部１３０に出力される。

動き適応合成部１３０は、入力されたブレンド比率に従って、長露光画像と補正短露光画像とを合成する。より具体的には、各画素のブレンド比率を係数として長露光画像の画素と短露光画像の画素とをアルファブレンドする。この合成では、長露光画像内でブレが大きい部分に、補正短露光画像が適応的に高い比率でブレンドされる。一方で、長露光画像であってもブレが小さい部分には、補正短露光画像は低い比率でブレンドされる。補正短露光画像は、Ｓ／Ｎ比で長露光画像に劣る。したがって、長露光画像でブレが小さい部分においてその画質の無用な劣化はさせない。このようにして得られる画像を、以下では動き適応画像という。動き適応合成部１３０は、本実施の形態における画像合成部の例である。

動き適応画像は、動き適応合成部１３０からＨＤＲ合成部１５０に出力され、輝度ブレンド比率算出部１４０が長露光画像及び短露光画像、あるいは一方の画素値に基づいて算出した輝度ブレンド比率を係数として用いて、ＨＤＲ合成部１５０によって短露光画像とアルファブレンドされる。これにより、被写体の動きと、画像の各画素の輝度との両方に適応的なＨＤＲ画像が生成される。ＨＤＲ合成部１５０は、本実施の形態における画像合成部の例である。

上記のとおり説明した画像処理装置１０では、動き検出は、１フレーム時間内に並行して撮影された長露光画像と短露光画像との比較で行われる。また、例えば画素値の差分と所定の閾値との比較結果に基づいて、動く被写体の像を構成する画素の候補を絞り込んでから、候補の画素の連続性に基づいて動いた被写体の像がある領域を特定するような方法が従来提案されている。この方法では、いったん全画素について閾値との比較判定をするためにフレームメモリが必要である。しかし、画像処理装置１０では、動く被写体の像を構成する領域の特定に代えて、連続する画素の集まりである画像ブロック単位での動き量を示す値の累算で完結するため、フレームメモリは不要である。また、検出された動きに対応する長露光画像内のブレは、並行して撮影された短露光画像の画素データを用いて解消される。その他の各構成要素においても、あるフレーム時間に撮影された画像がそれ以降のフレーム時間で撮影した画像の処理に再利用されることはない。したがって、画像処理装置１０の処理では、過去のフレームの画像を記憶させておくフレームメモリも、１フレーム時間での長短露光画像の入力から、動き適応の処理及びＨＤＲ処理の結果である画像の出力までの途中段階で画像全体を一旦記憶させるフレームメモリも不要である。このような画像処理装置１０では、フレームメモリが不要な分、回路規模が抑えられて、製造コストも抑えることができる。また、フレームメモリを使用しないことで消費電力が抑えられ、温度等の面で使用環境が過酷になりがちな自動車又は自動運転車でも、従来の画像処理装置よりも安定的に動作することができる。また、自動車又は自動運転車の電子ミラーや物体認識では、各フレーム時間に実際にイメージセンサに入る光を、ドライバー又は物体認識のアルゴリズムが物体を認識しやすい状態で提示するという出力内容のリアルタイム性が、運転の安全性の確保につながる。上記の構成を有する画像処理装置１０はこのようなリアルタイム性のある画像データの出力が可能であり、このような用途でのより高い安全性を実現することができる。

［１−２．動作］
以上のように構成された画像処理装置１０の動作手順を通して説明する。図２は、画像処理装置１０の動作手順の一例を示すフローチャートである。

また、あわせて各手順での画像の状態を模式的に図示する。なお、各手順で、画像は必ずしも実際に１フレームの画像として生成されるものではない。図示の画像は、本開示の理解のために、その時点での画像をモニタした場合を想定して示されるものである。

まず、画像処理装置１０は、イメージセンサから長露光画像及び短露光画像の入力を受ける（ステップＳ２０）。

図３Ａは、画像処理装置１０に入力される、処理対象の長露光画像の一例の模式図である。図３Ｂは、画像処理装置１０に処理される、処理対象の短露光画像の一例の模式図である。これらの図では、Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式で駆動するイメージセンサが１フレーム時間内に撮像して画像処理装置１０に入力した長露光画像及び短露光画像を想定して模式的に示されている。

長露光画像は、短露光画像に比べて全体に明るい。しかしながら、長露光時間に動いた被写体の像、この例では、近景における手と、この手で持たれて軽く振り上げられた旗の像がブレている。この模式図では、ブレがある像の輪郭が点線又は破線で示されている。これに対し、手及び旗より遠い道路及び建物の像にはブレがない。ブレがない像の輪郭は実線で示されている。

短露光画像は長露光画像に比べて全体に暗い。この模式図では、暗い部分が各種の濃度の網点で示されている。濃度の低い部分は、濃い部分に比べて明るいことを示す。例えば、撮影時に光を透過又は反射して明るかった建物の窓の部分の網点が他の部分より薄い。また、短露光画像では、被写体の像はほぼブレなく写っている。なお、短露光画像での被写体の像の範囲は、長露光画像での被写体の像の範囲に含まれる。これは、長露光画像と短露光画像とが、１個のイメージセンサによって、同フレームの時間内で並行して撮影されたためである。

次に、レベル調整部１００によって短露光画像の輝度レベルが調整され、長露光画像の輝度レベルと略合わせた補正短露光画像が出力される（ステップＳ２１）。このステップでの輝度レベルの上げ幅は、長露光画像及び短露光画像それぞれの撮影の露光時間及び出力信号のゲインの大きさに基づいて決定される。補正短露光画像は動き検出部１１０に入力される。

図４は、ステップＳ２１で出力される補正短露光画像の模式図である。補正短露光画像は、補正前の短露光画像に比べて明るさは全体に長露光画像とほぼ同じである。ただし、輝度レベルの上昇のための増幅によってノイズが目立つようになり、画質は長露光画像に劣る。図４では、ノイズは白又は黒の点で模式的に示されている。

次に、補正短露光画像が入力された動き検出部１１０において、減算部１１１は長露光画像の画素値と補正短露光画像の画素値との差分を算出する（ステップＳ２２）。輝度レベルはステップＳ２１でほぼ揃えられているため、ステップＳ２２では画像内でブレの有無に違いがある部分の画素で大きな差分が取り出される。

次に、長露光画像と補正短露光画像との同位置にある画素の画素値の大小関係によって符号が異なるものが混在する差分の絶対値が、絶対値算出部１１３によって算出される（ステップＳ２３）。これにより長露光画像と補正短露光画像との画素値の差の大きさが数値化される。露光時間中にイメージセンサの位置から見た被写体の位置が変化すれば、画像上の当該被写体の像の位置も変化する。したがって、長露光画像及び補正短露光画の各画素では、両者の間で同位置の画素値の差は大きい可能性が高い。このことを利用して、本開示では、ステップＳ２３で算出された絶対値が、長露光画像の撮影のための露光時間における被写体の動きの大きさを示す値として利用される。

次に、絶対値算出部１１３が算出した画素値の差分の絶対値を、ブロック差分累算部１１５が、連続する画素の集まりからなる領域である画像ブロック毎に累算する。これによって、長露光画像と補正短露光画像との画素値の差が、画像ブロック単位で集計される。言い換えると、これにより画像ブロック毎の動き量が検出される（ステップＳ２４）。動いた被写体の像は、画像上ではブレてある程度の領域に広がるため、画像ブロック単位で集計した結果であっても、画像全体でみれば各場所での被写体の動き量をある程度正確に示す。また、画素単位の差分で被写体の動き量を扱うよりも必要なメモリ領域が節約でき、また、画素個々のノイズの有無の差がある程度埋もれる。

図５は、ブロック差分累算部１１５が出力する、画像ブロック毎の動き量を示す信号をモニタして得られる１フレームの画像の動き量の分布例を示す模式図である。図５の（ａ）に示される模式図は、長露光画像又は補正短露光画像の大きさに相当する信号を示し、図中の各桝目は画像ブロックを示す。この例では、動き量が大きい画像ブロック、つまりは、長露光画像と補正短露光画像との画素値の差が大きい画像ブロックほど明るい。

次に、動きブレンド比率算出部１２０が、画像ブロックの動き検出量を平滑化する。これにより、隣り合う画像ブロックどうしで動き検出量の差が、この画像ブロック間の境界を挟んで相対する画素から、画像ブロックの重心にある画素にわたって多段階に細分化して振り分けられ（内挿）、各画素の動き検出量が決定される。図５の（ｂ）は、図５の（ａ）に示される画像ブロックの平滑化処理後の動き検出量を示す信号をモニタして得られる１フレームの画像の一部（破線の枠内）の動き量の分布例を示す模式図である。この模式図では、動き量は網掛けの濃度で示され、平滑化処理前の（ａ）に比べて、画像ブロック間の境界を跨いでより滑らかに変化する。そして各画素の動き検出量に基づいて、各画素の動きブレンド比率を算出する（ステップＳ２５）。

ここまでが動きブレンド比率算出部１２０の動作であり、次は、動き適応合成部１３０によって、長露光画像と補正短露光画像とがステップＳ２５で算出された動きブレンド比率でブレンドされる。これにより、長露光画像でブレの小さい像を構成する画素には補正短露光画像の画素が低い比率で、長露光画像でブレの大きい像を構成する画素には補正短露光画像の画素が高い比率でブレンドされた動き適応画像が生成される（ステップＳ２６）。ブレがまったくない部分では、長露光画像の画素がそのまま用いられてもよい。

このようにして得られた動き適応画像では、ブレがないか又はブレの小さな像はＳ／Ｎ比の高い長露光画像の画素を優位に用いて構成され、ブレが大きな像は、補正短露光画像の画素の優位性を高めて用いて構成され、全体として、人及び物体検知アルゴリズムによる被写体の認識が容易という意味で高画質な画像である。

なお、上記の手順では、輝度のダイナミックレンジの拡大はなされていない。輝度のダイナミックレンジの拡大のための長露光画像と短露光画像とのブレンド率（輝度ブレンド比率）は、既知の技術を用いて輝度ブレンド比率算出部１４０によって算出される（ステップＳ２７）。そして、この輝度ブレンド比率で、動き適応画像と短露光画像とがＨＤＲ合成部１５０によって合成されて、さらに高画質なＨＤＲ画像が生成される（ステップＳ２８）。

なお、ステップＳ２７は図２のフローチャートでは末尾に示されるが、ステップＳ２６までと並行して実行されてもよい。

［１−３．効果］
以上のように、本実施の形態において、１フレーム時間内で並行する長さの異なる２以上の露光時間で撮影された短露光画像及び長露光画像を合成する画像処理装置１０は、レベル調整部１００と、動き検出部１１０と、動きブレンド比率算出部１２０と、動き適応合成部１３０とを備える。

レベル調整部１００は、短露光画像の輝度レベルを調整して長露光画像の輝度レベルと略合わせた補正短露光画像を出力する。

動き検出部１１０は、補正短露光画像及び長露光画像の同じ位置にある同位置画素間の画素値の差分の絶対値を算出する。そしてこの絶対値を、補正短露光画像又は長露光画像の連続する複数の画素の集まりである画像ブロック毎に累算することで、各画像ブロックの動き検出量を求める。

動きブレンド比率算出部１２０は、画像ブロックの動き検出量を平滑化し、平滑化処理後の動き検出量に基づいて同位置画素どうしの動きブレンド比率を算出する。

動き適応合成部１３０は、この動きブレンド比率で同位置画素どうしを合成することで動き適応画像を生成する。

より具体的には、動きブレンド比率算出部１２０は、平滑化処理後の動き検出量が大きいほど短露光画像の画素がより高い割合で長露光画像の画素と合成されるよう動きブレンド比率を算出する。

これにより、長露光画像内での画像ブロック毎の動き検出量が示す像のブレの程度に適応して、ブレの少ない短露光画像の画素値が長露光画像に反映されるようブレンドされる。具体的には、ブレが大きい像の画素には、より高い比率で短露光画像の画素値が反映される。また、この反映の程度は、平滑化処理後の動き検出量に基づいて決定されるため、隣接する画像ブロック間での動き検出量の差が合成画像に表れるブロック歪みが抑制される。このようにして、全体として人及び物体検知アルゴリズムによる被写体の認識が容易な動き適応画像が生成される。

また、本実施の形態において、画像処理装置１０は、輝度ブレンド比率算出部１４０と、ＨＤＲ合成部１５０とをさらに備えてもよい。

輝度ブレンド比率算出部１４０は、短露光画像及び長露光画像から同位置画素間の輝度ブレンド比率を算出する。

ＨＤＲ合成部１５０は、この輝度ブレンド比率で動き適応画像と短露光画像の同じ位置にある画素どうしを合成する。

これにより、ブレが低減され且つ輝度のダイナミックレンジが拡張されて、さらに被写体の認識が容易に適したＨＤＲ画像が生成される。

（実施の形態２）
以下、図６及び図７を用いて実施の形態２を説明する。

［２−１．構成］
図６は、実施の形態２にかかる画像処理装置２０の構成を示すブロック図である。なお、実施の形態１と共通の構成要素は図１と共通の参照符号で示す。また、実施の形態１との共通点については簡単に説明するか説明を省略し、以下では実施の形態１との差異点を中心に説明する。

実施の形態２にかかる画像処理装置２０は、動き検出部１１０に代えて動き検出部２１０を備える点が実施の形態１にかかる画像処理装置１０と異なる。

動き検出部２１０は、動き検出部１１０の構成に加えて、ノイズ削減部２１４を備える。

ノイズ削減部２１４は、絶対値算出部１１３から、長露光画像と補正短露光画像との差分の絶対値を示す信号の入力を受け、この信号に含まれるノイズを削減する。

なお、ここでいうノイズは、信号上では例えばスパイクであり、画像上では周囲の画素と画素値が大きく異なり、周囲の画素と見かけの連続性に欠けるか乏しい画素として現れる。このノイズは、例えば図４に示されるような補正短露光画像に含まれているノイズに起因する。ただし、一般的に、イメージセンサから出力された画像にノイズは内在し、本開示におけるノイズは補正短露光画像に含まれているノイズに限定されない。

このようなノイズに起因する画素値は、被写体の実際の動きに拘わらず差分の絶対値を押し上げる。その結果、この画素を含む画像ブロックの累算値も画像上のブレの程度に拘わらず増加し、この画像ブロックでは補正短露光画像のブレンド比率が高められる。補正短露光画像は長露光画像よりもＳ／Ｎ比が劣るため、不必要にブレンド率が高められると、動き適応画像の画質が低下する。ノイズ削減部２１４は、閾値処理をすることでこのようなノイズを削減する。これにより、イメージセンサから出力された画像に内在するノイズの、動き適応画像の画質への悪影響が抑えられる。

なお、この閾値は以下の理由で可変であり、ノイズ削減部２１４は、レベル調整部１００から入力された補正短露光画像を用いてこの閾値処理に用いる閾値を決定する。

イメージセンサが出力する画像内ではノイズの振幅は一定ではなく、より暗い領域ではよりノイズの振幅が小さい。したがって、画像内の暗い領域の各画素では、ノイズの差分への影響が小さく、明るい領域の各画素では、ノイズの差分への影響が大きい傾向がある。

そして固定の閾値を用いた場合に、その閾値の大きさによっては、ノイズに起因する不適切な絶対値であっても閾値を超えて動きと検出される。そして、このような不適切な絶対値が１個の画像ブロック内について累算されれば、実際のブレの程度に拘わらず、動き検出量が増大する。したがって、補正短露光画像のブレンド率は上がり、ノイズの多い動き適応画像が生成される。

あるいは、閾値の大きさによっては、ノイズに起因する不適切な絶対値のみならず、画像上のブレに起因する差分の絶対値のうちで比較的大きなものが閾値を超えず累算から除外される。この場合、実際のブレの程度に拘わらず、動き検出量が減少する。したがって、補正短露光画像のブレンド率は下がり、ブレの軽減が不十分な動き適応画像が生成される。

このように、本実施の形態における動き検出部２１０では、ノイズ削減のための閾値処理対象の画素（以下、注目画素という）のある領域の明るさに応じて適切な閾値を用いることで、ノイズの発生した画素が適切に抽出されて画質の低下が抑えられる。

本実施の形態では、ノイズ削減部２１４は、注目画素の閾値処理をする時、補正短露光画像でこの注目画素の周囲にある画素の輝度に応じて使用する閾値を決定する。

より具体的には、例えば注目画素を含む数画素四方の輝度値、又は注目画素と同一の行において注目画素を挟む数画素の輝度値から導かれる平均値又は中間値等の統計的に導かれる数値に応じてあらかじめ設定された閾値が用いられる。例えば閾値は、この統計的数値の範囲に対応して段階的に設定される。または、この統計的数値を入力とする関数から出力されて設定されてよい。

［２−２．動作］
図７は、画像処理装置２０の動作手順の一例を示すフローチャートである。画像処理装置２０の動作についても、実施の形態１にかかる画像処理装置１０の動作手順との差異を中心に説明する。

ノイズ削減部２１４は、絶対値算出部１１３から受け取る信号が示す絶対値を使用する閾値と比較する。そして、この閾値を超えない絶対値が下流のブロック差分累算部１１５で不適切に累算されないような閾値処理を行う（ステップＳ７０）。例えばノイズ削減部２１４は、閾値を超えない絶対値を画像ブロック毎の累算の対象から除外、又は周辺画素の差分の絶対値を含めた中央値若しくは周辺画素の差分の絶対値を平均した値に置換してもよい。

［２−３．効果］
本実施の形態にかかる画像処理装置２０の動き検出部２１０は、同位置画素間の画素値の差の絶対値のうち、所定の閾値を超える絶対値を画像ブロック毎の累算の対象とし、閾値を超えない絶対値を画像ブロック単位での累算の対象外とする。この閾値は、補正第１画像における注目画素の周囲にある画素の輝度に応じて決定される。

これにより、差分な絶対値のうち、ブレに起因する適切なものは画像ブロック毎に累算し、ノイズに起因する不適切なものを減らして動き検出量を算出することで適切な補正短露光画像のブレンド率が得られ、ノイズによる動き適応画像の画質の低下を抑えることができる。

（実施の形態３）
以下、図８〜図９Ｂを用いて実施の形態３を説明する。

［３−１．構成］
図８は、実施の形態３にかかる画像処理装置３０の構成を示すブロック図である。なお、実施の形態１と共通の構成要素は図１と共通の参照符号で示す。また、実施の形態１との共通点については簡単に説明するか説明を省略し、以下では実施の形態１との差異点を中心に説明する。

実施の形態３にかかる画像処理装置３０は、動きブレンド比率算出部１２０に代えて動きブレンド比率算出部３２０を備える点が実施の形態１にかかる画像処理装置１０と異なる。

動きブレンド比率算出部３２０は、平滑部１２１に代えて平滑部３２１を備える。平滑部３２１は、ブロック間フィルタ３２１０及び画素間フィルタ３２１５を備える。平滑部３２１では、ブロック間フィルタ３２１０及び画素間フィルタ３２１５によって２段階の平滑化処理が画像ブロック毎の動き検出量に実行される。

［３−２．動作］
これらのフィルタを用いた動きブレンド比率算出部３２０によるフィルタ処理の動作は、図２に示されるフローチャートのステップＳ２５で実行される。

ブロック間フィルタ３２１０では、複数の画像ブロックの各動き検出量が平滑化される。図９Ａ及び図９Ｂは、ブロック間フィルタ３２１０による平滑化の例を説明するための図である。図中の各桝目は１個の画像ブロックを模式的に示し、各桝目の中の数字は画像ブロックに含まれる画素の差分の絶対値の累算結果である。３点は数字の記載の省略を示す。

例えば図９Ａにおいて、累算値が「１０」の画像ブロックの下２つは「０」である。これらの画像ブロックにブロック間フィルタ３２１０が適用されると、これらの３つの画像ブロック間での累算値の変化が図９Ｂの（ａ）に示されるように緩やかになる。累算値が「１０」の画像ブロックの右側にある画像ブロックでも、この画像ブロックからの累算値の変化が緩やかになるよう一部の画像ブロックでの累算値が変更されている。これにより、これらの画像ブロック間の補正短露光画像のブレンド率の差が、フィルタが適用される前に比べて小さくなる。したがって、動き適応画像内の隣接する画像ブロックの境界にあたる位置でブレの軽減の程度又はノイズの量の差が小さくなり、見た目の不自然さ、及び画像認識の精度の悪化を抑えることができる。

また、ブロック間フィルタは、隣接ブロックだけでなく、時間方向のブロック累積値を使用してもよい。例えば、トンネルの出入り口などで周囲が急に暗くなる場合に、被写体の長露光画像と短露光画像との差分の絶対値が小さくなり、その結果、動き検出量も急に下がってしまう。このような状況の発生に対応して、時間方向のブロック累積値を使用することで、動き検出量のロバスト性を実現することができる。

また、本実施の形態では、さらに画素間フィルタ３２１５が各画像ブロックに適用される。図９Ｂの（ｂ）では、上記の累算値が「１０」の画像ブロックへの画素間フィルタ３２１５による平滑化の結果の例が示されている。

画像ブロックの重心にある画素（この例では太枠内の中央の画素）は、ブロック間フィルタ３２１０による処理後の累算値である１０のままである。それ以外の画素の累算値は、各方向で隣接する画像ブロックの累算値に１０から近づくよう変化している。また、隣接する画像ブロックでも画素間フィルタ３２１５によって同様に変化する。その結果、例えば太線で示される画像ブロックの境界を挟む画素どうしの差は、画像ブロックどうしの累算値に比べて小さい。例えば、累積値が１０の画像ブロックと６の画像ブロックとの境界（太枠左側の辺）を挟む画素同士の差は０〜０．５の範囲である。また、累積値が１０の画像ブロックと２の画像ブロックとの境界（太枠上側の辺）を挟む画素同士の差は、０．５〜１の範囲である。

画像ブロック内の画素については画素間で差分の絶対値の累算値を平滑化する。これにより、さらに画像全体での補正短露光画像のブレンド率は滑らかに変化する。また、ブロック間フィルタ３２１０による平滑化処理の結果、画像ブロック間の動き検出量の差が小さくなっているので、画像ブロック内の各画素の累算値間に付ける、隣接する画像ブロックの累算値に近づけるための変化も緩やかになる。これにより、動き適応画像においてブレの軽減やノイズの量の多さに目につく急激で不自然な変化の発生を減らすことができる。

なお、このようなフィルタを備える動きブレンド比率算出部３２０は、実施の形態２の画像処理装置２０にも適用可能であり、上記の２種類のフィルタを用いた２段階の平滑化処理は、図７のフローチャートで示されるステップＳ２５で実行される。

［３−３．効果］
本実施の形態にかかる画像処理装置３０が備える動きブレンド比率算出部３２０は、画像ブロック毎の動き検出量を、この画像ブロックの近隣の複数の画像ブロックの間で平滑化するブロック間平滑フィルタと、注目画素の近隣の複数の画素間で平滑化する画素間平滑フィルタとを用いて動き検出量の平滑化を実行する。

これにより、画像ブロックの境界で補正短露光画像のブレンド率の変化を小さくすることができる。また、画像ブロックの境界を跨いで連続して並ぶ画素間、例えばある画像ブロックの重心からの隣接する画像ブロックの重心まで並ぶ画素間の補正短露光画像のブレンド率の変化を小さくすることができる。この結果、全体で、ブロック歪みの発生が抑えられ、階調が滑らかに変化する動き適応画像が得られる。このような動き適応画像を用いることで、人又はアルゴリズムによる物体検知の認識の精度がより高いＨＤＲ画像を生成することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

たとえば本開示の技術は、上記の各実施の形態に係る画像処理装置１０、２０、又は３０が実行する図２又は図７のフローチャートで示される処理動作の各ステップを含む画像処理方法として実現され得る。

また、この方法は、コンピュータによって実行されるプログラムによって実現され得る。そしてこのプログラムは、コンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体に記録されてもよいし、インターネット等の通信路で配信されてもよい。

また、上記の各実施の形態では、長露光画像及び短露光画像から、ブレが低減された画像である動き適応画像の生成までが、輝度ダイナミックレンジが拡大された画像であるＨＤＲ画像の生成の処理とは独立した前処理のように記載されているが、これに限定されない。上記は動き適応画像の生成とＨＤＲ画像の合成とで２度のアルファブレンドが実行されているが、長露光画像及び短露光画像を入力として１度のアルファブレンドでＨＤＲ画像が合成されてもよい。この場合のＨＤＲ画像の合成で用いられる係数は、例えば上記の２度のアルファブレンドのそれぞれで用いられる係数と、レベル調整部１００による輝度レベル調整の係数とを用いて取得される。

また、上記の各実施の形態ではイメージセンサから入力される画像として長露光画像及び短露光画像の２種類のみを挙げて説明したが、本開示の技術は露光時間の異なる３種類以上の画像を入力とする装置、方法、電子回路、プログラム等にも適用可能である。例えば上記の各実施の形態の画像処理装置は、上述のＬｉｎｅ ｂｙ Ｌｉｎｅ方式で駆動して、露光時間の異なる３つの画像を１フレーム時間内に並行して撮像するイメージセンサから出力される画像を処理することができる。

また、上記の各実施の形態では、動き検出部１１０又は２１０において、長露光画像と、短露光画像の輝度レベルを長露光画像の輝度に合わせる補正をした補正短露光画像とを対象とする処理が説明されたが、本開示の技術はこれに限定されない。輝度レベルが下げられた長露光画像と短露光画像とが処理の対象であってもよいし、短露光画像と長露光画像の両方の輝度レベルを調整して略一致させた上で、これらが動き検出部１１０又は２１０によって上述の処理の対象として用いられてもよい。

また、上記の各実施の形態では、動きブレンド比率算出部１２０又は３２０において、動き検出量の平滑化処理が説明されたが、本開示の技術はこれに限定されない。動き検出量の平滑化に代えて、動き検出量に基づいて求められた各画像ブロックでの動きブレンド比率が平滑化されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、被写体の動きに応じて適応的に画像合成処理を行う画像合成装置に適用可能である。具体的には、デジタルスチルカメラ、デジタルビデオカメラ、並びに車載の物体検知システム、電子ミラー、及びドライビングレコーダなどに、本開示は適用可能である。

１０、２０、３０ 画像処理装置
１００ レベル調整部
１１０、２１０ 動き検出部
１１１ 減算部
１１３ 絶対値算出部
１１５ ブロック差分累算部
１２０、３２０ 動きブレンド比率算出部
１２１、３２１ 平滑部
１３０ 動き適応合成部（画像合成部）
１４０ 輝度ブレンド比率算出部
１５０ ＨＤＲ合成部
２１４ ノイズ削減部
３２１０ ブロック間フィルタ
３２１５ 画素間フィルタ

Claims (7)

1. １フレーム時間内で並行する長さの異なる２以上の露光時間で撮影された第１画像及び第２画像を合成する画像処理装置であって、
   前記第１画像の輝度レベルを調整して前記第２画像の輝度レベルと略合わせた補正第１画像を出力するレベル調整部と、
   前記補正第１画像及び前記第２画像の同じ位置にある同位置画素間の画素値の差分の絶対値を算出し、前記絶対値を、前記補正第１画像又は前記第２画像内の連続する複数の画素の集まりである画像ブロック毎に累算することで複数の画像ブロックそれぞれにおける動き検出量を求める動き検出部と、
   複数の前記画像ブロックの前記動き検出量を平滑化し、平滑化した前記動き検出量に基づいて前記同位置画素間の動きブレンド比率を算出する動きブレンド比率算出部と、
   前記動きブレンド比率で前記同位置画素どうしを合成することで動き適応画像を生成する画像合成部とを備える
   画像処理装置。
2. 前記動き検出部は、前記同位置画素間の画素値の差の絶対値のうち、所定の閾値を超える絶対値を前記画像ブロック毎の累算の対象とし、前記閾値を超えない絶対値を前記画像ブロック毎の累算の対象外とし、
   前記閾値は、前記補正第１画像における注目画素の周囲にある画素の輝度に応じて決定される
   請求項１に記載の画像処理装置。
3. 前記動きブレンド比率算出部は、前記画像ブロック毎の動き検出量を、当該画像ブロックの近隣の複数の画像ブロックの間で平滑化するブロック間平滑フィルタと、注目画素の近隣の複数の画素間で平滑化する画素間平滑フィルタとを用いて前記動き検出量の平滑化を実行する
   請求項１又は２に記載の画像処理装置。
4. さらに、前記第１画像及び前記第２画像の各画素の画素値から同位置画素間の輝度ブレンド比率を算出する輝度ブレンド比率算出部を備え、
   前記画像合成部は、前記輝度ブレンド比率で、前記動き適応画像及び前記第１画像の同じ位置にある画素どうしを合成することでハイダイナミックレンジ画像を生成する
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記第１画像は前記第２画像よりも短い露光時間で撮影された画像であり、
   前記動きブレンド比率算出部は、平滑化した前記動き検出量が大きいほど前記第１画像の画素がより高い割合で前記第２画像の画素と合成されるよう前記動きブレンド比率を算出する
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. １フレーム時間内で並行する長さの異なる２以上の露光時間で撮影された第１画像及び第２画像を合成する画像処理方法であって、
   前記第１画像の輝度レベルを調整して前記第２画像の輝度レベルと略合わせた補正第１画像を出力し、
   前記補正第１画像及び前記第２画像の同じ位置にある同位置画素間の画素値の差分の絶対値を算出し、
   前記絶対値を、前記補正第１画像又は前記第２画像内の連続する複数の画素の集まりである画像ブロック毎に累算することで複数の画像ブロックそれぞれにおける動き検出量を求め、
   複数の前記画像ブロックの前記動き検出量を平滑化し、平滑化した前記動き検出量に基づいて前記同位置画素間の動きブレンド比率を算出し、
   前記動きブレンド比率で前記同位置画素どうしを合成することで動き適応画像を生成する
   画像処理方法。
7. １フレーム時間内で並行する長さの異なる２以上の露光時間で撮影された第１画像及び第２画像を合成する画像処理回路であって、
   前記第１画像の輝度レベルを調整して前記第２画像の輝度レベルと略合わせた補正第１画像を出力するレベル調整部と、
   前記補正第１画像及び前記第２画像の同じ位置にある同位置画素間の画素値の差分の絶対値を算出し、前記絶対値を、前記補正第１画像又は前記第２画像内の連続する複数の画素の集まりである画像ブロック毎に累算することで複数の画像ブロックそれぞれにおける動き検出量を求める動き検出部と、
   複数の前記画像ブロックの前記動き検出量を平滑化し、平滑化した前記動き検出量に基づいて前記同位置画素間の動きブレンド比率を算出する動きブレンド比率算出部と、
   前記動きブレンド比率で前記同位置画素どうしを合成することで動き適応画像を生成する画像合成部とを備える
   画像処理回路。