JP2015195453A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】電子式手ぶれ補正を用いた場合に、フレーム内の撮像ぼけを防ぐために露光時間を減らすと画像が暗くなってしまう。
【解決手段】画像処理装置１は、入力画像の明るさを補正する入力画像明るさ補正部１００と、出力画像を１フレーム期間遅延させるフレーム遅延部１０１と、１フレーム期間遅延された出力画像にフィードバックゲインを適用するゲイン適用部１０２と、明るさを補正された入力画像と１フレーム期間遅延された出力画像とから動きベクトルを検出する動きベクトル検出部１０３と、動きベクトルに基づき、フィードバックゲインを適用された１フレーム期間遅延された出力画像の動き補償を行った出力画像を生成する動き補償部１０４と、動き補償を行った出力画像と入力画像とを加算した出力画像を生成する加算部１０５と、を備える。
【選択図】図１

Description

本開示は、画像処理装置および画像処理方法に関する。

動画の撮影においては、撮影時のカメラの振動に起因する動画のぶれが問題となることが多い。これはカメラを手に持って撮影する場合や、自動車等の動く物体にカメラを設置して撮影する場合などカメラの位置が固定されない場合に、カメラが振動することによって撮影した画像が同じように振動してしまうことを意味する。このようなぶれた動画は視聴時の視認性の低下や不快感をもたらす要因となる。

このようなぶれへの対策として、一般的には手ぶれ補正技術などが用いられる。これは大きくは、光学式と電子式に分類される。

電子式の場合は、撮影された動画に対して、フレームごとに前フレームとの全体的な動きを検出し、その動きを補正する方向に画像をシフトさせることで動画のぶれを補正する方法である。

一方、光学式の場合は、動画を撮影する際にレンズもしくは撮像素子を機械的にシフトさせてカメラの振動を吸収し、撮像された動画にそもそもぶれが発生しないようにする方法である。

しかしながら、電子式では動画におけるフレーム間のぶれを補正して振動のない動画を得ることはできるものの、フレーム内のぶれ（撮像ぼやけ）を防ぐことはできない。これは、撮像された後に画像をフレームごとにシフトさせる手法であるため、１フレームを撮像している最中の振動に対しては効果が得られないためである。

一方、光学式であれば１フレームの撮影中にも高速でレンズや素子をシフトさせ続けることで、フレーム内のぶれをも防ぐことが可能であるが、当然ながらそのような機構を実現するためには複雑な機械やセンサー、またそれらを制御する仕組みが必要となるため、コストの増加を招いたり、カメラの構造上の制約を生じさせたりといった問題がある。

電子式ぶれ補正において、フレーム内の撮像ぼやけを防ぐためには、撮像の際に撮像素子の露光時間を短くする必要がある。

露光時間が長いほど、撮像素子上に結ぶ像が振動によってぶれてしまう可能性が高くなるが、逆に露光時間を短くすることで撮像素子上で像が振動する可能性を低くできる。このことによって、撮像ぼやけを抑えることが可能になる。

しかしながら露光時間を短縮するため、当然ながら撮像される画像の明るさは損なわれてしまう。

画像の明るさを向上させるためには撮像素子の感度の向上や、撮像後の画像補正による明るさ向上などの方法があるが、どちらの場合にも撮像時のノイズの影響を受けるため、最終的に得られる動画の画質の劣化を伴う。これは、どちらの方法も、画像の明るさを向上させる際に同時にノイズも一緒に増幅されてしまうことによる。

上記の課題を解決するために、１フレームを出力するために複数フレームの撮像を行い、それら複数フレームの画像を足し合わせるという手法が先行技術文献で提案されている。

特開２００９−１０５５３３号公報

この手法では、照度不足により画像が暗くなってしまうような場合に、Ｎ枚の撮像を行い、そのＮ枚の画像を全て加算するという処理を行うことで得られる画像のダイナミックレンジを向上させ、明るい画像を得ることができる。

このとき、単純に複数フレームの画像を重ね合わせるだけでは、撮影対象物が動いた場合に、動きに応じた残像が発生してしまう。これに対策するため、連続する２フレーム間の動きベクトルを求め、動き補償を行った後に加算することで、撮影対象物の動きに応じた残像を軽減する方法も提案されている。

この手法と、動画の撮影時の１フレームの露光時間を小さくすることで撮像ぼやけを防ぐこととを同時に実施すれば、電子式ぶれ補正技術を用いた時の課題を解消し、撮像ぼやけの含まれない、十分な明るさで、ノイズが増幅されることもない、良好な画質の動画を得ることが可能となる。さらに、複数フレームを加算するという処理の特性上、ノイズを増幅しないだけでなく軽減させる効果も得る事ができ、従来に比べより良好な動画を得ることができる。

しかしながら、上記の技術では以下の様な課題が解決されないままである。

まず、複数枚のフレームを加算しなければならないため、動画を撮影する際には加算するＮフレームぶんのフレームメモリを搭載しなければならない。そのためメモリ自体や制御回路のぶんのコストの増加を招いてしまう。撮像ぼやけの軽減のためには露光時間をなるべく小さくしたいため、十分な明るさを確保するために加算が必要なフレーム枚数が増加してしまう。つまり、撮像ぼやけを防ぐ効果を高めるほど必要なフレームメモリが増えることになる。また、ノイズ軽減効果に着目した場合でも同様に、加算するフレーム数が多いほどノイズ軽減効果が大きくなるため、効果を高めるほどにフレームメモリ容量が増加してしまう。

また、基本的にフレーム全体を加算していくだけであるため、明るい部分と暗い部分とが混在した画像においては効果を得ることが難しい。このような画像の場合、フレームを加算していくと明るい部分が画像のダイナミックレンジをオーバーしてしまうため白飛びを発生させることになる。だからといって加算するフレーム数を少なくすると、暗い部分の明るさ向上効果が十分に得られない。

また、加算すべきフレーム数は撮像時の露光時間によって決められているため、撮影環境の照度変化に対して追従するようなことができない。例えば、明るい環境に合わせて露光時間と加算フレーム数を決めた場合、加算すべきフレーム数が２フレームであったとすると、明るい環境では十分な画像を得ることができるが、動画撮影中に暗い場所に移動するなどして照度が減少した場合に加算フレーム数が足りなくなるため、十分明るい画像を得ることが難しい。逆に暗い環境にあわせて加算フレーム数を決めた場合、加算すべきフレーム数が５フレームであった場合、そのまま明るい場所へ移動するなどして照度が増加してしまうと、加算し過ぎにより明るすぎて白飛びした画像となってしまう。

本開示は、上記のような課題を解決するためになされたものであり、フレームメモリ容量の増加を招かずに複数フレームの画像の加算と同様の効果を得る手法を提供すること、また、画像に明るい部分と暗い部分とが混在するような場合に、明るい部分の加算効果を少なくしてダイナミックレンジを超えないようにし、暗い部分の加算効果のみを大きくして暗部の明るさを十分補正できるようにすること、さらに、撮影環境の照度変化に合わせて加算効果の大小を自動的に制御し、照度変化に追従して最適な撮影画像を得ることができるようにすること、を目的とする。

本開示に係る画像処理装置は、入力画像の明るさを補正する入力画像明るさ補正部と、出力画像を１フレーム期間遅延させるフレーム遅延部と、前記１フレーム期間遅延された出力画像にフィードバックゲインを適用するゲイン適用部と、前記明るさを補正された入力画像と前記１フレーム期間遅延された出力画像とから動きベクトルを検出する動きベクトル検出部と、前記動きベクトルに基づき、前記フィードバックゲインを適用された１フレーム期間遅延された出力画像の動き補償を行った出力画像を生成する動き補償部と、前記動き補償を行った出力画像と前記入力画像とを加算した出力画像を生成する加算部と、前加算された出力画像および前記入力画像を複数の領域に分割する領域分割部と、前記複数の領域に分割された加算された出力画像および入力画像のそれぞれの領域ごとの明るさ値を検出する明るさ検出部と、前記領域ごとの明るさ値と目標明るさ値とから、前記１フレーム期間遅延された出力画像への領域ごとのフィードバックゲインを計算するフィードバックゲイン計算部と、を備える。

この構成によれば、出力画像を１フレーム遅延させた後にフィードバックゲインを適用し、入力画像を加算していくことで、複数枚の撮像画像を積算することと同様の効果を、フレームメモリを増加させることなく実現することができる。

また、画像を領域ごとに分割して、領域ごとに最適化したフィードバックゲインを求め、適用することで、１フレームの中でも明るい領域には小さなゲインを適用し、暗い領域には大きなゲインを適用することで、暗い領域のみ過去フレームの加算効果を与えることができる。その結果、１フレームの中で明るい部分と暗い部分が混在する場合でも、暗い部分のみ明るさを向上させることができ、画像の視認性を向上させることができる。

さらに、領域ごとのフィードバックゲインは、ユーザーから与えられる目標明るさ値を達成するよう、フィードバックゲイン計算部において自動的に計算される。これは加算画像の明るさを判定しながら目標明るさとの差分をみながら随時計算されていくため、動画撮影の環境変化により照度が変化した場合でも自動的にフィードバックゲインが調整されることを意味する。したがって、移動しながら動画撮影した場合のように照度変化が起こった場合でも、自動的に最適な明るさに補正された画像を得ることができる。

さらに、動きベクトルの検出を入力された連続した２フレーム間で行うのではなく、入力画像の明るさを補正した画像と、１フレーム前の出力画像の間で行うことで、動きベクトルの検出エラーを軽減することもできる。これは、暗い環境の中で短時間露光で撮影された画像を使って動きベクトルを検出すると、画像内の明るさの変化が乏しいために動きベクトルの検出エラーが発生しやすいことに対策するものである。出力画像は明るく補正されており、かつノイズも軽減されているため、２フレームの入力画像間で動きベクトルを検出する場合よりも動きベクトルの検出を容易にする事が可能になるため、結果として動きベクトルの誤検出を軽減することができる。

本開示の画像処理装置によれば、動画撮影装置における電子式ぶれ補正の課題である撮像ぼやけを軽減するために露光時間を短縮した場合においても、画像の明るさを損なうことなく、またノイズを増幅させることなく、十分な明るさのぶれ補正画像を得ることができる。また、明るい部分と暗い部分が混在する場合でも暗い部分のみ明るさの補正を行うことができ、画像の視認性を向上できる。さらに、移動しながら撮影するような照度が大きく変化するような場合においても明るさの補正効果を追従させて、常に最適な明るさに補正された、短時間露光の電子式ぶれ補正画像を得ることができる。さらに、入力画像の簡易明るさ補正したものと、１フレーム前の出力画像との間で動きベクトルを検出することにより、２フレームの入力画像間で動きベクトルを求める場合よりも、動きベクトルの誤検出を軽減することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
図１は、実施の形態１に係る画像処理装置１の構成を示すブロック図である。

図１に示される画像処理装置１は、入力画像の明るさ補正する入力画像明るさ補正部１００、出力画像を１フレーム期間遅延させるフレーム遅延部１０１、１フレーム期間遅延された出力画像にフィードバックゲインを適用するゲイン適用部１０２、明るさ補正された入力画像と１フレーム期間遅延された出力画像とから動きベクトルを検出する動きベクトル検出部１０３、検出された動きベクトルに基づき、フィードバックゲインを適用された１フレーム期間遅延された出力画像の動き補償を行った出力画像を生成する動き補償部１０４、動き補償を行った出力画像と、入力画像とを加算した出力画像を生成する加算部１０５、加算された出力画像と入力画像を複数の領域に分割する領域分割部１０６、複数の領域に分割された加算された出力画像および入力画像のそれぞれの領域ごとの明るさ値を検出する明るさ検出部１０７、領域ごとの明るさ値と目標明るさ値とから１フレーム期間遅延された出力画像への領域ごとのフィードバックゲインを計算するフィードバックゲイン計算部１０８と、を備える。

本実施形態では、入力映像として、カメラにおける撮像素子で、撮像ぼやけを軽減するために露光時間を短縮して得られた撮像画像が入力されることを想定している。

入力画像明るさ補正部１００は、上記のような入力画像の明るさを検出し、目標明るさ値に近くなるように明るさを補正する。ここでの明るさ補正は単純に画像にゲインを適用することで行われる。そのためノイズの増幅が行われてしまうが、この画像を後の処理で動きベクトルを検出するためにのみ用いられるため、ここではノイズについては対処しない。

明るさ目標値とは、出力画像の明るさをどの程度にしたいか、という基準となる値であり、これは外部から指示されるものである。具体的にはユーザーが設定した値であったり、ＣＰＵが演算した結果出力した値であったりである。

ここでの処理は、画像を複数の領域に分割して、領域ごとに行われる。

明るさ目標値として使う指標は、本実施形態では画像の分割領域ごとのＡＰＬを用いる。ＡＰＬとは画像の平均的な明るさを表す指標であり、画像の領域分割内の全画素の輝度レベルの平均値である。

入力画像明るさ補正部１００で適用する単純なゲインは、入力画像の領域内ＡＰＬをα、明るさ目標値としてのＡＰＬをβとすると、β/αで計算できる。このとき、βがαより大きい場合はゲインは１とする。

フレーム遅延部１０１は、出力画像を１フレーム遅延させるためのものである。例えば、ＤＲＡＭを用いて出力画像を１フレームぶんを書き込んでおき、次のフレームで読み出すような構成とする。

ゲイン適用部１０２は、フレーム遅延部１０１で１フレーム遅延させた出力画像に対して、フィードバックゲイン計算部１０８から得られたゲインを適用する。ここでの処理は、１フレーム遅延の出力画像を複数の領域に分割し、その各領域ごとに異なるゲインで行われるものである。

このときゲイン値は領域ごとに独立に決められたものであるが、領域は画像の画素に比べて大きな面積となる。したがって、ゲイン値を画素の数と等しくなるように補間してから、各画素に対してゲインの適用、具体的にはゲイン値と画素レベルとの乗算を行う。

このときの補間方法は通常良く使われるバイリニア法を用いても良いし、より高精度に補間を行うことのできるバイキュービック法などを用いても良いし、演算量を削減したければニアレストネイバー法などを用いても良い。求められる画像の明るさ補正精度と、演算量やコストのバランスにより任意の方法を適用することができる。

動きベクトル検出部１０３では、入力画像明るさ補正部１００で得られた、明るさ補正後の入力画像と、フレーム遅延部１０１で得られた１フレーム前の出力画像との間で動きベクトルを検出する。

動きベクトルとは、ある時刻のフレームの画像に表示されている物体が、次の時刻のフレームではどの位置に動いたのかを表す２次元の情報であり、フレーム間でブロックマッチングなどを行うことで検出できる。

本実施の形態では、明るさ補正後の入力画像を基準として、１フレーム遅延の出力画像を参照画像として、明るさ補正画像の中の物体が動いた先までの画像上での距離を動きベクトルとして用いる。動きベクトルは水平方向と垂直方向それぞれ小数画素の精度を持つようにする。

動きベクトルは画像の１画素毎に検出する必要があるが、これを画像の１画素毎にブロックマッチングを行ってどこへ動いたのかを求めても良いし、画像を多数のブロックに分割し、ブロックごとにどこに動いたのかを求めた後に補間により画素毎の動きベクトルを生成してもよい。

動きベクトル検出方法については既に様々な方法が提案されており、公知の技術となっているものが多い。本発明においては、これら公知の動きベクトル検出方法のうち任意のものを用いて動きベクトルの検出を行って構わない。

動き補償部１０４では、動きベクトル検出部１０３で検出された動きベクトルと、ゲイン適用部１０２でゲイン適用された１フレーム遅延の出力画像との間で動き補償を行う。

動き補償とは、検出された動きベクトルを用いて１フレーム前の画像を参照し、その参照先の画素の画素値を得ることを意味する。画像の全画素について動きベクトルを用いて１フレーム前の画像の参照先の座標を計算し、その座標の画素値を得る処理を行う。

動きベクトルは通常小数画素の精度を持っているため、参照先の座標も小数精度を持つ。しかしながら、画像の画素は整数精度の座標位置にしか画素値を持たない。したがって、参照先の画素値を得る際には、参照先座標の周囲の複数の画素の画素値を使って、小数精度座標での画素値を推定する必要がある。

画素値の推定には、周囲の画素からの補間処理が通常は行われる。例えば小数精度の参照先座標の周囲の水平４画素、垂直４画素の合計１６画素の画素値からバイキュービック法により補間する方法などがある。が、ここで参照する画素数や補間方法については任意の手法を用いることができる。

加算部１０５では、動き補償部１０４で得られた動き補償画像と、入力画像との加算を行う。ここでは単純に画素毎に加算する処理を行う。

領域分割部１０６では、加算部１０５で得られた加算画像と、入力画像を複数の分割領域に分割する処理を行う。これは、後のフィードバックゲイン計算部において、領域ごとに異なるフィードバックゲインを計算するために必要な処理である。

ここでの領域分割は画像を単純に矩形領域に分割することを考え、また分割の細かさについては任意の細かさで分割して構わない。分割領域を細かくするほど、画像内で明るい部分と暗い部分の境界を精度よく分割することができるが、その分演算量は増加するため、精度と演算量のバランスにより任意に決定して構わない。さらに、単純に矩形に分割するのではなく、明るい部分と暗い部分の境界に沿うような複雑な形に領域を分割する方法を用いても構わない。

明るさ検出部１０７では、領域分割部１０６で得られた、領域分割された入力画像と加算画像について、分割領域ごとの明るさ値を検出する処理を行う。

本実施例では、分割領域ごとに明るさ値としてＡＰＬを用いて処理を行う。ＡＰＬとは分割領域内の画素の画素値の平均値のことである。

フィードバックゲイン計算部１０８では、明るさ検出部１０７で得られた、入力画像と加算画像それぞれの分割領域ごとの明るさ値と、外部から設定される目標明るさ値とを勘案して、分割領域ごとのフィードバックゲインを計算する。

フィードバックゲインの計算は以下のように行う。

フィードバックゲインをｇ、目標明るさ値をＴ、入力画像の領域ごとの明るさ値をα、加算画像の領域ごとの明るさ値をβとすると、ｇ=(Ｔ-α)/β とする。

ただし、ｇ＜０となる場合は、ｇ＝０として扱うようにする。

これにより、入力画像が目標明るさ値に比べて暗い場合は、フィードバックゲインとして大きな値が設定され、次の入力画像に対して大きな値が加算されることになり、結果として明るく補正された画像を得ることができる。

入力画像が目標明るさ値に比べて暗いが比較的近い明るさの場合は、フィードバックゲインが小さな値となるため、次の画像に対する加算値が小さくなる。したがって、もともと目標に近い明るさの画像に対しては余分な加算を行うことがないため、ダイナミックレンジを超えて白飛びしてしまうようなことを防ぐことができる。

さらに、入力画像が目標明るさ値に比べて明るい場合は、フィードバックゲインが０となるため、次の入力画像に対して加算が行われないことになる。したがって、目標より明るい画像の場合には何の処理も行わずにそのまま出力することになり、本来の明るさを損なうことなく画像を出力することができる。

以上の動作により、目標明るさ値に追従するためのフィードバックゲインが自動的に計算されることにより、撮影環境の照度変化が起こった場合でも自動的に明るさ補正の効果を調整することが可能となる。

これにより、例えば車載カメラなどで走行中にトンネルに入ったような、照度が大きく変化するような場合においても、最適な明るさに補正された画像を得ることができるため、視認性の向上を達成することができる。

ここで、フィードバックゲインが大きくなる時の動作について考える。

本発明では、フィードバックゲインを適用した１フレーム前の出力画像と入力画像との加算処理は、短期的には１フレーム前の出力画像に、領域ごとに異なるフィードバックゲインを適用した画像と入力画像の加算を行うだけであるが、長期的に見れば過去フレームのフィードバックを延々と繰り返しながら加算を続けていくことを意味している。したがって、フィードバックゲインが大きくなるような場合には、加算されるフレーム遅延画像には単に過去の１フレームの情報だけでなく、それまでに加算を繰り返してきた全ての画像の情報が積算されて含まれていることになる。
過去フレームの積算によって現在フレームの出力を得るという処理は、ノイズを軽減する効果がある。動き補償を行った画素値は、時間的に相関を持ちほぼ一定の値を保持しているのに対し、ノイズ成分は時間的な相関が無いため、フレーム間でランダムな値を持つ。フレーム間でランダムな値を持つノイズ成分を積算していくと、ノイズ成分はその平均値である０に落ち着く。よって、ノイズは増幅させずに、画像の信号成分のみを増幅させることが可能になっている。

本開示は、画像処理技術として有用である。

１ 画像処理装置
１００ 入力画像明るさ補正部
１０１ フレーム遅延部
１０２ ゲイン適用部
１０３ 動きベクトル検出部
１０４ 動き補償部
１０５ 加算部
１０６ 領域分割部
１０７ 明るさ検出部
１０８ フィードバックゲイン計算部

Claims (1)

1. 入力画像の明るさを補正する入力画像明るさ補正部と、
   出力画像を１フレーム期間遅延させるフレーム遅延部と、
   前記１フレーム期間遅延された出力画像にフィードバックゲインを適用するゲイン適用部と、
   前記明るさを補正された入力画像と前記１フレーム期間遅延された出力画像とから動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトルに基づき、前記フィードバックゲインを適用された１フレーム期間遅延された出力画像の動き補償を行った出力画像を生成する動き補償部と、
   前記動き補償を行った出力画像と前記入力画像とを加算した出力画像を生成する加算部と、
   前加算された出力画像および前記入力画像を複数の領域に分割する領域分割部と、
   前記複数の領域に分割された加算された出力画像および入力画像のそれぞれの領域ごとの明るさ値を検出する明るさ検出部と、
   前記領域ごとの明るさ値と目標明るさ値とから、前記１フレーム期間遅延された出力画像への領域ごとのフィードバックゲインを計算するフィードバックゲイン計算部と、
   を備える画像処理装置。

Images