JP2019114956A - 画像処理装置、撮像システム、移動体 - Google Patents

Abstract

【課題】ぶれの少ない高品質な画像を簡易に取得するための技術を提供する。【解決手段】画像処理装置が、光電変換部から電荷保持部に信号を転送する転送部をｎ回（ｎは２以上の整数）駆動する符号化露光によって撮像された第１画像の取得と、前記転送部をｍ回（ｍはｎより小さい整数）駆動することによって得られる第２画像の取得とを行う取得部と、前記第１画像に対しぶれ補正処理を施すことにより第３画像を生成する画像補正処理部と、前記第１画像、前記第２画像、及び、前記第３画像のうちの２つ以上を含む複数の画像を評価して、前記複数の画像のうち前記評価が最も高い画像を出力画像として選択し、又は、前記複数の画像を合成して出力画像を生成する際に前記複数の画像のそれぞれに対する重み付けを、前記複数の画像のうち前記評価が他の画像よりも高い画像を前記他の画像よりも高くする、画像比較部と、を有する。【選択図】図１

Description

本発明は、符号化露光を利用して高品質な画像を取得する技術に関する。

撮影画像のぶれを補正する方法として、符号化露光法と呼ばれる方法がある。符号化露光法は、露光を時間的に符号化（変調）しながら撮像を行い、得られた符号化露光画像にぶれ補正処理を施すことによって、ぶれが低減ないし除去された復元画像を生成する技術である。特許文献１では、符号化露光画像を取得する際に、通常の撮像方法で撮影した画像をもとに符号化露光画像の補正精度を向上させるという技術が提案されている。

米国特許第８４３６９０７号明細書

通常露光画像と符号化露光画像による復元画像では、被写体の照度や撮影環境によって画質の優劣が変わり、事前にその優劣を判断することが困難である。仮に、その優劣を判定しようとした場合、多くの情報検出手段と撮影前の膨大な演算を必要とし、本来撮影したい被写体を取り逃してしまう可能性がある。

また特許文献１では「符号化露光」と「通常露光」を交互に撮影することでぶれ補正処理の高精度化をするための方法が示されているが、両者の画像の優劣に関する概念はなく、この方法では撮影された動画（画像）の画質が向上するとは限らない。

本発明は上記実情に鑑みなされたものであって、ぶれの少ない高品質な画像を簡易に取得するための技術を提供することを目的とする。

本発明の第一態様は、光電変換部から電荷保持部に信号を転送する転送部をｎ回（ｎは２以上の整数）駆動する符号化露光によって撮像された第１画像の取得と、前記転送部をｍ回（ｍはｎより小さい整数）駆動することによって得られる第２画像の取得とを行う取得部と、前記第１画像に対しぶれ補正処理を施すことにより第３画像を生成する画像補正処理部と、前記第１画像、前記第２画像、及び、前記第３画像のうちの２つ以上を含む複数の画像を評価して、前記複数の画像のうち前記評価が最も高い画像を出力画像として選択し、又は、前記複数の画像を合成して出力画像を生成する際に前記複数の画像のそれぞれに対する重み付けを、前記複数の画像のうち前記評価が他の画像よりも高い画像を前記他の画像よりも高くする、画像比較部と、を有することを特徴とする画像処理装置を提供する。

本発明の第二態様は、光電変換部と、電荷保持部と、転送部とを備える撮像装置と、前記撮像装置から前記第１画像と前記第２画像を取得して、出力画像を生成する、第一態様に係る画像処理装置と、を有する撮像システムを提供する。

本発明の第三態様は、移動体であって、第二態様に係る撮像システムと、前記撮像システムにより得られる出力画像を用いて、前記移動体を制御する制御部と、を有することを特徴とする移動体を提供する。

本発明によれば、ぶれの少ない高品質な画像を簡易に取得することができる。

撮像システムの構成を示すブロック図。 第１実施形態の装置構成の一例を示す図。 ３パターンの画像を取得する処理のフローチャート。 通常露光と符号化露光の露光パターンの概念図。 撮像素子の構成の一例を示すブロック図。 画素部の等価回路の一例を示す図。 ぶれ補正処理のフローチャート。 画像比較選択処理のフローチャート。 画像の一例を示す図。 第２実施形態の装置構成の一例を示す図。 第３実施形態の装置構成の一例を示す図。

＜第１実施形態＞
（撮像システム）
図１は、本発明の第１実施形態の撮像システムの構成を示すブロック図である。撮像システム１は、概略、被写体を撮影して通常露光画像Ａと符号化露光画像Ｂを取得する撮像系と、通常露光画像Ａと符号化露光画像Ｂを基にぶれが除去ないし低減された画像を生成する画像処理系と、画像を出力する画像出力系とを有する。図１の構成例では、撮像系が、撮像部１０１、露光制御部１０２、露光パターン情報生成部１０３、ぶれ量検出部１０４を含み、画像処理系が、補正関数生成部１０５、画像補正処理部１０６、位置合わせ部１０７、画像比較部１０８を含む。画像出力系として、画像を表示する画像表示部１０９と、画像のデータを記録する画像記録部１１０が設けられている。

撮像部１０１は、被写体を撮影してデジタル画像を出力する機能部であり、レンズや絞りなどの光学系と、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子とを含んでいる。露光パターン情報生成部１０３は、撮影時の露光パターン（露光の時間的な変調）を定義する露光パターン情報を生成する機能部である。露光制御部１０２は、与えられた露光パターン情報に従って、撮像部１０１の露光を制御する機能部である。ぶれ量検出部１０４は、撮影時の撮像系及び／又は被写体のぶれを検出する機能部であり、例えばジャイロセンサー、加速度センサーなどの、動きを検出するセンサーを含んでいる。あるいは、ぶれ量検出部１０４は、撮像部１０１から出力される複数の信号、又は、それらの和信号もしくは差信号に基づき、デジタル画像処理によって撮影時のぶれを検出してもよい。もちろん、センサーによるぶれの検出とデジタル画像処理によるぶれの検出を組み合わせてもよい。

補正関数生成部１０５は、撮影時の露光パターンと検出されたぶれに基づいて、ぶれの補正関数を生成する機能部である。画像補正処理部１０６は、補正関数を用いて符号化露光画像Ｂに対しぶれ補正処理を施す機能部である。位置合わせ部１０７は、入力された複数の画像を位置合わせする機能部であり、画像比較部１０８は、画像の評価、比較、選択を行い、最終的に出力する画像を生成する機能部である。ここで位置合わせや比較の対象となる画像は、通常露光画像Ａとぶれ補正処理後の画像Ｃの２つの画像でもよいし、さらに補正前の符号化露光画像Ｂを含む３つの画像でもよい。

上記構成の撮像システム１の動作は概略次の通りである。露光パターン情報生成部１０
３で生成された、通常露光の露光パターン情報と符号化露光の露光パターン情報が露光制御部１０２に伝えられる。露光制御部１０２が露光パターン情報を基に撮像部１０１の露光を制御し、撮像部１０１が通常露光による撮像と符号化露光による撮像を実行する。これにより、撮像部１０１から、同じ被写体について、通常露光画像Ａと符号化露光画像Ｂの２種類の画像信号が出力される。

一方、ぶれ量検出部１０４は、撮影時の撮像系や被写体のぶれの軌跡を検出する。補正関数生成部１０５は、ぶれ量検出部１０４から得られたぶれの軌跡の情報と露光パターン情報生成部１０３から得られた露光パターン情報とを用いて、ぶれの補正関数を作成する。画像補正処理部１０６は、この補正関数を用いて、撮像部１０１から出力された符号化露光画像Ｂを補正し、補正後の画像Ｃを得る。なお、画像補正処理部１０６からは、ぶれ補正処理後の画像Ｃのほかに、ぶれ補正前の符号化露光画像Ｂを出力してもよい。位置合わせ部１０７では、画像Ａ、Ｃ（又は画像Ａ、Ｂ、Ｃ）の位置を合わせる。位置合わせされた少なくとも２つの画像は、画像比較部１０８に入力される。なお、撮像部１０１から出力される画像Ａと画像Ｂのサイズ及び相対位置が完全に一致しているのであれば、位置合わせ部１０７の処理は省略しても構わない。

画像比較部１０８は、入力された複数の画像（本実施形態では、画像Ａ、Ｃ、又は、画像Ａ、Ｂ、Ｃ）の品質を評価し、複数の画像のうちのいずれかを出力画像（１フレーム分の画像）に選択する。このとき、画像比較部１０８は、評価が良い（品質が良い）画像を優先的に選択するとよい。あるいは、画像比較部１０８は、複数の画像から出力画像を合成してもよい。この場合も、画像比較部１０８は、品質が良い画像を優先的に用いて、合成画像を生成するとよい（合成処理の詳細は後述する）。画像比較部１０８において選択又は合成された出力画像は、画像表示部１０９に表示される。また、出力画像のデータは画像記録部１１０に保存されてもよい。

（装置構成例）
図２は、撮像システムの装置構成の一例を示す図である。図２の撮像システムは、撮像装置２０１、画像処理装置２０２、画像表示装置２０３、画像記録装置２０４から構成される。撮像装置２０１は、デジタルカメラ又はデジタルビデオカメラであり、図１の撮像部１０１、露光制御部１０２、露光パターン情報生成部１０３、ぶれ量検出部１０４を含む。画像処理装置２０２は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤやＳＳＤ）などを備える汎用又は専用のコンピュータである。ストレージに格納された画像処理プログラムをメモリに展開し、ＣＰＵが実行することにより、図１の補正関数生成部１０５、画像補正処理部１０６、位置合わせ部１０７、画像比較部１０８などの機能が実現される。画像表示装置２０３は、液晶ディスプレイ、有機ＥＬディスプレイなどであり、図１の画像表示部１０９に対応する。画像記録装置２０４は、ＨＤＤやＳＳＤなどで構成されるストレージ、又は、ＵＳＢメモリやメモリカードなどの記憶媒体であり、図１の画像記録部１１０に対応する。

なお、図２の装置構成は一例であり、本発明の構成はこれに限られない。例えば、カメラ及びディスプレイを備えるコンピュータ（スマートフォンやタブレット端末も含む）を用いて、図１に示す撮像系、画像処理系、画像出力系を１台の装置で構成してもよい。また、デジタルカメラやデジタルビデオカメラに、画像処理系及び画像出力系を設けてもよい。また、画像処理系を複数台のコンピュータで構成してもよい。また、撮像系や画像処理系の機能の一部をＡＳＩＣやＦＰＧＡで構成したり、クラウド上のサーバで実行してもよい。

（画像取得処理）
図３は、３パターンの画像を取得する処理のフローチャートである。まず、露光パター
ン情報生成部１０３が、通常露光の露光パターン情報と符号化露光の露光パターン情報を生成する（ステップＳ３０１）。露光パターン情報は露光制御部１０２へ送られる。露光制御部１０２は、露光パターン情報に応じて、符号化露光制御信号と通常露光制御信号を生成する（ステップＳ３０２、Ｓ３０３）。それらの制御信号は、撮像部１０１へ入力される。撮像部１０１は、制御信号に基づき露光を制御し、撮像を行う（ステップＳ３０４、Ｓ３０５）。通常露光制御信号に基づいて撮像された画像は、通常露光画像Ａとして出力される。符号化露光制御信号に基づいて撮像された画像は、符号化露光画像Ｂとして出力される。通常露光画像Ａ及び符号化露光画像Ｂは、不図示の映像入力インターフェイス（画像取得部）を介して画像処理装置２０２に取り込まれる。さらに、符号化露光画像Ｂはぶれ補正処理（ステップＳ３０６）を施された後に、ぶれ補正処理後の画像Ｃとして出力される。なお、図３の例では、通常露光の撮像と符号化露光の撮像が並列に処理されるが、通常露光の撮像と符号化露光の撮像はシーケンシャルに実行されてもよい。

（露光パターン）
図４は、通常露光と符号化露光の露光パターンの概念図である。本実施形態において、符号化露光は、１フレーム内に時間的に符号化された複数回の露光を行う撮像方法をいう。また、通常露光は、１フレーム（撮像期間）内に、符号化露光の複数回よりも少ない回数の露光を行う撮像方法をいう。つまり、通常露光は１回の露光回数であるとすると、符号化露光は、２回以上の露光回数となる。なお、ここで言う露光回数とは、後述する、光電変換部から電荷保持部に電荷を転送する回数である。露光の制御は、シャッタの開閉を制御することでも実現できるが、撮像素子の各画素における電荷の蓄積期間を制御することで露光を制御する方法が簡易であり好ましい。

図４の下段は、蓄積期間の制御により露光を制御する場合の露光制御信号の例である。通常露光制御信号は、連続した１つの蓄積期間を有するような信号である。ゆえに、通常露光により得られる撮像画像は、図４の撮像イメージ４００のようになる。一方、符号化露光制御信号は、蓄積期間が不連続で複数あるような信号である。ゆえに、符号化露光により得られる撮像画像は、図４の撮像イメージ４０１のようになる。なお、符号化露光の露光パターンは符号化露光技術の中で一般的に好適と言われるパターンを用いて問題ない。

（撮像部）
図５は、撮像部１０１に含まれる撮像素子の構成の一例を示すブロック図である。撮像素子は、ＣＭＯＳイメージセンサであり、画素部５０２、パルス生成部５０３、垂直走査回路５０４、列回路５０５、水平走査回路５０６、信号線５０７、出力回路５０８を有している。画素部５０２には、複数の画素５０１が行列状に配されている。垂直走査回路５０４はパルス生成部５０３からの制御パルスを受け、各画素に駆動パルスを供給する。垂直走査回路５０４にはシフトレジスタやアドレスデコーダなどの論理回路が用いられる。信号線５０７は画素部５０２の画素列毎に配されており画素からの信号が出力される。列回路５０５はアナログデジタル変換部を有し、さらに増幅回路などを有してもよい。列回路５０５には、信号線５０７を介して並列に出力された信号が入力されアナログデジタル変換と、所定の処理が行われる。所定の処理とはノイズ除去、信号の増幅などである。水平走査回路５０６は、列回路５０５で処理された後の信号を順次出力するための駆動パルスを列回路５０５に供給する。出力回路５０８は、バッファアンプ、差動増幅器などから構成され、列回路５０５からの画素信号を撮像部１０１の外部（画像処理系など）に出力する。

図６は、画素部５０２の等価回路の一例を示す。光電変換部６０１は、入射光に応じて電荷対を生じ、信号電荷として電子を蓄積する。光電変換部６０１には、例えばフォトダイオードが用いられる。電荷保持部６０３Ａ（第１の電荷保持部）及び電荷保持部６０３
Ｂ（第２の電荷保持部）は、後述の転送部６０２Ａ（第１転送部）及び転送部６０２Ｂ（第２転送部）を介して、光電変換部６０１から転送された電子を保持する。

フローティングディフュージョン（以下、ＦＤ）６０５は、転送部６０４Ａ（第３転送部）及び転送部６０４Ｂ（第４転送部）を介して、電荷保持部６０３Ａと電荷保持部６０３Ｂに保持された電荷が転送される半導体領域である。ＦＤ６０５は所定期間電荷を保持する。

転送部６０２Ａは、光電変換部６０１で生じた電子を電荷保持部６０３Ａに転送する。転送部６０２Ｂは、光電変換部６０１で生じた電子を電荷保持部６０３Ｂに転送する。転送部６０４Ａは、電荷保持部６０３Ａに保持された電子をＦＤ６０５に転送する。転送部６０４Ｂは、電荷保持部６０３Ｂに保持された電子をＦＤ６０５に転送する。転送部６０２Ａ、転送部６０２Ｂ、転送部６０４Ａ、転送部６０４Ｂには、それぞれ駆動パルスｐＴＸ１、ｐＴＸ２、ｐＴＸ３、ｐＴＸ４が供給され、オン、オフが切り換えられる。各転送部がオンとなることで電子が転送される。各転送部６０２Ａ、６０２Ｂ、６０４Ａ、６０４Ｂには、例えば転送トランジスタが用いられる。

転送部６０９（第５転送部）は、光電変換部６０１で生じた電子を電荷排出部へ転送する。電荷排出部は、例えば電源電圧ＶＤＤが供給されるノードである。転送部６０９には、駆動パルスｐＯＦＤが供給され、駆動パルスｐＯＦＤによってオン、オフが切り替えられる。転送部６０９はオンとなることで光電変換部６０１の電子を電荷排出部へ転送する。

増幅部６０７には、例えば増幅トランジスタが用いられる。その場合に、増幅部６０７の入力ノードは、ＦＤ６０５、ゲートに接続される配線、リセットトランジスタ６０６のソースに電気的に接続される。増幅部６０７は、転送部６０４Ａ、転送部６０４ＢによってＦＤ６０５に転送された電子に基づく信号を増幅して出力する。より具体的には、ＦＤ６０５に転送された電子は、その量に応じた電圧に変換され、その電圧に応じた電気信号が増幅部６０７を介して信号線５０７へ出力される。増幅部６０７は、不図示の電流源とともにソースフォロア回路を構成している。リセットトランジスタ６０６は、増幅部６０７の入力ノードの電位を電源電位ＶＤＤ近傍の電位にリセットする。リセットトランジスタ６０６のゲートには駆動パルスｐＲＥＳが供給され、オン、オフが切り替えられる。

選択トランジスタ６０８は、信号線５０７への画素５０１の接続、非接続を切り替える。各画素５０１の選択トランジスタ６０８を切り替えることで、画素５０１の信号を１画素ずつ又は複数画素ずつ信号線５０７に出力させる。選択トランジスタ６０８のドレインは、増幅部６０７の出力ノードに接続され、選択トランジスタ６０８のソースは信号線５０７に接続されている。選択トランジスタ６０８のゲートには、駆動パルスｐＳＥＬが供給され、選択トランジスタ６０８のオン、オフが切り替えることにより行選択を行う。

なお本実施形態の構成に代えて、選択トランジスタ６０８を増幅部６０７の出力ノードと、電源電圧ＶＤＤが供給されている電源配線との間に設けてもよい。また、選択トランジスタ６０８を設けずに、増幅部６０７の出力ノードと信号線５０７を接続してもよい。

この画素構成において、図４の通常露光制御信号により転送部６０２Ａを駆動し、符号化露光制御信号により転送部６０２Ｂを駆動すると、電荷保持部６０３Ａに通常露光による電荷が蓄積され、電荷保持部６０３Ｂに符号化露光による電荷が蓄積される。そして、転送部６０４Ａと転送部６０４Ｂを異なるタイミングで駆動し、通常露光による蓄積電荷に応じた電気信号と符号化露光による蓄積電荷に応じた電気信号を個別に信号線５０７から取り出すことで、通常露光画像と符号化露光画像の２種類の画像信号を取得する。なお
、このような制御を行う場合、図４の例のように、通常露光の蓄積期間が符号化露光の複数の蓄積期間のうちの１つと一致するように、通常露光と符号化露光の露光パターンを設定しても良い。

本実施形態のような２つのメモリ（電荷保持部６０３Ａ、６０３Ｂ）を有するグローバル電子シャッターの構成であると、１つの撮像素子で（つまり同一の光軸及び視野で）通常露光画像と符号化露光画像の２種類の画像を同時に（並列に）撮像可能である。そのため、空間的にも時間的にもずれのない２種類の画像を容易に取得することができる。なお、１メモリの画素構成の場合には、通常露光画像と符号化露光画像をシーケンシャルに（時間的に連続して）撮像してもよい。

（ぶれ補正処理）
図7は、画像補正処理部よるぶれ補正処理のフローチャートである。まず、撮像部１０
１で撮像された符号化露光画像Ｂが画像補正処理部１０６に入力される（ステップＳ７０１）。また、露光パターン情報生成部１０３で生成された露光パターン情報とぶれ量検出部１０４で得られたぶれ情報とが補正関数生成部１０５に入力される（ステップＳ７０２、Ｓ７０３）。補正関数生成部１０５はそれらの情報を用いて符号化露光画像Ｂのぼやけを規定する補正関数を決定する。補正関数は、たとえば点拡がり関数（ＰＳＦ）である。決定された補正関数は、画像補正処理部１０６に入力される（ステップＳ７０４）。次に、画像補正処理部１０６は、補正関数を用いて符号化露光画像Ｂに対してぶれ補正処理（復元処理）を行い、ぶれ補正処理後の画像Ｃを生成する（ステップＳ７０５）。以下、ぶれ補正処理後の画像Ｃを「補正画像Ｃ」ともよぶ。

本実施形態では、符号化露光画像Ｂの全体にぶれ補正処理を施すことを想定しているが、画像全体ではなく、画像の一部領域にのみぶれ補正処理を施す構成も好ましい。たとえば、画像補正処理部１０６は、ぶれの大きい領域、特定の被写体（人物や移動体など）が写っている領域などを検出し、当該領域にのみぶれ補正処理を施してもよい。あるいは、画像補正処理部１０６は、画像中の所定の領域（たとえば、画像の中央部など）にのみぶれ補正処理を施してもよい。このようにぶれ補正処理を施す範囲を限定することで、補正処理の時間を短縮することができる。

（画像比較選択処理）
図８は、画像を評価、比較、選択する処理のフローチャートである。まず、撮像部１０１で撮像された通常露光画像Ａ及び符号化露光画像Ｂと、画像補正処理部１０６で生成された補正画像Ｃが、位置合わせ部１０７に入力され（ステップＳ８０１）、画像同士の相対位置が調整される（ステップＳ８０２）。位置合わせの方法は、一般的な方法を用いてよい。たとえば、画像から特徴点を抽出し、特徴点の位置を基準に合わせる方法や、それぞれの画像の正規化相関を求め、最も相関値が高い位置を決定する方法などである。ただし、画像Ａ、Ｂ、Ｃの間の空間的な位置ずれが無い場合には、ステップＳ８０２の処理は省略してもよい。位置合わせ後、それぞれの画像は画像比較部１０８へ入力される。

画像比較部１０８は少なくとも２種類の画像を比較する。まず、画像比較部１０８は比較対象領域を選択する（ステップＳ８０３）。比較対象領域は、画像全体でもよいし、画像内の任意の領域でも構わない。続いて、画像比較部１０８は比較対象領域において画像評価処理を行う（ステップＳ８０４）。画像評価処理とは、各画像の比較対象領域から所定の評価指標の値を計算し、当該評価指標を用いて各画像の品質を評価処理である。この画像の品質の評価は、複数の画像の相対的な評価と、所定の評価指標に対する絶対評価のいずれかとすることができる。この相対的な評価、絶対的な評価の評価指標としては、画像の品質を反映する指標であればどのようなものを用いてもよく、たとえばノイズ、コントラスト、輝度などを用いることができる。比較する元となる参照画像がある場合は、Ｐ
ＳＮＲ（peak signal-to-noise ratio）やＳＳＩＭ（structural similarity）といった
評価指標を用いてもよい。

画像比較部１０８は、複数の画像のうちから、評価指標の値が最も良い画像（つまり最も品質の優れる画像）を抽出する（ステップＳ８０５）。このとき、通常露光画像Ａ、符号化露光画像Ｂ、補正画像Ｃのいずれが抽出される可能性もある。実際の撮影条件や被写体又は撮像部のぶれの程度によって、各画像の品質の優劣が変わり得るからである。なお、本実施形態の画像比較部１０８は、比較対象の複数の画像のうちから最も高品質な１つの画像を抽出する処理を行うが、複数の画像のうちの２つ以上の画像を用いて、出力画像を合成してもよい。最後に、抽出された画像が画像表示部１０９及び／又は画像記録部１１０に出力される（ステップＳ８０６）。

図９Ａ〜図９Ｄに、通常露光画像Ａ、符号化露光画像Ｂ、補正画像Ｃ、最終的に出力される出力画像Ｄの一例を模式的に示す。異なる速度で移動する移動体Ｘ，Ｙ（移動体Ｙの速度＞移動体Ｘの速度）と、動きのない背景を撮影したときを想定している。図９Ａの通常露光画像Ａは、移動体Ｙがぶれないくらい十分短い蓄積時間で撮影された画像である（以後、「短秒画像Ａ」とも呼ぶ）。なお、図５に示す撮像部１０１の場合、光電変換部６０１に電荷を蓄積する蓄積時間と露光時間とは等価と考えてよい。図９Ｂの符号化露光画像Ｂは、ある符号化露光パターンに従って撮像された画像である。符号化露光におけるトータルの蓄積時間は通常露光よりも長いため、符号化露光画像Ｂの全体のノイズレベルは一般に短秒画像Ａよりも減少する。しかしながら、蓄積時間が長いほど移動体のぶれは大きくなる。図９Ｃの補正画像Ｃは、符号化露光画像Ｂにぶれ補正処理を施した後の画像である。高速で移動する移動体Ｙのぶれは十分に除去されているのに対し、低速で移動する移動体Ｘのぶれは除去しきれておらず、移動体Ｘが適切に復元されていないことがわかる。また、補正画像Ｃでは、ぶれ補正処理による周期的なノイズが発生している。

画像比較部１０８は、これら３種類の画像Ａ，Ｂ，Ｃから、評価指標に基づき一枚の画像を選択して出力する。あるいは、画像比較部１０８は、これら３つの画像Ａ，Ｂ，Ｃのうちの２つ以上の画像を合成して、出力画像を生成してもよい。画像の合成方法としては、たとえば次のような方法を採用できる。

（方法１）各画像Ａ，Ｂ，Ｃをサブ領域に区分し、サブ領域ごとに、画像Ａ，Ｂ，Ｃのうちで最も評価指標の値が良い画像を選択し、選択された各サブ領域の画像を合成（マージ）して全体画像を生成する。すなわち、方法１は、画像Ａ，Ｂ，Ｃから評価の良い部分をパッチワーク的に集めて１枚の画像を合成する方法である。図９Ｄの合成画像は、この方法により得られた画像の例である。静止している背景の領域では符号化露光画像Ｂが選択され、低速な移動体Ｘの領域では短秒画像Ａが選択され、高速な移動体Ｙの領域では補正画像Ｃが選択されている。なお、図９Ｄでは、異なる画像同士の境界が描画されているが、実際の合成処理では、境界部分にスムージングをかけたり、隣接する２つの画像を徐々にブレンドしたり、画像同士の輝度レベルを合せたりすることで、境界が目立たない自然な合成画像を生成する。

（方法２）各画像Ａ，Ｂ，Ｃをサブ領域に区分し、サブ領域ごとに画像Ａ，Ｂ，Ｃを評価指標の値に応じた重みで重み付け合成し、合成された各サブ領域の画像をマージして全体画像を生成する。すなわち、方法２は、サブ領域ごとに画像Ａ，Ｂ，Ｃを重み付け合成する方法である。重みは、評価指標の値が良いほど（評価が良いほど）重みが大きくなるように設定すればよい。このとき、評価指標の値が最も悪い画像、又は、評価指標の値が所定の閾値（許容値）よりも悪い画像については、重みをゼロにしてもよい。これにより、評価指標の値が良い画像のみを使って合成が行われるので、最終的な合成画像の品質を向上することができる。なお、方法２の場合も、方法１と同様、サブ領域の境界を滑らか
に接続するための処理を行うとよい。

（方法３）画像Ａ，Ｂ，Ｃを評価指標の値に応じた重みで重み付け合成する。方法２との違いは、方法２はサブ領域単位で重み付け合成したのに対し、方法３は画像全体で重み付け合成する点である。この場合も、評価指標の値が最も悪い画像、又は、評価指標の値が所定の閾値（許容値）よりも悪い画像については、重みをゼロにしてもよい。

以上説明したように、本実施形態の撮像システムによれば、通常露光画像、符号化露光画像、ぶれ補正処理後の画像を評価・比較した結果に基づき、それらの画像から選択し又は合成された画像が最終的な画像として出力される。したがって、被写体の照度や撮影環境や被写体の速度などによらず、ぶれが低減された高品質な画像を得ることができる。しかも、本実施形態の方法は、従来方法のように撮像前に通常露光と符号化露光の間の優劣を予測する必要がないため、即座に撮像を行うことができ、所望の被写体を取り逃すことがない。

＜第２実施形態＞
図１０は、第２実施形態のシステム構成を示している。本実施形態においては、画像処理装置２０２への映像入力が撮像装置２０１の代わりに画像記録装置１００１になっている。画像記録装置１００１には、事前に記録された、通常露光画像Ａ、符号化露光画像Ｂ、ぶれ補正処理後の補正画像Ｃが格納されており、必要に応じてそれらの画像Ａ，Ｂ，Ｃが画像処理装置２０２へ送られる。画像記録装置１００１は、たとえば、レコーダ、画像データベース、画像サーバー、画像データが格納されたストレージなどである。これ以外の構成、ならびに、画像処理装置２０２の動作（画像取得処理、ぶれ補正処理、画像比較選択処理）については第１実施形態と同様である。

このような構成とすることで、監視カメラなど、通常はリアルタイムでの処理は必要ないが、有事の際に画像解析でより高精度の画像が必要となる用途に向くシステムが提供できる。なお、本実施形態では、画像記録装置１００１に通常露光画像Ａ、符号化露光画像Ｂ、補正画像Ｃの３つを格納したが、画像記録装置１００１に通常露光画像Ａ、符号化露光画像Ｂだけを格納する構成でも構わない。後者の構成の場合は、画像処理装置２０２が、画像記録装置１００１から通常露光画像Ａ、符号化露光画像Ｂを取得し、符号化露光画像Ｂから補正画像Ｃを生成するとよい。

＜第３実施形態＞
図１１は、第３実施形態のシステム構成を示している。第３実施形態は、車両１１００などの移動体に本発明に係るシステムを搭載した例である。これ以外の構成、ならびに、画像処理装置２０２の動作（画像取得処理、ぶれ補正処理、画像比較選択処理）については第１実施形態と同様である。画像比較部１０８により選択し又は合成された画像は画像記録装置２０４に記録される。またその画像は、車両１１００の制御部１１０１において、自動運転や衝突回避などの車両１１００の制御のために利用される。本システムによれば被写体を取り逃すことなく画質劣化の少ない画像を得ることができるため、制御に利用する場合の精度を向上することができる。

＜その他＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述した実施形態は本発明の一具体例を述べたものにすぎず、本発明の範囲は上記実施
形態の構成に限られるものではない。例えば、上記実施形態では、通常露光画像Ａと補正画像Ｃ、又は、通常露光画像Ａと符号化露光画像Ｂと補正画像Ｃを比較評価の対象に用いたが、それ以外の組み合わせ（画像ＢとＣなど）を比較評価の対象としてもよい。また、画像Ａ、Ｂ、Ｃ以外の画像（たとえば画像Ａ、Ｂ、Ｃに対し、ノイズ低減処理などの画像処理を施した画像など）を比較評価の対象に加えてもよい。

１：撮像システム
１０１：撮像部
１０６：画像補正処理部
１０８：画像比較部

Claims (8)

1. 光電変換部から電荷保持部に信号を転送する転送部をｎ回（ｎは２以上の整数）駆動する符号化露光によって撮像された第１画像の取得と、前記転送部をｍ回（ｍはｎより小さい整数）駆動することによって得られる第２画像の取得とを行う取得部と、
   前記第１画像に対しぶれ補正処理を施すことにより第３画像を生成する画像補正処理部と、
   前記第１画像、前記第２画像、及び、前記第３画像のうちの２つ以上を含む複数の画像を評価して、前記複数の画像のうち前記評価が最も高い画像を出力画像として選択し、又は、前記複数の画像を合成して出力画像を生成する際に前記複数の画像のそれぞれに対する重み付けを、前記複数の画像のうち前記評価が他の画像よりも高い画像を前記他の画像よりも高くする、画像比較部と、
   を有することを特徴とする画像処理装置。
2. 前記画像比較部は、前記複数の画像のそれぞれをサブ領域に区分し、サブ領域ごとに、品質の比較、及び、出力画像の選択又は合成を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像比較部は、サブ領域ごとに前記複数の画像のうち最も品質が良い画像を選択し、選択された各サブ領域の画像を合成することにより、前記出力画像を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像補正処理部は、前記第１画像の一部の領域にのみ前記ぶれ補正処理を施す
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 光電変換部と、電荷保持部と、転送部とを備える撮像装置と、
   前記撮像装置から前記第１画像と前記第２画像を取得して、出力画像を生成する、請求項１〜４のいずれか１項に記載の画像処理装置と、
   を有する撮像システム。
6. 前記撮像装置は、前記第１画像の生成に用いられる、前記光電変換部の電荷の生成の開始から終了までの期間の一部と、前記第２画像の生成に用いられる、前記光電変換部の電荷の生成の開始から終了までの期間の一部とが重なることを特徴とする請求項５に記載の撮像システム。
7. 前記撮像装置は、前記光電変換部と、前記電荷保持部と、前記転送部とを備える画素を有し、
   前記画素が、前記第１画像の生成に用いられる前記光電変換部の電荷を保持する第１の電荷保持部と、前記第２画像の生成に用いられる前記光電変換部の電荷を保持第２の電荷保持部と、を有する
   ことを特徴とする請求項６に記載の撮像システム。
8. 移動体であって、
   請求項５〜７のいずれか１項に記載の撮像システムと、
   前記撮像システムにより得られる出力画像を用いて、前記移動体を制御する制御部と、を有することを特徴とする移動体。

Images