JP2011170488A - 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器 - Google Patents

Abstract

【課題】複数枚の画像を位置合わせして合成した高解像度の合成画像上で画素値が決定されない画素を減少させる。
【解決手段】画像処理装置は、第一の画像と第二の画像間の動き量を検出する動き量検出部（１０２）と、前記動き量に基づいて前記第一の画像と前記第二の画像を合成することにより、前記第一の画像と前記第二の画像の画素数以上の画素数を有する合成画像を生成する高解像度画像生成部（１１０）と、前記合成画像の少なくとも一部の領域の全ての画素に対し、画素値が決定されている画素の密度を示す被覆度を測定する被覆度測定部（１０４）と、を備え、前記高解像度画像生成部（１１０）は、前記少なくとも一部の領域の被覆度が前記測定された被覆度以上になるように前記第一の画像と第二の画像を合成することを特徴とする。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器に関する。

複数枚の画像を合成して高解像度の画像を得る技術が、特許文献１、２に開示されている。これらの高解像度化技術は、複数枚の画像間における位置ずれ量をサブピクセル単位で検出し、検出した位置ずれ量に基づいて、複数枚の画像を高解像度画像空間で位置合わせして合成する。また、合成時には、エッジや色が滑らかになるような繰り返し演算処理を行って、高解像度の画像が生成される場合がある（例えば、特許文献１参照）。

高解像度画像空間で位置合わせする際、複数枚の低解像度の画像間のサブピクセル単位の画像間位置ずれ量が、高解像度画像空間での位置ずれ量に変換される。そして、変換された位置ずれ量に基づいて、位置合わせが行われる。この位置合わせの際、入力画像が補間の影響でボケないように、入力画像の画素を補間せずに、そのまま位置合わせが行われる。このため、高解像度画像空間における画素の行方向及び列方向の位置ずれ量は、高解像度画像空間で量子化（例えば四捨五入など）をする必要がある。
国際公開第０４／０６８８６２号パンフレット 特許２８２８１３８

しかし、量子化の結果、複数枚の画像を使っても、位置ずれ量によっては、複数枚の画像を位置合わせした高解像度の合成画像上の画素の多くにおいて画素値が決定されないことがある。画素値が決定されていない画素は、近隣画素を用いた補間による後処理により画素値を決定して合成画像を生成できる。しかし、この場合、エッジ部に偽色やギザギザのアーティファクトが発生してしまう問題がある。

この問題は、上述した繰り返し演算処理でエッジ部が滑らかになるようにすれば解決できる。しかし、エッジ部を滑らかにする、即ち、ぼかすことになるので、解像度向上の効果が低くなるという問題がある。また、上述のような繰り返し演算処理を行う場合には、演算時間が膨大になるという問題もある。

本発明は、上記の問題に鑑みて、複数枚の画像を位置合わせして合成した高解像度の合成画像上で画素値が決定されない画素を減少させることを目的とする。

本発明のある態様に係る画像処理装置は、第一の画像と第二の画像間の動き量を検出する動き量検出部と、前記動き量に基づいて前記第一の画像と前記第二の画像を合成することにより、前記第一の画像と前記第二の画像の画素数以上の画素数を有する合成画像を生成する高解像度画像生成部と、前記合成画像の少なくとも一部の領域の全ての画素に対し、画素値が決定されている画素の密度を示す被覆度を測定する被覆度測定部と、を備え、前記高解像度画像生成部は、前記少なくとも一部の領域の被覆度が前記測定された被覆度以上になるように前記第一の画像と前記第二の画像を合成することを特徴とする。

本発明の別の態様に係る画像処理方法は、第一の画像と第二の画像間の動き量を検出する動き量検出ステップと、前記動き量に基づいて前記第一の画像と前記第二の画像を合成することにより生成され得る合成画像であって、前記第一の画像と前記第二の画像の画素数以上の画素数を有する合成画像の少なくとも一部の領域の全ての画素に対し、画素値が決定される画素の密度を示す被覆度を測定する被覆度測定ステップと、前記被覆度が前記測定された被覆度以上になるように前記第一の画像と前記第二の画像を合成することにより合成画像を生成する高解像度画像生成ステップと、を含むことを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、第一の画像と第二の画像間の動き量を検出する動き量検出手順と、前記動き量に基づいて前記第一の画像と前記第二の画像を合成することにより生成され得る合成画像であって、前記第一の画像と前記第二の画像の画素数以上の画素数を有する合成画像の少なくとも一部の領域の全ての画素に対し、画素値が決定される画素の密度を示す被覆度を測定する被覆度測定手順と、前記被覆度が前記測定された被覆度以上になるように前記第一の画像と前記第二の画像を合成することにより合成画像を生成する高解像度画像生成手順とを、コンピュータに実行させることを特徴とする。

本発明によると、複数枚の画像を位置合わせして合成した高解像度の合成画像上で画素値が決定されない画素を減少させることができる。

第一実施形態に係る画像処理装置を示すブロック図である。 第一実施形態に係る位置合わせ制御の処理手順を例示するフローチャートである。 第一実施形態における被覆度制御の処理手順を例示するフローチャートである。 被覆度制御処理に関して使用される規定範囲を示す図である。 （ａ）第一フレーム（基準画像）を示す図である。（ｂ）第二フレーム（参照画像）を示す図である。（ｃ）第三フレーム（参照画像）を示す図である。（ｄ）第四フレーム（参照画像）を示す図である。 （ａ）高解像度化した基準画像のフレームを示す図である。（ｂ）高解像度化した三つのフレームを合成した合成画像を示す図である。（ｃ）標準的な量子化方法で、合成画像に第四フレームを位置合わせする場合を示す図である。 標準的な量子化方法を示す図である。 （ａ）高解像度化した基準画像のフレームを示す図である。（ｂ）高解像度化した三つのフレームを合成した合成画像を示す図である。（ｃ）第一実施形態に係る量子化方法で、合成画像に四番目のフレームを位置合わせする場合を示す図である。 第一実施形態に係る標準的な量子化方法を示す図である。 第二実施形態に係る画像処理装置を示すブロック図である。 第二実施形態に係る位置合わせ制御の処理手順を例示するフローチャートである。 第二実施形態に係る被覆度制御の処理手順を例示するフローチャートである。 （ａ）第一フレーム（基準画像）を示す図である。（ｂ）第二フレーム（参照画像）を示す図である。（ｃ）第三フレーム（参照画像）を示す図である。（ｄ）第四フレーム（参照画像）を示す図である。 （ａ）高解像度化した基準画像のフレームを示す図である。（ｂ）高解像度化した三つのフレームを合成した合成画像を示す図である。 （ａ）動き検出のマッチングに使用する基準画像の注目領域、及び、注目領域を高解像度化のため所定拡大率で拡大させた画像を示す図である。（ｂ）マッチング位置を探索する参照画像の探索範囲、及び、探索範囲を高解像度化のために所定拡大率に拡大させた画像を示す図である。 （ａ）−（ｄ）は、それぞれ、類似度の評価値にオフセットを付加する探索位置（位置ずれ量）を示す。

［第一実施形態］
図１のブロック図を参照して、第一実施形態に係る画像処理装置について説明する。画像処理装置は、複数の画像を拡大して合成した高解像度の合成画像における画素の被覆状態（画素値の有無）に応じて位置合わせ制御を行う。図１において、実線は、画像データの流れを示し、点線は、制御信号やその他のデータの流れを示す。

なお、画像処理装置は、デジタルカメラやデジタルビデオカメラ等の撮像用電子機器（又は撮像装置）に搭載されるものとして第一実施形態を説明する。しかし、本発明はこれに限定されることなく、適用可能である。

画像処理装置は、メモリ１０１、動き検出部１０２、位置合わせ部１０３、被覆度測定部１０４、被覆度制御部１０５、画素補間部１０６、を備える。上記の各部（又はこれら全体）を、論理回路から構成してよい。或いは、上記の各部（又はこれら全体）を、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ（中央演算処理装置）、入出力インターフェース等から構成してもよい。

メモリ１０１は、図示しない画像入力部から予め複数枚の画像が入力されており、複数枚の画像を記憶している。動き検出部１０２は、メモリ１０１から読みだされた複数枚の画像の間の動き量を検出する。動き量は、ベクトル量であり、動きベクトルとも呼ばれるものである。位置合わせ部１０３は、複数枚の画像を拡大して、動き量に基づいて高解像度空間で位置合わせし合成する。また、位置合わせ部１０３は、メモリ１０１に、位置合わせと合成の結果得られた高解像度の合成画像を記憶する。

被覆度測定部１０４は、高解像度の合成画像における各画素の被覆状態を取得し、被覆状態から被覆度を測定する。被覆度制御部１０５は、測定された被覆状態に応じて、位置合わせ時の画素の行方向及び列方向の動き量の量子化を制御して、被覆度を上記測定された被覆度以上にする（望ましくは最大にする）。画素補間部１０６は、複数の画像の位置合わせにより作成された合成画像を補間処理によって再構成する。

以下、より詳細に上記の各部を説明する。動き検出部１０２は、メモリ１０１に記録された複数枚の画像を入力し、それらの中の基準画像と参照画像（基準画像以外の画像）との間の動き量を検出する。動き検出部１０２は、サブピクセル単位の動き量を検出する。これは、位置合わせ部１０３が、動き量に基づいて高解像度空間で複数枚の画像を位置合わせするためである。なお、基準画像を第一の画像と呼ぶことがある。複数の参照画像を、第二、第三の画像等と呼ぶことがある。

動き検出部１０２は、予め、低解像度画像をバイキュービック法などの補間処理で拡大させて拡大画像を作成しておき、その後、拡大画像間でのブロックマッチング法により動き量を検出しても良い。拡大画像の倍率と位置合わせを行なう高解像度画像空間の倍率が同じであれば、検出した動き量を変換する必要はない。しかし、拡大画像の倍率と高解像度画像の倍率が同じでない場合は、動き検出部１０２は、拡大画像上での動き量を高解像度画像空間での動き量に変換する。例えば、動き検出部１０２は、合成画像（位置合わせ画像）の予め定められているサイズを拡大画像のサイズで除算して得た倍率を、検出した動き量に乗算する。

或いは、動き検出部１０２は、特許文献１、２のような従来技術を使用して、低解像度画像からサブピクセル単位の動き量を検出しても良い。この場合、動き検出部１０２は、検出した動き量を、位置合わせを行う高解像度空間でのピクセル単位の動き量に変換する。例えば、動き検出部１０２は、合成画像の予め定められているサイズを低解像度画像のサイズで除算して得た倍率を、検出した動き量に乗算する。

位置合わせ部１０３は、動き検出部１０２で算出した高解像度空間での動き量に基づいて、メモリ１０１からの複数枚の画像を所定の拡大率で拡大して高解像度空間で位置合わせする。その後、位置合わせ部１０３は、位置合わせされた複数の画像を順次合成して合成画像を生成することにより、合成画像を更新する。位置合わせ部１０３は、更新された合成画像をメモリ１０１に記録する。高解像度になるよう拡大した参照画像を順次高解像度画像空間で基準画像に位置合わせしてプロットすることにより、合成画像は更新される。

被覆度測定部１０４は、メモリ１０１に記録された合成画像を入力し、合成画像中のある一部の領域、または、合成画像の画像全体における被覆状態及び被覆度を測定する。例えば、一部の領域とは、処理単位、注目被写体領域などであるが、これに限定されるものではない。被覆度は、当該一部の領域又は画像全体での画素値が決定されている画素の密度を示す量と定義される。ここで、被覆度は、画素値が決定されている画素の密度の指標となる量を含む概念であり、画素値が決定されている画素の密度そのものやこの画素の密度に比例する量なども含む。被覆度の一例として、合成画像中のある一部の領域または全体において画素値が決定されている画素数を、この一部の領域または全体の画素数で除算して得られる被覆率が挙げられる。また、被覆状態とは、各画素における画素値の有無の状態のことである。例えば、被覆状態は、合成画像の画素位置ごとに画素値が存在するか否かに応じてラベルを割り付けて作成したマップで表すことができる。

被覆度制御部１０５は、被覆度測定部１０４で測定する現在の合成画像の被覆状態に基づいて、動き検出部１０２で算出された動き量を量子化する。なお、位置合わせ部１０３と被覆度制御部１０５は高解像度画像生成部１１０を構成する。

画素補間部１０６は、更新を繰り返すことにより最終的に作成された合成画像をメモリ１０１から取得する。画素補間部１０６は、取得した合成画像において画素値が得られていない画素の画素値を、画素値が得られている近隣画素の画素値を用いた補間処理によって生成する。これにより、画素補間部１０６は、全ての画素の画素値を有する画像を生成し、メモリ１０１に出力する。

図２のフローチャートは、第一実施形態に係る位置合わせ制御の処理手順を例示する。

ステップＳ１において、動き検出部１０２と位置合わせ部１０３に、メモリ１０１に記録されている複数の画像のうち基準画像を入力する。

次に、ステップＳ２において、位置合わせ部１０３は、高解像度になるよう基準画像を所定拡大率（例えば２倍）で拡大して、初期の合成画像を生成する。即ち、合成画像が初期化される。なお、以後、合成画像は、基準画像以外の参照画像を所定拡大率で拡大し、メモリ１０１に記録された既存の合成画像に対してプロット（追加）することにより更新されていく。

次に、ステップＳ３において、動き検出部１０２と位置合わせ部１０３にメモリ１０１から参照画像が入力される。

次に、ステップＳ４において、動き検出部１０２は、基準画像（第一の画像）と参照画像（第二の画像等）の間でサブピクセル単位の動き量の検出を行う。

次に、ステップＳ５において、動き検出部１０２は、検出したサブピクセル単位の動き量（動きベクトル）を所定拡大率で拡大し、高解像度画像空間での動き量に変換する。このように、基準画像と参照画像の低解像度画像空間での動き量が、基準画像と参照画像よりも高解像度である高解像度画像空間での動き量に変換される。

次に、ステップＳ６において、被覆度測定部１０４は、メモリ１０１から合成画像を入力して画素の被覆度を測定する。被覆度は、ある領域又は画像全体での、画素値が決定されている（画素値が有る）画素の密度を示す。被覆度の測定において、例えば、画素値が決定されているか否かを画素位置ごとに表わすマップを、被覆状態を示すものとして作成しておき、マップから被覆度が計算される。このマップは、画素位置とその画素位置での画素値の有無の情報を対応付けたものである。例えば、マップは、後述の図６（ｂ）と図８（ｂ）において、画素値の存在しない黒い画素に画素値の存在しないことを示すラベル（例えば数値０）を、それ以外の画素に画素値の存在することを示すラベル（例えば数値１）を割り当ててラベル付けしたものでよい。

次に、ステップＳ７において、被覆度測定部１０４で作成したマップに基づいて、被覆度制御部１０５で被覆度制御処理を行う。被覆度制御部１０５は、動き量の量子化に関する制御データを位置合わせ部１０３へ出力する。被覆度制御処理の詳細については後述する。

次に、ステップＳ８において、位置合わせ部１０３は、被覆度制御部１０５の制御データに応じて、入力してある参照画像をメモリ１０１から読み出した合成画像にプロットしながら合成画像を更新していく。

次に、ステップＳ９において、使用する複数枚の画像の全て（全ての参照画像）に対して、ステップＳ３からＳ８までの処理が終了したかを判別する。全ての画像に対して処理が終了してなかったら、ステップＳ３に戻って、次の参照画像がメモリ１０１から入力される。全ての画像に対して処理が終了していたら、ステップＳ１０において、画素補間部１０２が最終的に作成された合成画像に対して補間処理を行う。この際、合成画像（位置合わせ画像）の全ての画素値が決定されていなかったら、画素値が決定されていない画素の画素値を補間によって決定する。

図３に、第一実施形態における被覆度制御処理のフローチャートを示す。

ステップＳ２１において、被覆度制御部１０５は、高解像度画像空間での動き量が規定範囲内か否か判定する。規定範囲（図４）については後述される。

高解像度空間での動き量が規定範囲外であったら、ルーチンはステップＳ２２に進む。ステップＳ２２において、被覆度制御部１０５は、画像処理装置において通常使用される標準的な量子化を選択する。例えば、画像処理装置で四捨五入による量子化が標準であったら、被覆度制御部１０５は、四捨五入による量子化を選択する。

高解像度空間での動き量が規定範囲内であったら、ルーチンはステップＳ２３に進む。ステップＳ２３で、被覆度制御部１０５は、前述の被覆状態のマップに基づいて、被覆状態の解析を行う。ここで、被覆状態の解析とは、現在の合成画像において画素値が決定されていない画素の画素値が参照画像の追加により決定されるような、参照画像の位置合わせ量を検出することである。なお、位置合わせ量は、高解像度空間での動き量（動きベクトル）の行方向成分及び列方向成分を切上げ又は切下げして量子化した量となる。画素値が決定されていない画素の画素値が決定されるような位置合わせ量は、通常数種類存在する。

次に、ステップＳ２４において、被覆度制御部１０５は、参照画像を追加した後の合成画像の被覆度が上記測定された被覆度に以上なるように（望ましくは最大になるように）動き量の量子化方法を選択する。即ち、被覆度制御部１０５は、ステップＳ２３で検出した位置合わせ量のうちで、参照画像の画素が合成画像の画素値がない画素上に数多く配置されるよう（望ましくは最も数多く配置されるよう）、位置合わせ量を選択する。なお、現在の合成画像において画素値がない画素位置はマップにおいてラベル付けされており、高解像度の参照画像において画素値がある画素の位置は所定の拡大率からわかる。このため、検出した各位置合わせ量に関して、現在の合成画像の画素値がない画素上に配置される参照画像の画素数を容易に計算できる。これにより、参照画像を追加した後の合成画像の被覆度も測定できる。こうして、被覆度制御部１０５は、被覆度が上記測定された被覆度以上になる（望ましくは最大になる）位置合わせ量を選択できる。この量子化方法の選択の具体例が、後で説明される。

なお、被覆度制御部１０５は、位置合わせ部１０３に各位置合わせ量のデータを送って位置合わせさせ、被覆度測定部１０４が、各位置合わせ量で参照画像を追加した後の合成画像の被覆度を事前に演算してもよい。このようにしても、被覆度制御部１０５は、被覆度測定部１０４から事前に被覆度を取得して、この被覆度が事前に測定された被覆度以上になるよう（望ましくは被覆度が最大になるよう）位置合わせ量を選択できる。

また、被覆度は、合成画像全体に対して算出するものでなくてよく、合成画像中の一部の領域（処理単位、注目被写体領域等）に対して算出するものでもよい。合成画像中の一部の領域を、参照画像の追加前の現在の合成画像において画素値がない画素の領域とすることもできる。

次に、ステップＳ２５において、被覆度制御部１０５は、選択された量子化方法で、高解像度の動き量を量子化する。即ち、被覆度制御部１０５は、高解像度の動き量を、選択した位置合わせ量に量子化する。被覆度制御部１０５は、量子化に関する制御データを位置合わせ部１０３へ出力する。制御データとして、選択した位置合わせ量、或いは、選択した位置合わせ量を実現するために動き量の行方向成分及び列方向成分の切上げ又は切下げするかの情報がある。

図４−図９を参照して、第一実施形態による被覆度制御処理の具体例を説明する。

図４に、ステップＳ２１で、被覆度制御処理に関して使用される規定範囲を具体的に示す。図４において、基準画像と参照画像を所定の拡大率で拡大した高解像度画像上の行方向（Ｘ方向）や列方向（Ｙ方向）のサブピクセル単位の動き量が、0.0〜1.0ピクセルである場合について説明される。

例えば、図４のように、規定範囲は、切上げた場合の整数値（1ピクセル）と切下げた場合の整数値（0ピクセル）の中央の値（0.5ピクセル）を中心とする0.3〜0.7ピクセルの所定の範囲である。動き量の列方向成分と行方向成分が規定範囲内にあれば、参照画像追加後の合成画像の被覆度が高くなるように、量子化方法として、切下げ（切捨て）と切上げのどちらかを選択する。

動き量の列方向成分と行方向成分が小さいにもかかわらず切上げが為されると、位置合わせの誤差が大きくなる。逆に、動き量の列方向成分と行方向成分が大きいにもかかわらず切下げが為されると、位置合わせの誤差が大きくなる。従って、規定範囲は、位置合わせの誤差が大きくならないように設定する。

図５−図９に動き量の量子化の具体例を示す。図５（ａ）−（ｄ）のように、４フレームの入力画像がある場合を説明する。例えば、図５（ａ）のフレーム１が基準画像、図５（ｂ）−（ｄ）のフレーム２〜４が参照画像に設定される。なお、本明細書において、フレーム１〜４の画像をそれぞれ第一、第二、第三、第四の画像と呼ぶことがある。

図６（ａ）−（ｃ）は、標準的な量子化方法で、フレーム１〜４を位置合わせする場合を示す。図６（ａ）は、所定拡大率（例えば２倍）で拡大して高解像度化した基準画像を示す。図６（ｂ）は、所定拡大率で拡大して高解像度化したフレーム１〜３を位置合わせして合成した現在の合成画像を示す。図６（ｂ）では、被覆率は１２／１６となっている。ここで、被覆率は、被覆度の一例であり、合成画像中において画素値が決定されている画素数を、合成画像全体の画素数で除算して得られる。図６（ｃ）は、フレーム１〜３の高解像度の合成画像にフレーム４を位置合わせして合成する場合を示す。

図７のように、標準的な量子化として四捨五入によって、整数ピクセルに動き量が量子化される場合、動き量の列方向成分と行方向成分は、0.5ピクセル以上では１ピクセルに、0.5ピクセル未満では０ピクセルに量子化される。フレーム１に対するフレーム４の高解像度空間での動き量が、x=0.45ピクセル、y=0.45ピクセルと検出されたと仮定すると、標準的な量子化方法では、この動き量は、x=0ピクセル、y=0ピクセルに量子化される。この場合、図６（ｃ）のように、参照画像は、フレーム１の基準画像の画素の位置上に合成されて、画素値がない画素（図中の黒色部分）は画素値がないままであり、被覆率は増えない。画素値がない画素の画素値を決定する為に、後の補間処理（ステップＳ１０）で補間するとエッジにギザギザのアーティファクトが発生する。また、補間処理を必要とするので、処理時間が増えてしまう。

図８（ｂ）に示すフレーム１〜３までの合成画像の被覆状態を解析すると、図８（ｃ）のように高解像度の参照画像が、現在の合成画像に対してx=1ピクセル、y=1ピクセルずれていれば、位置合わせした際に合成画像の被覆率（被覆度）が最大になる。図８（ｂ）では、被覆率は１２／１６となっているが、図８（ｃ）では、被覆率は１６／１６となっている。ここで、図８（ａ）−（ｃ）に示す制御では、0.45ピクセルは規定範囲内である。従って、図９のように量子化方法を切上げとして選択する。これにより量子化後の動き量は、行方向、列方向ともに1.0ピクセルとなり、図８（ｃ）のように合成画像の全ての画素の画素値が決定される。従って、その後、補間処理をしなくてもよい。

なお、上述の本実施形態の変形例として、被覆度測定部１０４と被覆度制御部１０５を統合して一つの部として設け、位置合わせ部１０３だけから高解像度画像生成部１１０を構成してもよい。また、最終的な合成画像の被覆度が高い場合には、画素補間部１０６での補間処理を行わない構成としてもよい。

作用効果
本実施形態によれば、動き量検出部は、第一の画像と第二の画像間の動き量を検出する。高解像度画像生成部は、動き量に基づいて第一の画像と第二の画像を合成することにより、第一の画像と第二の画像の画素数以上の画素数を有する合成画像を生成する。被覆度測定部は、合成画像の少なくとも一部の領域の全ての画素に対し、画素値が決定されている画素の密度を示す被覆度を測定する。高解像度画像生成部は、この少なくとも一部の領域の被覆度が測定された被覆度以上になるように（望ましくは最大になるように）第一の画像と第二の画像を合成する。

これにより、画像の合成後に行う補間処理によって発生するエッジ部の偽色やギザギザのアーティファクトを低減することが可能となる。アーティファクトが少なくなれば、繰り返し演算処理の収束が速くなり演算時間が短くできる。或いは、繰り返し演算処理をしなくても、破綻のない画像が生成できると共に解像度が向上できる。

高解像度画像生成部は、検出された動き量を、合成画像の解像度での動き量に変換することによって得られた変換動き量が規定範囲内にあるか否か判定する。さらに、高解像度画像生成部は、変換動き量が規定範囲内にある場合に、合成画像の被覆度が測定された被覆度以上になるように（望ましくは最大になるように）変換動き量の行方向成分及び列方向成分を量子化する。これにより、位置合わせ誤差が許容できる範囲で被覆度が測定された被覆度以上になるように（望ましくは最大になるように）、動き量の量子化をできる。

動き量検出部は、第一画像と第三画像との間の第二の動き量を検出する。被覆度測定部は、合成画像の各画素の画素値が決定されているか否かを示す被覆状態を求める。高解像度画像生成部は、合成画像の被覆状態と第二の動き量に基づいて、少なくとも一部の領域の被覆度が測定された被覆度以上になるように（望ましくは最大になるように）合成画像と第三画像を合成し、合成画像を更新する。これにより、画像を追加して更新を繰り返して最終的な合成画像を得る場合でも、最終的な合成画像に対して補間処理によって発生するアーティファクトを低減することが可能となる。

［第二実施形態］
図１０のブロック図を参照して、第二実施形態に係る画像処理装置について説明する。

第二実施形態は、第一実施形態とほぼ同様の構成である。第一実施形態と同じ機能を有する部分には、第一実施形態と同じ番号が付されている。第一実施形態と異なる構成として、被覆度制御部２０５の制御データが、動き検出部１０２へ入力される。位置合わせ部１０３と被覆度制御部２０５は高解像度画像生成部２１０を構成する。

図１１のフローチャートは、第二実施形態に係る位置合わせ制御の処理手順を示す。

ステップＳ３１において、動き検出部１０２と位置合わせ部１０３に、メモリ１０１に記録されている基準画像を入力する。ステップＳ３１は、第一実施形態のステップＳ１と同様である。

次に、ステップＳ３２において、位置合わせ部１０３は、高解像度になるよう基準画像を所定拡大率で拡大して、初期の合成画像を生成する。ステップＳ３２は、第一実施形態のステップＳ２と同様である。

次に、ステップＳ３３において、動き検出部１０２と位置合わせ部１０３にメモリ１０１から参照画像が入力される。ステップＳ３３は、第一実施形態のステップＳ３と同様である。

次に、ステップＳ３４において、被覆度測定部１０４は、メモリ１０１から合成画像を入力して画素の被覆状態を測定する。ステップＳ３４は、第一実施形態のステップＳ６と同様である。

次に、ステップＳ３５において、測定された被覆状態をもとに、被覆度制御部２０５は、被覆度制御処理を行い、動き検出部１０２へ制御データを出力する。この被覆度制御処理の詳細については後述する。

次に、ステップＳ３６において、動き検出部１０２で基準画像と参照画像間で被覆度制御部２０５の制御データに応じて、動き検出処理を行う。ステップＳ３６は、第一実施形態のステップＳ４と同様である。

次に、ステップＳ３７において、動き検出処理で検出された動き量を位置合わせする高解像度空間の動き量に変換する。ここで、動き検出時に高解像度空間の動きを検出していれば、変換する必要はない。ステップＳ３７は、第一実施形態のステップＳ５と同様である。

次に、ステップＳ３８において、位置合わせ部１０３は、検出された動き量に応じて、入力してある参照画像をメモリ１０１に記録されている合成画像にプロットしながら合成画像を更新していく。

次のステップＳ３９、Ｓ４０の処理は、それぞれ、第一実施形態のステップＳ９、Ｓ１０と同様である。

図１２のフローチャートに、第二実施形態に係る被覆度制御処理を示す。

ステップＳ５１において、被覆度制御部２０５で合成画像の被覆状態を解析する。解析方法は第一実施形態と同様である。

ステップＳ５２において、解析結果に基づいて、被覆度制御部２０５は、ブロックマッチング等による動き検出（ステップＳ３６）に使用する類似度の評価値に対して、オフセット値を付加すべき探索位置を調べる。探索位置とは、参照画像に対して基準画像の領域（例えば、注目領域）を移動させて両画像のマッチング位置を探索する場合に、参照画像に対して移動する基準画像の領域の相対位置（位置ずれ量）のことである。

その位置で位置合わせされた場合の合成画像の被覆度が測定された被覆度以上になるような（望ましくは最大になるような）探索位置に対して、類似度の評価値にオフセットが付加される。これにより、動き検出部１０２で被覆度が測定された被覆度以上になるような（望ましくは最大になるような）動き量が取得できるようになる。

被覆度制御部２０５は、制御データとして、探索位置及び探索位置におけるオフセット値の組合わせを動き検出部１０２に対して入力する。動き検出部１０２は、制御データに基づいて、評価値にオフセット値を付加する演算処理を行う。動き検出部１０２は、演算処理した評価値に基づいて、参照画像と基準画像のマッチング位置を決定する。評価値のオフセットを付加する探索位置については後述の具体例において詳細に説明する。

図１３から図１６に、第二実施形態に係る類似度評価値に関するオフセット付加の具体例を示す。

図１３（ａ）−（ｄ）のように、４フレームの入力画像がある場合を説明する。例えば、図１３（ａ）のフレーム１（第一の画像）が基準画像、図１３（ｂ）−（ｄ）のフレーム２〜４（第二から第四の画像）が参照画像に設定される。図１４（ａ）は、所定拡大率（２倍）で拡大して高解像度化した基準画像を示す。図１４（ｂ）は、所定拡大率（２倍）で拡大して高解像度化したフレーム１〜３を位置合わせして合成した現在の合成画像を示す。図１５（ａ）、（ｂ）は、ブロックマッチングの様子を示す。図１５（ａ）は、参照画像と基準画像との間の動き検出のマッチングに使用する注目領域、及び、注目領域を高解像度化のため所定拡大率で拡大させた画像を示す。図１５（ｂ）は、参照画像（フレーム４）においてマッチング位置を探索する探索範囲、及び、探索範囲を高解像度化のために所定拡大率に拡大させた画像である。図１６（ａ）−（ｄ）は、オフセットを付加する探索位置（位置ずれ量）を示す。

図１５（ａ）（ｂ）のように、この具体例において、動き検出部１０２は、基準画像（フレーム１）と参照画像（フレーム４）を一旦高解像度化したい所定拡大率に拡大させた画像を用いている。動き検出部１０２は、高解像度空間でのブロックマッチングにより類似度の評価値を算出して動き量を求める。

図１６（ａ）−（ｄ）のように、フレーム１とフレーム４の高解像度空間での動き量が、（x=1ピクセル、y=1ピクセル）、（x=1ピクセル、y=3ピクセル）、（x=3ピクセル、y=1ピクセル）、（x=3ピクセル、y=3ピクセル）などであれば、更新された合成画像の被覆率（被覆度）が最大になる。そこで、動き検出部１０２は、ブロックマッチングにおいて、被覆率（被覆度）が事前に測定された被覆度以上になるような（望ましくは最大になるような）探索位置で類似度の評価値を算出する時に、評価値にオフセット値を付加する。

例えば、オフセット付加について、オフセット値が正であれば、算出された評価値に所定値（オフセット値の絶対値）を加算する演算処理を行う。オフセット値が負であれば、算出された評価値から所定値（オフセット値の絶対値）を減算する演算処理を行う。類似度の評価値がＳＡＤ（差の絶対値和）である場合、ＳＡＤの値が小さい程類似度が高いので、被覆率が事前に測定された被覆度以上になるような（望ましくは最大になるような）探索位置でのＳＡＤの値から所定値が減算される。動き検出部１０２は、減算処理した後の評価値が最も小さくなる位置を、参照画像と基準画像のマッチング位置と決定する。マッチング位置での参照画像と基準画像のズレ量が、動き量として設定される。

なお、本実施形態において、オフセットを付加する代わりに、動き検出部１０２は、評価値に係数を乗算しても良い。被覆度制御部２０５は、制御データとして、オフセット値の代わりにこの係数を算出する。係数は、0より大きく1.0未満の値である（0＜係数＜1.0）。

作用効果
動き量検出部が、動き量を検出するために、画像間の類似度の評価値を演算する。高解像度画像生成部は、被覆度が事前に測定された被覆度以上になる（望ましくは最大になる）画像間のずれ量、及び、このずれ量で動き量検出部が評価値に付加するオフセット値又は評価値に乗算する係数を設定する。このようにして、位置合わせ誤差が大きくならない範囲で、参照画像を追加して更新した後の合成画像の被覆度を測定された被覆度以上にできる（望ましくは最大にできる）。このため、合成画像の画素の多くの画素値が決定されるようになる。これにより、後処理の補間によって発生するエッジ部の偽色やギザギザのアーティファクトを低減することが可能となる。

［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵ、ＲＡＭ等の主記憶装置と、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。

１０１ メモリ
１０２ 動き検出部
１０３ 位置合わせ部
１０４ 被覆度測定部
１０５ 被覆度制御部
１０６ 画素補間部
１１０ 高解像度画像生成部

Claims (7)

1. 第一の画像と第二の画像間の動き量を検出する動き量検出部と、
   前記動き量に基づいて前記第一の画像と前記第二の画像を合成することにより、前記第一の画像と前記第二の画像の画素数以上の画素数を有する合成画像を生成する高解像度画像生成部と、
   前記合成画像の少なくとも一部の領域の全ての画素に対し、画素値が決定されている画素の密度を示す被覆度を測定する被覆度測定部と、を備え、
   前記高解像度画像生成部は、前記少なくとも一部の領域の被覆度が前記測定された被覆度以上になるように前記第一の画像と前記第二の画像を合成することを特徴とする画像処理装置。
2. 前記高解像度画像生成部は、
   前記検出された動き量を、前記合成画像の解像度での動き量に変換することによって得られた変換動き量が規定範囲内にあるか否か判定し、
   前記変換動き量が前記規定範囲内にある場合に、前記合成画像の被覆度が最大になるように前記変換動き量の行方向成分及び列方向成分を量子化することを特徴とする請求項１に記載の画像処理装置。
3. 前記動き量検出部が、前記動き量を検出するために、前記第一の画像と前記第二の画像をずらして両画像間の類似度の評価値を演算し、
   前記高解像度画像生成部は、前記被覆度が前記測定された被覆度以上になる前記第一の画像と前記第二の画像のずれ量、及び、前記ずれ量で前記動き量検出部が前記評価値に付加するオフセット値又は前記評価値に乗算する係数を設定することを特徴とする請求項１に記載の画像処理装置。
4. 動き量検出部は、前記第一画像と第三画像との間の第二の動き量を検出し、
   前記被覆度測定部は、前記合成画像の各画素の画素値が決定されているか否かを示す被覆状態を求め、
   前記高解像度画像生成部は、前記合成画像の被覆状態と前記第二の動き量に基づいて、前記少なくとも一部の領域の被覆度が前記測定された被覆度以上になるように前記合成画像と前記第三画像を合成し、前記合成画像を更新することを特徴とする請求項１に記載の画像処理装置。
5. 請求項１から請求項４のいずれか一つに記載の画像処理装置を備えることを特徴とする電子機器。
6. 第一の画像と第二の画像間の動き量を検出する動き量検出ステップと、
   前記動き量に基づいて前記第一の画像と前記第二の画像を合成することにより生成され得る合成画像であって、前記第一の画像と前記第二の画像の画素数以上の画素数を有する合成画像の少なくとも一部の領域の全ての画素に対し、画素値が決定される画素の密度を示す被覆度を測定する被覆度測定ステップと、
   前記被覆度が前記測定された被覆度以上になるように前記第一の画像と前記第二の画像を合成することにより合成画像を生成する高解像度画像生成ステップと、を含むことを特徴とする画像処理方法。
7. 第一の画像と第二の画像間の動き量を検出する動き量検出手順と、
   前記動き量に基づいて前記第一の画像と前記第二の画像を合成することにより生成され得る合成画像であって、前記第一の画像と前記第二の画像の画素数以上の画素数を有する合成画像の少なくとも一部の領域の全ての画素に対し、画素値が決定される画素の密度を示す被覆度を測定する被覆度測定手順と、
   前記被覆度が前記測定された被覆度以上になるように前記第一の画像と前記第二の画像を合成することにより合成画像を生成する高解像度画像生成手順とを、コンピュータに実行させることを特徴とする画像処理プログラム。

Images