JP2007166542A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数の画像データから、より解像度の高い画像データを生成する際に、被写体の状態を考慮して適切な画像データを生成することの可能な画像処理装置及び画像処理方法を提供する。
【解決手段】ＤＶＣ１００は超解像処理を行う過程で、基準画像に存在しない目を合成対象画像において新たに検出すると、検出した目で基準画像の一部を置き換える。また、検出した目で基準画像の一部を置き換えた場合、ＤＶＣ１００は、高解像度画像において対応する領域のデータを破棄し、検出した目に対応するデータを新たに配置する。
【選択図】図８

Description

本発明は、複数の画像データから、より解像度の高い１の画像データを生成する画像処理装置及び画像処理方法に関する。

デジタルビデオカメラ（以下、「ＤＶＣ」と呼ぶ）などの撮像装置で撮像可能な画像データの画素数の最大値（以下、「最大画素数」と呼ぶ）は、撮像装置の設計や規格に依存して決定される。しかし、撮像装置で撮影可能な最大画素数を超える画素数の画像データを生成したいという要求が存在する。

特許文献１には、動画像データに含まれるフレーム画像を少なくとも２つ合成して、そのフレーム画像よりも画素数の大きな静止画像データ（すなわち、元のフレーム画像よりも高解像度の静止画像データ）を生成する画像生成装置が提案されている。
特開２００４−２７２７５１号公報

このような、複数の画像を合成することによる高解像度画像の生成処理（超解像度処理）では、合成対象である複数の画像（以下、「合成対象画像」と呼ぶ）の中から１つの画像を基準画像として選択する。そして、残りの合成対象画像を用いて基準画像の画素間を補填することによって、より画素数の大きな画像データを生成する。以下、超解像度処理によって生成された、合成対象画像より画素数の多い画像データを、「高解像度画像」とも呼ぶ。

このような画素補填を行う際、合成対象画像のうち基準画像と相関の低い領域の画素は使用しないようにしている。したがって、基準画像に含まれる人物が瞬きをしていて、目をつむった状態だと、他の合成対象画像では目を開いていても、目の領域の相関が小さく、画素補填に用いられない。その結果、生成された高解像度画像データにおいてもその人物は目を閉じた状態になってしまうという問題がある。この問題は、基準画像中に含まれる人物の数が多いほど顕著になる。なぜなら、すべての人物が目を開いている可能性が低くなるからである。その結果、すべての人物が目を開いている高解像度画像データを生成することは、困難である。

本発明はこのような状況に鑑みてなされたものであり、複数の画像データから、より解像度の高い画像データを生成する際に、被写体の状態を考慮して適切な画像データを生成することの可能な画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、複数の合成対象画像を合成して、前記合成対象画像よりも画素数の多い高解像度画像を生成する画像処理装置であって、前記複数の合成対象画像の１つである基準画像において、あらかじめ設定された画像を含む特徴領域を検出する第１の検出手段と、前記高解像度画像を生成する過程のデータを格納する記憶領域である高解像度領域に、前記基準画像の各画素を配置する第１の画素配置手段と、前記複数の合成対象画像のうち、前記基準画像以外の１つを処理対象画像とし、該処理対象画像において前記あらかじめ設定された画像を含む特徴領域を検出する第２の検出手段と、前記第２の検出手段により検出された特徴領域に対応する前記基準画像の基準領域に、前記あらかじめ設定された画像が含まれるか否かを判定する判定手段と、前記判定手段による判定の結果、前記あらかじめ設定された画像が含まれない場合に、前記基準領域を前記第２の検出手段により検出された特徴領域により置き換える置き換え手段と、前記置き換え手段による置き換えが行われた場合に、前記高解像度領域における、前記基準領域に対応する高解像基準領域に配置されている画素を消去する消去手段と、前記複数の合成処理対象画像の各々の画素を、前記高解像度領域中に配置する第２の画素配置手段と、前記高解像度領域において、前記第２の画素配置手段により配置されなかった画素を、配置済みの画素から生成して配置して、高解像度画像を生成する第３の画素配置手段と、を備えることを特徴とする。

また、本発明の画像処理方法は、複数の合成対象画像を合成して、前記合成対象画像よりも画素数の多い高解像度画像を生成する画像処理方法であって、前記複数の合成対象画像の１つである基準画像において、あらかじめ設定された画像を含む特徴領域を検出する第１の検出工程と、前記高解像度画像を生成する過程のデータを格納する記憶領域である高解像度領域に、前記基準画像の各画素を配置する第１の画素配置工程と、前記複数の合成対象画像のうち、前記基準画像以外の１つを処理対象画像とし、該処理対象画像において前記あらかじめ設定された画像を含む特徴領域を検出する第２の検出工程と、前記第２の検出工程により検出された特徴領域に対応する前記基準画像の基準領域に、前記あらかじめ設定された画像が含まれるか否かを判定する判定工程と、前記判定工程による判定の結果、前記あらかじめ設定された画像が含まれない場合に、前記基準領域を前記第２の検出工程により検出された特徴領域により置き換える置き換え工程と、前記置き換え工程による置き換えが行われた場合に、前記高解像度領域における、前記基準領域に対応する高解像基準領域に配置されている画素を消去する消去工程と、前記複数の合成処理対象画像の各々の画素を、前記高解像度領域中に配置する第２の画素配置工程と、前記高解像度領域において、前記第２の画素配置工程により配置されなかった画素を、配置済みの画素から生成して配置して、高解像度画像を生成する第３の画素配置工程と、を備えることを特徴とする。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態の記載によっていっそう明らかになるものである。

以上の構成により、本発明によれば、複数の画像データから、より解像度の高い画像データを生成する際に、被写体の状態を考慮して適切な画像データを生成することの可能な画像処理装置及び画像処理方法を提供することが可能となる。

以下、添付図面を参照して、本発明の実施形態を説明する。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

［第１の実施形態］
＜ＤＶＣ１００の構成＞
図１は、本発明を適用した画像処理装置の一例である、ＤＶＣ１００の構成を示す機能ブロック図である。以下の実施形態ではＤＶＣ１００を用いて本発明を説明するが、本発明は、例えばＰＣ（パーソナルコンピュータ）や携帯電話など、他の画像処理装置にも適用可能である。また、本発明を適用する画像処理装置は、ＤＶＣ１００のように撮像機能を備えている必要も無い。

操作部１０１は、ユーザがＤＶＣ１００に対して撮像や再生などの指示を与えるためのものである。

制御部１０２は、不図示のＲＯＭに格納されている制御プログラム（ファームウェア）を実行することにより、ＤＶＣ１００全体を制御する。

目検出部１０３は、画像に含まれる人物の目に関する情報（位置や輝度、色差データなど）を検出する。目検出部１０３が情報を検出する方法の詳細は、後述する。

画像処理部１０４は、超解像処理などの画像処理を行う。

メモリ１０５は、画像データや、超解像処理に必要な種々の情報などを記憶する。メモリ１０５には通常、不揮発性メモリが使用される。

表示部１０６は、ＴＦＴ ＬＣＤなどにより構成され、画像データを再生する際に画像を表示したり、ＤＶＣ１００に指示を与えるためのメニュー画面を表示したりする。

記憶媒体１０７は、撮像した画像データや、超解像処理により得られた画像データなどを記憶する。記憶媒体１０７には、フラッシュメモリやＨＤＤ（ハードディスクドライブ）、ＤＶテープ、ＤＶＤ−ＲＡＭなどを用いることができる。

撮像部１０８は、光学レンズや、ＣＣＤなどの固体撮像素子、Ａ／Ｄ変換器などを含み、光学レンズから入射した光をデジタル電気信号に変換することにより、撮像を行う。

＜目検出処理の概要＞
目検出部１０３が行う目検出処理は、本実施形態で必要な情報である、画像における目の位置を得ることができれば、任意の方法により行うことができるが、一例として、特開２０００−２５９８３３号公報に記載の方法を説明する。

特開２０００−２５９８３３号公報の第６頁には、瞳検出処理の説明が記載されている。これによれば、顔領域抽出部によって抽出された顔領域それぞれに対して、複数の半径で円形分離度フィルターをかけることで円形で周りより暗くなっている場所を目の候補点として列挙する。円形分離度フィルターについては、「動画像を用いた顔認識システム」、山口修他、信学技報 PRMU97-50,PP17-23を参照されたい。次に、得られた候補点それぞれに対して、用途に応じた幾何学配置条件を用いて候補点の組み合わせ（左右（両目）で一組）を絞込む。例えば、カメラからの距離に応じて、両目間の距離に関する閾値を大小の２つ決定する。又は、画像内に正面静止状態の顔しか存在しない場合は、両目を結ぶ線が水平に近いように角度の閾値を決定してもよい。

候補点の組み合わせのうち、決定した閾値の範囲に収まる組み合わせが、最終的に目（両目）として検出される。

＜超解像処理の概要＞
図３〜図６を参照して、超解像処理の概要を説明する。図３〜図６は、合成対象画像から高解像度画像を生成する様子を概略的に示す図である。説明を簡単にするため、横４×縦３＝１２画素の画像を複数合成して、横１２×縦９＝１０８画素の画像を生成するものとする。画素数が９倍になるので、合成対象画像は最低でも９枚必要であり、ここでは９枚の合成対象画像を合成するものとする。

図３（ａ）は基準画像を示し、図３（ｂ）は生成途中の高解像度画像を示す。画素数を９倍にするため、まず、基準画像の全画素（１２画素）を、図３（ｂ）に斜線で示すように、３画素おきに配置する。

図４（ａ）は基準画像４０１を示し、図４（ｂ）は２枚目の合成対象画像（基準画像の次に合成される画像）である合成対象画像４０２を示す。図４（ａ）、（ｂ）において、斜線の部分に人物が存在するものとする。本来、超解像処理を行う場合、すべての合成対象画像において、同じ位置に同じ人物が存在することが好ましい。しかし、例えばＤＶＣ１００による撮像時に手ぶれが生じて、合成対象画像の画素全体が、基準画像からずれる場合もある。そこで、合成対象画像において、画像全体の輝度データと色差データの相関が高い位置を基準画像から検知し、移動量と移動方向を検出する。そして、この検出された移動量と移動方向に基づいて画像全体を逆方向にシフトさせ、被写体の動きを補償する。被写体の動きを補償するための移動量と移動方向を示すのが、図４（ｃ）に示す補償ベクトル４０３である。

図５を参照して、基準画像４０１に合成対象画像４０２を合成する様子を説明する。図５（ｂ）は、基準画像４０１に存在する人物の画素が３画素おきに配置された高解像度画像５０１を示す。高解像度画像５０１に、補償ベクトル４０３で人物を移動させた合成対象画像４０２を合成する。このとき、補償ベクトル４０３で人物を移動させたものをそのまま高解像度画像５０１に３画素おきに配置すると、高解像度画像５０１に既に配置されている基準画像４０１の画素と重なり、画素数の増加が期待できない。そこで、合成対象画像４０２を右に１／３画素移動させ、高解像度画像５０１においては右に１画素移動させた位置に人物の画素を配置する。その結果、図５（ｄ）に示す高解像度画像５０２が生成される。同様に、すべての合成対象画像について右に２／３画素、右に１／３画素かつ下に１／３画素、のように移動させたものを高解像度画像５０２に合成していくと、最終的に高解像度画像５０２のすべての画素が埋まり、画素数が９倍になった画像データが得られる。なお、図５に従うと高解像度画像５０２の右下の方は斜線で示されないが、実際には人物以外にも景色などが合成対象画像に含まれているため、図３（ｂ）に示す要領ですべての画素が埋まる。

なお、合成対象画像中の人物が急激に移動した場合などに、補償ベクトル４０３で合成対象画像４０２の変化を補償しても、合成対象画像４０２に含まれる人物が基準画像４０１に含まれる人物に重ならない場合もある。このような場合にも上述のような超解像処理を行うと、高解像度画像５０２において隣接する画素の相関が低下し、最終的に不自然な高解像度画像が生成されてしまう。そこで、合成対象画像を高解像度画像に合成する際は、合成対象画像の各画素について基準画像の各画素との相関を調べ、相関が所定の閾値よりも低い画素は、合成に使用しない。その結果、９枚の合成対象画像を合成しても、高解像度画像のすべての画素が埋まらない場合もある。

なお、合成対象画像の各画素と基準画像の各画素との相関が所定の閾値よりも低いか否かは、例えば、各画素の輝度や色差が所定の範囲に収まっているか否かを調べることにより、判定することができる。各画素の輝度や色差が所定の範囲に収まっていれば、合成対象画像の各画素と基準画像の各画素との相関は所定の閾値以上であるといえる。

図６は、９枚の合成対象画像から生成した高解像度画像６０１の一例を示す。高解像度画像６０１には、いくつかの抜け画素６０２が存在する場合がある。抜け画素６０２は、前述のように、合成対象画像と基準画像において画素間の相関が低かったために、超解像処理によって埋められなかった画素である。

高解像度画像６０１は画像データとして未完成である。そこで、抜け画素６０２は、補間処理によって補完され、最終的にすべての画素が埋められた高解像度画像が生成される。なお、補間処理には、例えば、ニアレストネイバ法、バイリニア法、バイキュービック法など、任意の周知のアルゴリズムを使用することができる。

なお、補間処理を行う前の抜け画素６０２の数を減らすために、最低限必要な枚数より多くの画像を合成対象画像としてもよい。例えば、１００枚の合成対象画像から高解像度画像を生成すれば、基準画像との相関が十分に高く、超解像処理に使用可能な画素を含む合成対象画像が多く存在しうる。その結果、より多くの合成対象画像ほど、抜け画素６０２の数が減少することが期待できる。

最低限必要な枚数より多くの画像を合成対象画像とすると、高解像度画像において、既に画素が存在する位置に重ねて画素が配置される場合がある。この場合、例えば既に存在する画素のデータをＰ、重ねる画素のデータをＱとし、（Ｐ×２＋Ｑ）／３という計算によって得られる値を重ねられた後の画素データとすることができる。このような計算が多く実行されると、Ｓ／Ｎ比が向上するという利点もある。なお、Ｐを２倍にするのは、画素データが急激に変化することを避けるために、既に存在する画素に重みを付けるためである。Ｐは、２倍に限らず、任意の倍率にしてよいし、重み付けをしなくてもよい。

＜超解像処理の流れ＞
図２は、ＤＶＣ１００が超解像処理を行い、複数の画像データから、より解像度の高い１の画像データを生成する処理の流れを示すフローチャートである。なお、本実施形態では、記憶媒体１０７に動画像データが記憶されているものとする。記憶媒体１０７に記憶されている動画像データは、ＤＶＣ１００によって撮像されたものでもよいし、ＰＣなどの他の装置からコピーされたものでもよい。

ステップＳ２００で、制御部１０２は、生成される高解像度画像を格納するための領域（以下、「高解像度領域」と呼ぶ）をメモリ１０５に確保する。高解像度領域は、具体的には図３（ｂ）に示すような領域である。ステップＳ２００ではまた、制御部１０２は、高解像度領域の各画素が埋められたか否かを示す情報を格納する領域（以下、「プロット情報領域」と呼ぶ）をメモリ１０５に確保する。図３（ｂ）を例に取れば、斜線で示される画素が既に埋められた画素であり、それ以外の画素がまだ埋められていない画素である。したがって、プロット情報領域は、生成しようとする高解像度画像の画素数分のビット数を持つ必要があり、例えば、値が０のビットをまだ埋められていない画素、値が１のビットを既に埋められた画素とする。

ステップＳ２０１で、操作部１０１は、ユーザからの指示に従い、基準画像を選択する。具体的には、例えば、ユーザが操作部１０１を操作して制御部１０２に動画像データの再生を指示すると、制御部１０２は記憶媒体１０７から動画像データを読み出してメモリ１０５に格納し、メモリ１０５に格納した動画像データを表示部１０６に表示する。ユーザが超解像処理を行いたい場面を見つけると、操作部１０１を操作して制御部１０２に動画像データの再生を一時停止するように指示し、フレーム画像をコマ送りすることにより１枚のフレーム画像（すなわち基準画像）を決定する。

ステップＳ２０２で、制御部１０２は、合成対象画像を選択し、選択した合成対象画像を合成する順序を決定する。超解像処理は、例えばＶＧＡサイズ（６４０×４８０＝約３０万画素）の画像の画素数を１６倍（６４０×４×４８０×４＝約５００万画素）にする場合、基準画像も含めて最低でも１６枚の画像を合成対象画像として必要とする。なお、画素数を何倍にするかは、ユーザが任意に決定することができるが、後述するように、メモリ１０５は倍率に応じたメモリ容量を必要とする。本実施形態では、画素数を１６倍にするものとして説明する。

制御部１０２は、合成対象画像として、１枚目は基準画像を、残りの１５枚は基準画像に続く１５枚のフレーム画像を選択する。また、合成対象画像を合成する順序は、基準画像から順に、時間軸正方向（古いフレーム画像から新しいフレーム画像へ）に従うように決定するものとする。

なお、動画像が時間的に終わりに近く、例えば合成対象画像が基準画像から後ろ１０枚しかなく、超解像処理に必要な枚数が５枚足りないような場合も考えられる。この場合、制御部１０２は合成対象画像として、基準画像から時間軸正方向の１０枚と時間軸逆方向の５枚を選択することができる。また、合成対象画像を合成する順序は、１枚目を基準画像とし、２枚目から１１枚目までは時間軸正方向とし、１２枚目から１６枚目までは基準画像から時間軸逆方向の５枚分を時間軸正方向に決定することができる。合成対象画像を合成する順序はこれに限られるものではなく、例えば１枚目を基準画像とし、２枚目以降は時間軸上で基準画像に近い順序としてもよい。すなわち、２枚目は基準画像の次のフレーム画像、３枚目は基準画像の前のフレーム画像、４枚目は基準画像から２つ先のフレーム画像、のようにしてもよい。また、合成対象画像を合成する順序は、時系列的に連続していなくてもよい。

なお、動画像データが短いなどの理由で合成対象画像を必要枚数（ここでは１６枚）選択できない場合、必要枚数未満の合成対象画像を元に超解像処理を行うこともできる。ただし、この場合は得られる画像データの画質があまり良くないことが見込まれるため、制御部１０２は、ユーザにフレーム画像の枚数が足りない旨の警告を、表示部１０６に表示するなどしてユーザに通知してもよい。また、合成対象画像を必要枚数選択できても、合成対象画像間の相関が低い場合も、画像データの画質があまり良くないことが見込まれるため、制御部１０２は同様の通知を行ってもよい。

ステップＳ２０３で、制御部１０２は、すべての合成対象画像を処理したか否かを判定する。すべての合成対象画像を処理した場合はステップＳ２０８に進み、そうでない場合はステップＳ２０４に進む。

ステップＳ２０４〜Ｓ２０７では、ステップＳ２０２で決定された順序に従って、１枚ずつ合成対象画像に対して以下に説明する処理がなされる。処理が行われる対象である合成対象画像を、ステップＳ２０４〜Ｓ２０７の説明において、処理対象画像と呼ぶ。

ステップＳ２０４で、制御部１０２は、前述した方法で目検出処理を行う。複数の人物が合成対象画像に含まれていれば、複数の目が検出される場合もあるし、瞬きをしているなどの理由で、目が１つも検出されない場合もある。

ステップＳ２０５で、制御部１０２は、位置合わせ処理を行う。位置合わせ処理とは、前述した図４の補償ベクトル４０３を求め、合成対象画像を補償ベクトル４０３に従って移動させる処理である。

ステップＳ２０６で、制御部１０２は、置き換え処理を行う。置き換え処理とは、ステップＳ２０４において目が検出された場合に、検出された目の位置に相当する基準画像の部分（基準領域）を、検出された目の画像で置き換える処理である。処理対象画像が基準画像である場合は、置き換えを行う必要はない。また、検出された目の位置に相当する基準画像の部分が、後述する置き換え禁止画素である場合は、置き換えは行われない。

これにより、基準画像においてある人物が目を閉じていたとしても、合成対象画像のいずれかにおいて目を開いていれば、開いた目が基準画像に上書きされる。

置き換え禁止画素は、基準画像において開いている目の領域や、基準画像において既に開いている目で置き換えられた領域が、他の合成対象画像において検出された目によって再度置き換えられることを防止するために設けられる。置き換え禁止画素の設定は、例えば、基準画像の画素数分の領域をメモリ１０５に確保し、基準画像の各画素に１ｂｉｔ割り当てることにより達成できる。その上で、例えば、割り当てられたビットの値が０の画素は置き換え禁止画素ではなく、１の画素は置き換え禁止画素であると定める。どの画素が置き換え禁止画素であるかを管理する情報を、置き換え禁止情報と呼ぶ。

置き換え処理が行われたり、基準画像において目が検出されたりした場合に、置き換えられた領域や、基準画像において検出された目の領域（大きさは、置き換え処理の場合に置き換えられる領域に等しい）に含まれる画素が、置き換え禁止画素になる。

図７は、ステップＳ２０６において置き換える領域である、目を含む領域を模式的に示す図である。置き換える領域は、少なくとも目を含んでいれば任意の領域でよいが、例えば、前述した円形分離度フィルターによって求められた目及びその左右に隣接するような形で同じ大きさで円を設け、この３つの円を囲む領域とすることができる。目は２つで一組であるため、実際には、図７に示す３つの円を囲む領域を２つ並べた領域が置き換える領域となる。なお、本発明は、例えば本来閉じていて欲しい人物の口など、人物の目に限らないあらゆる特徴的な領域を含む画像に対して適用することが可能である。この特徴的な領域を総称して、「特徴領域」とも呼ぶ。特徴領域は、あらかじめ設定された画像を含む領域であり、あらかじめ設定された画像とは、人物の開いた状態である目や、閉じた状態である口などである。「あらかじめ設定された画像」は、ＤＶＣ１００の設計時に設定されていてもよいし、図２に示すフローチャートの処理に先立ってユーザが設定可能なようにＤＶＣ１００が構成されていてもよい。

ステップＳ２０６ではまた、制御部１０２は、基準画像において置き換えられた目の領域に相当する高解像度領域の部分（高解像基準領域）を、まだ埋められていない画素に変更する。具体的には、プロット情報領域のうち、基準画像において置き換えられた目の領域に相当する部分のビットを０にする。これにより、目を閉じた状態で超解像処理が進められていた領域に関する情報が破棄され、高解像度画像において、閉じた目と開いた目が重なることを防止できる。制御部１０２が、高解像基準領域をまだ埋められていない画素に変更することは、換言すれば、高解像基準領域に配置されている画素を消去することであり、この処理は特許請求の範囲における消去手段を意味する。

ステップＳ２０７で、制御部１０２は、合成処理を行う。合成処理とは、前述したように、合成対象画像（ここでは処理対象画像）を、生成途中の高解像度画像に合成する処理である。すなわち、図５（ｂ）に示す高解像度画像５０１に、図５（ｃ）に示す合成対象画像４０２を合成して、図５（ｄ）に示す高解像度画像５０２を生成するような処理である。合成処理において、高解像度領域の所定の部分に新たに画素が配置されると、制御部１０２は、対応するプロット情報領域の値を０から１に変更する。また、既に埋められている画素に新たな画素を配置する場合は、前述のように、既に埋められている画素と新たな画素の平均を算出するなどして、算出結果を実際に配置する新たな画素とする。次いで、ステップＳ２０３に戻る。

ステップＳ２０８で、制御部１０２は、高解像度領域においてまだ埋められていない画素を補間する処理を行う。ステップＳ２０８における処理は、図６を参照して説明した、抜け画素６０２を補間する処理と同様である。

ステップＳ２０９で、制御部１０２は、高解像度領域から高解像度画像を取得し、表示部１０６や記憶媒体１０７などに出力する。

以上の処理により、超解像度処理が完了する。

図８は、ステップＳ２０４〜Ｓ２０７における処理を模式的に示す図である。高解像度画像（１）〜（３）は、実際には基準画像の１６倍（縦４倍×横４倍）の大きさであり、まだ埋められていない画素が含まれることに注意されたい。図８において、基準画像（１）と処理対象画像（１）は同一である。基準画像（１）において人物Ｂの目が検出されているため、人物Ｂの目の領域に含まれる画素は置き換え禁止画素に設定される。

処理対象画像（２）では、人物Ａは目を閉じており、人物Ｂも目を半分閉じているため、目が検出されていない。そこで、置き換え処理は行われることなく、合成処理のみが行われる。また、基準画像（２）は基準画像（１）から変化しない。その結果、高解像度画像（２）が高解像度領域中に生成される。高解像度画像（２）では、高解像度画像（１）に比べて、より多くの画素が埋められている。

処理対象画像（３）では、人物Ａが目を開いているため、人物Ａの目が検出される。そこで、基準画像（３）では、人物Ａの目の部分が処理対象画像（３）で検出された人物Ａの目の部分に置き換えられ、置き換えられた部分は置き換え禁止画素に設定される。また、高解像度画像（３）において、人物Ａの目の部分に相当する領域のデータは一度破棄され、処理対象画像（３）において検出された目の部分が新たに配置される。

このような処理が、すべての合成対象画像について行われる。

＜必要なメモリ容量＞
図９は、超解像処理に必要なメモリ容量を示す図である。本実施形態では、ＶＧＡサイズの画像を１６倍の画素数にするため、画像データ中の輝度データを８ｂｉｔ、色差データを８ｂｉｔとすると、以下に示すメモリ容量が必要である。

処理対象画像領域９０１は、合成対象画像から処理対象として選択された１枚の画像を格納するため、６４０×４８０×１６ビット必要である。

置き換え禁止画素領域９０２は、基準画像の画素数分の容量が必要であるため、６４０×４８０ビット必要である。

基準画像領域９０３は、処理対象画像領域９０１と同様、６４０×４８０×１６ビット必要である。

プロット情報領域９０４は、高解像度画像の画素数分の容量が必要であるため、６４０×４８０×１６ビット必要である。

高解像度領域９０５は、合成対象画像の１６倍の容量が必要であるため、６４０×４８０×１６×１６ビット必要である。

＜第１の実施形態のまとめ＞
以上説明したように、本実施形態によれば、ＤＶＣ１００は超解像処理を行う過程で、基準画像に存在しない目を合成対象画像において新たに検出すると、検出した目で基準画像の一部を置き換える。また、検出した目で基準画像の一部を置き換えた場合、ＤＶＣ１００は、高解像度画像において対応する領域のデータを破棄し、検出した目に対応するデータを新たに配置する。

これにより、基準画像において人物が目を閉じていた場合でも、合成対象画像のいずれかにおいて目を開いていれば、超解像処理の結果として、その人物が目を開いている高解像度画像が得られる。したがって、超解像処理において生成される高解像度画像に含まれる人物の目が開いている可能性を高めることが可能となる。

［第２の実施形態］
第１の実施形態では、合成対象画像の枚数を必要最低限の枚数として超解像処理を行った。この場合、高解像度画像領域に、図６に抜け画素６０２として示したような埋められていない画素が多く発生する可能性があり、ステップＳ２０８における補間処理で補間しなければならない。ステップＳ２０８における補間処理によって画素数を向上させると、ステップＳ２０７における合成処理によって画素数を向上させる場合に比べて、得られる高解像度画像の画質が低い傾向にある。

そこで、第２の実施形態では、埋められていない画素を極力減らすような変形例をいくつか説明する。本実施形態において説明するそれぞれの変形例は、組み合わせて実施することも可能である。

なお、本実施形態において、ＤＶＣ１００の構成は第１の実施形態と同様であるため、その説明を省略する。

＜変形例１：合成対象画像の枚数を設定＞
図１０は、第２の実施形態における、変形例１としての超解像処理の流れを示すフローチャートである。図１０において、図２と同一の処理を行うステップには同一の符号を付し、説明を省略する。

ステップＳ１００１で、制御部１０２は、操作部１０１からのユーザによる指示に従い、合成対象画像として使用する画像の枚数を設定する。

これにより、例えば画素数を１６倍にしたい場合に、１７枚以上の画像を合成対象画像として使用することが可能となり、ステップＳ２０８において補間処理を行う直前において埋められていない画素が減少することが期待される。

また、第１の実施形態で説明したように、既に埋められている画素に新たな画素が配置される場合が発生しうるため、高解像度画像のＳ／Ｎ比が向上することも期待される。

＜変形例２：目標プロット数を設定＞
図１１は、第２の実施形態における、変形例２としての超解像処理の流れを示すフローチャートである。図１１において、図２と同一の処理を行うステップには同一の符号を付し、説明を省略する。

ステップＳ１１０１で、制御部１０２は、操作部１０１からのユーザによる指示に従い、目標プロット数（「配置目標量」とも呼ぶ）を設定する。目標プロット数とは、高解像度領域において埋められている画素の数の目標であり、実際には数ではなく割合で設定することが好ましい。

ステップＳ１１０２で、制御部１０２は、高解像度領域において埋められている画素の数が目標プロット数を超えているか否かを判定する。実際には、例えば、図６に抜け画素６０２として示した、埋められていない画素の割合が、例えば全画素の１０％以下になったか否かというようなことを判定する。判定の結果、高解像度領域において埋められている画素の数が目標プロット数を超えていれば、すべての合成対象画像を処理していなくてもステップＳ２０８に進む。

変形例２は、変形例１と組み合わせて実施し、合成対象画像として使用する画像の枚数を多めに設定しておくと効果的である。これにより、高解像度画像の画質がある程度高くなることが見込めれば、合成対象画像の処理が中止されるため、処理時間を短縮することが可能となる。

＜変形例３：キャンセル指示の受け付け＞
図１２は、第２の実施形態における、変形例３としての超解像処理の流れを示すフローチャートである。図１２において、図２及び図１１と同一の処理を行うステップには同一の符号を付し、説明を省略する。

ステップＳ１２０１で、制御部１０２は、操作部１０１を介してユーザから処理のキャンセル指示を受けたか否かを判定する。処理のキャンセル指示を受けた場合は、すべての合成対象画像を処理していなくても、また、高解像度領域の画素が目標プロット数に達していなくても、ステップＳ２０８に進む。

これにより、ユーザは、自己の判断により、合成対象画像の合成がある程度進んだ任意の時点で高解像度画像を得ることが可能となり、高解像度画像の画質と処理時間とを柔軟に調整することが可能となる。

＜変形例４：処理時間の設定＞
図１３は、第２の実施形態における、変形例４としての超解像処理の流れを示すフローチャートである。図１３において、図２及び図１１と同一の処理を行うステップには同一の符号を付し、説明を省略する。

ステップＳ１３０１で、制御部１０２は、操作部１０１からのユーザによる指示に従い、目標プロット数と、処理時間を設定する。

ステップＳ１３０２で、制御部１０２は、設定された処理時間が経過したか否かを判定する。経過していれば、すべての合成対象画像を処理していなくても、また、高解像度領域の画素が目標プロット数に達していなくても、ステップＳ２０８に進む。

これにより、高解像度画像の画質をある程度向上させる一方で、超解像処理にかかる時間が長くなりすぎることを防止することが可能となる。

＜第２の実施形態のまとめ＞
以上説明したように、本実施形態によれば、ＤＶＣ１００による超解像処理において、得られる高解像度画像の画質や処理に要する時間などをユーザが柔軟に定めることが可能となる。

［その他の実施形態］
上述した各実施形態では、目検出を行って、人物の目が開いている可能性の高い高解像度画像を得た。しかし、本発明は、目以外にも適用することが可能である。例えば、人物が会話をしているために本来閉じていて欲しい口が開いているような場合にも適用可能であり、生成される画像データに含まれる人物の口が閉じている可能性を高めることができる。口の状態の検出方法は、例えば特開２０００−２５９８３３号公報に記載の方法を使用できる。その上で、ＤＶＣ１００に「口検出部」を設ければよい。

また、上述した各実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

本発明を適用した画像処理装置の一例である、ＤＶＣ１００の構成を示す機能ブロック図である。 ＤＶＣ１００が超解像処理を行い、複数の画像データから、より解像度の高い１の画像データを生成する処理の流れを示すフローチャートである。 合成対象画像から高解像度画像を生成する様子を概略的に示す図である。 合成対象画像から高解像度画像を生成する様子を概略的に示す図である。 合成対象画像から高解像度画像を生成する様子を概略的に示す図である。 合成対象画像から高解像度画像を生成する様子を概略的に示す図である。 ステップＳ２０６において置き換える領域である、目を含む領域を模式的に示す図である。 ステップＳ２０６及びＳ２０７における処理を模式的に示す図である。 超解像処理に必要なメモリ容量を示す図である。 第２の実施形態における、変形例１としての超解像処理の流れを示すフローチャートである。 第２の実施形態における、変形例２としての超解像処理の流れを示すフローチャートである。 第２の実施形態における、変形例３としての超解像処理の流れを示すフローチャートである。 第２の実施形態における、変形例４としての超解像処理の流れを示すフローチャートである。

符号の説明

１００ ＤＶＣ
１０２ 制御部
１０３ 目検出部
１０４ 画像処理部
１０５ メモリ

Claims (17)

1. 複数の合成対象画像を合成して、前記合成対象画像よりも画素数の多い高解像度画像を生成する画像処理装置であって、
   前記複数の合成対象画像の１つである基準画像において、あらかじめ設定された画像を含む特徴領域を検出する第１の検出手段と、
   前記高解像度画像を生成する過程のデータを格納する記憶領域である高解像度領域に、前記基準画像の各画素を配置する第１の画素配置手段と、
   前記複数の合成対象画像のうち、前記基準画像以外の１つを処理対象画像とし、該処理対象画像において前記あらかじめ設定された画像を含む特徴領域を検出する第２の検出手段と、
   前記第２の検出手段により検出された特徴領域に対応する前記基準画像の基準領域に、前記あらかじめ設定された画像が含まれるか否かを判定する判定手段と、
   前記判定手段による判定の結果、前記あらかじめ設定された画像が含まれない場合に、前記基準領域を前記第２の検出手段により検出された特徴領域により置き換える置き換え手段と、
   前記置き換え手段による置き換えが行われた場合に、前記高解像度領域における、前記基準領域に対応する高解像基準領域に配置されている画素を消去する消去手段と、
   前記複数の合成処理対象画像の各々の画素を、前記高解像度領域中に配置する第２の画素配置手段と、
   前記高解像度領域において、前記第２の画素配置手段により配置されなかった画素を、配置済みの画素から生成して配置して、高解像度画像を生成する第３の画素配置手段と、
   を備えることを特徴とする画像処理装置。
2. 前記基準画像に含まれる各画素について、前記置き換え手段によって、当該各画素を、前記処理対象画像に含まれる画素で置き換えることを禁止するか否かを示す置き換え禁止情報をさらに備え、
   前記置き換え手段は、前記基準領域を前記特徴領域により置き換える際に、置き換えられた前記基準領域に含まれる画素に対応する前記置き換え禁止情報を、置き換えを禁止することを示すように設定し、
   前記判定手段は、前記置き換え禁止情報を参照し、前記基準領域に含まれる画素の中に、置き換えを禁止された画素が存在しない場合に、前記基準画像に前記あらかじめ設定された画像が含まれないと判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の検出手段手段は、前記基準領域に含まれる画素に対応する前記置き換え禁止情報を、置き換えを禁止することを示すように設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記置き換え禁止情報は、前記基準画像の画素数分のデータにより構成されることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記高解像度領域において前記高解像度画像に含まれるべき各画素が配置されているか否かを示すプロット情報をさらに備え、
   前記消去手段は、前記高解像基準領域に対応する画素が配置されていないと示すように前記プロット情報を設定することにより、前記高解像基準領域に配置されている画素を消去する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記プロット情報は、前記高解像度画像の画素数分のデータにより構成されることを特徴とする請求項５に記載の画像処理装置。
7. 前記複数の合成対象画像は、動画像データに含まれるフレーム画像から選択されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記複数の合成対象画像の数を、外部からの指示に従って設定する合成対象画像数設定手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記高解像領域に配置されている画素の配置目標量を、外部からの指示に従って設定する配置目標量設定手段をさらに備え、
   前記第２の画素配置手段は、前記高解像領域に配置されている画素が前記配置目標量以上であれば前記合成対象画像の合成を終了することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記合成対象画像の合成をキャンセルするキャンセル指示を外部から受け付けるキャンセル指示受付手段をさらに備え、
    前記第２の画素配置手段は、前記キャンセル指示を受けると前記合成対象画像の合成を終了することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記合成対象画像の合成を行う時間の上限を示す処理時間を、外部からの指示に従って設定する処理時間設定手段をさらに備え、
    前記第２の画素配置手段は、前記合成を開始してから前記処理時間が経過すると、前記合成対象画像の合成を終了することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記あらかじめ設定された画像とは、開いた状態である人物の目を示す画像であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記あらかじめ設定された画像とは、閉じた状態である人物の口を示す画像であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
14. 前記処理対象画像の各々について、前記基準画像に対する移動量及び移動方向を動き情報として算出する算出手段と、
    前記複数の処理対象画像の各々を、前記動き情報を用いて前記基準画像と位置合わせする位置合わせ手段と、
    をさらに備え、
    前記第２の検出手段、前記判定手段、及び、前記第２の画素配置手段はそれぞれ、前記位置合わせ手段により位置合わせされた処理対象画像に対して、前記検出、前記判定、及び、前記配置を行うことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 複数の合成対象画像を合成して、前記合成対象画像よりも画素数の多い高解像度画像を生成する画像処理方法であって、
    前記複数の合成対象画像の１つである基準画像において、あらかじめ設定された画像を含む特徴領域を検出する第１の検出工程と、
    前記高解像度画像を生成する過程のデータを格納する記憶領域である高解像度領域に、前記基準画像の各画素を配置する第１の画素配置工程と、
    前記複数の合成対象画像のうち、前記基準画像以外の１つを処理対象画像とし、該処理対象画像において前記あらかじめ設定された画像を含む特徴領域を検出する第２の検出工程と、
    前記第２の検出工程により検出された特徴領域に対応する前記基準画像の基準領域に、前記あらかじめ設定された画像が含まれるか否かを判定する判定工程と、
    前記判定工程による判定の結果、前記あらかじめ設定された画像が含まれない場合に、前記基準領域を前記第２の検出工程により検出された特徴領域により置き換える置き換え工程と、
    前記置き換え工程による置き換えが行われた場合に、前記高解像度領域における、前記基準領域に対応する高解像基準領域に配置されている画素を消去する消去工程と、
    前記複数の合成処理対象画像の各々の画素を、前記高解像度領域中に配置する第２の画素配置工程と、
    前記高解像度領域において、前記第２の画素配置工程により配置されなかった画素を、配置済みの画素から生成して配置して、高解像度画像を生成する第３の画素配置工程と、
    を備えることを特徴とする画像処理方法。
16. 複数の合成対象画像を合成して、前記合成対象画像よりも画素数の多い高解像度画像を生成する画像処理方法をコンピュータに実行させるプログラムであって、前記画像処理方法は、
    前記複数の合成対象画像の１つである基準画像において、あらかじめ設定された画像を含む特徴領域を検出する第１の検出工程と、
    前記高解像度画像を生成する過程のデータを格納する記憶領域である高解像度領域に、前記基準画像の各画素を配置する第１の画素配置工程と、
    前記複数の合成対象画像のうち、前記基準画像以外の１つを処理対象画像とし、該処理対象画像において前記あらかじめ設定された画像を含む特徴領域を検出する第２の検出工程と、
    前記第２の検出工程により検出された特徴領域に対応する前記基準画像の基準領域に、前記あらかじめ設定された画像が含まれるか否かを判定する判定工程と、
    前記判定工程による判定の結果、前記あらかじめ設定された画像が含まれない場合に、前記基準領域を前記第２の検出工程により検出された特徴領域により置き換える置き換え工程と、
    前記置き換え工程による置き換えが行われた場合に、前記高解像度領域における、前記基準領域に対応する高解像基準領域に配置されている画素を消去する消去工程と、
    前記複数の合成処理対象画像の各々の画素を、前記高解像度領域中に配置する第２の画素配置工程と、
    前記高解像度領域において、前記第２の画素配置工程により配置されなかった画素を、配置済みの画素から生成して配置して、高解像度画像を生成する第３の画素配置工程と、
    を備えることを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータ読み取り可能な記憶媒体。

Images