JP2009009404A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】注目する被写体について、より精度のよい高解像度の画像を生成できるようにすること。
【解決手段】画像処理装置は、複数枚の解像度の低い画像から注目被写体を認識する被写体検出装置１と、上記複数枚の画像について、上記画像の画像信号を用いて、上記被写体検出装置１によって認識された注目被写体が望ましい状態で撮影されているかの評価を行う被写体評価装置２と、上記被写体評価装置２によって、望ましい状態で撮影されているという高い評価を得た画像を用いて解像度の高い画像を生成する高解像度化装置３と、を備える。
【選択図】図１

Description

本発明は、顔などの動きのある被写体を撮像する場合に、複数枚の画像を用いてより高解像度の画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

特許文献１には、高画質な静止画と連続して撮像される低画質の動画とを同時に撮影することができ、動画撮影に影響を及ぼさずに、表情などの情報を用いて、シヤッタチャンスを逃さずに高精細な静止画を撮像する手法が開示されている。しかし、動画像撮像装置と静止画像撮像装置を含むのは、コストがかさみ、カメラの大型化にも繋がる。

そこで、特許文献２では、撮像装置により複数枚のフレーム画像を取得した場合に、フレーム間の相対的なずれを検出し、そのずれ情報を用いてより高解像度の画像を取得する手法を提案している。また、特許文献３では、撮像条件の悪いときに連写撮影に切り替え、複数枚のフレーム画像から低ノイズで高画質な画像を取得することを提案しており、更に特許文献４では、撮像条件の悪いときに画素混合撮影に切り替え、撮影画像の感度を撮影状況に応じて変化させることで、低ノイズで高画質な画像を取得することを提案している。

一方、特許文献５には、顔領域と顔器官中心の位置関係によって顔の方向を推定する手法や、視線方向を推定する方法が開示されている。

また、特許文献６には、被写体の表情を識別する手法が開示され、被写体が望ましいと思われる表情及びポーズになったときに撮影することが提案されている。
特開２００７−３６５８６号公報 特許第２８２８１３８号公報 特開２００７−１３２６９号公報 特開２００７−１３２７０号公報 特開２００７−６４２７号公報 特開２００４−２９４４９８号公報

しかしながら、上記特許文献２乃至４に開示されているような技術を顔などの特定の動きのある被写体の撮影に適用することを考えたときに、顔が正対していない、視線が動く、目をつぶる、表情が適切でない、等の適切でない画像が含まれると、精度のよい画像が得られないことが考えられる。

本発明は、上記の点に鑑みてなされたもので、注目する被写体について、より精度のよい高解像度の画像を生成することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置の一態様は、解像度の低い画像から解像度の高い画像を生成する画像処理装置において、
複数枚の画像から注目被写体を認識する被写体認識手段と、
上記複数枚の画像について、上記画像の画像信号を用いて、上記被写体認識手段によって認識された上記注目被写体が望ましい状態で撮影されているかの評価を行う被写体評価手段と、
上記被写体評価手段によって、望ましい状態で撮影されているという高い評価を得た画像を用いて解像度の高い画像を生成する高解像度化手段と、
を具備することを特徴とする。

また、本発明の画像処理方法の一態様は、
複数枚の解像度の低い画像から注目被写体を認識し、
上記複数枚の解像度の低い画像について、上記画像の画像信号を用いて、上記認識された注目被写体が望ましい状態で撮影されているかの評価を行い、
上記複数枚の解像度の低い画像の内、上記評価によって望ましい状態で撮影されているという高い評価を得たものを用いて、解像度の高い画像を生成する、
ことを特徴とする。

また、本発明の画像処理プログラムの一態様は、電子的に記録された複数枚の解像度の低い画像から解像度の高い画像を生成する画像処理プログラムであって、
コンピュータに、
複数枚の解像度の低い画像から注目被写体を認識する手順と、
上記複数枚の解像度の低い画像について、上記画像の画像信号を用いて、上記認識した注目被写体が望ましい状態で撮影されているかの評価を行う手順と、
上記複数枚の解像度の低い画像の内、上記評価によって望ましい状態で撮影されているという高い評価を得たものを用いて、解像度の高い画像を生成する手順と、
を実行させるためのものである。

本発明によれば、注目する被写体について、より精度のよい高解像度の画像を生成することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置の構成を示す図で、該画像処理装置は、被写体検出装置１、被写体評価装置２、及び高解像度化装置３より構成される。

ここで、被写体検出装置１は、図示しない撮像装置（カメラ）により取得した複数枚のフレーム画像１０から特定の被写体を検出するものである。

また、被写体評価装置２は、上記被写体検出装置１で検出した特定の被写体が適切な状態であるか評価するものである。この被写体評価装置２は、例えば上記特定の被写体を顔とした場合、顔が撮影装置の方を向いているかを評価する正対評価部２Ａ、視線が適切であるか評価する視線評価部２Ｂ、及び表情が適切であるか評価する表情評価部２Ｃを含む。

そして、高解像度化装置３は、上記被写体評価装置２によって適切であると評価された画像を複数枚用意し、それらを用いて高解像度画像１１を得るものである。この高解像度化装置３は、複数枚の画像の画像信号を用いて各画像（フレーム）におけるフレーム間の動き推定を行うモーション推定部３Ａ及び上記特許文献２（特許第２８２８１３８号公報）に開示されているような複数枚の位置ずれを持つ低解像度画像を用いて高解像度画像を生成する超解像処理を実施する超解像処理部３Ｂを含む。

次に、このような構成の画像処理装置の動作を説明する。
図２（Ａ）は、本画像処理装置の動作フローチャートであり、まず、撮像装置により複数枚のフレーム画像１０を取得した際に、被写体検出装置１によって特定の被写体を検出する「被写体認識処理」を実行する（ステップＳ１）。次に、その「被写体認識処理」によって検出された上記特定の被写体が適切な状態であるかを被写体評価装置２によって評価する「被写体評価処理」を実施する（ステップＳ２）。そして、その「被写体評価処理」によって適切であると評価された画像を複数枚用意し、高解像度化装置３によって高解像度な画像を得る「高解像度化処理」を実施する（ステップＳ３）。

このように、本第１実施形態に係る画像処理装置では、高解像度化処理に、被写体評価装置２による「被写体評価処理」を加えることで、顔などの動きのある被写体を撮像する場合に、高解像度化処理で用いる画像として適切なものを判断するようにし、それら適切と判断された画像を用いることで精度のよい高解像度の画像を得られるようにしたものである。

以下、上記特定の被写体が顔である場合について、更に詳細に説明する。
この場合、被写体検出装置１で検出される被写体は顔であり、上記ステップＳ１の「被写体検出処理」では、被写体検出装置１によって複数枚フレーム画像１０から顔の部分を抽出する。そして、次のステップＳ２における被写体評価装置２による「被写体評価処理」では、図３（Ａ）のフローチャートに示すようにして、各フレーム画像１０について被写体を評価する。

即ち、まず、正対評価部２Ａによって、当該フレーム画像１０において顔が撮影装置の方を向いているかを評価する「正対評価処理」を実施する（ステップＳ１１）。この「正対評価処理」の詳細については後述する。そして、この「正対評価処理」による合否結果が合格でなければ（ステップＳ１２）、当該フレーム画像は、被写体評価不合格と決定する（ステップＳ１３）。

これに対して、上記「正対評価処理」による合否結果が合格である場合には（ステップＳ１２）、更に、視線評価部２Ｂによって、当該フレーム画像１０において視線が適切であるかを評価する「視線評価処理」を実施する（ステップＳ１４）。この「視線評価処理」の詳細については後述する。そして、この「視線評価処理」による合否結果が合格でなければ（ステップＳ１５）、当該フレーム画像は、被写体評価不合格と決定する（ステップＳ１３）。

これに対して、上記「視線評価処理」による合否結果が合格である場合には（ステップＳ１５）、更に、表情評価部２Ｃによって、当該フレーム画像１０において表情が適切であるか評価する「表情評価処理」を実施する（ステップＳ１６）。この「表情評価処理」の詳細については後述する。そして、この「表情評価処理」による合否結果が合格でなければ（ステップＳ１７）、当該フレーム画像は、被写体評価不合格と決定する（ステップＳ１３）。

これに対して、上記「表情評価処理」による合否結果が合格である場合には（ステップＳ１７）、即ち、上記３つの評価で合格した場合には、当該フレーム画像１０を最終的に被写体評価合格と決定して、高解像度化処理に用いることとなる。

次に、上記ステップＳ１１での「正対評価処理」について説明する。
この「正対評価処理」に関しては、例えば、上記特許文献５（特開２００７−６４２７号公報）に開示された顔器官中心位置検出処理により、顔の向きを推定する。それにより、顔の向きが正対しているフレーム画像１０を選抜することができる。

以下、上記特許文献５で提案されている、顔の向きの計算方法を説明する。これは、上記被写体検出装置１で検出した顔を含むフレーム画像１０から顔方向を計測し、そこから顔方向情報を算出するものである。

図３（Ｂ）は、この「正対評価処理」のフローチャートを示す図である。
即ち、まず、上記被写体検出装置１で検出されたフレーム画像１０中の顔と思われる部分の画像（顔画像）を取得し（ステップＳ１１１）、次に、該取得した顔画像に対して差分背景や肌色領域抽出によって、顔領域１２をより正確に検出する（ステップＳ１１２）。なお、顔領域１２とは、図３（Ｃ）において頭部に外接する四角形の領域のことである。

次に、この検出した顔領域１２より、その中心（顔領域中心１３）を検出し（ステップＳ１１３）、更に、眉、目尻、鼻などの顔器官の位置を検出することにより顔器官中心位置１４を決定する（ステップＳ１１４）。ここで、図３（Ｃ）に示すように、上記顔領域中心位置１３は顔領域１２の中心の位置のことであり、上記顔器官中心位置１４は両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置のことである。

そして、これら検出した顔領域中心位置１３と顔器官中心位置１４とから、顔方向を計算する（ステップＳ１１５）。

即ち、まず、水平方向の顔方向を計算する。ここで、顔方向は、図４の顔楕円モデルを基に計算される。図４は水平方向右向きΦ_ｆａｃｅを向いたときの頭を真上から見下ろしたものである。

なお、撮影装置１５に対する水平方向の角度Φ、撮影装置１５に対する垂直方向の角度Ψ、及び撮影装置１５に対する向きθの関係は、図５に示す通りである。

撮影装置１５に対する水平方向の顔角度Φ_ｆａｃｅは、以下の数１によって算出される。なお、ｋは楕円比であり、上記特許文献５では楕円比ｋ＝１．２５としてある。

また、撮影装置１５に対する垂直方向の顔角度Ψ_ｆａｃｅの推定に関しては、既存の方法を用いる。

そして、水平方向の顔角度Φ_ｆａｃｅと垂直方向の顔角度Ψ_ｆａｃｅから、顔が撮影装置１５の方向を向いているかを計算する。顔の向きと撮影装置１５の向きの角度をθ_ｆａｃｅとすると、θ_ｆａｃｅは次の数２で表される。

こうして顔方向が計算されたならば、被写体である顔が撮影装置１５に正対しているかを、その計算結果に基づいて判定する「合否判定処理」を実施する（ステップＳ１１６）。ここで、θ_ｆａｃｅ≦３０°のときに、被写体である顔は撮影装置１５に正対していると判断し、正対評価を合格とする。

次に、上記正対評価で合格したフレーム画像１０に対して上記ステップＳ１４で実施する「視線評価処理」について説明する。
この「視線評価処理」も、上記特許文献５に開示された手法に基づいて行うもので、上記「正対評価処理」で算出した値も用いる。図６は、この「視線評価処理」のフローチャートを示す図である。

即ち、まず、上記正対評価で合格したフレーム画像１０から顔画像を取得し（ステップＳ１４１）、その顔画像から瞳を検出する（ステップＳ１４２）。ここで、瞳が検出できなければ（ステップＳ１４３）、視線方向の特定は失敗と判定する（ステップＳ１４４）。

これに対して、瞳が検出できている場合には（ステップＳ１４３）、目の領域を検出する（ステップＳ１４５）。そして、両目とも検出されたか、片目だけ検出されたか、両目とも検出されなかったかを判別する（ステップＳ１４６）。即ち、両目が検出されたのであれば（ステップＳ１４６）、両目の視線方向を計算し（ステップＳ１４７）、両目の視線方向を重み付けて足し合わせて（ステップＳ１４８）、視線方向を決定する（ステップＳ１４９）。また、片目のみ検出されたのであれば（ステップＳ１４６）、その片目の視線方向を計算し（ステップＳ１４１０）、それによって視線方向を決定する（ステップＳ１４９）。なお、両目とも検出されなかったのであれば（ステップＳ１４６）、視線方向の検出は失敗となる（ステップＳ１４４）。

ただし、この「視線評価処理」自体は、上記ステップＳ１１での「正対評価処理」に合格したフレーム画像１０のみ用いるものであり、従って、顔がきちんと撮影装置１５に正対していると判断されているとすれば、上記ステップＳ１４６で片目のみ検出されたと判断されることは考えにくい。そのため、上記ステップＳ１４６で片目のみ検出されているものも、視線評価を失敗としてしまっても良い。

ここで、上記ステップＳ１４７及びステップＳ１４１０で行われる視線方向計算の具体的な方法を、図７の眼球モデルに基づいて説明する。

眼球は皮膚に覆われているため、実際にフレーム画像１０中に現れるのは、図７における弧Ｅ_１’Ｅ_２’であり、これは角膜部分を表す。また、図７において、Ｏ_ｅｙｅ，Ｉがそれぞれ画像中での目の中心、瞳の中心を表し、Ｏ_ｅｙｅ’は実際の眼球の中心を現している。Φ_ｆａｃｅは上記「正対評価処理」で計算したときの顔方向の角度、Φ_ｅｙｅが視線方向の角度、Ｗ_ｅｙｅは画像中における目領域の幅、Ｃ_ｅｙｅはフレーム画像１０中での眼球中心位置と瞳中心位置の長さとする。

このとき、視線方向Φ_ｅｙｅは、以下の数３で表せられる。ただし、αは眼球の隠れ部分の角度であり、規定値である。

また、両目とも検出できた場合には、それぞれの目についてこの視線方向が検出される。そこで、両目とも検出できた場合には、上記ステップＳ１４８において両目の視線方向に重み付けを行って足し合わせることで、最終的な視線方向を決定する。

この重みは、顔方向によって決定される。顔が右を向いている場合は、右目は画像中に殆ど見られないため、左目の重みを重くする。また、顔が正面を向いているときは、視線方向は両目の平均とする。ただし、この手法を本実施形態に係る画像処理装置に適用するに当たっては、上記「正対評価処理」で合格したもののみ該「視線評価処理」を実施するため、両目の平均としてしまっても良い。

また、両目の視線方向の決定は、垂直方向、水平方向それぞれに関して別々に行う。

ここで、撮影装置１５に視線があっているもののみ抽出したいため、垂直方向、水平方向ともに、±５°以内に入っているもののみ合格とする。

このようにして正対評価及び視線評価が合格したフレーム画像１０に対し、上記ステップＳ１６の「表情評価処理」を実施する。この「表情評価処理」の手法としては、例えば上記特許文献６（特開２００４−２９４４９８号公報）に、Ｓｎａｋｅｓ法を用いた形状抽出法を用いて、顔の輪郭、目、口の形状から表情を判定する手法が開示されている。本実施形態においても、その手法により表情を判定するものとする。

なお、どのような表情を用いるかは写真の用途によって異なるが、記念写真では笑顔、証明写真用であれば無表情なものと判断された画像を合格とする。

以上のようにして、被写体評価装置２によって、複数枚のフレーム画像１０の中から超解像に用いるのに適切だと判断されたフレーム画像１０を全て用いて、高解像度化装置３によって、元画像よりも高解像度の画像を作成することができる。この高解像度化の手法は、例えば上記特許文献３（特開２００７−１３２６９号公報）に開示されており、本実施形態においても、それに基づいて行う。

以下、この高解像度化の手順を説明する。
高解像度化装置３で行われる高画質化の処理は、具体的には、モーション推定部３Ａでの動き推定の処理と、超解像処理部３Ｂでの加算平均の処理の手順を含む。これらを図８乃至図１２を参照して説明する。

高解像度化装置３におけるモーション推定部３Ａは、上記被写体評価装置２によって合格となった複数枚のフレーム画像１０の画像信号を用いて、各画像（フレーム）におけるフレーム間の動き推定を行う。図８は、このモーション推定部３Ａでの動き推定の処理手順の一例を示す図である。

即ち、まず、動き推定の基準となるフレーム画像１０（以下、基準画像と称する）を１枚読み込む（ステップＳ３１）。そして、その基準画像を複数の動きで変形させる（ステップＳ３２）
次に、基準画像間の動き推定を行うフレーム画像１０（以下、参照画像と称する）を１枚読み込む（ステップＳ３３）。そして、上記基準画像を複数変形させたそれぞれの画像列と該参照画像との間の類似度値を算出し（ステップＳ３４）、変形させた動きのパラメータと算出した類似度値との関係を用いて、図９に示すような離散的な類似度マップを作成する（ステップＳ３５）。

その後、このステップＳ３５で作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める（ステップＳ３６）。ここで、極値で定められる変形の動きが動き推定値となる。なお、類似度マップの極値の探索法には、例えば、パラボラフィッティング、スプライン補間法、等がある。

続いて、全ての参照画像において動き推定を行ったか否かを判定する（ステップＳ３７）。この結果、全ての参照画像において動き推定を行っていない場合には、参照画像のフレーム番号を１つ増加させて（ステップＳ３８）、上述のステップＳ３３へ戻る。これにより、全ての参照画像において動き推定を行うまで、ステップＳ３３乃至ステップＳ３８の処理が繰り返し行われることとなる。

そして、対象となる全ての参照画像に対して動き推定が行われたと判定されると（ステップＳ３７）、当該動き推定の処理を終了する。

次に、動き推定をパラボラフッティングで行う具体的方法の一例を図９を参照して説明する。図９において、縦軸は二乗偏差を表し、横軸は変形モーションパラメータを示している。この図において、縦軸の二乗偏差の値が小さいほど類似度が高いといえる。

ここで、上記ステップＳ３２における基準画像の複数変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（なお、２７通り中８通りは同じ変形パターン）に変形させる。また、上記ステップＳ３５では、図９に示した横軸のモーションパラメータを水平方向，垂直方向，回転方向の組み合わせであると考えると、負の方から（−１，＋１，−１）、（−１，＋１，０）、（−１，＋１，＋１）の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から（−１），（０），（＋１）となり、水平方向，垂直方向，回転方向について別々にプロットする。

図１０は、参照画像における基準画像への近似を示している。各参照画像は、動き推定値を符号反転した値であり、画像変形することにより基準画像に近似する。

その後、超解像処理部３Ｂにおいて、加重平均処理を行うことで高解像度画像１１を得る。ここで、図１１に示す加算平均法を用いる場合は、基準画像と近似した全画像における各対応画素を全フレーム分、一度に加算平均した値を新画素値として高解像度画像１１を生成する。一方、図１２に示す加算平均法を用いる場合は、基準画像と近似した全画像における各対応画素位置をフレーム間ずつに加算平均した値を新画素値として加算平均画像を生成する。なお、図１１に示す加算平均手法は、図１２に示す加算平均手法に比べ、ノイズが残りにくい傾向がある点でよい。

以上のように、本第１実施形態によれば、顔などの動きのある被写体を撮像する場合に、複数枚のフレーム画像の中で超解像処理で用いる画像として適切なものを選択して使用することにより、精度のよい高解像度の画像が得られる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。

上記第１実施形態では、顔などの被写体部分の解像度が足りないなど、被写体が不鮮明であるときに評価が上手く行かない場合がある。特に、目線評価を行うためには、顔の部分をより正確に認識するために解像度を増やすことが必要である。

そこで、本第２実施形態では、被写体評価装置２での被写体評価に使用する顔画像の解像度を上げることによって、評価の精度を上げるようにしたものである。

図１３は、本第２実施形態に係る画像処理装置の構成を示す図で、該画像処理装置は、上記第１実施形態に係る画像処理装置の構成に、更に、被写体領域抽出装置４及び被写体領域高解像度化装置５を加えたものである。

ここで、被写体領域抽出装置４は、特定の被写体の被写体領域、例えば顔の場合は顔領域１２を抽出するものである。また、被写体領域高解像度化装置５は、上記被写体領域抽出装置４によって抽出した被写体領域（顔領域１２）のみを高解像度化するものである。なお、この被写体領域高解像度化装置５での高解像度化の手法は、上記高解像度化装置３における高解像度化の手法と同一である。異なるのは、上記高解像度化装置３ではフレーム画像１０全体を処理対象とするのに対して、該被写体領域高解像度化装置５ではフレーム画像１０中の被写体領域のみを動き推定処理及び加算平均処理の対象とするという点だけである。

被写体評価装置２は、この被写体領域高解像度化装置５によって高解像度化された被写体画像を用いて被写体を評価する。

図２（Ｂ）は、本第２実施形態に係る画像処理装置の動作フローチャートであり、まず、撮像装置により複数枚のフレーム画像１０を取得した際に、被写体検出装置１によって特定の被写体を検出する「被写体認識処理」を実行する（ステップＳ１）。次に、その「被写体認識処理」によって検出された上記特定の被写体を含む領域を、被写体領域として囲むような矩形で特定する「被写体領域特定処理」を被写体領域抽出装置４によって実施する（ステップＳ４）。そして、その「被写体領域特定処理」によって特定した被写体領域に対して、被写体領域高解像度化装置５によって高解像度化処理を行う「被写体領域内高解像度化処理」を実施する（ステップＳ５）。その後、その「被写体領域内高解像度化処理」によって高解像度化された特定の被写体が適切な状態であるかを被写体評価装置２によって評価する「被写体評価処理」を実施する（ステップＳ２）。そして、その「被写体評価処理」によって適切であると評価されたフレーム画像１０を複数枚用意し、高解像度化装置３によって高解像度な画像を得る「高解像度化処理」を実施する（ステップＳ３）。

ここで、上記特定の被写体が顔である場合の具体的な手順を図１４を参照して説明する。この場合、被写体検出装置１で検出される被写体は顔であり、図１４（Ａ）に示すように、複数枚のフレーム画像１０それぞれから顔の部分を特定する。次に、上記ステップＳ４の「被写体領域特定処理」において、被写体領域抽出装置４により、図１４（Ｂ）に示すように、被写体領域としての顔領域１２を顔を含む矩形で特定する。その後、上記ステップＳ５の「被写体領域内高解像度化処理」において、被写体領域高解像度化装置５にて、図１４（Ｃ）に示すように、顔領域１２に対して高解像度化処理を行い、高解像度化された被写体領域画像１６を得る。次に、上記ステップＳ２において、被写体評価装置２により、図１４（Ｄ）に示すように、それら高解像度化された被写体領域画像１６に対して被写体評価を行う。該被写体評価装置２による「被写体評価処理」については、上記第１実施形態と同様であり、また、その後の上記ステップＳ３における高解像度化装置３による「高解像度化処理」についても、上記第１実施形態と同様である。

以上のように、本第２実施形態によれば、被写体評価に使用する顔画像を高解像度化してから被写体評価装置２に与えることによって、被写体評価の精度を上げることができ、よって、複数枚のフレーム画像の中で超解像処理で用いる画像を精度良く選択でき、結果として、より精度のよい高解像度画像が得られる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。

上記第１実施形態のように、顔などの被写体の評価が高いフレーム画像１０だけを用いて高解像度化処理を行った場合、背景など被写体部分以外の部分が精度よく高解像度化されにくい可能性がある。

そこで、本第３実施形態では、被写体部分の評価が高いフレーム画像１０だけでなく、前後数フレームのフレーム画像１０も使うことによって、より精細に背景を高解像度化するようにしたものである。

図１５は、本第３実施形態に係る画像処理装置の構成を示す図で、該画像処理装置は、上記第１実施形態に係る画像処理装置の構成に、更に、高評価画像前後ｎフレーム選択装置６を加えたものである。

ここで、高評価画像前後ｎフレーム選択装置６は、被写体評価装置２によって評価の高かったフレーム画像１０と、その評価の高かったフレーム画像１０の前後ｎフレームのフレーム画像を全て選択して、高解像度化装置３に供給するものである。

図２（Ｃ）は、本第３実施形態に係る画像処理装置の動作フローチャートであり、まず、撮像装置により複数枚のフレーム画像１０を取得した際に、被写体検出装置１によって特定の被写体を検出する「被写体認識処理」を実行する（ステップＳ１）。次に、その「被写体認識処理」によって検出された上記特定の被写体が適切な状態であるかを被写体評価装置２によって評価する「被写体評価処理」を実施する（ステップＳ２）。その後、高評価画像前後ｎフレーム選択装置６によって、その「被写体評価処理」によって適切であると評価されたフレーム画像１０と、該適切であると評価されたフレーム画像１０の前後ｎフレームのフレーム画像を全て選択する「高評価画像前後ｎフレーム選択処理」を実施する（ステップＳ６）。そして、その「高評価画像前後ｎフレーム選択処理」によって選択されたフレーム画像１０全てを用いて、高解像度化装置３によって高解像度な画像を得る「高解像度化処理」を実施する（ステップＳ３）。

即ち、本第３実施形態は、被写体評価を行うところまでは前述の第１実施形態と同様である。そこで、本第３実施形態に関して、被写体評価からを中心に、図１６を参照して更に詳細に説明する。

まず、ｍ枚のフレーム画像１０を被写体評価装置２によって、被写体評価する。図１６は、ｍ＝２０の例である。

ここで、被写体評価によって数枚のフレーム画像１０が合格する。図１６にける被写体評価結果１７では、合格したフレーム画像が○、不合格したフレーム画像が×で表されている。フレーム５のフレーム画像とフレーム１５のフレーム画像が該被写体評価によって合格した例である。

次に、高評価画像前後ｎフレーム選択装置６によって、これら合格した画像の前後ｎフレームを選択する。図１６の例ではｎ＝３であり、選択されたフレームは網掛けを付して示している。即ち、この例では、フレーム２からフレーム８までの７枚のフレーム画像と、フレーム１２からフレーム１８までの７枚のフレーム画像とが選択されている。

こうして選択された全て（図１６の例では１４枚）のフレーム画像を用いて、高解像度化装置３により、高解像度化を行い、最終的な高解像度画像１１を得ることができる。

以上のように、本第３実施形態によれば、被写体部分の評価が高いフレーム画像だけでなく、前後数フレームのフレーム画像も使うことによって、顔などの特定の被写体だけでなく、背景など被写体部分以外の部分もより精細に高解像度化した高解像度画像が得られる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。このコンピュータは、カメラ等の撮影装置の制御部として撮影装置に組み込まれたものであっても良いし、パーソナルコンピュータ等であっても良い。

また、被写体の評価方法や高解像度化の手法は、実施形態で説明したものに限定されるものではない。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 解像度の低い画像から解像度の高い画像を生成する画像処理装置において、
複数枚の画像から注目被写体を認識する被写体認識手段と、
上記複数枚の画像について、上記画像の画像信号を用いて、上記被写体認識手段によって認識された上記注目被写体が望ましい状態で撮影されているかの評価を行う被写体評価手段と、
上記被写体評価手段によって、望ましい状態で撮影されているという高い評価を得た画像を用いて解像度の高い画像を生成する高解像度化手段と、
を具備することを特徴とする画像処理装置。

（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、複数枚のフレーム画像１０が上記複数枚の画像に、被写体検出装置１が上記被写体認識手段に、被写体評価装置２又は被写体評価装置２，被写体領域抽出装置４，被写体領域高解像度化装置５が上記被写体評価手段に、高解像度画像１１が上記解像度の高い画像に、高解像度化装置３又は高解像度化装置３，高評価画像前後ｎフレーム選択装置６が上記高解像度化手段に、それぞれ対応する。

（作用効果）
この（１）に記載の画像処理装置によれば、注目する被写体について、より高解像度の画像を生成することが可能である。

（２） 上記高解像度化手段は、上記被写体評価手段で上記高い評価を得た複数枚の画像を用いて解像度の高い画像を生成することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（２）に記載の画像処理装置によれば、顔などの動きのある被写体を撮像する場合に、複数枚の画像の中で超解像処理で用いる画像として適切なものを選択して使用することにより、精度のよい高解像度の画像が得られる。

（３） 上記高解像度化手段は、上記被写体評価手段で上記高い評価を得た画像を含めた複数枚の画像を用いて解像度の高い画像を生成することを特徴とする（１）に記載の画像処理装置。

（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第３実施形態が対応する。その実施形態において、高解像度化装置３，高評価画像前後ｎフレーム選択装置６が上記高解像度化手段に対応する。

（作用効果）
この（３）に記載の画像処理装置によれば、被写体部分の評価が高い画像を含めた複数枚の画像を使うことによって、精度の良い高解像度化の画像が得られる。

（４） 上記複数枚の画像は時系列で取得した複数枚の画像であって、
上記被写体評価手段で上記高い評価を得た画像を含めた複数枚の画像は、上記被写体評価手段で上記高い評価を得た画像と、該高い評価を得た画像に対して時系列的に近接した時間に取得された画像であることを特徴とする（３）に記載の画像処理装置。

（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（４）に記載の画像処理装置によれば、被写体部分の評価が高い画像だけでなく、前後数フレームの画像も使うことによって、顔などの特定の被写体だけでなく、背景など被写体部分以外の部分もより精細に高解像度化した高解像度画像が得られる。

（５） 上記被写体評価手段は、上記複数枚の画像の少なくとも一部の領域に対して解像度を上げる処理を行い、該解像度を上げた領域の画像データを用いて上記評価を行うことを特徴とする（１）乃至（４）のうちいずれかに記載の画像処理装置。

（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。その実施形態において、顔領域１２が上記一部の領域に、高解像度化された被写体領域画像１６が上記解像度を上げた領域の画像データに、それぞれ対応する。また、被写体評価装置２，被写体領域抽出装置４，被写体領域高解像度化装置５が上記被写体評価手段に対応する。

（作用効果）
この（５）に記載の画像処理装置によれば、被写体評価の精度を上げることができ、よって、複数枚の画像の中で超解像処理で用いる画像を精度良く選択でき、結果として、より精度のよい高解像度画像が得られる。

（６） 上記被写体認識手段は、上記注目被写体として人物の顔を含む領域を認識し、
上記被写体評価手段は、上記人物の写りの良さを示す指標を算出し、上記指標に基づいて上記評価を行うことを特徴とする（１）乃至（５）のうちいずれかに記載の画像処理装置。

（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、顔領域１２が上記人物の顔を含む領域に、顔が撮影装置の方を向いているか、視線が適切であるか、及び表情が適切であるかが上記人物の写りの良さを示す指標に、それぞれ対応する。

（作用効果）
この（６）に記載の画像処理装置によれば、注目被写体である人物の顔が精度よく高解像度化された高解像度の画像を生成できる。

（７） 複数枚の解像度の低い画像から注目被写体を認識し、
上記複数枚の解像度の低い画像について、上記画像の画像信号を用いて、上記認識された注目被写体が望ましい状態で撮影されているかの評価を行い、
上記複数枚の解像度の低い画像の内、上記評価によって望ましい状態で撮影されているという高い評価を得たものを用いて、解像度の高い画像を生成する、
ことを特徴とする画像処理方法。

（対応する実施形態）
この（７）に記載の画像処理方法に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、複数枚のフレーム画像１０が上記複数枚の画像に、被写体認識処理（ステップＳ１）が上記被写体の認識に、被写体評価処理（ステップＳ２）又は被写体評価処理（ステップＳ２），被写体領域特定処理（ステップＳ４），被写体領域内高解像度化処理（ステップＳ５）が上記評価に、高解像度画像１１が上記解像度の高い画像に、高解像度化処理（ステップＳ３）又は高解像度化処理（ステップＳ３），高評価画像前後ｎフレーム選択処理（ステップＳ６）が上記高解像度化に、それぞれ対応する。

（作用効果）
この（７）に記載の画像処理方法によれば、注目する被写体について、より高解像度の画像を生成することが可能である。

（８） 電子的に記録された複数枚の解像度の低い画像から解像度の高い画像を生成する画像処理プログラムであって、
コンピュータに、
複数枚の解像度の低い画像から注目被写体を認識する手順と、
上記複数枚の解像度の低い画像について、上記画像の画像信号を用いて、上記認識した注目被写体が望ましい状態で撮影されているかの評価を行う手順と、
上記複数枚の解像度の低い画像の内、上記評価によって望ましい状態で撮影されているという高い評価を得たものを用いて、解像度の高い画像を生成する手順と、
を実行させるための画像処理プログラム。

（対応する実施形態）
この（８）に記載の画像処理プログラムに関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、複数枚のフレーム画像１０が上記複数枚の画像に、被写体認識処理（ステップＳ１）が上記認識する手順に、被写体評価処理（ステップＳ２）又は被写体評価処理（ステップＳ２），被写体領域特定処理（ステップＳ４），被写体領域内高解像度化処理（ステップＳ５）が上記評価を行う手順に、高解像度画像１１が上記解像度の高い画像に、高解像度化処理（ステップＳ３）又は高解像度化処理（ステップＳ３），高評価画像前後ｎフレーム選択処理（ステップＳ６）が上記解像度の高い画像を生成する手順に、それぞれ対応する。

（作用効果）
この（８）に記載の画像処理プログラムによれば、注目する被写体について、より高解像度の画像を生成することが可能である。

図１は本発明の第１実施形態に係る画像処理装置の構成を示す図である。 図２（Ａ）は第１実施形態に係る画像処理装置の動作フローチャートを示す図であり、図２（Ｂ）は本発明の第２実施形態に係る画像処理装置の動作フローチャートを示す図であり、図２（Ｃ）は本発明の第３実施形態に係る画像処理装置の動作フローチャートを示す図である。 図３（Ａ）は図２（Ａ）中の「被写体評価処理」のフローチャートを示す図であり、図３（Ｂ）は図３（Ａ）中の「正対評価処理」のフローチャートを示す図であり、図３（Ｃ）は顔領域を示す模式図である。 図４は水平方向の顔方向計算における各変数の定義を説明するための顔楕円モデルを示す図である。 図５は撮影装置に対する水平方向の角度Φ、垂直方向の角度Ψ、及び向きθの関係を示す図である。 図６は図３（Ａ）中の「視線評価処理」のフローチャートを示す図である。 図７は視線方向の計算における各変数の定義を説明するための眼球モデルを示す図である。 図８は図１中のモーション推定部での動き推定の処理のフローチャートを示す図である。 図９は動き推定における最適類似度推定の概念図を示す図である。 図１０は動き推定値を使用した参照画像変形における基準画像への近似を説明するための図である。 図１１は基準画像と近似画像の加算平均法の一例を説明するための説明図である。 図１２は基準画像と近似画像の加算平均法の他の例を説明するための説明図である。 図１３は本発明の第２実施形態に係る画像処理装置の構成を示す図である。 図１４は特定の被写体が顔である場合の第２実施形態における具体的な手順を説明するための図である。 図１５は本発明の第３実施形態に係る画像処理装置の構成を示す図である。 図１６は第３実施形態における具体的な手順を説明するための図である。

符号の説明

１…被写体検出装置、 ２…被写体評価装置、 ２Ａ…正対評価部、 ２Ｂ…視線評価部、 ２Ｃ…表情評価部、 ３…高解像度化装置、 ３Ａ…モーション推定部、 ３Ｂ…超解像処理部、 ４…被写体領域抽出装置、 ５…被写体領域高解像度化装置、 ６…フレーム選択装置、 １０…フレーム画像、 １１…高解像度画像、 １２…顔領域、 １３…顔領域中心位置、 １４…顔器官中心位置、 １５…撮影装置、 １６…高解像度化された被写体領域画像、 １７…被写体評価結果。

Claims (8)

1. 解像度の低い画像から解像度の高い画像を生成する画像処理装置において、
   複数枚の画像から注目被写体を認識する被写体認識手段と、
   上記複数枚の画像について、上記画像の画像信号を用いて、上記被写体認識手段によって認識された上記注目被写体が望ましい状態で撮影されているかの評価を行う被写体評価手段と、
   上記被写体評価手段によって、望ましい状態で撮影されているという高い評価を得た画像を用いて解像度の高い画像を生成する高解像度化手段と、
   を具備することを特徴とする画像処理装置。
2. 上記高解像度化手段は、上記被写体評価手段で上記高い評価を得た複数枚の画像を用いて解像度の高い画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 上記高解像度化手段は、上記被写体評価手段で上記高い評価を得た画像を含めた複数枚の画像を用いて解像度の高い画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 上記複数枚の画像は時系列で取得した複数枚の画像であって、
   上記被写体評価手段で上記高い評価を得た画像を含めた複数枚の画像は、上記被写体評価手段で上記高い評価を得た画像と、該高い評価を得た画像に対して時系列的に近接した時間に取得された画像であることを特徴とする請求項３に記載の画像処理装置。
5. 上記被写体評価手段は、上記複数枚の画像の少なくとも一部の領域に対して解像度を上げる処理を行い、該解像度を上げた領域の画像データを用いて上記評価を行うことを特徴とする請求項１ないし請求項４のうちいずれかに記載の画像処理装置。
6. 上記被写体認識手段は、上記注目被写体として人物の顔を含む領域を認識し、
   上記被写体評価手段は、上記人物の写りの良さを示す指標を算出し、上記指標に基づいて上記評価を行うことを特徴とする請求項１ないし請求項５のうちいずれかに記載の画像処理装置。
7. 複数枚の解像度の低い画像から注目被写体を認識し、
   上記複数枚の解像度の低い画像について、上記画像の画像信号を用いて、上記認識された注目被写体が望ましい状態で撮影されているかの評価を行い、
   上記複数枚の解像度の低い画像の内、上記評価によって望ましい状態で撮影されているという高い評価を得たものを用いて、解像度の高い画像を生成する、
   ことを特徴とする画像処理方法。
8. 電子的に記録された複数枚の解像度の低い画像から解像度の高い画像を生成する画像処理プログラムであって、
   コンピュータに、
   複数枚の解像度の低い画像から注目被写体を認識する手順と、
   上記複数枚の解像度の低い画像について、上記画像の画像信号を用いて、上記認識した注目被写体が望ましい状態で撮影されているかの評価を行う手順と、
   上記複数枚の解像度の低い画像の内、上記評価によって望ましい状態で撮影されているという高い評価を得たものを用いて、解像度の高い画像を生成する手順と、
   を実行させるための画像処理プログラム。

Images