JP2006053666A - 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体 - Google Patents

Abstract

【課題】 連続した画像群の中から顔状態の良い画像を人手を要さずかつ安価に得ることのできる画像処理プログラム、画像処理方法、画像処理装置及び記録媒体を提供する。
【解決手段】 連続して撮影された複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、顔画像抽出ステップで抽出された画像から顔の向いている方向を検出する顔方向検出ステップと、顔方向検出ステップで検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別ステップと、第１の選別ステップで選別された顔画像から目の開閉状態を取得する開眼状態検出ステップと、開眼状態検出ステップで取得した目の開閉状態をもとに、第１の選別ステップで選別した画像から開眼状態の良い画像を選別する第２の選別ステップと、第２の選別ステップで選別した画像を保存手段に保存する保存ステップとを備えた画像処理方法である。
【選択図】 図１

Description

本発明は、撮影装置を用いて撮影した画像のうちから顔状態の良い被写体像が撮影されている画像を選別する画像処理技術に関する。

連続して撮影した画像群、あるいは映像として撮影した連続する画像群、の中から被写体の顔状態の良い画像を取得する場合は、人による手作業に頼っているのが現状である。

開眼状態の良い画像を取得するための従来技術として、被写体の開眼状態を眼底反射により検出し、開眼状態が確認できるまでシャッタが切れない仕組みが組み込まれた撮影装置が開示されている（例えば、特許文献１参照）。
特開平８−２５１４７５号公報

しかしながら、特許文献１に記載の技術では、所望の条件が整うまではシャッタを切ることができない。そのため、記念撮影などでは撮りたいタイミングでの撮影ができないことになり不便である。また、被写体の眼底反射を検出するため、その検出・判定機構を設けることによる撮影装置の大型化、重量化、高価格化などの不利益が発生する。

本発明は、かかる事情に鑑みてなされたものであり、連続した画像群の中から顔状態の良い画像を人手を要さずかつ安価に得ることのできる画像処理プログラム、画像処理方法、画像処理装置及び記録媒体を提供することを目的とする。

上記課題を解決するための、本発明に係る請求項１に記載の画像処理プログラムは、連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理プログラムにおいて、前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップで抽出された画像から顔の向いている方向を検出する顔方向検出ステップと、前記顔方向検出ステップで検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別ステップと、前記第１の選別ステップで選別された顔画像から目の開閉状態を取得する開眼状態検出ステップと、前記開眼状態検出ステップで取得した目の開閉状態をもとに、前記第１の選別ステップで選別した画像から開眼状態の良い画像を選別する第２の選別ステップと、前記第２の選別ステップで選別した画像を保存手段に保存する保存ステップとをコンピュータに実行させる。

また、本発明に係る請求項２に記載の画像処理プログラムは、連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理プログラムにおいて、前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、抽出した画像から顔の向いている方向を検出する顔方向検出ステップと、抽出した画像から目の開閉状態を取得する開眼状態検出ステップと、前記顔方向検出ステップで検出した顔方向と前記開眼状態検出ステップで取得した目の開閉状態とから、顔が正面又はほぼ正面に向いて開眼状態の良い画像を顔状態の良い画像として選別する画像選別ステップと、前記画像選別ステップで選別した画像を保存手段に保存する保存ステップとをコンピュータに実行させる。

また、本発明に係る請求項３に記載の画像処理プログラムは、上記記載の発明である画像処理プログラムにおいて、前記連続して撮影された複数の画像は、動画ファイルをフレーム単位にデコードした複数の画像であり、前記顔画像抽出ステップは、前記複数の画像のうち顔部が撮影されている画像を先頭フレームから順次抽出し、前記画像選別ステップは、前記顔方向検出ステップで検出した顔方向と前記開眼状態検出ステップで取得した目の開閉状態とから、顔状態の良い画像を順次比較して選別する。

また、本発明に係る請求項４に記載の画像処理プログラムは、被写体を撮影する撮影手段と、撮影した画像を保存する保存手段を有する撮影装置において実行される画像処理プログラムであって、連続して撮影される画像のうち顔部が撮影されている画像を順次抽出する顔画像抽出ステップと、抽出した画像から顔の向いている方向を検出する顔方向検出ステップと、抽出した画像から目の開閉状態を取得する開眼状態検出ステップと、前記顔方向検出ステップで検出した顔方向と前記開眼状態検出ステップで取得した目の開閉状態とから、顔が正面又はほぼ正面に向いて開眼状態の良い画像を順次画像を比較して選別する画像選別ステップと、前記画像選別ステップで選別されなかった画像を破棄する破棄ステップと、この一連の動作を撮影された画像全てについて繰り返して実行して選別した画像を前記保存手段に保存する保存ステップとをコンピュータに実行させる。

また、本発明に係る請求項５に記載の画像処理プログラムは、上記記載の発明である画像処理プログラムにおいて、顔方向検出ステップは、顔の特徴点である両眼の両端を結ぶ直線の中央を通る垂直線と顔のパーツの特徴となる部位との距離の差、または前記両眼の両端を結ぶ直線の中央を通る垂直線で分割される左右の顔の面積の比から顔の向いている方向を検出する。

また、本発明に係る請求項６に記載の画像処理プログラムは、上記記載の発明である画像処理プログラムにおいて、開眼状態検出ステップは、少なくとも検出された顔画像の眼の領域の占める割合、あらかじめ用意されたパターン情報との比較、両方の目の大きさのバランスのいずれか１つから眼の開閉状態を検出する。

また、本発明に係る請求項７に記載の記録媒体は、連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理プログラムを記録した記録媒体において、前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップで抽出された画像から顔の向いている方向を検出する顔方向検出ステップと、前記顔方向検出ステップで検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別ステップと、前記第１の選別ステップで選別された顔画像から目の開閉状態を取得する開眼状態検出ステップと、前記開眼状態検出ステップで取得した目の開閉状態をもとに、前記第１の選別ステップで選別した画像から開眼状態の良い画像を選別する第２の選別ステップと、前記第２の選別ステップで選別した画像を保存手段に保存する保存ステップとをコンピュータに実行させる。

また、本発明に係る請求項８に記載の画像処理方法は、連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理方法において、前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップで抽出された画像から顔の向いている方向を検出する顔方向検出ステップと、前記顔方向検出ステップで検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別ステップと、前記第１の選別ステップで選別された顔画像から目の開閉状態を取得する開眼状態検出ステップと、前記開眼状態検出ステップで取得した目の開閉状態をもとに、前記第１の選別ステップで選別した画像から開眼状態の良い画像を選別する第２の選別ステップと、前記第２の選別ステップで選別した画像を保存手段に保存する保存ステップとを備えた。

また、本発明に係る請求項９に記載の画像処理装置は、連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理装置において、前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出手段と、前記顔画像抽出手段が抽出した画像から顔の向いている方向を検出する顔方向検出手段と、前記顔方向検出が検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別手段と、前記第１の選別手段が選別した顔画像から目の開閉状態を取得する開眼状態検出手段と、前記開眼状態検出手段が取得した目の開閉状態をもとに、前記第１の選別手段が選別した画像から開眼状態の良い画像を選別する第２の選別手段と、前記第２の選別手段が選別した画像を保存する保存手段とを備えた。

本発明によれば、連続した画像群の中から顔状態の良い画像を人手を要さずかつ安価に得ることができる。

本発明の実施の形態に係る画像処理方法では、被写体の顔状態の良い画像を取得できるようにするため、連続した画像の中から顔状態の良い画像のみを保存する。なお、本発明において「良い顔状態」とは、顔が正面方向を向き、かつ両眼が開いている状態の顔をいう。

［第１の実施の形態］
図１は、本発明の第１の実施の形態の画像処理方法が適用される画像処理装置１の構成を示す図である。

画像処理装置１は、制御部１０、記録媒体１１、デコーダ１２、画像処理部１３、開眼状態検出処理部１４、メモリ１５及び表示部１６で構成されている。

制御部１０は、画像処理装置１の動作を統括して制御する。記録媒体１１は、連続した画像群を記録する。デコーダ１２は、画像を伸張する。画像処理部１３は、伸張された画像をフィルタリングなどによって補正処理する。開眼状態検出処理部１４は、補正処理された画像に基づいて被写体の顔が「良い顔状態」にあるものを抽出する。メモリ１５は画像処理のためのバッファである。表示部１６は、画像を表示するＣＲＴまたはＴＦＴ液晶ディスプレイである。

図２は、第１の実施の形態に係る画像処理の概略の手順を示すフロー図である。

記念撮影などで、連写モードにより連続して撮影された画像ファイル群が記録媒体に格納されている。図２のステップＳ０１において、ユーザが連続する画像ファイル群を選択すると、この選択された画像ファイルを対象として画像選別処理が実行される。なお、連続して撮影された画像は、相互に、被写体の配置、色彩、明度などが近似的に同一状態と見なせる場合が多いため、顔状態の比較を容易に行うことができる。

ステップＳ０２において、制御部１０は１つの画像ファイルを記録媒体１１から読み出しデコーダ１２を介して伸張する。伸張された画像は一旦メモリ１５に格納される。ステップＳ０３〜Ｓ０４において、画像処理部１３と開眼状態検出処理部１４が協働して、顔状態を判定する。即ち、画像から顔を抽出してその特徴点を検出し、開眼状態と顔が正面を向いているか否かを判定する。

次に、顔状態の検出方法について説明する。

図３の（１）は、画像から顔領域を抽出して輪郭抽出を実行した結果の画像である。ここで、輪郭抽出の手法としては、フィルタリング処理、エッジ強調処理などを適用することができる。この処理により、顔の中の眼、口、鼻、耳などの各パーツを明瞭化できる。図３の（２）は、輪郭抽出を行った結果に対して、ぼかしを適用し領域抽出した結果の画像である。この処理により、各パーツが線でなく面として表わされ、かつパーツ内の特徴となる各部分がそれぞれ個別の領域として表現されている。

図４は、顔の正面方向を検出する方法を示す図である。

図４の（１）は、顔の左右方向の向きを検出する方法を示す図である。両目の両端を結ぶ直線の中央点を通る垂直線を引く。この垂直線を基準として鼻、口、あご、耳等の顔のパーツの特徴となる部位の左右の差を求めて顔の左右方向を検出する。例えば、口の左右の端の点と垂直線との距離の差を求めて、口の右端の点までの距離が、口の左端までの距離よりも長いときは、右顔が多く写っている（左に向いている）と判断する。或いは垂直線の左右の顔の面積を比較して、左の顔の面積が右の顔の面積よりも大きいときは右に向いていると判断することができる。

図４の（２）は、顔の上下方向の向きを検出する方法を示す図である。両目の両端を底辺として鼻、口、あご等の特徴点を結ぶ三角形の形状から顔の上下方向（俯仰状態）を検出する。例えば、それぞれの三角形の高さを求める。そして鼻までの高さに対する口、あご等の高さの比率を求め、比率が所定値よりも小さい場合は、顔は下方向に向いている（俯いている）と判断する。比率が所定値よりも大きい場合は、顔は上方向に向いている（仰向いている）と判断する。なお、三角形の高さに代えて三角形の面積を求め、上述のようにして面積の比率で顔の上下方向を検出しても良い。

図５は、開眼状態を検出する方法を示す図である。

図５の（１）では、眼の領域（眼を囲む四角形の領域）を求め、顔全体に対する眼の領域の高さ、および左右のバランスによって開眼状態を判断する。例えば、顔全体に対して眼の領域の縦の長さが長いときは開眼していると判断し、逆に眼の領域の縦の長さが短いときは閉眼していると判断する。また、左右のバランスが大きく異なるときは、片目を閉じていると判断することができる。

図５の（２）では、眼の部分の面積を求め、顔全体に対する眼の面積および左右のバランスによって開眼状態を判断する。例えば、顔全体に対して眼の面積が大きいときは開眼していると判断し、逆に眼の面積が小さいときは閉眼していると判断する。また、左右のバランスが大きく異なるときは、片目を閉じていると判断することができる。

この図５の（１）、（２）のいずれかの方法で、あるいはこれらを組合わせた方法を用いて開眼状態を判断することができる。更に、眼の開閉状態を表わす基準パターンを利用して、その基準パターンにあてはまるか否かで開眼状態を判断することができる。

図２のステップＳ０５において、今回の画像の顔状態が前回の画像の顔状態よりも良いかどうかを判断する。良否の判断は、ステップＳ０３〜Ｓ０４で求めた顔の正面方向と開眼状態に基づいて行う。例えば、顔の正面方向に向いている指数と開眼している状態の指数を求め、その指数の合計値が高いほうが良い画像であると判断しても良い。また、顔が正面方向に向いているほうが良い画像であると判断し、共に正面に向いている場合はより開眼している方が良い画像であると判断しても良い。

そして、今回の画像の顔状態が前回の画像の顔状態よりも良い場合（Ｓ０５ Ｙｅｓ）は、ステップＳ０６において、その画像を前回の画像と置き換えてメモリ１５に保存する。そして、比較する画像が残っている場合（Ｓ０７ Ｙｅｓ）は、上述の顔状態の検出と比較処理（ステップＳ０２〜Ｓ０５）とを対象とする残画像ファイル全てについて実行する。そして、メモリ１５に保存されている画像を一番顔状態の良い画像としてユニークな名前を付して記録媒体１１に保存する。この画像は表示部１６に表示することもできる。

なお、本実施の形態では、最も良い顔状態の画像を１枚選んでいるが、上位の複数枚を選ぶようにしても良い。また、画像を一枚ずつ取り出して顔状態の検出と比較処理を実行しているが、対象とする画像ファイルに対してまとめて顔状態の検出処理を行い、その結果に基づいて顔状態の良い画像を少なくとも１つ求めても良い。

即ち、次のような手順で顔状態の良い画像を選別しても良い。

ステップ１：連続的して撮影された複数の画像から被写体の顔部が撮影されている画像を抽出し、
ステップ２：ステップ１で抽出された画像から顔の方向を検出し、
ステップ３：ステップ２で検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別し、
ステップ４：ステップ３で選別された正面を向いた顔画像から目の開閉状態を取得し、
ステップ５：ステップ４で取得した目の開閉状態をもとに開眼状態の良い画像選別し、
ステップ６：ステップ５で選別した画像を記録媒体に保存する。

［第２の実施の形態］
第２の実施の形態では、動画ファイルから顔状態の良い画像を抽出する点が第１の実施の形態と異なっている。従って、第１の実施の形態と同様の部位には同一の符号を付してその詳細の説明は省略する。

図６は、本発明の第２の実施の形態の画像処理方法が適用される画像処理装置１の構成を示す図である。記録媒体１１には、動画ファイルが格納され、新たに設けられた画像フレーム抽出部１７が、動画ファイルから画像フレームを抽出してメモリ１５に受け渡している点が第１の実施に形態の画像処理装置１の構成と異なっている。

図７は、第２の実施の形態に係る画像処理の概略の手順を示すフロー図である。

記念撮影などで、撮影された動画ファイル群が記録媒体１１に格納されている。図７のステップＳ１１において、ユーザが動画ファイルを選択すると、この選択された動画ファイルを対象として以下に説明する画像処理が実行される。

ステップＳ１２において、制御部１０は１つの動画ファイルを記録媒体１１から読み出しデコーダ１２を介して伸張する。ステップＳ１３において、画像フレーム抽出部１７が伸張された動画ファイルから１つのフレーム画像を読み出して一旦メモリ１５に格納する。そしてステップＳ１４〜Ｓ１５において、画像処理部１３と開眼状態検出処理部１４が協働して、顔状態を判定する。即ち、画像から顔を抽出してその特徴点を検出し、顔の開眼と顔の向きを判定する。この処理は、第１の実施の形態で述べた内容と同一であるためその詳細の説明は省略する。

ステップＳ１６において、顔状態判定結果に基づいて、この画像が一定条件よりも状態の良い画像かどうかを調べる。例えば、顔が正面に向いていて、開眼状態にあるかどうかを調べる。そして、状態の良い画像である場合（Ｓ１６ Ｙｅｓ）は、ステップＳ１７において、メモリ１５に保存されている画像と類似しているかどうかを調べる。

ここで、メモリ１５に保存されている画像と類似しているかどうかを調べるのは、動画ファイルには複数のシチュエーションにおける画像が撮影されているためである。従って、シチュエーションが異なった（類似していない）場合（Ｓ１７ Ｎｏ）には、ステップＳ１８において、その画像は新たなシチュエーションにおける画像としてメモリ１５に保存する。そして、ステップＳ２１において、メモリ１５に保存された画像を表示部１６に表示する。

一方、類似している場合（Ｓ１９ Ｙｅｓ）は、ステップＳ１９においてメモリ１５に保存されている類似する画像と顔状態を比較する。今回の画像が状態が良いと判断されたときは（Ｓ１９ Ｙｅｓ）、ステップＳ２０において、類似している画像と差し替えてメモリ１５に保存する。そして、ステップＳ２１において、メモリ１５に保存された画像を表示部１６に表示する。

そして、比較するフレーム画像が残っている場合（Ｓ２２ Ｙｅｓ）は、上述の顔状態の検出と比較処理（ステップＳ１３〜Ｓ２１）とを、対象とするフレーム画像全てについて実行する。そして、メモリ１５に保存されているシチュエーション毎の画像を一番顔状態の良い画像としてユニークな名前を付して記録媒体１１に保存する。

なお、本実施の形態では、最も良い顔状態の画像を１枚選んでいるが、上位の複数枚を選ぶようにしても良い。また、画像を一枚ずつ取り出して顔状態の検出と比較処理を実行しているが、対象とする動画ファイルの全フレーム画像に対してまとめて顔状態の検出処理を行い、その結果に基づいて顔状態の良い画像を少なくとも１つ求めても良い。この手順は、第１の実施の形態で説明したため、詳細の説明は省略する。

［第３の実施の形態］
第３の実施の形態では、画像処理装置１が撮像機能を備え、撮像された画像の内から顔状態の良い画像を抽出して記録する点で第１の実施の形態と異なっている。従って、第１の実施の形態と同様の部位には同一の符号を付してその詳細の説明は省略する。

図８は、本発明の第３の実施の形態の画像処理方法が適用される画像処理装置１の構成を示す図である。第１の実施の形態の構成に対して、シャッタ１８、開眼検出処理モードＳＷ１９、撮像部２０を備えている点が第１の実施の形態の画像処理装置１の構成と異なっている。

図９は、第３の実施の形態に係る画像処理の概略の手順を示すフロー図である。

記念撮影などで、ユーザが開眼検出処理モードＳＷ１９をＯＮとしてシャッタ１８を操作すると、ステップＳ３１〜Ｓ３３において、制御部１０は撮影モード状態を取得して、開眼検出処理モードＳＷ１９がＯＮとなっていることを検知し、連写モードによる撮影を実行する。そして、撮像部２０を制御して撮影された画像をメモリ１５に保存する。この撮影動作と並行して以下に説明する画像処理動作がリアルタイムに実行される。

ステップＳ３４〜Ｓ３６において、メモリ１５に保存された画像データが読み出され、画像処理部１３と開眼状態検出処理部１４が協働して、顔状態を判定する。即ち、画像から顔を抽出してその特徴点を検出し、顔の開眼と顔の向きを判定する。この処理は、第１の実施の形態で述べた内容と同一であるためその詳細の説明は省略する。

ステップＳ３７において、今回の画像の顔状態が前回の画像の顔状態よりも良いかどうかを判断する。良否の判断は、第１の実施の形態のステップＳ０５と同じであるためその詳細の説明は省略する。

今回の画像の顔状態が前回の画像の顔状態よりも良い場合（Ｓ３７ Ｙｅｓ）は、ステップＳ３８において、前回記憶してある画像と置き換えて今回の画像を保存する。一方、今回の画像の顔状態よりも前回の画像の顔状態が良い場合（Ｓ３７ Ｎｏ）は、ステップＳ３９において、今回の画像データを廃棄する。このように、顔状態の劣る画像を廃棄するのは、限られたメモリ１５の容量を効率的に使用するためである。

そして、比較する画像が残っている場合（Ｓ４０ Ｙｅｓ）は、上述の顔状態の検出と比較処理（ステップＳ３４〜Ｓ３９）を撮影される画像全てについて実行する。そして、ステップＳ４１において、メモリ１５に保存されている画像を一番顔状態の良い画像としてユニークな名前を付して記録媒体１１に保存する。この画像は表示部１６に表示することもできる。

なお、本実施の形態では、最も良い顔状態の画像を１枚選んでいるが、上位のもの複数枚を選ぶようにしても良い。また、撮影動作と並行して画像の顔状態の検出と比較処理を実行しているが、対象とする画像に対してまとめて顔状態の検出処理を行い、その結果に基づいて顔状態の良い画像を少なくとも１つ求めても良い。この手順は、第１の実施の形態で説明したためその詳細の説明は省略する。

［実施の形態の効果］
第１の実施の形態によれば、連続した画像群から顔状態の良い画像をピックアップしてその画像を保存することができる。

第２の実施の形態によれば、動画像ファイルから顔状態の良い画像をシチュエーションに応じてピックアップすることができる。

第３の実施の形態によれば、撮影装置において、連写で撮影された画像の中で一番顔状態の良い画像を保存することができる。

従って、上述の各実施の形態によれば、顔状態の良い画像を人手を要さずかつ安価に得ることができるという効果を生ずる。

なお、上述の実施の形態で説明した各機能は、ハードウエアを用いて構成しても良く、また、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現しても良い。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。

更に、各機能は図示しない記録媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記録媒体は、プログラムを記録でき、かつコンピュータが読み取り可能な記録媒体であれば、その記録形式は何れの形態であってもよい。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の第１の実施の形態の画像処理方法が適用される画像処理装置の構成を示す図。 第１の実施の形態に係る画像処理の概略の手順を示すフロー図。 顔画像の事前処理方法を説明する図。 顔の正面方向を検出する方法を示す図。 開眼状態を検出する方法を示す図。 本発明の第２の実施の形態の画像処理方法が適用される画像処理装置の構成を示す図。 第２の実施の形態に係る画像処理の概略の手順を示すフロー図。 本発明の第３の実施の形態の画像処理方法が適用される画像処理装置の構成を示す図。 第３の実施の形態に係る画像処理の概略の手順を示すフロー図。

符号の説明

１…画像処理装置、１０…制御部、１１…記録媒体、１２…デコーダ、１３…画像処理部、１４…開眼状態検出処理部、１７…画像フレーム抽出部、１８…シャッタ、１９…開眼検出処理モードＳＷ、２０…撮像部。

Claims (9)

1. 連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理プログラムにおいて、
   前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、
   前記顔画像抽出ステップで抽出された画像から顔の向いている方向を検出する顔方向検出ステップと、
   前記顔方向検出ステップで検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別ステップと、
   前記第１の選別ステップで選別された顔画像から目の開閉状態を取得する開眼状態検出ステップと、
   前記開眼状態検出ステップで取得した目の開閉状態をもとに、前記第１の選別ステップで選別した画像から開眼状態の良い画像を選別する第２の選別ステップと、
   前記第２の選別ステップで選別した画像を保存手段に保存する保存ステップと
   をコンピュータに実行させるためのプログラム。
2. 連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理プログラムにおいて、
   前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、
   抽出した画像から顔の向いている方向を検出する顔方向検出ステップと、
   抽出した画像から目の開閉状態を取得する開眼状態検出ステップと、
   前記顔方向検出ステップで検出した顔方向と前記開眼状態検出ステップで取得した目の開閉状態とから、顔が正面又はほぼ正面に向いて開眼状態の良い画像を顔状態の良い画像として選別する画像選別ステップと、
   前記画像選別ステップで選別した画像を保存手段に保存する保存ステップと
   をコンピュータに実行させるためのプログラム。
3. 前記連続して撮影された複数の画像は、動画ファイルをフレーム単位にデコードした複数の画像であり、
   前記顔画像抽出ステップは、前記複数の画像のうち顔部が撮影されている画像を先頭フレームから順次抽出し、
   前記画像選別ステップは、前記顔方向検出ステップで検出した顔方向と前記開眼状態検出ステップで取得した目の開閉状態とから、顔状態の良い画像を順次比較して選別すること
   を特徴とする請求項２に記載のプログラム。
4. 被写体を撮影する撮影手段と、撮影した画像を保存する保存手段を有する撮影装置において実行される画像処理プログラムであって、
   連続して撮影される画像のうち顔部が撮影されている画像を順次抽出する顔画像抽出ステップと、
   抽出した画像から顔の向いている方向を検出する顔方向検出ステップと、
   抽出した画像から目の開閉状態を取得する開眼状態検出ステップと、
   前記顔方向検出ステップで検出した顔方向と前記開眼状態検出ステップで取得した目の開閉状態とから、顔が正面又はほぼ正面に向いて開眼状態の良い画像を順次画像を比較して選別する画像選別ステップと、
   前記画像選別ステップで選別されなかった画像を破棄する破棄ステップと、
   この一連の動作を撮影された画像全てについて繰り返して実行して選別した画像を前記保存手段に保存する保存ステップと
   をコンピュータに実行させるためのプログラム。
5. 顔方向検出ステップは、顔の特徴点である両眼の両端を結ぶ直線の中央を通る垂直線と顔のパーツの特徴となる部位との距離の差、または前記両眼の両端を結ぶ直線の中央を通る垂直線で分割される左右の顔の面積の比から顔の向いている方向を検出することを特徴とする請求項１乃至４の内いずれか１項に記載のプログラム。
6. 開眼状態検出ステップは、少なくとも検出された顔画像の眼の領域の占める割合、あらかじめ用意されたパターン情報との比較、両方の目の大きさのバランスのいずれか１つから眼の開閉状態を検出することを特徴とする請求項１乃至４の内いずれか１項に記載のプログラム。
7. 連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理プログラムを記録した記録媒体において、
   前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、
   前記顔画像抽出ステップで抽出された画像から顔の向いている方向を検出する顔方向検出ステップと、
   前記顔方向検出ステップで検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別ステップと、
   前記第１の選別ステップで選別された顔画像から目の開閉状態を取得する開眼状態検出ステップと、
   前記開眼状態検出ステップで取得した目の開閉状態をもとに、前記第１の選別ステップで選別した画像から開眼状態の良い画像を選別する第２の選別ステップと、
   前記第２の選別ステップで選別した画像を保存手段に保存する保存ステップと
   をコンピュータに実行させるためのプログラムを記録した記録媒体。
8. 連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理方法において、
   前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出ステップと、
   前記顔画像抽出ステップで抽出された画像から顔の向いている方向を検出する顔方向検出ステップと、
   前記顔方向検出ステップで検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別ステップと、
   前記第１の選別ステップで選別された顔画像から目の開閉状態を取得する開眼状態検出ステップと、
   前記開眼状態検出ステップで取得した目の開閉状態をもとに、前記第１の選別ステップで選別した画像から開眼状態の良い画像を選別する第２の選別ステップと、
   前記第２の選別ステップで選別した画像を保存手段に保存する保存ステップと
   を備えたことを特徴とする画像処理方法。
9. 連続して撮影された複数の画像から被写体の顔状態の良い画像を選別する画像処理装置において、
   前記複数の画像から被写体の顔部が撮影されている画像を抽出する顔画像抽出手段と、
   前記顔画像抽出手段が抽出した画像から顔の向いている方向を検出する顔方向検出手段と、
   前記顔方向検出が検出した顔方向をもとに、正面又は正面に近い向きの顔が撮影されている画像を選別する第１の選別手段と、
   前記第１の選別手段が選別した顔画像から目の開閉状態を取得する開眼状態検出手段と、
   前記開眼状態検出手段が取得した目の開閉状態をもとに、前記第１の選別手段が選別した画像から開眼状態の良い画像を選別する第２の選別手段と、
   前記第２の選別手段が選別した画像を保存する保存手段と
   を備えたことを特徴とする画像処理装置。

Images