JP2008197889A - 静止画生成方法、静止画生成装置および静止画生成プログラム - Google Patents

Abstract

【課題】一つ以上の被写体全てが、撮影者の所望する表情で静止画である写真を生成することができるようにした静止画生成方法を提供する。
【解決手段】動画入力手段が動画を撮影する動画入力ステップＳ１と、顔画像領域識別手段が、前記動画から顔画像領域を識別する顔画像領域識別ステップＳ２と、表情検出手段が前記顔画像領域の表情を検出する表情検出ステップＳ３と、表情判定手段が、前記検出された表情が所定の表情と一致しているかを判定する表情判定ステップＳ４と、表情記録手段が、前記所定の表情と一致していると判定された顔画像領域をデータベースに記録しておく表情記録ステップＳ５，Ｓ６と、静止画生成手段が、前記記録された顔画像領域を合成して静止画を生成する静止画生成ステップＳ７とを有する。
【選択図】図１

Description

この発明は、動画像を撮影しながら、利用者が設定した所定の表情の被写体を、静止画として生成する静止画生成方法、静止画生成装置および静止画生成プログラムに関する。

写真機が発明されて以降、撮影者は、被写体の顔画像が、撮影者の所望するものであるか、例えば目はつぶっていないか、笑っているかなどを監視しながらシャッターを押してきた。しかしながら、全ての被写体が所望する顔画像となる確率は、被写体の数に比例して低くなるという問題が発生する。

これまで、顔画像領域を識別し、顔画像領域が例えば、笑顔の状態であるのかなどを検出する、下記非特許文献１〜３に記載される技術が公知のものとなっている。
Ｐ．Ｖｉｏｌａ，Ｍ．Ｊ．Ｊｏｎｅｓ：Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ．Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ，ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ ＣＶＰＲ，Ｖｏｌ．１．２００１，ｐｐ．５１１−５１８ Ｍ．Ｌａｄｅｓ，Ｊ．Ｃ．Ｖｏｒｂｒｕｅｇｇｅｎ，Ｊ．Ｂｕｈｍａｎｎ，Ｊ．Ｌａｎｇｅ，Ｃ．ｖ．ｄ．Ｍａｈｌｓｂｕｒｇ．Ｒ．Ｗｕｅｒｔｚ，Ｗ．Ｋｏｎｅｎ：Ｄｉｓｔｏｒｔｉｏｎ Ｉｎｖａｒｉａｎｔ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｔｈｅ Ｄｙｎａｍｉｃ Ｌｉｎｋ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＩＥＥＥ Ｔｒａｎｓａｃｉｏｎｓ ｏｎ Ｃｏｍｐｕｔｅｒｓ，ｖｏｌ．４２，Ｎｏ．３，Ｍａｒｃｈ １９９３ Ｕ．Ｋｏｗａｌｉｋ，Ｔ．Ａｏｋｉ，Ｈ．Ｙａｓｕｄａ：Ｕｓｉｎｇ Ａｕｔｏｍａｔｉｃ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ Ｃｏｎｔｅｎｔｓ Ｉｎｄｅｘｉｎｇ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｅｍｏｔｉｏｎａｌ Ｃｏｍｐｏｎｅｎｔ，Ｔｈｅ ２００６ ＩＦＩＰ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｂｅｄｄｅｄ ａｎｄ Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｍｐｕｔｉｎｇ（ＥＵＣ−０６），Ｓｅｏｕｌ，Ｋｏｒｅａ，Ａｕｇｕｓｔ０１−０４，２００６

しかしながら、前記の従来提案されている方法は、単に顔画像領域を識別して、その表情の状態を検出するに過ぎず、例えば、写真の被写体全員が撮影者の所望する顔画像であるかを撮影者に知らせてくれる方法についてはなんら示されていない。このため、写真撮影には適応できない。

例えば、非特許文献１、非特許文献２、非特許文献３などの公知の技術により、静止画の画像領域を識別し、笑顔の状態であるかを検出したとしても、複数人が所望の顔画像である確率が低いことに変わりはない。そのため、被写体に「所定の方角、例えば、カメラを向くこと、あるいは指定の位置を見ること」、「目を瞑らないこと」、「所望の表情であること」の何れか一つ以上の制約条件が必要となってしまう。

この発明は、上記事情に着目してなされたもので、その目的とするところは、一つ以上の被写体全てが、例えば笑顔の状態であるなど、撮影者の所望する表情で静止画である写真を生成することができるようにした静止画生成方法、静止画生成装置および静止画生成プログラムを提供することにある。

上記目的を達成するために、この発明は以下のような手段を講じたものである。すなわち、以下のような手段を備える。

第１の手段は、静止画を生成するために静止画の時系列である動画像に着目するもので、動画入力と共に、動画像に含まれる任意の静止画において、一つ以上の被写体の顔画像領域を識別し、この識別された顔画像の目が瞑っていないか、口元と眉毛の形状が、撮影者の所望の状態、例えば笑顔、または通常時のものであるかを判定する。

また第２の手段は、前記所望の顔画像を記録して合成し、静止画として生成する。

すなわち、請求項１に記載の静止画生成方法は、動画から静止画を生成する静止画生成方法において、動画入力手段が動画を撮影する動画入力ステップと、顔画像領域識別手段が、前記動画から顔画像領域を識別する顔画像領域識別ステップと、表情検出手段が前記顔画像領域の表情を検出する表情検出ステップと、表情判定手段が、前記検出された表情が所定の表情と一致しているかを判定する表情判定ステップと、表情記録手段が、前記所定の表情と一致していると判定された顔画像領域を記録しておく表情記録ステップと、静止画生成手段が、前記記録された顔画像領域を合成して静止画を生成する静止画生成ステップとを有することを特徴としている。

また請求項２に記載の静止画生成方法は、請求項１における前記表情検出ステップが、顔画像の目の開閉と、眉毛、口唇の形状の何れか一つ以上を検出することを特徴としている。

また請求項３に記載の静止画生成方法は、請求項２における前記表情判定ステップが、前記表情検出ステップで検出された前記顔画像の目が開いているか、眉毛、口唇の形状の一つ以上を用いて判定することを特徴としている。

また請求項５に記載の静止画生成装置は、動画から静止画を生成する静止画生成装置において、動画を撮影する動画入力手段と、前記動画から顔画像領域を識別する顔画像領域識別手段と、前記識別された顔画像領域の表情を検出する表情検出手段と、前記検出された表情が所定の表情と一致しているかを判定する表情判定手段と、前記所定の表情と一致していると判定された顔画像領域を記録しておく表情記録手段と、前記記録された顔画像領域を合成して静止画を生成する静止画生成手段とを有することを特徴としている。

また第３の手段は、撮影者の前記所望の画像である場合、撮影者に提示する。

すなわち請求項４に記載の静止画生成方法は、動画から静止画を生成する静止画生成方法において、動画表示画面付動画入力手段が動画を撮影する動画入力ステップと、顔画像領域識別手段が、前記動画から顔画像領域を識別する顔画像領域識別ステップと、表情検出手段が、前記識別された顔画像領域の表情を検出する表情検出ステップと、表情判定手段が、前記検出された表情が所定の表情と一致しているかを判定する表情判定ステップと、顔画像領域外郭提示手段が、前記所定の表情と一致していると判定された顔画像領域の外郭を前記動画表示画面付動画入力手段に提示する顔画像領域外郭提示ステップと、監視通知手段が、全顔画像領域に前記外郭提示がされたかを監視して前記動画表示画面付動画入力手段の利用者に通知する監視通知ステップとを有することを特徴としている。

また請求項６に記載の静止画生成装置は、動画から静止画を生成する静止画生成装置において、動画を撮影する動画表示画面付動画入力手段と、前記動画から顔画像領域を識別する顔画像領域識別手段と、前記識別された顔画像領域の表情を検出する表情検出手段と、前記検出された表情が所定の表情と一致しているかを判定する表情判定手段と、前記所定の表情と一致していると判定された顔画像領域の外郭を前記動画表示画面付動画入力手段に提示する顔画像領域外郭提示手段と、全顔画像領域に前記外郭提示がされたかを監視して前記動画表示画面付動画入力手段の利用者に通知する監視通知手段とを有することを特徴としている。

また請求項７に記載の静止画生成装置は、請求項５又は６において、前記表情検出手段は、顔画像の目の開閉と、眉毛および口唇の形状の何れか一つ以上を検出することを特徴としている。

また請求項８に記載の静止画生成装置は、請求項７において、前記表情判定手段は、前記表情検出手段で検出された前記顔画像の目が開いているか、眉毛、口唇の形状の一つ以上を用いて判定することを特徴としている。

また請求項９に記載の静止画生成装置は、請求項６乃至８のいずれか１項において、前記監視通知手段は、動画像の全被写体が所定の表情であることを検出して利用者にシャッターチャンスを通知することを特徴としている。

また請求項１０に記載の静止画生成プログラムは、コンピュータを、請求項５乃至９のいずれか１項に記載の静止画生成装置の各手段として機能させるためのプログラムとした。

この発明によれば、前記撮影された動画像を構成する任意の静止画を分析することにより、全ての被写体が所望の顔画像となる領域を抽出し、この領域を用いて静止画を合成する、または、一つ以上の被写体全てが所望の表情の状態であることを撮影者に知らせることで、撮影者の所望する写真または静止画を生成することが可能となる。

（１）請求項１〜１０に記載の発明によれば、動画入力と共に、動画像を構成する任意の静止画を分析することにより、静止画に含まれる一つ以上の被写体の顔画像領域を識別することが可能となる。この識別された顔画像の目が瞑っていないか、口元と眉毛の形状が、撮影者の所望の状態、例えば笑顔、または通常時のものであるかを判定することが可能となる。動画像は、例えば１５フレーム毎秒で１分間撮影しただけでも９００枚の静止画が存在するように、膨大な静止画を簡易に生成できる。本発明によれば、動画像を用いることで、所望の顔画像は前記膨大な静止画から検出すればよいため、被写体には何らかの制約条件が課せられることはなく自然の状態で撮影されるだけで所望の静止画が生成できるという効果がある。
（２）請求項１〜３、５、７、８，１０に記載の発明によれば、前記所望の顔画像を、前記動画像を構成する任意の静止画から抽出し、これらを合成することにより、前記所望の静止画を生成することが可能となる。
（３）請求項６〜１０に記載の発明によれば、撮影者の前記所望の顔画像である場合、撮影者にシャッターチャンスとして提示することが可能となり、撮影者の所望する写真または静止画を生成することが可能となる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
（実施例１）
図１にこの発明による静止画生成方法の基本手順を示す。まずステップＳ１において動画像をカメラ、撮影装置、録画機器等の動画入力手段で撮影する。

次に撮影した動画像をステップＳ２において顔画像領域識別手段により全ての被写体の顔画像領域を識別し、ステップＳ３において、表情検出手段により前記各画像領域の目の開閉状態、眉毛、口唇の形状が所定の表情の際に表出する状態であるかを検出する。

次にステップＳ４において、表情判定手段により所定の表情であるか否かを判定し、所定の表情である場合、ステップＳ５において表情記録手段により前記各顔画像領域をステップＳ６のデータベース（例えばデータメモリ）に記録する。

次に全ての前記顔画像領域が所定の状態となった段階で、ステップＳ７において静止画生成手段により前記データベースに記録された前記顔画像領域を合成して静止画を生成する。

図１の各手段およびデータベースは例えばコンピュータで構成され、各手段の処理はコンピュータのＣＰＵ（中央処理ユニット）が行うものである。

前記ステップＳ１の動画入力手段で撮影する典型的な動画の１フレームの模式図を、図２に示す。前記フレームには、５名の被写体が存在し、被写体を識別するため、ここではＡ、Ｂ、Ｃ、Ｄ、Ｅとする。

前記ステップＳ２の顔画像領域識別手段では、Ａ、Ｂ、Ｃ、Ｄ、Ｅの顔画像領域を識別する。例えば、図３の図中四角で囲った領域のように識別しても良い。

次にステップＳ３の表情検出手段について図４を参照しながら詳述する。図４は、図３のようにステップＳ２の顔画像領域識別手段で得られた領域を、Ｓ２列に被写体Ａ、Ｂ、Ｃ、Ｄ、Ｅの順に示している。例えば、Ａの場合、
・目は瞑っていない。

・口の形状は笑っている。

・眉毛の形状は笑っている。
というように、目、口唇、眉毛について分析する。この例では、前記目、口唇、眉毛全てを用いて表情検出しているが、本発明では何れか一つ以上を用いればよい。図４は、Ｓ３列に全被写体についての検出結果を示している。

前記ステップＳ２の顔画像領域識別手段と、ステップＳ３の表情検出手段については、例えば、非特許文献１、非特許文献２、非特許文献３により、公知の技術となっている。ここで、目の開閉について記述する。被写体によって、生来目の大きなもの、小さなものなど様々であるため、様々な被写体を一様な方法で目が閉じているか否かを決定することが困難であることが想定される。

本発明によれば、現フレームの目の特徴点と、一つ以上前のフレームとの特徴点の差分を計算しておき、状態が目の開閉のいずれの方向に変化しているかを計算することとする。この前記変化に一定の閾値を設定して目が開いている状態としても良く、また、目の開閉状態に関して、目が開いている確率を、例えばＡは８０％で開いているなどと算出しても良い。前記一定の閾値とは、被写体ごとに動的に設定すればよく、過去の前記差分から統計的に設定することが可能となる。これにより、被写体が生来持つ目の開閉状態の差異によらず、目が開いているか否かを判定することが可能となる。

前記目の特徴点をどの位置にするかについては、例えば、非特許文献１、非特許文献２、非特許文献３に記載されている。口唇、眉毛の動きについても、同様に前記非特許文献の位置を参考に、一つ以上前のフレームとの差分を計算することで、確率的に口唇が通常時、笑っているなどを求めても良い。

これより、前記ステップＳ４において表情判定手段が、例えば所定の表情が“笑顔”と設定された場合について詳述する。図４のＳ３列の検出結果から“笑顔”であるかを判定する。この際、０／１（笑顔でない＝０、笑顔＝１）で判定してもよく、笑顔らしさを尤度で算出しても良い。

例えば、図４のＳ４列には、尤度で検出した際のパーセンテージを示している。例えば、目を瞑っている場合は、いかなる所定の表情においても、また、口唇と眉毛が所定の表情であったとしても、尤度を低くするよう重み付けしても良い。

また、前記目の開いている確率、口唇又は／及び眉毛が笑っている確率を加算もしくは乗算した値に閾値を設けて、この閾値以上の状態を“笑顔”と判定しても良い。ここで、前記閾値は被写体ごとに動的に設定しても良い。

前記ステップＳ５において表情記録手段は、例えば、図４のＳ４列の尤度が６０％以上であるＳ２列の顔画像領域をステップＳ６のデータベースに記録する。例えば、所定の表情であるか否かを０／１で判定している場合には、すなわち笑顔と判定された１のみ記録しても良い。前記尤度として求めておくことの効果としては、過去のフレームにおいて既に記録された顔画像領域がある場合、それらの尤度を比較することにより、顔画像領域に優先順位をつけて記録することや、最尤度の顔画像領域のみを保存するなど応用することが可能となる。図４のＳ５列に、記録されるか否かを○×で示す。

次にステップＳ７における静止画生成手段について詳述する。ステップＳ６においてデータベースに記録された最尤度の顔画像領域を、任意の動画フレームに合成する。フレームは、例えば、合成に用いられる最尤度の顔画像領域が最も多く出現した時刻のフレームとしても良い。

ここで、顔画像領域をフレームに合成する際に、例えば、以下のような処理を行っても良い。顔画像領域と動画フレームの合成境界に、一定幅のマージンを設定し、このマージン部分は、動画フレームと顔画像領域の画素値の重み付き和を合成画像の画素値とする。この処理により、合成境界の継ぎ目の違和感を軽減することが可能となる。

また、動画入力中、カメラに動きがあった場合ついては、例えば、１枚の静止画を生成できるようにするために、隣り合う画像のずれや回転の量を画像処理やセンサーから取得し、ずれや回転を考慮して複数毎のフレームを合成して背景画像、すなわちパノラマ画像を合成することも可能である。これにより、解像度が低い動画用のカメラで、人物を順に撮影することで、解像度が高く、より被写体が所望の表情の顔画像となる静止画が生成可能となる。図５に合成した静止画を示す。上記の例では、所定の表情が“笑顔”のものとして説明したが、“通常時”としてもよい。

次に本発明の静止画生成装置の実施例を図６のブロック図とともに説明する。本実施例における静止画生成装置は中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１を備える。このＣＰＵ１１には、バス１２を介してプログラムメモリ１３とデータメモリ１４がそれぞれ接続されており、該ＣＰＵ１１はプログラムメモリ１３、データメモリ１４内の各部の処理を行う。

プログラムメモリ１３には、動画入力手段としての動画入力部１３ａ、顔画像領域識別手段としての顔画像領域識別部１３ｂ、表情検出手段としての表情検出部１３ｃ、表情判定手段としての表情判定部１３ｄ、表情記録手段としての表情記録部１３ｅ、静止画生成手段としての静止画生成部１３ｆが各々格納されている。データメモリ１４には、静止画１４ａ、顔画像領域１４ｂが記憶される。

上記のように構成された装置において、まず動画像を動画入力部１３ａで撮影し、撮影した動画像が静止画１４ａに記憶される。この静止画１４ａを顔画像領域識別部１３ｂで全ての被写体の顔画像領域を識別し、表情検出部１３ｃで前記各画像領域の目の開閉状態、眉毛、口唇の形状が所定の表情の際に表出する状態であるか検出し、表情判定部１３ｄで所定の表情であるか否かを判定し、所定の表情である場合、表情記録部１３ｅで顔画像領域１４ｂに記憶し、全ての前記顔画像領域が所定の状態となった段階で、静止画生成部１３ｆで前記顔画像領域１４ｂに記憶された前記顔画像領域を合成して静止画を生成し、静止画１４ａに記憶する。

上記の装置は、例えば、デジタルカメラ、ハンディカムなどの録画機器上で動作しても良い。あるいは、動画入力部以外はネットワーク上に接続されたサーバ上で動作もしくは記憶してもよい。

尚、動画入力部１３ａ、顔画像領域識別部１３ｂ、表情検出部１３ｃ、表情判定部１３ｄ、表情記録部１３ｅ、静止画生成部１３ｆはそれぞれ、前記静止画生成方法で説明した動画入力手段、顔画像領域識別手段、表情検出手段、表情判定手段、表情記録手段、静止画生成手段と同様の動作を行う。
（実施例２）
この発明による静止画生成装置の第２の実施例を述べる。

図７はその構成を示すブロック図である。静止画生成装置は中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１を備える。このＣＰＵ２１には、バス２２を介してプログラムメモリ２３とデータメモリ２４がそれぞれ接続されており、該ＣＰＵ２１はプログラムメモリ２３、データメモリ２４の各部の処理を行う。

プログラムメモリ２３には、動画表示画面付動画入力手段としての動画表示画面付動画入力部２３ａ、顔画像領域識別手段としての顔画像領域識別部２３ｂ、表情検出手段としての表情検出部２３ｃ、表情判定手段としての表情判定部２３ｄ、顔画像領域外郭提示手段としての顔画像領域外郭提示部２３ｅ、監視通知手段としての監視通知部２３ｆが格納されている。データメモリ２４には、静止画２４ａが記憶される。

図７において、実施例１の装置とは、動画表示画面付動画入力部２３ａ、顔画像領域外郭提示部２３ｅ、監視通知部２３ｆのみが異なり、それ以外の顔画像領域識別部２３ｂ、表情検出部２３ｃ、表情判定部２３ｄは、図６の顔画像領域識別部１３ｂ、表情検出部１３ｃ、表情判定部１３ｄと同様の動作を行う。

上記のように構成された装置において、まず動画像を動画表示画面付動画入力部２３ａで撮影し、撮影した動画像が静止画２４ａに記憶される。この静止画２４ａを顔画像領域識別部２３ｂで全ての被写体の顔画像領域を識別し、表情検出部２３ｃで前記各画像領域の目の開閉状態、眉毛、口唇の形状が所定の表情の際に表出する状態であるか検出し、表情判定部２３ｄで所定の表情であるか否かを判定する。

次に表情判定部２３ｄで所定の表情と判定された顔画像領域の外郭を、動画表示画面付動画入力部２３ａに、例えば、赤枠などで提示する。例えば、動画表示画面付動画入力部２３ａには、ディジタルカメラの液晶ディスプレイや、ファインダーから見える画像上に赤枠が提示され、その領域は、所定の表情であることが直感的に理解できる仕組みとなっている。

監視通知部２３ｆは、全ての被写体が所望の表情であるか否かを監視し、これが実現した場合利用者に楽音もしくは、前記ディジタルカメラの液晶ディスプレイやファインダーから見える画像上に何かしらのマークを提示する。例えば、前記赤枠が別の色に変わってもよく、画像全体を任意色の四角で囲ってもよく、★や！などのマークによって利用者に通知しても良い。この通知は利用者にシャッターチャンスを知らせるものであり、利用者はこれに倣いシャッターを押下することで、所望の表情の静止画を撮影することが可能となる。

また本発明の静止画生成方法は、前記図６、図７の装置の各部の動作を実行するものである。

また、図６、図７に記載の静止画生成装置の各部の機能をコンピュータに実行させるためのプログラムを構築するものである。

また前記プログラムを記録した記録媒体を、システム、又は装置に供給し、そのシステム又は装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することも可能である。この場合記録媒体から読み出されたプログラム自体が上記実施形態の機能を実現することになり、このプログラムを記録した記録媒体としては、例えば、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ及びＨＤＤ等がある。

本発明の静止画生成方法の一実施形態例の基本手順を示すフローチャート。 本発明の実施形態例を表し、撮影される動画の典型的な１フレームの模式図。 本発明の実施形態例における顔画像領域識別手段の識別例の説明図。 本発明の実施形態例における顔画像領域識別手段、表情検出手段、表情判定手段、表情記録手段の各処理の結果の一例を示す説明図。 本発明の実施形態例における静止画生成手段で生成した静止画の一例を示す説明図。 本発明の静止画生成装置の一実施形態例を示すブロック図。 本発明の静止画生成装置の他の実施形態例を示すブロック図。

符号の説明

１１，２１…ＣＰＵ、１２、２２…バス、１３，２３…プログラムメモリ、１３ａ…動画入力部、１３ｂ，２３ｂ…顔画像領域識別部、１３ｃ，２３ｃ…表情検出部、１３ｄ，２３ｄ…表情判定部、１３ｅ…表情記録部、１３ｆ…静止画生成部、１４，２４…データメモリ、１４ａ，２４ａ…静止画、１４ｂ…顔画像領域、２３ａ…動画表示画面付動画入力部、２３ｅ…顔画像領域外郭提示部、２３ｆ…監視通知部。

Claims (10)

1. 動画から静止画を生成する静止画生成方法において、
   動画入力手段が動画を撮影する動画入力ステップと、
   顔画像領域識別手段が、前記動画から顔画像領域を識別する顔画像領域識別ステップと、
   表情検出手段が前記顔画像領域の表情を検出する表情検出ステップと、
   表情判定手段が、前記検出された表情が所定の表情と一致しているかを判定する表情判定ステップと、
   表情記録手段が、前記所定の表情と一致していると判定された顔画像領域を記録しておく表情記録ステップと、
   静止画生成手段が、前記記録された顔画像領域を合成して静止画を生成する静止画生成ステップと
   を有することを特徴とする静止画生成方法。
2. 前記表情検出ステップは、顔画像の目の開閉と、眉毛、口唇の形状の何れか一つ以上を検出することを特徴とする請求項１に記載の静止画生成方法。
3. 前記表情判定ステップは、前記表情検出ステップで検出された前記顔画像の目が開いているか、眉毛、口唇の形状の一つ以上を用いて判定することを特徴とする請求項２に記載の静止画生成方法。
4. 動画から静止画を生成する静止画生成方法において、
   動画表示画面付動画入力手段が動画を撮影する動画入力ステップと、
   顔画像領域識別手段が、前記動画から顔画像領域を識別する顔画像領域識別ステップと、
   表情検出手段が、前記識別された顔画像領域の表情を検出する表情検出ステップと、
   表情判定手段が、前記検出された表情が所定の表情と一致しているかを判定する表情判定ステップと、
   顔画像領域外郭提示手段が、前記所定の表情と一致していると判定された顔画像領域の外郭を前記動画表示画面付動画入力手段に提示する顔画像領域外郭提示ステップと、
   監視通知手段が、全顔画像領域に前記外郭提示がされたかを監視して前記動画表示画面付動画入力手段の利用者に通知する監視通知ステップと
   を有することを特徴とする静止画生成方法。
5. 動画から静止画を生成する静止画生成装置において、
   動画を撮影する動画入力手段と、
   前記動画から顔画像領域を識別する顔画像領域識別手段と、
   前記識別された顔画像領域の表情を検出する表情検出手段と、
   前記検出された表情が所定の表情と一致しているかを判定する表情判定手段と、
   前記所定の表情と一致していると判定された顔画像領域を記録しておく表情記録手段と、
   前記記録された顔画像領域を合成して静止画を生成する静止画生成手段と
   を有することを特徴とする静止画生成装置。
6. 動画から静止画を生成する静止画生成装置において、
   動画を撮影する動画表示画面付動画入力手段と、
   前記動画から顔画像領域を識別する顔画像領域識別手段と、
   前記識別された顔画像領域の表情を検出する表情検出手段と、
   前記検出された表情が所定の表情と一致しているかを判定する表情判定手段と、
   前記所定の表情と一致していると判定された顔画像領域の外郭を前記動画表示画面付動画入力手段に提示する顔画像領域外郭提示手段と、
   全顔画像領域に前記外郭提示がされたかを監視して前記動画表示画面付動画入力手段の利用者に通知する監視通知手段と
   を有することを特徴とする静止画生成装置。
7. 前記表情検出手段は、顔画像の目の開閉と、眉毛および口唇の形状の何れか一つ以上を検出することを特徴とする請求項５又は６に記載の静止画生成装置。
8. 前記表情判定手段は、前記表情検出手段で検出された前記顔画像の目が開いているか、眉毛、口唇の形状の一つ以上を用いて判定することを特徴とする請求項７に記載の静止画生成装置。
9. 前記監視通知手段は、動画像の全被写体が所定の表情であることを検出して利用者にシャッターチャンスを通知することを特徴とする請求項６乃至８のいずれか１項に記載の静止画生成装置。
10. コンピュータを、請求項５乃至９のいずれか１項に記載の静止画生成装置の各手段として機能させるためのプログラムとしたことを特徴とする静止画生成プログラム。

Images