JP2011015161A - 静止画取得装置、静止画取得方法及び静止画取得プログラム - Google Patents

Abstract

【課題】類似した静止画を抽出する場合に、類似静止画を分類して、その中から最適な静止画を抽出可能とする。
【解決手段】静止画取得部１０５は、映像入力部１０４を介して入力された映像より静止画を順次１フレームずつを取得する。特徴算出部１０６では、静止画取得部１０５より入力した静止画に対して特徴指数を算出する。特徴比較部１０７は、順次入力される特徴指数を保持し、それぞれの特徴指数を比較し、画像の類似度を算出し、その類似度に応じ、複数の入力された静止画は類似した静止画で構成されるグループへと分類し、静止画を特定する情報とその分類情報とを保持し、分類すべき映像全ての処理が完了すると、静止画を特定する情報とその分類情報とを静止画選択部１０８へ出力する。静止画選択部１０８は、入力された分類情報をもとに、各グループより少なくても１枚の静止画を選択する。
【選択図】図１

Description

本発明は、撮影された映像から所望の静止画を抽出する静止画取得装置、静止画取得方法及び静止画 取得プログラムに関する。

従来、一般的な映像撮影装置は撮影画像サイズがＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ：７２０×４８０画素）程度であったが、近年、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：１９２０×１０８０画素）での撮影が可能となってきている。ＨＤサイズであれば映像中から１フレームを切り出しても静止画として十分鑑賞が可能な画質となっており、ユーザが切り出したい映像中のフレームを指定し、映像中から静止画を切り出し記録する映像撮影装置が開発されている。

また、撮影された映像の内容をいくつかの静止画で表示するための、代表画像を自動的に抽出する静止画像抽出装置が、後述する特許文献１に記載されている。この特許文献１では、動画像中のある映像フレームに関して、そのフレームが撮影された際のズーム操作などのカメラ操作情報、γ補正や色温度などの画像処理情報、およびパンニングなどの撮影状態情報をもとにして抽出すべき静止画を自動的に決定する装置が記載されている。

特開平７−２３３２２号公報

しかしながら、特許文献１の技術においては、動画像の各フレームに関してそれぞれ評価を行い静止画として抽出すべきか判断を行うため、類似した静止画を複数抽出する場合がある。つまり、カメラ操作情報、画像処理情報および撮影状態情報を利用し、撮影者が重要と考えていると推測される部分を抽出する方式であり、撮影者が良好な映像を撮影することを意図し、慎重に、長時間録画を行うほど、撮影者が重要である場面が長時間記録され、類似した静止画が数多く抽出されてしまうという問題があった。

本発明は、斯かる実情に鑑み、類似した静止画を抽出する場合に、類似静止画を分類して、その中から最適な静止画を抽出可能な静止画取得装置、静止画取得方法及び静止画取得プログラムを提供しようとするものである。

本発明は、映像を入力する映像入力部と、入力された映像から静止画を順次取得する静止画取得部と、取得した静止画の特徴指数を算出する特徴算出部と、前記特徴指数を比較して類似度を算出し、該類似度に応じてグループに分類する特徴比較部と、各グループの静止画の中から所定の条件を満たす特定の静止画を少なくとも１枚選択する静止画選択部と、を有することを特徴とする静止画取得装置である。

また、本発明の静止画取得装置は、前記静止画選択部が選択した静止画を記録する記録部を有することを特徴とする。

また、本発明の静止画取得装置は、静止画を前記記録部へ記録する際に、画像情報以外の付加情報を静止画に紐付けて記録することを特徴とする。

ここで、前記付加情報は、前記記録部へ記録する静止画の撮影時間や前記記録部へ記録する静止画の撮影時の位置情報であることを特徴とする。

また、本発明の静止画取得装置は、前記静止画選択部が、静止画を選択する際に、グループ内のそれぞれの静止画に対して画像処理を行って評価値を算出し、その評価値に基づいて選択を行うことを特徴とする。

ここで、前記評価値は、合焦度を表す値、静止画に占める対象物の面積比、対象物の変化量、静止画の輝度分布を示す値、あるいは指定画像と対象物の類似度であることを特徴とする。

また、本発明は、映像を入力する映像入力ステップと、入力された映像から静止画を順次取得する静止画取得ステップと、取得した静止画の特徴指数を算出する特徴算出ステップと、前記特徴指数を比較して類似度を算出し、該類似度に応じてグループに分類する特徴比較ステップと、各グループの静止画の中から所定の条件を満たす特定の静止画を少なくとも１枚選択する静止画選択ステップと、を有することを特徴とする静止画取得方法である。

また、本発明は、コンピュータに、前記静止画取得方法の各ステップを実行させるための静止画取得プログラムである。

本発明によれば、映像から得た複数の静止画を分類して、各分類の中から特定の静止画を選択するので、静止画の数を絞ってユニークな静止画を自動的に取得することが可能となる。特に、静止画群から画質や撮影意図の面から良好な画像を自動的に取得することが可能となる。

本発明に係る静止画取得装置の構成を表したブロック図である。 本発明に係る静止画取得装置の動作を表したフローチャートである。 高周波成分による静止画のグループ分類を表した図である。 静止画のグループ分類の中から対象物体の面積による静止画選択を表した図である。 静止画のグループ分類の中から笑顔の度合いによる静止画選択を表した図である。 静止画のグループ分類の中から輝度分布による静止画選択を表した図である。 静止画のグループ分類の中から指定人物の存在による静止画選択を表した図である。

以下、本発明の実施の形態を添付図面を参照して説明する。

＜静止画取得装置の構成＞
本発明の静止画取得装置１００の一実施形態のブロック図を図１に示す。図１に示す静止画取得装置１００は、動画記録部１０１、動画復号部１０２、画像出力部１０３、映像入力部１０４、静止画取得部１０５、特徴算出部１０６、特徴比較部１０７、静止画選択部１０８、静止画符号化部１０９、静止画記録部１１０、静止画復号部１１１から構成される。

動画記録部１０１は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）のような光学メディアや、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）のような磁気メディア、またはフラッシュＲＯＭのような半導体で構成され、撮影された映像情報を記録している。映像情報は、情報量の圧縮を行うため、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＨ．２６４などの動画符号化器により符号化された情報であるのが一般的である。

動画復号部１０２は、動画記録部１０１から圧縮された映像情報を読み出し、符号化された情報の復号を行い、映像を生成する。復号された映像情報は、通常にユーザが再生を行う場合は、前記生成された映像を画像出力部１０３で外部の再生装置へ出力を行う。復号された映像情報から静止画を取得する場合は、前記生成された映像は映像入力部１０４へ入力される。

映像入力部１０４は、復号映像情報を静止画取得部１０５へ出力する。映像入力部１０４は、前記のように静止画取得装置１００内の動画記録部１０１および動画復号部１０２より映像を入力するだけでなく、外部の映像出力装置などから映像を入力してもよい。

静止画取得部１０５は、入力された映像より静止画を順次１フレームずつを取得する。取得した静止画は特徴算出部１０６へ出力される。
特徴算出部１０６では、静止画取得部１０５より入力した静止画に対して特徴指数を算出する。特徴指数は静止画の特徴を指数化したもので、静止画内の輝度・色の分布、物体の配置などをもとにして算出される。入力された静止画を特定する情報（例えば撮影時刻や、フレーム番号）と算出された特徴指数は特徴比較部１０７へ出力される。

特徴比較部１０７は、順次入力される特徴指数を保持し、それぞれの特徴指数を比較し、画像の類似度を算出する。前記類似度に応じ、複数の入力された静止画は類似した静止画で構成されるグループへと分類される。特徴比較部１０７は、分類すべき静止画全てに対して処理を行い、分類が完了すると、入力された静止画を特定する情報と分類情報とを静止画選択部１０８へ出力する。

静止画選択部１０８は入力された分類情報をもとに、各グループより少なくても１枚の静止画を選択する。各グループは異なる画像特徴を有しており、各グループより特定の静止画を選択することにより、ユニークな静止画を取得することが可能となり、静止画数を絞ることができる。なお、各グループから静止画を選択する際に、グループに属する静止画が極端に少ない、あるいは暗すぎる画像のグループ（明らかに画質が悪いグループ）などからは静止画を取得しないことがあってもよい。

なお、静止画取得部１０５は、その後の処理負荷や一時記憶領域の制限のため、映像中の全てのフレームに関して取得せず、３秒に１度静止画を取得するなど、こま落しを行ってもよい。

静止画選択部１０８で選択された静止画を記録するため、静止画選択部１０８は、各分類グループから選択した静止画を特定する情報を動画復号部１０２へ出力する。静止画を特定する情報を入力した動画復号部１０２は動画記録部１０１より該当する静止画を取得するために必要な情報を読み出し、復号を行う。復号により生成された映像は映像入力部１０４を通じ、静止画取得部１０５へと入力される。

静止画取得部１０５は取得した静止画を静止画符号化部１０９へと出力する。静止画符号化部１０９は入力された静止画の情報量を少なくするためにＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの方式で圧縮し、静止画記録部１１０へと出力し記録する。なお、静止画記録部１１０は動画記録部１０１を兼ねても構わない。また、静止画記録部１１０の記憶容量が十分であれば、前記のように圧縮処理を行わず、生データのまま記録してもよい。

なお、記録された静止画を表示する際は、静止画復号部１１１は、記録部１１４より符号化データを読み出し、復号処理を実施し、静止画を生成する。生成された静止画は画像出力部１０３より外部の表示装置等に出力されて表示される。

＜静止画取得装置の動作＞
次に、静止画取得装置１００の静止画取得動作について説明する。図２は、本発明に係る静止画取得装置の静止画取得動作を表わすフローチャートである。

ユーザは、予め静止画を取得する映像（動画）を指定しておく。１つの映像の中の特定の取得領域を指定してもよいし、複数の映像を指定してもよい。
静止画取得装置１００の動画復号部１０２は、動画記録部１０１などから圧縮された指定映像情報を読み出し、符号化された情報の復号を行い、映像を生成する（ステップＳ１）。静止画取得部１０５は、映像入力部１０４を介して入力された映像より静止画を順次１フレームずつを取得する（ステップＳ２）。

特徴算出部１０６では、静止画取得部１０５より入力した静止画に対して特徴指数を算出する（ステップＳ３）。特徴比較部１０７は、順次入力される特徴指数を保持し、それぞれの特徴指数を比較し、画像の類似度を算出し、その類似度に応じ、複数の入力された静止画は類似した静止画で構成されるグループへと分類する（ステップＳ４）。ユーザに指定された映像が全て復号されるまで、ステップＳ１〜Ｓ４の処理は続けられる（ステップＳ５）。特徴比較部１０７は、静止画を特定する情報とその分類情報とを保持し、分類すべき映像全ての処理が完了すると、静止画を特定する情報とその分類情報とを静止画選択部１０８へ出力する。

静止画選択部１０８は、入力された分類情報をもとに、各グループより少なくても１枚の静止画を選択する（ステップＳ６）。選択基準は、予めユーザが設定しており、その基準に基づいて静止画選択部１０８が選択する。

静止画選択部１０８は各分類グループから選択した静止画を特定する情報を動画復号部１０２へ出力し、動画復号部１０２は動画記録部１０１より該当する静止画を取得するために必要な映像情報を読み出し、復号を行う（ステップＳ７）。静止画取得部１０５は、復号映像から静止画選択部１０８からの静止画特定情報に基づいて静止画を取得する（ステップＳ８）。取得した静止画を静止画符号化部１０９へと出力し、静止画符号化部１０９は入力された静止画の情報量を少なくするために圧縮し、静止画記録部１１０へと出力し記録する（ステップＳ９）。
静止画を再生する場合は、静止画復号部１１１が静止画記録部１１０から静止画を読み出して復号し、画像出力部１０３から表示装置などへ出力する。

＜静止画を記録する場合の付加情報＞
静止画を静止画記録部１１０へ記録する際に、画像情報そのものだけではなく、後の検索性の向上などのために付加情報を該静止画へ紐付けて記録を行う。付加情報は、静止画を符号化したファイルと別のファイルへ記録しても良いし、静止画を符号化したファイルと同じファイルへ多重化して記録してもよい。

前記付加情報のひとつとして、該静止画の撮影時間を記録する。撮影時間は、動画記録部１０１に記録されている映像情報に記録されている各フレームの時間を、前記静止画を特定する情報のひとつとして出力することにより特定が可能である。なお、映像情報に各フレームの時間が付加されていない場合は、映像の記録開始時間と、フレームレートおよび、映像開始からのフレーム数などにより算出してもよい。

付加情報のひとつとして撮影時間を記録することにより、多くの静止画より所望の静止画を選択することが容易になる。また、静止画を選択することにより映像内の特定シーンを選択することが可能となり、映像内の観たいシーンを容易に探すことも可能となる。

また、前記付加情報のひとつとして、該静止画を撮影した際の位置情報を記録する。位置情報は、動画記録部１０１に記録されている映像情報に記録されている各フレームの位置情報を、前記静止画を特定する情報のひとつとして出力することにより特定が可能である。なお、映像情報には位置情報が記録されておらず、逐次の位置情報と、その位置情報を記録した時間が記録されるファイルが用意される場合には、静止画の撮影時間と位置情報を記録するファイルより、静止画撮影時の位置情報を取得してもよい。

なお、位置情報は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信装置により取得される場合が一般的であるが、その他の方式や、ＧＰＳとその他の方式のハイブリッド方式であっても良い。

付加情報のひとつとして位置情報を記録することにより、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）の地図ソフトウェアと連動して、静止画の撮影場所を地図上に表示することなどが可能となり、取得した静止画の利用範囲を広げることが可能となる。

＜分類グループからの静止画選択＞
次に、静止画選択部１０８が分類グループの中から特定の静止画を選択する処理について、詳しく説明する。
特徴比較部１０７により、図３〜図７に示すように、類似度に応じて静止画が分類されている場合を考える。静止画取得部１０５で取得した静止画が、グループ２００（図３）、グループ２１０（図４）、グループ２２０（図５）、グループ２３０（図６）および、グループ２４０（図７）に分類されている。このとき、各グループからそれぞれ１枚の静止画を取得する場合について説明する。

まず静止画選択部１０８は、図３のグループ２００に含まれる画像２０１および画像２０２のそれぞれに対して画像処理を実施し、評価値をそれぞれ取得する。その後、それぞれの評価値を比較し、最も望ましいものをグループから取得すべき画像と決定する。グループ２１０、グループ２２０、グループ２３０および、グループ２４０に関しても同様に、グループに含まれる画像それぞれに対して評価値を算出し、グループ内で評価値を比較し、取得すべき画像を決定する。

なお、今回の例では、それぞれのグループから取得する画像を１枚の例を示したが、２枚以上取得する際には、評価値を比較し評価値の良いものから取得すべき画像と決定すればよい。

前記評価値を、高周波成分を通過させるフィルタでフィルタリングを行い、その画像に含まれる高周波成分の総量とする。これにより、評価値が高いほど画像が先鋭であるので、より撮影時のピントが合っている、つまり合焦している望ましい静止画と考えることができる。

図３のグループ２００に対して適用をしたことを考える。静止画２０１の高周波成分の総量と、静止画２０２の高周波成分の総量とを比較すると、静止画２０１の高周波成分の総量が大きく、静止画２０１は静止画２０２と比較するとよりピントの合った画像であると判断され、グループ２００から静止画２０１を取得すると決定される。

なお、本例では各静止画に画像処理を行い合焦評価を行ったが、映像撮影時に各フレームの合焦情報が記録されていれば、それを利用しても良い。また、合焦評価を行う範囲を本例では画像全体として説明したが、評価範囲は画像全体でなく限定された範囲でもよい。また、本例ではグループに属している静止画を２枚で説明したが、実際の枚数は２枚に限定されるものではない。

次に、前記評価値を、対象物体の面積を求め、その面積とする。これにより、評価値が高いほど対象物体が大きく撮影されているので、より望ましい静止画と考えることができる。
図４のグループ２１０に対して、対象物を建築物として適用をしたことを考える。静止画２１１に含まれる建築物の面積２１３と、静止画２１２に含まれる建築物の面積２１４とを比較すると、静止画２１２に含まれる建築物の面積２１４の方が大きく、静止画２１２は静止画２１１と比較するとより対象物が大きく撮影された画像であると判断され、グループ２１０から静止画２１２を取得すると決定される。

なお、本例では各静止画に画像処理を行い対象物の面積算出を行ったが、映像撮影時に各フレームの対象物の面積が記録されていれば、それを利用しても良い。また、対象物の数を本例ではひとつとして説明したが、対象物の数は複数でもよい。また、本例ではグループに属している静止画を２枚で説明したが、実際の枚数は２枚に限定されるものではない。

前記評価値を、対象物体の変化量を求め、その変化量とする。これにより、対象物体が望ましい状態になった場合を選択することが可能となる。
図５のグループ２２０に対して、対象物を人、変化量を笑顔の度合いを表すパラメータとして適用をしたことを考える。静止画２２１、静止画２２２および、静止画２２３から対象物を抽出し、それぞれの笑顔の度合いを算出する。結果、静止画２２１が最も笑顔の度合いが高く、対象人物が良好な状態で撮影された画像であると判断され、グループ２２０から静止画２２１を取得すると決定される。

なお、本例では各静止画に画像処理を行い対象物の変化量算出を行ったが、映像撮影時に各フレームの対象物の変化量が記録されていれば、それを利用しても良い。また、評価を行う対象物体数を本例ではひとつとして説明したが、対象物体数は複数でもよい。また、本例ではグループに属している静止画を３枚で説明したが、実際の枚数は３枚に限定されるものではない。

前記評価値を、画像内の輝度分布とする。輝度分布が広いほど評価値が高いとすると、評価値が高いほど輝度のダイナミックレンジが広く、適切に撮影されているので、より望ましい静止画と考えることができる。
図６のグループ２３０に対して適用をしたことを考える。静止画２３１は画像全体が暗く、輝度分布は低い部分に偏っている。また、静止画２３２は画像全体が適切な露出で撮影されており、輝度分布は低い部分から高い部分まで満遍なく分布している。静止画２３１と静止画２３２の評価値とを比較すると、静止画２３２の評価値の方が大きく、静止画２３２はより望ましい画像であると判断され、グループ２３０から静止画２３２を取得すると決定される。

なお、本例では各静止画に画像処理を行い輝度分布の算出を行ったが、映像撮影時に各フレームの輝度分布が記録されていれば、それを利用しても良い。また、輝度分布を求める範囲を本例では画像全体として説明したが、評価範囲は画像全体でなく限定された範囲でもよい。また、本例ではグループに属している静止画を２枚で説明したが、実際の枚数は２枚に限定されるものではない。

前記評価値を、指定画像と対象物の類似度とする。予め設定された指定画像と、画像内の対象物の類似度が高いほど評価値が高いとすると、評価値が高いほど指定画像が撮影されている確率が高くなる。
図７のグループ２４０に対して、指定画像を人物Ｂとして適用をしたことを考える。静止画２４２および静止画２４３は人物Ｂが写っておらず、人物Ｂが写っている静止画２４１より評価値が低いため、静止画２４１が望ましい画像であると判断され、グループ２４０から静止画２４１を取得すると決定される。

なお、本例では各静止画に画像処理を行い類似度の算出を行ったが、映像撮影時に各フレームの類似度が記録されていれば、それを利用しても良い。また、指定画像をひとつとして説明したが、指定画像は複数あり、それぞれの類似度を評価値として利用してもよい。また、本例ではグループに属している静止画を３枚で説明したが、実際の枚数は３枚に限定されるものではない。

上述したように、上記実施形態に係る情報取得装置の機能は、コンピュータによって実現することができる。その場合、このような機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

１００ 静止画取得装置
１０１ 動画記録部
１０２ 動画復号部
１０３ 画像出力部
１０４ 映像入力部
１０５ 静止画取得部
１０６ 特徴算出部
１０７ 特徴比較部
１０８ 静止画選択部
１０９ 静止画符号化部
１１０ 静止画記録部
１１１ 静止画復号部
２００、２１０、２２０、２３０、２４０ 分類画像グループ
２０１ ピントが合っている静止画
２０２ ピントが合っていない静止画
２１１ 対象物が小さい静止画
２１２ 対象物が大きい静止画
２１３、２１４ 対象物の範囲
２２１ 対象物の変化量が望ましい静止画
２２２、２２３ 対象物の変化が望ましくない静止画
２３１ 輝度分布が狭い静止画
２３２ 輝度分布が広い静止画
２４１ 指定画像が映っている静止画
２４２、２４３ 指定画像が映っていない静止画

Claims (13)

1. 映像を入力する映像入力部と、
   入力された映像から静止画を順次取得する静止画取得部と、
   取得した静止画の特徴指数を算出する特徴算出部と、
   前記特徴指数を比較して類似度を算出し、該類似度に応じてグループに分類する特徴比較部と、
   各グループの静止画の中から所定の条件を満たす特定の静止画を少なくとも１枚選択する静止画選択部と、
   を有することを特徴とする静止画取得装置。
2. 前記静止画選択部が選択した静止画を記録する記録部を有することを特徴とする請求項１の静止画取得装置。
3. 静止画を前記記録部へ記録する際に、画像情報以外の付加情報を静止画に紐付けて記録することを特徴とする請求項２の静止画取得装置。
4. 前記付加情報は、前記記録部へ記録する静止画の撮影時間であることを特徴とする請求項３の静止画取得装置。
5. 前記付加情報は、前記記録部へ記録する静止画の撮影時の位置情報であることを特徴とする請求項３の静止画取得装置。
6. 前記静止画選択部は、静止画を選択する際に、グループ内のそれぞれの静止画に対して画像処理を行って評価値を算出し、その評価値に基づいて選択を行うことを特徴とする請求項１の静止画取得装置。
7. 前記評価値は、合焦度を表す値であることを特徴とする請求項６の静止画取得装置。
8. 前記評価値は、静止画に占める対象物の面積比であることを特徴とする請求項６の静止画取得装置。
9. 前記評価値は、対象物の変化量であることを特徴とする請求項６の静止画取得装置。
10. 前記評価値は、静止画の輝度分布を示す値であることを特徴とする請求項６の静止画取得装置。
11. 前記評価値は、指定画像と対象物の類似度であることを特徴とする請求項６の静止画取得装置。
12. 映像を入力する映像入力ステップと、
    入力された映像から静止画を順次取得する静止画取得ステップと、
    取得した静止画の特徴指数を算出する特徴算出ステップと、
    前記特徴指数を比較して類似度を算出し、該類似度に応じてグループに分類する特徴比較ステップと、
    各グループの静止画の中から所定の条件を満たす特定の静止画を少なくとも１枚選択する静止画選択ステップと、
    を有することを特徴とする静止画取得方法。
13. コンピュータに、請求項１２に記載の静止画取得方法の各ステップを実行させるための静止画取得プログラム。

Images