JP2007189324A - 静止画抽出システム - Google Patents

Abstract

【課題】撮影した動画の中から静止画を抽出するに際し、意図した通りの静止画を確実に抽出可能な静止画抽出システムを提供する。
【解決手段】動画データの中から静止画データを抽出する静止画抽出システムであって、動画データの中に記録されているインデックスを検出するインデックス検出手段２２と、インデックスが形成されている位置に記録されている動画データ部分を静止画データとして抽出するか否かを判定する第１抽出判定手段２３と、インデックス形成位置から抽出しない場合、当該位置の前後位置に記録されている動画データ部分を静止画データとして抽出可能か否かを判定する第２抽出判定手段２４と、第１抽出判定手段２３あるいは第２抽出判定手段２４による判定結果に基づいて抽出すべき静止画データを特定可能に構成した。
【選択図】図１

Description

本発明は、動画データの中から静止画データを抽出する静止画抽出システムに関するものである。

動画を撮影するビデオカメラの画質は年々向上してきており、近年においては、家庭においてもハイビジョン方式による画像を撮影可能なビデオカメラも出現している。従来のＳＤ方式の動画像の場合、標準画素数は７２０×４８０であり、これを写真プリントとして出力すると、Ｌ判サイズであれば、何とか鑑賞に堪えうる程度である。一方、ハイビジョン方式の場合、画素数は１９２０×１０８０（家庭用は、例えば１４４０×８１０）であり、Ｌ判サイズであれば、十分な画質を得ることができる。

また、ビデオカメラには動画撮影機能のほかに静止画撮影モードを備えている機種が現在一般的である。静止画モードとして撮影した画像は、静止画撮影専用のデジタルカメラと同等の画質を有する機種も少なくない。しかしながら、動画撮影中に静止画を撮影した場合には、その静止画の画質は動画と基本的に同じである。従って、ハイビジョンカメラは、動画撮影中の静止画撮影や、撮影済みの動画から静止画を抽出する場合に、従来方式に比べて画質の点で有利である。従って、動画の画質向上に伴い、動画から静止画を抽出して写真プリントを作製するケースも増えてくることが予想される。

ここで、動画の中から静止画を抽出してプリント処理を行う場合、時間的に連続した動画データの中から特定のコマ（静止画データ）を抽出する必要がある。かかる抽出作業は、動画の撮影者や被写体となった当事者により行われる必要がある。しかし、連続する画像の中から目的とする静止画を特定する作業は困難である。例えば、動画撮影中に静止画として記録したい状況が生じた場合、動画撮影中に特定の操作を行なうことで静止画を特定する方法が考えられるが、操作を行なった時点における静止画が実際に意図した静止画となっているとは限らず、例えば、静止画として記録したいと思った時点と、操作を行った時点とは時間的にずれが生じており、必ずしも意図した静止画が得られるとは限らない。

本発明は上記実情に鑑みてなされたものであり、その課題は、撮影した動画の中から静止画を抽出するに際し、意図した通りの静止画を確実に抽出可能な静止画抽出システムを提供することである。

上記課題を解決するため本発明に係る静止画抽出システムは、
動画データの中から静止画データを抽出する静止画抽出システムであって、
動画データの中に記録されているインデックスを検出するインデックス検出手段と、
インデックスが形成されている位置の前後位置に記録されている動画データ部分を静止画データとして抽出可能か否かを判定する抽出判定部とを備え、
この抽出判定部による判定結果に基づいて抽出すべき静止画データを特定可能に構成したことを特徴とするものである。

かかる構成による静止画抽出システムの作用・効果を説明する。このシステムには、動画データの中に記録されているインデックスを検出することができる。かかるインデックスは、動画データの中に撮影者の意図で記録したり、所定の条件・ルールなどにより自動的に記録されるものである。そして、このインデックス形成位置の前後の位置に記録されている動画データ部分を静止画データとして抽出可能であれば、これを静止画として抽出することができる。例えば、撮影者が動画撮影中にインデックスを記録する場合、撮影者が静止画として抽出しようと思った時点にインデックスを記録したとしても、操作の時間遅れが生じてしまい、意図していない静止画データが抽出されることがある。また、動画データの場合は、類似する静止画データが時間軸に沿って並べられるが、インデックスが記録された位置の動画データ部分よりもその前後の動画データのほうが画質的に好ましいというケースもありうる。そこで、上記のように抽出判定部により静止画データを抽出可能に構成することで、意図した通りの静止画を確実に抽出可能になる。

なお、インデックス形成位置のどの程度の前後位置から抽出するかについては、適宜設定することができ、例えば、デジタルカメラにおいて所定の時間（例えば、０．５秒）を設定可能にしてもよいし、動画データが取り込まれるコンピュータにおいて設定可能に構成してもよい。

本発明において、前記抽出判定部は、
インデックスが形成されている位置に記録されている動画データ部分を静止画データとして抽出するか否かを判定する第１抽出判定手段と、
前記インデックス形成位置から抽出しない場合、当該位置の前後位置に記録されている動画データ部分を静止画データとして抽出可能か否かを判定する第２抽出判定手段とを備え、
第１抽出判定手段あるいは第２抽出判定手段による判定結果に基づいて抽出すべき静止画データを特定可能に構成することが好ましい。

この構成によると、抽出判定部は、第１抽出判定手段と第２抽出判定手段の機能を備えており、まずは、第１抽出判定手段により、インデックス形成位置における動画データ部分を静止画データとして抽出可能か否かを判定する。インデックス形成位置における動画データ部分が静止画データとして利用できるものであれば、これに基づいて静止画を特定することができる。また、静止画データとして抽出しない場合には、第２抽出判定手段の機能により、その前後の位置に記録されている動画データ部分を静止画データとして抽出可能である。これにより、さらに意図した通りの静止画を確実に抽出可能になる。

本発明に係る抽出判定部は、前記インデックス形成位置よりも所定時間前の位置から静止画データを抽出することが好ましい。

例えば、撮影者が動画撮影中にインデックスを記録する場合、記録するための操作の時間遅れを考慮して、インデックス形成位置よりも所定時間前の位置から静止画データを抽出する。これにより、撮影者が意図した通りの静止画データを抽出することができる。

本発明に係る第１抽出判定手段は、静止画データに含まれる主被写体の顔情報を検出し、この顔情報から目つぶりが検出された場合、前記インデックス形成位置から静止画データを抽出しないことが好ましい。

静止画データに目つぶりが検出された場合、品質の良いプリントとは言えないため、そのインデックス形成位置から静止画データを抽出しないようにする。この場合、例えば、インデックス形成位置の前後から静止画データを抽出することで、目つぶりのない静止画データを抽出できる可能性がある。

本発明に係る第１抽出判定手段は、インデックス形成位置の前後でシーンが切り替わっていると判定した場合、前記インデックス形成位置から静止画データを抽出しないことが好ましい。

インデックス形成位置の前後でシーンが切り替わっているのは、撮影者の静止画データを抽出しようとする意図ではなく、例えば、時間的な区切れを示すなどの別の目的でインデックスが記録された可能性がある。従って、かかる位置から静止画データを抽出するのは、意図しないプリントを作製してしまう可能性がある。従って、かかる位置からは静止画データを抽出しないようにすることが好ましい。

本発明に係る静止画抽出システムの好適な実施形態を図面を用いて説明する。図１は、システムの構成を示す概念図である。

＜システムの構成＞
ビデオカメラ１は、主要な機能として動画撮影機能１ａを備えている。また、静止画撮影機能１ｂも備えており、静止画も撮影することができる。特に、動画撮影中に特定のシーンを抽出して静止画データを取り出すための機能を提供する。そのため、インデックス記録手段１ｃを備えており、動画撮影中にインデックスを記録することで、そのインデックス形成位置を基準として静止画データを抽出することができる。インデックスを記録する方法としては、ビデオカメラ１に設けられた特定の操作ボタンの押圧あるいはスライド操作、シャッターボタンの押圧操作などが例としてあげられる。また、撮影シーンの切り替わりや時間的な区切りを記録するために、自動的にインデックスを記録する機能なども備えられている。

画像記録手段１ｄは撮影した動画データを記録するための手段を提供するものであり、ＤＶテープなどの適宜の記録用テープや、スマートメディア等の適宜の記録媒体に記録することができる。

ビデオカメラ１のタイプについては、従来方式であるＳＤ方式や、ハイビジョン（ＨＤ）方式などがあるが、静止画データを抽出して写真プリントを作製する場合には、画質の点でハイビジョン方式のビデオカメラ１が好ましいが、本発明としては特定の方式に限定されるものではない。

ビデオカメラ１の撮影者が動画撮影中に写真プリントとして切り出したいシーンが出現した場合、インデックス記録手段１ｃを操作してインデックスを記録する。写真プリントを作製したい場合は、ビデオカメラ１を写真店に持ち込んで注文を行なう。

次に、写真店側の構成について説明する。写真店には、端末処理装置２が設けられており、動画データから静止画データを抽出する機能を備えている。端末処理装置２は、パソコン等の汎用的なコンピュータにより構成することができる。

動画データ取得手段２０は、ビデオカメラ１に記録されている動画データを取得することができる。例えば、顧客の持ち込んだビデオカメラ１と端末処理装置２を通信ケーブル（例えば、ＵＳＢケーブル）により接続し、動画データを端末処理装置２内部に取り込むことができる。取得した動画データは、動画データ保存手段２１に保存される。動画データ保存手段２１は、ハードディスクのような大容量記憶装置により構成することができる。モニター２ａは、取得した動画データや抽出された静止画データなどを画面表示する機能を有する。

インデックス検出手段２２は、動画データの中に記録されているインデックス信号を検出する機能を有する。このインデックスが形成されている位置を基準として、動画データ部分から静止画データを抽出可能か否かが判定されることになる。

検出されたインデックス形成位置を基準として、静止画データを抽出するか否かの判定機能について説明する。第１抽出判定手段２３は、インデックス形成位置に記録されている動画データ部分から静止画データを抽出可能か否かを判定する。第２抽出判定手段２４は、インデックス形成位置から静止画データを抽出しない場合、当該インデックス形成位置の前後に記録されている動画データ部分から静止画データを抽出可能か否かを判定する。第１抽出判定手段２３及び第２抽出判定手段２４は、抽出判定部として機能する。

上記判定機能による判定を行なうために、画像処理部２５と設定部２６が設けられている。これは、インデックス形成位置における動画データ部分をそのまま静止画データとして抽出した場合、画質の点で問題のある写真プリントが作製されてしまうことを防止するためである。

画像処理部２５は、抽出されようとする静止画データを画像処理することで種々の検出を行う機能を有するものであり、図１には、その主要な機能を例示している。

目つぶり検出手段２５ａは、撮影されている人物に目つぶりがあるか否かを検出するものである。画像中に存在する人物の顔を検出する技術や顔の中の目を検出する技術については公知であり、これを応用することで目つぶりを検出することができる。また、画像中に複数の人物が検出された場合は、画像の中央あるいは中央に近い人物が主要被写体であるとし、その人物の目つぶりを検出することができる。目つぶりをしているか否かについては、顔中の目の見開き部分の長さと、顔の輪郭情報を比較して、所定長さ（あるいは所定比率）よりも小さい場合には、目つぶりをしていると検出することができる。目つぶりをしている画像から写真プリントを作製することは好ましくないので、第１抽出判定手段２３は当該動画データ部分からは静止画データを抽出しない。

ブレ検出手段２５ｂは、抽出されようとする静止画データにブレが存在するか否かを検出する。ブレの検出については、種々の方法が考えられるが、例えば次のような方法により検出することができる。まず、エッジ検出を行い、エッジが急峻な画像ほどブレが少ないと判断する（判断１）。また、動画データがインターレース方式で記録されている場合、奇数ラインと偶数ラインの差異が小さいほどブレが少ないと判断できる(判断２)。画像中のいくつかの小領域について標準偏差を求め、これが大きいほどブレが小さいと判断できる（判断３）。空間周波数が高いものほどブレが小さいと判断できる（判断４）。前後のコマ画像との差分を演算し、差が小さいコマほどブレが小さいと判断できる（判断５）。

これらのいくつかの判断手法のうち、少なくとも１つを用いてブレの大小について判断することができる。また、画像中に人物の顔が撮影されている場合は、顔における鮮鋭度を演算し、鮮鋭度の高いものを重視するように判断することが好ましい。また、画像中央部を周辺領域よりも重視するように判断する。ここで、重視するとは、例えば、前後の２枚のコマ画像について、上記判断１〜５が同じ状態であった場合、いずれを静止画データとして抽出するかの指標とすることができる。ブレの大きな画像については、写真プリントを作製することは好ましくなく、第１抽出判定手段２３は当該動画データ部分から静止画データを抽出しない。

シーン切り換わり判定手段２５ｃは、インデックス形成位置の前後において撮影シーンの切り換わりがあるか否かを判定する。シーンの切り換わりが存在する場合は、インデックスが撮影者の意図により記録されたものではなく、自動的に記録されたものであったり、静止画データを抽出する目的とは異なる目的で記録されるものであるから、シーンの切り換わりが存在する場合は、第１抽出判定手段２３は、静止画データを抽出しないようにする。

設定部２６は、第１抽出判定手段２３が静止画データを抽出しないと判定した場合、第２抽出判定手段２４がインデックス形成位置の前後位置から静止画データを抽出する場合の指標を設定するものである。

時間設定手段２６ａは、インデックス形成位置に対して前後位置にある動画データ部分から静止画データを抽出する場合の時間が設定されている。例えば、撮影者が動画撮影中に静止画として切り出したいシーンが出現してインデックスを記録したとしても、操作遅れが生じるため、必ずしも撮影者が意図する静止画が切り出せない可能性がある。また、そのインデックス形成位置における静止画には、目つぶりやブレが検出される場合もある。そこで、インデックス形成位置を基準として、静止画データを抽出する場合の前後の時間を設定することができる。例えば、操作遅れを考慮して、０秒から０．５秒の間、好ましくは０秒から０．３秒の間に設定する。かかる設定値は適宜変更することができる。

また、コマ数設定手段２６ｂはインデックス形成位置の前後から静止画データを抽出する場合、その候補として何コマ分を候補としてあげるかを設定することができる。例えば、インデックス形成位置の前後１０コマ分を候補として選択し、最も画質の良いものを静止画データとして抽出することができる。

候補となるコマを選択する場合は、モニター２ａに表示させて、顧客に確認させることが好ましい。また、第１抽出判定手段２３による判定結果に基づいて静止画データを抽出する場合も、モニター２ａに表示させて顧客に確認させることが好ましい。

静止画データ抽出手段２７は、第２抽出判定手段２４により判定された結果に基づいて、静止画データを抽出する。静止画データは、動画データ保存手段２１から指定された動画データ部分から静止画データを抽出する。静止画データは、所定の画像ファイル形式で、静止画データ保存部２８に一旦保存される。静止画データのファイル形式は、例えば、ＪＰＥＧやビットマップなどの汎用的な形式を用いることができる。

写真処理装置３は、抽出された静止画データを用いて写真プリントを作製する機能を有し、公知の構造のものを採用することができる。例えば、画像露光部としてレーザーエンジンを備えており、静止画データにより光変調されたレーザー光を主走査方向に繰り返し走査しながら、写真感光材料を副走査方向に沿って搬送させることで、写真感光材料の乳剤面に画像を露光形成することができる。写真感光材料は、その後、現像処理部および乾燥処理部に送り込まれて所定の処理が施され、写真プリントが作製される。

＜静止画データ抽出処理＞
次に、動画データから静止画データを抽出するまでの手順を図２のフローチャートを中心に説明する。動画データから静止画データを抽出して写真プリントを作製したい顧客は、ビデオカメラ１を写真店に持ち込み、写真プリントの注文を行なう。写真店では、ビデオカメラ１から動画データを取得する（＃１）。取得した動画データを動画データ保存手段２１に保存する（＃２）。

次に、インデックス検出手段２２によりインデックス信号の検出を行う（＃３）。このインデックス形成位置における動画データ部分から静止画データの候補を抽出可能か否かを判定する（＃４）。静止画データの候補を抽出しない場合とは、例えば、インデックス信号が自動的に記録されたものであり、静止画データとしての抽出を行わないインデックスが記録されている場合である。これは、シーン切り換わり判定手段２５ｃにより、インデックス形成位置の前後でシーンが切り換わっているか否か等を検出することにより判定する。

静止画データとしての候補を抽出できる場合は、それが静止画データとして抽出可能か否かを判定する（＃５）。これは、先ほど説明した画像処理部２５の機能を用いて目つぶりやブレ検出を行なうことで判定することができる。この場合、候補となる静止画データをモニターに表示するようにする（＃６）。写真店は顧客に対してＯＫかどうかを確認してもらい、ＯＫであれば、ステップ＃１１へ進む。ＮＯであれば、第２抽出判定手段２４の機能により、インデックス形成位置の前後の静止画データを候補として抽出し、静止画データとして抽出可能かを判定する（＃８）。この場合も、画像処理部２５の機能を用いて、目つぶりやブレを検出することができる。また、候補を抽出する際には、設定部２６における設定内容に従って行い、モニター９に表示させる（＃９）。

図３は、モニター２ａにおける表示例を示す図である。図において、インデックス形成位置を中心として設定されたコマ数の静止画候補が表示される。Ｓ３はインデックス形成位置における画像であり、目つぶりが生じている。第２抽出判定手段２４により抽出可能と判定された画像はＳ１であり、太い枠で囲まれている。顧客は、このモニター画面を見て、確認を行い、抽出された画像でプリント作製しても良いかどうかを判断することができる。なお、抽出可能な画像は１コマだけでなく、複数コマであってもよい。この場合、そのうちの好ましいものを１つ選択することができる。

図４は、別の表示例であり、インデックス形成位置における画像にブレが検出されている例である。この場合も、抽出可能と判定された画像Ｓ１が太い枠で囲まれている。

ＯＫであれば（＃１０）、当該の動画データ部分から静止画データを抽出し、写真プリント作製のために保存する（＃１１，１２）。

＜変形例＞
上記において、第１抽出判定手段２３による抽出は常に行なわないようにし、インデックス形成位置よりも時間的に前後の位置にある動画データ部分から静止画データを抽出するようにしても良い。すなわち、システムとして第１抽出判定手段２３は備えておらず、第２抽出判定手段２４の機能のみを備えていてもよい。これは、例えば、インデックスを撮影者の操作により記録するときの時間遅れを考慮したものである。また、インデックス形成位置における動画データ部分から常に静止画データを抽出して写真プリントを作成するモードを備えていても良い。

動画がＭＰＥＧにより記録されている場合、ＧＯＰのＩピクチャをインデックスと同等に扱い、これを基準として静止画データを抽出するようにしても良い。ＩピクチャはＪＰＥＧと同様の静止画データであるため、これを静止画データとして抽出するようにしてもよい。この場合も、画像処理部２５の機能を用いて、目つぶりやブレが生じていないかどうかを検出した上で、静止画データとして抽出することになる。

静止画抽出システムの好適な実施形態を示す概念図 動画データから静止画データを抽出するときの手順を示すフローチャート モニターの表示例を示す図 モニターの表示例を示す図

符号の説明

１ ビデオカメラ
１ｃ インデックス記録手段
２ 端末処理装置
３ 写真処理装置
２０ 動画データ取得手段
２１ 動画データ保存手段
２２ インデックス検出手段
２３ 第１抽出判定手段
２４ 第２抽出判定手段
２５ 画像処理部
２５ａ 目つぶり検出手段
２５ｂ ブレ検出手段
２５ｃ シーン切り換わり判定手段
２６ 設定部
２７ 静止画データ抽出手段

Claims (5)

1. 動画データの中から静止画データを抽出する静止画抽出システムであって、
   動画データの中に記録されているインデックスを検出するインデックス検出手段と、
   インデックスが形成されている位置の前後位置に記録されている動画データ部分を静止画データとして抽出可能か否かを判定する抽出判定部とを備え、
   この抽出判定部による判定結果に基づいて抽出すべき静止画データを特定可能に構成したことを特徴とする静止画抽出システム。
2. 前記抽出判定部は、
   インデックスが形成されている位置に記録されている動画データ部分を静止画データとして抽出するか否かを判定する第１抽出判定手段と、
   前記インデックス形成位置から抽出しない場合、当該位置の前後位置に記録されている動画データ部分を静止画データとして抽出可能か否かを判定する第２抽出判定手段とを備え、
   第１抽出判定手段あるいは第２抽出判定手段による判定結果に基づいて抽出すべき静止画データを特定可能に構成したことを特徴とする請求項１に記載の静止画抽出システム。
3. 抽出判定部は、前記インデックス形成位置よりも所定時間前の位置から静止画データを抽出することを特徴とする請求項１又は２に記載の静止画抽出システム。
4. 前記第１抽出判定手段は、静止画データに含まれる主被写体の顔情報を検出し、この顔情報から目つぶりが検出された場合、前記インデックス形成位置から静止画データを抽出しないことを特徴とする請求項２又は３に記載の静止画抽出システム。
5. 第１抽出判定手段は、インデックス形成位置の前後でシーンが切り替わっていると判定した場合、前記インデックス形成位置から静止画データを抽出しないことを特徴とする請求項２〜４のいずれか１項に記載の静止画抽出システム。

Images