JP2016201709A - 撮像記録装置 - Google Patents

Abstract

【課題】NG判定されている動画像の中から内容面でNGと判定された利用価値のあるNG判定動画像を選定する技術の提案を課題とする。
【解決手段】ＯＫ評価動画像データ抽出手段で抽出される特定のＯＫ 評価動画像データと、ＮＧ評価動画像データ抽出手段で抽出された少なくとも１つのＮＧ評価動画像データとの動画像類似度を動画像類似度比較手段を用いて比較した結果、ＯＫ評価動画映像データに対して所定の閾値以上の類似度を有する第一の期間と、所定の閾値以下の類似度を有する第二の期間の両期間を有するＮＧ評価動画像データを、ＯＫ評価動画像データに対する代表ＮＧ評価動画像データとして選定すること。
【選択図】図１

Description

本発明は、撮像記録装置に関し、特にOK判定動画像とNG（No-Good）判定動画像を管理し、それら２種類の動画像の比較処理を行う撮像記録装置に関する。

デジタルビデオカメラを用いた動画像の撮影においては撮影の失敗はつきものである。撮影した映像に対して成功したのか、失敗したのかを判定することは動画像の後利用の面からも意味のあることである。動画像の撮影後、撮影した動画像に対するOK／NGの判定を促すメニュー画面を表示することは一般的な手法である。利用者は自分の主観でOK／NGを選択することで、動画像を選別することが可能である。

一方、動画像に対する解析処理を行うことでNG判定候補の動画像を選定してくれる技術が提案されている（特許文献１参照）。特許文献１においては、動画像の各フレームにおける輝度の分布、輝度微分の分布、動きベクトルの分布の情報を評価値として使用することで、動画像の品質を判定してくれる。これにより、露出が適正でない／照準が合っていない／手ぶれが酷いといった、動画像として成立していないものをNG候補の動画像として抽出する手法が開示されている。これにより、利用者は動画像を見直したりすることなく、映像品質の面で利用価値の低い動画像を抽出することが可能となる。

デジタルビデオカメラを用いての撮影を計画的に行うための撮影支援の手法が提案されている（特許文献２参照）。特許文献２によれば、運動会などのプログラム表を撮影することでプログラム表の文面を読み取り、デジタルデータ化することで、イベント項目の一覧としてデジタルビデオカメラに撮り込む方法が開示されている。これにより、撮影対象となるイベントの開始時間が近づいてきた際に、撮影者に通知することにより利用者の撮影忘れといった問題を解決できる。また、誰でも筋書きに沿った撮影を計画的に行うことも可能となる。

またデジタルビデオカメラにおいては、被写体を検出する技術が盛んに実装されている。代表的なものとしては、人物の顔を検出する技術がある。動画像に対して顔検出技術を活用することで、顔の画面中での位置／大きさ／向きといった情報を取得することが可能である。顔検出の利用用途としては、フォーカスの制御、人の顔に最適な露出を調整といったカメラパラメータの調整に使用されている。

この顔検出以外にも被写体検出の分野としては、人体を検出する技術などの研究が進んでおり、今後の幅広い製品での利用が見込まれている。

特開2005-167377号公報 特開2009-100215号公報

従来技術において撮影者がNGと判定する動画像には二種類のNG判定理由が存在する。一つ目は映像品質の面で動画像として成立していないためNGと判定する動画像である。二つ目は映像品質の面で動画像として成立しているが、映像内容の面でNGと判定する動画像である。

ここで、映像内容の面でNGと判定される動画像とは、“人が台詞を間違えた”，“真剣な映像で思わず笑ってしまった”といった動画像を意味している。つまり映像品質の面では問題ないが、期待した動画像とは内容面で差が存在するものに対してNGと判定した動画像のことである。

こうした映像内容の面でNGと判定された動画像は、内容面でOKと判定された動画像と組み合わせて再生などをすることにより、動画像観賞に楽しみを与えてくれる利用価値のあるNG判定動画像である。

しかしながら、上記従来技術においては、映像品質の面で利用価値のない動画像を取り除くことが可能であるが、利用価値のある映像内容の面でNGと判定された動画像までを見つけることはできなかった。

本発明は、掛る問題を考慮したものであり、NG判定されている動画像の中から内容面でNGと判定された利用価値のあるNG判定動画像を選定する技術の提供を目的とする。

上記の目的を達成するために、本発明は、
動画像を撮像する撮像手段と、
前記撮像手段により撮像された動画像を動画像データとして記録する記録手段と、
前記記録手段で記録される動画像データ対し、ＯＫ／ＮＧの評価を付与する動画像評価付与手段と、
前記記録手段で記録された少なくとも２つの動画像データの類似度を比較する動画像類似度比較手段と、
前記動画像評価結果付与手段でＯＫ評価が付与されたＯＫ評価動画像データから、特定のＯＫ評価動画像データを抽出するＯＫ評価動画像データ抽出手段と、
前記動画像評価結果付与手段でＮＧ評価が付与されたＮＧ評価動画像データから、所定の条件を満たすＮＧ評価動画像データを抽出するＮＧ評価動画像データ抽出手段と、
を有する撮像記録装置であって、
前記ＯＫ評価動画像データ抽出手段で抽出される特定のＯＫ 評価動画像データと、
前記ＮＧ評価動画像データ抽出手段で抽出された少なくとも１つのＮＧ評価動画像データとの動画像類似度を前記動画像類似度比較手段を用いて比較した結果、
前記ＯＫ評価動画映像データに対して所定の閾値以上の類似度を有する第一の期間と、所定の閾値以下の類似度を有する第二の期間の両期間を有するＮＧ評価動画像データを、
前記ＯＫ評価動画像データに対する代表ＮＧ評価動画像データとして選定することを特徴とする。

本発明の撮像記録装置によれば、OK判定動画像とNG判定動画像との比較処理によりNG判定動画像の中で利用価値のある映像内容の面でNGと判定されたと推測される動画像を選定することが可能である。本発明を用いて選定されたNG判定動画像を、利用者がOK判定動画像を再生する動画観賞時に併せて再生することが可能になる。これにより通常の動画像再生による楽しみに加えて、OK判定された動画像とNG判定された動画像の対比を楽しむという付加価値を動画像観賞に提供できる効果が期待できる。

本発明の第1，第２の実施例のデジタルビデオカメラのブロック図である。 本発明の第１の実施例において、デジタルビデオカメラによる動画像撮影の流れを示したフローチャートである。 本発明の第１，第2の実施例において、デジタルビデオカメラが実行するNG判定動画像選定処理の流れを示したフローチャートである。 本発明の第１の実施例において、ＯＫ/ＮＧ判定を行った際の表示画面と、その結果を記録する動画像判定結果管理情報、それにＯＫ判定動画像に紐付けされるＮＧ判定動画像を管理する動画像紐付け情報を示した図である。 本発明の第１，第２の実施例において、デジタルビデオカメラに搭載されている顔検出部の出力を示した図である。 本発明の第１，第２の実施例における動画像類似度比較処理において、フレーム毎の顔検出の出力から生成する度数分布表である。 本発明の第１，第２の実施例における動画像類似度比較処理において、ＮＧ判定動画像の分割方法を示した図である。 本発明の第２の実施例において、テーマ撮影モードにおける動画像撮影の流れを示したフローチャートである。 本発明の第２の実施例において、テーマ選択における表示画面と、テーマ選択の結果生成されるテーマ情報を示した図である。

以下、本発明を実施するための形態を図面に基づいて説明する。

［実施例１］
本発明を適用したデジタルビデオカメラの実施例を図を用いて説明する。図１は本発明を適用したデジタルビデオカメラを機能ブロックで表現したブロック図である。

101はレンズ部である。光をデジタルビデオカメラ内に取り込む役割を果たす。102は撮像素子である。レンズ部101で取り込まれた光を電気的な信号への変換することが可能である。103は撮像制御部である。撮像素子101が出力する電気信号の入力をデジタルデータに変換し、さらにCPU104からの要求に従いデジタルデータをSDRAM112に転送することが可能である。104はCPU（Central Processing Unit:中央演算処理装置）である。各モジュールに対する制御や、各モジュールから得られる情報を使用した演算処理をおこなうことが可能である。また実施例の処理の流れを示すフローチャートを管理するプログラムを実行する役割も担う。

105は表示パネルである。GUI（Graphical User Interface）を表示し、利用者に情報を提供したり、利用者の操作に伴い表示画面を変更したりする。また表示パネル105はタッチセンサ106を有している。タッチセンサ106により、利用者は画面上のGUIに触れるだけでデジタルビデオカメラ100を操作することが可能である。107はタッチセンサ制御部である。タッチセンサ106が取得した、表示パネル上での操作情報を取得し、その情報をデジタルビデオカメラ100内部に取り込む役割をになう。108は表示パネル制御部である。CPU104からの要求に従い、デジタルビデオカメラ100内部で生成された表示用データの表示パネル105への送信処理を管理する役割を担う。

109は記録制御部である。CPU104からの命令に従い、記録媒体への各種データの読み出しや書き込みを制御することが可能である。110は記録媒体である。記録媒体制御部109から送られてくる撮影した動画像、動画像に関わる管理情報、デジタルビデオカメラ100が管理する各種設定データなどのデジタルデータを記録することが可能である。またそれら書き込まれているデジタルデータを、記録媒体制御部109からの要求に従い適時読み出すことが可能である。

111はSDRAM制御部である。CPU104からの命令に従い、SDRAM112に対するデータの一時記録や、記録されているデータの読み出しを制御することが可能である。109はSDRAMである。デジタルスチルカメラ内部状態や、処理待ちの動画像データを一時的に保存しておくことが可能である。

113は動画像処理制御部である。CPU104から要求に従い、SDRAM112上にある撮像データを、動画像処理部114に転送する。もしくは動画像処理部114で処理されたデータをSDRAM112に転送する役割を担う。114は動画像処理部である。動画像処理制御部113から送られてくる撮像データを記録方式に合った動画像フォーマットに変換処理することが可能である。またライブビュー映像を生成することも可能である。

115は顔検出制御部である。CPU104からの要求に従い動画像データを顔検出部116に転送することが可能である。また、顔検出部116の結果をSDRAM112に転送することが可能である。116は顔検出部である。顔検出制御部115から送られてくる動画像のフレーム毎に顔情報を検出することが可能である。顔検出部116が出力する顔情報としては図５-Ａに示すような「顔の重心位置」/「顔の向き」/「顔の大きさ」/「信頼度」から構成されるデータ構造を想定する。「顔の重心位置」は図５-Ｂに示すように画像の左上を原点とした座標空間におけるピクセル座標である。

「顔の向き」は図５-Ｃカメラに正対した時を０度とし、右向きをプラス角度、左向きをマイナス角度として表現したものである。「顔の大きさ」は図５-Ｄに示すように検出機能が顔と判定した場所に表示する検出枠の大きさをピクセル数で表現されるものとする。「信頼度」は顔検出部116が出力する顔情報が信頼できるか否かを示す指標である。信頼度の出方は顔検出機能に依存するが、一般的には仕様で対応している向きや大きさから外れるに従って信頼度が低下する。例えば、正面向きにしか対応していない顔検出機能の場合、顔の向きが横向きになるにつれて信頼度が低下する傾向にあることを意味している。

図２は本発明を適用したデジタルビデオカメラ100が動画像を撮影する際に従うフローチャートである。本フローチャートを管理するプログラムはCPU104で実行される。

S200で動画像撮影モードが開始される。動画像撮影モードの開始は、デジタルビデオカメラ100の表示パネル105にメニューを表示し、利用者に動画像撮影モードの開始を明示的に選択してもらう方法が考えられる。S201では表示パネル105にライブビュー映像の表示が行われる。ライブビュー映像にはOSD(On-Screen Display)によるカメラ情報などが重畳されることが一般的である。利用者はライブビュー映像を確認することでデジタルビデオカメラ100での撮影を何時でも開始できることを知る。202は利用者により録画開始要求が発行されたか否かの判定が行われる。

表示パネル105に録画開始用のアイコンを表示し、利用者がアイコンを選択したことをタッチセンサ106で検出することで録画開始要求が発行されたことを認識する。録画開始要求が発行された場合はS203に移行し、録画開始要求の発行を確認できなかった場合はS201に戻る。S203では、録画処理が実行される。記録媒体110に動画像ファイルを生成し、映像処理部116により生成された動画像データを動画像ファイルに記録してゆく。S204では、利用者により録画終了要求が発行された否かの確認が行われる。表示パネル105に録画終了用のアイコンを表示し、利用者がアイコンを選択したことをタッチセンサ106で検出することで録画終了要求が発行されたことを認識する。

録画終了要求が発行された場合はS205に移行し、録画終了要求の発行を確認できなかった場合はS204に戻り録画処理を継続する。S205においては録画終了処理が実行される。記録していた動画像ファイルを完結させることにより録画処理が終了する。

S206では利用者にS205で録画が終了した動画像に対する判定を促すメニュー画面を表示パネル105に表示する。具体的には図４-Ａに示すような画面を想定している。撮影した動画像に対して、納得がいった場合は「OK」を、逆に納得がいかなかった場合は「NG」を選択する。S207は利用者により撮影した動画像に対してOK判定がなされたか否かの判定が行われる。利用者がS206の画面の「OK」選択を確認した場合はS208に移行し、逆に「OK」の選択を確認できなかった場合はS209に移行する。S208は利用者がOK判定をしたこと意味しているため、対応する動画像データがOK判定であった事を関連付ける処理が行われる。

具体的に図４−Ｂに示すようなXML(eXtensible Markup Language)表記で記載される動画像判定結果管理情報に記録することを想定している。<動画像判定結果管理>タグをルートとし、判定が行われた動画像毎に<動画像>タグが用意される。<動画像>タグには要素として<動画像名>タグ、<ファイルパス>タグ、<判定結果>タグが用意されており、判定された動画像毎に対応する情報が記載され、管理される。S208のうようにOK判定された動画像である場合は、<判定結果>タグの要素として「OK」が付与された後、S201に戻る。

S209は利用者により撮影した動画像に対してNG判定がなされたか否かの判定が行われる。利用者がS206の画面の「NG」選択を確認した場合はS210に移行し、逆に「NG」の選択を確認できなかった場合はS206戻る。S210は利用者がNG判定をしたこと意味しているため、対応する動画像データがNG判定であった事を関連付ける処理が行われる。S208同様NG判定された動画像である場合は、<判定結果>タグの要素として「NG」が付与された後、S201に戻る。

以上の図２の処理を繰り返すことにより、利用者は動画像の撮影に加え、自身が撮影した動画像に対して行った判定結果を記録することができるのである。

本実施例において想定する撮影対象は人へのインタビューや映画・演劇を撮影した映像などである。つまりOK判定動画像とは期待される内容の動画像が撮影できたことを意味しており、逆にNG判定動画像とは期待した内容の動画像が撮影できなかったこと意味している。NG判定映像には、期待される内容の動画像であるOK判定動画像が撮り直しにより撮影されていることが期待される。

次に図３は本発明を適用したデジタルビデオカメラ100が行う比較処理の流れを示したフローチャートである。本フローチャートを管理するプログラムもCPU104で実行される。

S3000においてNG判定動画像選定処理が開始される。NG判定動画像選定処理の開始は、デジタルビデオカメラ100の表示パネル105にメニューを表示し、利用者にNG判定動画像選定処理の開始を明示的に選択してもらう方法を想定する。S3001において、まずOK判定動画像の選択画面を表示する。選択画面はOK判定がなされている動画像を表示パネル105にインデックス表示する手法を想定する。具体的には図４−Ｂで説明した判定結果管理情報の中で、<判定結果>タグが「OK」となっている動画像データを抽出し、インデックス表示として表示パネル105に一覧表示することを意味している。

S3002では、利用者がS3001で一覧表示したOK判定動画像の何れかを選択したか否かの判定が行われる。利用者が１つのOK判定動画像を選択した場合には、S3003に移行し、選択が確認されなった場合はS3001に戻る。S3003では、NG判定動画像の抽出処理が行われる。具体的には図４−Ｂで説明した動画像判定結果管理情報の中で、<判定結果>タグが「NG」となっている動画像データを一つ抽出することを意味している。S3004では、全NG判定動画像に対して処理を行ったかのかの確認が行われる。つまり判定結果管理情報の中で、<判定結果>タグが「NG」となっている全ての動画像データについて調査したかの確認を行う。

ここで全てのNG判定動画像を調査し終えたと判定された場合はS3008に移行し、逆に全てのNG判定動画像の調査を終えていないと判定された場合はS3005に移行する。S3005では、S3002で選択されたOK判定動画像とS3003で抽出されたNG判定動画像との動画像の類似度を比較処理が実行される。この動画像類似度比較処理の詳細についてはS3100以降の処理として説明する。動画像類似度比較処理の結果としては、NG判定動画像においてOK判定動画像との類似度が高かった期間と、低かった期間に関する情報が取得できる。

S3006では、S3005の動画像類似度比較処理の結果、NG判定動画像においてOK判定動画像との類似度が低い期間が１期間だけであったか否かの判定処理が行われる。類似度が低い期間が１期間だけであった場合はS3007に移行し、類似度が低い期間が１期間だけでなかった場合はS3003に戻る。S3007ではS3005で処理対象となっていたNG判定動画像を、S3002で選択されたOK判定動画像に紐付けする処理が行われる。

具体的に図４−Ｃに示すようなXML形式の管理情報を想定している。<動画像紐付け情報>タグをルートとし、OK判定動画像毎に<OK判定動画像>タグが用意される。<OK判定動画像>タグの要素として動画像そのものを示す<動画像名>タグ、さらに<関連動画像>タグが存在し、<関連動画像>タグの要素として<NG判定動画像名>タグが存在する。<NG判定動画像名>タグに処理対象となっているNG判定動画像のファイル名を記載する。

このS3003からS3007の処理を抽出されたNG判定動画像に対して繰り返す。S3004で全てのNG判定動画像に対して処理を行ったと判定された場合は、S3008に移行し処理を終える。

以上の処理を行うことにより利用者によるOK判定動画像の選択に連動して、OK判定動画像に対して高類似度でありながら一部低類似度となる部分を有するNG判定動画像を選定することが可能になる。

次に図３の、S3005で述べた動画像類似度比較処理の具体的な方法をS3100以降の処理として説明する。

S3100において動画像類似度比較処理が開始される。前述の通り、S3100にはS3005から呼び出される処理であり、OK判定動画像とNG判定動画像の二つの動画像が入力として与えられる。

まずS3101において、OK判定動画像において、最も長時間写っていた顔を顔情報１として取得する処理が行われる。具体的にはOK判定動画像を顔検出部116に転送し、フレーム毎に顔情報の取得を行う。顔検出部116の出力にフレーム間での相関関係が無い場合は、顔検出結果を用いた顔追尾処理を用いることで顔情報のフレーム間の相関関係を把握することが可能である。これにより動画像中で最も長く写っている顔を判別することが可能である。

ここで、追尾機能を実現する技術は従来から知られている。（例えば特開2010-074315は顔検出機能を活用し、フレーム毎に得られる顔検出領域の相関度を保持し、相関度の変化を判断基準とすることで追尾の性能を高める技術が開示されている。またこうした追尾機能はCPU104で処理するプログラムとして実現可能である。）こうして判定した最も長時間写っている顔の中から最もカメラに対して正面を向いていると判定されたフレームの顔画像を顔情報１として切り出し、保持しておく。S3102では、S3101と同様の処理をNG判定動画像に対して行う。

その結果として、NG判定動画像中で最も長時間写っていた顔の、最もカメラの方向を向いている顔画像を顔情報2として取得することが可能となる。S3103では、S3101で取得した顔情報１とS3102で取得した顔情報2が同一人物であるかを確認する処理が行われる。具体的には顔情報1と顔情報2との間で顔認証処理を行う。S3104ではS3103の結果、顔情報1と顔情報2が同一人物と判定されたか否かの確認が行われる。判定には個人認証の技術を活用する。ここで、個人認証や実現する技術は従来から知られている。（例えば特開2005-084979は、目の位置を基準に認証用の顔画像を切りだして使用することで顔画像による認証を実現している。またこうした認証機能はCPU104で処理するプログラムとして実現可能である。）。

つまり顔画像１に対して顔情報２が顔情報１と同一人物であるかの認証を行うのである。同一人物と判定された場合はS3105に移行し、同一人物と判定されなかった場合は、S3115に移行し処理を終了する。S3105に至った段階で、OK判定動画像とNG判定動画像において中心となる被写体が同じであることを意味している。以後の処理でより詳細な動画像の類似度比較を進めてゆく。

S3105ではOK判定動画像において、フレーム毎に出力される顔の向きに関する情報を度数分布として算出する処理が行われる。OK判定動画像の各フレームから検出された顔情報の内、顔認証処理、または追尾処理の結果としてS3101の顔と同じと判定された顔の向きの情報をフレーム単位で取得する。これにより、図６−Ａに示すような度数分布を取得することが可能である。図６−Ａは、顔の向き-90度〜+90度の範囲において、20度を刻み幅として算出した例である。度数分布を作成するための、顔の向きの刻み幅については、顔検出部118の性能に依存して変化するものである。必ずしも20度刻みである必要はない。

次にS3106において、図６−Ｂに示すようにS3105の度数分布において上位80%を占める領域の顔の向きの情報を対象として顔の向きの平均値を算出する処理が行われる。これにより最も長時間写っていた被写体の顔の向きの平均値というOK判定動画像の特徴量を抽出することができる。本実施例においては、度数分布の上位80%を平均値算出対象としたが80%は必須の値ではない。より厳密性を求める場合には、低い値を使用することも十分考えられる。

S3107では、図７に示すようにNG判定動画像を所定の時間単位で区切り、複数の分割動画像を生成する処理が行われる。分割単位としては様々な長さでの分割が可能である。本実施例においては、分割動画像は４秒の単位で分割されることを想定する。４秒とは統計的に多くの動画像のカット割りの単位として使用されている動画像単位であり、最近では４秒の動画像を撮影する専用の撮影モードをもつデジタルビデオカメラも存在する。

以後NG判定動画像は、これら分割動画像単位で処理してゆく。S3108では全ての分割動画像を調査したかの判定が行われる。全ての分割動画像を調査したと判定された場合は、S3115に移行し動画類似度比較処理を終了する。逆に全ての分割動画像を調査したと判定されていない場合は、S3109に移行する。S3109、3110ではS3105、S3106と同等の処理を分割動画像に対して実行する。これにより、S3102でNG判定動画像において最も長く写っていると判定された顔について、分割動画像中での顔の向きの平均値という特徴量を抽出することができる。S3111においては、S3106で算出したOK判定動画像の顔の向き平均値と、S3110で算出した分割動画像の顔の向き平均値とを比較する処理が行われる。

比較処理に用いる閾値は、顔検出機能の性能に依存する部分ではあるが、本実施例においては度数分布計算に用いた20度の範囲に入っていれば類似度が高い判定する。この比較処理の結果、閾値以下であると判定された場合はS3113に移行し、閾値以上であると判定された場合はS3114に移行する。S3113では、処理対象となった分割動画像を高類似度期間として記録する処理が行われたあとS3108に戻る。また逆にS3114では処理対象となった分割動画像を高類似度期間として記録する処理が行われた後S3108に戻る。

以上のフローチャートを実行することにより、NG判定動画像の内、OK判定動画像との類似度が高い期間と、類似度が低い期間の情報を得ることが可能になる。

３つのフローチャートの処理により、利用者が選択したOK判定動画像に対して、NG判定動画像との間で動画像類似度比較処理を行うことが可能になる。これにより、OK判定動画像に対して高類似度でありながら一部低類似度となる部分を有するNG判定動画像を選定することが可能になる。

こうして選定されたNG判定動画像は、OK判定動画像の再生の後に続けて再生することが想定される。これにより、OK判定映像との間の映像内容の差を動画像観賞のコンテンツとして提供でき、利用者に新たな動画像観賞の楽しみを提供することが可能になる。

本実施例においては、動画像の類似度を算出するために顔検出部108の出力の内顔の向き情報を使用する例を説明したが、当然顔の向き以外の情報を使用することも可能である。

顔検出結果の内、顔の大きさを比較用の指標として使用する方法が考えられる。顔の大きさの情報をｘ軸に取り、フレーム毎の検出結果を度数分布として取得する。そうして得られた度数分布から算出される平均値を比較指標として使用することが考えられる。OK判定動画像における顔情報１の顔の大きさの平均値と、NG判定動画像の分割動画像における顔情報２の顔の大きさの平均値を使用することで動画像の類似度を算出することを意味する。

顔検出結果の内、顔の重心位置を比較用の指標として使用する方法が考えられる。重心位置の使い方としては、画像左上の原点から重心位置までの距離をｘ軸に取り、フレーム毎の結果を度数分布として取得する。そうして得られた度数分布から算出される平均値を比較指標として使用することが考えられる。OK判定動画像における顔情報１の顔重心距離の平均値と、NG判定動画像の分割動画像における顔情報２の顔重心距離の平均値を使用することで動画像の類似度を算出することを意味する。

顔検出結果の内、顔検出結果の信頼度を比較用の指標として使用する方法が考えられる。顔検出結果の信頼度の情報をｘ軸に取り、フレーム毎の検出結果を度数分布として取得する。そうして得られた度数分布から算出される平均値を比較指標として使用することが考えられる。OK判定動画像における顔情報１の検出結果の信頼度の平均値と、NG判定動画像の分割動画像における顔情報２の検出結果の信頼度の平均値を使用することで動画像の類似度を算出することを意味する。

対象となる顔が動画像全体で検出された時間割合を比較指標として使用する方法が考えられる。つまりOK判定動画像全体対して顔情報１の顔が写っている時間の割合と、NG判定動画像の分割動画像全体対して顔情報２の顔が写っている時間の割合を、閾値を設けて比較することを意味している。

顔検出の出力以外に検出された顔の表情を比較指標に用いることも考えられる。表情の使い方としては、検出される表情の種類をｘ軸に取りフレーム毎の結果を度数分布として取得する。そうして得られた度数分布から算出される平均値を比較指標として使用する。OK判定動画像における顔情報１の表情の平均値と、NG判定動画像の分割動画像における顔情報２の表情の平均値を比較指標として使用することで動画像の類似度を算出することを意味している。

さらにインタビューなどを撮影するような動画像においては、複数の顔が検出されることも考えられる。その場合は、動画像において対象となる複数の顔が写っている時間を比較の指標として使用することが考えられる。つまりOK判定動画像において顔情報１−１と顔情報１−２が同時に写っている割合と、NG判定動画像の分割動画像において顔情報２−１と顔情報２−２と同時に写っている割合を指標とし、閾値を設けることで比較することを意味している。

また本実施例においては、顔検出部108の出力を使用する例を説明したが、顔検出部108以外の検出機能を使用する方法も考えられる。例えば人体検出の技術を使用することが考えられる。人体検出も人体の向き／重心位置／大きさ／信頼度といった情報を出力することが想定されるため、顔検出と同様の比較処理が可能である。

本実施例においては、動画像類似度比較の指標として顔の向きのみを使用した例を説明したが、当然一つだけである必要はない。上記類似度比較処理において使用可能な各指標の結果の論理積を用いて高類似度期間と低類似度期間を判定する方法も考えられる。

本実施例においては、S3006に示すように、NG判定動画像において低類似度となる期間が一箇所だけとなる動画像を選定対象とした。しかしながら同然一箇所だけである必要はない。N（自然数）箇所以内といった設定に自由度を設けることも十分考えられる。

本実施例においては、S3003におけるNG判定動画像抽出として、NG判定がなされている全ての動画像を抽出することを想定した。しかしながら、特定の条件を満たすNG判定動画像のみを抽出することも十分考えられる。

NG判定動画像に対してOK判定動画像は撮り直しの動画像と考えられる点に着目し、OK判定動画像の生成時刻と近いNG判定動画像を抽出対象とする方法が考えられる。具体的には、対象とするOK判定動画像の生成時刻と、それより一つ前に撮影されたOK判定動画像の生成時刻の間に撮影されたNG判定動画像を抽出する方法が想定される。これにより、NG判定動画像選定処理を効率化することが可能となる。

また動画像としての映像品質が一定の水準に達しているNG判定動画像のみを抽出する方法が考えられる。特許文献１の技術を用いることで、適正露出で撮影されていない、フォーカスが合っていない、手ぶれが酷いといった映像品質の面で動画像として成立していないものを抽出対象外とすることができる。これにより、観賞に耐えうる条件を満たすNG判定動画像にすることで、NG判定動画像選定処理を効率化することが可能となる。

本実施例で説明したNG判定動画像選定処理においては、複数のNG判定動画像が選定される可能性がある。この場合は、選定されたNG判定動画像を表示パネル105に表示することにより、利用者に最も利用価値のあるNG判定動画像を選定してもらうことにより、最適なNG判定動画像を選定することが可能となる。

本実施例において、図３を用いて説明したNG判定動画像選定処理においては、OK判定動画像に対して、高類似度でありながら一部低類似度となる部分を有するNG判定動画像を選定する処理として説明した。しかしながら、NG判定動画像の一部を選定する方法も考えられる。つまりS3107においNG判定動画像を分割した分割動画像の単位で選定することを意味している。本実施例の場合、特に低類似度となった分割動画像の部分を選定することに相当する。これにより、高類似度でありながら一部低類似度となる部分を有するNG判定動画像の中で、特にNG発生箇所と想定される部分に照準を絞った選定が可能となる。

もちろん低類似度となった分割動画像のみを選定する必要はない、前後N（自然数）個分の分割動画像を組み合わせて、結果的にNG判定動画像の一部を抽出するような方法も考えられる。

またこの場合に、低類似度となる分割動画像が複数選定された場合は、時間的に後ろの分割動画像を選定する方法が考えられる。これは、NG判定動画像において、NG部分は録画終了の直前に発生していることを想定したものである。もちろん低類似度となる複数の分割動画像を表示パネル105に表示することで、利用者に選択してもらう方法も可能である。

［実施例２］
本発明を適用したデジタルビデオカメラの第２の実施形態を説明する。デジタルビデオカメラとしての構成は図１のブロック図で示されたデジタルビデオカメラカメラ100であると想定する。

第1の実施例では動画像撮影の後、撮影した動画像に対してOK/NGの判定を行うものを想定した。撮影した動画像に対してOK/NGを判定する撮影として、特定の撮影テーマの下で筋書きに沿って動画像を撮影するテーマ撮影モードという撮影形態が考えられる。テーマ撮影モードにおける利用者の撮影の流れを図８のフローチャートを用いて説明する。

S800において、テーマ撮影モードが開始される。S801ではテーマ選択画面が表示される。具体的には図９−Aのような画面を想定している。表示パネル105上にメニューを表示し利用者からの選択を受け付けることで撮影テーマを決定することが可能である。S802ではテーマ選択が行われたか否かの確認作業が行われる。利用者によるテーマ選択により、図９−Bに示すようなテーマ情報が生成される。テーマ撮影モードはXML構造で構成される。<テーマ情報>タグをルートとし、テーマ全体に関わる情報を管理するための<テーマ属性>タグが用意されている。<テーマ属性>タグには、<テーマ名>タグと<生成時刻>タグが用意され、テーマ名とテーマ撮影が開始された時刻情報が記録される。

個別の撮影イベントに関しては、「識別子」と「イベント項目名」という二つの属性情報が付与された<イベント項目>タグで管理される構造となる。「識別子」属性にはイベント項目を区別するための識別番号が、「イベント項目名」属性にはイベント項目の名前が付与されている。<イベント項目>タグには、対象のイベント項目に対して撮影された動画像を管理するための<イベント動画像>タグが用意されている。撮影された動画像の名前を示す<イベント動画像名>タグ、保存先を示す<イベント動画像パス>タグ、利用者により行われたOK/NGの判定結果を記録する<判定結果>タグの３つの要素でイベント動画像が管理される。

S803ではイベント項目選択画面が表示される。選択されテーマに関連付けられているイベント項目を表示パネル105に表示し、利用者による選択を受け付ける。S804では実際に選択されたか否かの確認が行われる。選択された場合は、S805に移行しライブビュー画面を表示し、録画開始要求が発行可能になったことを利用者に通知する。S806以降の処理は、S202以降の処理の同じ処理となるのでここでは割愛する。最終的に動画像の撮影が完了し、利用者による判定が行われた段階で、図９−Ｂに示すように<イベント動画像>タグの各要素に情報が付与される。

このようなテーマ撮影モードにおいても、OK判定動画像に対するNG判定動画像選定処理自体は先の図３の処理と同じも処理を想定する。しかし特にテーマ撮影モードにおいては、利用者が撮影した動画像に対してOK判定を下したことを切っ掛けとして、先の図３で示した類似度判定処理を実行することが有効である。これにより、OK判定動画像の生成に連動して、高類似度映像でありながら一部低類似度となるNG判定動画像動画像を選定することが可能となる。

テーマ撮影モードでは撮影が完了した後、テーマに沿って撮影した動画像を通して再生するといった視聴方法が想定される。つまりテーマ“旅行”の下で撮影された動画像を、最初のイベント項目である“出発前の一言”に関連付けられている動画像から順に再生してゆくのである。この動画像再生では、基本的にOK判定されている動画像のみを再生する方法が一般的である。おまけとしてOK判定の動画像のみを再生した最後に、図３の動画像類似度判定処理により選定されたNG判定動画像を再生することにより、OK判定動画像とNG判定動画像の間にある差を楽しむ新たな価値を提供することが可能となる。

またテーマ撮影モードにおいては、OK判定動画像との類似度比較の対象とするNG判定動画像を絞り込めるという特徴がある。例えば、図９において、“出発前の一言”イベント項目において生成されたOK判定動画像と比較処理を行うNG判定動画像は同じ“出発前の一言”イベント項目に属しているNG判定動画像に絞る。これにより、NG判定動画像選定処理を効率化することが可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

100 デジタルビデオカメラ、101 レンズ、102 撮像部、104 CPU、105 表示パネル、
106 タッチセンサ、110 記録部

Claims (18)

1. 動画像を撮像する撮像手段と、
   前記撮像手段により撮像された動画像を動画像データとして記録する記録手段と、
   前記記録手段で記録される動画像データ対し、ＯＫ／ＮＧ（Ｎｏ-Ｇｏｏｄ）の評価を付与する動画像評価付与手段と、
   前記記録手段で記録された少なくとも２つの動画像データの類似度を比較する動画像類似度比較手段と、
   前記動画像評価結果付与手段でＯＫ評価が付与されたＯＫ評価動画像データから、特定のＯＫ評価動画像データを抽出するＯＫ評価動画像データ抽出手段と、
   前記動画像評価結果付与手段でＮＧ評価が付与されたＮＧ評価動画像データから、所定の条件を満たすＮＧ評価動画像データを抽出するＮＧ評価動画像データ抽出手段と、
   を有する撮像記録装置であって、
   前記ＯＫ評価動画像データ抽出手段で抽出される特定のＯＫ 評価動画像データと、
   前記ＮＧ評価動画像データ抽出手段で抽出された少なくとも１つのＮＧ評価動画像データとの動画像類似度を前記動画像類似度比較手段を用いて比較した結果、
   前記ＯＫ評価動画映像データに対して所定の閾値以上の類似度を有する第一の期間と、所定の閾値以下の類似度を有する第二の期間の両期間を有するＮＧ評価動画像データを、
   前記ＯＫ評価動画像データに対する代表ＮＧ評価動画像データとして選定することを特徴とする撮像記録装置。
2. 前記動画像データから一部分を抽出する動画像データ抽出手段を有し、
   前記動画像データ抽出手段を用い、前記ＯＫ評価動画像データに対する代表ＮＧ評価動画像データの中から前記第２の期間を抽出することを特徴とする請求項１に記載の撮像記録装置。
3. 前記ＯＫ動画像データに対応する代表ＮＧ評価動画像データの選定処理は、
   前記動画像評価結果付与手段において、動画像データに対してＯＫ評価が付与されたことをきっかけとして実行されることを特徴とする請求項１又は請求項２に記載の撮像記録装置。
4. 特定の被写体を検出することができる被写体検出手段を有する場合に、
   前記動画像類似度比較手段とは、
   前記動画像データに対して前記被写体検出手段を用いた場合に得られる、被写体の検出時間についての統計量を比較する処理であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像記録装置。
5. 特定の被写体を検出することができる被写体検出手段と、
   前記被写体検出手段が被写体の大きさを数値化して出力する機能を併せ持つ場合に、
   前記動画像類似度比較手段とは、
   前記動画像データに対して前記被写体検出手段を用いた場合に得られる被写体の大きさに関しての統計量を比較する処理であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像記録装置。
6. 特定の被写体を検出することができる被写体検出手段を有する場合に、
   前記被写体検出手段が被写体の向きを数値化して出力する機能を併せ持つ場合に、
   前記動画像類似度比較手段とは、
   前記動画像データに対して前記被写体検出手段を用いた場合に得られる、被写体の向きに関する統計量を比較する処理であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像記録装置。
7. 前記被写体検出手段が検出した被写体数を数値化して出力する機能を併せ持つ場合に、
   前記動画像類似度比較手段とは、
   前記動画像データに対して前記被写体検出手段を用いた場合に得られる、被写体数に関する統計量を比較する処理であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像記録装置。
8. 前記被写体検出手段が検出した被写体に対する検出信頼度を数値化して出力する機能を併せ持つ場合に、
   前記動画像類似度比較手段とは、
   前記動画像データに対して前記被写体検出手段を用いた場合に得られる、検出信頼度に関する統計量を比較する処理であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像記録装置。
9. 前記被写体検出手段が検出した被写体の特徴量を出力する機能を併せ持つ場合に、
   前記動画像類似度比較手段とは、
   前記動画像データに対して前記被写体検出手段を用いた場合に得られる、被写体の特徴量についての統計量を比較する処理であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像記録装置。
10. 前記被写体の特徴量とは、
    被写体の種類、形状であることを特徴とする請求項９に記載の撮像記録装置。
11. 前記被写体検出手段が検出した被写体を一意に特定する被写体認証手段を有する場合に、
    前記動画像類似度比較手段とは、
    前記動画像データに対して、前記被写体検出手段と被写体認証手段により得られる認証結果に関する統計量を比較する処理であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像記録装置。
12. 前記動画像類似度比較手段とは、
    請求項４乃至請求項１１の何れか一項に記載の類似度比較手段の二つ以上を組み合わせることで実現されることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像記録装置。
13. 前記ＮＧ評価動画像データ抽出手段において用いられる所定の条件とは、
    前記ＯＫ評価動画像データ抽出手段で抽出されるＯＫ評価動画像データの第１の生成時刻と、
    前記第１の生成時刻に対して過去であり、且つ最も近い生成時刻を有するＯＫ評価動画像データの第2の生成時刻の間の生成時刻を有するＮＧ評価動画像データを抽出する時刻条件であることを特徴とする請求項１乃至請求項１２の何れか一項に記載の撮像記録装置。
14. 動画像データの映像品質を解析する映像品質解析手段を有する場合に、
    前記ＮＧ評価動画像データ抽出手段において用いられる抽出条件とは、
    前記映像品質解析手段の結果が所定の閾値を満たしているＮＧ評価映像を抽出する映像品質条件であることを特徴とする請求項１乃至請求項１３の何れか一項に記載の撮像記録装置。
15. 前記映像品質解析手段とは、
    動画像データの各フレームにおける輝度の分布、合焦領域の分布、動きベクトルの分布の少なくとも１つを使用した評価値を算出する手段であることを特徴とする請求項１４に記載の撮像記録装置。
16. ＮＧ評価動画データにおいて、前記所定の閾値以下の類似度を有する第二の期間が複数存在する場合、
    動画終了に近い物を抽出することを特徴とする請求項１乃至請求項１５の何れか一項に記載の撮像記録装置。
17. 利用者にメニュー画面を表示することができる表示手段と、
    ＮＧ評価動画データにおいて、前記所定の閾値以下の類似度を有する第２の期間が複数存在する場合に、
    前記表示手段を用いて、複数見つかった第２の期間の中からいずれかの期間を選択するための画面を表示することを特徴とする請求項１乃至請求項１５の何れか一項に記載の撮像記録装置。
18. 動画像撮影を撮影対象のイベントに適した撮影要求項目に従いながら進行するイベント撮影モードを有する場合に、
    前記ＯＫ評価動画像データに対する代表ＮＧ評価動画像データの抽出処理は、前記イベント撮影モードにおいて有効となることを特徴とする請求項１乃至請求項１７の何れか一項に記載の撮像記録装置。