JP2013239797A - 画像処理装置 - Google Patents

Abstract

【課題】
ユーザの撮影意図に沿ったダイジェストを動画から自動生成する。
【解決手段】
動画情報（１０３ａ）と動画撮影情報（１０３ｂ）が動画記録部（１０３）に記録され、外部情報読取部（１０５）が、静止画情報と静止画撮影情報を外部情報記録媒体から読み取る。動画評価値算出部（１０２ｂ）は動画情報（１０３ａ）から動画評価値を算出する。被写体評価値算出部（１０２ｄ）は外部からの静止画情報から顔認識により被写体評価値を算出する。再生情報抽出部（１０２ｆ）は、動画評価値情報と被写体評価値情報に基づき、動画データの、静止画データの記録日時に対応する部分のうち、静止画に含まれる人物と同じ人物を含む部分をダイジェスト用に抽出する。
【選択図】 図２

Description

本発明は画像処理装置に関し、特に、動画のダイジェストを生成する画像処理装置に関する。

従来、動画像データや静止画データ、音声データを記録媒体に記録するビデオカメラが知られている。また、このように記録された動画像データや静止画データ、音声データを編集し、ダイジェストを生成する技術が各種提案されている（例えば、特許文献１参照）。

特許文献１には、静止画が撮影された時点における所定範囲の動画像の音声を、静止画と共に再生することが記載され、この技術により臨場感のある再生が可能になる。また、音声の代わりに動画像を再生することが記載され、これにより、動画のダイジェスト再生を可能になる。

特開２００８−０３５２３８号公報

従来の技術では、静止画が撮影された時点の動画像の撮影状態や内容等を考慮していない。例えば、静止画が撮影された部分の動画像データが、ブレ、白トビ又はボケ等を伴う場合や、動画像データの音声がノイズや音量の問題により再生するのに不適切なデータであった場合がありうる。従来技術では、このような場合であっても、ダイジェスト再生が実行されてしまう。

さらに、従来の技術では、静止画と動画が異なる撮像装置で撮影された場合が考慮されていない。例えば、デジタルカメラとビデオカメラなどの２台の撮影機器を用いた場合、デジタルカメラで撮影された静止画の被写体と、同時刻にビデオカメラで撮影された動画の被写体が同一であるとは限らない。よって、静止画の代わりに、同時刻に撮影された動画像を再生するダイジェスト再生の場合、撮影者の意図とは全く異なる被写体のダイジェストになってしまう可能性がある。

本発明は、以上の点を考慮してなされたもので、撮影者の意図を反映させたダイジェスト再生を容易に可能とする画像処理装置を提示することを目的とする。

本発明に係る画像処理装置は、動画データを記録する動画記録手段と、前記動画データの内容に基づき動画評価値を算出する動画評価値算出手段と、静止画データを入力する静止画入力手段と、前記静止画データに含まれる被写体について評価し、被写体評価値を出力する被写体評価手段と、前記動画評価値及び前記被写体評価値に基づき、前記動画データの、前記静止画データの記録日時に対応する部分からダイジェスト用部分を抽出するダイジェスト抽出手段とを具備することを特徴とする。

本発明によれば、動画の、静止画の記録日時に対応する部分からダイジェスト用に好ましい部分を自動抽出することができる。

本発明の一実施例の概略構成ブロック図である。 メイン制御部の概略構成ブロック図である。 動画から得られる撮影評価値の一例を示す模式図である。 動画と静止画の関連部分情報を示す模式図である。 動画と静止画の間で人物一致の説明例を示す模式図である。 動画と静止画の間での人物一致率を被写体評価率とする説明例を示す模式図である。 動画と静止画との間の人物一致検索の説明図である。 動画シーンからの再生情報抽出例を示す模式図である。 本実施例のダイジェスト再生の処理の流れを示すフローチャートである。 ダイジェスト再生モードのモード／設定情報の表である。 総再生時間に対して統合評価値に対する閾値を変更する動作説明の模式図である。 ダイジェスト抽出の説明例を示す模式図である。 被写体評価値の説明例を示す模式図である。 ダイジェスト抽出の別の説明例を示す模式図である。 ダイジェスト抽出の更に別の説明例を示す模式図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。尚、以下に説明する実施例は、本発明の実現手段としての一説明例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものである。すなわち、本発明は、以下の実施例に限定されない。

図１は、本発明の一実施例である記録再生装置１００の概略構成ブロック図を示す。記録再生装置１００は、例えば、動画及び静止画の撮影が可能なカメラや、音声の収録が可能なマイクなどが一体化されたデジタルビデオカメラに組み込まれる。

記録再生装置１００は、操作部１０１、メイン制御部１０２、動画記録部１０３、外部情報読取部１０５、動画像処理部１０８、静止画情報処理部１０９、再生制御部１１０、再生部１１１、入力部１１２、顔情報検出部１１４を備えている。バス１１３は、これら手段１０１〜１１４の間でデータ及び制御信号を伝送又は仲介する。外部情報読取部１０５は、情報転送部１０６を介して外部情報記録媒体１０７にアクセス可能である。

操作部１０１は、動画撮影の開始・停止ボタン、静止画の撮影開始ボタン、再生ボタン等の外部操作部を備えている。メイン制御部１０２は、撮影者は操作部１０１で種々の指示に従い、記録再生装置１００を指示内容に沿って動作させる。

入力部１１２は、撮影レンズによる光学像をＣＣＤ又はＣＭＯＳ式の撮像素子により光電変換し、画像データを取得する画像取得部と、マイク等などの、外部音声を取得する音声取得部とからなる。

外部情報記録媒体１０７は、記録再生装置１００とは異なる撮像装置で撮影された静止画の画像情報からなる静止画情報１０７ａと、撮影時の情報を示す静止画撮影情報１０７ｂとを保持する。外部情報記録媒体１０７は例えば、半導体メモリカード又はハードディスク等からなる。情報転送部１０６は、外部情報読取部１０５からのコマンドに従い、外部情報記録媒体１０７に記録される情報１０７ａ，１０７ｂを読み出す手段である。外部情報読取部１０５は、記録再生装置１００に静止画データを入力する静止画入力手段ともいえる。記録再生装置１００と外部情報記録媒体１０７を物理的に接触させて情報を転送する方式や、赤外線通信、ＢｌｕｅＴｏｏｔｈ（登録商標）又は無線ＬＡＮ等の非接触情報転送方式を利用できる。外部情報読取部１０５は、情報転送部１０６により外部情報記録媒体１０７から読み出されたデータを、バス１１３を介して指定先、例えば、メイン制御部１０２に転送する。

動画像処理部１０８は、動画像データと音声データの符号化・復号化処理機能と分離・多重化処理機能を具備する。動画記録部１０３は、撮影された動画情報（符号化動画データ）１０３ａと、動画撮影時の撮影パラメータ等からなる動画撮影情報１０３ｂを記録媒体に記録再生する。動画像処理部１０８は、撮影（記録）時には、入力部１１２により取得される動画像と音声を符号化及び多重化して、所定形式の符号化動画データを動画記録部１０３に供給する。また、動画像処理部１０８は、再生時には、動画記録部１０３からの符号化動画データを動画像成分と音声成分に分離し、それぞれを復号化する。

再生制御部１１０は、メイン制御部１０２からの指示により、動画記録部１０３の情報に基づいて再生の制御を行う。出力部１１１は、電気音声信号を音響信号に変換するスピーカ等の音声出力部と、電気画像信号を画像表示する液晶表示パネル等の表示部を備える。出力部１１１は、再生制御部１１０からの指示に従い音声出力と画像表示を変更する。

顔情報検出部１１４は、動画像処理部１０８で処理された動画像の画面内にある人物の顔を検出する。

メイン制御部１０２は、ＣＰＵ又はマイクロコンピュータを備え、不図示のメモリに記憶されたプログラムに従って記録再生装置１００の各部の動作を制御する。また、メイン制御部１０２により、記録再生装置１００の少なくとも一部の機能を実行する構成としてもよい。具体的には、メイン制御部１０２は、撮影時の処理を行う撮影処理部１０２ａと、図２に詳細に図示する手段１０２ｂ，１０２ｃ，１０２ｅ，１０２ｆ，１０２ｇ，１０２ｈ，１０２ｍ，１０２Ｌを具備する。

本実施例の動画を撮影して記録する動画撮影処理を説明する。記録再生装置１００の利用者が操作部１０１の動画撮影ボタンを押下することが、メイン制御部１０２に対する動画撮影開始（又は記録開始）の指示となり、再度の動画撮影ボタンの押下が動画撮影停止（又は記録停止）の指示となる。この動画撮影開始の指示に応じて、メイン制御部１０２の撮影処理部１０２ａが、この動画撮影開始の指示に応じて各部に動画撮影のための処理の開始を指示し、動画撮影のための制御を実行する。

まず、撮影処理部１０２ａは、画像・音声入力部１１２の動作を開始させる。これにより、記録すべき動画データ及び音声データが生成される。撮影処理部１０２ａは、生成された動画データ及び音声データを動画像処理部１０８に転送する。動画像処理部１０８は動画データ及び音声データを圧縮符号化及び多重化して、記録されるべき動画像データ（ＡＶデータ）を生成する。動画記録部１０３は、動画像処理部１０８で生成されたＡＶデータを記録媒体（不図示）に記録する。本実施例では、動画データ及び音声データの圧縮符号化方式として公知のＡＶＣＨＤ方式を用いるものとするが、他の圧縮符号化方式を用いてもよい。

動画撮影停止の指示に応じて、メイン制御部１０２の撮影処理部１０２ａは、各部に記録動作の停止を指示する。具体的には、撮影処理部１０２ａは、撮影停止の指示に応じて、動画記録部１０３に記録媒体へのＡＶデータの記録を停止させる。本実施例では、記録開始の指示から記録停止の指示までの間に記録媒体に記録された一連のＡＶデータは、一つの動画ファイルとして管理される。

撮影処理部１０２ａは、動画撮影が終了してＡＶデータの記録媒体への記録が完了した後に、そのＡＶデータの撮影情報（動画撮影情報）１０３ｂを生成し、動画記録部１０３の記録媒体に記録する。撮影情報は、ＡＶファイルの作成日時（記録日時）、使用コーデック、データサイズ、記録媒体上の記録位置及び全再生時間長、絞り、シャッタ速度及びゲインなどの撮影時設定、並びにＧＯＰ単位の再生時間長及びデータサイズなどからなる。この撮影情報は、ＡＶファイルとは別のファイルに記録しても、ヘッダ又はフッタとしてＡＶデータに付加してもよい。

外部情報記録媒体１０７は、記録再生装置１００以外の装置で撮影された静止画情報１０７ａを記録媒体に保持する。本実施例では、静止画情報１０７ａは、ＪＰＥＧ Ｅｘｉｆ方式で圧縮されているものとするが、他の圧縮符号化方式を用いてもよい。また、静止画の撮影・記録時には、その静止画データの撮影情報が生成され、静止画撮影情報１０７ｂに記録される。撮影情報は、静止画ファイルの作成日時、使用コーデック及びデータサイズ、絞り値、シャッタ速度、ＩＳＯ感度並びに顔検出情報などからなる。この撮影情報は、ヘッダ又はフッタとして静止画ファイルに付加しても良い。

外部情報記録媒体１０７の記録媒体としては、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク及び半導体メモリ等の種々の媒体が利用可能である。

顔情報検出部１１４は、公知の顔認識処理により画像内の１又は複数の人物の顔領域を検出し、当該顔領域を示す座標値を示す情報を顔検出結果としてメイン制御部１０２に送信する。メイン制御部１０２は、顔情報検出部１１４からの顔検出結果に基づき、画像内の顔領域を示す座標値を動画撮影情報１０３ｂに含めるように動画記録部１０３に送信する。顔認識処理としては、例えば、画像データの各画素の階調色から肌色領域を抽出し、予め用意する顔輪郭プレートとのマッチングで顔を検出する方法が知られている。他に、周知のパターン認識技術を用いて目、鼻及び口等の顔の特徴点を抽出することで顔を検出する方法等が知られている。

図２を参照して、メイン制御部１０２のその他の機能を詳細に説明する。バス１１３は省略してある。メイン制御部１０２は、撮影処理部１０２ａ以外に以下の手段を具備する。

モード判別部１０２Ｌは、操作部１０１で操作された内容を受け取り、以下に説明するダイジェスト抽出処理に必要な情報を判別し、モード情報として情報取得部１０２ｇに送る。情報取得部１０２ｇは、動画記録部１０３及び外部情報読取部１０５から転送された情報と、モード判別部１０２Ｌからのモード情報を、動画評価値算出部１０２ｂ、動画・静止画関連部分抽出部１０２ｃ及び被写体評価値算出部１０２ｍに供給する。

動画評価値算出部１０２ｂは、撮影時の撮影状況を数値化して動画評価値を算出する。具体的には、動画評価値算出部１０２ｂは、情報取得部１０２ｇを介して入力する動画記録部１０３からの動画情報１０３ａと動画撮影情報１０３ｂを取り込む。評価値算出の範囲はユーザの指示に基づき指定されるシーンであり、指定されたシーンに含まれた全てのフレーム画像データの評価値からシーン評価値を算出する。評価値算出方法としては、映像情報の明るさ、ノイズ及びコントラスト情報を用いる方法や、音声情報の音声レベル、ノイズ及び周波数などを用いる方法が知られている。ここでは、撮影状態に基づいた算出方法を説明する。

動画評価値算出部１０２ｂは、例えばビデオカメラのズーム操作やパン操作に基づいて評価値を算出する。ズーム操作は、ズームレンズを用いて被写体の像を拡大又は縮小する操作である。パン操作は、カメラの位置を固定したまま、カメラの向きを水平に振って広い範囲を撮影することである。例えば、図３に示すように、撮影状況がズーム動作とパンニング動作のみであった場合、ズーム動作後に評価値が高くなるように評価値を算出する。同様に、パンニング後は被写体の切り替え等が行われる確率が高いので、重要度が高いと判断し、評価値を高くする。算出された動画評価値が低い場合、例えば、閾値ＴＨ３（＝０）以下である場合、ダイジェスト再生には適さない部分と判断される。

明るさを用いて動画を評価してもよい。まず、１つの動画データを所定時間ごとに複数のシーンに分割する。そして、画面全体の明るさを評価し、画面全体の明るさの変化が大きい場合に評価値を高くする。これは、被写体の動きなどにより、画面の明るさの変化がり、注目すべきシーンである確率が高いからである。具体的には、例えば、画面全体の輝度信号レベルの平均をフレーム間で比較し、フレーム間の差分によって評価を行う。また、画面中央部分の明るさを評価し、適度な明るさである場合に評価値を高くする方法を用いても良い。

動画評価値算出部１０２ｂによる評価値算出方法としては、評価値の算出対象のフレーム画像データを含む２つのフレーム画像データを比較して動きベクトルを求め、その動きベクトルから評価値を算出するものであっても良い。例えば、動きベクトルからズーム操作などを検出でき、撮影者が特に撮影しようとしたと思われるフレーム画像を特定できる。そのように特定されたフレーム画像を動画像データにおける重要度が高いものと判断し、高い評価値を与える。

他の評価値算出方法として、例えばズーム操作やカメラの姿勢などの撮影情報を撮影時に記録しておき、この撮影情報を用いて評価値を算出するようにしても良い。また、評価値は、フレーム画像内での動体の位置、動体の大きさ、背景の動き及び肌色の大きさなどに基づいて算出しても良い。更には、フレーム画像内の物体の数、フレーム画像の輝度や色のヒストグラム及び音声データなどに基づいて、評価値を算出しても良い。

音声データを用いて動画評価値を算出してもよい。例えば、１つの動画データを所定時間ごとに複数のシーンに分割し、そのシーン単位で音声の大きさ（例えば、ピークレベルと平均レベル）を評価する。音声が大きいほど評価値を大きくする。

動画評価値算出部１０２ｂは、最大値を１、最小値を０に正規化した範囲で動画評価値を出力し、動画撮影情報１０３ｂの時系列を維持したままの形式で動画評価値情報１０２ｉとしてメモリ１０２ｅに一旦保存する。

動画・静止画関連部分抽出部１０２ｃは、動画撮影情報１０３ｂと外部情報記録媒体１０７の静止画撮影情報１０７ｂを参照し、撮影時間に基づいて関連部分を抽出する。抽出された関連部分を示す情報１０２Ｊは、メモリ１０２ｅに格納される。抽出の対象となるのは、操作部１０１の操作によって指定された範囲である。動画・静止画関連部分抽出部１０２ｃはまず、情報取得部１０２ｇを介して、対象となる範囲の動画撮影情報１０３ｂと静止画撮影情報１０７ｂを取り込む。そして、静止画撮影情報１０７ｂの中から画像情報毎の撮影時間を順次読み出し、動画撮影情報１０３ｂとの関連部分を抽出する。ただし、外部の静止画情報を用いる場合、撮影された動画との撮影時間の時間軸は一致しないことがある。二つのデータの時間軸が異なっていた場合、動画と静止画の適切な関連部分を抽出することが難しい。そこで、動画・静止画関連部分抽出部１０２ｃは、事前に両者の時間軸を一致させるためのオフセットを一方に加減算し、その後、関連部分を抽出する。

静止画撮影時間に対応する動画があった場合、動画・静止画関連部分抽出部１０２ｃは、図４に示すように、関連部分抽出情報としてＡ：関連フラグとＢ：ファイルに所定の情報を付加する。Ａ：関連フラグは、初期値を０とし、静止画に対する対応動画がある場合に値を１に変更する。そのときの対応静止画のファイル番号と撮影時間、又は静止画データを特定できる情報を、Ｂ：ファイル情報として記録する。静止画Ｐ２のように、その撮影時間に対応する動画が存在しない場合、動画・静止画関連部分抽出部１０２ｃは、関連部分情報を変更しない。このような操作を対象範囲内の静止画・動画情報に対してすべて完了したら、動画・静止画関連部分抽出部１０２ｃは、得られた情報を関連部分情報１０２Ｊとしてメモリ１０２ｅに一旦保存する。

被写体評価値算出部１０２ｍは、情報取得部１０２ｇで取得された外部情報読取部１０５からの情報と動画情報１０３ｂとから被写体の関連性を検出して被写体評価値を算出する。被写体評価値算出部１０２ｍは、算出した被写体評価値を示す情報１０２ｎをメモリ１０２ｅに格納する。

被写体評価値算出部１０２ｍの目的は、静止画を撮影した撮像装置と動画を撮影した撮像装置が同じ被写体を撮影しているかどうかを評価するものである。この評価は、静止画内の被写体がそれと対応する動画の所定時間内に存在するか否かを検索することにより、実現できる。検索の範囲を所定時間とする理由は、動画の場合、被写体の重なりや被写体の振り向きなどにより、常に被写体を捕らえられているとは限らず、静止画の撮影時点のみでの検索では、十分な検索結果が得られないからである。

被写体評価値算出部１０２ｍは、動画・静止画関連部分抽出部１０２ｃにより算出された関連部分情報１０２Ｊと静止画情報１０７ａと動画情報１０３ａとを用いる。

まず、被写体評価値算出部１０２ｍは、関連部分情報１０２Ｊ（関連フラグ）を利用し、静止画情報１０７ａに対応する動画情報１０３ａを特定する。静止画情報１０７ａに対応する動画情報が存在する場合、被写体評価値算出部１０２ｍは、図５に示すように、対応する点を中心に所定時間Ｔを設定する。なお、この所定時間は、静止画の撮影枚数や動画の記録時間に応じて適宜に設定されうる。図５に示す例では、静止画Ｐ５内に顔情報検出部１１４によって抽出された３つの被写体が存在する。この説明例では、便宜上、この３つの被写体を符号Ａ，Ｂ，Ｃで識別する。

次に、被写体評価値算出部１０２ｍは、この３つの被写体Ａ，Ｂ，ＣがＴ時間に対応する動画内に存在するか否かを検索する。図５では、動画シーンＤ上で、静止画の撮影タイミングを含む時間Ｔ内を検索対象とすることとなり、その検索対象内の３つの画像Ｍ１，Ｍ２，Ｍ３を例示している。例えば、画像Ｍ１内には被写体Ａ，Ｂと一致する被写体が存在している。画像Ｍ２中には被写体Ａと一致する被写体が存在している。画像Ｍ３内には被写体Ａ，Ｂ，Ｃと一致する被写体は存在しない。動画シーンＤの時間Ｔ内の何れかの画像は、静止画内の被写体を少なくとも１つは含んでいることから、動画シーンＤと静止画Ｐ５は同一被写体を捕らえていると判断できる。静止画と動画の被写体が一致する場合、被写体評価値算出部１０２ｍは、一致する被写体の有無に応じて被写体評価値を変化させる。図５に示す例では、被写体評価値の初期値を１とし、時間Ｔ内で静止画と動画で被写体の一致があると、被写体評価値Ｅ２を２に変更する。

また、図６に示すように、静止画Ｐ５と動画シーンＤとの被写体の一致率に基づいて、被写体評価値Ｅ３を変化させても良い。この場合、被写体の一致数により、被写体評価値Ｅ３を変化させている。被写体の一致数が最大になった場合の被写体評価値が２となるように、値１から２の範囲で正規化する。

パターンマッチングを用いることで、被写体の同一性を判定できる。図７に示すように、静止画から被写体情報として顔情報を含む画素（顔画像）を抜き出し、拡大・縮小・回転処理などを行って顔画像を規定サイズで正立させる。その処理後の各顔画像を対象となる動画に対してパターンマッチングする。マッチング実行後の相関値がある閾値以上の場合に、一致と判定する。なお、検索の対象となる動画像のサンプル周期は、動画像の更新が終了するごとに行うこととする。ただし、処理時間、検索精度に応じて変更可能である。

このようにして、メモリ１０２ｅには、動画評価値情報１０２ｉ、関連部分情報１０２Ｊ及び被写体評価値情報１０２ｎが格納される。

再生情報抽出部１０２ｆは、メモリ１０２ｅに保持される動画評価値情報１０２ｉ及び被写体評価値情報１０２ｎを用いて、ダイジェスト再生すべき部分を特定する。再生情報抽出部１０２ｆは、特定されたダイジェスト再生すべき部分を示す再生情報を情報書込み部１０２ｈに供給する。情報書込み部１０２ｈは、再生情報抽出部１０２ｆからの再生情報を動画記録部１０３の動画撮影情報１０３ｂに書き込む。

動画評価値情報１０２ｉが０〜１の間で変化するのに対して、被写体評価値情報１０２ｎは１〜２の間で変化する。そこで、動画評価値情報１０２ｉに対して被写体評価値情報１０２ｎの重み付けを行い、評価値を再計算するため、動画評価値情報１０２ｉに被写体評価値情報１０２ｎを乗算する。合成された評価値（統合評価値）は、最大値１、最小値０に正規化される。

図８は、動画情報シーンＥと静止画情報Ｐ７〜Ｐ１２を用いた再生情報抽出例を示す。シーンＥから算出された動画評価値と静止画情報Ｐ７〜Ｐ１２から算出される被写体評価値情報を乗算したものが、統合評価値Ｅ４である。ダイジェスト再生の閾値をＴＨ２とすると、統合評価値Ｅ４がＴＨ２以上となる部分が、ダイジェスト再生対象となる。すなわち、統合評価値Ｅ４が閾値ＴＨ２以上となる、シーンＥの期間Ｄ１，Ｄ２，Ｄ３の部分が、ダイジェスト抽出部分になる。抽出される再生情報は、統合評価値Ｅ４が閾値ＴＨ２以上となる期間に対して１となり、閾値ＴＨ２未満に対して０となる再生フラグからなる。

なお、閾値ＴＨ２は、操作部１０１の操作によって指定されたダイジェスト総再生時間により変更される。例えば、ダイジェスト総再生時間が５分と指定された場合、閾値ＴＨ２以上の部分が５分間になるように、メイン制御部１０２は閾値ＴＨ２を変化させる。

再生情報抽出部１０２ｆは、このように決定された再生情報（再生フラグ）を、情報書込み部１０２ｈに供給する。情報書込み部１０２ｈは、再生情報抽出部１０２ｆからの再生情報を動画記録部１０３の動画撮影情報１０３ｂの時系列を維持したまま、動画撮影情報１０３ｂの対応部分に追記する。

再生情報抽出部１０２ｆにより決定された再生情報に従うダイジェスト再生の動作を説明する。操作部１０１によりダイジェスト再生の指示があると、メイン制御部１０２は再生制御部１１０に再生の指示を出す。再生制御部１１０は、動画記録部１０３から動画情報１０３ａと動画撮影情報１０３ｂを取得し、先ず動画撮影情報１０３ｂに基づき再生部分を特定する。具体的には、動画撮影情報１０３ｂに記録されている再生情報（再生フラグ）を読み込み、１（又は０でない）期間部分を判別する。再生制御部１１０は、再生フラグが０でない部分の動画情報１０３ａ（の画像情報と音声情報）を動画記録部１０３から読み出して再生部１１１に転送する。再生部１１１は、再生制御部１１０から送られる画像情報及び音声情報を再生し、再生画像を表示し、再生音声信号を音響出力する。

このようにして、本実施例では、外部情報記録媒体１０７に記録されている静止画情報を用いて動画の重要部分を自動決定し、決定した重要部分をダイジェスト再生することができる。

図９を参照して、静止画を用いた動画のダイジェスト用部分を抽出する処理の流れを説明する。図９は、本実施例によるダイジェスト再生対象を決定する動作のフローチャートを示す。

Ｓ１において、モード判別部１０２Ｌは、ユーザによる操作部１０１からの入力を解析し、指定されるモード／設定を判定する。本実施例は、図１０に示すように４つのモード／設定を具備する。

ダイジェストモードＡには、１：動画評価値のみを使用するモードと、２：動画評価値と被写体評価値を利用するモードがある。モード１の場合には通常のダイジェスト再生になり、本実施例の効果は得られない。

ダイジェスト範囲設定Ｂには、１：日付／時間、２：ファイル番号、３：場所、４：撮影モード及びその他の設定項目がある。１：日付・時間は、動画または静止画に記録されている日付・時間時間（記録日時の情報）を参照して対象範囲を決定する場合の設定項目である。２：ファイル番号は、動画又は静止画を対象として指定する設定項目である。３：場所は、動画及び静止画にＧＰＳなどにより計測され埋め込まれた位置情報を参照して対象範囲を決定する場合の設定項目である。４：撮影モードは、動画及び静止画のそれぞれに適用された撮影モードにより対象範囲を設定する場合の設定項目である。例えば、花火撮影に特化した花火モードのように特定シーンに特化した複数の撮影モードを具備する場合に、有益である。

被写体重み付けモードＣは、被写体評価値算出部１０２ｍにおける被写体評価値の算出方法に関するモードである。図６に示す評価値Ｅ３のように、被写体の一致率を算出し、それを正規化したものを被写体一致率利用モードとする。また、図５の被写体評価値Ｅ２のように、被写体一致率によらず、静止画が撮影された部分に対して所定範囲に同一被写体が存在する場合は、被写体評価値を最大値にする方法を被写体一致部分利用モードとする。

ダイジェスト閾値設定Ｄでは、ダイジェストの総再生時間Ｔｄを予め任意に設定できる。総再生時間Ｔｄに０分以上の任意の数値を入力する事が可能であり、最大入力値は、対象となる動画情報の撮影時間によって変化する。

Ｓ１で、モード判別部１０２Ｌが以上のモード判別処理を行った後、Ｓ２で、動画評価値算出部１０２ｂが、動画記録部１０３の動画情報１０３ａを解析して、動画撮影評価値を算出する。なお、動画の対象情報は、ステップＳ１において対象と判定された部分とする。

Ｓ３で、動画・静止画関連部分抽出部１０２ｃが、ダイジェストモードを判定する。ダイジェストモードが「１：動画評価値のみ利用」に設定されている場合、静止画情報を利用しないので、Ｓ１１に遷移し、動画・静止画関連部分抽出部１０２ｃが、動画評価値のみからダイジェスト用部分を抽出する。他方、「２：動画評価値と被写体評価値を利用」に設定されている場合、被写体評価値を算出するために、メイン制御部１０２は、Ｓ４に遷移する。

Ｓ４で、モード判別部１０２Ｌが、外部情報記録媒体１０７に静止画が存在するか否かを判別する。静止画が存在する場合、Ｓ５に遷移する。静止画が存在しない場合、Ｓ９に遷移する。静止画が存在しない場合、静止画情報が得られないので、静止画情報を用いたダイジェスト用部分抽出が不可能になる。Ｓ９で、メイン制御部１０２は、その旨の警告を再生部１１１の画面に表示させ、動画評価値のみを考慮したダイジェスト用部分抽出処理Ｓ１１に遷移する。

Ｓ５では、メイン制御部１０２は、情報取得部１０２ｇにより、外部情報記録媒体１０７に記録される静止画撮影情報１０７ｂを取得して、Ｓ６に遷移する。Ｓ６で、動画・静止画関連部分抽出部１０２ｃは、先に説明した方法で静止画と動画の関連部分を抽出する。動画・静止画関連部分抽出部１０２ｃは、算出された関連部分情報１０２Ｊをメモリ１０２ｅに一旦保存し、Ｓ７に遷移する。

Ｓ７で、再生情報抽出部１０２ｆは、関連部分情報１０２Ｊから「Ａ：関連フラグ情報」を読み込み、関連部分情報の有無をチェックする。ユーザが指定した動画情報に対して同じ時系列で静止画が撮影されていない場合、関連部分情報１０２Ｊは生成されない。対象とする動画情報に関連付けられた静止画が存在する場合、Ｓ８で、被写体評価値算出部１０２ｍが、上述の方法で被写体評価値を算出する。他方、関連部分が存在しない場合、Ｓ９で、メイン制御部１０２は、その旨の警告を再生部１１１の画面に表示させる。関連部分情報が得られず、静止画情報を用いたダイジェスト用部分抽出が不可能になるので、動画評価値のみを考慮したダイジェスト用部分抽出処理Ｓ１１に遷移する。

被写体評価値算出処理（Ｓ８）では、被写体評価値算出部１０２ｍが、モード判別部１０２Ｌの判定に基づき、被写体評価値を算出する。被写体一致率利用モードが選択されている場合、被写体評価値算出部１０２ｍは、関連部分情報１０２Ｊの関連フラグを利用し、所定時間Ｔ内で静止画と動画とで一致する被写体数を算出し、最大値２、最小値１で正規化した評価値を出力する。被写体一致部分利用モードが選択されている場合、被写体評価値算出部１０２ｍは、関連部分情報１０２Ｊの関連フラグが１である部分を抽出し、その部分から所定時間の範囲で被写体が一致していれば、被写体評価値情報１０２Ｋを最大値とする。メイン制御部１０２は、被写体評価値算出処理（Ｓ８）で得られた被写体評価値情報１０２Ｋをメモリ１０２ｅに一旦保存し、Ｓ１０に遷移する。

Ｓ１０で、メイン制御部１０２は、Ｓ８で得られた被写体評価値をチェックし、被写体の有無を判定する。静止画と動画の関連部分は存在するが、同一被写体の一致部分がない場合、Ｓ９に遷移し、メイン制御部１０２は、被写体の一致部分が存在しない旨の警告を再生部１１１の画面に表示させる。被写体の一致部分が存在しない旨の警告表示を行う。一方、同一被写体の一致が確認された場合、メイン制御部１０２は、Ｓ１４に遷移する。

Ｓ１４で、メイン制御部１０２は、静止画情報を考慮したダイジェスト再生の閾値ＴＨ２を設定する。具体的には、再生情報抽出部１０２ｆが先ず、動画評価値情報１０２ｉと被写体評価値情報１０２ｎを乗算して算出された評価値を最大値１、最小値０に正規化する。続いて、モード判別部１０２Ｌが、ダイジェスト総再生時間Ｔｄに基づいて閾値ＴＨ２を設定する。図１１を用いて説明すると、閾値ＴＨ２をＴＨ２’に変化させることにより、ダイジェスト抽出部分が変化する。閾値ＴＨ２を閾値ＴＨ２’に変更すると、閾値ＴＨ１に対するダイジェスト用部分Ｄ１，Ｄ２，Ｄ３がダイジェスト用部分Ｄ１’，Ｄ２’，Ｄ３’と短くなる。総再生時間Ｔｄは、Ｔｄ＝Ｄ１＋Ｄ２＋・・・Ｄｎで求まるので、ユーザが指定した総再生時間Ｔｄになるように、閾値ＴＨ２を変化させる。閾値ＴＨ２の設定が完了し、ダイジェスト用部分が確定したら、メイン制御部１０２は、Ｓ１２に遷移する。なお、動画評価値と被写体評価値を用いた再生部分抽出の詳細は、後述する。

Ｓ１１では、メイン制御部１０２は、動画情報のみを考慮したダイジェスト再生の閾値ＴＨ２を設定する。具体的には、再生情報抽出部１０２ｆが、動画評価値情報１０２ｉのみを用いて閾値ＴＨ２以上の部分を再生部分として抽出する。閾値ＴＨ２の設定が完了し、ダイジェスト用部分が確定したら、メイン制御部１０２は、Ｓ１２に遷移する。

Ｓ１２で、メイン制御部１０２は、抽出された部分が、ユーザにより設定された総再生時間Ｔｄに達しているかどうかを確認する。動画の撮影状況により、動画評価値が非常に低く、ダイジェストとして抽出された部分の総時間がユーザの指定時間に達していない場合も考えられる。ダイジェストとして抽出された部分の長さ、即ち再生時間が充分でない場合、一旦、処理を終了し、再度、ユーザにダイジェスト総再生時間を入力させる。再生時間が充分な場合、メイン制御部１０２は、Ｓ１５に遷移する。

Ｓ１５で、再生情報抽出部１０２ｆは、確定したダイジェスト用部分に再生フラグ情報を付加し、その再生フラグ情報を動画記録部１０３の動画撮影情報１０３ｂに記録する。この記録が完了したら、メイン制御部１０２は、再生処理（Ｓ１６）に遷移する。

再生処理（Ｓ１６）では、メイン制御部１０２は、動画撮影情報１０３ｂに記録されている再生情報に基づき、ダイジェスト再生を実行する。すなわち、ダイジェスト再生の対象とされた動画部分を連続的に再生する。

説明例を参照して、動画評価値のみで抽出したダイジェストと、動画評価値と被写体評価値を併用して抽出したダイジェストの相違を説明する。

図１２は、静止画Ｐ１９〜Ｐ２４と動画シーンＧに対するダイジェスト例を示す。Ｅ１０は動画シーンＧに対する動画評価値を示す。動画評価値Ｅ１０のみを使用する場合、評価値Ｅ１０がダイジェスト閾値ＴＨ２以上となる部分Ｄ４，Ｄ５をダイジェストとして抽出する。この結果では、静止画Ｐ２０，Ｐ２１が撮影されている動画部分は、動画評価値が低いのでダイジェスト抽出結果から外れている。静止画が撮影された部分はイベントの重要度の高いシーンである可能性が高いという前提では、このダイジェストは好ましくないと言える。

静止画が動画と同じ被写体を撮影している場合、これを動画中で探索することで、より好ましいダイジェスト用部分を決定できる。そこで、本実施例では、静止画の被写体情報を解析し、被写体一致部分（被写体重み付けモードが２：被写体一致部分利用モードの場合）で被写体評価値Ｅ１１を算出する。被写体評価値Ｅ１１は、静止画Ｐ１９〜Ｐ２４の被写体と同じ人物が動画シーンＧ中に存在するか否かにより算出されている。

図１３は、図１２に示す被写体評価値Ｅ１１の算出方式を説明する模式図である。図１３では、動画内に現れる被写体を模式的に図示している。図１３に示す例では、静止画Ｐ１９、Ｐ２１〜Ｐ２４に対しては、対応する動画（の所定時間Ｔ内）に同一被写体が存在しているが、静止画Ｐ２０に対しては同一被写体が存在しない。この結果、静止画Ｐ１９、Ｐ２１〜Ｐ２４に対応する期間で被写体評価値Ｅ１１を２とし、それ以外の期間の被写体評価値Ｅ１１を１とする。

動画評価値Ｅ１０に静止画評価値Ｅ１１を乗算した結果が、統合評価値Ｅ１２となる。図１２から容易に理解できるように、統合評価値Ｅ１２では、静止画Ｐ２０に対応する部分Ｄ７もダイジェスト用に抽出される。つまり、被写体一致部分の評価値を最大値にすることにより、静止画が撮影された点から所定時間Ｔの動画が確実にダイジェストとして抽出される。動画評価値が低くとも、被写体情報を用いることで、撮影者の意図に合った被写体部分をダイジェストとして抽出できる。また、静止画の撮影頻度の高い部分がダイジェスト用部分として抽出される確率が高くなるので、イベントの重要部分・注目部分を反映したダイジェスト再生が可能になる。

図１４は、静止画Ｐ２５〜Ｐ２９と動画シーンＨに対するダイジェスト例を示す。動画シーンＨでは、動画評価値Ｅ１３が点Ｃで０（ＴＨ３以下）になっている。これは、キャップを閉じたまま撮影を開始してしまった場合や、画像が白トビをしてしって情報が殆どない場合など、ダイジェスト再生に適さない部分であることを意味している。単に静止画と対応する期間をダイジェスト用に抽出する従来の方法では、このような期間も抽出されてしまうが、本実施例では、被写体評価値Ｅ１４を参照することで、このような事態は生じない。

具体的に説明すると、本実施例では、動画評価値Ｅ１３に被写体評価値Ｅ１４を乗算して得られる統合評価値Ｅ１５を閾値ＴＨ２と比較し、統合評価値Ｅ１５が閾値ＴＨ２以上となる部分をダイジェスト用に抽出する。この場合、静止画Ｐ２６，Ｐ２７に対応する部分Ｄは、ダイジェスト用には抽出されず、部分Ｄ１１，Ｄ１２が抽出される。

図１４では、ＴＨ３を０としたが、ＴＨ３を０以上の値に設定し、ＴＨ３以下の評価値を０にする処理を行っても同様の効果が得られる。

被写体重み付けモードとして被写体一致率利用モードを設定した場合の動作と効果を説明する。図１５は、被写体重み付けモードとして被写体一致率利用モードを設定したときの説明例であって、静止画Ｐ１９〜Ｐ２４と動画シーンＧに対するダイジェスト例を示す。動画シーンＧの動画評価値Ｅ１０のみを考慮した場合、動画評価値Ｅ１０が閾値ＴＨ２以上となる部分Ｄ４，Ｄ５が、ダイジェスト用に抽出される。

本実施例では、静止画Ｐ１９〜Ｐ２４の被写体情報を利用し、動画シーンＧとの間の被写体一致率を算出し、被写体評価値Ｅ１６とする。動画評価値Ｅ１０に被写体評価値Ｅ１６を乗算して統合評価値Ｅ１７を算出する。静止画が撮影された点をイベントの重要シーンであると仮定すると、静止画Ｐ２０，Ｐ２１に対応する動画シーンＧの部分も、ダイジェスト用に抽出すべきである。しかし、動画評価値Ｅ１０が低いことと、静止画Ｐ２０，Ｐ２１とシーンＧとの間で被写体の一致率が低いことから、静止画Ｐ２０，Ｐ２１に対応する部分で統合評価値Ｅ１７が閾値ＴＨ２より小さくなる。この結果、静止画Ｐ２０，Ｐ２１に対応する部分はダイジェスト用に抽出されない。動画の、静止画の被写体と同一の人物を含まない部分は、撮影者の意図に沿うものではない確率が高いが、本実施例では、このような部分がダイジェスト用に抽出されないようにできる。

他方、動画の、静止画の被写体と同一の人物を含む部分Ｄ１３，Ｄ１４は、ダイジェスト用に抽出されており、撮影者が狙った被写体が多く含まれる部分がダイジェスト用に抽出される結果となっている。

また、静止画Ｐ１９〜Ｐ２４とは異なる静止画群に対して、上記と同様の処理を行うと、同一の動画でも異なったダイジェストが生成可能である。例えば、同じイベントの動画でも、撮影者が異なれば、撮りたい被写体や撮影タイミングが異なるので、同様の処理を行ったとしてもダイジェスト抽出部分が異なる。つまり、同じ動画でも、対応させる静止画群が異なれば、それに応じたダイジェストが生成される。

以上の説明から容易に理解できるように、本実施例では、動画評価値に静止画情報を加味することで、ユーザの意図を反映したダイジェストを生成できる。すなわち、不適切な動画データを省いた、重要度と注目度の高いシーンを含むダイジェスト再生が可能になる。

異なる撮影機器で撮影されたデータであっても、被写体情報を比較することにより、目的の被写体を含む部分をダイジェスト用に抽出できる。

Claims (8)

1. 動画データを記録する動画記録手段と、
   前記動画データの内容に基づき動画評価値を算出する動画評価値算出手段と、
   静止画データを入力する静止画入力手段と、
   前記静止画データに含まれる被写体について評価し、被写体評価値を出力する被写体評価手段と、
   前記動画評価値及び前記被写体評価値に基づき、前記動画データの、前記静止画データの記録日時に対応する部分からダイジェスト用部分を抽出するダイジェスト抽出手段
   とを具備することを特徴とする画像処理装置。
2. 更に、前記ダイジェスト用部分を連続的に再生する再生手段を具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記動画評価値算出手段は、前記動画データに含まれる画像信号及び音声信号、並びに前記動画データの撮影情報のうちの少なくとも一つを用いて前記動画評価値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記動画評価値算出手段は、前記動画データに含まれる画像信号の明るさ、ノイズ及びコントラストを用いて前記動画評価値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記動画評価値算出手段は、前記動画データに含まれる音声信号の音声レベル、ノイズ及び周波数を用いて前記動画評価値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記動画評価値算出手段は、前記動画データの撮影時のパンニング動作又はズーム動作を含む撮影情報に基づき前記動画評価値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記被写体評価手段は、前記静止画データに含まれる人物の顔を認識する顔情報検出手段を具備することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記被写体評価手段は、前記静止画データに含まれる人物の、前記動画データにおける前記静止画データの記録日時に対応する部分に含まれる人物との一致率を算出して前記被写体評価値とすることを特徴とする請求項７に記載の画像処理装置。

Images