JP2019216364A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】動画の中からハイライトの区間を適切に選択可能にすることを課題とする。【解決手段】情報処理装置（２００）は、動画に含まれるフレームを評価する評価手段（２０２）と、前記評価の結果を基に動画からハイライトの候補区間を特定する特定手段（２０３）と、前記特定された候補区間のなかで、長さが長い候補区間を優先的にハイライト区間として選択する選択手段（２０４）と、を有する。【選択図】図２

Description

本発明は、動画の情報を処理する技術に関する。

近年、デジタルカメラやスマートフォンの普及に伴い、動画の撮影が手軽になったことから、自分で撮影した未編集の動画を保有しているユーザは多い。ユーザが動画を視聴するとき、動画の再生に時間がかかり過ぎたり、途中で退屈になったりすることを防ぐために、例えば動画のハイライトの部分だけを抜き出して短縮した動画（以下、ハイライト動画とする。）を視聴するという方法が広く知られている。

しかしながら、動画から手動でハイライトの部分だけを抜き出してハイライト動画を作成することは非常に手間がかかる。これに対し、特許文献１には、動画に含まれるフレームを評価し、例えば閾値以上の評価値を持つフレームが連続した区間（フレーム群）をハイライトの候補区間とし、その候補区間を用いてハイライト動画を生成可能とする技術が開示されている。また特許文献１には、例えば、評価値が最も高いフレームを含む候補区間や、フレームの評価値の変化が大きい候補区間、フレームの評価値の合計が最大となる候補区間などを選択して、ハイライト動画を生成する技術も開示されている。

国際公開第２００５／０８６４７８号

前述したように、ハイライト動画は候補区間を用いて生成されるため、その候補区間は、動画のハイライト部分に相当する区間であることが望ましい。また、候補区間は、フレームの評価値に基づいて求められるため、その評価値を得る評価方法は、動画に含まれる各フレームがハイライトに含まれるフレームであるかどうかを高い精度で判定できるような方法であるべきである。しかしながら、特許文献１に開示されているようなフレームの評価方法では、動画のハイライトに含まれるフレームを高い精度で判定することが難しい。

そこで、本発明は、フレームの評価方法の精度が高精度でない場合でも、動画からハイライトの区間を適切に取得可能にすることを目的とする。

本発明の情報処理装置は、動画に含まれるフレームを評価する評価手段と、前記評価の結果を基に、前記動画からハイライトの候補区間を特定する特定手段と、前記特定された候補区間のなかで、長さが長い候補区間を優先的にハイライト区間として選択する選択手段と、を有することを特徴とする。

本発明によれば、フレームの評価方法の精度が高精度でない場合でも、動画の中からハイライトの区間を適切に取得可能となる。

情報処理装置のハードウェア構成例を示す図である。 ハイライト動画作成装置の機能構成図である。 フレーム情報を管理するテーブルを示す図である。 候補区間情報を管理するテーブルを示す図である。 ハイライト区間情報を管理するテーブルを示す図である。 候補区間特定処理のフローチャートである。 ハイライト区間選択処理のフローチャートである。 候補区間の除去を含むハイライト区間選択処理のフローチャートである。 サブ区間の分割部を含むハイライト動画作成装置の機能構成図である。 サブ区間情報を管理するテーブルを示す図である。 サブ区間情報に基づく区間情報管理のテーブルを示す図である。 サブ区間分割処理のフローチャートである。 サブ区間にスコアを付与する処理のフローチャートである。 サブ区間スコアによるハイライト区間選択処理のフローチャートである。 補完顔スコアを追加したフレーム情報管理テーブルを示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜実施形態１＞
図１は、本実施形態における情報処理装置１００のハードウェア構成例を示す図である。
ＣＰＵ１０１は、装置全体を統括的に制御する中央演算装置である。ＣＰＵ１０１が制御プログラムに基づいて、情報の演算や加工、各ハードウェアの制御を実行することにより、本実施形態の情報処理装置１００の動作を実現する。ＲＡＭ１０２は、汎用的なＲＡＭであり、ＣＰＵ１０１の主メモリとして、若しくは、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。ＲＯＭ１０３は、汎用的なＲＯＭであり、例えば、本実施形態の情報処理装置１００の各動作を実現するための手順を規定するプログラムを記憶する。また、ＲＯＭ１０３には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフトウェア（ＯＳ）等を記憶したプログラムＲＯＭと、システムを稼動するために必要な情報などが記憶されたデータＲＯＭが含まれる。また、ＲＯＭ１０３の代わりに、ＨＤＤ１０９が用いられても良い。

ネットワークＩＦ１０４は、ネットワークインタフェースであり、ＬＡＮ等のネットワークを介して送受信される動画データなどの各種データの入出力制御を行う。ネットワークＩＦ１０４は、有線や無線等、ネットワークの媒体に応じた構成を有する。ＶＲＡＭ１０５は、ビデオＲＡＭであり、表示装置であるディスプレイ１０６の画面に表示される画像を展開する。ディスプレイ１０６は、表示装置であり、例えば、液晶ディスプレイや液晶パネルである。入力コントローラ１０７は、入力装置１０８からの入力信号を制御するコントローラである。入力装置１０８は、ユーザからの操作指示を受け付けるための外部入力装置であり、例えば、タッチパネル、キーボード、ポインティングデバイス、リモートコントローラなどである。

ＨＤＤ１０９は、ハードディスクドライブである。ＨＤＤ１０９は、アプリケーションプログラムや、動画データや画像データなどのデータ保存用に用いられる。アプリケーションプログラムには、ＣＰＵ１０１が本実施形態に係る後述するハイライト動画生成処理を実行するためのハイライト動画作成アプリケーションが含まれる。入力ＩＦ１１０は、ＣＤ（ＤＶＤ）−ＲＯＭドライブ、メモリカードドライブ等の外部装置と接続するためのインタフェースであり、例えば、デジタルカメラで撮影した動画データの読出しなどに用いられる。入出力バス１１１は、上述した各ユニット間を相互に通信可能に接続するための入出力バスであり、例えばアドレスバス、データバス、制御バスを含む。

図２は、図１に示した情報処理装置１００においてハイライト動画作成処理を実行することにより実現される、本実施形態のハイライト動画作成装置２００の機能構成例を示したブロック図である。詳細は後述するが、本実施形態のハイライト動画作成装置２００は、動画に含まれるフレームを評価した評価結果（評価値）を基に、動画からハイライトの候補区間を特定する。候補区間は、一例として、フレームの評価値が所定の閾値以上となるような評価の高いフレームが連続した区間として、動画から特定される。さらに、ハイライト動画作成装置２００は、特定した候補区間のなかから、相対的に長さが長い候補区間を優先的にハイライト動画に適したハイライト区間として選択する。そして、ハイライト動画作成装置２００は、選択したハイライト区間を、元の動画から抽出してハイライト動画を生成する。すなわちハイライト動画作成装置２００は、フレームの評価値以外の指標として候補区間の長さの情報を用い、候補区間のなかで、長さが長い候補区間を優先して選択することにより、ハイライト動画に好適なハイライト区間を適切に選択可能としている。なお、本実施形態のハイライト動画作成装置２００は、選択したハイライト区間を基にハイライト動画を作成するが、ハイライト区間に含まれる特定のフレームを使用して、いわゆるフォトブックなどの他のコンテンツを作成してもよい。

入力部２０１は、入力ＩＦ１１０を介して動画データを読み込み、動画に含まれる各フレームの画像を抽出してＨＤＤ１０９に保存する。対象とするフレームは動画に含まれる全てのフレームでもよいし、動画の圧縮符号化にフレーム間予測を用いている場合にはＩフレーム（intra frame）のみでもよい。本実施形態では、１秒ごとに１５フレーム間隔で出現するＩフレームの画像を入力としてＨＤＤ１０９に保存するものとする。

評価部２０２は、入力部２０１から入力されたフレームの画像を解析して得られる輝度や画像内の特定の被写体（本実施形態では顔とする。）などの特徴量を用いてフレームの評価値を算出する。なお、動画を撮影したカメラが撮影時にメタデータとして輝度や顔の特徴量を記録している場合、入力部２０１はメタデータを取得し、評価部２０２では、そのメタデータを用いて評価値を算出するようにしてもよい。

特定部２０３は、閾値以上の評価値を持つフレームが一定数以上連続している区間をハイライトの候補区間として特定する。そして、選択部２０４は、特定部２０３にて特定された候補区間の長さ（例えばフレーム数）の情報を基に、ハイライト区間を選択する。出力部２０５は、選択部２０４により選択された複数のハイライト区間を、元の動画から抽出して繋ぎ合わせることで、ハイライト動画を生成する。このようにして生成されたハイライト動画は、例えばＨＤＤ１０９に保存されたり、ディスプレイ１０６に表示されたりする。なお選択されたハイライト動画が複数でない場合は、選択された１つのハイライト区間がハイライト動画として出力される。

図３は、評価部２０２が評価した動画の各フレームの情報を管理するテーブルの一例を示す図である。図３に示したフレームテーブル３０１は、ＩＤ、フレーム番号、輝度変化量、顔スコア、評価値の各項目を含むフレーム情報により構成される。ＩＤは、フレーム情報について順番に付けられた識別情報である。フレーム番号は、動画の各フレームのうち評価値算出の解析に用いられたフレーム（本実施形態ではＩフレーム）に付与されているフレーム番号である。輝度変化量は、フレーム解析により算出された輝度の変化量であり、時間軸上で一つ前のＩフレームとの輝度値の差を基に算出される値である。顔スコアは、Ｉフレームから被写体の顔が検出された場合に、その検出された顔の座標と大きさを基に、画像の中心に近く大きい顔ほど高い値になるように算出される値である。評価値は、輝度変化量と顔スコアの値を足して０〜１の範囲に丸めた値であり、本実施形態では評価値が１に近いほどハイライトに適したフレームであることを示している。

図４は、特定部２０３が特定した候補区間の情報を管理するテーブルの一例を示す図である。図４に示した候補区間テーブル４０１は、ＩＤ、区間の開始フレームＩＤ、区間の終了フレームＩＤ、区間の長さ、区間内の顔検出有無の各項目を含む候補区間情報により構成される。ＩＤは、候補区間について順番に付けられた識別情報である。区間の開始フレームＩＤと終了フレームＩＤは、当該区間の最初のＩフレームと最後のＩフレームの情報（例えばフレーム番号）である。なお、候補区間はこれら開始フレームＩＤと終了フレームＩＤにより指し示されるが、候補区間にはＩフレーム以外の他のフレームも含められるものとする。つまり、本実施形態の場合、Ｉフレームは１５フレーム間隔であるため、候補区間の終了は、終了フレームＩＤの指すＩフレームの１４フレーム先のフレームとなる。また、区間の長さは、開始フレームＩＤのＩフレームから終了フレームＩＤのＩフレームの数×１５のフレーム数で表される長さとなる。

図５は、選択部２０４が選択したハイライト区間の選択結果の情報を管理するテーブルの一例を示す図である。図５に示したハイライト区間テーブル５０１は、ＩＤ、候補区間のＩＤ、区間の開始フレームＩＤ、区間の終了フレームＩＤの項目を含むハイライト区間情報として構成される。図５のＩＤ、候補区間のＩＤ、区間の開始フレームＩＤ、区間の終了フレームＩＤは、図４で説明したものと同様である。

図６は、特定部２０３が、図３に示したフレームテーブル３０１のフレーム情報を基に動画からハイライトの候補区間を特定する処理の流れを示すフローチャートである。以下の説明では、図６のフローチャートにおける各ステップＳ６０１〜Ｓ６１１をＳ６０１〜Ｓ６１１と略記する。このことは後述する他のフローチャートにおいても同様とする。

先ずＳ６０１において、特定部２０３は、フレームテーブル３０１のフレーム情報を格納するリストの変数ｆｒａｍｅＬｉｓｔを空に初期化し、また、ＩＤを示す変数ｉを１に初期化する。そして、特定部２０３は、次のＳ６０２において、ＩＤが変数ｉのフレーム情報をフレームテーブル３０１から取得した後、Ｓ６０３に処理を進める。

Ｓ６０３に進むと、特定部２０３は、フレームの評価値が、所定の閾値である０．５以上かどうかを判定する。ここでは閾値を０．５とするが、ハイライトに含めるフレームをより評価の高いフレームに限定したいのであれば、閾値をさらに大きな値にしてもよい。そして、特定部２０３は、Ｓ６０３において、評価値が閾値以上であると判定した場合にはＳ６０４に処理を進めてｆｒａｍｅＬｉｓｔにフレーム情報を追加した後、Ｓ６０８に処理を進める。

一方、特定部２０３は、Ｓ６０３において評価値が閾値より小さいと判定した場合、Ｓ６０５に処理を進め、ｆｒａｍｅＬｉｓｔに追加したフレーム情報が３以上有るかどうかを判定する。そして、特定部２０３は、Ｓ６０５において、フレーム情報が３未満であると判定した場合にはＳ６０７に処理を進め、フレーム情報が３以上であると判定した場合にはＳ６０６に処理を進める。

Ｓ６０６に進むと、特定部２０３は、ｆｒａｍｅＬｉｓｔに追加されたフレーム情報を基に候補区間情報を生成し、その候補区間情報を図４の候補区間テーブル４０１に新規登録する。ここで、候補区間情報の開始と終了は、ｆｒａｍｅＬｉｓｔに追加された先頭と末尾のフレーム情報のＩＤとなり、候補区間情報の長さは、ｆｒａｍｅＬｉｓｔに追加されたフレーム情報の数×１５フレームで算出したフレーム数となる。また、ｆｒａｍｅＬｉｓｔに追加されたフレーム情報の顔スコアが何れか一つでも０でない場合、候補区間情報の顔検出は「有」となり、顔スコアが何れも０の場合、候補区間情報の顔検出は「無」となる。Ｓ６０６の後、特定部２０３はＳ６０７に処理を進める。

Ｓ６０７に進むと、特定部２０３は、ｆｒａｍｅＬｉｓｔを空に初期化した後、Ｓ６０８に処理を進める。
Ｓ６０８に進むと、特定部２０３は、変数ｉがフレームテーブル３０１の最後のＩＤかどうかを判定し、変数ｉが最後のＩＤでないと判定した場合にはＳ６０９で変数ｉに１を足した後、Ｓ６０２に処理を戻す。これにより、Ｓ６０２〜Ｓ６０７までの処理は、Ｓ６０８において変数ｉが最後のＩＤであると判定されるまで繰り返される。そして、Ｓ６０８において変数ｉが最後のＩＤであると判定すると、特定部２０３は、Ｓ６１０に処理を進める。

Ｓ６１０に進むと、特定部２０３は、最後のＩＤのフレーム情報についてＳ６０５と同様に、ｆｒａｍｅＬｉｓｔに追加したフレーム情報が３以上有るかどうかを判定する。そして、特定部２０３は、Ｓ６１０において、フレーム情報が３未満であると判定した場合には候補区間特定処理を終了する。一方、特定部２０３は、Ｓ６１０においてフレーム情報が３以上であると判定した場合にはＳ６１１に処理を進め、Ｓ６０６と同様に、ｆｒａｍｅＬｉｓｔに追加されたフレーム情報を基に候補区間情報を生成して候補区間テーブル４０１に新規登録する。そして、特定部２０３は、Ｓ６１１の処理後、候補区間特定処理を終了する。すなわち、特定部２０３は、Ｓ６１０とＳ６１１において、最後にｆｒａｍｅＬｉｓｔに追加されたフレーム情報が３以上の場合のみ候補区間テーブル４０１に新規登録する。従って、処理終了までｆｒａｍｅＬｉｓｔに追加されたフレーム情報が３以上にならない場合、候補区間は０となる。

図７は、選択部２０４が、図４に示した候補区間テーブル４０１の候補区間情報を基にハイライト区間を選択する処理の流れを示すフローチャートである。
先ずＳ７０１において、選択部２０４は、候補区間テーブル４０１に登録された全ての候補区間情報を、候補区間の長さが長い順にソートする。そして、選択部２０４は、次のＳ７０２において、選択したハイライト区間の総フレーム数を示す変数ｎを０に初期化し、候補区間の順番を示す変数ｒを１に初期化した後、Ｓ７０３に処理を進める。

Ｓ７０３に進むと、選択部２０４は、候補区間テーブル４０１から、候補区間の長さがｒ番目に長い候補区間情報を取得し、次のＳ７０４において変数ｎと取得した候補区間情報の長さとを足した値が、所定の閾値である３００を超えるかどうかを判定する。そして、選択部２０４は、Ｓ７０４において、所定の閾値を超えると判定した場合にはハイライト区間選択処理を終了し、一方、所定の閾値を超えないと判定した場合にはＳ７０５に処理を進める。なお、Ｓ７０４では所定の閾値として２０秒の時間に相当するフレーム数の３００の値を用いたが、閾値はハイライト動画の再生時間の上限に合わせて他の値を用いてもよい。さらに、所定の閾値は、入力動画の再生時間を基に動的な閾値として算出されてもよいし、ユーザにより入力される所望の値が用いられてもよい。

Ｓ７０５に進むと、選択部２０４は、候補区間情報を基にハイライト区間情報を生成し、そのハイライト区間情報を図５のハイライト区間テーブル５０１に新規登録する。さらに、選択部２０４は、変数ｎに候補区間情報の長さを足して変数ｎの値を更新する。そして、選択部２０４は、Ｓ７０５の後、Ｓ７０６に処理を進める。

Ｓ７０６に進むと、選択部２０４は、ｒ番目が最後の候補区間情報かどうかを判定し、最後でないと判定した場合にはＳ７０７で変数ｒに１を足した後、Ｓ７０３に処理を戻す。これにより、Ｓ７０３〜Ｓ７０５までの処理は、Ｓ７０６においてｒ番目が最後の候補区間情報であると判定されるまで繰り返される。そして、Ｓ７０６においてｒ番目が最後の候補区間情報であると判定すると、選択部２０４は、ハイライト区間選択処理を終了する。最後の候補区間情報に対する処理が終わった時点で、選択された候補区間情報の長さを足した値が、所定の閾値である３００を超えない場合、生成されるハイライト動画は３００フレームより短い動画となる。また、候補区間テーブル４０１に登録されていた候補区間情報が１つの場合、その区間がハイライト区間として選択される。

なお、本実施形態では、Ｓ７０１において候補区間の長さを用いてソートすることで優先的に選択される候補区間を決定した。しかしながら、十分に長い候補区間しかない場合は、何れの候補区間もハイライトに適している可能性があり、候補区間の長さのみで優先すべき候補区間を判断することは難しい。このため、選択部２０４は、候補区間の長さだけでなく、候補区間に含まれるフレームの評価値や顔検出有無、動画撮影時のブレの有無やブレ量等の、少なくともいずれかの情報を用いて候補区間のスコアを補正し、その補正したスコアの値でソートしてもよい。

また、Ｓ７０５においてハイライト区間を登録するとき、候補区間情報と同じ開始フレームと終了フレームにしたが、候補区間が十分に長い場合には、候補区間の前後で所定の割合のフレーム数分のフレームを除去して登録してもよい。このようにすることで、ハイライトに適さないフレームとハイライトに適したフレームの境目のような不確実なフレームをハイライト区間から取り除くことができる。

以上説明したように、本実施形態においては、評価の高いフレームが連続した候補区間の長さの情報を用いることで、よりハイライトである可能性の高い候補区間を優先的にハイライト区間として選択することができる。これにより、本実施形態によれば、フレームの評価方法の精度が高精度でない場合でも、候補区間から最終的に動画に用いるハイライト区間を適切に選択することができる。

＜実施形態２＞
前述した実施形態１では、候補区間の長さの情報を用いることで、よりハイライトである可能性の高い候補区間を優先的にハイライト区間として選択している。実施形態２では、候補区間の長さが短く区間内に顔が検出されないような、ハイライトとして適さない可能性のある候補区間をハイライト区間として選択する対象から除去する例について説明する。実施形態２における情報処理装置のハードウェア構成は図１と同様であり、ハイライト動画作成装置２００の機能構成は図２と同様であるため、それらの図示は省略する。以下の説明では、実施形態２において前述した実施形態１とは異なる部分のみ述べることとする。

図８は、実施形態２の選択部２０４が、図７の処理によりハイライト区間を選択する代わりに、候補区間の長さの情報を基に、ハイライトに適さない可能性のある候補区間を、ハイライト区間の選択対象から除去する処理の流れを示すフローチャートである。
先ずＳ８０１において、選択部２０４は、図４の候補区間テーブル４０１のＩＤを示す変数ｉを１に初期化する。次にＳ８０２において、選択部２０４は、候補区間テーブル４０１で最も候補区間の長さが長い候補区間情報を取得し、その取得した候補区間情報を基にハイライト区間情報を生成してハイライト区間テーブル５０１に新規登録する。

次にＳ８０３において、選択部２０４は、ＩＤがｉの候補区間情報を候補区間テーブル４０１から取得し、さらにＳ８０４において候補区間の長さが所定の閾値である７５以上かどうかを判定する。ここでは、閾値を７５としたが、ハイライトに適さない傾向の強い候補区間の長さが経験的もしくは統計的に求められていれば、その長さを閾値としてもよい。また、登録されるハイライト区間の数を調整するため、候補区間の数を基に、閾値の大小が調整されてもよい。そして、選択部２０４は、Ｓ８０４において、候補区間の長さが所定の閾値以上であると判定した場合にはＳ８０６に処理を進め、一方、閾値未満であると判定した場合にはＳ８０５に処理を進める。

Ｓ８０５に進むと、選択部２０４は、顔検出の結果が「有」であるかどうかを判定する。そして、選択部２０４は、顔検出の結果が「有」であると判定した場合にはＳ８０６に処理を進め、顔検出の結果が「有」でないと判定した場合にはＳ８０７に処理を進める。

Ｓ８０６に進んだ場合、つまりＳ８０４とＳ８０５の何れかの条件が満たされた場合、選択部２０４は、ハイライト区間情報を生成してハイライト区間テーブル５０１に新規登録する。なお、Ｓ８０２では最も長い候補区間が既に登録されているため、Ｓ８０６ではハイライト区間テーブル５０１の候補ＩＤに、既にＩＤがｉの情報が登録されているかどうかを確認し、未登録の場合のみ新規登録するものとする。そして、Ｓ８０６の後、選択部２０４は、Ｓ８０７に処理を進める。

Ｓ８０７に進むと、選択部２０４は、ｉが候補区間テーブル４０１の最後のＩＤかどうかを判定する。また、選択部２０４は、Ｓ８０４とＳ８０５の何れの条件も満たさないためにＳ８０７に進んだ場合、候補区間をハイライト区間として登録しない、つまり選択対象から除去するようにした後に、ｉが候補区間テーブル４０１の最後のＩＤかどうかの判定を行う。ここで、選択部２０４は、Ｓ８０７においてｉが候補区間テーブル４０１の最後のＩＤでないと判定した場合、Ｓ８０８において変数ｉに１を足した後にＳ８０３に処理を戻す。これにより、Ｓ８０３からＳ８０６までの処理は、Ｓ８０７においてｉが候補区間テーブル４０１の最後のＩＤと判定されるまで繰り返される。そして、選択部２０４は、Ｓ８０７においてｉが候補区間テーブル４０１の最後のＩＤであると判定すると、図８のフローチャートに示したハイライト区間選択処理を終了する。

以上説明したように、本実施形態においては、候補区間が短く区間内に顔が検出されないようなハイライトとして適さない可能性のある候補区間を除去することができる。また、本実施形態においては、Ｓ８０２で最も長い候補区間を登録することで、候補区間を除去した結果、ハイライト区間が何も選択されなくなることを防ぐことができる。なお、実施形態２のハイライト区間選択処理の出力を候補区間にして、前述した実施形態１のハイライト区間選択処理を行うよう組み合わせてもよい。これにより、ハイライトとして適さない可能性のある候補区間を除去した後で、候補区間の長いものから優先的に選択することもできる。

＜実施形態３＞
実施形態１では、候補区間の長いものを優先的にハイライト区間として選択している。これに対し、実施形態３では、候補区間をサブ区間に分割し、候補区間の長いものを優先して、その候補区間に含まれるサブ区間を選択することで、網羅的にハイライト区間を選択可能にする例について説明する。実施形態３における情報処理装置のハードウェア構成は図１と同様であるため、その図示は省略する。以下の説明では、実施形態３において前述した実施形態１とは異なる部分のみ述べることとする。

図９は、実施形態３に係るハイライト動画作成装置２００の機能構成図であり、図２に示したハイライト動画作成装置２００に、候補区間をサブ区間に分割する分割部９０１が加えられた構成図である。
図９の構成において、選択部２０４は、入力された候補区間の情報を分割部９０１に渡し、分割部９０１は当該候補区間をサブ区間に分割した後、選択部２０４に送る。選択部２０４は、分割部９０１により分割されたサブ区間の情報を受け取り、元の候補区間の情報とサブ区間の情報とを用いて、ハイライト区間の選択処理を行う。

図１０（ａ）〜図１０（ｃ）は、分割部９０１が分割したサブ区間の情報を管理するテーブルの一例を示す図である。図１０（ａ）〜図１０（ｃ）に示したサブ区間テーブル１００１〜１００３は、ＩＤ、サブ区間が属する候補区間のＩＤ、サブ区間の開始フレームＩＤ、サブ区間の終了フレームＩＤ、サブ区間の長さ、サブ区間のスコアの項目を含むサブ区間情報により構成される。これら図１０（ａ）のサブ区間テーブル１００１、図１０（ｂ）のサブ区間テーブル１００２、図１０（ｃ）のサブ区間テーブル１００３は、全て同じサブ区間を示したものである。図１０（ａ）のサブ区間テーブル１００１はスコアが未登録の状態を示し、図１０（ｂ）のサブ区間テーブル１００２はスコア登録途中の状態を、図１０（ｃ）のサブ区間テーブル１００３は全てのサブ区間にスコアを登録した後の状態を示している。なお、図１０（ａ）〜図１０（ｃ）のサブ区間テーブル１００１〜１００３のＩＤ、開始フレームＩＤ、終了フレームＩＤ、長さは、サブ区間における図４と同様のものである。

図１１は、図５に示したハイライト区間テーブル５０１と同様の構成でハイライト区間の選択結果の情報を管理するテーブルの一例を示す図である。図１１に示したハイライト区間テーブル１１０１は、図１０（ｃ）に示したサブ区間テーブル１００３の情報を基に選択部２０４が選択したハイライト区間の情報を示している。

図１２は、分割部９０１が、図４に示した候補区間テーブル４０１の候補区間情報を基に、候補区間をサブ区間に分割する処理の流れを示したフローチャートである。
Ｓ１２０１において、分割部９０１は、候補区間テーブル４０１に登録された全ての候補区間情報を、候補区間の長さが長い順にソートする。さらに、分割部９０１は、Ｓ１２０２において、候補区間の長さの順番を示す変数ｒを１に初期化する。

次にＳ１２０３において、分割部９０１は、ｒ番目に長い候補区間情報を取得する。そして、Ｓ１２０４において、分割部９０１は、候補区間情報の開始フレームＩＤと終了フレームＩＤとから、例えばその中心６０フレームに位置するフレームＩＤを算出してサブ区間の開始フレームＩＤと終了フレームＩＤとする。さらに、分割部９０１は、サブ区間の長さを算出してサブ区間情報を生成し、図１０（ａ）のサブ区間テーブル１００１に新規登録する。

次にＳ１２０５において、分割部９０１は、候補区間の開始フレームＩＤから終了フレームＩＤまでの全てのフレームがいずれかのサブ区間に含まれるようなサブ区間分割の処理が完了したかどうかを判定する。そして、分割部９０１は、Ｓ１２０５において、サブ区間分割が完了したと判定した場合にはＳ１２０８に処理を進め、一方、サブ区間分割が完了していないと判定した場合にはＳ１２０６に処理を進める。

Ｓ１２０６に進むと、分割部９０１は、既にサブ区間として登録済みとなっていてＩＤが最も小さいフレームＩＤから例えば手前３０フレームに位置するフレームＩＤを算出して、それらをサブ区間の開始フレームＩＤと終了フレームＩＤとする。そして、分割部９０１は、そのサブ区間の長さを算出してサブ区間情報を生成し、図１０（ａ）のサブ区間テーブル１００１に新規登録する。さらにＳ１２０７において、分割部９０１は、登録済みとなっていてＩＤが最も大きいフレームＩＤから例えば後ろ３０フレームに位置するフレームＩＤを算出して、それらをサブ区間の開始フレームＩＤと終了フレームＩＤとする。そして、分割部９０１は、そのサブ区間の長さを算出してサブ区間情報を生成し、図１０（ａ）のサブ区間テーブル１００１に新規登録する。このＳ１２０７の後、分割部９０１は、Ｓ１２０５に処理を戻す。つまり、分割部９０１は、Ｓ１２０５においてｒ番目の候補区間におけるサブ区間分割が完了したと判定されるまで、Ｓ１２０６とＳ１２０７の処理を繰り返す。

なお、Ｓ１２０４、Ｓ１２０６、Ｓ１２０７において、分割部９０１は、サブ区間として登録するフレームＩＤを、候補区間情報の開始フレームＩＤおよび終了フレームＩＤを超えない範囲で登録するものとする。またここでは、中心を６０フレーム、手前と後ろを３０フレームとしてサブ区間に分割したが、これらの値は任意であり、他の値を用いてもよい。また、サブ区間の分割を行う際の中心位置は、顔などの情報を基に変更してもよい。

Ｓ１２０８に進むと、分割部９０１は、ｒ番目が最後の候補区間情報かどうかを判定する。分割部９０１は、Ｓ１２０８において最後の候補区間情報でないと判定した場合にはＳ１２０９で変数ｒに１を足した後にＳ１２０３に処理を戻す。つまり、分割部９０１は、Ｓ１２０８においてｒ番目が最後の候補区間情報であると判定されるまでＳ１２０３〜Ｓ１２０７の処理を繰り返す。そして、分割部９０１は、Ｓ１２０８においてｒ番目が最後の候補区間情報であると判定した場合、図１２におけるサブ区間分割処理を終了する。

図１３と図１４は、実施形態３の選択部２０４が、前述した図７の処理でハイライト区間を選択する際に、サブ区間にスコアを付与し、そのサブ区間のスコアを基にハイライト区間を選択する処理の流れを示すフローチャートである。
図１３は、選択部２０４におけるハイライト区間選択処理の前処理であって、候補区間テーブル４０１とサブ区間テーブル１００１の情報を基に、サブ区間テーブル１００１にスコアを付与する処理を示すフローチャートである。

先ずＳ１３０１において、選択部２０４は、候補区間テーブル４０１に登録された全ての候補区間情報を、候補区間の長さが長い順にソートする。
次に選択部２０４は、Ｓ１３０２において、サブ区間に付与するスコアを示す変数ｓｃｏｒｅをサブ区間テーブル１００１に登録されたサブ区間の数で初期化し、さらにＳ１３０３において、候補区間の長さの順番を示す変数ｒを１に初期化する。

次にＳ１３０４において、選択部２０４は、ｒ番目に長い候補区間情報のＩＤと同じ候補ＩＤを持つサブ区間情報をサブ区間テーブル１００１から取得する。このとき、選択部２０４は、スコアが登録済みでない最も小さいＩＤのサブ区間情報を取得する。

次にＳ１３０５において、選択部２０４は、取得したサブ区間情報が同一候補ＩＤにおける最初のサブ区間情報かどうかを判定することで、取得したサブ区間情報が候補区間の中央のサブ区間かどうかを判定する。例えば選択部２０４は、サブ区間テーブルの状態が図１０（ａ）のサブ区間テーブル１００１であり、ＩＤが「６」のサブ区間情報を取得した場合、そのＩＤの「６」は候補ＩＤの「４」における最初のサブ区間情報であるため、中央のサブ区間であると判定する。そして、選択部２０４は、Ｓ１３０５において、中央のサブ区間であると判定した場合にはＳ１３０６に処理を進め、中央のサブ区間でないと判定した場合にはＳ１３０７に処理を進める。

Ｓ１３０６に進むと、選択部２０４は、サブ区間情報のスコアに変数ｓｃｏｒｅの値を登録し、変数ｓｃｏｒｅの値を１引いた値に更新した後、Ｓ１３０９に処理を進める。
一方、Ｓ１３０７に進むと、選択部２０４は、Ｓ１３０４でサブ区間情報を取得できたかどうかを判定する。そして、選択部２０４は、サブ区間情報を取得できた場合にはＳ１３０８に処理を進め、一方、サブ区間情報を取得できない場合にはＳ１３０９に処理を進める。

Ｓ１３０８に進んだ場合、選択部２０４は、サブ区間情報のスコアに変数ｓｃｏｒｅの値を登録する。さらに、選択部２０４は、次のＩＤのサブ区間情報を取得して、変数ｓｃｏｒｅ−１の値を登録し、変数ｓｃｏｒｅの値を２引いた値に更新した後、Ｓ１３０９に処理を進める。例えば、サブ区間テーブルがサブ区間テーブル１００２の状態であり、ＩＤが「７」のサブ区間情報のスコアを登録する場合、選択部２０４は、ＩＤが「７」のサブ区間情報のスコアを登録するだけでなく、次のＩＤの「８」のサブ区間情報のスコアも登録する。

Ｓ１３０９に進むと、選択部２０４は、ｒ番目のサブ区間が最後のサブ区間かどうかを判定し、最後のサブ区間であると判定した場合にはＳ１３１１に処理を進め、一方、最後のサブ区間ではないと判定した場合にはＳ１３０１に処理を進める。
Ｓ１３０１に進むと、選択部２０４は、変数ｒに１を足した後、Ｓ１３０４に処理を戻す。つまり、選択部２０４は、Ｓ１３０９においてｒ番目が最後のサブ区間であると判定されるまで、Ｓ１３０４からＳ１３０８の処理を繰り返す。

Ｓ１３１１に進むと、選択部２０４は、サブ区間テーブル１００１の全てのサブ区間情報にスコアを登録したかどうかを判定し、全てのサブ区間情報にスコアが登録されていないと判定した場合にはＳ１３０３に処理を戻して変数ｒが１に初期化される。つまり、選択部２０４は、Ｓ１３１１において全てのサブ区間情報にスコアを登録したと判定されるまで、Ｓ１３０３からＳ１３０９までの処理を繰り返す。一方、選択部２０４は、Ｓ１３１１において全てのサブ区間情報にスコアが登録されたと判定した場合には、図１３のスコア付与処理を終了する。

前述した図１０（ｃ）に示したサブ区間テーブル１００３は、上述したフローチャートによってサブ区間テーブル１００１の全てのサブ区間にスコアを登録した後の状態を示している。
なお、ここではサブ区間のスコアは、候補区間の長さの情報に基づいて算出したが、サブ区間に含まれるフレームの評価値など他の情報をさらに用いて算出してもよい。また、サブ区間のスコアについても、前述した候補区間のスコアと同様、サブ区間に含まれるフレームの評価値や顔検出有無、動画撮影時のブレの有無やブレ量等を基にスコアを補正してもよい。

図１４は、図１３に示した前処理でスコアを付与したサブ区間テーブル１００３の情報を基に、選択部２０４が、ハイライト区間を選択する処理を示すフローチャートである。
先ずＳ１４０１において、選択部２０４は、サブ区間テーブル１００３に登録された全てのサブ区間情報を、サブ区間のスコアが高い順にソートする。
次にＳ１４０２において、選択部２０４は、選択したハイライト区間の総フレーム数を示す変数ｎを０に初期化し、サブ区間のスコアの高い順番を示す変数ｒを１に初期化する。
さらにＳ１４０３において、選択部２０４は、ｒ番目にスコアの高いサブ区間情報を取得する。

次にＳ１４０４において、選択部２０４は、変数ｎと取得したサブ区間情報の長さを足した値が、所定の閾値である３００を超えるかどうかを判定する。ここでは閾値として３００を用いたが、Ｓ７０４と同様に他の値を用いてもよい。そして、選択部２０４は、閾値を超えないと判定した場合にはＳ１４０５に処理を進め、閾値を超えると判定した場合には図１４のハイライト区間選択処理を終了する。

Ｓ１４０５に進むと、選択部２０４は、サブ区間の候補ＩＤと同一の候補ＩＤを持つハイライト区間が既にハイライト区間テーブル１１０１に登録済みかどうかを判定する。そして、選択部２０４は、登録済みでないと判定した場合にはＳ１４０６に処理を進め、登録済みであると判定した場合にはＳ１４０７に処理を進める。

Ｓ１４０６に進んだ場合、選択部２０４は、ハイライト区間情報を生成して新規登録し、その後、Ｓ１４０８に処理を進める。
一方、Ｓ１４０７に進んだ場合、選択部２０４は、既に同一候補ＩＤを持つ登録済みのハイライト区間情報を更新する。この更新処理は、登録済みのハイライト区間情報とＳ１４０３で取得したサブ区間情報の開始フレームＩＤおよび終了フレームＩＤとをそれぞれ比較し、開始フレームＩＤは小さい値に更新し、終了フレームＩＤは大きい値に更新するような処理となされる。このＳ１４０７の後、選択部２０４は、Ｓ１４０８に処理を進める。

Ｓ１４０８に進むと、選択部２０４は、変数ｎにサブ区間情報の長さを足してｎの値を更新する。
次にＳ１４０９において、選択部２０４は、ｒ番目が最後のサブ区間かどうかを判定し、最後でないと判定した場合にはＳ１４１０でｒに１を足した後、Ｓ１４０３に処理を戻す。つまり、選択部２０４は、Ｓ１４０９においてｒ番目が最後のサブ区間であると判定されるまで、Ｓ１４０３〜Ｓ１４０８の処理を繰り返す。
一方、Ｓ１４０９において最後のサブ区間であると判定した場合、選択部２０４は、図１４のハイライト区間選択処理を終了する。

以上説明したように実施形態３においては、候補区間をサブ区間に分割し、候補区間の長いものを優先して候補区間に含まれるサブ区間を選択する。これにより、実施形態３によれば、よりハイライトである可能性の高い候補区間を優先しつつ、網羅的にハイライト区間を選択することができる。
また、実施形態３では、各候補区間の中心のサブ区間に最も高いスコアを付与した後、各候補区間の手前のサブ区間、後ろのサブ区間の順に高いスコアを付与する。これにより、実施形態３によれば、後ろよりも手前のサブ区間が優先して選択され、徐々に候補区間の中心にある良いシーンが再生されるようになる。

＜実施形態４＞
前述した実施形態１では、評価の高いフレームが連続したことを示す候補区間の長さの情報を用いることで、よりハイライトである可能性の高い候補区間を選択している。しかしながら、フレームの評価方法によっては、評価値の高いフレームが連続せずに途切れることで、短い候補区間ばかりとなり長さに差が出ず、ハイライトである可能性の高い候補区間を見つけることができない虞がある。例えばフレームの評価に顔検出を用いる場合、子供が遊んでいるハイライトに相応しいシーンにおいて、子供が動いたり後ろを向いたりするために、顔が小さく検出されたり顔が検出されなかったりして、評価値の低いフレームが間に挟まる場合などが想定される。

このため、実施形態４では、フレームの評価値を算出するときに、前後のフレームから取得した特徴量を用いて補完することにより、そのような問題の発生を防ぐものである。実施形態４における情報処理装置のハードウェア構成は図１と同様であり、ハイライト動画作成装置２００の機能構成は図２と同様であるため、それらの図示は省略する。以下の説明では、実施形態４において前述した実施形態１とは異なる部分のみ述べることとする。なお実施形態４においても、実施形態３と同様にサブ区間に分割して処理してもよい。

図１５は、実施形態４の評価部２０２が評価した動画の各フレームの情報を管理するテーブルの一例を示した図である。図１５に示したフレームテーブル１５０１は、前述した図３のフレームテーブル３０１に補完顔スコアを追加したフレーム情報により構成される。補完顔スコアは、評価部２０２が、顔スコアを算出した後に、そのフレームの前後一つのフレーム情報の顔スコアを取得して、最も大きい値を算出したスコアである。ここでは、前後一つのフレーム情報を取得したが、補完する範囲を変えるために前後一つではなく他の値を用いてもよい。評価値は、輝度変化量と補完顔スコアの値を足して０〜１の範囲に丸めた値であり、１に近いほどハイライトに適したフレームであることを示す。

以上説明したように実施形態４においては、フレームの評価値を算出するとき、前後のフレームから取得した特徴量を用いて補完する。これより、実施形態４によれば、候補区間が短いものばかりにならず長さに差がでることで、ハイライトである可能性の高い候補区間を見つけることができる。

＜その他の実施形態＞
以上、実施形態の例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置，ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：ＣＰＵ、１０２：ＲＡＭ、１０３ プログラムＲＯＭ、データＲＯＭ、２０１：入力部、２０２：評価部、２０３：特定部、２０４：選択部、２０５：出力部

Claims (20)

1. 動画に含まれるフレームを評価する評価手段と、
   前記評価の結果を基に、前記動画からハイライトの候補区間を特定する特定手段と、
   前記特定された候補区間のなかで、長さが長い候補区間を優先的にハイライト区間として選択する選択手段と、
   を有することを特徴とする情報処理装置。
2. 前記選択手段は、前記特定された候補区間のなかで、長さが最も長い候補区間を、前記ハイライト区間として選択することを特徴とする請求項１に記載の情報処理装置。
3. 前記選択手段は、前記候補区間の長さと前記評価の結果とを用いて前記候補区間のスコアを算出し、前記候補区間のスコアを基に、前記ハイライト区間を選択することを特徴とする請求項１に記載の情報処理装置。
4. 前記選択手段は、前記候補区間の長さが所定の長さ以下の候補区間を、前記ハイライト区間として選択する対象から除去することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記選択手段は、前記特定された候補区間の数に基づいて、前記所定の長さを変更することを特徴とする請求項４に記載の情報処理装置。
6. 前記選択手段は、さらに、前記候補区間に含まれるフレームで特定の被写体が検出されたかどうかの情報に基づいて、前記候補区間を前記ハイライト区間として選択する対象から除去することを特徴とする請求項４または５に記載の情報処理装置。
7. 前記特定の被写体は顔であることを特徴とする請求項６に記載の情報処理装置。
8. 前記選択手段は、前記候補区間を前記ハイライト区間として選択するとき、前記候補区間のなかで前後の所定の割合のフレーム数分だけフレームを除去した区間を、前記ハイライト区間として選択することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記候補区間をサブ区間に分割する分割手段をさらに有し、
   前記選択手段は、前記特定された候補区間のなかで前記長さが長い候補区間から優先的にサブ区間を選択して前記ハイライト区間とすることを特徴とする請求項１に記載の情報処理装置。
10. 前記選択手段は、前記サブ区間が属する候補区間の長さと前記評価の結果と用いて前記サブ区間のスコアを算出し、前記サブ区間のスコアを基に前記ハイライト区間を選択することを特徴とする請求項９に記載の情報処理装置。
11. 前記選択手段は、前記候補区間の中心に近いサブ区間ほど高いスコアを付与することを特徴とする請求項１０に記載の情報処理装置。
12. 前記特定手段は、前記評価の結果が所定の閾値以上のフレームが連続する区間を前記候補区間として特定することを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記特定手段は、前記評価の結果が所定の閾値以上のフレームが一定の数以上連続する区間を前記候補区間として特定することを特徴とする請求項１２に記載の情報処理装置。
14. 前記評価手段は、前記候補区間に含まれるフレームの特徴量に基づいて前記フレームを評価することを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
15. 前記評価手段は、前記評価の対象となるフレームの前後のフレームの特徴量を用いて、前記評価の対象となるフレームの前記評価を行うことを特徴とする請求項１４に記載の情報処理装置。
16. 前記選択手段は、フレームの前記評価の結果、フレームで特定の被写体が検出されたかどうか、動画撮影時のブレの有無、動画のブレ量の、少なくともいずれかを基に、前記スコアを補正することを特徴とする請求項３、１０、１１のいずれか１項に記載の情報処理装置。
17. 前記選択手段によって選択されたハイライト区間が複数の場合、前記動画から、前記選択された複数のハイライト区間を抽出して繋ぎ合わせてハイライト動画を生成する生成手段を有することを特徴とする請求項１から１６のいずれか１項に記載の情報処理装置。
18. 前記動画から、前記選択されたハイライト区間に含まれる特定のフレームを抽出して、前記特定のフレームからなるコンテンツを生成する生成手段を有することを特徴とする請求項１から１６のいずれか１項に記載の情報処理装置。
19. 情報処理装置が実行する情報処理方法であって、
    動画に含まれるフレームを評価する評価工程と、
    前記評価の結果を基に、前記動画からハイライトの候補区間を特定する特定工程と、
    前記特定された候補区間のなかで、長さが長い候補区間を優先的にハイライト区間として選択する選択工程と、
    を有することを特徴とする情報処理方法。
20. コンピュータを、請求項１から１８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images