JP2012039522A - 動画像処理装置、動画像処理方法およびプログラム - Google Patents

Abstract

【課題】動画像のカット構成を容易に把握可能にする、動画像処理装置、動画像処理方法およびプログラムを提供する。
【解決手段】複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部１３と、各カットの特徴量に基づき、一連の相異なるカットとして繰返されるカットペアを特定するカットペア特定部１５と、各カットの代表画像をカット遷移の順序に従って並べ、かつカットペア間の境界を明示するカット構成画像ＣＩを生成するカット構成画像生成部１７とを備える。
【選択図】図２

Description

本発明は、動画像処理装置、動画像処理方法およびプログラムに関する。

映像（または動画像）は、一般に多数のカットから構成されている。従来、映像のカット構成を把握するために、映像のサムネイルを一定のフレーム間隔で時系列順に並べて表示することが知られている。この動画像処理方法は、何が映像の対象として捉えられているか、という情報を提供することができる。

ところで、映像表現では、制作者の意図に応じて、一連の相異なるカットを繰返す（カットの切返しとも称する。）等、カット構成に工夫を凝らす場合がある。しかし、従来の動画像処理方法では、何が映像の対象として捉えられているか、という情報が提供されるが、映像の対象がどのように捉えられているか、換言すれば、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が十分に提供されない。

一方、映像を鑑賞する者または映像を他の映像等の素材として利用する者には、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が重要となる場合がある。しかし、従来の動画像処理方法では、このような情報を十分に提供することができず、鑑賞者や利用者は、映像のカット構成を直感的に把握することができなかった。

そこで、本発明は、動画像のカット構成を容易に把握可能にする、動画像処理装置、動画像処理方法およびプログラムを提供しようとするものである。

本発明のある観点によれば、複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部と、各カットの特徴量に基づき、一連の相異なるカットとして繰返されるカットペアを特定するカットペア特定部と、各カットの代表画像をカット遷移の順序に従って並べ、かつカットペア間の境界を明示するカット構成画像を生成するカット構成画像生成部とを備える動画像処理装置が提供される。

上記カット構成画像は、各カットの特徴を示すメタ情報を含んでもよい。

上記メタ情報は、各カットに含まれる音声の特徴を示す情報でもよい。

上記メタ情報は、各カットに含まれる音声の内容を示す情報でもよい。

上記メタ情報は、各カットに音声が含まれないことを示す情報でもよい。

上記カット構成画像は、各カットに含まれる音声の特徴の変動を示すメタ情報を含んでもよい。

上記カット構成画像は、一カットに含まれる音声の特徴と、一カットとは異なるカットペアに属する類似カットに含まれる音声の特徴との差異を示すメタ情報を含んでもよい。

上記メタ情報は、各カットに含まれる画像の特徴を示す情報でもよい。

上記メタ情報は、各カットに含まれるフレームの数を示す情報でもよい。

上記カット構成画像は、各カットに含まれる画像の特徴の変動を示すメタ情報を含んでもよい。

上記カット構成画像は、一カットに含まれる画像の特徴と、一カットとは異なるカットペアに属する類似カットに含まれる画像の特徴との差異を示すメタ情報を含んでもよい。

上記カット構成画像は、各カットの代表画像に重ねられたメタ情報を含んでもよい。

上記カット構成画像は、代表画像の領域のうち、特定の画像が表示されていない領域に重ねられたメタ情報を含んでもよい。

上記カット構成画像は、表示位置の改行によりカットペア間の境界を明示してもよい。

上記カット構成画像は、各カットの代表画像を相異なるカットペアに属する類似カットの代表画像の表示位置に揃えて示してもよい。

また、本発明の別の観点によれば、複数のカットを含む動画像からカット間の遷移を検出し、各カットの特徴量に基づき、一連の相異なるカットとして繰返されるカットペアを特定し、各カットの代表画像をカット遷移の順序に従って並べ、かつカットペア間の境界を明示するカット構成画像を生成することを含む動画像処理方法が提供される。

また、本発明の別の観点によれば、上記動画像処理方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段等を介して提供されてもよい。

以上説明したように本発明によれば、動画像のカット構成を容易に把握可能にする、動画像処理装置、動画像処理方法およびプログラムを提供することができる。

本発明の実施形態に係る動画像処理方法の概要を説明する図である。 第１の実施形態に係る動画像処理装置の構成を示すブロック図である。 動画像処理装置の動作手順を示すフロー図である。 カット構成の一例を示す図である。 カットペア特定処理の手順を示すフロー図である。 図４に示したカット構成に含まれるカットペアの特定結果を示す表である。 図５に示したカットペアの特定結果から生成されたカット構成画像の一例を示す図である。 図７に示したカット構成画像の変形例を示す図である。 カット構成画像の他の例を示す図である。 第２の実施形態に係る動画像処理装置の構成を示すブロック図である。 動画像処理装置の動作手順を示すフロー図である。 カットの音声特徴を示すメタ情報を伴うカット構成画像の一例を示す図である。 カットの画像特徴を示すメタ情報を伴うカット構成画像の一例を示す図である。 カットの特徴の変動を示すメタ情報を伴うカット構成画像の一例を示す図である。 類似カット間におけるカットの特徴の差異を示すメタ情報を伴うカット構成画像の一例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［１．動画像処理方法の概要］
まず、図１を参照して、本発明の実施形態に係る動画像処理方法の概要について説明する。図１には、動画像処理方法の概要が示されている。

本発明の実施形態に係る動画像処理方法では、まず、複数のカットを含む動画像ＭＰからカット間の遷移が検出される。つぎに、各カットの特徴量Ｓ（カットの特徴量の総称）に基づき、一連の相異なるカットとして繰返されるカットペアが特定される。そして、各カットの代表画像Ｉ（代表画像の総称）をカット遷移の順序に従って並べ、かつカットペア間の境界を明示するカット構成画像ＣＩ（カット構成画像の総称）が生成される。カット構成画像ＣＩは、動画像ＭＰのカット構成を容易に把握するための情報として、後述する動画像処理装置１、２や外部装置を通じて出力される。

カットペアとは、例えば、カット１、２、カット１に類似する１´、カット２に類似する２´、…というカット構成中で、繰返しの対象となるカット１と２の組合せおよびカット１´とカット２´の組合せを意味する。なお、カット１、２、１´、２´、３、カット１および１´に類似する１´´、カット２および２´に類似する２´´…というカット構成中では、カット１´と２´と３の組合せもカットペアとなる。カットペアの繰返しは、カットの切返しとして映像表現される。

図１に示す例では、カット１、２、１´、２´、…というカット構成を有する動画像ＭＰからカット構成画像ＣＩが生成されている。カット構成画像ＣＩでは、カット１、２の代表画像Ｉ１、Ｉ２が横並びに配置され、代表画像の下にカット１´、２´の代表画像Ｉ１´、Ｉ２´が横並びに配置されている。よって、カット１と２およびカット１´とカット２´が各々にカットペアを形成していることが明確となる。

これにより、カット構成画像ＣＩを用いて、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が提供される。よって、映像の鑑賞者または利用者は、映像を鑑賞し、または他の映像等の素材として利用する上で、映像のカット構成を容易に把握することができる。

＜第１の実施形態＞
［２−１．動画像処理装置１の構成］
つぎに、図２を参照して、本発明の第１の実施形態に係る動画像処理装置１について説明する。図２には、動画像処理装置１の主要な機能構成が示されている。図２に示すように、動画像処理装置１は、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、カット構成画像生成部１７、カット構成画像出力部１９、カット構成情報出力部２１、データ記憶部２３を含んで構成される。

データ取得部１１は、複数のカットを含む動画像データＭＰを取得し、カット遷移検出部１３、カットペア特定部１５およびカット構成画像生成部１７に供給する。動画像データＭＰは、一般にフレーム形式のデータであり、画像データのみでもよく、音声データとの組合せでもよい。動画像データＭＰは、データ記憶部２３から取得されてもよく、外部装置（不図示）から取得されてもよい。

カット遷移検出部１３は、動画像データＭＰに基づき動画像ＭＰ中のカット遷移を検出し、検出結果をカットペア特定部１５、カット構成情報出力部２１に供給する。カット遷移とは、動画像ＭＰ中におけるカットの移り変わりを意味する。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量を求め、特徴量の類似度に基づき検出される。画像および／または音声の特徴量としては、色ヒストグラムや顔画像検出、および／または音声の量や音調・リズム等を用いることができる。なお、カット遷移の検出時に求められた特徴量は、データ記憶部２３等に格納され、他の処理に利用されてもよい。

カットペア特定部１５は、詳細は後述するが、各カットの特徴量Ｓに基づき、複数のカットをカットグループに区分し、カットペアを特定する。カットペアの特定結果は、カット遷移の検出結果とともに、カット構成画像生成部１７、カット構成情報出力部２１に供給される。カットの特徴量Ｓとしては、カットに含まれる画像の色ヒストグラムや顔画像検出、および／または音声の量や音調・リズム等あるいはこれらの組合せを用いることができる。なお、カットペアの特定時に求められた特徴量は、データ記憶部２３等に格納され、他の処理に利用されてもよい。

カットグループとは、特徴量Ｓが互いに類似するカットの組合せを意味し、カットペアとは、カット構成中で繰返される一連の相異なるカットの組合せを意味し、時間的に連続する２以上のカットからなる。カットペア特定部１５は、カットペアの特定結果に基づき、カットグループやカットペアを表す属性情報（後述するグループＩＤ、ペアＩＤ）を各カットに付与する。属性情報は、カット構成画像生成部１７の他に、カット構成情報出力部２１、データ記憶部２３や外部装置等に供給されてもよい。

カット構成画像生成部１７は、カット構成画像ＣＩを生成するために、動画像データＭＰおよびカット遷移の検出結果に基づき、各カットに含まれる画像から所定の基準に従って代表画像Ｉを抽出する。代表画像Ｉとは、各カットを代表する画像であり、例えば、カットの中央フレームに相当する画像として抽出される。カット構成画像ＣＩは、複数のカットの代表画像Ｉをカット遷移の順序に従って並べ、かつカットペア間の境界を明示する画像として生成され、カット構成画像出力部１９に供給される。

カット構成画像出力部１９は、ユーザが動画像ＭＰのカット構成を把握できるように、カット構成画像生成部１７から供給されたカット構成画像ＣＩを出力する。カット構成画像ＣＩは、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。

カット構成情報出力部２１は、ユーザがカット構成の把握に利用できるように、カット遷移の検出結果、カットの区分結果やカットペアの特定結果をカット構成情報として出力する。カット構成情報は、動画像処理装置１に接続された表示装置、印刷装置、記憶装置や外部装置（いずれも不図示）に出力されてもよい。

カット構成情報は、例えば、カット構成を考慮した動画像検索を実現するためのデータとして利用することができる。例えば、あるカットを基準カットとして、基準カットとカットペアをなすカットを検索したり、あるカットペアを基準カットペアとして、基準カットペアと同じ構成のカットペアを検索したりすることができる。また、カットペアを多く含む動画像ＭＰやカット切返しを多く含む動画像ＭＰを検索することもできる。

データ記憶部２３は、動画像データＭＰおよび動画像データＭＰに付属するデータを記憶している。データ記憶部２３には、カット構成情報が動画像データＭＰに関連付けて記憶されている。なお、データ記憶部２３には、カット構成画像ＣＩが記憶されてもよい。また、図２では、データ記憶部２３と他の構成要素との接続関係が一部省略されている。

ここで、上記機能構成において、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、カット構成画像生成部１７、カット構成画像出力部１９、カット構成情報出力部２１は、ＣＰＵ、ＤＳＰ（デジタル信号処理装置）等の演算処理装置により構成される。データ記憶部２３は、フラッシュメモリ等の内部記憶装置、ハードディスクドライブ、ブルーレイディスクドライブ等の外部記憶装置により構成される。そして、ＣＰＵは、ＲＯＭ等から読み出されたプログラムをＲＡＭ上に展開して実行することで、動画像処理方法を実現する。なお、上記機能構成は、少なくとも一部が専用ロジック等のハードウェアとして構成されてもよい。

［２−２．動画像処理装置１の動作］
つぎに、図３から図９を参照して、第１の実施形態に係る動画像処理装置１の動作について説明する。図３には、動画像処理装置１の動作手順が示されている。

図３に示すように、まず、データ取得部１１では、動画像データＭＰが取得され（ステップＳ１１）、カット遷移検出部１３等に供給される。カット遷移検出部１３では、動画像データＭＰに基づき動画像ＭＰ中のカット遷移が検出され（ステップＳ１３）、検出結果がカットペア特定部１５に供給される。カット遷移は、相前後するフレーム中の画像および／または音声の特徴量の類似度に基づき検出される。各カットには、カット遷移の順序を示す連番がカットＩＤとして付与される。

図４には、カット遷移の検出結果から求められたカット構成の一例が示されている。ここでは、理解を容易にするために、カット１−７の代表画像Ｉ１−Ｉ７を用いてカット構成が示されている。なお、代表画像Ｉは、後述するように、カット構成画像生成部１７で動画像データＭＰから抽出される。図４に示すように、カット１、３、６が互いに類似し、カット２、４、７が互いに類似し、カット５が他のカット１−４、６、７のいずれとも類似していない。

つぎに、カットペア特定部１５では、各カットをカットグループに区分し、カットペアを特定するカットペア特定処理が行われる。図５には、カットぺア特定処理の手順が示されている。図５に示すように、カットペア特定処理では、まず、初期化処理が行われる（ステップＳ５１）。初期化処理では、グループ数ｍおよびペアＩＤが初期化される（ｍ＝２、ペアＩＤ＝１）。また、カット１、２にグループＩＤ＝１、グループＩＤ＝２が各々に付与され、カット１、２にペアＩＤ＝１が付与される。

ここで、グループ数ｍは、動画像データＭＰから特定されているカットグループ（初期化処理時では、カットグループ１、２が特定されていることになる。）の数を示している。グループＩＤおよびペアＩＤは、各カットが属するカットグループおよびカットペアを示すために、各カットに付与される。

つぎに、カット１、２の特徴量Ｓ１、Ｓ２が算出され（ステップＳ５３）、カットグループ１、２の特徴量として各々にデータ記憶部２３等に格納される（ステップＳ５５）。カットの特徴量Ｓ（カットまたはカットグループの特徴量の総称）は、色ヒストグラムや顔画像検出、および／または音声の量や音調・リズム等、あるいはこれらの組合せとして算出される。

つぎに、処理対象となる後続カットの存在が確認される（ステップＳ５７）。後続カットが存在すれば（ステップＳ５７で「Ｙｅｓ」）、後続カットの特徴量Ｓ´が算出され（ステップＳ５９）、後続カットとカットグループ１−ｍの間で特徴量Ｓの類似が判定される（ステップＳ６１）。ここで、判定に際しては、直前カットよりも大きなグループＩＤを伴うカットグループとの間で、特徴量Ｓの類似度が優先的に判定されてもよい。これは、同一カットペアに属する場合、直前カットよりも後続カットが属するカットグループのグループＩＤが大きくなるためである。

そして、後続カットとカットグループ１−ｍのいずれかとの間で特徴量Ｓの類似度が所定の閾値以上であると判定された場合（ステップＳ６１で「Ｙｅｓ」）、後続カットには、最も類似度の高いカットグループのグループＩＤが付与される（ステップＳ６３）。

また、後続カットのグループＩＤが直前カットのグループＩＤと比較され（ステップＳ６５）、前者の方が小さい場合にペアＩＤが１インクリメントされる（ステップＳ６７）。この場合、直前カットと後続カットが相異なるカットペアに属し、両カットの間にカットペア間の境界（カットの切返し点）が存在することになる。後続カットには、従前のペアＩＤまたはインクリメントされたペアＩＤが付与される（ステップＳ６９）。後続カットの特徴量Ｓは、後続カットが属するカットグループの特徴量Ｓの一部として格納されて利用されてもよく、棄却されてもよい（ステップＳ７１）。

一方、後続カットとカットグループ１−ｍの全ての間で特徴量Ｓの類似度が所定の閾値未満であると判定された場合（ステップＳ６１で「Ｎｏ」）、新たなカットグループを生成するためにグループ数ｍが１インクリメントされる（ステップＳ７３）。後続カットには、新たなカットグループとして、グループ数ｍに相当するグループＩＤが付与される（ステップＳ７５）。また、後続カットには、従前のペアＩＤが付与される（ステップＳ７７）。後続カットの特徴量Ｓは、後続カットが属する新たなカットグループの特徴量Ｓｍとして格納されて利用される（ステップＳ７９）。

ステップＳ５７−Ｓ７９の処理は、後続カットが存在しなくなるまで（ステップＳ５７で「Ｎｏ」）繰返される。そして、後続カットが存在しなければ、カットペア特定処理が終了し、図３に示すように、引き続きステップＳ１７の処理が行われる。

図６には、図４に示したカット構成に含まれるカットペアの特定結果が示されている。図６に示すように、各カットの特徴量Ｓの類似度に基づき、カット１、３、６にグループＩＤ＝１が付与され、カット２、４、７にグループＩＤ＝２が付与され、カット５にグループＩＤ＝３が付与されている。また、カット遷移の順序に基づき、カット１、２にペアＩＤ＝１が付与され、カット３−５にペアＩＤ＝２が付与され、カット６、７にペアＩＤ＝３が付与されている。つまり、カット１、２、カット３−５、カット６、７は、一連の相異なるカットとして繰返されるカットペアとして各々に特定されている。

カット構成画像生成部１７では、まず、動画像データＭＰおよびカット遷移の検出結果に基づき、各カットに属する一連の画像から所定の基準に従って代表画像Ｉが抽出される（ステップＳ１７）。なお、各カットの代表画像Ｉは、カット遷移の検出時に予め抽出されてもよい。つぎに、カットペアの特定結果に基づき、カット構成画像ＣＩが生成される（ステップＳ１９）。カット構成画像ＣＩは、前述したように、各カットの代表画像Ｉをカット遷移の順序に従って並べ、かつカットペア間の境界を明示する画像として生成される。

図７には、図６に示したカットペアの特定結果から生成されたカット構成画像ＣＩの一例が示されている。図７に示すカット構成画像ＣＩ１では、カット１、２の代表画像Ｉ１、Ｉ２が横並びに配置され、カット１、２の代表画像Ｉ１、Ｉ２の下にカット３−５の代表画像Ｉ３−Ｉ５が横並びに配置され、カット３、４の代表画像Ｉ３、Ｉ４の下にカット６、７の代表画像Ｉ６、Ｉ７が横並びに配置されている。つまり、カット１−７の代表画像Ｉ１−Ｉ７は、カットグループを横方向のパラメータ、カットペアを縦方向のパラメータとするマトリクス状に並べて配置されている。

図８には、図７に示したカット構成画像ＣＩの変形例が示されている。図７に示したカット構成画像ＣＩ１では、各カットの代表画像Ｉが同一サイズで配置されていた。一方、図８に示すカット構成画像ＣＩ２、ＣＩ２´では、カット構成画像ＣＩ全体のサイズを調節するために、代表画像Ｉ３−Ｉ５のサイズが調節されている。図８に示す例では、カットペア毎の表示幅を揃えるために、カット３−５の代表画像Ｉ３−Ｉ５のサイズが横方向でのみ縮小され（カット構成画像ＣＩ２）、または縦・横方向で縮小されている（カット構成画像ＣＩ２´）。

図９には、カット構成画像ＣＩの他の例が示されている。図９に示すカット構成画像ＣＩ３では、代表画像Ｉをマトリクス状に並べて配置する代わりに、カットペア間の境界を示す情報とともに横一例に並べて配置する。図９に示す例では、カット１、２の代表画像Ｉ１、Ｉ２、カット３−５の代表画像Ｉ３−Ｉ５、カット６、７の代表画像Ｉ６、Ｉ７は、カットペア間の境界を示す枠Ｂとともに、横並びに配置されている。

［２−３．まとめ］
以上説明したように、本発明の第１の実施形態に係る動画像処理装置１によれば、カット構成画像ＣＩを用いて、映像の時間的コンテクストに関して映像がどのように表現されているか、という情報が提供される。よって、映像の鑑賞者または利用者は、映像を鑑賞し、または他の映像等の素材として利用する上で、映像のカット構成を容易に把握することができる。

＜第２の実施形態＞
［３−１．動画像処理装置２の構成］
つぎに、図１０を参照して、本発明の第２の実施形態に係る動画像処理装置２について説明する。なお、以下では、第１の実施形態と重複する説明を省略する。図１０には、動画像処理装置２の主要な機能構成が示されている。図１０に示すように、動画像処理装置２は、データ取得部１１、カット遷移検出部１３、カットペア特定部１５、カット構成画像生成部１７、カット構成画像出力部１９、カット構成情報出力部２１、データ記憶部２３とともに、メタ情報生成部２５を含んで構成される。

メタ情報生成部２５は、各カットに含まれる音声や画像の特徴を示すメタ情報Ｍ（メタ情報の総称）を生成する。メタ情報生成部２５では、動画像データＭＰおよびカット遷移の検出結果に基づき、動画像データＭＰから音声や画像の特徴が抽出される。そして、各カットの音声や画像の特徴を示すメタ情報Ｍが生成され、カット構成画像生成部１７に供給される。

ここで、メタ情報Ｍは、カット構成情報の一部としてデータ記憶部２３に格納されてもよい。これにより、カット構成情報は、映像表現を考慮した動画像検索を実現するためのデータとしてさらに利用性が向上する。

音声特徴を示すメタ情報Ｍは、例えば、各カットに含まれる音声（セリフ、音響効果等）の内容を示す情報、各カットに音声が含まれないこと（無音カットであること）を示す情報等である。また、メタ情報Ｍは、各カットに含まれる音声特徴の変動を示す情報でもよく、一カットと、一カットとは異なるカットペアに属する類似カットとに含まれる音声特徴の差異を示す情報でもよい。

画像特徴を示すメタ情報Ｍは、例えば、各カットに含まれるフレームの数を示す情報、各カットの再生に要する時間を示す情報等である。また、メタ情報Ｍは、各カットに含まれる画像特徴の変動を示す情報でもよく、一カットと、一カットとは異なるカットペアに属する類似カットとに含まれる画像特徴の差異を示す情報でもよい。

カット構成画像生成部１７では、メタ情報Ｍを含むカット構成画像ＣＩが生成される。カット構成画像ＣＩは、まず、第１の実施形態と同様に、複数のカットの代表画像Ｉをカット遷移の順序に従って並べ、かつカットペア間の境界を明示する画像として生成される。カット構成画像ＣＩは、さらに、第２の実施形態では、各カットの代表画像Ｉとともに、各カットに含まれる音声特徴や画像特徴を示すメタ情報Ｍを含む画像として生成される。なお、メタ情報Ｍは、音声特徴および画像特徴の少なくとも１以上を含む情報として生成される。

［３−２．動画像処理装置２の動作］
つぎに、図１１から図１５を参照して、第２の実施形態に係る動画像処理装置２の動作について説明する。なお、以下では、第１の実施形態と重複する説明を省略する。また、以下では、図７に示したレイアウトで代表画像Ｉを配置する場合を想定して説明するが、異なるレイアウトで代表画像Ｉを配置する場合についても同様に説明することができる。

図１１には、動画像処理装置２の動作手順が示されている。ステップＳ１１からＳ１７では、第１の実施形態と同様の処理が行われる。カットペア特定処理が終了すると、ステップＳ２１の処理が行われる。メタ情報生成部２５では、まず、動画像データＭＰおよびカット遷移の検出結果に基づき、動画像データＭＰから各カットに含まれる画像や音声の特徴が抽出される。

例えば、カットに音声（セリフ、音響効果等）が含まれている場合、カットに含まれる音声が抽出され、音声認識処理等を通じて、抽出された音声に対応する文字・画像情報が生成されてもよい。カットに音声が含まれていない場合、無音カットであることを示す文字・画像情報が生成されてもよい。なお、無音カットは、セリフが含まれていない無音カットと、セリフも音響効果も含まれていない無音カットに区別されてもよい。カットに含まれる音声の音量の平均値・変動値、無音区間と有音区間の比率、音声の音調・リズムまたは変動を示す文字・画像情報が生成されてもよい。

また、カットに含まれるフレームの数またはカットの再生に要する時間が算出されて、算出値を示す文字・画像情報が生成されてもよい。カットに含まれる画像の明るさの平均値・変動値、画像の内容等または変化を示す文字・画像情報が生成されてもよい。

メタ情報Ｍを生成すると、第１の実施形態と同様に、動画像データＭＰおよびカット遷移の検出結果に基づき、各カットの代表画像Ｉが動画データＭＰから抽出され（ステップＳ１７）、カットペアの特定結果に基づき、メタ情報Ｍを含むカット構成画像ＣＩが生成される（ステップＳ１９）。

ここで、メタ情報Ｍは、代表画像Ｉに重ねられてもよく、代表画像Ｉに重ねられなくてもよい。そして、代表画像Ｉに重ねられる場合、代表画像Ｉの画像認識処理等を通じて、特定の画像（顔画像等）が表示されていない領域にメタ情報Ｍが重ねられてもよい。また、複数の話者を含むカットのセリフを表示する場合、話者の性別、年齢等を考慮して、話者毎に対応するようにセリフを表示してもよい。

図１２には、各カットの音声特徴を示すメタ情報Ｍを伴うカット構成画像ＣＩの一例が示されている。図１２に示すカット構成画像ＣＩ４では、カット１−５、７には、各カットのセリフを含むフキダシＭ１が表示され、カット６には、無音カットを示すマークＭ２（「ＮＯ ＶＯＩＣＥ」）が表示されている。

これにより、カット１−５、７に含まれる画像をセリフの内容から推測することができる。特に、話者の口元を含む画像を他の映像等の素材として利用する場合、カットに含まれる画像を全て確認しなくても、メタ情報Ｍ１、Ｍ２からカットに含まれる画像を推測することができる。また、カット６は、同一カットグループに属する他のカット１、３とは異なり無音カットとなっているので、カット構成中の特異なカットであると推測することができる。

図１３には、各カットの画像特徴を示すメタ情報Ｍを伴うカット構成画像ＣＩの一例が示されている。図１３に示すカット構成画像ＣＩ５では、カット１−７には、各カットのフレーム数（「４０ｆ」等）および画像の明るさの平均値（「１００ｂ」等）を示す文字・画像情報Ｍ３が表示されている。

これにより、カット１−７に含まれる画像の量や画像の明るさを容易に把握することができる。特に、特定の明るさの画像を素材として利用する場合、カットに含まれる画像を全て確認しなくても、メタ情報Ｍ３からカットに含まれる画像の明るさを推測することができる。また、カット３およびカット４は、同一カットグループに属する他のカット１、６およびカット２、７よりも各々に画像の量が多いので、メタ情報Ｍ３からカット構成中の特異なカットであると推測することができる。

図１４には、各カットの音声特徴の変動を示すメタ情報Ｍを伴うカット構成画像ＣＩの一例が示されている。図１４に示すカット構成画像ＣＩ６では、カット１−７には、各カットに含まれる音声の音量の変動値（「±ΔＶ１１」等）を示す文字・画像情報Ｍ４が表示されている。なお、音量の変動値は、各カットに含まれる音声の音量の平均値に対する偏差として表される。

これにより、カット１−７に含まれる音声の音量を推測することができる。特に、特定の音量の音声を伴う画像を素材として利用する場合、カットに含まれる画像を全て確認しなくても、メタ情報Ｍ４から特定の音量の音声を伴う画像を容易に見出すことができる。

また、メタ情報Ｍは、各カットに含まれる音声や画像の特徴を示す情報に限定されず、同一カットグループに属する類似カットに含まれる音声や画像の特徴との差異を示す情報として生成されてもよい。

図１５には、類似カット間におけるカットの画像特徴の差異を示すメタ情報Ｍを伴うカット構成画像ＣＩの一例が示されている。図１５に示すカット構成画像ＣＩ７では、カット１および２に含まれる画像の内容の変化量（Ｖ１、Ｖ２）を基準として、同一カットグループに属するカット３、６およびカット４、７に含まれる画像の内容の変化量の差異（＋ΔＶ１１、−ΔＶ１２、＋ΔＶ２１、−ΔＶ２２）を示す文字・画像情報Ｍ５が表示されている。なお、画像の内容の変化量は、例えば、相前後するフレーム中における特徴点の移動を示す移動ベクトルの数・大きさ等に基づき求められる。

これにより、カット１−７に含まれる画像の変化量を容易に把握することができる。特に、ある程度の動きを伴う複数の画像を他の映像等の素材として利用する場合、カットグループに属するカットを全て確認しなくても、メタ情報Ｍ５から画像の内容の変化量からある程度の動きを伴う複数の画像を容易に見出すことができる。

［３−３．まとめ］
以上説明したように、本発明の第２の実施形態に係る動画像処理装置２によれば、各カットの特徴を示すメタ情報Ｍを含むカット構成画像ＣＩを用いて、映像の時間的コンテクストに関して映像がどのように表現されているか、というより詳細な情報が提供される。よって、映像の鑑賞者または利用者は、映像を鑑賞し、または他の映像等の素材として利用する上で、映像のカット構成をさらに容易に把握することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１、２ 動画像処理装置
１１ データ取得部
１３ カット遷移検出部
１５ カットペア特定部
１７ カット構成画像生成部
１９ カット構成画像出力部
２１ カット構成情報出力部
２３ データ記憶部
２５ カット構成情報出力部
ＭＰ 動画（データ）
Ｉ 代表画像
ＣＩ カット構成画像
Ｍ メタ情報

Claims (17)

1. 複数のカットを含む動画像からカット間の遷移を検出するカット遷移検出部と、
   前記各カットの特徴量に基づき、一連の相異なるカットとして繰返されるカットペアを特定するカットペア特定部と、
   前記各カットの代表画像をカット遷移の順序に従って並べ、かつ前記カットペア間の境界を明示するカット構成画像を生成するカット構成画像生成部と
   を備える動画像処理装置。
2. 前記カット構成画像は、前記各カットの特徴を示すメタ情報を含む、請求項１に記載の動画像処理装置。
3. 前記メタ情報は、前記各カットに含まれる音声の特徴を示す情報である、請求項２に記載の動画像処理装置。
4. 前記メタ情報は、前記各カットに含まれる音声の内容を示す情報である、請求項３に記載の動画像処理装置。
5. 前記メタ情報は、前記各カットに音声が含まれないことを示す情報である、請求項３に記載の動画像処理装置。
6. 前記カット構成画像は、前記各カットに含まれる音声の特徴の変動を示す前記メタ情報を含む、請求項３に記載の動画像処理装置。
7. 前記カット構成画像は、一カットに含まれる音声の特徴と、前記一カットとは異なる前記カットペアに属する類似カットに含まれる音声の特徴との差異を示す前記メタ情報を含む、請求項３に記載の動画像処理装置。
8. 前記メタ情報は、前記各カットに含まれる画像の特徴を示す情報である、請求項２に記載の動画像処理装置。
9. 前記メタ情報は、前記各カットに含まれるフレームの数を示す情報である、請求項８に記載の動画像処理装置。
10. 前記カット構成画像は、前記各カットに含まれる画像の特徴の変動を示す前記メタ情報を含む、請求項８に記載の動画像処理装置。
11. 前記カット構成画像は、一カットに含まれる画像の特徴と、前記一カットとは異なる前記カットペアに属する類似カットに含まれる画像の特徴との差異を示す前記メタ情報を含む、請求項８に記載の動画像処理装置。
12. 前記カット構成画像は、前記各カットの前記代表画像に重ねられた前記メタ情報を含む、請求項２に記載の動画像処理装置。
13. 前記カット構成画像は、前記代表画像の領域のうち、特定の画像が表示されていない領域に重ねられた前記メタ情報を含む、請求項１２に記載の動画像処理装置。
14. 前記カット構成画像は、表示位置の改行により前記カットペア間の境界を明示する、請求項１に記載の動画像処理装置。
15. 前記カット構成画像は、前記各カットの前記代表画像を相異なる前記カットペアに属する類似カットの前記代表画像の表示位置に揃えて示す、請求項１４に記載の動画像処理装置。
16. 複数のカットを含む動画像からカット間の遷移を検出し、
    前記各カットの特徴量に基づき、一連の相異なるカットとして繰返されるカットペアを特定し、
    前記各カットの代表画像をカット遷移の順序に従って並べ、かつ前記カットペア間の境界を明示するカット構成画像を生成すること
    を含む動画像処理方法。
17. 複数のカットを含む動画像からカット間の遷移を検出し、
    前記各カットの特徴量に基づき、一連の相異なるカットとして繰返されるカットペアを特定し、
    前記各カットの代表画像をカット遷移の順序に従って並べ、かつ前記カットペア間の境界を明示するカット構成画像を生成すること
    を含む動画像処理方法をコンピュータに実行させるためのプログラム。
    

Images