JP2010097246A - シーン類似判定装置、そのプログラム及びサマリ映像生成システム - Google Patents

Abstract

【課題】簡易で高速、かつ、シーンの類似判定の精度が高いシーン類似判定装置を提供することを目的とする。
【解決手段】シーン類似判定装置１は、第１シーン及び第２シーンを入力する入力手段１０と、第１シーン及び第２シーンのそれぞれを、動き小区間と動き大区間とに分割するシーン分割手段１１と、第１シーン及び第２シーンの動き小区間毎に、動き小区間の直後に位置する動き大区間の開始時刻から一定時間前又は動き小区間の中間時刻のうち、動き大区間の開始時刻に近い一方の時刻における動き小区間のフレームを静止画として抽出する静止画抽出手段１２と、静止画の類似判定を行う静止画類似判定手段１３と、静止画の類似判定の結果に基づいて、第１シーン及び第２シーンの類似判定を行うシーン類似判定手段１４と、パラメータ記憶手段１５とを備える。
【選択図】図２

Description

本発明は、ドラマ、映画等の重複したシーンを含む素材映像から、類似するシーンを判定する技術に関する。

近年、ドラマ等の番組や映画において、制作する素材ビデオ（素材映像）の量は、最終的な番組の１００倍にもなることがある。このとき、制作者は、１つ１つの素材ビデオにどんなシーンが含まれているかを知るために、例えば、その素材ビデオの全てを早回して再生することがあり、この作業に時間と労力がかかる。しかも、各素材ビデオの中に同じシーンを何度も撮影し直したものが含まれており、それらのシーンが同じものか違うものかを知る為に各素材ビデオを早回して再生することは、制作者の時間と労力が非常にかかる。そこで、素材ビデオにおいて、撮影したシーンが同じものなのか、違うシーンなのかを判定する方法が、いくつか提案されている。

例えば、各ショット内のある時系列の特徴データを比較することにより、シーンが類似するか否かを判定する技術が提案されている（例えば、特許文献１参照）。また、例えば、対象となる素材ビデオを各シーンに分割した後に、各シーンの最初のフレーム（静止画）を用いて単純に比較する技術が提案されている（例えば、非特許文献１参照）。さらに、例えば、対象となる素材ビデオの各シーン内から等間隔で抽出した複数の静止画を用いて、抽出した全ての静止画に対し、ある画像の特徴を用いて、クラスタリングを行い、同じクラスタに属したものは、同じシーンと判定する技術が提案されている（例えば、非特許文献２参照）。
特開２０００−３３９４７４号公報 Ｚ．Ｌｉｕ，Ｅ．Ｚａｖｅｓｋｙ，Ｄ．Ｇｉｂｂｏｎ，Ｂ．Ｓｈａｈｒａｒａｙ，ａｎｄ Ｐ．Ｈａｆｆｎｅｒ，"ＡＴ＆Ｔ Ｒｅｓｅａｒｃｈ ａｔ ＴＲＥＣＶＩＤ ２００７" Ａ．Ｈａｕｐｔｍａｎｎ，Ｍ．Ｃｈｒｉｓｔｅｌ，Ｗ．Ｌｉｎ，Ｂ．Ｍａｈｅｒ，Ｊ．Ｙａｎｇ，Ｒ．Ｂａｒｏｎ，ａｎｄ Ｇ．Ｘｉａｎｇ，"Ｓｕｍｍａｒｉｚｉｎｇ ＢＢＣ Ｒｕｓｈｅｓ ｔｈｅ Ｉｎｆｏｒｍｅｄｉａ Ｗａｙ"

しかし、特許文献１及び非特許文献１で提案された技術では、各シーンの最初又は各シーンの中間等の静止画を用いて比較するときに、各シーンの最初又は中間に撮影の準備部分が含まれ、かつ、同じシーンでも時間的なズレがあるため、類似判定の精度が非常に低い。また、非特許文献２で提案された技術は、この類似判定の精度を補うために、複数の画像を抽出し、クラスタリングを用いるものである。しかし、このクラスタリング処理は、一般的に処理時間が長く、類似判定が低速になってしまう。また、このとき、比較する画像の特徴を時系列データにすることも考えられるが、比較する画像の組み合わせが膨大となり、時間軸の伸縮（ズレ）が存在するため、処理時間が非常に長くなると共に類似判定の精度も向上しない場合があり、現実的でない。

そこで、本発明は、簡易で高速、かつ、シーンの類似判定の精度が高いシーン類似判定装置及びそのプログラム、並びに、簡易で高速に、重複シーンが極めて少ないサマリ映像を生成できるサマリ映像生成システムを提供することを目的とする。

前記した課題を解決するため、請求項１に係るシーン類似判定装置は、重複したシーンを含む素材映像について、素材映像から抽出した２個のシーンが類似するか否かを判定するシーン類似判定装置において、入力手段と、シーン分割手段と、静止画抽出手段と、静止画類似判定手段と、シーン類似判定手段と、を備える構成とした。

かかる構成によれば、シーン類似判定装置は、入力手段によって、２個のシーンを入力する。また、シーン類似判定装置は、シーン分割手段によって、シーンを構成するフレーム間の動き量を算出して、シーンを、動き量が予め設定した閾値以上である動き大区間と、動き量が閾値未満である動き小区間とに分割する。ここで、ドラマ、映画等の撮影では、同じシーンを何度も撮影し直すことが多く、この場合、カメラや役者は同じ立ち振る舞いを繰り返すため、同じような動きとなる。つまり、重複するシーンの動き大区間には同様の動きが含まれるため、シーン類似判定装置は、シーンの類似を判定するために、シーンを動き大区間と動き小区間とに分割する。

また、シーン類似判定装置は、静止画抽出手段によって、シーンの動き小区間毎に、動き小区間の直後に位置する動き大区間の開始時刻から一定時間前又は動き小区間の中間時刻のうち、動き大区間の開始時刻に近い一方の時刻における動き小区間のフレームを静止画として抽出する。ここで、２個のシーンから抽出した動き大区間は、互いにその時間方向に若干の伸縮（ズレ）があるため、シーン類似判定装置は、静止画抽出手段によって、動きが少なく、同じ構図（静止画）である確率が高い、動き大区間の直前の動き小区間から静止画を抽出する。

また、シーン類似判定装置は、静止画類似判定手段によって、２個のシーンのうちの一方のシーンから抽出した静止画の特徴量を算出すると共に、２個のシーンのうちの他方のシーンから抽出した静止画の特徴量を算出し、一方のシーンの静止画と他方のシーンの静止画との全ての組み合わせについて、一方のシーンの静止画の特徴量と他方のシーンの静止画の特徴量とに基づいて、一方のシーンの静止画と他方のシーンの静止画とが類似するか否かを判定する。そして、シーン類似判定装置は、シーン類似判定手段によって、一方のシーンの静止画と他方のシーンの静止画との何れか１以上の組み合わせについて、静止画類似判定手段が類似すると判定した場合、一方のシーンと他方のシーンとが類似すると判定する。このように、シーン類似判定装置は、シーンの類似判定のために、１組以上の静止画の類似判定を行うだけで、クラスタリングや時系列で静止画を比較するといった複雑な演算を行っていない。

請求項２に係るシーン類似判定装置は、静止画類似判定手段が、一方のシーンの静止画と他方のシーンの静止画との何れか１の組み合わせが類似すると判定した場合、一方のシーンの静止画と他方のシーンの静止画との他の組み合わせが類似するか否かの判定を終了することを特徴とする。

かかる構成によれば、シーン類似判定装置は、一方のシーンの静止画と他方のシーンの静止画との何れか１の組み合わせが類似すると判定した場合、静止画の類似判定を終了する。

請求項３に係るシーン類似判定装置は、静止画類似判定手段が、一方のシーンの静止画の特徴量及び他方のシーンの静止画の特徴量として、一方のシーンの静止画と他方のシーンの静止画とが対応するように分割し、分割した一方のシーンの静止画と他方のシーンの静止画との所定の色空間の平均値のユークリッド距離を算出すると共に、ユークリッド距離が予め設定された距離以下のとき、一方のシーンの静止画と他方のシーンの静止画とが類似すると判定し、ユークリッド距離が予め設定された距離を越えたとき、一方のシーンの静止画と他方のシーンの静止画とが類似しないと判定する。

かかる構成によれば、シーン類似判定装置は、静止画の類似判定を簡易な演算で行うことができる。

また、前記した課題を解決するため、請求項４に係るシーン類似判定プログラムは、重複したシーンを含む素材映像について、素材映像から抽出した２個のシーンが類似するか否かを判定するために、コンピュータを、入力手段、シーン分割手段、静止画抽出手段、静止画類似判定手段、シーン類似判定手段、として機能させる構成とした。

かかる構成によれば、シーン類似判定プログラムは、入力手段によって、２個のシーンを入力する。また、シーン類似判定プログラムは、シーン分割手段によって、シーンを構成するフレーム間の動き量を算出して、シーンを、動き量が予め設定した閾値以上である動き大区間と、動き量が閾値未満である動き小区間とに分割する。ここで、ドラマ等の番組制作では、同じシーンを何度も撮影し直すことが多く、この場合、カメラや役者は同じ立ち振る舞いを繰り返すため、同じような動きとなる。つまり、重複するシーンの動き大区間には同様の動きが含まれるため、シーン類似判定プログラムは、シーンの類似を判定するために、シーンを動き大区間と動き小区間とに分割する。

また、シーン類似判定プログラムは、静止画抽出手段によって、シーンの動き小区間毎に、動き小区間の直後に位置する動き大区間の開始時刻から一定時間前又は動き小区間の中間時刻のうち、動き大区間の開始時刻に近い一方の時刻における動き小区間のフレームを静止画として抽出する。ここで、２個のシーンから抽出した動き大区間は、互いにその時間方向に若干の伸縮（ズレ）があるため、シーン類似判定プログラムは、静止画抽出手段によって、動きが少なく、同じ構図（静止画）である確率が高い、動き大区間の直前の動き小区間から静止画を抽出する。

また、シーン類似判定プログラムは、静止画類似判定手段によって、２個のシーンのうちの一方のシーンから抽出した静止画の特徴量を算出すると共に、２個のシーンのうちの他方のシーンから抽出した静止画の特徴量を算出し、一方のシーンの静止画と他方のシーンの静止画との全ての組み合わせについて、一方のシーンの静止画の特徴量と他方のシーンの静止画の特徴量とに基づいて、一方のシーンの静止画と他方のシーンの静止画とが類似するか否かを判定する。そして、シーン類似判定プログラムは、シーン類似判定手段によって、一方のシーンの静止画と他方のシーンの静止画との何れか１以上の組み合わせについて、静止画類似判定手段が類似すると判定した場合、一方のシーンと他方のシーンとが類似すると判定する。このように、シーン類似判定プログラムは、シーンの類似判定のために、１組以上の静止画の類似判定を行うだけで、クラスタリングや時系列で静止画を比較するといった複雑な演算を行っていない。

また、前記した課題を解決するため、請求項５に係るサマリ映像生成システムは、重複したシーンを含む素材映像から、重複したシーンを除いた異なるシーンで構成されるサマリ映像を生成するサマリ映像生成システムにおいて、シーン抽出手段と、請求項１に記載のシーン類似判定装置と、代表シーン選択手段と、サマリ映像生成手段と、を備える構成とした。

かかる構成によれば、サマリ映像生成システムは、シーン抽出手段によって、シーンチェンジ点を検出して、素材映像に含まれる複数のシーンを抽出する。また、サマリ映像生成システムは、シーン類似判定装置によって、シーン抽出手段が抽出したシーンの組み合わせが類似するか否かを判定する。ここで、サマリ映像生成システムは、シーン類似判定装置によって、簡易で高速、かつ、精度が高いシーンの類似判定を行うことができる。

また、サマリ映像生成システムは、代表シーン選択手段によって、シーン抽出手段が抽出したシーンのうち、シーン類似判定装置が類似しないと判定したシーンと、シーン類似判定装置が類似すると判定したシーンの組み合わせうちの最も長いシーンとを代表シーンとして選択する。ここで、サマリ映像生成システムは、代表シーン選択手段によって、シーン類似判定装置が類似すると判定したシーンの組み合わせうちの最も長いシーンを代表シーンに含めることで、例えば、ドラマ、映画等の撮影し直しシーンがサマリ映像に含まれない可能性を最小限にできる。さらに、サマリ映像生成システムは、サマリ映像生成手段によって、代表シーン選択手段が選択した代表シーンの一部又は全部を連結してサマリ映像を生成する。

本発明によれば、以下のような優れた効果を奏する。
請求項１，４に係る発明によれば、動きが少なく、同じ構図である確率が高い、動き大区間の直前の動き小区間から抽出した静止画を用いるため、シーンの類似判定の精度を高くすることができる。また、請求項１，４に係る発明によれば、１組以上の静止画の類似判定を行うだけで、クラスタリングや時系列で静止画を比較するといった複雑な演算を行っていないため、簡易で高速にシーンの類似判定を行うことができる。

請求項２に係る発明によれば、一方のシーンの静止画と他方のシーンの静止画との何れか１の組み合わせが類似すると判定した場合、静止画の類似判定を終了するため、シーンの類似判定をより高速に行うことができる。
請求項３に係る発明によれば、静止画の類似判定を簡易な演算で行うことができるため、シーンの類似判定をより高速に行うことができる。

請求項５に係る発明によれば、簡易で高速、かつ、精度が高いシーンの類似判定を行うことができると共に、撮影し直しシーン等がサマリ映像に含まれない可能性を最小限にできるため、簡易で高速に重複シーンが極めて少ないサマリ映像を生成できる。

以下、本発明の第１実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。

（第１実施形態）
［素材映像の内容］
まず、本発明の第１実施形態に係るシーン類似判定装置を説明する前に、本発明における素材映像の内容について、図１を参照して説明する。図１は、本発明における素材映像の内容を説明する図である。

素材映像は、例えば、ドラマ、映画等の撮影において、同じシーンを２回以上撮影し直したために重複したシーンを含む映像である。図１の例では、素材映像は、４個のショットＳｔ１〜Ｓｔ４で構成されている。ここで、ショットＳｔ１は、カラーバーＣを含む。また、ショットＳｔ２は、ショットＳｔ２の先頭にあるジャンク映像Ｊと、シーン１を１回目に撮影したシーンＳｃ１−Ｔ１と、シーンＳｃ１−Ｔ１とシーンＳｃ１−Ｔ２との間のジャンク映像Ｊと、このシーン１を２回目に撮影し直したシーンＳｃ１−Ｔ２と、ショットＳｔ２の最後にあるジャンク映像Ｊとを含む。このジャンク映像Ｊは、ドラマ、映画の映像としては用いないものであり、例えば、準備中の役者又はスタッフが撮影された映像である。また、ジャンク映像Ｊには、カチンコが撮影された映像も含まれる（不図示）。

また、ショットＳｔ３は、何の映像信号も含まないブランク映像Ｂを含む。さらに、ショットＳｔ４は、ショットＳｔ４の先頭にあるジャンク映像Ｊと、シーン２を１回目に撮影したシーンＳｃ２−Ｔ１と、ショットＳｔ４の最後にあるジャンク映像Ｊとを含む。つまり、図１の例では、素材映像は、シーンＳｃ１−Ｔ１とシーンＳｃ１−Ｔ２とを重複したシーンとして含む。なお、素材映像は、ドラマや映画の映像に限定されず、後記する撮影ルールに従って撮影される映像であれば良い。

［シーン類似判定装置の構成］
本発明の第１実施形態に係るシーン類似判定装置は、素材映像から予め抽出した２個のシーン（例えば、図１のショットＳｔ２から抽出したシーンＳｃ１−Ｔ１とシーンＳｃ１−Ｔ２）が互いに類似するか否かを判定するものである。以下、本発明の第１実施形態に係るシーン類似判定装置の構成について、図２を参照して説明する。図２は、本発明の第１実施形態に係るシーン類似判定装置の構成を示すブロック図である。図２に示すように、シーン類似判定装置１は、入力手段１０と、シーン分割手段１１と、静止画抽出手段１２と、静止画類似判定手段１３と、シーン類似判定手段１４と、パラメータ記憶手段１５とを備える。

入力手段１０は、素材映像から予め抽出した２個のシーンを入力するポート、端子等のインターフェースである。なお、第１シーンが２個のシーンのうちの一方のシーンに相当し、第２シーンが、２個のシーンのうちの他方のシーンに相当する。

シーン分割手段１１は、入力手段１０に入力された第１シーンを構成するフレーム間の動き量を算出して、第１シーンを、動き量が予め設定した閾値以上である動き大区間と、動き量が前記閾値未満である動き小区間とに分割するものである。ここで、シーン分割手段１１は、例えば、第１シーンを構成するフレーム間の動きベクトルの総和を算出し、この総和が予め設定した閾値以上となる区間を動き大区間として分割する。また、シーン分割手段１１は、例えば、この総和が閾値未満となる区間を動き小区間として分割する。なお、後記するパラメータ情報に前記した閾値を予め設定しておき、シーン分割手段１１は、このパラメータ情報を参照して、この閾値を取得しても良い。

また、シーン分割手段１１は、第１シーンの前後するフレームを所定のブロックに分割し、前後するフレームのブロック毎に画素値差を算出しても良い。そして、シーン分割手段１１は、この画素値差がパラメータ情報に予め設定した差以上となる区間を動き大区間として分割し、この差が前記した差未満となる区間を動き小区間として分割しても良い。なお、シーン分割手段１１は、第１シーンと同様の手法により、第２シーンも動き大区間と動き小区間とに分割する。

静止画抽出手段１２は、シーン分割手段１１が分割した第１シーンの動き小区間毎に、動き小区間の直後に位置する動き大区間の開始時刻から一定時間前又は動き小区間の中間時刻のうち、動き大区間の開始時刻に近い一方の時刻における動き小区間のフレームを静止画として抽出するものである。また、静止画抽出手段１２は、第１シーンと同様に第２シーンからも静止画を抽出する。なお、パラメータ情報に前記した一定時間（例えば、５秒）を予め設定しておき、静止画抽出手段１２は、このパラメータ情報を参照して、この一定時間を取得しても良い。

静止画類似判定手段１３は、静止画抽出手段１２が第１シーンから抽出した静止画の特徴量を算出すると共に、静止画抽出手段１２が第２シーンから抽出した静止画の特徴量を算出するものである。そして、静止画類似判定手段１３は、第１シーンの静止画と第２シーンの静止画との全ての組み合わせについて、第１シーンの静止画の特徴量と第２シーンの静止画の特徴量とに基づいて、第１シーンの静止画と第２シーンの静止画とが類似するか否かを判定する。ここで、静止画類似判定手段１３は、第１シーンの静止画と第２シーンの静止画とのうち、何組の静止画が類似したことを示す信号をシーン類似判定手段１４に出力しても良い。なお、静止画類似判定手段１３による静止画の類似判定の詳細は、後記する。

シーン類似判定手段１４は、第１シーンの静止画と第２シーンの静止画との何れか１以上の組み合わせ（組数）について、静止画類似判定手段１３が類似すると判定した場合、第１シーンと第２シーンとが類似すると判定するものである。なお、パラメータ情報にこの組数を予め設定しておくことにより、シーン類似判定手段１４は、パラメータ情報を参照してこの組数を取得することができる。例えば、パラメータ情報にこの組数を「１」に設定すると、静止画類似判定手段１３からの信号が１組以上の静止画が類似したことを示す場合、シーン類似判定手段１４は、第１シーンと第２シーンとが類似すると判定する。また、例えば、パラメータ情報にこの組数を「２」に設定すると、静止画類似判定手段１３からの信号が２組以上の静止画が類似したことを示す場合、シーン類似判定手段１４は、第１シーンと第２シーンとが類似すると判定する。つまり、シーン類似判定手段１４は、この組数が大きい値に設定される程、シーンの類似判定の精度がより高くなり、この組数が小さい値に設定される程、シーンの類似判定が高速になる。

また、シーン類似判定手段１４は、前記した判定に応じて、シーンが類似する又はシーンが類似しないといった判定結果を示す信号を出力しても良い。また、シーン類似判定手段１４は、この判定結果を、図示しない液晶画面等の表示手段に出力しても良い。

パラメータ記憶手段１５は、前記したパラメータ情報を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶手段である。このパラメータ情報は、シーン類似判定装置１の動作に必要となる各種パラメータを設定するのもである。

＜静止画の抽出及び静止画の類似判定＞
以下、図２の静止画抽出手段１２による静止画の抽出及び静止画類似判定手段１３による静止画の類似判定の詳細について、図３を参照して説明する（適宜図２参照）。図３（ａ）は、図２の静止画抽出手段１２による静止画の抽出を説明する図であり、図３（ｂ）は、静止画類似判定手段１３による静止画の類似判定を説明する図である。なお、図３（ａ）では、第１シーン及び第２シーンの動き大区間を斜線のハッチングで図示し、動き小区間の中間時刻を破線で図示した。また、図３（ａ）では、ｔは、時刻の経過を示す。

図３（ａ）の例では、シーン分割手段１１が、第１シーンを、３個の動き小区間ａ，ｃ，ｅと、２個の動き大区間ｂ，ｄとに分割している。また、シーン分割手段１１が、第２シーンを、２個の動き小区間ｆ，ｈと、２個の動き大区間ｇ，ｉとに分割している。

まず、静止画抽出手段１２は、第１シーンの動き小区間ａから静止画を抽出する。具体的には、静止画抽出手段１２は、動き小区間ａの中間時刻と、動き小区間ａの直後に位置する動き大区間ｂの開始時刻から一定時間前の時刻とのうち、どちらが動き大区間ｂの開始時刻に近いかを判定する。ここでは、動き小区間ａの中間時刻が動き大区間ｂの開始時刻に近いため、静止画抽出手段１２は、動き小区間ａの中間時刻におけるフレームを静止画１−１として抽出する。

次に、静止画抽出手段１２は、第１シーンの動き小区間ｃから静止画を抽出する。具体的には、静止画抽出手段１２は、動き小区間ｃの中間時刻と、動き小区間ｃの直後に位置する動き大区間ｄの開始時刻から一定時間前の時刻とのうち、どちらが動き大区間ｄの開始時刻に近いかを判定する。ここでは、動き小区間ｃの直後に位置する動き大区間ｄの開始時刻から一定時間前の時刻が、動き大区間ｄの開始時刻に近いため、静止画抽出手段１２は、動き小区間ｃの直後に位置する動き大区間ｄの開始時刻から一定時間前の時刻におけるフレームを静止画１−２として抽出する。

また、静止画抽出手段１２は、第１シーンと同様に、第２シーンの動き小区間ｆ，ｈからそれぞれ静止画２−１，２−２を抽出する。なお、図３（ａ）に示すように、第１シーンの動き小区間ｅは、第１シーンの最後であって直後の動き大区間が存在しないため、静止画抽出手段１２は、動き小区間ｅから静止画を抽出しなくとも良い。

一般的に、ドラマ、映画等の素材映像は、同じシーンを何度も撮影し直すことが多く、この場合、役者が同じ振る舞いをすること、及び、撮影開始前ではどの役者も静止し、「アクション」又は「スタート」のかけ声とともに演技を開始するといった特定の撮影ルールに従って撮影されている。つまり、この撮影ルールの性質から、同じシーンの動き大区間であれば同様の動きが含まれ、その動き大区間の直前（一定時間前）で同じ構図（静止画）となる確率が高くなると考えられる。そこで、シーン類似判定装置１は、この撮影ルールの性質を利用して、シーン分割手段１１によって、シーンを動き大区間と動き小区間とに分割し、静止画抽出手段１２によって、前記したような手法で同じ構図（静止画）である確率が高い２枚の静止画を抽出する。

なお、静止画抽出手段１２は、入力手段に入力されたシーンがＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２形式の場合、動き大区間の先頭のフレームに対応するタイムコードを、動き大区間の開始時刻としても良い。また、静止画抽出手段１２は、動き小区間の先頭と最後のフレームにそれぞれ対応するタイムコードの中間となる時刻を算出し、これを中間時刻としても良い。

図３（ｂ）に示すように、静止画類似判定手段１３は、第１シーンの静止画１−１，１−２と、第２シーンの静止画２−１，２−２との全てを組み合わせが類似するか否かを判定する。つまり、静止画類似判定手段１３は、静止画１−１と静止画２−１との組み合わせ、静止画１−１と静止画２−２との組み合わせ、静止画１−２と静止画２−１との組み合わせ、及び、静止画１−２と静止画２−２との組み合わせが類似するか否かを判定する。

具体的には、静止画類似判定手段１３は、例えば、第１シーンの静止画１−１，１−２と第２シーンの静止画２−１，２−２とのそれぞれを対応するように、縦２×横２で４分割する。そして、静止画類似判定手段１３は、第１シーンの静止画の特徴量及び第２シーンの静止画の特徴量として、４分割した第１シーンの静止画１−１，１−２と第２シーンの静止画２−１，２−２とのＨＳＢ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｂｒｉｇｈｔｎｅｓｓ）色空間の平均値のユークリッド距離を算出する。なお、静止画類似判定手段１３は、第１シーンの静止画と第２シーンの静止画とを４分割すると説明したが、２分割以上であれば分割する数は限定されない。また、静止画類似判定手段１３は、ＨＳＢ色空間を用いると説明したが、これに限定されず、例えば、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）色空間又はＬ＊ａ＊ｂ色空間等の任意の色空間を用いても良い。

そして、静止画類似判定手段１３は、このユークリッド距離が、予め設定した距離以上のとき、第１シーン１−１の静止画と第２シーン２−１の静止画とが類似すると判定する。一方、静止画類似判定手段１３は、このユークリッド距離が、前記した距離未満のとき、第１シーン１−１の静止画と第２シーン２−１の静止画とが類似しないと判定する。このように、静止画類似判定手段１３は、第１シーンの静止画１−２と、第２シーンの静止画２−１，２−２との残りの組み合わせについても、ユークリッド距離が前記した距離以下であるか否かの判定を行う。

ここで、静止画類似判定手段１３は、第１シーンの静止画と第２シーンの静止画との何れか１の組み合わせが類似すると判定した場合、第１シーンの静止画と第２シーンの静止画との他の組み合わせが類似するか否かの判定を終了しても良い。これによって、静止画類似判定手段１３は、静止画の類似判定をより高速に行うことができる。なお、パラメータ情報に、静止画を分割する数を示す情報、ＨＳＢ色空間とＲＧＢ色空間とＬ＊ａ＊ｂ色空間の何れを用いるかを示す情報、前記した距離を示す情報、及び、静止画が１組類似したときに類似判定を終了するか否かを示す情報を予め設定しても良い。この場合、静止画類似判定手段１３は、このパラメータ情報を参照して、何れの色空間を用いるか、類似判定を終了するか否かといった制御を行っても良い。

なお、図３では、静止画類似判定手段１３が、第１シーンの静止画の特徴量及び第２シーンの静止画の特徴量として、色空間を用いる例で説明したが、第１シーンの静止画の特徴量及び第２シーンの静止画の特徴量は、これに限定されない。例えば、静止画類似判定手段１３は、第１シーンの静止画の特徴量及び第２シーンの静止画の特徴量として、エッジのヒストグラム又はＤＣＴ（離散コサイン変換）係数等の空間周波数を用いることができる。具体的には、静止画類似判定手段１３は、第１シーンの静止画の特徴量及び第２シーンの静止画のそれぞれについて、エッジのヒストグラム又はＤＣＴ係数を算出する。そして、静止画類似判定手段１３は、第１シーンの静止画の特徴量及び第２シーンの静止画のそれぞれについて、算出したエッジのヒストグラム又はＤＣＴ係数を比較し、これらが予め設定した範囲内にあるか否かによって、静止画の類似判定を行うことができる。このように、第１シーンの静止画の特徴量及び第２シーンの静止画の特徴量として、エッジのヒストグラムやＤＣＴ係数を用いても、静止画類似判定手段１３は、簡易で高速に静止画の類似判定を行うことができる。

なお、図３では、第１シーンと第２シーンとで同じ枚数（例えば、２枚）の静止画が抽出される例を説明したが、第１シーンと第２シーンとで異なる枚数の静止画が抽出される場合もある。この場合も、静止画類似判定手段１３は、図３と同様に、第１シーンの静止画と、第２シーンの静止画との全てを組み合わせが類似するか否かを判定する。例えば、第１シーンから３枚の静止画が抽出され、第２シーンから２枚の静止画が抽出された場合、静止画類似判定手段１３は、第１シーンの静止画と第２シーンの静止画とを、３枚×２枚の合計６通りの組み合わせ、各組み合わせが類似するか否かを判定する。

［シーン類似判定装置の動作］
以下、図２のシーン類似判定装置の動作について、図４を参照して説明する（適宜図２参照）。図４は、図２のシーン類似判定装置の動作を示すフローチャートである。

まず、シーン類似判定装置１は、入力手段１０によって、素材映像から予め抽出した２個のシーン（第１シーン，第２シーン）を入力する（ステップＳ１）。

ステップＳ１の処理に続いて、シーン類似判定装置１は、シーン分割手段１１によって、入力手段１０に入力された第１シーンを構成するフレーム間の動き量を算出して、第１シーンを、動き量が予め設定した閾値以上である動き大区間と、動き量が閾値未満である動き小区間とに分割する（ステップＳ２）。

ステップＳ２の処理に続いて、シーン類似判定装置１は、静止画抽出手段１２によって、シーン分割手段１１が分割した第１シーンの動き小区間毎に、動き小区間の直後に位置する動き大区間の開始時刻から一定時間前又は動き小区間の中間時刻のうち、動き大区間の開始時刻に近い一方の時刻における動き小区間のフレームを静止画として抽出する（ステップＳ３）。

ステップＳ３の処理に続いて、シーン類似判定装置１は、シーン分割手段１１によって、入力手段１０に入力された第２シーンを構成するフレーム間の動き量を算出して、第２シーンを、動き量が予め設定した閾値以上である動き大区間と、動き量が閾値未満である動き小区間とに分割する（ステップＳ４）。

ステップＳ４の処理に続いて、シーン類似判定装置１は、静止画抽出手段１２によって、シーン分割手段１１が分割した第２シーンの動き小区間毎に、動き小区間の直後に位置する動き大区間の開始時刻から一定時間前又は動き小区間の中間時刻のうち、動き大区間の開始時刻に近い一方の時刻における動き小区間のフレームを静止画として抽出する（ステップＳ５）。

ステップＳ５の処理に続いて、シーン類似判定装置１は、静止画類似判定手段１３によって、ステップＳ３の処理で抽出した第１シーンの静止画の特徴量を算出すると共に、ステップＳ５の処理で抽出した第２シーンの静止画の特徴量を算出する（ステップＳ６）。

ステップＳ６の処理に続いて、シーン類似判定装置１は、静止画類似判定手段１３によって、第１シーンの静止画と第２シーンの静止画との全ての組み合わせについて、第１シーンの静止画の特徴量と第２シーンの静止画の特徴量とに基づいて、第１シーンの静止画と第２シーンの静止画とが類似するか否かを判定する（ステップＳ７）。

第１シーンの静止画と第２シーンの静止画との何れか１の組み合わせについて、静止画類似判定手段１３が類似すると判定した場合（ステップＳ７：あり）、シーン類似判定装置１は、シーン類似判定手段１４によって、第１シーンと第２シーンとが類似すると判定する（ステップＳ８）。そして、シーン類似判定装置１は、シーン類似判定手段１４によって、この判定に応じて、シーンが類似するという判定結果を出力する。

一方、第１シーンの静止画と第２シーンの静止画との全ての組み合わせについて、静止画類似判定手段１３が類似しないと判定した場合（ステップＳ７：なし）、シーン類似判定装置１は、シーン類似判定手段１４によって、第１シーンと第２シーンとが類似しないと判定する（ステップＳ９）。そして、シーン類似判定装置１は、シーン類似判定手段１４によって、この判定に応じて、シーンが類似しないという判定結果を出力する。

以上のように、シーン類似判定装置１は、シーンの類似判定の精度を高くすると共に、簡易で高速に、シーンの類似判定を行うことができる。なお、各実施形態では、本発明に係るシーン類似判定装置を独立した装置として説明したが、本発明では、一般的なコンピュータの演算手段及び記憶手段といったハードウェア資源を、前記した各手段として協調動作させるプログラムとしても良い。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

（第２実施形態）
［サマリ映像生成システムの構成］
以下、本発明の第２実施形態に係るサマリ映像生成システムの構成について、図５を参照して説明する。図５は、本発明の第２実施形態に係るサマリ映像生成システムの構成を示すブロック図である。図５に示すように、サマリ映像生成システム２は、重複したシーンを含む素材映像から、この重複したシーンを除いた異なるシーンで構成されるサマリ映像を生成するものであり、シーン抽出手段２１と、図２のシーン類似判定装置１と、代表シーン選択手段２２と、不要映像削除手段２３と、サマリ映像生成手段２４と、を備える。

シーン抽出手段２１は、素材映像を入力すると共に、公知の手法で、素材映像のシーンチェンジ点を検出して、素材映像に含まれる複数のシーンを抽出するものである。例えば、シーン抽出手段２１は、素材映像の各フレームを所定のブロック数（例えば、４×４の１６ブロック）に区切り、各ブロック単位で色変化量を算出して、この色変化量が一定の値以上となったフレームをシーンチェンジ点として検出する（例えば、特開２００６−２７０３０１号公報参照）。

また、シーン抽出手段２１は、素材映像に含まれる肌色領域を人物として検出し、この人物（肌色領域）の動きベクトルの変化に基づいて、シーンチェンジ点を検出しても良い。さらに、シーン抽出手段２１は、素材映像に音声情報が付加されている場合、一定時間声部がない部分、又は、音声が急激に変化した部分をシーンチェンジ点として検出しても良い。

ここで、シーン抽出手段２１は、素材映像の先頭シーンから順に２個のシーンを組み合わせてシーン類似判定装置１に出力する。例えば、素材映像から５個のシーンを抽出した場合、シーン抽出手段２１は、シーン１とシーン２との組み合わせ、シーン２とシーン３との組み合わせ、シーン３とシーン４との組み合わせ、及び、シーン４とシーン５との組み合わせをそれぞれシーン類似判定装置１に出力する。なお、シーン抽出手段２１は、５個のシーンを全て組み合わせてシーン類似判定装置１に出力し、シーン類似判定装置１は、５個のシーン全ての組み合わせについて、類似するか否かを判定しても良い。

シーン類似判定装置１は、前記したように、シーン抽出手段２１から入力された２個のシーンが類似するか否かを判定するものである。なお、シーン類似判定装置１は、図２と同様のものであるため、その説明を省略する。

代表シーン選択手段２２は、シーン抽出手段２１が抽出した全てのシーンのうち、シーン類似判定装置１が類似しないと判定したシーンと、シーン類似判定装置が類似すると判定したシーンの組み合わせのうちの最も長いシーンとを代表シーンとして選択するものである。

以下、図６を参照して、図５の代表シーン選択手段２２による代表シーンの選択について説明する（適宜図５参照）。図６は、図５の代表シーン選択手段２２による代表シーンの選択を説明する図である。なお、図６では、長いシーン程、左右方向に長い長方形として図示した。

また、図６の例では、シーン類似判定装置１が、シーン１とシーン２との組み合わせを類似すると判定し、シーン２とシーン３との組み合わせを類似しないと判定し、シーン３とシーン４との組み合わせを類似しないと判定し、シーン４とシーン５との組み合わせを類似すると判定している。

まず、代表シーン選択手段２２は、シーン１とシーン２との組み合わせが類似するため、シーン１とシーン２との長さを比較し、シーン２より長いシーン１を１個目の代表シーンとして選択する。また、代表シーン選択手段２２は、シーン２とシーン３との組み合わせが類似せず、及び、シーン３とシーン４との組み合わせが類似しないため、シーン３を２個目の代表シーンとして選択する。さらに、代表シーン選択手段２２は、シーン４とシーン５との組み合わせが類似するため、シーン４とシーン５との長さを比較し、シーン５を３個目の代表シーンとして選択する。なお、代表シーン選択手段２２は、各シーンの長さを、例えば、各シーンの先頭から終了までのタイムコードの差を算出して求めることができる。

なお、代表シーン選択手段２２は、３個以上のシーンが類似すると判定された場合、これらシーンの組み合わせのうち、最も長いシーンを代表シーンとして選択しても良い。例えば、図６において、シーン１とシーン２との組み合わせを類似すると判定され、かつ、シーン２とシーン３との組み合わせを類似すると判定された場合を例に説明する。このとき、シーン１とシーン３との組み合わせも類似すると考えられるため、代表シーン選択手段２２は、シーン１からシーン３までのうちの最も長いシーン、例えば、シーン１の長さが１０秒、シーン２の長さが１０秒、及び、シーン３の長さが１７秒である場合、もっとも長いシーン３を代表シーンとして選択する。

以下、図５に戻り説明を続ける。不要映像削除手段２３は、公知の手法で、代表シーン選択手段２２が選択した代表シーンに含まれる不要映像を検出して削除するものである。この不要映像とは、各シーンに含まれる映像のうち、視聴者による視聴の対象とならない映像又は製作者による編集の対象とならない映像であり、例えば、図１のカラーバーＣ、ブランク映像Ｂ及びジャンク映像Ｊである。例えば、不要映像削除手段２３は、代表シーンを構成する各フレームについて、原色の画素が占める割合を算出し、この割合が予め設定した閾値以上であれば、そのフレームがカラーバーであるとして検出し、そのフレームを削除する。また、例えば、不要映像削除手段２３は、映像信号が含まれていないフレームをブランク映像として検出し、そのフレームを削除する。

また、ドラマ等の制作において、「アクション」で始まり「カット」で終了する各シーンが一定の長さ（例えば、１０秒）以上であることが多いため、不要映像削除手段２３は、代表シーンの長さが一定の長さ未満の場合、その代表シーンそのものを削除しても良い。さらに、不要映像削除手段２３は、そのドラマ等を制作する監督の「アクション」、「カット」といったシーンの開始及び終了を識別可能な音声を予め登録しておき、代表シーンに含まれる「アクション」及び「カット」を音声認識する。そして、不要映像削除手段２３は、各代表シーンにおいて、「アクション」を検出する以前の映像、及び「カット」を検出した以後の映像を不要映像として削除しても良い。以上のように、サマリ映像生成システム２は、不要映像削除手段２３によって、代表シーン選択手段２２が選択した代表シーンに含まれる不要映像を削除するため、素材映像の内容をより把握しやすいサマリ映像を生成できる。

サマリ映像生成手段２４は、不要映像削除手段２３が不要映像を削除した代表シーンの一部を連結してサマリ映像を生成するものである。ここで、サマリ映像生成手段２４は、生成したサマリ映像を、図示しない表示装置に表示させても良く、図示しない記録手段に録画しても良い。

例えば、サマリ映像生成手段２４は、不要映像削除手段２３が不要映像を削除した代表シーンの全てについて、各代表シーンのフレーム間の動きベクトルを算出し、この動きベクトル量が予め設定した閾値以上となったフレームを連結してサマリ映像を生成する。また、サマリ映像生成手段２４は、各代表シーンの先頭から所定の時間（例えば、先頭から３秒）の映像を連結してサマリ映像を生成しても良い。また、サマリ映像生成手段２４は、各代表シーンの音量変化が激しい部分の映像（盛り上がり部分の映像）を連結してサマリ映像を生成しても良い。なお、サマリ映像生成手段２４は、不要映像削除手段２３が不要映像を削除した代表シーンの全部を連結し、サマリ映像を生成しても良いことは言うまでもない。

［サマリ映像生成システムの動作］
以下、図５のサマリ映像生成システムの動作について、図７を参照して説明する（適宜図５参照）。図７は、図５のサマリ映像生成システムの動作を示すフローチャートである。

まず、サマリ映像生成システム２は、シーン抽出手段２１によって、素材映像を入力すると共に、公知の手法で、素材映像のシーンチェンジ点を検出して、素材映像に含まれる全てのシーンを抽出する（ステップＳ１１）。ステップＳ１１の処理に続いて、サマリ映像生成システム２は、シーン類似判定装置１によって、シーン抽出手段２１から入力された２個のシーンが類似するか否かを判定する（ステップＳ１２）。

ステップＳ１２の処理に続いて、サマリ映像生成システム２は、代表シーン選択手段２２によって、シーン抽出手段２１が抽出した複数のシーンのうち、シーン類似判定装置１が類似しないと判定したシーンと、シーン類似判定装置が類似すると判定したシーンの組み合わせうちの最も長いシーンとを代表シーンとして選択する（ステップＳ１３）。

ステップＳ１３の処理に続いて、サマリ映像生成システム２は、不要映像削除手段２３によって、公知の手法で、代表シーン選択手段２２が選択した代表シーンから不要映像を削除する（ステップＳ１４）。ステップＳ１３の処理に続いて、サマリ映像生成システム２は、サマリ映像生成手段２４によって、不要映像削除手段２３が不要映像を削除した代表シーンの一部を連結してサマリ映像を生成する（ステップＳ１５）。

以上のように、サマリ映像生成システムは、撮り直しが多い素材映像から、重複したシーンを削除したサマリ映像を容易に生成することができる。このサマリ映像を参照することで、制作者は、素材映像の要点を短時間で把握でき、時間と労力の大幅な短縮につながる。

なお、本発明に係るサマリ映像生成システムは、ドラマや映画の制作に限定して用いられるものではない。現在、デジタルカメラ、デジタルビデオ等の家庭用撮影機器、及び、これら家庭用撮影機器で撮影した大量の素材映像を録画する家庭用録画機器は、一般家庭に普及してきており、誰でも手軽に映像コンテンツを生成できる。このため、一般家庭においても、映像の編集を簡単に行いたいという要望があると考えられる。このとき、大量の素材映像から利用者が必要とする映像を選択する作業が必須と考えられ、本発明に係るサマリ映像生成システムを適用すれば、利用者が素材映像を全て見る必要がなく、利用者が効率的に作業を進められる。つまり、本発明に係るサマリ映像生成システムは、家庭用撮影機器又は家庭用録画機器に組み込むことで、サマリ映像を利用者に提供するという機能を担うことができる。

この場合、一般家庭において撮影した映像には、「アクション」といった音声や「カチンコ」の映像が含まれない可能性が高いため、サマリ映像生成システムを家庭用撮影機器又は家庭用録画機器に組み込む場合、本発明に係るサマリ映像生成システムは、前記した不要映像削除手段を備えない構成としても良い。

本発明における素材映像の内容を説明する図である。 本発明の第１実施形態に係るシーン類似判定装置の構成を示すブロック図である。 （ａ）は、図２の静止画抽出手段１２による静止画の抽出を説明する図であり、（ｂ）は、静止画類似判定手段１３による静止画の類似判定を説明する図である。 図２のシーン類似判定装置の動作を示すフローチャートである。 本発明の第２実施形態に係るサマリ映像生成システムの構成を示すブロック図である。 図５の代表シーン選択手段２２による代表シーンの選択を説明する図である。 図５のサマリ映像生成システムの動作を示すフローチャートである。

符号の説明

１ シーン類似判定装置
１０ 入力手段
１１ シーン分割手段
１２ 静止画抽出手段
１３ 静止画類似判定手段
１４ シーン類似判定手段
１５ パラメータ記憶手段
２ サマリ映像生成システム
２１ シーン抽出手段
２２ 代表シーン選択手段
２３ 不要映像削除手段
２４ サマリ映像生成手段

Claims (5)

1. 重複したシーンを含む素材映像について、当該素材映像から抽出した２個の前記シーンが類似するか否かを判定するシーン類似判定装置において、
   ２個の前記シーンを入力する入力手段と、
   前記シーンを構成するフレーム間の動き量を算出して、当該シーンを、当該動き量が予め設定した閾値以上である動き大区間と、当該動き量が前記閾値未満である動き小区間とに分割するシーン分割手段と、
   前記シーンの動き小区間毎に、当該動き小区間の直後に位置する前記動き大区間の開始時刻から一定時間前又は当該動き小区間の中間時刻のうち、前記動き大区間の開始時刻に近い一方の時刻における当該動き小区間のフレームを静止画として抽出する静止画抽出手段と、
   ２個の前記シーンのうちの一方のシーンから抽出した前記静止画の特徴量を算出すると共に、２個の前記シーンのうちの他方のシーンから抽出した前記静止画の特徴量を算出し、前記一方のシーンの静止画と前記他方のシーンの静止画との全ての組み合わせについて、前記一方のシーンの静止画の特徴量と前記他方のシーンの静止画の特徴量とに基づいて、前記一方のシーンの静止画と前記他方のシーンの静止画とが類似するか否かを判定する静止画類似判定手段と、
   前記一方のシーンの静止画と前記他方のシーンの静止画との何れか１以上の組み合わせについて、前記静止画類似判定手段が類似すると判定した場合、前記一方のシーンと前記他方のシーンとが類似すると判定するシーン類似判定手段と、
   を備えることを特徴とするシーン類似判定装置。
2. 前記静止画類似判定手段は、前記一方のシーンの静止画と前記他方のシーンの静止画との何れか１の組み合わせが類似すると判定した場合、前記一方のシーンの静止画と前記他方のシーンの静止画との他の組み合わせが類似するか否かの判定を終了することを特徴とする請求項１に記載のシーン類似判定装置。
3. 前記静止画類似判定手段は、前記一方のシーンの静止画の特徴量及び前記他方のシーンの静止画の特徴量として、前記一方のシーンの静止画と前記他方のシーンの静止画とが対応するように分割し、分割した前記一方のシーンの静止画と前記他方のシーンの静止画との所定の色空間の平均値のユークリッド距離を算出すると共に、当該ユークリッド距離が予め設定された距離以下のとき、前記一方のシーンの静止画と前記他方のシーンの静止画とが類似すると判定し、当該ユークリッド距離が前記距離を越えたとき、前記一方のシーンの静止画と前記他方のシーンの静止画とが類似しないと判定することを特徴とする請求項１又は請求項２に記載のシーン類似判定装置。
4. 重複したシーンを含む素材映像について、当該素材映像から抽出した２個の前記シーンが類似するか否かを判定するために、コンピュータを、
   ２個の前記シーンを入力する入力手段、
   前記シーンを構成するフレーム間の動き量を算出して、当該シーンを、当該動き量が予め設定した閾値以上である動き大区間と、当該動き量が前記閾値未満である動き小区間とに分割するシーン分割手段、
   前記シーンの動き小区間毎に、当該動き小区間の直後に位置する前記動き大区間の開始時刻から一定時間前又は当該動き小区間の中間時刻のうち、前記動き大区間の開始時刻に近い一方の時刻における当該動き小区間のフレームを静止画として抽出する静止画抽出手段、
   ２個の前記シーンのうちの一方のシーンから抽出した前記静止画の特徴量を算出すると共に、２個の前記シーンのうちの他方のシーンから抽出した前記静止画の特徴量を算出し、前記一方のシーンの静止画と前記他方のシーンの静止画との全ての組み合わせについて、前記一方のシーンの静止画の特徴量と前記他方のシーンの静止画の特徴量とに基づいて、前記一方のシーンの静止画と前記他方のシーンの静止画とが類似するか否かを判定する静止画類似判定手段、
   前記一方のシーンの静止画と前記他方のシーンの静止画との何れか１以上の組み合わせについて、前記静止画類似判定手段が類似すると判定した場合、前記一方のシーンと前記他方のシーンとが類似すると判定するシーン類似判定手段、
   として機能させることを特徴とするシーン類似判定プログラム。
5. 重複したシーンを含む素材映像から、当該重複したシーンを除いた異なる前記シーンで構成されるサマリ映像を生成するサマリ映像生成システムにおいて、
   シーンチェンジ点を検出して、前記素材映像に含まれる複数の前記シーンを抽出するシーン抽出手段と、
   前記シーン抽出手段が抽出した前記シーンの組み合わせが類似するか否かを判定する請求項１に記載のシーン類似判定装置と、
   前記シーン抽出手段が抽出したシーンのうち、前記シーン類似判定装置が類似しないと判定したシーンと、前記シーン類似判定装置が類似すると判定したシーンの組み合わせうちの最も長いシーンとを代表シーンとして選択する代表シーン選択手段と、
   前記代表シーン選択手段が選択した代表シーンの一部又は全部を連結して前記サマリ映像を生成するサマリ映像生成手段と、
   を備えることを特徴とするサマリ映像生成システム。

Images