JP2006330795A - 映像トピック区間情報作成装置、映像トピック区間情報作成方法、映像トピック区間情報作成プログラム、及び記録媒体 - Google Patents

Abstract

【課題】 映像中からトピック区間を定義する作業を従来技術よりも効率的に実行可能とする。
【解決手段】 入力した映像中からトピック区間情報を定義する映像トピック区間情報作成装置であって、映像データを入力する映像入力部１、入力した映像中から、一つのシーン区間を指定してこれを基本トピック区間と定義する基本トピック区間情報定義部２、基本トピック区間と映像特徴が類似するシーン区間を前記入力映像中から検索する類似シーン区間検索部３、及び検索されたシーン区間をトピック区間として定義するトピック区間定義部４を有する。
【選択図】 図１

Description

本発明は映像中のシーン内容に関する情報を自動的に生成する技術に係り、特に類似映像を検索する処理に基づいたシーン情報生成技術に関するものである。

近年、ＤＶＤパッケージソフトやブロードバンドネットワーク上での映像配信サービスにおいて、映像コンテンツをシーン単位で検索できるような機能がサービスメニューとして提供されている。

シーン単位での検索を実現するためには、予め映像コンテンツ全体の中のどの時間にどのようなシーンが含まれるかといったシーン内容に関する情報をデータとして用意しておく必要がある。シーン内容に関する情報とは、具体的には、シーンの開始時間、終了時間、シーンの内容を説明するコメント等のテキストデータである。

このような、シーン内容に関する情報を一から手作業で映像内容を調べてデータとして書き起こす作業は膨大な作業量を伴うことが多い。このため、映像認識や音声認識といったメディア解析技術を利用してシーン内容に関する情報を半自動的に作成する技術提案が従来から多くなされている。

例えば、映像中のシーンの切り替わりやテロップ文字を自動認識し、シーン内容に関する情報として定義する技術が提案されている(例えば、特許文献１、２参照。)。
特許第２８３９１３２号明細書 特許第３４７９５９２号明細書

しかしながら、前記例示の技術では、シーンの切り替わり、字幕内容など、映像中の瞬間的なシーン情報を自動的に生成できるが、瞬間的ではなくある程度時間的な長さを持ち、意味のあるシーン情報を自動的に生成することはできないものであった。

意味のあるシーン情報とは、例えば、野球中継において、ピッチャーがボールを投げるところから、バッターがヒットを打って、１塁に進むところまでのシーン区間に関する情報や、また、ニュース番組において、個々のニューストピックでアナウンサーが話し始めて、その後、ＶＴＲ映像が流され、そのニューストピックが終了するまで等、複数の事象の時間的な遷移パターンとして意味をなすものをさす。

このように映像トピック区間は、現状の映像認識技術では自動抽出が困難であり、前述の従来技術で自動抽出される瞬間的なシーン情報を手がかりにして、手作業で定義するしか作成方法がなかった。

自動抽出される瞬間的なシーン情報と実際に作成したい映像トピック区間の情報とのかい離が大きい場合は手作業には膨大な時間を要する場合がある。

例えば、前述の野球のバッターシーンの区間を定義する際に、シーンの切り替わり及び字幕情報の情報しかない場合は、映像全体の中での該当トピックの大まかな時間帯は把握できる。しかし、ピッチャーが投げ始める瞬間やバッターが１塁に進塁した瞬間などのトピック区間としての細かい正確な情報は最終的には時間をかけて手作業で調整して定義する必要がある。

これに加え、トピック区間の内容を説明するようなコメント等のテキストデータについても、どのような情報をコメントとして入力するかの検討に関する時間も含め、時間をかけて手入力する必要があった。

このような作業を映像中の複数のトピック区間に対して全て実施すると膨大な作業時間がかかる。

本発明は、以上の点を考慮してなされたもので、映像中からトピック区間を定義する作業を従来技術よりも効率的に実行可能とすることを目的とする。

そこで、上記課題を解決するために、請求項１に記載の発明は、入力した映像中からトピック区間情報を定義する映像トピック区間情報作成装置であって、映像データを入力する映像入力部と、前記入力した映像中から、一つのシーン区間を指定してこれを基本トピック区間と定義する基本トピック区間情報定義部と、前記基本トピック区間と映像特徴が類似するシーン区間を前記入力映像中から検索する類似シーン区間検索部と、前記検索されたシーン区間をトピック区間として定義するトピック区間定義部と、を有することを特徴とする。

また、請求項２に記載の発明は、前記基本トピック区間情報定義部は、前記基本トピック区間に関する関連情報をさらに定義し、前記映像トピック区間情報作成装置は、前記定義された基本トピック区間に関する関連情報を前記定義されたトピック区間の関連情報として定義するトピック区間関連情報定義部をさらに有することを特徴とする。

また、請求項３に記載の発明は、入力した映像中からトピック区間情報を定義する映像トピック区間情報作成装置が行う映像トピック区間情報作成方法であって、映像入力部が映像データを入力する映像入力ステップと、基本トピック区間情報定義部が前記入力した映像中から、一つのシーン区間を指定してこれを基本トピック区間と定義する基本トピック区間情報定義ステップと、類似シーン区間検索部が前記基本トピック区間と映像特徴が類似するシーン区間を前記入力映像中から検索する類似シーン区間検索ステップと、トピック区間定義部が前記検索されたシーン区間をトピック区間として定義するトピック区間定義ステップと、を有することを特徴とする。

また、請求項４に記載の発明は、前記基本トピック区間情報定義ステップでは、基本トピック区間情報定義部が前記基本トピック区間に関する関連情報をさらに定義し、前記映像トピック区間情報作成方法は、トピック区間関連情報定義部が前記定義された基本トピック区間に関する関連情報を前記定義されたトピック区間の関連情報として定義するトピック区間関連情報定義ステップをさらに有することを特徴とする。

また、請求項５に記載の発明は、前記請求項１〜４いずれかに記載の映像トピック区間情報作成装置又は映像トピック区間情報作成方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。

また、請求項６に記載の発明は、前記請求項１〜４いずれかに記載の映像トピック区間情報作成装置又は映像トピック区間情報作成方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。

請求項１〜６に記載の発明では、基本トピック区間情報定義部で定義された基本トピック区間を検索キーとして、類似シーン区間検索部において入力映像中から検索キーの映像特徴と類似する映像特徴を持つシーン区間を自動的に検索する。そして、トピック区間定義部において、検索されたシーン区間をトピック区間と定義することで自動的にトピック区間を定義する。

したがって、基本トピック区間を定義すれば、自動的にトピック区間を定義することが可能となる。

さらに請求項２、４、５及び６に記載の発明では、基本トピック区間情報定義部で定義された基本トピック区間の関連情報を設定することで、定義されたトピック区間の関連情報をトピック区間関連情報定義部が自動的に定義する。

したがって、基本トピック区間の関連情報を定義すれば、自動的にトピック区間の関連情報を定義することが可能となる。

なお、トピック区間は映像中からシーン区間を抽出したものであればよく、その時間や編集者が意図したものであるかどうか等は問わない。

請求項１〜６に記載の発明によれば、従来技術よりも効率的に映像中のトピック区間を作成することが可能となる。

さらに請求項２、４、５及び６に記載の発明によれば、従来技術よりも効率的に映像中のトピック区間の関連情報を作成することが可能となる。

以下、実施形態について図面を参照しながら説明する。

図１は映像トピック区間情報作成装置の構成の一例を示したものである。図１に示すように映像トピック区間情報作成装置は、映像入力部１、基本トピック区間情報定義部２、類似シーン区間検索部３、トピック区間定義部４、及びトピック区間関連情報定義部５を有している。

映像入力部１は、映像データを映像トピック区間情報作成装置内に入力する機能を備えるものである。具体的には、コンピュータ用の映像データのキャプチャボード、及びコンピュータ上のメモリ、ハードディスクにより実現可能である。例えば、ＶＨＳ形式の映像信号を映像データのキャプチャボードでディジタイズしながら取り込み、取り込んだディジタルデータをメモリやハードディスクに書き込むことで実現可能である。

基本トピック区間情報定義部２は、映像入力部１で入力された映像中から予め決められた方法を用いて一つのシーン区間を指定し、これを基本トピック区間として定義する。さらに、このトピック区間に関する関連情報を定義する。

入力映像中の基本トピック区間を定義する前記予め決められた方法の一例として、手作業で基本トピック区間としての映像中の開始時間及び終了時間を記録することがあげられる。

また、前記特許文献１、及び特許文献２で提案されている技術を用いて自動抽出される映像中のシーン切り替わり情報や字幕情報を手がかりにして、全て手作業で定義するよりも短時間にトピック区間の映像中の開始時間と終了時間を記録することでもよい。

また、基本トピック区間に関連する情報の定義方法の一例としては、手作業で一から書き起こすこと、又は「特許第３３０９１７４号：文字認識方法及び装置」で提案されている技術を用いて得られる映像中のテロップ文字の認識結果のテキストデータ情報をそのままトピック区間の関連情報として利用することがあげられる。

図２は本発明の映像トピック区間情報作成方法のポイントを示す図である。図２中の（ａ）は基本トピック区間情報定義部２の処理内容のイメージを示す模式図である。これは野球映像全体の中からバッターが打つシーンとキャッチャーにタッチアウトされるシーンとが連続して続く映像シーン区間を基本トピック区間として定義する場合の例である。

市販の映像編集ソフトウェア等で映像内容を閲覧し、該当シーンの映像全体における開始時間及び終了時間を手作業で調べ、開始時間該当シーン区間を定義することができる。また、このシーン区間に対し、例えば、「バッター高橋」、「ヒット」、「ランナー松井はキャッチャーにタッチアウト」等の関連コメント情報を手作業で書き起こすことで、本処理部の内容は実施可能である。

図２中の(ａ)に示す例では、開始時間が２分１０秒であり、終了時間が２分５５秒であり。この間の映像シーン区間が基本トピックとして定義される。

類似シーン区間検索部３は、基本トピック区間情報定義部２で定義された基本トピック区間及び予め決められた方法を用いて、映像入力部１で入力された映像全体の中から基本トピック区間に映像特徴が類似するシーン区間を検索するものである。これは、コンピュータハードウェア、及びメモリ上に展開したソフトウェアで予め決められたロジックを実装することで実現可能である。例えば、「特願２００２−２９６８６８：映像の検索方法および装置」で提案されている技術を実装したコンピュータ上のソフトウェアで実現可能である。

図２中の（ｂ）は類似映像検索の一例を示す。基本トピック区間の色情報等の映像特徴量の時間遷移パターンが類似するシーン区間を映像全体の中から検索する。この検索結果である複数のシーン区間が類似映像検索結果１〜類似映像検索結果６である。

トピック区間定義部４は、類似シーン区間検索部３で検索された結果のシーン区間をトピック区間として定義するものである。これは、コンピュータハードウェア、及びメモリ上に展開したソフトウェアで実現可能である。

図２中の（ｂ）にトピック区間の定義処理の一例を示す。前記のように、類似シーン区間検索部３で、基本トピック区間と類似するシーンとして検索された類似映像検索結果１〜６をそれぞれトピック区間１〜６として定義する。これにより、基本トピック区間の情報を利用して、類似映像検索処理を実施する。この結果をトピック区間として定義することで、手作業を伴わず自動的にトピック区間を定義することが可能となる。

トピック関連情報定義部５は、トピック区間定義部４で定義されたトピック区間の関連情報として基本トピック区間に関する関連情報を設定するものである。これは、コンピュータハードウェア、及びメモリ上に展開したソフトウェアで実現可能である。

図２中の（ｂ）にトピック区間の関連コメント情報を定義する処理の一例を示す。基本トピック区間の関連テキスト情報である「バッター高橋」、「ヒット」、「ランナー松井はキャッチャーにタッチアウト」をそのまま、トピック区間定義部４で定義したトピック区間であるトピック区間１〜６の関連テキスト情報として定義することで、自動的にトピック区間の関連情報を定義することが可能である。

図３は本実施形態の映像トピック区間情報作成方法の処理フローの一例を示す図である。

図３に示すように、ステップ２１では、映像入力部１が映像データを入力する処理を実施し、ステップ２２に進む。

ステップ２２では、基本トピック区間情報定義部２が基本トピック区間、及び関連情報を定義してステップ２３に進む。

ステップ２３では、類似シーン区間検索部３が基本トピック区間に類似するシーン区間を映像全体の中から予め決められた方法を用いて検索し、ステップ２４に進む。

ステップ２４は、トピック区間定義部４がステップ２３の類似映像検索処理の結果をトピック区間として定義し、ステップ２５に進む。

ステップ２５では、トピック区間関連情報定義部５がトピック区間の関連情報として、基本トピック区間の関連情報を設定し処理フローは終了する。

なお、映像トピック区間情報作成装置において、トピック区間のみを検出し、トピック区間関連情報は検出しないということも可能である。この場合には、トピック区間情報定義部２では基本トピック区間のみを定義すればよく、トピック区間関連情報定義部５は設置しなくてもよい。

また、基本トピック区間情報定義処理、類似シーン区間検索処理などにおける、定義した基本トピック区間に関する情報、検出したトーピック区間等の、処理結果、計算結果、及び当該処理、計算に必要な情報等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。

また、映像トピック区間情報作成装置の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム、又は装置に供給し、そのシステム、又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、及びＨＤＤ等がある。

映像トピック区間情報作成装置の構成図。 トピック区間定義方法の説明図。 映像トピック区間情報作成装置の処理フロー図。

符号の説明

１ 映像入力部
２ 基本トピック区間情報定義部
３ 類似シーン区間検索部
４ トピック区間定義部
５ トピック区間関連情報定義部

Claims (6)

1. 入力した映像中からトピック区間情報を定義する映像トピック区間情報作成装置であって、
   映像データを入力する映像入力部と、
   前記入力した映像中から、一つのシーン区間を指定してこれを基本トピック区間と定義する基本トピック区間情報定義部と、
   前記基本トピック区間と映像特徴が類似するシーン区間を前記入力映像中から検索する類似シーン区間検索部と、
   前記検索されたシーン区間をトピック区間として定義するトピック区間定義部と、を有することを特徴とする映像トピック区間情報作成装置。
2. 前記基本トピック区間情報定義部は、前記基本トピック区間に関する関連情報をさらに定義し、
   前記映像トピック区間情報作成装置は、前記定義された基本トピック区間に関する関連情報を前記定義されたトピック区間の関連情報として定義するトピック区間関連情報定義部をさらに有することを特徴とする請求項１に記載の映像トピック区間情報作成装置。
3. 入力した映像中からトピック区間情報を定義する映像トピック区間情報作成装置が行う映像トピック区間情報作成方法であって、
   映像入力部が映像データを入力する映像入力ステップと、
   基本トピック区間情報定義部が前記入力した映像中から、一つのシーン区間を指定してこれを基本トピック区間と定義する基本トピック区間情報定義ステップと、
   類似シーン区間検索部が前記基本トピック区間と映像特徴が類似するシーン区間を前記入力映像中から検索する類似シーン区間検索ステップと、
   トピック区間定義部が前記検索されたシーン区間をトピック区間として定義するトピック区間定義ステップと、を有することを特徴とする映像トピック区間情報作成方法。
4. 前記基本トピック区間情報定義ステップでは、基本トピック区間情報定義部が前記基本トピック区間に関する関連情報をさらに定義し、
   前記映像トピック区間情報作成方法は、トピック区間関連情報定義部が前記定義された基本トピック区間に関する関連情報を前記定義されたトピック区間の関連情報として定義するトピック区間関連情報定義ステップをさらに有することを特徴とする請求項３に記載の映像トピック区間情報作成方法。
5. 前記請求項１〜４いずれかに記載の映像トピック区間情報作成装置又は映像トピック区間情報作成方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
6. 前記請求項１〜４いずれかに記載の映像トピック区間情報作成装置又は映像トピック区間情報作成方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。