JP2007163568A - ダイジェストシーン情報の入力装置、入力方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】映像中のダイジェストシーンの情報（開始時間、終了時間、シーン説明文など）の作成時間を短くし、作業者の疲労を軽減する。
【解決手段】映像データ読み込み部１で読み込んだ映像中から、シーン仮開始時間定義部２でダイジェストシーンの仮の開始時間を定義し、音声認識部３は作業者の音声入力を音声認識したテキストと音声が入力されたタイミングを記憶しておく。シーン終了時間定義部４は外部音声の入力タイミングをシーンの終了時間として定義し、シーン開始時間定義部５は定義された仮の開始時間を基にシーンの開始時間を定義し、シーン説明文定義部６は音声認識結果のテキスト情報をシーンの内容を説明するテキスト情報として定義し、シーン情報出力部７はシーンの開始時間、終了時間、及びシーン説明文を併せてダイジェストシーン情報として出力する。
【選択図】図１

Description

本発明は、映像中に含まれる個々のシーンの内容に関する説明情報、及び個々のシーンの映像中における開始時間、終了時間の情報を自動的に入力する技術に関するものである。

映像シーンの検索サービスやテレビ番組などのダイジェスト映像の配信サービスなどを実現するために必要な映像シーンの内容を説明するテキスト情報やそのシーンの開始時間、終了時間の情報を効率的に作り出す技術へのニーズが高い。このニーズに対し、従来から入力映像データに対し、シーンチェンジの検出や字幕文字の認識といった映像認識処理や音声認識などを実施して、その結果を利用して前記の映像シーンの情報を作成する技術、システムが多く提案されている（例えば、非特許文献１参照）。

前記文献１などの従来技術では、前述のような映像認識処理や音声認識処理を入力映像データに対して実施した後、自動的に得られた情報を人手作業で修正するという方式により、映像シーン情報を作成していた。この手法では、映像認識処理は必ずしも１００％の精度ではないため、映像シーン情報を利用したサービスの内容にも依存するが、精度の高いシーン情報を作り上げるには、自動的に得られた情報を人手作業による修正作業は必須というものであった。

図４に野球中継の映像を例として、従来技術によるシーン情報の作成作業フローを説明する図を示す。野球中継の映像全体の中には、図４（ａ）に示すように、ダイジェスト映像用のシーンとして、ファインプレイシーン、ヒットシーン、得点シーン、ホームランシーンなどが含まれる。このようなシーンについて、映像全体の中の開始時間、終了時間、シーン内容の説明文を作成するには、図４（ｂ）のシーンチェンジやテロップ文字の情報など自動的に取得される情報を手がかりに人手作業で情報を作り出す作業フローが採られていた。図４（ｃ）は、作成されたダイジェストシーン情報の一例を示す。

図５に人手作業によるシーン情報の修正、編集作業のイメージ図を示す。図５（ａ）はホームランシーンの開始時間、終了時間を設定する作業のイメージ図を示したものである。時間軸上の上側にはシーンチェンジ、テロップ表示、カメラワークといった映像認識処理の結果、及び音声認識処理の結果が得られたタイミングを示している。これに対し、実際のホームランシーンの開始時間としては、ホームランが打たれる際のピッチャーが投球を開始するシーンのタイミング（Ａ）、また、ホームランシーンの終了時間として、ホームインしたタイミング（Ｂ）を利用する例を示したものである。

この場合、作業者は、図中の時間軸上の上側の情報を参照しながら、（Ａ），（Ｂ）の２つの時間を設定する。実際の作業実施にあたっては図５（ｂ）のような映像編集用のグラフィカルユーザインタフェースの映像・音声認識結果を一覧できるキー画像ブラウザや映像のキー画像を選択すると映像をその画像からジャンプ再生でき、且つ、コマ送り等の細かな映像再生ポイントの微調整ができる映像再生モニタを手作業で操作しながら時間をかけて図５（ａ）の（Ａ），（Ｂ）のタイミングの設定を実施する。
「Scene Cabinet：映像解析技術を統合した映像インデクシングシステム、谷口行信、南憲一、佐藤隆、桑野秀豪、児島治彦、外村佳伸 著、電子情報通信学会論文誌、ＶＯＬ．Ｊ８４−ＤＩＩ Ｎｏ．６ ．ｐｐ１１１２−１１２１． ２００１年６月」

前述のように、非特許文献１などの従来の技術では、図４（ａ）に示した野球映像中のファインプレイシーン、ヒットシーン、得点シーンなどのシーンの意味内容を解釈し正確な開始時間、終了時間、テキスト情報を全て自動的に作成することは困難である。なぜなら、従来の映像・音声認識の技術レベルでは、野球中継中のダイジェストシーンを完全自動で抽出できるまでに至っていないためである。

そのため、このようなダイジェストシーンに関する情報を野球中継等のライブ放送中にリアルタイムに即時的に作成し、作成した情報を速報として、インターネット配信などのコンテンツサービスに利用する場合には、ダイジェストシーンのサービス提供までに遅延が生じる。ライブ放送のコンテンツサービスはサービス品質として情報提供の即時性が非常に重要である。すなわち、従来の技術によると、情報提供の即時性に関するサービス品質が悪くなるという問題点がある。

また、ダイジェスト情報を作成する方法についても前述のとおり、映像・音声認識といった自動的に取得された結果をベースに手作業でダイジェストシーンの開始時間、終了時間、シーン説明用のテキストを作成するため、作業者は時間に追い立てられながら、細かな作業を実施しなければならず精神的に疲労、ストレスが溜まりやすくなるという問題点もある。

本発明は、以上の点を考慮してなされたもので、野球中継などのライブ映像に対してリアルタイムにダイジェストシーンの情報を作成する作業において、作業に時間がかかることや作業者の疲労が多くなるという従来技術の問題点を解決した、ダイジェストシーン情報の入力装置、入力方法、この方法のプログラムおよびこのプログラムを記録した記録媒体を提供することを目的とする。

前記の課題を解決した本発明は、以下の装置、方法、プログラムおよび記録媒体を特徴とする。

（装置の発明）
（１）映像データを読み込む映像データ読み込み部と、
前記映像データ読み込み部が読み込んだ映像中から、予め決められた映像認識、音声認識、自然言語処理によって、該映像中のダイジェストシーンの仮の開始時間を定義するシーン仮開始時間定義部と、
外部入力された音声を音声認識し、この音声認識結果のテキストと音声が入力されたタイミングをセットで記憶する音声認識部と、
前記音声認識部における外部音声が入力されたタイミングを前記映像中のダイジェストシーンの終了時間として定義するシーン終了時間定義部と、
前記シーン仮開始時間定義部で定義された仮の開始時間、または前記シーン終了時間定義部で定義したダイジェストシーンの終了時間、もしくは該仮の開始時間と該終了時間を基に、前記映像中のダイジェストシーンの開始時間を定義するシーン開始時間定義部と、
前記音声認識部で得られた音声認識結果のテキスト情報を前記映像中のダイジェストシーンの内容を説明するテキスト情報として定義するシーン説明文定義部と、
前記シーン開始時間定義部で定義されたダイジェストシーンの開始時間、前記シーン終了時間定義部で定義されたダイジェストシーンの終了時間、及び前記シーン説明文定義部で定義されたシーン説明文を併せてダイジェストシーン情報として出力するシーン情報出力部とを備えたことを特徴とする。

（２）前記シーン開始時間定義部は、
前記シーン仮開始時間定義部で定義された仮の開始時間をダイジェストシーンの開始時間として定義すること、
または、前記シーン終了時間定義部で定義したダイジェストシーンの終了時間から一定時間遡ったタイミングを開始時間として定義すること、
または、前記シーン終了時間定義部で定義されたダイジェストシーンの終了時間から予め決められた時間範囲だけ遡った範囲内に前記シーン仮開始時間定義部で定義されたダイジェストシーンの仮の開始時間が含まれる場合は該仮の開始時間を前記映像中のダイジェストシーンの開始時間として定義し、前記仮の開始時間が含まれない場合は前記予め決められた時間範囲だけ遡ったタイミングを前記映像中のダイジェストシーンの開始時間として定義することを特徴とする。

（方法の発明）
（３）映像データを読み込む映像データ読み込みステップと、
前記映像データ読み込みステップが読み込んだ映像中から、予め決められた映像認識、音声認識、自然言語処理によって、該映像中のダイジェストシーンの仮の開始時間を定義するシーン仮開始時間定義ステップと、
外部入力された音声を音声認識し、この音声認識結果のテキストと音声が入力されたタイミングをセットで記憶する音声認識ステップと、
前記音声認識ステップにおける外部音声が入力されたタイミングを前記映像中のダイジェストシーンの終了時間として定義するシーン終了時間定義ステップと、
前記シーン仮開始時間定義ステップで定義された仮の開始時間、または前記シーン終了時間定義ステップで定義したダイジェストシーンの終了時間、もしくは該仮の開始時間と該終了時間を基に、前記映像中のダイジェストシーンの開始時間を定義するシーン開始時間定義ステップと、
前記音声認識ステップで得られた音声認識結果のテキスト情報を前記映像中のダイジェストシーンの内容を説明するテキスト情報として定義するシーン説明文定義ステップと、
前記シーン開始時間定義ステップで定義されたダイジェストシーンの開始時間、前記シーン終了時間定義部で定義されたダイジェストシーンの終了時間、及び前記シーン説明文定義部で定義されたシーン説明文を併せてダイジェストシーン情報として出力するシーン情報出力ステップと、
を有することを特徴とする。

（４）前記シーン開始時間定義ステップは、
前記シーン仮開始時間定義ステップで定義された仮の開始時間をダイジェストシーンの開始時間として定義すること、
または、前記シーン終了時間定義ステップで定義したダイジェストシーンの終了時間から一定時間遡ったタイミングを開始時間として定義すること、
または、前記シーン終了時間定義ステップで定義されたダイジェストシーンの終了時間から予め決められた時間範囲だけ遡った範囲内に前記シーン仮開始時間定義ステップで定義されたダイジェストシーンの仮の開始時間が含まれる場合は該仮の開始時間を前記映像中のダイジェストシーンの開始時間として定義し、前記仮の開始時間が含まれない場合は前記予め決められた時間範囲だけ遡ったタイミングを前記映像中のダイジェストシーンの開始時間として定義することを特徴とする。

（プログラムの発明）
（５）上記の（３）または（４）に記載のダイジェストシーン情報の入力方法における各ステップをコンピュータで実行可能にしたことを特徴とする。

（記録媒体の発明）
（６）上記の（３）または（４）に記載のダイジェストシーン情報の入力方法における各ステップをコンピュータで実行可能にしたプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。

（作用）
本発明によれば、野球映像中のファインプレイシーン、ヒットシーン、得点シーン、ホームランシーンといったダイジェストシーンの開始時間、終了時間、シーン説明文といったダイジェストシーン情報を作成する際に、請求項１等に記載の映像データ読み込み、シーン仮開始時間定義、音声認識、シーン終了時間定義、シーン開始時間定義、シーン説明文定義を用いることで、ダイジェストシーン情報を作成する作業者は野球映像を目視で確認しながら、情報を作成しようとするシーンを確認後、そのシーン内容について発話するだけで、発話タイミングを該シーンの終了時間として自動作成し、また、シーン仮開始時間を基にシーンの開始時間を作成、またはダイジェストシーンの終了時間から一定時間遡った時間範囲内のシーン仮開始時間との関係を基にシーンの開始時間を作成、あるいは一定時間遡った時間を該シーンの開始時間として作成し、及び発話内容を認識した結果のテキスト情報をシーン説明文として作成することが可能である。

シーンの仮開始時間の作成においては、予め決められた映像認識、音声認識、自然言語処理を利用することで実施できる。例えば、野球中継の放送映像の場合、通常、図６に示すようなピッチャーが投球を開始するシーンは毎回同じセンター方向からピッチャーの背中を写した構図の映像が利用される。

ピッチャー等の動きパターンは、画像平面内で毎回同様のパターンをとることから、例えば、下記文献で提案される「動き履歴画像（Ｍｏｔｉｏｎ−Ｈｉｓｔｏｒｙ Ｉｍａｇｅ：ＭＨＩ」を作成し、ＭＨＩ同士のマッチング処理を実施する処理において、マッチング用の例示動きパターンとして、センター方向からのカメラアングルでピッチャー等が投球するシーンの動きパターンを与え、野球中継の入力映像中から同様の動きパターンを持つタイミングを検索することが可能である。

文献「テンポラルテンプレートを用いた動画解析手法、申照卓、渡辺俊典、菅原研 著、電子情報通信学会、パターン認識メディア理解研究会２００２−１１１，ｐｐ．５３−５８」
ピッチャー等の投球開始シーンは、ダイジェスト映像区間の開始内容として有用であることから、前記のように、あるシーンが終了し、その後、作業者が音声入力したタイミングから時間的に遡って、一番近いピッチャー等の投球開始タイミングはダイジェストシーンの開始時間として直接利用することが可能である。

すなわち、作業者としては、シーン内容を発話するだけで、ダイジェストシーン情報が作成できることとなる。これにより、野球中継のライブ放送のダイジェストシーン情報を速報としてリアルタイムにインターネットなどで配信するサービス向けに作成する場合でも、作業者がシーン内容について発話した後すぐにダイジェストシーン情報が作成できるため、放送内容からの遅延が従来技術よりも少なく済み、速報サービスとしてのサービス品質の高い情報を作成することが可能となる。また、作業者は、単に映像内容を見ながら、発話するだけの作業で済むため、作業者の疲労感についても従来技術より格段に軽減することが可能となる。

以上のことから、本発明は、野球中継などのライブ映像に対してリアルタイムにダイジェストシーンの情報を作成する作業において、作業の時間がかかることや作業者の疲労が多くなるという従来技術の問題点を解決することが可能となる。

以上のとおり、本発明によれば、映像に対してダイジェストシーンの情報を作成する作業において、作業者は単に映像の内容を見ながら、ダイジェストシーンの終了時間として相応しいタイミングでシーン内容を説明するコメントを発話するだけで、あとは、自動的にシーンの開始時間、説明文を定義することが可能である。

すなわち、本発明によれば、従来技術よりも作業の時間を短く実現できることからライブ番組のシーン情報の速報サービス等を実施する場合も従来技術よりも高いサービス品質で提供できたり、且つ、本発明によれば、シーン情報を作成する際、作業者は映像編集ツールやキーボードのタイピングの必要がほとんどないことから、従来技術よりも作業者の疲労度を軽減させることが可能となるという効果をもたらす。

以下、本発明の実施形態について、図面を参照しながら説明する。

図１は本発明の請求項１等に記載のダイジェストシーン情報の入力装置の具体的な装置構成の一例を示したものである。

図１中の映像データ読み込み部１は、映像データを読み込むものであり、具体的には、ＶＴＲ機器の出力映像信号を読み込む映像キャプチャボードを備えてコンピュータで取り込み、映像をディジタル化し、メモリ領域、あるいはハードディスクに書き込むことで実現される。

図１中のシーン仮開始時間定義部２は、映像中から予め決められた映像認識、音声認識、自然言語処理を利用した方法を用いて、映像中のダイジェストシーンの仮の開始時間を定義するものであり、コンピュータ上のソフトウェアにより実現可能である。予め決められた方法の具体例としては、前述の文献「テンポラルテンプレートを用いた動画解析手法」を利用可能である。

この文献による方法を利用したシーン仮開始時間の定義方法の具体例を説明する。野球中継の放送映像の場合、通常、前述のとおり、図６に示すようなピッチャーが投球を開始するシーンは毎回同じセンター方向からピッチャーの背中を写した構図の映像が利用される。ピッチャーの動きパターンは画像平面内で毎回同様のパターンをとることから、前述の文献「テンポラルテンプレートを用いた動画解析手法」を用いると、動きパターンとして、センター方向からのカメラアングルでピッチャーが投球するシーンの動きパターンを与え、野球中継の入力映像中から同様の動きパターンを持つタイミングを検索することが可能となる。また、ピッチャーの投球開始シーンはダイジェスト映像区間の開始内容として、一般に、スポーツニュース番組でのプロ野球の試合ダイジェスト映像の開始のシーンとしてもよく使われる。

以上のことから、シーン仮開始時間定義部２は、ダイジェストシーンの開始シーンとして相応しいピッチャーの投球開始シーンの時間情報を自動的に取得することが可能である。

図１中の音声認識部３は、外部音声が入力されたときに、その入力音声を音声認識し、音声認識結果のテキストと音声が入力されたタイミングをセットで記憶するものであり、コンピュータ上のソフトウェアにより実現可能である。具体例としては、マイクとコンピュータをＵＳＢ接続等で接続し、マイクに向かって人間が発話したときに、発話された音声データが入力されたタイミングをコンピュータが検出し、このタイミングをメモリ上に記憶するなどしておき、併せて、発話内容を日本電信電話株式会社で開発された「Ｖｉｏｃｅ Ｒｅｘ」等の既存の音声認識方法で認識し、テキスト化することで実現可能である。野球映像の場合、ダイジェストシーンの説明文用の音声認識結果としては、例えば、「２回表、高橋の第一打席はレフトスタンドに入る第２１号ソロホームラン。得点２対０。」というような内容が考えられる。

図１中のシーン終了時間定義部４は、前記音声認識部３において、外部音声が入力されたタイミングを前記映像中のダイジェストシーンの終了時間として定義するものであり、コンピュータ上のソフトウェアにより実現可能である。具体例としては、マイクとコンピュータをＵＳＢ接続等で接続し、マイクに向かって人間が発話したときに、発話された音声データが入力されたタイミングをコンピュータが検出し、このタイミングをメモリ上に記憶するなどしておき、この時間をダイジェストシーンの終了時間として定義することで実現される。

図１中のシーン開始時間定義部５は、前記シーン仮開始時間定義部２で定義された仮の開始時間または前記シーン終了時間定義部４で定義したダイジェストシーンの終了時間、もしくは該仮の開始時間と該終了時間を基に、前記映像中のダイジェストシーンの開始時間を定義する。この定義例としては、仮の開始時間をそのままダイジェストシーンの開始時間とすること、または前記シーン終了時間定義部４で定義したダイジェストシーンの終了時間から一定時間（シーン別に予め予測される時間）遡ったタイミングを開始時間とすること、または前記シーン終了時間定義部４で定義されたダイジェストシーンの終了時間から予め決められた時間範囲だけ遡った範囲内に前記シーン仮開始時間定義部２で定義されたダイジェストシーンの仮の開始時間が含まれる場合、該仮の開始時間を前記映像中のダイジェストシーンの開始時間として定義し、そうでない場合は、前記予め決められた時間範囲だけ遡ったタイミングを前記映像中のダイジェストシーンの開始時間として定義することとするものであり、コンピュータ上のソフトウェアにより実現可能である。

図２に本定義部５の処理内容のイメージ図を示す。野球中継映像の中の得点シーンをダイジェストシーンとして定義する場合の作業イメージ図である。図中の（Ｂ）のタイミングでランナーがホームインして、ダイジェストの終了時間として相応しいタイミングを作業者が判断し、そのタイミングで例えば、「２回表、高橋の第一打席はレフトスタンドに入る第２１号ソロホームラン。得点２対０。」と発話する。すると、（Ｂ）のタイミングがダイジェストシーンの終了時間として定義される。（Ｂ）から一定時間、例えば３０秒など、遡った時間範囲において、前述のシーン仮開始時間が存在すれば、そこをダイジェストシーンの開始時間として定義する。野球の場合のシーン仮開始時間としては、前述のとおり、ピッチャーの投球開始シーンのタイミング（Ａ）が自動取得でき、有効活用できる。

また、図２のように、（Ｂ）のタイミングから一定時間遡った範囲でのピッチャーの投球開始シーンのタイミング（Ａ）がダイジェストシーンの開始時間として定義できる。また、もしも、（Ｂ）のタイミングから一定時間遡った範囲でピッチャーの投球開始シーンのタイミングの自動取得に失敗した場合も考えられることから、（Ａ）がなくても、該一定時間遡ったタイミングを開始時間とすることで、シーン仮開始時間定義部５の処理失敗を補うことができる。

図１中のシーン説明文定義部６は、前記音声認識部３で得られた音声認識結果のテキスト情報を前記映像中のダイジェストシーンの内容を説明するテキスト情報として定義するものであり、コンピュータ上のソフトウェアで実現可能である。前記の音声認識部３で得られた文字認識結果をダイジェストシーンの説明文として定義することで実現可能である。例えば、「２回表、高橋の第一打席はレフトスタンドに入る第２１号ソロホームラン。得点２対０。」といったテキストが音声認識結果、ならびにシーン説明文として定義される。

図１中のシーン情報出力部７は、前記シーン開始時間定義部５で定義されたダイジェストシーンの開始時間、前記シーン終了時間定義部４で定義されたダイジェストシーンの終了時間、及び前記シーン説明文定義部６で定義されたシーン説明文を併せてダイジェストシーン情報として出力するものであり、コンピュータ上のソフトウェアで実現可能である。例えば、図２に示した例でいうと、タイミング（Ａ）がダイジェストシーンの開始時間、タイミング（Ｂ）がダイジェストシーンの終了時間、そして、「２回表、高橋の第一打席はレフトスタンドに入る第２１号ソロホームラン。得点２対０。」という音声認識結果のテキストがダイジェストシーンのシーン説明文としてなり、これらがシーン情報として出力される。

図３は図２に示したダイジェストシーン情報の入力処理フロー図を示したものである。図３中のステップＳ１は作業者の音声入力、音声認識を実施するステップであり、図２における、ホームインしたタイミング（Ｂ）にて作業者が「２回表、高橋の第一打席はレフトスタンドに入る第２１号ソロホームラン。得点２対０。」とマイクに向かって発話し、その内容を音声認識し、認識結果のテキストデータを得ることで実現可能である。続いてステップＳ２に進む。

図３中のステップＳ２は、シーン終了時間を決定するステップであり、ステップＳ１で音声入力されたタイミングをダイジェストシーンのシーン終了時間として決定するステップであり、次にステップＳ３に進む。

図３中のステップＳ３は、シーンの開始時間を決定するステップであり、例えば、ダイジェストシーンの終了時間から一定時間遡った時間範囲内に存在する前記のシーン仮開始時間（図２の場合はタイミング（Ａ））をダイジェストシーンの開始時間として決定し、次にステップＳ４に進む。

図３中のステップＳ４は、シーンの説明文を決定するステップであり、ステップＳ１で得られた音声認識結果のテキストデータをダイジェストシーンのシーン説明文として定義し、ステップＳ５に進む。

図３中のステップＳ５は、シーン情報を出力するステップであり、ステップＳ２，Ｓ３，Ｓ４で得られたシーン開始時間、終了時間、説明文をシーン情報として出力する。

以上のフローにより、ダイジェストシーンの開始時間、終了時間、説明文を作成することが可能となる。

本発明の実施形態である図３のフローによれば、ダイジェストシーン情報を作成する作業者は、得点シーンなど、ダイジェストとして作成したいシーンが終了し、その後、シーン内容を説明するコメントを音声入力し、入力したタイミングをダイジェストシーンの終了時間として定義し、また、例としてダイジェストシーンの終了時間から時間的に遡って、一番近いシーン仮開始時間をダイジェストシーンの開始時間として利用可能であり、従来技術のように、手作業によるシーン開始時間、終了時間の微調整も必要なく利用することが可能であり、作業者の疲労感も従来技術よりも少なくて済む。

また、作業自体が極めて短時間で済むことから、ライブ放送向けのダイジェスト情報配信サービスにおいても情報の速報性というサービス品質も従来技術より高い水準をもって提供することが可能となり、従来技術の問題点を解決することが可能である。

なお、本発明は、図３に示した方法の一部又は全部の処理機能をコンピュータで実行可能にしたプログラムとすることができる。また、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。

本発明の実施形態を示すダイジェストシーン情報の入力装置の構成図。 実施形態におけるシーン情報入力作業のイメージ図。 実施形態におけるダイジェストシーン情報の入力処理フロー図。 従来技術によるシーン情報の作成作業フローを説明する図。 従来技術における人手作業によるシーン情報の修正、編集作業のイメージ図。 ピッチャーが投球開始するシーンの例を示す図。

符号の説明

１ 映像データ読み込み部
２ シーン仮開始時間定義部
３ 音声認識部
４ シーン終了時間定義部
５ シーン開始時間定義部
６ シーン説明文定義部
７ シーン情報出力部

Claims (6)

1. 映像データを読み込む映像データ読み込み部と、
   前記映像データ読み込み部が読み込んだ映像中から、予め決められた映像認識、音声認識、自然言語処理によって、該映像中のダイジェストシーンの仮の開始時間を定義するシーン仮開始時間定義部と、
   外部入力された音声を音声認識し、この音声認識結果のテキストと音声が入力されたタイミングをセットで記憶する音声認識部と、
   前記音声認識部における外部音声が入力されたタイミングを前記映像中のダイジェストシーンの終了時間として定義するシーン終了時間定義部と、
   前記シーン仮開始時間定義部で定義された仮の開始時間、または前記シーン終了時間定義部で定義したダイジェストシーンの終了時間、もしくは該仮の開始時間と該終了時間を基に、前記映像中のダイジェストシーンの開始時間を定義するシーン開始時間定義部と、
   前記音声認識部で得られた音声認識結果のテキスト情報を前記映像中のダイジェストシーンの内容を説明するテキスト情報として定義するシーン説明文定義部と、
   前記シーン開始時間定義部で定義されたダイジェストシーンの開始時間、前記シーン終了時間定義部で定義されたダイジェストシーンの終了時間、及び前記シーン説明文定義部で定義されたシーン説明文を併せてダイジェストシーン情報として出力するシーン情報出力部と、
   を備えたことを特徴とするダイジェストシーン情報の入力装置。
2. 前記シーン開始時間定義部は、
   前記シーン仮開始時間定義部で定義された仮の開始時間をダイジェストシーンの開始時間として定義すること、
   または、前記シーン終了時間定義部で定義したダイジェストシーンの終了時間から一定時間遡ったタイミングを開始時間として定義すること、
   または、前記シーン終了時間定義部で定義されたダイジェストシーンの終了時間から予め決められた時間範囲だけ遡った範囲内に前記シーン仮開始時間定義部で定義されたダイジェストシーンの仮の開始時間が含まれる場合は該仮の開始時間を前記映像中のダイジェストシーンの開始時間として定義し、前記仮の開始時間が含まれない場合は前記予め決められた時間範囲だけ遡ったタイミングを前記映像中のダイジェストシーンの開始時間として定義すること、
   を特徴とする請求項１に記載のダイジェストシーン情報の入力装置。
3. 映像データを読み込む映像データ読み込みステップと、
   前記映像データ読み込みステップが読み込んだ映像中から、予め決められた映像認識、音声認識、自然言語処理によって、該映像中のダイジェストシーンの仮の開始時間を定義するシーン仮開始時間定義ステップと、
   外部入力された音声を音声認識し、この音声認識結果のテキストと音声が入力されたタイミングをセットで記憶する音声認識ステップと、
   前記音声認識ステップにおける外部音声が入力されたタイミングを前記映像中のダイジェストシーンの終了時間として定義するシーン終了時間定義ステップと、
   前記シーン仮開始時間定義ステップで定義された仮の開始時間、または前記シーン終了時間定義ステップで定義したダイジェストシーンの終了時間、もしくは該仮の開始時間と該終了時間を基に、前記映像中のダイジェストシーンの開始時間を定義するシーン開始時間定義ステップと、
   前記音声認識ステップで得られた音声認識結果のテキスト情報を前記映像中のダイジェストシーンの内容を説明するテキスト情報として定義するシーン説明文定義ステップと、
   前記シーン開始時間定義ステップで定義されたダイジェストシーンの開始時間、前記シーン終了時間定義部で定義されたダイジェストシーンの終了時間、及び前記シーン説明文定義部で定義されたシーン説明文を併せてダイジェストシーン情報として出力するシーン情報出力ステップと、
   を有することを特徴とするダイジェストシーン情報の入力方法。
4. 前記シーン開始時間定義ステップは、
   前記シーン仮開始時間定義ステップで定義された仮の開始時間をダイジェストシーンの開始時間として定義すること、
   または、前記シーン終了時間定義ステップで定義したダイジェストシーンの終了時間から一定時間遡ったタイミングを開始時間として定義すること、
   または、前記シーン終了時間定義ステップで定義されたダイジェストシーンの終了時間から予め決められた時間範囲だけ遡った範囲内に前記シーン仮開始時間定義ステップで定義されたダイジェストシーンの仮の開始時間が含まれる場合は該仮の開始時間を前記映像中のダイジェストシーンの開始時間として定義し、前記仮の開始時間が含まれない場合は前記予め決められた時間範囲だけ遡ったタイミングを前記映像中のダイジェストシーンの開始時間として定義すること、
   を特徴とする請求項３に記載のダイジェストシーン情報の入力方法。
5. 請求項３または４に記載のダイジェストシーン情報の入力方法における各ステップをコンピュータで実行可能にしたことを特徴とするプログラム。
6. 請求項３または４に記載のダイジェストシーン情報の入力方法における各ステップをコンピュータで実行可能にしたプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。