JP2005341138A - 映像要約方法及びプログラム及びそのプログラムを格納した記憶媒体 - Google Patents

Abstract

【課題】 視聴者の発声の遅延時間の大小によらず正しく重要シーンの抽出が可能で、視聴者の否定的な発言に伴う重要シーンの誤抽出の少ない映像要約を作成する。
【解決手段】 本発明は、視聴者が発声した発声区間を検出し、発声区間に含まれる音声をディクテーションして、該発声区間の開始時刻から一定時間だけ遡った時点から記憶手段から映像に含まれるナレーションの文字列、テロップの文字列、セリフの文字列を抽出し、文字列とディクテーションの結果の照合し、照合した照合文字列が検出された場合に、テロップの文字列または、セリフ、または、ナレーションの存在するシーンを重要シーンと判別し、重要シーンに対応するシーン開始時刻、シーン終了時刻を出力する。
【選択図】 図１

Description

本発明は、映像要約方法及びプログラム及びそのプログラムを格納した記憶媒体に係り、特に、映画やドラマなどの比較的長時間の映像データの内容を要約するための映像要約方法及びプログラム及びそのプログラムを格納した記憶媒体に関する。

映画やドラマなど、比較的長時間の映像を短時間で視聴するための映像要約方法が提案されている。その中の方法に、プレイリストを用いたものがある。これは、図１２のように、映像中の複数の重要なシーンだけを部分映像として指定して、再生時にそれらの重要なシーンを続けて再生するというものである。後述する図４のようにそれぞれの重要シーン６０１は、開始時刻６０２と終了時刻６０３によって指定される。一般的に重要なシーンは映像全体と比べて短いので、プレイリストを用いると映像の重要なシーンだけを短時間で視聴することができる。

このようなプレイリストを簡単に作成するために、映像視聴中に押しボタンを押して、その時刻におけるシーンを重要シーンとして登録することによって生成する方法がある（例えば、特許文献１参照）。

しかし、視聴者が映像視聴中に押しボタンを押したり、発声をしたりするのは、視聴者が興味を持った場面から時間的に遅れるので、押しボタンを押したり発声したりした時刻の映像を重要シーンとしたのでは、視聴者が興味を持った場面の後のシーンが重要シーンとして誤って抽出されてしまう。

このような不具合を解消するために、従来は、押しボタンを押した時点から、人間の平均的な反応時間を考慮して、一定時間だけ遡った時点におけるシーンを重要シーンとして抽出する方法が提案されている（例えば、特許文献１参照）。
特開２００１−５７６６０号公報

上記の従来の方法では、視聴者が押しボタン操作や発声を行なった時点から一定時間だけ遡った時点の映像を重要シーンとするが、人間の反応時間にはばらつきがあるので、全ての重要シーンについて正しく重要シーンの時刻を特定することができない。例えば、ある映像シーンに対して視聴者が比較的長い時間をかけて考えた後に、押しボタン操作や発声を行なうことが考えられ、また、ある映像シーンに対しては、重要なシーンを見たらすぐに押しボタン操作や発声を行なうことも考えられる。このような場合、前述の手法のように押しボタン・発声の時点から一定時間遡って重要シーンを特定しても、正しく重要シーンを特定することができない。

また、前述の方法では、視聴者が押しボタン操作や発声を行なった全ての映像シーンを重要シーンとして抽出するが、視聴者によっては誤って押しボタンを押したり、興味のないシーンで不平不満等の否定的な発言をする場合も考えられるが、そのような場合でも重要シーンとして誤って抽出されてしまう。

本発明は、上記の点に鑑みなされたもので、視聴者の発声の遅延時間の大小によらず正しく重要シーンの抽出が可能で、視聴者の否定的な発言に伴う重要シーンの誤抽出の少ない映像要約を作成するための映像要約方法及びプログラム及びそのプログラムを格納した記憶媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明は、映像データの内容を要約する映像要約方法において、
映像視聴中の視聴者が発声した音声が記憶された音声記憶手段から、該視聴者が発声した発声区間を検出する発声区間検出ステップと（ステップ１）、
検出された発声区間に含まれる音声を音声認識（ディクテーション）して、発声区間の開始時刻から一定時間だけ遡った時点から、映像付加情報記憶手段から映像に含まれるナレーションの文字列、テロップの文字列、セリフの文字列を抽出する文字列抽出ステップと（ステップ２）、
文字列とディクテーションの結果の照合を行う照合ステップと（ステップ３）、
照合した照合文字列が検出された場合に、テロップの文字列または、セリフ、または、ナレーションの存在するシーンを、重要シーンと判別する重要シーン判断ステップと（ステップ４）、
重要シーンに対応するシーン開始時刻、シーン終了時刻を映像付加情報記憶手段から取得して、重要シーン情報記憶手段に出力する重要シーン出力ステップと（ステップ５）からなる。

これにより、視聴者は、映像を視聴している最中に、映像に興味を持って映像の内容に共感を覚えると、発声したり、テロップの文字列を読み上げることが多いが、その場合に、興味を持ったシーンを特定することが可能となる。

ここで、従来技術とは、視聴者の発声の遅延時間を考慮して、発声の開始時刻から一定時間だけ遡った時点におけるシーンを重要シーンとする方法を採用していたが、発声の遅延時間のばらつきが大きく、重要シーンの誤抽出が避けられなかったという問題を解決している。

また、本発明（請求項２）は、文字列抽出ステップにおいて、映像視聴中の視聴者が発声した音声をディクテーションした文字列が、否定的発言辞書記憶手段の映像に対して否定的な文字列と一致する場合には、重要シーン出力ステップを行なわない。

これにより、「つまらない」、「面白くない」といった映像に対する否定的な発言による重要シーンの誤抽出を抑止することができる。ここで、従来の手法では、発声の内容が肯定的なものでも否定的なものでも同様に重要シーン抽出を行なう方法を採用していたため、視聴者は否定的な発声をしないように意識する必要があったが、本発明によれば、視聴者は映像視聴中に否定的な語を発声しても重要シーンの抽出処理に支障をきたさないので、より自然に映像を視聴することが可能となる。

本発明は、映像データの内容を要約する映像要約プログラムであって、上記の請求項１または２記載の映像要約方法の実現に用いられる処理をコンピュータに実行させるプログラムである。

本発明は、映像データの内容を要約する映像要約プログラムを格納した記憶媒体であって、上記の請求項１または２記載の映像要約方法の実現に用いられる処理をコンピュータに実行させるプログラムを格納した記憶媒体である。

本発明によれば、視聴者の発声の遅延時間の大小によらずに正しく重要シーンの抽出が可能となる。

また、視聴者の否定的な発言に伴う重要シーンの誤抽出の少ない要約が可能となる。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
本実施の形態では、視聴者の発声の遅延時間の大小によらずに正しく重要シーンの抽出する方法について説明する。

図２は、本発明の第１の実施の形態におけるシステム構成を示す。

同図に示すシステムは、モニタ５０１、マイク５０２、映像ファイル５０３、映像付加情報ファイル５０４、重要シーン情報ファイル５０５、計算機５０６及び音声ファイル５０７から構成される。

モニタ５０１は、計算機５０６から送られる映像信号に基づいて映像ファイル５０３に記録されている映像を映し出す。

マイク５０２は、視聴者が映像を視聴している最終に発声する音声を取得し、音声信号として計算機５０６によって音声ファイル５０７に記録される。

映像ファイル５０３は、映像要約の対象の映像ファイルである。計算機５０６によって読込まれ、再生処理等に用いられる。

映像付加情報ファイル５０４は、図３のように、映像に含まれるナレーション文字列や、テロップの文字列や、セリフの文字列の情報を有する。それぞれの付加情報には、当該情報が発生する映像中の開始時刻３０１と終了時刻３０２、情報の内容３０３、情報の種別３０４が含まれる。

重要シーン情報ファイル５０５は、映像中の重要シーンに関する情報が含まれているファイルである。要約作成完了時に計算機５０６によって書き込まれる。

音声ファイル５０７は、マイク５０２によって取得した視聴者の発声を記録したファイルである。

次に、重要シーン情報ファイル５０５について説明する。

重要シーン情報ファイル５０５は、図４に示すように、複数の重要シーンの、重要シーン番号６０１と、シーン開始時刻６０２と、シーン終了時刻６０３の情報を有する。映像について、ユーザが重要だと考える複数のシーンがあるとする。それらのシーンを、計算機５０６から出力される時間順に重要シーン番号６０１として、「重要シーン１」、「重要シーン２」、「重要シーン３」などとする。この重要シーン情報ファイル５０５を出力することによって、映像の要約出力とする。

次に、計算機５０６の処理内容について詳細に説明する。

図５は、本発明の第１の実施の形態における視聴者発声区間抽出処理のフローチャートである。

ステップ１０１） 視聴者発声抽出処理を行う。図６のようにマイク５０２から入力された視聴者の発声を記録した音声ファイル５０７から、音声パワーを計算し、当該パワーが一定閾値以上を一定時間を越えて継続的にとる区間を抽出し、発声区間とする。また、視聴者が重要だと思う場面で、押しボタンを押しながら発声し、当該押しボタンの押下時間を発声区間としてもよい。

ステップ１０２） 図６のように、ステップ１０１で抽出した発声区間に対して、音声認識処理（ディクテーション）を行い、視聴者の発声した文字列を得る。

ステップ１０３） 視聴者の発声区間に基づいて、映像付加情報の照合区間の指定を行う。視聴者が映像に興味を持ってから、発声を行なうための遅延時間の最大値をｄ_ｍａｘ、発声の開始時刻をｔ_ｓ、発声の終了時刻をｔ_ｅとした場合、照合区間を［ｔ_ｓ−ｄ_ｍａｘ，ｔ_ｅ］とする。ここで、ｄ_ｍａｘは、一般的には３０秒程度に設定する。これにより、視聴者が発声した後の映像や、視聴者の記憶が持続すると考えにくいような発声した数分前のような時刻の映像を照合処理の対象外とすることができる。

ステップ１０４） 映像付加情報の文字列抽出を行なう。図３に示す映像付加情報ファイル５０４からステップ１０３で指定した照合区間内に含まれる内容３０３を抽出する。

ステップ１０５） ステップ１０４で抽出した映像付加情報と、ステップ１０２で得られた視聴者の発声内容の照合を行う。映像付加情報ファイル５０４の映像付加情報で、時刻が遅いものから順に、発声内容（文字列）の照合を行う。照合の方式は、完全一致で行なう。また、部分一致方式で行なってもよい。また、映像付加情報の文字列と発声内容の形態素解析を行い、その結果の文字列群との間で照合処理を行ってもよい。

視聴者は、映像を視聴している最中に、映像に興味を持って映像の内容に共感を覚えると、映像中の人物が発声したり、テロップの文字列を読み上げることが多いが、前述の照合処理によって照合が確認された場合、視聴者が発声したのは、照合対象の映像付加情報の含まれるシーンに興味を持って発声したことであると推定することができるので、興味を持ったシーンを正しく特定することができる。

ステップ１０６） ステップ１０５における照合文字列の有無の判定を行なう。照合できた文字列（完全一致または、部分一致した文字列）がある場合は、ステップ１０７に移行する。照合文字列がない場合は、ステップ１０８に移行する。

ステップ１０７） 図７に示すように、ステップ１０５で視聴者による発声の文字列との照合がとられた映像付加情報ファイル５０４の開始時刻、終了時刻を、重要シーン番号を付与して重要シーン情報ファイル５０５に追加する。このとき、計算機５０６は、重要シーン情報ファイル５０５の最終レコードの重要シーン番号を取得してインクリメントした値を重要シーン番号とする方法が考えられる。

ステップ１０８） 図８に示すように（発声開始時刻−ｄ）の時点が存在するシーンに対応する映像付加情報ファイル５０４の開始時刻、終了時刻を重要シーン情報ファイル５０５の重要シーンに追加する。ここで、ｄの値は、視聴者が映像に興味を持ってから、何らかの発声を行なうまでの、平均的な遅延時間を表す。通常、ｄ値は、２秒程度に設定する。

ステップ１０９） 最後の発声かどうかを判定する。最後の発声である場合は処理を終了する。最後の発声でない場合は、ステップ１０３に移行し、次の発声について同様の処理を行う。

［第２の実施の形態］
本実施の形態では、視聴者の否定的な発言に伴う重要シーンの誤抽出の少ない要約を出力する方法について説明する。

図９は、本発明の第２の実施の形態におけるシステム構成を示す。

同図において、図２と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態では、否定的発言辞書ファイル５０８が図２の構成に付加されたシステムである。

否定的発言辞書ファイル５０８は、視聴者が映像を視聴中に、映像に対して否定的な感情を抱いた時などに発声する「つまらない」、「面白くない」等の言葉の文字列を含み、計算機５０６によって読み込まれ、後述の処理に用いられる。

図１０を参照して、図９の計算機５０６の処理内容について詳細に説明する。図１０において図５の動作と同様のステップについては同一ステップ番号を付与し、その説明を省略する。

ステップ１０１からステップ１０２は、第１の実施の形態と同様である。

ステップ２０１） 否定的辞書ファイル５０７から否定的な発言の文字列を読み込む。否定的な発言とは、「つまらない」や「面白くない」など、視聴者が映像視聴中に、映像に対して否定的な感情を抱いた時に発する言葉であり、この辞書ファイル５０７は予め用意されているものとする。

ステップ２０２） ステップ２０１で得られた否定的な発言の文字列と、視聴者の発声内容の照合を行う。照合の方式は、完全一致で行なう。また、部分一致方式で行なってもよい。また、映像付加情報の文字列と発声内容に形態素解析を行い、その結果の文字列群との間で照合処理を行ってもよい。

ステップ２０３） 否定的な語かどうかの判定を行なう。否定的な語であった場合は、ステップ２０１へ移行し、次の発声について同様に処理を行う。否定的な語でなかった場合は、ステップ１０３に移行する。

これにより、図１１のように、視聴者が否定的発言辞書ファイル５０７に含まれる否定的な発言をした場合、当該発言に対しては、重要シーンの追加処理（ステップ１０７，１０８）が行なわれず、これにより、視聴者の否定的な発言に伴う重要シーンの誤抽出の少ない要約が可能となる。

ステップ１０３〜１０９は、第１の実施の形態と同様である。

また、上記の第１の実施の形態における図５及び、第２の実施の形態における図１０のフローチャートの動作をプログラムとして構築し、映像要約装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段に実行させる、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムを映像要約装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納することも可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像情報のライブラリ化、動画編集を行なう際の映像要約技術に適用可能である。

本発明の原理を説明するための図である。 本発明の第１の実施の形態におけるシステム構成図である。 本発明の第１の実施の形態における映像付加情報ファイルの例である。 本発明の第１の実施の形態における重要シーン情報ファイルの例である。 本発明の第１の実施の形態における一連の動作のフローチャートである。 本発明の第１の実施の形態における音声認識を説明するための図である。 本発明の第１の実施の形態における付加情報の開始時刻が存在するシーンを重要シーンに追加する例である。 本発明の第１の実施の形態における発声開始時刻−ｄの時点が存在するシーンを重要シーンに追加する例である。 本発明の第２の実施の形態におけるシステム構成図である。 本発明の第２の実施の形態における一連の動作のフローチャートである。 本発明の第２の実施の形態における否定的発言があった場合の重要シーン追加処理の例である。 映像中の重要シーンの再生を示す図である。

符号の説明

３０１ 開始時刻
３０２ 終了時刻
３０３ 内容
３０４ 種別
５０１ モニタ
５０２ マイク
５０３ 映像ファイル
５０４ 映像付加情報ファイル
５０５ 重要シーン情報ファイル
５０６ 計算機
５０７ 音声ファイル
５０８ 否定的発言辞書ファイル
６０１ 重要シーン番号
６０２ 開始時刻
６０３ 終了時刻

Claims (4)

1. 映像データの内容を要約する映像要約方法において、
   映像視聴中の視聴者が発声した音声が記憶された音声記憶手段から、該視聴者が発声した発声区間を検出する発声区間検出ステップと、
   前記発声区間に含まれる音声を音声認識（ディクテーション）して、該発声区間の開始時刻から一定時間だけ遡った時点から、映像付加情報記憶手段から映像に含まれるナレーションの文字列、テロップの文字列、セリフの文字列を抽出する文字列抽出ステップと、
   前記文字列と前記ディクテーションの結果の照合を行う照合ステップと、
   照合した照合文字列が検出された場合に、テロップの文字列または、セリフ、または、ナレーションの存在するシーンを、重要シーンと判別する重要シーン判断ステップと、
   前記重要シーンに対応するシーン開始時刻、シーン終了時刻を前記映像付加情報記憶手段から取得して、重要シーン情報記憶手段に出力する重要シーン出力ステップと、
   からなることを特徴とする映像要約方法。
2. 前記文字列抽出ステップにおいて、映像視聴中の視聴者が発声した音声をディクテーションした文字列が、否定的発言辞書記憶手段の映像に対して否定的な文字列と一致する場合には、前記重要シーン出力ステップを行なわない請求項１記載の映像要約方法。
3. 映像データの内容を要約する映像要約プログラムであって、
   前記請求項１または２記載の映像要約方法の実現に用いられる処理をコンピュータに実行させることを特徴とする映像要約プログラム。
4. 映像データの内容を要約する映像要約プログラムを格納した記憶媒体であって、
   前記請求項１または２記載の映像要約方法の実現に用いられる処理をコンピュータに実行させることを特徴とする映像要約プログラムを格納した記憶媒体。

Images