JP2002149672A

JP2002149672A - Ａｖコンテンツ自動要約システム及びａｖコンテンツ自動要約方式

Info

Publication number: JP2002149672A
Application number: JP2000339805A
Authority: JP
Inventors: Minoru Kuroiwa; 実黒岩
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-11-08
Filing date: 2000-11-08
Publication date: 2002-05-24
Anticipated expiration: 2020-11-08
Also published as: JP3642019B2

Abstract

(57)【要約】【課題】より内容を把握しやすいＡＶ要約を生成可能
なＡＶコンテンツ自動要約システムを提供する。【解決手段】ＡＶデータ入力手段１は放送電波を受信
し、その信号に含まれる映像情報と音声情報とを抽出す
る。概要説明シーン検出手段２は抽出された映像情報と
音声情報とを解析して概要説明シーンを検出する。映像
要約手段３は抽出された映像情報と概要説明シーン検出
手段２が検出した概要説明シーンのフレーム区間の映像
情報とを参照し、概要説明シーンに続く現場シーンや解
説シーン等の詳細シーンの要約映像を生成する。音声抽
出手段４は抽出された音声情報から概要説明シーン検出
手段２が検出した概要説明シーンのフレーム区間の音声
情報を抜き出す。ＡＶ要約出力手段５は映像要約手段３
が記録した要約映像と、音声抽出手段４が記録した概要
説明音声とを同期させて合成して出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＡＶコンテンツ自動
要約システム及びＡＶコンテンツ自動要約方式に関し、
特にＡＶ（ＡｕｄｉｏＶｉｓｕａｌ）コンテンツの要
約を生成する方法に関する。

【０００２】

【従来の技術】従来、ＡＶコンテンツの自動要約システ
ムとしては、映像フレームの中から複数の代表画像を選
択し、それらを順次表示したり、縮小画像の一覧で表示
するものがある。

【０００３】この場合、上記の自動要約システムでは映
像フレームから一定周期で取出した映像や、映像の特徴
量の変化点を自動検出してその変化点直後の映像を代表
画像として選択している。

【０００４】また、ＡＶコンテンツの自動要約の別の方
式として、映像や音声の特徴量の変化点付近の映像と音
声とを同時に再生するシステムがある。このシステムに
ついては、特開平１１−８８８０７号公報に開示されて
いる。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来のＡＶコンテンツの自動要約システムでは、映像
のみを利用しているため、音声による情報が欠落し、ま
た代表映像が必ずしもＡＶコンテンツの概要を的確に表
しているものではないことが多いので、ＡＶコンテンツ
の概要をうまく把握することが困難であるという問題が
ある。

【０００６】上記の公報記載のシステムでは、ＡＶコン
テンツに含まれるひとつの話題に、現場の様子や解説者
の話、テロップによる説明等の数多くのシーンが含まれ
ているため、それらを音声付きの映像で再生する場合
に、音声が自然に聞けるようにひとつのシーン毎の再生
時間を数秒以上再生する必要があり、かつそれら多くの
シーンの全てが対応する話題の概要を的確に表現するも
のでない。

【０００７】また、ＡＶコンテンツの内容を端的に表現
する映像と、ＡＶコンテンツの内容を端的に表現する音
声とが別のシーンに存在することが多いため、ＡＶコン
テンツの一部分を再生する方式で、それらの映像と音声
との両方を再生しようとすると必然的に時間が長くな
る。したがって、上記の公報記載のシステムには、ＡＶ
コンテンツの概要をうまく把握するのに、ある程度長い
ＡＶ要約を生成する必要があるという問題がある。

【０００８】そこで、本発明の目的は上記の問題点を解
消し、より内容を把握しやすいＡＶ要約を生成すること
ができるＡＶコンテンツ自動要約システム及びＡＶコン
テンツ自動要約方式を提供することにある。

【０００９】

【課題を解決するための手段】本発明によるＡＶコンテ
ンツ自動要約システムは、少なくとも映像及び音声を含
むＡＶ（ＡｕｄｉｏＶｉｓｕａｌ）コンテンツからそ
れらの映像及び音声の中の代表的な部分を選択して表示
するＡＶコンテンツ自動要約システムであって、前記Ａ
Ｖコンテンツの中から前記代表的な部分の映像及び音声
を別々に取出す手段と、それらの映像及び音声を合成し
て出力する手段とを備えている。

【００１０】本発明による他のＡＶコンテンツ自動要約
システムは、少なくとも報道番組でアナウンサが次のニ
ュースの概要を説明するシーンを示す概要説明シーンを
検出する検出手段と、前記検出手段で検出された概要説
明シーンに続く詳細シーンの要約映像を生成する生成手
段と、前記検出手段で検出された概要説明シーンの音声
のみを抽出する抽出手段と、前記生成手段で要約映像と
前記抽出手段で抽出された概要説明音声とを合成して出
力する出力手段とを備えている。

【００１１】本発明による別のＡＶコンテンツ自動要約
システムは、少なくとも報道番組でアナウンサが次のニ
ュースの概要を説明するシーンを示す概要説明シーンを
含むコンテンツからＡＶ（ＡｕｄｉｏＶｉｓｕａｌ）
要約を生成するＡＶコンテンツ自動要約システムであっ
て、前記コンテンツから前記概要説明シーンを検出しか
つその概要説明シーンの開始フレーム番号及び終了フレ
ーム番号の集合を前記概要説明シーンとともに記録する
概要説明シーン検出手段と、前記概要説明シーンに続く
詳細シーンの要約映像を生成する映像要約手段と、前記
概要説明シーンの音声を概要説明音声として切出す音声
抽出手段と、前記音声抽出手段が生成した概要説明音声
とその概要説明音声に対応する前記映像要約手段が生成
した詳細シーンの要約映像との同期をとって前記ＡＶ要
約として再生出力するＡＶ要約出力手段とを備えてい
る。

【００１２】本発明によるＡＶコンテンツ自動要約方式
は、少なくとも映像及び音声を含むＡＶ（Ａｕｄｉｏ
Ｖｉｓｕａｌ）コンテンツからそれらの映像及び音声の
中の代表的な部分を選択して表示するＡＶコンテンツ自
動要約方法であって、前記ＡＶコンテンツの中から前記
代表的な部分の映像及び音声を別々に取出すステップ
と、それらの映像及び音声を合成して出力するステップ
とを備えている。

【００１３】本発明による他のＡＶコンテンツ自動要約
方式は、少なくとも報道番組でアナウンサが次のニュー
スの概要を説明するシーンを示す概要説明シーンを検出
するステップと、検出された概要説明シーンに続く詳細
シーンの要約映像を生成するステップと、検出された概
要説明シーンの音声のみを抽出するステップと、前記要
約映像と前記概要説明音声とを合成して出力するステッ
プとを備えている。

【００１４】本発明による別のＡＶコンテンツ自動要約
方式は、少なくとも報道番組でアナウンサが次のニュー
スの概要を説明するシーンを示す概要説明シーンを含む
コンテンツからＡＶ（ＡｕｄｉｏＶｉｓｕａｌ）要約
を生成するＡＶコンテンツ自動要約方法であって、前記
コンテンツから前記概要説明シーンを検出しかつその概
要説明シーンの開始フレーム番号及び終了フレーム番号
の集合を前記概要説明シーンとともに記録するステップ
と、前記概要説明シーンに続く詳細シーンの要約映像を
生成するステップと、前記概要説明シーンの音声を概要
説明音声として切出すステップと、前記概要説明音声と
その概要説明音声に対応する前記詳細シーンの要約映像
との同期をとって前記ＡＶ要約として再生出力するステ
ップとを備えている。

【００１５】すなわち、本発明のＡＶコンテンツ自動要
約方式は、映像と音声とが多重化されたＡＶコンテンツ
の内容を短時間で把握するためのＡＶ要約を自動生成す
る方式において、報道番組でアナウンサが次のニュース
の概要を説明するシーン等の概要説明シーンを自動検出
し、概要説明シーンに続く詳細シーンの要約映像と、概
要説明シーンの音声のみを取出した概要説明音声とを合
成することで、ＡＶ要約を生成する方式である。

【００１６】より具体的に、本発明のＡＶコンテンツ自
動要約システムは、既存の人物検出、テロップ検出、人
声検出、類似画像検出等の技術を利用して概要説明シー
ンを検出し、概要説明シーンの開始フレーム番号と終了
フレーム番号の集合とを記録する概要説明シーン検出手
段と、既存の映像要約技術を利用して概要説明シーンに
続く詳細シーンの要約映像を生成する映像要約手段と、
概要説明シーンの音声を概要説明音声として切り出す音
声抽出手段と、音声抽出手段が生成した概要説明音声と
その概要説明音声に対応する映像要約手段が生成した詳
細シーンの要約映像との同期をとってＡＶ要約として再
生もしくは記録媒体に出力するＡＶ要約出力手段とを有
している。

【００１７】上記のような構成とすることで、要約映像
と概要説明音声とを個別に生成してから合成するため、
ＡＶコンテンツの一部を切り出してＡＶ要約とする方法
に比べて、より内容を把握しやすいＡＶ要約の生成を可
能にする。また、アナウンサ等が概要を説明する部分の
音声をそのまま利用するので、音声認識やテキスト要約
を利用する方法に比べて音声が自然で、要約処理時間も
少ないという効果がある。

【００１８】

【発明の実施の形態】次に、本発明の実施例について図
面を参照して説明する。図１は本発明の一実施例による
ＡＶコンテンツ自動要約システムの構成を示すブロック
図である。図１において、本発明の一実施例によるＡＶ
コンテンツ自動要約システムはＡＶデータ入力手段１
と、概要説明シーン検出手段２と、映像要約手段３と、
音声抽出手段４と、ＡＶ要約出力手段５とから構成され
ている。

【００１９】ＡＶデータ入力手段１は放送電波を受信
し、その信号に含まれる映像情報と音声情報とを抽出す
る。この場合、映像情報は輝度情報と色情報とからなる
ＹＵＶ［Ｙ（輝度信号）、Ｕ，Ｖ（色差信号成分）］デ
ータに変換され、音声情報はＰＣＭ（ＰｕｌｓｅＣｏ
ｄｅＭｏｄｕｌａｔｉｏｎ）データに変換されてメモ
リ（図示せず）上に記録される。

【００２０】ＹＵＶデータは映像のフレーム単位で取出
すことができる。また、ＰＣＭデータはサンプル単位で
取出すことができる。ＡＶデータ入力手段１は市販のＰ
Ｃ（パーソナルコンピュータ）用ＴＶチューナボードと
付属プログラム、及びＰＣ用のオペレーティングシステ
ムが提供する機能を用いる等によって容易に実現するこ
とができる。

【００２１】概要説明シーン検出手段２はＡＶデータ入
力手段１からＹＵＶデータとＰＣＭデータとを受取り、
それらのデータを解析することによって、アナウンサが
次のニュースの概要を説明するシーン等の概要説明シー
ンを検出し、概要説明シーンの開始フレーム番号と終了
フレーム番号とを概要説明シーンの通し番号に関連付け
て記録する。

【００２２】概要説明シーンの通し番号は、後述する要
約映像と概要説明音声との対応付けを行うことが目的で
あり、ある番組の要約を生成する場合には対象番組先頭
からの通し番号を付加すればよく、ある開始時刻からあ
る終了時刻までの要約を生成する場合にはその開始時刻
からの通し番号を付加すればよい。

【００２３】映像要約手段３はＡＶデータ入力手段１か
らＹＵＶデータを受取り、概要説明シーン検出手段２が
記録した概要説明シーンのフレーム区間を参照して、概
要説明シーンに続く現場シーンや解説シーン等の詳細シ
ーンの要約映像を生成し、対応する概要説明シーンの通
し番号に関連付けてその要約映像を記録する。

【００２４】ここで、要約映像とは受信したＡＶコンテ
ンツの内容をおおまかに把握可能な元映像よりも短い映
像のことである。例えば、元映像から３０秒周期で２秒
間の映像を抜き出し、それら２秒間の映像を連結して得
られる元の映像の１５分の１の長さの映像は要約映像と
いえる。

【００２５】音声抽出手段４はＡＶデータ入力手段１か
らＰＣＭデータを受取り、概要説明シーン検出手段２が
記録した概要説明シーンのフレーム区間のＰＣＭデータ
を抜き出し、対応する概要説明シーンの通し番号に関連
付けて概要説明音声として記録する。

【００２６】ＡＶ要約出力手段５は映像要約手段３が記
録した要約映像と、音声抽出手段４が記録した概要説明
音声とを受取り、同じ通し番号が割り当てられている要
約映像と概要説明音声とを同期させて合成し、ＡＶ要約
としてメモリや磁気記録装置等に出力する。

【００２７】図２は図１の概要説明シーン検出手段２の
詳細な構成を示すブロック図である。図２において、概
要説明シーン検出手段２は人物検出手段２１と、テロッ
プ検出手段２２と、人声検出手段２３と、概要説明シー
ン判定手段２４とから構成されている。

【００２８】人物検出手段２１はＡＶデータ入力手段１
からＹＵＶデータを受取り、映像の各フレーム毎に画像
中央部分に人の顔が存在しているかどうかを判断して記
録する。

【００２９】テロップ検出手段２２はＡＶデータ入力手
段１からＹＵＶデータを受取り、映像の各フレーム毎に
画像下部にテロップ文字が存在しているかどうかを判断
して記録する。

【００３０】人声検出手段２３はＡＶデータ入力手段１
からＰＣＭデータを受取り、映像の各フレームに対応す
る音声データに、人の声が存在しているかどうかを判断
して記録する。

【００３１】概要説明シーン判定手段２４は人物検出手
段２１の検出結果と、テロップ検出手段２２の検出結果
と、人声検出手段２３の検出結果とを参照して、概要説
明シーンのフレーム区間を判定し、その開始フレーム番
号と終了フレーム番号とを概要説明シーンの通し番号に
関連付けて記録する。

【００３２】図３は本発明の一実施例によるＡＶコンテ
ンツ自動要約システムの動作を示すフロートャートであ
る。これら図１及び図３を参照して本発明の一実施例に
よるＡＶコンテンツ自動要約システムの全体の動作につ
いて説明する。

【００３３】概要説明シーン検出手段２はＡＶデータ入
力手段１からＹＵＶデータとＰＣＭデータとを受取り、
そのデータを解析して概要説明シーンを特定し、概要説
明シーンの通し番号を要素番号とし、開始フレーム番号
と終了フレーム番号との組を要素とする配列として記録
する（図３ステップＳ１）。

【００３４】映像要約手段３はＡＶデータ入力手段１か
らＹＵＶデータを受取り、概要説明シーン検出手段２が
記録した概要説明シーンのフレーム区間を参照し、概要
説明シーンの終了フレーム直後から次の概要説明シーン
の開始フレーム直前まで、あるいは次の概要説明シーン
が存在しない場合に概要説明シーンの終了フレーム直後
から最終フレームまでの詳細シーンに対して、予め定め
られた周期で、予め定められた時間分のＹＵＶデータを
切り出し、それらの周期的な部分映像を連結したものを
要約映像として記録する（図３ステップＳ２）。

【００３５】要約映像の記録方法においては要約映像の
ＹＵＶデータを記録する必要はなく、各概要説明シーン
の通し番号毎に、概要説明シーンに対応する要約映像に
含まれるフレーム区間のリストを記録すればよい。

【００３６】音声抽出手段４はＡＶデータ入力手段１か
らＰＣＭデータを受取り、概要説明シーン検出手段２が
記録した概要説明シーンのフレーム区間に対応するＰＣ
Ｍデータを切り出し、概要説明音声として記録する（図
３ステップＳ３）。

【００３７】その際、概要説明シーンの区間は映像のフ
レーム番号で記録されているので、ＰＣＭデータのサンプル番号（Ｐ）＝ＹＵＶデータのフ
レーム番号（Ｆ）÷ＹＵＶデータのフレームレート（Ｒ
ｆ）×ＰＣＭデータのサンプリングレート（Ｒｐ）の算出式に基づいてＰＣＭデータのサンプル番号に変換
する。

【００３８】また、概要説明音声の記録方法において
は、概要説明音声のＰＣＭデータそのものを記録する必
要はなく、概要説明シーンの通し番号を要素番号とし、
概要説明音声の開始サンプル番号と終了サンプル番号と
の組を要素とする配列として記録すればよい。

【００３９】ＡＶ要約出力手段５は概要説明シーンの通
し番号毎に、映像要約手段３が記録した詳細シーンの要
約映像と、音声抽出手段４が記録した概要説明音声の長
さとを合わせて合成し、概要説明シーンの通し番号の順
に連結して、ＡＶ要約として記録媒体に出力する（図３
ステップＳ４）。

【００４０】各通し番号毎の合成処理において、要約映
像が概要説明音声よりも長い場合には、概要説明音声の
後ろに無音信号を付加することで長さを合わせればよ
い。要約映像が概要説明音声よりも短い場合には、概要
説明音声と同じ長さになるまで、要約映像を繰り返せば
よい。尚、出力するＡＶ要約の形式はＹＵＶデータとＰ
ＣＭデータとを多重化した形式、ＹＵＶデータをＲＧＢ
［Ｒ（赤），Ｇ（緑），Ｂ（青）］データに変換してＰ
ＣＭデータと多重化した形式、ＹＵＶデータ、ＲＧＢデ
ータ、ＰＣＭデータを圧縮して多重化したＭＰＥＧ（Ｍ
ｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏ
ｕｐ）等の圧縮形式等の様々な形式が利用可能である。

【００４１】図４は図２に示す概要説明シーン検出手段
２の動作を示すフローチャートである。これら図２及び
図４を参照して、概要説明シーン検出手段２の動作につ
いて説明する。

【００４２】人物検出手段２１はＡＶデータ入力手段１
からＹＵＶデータを受取ると、各フレーム画像を３×３
の小画像にほぼ等分に９分割し、それぞれの小画像毎に
各ピクセルの輝度値のヒストグラムを生成する。

【００４３】次に、人物検出手段２１はフレーム中央部
の小画像の輝度ヒストグラムの各レベルの値を８倍した
ヒストグラムと、フレーム周辺部の８個の小画像のヒス
トグラムの各レベルの値をそれぞれ加算したヒストグラ
ムとの差分値を計算し、その差分値が予め定められた閾
値よりも大きい場合に対象フレーム画像の中央部に人の
顔が検出されたことを記録する（図４ステップＳ１
１）。ここで、ヒストグラムの差分値とは２つのヒスト
グラムの各レベル毎の値の差分の絶対値を、全てのレベ
ルについて合計した値のことである。

【００４４】テロップ検出手段２２はＡＶデータ入力手
段１からＹＵＶデータを受取ると、各フレーム画像の下
３分の１の領域について、予め定められた閾値Ａと閾値
Ｂ（Ａ＞Ｂ）とを用いて、輝度値が閾値Ａ以上、もしく
は輝度値が閾値Ｂ以下であるピクセルの個数をカウント
し、そのピクセル個数が別の閾値Ｃ以上である場合に対
象フレーム画像の下部にテロップが検出されたことを記
録する（図４ステップＳ１２）。

【００４５】人声検出手段２３はＡＶデータ入力手段１
からＰＣＭデータを受取ると、映像の各フレームに対応
する区間毎に、人声に対応する予め定められた周波数帯
域の平均パワーを求め、それが予め定められた閾値以上
である場合、対応するフレームに人声が検出されたこと
を記録する（図４ステップＳ１３）。ここで、特定の周
波数帯域の信号を抽出するバンドパスフィルタ（図示せ
ず）には既存の音声信号処理手法を適用すればよい。

【００４６】概要説明シーン判定手段２４は、まず人
物、テロップ、人声の全てが検出されているフレームを
概要説明シーンの検出フレーム候補として記録する（図
４ステップＳ１４）。続いて、概要説明シーン判定手段
２４は概要説明シーンの検出フレーム候補に対して、非
検出フレームの連続数が予め定められた閾値よりも短い
場合に、その非検出フレームを検出フレームへと変更す
る（図４ステップＳ１５）。これはフラッシュ等によっ
て瞬間的に人物が検出されなかった場合や、人声が息継
ぎなどによって瞬間的に検出されなかった場合に、概要
説明シーンが分断されないようにするためである。

【００４７】最後に、概要説明シーン判定手段２４は概
要説明シーンの検出フレーム候補に対して、予め定めら
れた時間以下の連続した検出フレームを非検出フレーム
へと変更し、残った連続する検出フレームを概要説明シ
ーンとして記録する（図４ステップＳ１６）。この処理
は概要説明シーンが一般的に数秒間連続するものである
から、それ以下の短い検出フレーム区間は誤検出として
排除するためである。

【００４８】図５〜図９は本発明の一実施例によるＡＶ
コンテンツ自動要約システムの具体的な動作例を示す図
である。これら図１と図５〜図９とを参照して本発明の
一実施例によるＡＶコンテンツ自動要約システムの具体
的な動作について説明する。

【００４９】要約対象となる放送番組は、図５に示すよ
うに、１０分、１０分、５分、５分の長さの四つの個別
ニュースから構成される３０分の報道番組であるとし、
それぞれの個別ニュースの冒頭の１０秒でアナウンサに
よる概要説明がなされるとともに、個別ニュースのタイ
トルがテロップ文字として画面下部に表示されるものと
する。

【００５０】ＡＶデータ入力手段１は受信した信号を、
映像を毎秒１０フレームのＹＵＶデータ、音声を毎秒１
００００サンプルのＰＣＭデータにそれぞれ変換して記
録する。

【００５１】概要説明シーン検出手段２は、図６に示す
ように、第０フレームから第９９フレーム、第６０００
フレームから第６０９９フレーム、第１２０００フレー
ムから第１２０９９フレーム、第１５０００フレームか
ら第１５０９９フレームの４区間を概要説明シーンのフ
レーム区間であると判断し、４要素の配列として記録す
る。

【００５２】映像要約手段３は概要説明シーンに続く詳
細シーンから２分周期で３秒間の映像を切り出して要約
映像を生成するものとすると、図７に示すように、最初
のニュースに対しては第１００フレームから第１２９フ
レーム、第１３００フレームから第１３２９フレーム、
第２５００フレームから第２５２９フレーム、第３７０
０フレームから第３７２９フレーム、第４９００フレー
ムから第４９２９フレームが要約映像に使われる区間と
して記録される。

【００５３】２番目、３番目、４番目のニュースに対し
ても、上記と同様にして、要約映像に使われる区間が記
録される。つまり、２番目のニュースに対しては第６１
００フレームから第６１２９フレーム、第７３００フレ
ームから第７３２９フレーム、第８５００フレームから
第８５２９フレーム、第９７００フレームから第９７２
９フレーム、第１０９００フレームから第１０９２９フ
レームが要約映像に使われる区間として記録される。

【００５４】３番目のニュースに対しては第１２１００
フレームから第１２１２９フレーム、第１３３００フレ
ームから第１３３２９フレーム、第１４５００フレーム
から第１４５２９フレームが要約映像に使われる区間と
して記録される。

【００５５】４番目のニュースに対しては第１５１００
フレームから第１５１２９フレーム、第１６３００フレ
ームから第１６３２９フレーム、第１７５００フレーム
から第１７５２９フレームが要約映像に使われる区間と
して記録される。

【００５６】音声抽出手段４は概要説明シーン検出手段
２が記録した概要説明シーンのフレーム区間に相当する
ＰＣＭデータのサンプル番号を、上述した式、Ｐ＝Ｆ÷Ｒｆ×Ｒｐの式から算出する。

【００５７】この場合、Ｒｆ＝１０、Ｒｐ＝１００００
なので、概要説明音声のサンプル区間は、図８に示すよ
うに、第０サンプルから第９９９９９サンプル、第６０
０００００サンプルから第６０９９９９９サンプル、第
１２００００００サンプルから第１２０９９９９９サン
プル、第１５００００００サンプルから１５０９９９９
９サンプルの４区間となり、それらが配列として記録さ
れる。

【００５８】ＡＶ要約出力手段５は四つの個別ニュース
毎に、映像要約手段３が生成した映像要約と音声抽出手
段４が生成した概要説明音声とをその長さを合わせて合
成し、それを通し番号順に連結する。図９に示すよう
に、最初のニュースと２番目のニュースとでは要約映像
が１５秒なのに対して概要説明音声が１０秒であるか
ら、概要説明音声の終了後に５秒間の無音データを付加
してから合成する。

【００５９】それに対して３番目のニュースと４番目の
ニュースとでは、要約映像が９秒なのに対して概要説明
音声が１０秒であるから、９秒の要約映像の後に再び先
頭から１秒後までの映像を付加してから合成する。それ
らを通し番号順に連結すると、最終的に５０秒のＡＶ要
約が生成される。

【００６０】このように、要約映像と概要説明音声とを
別々に生成した後にそれらを合成することによって、映
像と音声とのそれぞれがニュース概要を把握するのに適
した内容になっているので、視聴者がＡＶ要約を視聴し
た時によりニュースの概要を把握することが容易とな
る。

【００６１】また、高速なＣＰＵ（中央処理装置）や大
量のメモリを必要とする音声認識処理や自然言語理解等
の高度な技術を使用せずに概要説明音声を生成すること
によって、概要説明音声の抽出処理の実現コストが小さ
くかつ高速なので、メモリ容量が小さいＰＣ（パーソナ
ルコンピュータ）やＣＰＵ性能が高くないＰＣでも実現
することができる。

【００６２】さらに、概要説明音声としてアナウンサが
実際に喋っている言葉をそのまま利用することによっ
て、概要説明音声を自然で理解しやすい音声にすること
ができる。

【００６３】図１０は本発明の他の実施例による概要説
明シーン検出手段の詳細な構成を示すブロック図であ
る。図１０において、概要説明シーン検出手段６は類似
画像検索手段６１と、概要説明シーンデータベース（Ｄ
Ｂ）６２と、概要説明シーン判定手段６３とから構成さ
れている。

【００６４】概要説明シーンデータベース６２は放送番
組で用いられる概要説明シーンの映像のフレームサンプ
ルを複数記録しており、サンプル毎にＹＵＶデータとし
て取出すことができる。

【００６５】類似画像検索手段６１は複数のＡＶコンテ
ンツ入力手段１から渡されるＹＵＶデータと、概要説明
シーンデータベース６２が記録している概要説明シーン
のサンプルとを比較し、概要説明シーンデータベース６
２が記録する概要説明シーンのサンプルのどれかと類似
性が高い場合に、そのフレームを概要説明シーンの候補
として記録する。

【００６６】上記の類似画像検索手段６１における類似
画像検索手法としては、公知の様々な方法を適用するこ
とができる。例えば、フレームを構成するピクセル毎の
色情報の差分をとり、その総和が閾値を超えるかどうか
で判断する方法がある。また、フレームの輝度データ、
色データ、それらを周波数変換した後の周波数成分等か
ら生成されかつ元映像データよりサイズの小さい検索キ
ー同士を比較する方法もあり、その場合にはデータベー
スの容量と処理時間とを短縮することができる。

【００６７】概要説明シーン判定手段６３は、図４に示
す本発明の一実施例の動作と比べて、概要説明シーンの
候補フレームを類似画像検索手段６１によって検出する
ことが異なる。候補フレームを検出した後、短い非検出
区間を検出区間への変更し（図４ステップＳ１５）、短
い検出区間を非検出区間に変更して概要説明シーンを決
定する（図４ステップＳ１６）。

【００６８】本実施例は要約対象となるＡＶコンテンツ
における概要説明シーンがある程度固定されており、か
つ概要説明シーンのサンプルが予め入手可能な場合に、
より高い精度で概要説明シーンを検出することができ
る。よって、最終的に出力されるＡＶ要約も、より内容
を把握しやすいものになる。

【００６９】例えば、報道番組におけるアナウンサによ
る概要説明シーンの構図は、数ヶ月以上にわって固定で
ある場合が多いため、本実施例によって高精度のＡＶ要
約を生成することができる。

【００７０】尚、上述した実施例では、ＡＶコンテンツ
入力手段１として放送を受信する例について述べたが、
放送以外の記録メディアに蓄積されたＡＶコンテンツ、
あるいはインタネット等を介して送られてくるＡＶコン
テンツでも、上記の実施例と同様に、ＡＶ要約を生成す
ることができる。

【００７１】また、ＡＶコンテンツ入力手段１が記録す
るフォーマットとしてＹＵＶデータとＰＣＭデータとを
例示したが、もちろん、他の様々なフォーマットでも、
上記の実施例と同様に、ＡＶ要約を生成することができ
る。

【００７２】一方、上述した実施例では概要説明シーン
検出手段２，６として、人物検出とテロップ検出と人声
検出とを組合わせる方法と、類似画像検索による方法と
を例示したが、その他の方法を用いてもかまわない。例
えば、放送電波に現在のシーンを特定する信号が重畳さ
れており、概要説明シーンであることをその信号から判
定することができる場合にはその信号を利用すればよ
い。

【００７３】また、人物検出、テロップ検出、人声検
出、類似画像検索の各手法の任意の組合わせでも実現す
ることができる。さらに、話者識別技術によって概要説
明を行う話者を検出する方法、「次のニュースです」等
の話題区切りを音声認識によって認識し、それに続くシ
ーンを概要説明シーンだと判断する方法等が考えられ
る。

【００７４】上述した実施例では、人物検出手段２１と
して、画面中央部及び周辺部の輝度ヒストグラムを比較
する方法を例示しているが、もちろん、その他の人物検
出手法を適用することができる。例えば、その方法とし
ては画面中央の９等分割画像に限らないことはもちろ
ん、色情報の分布を調べる方法、目、鼻、口といった顔
を構成する要素候補を検出してその位置関係及びその時
間方向での動き量から人の顔を検出する方法等が考えら
れる。

【００７５】また、テロップ検出手段２２として、輝度
の高いピクセルと低いピクセルとの数をカウントする方
法を例示しているが、もちろん、その他のテロップ検出
手法を適用することができる。例えば、その方法として
はエッジの個数で判断する方法、エッジ点での輝度変化
量が連続するエッジで対称になっているかどうかで判断
する方法、エッジ分布密度が高い領域の形状で判断する
方法等が考えられる。

【００７６】さらに、人声検出手段２３として、バンド
パスフィルタで特定周波数領域を取出す方法を例示して
いるが、もちろん、その他の人声検出方法を用いても構
わない。例えば、その方法としては人声の各種特徴量の
時間方向の変化パターンが予め登録しておいたパターン
と類似しているかどうかで判断する方法、周波数スペク
トルの分布形状が予め登録しておいたパターンと類似し
ているかどうかで判断する方法等が考えられる。

【００７７】また、概要説明シーン判定手段２４で、概
要説明シーン間の時間条件を設けて概要説明シーン間が
閾値よりも短い場合には、どちらかの候補をキャンセル
する方法や、番組中に比較的均等に分布するように選択
する方法も考えられる。

【００７８】上述した実施例では、映像要約手段３が概
要説明シーンの後に続く映像を要約する例を示している
が、概要説明シーンのテロップ文字を映像として表示す
ることはひとつの有効な要約手段であり、もちろん要約
映像に概要説明シーンが含まれても構わない。

【００７９】また、映像要約手段３として、一定周期毎
に一定時間の映像を抜き出す方法を例示しているが、そ
の他の映像要約手法を適用することができることはいう
までもない。例えば、その方法としては一定周期毎にフ
レームを抜き出してそのフレームを静止画として一定時
間表示する方法、抜き出すフレーム周期や表示時間を内
容に応じて変化させる方法、抜き出したフレームを縮小
画像の一覧で表示する方法、映像の特徴量の変化点をシ
ーンチェンジとして検出してその直後の映像を抜き出す
方法、映像の時間方向での変化量に応じて映像の重要度
を計算して重要度の高い映像を抜き出す方法等が考えら
れる。

【００８０】要約ＡＶ出力手段５としては要約映像と概
要説明音声とを多重化して記録媒体に記録する方法を例
示しているが、その他にも、要約映像をディスプレイ上
に表示すると同時に概要説明音声をスピーカ等の音声出
力装置から再生する方法、要約映像と概要説明音声とを
多重化して伝送路上に送信する方法等もある。

【００８１】上述した実施例の動作では、概要説明シー
ン検出手段２、映像要約手段３、音声抽出手段４、ＡＶ
要約出力手段５が逐次的に動作する場合を例示している
が、それらの手段の全てが、あるいは一部が平行して動
作する場合も当然含まれる。

【００８２】

【発明の効果】以上説明したように本発明によれば、少
なくとも映像及び音声を含むＡＶコンテンツからそれら
の映像及び音声の中の代表的な部分を選択して表示する
ＡＶコンテンツ自動要約システムにおいて、ＡＶコンテ
ンツの中から代表的な部分の映像及び音声を別々に取出
し、それらの映像及び音声を合成して出力することによ
って、より内容を把握しやすいＡＶ要約を生成すること
ができるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例によるＡＶコンテンツ自動要
約システムの構成を示すブロック図である。

【図２】図１の概要説明シーン検出手段の詳細な構成を
示すブロック図である。

【図３】本発明の一実施例によるＡＶコンテンツ自動要
約システムの動作を示すフロートャートである。

【図４】図２に示す概要説明シーン検出手段の動作を示
すフローチャートである。

【図５】本発明の一実施例によるＡＶコンテンツ自動要
約システムの具体的な動作例を示す図である。

【図６】本発明の一実施例によるＡＶコンテンツ自動要
約システムの具体的な動作例を示す図である。

【図７】本発明の一実施例によるＡＶコンテンツ自動要
約システムの具体的な動作例を示す図である。

【図８】本発明の一実施例によるＡＶコンテンツ自動要
約システムの具体的な動作例を示す図である。

【図９】本発明の一実施例によるＡＶコンテンツ自動要
約システムの具体的な動作例を示す図である。

【図１０】本発明の他の実施例による概要説明シーン検
出手段の詳細な構成を示すブロック図である。

【符号の説明】

１ＡＶデータ入力手段２，６概要説明シーン検出手段３映像要約手段４音声抽出手段５ＡＶ要約出力手段２１人物検出手段２２テロップ検出手段２３人声検出手段２４，６３概要説明シーン判定手段６１類似画像検索手段６２概要説明シーンデータベース

Claims

【特許請求の範囲】

【請求項１】少なくとも映像及び音声を含むＡＶ（Ａ
ｕｄｉｏＶｉｓｕａｌ）コンテンツからそれらの映像
及び音声の中の代表的な部分を選択して表示するＡＶコ
ンテンツ自動要約システムであって、前記ＡＶコンテン
ツの中から前記代表的な部分の映像及び音声を別々に取
出す手段と、それらの映像及び音声を合成して出力する
手段とを有することを特徴とするＡＶコンテンツ自動要
約システム。
【請求項２】少なくとも報道番組でアナウンサが次の
ニュースの概要を説明するシーンを示す概要説明シーン
を検出する検出手段と、前記検出手段で検出された概要
説明シーンに続く詳細シーンの要約映像を生成する生成
手段と、前記検出手段で検出された概要説明シーンの音
声のみを抽出する抽出手段と、前記生成手段で要約映像
と前記抽出手段で抽出された概要説明音声とを合成して
出力する出力手段とを有することを特徴とするＡＶコン
テンツ自動要約システム。
【請求項３】前記抽出手段は、各話題の冒頭部分の概
要説明シーンの音声を抽出してそのまま利用するように
したことを特徴とする請求項２記載のＡＶコンテンツ自
動要約システム。
【請求項４】前記抽出手段は、前記報道番組の各個別
ニュース冒頭部分のアナウンサによる概要説明シーンの
音声を抽出してそのまま利用するようにしたことを特徴
とする請求項２記載のＡＶコンテンツ自動要約システ
ム。
【請求項５】前記検出手段は、映像情報の中の人物の
検出と前記映像情報の中のテロップの検出と前記映像情
報に伴う音声情報の中の人声の検出とを組合わせて前記
概要説明シーンを検出するようにしたことを特徴とする
請求項２から請求項４のいずれか記載のＡＶコンテンツ
自動要約システム。
【請求項６】前記検出手段は、類似画像検索を用いて
前記概要説明シーンを検索するようにしたことを特徴と
する請求項２から請求項４のいずれか記載のＡＶコンテ
ンツ自動要約システム。
【請求項７】少なくとも報道番組でアナウンサが次の
ニュースの概要を説明するシーンを示す概要説明シーン
を含むコンテンツからＡＶ（ＡｕｄｉｏＶｉｓｕａ
ｌ）要約を生成するＡＶコンテンツ自動要約システムで
あって、前記コンテンツから前記概要説明シーンを検出
しかつその概要説明シーンの開始フレーム番号及び終了
フレーム番号の集合を前記概要説明シーンとともに記録
する概要説明シーン検出手段と、前記概要説明シーンに
続く詳細シーンの要約映像を生成する映像要約手段と、
前記概要説明シーンの音声を概要説明音声として切出す
音声抽出手段と、前記音声抽出手段が生成した概要説明
音声とその概要説明音声に対応する前記映像要約手段が
生成した詳細シーンの要約映像との同期をとって前記Ａ
Ｖ要約として再生出力するＡＶ要約出力手段とを有する
ことを特徴とするＡＶコンテンツ自動要約システム。
【請求項８】前記概要説明シーン検出手段は、前記コ
ンテンツに対して人物検出とテロップ検出と人声検出と
を行って前記概要説明シーンを検出するよう構成したこ
とを特徴とする請求項７記載のＡＶコンテンツ自動要約
システム。
【請求項９】前記概要説明シーン検出手段は、前記コ
ンテンツに対して類似画像検出を行って前記概要説明シ
ーンを検出するよう構成したことを特徴とする請求項７
記載のＡＶコンテンツ自動要約システム。
【請求項１０】前記音声抽出手段は、各話題の冒頭部
分の概要説明シーンの音声を抽出してそのまま利用する
ようにしたことを特徴とする請求項７から請求項９のい
ずれか記載のＡＶコンテンツ自動要約システム。
【請求項１１】前記音声抽出手段は、前記報道番組の
各個別ニュース冒頭部分のアナウンサによる概要説明シ
ーンの音声を抽出してそのまま利用するようにしたこと
を特徴とする請求項７から請求項９のいずれか記載のＡ
Ｖコンテンツ自動要約システム。
【請求項１２】少なくとも映像及び音声を含むＡＶ
（ＡｕｄｉｏＶｉｓｕａｌ）コンテンツからそれらの
映像及び音声の中の代表的な部分を選択して表示するＡ
Ｖコンテンツ自動要約方法であって、前記ＡＶコンテン
ツの中から前記代表的な部分の映像及び音声を別々に取
出すステップと、それらの映像及び音声を合成して出力
するステップとを有することを特徴とするＡＶコンテン
ツ自動要約方法。
【請求項１３】少なくとも報道番組でアナウンサが次
のニュースの概要を説明するシーンを示す概要説明シー
ンを検出するステップと、検出された概要説明シーンに
続く詳細シーンの要約映像を生成するステップと、検出
された概要説明シーンの音声のみを抽出するステップ
と、前記要約映像と前記概要説明音声とを合成して出力
するステップとを有することを特徴とするＡＶコンテン
ツ自動要約方法。
【請求項１４】前記音声のみを抽出するステップは、
各話題の冒頭部分の概要説明シーンの音声を抽出してそ
のまま利用するようにしたことを特徴とする請求項１３
記載のＡＶコンテンツ自動要約方法。
【請求項１５】前記音声のみを抽出するステップは、
前記報道番組の各個別ニュース冒頭部分のアナウンサに
よる概要説明シーンの音声を抽出してそのまま利用する
ようにしたことを特徴とする請求項１３記載のＡＶコン
テンツ自動要約方法。
【請求項１６】前記概要説明シーンを検出するステッ
プは、映像情報の中の人物の検出と前記映像情報の中の
テロップの検出と前記映像情報に伴う音声情報の中の人
声の検出とを組合わせて前記概要説明シーンを検出する
ようにしたことを特徴とする請求項１３から請求項１５
のいずれか記載のＡＶコンテンツ自動要約方法。
【請求項１７】前記概要説明シーンを検出するステッ
プは、類似画像検索を用いて前記概要説明シーンを検索
するようにしたことを特徴とする請求項１３から請求項
１５のいずれか記載のＡＶコンテンツ自動要約方法。
【請求項１８】少なくとも報道番組でアナウンサが次
のニュースの概要を説明するシーンを示す概要説明シー
ンを含むコンテンツからＡＶ（ＡｕｄｉｏＶｉｓｕａ
ｌ）要約を生成するＡＶコンテンツ自動要約方法であっ
て、前記コンテンツから前記概要説明シーンを検出しか
つその概要説明シーンの開始フレーム番号及び終了フレ
ーム番号の集合を前記概要説明シーンとともに記録する
ステップと、前記概要説明シーンに続く詳細シーンの要
約映像を生成するステップと、前記概要説明シーンの音
声を概要説明音声として切出すステップと、前記概要説
明音声とその概要説明音声に対応する前記詳細シーンの
要約映像との同期をとって前記ＡＶ要約として再生出力
するステップとを有することを特徴とするＡＶコンテン
ツ自動要約方法。
【請求項１９】前記概要説明シーンを検出するステッ
プは、前記コンテンツに対して人物検出とテロップ検出
と人声検出とを行って前記概要説明シーンを検出するよ
うにしたことを特徴とする請求項１８記載のＡＶコンテ
ンツ自動要約方法。
【請求項２０】前記概要説明シーンを検出ステップ
は、前記コンテンツに対して類似画像検出を行って前記
概要説明シーンを検出するようにしたことを特徴とする
請求項１８記載のＡＶコンテンツ自動要約方法。
【請求項２１】前記概要説明音声として切出すステッ
プは、各話題の冒頭部分の概要説明シーンの音声を抽出
してそのまま利用するようにしたことを特徴とする請求
項１８から請求項２０のいずれか記載のＡＶコンテンツ
自動要約方法。
【請求項２２】前記概要説明音声として切出すステッ
プは、前記報道番組の各個別ニュース冒頭部分のアナウ
ンサによる概要説明シーンの音声を抽出してそのまま利
用するようにしたことを特徴とする請求項１８から請求
項２０のいずれか記載のＡＶコンテンツ自動要約方法。