JP2005234786A - 映像キーワード抽出方法及び装置及びプログラム - Google Patents

Abstract

【課題】 シナリオから映像制作者の意図に沿った重要なキーワードの抽出、予めキーワード辞書を用意することなく、また、テロップ認識の結果に誤りがある場合でも重要なキーワードの抽出を可能にする。
【解決手段】 本発明は、指定された映像識別情報に基づいて、シナリオテキストとテロップ原稿を読み込み、テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出し、テロップから抽出された名詞句とシナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する。
【選択図】 図１

Description

本発明は、映像キーワード抽出方法及び装置及びプログラムに係り、特に、膨大に存在する映像データから所望の映像を検索する際に必要な、トピック区間のキーワードを抽出し、メタデータとして付与するための映像キーワード抽出方法及び装置及びプログラムに関する。

大量にある映像データの中から所望の映像または映像の一部（シーン）を検索するためには、映像データに予めキーワードを人手で付与しておく必要がある。このキーワードの付与の作業は手間がかかる上、人によって付与されるキーワードにばらつきがあるため、目的の映像を検索できない場合がある。このような問題を解決するために、映像制作の過程で作られるシナリオテキストからキーワードを自動的に抽出するアプローチがある。

また、効率的に映像データを扱うためのメディアハンドリング技術として、映像の認識結果と事前に用意されているシナリオ文書とをマッチングし、映像の意味的内容に基づく検索などに利用する技術について従来から検討されている。

例えば、キーワード抽出技術の例として、商品名をキーワードとし、辞書に登録しておき、テロップ認識結果と辞書とを照合することで、登録されている商品名がテロップ表示された時刻をトピック区切りとして出力し、また、音声の音響パワーが無音区間を検出した区間の終点時刻をトピック区切りの始点候補として検出する方法がある。なお、商品映像の商品名は文字サイズが大きく、雑音となる背景画像が少ないため、文字認識が比較的容易な画像であり、テロップ認識結果の候補中に商品辞書に登録された正解文字列が存在しているものと仮定している（例えば、非特許文献１参照）。
藤本他、「テロップ文字認識を用いた商品紹介映像の区間分割」（画像の認識・理解シンポジウム（ＭＩＲＵ２００２））

しかしながら、従来のキーワード抽出技術では、その文章中での単語の出現頻度、共起確率などの統計量を基準にキーワードが選ばれているが、例えば、ニュースシナリオの１トピックに相当するセリフ部分のように比較的短いテキストを対象とした場合、語数が少なくなるため統計量が信頼できず、重要な語が抽出できないという問題がある。

また、商品名をキーワードとし、辞書に登録しておき、テロップ認識結果と辞書とを照合する技術では、商品名辞書を予め用意する必要があるという問題がある。商品紹介映像であれば商品名は限定されるので辞書作成は現実的手間で可能であるが、ニュース番組のようなジャンルの映像には適用が難しい。また、テロップ認識結果の中に必ず辞書中の正解候補が存在することを仮定していたが、実際には全く認識できない誤認識文字が含まれ、キーワードを認識できないこともある。

本発明は、上記の点に鑑みなされたもので、
（１）シナリオから映像制作者の意図に沿った重要なキーワードを抽出することが可能；
（２）予めキーワード辞書を用意することなく、映像キーワードの抽出が可能；
（３）テロップ認識の結果に誤りがある場合でも重要なキーワードを抽出可能；
な映像キーワード抽出方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込むシナリオ読み込み過程（ステップ１）と、
映像識別情報に基づいて、シナリオテキストに対応する映像のテロップ原稿が蓄積されたデータベースからテロップ原稿を読み込むテロップ原稿読み込み過程（ステップ２）と、
テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出過程（ステップ３）と、
テロップから抽出された名詞句とシナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理過程（ステップ４）と、
少なくとも、映像識別情報とキーワードを出力する出力過程（ステップ５）と、を行う。

また、本発明の適合判定処理過程において、
対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出し、
重要文を形態素解析して、キーワードを抽出する。

また、本発明の適合判定処理過程において、
対応表からトピック毎のテロップの分布を算出し、
算出されたテロップ分布に基づいて対応表を修正する過程を更に行う。

図２は、本発明の原理構成図である。

本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
シナリオテキストが蓄積されたシナリオデータベース１４と、
テロップ原稿が蓄積されたテロップ原稿データベース１３と、
処理対象の映像識別情報を指定する指定手段１５と、
指定手段１５により指定された映像識別情報に基づいて、シナリオデータベースから該シナリオテキストを読み込むシナリオ読み込み手段１７と、
指定手段１５により指定された映像識別情報に基づいて、テロップ原稿データベースからテロップ原稿を読み込むテロップ原稿読み込み手段１６と、
テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出し、テロップから抽出された名詞句とシナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理手段１８と、
少なくとも、映像識別情報とキーワードを出力する出力手段１９と、を有する。

また、本発明の適合判定処理手段１８は、
対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出する手段と、
重要文を形態素解析して、キーワードを抽出する手段と、を含む。

また、本発明の適合判定処理手段１８は、
対応表からトピック毎のテロップの分布を算出する手段と、
算出されたテロップ分布に基づいて対応表を修正する手段と、を更に有する。

本発明は、コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込むシナリオ読み込みステップと、
映像識別情報に基づいて、シナリオテキストに対応する映像のテロップ原稿が蓄積されたデータベースからテロップ原稿を読み込むテロップ原稿読み込みステップと、
テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出ステップと、
テロップから抽出された名詞句とシナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理ステップと、
少なくとも、映像識別情報とキーワードを出力する出力ステップと、をコンピュータに実行させる。

また、本発明の適合判定処理ステップにおいて、
対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出するステップと、
重要文を形態素解析して、キーワードを抽出するステップと、をコンピュータに実行させる。

また、本発明の適合判定処理ステップにおいて、
対応表からトピック毎のテロップの分布を算出するステップと、
算出されたテロップ分布に基づいて対応表を修正するステップと、を更に、コンピュータに実行させる。

本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込み過程と、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析過程と、
シナリオテキストから抽出されたシナリオ名詞句とテロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定過程と、
少なくとも映像識別情報とキーワードを出力する出力過程と、を行う。

また、本発明の類似適合判定過程において、
シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求める過程を含む。

本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースと、
シナリオテキストが蓄積されたシナリオテキストデータベース
指定された映像識別情報に基づいて、テロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込み手段と、
指定された映像識別情報に基づいて、シナリオテキストデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析手段と、
シナリオテキストから抽出されたシナリオ名詞句とテロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定手段と、
少なくとも映像識別情報とキーワードを出力する出力手段と、を有する。

また、本発明の類似適合判定手段は、
前記シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求める手段を含む。

本発明は、コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込みステップと、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析ステップと、
シナリオテキストから抽出されたシナリオ名詞句とテロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定ステップと、
少なくとも映像識別情報とキーワードを出力する出力ステップと、をコンピュータに実行させる。

また、本発明の類似適合判定ステップは、
シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求めるステップをコンピュータに実行させる。

本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込み過程と、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析過程と、
シナリオテキストから抽出された名詞句とテロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定過程と、
少なくとも映像識別情報とキーワードを出力する出力過程と、を行う。

また、本発明は、適合判定処理過程において、
対応表とテロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出し、
重要文を形態素解析して、キーワードを抽出する。

また、本発明は、適合判定処理過程において、
対応表における要素の数からトピック毎のテロップの分布を算出し、
算出されたテロップ分布に基づいて対応表を修正する過程を更に行う。

本発明は、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースと、
シナリオテキストが蓄積されたシナリオテキストデータベースと、
指定された映像識別情報に基づいて、テロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込み手段と、
指定された映像識別情報に基づいて、シナリオテキストデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析手段と、
シナリオテキストから抽出された名詞句とテロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定手段と、
少なくとも映像識別情報とキーワードを出力する出力手段と、を有する。

また、本発明の適合判定処理手段は、
対応表とテロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出する手段と、
重要文を形態素解析して、キーワードを抽出する手段を含む。

また、本発明の適合判定処理手段は、
対応表における要素の数からトピック毎のテロップの分布を算出する手段と、
算出されたテロップ分布に基づいて対応表を修正する手段と、を更に有する。

本発明は、コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込みステップと、
指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析ステップと、
シナリオテキストから抽出された名詞句とテロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定ステップと、
少なくとも映像識別情報とキーワードを出力する出力ステップと、をコンピュータに実行させる。

また、本発明の適合判定処理ステップは、
対応表とテロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出するステップと、
重要文を形態素解析して、キーワードを抽出するステップと、をコンピュータに実行させる。

また、本発明の適合判定処理ステップは、
対応表における要素の数からトピック毎のテロップの分布を算出するステップと、
算出されたテロップ分布に基づいて対応表を修正するステップと、を更にコンピュータに実行させる。

本発明によれば、シナリオの部分から抽出されたキーワードの内、テロップにも含まれる語は、より視聴者にアピールすべき重要なキーワードであるという判断ができる。セリフとテロップに共通したキーワードを抽出し、また、シナリオからのキーワード抽出の結果文字列と比較し、共通する語の重要度を算出することにより、映像中に現れる語の中でより適切なキーワードを決定することができる。

また、本発明は、テロップの文字数に対する表示時間、文字の大きさなどからテロップ固有の重要度を算出し、それをシナリオテキストと各トピック毎に対応付けることにより、映像固有の情報をテキストに反映し、映像で強調されている内容をキーワードとして抽出することができる。

また、本発明は、映像作成時に用意されているシナリオテキスト、あるいはテロップ原稿を用い、名詞句の自動抽出を行い、その名詞句の重要度を映像から得ることにより、キーワード辞書作成の手間を減らすことができる。

また、本発明は、複数の認識文字候補を持つテロップ認識結果文字列とシナリオから抽出されたキーワードとの間の編集距離を計算し、その編集距離に基づいた文字列の類似度を算出し、類似度が閾値以下の場合に、テロップにキーワードが含まれると見做すことにより、誤りを含んだテロップ認識結果とキーワードとの文字列照合を行い、キーワードを抽出することができ、キーワードの抽出漏れが削減される。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の第１の実施の形態における映像キーワード抽出装置の構成図である。

同図に示す映像キーワード抽出装置は、テロップ原稿入力部１１、シナリオテキスト入力部１２、テロップ原稿記憶部１３、シナリオテキスト記憶部１４、制御部１５、テロップ情報抽出部１６、シナリオ読み込み部１７、適合判定処理部１８、及び出力部１９から構成される。

テロップ原稿入力部１１は、テロップ原稿記憶部１３へテロップ原稿を入力するものであり、例えば、人手によりキーボート等を用いて入力する。

シナリオテキスト入力部１２は、シナリオテキスト記憶部１４へシナリオテキスト（音声セリフ部分）を入力するものであり、例えば、人手によりキーボード等を用いて入力する。

テロップ原稿記憶部１３は、テロップ原稿入力部１１からテロップ原稿が入力され、これを蓄積する。テロップ原稿記憶部１３は、図４に示すようなテロップ原稿記憶テーブルが大量に記憶されている。各テーブルには映像に対応する番号が振られており、例えば、映像を指定すると自動的にその映像に対応したテロップ原稿が取り出せるようなデータベースである。

図４のテロップ原稿記憶テーブルにおいて、テロップ原稿に必要な情報項目は、各テロップのＩＤｙ（２１０１）、テロップ表示開始時刻（２１０２）、テロップが表示されている時間長ｍ_ｙ（２１０３）、テロップ文（２１０４）、テロップ表示される文字数ｎ_ｙ（２１０５）、テロップの文字の大きさｂ_ｙ（２１０６）などである。テロップのＩＤｙは映像においてテロップが出現する順に昇順であり、連続した整数値が付けられているものとする。テロップ表示時間長（２１０３）については、代わりにテロップ表示終了時刻が記録されていてもよい。文字数ｎ_ｙ（２１０５）は、テロップ内容（２１０４）から算出できるため、必ずしも必要な項目ではない。

シナリオテキスト記憶部１４は、シナリオテキスト入力部１２から入力されたシナリオテキストが蓄積される。シナリオテキスト記憶部１４には、テロップ原稿記憶部１３同様、例えば、映像に対応するデータベースの形で、図５に示すようなシナリオテキストが、例えば、映像番号と対応付けられて大量に蓄積されている。

シナリオテキストに必要な項目はトピックの情報である。テキストのフォーマットは機械的に読み書きできる形式であればどのようなものでもよい。図５の例では、下向き三角のマークがトピックの切れ目を表している。

制御部１５は、処理対象となる映像を番号で指定するための入力を行う装置であり、例えば、人がキーボードなどで映像番号を入力する。あるいは、総当り的に機械が番号を指定する。入力された番号は、テロップ情報抽出部１６及びシナリオ読み出し部１７を経由してそれぞれテロップ原稿記憶部１３とシナリオテキスト記憶部１４に渡され、該当する映像に対応した図４に示すテロップ原稿記憶テーブルのデータがそれぞれの装置へ入力される。

テロップ情報抽出部１６は、制御部１５で選ばれたテロップ原稿記憶テーブルをテロップ原稿記憶部１３から読み出して入力する。入力テロップ原稿に処理を行い、図６のように、テロップＩＤｙ、テロップに含まれる名詞列Ｔ_ｙ，テロップ重要度ｗ（ｙ）を算出して内部のテロップワード記憶テーブル１６１に格納する。図６のようなテロップワード記憶テーブル１６１のデータを適合判定処理部１８に出力する。

名詞列Ｔ_ｙ＝｛ａ_１，ａ_２，…ａ_ｎ｝は、テロップの文を形態素解析を用いて分解し、連続した名詞や不明語などを一つの名詞ａ_ｉとして取り出したものである。助詞「の」で連接されている前後が名詞のものを名詞句として取り出すことも可能である。

また、テロップ重要度ｗ（ｙ）は、例えば、図４のテロップ表示時間ｍ_ｙと文字列ｎ_ｙ、文字の大きさｂ_ｙの項目から算出する。

これは、文字数に比して長く画面に表示されたテロップはその映像の内容を良く表すテロップと判断でき、また、大きな文字で表示されたテロップは制作者が強調したいテロップと考えられるため、これらの値を用いてテロップ重要度を算出している。

シナリオ読み出し部１７では、制御部１５で選ばれたシナリオテキストをシナリオテキスト記憶部１４から読み込む。読み込まれたシナリオテキストを一定の規則で区切り、それぞれの区切りにシナリオのＩＤであるｘを付与することにする。シナリオＩＤｘは登場順に連続した自然数とする。シナリオテキストにあるトピックセグメンテーションの切れ目の情報も同時に格納する。ここで、各トピックに便宜上ＩＤを付与する。始めのトピックのＩＤを“１”とし、切れ目記号（下向き三角）が現われる度にＩＤを１増加させることにする。格納したデータの例を図７に示す。同図に示す例では、シナリオテキストを１文ずつ区切り、シナリオテキスト記憶テーブル１７１に格納している。

適合判定処理部１８は、図６のテロップワード記憶テーブル１６１と図７のシナリオテキスト記憶テーブル１７１からデータを読み込み、映像に存在するトピック毎のキーワードとその重要度、またトピックを代表する文を１つ以上出力部１９に出力する。出力の例を図８に示す。

出力部１９は、映像番号と出力されたキーワード及び文をデータベース等に出力する。なお、出力時のフォーマットは機械的に読み書きできるものであればよい。

以下に、上記の構成における動作を説明する。

図９は、本発明の第１の実施の形態における動作の概要を示すフローチャートである。

なお、以下では、テロップ原稿入力部１１からすでにテロップ原稿が入力され、テロップ原稿記憶部１３に蓄積され、また、シナリオテキスト入力部１２からシナリオテキストが入力され、シナリオテキスト記憶部１４に蓄積されているものとする。

ステップ２１） 制御部１５において、処理対象の映像が人手により指定入力される、または、機械的に決定され、映像に付与された番号（以下、映像番号と記す）をテロップ情報抽出部１６及びシナリオ読み込み部１７に渡される。

ステップ２２） シナリオ読み出し部１７は、シナリオテキスト記憶部１４からシナリオテキストを読み込み、一定の規則で区切り、それぞれの区切りにシナリオのＩＤを付与する。シナリオテキストにあるトピック区切りの切れ目の情報同時にシナリオテキスト記憶テーブル１７１に格納する。また、各トピックに便宜上ＩＤを付与する。初めのトピックＩＤを“１”とし、シナリオテキスト中に切れ目記号として図５に示すような下向き三角が表れる度にＩＤを１つ増加させるものとする。データは、図７に示すようにシナリオテキスト記憶テーブル１７１に格納される。

ステップ２３） テロップ情報抽出部１６は、映像番号を制御部１５から入力されると、当該映像番号に対応したテロップ原稿をテロップ原稿記憶部１３から読み出し、当該テロップ原稿に対する処理を行い、図６に示すように、テロップＩＤｙ、テロップに含まれる１つあるいは複数の名詞句（列）Ｔ_ｙ、テロップ重要度ｗ（ｙ）を算出して、テロップワード記憶テーブル１６１に格納する。名詞句列Ｔ_ｙ＝｛ａ_１，ａ_２，…ａ_ｎ｝はテロップの文を、形態素解析を用いて分解し、連続した名詞や不要語などを一つの名詞句ａ_ｉとして取り出す。例として助詞「の」で連接されているもので、かつ、その前後が名詞句であるものも一つの名詞句として取り出すことも可能である。

テロップ重要度ｗ（ｙ）は、例えば、図４のテロップ表示時間ｍ_ｙと文字数ｎ_ｙ、文字の大きさｂ_ｙの項目から算出する。ここでは、例として、
ｗ（ｙ）＝ｂ_ｙ ^２ｌｏｇ_１０（ｍ_ｙ／ｎ_ｙ）
として算出する。

ステップ２４） 適合判定処理部１８は、図６のテロップワード記憶テーブル１６１と図７のシナリオテキスト記憶テーブル１７１のデータを読み込み、映像に存在するトピック毎のキーワードとその重要度、またトピックを代表する文を１つ以上出力する。図８の（Ａ）に出力例を示す。

ステップ２５） 出力部１９において、映像番号と出力されたキーワード及び文をデータベース等に格納する。なお、データベースへの格納時のフォーマットは機械的に読み書きできるものであればよい。または、ディスプレイ等の表示装置によりユーザに抽出されたキーワードを表示してもよい。

次に、上記のステップ２４の適合判定部１８における適合判定処理について詳細に説明する。

図１０は、本発明の第１の実施の形態における適合判定処理のフローチャートである。

ステップ３１） 適合判定部１８は、シナリオ記憶テーブル１７１とテロップワード記憶テーブル１６１から読み込んだデータのマッチングを、シナリオ文Ｊ_ｘとテロップワードＴ_ｙを用いて行う。そのマッチングの結果を対応表Ｃ（ｘ，ｙ）としてメモリ等に記録し、出力する。Ｃ（ｘ，ｙ）に記録する数値としては、シナリオ文Ｊ_ｘに含まれるテロップワードＴ_ｙの数の割合である。詳細は、図１１において後述する。

ステップ３２） 適合判定部１８は、ステップ３１で作成された対応表からテロップ分布を算出し、対応表Ｃ（ｘ，ｙ）を修正する。まず、ステップ３１で作成された対応表Ｃ（ｘ，ｙ）をメモリ等から読み込む。この対応表から各トピックＩＤｔのテロップ分布Ｓ_ｔ（ｙ）を算出し、テロップが属するトピックを決定する。その後、各々のテロップは一つのトピックに属すると仮定し、テロップが誤って他のトピックに対応付いている対応表の値を削除し、対応表及びテロップ分布を修正する。詳細は、図１４において後述する。

ステップ３３） ステップ３２で出力された対応表Ｃ（ｘ，ｙ）とテロップワード記憶テーブル１６１のデータを入力し、シナリオ文の重要度を算出する。テロップ重要度を反映した対応表ｗ（ｙ）Ｃ（ｘ，ｙ）を作成し、それを用いてシナリオ文の重要度を算出する。詳細は図１７において後述する。

ステップ３４） テロップ重要度を利用してキーワードを選び出し、図８に示すフォーマットで出力する。ステップ３３で抽出されたシナリオ文からのキーワードもこの出力に付け加えることが可能である。詳細は、図１９において後述する。

次に、上記のステップ３１の対応表作成処理について説明する。

図１１は、本発明の第１の実施の形態における対応表作成処理のフローチャートである。以下の説明における各変数は以下の通りである。

Ｘ：シナリオ文ＩＤｘの最大値；
Ｙ：テロップＩＤｙの最大値；
ａ_ｙ（ｉ）：テロップＴ_ｙから抽出されたｉ番目の名詞句；
ｎ：テロップＴ_ｙから抽出された名詞句の数；
適合判定処理部１８は、初めに、ステップ４０１からステップ４０７の処理により、あるｘ，ｙについてシナリオＪ_ｘとテロップ名詞列Ｔ_ｙとの文字列比較を行い、対応表Ｃ（ｘ，ｙ）に一致した単語数の割合を書き込む。ステップ４０８からステップ４１１までは、表内を総当り的に走査していくステップである。

ステップ４０１） シナリオのＩＤｘとテロップＩＤｙを初期化する。テロップ数と同じ列数とシナリオ区切り数と同じ行数を持つ表（テロップワード−シナリオ対応表Ｃ（ｘ，ｙ）．例えば、図１２））を作成する。また、対応表Ｃ（ｘ，ｙ）内の値を全て０にセットする。

ステップ４０２からステップ４０６では、シナリオＪ_ｘの部分列と、テロップＴ_ｙの各名詞との文字列比較を行う。出力は、一致した名詞の数をテロップＴ_ｙ中の全名詞数で割った値を記憶した対応表Ｃ（ｘ，ｙ）である（対応表の例は、図１２）。また、出力として一致したテロップ名詞の文字位置を同時に出力する例も考えられる（例えば、図１３の文字位置も保存する処理とした場合）。

ステップ４０２） テロップ内の名詞列ａ_ｉの文字位置ｉを１に、また一致回数カウンタｂを０に初期化する。

ステップ４０３） 文字列比較を行い、Ｊ_ｘの中にａ_ｉが含まれているかどうかを判定する。含まれている場合には、ステップ４０４に移行し、含まれていない場合にはステップ４０５に移行する。

ステップ４０４） ｂをインクリメントする。

ステップ４０５） テロップＴ_ｙ内の全ての名詞について文字列比較を行ったか判定する。つまり、文字位置ｉがテロップＴ_ｙ内の名詞の総数ｎと一致した時、文字列比較ループを抜けステップ４０７に移行する。一致しない場合には、ステップ４０６に移行する。

ステップ４０６） ｉをインクリメントし、ステップ４０３に移行する。

ステップ４０７） 算出された一致個数ｂとｎとの比を対応表Ｃ（ｘ，ｙ）に記録する。表中に記録する数値は、ステップ４０４で一致した文字位置情報を格納しておけば、その一致文字位置情報も同時に書き込むことができる（例えば、図１３）。図１３（Ａ）の対応表Ｃ（ｘ，ｙ）においてテロップ「２４」とシナリオ「３−２９」との対応する名詞の割合は１／２で、合致した名詞はテロップ２４の２番目の名詞であることがこの表によりわかるようになっている。次に、ステップ４０８に移行する。

ステップ４０８） 全てのテロップＩＤｙについて処理が終わっているかどうかを判定する。終わっていない場合は、ステップ４０９に移行し、終わっている場合は、ステップ４１０に移行する。

ステップ４０９） ｙをインクリメントし、ステップ４０２へ移行する。

ステップ４１０） 全てのシナリオＩＤｘについて処理を行ったかどうかを判定する。全てのキーワードについて処理が終わっていない場合は、ステップ４１１に移行する。処理が終わっている場合には、完成した対応表Ｃ（ｘ，ｙ）をメモリ等に出力する。

ステップ４１１） ｙを１に初期化し、ｘをインクリメントしてステップ４０２に移行する。

次に、ステップ３２のテロップ分布算出処理について説明する。

以下では、ステップ３１で作成された対応表Ｃ（ｘ，ｙ）をメモリ等から読み込んで入力するものとする。

図１４は、本発明の第１の実施の形態におけるテロップ分布算出・対応表修正処理のフローチャートである。

以下で用いられるδは、０以上の整数値であり、対応誤り消去の際に区切り境界付近で消去しない対応のオフセットであり、テロップの区切り検出誤差の見込み量である。

ステップ５１） トピックＩＤｔを初期化する。

ステップ５２） あるトピックＩＤｔに対するテロップの分布Ｓ_ｔ（ｙ）を算出し、ステップ５３に移行する。

Ｓ_ｔ（ｙ）の算出式は以下のようになる。

但し、ｘはトピックｔに属するシナリオＩＤである。

ステップ５３） トピックＩＤが１かどうかを判定する。１の場合は、処理に必要な２つ目の分布算出のため、ステップ５８に移行し、１以外の場合はステップ５４に移行する。

ステップ５４） ２分布間の区切りを算出する。２つのテロップ分布Ｓ_ｔ−１，Ｓ_ｔの区切りを算出し、算出されたテロップ分布Ｓ_ｔ（ｙ）を用いてテロップ分布の誤対応を修正する。当該ステップでは、２つのテロップ分布Ｓ_ｔ（ｙ），Ｓ_ｔ−１（ｙ）間の分離度を計算し、最大の分離度を与えるテロップＩＤを２分布の区切りとなるテロップＩＤとして算出する。分離度の算出法については、後述する。

この区切りとなるテロップＩＤをｔに対してｙ_ａ（ｔ）としてメモリ等に記憶する。この処理により、トピックｔ−１に属するテロップは、分布Ｓ_ｔ−１（ｙ）の内ｙ＜ｙ_ａ（ｔ−１）となり、また、トピックｔに属するテロップは分布Ｓ_ｔ（ｙ）の内ｙ≧ｙ_ａ（ｔ−１）となる。この区切りにより分布内に存在する誤対応を削除することができる。誤対応の削除の処理がステップ５５、５６である。

ステップ５５） トピックｔ−１における分布Ｓ_ｔ−１（ｙ）の、別のトピック（＞ｔ−１）に対応付いているテロップの対応を削除する。つまり、トピックｔ−１に属するシナリオＩＤｘ、ｙ≧ｙ_ａ（ｔ−１）＋δの範囲において対応表Ｃ（ｘ，ｙ）の各要素、及びｙ≧ｙ_ａ（ｔ−１）の範囲にあるテロップ分布Ｓ_ｔ−１（ｙ）の数値を０にする。

ステップ５６） ステップ５５同様に、トピックｔにおける分布の、別のトピック（＜ｔ）に対応付いている対応を削除する。つまり、トピックｔ’（ｔ’≧ｔ）に属したシナリオＩＤｘ、ｙ＜ｙ_ａ（ｔ）−δの範囲について対応表Ｃ（ｘ，ｙ）内の格要素と、及びテロップ分布Ｓ_ｔ＋１（ｙ）のｙ＜ｙ_ａ（ｔ）−δの範囲にある数値を０にする。δ（≧０）は、テロップ区切り検出の誤差により正しい対応付けが削除されるのを防ぐため、ステップ５５，５６にて削除しない区切り付近の要素数である。このようにしてテロップ分布及び対応表を修正する。対応表のｔ’（ｔ’≧ｔ）の範囲の要素について削除できるのは、テロップが１つのトピックに属しており、かつ、トピックの順番がシナリオテキストの順番と同じであるときのみ行うことができる。

ステップ５７） 次の処理対象トピックが存在するかどうかチェックし、存在するときはステップ５８に移行する。存在しないときは、トピック分布Ｓ_ｔ（ｙ）と修正された対応表Ｃ（ｘ，ｙ）を出力して終了する。

図１５に算出された分布と対応表を示す。「トピック３」と記している行がステップ５２にて算出された「トピック３」のテロップ分布を示している。この分布と「トピック４」の分布を入力し、２分布間の区切り検出を用いて、テロップ列のトピック区切りを算出する。

ここでは、トピック区切りとしてｙ_ａ（３）＝２８と算出されており、これで「トピック３」に対応するテロップがＩＤｙ＝２３〜２７（２３〜というのは、ｔ＝２，３間の区切りにより算出）、「トピック４」に対応するテロップがＩＤｙ＝２８〜と決定される。

それで、「トピック３」の文章にｙ≧２８のテロップが対応しているときはその対応を削除する。対応表Ｃ（ｘ，ｙ）でｙ≧２８に存在する「トピック３」の文章との対応を示す数値を全て０にセットする（表中の斜線で示す）。また、「トピック４」以上のトピックにおいてテロップｙ＜２８の対応表の値が０でないときには、０にセットする。各テロップが一つのトピックに属することを仮定すると、テロップと対応するトピックを特定し、対応するトピック以外の対応付けを消去したことによりテロップ内の名詞のシナリオとの誤対応が消去される。出力は、誤対応を消去した対応表Ｃ（ｘ，ｙ）と分布Ｓ_ｔ（ｙ）である。

次に、上記のステップ５４における分離度算出及び区切り検出処理を詳細に説明する。

図１６は、本発明の第１の実施の形態における分離度算出及び区切り検出処理のフローチャートである。

以下のステップ６０１〜６０８は、分布Ｓ_ｔ＋１（ｙ）の終点Ｙ_ｔ＋１を決定する処理であり、ステップ６０９〜６１３が分離度算出及び区切り検出の処理である。

ステップ６０１） 変数の初期化ステップであり、分離度Ｄ_ｔ＝０，分布インデックスｙ＝ｙ_ａ（ｔ−１）、区切り候補ｙ’＝ｙ_ａ（ｔ−１）＋δ＋１（但し、ｙ_ａ（０）＝０），Ｙ_ｔ＋１＝０，カウンタｚ＝０とする。

ステップ６０２） 分布Ｓ_ｔ＋１（ｙ）が０かどうか判定し、０でないときはステップ６０３に移行し、０の場合は、ステップ６０４に移行する。

ステップ６０３） ｙの値を記憶し（Ｙ_ｔ＋１＝ｙ）、カウンタｚをリセットして（ｚ＝０）ステップ６０６へ移行する。

ステップ６０４） Ｙ_ｔ＋１が初期状態かどうかを判定し、初期状態でないときは、ステップ６０５に移行する。

ステップ６０５） 分布が空の個数を数えるカウンタｚをインクリメントして、ステップ６０６に移行する。

ステップ６０６） 次のテロップが存在するか判断する（ｙ＝Ｙ）。また、からの個数ｚが一定値Ｚ以上になっていないかを判定する。「真」の場合は、ステップ６０７に移行し、「偽」の場合は、ステップ６０８に移行する。なお、テロップの分布は、該当するトピック範囲内に集まっているものであり、一定以上離れた場所の分布は誤りである可能性があるため、定数Ｚ以上は先を探さないこととしている。

ステップ６０７） 処理の終了後に、Ｙ_ｔ＋１が初期値であるとき（Ｙ_ｔ＋１＝０）、つまり、分布Ｓ_ｔ＋１（ｙ）が空であるかどうかを判定し、空の場合は、ステップ６１７に移行する。空でない場合には、区切り検出処理（ステップ６０９）に移行する。

ステップ６０８） ｙをインクリメントしてステップ６０２に移行する。

ステップ６０９） 分離度Ｄ_ｔ（ｙ’）を次式により算出し、ステップ６１０に移行する。

この式は、テロップｙ’の前で２つのトピックに分けたときに、それぞれのトピックに属する各テロップ分布の比をとったものである。１に近いとき２トピックの数の割合がつりあいに近いので分離が良いとする。

ステップ６１０） 分離度（Ｄ_ｔ（ｙ’））が１を超えるかどうかを判定する。超えた場合は、前後で区切りがあるのでステップ６１３に移行する。超えない場合はステップ６１１に移行する。

ステップ６１１） 終了判定を行う。区切りｙ’がＹ_ｔ＋１の場合は区切りが検出されずに終了することになり、ステップ６１４に移行する。終了でない場合には、ステップ６１２に移行する。

ステップ６１２） ｙ’をインクリメントしてステップ６０９に移行する。

ステップ６１３） ステップ６１０において、分離度が１を超えた場合に、１に近い分離度Ｄ_ｔ（ｙ’−１）と１／Ｄ_ｔ（ｙ’）を比較して、どちらが区切りかを判定する。大きな値を持つ方のｙ’の値を区切りとして出力して終了する。

ステップ６１４） これまで算出されたＤ_ｔ（ｙ’）のうち、最も１に近いものを区切りとして出力して終了する。

ステップ６１５） ステップ６１３において、Ｄ_ｔ（ｙ’−１）が区切りと判定された場合には、ｙ’−１を出力して処理を終了する。

ステップ６１６） ステップ６１３において、Ｄ_ｔ（ｙ’）が区切りとして判定された場合には、区切りｙ’を出力して処理を終了する。

ステップ６１７） ステップ６０７において空の場合には、前に算出された区切りＹ_ａ（ｔ−１）を出力して処理を終了する。

上記の手順によると、分布に空白が続いた後、区切りが存在するときには、ｙが大である方へ区切りがくることになる（分布の左端に区切りがくる）。これは、ニュース等のコンテンツにおいては、トピック初めのテロップは見出しのテロップとなっており、対応するシナリオが存在することが多いので、特に問題となることはない。シナリオと対応付いていないテロップのトピックは特に決定する必要はないと考えられる。

次に、上記のステップ３３の重要文抽出処理について説明する。

図１７は、本発明の第１の実施の形態における重要文抽出処理のフローチャートである。

ステップ７１） 処理対象トピックｔを初期化する（ｔ＝１）。

ステップ７２） 対象トピック内のシナリオｘについて、次式によりシナリオ重要度Ｖｔ（ｘ）を算出する。

ステップ７３） ステップ７２で算出した重要度Ｖ_ｔ（ｘ）内の最大値を与えるｘの値を重要文ＩＤｘ_ａ（ｔ）としてメモリ等に記憶する。この例では、最大値を与えるｘを１つしか算出していないが、複数の重要文を選んでもよい（一定数、一定重要度以上など）。

ステップ７４） ステップ７３で選ばれた重要文を形態素解析して、その中に含まれる固有名詞などを抽出する。これを重要文キーワードＵ_ｘ（ｔ）としてメモリ等に記憶する。このキーワードは、テロップには含まれていない場合、新たにキーワードとして追加することが可能である。このキーワードの重要度はそのキーワードを抽出した文の重要度をその文に含まれる相異なるキーワードの数で割ったものとする。重要文から取り出すキーワードは０個以上の名詞であり、また、固有名詞だけでなく、普通の名詞句を取り出してもよい。

ステップ７５） 次のトピックｔ＋１があるかを判定し、存在する場合は処理対象トピックを１増やして、ステップ７２に戻る。最後のトピックまで処理が終了したときは、重要文ＩＤｘ_ａ（ｔ）、重要度Ｖ_ｔ（ｘ_ａ（ｔ））、重要文キーワードＵ_ｘ（ｔ）を出力して処理を終了する。

出力例を図１８に示す。同図（Ａ）の表で右端の値が各シナリオＩＤの重要度であり、「トピック３」ではシナリオＩＤ３０の文の重要度が最大であるので、同図（Ｂ）の文章が出力される。「トピック３」の映像内容は、「加藤清正が行った治水事業」についての説明が主であるため、この抽出された文はまとめの文といえる。重要文キーワードは、『加藤清正』という固有名詞である。

次に、上記のステップ３４におけるキーワード決定処理について説明する。

図１９は、本発明の第１の実施の形態におけるキーワード決定処理のフローチャートである。

同図に示す処理は、出力部１９の出力テーブルＯに出力する情報を記憶し出力するものである。

出力テーブルの例として、図８（Ａ）の表と、図１３（Ｂ）の表がある。項目は、テロップＩＤｙ、対応するトピックＩＤ，抽出されたキーワード、キーワードの重要度がある。重要文に出てきているテロップの場合は、同時に出てきている他のテロップＩＤを記憶する関連テロップＩＤ，また重要文から抽出されたキーワードと重要文そのものへのポインタを格納する。このフローチャートはこの出力テーブルを作成する処理を説明している。なお、出力テーブルは出力部１９上のメモリ等の記憶手段上に作成されるものとする。

以下の処理の前提として、ステップ３３の処理結果として（ｘ_ａ（ｔ）、Ｖ_ｔ（ｘ_ａ（ｔ），Ｕ_ｘ（ｔ））の組が与えられるものとする。

ステップ８０１） 変数を初期化する。ｔ＝１、ｙ＝１、ｘ_ｔ＝（トピックｔに属しているシナリオのＩＤｘの集合）とする。

ステップ８０２） テロップｙの総重要度Ｗ_ｔ（ｙ）を算出する。算出方法は、次式による。

ステップ８０３） テロップ総重要度が０かどうか判定する。０の場合はテロップの名詞句がシナリオに１度も登場していないため、重要でないと判断できるため、キーワードとしては格納しない。ステップ８０４に移行する。０でない時には、ステップ８０８に移行する。

ステップ８０４） 次のテロップが存在するか判定し、存在すれば、ステップ８０５へ移行し、存在しない場合には出力テーブルＯを出力して終了する。

ステップ８０５） 次テロップが同トピックｔに属するかを判定し、同トピックでない場合、ステップ８０６へ移行する。同トピックの場合はそのままステップ８０７に移行する。

ステップ８０６） ステップ８０５で同トピックでない場合には、トピックｔをインクリメントしてステップ８０７に移行する。

ステップ８０７） 処理対象テロップＩＤをインクリメントしてステップ８０２に戻る。

ステップ８０８） ステップ８０３において、０でない時には、キーワードとして出力テーブルＯに書込みステップ８０９に移行する。

ステップ８０９） 重要文中にこのテロップ名詞句が含まれているかどうかを判定し、含まれている場合は、ステップ８１０に移行する。含まれていない場合にはステップ８０４に移行する。

ステップ８１０） 出力テーブルＯに、Ｃ（ｘ_ａ（ｔ），ｙ’）≠０であるｙ’全てを関連テロップＩＤとして、また、ステップ８０３で出力された重要文のキーワードを関連ワードとして、また、重要文へのポインタをそれぞれ追加し、ステップ８０４に移行する。

上記の処理結果は、例えば、図８（Ａ）の表、図１３（Ｂ）の表のように、映像番号に対して１つのテーブルをメモリ等の上に用意し、重要度が０でないテロップについて記録する。項目は、テロップＩＤ，トピックＩＤ，テロップ名詞列、テロップ総重要度Ｗ（ｙ）があり、また、重要文中に存在するテロップワードの行に対して関連ワードという項目を追加し、入力されている重要文キーワードＵ_ｘ（ｔ）をそこに記憶する。さらに、重要文へのポインタを追加する。このテーブルを映像番号と関連付けてデータベース（補助記憶装置）（図示せず）に格納する。

また、他の出力例は、図８（Ａ）の表に示す。テロップＩＤ，ｙ＝２３，２４，２５，２６，２７の名詞がキーワードとして出力される（図８（Ｂ））。図１３（Ａ）の表のように一致したテロップ名詞の文字位置情報も記憶されている場合は、シナリオ文と一致したテロップ名詞のみをキーワードとして出力することも可能である（図１３、『トピック３のキーワード』（Ｂ））。

［第２の実施の形態］
図２０は、本発明の第２の実施の形態における映像キーワード抽出装置の構成を示す。

同図において、図３と同一構成部分には同一符号を付与する。

図２０に示す映像キーワード抽出装置は、テロップ認識結果入力部９１、シナリオテキスト入力部１２、シナリオテキスト記憶部１４、制御部１５、テロップ認識結果記憶部９３、テロップ認識結果読み込み部９６、シナリオテキスト解析部９７、類似適合判定処理部９８、出力部９９から構成される。

テロップ認識結果入力部９１は、テロップ認識結果記憶部９３へテロップ認識結果を入力するものである。入力の方法は、例えば、映像を入力し、その映像に表示されたテロップ文字列を画像処理により認識し、テロップ文字コード列を記録することにより行う。

テロップ文字の認識処理は、例えば、「桑野他、“エッジ密集度によるテロップ文字フレーム検出誤り抑制法”（電子情報通信学会情報・システムソサエティ大会、D-12-12，１９９７年 ９月）」や、「森他、“背景・文字の形状特徴と動的修正識別関数を用いた映像中テロップ文字認識”（電子情報通信学会論文誌、Vol. J83-D2, No.7, pp.1658-1666. 2000年７月）等の技術を組み合わせて利用することで実現可能である。

一般的なテロップ文字認識手法では、必ずしも正確な文字コードが得られる訳ではないので、１つのテロップ文字について複数の認識結果を候補として出力することで、認識誤りに対してロバストな処理が実現できる。認識結果を、例えば、図２１に示すようなテロップン認識結果記憶テーブル９６１に格納する。図２１の例では、認識候補として、１０位までを各列毎に記憶している。一連のテロップ文字列（３００７）毎に、識別番号ＩＤ：ｙ（３００１）、テロップ表示開始時刻（３００２）、テロップ表示時間長（３００３）、テロップ文字数（３００４）、テロップ文字の大きさ（３００５）を記録する。

テロップ認識結果記憶部９３は、テロップ認識結果入力部１１からテロップ認識結果が入力され、蓄積されるデータベースであり、図２１（Ａ）に示すようなテロップ認識結果記憶テーブルが大量に記憶されている。各テーブルには映像に対応する番号が振られており、例えば、映像を指定すると自動的にその映像に対応したテロップ認識結果がとりだせるようなデータベースである。

このテロップ認識結果記憶のために必要な情報項目は、各テロップのＩＤｙ（３００１）、テロップ表示開始時刻（３００２）、テロップが表示されている時間長ｍ_ｙ（３００３）、テロップが表示される文字数ｎ_ｙ（３００４）、テロップの文字の大きさｂ_ｙ（３００５）、テロップ認識結果文字列Ｌ_ｙ（３００７）などである。テロップのＩＤｙは、映像においてテロップが出現する順に昇順であり、連続した整数値で付けられているものとする。テロップ表示時間長ｍ_ｙ（３００３）については、代わりにテロップ表示終了時刻が記録されているものでもよい。文字数ｎ_ｙ（３００４）は、テロップ認識結果文字列Ｌ_ｙ（３００７）から算出できるため、必ずしも必要な項目ではない。テロップ認識結果文字列Ｌ_ｙは、各行がテロップの各１文字に相当し、各列が認識候補を表している。この例では、テロップ認識の結果として、１０個の文字の候補が算出されるため１０列の認識文字候補が例には存在している。

テロップ認識結果読み込み部９６では、制御部１５で選ばれたテロップ認識結果記憶テーブルのデータをテロップ認識結果記憶部９３から読み込む。また、テロップ重要度を算出する。その結果を図２１の（Ｂ）に示す。この算出方法は、図３のテロップ情報抽出部１６の処理と同様の算出法を用いるものとする。

シナリオテキスト解析部９７は、制御部１５で選ばれたシナリオテキストをシナリオテキスト記憶部１４から入力する。入力されたシナリオテキストを一定の規則で区切り、それぞれの区切りにシナリオのＩＤを付与する。シナリオテキストにあるトピックの切れ目の情報もＩＤ付けして同時に格納する。

また、シナリオの各文に対して形態素解析を行い、名詞句を抽出する。各名詞句に対してＩＤｘ’を付与して、シナリオ名詞句記憶テーブル９７１に格納する。当該シナリオ名詞句記憶テーブル９７１の例を図２２に示す。同図の例では、シナリオテキストを１文ずつに区切り、名詞句を抽出している。項目は、名詞句ＩＤｘ’（２９０１）、シナリオＩＤｘ’（２９０２）、トピックＩＤｔ（２９０３）、文中でその名詞句が出現する文字位置（２９０４）、シナリオ名詞句Ｋ_ｘ（２９０５）である。

なお、形態素の方法としては、例えば、「形態素解析システム『茶筌』、情報処理Vol.41 No.11,pp.1208-1214,Nov.2000」がある。

また、形態素解析後に、名詞句を抽出する例を以下に示す。

・連続した名詞を一つの名詞句として取り出す（但し、サ変名詞の後に動詞『する』が来る場合のサ変名詞は除く）。

・上記に加え、助詞「の」で結ばれる２つの名詞（句）があれば、まとめて取り出す（例：『土木』（名詞）＋『の』（助詞）＋『神様』（名詞）→『土木の神様』）。

・助詞「の」が２つ以上存在する名詞句では、「の」で結ばれる名詞の組み合わせを全て取り出す。

・類似文字列比較をする場合は、上記のように抽出された名詞句のうち、一定文字列数以下の名詞（句）を消去する。これは類似文字列比較の信頼性を向上させるためである（また、トピックを特定するのにふさわしくない名詞（句）が抽出されることを防ぐ）。

類似適合判定処理部９８では、図２１のテロップ認識結果記憶テーブル９６１と、図２２のシナリオ名詞句記憶テーブル９７１を読み込み、映像のキーワードを出力する。出力例を図２３に示す。

出力部９９では、映像番号と出力されたキーワード及び文をデータベース等に格納する。なお、格納時のフォーマットは機械的に読み書きできるものであればよい。

次に、上記の構成における動作を説明する。

図２４は、本発明の第２の実施の形態における動作の概要を示すフローチャートである。

ステップ１０１） 制御部１５により、処理対象の映像を人が指定する、あるいは、機械的に決定することにより、テロップ認識結果読み込み部９６及びシナリオテキスト解析部９７に、映像に付与されている映像番号を渡す。

ステップ１０２） テロップ認識結果読み込み部９６は、ステップ１０１において制御部１５で選ばれた映像番号に対応するデータをテロップ認識意結果記憶部９３から読み込み、テロップ重要度を算出し、テロップ認識結果記憶テーブル９６１に格納する。なお、テロップ重要度の算出方法は、図３のテロップ情報抽出部１６の処理と同様である。

ステップ１０３） シナリオテキスト解析部９７は、ステップ１０１において制御部１５で選ばれた映像番号に対応するデータをシナリオテキスト記憶部１４から読み込み、シナリオテキストを一定の規則で区切り、それぞれの区切りにシナリオのＩＤを付与する。シナリオテキストにあるトピックの切れ目の情報もＩＤ付けして、同時にシナリオ名詞句記憶テーブル９７１に格納する。また、シナリオの各文に対して、形態素解析を行い、名詞句を抽出する。各名詞句に対してＩＤｘ’を付けてシナリオ名詞句記憶テーブル９７１に格納する。格納したデータの例を図２２に示す。この例では、シナリオテキストを１文ずつに区切り、名詞句を抽出している。項目は、名詞句ＩＤｘ’（２９０１）、シナリオＩＤｘ（２９０２）、トピックＩＤｔ（２９０３），文中で、名詞句が出現する文字位置（２９０４）、シナリオ名詞句Ｋ_ｘ’（２９０５）である。

ステップ１０４） 類似適合判定処理部９８において、シナリオ名詞句記憶テーブル９７１と、テロップ認識結果記憶テーブル９６１からシナリオ名詞句Ｋ_ｘ’と、テロップ認識文字列Ｌ_ｙを読み込み、ｘ’ｙの全ての組み合わせについて順次照合し、テロップ認識文字列Ｌ_ｙの中にシナリオ名詞句Ｋ_ｘ’が部分文字列として含まれているか調べ、含まれている場合は、そのシナリオ名詞句Ｋ_ｘ’と、テロップＬ_ｙとのＩＤの組（ｘ’，ｙ）と、シナリオ名詞句Ｋ_ｘ’とテロップＬ_ｙの出現回数Ａ（ｘ’）、Ｂ（ｙ）を出力する。出力は、抽出されたキーワードと当該キーワードに対応するＩＤの組（ｘ’，ｙ）などである。このステップについては、図２５で後述する。

ステップ１０５） 出力部９９において、映像番号と出力されたキーワード及び文をデータベース等に格納する。格納時のフォーマットは、機械的に読み書きできるものであればよい。または、ディスプレイ等の表示装置によりユーザに抽出されたキーワードを表示してもよい。

次に、上記のステップ１０４の類似適合判定処理について説明する。

図２５は、本発明の第２の実施の形態における類似適合判定処理のフローチャートである。

ステップ１１１） 類似適合判定処理部９８は、シナリオ名詞句のＩＤｘ’とテロップＩＤｙを初期化する。また、全てのテロップの中でシナリオ名詞句Ｋ_ｘ’が出現した回数Ａ（ｘ’）が出現した回数Ａ（ｘ’）と、全てのシナリオ名詞句の中でテロップＬ_ｙが出現した回数Ｂ（ｙ）を０に初期化する。

ステップ１１２）、シナリオ名詞句Ｋ_ｘ’と、テロップ認識結果文字列Ｌ_ｙの部分列と類似文字列比較を行い、類似度を算出し、類似度が一定値以上であるとき一致と見做す。この類似度算出については、後述する。

ステップ１１３） 一致した場合としなかった場合の場合分けを行う。不一致が確認された場合には、ステップ１１５に移行し、一致が確認された場合にはステップ１１４に移行する。

ステップ１１４） ステップ１１３で一致したシナリオ名詞句ＩＤｘ’と、テロップＩＤｙの対（ｘ’，ｙ）を出力する。また、一致したそれぞれのＩＤに対応する出現回数Ａ（ｘ’）、Ｂ（ｙ）をインクリメントした後、ステップ１１５に移行する。

ステップ１１５） 全てのテロップについて処理が終わっているかどうかを判定する。終わっていない場合は、ステップ１１６に移行し、終わっている場合には、ステップ１１７に移行する。

ステップ１１６） ｙをインクリメントし、ステップ１１２に戻る。

ステップ１１７） 全てのシナリオ名詞句について処理を行ったかを判定する。全てのキーワードについて処理が終わっていない場合は、ステップ１１８に移行し、終わっている場合には、ステップ１１９に移行する。

ステップ１１８） ｙを１に初期化し、ｘ’を１つ増やしてステップ１１２に戻る。

ステップ１１９） 上記の処理の結果を用いて、キーワードとなる語や重要なテロップなどを決定し、出力する。例えば、ある閾値よりＡ（ｘ’）が大きい時は、シナリオ名詞句Ｋｘ’を重要語として出力する。また、ある閾値よりＢ（ｙ）が大きいとき、そのテロップＬ_ｙを重要なテロップとして出力したり、Ｋｘ’とその重要度Ａ（ｘ’）あるいは、図２１に記載されている重要度３００６を組にして出力することも可能である。

出現回数Ａ（ｘ’）の大きなシナリオ名詞句Ｋｘ’はテロップとして表示された回数が多いキーワードであり、Ａ（ｘ’）は、キーワードの重要度の目安として利用可能である。音声と映像の両者に含まれる言葉は、視聴者に印象付けたいと映像制作者が意図したものと考えることができる。本発明では、音声としてのセリフ部分の重要語（シナリオ名詞句）と、映像表示としてテロップ文字列との相関を調べることでキーワードを抽出している。

また、Ｂ（ｙ）の大きなテロップＬ_ｙは、シナリオ名詞句を多く含むということで、Ｌ_ｙは纏めてきなテロップであると考えられ、例えば、そのテロップの表示時間前後に重要な（トピックにおいてキーとなる）映像や音声が流れていると判断することもできる。

次に、ステップ１１２の類似文字列判定処理について説明する。

図２６は、本発明の第２の実施の形態における類似文字列判定処理のフローチャートである。同図に示す処理は、大きく分けて３つの部分に分かれる。ステップ１２０２、１２１３〜１２１６が名詞句文字ｋ_ｉの内、テロップ認識結果文字ｇ_ｊの中に存在する文字を探す先頭一致文字検出フェーズであり、ステップ１２０３〜１２１０がＤＰマッチングにより一致した先頭文字から名詞句と認識結果文字列との編集距離を算出していく編集距離マトリックス作成フェーズ、ステップ１２１１，１２１２が算出された類似度の最大値を格納していく類似度最大化フェーズである。

先頭一致文字列検出フェーズでは、テロップ文字列の中でシナリオ名詞句の文字を含む文字位置の探索を行う。その後一致した文字位置以降の部分文字列について編集距離を算出する編集距離マトリクス作成フェーズへ移行する。

編集距離マトリックス作成フェーズについては、公知の技術であるＤＰマッチングを用いた類似文字列照合処理を行う。例えば、「内山他、“近似文字列照合による前文検索のための接尾辞配列の高速走査法”（情報処理学会論文誌：データベース（２００２年度）、Vol.43, No.SIG9(TOD15), pp>1-14)）を参考にした方法を用いることができる。

以下にその概略を説明する。

文字列Ｋ＝ｋ_１，ｋ_２，…，ｋ_ＩとＧ＝ｇ_１，ｇ_２，…，ｇ_Ｊのそれぞれ文字位置ｉ_０〜I，ｊ_０〜Jの部分文字列の編集距離をｄｉｓｔ（Ｋ，Ｇ）とする。ここで編集距離とはＫをＧに一致させる操作として、置換・削除、挿入を許したとき、それらのコストの総和のことである。ここで、ｋ_ｉとｇ_ｊの置換コストをｓｕｂ（ｋ_ｉ，ｇ_ｊ）、ｇ_ｊの削除コストをｄｅｌ（ｇ_ｊ），ｋ_ｉの挿入コストをｉｎｓ（ｋ_ｉ）とする。ｋ_１…ｉとｇ_１…ｊとの距離をＤ［ｉ，ｊ］は、次のような漸化式で計算できる。

D[i₀-1,j₀-1]=0，
D[i,j₀-1]=D[i-1,j₀]+ins(k_i)
D[i₀-1,j]=D[i₀-1.k-1]+del(ｇ_j)
D[i,j]=min{D[i-1,j-1]+sub(k_i,ｇ_j),D[i-1,j]+del(k_i),D[i,j-1]+ins(ｇ_j)}
(i₀≦i≦I, j₀≦j≦J)
コストとして考えられるものとしては、例えば、任意のｉ，ｊについて、ｓｕｂ（ｋ_ｉ，ｇ_ｊ）=０（ｇ_ｊの認識候補中にｋ_ｉが存在する場合。以降便宜上ｋ_ｉ＝ｇ_ｊ表す）、ｓｕｂ（ｋ_ｉ，ｇ_ｊ）＝１（ｇ_ｊの認識候補中にｋ_ｉが存在しない場合。以降便宜上ｋ_ｉ≠ｇ_ｊと表す）、ｄｅｌ（ｇ_ｊ）＝１, ｉｎｓ（ｋ_ｉ）＝１などがある。また、ｓｕｂ（ｋ_ｉ，ｇ_ｊ）＝{テロップ認識において算出された文字の類似度（０から１の範囲）}とする方法も考えられる。

また、テロップ認識結果の文字コード列が複数候補算出される場合は、文字の一致をその文字位置ｊにおける認識候補の一致文字の和集合とみなし、ｓｕｂ（ｋ_ｉ，ｇ_ｊ）を算出する。

このとき、
ｄｉｓｔ（Ｋ，Ｇ）＝ｍｉｎ｛Ｄ［Ｉ，ｊ］｝ …（式Ａ）
である。

ここで、類似度をこの編集距離と名詞句の文字列長Ｉ、及びＤ［ｉ，ｊ］＝Ｄ［ｉ−１，ｊ−１］＋ｓｕｂ（ｋ_ｉ，ｇ_ｊ）を選んだ回数（上記の例ではｋ_ｉ＝ｇ_ｊの回数）Ｎを用いて例えば、Ｎ／（Ｉ＋ｄｉｓｔ（Ｋ，Ｇ））とする。ｉ_０，ｊ_０を変化させながら類似度を計算し、類似度が予め設定した値よりも大きい場合、シナリオ名詞句は、テロップＧに含まれていると判断する。

また、シナリオ名詞句Ｋとテロップ認識結果文字列の文字位置ｊ_０〜ｊ_ｅと（但し、ｊ_ｅは式Ａにてｍｉｎ｛Ｄ［Ｉ，ｊ］｝を与えるｊの最大値）とが、ほぼ一致したと考えられるので、例えば、テロップ文字位置ｊ_０〜ｊ_ｅの部分文字列をシナリオ名詞句Ｋで置換することでテロップ認識結果を修正できる。

類似度最大化フェーズは類似度を算出し、類似度の最大となる位置とその類似度の値を保存する。

図２６のフローチャートにおいて、
Ｄ［ｉ，ｊ］：編集距離マトリックス；
ｋ_ｉ：あるシナリオ名詞句のｉ番目の文字；
ｇ_ｊ：あるテロップ認識結果文字列のｊ番目の文字（複数候補が存在）；
Ｎ：ｋ_ｉ＝ｇ_ｊとなった回数。ただし、ｋ_ｉ＝ｇ_ｊは複数候補を持つ文字ｇ_ｊの候補中に文字ｋ_ｉが含まれていることを示す（以下、同様）；
Ｑ：類似度；
Ｉ：シナリオ名詞句Ｋの文字列数（ｉの最大値）；
Ｊ：テロップ認識結果Ｇの文字列長（ｊの最大値）；
を示す。

ステップ１２０１） 変数の初期化ステップである。名詞句文字位置ｉ、認識文字文字位置ｊをそれぞれ初期値の“１”に、一致文字数Ｎ、類似度Ｑをそれぞれ０に初期化する。また、テロップ認識結果文字列の一致先頭文字位置ｊ_ｑ、一致終端文字位置ｊ_ｅを０に初期化する。

ステップ１２０２） 名詞句文字ｋ_ｉを認識文字ｇ_ｊの各候補文字と比較して一致するものがあるか調べる。存在する場合は、編集距離を算出することにし、ステップ１２０３へ移行する。存在しない場合は、ステップ１２１３に移行する。

ステップ１２０３） 編集距離マトリクスＤの算出前にＤの初期化を行う。事前の編集距離として、ｉ−1行目とj−1列目を埋めておく。また、先頭の一致位置をｉ_０，ｊ_０としてそれぞれメモリ等に記憶しておく。

ステップ１２０４） 現認識文字位置ｊが認識文字長を超えていない場合、ステップ１２０２と同様のｋ_ｉとｇ_ｉの文字を各候補について比較し、一致文字があるかどうか判定する。一致文字があった場合とない場合で編集距離マトリクスの置換コストがない場合とある場合にはステップ１２０５に移行し、そうでない場合には、ステップ１２０６に移行する。

ステップ１２０５） Ｄ［ｉ，ｊ］＝ｍｉｎ｛Ｄ［ｉ−１，ｊ−１］＋ｓｕｂ，Ｄ［ｉ，ｊ−１］＋ｉｎｓ，Ｄ［ｉ−１，ｊ］＋ｄｅｌ｝を計算し、ステップ１２０７に移行する。

ステップ１２０６） 一致回数Ｎをインクリメントし、上記のステップ１２０５のｓｕｂを含む項でそのｓｕｂを足さないでＤ［ｉ，ｊ］を算出し、ステップ１２０７に移行する。但し、この例では、sub=１，ins=1，del=１としている。

ステップ１２０７） 認識文字位置ｊが初期位置から名詞句文字列長より定数ｃだけ大きくなっているかどうか判定する、認識文字位置による終了判定を行う。認識結果に冗長な誤認識文字が（１つの文字を２つの文字と誤認識することにより）存在することがあるため、比較すべき文字列の長さをｃだけ伸ばすことにしている。当該ステップで認識文字について比較が終了したと判定された場合はステップ１２０９へ、終了していない場合は、ステップ１２０８へ移行する。

ステップ１２０８） 認識文字位置をインクリメントしてステップ１２０４に戻る。

ステップ１２０９） 名詞句文字位置ｉが最後の文字についてまで編集距離マトリックスを作成した場合には、ステップ１２１１に移行し、最後の文字まで比較が終わっていない場合には、ステップ１２１０に移行する。

ステップ１２１０） 名詞句文字位置ｉをインクリメントし、また、認識結果文字位置ｊをｊ_０に戻してステップ１２０４に戻る。

ステップ１２１１） Ｑ＝Ｎ／（ｍｉｎ｛Ｄ[Ｉ，ｊ]｝＋Ｉ）により、類似度Ｑを算出する。名詞句文字位置ｉ＝Ｉにおける編集距離マトリクスの最小値ｍｉｎ｛Ｄ［Ｉ，ｊ］｝が求める編集距離となり、それと名詞句文字列長Ｉを足したもので一致文字数を割った値を類似度として採用する。それが、現在メモリ等に記憶されている類似度とどちらが大きいかを判定する。Ｑ＜Ｎ／（ｍｉｎ｛Ｄ[Ｉ，ｊ]｝＋Ｉ）である場合には、ステップ１２１２に移行し、そうでない場合には、ステップ１２０２に戻る。

ステップ１２１２） ステップ１２１１で求められた類似度をＱに、現先頭文字位置ｊ_０をｊ_ｑに、評価値Ｑの算出の際に得られるｍｉｎ｛Ｄ［Ｉ，ｊ］｝を与えるｊをｊ_ｅにそれぞれ記憶し、先頭文字位置検出フェーズのステップ１２０２に戻る。

ステップ１２１３） 認識文字の次の文字があるかｊにより判定した後、次の認識文字がある場合、ステップ１２１４に移行する。

ステップ１２１４） 文字位置ｊをインクリメントしてステップ１２０２に戻る。

ステップ１２１５） 名詞句文字の次の文字があるかｉにより判定し、次の文字がある場合、ステップ１２１６へ移行する。最後まで調べていた場合はステップ１２１７へ移行する。

ステップ１２１６） 名詞句文字ｋ_ｉの文字位置ｉをインクリメントしてステップ１２０２に戻り、次の文字について認識結果文字を初めから調べていくために、ｊ＝１とする。

ステップ１２１７） 文字位置ｊ_ｑ，ｊ_ｅと類似度Ｑを出力する。ここで、文字位置ｊ_ｑ〜ｊ_ｅはシナリオ名詞句文字列｛ｋ_ｉ｝が対応するテロップ認識結果文字列｛ｇ_ｉ｝中の文字位置であり、その文字列同士の類似度がＱである。

以上のようにして、認識文字列と名詞句文字列の類似度を算出する。

［第３の実施の形態］
図２７は、本発明の第３の実施の形態における映像キーワード抽出装置の構成図である。

本実施の形態は、前述の第１の実施の形態の処理対象の一つがテロップ原稿からテロップ認識結果文字列になった例を示しており、主な処理については、第１の実施の形態と大差ない。本実施の形態では、テロップを形態素解析する代わりに、シナリオテキストを形態素解析する。テロップ認識結果には、誤認識文字が含まれており、形態素解析を行うことが困難であるのがその理由である。類似文字比較の部分は、第２の実施の形態と同様である。以下には変化のある部分だけを記載する。

図２７では、図３及び、図２０と同一部分については同一符号を付す。

シナリオテキスト解析部１３７では、制御部１５で選ばれた番号に対応するシナリオテキストをシナリオテキスト記憶部１４から読み出し、入力されたシナリオテキストを一定の規則で区切り、それぞれの区切りにシナリオＩＤを付与する。シナリオテキストにあるトピックの切れ目の情報もＩＤ付けして同時に格納する。

また、シナリオの各文に対して形態素解析を行い、名詞句を抽出する。各シナリオＩＤそれぞれに複数のシナリオ名詞句列Ｋ_ｘを算出し、シナリオ名詞句記憶テーブル１３７１に格納する。図２８にシナリオ名詞句記憶テーブル１３７１の例を示す。この例では、シナリオテキストを１文ずつに区切り、名詞句を抽出している。項目は、シナリオＩＤｘ（３２０２）、トピックＩＤｔ（３２０３）、文中でキーワードが現れる文字位置（３２０４）、シナリオ名詞句列Ｋ_ｘ（３２０５）である。

類似適合判定処理部１３８では、図２１（Ｂ）のテロップ認識結果記憶テーブルと、図２８のシナリオ名詞句記憶テーブルのデータを入力し、映像のキーワードを出力する。出力例を図２９に示す。テロップＩＤｙ（３３０１）、関連テロップＩＤ（３３０５）はテロップ認識結果記憶テーブル図２１（Ｂ）から、トピックＩＤ（３３０２），キーワード列（３３０３）、関連ワードは、シナリオ名詞句記憶テーブル（図２８）から、それぞれ選ばれ取得される。また、キーワード重要度（３３０４）はテロップ認識結果記憶テーブル（図２１）のテロップ重要度と後述のテロップ−シナリオ名詞句対応表とを用いて算出される。

出力部１３９では、映像番号と出力された図２９のような出力テーブルのデータをデータベース等に格納する。格納時のフォーマットは機械的に読み書きできるものであればよい。

次に、上記の構成における動作を説明する。

図３０は、本発明の第３の実施の形態における動作の概要を示すフローチャートである。

同図では、図２４の動作と異なる部分（ステップ１４２，１４４，１４５）のみ説明する。

ステップ１４２） シナリオテキストを読み込み、一定の規則で区切り、それぞれの区切りにシナリオのＩＤを付与する。シナリオテキストにあるトピックの切れ目の情報もＩＤを付与して同時にシナリオ名詞句記憶テーブル１３７１に格納する。また、シナリオの各文に対して形態素解析を行い、名詞句を抽出する。各シナリオＩＤそれぞれに複数のシナリオ名詞句列Ｋ_ｘを算出し、シナリオ名詞句記憶テーブル１３７１に格納する。このようなデータが格納されたシナリオ名詞句記憶テーブル１３７１の例を図２８に示す。この例では、シナリオテキストを１文ずつに区切り、名詞句を抽出している。項目は、シナリオＩＤｘ（３２０２），トピックＩＤｔ（３２０３）、文中でキーワードが現れる文字位置（３２０４）、シナリオ名詞句列Ｋ_ｘ（３２０５）である。

ステップ１４４） 図２１（Ｂ）のテロップ認識結果記憶テーブルと図２８のシナリオ名詞句記憶テーブルを入力し、図２９に示すようなデータを出力する。シナリオ名詞句列とテロップ認識結果の類似文字列比較を行い、各テロップに含まれるシナリオ名詞句列の対応表を算出し、その対応からトピック区切りを算出し、テロップをトピック単位に区切って分布を修正し、各名詞句の重要度を算出することによってキーワードを選択する。

ステップ１４５） 映像番号と出力された図２９のような出力テーブルをデータベース等に格納する。格納時のフォーマットは機械的に読み書きできるものであればよい。

次に、上記のステップ１４４を詳細に説明する。

図３１は、本発明の第３の実施の形態における適合判定処理のフローチャートである。

同図のフローチャートは、図１０の処理を基本とし、テロップ原稿の代わりにテロップ認識結果を用いて、それに対応できるよう変更を加えた例である。以下では、図１０と異なる処理についてのみ説明する。

ステップ１５１） 入力されたシナリオ名詞句記憶テーブル１３７１と、テロップ認識結果記憶テーブル９６１のデータのマッチングを、シナリオ名詞句列Ｋ_ｘとテロップ認識文字列Ｌ_ｙを用いて行う。そのマッチング結果を対応表Ｃ（ｘ，ｙ）としてメモリ等に記録する。Ｃ（ｘ，ｙ）に記録する数値としては、テロップ認識文字列Ｌ_ｙに含まれるシナリオ名詞句列Ｋ_ｘの名詞句の文字位置である。詳細は後述する。

ステップ１５２） テロップ分布を算出し、対応表Ｃ（ｘ，ｙ）を修正する。

具体的には、図１４のフローチャートのステップ５２の式を変更しただけである。詳細については後述する。

ステップ１５３） ステップ３２で出力された対応表Ｃ（ｘ，ｙ）とテロップ認識結果テーブルのデータを入力し、シナリオ文の重要度ｗ（ｙ）を算出する。テロップ重要度を反映した対応表ｗ（ｙ）Ｃ（ｘ，ｙ）を作成し、それを用いてシナリオ文の重要度を算出する。

具体的には、図１７のフローチャートのステップ７２の式とステップ７４を変更しただけのフローである。詳細は後述する。

ステップ１５４）テロップ重要度を利用してキーワードを選び出し、例えば、図８、図１３に示すような形で出力する。ステップ１５３で抽出されたシナリオ文からのキーワードもこの出力に付け加えることが可能である。詳細は後述する。

次に、上記のステップ１５１における処理について説明する。

図３２は、本発明の第３の実施の形態における対応表作成処理のフローチャートである。同図に示す処理は、第１の実施の形態における図１１のステップ４０３，４０４，４０７を変更したものであり、以下では、変更点（ステップ１６０３，１６０４，１６０７）のみを説明する。

本実施の形態では、シナリオから名詞句列を取り出しているので、文字列比較ループがシナリオ名詞句列―テロップ認識結果文字列比較ループとなる。文字位置ｉがシナリオ名詞句Ｋ_ｘ内に存在する名詞句の文字位置となる。また、文字列比較法が類似文字列比較になる。

以下に、各ステップにおける変更点を述べる。

ステップ１６０３） 前述のステップ４０３では、一致文字列を探していたのに対し、本実施の形態では、シナリオ文字列ａ_ｘ（ｉ）∈ｋ_ｘとＬ_ｙの類似文字列比較に変更される。

この処理手順は、図２６の類似文字列比較により算出された類似度を閾値処理することにより、一致かどうかを判定するものである。

ステップ１６０４） 前述のステップ４０４では一致個数を数えていたのを、一致した単語の文字位置を配列（Ｉ）に追加する処理へ変更する。

ステップ１６０７） 対応表に書き込む値を、文字位置ｉの配列に変更する。

この変更された手順により作成される対応表は図３３のようになる。

次に、前述のステップ１５２における対応表を修正する処理を説明する。

図３４は、本発明の第３の実施の形態におけるテロップ分布算出・対応表修正処理のフローチャートであり、第１の実施の形態における図１４のステップ５２に代わる処理である。変更部分（ステップ１７２）のみを説明する。

ステップ１７２） 図１４のステップ５２からの変更は、対応表の値Ｃ（ｘ，ｙ）における要素（対応する名詞句）の個数｜Ｃ（ｘ，ｙ）｜を代わりに用いてテロップ分布Ｓ_ｔ（ｙ）を算出する。この変更に伴って算出されるテロップ分布と対応表の修正例を図３５に示す。

次に、前述のステップ１５３の重要文抽出処理について説明する。

図３６は、本発明の第３の実施の形態における重要文抽出処理のフローチャートである。

同図に示す処理は、前述の第１の実施の形態の図１７のフローチャートの内、ステップ７２、ステップ７４を変更したものなので、その部分（ステップ１８２，１８４）のみを説明する。本実施の形態におけるテロップ重要度表ｗ（ｙ）｜Ｃ（ｘ，ｙ）｜とシナリオ、テロップ重要度を図３７に示す。

ステップ１８２） シナリオ文の重要度を算出する際の変更としてＣ（ｘ，ｙ）を使用する代わりに、対応表の要素の個数である｜Ｃ（ｘ，ｙ）｜を利用する。

ステップ１８４） シナリオ名詞句記憶テーブルからシナリオＩＤがｘ_ａ（ｔ）のものを読出し、そのシナリオ名詞句列Ｋｘ中の名詞の中の数値表現や固有名詞などの内、任意のｙについて対応表Ｃ（ｘ_ａ（ｔ），ｙ）に文字位置が存在しない名詞句を一定個数選択し、重要文キーワードＵ_ｘ（ｔ）として記憶し、出力する。

次に、前述のステップ１５４のキーワード決定処理について説明する。

図３８は、本発明の第３の実施の形態におけるキーワード決定処理のフローチャートである。

同図に示す処理は、第１の実施の形態における図１９のフローチャートの内、ステップ８０２，８０８，８１０を変更したものなので、その部分（ステップ１９０２，１９０８，１９１０）のみを説明する。

ステップ１９０２） 対応表の変更に伴う計算式の変更であり、

となる点において異なる。

ステップ１９０８） テロップ総重要度Ｗ_ｔ（ｘ）が０でないテロップと類似したシナリオ名詞句を出力部９９の出力テーブルにキーワードとして書き込む。

ステップ１９１０） 重要文として抽出された文中に出現するテロップｙ’をＣ（ｘ_ａ（ｔ），ｙ’）が空でないｙ’として算出し、そのｙ’を関連テロップとして書き込む。また、ｙ’に重要文キーワードＵ_ｘ（ｔ）を関連キーワードとして書き込む。
また、重要文自体へのポインタを書き込む。

この一連の処理により書き込まれる出力部９９の出力テーブルの例を図２９に示す。

また、上記の第１〜第３の実施の形態における各フローチャートに示す動作をプログラムとして構築し、映像キーワード抽出装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行する、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムを映像キーワード抽出装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、実施する際にコンピュータにインストールすることも可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明は、膨大な数の映像データから所望の映像を検索するシステムに適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の第１の実施の形態における映像キーワード抽出装置の構成図である。 本発明の第１の実施の形態におけるテロップ原稿記憶部のテロップ原稿記憶テーブルの例である。 本発明の第１の実施の形態におけるシナリオテキスト記憶部に蓄積されるシナリオテキストの例である。 本発明の第１の実施の形態におけるテロップワード記憶テーブルの例である。 本発明の第１の実施の形態におけるシナリオテキスト記憶テーブルの例である。 本発明の第１の実施の形態における適合判定処理部の出力例である。 本発明の第１の実施の形態における動作の概要を示すフローチャートである。 本発明の第１の実施の形態における適合判定処理のフローチャートである。 本発明の第１の実施の形態における対応表作成処理のフローチャートである。 本発明の第１の実施の形態におけるテロップワード−シナリオ対応表の例（祖の１）である。 本発明の第１の実施の形態におけるテロップワード−シナリオ対応表の例（対応した単語の文字位置も同時に記憶する例）である。 本発明の第１の実施の形態におけるテロップ分布算出・対応表修正処理のフローチャートである。 本発明の第１の実施の形態におけるテロップワード−シナリオ対応表の例（その２）である。 本発明の第１の実施の形態における分離度算出・区切り検出処理のフローチャートである。 本発明の第１の実施の形態における重要文抽出処理のフローチャートである。 本発明の第１の実施の形態における対応表の「トピック３」についての重要度ｗ（ｙ）Ｃ（ｘ，ｙ）算出とキーワードである。 本発明の第１の実施の形態におけるキーワード決定処理のフローチャートである。 本発明の第２の実施の形態における映像キーワード抽出装置の構成図である。 本発明の第２の実施の形態におけるテロップ認識結果記憶テーブルの例である。 本発明の第２の実施の形態におけるシナリオ名詞句記憶テーブルの例（その１）である。 本発明の第２の実施の形態における類似適合判定処理部の出力例である。 本発明の第２の実施の形態における動作の概要を示すフローチャートである。 本発明の第２の実施の形態における類似適合判定処理のフローチャートである。 本発明の第２の実施の形態における類似文字列判定処理のフローチャートである。 本発明の第３の実施の形態における映像キーワード抽出装置の構成図である。 本発明の第３の実施の形態におけるシナリオ名詞句記憶テーブルの例である。 本発明の第３の実施の形態における処理結果記憶例である。 本発明の第３の実施の形態における動作の概要を示すフローチャートである。 本発明の第３の実施の形態における適合判定処理のフローチャートである。 本発明の第３の実施の形態における対応表作成処理のフローチャートである。 本発明の第３の実施の形態におけるテロップ−シナリオ名詞句対応表の例である。 本発明の第３の実施の形態におけるテロップ分布算出・対応表修正処理のフローチャートである。 本発明の第３の実施の形態におけるテロップ−シナリオ名詞句対応表から算出された分布と対応表の修正例である。 本発明の第３の実施の形態における重要文抽出処理のフローチャートである。 本発明の第３の実施の形態におけるテロップ重要度表ｗ（ｙ）｜Ｃ（ｘ，ｙ）｜とシナリオ、テロップ重要度の例である。 本発明の第３の実施の形態におけるキーワード決定処理のフローチャートである。

符号の説明

１１ テロップ原稿入力部
１２ シナリオテキスト入力部
１３ テロップ原稿データベース、テロップ原稿記憶部
１４ シナリオテキストデータベース、シナリオテキスト記憶部
１５ 指定手段、制御部
１６ テロップ原稿読み込み手段、テロップ情報抽出部
１７ シナリオ読み込み手段、シナリオ読み込み部
１８ 適合判定処理手段、適合判定処理部
１９ 出力手段、出力部
９３ テロップ認識結果記憶部
９６ テロップ認識結果読み込み部
９７ シナリオテキスト解析部
９８ 類似適合判定処理部
９９ 出力部
１６１ テロップワード記憶テーブル
１７１ シナリオテキスト記憶テーブル
１３７ シナリオテキスト解析部
１３８ 類似適合判定処理部
１３９ 出力部
９５２ 映像番号
９６１ テロップ認識結果記憶テーブル
９７１ シナリオ名詞句記憶テーブル
２１０１ ＩＤ
２１０２ テロップ表示開始時刻
２１０３ テロップ表示時間長
２１０４ テロップ
２１０５ 文字数
２１０６ 文字の大きさ
２２０１ ＩＤ
２２０２ テロップ名詞列
２２０３ テロップ重要度
２３０１ ＩＤ
２３０２ トピックＩＤ
２３０３ シナリオ
２７０１ テロップＩＤ
２７０２ トピック３のキーワード
２９０１ 名詞句ＩＤｘ’
２９０２ シナリオＩＤｘ’
２９０３ トピックＩＤｔ
２９０４ 文中でキーワードが出現する文字位置
２９０５ シナリオ名詞句Ｋ_ｘ
３００１ ＩＤ
３００２ テロップ表示開始時刻
３００３ テロップ表示終了時刻
３００４ 文字数
３００５ 文字の大きさ
３００６ テロップ重要度
３００７ テロップ認識結果文字列
３２０１ ＩＤ
３２０２ トピックＩＤ
３２０４ 出現文字位置
３２０５ シナリオ名詞句列
３３０１ テロップＩＤ
３３０２ トピックＩＤ
３３０３ キーワード列
３３０４ 重要度
３３０５ 関連テロップＩＤ

Claims (24)

1. 大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
   指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込むシナリオ読み込み過程と、
   前記映像識別情報に基づいて、前記シナリオテキストに対応する映像のテロップ原稿が蓄積されたデータベースからテロップ原稿を読み込むテロップ原稿読み込み過程と、
   前記テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出過程と、
   前記テロップから抽出された前記名詞句と前記シナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理過程と、
   少なくとも、前記映像識別情報と前記キーワードを出力する出力過程と、を行うことを特徴とする映像キーワード抽出方法。
2. 前記適合判定処理過程において、
   前記対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出し、
   前記重要文を形態素解析して、キーワードを抽出する請求項１記載の映像キーワード抽出方法。
3. 前記適合判定処理過程において、
   前記対応表からトピック毎のテロップの分布を算出し、
   算出されたテロップ分布に基づいて前記対応表を修正する過程を更に行う請求項１記載の映像キーワード抽出方法。
4. 大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
   シナリオテキストが蓄積されたシナリオデータベースと、
   テロップ原稿が蓄積されたテロップ原稿データベースと、
   処理対象の映像識別情報を指定する指定手段と、
   前記指定手段により指定された映像識別情報に基づいて、前記シナリオデータベースから該シナリオテキストを読み込むシナリオ読み込み手段と、
   前記指定手段により指定された前記映像識別情報に基づいて、前記テロップ原稿データベースからテロップ原稿を読み込むテロップ原稿読み込み手段と、
   前記テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出手段と、
   前記テロップから抽出された前記名詞句と前記シナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理手段と、
   少なくとも、前記映像識別情報と前記キーワードを出力する出力手段と、
   を有することを特徴とする映像キーワード抽出装置。
5. 前記適合判定処理手段は、
   前記対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出する手段と、
   前記重要文を形態素解析して、キーワードを抽出する手段と、を含む請求項４記載の映像キーワード抽出装置。
6. 前記適合判定処理手段は、
   前記対応表からトピック毎のテロップの分布を算出する手段と、
   算出されたテロップ分布に基づいて前記対応表を修正する手段と、を更に有する請求項４記載の映像キーワード抽出装置。
7. コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
   指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込むシナリオ読み込みステップと、
   前記映像識別情報に基づいて、前記シナリオテキストに対応する映像のテロップ原稿が蓄積されたデータベースからテロップ原稿を読み込むテロップ原稿読み込みステップと、
   前記テロップ原稿を解析してテロップ重要度を算出し、該テロップ重要度に基づいて該テロップ原稿から名詞句を抽出するテロップ情報抽出ステップと、
   前記テロップから抽出された前記名詞句と前記シナリオテキストのシナリオとを文字列比較し、一致している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する適合判定処理ステップと、
   少なくとも、前記映像識別情報と前記キーワードを出力する出力ステップと、をコンピュータに実行させることを特徴とする映像キーワード抽出プログラム。
8. 前記適合判定処理ステップにおいて、
   前記対応表から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出するステップと、
   前記重要文を形態素解析して、キーワードを抽出するステップと、をコンピュータに実行させる請求項７記載の映像キーワード抽出プログラム。
9. 前記適合判定処理ステップにおいて、
   前記対応表からトピック毎のテロップの分布を算出するステップと、
   算出されたテロップ分布に基づいて前記対応表を修正するステップと、を更に、コンピュータに実行させる請求項７記載の映像キーワード抽出プログラム。
10. 大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
    指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込み過程と、
    指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析過程と、
    前記シナリオテキストから抽出された前記シナリオ名詞句と前記テロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定過程と、
    少なくとも前記映像識別情報と前記キーワードを出力する出力過程と、を行うことを特徴とする映像キーワード抽出方法。
11. 前記類似適合判定過程において、
    前記シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求める過程を含む請求項１０記載の映像キーワード抽出方法。
12. 大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
    入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースと、
    シナリオテキストが蓄積されたシナリオテキストデータベース
    指定された映像識別情報に基づいて、前記テロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込み手段と、
    指定された映像識別情報に基づいて、前記シナリオテキストデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析手段と、
    前記シナリオテキストから抽出された前記シナリオ名詞句と前記テロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定手段と、
    少なくとも前記映像識別情報と前記キーワードを出力する出力手段と、を有することを特徴とする映像キーワード抽出装置。
13. 前記類似適合判定手段は、
    前記シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求める過程を含む請求項１２記載の映像キーワード抽出装置。
14. コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
    指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込むテロップ認識結果読み込みステップと、
    指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析してシナリオ名詞句を抽出するシナリオ解析ステップと、
    前記シナリオテキストから抽出された前記シナリオ名詞句と前記テロップ認識結果とを類似文字列比較し、類似しているキーワードを抽出する類似適合判定ステップと、
    少なくとも前記映像識別情報と前記キーワードを出力する出力ステップと、をコンピュータに実行させることを特徴とする映像キーワード抽出プログラム。
15. 前記類似適合判定ステップにおいて、
    前記シナリオ名詞句と前記テロップ認識結果中に存在する先頭一致文字を検索し、一致した先頭文字から該シナリオ名詞句と該テロップ認識結果との編集距離を算出し、該編集距離に基づいて所定の値以上の類似度を求めるステップを、コンピュータに実行させる請求項１４記載の映像キーワード抽出プログラム。
16. 大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出方法において、
    指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込み過程と、
    指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析過程と、
    前記シナリオテキストから抽出された前記名詞句と前記テロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定過程と、
    少なくとも前記映像識別情報と前記キーワードを出力する出力過程と、を行うことを特徴とする映像キーワード抽出方法。
17. 前記適合判定処理過程において、
    前記対応表と前記テロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出し、
    前記重要文を形態素解析して、キーワードを抽出する請求項１６記載の映像キーワード抽出方法。
18. 前記適合判定処理過程において、
    前記対応表における要素の数からトピック毎のテロップの分布を算出する過程と、
    算出されたテロップ分布に基づいて前記対応表を修正する過程を更に行う請求項１６記載の映像キーワード抽出方法。
19. 大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出するための映像キーワード抽出装置であって、
    入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースと、
    シナリオテキストが蓄積されたシナリオテキストデータベースと、
    指定された映像識別情報に基づいて、前記テロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込み手段と、
    指定された映像識別情報に基づいて、前記シナリオテキストデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析手段と、
    前記シナリオテキストから抽出された前記名詞句と前記テロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定手段と、
    少なくとも前記映像識別情報と前記キーワードを出力する出力手段と、を有することを特徴とする映像キーワード抽出装置。
20. 前記適合判定処理手段は、
    前記対応表と前記テロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出する手段と、
    前記重要文を形態素解析して、キーワードを抽出する手段を含む請求項１９記載の映像キーワード抽出装置。
21. 前記適合判定処理手段は、
    前記対応表における要素の数からトピック毎のテロップの分布を算出する手段と、
    算出されたテロップ分布に基づいて前記対応表を修正する手段と、を更に有する請求項１９記載の映像キーワード抽出装置。
22. コンピュータに、大量の映像データから所望の映像を検索する際に必要なトピック区間のキーワードを抽出させるための映像キーワード抽出プログラムであって、
    指定された映像識別情報に基づいて、入力映像中に表示されたテロップ文字列が認識された結果が蓄積されたテロップ認識結果データベースからテロップ認識結果を読み込み、テロップ重要度を算出するテロップ認識結果読み込みステップと、
    指定された映像識別情報に基づいて、シナリオテキストが蓄積されたデータベースから該シナリオテキストを読み込み、該シナリオテキストを解析して名詞句を抽出するシナリオ解析ステップと、
    前記シナリオテキストから抽出された前記名詞句と前記テロップ認識結果とを類似文字列比較し、類似している名詞句を抽出して対応表を作成し、該対応表に基づいてトピック区切りを抽出し、キーワードを抽出する類似適合判定ステップと、
    少なくとも前記映像識別情報と前記キーワードを出力する出力ステップと、をコンピュータに実行させることを特徴とする映像キーワード抽出プログラム。
23. 前記適合判定処理ステップは、
    前記対応表と前記テロップ重要度から各シナリオ文毎の重要度を算出し、該重要度の高いシナリオ文を重要文として抽出するステップと、
    前記重要文を形態素解析して、キーワードを抽出するステップと、をコンピュータに実行させる請求項２２記載の映像キーワード抽出プログラム。
24. 前記適合判定処理ステップは、
    前記対応表における要素の数からトピック毎のテロップの分布を算出するステップと、
    算出されたテロップ分布に基づいて前記対応表を修正するステップと、を更にコンピュータに実行させる請求項２２記載の映像キーワード抽出プログラム。
    

Images