JP2008140168A - シンボル列集合類似度算出方法及びメタデータ生成装置及びメタデータ付与装置及びプログラム - Google Patents

Abstract

【課題】単純な時間伸縮や部分一致では対応付けが困難であった２つのメディアの対応付けという課題を解決する。
【解決手段】本発明は、時系列メディアまたは文字列から抽出した特徴を表すシンボル列集合の類似度を算出する際に、類似度の算出対象である第１のシンボル列集合を記憶手段に格納しておき、類似度算出手段が、記憶手段から第１のシンボル列集合を読み出して、該第１のシンボル列集合に含まれる１つのシンボル列の長さを、当該第１のシンボル列と、入力手段より入力されたもう一方の第２のシンボル列集合に含まれる任意のシンボル列との距離で除して得られる数を用いる。このようにして求めた類似度に基づいてメタデータの生成、及び映像にメタデータを付与する処理を行う。
【選択図】図１

Description

本発明は、シンボル列集合類似度算出方法及びメタデータ生成装置及びメタデータ付与装置及びプログラムに係り、特に、映像に対し、メタデータと呼ばれる関連情報を自動的に付与するためのシンボル列集合類似度算出方法及びメタデータ生成装置及びメタデータ付与装置及びプログラムに関する。

映像ファイルを、その内容に基づいて検索したいという要求がある。映像ファイルの内容検索のためには、内容を表すメタデータが予め付与されている必要がある。現在、メタデータの生成には次のような方法が提案されている。

ａ） メタデータ付与システムを用いた手作業による方法：
この方法は、人手により正確な情報を付与可能であるため、精度の保障されたデータを作成できる（例えば、非特許文献１、２参照）。

ｂ）自動音声認識技術による方法：
この方法は、メタデータ生成コストは比較的小さいというメリットがあるものの、メタデータの精度は認識技術の精度に依存する（例えば、非特許文献３参照）。近年、当該方法において認識精度を向上させる方法として、予め認識対象となるニュースの関連記事を用いて辞書を作成する方法（例えば、非特許文献３参照）や、リスピーク（アナウンサ等のプロによるニュース記事の読み上げ）による方法（例えば、非特許文献４参照）が提案されている。

ｃ）異なるメディアの対応付けに基づく方法：
上記のｂ）に対し、例えば、映像とテキストを対応付ける場合の１つの方法として、映像から音声認識技術や予め付与されているクローズド・キャプション等を用いてテキスト文字列を抽出し、そのテキスト文字列を用いて対応付けを行う対象となるテキストデータ（新聞記事など）を検索し、元の映像の内容にマッチするテキストが見つかった場合、これをメタデータとして元の映像に関連付けるという方法がある。
Katashi Nagao. Shigeki Ohira, Mitsuhiro Yoneoka. "Annotation-based multimedia summarization and translation". In Proceedings of the Nineteenth International Conference on Computational Linguistics (COLLING-2002).2002. http://www.ricoh.co.jp/src/multimedia/MovieTool/about/index_j.html 河原達也、李晃伸、「連続音声認識ソフトウェア Julius」人工知能学会誌、Vol. 20, No.1, pp.41-49, 2005 本間真一、松井淳、佐藤庄衛、小早川健、尾上和穂、今井亨、安藤彰男（ＮＨＫ放送技研）、"生番組字幕放送のための音声認識−システムの概要とリスピークの効果"、信学技報, SP2002-50, pp.49-54 (2002)

しかしながら、上記のａ）の方法は、その生成コストは極めて大きく、日々放送されるニュース映像の内容に関するメタデータを付与することはできていない。

また、上記のｂ）の方法では、生成されるメタデータの誤りを少なくすることができると考えられるが、辞書の作成やリスピークという人手が介することによるコスト増加というデメリットがある。

また、上記のｃ）の方法は、文字列を用いて映像（時系列メディア）とテキスト（長さを持つメディア）との対応付けを行う例であると言い換えられるが、
・音声認識は認識誤りが発生し正しい文字列は取得困難；
・意味の異なる文字列に変換がなされた場合、適切な内容のテキストに対応付けることが困難；
・クローズド・キャプションそのものが付与されていない；
・映像やテキストが同様の話題を扱っていたとしても、映像中での話の順序や言い回しの順序はテキストと異なる場合がある；
という問題があり、文字列の部分一致を用いる方法や、ＤＰマッチング等の時間伸縮を用いる方法では、対応付けが困難である場合や、対応付けそのものができない場合が多い。

結果として、現状では日々放送されるニュース等の放送映像に対するメディアデータの生成は困難となっている。

本発明は、上記の点に鑑みなされたもので、単純な時間伸縮や部分一致では対応付けが困難であった２つのメディアの対応付けという課題を解決したシンボル列集合類似度算出方法及びメタデータ生成装置及びメタデータ付与装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、時系列メディア同士または時系列メディアと文字列または文字列同士の類似性を評価するためのシンボル列集合類似度算出方法であって、
時系列メディアまたは文字列から抽出した特徴を表すシンボル列集合の類似度を、
類似度の算出対象である第１のシンボル列集合を記憶手段に格納しておき（ステップ１）、
類似度算出手段が、記憶手段から第１のシンボル列集合を読み出し、類似度の算出対象のもう一方の第２のシンボル列集合を取得し（ステップ２）、該第１のシンボル列集合に含まれる１つのシンボル列の長さを、当該第１のシンボル列と、第２のシンボル列集合に含まれる任意のシンボル列との距離で除して得られる数を用いて算出する（ステップ３）。

また、本発明（請求項２）は、類似度算出手段において、
類似度の算出対象である第１のシンボル列集合、第２のシンボル列集合のそれぞれに含まれる任意の一組のシンボル列の距離を、レーベンシュタイン距離尺度を用いて求める。

また、本発明（請求項３）は、類似度算出手段において、
類似度の算出対象である第１のシンボル列集合、第２のシンボル列集合のそれぞれに含まれる任意の一組のシンボル列の距離を、編集許容範囲を設定したレーベンシュタイン距離尺度を用いて求める。

また、本発明（請求項４）は、類似度算出手段において、
類似度の算出対象である第１のシンボル列集合、第２のシンボル列集合のうち少なくとも一つに含まれる任意のシンボルの長さを、該第１のシンボル列集合、該第２のシンボル列集合にそれぞれ含まれる任意の２つのシンボル列の距離で除した数を求め、該数を全てのシンボル列に適用した場合の総和をとる。

本発明（請求項５）は、類似度の算出対象に、記憶手段に格納された構造化されたテキスト文字列の読み仮名に基づくシンボル列集合Ａ｛ａ_０，ａ_１，ａ_２，…，ａ_{（Ｍ−１）}｝と、入力された映像中の音声から生成した音素列に基づくシンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝を用いるものとし、
類似度算出手段において、
シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝に対するシンボル列集合Ａ｛ａ_０，ａ_１，ａ_２，…，ａ_{（Ｍ−１）}｝の類似度の算出に、少なくとも
・シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝の生成の際における音素認識誤り許容範囲に基づく、レーベンシュタイン距離尺度の許容限界値；
・比較対象となるシンボル列の長さ；
の２つを用いる。

また、本発明（請求項６）は、類似度算出手段において、シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝に対するシンボル列集合Ａ｛ａ_０，ａ_１，ａ_２，…，ａ_{（Ｍ−１）}｝の類似度の算出に、少なくとも、
・類似度の算出対象となる２つのシンボル列集合のうち、何れかのシンボル列集合に含まれる任意のシンボル列に対する重み係数であって、シンボル列の生成元となる時系列メディアあるいはテキスト文書の特徴に基づいて決定される重み係数；
・シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝の生成の際における音素認識誤り許容範囲；
・比較対象となるシンボル列の長さ；
を用いる。

図２は、本発明の原理構成図である。

本発明（請求項７）は、請求項５または６記載のシンボル列集合類似度算出方法を用いて、一組の時系列メディアもしくは時系列メディアと文字列とを対応付けるための対応関係を表すメタデータを生成するメタデータ生成装置であって、
入力された２つの時系列メディアから、音声信号、画像、テキスト文字列のうち少なくとも１つ以上を抽出し、時系列のシンボル列集合に変換し、記憶手段２に格納する特徴抽出手段１と、
記憶手段２に格納されているシンボル列集合のうち、異なるメディアのそれぞれから生成したシンボル列集合の少なくとも１組以上に対し、請求項５または６記載のシンボル列集合類似度算出方法により類似度を算出するシンボル列集合類似度計算手段３と、
シンボル列集合類似度計算手段３によって得られるシンボル列集合の類似度に基づいて、異なるメディアの時系列情報の対応関係を表すメタデータを生成する対応付け手段４と、
を有する。

本発明（請求項８）は、請求項５または６記載のシンボル列集合類似度算出方法を用いて、映像ファイルにメタデータを付与するメタデータ付与装置であって、
定期的に最新のニュース記事の内容を取得して記憶手段に格納する最新記事取得手段と、
ニュース記事のテキストの分かち書きを行い、平仮名に変換し、該平仮名から読みのシンボル列を音素列に変換したシンボル列を生成し、記憶手段に格納するテキスト特徴量抽出手段と、
映像ファイルの入力を受け付ける映像取得手段と、
テキスト文字列の入力を受け付けるテキスト文字列取得手段と、
映像ファイルから音声を抽出する音声抽出手段と、
音声抽出手段によって抽出した音声を解析し、音素列のシンボル列を生成する音声シンボル列生成手段と、
音声シンボル列生成手段により生成されたシンボル列集合と、記憶手段に格納されているシンボル列集合に対し、請求項５または６記載のシンボル列集合類似度算出方法により類似度を算出するシンボル列集合類似度計算手段と、
シンボル列集合類似度計算手段によって得られるシンボル列の類似度に基づいて、ニュース記事と映像ファイルとの関連情報を出力するメタデータ生成手段と、
記憶手段の内容を更新する更新手段と、を有する。

本発明（請求項９）は、コンピュータに、請求項１乃至６記載のシンボル列集合類似度算出方法の処理を実行させるプログラムである。

本発明によれば、メディアを一旦シンボル列集合に変換し、レーベンシュタイン距離及びシンボル列の長さ、シンボル列集合生成の元となるメディアの構造情報に由来する重み係数を用いて、シンボル列集合の類似度を算出することにより、対応付けを行うことが可能となる。

これにより、従来は単純な時間伸縮や文字列一致によって対応付けることができなかったシンボル列を対応付けることができるようになる。本発明を応用することによって、Ｗｅｂ上の情報を用いてニュース等の放送映像に関するメタデータを生成できる。

以下、図面と共に本発明の実施の形態を説明する。

以下では、複数の数字及び記号の組み合わせの列を「シンボル列」と称する。また、複数のシンボル列の集合を「シンボル列集合」と称する。

［第１の実施の形態］
以下では、ユーザが検索クエリとして音声を含むニュース等の映像ファイルを入力し、入力された映像と内容の関連のあるＷｅｂ上のニュースを検索する場合を想定して説明する。

図３は、本発明の第１の実施の形態におけるシステム構成を示す。

同図に示すシステムは、ＤＢ（データベース）生成装置１００、検索装置２００、ＤＢ生成装置１００に接続されるＷｅｂサイト１０、検索装置２００に接続される入力装置２０、表示装置３０、ファイル４０から構成される。

最初にＤＢ生成装置１００について説明する。

ＤＢ生成装置１００は、Ｗｅｂ上の情報のテキストをシンボル列に変換して記事ＤＢ１４０に保持するものであり、ネットワークを介してＷｅｂサイト１０上から情報を取得するＷｅｂ情報取得部１１０、Ｗｅｂ情報からテキストを取得し記事ＤＢ１４０に格納する最新記事取得部１２０、取得したテキストを音素列のシンボル列に変換し記事ＤＢ１４０に格納するテキスト特徴量抽出部１３０、抽出されたテキスト及びシンボル列等を格納する記事ＤＢ１４０、記事ＤＢ１３０の内容を最新状態に更新するためにＷｅｂ情報取得部１１０、最新記事取得部１２０、テキスト特徴量抽出部１３０の各処理を実行させる記事更新部１５０から構成される。

次に、上記の構成における動作を説明する。

図４は、本発明の第１の実施の形態におけるＤＢ生成装置の動作のフローチャートである。

ステップ１１１） Ｗｅｂ情報取得部１１０において、Ｗｅｂ上のサイト（例えば、ｇｏｏ（登録商標）ニュース（http://news.goo.ne.jp/topics/）にアクセスし、Ｗｅｂサイトの見出しや要約などのメタデータを構造化して記述するＸＭＬベースのフォーマットであるＲＳＳ（Rich Site Summary）で記述された記事の更新情報に基づき、Ｗｅｂ情報を取得する。

ステップ１１２） 最新記事取得部１２０は、ステップ１１１により取得したＷｅｂ情報からＲＳＳの構造情報に基づいてニュース本文記事、タイトル、更新時刻及び記事カテゴリを取得し、これらに任意の数字による記事ＩＤを付与して記事ＤＢ１４０に格納する。

ステップ１１３） テキスト特徴量抽出部１３０は、ステップ１１２により取得したテキストを入力し、分かち書きを行い、読みのアルファベットの列に変換し、アルファベットの列を音節表により音素列のシンボル列に変換し、文節情報と音素列からなるシンボル列を記事ＤＢ１４０に格納する。

ステップ１１４） 予め決められている一定の時間が経過した場合は、ＤＢ生成処理を終了するかを判定し、終了しない場合は、ステップ１１５に移行する。

ステップ１１５） 記事ＤＢ更新部１５０は、所定の時間が経過すると、記事ＤＢ１４０の情報を一定時間毎に更新するため、上記のステップ１１１〜１１４の処理を実行させる。

次に、検索装置２００について説明する。

検索装置２００は、映像を入力する映像入力部２１０、映像から音声を抽出する音声抽出部２２０、音声から音素列を求めシンボル列を生成する音声シンボル列生成部２３０、記事ＤＢ１４０と音声シンボル列生成部２３０からシンボル列集合を読み込んで類似度を求め、映像ファイルと関連記事ＩＤのテキストを関連付ける関連記事検索部２４０から構成される。

図５は、本発明の第１の実施の形態における検索装置における動作のフローチャートである。

ステップ１２１） 映像入力部２１０において、ユーザに指定された映像ファイルを入力装置２０から入力する。

ステップ１２２） 音声抽出部２２０において、入力された映像ファイルから音声を抽出する。

ステップ１２３） 音声シンボル列生成部２３０において、ステップ１２２により抽出された音声から音素列を求め、音素記号及び無音区間情報からなるシンボル列を記憶手段（図示せず）に格納する。ここで、音素列の生成には非特許文献２の技術を用いることができる。

ステップ１２４） 関連記事検索部２４０において、ステップ１２３で求められた音声シンボル列集合と記事ＤＢ１４０から取得したシンボル列集合を読み込んで、記事ＤＢ１３０から取得したシンボル列集合のそれぞれについて、音声シンボル集合に対する類似度を求め、映像入力部２１０で指定された映像ファイルと、類似度が最大となる関連記事のＩＤに対応する記事の文章を関連付けて出力する。

ここで、関連記事検索部２４０について詳細に説明する。

関連記事検索部２４０は、図６に示すように、シンボル列集合入力部２４１、シンボル列間距離計算部２４２、シンボル列長さ計算部２４３、類似度スコア算出部２４４から構成される。

図７は、本発明の第１の実施の形態における関連記事検索部の動作のフローチャートである。

ステップ１２４１） 関連記事検索部２４０のシンボル列集合入力部２４１において、記事ＤＢ１４０からシンボル列集合Ａ（ｉ）｛ａ_０，ａ_１，ａ_２，…，ａ_Ｎ｝（ｉ＝０，１，２，…，Ｉ）を読み込む。

ステップ１２４２） シンボル列集合入力部２４１において、音声シンボル列生成部２３０で生成され、記憶手段（図示せず）から音声シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_Ｍ｝Ｓ_ｍａｘ＝０を取得する。

ステップ１２４３） シンボル列長さ計算部２４３は、ステップ１２４１とステップ１２４２で入力された１組のシンボル列集合のそれぞれから、任意のシンボル列を一組指定し、指定された１組のうちシンボル列集合Ａに含まれるシンボル列の長さＤ（ａ）を計算する。次に、シンボル列間距離計算部２４３において、１組のシンボル列についてその距離Ｌ（ａ，ｂ）を求める。次に、類似度スコア算出部２４４において、以下の式により音声シンボル列集合Ｂに対するシンボル列集合Ａ（ｉ）の類似度Ｓ_Ａ（ｉ）を求める。

上記の式において、ｉは記事ＤＢ１４０中の記事のカウント、a^ｉ _ｐは記事ＤＢ１４０中で記事ＩＤ＝ｉの記事のｐ番目のシンボル列、ｂ_ｑは音声シンボル列生成部２３０により作成されたｑ番目の音声シンボル列である。Ｌ（ａ，ｂ，Ｃ）は編集距離許容範囲をＣとしたシンボル列ａとｂとのレーベンシュタイン距離であり、Ｃは任意に設定できるものとする。また、分母において"＋１"としているのは、レーベンシュタイン距離尺度は、２つのシンボル列が完全一致した場合に"０"の値をとるため、シンボル列が完全一致するとき（すなわちＬ＝０の時）、シンボル列ａの長さをそのままスコアとして加算するためである。Ｄ（ａ）はシンボル列ａの長さである。また、ｗ_A（a^ｉ _ｐ）は記事ＤＢ１４０中のシンボル列に対する重みであり、記事の構造に基づいて決定する。ｗ_Ｂ（ｂ_ｐ）は音声シンボル列に対する重みであり、シンボル列生成の元となる映像ファイル及びその関連情報に基づいて決定する。

なお、類似度Ｓ_Ａ（ｉ）は、記事ＩＤ＝ｉから生成されたシンボル列集合Ａ（ｉ）が含むシンボル列の総数Ｍで正規化する。

ここで、上記のレーベンシュタイン距離について説明する。

レーベンシュタイン距離尺度は、２つの文字列（またはシンボル列）Ａ，Ｂがあるとき、２つの文字列（またはシンボル列）がどの程度異なっているかを示す数値であって、文字の挿入、削除、または置換によってＢをＡに変形するまでに必要な最小ステップ数で与えられる。

例えば、２つのシンボル列（Nippon, Nihon）のレーベンシュタイン距離をＬ（Nippon, Nihon）とし、これを求める。

「Nippon」を最短ステップで「Nihon」に変換する方法をとる。

ステップａ）Nippon→ｐをｈに変換→Nipon
ステップｂ）Nihpon→ｐを削除→Nihon(変換完了)
従って、Ｌ(Nippon, Nihon)＝２
本発明では、これに任意に設定できる編集許容範囲Ｃを設定し、

とする。上記の例でＣ＝１としたならば、Ｌ(Nippon, Nihon,1)=∞となる。

ステップ１２４４） 関連記事検索部２４０は、Ｓ_ｍａｘ＜Ｓ_Ａ（ｉ）であるかを判定する。そうである場合はステップ１２４５に移行し、そうでない場合はステップ１２４６に移行する。

ステップ１２４５） ＩＤ＝ｉ、Ｓ_ｍａｘ＝Ｓ_A（ｉ）とする。

ステップ１２４６） ｉを１増やし、ｉ＝Ｉ（Ｉは記事ＤＢ１３０の記事の総数）である場合は当該処理を終了し、そうでない場合は、ステップ１２４３に移行する。つまり、スコアＳ_Ａ（ｉ）がこれまでにとった最大値Ｓ_ｍａｘの値を更新し、最終的に（ｉ＝Ｉ）スコアＳ_Ａ（ｉ）がＳ_ｍａｘをとるときのｉを関連記事のＩＤとして出力する。

本実施の形態では、比較対象の記事ＤＢ１４０から取得したシンボル列が記事のタイトルに含まれている場合に、ｗ_A(ａⁱ _p)が１以上の値をとり、ｗ_B(ｂ_q)は常に１である。

［第２の実施の形態］
本実施の形態は、第１の実施の形態を拡張したものである。

本実施の形態では、映像ファイルと、テキスト文字列によるキーワードの両方を検索クエリとして入力する点で、第１の実施の形態と異なる。

図８は、本発明の第２の実施の形態におけるシステム構成を示す。

ＤＢ生成装置１００の構成及び記事ＤＢ１４０を生成する処理については第１の実施の形態と同様であるのでその説明は省略する。

検索装置２００は、第１の実施の形態における図３の構成に、検索クエリとしてユーザによって入力された任意の単語を取得する単語入力部２５０が付加された構成である。

図９は、本発明の第２の実施の形態における検索装置の動作のフローチャートである。

ステップ２２１） 映像入力部２１０において、ユーザに指定された映像ファイルを入力装置２０から入力する。

ステップ２２２） 単語入力部２５０において、ユーザからの検索クエリとして入力された単語を取得する。

ステップ２２３） 音声抽出部２２０において、入力された映像ファイルから音声を抽出する。

ステップ２２４） 音声シンボル列生成部２３０において、音声抽出部２２０により抽出された音声及び単語入力部２５０で取得した単語のそれぞれから音素列を求め、音素記号及び無音区間情報からなるシンボル列を出力する。ここで、音素列の出力には、非特許文献２の技術を用いることができる。

ステップ２２５） 関連記事検索部２４０において、音声シンボル列生成部２３０で生成されたシンボル列及び単語入力部２５０で入力された単語を用い、関連する記事を記事ＤＢ１４０から検索し、記事ＩＤを取得し、当該記事ＩＤに基づいて、映像入力部２１０で入力された映像、単語入力部２５０で取得した単語に関連する記事文章を端末の表示装置３０または、ファイル４０に出力する。

このときの関連記事検索部２４０の動作は、第１の実施の形態の図７のフローチャートと同様であるが、ステップ１２４３の評価式のパラメータの重みが異なる。本実施の形態における類似度を求める式は、

を用いる。上記の式において、添え字及び関数の意味は全て第１の実施の形態と同様である。本実施の形態では、比較対象のシンボル列が記事のタイトルに含まれるか、または、単語入力部２５０で入力した単語に一致した場合に、ｗ_Ａが１以上の値をとり、ｗ_Ｂは常に１である。

［第３の実施の形態］
本実施の形態は、第１の実施の形態を拡張したものである。本実施の形態では、ＥＰＧ（電子番組表）を用いて放送番組を自動録画し、録画された映像データに対して関連するニュース記事をメタデータとして自動付与する点において、第１の実施の形態と異なる。

図１０は、本発明の第３の実施の形態におけるシステム構成図である。

同図に示すシステムは、ＤＢ生成装置１００とメタデータ付与装置３００、Ｗｅｂサイト１０、入力装置２０、表示装置３０、ファイル４０から構成される。ＤＢ生成装置１００は、第１の実施の形態における図３の構成と同様であるので、その説明は省略する。

メタデータ付与装置３００は、入力装置２０からユーザが指定した番組を録画する録画映像取得部３１０、電子番組表を記憶した記憶手段からユーザが指定した番組の電子番組表を取得するＥＰＧ取得部３２０、電子番組表を解析するＥＰＧ解析部３３０、録画した映像から音声を抽出する音声抽出部３４０、音声から音声シンボル列を生成する音声シンボル列生成部３５０、シンボル列及び電子番組表を解析した結果に基づいて記事ＤＢ１４０から記事ＩＤを取得する関連記事検索部３６０、記事ＩＤに基づいて録画した映像ファイルに記事の本文を関連付けて出力するメタデータ生成部３７０から構成される。

次に、上記のメタデータ付与装置の動作を説明する。

図１１は、本発明の第３の実施の形態におけるメタデータ付与装置の動作のフローチャートである。

ステップ３２１） 録画映像指定部３１０は、入力装置２０からユーザが指定した番組を録画し、映像ファイルに格納する。

ステップ３２２） ＥＰＧ取得部３２０において、電子番組表記憶手段より指定された番組の電子番組表を取得する。

ステップ３２３） ＥＰＧ解析部３３０は、電子番組表を解析し、あらすじ及び番組タイトルに含まれる固有名詞を抽出する。

ステップ３２４） 音声抽出部３４０は、ステップ３２１において録画した映像ファイルから音声を抽出する。

ステップ３２５） 音声シンボル列生成部３５０において、音声抽出部３４０により抽出された音声及びＥＰＧ解析部３３０で抽出された固有名詞のそれぞれから音素列を求め、音素記号及び無音区間情報からなるシンボル列を生成する。ここで、音素列を求める方法として、非特許文献２の技術を用いることが可能である。

ステップ３２６） 関連記事検索部３６０は、音声シンボル列生成部３５０で生成されたシンボル列及びＥＰＧ解析部３３０で抽出された固有名詞を用い、関連する記事を記事ＤＢ１４０から検索し、記事ＩＤを取得する。このとき、以下の評価式を用いる。本実施の形態の当該ステップにおける入出力動作及び下記の評価式は、第１の実施の形態と同様であるが、式中のパラメータの重み（ｗ）が第１の実施の形態とは異なる。

上記の式において、添え字及び関数の意味は全て第１の実施の形態と同様である。本実施の形態では、比較対象のシンボル列が記事のタイトルに含まれる場合にｗ_Ａが１以上の値をとる。また、比較対象のシンボル列がＥＰＧ解析部３３０で取得した固有名詞に一致した場合にｗ_Ｂが１以上の値をとる。

ステップ３２７） メタデータ生成部３７０は、関連記事検索部３６０により得られる記事ＩＤに基づいて、録画映像指定部３１０で録画した映像ファイルに記事の本文を関連付け、その結果をファイル４０または端末の表示装置３０に出力する。

［第４の実施の形態］
本実施の形態は、第１の実施の形態を拡張したものである。本実施の形態は第１の実施の形態の図５に示す動作と同じステップから構成されるが、関連記事検索部２４０の動作（ステップ１２４）の評価式中のパラメータの重み付けが第１の実施の形態と異なる。

以下において、第１の実施の形態と同様の動作については説明を省略する。

図５におけるステップ１２４では、関連記事検索部２４０において、第１の実施の形態のＤＢ生成装置１００で生成した記事ＤＢ１４０中のシンボル列集合と、第１の実施の形態の音声シンボル列生成部２３０から得られるシンボル列集合とを読み込み、記事ＤＢ１４０のシンボル列集合のそれぞれに対し、音声シンボル列集合に対する類似度を下記の式で求め、類似度が最大となる関連記事のＩＤを取得し、当該ＩＤに基づいて、第１の実施の形態における映像入力部２１０で指定された映像ファイルと、第１の実施の形態の記事ＤＢ１４０中に含まれる記事文章とを関連付け、ファイル４０または表示装置３０に出力する。

上記の式におけるｗ_ｉは、評価対象の記事ＩＤに基づいて得られる記事の日時と映像入力部２１０で入力される映像の放送日時のタイムラグに基づいて決定される重み係数であり、ｗ_Ａ，ｗ_Ｂは１である。

また、上記の第１〜第４の実施の形態における動作をプログラムとして構築し、メタデータを付与する装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

映像に対するメタデータを低コストで自動生成する際に、日々放送されるニュース等の放送映像に関連する文書の一部がＷｅｂ上に存在することを利用して、放送映像とＷｅｂ上の記事を自動的に関連付ける技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の第１の実施の形態におけるシステム構成図である。 本発明の第１の実施の形態におけるＤＢ生成装置の動作のフローチャートである。 本発明の第１の実施の形態における検索装置の動作のフローチャートである。 本発明の第１の実施の形態における関連記事検索部の構成図である。 本発明の第１の実施の形態における関連記事検索部の動作のフローチャートである。 本発明の第２の実施の形態におけるシステム構成図である。 本発明の第２の実施の形態における検索装置の動作のフローチャートである。 本発明の第３の実施の形態におけるシステム構成図である。 本発明の第３の実施の形態におけるメタデータ付与装置の動作のフローチャートである。

符号の説明

１ 特徴抽出手段
２ 記憶手段
３ シンボル列集合類似度計算手段
４ 対応付け手段
１０ Ｗｅｂサイト
２０ 入力装置
３０ 表示装置
４０ ファイル
１００ ＤＢ生成装置
１１０ Ｗｅｂ情報取得部
１２０ 最新記事取得部
１３０ テキスト特徴量抽出部
１４０ 記事ＤＢ
１５０ 記事更新部
２００ 検索装置
２１０ 映像入力部
２２０ 音声抽出部
２３０ 音声シンボル列生成部
２４０ 関連記事検索部
２４１ シンボル列集合入力部
２４２ シンボル列間距離計算部
２４３ シンボル列長さ計算部
２４４ 類似度スコア算出部
２５０ 単語入力部
３００ メタデータ付与装置
３１０ 録画映像取得部
３２０ ＥＰＧ取得部
３３０ ＥＰＧ解析部
３４０ 音声抽出部
３５０ 音声シンボル列生成部
３６０ 関連記事検索部
３７０ メタデータ生成部

Claims (9)

1. 時系列メディア同士または時系列メディアと文字列または文字列同士の類似性を評価するためのシンボル列集合類似度算出方法であって、
   時系列メディアまたは文字列から抽出した特徴を表すシンボル列集合の類似度を算出する際に、
   類似度の算出対象である第１のシンボル列集合を記憶手段に格納しておき、
   類似度算出手段が、前記記憶手段から第１のシンボル列集合を読み出し、類似度の算出対象のもう一方の第２のシンボル列集合を取得し、該第１のシンボル列集合に含まれる１つのシンボル列の長さを、当該第１のシンボル列と、該第２のシンボル列集合に含まれる任意のシンボル列との距離で除して得られる数を用いる、
   ことを特徴とするシンボル列集合類似度算出方法。
2. 前記類似度算出手段において、
   類似度の算出対象である前記第１のシンボル列集合、前記第２のシンボル列集合のそれぞれに含まれる任意の一組のシンボル列の距離を、レーベンシュタイン距離尺度を用いて求める
   請求項１記載のシンボル列集合類似度算出方法。
3. 前記類似度算出手段において、
   類似度の算出対象である前記第１のシンボル列集合、前記第２のシンボル列集合のそれぞれに含まれる任意の一組のシンボル列の距離を、編集許容範囲を設定したレーベンシュタイン距離尺度を用いて求める
   請求項２記載のシンボル列集合類似度算出方法。
4. 前記類似度算出手段において、
   類似度の算出対象である前記第１のシンボル列集合、前記第２のシンボル列集合のうち少なくとも一つに含まれる任意のシンボルの長さを、該第１のシンボル列集合、該第２のシンボル列集合にそれぞれ含まれる任意の２つのシンボル列の距離で除した数を求め、該数を全てのシンボル列に適用した場合の総和をとる
   請求項１乃至３のシンボル列集合類似度算出方法。
5. 類似度の算出対象に、前記記憶手段に格納された構造化されたテキスト文字列の読み仮名に基づくシンボル列集合Ａ｛ａ_０，ａ_１，ａ_２，…，ａ_{（Ｍ−１）}｝と、入力された映像中の音声から生成した音素列に基づくシンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝を用いるものとし、
   前記類似度算出手段において、
   前記シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝に対する前記シンボル列集合Ａ｛ａ_０，ａ_１，ａ_２，…，ａ_{（Ｍ−１）}｝の類似度の算出に、少なくとも
   ・前記シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝の生成の際における音素認識誤り許容範囲に基づく、レーベンシュタイン距離尺度の許容限界値；
   ・比較対象となるシンボル列の長さ；
   の２つを用いる
   請求項１乃至４記載のシンボル列集合類似度算出方法。
6. 前記類似度算出手段において、
   前記シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝に対する前記シンボル列集合Ａ｛ａ_０，ａ_１，ａ_２，…，ａ_{（Ｍ−１）}｝の類似度の算出に、少なくとも、
   ・類似度の算出対象となる２つのシンボル列集合のうち、何れかのシンボル列集合に含まれる任意のシンボル列に対する重み係数であって、シンボル列の生成元となる時系列メディアあるいはテキスト文書の特徴に基づいて決定される重み係数；
   ・シンボル列集合Ｂ｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_{（Ｎ−１）}｝の生成の際における音素認識誤り許容範囲；
   ・比較対象となるシンボル列の長さ；
   を用いる
   請求項５記載のシンボル列集合類似度算出方法。
7. 請求項５または６記載のシンボル列集合類似度算出方法を用いて、一組の時系列メディアもしくは時系列メディアと文字列とを対応付けるための対応関係を表すメタデータを生成するメタデータ生成装置であって、
   入力された２つの時系列メディアから、音声信号、画像、テキスト文字列のうち少なくとも１つ以上を抽出し、時系列のシンボル列集合に変換し、記憶手段に格納する特徴抽出手段と、
   前記記憶手段に格納されている前記シンボル列集合のうち、異なるメディアのそれぞれから生成したシンボル列集合の少なくとも１組以上に対し、請求項５または６記載のシンボル列集合類似度算出方法により類似度を算出するシンボル列集合類似度計算手段と、
   前記シンボル列集合類似度計算手段によって得られるシンボル列集合の類似度に基づいて、異なるメディアの時系列情報の対応関係を表すメタデータを生成する対応付け手段と、
   を有することを特徴とするメタデータ生成装置。
8. 請求項５または６記載のシンボル列集合類似度算出方法を用いて、映像ファイルにメタデータを付与するメタデータ付与装置であって、
   定期的に最新のニュース記事の内容を取得して記憶手段に格納する最新記事取得手段と、
   前記ニュース記事のテキストの分かち書きを行い、平仮名に変換し、該平仮名から読みのシンボル列を音素列に変換したシンボル列を生成し、前記記憶手段に格納するテキスト特徴量抽出手段と、
   映像ファイルの入力を受け付ける映像取得手段と、
   テキスト文字列の入力を受け付けるテキスト文字列取得手段と、
   前記映像ファイルから音声を抽出する音声抽出手段と、
   前記音声抽出手段によって抽出した音声を解析し、音素列のシンボル列を生成する音声シンボル列生成手段と、
   前記音声シンボル列生成手段により生成されたシンボル列集合と、前記記憶手段に格納されているシンボル列集合に対し、請求項５または６記載のシンボル列集合類似度算出方法により類似度を算出するシンボル列集合類似度計算手段と、
   前記シンボル列集合類似度計算手段によって得られるシンボル列の類似度に基づいて、前記ニュース記事と前記映像ファイルとの関連情報を出力するメタデータ生成手段と、
   前記記憶手段の内容を更新する更新手段と、
   を有することを特徴とするメタデータ付与装置。
9. コンピュータに、
   請求項１乃至６記載のシンボル列集合類似度算出方法の処理を実行させることを特徴とするプログラム。

Images