JP2002132823A - マルチメディア情報処理装置、マルチメディア情報処理方法およびそのプログラムが記録されたコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像や音声などのマルチメディアデータと単
語の類似度、単語に類似するマルチメディアデータの検
索またはマルチメディアデータに類似する単語検索を行
う。 【解決手段】 単語共起ベクトル生成手段１１は、マル
チメディアデータ項目中の単語近くに現れる単語共起語
の出現頻度を要素とする単語共起ベクトルを生成し単語
共起ベクトルＤＢ１２に保存する。画像共起ベクトル生
成手段１３は、マルチメディアデータ項目中の画像近く
に現れる画像共起語の出現頻度を要素とする画像共起ベ
クトルを生成し画像共起ベクトルＤＢ１４に保存する。
類似度演算手段１５は、単語および画像が指定されたと
きに単語共起ベクトルＤＢ１２に記憶された単語共起ベ
クトルと画像共起ベクトルＤＢ１４に記憶された画像共
起ベクトルとを用いて当該指定された単語および画像の
類似度を求め出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像や音声などの
マルチメディアデータを含む文章を処理するマルチメデ
ィア情報処理装置、マルチメディア情報処理方法および
そのプログラムが記録されたコンピュータ読み取り可能
な記録媒体に係り、特に、画像と単語の類似度、単語を
基にした画像検索および画像を基にした単語検索に関わ
る。

【０００２】

【従来の技術】近年、コンピュータネットワークの社会
への普及にともない、画像やテキストといった従来別々
に利用されていた情報を統合的に利用可能とするマルチ
メディア技術が実現されている。例えば出版分野では、
デジタルカメラやスキャナーによってデジタル化された
画像とテキストをコンピュータで同時に処理して出力す
るデジタル出版技術が利用されている。また、デジタル
ビデオの媒体にテキスト情報を付与し、テキスト情報を
動画情報のインデックスとする技術などが見られる。

【０００３】ユーザがマルチメディア情報を効率良く作
成するためには、異なるメディアの情報を関連づけた情
報が必要である。例えば、画像が表わしている内容に対
してそれをよく説明するテキストを同時に表示したり、
ある単語を象徴する画像をアイコンとして単語のかわり
に表示することが行われる。今後情報処理が発展して膨
大なマルチメディア情報が流通するに従って、それらを
統合して利用する技術が重要となることが予想される。

【０００４】

【発明が解決しようとする課題】しかしながら、マルチ
メディア情報とテキスト情報同士の関連付けは現在、主
として人手によって行われている。例えば、画像にそれ
を説明するテキストを付与して画像のカタログを作成し
たり、同じ機能を表すアイコンなどの画像にカテゴリー
名を付与した画像ライブラリーがユーザに利用されてい
る。関連付けが人手で行われている理由は、異なるメデ
ィアの情報同士は、たとえデジタル化されていても個々
のデータが表す情報が異なるために単純に比較を行えな
いためである。

【０００５】画像とテキストという異なるメディアの情
報を自動的に比較し、一方のメディアのデータに対し
て、別のメディアにおいて関連の高いデータを判別する
ことを行うことが今後必要となる。例えば、ある検索サ
イトでは、HTML検索と同じ手法、すなわち画像を指すタ
グを含むHTMLファイル中の単語をキーワードとした画像
検索サービスを提供しているが、かならずしも画像を説
明する特徴的な単語がHTMLファイルに含まれてはいない
ので、適切な画像検索が行えない。文献（森、高橋、
張、野崎、岡：画像による単語推定を用いたインターネ
ット検索、人工知能学会全国大会、Ｓ３−４，Ｐ７６−
７７（２０００））のように、未知画像に対応するテキ
ストを付与する方法が提案されているが、これは、あら
かじめ画像を説明するテキストが付与された情報を前提
としているため、最初は人手による画像とテキストの対
応付けをする必要がある。さらに、複数の画像を分割す
ることでテキストによる画像検索を行う方法が提案され
ている（文献：キーワードと画像特徴を利用したＷＷＷ
からの画像収集の試み：柳井、ＡＩ全大２０−０１，Ｐ
４１６−４１９（２０００））。この方法でも画像の付
近に画像を表わす単語が含まれていることが前提とな
る。ＷＷＷデータ中には画像付近には画像と関連する単
語は含まれる可能性が高いが、画像を表わす単語が含ま
れることは保証されていないため、上記方法では必ず画
像を表わす単語を対応づけることはできない。

【０００６】また、ラジオやＴＶにおけるニュースで
は、アナウンサーが発する音声データを音声認識してテ
キスト抽出することが可能であるが、必ずしも同時に現
れる音楽情報や画像情報を説明しているとは限らないの
で、このようなマルチメディアデータを表す単語を対応
づけることは人手で行われている。

【０００７】このような理由から、画像や音声などのマ
ルチメディアデータと単語の類似度を得て、マルチメデ
ィアデータと単語の関連づけに利用したり、単語に類似
するマルチメディアデータの検索またはマルチメディア
データに類似する単語検索を行えるようにして、自由度
の高い情報検索を行いたいという要望が強い。

【０００８】そこで本発明は、上記の従来の課題に鑑み
てなされたものであり、その目的とするところは、マル
チメディアデータと単語の類似度、単語に類似するマル
チメディアデータの検索またはマルチメディアデータに
類似する単語検索が行えるマルチメディア情報処理装
置、マルチメディア情報処理方法およびそのプログラム
が記録されたコンピュータ読み取り可能な記録媒体を提
供することにある。

【０００９】

【課題を解決するための手段】上記従来の課題を解決す
るために、本発明の請求項１に係るマルチメディア情報
処理装置は、文章中の同一文字列の単語についてその近
くに現れる１または複数の単語の出現頻度を要素とする
単語共起ベクトルが記憶される単語共起ベクトル記憶手
段と、文章中のマルチメディアデータ近くに現れる１ま
たは複数の単語の出現頻度を要素とするマルチメディア
データ共起ベクトルが記憶されるマルチメディアデータ
共起ベクトル記憶手段と、前記文章中の単語およびマル
チメディアデータが指定されたときに前記単語共起ベク
トル記憶手段に記憶された単語共起ベクトルと前記マル
チメディアデータ共起ベクトル記憶手段に記憶されたマ
ルチメディアデータ共起ベクトルとを用いて当該指定さ
れた単語およびマルチメディアデータの類似度を求める
類似度演算手段とを備える。

【００１０】本発明の請求項２に係るマルチメディア情
報処理装置は、文章中の同一文字列の単語についてその
近くに現れる１または複数の単語の出現頻度を要素とす
る単語共起ベクトルが記憶される単語共起ベクトル記憶
手段と、文章中のマルチメディアデータ近くに現れる１
または複数の単語の出現頻度を要素とするマルチメディ
アデータ共起ベクトルが蓄積されるマルチメディアデー
タ共起ベクトル記憶手段と、前記文章中の単語が指定さ
れたときに前記単語共起ベクトル記憶手段に記憶された
単語共起ベクトルと前記マルチメディアデータ共起ベク
トル記憶手段に蓄積されたマルチメディアデータ共起ベ
クトルとを用いて当該指定された単語に類似するマルチ
メディアデータを求めるマルチメディアデータ検索手段
とを備える。

【００１１】本発明の請求項３に係るマルチメディア情
報処理装置は、文章中の同一文字列の単語についてその
近くに現れる１または複数の単語の出現頻度を要素とす
る単語共起ベクトルが蓄積される単語共起ベクトル記憶
手段と、文章中のマルチメディアデータ近くに現れる１
または複数の単語の出現頻度を要素とするマルチメディ
アデータ共起ベクトルが記憶されるマルチメディアデー
タ共起ベクトル記憶手段と、前記文章中のマルチメディ
アデータが指定されたときに前記単語共起ベクトル記憶
手段に蓄積された単語共起ベクトルと前記マルチメディ
アデータ共起ベクトル記憶手段に記憶されたマルチメデ
ィアデータ共起ベクトルとを用いて当該指定されたマル
チメディアデータに類似する単語を求める単語検索手段
とを備える。

【００１２】本発明の請求項４に係るマルチメディア情
報処理装置は、請求項１ないし請求項３のいずれかに記
載のマルチメディア情報処理装置において、前記単語共
起ベクトルを生成する単語共起ベクトル生成手段または
マルチメディアデータ共起ベクトルを生成するマルチメ
ディアデータ共起ベクトル生成手段を備えることを特徴
とする。

【００１３】本発明の請求項５に係るマルチメディア情
報処理装置は、請求項１ないし請求項３のいずれかに記
載のマルチメディア情報処理装置において、ネットワー
クを介して受信される前記単語が含まれる文章を基に前
記単語共起ベクトルを生成する単語共起ベクトル生成手
段またはネットワークを介して受信される前記マルチメ
ディアデータを含む文章を基に前記マルチメディアデー
タ共起ベクトルを生成するマルチメディアデータ共起ベ
クトル生成手段を備えることを特徴とする。

【００１４】本発明の請求項６に係るマルチメディア情
報処理装置は、請求項１ないし請求項５のいずれかに記
載のマルチメディア情報処理装置において、前記単語、
マルチメディアデータまたは該単語およびマルチメディ
アデータの指定がネットワークを介してなされるときに
当該指定により求められたマルチメディアデータ、単語
または類似度をネットワークを介して供給することを特
徴とする。

【００１５】本発明の請求項７に係るマルチメディア情
報処理方法は、文章中の同一文字列の単語についてその
近くに現れる１または複数の単語の出現頻度を要素とす
る単語共起ベクトルを生成する単語共起ベクトル生成手
順と、文章中のマルチメディアデータ近くに現れる１ま
たは複数の単語の出現頻度を要素とするマルチメディア
データ共起ベクトルを生成するマルチメディアデータ共
起ベクトル生成手順と、前記文章中の単語およびマルチ
メディアデータが指定されたときに前記生成された単語
共起ベクトルとマルチメディアデータ共起ベクトルとを
用いて当該指定された単語およびマルチメディアデータ
の類似度を求める類似度演算手順とを備える。

【００１６】本発明の請求項８に係るマルチメディア情
報処理方法は、文章中の同一文字列の単語についてその
近くに現れる１または複数の単語の出現頻度を要素とす
る単語共起ベクトルを生成する単語共起ベクトル生成手
順と、文章中のマルチメディアデータ近くに現れる１ま
たは複数の単語の出現頻度を要素とするマルチメディア
データ共起ベクトルを生成蓄積するマルチメディアデー
タ共起ベクトル生成蓄積手順と、前記文章中の単語が指
定されたときに前記生成された単語共起ベクトルと蓄積
されたマルチメディアデータ共起ベクトルとを用いて当
該指定された単語に類似するマルチメディアデータを求
めるマルチメディアデータ検索手順とを備える。

【００１７】本発明の請求項９に係るマルチメディア情
報処理方法は、文章中の同一文字列の単語についてその
近くに現れる１または複数の単語の出現頻度を要素とす
る単語共起ベクトルを生成蓄積する単語共起ベクトル生
成蓄積手順と、文章中のマルチメディアデータ近くに現
れる１または複数の単語の出現頻度を要素とするマルチ
メディアデータ共起ベクトルを生成するマルチメディア
データ共起ベクトル生成手順と、前記文章中のマルチメ
ディアデータが指定されたときに前記蓄積された単語共
起ベクトルと前記生成されたマルチメディアデータ共起
ベクトルとを用いて当該指定されたマルチメディアデー
タに類似する単語を求める単語検索手順とを備える。

【００１８】本発明の請求項１０に係るマルチメディア
情報処理プログラムが記録されたコンピュータ読み取り
可能な記録媒体は、文章中の同一文字列の単語について
その近くに現れる１または複数の単語の出現頻度を要素
とする単語共起ベクトルを生成する単語共起ベクトル生
成手順と、文章中のマルチメディアデータ近くに現れる
１または複数の単語の出現頻度を要素とするマルチメデ
ィアデータ共起ベクトルを生成するマルチメディアデー
タ共起ベクトル生成手順と、前記文章中の単語およびマ
ルチメディアデータが指定されたときに前記生成された
単語共起ベクトルとマルチメディアデータ共起ベクトル
とを用いて当該指定された単語およびマルチメディアデ
ータの類似度を求める類似度演算手順とを備える。

【００１９】本発明の請求項１１に係るマルチメディア
情報処理プログラムが記録されたコンピュータ読み取り
可能な記録媒体は、文章中の同一文字列の単語について
その近くに現れる１または複数の単語の出現頻度を要素
とする単語共起ベクトルを生成する単語共起ベクトル生
成手順と、文章中のマルチメディアデータ近くに現れる
１または複数の単語の出現頻度を要素とするマルチメデ
ィアデータ共起ベクトルを生成蓄積するマルチメディア
データ共起ベクトル生成蓄積手順と、前記文章中の単語
が指定されたときに前記生成された単語共起ベクトルと
蓄積されたマルチメディアデータ共起ベクトルとを用い
て当該指定された単語に類似するマルチメディアデータ
を求めるマルチメディアデータ検索手順とを備える。

【００２０】本発明の請求項１２に係るマルチメディア
情報処理プログラムが記録されたコンピュータ読み取り
可能な記録媒体は、文章中の同一文字列の単語について
その近くに現れる１または複数の単語の出現頻度を要素
とする単語共起ベクトルを生成蓄積する単語共起ベクト
ル生成蓄積手順と、文章中のマルチメディアデータ近く
に現れる１または複数の単語の出現頻度を要素とするマ
ルチメディアデータ共起ベクトルを生成するマルチメデ
ィアデータ共起ベクトル生成手順と、前記文章中のマル
チメディアデータが指定されたときに前記蓄積された単
語共起ベクトルと前記生成されたマルチメディアデータ
共起ベクトルとを用いて当該指定されたマルチメディア
データに類似する単語を求める単語検索手順とを備え
る。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。以下、マルチメディアデータとし
て画像を例に説明するが、マルチメディアデータは音声
などであってもよい。また、画像は写真などの表現に適
したビットマップ画像でも良いし、デザイン画や図面な
どに適したベクトル画像でもよい。

【００２２】[第１の実施の形態]図１は、本発明の第１
の実施の形態に係るコンピュータ１Ａの構成図である。
コンピュータ１Ａは、単語共起ベクトル生成手段に相当
する単語共起ベクトル生成手段１１、単語共起ベクトル
記憶手段に相当する単語共起ベクトルＤＢ１２、マルチ
メディアデータ共起ベクトル生成手段に相当する画像共
起ベクトル生成手段１３、マルチメディアデータ共起ベ
クトル記憶手段に相当する画像共起ベクトルＤＢ１４お
よび、類似度演算手段に相当する類似度演算手段１５を
備える。単語共起ベクトルＤＢ１２および画像共起ベク
トルＤＢ１４はハードディスクなどの記憶装置内に構成
される。単語共起ベクトル生成手段１１、画像共起ベク
トル生成手段１３および類似度演算手段１５は、ハード
ディスクなどの記憶装置内に格納された処理プログラム
をＲＡＭに一旦読み込み、これをＣＰＵが逐次実行する
ことにより実現される。

【００２３】単語共起ベクトル生成手段１１は、テキス
トデータのみからなるデータや、以下に説明するテキス
トデータと画像データの双方を含んだデータ（「マルチ
メディアデータ項目」という）を入力し、その文章中の
同一文字列の単語についてその近くに現れる所定の単語
（単語共起語という）の出現頻度を要素とする単語共起
ベクトルを生成し、その文章中の単語と、生成された単
語共起ベクトルとを対応づけて単語共起ベクトルＤＢ１
２に格納する。なお、マルチメディアデータ項目やテキ
ストデータのみからなるデータは、本発明の「文章」に
相当する。

【００２４】ここで、マルチメディアデータ項目につい
て説明する。図２は、マルチメディアデータ項目の一例
を示す。マルチメディアデータ項目は、HTML(Hyper Tex
t Markup Language)やSGML(Standard Generated Markup
Language)で記述された情報のように、この「馬の画
像」や音声などのマルチメディアデータの前後にあるテ
キストが特定可能であればどのような形式であってもよ
い。また、実際に表示された場合に、位置情報に基づい
て画像近くにあるテキストを特定できれば、どのような
形式であってもよい。なお、複数のマルチメディアデー
タ項目をマルチメディアデータ項目群というが、その一
部に、画像を含まないテキストのみのマルチメディア項
目があってもよい。なお、ここにいう画像には２次元画
像および３次元画像が含まれる。以下、マルチメディア
データを「馬の画像」として説明を行う。

【００２５】画像共起ベクトル生成手段１３は、マルチ
メディアデータ項目を入力し、その文章中の画像近くに
現れる１または複数の単語（そのそれぞれを画像共起語
という）の出現頻度を要素とする単語共起ベクトルを生
成し、その文章中の単語と生成された単語共起ベクトル
とを対応づけて画像共起ベクトルＤＢ１４に格納する。

【００２６】類似度演算手段１５は、文章中の単語およ
び画像が指定されたときに単語共起ベクトルＤＢ１２に
記憶された単語共起ベクトルと、画像共起ベクトルＤＢ
１４に記憶された画像共起ベクトルとを用いて、その指
定された単語およびマルチメディアデータの類似度を求
め出力する。

【００２７】次に、コンピュータ１Ａの動作を図２のマ
ルチメディア項目の例に従って説明する。

【００２８】図３は、単語共起ベクトルおよび画像共起
ベクトルの生成、保存を示すフローチャートである。

【００２９】先ず、ステップＳ１でコンピュータ１Ａ
が、ユーザによって予め保存されたマルチメディアデー
タ項目群をハードディスク装置などから読み込むと、ス
テップＳ２で単語共起ベクトル生成手段１１は、以下の
ように単語共起ベクトルを生成し単語共起ベクトルＤＢ
１２に保存する。なお、かかる生成手順は単語共起ベク
トル生成手順に相当し、保存までを含めた手順は単語共
起ベクトル生成蓄積手順に相当する。

【００３０】例えば、単語「馬」を含む文「この牧場で
飼育されている馬は、鬣が美しい。」の中から、名詞／
動詞／形容詞／形容動詞を選択し、さらに、その中から
「する」、「ある」および代名詞を除いたものを、単語
「馬」と関連する単語共起語として選択する。ここで
は、例えば、「牧場」、「飼育」、「鬣」、「美しい」
が、単語「馬」に対応する単語共起語として選択され
る。

【００３１】単語共起ベクトル生成手段１１は、これら
単語共起語の出現頻度を求め、この出現頻度を要素とす
る単語共起ベクトルを生成する。なお、文を単語に分割
して品詞を付与する方法としては、奈良先端大学で開発
された形態素解析プログラム「茶筅」のようなプログラ
ムが利用可能である。

【００３２】図４は、読み込んだマルチメディアデータ
項目群中の単語「馬」、「電車」および「赤い」にそれ
ぞれ対応する単語共起ベクトルを示す。これら以外の単
語共起語についてもそれぞれ単語共起ベクトルが生成さ
れ記憶される。

【００３３】なお、マルチメディアデータ項目群中に同
一単語が複数存在するときは、一旦それぞれの単語共起
ベクトルを求め、その中の同一要素同士を加算し、そし
て、加算された結果を要素とするベクトルを単語共起ベ
クトルとして単語共起ベクトルＤＢ１２に保存する。

【００３４】次に、ステップＳ３で画像共起ベクトル生
成手段１３は、画像共起ベクトルを生成し画像共起ベク
トルＤＢ１４に保存する。かかる生成手順は、マルチメ
ディアデータ共起ベクトル生成手順に相当し、保存まで
を含めた手順はマルチメディアデータ共起ベクトル生成
蓄積手順に相当する。

【００３５】例えば、「馬の画像」の前後にある文「高
原の牧場で飼育されている。」と「鬣（たてがみ）が豊
かで栗毛の体毛がある。」の中から、名詞／動詞／形容
詞／形容動詞を選択し、さらに、その中から「する」、
「ある」および代名詞を除いたものを、「馬の画像」と
関連する画像共起語として選択する。このようにして、
「馬の画像」に対する画像共起語「高原」、「牧場」、
「飼育」、「鬣」、「豊か」、「栗毛」および「体毛」
が得られる。

【００３６】図５は、読み込んだマルチメディアデータ
項目群中の「馬の画像」、「豚の画像」および「自動車
の画像」にそれぞれ対応する画像共起ベクトルを示す。
これら以外の画像についてもそれぞれ画像共起ベクトル
が生成され記憶される。

【００３７】なお、マルチメディアデータ項目群中に同
一画像が複数存在するときは、一旦それぞれの画像共起
ベクトルを求め、その中の同一要素同士を加算し、そし
て、加算された結果を要素とするベクトルを画像共起ベ
クトルとして画像共起ベクトルＤＢ１４に保存する。

【００３８】なお、この画像共起語としての選択基準
は、単語共起語に用いた基準と同一とするが、画像前後
における所定数の単語に関連性があると定める方法や、
画像が含まれる段落中の全ての単語に関連性があると定
める方法といった、画像の位置情報とその周辺のテキス
トの言語情報を利用したものであればどのようなもので
あってもよい。

【００３９】ところで、上記説明において単語共起語お
よび画像共起語は、マルチメディアデータ項目群の中の
単語または画像との関連性を基にマルチメディアデータ
項目群の中から選択したが、予め単語共起語または画像
共起語として適当なものを単語共起ベクトルＤＢ１２ま
たは画像共起ベクトルＤＢ１４に記憶させておき、マル
チメディアデータ項目群におけるこれら単語の出現頻度
を要素とするベクトルを単語共起ベクトルまたは画像共
起ベクトルとしてもよい。

【００４０】図６は、類似度の演算処理を示すフローチ
ャートである。なお、以下の手順は類似度演算手順に相
当する。

【００４１】ステップＳ４で類似度演算手段１５は、例
えば、ユーザによってキーボード入力された単語および
画像ｉｄを入力する。ここでは、図４の単語共起ベクト
ルＤＢ１２中の単語「馬」と、図５の画像共起ベクトル
ＤＢ１４中の馬の画像に対応する画像ｉｄ１を入力した
こととする。なお、単語「馬」に替えて単語ｉｄ２を入
力してもよい。つまり、コンピュータ１Ａは単語および
画像の指定が受けらればよい。したがって、パターン認
識などによって画像同士の同一性あるいは類似性判断が
可能な機能を備えていれば、画像自体の入力によって指
定を受けることが可能となる。

【００４２】ステップＳ５で類似度演算手段１５は、指
定された単語に対応する単語共起ベクトルを単語共起ベ
クトルＤＢ１２から読み込む。つまり、単語共起ベクト
ルＤＢ１２より単語ｉｄ２に対応する単語共起ベクトル
（２，４，３，５，１，３，１，５）を読み込む。ま
た、ステップＳ６で類似度演算手段１５は、指定された
画像に対応する画像共起ベクトルを画像共起ベクトルＤ
Ｂ１４から読み込む。つまり画像共起ベクトルＤＢ１４
より画像ｉｄ１に対応する画像共起ベクトル（１，１，
１，１，１，１，０，１）を読み込む。そして、ステッ
プＳ７で類似度演算手段１５は、読み込んだ単語共起ベ
クトルと画像共起ベクトルを用いて類似度を演算する。

【００４３】ここでは、２つのベクトルのなす角度の余
弦を類似度とする。類似度は、次式（１）のように、２
つのベクトルの内積を個々のベクトルの長さの積で除算
した値、約０．９１６となる。

【００４４】

【数１】 類似度の計算方法は、共通して値が０ではないベクトル
中の要素数の割合を類似度とする方法や、２つのベクト
ルの距離の逆数といった、ベクトルの要素を基底とする
多次元空間上で２つのベクトルが近いほど値が大きくな
る指数であればどのようなものであってもよい。

【００４５】そして、ステップＳ８で、類似度演算手段
１５は、演算により求めた類似度０．９１６を、画像ｉ
ｄに対応する「馬の画像」と単語「馬」の類似度とし
て、例えば、ディスプレイ装置やプリンタ、またはユー
ザが指定したファイルなどに出力する。

【００４６】したがって、第１の実施の形態に係るコン
ピュータ１Ａによれば、単語共起ベクトルと画像共起ベ
クトルを演算することにより類似度を求めるようにして
いるので、ファイル名などによって意味づけされていな
いマルチメディアデータと単語との関連性を判断するこ
とができる。

【００４７】したがって、マルチメディアデータと単語
の関係が曖昧なマルチメディアデータ項目群であって
も、これらから一旦単語共起ベクトルおよび画像共起ベ
クトルを生成し記憶しておけば、後からマルチメディア
データが指定された場合であっても、そのマルチメディ
アデータの意味を知ることができるようになる。

【００４８】[第２の実施の形態]図７は、第２の実施の
形態に係るコンピュータ１Ｂの構成図である。

【００４９】コンピュータ１Ｂは、コンピュータ１Ａ
に、マルチメディアデータ検索手段に相当する類似画像
検索手段１６を加えて構成される。類似画像検索手段１
６は、単語共起ベクトルＤＢ１２に記憶された単語が指
定されたときに該指定された単語に類似する画像を求め
て出力する。なお、単語共起ベクトル生成手段１１が単
語共起ベクトルＤＢ１２を生成し、画像共起ベクトル生
成手段１３が画像共起ベクトルＤＢ１４を生成し、そし
て保存蓄積するまでの処理は第１の実施の形態と同一で
あるので説明を省略する。

【００５０】次に、コンピュータ１Ｂの動作を説明す
る。なお、以下の手順はマルチメディアデータ検索手順
に相当する。

【００５１】類似画像検索手段１６は、単語共起ベクト
ルＤＢ１２中の任意の単語（例えば、「馬」）が入力さ
れると、画像共起ベクトルＤＢ１４の中から全画像ｉｄ
を読み出し、その各画像ｉｄと入力された単語「馬」と
をそれぞれ組にして、類似度演算手段１５に出力する。
類似度演算手段１５は上述した演算により類似度を求
め、類似画像検索手段１６に出力する。

【００５２】具体的に類似度演算手段１５は、単語
「馬」と画像共起ベクトルＤＢ１４中の画像ｉｄ＝１，
２，３の画像それぞれに対して類似度を演算する。類似
度の演算方法は、第１の実施形態と同一である。すなわ
ち、画像共起ベクトルと単語共起ベクトルのなす角の余
弦とした場合、ｉｄ＝１の「馬の画像」と単語「馬」と
の類似度は、次式（２）に示すように、画像共起ベクト
ル（１，１，１，１，１，１，０，１）と、単語共起ベ
クトル（２，４，３，５，１，３，１，５）のなす角の
余弦であり、その値は約０．９１６となる。

【００５３】

【数２】 また、ｉｄ＝２の「豚の画像」と単語「馬」の類似度
は、次式（３）に示すように、画像共起ベクトル（０，
０，２，０，０，０，１，１）と、単語共起ベクトル
（２，４，３，５，１，３，１，５）のなす角の余弦で
あり、その値は約０．５１６となる。

【００５４】

【数３】 最後に、ｉｄ＝３の「自動車の画像」と単語「馬」の類
似度は、次式（４）に示すように、画像共起ベクトル
（０，０，０，０，１，０，１，０）と、単語共起ベク
トル（２，４，３，５，１，３，１，５）のなす角の余
弦であり、その値は約０．１４９となる。

【００５５】

【数４】 類似画像検索手段１６は、これら類似度を入力すると、
その中から最大の類似度を与える画像共起ベクトル
（１，１，１，１，１，１，０，１）に対応するｉｄ＝
１の「馬の画像」を画像共起ベクトルＤＢ１４から読み
込み、入力された単語「馬」に類似する画像として出力
する。なお、複数の候補の中から画像を選択して出力す
る方法としては、最も類似度が高い画像共起ベクトルに
対応する画像を出力する方法、類似度が一定値（例えば
０．７）以上の画像共起ベクトルに対応する画像を出力
する方法というように、類似度に基づく方法ならば、ど
のような方法であってもよい。

【００５６】したがって、第２の実施の形態に係るコン
ピュータ１Ｂによれば、単語共起ベクトルとマルチメデ
ィアデータ共起ベクトルとを用いて、指定された単語に
類似するマルチメディアデータを求めるようにしている
ので、画像などのマルチメディアデータに、その意味を
表すファイル名など逐一付与しなくとも画像検索が出来
るようになる。その結果、インターネットから収集され
る種々雑多な情報を基にしたマルチメディアデータデー
タベースなどを構築しておけば、希望のマルチメディア
データをいつでも呼び出すことができるようになる。

【００５７】[第３の実施の形態]図８は、第３の実施の
形態に係るコンピュータ１Ｃの構成図である。

【００５８】コンピュータ１Ｃは、コンピュータ１Ａ
に、単語検索手段に相当する類似語検索手段１７を加え
て構成される。類似語検索手段１７は、画像共起ベクト
ルＤＢ１４に記憶された画像ｉｄが指定されたときに、
該指定された画像ｉｄに対応する画像に類似する単語を
求めて出力する。なお、単語共起ベクトルＤＢ１２およ
び画像共起ベクトルＤＢ１４の作成蓄積までの処理は第
１および第２の実施の形態と同一であるので説明を省略
する。

【００５９】次に、コンピュータ１Ｃの動作を説明す
る。なお、以下の手順は単語検索手順に相当する。

【００６０】類似語検索手段１７は、画像共起ベクトル
ＤＢ１４中の任意の画像ｉｄ（例えば、「馬の画像」に
対応する画像ｉｄ２）が入力されると、単語共起ベクト
ルＤＢ１２の中から全単語ｉｄを読み出し、その各単語
ｉｄと入力された画像ｉｄ２とをそれぞれ組にして、類
似度演算手段１５に出力する。類似度演算手段１５は上
述した演算により類似度を求め、類似画像検索手段１６
に出力する。

【００６１】具体的には、類似度演算手段１５は、画像
ｉｄ１と単語共起ベクトルＤＢ中の単語「電車」、
「馬」、「赤い」のそれぞれに対して類似度を演算す
る。類似度の演算方法は、第１の実施形態と同一であ
る。すなわち、画像共起ベクトルと単語共起ベクトルの
なす角の余弦とした場合、ｉｄ＝１の「馬の画像」と単
語「電車」の類似度は、次式（５）に示すように、画像
共起ベクトル（１，１，１，１，１，１，０，１）と、
単語共起ベクトル（２，１，０，０，２，０，３，０）
のなす角の余弦であり、その値は約０．４４５となる。

【００６２】

【数５】 また、「馬の画像」と単語「馬」の類似度は、次式
（６）に示すように、画像共起ベクトル（１，１，１，
１，１，１，０，１）と、単語共起ベクトル（２，４，
３，５，１，３，１，５）のなす角の余弦であり、その
値は約０．９１６となる。

【００６３】

【数６】 最後に、「馬の画像」と単語「赤い」の類似度は、次式
（７）に示すように、画像共起ベクトル（１，１，１，
１，１，１，０，１）と、単語共起ベクトル（０，０，
０，０，５，２，１，２）のなす角の余弦であり、その
値は約０．５８３となる。

【００６４】

【数７】 類似語検索手段１７は、これら類似度を入力すると、そ
の中から最大の類似度を与える画像共起ベクトル（１，
１，１，１，１，１，０，１）に対応する単語「馬」を
単語共起ベクトルＤＢ１２から読み込み、入力された馬
の画像ｉｄ２に類似する単語として出力する。なお、複
数の候補の中から単語を選択して出力する方法として
は、最も類似度が高い単語共起ベクトルに対応する単語
を出力する方法、類似度が一定値（例えば０．７）以上
の単語共起ベクトルに対応する単語を出力する方法とい
うように、類似度に基づく方法ならば、どのような方法
であってもよい。

【００６５】したがって、第３の実施の形態に係るコン
ピュータ１Ｃによれば、単語共起ベクトルとマルチメデ
ィアデータ共起ベクトルとを用いて、指定されたマルチ
メディアデータに類似する単語を求めるようにしている
ので、逐一画像や音声を見てあるいは聞いて内容確認し
なくとも、そのマルチメディアデータの表す意味が分か
るようになる。その結果、上述したマルチメディアデー
タデータベースなどを構築しておけば、マルチメディア
データに類似する単語をいつでも呼び出すことができる
ようになる。また、求められた単語を音声合成によって
出力すれば、目の不自由な人であっても、画像が表す意
味を知ることが出来るようになる。

【００６６】[第４の実施の形態]図９は、第４の実施の
形態に係るクライアントサーバシステムの構成図であ
る。サーバ１０は、単語共起ベクトル生成手段１１、単
語共起ベクトルＤＢ１２、画像共起ベクトル生成手段１
３、画像共起ベクトルＤＢ１４、類似度演算手段１５、
類似画像検索手段１６および類似語検索手段１７を備え
る。したがって、上記実施の形態で説明した全ての処理
が可能である。サーバ１０は、通信回線を介して接続さ
れた各クライアント２０，２０からの要求に応じて以下
のように処理を行う。なお、クライアントサーバシステ
ムは、インターネットを介して構成されるものであって
も良い。

【００６７】図１０および図１１は、図９に示すクライ
アントおよびサーバ間の動作などを示すシーケンス図で
ある。

【００６８】図１０のステップＳ２１でクライアント２
０が、マルチメディアデータ項目群を送信すると、ステ
ップＳ２２でサーバ１０は、送信されたマルチメディア
データ項目群から単語共起ベクトルを生成し、単語共起
ベクトルＤＢ１２に保存する。また、ステップＳ２３で
サーバ１０は、送信されたマルチメディアデータ項目群
から画像共起ベクトルを生成し、画像共起ベクトルＤＢ
１４に保存する。

【００６９】図１１のステップＳ３１でクライアント２
０が、画像ｉｄと単語「馬」を送信すると、ステップＳ
３２でサーバ１０は、送信された画像ｉｄと単語「馬」
から類似度を演算し、ステップＳ３３で、演算された類
似度をクライアント２０に送信する。

【００７０】また、ステップＳ４１でクライアント２０
が、単語「馬」を送信すると、ステップＳ４１でサーバ
１０が、送信された単語「馬」を基に画像を検索し、ス
テップＳ４３で、検索された「馬の画像」をクライアン
ト２０に送信する。

【００７１】また、ステップＳ５１でクライアント２０
が、画像ｉｄ１を送信すると、ステップＳ５１でサーバ
１０が、送信された画像ｉｄ１を基に単語「馬」を検索
し、ステップＳ４３で、検索された単語「馬」をクライ
アント２０に送信する。

【００７２】したがって、第４の実施の形態に係るサー
バ１０によれば、ネットワークを介して受信される文章
を基に単語共起ベクトル、マルチメディアデータ共起ベ
クトルを生成し、指定されたマルチメディアデータに類
似する単語、指定された単語に類似するマルチメディア
データ、あるいは指定されたマルチメディアデータおよ
び単語の類似度を、生成した単語共起ベクトルおよびマ
ルチメディアデータベクトルを用いて求め、そしてクラ
イアントに送信するようにしているので、サーバから離
れた場所においても、マルチメディアデータに類似する
単語、単語に類似するマルチメディアデータ、マルチメ
ディアデータと単語の類似度を知ることが出来る。

【００７３】なお、上記説明した処理を行うための、処
理プログラムはマルチメディア情報処理プログラムに相
当するものであり、半導体メモリ、磁気ディスク、光デ
ィスク、光磁気ディスク、磁気テープなどのコンピュー
タ読み取り可能な記録媒体に格納することで流通可能に
なる。従って、任意のコンピュータに、この記録媒体を
セットし、処理プログラムを読み込ませて実行すること
により、本発明と同様の作用が得られ、その結果、その
コンピュータ上で本発明と同様の効果を得ることができ
る。

【００７４】

【発明の効果】以上説明したように、本発明によれば、
単語とマルチメディアデータの類似性を得ることができ
る。これにより、ファイル名などによって意味づけされ
ていないマルチメディアデータと単語との関連性を判断
することができる。

【００７５】また、本発明によれば、単語に類似するマ
ルチメディアデータを検索することができる。これによ
り、画像などのマルチメディアデータに逐一ファイル名
など付与しなくとも済むようになる。

【００７６】また、本発明によれば、マルチメディアデ
ータに類似する単語を検索することができる。これによ
り、逐一画像や音声を見てあるいは聞いて内容確認しな
くとも、そのマルチメディアデータの表す意味が分かる
ようになる。

【００７７】また、本発明によれば、サーバから離れた
場所においても、マルチメディアデータに類似する単
語、単語に類似するマルチメディアデータ、マルチメデ
ィアデータと単語の類似度を知ることが出来る。

【図面の簡単な説明】

【図１】図１は、本発明の第１の実施の形態に係るコン
ピュータ１Ａの構成図である。

【図２】マルチメディアデータ項目の一例を示す図であ
る。

【図３】単語共起ベクトルおよび画像共起ベクトルの生
成、保存を示すフローチャートである。

【図４】単語共起ベクトルＤＢ１２に記憶される単語共
起ベクトルを示す図である。

【図５】画像共起ベクトルＤＢ１４に記憶される画像共
起ベクトルを示す図である。

【図６】類似度の演算処理を示すフローチャートであ
る。

【図７】第２の実施の形態に係るコンピュータ１Ｂの構
成図である。

【図８】第３の実施の形態に係るコンピュータ１Ｃの構
成図である。

【図９】第４の実施の形態に係るクライアントサーバシ
ステムの構成図である。

【図１０】クライアントおよびサーバ間の動作などを示
すシーケンス図である。

【図１１】クライアントおよびサーバ間の動作などを示
すシーケンス図である。

【符号の説明】

１Ａ，１Ｂ，１Ｃ コンピュータ １０ サーバ １１ 単語共起ベクトル生成手段 １２ 単語共起ベクトルＤＢ １３ 画像共起ベクトル生成手段 １４ 画像共起ベクトルＤＢ １５ 類似度演算手段 １６ 類似画像検索手段 １７ 類似語検索手段 ２０ クライアント

───────────────────────────────────────────────────── フロントページの続き (72)発明者 加藤 恒昭 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B075 ND16 NK35 PQ02 PR04 PR06 QM08

Claims (12)

【特許請求の範囲】
1. 【請求項１】 文章中の同一文字列の単語についてその
   近くに現れる１または複数の単語の出現頻度を要素とす
   る単語共起ベクトルが記憶される単語共起ベクトル記憶
   手段と、 文章中のマルチメディアデータ近くに現れる１または複
   数の単語の出現頻度を要素とするマルチメディアデータ
   共起ベクトルが記憶されるマルチメディアデータ共起ベ
   クトル記憶手段と、 前記文章中の単語およびマルチメディアデータが指定さ
   れたときに前記単語共起ベクトル記憶手段に記憶された
   単語共起ベクトルと前記マルチメディアデータ共起ベク
   トル記憶手段に記憶されたマルチメディアデータ共起ベ
   クトルとを用いて当該指定された単語およびマルチメデ
   ィアデータの類似度を求める類似度演算手段とを備える
   マルチメディア情報処理装置。
2. 【請求項２】 文章中の同一文字列の単語についてその
   近くに現れる１または複数の単語の出現頻度を要素とす
   る単語共起ベクトルが記憶される単語共起ベクトル記憶
   手段と、 文章中のマルチメディアデータ近くに現れる１または複
   数の単語の出現頻度を要素とするマルチメディアデータ
   共起ベクトルが蓄積されるマルチメディアデータ共起ベ
   クトル記憶手段と、 前記文章中の単語が指定されたときに前記単語共起ベク
   トル記憶手段に記憶された単語共起ベクトルと前記マル
   チメディアデータ共起ベクトル記憶手段に蓄積されたマ
   ルチメディアデータ共起ベクトルとを用いて当該指定さ
   れた単語に類似するマルチメディアデータを求めるマル
   チメディアデータ検索手段とを備えるマルチメディア情
   報処理装置。
3. 【請求項３】 文章中の同一文字列の単語についてその
   近くに現れる１または複数の単語の出現頻度を要素とす
   る単語共起ベクトルが蓄積される単語共起ベクトル記憶
   手段と、 文章中のマルチメディアデータ近くに現れる１または複
   数の単語の出現頻度を要素とするマルチメディアデータ
   共起ベクトルが記憶されるマルチメディアデータ共起ベ
   クトル記憶手段と、 前記文章中のマルチメディアデータが指定されたときに
   前記単語共起ベクトル記憶手段に蓄積された単語共起ベ
   クトルと前記マルチメディアデータ共起ベクトル記憶手
   段に記憶されたマルチメディアデータ共起ベクトルとを
   用いて当該指定されたマルチメディアデータに類似する
   単語を求める単語検索手段とを備えるマルチメディア情
   報処理装置。
4. 【請求項４】 前記単語共起ベクトルを生成する単語共
   起ベクトル生成手段またはマルチメディアデータ共起ベ
   クトルを生成するマルチメディアデータ共起ベクトル生
   成手段を備えることを特徴とする請求項１ないし請求項
   ３のいずれかに記載のマルチメディア情報処理装置。
5. 【請求項５】 ネットワークを介して受信される前記単
   語が含まれる文章を基に前記単語共起ベクトルを生成す
   る単語共起ベクトル生成手段またはネットワークを介し
   て受信される前記マルチメディアデータを含む文章を基
   に前記マルチメディアデータ共起ベクトルを生成するマ
   ルチメディアデータ共起ベクトル生成手段を備えること
   を特徴とする請求項１ないし請求項３のいずれかに記載
   のマルチメディア情報処理装置。
6. 【請求項６】 前記単語、マルチメディアデータまたは
   該単語およびマルチメディアデータの指定がネットワー
   クを介してなされるときに当該指定により求められたマ
   ルチメディアデータ、単語または類似度をネットワーク
   を介して供給することを特徴とする請求項１ないし請求
   項５のいずれかに記載のマルチメディア情報処理装置。
7. 【請求項７】 文章中の同一文字列の単語についてその
   近くに現れる１または複数の単語の出現頻度を要素とす
   る単語共起ベクトルを生成する単語共起ベクトル生成手
   順と、 文章中のマルチメディアデータ近くに現れる１または複
   数の単語の出現頻度を要素とするマルチメディアデータ
   共起ベクトルを生成するマルチメディアデータ共起ベク
   トル生成手順と、 前記文章中の単語およびマルチメディアデータが指定さ
   れたときに前記生成された単語共起ベクトルとマルチメ
   ディアデータ共起ベクトルとを用いて当該指定された単
   語およびマルチメディアデータの類似度を求める類似度
   演算手順とを備えるマルチメディア情報処理方法。
8. 【請求項８】 文章中の同一文字列の単語についてその
   近くに現れる１または複数の単語の出現頻度を要素とす
   る単語共起ベクトルを生成する単語共起ベクトル生成手
   順と、 文章中のマルチメディアデータ近くに現れる１または複
   数の単語の出現頻度を要素とするマルチメディアデータ
   共起ベクトルを生成蓄積するマルチメディアデータ共起
   ベクトル生成蓄積手順と、 前記文章中の単語が指定されたときに前記生成された単
   語共起ベクトルと蓄積されたマルチメディアデータ共起
   ベクトルとを用いて当該指定された単語に類似するマル
   チメディアデータを求めるマルチメディアデータ検索手
   順とを備えるマルチメディア情報処理方法。
9. 【請求項９】 文章中の同一文字列の単語についてその
   近くに現れる１または複数の単語の出現頻度を要素とす
   る単語共起ベクトルを生成蓄積する単語共起ベクトル生
   成蓄積手順と、 文章中のマルチメディアデータ近くに現れる１または複
   数の単語の出現頻度を要素とするマルチメディアデータ
   共起ベクトルを生成するマルチメディアデータ共起ベク
   トル生成手順と、 前記文章中のマルチメディアデータが指定されたときに
   前記蓄積された単語共起ベクトルと前記生成されたマル
   チメディアデータ共起ベクトルとを用いて当該指定され
   たマルチメディアデータに類似する単語を求める単語検
   索手順とを備えるマルチメディア情報処理方法。
10. 【請求項１０】 文章中の同一文字列の単語についてそ
    の近くに現れる１または複数の単語の出現頻度を要素と
    する単語共起ベクトルを生成する単語共起ベクトル生成
    手順と、 文章中のマルチメディアデータ近くに現れる１または複
    数の単語の出現頻度を要素とするマルチメディアデータ
    共起ベクトルを生成するマルチメディアデータ共起ベク
    トル生成手順と、 前記文章中の単語およびマルチメディアデータが指定さ
    れたときに前記生成された単語共起ベクトルとマルチメ
    ディアデータ共起ベクトルとを用いて当該指定された単
    語およびマルチメディアデータの類似度を求める類似度
    演算手順とを備えるマルチメディア情報処理プログラム
    が記録されたコンピュータ読み取り可能な記録媒体。
11. 【請求項１１】 文章中の同一文字列の単語についてそ
    の近くに現れる１または複数の単語の出現頻度を要素と
    する単語共起ベクトルを生成する単語共起ベクトル生成
    手順と、 文章中のマルチメディアデータ近くに現れる１または複
    数の単語の出現頻度を要素とするマルチメディアデータ
    共起ベクトルを生成蓄積するマルチメディアデータ共起
    ベクトル生成蓄積手順と、 前記文章中の単語が指定されたときに前記生成された単
    語共起ベクトルと蓄積されたマルチメディアデータ共起
    ベクトルとを用いて当該指定された単語に類似するマル
    チメディアデータを求めるマルチメディアデータ検索手
    順とを備えるマルチメディア情報処理プログラムが記録
    されたコンピュータ読み取り可能な記録媒体。
12. 【請求項１２】 文章中の同一文字列の単語についてそ
    の近くに現れる１または複数の単語の出現頻度を要素と
    する単語共起ベクトルを生成蓄積する単語共起ベクトル
    生成蓄積手順と、 文章中のマルチメディアデータ近くに現れる１または複
    数の単語の出現頻度を要素とするマルチメディアデータ
    共起ベクトルを生成するマルチメディアデータ共起ベク
    トル生成手順と、 前記文章中のマルチメディアデータが指定されたときに
    前記蓄積された単語共起ベクトルと前記生成されたマル
    チメディアデータ共起ベクトルとを用いて当該指定され
    たマルチメディアデータに類似する単語を求める単語検
    索手順とを備えるマルチメディア情報処理プログラムが
    記録されたコンピュータ読み取り可能な記録媒体。