JP2011248827A - 言語横断型情報検索方法、言語横断型情報検索システム及び言語横断型情報検索プログラム - Google Patents

Abstract

【課題】ユーザは画像情報により検索語の持つ多義性を視覚的に認識することができ、検索語に関連する意味に基づいて提示される翻訳語と検索関連語を選択できる言語横断型情報検索技術を提供する。
【解決手段】検索要求を解析し、原言語の検索語を取得し、原言語の単語と各単語の目的言語における対訳を記憶する対訳辞書を検索し、検索語の対訳を翻訳語候補として取得し、翻訳語候補をキーとして、画像検索を行い、画像情報を取得し、取得した画像情報を検索語に関連する意味に分類し、分類毎に、目的言語における検索関連語を抽出し、翻訳語候補と分類された画像データと検索関連語とをユーザに提示し、翻訳語候補と検索関連語とを選択させるための画面を生成し、ユーザに選択された翻訳語候補と検索関連語をキーとして、目的言語における情報検索を行う。
【選択図】図１

Description

本発明は原言語による検索要求に対し、この検索要求と適合し、かつ、原言語とは異なる目的言語で記述されたドキュメントを検索する言語横断型情報検索方法、言語横断型情報検索システム及び言語横断型情報検索プログラムに関する。

言語横断型情報検索において、ユーザの検索要求を適切に目的言語へと翻訳することは、重要な課題として認識されている（非特許文献１参照）。言語横断型情報検索では、原言語の検索要求を目的言語に翻訳し、翻訳語を用いて目的言語で記述されたドキュメントを検索する。そのため、ユーザの検索要求が適切に目的言語へと翻訳されないと、精度の高い情報検索を行うことができない。しかし、一般に、ユーザは目的言語の知識を有しないため、検索要求が適切に目的言語へと翻訳されているかを確認することができない。

原言語の検索要求を言語的な手段で目的言語へ翻訳する方法として特許文献１が知られている。特許文献１では、ユーザの検索要求に含まれる検索語の翻訳語候補を要素として持つ目的言語における言語表現と、その目的言語における言語表現の（原言語における）逆翻訳結果をユーザに提示し、選択させる。これにより、ユーザが目的言語の知識が乏しい場合にも、逆翻訳結果を参照して、適切な翻訳語を選択できる。

また、画像を利用して、原言語の検索要求を目的言語へ翻訳する方法として非特許文献２が知られている。非特許文献２では、原言語の検索語の翻訳語候補を検索クエリ語として、画像検索を行い、翻訳語候補とその画像検索結果の画像を提示する。これにより、ユーザが目的言語の知識が乏しい場合にも、画像を参照して、適切な翻訳語を選択できる。

特開２００４−１５１８８１号公報

林良彦、横尾昭男、古瀬蔵著、「多言語情報アクセスシステム」、NTT技術ジャーナル、２００２年１月、p.76-80 林良彦， Bora Savas 、永田昌明著、「言語横断情報検索のクエリ翻訳曖昧性解消のための画像情報の利用」、言語処理学会第１５回年次大会、２００９年３月、p.550-553

しかしながら、特許文献１では、言語情報のみを提示しているため、一覧性に欠け、効率よく適切な翻訳語を選択できないという問題がある。

また、非特許文献２では、選択された翻訳語が目的言語固有の多義性を有する場合に生ずる以下のような問題がある。例えば、鳥の「つる」を想定して日本語の「つる」に対して英語の”ｃｒａｎｅ”が翻訳語として得られる場合、検索クエリ語として”ｃｒａｎｅ”を用いると、「鶴」（鳥）に関する画像だけでなく、「クレーン」(機械)に関する画像が検索されてしまうという問題である。

上記の課題を解決するために、本発明に係る言語横断型情報検索技術は、原言語による検索要求に対し、この検索要求と適合し、かつ、原言語とは異なる目的言語で記述されたドキュメントを検索する。なお、画像データにはテキスト情報である画像付加情報が付与されており、画像情報は画像データと画像付加情報を含むものとする。さらに、本発明に係る言語横断型情報検索技術では、検索要求を解析し、原言語の検索語を取得し、対訳辞書を検索し、検索語の対訳を翻訳語候補として取得し、翻訳語候補をキーとして、画像検索を行い、画像情報を取得し、取得した画像情報を検索語に関連する意味に分類し、分類毎に、目的言語における検索関連語を抽出し、翻訳語候補と分類された画像データと検索関連語とをユーザに提示し、翻訳語候補と検索関連語とを選択させるための画面を生成する。さらに、ユーザに選択された翻訳語候補と検索関連語をキーとして、目的言語における情報検索を行う。

本発明は、翻訳語候補をキーとして、画像検索を行い、取得した画像情報を検索語に関連する意味に分類し、翻訳語候補と分類された画像データとそれに対応する検索関連語とをユーザに提示するため、ユーザは画像情報により検索語の持つ多義性を視覚的に認識することができるという効果を奏する。さらに、検索語に関連する意味に基づいて提示される翻訳語と検索関連語を選択できるという効果を奏する。

言語横断型情報検索システム１００の構成図。 言語横断型情報検索システム１００のフローチャートを示す図。 ＳＴ対訳辞書２２１のデータ例を示す図。 翻訳語候補リストのデータ例を示す図。 ＴＳ対訳辞書２２２のデータ例を示す図。 逆翻訳語候補リストのデータ例を示す図。 （ａ）ｖｉｎｅを、（ｂ）ｔｅｎｄｒｉｌを、（ｃ）ｃｒａｎｅをキーとする画像検索の検索結果例を示す図。 図７の（ｃ）−２を画像情報の概念を表す図。 画像分類部２６０の構成図。 画像分類部２６０のフローチャートを示す図。 検索語意味リストのデータ例を示す図。 意味ベクトル辞書３００のデータ例を示す図。 検索語意味記述リストのデータ例を示す図。 意味ベクトル辞書３００のデータ例を示す図。 画像記述語リストのデータ例を示す図。 画像意味記述リストのデータ例を示す図。 画像分類の結果の概念図。 ユーザ提示画面の概念図。 画像検索エンジンを用いた場合の情報検索結果の例を示す図。 ｗｗｗ上で利用可能なＷｅｂページ検索エンジンを用いた場合の情報検索結果の例を示す図。 電子辞書から意味ベクトルを構成する概念図。 画像特徴に対する意味ベクトルを構成する概念図。 言語横断型情報検索システム１００のハードウェア構成を例示したブロック図。

以下、本発明の実施の形態について、詳細に説明する。

＜言語横断型情報検索システム１００＞
図１及び図２を用いて実施例１に係る言語横断型情報検索システム１００を説明する。言語横断型情報検索システム１００は、通信部１０１と、記憶部１０３と、制御部１０５と、ユーザインタフェース部２００と、検索要求解析部２１０と、対訳取得部２２０と、ＳＴ対訳辞書２２１と、ＴＳ対訳辞書２２２と、画像情報取得部２４０と、画像分類部２６０と、検索関連語抽出部２７０と、ユーザ提示情報生成部２７５と、情報検索式生成部２８０及び情報検索部２９０とを有する。

言語横断型情報検索システム１００は、原言語（ユーザが用いる言語）による検索要求に対し、この検索要求と適合し、かつ、原言語とは異なる目的言語で記述されたドキュメントを検索する。以下では、日本語を原言語とするユーザが英語のドキュメントを検索する日本語・英語間の言語横断型情報検索を想定し、”つる”という検索要求を具体例として用いて説明する。

＜通信部１０１、記憶部１０３及び制御部１０５＞
言語横断型情報検索システム１００は、通信部１０１を介して後述する画像サーチエンジン９４１やサーチエンジン９９１等とデータを送受信する。通信部１０１は、例えば、ＬＡＮアダプタ等により構成される。

記憶部１０３は入出力される各データや演算過程の各データを、逐一、格納・読み出しする。それにより各演算処理が進められる。但し、必ずしも記憶部１０３に記憶しなければならないわけではなく、各部間で直接データを受け渡してもよい。後述するＳＴ対訳辞書２２１、ＴＳ対訳辞書２２２及び意味ベクトル辞書３００等は、記憶部１０３の一部であってもよい。

制御部１０５は、後述する各部の処理やデータの受渡し等を制御する。

＜ユーザインタフェース部２００＞
ユーザインタフェース部２００は、ユーザからの入力を受け付けると共に、当該ユーザに対して情報を出力する。例えば、データが入力される入力インタフェース（例えばキーボード、マウス等）とデータが出力される出力インタフェース（例えばディスプレイ、プリンタ等）、または、それらの入出力インタフェースに対する入出力端子からなる。また、言語横断型情報検索システム１００がネットワーク上のサーバ等であり、ユーザがネットワークを介してアクセスする場合には、ユーザインタフェース部２００は、ユーザとデータを送受信するための通信部等であってもよい。

＜検索要求解析部２１０＞
検索要求解析部２１０は、検索要求を解析し、原言語の検索語を取得する（ｓ２１０）。例えば、検索要求解析部２１０は、ユーザインタフェース部２１０を介してユーザから入力される検索要求（原言語）に含まれる名詞、動詞、形容詞等の内容語を抽出する。本検索要求解析処理は、形態素解析処理として公知である技術（例えば、田中穂積監修、「自然言語処理−基礎と応用−」（永田昌明、「第１章 形態素・構文解析」）、社団法人電子情報通信学会、１９９９年、p.2-38参照）を基に実現が可能であるため、本発明ではその詳細を規定しない。例えば、日本語の検索要求”つる“に対しては、”つる”という一つの内容語が得られる。さらに、複雑な検索要求に対しては、複数の内容語が得られる場合もある。これらの抽出された１以上の内容語を検索語として取得し、対訳取得部２２０に送信する。

＜対訳取得部２２０、ＳＴ対訳辞書２２１及びＴＳ対訳辞書２２２＞
対訳取得部２２０は、原言語の単語と各単語の目的言語における対訳を記憶する対訳辞書を検索し、検索語の対訳を翻訳語候補として取得する（ｓ２２０）。

例えば、まず、対訳取得部２２０は、受信した検索語をキーとして、予め準備されたＳＴ対訳辞書２２１(原言語Ｓから目的言語Ｔへの対訳辞書、図３参照)を検索することにより、検索語に対する翻訳語候補を得る。一般に、ＳＴ対訳辞書２２１は、キーとなっている原言語Ｓの単語の語義毎に、目的言語Ｔにおける１以上の対訳（翻訳語候補）を提示している。対訳取得部２２０は、語義毎の１以上の翻訳語候補からなる集合を要素とする翻訳語候補リストを生成する（図４参照）。例えば、現在の検索要求(“つる”)に対して、「植物の一部」の語義と「鳥類」の語義があるものとし、語義毎に、(”ｖｉｎｅ”、“ｔｅｎｄｒｉｌ”)、(“ｃｒａｎｅ”)という翻訳語候補が提示されているとする。このとき、対訳取得部２２０は、翻訳語候補リストを以下のように構成する。
翻訳語候補リスト:{(”ｖｉｎｅ”、“ｔｅｎｄｒｉｌ”)、(“ｃｒａｎｅ”)}

次に、対訳取得部２２０は、翻訳語候補リストにおける翻訳語候補をキーとして、予め準備されたＴＳ対訳辞書２２２(目的言語Ｔから原言語Ｓへの対訳辞書、図５参照)を検索することにより、翻訳候補語に対する逆翻訳語候補を得る。

ＴＳ対訳辞書２２２も語義毎に１以上の逆対訳語（逆翻訳語候補）を提示している。対訳取得部２２０は、語義毎の１以上の逆翻訳語候補からなる集合を要素とする逆翻訳語候補リストを生成する（図６参照）。例えば、(“ｖｉｎｅ”、“ｔｅｎｄｒｉｌ”)からは(“植物”、“つる”、“蔓”)が、(“ｃｒａｎｅ”)からは(“鳥“、“つる”、”ツル”、“鶴”)、(“機械”、“クレーン”、“起重機”)が得られるとするとき、対訳取得部２２０は、逆翻訳語候補リストを以下のように生成する。
逆翻訳語候補リスト:{(“植物”、“つる”、“蔓”)、(“鳥“、“つる”、”ツル”、“鶴”)、(“機械”、“クレーン”、“起重機”)}

対訳取得部２２０は、翻訳語候補リストを画像情報取得部２４０へ送信し、翻訳語リストと逆翻訳語リストを画像分類部２６０に送信する。なお、各リストは記憶部１０３に格納され、制御部１０１の指示に従って、記憶部１０３から各部に送信してもよい。

＜画像情報取得部２４０＞
画像情報取得部２４０は、翻訳語候補をキーとして、画像検索を行い、画像情報を取得する（ｓ２４０）。

例えば、画像取得部２４０は、通信部１０１を介して、画像サーチエンジン９４１に対し、受信した翻訳語候補リスト中の各翻訳語候補をキーとして、画像検索要求を送信し、検索結果である画像情報を取得する。ここで画像サーチエンジン９４１は、データベースなどに蓄積された画像情報を検索するものでもよいし、適切な通信手段を介して遠隔実行できるサーバ、例えばＷＷＷ上で利用可能な画像検索エンジンであってもよい。例えば、翻訳語候補リスト{(”ｖｉｎｅ”、“ｔｅｎｄｒｉｌ”)、(“ｃｒａｎｅ”)}においては、”ｖｉｎｅ”、”ｔｅｎｄｒｉｌ”、”ｃｒａｎｅ”をキーとする画像情報の集合が図７（ａ）、（ｂ），（ｃ）に示すように得られるとする（図７で使用している画像・イラストデータは、Ｍｉｃｒｏｓｏｆｔクリップアート(http://office.microsoft.com /ja-jp/help/HA010897061041.aspx)を使用している）。なお、画像データには、テキスト情報であるタイトル、キーワード、サマリー等の画像付加情報が付与されており、画像情報は画像データと画像付加情報を含むものとする。一般に、ＷＷＷ上で良く用いられる画像サーチエンジンは、このような画像情報を提供する機能を備えている。画像取得部２４０は、１以上の画像情報から画像情報リストを生成する。図７（ｃ）−２に示した画像に対する画像情報の概念を図８に示す。画像情報取得部２４０は画像情報リストを、直接、または、記憶部１０３を介して、画像分類部２６０に送信する。

＜画像分類部２６０＞
画像分類部２６０は、取得した画像情報を検索語に関連する意味に分類する（ｓ２６０）。図９及び図１０を用いて、画像分類部２６０を説明する。画像分類部２６０は、検索語意味記述部２３０と、画像意味記述部２５０と、意味ベクトル辞書３００及び適合度算出部２６１を備える。なお、本実施例において検索語に関連する意味とは、原言語及び目的言語における単語の集合により記述されるものとする。

（意味ベクトル辞書３００）
意味ベクトル辞書３００は、単語と各単語の意味を表現するＴ次元の意味ベクトルを予め記憶しておく。また、意味ベクトル辞書３００は、後述する画像特徴ベクトルの意味を表現するＴ次元の意味ベクトルを予め記憶しておく。なお、意味ベクトルの各次元はある潜在的な意味の次元を表す。意味ベクトル辞書３００は利用に先立ち、予め構築しておく。その構築方法については後述する。

（検索語意味記述部２３０）
検索語意味記述部２３０は、意味ベクトル辞書３００を参照して、翻訳語候補を基に生成される集合を構成する原言語及び目的言語の意味を表現する意味ベクトルを求め、１以上の意味ベクトルから集合の検索語意味記述を求める（ｓ２３０）。

例えば、検索語意味記述部２３０は、翻訳語リストと逆翻訳語リストを受信し、これらのリストから検索語の語義毎の翻訳語候補及びその翻訳語候補の語義毎の逆翻訳語候補からなる１以上の集合を求める。この集合を要素とする検索語意味リストを作成する。なお、本実施例では、この翻訳語（目的言語）と逆翻訳語（原言語）の集合（検索語意味リストの要素）が、検索語に関連する意味を表す。

例えば、検索要求(“つる”)においては、以下の３つの要素からなる検索語意味リストが構成される（図１１参照）。
検索語意味リスト:{(”ｖｉｎｅ”、“ｔｅｎｄｒｉｌ”、“植物”、“つる”、“蔓”)、(“ｃｒａｎｅ”、“鳥“、“つる”、”ツル”、“鶴”)、(“ｃｒａｎｅ”、“機械”、“クレーン”、“起重機”)}

次に、検索語意味記述部２３０は、検索語意味リストを構成する要素である集合を構成する各単語（翻訳語及び逆翻訳語）をキーとして、予め構築されている意味ベクトル辞書３００を検索し（図１２参照）、各単語の意味を表現するＴ次元の意味ベクトルを取得する。

検索語意味記述部２３０は、各単語に対して得られた意味ベクトルの重心ベクトルを求め、これを集合に対する検索語意味記述とする。検索語意味リストのそれぞれの要素について、検索語意味記述を求め、検索語意味記述リストを生成する。つまり、検索語意味記述リストは、検索語意味記述を集約した情報構造である（図１３参照、但し、Ｗ，Ｘ，Ｙは各単語集合の単語数を表す）。

例えば、図１１の検索語意味リストの２つめの要素である集合(“ｃｒａｎｅ”、“鳥“、“つる”、”ツル”、“鶴”)の検索語意味記述は、図１２の意味ベクトル辞書３００を参照した場合、

となる。検索語意味記述部２３０は、検索語意味記述リストを直接、または、記憶部１０３を介して、適合度算出部２６１へ送信する。

（画像意味記述部２５０）
画像意味記述部２５０は、予め構築された意味ベクトル辞書３００を参照して、画像情報の意味を表現する意味ベクトルを求め、１以上の意味ベクトルから画像意味記述を求める（ｓ２５０）。例えば、画像意味記述部２５０は、画像特徴意味ベクトル取得部２５１と、重み付け部２５２と、画像記述意味ベクトル取得部２５３及び重心ベクトル算出部２５４を備える（図９参照）。

｛画像特徴意味ベクトル取得部２５１｝
画像特徴意味ベクトル取得部２５１は、画像データを分析することにより得られる画像的な特徴を表現する画像特徴ベクトルを用いて、前記意味ベクトル辞書３００を参照して、画像特徴ベクトルに対する意味ベクトルを求める（ｓ２５１）。

例えば、画像特徴意味ベクトル取得部２５１は、画像情報リストを構成する画像情報の画像データを受信し、各画像データの画像的な特徴を表現するＮ次元の画像特徴ベクトル（α１，α２，…，αＮ）を取得する。画像データからＳＩＦＴなどの画像特徴量を取得する方法については、既知の方法（例えば、井手一郎、柳井啓司著、「セマンティックギャップを越えて--画像・映像の内容理解に向けて」、人工知能学会誌、人工知能学会、2009年9月、24巻5号、p.691-699参照）を用いることができるため、本発明ではその詳細を規定しない。

さらに、画像特徴意味ベクトル取得部２５１は、Ｎ次元の画像特徴ベクトルの各次元の画像特徴の意味を表現するＴ次元の意味ベクトルを、予め構築されている意味ベクトル辞書３００から取得する（図１４参照）。これにより、１つの画像データに対してＮ個の意味ベクトルｉｍ＿１，ｉｍ＿２，…，ｉｍ＿Ｎ（但し、Ｔ次元の意味ベクトルはｉｍ＿ｎ＝（ｉｍ＿ｎ＿１，ｉｍ＿ｎ＿２，…，ｉｍ＿ｎ＿Ｔ）である）を取得する。

｛重み付け部２５２｝
重み付け部２５２は、Ｎ個の意味ベクトルｉｍ＿１，ｉｍ＿２，…，ｉｍ＿Ｎに、対応する画像特徴ベクトル（α１，…，αＮ）の各次元の値を乗ずることにより、意味ベクトルに重み付けを行う（ｓ２５２）。なお、重み付けされた意味ベクトルはα１×ｉｍ＿１，α２×ｉｍ＿２，…，αＮ×ｉｍ＿Ｎと表すことができる。

｛画像記述意味ベクトル取得部２５３｝
画像記述意味ベクトル取得部２５３は、画像付加情報を解析することにより得られる画像記述語を用いて、意味ベクトル辞書３００を参照して、画像記述語に対する意味ベクトルを求める（ｓ２５３）。

例えば、画像記述意味ベクトル取得部２５３は、画像情報リストを構成する画像情報の画像付加情報を受信し、画像付加情報を解析し１以上のキーワードを抽出し、これを画像記述語とする。

また、画像記述意味ベクトル取得部２５３は、検索要求解析部２１０における検索語取得と同等の手段によって、画像付加情報のサマリーを解析し、目的言語の画像記述語を取得する。なお、解析対象及び取得対象の言語が原言語ではなく、目的言語である点が検索要求解析部２１０と異なるが、これは一般的な公知技術により解析できる。例えば、図８に示した画像情報のサマリーにおける画像記述語は、(”ｓｐｅｃｉｅｓ”、“ｐｏｓｔｅｒ”、“ｗｈｏｏｐｉｎｇ”、“ｃｒａｎｅ”)であり、画像記述意味ベクトル取得部２５３は、画像情報リストを構成する各画像情報の画像付加情報から画像記述語を取得し、画像記述語リストを生成する（図１５参照）。

次に、画像記述意味ベクトル取得部２５３は、画像記述語の各単語をキーとして、予め構築されている意味ベクトル辞書３００を検索し、各単語の意味を表現するＴ次元の意味ベクトルを取得する。単語の数をＭ(例えばＭ＝４)とするとき、Ｔ次元の意味ベクトルがＭ個得られる。

｛重心ベクトル算出部２５４｝
重心ベクトル算出部２５４は、各画像情報に対して得られたＭ＋Ｎ個の意味ベクトルの重心ベクトルを求め、これを各画像情報に対する画像意味記述とする（ｓ２５４）。

重心ベクトル算出部２５４は、重み付け部２５２からＮ個の重み付けされた（画像データに対する）意味ベクトルを受信し、画像記述意味ベクトル取得部２５３からＭ個の（画像付加情報に対する）意味ベクトルを受信する。

例えば、図８の画像情報の画像意味記述は、図１４の意味ベクトル辞書３００を参照した場合、

となる。このようにして、画像記述部２５０は、画像情報リストのそれぞれの要素である画像情報について画像意味記述を求め、画像意味記述を要素とする画像意味記述リストを生成する（図１６参照、但し、Ｗ，Ｘ，Ｙは各画像情報に対する画像記述語に含まれる単語の数を表す）。画像記述部２５０は、画像意味記述リストを直接、または、記憶部１０３を介して、適合度算出部２６１へ送信する。

（適合度算出部２６１）
適合度算出部２６１は、検索語意味記述と画像意味記述の適合度を算出し、この適合度に応じて、検索語意味記述に対応する検索語に関連する意味と画像意味記述に対応する画像情報とを紐付ける（ｓ２６１）。

例えば、検索語意味記述部２３０から受信した検索語意味記述リスト及び画像意味記述部２５０から受信した画像意味記述リストを基に、各画像情報を、この画像情報の画像意味記述に対して最も高い適合度を与える検索語意味記述に対応付ける。検索語意味記述も画像意味記述もＴ次元の意味次元に対する確率分布に対応するベクトルとして表現されるので、これらの間の適合度の算出はベクトル間の類似度計算に帰着できる。このようなベクトル間の類似度計算に関しては、ＫＬダイバージェンスやコサイン尺度などの既知の手法（例えば、Daniel Jurafsky, James H. Martin著、" Speech and language processing: an introduction to natural language processing, computational linguistics, and speech recognition "、secondedition、PrenticeHall、2008年、p．663-667等参照）が利用できるため、ここではその詳細を規定しない。

画像分類部２６０は、画像情報と検索語意味リストとの対応を分類結果として出力する。図７の画像情報の分類結果を図１７に示す。図１７−（ａ）には植物の一部の「つる」に対応する画像、図１７−（ｂ）には「クレーン(機械)」に対応する画像、図１７−（ｃ）には「鶴」に対応する画像が分類されている。この中で特に図１７−（ｂ）から、原言語の検索語の”つる”には直接対応しない意味が翻訳語候補の”ｃｒａｎｅ”に存在することをユーザは知ることができる。

画像分類部２６０は、直接、または、記憶部１０３を介して、分類結果を検索関連語抽出部２７０に送信する。

＜検索関連語抽出部２７０＞
検索関連語抽出部２７０は、分類毎に、目的言語における検索関連語を抽出し（ｓ２７０）、検索関連語と分類結果をユーザ提示情報生成部２７５に送信する。

対応付けられた検索語意味記述と画像意味記述を基に、目的言語における検索関連語を抽出する。例えば、検索語意味リストの要素である単語の集合（図１１参照）や画像記述語リストの要素である単語の集合（図１５参照）を用いて、その集合内の目的言語の単語から目的言語におけるシソーラスや概念意味辞書を利用して検索関連語を求める。なお、シソーラスとは、意味で整理した辞書であり、ある単語の同義語、広義語、狭義語、関連語等が登録してある。また、概念意味辞書とは、単語の意味及び概念で分類した辞書である。つまり、集合内の目的言語の単語をキーとして、シソーラスや概念意味辞書を検索し、同義語等を検索関連語として取得する。

また、例えば、その集合内の目的言語の単語をキーとして、サーチエンジン９９１等を用いて情報検索を行い、その検索結果から単語に関連するキーワードを抽出し、これを検索関連語として取得してもよい。これらの方法以外であっても、単語の集合に関連するキーワードを検索関連語として抽出する方法であればよい。

（“ｃｒａｎｅ”、“鳥“、“つる”、”ツル”、“鶴”）から得られる検索語意味記述と、（”ｓｐｅｃｉｅｓ”、“ｐｏｓｔｅｒ”、“ｗｈｏｏｐｉｎｇ”、“ｃｒａｎｅ”、＜画像特徴−１＞、…、＜画像特徴−Ｎ＞）から得られる画像意味記述とが対応付けられ、図１７−（ｃ）に示した分類結果例を得た場合、これらに含まれる目的言語の単語（“ｃｒａｎｅ”、”ｓｐｅｃｉｅｓ”、“ｐｏｓｔｅｒ”、“ｗｈｏｏｐｉｎｇ”）によって、上述の方法を適用し、検索関連語を抽出する。例えば、（“ｗｈｏｏｐｉｎｇ ｃｒａｎｅ”、“ｗａｄｅｒ ｂｉｒｄ”、“ｇｒｕｓ”）等の検索関連語が得られる。

なお、上記の方法により複数の検索関連語が得られた場合には、以下の方法により、さらに、限定してもよい。複数の検索関連語について、意味ベクトル辞書３００を参照して、意味ベクトルを求め、画像意味記述や検索語意味記述と類似度が高いもの（例えば、類似度の高い上位数件に対応する検索関連語や、類似度が予め定めた閾値以上である検索関連語）を、最終的な検索関連語として抽出してもよい。

＜ユーザ提示情報生成部２７５＞
ユーザ提示情報生成部２７５は、分類結果と検索関連語を受信し、翻訳語候補と分類された画像データと検索関連語とをユーザに提示し、翻訳語候補と検索関連語とを選択させるための画面を生成し（ｓ２７５）、これをユーザインタフェース部２００を介してユーザに提示する（図１８参照）。

図１８に示すように、ユーザ提示画面は、検索語に関連する意味に応じて、検索語意味リスト及び適合度が高い画像データを表示し、さらに、翻訳語及び検索関連語をチェックボックス付きで提示する。ユーザは、表示された情報を基に、翻訳語及び検索関連語にチェックを入れることで、これを検索クエリ語として選択する。検索クエリ語とは、サーチエンジン９９１に送られる情報検索式の要素となる語である。

検索クエリ語として、“ｗｈｏｏｐｉｎｇ ｃｒａｎｅ”及び”ｗａｄｅｒ ｂｉｒｄ”が選択されたものとし、検索式生成条件として、ＯＲが選択されたものとする。検索式生成条件とは、検索クエリ語をどのように組み合わせて情報検索式を生成するかを示す条件で、例えば、図示していないが、ＡＮＤ（全ての検索クエリ語を含む）またはＯＲ（いずれかの検索語を含む）を選択できるものとする。

＜情報検索式生成部２８０及び情報検索部２９０＞
情報検索式生成部２８０は、ユーザインタフェース部２００を介して、受信した検索クエリ語及び検索式生成条件から情報検索式を生成する。例えば、情報検索式（“ｗｈｏｏｐｉｎｇ ｃｒａｎｅ” ＯＲ “ｗａｄｅｒ ｂｉｒｄ”）を生成し、情報検索部２９０へ検索条件式を送信する。

情報検索部２９０は、ユーザに選択された翻訳語候補と検索関連語をキーとして、目的言語における情報検索を行う（ｓ２９０）。例えば、情報検索部２９０は、通信部１０１を介して、受信した（検索クエリ語と検索生成条件から生成した）情報検索式をキーとし、接続されているサーチエンジン９９１に情報検索を依頼する。さらに、サーチエンジン９９１から返却された情報検索結果をユーザインタフェース部２００へ送信する。

ここで、サーチエンジン９９１は、データベースなどに蓄積されたドキュメントを検索するものでもよいし、適切な通信手段を介して遠隔実行できるサーバであってもよい。

サーチエンジン９９１としてＷＷＷ上で利用可能な画像検索エンジンを用いた場合の情報検索結果の例を図１９に示す。この場合、ドキュメントはテキストによる記述が付与された画像または映像である。このような構成とすることで、原言語をキーとして、目的言語の翻訳語に対応する画像情報を取得することができ、目的言語に対する知識がないユーザであっても容易に目的言語の画像付加情報等を有する画像情報を取得することができる。また、サーチエンジン９９１としてＷＷＷ上で利用可能なＷｅｂページ検索エンジンを用いた場合の情報検索結果の例を図２０に示す。

ユーザインタフェース部２００は、受信した情報検索結果をユーザに提示し、一連の言語横断型情報検索が終了する。

＜意味ベクトル辞書３００の構築方法＞
意味ベクトル辞書３００は、予め意味ベクトル辞書構築部９１０により構築されているものとする。テキスト情報を基に意味ベクトル辞書を構成する情報源、及び、構成手段については、既知の様々な情報源や手段が適用可能と考えられるため、本発明ではその詳細は規定しない。

例えば、意味ベクトル辞書構築部９１０は、同等または類似した内容を持つ原言語テキストと目的言語テキストの対の集合から原言語及び目的言語に共通する単語の潜在的な意味を表す特徴量を、各単語に対して１以上算出し、各単語に対する特徴量の集合を意味ベクトルとして算出し、この単語と意味ベクトルの集合を意味ベクトル辞書３００として構築する。

例えば、あるトピックについて、原言語Ｓによる記述テキストと目的言語Ｔによる記述テキストを結合したテキストをドキュメントと考え、このようなドキュメントの集合により構成されるコーパスから、潜在的な意味を表すＴ次元の意味次元を抽出し、ドキュメント中の各単語とこれらの意味次元の関連度をＴ次元のベクトルとして抽出する手法の適用を仮定する。このような要件を満たす手法としては、ＬＤＡ（Latent Dirichlet Allocation）と呼ばれるものが知られている（例えば、Xing Wei , W. Bruce Croft著、" LDA-based document models for ad-hoc retriev "、Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval、ACM、2006年、p.178-185等参照）。また、上記のような要件を満たすコーパスとして、日本語と英語を対象とする場合は例えば、ＥＤＲ電子化辞書が利用できる（例えば、ＥＤＲ電子化辞書仕様説明書（２.０版）、日本電子化辞書研究所、２００１年参照）。ＥＤＲ電子化辞書においては約４０万の概念が日本語、英語を対象に整理されており、各概念に対して日本語と英語による説明テキストが付与されていることから、この概念の説明テキストを集約すれば、上記の要件を満たすコーパスを構成することができる。電子化辞書からの意味ベクトル辞書を構成する概念図を図２１に示す。例えば、文書ｄｏｃ＿ｌには、同等または類似した内容を持つ原言語テキスト（鶴．ツル．<<動物>> 首の長い水鳥．）と目的言語テキスト（ｃｒａｎｅ，ｌａｒｇｅ ｌｏｎｇ−ｎｅｃｋｅｄ ｗａｄｉｎｇ ｂｉｒｄ ｏｆ ｍａｒｓｈｅｓ ａｎｄ ｐｌａｉｎｓ）の対が記述されている。この文書に対する単語「鶴」及び「ｃｒａｎｅ」の特徴量ｆ＿ｉ＿ｌ及びｆ＿ｊ＿ｌを求める。特徴量としては例えば、各文書中の出現頻度等が挙げられる。各単語を行とし、各文書を列として得られた行列に対し、ＬＤＡ等の手法により次元圧縮処理を行うことにより、各単語に対する意味ベクトルを求めることができる。

一方、画像を特徴づける画像特徴に対する意味ベクトルも、適切なリソースを利用することにより、上記と同様の方法で構成することができる。例えば、英語における概念とＷｅｂ画像を対応付けたリソースとして、ＩｍａｇｅＮｅｔが利用できる（例えばJia Deng、他５名著、" ImageNet: A large-scale hierarchical image database "、Proceedings of CVPR 2009、 2009年等参照）。画像特徴に対する意味ベクトル構成の概念図を図２２に示す。リソースに登録されている各画像を画像特徴意味ベクトル取得部２５１により分析し、画像特徴ベクトル（α１，α２，…，αＮ）により表現する。すると、各画像特徴を行とし、各ドキュメント(それぞれは１つの英語概念（例えば、ｃｒａｎｅ，ｌａｒｇｅ ｌｏｎｇ−ｎｅｃｋｅｄ ｗａｄｉｎｇ ｂｉｒｄ ｏｆ ｍａｒｓｈｅｓ ａｎｄ ｐｌａｉｎｓ）及びその英語概念に対応付けられたＷｅｂ画像から得られる画像特徴ベクトル（例えば、α１，α２，…，αＮ）に対応する)を列として得られた行列に対し、ＬＤＡ等の手法により次元圧縮処理を行うことにより、各画像特徴の潜在する意味を表現するＴ次元の意味ベクトルが得られる。

＜効果＞
本発明は、翻訳語候補をキーとして、画像検索を行い、取得した画像情報を検索語に関連する意味に分類し、翻訳語候補と分類された画像データとそれに対応する検索関連語とをユーザに提示するため、ユーザは画像情報により検索語の持つ多義性を視覚的に認識することができるという効果を奏する。さらに、検索語に関連する意味に基づいて提示される翻訳語と検索関連語を選択できるので、検索精度が高く、ユーザが使い易いという効果を奏する。

＜変形例＞
検索語意味記述部２５０は、画像データのみから画像意味記述を算出してもよい。その場合、画像記述意味ベクトル取得部２５３を設けなくともよい。また、画像付加情報のみから画像意味記述を算出してもよい。その場合、画像特徴意味ベクトル取得部２５１及び重み付け部２５２を設けなくともよい。少なくとも一方の情報を用いれば、画像意味記述を算出することができ、実施例１と同様の効果を得ることができる。さらに、計算量を減らすことができる。但し、画像の分類精度が落ちるため、結果として情報検索の精度は落ちる可能性がある。

本実施例では、各画像データからＮ次元の画像特徴ベクトルを取得するが、画像データ毎に異なる次元の画像特徴ベクトルを取得する構成としてもよい。その場合には、意味ベクトル辞書３００に全ての次元の画像特徴ベクトルに対応する意味ベクトルを記憶しておき、画像データ毎に、（異なる次元の）画像特徴ベクトルに対応する意味ベクトルだけを取得する構成とすればよい。このような構成とすることで、各画像データに対応する画像特徴ベクトルのデータ量を減らすことができ、画像意味記述を求める際の計算を効率的に行うことができる。

本実施例では、検索語意味記述に対応する検索語に関連する意味と画像意味記述に対応する画像情報とを紐付けることにより、画像情報を検索語に関連する意味に分類するが、他の方法により、分類してもよい。

また、本実施例では、検索語に関連する意味を、原言語及び目的言語における単語の集合により表しているが、他の方法により、表してもよいものとする。

＜ハードウェア構成＞
図２３に例示するように、この例の言語横断型情報検索システム１００は、それぞれＣＰＵ（Central Processing Unit）１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ（Read Only Memory）１５、ＲＡＭ（Random Access Memory）１６及びバス１７を有している。

この例のＣＰＵ１１は、制御部１１ａ、演算部１１ｂ及びレジスタ１１ｃを有し、レジスタ１１ｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１２は、データが入力される入力インタフェース、キーボード、マウス等であり、出力部１３は、データが出力される出力インタフェース、ディスプレイ、プリンタ等である。補助記憶装置１４は、例えば、ハードディスク、半導体メモリ等であり、言語横断型情報検索システム１００としてコンピュータを機能させるためのプログラムや各種データが格納される。また、ＲＡＭ１６には、上記のプログラムや各種データが展開され、ＣＰＵ１１等から利用される。また、バス１７は、ＣＰＵ１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ１５及びＲＡＭ１６を通信可能に接続する。なお、このようなハードウェアの具体例としては、例えば、パーソナルコンピュータの他、サーバ装置やワークステーション等を例示できる。

＜プログラム構成＞
上述のように、補助記憶装置１４には、本実施例の言語横断型情報検索システム１００の各処理を実行するための各プログラムが格納される。言語横断型情報検索プログラムを構成する各プログラムは、単一のプログラム列として記載されていてもよく、また、少なくとも一部のプログラムが別個のモジュールとしてライブラリに格納されていてもよい。

＜ハードウェアとプログラムとの協働＞
ＣＰＵ１１は、読み込まれたＯＳプログラムに従い、補助記憶装置１４に格納されている上述のプログラムや各種データをＲＡＭ１６に展開する。そして、このプログラムやデータが書き込まれたＲＡＭ１６上のアドレスがＣＰＵ１１のレジスタ１１ｃに格納される。ＣＰＵ１１の制御部１１ａは、レジスタ１１ｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１６上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１１ｂに順次実行させ、その演算結果をレジスタ１１ｃに格納していく。

図１は、このようにＣＰＵ１１に上述のプログラムが読み込まれて実行されることにより構成される言語横断型情報検索システム１００の機能構成を例示したブロック図である。

ここで、記憶部１０３、ＳＴ対訳辞書２２１、ＴＳ対訳辞書２２２及び意味ベクトル辞書３００は、補助記憶装置１４、ＲＡＭ１６、レジスタ１１ｃ、その他のバッファメモリやキャッシュメモリ等の何れか、あるいはこれらを併用した記憶領域に相当する。また、制御部１０５、検索要求解析部２１０、対訳取得部２２０、画像情報取得部２４０、画像分類部２６０、検索関連語抽出部２７０、ユーザ提示情報生成部２７５、情報検索式生成部２８０及び情報検索部２９０は、ＣＰＵ１１に言語横断型情報検索プログラムを実行させることにより構成されるものである。

１００ 言語横断型情報検索システム
１０１ 通信部
１０３ 記憶部
１０５ 制御部
２００ ユーザインタフェース部
２１０ 検索要求解析部
２２０ 対訳取得部
２４０ 画像情報取得部
２６０ 画像分類部
２７０ 検索関連語抽出部
２７５ ユーザ提示情報生成部
２８０ 情報検索式生成部
２９０ 情報検索部

Claims (11)

1. 原言語による検索要求に対し、この検索要求と適合し、かつ、原言語とは異なる目的言語で記述されたドキュメントを検索する言語横断型情報検索方法であって、
   画像データにはテキスト情報である画像付加情報が付与されており、画像情報は画像データと画像付加情報を含むものとし、
   前記検索要求を解析し、原言語の検索語を取得する検索要求解析ステップと、
   原言語の単語と各単語の目的言語における対訳を記憶する対訳辞書を検索し、前記検索語の対訳を翻訳語候補として取得する対訳取得ステップと、
   前記翻訳語候補をキーとして、画像検索を行い、画像情報を取得する画像情報取得ステップと、
   取得した画像情報を検索語に関連する意味に分類する画像分類ステップと、
   分類毎に、目的言語における検索関連語を抽出する検索関連語抽出ステップと、
   翻訳語候補と分類された画像データと検索関連語とをユーザに提示し、前記翻訳語候補と前記検索関連語とを選択させるための画面を生成するユーザ提示情報生成ステップ、
   ユーザに選択された前記翻訳語候補と前記検索関連語をキーとして、目的言語における情報検索を行う情報検索ステップと、をコンピュータに実行させる、
   ことを特徴とする言語横断型情報検索方法。
2. 請求項１記載の言語横断型情報検索方法であって、
   前記検索語に関連する意味は、原言語及び目的言語における単語の集合により記述されるものとし、
   前記画像分類ステップは、
   予め構築された意味ベクトル辞書を参照して、前記翻訳語候補を基に生成される単語の集合を構成する原言語及び目的言語の意味を表現する意味ベクトルを求め、１以上の意味ベクトルから前記集合の検索語意味記述を求める検索語意味記述ステップと、
   予め構築された意味ベクトル辞書を参照し、前記画像情報の意味を表現する意味ベクトルを求め、１以上の意味ベクトルから画像意味記述を求める画像意味記述ステップと、
   前記検索語意味記述と画像意味記述の適合度を算出し、この適合度に応じて、前記検索語意味記述に対応する検索語に関連する意味と前記画像意味記述に対応する画像情報とを紐付ける適合度算出ステップと、
   を備える、
   ことを特徴とする言語横断型情報検索方法。
3. 請求項２記載の言語横断型情報検索方法であって、
   同等または類似した内容を持つ原言語テキストと目的言語テキストの対の集合から原言語及び目的言語に共通する単語の潜在的な意味を表す特徴量を、各単語に対して１以上算出し、各単語に対する特徴量の集合を意味ベクトルとして算出するものとし、
   前記意味ベクトル辞書に単語と各単語に対する意味ベクトルを予め記憶する、
   ことを特徴とする言語横断型情報検索方法。
4. 請求項２または３記載の言語横断型情報検索方法であって、
   前記画像意味記述ステップは、
   画像データを分析することにより得られる画像的な特徴を表現する画像特徴ベクトルを用いて、前記意味ベクトル辞書を参照して、画像特徴ベクトルに対する意味ベクトルを求める画像特徴意味ベクトル取得ステップと、画像付加情報を解析することにより得られる画像記述語を用いて、前記意味ベクトル辞書を参照して、画像記述語に対する意味ベクトルを求める画像記述意味ベクトル取得ステップと、の少なくとも１つのステップと、
   求まった１以上の意味ベクトルの重心ベクトルを前記画像意味記述として算出する重心ベクトル算出ステップと、
   を含む、
   ことを特徴とする言語横断型情報検索方法。
5. 請求項１から４の何れかに記載の言語横断型情報検索方法であって、
   前記ドキュメントは、テキストによる記述が付与された画像または映像である、
   ことを特徴とする言語横断型情報検索方法。
6. 原言語による検索要求に対し、この検索要求と適合し、かつ、原言語とは異なる目的言語で記述されたドキュメントを検索する言語横断型情報検索システムであって、
   画像データにはテキスト情報である画像付加情報が付与されており、画像情報は画像データと画像付加情報を含むものとし、
   前記検索要求を解析し、原言語の検索語を取得する検索要求解析部と、
   原言語の単語と各単語の目的言語における対訳を記憶する対訳辞書と、
   前記対訳辞書を検索し、前記検索語の対訳を翻訳語候補として取得する対訳取得部と、
   前記翻訳語候補をキーとして、画像検索を行い、画像情報を取得する画像情報取得部と、
   取得した画像情報を検索語に関連する意味に分類する画像分類部と、
   分類毎に、目的言語における検索関連語を抽出する検索関連語抽出部と、
   翻訳語候補と分類された画像データと検索関連語とをユーザに提示し、前記翻訳語候補と前記検索関連語とを選択させるための画面を生成するユーザ提示情報生成部、
   ユーザに選択された前記翻訳語候補と前記検索関連語をキーとして、目的言語における情報検索を行う情報検索部と、を有する
   ことを特徴とする言語横断型情報検索システム。
7. 請求項６記載の言語横断型情報検索システムであって、
   前記検索語に関連する意味は、原言語及び目的言語における単語の集合により記述されるものとし、
   単語と、各単語の意味を表現する意味ベクトルと、画像情報の意味を表現する意味ベクトルとを記憶する意味ベクトル辞書を有し、
   前記画像分類部は、
   前記意味ベクトル辞書を参照して、前記翻訳語候補を基に生成される前記集合を構成する原言語及び目的言語の意味を表現する意味ベクトルを求め、１以上の意味ベクトルから前記集合の検索語意味記述を求める検索語意味記述部と、
   前記意味ベクトル辞書を参照して、前記画像情報の意味を表現する意味ベクトルを求め、１以上の意味ベクトルから画像意味記述を求める画像意味記述部と、
   前記検索語意味記述と画像意味記述の適合度を算出し、この適合度に応じて、前記検索語意味記述に対応する検索語に関連する意味と前記画像意味記述に対応する画像情報とを紐付ける適合度算出部と、
   を備える、
   ことを特徴とする言語横断型情報検索システム。
8. 請求項７記載の言語横断型情報検索システムであって、
   同等または類似した内容を持つ原言語テキストと目的言語テキストの対の集合から原言語及び目的言語に共通する単語の潜在的な意味を表す特徴量を、各単語に対して１以上算出し、各単語に対する特徴量の集合を意味ベクトルとして算出するものとし、
   前記意味ベクトル辞書に単語と各単語に対する意味ベクトルを予め記憶しておく、
   ことを特徴とする言語横断型情報検索システム。
9. 請求項７または８記載の言語横断型情報検索システムであって、
   前記画像意味記述部は、
   画像データを分析することにより得られる画像的な特徴を表現する画像特徴ベクトルを用いて、前記意味ベクトル辞書を参照して、画像特徴ベクトルに対する意味ベクトルを求める画像特徴意味ベクトル取得部と、画像付加情報を解析することにより得られる画像記述語を用いて、前記意味ベクトル辞書を参照して、画像記述語に対する意味ベクトルを求める画像記述意味ベクトル取得部と、の少なくとも一方と、
   求まった１以上の意味ベクトルの重心ベクトルを前記画像意味記述として算出する重心ベクトル算出部と、
   を備える、
   ことを特徴とする言語横断型情報検索システム。
10. 請求項６から９の何れかに記載の言語横断型情報検索システムであって、
    前記ドキュメントは、テキストによる記述が付与された画像または映像である、
    ことを特徴とする言語横断型情報検索システム。
11. 請求項６から請求項１０の何れかに記載の言語横断型情報検索システムとして、コンピュータを機能させるための言語横断型情報検索プログラム。