JP2020086692A

JP2020086692A - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP2020086692A
Application number: JP2018217030A
Authority: JP
Inventors: 伊藤　聡; Satoshi Ito; 聡伊藤; 小坂谷　達夫; Tatsuo Kosakaya; 達夫小坂谷; 悠太白川; Yuta Shirakawa; 進窪田; Susumu Kubota
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2018-11-20
Filing date: 2018-11-20
Publication date: 2020-06-04
Also published as: US20200159743A1

Abstract

【課題】データの多義性を考慮して、異なるモダリティに属するデータの類似度を算出できるようにする。【解決手段】実施形態の情報処理装置は、第１入力部と第２入力部と第１変換部と第２変換部と算出部とを備える。第１入力部は、第１のモダリティに属する第１のデータの入力を受け付ける。第２入力部は、前記第１のモダリティとは異なる第２のモダリティに属する第２のデータの入力を受け付ける。第１変換部は、前記第１のデータを、Ｄ（Ｄは自然数）次元ベクトル空間内の点又は第１の領域を表す第１の表現に変換する。第２変換部は、前記第２のデータを、前記Ｄ次元ベクトル空間内の第２の領域を表す第２の表現に変換する。算出部は、前記第１の表現と前記第２の表現とを用いて、前記第１のデータと前記第２のデータとの間の類似度を算出する。【選択図】図１

Description

本発明の実施形態は情報処理装置、情報処理方法及びプログラムに関する。

テキストを入力して画像を検索する、あるいは画像を入力してテキストを検索するといったように、あるモダリティのデータを入力として、異なるモダリティのデータを検索するクロスモーダル検索が従来から知られている。高精度なクロスモーダル検索を行うためには、何らかの手段で、互いに異なるモダリティに属するデータ間の類似度を適切に算出することが重要である。

しかしながら、従来の技術では、各モダリティのデータを共通空間上の１点に埋め込んで類似度を算出していた。そのため、従来の技術では、データの多義性を考慮して、異なるモダリティに属するデータの類似度を算出することができなかった。

特開２０１６−１３４１７５号公報

Ｌ．Ｗａｎｇ，Ｙ．Ｌｉ，Ｊ．ＨｕａｎｇａｎｄＳ．Ｌａｚｅｂｎｉｋ，ＬｅａｒｎｉｎｇＴｗｏ−ＢｒａｎｃｈＮｅｕｒａｌＮｅｔｗｏｒｋｓｆｏｒＩｍａｇｅ−Ｔｅｘｔｍａｔｃｈｉｎｇ，ＰＡＭＩ，２０１８．（ＤＯＩ：１０．１１０９／ＴＰＡＭＩ．２０１８．２７９７９２１）

本発明が解決しようとする課題は、データの多義性を考慮して、異なるモダリティに属するデータの類似度を算出することができる情報処理装置、情報処理方法及びプログラムを提供することである。

実施形態の情報処理装置は、第１入力部と第２入力部と第１変換部と第２変換部と算出部とを備える。第１入力部は、第１のモダリティに属する第１のデータの入力を受け付ける。第２入力部は、前記第１のモダリティとは異なる第２のモダリティに属する第２のデータの入力を受け付ける。第１変換部は、前記第１のデータを、Ｄ（Ｄは自然数）次元ベクトル空間内の点又は第１の領域を表す第１の表現に変換する。第２変換部は、前記第２のデータを、前記Ｄ次元ベクトル空間内の第２の領域を表す第２の表現に変換する。算出部は、前記第１の表現と前記第２の表現とを用いて、前記第１のデータと前記第２のデータとの間の類似度を算出する。

実施形態の情報処理装置の機能構成の例を示す図。従来の類似度算出方法の例を示す図。実施形態の類似度算出方法の例を示す図。実施形態の領域同士の距離ｄ_１の例を示す図。実施形態の点と領域との距離ｄ_１の例を示す図。実施形態の点と領域との距離ｄ_２の例を示す図。実施形態の情報処理方法の例を示すフローチャート。実施形態の情報処理装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、情報処理装置、情報処理方法及びプログラムの実施形態を詳細に説明する。

［機能構成の例］
図１は実施形態の情報処理装置１０の機能構成の例を示す図である。実施形態の情報処理装置１０は、第１入力部１１と、第２入力部１２と、第１変換部１３と、第２変換部１４と、算出部１５とを備える。

第１入力部１１は、第１のモダリティに属する第１のデータの入力を受け付ける。ここで、モダリティとは、ある種の情報（あるいは、その情報を表現するための形式）のことである。具体的には、モダリティは、例えば視覚情報、音声情報、環境音情報、言語情報（テキスト）、動き情報、生体情報、及び、センサ情報等である。視覚情報は、例えば静止画及び動画等である。動き情報は、モーションキャプチャデータ、及び、画像のオプティカルフロー等である。生体情報は、例えば脈拍等である。センサ情報は、例えば触覚情報、匂い情報、及び、機械の状態を表す情報等である。

第１のモダリティは、上述の任意の１つのモダリティを指す。第１のデータの形式は、第１のモダリティの種類によって変わるが、基本的にはテンソルデータである。例えば、グレイスケールの静止画は、２次元テンソルデータで表現できる。また例えば、グレイスケールの動画は、３次元テンソルデータで表現できる。また例えば、音声情報及び環境音情報は、１次元テンソルデータで表現できる。

他のモダリティに関しても同様にテンソルデータで表現できる。モダリティをテンソルデータで表現する方法について、言語情報（テキスト）を具体例にして補足する。テキストデータの例は、例えば“Ａｂｉｒｄｉｓｆｌｙｉｎｇｏｖｅｒｔｈｅｓｅａ．”である。もちろん、“Ａｂｉｒｄｉｓｆｌｙｉｎｇｏｖｅｒｔｈｅｓｅａ．”はテンソルデータではないので、テンソルデータへ変換する手段が必要となる。この変換には、一般によく知られたＷｏｒｄ２Ｖｅｃモデル及びＳｅｎｔｅｎｃｅ２Ｖｅｃ（あるいはＤｏｃ２Ｖｅｃモデル）等を用いることができる。

Ｗｏｒｄ２Ｖｅｃモデルは、単語をベクトル表現に変換するモデルである。Ｓｅｎｔｅｎｃｅ２Ｖｅｃは、文章をベクトル表現に変換するモデルである。

なお、第１入力部１１は、第１のデータの入力をテンソルデータとして受け付けてもよい。また、第１のデータがテキストデータ等の場合には、第１入力部１１が、第１のデータをテンソルデータに変換してもよい。

第２入力部１２は、第１のモダリティとは異なる第２のモダリティに属する第２のデータの入力を受け付ける。例えば、第１のモダリティが静止画であれば、第２のモダリティは静止画以外のモダリティの何れかである（例えば、テキストデータ）。

第１変換部１３は、第１のデータを、Ｄ（Ｄは自然数）次元ベクトル空間内の点又は第１の領域を表す第１の表現Ｘに変換する。Ｄ次元ベクトル空間は、例えばユークリッド空間である。実施形態の説明では、Ｄ次元ベクトル空間がユークリッド空間である場合について説明する。

第１の表現Ｘが点を表す場合、第１の表現Ｘは下記式（１）により表される。

ここでＴは、ベクトルの転置を示す。また、Ｒ^Ｄは、Ｄ次元ユークリッド空間を示す。

次に、第１の表現Ｘが領域を表す場合について説明する。実施形態では、第１の表現Ｘが領域を表す場合、Ｄ次元ユークリッド空間内の領域として表される。

領域による表現では、点による表現と異なり、パラメトリックに表現可能な様々なモデルを用いることができる。領域による表現は、例えば超平面、超多面体、超球、及び、これらの補集合等である。また例えば、領域による表現は、Ｋ本（ＫはＤより小さい自然数）の基底で張られるＫ次元部分空間でもよい。また例えば、領域による表現は、超平面によって区分された領域でもよく、これは下記式（２）により表現される。

ここで、θ及びｂは超平面を定めるパラメータである。さらに、領域による表現は、前述した領域による表現を複数用意し、それらを和集合あるいは積集合として組み合わせることにより表されてもよい。組み合わされる領域は、同一種類のモデルでも異なる種類のモデルでもよい。具体的には、例えば３個の超平面の積集合でもよいし、超多面体及び超球の和集合でもよい。

また、第１のデータから第１の表現Ｘへの変換には、ニューラルネットワークモデルの一種であるエンコーダモデルを用いればよい。例えば、上述の式（２）の領域表現を用いる場合であれば、（θ^Ｔ，ｂ）^Ｔの合計Ｄ＋１個のパラメータを出力するエンコーダモデルを用いればよい。また、Ｋ次元部分空間を領域表現として用いる場合であれば、Ｋ×Ｄ個のパラメータを出力するエンコーダモデルを用いればよい。

一方、第２変換部１４では、第２のデータを、Ｄ次元ベクトル空間内の第２の領域を表す第２の表現Ｙに変換する。実施形態の説明では、Ｄ次元ベクトル空間は、Ｄ次元ユークリッド空間である。第２の領域の説明については、第１の領域の説明と同様なので省略する。

ここで、領域による表現の利点について、例を用いて説明する。

図２は従来の類似度算出方法の例を示す図である。図２は、各モダリティのデータを共通空間上の１点に埋め込んで類似度が算出される場合の例を示す。図２の例では、第１のモダリティが静止画２１及び２２であり、第２のモダリティがテキスト３１〜３３である。

静止画２１は、第１の表現Ｘ_１に対応する。静止画２２は、第１の表現Ｘ_２に対応する。テキスト３１は、第２の表現Ｙ_１に対応する。テキスト３２は、第２の表現Ｙ_２に対応する。テキスト３３は、第２の表現Ｙ_３に対応する。図２の例では、第１の表現Ｘ_１及びＸ_２、並びに、第２の表現Ｙ_１〜Ｙ_３は、３次元ユークリッド空間により表された共通空間上の点である。

静止画２１に含まれる鳥の羽の色は、黒いが、静止画２２に含まれる鳥の羽の色は黒ではない。したがって、テキスト３１は、静止画２１及び２２の両方に対応する。一方、テキスト３２及び３３は、静止画２１に対応するが、静止画２２には対応しない。対応するペアの類似度を高くし、かつ、対応しないペアの類似度は低くすることは、従来の点による表現では難しい。具体的には、図２のような例では、例えば点同士の距離に応じて類似度を定める場合、対応するペアの類似度を高くし、かつ、対応しないペアの類似度は低くなるようにすることが難しい。

図３は実施形態の類似度算出方法の例を示す図である。図３は、第２変換部１４が、テキスト３１〜３３を点による表現ではなく、領域による表現に変換した場合の例を示す。

静止画２１は、第１の表現Ｘ_１に対応する。静止画２２は、第１の表現Ｘ_２に対応する。テキスト３１は、第２の表現Ｙ_１に対応する。テキスト３２は、第２の表現Ｙ_２に対応する。テキスト３３は、第２の表現Ｙ_３に対応する。図３の例では、第１の表現Ｘ_１及びＸ_２は、３次元ユークリッド空間により表された共通空間上の点である。一方、第２の表現Ｙ_１〜Ｙ_３は、３次元ユークリッド空間により表された共通空間上の領域である。

第２の表現Ｙ_１〜Ｙ_３を領域により表現した場合には、上述の図２で説明した対応関係を満たしていることが確認できる。すなわち、テキスト３１を表す第２の表現Ｙ_１は、点により表された第１の表現Ｘ_１及びＸ_２を含むため、静止画２１及び２２の両方に対応する。一方、テキスト３２を表す第２の表現Ｙ_２は、点により表された第１の表現Ｘ_１を含むため、静止画２１に対応するが、点により表された第１の表現Ｘ_２を含まないため、静止画２２に対応しない。テキスト３３を表す第２の表現Ｙ_３についても、テキスト３２を表す第２の表現Ｙ_２と同様である。

図３の例に示すような性質を満たす点表現及び領域表現は、例えば前述のエンコーダモデルを、機械学習を用いて最適化することで得られる。すなわち、類似度を高くしたい第１のデータと第２のデータとのペアについて、類似度が高くなるようにエンコーダモデルのパラメータを最適化する。さらに同時に、類似度を低くしたいペアについては、類似度が低くなるように最適化することを行ってもよい。最適化には、確率的勾配法などが利用できる。

図１に戻り、算出部１５は、第１の表現Ｘと第２の表現Ｙとを用いて、第１のデータと第２のデータとの間の類似度ｓを算出する。類似度ｓは、例えば第１の表現Ｘと第２の表現Ｙとの間の距離ｄ_１が大きいほど単調非増加する値である。距離ｄ_１に関して単調非増加する値は、最も単純にはｓ＝−ｄ_１であるが、もちろんこれ以外にも無数に存在する。なお、単調非増加は、ｄ_１＜ｄ_１’ならば、ｓ（ｄ_１）≧ｓ（ｄ_１’）であることを示す。ここで、ｓ（ｄ_１）は、ｄ_１に基づいて定められる類似度を示し、ｓ（ｄ_１’）は、ｄ_１’に基づいて定められる類似度を示す。

第１の表現Ｘと第２の表現Ｙとが領域により表現されている場合、距離ｄ_１は、次式（３）で表される。

なお、｜ｘ｜_２は、ｘのＬ２ノルムを表す。

図４Ａは実施形態の領域同士の距離ｄ_１の例を示す図である。図４Ａの例は、上述の数式（３）による距離ｄ_１を示す。

第１の表現Ｘが点による表現され、第２の表現Ｙが領域により表現される場合、点を表すベクトルをｘとすれば、上述の数式（３）は次式（４）の通り簡単になる。

図４Ｂは実施形態の点と領域との距離ｄ_１の例を示す図である。図４Ｂの例は、上述の数式（４）による距離ｄ_１を示す。

上述の数式（３）及び（４）から分かるように、距離ｄ_１は、第１の表現Ｘが第２の表現Ｙに含まれる場合は０となるため、従来の場合（図２参照）に比べて距離が０となる確率が格段に高い。図４Ａ及びＢの距離ｄ_１に応じた類似度を用いてクロスモーダル検索を行うと、距離０（すなわち類似度が最高）のサンプルが複数存在した場合、検索結果の順位に差が付けられないことになる。距離０のサンプルであれば、どれが検索結果として得られてもよいという場合はこのままでよいが、検索結果を順位付けしたい場合は、対策が必要である。この対策に関して、第１の表現Ｘが点表現である場合と、領域表現である場合とに分けて、述べる。

＜第１の表現Ｘが点表現である場合＞
まず、第１の表現Ｘが点の場合、第２の表現Ｙである領域の外側から前記点への距離ｄ_２を、下記数式（５）により定義する。

ここで、Ｖは、Ｄ次元ユークリッド空間全体を表す。

図５は実施形態の点と領域との距離ｄ_２の例を示す図である。図５の例は、上述の数式（５）による距離ｄ_２を示す。

上述の数式（４）及び（５）から明らかなように、距離ｄ_１及びｄ_２の何れか片方は０となることに注意する。さらに、下記数式（６）により距離ｄ_３を定める。

距離ｄ_３は、距離ｄ_１が０となる場合においても距離ｄ_２によって０以外の値となり得る。したがって、距離ｄ_３が大きいほど単調非増加する値を類似度ｓとして用いることで、前述の検索結果の順位付けの問題を解決できる。この場合における類似度ｓは、第１の表現Ｘと第２の表現Ｙとの間の距離ｄ_１が大きいほど単調非増加し、かつ、第２の表現Ｙである領域の外側から第１の表現Ｘである点への距離ｄ_２が大きいほど単調非減少する値となっていることに注意する。

＜第１の表現Ｘが領域表現である場合＞
次に、第１の表現Ｘが領域表現の場合について述べる。この場合、第１の表現Ｘ（第１の領域Ｘ）と、第２の表現Ｙ（第２の領域Ｙ）との重なり度合いｒを考える。例えば、重なり度合いｒとして下記数式（７）を用いることができる。

ここで、｜Ａ｜は集合Ａの体積を表す。

また例えば、重なり度合いｒとして、数式（７）の分母を無くした下記数式（８）を用いてもよい。

また例えば、重なり度合いｒとして、上述の数式（５）をｘに関して最大化する下記数式（９）を用いてもよい。

そして、第１の表現Ｘが領域表現の場合は、上述の数式（６）と同様にして、下記数式（１０）により距離ｄ_４を定める。

距離ｄ_４は、距離ｄ_１が０となる場合においても重なり度合いｒによって０以外の値となり得る。したがって、距離ｄ_４が大きいほど単調非増加する値を類似度ｓとして用いることで、前述の検索結果の順位付けの問題を解決できる。この場合における類似度ｓは、第１の表現Ｘと第２の表現Ｙとの間の距離ｄ_１が大きいほど単調非増加し、かつ、第１の表現Ｘ（第１の領域Ｘ）と第２の表現Ｙ（第２の領域Ｙ）との重なり度合いｒが大きいほど単調非減少する値となっていることに注意する。

［情報処理方法の例］
図６は実施形態の情報処理方法の例を示すフローチャートである。はじめに、第１入力部１１が、第１のモダリティに属する第１のデータの入力を受け付ける（ステップ１０１）。次に、第２入力部１２が、第１のモダリティとは異なる第２のモダリティに属する第２のデータの入力を受け付ける（ステップ１０２）。

次に、第１変換部１３が、第１のデータを第１の表現Ｘに変換する（ステップ１０３）。次に、第２変換部１４が、第２のデータを第２の表現Ｙに変換する（ステップ１０４）。

次に、算出部１５が、第１の表現Ｘと第２の表現Ｙとを用いて、第１のデータと第２のデータとの間の類似度を算出する（ステップ１０５）。

以上、説明したように、実施形態の情報処理装置１０では、第１入力部１１が、第１のモダリティに属する第１のデータの入力を受け付ける。第２入力部１２が、第１のモダリティとは異なる第２のモダリティに属する第２のデータの入力を受け付ける。第１変換部１３が、第１のデータを、Ｄ（Ｄは自然数）次元ベクトル空間内の点又は第１の領域を表す第１の表現Ｘに変換する。第２変換部１４が、第２のデータを、Ｄ次元ベクトル空間内の第２の領域を表す第２の表現Ｙに変換する。そして、算出部１５が、第１の表現Ｘと第２の表現Ｙとを用いて、第１のデータと第２のデータとの間の類似度ｓを算出する。

これにより実施形態の情報処理装置１０によれば、データの多義性を考慮して、異なるモダリティに属するデータの類似度を算出することができる。具体的には、異なる２つのモダリティのデータのうち少なくとも一方を領域表現に変換して、共通空間（Ｄ次元ベクトル空間）上に埋め込むことにより、データに多義性がある場合においても、適切な類似度算出が可能となる。

最後に、実施形態の情報処理装置１０のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図７は実施形態の情報処理装置１０のハードウェア構成の例を示す図である。

実施形態の情報処理装置１０は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及び、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、及び、メモリカード等である。

表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、情報処理装置１０を操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。情報処理装置１０がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置３０４及び入力装置３０５は、例えばタッチパネルである。通信装置３０６は、他の装置と通信するためのインタフェースである。

実施形態の情報処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また実施形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態の情報処理装置１０で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また実施形態の情報処理装置１０のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施形態の情報処理装置１０で実行されるプログラムは、上述の機能ブロックのうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

また実施形態の情報処理装置１０の動作形態は任意でよい。実施形態の情報処理装置１０を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０情報処理装置
１１第１入力部
１２第２入力部
１３第１変換部
１４第２変換部
１５算出部
３０１制御装置
３０２主記憶装置
３０３補助記憶装置
３０４表示装置
３０５入力装置
３０６通信装置
３１０バス

Claims

第１のモダリティに属する第１のデータの入力を受け付ける第１入力部と、
前記第１のモダリティとは異なる第２のモダリティに属する第２のデータの入力を受け付ける第２入力部と、
前記第１のデータを、Ｄ（Ｄは自然数）次元ベクトル空間内の点又は第１の領域を表す第１の表現に変換する第１変換部と、
前記第２のデータを、前記Ｄ次元ベクトル空間内の第２の領域を表す第２の表現に変換する第２変換部と、
前記第１の表現と前記第２の表現とを用いて、前記第１のデータと前記第２のデータとの間の類似度を算出する算出部と、
を備える情報処理装置。
前記第１及び第２の領域のそれぞれは、前記Ｄ次元ベクトル空間上の少なくとも１つ以上の超平面によって区分された領域、及び、前記Ｄ次元ベクトル空間のＫ（ＫはＤより小さい自然数）次元部分空間の少なくとも一方である、
請求項１に記載の情報処理装置。
前記類似度は、前記第１の表現と前記第２の表現との間の距離が大きいほど、単調非増加する値である、
請求項１又は２に記載の情報処理装置。
前記類似度は、前記第１の表現が点の場合、前記第２の領域の外側と、前記点との距離が大きいほど、単調非減少する値である、
請求項１乃至３のいずれか１項に記載の情報処理装置。
前記類似度は、前記第１の表現が第１の領域の場合、前記第１の領域と前記第２の領域との重なり度合いが大きいほど、単調非減少する値である、
請求項１乃至４のいずれか１項に記載の情報処理装置。
前記Ｄ次元ベクトル空間は、ユークリッド空間である、
請求項１乃至５のいずれか１項に記載の情報処理装置。
前記第１及び第２のモダリティのそれぞれは、視覚情報、音声情報、環境音情報、言語情報、動き情報、生体情報又はセンサ情報である、
請求項１乃至６のいずれか１項に記載の情報処理装置。
第１のモダリティに属する第１のデータの入力を受け付けるステップと、
前記第１のモダリティとは異なる第２のモダリティに属する第２のデータの入力を受け付けるステップと、
前記第１のデータを、Ｄ（Ｄは自然数）次元ベクトル空間内の点又は第１の領域を表す第１の表現に変換するステップと、
前記第２のデータを、前記Ｄ次元ベクトル空間内の第２の領域を表す第２の表現に変換するステップと、
前記第１の表現と前記第２の表現とを用いて、前記第１のデータと前記第２のデータとの間の類似度を算出するステップと、
を含む情報処理方法。
前記第１及び第２の領域のそれぞれは、前記Ｄ次元ベクトル空間上の少なくとも１つ以上の超平面によって区分された領域、及び、前記Ｄ次元ベクトル空間のＫ（ＫはＤより小さい自然数）次元部分空間の少なくとも一方である、
請求項８に記載の情報処理方法。
前記類似度は、前記第１の表現と前記第２の表現との間の距離が大きいほど、単調非増加する値である、
請求項８又は９に記載の情報処理方法。
前記類似度は、前記第１の表現が点の場合、前記第２の領域の外側と、前記点との距離が大きいほど、単調非減少する値である、
請求項８乃至１０のいずれか１項に記載の情報処理方法。
前記類似度は、前記第１の表現が第１の領域の場合、前記第１の領域と前記第２の領域との重なり度合いが大きいほど、単調非減少する値である、
請求項８乃至１１のいずれか１項に記載の情報処理方法。
前記Ｄ次元ベクトル空間は、ユークリッド空間である、
請求項８乃至１２のいずれか１項に記載の情報処理方法。
前記第１及び第２のモダリティのそれぞれは、視覚情報、音声情報、環境音情報、言語情報、動き情報、生体情報又はセンサ情報である、
請求項８乃至１３のいずれか１項に記載の情報処理方法。
コンピュータを、
第１のモダリティに属する第１のデータの入力を受け付ける第１入力部と、
前記第１のモダリティとは異なる第２のモダリティに属する第２のデータの入力を受け付ける第２入力部と、
前記第１のデータを、Ｄ（Ｄは自然数）次元ベクトル空間内の点又は第１の領域を表す第１の表現に変換する第１変換部と、
前記第２のデータを、前記Ｄ次元ベクトル空間内の第２の領域を表す第２の表現に変換する第２変換部と、
前記第１の表現と前記第２の表現とを用いて、前記第１のデータと前記第２のデータとの間の類似度を算出する算出部、
として機能させるためのプログラム。