JP2017167987A - 判定装置、および判定方法 - Google Patents

Abstract

【課題】３つ以上の画像間の関連性を利用することで、画像検索の精度を向上させることができる。【解決手段】本願に係る判定装置は、関連性の判定対象となる３つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を距離空間上に対応付ける対応部と、前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像により定義づけられる角度として判定する判定部とを有することを特徴とする。このため、例えば、判定装置１０は、３つ以上の部分画像間の関連性を距離空間上の角度に落とし込んで学習または利用することができるので、画像検索の精度を向上させることができる。【選択図】図１

Description

本発明は、判定装置、および判定方法に関する。

従来、入力された情報の解析結果に基づいて、入力された情報と関連する情報を検索もしくは生成し、検索もしくは生成した情報を応答として出力する技術が知られている。このような技術の一例として、生成したい画像の構成要素となる部分画像（下書き画像）の入力を受付けると、下書き画像のうち特徴を有する部分に類似する部分画像を検索して合成し、下書き画像データに対応した画像を生成して出力する技術が知られている。

特開２００４−３１８１８７号公報

「生体分子の分子動力学シミュレーション(1)方法」、古明地勇人、上林正巳、長嶋雲兵、J. Chem. Software, Vol. 6, No. 1, p. 1−36 (2000)、インターネット＜http://www.sccj.net/CSSJ/jcs/v6n1/a1/document.pdf＞（２０１６年２月２９日検索）

しかしながら、従来技術では、下書き画像の各部分に類似する部分画像を個別に検索しているに過ぎないため、合成結果の精度が必ずしも良くない場合がある。

本願は、上記に鑑みてなされたものであって、部分画像の検索精度を向上させることを目的とする。

本願に係る判定装置は、関連性の判定対象となる３つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を特徴量の距離空間上に対応付ける対応部と、前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像により定義づけられる角度として判定する判定部とを有することを特徴とする。

実施形態の一態様によれば、部分画像の検索精度を向上させることができる。

図１は、実施形態に係る判定処理の一例を示す図である。 図２は、実施形態に係る判定装置が有する機能構成の一例を示す図である。 図３は、実施形態に係る画像データベースに登録される情報の一例を示す図である。 図４は、実施形態に係る判定装置が実行する処理の流れの一例を説明する図である。 図５は、ハードウェア構成の一例を示す図である。

以下に、本願に係る判定装置、判定装置、および判定方法を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、および判定方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．判定装置〕
まず、図１を用いて、実施形態に係る判定処理の一例について説明する。図１は、実施形態に係る判定処理の一例を示す図である。図１では、所定の学習データを用いて、画像が有する意味の関連性（以下、「画像間の関連性」と記載する場合がある。）を判定する判定処理の一例について説明する。また、以下の説明では、判定処理の結果に基づいて、画像間の関連性を学習するとともに、学習結果に基づいて、入力された画像と類似する画像を出力する処理の一例について説明する。

判定装置１０は、画像間の関連性を判定し、判定結果に基づく学習処理や判定処理を実行する装置である。例えば、判定装置１０は、サーバ装置やクラウドシステム等により実現される。このような判定装置１０は、画像間の関連性を判定する判定処理、判定処理の結果に基づいて画像間の関連性を学習する学習処理、及び判定結果に基づいて入力された画像と類似する画像等を出力する出力処理を実行する。

〔１−１．判定処理および学習処理〕
ここで、顔認識等の画像認識技術においては、入力された画像に撮像された顔が、予め登録されたどの人物の顔であるかを判定するため、入力された画像と予め登録された画像との関連性を判定する技術が用いられる。このような技術の手法の一つとして、ニューラルネットワークやディープラーニング等、判定対象となる画像の特徴を示す複数次元の数値、すなわち特徴量同士を距離で比較する距離空間に変換し、変換後の特徴量空間の配置を距離空間上（すなわち、特徴量空間上。以下同じ。）にマッピングすることで、画像間の関連性を判定する技術が知られている。

例えば、このような特徴量の距離空間を用いた従来技術では、学習データとなる複数の画像を距離空間上にマッピングし、画像同士の類似性に基づいて、距離空間上における各画像間のコサイン距離（内積、又はコサイン類似度とも呼ばれる。）を調整することで、各画像間の関連性を学習する。そして、従来技術では、最終的に得られた各画像間のコサイン距離等に基づいて、各画像が類似する画像であるか否か判定する。すなわち、従来技術では、各画像間のコサイン距離に基づいて、画像間の関連性を判定する。

しかしながら、画像間のコサイン距離に基づいて、各画像が類似する画像であるか否かを判定した場合、２つの画像間の類似度を判定することができるものの、３つの画像が有する関連性に基づいた判定を行うことができない。すなわち、従来技術においては、２つの画像間の関連性を判定しているに過ぎず、３つ以上の画像間の関連性を精度良く判定することができなかった。例えば、従来技術では、画像＃１、画像＃２、および画像＃３が有する関連性を判定する際に、画像＃１と画像＃２との関連性や、画像＃２と画像＃３との関連性を判定しているに過ぎず、画像＃１を中心とした画像＃２および画像＃３の関係等、３つの画像が全体として有する関連性を判定することができない。この結果、従来技術では、３つ以上の画像が有する関連性を距離空間上に反映させることができず、学習精度を向上させることができない。

例えば、顔認証等の技術では、顔の画像を目、鼻、唇、耳等、人の顔を構成する部分を撮像した部分画像に分割して学習するとともに、認証対象となる顔の画像から部分画像を生成し、生成した部分画像ごとに類似する部分画像を検索し、類似した部分画像を多く含む画像を認証対象の顔の画像として判定する。しかしながら、このような手法では、部分画像同士の類似性を判断しているに過ぎないため、全体として異なる人物の画像を認証対象の画像と判定してしまう恐れがある。例えば、従来技術では、利用者＃１の目や鼻と利用者＃２の目や鼻とが類似している場合、各利用者の目や鼻の位置関係が若干異なるとしても、利用者＃１と利用者＃２とを同一人物であると判定してしまう恐れがある。

そこで、判定装置１０は、以下の判定処理を実行する。まず、判定装置１０は、学習データとして、複数の画像Ｃ１０を取得し、取得した各画像Ｃ１０から、複数の部分画像Ｃ２０を抽出する（ステップＳ１）。例えば、判定装置１０は、人の顔等を撮像した複数の画像Ｃ１０を学習データとして取得すると、取得した各画像Ｃ１０から、目、鼻、口等の各部分が撮像された範囲を部分画像Ｃ２０として抽出する。

そして、判定装置１０は、部分画像Ｃ２０間の関連性を、距離空間上の距離および角度に落とし込んで判定する（ステップＳ２）。ここで、部分画像Ｃ２０間の関連性とは、部分画像Ｃ２０同士の類似性のみならず、各部分画像Ｃ２０が同一の画像Ｃ１０から抽出された部分画像Ｃ２０であるか否か、各部分画像Ｃ２０が同一の画像Ｃ１０内において近い位置の画像であるか等の指標である。そして、判定装置１０は、２画像間のコサイン距離、３画像間の角度、および４画像間の二面角をパラメータとすることで、部分画像間の関連性を学習したモデルを生成する学習処理を実行する。すなわち、判定装置１０は、ステップＳ２に示した判定処理による判定結果に基づいて、部分画像間の関連性を判定するための学習器の学習を行う。

例えば、判定装置１０は、２つの部分画像（以下「２画像」と記載する。）の間の共起性、すなわち、類似度をコサイン距離として判定する（ステップＳ３）。具体的な例を挙げると、判定装置１０は、部分画像＃１と部分画像＃２とを距離空間上の配置に変換する。そして、判定装置１０は、部分画像＃１と部分画像＃２とが有する各画素の色彩や配置等が類似する場合には、コサイン距離の値が大きくなるように、部分画像＃１の距離空間上の配置と部分画像＃２の距離空間上の配置とを調整する。例えば、判定装置１０は、部分画像＃１と部分画像＃２とが、鼻や目などの同じ部位の画像である場合や、画像として類似する場合には、コサイン距離の値が大きくなるように、距離空間上の配置を調整する。すなわち、判定装置１０は、距離空間上のコサイン距離をパラメータとして、２画像間の関連性を学習する。

また、判定装置１０は、３つの部分画像（以下「３画像」と記載する。）の間の関連性を、距離空間において、３画像の中から選択された１つの部分画像（以下、「基準画像」と記載する。）を中心とする角度として判定する（ステップＳ４）。具体的には、判定装置１０は、距離空間上にマッピングされた３画像によって定義づけられる角度として、３画像が有する関連性を判定する。例えば、判定装置１０は、３画像のうちいずれか１つの画像を基準画像として選択する。また、判定装置１０は、距離空間上において、基準画像を中心（頂点）とする他の２つの部分画像間の角度を算出する。例えば、判定装置１０は、部分画像＃１、部分画像＃２、部分画像＃３の関連性を判定する場合、距離空間上において部分画像＃１を頂点とし、部分画像＃２と部分画像＃３との間の角度θを、部分画像＃１〜＃３の関連性を示す情報として判定する。そして、判定装置１０は、部分画像＃１〜＃３の元となる画像Ｃ１０内において、部分画像＃１〜＃３を抽出した位置の近さ等に応じて、算出した角度θを調整する。例えば、判定装置１０は、部分画像＃１〜＃３が、同じ画像Ｃ１０から抽出された部分画像Ｃ２０である場合や、同じ画像Ｃ１０中において、近い位置から抽出された部分画像Ｃ２０である場合には、角度θの値が小さくなるように、各部分画像＃１〜＃３の距離空間上の配置を調整する。すなわち、判定装置１０は、距離空間上で３画像により生じる角度θをパラメータとして、３画像間の関連性を学習する。

また、判定装置１０は、４つの部分画像（以下、「４画像」と記載する。）の間の関連性を、距離空間において、基準となる２つの部分画像を交線とする二面角として判定する（ステップＳ５）。具体的には、判定装置１０は、距離空間上にマッピングされた４画像によって定義づけられる二面角として、４画像間の関連性を判定する。例えば、判定装置１０は、４画像のうちいずれか２つを基準画像として選択する。そして、判定装置１０は、選択した２つの基準画像を含む線を交線とする２つの面であって、基準画像以外の画像のうちそれぞれ異なる画像を含む面が有する角度φを算出する。例えば、判定装置１０は、部分画像＃１〜＃４の関連性を判定する場合、部分画像＃１および部分画像＃２を基準画像として選択する。なお、判定装置１０は、任意の部分画像を基準画像として選択してよい。そして、判定装置１０は、基準画像である部分画像＃１および部分画像＃２に加え、部分画像＃３を含む距離空間上の平面と、基準画像である部分画像＃１および部分画像＃２に加え、部分画像＃４を含む距離空間上の平面との間の角度φを部分画像＃１〜＃４の関連性を示す情報として判定する。そして、判定装置１０は、画像Ｃ１０内において、各４画像を抽出した位置の近さ等に応じて、算出した角度φを調整する。例えば、判定装置１０は、部分画像＃１〜＃４が、同じ画像Ｃ１０から抽出された部分画像Ｃ２０である場合や、同じ画像Ｃ１０中において、近い位置から抽出された部分画像Ｃ２０である場合には、二面角φの値が小さくなるように、各部分画像＃１〜＃４の距離空間上の配置を調整する。すなわち、判定装置１０は、距離空間上で４画像により生じる角度φをパラメータとして、４画像間の関連性を学習する。

このように、判定装置１０は、学習データである画像Ｃ１０から抽出される各画像から、２画像の組、３画像の組、及び４画像の組を生成し、生成した各組について、２画像間のコサイン距離、３画像間の角度、および４画像間の二面角をパラメータとして算出する。そして、判定装置１０は、算出した各パラメータを、２画像間の関連性、３画像間の関連性、および４画像間の関連性として、学習データに基づいて調整することで、各部分画像Ｃ２０の間の関連性を学習した学習器を生成する（ステップＳ６）。

なお、判定装置１０は、部分画像間の関連性を学習した学習器として、任意の態様の学習器を生成してよい。例えば、判定装置１０は、複数の中間層を有するニューラルネットワーク等を用いて（いわゆるディープラーニングと呼ばれる技術を用いて）、各画像間の関連性を学習してもよい。

なお、例えば、判定装置１０は、４画像間の二面角をパラメータとして学習するとともに、４画像に含まれる３画像間の角度をパラメータとして学習してもよい。また、判定装置１０は、重複する画像について角度や二面角を判定してもよい。例えば、判定装置１０は、部分画像＃１を頂点とした部分画像＃２と部分画像＃３との間の角度と部分画像＃２と頂点とした部分画像＃１と部分画像＃３の間の角度とを両方ともにパラメータにしてもよい。また、例えば、判定装置１０は、部分画像＃１〜＃３を含む平面と、部分画像＃２〜＃４を含む平面との間の角度を算出するとともに、部分画像＃１、部分画像＃２、部分画像＃４を含む平面と、部分画像＃１、部分画像＃３、部分画像＃４を含む編面との角度を算出し、両角度をパラメータにしてもよい。すなわち、判定装置１０は、上述した処理を適宜組み合わせた学習を行ってもよい。

〔１−２．出力処理〕
次に、判定装置１０が判定結果に基づいて実行する出力処理について説明する。まず、判定装置１０は、利用者Ｕ０１が使用する端末装置１００から、判定対象データを受付ける（ステップＳ７）。例えば、判定装置１０は、判定対象データとして画像Ｃ４０を受付ける。このような場合、判定装置１０は、学習済みの２画像間のコサイン距離、３画像間の角度、４画像間の二面角をパラメータとして、判定対象データである画像Ｃ４０と類似する画像を判定する。より具体的には、判定装置１０は、画像Ｃ４０から複数の部分画像を抽出し、画像Ｃ４０から抽出した各部分画像と、学習した部分画像Ｃ２０との間の類似性を距離空間上で判定する。例えば、判定装置１０は、２画像間のコサイン距離、３画像間の角度、４画像間の二面角をパラメータとして、各画像をマッピングした距離空間を用いて、画像Ｃ４０から抽出した各部分画像と類似する部分画像Ｃ２０を判定する（ステップＳ８）。そして、判定装置１０は、検索の結果得られた部分画像Ｃ２０の抽出元となる画像Ｃ１０を検索結果として出力する（ステップＳ９）。例えば、判定装置１０は、判定の結果得られた部分画像Ｃ２０が画像Ｃ１０から抽出された部分画像Ｃ２０である場合には、画像Ｃ１０を検索結果として出力する。

より具体的な例を挙げると、判定装置１０は、学習データとして、人の顔が撮像された画像Ｃ１０を受付けると、画像Ｃ１０から鼻、目、唇等の部分画像を抽出し、距離空間上で関連性を学習する。一方、判定装置１０は、判定対象データとして、人の顔ｚが撮像された画像Ｃ４０を受付けると、画像Ｃ４０から鼻、目、唇等の部分画像を抽出し、距離空間上に落とし込むことで、画像Ｃ４０から抽出した部分画像群と類似する関連性を有する部分画像群を検索する。そして、判定装置１０は、検索結果得られる部分画像群が、同一の画像Ｃ１０から抽出された画像である場合には、画像Ｃ１０に撮像された人物が、画像Ｃ４０に撮像された人物であるとして、画像Ｃ１０や、画像Ｃ１０に移る人物の情報等を検索結果として出力する。

なお、判定装置１０は、判定結果に基づく処理であれば、任意の処理を出力処理として実行してもよい。例えば、判定装置１０は、検索の結果得られた部分画像Ｃ２０を合成した画像を検索結果として出力してもよい。また、判定装置１０は、端末装置１００から判定対象データとして３つの部分画像を受付けた場合には、距離空間上において、判定対象データとして受付けた３つの部分画像により定義づけられる角度θを算出する。そして、判定装置１０は、算出した角度の値に基づいて、判定対象データとして受付けた３つの部分画像が関連性を有するか否か、どのような関連性を有するか等を示す情報を判定結果として出力してもよい。同様に、判定装置１０は、端末装置１００から判定対象データとして４つの部分画像を受付けた場合には、距離空間上において、判定対象データとして受付けた４つの部分画像により定義づけられる二面角φを算出する。そして、判定装置１０は、算出した角度φの値に基づいて、判定対象データとして受付けた４つの部分画像が関連性を有するか否か、どのような関連性を有するか等を示す情報を判定結果として出力してもよい。

〔２．判定装置の構成〕
次に、上述した実施形態にかかる判定装置１０の構成について説明する。図２は、実施形態に係る判定装置が有する機能構成の一例を示す図である。図２に示すように、判定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００や、データサーバ５０の間で情報の送受信を行う。なお、データサーバ５０は、人物の顔写真等といった学習データとなる画像を管理する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、学習データデータベース３１、画像データベース３２、およびモデルデータベース３３（以下「各データベース３１〜３３」と総称する場合がある。）を有する。

学習データデータベース３１には、学習データとして用いられる学習データが登録される。例えば、学習データデータベース３１には、データサーバ５０から学習データとして取得された複数の画像Ｃ１０や、各画像Ｃ１０から抽出された複数の部分画像Ｃ２０等を含むデータが登録されている。

画像データベース３２には、学習データデータベース３１に登録された学習データのうち、部分画像Ｃ２０を組み合わせた２画像の組、３画像の組、および４画像の組が登録されている。例えば、図３は、実施形態に係る画像データベースに登録される情報の一例を示す図である。例えば、図３に示す例では、画像データベース３２には、「組種別」、「画像＃１」〜「画像＃４」といった項目を有する情報が登録されている。

ここで、「組種別」とは、対応付けられた部分画像の数を示す情報である。例えば、画像データベース３２には、組種別「２画像」に対し、２つの異なる部分画像を対応付けた情報が対応付けて登録され、組種別「３画像」に対し、３つの異なる部分画像を対応付けた情報が対応付けて登録されている。また、画像データベース３２には、組種別「４画像」に対し、４つの異なる部分画像を対応付けた情報が対応付けて登録されている。なお、図３に示す例では、学習データから抽出された画像として、「部分画像＃１」等といった抽象的な値を記載したが、実施形態は、これに限定されるものではない。すなわち、画像データベース３２には、学習データに含まれる画像Ｃ１０から抽出された任意の部分画像Ｃ２０が登録されているものとする。

図２に戻り、説明を続ける。モデルデータベース３３には、判定処理の結果である判定結果に基づいて学習されたモデルのデータが登録される。例えば、モデルデータベース３３には、部分画像Ｃ２０の間の関係に基づいて、各部分画像Ｃ２０を距離空間上にマッピングしたモデル等が登録される。なお、モデルデータベース３３には、所謂ディープラーニング等に用いられる複数の中間層を有するニューラルネットワークのデータが登録されていてもよい。

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、判定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図２に示すように、制御部４０は、取得部４１、解析部４２、対応部４３、判定部４４、学習部４５、および提供部４６を有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部４０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

取得部４１は、学習データである画像Ｃ１０を取得する。例えば、取得部４１は、データサーバ５０等から学習データとして複数の画像Ｃ１０を取得する。そして、取得部４１は、取得した画像Ｃ１０を学習データデータベース３１に登録する。なお、取得部４１は、データサーバ５０以外にも、例えば、ウェブ上に存在する任意の画像Ｃ１０を学習データとして収集し、収集した画像Ｃ１０を学習データデータベース３１に登録してもよい。また、取得部４１は、利用者Ｕ０１が使用する端末装置１００等から、学習用の画像Ｃ１０を取得し、取得した画像Ｃ１０を学習データデータベース３１に登録してもよい。

解析部４２は、学習データデータベース３１に登録された画像Ｃ１０の解析を行い、判定対象となる部分画像Ｃ２０を抽出する。例えば、解析部４２は、学習データデータベース３１から画像Ｃ１０を読み出すと、任意の画像認識手段を用いて、画像Ｃ１０内に撮像された撮像対象の各部分が撮像された領域を特定する。例えば、解析部４２は、撮像対象が人物である場合は、撮像された顔、目、鼻、口、耳、手、足、体等、任意の粒度で、撮像対象の各部分が撮像された領域を特定する。そして、解析部４２は、画像Ｃ１０のうち、特定した各領域に含まれる部分を部分画像Ｃ２０として抽出する。

また、解析部４２は、抽出した部分画像Ｃ２０から２つの部分画像Ｃ２０の組である２画像と、３つの部分画像Ｃ２０の組である３画像と、４つの部分画像Ｃ２０の組である４画像とを生成する。例えば、解析部４２は、抽出した画像を総当たり的に組み合わせることで、２画像、３画像および４画像を生成し、生成した２画像、３画像および４画像を画像データベース３２に登録する。

対応部４３は、関連性の判定対象となる２画像、３画像および４画像を距離空間上に対応付ける。また、判定部４４は、画像間の関連性を、距離空間上におけるコサイン距離、３画像により定義づけられる角度、および４画像により定義づけられる二面角として判定する。そして、学習部４５は、判定部４４による判定結果に基づいて、複数の部分画像Ｃ２０が有する関連性を学習するモデルを生成し、生成したモデルをモデルデータベース３３に登録する。

例えば、対応部４３は、画像データベース３２に登録された各部分画像Ｃ２０を距離空間上の配置に変換する。続いて、判定部４４は、画像データベース３２に登録された各２画像について、以下の処理を実行する。まず、判定部４４は、判定対象となる２画像の距離空間上におけるコサイン距離を、２画像が有する関連性のパラメータとして算出する。また、判定部４４は、判定対象となる２画像の各画素の色彩や、撮像対象の輪郭の形状等、画像間の類似性を、２画像が有する関連性の指標として取得する。そして、学習部４５は、判定部４４が算出したコサイン距離を、２画像が有する関連性のパラメータとし、判定部４４が取得した指標に従って、判定対象となる２画像の距離空間上の配置を調整する。例えば、学習部４５は、判定対象となる２画像が類似する場合は、コサイン距離の値がより大きくなるように、２画像の距離空間上の配置を調整する。

すなわち、判定部４４は、２画像間の関連性を、距離空間上におけるコサイン距離として判定する。そして、学習部４５は、判定結果に基づいて、判定対象となる２画像間の距離空間上の配置を学習する。このような調整を画像データベース３２に登録された各２画像について実行することで、判定装置１０は、各２画像間の関連性をコサイン距離に落とし込んだ、各画像の距離空間上の配置を取得することができる。なお、このようなコサイン距離を用いた学習手法については、距離空間上の配置を用いた画像検索技術等、公知の技術を適用可能であるものとする。

また、判定部４４は、３画像間の関連性および４画像間の関連性を距離空間上の角度や二面角に落とし込むことで、より精度の高い部分画像間の関連性を含む距離空間上の配置を取得する。例えば、判定部４４は、判定対象となる３画像により定義づけられる距離空間上の角度を、３画像が有する関連性のパラメータとして算出する。より具体的には、判定部４４は、判定対象となる３画像のうちいずれか１つの部分画像を基準画像として選択し、基準画像を頂点とした、他の２つの部分画像間の距離空間上における角度を算出する。また、判定部４４は、判定対象となる３画像が同じ画像Ｃ１０に含まれるか否か、同じ画像Ｃ１０内において３画像が含まれる位置の近さや配置関係、各３画像が被写体の同じ部位を撮像した画像であるか否か等を、３画像が有する関連性の指標として取得する。そして、学習部４５は、３画像が有する関連性のパラメータとして判定部４４が算出した角度をパラメータとし、判定部４４が学習データから取得した指標に従って、判定対象となる３画像の距離空間上の配置を調整する。例えば、学習部４５は、判定対象となる３画像が同一の画像Ｃ１０から抽出された部分画像Ｃ２０であったり、画像Ｃ１０内において近い位置から抽出された部分画像Ｃ２０であるならば、角度θの値がより小さくなるように、３画像の距離空間上の配置を調整する。

また、例えば、判定部４４は、判定対象となる４画像により定義づけられる距離空間上の二面角の角度を、４画像が有する関連性のパラメータとして算出する。より具体的には、判定部４４は、判定対象となる４画像のうちいずれか２つの部分画像を基準画像として選択する。そして、判定部４４は、距離空間上において、基準画像として選択した２つの画像を含む線を交線とする２つの面であって、判定対象となる４画像のうち基準画像以外の部分画像を含む２つの面が有する角度を算出する。例えば、判定部４４は、４画像に含まれる部分画像＃１〜＃４のうち、基準画像として部分画像＃１、部分画像＃２を選択した場合には、部分画像＃１〜＃３を含む距離空間上の面と、部分画像＃１、部分画像＃２、および部分画像＃４を含む距離空間上の面との間の角度、すなわち、二面角の角度φを算出する。

また、判定部４４は、３画像と同様に、４画像が同じ画像Ｃ１０から抽出された部分画像でＣ２０であるか否か、同じ画像Ｃ１０内において４画像が含まれる位置の近さや配置関係、４画像が被写体の同じ部位を撮像した画像であるか否か等を４画像が有する関連性の指標として取得する。そして、学習部４５は、４画像が有する関連性のパラメータとして算出した二面角の角度φをパラメータとし、判定部４４が取得した指標に従って、判定対象となる４画像の距離空間上の配置を調整する。例えば、学習部４５は、判定対象となる４画像が同一の画像Ｃ１０から抽出された部分画像Ｃ２０であったり、画像Ｃ１０内において近い位置から抽出された部分画像Ｃ２０であるならば、二面角の角度の値がより小さくなるように、４画像の距離空間上の配置を調整する。

なお、上述した説明では、２画像間の関連性、３画像間の関連性、および４画像間の関連性をそれぞれ独立に学習するように記載したが、実施形態は、これに限定されるものではない。すなわち、学習部４５は、コサイン距離を２画像間の関連性を示すパラメータとし、距離空間上の角度を３画像間の関連性を示すパラメータとし、距離空間上の二面角の角度を４画像間の関連性を示すパラメータとし、各パラメータの値に学習データから取得された指標が反映されるように、各画像の距離空間上の配置を調整すればよい。

なお、判定部４４は、判定対象とした４画像に含まれる３つの部分画像Ｃ２０が有する関連性を、距離空間上におけるその３つの部分画像Ｃ２０により定義づけられる角度として判定してもよい。すなわち、判定部４４は、抽出した部分画像Ｃ２０から総当たり的に抽出された２画像、３画像、および４画像のそれぞれの関連性を、コサイン距離、角度、および二面角の角度として判定してもよい。

このように、判定部４４は、３画像間の関連性を、距離空間上において３つの画像により定義づけられる角度として判定する。また、判定部４４は、４画像間の関連性を、距離空間上において４つの画像により定義づけられる二面角の角度として判定する。このように、判定装置１０は、２画像間の関連性のみならず、３画像間および４画像間の関連性をパラメータとして有するので、画像間の関連性をより精度良く反映させた距離空間を得ることができる。

提供部４６は、判定結果を用いて学習された距離空間を用いて、利用者Ｕ０１に対する各種のサービスを提供する。例えば、提供部４６は、判定対象データを端末装置１００から受付けると、モデルデータベース３３に登録されたモデル、すなわち、学習部４５によって学習されたモデルを読出し、読み出したモデルを用いて、判定対象データに基づき、利用者Ｕ０１に対して提供する情報を生成する。例えば、提供部４６は、モデルデータベース３３に登録されたモデルを用いて、判定対象データとして受付けた画像Ｃ４０から部分画像を抽出し、抽出した各部分画像の距離空間上の配置と類似する距離空間上の配置を距離空間上から選択する。そして、提供部４６は、選択した距離空間上の配置の元となる部分画像Ｃ２０を選択し、選択した部分画像Ｃ２０を含む画像を検索結果として利用者Ｕ０１に提供する。すなわち、提供部４６は、２画像間のコサイン距離、３画像間の角度、および４画像間の二面角をパラメータとして、判定対象データとして受付けた画像と類似する画像を選択する。そして、提供部４６は、選択した画像を利用者Ｕ０１に対して提供する。

〔３．算出手法の一例〕
次に、数式を用いて、判定装置１０が、各種パラメータとして用いる情報を算出する処理の一例について説明する。なお、以下に示す例では、３画像間および４画像間の関連性を、分子動力学のシミュレーション手法を応用した数式を用いて実現する例について記載したが、実施形態は、これに限定されるものではない。

まず、２画像のコサイン類似度を算出する処理の一例について説明する。例えば、距離空間上にマッピングした部分画像＃１をｑ、部分画像＃２をｄとした場合、部分画像＃１と部分画像＃２とのコサイン類似度は、以下の式（１）で示すことができる。なお、距離空間上においては、ｑおよびｄは、多次元量（すなわち、ベクトル）である。式（１）では、ベクトルとなるｑおよびｄを、上付き矢印を付したｑおよびｄで表した。

ここで、部分画像＃１と部分画像＃２とが類似する画像であるならば、距離空間上における部分画像＃１と部分画像＃２とのコサイン類似度の値は増加することが考えられる。そこで、判定装置１０は、式（１）で示されるコサイン類似度の値をパラメータとして、部分画像間の関連性を距離空間上の配置上に落とし込む。例えば、判定装置１０は、部分画像＃１と部分画像＃２との間のコサイン類似度と、部分画像＃１と部分画像＃３との間のコサイン類似度とを算出する。そして、判定装置１０は、部分画像＃１と部分画像＃２との類似性が、部分画像＃１と部分画像＃３との類似性よりも高いと判定される場合には、部分画像＃１と部分画像＃２との間のコサイン類似度の値が、部分画像＃１と部分画像＃３との間のコサイン類似度の値よりも大きくなるように、各部分画像＃１〜＃３の距離空間上の配置を調整する。

次に、３画像間の角度を算出する処理の一例について説明する。例えば、部分画像＃１の距離空間上の配置を「ｉ」、部分画像＃２の距離空間上の配置を「ｊ」、部分画像＃３の距離空間上の配置を「ｋ」とし、部分画像＃２を中心として部分画像＃１および部分画像＃３との間の角度を「θ_ｉｊｋ」とする。このような場合、「θ_ｉｊｋ」の余弦である「ｃｏｓθ_ｉｊｋ」は、以下の式（２）で示すことができる。ここで、式（２）の右辺の分母に示す太字の「ｒ_ｉｊ」は、「ｉ」から「ｊ」までのベクトルを示し、太字の「ｒ_kｊ」は、「ｋ」から「ｊ」までのベクトルを示す。また、式（２）の右辺の分子に示す「ｒ_ｉｊ」は、「ｉ」から「ｊ」までの２つのベクトル間の距離を示し、「ｒ_ｊｋ」は、「ｊ」から「ｋ」までの２つのベクトル間の距離を示す。

このため、判定装置１０は、式（２）で示される「θ_ｉｊｋ」の余弦を算出し、算出した値を逆三角関数（arccos）により算出することができる。

判定装置１０は、逆三角関数を用いて、式（２）の値から距離空間上における部分画像＃１〜＃３の間の角度θを算出する。また、判定装置１０は、式（２）を用いて、距離空間上における部分画像＃１、部分画像＃２、および部分画像＃４の間の角度を算出する。そして、判定装置１０は、部分画像＃１〜＃３の間の関連性と、部分画像＃１、部分画像＃２、および部分画像＃４の間の関連性を比較し、部分画像＃１〜＃３の間の関連性がより高い場合には、距離空間上における部分画像＃１〜＃３の間の角度θを、距離空間上における部分画像＃１、部分画像＃２、および部分画像＃４の間の角度θよりも小さくなるように、各部分画像＃１〜＃４の距離空間上の配置を調整する。

次に、４画像間の二面角の角度を算出する処理の一例について説明する。例えば、部分画像＃１の距離空間上の配置を「ｉ」、部分画像＃２の距離空間上の配置距離空間上の配置を「ｊ」、部分画像＃３の距離空間上の配置を「ｋ」、部分画像＃４の距離空間上の配置を「ｌ」とする。ここで、部分画像＃２と部分画像＃３とを基準画像として選択すると、二面角の角度「φ」は、「ｉ」、「ｊ」、および「ｋ」を含む面と、「ｌ」、「ｊ」、および「ｋ」を含む面との間の角度で表すことができる。

ここで、「ｉ」、「ｊ」、および「ｋ」を含む面の法線を太字の「ｎ_１」、「ｌ」、「ｊ」、および「ｋ」を含む面の法線を太字の「ｎ_２」とすると、太字の「ｎ_１」および太字の「ｎ_２」は、以下の式（３）で示すことができる。ここで、太字の「ｒ_ｉｊ」は、「ｉ」から「ｊ」までのベクトル、太字の「ｒ_ｋｊ」は、「ｋ」から「ｊ」までのベクトル、太字の「ｒ_ｋｌ」は、「ｋ」から「ｌ」までのベクトルを示す。

すると、部分画像＃１〜＃４によって定義づけられる二面角の角度を「φ」とすると、「φ」の余弦である「ｃｏｓφ」は、以下の式（４）で示すことができる。ここで、「ｎ_１」および「ｎ_２」は、太字の「ｎ_１」および「ｎ_２」のノルムである。

このため、−π＜φ≦πの範囲でφの値を求めると、式（５）で表すことができる。判定装置１０は、このような式（５）に示す角度φを各部分画像＃１〜＃４間の関連性を示すパラメータとして、各部分画像＃１〜＃４の距離空間上の配置を調整すればよい。

なお、判定装置１０は、分子ポテンシャル計算の手法に基づいて、距離空間上における画像間のエネルギーを算出し、算出したエネルギーをパラメータとして学習してもよい。例えば、上述した式（１）〜式（５）によって各画像間のコサイン距離、角度、および二面角の角度が定義づけられる場合、各部分画像間のエネルギーは、以下の式で表すことができる。例えば、部分画像＃１、部分画像＃２、部分画像＃３間のエネルギー「Ｖ_{１，２，３} ^{ａｎｇｌｅ}」は、以下の式（６）で表すことができる。

また、例えば、部分画像＃１〜＃４間のエネルギー「Ｖ_{１，２，３，４} ^{ｄｉｈｅｄｒａｌ}」は、以下の式（７）で表すことができる。

また、例えば、部分画像＃１および部分画像＃２間のエネルギー「Ｖ_１，２ ^ｂｏｎｄ」は、以下の式（８）で表すことができる。

このような分子ポテンシャル計算の手法に基づいて、各部分画像間に仮想的に生じるエネルギーの値を部分画像間の関連性を示すパラメータとして導入することで、部分画像間の関連性の判定精度をさらに向上させてもよい。

なお、判定装置１０は、上述したパラメータや距離空間上の配置を調整する際に用いる指標、すなわち、学習データにおける各部分画像間の関連性を任意の手法で算出してよい。例えば、判定装置１０は、各部分画像間の関連性を判定する場合には、撮像対象の輪郭の類似性や色彩の類似性、撮像対象の同一性、抽出元となる画像Ｃ１０の同一性、画像Ｃ１０から抽出された位置の近さや位置関係、もしくは任意の人物により判定された主観的な類似度等に基づいて、関連性を示すスコアを算出し、算出したスコアに基づいて、各部分画像間の関連性を相対的に示せばよい。

〔４．処理の流れの一例〕
次に、図４を用いて、判定装置１０が実行する処理の流れの一例について説明する。図４は、実施形態に係る判定装置が実行する処理の流れの一例を説明する図である。例えば、判定装置１０は、学習データとして複数の画像Ｃ１０を取得し（ステップＳ１０１）、学習データから部分画像Ｃ２０の抽出を行う（ステップＳ１０２）。次に、判定装置１０は、抽出した部分画像Ｃ２０を距離空間上の配置に変換し（ステップＳ１０３）、２画像間の関連性を距離空間上の距離として、部分画像間の関連性を判定する（ステップＳ１０４）。また、判定装置１０は、３画像間の関連性を距離空間上に対応付けられた３画像により定義づけられる角度として判定する（ステップＳ１０５）。また、判定装置１０は、４画像間の関連性を距離空間上に対応付けられた４画像により定義づけられる二面角の角度として判定する（ステップＳ１０６）。なお、判定装置１０は、ステップＳ１０４〜Ｓ１０６の処理を任意の順番で実行してもよく、同時並行的に実行してもよい。そして、判定装置１０は、判定結果が正解データに近づくように、判定結果に基づくモデルの学習を行って（ステップＳ１０７）、処理を終了する。

〔５．変形例〕
上述した実施形態に係る判定装置１０は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の判定装置１０の他の実施形態について説明する。

〔５−１．パラメータを用いた処理について〕
例えば、上述した判定装置１０は、複数の部分画像間のコサイン距離、角度、および二面角の角度をパラメータとして、各部分画像間の関連性を学習したモデルを生成した。しかしながら、実施形態は、これに限定されるものではない。すなわち、判定装置１０は、複数の部分画像間のコサイン距離、角度、および二面角の角度をパラメータとして、指定された画像や画像群と類似する画像や画像群等を検索して出力してもよい。

また、判定装置１０は、各部分画像の距離空間上の配置を調整する際の指標を任意の態様で特定してもよい。例えば、判定装置１０は、部分画像同士が画像として類似するか否かのみならず、撮像対象の類似度や、部分画像に撮像されている撮像対象の位置関係等に基づいたスコアリング等をおこなってもよく、人によるスコアリングに基づいて距離空間上の配置を調整してもよい。このような距離空間上の配置を調整する際の指標については、任意の公知技術を適用可能である。

〔５−２．ハードウェア構成について〕
また、上述してきた実施形態に係る判定装置１０は、例えば図５に示すような構成のコンピュータ１０００によって実現される。図５は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が判定装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔６．効果〕
このように、判定装置１０は、関連性の判定対象となる３つの部分画像Ｃ２０を距離空間上に対応付け、３つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた３つの部分画像Ｃ２０により定義づけられる角度として判定する。より具体的には、判定装置１０は、３つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた３つの部分画像Ｃ２０のうち、いずれか１つの部分画像Ｃ２０を頂点とした他の２つの部分画像Ｃ２０の間の角度として判定する。このように、判定装置１０は、３つ以上の部分画像間の関連性を距離空間上の角度に落とし込んで学習または利用することができるので、部分画像の検索精度を向上させることができる。

また、判定装置１０は、関連性の判定対象となる４つの画像を距離空間上に対応付け、４つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた４つの部分画像Ｃ２０により定義づけられる二面角の角度として判定する。より具体的には、判定装置１０は、４つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた４つの部分画像Ｃ２０のうち、いずれか２つの基準画像を含む線を交線とする２つの面であって、基準画像以外の部分画像Ｃ２０のうち、それぞれ異なる部分画像Ｃ２０を含む面が有する角度として判定する。このように、判定装置１０は、４つ以上の部分画像間の関連性を距離空間上の角度に落とし込んで学習または利用することができるので、部分画像の検索精度を向上させることができる。

また、判定装置１０は、４つの部分画像Ｃ２０のうちいずれか３つの部分画像Ｃ２０が有する関連性を、距離空間上に対応付けられた３つの部分画像Ｃ２０により定義づけられる角度として判定する。このため、判定装置１０は、部分画像の検索精度を向上させることができる。

また、判定装置１０は、関連性の判定対象となる複数の部分画像Ｃ２０のうち、任意の２つの部分画像Ｃ２０の間の関連性を、距離空間上に対応付けられた２つの部分画像Ｃ２０の間のコサイン距離として判定する。このため、判定装置１０は、部分画像の検索精度を向上させることができる。

また、判定装置１０は、判定結果を用いて、複数の部分画像Ｃ２０が有する関連性を判定する学習器の学習を行う。例えば、判定装置１０は、複数の中間層を有するニューラルネットワークの学習を行う。このため、例えば、判定装置１０は、３つ以上または４つ以上の部分画像Ｃ２０が有する関連性を考慮した距離空間の学習を行うことができるので、部分画像の検索精度を向上させることができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、判定部は、判定手段や判定回路に読み替えることができる。

１０ 判定装置
２０ 通信部
３０ 記憶部
３１ 学習データデータベース
３２ 画像データベース
３３ モデルデータベース
４０ 制御部
４１ 取得部
４２ 解析部
４３ 対応部
４４ 判定部
４５ 学習部
４６ 提供部
５０ データサーバ
１００ 端末装置

Claims (9)

1. 関連性の判定対象となる３つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を距離空間上に対応付ける対応部と、
   前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像により定義づけられる角度として判定する判定部と
   を有することを特徴とする判定装置。
2. 前記判定部は、前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像のうち、いずれか１つの画像を頂点とした他の２つの画像間の角度として判定する
   ことを特徴とする請求項１に記載の判定装置。
3. 関連性の判定対象となる４つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を距離空間上に対応付ける対応部と、
   前記４つの画像が有する関連性を、前記距離空間上に対応付けられた前記４つの画像により定義づけられる二面角の角度として判定する判定部と
   を有することを特徴とする判定装置。
4. 前記判定部は、前記４つの画像が有する関連性を、前記距離空間上に対応付けられた前記４つの画像のうち、いずれか２つの基準画像を含む線を交線とする２つの面であって、前記基準画像以外の画像のうち、それぞれ異なる画像を含む面が有する角度として判定する
   ことを特徴とする請求項３に記載の判定装置。
5. 前記判定部はさらに、前記４つの画像のうちいずれか３つの画像が有する関連性を、前記距離空間上に対応付けられた当該３つの画像により定義づけられる角度として判定する
   ことを特徴とする請求項３または４に記載の判定装置。
6. 前記判定部はさらに、関連性の判定対象となる複数の画像のうち、任意の２つの画像間の関連性を、前記距離空間上に対応付けられた当該２つの画像間のコサイン距離として判定する
   ことを特徴とする請求項１〜５のうちいずれか１つに記載の判定装置。
7. 前記判定部による判定結果を用いて、複数の画像が有する関連性を判定する学習器の学習を行う学習部
   をさらに有することを特徴とする請求項１〜６のうちいずれか１つに記載の判定装置。
8. 前記学習部は、前記学習器として、複数の中間層を有するニューラルネットワークを学習する
   ことを特徴とする請求項７に記載の判定装置。
9. 判定装置が実行する判定方法であって、
   関連性の判定対象となる３つの画像であって、所定の画像のうちそれぞれ異なる部分を構成する画像を距離空間上に対応付ける対応工程と、
   前記３つの画像が有する関連性を、前記距離空間上に対応付けられた前記３つの画像により定義づけられる角度として判定する判定工程と
   を含むことを特徴とする判定方法。

Images