JP2016018486A - 画像検索装置と画像検索プログラムと画像検索方法 - Google Patents

Abstract

【課題】対比する画像同士の類否判断の視点を調整することができる画像検索装置と画像検索プログラムと画像検索方法とを提供する。【解決手段】複数のニューロンを備えるニューラルネットワークで構成されていて、参照画像に関連する注目画像を複数の候補画像の中から検索するための画像検索装置であって、複数のニューロンのうち、注目画像を検索するために用いられる注目ニューロンを特定するニューロン特定部と、複数のニューロンのうち注目ニューロンのみを用いて、複数の候補画像の中から注目画像を抽出する画像抽出部と、を有してなり、ニューロン特定部は、参照画像それぞれに対するニューロンごとの出力結果を用いて、注目ニューロンを特定する。【選択図】図１

Description

本発明は、画像検索装置と画像検索プログラムと画像検索方法に関するものであって、特に、ニューラルネットワークを用いて所定の画像と視覚的特徴が共通する別の画像を検索するためのものである。

近年、ニューラルネットワークを適用した情報処理が種々の分野で利用されている。ニューラルネットワークとは、脳神経系の情報処理機構を模倣した数理モデルであり、与えられた学習用データに基づく機械的な学習を通して、目標とする情報処理を実現する性質をもつ。ニューラルネットワークのうち、複数の演算素子(ニューロン)を層状に結合した階層構造で表わされるニューラルネットワークが、階層型ニューラルネットワークである。階層型ニューラルネットワークの最下位層はデータの入力を受ける入力層、最上位層は情報処理の結果を出力する出力層といい、その間の層を隠れ層あるいは中間層という。各ニューロン間の結合は重み付けされており、ニューロンの出力は前層のニューロン出力の結合重み和の関数で表現される。そして、いくつかの学習用データを入力したとき、目標とする出力関係を実現するよう、一定の法則に基づき、各ニューロン間の結合重みを適当に調節する学習を行う。

これまでにも階層型ニューラルネットワークを適用した画像認識手法が提案されている(例えば、特許文献１参照)。階層型ニューラルネットワークを使って画像認識を行う場合、入力層に与えられた画像パターンの情報は、回路の中で処理されながら上位の層に伝えられ、最上位層の出力層のニューロンが認識結果を示す。非常に高い画像認識精度を実現する手法として、畳込型ニューラルネットワーク(畳込型演算層)の利用が有効であることが知られている。畳込型演算層においては、個々のニューロンは、一つ前の層の、ほぼ同じような位置を占める比較的狭い範囲にあるニューロンのみから信号を受け取るのが特徴である。それぞれのニューロンは、重なりを許しながら、画像の部分領域を処理し、層内のニューロン群全体で、画像全域を網羅するように画像認識の処理をする。このような局所並列処理がそれぞれの中間層で繰り返され、階層が進むにつれて画像認識に有効な視覚表現を獲得していく。そして、個々のニューロンは、特定の視覚的特徴が画像に含まれているとき、大きな出力値を示す性質を獲得する。ここで、画像の視覚的特徴とは画像の識別に用いられる要素であり、画像には複数の視覚的特徴が含まれる。また、ニューロンには特定の視覚的特徴が設定されていて、ニューロンは入力された画像に含まれる視覚的特徴に応じた値を出力する。すなわち、ニューロンは、自身に設定されている視覚的特徴により近い視覚的特徴を含む画像が入力されたとき、より大きな出力値(活動度)を出力する。このようなニューラルネットワークの実装の方法には、ネットワークに情報を局所統合したり大域統合する層を含めたり、ニューロン同士が全結合する層(全結合層)を含めるなど、様々なバリエーションがある。

図９は、畳込型ニューラルネットワークの基本構造を示した模式図である。ニューロン同士の結合は、図中の四角で示した前の層の部分領域Ｃ_nに限定されていること示している。ニューロンの出力は、前層からの結合重み和の関数ｆを用いて、下記の数１で表わされる。ここで、Ｘ_(i,j)nは第ｎ層の座標(ｉ,ｊ)のニューロンの出力、Ｘ_(k,l)n+1は第ｎ＋１層の座標(ｋ,ｌ)のニューロンの出力、Ｗ_{(i,j)n(k,l)n+1}は第ｎ層の座標(ｉ,ｊ)点に位置するニューロンから第ｎ＋１層の座標(ｋ,ｌ)点に位置するニューロンへの結合重みを表している。また、θは、バイアス／閾値である。

ここで、例えば、視覚的な芸術作品を創作する場合、様々な物体のイメージを有機的に統合させながら、絵画やＣＧ(Computer Graphics)や彫刻などの形で具現化するプロセスを辿ることがある。優れたイマジネーションと表現スキルを身に付けた芸術家のみが可能であったこうした創作活動のうち、アイディア抽出のプロセスをコンピュータの力を借りて支援できる可能性がある。すなわち、例えば、商用広告の製作においては、あらかじめ売りたい商品が決まっていて、その商品をモチーフとして類似の物体のイメージや目指したいブランディング戦略に沿ったイメージと絡めて、映像化することがある。その際、当該商品が視覚的にどのような物体と親和性が高いのか、特定の趣向を持った広告のクリエータの直感に頼るだけでなく、広告のクリエータが思いつかないようなイメージを提示してクリエータの想像力を膨らませることができれば、創作性の向上に寄与することができる。このような効果は、優れたイマジネーションや表現スキルを身に付けていない者に対しても、同様に提供することができる。

一般に、画像検索は、入力された画像と視覚的に類似する画像を出力することを目的とする。しかし、従来の画像検索は、対比する画像(入力画像と検索候補画像)同士に含まれる視覚的特徴のパターンの一致度が高い画像(例えば、画像同士の視覚的特徴の分布の二乗誤差が最小となる画像)のみが出力されるため、検索の実行前に、検索結果として入力画像と同一種の画像が出力されること(例えば、人間の顔の画像を入力すれば、人間の顔の画像が出力されること)が想像できてしまう。換言すれば、従来の画像検索は、入力された画像の視覚的特徴の一部にのみ注目し、その特徴だけを基準として見れば類似している別種類の画像を検索することができない(例えば、人間の顔の外形のみに注目して画像を検索することができない)。このため、従来の画像検索は、対比する画像同士の類否判断の視点や基準が固定であって調整することができず、前述のような創作活動に利用する場合、クリエータの想像力を膨らませる効果を十分に高めることができない。

特許第４４７８２９６号明細書

本発明は、以上のような従来技術の問題点を解消するためになされたもので、対比する画像同士の類否判断の視点を調整することができる画像検索装置と画像検索プログラムと画像検索方法とを提供することを目的とする。

本発明は、複数のニューロンを備えるニューラルネットワークで構成されていて、複数の参照画像に関連する注目画像を複数の候補画像の中から検索するための画像検索装置であって、複数のニューロンのうち、注目画像を検索するために用いられる注目ニューロンを特定するニューロン特定部と、複数のニューロンのうち注目ニューロンのみを用いて、複数の候補画像の中から注目画像を抽出する画像抽出部と、を有してなり、ニューロン特定部は、参照画像それぞれに対するニューロンごとの出力結果を用いて、注目ニューロンを特定することを特徴とする。

本発明によれば、対比する画像同士の類否判断の視点を調整することができる。

本発明にかかる画像検索方法の実施の形態を示すフローチャートである。 本発明にかかる画像検索装置の実施の形態を示すブロック図である。 上記画像検索方法における注目ニューロンの特定処理の例を示すフローチャートである。 上記画像検索装置がニューロンごとに算出する参照画像それぞれに対する活動度の順位和の例を示す模式図である。 上記画像検索方法における注目画像の抽出処理の例を示すフローチャートである。 上記画像検索装置が候補画像それぞれに対して算出する注目ニューロンごとの活動和の例を示す模式図である。 上記画像検索装置による検索結果の例を示す模式図である。 上記画像検索装置による検索結果の別の例を示す模式図である。 従来の畳込型ニューラルネットワークの基本構造を示した模式図である。

以下、図面を参照しながら本発明にかかる画像検索装置と画像検索プログラムと画像検索方法の実施の形態について説明する。

●画像検索方法の概要
図１は、本発明にかかる画像検索方法(以下「本方法」という。)の実施の形態を示すフローチャートである。本方法は、後述する本発明にかかる画像検査装置(以下「本装置」という。)により実行される。ここで、本装置では、本発明にかかる画像検索プログラム(以下「本プログラム」という。)が動作して、本装置を構成するハードウェアと協働して本方法を実現している。

なお、本装置とは別のコンピュータで本プログラムを動作させることで、同コンピュータを本装置と同様に機能させて、本方法を実行させることができる。

以下、本方法について説明する。
先ず、本装置が画像検索を行うために用いる演算手段としてのニューラルネットワークの学習(Ｓ１)が行われる。ニューラルネットワークの学習とは、ニューラルネットワークを構成する各層の間でのニューロン同士の結合重みを設定することをいう。

ここで、ニューラルネットワークの学習方法は、例えば、正解付のカテゴリごとの学習用画像を入力して出力結果を見ながら結合重みを調整するなど、公知の方法を用いて行う。公知の方法には、例えば、Krizhevsky、Sutskever、Hintonらが２０１２年に発表したdeep convolutional neural netがある。この方法を用いて、例えば、ILSVRC2012(画像認識学会の性能比較コンテスト)で使われた１２０万枚の学習用画像を使い、１０００種類のオブジェクトの画像識別課題を学習する。学習されたニューラルネットワークは、例えば、５つの畳込型演算層と３つの全結合層から構成され、各層はそれぞれ、約２９万個、１８.６万個、６.５万個、４万個、４千個、１千個のニューロンで構成される。この公知例を用いた学習の結果、未知の画像に対して、８０％前後のＴＯＰ５正答率(コンピュータが推定した５つの候補のうち、どれか１つが正しい場合に正答とみなす基準)で画像認識が可能になる。

次いで、本装置による、注目ニューロンの特定(Ｓ２)が行われる。注目ニューロンとは、前述の学習処理(Ｓ１)で学習済みのニューラルネットワークを構成するニューロンのうち、本装置が画像を検索するために用いるニューロンである。注目ニューロンの特定方法については、後述する。

次いで、本装置による、注目ニューロンを用いた注目画像の抽出(Ｓ３)が行われる。注目画像とは、複数の候補画像のうち、本装置が参照画像に基づいて抽出する画像である。すなわち、注目画像は候補画像の中から抽出された画像であり、参照画像は注目画像を抽出するための基礎となる画像である。注目画像の抽出方法については、後述する。

●画像検索装置の構成
次に、本装置の構成について説明する。
図２は、本装置の実施の形態を示すブロック図である。本装置１は、中間層選択部１１、ニューロン特定部１２、画像抽出部１３、記憶部１４と、を有してなる。

本装置１は、検索端末２と通信ネットワークを介して通信可能に接続された情報処理装置であって、例えば、パーソナルコンピュータで実現されている。検索端末２は、本装置１を用いて画像検索を行いたい検索者が操作する情報処理装置であって、例えば、パーソナルコンピュータで実現されている。通信ネットワークの例としては、ＬＡＮ(Local Area Network)などがある。

中間層選択部１１は、中間層の中から注目層を選択する手段である。注目層とは、ニューラルネットワークを構成する複数の中間層のうち、本装置１が画像検索に用いる層をいい、注目層の数は単数または複数である。

注目層の選択方法としては、例えば、本装置１が検索端末２にニューラルネットワークを構成する各層の選択肢を表示させ、検索者に指定させる方法がある。すなわち、検索者は、検索端末２のディスプレイに表示された選択肢の中から検索に用いる層(単数または複数)を選択し、選択された層を特定する情報が検索端末２から本装置１に送信される。

注目層は、後述のとおり、本装置１による検索の結果に影響を与える。すなわち、本装置１による検索の結果は、検索者により選択された注目層に応じて変化する。換言すれば、検索者は、どの層を注目層として選択するかによって、本装置１による検索の結果に影響を与えることができる。

ニューロン特定部１２は、参照画像に対する注目層を構成するニューロンごとの出力結果を用いて注目ニューロンを特定する手段である。

画像抽出部１３は、注目画像を抽出する手段である。本装置１は、参照画像に基づいて検索を実行し、複数の候補画像の中から注目画像を特定する。すなわち、前述の学習済みのニューラルネットワークは、画像抽出部１３を構成する。

記憶部１４は、本装置１が本方法を実行するために必要な情報が記憶される手段である。記憶部１４に記憶される情報には、候補画像データベースＤＢ１と参照画像データベースＤＢ２とが含まれる。ＤＢ１には、複数の候補画像が記憶される。ＤＢ２には、単数または複数の参照画像が記憶される。

●注目ニューロンの特定方法
ここで、注目ニューロンの特定方法について説明する。

図３は、本装置１による、注目ニューロンの特定処理(Ｓ２)の例を示すフローチャートである。本装置１は、ニューロン特定部１２を用いて、同フローチャートに示す情報処理を実行して、注目ニューロンを特定する。

先ず、本装置１は、注目層を選択する(Ｓ２１)。注目層の選択は、前述のとおり、中間層選択部１１が検索端末２から受信した層を特定する情報に基づいて、実行される。

次いで、本装置１は、検索端末２から参照画像の入力を受け付けて、ＤＢ２に記憶する(Ｓ２２)。参照画像の入力は、例えば、検索者が検索端末２の記憶手段に記憶されている画像を参照画像として本装置１に送信して実行される。本装置１が受け付ける参照画像の数は、単数または複数である。

次いで、本装置１は、ＤＢ２に記憶されている参照画像のそれぞれについて、注目層を構成する各ニューロンの活動度を算出する(Ｓ２３)。ニューロンの活動度とは、参照画像に対するニューロンの反応の強さを示す指標であり、数値で表される。すなわち、学習済みのニューラルネットワークを構成する各ニューロンには視覚的特徴が設定されていて、各ニューロンは、参照画像に自身に設定された視覚的特徴により近い視覚的特徴が含まれているほど、より大きな活動度を出力する。

次いで、本装置１は、算出されたニューロンの活動度に基づいて、注目層を構成するニューロンの順位付けを行う(Ｓ２４)。

次いで、本装置１は、別の参照画像の有無、つまり、ＤＢ２に記憶されている参照画像のうち、前述の処理Ｓ２２からＳ２４が実行されていない参照画像の有無を確認する(Ｓ２５)。別の参照画像が有れば、本装置１は、別の参照画像に対して、前述の処理Ｓ２２からＳ２４を実行する。すなわち、本装置１は、ＤＢ２に記憶されている参照画像のすべてについて、前述の処理Ｓ２２からＳ２４を実行する。

一方、別の参照画像が無ければ、本装置１は、各参照画像それぞれに対する、注目層を構成する各ニューロンの活動度の順位の順位和を算出する(Ｓ２６)。

図４は、各ニューロンの活動度の順位の順位和の例を示す模式図である。同図は、２つの参照画像１，２に対して、注目層を構成する５つのニューロンＮ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５ごとの活動度の順位と、各ニューロンの活動度の順位の順位和とを示している。すなわち、参照画像１に対するニューロンＮ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５の活動度の順位は「１」「２」「３」「４」「５」であり、参照画像２に対するニューロンＮ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５の活動度の順位は「３」「５」「１」「４」「２」であることを示している。また、ニューロンＮ１，Ｎ２，Ｎ３、Ｎ４，Ｎ５の活動度の順位の順位和は、「４」「７」「４」「８」「７」であることを示している。

次いで、本装置１は、算出された順位和に基づいて、注目層を構成する各ニューロンの順位付けを行い(Ｓ２７)、注目ニューロンを特定する(Ｓ２８)。すなわち、例えば、注目ニューロンの数が「２」であることが本装置１に設定(記憶部１４に記憶)されているとする。このとき、図５に示した順位和が算出されれば、本装置１は、注目層を構成する５つのニューロンＮ１，Ｎ２，Ｎ３、Ｎ４，Ｎ５の中から、順位和が上位の１番目と２番目の２つのニューロンＮ１とＮ３を注目ニューロンとして特定する。順位和の上位の何番目のニューロンを注目ニューロンとして特定するかは、あらかじめ本装置１に設定(記憶部１４に記憶)されている。

このように、参照画像それぞれに対するニューロンごとの活動度の順位和の上位のニューロンを注目ニューロンとして特定することは、各参照画像が共通して備える視覚的特徴に強く反応するニューロンを検索に用いることになる。すなわち、このような注目ニューロンを用いて検索を行うと、各参照画像が共通して備える視覚的特徴をより多く含む候補画像が、注目画像として抽出されることになる。

ここで、参照画像の数が単数の場合、１の参照画像に対する各ニューロンの活動度の順位に基づいて、特定される。

なお、本発明において、注目ニューロンとして特定されるニューロンの数は２つに限らず、１つでも３つ以上でもよい。

また、本発明において、注目ニューロンとして特定されるニューロンの数は、前述のように、あらかじめ本装置１に設定しておくのに代えて、例えば、検索者に指定させる、つまり、検索端末２から本装置１が受信するように構成してもよい。すなわち、ニューロン特定部１２が、注目ニューロンとして特定されるニューロンの数を検索者に指定させる手段を備える構成としてもよい。この構成により、検索者に、参照画像と候補画像との類否判断の視点を調整させることができる。

さらに、本発明において、注目ニューロンを、前述のように、注目層を構成するニューロンのうち活動度の順位和の上位から特定するのに代えて、例えば、順位和の２番目と３番目、あるいは、１番目と４番目、などと設定してもよい。

さらにまた、本発明において、順位和の何番目のニューロンを注目ニューロンとして特定するかは、前述のように、あらかじめ本装置１に設定しておくのに代えて、例えば、検索者に指定させる、つまり、検索端末２から本装置１が受信するように構成してもよい。すなわち、ニューロン特定部１２が、注目ニューロンを特定する際に用いられるニューロンごとの順位和の順位を検索者に指定させる手段を備える構成としてもよい。この構成により、検索者に、参照画像と候補画像との類否判断の視点を調整させることができる。

●注目画像の抽出方法
次に、注目画像の抽出方法について説明する。
図５は、注目画像の抽出処理(Ｓ３)の例を示すフローチャートである。本装置１は、画像抽出部１３を用いて、同フローチャートに示す情報処理を実行して、注目画像を抽出する。

先ず、本装置１は、ＤＢ１に記憶されている候補画像を１ずつ読み出して、画像抽出部１３を構成するニューラルネットワークに入力する(Ｓ３１)。

次いで、本装置１は、注目ニューロンの活動度を算出する(Ｓ３２)。

次いで、本装置１は、算出された注目ニューロンごとの活動度に重み付けをした和である重み付け活動和を算出する(Ｓ３３)。

図６は、本装置１が算出した注目ニューロンごとの重み付け活動和の例を示す模式図である。同図は、５つの候補画像１，２，３，４，５それぞれに対する、注目ニューロン「Ｎ１」「Ｎ３」ごとの活動度と重み付け活動和とを示している。すなわち、例えば、候補画像１について、注目ニューロン「Ｎ１」の活動度は「Ａ１１」であり、注目ニューロン「Ｎ３」の活動度は「Ａ１３」であり、重み付け活動和は「ＳＵＭ１(＝Ｃ１＊Ａ１１＋Ｃ３＊Ａ１３)」であることを示している。ここで、重み付けの係数Ｃ１，Ｃ３は、すべて同じ係数(単純活動和)でもよいし、あるいは、活動和の順位に依存して傾斜を掛けた係数(例えば、参照画像１に対する活動度を重みとし、より参照画像１に類似した画像が検索される)でもよい。これら重み付けの係数は、あらかじめ記憶部１４に記憶されている。なお、これら重み付け係数を検索の際に検索者に指定させて、記憶部１４に記憶するようにしてもよい。

次いで、本装置１は、別の候補画像の有無、つまり、ＤＢ１に記憶されている候補画像のうち、前述の処理Ｓ３１からＳ３３が実行されていない候補画像の有無を確認する(Ｓ３４)。別の候補画像が有れば、本装置１は、別の候補画像に対して、前述の処理Ｓ３１からＳ３３を実行する。すなわち、本装置１は、ＤＢ１に記憶されている候補画像のすべてについて、前述の処理Ｓ３１からＳ３３を実行する。

一方、別の候補画像が無ければ、本装置１は、各候補画像の活動和の順位付けを行い(Ｓ３５)、注目画像を抽出する(Ｓ３６)。すなわち、例えば、図６に示した例において、本装置１は、各候補画像の活動和ＳＵＭ１，ＳＵＭ２，・・・，ＳＵＭ５の大小を比較して、例えば、最大の活動和の候補画像を注目画像として抽出する。これら、注目画像として抽出される画像の数や、抽出される画像が活動和のどの順位かを示す情報は、あらかじめ本装置１に設定(記憶部１４に記憶)されている。

なお、本発明において、候補画像の中から注目画像として抽出される画像の数は、２つ以上であってもよい。

また、本発明において、注目画像として抽出される画像の数は、前述のように、あらかじめ本装置１に設定しておくのに代えて、例えば、検索者に指定させる、つまり、検索端末２から本装置１が受信するように構成してもよい。

さらに、本発明において、注目画像を、前述のように、最大の活動和の画像から特定するのに代えて、例えば、活動和の上位２番目、あるいは、１番目と３番目、などと設定してもよい。

さらにまた、本発明において、活動和の何番目の候補画像を注目画像として抽出するかは、前述のように、あらかじめ本装置１に設定しておくのに代えて、例えば、検査者に設定させる、つまり、検索端末２から本装置１が受信するように構成してもよい。すなわち、画像抽出部１３が、注目画像を抽出する際に用いられる注目ニューロンごとの活動和の順位を検索者に指定させる手段を備えるように構成してもよい。この構成により、検索者に、参照画像と候補画像との類否判断の視点を調整させることができる。

●実施の形態のまとめ
以上説明した実施の形態によれば、本装置１は、検索者が選択した注目層を構成するニューロンの一部の注目ニューロンのみを用いて画像認識を実行するため、注目ニューロンに応じて、参照画像との類否判断の視点が異なる画像を抽出することができる。すなわち、本装置１は、注目層を選択させる検索者に、参照画像と候補画像との類否判断の視点を調整させることができる。

また、本装置１は、注目層の選択や、注目層を構成するニューロンの中から注目ニューロンとして特定されるニューロンの数や、注目層を構成するニューロンの中から注目ニューロンとして特定されるニューロンの活動度の順位和の順位や、候補画像の中から注目画像として特定される画像の活動和の順位、などを検索者に指定させることで、検索者に参照画像と候補画像との類否判断の視点を調整させることができる。

なお、階層型ニューラルネットワークを構成する中間層のうち、下位層のニューロンには画像の局所的で単純な特徴(画素レベルでの類似性)が設定され、上位層のニューロンには画像の意味情報に関連する特徴が設定される傾向がある。したがって、検索者は、検索の用途などに応じて、中間層の中から注目層を選択するとよい。すなわち、例えば、検索者は、参照画像と単純な形態(局所形状や色彩や模様)レベルにおいて、参照画像と類似する画像を抽出したい場合には、下位層を注目層として選択するとよい。また、検索者は、より複雑で意味情報も含めた高次な視覚的特徴レベルにおいて、参照画像と類似する画像を抽出したい場合には、上位層を注目層として選択するとよい。

図７、図８は、本装置１による検索結果の例を示す模式図である。ここで、本装置１は、前述のとおり、５つの畳込型演算層と３つの全結合層から構成されている。各図の先頭行の６つの画像のそれぞれが参照画像であり、各参照画像の下(紙面右)に表示されているのが各参照画像を個別に検索に用いた場合に抽出された注目画像である。なお、各図の６つの参照画像は、共通である。

図７は、第２層が注目層として選択されたときの検索結果である。同図は、参照画像と単純な形態レベルで類似している画像、つまり、参照画像が人の顔であれば、人の顔の外形である円形の画像が抽出されていることを示している。

図８は、第７層が注目層として選択されたときの検索結果である。同図は、参照画像と物体カテゴリとして類似している画像、つまり、例えば、参照画像が人の顔であれば、人の顔が抽出されていることを示している。

１ 画像検索装置
２ 検索端末
１１ 中間層選択部
１２ ニューロン特定部
１３ 画像抽出部
１４ 記憶部
ＤＢ１ 候補画像データベース
ＤＢ２ 参照画像データベース
Ｎ ニューロン
Ａ 活動度
ＳＵＭ 活動和

Claims (10)

1. 複数のニューロンを備えるニューラルネットワークで構成されていて、参照画像に関連する注目画像を複数の候補画像の中から検索するための画像検索装置であって、
   前記複数のニューロンのうち、前記注目画像を検索するために用いられる注目ニューロンを特定するニューロン特定部と、
   前記複数のニューロンのうち前記注目ニューロンのみを用いて、前記複数の候補画像の中から前記注目画像を抽出する画像抽出部と、
   を有してなり、
   前記ニューロン特定部は、前記参照画像に対する前記ニューロンごとの出力結果を用いて、前記注目ニューロンを特定する、
   ことを特徴とする画像検索装置。
2. 前記参照画像は複数であって、
   前記ニューロン特定部は、
   前記参照画像それぞれに対する前記ニューロンごとの活動度を算出し、
   前記ニューロンごとに、前記参照画像それぞれに対する活動度の順位和を算出し、
   前記ニューロンごとの順位和に基づいて、前記注目ニューロンを特定する、
   請求項１記載の画像検索装置。
3. 前記画像抽出部は、
   前記候補画像それぞれに対する前記注目ニューロンごとの活動度を算出し、
   前記注目ニューロンごとの活動度の和である活動和を算出し、
   前記注目ニューロンごとの活動和に基づいて、前記注目画像を抽出する、
   請求項１または２記載の画像検索装置。
4. 前記ニューラルネットワークは、複数の中間層を備え、
   前記複数の中間層の中から注目層を選択する中間層選択部を有してなり、
   前記ニューロン特定部は、前記注目層を構成するニューロンの中から前記注目ニューロンを特定する、
   請求項１乃至３のいずれかに記載の画像検索装置。
5. 前記中間層選択部は、前記複数の中間層のいずれかの中間層を検索者に指定させるために、前記複数の中間層の選択肢を表示して、前記表示された選択肢の中から検索者が指定した中間層を前記注目層として選択する、
   請求項４記載の画像検索装置。
6. 前記ニューロン特定部は、前記複数のニューロンのうち前記注目ニューロンとして特定されるニューロンの数を検索者に指定させる手段を備える、
   請求項１乃至５のいずれかに記載の画像検索装置。
7. 前記ニューロン特定部は、前記注目ニューロンを特定する際に用いられる前記ニューロンごとの順位和の順位を検索者に指定させる手段を備える、
   請求項１乃至６のいずれかに記載の画像検索装置。
8. 前記画像抽出部は、前記注目画像を抽出する際に用いられる前記注目ニューロンごとの活動和の順位を検索者に指定させる手段を備える、
   請求項１乃至７のいずれかに記載の画像検索装置。
9. コンピュータを、請求項１乃至８のいずれかに記載の画像検索装置として機能させることを特徴とする画像検索プログラム。
10. 複数のニューロンを備えるニューラルネットワークで構成されていて、参照画像に関連する注目画像を複数の候補画像の中から検索するための装置により実行される画像検索方法であって、
    前記装置が、
    前記複数のニューロンのうち、前記注目画像を検索するために用いられる注目ニューロンを特定するステップと、
    前記複数のニューロンのうち前記注目ニューロンのみを用いて、前記複数の候補画像の中から前記注目画像を抽出するステップと、
    を有してなり、
    前記装置は、前記参照画像に対する前記ニューロンごとの出力結果を用いて、前記注目ニューロンを特定する、
    ことを特徴とする画像検索方法。
    
    
    

Images