JP2008102594A - コンテンツの検索方法及び検索装置 - Google Patents

Abstract

【課題】検索者が頭に思い描いているコンテンツを検索できるようにする。
【解決手段】人間が知覚可能なコンテンツを検索する検索方法は、検索対象となるコンテンツを知覚した際又は想像した際における検索者の脳の活動状態を表すクエリ脳画像を取得する取得ステップと、コンテンツを知覚した際における脳の活動状態を表す脳画像と当該コンテンツとを対応付ける構造を用いて、クエリ脳画像に対応するコンテンツを特定する特定ステップと、クエリ脳画像に対応するコンテンツを出力する出力ステップとを含む。このようにクエリ脳画像を用いることによって、検索者は具体的に図面などのコンテンツを指し示すことなく、想像するだけで該当するコンテンツを抽出することができるようになる。すなわち、より容易に検索することができるようになる。
【選択図】図１

Description

本発明は、図面、映像、画像、３Ｄ−ＣＡＤ（Computer Aided Design）データ、ボリュームデータ、その他（例えば視覚／聴覚／味覚／触覚／臭覚で知覚できるもの）を含むコンテンツを検索する技術に関する。

製造業では競争力のある製品を低コストで開発し早期に市場投入するために、既存製品の図面などの技術資産を有効活用することが求められている。これまで蓄積してきた大量の図面の中から必要な情報を見つけるためには、必要な部品が描かれている図面を効率よく検索する技術が必要となる。そこで単純な方法として、図面に付与した部品名などをキーワードとして入力するテキスト中心の検索が多く用いられてきた。また、最近では、テキストでは表現が難しい部品の形状を使った検索を実現するために、図面に描かれた部品の形状情報を用いた類似形状検索なども用いられつつある。

一方、以下のような研究が報告されている。すなわち、被験者にじゃんけんの動作をさせ、ＭＲＩ装置で脳活動に伴う血流の変化を一秒ごとに計測、その画像データから脳活動の運動指令に関与する部分だけを抽出してコンピュータで解析し、じゃんけんのどの動作をしているのかを解読する。その結果をロボットハンドに送り、被験者と同じ動作をさせる。但し、具体的に存在するコンテンツを検索するものではない。
馬場，劉汝傑，遠藤，椎谷，上原，増本，長田：機械系組立図面からの形状に基づく部品検索手法の提案, 電子情報通信学会技術研究報告書, PRMU2004-225, pp.79-84(2005). 劉汝傑，馬場，増本：Attributed Graph Matching based Engineering Drawings Retrieval, Proc. of IAPR Workshop on Document Analysis Systems(DAS04), pp.378-388, September (2004). 劉汝傑，馬場，増本：Component Parts Extraction from Assembly Drawings for Content based Retrieval, Proc. of The IEE International Conference on Visual Information Engineering: Convergence in Graphics and Vision(VIE2005), pp.45-50, April (2005) 馬場，劉汝傑(FRDC)，遠藤，椎谷，上原，増本，長田：Similarity-based Partial Image Retrieval System for Engineering Drawings, Proc. of Seventh IEEE International Symposium on Multimedia (ISM2005), pp.303-309, December 14, (2005). 「ＡＴＲとＨｏｎｄａ、脳でロボットを操作する基礎技術の開発に成功」［Online］２００６年５月２４日、［２００６年９月２１日検索］インターネット＜ＵＲＬ：http://www.honda.co.jp/news/2006/c060524a.html＞ Yukiyasu Kamitani, Frank Tong, "Decoding the visual and subjective contents of the human brain", NATURE NEUROSCIENCE, VOLUME 8, NUMBER 5, MAY 2005

しかし、従来の類似形状検索技術では、図面から抽出する形状情報は、システム開発者により予め決められた形状特徴量を用いており、検索者が指定するクエリ図面によっては、検索者が意図したものに近い結果が得られない場合がある。これは、検索に用いる形状特徴量の抽出方法を予め決めておく必要があるが、検索者の意図に沿うような適切な形状特徴量を必ず抽出できるとは限らないためである。

また、クエリ図面を用意する必要があるが、手元に適当なクエリ図面がない場合も多い。そのような場合には、スケッチ入力などによって自分が探したい部品を描画することも考えられるが、検索者が頭に思い描いている部品を「思い通りに」スケッチとして描画するのは難しいことが多い。

従って、本発明の目的は、コンテンツを検索する新規な技術を提供することである。

また、本発明の他の目的は、検索者が頭に思い描いているコンテンツを検索することができるようにするための新規な技術を提供することである。

さらに、本発明の他の目的は、検索者がより容易にコンテンツを検索することができるようにするための新規な技術を提供することである。

本発明の第１の態様に係る、人間が知覚可能なコンテンツを検索する検索方法は、検索対象となるコンテンツを知覚した際又は想像した際における検索者の脳の活動状態を表すクエリ脳画像を取得する取得ステップと、コンテンツを知覚した際における脳の活動状態を表す脳画像と当該コンテンツとを対応付ける構造を用いて、クエリ脳画像に対応するコンテンツを特定する特定ステップと、クエリ脳画像に対応するコンテンツを出力する出力ステップとを含む。

このようにクエリ脳画像を用いることによって、検索者は具体的に図面などのコンテンツを指し示すことなく、想像するだけで該当するコンテンツを抽出することができるようになる。すなわち、より容易に検索することができるようになる。

また、上で述べた構造が、コンテンツを知覚した際における脳の活動状態を表すＤＢ脳画像を当該コンテンツに対応して格納するデータベースであってもよい。その場合、上で述べた特定ステップが、データベースをクエリ脳画像で検索し、当該クエリ脳画像と所定の類似性を有するＤＢ脳画像を特定するステップと、特定されたＤＢ脳画像に対応するコンテンツをデータベースから特定するステップとを含むようにしてもよい。このように、予めコンテンツに対応してＤＢ脳画像を用意することによって、ＤＢ脳画像とクエリ脳画像との画像としての類似性を特定できるようになる。

さらに、上で述べた所定の類似性が、ＤＢ脳画像の画素の濃度とクエリ脳画像の対応画素の濃度との差、又はクエリ脳画像の一部の画素の濃度とＤＢ脳画像の対応画素の濃度との差に基づき決定される場合もある。

さらに、上で述べた所定の類似性が、ＤＢ脳画像についての特徴量とクエリ脳画像についての特徴量との距離に基づき決定される場合もある。

また、上で述べたデータベースに、ＤＢ脳画像に対応して当該ＤＢ脳画像が測定されたユーザのユーザＩＤが登録されるようにしてもよい。その場合、上で述べた特定ステップが、データベースにおいて検索者のユーザＩＤでＤＢ脳画像を絞り込むステップを含むようにしてもよい。検索者が異なる場合には脳画像が異なる場合もあるためである。

さらに、上で述べた特定ステップが、絞り込まれたＤＢ脳画像から所定の類似性を有するＤＢ脳画像を抽出できない場合、検索者のユーザＩＤとは無関係に又は検索者のユーザＩＤ以外のユーザＩＤを用いてデータベースを検索するステップをさらに含むようにしてもよい。

また、データベースに、ＤＢ脳画像に対応して当該ＤＢ脳画像が測定されたユーザのユーザＩＤを登録するようにしてもよい。さらに、ＤＢ脳画像を、ユーザＩＤ単位でクラスタリングしてもよい。また、各クラスタが、テスト・コンテンツを知覚した際における該当ユーザの脳の活動状態を表すテスト登録脳画像を含むようにしてもよい。そして、その場合、テスト・コンテンツを知覚した際における検索者の脳の活動状態を表すテスト脳画像を取得するステップと、テスト脳画像とデータベースに格納されている各クラスタのテスト登録脳画像とを比較して、テスト脳画像が属するクラスタを特定するステップとをさらに含むようにしてもよい。さらに、その場合、上で述べた特定ステップが、データベースにおいてテスト脳画像が属するクラスタでＤＢ脳画像を絞り込むステップを含ようにしてもよい。脳画像に所定の傾向が存在する場合には、このようなクラスタを導入することで、より適切なコンテンツを抽出することができるようになる。

また、データベースに、クエリ脳画像を当該クエリ脳画像に対する検索結果として特定されたコンテンツに対応付けて登録するステップをさらに含むようにしてもよい。また、データベースに、テスト脳画像をテスト・コンテンツに対応付けて登録するステップをさらに含むようにしてもよい。クエリ脳画像又はテスト脳画像を再利用するためである。

さらに、上で述べたコンテンツが単一の図面である場合もある。その場合、本発明の第１の態様に係る検索方法が、コンテンツである特定の図面及び当該特定の図面を含む図面の組み合わせを管理するデータ構造によって、特定ステップで特定されたコンテンツである図面を含む前記図面の組み合わせを特定するステップをさらに含むようにしてもよい。そして、上で述べた出力ステップが、特定ステップで特定された上記図面にマークを付して、特定された上記図面の組み合わせを出力するステップを含むようにしてもよい。複数の図面がまとまっている場合に、該当する部分を検索者に提示することができるようになる。

さらに、上で述べた特定ステップが、クエリ脳画像と所定の類似性を有するＤＢ脳画像を、当該ＤＢ脳画像の類似度に基づき降順にソートするステップをさらに含むようにしてもよい。また、上で述べた出力ステップが、ソートの順番で、クエリ脳画像に対応するコンテンツを出力するステップを含むようにしてもよい。さらに、本発明の第１の態様に係る検索方法が、検索者が指示したタイミング又は任意のタイミングで、検索者の第２のクエリ脳画像を取得するステップと、特定ステップと出力ステップとを、第２のクエリ脳画像について実施するステップとを含むようにしてもよい。このようにすれば、頭に思い描いているコンテンツにより近いコンテンツを絞り込むことができるようになる。

また、上で述べた取得ステップが、コンテンツの特徴量を入力データとし且つ当該コンテンツを知覚した際における脳の活動を表す脳画像を出力データとして学習したニューラルネットワークに、検索対象のコンテンツの特徴量を入力して、対応する脳画像を取得するステップを含むようにしてもよい。検索対象のコンテンツや類似するコンテンツを保持している場合に簡便に検索を行うことができるようになる。

また、上で述べた構造が、脳画像を入力データとし且つ当該脳画像に対応するコンテンツを出力データとして学習したニューラルネットワークである場合もある。

本発明の第２の態様に係る、人間が知覚可能なコンテンツを検索する検索装置は、検索対象となるコンテンツを知覚した際又は想像した際における検索者の脳の活動状態を表すクエリ脳画像を取得する取得手段と、コンテンツを知覚した際における脳の活動状態を表す脳画像と当該コンテンツとを対応付ける構造を用いて、クエリ脳画像に対応するコンテンツを特定する特定手段と、クエリ脳画像に対応するコンテンツを出力する出力手段とを有する。

また、上で述べた構造が、コンテンツを知覚した際における脳の活動状態を表すＤＢ脳画像を当該コンテンツに対応して格納するデータベースである場合もある。その際、上で述べた特定手段は、データベースをクエリ脳画像で検索し、当該クエリ脳画像と所定の類似性を有するＤＢ脳画像を特定し、特定されたＤＢ脳画像に対応するコンテンツをデータベースから特定することもある。

さらに、データベースに、ＤＢ脳画像に対応して当該ＤＢ脳画像が測定されたユーザのユーザＩＤを登録する場合もある。そして、ＤＢ脳画像が、ユーザＩＤ単位でクラスタリングされている場合もある。さらに、各クラスタが、テスト・コンテンツを知覚した際における該当ユーザの脳の活動状態を表すテスト登録脳画像を含む場合もある。その場合、本発明の第２の態様に係る検索装置は、データベースを検索して最も多くのユーザがＤＢ脳画像を登録しているコンテンツ又は予め定められたコンテンツをテスト・コンテンツとして特定する手段をさらに有する場合もある。さらに、上で述べた取得手段が、テスト・コンテンツを知覚した際における検索者の脳の活動状態を表すテスト脳画像を取得し、上で述べた特定手段が、テスト脳画像とデータベースに格納されている各クラスタのテスト登録脳画像とを比較して、テスト脳画像が属するクラスタを特定し、データベースにおいてテスト脳画像が属するクラスタでＤＢ脳画像を絞り込む場合もある。クラスタリングを適切に行って、正確な検索を行うためである。

さらに、所定の基準以上の類似性を有する複数のコンテンツを検出した場合、当該複数のコンテンツに１の脳画像を対応付けてデータベースに登録する手段をさらに有するようにしてもよい。このようにすれば、極めて類似する図面などに対しては１回脳画像を計測すればよいので、データ蓄積の際の手間を削減することができる。

さらに、本発明の第２の態様に係る検索装置は、コンテンツの特徴量に基づき対応するＤＢ脳画像を配置してユーザに提示する手段と、ＤＢ脳画像の配置と同様の配置でコンテンツを前記ユーザに提示する手段と、ユーザにより特定されたコンテンツとＤＢ脳画像との対応関係をデータベースに登録する手段とをさらに有するようにしてもよい。

同様に、ＤＢ脳画像の特徴量に基づき当該ＤＢ脳画像を配置してユーザに提示する手段と、ＤＢ脳画像の配置と同様の配置で、対応するコンテンツをユーザに提示する手段と、ユーザにより特定されたコンテンツとＤＢ脳画像との対応関係をデータベースに登録する手段とをさらに有するようにしてもよい。このように新たなデータをデータベースに登録して検索に役立てることができるようになる。

本発明にかかる検索方法をコンピュータに実行させるためのプログラムや検索システムをコンピュータに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークを介してディジタル信号にて頒布される場合もある。なお、処理途中のデータについては、コンピュータのメモリ等の記憶装置に一時保管される。

本発明によれば、コンテンツを検索する新規な技術を利用できるようになる。

また、本発明の他の側面によれば、検索者が頭に思い描いているコンテンツを検索することができるようになる。

さらに、本発明の他の側面によれば、検索者がより容易にコンテンツを検索することができるようになる。

［本発明の実施の形態の概要］
まず、本発明の実施の形態の概要を説明する。本実施の形態では、ｆＭＲＩ（functional Magnetic Resonance Imaging（機能的磁気共鳴画像））や光トポグラフィーなどの脳の活動領域を計測する装置で計測した、検索者の脳画像（例えば２次元画像、３次元画像、時系列画像など）の類似性を利用して、人間が知覚可能なコンテンツを検索する検索装置を構成する。 これにより、例えば、わざわざスケッチして、思い描いているクエリ図面などを生成せずに、検索者がクエリ図面を想像したときの脳画像を用いて図面を検索することが可能となる。以下、図面を検索する例をもって説明する。

本実施の形態では、事前処理として、図１右側に示すように、図面データベース（ＤＢ）内の登録図面それぞれを検索者が視認したときの脳画像（ＤＢ脳画像と呼ぶ）を計測して脳画像ＤＢに登録図面を対応付けて登録しておく。そして、検索実行時には、図１左側に示すように、検索者Ａがクエリ図面を視認した時、又はクエリ図面を視認せずに想像した時の脳画像（クエリ脳画像と呼ぶ）を計測してクエリとして検索装置に入力し、クエリ脳画像とＤＢ脳画像それぞれとの類似度を算出し、クエリ脳画像と所定の類似性を有するＤＢ脳画像を特定し、そのＤＢ脳画像に対応する図面を出力するものである。

［実施の形態１］
本発明の実施の形態に係る検索装置を図２に示す。検索装置は、コンテンツの一例として図面を格納する図面ＤＢ１と、図面と当該図面を視認した際に計測され且つ脳の活動状態を表す脳画像とを対応付ける処理を実施する脳画像管理部３と、脳画像及び図面との関連付けデータを格納する脳画像ＤＢ５と、クエリのためのクエリ脳画像又は登録図面に対応するＤＢ脳画像を取得する脳画像入力部７と、脳画像入力部７によって取得された脳画像を格納する脳画像格納部８と、脳画像格納部８に格納されたクエリ脳画像で脳画像ＤＢ５の検索を行い、図面ＤＢ１から該当図面データを抽出する検索処理部９と、検索処理部９の検索結果を格納する検索結果格納部１１と、検索結果格納部１１に格納された検索結果を検索者に出力し、検索者からの選択指示を受け付ける入出力部１３とを有する。

脳画像入力部７は、図面ＤＢ１又は脳画像ＤＢ５を参照して、テスト図面などを特定し、ユーザに提示する処理も行う。また、入出力部１３は、クエリ脳画像を脳画像ＤＢ５に検索者によって選択された図面と対応付けて登録するために、検索者の図面の選択指示データを脳画像管理部３に出力し、クエリ脳画像を脳画像ＤＢ５に登録させる指示を検索処理部９に出力する。

脳画像ＤＢ５は、脳画像そのものだけではなく、例えば図３のようなデータを保持する。すなわち、脳画像ＩＤと登録図面ＩＤとの対応関係を登録するためのテーブルである。このようなデータを保持することによって、ＤＢ脳画像から対応する図面を特定することができるようになる。脳画像管理部３は、ＤＢ脳画像登録時に、図面ＤＢ１内のいずれの図面を出力したかを特定し、それに対応して入力されたＤＢ脳画像の脳画像ＩＤを対応付けて、脳画像ＤＢ５に登録する。

次に、図４を用いて図２に示した検索装置の処理フローを説明する。まず、脳画像入力部７は、検索者が検索対象の図面を視認した時又は検索対象の図面を想像した時の脳活動を表すクエリ脳画像を取得し、脳画像格納部８に格納する（ステップＳ１）。クエリ脳画像は、脳画像全体を用いるようにしても良いし、予め特定されている活動が活発な領域のみを用いるようにしても良い。脳画像の一部を用いる場合には、ＤＢ脳画像についても同様に対応する一部のみを用いることになる。

次に、検索処理部９は、脳画像ＤＢ５内の未処理のＤＢ脳画像を１つ特定する（ステップＳ３）。そして、検索処理部９は、クエリ脳画像とステップＳ３で特定されたＤＢ脳画像との類似度を計算し、例えばメインメモリなどの記憶装置に格納する（ステップＳ５）。ステップＳ５では、例えば、クエリ脳画像の画素の濃度と、ＤＢ脳画像の対応画素の濃度との差を算出し、当該差の絶対値の総和を類似度として算出するようにしても良い。この場合、差の絶対値の総和が小さいほど類似度が高いこととなる。なお、クエリ脳画像及びＤＢ脳画像の両方でその一部についてのみ画素濃度の差を算出するようにしても良い。

また、クエリ脳画像から色又は形状などの画像特徴量を抽出し、当該画像特徴量から特徴量ベクトルを生成し、ＤＢ脳画像から色又は形状などの画像特徴量を抽出し、当該画像特徴量から特徴量ベクトルを生成し、これらの特徴量ベクトル間の距離を類似度として算出するようにしてもよい。この場合も、距離が小さいほど類似度が高いと判断される。なお、画像特徴量については、例えば上で述べた非特許文献１に記載している技術を用いればよい。

そして、検索処理部９は、脳画像ＤＢ５内の全てのＤＢ脳画像について処理したか判断する（ステップＳ７）。未処理のＤＢ脳画像が存在する場合にはステップＳ３に戻る。一方、脳画像ＤＢ５内の全てのＤＢ脳画像について処理した場合には、図３に示したようなデータ構造によってＤＢ脳画像に対応する図面を、ＤＢ脳画像の類似度の降順にソートする（ステップＳ９）。図面のデータは図面ＤＢ１から取得され、ソート結果（例えば図６のようなデータ）と共に検索結果格納部１１に格納される。なお、全ての図面データを図面ＤＢ１から取得するのではなく、上位所定数取得すればよい。

入出力部１３は、検索結果格納部１１に格納されたソート結果に基づき、図面をソート順で出力する（ステップＳ１１）。例えば、「次へ」ボタンと「選択」ボタンを表示する。そして、検索者は、該当しない図面が表示された場合には「次へ」ボタンをクリックする。入出力部１３は、「次へ」ボタンがクリックされると、次の順番の図面を表示するようにする。検索者は、自ら視認した図面又は想像した図面が出力されると、「選択」ボタンをクリックする。入出力部１３は、当該図面の選択に応じて、当該図面の図面ＩＤを脳画像管理部３に出力する。また、入出力部１３は、脳画像格納部８に格納したクエリ画像を脳画像ＤＢ５に登録するように検索処理部９に指示し、検索処理部９は、当該指示に応じて、クエリ脳画像を脳画像ＤＢ５に登録する。また、脳画像管理部３は、図面ＩＤとクエリ脳画像のＩＤとを対応付けて例えば図３のようなテーブルに登録する（ステップＳ１３）。このようにすれば、後の検索の際にクエリ脳画像がＤＢ脳画像として用いられることになり、有用である。

以上のような処理を行うことによって、具体的に図面を自ら描くことなく、念頭にある図面を抽出することができるようになる。

［実施の形態２］
第１の実施の形態では、ＤＢ脳画像の絞り込みは具体的には示していない。第２の実施の形態では、検索者によって脳画像が若干異なる場合も考えられるため、ＤＢ脳画像に対応して当該ＤＢ脳画像を計測したユーザのユーザＩＤをも登録しておく。例えば、図５に示すようなデータを脳画像ＤＢ５に登録しておく。すなわち、ＤＢ脳画像が測定されたユーザのユーザＩＤと、当該ＤＢ脳画像の脳画像ＩＤと、当該ＤＢ脳画像に対応する図面の登録図面ＩＤとが登録されるテーブルである。脳画像管理部３は、脳画像入力部７などから測定を実施するユーザのユーザＩＤを取得し、ＤＢ脳画像の脳画像ＩＤとその際の図面の登録図面ＩＤとを対応付けて登録する。

そして、ユーザＩＤがＡである検索者Ａのクエリ脳画像については、まずユーザＩＤとして「Ａ」が登録されているＤＢ脳画像に比較対象を絞る。図７の例では、上段の点線で囲まれた部分に比較対象を限定する。比較対象の限定は、例えば図４のステップＳ３で、未処理且つ該当ユーザＩＤのＤＢ脳画像を特定するようにすればよい。但し、ユーザＩＤとして「Ａ」が登録されているＤＢ脳画像だけでは、所定の類似度を超えるＤＢ脳画像が存在しない場合には、他のユーザＩＤ、例えばユーザＩＤとして「Ｂ」が登録されているＤＢ脳画像をも比較の対象とする。同一ユーザＩＤが登録されたＤＢ脳画像だけでは、図面の種類に限界がある場合があるためである。

このようにすれば、検索者の傾向に合わせて比較を行うので、より正確な検索結果を得ることができるようになる。

［実施の形態３］
第２の実施の形態では、ユーザＩＤの異同で検索対象を絞り込んでいたが、脳画像が同じ傾向を有するユーザも存在するので、ユーザＩＤではなく、脳画像の類似性でクラスタリングするようにしても良い。

例えば、脳画像管理部３は、図８に示すようなＫ−ｍｅａｎｓ法などを用いて脳画像をクラスタリングして、脳画像ＤＢ５で管理する。すなわち、Ｋ個の初期的なクラスタ中心（クラスタ中心に相当するＤＢ脳画像。但し、以下の処理では画素数分の次元を有するベクトルデータとして取り扱う）を特定する（ステップＳ２１）。Ｋは予め設定され、初期的なクラスタ中心は、どのようにして選んでも良い。そして、全てのＤＢ脳画像をＫ個のクラスタ中心と比較して類似度を算出し、最も近いクラスタ中心のクラスタに仮に分類する（ステップＳ２３）。本ステップの処理対象となるＤＢ脳画像は、予め定められたテスト図面又は最も多くのユーザが図面ＤＢ脳画像を登録している１つの図面に対応するＤＢ脳画像である。その後、各クラスタの重心を算出し、新たなクラスタ中心に設定する（ステップＳ２５）。

そして、クラスタ中心のいずれかが所定の基準以上移動したか判断する（ステップＳ２７）。クラスタ中心のいずれかが移動した場合にはステップＳ２３に戻る。一方、クラスタ中心のいずれもが移動していない場合には、ＤＢ脳画像のクラスタを脳画像ＤＢ５に登録する（ステップＳ２９）。ステップＳ２３の処理対象とされたＤＢ脳画像には、そのままステップＳ２３の分類に従ってクラスタが登録され、ステップＳ２３の処理対象以外のＤＢ脳画像には、ユーザＩＤに基づきクラスタが登録される。すなわち、クラスタａが登録されたＤＢ脳画像のユーザＩＤがＡであれば、ユーザＩＤがＡのＤＢ脳画像は同じようにクラスタａが登録される。ステップＳ２９では、例えば図９に示すようなデータが脳画像ＤＢ５に登録される。すなわち、ユーザＩＤと、脳画像ＩＤと、登録図面ＩＤと、クラスタＩＤとが対応付けて登録されている。

このようなデータが脳画像ＤＢ５で管理される状態を図１０に模式的に示す。図１０の例では、クラスタａとクラスタｂとの２つのクラスタが存在しており、クラスタａにはユーザＩＤがＡとＢのユーザが分類されており、クラスタｂにはユーザＩＤがＣとＤのユーザが分類されており、テスト図面以外の登録図面に対応するＤＢ脳画像については同じクラスタに分類される。

上ではＫ−ｍｅａｎｓ法をクラスタリングの手法として述べたが、本実施の形態では他の方法を用いてクラスタリングを行うようにしても良い。

このようなデータが脳画像ＤＢ５で管理される場合、図４におけるステップＳ３で比較対象となるＤＢ脳画像は、図１１に示すように絞り込まれる。すなわち、脳画像入力部７は、例えばテスト図面を検索者に提示して視認させ、当該テスト図面に対応する脳画像を取得し、脳画像格納部８に格納する（ステップＳ３１）。テスト図面ではなく、脳画像入力部７が、脳画像ＤＢ５を検索して、最も多くのユーザが脳画像を登録している図面の図面ＩＤを特定し、当該図面ＩＤに基づき図面ＤＢ１からテスト図面として用いる図面を検索者に提示するようにしても良い。

次に、検索処理部９は、取得された脳画像と、各クラスタにおけるテスト図面に対応するＤＢ脳画像とを比較する（ステップＳ３３）。すなわち、取得された脳画像と、各クラスタにおける代表的なＤＢ脳画像との類似度を算出し、例えばメインメモリなどの記憶装置に格納する。類似度の算出は上で述べたものと同様である。そして、類似度が最も高いクラスタを特定し、当該クラスタ内のＤＢ脳画像に処理対象を限定する（ステップＳ３５）。すなわち、例えば図９に示すようなテーブルにおいては、クラスタＩＤとして、類似度が最も高いクラスタのＩＤが登録されているＤＢ脳画像についてのみステップＳ５以降の処理を実施するものとする。

なお、クラスタリングは、所定の周期で又は任意のタイミングで再度実行することによって、クラスタリングを動的に変化させ、好ましいクラスタを維持管理できるようになる。

このようにすれば、処理対象を同様の傾向を有するユーザのＤＢ脳画像に絞り込むことができ、高速に、好ましい検索結果を得ることができるようになる。

［実施の形態４］
図１２右上に示すように、図面ＤＢ１には、複数の部品が描かれた複数部品図面が登録されている場合がある。そのような場合には、例えば部品単位に図面を自動分割する手法（例えば非特許文献１記載の技術）を実装した図面分割部２１によって、部品単位に図面を分割しておく。分割後の図面を単品図面と呼ぶ。脳画像ＤＢ５においては、単品図面に対応してＤＢ脳画像を格納して、管理する。但し、図面ＤＢ１においては、図１３に示すように、複数部品図面と単品図面との関係を管理しておく必要がある。すなわち、複数部品図面ＩＤと単品図面ＩＤとを対応付けて管理する必要がある。

そして図１４に示すような処理を行う。まず、脳画像入力部７は、検索者が検索対象の図面を視認した時又は検索対象の図面を想像した時の脳活動を表すクエリ脳画像を取得し、脳画像格納部８に格納する（ステップＳ４１）。クエリ脳画像は、脳画像全体を用いるようにしても良いし、予め特定されている活動が活発な領域のみを用いるようにしても良い。図１２では、例えば左上の部分から（１）の矢印で示すように、クエリ脳画像が取得される。

次に、検索処理部９は、脳画像ＤＢ５内の未処理のＤＢ脳画像を１つ特定する（ステップＳ４３）。そして、検索処理部９は、クエリ脳画像とステップＳ４３で特定されたＤＢ脳画像との類似度を計算し、例えばメインメモリなどの記憶装置に格納する（ステップＳ４５）。ステップＳ４５では、例えば、クエリ脳画像の画素の濃度と、ＤＢ脳画像の対応画素の濃度との差を算出し、当該差の絶対値の総和を類似度として算出するようにしても良い。なお、クエリ脳画像及びＤＢ脳画像の両方でその一部についてのみ画素濃度の差を算出するようにしても良い。

また、クエリ脳画像から色又は形状などの画像特徴量を抽出し、当該画像特徴量から特徴量ベクトルを生成し、ＤＢ脳画像から色又は形状などの画像特徴量を抽出し、当該画像特徴量から特徴量ベクトルを生成し、これらの特徴量ベクトル間の距離を類似度として算出するようにしてもよい。

そして、検索処理部９は、脳画像ＤＢ５内の全てのＤＢ脳画像について処理したか判断する（ステップＳ４７）。未処理のＤＢ脳画像が存在する場合にはステップＳ４３に戻る。一方、脳画像ＤＢ５内の全てのＤＢ脳画像について処理した場合には、ＤＢ脳画像をその類似度で降順にソートする（ステップＳ４９）。例えば、ＤＢ脳画像の脳画像ＩＤを類似度で降順に並べる。その後、類似度最高の脳画像に対応する図面（単品図面）を特定し（ステップＳ５１）、図面ＤＢ１から抽出して検索結果格納部１１に格納する。さらに図１３に示したようなデータ構造から、ステップＳ５１で特定された単品図面を含む複数部品図面を特定し、図面ＤＢ１から抽出して検索結果格納部１１に格納する。そして、入出力部１３は、検索結果格納部１１に格納されている複数部品図面を、特定された単品図面の部分にマークを付してユーザに出力する（ステップＳ５３）。図１２の例では、（２）の矢印の先に示すように、複数部品図面３１がユーザに提示される。この複数部品図面３１内においてステップＳ５１で特定された単品図面の部分にはマーク４１が付される。

ここで検索者は、提示された複数部品図面３１及びマーク４１を参照して、目的とする図面が提示されているか判断する。目的とする図面が提示されていないという場合には、クエリ脳画像の再入力を脳画像入力部７に指示する。脳画像入力部７は、クエリ脳画像の再入力指示を受け付け（ステップＳ５５：Ｎｏルート）、出力（すなわち提示内容）を見た後に再度検索対象の図面を想像した場合におけるクエリ脳画像を取得して脳画像格納部８に格納する（ステップＳ５７）。図１２では、マーク４１が付される複数部品図面３１を参照して再度クエリ脳画像の計測が行われる場面が、左下に示されており、矢印（３）で当該クエリ脳画像が入力される。そして処理は、ステップＳ４３に戻る。このようにすれば、より具体的な図形を想像することができ、より好ましいクエリ脳画像が計測されるようになり、正しい図面が抽出されるようになる。図１２においては、矢印（４）で示すように、再度検索が実施される。

一方、目的とする図面が提示されていると判断された場合には、検索者は、選択指示を入出力部１３に行う。入出力部１３は、検索者から選択指示を受け付けると（ステップＳ５５：Ｙｅｓルート）、クエリ脳画像を脳画像ＤＢ５に登録すると共に、当該クエリ脳画像が入力の脳画像ＩＤと対応する図面（単品図面）の図面ＩＤとを図３のデータ構造に登録する（ステップＳ５９）。図１２においては、矢印（５）で示すように、クエリ脳画像が入力が脳画像ＤＢ５に登録され、再利用されるようになる。

このように複数部品図面であっても、検索者に必要な図面を抽出して提示することができるようになる。

なお、ステップＳ５７で再度クエリ脳画像を取得する処理例を示したが、例えば特定された単品図面の類似形状を図面ＤＢ１において検索して、検索者に提示するようにしても良い。

［実施の形態５］
検索処理は様々に変形することができ、例えば図１５に示すような検索処理であってもよい。

まず、入出力部１３は、カウンタｉを１に初期化する（ステップＳ６１）。そして、脳画像入力部７は、検索者が検索対象の図面を視認した時又は検索対象の図面を想像した時の脳活動を表すクエリ脳画像を取得し、脳画像格納部８に格納する（ステップＳ６３）。クエリ脳画像は、脳画像全体を用いるようにしても良いし、予め特定されている活動が活発な領域のみを用いるようにしても良い。脳画像の一部を用いる場合には、ＤＢ脳画像についても同様に一部のみを用いることになる。

次に、検索処理部９は、脳画像ＤＢ５内の未処理のＤＢ脳画像を１つ特定する（ステップＳ６５）。そして、検索処理部９は、クエリ脳画像とステップＳ６５で特定されたＤＢ脳画像との類似度を計算し、例えばメインメモリなどの記憶装置に格納する（ステップＳ６７）。ステップＳ６７では、例えば、クエリ脳画像の画素の濃度と、ＤＢ脳画像の対応画素の濃度との差を算出し、当該差の絶対値の総和を類似度として算出するようにしても良い。なお、クエリ脳画像及びＤＢ脳画像の両方でその一部についてのみ画素濃度の差を算出するようにしても良い。

また、クエリ脳画像から色又は形状などの画像特徴量を抽出し、当該画像特徴量から特徴量ベクトルを生成し、ＤＢ脳画像から色又は形状などの画像特徴量を抽出し、当該画像特徴量から特徴量ベクトルを生成し、これらの特徴量ベクトル間の距離を類似度として算出するようにしてもよい。

そして、検索処理部９は、脳画像ＤＢ５内の全てのＤＢ脳画像について処理したか判断する（ステップＳ６９）。未処理のＤＢ脳画像が存在する場合にはステップＳ６５に戻る。一方、脳画像ＤＢ５内の全てのＤＢ脳画像について処理した場合には、図３に示したようなデータ構造によってＤＢ脳画像に対応する図面を、ＤＢ脳画像の類似度の降順にソートする（ステップＳ７１）。図面のデータは図面ＤＢ１から取得され、ソート結果（例えば図６のようなデータ）と共に検索結果格納部１１に格納される。なお、全ての図面データを図面ＤＢ１から取得するのではなく、上位所定数取得すればよい。

入出力部１３は、検索結果格納部１１に格納されたソート結果に基づき、ｉ番目の類似度のＤＢ脳画像に対応する図面を検索者に提示する（ステップＳ７３）。例えば、「スキップ」ボタンと「選択」ボタンと「再検索」ボタンとを表示する。そして、検索者は、該当しない図面が表示された場合には「スキップ」ボタンをクリックする。入出力部１３は、「スキップ」ボタンがクリックされると、当該スキップ指示を受け付け（ステップＳ７５：Ｙｅｓルート）、ｉが最大値であるか判断し（ステップＳ８１）、ｉが最大値であればステップＳ７９に移行する。一方、ｉが最大値でなければｉを１インクリメントして（ステップＳ８３）、ステップＳ７３に戻る。

一方、「スキップ」ボタンでなく（ステップＳ７５：Ｎｏルート）、「再検索」ボタンがクリックされると、脳画像入力部７は、当該再検索指示を受け付け（ステップＳ７７：Ｙｅｓルート）、提示内容を見た後に再度検索対象の図面を想像した場合におけるクエリ脳画像を取得して脳画像格納部８に格納する（ステップＳ７９）。そして、入出力部１３は、カウンタｉを１に初期化し（ステップＳ８０）、ステップＳ６５に戻る。

また、検索者は、自ら視認した図面又は想像した図面が出力されると、「選択」ボタンをクリックする。入出力部１３２は、当該図面の選択指示を受け付け（ステップＳ７７：Ｎｏルート）、当該図面の図面ＩＤを脳画像管理部３に出力する。また、入出力部１３は、脳画像格納部８に格納したクエリ画像を脳画像ＤＢ５に登録するように検索処理部９に指示し、検索処理部９は、当該指示に応じて、クエリ脳画像を脳画像ＤＢ５に登録する。また、脳画像管理部３は、図面ＩＤとクエリ脳画像のＩＤとを対応付けて例えば図３のようなテーブルに登録する（ステップＳ８５）。このようにすれば、後の検索の際にクエリ脳画像がＤＢ脳画像として用いられることになり有用である。

以上のような処理を行うことによって、クエリ脳画像を徐々に検索者のイメージに合わせてゆくことができるようになる。

［実施の形態６］
例えば以下のような処理を行うことによって、図面と脳画像との関係を抽出して、新たなデータとして脳画像ＤＢ５に登録することができる。

脳画像管理部３は、図面ＤＢ１の各図面から色や形状などの画像特徴量（例えば非特許文献１で述べている画像特徴量）を抽出し、当該画像特徴量を入力データとしてＳＯＭ（Self Organization Map）を用いて、二次元平面上に画像特徴量が類似した図面に対応するＤＢ脳画像が近くに集まるように配置し、ユーザに提示する（図１６：ステップＳ９１）。例えば、図１７（ａ）に示すように、脳画像ＤＢ５に格納されているＤＢ脳画像を二次元的に配置する。図１７（ａ）の例では枠５１内のＤＢ脳画像はほぼ同じになっている。ステップＳ９１は、例えば図面の画像特徴量を入力データとしてＳＯＭを適用したが、ＤＢ脳画像の画像特徴量を入力データとしてＳＯＭを適用し、ＤＢ脳画像を二次元的に配置するようにしても良い。なお、ＳＯＭを用いた配置方法については、例えば、上原，遠藤，椎谷，増本，長田：仮想空間での情報構造表現に基づく画像群からの知識発見支援システム, 人工知能学会研究会資料, SIG-FAI/KBS-J-40, pp.243-250(2001)に開示されており、本実施の形態の主要部ではないので、これ以上説明しない。

ユーザは、提示内容から例えば枠５１内のＤＢ脳画像を選択する。そうすると、脳画像管理部３は、ＤＢ脳画像の選択を受け付け（ステップＳ９３）、例えば図３のようなデータ構造から、選択されたＤＢ脳画像に対応する図面を特定し、ＤＢ脳画像と同様に配置してユーザに提示する（ステップＳ９５）。例えば図１７（ｂ）のような表示を行う。図１７（ｂ）では、枠５１内のＤＢ脳画像だけではなく周辺のＤＢ脳画像に対応する図面も同様の配置で提示される例を示している。図１７（ｂ）の枠５２は、図１７（ａ）の枠５１に対応するものであり、ほぼ同じ三角形の図面が配置されている。なお、図１７（ａ）と（ｂ）については画面を切り替えても良いが、同時に並列配置することが好ましい。さらに、別ウインドウで提示するようにしても良い。

ユーザは図１７（ｂ）のような提示内容を参照して、ＤＢ脳画像と図面との間に共通のルールが存在しないかを判断する。図１７（ｂ）の例では、類似するＤＢ脳画像に対応して類似する三角形の図面が捉えられるので、例えば図１７（ｃ）に示すような関係を特定し、例えばＤＢ脳画像と図面とを選択して脳画像管理部３に入力する。

脳画像管理部３は、ＤＢ脳画像と図面との関係付けの入力を受け付け、例えば図３のようなデータ構造に、ＤＢ脳画像ＩＤと図面ＩＤとを登録する（ステップＳ９７）。

このようにすることで新たな関係を脳画像ＤＢに登録することができるようになる。

［実施の形態７］
脳画像の計測負荷を緩和するため、類似度が極度に高い図面が複数存在する場合には、代表図面のみをユーザに視認させ、その脳画像を他の類似図面にも付与するようにしてもよい。例えば、脳画像管理部３は、各図面の画像特徴量（例えば非特許文献１における特徴量）を算出しておき、図面ＤＢ１に登録しておく。そして、脳画像入力部７は、算出した画像特徴量間の距離が予め指定しておいた閾値未満の場合には類似度が高いとみなし、その中のいずれかの図面だけをユーザに提示してその際の脳画像を計測し、脳画像管理部３に出力する。脳画像管理部３は、今回測定した脳画像のデータを脳画像ＤＢ５に登録すると共に、ユーザに提示した図面の図面ＩＤと今回計測した脳画像の脳画像ＩＤとを図３のようなデータ構造に登録する。さらに、画像特徴量間の距離が予め指定しておいた閾値未満の図面にも同一の脳画像ＩＤを対応付けて、図３のようなデータ構造に登録する。

脳画像の計測負荷が軽減され、より多くの図面に脳画像が対応付けられる。

［実施の形態８］
クエリ脳画像を計測するには、例えばｆＭＲＩの測定装置が必要となる。従って、必ずしもクエリ脳画像を容易に取得できない場合もある。そのような場合のために、脳画像入力部７の代わりに、ニューラルネットワークを用いるようにしても良い。ニューラルネットワークについては周知であるから詳細には述べない。

本実施の形態の場合、図１８（ａ）に示すように、学習フェーズでは、登録図面の画像特徴量（例えば非特許文献１における画像特徴量）を入力データとして対応する脳画像を出力データとする学習を行う。そして、検索時には予測フェーズとしては、図１８（ｂ）に示すように、検索者はクエリ図面（検索対象図面又はそれに近い図面）を用意して、当該クエリ図面の画像特徴量を算出し、ニューラルネットワークに入力する。そうすると、ニューラルネットワークからクエリ脳画像が出力され、脳画像格納部８に格納される。以降は、上で述べたのと同様の処理を実施すれば、図面が抽出される。

［実施の形態９］
また、検索処理部９及び脳画像ＤＢ５の代わりにニューラルネットワークを用いることも可能である。すなわち、図１９（ａ）に示すように、学習フェーズでは脳画像を入力とし、対応する登録図面を出力として学習を行う。そして、検索時には予測フェーズとして、図１９（ｂ）に示すように、クエリ脳画像を入力すれば、ニューラルネットワークから対応する図面が出力される。

このようにすればニューラルネットワークによって同様の機能を実現することができるようになる。

以上のような検索装置を用いることによって、従来は「検索者がクエリとして意図した内容を、どのようにしてクエリ図面として具現化して効率的に入力すべきか」という入力手段の検討が必要であったが、検索者が想像すれば脳画像を計測可能であるため、クエリ図面を予め用意する必要が無くなるという効果がある。

また、従来の類似形状検索技術では、図面検索に利用する形状特徴量をシステム開発者が予め決めておく必要があり、形状特徴量の類似性により図面検索を実行していた。一方、本実施の形態では、検索者が図面を視認したときに計測した脳画像の類似性を用いて、図面検索を実行するため、形状特徴量を予め決めておく必要がなく、検索者が意図する類似性を検索結果に加味しやすいという副次的な利点もある。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、図２に示した機能ブロック図は一例であって、実際のモジュール構成は異なる場合もある。さらに、処理フローについても並列実行できる部分や順番を入れ替えることができる部分も存在する。その他主要部でない部分については様々な変形が可能である。

なお、本実施の形態における検索装置は、コンピュータ装置であって、図２０に示すように、メモリ２５０１とＣＰＵ２５０３とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。必要に応じてＣＰＵ２５０３は、表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、必要な動作を行わせる。また、処理途中のデータについては、メモリ２５０１に格納され、必要があればＨＤＤ２５０５に格納される。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及び必要なアプリケーション・プログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

（付記１）
人間が知覚可能なコンテンツを検索する検索方法であって、
検索対象となるコンテンツを知覚した際又は想像した際における検索者の脳の活動状態を表すクエリ脳画像を取得する取得ステップと、
前記コンテンツを知覚した際における脳の活動状態を表す脳画像と当該コンテンツとを対応付ける構造を用いて、前記クエリ脳画像に対応するコンテンツを特定する特定ステップと、
前記クエリ脳画像に対応するコンテンツを出力する出力ステップと、
を含み、コンピュータにより実行される検索方法。

（付記２）
前記構造が、前記コンテンツを知覚した際における脳の活動状態を表すＤＢ脳画像を当該コンテンツに対応して格納するデータベースであり、
前記特定ステップが、
前記データベースを前記クエリ脳画像で検索し、当該クエリ脳画像と所定の類似性を有するＤＢ脳画像を特定するステップと、
特定された前記ＤＢ脳画像に対応するコンテンツを前記データベースから特定するステップと、
を含む付記１記載の検索方法。

（付記３）
前記所定の類似性が、前記ＤＢ脳画像の画素の濃度と前記クエリ脳画像の対応画素の濃度との差、又は前記クエリ脳画像の一部の画素の濃度と前記ＤＢ脳画像の対応画素の濃度との差に基づき決定される
付記２記載の検索方法。

（付記４）
前記所定の類似性が、前記ＤＢ脳画像についての特徴量と前記クエリ脳画像についての特徴量との距離に基づき決定される
付記２記載の検索方法。

（付記５）
前記データベースに、前記ＤＢ脳画像に対応して当該ＤＢ脳画像が測定されたユーザのユーザＩＤが登録されており、
前記特定ステップが、
前記データベースにおいて前記検索者のユーザＩＤで前記ＤＢ脳画像を絞り込むステップ
を含む、付記２記載の検索方法。

（付記６）
前記特定ステップが、
絞り込まれた前記ＤＢ脳画像から前記所定の類似性を有するＤＢ脳画像を抽出できない場合、前記検索者のユーザＩＤとは無関係に又は前記検索者のユーザＩＤ以外のユーザＩＤを用いて前記データベースを検索するステップと、
をさらに含む付記５記載の検索方法。

（付記７）
前記データベースに、前記ＤＢ脳画像に対応して当該ＤＢ脳画像が測定されたユーザのユーザＩＤが登録されており、
前記ＤＢ脳画像は、ユーザＩＤ単位でクラスタリングされており、
各クラスタは、テスト・コンテンツを知覚した際における該当ユーザの脳の活動状態を表すテスト登録脳画像を含み、
前記テスト・コンテンツを知覚した際における前記検索者の脳の活動状態を表すテスト脳画像を取得するステップと、
前記テスト脳画像と前記データベースに格納されている各前記クラスタのテスト登録脳画像とを比較して、前記テスト脳画像が属するクラスタを特定するステップと、
をさらに含み、
前記特定ステップが、
前記データベースにおいて前記テスト脳画像が属するクラスタで前記ＤＢ脳画像を絞り込むステップ
を含む、付記２記載の検索方法。

（付記８）
前記データベースに、前記クエリ脳画像を当該クエリ脳画像に対する検索結果として特定されたコンテンツに対応付けて登録するステップ
をさらに含む付記１記載の検索方法。

（付記９）
前記データベースに、前記テスト脳画像を前記テスト・コンテンツに対応付けて登録するステップ
をさらに含む付記７記載の検索方法。

（付記１０）
前記コンテンツが単一の図面であり、
前記コンテンツである特定の図面及び当該特定の図面を含む図面の組み合わせを管理するデータ構造によって、前記特定ステップで特定されたコンテンツである図面を含む前記図面の組み合わせを特定するステップ
をさらに含み、
前記出力ステップが、
前記特定ステップで特定された前記図面にマークを付して、特定された前記図面の組み合わせを出力するステップ
を含む付記１記載の検索方法。

（付記１１）
前記特定ステップが、
前記クエリ脳画像と所定の類似性を有するＤＢ脳画像を、当該ＤＢ脳画像の類似度に基づき降順にソートするステップ
をさらに含み、
前記出力ステップが、
前記ソートの順番で、前記クエリ脳画像に対応するコンテンツを出力するステップ
を含み、
さらに、前記検索者が指示したタイミング又は任意のタイミングで、前記検索者の第２のクエリ脳画像を取得するステップと、
前記特定ステップと前記出力ステップとを、前記第２のクエリ脳画像について実施するステップと、
を含む付記２記載の検索方法。

（付記１２）
前記取得ステップが、
コンテンツの特徴量を入力データとし且つ当該コンテンツを知覚した際における脳の活動を表す脳画像を出力データとして学習したニューラルネットワークに、検索対象のコンテンツの特徴量を入力して、対応する脳画像を取得するステップ
を含む付記１記載の検索方法。

（付記１３）
前記構造が、脳画像を入力データとし且つ当該脳画像に対応するコンテンツを出力データとして学習したニューラルネットワークである
付記１記載の検索方法。

（付記１４）
人間が知覚可能なコンテンツを検索する検索装置であって、
検索対象となるコンテンツを知覚した際又は想像した際における検索者の脳の活動状態を表すクエリ脳画像を取得する取得手段と、
前記コンテンツを知覚した際における脳の活動状態を表す脳画像と当該コンテンツとを対応付ける構造を用いて、前記クエリ脳画像に対応するコンテンツを特定する特定手段と、
前記クエリ脳画像に対応するコンテンツを出力する出力手段と、
を有する検索装置。

（付記１５）
前記構造が、前記コンテンツを知覚した際における脳の活動状態を表すＤＢ脳画像を当該コンテンツに対応して格納するデータベースであり、
前記特定手段が、
前記データベースを前記クエリ脳画像で検索し、当該クエリ脳画像と所定の類似性を有するＤＢ脳画像を特定し、
特定された前記ＤＢ脳画像に対応するコンテンツを前記データベースから特定する、
付記１４記載の検索装置。

（付記１６）
前記データベースに、前記ＤＢ脳画像に対応して当該ＤＢ脳画像が測定されたユーザのユーザＩＤが登録されており、
前記ＤＢ脳画像は、ユーザＩＤ単位でクラスタリングされており
各クラスタは、テスト・コンテンツを知覚した際における該当ユーザの脳の活動状態を表すテスト登録脳画像を含み、
前記データベースを検索して最も多くのユーザがＤＢ脳画像を登録しているコンテンツ又は予め定められたコンテンツをテスト・コンテンツとして特定する手段、
をさらに含み、
前記取得手段が、
前記テスト・コンテンツを知覚した際における前記検索者の脳の活動状態を表すテスト脳画像を取得し、
前記特定手段が、
前記テスト脳画像と前記データベースに格納されている各前記クラスタのテスト登録脳画像とを比較して、前記テスト脳画像が属するクラスタを特定し、
前記データベースにおいて前記テスト脳画像が属するクラスタで前記ＤＢ脳画像を絞り込む
付記１５記載の検索装置。

（付記１７）
前記クラスタを、動的に変更する手段
をさらに有する付記１６記載の検索装置。

（付記１８）
所定の基準以上の類似性を有する複数のコンテンツを検出した場合、当該複数のコンテンツに１の脳画像を対応付けて前記データベースに登録する手段
をさらに有する付記１４記載の検索装置。

（付記１９）
前記コンテンツの特徴量に基づき対応する前記ＤＢ脳画像を配置してユーザに提示する手段と、
前記ＤＢ脳画像の配置と同様の配置で前記コンテンツを前記ユーザに提示する手段と、
前記ユーザにより特定されたコンテンツとＤＢ脳画像との対応関係を前記データベースに登録する手段と、
をさらに有する付記１４記載の検索装置。

（付記２０）
前記ＤＢ脳画像の特徴量に基づき当該ＤＢ脳画像を配置してユーザに提示する手段と、
前記ＤＢ脳画像の配置と同様の配置で、対応する前記コンテンツを前記ユーザに提示する手段と、
前記ユーザにより特定されたコンテンツとＤＢ脳画像との対応関係を前記データベースに登録する手段と、
をさらに有する付記１４記載の検索装置。

（付記２１）
付記１乃至１３記載の検索方法をコンピュータに実行させるためのプログラム。

本発明の実施の形態の概要を示す図である。 本発明の実施の形態における検索装置の機能ブロック図である。 脳画像ＤＢで管理されるデータ例を示す図である。 第１の検索処理の処理フローを示す図である。 脳画像ＤＢで管理されるデータ例を示す図である。 ソート結果の一例を示す図である。 ユーザＩＤに基づく絞り込みを行う場合の概要図である。 クラスタリング処理の処理フローを示す図である。 脳画像ＤＢで管理されるデータ例を示す図である。 クラスタリングを用いた検索処理を説明するための図である。 ＤＢ脳画像特定処理の処理フローを示す図である。 複数部品図面が存在する場合の処理の概要を示す図である。 複数部品図面が存在する場合に図面ＤＢで管理されるデータ例を示す図である。 第２の検索処理の処理フローを示す図である。 第３の検索処理の処理フローを示す図である。 登録支援処理の処理フローを示す図である。 （ａ）乃至（ｃ）は、登録支援処理を説明するための図である。 ニューラルネットワークを用いる第１の例を示す図である。 ニューラルネットワークを用いる第２の例を示す図である。 コンピュータの機能ブロック図である。

符号の説明

１ 図面ＤＢ
３ 脳画像管理部
５ 脳画像ＤＢ
７ 脳画像入力部
８ 脳画像格納部
９ 検索処理部
１１ 検索結果格納部
１３ 入出力部

Claims (5)

1. 人間が知覚可能なコンテンツを検索する検索方法であって、
   検索対象となるコンテンツを知覚した際又は想像した際における検索者の脳の活動状態を表すクエリ脳画像を取得する取得ステップと、
   前記コンテンツを知覚した際における脳の活動状態を表す脳画像と当該コンテンツとを対応付ける構造を用いて、前記クエリ脳画像に対応するコンテンツを特定する特定ステップと、
   前記クエリ脳画像に対応するコンテンツを出力する出力ステップと、
   を含み、コンピュータにより実行される検索方法。
2. 前記構造が、前記コンテンツを知覚した際における脳の活動状態を表すＤＢ脳画像を当該コンテンツに対応して格納するデータベースであり、
   前記特定ステップが、
   前記データベースを前記クエリ脳画像で検索し、当該クエリ脳画像と所定の類似性を有するＤＢ脳画像を特定するステップと、
   特定された前記ＤＢ脳画像に対応するコンテンツを前記データベースから特定するステップと、
   を含む請求項１記載の検索方法。
3. 前記データベースに、前記ＤＢ脳画像に対応して当該ＤＢ脳画像が測定されたユーザのユーザＩＤが登録されており、
   前記ＤＢ脳画像は、ユーザＩＤ単位でクラスタリングされており、
   各クラスタは、テスト・コンテンツを知覚した際における該当ユーザの脳の活動状態を表すテスト登録脳画像を含み、
   前記テスト・コンテンツを知覚した際における前記検索者の脳の活動状態を表すテスト脳画像を取得するステップと、
   前記テスト脳画像と前記データベースに格納されている各前記クラスタのテスト登録脳画像とを比較して、前記テスト脳画像が属するクラスタを特定するステップと、
   をさらに含み、
   前記特定ステップが、
   前記データベースにおいて前記テスト脳画像が属するクラスタで前記ＤＢ脳画像を絞り込むステップ
   を含む、請求項２記載の検索方法。
4. 請求項１乃至３のいずれか１つ記載の検索方法をコンピュータにより実行させるためのプログラム。
5. 人間が知覚可能なコンテンツを検索する検索装置であって、
   検索対象となるコンテンツを知覚した際又は想像した際における検索者の脳の活動状態を表すクエリ脳画像を取得する取得手段と、
   前記コンテンツを知覚した際における脳の活動状態を表す脳画像と当該コンテンツとを対応付ける構造を用いて、前記クエリ脳画像に対応するコンテンツを特定する特定手段と、
   前記クエリ脳画像に対応するコンテンツを出力する出力手段と、
   を有する検索装置。

Images