JP2014085114A - 物質特定システム、物質特定装置、物質特定方法、およびプログラム - Google Patents

Abstract

【課題】 複数の要素から物質を特定することが可能な装置を提供する。
【解決手段】 物質特定装置１の制御部１１は、特定対象物の特定に利用する情報を管理する情報管理部１１１と、試料の画像から分析を行う画像分析部１１２と、試料の匂い情報から分析を行う匂い分析部１１３と、両分析結果から試料を特定する試料特定部１１４と、特定された試料に関する情報を出力する情報出力部１１５と、を有している。
【選択図】 図１

Description

本発明は、物質を特定する技術に関する。

従来、香りや画像から物質を特定する技術が知られている。例えば、匂いセンサの検出信号を複数次元の座標系におけるベクトルであらわし、その大きさ及び傾きから匂いの種類（香質）を測定する匂い測定方法がある。また、花または葉の画像から複数の特徴量を求め、データベース中から一致する植物を特定する植物認識システムも知られている。

特開２００４−２０５２５８号公報 特開２００２−２０３２４２号公報

しかしながらこのような技術では、香り、または画像という一つの要素からデータベース中を検索するため、類似する香りや画像が存在する場合、正しい判断行うのが難しい可能性があった。

そこで本発明は、複数の要素から物質を特定することが可能な装置を提供することを目的とする。

すなわち、本発明に係る物質特定装置は、標準物質の画像及び匂いの標準パターンを記憶する記憶部と、試料の画像を、前記標準物質の画像と比較する画像分析部と、前記試料の匂いを、前記標準物質の匂いと比較する匂い分析部と、前記比較の結果から、前記試料に該当する物質を特定する試料特定部と、を備えることを特徴とする。

また、本発明に係る物質特定システムは、端末装置と、サーバと、を有する物質特定システムであって、前記サーバは、標準物質の画像及び匂いのパターンを記憶する記憶部と、前記端末装置から、試料の画像及び匂いを取得する情報取得部と、前記試料の画像を、前記標準物質の画像と比較する画像分析部と、前記試料の匂いを、前記標準物質の匂いと比較する匂い分析部と、前記比較の結果から、前記試料に該当する物質を特定する試料特定部と、を備えることを特徴とする。

複数の要素から物質を特定することが可能な装置を提供できる。

物質特定システム１００の機能構成を説明するためのブロック図である。 試料情報１２３０の概略説明図である。 （ａ）受付画面１１００Ａの一例を示す説明図である。（ｂ）受付画面１１００Ｂの一例を示す説明図である。 （ａ）特徴量テーブル４００の概略説明図である。（ｂ）候補選択テーブル５００の概略説明図である。 （ａ）画像データベース１９２１の概略説明図である。（ｂ）匂いデータベース１９２２の概略説明図である。 物質情報９３０の概略説明図である。 （ａ）画像候補情報６０１の概略説明図である。（ｂ）匂い候補情報６０２の概略説明図である。 （ａ）（ｂ）表示画面の一例を示す説明図である。 制御部１１の実行する処理の流れを示すフローチャートである。 物質特定装置１の電気的な構成を示すブロック図である。 表示画面のさらなる例を示す説明図である。

＜第一の実施形態＞
本発明の第一の実施形態に係る物質特定システム１００は、香り及び画像の組み合わせから物質を特定し、当該物質に関する情報を出力するものである。以下、物質特定システム１００について、図面を参照しながら説明する。図１は、物質特定システム１００の機能構成を説明するためのブロック図である。

図１に示すように、物質特定システム１００は、物質特定装置１と、匂い検出装置１８と、データサーバ１９と、を備えている。

本実施形態に係る物質特定装置１は例えば、一般的なコンピュータや、携帯電話機、デジタルカメラ、携帯ゲーム機、タブレット型コンピュータ等の携帯性を有する端末であるが、必ずしもこの限りではなく、以下に記載する機能を実現可能なものであればどのような装置であってもよい。

匂い検出装置１８は、周囲の匂いを検出するセンサであり、例えば半導体ガスセンサを利用することができる。半導体ガスセンサとは、酸素を吸着する酸化スズ等の多孔質体の吸着した酸素が還元物質で消費されることによる電気抵抗の変化を検出することで、ガス濃度を測定するものである。また、このような半導体ガスセンサは、材料や添加触媒等により感度に大きな差を生じる。本実施形態に係る匂い検出装置１８ではこの性質を利用して、匂い検出部Ａ及び匂い検出部Ｂの２つの異なる匂いセンサを使用することで、匂いから物質を特定する。例えば、一方は分子量が比較的大きな匂いに対して感度が高く、他方は分子量が比較的小さな匂いに対して感度が低いセンサを用いる。

なお、匂い検出部Ａ及び匂い検出部Ｂは、所定間隔のタイミング毎に其々検出信号を出力する。これらの検出信号Ａ及び検出信号Ｂは、ＩＦ部１３を介して物質特定装置１へと送信され、測定タイミングと紐付けられて匂い情報記憶領域１２２にそれぞれ格納される。

具体的に物質特定装置１は、各部を統括制御する制御部１１と、処理に要する情報を記憶する記憶部１２と、各部及び各装置間を接続する入出力インターフェース部（以下、ＩＦ部と称する）１３と、被写体を撮像するための撮像部１４と、映像信号を表示画面として表示する表示部１５と、利用者からの操作を受け付ける操作部１６と、を備えている。

ＩＦ部１３は、各機能部間及び各装置間を情報の送受信可能に接続するインターフェースを提供する。

撮像部１４は、光学系と撮像素子を利用して被写体を撮像する。これには例えば、光を検出して電荷を発生させるフォトダイオードを光電変換素子に使用する、ＣＣＤやＣＭＯＳ等の撮像素子を備えた撮像装置が挙げられる。なお、撮像画像はＩＦ部１３を介して物質特定装置１へと送信され、画像情報として画像情報記憶領域１２１に格納される。

表示部１５は、供給される画像信号に基づいて、駆動回路が表示パネルに任意の表示画面を表示させる。これには例えば、液晶パネルとその駆動回路とを備える一般的なＬＣＤ（Liquid Crystal Display）等が挙げられる。

操作部１６は、利用者からの操作指示を受け付ける。これには例えば、マウス等の任意のポインティングデバイスや、キーボード、タッチパネル等のマンマシンインターフェースが挙げられる。

次に、制御部１１について説明する。制御部１１は、特定対象物質（以下、試料と称する）の特定に利用される情報を管理する情報管理部１１１と、試料の画像から分析を行う画像分析部１１２と、試料の匂い情報から分析を行う匂い分析部１１３と、両分析結果から試料を特定する試料特定部１１４と、特定された試料に関する情報を出力する情報出力部１１５と、を有している。

情報管理部１１１は、試料の特定に利用する情報の入力を受け付け、当該情報を図２に示すような試料情報１２３０により管理する。試料情報１２３０は、特定対象物質である試料のＩＤが格納される試料ＩＤ格納領域１２３ａと、試料に関して事前に明らかな情報が格納される予備情報格納領域１２３ｂと、試料の画像に関する情報が格納される画像情報格納領域１２３ｃと、試料の匂いに関する情報が格納される匂い情報格納領域１２３ｄと、物質候補に関する情報が格納される候補格納領域１２３ｅと、を有している。

具体的に情報管理部１１１は、プログラムが開始されると、記憶部１２の試料情報記憶領域１２３に記憶される試料情報１２３０に新たなレコードを作成して、試料ＩＤ格納領域１２３ａに一意に定まる試料ＩＤを格納する。そして、情報管理部１１１は、表示部１５に所定の受付画面を表示させる。

図３（ａ）及び図３（ｂ）は、受付画面の一例を示す説明図である。図３（ａ）に示す受付画面１１００Ａは、試料に関して事前に明らかな情報を受け付ける予備情報設定領域１１ａと、分析に利用する画像の設定を受け付ける画像設定領域１１ｂと、分析に利用する匂い情報の設定を受け付ける匂い設定領域１１ｃと、分析の開始操作を受け付ける開始操作領域１１ｄと、を有する画面である。

予備情報設定領域１１ａは、試料に関して事前に明らかな情報を分類として受け付けるものである。具体的に情報管理部１１１は、予備情報設定領域１１ａに表示される「入力」が操作されると、図３（ｂ）に示すような分類受付画面１１００Ｂを表示し、利用者に試料を分類させる。これは階層毎に選択肢を表示し、利用者に選ばせることで実行される。例えば、最初の階層の選択肢として「植物」「食品」「汚れ」等を表示する。利用者が「植物」を選択すれば、次の階層の選択肢「花」「草」「木」等を表示し、利用者が「花」を選択すれば、さらに次の階層の選択肢「バラ」「サクラ」「ウメ」等を表示する。なお、その際にはどの階層で選択を終了してもよい。入力された分類情報は、試料情報１２３０の予備情報格納領域１２３ｂに格納される。

なお、最下層では、特定対象である試料の名称（例えば、花であれば品種名）を選択することができるものとする。このような場合はすでに試料の名称を利用者が認識している場合である。

なお、分類入力は必ずしも必要ではなく、その場合には、後述する画像情報や匂い情報を分類用のデータベースと比較することにより、最初に該当する分類を特定すればよい。しかしながら予め情報を入力しておくことによって、分析処理の速度や精度が向上するうえ、後に画像から適した特徴量を抽出することが可能となるため、予め設定を促すことが望ましい。以下では、利用者により分類が設定されているものとして説明する。

図３（ａ）に戻って、情報管理部１１１は、画像設定領域１１ｂを開始試料の撮像画像の設定を受け付ける。ここでは例えば、記憶部１２に記憶される既存の画像から対象を選択する「フォトアルバム」、その場で撮像を行う「撮像開始」の選択肢を表示する。利用者により「フォトアルバム」が選択された場合には、記憶部１２の画像情報記憶領域１２１に記憶される画像リストを表示して、既存の画像の中から対象画像の選択を受け付ける。「撮像開始」が選択された場合には、情報管理部１１１は撮像部１４に撮像を開始させ、取得した撮像画像を画像情報記憶領域１２１へと記憶させる。そして、試料情報１２３０の画像情報格納領域１２３ｃに、画像を特定する情報（画像ＩＤ）を格納する。

なお、撮像を行う際、情報管理部１１１は、試料の撮像部位や撮像方向等を指示するヘルプ情報を表示部１５に表示させてもよい。その際、予備情報の分類に応じてヘルプ情報を選択することができる。例えば分類が「花」の場合には、「１つの花を正面から画面いっぱいに撮像してください」等のヘルプ情報を表示させる。また例えば分類が「ワイン」の場合には、ラベルが存在すればラベルを撮像するよう促したり、分類が「シミ汚れ」の場合には、境界部分を拡大して撮像するように促したり等、試料に適した撮像方法をガイドする。

情報管理部１１１は、香り設定領域１１ｃによって試料の匂い情報の設定を受け付ける。この処理も画像と同様に、記憶部１２に記憶される既存の匂い情報から対象を選択する「香りアルバム」、その場で測定を行う「測定開始」の選択肢を表示して、利用者に選択させることができる。利用者により「香りアルバム」が選択された場合には、記憶部１２の匂い情報記憶領域１２２に記憶される匂い情報リストを表示して、既存の匂い情報の選択を受け付ける。「測定開始」が選択された場合には、接続される匂い検出装置１８の測定を開始させ、取得した匂い情報匂い情報記憶領域１２２へと記憶させる。そして、試料情報１２３０の匂い情報格納領域１２３ｄに、匂い情報を特定する情報（匂いＩＤ）を格納する。

なおその際、情報管理部１１１は、匂いの測定部位や測定時間等を指示するヘルプ情報を表示してもよい。ヘルプ情報は前述のように、予備情報の分類に応じたものを選択し表示することができる。例えば分類が「花」の場合には、「花の中央から上１センチの位置で、１分間以上止まっていて下さい」等のヘルプ情報を表示させる。

情報管理部１１１は、予備情報と、試料の画像情報及び匂い情報と、が設定されると、分析開始指示領域１１ｄをアクティブとして分析開始指示の入力の受け付けを開始する。

画像分析部１１２は、分析開始指示が入力されると、画像の分析を開始する。具体的に画像分析部１１２は、分析対象の画像から特徴量を抽出する。この特徴量とは、試料の特定に利用可能なものであればどのようなものでもよく、例えば前述の特許文献に記載されるような公知の特徴量を用いることができる。

その際画像分析部１１２は、上記予備情報格納領域１２３ｂに格納される分類に適した特徴量を抽出するのが望ましい。例えば、図４（ａ）に記載されるような、試料の予備情報における分類と、当該分類の際に算出すべき画像及び匂いの特徴量の種類が紐付けられた特徴量テーブル４００を予め記憶しておく。これにより画像分析部１１２は、試料の分類に適した特徴量を求めることができる。例としては、試料の分類が「花」である場合には、花の輪郭や花弁の数、大きさ、色等を特徴量として算出する。他の例として、分類が「ワイン」である場合には、色等を特徴量として用いることができる。なお、ラベルが撮像されているものであれば、ラベルを文字認識した結果を特徴量としてもよい。また、分類が「シミ汚れ」である場合には、付着している物質によって差が出る色やエッジの滑らかさ、コントラスト等を特徴量として用いることができる。算出された特徴量は、試料情報１２３０の画像情報格納領域１２３ｃへと格納される。なお、特徴量テーブル４００に登録される特徴量の種類は、後述の標準パターンの特徴量と対応していることが望ましい。

次に画像分析部１１２は、データサーバ１９に、画像から試料を特定する処理を実行させる。ここでまず、データサーバ１９について説明する。データサーバ１９は、各部を統括制御する制御部１９１と、検索用のデータを蓄積する記憶部１９２と、各部及び各装置間を接続するＩＦ部１９３と、を備えている。

記憶部１９２には、検索用データベース９２０が記憶されている。検索用データベース９２０には、画像情報から試料を特定するための画像データベース１９２１と、匂い情報から試料を特定するための匂いデータベース１９２２と、が格納されている。図５（ａ）に、画像データベース１９２１の概略説明図を、図５（ｂ）に、匂いデータベース１９２２の概略説明図を示す。画像データベース１９２１及び匂いデータベース１９２２は、標準物質の所定の状態別にレコードが登録されるものである。状態とは例えば、花の開花状況、開花後日数、発酵食品の発酵日数、酒類の醸造年数、汚れの付着後日数等、主に経時変化や環境変化に基づく状態である。画像データベース１９２１及び匂いデータベース１９２２は、このような状態別に、標準パターンの画像又は匂いの特徴量を格納している。

具体的に、画像データベース１９２１は、各レコードを識別するためのＩＤが格納されるレコードＩＤ格納領域９２１ａと、標準物質の分類が登録される分類情報９２１ｂと、画像の標準パターン（特徴量）が登録される画像パラメータ格納領域９２１ｃと、標準物質の状態が格納される状態格納領域９２１ｄと、標準物質に関する一般的な情報が格納される物質情報格納領域９２１ｅと、を有している。

分類情報９２１ｂに格納される分類情報とは、前述した予備情報と同様の分類系統からなる情報である。例えば、「植物」−「花」−「バラ」−「つる性」−「ピエール・ド・ロンサール（品種名）」のように、当該レコードが表す標準物質の名称までの分類が階層順に最下層まで登録されている。

状態格納領域９２１ｄに格納される状態情報とは、上記した標準物質の状態に関する情報が格納されているものである。その内容は、標準物質の実際の状態だけでなく、見頃や食べ頃、旬、具体的な味、注意事項等、標準物質の状態に関する情報であれば、どのようなものであってもよい。

物質情報格納領域９２１ｅに格納される物質情報とは、各レコードに応じた標準物質の一般的な情報である。物質情報９３０の概略説明図を図６に示す。物質情報９３０は、各標準物質（分類の最下層）ごとにレコードが用意され、標準物質の名称が格納される名称格納領域９３０ａと、標準物質の説明が格納される物質情報９３０ｂと、を有する。なお、名称格納領域９３０ａに格納される標準物質の名称と、分類情報格納領域９２１ｂ、９２２ｂに格納される最下層の分類は、同様の内容であるものとする。

画像分析部１１２の処理に戻り、画像分析部１１２は、試料情報１２３０から分析対象となる試料のレコードを読み出して、データサーバ１９に送信する。制御部１９１は、試料のレコードを受信すると、画像データベース１９２１から、試料に該当する標準物質を検索する。

具体的に、制御部１９１はまず、受信した試料情報の予備情報格納領域１２３ｂから利用者により設定された分類を読み込み、画像データベース１９２１から設定された分類に一致する分類情報を有するレコードを抽出する。そして、抽出されたレコードの画像パラメータ格納領域９２１ｃに格納される標準パターンの特徴量と、画像情報１２３ｃに格納される分析対象画像の特徴量（大きさ、色等）と、の各特徴量についてパターン認識を行う。なお、パターン認識については公知のどのような方法を用いてもよく、ここでは任意の方法で各特徴量を比較した、ユークリッド距離を０から任意の数値（例えば１）の間に収まるように正規化したものとする。

次に制御部１９１は、候補となるレコードを画像データベース１９２１から抽出する。選択される候補の数についてはいくつであってもよいが、例えば、各類似度を平均値として統合し、所定の閾値以上である標準パターンを有するレコードのレコードＩＤを抽出するものとする。

なお、類似度を候補の選択にどのように利用するかについては、上記に限定されない。例えば各類似度毎に閾値を定め、全ての類似度が閾値以上のレコードを選択してもよい。また、各類似度に重み係数を配し、当該重み係数から定まる割合で統合した全体の類似度を算出し、閾値と比較してもよい。

制御部１９１は、抽出したレコードのレコードＩＤに、対応する分類情報と類似度情報とを紐付けた画像候補情報６０１を生成し、物質特定装置１へと送信する。図７（ａ）に、画像候補情報６０１の概略説明図を示す。類似度情報とは、上述の処理で算出された画像の各類似度に関する情報である。画像分析部１１２は、画像候補情報６０１を受信すると、これを試料情報１２３０の画像候補格納領域１２３ｆへと格納し、匂い分析部１１３に匂い分析処理の開始要求を出力する。

匂い分析部１１３は、匂い分析処理の開始要求を受け付けると、匂いの分析を開始する。具体的に、匂い分析部１１３は分析対象の匂い信号から特徴量を抽出して、検索用に予め用意されている匂いデータベースから該当するものを検索する。この特徴量とは、試料の特定に利用可能なものであればどのようなものであってもよく、前述の特許文献に記載されるような公知の方法を用いることができる。

例えば本実施形態においては、匂い検出装置１８の有する匂い検出部Ａ及びＢによる検出信号Ａ及びＢを利用する。具体的には、所定の測定タイミングにおける横軸に検出信号Ａの値を、縦軸に検出信号Ｂの値をプロットして得られるベクトルの大きさ、傾き、及びその時間変化特性のパラメータ（例えば、大きさ、傾きの立ち上がり時間や持続時間等）を特徴量として用いることが可能である。なお、分類毎に算出すべき特徴量の種類を定めた特徴量テーブル４００から、特徴量の種類を決定してもよい。算出された各特徴量は、試料情報１２３０の匂い情報１２３ｄへと格納される。

次に匂い分析部１１３は、データサーバ１９に試料を特定する処理を実行させる。具体的に匂い分析部１１３は、試料情報１２３０から分析対象となる試料のレコードを読み出して、データサーバ１９に送信する。制御部１９１は、試料のレコードを受信すると、匂いデータベース１９２２から、試料に該当する標準物質を検索する。

匂いデータベース１９２２は、図５（ｂ）に示すように、画像データベース１９２１とパラメータ以外は同様の構成となっている。具体的に、匂いデータベース１９２２は、標準物質を状態別に分けるレコードを識別するためのレコードＩＤが格納されるレコードＩＤ格納領域９２２ａと、標準物質の分類が登録される分類情報９２２ｂと、匂いの標準パターン（特徴量）が登録される匂いパラメータ格納領域９２２ｃと、標準物質の状態が格納される状態格納領域９２２ｄと、標準物質の一般的な情報が格納される物質情報格納領域９２２ｅと、を有している。なおレコードＩＤは、画像候補情報６０１と匂い候補情報６０２とが同様の標準物質に関するものである場合には、共通である。

制御部１９１はまず、受信した試料情報の予備情報格納領域１２３ｂから利用者により設定された分類を読み込み、匂いデータベース１９２２から設定された分類に一致する分類情報を有するレコードを抽出する。そして、抽出されたレコードの匂いパラメータ格納領域９２２ｃに格納される標準パターンの特徴量と、匂い情報１２３ｄに格納される分析対象画像の特徴量（ベクトルの大きさ、傾き等）と、の各特徴量についてパターン認識を行う。なお、パターン認識については公知のどのような方法を用いてもよく、ここでは任意の方法で各特徴量を比較し、ユークリッド距離を０から任意の数値（例えば１）の間に収まるように正規化したものとする。

次に、制御部１９１は、候補となるレコードを匂いデータベース１９２２から抽出する。挙げられる候補の数についてはいくつでもよいが、例えば、各類似度を平均値として統合し、所定の閾値以上である標準パターンを有するレコードのレコードＩＤを抽出するものとする。なお、類似度をどのように利用するかについてこの方法に限定されない点は、上述の画像に対する処理と同様である。

制御部１９１は、抽出した画像ＤＢ１９２１から抽出したレコードのレコードＩＤに、対応する分類情報と、類似度情報とを紐付けた匂い候補情報６０２を、物質特定装置１へと送信する。図７（ｂ）に、匂い候補情報６０２の概略説明図を示す。類似度情報とは、上述の処理で算出された匂いの各類似度に関する情報が格納される。匂い分析部１１３は、匂い候補情報６０２を受信すると、これを試料情報１２３０の匂い候補格納領域１２３ｇへと格納して、試料特定部１１４に特定要求を出力する。

試料特定部１１４は、特定要求を受け付けると、画像分析及び匂い分析を経て得られた各候補の中から最終候補を選択して、試料を特定する。具体的に、試料特定部１１４は、画像候補情報６０１と匂い候補情報６０２を参照して、平均類似度を得点として、各候補を得点順に並べる。その際、画像候補及び匂い候補の両方に挙げられている候補（画像候補情報６０１と匂い候補情報６０２で、レコードＩＤが同様の候補）については、両平均類似度を合計した値を得点として利用する。そして、所定の閾値以上の得点を有する候補、及び／又は、所定の順位内である候補を最終候補として選択し、そのレコードＩＤを最終候補格納領域１２３ｈへと格納する。なお、最終候補は必ずしも複数である必要はなく、平均類似度が最も高い候補のみを最終候補としてもよい。そして試料特定部１１４は、情報出力部１１５へと表示要求を出力する。

なお、最終候補の選択方法は上記に限定されず、どのような方法を用いてもよい。例えば、図４（ｂ）に示すような、候補の分類情報から得られる分類と、得点の算出規則を紐付けた候補選択テーブル５００を、予め記憶しておく。これにより試料特定部１１４は、その分類によって異なる得点の算出規則に則って、得点を算出することができる。なお、ここで使用する分類とは、各候補の候補情報に格納される分類情報であることが望ましい。

具体的には、一般的に花のように見た目（例えば色や形状）が特徴的で、さらに匂いも特徴的な物質では、画像情報と匂い情報の双方の独自性が高いため、両方の類似度を同等に得点に反映させる規則を用いることが望ましい。一方で、葉のように見た目は特徴的であるが芳香性が低い物質では、画像情報の信頼性の方が高いと考えられる。よって、画像情報の類似度をより大きく得点に反映させる規則を用いる。

さらに、日本酒のように見た目の差が少なく芳香が特徴的な物質では、画像情報の独自性が乏しい。よって、匂い情報の類似度をより大きく得点に反映させる規則を用いる。しかしながらワインやチーズ等のラベルが撮像されている場合には、画像情報の信頼性が非常に高くなる。その際には、画像情報の類似度が所定以上のものは最終候補としてもよい。

また、最終候補中に同一の分類情報が格納されるもの（同じ標準物質に関するものであるが、状態情報が異なる候補）がある場合には、最も高い類似度を有する候補のみを最終候補として残してもよい。これにより、状態のみが異なる同一の物質が候補として表示されることがなくなる。

なお、試料特定部１１４の実行する処理をデータサーバ１９で実行させ、データサーバ１９は、最終候補の情報を物質特定装置１に送信する構成としてもよい。

情報出力部１１５は表示要求を受け付けると、分析結果の表示画面を作成し、表示部１５へと表示させる。表示画面の例を図８（ａ）及び（ｂ）に示す。

表示画面８００は、例えば、物質情報の内容を表示する内容表示領域８００Ａと、状態情報の内容を表示する状態表示領域８００Ｂと、を有する。具体的に情報出力部１１５は、各最終候補のレコードＩＤを含む情報供給要求をデータサーバ１９に送信する。これを受信したデータサーバ１９の制御部１９１は、画像ＤＢ及び匂いＤＢから当該レコードＩＤが格納されるレコードの物質情報と状態情報とを読み出して、これらの情報を物質特定装置１に返す。この応答を受けた情報出力部１１５は、物質情報及び状態情報を各表示領域に配置した表示画面８００を生成する。

なお、表示画面８００の例では、各最終候補をタブ形式で表示しているが必ずしもこの形式には限定されない。

ここで、物質特定装置１のハードウェア構成について説明する。図１０は、物質特定装置１の電気的な構成を示すブロック図である。

物質特定装置１は、例えば、各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、各種データを書換え可能に記憶するメモリ９０２と、各種のプログラム、プログラムの生成するデータ等を格納する外部記憶装置９０３と、表示装置９０４と、入力装置９０５と、撮像装置９０６と、通信装置９０７と、これらを接続するバス９０８と、を備える。

物質特定装置１は、外部記憶装置９０３に記憶されている所定のプログラムを、メモリ９０２に読み込み、ＣＰＵ９０１で実行することにより実現可能である。撮像部１４は、ＣＰＵ９０１が撮像装置９０６を利用することで実現可能であり、表示部１５は、ＣＰＵ９０１が表示装置９０４を利用することで実現可能であり、操作部１６は、ＣＰＵ９０１が入力装置９０５を利用することで実現可能であり、撮像部１４は、ＣＰＵ９０１が撮像装置９０６を利用することで実現可能であり、ＩＦ部１３は、ＣＰＵ９０１が通信装置９０７を利用することで実現可能である。

なお、上記した各構成要素は、物質特定装置１の構成を理解容易にするために、主な処理内容に応じて分類したものである。処理ステップの分類の仕方やその名称によって、本発明が制限されることはない。また、物質特定装置１が行う処理は、処理内容に応じて、さらに多くの構成要素に分類することもできる。さらに、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、各機能部は、ハードウエア（ＡＳＩＣなど）により構築されてもよい。また、各機能部の処理が一つのハードウエアで実行されてもよいし、複数のハードウエアで実行されてもよい。

以上のように構成される本実施形態にかかる物質特定装置１の実行する処理を、図９に示すフローチャートを用いて説明する。図１０は、本実施形態に係る特定処理の流れを示すフローチャートである。画像分析部１１２は、操作部１６を介して利用者から分析開始の指示入力を受け付けると、以下の処理を開始する。

画像分析部１１２は、分析対象の画像から特徴量を算出する（ステップＳ１１）。

具体的に、画像分析部１１２は、予備情報格納領域１２３ｂで試料の分類を参照して、特徴量テーブル４００から分類に応じた画像の求めるべき特徴量の種類を読み出す。そして、各特徴量を試料の画像から算出する。算出された各特徴量は、画像情報格納領域１２３ｃへと格納される。

次に画像分析部１１２は、画像候補を取得する（ステップＳ１２）。

具体的に、画像分析部１１２は、試料情報１２３０から対象の試料のレコードを読み出して、データサーバ１９に送信する。制御部１９１は、試料の画像の特徴量に対して標準パターンの特徴量とのパターン認識を行い、候補となるレコードを抽出した画像候補情報６０１を、物質特定装置１に返す。画像分析部１１２は、画像候補情報６０１を画像情報格納領域１２３ｃへと格納し、匂い分析部１１３に匂い分析処理の開始要求を出力する。

匂い分析部１１３は、分析対象の匂いから特徴量を算出する（ステップＳ１３）。

具体的に、匂い分析部１１３は、匂い分析処理の開始要求を受け付けると、予備情報格納領域１２３ｂで試料の分類を参照して、特徴量テーブル４００から分類に応じた匂いに応じた特徴量の種類を読み出す。そして、各特徴量を、試料の匂い信号から算出する。算出された各特徴量は、匂い情報格納領域１２３ｄへと格納される。

次に匂い分析部１１３は、匂い候補を取得する（ステップＳ１４）。

具体的に、匂い分析部１１３は、試料情報１２３０から対象の試料のレコードを読み出して、データサーバ１９に送信する。制御部１９１は、試料の匂いの特徴量と標準パターンの特徴量とについてパターン認識を行い、候補となるレコードを抽出した匂い候補情報６０２を、物質特定装置１に返す。匂い分析部１１３は、匂い候補情報６０２を匂い情報格納領域１２３ｄへと格納し、試料特定部１１４に特定要求を出力する。

試料特定部１１４は、画像候補及び匂い候補から、最終候補を選択する（ステップＳ１５）。

具体的に試料特定部１１４は、特定要求を受け付けると、画像候補情報６０１と匂い候補情報６０２より、各候補の分類情報を参照して、候補選択テーブル５００から分類に応じた分類に応じた得点の算出規則を読み出す。そして、読み出された算出規則に則って、各候補の類似度から得点を算出する。次に試料特定部１１４は、所定の閾値以上の得点を有する候補、及び／又は、所定の順位内である候補を最終候補として選択し、そのレコードＩＤを最終候補格納領域１２３ｈへと格納する。そして試料特定部１１４は、情報出力部１１５へと表示要求を出力する。

情報出力部１１５は、表示要求を受け付けると、表示画面を生成する（ステップＳ１６）。

具体的に情報出力部１１５は、各最終候補のレコードＩＤを含んだ情報供給要求をデータサーバ１９に送信する。これを受信したデータサーバ１９は、当該レコードＩＤが格納されるレコードの状態情報及び物質情報読み出して、これらの情報を物質特定装置１に返す。この応答を受けた情報出力部１１５は、物質情報及び状態情報を各表示領域に配置した表示画面８００を生成し、表示部１５に表示させて処理を終了する。

以上、物質特定装置１が処理を行う際の一実施例について説明した。上記したフローの各処理単位は、物質特定装置１の処理を理解容易にするために、主な処理内容に応じて分割したものである。構成要素の分類の仕方やその名称によって、本発明が制限されることはない。また、物質特定装置１の構成は、処理内容に応じて、さらに多くの構成要素に分割することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

このように、本発明の物質特定装置１によれば、画像と匂いとの両方の情報をもとにして物質を特定するため、より高精度な同定を行うことが可能である。

また、同一の物質について、経時変化（食品の熟成による香りの変化）や環境変化（紫陽花の土壌ｐＨによる色の変化）による状態までを特定可能であるため、利用者は一般的な情報のみではなく、自分が特定を望む試料に特化した情報を得ることができる。よって、既に名称が明らかな試料に対しても状態情報を知る目的で使用可能である。

さらに、画像の情報と匂いの情報との何れかが有力であるかを判断して得点を算出するため、植物のみならず、食品、飲料、汚れ等、あらゆる物質に利用することができる。

なお、上記の実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。本発明の技術的思想の範囲内で様々な変形が可能である。

例えば、情報出力部１１５は、表示画面８００に図１１に示すような確認表示領域８００Ｃをさらに設けて、利用者に各候補の情報が正しいか否かを選択させてもよい。情報出力部１１５は、利用者が情報が正しいと選択した候補のレコードＩＤを、確定結果として試料情報１２３０の結果格納領域１２３ｉへと登録する。次に試料特定部１１４が、この確定結果を登録したレコードを、データサーバ１９へと送信する。データサーバ１９は、このようなレコードを受け付けると、その内容を検索用データベース９２０へとフィードバックする。

具体的に、制御部１９１は、画像情報格納領域１２３ｃと匂い情報格納領域１２３ｄに含まれている画像の特徴量又は匂いの特徴量を、画像パラメータ９２１ｃと匂いパラメータ９２２ｃに格納される標準パターンの特徴量に反映させる。反映方法にはどのような方法をとっても良い。例えば、標準パターンとの誤差をその都度蓄積し、過去の誤差の平均値を標準パターンの値に加算する。これにより、利用者が実際に行った分析結果を、辞書側であるデータベースに反映させることができる。

なお確定結果は、必ずしも利用者に選択させる必要はない。例えば、ある閾値以上の確定的な類似度が得られている最終候補については、これをそのまま確定結果として取り扱ってもよい。

また、匂い検出装置１８とデータサーバ１９とは必ずしも物質特定装置１と別の装置である必要はなく、同一の装置としてもよい。よって制御部１９１の実行する処理を、制御部１１が実行することも可能である。一方で、物質特定装置１の実行するどのような処理を、制御部１９１に実行させることもできる。

例えば、制御部１９１が、物質特定装置１から試料の画像及び匂い信号を取得し、図９に記載する処理を全て実行してもよい。

なお上記実施形態では、匂い検出部が２つある例を示したが、必ずしも２つである必要はなく、１つあっても良いし、また３つ以上であっても良い。匂い検出部は、その数を減らすことでより携帯性を高めることが可能であり、また、数を増やすことで、検出精度を上げることができる。

また、上記実施形態で挙げた表示部や操作部に関しても、必ずしも必須の構成ではなく、装置の小型化等を目的とする場合には、省略することもできる。また例えば操作部は、ON/OFFだけの切り替えで指示をするような簡単な構成とすることも可能である。

１…物質特定装置、１００…物質特定システム、１１…制御部、１１１…情報管理部、１１２…画像分析部、１１３…匂い分析部、１１４…試料特定部、１１５…情報出力部、１２…記憶部、１３…ＩＦ部、１４…撮像部、１５…表示部、１６…操作部、１８…匂い検出装置、１９…データサーバ、１９１…制御部、１９２…記憶部、１９２１…画像データベース、１９２２…データベース、１９３…ＩＦ部、４００…特徴量テーブル、５００…候補選択テーブル、６０１…画像候補情報、６０２…匂い候補情報、８００…表示画面、９２０…検索用データベース。

Claims (9)

1. 標準物質の画像及び匂いの標準パターンを記憶する記憶部と、
   試料の画像を、前記標準物質の画像と比較する画像分析部と、
   前記試料の匂いを、前記標準物質の匂いと比較する匂い分析部と、
   前記比較の結果から、前記試料に該当する物質を特定する試料特定部と、を備える
   ことを特徴とする物質特定装置。
2. 請求項１に記載の物質特定装置であって、
   前記標準パターンは、前記標準物質の状態別に記憶されており、
   前記試料特定部は、前記試料の状態に応じて、該当する物質を特定する
   ことを特徴とする物質特定装置。
3. 請求項２に記載の物質特定装置であって、
   前記記憶部は、前記標準物質の状態に関する情報をさらに記憶する
   ことを特徴とする物質特定装置。
4. 請求項３に記載の物質特定装置であって、
   表示部と、
   特定された前記物質の状態に関する情報を、前記表示部に表示させる情報出力部と、をさらに有する
   ことを特徴とする物質特定装置。
5. 請求項１から４の何れか一項に記載の物質特定装置であって、
   前記試料特定部は、前記試料と前記標準物質における画像及び匂いの類似度の合計が、最も高いものを前記試料に該当する物質として特定する
   ことを特徴とする物質特定装置。
6. 請求項１から５の何れか一向に記載の物質特定装置であって、
   前記試料特定部は、特定された前記物質の画像及び匂いのパターンを、前記標準パターンに反映させる
   ことを特徴とする物質特定装置。
7. 標準物質の画像及び匂いの標準パターンを記憶するステップと、
   試料の画像を、前記標準物質の画像と比較するステップと、
   前記試料の匂いを、前記標準物質の匂いと比較するステップと、
   前記比較の結果から、前記試料に該当する物質を特定するステップと、を実行する
   ことを特徴とする物質特定方法。
8. コンピュータに、試料に該当する物質を特定させるプログラムであって、
   前記コンピュータを、制御手段として機能させ、
   前記制御手段に、
   標準物質の画像及び匂いの標準パターンを記憶するステップと、
   前記試料の画像を、前記標準物質の画像と比較するステップと、
   前記試料の匂いを、前記標準物質の匂いと比較するステップと、
   前記比較の結果から、前記試料に該当する物質を特定するステップと、を実行させる
   ことを特徴とするプログラム。
9. 端末装置と、サーバと、を有する物質特定システムであって、
   前記サーバは、
   標準物質の画像及び匂いの標準パターンを記憶する記憶部と、
   前記端末装置から、試料の画像及び匂いを取得する情報取得部と、
   前記試料の画像を、前記標準物質の画像と比較する画像分析部と、
   前記試料の匂いを、前記標準物質の匂いと比較する匂い分析部と、
   前記比較の結果から、前記試料に該当する物質を特定する試料特定部と、を備える
   ことを特徴とする物質特定システム。

Images