以下、本発明の情報システムおよび特定方法を添付図面に示す好適な実施形態に基づいて詳細に説明する。
<情報システム>
<<第1実施形態>>
図1は、本発明の情報システムの第1実施形態が適用された情報端末であるスマートフォンの全体像の表側を示す平面図、図2は、本発明の情報システムの第1実施形態が適用された情報端末であるスマートフォンの全体像の裏側を示す平面図、図3は、図2に示すスマートフォンのA−A線断面図、図4は、図2に示すスマートフォンのB−B線断面図、図5は、図1、図2に示すスマートフォンの概略構成を示すブロック図、図6は、図1、図2に示すスマートフォンの分光計測部が備える分光部が有する波長可変干渉フィルターをファブリーペローエタロンフィルターに適用した一例を示す縦断面図、図7は、図1、図2に示すスマートフォンにより測定対象の種類の特定を行う特定方法を示すフローチャート、図8は、図1、図2に示すスマートフォンにより測定対象の検出を行う検出方法を示すフローチャート、図9は、図1、図2に示すスマートフォンにより測定対象の鑑定を行う鑑定方法を示すフローチャートである。
以下、本実施形態では、本発明の情報システムを、情報端末の1種であるスマートフォン1(SP)に適用した場合、すなわち、情報端末であるスマートフォン1単独で、本発明の情報システムが完結している場合について説明する。
スマートフォン1は、撮像機能を備えた携帯型の情報端末の1つであり、図1〜5に示すように、測定すべき測定対象X(対象)の分光情報を取得するための条件を入力する入力部16と、測定対象Xの分光情報を取得する分光計測部10と、測定対象Xの分光情報を含む、複数のデータベースが記憶された記憶部17と、測定対象Xの分光情報と、予め記憶部17に記憶されたデータベースとを比較することで、測定対象Xの特定を行う分析処理部604を備える制御部60と、特定された測定対象Xの情報を表示する表示部15とを備えている。
このスマートフォン1では、分光計測部10により取得された分光情報に基づいて、分析処理部604において、測定対象Xの特定が行われる。すなわち、スマートフォン1では、測定対象Xの特定が、分光計測部10により取得された分光情報を特徴量として用いて実施される。
このように、スマートフォン1では、特徴量として分光情報を用いている。そのため、前述の通り、特徴量として測定対象Xの形状等を用いたときと比較して、「測定対象Xが背景の模様と似ている」場合や、「測定対象Xが正面や後方を向いている」場合、および、「測定対象Xが撮像領域からはみ出している」場合であったとしても、測定対象Xの特定を、優れた特定精度をもって実施することができる。
したがって、スマートフォン1が備えるアプリケーションとして、測定対象Xとしての動物および植物等の種類を特定する電子図鑑を起動させたときには、表示部15に、特定された動物および植物等の種類の他、その詳細な情報等が表示されるが、スマートフォン1によれば、この種類の特定を優れた精度で実施することができる。
また、前記アプリケーションとして、撮像した画像すなわち撮像領域における測定対象Xとしての動物および植物等の存在の有無や、存在する位置を検出する検出方法を起動させたときには、表示部15に、検出された動物および植物等の種類、ならびに、その動物および植物等の存在する位置の他、そのものが存在している確率等が表示されるが、スマートフォン1によれば、動物および植物等を検出する検出精度の向上を図ることができる。なお、図1では、表示部15に、測定対象Xとしての、カブトムシ、クワガタムシ等の昆虫が、木に止まっている位置を特定して表示している。
さらに、前記アプリケーションとして、撮像した画像における測定対象Xとしてのカバン、財布、時計および宝石等の物品の真偽(真贋)や、経年劣化の程度を鑑定する鑑定方法を起動させたときには、表示部15に、特定すなわち鑑定された物品の真偽および経年劣化の程度、ならびに、真贋率および経年劣化が生じている位置等が表示されるが、スマートフォン1によれば、物品を鑑定する鑑定精度の向上を図ることができる。
以下、スマートフォン1が備える各部の構成について説明する。
[表示部15、入力部16]
スマートフォン1では、ディスプレイ70が表示部15と入力部16との双方の機能を兼ね備えており、表示部15は、例えば、液晶ディスプレイや有機ELディスプレイ等の各種表示装置で構成される。この表示部15は、図1に示すように、スマートフォン1の表側に設けられ、特定された測定対象Xの情報を含む各種の可視化画像を表示する。なお、本発明では、表示部15と入力部16とは、それぞれ、別個に設けられていてもよい。
表示部15で表示する可視化画像すなわち特定された測定対象Xの情報としては、例えば、特定された測定対象Xの画像の他、測定対象Xの特徴、分類、成分、性質等の情報、さらには、撮像領域における測定対象Xの存在の有無および位置、ならびに、測定対象Xの認識精度(%)や存在確率(%)等が挙げられる。
また、入力部16は、例えば、表示部15の表面に設けられ、タッチ感知面と、このタッチ感知面との接触の強度を検出するためのセンサーとを備えるタッチパネルで構成される、ユーザー(操作者)による操作指示、すなわち、測定対象Xの分光情報を取得するための条件等を受け付ける。
[記憶部17]
記憶部17は、ROMやRAM等の各種記憶装置(メモリー)により構成され、スマートフォン1の制御、特に分光計測部10の制御に必要な各種データやプログラム等を記憶する。当該データは、例えば、制御部60の各機能を実現させるためのアプリケーション、プログラム等の他、分光部41のファブリーペローエタロンフィルターが備える静電アクチュエーター45に印加する駆動電圧に対する透過光の波長を示す相関データV−λデータ、測定対象Xの分光情報に基づいて測定対象Xを特定するためのデータベース等が挙げられる。なお、ここで言うデータベースとは、特定すべき測定対象Xを含む、魚貝類、昆虫、哺乳類のような動物、花、木のような植物、カバン、財布、時計、宝石のような物品等のそれぞれについての分光情報のことを示す。
[分光計測部10]
分光計測部10は、測定対象Xで反射した反射光を受光し、分光することで、選択された特定波長または特定波長領域(以下では、「特定波長」で代表して説明する。)の光を得た後、この特定波長を有する光を撮像することにより、分光画像すなわち分光情報を取得するいわゆる分光カメラである。
この分光計測部10は、本実施形態では、測定対象Xすなわち撮像対象に光を照射する光源31と、測定対象Xを反射した反射光に基づいた、画像を撮像する撮像素子21と、入射光から所定の波長の光を選択的に出射させ、かつ出射させる出射光の波長領域を変更可能な分光部41と、を備えている。
このような分光計測部10において、図2に示すように、光源31、撮像素子21が、スマートフォン1の裏面側において同一方向を向くように配置された状態で、分光部41は、撮像素子21と測定対象Xとの間に配置されている。光源31と、分光部41と、撮像素子21をこのような位置関係で配置することで、これらにより、分光計測部10を、後分光方式の分光カメラで構成することができる。このような後分光方式の分光カメラでは、ある測定範囲(所定領域)の波長をスキャンすることで、特定波長やスペクトル形状を取得して、測定対象Xの特性を把握することが可能である。そのため、特定波長が不明な測定対象Xを測定すなわち撮像する場合に有効な方式である。
なお、分光計測部10は、分光部41が光源31と測定対象Xとの間に配置された、前分光方式の分光カメラを構成していてもよい。かかる構成をなす前分光方式の分光カメラでは、特定波長の光を照射することで、測定対象Xの特性を把握することが可能な方式である。したがって、特定波長が明らかになっている測定対象Xを測定する場合に有効な方式であり、後分光方式よりも情報量を減らせることから、計測時間の短縮が図られると言う利点を有する方式である。
以下、分光計測部10が備える各部の構成について説明する。
[光源31]
光源31は、測定対象Xに向かって照明光を照射する光素子である。
光源31は、図2、4に示すように、スマートフォン1の筐体内に配置された回路基板51上に、測定対象Xに向かって照明光を照射し得るように、スマートフォン1の裏面側に配置されている。
この光源31と測定対象Xとの間には分光部が配置されておらず、これにより、光源31から出射された光が、測定対象Xに対して、直接、照射される。
このような光源31は、例えば、LED光源、OLED光源、キセノンランプ、ハロンゲンランプ等が挙げられ、波長可変干渉フィルターで構成される分光部41により分光測定を行う波長領域の全体に光強度を持つ、白色光を照射可能な光源が好ましく用いられる。また、光源31は、白色光源以外にも、例えば、赤外光等の所定波長の光を照射可能な光源を備えていてもよい。
[撮像素子21]
撮像素子21は、測定対象Xを反射した反射光に基づいた、画像を撮像することで、測定対象Xを反射した反射光を検出する検出部として機能するものである。
撮像素子21は、図2、3に示すように、スマートフォン1の筐体内に配置された回路基板51上に、測定対象Xを反射した反射光を受光し得るように、スマートフォン1の裏面側に配置されている。
そして、この撮像素子21と測定対象Xとの間には分光部41が配置されている。これにより、測定対象Xから分光部41に入射された入射光のうち、特定波長を有する出射光が選択的に出射され、この出射光が撮像素子21により、分光画像すなわち分光情報として撮像される。
このような撮像素子21は、例えば、CCDやCMOS等で構成される。
[分光部41]
分光部41は、入射光から特定波長である分光波長の光を選択的に出射させ、かつ出射させる出射光の波長領域を変更可能なものである。すなわち、入射光から特定波長の光を出射光として撮像素子21へ向けて出射させるものである。
分光部41は、図3に示すように、スマートフォン1の筐体内に配置された回路基板52上に配置されている。
この分光部41は、撮像素子21と測定対象Xとの間、すなわち、これらの間の光軸上に配置されている。これにより、測定対象Xから分光部41に入射された入射光のうち、特定波長を有する出射光を、撮像素子21に向けて選択的に出射する。
このような分光部41は、出射させる出射光の波長領域を変更可能なように、波長可変干渉フィルターで構成されている。この波長可変干渉フィルターとしては、特に限定されないが、例えば、静電アクチュエーターにより2つのフィルター(ミラー)間のギャップの大きさを調整することで透過する反射光の波長を制御する、波長可変型のファブリーペローエタロンフィルター、音響光学チューナブルフィルター(AOTF)、リニアバリアブルフィルター(LVF)、液晶チューナブルフィルター(LCTF)等が挙げられるが、中でも、ファブリーペローエタロンフィルターであるのが好ましい。
ファブリーペローエタロンフィルターは、2つのフィルターによる多重干渉を利用して所望波長の反射光を取り出すものである。そのため、厚み寸法を極めて小さくすることができ、具体的には、2.0mm以下に設定することが可能となる。そのため、分光部41ひいては分光計測部10を備えるスマートフォン1をより小型なものとし得る。したがって、波長可変フィルターとして、ファブリーペローエタロンフィルターを用いることにより、分光計測部10のさらなる小型化を実現することができる。
以下、波長可変干渉フィルターとして波長可変型のファブリーペローエタロンが適用された分光部41について、図6を参照しつつ説明する。
ファブリーペローエタロンフィルターは、平面視において、矩形板状の光学部材であり、固定基板410と、可動基板420と、固定反射膜411と、可動反射膜421と、固定電極412と可動電極422と、接合膜414とを備えている。そして、固定基板410と可動基板420とが積層した状態で、接合膜414を介して一体的に接合されている。
固定基板410は、その中央部に反射膜設置部415が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝413が形成されている。かかる構成の固定基板410において、反射膜設置部415の可動基板420側に固定反射膜411で構成される固定光学ミラーが設けられ、溝413の可動基板420側に固定電極412が設けられている。
また、可動基板420は、その中央部に反射膜設置部425である可動部が形成されるように、中央部を取り囲んで、厚さ方向に対するエッチングにより溝423である保持部が形成されている。かかる構成の可動基板420において、反射膜設置部425の固定基板410側すなわち下面側に可動反射膜421で構成される可動光学ミラーが設けられ、固定基板410側に可動電極422が設けられている。
この可動基板420は、反射膜設置部425と比較して、溝423の厚み寸法が小さく形成されており、これにより、溝423は、固定電極412および可動電極422間に電圧を印加した際の静電引力により撓むダイアフラムとして機能する。
これら固定基板410と可動基板420とは、0.1mm以上1.0mm以下程度の厚みであれば作製可能である。よって、ファブリーペローエタロンフィルターの全体としての厚みを、2.0mm以下に設定し得るため、分光計測部10の小型化を実現することができる。
このような固定基板410と可動基板420との間において、固定反射膜411と可動反射膜421とは、固定基板410および可動基板420のほぼ中央部で、ギャップを介して対向配置されている。また、固定電極412と可動電極422とは、前記中央部を取り囲む溝部で、ギャップを介して対向配置されている。これらのうち、固定電極412と可動電極422とにより、固定反射膜411と可動反射膜421との間のギャップの大きさを調整する静電アクチュエーター45が構成される。
静電アクチュエーター45を構成する、固定電極412および可動電極422間に電圧を印加することで生じる静電引力により、溝423である保持部に撓みが生じる。その結果、固定反射膜411と可動反射膜421との間のギャップの大きさすなわち距離を変化させることができる。そして、このギャップの大きさを適宜設定することにより、透過する光の波長を選択すること、入射光から所望の波長(波長領域)の光を選択的に出射させることができる。また、固定反射膜411および可動反射膜421の構成を変えることにより、透過する光の半値幅、すなわちファブリーペローエタロンフィルターの分解能を制御することができる。
なお、固定基板410および可動基板420は、それぞれ、例えば、ソーダガラス、結晶性ガラス、石英ガラス、鉛ガラス、カリウムガラス、ホウケイ酸ガラス、無アルカリガラス等の各種ガラスや、水晶等により構成され、接合膜414は、例えば、シロキサンを主材料とするプラズマ重合膜等により構成され、また、固定反射膜411および可動反射膜421は、例えば、Ag等の金属膜や、Ag合金等の合金膜で構成される他、高屈折層としてTiO2、低屈折層としてSiO2を備える誘電体多層膜で構成され、さらに、固定電極412および可動電極422は、各種導電性材料で構成される。
[光学系81、83]
また、分光計測部10は、本実施形態では、図5に示すように、各種光学部品で構成される光学系81、83を有する構成のものである。
第1分光部側光学系81は、測定対象Xと分光部41との間に配置され、入射光学系としての入射レンズ811と、投射レンズ812とを備え、測定対象Xを反射した反射光を分光部41に導く。
また、第1撮像素子側光学系83は、分光部41と撮像素子21との間に配置され、入出射レンズ831を備え、分光部41により出射された出射光を撮像素子21に導く。
このような光学系81、83のうちの少なくとも1つを分光計測部10が備えることで、測定対象Xを反射する反射光の撮像素子21による集光率の向上を図ることができる。
なお、光学系81、83は、これらのうちの少なくとも1つが、撮像素子21による前記集光率を考慮して、省略されたものであってもよい。
また、第1分光部側光学系81は、上記のような配置とする場合(図5参照)の他、分光部41と第1撮像素子側光学系83との間に配置されている構成をなすものであってもよい。
[制御部60]
制御部60は、スマートフォン1が備える筐体内に設けられ、例えば、CPUやメモリー等が組み合わせられたプロセッサーにより構成され、光源31、撮像素子21、分光部41等の各部の作動、すなわち、分光計測部10の全体または各部の作動を制御するとともに、表示部15の作動および記憶部17へのデータの入出力を制御する。
より具体的には、制御部60は、入力部16に入力されたユーザーの操作指示、すなわち、測定対象Xの分光情報を取得するための条件に基づいて、記憶部17に記憶されたプログラム等のソフトウェアを読み込むことで、光源31、分光部41および撮像素子21の作動を制御する。そして、これにより得られた分光画像に基づいて、例えば、撮像された測定対象Xの特定を行い、そのものの、種類や特徴、撮像領域における存在の有無等の情報を、表示部15において表示する。
この制御部60は、本実施形態では、図5に示すように、光源制御部601と、分光制御部602と、分光画像取得部603と、分析処理部604と、表示制御部605とを備える。
光源制御部601は、入力部16に入力されたユーザーの操作指示、具体的には、測定対象Xの分光情報を取得するための条件に基づいて、光源31の点灯、消灯を制御するものである。
分光制御部602は、記憶部17に記憶されているV−λデータに基づいて、出射させる分光波長すなわち特定波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する。また、分光制御部602は、記憶部17に記憶されている各種データに基づいて、測定波長の変更タイミングの検出、測定波長の変更、測定波長の変更に応じた駆動電圧の変更、および測定終了の判断等を行い、当該判断に基づいて指令信号を出力する。
分光画像取得部603は、測定対象Xを反射した反射光に基づいた、光量測定データ(受光量)を分光画像すなわち分光情報として、撮像素子21において取得(撮像)し、その後、取得された分光画像を記憶部17に記憶させる。なお、分光画像取得部603は、分光画像を記憶部17に記憶させる際に、分光画像とともに測定波長も併せて記憶部17に記憶させる。
分析処理部604は、記憶部17に記憶された、測定対象Xの分光画像および測定波長すなわち分光スペクトルを分光情報として取得し、これらの分析処理を行う。すなわち、分光情報としての分光スペクトルと、記憶部17に記憶されたデータベースとを比較する分光処理を実施することで、撮像された測定対象Xの特定を行う。
なお、分析処理部604による、分光画像および測定波長の取得は、記憶部17を介することなく、分光画像取得部603から、直接、実施することもできる。
表示制御部605は、分析処理部604で特定された測定対象Xの情報を可視化画像として表示部15に表示させる。
以上のようなスマートフォン1において、起動させるアプリケーションの種類を選択すること、すなわち、スマートフォン1の利用方法を選択することで、スマートフォン1を、1)測定対象Xとしての動物および植物等の種類を特定する電子図鑑として用いたり、2)撮像した画像における測定対象Xとしての動物および植物等の存在の有無や、存在する位置を検出する検出装置として用いたり、さらには、3)撮像した画像における測定対象Xとしての物品の真偽(真贋)や、経年劣化の程度を鑑定する鑑定装置として用いることができる。以下、スマートフォン1を、1)〜3)を実施する装置として用いた際の利用方法について、説明する。
[1)電子図鑑としての利用方法]
以下、前述したスマートフォン1を電子図鑑として用いた、測定対象Xとしての動物および植物等の種類を特定する特定方法を、図7等を用いて、以下に詳述する。
このスマートフォン1を電子図鑑として用いた特定方法では、測定対象Xを、分光計測部10を用いて撮像し、撮像された分光画像に基づいて、測定対象Xの特定を行う。その後、特定された測定対象Xの画像、種類、その詳細な説明等をディスプレイ70に表示する。
<1A> まず、ユーザーは、入力部16の操作により、スマートフォン1を電子図鑑として用いるアプリケーションを起動させた後、このアプリケーションの指示に従って、必要に応じて条件等の選択を行う(S1A)。
なお、アプリケーションの指示に従って入力する条件としては、例えば、測定対象Xの、花、魚類、哺乳類等の分類が明らかとなっている場合には、その分類が挙げられる。このように、予め測定対象Xの分類を入力することで、スマートフォン1による測定対象Xの検出をより迅速に行うことができる。
<2A> 次いで、ユーザーは、入力部16の操作により、測定対象Xをスマートフォン1すなわち分光計測部10により撮像する入力指示を行い、この入力指示に基づいて、制御部60は、分光計測部10の作動を制御して、測定対象Xの撮像を行う。
<2A−1> まず、入力部16における、ユーザーによる測定対象Xの撮像の入力指示に従って、光源制御部601は、光源31を点灯させる(S2A)。
この光源31の点灯により、光源31から出射された照明光が、測定対象Xに対して、照射される。そして、照射された光が測定対象Xにより反射され、この反射された光が入射光として分光部41に入射する。
<2A−2> 次いで、分光制御部602は、記憶部17に記憶されているV−λデータに基づいて、出射させる分光波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する(S3A)。
これにより、測定対象Xから分光部41に入射光として入射された光のうち、特定波長を有する光が出射光として、選択的に撮像素子21側に向かって出射される。
なお、分光制御部602は、分光部41により特定波長を有する光を出射させるのに先立って、分光部41のキャリブレーションを行う調整処理を施すことが好ましい。これにより、光源31の分光スペクトルsrefを取得する。
<2A−3> 次いで、分光画像取得部603は、撮像素子21の作動を制御することで、分光部41から出射光として出射された、特定波長を有する光を、分光画像として、撮像素子21により取得する。すなわち、測定対象Xを反射した反射光のうち、特定波長を有する光における光量測定データ(受光量)を分光画像として、撮像素子21により取得する。そして、分光画像取得部603は、取得された分光画像を、測定波長とともに記憶部17に記憶させる(S4A)。
このような分光画像の取得方法では、分光部41は、測定対象Xと撮像素子21との間において、撮像素子21の受光光の光軸上に配置される。これにより、分光部41で測定対象Xにより反射された光が有する特定波長の光のみが透過され、この波長の光の強度が撮像素子21により分光測定される。
<2A−4> 次いで、1回目の波長を有する光における分光画像の取得の後に、1回目の波長とは異なる2回目の波長を有する光における分光画像の取得が必要か否かを、前記工程<1A>において、ユーザーによって選択された条件等に基づいて判定する。すなわち、1回目の波長とは異なる2回目の波長を有する光における分光画像を、続けて取得する必要があるのか否かを判定する(S5A)。
この判定(S5A)において、2回目の波長を有する光における分光画像の取得の必要がある場合には、1回目の波長を有する光に代わり、2回目の波長を有する光について、前記工程<2A−2>〜本工程<2A−4>を繰り返して実施する。すなわち、静電アクチュエーター45の固定電極412と可動電極422との間に印加させる電圧値を変化させて2回目の波長に設定した後、前記工程<2A−2>〜本工程<2A−4>を繰り返して実施する。これにより、2回目の波長を有する光における分光画像を取得する。このような2回目の波長、すなわち、異なる波長を有する光における分光画像の取得を、1、2〜n回目まで、繰り返して実施する。上記の通り、前記工程<2A−2>〜本工程<2A−4>を繰り返して実施することで、分光画像の各画素に対応した、各波長と光強度との関係を示すスペクトル情報ssamを得ることができる。
一方、次の波長を有する光における分光画像を取得する必要がない場合には、分光計測部10による分光画像の取得を終了し、次工程<3A>に移行する。
<3A> 次いで、分析処理部604は、記憶部17に記憶された、測定対象Xの分光画像および測定波長、すなわち、スペクトル情報ssamに基づいて、分光画像の分析を実施する(S6A)。
換言すれば、分析処理部604は、前記工程<2A>において記憶部17に記憶された、スペクトル情報ssamを取得する。その後、このスペクトル情報ssamを、分光情報を有する特徴量として用い、データベースと比較する分析処理を実施することで、撮像された測定対象Xの特定を行う。
具体的には、スペクトル情報ssamと、光源31の分光スペクトルsrefとから、測定対象Xの反射率r=ssam/srefを算出する。
そして、分析処理部604は、記憶部17に予め記憶された各群i=1,…,Mに対応したものに含まれるデータriを取得し、riを用いて測定対象Xの反射率rが群iに属するか否かを判別することで、測定対象Xを特定する。なお、ここで、「群」とは、測定対象Xが属する、花、魚類、哺乳類等の分類のことを言い、前記工程<1A>において、予め測定対象Xの分類が入力されている場合には、測定対象Xの分類に対応する群のデータが取得される。また、前記工程<1A>において、測定対象Xの分類が入力されていない場合には、各群のデータが、測定対象Xの特定がなされるまで、順次、取得される。
より詳しくは、まず、どの群に属するかを判別するのに適した判別空間へ、特徴量としての分光データを射影する、射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、測定対象Xの反射率rを判別空間に射影し、yとする。
y=f(r)
同様に、各群i=1,…,Mのデータriについても、判別空間に投影し、y(ri)とする。そして、測定対象Xの判別空間上の位置yと、各群i=1,…,Mとの判別空間での距離mi(i=1,…,M)を計算する。
mi(i=1,…,M)=g(y,y(ri))
ここで、y(ri)は群iに属するデータの判別空間上での位置の集合、すなわち、y(ri)={y(ri 1),…,y(ri N)}(式中、Nは、群iに属するデータの数を表す。)であり、また、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。mi(i=1,…,M)のうち、最も距離が小さいものを特定し、小さいものに対応する群を、測定対象Xが属する群Hとして特定する。
H=argimin mi
以上の通り、本工程<3A>では、測定対象Xを特定するための特徴量として、スペクトル情報すなわち分光情報を用い、このスペクトル情報の形状に基づいて測定対象Xの特定を行っていることから、「測定対象Xが背景の模様と似ている」場合、例えば、枯れた松葉の中にある「マツタケ」、葉っぱ上にいる「青虫」、砂浜上にいる「カレイやヒラメ」、木の枝にいる「クワガタ」や「カブトムシ」を測定対象Xとして特定する場合のように測定対象と背景とが同系色であったとしても、正確に特定することができる。さらに、「撮像領域において測定対象Xが正面や後方を向いている」場合、および、「測定対象Xが撮像領域からはみ出している」場合であっても、特徴量として形状情報を用いていないことから、正確に特定することができる。
<4A> 次いで、表示制御部605は、分析処理部604で特定された測定対象Xの情報を可視化画像として作成し、その後、この可視化画像を、表示部15を備えるディスプレイ70に表示させる(S7A)。
この可視化画像として、ディスプレイ70に表示させる測定対象Xの情報としては、測定対象Xが魚貝類、昆虫、哺乳類のような動物、または、花、木のような植物である場合、特定された測定対象Xの種類すなわち測定対象Xが属する群Hの他、この測定対象Xの分類や、分布、形態、生態等の詳細な情報が挙げられる。
なお、ディスプレイ70には、記憶部17に記憶された情報が表示されるが、スマートフォン1の通信機能を用いて、インターネット上に開示されている情報をディスプレイ70に表示させるようにすることもできる。
以上のような、スマートフォン1を電子図鑑として用いた、工程<1A>〜工程<4A>を経ることで、測定対象Xの特定が実施される。
なお、分光情報としての分光スペクトルと、記憶部17に記憶されたデータベースと比較する分光処理を、上記では、判別空間での距離mi(i=1,…,M)を用いて実施する場合について説明したが、これに限定されず、前記分析処理は、ニューラルネットワーク等の機械学習により実施するようにすることもできる。
また、スマートフォン1を電子図鑑として用いた測定対象Xの特定は、上記のような動物または植物の特定に適用できる他、例えば、宝石のような鉱物、電車、車のような乗り物、雲、および、星座等の特定にも適用することができる。
[2)検出装置としての利用方法]
以下、前述したスマートフォン1を検出装置として用いた、存在を特定したい測定対象X(対象)としての動物および植物等の存在の有無や、存在する位置を検出する検出方法を、図8等を用いて、以下に詳述する。
このスマートフォン1を検出装置として用いた検出方法では、測定対象Xすなわち検出対象が存在すると推察される領域を、分光計測部10を用いて撮像し、撮像した分光画像に基づいて、撮像された撮像領域における、測定対象Xの存在の有無や、存在する位置および存在確率(%)等を特定する。その後、この特定された内容をディスプレイ70に表示する。
<1B> まず、ユーザーは、入力部16の操作により、スマートフォン1を検出装置として用いるアプリケーションを起動させた後、このアプリケーションの指示に従って、条件等の選択を行う(S1B)。
なお、アプリケーションの指示に従って入力する条件としては、撮像した画像において検出したい測定対象Xの種類等が挙げられる。
<2B> 次いで、ユーザーは、入力部16の操作により、測定対象Xを検出したい領域を、スマートフォン1すなわち分光計測部10により撮像する入力指示を行う。そして、この入力指示に基づいて、制御部60は、分光計測部10の作動を制御して、測定対象Xを検出したい撮像領域の撮像を行う。
<2B−1> まず、入力部16における、ユーザーによる撮像の入力指示に従って、光源制御部601は、光源31を点灯させる(S2B)。
この光源31の点灯により、光源31から出射された照明光が、測定対象Xを検出したい撮像領域に対して、照射される。そして、照射された光が撮像領域において反射され、この反射された光が入射光として分光部41に入射する。
<2B−2> 次いで、分光制御部602は、記憶部17に記憶されているV−λデータに基づいて、出射させる分光波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する(S3B)。
これにより、測定対象Xから分光部41に入射光として入射された光のうち、特定波長を有する光が出射光として、選択的に撮像素子21側に向かって出射される。
なお、分光制御部602は、分光部41により特定波長を有する光を出射させるのに先立って、分光部41のキャリブレーションを行う調整処理を施すことが好ましい。これにより、光源31の分光スペクトルsrefを取得する。
<2B−3> 次いで、分光画像取得部603は、撮像素子21の作動を制御することで、分光部41から出射光として出射された、特定波長を有する光を、分光画像として、撮像素子21により取得する。すなわち、測定対象Xを反射した反射光のうち、特定波長を有する光における光量測定データ(受光量)を分光画像として、撮像素子21により取得する。そして、分光画像取得部603は、取得された分光画像を、測定波長とともに記憶部17に記憶させる(S4B)。
このような分光画像の取得方法では、分光部41は、測定対象Xを検出したい撮像領域と撮像素子21との間において、撮像素子21の受光光の光軸上に配置される。これにより、分光部41で測定対象Xにより反射された光が有する特定波長の光のみが透過され、この波長の光の強度が撮像素子21により分光測定される。
<2B−4> 次いで、1回目の波長を有する光における分光画像の取得の後に、1回目の波長とは異なる2回目の波長を有する光における分光画像の取得が必要か否かを、前記工程<1B>において、ユーザーによって選択された条件等に基づいて判定する。すなわち、1回目の波長とは異なる2回目の波長を有する光における分光画像を、続けて取得する必要があるのか否かを判定する(S5B)。
この判定(S5B)において、2回目の波長を有する光における分光画像の取得の必要がある場合には、1回目の波長を有する光に代わり、2回目の波長を有する光について、前記工程<2B−2>〜本工程<2B−4>を繰り返して実施する。すなわち、静電アクチュエーター45の固定電極412と可動電極422との間に印加する電圧の大きさを変化させて2回目の波長に設定した後、前記工程<2B−2>〜本工程<2B−4>を繰り返して実施する。これにより、2回目の波長を有する光における分光画像を取得する。このような2回目の波長、すなわち、異なる波長を有する光における分光画像の取得を、1、2〜n回目まで、繰り返して実施する。上記の通り、前記工程<2B−2>〜本工程<2B−4>を繰り返して実施することで、測定対象Xを検出したい撮像領域における各画素に対応した、各波長と光強度との関係を示すスペクトル情報ssamを得ることができる。
一方、次の波長を有する光における分光画像を取得する必要がない場合には、分光計測部10による分光画像の取得を終了し、次工程<3B>に移行する。
<3B> 次いで、分析処理部604は、記憶部17に記憶された、測定対象Xの分光画像および測定波長、すなわち、スペクトル情報ssamに基づいて、分光画像の分析を実施する(S6B)。
換言すれば、分析処理部604は、前記工程<2B>において記憶部17に記憶された、スペクトル情報ssamを取得する。そして、このスペクトル情報ssamを、分光情報を有する特徴量として用いて分析処理を行うことで、分光計測部10により撮像された撮像領域から目的物である測定対象Xを検出する。
具体的には、スペクトル情報ssamと、光源31の分光スペクトルsrefとから、測定対象Xを検出したい撮像領域における反射率r=ssam/srefを算出する。そして、この撮像領域をM行N列に分割することで、M×N個に分割された各領域(i=1,…,M),(j=1,…,N)に対応したデータri jを算出する。
そして、分析処理部604は、記憶部17に予め用意されたデータベースのうち測定対象Xに対応した反射率rbaseを取得し、M個に分割された各領域に対応する反射率ri jが、測定対象Xに対応した反射率rbaseに属するか否かを判別することで、測定対象Xが存在する位置を特定する。
より詳しくは、まず、各群を判別するのに適した判別空間への射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。そして、データベースに保存された測定対象Xの反射率rbaseを判別空間に射影し、yとする。
y=f(rbase)
同様に、M行N列に分割された各領域(i=1,…,M),(j=1,…,N)に対応したデータri jについても、判別空間に投影し、y(ri j)とする。そして、測定対象Xと、各領域(i=1,…,M),(j=1,…,N)との判別空間での距離mi j(i=1,…,M),(j=1,…,N)を計算する。
mi j(i=1,…,M),(j=1,…,N)=g(y,y(ri j))
ここで、g( )は判別空間での距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、mi j(i=1,…,M),(j=1,…,N)のうち、設定したある閾値よりも小さかった場合に測定対象Xがその領域に存在している確率を有していると判定し、さらにこの閾値を細分化することで、かかる領域における存在確率(%)を特定することができる。
以上の通り、本工程<3B>では、測定対象Xを検出するための特徴量として、スペクトル情報すなわち分光情報を用いていることから、「測定対象Xが背景の模様と似ている」場合、例えば、枯れた松葉の中にある「マツタケ」、葉っぱ上にいる「青虫」、砂浜上にいる「カレイやヒラメ」、木の枝にいる「クワガタ」や「カブトムシ」を測定対象Xとして検出する場合のように測定対象と背景とが同系色であったとしても、撮像領域から正確に検出することができる。さらに、「撮像領域において測定対象Xが正面や後方を向いている」場合、および、「測定対象Xが撮像領域からはみ出している」場合であっても、特徴量として形状情報を用いていないことから、測定対象Xを正確に検出することができる。
<4B> 次いで、表示制御部605は、分析処理部604で、分光計測部10により撮像された撮像領域のうち、測定対象Xが存在していると判定された領域に対して、例えば、赤色等のマーキングを施すことで強調表示がなされた、可視化画像を作成する。その後、図1に示すように、この可視化画像を、表示部15を備えるディスプレイ70に表示させる(S7B)。ただし、図1では、表示部15に、測定対象Xとしての、カブトムシ、クワガタムシ等の昆虫が木に止まっている位置を、マーキングして強調することで特定している。
なお、この可視化画像では、測定対象Xが存在していると判定された領域に対する、マーキングの他、例えば、マーキングの近位に測定対象Xが存在する存在確率(%)を表示することとしてもよいし、さらに、測定対象Xが存在する存在確率(%)に応じて、マーキングの色を変化させるようにしてもよい。
以上のような、スマートフォン1を検出装置として用いた、工程<1B>〜工程<4B>を経ることで、測定対象Xが存在すると推察される撮像領域における、測定対象Xの存在の有無、および、測定対象Xが存在している位置を検出することができる。
なお、スマートフォン1を検出装置として用いた撮像領域における測定対象Xの検出は、上記のような動物または植物の検出に適用できる他、例えば、宝石のような鉱物、雲および星座等の検出にも適用することができる。
[3)鑑定装置としての利用方法]
以下、前述したスマートフォン1を鑑定装置として用いた、測定対象Xとしてのカバン、財布、時計および宝石等の物品の真偽(真贋)や、経年劣化の程度を鑑定する検定方法を、図9等を用いて、以下に詳述する。
このスマートフォン1を鑑定装置として用いた鑑定方法では、鑑定すべき測定対象Xを、分光計測部10を用いて撮像し、撮像された分光画像に基づいて、測定対象Xの真偽または、経年劣化の程度の鑑定を行う。その後、この鑑定された内容をディスプレイ70に表示する。
<1C> まず、ユーザーは、入力部16の操作により、スマートフォン1を鑑定装置として用いるアプリケーションを起動させた後、このアプリケーションの指示に従って、必要に応じて条件等の選択を行う(S1C)。
なお、アプリケーションの指示に従って入力する条件としては、例えば、鑑定する測定対象Xすなわち物品の種類すなわち製品番号、ならびに、真偽または経年劣化の程度の鑑定の種類が挙げられる。
<2C> 次いで、ユーザーは、入力部16の操作により、測定対象Xをスマートフォン1すなわち分光計測部10により撮像する入力指示を行い、この入力指示に基づいて、制御部60は、分光計測部10の作動を制御して、測定対象Xの撮像を行う。
<2C−1> まず、入力部16における、ユーザーによる測定対象Xの撮像の入力指示に従って、光源制御部601は、光源31を点灯させる(S2C)。
この光源31の点灯により、光源31から出射された照明光が、測定対象Xに対して、照射される。そして、照射された光が測定対象Xにより反射され、この反射された光が入射光として分光部41に入射する。
<2C−2> 次いで、分光制御部602は、記憶部17に記憶されているV−λデータに基づいて、出射させる分光波長に対応する駆動電圧の電圧値(入力値)を取得する。そして、取得した電圧値を、分光部41としてのファブリーペローエタロンフィルターの静電アクチュエーター45に印加させるために指令信号を出力する(S3C)。
これにより、測定対象Xから分光部41に入射光として入射された光のうち、特定波長を有する光が出射光として、選択的に撮像素子21側に向かって出射される。
なお、分光制御部602は、分光部41により特定波長を有する光を出射させるのに先立って、分光部41のキャリブレーションを行う調整処理を施すことが好ましい。これにより、光源31の分光スペクトルsrefを取得する。
<2C−3> 次いで、分光画像取得部603は、撮像素子21の作動を制御することで、分光部41から出射光として出射された、特定波長を有する光を、分光画像として撮像素子21により取得する。すなわち、測定対象Xを反射した反射光のうち、特定波長を有する光における光量測定データ(受光量)を分光画像として、撮像素子21により取得する。そして、分光画像取得部603は、取得された分光画像を、測定波長とともに記憶部17に記憶させる(S4C)。
このような分光画像の取得方法では、分光部41は、測定対象Xと撮像素子21との間において、撮像素子21の受光光の光軸上に配置される。これにより、分光部41で測定対象Xにより反射された光が有する特定波長の光のみが透過され、この波長の光の強度が撮像素子21により分光測定される。
<2C−4> 次いで、1回目の波長を有する光における分光画像の取得の後に、1回目の波長とは異なる2回目の波長を有する光における分光画像の取得が必要か否かを、前記工程<1C>において、ユーザーによって選択された条件等に基づいて判定する。すなわち、1回目の波長とは異なる2回目の波長を有する光における分光画像を、続けて取得する必要があるのか否かを判定する(S5C)。
この判定(S5C)において、2回目の波長を有する光における分光画像の取得の必要がある場合には、1回目の波長を有する光に代わり、2回目の波長を有する光について、前記工程<2C−2>〜本工程<2C−4>を繰り返して実施する。すなわち、静電アクチュエーター45の固定電極412と可動電極422との間に印加させる電圧値を変化させて2回目の波長に設定した後、前記工程<2C−2>〜本工程<2C−4>を繰り返して実施する。これにより、2回目の波長を有する光における分光画像を取得する。このような2回目の波長、すなわち、異なる波長を有する光における分光画像の取得を、1、2〜n回目まで、繰り返して実施する。上記の通り、前記工程<2C−2>〜本工程<2C−4>を繰り返して実施することで、分光画像の各画素に対応した、各波長と光強度との関係を示すスペクトル情報ssamを得ることができる。
一方、次の波長を有する光における分光画像を取得する必要がない場合には、分光計測部10による分光画像の取得を終了し、次工程<3C>に移行する。
<3C> 次いで、分析処理部604は、記憶部17に記憶された、測定対象Xの分光画像および測定波長、すなわち、スペクトル情報ssamに基づいて、分光画像の分析を実施する(S6C)。
換言すれば、分析処理部604は、前記工程<2C>において記憶部17に記憶された、スペクトル情報ssamを取得する。そして、このスペクトル情報ssamを、分光情報を有する特徴量として用いて分析処理を行うことで、撮像された測定対象Xの鑑定を実施する。
具体的には、スペクトル情報ssamと、光源31の分光スペクトルsrefとから、測定対象Xの反射率r=ssam/srefを算出する。
そして、分析処理部604は、記憶部17に予め記憶された各群i=1,…,Mに対応したデータriのうちから、測定対象Xの真正品(i=x)に相当する反射率riを取得し、riを用いて測定対象Xの反射率rが真正品の反射率riに対して同等であるか否かを判別することで、測定対象Xを鑑定する。
より詳しくは、まず、各群を判別するのに適した判別空間への射影関数f(・)を特定の判別基準に基づき生成する。なお、この判別基準としては、例えば、フィッシャー判別基準、最小二乗基準等が挙げられる。
そして、鑑定の種類が、物品の真偽である場合、測定対象Xの反射率rを判別空間に射影し、yとする。
y=f(r)
同様に、新品の真正品(i=x)のデータriについても、判別空間に投影し、y(ri)とする。そして、測定対象Xの判別空間上の位置yと、真正品(i=x)との判別空間での距離mi(i=x)を計算する。
mi(i=x)=g(y,y(ri))
ここで、g( )は判別空間での距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、mi(i=x)の大きさが、設定した閾値よりも小さかった場合に測定対象が真正品であると判定し、さらにこの閾値を細分化することで、測定対象Xが真正品であることの確率(%)を特定することができる。
また、鑑定の種類が、物品の経年劣化の程度である場合、測定対象Xの反射率rを判別空間に射影し、yとする。
y=f(r)
同様に、劣化の程度ごとに取得した真正品(i=1,…,M)のデータriについても、判別空間に投影し、y(ri)とする。そして、測定対象Xの判別空間上の位置yと、劣化の程度に応じた真正品(i=1,…,M)との判別空間での距離mi(i=1,…,M)を計算する。
mi(i=1,…,M)=g(y,y(ri))
ここで、y(ri)は真正品に属するデータの判別空間上での位置の集合、すなわち、y(ri)={y(ri 1),…,y(ri N)}(式中、Nは、群iに属するデータの数を表す。)であり、また、g(a,b)は判別空間でのaとbとの距離を算出する関数である。また、距離としては、例えば、マハラノビス距離、ユークリッド距離等を用いることができる。
そして、mi(i=1,…,M)の大きさが、設定した閾値よりも小さかった場合に測定対象が属する群iで指定した経年劣化の程度であると鑑定することができる。
<4C> 次いで、表示制御部605は、分析処理部604で特定された測定対象Xの情報を可視化画像として作成し、その後、この可視化画像を、表示部15を備えるディスプレイ70に表示させる(S7C)。
この可視化画像には、鑑定がなされた測定対象Xの画像の他、鑑定の区分が測定対象Xの真偽である場合には、測定対象Xが真正品であるか否かの判定結果、さらには、真正品である確率(%)等の情報が表示され、また、鑑定の区分が測定対象Xの経年劣化の程度である場合には、測定対象Xの劣化の程度(%)、さらには、それに基づく査定価格等の情報が表示される。なお、鑑定の区分が測定対象Xの真偽である場合に、この鑑定により測定対象Xが真正品であるとの鑑定結果が得られたときには、自動的に、測定対象Xの経年劣化の程度の鑑定に移行するようにしてもよい。
以上のような、スマートフォン1を鑑定装置として用いた、工程<1C>〜工程<4C>を経ることで、測定対象Xの鑑定が実施される。
なお、スマートフォン1を鑑定装置として用いた測定対象Xの鑑定は、上記のようなカバン、財布、時計および宝石等の物品に適用できる他、測定対象Xの真偽に鑑定装置を用いた場合、動物、植物、雲および星座等の特定にも適用することができる。
さらに、本実施形態では、分光情報として、測定対象Xの反射率を用いて、測定対象Xの特定を行う場合について説明したが、これに限定されず、例えば、測定対象Xの透過率、吸光度や、クベルカ・ムンク変換データ等を分光情報として用いた場合においても、測定対象Xの特定を行うことが可能である。
また、本実施形態では、分光計測部10は、分光カメラとして、光源31と、分光部41と、撮像素子21とを備える場合について説明したが、分光計測部10は、これらのうち、光源31が省略されたものであってもよい。この場合、分光計測部10は、分光計測部10により分光画像を撮像する前記工程<2A>、<2B>、<2C>では、測定対象Xに対する光の照射は、太陽や室内照明等の外光により実施される。
さらに、本実施形態では、本発明の情報システムが、情報端末単独で完結しているものとして、スマートフォン1を一例にして説明したが、このような情報端末としては、スマートフォン1に限定されず、例えば、タブレット端末、ノート型パソコン、デジタルカメラ、デジタルビデオカメラ、車載用のモニター、ドライブレコーダー等であってもよい。なお、本実施形態のように、本発明の情報システムを、情報端末単独で完結している構成のものとすることで、オフラインでの使用を実現することが可能であるため、通信状況が不安定な場所であっても利用可能となる。
また、本実施形態では、入力部16がタッチパネルで構成される場合について説明したが、これに限定されず、入力部16は、スマートフォン1の筐体に設けられた操作用ボタンであってもよいし、スマートフォン1が備えるマイクを介して音声により入力がなされるものであってもよいし、これらが組み合わされたものであってもよい。
<<第2実施形態>>
次に、本発明の情報システムの第2実施形態について説明する。
図10は、本発明の情報システムの第2実施形態が適用されたスマートフォンと分光計測部との概略構成を示すブロック図である。
以下、第2実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図10に示す第2実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらに分光計測部10を独立して備え、この分光計測部10が分光カメラとしての機能を発揮すること以外は、前記第1実施形態の情報システムと同様である。すなわち、第2実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、分光カメラとしての分光計測部10とを有している。
第2実施形態の情報システムでは、図10に示すように、スマートフォン1は、内部における分光計測部10の配置が省略されており、これに代えて、分光計測部10は、分光カメラとしてスマートフォン1の外部に独立して設けられており、その作動がスマートフォン1により制御可能なように構成されている。なお、スマートフォン1と分光計測部10との電気的な接続による、スマートフォン1による分光計測部10の制御は、有線および無線のいずれであってもよい。
かかる構成の第2実施形態の情報システムでは、分光計測部10による測定対象Xを含む画像の取得と、スマートフォン1による測定対象Xを特定するための条件の設定等の操作とを、独立して実施することができる。そのため、情報システムの操作性の向上を図ることができる。
また、スマートフォン1に、アプリケーションをインストールするとともに、分光計測部10を接続することで、本発明の情報システムを利用することができ、分光計測部10を備えないスマートフォン1を用い得るため汎用性に優れる。
さらに、本発明の情報システムを、スマートフォン1と分光計測部10とで完結している構成のものとすることで、スマートフォン1と分光計測部10との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。
このような第2実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン1と、分光カメラとしての分光計測部10とを有する場合について説明したが、本発明の情報システムは、スマートフォン1に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン1すなわち情報端末がサーバー等で構成されるものであってもよい。
<<第3実施形態>>
次に、本発明の情報システムの第3実施形態について説明する。
図11は、本発明の情報システムの第3実施形態が適用されたスマートフォンと外部表示部との概略構成を示すブロック図である。
以下、第3実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図11に示す第3実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらに外部表示部18を独立して備え、この外部表示部18がスマートフォン1の外部の表示部としての機能を発揮すること以外は、前記第1実施形態の情報システムと同様である。すなわち、第3実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、外部表示部18とを有している。
第3実施形態の情報システムは、図11に示すように、スマートフォン1が備える表示部15の他に、さらに、スマートフォン1の外部に独立して設けられた外部表示部18を備えており、外部表示部18の作動がスマートフォン1により制御可能なように構成されている。なお、スマートフォン1と外部表示部18との電気的な接続による、スマートフォン1による外部表示部18の制御は、有線および無線のいずれであってもよい。
かかる構成の第3実施形態の情報システムでは、外部表示部18における画像の操作者による確認と、スマートフォン1による測定対象Xを特定するための条件の設定等の操作とを、独立して実施することができるため、情報システムの操作性の向上を図ることができる。
また、本発明の情報システムを、スマートフォン1と外部表示部18とで完結している構成のものとすることで、スマートフォン1と外部表示部18との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。
また、外部表示部18としては、モバイルノートPC、タブレット端末およびヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)等が挙げられるが、中でも、ヘッドマウントディスプレイであることが好ましい。ヘッドマウントディスプレイによれば、拡張現実(AR)において、例えば、測定対象Xの特定された結果や、測定対象Xが存在すると推察される位置等を表示することができ、さらに、ハンズフリーでの利用が可能であるため、情報システムの操作性の更なる向上を図ることができる。
このような第3実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
<<第4実施形態>>
次に、本発明の情報システムの第4実施形態について説明する。
図12は、本発明の情報システムの第4実施形態が適用されたスマートフォンと分光計測部と外部表示部との概略構成を示すブロック図である。
以下、第4実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図12に示す第4実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらに分光計測部10と外部表示部18とを独立して備え、分光計測部10が分光カメラとしての機能を発揮し、外部表示部18がスマートフォン1の外部の表示部としての機能を発揮すること以外は、前記第1実施形態の情報システムと同様である。すなわち、第3実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、分光計測部10と、外部表示部18とを有している。
第4実施形態の情報システムでは、図12に示すように、スマートフォン1は、内部における分光計測部10の配置が省略されており、これに代えて、分光計測部10は、分光カメラとしてスマートフォン1の外部に独立して設けられており、その作動がスマートフォン1により制御可能なように構成されている。さらに、スマートフォン1が備える表示部15の他に、さらに、スマートフォン1の外部に独立して設けられた外部表示部18を備えており、外部表示部18の作動がスマートフォン1により制御可能なように構成されている。
なお、スマートフォン1と分光計測部10との電気的な接続による、スマートフォン1による分光計測部10の制御、ならびに、スマートフォン1と外部表示部18との電気的な接続による、スマートフォン1による外部表示部18の制御は、それぞれ、有線および無線のいずれであってもよい。
かかる構成の第4実施形態の情報システムでは、分光計測部10による測定対象Xを含む画像の取得と、外部表示部18における画像の操作者による確認と、スマートフォン1による測定対象Xを特定するための条件の設定等の操作とを、独立して実施することができるため、情報システムの操作性の向上を図ることができる。
また、スマートフォン1に、アプリケーションをインストールするとともに、分光計測部10と外部表示部18とを接続することで、本発明の情報システムを利用することができ、分光計測部10を備えないスマートフォン1を用い得るため汎用性に優れる。
さらに、本発明の情報システムを、スマートフォン1と分光計測部10と外部表示部18とで完結している構成のものとすることで、スマートフォン1と分光計測部10と外部表示部18との通信以外は、オフラインでの使用が可能であるため、通信状況が不安定な場所であっても利用可能となる。
また、外部表示部18としては、モバイルノートPC、タブレット端末およびヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)等が挙げられるが、中でも、ヘッドマウントディスプレイであることが好ましい。ヘッドマウントディスプレイによれば、拡張現実(AR)において、例えば、測定対象Xの特定された結果や、測定対象Xが存在すると推察される位置等を表示することができ、さらに、ハンズフリーでの利用が可能であるため、情報システムの操作性の更なる向上を図ることができる。
このような第4実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン1と、分光カメラとしての分光計測部10と、ヘッドマウントディスプレイのような外部表示部18とを有する場合について説明したが、本発明の情報システムは、スマートフォン1に代えて、情報端末としてタブレット端末等を備えるものであってもよいし、スマートフォン1すなわち情報端末に代えて、サーバー等を備えるものであってもよい。
また、本実施形態では、本発明の情報システムは、図12に示すように、分光計測部10と外部表示部18とを別体として独立して備える場合について示したが、これに限定されず、分光計測部10と外部表示部18とは、一体的に形成されたものであってもよい。
<<第5実施形態>>
次に、本発明の情報システムの第5実施形態について説明する。
図13は、本発明の情報システムの第5実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
以下、第5実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図13に示す第5実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらにサーバー100を独立して備えること以外は、前記第1実施形態の情報システムと同様である。すなわち、第5実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、サーバー100とを有している。
第5実施形態の情報システムでは、図13に示すように、スマートフォン1は、さらに、送受信部19を有しており、また、制御部60において、この送受信部19の作動を制御する送受信制御部606を有している。
また、サーバー100は、記憶部117と、送受信部119と、制御部160とを有し、制御部160は、記憶部117および送受信部119の作動を、それぞれ、制御するデータ取得部161および送受信制御部162を有している。
このような本実施形態の情報システムにおいて、スマートフォン1が備える記憶部17では、測定対象Xを特定するためのデータベースの記憶が省略されており、これに代えて、サーバー100が備える記憶部117に、このデータベースが記憶されている。
そして、スマートフォン1が備える送受信部19と、サーバー100が備える送受信部119とは、データベースの受け渡しを実施する。すなわち、送受信部19は、送受信部119に記憶部117からのデータベースの取得要請を送信し、サーバー100から送受信部119を介してデータベースを受信する。また、送受信部119は、送受信部19による記憶部117からのデータベースの取得要請を受信し、スマートフォン1に送受信部19を介してデータベースを送信する。なお、送受信部19と送受信部119との間におけるデータベースの受け渡しは、有線および無線のいずれを介して実施するものであってもよく、また、無線の場合、インターネット経由で実施してもよい。
また、スマートフォン1が制御部60において備える送受信制御部606は、送受信部19の作動を制御して、送受信部119を介して、サーバー100からデータベースを受け取り、分析処理部604は、送受信制御部606から、このデータベースを受け取り、これに基づいて測定対象Xの特定を実施する。
さらに、サーバー100が制御部160において備えるデータ取得部161は、取得要請に応じて記憶部117に記憶されたデータベースを取得した後に、送受信制御部162に受け渡す。そして、送受信制御部162は、送受信部119の作動を制御して、送受信部19を介して、サーバー100からスマートフォン1に、このデータベースを受け渡す。
かかる構成の第5実施形態の情報システムでは、情報システムが情報端末であるスマートフォン1単独で完結することなく、さらに、サーバー100を備え、このサーバー100が有する記憶部117において、データベースが保存され、このデータベースが測定対象Xを特定する際に、送受信部19、119を介してスマートフォン1に、送信されるようになっている。これにより、スマートフォン1が備える記憶部17に大量のデータを記憶させる必要がなくなると言う利点が得られる。また、情報システムが、複数のスマートフォン1を備える場合、データベースの共有化を図ることができる。さらに、サーバー100の記憶部117が備えるデータベースをアップデートするだけで、結果的に、各スマートフォン1で利用するデータベースを最新のものとし得る。
さらに、本発明の情報システムにおいて、スマートフォン1による測定対象Xの特定をオフライン時に実施する場合には、オフライン時に、必要となるデータベースをサーバー100が備える記憶部117からスマートフォン1が備える記憶部17に記憶させておくようにすればよい。これにより、オフライン時であっても、スマートフォン1による測定対象Xの特定を実施することができる。
このような第5実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン1と、サーバー100とを有する場合について説明したが、本発明の情報システムは、スマートフォン1に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン1すなわち情報端末がデジタルカメラ、デジタルビデオカメラ、ヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)等で構成されるものであってもよい。
さらに、本実施形態では、スマートフォン1が備える制御部60は、前記第1実施形態と同様に、光源制御部601と、分光制御部602と、分光画像取得部603と、分析処理部604と、表示制御部605とを備えることとしたが、これらのうちの少なくとも1つは、サーバー100が有する制御部160が備えるものであってもよい。
<<第6実施形態>>
次に、本発明の情報システムの第6実施形態について説明する。
図14は、本発明の情報システムの第6実施形態が適用されたスマートフォンとサーバーとの概略構成を示すブロック図である。
以下、第6実施形態の情報システムについて、前記第1実施形態の情報システムとの相違点を中心に説明し、同様の事項については、その説明を省略する。
図14に示す第6実施形態の情報システムは、情報端末としてのスマートフォン1の他に、さらにサーバー100を独立して備えること以外は、前記第1実施形態の情報システムと同様である。すなわち、第6実施形態の情報システムでは、本発明の情報システムが、情報端末であるスマートフォン1単独で完結することなく、情報端末としてのスマートフォン1と、サーバー100とを有している。
第6実施形態の情報システムでは、図14に示すように、スマートフォン1は、記憶部および制御部60における分析処理部を有しておらず、これに対して、スマートフォン1は、さらに、送受信部19を有しており、また、制御部60において、この送受信部19の作動を制御する送受信制御部606を有している。
また、サーバー100は、記憶部117と、送受信部119と、制御部160とを有し、制御部160は、記憶部117および送受信部119の作動を、それぞれ、制御するデータ取得部161および送受信制御部162と、測定対象Xの特定を行う分析処理部163とを有している。
このような本実施形態の情報システムにおいて、スマートフォン1における記憶部の配置が省略され、これに代えて、サーバー100が記憶部117を備えている。この記憶部117は、前記第1実施形態のスマートフォン1が備える記憶部17と同様に、各種データが記憶されている。
また、スマートフォン1が備える制御部60における分析処理部の配置が省略され、これに代えて、サーバー100が備える制御部160が分析処理部163を備えている。この分析処理部163は、前記第1実施形態のスマートフォン1が備える分析処理部604と同様に、測定対象Xの分光スペクトルすなわち分光情報と、データベースとを比較することで、測定対象Xの特定を実施する。
そして、スマートフォン1が備える送受信部19と、サーバー100が備える送受信部119とは、各種データの受け渡しを実施する。具体的には、例えば、送受信部19は、スマートフォン1で取得した測定対象Xの分光情報すなわち分光スペクトルを送受信部119に送信し、サーバー100から送受信部119を介して測定対象Xの特定された結果を受信する。また、送受信部119は、スマートフォン1で取得した測定対象Xの分光情報すなわち分光スペクトルを、スマートフォン1から送受信部19を介して受信し、スマートフォン1に、送受信部19を介して、測定対象Xの特定された結果を送信する。なお、送受信部19と送受信部119との間における各種データの受け渡しは、有線および無線のいずれを介して実施するものであってもよく、また、無線の場合、インターネット経由で実施してもよい。
また、スマートフォン1が制御部60において備える送受信制御部606は、送受信部19の作動を制御して、分光画像取得部603で取得した、測定対象Xの分光スペクトルすなわち分光情報を、送受信部119を介して、サーバー100が備える分析処理部163に送信する。そして、分析処理部163は、データ取得部161の作動を制御することにより記憶部117に記憶されたデータベースを取得し、その後、分光情報とデータベースとを比較することで、測定対象Xの特定を行う。
さらに、サーバー100が制御部160において備える送受信制御部162は、送受信部119の作動を制御して、送受信部19を介して、サーバー100からスマートフォン1に、分析処理部163による測定対象Xの特定された結果を受け渡す。
かかる構成の第6実施形態の情報システムでは、情報システムが情報端末であるスマートフォン1単独で完結することなく、さらに、サーバー100を備え、このサーバー100が有する記憶部117において、データベースが保存される。そして、サーバー100が有する分析処理部163において、このデータベースに基づいて測定対象Xの特定が行われ、その後、送受信部19、119を介してスマートフォン1に、測定対象Xの特定された結果が送信されるようになっている。これにより、スマートフォン1が備える記憶部に大量のデータを記憶させる必要がなくなり、さらに、スマートフォン1に、大きな計算負荷を掛ける必要がなくなると言う利点が得られる。また、分析処理部163を処理能力に優れたものとし、さらに、記憶部117に記憶されるデータベースの情報量をより詳細なものとすることで、より高精度に測定対象Xを特定することが可能となる。
また、情報システムが、複数のスマートフォン1を備える場合、データベースの共有化を図ることができる。さらに、サーバー100の記憶部117が備えるデータベースをアップデートするだけで、結果的に、各スマートフォン1で利用するデータベースを最新のものとし得る。
このような第6実施形態の情報システムによっても、前記第1実施形態と同様の効果が得られる。
また、本実施形態では、本発明の情報システムが、情報端末としてのスマートフォン1と、サーバー100とを有する場合について説明したが、本発明の情報システムは、スマートフォン1に代えて、情報端末がタブレット端末等で構成されていてもよいし、スマートフォン1すなわち情報端末がデジタルカメラ、デジタルビデオカメラ、ヘッドアップディスプレイ(HUD)、ヘッドマウントディスプレイ(HMD)等で構成されるものであってもよい。
さらに、本実施形態では、スマートフォン1が備える制御部60は、前記第1実施形態と同様に、光源制御部601と、分光制御部602と、分光画像取得部603と、表示制御部605とを備えることとしたが、これらのうちの少なくとも1つは、サーバー100が有する制御部160が備えるものであってもよい。
以上、本発明の情報システムおよび特定方法を、図示の実施形態に基づいて説明したが、本発明はこれらに限定されるものでない。
例えば、本発明の情報システムにおいて、各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、任意の構成のものを付加することができる。
また、本発明の情報システムでは、前記第1〜第6実施形態で示した任意の2以上の構成を組み合わせるようにしてもよい。
また、本発明の特定方法において、任意の工程が追加されたものであってもよい。