JP2016091359A - 情報処理システム、情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理システム、情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2016091359A JP2016091359A JP2014226113A JP2014226113A JP2016091359A JP 2016091359 A JP2016091359 A JP 2016091359A JP 2014226113 A JP2014226113 A JP 2014226113A JP 2014226113 A JP2014226113 A JP 2014226113A JP 2016091359 A JP2016091359 A JP 2016091359A
- Authority
- JP
- Japan
- Prior art keywords
- data
- information processing
- information
- identification
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Spectrometry And Color Measurement (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】半教師あり異常検知を用いて、高い精度で識別することができる情報処理システム、情報処理装置、情報処理方法、及びプログラムを提供することを課題とする。【解決手段】1以上の情報処理装置を含む情報処理システムであって、識別対象である物体の所定の特徴量を示す多次元の第1のデータを取得するデータ取得手段と、前記データ取得手段により取得された前記第1のデータと予め設定された1以上の所定の基準値とに基づき、半教師あり異常検知の手法を用いて、前記第1のデータが複数のクラスのうちのいずれのクラスに分類されるかを識別する識別手段と、前記識別手段による識別結果を出力する出力手段と、を有することにより、上記課題を解決する。【選択図】 図3
Description
本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
例えばパール色やメタリック色等の見る角度によって異なる色に見える光輝材を含む塗料の評価方法として、ASTM規格(E2539−12)に定められている多角度からの測色方法が知られている。
また、パール色やメタリック色等の塗料について、色が異なっても同一の基準で体系的かつ定量的に評価することができる評価方法が知られている(例えば特許文献1参照)。
しかしながら、上記の従来技術においては、塗料の基準を満たす良品と基準を満たさない不良品と多く準備する必要があった。このため、例えば、良品は大量に得ることができる一方で、不良品はほとんど得ることができない製品の場合、評価が困難であった。また、想定外(未知)の不良品に対しても評価が困難であった。したがって、製品の良品・不良品を高い精度で識別することが難しいという問題があった。
本発明の実施の形態は、上記の点に鑑みてなされたもので、半教師あり異常検知を用いて、高い精度で識別することを目的とする。
上記目的を達成するため、本発明の実施の形態は、1以上の情報処理装置を含む情報処理システムであって、識別対象である物体の所定の特徴量を示す多次元の第1のデータを取得するデータ取得手段と、前記データ取得手段により取得された前記第1のデータと予め設定された1以上の所定の基準値とに基づき、半教師あり異常検知の手法を用いて、前記第1のデータが複数のクラスのうちのいずれのクラスに分類されるかを識別する識別手段と、前記識別手段による識別結果を出力する出力手段と、を有することを特徴とする。
本発明の実施の形態によれば、半教師あり異常検知を用いて、高い精度で識別することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
<システム構成>
まず、本実施形態のシステム構成について説明する。図1は、本実施形態に係る識別システムの一例のシステム構成図である。図1に示す識別システム1は、情報処理システムの一例であり、情報処理装置10と、分光カメラ装置20と、光源装置30と、投影装置40と有し、それぞれが所定のデータ伝送路で接続されている。なお、所定のデータ伝送路としては、例えば、LAN(Local Area Network)、インターネット、電話回線網等である。ただし、所定のデータ伝送路は、これに限られず、識別システム1の全部又は一部の構成が例えばUSBケーブル等により直接に接続されていてもよい。また、所定のデータ伝送路は、有線接続に限られず、識別システム1の全部又は一部は無線接続されていてもよい。
まず、本実施形態のシステム構成について説明する。図1は、本実施形態に係る識別システムの一例のシステム構成図である。図1に示す識別システム1は、情報処理システムの一例であり、情報処理装置10と、分光カメラ装置20と、光源装置30と、投影装置40と有し、それぞれが所定のデータ伝送路で接続されている。なお、所定のデータ伝送路としては、例えば、LAN(Local Area Network)、インターネット、電話回線網等である。ただし、所定のデータ伝送路は、これに限られず、識別システム1の全部又は一部の構成が例えばUSBケーブル等により直接に接続されていてもよい。また、所定のデータ伝送路は、有線接続に限られず、識別システム1の全部又は一部は無線接続されていてもよい。
情報処理装置10は、例えばコンピュータ等であり、分光カメラ装置20が物体を撮像することにより取得した分光情報に基づき、当該物体の物理的特性に関する多次元データを取得する。また、情報処理装置10は、物体の物理的特性に関する多次元データに基づき、当該物体が例えば規格を満たす製品であるか否かの識別を行う。なお、物体の物理的特性に関する多次元データは、第1のデータの一例である。
ここで、物体の物理的特性とは、偏角分光情報、偏角測色情報、及びBRDF(Bidirectional Reflectance Distribution Function:双方向反射率分布関数)情報、並びに光輝感、粒子感、光沢、ヘーズ(濁度又は曇度)、写像性、及びオレンジピール等の質感に関する情報である。なお、これらの各情報の詳細については後述する。
分光カメラ装置20は、光源装置30による複数の所定の角度からの光の照射に同期して、1回の撮像動作(ワンショット)により2次元の分光情報を取得することができるカメラ装置である。ここで、1回の撮像動作とは、例えば、分光カメラ装置20の後述する撮像部210がCMOS(Complementary MOS)センサ又はCCD(Charge Coupled Device)センサ等の半導体撮像素子の場合、各画素で受光した撮像光(物体からの反射光)に応じて生成された電荷を読み出すまでの動作である。
なお、分光カメラ装置20として、例えば、マルチバンドカメラ装置を用いることができる。マルチバンドカメラ装置は、メインレンズ内に挿入された分光フィルタ群と、メインレンズと受光素子の間に挿入されたマイクロレンズアイによって、マイクロレンズ毎に分光フィルタの数に応じた分光情報を取得することができる。また、分光カメラ装置20として、1組以上のフィルタ、及び回析格子(又はプリズム)を含むハイパースペクトルカメラ装置等を用いてもよい。
光源装置30は、複数の光源から構成され、2つ以上の所定の角度から物体に対して照明を照射することができる。なお、光源装置30の光源としては、例えば、点光源、ライン照明、平行光照明等を用いることができる。また、光源の種類としては、例えば、タングステンランプ、ハロゲンランプ、キセノンランプ、白色LED(Light Emitting Diode)等を用いることができる。
投影装置40は、例えばプロジェクタ等であり、物体の写像性及びオレンジピールに関する情報を取得する際等に、縞状の投影パターン(所定の空間周波数を有する投影パターン)を照射する。
なお、本実施形態に係る識別システム1は、一例であり、上記で説明した構成以外であってもよい。例えば、情報処理装置10は、複数台のコンピュータ等により構成されていてもよい。また、情報処理装置10又は/及び光源装置30は、分光カメラ装置20に含まれていてもよい。
<概要>
次に、本実施形態に係る識別システム1の処理の概要について説明する。本実施形態に係る識別システム1は、例えばある製品等の物体(試料)から多次元データを取得する処理と、取得した多次元データに基づき物体の識別を行う処理とに分けられる。
次に、本実施形態に係る識別システム1の処理の概要について説明する。本実施形態に係る識別システム1は、例えばある製品等の物体(試料)から多次元データを取得する処理と、取得した多次元データに基づき物体の識別を行う処理とに分けられる。
本実施形態に係る識別システム1は、以下のようにして、物体の偏角分光情報、偏角測色情報、及びBRDF情報、並びに光輝感、粒子感、光沢、ヘーズ(濁度又は曇度)、写像性、及びオレンジピール等の質感に関する情報を取得(測定)する。これらの各情報を用いて、物体の物理的特性に関する多次元データが生成される。このような物理的特性に関する多次元データは、物体は所定の特徴量の一例である。
まず、偏角分光情報、偏角測色情報、及びBRDF情報については、以下のようにして取得(測定)する。すなわち、所定の計算式で指定される範囲に設置された2つ以上の角度から光源装置30により物体に対して照明を照射し、分光カメラ装置20により1回の撮像動作を行うことで、反射光から2次元の分光情報を取得する。そして、物体の2次元の分光情報から得られる2次元画像内のX軸方向及びY軸方法の画素毎の照明方向と、撮像方向の光学幾何情報の変化を利用して、偏角分光情報を得る。これにより、2次元画像の面内を一様の物体と捉え、測定範囲として定めた角度範囲の偏角分光情報、偏角測色情報、及びBRDF情報を得ることができる。なお、BRDF情報とは、ある反射地点に、ある方向から光が入射したとき、それぞれの方向へどれだけの光が反射されるかを表す反射地点に固有の関数である。BRDF情報は、赤(R)、緑(G)、青(B)の3種類の光の波長の分光情報を用いる。
次に、光輝感、粒子感、光沢、ヘーズ、写像性、及びオレンジピール等の質感に関する情報については、以下のようにして取得(測定)する。
光輝感は、分光カメラ装置20の光学構成を、測定対象の物体に対する1ピクセルの分解能が例えば10〜100μmとなるような光学構成として、ハイダイナミックレンジ技術を使用し、18ビット以上のダイナミックレンジで撮影する。そして、照明角度毎、分光波長毎の明度ヒストグラムを計算し、角度及び波長毎の光輝面積と光輝強度を算出する。
粒子感は、上述した分解能の分光カメラ装置20で、照明角度毎の粒子画像における照明の正反射光を避けた拡散光として判定された画素のみを用いて画像の再構成を行う。そして、再構成した画像から明/暗の面積の均一性を粒子感として数値化する。均一性は、例えば、画像のエントロピーや分散を用いてもよいし、フーリエ解析によって求めてもよい。
光沢は、正反射光を撮像した画素について、人間の視感度である555nm付近の分光情報及び標準ガラス板での校正結果を用いて数値化する。
ヘーズは、正反射光と正反射光から1.9度〜3度ずれた測定対象の物体面について、人間の視感度である555nm付近の分光情報及び標準ガラス板での校正結果を用いて数値化する。
写像性は、投影装置40から投影した波長の短いスリット光(スリットパターンの光)を分光カメラ装置20で撮像し、人間の視感度である555nm付近の分光情報及び標準ガラス板での校正結果を用いて数値化する。
オレンジピールは、投影装置40から投影した波長の長いスリット光を分光カメラ装置20で撮像し、人間の視感度である555nm付近の分光情報及び標準ガラス板での校正結果を用いて数値化する。なお、オレンジピールとは、ディスプレイ材料の素材に起因する光の乱反射で斑点ムラの現象(ミカンの皮のブツブツのように見える現象)である。
次に、本実施形態に係る識別システム1は、上記のように生成された多次元データについて、以下のようにして物体の識別を行う。
まず、予め半教師あり学習により学習を行った次元削減手段及び次元復元手段を用いて、多次元データの次元数を所定の次元数に次元削減した後、元の次元数に復元させる。
次に、多次元データと、次元復元手段により次元数が復元されたデータとの誤差を示す誤差データを算出する。そして、誤差データを用いて、半教師あり異常検知の手法で実現される識別手段により、多次元データの識別を行う。これにより、識別対象の物体が例えば規格を満たす製品であるか否かを識別することができる。
なお、上述したように、次元削減手段及び次元復元手段並びに識別手段は、半教師あり学習により予め学習させておく必要がある。すなわち、識別システム1のユーザは、例えば所定の規格を満たす複数の製品(OK製品)を準備して、これらの複数の製品から複数の多次元データ(ポジティブデータ)を生成する。そして、これらの多次元データを用いて次元削減手段及び次元復元手段並びに識別手段を予め学習させておく必要がある。
ここで、ポジティブデータとは、例えば所定の規格を満たす製品を分光カメラ装置20で撮像することより生成される当該製品の物理的特性に関する多次元データである。他方、例えば所定の規格を満たさない製品を分光カメラ装置20で撮像することにより生成される当該製品の物理的特性に関する多次元データは、ネガティブデータと称される。
本実施形態に係る識別システム1は、以上のようにして、識別対象の物体の偏角分情報を含む多次元データの生成、及び識別対象の物体の識別の行うことができる。
<ハードウェア構成>
次に、本実施形態に係る識別システム1に含まれる情報処理装置10のハードウェア構成について説明する。図2は、本実施形態に係る情報処理装置の一例のハードウェア構成図である。図2に示す情報処理装置10は、CPU(Central Processing Unit)11と、HDD(Hard Disk Drive)12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14と、入力装置15と、表示装置16と、外部I/F17と、通信I/F18とを備え、それぞれがバスBで接続されている。
次に、本実施形態に係る識別システム1に含まれる情報処理装置10のハードウェア構成について説明する。図2は、本実施形態に係る情報処理装置の一例のハードウェア構成図である。図2に示す情報処理装置10は、CPU(Central Processing Unit)11と、HDD(Hard Disk Drive)12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14と、入力装置15と、表示装置16と、外部I/F17と、通信I/F18とを備え、それぞれがバスBで接続されている。
CPU11は、ROM14やHDD12等の記憶装置からプログラムやデータをRAM13上に読み出し、処理を実行することで、情報処理装置10全体の制御や機能を実現する演算装置である。
HDD12は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えば、本実施形態を実現するためのプログラム、情報処理装置10全体を制御する基本ソフトウェアであるOS(Operating System)、OS上において各種機能を提供するアプリケーションソフトウェア等がある。HDD12は格納しているプログラムやデータを所定のファイルシステム及び/又はDB(データベース)により管理している。なお、情報処理装置10は、HDD12の代わりに又はHDD12と併せて、SSD(Solid State Drive)等を備えていてもよい。
RAM13は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。ROM14は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)である。
入力装置15は、ユーザが各種操作信号を入力するのに用いられる装置であり、例えば、各種操作ボタン、タッチパネル、キーボード、マウス等である。表示装置16は、情報処理装置10による処理結果を表示する装置であり、例えば、ディスプレイ等である。
外部I/F17は、記録媒体17aとのインタフェースである。記録媒体17aには、例えば、USB(Universal Serial Bus)メモリ、SDカード、CD、DVD等がある。
通信I/F17は、分光カメラ装置20、光源装置30、投影装置40等と通信するためのインタフェースである。
本実施形態に係る情報処理装置10は、上記ハードウェア構成を有することにより、後述する各種処理を実現することができる。
<機能構成>
次に、本実施形態に係る識別システム1の機能構成について説明する。図3は、本実施形態に係る識別システムの一例の機能ブロック図である。
次に、本実施形態に係る識別システム1の機能構成について説明する。図3は、本実施形態に係る識別システムの一例の機能ブロック図である。
図3に示すように、情報処理装置10は、情報生成部110と、情報識別部120と、出力部130とを有する。
情報生成部110は、分光カメラ装置20の撮像部210により取得された分光情報に基づき、物体の物理的特性に関する情報を含む多次元データを取得・生成する。なお、情報生成部110は、物体の物理的特性に関する情報のうち、所定の情報のみを含む多次元データを生成してもよい。すなわち、生成される多次元データには、物体の物理的特性に関する情報のうち、例えばユーザ等により任意に選択された1以上の物体の物理的特性に関する情報を用いて多次元データが生成されてもよい。
情報生成部110は、校正情報取得部111と、情報校正部112と、測定値算出部113と、撮像制御部114と、光源制御部115と、パターン投影制御部116と有する。これら各機能部は、例えばCPU11等により実現される。
校正情報取得部111は、測定開始時等に、例えば標準白色板、標準黒ガラス又はミラー等の校正部材を読み取ることで、校正情報を取得する。情報校正部112は、校正情報取得部111により取得された校正情報を用いて、写像性、オレンジピール等の情報を校正する。測定値算出部113は、情報校正部112により校正された情報を用いて、物理的特性に関する情報の各情報の値を算出する。撮像制御部114は、分光カメラ装置20の撮像を制御する。光源制御部115は、光源装置30を制御する。パターン投影制御部116は、投影装置40を制御する。
情報識別部120は、物体の物理的特性に関する多次元データに基づき、当該物体が例えば規格を満たす製品であるか否かの識別を行う。情報識別部120は、図4に示すように、情報入力部121と、次元削減部122と、次元復元部123と、誤差算出部124と、識別処理部125とを有する。これら各機能部は例えばCPU11等により実現される。また、情報識別部120は、パラメータ設定部126を有する。当該機能部は例えばCPU11、入力装置15等により実現される。
情報入力部121は、情報生成部110により生成された多次元データを入力する。なお、情報入力部121は、例えば外部I/F17を介して記録媒体17aから多次元データを入力してもよい。
なお、以降では、次元削減部122、次元復元部123及び識別処理部125を予め学習するために用いる多次元データ(ポジティブデータ)を「学習データ1000」と表す。また、情報識別部120による識別対象となる多次元データを「識別対象データ2000」と表す。
次元削減部122は、入力された多次元データの次元数を削減する。すなわち、次元削減部122は、入力された多次元データを、この多次元データの特性を表し、かつ、この多次元データの次元数よりも少ない次元数のデータを生成する。なお、次元削減部122は、例えば、多層ニューラルネットワークの一種であるStacked Auto−Encodersや主成分分析(PCA:Principal Component Analysis)等の手法を用いることができる。
次元復元部123は、次元削減部122により次元数が削減された後の多次元データを、元の次元数に復元する。すなわち、次元復元部123は、次元削減部122により生成された次元数が削減されたデータを、元の多次元データの次元数に復元した多次元データを生成する。なお、次元復元部123は、次元削減部122と同様に、例えば、多層ニューラルネットワークの一種であるStacked Auto−Encodersや主成分分析等の手法を用いることができる。
誤差算出部124は、入力された多次元データが次元削減部122により次元削減されたことにより発生した誤差量を算出する。すなわち、誤差算出部124は、情報入力部121に入力された多次元データと、次元復元部123により次元数が復元された後の多次元データとの差分を計算することで、誤差量を算出する。
識別処理部125は、半教師あり異常検知の手法を用いて識別対象データ2000の識別を行う。すなわち、識別処理部125は、予め学習データ1000に基づき学習されたモデルと、予め設定されたパラメータ等に基づき、識別対象データ2000が例えばポジティブデータあるか否かを識別する。なお、識別処理部125が用いる半教師あり異常検知の手法は、例えば、密度ベースの外れ値検出手法であるLOF(Local Outlier Factor)やSVM(Support Vector Machine)の評価関数を変更した外れ値検出手法であるOne−Class SVM等を用いることができる。
パラメータ設定部126は、識別処理部125に対して識別対象データ2000を識別するためのパラメータを設定する。パラメータ設定部126により設定されるパラメータとしては、例えば、LOFスコアの基準値がある。例えば、ユーザによりある基準値が設定された場合、この基準値を超えるLOFスコアとなる識別対象データ2000が識別処理部125によりネガティブデータであると識別される。
出力部130は、識別処理部125による識別結果を出力する。
また、図3に示すように、分光カメラ装置20は、撮像部210を有する。撮像部210は、上述したように、光源装置30による複数の所定の角度からの光の照射に同期して、1回の撮像動作により2次元の分光情報を取得する。
また、図3に示すように、光源装置30は、点灯制御部310と、複数の照明部320とを有する。点灯制御部310は、光源制御部115の制御に従って複数の照明部320の点灯を制御する。照明部320は、光源であり、点灯制御部310の制御に従って点灯又は消灯する。
さらに、図3に示すように、投影装置40は、投影部410を有する。投影部410は、パターン投影制御部116の制御に従って、所定の空間周波数を有する投影パターンを照射する。
なお、上記では1台の情報処理装置10が、情報生成部110と、情報識別部120と、出力部130とを有する構成について説明したが、これに限られず、これらの各機能部の全部又は一部はそれぞれ異なる情報処理装置10が有していてもよい。また、これらの各機能部の全部又は一部は、分光カメラ装置20が有していてもよい。
<処理の詳細>
次に、本実施形態の処理の詳細を説明する。以降では、物体(試料)から当該物体の物理的特性に関する多次元データを取得する処理、及び物体(試料)から取得した多次元データに基づき物体の識別を行う処理について説明する。
次に、本実施形態の処理の詳細を説明する。以降では、物体(試料)から当該物体の物理的特性に関する多次元データを取得する処理、及び物体(試料)から取得した多次元データに基づき物体の識別を行う処理について説明する。
≪多次元データの取得処理≫
まず、物体(試料)から当該物体の物理的特性に関する多次元データを取得する処理の説明の前に、本実施形態に係る分光カメラ装置20の原理、及び分光カメラ装置20と光源装置30の各照明部320との位置関係について説明する。
まず、物体(試料)から当該物体の物理的特性に関する多次元データを取得する処理の説明の前に、本実施形態に係る分光カメラ装置20の原理、及び分光カメラ装置20と光源装置30の各照明部320との位置関係について説明する。
(分光カメラ装置20の原理)
本実施形態に係る分光カメラ装置20の原理について、図5を用いて説明する。図5では、理解を容易とするために、光学系としてのメインレンズ54は単レンズで示し、メインレンズ54の絞り位置Sを単レンズの中心としている。メインレンズ54の中心には、光学バンドパスフィルタとしてのカラーフィルタ56が配置されている。カラーフィルタ56は、XYZ表色系の等色関数に基づいた分光透過率を持つ色の三刺激値に対応したフィルタである。すなわち、カラーフィルタ56は、XYZ表色系の等色関数に基づいた分光透過率が異なる複数(ここでは3つ)のカラーフィルタ56a、56b、56cから構成されている。
本実施形態に係る分光カメラ装置20の原理について、図5を用いて説明する。図5では、理解を容易とするために、光学系としてのメインレンズ54は単レンズで示し、メインレンズ54の絞り位置Sを単レンズの中心としている。メインレンズ54の中心には、光学バンドパスフィルタとしてのカラーフィルタ56が配置されている。カラーフィルタ56は、XYZ表色系の等色関数に基づいた分光透過率を持つ色の三刺激値に対応したフィルタである。すなわち、カラーフィルタ56は、XYZ表色系の等色関数に基づいた分光透過率が異なる複数(ここでは3つ)のカラーフィルタ56a、56b、56cから構成されている。
このような光学バンドパスフィルタは、分光透過率が異なるフィルタを複数組み合わせて構成してもよいし、一つのフィルタ上で領域毎に分光透過率を異ならせるように構成してもよい。例えば、400nmから700nmまでの波長域において、20nm刻みで透過波長のピークを持った16種類の光学バンドパスフィルタを用いた場合、400nmから700nmまでの波長域においての分光情報を20nm刻みで取得することが可能である。
なお、実際には、図5に示すようにレンズ内にカラーフィルタ56が位置することはない。カラーフィルタ56は、メインレンズ54の絞り付近に配置される。「絞り付近」とは、絞り位置を含み、種々の画角の光線が通過できる部位を意味する。換言すれば、メインレンズ54に対するカラーフィルタ56の設計上の許容範囲を意味する。
図6に光線の入射角度が0度の場合の各カラーフィルタ56a、56b、56cの分光透過率を示す。図6における実線、破線、点線はそれぞれ、CIE−1931表色系で規定された等色関数に基づいたカラーフィルタ56a(FX)、56b(FY)、56c(FZ)の分光透過率TX(λ)、TY(λ)、TZ(λ)である。
図7に、カラーフィルタ56a(FX)、56b(FY)、56c(FZ)の幾何学的設計例を示す。図7では、カラーフィルタ56をおおよそ扇型に3等分しているが、全体を円形としてもよいし、矩形で分割してもよい。また、各フィルタの面積の割合も等分である必要はない。
図6に示すように、FZについての等色関数のラインで囲まれる面積は他に比べて小さい。この面積の大小は信号雑音比(SN比)の大きさに相関する。SN比を大きくするために、FZに対応するカラーフィルタ56cの面積を他に比べて大きくしてもよい。
次に、TX(λ)、TY(λ)、TZ(λ)の設計について説明する。図6の各分光透過率は、CIE−1931表色系で規定された等色関数とレンズのフィルタを除く光学系の分光透過率TL(λ)、および受光素子の分光感度S(λ)から設計される。すなわち、以下の(式1)〜(式3)で定義できる。
TX(λ)、TY(λ)、TZ(λ)は複雑な波形ではあるが、設計値に近い値で生成することが可能である。TX(λ)、TY(λ)、TZ(λ)は、一例として誘電体多層膜で生成することができる。誘電体多層膜は、光学的な干渉作用によりバンドパスフィルタとして機能する。カラーフィルタ56の分光透過率は、干渉作用でバンドパスフィルタを実現できるため、原理的に光線の入射角度依存性を持ち、一般に入射角度が大きくなるにつれて短波長側に透過帯域がシフトする。
図5に示すように、メインレンズ54の集光位置付近には、複数のマイクロレンズ(小レンズ)から構成されるマイクロレンズアレイ(MLA)53が配置されている。イメージ面には、メインレンズ54により集光された光情報を電子情報(電気信号)に変換する複数の受光素子(センサ)を備えた受光素子アレイ55が配置されている。MLA53のマイクロレンズの径と、受光素子アレイ55を構成する各受光素子とは、約「30:1〜2:1」の比率の関係にある。なお、MLA53のレンズアレイを構成するレンズの部分以外は、例えば酸化クロムを蒸着することにより形成した遮光部により遮光されている。遮光部は、曲率を持たない平坦部や曲率が製造的に設計値仕様を満たさない領域である。これらの領域からの光は、設計上意図しない光線を受光素子まで届けるおそれがあるため、遮光することで設計から想定される電気信号を得ることができる。これにより、正確な測定値を得ることができる。
受光素子アレイ55は、画素毎のカラーフィルタが実装されていないモノクロセンサである。以下、受光素子アレイを「モノクロセンサ」ともいう。図5に示す物体57から発する光のうち、メインレンズ54の開口に入射し絞りを通過する光束が測定の対象となる。メインレンズに入射した光束は、無数の光線の集合であり、それぞれの光線はメインレンズ54の絞りの異なる位置を通過する。図5の例の場合、メインレンズ54の絞り位置に、3つのカラーフィルタ56a、56b、56cを配置しているので、各光線は異なる分光透過率を持つ3つのフィルタを通過することになる。このとき、フィルタ面に入射する光線の角度は物体高さにより異なる。これは図5中、符号P、符号Qで示す物体上の点から発した光束の主光線が、異なる角度でメインレンズ54の絞り面を通過していることからもわかる。
カラーフィルタ56を通過した光線は、MLA53付近で一旦結像するが、その後MLA53によりそれぞれセンサの別位置に到達する。すなわち、センサ面の位置(受光位置)は、光線が通過したフィルタ面に対応するため、物体のある一点から発した光を波長的に三刺激値X、Y、Zに分解した値を測定することができる。しかし、上述したように、カラーフィルタ56の分光透過率は、入射角依存性を持つため、受光素子の出力を単純に用いただけでは、光軸上はよくても軸外を含めた二次元面の正確な三刺激値X、Y、Zを測定することは困難となる。
このため、分光カメラ装置20は、基準となる値と、分光カメラ装置20からの出力値から算出した値とを用いて受光位置毎に補正した二次元面の正確な三刺激値を得るようになっている。一般には、重回帰分析と呼ばれる手法である。重回帰分析では、説明変数と目的変数とを予め用意し、それらから求まる回帰行列を利用して補正演算を行う。以下にその手順を具体的に述べる。まず、分光カメラ装置20からの出力値を算出する手順について述べる。これは重回帰分析における説明変数に相当する。
図5の構成で撮影された画像は、図8に示すような小さな円が並んだものとなる。円になるのは単レンズ(メインレンズ54)の絞り形状が円形状だからである。ここでは、それぞれの小さな円を「マクロピクセル」と呼ぶこととする。各マクロピクセルは、レンズアレイを構成する各小レンズの直下に形成される。マクロピクセルの内部構造は、図7に示したカラーフィルタの構造に対応したものとなる。マクロピクセルの拡大図を図9に示す。図9と図7とを比べて、上下左右が反転しているのは、光学系を通過したことによるものである。ただし、この対応関係は光学系に依存するため、この例に限ったものではない。
マクロピクセルの内部構造MX、MY、MZは、それぞれ、カラーフィルタFX、FY、FZを通過した光が到達した結果である。MX、MY、MZの受光素子の出力値をv=[vX,vY,vZ]tとする。tは行列の転置を意味する。なお、出力値の取り方は、MX、MY、MZの平均値をとってもよいし、MX、MY、MZから一つの受光素子を選択し、その出力値を代表値としてもよい。
次に、基準となる値の取得方法について述べる。これは重回帰分析における目的変数に相当する。色空間において広い範囲をカバーする色見本を分光器等のX値、Y値、Z値を測定する装置で測定し、それらを基準の値とする。色見本としては、例えば広く用いられている「カラーチェッカー」と呼ばれる24色の矩形の色見本が並んだものを用いることができる。なお、色見本はカラーチェッカーに限られず、測定したい対象がわかっていれば、その色に近いものを基準の値とすることでより良い補正結果を得ることができる。ある色見本に対するX、Y、Z(三刺激値)の基準の値をr=[rX,rY,rZ]tとする。
次に、補正演算の流れを述べる。まず、色見本を測定器で測定し、基準の値を得る。色見本に24色のカラーチェッカーを用いた場合、便宜的に番号を付け、1番目の色に対する基準の値をr1=[r1X,r1Y,r1Z]tとする。すなわち、r1〜r24までの値を得る。そして、R=[r1,・・・,r24]とする。Rは、3行24列の行列となる。この行列Rが目的変数である。
次に、分光カメラ装置20で色見本を撮影し、撮像情報を取得する。このとき画像全体に一つの色見本が映るように配置する。各マクロピクセルからvを取得する。基準の値と同様にV=[v1,・・・,v24]を得る。このVが説明変数となる。ここまでで得られたR及びVから以下の(式4)により行列Gを求める。
実際に測定を行うときの流れを説明する。測定対象となる試料を、分光カメラ装置20で撮像する。撮像画像に含まれる各マクロピクセルについて出力値を算出する。これを、vC=[vCX,vCY,vCZ]tとする。次に、補正された三刺激値rCを、以下の(式5)の演算を行うことで算出する。マクロピクセル毎にrCを求めることで、二次元面の正確な三刺激値を求めることができる。
なお、分光カメラ装置20としては、図10の構成の分光カメラ装置20を用いてもよい。図10に示す分光カメラ装置20の場合、メインレンズ85の像位置とセンサ面88が共役関係になるようにマイクロレンズアレイ87を設けている。また、センサ面88上には、図11に示すように、複数の分光フィルタ89a〜89dを設けることにより、上記と同等の効果が得ることができる。
図10に示す分光カメラ装置20の場合、マイクロレンズアレイ87のレンズの数と分光フィルタ89a〜89dの数は一致する。そして、メインレンズ85の像を各々のマイクロレンズアレイ87で、各センサ位置に結像する。図10に示す分光カメラ装置20の場合、複雑な画像処理が不要であるため、高速演算が可能となる。また、各分光画像を、それぞれ隣接する撮像領域で同時に撮像可能であるため、センサ面88を有効に利用でき、図5等を用いて説明した上述の分光カメラ装置20よりも、より高解像度の分光画像を得ることができる。
また、メインレンズ85と、マイクロレンズアレイ87との間に、フィールドレンズ86を設けてもよい。このフィールドレンズ86を設けることで、各マイクロレンズアレイ87で作られる像の視差を低減できる。なお、フィールドレンズ86は、メインレンズ85の射出瞳とマイクロレンズアレイ87の入射瞳が共役関係にあることが好ましい。
(分光カメラ装置20と光源装置30の各照明部320との位置関係)
次に、本実施形態に係る分光カメラ装置20と光源装置30の各照明部320との位置関係について、図12及び図13を用いて説明する。
次に、本実施形態に係る分光カメラ装置20と光源装置30の各照明部320との位置関係について、図12及び図13を用いて説明する。
本実施形態に係る光源装置30は、平面上の試料(物体)61に対して、2つ以上の角度に設置された各照明部320a〜320eからそれぞれ光を照射する。そして、試料61に対して、例えば垂直方向(試料61の真上)又は図12に示すような上方(試料61の斜め上)に設置された分光カメラ装置20で、試料61の2次元の分光情報を、各照明部320a〜320eの光の照射角度毎に、1回の撮像動作で取得する。この場合において、本実施形態に係る識別システム1は、試料61のサイズ、被写体距離、分光カメラ装置20の画角に対応して、試料61の右端61a、左端61bにおける光の照射角および鏡面反射角と、試料61の右端61a、左端61bにおける分光カメラ装置20の視野角との差の角度(アスペキュラ角:aspecular)を、以下のような条件で設定する。そして、分光カメラ装置20の位置に対応して決定した偏角範囲における試料61の試料面の偏角分光情報を漏れなく取得する。
例えば、−15度から110度までの範囲の偏角分光情報を取得する場合、図12及び図13に示すように、試料61に対して45度の角度に分光カメラ装置20を設置する。また、図12及び図13に示すようにアスペキュラ角として、「角度A≦−15度≦角度C≦角度B≦角度E≦角度D≦角度G≦角度F≦角度I≦角度H≦110度≦角度J」となるように各照明部320を配置し、所望の偏角範囲の分光情報(偏角分光情報)を漏れなく取得する。
図12の構成において、例えば、試料61の直径を60mm、画角を22.6度の分光カメラ装置20と試料61との間の距離を150mm、試料61と各角度に設置された照明320a〜320eとの距離を、それぞれ150mmとする。この場合、図13に示すように、取得できる最大偏角範囲は−16度〜121度となる。同条件において、照明部320の数を増加した場合、最大で−54度〜142度の偏角範囲となる。
これに対して、0度から90度までの範囲の偏角分光情報を取得する場合は、図14に示すように、試料61に対して分光カメラ装置20を垂直に設置する。また、アスペキュラ角として、「角度N≦0度≦角度O≦角度K≦角度P≦角度L≦90度≦角度M」の条件を満たすように照明部320f〜320hを設置し、カバー範囲の偏角分光情報を漏れなく取得できるようにする。図14の例では、照明部320として照明部320f〜320hの計3つを設けたが、試料61のサイズ、被写体距離、分光カメラ装置20の画角、測定したい偏角範囲に応じた照明部320の数を設ければよい。
図14に示す構成において、試料61の直径を60mm、分光カメラ装置20と試料61との間の距離を150mm、試料61と各角度に設置された照明部320f〜320hとの間の距離をそれぞれ150mmとする。この場合、取得可能な最大偏角範囲は−23度〜101度となる。ASTM基準(E2539)では、パール色に対する通常のアスペキュラ角として−15度〜110度が推奨されている。しかし、試料によっては、アスペキュラ角が0〜90度でも、試料の特徴を把握可能な測定を行うことができる場合もある。このため、上述の図12の構成及び図14の構成は、試料に応じて使い分ければよい。
(物理的特性に関する多次元データの取得)
次に、試料(物体)61から物理的特性に関する情報を測定する測定処理及び測定された測定値の算出処理について説明する。これにより、本実施形態に係る識別システム1は、試料61の物理的特性に関する多次元データを取得することができる。
次に、試料(物体)61から物理的特性に関する情報を測定する測定処理及び測定された測定値の算出処理について説明する。これにより、本実施形態に係る識別システム1は、試料61の物理的特性に関する多次元データを取得することができる。
まず、処理の概要を説明する。図3において、情報処理装置10は、撮像制御部114で分光カメラ装置20の撮像制御を行う。また、情報処理装置10は、光源制御部115で各照明部320の点灯制御を行い、測定値算出部113で、試料61の物理的特性に関する各項目の測定値を算出する。なお、算出された測定値は、情報識別部120に出力してもよいし、例えばHDD12や記録媒体17a等の記憶装置に格納してもよい。
また、情報処理装置10は、試料の測定の前に、校正情報取得部111で標準白色板等の校正部材の読み取りを行い、偏角分光情報を校正するための校正情報を生成する。また、情報処理装置10は、写像性及びオレンジピールの測定時には、校正情報取得部111で均一な標準黒ガラス又は標準ミラー等の校正部材の読み取りを行い、偏角分光情報を校正するための校正情報を生成する。校正情報取得部111は、生成された校正情報を、HDD12やROM14等の記憶装置に格納する。情報校正部112は、測定により得られた試料の偏角分光情報を、校正情報を用いて校正する。測定値算出部113は、校正された偏角分光情報を用いて、各項目の測定値を算出する。なお、校正情報の生成は、例えば工場出荷時等の、試料の測定前に行っても良いし、校正部材を常備しておくことで、試料の測定毎に行ってもよい。
まず、通常の校正情報を取得する処理について図15を用いて説明する。ここで、通常の校正情報とは、写像性及びオレンジピールの測定値を算出するために用いる校正情報以外の校正情報をいう。
図15のステップS1501では、ユーザが手動で、又は校正情報取得部111が、標準白色板の移動機構を制御して、図12又は図14に示した試料61の設置位置(分光カメラ装置20の撮像範囲内)に標準白色板を設置する。
ステップS1502では、光源制御部115及び点灯制御部310は、図12又は図14に示した照明部320a〜320e、又は照明部320f〜320hのうち、いずれか一つの照明部320を点灯制御する。また、ステップS1503では、撮像制御部114は、点灯制御された照明部320からの光が照射された標準白色板を、ワンショットで撮像するように、分光カメラ装置20を撮像制御する。そして、校正情報取得部111は、標準白色板の撮像情報を校正情報として、例えばHDD12等の記憶装置に記憶させる。
本実施形態に係る識別システム1は、一つずつ、順次、照明部320を点灯制御しながら標準白色板を撮像する。ステップS1504では、撮像制御部114及び光源制御部115は、全ての照明部320に対応する撮像が完了したか否かを判別する。全ての照明部320に対応する撮像が完了していないと判別された場合(ステップS1504:No)、処理がステップS1502に戻る。そして、再度、次に点灯駆動される照明部320が、光源制御部115及び点灯制御部310により点灯駆動され、撮像制御部114の制御により、分光カメラ装置20による標準白色板の撮像が繰り返し行われる。これにより、例えばHDD12には、各照明部320に対応する各校正情報が格納される。
これに対して、全ての照明部320に対応する撮像が完了したと判別された場合(ステップS1504:Yes)、図15の処理が終了する。
本実施形態に係る識別システム1は、このように校正情報を取得すると、図16に示すように、試料の撮像を行うことで照明部320毎の偏角分光情報を取得し、各偏角分光情報を用いて、写像性及びオレンジピールを除く物理的特性の各項目の測定値を算出する。
図16のステップS1601では、ユーザが手動で、又は校正情報取得部111が移動機構を制御して、図12又は図14に示すように、分光カメラ装置20の撮像範囲内に試料61を設置する。
ステップS1602では、光源制御部115及び点灯制御部310は、図12又は図14に示した照明部320a〜320e、又は照明部320f〜320hのうち、いずれか一つの照明部320を点灯制御する。また、ステップS1603では、撮像制御部114は、点灯制御された照明部320からの光が照射された試料61を、ワンショットで撮像するように、分光カメラ装置20を撮像制御する。そして、撮像制御部114は、試料61の撮像情報である上述の偏角分光情報を、RAM13等の記憶部に記憶させる。
ここで、本実施形態に係る識別システム1は、光源制御部115が所定の露光時間となるように各照明部320a〜320eを点灯制御する動作(光量を変更する動作)、撮像制御部114が撮像時の露光時間を変更する動作のうち、いずれか一つ又は両方を行う。そして、測定値算出部113が、このような光量の変更または露光時間の変更に応じて取得した複数の2次元の分光情報を合成する。これにより、ダイナミックレンジを拡大した2次元の分光情報を生成することができる。
次に、本実施形態に係る識別システム1は、一つずつ、順次、照明部320を点灯制御しながら試料61を撮像する。ステップS1604では、撮像制御部114及び光源制御部115は、全ての照明部に対応する撮像が完了したか否かを判別する。全ての照明部320に対応する撮像が完了していないと判別された場合(ステップS1604:No)、処理がステップS1602に戻る。そして、再度、次に点灯駆動される照明部320が、光源制御部115により点灯駆動され、撮像制御部114の制御により、分光カメラ装置20による試料61の撮像が繰り返し行われる。これにより、例えばHDD12には、各照明部320に対応する各偏角分光情報が格納される。
次に、ステップS1604において、全ての照明部320に対応する撮像が完了したと判別された場合(ステップS1604:Yes)、処理がステップS1605に進む。ステップS1605では、情報校正部112は、例えばHDD12に記憶されている校正情報を用いて、RAM13に記憶されている偏角分光情報をそれぞれ補正(校正)する。そして、ステップS1606において、測定値算出部113は、補正された偏角分光情報を用いて、後述するように各項目の測定値を算出する。具体的には、測定値算出部113は、偏角分光情報、偏角測色情報、BRDF情報、光輝感、粒子感、光沢、及びヘーズの各項目の測定値を算出する。
次に、写像性及びオレンジピールの測定値を算出するために用いる校正情報の取得処理について、図17を用いて説明する。
図17のステップS1701では、ユーザが手動で、又は校正情報取得部111が、標準黒ガラス又はミラーの移動機構を制御して、図12又は図14に示した試料61の設置位置(分光カメラ装置20の撮像範囲内)に標準黒ガラス等を設置する。
ステップS1702では、光源制御部115及び点灯制御部310は、図12又は図14に示した照明部320a〜320e、又は照明部320f〜320hのうち、いずれか一つの照明部320を点灯制御する。また、ステップS1703では、撮像制御部114は、点灯制御された照明部320からの光が照射された標準黒ガラス等を、ワンショットで撮像するように、分光カメラ装置20を撮像制御する。そして、校正情報取得部111は、標準黒ガラス等の撮像情報を校正情報として、例えばHDD12等の記憶装置に記憶させる。
本実施形態に係る識別システム1は、一つずつ、順次、照明部320を点灯制御しながら標準黒ガラス等を撮像する。ステップS1704では、撮像制御部114及び光源制御部115は、全ての照明部320に対応する撮像が完了したか否かを判別する。全ての照明部320に対応する撮像が完了していないと判別された場合(ステップS1704:No)、処理がステップS1702に戻る。そして、再度、次に点灯駆動される照明部320が、光源制御部115及び点灯制御部310により点灯駆動され、撮像制御部114の制御により、分光カメラ装置20による標準黒ガラス等の撮像が繰り返し行われる。これにより、例えばHDD12には、各照明部320に対応する写像性及びオレンジピールの各校正情報が格納される。
これに対して、全ての照明部320に対応する撮像が完了したと判別された場合(ステップS1704:Yes)、図17の処理が終了する。
次に、このように写像性及びオレンジピールの各校正情報を取得すると、本実施形態に係る識別システム1は、図18に示すように、試料の撮像を行うことで照明部320毎の偏角分光情報を取得し、各偏角分光情報を用いて、写像性及びオレンジピールの測定値を算出する。
図18のステップS1801では、ユーザが手動で、又は校正情報取得部111が移動機構を制御して、図12又は図14に示すように、分光カメラ装置20の撮像範囲内に試料61を設置する。
ステップS1802では、光源制御部115及び点灯制御部310は、図12又は図14に示した照明部320a〜320e、又は照明部320f〜320hのうち、いずれか一つの照明部320を点灯制御する。また、ステップS1803では、撮像制御部114は、点灯制御された照明部320からの光が照射された試料61を、ワンショットで撮像するように、分光カメラ装置20を撮像制御する。そして、撮像制御部114は、試料61の撮像情報である上述の偏角分光情報を、RAM13等の記憶部に記憶させる。
次に、本実施形態に係る識別システム1は、一つずつ、順次、照明部320を点灯制御しながら試料61を撮像する。ステップS1804では、撮像制御部114及び光源制御部115は、全ての照明部に対応する撮像が完了したか否かを判別する。全ての照明部320に対応する撮像が完了していないと判別された場合(ステップS1804:No)、処理がステップS1802に戻る。そして、再度、次に点灯駆動される照明部320が、光源制御部115により点灯駆動され、撮像制御部114の制御により、分光カメラ装置20による試料61の撮像が繰り返し行われる。これにより、例えばHDD12には、各照明部320に対応する各偏角分光情報が格納される。
次に、ステップS1804において、全ての照明部320に対応する撮像が完了したと判別された場合(ステップS1804:Yes)、処理がステップS1805に進む。ステップS1805では、情報校正部112は、例えばHDD12に記憶されている写像性及びオレンジピールの校正情報を用いて、RAM13に記憶されている偏角分光情報をそれぞれ補正(校正)する。そして、ステップS1806において、測定値算出部113は、補正された偏角分光情報を用いて、後述するように写像性及びオレンジピールの測定値を算出する。
次に、物理的特性の各項目の測定値について、測定値算出部113による具体的な算出処理について説明する。本実施形態に係る識別システム1は、予め計算された範囲にそれぞれ異なる角度で設置された複数の照明部320から、試料に対して光を照射する。そして、試料からの反射光を、ワンショットで分光情報を取得可能な2次元の分光カメラ装置20で撮影し、撮像された2次元画像のX軸方向およびY軸方向の各画素における照明方向及び撮像方向の光学幾何条件の変化を利用して偏角分光情報を得る。
本実施形態に係る識別システム1は、面内を一様の試料と捉えている。そして、測定値算出部113は、測定範囲として定めた角度範囲の偏角分光情報を用いて、偏角測色情報及びBRDF情報を以下のように算出する。
(偏角分光情報)
偏角分光情報は、試料表面上のある点x(i,j,θ,λ)における偏角分光反射特性であり、上述のように、分光カメラ装置20により、各波長の情報としてHDD12等の記憶装置に保存される。なお、「i」は、X軸における受光素子上の座標、「j」は、Y軸における受光素子上の座標、「θ」は、アスペキュラ角、「λ」は、分光した波長である。
偏角分光情報は、試料表面上のある点x(i,j,θ,λ)における偏角分光反射特性であり、上述のように、分光カメラ装置20により、各波長の情報としてHDD12等の記憶装置に保存される。なお、「i」は、X軸における受光素子上の座標、「j」は、Y軸における受光素子上の座標、「θ」は、アスペキュラ角、「λ」は、分光した波長である。
(偏角測色情報)
偏角測色情報は、CIEで定められている通り、まず、上述の偏角分光情報を用いて、三刺激値XYZを計算する。そして、三刺激値XYZを用いて、所定の演算を行うことで、L*a*b*表色系又はL*u*v*表色系に変換し、これを偏角測色情報とする。
偏角測色情報は、CIEで定められている通り、まず、上述の偏角分光情報を用いて、三刺激値XYZを計算する。そして、三刺激値XYZを用いて、所定の演算を行うことで、L*a*b*表色系又はL*u*v*表色系に変換し、これを偏角測色情報とする。
(BRDF情報)
図19において、試料61の表面上のある点x(i,j)におけるBRDF情報は、入射と反射の双方向に依存し、照明部320の方向(θi,φi)からの入射光の強さに対する分光カメラ装置20の撮像方向(θr,φr)への反射光の強さの比として定義される。図19に示す角度Qはθi、角度Rはφi、角度Sはθr、角度Tはφrを示している。赤(R),緑(G),青(B)の3チャネル毎にBRDF情報を定義する。以下の(式7)のように、4つの角度QRSTをパラメータとするのが一般的であることから、測定値算出部113は、以下の(式7)の演算により、BRDF情報を算出する。
図19において、試料61の表面上のある点x(i,j)におけるBRDF情報は、入射と反射の双方向に依存し、照明部320の方向(θi,φi)からの入射光の強さに対する分光カメラ装置20の撮像方向(θr,φr)への反射光の強さの比として定義される。図19に示す角度Qはθi、角度Rはφi、角度Sはθr、角度Tはφrを示している。赤(R),緑(G),青(B)の3チャネル毎にBRDF情報を定義する。以下の(式7)のように、4つの角度QRSTをパラメータとするのが一般的であることから、測定値算出部113は、以下の(式7)の演算により、BRDF情報を算出する。
(光輝感)
分光カメラ装置20は、試料61に対する分解能が、1画素あたり、10〜100μmの分解能の光学構成を有している。そして、分光カメラ装置20は、ハイダイナミックレンジ技術を用いて、例えば18ビット以上のダイナミックレンジで試料61の撮像を行う。
分光カメラ装置20は、試料61に対する分解能が、1画素あたり、10〜100μmの分解能の光学構成を有している。そして、分光カメラ装置20は、ハイダイナミックレンジ技術を用いて、例えば18ビット以上のダイナミックレンジで試料61の撮像を行う。
このとき、測定値算出部113は、照明角度毎、分光波長毎に強度ヒストグラムを計算し、角度及び波長毎の光輝面積、光輝強度、及び光輝分散を算出する。具対的には、測定値算出部113は、例えば波長555nmにおいて、角度10度±2.5度の範囲毎に強度ヒストグラムを計算し、一定画素数以上の強度ヒストグラムを算出する。なお、この例では10度毎に計算しているが、例えば5度毎等、他のアスペキュラ角度で強度ヒストグラムを計算してもよい。
(粒子感)
分光カメラ装置20は、試料61に対する分解能が、1画素あたり、10〜100μmの分解能の光学構成を有している。そして、分光カメラ装置20は、ハイダイナミックレンジ技術を用いて、例えば18ビット以上のダイナミックレンジで試料61の撮像を行う。
分光カメラ装置20は、試料61に対する分解能が、1画素あたり、10〜100μmの分解能の光学構成を有している。そして、分光カメラ装置20は、ハイダイナミックレンジ技術を用いて、例えば18ビット以上のダイナミックレンジで試料61の撮像を行う。
このとき、測定値算出部113は、照明角度毎の粒子画像の照明の正反射光以外の拡散光と判定した画素のみを用いて、画像の再構成を行う。そして、測定値算出部113は、再構成した画像から明るい箇所及び暗い箇所の分散値を算出し、算出した分散値を粒子感の測定値とする。正反射光は、ノイズである場合も多く、粒子感の演算が不正確なものとなるおそれがある。しかし、正反射光以外の拡散光に対応する画素のみを用いて、上述の画像の再構成及び分散値の算出を行うことにより、粒子感の正確な数値化を図ることができる。なお、分散値が小さければ、塗装面に対して塗料の粒子が均一に分散していることを示し、分散値が大きければ、塗装面に対して塗料の粒子がまばらに分散していることを示す。なお、均一性の数値化は、画像のエントロピーを用いて算出してもよいし、フーリエ解析によって算出してもよい。
(光沢)
測定値算出部113は、光沢の測定値を算出する場合、鏡面反射光を撮像した画素について、人間の視感度である555nmの分光強度情報を用いる。そして、測定値算出部113は、日本工業規格(JIS) Z8741−1997 鏡面光沢度−測定方法(Specular glossiness Methods of measurement)に準じた、以下の(式8)の演算を行うことで、光沢の測定値を算出する。
測定値算出部113は、光沢の測定値を算出する場合、鏡面反射光を撮像した画素について、人間の視感度である555nmの分光強度情報を用いる。そして、測定値算出部113は、日本工業規格(JIS) Z8741−1997 鏡面光沢度−測定方法(Specular glossiness Methods of measurement)に準じた、以下の(式8)の演算を行うことで、光沢の測定値を算出する。
また、測定値算出部113は、三刺激値XYZを変換した上述のL*a*b*表色系の情報からフロップインデックス(Flop Index)を算出し、フロップ特性(明るさの変化の度合い)を算出する。フロップインデックスとは、角度毎のL*a*b*表色系の情報の値と、ハイライトとシェードの間で見られる明度の相対的な変化である。
フロップインデックスの計算式としては、測定値算出部113は、デュポン社(DuPont社)が開発した、以下の(式9)を用いる。
(ヘーズ)
測定値算出部113は、正反射光と正反射光から1.9度〜3度ずれた試料面について、人の視感度である555nmの分光強度情報から、例えばASTMにより規定される「ASTM E−430 Test Method B」等の演算を行い、ヘーズの測定値を算出する。
測定値算出部113は、正反射光と正反射光から1.9度〜3度ずれた試料面について、人の視感度である555nmの分光強度情報から、例えばASTMにより規定される「ASTM E−430 Test Method B」等の演算を行い、ヘーズの測定値を算出する。
(写像性)
写像性の測定値を算出する場合、図20に示すように、投影装置40から試料に投影した所定の短波長のスリット光80を、分光カメラ装置20で撮像する。測定値算出部113は、人間の視感度である555nm付近の分光強度情報を用いて、例えば以下の(式10)に示すASTM D5767−95 Test Method Bの演算を行い、写像性及びオレンジピールの測定値を算出する。
写像性の測定値を算出する場合、図20に示すように、投影装置40から試料に投影した所定の短波長のスリット光80を、分光カメラ装置20で撮像する。測定値算出部113は、人間の視感度である555nm付近の分光強度情報を用いて、例えば以下の(式10)に示すASTM D5767−95 Test Method Bの演算を行い、写像性及びオレンジピールの測定値を算出する。
(オレンジピール)
オレンジピールの測定値を算出する場合、写像性と同様に図20に示したように、投影装置40からスリット光80を投影して分光カメラ装置20で撮像するのであるが、オレンジピールの測定時には、所定の長い波長のスリット光を投影して撮像を行う。測定値算出部113は、人の視感度である555nm付近の分光強度情報を用いて、例えば上述の(式10)を用いて、オレンジピールの測定値を算出する。オレンジピールについては、周期の長いスリット光80を用いることで、写像性よりも周期の長い大局的な凹凸特性を評価することができる。
オレンジピールの測定値を算出する場合、写像性と同様に図20に示したように、投影装置40からスリット光80を投影して分光カメラ装置20で撮像するのであるが、オレンジピールの測定時には、所定の長い波長のスリット光を投影して撮像を行う。測定値算出部113は、人の視感度である555nm付近の分光強度情報を用いて、例えば上述の(式10)を用いて、オレンジピールの測定値を算出する。オレンジピールについては、周期の長いスリット光80を用いることで、写像性よりも周期の長い大局的な凹凸特性を評価することができる。
以上のようにして、測定された物体(試料)の物理的特性に関する多次元データとして、偏角分光情報、偏角測色情報、BRDF情報、光輝感、粒子感、光沢、ヘーズ、写像性、及びオレンジピールの各測定値が算出される。ただし、多次元データには、上記の物理的特性に関する測定値を必ずしもすべて含める必要はなく、上記測定値のうち例えばユーザ等が選択した項目の測定値のみが含まれるようにしてもよい。ただし、多次元データには、少なくとも偏角分光情報が含まれることが好ましい。
≪識別処理≫
次に、上記のように物体(試料)から取得した多次元データに基づき物体の識別を行う処理について説明する。ただし、上述したように、次元削減部122及び次元復元部123並びに識別処理部125は、予め半教師あり学習の手法を用いて学習させておく必要がある。したがって、まず最初に、次元削減部122及び次元復元部123並びに識別処理部125を半教師あり学習の手法を用いて学習させる処理について説明する。
次に、上記のように物体(試料)から取得した多次元データに基づき物体の識別を行う処理について説明する。ただし、上述したように、次元削減部122及び次元復元部123並びに識別処理部125は、予め半教師あり学習の手法を用いて学習させておく必要がある。したがって、まず最初に、次元削減部122及び次元復元部123並びに識別処理部125を半教師あり学習の手法を用いて学習させる処理について説明する。
(学習処理)
まず、複数のポジティブデータを学習データ1000として準備する。これは、例えば所定の規格を満たす製品(試料)について、上記の多次元データの取得処理で説明したように、多次元データを取得し、これを学習データ1000とすればよい。このようにして準備した学習データ1000を用いて、次元削減部122及び次元復元部123並びに識別処理部125を半教師あり学習の手法を用いて学習させる処理について、図21を用いて説明する。
まず、複数のポジティブデータを学習データ1000として準備する。これは、例えば所定の規格を満たす製品(試料)について、上記の多次元データの取得処理で説明したように、多次元データを取得し、これを学習データ1000とすればよい。このようにして準備した学習データ1000を用いて、次元削減部122及び次元復元部123並びに識別処理部125を半教師あり学習の手法を用いて学習させる処理について、図21を用いて説明する。
ステップS2101では、情報入力部121は、学習データ1000を入力する。なお、情報入力部121は、学習データ1000を、例えば、外部I/F17を介して記録媒体17aから入力してもよいし、HDD12等の記憶装置から入力してもよい。また、情報入力部121は、学習データ1000を、例えば、通信I/F18を介してLANやインターネット等のネットワークから入力してもよい。さらに、上記のように学習データ1000を予め準備しておくのではなく、試料を分光カメラ装置20により都度撮像して生成した多次元データを入力してもよい。
なお、例えば、複数の分光カメラ装置20を用いて上記の学習データ1000を準備する場合、それぞれの分光カメラ装置20のキャリブレーションを調整しておく必要がある。すなわち、それぞれの分光カメラ装置20により生成される多次元データは、予め調整されたキャリブレーション情報により補正(校正)された多次元データである。このことは、後述する識別処理において複数の分光カメラ装置20を用いる場合も同様である。
ステップS2102では、次元削減部122及び次元復元部123は、入力された学習データ1000を用いて、学習を行う。なお、ここでは一例として次元削減部122及び次元復元部123が、主成分分析の手法を用いて実現される場合又はStacked Auto−Encodersの手法を用いて次元される場合の2つの場合について説明する。ただし、次元削減部122及び次元復元部123は、これらの2つの場合に限られず、種々の次元削減及び次元復元の手法を用いて実現することができる。
(主成分分析)
まず、次元削減部122及び次元復元部123が主成分分析の手法を用いて実現される場合について説明する。この場合、次元削減部122及び次元復元部123の学習とは、入力された学習データ1000に基づき、各主成分に対応する固有ベクトルを求めることに相当する。以降では、一例として、学習データ1000は、30個の100次元のベクトルデータであるものとして説明する。また、次元削減部122は、100次元のベクトルデータを、25次元のベクトルデータに削減するものとする。ただし、次元削減部122による次元削減後の次元数は、設計事項であり、25次元に限られず、任意の次元数でよい。このことは、Stacked Auto−Encodersの手法を用いる場合も同様である。
まず、次元削減部122及び次元復元部123が主成分分析の手法を用いて実現される場合について説明する。この場合、次元削減部122及び次元復元部123の学習とは、入力された学習データ1000に基づき、各主成分に対応する固有ベクトルを求めることに相当する。以降では、一例として、学習データ1000は、30個の100次元のベクトルデータであるものとして説明する。また、次元削減部122は、100次元のベクトルデータを、25次元のベクトルデータに削減するものとする。ただし、次元削減部122による次元削減後の次元数は、設計事項であり、25次元に限られず、任意の次元数でよい。このことは、Stacked Auto−Encodersの手法を用いる場合も同様である。
このとき、各学習データ10001〜100030を、それぞれy1、・・・、y30として、以下のように表す。
同様に、上記の(式14)で求めた固有値λのうち、λ1の次に大きい値の固有値λが第二主成分となる。したがって、これをλ2と表し、このλ2に対して上記の(式15)により求められた固有ベクトルをx2とする。
以降、同様にして固有ベクトルx3〜x25を得ることができる。ここで得られた固有ベクトルx1〜x25は、例えば、HDD12等に保存される(つまり、次元削減部122による削減後の次元数と同数の固有ベクトルを保存する)。これにより、学習データ1000を用いて、次元削減部122及び次元復元部123が学習される。なお、後述する処理(識別処理)において、ここで得られた固有ベクトルx1〜x25を用いて、次元削減及び次元復元が行われる。
(Stacked Auto−Encoders)
次に、次元削減部122及び次元復元部123が多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて実現される場合について説明する。この場合、次元削減部122及び次元復元部123の学習とは、入力された学習データ1000に基づき、Stacked Auto−Encodersの各層のネットワーク係数(これは「重み」とも称される)を調整することに相当する。
次に、次元削減部122及び次元復元部123が多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて実現される場合について説明する。この場合、次元削減部122及び次元復元部123の学習とは、入力された学習データ1000に基づき、Stacked Auto−Encodersの各層のネットワーク係数(これは「重み」とも称される)を調整することに相当する。
なお、Stacked Auto−Encodersとは、Auto−Encoderと呼ばれるニューラルネットワークを積み重ねて多層とした構成のニューラルネットワークである。ここで、Auto−Encoderとは、入力層と出力層のニューロン数(ユニット数)が同数であり、かつ、中間層(隠れ層)のニューロン数(ユニット数)が入力層(出力層)より少ない構成のニューラルネットワークである。
以降では、一例として、次元削減部122及び次元復元部123は、図22に示すような5層から構成されるStacked Auto−Encodersにより実現されるものとして説明する。すなわち、次元削減部122は、入力された100次元のベクトルデータを、50次元のベクトルデータに次元削減した後、25次元のベクトルデータに削減する。一方、次元復元部123は、入力された25次元のベクトルデータを、50次元のベクトルデータに次元復元した後、100次元のベクトルデータに次元復元する。図22に示すStacked Auto−Encodersの学習について、図23を用いて説明する。ここで、各学習データ1000は、主成分分析の場合と同様に、上記の(式11)で表されるものとする。
Stacked Auto−Encodersの学習は、Stacked Auto−Encodersを構成するAuto−Encoder毎に行われる。したがって、図22に示すStacked Auto−Encodersは、Stacked Auto−Encodersを構成する第1のAuto−Encoder及び第2のAuto−Encoderについて、学習を行う(図23のS1及びS2)。そして、最後に、Fine−trainingと呼ばれる学習を行う(図23のS3)。
S1)まず、図22のStacked Auto−Encodersを構成する第1のAuto−Encoderについて、学習データ1000を用いて学習を行う。すなわち、第1層(入力層)のニューロン数が100、第2層(中間層、隠れ層)のニューロン数が50、第3層(出力層)のニューロン数が100の第1のAuto−Encoderについて、学習データ1000を用いて学習を行う。
このような学習は、各i(i=1,・・・,30)に対して、yiを第1のAuto−Encoderの入力データ及び教師データとして誤差逆伝播法(Backpropagation)により学習を行えばよい。つまり、学習データ1000を用いて、第1のAuto−Encoderの入力データと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行う。
S2)次に、図22のStacked Auto−Encodersを構成する第2のAuto−Encoderについて、第1のAuto−Encoderの第2層(中間層、隠れ層)に対する入力データを用いて学習を行う。
ここで、第1のAuto−Encoderにおいて、入力層(第1層)の各ニューロンと第2層の上からj番目のニューロンとの間のネットワーク係数をそれぞれw1,j、・・・、w100,jとすると、第2のAuto−Encoderの入力データは以下で表される。
S3)Stacked Auto−Encodersを構成するすべてのAuto−Encoderについて学習を行った後、Fine−training(又は、Fine−Tuning)と呼ばれる学習を行う。Fine−trainingとは、学習を行ったすべてのAuto−Encoderから構成されたStacked Auto−Encodersについて学習データ1000を用いて学習を行うことである。すなわち、各i(i=1,・・・,30)に対して、yiをStacked Auto−Encodersの入力データ及び教師データとして誤差逆伝播法により学習を行えばよい。つまり、学習データ1000を用いて、Stacked Auto−Encodersの入力データと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行う。
このようなFine−trainingを最後に行うことで、Stacked Auto−Encodersの各ネットワーク係数が微調整され、次元削減部122及び次元復元部123の性能を向上させることができる。すなわち、後述する識別処理において、入力された識別対象データ2000の識別処理部125による識別精度を向上させることができる。
なお、上記では、一例として、各層のニューロン数が100、50、25、50、100である5層のStacked Auto−Encodersを用いて、説明したが、これに限られない。Stacked Auto−Encodersの各層のニューロン数、及び、ニューラルネットワークを構成する層の数は設計事項であり、任意の数を選択することができる。
ステップS2103では、誤差算出部124は、各学習データ1000について次元削減及び次元復元された後の誤差を算出する。すなわち、上記のステップS2102で学習された次元削減部122及び次元復元部123に、各学習データ1000を入力する。そして、誤差算出部124は、入力された各学習データ1000と、次元復元された後の各学習データ1000との誤差を算出する。
例えば、入力される各学習データ1000が上記の(式11)で表されるものとする。このとき、各yiを入力して次元削減部122により次元削減した後、次元復元部123により次元復元した結果(出力)をそれぞれYiとすると、誤差算出部124は、各iに対してyiとYiの差分を計算することにより誤差Δiを算出する。つまり、誤差算出部124は、各i(i=1〜30)に対して以下を計算する。
ステップS2104では、識別処理部125は、上記のステップS2103で算出された誤差Δiを用いて学習を行う。
例えば、識別処理部125に用いる外れ値検出手法としてLOFを用いる場合、誤差Δiを多次元空間(上記の例では100次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。なお、このようなデータ集合は、例えば、HDD12等に格納すればよい。
また、例えば、識別処理部125に用いる外れ値検出手法としてOne−Class SVMを用いる場合、誤差Δiを多次元空間(上記の例では100次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。そして、このデータ集合と、多次元空間上の所定の点とを分ける所定の平面(又は曲面)を求める。
このように識別処理部125を学習させておくことで、後述する識別処理において、LOFやOne−Class SVM等の外れ値検出手法を用いて識別対象データ2000の識別を行うことができる。
以上のように、本実施形態に係る識別システム1は、ポジティブデータのみを用いた半教師付き学習の手法により学習を行う。したがって、例えば、不良品をほとんど準備することができない製品や場合(例えば、製品の試作段階等)等においても適切に学習を行うことができる。また、本実施形態に係る識別システム1は、半教師付き学習の手法を用いているため、例えば想定外(未知)のネガティブデータ(不良品)に対しても、後述する識別処理において適切に識別を行うことができる。
(識別処理)
次に、上記で説明したような学習処理を行った次元削減部122、次元復元部123、及び識別処理部125を用いて、識別対象データ2000の識別を行う処理について、図24を用いて説明する。識別対象データ2000は、例えば、上記の多次元データの取得処理で説明したように、物体(試料)を測定することにより取得・生成された多次元データである。本処理において識別対象データ2000を識別することにより、例えば測定対象の物体(試料)が、所定の規格を満たすか否かや所定の複数の品質区分(ランク)のうちのいずれに分類されるか等を識別することができる。
次に、上記で説明したような学習処理を行った次元削減部122、次元復元部123、及び識別処理部125を用いて、識別対象データ2000の識別を行う処理について、図24を用いて説明する。識別対象データ2000は、例えば、上記の多次元データの取得処理で説明したように、物体(試料)を測定することにより取得・生成された多次元データである。本処理において識別対象データ2000を識別することにより、例えば測定対象の物体(試料)が、所定の規格を満たすか否かや所定の複数の品質区分(ランク)のうちのいずれに分類されるか等を識別することができる。
ステップS2401では、情報入力部121は、識別対象データ2000を入力する。なお、情報入力部121は、識別対象データ2000を、例えば、上記の多次元データの取得処理で説明したように、識別対象となる物体(試料)を分光カメラ装置20で撮像することにより生成して入力する。また、情報入力部121は、識別対象データ2000を、例えば、外部I/F17を介して記録媒体17aから入力してもよいし、HDD12等の記録装置から入力してもよい。さらに、情報入力部121は、識別対象データ2000を、例えば、通信I/F18を介してLANやインターネット等のネットワークから入力してもよい。
ステップS2402及びステップS2403では、次元削減部122は、入力された識別対象データ2000の次元数を削減して、特徴ベクトルを生成する。そして、次元復元部123は、特徴ベクトルの次元数を、識別対象データ2000と同じ次元数に復元する。なお、ここでは一例として次元削減部122及び次元復元部123が、主成分分析の手法を用いて実現される場合又はStacked Auto−Encodersの手法を用いて次元される場合の2つの場合について説明する。ただし、次元削減部122及び次元復元部123は、これらの2つの場合に限られず、種々の次元削減及び次元復元の手法を用いて実現することができる。
(主成分分析)
まず、次元削減部122及び次元復元部123が主成分分析の手法を用いて実現される場合について説明する。以降では、識別対象データ2000は、100次元のベクトルデータであるものとして説明する。また、次元削減部122は、100次元のベクトルデータを、25次元のベクトルデータに削減するものとする。
まず、次元削減部122及び次元復元部123が主成分分析の手法を用いて実現される場合について説明する。以降では、識別対象データ2000は、100次元のベクトルデータであるものとして説明する。また、次元削減部122は、100次元のベクトルデータを、25次元のベクトルデータに削減するものとする。
このとき、識別対象データ2000を、aとして、以下のように表す。
次に、上記で得られた特徴ベクトルλを用いて、各jに対して以下を計算する。
以上のようにして、次元削減部122及び次元復元部123は、主成分分析の手法を用いて識別対象データ2000の次元削減及び次元復元を行う。
(Stacked Auto−Encoders)
次に、次元削減部122及び次元復元部123が多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて実現される場合について説明する。ここで、識別対象データ2000は、主成分分析の場合と同様に、上記の(式18)で表されるものとする。
次に、次元削減部122及び次元復元部123が多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて実現される場合について説明する。ここで、識別対象データ2000は、主成分分析の場合と同様に、上記の(式18)で表されるものとする。
このとき識別対象データ2000を示す多次元データa=[a1,a2,・・・,a100]を、上記の学習処理により予め学習された図22に示すStacked Auto−Encodersの第1層(入力層)に入力する。すると、Stacked Auto−Encodersにより次元削減及び次元復元された出力データである多次元データA=[A1,A2,・・・,A100]を得ることができる。すなわち、図22に示すStacked Auto−Encodersに多次元データaを入力すると、次元削減部122により50次元に次元削減した後、さらに25次元に次元削減する。このようにして得られた25次元の多次元データが特徴ベクトルλである。そして、特徴ベクトルλを次元復元部123により50次元に次元復元した後、さらに100次元に次元復元し、多次元データAを得ることができる。
以上のようにして、次元削減部122及び次元復元部123は、多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて識別対象データ2000の次元削減及び次元復元を行う。
ステップS2404では、誤差算出部124は、識別対象データ2000について次元削減及び次元復元された後の誤差を算出する。すなわち、上記のステップS2402及びS2403で得られた多次元データAと、識別対象データ2000を示す多次元データaとを誤差算出部124に入力して、aとAの差分を計算することにより誤差Δを算出する。つまり、誤差算出部124は、以下を計算する。
なお、上記のステップS2404の処理を行わないようにしてもよい。ただし、この場合、学習処理ではステップS2103の処理も同様に行わないようにする必要がある。又は、上記のステップS2403及びステップS2404の処理を行わないようにしてもよい。ただし、この場合も、学習処理ではステップS2103の処理を行わないようにする必要がある。
ステップS2405において、識別処理部125は、上記のステップS2404で算出された誤差Δを用いて、識別対象データ2000の識別を行う。
例えば、識別処理部125に用いる外れ値検出手法としてLOFを用いる場合、予め学習処理においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、誤差Δをプロットする。そして、誤差Δをプロットした点のまわりの点の密度に基づきLOF値(LOFスコア)を算出し、算出されたLOFスコアが所定の基準値以上である場合、識別処理部125は、識別対象データ2000を異常値データあると判別する。なお、上記の所定の基準値は、パラメータ設定部126を用いて予めユーザ等により設定された値である。すなわち、ユーザは、例えば入力装置15を介して所望の値を入力又は選択することにより、パラメータ設定部126により上記の基準値が設定される。
ここで、上記の所定の基準値は、複数設定されていてもよい。例えば、第1の基準値>第2の基準値>第3の基準値の関係にある基準値が設定されている場合、識別対象データ2000のLOFスコアが、第1の基準値を超える場合、識別対象の製品は不良品であり、第1の基準値以下で第2の基準値を超える場合、識別対象の製品の品質は「普通」あり、第2の基準値以下で第3の基準値を超える場合、識別対象の製品の品質は「良」であると識別される。すなわち、このように複数の基準値を設定することにより、識別対象データ2000が複数のクラスのうちのいずれのクラスに分類されるかを識別することができる。
また、例えば、識別処理部125に用いる外れ値検出手法としてOne−Class SVMを用いる場合、予め学習処理においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、誤差Δをプロットする。そして、誤差Δを入力とした所定の関数値(評価関数の値)が、学習処理において求めた所定の平面(又は曲面)によって分けられた多次元空間のいずれに属するかにより、識別対象データ2000が異常値データであるか否かを判別する。すなわち、例えば、識別処理部125は、誤差Δを入力とした所定の関数値が、所定の点が含まれる多次元空間に属する場合、識別対象データ2000をネガティブデータあると識別する。一方、識別処理部125は、誤差Δを入力とした所定の関数値が、ポジティブデータを表すデータ集合が含まれる多次元空間に属する場合、識別対象データ2000をポジティブデータであると識別する。
このようにして、識別処理部125は、識別対象データ2000を識別することができる。本実施形態に係る識別システム1は、上記のように、予めポジティブデータにより学習された次元削減部122及び次元復元部123により次元削減及び次元復元を行った結果と、入力データとの誤差を用いることにより高い精度で識別を行うことができる。
ステップS2406では、出力部130は、上記のステップS2405における識別結果を、例えば表示装置16に出力する。出力部130により表示装置16に出力される内容は、例えば、識別対象の物体(試料)が所定の規格を満たすものであるか否かを示す情報である(例えば、識別した製品がOK製品かNG製品かを示す情報)。
また、出力部130は、識別を行った複数の物体(試料)についての図25に示すようなヒストグラムを表示させてもよい。図25に示すヒストグラムでは、識別を行った複数の物体(試料)に対応する識別対象データ2000のLOFスコアの頻度である。また、このとき、図25に示すように、LOFスコアがb(第1の基準値)を超えるものはクラス「C」(例えば不良品)に分類され、a(第2の基準値)以上b未満のものはクラス「B」(例えば普通品)に分類され、a以下のものはクラス「A」(例えば良品)に分類される等の情報を出力してもよい。したがって、ユーザは、出力部130により出力された例えば図25に示すようなヒストグラムを参考にして、入力装置15を用いてパラメータ(基準値)を直接入力又は所定の記憶領域に記憶された複数の候補値から選択する。これにより、パラメータ設定部126により識別処理部125が用いるパラメータが設定される。
ユーザが例えば入力装置15等を用いてパラメータ設定部126により設定できるパラメータは、上記のLOFスコアの基準値に限られず、例えば、識別処理部125による識別の誤検出率と未検出率との比等であってもよい。ここで、誤検出率とは、識別対象データ2000がポジティブデータであるにも関わらずネガティブデータであると識別されてしまう割合であり、他方、未検出率とは識別対象データ2000がネガティブデータであるにも関わらずポジティブデータであると識別されてしまう割合である。このような誤検出率と未検出率とは、トレードオフの関係にある。
このような誤検出率と未検出率との比をユーザが設定するために、例えば、予めラベル付けされた所定のデータ群を用いて図26のような識別処理部125の識別性能を示すグラフを算出して表示させる。そして、ユーザは、このグラフに基づき誤検出率と未検出率との比を設定することをできるようにしてもよい。図26の例では、誤検出率と未検出率との比がx1/y1に設定されている例である。
上記で説明したようにユーザは、パラメータ設定部126により識別処理部125が識別対象データ2000を識別するための基準値等のパラメータを設定することができる。これにより、ユーザは、識別対象の物体や試料等の製品について、「OK製品/NG製品」や「良品/普通品/不良品」等の基準を容易に設定することができる。
特に、本実施形態に係る識別システム1では、物体(試料)から得られた多次元データに対して、上記のように1次元又は2次元のパラメータを設定することで上記の基準が容易に設定される。換言すれば、ユーザは、高次元で表されるデータについて、このデータを分類するための基準を低次元のパラメータで容易に設定することできる。
なお、上記では、識別処理部125による識別結果が出力部130により表示装置16に出力される場合について説明したが、これに限られない。例えば、本実施形態に係る識別システム1をある製品の工場の生産ラインに適用し、ライン上の製品が不良品か否かを識別するような場合、不良品と識別された製品は異なるラインに流れるように制御するようにしてもよい。すなわち、出力部130による識別結果の出力先は、任意の装置、機器、システム等であってよい。
なお、本実施形態に係る識別システム1の応用例としては、例えば、上記の学習処理において学習させたデータ量に応じて、不図示の課金手段によりユーザに対して課金を行うというものが挙げられる。これは、一般に、上記の学習処理において学習させたデータ量が多い程、識別処理部125により識別性能は向上するためである。また、上記の識別処理において識別したデータ量に応じて、不図示の課金手段によりユーザに対して課金を行ってもよい。
なお、情報入力部121は、データ取得手段の一例である。識別処理部125は、識別手段の一例である。出力部130は、出力手段の一例である。次元削減部122は、次元削減手段の一例である。次元復元部123は、次元復元手段の一例である。誤差算出部124は、誤差算出手段の一例である。パラメータ設定部126は、設定手段の一例である。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
1 識別システム
10 情報処理装置
20 分光カメラ装置
30 光源装置
40 投影装置
110 情報生成部
111 校正情報取得部
112 情報校正部
113 測定値算出部
114 撮像制御部
115 光源制御部
116 パターン投影制御部
120 情報識別部
121 情報入力部
122 次元削減部
123 次元復元部
124 誤差算出部
125 識別処理部
126 パラメータ設定部
130 出力部
210 撮像部
310 点灯制御部
320 照明部
410 投影部
10 情報処理装置
20 分光カメラ装置
30 光源装置
40 投影装置
110 情報生成部
111 校正情報取得部
112 情報校正部
113 測定値算出部
114 撮像制御部
115 光源制御部
116 パターン投影制御部
120 情報識別部
121 情報入力部
122 次元削減部
123 次元復元部
124 誤差算出部
125 識別処理部
126 パラメータ設定部
130 出力部
210 撮像部
310 点灯制御部
320 照明部
410 投影部
Claims (13)
- 1以上の情報処理装置を含む情報処理システムであって、
識別対象である物体の所定の特徴量を示す多次元の第1のデータを取得するデータ取得手段と、
前記データ取得手段により取得された前記第1のデータと予め設定された1以上の所定の基準値とに基づき、半教師あり異常検知の手法を用いて、前記第1のデータが複数のクラスのうちのいずれのクラスに分類されるかを識別する識別手段と、
前記識別手段による識別結果を出力する出力手段と、
を有する情報処理システム。 - 前記第1のデータの所定の次元数を削減した第2のデータを生成する次元削減手段と、
前記第2のデータの次元数を、前記第1のデータの次元数と同じ次元数に復元した第3のデータを生成する次元復元手段と、
前記第1のデータと前記第3のデータとの差分を計算することにより、誤差を示す誤差データを算出する誤差算出手段とを有し、
前記識別手段は、
前記第1のデータと、前記誤差データと、前記所定の基準値とに基づき、半教師あり異常検知の手法を用いて、前記第1のデータが複数のクラスのうちのいずれのクラスに分類されるかを識別する、請求項1記載の情報処理システム。 - 前記識別手段は、
前記第1のデータが、正常なデータを示すクラス又は異常なデータを示すクラスのいずれに分類されるかを識別する、請求項1又は2記載の情報処理システム。 - ユーザが1以上の前記所定の基準値を設定する設定手段を有し、
前記設定手段は、
前記ユーザが直接に入力することにより、又は、予め所定の記憶領域に記憶されている複数の基準値から選択することにより、前記所定の基準値を設定する、請求項1ないし3のいずれか1項に記載の情報処理システム。 - 前記情報処理システムは、1以上の分光カメラ装置を含み、
前記第1のデータは、前記分光カメラ装置により生成された多次元のデータである、請求項1ないし4のいずれか1項に記載の情報処理システム。 - 前記多次元のデータは、
前記物体に対して複数の角度から照明を照射して、前記分光カメラ装置により前記複数の角度毎に前記物体を撮像することにより生成した二次元の分光情報である、請求項5記載の情報処理システム。 - 前記第1のデータは、前記1以上の分光カメラ装置により生成された多次元のデータを、それぞれのキャリブレーション情報により調整した多次元データである、請求項5又は6記載の情報処理システム。
- 前記出力手段は、
前記1以上の所定の基準値に基づくヒストグラムを出力する、請求項1ないし7のいずれか1項に記載の情報処理システム。 - 前記データ取得手段は、
前記第1のデータと、該第1のデータが複数のクラスのうちのいずれのクラスに分類されるかを示すラベル情報とを取得し、
前記出力手段は、
前記ラベル情報に基づき、前記識別手段による識別性能を表す情報を出力する、請求項1ないし7のいずれか1項に記載の情報処理システム。 - 前記識別手段を半教師あり異常検知の手法を用いて学習させたデータ量に応じた金額を課金情報として記録する課金手段を有する請求項1ないし9のいずれか1項に記載の情報処理システム。
- 情報処理装置であって、
識別対象である物体の所定の特徴量を示す多次元の第1のデータを取得するデータ取得手段と、
前記データ取得手段により取得された前記第1のデータと予め設定された1以上の所定の基準値とに基づき、半教師あり異常検知の手法を用いて、前記第1のデータが複数のクラスのうちのいずれのクラスに分類されるかを識別する識別手段と、
前記識別手段による識別結果を出力する出力手段と、
を有する情報処理装置。 - 1以上の情報処理装置を含む情報処理システムに用いられる情報処理方法であって、
識別対象である物体の所定の特徴量を示す多次元の第1のデータを取得するデータ取得手順と、
前記データ取得手順により取得された前記第1のデータと予め設定された1以上の所定の基準値とに基づき、半教師あり異常検知の手法を用いて、前記第1のデータが複数のクラスのうちのいずれのクラスに分類されるかを識別する識別手順と、
前記識別手順による識別結果を出力する出力手順と、
を有する情報処理方法。 - 情報処理装置を、
識別対象である物体の所定の特徴量を示す多次元の第1のデータを取得するデータ取得手段、
前記データ取得手段により取得された前記第1のデータと予め設定された1以上の所定の基準値とに基づき、半教師あり異常検知の手法を用いて、前記第1のデータが複数のクラスのうちのいずれのクラスに分類されるかを識別する識別手段、
前記識別手段による識別結果を出力する出力手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014226113A JP2016091359A (ja) | 2014-11-06 | 2014-11-06 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014226113A JP2016091359A (ja) | 2014-11-06 | 2014-11-06 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016091359A true JP2016091359A (ja) | 2016-05-23 |
Family
ID=56018652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014226113A Pending JP2016091359A (ja) | 2014-11-06 | 2014-11-06 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016091359A (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016138789A (ja) * | 2015-01-27 | 2016-08-04 | 地方独立行政法人北海道立総合研究機構 | 分光イメージングシステム |
JP6241576B1 (ja) * | 2016-12-06 | 2017-12-06 | 三菱電機株式会社 | 検査装置及び検査方法 |
JP2017219529A (ja) * | 2016-06-07 | 2017-12-14 | 株式会社豊田中央研究所 | 外観異常検査装置、方法、及びプログラム |
JP2018009906A (ja) * | 2016-07-14 | 2018-01-18 | 株式会社ポート電子 | 打音診断装置及び診断方法 |
JP2018018313A (ja) * | 2016-07-28 | 2018-02-01 | 国立大学法人信州大学 | 画像判別装置及び画像判別方法 |
JP2018060401A (ja) * | 2016-10-06 | 2018-04-12 | ソリッドビジョン株式会社 | 撮像処理装置 |
JP2018120300A (ja) * | 2017-01-23 | 2018-08-02 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
CN110008924A (zh) * | 2019-04-15 | 2019-07-12 | 中国石油大学(华东) | 一种面向高光谱影像中地物的半监督自动标记方法与装置 |
JP2019174481A (ja) * | 2016-08-22 | 2019-10-10 | キユーピー株式会社 | 検査装置及び検査装置の識別手段の学習方法 |
WO2020022473A1 (ja) * | 2018-07-26 | 2020-01-30 | 国立大学法人 東京大学 | 計測装置、計測システム、計測プログラム、及び計測方法。 |
WO2021002111A1 (ja) * | 2019-07-03 | 2021-01-07 | 富士フイルム株式会社 | 学習装置、学習装置の作動方法、学習装置の作動プログラム、並びに運用装置 |
WO2021002110A1 (ja) * | 2019-07-03 | 2021-01-07 | 富士フイルム株式会社 | 学習装置、学習装置の作動方法、学習装置の作動プログラム、並びに運用装置 |
WO2021161779A1 (ja) * | 2020-02-13 | 2021-08-19 | 大王製紙株式会社 | 廃プラスチックの材質判定装置、材質判定方法、及び材質判定プログラム |
CN113688875A (zh) * | 2021-07-29 | 2021-11-23 | 中国船舶重工集团公司第七一九研究所 | 工业系统故障识别方法及装置 |
JP2022051076A (ja) * | 2020-09-18 | 2022-03-31 | 株式会社デンソーエレクトロニクス | 外観検査装置および外観検査方法 |
JP7452313B2 (ja) | 2020-07-30 | 2024-03-19 | コニカミノルタ株式会社 | 変角特性の取得方法、画像処理方法、画像表示方法、変角特性の取得装置、および変角特性の取得条件決定プログラム |
WO2024075579A1 (ja) * | 2022-10-07 | 2024-04-11 | 東京エレクトロン株式会社 | 基板処理システム及び基板異常検出方法 |
WO2024090134A1 (ja) * | 2022-10-27 | 2024-05-02 | 富士フイルム株式会社 | 光学部材、処理装置、処理方法、及びプログラム |
-
2014
- 2014-11-06 JP JP2014226113A patent/JP2016091359A/ja active Pending
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016138789A (ja) * | 2015-01-27 | 2016-08-04 | 地方独立行政法人北海道立総合研究機構 | 分光イメージングシステム |
JP2017219529A (ja) * | 2016-06-07 | 2017-12-14 | 株式会社豊田中央研究所 | 外観異常検査装置、方法、及びプログラム |
JP2018009906A (ja) * | 2016-07-14 | 2018-01-18 | 株式会社ポート電子 | 打音診断装置及び診断方法 |
JP2018018313A (ja) * | 2016-07-28 | 2018-02-01 | 国立大学法人信州大学 | 画像判別装置及び画像判別方法 |
JP2019174481A (ja) * | 2016-08-22 | 2019-10-10 | キユーピー株式会社 | 検査装置及び検査装置の識別手段の学習方法 |
US11079334B2 (en) * | 2016-08-22 | 2021-08-03 | Kewpie Corporation | Food inspection apparatus, method of inspecting food, and method of learning in identification unit of food inspection apparatus |
JP2018060401A (ja) * | 2016-10-06 | 2018-04-12 | ソリッドビジョン株式会社 | 撮像処理装置 |
WO2018105028A1 (ja) * | 2016-12-06 | 2018-06-14 | 三菱電機株式会社 | 検査装置及び検査方法 |
US11645744B2 (en) | 2016-12-06 | 2023-05-09 | Mitsubishi Electric Corporation | Inspection device and inspection method |
CN110036279A (zh) * | 2016-12-06 | 2019-07-19 | 三菱电机株式会社 | 检查装置和检查方法 |
CN110036279B (zh) * | 2016-12-06 | 2022-03-15 | 三菱电机株式会社 | 检查装置和检查方法 |
DE112016007498B4 (de) * | 2016-12-06 | 2020-11-26 | Mitsubishi Electric Corporation | Untersuchungseinrichtung und untersuchungsverfahren |
JP6241576B1 (ja) * | 2016-12-06 | 2017-12-06 | 三菱電機株式会社 | 検査装置及び検査方法 |
JP2018120300A (ja) * | 2017-01-23 | 2018-08-02 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
JPWO2020022473A1 (ja) * | 2018-07-26 | 2021-08-02 | 国立大学法人 東京大学 | 計測装置、計測システム、計測プログラム、及び計測方法。 |
EP3812743A4 (en) * | 2018-07-26 | 2022-03-09 | The University of Tokyo | MEASURING DEVICE, MEASURING SYSTEM, MEASURING PROGRAM AND MEASURING PROCEDURE |
US11874225B2 (en) | 2018-07-26 | 2024-01-16 | The University Of Tokyo | Measurement device, measurement system, measurement program, and measurement method |
CN112771367A (zh) * | 2018-07-26 | 2021-05-07 | 国立大学法人东京大学 | 测量装置、测量系统、测量程序以及测量方法 |
WO2020022473A1 (ja) * | 2018-07-26 | 2020-01-30 | 国立大学法人 東京大学 | 計測装置、計測システム、計測プログラム、及び計測方法。 |
CN110008924A (zh) * | 2019-04-15 | 2019-07-12 | 中国石油大学(华东) | 一种面向高光谱影像中地物的半监督自动标记方法与装置 |
JP7321263B2 (ja) | 2019-07-03 | 2023-08-04 | 富士フイルム株式会社 | 学習装置、学習装置の作動方法、学習装置の作動プログラム、並びに運用装置 |
WO2021002110A1 (ja) * | 2019-07-03 | 2021-01-07 | 富士フイルム株式会社 | 学習装置、学習装置の作動方法、学習装置の作動プログラム、並びに運用装置 |
JPWO2021002111A1 (ja) * | 2019-07-03 | 2021-01-07 | ||
CN114008631A (zh) * | 2019-07-03 | 2022-02-01 | 富士胶片株式会社 | 学习装置、学习装置的动作方法、学习装置的动作程序及运用装置 |
CN114072811A (zh) * | 2019-07-03 | 2022-02-18 | 富士胶片株式会社 | 学习装置、学习装置的动作方法、学习装置的动作程序及运用装置 |
JP7321264B2 (ja) | 2019-07-03 | 2023-08-04 | 富士フイルム株式会社 | 学習装置、学習装置の作動方法、学習装置の作動プログラム、並びに運用装置 |
WO2021002111A1 (ja) * | 2019-07-03 | 2021-01-07 | 富士フイルム株式会社 | 学習装置、学習装置の作動方法、学習装置の作動プログラム、並びに運用装置 |
JPWO2021002110A1 (ja) * | 2019-07-03 | 2021-01-07 | ||
EP3995997A4 (en) * | 2019-07-03 | 2022-11-16 | FUJIFILM Corporation | LEARNING DEVICE, METHOD FOR OPERATING LEARNING DEVICE, OPERATING PROGRAM FOR LEARNING DEVICE, AND OPERATING DEVICE |
WO2021161779A1 (ja) * | 2020-02-13 | 2021-08-19 | 大王製紙株式会社 | 廃プラスチックの材質判定装置、材質判定方法、及び材質判定プログラム |
JP2021128062A (ja) * | 2020-02-13 | 2021-09-02 | 大王製紙株式会社 | 廃プラスチックの材質判定装置、材質判定方法、及び材質判定プログラム |
JP7452313B2 (ja) | 2020-07-30 | 2024-03-19 | コニカミノルタ株式会社 | 変角特性の取得方法、画像処理方法、画像表示方法、変角特性の取得装置、および変角特性の取得条件決定プログラム |
JP2022051076A (ja) * | 2020-09-18 | 2022-03-31 | 株式会社デンソーエレクトロニクス | 外観検査装置および外観検査方法 |
CN113688875A (zh) * | 2021-07-29 | 2021-11-23 | 中国船舶重工集团公司第七一九研究所 | 工业系统故障识别方法及装置 |
CN113688875B (zh) * | 2021-07-29 | 2024-05-03 | 中国船舶重工集团公司第七一九研究所 | 工业系统故障识别方法及装置 |
WO2024075579A1 (ja) * | 2022-10-07 | 2024-04-11 | 東京エレクトロン株式会社 | 基板処理システム及び基板異常検出方法 |
WO2024090134A1 (ja) * | 2022-10-27 | 2024-05-02 | 富士フイルム株式会社 | 光学部材、処理装置、処理方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016091359A (ja) | 情報処理システム、情報処理装置、情報処理方法、及びプログラム | |
JP6384183B2 (ja) | 試料測定装置および試料測定プログラム | |
Polder et al. | Spectral image analysis for measuring ripeness of tomatoes | |
JP6390252B2 (ja) | 試料測定装置および試料測定プログラム | |
JP6816572B2 (ja) | 色測定装置、色測定方法及びプログラム | |
US9984307B2 (en) | Coloring inspection apparatus and coloring inspection method | |
US6734962B2 (en) | Near infrared chemical imaging microscope | |
JP2013238576A (ja) | 変角分光イメージング測定方法およびその装置 | |
US12111258B2 (en) | Instruments and methods for characterizing the appearance of samples | |
Stokman et al. | Color measurement by imaging spectrometry | |
CN111492198B (zh) | 物体形状测量装置和方法以及程序 | |
Garcia-Allende et al. | Quality control of industrial processes by combining a hyperspectral sensor and Fisher's linear discriminant analysis | |
JP2021113744A (ja) | 撮像システム | |
AU2020215098B2 (en) | Method and device for detecting and adjusting decorative colour formulations in alignment with the visual perception of texture characteristics | |
JP2018004509A (ja) | 測色システムおよび検査装置 | |
Picollo et al. | Application of hyper-spectral imaging technique for colorimetric analysis of paintings | |
WO2017026296A1 (ja) | 試料測定装置 | |
KR100809553B1 (ko) | 컬러 이미지 센서 평가 장치 및 방법 | |
Vrhel et al. | Evaluation of figures of merit for colorimetric cameras | |
Sedman et al. | Infrared Imaging: principles and practices | |
Klein | Multispectral imaging: aberrations and acquisitions from different viewing positions | |
Blank et al. | Experimental study of the optical transfer function (OTF) and spectral accuracy of the imaging hyperspectrometer based on the Offner scheme | |
US12025562B2 (en) | Method for optical monitoring and/or determination of properties of sample | |
Toivonen | Practical Spectral Diffraction Imaging | |
Khan et al. | Hyperspectral document imaging: challenges and perspectives |