JP2014132257A - 類似度判定システム及び類似度判定方法 - Google Patents

類似度判定システム及び類似度判定方法 Download PDF

Info

Publication number
JP2014132257A
JP2014132257A JP2013204755A JP2013204755A JP2014132257A JP 2014132257 A JP2014132257 A JP 2014132257A JP 2013204755 A JP2013204755 A JP 2013204755A JP 2013204755 A JP2013204755 A JP 2013204755A JP 2014132257 A JP2014132257 A JP 2014132257A
Authority
JP
Japan
Prior art keywords
similarity determination
feature amount
similarity
determination system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013204755A
Other languages
English (en)
Inventor
Takeshi Maruyama
剛 丸山
Kensuke Masuda
憲介 増田
Yuji Yamanaka
祐治 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013204755A priority Critical patent/JP2014132257A/ja
Priority to US14/083,871 priority patent/US20140153775A1/en
Publication of JP2014132257A publication Critical patent/JP2014132257A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters

Abstract

【課題】今までのFAカメラでは困難であった色の細かな違いの判定や、ある特定の色の判定を高精度に行うことができる類似度判定システムを提供する。
【解決手段】類似度判定システム10は、撮像手段としての撮像装置12と、処理基板30と、PC32と、外部通信部34とから構成されている。処理基板30は、物体のスペクトル情報を算出するスペクトル情報算出手段と、スペクトル情報を特徴量に変換する特徴量変換手段と、基準物の一つまたは複数の特徴量から類似判定基準を生成する類似判定基準生成手段と、被検物の特徴量と類似判定基準とを照合し、前記基準物に対する被検物の同一性を判定する類似度判定手段とを有している。
【選択図】図1

Description

本発明は、色等の類似度を判定し、基準物に対する被検物の同一性を判定する類似度判定システム及び類似度判定方法に関する。
例えば、製造ラインでの製品検査では、CCDやCMOSなどの撮像素子を利用したエリアセンサを内蔵したFA(Factory Automation)カメラで製品の色合いをチェックし、色合いの違いが同一性を超える製品を不良品として除外することが行われている。
FAカメラによる色判定は、撮像素子の分光特性を利用した色判定であり、RGB輝度値の類似度により判定を行っている。
しかしながら、このような方法では撮像素子の分光反射率に依存してしまい、色の細かな違いは判定できない。
また、ある特定の色に関しては著しく判定精度が低下するなどの問題があった。
色判定用カメラとしては従来、上記のようにFAカメラ等の通常のカラーカメラが用いられていた。
通常のカラーカメラでは、センサの分光感度が人間の見た目と近くなるように設計されているが、周りの照明光、被験物と照明光の位置関係の違いによりカメラで撮影される色合いが異なり、判定結果に影響をおよぼす。
このため、最終的には人間の目視検査に頼らざるを得ない部分があった。人間の目視による場合、検査精度の均一性が確保できない懸念を避けられない。
特許文献1には、二次元の分光反射率特性を測定する目的で、波長可変フィルタを用いて、波長領域が異なる複数のチャンネルを切り替え、撮影されたマルチバンド画像より、撮影被写体の分光反射率のスペクトルを推定する方法が開示されている。
この方法では、人間の見た目とは無関係な3以上(6程度)のバンド数で検知したスペクトル情報を用いて判定を行うので、照明光等の影響を軽減できる。
しかしながら、特許文献1に開示された技術を応用し、色等の類似度を精度良く判定するための具体的な構成は未だ提案されていない。
本発明は、このような現状に鑑みて創案されたもので、今までのFAカメラでは困難であった色の細かな違いの判定や、ある特定の色の判定を高精度に行うことができる類似度判定システムの提供を、その目的とする。
また、今まで人間が目視で行っていた検査精度のバラツキを抑制し、均一化に寄与することができる類似度判定システムの提供を、その主な目的とする。
上記目的を達成すべく、本発明は、撮像手段により検出された撮像情報から物体のスペクトル情報を算出するスペクトル情報算出手段と、前記スペクトル情報算出手段により得られたスペクトル情報を特徴量に変換する特徴量変換手段と、前記特徴量変換手段により得られた、基準物の一つまたは複数の特徴量から類似判定基準を生成する類似判定基準生成手段と、前記特徴量変換手段により得られた被検物の特徴量と、前記類似判定基準生成手段で得られた前記類似判定基準とを照合し、前記基準物に対する被検物の同一性を判定する類似度判定手段と、を有している類似度判定システムとした。
また、本発明は、類似度判定方法において、撮像手段により検出された撮像情報から物体のスペクトル情報を算出し、算出されたスペクトル情報を特徴量に変換してなり、基準物の一つまたは複数の特徴量から類似判定基準を生成し、被検物の特徴量と前記類似判定基準とを照合し、前記基準物に対する被検物の同一性を判定することを特徴とする。
本発明によれば、今までのFAカメラでは困難であった色の細かな違いの判定や、ある特定の色の判定を高精度に行うことができる。
これにより、今まで人間が目視で行っていた検査精度のバラツキを抑制し、均一化に寄与することができる。
本発明の一実施形態に係る類似度判定システムの構成を示す概要図である。 プレノプティックカメラとしての撮像装置の原理を説明するための模式図である。 撮像装置の構成を示す概要断面図である。 制御ブロック図である。 画像の位置回転変換を示す図である。 撮像装置で撮影した画像データの一例を示す平面図である。 マクロピクセルの拡大図である。 特徴量を内包する囲み形状が円の場合を示す図である。 特徴量を内包する囲み形状が多角形の場合を示す図である。 制御部の状態遷移を示す模式図である。 制御部がティーチング状態での動作を示すフローチャートである。 制御部が運用状態での動作を示すフローチャートである。 色判定アプリを行う際のPC上でのユーザ操作を示すフローチャートで、(a)はティーチング状態のフローチャート、(b)は運用状態のフローチャートである。 被検物とカメラの設置状態を示す図である。 PCのディスプレイにおける色判定アプリの表示画面を示した図である。 同ディスプレイにおいて、位置回転変換された画像が示された状態の図である。 同ディスプレイにおいて、色測定する座標を指定した状態の図である。 同ディスプレイにおいて、色評価用座標を指定した状態の図である。 同ディスプレイにおいて、判定結果が表示された状態の図である。
以下、本発明の実施形態を図を参照して説明する。
図1は、本実施形態に係る類似度判定システムの概要構成図である。類似度判定システム10は、撮像手段としての撮像装置12と、処理基板30と、PC(パーソナルコンピュータ)32とから構成されている。
撮像装置12の撮像素子で得られた画像は、処理基板30に転送される。
処理基板30は、撮像装置12で撮影された画像に対して処理を施し、色判定をするための演算、主に画像処理を行う。
PC32は処理基板30と通信可能であり、画像処理のパラメータの指定や、撮影画像の表示、処理基板30で処理された結果などを表示する。
PC32の代わりにタッチパネル式の専用端末などを用意してもよいし、処理基板と一体化したような構成も可能である。
すなわち、PC等の端末内に処理基板の機能を持たせてもよい。
処理基板30は外部通信ライン34を介して外部機器36と通信を行う。例えば、撮影指示(撮影トリガー)を処理基板30に与える、処理基板30の動作状態を監視する、処理基板30から判定結果を受け取ることなどが可能である。
一般に、処理基板30はPLC(Programmable logic controller)と接続されることが多い。
撮像装置12は、ライトフィールドカメラ(プレノプティックカメラ)の構成を有している。
撮像装置12の構成を具体的に説明する前に、図2に基づいてプレノプティックカメラの原理を説明する。
ここでは、機能原理を分かり易く説明するために、第1の光学系としての光学系2は単レンズで示し、光学系2の絞り位置Sを単レンズの中心としている。
単レンズ2の中心には、フィルタ手段を構成する3種類のフィルタf1(R:レッド)、f2(G:グリーン)、f3(B:ブルー)が並べられている。
実際にはレンズ内にフィルタが位置することはない。
単レンズ2の集光位置付近には、第2の光学系としてのマイクロレンズアレイ(以下、「MLA」という)3が配置されている。図中のイメージ領域4においては、撮像素子としてのセンサ5が配置されている。
センサ5は、光学系により集光された光情報を電子情報に変換するセンサである。
MLA3は、撮像素子の二次元平面方向と略平行に複数のレンズが並んだレンズアレイである。
ここでは、簡便な理解のために、センサ5はモノクロセンサとする。
物体1の一点から広がった光は、単レンズ2上の異なる位置に入射し、位置に応じて異なる分光特性を有するフィルタf1〜f3を通過する。
フィルタを通過した光は、MLA3付近で一度結像するが、その後MLA3により、各々センサ5の別位置に照射される。
この時、ある一点からの異なる分光特性を持つ光が、センサ5上に異なる位置に照射されるために、一度に複数の分光情報をセンサ5上に投影することができる。
物体1の上記一点とは異なった位置の分光情報も、上記と同様に、センサ5の異なる位置に照射され、最終的に画像処理で、分光特性毎に並べ替えを実施することで、分光特性毎の二次元画像を一度に取得することができる。
この原理を応用すれば、単レンズ2の絞り付近に複数のバンドパスフィルタを配置することで、物体の二次元のスペクトルをリアルタイム(瞬時的)に計測することができる。
ここで、「絞り付近」とは、絞り位置を含み、種々の画角の光線が通過できる部位を意味する。
本発明に係るフィルタ手段は、異なる分光特性を有する複数のフィルタで構成される場合と、異なる分光特性を有する複数のフィルタ領域で構成される場合とがある。
前者の場合は複数のフィルタを結合ないし組み合わせて構成され、後者の場合は一体物のフィルタにおいて領域毎に分光特性が異なる構成となる。
撮像装置(以下、単に「カメラ」ともいう)12の構成を図3に基づいて具体的に説明する。
撮像装置12は、レンズモジュール18と、カメラ部20とから構成されており、カメラ部20には、FPGA(Field-Programmable Gate Array)14が内蔵されている。
FPGA14は、撮像装置12により取得された分光情報に基づいて複数種類の分光画像を生成する分光画像生成手段である。
FPGA14は撮像装置12の外部に設けられていてもよい。
レンズモジュール18は、鏡筒22と、該鏡筒22内に設けられた第1の光学系としてのメインレンズ24と、該メインレンズの絞り付近に配置されたフィルタ手段26と、レンズ28とを有している。
カメラ部20は、その内部に第2の光学系としてのMLA3と、撮像素子としてのモノクロセンサ(以下、単に「センサ」ともいう)6と、FPGA14とを有している。
MLA3は、メインレンズ24の光軸と直交する二次元方向に複数のマイクロレンズを配置した構成を有している。
図示しないが、センサ上には、MLA3とは異なり、1画素ずつに対応したマイクロレンズが実装されている。
一般的なカラーセンサは、ベイヤー配列でRGBのカラーフィルタが画素毎に配備されている。
図4に基づいて、処理基板30を構成する各モジュールの概要を説明する。
符号301は撮像装置12のセンサとのI/Fであり、制御部310からのセンサ設定をセンサに送信するとともに、センサから出力された画像データをサブアパーチャデータ生成部305へ転送する。
符号302はPC32とのI/Fであり、PC32で設定されたユーザ設定値を受け取り、判定結果や画像データなどをPC32に送信する。
符号303は外部とのI/Fであり、撮影トリガーを外部から受け取る、処理基板30の動作状態を出力する、判定結果を出力する、などの動作を行う。
符号304は位置回転変換部であり、センサで撮影された画像に対して位置移動・回転移動を施す。
例えば、図5(a)に示すように、画像(撮影画像)が得られた場合、図5(b)に示すように、画像から4頂点(黒丸)を検出する(検出画像)。
そして、図5(c)に示すように、4頂点が画面の規定の位置にくるように、位置・回転移動を行う(位置回転画像)。
この処理は、撮像装置12で撮影する被験物が画面内での位置が異なる場合に生じる誤差を軽減するために行うもので、毎回同じ位置に撮影できるように配置できるメカニカルな機構を別途用意できる場合には必要ない。
図4において、符号305はサブアパーチャデータ生成部を示し、センサから得られた撮像データからサブアパーチャデータを生成する。
図6は、画像データとサブアパーチャデータの対応関係を説明するための図である。
画像データは、同図に示すように、小さな円が並んだものとなる。円になるのはメインレンズの絞り形状が円であるためである。
それぞれの小さな円を、ここでは「マクロピクセル」と呼ぶこととする。各マクロピクセルはMLAを構成する各小レンズの直下に形成される。
また、マクロピクセルごとに、X方向(横方向:x0、x1、x2、・・・)、Y方向(縦方向:y0、y1、y2、・・・)にインデックスを設けて、これをサブアパーチャデータの座標系とする。
本実施例では、マクロピクセルの数とサブアパーチャデータの座標系を一対一に対応させているが、これに限定せず、一対二、もしくはそれ以外でも実現可能である。
また、マクロピクセル内の画素データからそのマクロピクセルにおける各分光フィルタに対応したNバンドのデータを取得することをバンドデータの算出と呼ぶ。
ここでの算出は、複数の画素データから平均値を算出することや、1つの画素データを取得することも概念に含む。
N次元(バンド)のバンドデータを各マクロピクセルから算出し、X方向、Y方向に2次元的に配列したデータをサブアパーチャデータと呼ぶ。
以下詳細にサブアパーチャデータを生成する手順を示す。
マクロピクセルの拡大図を図7に示す。マクロピクセルは本例では、図に示すように各分光フィルタに対応して6つの領域に分かれている。
それぞれの領域をここでは「メゾピクセル」と呼ぶこととする。マクロピクセルおよび各メゾピクセルは画像データ上では、すなわちセンサの画素上では、複数画素にまたがって撮像されている。
そのマクロピクセル内のメゾピクセルを構成する複数の画素を利用して、各マクロピクセルの各バンドに対応するバンドデータを算出することになる。
例えば、#1のバンドパスフィルタに対応するバンドデータの値を算出する場合には、メゾピクセルと対応する画像データ上の複数画素の輝度値を平均して#1のバンドデータとする。
ここでは平均としたが、特にそれには限定しない。上述のようにメゾピクセルに含まれる1つの画素の輝度値をそのままバンドデータとしても良い。#2から#6についても同様である。
いま、図6の左上端のマクロピクセル(x0、y0)に対応する6バンドのデータを取得する場合には、そのマクロピクセルを構成する各メゾピクセルに対応するデータを取得することに相当する。
ほかのマクロピクセルについても同様に6バンドのデータを取得し、取得したバンドデータをX方向、Y方向に2次元に配列することで、サブアパーチャデータが生成される。
図4において、符号306は撮像装置12により検出された撮像情報から物体のスペクトル情報を算出するスペクトル情報算出手段としてのスペクトル情報算出部を示している。
スペクトル情報算出部306は、サブアパーチャデータ生成部305で得られたサブアパーチャデータから座標値(x,y)に対するスペクトル情報(=高次元の分光情報)を算出する。
低次元情報(ここでは6バンドデータ)から高次元の分光情報(ここでは連続的な分光反射率)を推定する手法はすでに開示されている方法を用いることができる(非特許文献1の第4章参照)。
以下に、その手法について述べる。
まず、分光反射率推定問題の定式化を行う。分光反射率推定問題は式(1)のように表される。
Figure 2014132257
式(1)において、
g:各バンドデータを表すm×1の列ベクトル
r:対象物の分光反射率を表すl×1の列ベクトル
S:l×mの行列で、I番目の列はI番目のバンドの分光感度特性を表す。
右上の添字tは行列の転置を表す。
E:l×lの対角行列で、対角成分は、照明の分光エネルギー分布を表す。
n:ノイズ項を表す。
本実施形態の場合は、m=6である。lは求めたい分光反射率の波長サンプリング数である。
例えば、400〜700nmの波長領域において、10nmずつの間隔でサンプリングした場合には、サンプリング数は31となる。
H=SEとすると、式(1)は次に示す線形システム(式(2))の形にまとめることができる。
Figure 2014132257
Hをシステムマトリクスと呼ぶ。
バンドデータgから対象物の分光反射率rを求めるが、本実形態のようにm<lの場合、式(2)を満足する解が無数に存在して一意に定まらないようになる。このような問題は一般的に不良設定問題と呼ばれる。
不良設定問題でしばしば選択される解のひとつに最小ノルム解がある。式(2)でノイズを無視できる場合、最小ノルム解は下記の式(3)で表される。
Figure 2014132257
式(3)で求めた最小ノルム解が連続的な分光反射率であり、スペクトル情報算出部306で取得するスペクトルデータとなる。
不良設定問題には最小ノルム解のほかにも主成分分析を用いる方法や、ウィナー推定を用いる方法なども既に非特許文献1に提案されており、これらの方法を用いてもよい。
分光反射率推定精度の観点からはウィナー推定を用いることが好ましい。
図4において、符号307は特徴量変換手段としての特徴量変換部を示している。
特徴量変換部307は、スペクトル情報算出部306で得られたスペクトル情報を変換することにより、座標値(x,y)に対応する色の特徴量を出力する。
本実施形態では以下にL*a*b*表色系に変換する方法のみ説明を行うが、それに限ったものではなく、その他のCIE(国際照明委員会)表色系や、その他の表色系でもよい。
また、変換を行わず、N次元のスペクトル情報をそのまま出力してもよい。
スペクトル情報算出部306で取得したスペクトルデータ(分光反射率)を色空間座標の特徴量(本実施例ではL*a*b*表色系の明度L*、色度a*、b*)に変換する手順について述べる。
必要なデータは分光反射率の他に、等色関数および照明の分光強度である。
等色関数は、一般的にCIEで定められた下記のものを用いる。
Figure 2014132257
照明の分光強度は、対象物を観察する環境での照明の分光強度を用いればよいが、CIEにより定められた標準光源(A光源,D65光源など)を用いてもよい。
次に、下記の式(4)により三刺激値X,Y,Zを算出する。
式(4)において、E(λ)は光源の分光スペクトル分布を、R(λ)は対象物の分光反射率を表す。
Figure 2014132257
これら三刺激値から下記の式(5)により明度L*、色度a*、b*を算出する。
Figure 2014132257
式(5)においてXn,Yn,Znは完全拡散反射面の三刺激値である。
以上の手順でスペクトルデータを特徴量(L*a*b*)に変換する。
図4において、符号308は、類似判定基準生成手段としての類似判定基準生成部を示している。
類似判定基準生成部308は、制御部310からの指示を受け、類似か否かを判定する判定基準を生成する。
本実施形態では、特徴量変換部307から出力されたN個のL*a*b*値のa*b*成分のみを使用し、限度見本から取得したN個の頂点を全て内包する囲み形状を円として、これを類似判定基準とする。
ここではさらに、最小半径の円を類似判定基準とする。
具体例を図で説明する。図8はN=9の場合のa*b*値の分布を記した図である。
黒丸で示す9点の頂点(x,y)に対して、(x−a1)+(y−b1)≦Cを満たす、最小のCおよびそのときのa1,b1の値、すなわち、半径が最小の最小内包円70を求める。
なお、このa1,b1,Cの組を求める方法は非特許文献2に詳しい。
この最小内包円70の内部にある場合をOK(類似、あるいは同一性あり)、それ以外をNG(非類似、あるいは同一性なし)とする。
一般に限度見本は1種類ではなく複数種類であり、これらの限度見本から得られたデータ(特徴量)により最小内包円70が形成される。
例えば、他に限度見本のデータ領域66、68が存在する場合でも、最小内包円70から外れるものはNGとなる。
NGをOKと判定する確率をより低く抑えたいのであれば、算出されたCに対して、判定基準を厳しくするための係数として、例えば0.9を乗じればよい。
与えたサンプルデータが実用時よりも厳しいサンプル(ばらつきが少ないサンプル)であれば、係数として例えば1.1などを乗じて少し広い範囲をOK範囲と設定するようにしてもよい。
また、囲み形状としては円に限らず、N個の頂点を内包する多角形(ここでは、凸多角形)としてもよい。
なお、凸多角形を求める方法は、例えば以下のような方法がある。
N個の頂点から2個の頂点i頂点jを選び、2点を通過する直線は
y−yj−(yi−yj)/(xi−xj)*(x−xj)=0
である。
そしてN個の頂点が直線に対してどちら側にあるかを計算し、N個全て同じ側にある場合、頂点(x1,y1),(x2,y2)を結ぶ頂点を登録する。
図9に、N個(ここでは9)の頂点を内包する多角形72の例を示す。限度見本が複数種類であることは上記と同様である。
本実施形態では、特徴量を内包する概念形ともいうべき囲み形状を、2次元の最小内包円、多角形とする例を述べたが、本発明はこれに限定される趣旨ではない。
N次元の特徴量の場合には、N次元球や、柱状体や錘状体等のN次元多面体(N次元凸多面体)としてもよい。
図4において、符号309は類似判定手段としての類似判定結果出力部を示している。
類似判定結果出力部309は、類似判定基準生成部308で得られた類似判定基準(囲み形状)と、M個の入力値とを照合して全てが類似判定基準内であればOK、それ以外であればNGと判定する。
すなわち、入力された特徴量のうち1つでも類似判定基準外となる場合には、NGと判定する。
図4において、符号310は制御部を示し、状態に応じて各モジュールへ動作の指示を行う。
符号311はメモリであり、必要に応じてデータを蓄えておく不揮発性・揮発性メモリの総称である。
符号312バスであり、各モジュールのデータ交換を行う経路である。
図10は、制御部の状態遷移図である。
制御部310は、状態により動作が異なる。
初期状態では、ティーチング状態にある。ティーチング状態において完了を表す信号が入力すると、運用状態に遷移する。
ここで、「ティーチング状態」とは、限度見本のデータを取得して、判定基準としての最小内包円70等の囲み形状を確定することをいう。「運用状態」とは、その囲み形状を用いて判定を行うことをいう。
なお、初期化を表す信号が入力することで状態はティーチング状態に移る。
ティーチング状態での動作を図11に基づいて説明する。
制御部310はセンサに撮影指示を行う(S1)。
すると、センサで撮影された画像(輝度画像)は位置回転変換部304に転送され、画像の位置・回転を行う(S2)。
制御部310はメモリ311に記憶されているN個の座標(x1,y1),(x2,y2),・・・(xn,yn)を順々に選択し(S3)、以下の処理を行う。
・サブアパーチャデータ生成部305により、座標に対応するサブアパーチャデータを生成する(S4)。
・スペクトル情報算出部306により、サブアパーチャデータをスペクトル情報に変換する(S5)。
・特徴量変換部307により、スペクトル情報をL*a*b*情報に変換する(S6)。
次に、データ取得数がN個になったか否かを判断し(S7)、N個になっていない場合にはS3に戻る。
データ取得数のNは、限度見本の異なった箇所での取得数を意味するが、同一領域でもよい(以下、同じ)。
N個になった場合には、以上のデータ取得動作を規定数(Qとする)終わるまで繰り返す。Qは限度見本の枚数と同一またはそれ以上が好ましい。
データ取得動作の回数がQになったか否かを判断し(S8)、Qになった場合には、N*Q個の座標のL*a*b*情報から、類似判定基準生成部308にて、類似判定基準を生成する(S9)。
そして、メモリ311に類似判定基準を記録する(S10)。
最後にPCなどからの操作により、評価用の座標をM点記録する(S11)。
運用状態での動作を図12に基づいて説明する。
制御部310はセンサに判定対象物(被検物)の撮影指示を行う(S1)。
すると、センサで撮影された画像(輝度画像)は位置回転変換部304に転送され、画像の位置・回転を行う(S2)。
制御部310はメモリ311に記憶されているM個の座標(図11のS11で設定した座標)(x1,y1),(x2,y2),・・・(xm,ym)を順々に選択し(S3)、以下の処理を行う。
・サブアパーチャデータ生成部305により、座標に対応するサブアパーチャデータを生成する(S4)。
・スペクトル情報算出部306により、サブアパーチャデータをスペクトル情報に変換する(S5)。
・特徴量変換部307により、スペクトル情報をL*a*b*情報に変換する(S6)。
次に、データ取得数がN個になったか否かを判断し(S7)、N個になっていない場合にはS3に戻る。
次に、M個の座標のL*a*b*情報それぞれに対して、類似判定結果出力部309にて類似判定を行う(S8)。
そして、M個の全ての点が基準内であればOK,それ以外であればNGとしてPC/外部IFを通じて判定結果を出力する(S9)。
図13は、色判定アプリケーション(以下、単に「アプリ」ともい)を行う際のPC上でのユーザ操作を示すフローチャート、図14は被検物・カメラの設置状態を表す図、図15は色判定アプリの表示画面を示した図である。
色判定アプリを用いてOK品の登録を行う際のユーザ操作を示すフローを、図13、図14、図15を交えながら説明する。
図13で、網掛け以外の箇所はユーザが設置・設定を行う箇所である。
[ティーチング状態での動作]
まず、ユーザは、図14に示すように、カメラ12を支持台52に固定する(S21)。
そのとき、支持台の設置面54にカメラが平行になるように設置する。その結果、カメラが鉛直下向きに設置される。
また制御部310はティーチング状態にあるものとする。
次に、カメラの直下に色判定したい製品のうちOK品(基準物;被検物50A)を設置する(S22)。その際、被検物50Aが、カメラの視野に含まれるように設置する。
設置が終わったら、PC32で専用アプリ起動する。専用アプリの画面を図15に示す。
図15において、符号56はPCのディスプレイを、58は撮影画像表示領域を、60は判定結果表示部を、62aは撮影開始ボタンを、62bは座標指定ボタンを、60cは検査座標登録ボタンをそれぞれ示している。
ユーザは撮影開始ボタン62aを押下する(S23)。するとPCとのI/F302を通じて制御部310に撮影指示が入力される。
その結果、処理基板30は図11で示した動作のうち、S1,S2を行い、位置・回転変換された撮影画像がPCへ出力される。
図16に示すように、撮影画像表示領域58に撮影画像64が表示される。
ユーザは座標指定ボタン62bを押下した後(S23)、マウスなどを用いて撮影画像表示領域58をクリックし、図17に5点の黒丸で示すように、色測定する座標を指定する。
座標指定ボタン62bをもう一度押下することで、PCとのI/F302を通じて、メモリ311に座標が記録される(S24)。
図11で示した動作が再開され、S3−S6まで完了する。
次に、ユーザは必要に応じて次の動作を繰り返す。
カメラの直下に色判定したい製品のうちOK品(被検物50A)を設置する(S22)。その際、被検物50Aが、カメラの視野に含まれるように設置する。
設置が終わったら、ユーザは撮影開始ボタン62aを押下する(S23)。するとPCとのI/F302を通じて制御部310に撮影指示が入力される。
その結果、処理基板30は図11で示した動作のうち、S1,S2を行い、位置・回転変換された画像をPCへ出力し、アプリケーションに表示される(図16参照)。
ユーザは、既に座標指定を終えているので、色測定する座標が表示される(図17で黒丸で示された5点)。
座標指定ボタン62bをもう一度押下することで、PCとのI/F302を通じて、メモリ311に座標が記録される。
そして図11で示した動作が再開され、S3−S6まで完了する。
OK品を十分な数量設定したら、ユーザは座標指定ボタン62bを押下する。すると、図11のS7,S8が完了する(S25)。
次に、ユーザは検査座標登録ボタン62cを押下する。
図18に白丸で示すように、色評価用座標を指定する。そしてもう一度検査座標登録ボタン62cを押下することにより、評価座標登録は完了する(S26)。
評価座標登録完了に伴い、制御部310はティーチング状態から運用状態に遷移する。
[運用状態での動作]
ユーザはティーチング状態での設置位置と変化させないようにして、被験体としての被験物50B(色判定したいもの)を設置する(S27)。
その際、被検物50Bが、カメラの視野に含まれるように設置する。
設置が終わったら、PCで専用アプリケーション(運用状態モード)を起動する。専用アプリの画面の一例を図19に示す。
ユーザは撮影開始ボタン62aを押下する(S28)。すると、PCとのI/F302を通じて制御部310に撮影指示が入力され、図12で示した動作が全て実行される。
そして、転送されてきた判定結果が判定結果表示部60に表示される。ここでは、判定結果がOKであったこと、すなわち、被験物50Aに対し被験物50Bが同一性(同一又は類似)の範囲内にあったことを例示している。
同一性の範囲内に無い場合には、判定結果が判定結果表示部60には「NG」が表示される。
3 レンズアレイとしてのマイクロレンズアレイ
6 センサ
12 撮像手段としての撮像装置
24 光学系としてのメインレンズ
50A 目的物
50B 被検物
70 囲み形状としての最小内包円
72 囲み形状としての多角形
306 スペクトル情報算出手段としてのスペクトル情報算出部
307 特徴量変換手段としての特徴量変換部
308 類似判定基準生成手段としての類似判定基準生成部
309 類似度判定手段としての類似判定結果出力部
特開2001−99710号公報 特開2004−340978号公報
[分光画像処理入門(2006)、三宅洋一、東京大学出版会] URL:http://www.ipsj.or.jp/07editj/promenade/4309.pdf)

Claims (9)

  1. 撮像手段により検出された撮像情報から物体のスペクトル情報を算出するスペクトル情報算出手段と、
    前記スペクトル情報算出手段により得られたスペクトル情報を特徴量に変換する特徴量変換手段と、
    前記特徴量変換手段により得られた、基準物の一つまたは複数の特徴量から類似判定基準を生成する類似判定基準生成手段と、
    前記特徴量変換手段により得られた被検物の特徴量と、前記類似判定基準生成手段で得られた前記類似判定基準とを照合し、前記基準物に対する被検物の同一性を判定する類似度判定手段と、
    を有している類似度判定システム。
  2. 請求項1に記載の類似度判定システムにおいて、
    前記類似判定基準生成手段が、前記類似判定基準として、前記特徴量変換手段により出力される特徴量を内包する囲み形状を出力し、被検物に係る特徴量が前記囲み形状内に入るか否かにより判定することを特徴とする類似度判定システム。
  3. 請求項2に記載の類似度判定システムにおいて、
    前記囲み形状が、前記特徴量を内包する円または多角形であることを特徴とする類似度判定システム。
  4. 請求項2に記載の類似度判定システムにおいて、
    前記特徴量がN次元の場合、前記囲み形状が、前記特徴量を内包するN次元球であることを特徴とする類似度判定システム。
  5. 請求項2に記載の類似度判定システムにおいて、
    前記特徴量がN次元の場合、前記囲み形状が、前記特徴量を内包するN次元多面体であることを特徴とする類似度判定システム。
  6. 請求項1〜5のいずれか1つに記載の類似度判定システムにおいて、
    前記特徴量が、色空間座標であることを特徴とする類似度判定システム。
  7. 請求項1〜6のいずれか1つに記載の類似度判定システムにおいて、
    前記撮像手段が、
    光学系と、
    前記光学系により集光された光情報を電子情報に変換するセンサと、
    前記光学系の絞り付近に配置され、複数の分光特性を有するフィルタと、
    前記光学系と前記センサとの間に、前記センサの二次元平面方向に略平行に配置され、複数のレンズが並んだレンズアレイと、
    を有していることを特徴とする類似度判定システム。
  8. 撮像手段により検出された撮像情報から物体のスペクトル情報を算出し、算出されたスペクトル情報を特徴量に変換してなり、
    基準物の一つまたは複数の特徴量から類似判定基準を生成し、
    被検物の特徴量と前記類似判定基準とを照合し、前記基準物に対する被検物の同一性を判定することを特徴とする類似度判定方法。
  9. 請求項8に記載の類似度判定方法おいて、
    前記類似判定基準として、前記特徴量を内包する囲み形状を出力し、被検物に係る特徴量が前記囲み形状内に入るか否かにより判定することを特徴とする類似度判定方法。
JP2013204755A 2012-12-03 2013-09-30 類似度判定システム及び類似度判定方法 Pending JP2014132257A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013204755A JP2014132257A (ja) 2012-12-03 2013-09-30 類似度判定システム及び類似度判定方法
US14/083,871 US20140153775A1 (en) 2012-12-03 2013-11-19 Similarity determination apparatus, similarity determination system, and similarity determination method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012264305 2012-12-03
JP2012264305 2012-12-03
JP2013204755A JP2014132257A (ja) 2012-12-03 2013-09-30 類似度判定システム及び類似度判定方法

Publications (1)

Publication Number Publication Date
JP2014132257A true JP2014132257A (ja) 2014-07-17

Family

ID=50825486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013204755A Pending JP2014132257A (ja) 2012-12-03 2013-09-30 類似度判定システム及び類似度判定方法

Country Status (2)

Country Link
US (1) US20140153775A1 (ja)
JP (1) JP2014132257A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152334A1 (ja) * 2015-03-26 2016-09-29 コニカミノルタ株式会社 測色装置および測色方法
JP2017068747A (ja) * 2015-10-01 2017-04-06 株式会社東芝 情報認識装置、情報認識方法、およびプログラム
JP2020094985A (ja) * 2018-12-14 2020-06-18 凸版印刷株式会社 分光画像推定システム、分光画像推定方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015228641A (ja) 2014-05-07 2015-12-17 株式会社リコー 撮像装置、露光調整方法およびプログラム
US11126525B2 (en) 2015-09-09 2021-09-21 Arris Enterprises Llc In-home legacy device onboarding and privacy enhanced monitoring
US10339958B2 (en) * 2015-09-09 2019-07-02 Arris Enterprises Llc In-home legacy device onboarding and privacy enhanced monitoring

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000121438A (ja) * 1998-10-12 2000-04-28 Fuji Xerox Co Ltd カラー画像測定装置
JP2008151781A (ja) * 2007-12-03 2008-07-03 Olympus Corp 画像表示装置及び画像表示方法
JP2010223933A (ja) * 2009-02-25 2010-10-07 Fuji Electric Systems Co Ltd 色空間判別条件生成装置及びこれを使用した画像検査装置
JP2011075562A (ja) * 2009-09-30 2011-04-14 Ricoh Co Ltd 調節可能なマルチモードの光照射野結像システム
WO2012066741A1 (ja) * 2010-11-16 2012-05-24 株式会社ニコン マルチバンドカメラ及びマルチバンド画像撮像方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8977002B2 (en) * 2011-07-11 2015-03-10 Bae Systems Information And Electronic Systems Integration Inc. Method of point source target detection for multispectral imaging
JP6322939B2 (ja) * 2012-12-03 2018-05-16 株式会社リコー 撮像システム及び色検査システム
CN105210361B (zh) * 2013-02-13 2019-04-12 萨尔布吕肯大学 全光成像设备
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
JP6340884B2 (ja) * 2013-06-19 2018-06-13 株式会社リコー 測定装置、測定システム及び測定方法
US9706116B2 (en) * 2013-10-31 2017-07-11 Ricoh Co., Ltd. Plenoptic color imaging system with enhanced resolution
US9390505B2 (en) * 2013-12-12 2016-07-12 Qualcomm Incorporated Method and apparatus for generating plenoptic depth maps
US10089740B2 (en) * 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9888229B2 (en) * 2014-06-23 2018-02-06 Ricoh Company, Ltd. Disparity estimation for multiview imaging systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000121438A (ja) * 1998-10-12 2000-04-28 Fuji Xerox Co Ltd カラー画像測定装置
JP2008151781A (ja) * 2007-12-03 2008-07-03 Olympus Corp 画像表示装置及び画像表示方法
JP2010223933A (ja) * 2009-02-25 2010-10-07 Fuji Electric Systems Co Ltd 色空間判別条件生成装置及びこれを使用した画像検査装置
JP2011075562A (ja) * 2009-09-30 2011-04-14 Ricoh Co Ltd 調節可能なマルチモードの光照射野結像システム
WO2012066741A1 (ja) * 2010-11-16 2012-05-24 株式会社ニコン マルチバンドカメラ及びマルチバンド画像撮像方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016152334A1 (ja) * 2015-03-26 2016-09-29 コニカミノルタ株式会社 測色装置および測色方法
JPWO2016152334A1 (ja) * 2015-03-26 2018-01-25 コニカミノルタ株式会社 測色装置および測色方法
US10401227B2 (en) 2015-03-26 2019-09-03 Konica Minolta, Inc. Colorimetry device and colorimetry method
JP2017068747A (ja) * 2015-10-01 2017-04-06 株式会社東芝 情報認識装置、情報認識方法、およびプログラム
JP2020094985A (ja) * 2018-12-14 2020-06-18 凸版印刷株式会社 分光画像推定システム、分光画像推定方法、及びプログラム
JP7206878B2 (ja) 2018-12-14 2023-01-18 凸版印刷株式会社 分光画像推定システム、分光画像推定方法、及びプログラム

Also Published As

Publication number Publication date
US20140153775A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
US9958265B2 (en) Specimen measuring device and computer program product
JP6039008B2 (ja) 着色評価装置及び着色評価方法
JP6039109B2 (ja) 着色検査装置および着色検査方法
JP2014132257A (ja) 類似度判定システム及び類似度判定方法
JP2019070648A (ja) 分光器で支援された特別設計パターン閉ループ較正による高精度イメージング測色計
US9635283B2 (en) Thermal imager with large dynamic range and improved signal-to-noise ratio
JP6322939B2 (ja) 撮像システム及び色検査システム
JP6340884B2 (ja) 測定装置、測定システム及び測定方法
EP2741491A2 (en) Camera and method for thermal image noise reduction using post processing techniques
JP7076760B2 (ja) 色判定装置及び色判定方法
JP6113319B2 (ja) 画像色分布検査装置および画像色分布検査方法
JP5841091B2 (ja) 画像色分布検査装置および画像色分布検査方法
JP2019020311A (ja) 色彩測定方法及び色彩測定装置
CN105765630A (zh) 通过创建多个色度斑点图案测量受到应力的结构部件的形状、移动和/或变形的多尺度测量方法
JP6225519B2 (ja) 測定装置及び測定方法
JP2014109562A (ja) 色彩輝度表示装置および色彩輝度表示方法
JP2007147507A (ja) 分光測定方法及び分光測定装置
CN110174351B (zh) 颜色测量装置及方法
JP4400450B2 (ja) 迷光補正法及びそれを用いた二次元分光輝度計
Gebejes et al. Color and image characterization of a three CCD seven band spectral camera
JP2012185030A (ja) 色ムラ判別装置、色ムラ判別方法及び表示装置
JP2019153931A (ja) 測定装置、該測定装置における測色換算用パラメータの設定方法、該測定装置によって検査された工業製品
JP6617537B2 (ja) 2次元測色計、該方法および該プログラムならびに表示システム
JP2002323376A (ja) 色情報計測方法と表示色評価方法及び表示色調整方法並びにこれらを利用した装置それにプロジェクタの製造方法
JP5895094B1 (ja) 画像色分布検査装置および画像色分布検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170421

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171010