JP2021113744A - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP2021113744A
JP2021113744A JP2020006586A JP2020006586A JP2021113744A JP 2021113744 A JP2021113744 A JP 2021113744A JP 2020006586 A JP2020006586 A JP 2020006586A JP 2020006586 A JP2020006586 A JP 2020006586A JP 2021113744 A JP2021113744 A JP 2021113744A
Authority
JP
Japan
Prior art keywords
color
data
light
values
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020006586A
Other languages
English (en)
Inventor
俊弥 大河原
Toshiya Ogawara
俊弥 大河原
巌 尾方
Iwao Ogata
巌 尾方
肇 田中
Hajime Tanaka
肇 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Concept Art Technologies Co Ltd
Micro Technica Co Ltd
Original Assignee
Concept Art Technologies Co Ltd
Micro Technica Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Concept Art Technologies Co Ltd, Micro Technica Co Ltd filed Critical Concept Art Technologies Co Ltd
Priority to JP2020006586A priority Critical patent/JP2021113744A/ja
Publication of JP2021113744A publication Critical patent/JP2021113744A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Analysis (AREA)

Abstract

【課題】表面の色彩が均一でない対象物の色を適切に評価する。【解決手段】撮像システムは、照明装置と、撮像装置と、処理装置と、カラー基準部材と、遮光性の筐体とを備える。前記照明装置は、1つ以上の波長域の光をそれぞれ出射する1つ以上の光源を含む。前記カラー基準部材は、前記1つ以上の光源からそれぞれ出射された光を反射し、反射光が前記撮像装置に入射するように配置される。前記筐体は、開口部を有し、前記照明装置、前記撮像装置、および前記カラー基準部材を内部に収容する。前記筐体における前記開口部の周囲の部分によって対象物が押さえられた状態で前記対象物の撮像が行われる。前記処理装置は、前記1つ以上の光源から前記光が出射される度に、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された光に基づく画像データを生成させる。前記画像データに基づいて、前記対象物の色を識別するための識別データを生成する。【選択図】図1

Description

本開示は、撮像システムに関する。
従来、色彩の測定または評価を行うための種々の技術が開発されている。例えば、特許文献1から3は、対象物の色を測定または評価する技術の例を開示している。
特開2016−206760号公報 特開2014−132257号公報 特開2009−25867号公報
本開示は、例えば布地などの、表面の色彩が均一でない対象物の色を適切に評価することが可能な新規な撮像システムを提供する。
本開示の一態様による撮像システムは、照明装置と、撮像装置と、処理装置と、カラー基準部材と、遮光性の筐体とを備える。前記照明装置は、1つ以上の波長域の光をそれぞれ出射する1つ以上の光源を含む。前記処理装置は、前記照明装置および前記撮像装置を制御し、前記撮像装置から出力される信号を処理する。前記カラー基準部材は、前記1つ以上の光源からそれぞれ出射された光を反射し、反射光が前記撮像装置に入射するように配置されている。前記筐体は、開口部を有し、前記照明装置、前記撮像装置、および前記カラー基準部材を内部に収容する。前記筐体における前記開口部の周囲の部分によって対象物が押さえられた状態で前記対象物の撮像が行われる。前記処理装置は、前記1つ以上の光源に前記光を順次出射させ、前記1つ以上の光源から前記光が出射される度に、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記光に基づく画像データを生成させる。前記処理装置は、前記画像データに基づいて、前記対象物の色を識別するための識別データを生成して出力する。
上記の包括的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、記録媒体、またはこれらの任意の組み合わせによって実現され得る。
本開示の実施形態によれば、例えば布地などの、表面の色彩が均一でない対象物であっても色を適切に評価することが可能になる。
本発明の例示的な実施形態における撮像システムの構成を模式的に示す図である。 本発明の例示的な実施形態における撮像システムの構成の他の例を模式的に示す図である。 透明板の機能を説明するための図である。 処理装置の構成例を示すブロック図である。 撮像によって生成されるR、G、Bのそれぞれの画像の一例を示す図である。 信号処理回路によって実行される処理の概要を示すフローチャートである。 ステップS10における色登録処理の流れを示すフローチャートである。 カラー基準板を用いた撮像の様子を模式的に示す図である。 撮像装置によって生成された画像の一例を示す図である。 ステップS160の処理の具体例を示すフローチャートである。 画素ブロックの抽出処理の例を説明するための図である。 画素ブロックの抽出処理の例を説明するための図である。 色空間上での複数の点の距離の総和の計算を説明するための図である。 色空間上での複数の点の距離の総和の計算を説明するための図である。 色空間上でのn個の点から、他の点との距離の総和が相対的に小さいm個の点の例を示す図である。 色判定処理の流れを示すフローチャートである。 良否判定の方法の例を示す図である。 統計データに基づく良否判定の例を示す概念図である。 撮像システムの変形例を示す図である。 撮像システムの他の変形例を示す図である。
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
従来、色彩の測定や評価には、色彩計を用いた色彩測定、またはスペクトル測定器による分光分析などの方法が用いられてきた。これらの方法は、一般に、小さいスポット(例えば数mm以下)における色彩を測定する。そのため、表面の色彩が均一ではない対象物の色彩を高い精度で測定することが難しい。例えば、地紋や折り目などがある布地、紙(特に繊維が大きいもの)、絨毯、壁、またはムラのある手塗りの塗料もしくはインクなどの色を高い精度で測定することは難しい。そのような対象物を測定する場合、計測点の位置がわずかに異なるだけで測定値が大きく異なる。そのため、上記のような対象物には、従来の測色方法では安定した測定結果を得ることができなかった。
布地などの不均一な対象物の色彩を測定するためには、ある程度広い面積をカメラのような2次元の情報を取得できる装置で撮影もしくは測定する必要がある。微小な色差を区別できるようにするため、精度の高い撮影が要求される。しかし、そのためには高品質な照明装置および光学系、ならびに外乱光を遮断するためのカバーなどが必要になり、装置全体の規模が大きくなる。
また、2次元の領域の色情報を取得するために一般的に使用されるカラーカメラでは、撮像素子の前にカラーフィルターアレイが配置され、入射する光を、画素ごとにR、G、Bの3原色の成分に分離する。しかし、これらのフィルターは必ずしも標準色空間において求められる分光特性を有しておらず、高精度な色分析には適していない場合がある。一方で、これらのフィルターは、通常、撮像素子または光学系に組み入れられており、交換や調整を行うことは容易ではない。
また、LEDなどの照明装置およびカメラの特性は、時間の経過とともに変化する場合が多く、安定した特性を維持することが難しい。さらに、カメラのレンズの表面、またはLEDなどの照明装置の表面には、時間の経過に伴って汚れや微粒子などが付着することがある。そのような汚れや微粒子は、光−電気間の変換特性に影響を及ぼす可能性がある。
本発明者らは、上記の課題を見出し、上記の課題の少なくとも一部を解決し得る新規な撮像システムを開発するに至った。以下、本開示の実施形態の概要を説明する。
本開示の例示的な実施形態による撮像システムは、照明装置と、撮像装置と、処理装置と、カラー基準部材と、遮光性の筐体とを備える。前記照明装置は、1つ以上の波長域の光をそれぞれ出射する1つ以上の光源を含む。前記処理装置は、前記照明装置および前記撮像装置を制御し、前記撮像装置から出力される信号を処理する。前記カラー基準部材は、前記1つ以上の光源からそれぞれ出射された光を反射し、反射光が前記撮像装置に入射するように配置されている。前記筐体は、開口部を有し、前記照明装置、前記撮像装置、および前記カラー基準部材を内部に収容する。前記筐体における前記開口部の周囲の部分によって対象物が押さえられた状態で前記対象物の撮像が行われる。前記処理装置は、前記1つ以上の光源に前記光を順次出射させ、前記1つ以上の光源から前記光が出射される度に、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記光に基づく画像データを生成させる。前記処理装置は、前記画像データに基づいて、前記対象物の色を識別するための識別データを生成して出力する。
上記の構成によれば、前記遮光性の筐体における前記開口部の周囲の部分によって対象物が押さえられた状態で前記対象物の撮像が行われる。これにより、外部の光を遮断することができるため、より精度の高い色の測定が可能になる。さらに、カラー基準部材を対象物とともに撮像し、その結果得られる画像データに基づいて、対象物の色を識別するための識別データが生成される。このため、後に詳しく説明するように、撮像装置や照明装置の特性が時間の経過に伴って変化した場合でも、その影響を適切に補正することが可能になる。
前記カラー基準部材は、前記開口部を含む面に対して傾斜した反射面を有し得る。そのような構成によれば、対象物からの反射光の影響を抑制し、カラー基準部材を用いた補正処理の精度を高めることができる。
前記撮像システムは、前記対象物を押さえるための透明板を前記開口部に備えていてもよい。前記透明板は、前記撮像装置の側の表面に、光の反射を抑制する凹凸構造を有していてもよい。そのような微細な凹凸構造を有する透明板を配置することにより、対象物の色をより安定して測定することができる。透明板は、すりガラスのような半透明の部材であってもよい。
前記処理装置は、前記画像データにおける前記対象物に相当する領域のデータを、前記画像データにおける前記カラー基準部材に相当する領域のデータに基づいて補正することによって補正画像データを生成し、前記補正画像データに基づいて、前記識別データを生成することができる。
前記処置装置は、例えば以下の(A)から(C)の処理により、前記識別データを生成することができる。
(A)前記補正画像データから、n個(nは3以上の整数)の画素ブロックを抽出し、抽出した前記n個の画素ブロックの各々について、画素値の代表値を決定する。
(B)前記n個の画素ブロックの各々について、前記画素値の代表値と、前記n個の画素ブロックに含まれる他の全ての画素ブロックについての前記画素値の代表値との差の程度を示す値の総和を計算する。
(C)前記n個の画素ブロックのうち、前記差の程度を示す値の総和が小さいものから順に選択されたm個(mは2以上n未満の整数)の画素ブロックにおける前記画素値の代表値に基づく1つの色を示す値を決定し、前記値に基づいて前記識別データを生成する。
上記の処理によれば、波長域ごとに、対象物の色を表す1つの値が決定され、当該値に基づいて、識別データが生成される。このような処理により、対象物の色をより適切に数値化することができる。
上記のステップ(B)における「差の程度を示す値」は、比較対象の2つの画素ブロックにおける前記画素値の代表値の差そのものであってもよいし、当該画素値の代表値から変換された他の値同士の差であってもよい。上記のステップ(C)における「1つの色を示す値」は、前記m個の画素ブロックにおける前記画素値の代表値の平均値であってもよいし、当該代表値に基づく計算によって得られる他の値であってもよい。
上記1つ以上の波長域は、1つの波長域であってもよいし、複数の波長域であってもよい。上記1つ以上の波長域が単数の場合、上記の方法により、対象物の濃淡の程度を1つの値で評価することができる。本明細書において、濃淡も色の概念に含まれるものとする。上記1つ以上の波長域が複数である場合、対象物の色彩を複数の値で評価することができる。上記複数の波長域は、例えば赤(R)、緑(B)、青(B)の三原色の波長域を含み得る。ただし、必ずしも三原色の波長域に限定されない。用途によっては、4波長または5波長などのマルチスペクトルの色の評価に上記方法を用いることもできる。本開示における各波長域は、可視光の波長域に限定されず、例えば赤外または紫外などの、不可視光の波長域であってもよい。
上記の方法によれば、画像から抽出されたn個の画素ブロックから、互いに色または濃度が近いと推定されるm個の画素ブロックが選択される。そして、当該m個の画素ブロックの、上記1つ以上の色のそれぞれの画素値の代表値に基づく1つの色を示す値が、色の識別データとして出力される。このような処理により、色または濃度が均一でない対象物の色を適切に評価することが可能になる。
前記1つ以上の波長域が複数の波長域である場合、前記差の程度を示す値の総和を計算するステップ(B)は、以下のステップ(B1)および(B2)を含み得る。
(B1)前記n個の画素ブロックの各々について、前記複数の波長域のそれぞれについての画素値の代表値を、前記複数の波長域にそれぞれ対応する複数の色によって構成される第1の色空間とは異なる第2の色空間における複数の値に変換する。
(B2)前記n個の画素ブロックの各々について、前記複数の値が示す前記第2の色空間上での点と、前記n個の画素ブロックに含まれる他の全ての画素ブロックについての前記複数の値が示す前記第2の色空間上での点との距離の総和を、前記差の程度を示す値の総和として計算する。
前記1つの色を示す値は、前記n個の画素ブロックのうち、前記距離の総和が小さいものから順に選択された前記m個の画素ブロックにおける前記複数の値のそれぞれの代表値であり得る。
上記の方法によれば、対象物の色彩をより適切に評価することができる。
前記1つ以上の光源は、第1の波長域の光を出射する第1の光源と、第2の波長域の光を出射する第2の光源と、第3の波長域の光を出射する第3の光源とを含み得る。その場合、前記処理装置は、例えば以下の動作を実行することができる。
・前記第1の光源に前記第1の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第1の波長域の光に基づく第1の画像データを生成させる。
・前記第2の光源に前記第2の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第2の波長域の光に基づく第2の画像データを生成させる。
・前記第3の光源に前記第3の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第3の波長域の光に基づく第3の画像データを生成させる。
・前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに基づいて、前記識別データを生成して出力する。
上記の構成においては、互いに異なる第1から第3の波長域の光を順次出射し、第1から第3の画像データを順次生成する。第1から第3の画像データを合成することで、例えば表面が平坦でないなど、表面の色彩が不均一な対象物の色彩を示す識別データを安定して得ることができる。
前記カラー基準部材は、前記第1から第3の波長域のそれぞれの光を、同等の反射率で反射するように構成されていてもよい。ある例において、カラー基準部材は、板状の構造を有する。そのような構造のカラー基準部材は、「カラー基準板」と称することができる。
前記第1の波長域は、赤の波長域であり得る。前記第2の波長域は、緑の波長域であり得る。前記第3の波長域は、青の波長域であり得る。本明細書において、赤の波長域は、空気中の波長が600nmから700nmの範囲に含まれる波長域を指す。緑の波長域は、空気中の波長が500nmから600nmの範囲に含まれる波長域を指す。青の波長域は、空気中の波長が400nmから500nmの範囲に含まれる波長域を指す。ただし、これらの波長域に限られず、他の波長域を使用してもよい。可視光の波長域に限られず、赤外または紫外の波長域の光を出射する光源を使用してもよい。なお、本明細書においては、可視光に限らず、赤外線および紫外線も「光」と称する。
前記処理装置は、前記第1の画像データにおける前記対象物に相当する領域のデータに基づき、第1の色データを生成し、前記第2の画像データにおける前記対象物に相当する領域のデータに基づき、第2の色データを生成し、前記第3の画像データにおける前記対象物に相当する領域のデータに基づき、第3の色データを生成し、前記第1の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第1の色データを補正し、前記第2の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第2の色データを補正し、前記第3の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第3の色データを補正し、補正後の前記第1から第3の色データに基づき、前記識別データを生成してもよい。
前記処理装置は、例えば以下の(a)から(c)の処理を実行してもよい。
(a)前記第1の画像データにおける前記対象物に相当する領域のデータが示す画像から、n個(nは3以上の整数)の画素ブロックを抽出し、抽出した前記n個の画素ブロックの各々について、前記第1の波長域の画素値の代表値を決定し、n個の前記代表値を示すデータを前記第1の色データとして生成する。
(b)前記第2の画像データにおける前記対象物に相当する領域のデータが示す画像から、前記n個の画素ブロックに対応する位置にあるn個の画素ブロックを抽出し、抽出した前記n個の画素ブロックの各々について、前記第2の波長域の画素値の代表値を決定し、n個の前記代表値を示すデータを前記第2の色データとして生成する。
(c)前記第3の画像データにおける前記対象物に相当する領域のデータが示す画像から、前記n個の画素ブロックに対応する位置にあるn個の画素ブロックを抽出し、抽出した前記n個の画素ブロックの各々について、前記第3の波長域の画素値の代表値を決定し、n個の前記代表値を示すデータを前記第3の色データとして生成する。
前記処理装置は、さらに、以下の(d)から(g)の処理を実行してもよい。
(d)補正後の前記第1から第3の色データに基づいて、前記n個の画素ブロックの各々について、前記第1から第3の波長域のそれぞれの画素値の代表値を、前記第1から第3の波長域によって規定される第1の色空間とは異なる第2の色空間における3つの値に変換する。
(e)前記n個の画素ブロックの各々について、前記3つの値が示す前記第2の色空間上での点と、前記n個の画素ブロックに含まれる他の全ての画素ブロックについての前記3つの値が示す前記第2の色空間上での点との距離の総和を計算する。
(f)前記n個の画素ブロックのうち、前記距離の総和が小さいものから順に選択されたm個(mは2以上n未満の整数)の画素ブロックにおける前記3つの値のそれぞれの代表値を計算する。
(g)前記3つの値のそれぞれの前記代表値を、前記識別データとして出力する。
上記のステップ(f)における第2の色空間における3つの値のそれぞれの代表値は、対象物の色を識別するための識別データとして利用される。上記3つの値のそれぞれの代表値は、例えば、m個の画素ブロックにおける上記3つの値のそれぞれの平均値であり得る。上記の方法によれば、RGB画像から抽出されたn個の画素ブロックから、互いに色が近いと推定されるm個の画素ブロックが選択される。そして、当該m個の画素ブロックの、第2の色空間における3つの値のそれぞれの代表値が、色の識別データとして出力される。このような処理により、色が均一でない対象物の色をより適切に評価することが可能になる。
上記の方法は、例えば、同様の工程によって生産された製品の色の検査に使用され得る。そのような用途においては、まず、予め生産された製品(第1の対象物と称する)について、上記の方法によって識別データが参照用データとして予め記録媒体に記録される。次に、上記製品と同様の工程によって生産された第2の対象物について、上記と同様の方法によって識別データが生成される。生成された識別データと、予め記録された参照用データとを比較することにより、当該対象物の色の良否を判定することができる。
そのような用途において、前記処理装置は、さらに以下の処理を行ってもよい。
(h)前記m個の画素ブロックにおける前記3つの値のそれぞれの代表値(例えば平均値)が示す前記第2の色空間上での点と、予め記録された前記3つの値のそれぞれの参照値が示す前記第2の色空間上での点との距離を計算する。
(i)前記距離に応じて、前記対象物の色の良否を判定し、判定結果を出力する。
ステップ(h)および(i)により、予め記録された第1の対象物の色と、検査対象の第2の対象物の色との近似度に基づいて、第2の対象物の色の良否を判定することができる。色の良否は、例えば、良/不良の2値の値で評価されてもよいし、近似度に応じて3つ以上の値で評価されてもよい。
前記処理装置は、上記の(h)および(i)の処理に代えて、以下の(h’)および(i’)の処理を行ってもよい。
(h’)前記m個の画素ブロックにおける前記3つの値の1つについての前記代表値と、予め記録された前記3つの値の1つについての参照値との差を計算する。
(i’)前記差に応じて、前記対象物の色の良否を判定し、判定結果を出力する。
このような処理により、対象物の色(濃淡を含む)の差を符号付きで表現することができる。例えば、「前記3つの値の1つ」が、輝度を示す場合、輝度の差が符号付きで表現される。このため、対象物の濃淡を適切に評価することができる。
前記第2の色空間における前記3つの値は、例えば、L色空間におけるL値、a値、およびb値であり得る。L色空間は、人間の視覚を近似するように設計されている。このため、L色空間における距離の総和の小さい画素ブロックから順に選択することにより、より人間の視覚に近い数値化が可能となる。なお、色の数値化の目的によっては、必ずしも人間の視覚に近い必要はないため、第2の色空間はL色空間とは異なる色空間であってもよい。
前記処理装置は、前記R、G、Bのそれぞれの画素値の代表値を、前記第2の色空間における前記3つの値に変換するときに使用される変換係数を、機械学習によって決定してもよい。
前記R、G、Bのそれぞれの画素値の代表値を決定するステップは、前記R、G、Bのそれぞれの画素値を平滑化して平均化するステップを含んでいてもよい。
前記1つ以上の光源は、第4の波長域の光を出射する第4の光源をさらに含んでいてもよい。
前記処理装置は、さらに、前記第4の光源に前記第4の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第4の波長域の光に基づく第4の画像データを生成させ、前記第1の画像データ、前記第2の画像データ、前記第3の画像データ、および第4の画像データに基づいて、前記識別データを生成して出力してもよい。
前記第4の波長域は、前記第1から第3の波長域とは異なる。前記第4の波長域は、例えば近赤外の波長域であってもよい。第4の光源を利用することにより、対象物の表面の色彩についてより多くの情報を取得できる。
前記処理装置は、プロセッサと、前記プロセッサによって実行されるコンピュータプログラムを格納するメモリと、を備え得る。前述の各処理は、前記プロセッサが、前記コンピュータプログラムを実行することによって実現され得る。
以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。本明細書においては、同一のまたは類似する構成要素には、同一の参照符号を付している。なお、本願の図面に示される構造物の全体または一部分の形状および大きさは、現実の形状および大きさを制限するものではない。また、以下に説明する実施形態の構成を適宜組み合わせて、他の実施形態を構成してもよい。
(実施形態)
[1.構成]
図1は、本発明の例示的な実施形態における撮像システム100の構成を模式的に示す図である。撮像システム100は、対象物230の色を識別し、識別結果を出力する。対象物230は、例えば、地紋や折り目などがある布地、紙(特に繊維が大きいもの)、絨毯、壁、またはムラのある手塗りの塗料もしくはインクなどの、表面の色が均一ではない物である。なお、対象物230は、色が均一ではない物に限定されず、任意の物が対象物230になり得る。対象物230は、例えば手作業または製造ラインによって量産される製品であり得る。その場合、製品ごとに色のばらつきが生じ得る。このため、生産された対象物230ごとに、撮像システム100を用いた色識別処理が実行され、色の良否の判定が行われる。以下の説明では、一例として、対象物230が地紋や折り目などがある布地であるものとする。
本実施形態における撮像システム100は、処理装置110と、照明装置120と、撮像装置140と、カラー基準板240と、遮光性の筐体170と、透明板176とを備える。処理装置110は、照明装置120および撮像装置140に接続されている。本実施形態では、撮像システム100は、さらに、ディスプレイ220を備える。ディスプレイ220は、処理装置110に接続され、処理装置110が生成した信号に基づく画像を表示する。
照明装置120は、1つ以上の波長域の光をそれぞれ出射する1つ以上の光源を備える。図1の例では、照明装置120は、互いに異なる3つの波長域の光をそれぞれ出射する3つの光源121、122、123を備えている。第1の光源121は、第1の波長域の光を出射する。第2の光源122は、第2の波長域の光を出射する。第3の光源123は、第3の波長域の光を出射する。本実施形態では、第1の波長域は赤(R)の波長域であり、第2の波長域は緑(G)の波長域であり、第3の波長域は青(B)の波長域である。照明装置120における光源121、122、123は、例えば、赤、緑、青の波長域の光をそれぞれ出射する発光ダイオード(LED)によって実現され得る。各光源は、LEDに限らず、例えば蛍光灯または有機発光素子などの他の種類の光源であってもよい。
図2は、照明装置120の他の構成例を示す図である。図2の例では、照明装置120は、光源121、122、123の組を2組備えている。光源121、122、123の組は、撮像装置140の両側に配置されている。このような光源の配置により、対象物230をより均一に照射することができる。なお、図2の例では、図1の例とは異なり、透明板176が設けられていない。この例のように、透明板176を省略してもよい。
撮像装置140は、可視光の波長域に感度を有するイメージセンサと、イメージセンサの撮像面に像を形成するレンズ光学系142とを備える。撮像装置140は、照明装置120から出射され、対象物230およびカラー基準板240で反射された光を受ける位置に配置されている。撮像装置140は、対象物230を撮像して画像信号を出力する。本実施形態における撮像装置140は、一般的なカラーカメラとは異なり、カラーフィルタアレイを備えていない。R、G、Bの三原色の光源121、122、123が順次点灯され、その都度撮像が行われる。それにより、R、G、Bの画像信号が順次生成される。
カラー基準板240は、板状の構造を有するカラー基準部材であり、撮像装置140によって対象物230とともに撮像される。カラー基準板240は、3つの光源121、122、123からそれぞれ出射された光を反射し、反射光が撮像装置140に入射するように配置されている。カラー基準板240の表面の色は既知であり、その色の情報に基づいて、処理装置110は、対象物230の画像の色を補正する。
筐体170は、遮光性の部材であり、例えば円柱状または角柱状の形状を有する。筐体170は、開口部174を有し、照明装置120、撮像装置140、およびカラー基準板240を内部に収容する。筐体170における開口部174の周囲の部分によって対象物230が押さえられた状態で対象物230の撮像が行われる。開口部174は、例えば円形、楕円形、矩形、または多角形などの任意の形状を有し得る。筐体170は、開口部174の周囲に遮光パッキン172を有する。筐体170と対象物230との間に遮光パッキン172を設けることにより、測定結果に影響を及ぼす外部の光を遮断することができる。図1の例では、処理装置110は、筐体170の外部に配置されているが、筐体170の内部に配置されていてもよい。
透明板176は、対象物130を押さえつけるための板状部材であり、開口部174に設けられている。対象物130が透明板176の表面で押さえつけられた状態で撮像が行われる。本実施形態における透明板176は、撮像装置142側の表面に、光の反射を抑制する凹凸構造が設けられている。凹凸構造は、1次元的または2次元的に配列された複数の凹部および複数の凸部を有する。凹凸構造を設けることにより、より安定した測定が可能になる。
図3は、透明板176の機能を説明するための図である。図3の(a)は、透明板176が設けられていない状態を示している。図3の(b)は、表面に凹凸構造のない透明板176が設けられた状態を示している。図3の(c)は、表面に凹凸構造のある透明板176が設けられた状態を示している。対象物230が布地である場合、図3の(a)に示すように表面の繊維の方向が不均一であることがある。そのような場合、測定値が安定しにくい。そこで、図3の(b)に示すように、ガラスなどの透明板176で繊維を押さえることにより、繊維の方向を安定化させることができる。しかし、表面が平坦な透明板176を用いると、照明装置120からの光の反射光が撮像装置140に入射し、測定が不安定になるおそれがある。そこで、本実施形態では、図3の(c)に示すように、すりガラスなどの、表面に微細な凹凸のある透明板176が用いられている。表面に微細な凹凸のある透明板176を用いることにより、照明装置120からの光に起因する反射光が拡散し、測定が安定化する。透明板176は、半透明の部材であってもよい。
処理装置110は、照明装置120および撮像装置140を制御し、撮像装置140から出力される信号を処理するコンピュータである。処理装置110は、照明装置120が備える1つ以上の光源に光を順次出射させ、当該1つ以上の光源から光が出射される度に、撮像装置140に撮像を実行させる。図1の例では、撮像装置140は、第1の光源121、第2の光源122、第3の光源123に順次光を出射させ、その都度、撮像装置140に撮像を実行させる。これにより、撮像装置140は、対象物230およびカラー基準板240によって反射された光に基づく画像データを生成する。処理装置110は、当該画像データに基づいて、対象物230の色を識別するための識別データを生成して出力する。
図4は、処理装置110の構成例を示すブロック図である。この例における処理装置110は、制御回路111と、信号処理回路112と、入出力インタフェース(IF)116と、メモリ114とを備える。制御回路111は、照明装置120の各光源121、122、123による発光、撮像装置140による撮像、および信号処理回路112による信号処理のタイミングを制御する。制御回路111はまた、信号処理回路112によって生成されたデータに基づく画像をディスプレイ220に生成させる処理も行う。制御回路111は、例えばマイクロコントローラユニットなどの、プロセッサを備える集積回路によって実現され得る。信号処理回路112は、撮像装置140から出力された画像データに基づき、対象物230の色を識別するための識別データを生成して出力する。信号処理回路112は、例えばCPU(Central Processing Unit)またはGPU(Graphics Processing Unit)などのプロセッサを備える集積回路によって実現され得る。信号処理回路112は、撮像装置140から出力された画像信号を処理して対象物230の色を識別し、識別結果をディスプレイ220に出力する。この動作は、信号処理回路112がメモリ114に格納されたコンピュータプログラムを実行することによって実現される。
図4に示す例では、1台の処理装置110が制御回路111および信号処理回路112を備えている。制御回路111の機能を実現する装置と、信号処理回路112の機能を実現する装置とが、分散して配置されていてもよい。また、処理装置110の機能の少なくとも一部が撮像システム100から遠く離れた場所に設置されたコンピュータによって実行されてもよい。例えば、インターネットなどのネットワークを介して制御回路111に接続されたサーバコンピュータが、信号処理回路112の少なくとも一部の機能を実行してもよい。
ディスプレイ220は、制御回路111からの指示により、色の識別結果を表示する。ディスプレイ220は、例えばCRT、液晶、または有機ELなどのモニターである。ディスプレイ220は、筐体170に搭載されていてもよい。
本実施形態では、対象物230の撮影に、色彩情報を取得しないモノクロカメラである撮像装置140が用いられる。R、G、Bの三原色の複数の光源121、122、123を、同時ではなく順次点灯させながら撮像することで複数の画像が取得される。それらの画像を合成することにより、カラー画像が生成され、色彩情報が得られる。
図5は、本実施形態の撮像システム100による撮像によって生成されるR、G、Bのそれぞれの画像の一例を示す図である。図5は、説明の便宜上、複数の色見本が2次元的に配列されたカラーチャートであるマクベスカラーチェッカー(Macbeth Color Checker)が被写体として用いられた場合の例を示している。このような被写体を撮像した場合、図5に示すように、R画像、G画像、およびB画像のそれぞれのデータが順次生成される。それらの画像のデータを合成することにより、RGBのカラー画像のデータが得られる。なお、実際に得られる画像は、図5に示すようなカラーチャートの画像ではなく、例えば布地などの対象物230とカラー基準板240とを含む画像である。
一般的なカラーカメラに内蔵されたカラーフィルターでは、一度組み込まれたフィルタの分光特性を調整することはできず、またその特性をあらかじめ正確に知ることは困難である。これに対し、LEDなどの光源は、個別に選択または交換することが容易であり、かつ、分光計などで予めその発光特性を正確に知ることができる。
ここで、用いられる光源は、例えばCIE(国際照明委員会 Commission internationale de l'eclairage)で定められた、赤(R):700.0[nm]、緑(G):546.1[nm]、青(B):435.8[nm]のLED光源であり得る。しかし、必ずしもこの分光特性に一致していなくても、予め分光特性が測定できていれば、補正などの調整が容易である。
さらに、複数の光源の照度を独立に調整しながら撮影したり、複数の光源の照度を調整した上で複数の光源を同時に点灯させるなどの方法を用いて、より詳細な色彩情報を取得してもよい。
[2.動作]
図6は、本実施形態の撮像システム100によって実行される処理の概要を示すフローチャートである。本実施形態においては、対象物230の色の良否を判定する処理の事前準備として、対象物230の色の登録処理が行われる(ステップS10)。この登録処理では、処理装置110は、後述する処理により、対象物230の色を示す数値を決定し、当該数値を参照値としてメモリ114などの記録媒体に記録する。登録処理が完了した後、色が登録された対象物230と同じ種類の対象物230の色判定処理(ステップS20)が行われる。各処理の具体例を説明する。
[2−1.色登録処理]
図7は、ステップS10における色登録処理の流れを示すフローチャートである。撮像システム100は、ステップS110からS160の動作を実行することにより、対象物230の色を示す識別データ(参照値)を登録する。
ステップS110において、制御回路111は、第1の光源121を点灯させ、第2の光源122および第3の光源123を消灯させた状態で、撮像装置140に撮像指示を送り、赤(R)画像のデータを生成させる。生成されたR画像のデータは、メモリ114に記録される。
ステップS120において、制御回路111は、第2の光源122を点灯させ、第1の光源121および第3の光源123を消灯させた状態で、撮像装置140に撮像指示を送り、緑(G)画像のデータを生成させる。生成されたB画像のデータは、メモリ114に記録される。
ステップS130において、制御回路111は、第3の光源123を点灯させ、第1の光源121および第2の光源122を消灯させた状態で、撮像装置140に撮像指示を送り、青(B)画像のデータを生成させる。生成されたB画像のデータは、メモリ114に記録される。
ステップS140において、信号処理回路112は、生成されたR、G、Bの各画像データから、カラー基準板240の領域のデータと、対象物230の領域のデータとを抽出する。カラー基準板240の位置は既知であるため、信号処理回路112は、容易にカラー基準板240の領域と対象物230の領域とを抽出することができる。
ステップS150において、信号処理回路112は、カラー基準板240の領域のRGB画像のデータに基づいて、対象物230の領域のRGB画像のデータを補正する。
ここで、図8Aおよび図8Bを参照しながら、カラー基準板240を用いた補正処理の一例を説明する。図8Aは、カラー基準板240を用いた撮像の様子を模式的に示している。図8Aに示すように、撮像装置140で撮影される範囲の一部に、表面の色が既知であるカラー基準板240が配置される。カラー基準板240は、対象物230と同時に撮影される。図8Aにおいて、点線はカラー基準板240で反射されて撮像装置140に入射する光の経路の一例を示し、一点鎖線は、対象物230で反射されて撮像装置140に入射する光の経路の一例を示している。本実施形態では、カラー基準板240の表面が対象物230の表面に対して傾くように配置されている。これにより、対象物230の色の影響を受けにくくすることができる。
基準色の登録時および測定時には、対象物230とカラー基準板240を同時に撮影し、予めわかっているカラー基準板240の色の情報に基づき、対象物230の色が補正される。カラー基準板240には、例えば、R、G、Bの各色の光の反射率が概ね同程度のグレー板が用いられ得る。
図8Bは、撮像装置140によって生成された画像310の一例を示している。画像310には、対象物の領域230iと、カラー基準板の領域240iとが含まれる。信号処理回路112は、生成された画像310から、対象物の領域230iと、カラー基準板の領域240iとを抽出し、カラー基準板の領域240iのデータに基づき、対象物の領域230iの領域のデータを補正する。
ここで、カラー補正板の領域240iにおける赤、緑、青の値の代表値をそれぞれRr、Gr、Brとし、対象物の領域230iにおける赤、緑、青の画素値をそれぞれRt、Gt、Btとする。対象物の領域230iにおける補正後の赤、緑、青の画素値Rc、Gc、Bcは、以下の数1の演算によって求められる。
Figure 2021113744
ここで、Rk、Gk、Bkは、補正係数であり、例えば1.0等の一定の値に予め設定されている。
信号処理回路112は、対象物の領域230iのRGB画像の各画素のデータを、数1に基づいて補正する。Rr、Gr、Brの値は、例えば、カラー基準板の領域240iにおける複数の画素のR、G、Bのそれぞれの値の平均値であり得る。
ステップS160において、信号処理回路112は、対象物の領域230iにおける補正後のRGB画像のデータから、1つの色を示す識別データ(参照値)を生成して出力する。信号処理回路112は、この参照値を、メモリ114などの記録媒体に記録する。
図9は、ステップS160の処理の具体例を示すフローチャートである。ステップS160は、図9に示すステップS162からS167の処理を含む。以下、各ステップの処理を説明する。
ステップS162において、信号処理回路112は、対象物の領域230iにおける補正後のRGB画像データから、複数(n個)の画素ブロックを抽出する。抽出される画素ブロックの数nは、3以上の任意の数に設定され得る。ある例において、nは100程度の数に設定され得る。
図10および図11は、画素ブロックの抽出処理の例を説明するための図である。画素ブロックの抽出処理は、例えば以下のようにして行われ得る。
(1)RGB画像の中から、n個(例えば100個)の点を選択する。図10は、RGB画像から選択されるn個の点の例を示している。図10における+印は、選択される点を示している。図10における色の濃い領域230iは、対象物230を示す領域である。n個の点は、図10に示すように縦方向および横方向のそれぞれについて一定の間隔で選択されてもよいし、ランダムに選択されてもよい。図10の例において、n個の点の一部は、対象物を示す領域230iの内部にあり、残りの点は当該領域230iの外部にある。このように、選択されるn個の点の全てが対象物を示す領域230iの内部にある必要はない。
(2)選択されたn個の点のそれぞれを中心に、その周囲の一定の面積(例えば100画素程度)の画素ブロックを抽出する。図11は、抽出されたn個の画素ブロックの例を示す図である。図11において、□印の領域が画素ブロックを示している。図11に示す例では、n個の画素ブロックのいずれも、他の画素ブロックに重なっていないが、画素ブロック間で重なりが生じていてもよい。また、画素ブロックごとに大きさが異なっていてもよい。
再び図9を参照する。
ステップS163において、信号処理回路112は、各画素ブロックの画像を平滑化(または平均化)し、R、G、Bのそれぞれの色の代表値を決定する。例えば、各画素ブロックのR、G、Bそれぞれの画像データを、所定のサイズの平滑化フィルタを用いて平滑化することにより、各色の代表値を決定する。より具体的には、3×3画素または5×5画素などのサイズをもつ平均化フィルタ、加重平均化フィルタ、またはガウシアンフィルタなどの平滑化フィルタを用いて、各画素ブロックの画像データを平滑化できる。平滑化の処理は、複数回行われてもよい。平滑化を行うことにより、各画素ブロックのR、G、Bの値が平均化される。信号処理回路112は、画素ブロックごとに、R、G、Bのそれぞれについて、平均化された1つの値を代表値として決定する。なお、平滑化フィルタを用いる代わりに、単純に各画素ブロック内の複数の画素のR、G、Bのそれぞれの画素値の平均値を代表値としてもよい。ステップS163により、複数の画素ブロックの各々について、R、G、Bの平均化されたデータが得られる。
ステップS165において、信号処理回路112は、n個の画素ブロックの各々について、R、G、Bのそれぞれの画素値の代表値を、CIE−L表色系におけるL、a、bのデータに変換する。この変換は、例えば、以下のようにして行われる。信号処理回路112はまず、R、G、BのデータをCIE−XYZ表色系におけるX、Y、Zのデータに変換する。この変換は、既知の変換行列を用いて行われる。例えば、赤、緑、青の値をそれぞれR、G、Bとして、以下の数2〜4の変換式によってX、Y、Zの値が得られる。
Figure 2021113744
Figure 2021113744
Figure 2021113744
ここで変換係数K11、K12、K13、K21、K22、K23、K31、K32、K33は、撮像システムに依存して適切な値に設定される。
次に、信号処理回路112は、X、Y、Zのデータを、以下の数5〜7の変換式により、L、a、bのデータに変換する。
Figure 2021113744
Figure 2021113744
Figure 2021113744
ここで、変換係数Kl、Ka、Kb、Olは、撮像システムに依存して適切な値に設定される。X、Y、Zは、標準光の下での標準白色の三刺激値を表す。
このように、信号処理回路112は、各画素ブロックにおけるR、G、Bの値を、RGB色空間とは異なるL色空間における3つの値L、a、bに変換する。以下、この3つの値をLデータと称する。この変換により、色空間内での距離差を、方向によらず人間が知覚する色差に合わせることができる。
ステップS165において、信号処理回路112は、n個の画素ブロックの各々について、Lデータが示すL色空間上での点と、他の全ての画素ブロックにおけるLデータが示すL色空間上での点との距離の総和を計算する。この処理について、図12および図13を参照して説明する。
図12および図13は、n個の画素ブロックのLデータが示すL色空間上での複数の点の一例を模式的に示している。この例では簡単のため、aからeの5個の点が図示されている。図12には、点aと、他の全ての点との距離が矢印で示されている。図13には、点bと、他の全ての点との距離が矢印で示されている。他の点c、d、eについても同様に、L色空間上での距離が規定される。信号処理回路112は、L色空間上のn個の点のそれぞれについて、他の全ての点との距離の総和を計算する。n個の画素ブロックのうちのi番目(iは、1以上n以下の整数)の画素ブロックのL、a、bの値をそれぞれL、a、bとすると、信号処理回路112は、以下の数8で表される距離の総和Siを、全ての画素ブロックについて計算する。
Figure 2021113744
ステップS166において、信号処理回路112は、n個の画素ブロックの中から、ステップS165において計算した距離の総和が小さいものから順にm個(mは2以上n未満の整数)の画素ブロックを選択する。mは、例えばnの数十分の1から数分の1程度の数に設定され得る。nが例えば100である場合、mは例えば20程度の数に設定され得る。
図14は、L色空間上でのn個の点から、他の点との距離の総和が相対的に小さいm個の点320の例を示す図である。図14に示すように、ステップS166により、他の点との距離の総和が相対的に大きい点が排除され、距離の総和が相対的に小さい一部の点320のみが残される。上記の処理により、L色空間上で点が密集した部分にあるm個の点のデータが採用される。色空間をLとすることで、効果的に近似色のみを抽出することができる。
ステップS167において、信号処理回路112は、選択したm個の画素ブロックにおけるL、a、bのそれぞれの値の平均値を計算し、当該平均値をメモリ114に参照値として記録する。なお、平均値に代えて、m個の画素ブロックにおけるL、a、bの値に基づいて決定される他の代表値を記録してもよい。ここで記録されるL、a、bの参照値を、それぞれL、a、bとする。
以上の処理により、対象物230の色の登録が完了する。記録された参照値L、a、bは、その対象物230の基準色を表し、同種の他の対象物230の色の判定処理(ステップS20)において参照される。
[2−2.色判定処理]
続いて、図6に示すステップS20の色判定処理を説明する。
図15は、色判定処理の流れを示すフローチャートである。色判定処理は、ステップS201からS209を含む。ステップS201は、図7を参照して説明したステップS110からS150の動作と同じである。ステップS202からS207の処理は、それぞれ、図9に示すステップS162からS167の処理と同様である。このため、ステップS201からS207の処理の詳細な説明は省略する。信号処理回路112は、ステップS201からS207の処理により、検査対象の対象物230の補正後のRGB画像データから、L、a、bのそれぞれの平均値を計算する。この計算したL、a、bの平均値を、それぞれ測定値L、a、bとする。その後、ステップS208およびS209において、測定値L、a、bと、予め記録された参照値L、a、bとの比較を行い、対象物230の色の良否を判定する。以下、ステップS208およびS209の処理をより詳細に説明する。
ステップS208において、信号処理回路112は、ステップS207で計算したL、a、bのそれぞれの平均値L、a、bが示すL色空間上での点と、予め記録されたL、a、bのそれぞれの参照値L、a、bが示すL色空間上での点との距離を計算する。この距離は色差に相当し、ΔEで表される。色差ΔEは、以下の式によって計算される。
Figure 2021113744
このように、本明細書において、2つの色の「色差」は、色空間における当該2つの色の距離を意味する。本実施形態のようにRGBからLへの変換が行われる場合、L色空間における距離ΔEが色差に該当する。他の変換が行われる場合は、他の色空間における距離が色差として計算される。なお、ΔEに代えて、(ΔE)を色差として用いてもよい。
ステップS209において、信号処理回路112は、計算した距離ΔEに応じて、対象物230の色の良否を判定し、判定結果を出力する。判定結果は、ディスプレイ220に表示される。ΔEは一次元の数値であり、各次元の重みが均等になっているため色彩の差を表す数値として優れている。このため、ΔEは基準色からの差異の測定および合否の判定に便利である。ΔEの値のみをディスプレイ220に表示してもよい。しかし、この数値を基にいくつかの閾値を設けることで、合否判定またはクラス分けなどを行うことができる。例えば、ΔEが閾値未満であれば「合格」、閾値以上であれば「不合格」とすることができる。あるいは、ΔEが第1の閾値未満であれば「ランクA」、第1の閾値以上かつ第2の閾値未満であれば「ランクB」、第2の閾値以上第3の閾値未満であれば「ランクC」、といったクラス分けを行ってもよい。
図16は、良否判定の方法の例を示す図である。図16の(a)は、ΔEと1つの閾値との比較に基づく合否判定の例を示している。図16の(b)は、ΔEと複数の閾値との比較に基づくランク判定の例を示している。(a)の例では、閾値を1.0とし、ΔE<1.0であれば「合格(OK)」、ΔE≧1.0であれば「不合格(NG)」と判定される。(b)の例では、3つの閾値0.5、1.0、および1.5が設定され、ΔE<0.5であれば「ランクA」、0.5≦ΔE<1.0であれば「ランクB」、1.0≦ΔE<1.5であれば「ランクC」、ΔE>1.5であれば「不合格(NG)」と判定される。閾値の数は4つ以上であってもよい。閾値の数が多いほど、より多くのクラスに分類することができる。
上記の例において、各閾値を手動で設定してもよいが、各閾値の決定には様々な条件を考慮する必要があり、容易に決定できない場合がある。一方、本実施形態では、基準色を測定して登録する処理において、多くの点のデータが得られている。そのため、標準偏差などの統計データから、被測定物の色の許容差をあらかじめ知ることができる。したがって、標準偏差などの統計データに基づいて、各閾値を決定することができる。それにより、より適切な良否判定が可能になる。
図17は、統計データに基づく良否判定の例を示す概念図である。図17には、ステップS164またはS204において得られた統計データ(すなわちn個のLデータ)から決定された、L色空間中の2つの球330、340が例示されている。内側の球330は、例えばL、a、bのいずれかの統計データの標準偏差σを半径とする球であり得る。外側の球340は、例えばL、a、bのいずれかの統計データの標準偏差σの1.3倍を半径とする球であり得る。測定値L、a、bが示す点が内側の球330の内部にあれば「高ランク品」、内側の球330の外部で且つ外側の球340の内部にあれば「低ランク品」、外側の球340の外部にあれば「不良品」といった判定が可能である。図17の例では、2つの球330、340がL色空間中に規定されるが、1つまたは3つ以上の球または他の立体(例えば楕円体)が規定されてもよい。1つの立体が規定される場合、測定データの点が、当該立体の内部にあれば「良品」、外部にあれば「不良品」と判定できる。また、3つ以上の立体が規定される場合、4つ以上のクラスに被測定物を分類することができる。
色彩を管理するうえで、その濃度が問題になる場合が多い。例えば、染料の希釈の程度や塗付の厚さなどに起因して色むらが生じる場合、濃度を評価することが重要である。このような場合、上記のΔEの表示では、基準に対して濃度が濃いのか、薄いのかが判断できない。そこで、信号処理回路112は、先に測定した基準色L、a、bと、測定色L、a、bとに基づき、ΔL=(L−L)を算出してもよい。ΔLは、色彩の明度を表すパラメータであるので、濃度が濃いものよりも、濃度が薄いもののほうが大きな値となる。このため、濃度の濃淡を容易に判断できる。
このような計算方式では、基準色よりも対象物の色が濃い(すなわち明度が低い)場合は負の値になり、対象物の色が薄い(すなわち明度が高い)場合は正の値になる。染料の濃度や塗付の厚さなどを対象とした場合、この表現は感覚と異なる。このため、信号処理回路112は、ΔL′=(L−L)に基づいて濃度を評価してもよい。ΔL´を用いることにより、基準色よりも対象物の色が濃い(すなわち明度が低い)場合は正の値になり、対象物の色が薄い(すなわち明度が高い)場合は負の値になり、感覚と一致した表現が可能になる。ΔEおよびΔL’を表示することで、対象物の色の差異と濃淡の差異がわかり、合否判定もしくはランク分け、および前工程へのフィードバックが容易になる。このように、信号処理回路112は、m個の画素ブロックにおける3つの値L、a、bの1つであるLについての代表値Lmと、予め記録された3つの値L、a、bの1つであるLについての参照値Lrとの差を計算し、当該差に応じて、対象物の色の良否を判定し、判定結果を出力する。
本実施形態では、信号処理回路112は、RGB値からXYZ値への変換を行い、さらにL値への変換を行い、計測されたL値と、予め登録されたL値とから計算される距離(すなわち色差)を計算する。しかし、L値への変換に限らず、他の色空間における値への変換を行ってもよい。例えば、XYZまたはLなどへの変換を行い、前述と同様の処理を適用してもよい。その場合、当該他の色空間における距離を色差として扱えばよい。
[3.効果]
以上のように、本実施形態によれば、撮像システム100は、照明装置120と、撮像装置140と、処理装置110と、カラー基準部材240と、遮光性の筐体170とを備える。照明装置120は、1つ以上の波長域の光をそれぞれ出射する1つ以上の光源を含む。処理装置110は、照明装置120および撮像装置140を制御し、撮像装置140から出力される信号を処理する。カラー基準部材240は、1つ以上の光源からそれぞれ出射された光を反射し、反射光が撮像装置140に入射するように配置される。筐体170は、開口部を有し、照明装置120、撮像装置140、およびカラー基準部材240を内部に収容する。筐体170における開口部の周囲の部分によって対象物230が押さえられた状態で対象物の撮像が行われる。処理装置110は、1つ以上の光源に光を順次出射させ、1つ以上の光源から光が出射される度に、撮像装置140に、対象物230およびカラー基準部材240によって反射された光に基づく画像データを生成させる。処理装置110は、当該画像データに基づいて、対象物230の色を識別するための識別データを生成して出力する。
処理装置110における信号処理回路112は、対象物230の色の登録処理と、色判定処理とを行う。登録処理において、信号処理回路112は、撮像装置140から取得したRGB画像データが示す画像から、n個の画素ブロックを決定し、画素ブロックごとにR、G、Bのそれぞれの画素値の代表値(例えば平均値)を決定する。そして、各画素ブロックについて、R、G、Bのそれぞれの画素値の代表値を、RGB色空間とは異なる第2の色空間(例えばL色空間)における3つの値(例えばL、a、b値)に変換する。さらに、各画素ブロックについて、当該3つの値が示す第2の色空間上での点と、n個の画素ブロックに含まれる他の全ての画素ブロックについての当該3つの値が示す第2の色空間上での点との距離の総和を計算する。n個の画素ブロックのうち、距離の総和が小さいものから順に選択されたm個の画素ブロックにおける上記3つの値のそれぞれの代表値(例えば平均値)を計算して参照値として出力する。以上の処理が、色の登録が必要な全ての対象物について実行され得る。色判定処理において、信号処理回路112は、被測定物である対象物についても上記と同様の方法で、第2の色空間における3つの値のそれぞれの代表値を測定値として計算する。そして、測定値が示す前記第2の色空間上での点と、予め記録された参照値が示す第2の色空間上での点との距離を計算する。信号処理回路は、当該距離に応じて、対象物の色の良否を判定し、判定結果を出力する。
以上の処理によれば、n個の画素ブロックのうち、距離の総和が小さいものから順に選択されたm個の画素ブロックにおける上記3つの値のそれぞれの代表値が計算される。これにより、n個の画素ブロックのうち、色が類似する一部の画素ブロックのみが選択され、当該一部の画素ブロックのデータのみに基づいて上記3つの値の代表値が決定される。このような処理により、例えば地紋や折り目などがある布地や紙(特に繊維が大きいもの)などの、表面の色彩が均一ではない対象物の色の識別または評価をより正確に行うことができる。
従来の色彩測定では、測定結果がXYZ表色系またはLab表色系などの3次元以上の標準表色系で表現される場合が多かった。しかし、そのような表現は一般的に理解しにくく、対象物の色の評価が難しい。例えば製造現場の検査工程において製造物の色を測定し、測定結果に基づいて製造物の合否の判定を行う場合、従来の方法では合否の判定が難しく、また製造工程へのフィードバックも難しい。本実施形態によれば、対象物の色の良否の判定結果が、例えば「合格」、「不合格」、または、「ランクA」、「ランクB」、「ランクC」といったわかり易い態様で表示される。このため、製造物の色の評価を容易に行うことができ、例えば製造工程へのフィードバックが容易になる。
また、本実施形態によれば、R、G、Bのそれぞれの画素値の代表値を、第2の色空間における3つの値に変換するときに使用される変換係数を、機械学習によって決定する。これにより、色の識別性能を大幅に向上させることができる。
従来、精度が要求される色彩測定では、予め規定されたカラーフィルタを有するカメラ、または照明を使用することが要求される。例えばR、G、Bの3原色の撮影では、それぞれの色の波長が規定されており、国際照明委員会(Commission internationale de l’eclairage:CIE)では、赤(R):700.0[nm]、緑(G):546.1[nm]、青(B):435.8[nm]と定められている。本来であれば、これらの前提条件のもとにRGBからXYZへの変換や、XYZからLへの変換が行われる。
本技術では、色彩の絶対値評価を目的としていないので、正確にこれらの規格に合わせる必然性はない。しかし、幅広い色彩の対象物を均一の感度で測定するためには、これらの標準的な波長による測定が望ましいといえる。
一方で、一般的に使用されるLEDやカメラなどの物理デバイスが、必ずしも規定値どおりの特性を持っているとは限らない。規定値に近いものは一般的に大型で高価になりやすく、特に限定されたコストやサイズの中では、理想的な理論値に近づけることは難しい。既知の色を実デバイスで撮影し、その結果に基づいて、変換式の各係数を補正する方法も考えられるが、パラメータが多く、多彩な色に合わせこむことは難しい。このため、代表的な色や使用頻度の高い色に限って行われている場合が多い。
これに対し、本実施形態の方法では、誤差逆伝搬法などの機械学習アルゴリズムを利用して、各変換式の各係数が最適化される。このため、実際に使用されるデバイスに依存せずに最適な係数を決定することができる。
[4.変形例]
次に、上記の実施形態の変形例を説明する。
上記の実施形態では、画像として、対象物を撮像することによって生成された、各々がR、G、Bの3つの色にそれぞれ対応する3つの画素値を有する複数の画素を含むRGB画像が用いられる。しかし、画像は、RGB画像に限らず、単色、2色、または4色以上の画像であってもよい。例えば、図18に示すように、照明装置120は、R、G、Bの波長域の光をそれぞれ出射する光源121、122、123に加えて、赤外光を出射する光源124を備えていてもよい。また、図19に示すように、照明装置120が、1つの波長域の光を出射する1つの光源125を備えていてもよい。
上記の実施形態では、各画素ブロックにおける各色の画素値の代表値が、R、G、Bによって構成される第1の色空間とは異なる第2の色空間(例えばL色空間など)に変換される。しかし、そのような変換処理を省略してもよい。その場合であっても、各画素ブロックについて、1つ以上の色のそれぞれの画素値の代表値と、n個の画素ブロックに含まれる他の全ての画素ブロックについての当該1つ以上の色のそれぞれの画素値の代表値との差の程度を示す値の総和が計算される。そして、n個の画素ブロックのうち、当該差の程度を示す値の総和が小さいものから順に選択されたm個(mは2以上n未満の整数)の画素ブロックにおける1つ以上の色のそれぞれの画素値の代表値に基づく1つの色を示す値が決定される。このような処理により、対象物の色または濃度を適切に評価することができる。
本開示の技術は、対象物の色を識別する用途に利用することができる。例えば、表面の色が不均一な製造物の色の検査に利用することができる。
100 撮像システム
110 処理装置
111 制御回路
112 信号処理回路
114 メモリ
116 入出力インタフェース
120 照明装置
121 第1の光源
122 第2の光源
123 第3の光源
142 レンズ光学系
170 筐体
172 遮光パッキン
174 開口部
180 ギャップ
220 ディスプレイ
230 対象物
240 カラー基準板

Claims (14)

  1. 1つ以上の波長域の光をそれぞれ出射する1つ以上の光源を含む照明装置と、
    撮像装置と、
    前記照明装置および前記撮像装置を制御し、前記撮像装置から出力される信号を処理する処理装置と、
    前記1つ以上の光源からそれぞれ出射された光を反射し、反射光が前記撮像装置に入射するように配置されたカラー基準部材と、
    開口部を有し、前記照明装置、前記撮像装置、および前記カラー基準部材を内部に収容する遮光性の筐体と、
    を備え、
    前記筐体における前記開口部の周囲の部分によって対象物が押さえられた状態で前記対象物の撮像が行われ、
    前記処理装置は、
    前記1つ以上の光源に前記光を順次出射させ、
    前記1つ以上の光源から前記光が出射される度に、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された光に基づく画像データを生成させ、
    前記画像データに基づいて、前記対象物の色を識別するための識別データを生成して出力する、
    撮像システム。
  2. 前記カラー基準部材は、前記開口部を含む面に対して傾斜した反射面を有する、請求項1に記載の撮像システム。
  3. 前記開口部に位置し、前記対象物を押さえるための透明板をさらに備え、
    前記透明板は、前記撮像装置の側の表面に、光の反射を抑制する凹凸構造を有する、
    請求項1または2に記載の撮像システム。
  4. 前記処理装置は、前記画像データにおける前記対象物に相当する領域のデータを、前記画像データにおける前記カラー基準部材に相当する領域のデータに基づいて補正することによって補正画像データを生成し、前記補正画像データに基づいて、前記識別データを生成する、請求項1から3のいずれかに記載の撮像システム。
  5. 前記処置装置は、
    前記補正画像データから、n個(nは3以上の整数)の画素ブロックを抽出し、
    抽出した前記n個の画素ブロックの各々について、画素値の代表値を決定し、
    前記n個の画素ブロックの各々について、前記画素値の代表値と、前記n個の画素ブロックに含まれる他の全ての画素ブロックについての前記画素値の代表値との差の程度を示す値の総和を計算し、
    前記n個の画素ブロックのうち、前記差の程度を示す値の総和が小さいものから順に選択されたm個(mは2以上n未満の整数)の画素ブロックにおける前記画素値の代表値に基づく1つの色を示す値を決定し、前記値に基づいて前記識別データを生成する、
    請求項4に記載の撮像システム。
  6. 前記1つ以上の光源は、
    第1の波長域の光を出射する第1の光源と、
    第2の波長域の光を出射する第2の光源と、
    第3の波長域の光を出射する第3の光源と、
    を含み、
    前記処理装置は、
    前記第1の光源に前記第1の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第1の波長域の光に基づく第1の画像データを生成させ、
    前記第2の光源に前記第2の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第2の波長域の光に基づく第2の画像データを生成させ、
    前記第3の光源に前記第3の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第3の波長域の光に基づく第3の画像データを生成させ、
    前記第1の画像データ、前記第2の画像データ、および前記第3の画像データに基づいて、前記識別データを生成して出力する、
    請求項1から5のいずれかに記載の撮像システム。
  7. 前記カラー基準部材は、前記第1から第3の波長域のそれぞれの光を、同等の反射率で反射する、請求項6に記載の撮像システム。
  8. 第1の波長域は、赤の波長域であり、
    第2の波長域は、緑の波長域であり、
    第3の波長域は、青の波長域である、
    請求項6または7に記載の撮像システム。
  9. 前記処理装置は、
    前記第1の画像データにおける前記対象物に相当する領域のデータに基づき、第1の色データを生成し、
    前記第2の画像データにおける前記対象物に相当する領域のデータに基づき、第2の色データを生成し、
    前記第3の画像データにおける前記対象物に相当する領域のデータに基づき、第3の色データを生成し、
    前記第1の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第1の色データを補正し、
    前記第2の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第2の色データを補正し、
    前記第3の画像データにおける前記カラー基準部材に相当する領域のデータに基づき、前記第3の色データを補正し、
    補正後の前記第1から第3の色データに基づき、前記識別データを生成する、
    請求項6から8のいずれかに記載の撮像システム。
  10. 前記処理装置は、
    前記第1の画像データにおける前記対象物に相当する領域のデータが示す画像から、n個(nは3以上の整数)の画素ブロックを抽出し、抽出した前記n個の画素ブロックの各々について、前記第1の波長域の画素値の代表値を決定し、n個の前記代表値を示すデータを前記第1の色データとして生成し、
    前記第2の画像データにおける前記対象物に相当する領域のデータが示す画像から、前記n個の画素ブロックに対応する位置にあるn個の画素ブロックを抽出し、抽出した前記n個の画素ブロックの各々について、前記第2の波長域の画素値の代表値を決定し、n個の前記代表値を示すデータを前記第2の色データとして生成し、
    前記第3の画像データにおける前記対象物に相当する領域のデータが示す画像から、前記n個の画素ブロックに対応する位置にあるn個の画素ブロックを抽出し、抽出した前記n個の画素ブロックの各々について、前記第3の波長域の画素値の代表値を決定し、n個の前記代表値を示すデータを前記第3の色データとして生成する、
    請求項9に記載の撮像システム。
  11. 前記処理装置は、
    補正後の前記第1から第3の色データに基づいて、前記n個の画素ブロックの各々について、前記第1から第3の波長域のそれぞれの画素値の代表値を、前記第1から第3の波長域によって規定される第1の色空間とは異なる第2の色空間における3つの値に変換し、
    前記n個の画素ブロックの各々について、前記3つの値が示す前記第2の色空間上での点と、前記n個の画素ブロックに含まれる他の全ての画素ブロックについての前記3つの値が示す前記第2の色空間上での点との距離の総和を計算し、
    前記n個の画素ブロックのうち、前記距離の総和が小さいものから順に選択されたm個(mは2以上n未満の整数)の画素ブロックにおける前記3つの値のそれぞれの代表値を計算し、
    前記3つの値のそれぞれの前記代表値を、前記識別データとして出力する、
    請求項10に記載の撮像システム。
  12. 前記処理装置は、さらに、
    前記m個の画素ブロックにおける前記3つの値のそれぞれの代表値が示す前記第2の色空間上での点と、予め記録された前記3つの値のそれぞれの参照値が示す前記第2の色空間上での点との距離を計算し、
    前記距離に応じて、前記対象物の色の良否を判定し、判定結果を出力する、
    請求項11に記載の方法。
  13. 前記処理装置は、さらに、
    前記m個の画素ブロックにおける前記3つの値の1つについての前記代表値と、予め記録された前記3つの値の1つについての参照値との差を計算し、
    前記差に応じて、前記対象物の色の良否を判定し、判定結果を出力する、
    請求項11に記載の方法。
  14. 前記1つ以上の光源は、第4の波長域の光を出射する第4の光源をさらに含み、
    前記処理装置は、
    さらに、前記第4の光源に前記第4の波長域の光を出射させ、前記撮像装置に、前記対象物および前記カラー基準部材によって反射された前記第4の波長域の光に基づく第4の画像データを生成させ、
    前記第1の画像データ、前記第2の画像データ、前記第3の画像データ、および第4の画像データに基づいて、前記識別データを生成して出力する、
    請求項6から9のいずれかに記載の撮像システム。
JP2020006586A 2020-01-20 2020-01-20 撮像システム Pending JP2021113744A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020006586A JP2021113744A (ja) 2020-01-20 2020-01-20 撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020006586A JP2021113744A (ja) 2020-01-20 2020-01-20 撮像システム

Publications (1)

Publication Number Publication Date
JP2021113744A true JP2021113744A (ja) 2021-08-05

Family

ID=77076855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020006586A Pending JP2021113744A (ja) 2020-01-20 2020-01-20 撮像システム

Country Status (1)

Country Link
JP (1) JP2021113744A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095490A1 (ja) * 2021-11-26 2023-06-01 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム
WO2024047944A1 (ja) * 2022-08-29 2024-03-07 富士フイルム株式会社 校正用部材、筐体装置、校正装置、校正方法、及びプログラム
WO2024069749A1 (ja) * 2022-09-27 2024-04-04 株式会社Fuji バックアップピン判別方法
WO2024142676A1 (ja) * 2022-12-28 2024-07-04 北川工業株式会社 測色装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095490A1 (ja) * 2021-11-26 2023-06-01 新興窯業株式会社 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム
WO2024047944A1 (ja) * 2022-08-29 2024-03-07 富士フイルム株式会社 校正用部材、筐体装置、校正装置、校正方法、及びプログラム
WO2024069749A1 (ja) * 2022-09-27 2024-04-04 株式会社Fuji バックアップピン判別方法
WO2024142676A1 (ja) * 2022-12-28 2024-07-04 北川工業株式会社 測色装置

Similar Documents

Publication Publication Date Title
JP2021113744A (ja) 撮像システム
US10168215B2 (en) Color measurement apparatus and color information processing apparatus
US9958265B2 (en) Specimen measuring device and computer program product
JP6676398B2 (ja) ディスプレイ検査のための測色システム
JP6670327B2 (ja) 宝石用原石の色測定
CN110945561B (zh) 高光谱成像分光光度计和系统
JP5293355B2 (ja) 光沢感評価方法、光沢感評価装置、該装置を有する画像評価装置、画像評価方法および該方法を実行するためのプログラム
JP3809838B2 (ja) 照明源固有hsv色座標を用いた画像ハイライト補正方法、画像ハイライト補正プログラム、および画像取得システム
US11656178B2 (en) UV-VIS spectroscopy instrument and methods for color appearance and difference measurement
JP7207124B2 (ja) 校正装置、校正方法、分光カメラ、及び表示装置
Charrière et al. Color calibration of an RGB camera mounted in front of a microscope with strong color distortion
US11060918B2 (en) Evaluator, measurement apparatus, evaluating method, and non-transitory recording medium
JP6969164B2 (ja) 評価装置、評価プログラム及び評価方法
US11017564B2 (en) Image processing apparatus and non-transitory computer readable medium storing image processing program
JP2018004509A (ja) 測色システムおよび検査装置
JP2016194449A (ja) 着色検査装置および着色検査方法
JP6813749B1 (ja) 対象物の色を数値化する方法、信号処理装置、および撮像システム
Zhu et al. Color calibration for colorized vision system with digital sensor and LED array illuminator
JP2008026147A (ja) カラーフィルタの検査装置及びカラーフィルタの検査方法
JP2006071316A (ja) 膜厚取得方法
JP2002350355A (ja) 光沢ムラ評価装置、光沢ムラ評価方法及び該方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体
KR101497920B1 (ko) 최급경사 알고리즘을 이용한 비전시스템의 컬러 조명 제어방법
KR101517554B1 (ko) 공액구배 알고리즘을 이용한 비전시스템의 컬러 조명 제어방법
JP2009182845A (ja) 画像処理装置および画像処理方法
JP2022006624A (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240807