JP2022177166A - 検査方法、プログラム、及び、検査システム - Google Patents

検査方法、プログラム、及び、検査システム Download PDF

Info

Publication number
JP2022177166A
JP2022177166A JP2022147501A JP2022147501A JP2022177166A JP 2022177166 A JP2022177166 A JP 2022177166A JP 2022147501 A JP2022147501 A JP 2022147501A JP 2022147501 A JP2022147501 A JP 2022147501A JP 2022177166 A JP2022177166 A JP 2022177166A
Authority
JP
Japan
Prior art keywords
color
region
angle
inspection
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022147501A
Other languages
English (en)
Inventor
隆信 尾島
Takanobu Oshima
秀人 本村
Hideto Motomura
莉奈 赤穗
Rina AKAHO
義徳 松井
Yoshinori Matsui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2022177166A publication Critical patent/JP2022177166A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems

Abstract

Figure 2022177166000001
【課題】対象物の表面の色の検査の精度を向上できる、検査方法、プログラム、及び、検査システムを提供する。
【解決手段】取得ステップ(S11)と、比較ステップ(S15),(S16)とを含む。取得ステップ(S11)は、照明システムによって照らされている対象物の表面を撮像システムで撮像して得られる対象物の表面の対象画像を取得するステップである。比較ステップ(S15),(S16)は、対象画像の着目領域の色と、参照領域の色との比較を行うステップである。参照領域は、対象物の色の基準となる基準物の表面の基準画像の領域であって、着目領域での照明システムからの光の入射角と撮像システムへの光の反射角との組み合わせに対応する領域である。
【選択図】図1

Description

本開示は、検査方法、プログラム、及び、検査システムに関する。特に、本開示は、画像により対象物の表面の色の検査を行う検査方法、プログラム、及び、検査システムに関する。
特許文献1は、着色検査装置を開示する。特許文献1に開示された着色検査装置は、カメラと、演算処理装置と、照明部と、を備える。カメラは、CIEXYZ等色関数と等価に線形変換された三つの分光感度を有する。また、カメラは、物体を撮像して画像データを取得し、当該画像データを演算処理装置に送信する。画像データは、三つの分光感度に従って得られた三つの分光感度値を有する。演算処理装置は、カメラが取得した画像データをCIEXYZ表色系における三刺激値に変換し、着色データを取得する。また、演算処理装置は、着色データを正規化しxyzに変換する演算処理を行う。照明部は、測定対象物の一例である自動車を照射する。着色検査装置は、検査物と基準物の2つのxyz色度ヒストグラム分布の重なり合った割合を示す色分布一致指数を演算して、色を検査する。
特開2015-155892号公報
検査物(測定対象物、対象物)の色の見え方は、検査物の形状の影響を受け得る。つまり、検査物は、照明部からの光の反射に関して角度依存性を持ち得る。例えば、検査物の表面が同じ色で塗装されていても、場所によっては検査物が異なる色に見える。特許文献1では、検査物の形状が色の検査に考慮されていない。
課題は、対象物の表面の色の検査の精度を向上できる、検査方法、プログラム、及び、検査システムを提供することである。
本開示の一態様の検査方法は、取得ステップと、比較ステップとを含む。取得ステップは、照明システムによって照らされている対象物の表面を撮像システムで撮像して得られる対象物の表面の対象画像を取得するステップである。比較ステップは、対象画像の着目領域の色と、参照領域の色との比較を行うステップである。参照領域は、対象物の色の基準となる基準物の表面の基準画像の領域であって着目領域での照明システムからの光の入射角と撮像システムへの光の反射角との組み合わせに対応する領域である。
本開示の一態様のプログラムは、1以上のプロセッサに、検査方法を実行させるための、プログラムである。
本開示の一態様の検査システムは、取得部と、比較部とを含む。取得部は、照明システムによって照らされている対象物の表面を撮像システムで撮像して得られる対象物の表面の対象画像を取得する。比較部は、対象画像の着目領域の色と、参照領域の色との比較を行う。参照領域は、対象物の色の基準となる基準物の表面の基準画像の領域であって着目領域での照明システムからの光の入射角と撮像システムへの光の反射角との組み合わせに対応する領域である。
本開示の態様によれば、対象物の表面の色の検査の精度を向上できる、という効果を奏する。
図1は、一実施形態の検査方法のフローチャートである。 図2は、上記検査方法を実施する検査システムのブロック図である。 図3は、上記検査システムの照明システム及び撮像システムと対象物との位置関係の説明図である。 図4は、上記検査システムの照明システム及び撮像システムと基準物との位置関係の説明図である。 図5は、上記検査システムで撮像された対象物の画像(対象画像)の一例を示す図である。 図6は、上記検査システムで撮像された基準物の画像(基準画像)の一例を示す図である。 図7は、対象物の表面の法線方向の決定方法の説明図である。 図8は、対象物として用意された複数のサンプルの、基準物との一致率を示すグラフである。 図9は、対象物として用意された複数のサンプルの目視評価の結果を示すグラフである。 図10は、対象物として用意された複数のサンプルの、一致率と目視評価の結果との関係を示すグラフである。 図11は、着目領域及び参照領域それぞれの画素値(R値)のヒストグラムを示すグラフである。 図12は、着目領域及び参照領域それぞれの画素値(G値)のヒストグラムを示すグラフである。 図13は、着目領域及び参照領域それぞれの画素値(B値)のヒストグラムを示すグラフである。 図14は、対象画像のヒートマップの一例を示す図である。 図15は、対象画像のヒートマップの別例を示す図である。 図16は、対象画像のヒートマップの別例を示す図である。 図17は、対象画像のヒートマップの別例を示す図である。 図18は、入射角と反射角との組み合わせが一致する領域が色分けされた対象画像を示す図である。 図19は、入射角と反射角との組み合わせが一致する領域が色分けされた基準画像を示す図である。 図20は、不合格と判定された着目領域を含む対象画像の一例を示す図である。 図21は、不合格と判定された着目領域が強調された対象画像の一例を示す図である。
(1)実施形態
(1.1)概要
図1は、一実施形態の検査方法のフローチャートを示し、図2は、検査方法を実施する検査システム1を示す。検査方法は、図3に示すような対象物100の表面に関する検査の方法である。より詳細には、検査方法は、対象物100の表面の色の検査のための方法である。ただし、図3では、図示の簡略化のために、対象物100の一部を示している。
検査方法は、取得ステップS11と、比較ステップS15,S16とを含む。
取得ステップS11は、図3に示すように、照明システム20によって照らされている対象物100の表面を撮像システム30で撮像して得られる対象物100の表面の対象画像P10(図5参照)を取得するステップである。比較ステップS15,S16は、対象画像P10の着目領域P101(図5参照)の色と、参照領域P201(図6参照)の色との比較を行うステップである。参照領域P201は、対象物100の色の基準となる基準物200の表面の基準画像P20(図6参照)の領域であって、着目領域P101での照明システム20からの光L11の入射角θtと撮像システム30への光L12の反射角φtとの組み合わせに対応する領域である。
検査方法では、対象物100の色を基準物200の色と比較するにあたっては、対象物100の着目領域P101と基準物200の参照領域P201とで色の比較を行う。参照領域P201は、着目領域P101での照明システム20からの光の入射角θtと撮像システム30への光の反射角φtとの組み合わせに対応する領域である。つまり、検査方法では、単純に対象物100と基準物200との色を比較するのではない。検査方法では、着目領域P101の色を、着目領域P101の入射角θtと反射角φtとの組み合わせに対応する入射角θrと反射角φrとの組み合わせ(図4参照)に対応する参照領域P201の色と比較する。このように、照明システム20からの光の入射角と撮像システム30への光の反射角とをキーとして、着目領域P101と参照領域P201との色を比較する。これによって、照明システム20からの光の入射角と撮像システム30への光の反射角との組み合わせが互いに対応する着目領域P101と参照領域P201とで色を比較することが可能となる。これによって、表面の光学特性(反射特性)が一致する着目領域P101と参照領域P201とで色を比較することができる。表面の光学特性は表面の形状を反映すると考えられる。したがって、対象物100の色の検査にあたって、対象物100と基準物200との形状の相違による影響を低減することが可能となる。その結果、本実施形態の検査方法によれば、対象物100の表面の色の検査の精度を向上できる。
(1.2)詳細
以下、本実施形態の検査方法を実施する検査システム1について図面を参照して更に詳細に説明する。検査システム1は、対象物100の検査のためのシステムである。検査システム1は、着色検査装置としての機能を有する。本実施形態において、検査システム1による検査は、対象物100の表面の色を対象とする。
対象物100は、表面を有する物体であればよい。本実施形態では、対象物100の表面は曲面を含んでいる。一例として、対象物100は、自動車であり得る。特に、対象物100の表面は、自動車の車体の外面の一部である。なお、対象物100は自動車に限られない。例えば、対象物100は、自動車以外の移動体であってよいし、移動体でなくてもよい。移動体の例としては、二輪車、電車、ドローン、航空機、建設機械、及び船舶が挙げられる。また、対象物100は、電気機器や、食器、容器、家具、衣類、建材等であってもよい。要するに、対象物100は、表面を有する物体であればよい。特に、対象物100は、塗装される物体であれば、本実施形態の検査システム1を好適に利用できる。
検査システム1は、図2に示すように、判定システム10と、照明システム20と、撮像システム30とを備える。なお、図3及び図4では、照明システム20及び撮像システム30をデフォルメして示している。
照明システム20は、対象物100の表面に光を照射するためのシステムである。照明システム20は、対象物100に光を照射する1以上のランプを含む。ランプは、一例としては、LED(Light Emitting Diode)ランプである。また、ランプは、白色光を放射する。なお、照明システム20において、ランプの数は特に限定されず、ランプの種類も、LED以外の光源であってよい。また、ランプの発光色は白色に限定されない。ランプの発光色は、対象物100の色及び撮像システム30で検出可能な色を考慮して適宜設定され得る。また、照明システム20が放射する光の波長は変更可能であってよい。
撮像システム30は、対象物100の表面の画像(デジタル画像)を生成するためのシステムである。本実施形態では、撮像システム30は、照明システム20によって照らされている対象物100の表面を撮像して対象物100の表面の画像を生成する。撮像システム30は、1以上のカメラを含む。カメラは、1以上のイメージセンサを備える。なお、カメラは1以上のラインセンサを備えてもよい。
判定システム10は、図2に示すように、入出力部11と、記憶部12と、処理部13とを備える。判定システム10は、コンピュータシステムにより実現され得る。コンピュータシステムは、1以上のプロセッサ、1以上のコネクタ、1以上の通信機器、及び1以上のメモリ等を含み得る。
入出力部11は、照明システム20及び撮像システム30との間の情報の入出力を行う。本実施形態では、入出力部11は、照明システム20及び撮像システム30に通信可能に接続される。入出力部11は、1以上の入出力装置を含み、1以上の入出力インタフェースを利用する。
記憶部12は、処理部13が利用する情報を記憶するために用いられる。記憶部12は、1以上の記憶装置を含む。記憶装置は、例えば、RAM(Random Access Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)である。
記憶部12は、基準データを記憶する。基準データは、対象物100の色の基準となる基準物200(図4参照)に関するデータである。本実施形態では、対象物100の表面は単色に塗装されており、基準物200の表面は単色に塗装されている。一例として、基準データは、所定の撮像条件で撮像された基準物200の画像である基準画像P20(図6参照)から生成され得る。撮像条件は、基準物200と照明システム20と撮像システム30との相対的な位置関係(つまりは、撮影対象物と照明とカメラの位置関係の情報)を含み得る。基準データは、基準物200の画素毎に、入射角θrと反射角φtと画素値とを含む。図4に示すように、入射角θrは、画素に対応する基準物200の表面の領域への照明システム20からの光L21の入射角である。より詳細には、入射角θrは、入射面210において、画素に対応する基準物200の表面の領域での法線N21の方向と照明システム20からの光L21とのなす角である。図4に示すように、反射角φrは、画素に対応する基準物200の表面の領域から撮像システム30への光L22の反射角である。より詳細には、反射角φrは、入射面210において、画素に対応する基準物200の表面の領域での法線N21の方向と撮像システム30への光L22とのなす角である。入射面210は、一例として、照明システム20の中心と撮像システム30の中心とを含み、基準物200の表面に直交する面として定義され得る。図6の基準画像P20に関して言えば、照明システム20の中心と撮像システム30の中心とはY軸に沿っており、入射面210はX軸に直交する面となる。本実施形態では、基準物200の表面は平坦であるから、各画素において法線N21は表面に垂直と考えてよく、基準物200と照明システム20と撮像システム30との相対的な位置関係から、入射角θrと反射角φrとが求まる。画素値は、三色の値を含み得る。三色の値は、赤色に対応するR値、緑色に対応するG値、及び、青色に対応するB値であり得る。このように、本実施形態では、画素値は、RGB表色系で表される。
基準データの一例を、下記の表1に示す。表1において、X,Yは画素の座標を示している。以下では、Xの値がaであり、Yの値がbである画素を、画素(a,b)と記載することがある。なお、基準画像P20は一例として、1024×1024の大きさであるが、図6では図示の簡略化のために16×16の大きさとしている。
Figure 2022177166000002
処理部13は、例えば、1以上のプロセッサ(マイクロプロセッサ)により実現され得る。つまり、1以上のプロセッサが1以上のメモリに記憶された1以上のプログラム(コンピュータプログラム)を実行することで、処理部13として機能する。1以上のプログラムは、1以上のメモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
処理部13は、図2に示すように、取得部F11と、決定部F12と、比較部F13と、判定部14と、提示部15とを有している。取得部F11と、決定部F12と、比較部F13と、判定部F14と、提示部F15とは、実体のある構成を示しているわけではなく、処理部13によって実現される機能を示している。
取得部F11は、照明システム20によって照らされている対象物100の表面を撮像システム30で撮像して得られる対象物100の表面の対象画像P10(図5)を取得する取得ステップを実行する。
本実施形態では、取得部F11は、撮像システム30から対象物100の表面の画像を取得する。つまり、取得部F11は、入出力部11を介して撮像システム30から画像を受け取る。取得部F11が撮像システム30から取得する画像は、撮像システム30の撮像条件によって決まる。撮像条件は、対象物100と照明システム20と撮像システム30との相対的な位置関係(つまりは、撮影対象物と照明とカメラの位置関係の情報)を含み得る。
決定部F12は、着目領域P101での入射角θtと反射角φtとを決定する決定ステップを実行する。決定ステップは、対象物100の1以上の画像を利用して着目領域P101での入射角θtと反射角φtを算出する。より詳細には、決定部F12は、取得部F11で取得された対象画像P10に基づいて、対象物100の色の検査に用いられる対象データを生成する。対象データは、対象物100の画素毎に、入射角θtと反射角φtと画素値とを含む。図3に示すように、入射角θtは、画素に対応する対象物100の表面の領域への照明システム20からの光L11の入射角である。より詳細には、入射角θtは、入射面110において、画素に対応する対象物100の表面の領域での法線N11の方向と照明システム20からの光L11とのなす角である。図3に示すように、反射角φtは、画素に対応する対象物100の表面の領域から撮像システム30への光L12の反射角である。より詳細には、反射角φtは、入射面110において、画素に対応する対象物100の表面の領域での法線N11の方向と撮像システム30への光L12とのなす角である。入射面110は、一例として、照明システム20の中心と撮像システム30の中心とを含み、対象物100の表面に直交する面として定義され得る。図5の対象画像P10に関して言えば、照明システム20の中心と撮像システム30の中心とはY軸に沿っており、入射面110はX軸に直交する面となる。決定部F12は、入射角θtと反射角φtとを求めるために、対象画像P10の各画素の法線N11を利用する。決定部F12は、法線N11を求める機能を有している。
法線N11は、対象物100の表面の形状から得ることができる。本実施形態では、対象物100の表面は、図3に示すように曲面となっており、法線N11の方向は、対象物100の表面の場所で相違する。本実施形態では、対象物100の表面の形状を推定するために三角測量が利用される。例えば、図7に示すように、三角測量を用いることで、対象物100の表面の測定対象部分P1までの距離dを求める。図7において、lは、撮像システム30での撮影点C1,C2を結ぶ直線の距離である。αは、撮影点C1と測定対象部分P1とを結ぶ直線と撮影点C1,C2を結ぶ直線との角度である。βは、撮影点C2と測定対象部分P1とを結ぶ直線と撮影点C1,C2を結ぶ直線との角度である。この場合、dは、l/(1/tanα+1/tanβ)で表される。よって、l、α、βが定まれば、dを求めることが可能である。そして、対象物100の表面の各部分を測定対象部分P1として距離dを求めれば、対象物100の表面の形状が得られる。対象物100の表面の形状が得られれば、対象物100の表面の各部分の法線N11が求められる。よって、決定部F12は、三角測量を利用して、法線N11を取得することが可能である。
ここにおいて、決定部F12は、対象画像P10において最も明るい領域を基準領域P102(図5参照)とする。基準領域P102は、正反射が生じている領域であると考えられ、入射角θtと反射角φtとが等しいと考えられる。そのため、決定部F12は、基準領域P102での法線N11を基準として用い、対象物100の表面の形状を参照して、対象画像P10の画素毎に法線N11を決定する。
なお、三角測量においては、2つの撮像システム30を利用して撮影点C1,C2で同時に対象物100を撮像してもよいし、1つの撮像システム30を利用して撮影点C1,C2で順番に対象物100を撮像してもよい。
そして、決定部F12は、対象物100と照明システム20と撮像システム30との相対的な位置関係、及び、法線N11の方向から、入射角θtと反射角φtとを求める。なお、画素値は、基準データと同様に、三色の値を含み得る。三色の値は、赤色に対応するR値、緑色に対応するG値、及び、青色に対応するB値であり得る。
対象データの一例を、下記の表2に示す。表2において、X,Yは画素の座標を示している。以下では、Xの値がaであり、Yの値がbである画素を、画素(a,b)と記載することがある。なお、対象画像P10は一例として、1024×1024の大きさであるが、図5では図示の簡略化のために16×16の大きさとしている。
Figure 2022177166000003
比較部F13は、対象画像P10の着目領域P101の色と、参照領域P201の色との比較を行う比較ステップを実行する。参照領域P201は、基準画像P20の領域であって着目領域P101での照明システム20からの光L11の入射角θtと撮像システム30への光L12の反射角φtとの組み合わせに対応する領域である。
本実施形態では、着目領域P101は、単一の画素である。比較部F13は、対象画像P10の画素のうち対象物100に対応する画素(対象画素)を着目領域P101として採用する。つまり、比較部F13は、対象画像P10の画素であっても、対象物100に関係のない画素については色の比較を行わない。表2の例では、画素(1,1)及び画素(1024,1024)は、対象物100に対応しておらず、入射角θtと反射角φtとの組み合わせが得られていない。よって、画素(1,1)及び画素(1024,1024)は、対象画素ではない。このように、比較部F13は、対象画像P10の対象画素毎に、対象画像P10と基準画像P20との色の比較を行う。ここで、色の比較には、画素値を利用する。
比較部F13は、色の比較を行うにあたっては、着目領域P101の色の比較の対象となる参照領域P201を決定する。参照領域P201は、基準画像P20において、着目領域P101での入射角θtと反射角φtとの組み合わせに対応する領域である。本実施形態では、参照領域P201は、入射角と反射角との組み合わせが着目領域P101と一致する基準画像P20の領域である。例えば、表2において、画素(500,321)が着目領域P101である場合、入射角θtと反射角φtとの組み合わせは、(15,75)である。この場合、参照領域P201は、入射角θrと反射角φrとの組み合わせが(15,75)となる画素である。表1では、画素(50,141)において、入射角θrと反射角φrとの組み合わせが(15,75)となるから、画素(50,141)が参照領域P201として選ばれる。そして、比較部F13は、着目領域P101と参照領域P201とで画素値(R値,G値,B値)を比較し、比較の結果として画素値の誤差を求める。一例としては、比較部F13は、着目領域P101である画素(500,321)の画素値(224,77,32)と、参照領域P201である画素(50,141)の画素値(225,75,35)とを比較する。この場合、比較の結果である画素値の誤差は、着目領域P101の画素値(224,77,32)から参照領域P201の画素値(225,75,35)を引いた値(-1,2,-3)で表される。
判定部F14は、色判定処理を行う。色判定処理は、対象物100の表面の色を判定する処理である。より詳細には、色判定処理は、比較部F13での比較の結果に基づいて、対象物100の表面の色を判定する処理である。なお、対象物100の表面の色の判定は、着目領域P101単位で実行される。判定部F14は、比較部F13での比較の結果から、着目領域P101の色と参照領域P201の色との一致率(一致度)が規定値以上であれば、着目領域P101の色が合格であるとする。一方、判定部F14は、着目領域P101の色と参照領域P201の色との一致度が規定値未満であれば、着目領域P101の色が不合格であるとする。
一例として、規定値は、目視評価を利用して決定してよい。目視評価を利用した規定値の決定の仕方について簡単に説明する。例えば、対象物100として塗装条件が異なる複数のサンプルd1~dnを用意する。なお、nは2以上の任意の整数である。一例として、塗装条件は、サンプルd1~dnの順番で色が淡くなるように設定されてよい。
複数のサンプルd1~dnそれぞれについて、入射角と反射角との組み合わせが同じ領域に関して、基準物200と比較し、一致率を求める。図8は、サンプルd1~dnと一致率との関係を示す。図8では、サンプルdkにおいて一致率が最も高くなっている。そして、サンプルd1~dnの各々について複数人(一例として、30人)で目視による評価(目視評価)を行い、正解率を求める。目視評価では、サンプルd1~dnのうちの一つとサンプルdkとを比較する。正解率は、目視評価を行った人数に対する、サンプルdkを選択した人数の割合である。図9は、目視評価の結果を示す。正解率が1.0のサンプルについては明らかに不合格としてよい。正解率が0.5のサンプルについては正解率がランダムと同じであるから、合格としてよい。そして、正解率が0.5~1.0の間にあるサンプルd2~dk-2、dk+2~dn-1については、更に、どのサンプルまでを許容範囲とするかが決定される。
例えば、図10に示すように、サンプルdk+2~dn-1については、サンプルdk+2~dn-1のうち一致率の勾配(傾き)が大きいサンプルdlと合格であるサンプルdk+2との目視評価を行う。ここで、正解率が1.0であれば、サンプルdlは不合格とする。そして、サンプルdlの次に一致率が高いサンプルdl-1とサンプルdlとの目視評価を行う。そして、正解率が1.0であれば、サンプルdl-1は不合格とする。そして、サンプルdl-1の次に一致率が高いサンプルdl-2とサンプルdl-1との目視評価を行う。正解率が0.5であれば、サンプルdl-1を許容範囲の限度のサンプルとする。このように、正解率が0.5になるまで、目視評価を繰り返し、正解率が0.5になったときのサンプルを許容範囲の限度のサンプルとする。ただし、正解率が0.5になる前にサンプルdk+2に到達すると、サンプルdk+2を許容範囲の限度のサンプルとして目視評価を終了する。
一方で、サンプルdlと合格であるサンプルdk+2との目視評価において、正解率が0.5であれば、サンプルdlは合格とする。そして、サンプルdlの次に一致率が低いサンプルdl+1とサンプルdlとの目視評価を行う。そして、正解率が0.5であれば、サンプルdl+1は合格とする。そして、サンプルdl+1の次に一致率が低いサンプルdl+2とサンプルdl+1との目視評価を行う。正解率が1.0であれば、サンプルdl+1を許容範囲の限度のサンプルとする。このように、正解率が1.0になるまで、目視評価を繰り返し、正解率が1.0になったときのサンプルを許容範囲の限度のサンプルとする。ただし、正解率が1.0になる前にサンプルdn-1に到達すると、サンプルdn-1の一つ前のサンプルdn-2を許容範囲の限度のサンプルとして目視評価を終了する。
そして、サンプルd2~dk-2についても同様にして、許容範囲の限度のサンプルを決定してよい。そして、サンプルd2~dk-2から選択される許容範囲の限度のサンプルの一致率と、サンプルdk+2~dn-1から選択される許容範囲の限度のサンプルの一致率とに基づいて、規定値を決定する。例えば、そして、サンプルd2~dk-2から選択される許容範囲の限度のサンプルの一致率と、サンプルdk+2~dn-1から選択される許容範囲に限度のサンプルの一致率とのうち大きいほう、小さいほう、又は平均値を、規定値として利用してよい。
提示部F15は、比較ステップでの比較の結果に基づく提示を行う結果提示ステップを行う。つまり、提示部F15は、比較部F13での比較の結果に基づく提示を行う。比較の結果に基づく提示は、比較の結果を利用した判定部F14での判定の結果の提示も含み得る。よって、提示部F15は、判定部F14での判定の結果の提示を行ってよい。本実施形態では、提示部F15は、判定部F14での判定の結果を、入出力部11を通して外部装置に出力する。外部装置は、判定部F14での判定の結果、つまり、検査システム1での検査の結果を提示してよい。
(1.3)動作
次に、以上述べた検査システム1で実施される検査方法について、図1のフローチャートを参照して簡単に説明する。検査システム1では、取得部F11が、撮像システム30から、対象画像P10を取得する(S11)。次に、決定部F12が、対象画像P10の各々の着目領域P101について、法線N11を求め(S12)、更に、着目領域P101での入射角θt及び反射角φtを求める(S13,S14)。次に、比較部F13は、着目領域P101の色の比較の対象となる参照領域P201を決定する(S15)。ここでは、比較部F13は、基準画像P20において、着目領域P101での入射角θtと反射角φtとの組み合わせに対応する領域を、参照領域P201として決定する。そして、比較部F13は、着目領域P101と参照領域P201とで画素値(R値,G値,B値)を比較し、比較の結果として画素値の誤差を求める(S16)。比較部F13での比較の結果に基づいて、判定部F14が着目領域P101の色の判定を行い、提示部F15が判定部F14での判定の結果を提示する(S17)。
(1.4)まとめ
以上述べた検査システム1は、取得部F11と、比較部F13とを備える。取得部F11は、照明システム20によって照らされている対象物100の表面を撮像システム30で撮像して得られる対象物100の表面の対象画像P10を取得する。比較部F13は、対象画像P10の着目領域P101の色と、参照領域P201の色との比較を行う。参照領域P201は、対象物100の色の基準となる基準物200の表面の基準画像P20の領域であって、着目領域P101での照明システム20からの光L11の入射角θtと撮像システム30への光L12の反射角φtとの組み合わせに対応する領域である。したがって、検査システム1によれば、対象物100の表面の色の検査の精度を向上できる。
換言すれば、検査システム1は、下記の方法(検査方法)を実行しているといえる。検査方法は、取得ステップS11と、比較ステップS15,S16とを備える。取得ステップS11は、照明システム20によって照らされている対象物100の表面を撮像システム30で撮像して得られる対象物100の表面の対象画像P10を取得するステップである。比較ステップS15,S16は、対象画像P10の着目領域P101の色と、参照領域P201の色との比較を行うステップである。参照領域P201は、対象物100の色の基準となる基準物200の表面の基準画像P20の領域であって、着目領域P101での照明システム20からの光L11の入射角θtと撮像システム30への光L12の反射角φtとの組み合わせに対応する領域である。したがって、検査方法によれば、検査システム1と同様に、対象物100の表面の色の検査の精度を向上できる。
検査方法は、1以上のプロセッサがプログラム(コンピュータプログラム)を実行することにより実現される。このプログラムは、1以上のプロセッサに検査方法を実行させるためのプログラムである。このようなプログラムによれば、検査方法と同様に、対象物100の表面の色の検査の精度を向上できる。そして、プログラムは、記憶媒体により提供され得る。この記憶媒体は、コンピュータで読み取り可能な非一時的な記憶媒体であって、上記のプログラムを記憶している。このような記憶媒体によれば、検査方法と同様に、対象物100の表面の色の検査の精度を向上できる。
(2)変形例
本開示の実施形態は、上記実施形態に限定されない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。
一変形例では、着目領域P101は、単一の画素ではなく、複数の連続画素で構成されていてもよい。この場合、ノイズによる影響の低減が図れる。例えば、着目領域P101は、m×nの四角形の領域であり得る。m,nはいずれも整数であり、m,nの少なくとも一方は2以上である。この場合、着目領域P101での入射角θt、反射角φt、及び画素値は、着目領域P101を構成する複数の連続画素での、入射角θt、反射角φt、及び画素値それぞれの代表値であってよい。代表値は、最大値、最小値、平均値、最頻値等から適宜選択され得る。
一変形例では、着目領域P101の色(画素値)の表色系は、RGB表色系に限定されない。表色系の例としては、XYZ表色系、xyY表色系、L表色系、L表色系等のCIE表色系が挙げられる。一例として、撮像システム30は、画素値がRGB表色系で表される画像ではなく、画素値がXYZ表色系で表される画像を生成してもよい。あるいは、演算処理によって、表色系の変換を行ってもよい。例えば、画素値がRGB表色系で表される画像を、画素値がXYZ表色系で表される画像に変換してもよい。この場合の演算処理には、モデル式やルックアップテーブル等が利用可能である。これによって、対象画像P10の画素値を所望の表色系で表すことが可能である。
一変形例では、測色計を利用してもよい。測色計は、一度に比較的狭い範囲(例えば半径10mm未満の範囲)の色の測定しかできず、一度に測定可能な面積は小さい。対象物100が車両のような大きい物である場合に、測色計を用いて対象物の全面の色を測定するのは現実的ではない。そこで、測色計と撮像システム30とを併用して対象物の全面の色を測定することが考えられる。この場合には、まず、測色計により対象物100の特定箇所の色を計測して測色値(例えば、L表色系の値)を求める。次に、対象物100の特定箇所を撮像システム30で撮像して画像を得、この画像を基準画像P20とする。この基準画像P20の画素値は、直接的に、測色計の測定値に関連付けられている。そして、対象物100の全面を撮像システム30で順次撮像し、得られた画像を対象画像P10として基準画像P20と、入射角θrと反射角φrとの組み合わせに基づいて比較して、色の検査を行う。ここで、色差が許容範囲内である領域については、測色計による検査が合格であれば、同様に合格と考えてよい。つまり、対象画像P10の画素値は測色計の測定値と直接的には関連付けられていないが、測色計の測定値と直接的に関連付けられた基準画像P20と比較している。そのため、対象画像P10の画素値を間接的に測色計で評価したと考えてよい。したがって、測色計と撮像システム30とを併用することで、測色計のみを用いた色の検査と同等の検査を行いながらも、対象物100の検査対象とする箇所(領域)を容易に広げることができ、しかも検査の行程の短縮化が可能である。特に、測色計と撮像システム30とを併用した上記の方法は、特に、色の検査において指定された測色計を用いた色の評価が要求される場合に有効である。
上記実施形態では、比較部F13は、参照領域P201として、入射角θrと反射角φrとの組み合わせが、着目領域P101での入射角θtと反射角φtとの組み合わせに一致する基準画像P20の領域を用いる。しかし、基準画像P20に、着目領域P101での入射角θtと反射角φtとの組み合わせに一致する入射角θrと反射角φrとの組み合わせを持つ領域が含まれていない場合があり得る。そこで、基準データは、撮影条件が異なる複数の基準画像P20から生成されてもよい。これによって、入射角θtと反射角φtとの組み合わせに一致する入射角θrと反射角φrとの組み合わせを必ず含む基準データの生成が可能となる。
一変形例では、比較部F13は、参照領域P201として、入射角θrが着目領域P101での入射角θtを含む第1角度範囲内の角度であり、反射角φrが反射角φtを含む第2角度範囲内の角度である基準画像P20の領域を用いてよい。一例として、第1角度範囲は、着目領域P101での入射角θtを中心とする角度範囲であってよい。例えば、第1角度範囲は、θt-d1~θt+d1の範囲であり得る。d1は、1~10°程度であってよい。また、第2角度範囲は、着目領域P101での反射角φtを中心とする角度範囲であってよい。例えば、第2角度範囲は、φt-d2~φt+d2の範囲であり得る。d2は、1~10°程度であってよい。
ところで、対象画像P10は、入射角θtと反射角φtとの組み合わせが同じ複数の着目領域P101を含み得る。また、基準画像P20も、入射角θrと反射角φrとの組み合わせが同じ複数の参照領域P201を含み得る。つまり、入射角θtと反射角φtとの組み合わせに対して、着目領域P101と参照領域P201との組が一義に定まらない場合がある。そこで、比較部F13は、統計的な手法を利用して、対象物100と基準物200との色の比較を行ってもよい。
一例として、比較部F13は、ヒストグラムを利用して、対象物100と基準物200との色の比較を行ってもよい。比較部F13が実行する比較ステップS15,S16は、入射角と反射角との特定の組み合わせに対応する複数の着目領域P101の色のヒストグラムと、特定の組み合わせに対応する基準画像の複数の参照領域P201の色のヒストグラムとを比較してよい。ここで、特定の組み合わせにおいて、入射角θt,θrは、第1角度範囲内の角度であり、反射角φt,φrは、第2角度範囲内の角度であってよい。第1角度範囲及び第2角度範囲は、適宜設定されてよい。
ここで、画素値は、R値、G値、及びB値を含む。そのため、比較部F13は、R値、G値、及びB値のそれぞれについて、着目領域P101と参照領域P201とのヒストグラムを作成する。例えば、図11は、R値のヒストグラムを示し、G11は着目領域P101のヒストグラムを示し、G12は参照領域P201のヒストグラムを示す。図12は、G値のヒストグラムを示し、G21は着目領域P101のヒストグラムを示し、G22は参照領域P201のヒストグラムを示す。図13は、B値のヒストグラムを示し、G31は着目領域P101のヒストグラムを示し、G32は参照領域P201のヒストグラムを示す。比較部F13は、R値、G値、及びB値のそれぞれについて、着目領域P101のヒストグラムと参照領域P201のヒストグラムとを比較し、一致率を評価してよい。判定部F14は、R値、G値、及びB値のそれぞれのヒストグラムの一致率に基づいて、対象物100と基準物200との色の検査を行うことが可能である。
あるいは、比較部F13は、ヒートマップを利用して、対象物100と基準物200との色の比較を行ってもよい。一例として、比較部F13が実行する比較ステップS15,S16は、対象画像P10と基準画像P20とのそれぞれに関して、入射角と画素値に対するヒートマップと、反射角と画素値に対するヒートマップとが作成される。なお、画素値は、R値、G値、及びB値を含む。そのため、入射角及び反射角のそれぞれに関して、R値、G値、及びB値に対応するヒートマップが作成される。つまり、対象画像P10及び基準画像P20のそれぞれから6種類のヒートマップが作成される。例えば、図14は、対象画像P10のヒートマップであって、入射角θtと画素値(R値)に対応する。図15は、対象画像P10のヒートマップであって、反射角φtと画素値(R値)に対応する。図16は、基準画像P20のヒートマップであって、入射角θrと画素値(R値)に対応する。図17は、基準画像P20のヒートマップであって、反射角φrと画素値(R値)に対応する。比較部F13は、対象画像P10のヒートマップと基準画像P20のヒートマップとを比較し、一致率を評価してよい。判定部F14は、対象画像P10のヒートマップと基準画像P20のヒートマップの一致率に基づいて、対象物100と基準物200との色の検査を行うことが可能である。
一変形例では、提示部F15は、対象画像と基準画像とにおいて、入射角と反射角との組み合わせが同じ領域を同じ態様で表示する画像提示ステップを行ってもよい。ここで、同じ態様の例としては、同じ色、同じ網掛け、同じ強調方法等が挙げられる。一例として、提示部F15は、対象画像と基準画像とにおいて、入射角と反射角との組み合わせが同じ領域を同じ色で表示してよい。つまり、提示部F15は、対象画像と基準画像とで入射角と反射角との組み合わせが一致する領域を色分けして表示してよい。例えば、図18は、対象画像P11、図19は、基準画像P21を示す。対象画像P11の領域P111と、基準画像P21の領域P211とは同じ色であり、入射角と反射角との組み合わせが同じであることを示している。また、対象画像P11の領域P112と、基準画像P21の領域P212とは同じ色であり、入射角と反射角との組み合わせが同じであることを示している。また、対象画像P11の領域P113と、基準画像P21の領域P213とは同じ色であり、入射角と反射角との組み合わせが同じであることを示している。また、対象画像P11の領域P114と、基準画像P21の領域P214とは同じ色であり、入射角と反射角との組み合わせが同じであることを示している。したがって、対象画像P11と基準画像P21とにおいて色が同じ見え方になる領域を分かりやすく示すことができる。
一変形例では、提示部F15は、比較部F13での比較の結果(比較ステップでの比較の結果)に基づく提示を行う結果提示ステップを行ってもよい。一例として、提示部F15は、比較部F13での比較の結果、判定部F14で合格と判定された着目領域と不合格と判定された着目領域とを明確に区別する提示を行ってよい。例えば、図20に示す対象画像P12では、領域P121に含まれる着目領域が不合格と判定され、領域P121に含まれない着目領域は合格と判定されている。この場合、提示部F15は、図21に示すように、不合格の着目領域と、合格の着目領域とを区別した対象画像P13を提示してよい。図21では、領域P131が、対象画像P12の領域P121に対応しており、領域P131に含まれる着目領域と、領域P131に含まれない着目領域とが異なる色で示されている。また、領域P131に含まれない着目領域は、対象画像P12とは異なり、すべて同じ色で示されている。このような提示部F15での提示によって、対象画像P12において不合格と判定された着目領域(異常がある着目領域)を分かりやすく提示することが可能である。
一変形例では、検査システム1は、決定部F12を備えていなくてもよい。例えば、対象物100の形状に関する形状データが既に存在する場合には、形状データから法線N11が得られ得る。形状データの例としては、CADデータが挙げられる。つまり、この場合には、着目領域P101での入射角θtと反射角φtとが予め決められている。よって、この態様によれば、着目領域P101での入射角θtと反射角φtとの算出を省略でき、処理を簡略化できる。また、決定部F12がなくても、比較部F13は、入射角θtと反射角φtとを得ることができるから、検査システム1の構成を簡略化できる。
一変形例では、入出力部11は、画像表示装置を含んでいてよい。この場合、提示部F15は、入出力部11の画像表示装置に、比較部F13での比較の結果や、判定部F14での判定の結果を、表示してよい。また、入出力部11は、音声出力装置を含んでいてよい。この場合、提示部F15は、入出力部11の音声出力装置から、比較部F13での比較の結果や、判定部F14での判定の結果を、出力してよい。
一変形例では、照明システム20が放射する光の波長が変更可能であってよい。これは、発光色の異なる光源、又はカラーフィルタを利用して実現し得る。ようするに、検査システム1においては、照明システム20が放射する光の波長と撮像システム30が検出する光の波長との少なくとも一方は変更可能であってよい。
一変形例では、検査システム1は、複数の撮像システム30を備えてよい。この場合、複数の撮像システム30間で、色の校正を行うことが好ましい。つまり、異なる撮像システム30では、カメラの個体差等によって、同じ色でも画素値が異なる場合がある。そこで、複数の撮像システム30を用いる場合には、対象物100とともにリファレンスとなる色票を撮像し、色票に対応する画素の画素値に基づいて、複数の撮像システム30間で、色の校正を行えばよい。
一変形例では、検査システム1(判定システム10)は、複数のコンピュータにより構成されていてもよい。例えば、検査システム1(判定システム10)の機能(特に、取得部F11、決定部F12、比較部F13、判定部F14、及び提示部F15)は、複数の装置に分散されていてもよい。更に、検査システム1(判定システム10)の機能の少なくとも一部が、例えば、クラウド(クラウドコンピューティング)によって実現されていてもよい。
以上述べた検査システム1(判定システム10)の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における検査システム1(判定システム10)の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1乃至複数の電子回路で構成される。LSIの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ(FGPA)、ASIC(application specific integrated circuit)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
(3)態様
上記実施形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施形態との対応関係を明示するためだけに、符号を括弧付きで付している。
第1の態様は、検査方法であって、取得ステップ(S11)と、比較ステップ(S15,S16)とを含む。取得ステップ(S11)は、照明システム(20)によって照らされている対象物(100)の表面を撮像システム(30)で撮像して得られる、対象物(100)の表面の対象画像(P10)を取得するステップである。比較ステップ(S15,S16)は、対象画像(P10,P11,P12,P13)の着目領域(P101)の色と、参照領域(P201)の色との比較を行うステップである。参照領域(P201)は、対象物(100)の色の基準となる基準物(200)の表面の基準画像(P20,P21)の領域であって、着目領域(P101)での照明システム(20)からの光(L11)の入射角(θt)と撮像システム(30)への光(L12)の反射角(φt)との組み合わせに対応する領域である。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第2の態様は、第1の態様に基づく検査方法である。第2の態様では、対象画像(P10)は、複数の着目領域(P101)を含む。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第3の態様は、第1又は第2の態様に基づく検査方法である。第3の態様では、着目領域(P101)は、単一の画素、又は、複数の連続する画素で構成される。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第4の態様は、第1~第3の態様のいずれか一つに基づく検査方法である。第4の態様では、比較ステップ(S15,S16)では、入射角と反射角との特定の組み合わせに対応する複数の着目領域(P101)の色のヒストグラムと、特定の組み合わせに対応する基準画像(P20,P21)の複数の参照領域(P201)の色のヒストグラムとを比較する。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第5の態様は、第4の態様に基づく検査方法である。第5の態様では、特定の組み合わせにおいて、入射角は、第1角度範囲内の角度であり、反射角は、第2角度範囲内の角度である。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第6の態様は、第4又は第5の態様に基づく検査方法である。第6の態様では、複数の着目領域(P101)は、入射角と反射角との組み合わせが同じ複数の着目領域(P101)を含む。複数の参照領域(P201)は、入射角と反射角との組み合わせが同じ複数の参照領域(P201)を含む。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第7の態様は、第1~第6の態様のいずれか一つに基づく検査方法である。第7の態様では、参照領域(P201)は、参照領域(P201)での照明システム(20)からの光(L21)の入射角(θr)が、着目領域(P101)での照明システム(20)からの光(L11)の入射角(θt)を含む第1角度範囲内である。参照領域(P201)での照明システム(20)からの光(L22)の反射角(φr)が、着目領域(P101)での照明システム(20)からの光(L12)の反射角(φt)を含む第2角度範囲内である。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第8の態様は、第1~第7の態様のいずれか一つに基づく検査方法である。第8の態様では、検査方法は、着目領域(P101)での入射角(θt)と反射角(φt)とを決定する決定ステップ(S12,S13,S14)を更に含む。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第9の態様は、第8の態様に基づく検査方法である。第9の態様では、決定ステップ(S12,S13,S14)は、対象物(100)の1以上の画像を利用して着目領域(P101)での入射角(θt)と反射角(φt)を算出する。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第10の態様は、第8又は第9の態様に基づく検査方法である。第10の態様では、決定ステップ(S12,S13,S14)は、対象画像(P10)において最も明るい領域を、入射角(θt)と反射角(φt)とが等しい基準領域(P102)とする。この態様によれば、入射角(θt)と反射角(φt)との精度の向上が図れる。
第11の態様は、第10の態様に基づく検査方法である。第11の態様では、検査方法は、対象画像(P11)と基準画像(P21)とにおいて、入射角と反射角との組み合わせが同じ領域を同じ態様で表示する、画像提示ステップ(S17)を更に含む。この態様によれば、対象画像(P11)と基準画像(P21)とにおいて色が同じ見え方になる領域を分かりやすく示すことができる。
第12の態様は、第1~第11の態様のいずれか一つに基づく検査方法である。第12の態様では、検査方法は、比較ステップ(S15,S16)での比較の結果に基づく提示を行う結果提示ステップ(S17)を更に含む。この態様によれば、比較ステップ(s15,S16)での比較の結果に基づく提示が可能となる。
第13の態様は、第1~第7の態様のいずれか一つに基づく検査方法である。第13の態様では、着目領域(P101)での入射角(θt)と反射角(φt)とが予め決められている。この態様によれば、着目領域(P101)での入射角(θt)と反射角(φt)との算出を省略でき、処理を簡略化できる。
第14の態様は、プログラムであって、1以上のプロセッサに、第1~第13の態様のいずれか一つの検査方法を実行させるための、プログラムである。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
第15の態様は、検査システム(1)であって、取得部(F11)と、比較部(F13)とを含む。取得部(F11)は、照明システム(20)によって照らされている対象物(100)の表面を撮像システム(30)で撮像して得られる対象物(100)の表面の対象画像(P10)を取得する。比較部(F13)は、対象画像(P10,P11,P12,P13)の着目領域(P101)の色と、参照領域(P201)の色との比較を行う。参照領域(P201)は、対象物(100)の色の基準となる基準物(200)の表面の基準画像(P20,P21)の領域であって、着目領域(P101)での照明システム(20)からの光(L11)の入射角(θt)と前記撮像システム(30)への光(L12)の反射角(φt)との組み合わせに対応する領域である。この態様によれば、対象物(100)の表面の色の検査の精度を向上できる。
本開示の検査方法、プログラム、及び、検査システムによれば、自動車や電気製品等の対象物の表面の色の検査の精度を向上できる。その結果、所望の色を有する表面を備えた対象物を効率よく得ることができる。すなわち、本開示の検査方法、プログラム、及び、検査システムは、産業上有用である。
1 検査システム
20 照明システム
30 撮像システム
100 対象物
200 基準物
P10,P11,P12,P13 対象画像
P101 着目領域
P102 基準領域
P20,P21 基準画像
P201 参照領域
L11,L12,L21,L22 光
θt,θr 入射角
φt,φr 反射角
S11 取得ステップ
S12,S13,S14 決定ステップ
S15,S16 比較ステップ
S17 提示ステップ(画像提示ステップ、結果提示ステップ)

Claims (7)

  1. 照明システムによって対象物の表面に光を照射するステップと、
    前記照明システムと別々に配置されている撮像システムによって対象物の撮像画像をステップと、
    決定部によって前記撮像画像の画素ごとに反射特性を決定するステップと、を備える、
    検査方法。
  2. 前記反射特性は、前記撮像画像の画素ごとにおける前記照明システムから前記対象物の表面へ入射する光の前記表面に対する角度を含む、
    請求項1に記載の検査方法。
  3. 前記反射特性は、前記撮像画像の画素ごとにおける前記表面から前記撮像システムへ向かう光の前記表面に対する角度を含む、
    請求項2に記載の検査方法。
  4. 前記照明システムは、複数の光源を含む、
    請求項3に記載の検査方法。
  5. 前記決定部は、前記対象物と前記照明システムと前記撮像システムとの相対的な位置関係から、前記照明システムから前記対象物の表面へ入射する光の前記表面に対する角度と、前記表面から前記撮像システムへ向かう光の前記表面に対する角度とを求める、
    請求項4に記載の検査方法。
  6. 前記対象物と基準物の反射特性とを比較する機能を備える請求項5に記載の検査方法。
  7. コンピュータを、
    対象物の表面に光を照射する照明システムと、
    対象物の撮像画像を撮像し、前記照明システムと別々に配置されている撮像システムと、
    前記撮像画像の画素ごとに反射特性を決定する決定部、として機能させる
    プログラム。
JP2022147501A 2019-09-27 2022-09-16 検査方法、プログラム、及び、検査システム Pending JP2022177166A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019178081 2019-09-27
JP2019178081 2019-09-27
JP2021548712A JP7236612B2 (ja) 2019-09-27 2020-08-28 検査方法、プログラム、及び、検査システム
PCT/JP2020/032537 WO2021059858A1 (ja) 2019-09-27 2020-08-28 検査方法、プログラム、及び、検査システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021548712A Division JP7236612B2 (ja) 2019-09-27 2020-08-28 検査方法、プログラム、及び、検査システム

Publications (1)

Publication Number Publication Date
JP2022177166A true JP2022177166A (ja) 2022-11-30

Family

ID=75165735

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021548712A Active JP7236612B2 (ja) 2019-09-27 2020-08-28 検査方法、プログラム、及び、検査システム
JP2022147501A Pending JP2022177166A (ja) 2019-09-27 2022-09-16 検査方法、プログラム、及び、検査システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021548712A Active JP7236612B2 (ja) 2019-09-27 2020-08-28 検査方法、プログラム、及び、検査システム

Country Status (4)

Country Link
US (2) US11846583B2 (ja)
JP (2) JP7236612B2 (ja)
CN (1) CN114424046A (ja)
WO (1) WO2021059858A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117730249A (zh) * 2021-07-27 2024-03-19 柯尼卡美能达株式会社 显示体、数据处理装置、数据处理方法以及程序
JPWO2023008146A1 (ja) * 2021-07-27 2023-02-02

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292578A (ja) * 2005-04-12 2006-10-26 Konica Minolta Sensing Inc 異方性試料の色差評価方法及び測色システム
JP2007248072A (ja) * 2006-03-13 2007-09-27 Nissan Motor Co Ltd 色むら検査装置および方法
JP2013238576A (ja) * 2012-04-20 2013-11-28 Office Color Science Co Ltd 変角分光イメージング測定方法およびその装置
US20140242271A1 (en) * 2011-09-30 2014-08-28 Axalta Coating Systmes Ip Co., Llc Method for matching color and appearance of coatings containing effect pigments
JP2016006416A (ja) * 2014-05-26 2016-01-14 有限会社パパラボ 着色評価装置及び着色評価方法
JP2016038221A (ja) * 2014-08-05 2016-03-22 株式会社リコー 試料測定装置および試料測定プログラム
JP2019185730A (ja) * 2018-03-30 2019-10-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3304152B2 (ja) * 1993-01-20 2002-07-22 マツダ株式会社 色むら検査装置
JPH09203664A (ja) 1996-01-25 1997-08-05 C G A Kk 色合い検査装置
JP3358434B2 (ja) * 1996-03-27 2002-12-16 日産自動車株式会社 塗装品質解析装置
DE10103555B4 (de) * 2001-01-26 2019-12-19 Volkswagen Ag Verfahren zur Beurteilung einer Farbschicht
US6977650B2 (en) * 2001-04-24 2005-12-20 E. I. Dupont De Nemours And Company Process for generating a computer image of a coated three-dimensional object
JP4808871B2 (ja) * 2001-07-12 2011-11-02 倉敷紡績株式会社 表面性状評価装置
JP2003098036A (ja) * 2001-09-26 2003-04-03 Toppan Printing Co Ltd カラーフィルタの色ムラ検査方法及び色ムラ検査装置
DE102004027448A1 (de) * 2004-06-04 2005-12-29 Basf Coatings Ag Verfahren und Vorrichtung zur farbmetrischen Messung von Effekt- und Uni-Lacken
JP2007093330A (ja) * 2005-09-28 2007-04-12 Olympus Corp 欠陥抽出装置及び欠陥抽出方法
KR20080069660A (ko) * 2005-10-28 2008-07-28 이 아이 듀폰 디 네모아 앤드 캄파니 도료 코팅의 실제 색을 컬러 표시 장치상에 표시하는컴퓨터 구현 방법 및 시스템
WO2007126027A1 (ja) * 2006-04-26 2007-11-08 Sharp Kabushiki Kaisha カラーフィルタ検査方法およびカラーフィルタ製造方法並びにカラーフィルタ検査装置
KR101129327B1 (ko) * 2009-07-24 2012-03-26 광주과학기술원 이미지 기반 반사율 측정 시스템 및 방법
KR101955238B1 (ko) * 2011-05-30 2019-03-08 라이온 가부시키가이샤 조명 시스템, 검사 시스템 및 제어 시스템
JP6171517B2 (ja) * 2013-04-12 2017-08-02 新日鐵住金株式会社 色調変化検出装置及び色調変化検出方法
US9984307B2 (en) 2014-01-14 2018-05-29 Papalab Co, Ltd. Coloring inspection apparatus and coloring inspection method
JP6213662B2 (ja) * 2014-03-07 2017-10-18 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
JP6370177B2 (ja) * 2014-09-05 2018-08-08 株式会社Screenホールディングス 検査装置および検査方法
JP6371237B2 (ja) * 2015-02-26 2018-08-08 株式会社パパラボ 着色評価装置および着色評価方法
JP2018105799A (ja) * 2016-12-28 2018-07-05 スリーエム イノベイティブ プロパティズ カンパニー 測定装置、方法およびプログラム
WO2019097825A1 (ja) * 2017-11-16 2019-05-23 コニカミノルタ株式会社 マルチアングル測色計
JP7062926B2 (ja) * 2017-11-24 2022-05-09 凸版印刷株式会社 呈色反応検出システム、呈色反応検出方法及びプログラム
JP6954142B2 (ja) * 2018-01-17 2021-10-27 オムロン株式会社 画像検査装置および照明装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292578A (ja) * 2005-04-12 2006-10-26 Konica Minolta Sensing Inc 異方性試料の色差評価方法及び測色システム
JP2007248072A (ja) * 2006-03-13 2007-09-27 Nissan Motor Co Ltd 色むら検査装置および方法
US20140242271A1 (en) * 2011-09-30 2014-08-28 Axalta Coating Systmes Ip Co., Llc Method for matching color and appearance of coatings containing effect pigments
JP2013238576A (ja) * 2012-04-20 2013-11-28 Office Color Science Co Ltd 変角分光イメージング測定方法およびその装置
JP2016006416A (ja) * 2014-05-26 2016-01-14 有限会社パパラボ 着色評価装置及び着色評価方法
JP2016038221A (ja) * 2014-08-05 2016-03-22 株式会社リコー 試料測定装置および試料測定プログラム
JP2019185730A (ja) * 2018-03-30 2019-10-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
WO2021059858A1 (ja) 2021-04-01
CN114424046A (zh) 2022-04-29
JP7236612B2 (ja) 2023-03-10
US11846583B2 (en) 2023-12-19
US20220326145A1 (en) 2022-10-13
US20240044778A1 (en) 2024-02-08
JPWO2021059858A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
US11580691B2 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
JP2022177166A (ja) 検査方法、プログラム、及び、検査システム
JP5900037B2 (ja) 画像処理装置およびその制御方法
WO2010032792A1 (ja) 3次元計測装置およびその方法
US20100259746A1 (en) Profilometer
US8717578B2 (en) Profilometer, measuring apparatus, and observing apparatus
JP2003203220A (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
JP2010122158A (ja) 物体表面法線ベクトルマップ作成方法
US10593031B2 (en) Texture evaluation apparatus, texture evaluation method, and computer-readable recording medium
JP6791631B2 (ja) 画像生成方法及び検査装置
CN106124052B (zh) 具有深浅检测的颜色匹配
JP6113319B2 (ja) 画像色分布検査装置および画像色分布検査方法
JP5841091B2 (ja) 画像色分布検査装置および画像色分布検査方法
US9626752B2 (en) Method and apparatus for IC 3D lead inspection having color shadowing
Park et al. Automated defect inspection systems by pattern recognition
JP5265338B2 (ja) イルミナントの推定
US10614563B2 (en) Evaluation device and recording medium storing evaluation program
KR102171773B1 (ko) 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치
JPH11304589A (ja) 環境光測定システム
JP2019144183A (ja) 三次元座標計測装置及びその方法
KR20190075283A (ko) 금속입자 검출 시스템 및 방법
WO2021131686A1 (ja) 検査方法、プログラム、及び、検査システム
CN115980059B (zh) 表面缺陷检测系统及其检测方法、装置、设备、存储介质
CN116385636A (zh) 一种基于光度线性化的光度立体表面重建方法及设备
Plata et al. Recovering normal vectors and albedo under uncontrolled illumination with an RGB digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220920

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20221024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240130

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20240311

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240313