JP2016109552A - 検査装置及び照度監視装置 - Google Patents

検査装置及び照度監視装置 Download PDF

Info

Publication number
JP2016109552A
JP2016109552A JP2014247200A JP2014247200A JP2016109552A JP 2016109552 A JP2016109552 A JP 2016109552A JP 2014247200 A JP2014247200 A JP 2014247200A JP 2014247200 A JP2014247200 A JP 2014247200A JP 2016109552 A JP2016109552 A JP 2016109552A
Authority
JP
Japan
Prior art keywords
value
illuminance
information
inspection
color component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014247200A
Other languages
English (en)
Other versions
JP6404102B2 (ja
Inventor
正明 岡田
Masaaki Okada
正明 岡田
敬晃 宮▲崎▼
Takaaki Miyazaki
敬晃 宮▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2014247200A priority Critical patent/JP6404102B2/ja
Publication of JP2016109552A publication Critical patent/JP2016109552A/ja
Application granted granted Critical
Publication of JP6404102B2 publication Critical patent/JP6404102B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】照度の異常を作業者等に報知すること。【解決手段】検査対象物100を撮像する撮像装置10と、撮像装置10の撮像情報から得られた画素毎の撮像画像情報に基づいて検査項目に応じた検査対象物100の検査を行う演算処理装置20と、演算処理装置20の指令に基づいて情報の報知を行う報知装置40と、を備え、演算処理装置20は、撮像装置10の撮像画像上に各画素の色成分値の同じ有彩色領域が存在している場合、監視対象となった当該有彩色領域における画素の色成分値の最大値と最小値との差である最大色成分差を演算し、最大色成分差が所定値よりも小さい場合、検査対象物の周囲の照度に異常が発生しているとの報知情報を報知装置40から出力させること。【選択図】図1

Description

本発明は、撮像画像を用いた検査装置及び照度監視装置に関する。
従来、検査装置には、検査対象物を検査するに際して、撮像装置による検査対象物の撮像画像を用いるものが知られている。そして、その検査は、所定値又は所定範囲内の照度の下で実施される。例えば、下記の特許文献1には、台上に載置されたワイヤハーネスの撮像画像に基づいて当該ワイヤハーネスの外観形状を検査し、このワイヤハーネスにおける部品の欠落等を報知する、という検査装置が開示されている。また、下記の特許文献2には、撮像画像の輝度に基づいて撮像空間の照度を推定する、という技術が開示されている。
特開平7−103731号公報 特開2013−191310号公報
ところで、撮像空間の照度が所定値又は所定範囲から外れた場合には、その照度が所定値の場合又は所定範囲内に収まっている場合と比較して、撮像画像から得られる情報に違いが生じる可能性がある。このため、照度が所定値又は所定範囲から外れた場合には、そのまま検査を続けると、検査精度を低下させてしまう虞がある。
そこで、本発明は、照度の異常を作業者等に報知し得る検査装置及び照度監視装置を提供することを、その目的とする。
上記目的を達成する為、本発明に係る検査装置は、検査対象物を撮像する撮像装置と、該撮像装置の撮像情報から得られた画素毎の撮像画像情報に基づいて検査項目に応じた前記検査対象物の検査を行う演算処理装置と、該演算処理装置の指令に基づいて情報の報知を行う報知装置と、を備え、前記演算処理装置は、前記撮像装置の撮像画像上に各画素の色成分値の同じ有彩色領域が存在している場合、監視対象となった当該有彩色領域における画素の色成分値の最大値と最小値との差である最大色成分差を演算し、該最大色成分差が所定値よりも小さい場合、前記検査対象物の周囲の照度に異常が発生しているとの報知情報を前記報知装置から出力させることを特徴としている。
ここで、前記演算処理装置は、前記監視対象の有彩色領域における画素の色成分値の最大値が当該画素の基準色成分値の最大値よりも大きく、かつ、該画素の前記最大色成分差が前記所定値としての第1閾値よりも小さい場合、前記検査対象物の周囲の照度が規定照度範囲よりも高く、該照度に異常が発生しているとの報知情報を前記報知装置から出力させることが望ましい。
また、前記演算処理装置は、前記監視対象の有彩色領域における画素の色成分値の最大値が当該画素の基準色成分値の最大値よりも小さく、かつ、該画素の前記最大色成分差が前記所定値としての第2閾値よりも小さい場合、前記検査対象物の周囲の照度が規定照度範囲よりも低く、該照度に異常が発生しているとの報知情報を前記報知装置から出力させることが望ましい。
また、前記撮像装置は、CCDイメージセンサ又はCMOSイメージセンサを撮像素子として備えることが望ましい。
また、前記演算処理装置は、前記撮像装置の撮像画像上に各画素の色成分値の異なる有彩色領域が複数存在している場合、該それぞれの有彩色領域の最大色成分差を演算し、該最大色成分差が最も大きい有彩色領域を監視対象の有彩色領域として選択することが望ましい。
また、前記色成分値は、RGB表色系におけるRGB値であり、R成分の指標値とG成分の指標値とB成分の指標値を含むことが望ましい。
また、上記目的を達成する為、本発明に係る照度監視装置は、撮像対象物を撮像する撮像装置と、該撮像装置の撮像情報から得られた画素毎の撮像画像情報に基づいて前記撮像対象物の周囲の照度を監視する演算処理装置と、該演算処理装置の指令に基づいて情報の報知を行う報知装置と、を備え、前記演算処理装置は、前記撮像装置の撮像画像上に各画素の色成分値の同じ有彩色領域が存在している場合、該監視対象となった有彩色領域における画素の色成分値の最大値と最小値との差である最大色成分差を演算し、該最大色成分差が所定値よりも小さい場合、前記撮像対象物の周囲の照度に異常が発生しているとの報知情報を前記報知装置から出力させることを特徴としている。
本発明に係る検査装置及び照度監視装置は、撮像画像上に各画素の色成分値の同じ有彩色領域が存在しており、その有彩色領域の最大色成分差が所定値よりも小さい場合、検査対象物(撮像対象物)の周囲の照度に異常が発生しているとの報知情報を報知装置から出力させる。このため、この検査装置及び照度監視装置は、その報知情報を得た作業者等に対して照明の点検や交換等を促して、検査対象物(撮像対象物)の周囲の照度を規定照度範囲内に戻させることができる。
図1は、実施形態の検査装置及び変形例の照度監視装置の構成を示すブロック図である。 図2は、検査対象物(撮像対象物)の一例を示す図である。 図3は、照度判定について説明するフローチャートである。 図4は、照度判定について説明する図である。
以下に、本発明に係る検査装置及び照度監視装置の実施形態を図面に基づいて詳細に説明する。尚、この実施形態によりこの発明が限定されるものではない。
[実施形態]
本発明に係る検査装置及び照度監視装置の実施形態の1つを図1から図4に基づいて説明する。
図1の符号1は、本実施形態の検査装置を示す。本実施形態の検査装置1は、検査対象物100について検査項目に応じた検査を行うものである。本実施形態では、この検査装置1に照度監視装置が組み込まれているものとして説明する。
検査対象物100とは、検査の対象になる単品の部品や、複数の構成部品からなる組み立て部品等のことである。
単品の部品としては、例えば、コネクタやリレー等の電子部品、電気接続箱などが挙げられる。単品の部品としての検査対象物100は、その外観において、単色又は複数の色で構成されている。この検査対象物100は、単色で構成されている場合、無彩色又は有彩色で構成されている。一方、この検査対象物100は、複数の色で構成されている場合、複数種類の無彩色で構成されるものもあれば、複数種類の有彩色で構成されるものもあれば、無彩色と有彩色が混在しているものもある。
また、組み立て部品としては、ワイヤハーネスなどが挙げられる。図2には、組み立て部品としてのワイヤハーネスを検査対象物100の一例として示している。この図2の検査対象物100は、例えば、複数本の電線101、各電線101を覆い包む外装部材(テープ102、プロテクタ103)、各電線101に取り付けられたコネクタ104、及び、各電線101を配索経路上に固定するクランプ105等を構成部品として備えている。それぞれの構成部品の外観の色は、上記の単品の部品における外観の色と同じように構成されている。
この検査対象物100は、治具板110に保持した状態で検査される。治具板110とは、板部材の一方の平面を検査対象物100の保持面111とし、この保持面111上に検査対象物100の保持用の治具を設けたものである。その治具は、検査対象物100が保持面111上の所定の位置に所定の配置で保持されるように設けている。このため、例えば、検査対象物100が単品の部品の場合には、その部品が保持面111上の所定の位置に所定の外観形状を表した状態で配置される。また、検査対象物100が組み立て部品の場合には、各構成部品が保持面111上のそれぞれの所定の位置に所定の外観形状を表した状態で配置される。
ここで、その保持面111は、検査対象物100とは異なる単一の色で構成する。但し、検査対象物100と保持面111とが同系色になってしまう場合には、検査装置1が保持面111上の検査対象物100を認識できるように、例えば検査対象物100とは異なるコントラストで保持面111を形成することが望ましい。この例示では、保持面111を白色にしている。
尚、検査対象物100が組み立て部品の場合、治具板110は、検査の前工程で行われる検査対象物100の組み付け工程においての組み付け作業台として利用してもよい。
以下においては、本実施形態の検査装置1の構成について説明する。
この検査装置1は、撮像画像を用いて検査対象物100の検査を行い、その検査結果を作業者等に知らしめるものである。このため、この検査装置1は、撮像装置10と演算処理装置20と表示装置30と報知装置40とを備えている。
撮像装置10は、検査対象物100を治具板110の保持面111と共に撮像するものである。この撮像装置10は、保持面111の全体を一度に撮像して、これを撮像領域とするものであってもよく、保持面111の全体を複数の区画に分けて区画毎に撮像し、その各々を撮像領域とするものであってもよい。また、この撮像装置10は、保持面111上の所定の領域を撮像できるように構成してもよい。その所定の領域とは、例えば、検査対象物100の或る部分(形状が特徴的な部分等)が存在している領域、検査対象物100を成す構成部品が存在している領域等の撮像領域のことである。
撮像装置10は、対象物の撮像に伴って画素毎の撮像情報を生成する。この撮像装置10は、その画素毎の撮像情報に基づいて撮像画像の情報(以下、「撮像画像情報」という。)を画素毎に生成し、その撮像画像情報を演算処理装置20に有線又は無線で送信するものであってもよく、その画素毎の撮像情報を演算処理装置20に有線又は無線で送信するものであってもよい。演算処理装置20には、画素毎の撮像情報を受信した場合、この撮像情報に基づいて画素毎の撮像画像情報を算出させる。
その撮像画像情報とは、撮像画像に関わる画素毎の情報のことである。例えば、撮像画像情報には、色相を表す色相値情報、彩度を表す彩度値情報、明度を表す明度値情報、階調を表す階調値情報、RGB値を表すRGB値情報、輝度を表す輝度値情報等が存在する。ここで、撮像画像情報の中には、他の撮像画像情報に基づいて算出されるものもある。例えば、後述するように、色相値情報等は、RGB値情報から求めることができる。このため、演算処理装置20は、例えば、RGB値情報を受信したが色相値情報を受信していない場合、受信したRGB値情報に基づいて色相値情報を算出してもよい。
具体的に、この撮像装置10には、CCD(電荷結合素子)イメージセンサを撮像素子として備えたもの、CMOS(相補性金属酸化膜半導体)イメージセンサを撮像素子として備えたもの等の利用が可能である。
演算処理装置20は、この撮像装置10の撮像画像を表示装置30に表示させる。その表示装置30は、情報を単に表示させるモニタであってもよく、情報と共に検査のための操作釦等も表示させる所謂タッチパネル式のモニタであってもよい。
演算処理装置20は、撮像装置10の撮像情報から得られた画素毎の撮像画像情報に基づいて、検査項目に応じた検査対象物100の検査を行う。例えば、この演算処理装置20は、その撮像画像情報と比較基準情報とを比較して検査を実施する。
その比較基準情報とは、検査時における撮像画像情報との比較のための基準情報のことである。具体的に、この比較基準情報とは、例えば、保持面111上の設計通りの正規の部品(単品の部品や組み立て部品)を正常な位置及び配置で撮像した際の撮像画像情報、又は、その撮像画像情報に相当する推定情報等のことである。この比較基準情報は、記憶装置21に正規の部品毎の情報として予め記憶させておく。つまり、その記憶装置21には、その保持面111上の正規の部品の撮像画像に関わる画素毎の色相値情報等の情報が用意されている。
検査対象物100を検査する際には、この検査対象物100が正規の部品であると仮定して、その正規の部品に関わる比較基準情報を演算処理装置20が記憶装置21から読み込む。そして、その演算処理装置20は、その比較基準情報と撮像装置10の撮像情報から得られた検査対象物100の撮像画像情報とを画素毎に比較する。その比較に際しては、その比較基準情報と撮像画像情報との間で同じ種類の情報同士を比較する。また、その比較に際しては、例えば、検査対象物100の撮像画像上における検査対象の画素の撮像画像情報を当該画素と同一のものと推定される推定画素の比較基準情報と比較し、更に、その推定画素の周囲の所定領域における画素の比較基準情報についても検査対象の画素の撮像画像情報と比較する。演算処理装置20は、撮像画像上における検査対象の画素を順次切り替えて、新たな検査対象の画素の撮像画像情報と比較基準情報との比較を行う。演算処理装置20は、このようにして検査項目に応じた検査を実施する。
演算処理装置20は、その検査結果を報知装置40に出力させる。報知装置40は、演算処理装置20の指令に基づいて情報の報知を行うものである。この報知装置40としては、聴覚を刺激するものや視覚を刺激するもの等が挙げられる。聴覚を刺激する報知装置40とは、例えば、検査結果の内容を音声情報や音情報(ビープ音等)によって作業者等に伝えるものである。視覚を刺激する報知装置40とは、例えば、検査結果の内容を文字情報によって作業者等に伝えるものである。また、この視覚を刺激する報知装置40は、異常を点灯や点滅によって伝えるランプ等であってもよい。尚、その視覚を刺激する検査結果の情報は、報知装置40に替えて、表示装置30に出力させてもよい。
この検査装置1は、検査項目として、例えば、部品の有無の検査、部品の正誤の検査、部品の組み付け状態の検査等を実施する。以下に、これらの各種検査の検査方法の一例を示す。
部品の有無の検査とは、検査対象物100又は検査対象物100の各構成部品が設計通りの正規の部品であるのか否かに拘わらず、その正規の部品が存在すべき保持面111上の設計通りの所定の位置に何かしらの部品(検査対象物100又は検査対象物100の構成部品)が存在しているのか否かを一先ず調べる検査のことである。
この部品の有無の検査においては、正規の部品、検査対象物100や検査対象物100の各構成部品が無彩色であるのか有彩色であるのかに拘わらず検査結果を得るために、撮像画像情報における明度値情報を用いる。例えば、演算処理装置20は、撮像画像における画素毎の明度値情報に基づいて、この撮像画像を明度で表した明度画像を生成する。その明度画像上には、同一又は類似の明度値の集合している画素の領域(以下、「明度値領域」という。)が生成されている。類似とは、誤差の範囲内等のような同一の明度値として考えられる程にそれぞれの明度値の差が小さいもの同士の関係のことをいう。保持面111上に何かしらの部品が存在している場合、その明度画像上には、保持面111を示す明度値領域の他に、その部品に関わる明度値領域も表れる。
演算処理装置20は、その明度画像と記憶装置21の比較基準情報における明度値情報(以下、「基準明度値情報」という。)又は当該基準明度値情報に基づいた明度画像(以下、「基準明度画像」という。)とを比較する。例えば、演算処理装置20は、基準明度値情報に基づいて生成される正規の部品に関わる明度値領域(以下、「基準明度値領域」という。)又は基準明度画像上の正規の部品に関わる基準明度値領域に相当する明度値領域が明度画像上に存在しているのか否かを判定する。
演算処理装置20は、その基準明度値領域に相当する明度値領域が明度画像上に存在している場合、正規の部品が存在すべき保持面111上の所定の位置に何かしらの部品(検査対象物100又は検査対象物100の構成部品)が存在していると判定することができる。演算処理装置20は、その判定結果を検査結果として報知装置40に出力させる。
また、その基準明度値領域に相当する明度値領域が明度画像上に存在していない場合には、保持面111上の所定の位置に検査対象物100又は検査対象物100の構成部品が存在していないことが判る。このため、この場合、演算処理装置20は、その所定の位置に正規の部品が存在していないと判定することができる。演算処理装置20は、その判定結果を検査結果として報知装置40に出力させる。これにより、その検査結果が伝えられた作業者等は、例えば、検査装置1を一旦停止させ、欠落している部品の取り付け作業を行ったり、この検査対象物100を生産ラインから取り除いたりすることができる。
尚、この部品の有無の検査は、明度値情報に替えて他の撮像画像情報(例えば階調値情報やRGB値情報等)を用いて実施してもよい。また、有彩色の部品の有無を検査する場合には、色相値情報を利用してもよい。
部品の正誤の検査とは、部品の有無の検査において見つかった部品(検査対象物100又は検査対象物100の構成部品)が正規の部品であるのか否かを調べる検査のことである。また、部品の組み付け状態の検査とは、組み立て部品を検査対象とする場合に実施される検査であり、構成部品が設計通りに正しく組み付けられているのか否かを調べる検査のことである。
例えば、検査対象の正規の部品が無彩色の場合、演算処理装置20は、見つかった部品に関わる画素の撮像画像情報が色相値情報を有しているのか否かを判定する。この演算処理装置20は、その画素が色相値情報を有している場合、見つかった部品が有彩色であり、正規の部品ではなく異品であるとの判定を行う。演算処理装置20は、その異品との判定結果を検査結果として報知装置40に出力させる。
この演算処理装置20は、その画素が色相値情報を有していない場合、この画素の明度値と基準明度値とを比較する。演算処理装置20は、その明度値と基準明度値とが同一又は類似ではない場合、見つかった部品が無彩色ではあるが、正規の部品ではなく異品であるとの判定を行う。演算処理装置20は、その異品との判定結果を検査結果として報知装置40に出力させる。
演算処理装置20は、その明度値と基準明度値とが同一又は類似の場合、例えば、見つかった部品に関わる明度値領域の輪郭の明度値と、この輪郭を成す画素及び当該画素の周辺の画素における基準明度値と、を比較し、その明度値領域の輪郭と同一又は同等の形状の輪郭が基準明度画像に存在しているのか否かを判定する。
この演算処理装置20は、そのような輪郭が基準明度画像に存在している場合、見つかった部品が正規の部品であるとの判定を行い、正規の部品であるとの判定結果を検査結果として報知装置40に出力させる。更に、その正規の部品が組み立て部品の構成部品である場合には、正規の部品であるとの判定と共に、設計通りに正しく組み付けられているとの判定を行い、これらの判定結果を検査結果として報知装置40に出力させることができる。
一方、この演算処理装置20は、明度値領域の輪郭と同一又は同等の形状の輪郭が基準明度画像に存在していない場合、見つかった部品が正規の部品ではなく異品であるとの判定を行い、その判定結果を検査結果として報知装置40に出力させる。但し、演算処理装置20は、見つかった部品が正規の部品であるにも拘わらず、設計通りに正しく組み付けられていない場合にも、明度値領域の輪郭と同一又は同等の形状の輪郭が基準明度画像に存在していないと判定する可能性がある。このため、演算処理装置20には、そのような輪郭が基準明度画像に存在していない場合、例えば、異品の可能性と設計通りに正しく組み付けられていない可能性の双方の情報を検査結果として報知装置40に出力させてもよい。
また、検査対象の正規の部品が有彩色の場合、演算処理装置20は、見つかった部品に関わる画素の撮像画像情報が色相値情報を有しているのか否かを判定する。この演算処理装置20は、その画素が色相値情報を有していない場合、見つかった部品が無彩色であり、正規の部品ではなく異品であるとの判定を行う。演算処理装置20は、その異品との判定結果を検査結果として報知装置40に出力させる。
この演算処理装置20は、その画素が色相値情報を有している場合、この画素の比較基準情報における色相値情報(以下、「基準色相値情報」という。)を記憶装置21から読み込み、この画素の色相値と基準色相値とを比較する。演算処理装置20は、その色相値と基準色相値とが同一又は類似ではない場合、見つかった部品が正規の部品ではなく異品であるとの判定を行う。演算処理装置20は、その異品との判定結果を検査結果として報知装置40に出力させる。類似とは、誤差の範囲内等のような同一の色相値として考えられる程にそれぞれの色相値の差が小さいもの同士の関係のことをいう。
その色相値と基準色相値とが同一又は類似の場合には、見つかった部品に関わる各画素の集合している領域又は当該各画素の集合領域とその周辺の領域の中に、同一又は類似の色相値の集合している領域(以下、「色相値領域」という。)が存在している。このため、この場合、演算処理装置20は、例えば、その色相値領域の輪郭の色相値と、この輪郭を成す画素及び当該画素の周辺の画素における基準色相値と、を比較し、その色相値領域の輪郭と同一又は同等の形状の輪郭が基準色相画像に存在しているのか否かを判定する。色相画像とは、撮像画像における画素毎の色相値情報に基づいて、この撮像画像を色相で表したものである。そして、基準色相画像とは、その色相画像の各画素を基準色相値に置き換えて表したものである。演算処理装置20は、例えば、そのような輪郭が基準色相画像に存在しているのか否かに応じて無彩色のときと同じようにして判定を行い、その判定結果を検査結果として報知装置40に出力させる。
尚、この部品の正誤の検査は、色相値情報に替えて他の撮像画像情報(例えば階調値情報やRGB値情報等)を用いて実施してもよい。
異品との検査結果が伝えられた作業者等は、例えば、検査装置1を一旦停止させ、異品を正規の部品に取り替えたり、この検査対象物100を生産ラインから取り除いたりすることができる。
また、異品の可能性と設計通りに正しく組み付けられていない可能性の双方の検査結果が伝えられた作業者等は、例えば、検査装置1を一旦停止させ、異品であるのか、それとも組み付け状態が悪いだけなのかを確認したり、この検査対象物100を生産ラインから取り除いたりすることができる。そして、その作業者等は、異品を正規の部品に取り替えたり、組み付け状態を正しい状態に直したりすることができる。
このように、この検査装置1においては、撮像装置10の撮像情報から得られた撮像画像情報を用いて、検査対象物100に対する検査を実施する。
ところで、その撮像画像情報とは、前述したように、色相値情報、彩度値情報、明度値情報、階調値情報、RGB値情報、輝度値情報等の色彩に関わる色情報のことである。これらの撮像画像情報は、検査対象物100の周囲の照度に応じて値が変化する。例えば、RGB値は、RGB表色系における色成分の指標値(以下、「色成分値」という。)であり、このRGB値は、R成分とG成分とB成分のそれぞれの指標値(色成分値)を含んだものであり、検査対象物100の周囲の照度に応じて変わる。R成分の指標値(以下、「R値」という。)とG成分の指標値(以下、「G値」という。)とB成分の指標値(以下、「B値」という。)は、その照度が高くなるほど大きくなる一方、その照度が低くなるほど小さくなる。そして、色相値と彩度値と明度値は、それぞれにRGB値(R値、G値、B値)に応じて変わることが知られている。この明度値は、検査対象物100の周囲の照度が高くなるほど大きくなる一方、その照度が低くなるほど小さくなる。また、輝度値は、光源の明るさの指標値のことであり、検査対象物100の周囲の照度が高くなるほど大きくなる一方、その照度が低くなるほど小さくなる。そして、この輝度値は、階調値と互いに関連するものである。階調値は、R値とG値とB値のそれぞれにおいての階調を表すものである。この階調値は、検査対象物100の周囲の照度が高くなるほど大きくなる一方、その照度が低くなるほど小さくなる。
そこで、この撮像画像情報との比較の対象となる比較基準情報には、検査対象物100の周囲の照度が所定の照度(以下、「規定照度」という。)のときに得られる撮像画像情報又は当該撮像画像情報に相当する推定情報等を用いる。その規定照度は、検査の実施が可能な検査対象物100の周囲の照度として予め定められたものである。
その規定照度は、例えば、或る無彩色の検査対象物100の撮像画像情報から当該検査対象物100を当該無彩色として認識することのできる当該検査対象物100の周囲の照度に基づいて設定する。また、この規定照度は、或る有彩色の検査対象物100の撮像画像情報から当該検査対象物100を当該有彩色として認識することのできる当該検査対象物100の周囲の照度に基づいて設定する。
例えば、規定照度の下又は当該規定照度を中心とする所定の範囲(以下、「規定照度範囲」という。)では、灰色の検査対象物100の撮像画像情報から同等の灰色を検出することができる。しかしながら、検査対象物100の周囲の照度が規定照度範囲よりも高い場合、灰色の検査対象物100の撮像画像情報からは、その灰色よりも白みがかった色が検出されてしまう可能性がある。また、検査対象物100の周囲の照度が規定照度範囲よりも低い場合、灰色の検査対象物100の撮像画像情報からは、その灰色よりも黒みがかった色が検出されてしまう可能性がある。この照度の高低によるずれは、有彩色においても同様の事象として表れる。このため、この検査装置1においては、検査の実施条件として規定された照度の範囲(規定照度範囲)を予め定めておくことが望ましい。
その規定照度範囲と規定照度は、検査対象物100を実際のものとして特定し得る撮像画像情報の取得が可能な照度に基づいて決めればよい。換言するならば、その規定照度範囲は、撮像画像上での検査対象物100の存在している領域を撮像画像情報に基づいて特定でき、かつ、その検査対象物100が正規の部品であることを撮像画像情報に基づいて特定できる照度に基づいて設定すればよい。
この検査装置1は、そのような一定の基準となる照度の条件下で検査を実施することになるので、検査結果のばらつき等の発生を抑えることができる。しかしながら、この検査装置1は、検査中における検査対象物100の周囲の照度が規定照度範囲から外れてしまった場合、その検査対象物100の各画素の撮像画像情報が当該各画素における比較基準情報(規定照度のときの撮像画像情報)に対して大きくずれてしまい、正しい検査結果が得られない可能性がある。例えば、その照度が規定照度範囲から外れてしまった場合には、規定照度範囲の場合と比較して、検査対象物100の各画素におけるRGB値のずれにより当該各画素の明度値や色相値等も大きくずれてしまう。このため、この場合には、その検査対象物100が正規の部品であるにも拘わらず、異品であるとの検査結果を出してしまう可能性がある。従って、この検査装置1においては、検査の開始前や検査中等の所定の監視タイミングで検査対象物100の周囲の照度を監視し、その照度が検査に適した規定照度範囲内にあるのか否かを判定する。例えば、この照度の監視は、検査中に所定の間隔で実施してもよく、検査中に随時実施してもよい。そして、この検査装置1では、検査対象物100の周囲の照度が規定照度範囲から外れている場合、その旨の情報が作業者等に伝わるよう構成する。つまり、この検査装置1には、検査対象物100の周囲の照度を監視すると共に、その照度が規定照度範囲から外れたときにその旨を作業者等に報知する照度監視装置を設けている。
演算処理装置20は、その照度の監視に当たって、撮像装置10を制御し、検査対象物100と治具板110の保持面111とを撮像させる。そして、演算処理装置20は、その撮像画像に関わる各画素の撮像画像情報を記憶装置21に記憶させる。記憶装置21には、その撮像画像情報が撮像画像のフレーム毎に格納されている。演算処理装置20は、その撮像画像情報を利用して、検査対象物100の周囲の照度を監視する。尚、その撮像画像情報は、照度の監視のために撮像装置10に撮像させて得たものを用いてもよく、検査の過程において得られたものを用いてもよい。尚、以下においては、単に撮像画像と記した場合、或る1つのフレームにおける撮像画像のことをいう。
演算処理装置20は、撮像画像に関わる各画素の撮像画像情報に基づいて、この撮像画像上の無彩色領域と有彩色領域を特定する。例えば、この演算処理装置20は、記憶装置21から撮像画像のそれぞれの画素におけるRGB値情報を読み込み、無彩色領域と有彩色領域とを演算する。これにより、演算処理装置20は、その演算結果に基づいて、撮像画像上の無彩色領域と有彩色領域とを特定することができる。更に、演算処理装置20は、その撮像画像上において、白色の無彩色領域と黒色の無彩色領域と灰色の無彩色領域とを識別することができる。また、演算処理装置20は、その撮像画像上において、色毎に有彩色領域を識別することができる。
演算処理装置20は、撮像画像上に各画素の色成分値(RGB値)の同じ有彩色領域が存在している場合、その有彩色領域の撮像画像情報におけるRGB値情報を用いて、検査対象物100の周囲の照度を監視することができる。この監視は、正規の検査対象物100が有彩色の場合又は正規の検査対象物100の構成部品に有彩色の部品が含まれている場合に実施する。
例えば、演算処理装置20は、撮像画像上に各画素の色成分値の同じ有彩色領域が存在している場合、その有彩色領域における画素の色成分値の最大値と最小値との差(以下、「最大色成分差」という。)を演算する。この例示の撮像画像情報には、色成分値としてRGB値(R値、G値、B値)が含まれている。このため、演算処理装置20は、RGB値の最大値と最小値との差を最大色成分差として求める。そして、この演算処理装置20は、その最大色成分差の変化を監視することによって、検査対象物100の周囲の照度を監視する。この演算処理装置20は、後述するように、その最大色成分差が所定値よりも小さい場合、その照度が規定照度範囲から外れており、この照度に異常が発生しているとの判定を行い、その判定結果に応じた報知情報を報知装置40から出力させる。ここでは、色成分値(RGB値)における最大値から最小値が減算されたものを最大色成分差とする。
ここで、撮像画像上には、各画素の色成分値(RGB値)の異なる有彩色領域が複数存在している場合もある。この場合には、そのそれぞれの有彩色領域の中から次のようにして照度の監視対象となる有彩色領域を選択し、この監視対象の有彩色領域の最大色成分差と所定値とを比較することによって、検査対象物100の周囲の照度を監視することが望ましい。例えば、この場合には、それぞれの有彩色領域のRGB値情報に基づいて、それぞれの有彩色領域の最大色成分差を演算し、その最大色成分差が最も大きい有彩色領域を照度の監視対象の有彩色領域として選択する。
尚、この例示の有彩色領域の各画素は、比較基準情報におけるRGB値情報(以下、「基準RGB値情報」という。)を有している。基準RGB値は、その画素における基準色成分値であり、基準R値と基準G値と基準B値とを含んでいる。演算処理装置20は、撮像画像上に有彩色領域が存在している場合、その有彩色領域の各画素の基準色成分値である基準RGB値(基準R値、基準G値、基準B値)の最大値と最小値との差(以下、「基準最大色成分差」という。)を演算することもできる。ここでは、基準色成分値(基準RGB値)における最大値から最小値が減算されたものを基準最大色成分差とする。
この照度の監視に関わる演算処理について、図3のフローチャートを用いて具体的に説明する。
演算処理装置20は、撮像画像上に色成分値(RGB値)の同じ有彩色領域が存在しているのか否かを判定する(ステップST1)。
演算処理装置20は、撮像画像上に有彩色領域が存在していない場合、この演算処理を一旦終わらせる。尚、その後、この演算処理装置20は、例えば、次のフレームの撮像画像に対してステップST1の判定を実行してもよい。
演算処理装置20は、撮像画像上に有彩色領域が存在している場合、この撮像画像上にRGB値の異なる2つ以上の有彩色領域が存在しているのか否かを判定する(ステップST2)。
演算処理装置20は、撮像画像上にRGB値の異なる2つ以上の有彩色領域が存在していない場合、この撮像画像上の有彩色領域を照度の監視対象として選択し、この有彩色領域のRGB値情報と基準RGB値情報とを記憶装置21から読み込んで、この有彩色領域の最大色成分差Dc(max)と基準最大色成分差Dcb(max)を演算する(ステップST3)。
その最大色成分差Dc(max)と基準最大色成分差Dcb(max)は、その有彩色領域における同一の画素のRGB値情報と基準RGB値情報とに基づいて演算する。そのRGB値情報と基準RGB値情報は、その有彩色領域における監視対象の画素(例えば有彩色領域の中央部分に存在している画素等)に対応付けられたものを取得する。
一方、演算処理装置20は、撮像画像上にRGB値の異なる2つ以上の有彩色領域が存在している場合、それぞれの有彩色領域のRGB値情報を記憶装置21から読み込んで、その各有彩色領域の最大色成分差Dc(max)を演算する(ステップST4)。そして、演算処理装置20は、その最大色成分差Dc(max)が最も大きい有彩色領域を照度の監視対象として選択する(ステップST5)。演算処理装置20は、その監視対象の有彩色領域の基準RGB値情報を記憶装置21から読み込んで、この有彩色領域の基準最大色成分差Dcb(max)を演算する(ステップST6)。
例えば、そのRGB値情報は、それぞれの有彩色領域における監視対象の画素(例えば有彩色領域の中央部分に存在している画素等)に対応付けられたものを取得する。そして、基準RGB値情報については、その監視対象の画素に対応付けられたものを取得する。
ここで、検査対象物100の周囲の照度が規定照度の場合には、有彩色領域の同一の画素における最大色成分差Dc(max)と基準最大色成分差Dcb(max)とが一致する。
一方、その照度が規定照度よりも高くなっている場合には、例えばCCDイメージセンサ等の撮像装置10の性能如何で、照度の上昇と共に、RGB値(R値、G値、B値)の最大値が上限値で飽和し、最大色成分差Dc(max)が基準最大色成分差Dcb(max)に対して小さくなっていく。そして、その照度の上昇と共に最大色成分差Dc(max)が所定値(第1閾値)以下にまで小さくなった場合(図4)には、その照度が規定照度範囲よりも高くなっており、その照度に異常が生じていると判断できる。つまり、その所定値(第1閾値)とは、所期の検査精度を保てないほどの照度の上昇が検査対象物100の周囲で発生しているときの最大色成分差Dc(max)のことである。この所定値(第1閾値)は、検査対象物100又は検査対象物100の構成部品毎に、撮像画像の画素に対応付けて予め記憶装置21に記憶させておく。図4は、検査対象物100の周囲の照度が規定照度のとき(照度正常時)の最大色成分差Dc(max){=Dcb(max)}と、その照度が規定照度範囲よりも高いとき(照度異常時)の最大色成分差Dc(max)と、その照度が規定照度範囲よりも低いとき(照度異常時)の最大色成分差Dc(max)と、を示したものである。
また、その照度が規定照度よりも低くなっている場合には、例えばCCDイメージセンサ等の撮像装置10の性能如何で、照度の低下と共に、RGB値(R値、G値、B値)の最小値が下限値で飽和し、最大色成分差Dc(max)が基準最大色成分差Dcb(max)に対して小さくなっていく。そして、その照度の低下と共に最大色成分差Dc(max)が所定値(第2閾値)以下にまで小さくなった場合(図4)には、その照度が規定照度範囲よりも低くなっており、その照度に異常が生じていると判断できる。つまり、その所定値(第2閾値)とは、所期の検査精度を保てないほどの照度の低下が検査対象物100の周囲で発生しているときの最大色成分差Dc(max)のことである。この所定値(第2閾値)は、検査対象物100又は検査対象物100の構成部品毎に、撮像画像の画素に対応付けて予め記憶装置21に記憶させておく。
そこで、演算処理装置20は、監視対象の有彩色領域における最大色成分差Dc(max)と基準最大色成分差Dcb(max)とが一致しているのか否かを判定する(ステップST7)。
その最大色成分差Dc(max)と基準最大色成分差Dcb(max)とが一致している場合には、検査対象物100の周囲の照度が規定照度になっていることが判る。このため、演算処理装置20は、最大色成分差Dc(max)と基準最大色成分差Dcb(max)とが一致している場合、検査対象物100の周囲の照度が規定照度になっているとの判定を行う(ステップST8)。
演算処理装置20は、その判定結果に応じた「照度に異常なし」との報知情報を作業者等に対して報知装置40を介して報知する(ステップST9)。その報知情報としては、前述した検査結果の報知情報と同じように、音声情報や音情報(ビープ音等)などの聴覚を刺激する情報、文字情報やランプの点灯又は点滅などの視覚を刺激する情報が生成される。その視覚を刺激する情報については、前述した検査結果の報知情報と同じように、表示装置30に出力させてもよい。
一方、その最大色成分差Dc(max)と基準最大色成分差Dcb(max)とが一致していない場合には、検査対象物100の周囲の照度が規定照度範囲から外れている可能性がある。このため、この場合には、先ず、その照度が規定照度に対して高くなっているのか低くなっているのかを判定する。例えば、演算処理装置20は、この監視対象の画素におけるRGB値(R値、G値、B値)の最大値Cmaxが当該画素における基準RGB値(基準R値、基準G値、基準B値)の最大値Cbmaxよりも大きくなっているのか否かを判定する(ステップST10)。
演算処理装置20は、RGB値(R値、G値、B値)の最大値Cmaxが基準RGB値(基準R値、基準G値、基準B値)の最大値Cbmaxよりも大きくなっている場合、第1閾値を記憶装置21から読み込み、最大色成分差Dc(max)が第1閾値よりも小さくなっているのか否かを判定する(ステップST11)。
演算処理装置20は、最大色成分差Dc(max)が第1閾値よりも小さくなっている場合、検査対象物100の周囲の照度が規定照度範囲よりも高く、この照度に異常が発生していると判定する(ステップST12)。この場合、演算処理装置20は、ステップST9に進み、その判定結果に応じた照度異常の報知情報を作業者等に伝える。
これに対して、演算処理装置20は、最大色成分差Dc(max)が第1閾値以上の場合、検査対象物100の周囲の照度が規定照度範囲内にあると判定する(ステップST13)。この場合、演算処理装置20は、ステップST9に進み、照度に異常なしとの報知情報を作業者等に伝える。
また、演算処理装置20は、RGB値(R値、G値、B値)の最大値Cmaxが基準RGB値(基準R値、基準G値、基準B値)の最大値Cbmaxよりも小さくなっている場合、第2閾値を記憶装置21から読み込み、最大色成分差Dc(max)が第2閾値よりも小さくなっているのか否かを判定する(ステップST14)。
演算処理装置20は、最大色成分差Dc(max)が第2閾値よりも小さくなっている場合、検査対象物100の周囲の照度が規定照度範囲よりも低く、この照度に異常が発生していると判定する(ステップST15)。この場合、演算処理装置20は、ステップST9に進み、その判定結果に応じた照度異常の報知情報を作業者等に伝える。
これに対して、演算処理装置20は、最大色成分差Dc(max)が第2閾値以上の場合、ステップST13に進み、検査対象物100の周囲の照度が規定照度範囲内にあると判定する。この場合、演算処理装置20は、ステップST9に進み、照度に異常なしとの報知情報を作業者等に伝える。
以上示したように、本実施形態の検査装置1(照度監視装置)は、撮像画像上に各画素の色成分値(RGB値)の同じ有彩色領域が存在しており、その有彩色領域の最大色成分差が所定値よりも小さい場合、検査対象物100の周囲の照度に異常が発生しているとの報知情報を報知装置40から出力させる。このため、この検査装置1(照度監視装置)は、その報知情報を得た作業者等に対して照明の点検や交換等を促して、検査対象物100の周囲の照度を規定照度範囲内に戻させることができる。従って、この検査装置1は、正しい検査結果が得られるようになるので、検査精度の向上が図られる。また、この照度監視装置は、検査装置1に正しい検査結果を出力させ、検査精度を向上させることができる。
[変形例]
ここで、以上示した本実施形態では、照度監視装置を検査装置1に組み込んでいる。しかしながら、その照度監視装置は、これ単体でも、つまり検査装置1から検査機能を取り除いたものとしても構成することができる。図1に括弧書きで示している符号2は、本変形例の照度監視装置を表している。
この照度監視装置2とは、撮像対象物100を撮像する撮像装置10と、この撮像装置10の撮像情報から得られた画素毎の撮像画像情報に基づいて撮像対象物100の周囲の照度を監視する演算処理装置20と、この演算処理装置20の指令に基づいて情報の報知を行う報知装置40と、を備えたものである。
撮像対象物100は、例えば、先に説明した検査装置1の検査対象物100と同等のものである。本変形例の演算処理装置20は、先に説明した検査装置1の演算処理装置20から検査に関わる演算処理機能を除いたものに相当する。報知装置40は、先に説明した検査装置1の報知装置40と同等のものである。このため、この照度監視装置2における構成や演算処理動作等は、先の検査装置1における照度の監視に関わる構成や演算処理動作等の説明において、主に検査対象物100を撮像対象物100と読み替えればよい。
尚、規定照度又は規定照度範囲については、この照度監視装置2の監視結果を実施形態のように検査対象物100の検査に利用するのであれば、先に検査装置1で説明したものに定めればよい。一方、その監視結果を検査装置1とは異なる機器等の装置で利用する場合には、その装置における照度の設定に合わせて、規定照度又は規定照度範囲を定めればよい。
本変形例の照度監視装置2は、このように構成することによって、実施形態で説明したものと同様の効果を得ることができる。
1 検査装置
2 照度監視装置
10 撮像装置
20 演算処理装置
21 記憶装置
30 表示装置
40 報知装置
100 検査対象物(撮像対象物)

Claims (7)

  1. 検査対象物を撮像する撮像装置と、
    該撮像装置の撮像情報から得られた画素毎の撮像画像情報に基づいて検査項目に応じた前記検査対象物の検査を行う演算処理装置と、
    該演算処理装置の指令に基づいて情報の報知を行う報知装置と、
    を備え、
    前記演算処理装置は、前記撮像装置の撮像画像上に各画素の色成分値の同じ有彩色領域が存在している場合、監視対象となった当該有彩色領域における画素の色成分値の最大値と最小値との差である最大色成分差を演算し、該最大色成分差が所定値よりも小さい場合、前記検査対象物の周囲の照度に異常が発生しているとの報知情報を前記報知装置から出力させることを特徴とした検査装置。
  2. 前記演算処理装置は、前記監視対象の有彩色領域における画素の色成分値の最大値が当該画素の基準色成分値の最大値よりも大きく、かつ、該画素の前記最大色成分差が前記所定値としての第1閾値よりも小さい場合、前記検査対象物の周囲の照度が規定照度範囲よりも高く、該照度に異常が発生しているとの報知情報を前記報知装置から出力させることを特徴とした請求項1に記載の検査装置。
  3. 前記演算処理装置は、前記監視対象の有彩色領域における画素の色成分値の最大値が当該画素の基準色成分値の最大値よりも小さく、かつ、該画素の前記最大色成分差が前記所定値としての第2閾値よりも小さい場合、前記検査対象物の周囲の照度が規定照度範囲よりも低く、該照度に異常が発生しているとの報知情報を前記報知装置から出力させることを特徴とした請求項1に記載の検査装置。
  4. 前記撮像装置は、CCDイメージセンサ又はCMOSイメージセンサを撮像素子として備えることを特徴とした請求項1,2又は3に記載の検査装置。
  5. 前記演算処理装置は、前記撮像装置の撮像画像上に各画素の色成分値の異なる有彩色領域が複数存在している場合、該それぞれの有彩色領域の最大色成分差を演算し、該最大色成分差が最も大きい有彩色領域を監視対象の有彩色領域として選択することを特徴とした請求項1から4の内の何れか1つに記載の検査装置。
  6. 前記色成分値は、RGB表色系におけるRGB値であり、R成分の指標値とG成分の指標値とB成分の指標値を含むことを特徴とした請求項1から5の内の何れか1つに記載の検査装置。
  7. 撮像対象物を撮像する撮像装置と、
    該撮像装置の撮像情報から得られた画素毎の撮像画像情報に基づいて前記撮像対象物の周囲の照度を監視する演算処理装置と、
    該演算処理装置の指令に基づいて情報の報知を行う報知装置と、
    を備え、
    前記演算処理装置は、前記撮像装置の撮像画像上に各画素の色成分値の同じ有彩色領域が存在している場合、該監視対象となった有彩色領域における画素の色成分値の最大値と最小値との差である最大色成分差を演算し、該最大色成分差が所定値よりも小さい場合、前記撮像対象物の周囲の照度に異常が発生しているとの報知情報を前記報知装置から出力させることを特徴とした照度監視装置。
JP2014247200A 2014-12-05 2014-12-05 検査装置及び照度監視装置 Active JP6404102B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014247200A JP6404102B2 (ja) 2014-12-05 2014-12-05 検査装置及び照度監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014247200A JP6404102B2 (ja) 2014-12-05 2014-12-05 検査装置及び照度監視装置

Publications (2)

Publication Number Publication Date
JP2016109552A true JP2016109552A (ja) 2016-06-20
JP6404102B2 JP6404102B2 (ja) 2018-10-10

Family

ID=56123880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014247200A Active JP6404102B2 (ja) 2014-12-05 2014-12-05 検査装置及び照度監視装置

Country Status (1)

Country Link
JP (1) JP6404102B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01276025A (ja) * 1988-04-28 1989-11-06 Minolta Camera Co Ltd 光学測定器
JPH02116259A (ja) * 1988-10-26 1990-04-27 Toshiba Corp 画像形成装置
JPH04122841A (ja) * 1990-09-14 1992-04-23 Matsushita Electric Ind Co Ltd 電子部品実装基板の観察方法
JPH06249795A (ja) * 1993-02-24 1994-09-09 Mitsubishi Electric Corp 缶検査装置
JPH10336388A (ja) * 1997-05-27 1998-12-18 Sharp Corp 画像読取装置
JP2000121441A (ja) * 1998-10-15 2000-04-28 Keyence Corp 色検出装置
JP2011097235A (ja) * 2009-10-28 2011-05-12 Canon Inc 画像読取装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01276025A (ja) * 1988-04-28 1989-11-06 Minolta Camera Co Ltd 光学測定器
JPH02116259A (ja) * 1988-10-26 1990-04-27 Toshiba Corp 画像形成装置
JPH04122841A (ja) * 1990-09-14 1992-04-23 Matsushita Electric Ind Co Ltd 電子部品実装基板の観察方法
JPH06249795A (ja) * 1993-02-24 1994-09-09 Mitsubishi Electric Corp 缶検査装置
JPH10336388A (ja) * 1997-05-27 1998-12-18 Sharp Corp 画像読取装置
JP2000121441A (ja) * 1998-10-15 2000-04-28 Keyence Corp 色検出装置
JP2011097235A (ja) * 2009-10-28 2011-05-12 Canon Inc 画像読取装置

Also Published As

Publication number Publication date
JP6404102B2 (ja) 2018-10-10

Similar Documents

Publication Publication Date Title
US11050988B2 (en) Device and method for shadow correction verification parameter determination and shadow correction verification
JP6325520B2 (ja) むら検査システム、むら検査方法およびむら検査プログラム
KR101998639B1 (ko) 열화상 카메라와 색상 카메라의 복합 영상을 이용한 지능형 발화지점 감시 시스템
JP6422321B2 (ja) 検査装置及び照度監視装置
US9105105B2 (en) Imaging device, imaging system, and imaging method utilizing white balance correction
JP2018077228A (ja) 長手方向に動くストランド状の製品の品質を評価するための方法及び装置
CN103841337A (zh) 背光补偿的方法和装置
US20150003685A1 (en) Information processing apparatus, assembly apparatus, information processing method, and storage medium
JP6294816B2 (ja) 検査装置及び照度監視装置
CN111385447B (zh) 摄像装置及其驱动方法
JP6404102B2 (ja) 検査装置及び照度監視装置
JP6900395B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
KR101553707B1 (ko) 카메라 모듈 결함 판정용 이미지 스테인 검출 방법
CN110118785A (zh) 检测方法、检测装置和工业设备
JP6792283B2 (ja) 外観検査装置
KR101993654B1 (ko) 표시패널의 얼룩 검사 장치 및 그 방법
KR101641099B1 (ko) 하네스용 비전 검사장치
TWI655412B (zh) 發光源檢測系統與方法
KR101511224B1 (ko) 실시간 작동상태 표시기능이 구현된 감시카메라
JP2005147911A (ja) 表示パネルの画素評価方法及びその装置
JP2003216930A (ja) 変色検査方法及び変色検査装置
JP2020140459A (ja) 設備監視システム、設備監視方法及びプログラム
CN111757002B (zh) 图像处理方法、输出控制方法、图像采集设备及显示设备
JP2022146142A (ja) 結線作業支援装置
JP2016085155A (ja) 検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180912

R150 Certificate of patent or registration of utility model

Ref document number: 6404102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250