JP2011102765A - 撮像方法、画像処理方法および撮像・画像処理装置 - Google Patents

Abstract

【課題】光沢のあり照明光を正反射する被撮像面の正常状態維持領域と加工又は劣化等により非正常状態になった領域を区別することを、手間をかけないで安定的に、所定の精度で、短時間に、低いコストで、且つ自動的に得る方法を提供する。
【解決手段】
カメラの光軸が被撮像面に垂直な方向に対して所定の角度の傾斜を持つようにカメラを配置し、且つカメラの所定の画素範囲に対応する被撮像面上の範囲（撮像範囲）からカメラのレンズの有効径内に入る反射光の内、撮像範囲で正反射された照明光が正反射前に通過するべきトンネル空間（入射光トンネル空間）が照明装置の発光面を貫通するように照明装置を配置し、光沢があり照明光を正反射する被撮像面を撮像する。
【選択図】 図１

Description

本発明は、光沢のあるワークの撮像方法、画像処理方法およびこれらの方法を実現する撮像・画像処理装置に関する。更に詳しくは、所定の光沢のある平面を持ったワークの平面部分の領域範囲、更に当該平面内にある表面不良部分の領域範囲をコンピュータによる画像処理によって容易に見つけ出すための撮像方法、画像処理方法および撮像・画像処理装置に関する。

従来、画像処理によってワークの外観を正確に検査したいという要求があり、外観上のキズ、汚れ、部品の装着の良否、部品の有無等の検査をするためには、ワークの外観の濃淡を正確に認識するために、散乱光による照明を使ってカメラによる撮像画像に濃度飽和が起こらないように撮像光学系を工夫してワークを撮像するのが一般的である。
一方、所定の均一な光沢があり照明光を正反射する滑らかな平面（精密圧延又は研削等による鏡面、めっき・塗装等のコーティング面、その他化学研磨等何らかの平滑化加工面等）を持つ物体に対して、何らかの加工（切取り、穴あけ等）がなされその一部が欠落したワークにおいて、再利用等のために、欠落した領域を除いた領域を抽出し、その領域を正確に把握するための情報を、専門的で面倒な設定等を行わないで簡単且つ安定的に、所定の精度で、短時間に、低いコストで、更にできれば自動的に得たいという要求がある。ここに、専門的で面倒な設定等を行わないで簡単且つ安定的に目標とする情報を得たい要求とは、平面の光反射特性が近いものから大きく異なるものまで各種存在する取扱うワークに対して、上記欠落した領域と元のままを保っている領域とを区別するために、従来の一般的な撮像方法において行っているように、撮像画像の２値化のための閾値を専門的な特別な手段で設定する必要がなく、簡単な方法で設定でき、また一旦簡単な方法で閾値を設定しておけば平面の当該特性の所定の範囲のワークに対しては閾値を変更しなくても安定的に２値化以降の画像処理ができるようにしたいという要求である。
更に、表面部分に対する何らかの加工がなされたか、著しい錆、汚れ、キズ等の不良原因により部分的に所定の均一な光沢がなくなったワーク等においても、同様の要求が満たされる効果を伴う形で、所定の均一な光沢がなくなった領域を除いた領域を把握するための情報を得たいという要求がある。
このような要求においては、物体のサイズは、上記領域の抽出に要求される精度の観点からカメラの撮像分解能を上げる必要性が出てくるため、カメラの撮像可能サイズより大きなサイズとなり、撮像光学系と物体を相対的に移動させながら撮像する必要が出てくることが、市場では非常に多いと想定される。
この様な要求に対して、適切に対応できる方法又は装置は、出願人の知る限り存在しない。

上記の様な正反射の起こりやすい物体（ワーク）の表面の撮像画像を分析・処理して目標とする領域を抽出し、その領域を特定するための特徴量等の情報を得るために、従来常識的と考えられてきた、物体からの正反射光の割合を下げ乱反射光の割合を上げることを前提とした撮像方法によりその物体の表面をカメラで撮像し分析・処理を行なおうとすれば、以下のような問題が想定される。
第１の問題は、平面が鏡面に近づくほど正反射率が高くなり、照明光による平面からの乱反射光の割合が減少し、適切な濃度の画像を得ることが困難となりやすいことである。この問題の下では、例え、ある光反射特性を持つ平面で抽出したい領域とその他の領域を区別するための適切な濃度の画像が得られたとしても、平面の光反射特性の変化に対して得られる撮像画像の濃度レベルは不安定で、その撮像画像を２値化するための閾値の設定を撮像のたびに専門的な特別の方法で行わなければならなくなる可能性が高くなる。そのため、平面の光反射特性の所定の範囲にわたるワークの撮像画像の２値化を１つの閾値でカバーすることがほぼ不可能となる。更に、加工等によって除かれた部分以外の正常な平面領域のみならず、傷、汚れ等によって不良となった領域を除く正常な平面領域を抽出しようとすれば、閾値の設定が更に煩雑となる。自動化を考えれば、その処理は手間がかかり品質の不安定要因になることが予測される。
第２の問題は、照明光がどのような形態であろうが、カメラの光軸をワークの表面に対し垂直に配置すると撮像画像にカメラの像が映り込み、撮像画像の処理に当該映り込んだ像を検出しないようにするための困難な問題を引き起こすことである。
第３の問題は、第２の問題を回避するために、カメラの光軸を上記垂直配置から傾斜配置にした場合は、照明光が物体表面のカメラ視野領域から正反射してカメラに入って濃度飽和を起こすことを避ける必要が生じることである。そのためには、照明装置のサイズを考慮すれば、正反射光が入らないようにカメラの傾斜角度と大きく異なる角度の斜光照明が必要となる。そうすると、被撮像領域の適正な照度を得るためには斜光角度の程度に応じて照明装置のパワーを上げるか、照明効率を上げるような特殊な構造の照明装置を用意する必要が生じる。その結果、多くの場合に市販の標準照明装置が使えなくなり照明コストの増大という問題を生じる。
第４の問題は、このような大きな照明装置とカメラからなる撮像光学系でその撮像範囲を超える面積の表面を持つワークを撮像しようとした場合には、撮像光学系とワークを相対移動させながら撮像をしなければならなくなることから、その移動装置のコスト問題も予測される。

鏡面反射領域と乱反射領域とが並存する検査対象物を検査する方法について、特開２００２−２２８５９２に一つの提案がなされているが、この提案はライン照明を使う特殊な撮像光学系を採用するものであり、また正反射光を直接ＣＣＤカメラで受けた場合の２値化の問題についても何ら提案はなく、上記要求を満足させるものとはならない。

特開２００２−２２８５９２

現時点で見当たらない。

本発明が解決しようとする課題は、背景技術で述べたように所定の均一な光沢があり照明光を正反射する比率の高い表面特性を持つ滑らかな平面を持つワークに対して、ワークの平面部分の内外の輪郭で囲まれる当該表面特性を持つ平面の存在する領域の全て、又は当該領域から所定の反射光強度レベル以下の領域を除いた領域を抽出し、その抽出された領域を正確に把握するための情報を、手間をかけないで簡単且つ安定的に、所定の精度で、短時間に、低いコストで、更にできれば自動的に得たい要求に対して、上述した従来一般的と考えられている撮像光学系と撮像画像の処理方法を採る方式の問題点を解決する新たな撮像方法と付随する画像処理方法を提供し、またこれらの方法を実現し当該要求を叶えることができる装置を提供することである。

基本的な撮像方法は、撮像対象物からの正反射光を積極的に利用する撮像方式であり、以下の方法を採る。
所定の光沢があり照明光を正反射する滑らかな平面領域を含む平面を持つワークの当該平面（以下、被撮像面ともいう）を撮像の主対象とし、当該被撮像面を撮像するカメラの光軸が当該被撮像面に垂直な方向に対して所定の角度の傾斜を持つようにカメラを配置し、且つ、当該カメラの所定の画素範囲に対応する当該被撮像面上の範囲（以下、撮像範囲ともいう）から当該カメラのレンズの有効径内に入る反射光の内、当該撮像範囲で正反射された照明光が当該正反射前に通過するべきトンネル空間（以下、入射光トンネル空間ともいう）が照明装置の発光面を貫通するように当該照明装置を配置してワークを撮像する。
このようなカメラと被撮像面と照明装置の発光面の配置条件の下で撮像を行うことによって、所定の光沢があり照明光を正反射する滑らかな平面領域を含む平面に対応する像が結像する撮像素子部分への光エネルギーが、正反射光の強度の強さにより、正反射光の影響の少ない他の撮像素子部分に比べて相対的に大幅に高くなる効果が生まれるため、当該配置条件で撮像された撮像画像から当該所定の光沢があり照明光を正反射する滑らかな平面領域を抽出するための画像処理における２値化閾値の設定範囲が広くなる効果を生む。

入射光トンネル空間は、当該カメラの光軸を境界とする片平面が当該撮像範囲の境界輪郭と交差する点と、当該交差と同時に当該片平面がカメラ１０のレンズの有効径に相当する円と交差する点の光軸に対する線対称点とを結ぶ直線（１６および１７は、当該片平面が紙面上にあるときの例）が、当該片平面が光軸１１を回動軸として３６０度回動することに伴って創り出す３次元の面を、当該ワーク側に仮想的に延長し、当該延長によってできた筒状３次元面を更に当該被撮像面に対する面対称位置に移動することによって得られる筒状３次元面を境界面とする筒状トンネル空間である。

上述の配置条件を作り上げた状態のままでは、当該配置条件で撮像された撮像画像から当該所定の光沢があり照明光を正反射する滑らかな平面領域を抽出するための画像処理における２値化閾値の設定可能範囲の広さ又はその他の条件が、本発明の実施者の目的を満たさない場合には、上記のカメラと被撮像面と照明装置の発光面の配置条件の下で、カメラとワークの被撮像面と照明装置の発光面との相対配置位置・姿勢、照明装置の性能に係る諸元（照明光パワー、発光エネルギー分布の均一性、発光面形状又は発光面の有効範囲の選択等）等のカメラによる撮像画像の濃度に影響を与える濃度影響要因の調整を追加的に行う。この調整によって、所定の光沢があり照明光を正反射する滑らかな平面領域を含む平面に対応する像が結像する撮像素子部分への光エネルギーを適切なレベルに調節することができ、撮像画像の中での所定の光沢のある正常な被撮像面と被撮像面以外の領域又は当該被撮像面の不良部分のある領域との濃度差を最大化して、当該正常な被撮像面領域の抽出のための２値化処理をより簡単且つ安定化することができる。
上記調整は、上記配置条件の下で、取扱うワークの範囲に応じた当該被撮像面の特性のばらつき範囲を考慮して、適切な被撮像面の特性を持つワークを使って、当該ワークの被撮像面の正常な領域の濃度が撮像素子の出力飽和到達レベルの上下の所定の範囲となるように、当該濃度影響要因を調整する（当該濃度影響要因を適正なものに交換することも含む）ものであり、当該濃度影響要因の中から適宜選択して行われる。
当該発光面の境界近傍に照明光の条件が合わない範囲がある場合には、その範囲を除いた発光面範囲（発光面有効範囲ともいう）を当該入射光トンネル空間が貫通するように調整することが好ましい。

当該カメラの像が当該ワークの被撮像面から反射して撮像画像の所定の画素範囲に写りこまない程度に当該カメラを傾斜配置することが、撮像画像の２値化の安定度を増す意味で好ましい。

上述した方法により得たワークの被撮像面全体の撮像画像は、カメラの光軸がワークの被撮像面に対して垂直ではなく所定の角度の傾斜を持っているため、カメラのレンズから遠い方の辺の長さが近い方の辺の長さに比べて小となる形で基本的に台形状に歪んでいる。そのため撮像画像の歪みを補正する。この歪補正はいわゆる正対化補正で、撮像画像の中の所定の画素ラインの諸元を基準にしてカメラの光軸がワークの被撮像面に対して垂直である状態で撮像した場合の画像に補正するものである。
その補正方法は一般に良く知られている方法であり、抽出したい領域の把握精度に応じた近似的補正がなされても良い。

本発明による撮像方式によって濃度の高い領域と低い領域の大きな濃度差が得られることから、２値化のための濃度閾値を簡単に設定して撮像画像の２値化画像を取得し、当該２値化画像により加工されないで残っているワーク領域、又は当該ワーク領域から所定の不良部分を除いたワークの元々の被撮像面状態を保っている領域を正常な領域として抽出する。
この抽出によって、ワークの被撮像面の一部加工がなされたもの、又は長時間悪い環境に放置されワークの被撮像面に不良部分を持つワークに対して、内外の輪郭で囲まれるワークの被撮像面の存在する領域の全て、又は当該領域から反射光強度が所定のレベル以下の領域を除いた領域を把握するための特徴量等の情報を、通常の画像処理技術を利用して、短時間に、所定の精度で、安定的に且つ低いコストで得ることができる。

上記の撮像方法は、その方法の説明の中で記載したカメラと被撮像面の撮像範囲と照明装置の発光面の配置条件を実現し必要な調整ができる機能を持つ撮像装置の中で実施される。また上記の画像処理方法は、撮像指令を出し撮像画像読み込みを行い、当該撮像画像に対する画像処理を行うコンピュータを含む装置の中に組込まれたコンピュータプログラムによって実施される。当該プログラムは、CDROM等の記憶媒体に格納されて装置に提供される。

本発明により、所定の均一な光沢があり照明光を正反射する滑らかな平面を持つワークの平面部分の形状を判別しやすい撮像画像を得るための新規な撮像方法であって、特注の照明装置を必要とせず市販されている標準的な照明装置を使用可能で比較的低コストで実現できる可能性の高い撮像方法を提供できた。その結果、この撮像方法によって取得した撮像画像の２値化処理を初めとして、当該平面部分の内外の輪郭で囲まれる領域の全て、又は、当該領域から所定の照明光の反射光強度レベル以下の不良部分を持つ領域を除いた領域を抽出し、当該抽出された領域を特定するための特徴量等の情報を得る処理を、手間をかけないで簡単且つ安定的に、短時間に、所定の精度で、低いコストで、且つ自動的に実行することができる効果が生まれた。この産業上の効果は、非常に大きい。

本発明を実施するためのカメラと照明装置と被撮像面の配置の例を示す図である。 本発明の撮像装置を使った応用装置の例を示す図である。

以下、実施例と共に、発明を実施するための形態について説明する。
以下に記載する実施例は、カメラ撮像と画像処理によって冷間圧延鋼板、めっき鋼板又はアルミニウム板材のように表面に光沢がある所定のサイズのワークで、一部打ち抜き加工等によって穴が開いているようなものの穴以外の領域を、再利用等のために、所定の精度で、短時間に、手間をかけずに安定的に、且つ低いコストで把握したいという要求を実現するためのカメラと照明装置とワークの配置の例を示すものである。
図１に、本実施例におけるカメラとワークの被撮像面上の撮像範囲と照明装置の発光面との相対的配置について示す。本図は、カメラ１０の光軸１１を含み照明装置２０の発光面２３の幅方向（紙面に垂直方向）に対する直角な平面における断面配置を示すものである。照明装置２０およびその発光面２３は、紙面に垂直方向に広がるカメラの撮像範囲１２を適切に照明できるように、紙面に垂直方向に幅を持つものである。
カメラ１０は、ワーク３０の被撮像面３１に映る自身の像が撮像画像に映り込まないように、カメラ１０の光軸１１を被撮像面３１に対する垂線から所定の角度αだけ傾斜させて配置される。１２で示される範囲は、本発明実施者が使用範囲として任意に決めるカメラ１０の所定の撮像素子範囲に対応するワークの被撮像面上の範囲（以下、撮像範囲ともいう）である。２１は照明装置２０の発光面２３の当該面に垂直な中心線であり、被撮像面３１とのなす角はβである。２２は撮像範囲１２の中心から発光面２３の中心までの被撮像面に平行な方向の距離である。

照明装置２０は、発光面２３から撮像範囲１２へ拡散照明光を照射する。そしてまた、照明装置２０は、ワーク３０の被撮像面３１の撮像範囲１２からカメラ１０のレンズの有効径内に入る光の通路であるトンネル空間を通る光の内、照明装置２０からの照明光の撮像範囲１２における正反射光がこの正反射前に通過するトンネル空間が照明装置２０の発光面２３内を貫通するように配置される。
上記のようなカメラ１０と被撮像面３１の撮像範囲１２と照明装置２０の発光面２３の配置を目的は、所定の光沢があり照明光を正反射する滑らかな平面領域を含む平面に対応する像が結像するカメラ１０の撮像素子部分への光エネルギーが、正反射光の強度の強さにより、正反射光の影響の少ない他の撮像素子部分に比べて相対的に大幅に高くなる効果を得るためである。そして、当該配置条件で撮像された撮像画像から当該所定の光沢があり照明光を正反射する滑らかな平面領域を抽出するための画像処理における２値化閾値の設定範囲が広くなる効果を得るためである。

以下、本発明の撮像光学系、即ち、カメラ１０とワークの被撮像面上の撮像範囲１２と照明装置２０の発光面２３との相対的配置について、その配置の幾何学的背景を説明する。
カメラ１０による撮像範囲１２の像は、撮像範囲１２における反射光が当該撮像範囲１２の境界輪郭とカメラ１０のレンズの有効径に相当する円をつなぐ筒状トンネル空間（反射光トンネル空間、トンネル境界面は１３）を通過して入る光によってもたらされる。
反射光トンネル空間は、カメラ１０の光軸１１を境界とする片平面が撮像範囲１２の境界輪郭およびカメラ１０のレンズの有効径に相当する円と交差する点同士を結ぶ直線が、当該カメラの光軸１１を回動軸として３６０度回動することに伴って創り出す３次元の面をトンネル境界面１３とし、当該撮像範囲１２をトンネル入り口とし当該有効径内の領域をトンネル出口とする空間である。

入射光トンネル空間は、反射光トンネル空間を通りカメラ１０の有効径内に入る光の内、撮像範囲１２で正反射された照明光が正反射前に通過するべきトンネル空間であり、そのトンネルの境界に対する考え方を以下に説明する。入射光トンネル空間は、基本的に２つのトンネル空間の合成したものと考えてよい。
１つ目のトンネル空間（以下、第１入射光トンネル空間ともいう）は、反射光トンネル空間の境界面１３をワーク３０側に仮想的に延長した延長境界面１４を更に当該被撮像面３１に対する面対称位置に移動してできる筒状３次元面１５を境界面とするトンネル空間である。
２つ目のトンネル空間（以下、第２入射光トンネル空間ともいう）は、第１入射光トンネル空間の境界面１５を内側の境界面とし、撮像範囲１２からカメラ１０のレンズの有効径内に入る正反射光の内の反射光トンネル空間を斜め横断的に通る反射光の最極端な２つの経路（１６および１７）のそれぞれの集合の組合せからなる筒状の３次元面（１６および１７を含む面）をワーク３０側に仮想的に延長し、当該延長した部分の筒状３次元面を更に被撮像面３１に対する面対称位置に移動してできる筒状３次元面（１８および１９を含む面）を外側の境界面とする環状トンネル空間である。換言すれば、外側の境界面は、カメラ１０の光軸１１を境界とする片平面が撮像範囲１２の境界輪郭と交差する点と、当該交差と同時に当該片平面がカメラ１０のレンズの有効径に相当する円と交差する点の光軸１１に対する線対称点とを結ぶ直線（１６および１７は、当該片平面が紙面上にあるときの例）が、当該片平面が光軸１１を回動軸として３６０度回動することに伴って創り出す３次元の面を、ワーク３０側に仮想的に延長し、当該延長によってできた筒状３次元面を更に被撮像面３１に対する面対称位置に移動し、その結果できた筒状３次元面を境界面とする筒状トンネル空間である。

以下、本発明の撮像光学系において、照明装置２０が、当該発光面２３を含む面による入射光トンネル空間の断面が発光面２３内またはその所定の有効範囲内に存在するように、カメラ１０とワーク３０の被撮像面３１上の撮像範囲１２と照明装置２０の発光面２３との相対的配置を行う方法について説明する。 その方法は、カメラ１０と撮像範囲１２の３次元的位置姿勢関係を適当に定め、上記の考え方を適用して、通常の幾何学的計算によるかまたは作図等によって入射光トンネル空間を求め、これを基に照明装置２０の配置を行うことが基本である。

また、現実的な方法として、上記のような照明光トンネル空間を計算又は作図で求めることをしないで実験的な方法で探して、入射光トンネル空間が照明装置２０の発光面２３内またはその所定の有効範囲内を通過するようにすることもできる。その方法は、正常な均一な光沢を持つ被撮像面を持つワークを使って、照明装置２０の配置を変えながら撮像画像の濃度の均一性を調べ、所定の均一性を持つ照明装置２０の配置を試行錯誤的に探す方法である。このような方法の中で合わせ込んだ場合においても計算で求めていない照明光トンネル空間は発光面２３内またはその所定の有効範囲内を通過していると解釈し、このような方法によりカメラ１０とワーク３０の被撮像面３１と照明装置２０の配置条件を設定しても、それは本発明の技術範囲である。

このようなカメラ１０と被撮像面３１と照明装置２０の発光面２３の配置の条件を保つ中で、所期の目的を達成するために、測定に供されるワーク３０の被撮像面３１を実際に撮像することになる。
上述の配置条件を作り上げた状態のままでは、当該配置条件で撮像された撮像画像から当該所定の光沢があり照明光を正反射する滑らかな平面領域を抽出するための画像処理における２値化閾値の設定可能範囲の広さ又はその他の条件が、本発明の実施者の目的を満たさない場合には、実際に撮像するフェーズに先立って、その配置の条件の下で、カメラ１０とワーク３０の被撮像面３１と照明装置の発光面の相対配置位置・姿勢（カメラ１０の配置位置と傾き角度α、照明装置の配置位置（距離２２）と傾き角度β等）、照明装置の性能に係る諸元（照明光パワー、発光エネルギー分布の均一性、発光面形状又は発光面の有効範囲の選択等）等のカメラによる撮像画像の濃度に影響を与える濃度影響要因の調整を追加的に行う。
この調整の基本的な目的は、所定の光沢があり照明光を正反射する滑らかな平面領域を含む平面に対応する像が結像するカメラ１０の撮像素子部分への光エネルギーを適切なレベルに調節することによって、本発明によるカメラ１０とワークの被撮像面３１と照明装置２０の発光面２３の配置条件のメリットであるところの「正反射光を積極的に利用して、被撮像面３１の所定の均一な光沢があり照明光を正反射する滑らかな領域（正常な領域）の濃度と当該領域以外の領域（正常でない領域）の濃度との差を大きくできる」特性を最大限発揮できるようにして、撮像画像の２値化の際の閾値を当該２つの濃度の差の中間値近辺にラフにデフォルト設定しても、その後に扱うワークの被撮像面３１の正常な領域の特性のばらつきが一定の範囲内にあれば、どのようなワークに対してもそのデフォルト設定した閾値を使って２値化が問題なく行えるようにすることである。
この調整のその他の目的は、この調整を行う過程で、当該配置条件の中でカメラ１０と被撮像面３１と照明装置２０の発光面２３の相対配置位置・姿勢を工夫することにより、照明装置のパワーの可能な限りの削減すること、適正な照明装置の選択等により経済的な装置を選択すること、更に、取扱うワークの種類又は表面反射特性の幅を広げる可能性を追求することにより自動化の実現レベルをより高められるようにすることにあり、本発明の解決課題の達成度を更に上げることである。

この調整の方法は、正反射の多い被撮像面領域に対応する撮像画像領域の濃度をできるだけ狭い分布範囲内で且つ飽和レベルの所定の近傍に上げることである。
そのためには、被撮像面３１以外の領域の濃度を飽和状態から大きく下回る値の状態を保ちながら、正常な平面の表面特性の異なる取扱いワークの中から代表的な表面特性を持つ被撮像面３１の正常な領域の濃度を、撮像素子の出力飽和濃度の近傍の不飽和レベルでちょうど当該出力飽和濃度に達したレベルに限りなく近いレベルにすることを目標に、現実的には、ちょうど当該出力飽和濃度に達したレベルの上下所定の濃度範囲内のレベルにするように当該配置に係る構成要素の撮像画像の濃度に影響を与える濃度影響要因を調整する。この所定の濃度範囲は、当然のことながら、取扱いワークの正常な平面の表面特性の異なる程度によって異なるものである。従って、取扱うワークの範囲を限定する必要が出てくる場合が起こる。

当該濃度影響要因の中の照明装置２０の発光面の有効範囲の選択の考え方について説明する。
発光面２３の境界近傍に照明光の特性面で条件が合わない範囲がある場合には、その範囲を除いた発光面の範囲（有効範囲２４）を発光面と見做して当該有効範囲を当該入射光トンネル空間が貫通するように照明装置２０の位置・姿勢を調整する。照明光の特性面で条件が合う発光面２３の有効範囲２４とは、基本的に少なくとも照射光エネルギーが所定のレベル以上で所定の均一性を持つ発光面の範囲を指すものである。有効範囲２４がその条件に合う基準は、有効範囲２４からの照射光を使って撮像画像を得たときの濃度レベルおよび濃度分布が所定の期待レベルを得ているが、有効範囲以外の発光面からの照射光を含めた照射光を使った場合は当該所定の期待レベルを得られないことと考えればよい。即ち、有効範囲は固定的な基準を作るのではなく、あくまで調整の中で相対的に、また他の濃度影響要因との兼ね合いで決めるべきものである。
このように、当該濃度影響要因の調整は試行錯誤的な要素を持つものである。当然のことながら、このような調整においては、適切な形状と性能をもち、より安価な照明装置を使うことができる可能性が発見された場合には、取り替える場合もある。

以上のような調整を行えば、ワークが、被撮像面３１全体が正常な領域で、穴あけおよび切抜等で欠落した領域を持つ板材であり、そのワークから正常な領域を抽出したい場合においては、２値化の閾値は、上述の説明により容易に設定でき、デフォルト設定の閾値がいろいろな表面特性を持つワークに対して広く適用できる効果が生まれる。
また、被撮像面３１が錆び、汚れ、又は傷等で不良と見做す状態の領域を持っており、当該領域の撮像濃度が被撮像面３１以外の外側の領域の撮像濃度より特段に高い場合であったとしても、被撮像面３１の正常な領域の濃度のばらつきが小さく、飽和かそれに近い濃度の範囲となることから、当該正常な領域の濃度と当該不良と見做す状態の領域（正常でない領域）との濃度差を比較的大きくでき、上記と同様の効果が出る。

また、当然のことながら、被撮像面３１の正常な領域の濃度レベルの調整に影響を与えない形で当該被撮像面３１以外の領域の濃度を下げる工夫をすればするほど、当該被撮像面３１の濃度と当該被撮像面３１以外の領域の濃度との差を大きくすることができる。
その工夫の例として、（１）当該周辺配置物の表面の色をより黒に近く、また表面の光反射率を低くするように表面の平滑度を下げること。（２）当該周辺配置物の像がカメラ１０の撮像素子面にできるだけ合焦点状態から離れた状態で結像するように、当該周辺配置物と当該ワークの表面とのカメラ光軸方向の距離をできるだけ大きくとる等がある。後者については、図２に示すようにワーク３０を所定の高さ以上の支持手段２で支えることにより可能となる。
当該被撮像面３１以外の領域の濃度をどこまで下げるかは、取扱う被撮像面の表面特性と当該調整又は設定のバランスによって決めればよい。

以上の調整がなされたカメラ１０とワーク３０の撮像範囲１２と照明装置２０の発光面２３の配置における撮像光学系によって実際の撮像を行い、所望の情報を得るために撮像画像の画像処理を行なうことになる。
以下、その画像処理の基本的な部分の処理例について説明する。基本的な処理は、第１が撮像画像の２値化であり、第２が撮像画像の歪補正である。

以下、２値化について説明する。
２値化の閾値は、再利用等のために、欠落した領域を除いた領域を抽出するような場合又は表面部分に対する何らかの加工がなされるとか、著しい錆、汚れ、キズ等の不良原因により部分的に所定の均一な光沢がなくなった不良領域以外の領域を抽出する場合には、カメラ１０と被撮像面３１照明装置２０についての上記の調整により被撮像面３１の正常な領域の濃度とその他の領域の最高の濃度の間に大きな開きがあることから、扱うワークの種類を最大限カバー可能と思われる２値化閾値をその開きの範囲内で適当な方法によって定める。

また、表面部分に対する何らかの加工がなされるとか、著しい錆、汚れ、キズ等の不良原因により部分的に所定の均一な光沢がなくなった不良領域の場合には、不良となった原因の有り様によっては、正常領域から不良領域への移行領域で画像の濃度が連続して変化するとか正常領域と不良領域との濃度差が小さい状況が出てくる場合があり得る。このような場合には欠落した領域を除いた領域を抽出の場合のように設定した２値化閾値では適正な２値化ができない。その場合には、例えばワークの限度サンプルを決めて、そのときの不良レベルを超える不良原因（例えば、錆とか汚れ）に対応する画素を全て２値化後は「０」になるような２値化の閾値を設定すればよい。従って、この場合には閾値の設定は、上述の場合に比べて少し手間取ることになるが、その簡便な方法の例として、以下に示すような方法が可能になる。
（１）作業者が、不良ワークの限度サンプルを使って、２値化の仮の閾値を入力する（単純に候補から選択する等で入力を単純化することが好ましい）ことによって、２値化画像が自動的に表示装置（図示なし）に表示され、上記不良レベルを超える不良原因の部分に対応する画素の２値化後の値を表示装置によって確認する手順と、
（２）当該表示された不良原因部分の２値化後の値が「０」になれば仮の閾値を所定の閾値幅だけ下げ、２値化後の値が「１」になるまで（１）以降を繰り返すか、又は当該表示された２値化後の値が「１」になれば閾値を所定の閾値幅だけ上げ、この値が「０」になるまで（１）以降を繰り返すことによって、当該表示された２値化後の値が反転する直前と直後の仮の閾値を得る手順と、
（３）当該直前と直後の仮の閾値の間を所定の細分化を行うような上記所定の閾値幅を設定し、再度（１）以降の手順を実行することを繰り返す手順によって、最終の適切な閾値を見極めることができる。このような閾値決定プロセスを実行できる手段を画像制御手段４に組込むことで、作業者は画像処理による閾値設定の詳細を知らなくても単純作業で２値化処理の閾値を設定することができるようになり、市場要求が満足される。

以下、歪補正について説明する。
撮像画像は、カメラ１０の光軸が被撮像面に対して垂直な直線に対して傾斜しているので、矩形であるべきものがほぼ台形に歪んでいる。従って、その画像から抽出したいものの特徴量を正確に求めるために、ほぼ台形である画像を真正面から撮像した矩形画像に補正する歪補正を行う。
当該歪補正は、いわゆる正対化補正といわれる範疇の補正で、その方法は良く知られた方法である。例えば、当該撮像系によって予め既知の配列を持った格子状パターンを所定の傾斜した方向から撮像し、その歪画像と既知の配列を使って真正面から撮像したときの画像になるように歪を補正するための手段を求めるキャリブレーションを行い、そのキャリブレーション結果を使って当該歪補正は行われる。
尚、この歪補正は、２値化の後又は前のいずれか都合の良いときになされればよい。

以上の処理がなされた画像に対して、本発明の実施者が決める所定のノイズ排除基準と抽出される正常領域の輪郭の滑らかさの粒度基準を適用して、通常の画像処理によって、上述の正常領域の抽出が行われ、その領域を特定するための特徴量が得られる。

カメラ１０による被撮像面３１の撮像の仕方は、カメラ１０がエリアセンサ型かラインセンサ型かによって、またカメラ１０の撮像分解能の制限から来るワンショット撮像範囲と被撮像面サイズの関係によって、撮像とその後の画像処理の形態がいろいろ存在する。代表的な撮像・画像処理の制御形態は、以下のようなものである。

＜第１の撮像・画像処理の制御形態例＞
第１の撮像・画像処理形態例は、エリアセンサ型のカメラを使用して、カメラと被撮像面を相対的に移動させながら分割撮像することによって、被撮像面全体を撮像し、画像処理を行う形態である。
以下、本発明の撮像・画像処理装置の例を示す図２を参照しながら、撮像装置および制御装置の制御及び動作について説明する。
１は、カメラ１０と照明装置２０を具備する撮像光学系を保持する光学系保持手段であり、カメラ１０の位置・姿勢、照明装置２０の発光面２３の位置・姿勢を調整し易くするための構造を持っている。６は、光学系保持手段１をワーク３０上の被撮像面３１に平行なＸＹ平面内で光学系保持手段をＸＹ方向に移動させる移動機構であり、光学系保持手段１は結合手段７によって移動機構６内の移動体８の所定の位置に結合されている。ワーク３０は、支持手段２により支持されている。
制御装置３は画像制御手段４と移動制御手段５を具備する。画像制御手段４は、撮像光学系１を制御し、必要なタイミングでカメラ１０に対して撮像指令を出し、カメラ１０で撮像された撮像画像を読み込み、上述した２値化処理、歪補正、正常な領域の抽出、当該領域を特定するための特徴量の出力を含む必要な画像処理を行なう。移動制御手段５は移動機構６を制御する。画像制御手段４と移動制御手段５は必要な同期をとり動作する。

以下、カメラ１０の撮像動作と光学系保持手段１の移動動作について、画像制御手段４と移動制御手段５の役割とともに概要を説明する。
上述したカメラ１０と照明装置２０をその相対位置姿勢関係が変化しないように保持した光学系保持手段１が移動手段６によってワーク３０の被撮像面３１とその若干の外側領域を含む被撮像領域を所定の経路で移動する（以下、「当該光学系保持手段１が被撮像領域を走査する」ともいう）過程で、画像制御手段４がカメラ１０に当該所定の経路の内の所定の移動方向の移動距離に同期した所定のタイミング信号により撮像を行わせることによって部分撮像画像を読み込むことを繰返して、ワーク３０の被撮像面３１を含む被撮像領域全体をカバーする部分撮像画像の集合を得る。
上記所定の経路は、その区間で所定のタイミング信号で撮像が行われる所定の移動方向における移動経路（以下、撮像経路ともいう）と、撮像経路の終点で今までの撮像経路に平行な次の撮像経路に移行するための移行経路からなる経路を繰り返すように設定される経路である。
カメラ１０と撮像経路の方向の関係は、カメラ１０の撮像画像において撮像経路の方向が画素ラインに直角方向となる関係である。
また、照明装置２０は、上記タイミング信号に同期するように間欠照明（ストロボ照明）を行う。
更にまた、以上の説明においては光学系保持手段１が移動するようにしているが、光学系保持手段１を固定しワーク３０が移動する方法でも構わない。

撮像された各部分撮像画像は、画像制御手段４によって歪補正がなされる。

次に、これらの歪補正がなされた各部分撮像画像の連結を行う。
歪補正を行った各部分撮像画像の各画素ラインの尺度は同一になっている。そのため、上記同一の撮像経路における各部分撮像画像の連結は、上記所定のタイミング信号の間隔に対応する数の画素ラインからなる所定の画像領域をそのまま連結していくことで可能である。

上記隣り合う撮像経路間の対応する部分撮像画像の連結は、以下のようにして行う。撮像経路における撮像時の各部分撮像画像の基準位置（例えば、撮像画像の座標原点）と当該撮像時の当該所定の経路の座標系における移動距離（位置）との対応関係は、当該撮像経路での撮像時の所定の移動方向の移動距離の計測と撮像のための所定のタイミング信号の関係が当該所定の経路を作り出す移動制御手段５および撮像のタイミング信号を作り出す画像制御手段４の設計によって決定していることから、当該対応関係を利用することによって当該隣り合う部分撮像画像の対応する画素ラインを特定することができ、画素ライン間の重複部分を統合することによって当該連結が可能となる。
ここに、画素ライン間の重複部分の長さは、画素ライン長から撮像経路間隔に対応する画素長さを差し引いたものである。

その結果、ワークの被撮像領域全体を含む撮像画像（ワーク全体撮像画像）が得られる。
画像制御手段４は、ワーク全体撮像画像に対して、
（１）本発明による撮像方式によって享受できる簡単に設定可能な２値化のための濃度閾値を利用して撮像画像の２値化画像を取得し、当該２値化画像により加工されないで残っているワーク３０の被撮像面領域、又は当該ワーク３０の被撮像面領域から所定の不良部分を除いたワークの被撮像面領域を抽出する。
（２）この抽出によって、ワークの被撮像面の一部加工がなされたもの、又は長時間悪い環境に放置されワークの被撮像面に不良部分を持つワーク３０に対して、その輪郭で囲まれるワークの被撮像面の存在する領域の全て、又は当該領域から反射光強度が所定のレベル以下の不良領域を除いた領域を把握するための特徴量等の情報を出力する。ここに、正常な領域を特定するための特徴量は、当該抽出した結果の利用の仕方に関係して本発明の実施者が決定する抽出仕様によっていろいろな形態があり得る。
（３）これらの処理に係るユーザインターフェースに係る処理・制御を含む必要な画像処理・制御を行なう。
当然、既に述べたような２値化の閾値の決定等におけるユーザインターフェースの充実を行い、作業者のバックアップを行うことによって、入力又はその選択を除く他の作業を完全自動化する装置設計は可能である。

＜第2の撮像・画像処理の制御形態例＞
第２の撮像・画像処理の制御形態例は、エリアセンサ型のカメラを使用してワンショットで被撮像面全体を撮像できる形態である。
この場合は、当然のことながら、移動機構６に係る機械構造部分および移動制御手段５は不要であり、移動を伴う撮像制御およびこれに関連して起こる画像処理・制御も不要となる。
その他については、第１の撮像・画像処理の制御形態例と同様である。

＜第３の撮像・画像処理の制御形態例＞
第３の撮像・画像処理の制御形態例は、ラインセンサ型のカメラを使用して、カメラと被撮像面を相対的に移動させながら分割撮像することによって、被撮像面全体を撮像できる形態である。
ラインセンサ型カメラによる場合は、撮像画像は１画素ラインとなるので、エリアセンサ型カメラによる場合における各部分撮像画像は所定の画素ラインであるとして、第１の撮像・画像処理の制御形態例で述べた処理・制御方法を採ることができる。
但し、各部分撮像画像が１画素ラインである場合、歪が発生することもなく歪補正をする必要はない。そのため、光学系保持手段１がワーク３０の被撮像面３１を走査するときの同一の撮像経路における部分撮像画像の転結は、そのまま画素ラインを集積するだけでよい。

以上、説明してきたように、本発明による撮像方法及び撮像装置により、光沢があり適切な撮像が難しい平面を持つ対象物で、表面に加工穴および著しい錆、汚れ、キズ等の不良部分が存在する対象物の正常と目される部分だけを抽出し、その部分の位置に係る情報を得て、その後の再利用に役立てることが容易にできるようになった。このような対象物は、金属に限らず各種の材料が存在する。そして、再利用等で正常部分を探すことが困難で、十分な再利用ができず経済損失を被っている産業分野がある。そのような産業分野における作業者にとっては、複雑な手順が必要な作業はなじまず、手間をかけないで簡単に且つ安定的に所期の目的が達成できるツールを望んでいる。本発明の技術は、その要望に応えるものである。

１ 光学系保持手段
２ 支持手段
３ 制御装置
４ 画像制御手段
５ 移動制御手段
６ 移動機構
７ 結合手段
８ 移動体
１０ カメラ
１１ 光軸
１２ 撮像範囲
１３ 反射光トンネル空間の境界面
１４ 反射光トンネル空間の延長境界面
１５ 入射光第１トンネル空間の境界面
１６ 入射光第２トンネル空間境界面を作り出す元となる反射光トンネル空間内の３次元面を構成する１直線
１７ 入射光第２トンネル空間境界面を作り出す元となる反射光トンネル空間内の３次元面を構成する１直線
１８ 入射光第２トンネル空間境界面を構成する３次元面上の１直線（直線１６と線対称）
１９ 入射光第２トンネル空間境界面を構成する３次元面上の１直線（直線１７と線対称）
２０ 照明装置
２１ 発光面中心線（垂線）
２２ 撮像範囲１２の中心から発光面２３の中心までの距離
２３ 発光面
２４ 発光面の有効範囲
３０ ワーク
３１ 被撮像面

Claims (9)

1. 所定の光沢があり照明光を正反射する滑らかな平面領域を持つ被撮像面を撮像の主対象とする撮像方法であって、当該被撮像面を撮像するカメラをその光軸が当該被撮像面に垂直な方向に対して所定の角度の傾斜を持つように配置し、且つ当該カメラの所定の画素範囲に対応する当該被撮像面上の範囲（以下、撮像範囲ともいう）から当該カメラのレンズの有効径内に入る反射光の内、当該撮像範囲で正反射された照明光が当該正反射前に通過するべきトンネル空間（以下、入射光トンネル空間ともいう）が照明装置の発光面を貫通するように当該照明装置を配置する撮像光学系の条件の下で、当該被撮像面を撮像することを特徴とする撮像方法。
2. 請求項１に記載のカメラと被撮像面と照明装置の発光面を配置する撮像光学系の条件の下で、当該被撮像面の正常な領域の濃度が撮像素子の出力飽和到達レベルの上下所定の範囲となるように、当該カメラと当該被撮像面と当該照明装置の発光面の相対配置位置・姿勢および当該照明装置の諸元のいずれか又は双方を取扱い対象ワークの当該被撮像面の特性のばらつき範囲を考慮して調整し、当該調整後の撮像光学系によって当該被撮像面を撮像することを特徴とする撮像方法。
3. 前記所定の角度が、前記カメラの像が前記被撮像面から反射して前記所定の画素範囲に写りこまないような角度であることを特徴とする請求項１または請求項２に記載の撮像方法。
4. 請求項１から３のいずれかに記載された撮像方法によって撮像された前記被撮像面の画像を所定の方法で設定された閾値を使って２値化画像を取得し、当該被撮像面の正常な領域の範囲を抽出することを特徴とする画像処理方法。
5. 請求項１から３のいずれかに記載された撮像方法によって撮像された前記被撮像面の２値化処理前の画像、または請求項４に記載された２値化画像に対して歪補正を行い、当該被撮像面の正常な領域の範囲を抽出することを特徴とする画像処理方法。
6. 請求項１から３のいずれかに記載の撮像方法を実現するように前記被撮像面に対して配置された前記カメラおよび前記照明装置を具備することを特徴とする撮像装置
7. 請求項6に記載の撮像装置と、当該撮像装置に使用されるカメラによる撮像画像を使って請求項４または５に記載の画像処理を行ない当該被撮像面の正常な領域を抽出する画像制御手段を具備することを特徴とする撮像・画像処理装置。
8. 請求項７に記載の撮像・画像処理装置に組込まれ、請求項１から３のいずれかに記載の撮像方法によって当該被撮像面の撮像を行わせ、請求項４または５に記載の画像処理方法によって画像処理を行い、当該被撮像面の正常な領域を抽出することを可能とするコンピュータプログラム。
9. 請求項７に記載のコンピュータプログラムを格納した、コンピュータで読み取り可能な記憶媒体。
   

Images