JP2017142219A - 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents

画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 Download PDF

Info

Publication number
JP2017142219A
JP2017142219A JP2016025380A JP2016025380A JP2017142219A JP 2017142219 A JP2017142219 A JP 2017142219A JP 2016025380 A JP2016025380 A JP 2016025380A JP 2016025380 A JP2016025380 A JP 2016025380A JP 2017142219 A JP2017142219 A JP 2017142219A
Authority
JP
Japan
Prior art keywords
image
annular
inspection
wall
hole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016025380A
Other languages
English (en)
Other versions
JP6647903B2 (ja
Inventor
岩田 哲郎
Tetsuo Iwata
哲郎 岩田
孝彦 水野
Takahiko Mizuno
孝彦 水野
水谷 康弘
Yasuhiro Mizutani
康弘 水谷
勝己 横田
Katsumi Yokota
勝己 横田
米田 毅
Takeshi Yoneda
毅 米田
大 小泉
Dai Koizumi
大 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YOKOTA CORP KK
University of Tokushima NUC
Original Assignee
YOKOTA CORP KK
University of Tokushima NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YOKOTA CORP KK, University of Tokushima NUC filed Critical YOKOTA CORP KK
Priority to JP2016025380A priority Critical patent/JP6647903B2/ja
Publication of JP2017142219A publication Critical patent/JP2017142219A/ja
Application granted granted Critical
Publication of JP6647903B2 publication Critical patent/JP6647903B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】円筒状の内壁部分の検査を容易に行えるようにする。
【解決手段】穴HLを形成した検査対象物の、該穴HLの内壁を撮像した画像を取得して検査可能な画像検査装置100であって、検査対象物の穴HLの内壁を、同心環状の平面画像として撮像した環状平面画像を取得するための環状平面画像取得部10と、環状平面画像取得部10で取得された環状平面画像の内、環状に表示された内壁の部分について、穴HLの奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の分布に基づいて、該輝度値を評価するための可変評価値を設定可能とした可変評価値設定部24と、可変評価値設定部24で設定された可変評価値に従い画像処理された環状平面画像を評価して、輝度値が異常な画素を抽出して良否判定を行うための良否判定部27とを備える。
【選択図】図1

Description

本発明は、画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。
検査対象物の光学画像を撮像して、画像処理によって良品や不良を判定する画像検査装置は開発されている。このような画像検査装置では、検査対象物(ワーク)の光学画像を撮像した平面画像に対して画像処理を行い、傷や欠けといった不良を検出している。一方、筒状のワークの内壁を検査しようとすれば、通常の平面画像では内壁を撮像できないため、従来、魚眼レンズを利用した歪んだ画像を用いたり(特許文献1)、筒状の内部にカメラを挿入して、ワーク又はカメラを回転させることで、内面を撮像することとにより、行う必要があった。この方法では、カメラを円筒に挿入したり、回転させる等の機構が必要となり、検査システムが複雑で高価になる上、検査作業も非常に手間がかかり、画像の撮像にも時間がかかり生産性が低下するという問題があった。また、目視による方法もあるが、この場合も同様に手間がかかる上、内壁は見難いので見落としのリスクも大きくなる。
これに対して、ワークがレンズに近づくほど小さい像になり、遠くになるほど大きな像となる、いわゆるハイパーセントリックあるいはペリセントリックの光学系を用いた画像認識装置が開発されている(例えば特許文献2)。この画像認識装置は、図23に示すように、半導体チップ201と撮影手段210との間に、前側焦点Pと後側焦点Qとを有するレンズ211を、当該レンズ211における後側焦点Qに対する焦点深度ξ1,ξ2の範囲内に前記半導体チップ201の全体が位置するように配設し、さらにこのレンズ211に対する絞り207を、その前側焦点Pと撮影手段210との間の部位に配設する。これにより、図24に示すような半導体チップ201の被検査部品の表面に傷又は欠け等の欠損がある否かの状態を、撮影手段210にて撮影した画像から認識する場合に、図25に示すように半導体チップ201の上面201a及び各側面201b,201c,201d,201eを同時に拡大して撮影できる。この方法であれば、立体物であるワークの側面の画像を平面図で表示させることができる。
この方法を応用することで、筒状のワークの内壁部分の画像も平面図として撮像することが可能となる。すなわち図26に示すような、円筒形の貫通穴HL1を形成したワークWK1の内壁を撮像する場合、図27Aに示すように、画像検査装置300のレンズ311の収束点を、ワークWK1の手前で結ぶように調整する。これにより、図27Bに示すように、内壁部分を平面状に展開した画像が得られる。ここでは通常のハイパーセントリック系の展開画像と異なり、ワークとレンズとの距離が近い手前側ほど大きく、距離が遠くなる奥側ほど小さく表示された展開画像が生成される。
しかしながら、円筒の内壁部分を含む画像を綺麗に撮像することは容易でない。また、得られた画像に対して画像処理して適切に良品判定を行うことも、容易でない。特に、奥行きのある穴を撮像した展開画像では、手前ほど拡大して表示される結果、相対的に輝度が不足して暗くなり、逆に奥行きほど縮小して表示される結果、輝度が増して明るく表示される。このため、手前側で傷や欠け等の部位を適切に検出できるように二値化のための閾値(しきいち)を設定すると、奥側では適切な検出ができなくなり、逆に奥側の領域で適切な検出ができるような閾値を設定すると、手前側では適切な検出が困難となり、奥行き方向の手前側と奥側で精度よく不良を検出することができないという問題があった。
特開2009−150767号公報 特開平11−265917号公報
本発明は、このような背景に鑑みてなされたものであり、その目的の一は、円筒の内壁部分の検査を容易に行えるようにした画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。
課題を解決するための手段及び発明の効果
上記の目的を達成するために、本発明の第1の態様に係る画像検査装置によれば、穴を形成した検査対象物の、該穴の内壁を撮像した画像を取得して検査可能な画像検査装置であって、検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得するための環状平面画像取得部と、前記環状平面画像取得部で取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の分布に基づいて、該輝度値を評価するための可変評価値を設定可能とした可変評価値設定部と、前記可変評価値設定部で設定された可変評価値に従い画像処理された環状平面画像を評価して、輝度値が異常な画素を抽出して良否判定を行うための良否判定部とを備えることができる。上記構成により、穴の内壁を検査する際に、画像の明るさが穴の奥行き方向に変化する場合であっても、穴の奥行き方向の深さに応じて既定された検査ライン毎に輝度の異常を判別する可変評価値を検査ライン単位で異なる値に設定できるので、奥行き方向の明るさの変化に応じた適切な画像処理を実現でき、良否判定を精度よく行える利点が得られる。
また、第2の態様に係る画像検査装置によれば、前記可変評価値設定部が、前記環状平面画像取得部で取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素を二値化する二値化閾値を設定するための二値化閾値設定部と、前記二値化閾値設定部で設定された検査ライン毎の二値化閾値に従い、環状平面画像を検査ライン毎に二値化する二値化部とを備え、前記良否判定部が、前記二値化部で二値化された二値画像に対して、画像処理により良否判定を行うよう構成できる。上記構成により、穴の奥行き方向の検査ライン毎に二値化閾値を設定できるので、奥行き方向の明るさの変化に応じた適切な二値化閾値を設定でき、二値化を精度よく行える利点が得られる。
さらに、第3の態様に係る画像検査装置によれば、前記二値化閾値設定部は、各検査ライン毎の二値化閾値について、穴の奥行き方向において手前側ほど低く、奥側ほど高くなるように設定できる。上記構成により、相対的に輝度の低い手前側ほど二値化閾値を低く、輝度の高い奥側ほど高く設定するように変化させることで、二値化閾値の精度を高めることができる。
さらにまた、第4の態様に係る画像検査装置によれば、前記二値化閾値設定部は、各検査ライン毎の二値化閾値について、輝度の平均値を正規化して得られた偏差に基づいて設定できる。上記構成により、各検査ラインの輝度を平均値から精度よく求めることができる。
さらにまた、第5の態様に係る画像検査装置によれば、前記可変評価値設定部が、前記環状平面画像取得部で取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の個別平均値を演算し、検査ライン毎に得られた該個別平均値を可変評価値として、異なる検査ライン間で共通となる共通平均値を設定し、各検査ラインについて、輝度の平均値が該共通平均値となるよう、検査ライン単位で輝度を補正する輝度補正部と、前記輝度補正部で補正された輝度値に従い、検査ライン間で共通の二値化閾値を設定して、該共通二値化閾値に基づき、環状平面画像を検査ライン毎に二値化する二値化部とを備え、前記良否判定部が、前記二値化部で二値化された二値画像に対して、画像処理により良否判定を行うよう構成できる。上記構成により、共通の二値化閾値でもって二値化画像を生成できる一方、奥行き方向に明るさが変化する環状平面画像に対しても、予め奥行き方向の明るさを補正することで、奥行き方向の明るさの変化によらない適切な画像処理を実現でき、良否判定を精度よく行える利点が得られる。
さらにまた、第6の態様に係る画像検査装置によれば、前記良否判定部は、環状平面画像の検査ライン毎に取得した各画素の内、画素の輝度値のピーク値を基準として一定量以上輝度の低い画素を異常と判定し、該異常と判定された画素同士を接続して異常痕を検出可能とできる。
さらにまた、第7の態様に係る画像検査装置によれば、穴の形状を円筒状とできる。
さらにまた、第8の態様に係る画像検査装置によれば、さらに前記環状平面画像取得部で取得された環状平面画像の内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似する円近似部と、前記円近似部で近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する円中心補正部とを備えており、前記二値化閾値設定部は、円環検査ラインの中心位置を、前記円中心補正部で補正しながら、円環検査ライン毎に環状平面画像を二値化するよう構成できる。上記構成により、円環検査ラインで中心位置を補正しながら近似できるため、円筒形の穴の中心軸上に環状平面画像を撮像する撮像部の中心を一致させずとも画像解析が可能となり、より簡便な画像検査が実現される。
さらにまた、第9の態様に係る画像検査装置によれば、円筒形の穴を形成した検査対象物の、該穴の内壁を撮像した画像を取得して検査可能な画像検査装置であって、検査対象物の穴の内壁を、同心円状の平面画像として撮像した環状平面画像を取得するための環状平面画像取得部と、前記環状平面画像取得部で取得された環状平面画像の内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似する円近似部と、前記円近似部で近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する円中心補正部と、前記円中心補正部で補正された中心にて近似された円環検査ライン毎に、環状平面画像の画素値を画像処理して、良否判定を行う良否判定部とを備えることができる。上記構成により、円環検査ラインで中心位置を補正しながら近似できるため、円筒形の穴の中心軸上に環状平面画像を撮像する撮像部の中心を一致させずとも画像解析が可能となり、より簡便な画像検査が実現される。
さらにまた、第10の態様に係る画像検査装置によれば、前記円中心補正部による円環検査ラインの中心位置の補正を、次式に従って行うことができる。
(ただし、外円中心:Oo=(Oox,Ooy)、内円中心:Oi=(Oix,Oiy)、D:外円中心と内円中心との結ぶ方向ベクトル、円周上の位置θにおける穴の奥行き方向の深さ:h(θ)、内円の半径の二乗:r2とする)
さらにまた、第11の態様に係る画像検査装置によれば、さらに筒状の内壁を同心環状に撮像した撮像画像から、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成するための内壁展開部を備えることができる。
さらにまた、第12の態様に係る画像検査装置によれば、前記内壁展開部が、抽出された内壁展開図を矩形状に補正できる。
さらにまた、第13の態様に係る画像検査装置によれば、さらに前記内壁展開部で抽出された内壁展開図を表示させるための内壁展開表示部を備えることができる。
さらにまた、第14の態様に係る画像検査装置によれば、筒状の穴を形成した検査対象物の、該穴の内壁を撮像した画像を取得して検査可能な画像検査装置であって、検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得するための環状平面画像取得部と、前記環状平面画像取得部で取得された環状平面画像の内、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成するための内壁展開部と、前記内壁展開部で抽出された内壁展開図を表示させるための内壁展開表示部と、前記内壁展開表示部で表示された内壁展開図に対して、画像処理により良否判定を行うための良否判定部とを備えることができる。
さらにまた、第15の態様に係る画像検査装置によれば、環状平面画像の内、前記良否判定部により異常と判定された部位を着色して表示可能とできる。
さらにまた、第16の態様に係る画像検査装置によれば、さらに、前記環状平面画像取得部が、ハイパーセントリックレンズと、撮像素子とを含み、前記ハイパーセントリックレンズの収束点が、該ハイパーセントリックレンズと検査対象物との間に位置するよう調整できる。
さらにまた、第17の態様に係る画像検査装置によれば、検査対象物をベアリングとできる。
さらにまた、第18の態様に係る画像検査装置によれば、ベアリングの穴の内壁を検査可能な画像検査装置であって、ベアリングの穴の内壁を平面状に撮像した環状平面画像を結像するためのハイパーセントリックレンズと、前記ハイパーセントリックレンズを通じて結像された環状平面画像を撮像する撮像素子と、前記撮像素子で撮像された環状平面画像の内、環状に表示された内壁の部分を表示可能な表示部とを備えることができる。
さらにまた、第19の態様に係る画像検査方法によれば、穴を形成した検査対象物の、該穴の内壁を検査するための画像検査方法であって、検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得する工程と、前記取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の分布に基づいて、該輝度値を評価するための可変評価値を設定する工程と、前記設定された可変評価値に従い環状平面画像を画像処理し、これに基づいて輝度値が異常な画素を抽出して良否判定を行う工程とを含むことができる。これにより、穴の内壁を検査する際に、画像の明るさが穴の奥行き方向に変化する場合であっても、穴の奥行き方向の深さに応じて既定された検査ライン毎に輝度の異常を判別する可変評価値を検査ライン単位で異なる値に設定できるので、奥行き方向の明るさの変化に応じた適切な画像処理を実現でき、良否判定を精度よく行える利点が得られる。
さらにまた、第20の態様に係る画像検査方法によれば、円筒形の穴を形成した検査対象物の、該穴の内壁を検査するための画像検査方法であって、検査対象物の穴の内壁を、同心円状の平面画像として撮像した環状平面画像を取得する工程と、前記取得された環状平面画像の内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似すると共に、近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する工程と、前記補正された中心にて近似された円環検査ライン毎に、環状平面画像の画素値を画像処理して、良否判定を行う工程とを含むことができる。
さらにまた、第21の態様に係る画像検査方法によれば、筒状の穴を形成した検査対象物の、該穴の内壁を検査するための画像検査方法であって、検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得する工程と、前記取得された環状平面画像の内、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成する工程と、前記抽出された内壁展開図を、内壁展開表示部に表示させる工程とを含むことができる。
さらにまた、第22の態様に係る画像検査プログラムによれば、穴を形成した検査対象物の、該穴の内壁を検査するための画像検査プログラムであって、検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得する機能と、前記取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の分布に基づいて、該輝度値を評価するための可変評価値を設定する機能と、前記設定された可変評価値に従い環状平面画像を画像処理し、これに基づいて輝度値が異常な画素を抽出して良否判定を行う機能とをコンピュータに実現させることができる。これにより、穴の内壁を検査する際に、画像の明るさが穴の奥行き方向に変化する場合であっても、穴の奥行き方向の深さに応じて既定された検査ライン毎に輝度の異常を判別する可変評価値を検査ライン単位で異なる値に設定できるので、奥行き方向の明るさの変化に応じた適切な画像処理を実現でき、良否判定を精度よく行える利点が得られる。
さらにまた、第23の態様に係る画像検査プログラムによれば、円筒形の穴を形成した検査対象物の、該穴の内壁を検査するための画像検査プログラムであって、検査対象物の穴の内壁を、同心円状の平面画像として撮像した環状平面画像を取得する機能と、前記取得された環状平面画像の内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似すると共に、近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する機能と、前記補正された中心にて近似された円環検査ライン毎に、環状平面画像の画素値を画像処理して、良否判定を行う機能とをコンピュータに実現させることができる。
さらにまた、第24の態様に係る画像検査プログラムによれば、筒状の穴を形成した検査対象物の、該穴の内壁を検査するための画像検査プログラムであって、検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得する機能と、前記取得された環状平面画像の内、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成する機能と、前記抽出された内壁展開図を、内壁展開表示部に表示させる機能とをコンピュータに実現させることができる。
さらにまた、第25の態様に係るコンピュータで読み取り可能な記録媒体または記憶した機器は、上記プログラムを格納するものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray(登録商標)、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC)等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
本発明の一実施形態に係る画像処理装置を示すブロック図である。 ハイパーセントリックレンズを用いてベアリングの内壁を撮像する撮像光学系を示す模式図である。 検査対象のワークであるベアリングの外観を示す写真である。 画像検査によりワークの傷を検出する手順を示すフローチャートである。 図5Aは良品のベアリングであり、図5B〜図5Gは不良品のベアリングの環状平面画像を示すイメージ図である。 環状平面画像を示すイメージ図である。 図6の環状平面画像の領域を示す模式図である。 輝度値に基づくROIの取得手順を示すフローチャートである。 図6の画像に対してぼかし処理を行ったぼかし画像を示すイメージ図である。 図9のぼかし画像を二値化した外円抽出用二値化画像を示すイメージ図である。 図6の環状平面画像から検出された外円を示すイメージ図である。 図9のぼかし画像を二値化した内円抽出用二値化画像を示すイメージ図である。 図6の環状平面画像から検出された内円を示すイメージ図である。 図6の環状平面画像から生成された内壁展開図を示すイメージ図である。 図14の内壁展開図を補正した補正後の内壁展開図を示すイメージ図である。 図15の補正後の内壁展開図から傷を検出した画像を示すイメージ図であ 図17Aは図5Aの良品のベアリング、図17B〜図17Gは図5B〜図5Gの不良品のベアリングの二値化画像を示すイメージ図である。 図14の内壁展開図に対して検査ラインを設定する状態を示すイメージ図である。 斜めから撮像した環状平面画像の例を示すイメージ図である。 図19の環状平面画像から生成した内壁展開図を示すイメージ図である。 図19の環状平面画像から生成した補正後の内壁展開図を示すイメージ図である。 図19の環状平面画像に対して外円中心と内円中心、及び内円中心から内円周囲までの距離を示すイメージ図である。 従来の画像認識装置を示す模式図である。 ワークの一例を示す斜視図である。 図24のワークを図23の画像認識装置で撮像した画像の平面図である。 他のワークを示す斜視図である。 図27Aはワークの円筒状の内壁を撮像する光学系を示す模式図であり、図27Bは図26のワークを図27Aの撮像光学系で撮像した画像を示す平面図である。
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための画像検査装置を例示するものであって、本発明は画像検査装置を以下のものに特定しない。特に本明細書は、特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
図1に、本発明の一実施形態に係る画像検査装置100のブロック図を示す。この図に示す画像検査装置100は、環状平面画像取得部10と、演算部20と、表示部30と、操作部40を備える。この画像検査装置100は、穴を有する検査対象物(ワークWK)の、穴HLの内壁を撮像した光学画像を取得し、この光学画像に対して画像検査を行い、割れや欠けといった異常の有無を検出し、良否判定を行う。ここでは、ワークWKの一例として、図3に示すようなベアリングを例に挙げて説明する。ベアリングに円筒状に開口された穴HL(貫通孔)の内壁は、従来、外観検査が非常に困難とされてきた。そこで実施形態に係る画像検査装置は、この検査を自動化することを目的になされたものである。ここでは、ベアリングの内壁に設けられた切削痕や凹部のような異常部(以下、「異常痕」とも呼ぶ。)を画像処理によって検査することを考える。
(環状平面画像取得部10)
環状平面画像取得部10は、ワークWKの穴HLの内壁を、同心環状の平面画像として撮像した環状平面画像を取得するための部材である。図1の例では、環状平面画像取得部10は、レンズ部11と、撮像素子12と、照明部13と、撮像制御部14を備える。
レンズ部11は、好ましくはハイパーセントリックレンズで構成する。ハイパーセントリックレンズは、ペリセントリックレンズ等とも呼ばれ、収差を意図的に発生させるレンズであり、光学画像を意図的に歪ませて三次元の対象を二次元画像に展開して表示させることができる。例えばワークの上面部とそれを囲む側面部に同時にピントを合わせることで、立体的なワークを展開したような平面画像を作り出すことができる。また、このハイパーセントリックレンズを用いて、ワークの側面でなく、円筒状の内壁を撮像することができる。この場合、ハイパーセントリックレンズの収束点が、ハイパーセントリックレンズとワークとの間に位置するように調整する。
(撮像光学系)
ハイパーセントリックレンズを用いてベアリングの内壁を撮像する撮像光学系を図2の模式図に示す。この図に示すように、ハイパーセントリックレンズの収束点CVを、ワークWKの手前で結ぶように調整する。これにより、内壁部分を平面状に展開した画像が得られる。この画像を、本明細書では環状平面画像FIと呼ぶ。環状平面画像FIは、通常のハイパーセントリック系の展開画像、すなわちワークの側面と上面を同時に撮像した展開画像と異なり、ワークWKとレンズ部11との距離が近い手前側ほど大きく、距離が遠くなる奥側ほど小さく表示される。
なお、レンズ部11としてハイパーセントリックレンズに代えて、魚眼レンズを利用することもできる。ただ、魚眼レンズは焦点距離が短いため、好適には焦点深度の深いハイパーセントリックレンズを用いる。
(撮像素子12)
撮像素子12は、照明部13からの照明光がワークWKの表面で反射されて、レンズ部11を通して得られた光を受光し、結像するためのカメラである。撮像素子12には、CCDやCMOS等の半導体受光素子が好適に利用できる。また、カラーの撮像素子の他、より高精細なモノクロのCCDのような撮像素子を用いてもよい。
(照明部13)
照明部13は、ワークWKを照明するための照明光を発する照明用光源を備える。照明用光源には、例えばLEDや有機EL、白熱電球、ハロゲンランプ等が利用できる。照明部13からの照明光が、レンズ部11や撮像素子12の光軸に入射される方向となるように、照明部13は設置される。また照明部13は、好ましくは照明光の角度を調整可能とした角度調整機構を設ける。さらに照明用光源を複数設けてもよい。例えば照明用光源を均一な面状光源としたり、点状光源としてもよい。さらにリング状に照明用光源を並べたリング状照明とすることもできる。さらにまた、必要に応じて落射照明や透過照明としてもよい。図1の例では、ワークWKに対して斜め方向から照明光を照射させた例を示しているが、光軸方向と一致させてもよい。また図2の例では、ワークWKに対して裏面側に面状光源を配置して照明する透過照明としている。
(撮像制御部14)
撮像制御部14は、撮像部を制御するための部材であり、例えば撮像制御部14を介して、撮像部の撮像タイミングやシャッター速度(露光時間)等を調整する。このような撮像制御部14は、例えばカメラ用のIC等が該当する。また、ライン上を搬送されるワークの撮像タイミングを制御するため、例えば光電センサのようなワークの位置を検出する位置検出部15からの入力信号をトリガ信号として、撮像を行うよう構成してもよい。さらに、照明部13と接続することで、照明光の光量や点灯タイミングを制御するように構成してもよい。
このような環状平面画像取得部10でもって、照明用光源からの光を、ワークWKの円筒状の内壁において正反射もしくは拡散反射させる。この内の正反射光を、ハイパーセントリックレンズにより撮像素子12に導く。このようにして得られた正反射光で構成される環状平面画像FIを、演算部20に転送し、円座部でもって画像処理し、ワークWKの良否判定を行う。ワークWKに傷があると、傷部で拡散反射光の強度が増加するため、相対的に正反射光の強度が低下する。すなわち、環状平面画像FIにおいて極度に強度が低下している部分は傷とみなすことができる。
なお、この例では環状平面画像取得部10でもって、ライン上を搬送されるワークWKを順次撮像して、演算部20に送出する構成を示している。ただ、環状平面画像取得部は必ずしもこのような撮像機能を備える必要はなく、別途撮像された画像を演算部に送出する構成としてもよい。この場合、環状平面画像取得部は、別途撮像された画像を入力する入力インターフェースとして機能する。例えば、ネットワークを介して別の場所で撮像された同心円環展開画像を、入力部である環状平面画像取得部でもってデータ通信を行って取得し、演算部に転送する。
(演算部20)
演算部20は、各種の処理を行う部材であり、専用に設計したマイクロプロセッサ(MPU)やCPU、LSI、FPGAやASIC等のゲートアレイといったハードウェアや、画像検査プログラムをインストールした汎用のコンピュータが利用できる。図1に示す演算部20は、内壁展開部21と、円近似部22と、円中心補正部23と、可変評価値設定部24と、良否判定部27を備える。可変評価値設定部24は、環状平面画像取得部10で取得された環状平面画像FIの内、環状に表示された内壁の部分について、穴HLの奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、検査ライン上に位置する環状平面画像FIを構成する画素の輝度値の分布に基づいて、この輝度値を評価する可変評価値を設定するための部材である。この可変評価値設定部24は、二値化閾値設定部25と、二値化部26を備える。
(二値化閾値設定部25)
二値化閾値設定部25は、環状平面画像取得部10で取得された環状平面画像FIの内、環状に表示された内壁の部分について、穴HLの奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、この検査ライン上に位置する環状平面画像FIを構成する画素を二値化する二値化閾値を設定するための部材である。
(二値化部26)
二値化部26は、二値化閾値設定部25で設定された検査ライン毎の二値化閾値に従い、環状平面画像FIを検査ライン毎に二値化する。これにより、穴HLの奥行き方向の検査ライン毎に二値化閾値を設定できるので、奥行き方向の明るさの変化に応じた適切な二値化閾値を設定でき、二値化を精度よく行える利点が得られる。特に奥行きのある穴を平面状に展開した環状平面画像FIでは、奥行きの位置に応じて拡大率が異なる。手前ほど拡大して表示される結果、相対的に輝度が低下して暗くなり、逆に奥側ほど小さく表示される結果、相対的に輝度が高くなる。このように明るさが奥行き毎に異なってしまうため、二値化のための閾値を一律に設定しようとしても、適切に窪みや傷を検出できるような設定値に調整することが容易でない。特に奥行き方向に傷が走っている場合は、このような二値化閾値の調整は困難を極めていた。これに対して上記構成では、画像全体で二値化閾値を一律とせず、環状の検査ラインを設定すると共に、検査ラインの奥行き毎に閾値を設定することで、各検査ラインでの二値化の設定を各々適切に行え、もって良否判定の精度を向上することが可能となる。
二値化閾値設定部25は、各検査ライン毎の二値化閾値について、穴の奥行き方向において手前側ほど低く、奥側ほど高くなるように設定する。これにより、相対的に輝度の低い手前側ほど二値化閾値を低く、輝度の高い奥側ほど高く設定するように変化させることで、二値化閾値の精度を高めることができる。
また二値化閾値設定部25は、各検査ライン毎の二値化閾値を、輝度の平均値を正規化して得られた偏差に基づいて設定することができる。これにより、各検査ラインの輝度を平均値から精度よく求めることができる。
(良否判定部27)
良否判定部27は、二値化部26で二値化された二値画像に対して、画像処理により良否判定を行う。良否判定部27は、環状平面画像FIの検査ライン毎に取得した各画素の内、画素の輝度値のピーク値を基準として一定量以上輝度の低い画素を異常と判定する。そして異常と判定された画素同士を接続して異常痕を検出する。特に、検査ラインと交差する方向に延びた痕(垂直痕と呼ぶ)を検査するには、内壁展開図の検査ライン毎にピーク値を取り、ピーク値から一定以上低い部分を穴と判断する。穴を縦方向に結ぶことで、垂直痕を検出することができる。
(円近似部22)
円近似部22は、環状平面画像取得部10で取得された環状平面画像FIの内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似する。
(円中心補正部23)
円中心補正部23は、円近似部22で近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する。
(二値化閾値設定部25)
二値化閾値設定部25は、円環検査ラインの中心位置を、円中心補正部23で補正しながら、円環検査ライン毎に環状平面画像FIを二値化するよう構成している。これにより、円環検査ラインで中心位置を補正しながら近似できるため、円筒形の穴の中心軸上に環状平面画像FIを撮像する撮像部の中心を一致させずとも画像解析が可能となり、より簡便な画像検査が実現される。
(内壁展開部21)
内壁展開部21は、筒状の内壁を同心環状に撮像した撮像画像から、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成するための部材である。また内壁展開部21は、抽出された内壁展開図を矩形状に補正することができる。詳細は後述する。
(操作部40)
操作部40は、演算部20に対して各種の操作や設定を行うための部材であり、キーボードやコンソール、あるいはマウスなどのポインティングデバイス等が利用できる。
(表示部30)
表示部30は、環状平面画像取得部10で取得された画像や、各種の設定を行うための設定画面、この設定画面に対して操作部40から入力される設定値等を表示させるための部材である。このような表示部30は、LCDやCRT、有機EL等のディスプレイである。また、表示部をタッチパネルとすることで、操作部と表示部を兼用することもできる。
表示部30は、環状平面画像FIの内、良否判定部27により異常と判定された部位を着色して表示可能としている。また表示部30は、内壁展開部21で抽出された内壁展開図を表示させるための内壁展開表示部を備えている。
(処理手順)
以上の画像検査装置100を用いて、ワークWKの穴HLの表面の外観検査が可能となる。このような外観検査の一例として、図3に示すようなベアリングの内径を撮像して、画像検査を行い、傷の有無を検出する手順を、図4のフローチャート及び図5A〜図16の画像に基づいて説明する。ここでは、図5A〜図5Gに示すようなベアリングの環状平面画像FIを撮像することを考える。なお、図5Aはベアリングの良品であり、図5B〜図5Gは、円で囲んだ部分に傷がある不良品である。
まずステップS41において、環状平面画像FIを取得する。ここでは、図1の環状平面画像取得部10でもって、図2に示す撮像光学系を用いて、図6に示すような環状平面画像FIを撮像する。図2に示す例では照明部13として面状光源を用いているので、図6に示す撮像された環状平面画像FIにおいて、ワークWKに開口、貫通された穴HLの中心に見えるのは、面状光源の光である。この環状平面画像FIは、図7に示すように、背景となる円筒周囲BG、円筒端面EF、円筒内壁面IS、及び光源LSに由来する像で構成される。
次にステップS42において、検査領域(Region Of Interest:ROI)を取得する。ここでは、環状平面画像取得部10で撮像された環状平面画像FIを演算部20に送出し、検査領域として図6の環状平面画像FIから、穴の上端にあたる外側の円(外円OCL)と、穴の下端にあたる内側の円(内円ICL)を抽出する。外円OCLは、図2に示すように穴の奥行き方向においてレンズ部11に近い手前側の端面を表し、一方内円ICLは、レンズ部11から遠い側、すなわち奥側の端面を表している。これらの外円OCLと内円ICLは、円近似部22でもって画像処理によりそれぞれ中心位置と円周を特定する。
具体的に、図7に示す環状平面画像FIにおいて、検査対象となるROIは円筒内壁面ISである。いいかえると円筒内壁面IS以外の領域は、無関心領域として、傷検出の工程では無視する。ROI領域の取得は、強度もしくは微分によるエッジ検出やHough変換等の空間変換を利用できる。
なお、ROI内に傷由来のエッジが含まれていることを想定すると、画像信号の強度すなわち輝度値に基づいてROI領域を設定した方が設定の失敗が少ないと考えられる。また、Hough変換等による円検出も利用できるが、微分を利用したエッジ検出と同様に、傷による影響を少なからず受けると考えられることから、輝度値からROIを設定することが好ましい。
(輝度値に基づくROIの取得手順)
輝度値によるROI領域の取得手順は、図8のフローチャートに示す手順で行う。まずステップS81において、画像のぼかし処理を行う。ここでは、撮像した図6の環状平面画像FIにぼかし処理を行い、図9に示すぼかし画像BIを得る。これにより、環状平面画像中のノイズ(ザラつきやギラつき)を低減させ、ROIの認識精度向上を図ることができる。
次にステップS82において、画像を二値化する。画像の二値化は、可変評価値設定部24の二値化部26で行う。まず、円筒周囲BG、円筒端面EFの像が黒く、円筒内壁面IS、光源LSの像が白くなるように閾値を設定する。設定した閾値に基づいて、図9のぼかし画像BIを二値化する。例えば後述する外円OCLを抽出するための閾値として、外円抽出閾値を二値化閾値設定部25で設定し、図10の外円抽出用二値化画像OBIを得る。なお閾値の設定に際しては、円筒端面EFや円筒周囲BGの輝度に基づいて設定すると利便性が向上する。これは、円筒端面EFや円筒周囲像は撮像部以外の光源によって照明されていることから、適切な係数を掛けた輝度値を閾値として設定することで、撮像環境に左右されず適切な値を設定できる。なお図10の外円抽出用二値化画像OBIは、後述する外円OCLの抽出のための二値化であり、内円抽出用二値化画像IBIは、図12に示すように別途生成される。
次にステップS83において、外円を抽出する。図7の画像中の白い領域の外縁部は、ワークの内側面と手前端面がなす縁部分であり、これを外円と呼ぶ。外円の中心位置は白い領域の重心、外円の半径は白い領域の半径と、ほぼ一致する。なお、傷の有無によって僅かに円の中心がずれるものの、全体に対して殆ど影響がないとして無視できる。さらに、図9のぼかし画像BIのように予めぼかしていることでも、傷の影響は低減されている。
このようにして白い領域の重心と半径を求め、これを外円の重心、半径とする。なお半径は、白い領域の面積(ピクセル数で代替できる)から求めることができ、面積S=πr2から、r=√(S/π)[pixel]で求めることができる。このような外円の抽出、すなわち外円の重心と半径の算出は、円近似部22で行う。円近似部22で図10の外円抽出用二値化画像OBIから検出された外円OCLを、図11に示す。
さらにステップS84において、内円を抽出する。上記と同様に、図7の環状平面画像FI中の内側面と光源LSの境界がなす縁部分を内円として、円近似部22で内円の重心と半径を検出する。ここで、内円を抽出するための二値化は、図9のぼかし画像BIの中心付近の輝度値を元にした閾値を設定し、このぼかし画像BIを二値化することで、図12に示すように光源LSのみが白く、他の部分は黒くなった内円抽出用二値化画像IBIが得られる。これを元に、外円の検出と同様に内円を検出する。白い領域の重心、半径を算出した画像を図13に示す。
以上のようにして、ROIとして内円ICLと外円OCLを環状平面画像から取得できる。ここで、得られた外円中心、内円中心をそれぞれOo,Oiとする。また、外円半径、内円半径をそれぞれRo、Riとする。なお、後述する傷検査に際し、外円周部、内円周部は傷と認識されるおそれがある。このようなご認識のリスクは、RoとRiに余裕を持たせるよう設定し直すことで軽減される。具体的には、Roは小さめに、Riは大きめに設定し直すことが好ましい。この場合、ROIの領域は僅かに小さくなるものの、円周部の誤検出を避けることができる。
なお、上述した外円の抽出と内円の抽出は、逆の順序で行ったり、同時に行ってもよい。例えば予め外円抽出用二値化画像と内円抽出用二値化画像を生成しておき、これらに対して外円周抽出閾値と内円抽出閾値をそれぞれ設定して、外円と内円の重心と半径をそれぞれ演算することができる。
次に図4の画像検査の説明に戻ると、ステップS42において検査領域を取得した後、ステップS43において、内壁展開図を生成する。ここでは図1の内壁展開部21が、図6に示す環状平面画像FIから、図14に示す内壁展開図SIを生成する。以下、環状平面画像から内壁展開図を生成する手順の一例を説明する。
ここでは、極座標系と直交座標系の空間変換に基づいた画像再構成(リサンプリング)を行う。図6の環状平面画像FIの画素は、方眼状に分布しているところ、ROIの情報、すなわち円筒内壁面ISの部位を表す領域は、画像中央から同心円上に位置している。ここで、環状平面画像を矩形状に展開した展開画像である内壁展開図を生成することを考える。このような展開には、極座標と直交座標の座標変換が利用できる。まず、簡単な状況であるOo,Oiが一致している場合について説明する。ここで、中心が一致していることから、O=Oo=Oiとおく。元画像のROIの情報は、極座標分布となっており、ROI中心O=(Ox,Oy)から、次式を用いて直交座標に変換する。
x=rcosθ+Ox、y=rsinθ+Oy…式(1)
これにより、円筒内壁面ISの内壁展開図が得られる。この内壁展開図への変換について説明すると、まず展開画像である矩形状の内壁展開図の画像のサイズを決定する。ここで画像幅は、外円周長2πRoに合わせる。また画像高さは(Ro−Ri)とおく。また展開画像の縦方向はr軸を示し、横方向はθ軸とする。展開画像の(r、θ)位置における画素の強度(輝度)であるIt(r、θ)は、元画像の(x,y)位置の画素強度Im(x,y)から与えられる。上記の式(1)で示された(x,y)を用いて、変換式を書き下すと、以下のようになる。
t(r,θ)=Im(x,y)=Im(rcosθ+Ox,rsinθ+Oy)…式(2)
ここでrの値域は、取得したROI領域に合わせて、Ri<r<Roとできる。Rを、Riから1pixelずつ、Roまで変化させると、原理的には元の情報を余すこと無く内壁展開図に変換できる。またθの値域は、0°<θ<360°とすれば良い。実際には、画像化に際して角度に距離の次元を持たせるために、横軸にはRoθの値を設定する。このとき、Roθの値域は0<Roθ<2πRoとなり、距離の次元を持つ。こうして、Roθを0から1pixelずつ変化させることで、原理的には元の情報を余すこと無く内壁展開図に変換できる。
なお、rとRoθの変化量は、1pixelである必要は無い。すなわち、2pixel毎やそれ以上の画素間隔でリサンプリングしても良い。この場合、画素間隔を広く取ると画像は粗くなり空間分解能は落ちるものの、処理は高速になる。ただ、この部分で画素間隔を広げ処理を高速化させるよりも、予め取得画像サイズを小さくしておいた方が、全体の処理速度の向上という面では有利となる。
再び図4の画像検査の説明に戻ると、ステップS43において内壁展開図SIを生成した後、ステップS44において、異常を検出するための画像処理を行う。ここでは、可変評価値設定部24で傷を検出する感度の補正を行う。具体的には、二値化処理を行う二値化閾値を、検査ライン毎に設定する。この結果、図14に示す内壁展開図SIを、図15に示すように画像処理して補正後の内壁展開図SI2に変換する。
最後にステップS45において、良否判定を行う。ここでは、良否判定部27が、図15に示す補正後の内壁展開図SI2に対して、二値化閾値に基づいて二値化を行い、図16の二値化画像に示すように、閾値以上で異常と判定された画素から、傷を検出して、良品または不良品判定を行う。例えば、閾値以上の輝度を持つ画素を異常画素とし、異常画素の数をカウントして、カウント値が一定量を超える場合には不良品と判定する。また、異常画素のカウント値を表示部30に表示させてもよい。またこの際、閾値も併せて表示させることもできる。一例として、図5A〜図5Gに示すベアリングの環状平面画像FIに対して、二値化を行った二値化画像と、白で示す異常画素数を右隅に示した状態で、表示部30に表示される二値化画像の例を図17A〜図17Gに、それぞれ示す。
(傷の判定)
以下、良否判定部27が傷の判定を行う手順の一例として、詳細な手順を説明する。ここでは、ROI中で一定輝度以下となっている領域を、傷と見なす。ただし、ワークの切削状況によって、ワーク全体の平均的な反射率が増減することに注意を要する。つまり、傷が無いにも関わらず画像全体の輝度が低下する状況も存在し得る。この場合であれば、単純に一定輝度以下という判断基準を用いると、全体に傷が分布していると判定される。これを避けるために、傷判定に際し、ROIの平均輝度に対し相対的に輝度が低下している部分を傷とみなす。
具体的には、ROIの平均輝度を100%に、画像中の照明しておらず最低輝度となる領域の輝度を0%に、それぞれ設定する。最低輝度となる領域は、上述した図6の環状平面画像FIにおいてはROIより外側の領域が相当する。こうして設定した相対輝度に対し、閾値を設ける。閾値以下に輝度が低下している領域を見つけ、この部分を傷とする。傷の総ピクセル数、すなわち面積がROI中に一定数以上存在すれば、ワークは不適と見なす。
(エッジ検出)
また、傷の検査には、上述した二値化以外の既知の手法も適宜利用できる。例えば、エッジ検出をベースとした傷検査も画像検査法として利用できる。この場合は、環状平面画像の微分画像を取得する。そして微分画像に対し、閾値を設定して二値化する。この結果得られる二値化画像に対して、閾値以上の微分値となる領域に囲まれている部分を傷と見なす。ただし、この手法は微分画像をベースとしているため、傷の検出分解能が若干劣る。一般的に、隣り合う画素の輝度差は僅かであるため、微分画像の輝度は非常に暗い。すなわち、微分画像の輝度の階調は少ないため、二値化する際には閾値を慎重に設定する必要がある。
(検出感度の補正)
傷の判定において、輝度低下から傷の有無を判定する場合、光源からの輝度のむらが問題となる場合がある。光源からの輝度むらにより、検査領域全体で傷検出感度のむらが発生してしまう。これを避けるために、光源はできるだけ均一な光源を利用する必要がある。さらに、ハイパーセントリックレンズや魚眼レンズを用いる場合、円筒環状平面画像の明るさは、ワーク奥から手前にかけて明るさが暗くなる。これは、ワーク奥から手前にかけて、レンズの開口数が変化しており、結果レンズの有効瞳系が変化するためである。このため、たとえ理想的な均一光源を利用したとしても、上述した画像検査方法では、傷検出感度のむらが発生してしまうことがある。この影響を除去するため、以下の方法が利用できる。
(1)奥行き位置に応じて画像の明るさを補正する。
(2)奥行き位置に応じて閾値を適宜設定する。
(3)用いるレンズの感度特性に合わせて、適切な発光強度分布を設定した光源を利用する。
(1)の補正方法では、図18に示す内壁展開図において、縦軸すなわちr方向が奥行きに相当するため、任意のrにおける検査ラインILの輝度の平均値が一様となるように、各検査ラインILの輝度を補正する。このようにして可変評価値設定部24でもって検査ラインIL毎の補正係数を変化させることで、r方向における輝度の平均値が一定となるので、共通の二値化閾値を利用しても、検査ラインIL毎の明るさの変化が補正された状態で二値化画像を得ることが可能となる。
また(2)の補正方法では、傷を検出する工程において二値化する際に、検査ライン中の平均値に対して一定の割合の閾値を設ける。これは上述した方法であり、二値化閾値設定部25が二値化閾値を検査ライン毎に可変としたことで、奥行き方向の明るさの変化に応じて適切な二値化を行うことが可能となる。
さらに(3)の補正方法では、傷が無いワークにおいて、内壁展開図の輝度分布が画像内において均一となるように、光源の発光強度分布を調整する。
このようにして、奥行き方向の手前側、奥側といった位置(高さ乃至深さ)によらず、環状平面画像内で均一な傷検査が実現できる。また以上の手法はワーク毎に行っても良いが、処理を高速化するために予めリファレンスを取得しておき、それをもとに補正をかけても良い。
なお、上記(1)及び(2)は、いずれも原理的には同等であり、結果としても同様の効果をもたらす。一方(3)は、ハードウェアで解決する方針であり、計算資源の消費が少ないものの、レンズの特性のみならずワークによっても適切に発光強度分布を設定する必要があり、(3)のみを適用すると画像検査装置のフレキシビリティが低下する。
(円中心補正機能)
また、抽出された外円や内円の中心の位置を、円中心補正部23で補正することもできる。上述した例では、外円と内円の中心がほぼ一致していているとして扱える例、すなわちワークの撮像時において、ワークに開口された穴の中心軸が撮像光学系の光軸と一致するように、ワークのほぼ真上から撮影した画像に対して画像処理を行う例を説明した。一方、撮像部のカメラの設置角度や撮像タイミング等の制約から、必ずしもこのような正面写真を撮像できない場合もある。このような場合には、得られた画像を補正することで、正しく画像処理できるように対応できる。このような例を変形例に係る画像検査方法として、以下説明する。ここでは、図19に示すように、内円ICLが外円OCLに対して若干右側に偏心した環状平面画像FI’が撮影された場合を考える。この環状平面画像FI’に対して、内壁展開図を生成すると、図20のようになり、内円ICLと外円OCLの中心がズレている分だけ歪み、矩形状の高さが一定とならない。そこで、図20の内壁展開図SI’が図21に示す内壁展開図SI”のように矩形状に近付くよう、内壁展開図SI’を補正する。
ここでは、内壁展開図SI’の高さ(奥行き)が短い部分、図20の例では両端の部分を引き伸ばすような補正を行う。ここでは、図19の環状平面画像FI’に対して、上述した方法で外円OCLと内円ICLを円近似部22で抽出する。この結果得られる外円中心、内円中心を、図22に示すようにそれぞれOo,Oiとし、またそれぞれの座標をOo=(Oox,Ooy)、Oi=(Oix,Oiy)とする。この状態で、外円の中心に対して内円の中心がずれた方向ベクトルを、次式で表現できる。
そして、図20、図21において縦軸の奥行き方向(縦軸)をr=0〜h、円周方向(横軸)をθ=0〜2πとおくと、縦軸すなわち矩形状の高さhを円周上の位置θによって変化する関数h(θ)と捉えることができる。ここで、位置θにおける高さhは、内円の半径の二乗をr2とするとき、次式で表現できる。
よって、h(θ)が各位置において一定となるように、画像処理を行う。この処理は、図1の円中心補正部23で行うことができる。このようにして、斜め方向から撮像されたワークに対しても、画像処理によって矩形状の内壁展開図に補正して、表示部30上に表示させることができ、傷検査等の良品/不良品判定を適切に行うことが可能となる。
なお、極座標から直交座標へ変換する場合において、中心位置Oを一意に設定できないという問題もある。また、極座標から直交座標へ変換して内壁展開図を生成すると、歪みが生じる。これに対して上述した数1や数2では、歪みに補正をかけて内壁展開図に展開しているが、歪みを補正せずに展開することもできる。この方法を、以下説明する。ここでは、極座標展開中に円中心補正部23により、中心位置を適切に設定する。基本的には、上述した内壁面の展開を行うに際して、rを変化させると同時に、中心位置Oを固定せずに順次移動させる。具体的には、まず展開画像である内壁展開図のサイズを決定する。ここで画像幅は、外円周長2πRoに合わせる。また画像高さは(Ro−Ri)とする。次に、OiからOoにかけて直線を設定する。この直線を(Ro−Ri)分だけ分割し、展開画像のrの位置に応じて移動させる。この結果、rにおける中心位置O(r)=(Ox(r)、Oy(r))は次式のように与えられる。
以降の手順は、中心位置O(r)をrに応じて変化させる以外は、上述した内壁展開方法と同様である。なお内壁展開図における画素の強度It(r,θ)は、元画像の画素強度Im(x,y)から与えられる。変換式は上記式(2)を用いる。ただし、Ox,Oyは上記数3及び数4を用いる。またr及びθの与え方についても、内壁展開方法と同様である。
以上の例ではベアリングの内壁の傷を検査する例を説明したが、本発明は検査対象物をベアリングに限定せず、穴の内壁を撮像して検査する他の用途に適用できる。また穴の形状も、円形に限らず、楕円状、トラック形状、矩形状や多角形状等、様々な形状に対して応用できる。また穴が貫通孔でなくとも、有底の穴に対しても適用できる。
本発明の画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、ベアリングの内壁の検査に好適に利用できる。
100…画像検査装置
10…環状平面画像取得部
11…レンズ部
12…撮像素子
13…照明部
14…撮像制御部
15…位置検出部
20…演算部
21…内壁展開部
22…円近似部
23…円中心補正部
24…可変評価値設定部
25…二値化閾値設定部
26…二値化部
27…良否判定部
30…表示部
40…操作部
201…半導体チップ
201a…上面;201b,201c,201d,201e…側面
207…絞り
210…撮影手段
211…レンズ
300…画像検査装置
311…レンズ
WK…ワーク
HL…穴
CV…収束点
FI、FI’…環状平面画像
BG…円筒周囲;EF…円筒端面;IS…円筒内壁面;LS…光源
OCL…外円;ICL…内円
BI…ぼかし画像
OBI…外円抽出用二値化画像;IBI…内円抽出用二値化画像
SI、SI’、SI”…内壁展開図;SI2…補正後の内壁展開図
IL…検査ライン
WK1…ワーク;HL1…貫通穴
P…前側焦点;Q…後側焦点;ξ1,ξ2…焦点深度

Claims (25)

  1. 穴を形成した検査対象物の、該穴の内壁を撮像した画像を取得して検査可能な画像検査装置であって、
    検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得するための環状平面画像取得部と、
    前記環状平面画像取得部で取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の分布に基づいて、該輝度値を評価するための可変評価値を設定可能とした可変評価値設定部と、
    前記可変評価値設定部で設定された可変評価値に従い画像処理された環状平面画像を評価して、輝度値が異常な画素を抽出して良否判定を行うための良否判定部と
    を備える画像検査装置。
  2. 請求項1に記載の画像検査装置であって、
    前記可変評価値設定部が、
    前記環状平面画像取得部で取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素を二値化する二値化閾値を設定するための二値化閾値設定部と、
    前記二値化閾値設定部で設定された検査ライン毎の二値化閾値に従い、環状平面画像を検査ライン毎に二値化する二値化部と
    を備え、
    前記良否判定部が、前記二値化部で二値化された二値画像に対して、画像処理により良否判定を行うよう構成してなる画像検査装置。
  3. 請求項2に記載の画像検査装置であって、
    前記二値化閾値設定部は、各検査ライン毎の二値化閾値について、穴の奥行き方向において手前側ほど低く、奥側ほど高くなるように設定してなる画像検査装置。
  4. 請求項2又は3に記載の画像検査装置であって、
    前記二値化閾値設定部は、各検査ライン毎の二値化閾値について、輝度の平均値を正規化して得られた偏差に基づいて設定してなる画像検査装置。
  5. 請求項1に記載の画像検査装置であって、
    前記可変評価値設定部が、
    前記環状平面画像取得部で取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の個別平均値を演算し、検査ライン毎に得られた該個別平均値を可変評価値として、異なる検査ライン間で共通となる共通平均値を設定し、各検査ラインについて、輝度の平均値が該共通平均値となるよう、検査ライン単位で輝度を補正する輝度補正部と、
    前記輝度補正部で補正された輝度値に従い、検査ライン間で共通の二値化閾値を設定して、該共通二値化閾値に基づき、環状平面画像を検査ライン毎に二値化する二値化部と
    を備え、
    前記良否判定部が、前記二値化部で二値化された二値画像に対して、画像処理により良否判定を行うよう構成してなる画像検査装置。
  6. 請求項1〜5のいずれか一項に記載の画像検査装置であって、
    前記良否判定部は、環状平面画像の検査ライン毎に取得した各画素の内、画素の輝度値のピーク値を基準として一定量以上輝度の低い画素を異常と判定し、該異常と判定された画素同士を接続して異常痕を検出可能としてなる画像検査装置。
  7. 請求項1〜6のいずれか一項に記載の画像検査装置であって、
    穴の形状が円筒状であるである画像検査装置。
  8. 請求項7に記載の画像検査装置であって、さらに、
    前記環状平面画像取得部で取得された環状平面画像の内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似する円近似部と、
    前記円近似部で近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する円中心補正部と
    を備えており、
    前記二値化閾値設定部は、円環検査ラインの中心位置を、前記円中心補正部で補正しながら、円環検査ライン毎に環状平面画像を二値化するよう構成してなる画像処理装置。
  9. 円筒形の穴を形成した検査対象物の、該穴の内壁を撮像した画像を取得して検査可能な画像検査装置であって、
    検査対象物の穴の内壁を、同心円状の平面画像として撮像した環状平面画像を取得するための環状平面画像取得部と、
    前記環状平面画像取得部で取得された環状平面画像の内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似する円近似部と、
    前記円近似部で近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する円中心補正部と、
    前記円中心補正部で補正された中心にて近似された円環検査ライン毎に、環状平面画像の画素値を画像処理して、良否判定を行う良否判定部と
    を備える画像検査装置。
  10. 請求項8又は9に記載の画像検査装置であって、
    前記円中心補正部による円環検査ラインの中心位置の補正が、次式に従って行われる画像検査装置。
    (ただし、外円中心:Oo=(Oox,Ooy)、内円中心:Oi=(Oix,Oiy)、D:外円中心と内円中心との結ぶ方向ベクトル、円周上の位置θにおける穴の奥行き方向の深さ:h(θ)、内円の半径の二乗:r2とする)
  11. 請求項1〜10のいずれか一項に記載の画像検査装置であって、さらに、
    筒状の内壁を同心環状に撮像した撮像画像から、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成するための内壁展開部を備える画像検査装置。
  12. 請求項11に記載の画像検査装置であって、
    前記内壁展開部が、抽出された内壁展開図を矩形状に補正してなる画像検査装置。
  13. 請求項11又は12に記載の画像検査装置であって、さらに、
    前記内壁展開部で抽出された内壁展開図を表示させるための内壁展開表示部を備える画像検査装置。
  14. 筒状の穴を形成した検査対象物の、該穴の内壁を撮像した画像を取得して検査可能な画像検査装置であって、
    検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得するための環状平面画像取得部と、
    前記環状平面画像取得部で取得された環状平面画像の内、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成するための内壁展開部と、
    前記内壁展開部で抽出された内壁展開図を表示させるための内壁展開表示部と、
    前記内壁展開表示部で表示された内壁展開図に対して、画像処理により良否判定を行うための良否判定部と
    を備える画像検査装置。
  15. 請求項13又は14に記載の画像検査装置であって、
    環状平面画像の内、前記良否判定部により異常と判定された部位を着色して表示可能としてなる画像検査装置。
  16. 請求項1〜15のいずれか一項に記載の画像検査装置であって、さらに、
    前記環状平面画像取得部が、ハイパーセントリックレンズと、撮像素子とを含み、
    前記ハイパーセントリックレンズの収束点が、該ハイパーセントリックレンズと検査対象物との間に位置するよう調整してなる画像検査装置。
  17. 請求項1〜16のいずれか一項に記載の画像検査装置であって、
    検査対象物がベアリングである画像検査装置。
  18. ベアリングの穴の内壁を検査可能な画像検査装置であって、
    ベアリングの穴の内壁を平面状に撮像した環状平面画像を結像するためのハイパーセントリックレンズと、
    前記ハイパーセントリックレンズを通じて結像された環状平面画像を撮像する撮像素子と、
    前記撮像素子で撮像された環状平面画像の内、環状に表示された内壁の部分を表示可能な表示部と
    を備える画像検査装置。
  19. 穴を形成した検査対象物の、該穴の内壁を検査するための画像検査方法であって、
    検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得する工程と、
    前記取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の分布に基づいて、該輝度値を評価するための可変評価値を設定する工程と、
    前記設定された可変評価値に従い環状平面画像を画像処理し、これに基づいて輝度値が異常な画素を抽出して良否判定を行う工程と
    を含む画像検査方法。
  20. 円筒形の穴を形成した検査対象物の、該穴の内壁を検査するための画像検査方法であって、
    検査対象物の穴の内壁を、同心円状の平面画像として撮像した環状平面画像を取得する工程と、
    前記取得された環状平面画像の内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似すると共に、近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する工程と、
    前記補正された中心にて近似された円環検査ライン毎に、環状平面画像の画素値を画像処理して、良否判定を行う工程と
    を含む画像検査方法。
  21. 筒状の穴を形成した検査対象物の、該穴の内壁を検査するための画像検査方法であって、
    検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得する工程と、
    前記取得された環状平面画像の内、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成する工程と、
    前記抽出された内壁展開図を、内壁展開表示部に表示させる工程と
    を含む画像検査方法。
  22. 穴を形成した検査対象物の、該穴の内壁を検査するための画像検査プログラムであって、
    検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得する機能と、
    前記取得された環状平面画像の内、環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に環状の検査ラインを設定し、各検査ライン毎に、該検査ライン上に位置する環状平面画像を構成する画素の輝度値の分布に基づいて、該輝度値を評価するための可変評価値を設定する機能と、
    前記設定された可変評価値に従い環状平面画像を画像処理し、これに基づいて輝度値が異常な画素を抽出して良否判定を行う機能と
    をコンピュータに実現させる画像検査プログラム。
  23. 円筒形の穴を形成した検査対象物の、該穴の内壁を検査するための画像検査プログラムであって、
    検査対象物の穴の内壁を、同心円状の平面画像として撮像した環状平面画像を取得する機能と、
    前記取得された環状平面画像の内、円環状に表示された内壁の部分について、穴の奥行き方向の一定幅毎に円環状の検査ラインで近似すると共に、近似された円環検査ラインの中心位置を、奥行き方向に応じて補正する機能と、
    前記補正された中心にて近似された円環検査ライン毎に、環状平面画像の画素値を画像処理して、良否判定を行う機能と
    をコンピュータに実現させる画像検査プログラム。
  24. 筒状の穴を形成した検査対象物の、該穴の内壁を検査するための画像検査プログラムであって、
    検査対象物の穴の内壁を、同心環状の平面画像として撮像した環状平面画像を取得する機能と、
    前記取得された環状平面画像の内、環状に表示された内壁の部分を抽出して、周方向が直線状となるように平面画像に展開した内壁展開図を生成する機能と、
    前記抽出された内壁展開図を、内壁展開表示部に表示させる機能と
    をコンピュータに実現させる画像検査プログラム。
  25. 請求項22〜24のいずれか一項に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体または記憶した機器。
JP2016025380A 2016-02-13 2016-02-13 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 Active JP6647903B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016025380A JP6647903B2 (ja) 2016-02-13 2016-02-13 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016025380A JP6647903B2 (ja) 2016-02-13 2016-02-13 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Publications (2)

Publication Number Publication Date
JP2017142219A true JP2017142219A (ja) 2017-08-17
JP6647903B2 JP6647903B2 (ja) 2020-02-14

Family

ID=59628931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016025380A Active JP6647903B2 (ja) 2016-02-13 2016-02-13 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Country Status (1)

Country Link
JP (1) JP6647903B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037770A (zh) * 2017-11-22 2018-05-15 国网山东省电力公司济宁供电公司 基于人工智能的无人机输电线路巡检系统和方法
WO2021176650A1 (ja) * 2020-03-05 2021-09-10 株式会社ハイタック 孔内状況検査方法並びに装置
JP7343133B1 (ja) * 2023-04-28 2023-09-12 アングルトライ株式会社 画像検査方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989789A (ja) * 1995-09-20 1997-04-04 Denso Corp 筒内面欠陥検出装置
JP2000111491A (ja) * 1998-10-07 2000-04-21 Koyo Seiko Co Ltd 外観検査装置
JP2012242233A (ja) * 2011-05-19 2012-12-10 Sumitomo Metal Ind Ltd 管内面検査方法、及び管内面検査装置
JP2013084156A (ja) * 2011-10-11 2013-05-09 Honda Motor Co Ltd 画像処理方法
US20140168661A1 (en) * 2012-12-14 2014-06-19 Gii Acquisition, Llc Dba General Inspection, Llc High-speed, 3-d method and system for optically measuring a geometric dimension of manufactured parts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0989789A (ja) * 1995-09-20 1997-04-04 Denso Corp 筒内面欠陥検出装置
JP2000111491A (ja) * 1998-10-07 2000-04-21 Koyo Seiko Co Ltd 外観検査装置
JP2012242233A (ja) * 2011-05-19 2012-12-10 Sumitomo Metal Ind Ltd 管内面検査方法、及び管内面検査装置
JP2013084156A (ja) * 2011-10-11 2013-05-09 Honda Motor Co Ltd 画像処理方法
US20140168661A1 (en) * 2012-12-14 2014-06-19 Gii Acquisition, Llc Dba General Inspection, Llc High-speed, 3-d method and system for optically measuring a geometric dimension of manufactured parts

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
エドモンド・オプティクス・ジャパン株式会社, TECHSPEC ハイパーセントリックレンズ, JPN6018016417, 2013, ISSN: 0003964234 *
オプトエンジニアリング, 360°視野光学機器チュートリアル, JPN6018016418, 18 July 2015 (2015-07-18), ISSN: 0003964235 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037770A (zh) * 2017-11-22 2018-05-15 国网山东省电力公司济宁供电公司 基于人工智能的无人机输电线路巡检系统和方法
CN108037770B (zh) * 2017-11-22 2021-05-28 国网山东省电力公司济宁供电公司 基于人工智能的无人机输电线路巡检系统和方法
WO2021176650A1 (ja) * 2020-03-05 2021-09-10 株式会社ハイタック 孔内状況検査方法並びに装置
JP7343133B1 (ja) * 2023-04-28 2023-09-12 アングルトライ株式会社 画像検査方法およびプログラム

Also Published As

Publication number Publication date
JP6647903B2 (ja) 2020-02-14

Similar Documents

Publication Publication Date Title
TW583389B (en) A surface conduction examination method and a substrate examination device
JP4776308B2 (ja) 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法
TWI313748B (en) Board inspecting method and apparatus and inspection logic setting method and apparatus
WO2017141611A1 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP4150390B2 (ja) 外観検査方法及び外観検査装置
TWI618925B (zh) Defect inspection method and defect inspection system
WO2011099490A1 (ja) パターン検査方法、パターン検査プログラム、電子デバイス検査システム
JP2005283577A (ja) フィードバックを提供するための検査システム及び方法
KR101892099B1 (ko) 기판 상에 형성된 부품의 터미널 검사방법 및 기판 검사장치
JP2009259036A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム
WO2017071406A1 (zh) 金针类元件的引脚检测方法和系统
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2014020926A (ja) 表面欠陥検査装置及び表面欠陥検査方法
TW201516397A (zh) 玻璃氣泡瑕疵檢測系統
JP4279833B2 (ja) 外観検査方法及び外観検査装置
CN115239684A (zh) 焊点检测方法、设备及存储介质
JP2009036582A (ja) 平面表示パネルの検査方法、検査装置及び検査プログラム
KR20150068884A (ko) 반도체 검사 방법, 반도체 검사 장치 및 반도체 제조 방법
JP2007248051A (ja) 対象物表面の欠陥検査方法
JP2017166957A (ja) 欠陥検出装置、欠陥検出方法およびプログラム
KR102075872B1 (ko) 투과영상 기반의 비파괴검사 방법 및 이를 위한 장치
JP2009080004A (ja) 検査装置
Kumar et al. Automated quality inspection of PCB assembly using image processing
TWI510776B (zh) 玻璃氣泡瑕疵檢測處理方法
JP4115378B2 (ja) 欠陥検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200115

R150 Certificate of patent or registration of utility model

Ref document number: 6647903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250