JP2011095093A - 三次元計測装置及び三次元計測方法 - Google Patents

三次元計測装置及び三次元計測方法 Download PDF

Info

Publication number
JP2011095093A
JP2011095093A JP2009249158A JP2009249158A JP2011095093A JP 2011095093 A JP2011095093 A JP 2011095093A JP 2009249158 A JP2009249158 A JP 2009249158A JP 2009249158 A JP2009249158 A JP 2009249158A JP 2011095093 A JP2011095093 A JP 2011095093A
Authority
JP
Japan
Prior art keywords
luminance
value
brightness
centroid
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009249158A
Other languages
English (en)
Other versions
JP5621077B2 (ja
Inventor
Tomoyasu Saigo
知泰 西郷
Susumu Shibata
進 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MYUU SKYNET KK
Fuji Corp
Original Assignee
MYUU SKYNET KK
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MYUU SKYNET KK, Fuji Machine Manufacturing Co Ltd filed Critical MYUU SKYNET KK
Priority to JP2009249158A priority Critical patent/JP5621077B2/ja
Priority to PCT/JP2010/069208 priority patent/WO2011052693A1/ja
Publication of JP2011095093A publication Critical patent/JP2011095093A/ja
Application granted granted Critical
Publication of JP5621077B2 publication Critical patent/JP5621077B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 被対象物との距離と位置とを高精度測定できる三次元計測装置を得ること。
【解決手段】被対象物5を撮像素子14により撮像する撮像系10と、被対象物5と撮像系10との異なる距離毎に撮像された各画像により検知された輝度が予め定められ閾値以上の輝度であることにより被対象物5を検知する明点抽出部32と、画像の明点を中心とした複数の画素を含む一定領域ごとの輝度を検知し、該一定領域内の輝度分布を求めると共に、該輝度分布に基づいて輝度重心値を求める輝度重心の演算部36と、輝度重心値が検知された画素14aが有する輝度と、周囲の画素14aが検知した輝度とを、輝度重心値が有する輝度に補正した輝度補正値を得る輝度補正部38と、輝度補正値に基づいて被対象物5との距離値を求めると共に、輝度重心値に基づいて被対象物5の位置を検知する三次元検知部43と、を備えたものである。
【選択図】 図1

Description

本発明は、三次元計測装置及び三次元計測方法に関するものである。
焦点深度法を用いた三次元計測装置は、ピントボケ量の評価を行って合焦点位置を決定している。ピントボケ量の評価は、撮影画像に対して微分フィルターを通し、その分散値から評価したり、輝度の総和から評価したりする方式がある。
焦点深度法を用いた三次元計測装置は、下記特許文献1に示すように、被対象物の立体的形状を光学的に検出する立体的形状検出装置であって、同一被対象物について求められた、焦点位置の異なる複数の画像より該被対象物上の点各々について画像対応に合焦点を求め、該点対応に求められた、複数の画像間での合焦測度の最大値が得られる際での焦点位置を、該点についての高さとして求めるものである。
そして、輝度のボケを考慮して画像のコントラストを得て該コントラストを二次微分して合焦点を求めている。
かかる三次元計測装置によれば、被対象物上の点各々について焦点位置が異なる複数の画像を得て、合焦点測度が最大となる画像の焦点位置をその点についての高さとして求める。このようにして求めた点各々の高さから被対象物の立体形状を計測できる。
特開平3−63507号公報
しかしながら、発明者は鋭意研究検討を重ねた結果、上記三次元計測装置によれば、撮像した画像において、合焦点から外れるに従い輝度のボケが顕著に生じるので、輝度に基づいて検知する被対象物のXY平面における位置が特定しづらくなり、XY平面での位置検出精度が低下するという第1の課題を見出した。
さらに、高さ方向(距離)の検知は、撮像素子における画素(ピクセル)が検知した輝度に基づいて行われるが、撮像系を上昇又は下降することにより、検出すべき被対象物のXY平面における検知位置も僅かにずれる。これに伴い、被対象物が画素の中央付近から周辺部に移動した時に生じるので、撮像素子の画素における検知位置がずれる。
したがって、該画素の被対象物に基づく輝度が正確に検出できなくなるので、被対象物の距離が正確に検知できないと共に、該距離に対応する被対象物のXY平面における位置の検知も正確に検知できないことが生じ得るという第2の課題を見出した。
本発明は、上記二つの課題を解決するためになされたもので、簡易な構成で、被対象物を撮像した画像に輝度のボケが生じても、XY平面での被対象物の検出精度を向上すると共に、撮像素子の画素における被対象物の検知位置がずれても、被対象物との距離、位置を高精度に測定できる三次元計測装置及び三次元計測方法を得ることを課題としている。
本発明に係る三次元計測装置は、被対象物を、画素を有する撮像素子により撮像する撮像手段と、
前記被対象物と前記撮像手段との異なる距離毎に前記撮像手段により撮像された各画像により検知された輝度が予め定められ閾値以上の輝度であることにより前記被対象物を画素単位で抽出する明点抽出手段と、
前記明点を有する画素を含み、該画素の周囲の画素により成す一定領域ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの輝度分布を求めると共に、該輝度分布に基づいて第1の輝度重心値を求める輝度重心の演算手段と、
前記輝度重心値が検知された画素が有する輝度と、該画素の周囲の画素が検知した輝度とを、前記輝度重心値が有する輝度に補正した輝度補正値を得る輝度補正手段と、
前記輝度補正値に基づいて前記被対象物との距離値を求めると共に、前記輝度重心値に基づいて前記被対象物のX,Y上の位置を検知する三次元検知手段と、を備えたことを特徴とするものである。
かかる三次元計測装置によれば、明点検知手段が被対象物と撮像手段との異なる距離毎に前記撮像手段により撮像された各画像により検知された輝度が予め定められ閾値以上である輝度と画素とを検出し、輝度重心の演算手段が画像の明点を中心とした一定領域ごとの輝度を検知し、一定領域内のX軸,Y軸ごとの輝度分布を求めると共に、輝度分布に基づいて輝度重心値を求めるので、輝度分布に応じて明点のXY平面での位置を正確に検知できる。したがって、画像に輝度のボケが生じても、XY平面での被対象物の検出精度を向上できると共に、画素単位で輝度を一定値とみなす標本化の影響を受けずに位置を検知できる。
ここで、一定領域は、明点を中心とした画素により円形を形成しても良い。輝度のボケは、略円形となることが多いからである。
また、一定領域は、例えば、明点を中心として3×3画素、5×5画素、7×7画素を一定領域とする略正方形としても良い。したがって、撮像素子の画素の周辺に明点が存在しても、複数の画素から輝度を検知するので、明点の位置を正確に検知できる。
さらに、輝度補正手段は、輝度重心値が検知された画素と、該画素の周囲の画素とから検知した輝度を、輝度重心値に基づいて補正した輝度の補正値を得る。これにより、三次元検知手段は、被対象物の距離を計測する輝度を、輝度重心値が有する輝度に補正した輝度補正値によって距離を計測すると共に、輝度重心値に基づいて前記被対象物のX,Y上の位置を検知する。
これにより、例えば、撮像系を上昇又は下降することにより、被対象物のXY平面における検知位置も僅かにずれる。これにより、撮像素子の画素における検知位置がずれても、輝度重心値を有する画素と、該画素の周囲の画素が検知した輝度を、輝度重心値が有する輝度に補正した輝度の補正値を求める。この輝度の補正値によって、被対象物との距離を計測するので、距離を正確に検出できる。したがって、被対象物に基づく光の反射による明点(頂点)が撮像素子の一画素未満の大きさでも、正確に距離を検知できる。
また、三次元検知手段は、被対象物の距離を求めた輝度補正値に対応する輝度重心値からX,Y座標上の被対象物の位置も検知しても良い。さらに、撮像系と被対象物と距離Z1、Z2・・・Zn毎に求めた輝度の重心値を多数有しており、多数の輝度重心値を例えば二次関数により補間して、距離と輝度重心の補間値を得て、輝度補正値に基づいて被対象物との距離値を検知して、該距離値を求めた輝度補正値に対応する輝度重心値によりX,Y座標上の被対象物の位置を検知しても良い。
輝度補正手段における輝度重心値が有する輝度の補正は、例えば、各画素から輝度重心値までの距離に基づいて各画素の輝度が輝度重心値に寄与する輝度を求める。ここで、上記寄与する度合いを定めるのに、例えば、各画素の輝度が輝度重心値まで距離のガウス分布により輝度重心値が有する輝度として求めても良い。
本発明の三次元計測装置は、前記画像の前記一定領域から輝度オフセットを検知する輝度オフセットの検知手段を備え、
前記輝度重心の演算手段は、前記輝度分布から前記輝度オフセットを除去した新たな輝度分布を求めると共に、該新たな輝度分布に基づいて第2の輝度重心値を求める、ことが好ましい。
ここで、輝度オフセットは、一定領域の輝度からすべての領域において生じている一定の輝度で、最小輝度値であることが好ましい。被対象物の輝度変化のみを検知し易いからである。
この三次元計測装置では、輝度オフセットの検知手段が画像の輝度から輝度オフセットを検知し、輝度重心の演算手段は輝度分布から該輝度オフセットを除去した新たな輝度分布を求め、新たな輝度分布により輝度重心値を求める。したがって、輝度分布から該輝度オフセットを除去した明点付近の輝度変化、すなわち、被対象物に起因する輝度変化のみに基づいて輝度重心値を求め、この輝度重心値に基づいて被対象物のXY平面における位置を検知する。
したがって、被対象物からの乱反射などを画素が輝度として検知する影響を除去して、明点付近の画素が検知した輝度から輝度重心値を求めるので、輝度重心値の検知精度が向上する。これによって、XY平面における被対象物の位置検出精度が向上する。
さらに、輝度補正手段は、輝度オフセットを除去して、検知精度が向上した輝度重心値に基づいて補正した輝度の補正値に基づいて被対象物の距離を検知するので、距離の検出精度もさらに向上する。
本発明の三次元計測装置は、前記画像の前記一定領域から輝度オフセットを検知する輝度オフセットの検知手段を備え、前記輝度分布から前記輝度オフセットを除去した新たな輝度分布を求めると共に、該新たな輝度分布に基づいて第2の輝度重心値を求める第2の輝度重心の演算手段を備えることが好ましい。
これにより、輝度補正手段は、第1の輝度重心値を有する画素が検知した輝度と、該画素の周囲の画素が検知した輝度を、第1の輝度重心値が有する輝度に補正した第1の輝度補正値を得る。
三次元検知手段は、第1の輝度補正値に基づいて被対象物との距離値を求めると共に、第2の輝度重心値に基づいて被対象物のX,Y上の位置を検知しても良い。これにより、被対象物との距離値を求めるのに、輝度オフセットを考慮せず、被対象物の位置を検知するのに、輝度オフセットを考慮している。したがって、被対象物の位置の検知精度がより向上する。
また、輝度補正手段は、第2の輝度重心値を有する画素が検知した輝度と、該画素の周囲の画素が検知した輝度を、第2の輝度重心値が有する輝度に補正した第2の輝度補正値を得る。
三次元検知手段は、第2の輝度補正値に基づいて被対象物との距離値を求めると共に、第1の輝度重心値に基づいて被対象物のX,Y上の位置を検知しても良い。これにより、被対象物との距離値を求めるのに、輝度オフセットを考慮し、被対象物の位置を検知するのに、輝度オフセットを考慮していない。したがって、被対象物の距離の検知精度がより向上する、
本発明の三次元計測装置は、前記輝度の補正値を所定の関数で補間して輝度の補間値を求める輝度の補間手段を備え、
前記三次元検知手段は、前記輝度の補間値に基づいて前記被対象物との距離値を求める、ことが好ましい。
この三次元計測装置では、輝度の補間手段は、輝度の補正値を所定の関数で補間して輝度の補間値を得て、三次元検知手段は、輝度の補間値に基づいて被対象物との距離値を求める。
これにより、距離毎に求められた輝度を補間して輝度補間値を得て、輝度補間値に基づいて被対象物との距離値を求める。したがって、撮像系の高さ毎に検知した各画像間における輝度の連続性が保たれるので、高精度に被対象物の距離を求めることができる。
本発明の三次元計測方法は、被対象物と前記撮像手段との異なる距離毎に前記撮像手段により撮像された各画像の明点を検出する明点抽出工程を実行した後、
前記画像の明点を含む一定領域ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの輝度分布を求めると共に、前記輝度分布に基づいて輝度重心値を求める輝度重心の演算工程を実行した後、
前記輝度重心値に基づいて複数の画素を有する一定領域を設定して、該画素から検知した輝度を、前記輝度重心値に基づいて補正した輝度の補正値を得た後、
前記輝度の補正値に基づいて前記被対象物との距離値を求めると共に、前記輝度重心値に基づいて前記被対象物のX,Y上の位置を検知する、ものである。
本発明の三次元計測方法によれば、輝度重心値に基づいて被対象物としての明点の位置を検知できるので、明点周囲の輝度ボケの影響を受けにくい。さらに、輝度重心値に基づいて検知した輝度を補正して輝度補正値とし、この輝度補正値に基づいて被対象物との距離を検知するので、撮像素子における画素の検知位置に拘わらず、距離の検知精度が向上する。
本発明の三次元計測方法は、前記明点抽出工程を実行した後、前記画像から輝度オフセットを検知する輝度オフセットの検知工程を実行した後、
輝度重心の演算工程は、前記輝度分布から前記輝度オフセットを除去した該一定領域内のX軸,Y軸ごとの新たな輝度分布を求めると共に、前記新たな輝度分布に基づいて輝度重心値を求める、ことが好ましい。
本発明の三次元計測方法によれば、輝度分布から輝度オフセットを除去した該一定領域内のX軸,Y軸ごとの新たな輝度分布を求めると共に、新たな輝度分布に基づいて輝度重心値を求める。これにより、被対象物に基づく輝度の変化量により輝度重心を求めるので、輝度の重心が正確に検知できる。したがって、被対象物の距離と位置との検出精度が向上する。
本発明によれば、簡易な構成で、被対象物を撮像した画像に輝度のボケが生じても、XY平面における被対象物の検出精度を向上すると共に、撮像素子の画素における被対象物の検知位置がずれても、被対象物との距離及び位置を高精度測定できる三次元計測装置又は三次元計測方法を得ることができる。
本発明の一実施の形態を示す三次元計測装置の全体図である。 本発明の一実施の形態による実際の画像図(a)、明点と一定領域を示した画像図(b)、画像内の一定領域と明点とを示す摸式図(c)である。 図1による三次元計測装置で、標本化された輝度値とX座標とを示すと共に、輝度重心を示す特性図である。 図1の三次元計測装置の撮像素子の画素と金属粒子の位置による輝度の比率を示す模式図(a)、撮像素子の一部断面図(b)である。 図1の三次元計測装置の撮像素子の画素値を示す図(a)、輝度重心値と各画素の中心位置との関係を示す平面図(b)ある。 図1の三次元計測装置による検知された輝度値、輝度補正値と、被対象物との距離との関係を示す特性曲線図である。 図1の三次元計測装置の全体動作を示すフローチャートである。 図1の三次元計測装置による明点抽出工程を示すフローチャートである。 図1の三次元計測装置による第1の輝度重心の演算工程を示すフローチャートである。 図1の三次元計測装置による輝度の補正工程を示すフローチャートである。 本発明の他の実施の形態を示す三次元計測装置の全体図である。 図11による三次元計測装置で、検知輝度値,検知輝度値から輝度オフセットを除去した輝度変化値とX座標との関係を示す特性曲線図である。 輝度オフセットの有無による金属粒子の輝度値とX座標との関係を示す特性曲線図である。 図11の三次元計測装置による輝度値、輝度補正値、輝度の連続補間値と被対象物との距離との関係を示す特性曲線図である。 図11の三次元計測装置の全体動作を示すフローチャートである。 図11の三次元計測装置による輝度オフセットの検知工程の動作を示すフローチャートである。 図11の三次元計測装置による第2の輝度重心の演算工程の動作を示すフローチャートである。 図11の三次元計測装置による輝度の補間工程の動作を示すフローチャートである。
実施の形態1.
本発明の一実施の形態となる三次元計測装置の全体構成を図1によって説明する。図1は本発明の一実施の形態を示す三次元計測装置の全体図である。
図1において、三次元計測装置1は、反射され易い被対象物5の表面までの距離Zと、XY平面における位置とを検出するものである。
第1の三次元計測装置1は、被対象物5を撮像すると共に、多数の画素14aを有する撮像素子14を備えた撮像系10と、撮像系10をZ軸方向に上下させるためにL形状の台7に立設されたボールネジ62と、このボールネジ62に螺合されると共に、撮像系10が固定されたモータ等を有する駆動機構60と、駆動機構60を動作させる位置指令信号を発生する制御部55を有している。
なお、一つの画素14aを画素単位U1という。
さらに、第1の三次元計測装置1は、制御部55からの位置指令信号により駆動機構60を駆動する撮像系駆動部65を有しており、撮像素子14が撮像した画像を取込み、該画像から撮像系10から被対象物5の表面までの距離を求めると共に、被対象物5のXY平面における位置を検出する第1の三次元検出器30を有している。
ここで、被対象物5は特に限定されないが、樹脂板5の表面に設けられると共に、光を反射し易い複数として六つの球状などの金属粒子5hなどが好適で、金属粒子5hは撮像素子14の一画素14aよりも大きくも、小さくても良い。
第1の三次元検出器30は、マイクロコンピュータから成り、周知のインターフェイス、CPU、RAM、ROMを有しており、金属粒子5hを所定値以上の輝度が生じる明点を画素単位U1で抽出すると共に、輝度を検知する明点抽出部32を有している。
ここで、金属粒子5hを所定値以上の輝度により検知するのは、金属粒子5hがあるとその反射によって、周辺よりも輝度が高くなるからである。
さらに、第1の三次元検出器30は、明点を有する輝度から第1の輝度重心値を求める第1の輝度重心の演算部36と、第1の輝度重心値により明点の輝度を補正する第1の輝度の補正部38と、第1の輝度の補正値から金属粒子5hとの距離を求めると共に、該距離に対応する第1の輝度重心値から金属粒子5hのXY平面の位置を検出する第1の三次元検知部43とを備えている。
三次元計測装置1の各部の構成を図1から図6を参照しつつ説明する。図2は一実施の形態による実際の画像図(a)、明点と一定領域を示した画像図(b)、画像内の一定領域と明点とを示す摸式図(c)である。
明点抽出部32は、図2(a)に示すように、撮像素子14と金属粒子5hとの距離Z1,Z2・・・Zn毎において撮像した各画像ファイルG1,G2・・Gnそれぞれから、閾値以上の輝度を有する画素14aを検知し、この画素14aを輝度セルB1・・・B6として抽出し、図2(b)及び(c)に示すように、各輝度セルB1・・・B6の中心、つまり複数の金属粒子5hから直接反射を受けた頂点を第1の明点P1から第6の明点P6として画素単位U1で検知する。
なお、金属粒子5hが球状でも金属粒子5hからの直接反射によって頂点が生じ、この頂点が一画素14a未満となっている。
そして、明点抽出部32は各明点P1・・P6を含む中心の画素14aと、該中心の画素14aの周囲の画素14aとから形成される一定領域A1・・A6内における輝度の差からコントラスト値を得て、該コントラスト値が予め定められた閾値以上であることを検知するように形成されている。ここで、金属粒子の頂点5hによる明点を抽出するのに、コントラスト値が閾値以上であることを判断するのは、輝度のゆらぎの影響を防止して、明点P1,P2・・P6の誤検出を防止するためである。
なお、複数の画素14aにより形成される上記一定領域A1・・A6として例えば5×5画素としている。
<第1の輝度重心の演算部36の必要性>
明点抽出部32によって、金属粒子5h、すなわち、輝度が高い値を示した撮像素子14を画素単位U1で特定することにより、該画素14aから金属粒子5hのXY平面での位置を検知できる。
しかし、画素単位U1よりも分解能を有する検知精度を得ることができないばかりか、検知された輝度がボケるために、明点を有する画素14aの特定が不正確になるおそれがある。
そこで、明点を抽出した画素14aを含む複数の画素14aで形成される一定領域を定め、該一定領域の輝度分布から第1の輝度重心値を求めて明点の位置、すなわち、金属粒子5hの位置を検知する。
ここで、一定領域A1・・A6としては、5×5画素14aにより形成される領域としている。また、点状の各明点P1・・・・P6を中心とした輝度のボケは、一般に円形になることから、各明点を含む中心の画素14aと、該中心の画素14aの周囲の画素14とから成る複数の画素14aで、略円形に形成しても良い。さらに、受光された輝度のボケ形状によって、複数の画素14aにより一定領域を決定しても良い。
<第1の輝度重心の演算部36の構成>
第1の輝度重心の演算部36は、一定領域A1における第1の輝度分布、すなわち、検知された輝度LからX,Y座標における第1の輝度重心値(Xg,Yg)を下式(1)及び(2)式によりそれぞれ求めている。そして、第1の輝度重心値(Xg,Yg)が金属粒子5hのX,Y座標での位置となる。
Xg=ΣxL/ΣL ・・・・(1)
Yg=ΣyL/ΣL ・・・・(2)
ここで、L:検知された輝度
また、第1の輝度重心の演算部36は、撮像素子14と金属粒子5hとの距離Z1,Z2・・・Zn毎に第1の輝度重心値をそれぞれ求めて記憶する。
なお、他の明点P2・・・P6に対応する他の一定領域A2・・・A6についても上記一定領域A1と同様に輝度重心値を求める。
輝度重心を求めるのは、明点P1・・・・P6の位置を画素単位U1よりも正確に検出するためである。すなわち、明点P1・・・・P6の位置を第1の輝度分布から第1の輝度重心値を求めることにより、検知された輝度のボケの影響を受けずに、明点P1・・・・P6の位置を検知できる。したがって、図3に示すように、第1の輝度重心値を求めることにより、明点の輝度が画素14aの単位で、一定値になるように標本化されていても、金属粒子5hの各座標における正確なXY方向の位置を検出できる。
なお、図3は、X座標のみについて示しているが、Y座標と輝度値の関係もX座標と同様である。
<輝度の補正部38の必要性>
撮像素子14は、図4(a)に示すように正方形の画素14aが格子状に形成されており、各画素14aは、円形の三次元検知部14sを有している。このため、画素14aの中央に画素14aの面積よりも狭い金属粒子5hによる第1の明点P1としての明点Pcがある場合には、一つの画素14aの輝度の検知比率が1となり、明点Pcを検知した画素14a一つで検知すれば足りる。
なお、金属粒子5h自体の大きさが一画素14aよりも大きくても、金属粒子5hからの直接反射に基づく明点P1は、一画素14aとなることがある。
しかしながら、図4(a)に示すように第1の明点P1としての明点Paのように、第1の輝度重心が画素14aと画素14aとの敷居間、すなわち、敷居で形成される十字の中央付近に位置すると、周囲の四つの画素14aの輝度の検知比率がそれぞれ0.25となる。また、第1の輝度重心が画素14aの上下の境に第1の明点P1としての明点Pbが位置すると、周囲の四つの画素14aは、検知した輝度の検知比率がそれぞれ0.6,0.2,0.0,0.2となる。
したがって、明点を抽出した一つの画素14aのみが検知した輝度によって、第1の輝度重心値における輝度とすると、第1の輝度重心値における輝度が正確に検知できなくなることがある。
上記のように、撮像素子14の画素14aの検知特性が中央部と周辺部とで異なるのは、画素14aが図4(b)示すように、円形の三次元検知部としてマイクロレンズ14sを通過した光がフィルター14fを介して配線層14cに設けられたフォトダイオード14pに受光される。したがって、上記のように画素14aの周辺部では検知特性が低下するためである。
撮像素子14は、上記のような検知特性を有するので、図6に示すように、撮像系10と金属粒子5hとの距離を変化して、各距離において明点P1を有する一つの画素14aを特定して、該画素14aが検知した輝度をプロットすると、図6の×印で示す特性曲線が得られる。この特性曲線を観察すると、距離220〜270付近において、本来、撮像系10の有する合焦点に近づくにつれて検知された輝度が上昇し、合焦点から離れるにつれて輝度が減少して略山状の特性を示すものが、輝度が高くなるにつれて急に輝度が減少して上昇するという一点鎖線で示す略V特性を示すことがある。
このような現象は、撮像系10の移動に伴い、第1の輝度重心値が画素14aの中央付近から周辺付近にずれたことによって生じる。これは、高さ方向の撮像系10の移動に伴い、撮像素子14の中心がXY平面で同一位置でなく、僅かにずれるからである。
したがって、検知した輝度を補正しないと、輝度が最も高いところを、合焦点とみなすことから、金属粒子5hの距離検知に誤差を生じることとなる。
このため、XY平面における第1の輝度重心値の移動に伴い、金属粒子5hの距離を検知するための輝度値を補正する必要が生じる。そこで、第1の輝度重心値を含む画素14aと、該画素14aの周囲の画素14aとが検知した輝度を、第1の輝度重心値が有する輝度として輝度の補正をする。この輝度の補正により、金属粒子5hの距離を求めるので、距離の検知精度を向上する。
なお、輝度の補正は撮像系10と金属粒子5hとの各距離毎に、抽出した各明点P1・・・P6毎になされる。
<輝度の補正部38の構成>
第1の輝度の補正部38は、第1の輝度重心を有する画素14aと、該画素14aの周囲の画素14aそれぞれが検知した各輝度を、第1の輝度重心値と、撮像素子14における各画素14aの中心位置との距離により補正して、第1の輝度重心が本来有する輝度を推定するものである。
すなわち、輝度の補正部38は、周辺の画素14aが検知した輝度を、輝度重心値が有する輝度として輝度補正値Lmを下記(3)式により求める。
また、第1の輝度の補正部36は、撮像素子14と金属粒子5hとの距離Z1,Z2・・・Zn毎に求めた第1の輝度重心値に基づいてそれぞれを求める。
撮像素子14における各画素14aを特定するための識別番号は、X方向とY方向との画素14aの整列順に、X方向とY方向とのピクセル値を定めて特定している。この、ピクセル値(xn,yn)は、図5(a)に示すように、第1の輝度重心値となる明点Paを検知する画素14aと、該画素14aの周囲の画素14aとの合計四つで、それぞれ画素(1,2)、画素(2,2)、画素(1,3)、画素(2,3)となる。
補正輝度をLmは、各画素14aが検知された輝度値をΣL(<x>,<y>)とし、検知した画素14aの中心位置と第1の輝度重心値(Xg,Yg)との差となる距離をX,Y方向にそれぞれΔx、Δyとすれば下記(3)式が成立する。

Lm(Xg,Yg)=ΣL(<x>,<y>)(Δx,Δy) ・・・・(3)
ここに、<x>:X方向のピクセル値、 <y>:Y方向のピクセル値
また、Δx,Δyは、下記(4),(5)式となる。
Δx=Xg−<x> ・・・・(4)
Δy=Yg−<y> ・・・・(5)
そして、第1の輝度重心値を有する画素14aと、該画素14aの周囲の画素14aとが検知した輝度が第1の輝度重心に影響を与えることにより、第1の輝度重心が有する輝度は、各画素14aの中心値と第1の輝度重心値との上記距離Δx,Δyのモデル関数としてガウス分布で影響を受けるとする。そうするとf(Δx,Δy)は、下記(6)式となる。
Figure 2011095093
・・・・(6)
したがって、第1の輝度補正値Lm(x,y)は、検知された輝度値をΣL(<x>,<y>)と、第1の輝度重心値から各画素14aの中心値までの距離を求め、該距離のガウス分布により各画素14aが検知した輝度を補正することにより、第1の輝度重心値が有する輝度を求めることができる。
ここで、上記モデル関数としては、ガウス分布に限定されず、例えば、第1の輝度重心との上記距離Δx,Δyに反比例させても良い。
なお、上記では第1の輝度重心値を含む四つの画素14aとしたが、第1の輝度重心値を含む3×3画素14a又は、5×5画素14aとしても良い。すなわち、第1の輝度補正値を求めるための画素14aの数は、画素14aの分解能、被対象物5の性質などから決定することになる。
<輝度補正の具体例>
いま、図5(b)に示すように、第1の輝度重心Pa(1.5,2.7)とすると、第1の輝度重心Paにおける輝度は、第1の輝度重心を有する画素14aを含む四つの画素14aが検知した輝度から以下のようにして補正する。
ΣL(<x>,<y>)=L(1,2)f(0.5,07)+L(2,2)f(0.5,07)
+L(1,3)f(0.5,03)+L(3,2)f(0.5,03)
画素(1,2)、画素(2,2)、画素(1,3)、画素(3,2)が検知した輝度をそれぞれ100、90、90、100とするとf(Δx,Δy)は下記となる。
Lm=ΣL(<x>,<y>)f(Δx,Δy)
=100e-0.74/2σ2+90e-0.74/2σ2+90e-0.74/2σ2+100e-0.74/2σ2
ここで、σ=0.5とすると、輝度補正値Lmは、下記となる。
Lm=100e-0.74/0.5+90e-0.74/0.5+90e-0.74/0.5+100e-0.74/0.5
Lm=2×100×0.228+2×90×0.228=86.6
このようにして、各第1の輝度重心値が有する第1の輝度補正値を求めることにより図6に示す○印のプロットした特性曲線が得られる。この特性曲線によれば、×印の特性曲線では、V形状になっていたものが、略山状の特性曲線となり、輝度特性が改善されている。
第1の三次元検出部43は、撮像素子14との距離Z1,Z2・・・Znにおいて撮像した各画像ファイルG1,G2・・Gnそれぞれから各明点付近の輝度から上記のようにして輝度補正値を求める。そして、図6に示すように、金属粒子5hの距離との関係で輝度補正値を記憶しておいて、輝度補正値に基づいて金属粒子5hとの距離値を検知すると共に、最も高い輝度となる第1の輝度補正値を求めた輝度重心値からX,Y座標上の金属粒子5hの位置を検知する。
なお、上記第1の検出部43は、最も高い輝度となる第1の輝度補正値に対応する輝度重心値からX,Y座標上の金属粒子5hの位置も検知するが、以下のようにしても良い。すなわち、撮像系10と金属粒子5hと距離Z1、Z2・・・Zn毎により求めた多数の輝度の重心値を例えば二次関数により補間して、距離と輝度重心の補間値を求めて記憶しておいて、輝度補正値に基づいて金属粒子5hとの距離値を検知して、該距離値に対応する輝度重心値に基づいてX,Y座標上の金属粒子5hの位置を検知しても良い。
このように、輝度補正値は、金属粒子5hの距離検知のみではなく、金属粒子5hの位置を検出する輝度重心値の選択にも影響を与える。これにより、金属粒子5hの距離を求めた輝度補正値に基づいた輝度重心値を選択して、該輝度重心値に基づいて金属粒子5hの位置検知精度も向上する。
上記のように構成された三次元計測装置の全体動作を図1から図7を参照し、被対象物として樹脂板5に設けられた六つの金属粒子5hの三次元計測について説明する。
まず、撮像系駆動部65からの位置指令信号により、駆動機構60を動作し、撮像系10をZ軸方向に下降して、撮像系10の高さZ1,Z2・・・Zn毎に画像ファイルG1,G2,・・・Gnを図2(a)に示すように、読み込み画素単位U1毎に輝度を記憶し(ステップS100)、明点抽出部32はこの画像ファイルG1,G2,・・・Gnから六つの金属粒子5hの頂点を明点P1,P2・・・P6として抽出して画素単位U1で位置及び輝度を検知する(ステップS200)。
第1の輝度重心の演算部36は、撮像系10の高さZ1,Z2・・・Zn毎において、一定領域A1の輝度分布から各々の輝度重心(Xg1,Yg1),(Xg2,Yg2)・・・(Xgn,Ygn)を求める(ステップS400)。輝度の補正部38は、撮像系10の高さZ1,Z2・・・Zn毎において、例えば上記のようにガウス分布を用いて第1の輝度重心値が有する輝度の補正値を得る(ステップS500)。第1の三次元検知部43は、輝度の補正値に基づいて金属粒子5hの距離を測定すると共に、第1の輝度重心値に基づいて金属粒子5hのXY平面状の位置を検知する(ステップS700)。
なお、他の明点P2・・・P6も一定領域A2・・A6に対応して、上記のように明点P1と同様にして金属粒子5hの距離及び位置を検知する。
上記のように構成された三次元計測装置の各工程における動作を図1から図10を参照して説明する。
上記金属粒子5hの明点抽出工程S200では、明点抽出部32は撮像系10の高さZ1,Z2・・・Zn毎に撮像した各画像ファイルG1,G2,・・・Gnにおいて、図2及び図8に示すように、六つの金属粒子5hの頂点を明点P1,P2・・・P6として抽出し、明点P1の輝度と予め定められた輝度の閾値と比較して明点P1の輝度が閾値以上か否かを判断し(ステップS201)、閾値以上であれば、明点P1を中央として明点P1の輝度が一定領域A1内の周辺輝度以上であることを検出し(ステップS203)、一定領域A1内の輝度の最大値と最小値とを取得して該輝度の最大値と最小値との差からコントラストを求める(ステップS205)。
明点抽出部32は、コントラストが予め定められた閾値以上であることを判断し(ステップS207)、各画像ファイルG1,G2・・・Gnにおける金属粒子5hのX,Y座標の金属粒子5hを画素単位U1で検知して該金属粒子5hの位置を上記高さZ1,Z2・・・Znと関係付けて記憶する(ステップS209)。
なお、他の明点P2・・・P6も、各明点P1と同様にして金属粒子5hを画素単位U1で検知する。
上記輝度重心の演算工程S400では、図9に示すように、第1の輝度重心の演算部36は、ステップS100において検知した各画像ファイルG1,G2,・・・Gnにおける各画素14aの輝度値を読み出し(ステップS401)、明点P1の一定領域A1内で、X座標における輝度重心値Xgをそれぞれ上記(1)式により求め、撮像系10の高さZ1,Z2・・・Znと対応して、輝度重心値Xgを記憶し(ステップS403)、明点P1の一定領域A1内で、Y座標における輝度重心値Ygを上記(2)式によりそれぞれ求めて記憶する(ステップS405)。
また、他の明点P2・・P6も上記と同様に輝度重心値を求め撮像系10の高さZ1,Z2・・・Znと対応して第1の輝度重心値を記憶する。
上記輝度の補正工程S500では、図10に示すように、輝度の補正部38は、ステップS100において検知した明点P1を含む一定領域として5×5画素領域A1の各画素14aの輝度値を読み出し(ステップS501)、上記ステップS403,S405において求めた第1の輝度重心値(Xg1,Yg1)を中心に新たな一定領域A1´の輝度分布を求める(ステップS503)。ここで、新たな一定領域A1´としたのは、輝度重心値によっては、ステップS501と異なる一定領域のこともあるからである。
なお、ステップ503における一定領域A1´は、上記ステップS501と同一の一定領域A1のこともある。
上記ステップS503において求めた輝度分布を用いて、新たな輝度重心値(Xg1,Yg1)から輝度補正値を上記(3)〜(6)式により求め、撮像系10の高さZ1,Z2・・・Znと対応して輝度補正値を記憶する(ステップS505)。
また、他の明点P2・・P6も上記と同様に輝度補正値を求め撮像系10の高さZ1,Z2・・・Znと対応して輝度補正値を記憶する。
第1の三次元検知部43は、明点P1による第1の輝度補正値に基づいて、すなわち、第1の輝度補正が最も高い輝度から金属粒子5hの距離を測定すると共に、最も高い輝度となる第1の輝度補正値を求めた第1の輝度重心値から一つの金属粒子5hのXY平面上の位置を検知する(ステップS700)。
また、他の明点P2・・P6も上記と同様に金属粒子5hの距離及び位置を検知する。
これにより、複数の金属粒子5hの距離及びXY平面での位置を正確に検知できる。しかも、検知された輝度が画素単位U1で標本化されていても、正確な明点の位置を検知できる。
上記のように構成された三次元計測装置1は、金属粒子5hを画素14aを有する撮像素子14を用いて撮像する撮像系10と、金属粒子5hと撮像系10との異なる距離毎に撮像素子14により撮像された各画像G1,G2・・・G6の明点P1(P2・・・P6)を検出する明点抽出部32と、画像の各明点を中心とした一定領域ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの輝度分布を求めると共に、該輝度分布に基づいて輝度重心値を求める第1の輝度重心の演算部36と、輝度重心値が検知された画素14aと、該画素14aの周囲の画素14aとから検知した輝度を、各画素14aの中心値と輝度重心値との距離に基づいて、輝度重心値が有する輝度を輝度の補正値として得る輝度の補正部38と、輝度補正値に基づいて金属粒子5hとの距離を求めると共に、距離を求めた輝度補正値に基づいた輝度重心値により金属粒子5hのXY面上の位置を求める第1の三次元検知部43と、を備えたものである。
かかる三次元計測装置1によれば、明点抽出部32が被対象物5と撮像系10との異なる距離毎に撮像系10により撮像された各画像G1,G2・・・G6の明点P1(P2・・・P6)を検出し、第1の輝度重心演算部36が画像の明点を中心とした一定領域A1(A2・・A6)ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの第1の輝度分布を求めると共に、第1の輝度分布に基づいて輝度重心値を求めるので、第1の輝度分布に応じて一定領域内の明点の位置を正確に検知できる。
また、輝度重心の演算部36は、一定領域ごとの画素14aに限定して輝度重心値を求めているので、処理が高速化される。
さらに、三次元計測装置1は、輝度重心値に基づいて一定領域A1(A2・・A6)を設定して、該一定領域において各画素14aが検知した輝度から輝度重心値が有する輝度を、輝度補正値として求める輝度の補正部38を備え、三次元検知部43は、輝度の補正値に基づいて金属粒子5hとの距離値を求めると共に、距離を求めた輝度補正値に基づいた輝度重心値により金属粒子5hのXY面上の位置を求める。これにより、輝度重心を含む画素14aと、周囲の画素14aとが有する輝度に基づいて輝度重心が有する輝度を、輝度補正値として求め、この輝度補正値により金属粒子5hとの距離を検知する。したがって、三次元計測装置1は、撮像素子14の一画素14aにおいて、金属粒子5hの光の反射に基づいて検知した明点(金属粒子5h)の検知位置がずれても、金属粒子5hの距離を精度良く検知できる。
さらに、距離を求めた輝度補正値に基づいた輝度重心値により金属粒子5hのXY面上の位置を求めるので、明点P1(P2・・・P6)周囲の輝度ボケを考慮しながら、距離を検知した点における(合焦点における)金属粒子5hのXY面上における位置を検知できる。したがって、距離を求め点における金属粒子5hの位置を正確に検知できると共に、画素単位U1で輝度を一定値とみなす標本化の影響を受けずに金属粒子5hの位置を検知できる。
上記実施の形態の三次元計測方法は、被対象物5と撮像系10との異なる距離毎に撮像系10により撮像された各画像G1,G2・・・Gnの明点P1(P2・・・Pn)を検出した後、画像G1,G2・・・Gnの明点P1(P2・・・Pn)を中心とした一定領域A1(A2・・An)ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの輝度分布を求めると共に、第1の輝度分布に基づいて輝度重心値を求める。その後、輝度重心値が検知された画素14aと、該画素14aの周囲の画素14aとから検知した輝度を、輝度重心値が有する輝度に補正した輝度の補正値を得た後、該輝度の補正値に基づいて金属粒子5hとの距離値を求めると共に、距離を求めた輝度補正値に基づいた輝度重心値に基づいて金属粒子5hのX,Y上の位置を検知する。
これにより、輝度重心値に基づいて金属粒子5hのXY平面の位置を正確に測定できると共に、輝度重心を有する画素14aと、該画素14aの周囲の画素14aから検知した輝度を、輝度重心が有する輝度としての輝度補正値を求め、この輝度補正値により金属粒子5hとの距離を検知する。したがって、三次元計測方法は、撮像素子14の一画素14aにおいて、金属粒子5hの光の反射に基づいて検知した明点(金属粒子5h)の検知位置がずれても、金属粒子5hの距離を精度良く検知できる。
実施の形態2.
本発明の他の実施の形態となる三次元計測装置を図11によって説明する。図11は他の実施の形態となる三次元計測装置の全体図で、図11中、図1と同一符号は、同一部分を示し、その説明を省略する。
図11において、第2の三次元計測装置101における第2の三次元検出器130は、マイクロコンピュータから成り、周知のインターフェイス、CPU、RAM、ROMを有しており、明点P1を有する画像から輝度オフセットを検知する輝度オフセットの検知部34と、明点P1を有する一定領域の輝度分布から輝度オフセットを差引いた新たな輝度分布を求め、該輝度分布から第2の輝度重心値を求める第2の輝度重心の演算部136と、該第2の輝度重心値に基づいて第2の輝度補正値を得る第2の輝度補正部138と、撮像系10の高さZ1,Z2・・・Zn毎に求めた多数の第2の輝度補正値を関数により連続した輝度補間値とする輝度の補間部41と、輝度補間値から金属粒子5hとの距離を求めると共に、該距離に対応した第2の輝度重心値に基づいて金属粒子5hのXY平面の位置を検知する第2の三次元検知部143とを備えている。
三次元計測装置1の各部の構成を図11から図14を参照しつつ説明する。明点抽出部32は上記実施の形態1と同一であるため、その説明を省略する。
輝度オフセットの検知部34は、点状の各明点P1・・・・P6を含む一定の領域の各画像G1,G2・・Gnにおいて、最小輝度値をとなる輝度オフセットを検知している。
ここで、輝度オフセットが生じるのは、他の金属粒子5hなどからの乱反射光などを撮像素子14の画素14aが検知するためである。
第2の輝度重心の演算部136は、明点を有する5×5画素14aから成る一定領域A1内の画像から検知した第1の輝度分布値から輝度オフセットを除去(差引いた)した第2の輝度分布を求めた後、明点P1を有する一定領域A1における第2の輝度重心値(Xgo,Ygo)を下記(7)及び(8)式により求めている。
輝度オフセットを除去するのは、図12に示すように、金属粒子5hの反射光による輝度変化のみの輝度変化値(輝度分布)Ldを得て、この輝度変化値から第2の輝度重心値を求め、第2の輝度重心値に基づいて金属粒子5hの位置を正確に検知するためである。図13に示すように、点線の第1の輝度分布(検知した輝度)から実線の第2の輝度分布(輝度変化値)となり、正確な金属粒子5hの頂点の位置を求めることができる。
なお、輝度オフセットは最小輝度値に設定することが好ましいが、一定の領域における最小輝度値よりも高い一定輝度値でも良い。

Xgo=ΣX(L−Lo)/Σ(L−Lo)・・・・(7)
Ygo=ΣY(L−Lo)/Σ(L−Lo)・・・・(8)
ここで、L:検知された輝度 Lo:輝度オフセット
第2の輝度重心値を求めるのは、点状の明点P1(P2・・・・P6)の位置を、輝度オフセットを除去した周囲輝度との関係で求めることにより、輝度のボケの影響を受けずに、さらに、他の金属粒子5hなどからの乱反射光などの影響を受けずに、金属粒子5hの位置を正確に検出するためである。
第2の輝度の補正部38は、第2の輝度重心値を有する画素14aと、該画素14aが検知した輝度と該画素14aの周囲の画素14aとが検知した輝度と、各画素14aの中心値と第2の輝度重心値との上記距離Δx,Δyのモデル関数として検知した輝度がガウス分布で影響を受けるとして、上記(3)から(6)式により、第2の輝度重心値が有する輝度を求めるように形成されている。
このようにして求めた第2の輝度重心値が有する輝度を、輝度の補正値として表示すると図14に示す○印の特性曲線のようになる。
輝度の補間部41は、輝度の補正値を用いて最大輝度値を取得して最大輝度値を中心に撮像系の高さとして±Z内における輝度補正値を得ると共に、図14の実線により示すように、該輝度補正値を例えば二次関数により補間した輝度の連続補間値を得ている。
輝度を補間することにより撮像系10と金属粒子5hとの異なる距離毎に求めた各各輝度の補正値との整合を得る。また、輝度を連続補間することにより輝度の補間値の連続性を得て、金属粒子5hとの距離の検出精度を向上できる。
第2の距離検出部143は、図14に示すように輝度の連続補間値と対象物としての金属粒子5hとの距離値との特性曲線を利用して金属粒子5hと撮像系10との距離を検知すると共に、検知した距離値に対応する第2の輝度重心値に基づいて金属粒子5hのX,Y座標の位置も検知する。
上記のように構成された三次元計測装置の全体動作を図11及び図15を参照して説明する。まず、撮像系駆動部65からの位置指令信号により、駆動機構60を動作し、撮像系10をZ軸方向に下降して、撮像系10の高さZ1,Z2・・・Zn毎に画像ファイルを図2(a)に示すように、読み込み(ステップS100)、明点抽出部32はこの画像ファイルから金属粒子5hの頂点としての明点P1を画素単位U1で位置及び輝度を検知する(ステップS200)。輝度オフセットの検知部34は、明点P1を中心とした一定領域A1から輝度オフセットを検知する(ステップS300)。
第2の輝度重心の演算部136は、明点P1を中心とした一定領域A1内の輝度重心を求める(ステップS1400)。第2の輝度補正部138は、撮像系10の高さZ1,Z2・・・Zn毎の輝度重心値(Xg1,Yg1),(Xg2,Yg2)・・・(Xgn,Ygn)を用いて、例えばガウス分布を用いて第2の輝度重心値が有する輝度を、輝度の補正値として得る(ステップS1500)。輝度の補間部41は、多数の輝度の補正値を、関数を用いて連続した連続補間値を得る(ステップS600)。第2の三次元検知部143は、一定領域A1における最大輝度値から金属粒子5hの距離を測定すると共に、最大輝度値に対応する第2の輝度重心値から金属粒子5hのXY平面状の位置が検知する(ステップS700)。
上記のように構成された三次元計測装置の各工程における動作を図11から図18を参照して説明する。
上記輝度オフセットの検知工程S300では、輝度オフセットの検知部34は、各画像ファイルG1,G2・・・Gnにおいて、図16に示すように、各明点P1・・・P6を中心としたそれぞれの一定領域A1・・・A6内において、各X,Y座標の輝度を検知してから記憶し(ステップS301)、明点P1を中心とする一定領域A1内の最小輝度値を輝度オフセットLoとして設定し記憶し(ステップS303,S305)、上記各X,Y座標の輝度から輝度オフセットLoを除去(差し引き)し、輝度変化値Ldを求める(ステップS307)。
すなわち、明点P1を中心とした一定領域A1内の輝度オフセットLoを検知してから検知した輝度から輝度オフセットLoを除去した輝度変化値を得る。
なお、他の明点P2・・・P6も一定領域A2・・A6に対応して、上記のように明点P1と同様にして輝度オフセットLoを除去した輝度変化値を得る。
上記輝度重心の演算工程S1400では、図17に示すように、第2の輝度重心の演算部136は、ステップS100において検知した画素14aの輝度値を読み出し(ステップS1401)、明点P1を含む一定領域A1内で、X座標における第2の輝度重心値Xgoを上記(7)式により求めて記憶し(ステップS1403)、明点P1を含む一定領域A1内で、Y座標における第2の輝度重心値Ygoを求めて記憶する(ステップS1405)。
輝度重心の演算部136は、上記ステップS1401からS1405を各画像ファイルG1,G2,・・・Gnで実行する。
これにより、輝度分布から輝度オフセットを差し引いた図13に示す輝度の変化値により第2の輝度重心を求めるので、一定領域における輝度重心値を正確に検知できる。
上記輝度の補正工程S1500では、図10に示すように、輝度の補正部38は、ステップS100において検知した各画素14aの輝度値を読み出し(ステップS501)、ステップS400において求めたX,Y座標における第2の輝度重心を用いて、新たな5×5画素の一定領域を設定してから(ステップS503)、輝度を上記(3)〜(6)式によって補正した第2の輝度補正値を求めて記憶する(ステップS505)。
上記輝度の補間工程S600では、図18に示すように、金属粒子5hを検知すると(ステップS601)、撮像系10の高さZ1,Z2・・・Znにおける最大輝度値を取得(ステップS603)、最大輝度値が生じるのは、何枚目かを判断して取得し(ステップS605)、最大輝度値を中心にn個の輝度データ値を取得する(ステップS607)。
ここで、n個の輝度データ値に限定したのは、合焦点から離れた不要なデータの連続補間を省き、高速の処理が可能としている。そして、n個の輝度データ値を二次補間して図14の実線に示すように、連続補間曲線を得る(ステップS609)。第2の三次元検知部143は、輝度の補間値における最大輝度値に基づいて金属粒子5hの距離を検知すると共に、距離を検知した輝度補間値に対応する輝度重心値に基づいて、金属粒子5hのX,Y座標上の金属粒子5hの位置を検知する(ステップS700)。
上記のように構成された三次元計測装置101は、金属粒子5hを撮像素子14を用いて撮像する撮像系10と、金属粒子5hと撮像系10との異なる距離毎に撮像系10により撮像された各画像G1,G2・・・Gnの明点P1,P2・・・Pnを検出する明点三次元検知部32と、画像の一定領域から輝度オフセットを検知する輝度オフセットの検知部34と、画像の明点を中心とした一定領域ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの輝度分布から輝度オフセットを除去した第2の輝度分布を求めると共に、第2の輝度分布に基づいて第2の輝度重心値を求める第2の輝度重心の演算部136と、輝度重心値が検知された画素14aと、該画素14aの周囲の画素14aとが検知した輝度から輝度重心値が有する輝度を、輝度の補正値として得る輝度の補正部38と、輝度補正値に基づいて金属粒子5hとの距離を求めると共に、該距離を求めた輝度補正値に対応する第2の輝度重心に基づいて金属粒子5hのX,Y上の位置を求める第2の三次元検知部143と、を備えたものである。
かかる三次元計測装置101によれば、上記実施形態1の作用・効果を奏すると共に、画像の一定領域から輝度オフセットを検知する輝度オフセットの検知部34を備え、画像の明点を中心とした一定領域ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの輝度分布から輝度オフセットを除去した第2の輝度分布を求めると共に、第2の輝度分布に基づいて第2の輝度重心値を求める第2の輝度重心の演算部136とを備えたので、画素14aが金属粒子5hからの反射によって検知した輝度の影響を受けにくいので、距離を求めた輝度補正値に基づいた第2の輝度の重心値が金属粒子5hのXY平面上の位置と正確に重なることになる。
これにより、三次元計測装置101では、明点付近の輝度から輝度オフセットを除去した輝度変化値のみに基づいて第2の輝度重心値を求めて、第2の輝度重心値によって明点の位置を検知するので、金属粒子5hの反射などの影響を受けずに、正確に明点のXY平面での位置を検知できる。したがって、金属粒子5hの位置の検知精度が向上する。
さらに、第2の輝度重心値に基づいて補正した第2の輝度の補正値を得て、第2の輝度の補正値に基づいて金属粒子5hの距離を検知するので、金属粒子5hの距離の検知精度がより向上する。
上記実施の形態の三次元計測方法は、被対象物5と撮像系10との異なる距離毎に撮像系10により撮像された各画像G1,G2・・・Gnの明点P1,P2・・・Pnを検出した後、画像G1,G2・・・Gnから明点を中心とした一定領域から輝度オフセットを検知する輝度オフセットの検知工程を実行した後、画像G1,G2・・・Gnの明点P1,P2・・・Pnを中心とした一定領域ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの第1の輝度分布を求めると共に、第1の輝度分布から輝度オフセットを差し引いた第2の輝度分布に基づいて第2の輝度重心値を求める。その後、輝度の補正値に基づいて金属粒子5hとの距離値を求めると共に、距離を求めた輝度補正値に基づいた第2の輝度重心値に基づいて金属粒子5hのX,Y上の位置を検知する、ものである。
これにより、三次元計測装置101では、明点付近の輝度から輝度オフセットを除去した輝度変化値のみに基づいて明点の位置を検知するので、金属粒子5hの反射などの影響を受けずに、正確に検知できる。したがって、金属粒子5hの距離及び位置の検知精度が向上する。
実施の形態3.
上記実施の形態1,2では、第1(第2)の三次元検出器30(130)は、第1(第2)の輝度補正値に基づいて金属粒子5hとの距離値を求めると共に、第1(第2)の輝度重心値に基づいて金属粒子5hのX,Y上の位置を検知したが、以下のようにしても良い。
本実施形態の三次元計測装置は、明点抽出部32と、第1の輝度重心演算部36と、輝度オフセットの検知部34と、第2の輝度重心の演算部136と、第1の輝度補正部43と、第3の三次元検出器とを備えている。
第3の三次元検出器は、第1の輝度補正値に基づいて金属粒子5hとの距離値を求めると共に、該距離値に対応した第2の輝度重心値に基づいて金属粒子5hのX,Y上の位置を検知しても良い。これにより、金属粒子5hとの距離値を求めるのに、輝度オフセットを考慮せず、金属粒子5hの位置を検知するのに、輝度オフセットを考慮している。したがって、金属粒子5hの位置の検知精度がより向上する、
また、他の実施形態の三次元計測装置は、明点抽出部32と、第1の輝度重心演算部36と、輝度オフセットの三次元検知部34と、第2の輝度重心の演算部136と、第1の輝度補正部43と、第4の三次元検出器とを備えている。
第3の三次元検出器の代わりに、第4の三次元検出器を設け、第4の三次元検知器は、第2の輝度補正値に基づいて金属粒子5hとの距離値を求めると共に、該距離値に対応した第1の輝度重心値に基づいて金属粒子5hのX,Y上の位置を検知しても良い。これにより、金属粒子5hとの距離値を求めるのに、輝度オフセットを考慮し、被対象物5の位置を検知するのに、輝度オフセットを考慮していない。したがって、金属粒子5hの距離の検知精度がより向上する、
本発明は、三次元計測装置に適用できる。
本発明は、上記発明の実施の形態の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様も本発明に含まれる。
1,101 三次元計測装置、 5 樹脂板、5h 金属粒子(被対象物)、10 撮像系、32 明点抽出部、34 輝度のオフセット検知部、36 第1の輝度重心の演算部、38 第1の輝度の補正部、41 輝度の補間部、43 第1の三次元検知部、136 第2の輝度重心の演算部、138 第2の輝度の補正部、143 第2の三次元検知部。

Claims (6)

  1. 被対象物を、画素を有する撮像素子により撮像する撮像手段と、
    前記被対象物と前記撮像手段との異なる距離毎に前記撮像手段により撮像された各画像により検知された輝度が予め定められ閾値以上の輝度であることにより前記被対象物を画素単位で抽出する明点抽出手段と、
    前記明点を有する画素を含み、該画素の周囲の画素により成す一定領域ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの輝度分布を求めると共に、該輝度分布に基づいて第1の輝度重心値を求める輝度重心の演算手段と、
    前記輝度重心値が検知された画素が有する輝度と、該画素の周囲の画素が検知した輝度とを、前記輝度重心値が有する輝度に補正した輝度補正値を得る輝度補正手段と、
    前記輝度補正値に基づいて前記被対象物との距離値を求めると共に、前記輝度重心値に基づいて前記被対象物のX,Y上の位置を検知する三次元検知手段と、
    を備えたことを特徴とする三次元計測装置。
  2. 前記画像の前記一定領域から輝度オフセットを検知する輝度オフセットの検知手段を備え、
    前記輝度重心の演算手段は、前記第1の輝度重心値を求める代わりに、前記輝度分布から前記輝度オフセットを除去した新たな輝度分布を求めると共に、該新たな輝度分布に基づいて第2の輝度重心値を求める、
    ことを特徴とする請求項1に記載の三次元計測装置。
  3. 前記画像の前記一定領域から輝度オフセットを検知する輝度オフセットの検知手段を備え、
    前記輝度分布から前記輝度オフセットを除去した新たな輝度分布を求めると共に、該新たな輝度分布に基づいて第2の輝度重心値を求める第2の輝度重心の演算手段を、
    を備えことを特徴とする請求項1に記載の三次元計測装置。
  4. 複数の前記輝度の補正値を所定の関数で補間して輝度の補間値を求める輝度の補間手段を備え、
    前記三次元検知手段は、前記輝度の補間値に基づいて前記被対象物との距離値を求める、
    ことを特徴とする請求項1から3のいずれかに記載の三次元計測装置。
  5. 被対象物と前記撮像手段との異なる距離毎に前記撮像手段により撮像された各画像の明点を検出する明点抽出工程を実行した後、
    前記画像の明点を含む一定領域ごとの輝度を検知し、該一定領域内のX軸,Y軸ごとの輝度分布を求めると共に、前記輝度分布に基づいて輝度重心値を求める輝度重心の演算工程を実行した後、
    前記輝度重心値が検知された画素が有する輝度と、該画素の周囲の画素が検知した輝度とを、前記輝度重心値が有する輝度に補正した輝度の補正値を得た後、
    前記輝度の補正値に基づいて前記被対象物との距離値を求めると共に、前記輝度重心値に基づいて前記被対象物のX,Y上の位置を検知する、
    ことを特徴とする三次元計測方法。
  6. 前記明点抽出工程を実行した後、前記画像の明点を含む一定領域から輝度オフセットを検知する輝度オフセットの検知工程を実行した後、
    輝度重心の演算工程は、前記輝度分布から前記輝度オフセットを除去した該一定領域内のX軸,Y軸ごとの新たな輝度分布を求めると共に、前記新たな輝度分布に基づいて輝度重心値を求める、
    ことを特徴とする請求項5に記載の三次元計測方法。
JP2009249158A 2009-10-29 2009-10-29 三次元計測装置及び三次元計測方法 Expired - Fee Related JP5621077B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009249158A JP5621077B2 (ja) 2009-10-29 2009-10-29 三次元計測装置及び三次元計測方法
PCT/JP2010/069208 WO2011052693A1 (ja) 2009-10-29 2010-10-28 三次元計測装置及び三次元計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009249158A JP5621077B2 (ja) 2009-10-29 2009-10-29 三次元計測装置及び三次元計測方法

Publications (2)

Publication Number Publication Date
JP2011095093A true JP2011095093A (ja) 2011-05-12
JP5621077B2 JP5621077B2 (ja) 2014-11-05

Family

ID=43922116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009249158A Expired - Fee Related JP5621077B2 (ja) 2009-10-29 2009-10-29 三次元計測装置及び三次元計測方法

Country Status (2)

Country Link
JP (1) JP5621077B2 (ja)
WO (1) WO2011052693A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209219A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 測距装置およびその信号処理方法、並びに、測距システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020500310A (ja) * 2016-11-17 2020-01-09 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1つの物体を光学的に検出するための検出器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0363507A (ja) * 1989-08-02 1991-03-19 Hitachi Ltd 立体形状検出方法
JPH0719826A (ja) * 1993-06-30 1995-01-20 Nissan Motor Co Ltd 断面形状認識装置
JPH07209436A (ja) * 1994-01-17 1995-08-11 Murata Mfg Co Ltd 熱源の位置検知装置及び距離検知装置及び大きさ検知装置
JPH09113235A (ja) * 1995-10-16 1997-05-02 Dainippon Screen Mfg Co Ltd 三次元計測方法および表示方法、ならびに三次元計測装置
JP2009002829A (ja) * 2007-06-22 2009-01-08 Toppan Printing Co Ltd 形状測定方法および形状測定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0363507A (ja) * 1989-08-02 1991-03-19 Hitachi Ltd 立体形状検出方法
JPH0719826A (ja) * 1993-06-30 1995-01-20 Nissan Motor Co Ltd 断面形状認識装置
JPH07209436A (ja) * 1994-01-17 1995-08-11 Murata Mfg Co Ltd 熱源の位置検知装置及び距離検知装置及び大きさ検知装置
JPH09113235A (ja) * 1995-10-16 1997-05-02 Dainippon Screen Mfg Co Ltd 三次元計測方法および表示方法、ならびに三次元計測装置
JP2009002829A (ja) * 2007-06-22 2009-01-08 Toppan Printing Co Ltd 形状測定方法および形状測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209219A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 測距装置およびその信号処理方法、並びに、測距システム

Also Published As

Publication number Publication date
WO2011052693A1 (ja) 2011-05-05
JP5621077B2 (ja) 2014-11-05

Similar Documents

Publication Publication Date Title
JP6363863B2 (ja) 情報処理装置および情報処理方法
US9672630B2 (en) Contour line measurement apparatus and robot system
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
JP4885584B2 (ja) レンジファインダ校正方法及び装置
EP1524492B1 (en) Three-dimensional measurement apparatus
JP2013101045A (ja) 物品の3次元位置姿勢の認識装置及び認識方法
WO2013061976A1 (ja) 形状検査方法およびその装置
WO2014084181A1 (ja) 画像計測装置
KR101090082B1 (ko) 단일 카메라 및 레이저를 이용한 계단 치수 측정 시스템 및 방법
JP2018522240A (ja) アーチファクトを測定するための方法
JP2011069797A (ja) 変位量測定装置及び変位量測定方法
JP5621077B2 (ja) 三次元計測装置及び三次元計測方法
JP4935769B2 (ja) 平面領域推定装置及びプログラム
JP6789899B2 (ja) 計測装置および計測装置の作動方法
KR20140133359A (ko) 싱글 카메라 모듈을 이용한 이용자 거리 측정 방법
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP5339070B2 (ja) 変位量測定装置及び同測定方法
JP2013190281A (ja) 設置状態検出システム、設置状態検出装置、及び設置状態検出方法
CN112805607A (zh) 计测装置、计测方法和显微镜系统
KR20150096128A (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
JP2014178967A (ja) 3次元物体認識装置及び3次元物体認識方法
JP4468019B2 (ja) 画像処理装置
JP2020129187A (ja) 外形認識装置、外形認識システム及び外形認識方法
JP2006349443A (ja) カメラ校正装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140716

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140901

R150 Certificate of patent or registration of utility model

Ref document number: 5621077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees