JP2015045587A - 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents

Abstract

【課題】装置自体の状態変化を検出して、キャリブレーションの実行などを促すことを可能とする。【解決手段】検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置であって、少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び／又は検査対象物に対して光を投光するための一以上の投光手段を計３台以上備え、撮像手段及び投光手段が正常な状態において、各計測系で略同一の計測結果が得られるようにしてなる複数の計測系と、撮像手段で撮像された複数の画像に基づいて、各計測系の距離画像を複数生成可能な距離画像生成手段３２と、距離画像生成手段３２で生成された複数の距離画像を比較するための比較演算手段３３と、比較演算手段３３で演算された比較結果に基づいて、三次元画像処理装置の正常な状態からの状態変化の度合いを判定するための状態変化判定手段３５とを備える。【選択図】図８

Description

本発明は、三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。

工場等数多くの生産現場では、人の目視に頼っていた検査を自動化・高速化する画像処理装置が導入されている。画像処理装置は、ベルトコンベア等の生産ラインを流れてくるワークをカメラによって撮像し、得られた画像データを用いて所定領域のエッジ検出や面積計算等の計測処理を実行する。そして、計測処理の処理結果に基づいて、ワークの欠け検出やアライメントマークの位置検出等の検査を行い、ワークの欠けや位置ずれの有無を判定する判定信号を出力する。このように、画像処理装置は、ＦＡセンサの一つとして利用されることがある。

ＦＡセンサとして用いられる画像処理装置が計測処理の対象とする画像は、主に、高さ情報を含まない輝度画像である。そのため、上述したワークの欠け検出についていえば、欠けた部分の二次元形状を安定的に検出することは得意であるが、傷の凹み具合等、輝度画像としては現れ難い三次元形状を安定的に検出することは困難である。例えば、検査時にワークを照らす照明の種類や照明方向を工夫して、傷の凹みに起因する陰影を検出して、間接的に三次元形状を検出することも考えられるが、輝度画像の中で常に明瞭な陰影が検出されるとは限らない。不明瞭な陰影が検出されたときに不良品を良品と誤って判定する誤判定を防ぐために、例えば判定閾値を安全側に偏らせると、良品を大量に不良品として判定し、歩留まりの悪化を招く虞がある。

そこで、カメラの受光光量に応じた濃淡値を画素値とする濃淡画像だけでなく、カメラとワークまでの距離に応じた濃淡値を画素値とすることで、高さを二次元的に表現した距離画像（例えば特許文献１参照）を用いた外観検査が考えられる。

三次元画像処理装置の一例を、図１９の模式図に示す。この三次元画像処理装置１９０は、受光素子等の撮像手段を備えたヘッド部１９１と、ヘッド部１９１と接続され、ヘッド部１９１で撮像した画像データを送られて、取得した画像データから距離画像を生成するコントローラ部１９２で構成される。

ここで三角測距の原理を、図１９に基づいて説明する。ヘッド部１９１は、投光部１１０から出射される入射光の光軸と、受光部１２０に入射する反射光の光軸（受光部１２０の光軸）との間の角度αが予め設定されている。ここでステージ１４０上にワークＷＫが載置されない場合には、投光部１１０から出射される入射光は、ワークＷＫの載置面の点Ｏにより反射され、受光部１２０に入射される。一方、ステージ１４０上にワークＷＫが載置される場合、投光部１１０から出射される入射光は、ワークＷＫの表面の点Ａにより反射され、反射光となって受光部１２０に入射される。そして点Ｏと点Ａとの間のＸ方向における距離ｄを測定し、この距離ｄに基づいてワークＷＫの表面の点Ａの高さｈを算出する。

上述した三角測距の計測原理を応用して、ワークＷＫの表面のすべての点の高さを算出することにより、ワークＷＫの三次元的な形状が測定される。パターン投影法はワークＷＫの表面のすべての点に入射光を照射するために、投光部１１０からは所定の構造化パターンに従って入射光が出射され、ワーク表面で反射した反射光を受光し、受光した複数のパターン画像に基づいてワークＷＫの三次元形状を効率よく測定する。

このようなパターン投影法には、位相シフト法や空間コード化法、マルチスリット法等が知られている。パターン投影法を用いた三次元計測処理によって、投影パターンを変化させて複数回の撮像をヘッド部で繰り返し、コントローラ部に送出する。コントローラ部では、ヘッド部から送られるパターン投影画像に基づいて演算を行い、ワークの高さ情報を有する距離画像を得ることができる。

特開２０１２−２１９０９号公報

このような距離画像を生成して、三次元画像処理装置は画像処理などの高精度な検査処理を行うことができる。一方で三次元画像処理装置は、使用の結果、劣化による衝撃などの外力の影響や温度、湿度変化サイクルを経た変形などによって、寸法の狂いや変形などによって劣化を生じることが避けられない。このような劣化が生じると、三次元画像処理装置の測定精度が低下する原因となるが、従来はこのような経年劣化を検出することはできなかった。

本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、装置自体の状態変化を検出して、キャリブレーションの実行などを促すことが可能な三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。

課題を解決するための手段及び発明の効果

上記の目的を達成するために、本発明の第１の側面に係る三次元画像処理装置によれば、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置であって、少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び／又は検査対象物に対して光を投光するための一以上の投光手段を計３台以上備え、前記撮像手段及び投光手段が正常な状態において、各計測系で略同一の計測結果が得られるようにしてなる複数の計測系と、前記撮像手段で撮像された複数の画像に基づいて、各計測系の距離画像を複数生成可能な距離画像生成手段と、前記距離画像生成手段で生成された複数の距離画像を比較するための比較演算手段と、前記比較演算手段で演算された比較結果に基づいて、三次元画像処理装置の正常な状態からの状態変化の度合いを判定するための状態変化判定手段とを備えることができる。上記構成により、本来同一の計測結果が得られるはずの２方向からの計測結果に基づいて、三次元画像処理装置内部の構造変化を検出して、ユーザに報知することができる。

また、第２の側面に係る三次元画像処理装置によれば、前記状態変化判定手段は、状態変化の度合いが所定の閾値を超えた場合に、三次元画像処理装置のキャリブレーションの実行を促すよう構成できる。上記構成により、状態変化が進んだことを状態変化判定手段でユーザに報知し、較正を行うことで正確な測定を維持することができる。

さらに、第３の側面に係る三次元画像処理装置によれば、前記比較演算手段が、すべての計測系において計測できている点における差分の平均値に基づいて状態変化の度合いを演算できる。

さらにまた、第４の側面に係る三次元画像処理装置によれば、前記比較演算手段が、すべての計測系において計測できている点における差分の最大値に基づいて状態変化の度合いを演算することができる。

さらにまた、第５の側面に係る三次元画像処理装置によれば、前記比較演算手段が、すべての計測系において計測できている点における差分の標準偏差又は分散に基づいて状態変化の度合いを演算できる。

さらにまた、第６の側面に係る三次元画像処理装置によれば、前記比較演算手段が、すべての計測系において計測できている点における差分が基準値を超えている点の数に基づいて状態変化の度合いを演算することができる。

さらにまた、第７の側面に係る三次元画像処理装置によれば、さらに検査対象物を計測するための基準となる基準面を、三次元画像処理装置に設定するための基準面指定手段を備えており、前記状態変化判定手段が、三次元画像処理装置の状態変化の度合いを判定するタイミングは、前記基準面指定手段で基準面を設定する時点とできる。上記構成により、計測に先立つ基準面の設定の段階で自動的に状態変化を判定して、一定以上の状態変化が生じている場合は状態変化を告知することで、必要な較正作業等を行わせることができる。

さらにまた、第８の側面に係る三次元画像処理装置によれば、前記投光手段が、撮像手段の光軸に対して斜め方向から入射光を所定の投影パターンの構造化照明として投光可能であり、前記撮像手段が、前記投光手段で投光され、検査対象物で反射された反射光を取得して複数のパターン投影画像を撮像し、前記距離画像生成手段が、前記前記撮像手段で撮像された複数のパターン投影画像に基づいて、距離画像を生成可能に構成できる。

さらにまた、第９の側面に係る三次元画像処理装置によれば、前記距離画像を、ステレオ画像とすることができる。

さらにまた、第１０の側面に係る三次元画像処理装置によれば、さらに前記距離画像生成手段で生成された距離画像を、該距離画像の階調数よりも低い階調数の、該距離画像が有する高さ情報を画像の濃淡値に置き換えた低階調距離画像に階調変換するための階調変換手段と、前記階調変換手段で階調変換された低階調距離画像を表示させるための表示手段と、前記表示手段上で表示された、検査対象物を表示する画像中で、検査対象となる検査対象領域を設定するための検査対象領域設定手段と、前記距離画像中の、前記検査対象領域設定手段で設定された検査対象領域に対して、所定の検査処理を実行するための検査実行手段とを備えることができる。

さらにまた、第１１の側面に係る三次元画像処理装置によれば、前記状態変化判定手段が、各計測系で取得した、検査対象領域の四隅又は中央の高さ情報を対比して、三次元画像処理装置の状態変化の度合いを判定することができる。上記構成により、状態変化判定に際してすべての画素に対して演算を行うのでなく、所定の位置のみを比較することで状態変化判定を実行することで、処理の簡素化、高速化を測ることができる。

さらにまた、第１２の側面に係る三次元画像処理装置によれば、１台の撮像手段を中心として、２台の投光手段を、該撮像手段の左右にそれぞれ配置することができる。

さらにまた、第１３の側面に係る三次元画像処理装置によれば、三次元画像処理装置のキャリブレーションが、形状及び寸法が既知の検査対象物を撮像し、該検査対象物の測定値を既知の値と比較するよう構成できる。上記構成により、既知の検査対象物と測定値とを比較して、測定値が既知の値となるように較正でき、容易に較正を行える利点が得られる。

さらにまた、第１４の側面に係る三次元画像処理装置によれば、少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び／又は検査対象物に対して投光するための一以上の投光手段を、計３台以上備え、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置の状態変化を判定する方法であって、前記一以上の撮像手段で、同じ部位の画像を異なる方向から撮像し、前記撮像手段で撮像された複数の画像に基づいて、距離画像生成手段で距離画像をそれぞれ生成する工程と、前記生成された複数の距離画像を比較して、状態変化を判定する工程とを含むことができる。これにより、本来同一の計測結果が得られるはずの２方向からの計測結果に基づいて、三次元画像処理装置内部の構造変化を検出して、ユーザに報知することができる。

さらにまた、第１５の側面に係る三次元画像処理装置によれば、少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び／又は検査対象物に対して投光するための一以上の投光手段を、計３台以上備え、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置の状態変化を判定するプログラムであって、コンピュータに前記一以上の撮像手段で、同じ部位の画像を異なる方向から撮像し、前記撮像手段で撮像された複数の画像に基づいて、距離画像生成手段で距離画像をそれぞれ生成する機能と、前記生成された複数の距離画像を比較する比較演算機能と、前記比較演算機能での比較結果に基づいて、三次元画像処理装置の状態変化の度合いを判定する状態変化判定機能とを実現させることができる。上記構成により、本来同一の計測結果が得られるはずの２方向からの計測結果に基づいて、三次元画像処理装置内部の構造変化を検出して、ユーザに報知することができる。

さらにまた、第１６の側面に係るコンピュータで読み取り可能な記録媒体又は記憶した機器は、上記三次元画像処理プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

本発明の実施の形態に係る画像処理装置を含む三次元画像処理システムのシステム構成例を示す図である。 本発明の変形例に係る三次元画像処理システムのシステム構成例を示す図である。 本発明の実施の形態２に係る三次元画像処理装置のハードウェア構成を示す模式図である。 図４Ａは本発明の実施の形態３に係る三次元画像処理装置のヘッド部、図４Ｂは実施の形態４に係る三次元画像処理装置のヘッド部、図４Ｃは実施の形態５に係る三次元画像処理装置のヘッド部をそれぞれ示す模式図である。 本発明の実施の形態３に係る三次元画像処理装置を示すブロック図である。 図５のコントローラ部を示すブロック図である。 本実施形態に係る画像処理装置の処理動作を示すフローチャートである。 状態変化判定機能を備える三次元画像処理装置を示すブロック図である。 製造時における計測系１の計測結果を示すイメージ図である。 図９と同じワークを測定した製造時における計測系２の計測結果を示すイメージ図である。 図９と図１０を合成した測定結果を示すイメージ図である。 図９と図１０の差分の分布を示すイメージ図である。 経時変化後の計測系１の計測結果を示すグラフである。 経時変化後の計測系２の計測結果を示すグラフである。 図１４と図１３の差分の分布を示すイメージ図である。 差分を演算する手順の一例を示すフローチャートである。 状態変化判定を行う手順の一例を示すフローチャートである。 状態変化判定を行う手順の他の例を示すフローチャートである。 三角測距方式で距離画像を撮像する様子を示す模式図である。

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を例示するものであって、本発明は三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。

また本明細書において「距離画像（高さ画像）」という場合には、高さ情報を含む画像の意味で使用し、例えば距離画像に光学的な輝度画像をテクスチャ情報として貼り付けた三次元の合成画像も、距離画像に含む意味で使用する。また、本明細書において距離画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。
（実施の形態１）

本発明の実施の形態１に係る三次元画像処理装置の構成を図１に示す。この三次元画像処理装置１００は、ヘッド部１と、コントローラ部２とを備える。ヘッド部１は、検査対象物（ワーク）ＷＫを照らす２つの投光手段２０と、ワークＷＫの画像を撮像する撮像手段１０と、コントローラ部２と接続するためのヘッド側通信手段３６を備える。なお投光手段２０と撮像手段１０の組で、計測系を構成する。ここでは、一の撮像手段１０を共通として、左右の投光手段でそれぞれ計測系を構成し、計２つの計測系を備えている。

一方コントローラ部２は、撮像された画像に基づいて、エッジ検出や面積計算等の計測処理を実行する。またコントローラ部２には、液晶パネル等の表示手段４、ユーザが表示手段４上で各種操作するためのコンソール等の入力手段３、ＰＬＣ（Programmable Logic Controller）等を着脱自在に接続できる。

以上の三次元画像処理装置１００は、ヘッド部１の投光手段２０でワークＷＫに測定光を投光し、測定光がワークＷＫに入射されて反射された反射光を、撮像手段１０でパターン投影画像として撮像する。またパターン投影画像に基づいて距離画像を生成し、さらにこの距離画像を、各画素が有する高さ情報を輝度に置き換えた低階調距離画像に変換する。コントローラ部２は、変換された低階調距離画像に基づいて、エッジ検出や面積計算等の計測処理を実行する。

なお検査対象物であるワークＷＫは、例えばライン上を順次搬送される物品であり、移動又は静止している。また移動するワークは、コンベア等による平行移動の他、回転するものも含まれる。
（投光手段２０）

投光手段２０は、距離画像を生成するためにワークＷＫを照らす照明として用いられる。したがって投光手段２０は、距離画像を取得するための光切断法やパターン投影法に応じて、例えばワークに対してライン状のレーザ光を投光する光投影器、ワークに正弦波縞模様パターンを投影するためのパターン投影器等とすることができる。また投光手段以外に、明視野照明や暗視野照明を行うための一般的な照明装置を別途設けてもよい。あるいは投光手段２０に、一般的な照明装置としての機能を持たせることも可能である。

コントローラ部２は、ヘッド部１から取得した距離画像データを用いて画像処理を実行し、外部接続されたＰＬＣ７０等の制御機器に対し、ワークの良否等の判定結果を示す信号として判定信号を出力する。

撮像手段１０は、ＰＬＣ７０から入力される制御信号、例えば撮像手段１０から画像データを取り込むタイミングを規定する撮像トリガ信号に基づいて、ワークの撮像を行う。

表示手段４は、ワークを撮像して得られた画像データや、その画像データを用いた計測処理の結果を表示するための表示装置である。一般に、ユーザは、表示手段４を視認することによって、コントローラ部２の動作状態を確認することができる。入力手段３は、表示手段４上でフォーカス位置を移動させたり、メニュー項目を選択したりするための入力装置である。なお、表示手段４にタッチパネルを使用する場合は、表示手段と入力手段を兼用できる。

またコントローラ部２は、コントローラ部２の制御プログラムを生成するためのパーソナルコンピュータＰＣを接続することもできる。またパーソナルコンピュータＰＣには、三次元画像処理に関する設定を行う三次元画像処理プログラムをインストールして、コントローラ部２で行う処理の各種設定を行うこともできる。あるいは、このパーソナルコンピュータＰＣ上で動作するソフトウェアによって、画像処理の処理順序を規定する処理順序プログラムを生成することができる。コントローラ部２では、その処理順序に沿って各画像処理が順次実行される。パーソナルコンピュータＰＣとコントローラ部２とは、通信ネットワークを介して接続されており、パーソナルコンピュータＰＣ上で生成された処理順序プログラムは、例えば表示手段４の表示態様を規定するレイアウト情報等と共に、コントローラ部２に転送される。また逆に、コントローラ部２から処理順序プログラムやレイアウト情報等を取り込んで、パーソナルコンピュータＰＣ上で編集することもできる。なお、この処理順序プログラムは、パーソナルコンピュータＰＣだけでなく、コントローラ部２においても生成できるようにしてもよい。
（変形例）

なお、以上の例ではコントローラ部２として専用のハードウェアを構築しているが、本発明はこの構成に限定されるものでない。例えば図２に示す変形例に係る三次元画像処理装置１００’のように、汎用のパーソナルコンピュータやワークステーション等に専用の検査プログラムや三次元画像処理プログラムをインストールしたものをコントローラ部２’として機能させ、ヘッド部１に接続して利用することもできる。この三次元画像処理装置は、三次元画像処理プログラムで画像処理等、必要な設定を行った上で、ヘッド部１で撮像されたパターン投影画像に従って低階調距離画像を画像処理して、必要な検査を行う。
（ヘッド側通信手段３６）

また、これに応じてヘッド部１側に、ヘッド側通信手段３６として、専用のコントローラ部２や、コントローラ部２として機能するパーソナルコンピュータのいずれにも接続できるようなインターフェースを設けることもできる。例えばヘッド部１に、ヘッド側通信手段３６として、図１に示すようにコントローラ部２と接続するためのコントローラ接続用インターフェース３６Ａを設けたり、あるいは図２に示すように、パーソナルコンピュータと接続するためのＰＣ接続用インターフェース３６Ｂを設ける。またこのようなインターフェースをユニット式に交換可能とすることで、ヘッド部の他の構成をある程度共通化して、共通のヘッド部でコントローラ部やパーソナルコンピュータのいずれにも接続可能とできる。あるいは、専用のコントローラ部２と、パーソナルコンピュータのいずれにも接続可能なインターフェースを備えた一のヘッド側通信手段を設けてもよい。またこのようなインターフェースは、既存の通信規格、例えばイーサーネット（商品名）やＵＳＢ、ＲＳ−２３２Ｃ等が利用できる。また、必ずしも規格化された、あるいは汎用の通信方式によらず、専用の通信方式としてもよい。
（ＰＣ接続モード）

さらに三次元画像処理プログラムに、ヘッド部１に接続するコントローラ部２’としてパーソナルコンピュータを使用する場合の設定を行うＰＣ接続モードを備えることもできる。すなわちコントローラ部が専用ハードウェアであるか、パーソナルコンピュータであるかに応じて、設定可能な項目や設定内容を変化させることで、いずれの場合にも三次元画像処理に関する設定を適切に行うことが可能となる。さらに、コントローラ部２’として機能するパーソナルコンピュータに、ヘッド部１の動作確認用途、及び簡易的な計測機能を持たせたビューワプログラムをインストールして、接続されたヘッド部の動作や機能を確認できるようにしてもよい。

なお図１に示す撮像手段１０と投光手段２０を利用することで得られる「距離画像」とは、ワークＷＫを撮像する撮像手段１０から、ワークＷＫまでの距離に応じて各画素の濃淡値が変化する画像をいう。換言すれば、撮像手段１０からワークＷＫまでの距離に基づいて濃淡値が決定される画像ともいえるし、ワークＷＫまでの距離に応じた濃淡値を有する多値画像ともいえるし、或いはワークＷＫの高さに応じた濃淡値を有する多値画像ともいえる。さらに、輝度画像の画素ごとに、撮像手段１０からの距離を濃淡値に変換した多値画像ともいえる。

距離画像を生成する手法としては、大きく分けて２つの方式があり、一つは、通常の画像を得るための照明条件で撮像した画像を用いて距離画像を生成するパッシブ方式（受動計測方式）、もう一つは、高さ方向の計測をするための光を能動的に照射して距離画像を生成するアクティブ方式（能動計測方式）である。パッシブ方式の代表的な手法は、ステレオ計測法である。これは、撮像手段１０を２台以上用意し、これら２台以上のカメラを所定の位置関係で配置するだけで距離画像を生成できることから、輝度画像を生成するための一般的な画像処理システムを利用して距離画像を生成でき、システム構築コストを抑制することができる。

一方で、アクティブ方式の代表的な手法は、光切断法とパターン投影法である。光切断法は、上述したステレオ計測法において、一方のカメラを光投影器等の投光手段に置き換えて、ワークに対してライン状のレーザ光を投光し、物体表面の形状に応じたライン光の像の歪み具合からワークの三次元形状を復元する。光切断法は、対応点の決定が不要であるので安定した計測が可能である。しかし、１回の計測で１ライン分しか計測できないため、全画素の計測値を得ようとすると、対象物又はカメラを走査しなければならない。これに対し、パターン投影法は、ワークに投影された所定パターンの形状や位相等をずらして複数枚の画像を撮像し、撮像した複数枚の画像を解析することでワークの三次元形状を復元するものである。パターン投影法には幾つか種類があり、正弦波縞模様パターンの位相をずらして複数枚（最低３枚以上）の画像を撮像し、複数枚の画像から画素ごとに正弦波の位相を求め、求めた位相を利用してワーク表面上の三次元座標を求める位相シフト法や、２つの規則的なパターンが合成されるときに生じる一種の空間周波数のうねり現象を利用して三次元形状を復元するモアレポトグラフィ法、ワークに投影するパターン自体を撮影毎に異ならせ、例えば白黒デューティ比５０％で縞幅が画面半分、４分の１、８分の１、、、と細くなっていく縞パターンを順次投影し、それぞれのパターンにてパターン投影画像の撮影を行い、ワークの高さの絶対位相を求める空間コード化法、ワークに複数の細線状のパターン照明（マルチスリット）を投影し、スリット周期より狭いピッチでパターンを移動させ、複数回撮影を行うマルチスリット法等が代表的である。

本実施形態に係る三次元画像処理装置１００では、上述した位相シフト法と空間コード化法を組み合わせて距離画像を生成する。これにより、ワーク又はヘッドを相対的に動かすことなく、距離画像を生成することができる。本発明は、位相シフト法及び空間コード化法によって距離画像を生成することに限られず、他の方法によって距離画像を生成しても構わない。また、上述した方法以外の方法、例えば光レーダ法（タイムオブフライト）、合焦点法、共焦点法、白色光干渉法等、距離画像を生成するために考え得る如何なる手法を採用しても構わない。

なお図１に示す撮像手段１０と投光手段２０の配置レイアウトは、ワークＷＫに対して斜め方向から投光し、ワークＷＫからの反射光をほぼ垂直な方向で受光できるよう、投光手段２０を斜めに、撮像手段１０を鉛直姿勢に保持するように配置している。このように投光方向と撮像方向とを一致させず、傾斜させることで、ワークＷＫの表面形状の凹凸に起因する陰影を捉えたパターン投影画像を撮像できる。
（実施の形態２）

ただ本発明は、この配置例に限定されるものでなく、例えば図３に示す実施の形態２に係る三次元画像処理装置２００のように、撮像手段１０側をワークＷＫに対して傾斜姿勢に、投光手段２０側を鉛直姿勢に保持する配置例としてもよい。このような配置のヘッド部１Ｂによっても、同様に投光方向と撮像方向とを傾斜させて、ワークＷＫの陰影を捉えたパターン投影画像を撮像できる。
（実施の形態３）

さらに、投光手段や撮像手段の一方又は両方を複数配置することもできる。例えば、実施の形態３として図４Ａに示す三次元画像処理装置３００のように、撮像手段１０をワークＷＫに対して鉛直姿勢に保持する一方、撮像手段１０を中心に２つの投光手段２０を両側に配置して、左右からそれぞれ投光するヘッド部１Ｃとして構成することもできる。このように投光の方向が異なるパターン投影画像をそれぞれ撮像することで、一方向からの投光ではワークＷＫ自体で陰影パターンが隠れてしまう等、パターン投影画像を部分的に撮像できない状態が生じて高さ計測が不正確又は不可能となる事態を低減できる。特に、ワークに対して相対する方向（例えば左右や前後）から投光するように投光手段２０を配置すれば、ワーク自体で遮られて撮像できない可能性を大幅に低減できる。
（実施の形態４）

また、以上の例では撮像手段を一台、投光手段を二台とする構成について説明したが、逆に撮像手段を二台、投光手段を一台とする構成とすることもできる。このような例を実施の形態４に係る三次元画像処理装置４００として図４Ｂに示す。この例に示すヘッド部１Ｄでは、投光手段２０をワークＷＫに対して鉛直姿勢に保持し、図においてその左右に撮像手段１０をそれぞれ、ワークＷＫに対して傾斜姿勢に配置させている。この構成でも、ワークＷＫを異なる傾斜角度から撮像できるので、実施の形態３と同様にパターン投影画像が部分的に撮像困難となる事態を抑制できる。またこの方法であれば、一回の投光で２枚のパターン投影画像を同時に撮像できるため、処理時間を短縮化できる利点も得られる。

その反面、２つの撮像手段で異なる角度から同じワークを撮像しても、撮像している部位や視野等が異なるため、各画素の位置を一致させる作業が必要となり、誤差も発生する可能性がある。これに対し、上述した実施の形態３によれば、撮像手段を共通化したことで、いずれの投光手段から測定光を投光しても、同一の視野の画像を撮像できるため、このような統合作業を不要とでき、また統合作業に伴う誤差の発生も回避して、処理を簡素化できる利点が得られる。

また、距離画像を生成する方法としては、パターン投影法等のアクティブ方式に限られず、ステレオ計測法等のパッシブ方式を利用することもできる。例えばステレオ計測法においては、撮像手段を３台以上用いることで、２つ以上の計測系を構築することができる。さらにステレオ計測法では、光を投影するプロジェクタ等の投光手段を省略できる。例えば、図４Ｃに示す実施例５に係る三次元画像処理装置５００では、投光手段を省略して、撮像手段１０Ａ、１０Ｂ、１０Ｃを３台配置して、ステレオ画像を距離画像として生成するヘッド部１Ｅを接続している。

なお以上の例では、各ヘッド部において撮像手段１０と投光手段２０とを一体的に構成した例を説明したが、本発明はこの構成に限られない。例えば、撮像手段１０と投光手段２０とを別個の部材で構成したヘッド部とすること可能である。また上述の通り、撮像手段や投光手段を３以上設けることも可能である。
（ブロック図）

次に、本発明の実施の形態３に係る三次元画像処理装置３００の構成を示すブロック図を図５に示す。三次元画像処理装置３００は、図５に示すように、ヘッド部１と、コントローラ部２とを備える。
（ヘッド部１）

このヘッド部１は、投光手段２０と、撮像手段１０と、ヘッド側制御部３０と、ヘッド側演算部３１と、記憶手段３８と、ヘッド側通信手段３６等を備えている。投光手段２０は、測定光源２１、パターン生成部２２及び複数のレンズ２３、２４、２５を含む。撮像手段１０は、図示しないがカメラ及び複数のレンズを含む。
（投光手段２０）

投光手段２０は、撮像手段の光軸に対して斜め方向から入射光を所定の投影パターンの構造化照明として投光するための部材である。この投光手段２０には、プロジェクタが利用でき、光学部材であるレンズやパターン生成部２２等が含まれる。投光手段２０は、静止若しくは移動するワークの位置の斜め上方に配置される。なおヘッド部１は、複数の投光手段２０を含むこともできる。図５の例においては、ヘッド部１は２つの投光手段２０を含む。ここでは、第一の方向からワークに対して測定用照明光を照射可能な第一プロジェクタ２０Ａ（図５において右側）と、第一の方向とは異なる第二の方向からワークに対して測定用照明光を照射可能な第二プロジェクタ２０Ｂ（図５において左側）を、それぞれ配置している。第一プロジェクタ２０Ａ、第二プロジェクタ２０Ｂは撮像手段１０の光軸を挟んで対称に配置される。第一プロジェクタ２０Ａ、第二プロジェクタ２０Ｂからワークに対し、交互に測定光を投光して、それぞれの反射光のパターンを撮像手段１０で撮像する。

各第一プロジェクタ２０Ａ、第二プロジェクタ２０Ｂの測定光源２１は、例えば白色光を出射するハロゲンランプや白色光を出射する白色ＬＥＤ（発光ダイオード）等が利用できる。測定光源２１から出射された測定光は、レンズにより適切に集光された後、パターン生成部２２に入射する。

さらに、距離画像を生成するためのパターン投影画像を取得する測定光を出射するための投光手段に加え、通常の光学画像（輝度画像）を撮像するための観察用照明光源を設けることもできる。観察用照明光源には、ＬＥＤの他、半導体レーザ（ＬＤ）やハロゲンライト、ＨＩＤ等を利用できる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。

測定光源２１から出射された測定光は、レンズ１１３により適切に集光された後、パターン生成部１１２に入射する。パターン生成部２２は、任意のパターンの照明を実現できる。例えば、白字に黒字、黒字に白字等、ワークや背景の色に応じてパターンを反転させ、見易い、あるいは測定し易い適切なパターンを表現できる。このようなパターン生成部２２は、例えばＤＭＤ（デジタルマイクロミラーデバイス）が利用できる。ＤＭＤは、画素毎に微小なミラーをＯＮ／ＯＦＦさせて任意のパターンを表現できる。これにより、白と黒を反転させたパターンを容易に照射できる。パターン生成部２２にＤＭＤを用いることで、任意のパターンを容易に生成でき、機械的なパターンマスクの準備やその入れ替え作業を不要とできるので、装置の小型化と迅速な計測ができる利点がある。また、ＤＭＤを用いたパターン生成部１１２は、すべての画素をＯＮとする全照明パターンの照射によって、通常の照明と同様に利用できるので、輝度画像の撮像にも利用できる。またパターン生成部２２は、ＬＣＤ（液晶ディスプレイ）、ＬＣＯＳ（Liquid Crystal on Silicon：反射型液晶素子）又はマスクとすることもできる。パターン生成部２２に入射した測定光は、予め設定されたパターン及び予め設定された強度（明るさ）に変換されて出射される。パターン生成部２２により出射された測定光は、複数のレンズにより撮像手段１０の観察・測定可能な視野よりも大きい径を有する光に変換された後、ワークに照射される。
（撮像手段１０）

撮像手段１０は、投光手段２０で投光され、ワークＷＫで反射された反射光を取得して複数のパターン投影画像を撮像するためのカメラを備える。このようなカメラには、ＣＣＤやＣＭＯＳ等が利用できる。この例では高解像度の得られるモノクロＣＣＤカメラを利用している。なお、カラーで撮像可能なカメラを使用することも可能であることはいうまでも無い。また撮像手段は、パターン投影画像以外に、通常の輝度画像を撮像することも可能である。

ヘッド側制御部３０は、撮像手段１０及び投光手段２０である第一プロジェクタ２０Ａ、第二プロジェクタ２０Ｂを制御するための部材である。例えば、投光手段２０がワークに対して測定光を投光してパターン投影画像を得るための投光パターンの作成を、ヘッド部側制御部３０で行う。これによって撮像手段１０で、投光手段２０から位相シフト用の投影パターンを投影させて位相シフト画像を撮像させ、また投光手段２０から空間コード化用の投影パターンを投影させて空間コード画像を撮像させる。このようにヘッド側制御部３０は、撮像手段１０で位相シフト画像と空間コード画像を撮像するよう、投光手段を制御するための投光制御手段として機能する。

ヘッド側演算部３１は、フィルタ処理部３４と距離画像生成手段３２を含む。距離画像生成手段３２は、撮像手段１０で撮像された複数のパターン投影画像に基づいて、距離画像を生成する。

ヘッド側記憶手段３８は、各種設定や画像等を保持するための部材であり、半導体メモリやハードディスク等の記憶素子が利用できる。例えば、撮像手段１０で撮像されたパターン投影画像を保持するための輝度画像記憶部３８ｂ、及び距離画像生成手段３２で生成された距離画像を保持するための距離画像記憶部３８ａを含む。

ヘッド側通信手段３６は、コントローラ部２と通信を行うための部材である。ここではコントローラ部２のコントローラ側通信手段４２と接続されて、データ通信を行う。例えば、距離画像生成手段３２で生成された距離画像を、コントローラ部２に対して送出する。
（距離画像生成手段３２）

距離画像生成手段３２は、ワークＷＫを撮像する撮像手段１０からワークＷＫまでの距離に応じて各画素の濃淡値が変化する距離画像を生成する手段である。例えば、位相シフト法で距離画像を生成する場合は、ワークに対して正弦波縞模様パターンを位相ずらして投影するように、ヘッド側制御部３０が投光手段２０を制御し、それに応じて正弦波縞模様パターンの位相がずれた画像を複数枚撮像するように、ヘッド側制御部３０が撮像手段１０を制御する。そしてヘッド側制御部３０は、複数枚の画像から画素毎に正弦波の位相を求め、求めた位相を利用して距離画像を生成する。

また空間コード化法を用いて距離画像を生成する場合は、光が照射される空間を、多数の断面略扇状の小空間に分け、この小空間には一連の空間コード番号を付す。このため、ワークの高さが高くても、言い換えると高低差が大きくても、光が照射される空間内にあれば、空間コード番号から高さが演算できる。したがって、高さの高いワークについても全体にわたって形状を計測できる。

このようにしてヘッド部側で距離画像を生成し、コントローラ部側に送出することで、ヘッド部からコントローラ部側に送出すべきデータ量を低減でき、大量のデータ転送によって生じ得る処理の遅れを回避できる。

なお、本実施形態ではヘッド部１側で距離画像の生成処理を行うようにしているが、例えばコントローラ部２側で距離画像の生成処理を担うこともできる。また、距離画像から低階調距離画像への階調変換は、コントローラ部で行う他、ヘッド部側で行わせることもできる。この場合は、ヘッド側演算部３１が階調変換手段の機能を実現する。
（コントローラ部２）

またコントローラ部２は、コントローラ側通信手段４２と、コントローラ側制御部と、コントローラ側演算部と、コントローラ側記憶手段と、検査実行手段５０と、コントローラ側設定手段４１とを備えている。コントローラ側通信手段４２は、ヘッド部１のヘッド側通信手段３６と接続されてデータ通信を行う。コントローラ側制御部は、各部材の制御を行うための部材である。コントローラ側演算部は、画像処理部６０の機能を実現する。画像処理部６０は、画像サーチ手段６４や階調変換手段４６等の機能を実現する。
（階調変換手段）

階調変換手段４６は、距離画像に基づいて、高階調の距離画像を、低階調の低階調距離画像に階調変換する（詳細な手順については後述する）。これによって、ヘッド部で生成された高さ情報を有する距離画像を、既存の画像処理でも扱える低階調の濃淡画像として表現することで、計測処理や検査処理に資することができる。また、距離画像の生成処理と、階調変換処理とを、ヘッド部とコントローラ部とで分担して、負荷を分散できる利点も得られる。なお、ヘッド部側で距離画像の生成に加え、低階調距離画像の生成も行わせてもよい。このような処理はヘッド側演算部で行うことができる。これによって、コントローラ部側の負荷を一層軽減して、効率のよい運用が可能となる。

さらに階調変換手段は、距離画像のすべてを階調変換するのでなく、好ましくは、必要な部分のみを選択して、階調変換する。具体的には、予め検査対象領域設定手段（詳細は後述）で設定された検査対象領域と対応する部分のみを階調変換する。このようにすることで、多階調の距離画像を低階調の距離画像に変換する処理を、検査対象領域のみに限ることで階調変換に要する負荷を軽減できる。またこのことは処理時間の短縮化にも寄与する。すなわち、処理時間の短縮化を図ることで、ＦＡ用途の検査のような処理時間の限られた用途においても好適に利用でき、リアルタイム処理が実現される。

コントローラ側記憶手段は、各種設定や画像を保持するための部材であり、半導体記憶素子やハードディスク等が利用できる。

コントローラ側設定手段４１は、コントローラ部に対する各種設定を行うための部材であり、コントローラ部に接続されたコンソール等の入力手段３を介してユーザからの操作を受け付け、必要な条件等をコントローラ側に指示する。例えば、階調変換条件設定手段４３や基準面指定手段４４、空間コード化切替手段４５、間隔均等化処理設定手段４７、投光切替手段４８、シャッタースピード設定手段４９等の機能を実現する。

基準面指定手段４４は、計測に先立ち、ユーザの検査対象基準面（例えばワークの載置面）と、三次元画像処理装置の基準面（Ｚ＝０の平面）を一致させるための手段である。例えば、検査対象基準面がある方向に傾いていた場合、それに合わせて三次元画像処理装置のＸＹＺ軸を調整し、基準面を一致させる必要がある。このように基準面指定手段４４は、計測の基準となる基準面を設定する。

検査実行手段５０は、階調変換手段４６で階調変換された低階調距離画像に対して、所定の検査処理を実行する。
（ハードウェア構成）

次にコントローラ部２のハードウェア構成例を、図６のブロック図に示す。この図に示すコントローラ部２は、各種プログラムに基づき数値計算や情報処理を行うと共に、ハードウェア各部の制御を行う主制御部５１を有している。主制御部５１は、例えば、中央演算処理装置としてのＣＰＵと、主制御部５１が各種プログラムを実行する際のワークエリアとして機能するＲＡＭ等のワークメモリと、起動プログラムや初期化プログラム等が格納されたＲＯＭ，フラッシュＲＯＭ，又はＥＥＰＲＯＭ等のプログラムメモリとを有している。

またコントローラ部２は、撮像手段１０や投光手段２０等を含むヘッド部１と接続して、ワークに対して正弦波縞模様パターンを、位相をずらして投影するよう投光手段２０を制御し、撮像手段１０での撮像により得られた画像データを取り込むためのコントローラ側接続部５２と、入力手段３からの操作信号が入力される操作入力部５３と、液晶パネル等の表示手段４に対して画像を表示させる表示用ＤＳＰ等から構成される表示制御部５４と、外部のＰＬＣ７０やパーソナルコンピュータＰＣ等と通信可能に接続される通信部５５と、一時的なデータを保持するＲＡＭ５６と、設定内容を保存するコントローラ側記憶手段５７と、パーソナルコンピュータＰＣにインストールされた三次元画像処理プログラムで設定されたデータを保持するための補助記憶手段５８と、エッジ検出や面積計算等の計測処理を実行する演算用ＤＳＰ等から構成される画像処理部６０と、画像処理部６０での処理結果等に基づいて所定の検査を行った結果を出力するための出力部５９等を備えている。これらの各ハードウェアは、バス等の電気的な通信路（配線）を介し、通信可能に接続されている。

主制御部５１内のプログラムメモリには、コントローラ側接続部５２、操作入力部５３、表示制御部５４、通信部５５、及び画像処理部６０の各部を、ＣＰＵのコマンド等により制御するための制御プログラムが格納されている。また、上述した処理順序プログラム、すなわちパーソナルコンピュータＰＣにおいて生成され、パーソナルコンピュータＰＣから転送された処理順序プログラムは、プログラムメモリに格納される。

通信部５５は、外部のＰＬＣ７０に接続されたセンサ（光電センサ等）でトリガ入力があったときに、ＰＬＣ７０から撮像トリガ信号を受信するインターフェース（Ｉ／Ｆ）として機能する。また、パーソナルコンピュータＰＣから転送されてくる三次元画像処理プログラムや表示手段４の表示態様を規定するレイアウト情報等を受信するインターフェース（Ｉ／Ｆ）としても機能する。

主制御部５１のＣＰＵは、通信部５５を介してＰＬＣ７０から撮像トリガ信号を受信すると、コントローラ側接続部５２に対して撮像指令（コマンド）を送る。また、処理順序プログラムに基づいて、画像処理部６０に対して、実行すべき画像処理を指示するコマンドを送信する。なお、撮像トリガ信号を生成する装置として、ＰＬＣ７０ではなく、光電センサ等のトリガ入力用のセンサを、通信部５５に直接接続するように構成してもよい。

操作入力部５３は、ユーザの操作に基づき入力手段３からの操作信号を受信するインターフェース（Ｉ／Ｆ）として機能する。表示手段４には、入力手段３を用いたユーザの操作内容が表示される。例えば入力手段３にコンソールを用いる場合は、表示手段４上に表示されるカーソルを上下左右に移動させる十字キー、決定ボタン、又はキャンセルボタン等の各部品を配置できる。これらの各部品を操作することによって、ユーザは表示手段４上で、画像処理の処理順序を規定するフローチャートを作成したり、各画像処理のパラメータ値を編集したり、基準領域の設定をしたり、基準登録画像を編集したりすることができる。

コントローラ側接続部５２は、画像データの取り込みを行う。具体的には、例えばＣＰＵから撮像手段１０の撮像指令を受信すると、撮像手段１０に対して画像データ取り込み信号を送信する。そして、撮像手段１０で撮像が行われた後、撮像して得られた画像データを取り込む。取り込んだ画像データは、一旦バッファリング（キャッシュ）され、予め用意しておいた画像変数に代入される。なお、「画像変数」とは、数値を扱う通常の変数と異なり、対応する画像処理ユニットの入力画像として割り付けることで、計測処理や画像表示の参照先となる変数をいう。

画像処理部６０は、画像データに対する計測処理を実行する。具体的には、まずコントローラ側接続部５２が上述した画像変数を参照しつつ、フレームバッファから画像データを読み出して、画像処理部６０内のメモリへ内部転送を行う。そして、画像処理部６０は、そのメモリに記憶された画像データを読み出して、計測処理を実行する。また画像処理部６０には、階調変換手段４６、異常点ハイライト手段６２、画像サーチ手段６４等が含まれる。

表示制御部５４は、ＣＰＵから送られてきた表示指令（表示コマンド）に基づいて、表示手段４に対して所定画像（映像）を表示させるための制御信号を送信する。例えば、計測処理前又は計測処理後の画像データを表示するために、表示手段４に対して制御信号を送信する。また、表示制御部５４は、入力手段３を用いたユーザの操作内容を表示手段４に表示させるための制御信号も送信する。

以上のようなハードウェアで構成されたヘッド部１やコントローラ部２は、各種プログラム等によって、図５の各手段や機能をソフトウェア的に実現可能な構成としている。この例では、図１のコンピュータに、三次元画像処理プログラムをインストールして、三次元画像処理に必要な設定を行う態様を採用している。
（階調変換）

以上の三次元画像処理装置は、ワークの距離画像を取得し、この距離画像に対して画像処理を行い、この結果に対して検査を行う。本実施の形態における三次元画像処理装置は、距離画像の画素値である高さ情報をそのまま用いて演算を行う高さ検査処理に加えて、既存のハードウェアを用いて面積やエッジ等の情報を用いた演算を行う画像検査処理の、２種類の検査を実施することができる。ここで、高さ検査処理の精度を維持するためには、多階調な距離画像を生成する必要がある。一方、既存のハードウェアではこのような多階調な距離画像に画像検査処理を実施することはできない。そのため、既存のハードウェアを用いて画像検査処理を行うために、多階調な距離画像に階調変換を施し、低階調距離画像を生成する。

しかしながら、多階調の距離画像の高さ情報を、そのまま低階調の距離画像に変換したのでは、高さ情報の精度が損なわれるという問題がある。ＦＡ用途等で利用される一般的な画像は、モノクロで各画素の濃淡値を８階調で表現した画像が多い。これに対して距離画像は、１６階調画像のような高階調の画像が用いられている。このため、多階調の距離画像を低階調距離画像に階調変換する際に、高さ情報が相当量損なわれることとなり、検査の精度に影響を与える。かといって、精度を高めるために既存の画像処理で扱う画像の階調数を上げるには導入コストが高騰するとともに、処理負荷が高くなり、利用に対するハードルが高くなる。

そこで、このような階調変換に際して、必要な高さ情報が維持されるような階調変換の条件を設定することが必要となる。以下、その方法及び手順について詳述する。
（高さ検査又は画像検査）

まず、三次元画像処理装置を用いて高さ検査処理を行う処理動作を、図７のフローチャートに基づいて説明する。この三次元画像処理装置は、計算処理を行うためのツールとして、距離画像に対して高さ検査を行う高さ検査処理ツールと、既存の輝度画像に対して画像検査を行う各種の画像検査処理ツールとを備えている。ここでは、高さ検査処理について説明する。

最初に、距離画像を生成する（ステップＳ７１）。具体的には、距離画像生成手段３２が、撮像手段１０と投光手段２０とを用いて距離画像を生成する。次いで、所望の計算処理を選択する（ステップＳ７２）。ここでは、計算処理に必要なツールを選択する。

画像検査処理ツールを選択する場合は、ステップＳ７３に進み、上記ステップＳ７１で得られた高階調の距離画像に対して、階調変換処理を行い、低階調の距離画像に変換する。これによって、既存の画像処理装置が備えている検査処理ツールでも、低階調距離画像を扱えるようになる。なお、階調変換処理は、高階調の距離画像の全域に対して行うのでなく、好ましくは画像検査処理のために設定された検査対象領域内でのみ行う。

一方、高さ検査ツールを選択する場合は、多階調距離画像が有する高さ情報をそのまま利用するため、階調変換を行うことなく、ステップＳ７４に進む。

さらに、検査実行手段５０が、各種計算処理を行い（ステップＳ７４）、次いでこの計算結果に基づいて、ワークが良品であるか否かを判定する（ステップＳ７５）。判定信号出力手段１６０は、検査実行手段５０によってワークが良品であると判定された場合には（ステップＳ７５：ＹＥＳ）、判定信号としてＯＫ信号をＰＬＣ７０に出力し（ステップＳ７６）、検査実行手段５０によってワークが良品でない、すなわち不良品であると判定された場合には（ステップＳ７５：ＮＯ）、判定信号としてＮＧ信号をＰＬＣ７０に出力する（ステップＳ７７）。
（状態変化判定機能）

また三次元画像処理装置は、三次元画像処理装置の状態変化を検出する状態変化判定機能を備えている。具体的には図８のブロック図に示すように、ワークの画像を撮像する撮像手段と、ワークに対して投光するための２つの投光手段と、撮像手段で撮像された複数の画像に基づいて、距離画像を生成可能な距離画像生成手段と、撮像手段で撮像された複数の画像に対して、比較を検出する比較演算手段３３と、比較演算手段３３で演算された比較に基づいて、三次元画像処理装置の状態変化の度合いを判定する状態変化判定手段３５とを備える。

各投光手段は、上述した図４Ａと同様、ワークＷＫに対して斜め方向から投光し、ワークＷＫからの反射光をほぼ垂直な方向で撮像手段が受光できるよう、投光手段２０を斜めに、撮像手段１０を鉛直姿勢に保持するように配置している。図において右側の投光手段が計測系１を、左側の投光手段が計測系２を、それぞれ構成する。

状態変化判定手段３５は、三次元画像処理装置で同一のワークや部位を異なる方向（計測系）で撮像して、本来同一の計測結果が得られるはずの計測結果を対比することで、三次元画像処理装置内部の構造変化を検出する状態変化判定機能を実現する。これによって三次元画像処理装置の経時劣化や、落下等の衝撃による内部寸法の狂い等に起因する測定誤差の発生を把握できる。

なお本明細書において「状態変化判定」とは、経年劣化や経時劣化の他、三次元画像処理装置を落下させたり、他の部材が衝突するといった衝撃その他の外力によって、装置内部の位置関係や寸法等に狂いが生じた場合も含む。
（状態変化告知機能）

また状態変化判定手段３５は、状態変化の度合いが所定の閾値を超えた場合に、状態変化が発生していることをユーザに告知する状態変化告知機能を備えることもできる。例えば図８の例において、表示手段４上に「劣化が発生します」等の警告メッセージを表示させたり、音声や警告音等を発したりすることで、ユーザの注意を喚起する。あるいは、ネットワーク回線を通じて、サービスマンにメール等でサービスコールの必要性を報知するなどの機能を備えてもよい。
（キャリブレーション促進機能）

さらにこのような状態変化判定手段３５の告知機能として、三次元画像処理装置のキャリブレーションの実行を促すこともできる。状態変化判定手段３５が三次元画像処理装置の状態変化、例えば劣化をユーザに報知することで、これを受けたユーザは必要な対策を講じることができる。例えば、測定誤差が所定値以上である場合に、ユーザに報知して、較正（キャリブレーション）を促したり、メンテナンスコールを行うなどして、正確な測定の維持が図られる。
（キャリブレーション）

キャリブレーションは、例えば寸法が既知のワーク（キャリブレーションプレート）に対して、各計測系で三次元情報を取得し、その計測結果を既知の値と対比する。そして、計測結果が既知の値となるような補正を行うことで、状態変化の影響を内部演算によって修正できる。
（差分データ）

次に、２つの距離画像の比較結果、ここでは差分データに基づく状態変化判定の原理について、説明する。三角測距を基本原理とする三次元画像処理装置では、上述の通り複数の計測系の計測結果を合成したものを最終的な計測結果とする。これによって、ランダムノイズの低減や直線性の改善、影による計測不能領域の削減等が得られる。例えば、製造時における計測系１の計測結果を図９に、同じワークを計測した計測系２の計測結果を図１０に、それぞれ示す。これら図９と図１０を合成した結果、図１１のような測定結果が得られる。

ここで、各計測系で得られる測定結果は、一致していることが前提となる。しかしながら、三次元画像処理装置の内部で経年劣化や、落下等の外部からの衝撃を受ける等により狂いが生じると、各計測系の測定結果が一致しなくなる。またこのような誤差は、温度、湿度変化サイクルによる変形等によって、経時的に大きくなる場合がある。例えば図９、図１０のような製造時の計測結果の差分は、図１２のようになる。このように誤差が小さいレベルであれば、測定精度への影響は少ない。一方、経時変化後の計測系１の計測結果が図１３、同じく経時変化後の計測系２の計測結果が図１４のような場合は、これらの差分は図１５のようになって、測定の精度に与える影響が大きくなる。

そこで、差分の発生を逆手にとって、劣化の判定に利用することを考える。すなわち、各計測系の差分を演算し、得られた差分が所定の閾値を超えている場合に、劣化が生じていると判定する。この方法であれば、状態変化判定用の特別な部材を追加することなく、三次元画像処理装置が備える測定機能を利用して、演算のみで劣化を検出できる。ここでは、状態変化判定手段３５でもって、それぞれの計測系で得られる測定結果間の差異に基づいて、計測器が経時変化等の何らかの異常を起こしていることを検知する。
（差分の演算例）

差分の具体的な計算方法の例としては、例えばすべての計測系で計測可能な点における差分の平均値とする。いいかえると、いずれかの計測系で計測できない点については、差分を演算しない。図８の例では、計測系１と計測系２で、計測可能な点における差分の平均値を、比較演算手段３３で演算している。

あるいは、すべての計測系で計測できている点における差分の最大値を、比較演算手段３３で演算してもよい。あるいはまた、すべての計測系で計測できている点における差分の平均値や最大値の、標準偏差や分散でもって、所定の閾値と比較することもできる。
さらに、すべての計測系で計測できている点における差分が、基準値を超えている点の数を、所定の閾値（数）と比較することもできる。
（差分演算の流れ）

ここで、比較演算手段３３が差分を演算する手順の一例を、図１６のフローチャートに基づいて説明する。ここでは、計測系１におけるＸ，Ｙ座標（ｘ_n，ｙ_n）における距離データ（高さ情報）をｚ₁（ｘ_n，ｙ_n）、計測系２におけるＸ，Ｙ座標（ｘ_n，ｙ_n）における距離データをｚ₂（ｘ_n，ｙ_n）、距離画像の画素数（計測値数）をＮ、個々の差分データをｄｋ、個々の差分データに基づいて算出される計測系間の差分データをｄとする。まずステップＳ１６０１において、初期化を行う。ここでは、画素の位置を示す指標ｉ，ｋについて、それぞれをリセット（ｉ＝０，ｋ＝０）する。次にステップＳ１６０２において、任意の点について、すべての計測系で計測できているか否かを判定する。ここでは、計測系１におけるｚ₁（ｘ_i，ｙ_i）と、計測系２におけるｚ₂（ｘ_i，ｙ_i）が、共に有効な計測値であるかどうかを判定する。有効な計測値である場合、すなわち計測系１、計測系２共、距離データを計測できている場合はステップＳ１６０４に進み、計測できていない場合はステップＳ１６０３に進む。ステップＳ１６０３においては、位置を変えた上で（ここではｉをインクリメント（ｉ＝ｉ＋１）する。）、ステップＳ１６０２に戻って処理を繰り返す。一方、ステップＳ１６０４においては、該位置における距離データの差分を求める。ここでは、ｄ_k＝｜ｚ₁（ｘ_i，ｙ_i）−ｚ₂（ｘ_i，ｙ_i）｜を演算し、さらに差分データの指標をインクリメントする（ｋ＝ｋ＋１）。そしてステップＳ１６０５に進み、距離画像のすべての画素に対して処理が終わったか否かを判定し（ここではｉ＜Ｎか否かを判定）、終了した場合はステップＳ１６０６に進み、未だの場合はステップＳ１６０３において、位置を変えた上でステップＳ１６０２以降の処理を繰り返す。そしてすべての画素に対して処理を終えると、ステップＳ１６０６に進み、差分データｄを決定する。差分データｄの決定方法は、上述の通り、ｄ_kの平均値、ｄ_kの最大値、ｄ_kの分散等を選択できる。以上のようにして、差分データを比較演算手段３３で演算することで、この差分データに基づいて状態変化判定手段３５が状態変化判定、例えば劣化判定を行うことができる。

さらにこのような状態変化判定は、いずれか一の計算結果に対して、基準となる閾値を超えるかどうかで行っても良いし、それぞれの計算結果に対して各々の基準値を設け、それぞれの結果に基づいて最終的な判定を行っても良い。

ここで、計測可能な点は、画素単位とする他、複数の画素の纏まりでもって点とすることもできる。あるいはまた、すべての点でなく、所定の領域の内、特定の部位の点でもって判定することもできる。例えば、検査対象領域の四隅や、中央の点を用いることもできる。本実施の形態では、四隅と中央の５箇所で高さ情報を、左右の計測系１、２でそれぞれ計測し、比較演算手段３３で演算した各差分値が、共通の閾値を超えるかどうかでもって状態変化判定手段３５が状態変化の有無を判定している。この方法であれば、限られた点のみについて演算すれば足り、状態変化判定を低負荷で処理できる。
（状態変化判定の流れ）

次に、状態変化判定機能で状態変化判定を行う手順の一例を、図１７のフローチャートに基づいて説明する。まずステップＳ１７０１において、計測系１で距離画像を計測する。次にステップＳ１７０２において、距離画像を計測する。さらにステップＳ１７０３において、計測系１と計測系２でそれぞれ得られた計測値すなわち高さ情報の差分を、比較演算手段３３で演算する。そしてステップＳ１７０４において、演算された差分の値と所定の閾値とを状態変化判定手段３５で比較し、閾値を超える場合はステップＳ１７０５に進んで、状態変化の発生を告知して、ステップＳ１７０６に進む。一方、差分値が閾値を超えない場合は、ステップＳ１７０６に進んで、各計測系で得られた距離画像の合成を行う。このようにして、各計測系の距離画像の差分に基づき、効果的な状態変化判定を実行できる。

なお、状態変化が検出された場合は、距離画像の合成を一旦中止する構成としてもよい。例えば図１８のフローチャートに示すように、ステップＳ１８０１〜ステップＳ１８０５までは図１７と同様の手順として、ステップＳ１８０５において劣化と判定され所定の通知を行った後、処理を中止することで、劣化のある不正確なままで距離画像の合成を行う事態を回避できる。
（タイミング）

また、状態変化判定手段３５が状態変化判定を行うタイミングは、任意とできるが、測定前に行うことが望ましい。例えば高さ検査や画像検査の処理実行に先立ち、三次元画像処理装置に対して各種の設定を行う設定モードにおける所定のタイミングで、状態変化判定手段３５が自動的に状態変化判定を実行する。このように、測定前の準備や設定の段階で自動的に状態変化判定を行うことにより、ユーザが劣化判定作業を意識することなく、予め劣化の発生の有無を確認した上で測定作業を行え、測定作業が無駄になる事態を回避できる。また、所定のタイミングで自動的に劣化判定を行うことで、ユーザは劣化の発生の有無を気にすることなく、三次元画像処理装置を利用できる。ただ、必要に応じてユーザが望むタイミングで劣化判定を実行するように構成することも可能であることはいうまでもない。

この例では、基準面指定手段で基準面を設定する際に、状態変化判定手段３５が状態変化判定を行う。ここで基準面設定とは、計測に先立ち、ユーザの検査対象基準面（例えばワークの載置面）と、装置の基準面（Ｚ＝０の平面）を一致させる処理を行うものであり、例えば、検査対象基準面がある方向に傾いていた場合、それに合わせて装置のＸＹＺ軸を調整し、基準面を一致させる処理を云う。これにより、計測に先立つ基準面の設定の段階で自動的に劣化を判定して、一定以上の劣化が生じている場合は劣化を告知することで、必要な較正作業等を行わせることができる。

基準面設定に際して行う状態変化判定動作は、例えばワークを載置するためのステージを、ワークを載置していない状態で測定する。この状態であれば、陰影がないので、同じ画像を撮像しやすい。これに対して、実際のワークを撮像する場合は、投光手段の投光や照明の方向によって、影が異なる結果、各計測系で同じ画像が撮像できないことがあり、同じ画像に対して差分を演算するという前提が得られないことがある。そこで、ワークの無い状態で距離画像を撮像することで、このような問題を回避して正確な差分を演算し、状態変化判定を行える。あるいは、ワーク内に存在する平面をユーザに領域指定してもらい、その領域内について差分を演算するという方法も考えられる。その場合、ユーザによる領域指定が必須となるが、任意のワークに対して実施することが可能となる。

以上のように、本実施の形態に係る三次元画像処理装置によれば、本来同一の計測結果が得られるはずの２方向からの計測結果に基づいて、三次元画像処理装置内部の構造変化を検出でき、さらに必要に応じてユーザに報知することもできる。

本発明の三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、三角測距の原理を利用した検査装置等に利用できる。

１００、１００’、２００、３００、４００、５００…三次元画像処理装置
１、１Ｂ、１Ｃ、１Ｄ、１Ｅ…ヘッド部
２、２’…コントローラ部
３…入力手段
４…表示手段
１０、１０Ａ、１０Ｂ、１０Ｃ…撮像手段
２０…投光手段；２０Ａ…第一プロジェクタ；２０Ｂ…第二プロジェクタ
２１…測定光源
２２…パターン生成部
２３、２４、２５…レンズ
３０…ヘッド側制御部
３１…ヘッド側演算部
３２…距離画像生成手段
３３…比較演算手段
３４…フィルタ処理部
３５…状態変化判定手段
３６…ヘッド側通信手段；３６Ａ…コントローラ接続用インターフェース；３６Ｂ…ＰＣ接続用インターフェース
３８…記憶手段；３８ａ…距離画像記憶部；３８ｂ…輝度画像記憶部
４１…コントローラ側設定手段
４２…コントローラ側通信手段
４３…階調変換条件設定手段
４４…基準面指定手段
４５…空間コード化切替手段
４６…階調変換手段
４７…間隔均等化処理設定手段
４８…投光切替手段
４９…シャッタースピード設定手段
５０…検査実行手段
５１…主制御部
５２…コントローラ側接続部
５３…操作入力部
５４…表示制御部
５５…通信部
５６…ＲＡＭ
５７…コントローラ側記憶手段
５８…補助記憶手段
５９…出力部
６０…画像処理部
６２…異常点ハイライト手段
６４…画像サーチ手段
６６…リアルタイム更新手段
７０…ＰＬＣ
１１０…投光部
１２０…受光部
１４０…ステージ
１９０…三次元画像処理装置
１９１…ヘッド部
１９２…コントローラ部
ＷＫ…ワーク

Claims (16)

1. 検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置であって、
   少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び／又は
   検査対象物に対して光を投光するための一以上の投光手段
   を計３台以上備え、前記撮像手段及び投光手段が正常な状態において、各計測系で略同一の計測結果が得られるようにしてなる複数の計測系と、
   前記撮像手段で撮像された複数の画像に基づいて、各計測系の距離画像を複数生成可能な距離画像生成手段と、
   前記距離画像生成手段で生成された複数の距離画像を比較するための比較演算手段と、
   前記比較演算手段で演算された比較結果に基づいて、三次元画像処理装置の正常な状態からの状態変化の度合いを判定するための状態変化判定手段と
   を備えることを特徴とする三次元画像処理装置。
2. 請求項１に記載の三次元画像処理装置であって、
   前記状態変化判定手段は、状態変化の度合いが所定の閾値を超えた場合に、三次元画像処理装置のキャリブレーションの実行を促すよう構成してなることを特徴とする三次元画像処理装置。
3. 請求項１又は２に記載の三次元画像処理装置であって、
   前記比較演算手段が、すべての計測系において計測できている点における差分の平均値に基づいて、状態変化の度合いを演算してなることを特徴とする三次元画像処理装置。
4. 請求項１又は２に記載の三次元画像処理装置であって、
   前記比較演算手段が、すべての計測系において計測できている点における差分の最大値に基づいて、状態変化の度合いを演算してなることを特徴とする三次元画像処理装置。
5. 請求項１又は２に記載の三次元画像処理装置であって、
   前記比較演算手段が、すべての計測系において計測できている点における差分の標準偏差又は分散に基づいて、状態変化の度合いを演算してなることを特徴とする三次元画像処理装置。
6. 請求項１又は２に記載の三次元画像処理装置であって、
   前記比較演算手段が、すべての計測系において計測できている点における差分が基準値を超えている点の数に基づいて、状態変化の度合いを演算してなることを特徴とする三次元画像処理装置。
7. 請求項１〜６のいずれか一に記載の三次元画像処理装置であって、さらに
   検査対象物を計測するための基準となる基準面を、三次元画像処理装置に設定するための基準面指定手段を備えており、
   前記状態変化判定手段が、三次元画像処理装置の状態変化の度合いを判定するタイミングは、前記基準面指定手段で基準面を設定する時点であることを特徴とする三次元画像処理装置。
8. 請求項１〜７のいずれか一に記載の三次元画像処理装置であって、
   前記投光手段が、撮像手段の光軸に対して斜め方向から入射光を所定の投影パターンの構造化照明として投光可能であり、
   前記撮像手段が、前記投光手段で投光され、検査対象物で反射された反射光を取得して複数のパターン投影画像を撮像し、
   前記距離画像生成手段が、前記前記撮像手段で撮像された複数のパターン投影画像に基づいて、距離画像を生成可能に構成されてなることを特徴とする三次元画像処理装置。
9. 請求項１〜７のいずれか一に記載の三次元画像処理装置であって、
   前記距離画像が、ステレオ画像であることを特徴とする三次元画像処理装置。
10. 請求項１〜９のいずれか一に記載の三次元画像処理装置であって、さらに、
    前記距離画像生成手段で生成された距離画像を、該距離画像の階調数よりも低い階調数の、該距離画像が有する高さ情報を画像の濃淡値に置き換えた低階調距離画像に階調変換するための階調変換手段と、
    前記階調変換手段で階調変換された低階調距離画像を表示させるための表示手段と、
    前記表示手段上で表示された、検査対象物を表示する画像中で、検査対象となる検査対象領域を設定するための検査対象領域設定手段と、
    前記距離画像中の、前記検査対象領域設定手段で設定された検査対象領域に対して、所定の検査処理を実行するための検査実行手段と
    を備えることを特徴とする三次元画像処理装置。
11. 請求項１０に記載の三次元画像処理装置であって、
    前記状態変化判定手段が、各計測系で取得した、検査対象領域の四隅又は中央の高さ情報を対比して、三次元画像処理装置の状態変化の度合いを判定することを特徴とする三次元画像処理装置。
12. 請求項１〜１１のいずれか一に記載の三次元画像処理装置であって、
    １台の撮像手段を中心として、２台の投光手段を、該撮像手段の左右にそれぞれ配置してなることを特徴とする三次元画像処理装置。
13. 請求項２に記載の三次元画像処理装置であって、
    三次元画像処理装置のキャリブレーションが、形状及び寸法が既知の検査対象物を撮像し、該検査対象物の測定値を既知の値と比較することであることを特徴とする三次元画像処理装置。
14. 少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び／又は検査対象物に対して投光するための一以上の投光手段を、計３台以上備え、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置の状態変化を判定する方法であって、
    前記一以上の撮像手段で、同じ部位の画像を異なる方向から撮像し、前記撮像手段で撮像された複数の画像に基づいて、距離画像生成手段で距離画像をそれぞれ生成する工程と、
    前記生成された複数の距離画像を比較して、状態変化を判定する工程と
    を含むことを特徴とする三次元画像処理装置の状態変化判定方法。
15. 少なくとも検査対象物の画像を撮像する一以上の撮像手段、及び／又は検査対象物に対して投光するための一以上の投光手段を、計３台以上備え、検査対象物の高さ情報を含む距離画像を取得すると共に、該距離画像に基づいて画像処理を行うことが可能な三次元画像処理装置の状態変化を判定するプログラムであって、コンピュータに
    前記一以上の撮像手段で、同じ部位の画像を異なる方向から撮像し、前記撮像手段で撮像された複数の画像に基づいて、距離画像生成手段で距離画像をそれぞれ生成する機能と、
    前記生成された複数の距離画像を比較する比較演算機能と、
    前記比較演算機能での比較結果に基づいて、三次元画像処理装置の状態変化の度合いを判定する状態変化判定機能と
    を実現させることを特徴とする三次元画像処理装置の状態変化判定プログラム。
16. 請求項１５に記載の三次元画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体又は記録した機器。