【発明の詳細な説明】
三角測量ベース三次元画像形成・処理方法および装置
技術分野
本発明は、機械視覚方法および装置、特に三角測量ベース三次元画像形成・処
理方法および装置に関する。
背景技術
三次元画像形成技術は、コンフォーカル顕微鏡から飛行時間レーザ測距儀にわ
たって、顕微鏡的な集積回路測定用途から移動ロボット・ナビゲーションのよう
な大きい視界用途までをカバーすることが証明されている。これらのセンサの性
能仕様は広範囲にわたって変化し、性能指数はしばしば特殊な要求に基づいて決
定される。
多くの用途で、全対象物体積の１００%点検の急速点検速度と共にミクロンの
単位あるいはおそらくはそれよりも微細な単位で測定される正確さおよび精度も
同時に要求される。このような要求は、センサ・デザインについての努力目標で
あり、基本的な画像形成限度についての考慮を必要とさせる。これらの限度は、
画像形成のために使用される走査装置および検出装置の技術仕様の検査ばかりで
なく、検査されている対象物の特性（反射率、透過率、センサ解像度に対するサ
イズ）の精密な検査も必要とする。三次元システムにおいては、測定値の再現性
はセンサ・パラメータ（信号対ノイズ、解像度その他）によってしばしば制限さ
れるが、絶対精度は対象物構造および光学的背景（空間的ノイズ、時間的ノイズ
の両方）の影響によって制限される。
小型化に向かう趨勢が高まるにつれて、マイクロエレクトロニクス組立体およ
びミニチュア部品の製造では、自動三次元光学点検装置に対する非常に微細な測
定または欠陥検出能力が要求される。これらの測定要求を潜在的に満たすことが
できる三次元センサとしては、コンフォーカル顕微鏡、ダイナミック・フォーカ
ス・センサ、三角測量ベース・プローブおよび種々の干渉装置がある。関心のあ
る特殊な領域をモニタするコスト効果のある解決策が現在存在するが、測定速度
でしばしば制限を受ける。
たとえば、全表面にわたって採取された２．５μｍ×２．５μｍ(このような
装置の点検のためにはきめが粗いかもしれない)サンプルで６”×６”ウェーハ(
または他の対象物)の１００%点検についての要求は非常に厳しい。代表的なダイ
ナミック・フォーカス・プローブは、約１０００データ・ポイント／秒を取得す
る。その結果、６”×６”対象物のための点検時間は１．３ヵ月である。ポイン
ト三角測量センサは、約１００００ポイント／秒で作動し、点検時間を２、３日
に短縮する。米国特許第５，０２４，５２９号に記載されているように、ビデオ
率に接近する三次元センサは点検時間を分単位まで短縮し、これは多くの設備に
とって許容範囲内である。
また、インライン１００%点検のための他の用途では、よりきめの粗い解像度(
たとえば、２５μｍ×２５μｍ)での６”×６”部品の１００%点検について２、
３秒を要求することがある。多くの用途において、速度、精度間のトレードオフ
は許容されず、これが多くの現存の測定器具をオフライン点検に制限し、付加価
値をかなり低下させている。それ故、点検装置の投資収益を最大にするために精
度および高速性(これらは相互に矛盾するパラメータである)が共に要求される。
明らかに、非常に急速なデータ速度が１００%点検のために達成されなければな
らない。
精度要求および速度要求を満たすことができる三次元イメージャは少なくとも
以下の領域において必要とされることが認識されている：
● 回路基板および構成要素の点検：ハンダ・ペーストおよび構成要素、リー
ド・ハンダ・ボール格子配列共平面性、パッケージ寸法およびリード対ボデー隔
離；
● マイクロエレクトロニクス組立体：多チップ・モジュール、高密度ミニチ
ュア・バンプ格子配列、ＴＡＢインナーリード結合、ワイヤー接合；
● 微細機械加工部品：ミニチュア機械および機械的組立体；
● データ保存工業：ディスク・プラッタ平面度、ディスク・ドライブ・サス
ペンション、欠陥検出；
● 一般的な表面欠陥検出：セラミックス、ガラス、金属、紙；
● 形状分析およびマッチング：ツール・マーク、小火器ID、パターン・マッ
チング、三次元テクスチャ分析を含む法科学。
すべての公知の三次元画像形成方法のうち、三角測量は、高速・高精度製品の
ための最も実際的な方法となる。三角測量は、比較的短い作動距離が容認でき、
三次元形状のオフアクシス目視検査が許容できる（すなわち、幅が狭い孔や深い
孔がない）用途のための最も効果的な方法である。
第１図は代表的な三角測量ベースのセンサのスケッチを示している。入射レー
ザ光線１０は、第１または第２の高さ１４、１６のところで対象物１２を照らす
。拡大のために位置感知検出器またはアレイ・センサ１８が受光器光学系２０と
共に設けられる。センサ１８の瞬間視野が２２で示してある。高さ・グレイスケ
ール情報が、信号プロセッサ２６から画像処理・分析用のコンピュータ２８まで
のライン２４上に与えられる。
三角測量方法は多くの利点を与えるけれども、大部分が第２図に示すように陰
影妨害あるいはオクルージョンによるものであるのが明らかである或る種のエラ
ーを免れることができない。これらの問題は、少なくとも２台のセンサ３０、３
１の使用によって補正される。入射レーザ光線３２はオクルージョン領域３６を
有する段付き対象物３４を照らし、このオクルージョン領域で対象物の表面から
のセンサ光線がセンサ３０から遮断される。しかしながら、この領域３６は線３
８で示すようにセンサ３１には見える。これら両方のセンサ３０、３１のIFOVが
３９で示してある。
潜在的な欠陥のより詳細な検査では、瞬間視野（ＩＦＯＶ）内の散乱光および
種々の光学的／電気的背景ノイズ源を受け取ることから生じる他の重要なエラー
がある。三角測量システムでは、ダイナミックフォーカス・センサと違って、三
角測量検知軸線に沿ったIFOVを単一ポイントまで縮小することはできず、システ
ム・デザイナはこの限界を処理する準備ができていなければならない。
単純なオクルージョンが、第２図に示すように、たった一対の検出器で解決で
きる比較的簡単な問題であることを認識することは重要である。しばしば、記録
された高さ値の合計値または平均値が概算のために使用され、そして、陰影が完
全である（迷光漏洩ではない）場合、適切な値が記録されることになる。合計値
または平均値はオクルージョンについては役に立たない。また、非オクルージョ
ン領域すなわち準平坦領域における表面粗さ／マークから生じる非対称スポット
分布によって創り出されるエラー寄与率は、位置検知軸線に沿って見られる非対
称スポット分布を平均化することによってかなり減少する。これは、非対称スポ
ット分布のピークが検出器#１にとって高く見える場合、検出器#２にとっては低
く見える対向した視点からの像形成の結果である。平均値（または２つの検出器
の中問点）はスポット中心についての良好な推定値であり、エラーが無効になる
かまたはかなり減少する。
しかしながら、複雑な表面の検査では、複数チャネルを加算あるいは平均化す
るだけのセンサ処理技術は大部分の厳しいエラーを除けないかまたは識別さえし
ないことがわかった。第３図において、入射レーザ光線４０は、対象物４２の半
透明材料を通過し、外へ伝播して第１のセンサ５０に背景光として見えることに
なる。この際、対象物４２は第２のセンサ４４には見えない散乱中心からの光を
遮断する。対象物４２の領域４３では、散乱光は両方の検出器に見える。光は内
部散乱材料４３から散乱する。平均値はもはや適切な高さ測定値とはならず、実
際に領域がかなり低いときには非常に高いピークとして誤って記録される。真の
表面位置は４６で示してあり、截頭の（陰になった）スポット分布が４８で示し
てある。第２のセンサ５０のところで、スポット分布は５２で示してある。領域
４７では、散乱光は第２のセンサ５０にのみ見える。センサ５０によって見える
散乱中心からの光線は４９で示してある。
第３図に示すこの厳しいエラーは、高さに基づく対象物および背景の適切な判
定を制限し、また、「存在／不存在」検出の能力さえ制限する。
同様に、第４図は一連のパッド５４をハンダ・ペーストで覆った場合あるいは
より微細なスケールの場合にリード線をタブ集積回路のインナーリード結合領域
においてボンディング・パッドに接続した場合に回路基板上にしばしば見いださ
れるケースを示している。第４図は、第１、第２のレーザ光線走査５１、５３お
よびそれらの対応する第１、第２の検出器５６、５８を示している。線６０は正
しい検出器位置を示し、検出器５６、５８上のスポットは実際の検出器位置を表
している。
パッド５４は近接しているので、傾斜したエッジは線６２で示すように隣接の
パッドからの複数反射または二次背景照明を生じさせる。線６４は該当のポイン
トからの有効な距離情報を示している。センサは隣接のパッドからの二次反射を
見て誤った高さ値を生じさせるが、ノイズがセンサ５８から遮られないので、エ
ラーは単純な平均化ではキャンセルすることができない。それ故、単純な平均化
はエッジのところに人為現象を生じさせ、不正確な高いｚ値５８として表される
のに対して値５６は正しい。
別の重要な例が第５図に示してある。対象物は、光沢のある表面仕上げと、湾
曲した幾何学的形状とを有し、この構成配置はいかなる三次元画像処理システム
にとっても最も難しいものである。特殊な例は、毎平方インチ当たり数百または
数千にもなるハンダ付着物からなるボール格子配列（BOA）の要素である単一の
ハンダ・ボール６６である。各ハンダ・ボールの寸法は約１０ミクロンから約０
．５mmまで変化する可能性がある。高密度の小直径構成の場合、画像形成・画像
解析システムが非常に高い速度（おそらくは、毎秒あたり数千）で共平面性（高
さ）のずれを示す測定値およびボール直径測定値を得ることができる場合にのみ
点検が有効となることがわかる。対象物を横切る３つの代表的な走査は画像形成
および予備処理では難しいことを示している。
走査#１（第５図に図示せず）。走査レーザビームがハンダ・ボールのピーク
付近にあるとき、グレイスケールと高さ値はかなり一致し、充分センサのダイナ
ミック・レンジ内にある。平均高さ値は良好な推定値であり、スポット分布にお
ける或る種の非対称性をキャンセルする。表面配向はセンサ６８、７０にとって
有利である。
走査#２。しかしながら、センサ６８が直接的な正反射を受け入れるように表
面法線がなっている場合の入射レーザ光線７２についての第２走査の場合、非常
に高いグレイスケール値がセンサ６８のところに記録されることになる。この信
号は、高速自動光量制御（ALC）を使用した場合でも、システムのダイナミック
レンジを容易に超える可能性がある。ALCを使用してセンサ６８を所定レンジ内
に持って行った場合(たとえば、１〜２のデケードだけ信号を減らすことによっ
て)、センサ７０は弱光復帰を受け、信号対ノイズ比が劣等となり、高さの推定
値が不正確になる。センサは輝度レンジ内に持って行かれるが、ローカルなダイ
ナミックレンジがかなり大きいので、光学的クロストーク（スメアおよびストリ
ークノイズ）が飽和ポイント付近の領域における高さ値の破壊を招く可能性があ
る。これは信号がローカルな領域において約４デケードだけ変化する可能性があ
るからである。
さらに、ALCレンジが極端な場合、測定速度は妥協して処理するとよい。ALCの
レンジが不充分で、強い信号の圧縮がセンサ６８にとって有効なデータを生成し
ない場合、センサ７０もレンジ外となる。直接的なレーザ・ダイオード変調(１
デケード・レンジのみ)が含まれる場合、この状況は容易に起きる可能性がある
。それ故、最も強い信号は必ずしもベストではないかもしれない。
走査#３。対象物の側面を下る第３の走査は最も難しい問題を示す。鏡面は、
光沢のある背景となり得るものを照らし、これは、入射角および反射のために、
センサ６８のところで、おそらくは当該ポイントからの信号よりも強い大きさの
オーダーとなる輝度読み取り値を発生する。この場合、センサ６８、７０からの
高さおよび輝度読み取り値はかなり異なっており、厳しいエラー状態およびデー
タの低い信頼性を示す。
これらの図は、単一のハンダ・ボールを走査するために、各センサが全ダイナ
ミックレンジを通じて作動することが要求され、多くのポイントで偽のデータに
遭遇することになることを示している。格子の測定では、１００%点検を組み立
てライン速度で行うことになっている場合、関節接合部の回転によってセンサを
再方向付けする余裕を持つことができない。さらに、このような幾何学配置では
、エラーを排除するセンサの有利な位置は存在し得ない。それにもかかわらず、
測定作業のための重要な情報は、誤ったデータ・ポイントを認識あるいは濾過す
ることができるならば、まだ利用できる。高さ値の単純な平均化（従来技術で提
案されている）が特に滑らかな表面仕上げを備えた複雑な形状について大きい測
定エラーを生じる多くの他の例を見出すことができる。
これらの現象と関連したエラーは定量化されてきた。プリント回路基板上のハ
ンダ・ペーストおよびトレースを点検するとき、代表的な問題を含むケースが生
じる。オクルージョンおよび反射からの人為現象の影響は長くて細い対象物につ
いての、測定してから９０°回転させ、そして再び測定した結果を比較すること
によって最も良く知ることができる。試験結果は、ハンダ・ペースト、背景およ
びパッド間の反射率バラツキに応じて約３０%から５０%までの読み取り値バラツ
キを示した。
エラーは第４図に示すようなオクルージョン領域が位置感度寸法に対応するパ
ッドの全長に沿っているときに目立つ。人為現象は計算で明らかになるばかりで
なく、目に見えるほど大きい。このようなバラツキは、インライン・プロセス制
御にとっては許容できないものであり、鮮明度のために、「存在／不存在」(き
めの粗い点検)についてかろうじて許容できるものである。
多くの三角測量ベースのプローブが利用できるが、それらは次のように広範囲
にわたって分類することができる。すなわち、ポイント・センサ、ライン・オブ
・ライト（line-of-light）システムおよびそれぞれ、約１０Kポイント／秒、最
高１００Kポイント／秒、最高１０Ｍポイント／秒のデータ信号速度を発生する
レーザ・スキャナである。特定の実施例に関係なく、複数の発光器、受光器装置
の種々の組み合わせを使用して第４図に示すようにシャドウイング、オクルージ
ョン関連の欠陥を減らすことによって性能を向上させることができることは、三
角測量ベースの画像形成分野の当業者には周知のことである。遅い測定速度の欠
点はさておき、透過した光点まわりに対称的に配置した４つの検出器システムと
８つの検出器システムを備えたポイント・センサが開発されている。４つの検出
器システムにおいては、受光器は正方形のそれぞれの辺に位置し、８つの検出器
システムではリング状の検出器配置となっている。このアプローチは明らかに有
利であるが、点検速度要求を考慮すると、この方法は許容できない。
アレイ・カメラ・システムでは、第３〜５図に示す反射現象から生じるエラー
は、位置検知軸線に沿って見出される多数のスポットをカウントし、抑制するこ
とによって時には減らすことができるが、測定速度が大きく低下することは避け
られない。さらに、正しい高さ値は単に各スポットの輝度に注目するだけで識別
することはできず、時には、第５図に示すように、誤った値がより大きい輝度を
有することがあり得る。
ライン・オブ・ライト・システムは、機械的に走査されたポイント検出器以上
のかなり測定速度の利点を与えるが、カメラ読み出し速度によって３０Kポイン
ト／秒レンジに制限される。複数のライン・オブ・ライト、高速フレーミング・
カメラあるいはより速いフレーム速度で読み取ることのできるもっと小さいアレ
イがいくつかの利点を与える。それにもかかわらず、シーン依存エラーが減少し
ない限り、精度は測定用途（高さ存在／不存在とはまったく異なった用途）にお
いてはしばしば許容できないことになる。レーザ・ライン・オブ・ライト走査シ
ステムあるいはライン走査システムでは、妨害されない検出器対の単純な平均化
を可能とする対称性は存在せず、連続走査を画像形成ヘッドまたは部分の回転と
共に、あるいは、直交ビューイングのために加えた付加的なカメラおよび走査線
と共に利用しない限り、２つの装置に検出器の数が制限される。
Clergetへの米国特許第４，５３４，６５０号が少なくとも２台の異なったセ
ンサ（フォトダイオード棒）を利用する三次元測定装置を記載している。部品の
目的の一部は、「不完全な感光性要素」からの出力を訂正することである。反射
およびオクルージョンについての上記の論議からわかるように、それは生じる可
能性のある問題の最低のものである。
Case et al.への米国特許第４，８９１，７７２号および同第４，７３３，９
６９号がライン、ポイント測定用の「複数」のセンサを使用することを記載して
いる。特徴としては、nxnアレイまたはセンサの使用することを可能とするスポ
ット・サイズ測定に基づいた露出制御、および各CCDアレイの読み出しから得ら
れた輝度分布からスポット中心を推定する「低レベル」アルゴリズムがある。‘９
６９特許においては、その第２欄で、「システムのユーザは或る種の領域を拒絶
し、複雑な幾何学配置からの複数反射によって引き起こされる誤った測定値を排
除することができる」と述べている。これは「windows」を置くために画像への
ユーザ・アクセスを許すことである。
‘７７２特許（これも複数の検出要素を使用する）では、露出を制御して検出
器にかかるパワーを釣り合わせる。
Sternへの米国特許第４，６４３，５７８号は、光線の位置および読み出し位
置と同期させたマスクを使用するシステムを記載している。この方法は、FOVの
外側の迷光からのエラーを減少させるのに非常に効果的であり、溶接用途で遭遇
するかもしれないような高い背景光学ノイズをマスキングするようになっている
。しかしながら、全位置検知領域は効果的にマスキングすることができず、厳し
いエラーがまだ存在する可能性がある。
Penney et al.への米国特許第４，６３４，８７９号および同第４，６４５，
９１７号がSternと同様に光学ノイズを濾波する手段を記載しているが、このシ
ステムはCCDアレイよりむしろ位置検出用の光電子増倍管を使用する。この非走
査アクションは、Sternに示されるのと同じ機能を実行する。ただ１つの受光器
が使用されるだけなので、オクルージョン効果が性能を制限する。
Nakawagaへの米国特許第４，５５３，８４４号が、ハンダを点検するための走
査／非走査装置を示している。位置検知軸線に対して直角の方向はブロックされ
、PenneyおよびSternと同様に、幅が狭いストリップであるIFOVを与える。位置
検知軸線は露出しており、単一の検出装置だけを使用する場合、システムは第４
、５図に示す現象によって制限を受ける。最も厳しいエラーは補正されない。し
ばしばブロックされる光はPSD軸線に沿って見出される「ハイライト」よりも低
い輝度を有する。
Amirへの米国特許第５，０４８，９６５号が、オクルージョン回避ためにCCD
線形アレイおよびマッチした対の光を使用する三次元画像形成方法を記載してい
る。この方法は、高速獲得（ビデオ率に近づいている）のための潜在性を有し、
４０９６線形アレイの場合、同時に広い範囲をカバーできる。この方法の場合、
２つの画像（各々２つのマッチした光源を有する）がオクルージョン回避のため
に必要である。各受光器のための位置検知検出器（PSD）を使用する代わりに、
一対のコード化した光パターン（正反対の符号の照明勾配）によって同等の機能
を得ている。これらの光パターンは、表面へ投影され、アレイ上に結像される。
このとき、対象物の各一回の走査毎に１つの照明パターンを用いる。単一の照明
方向から得られる高さ測定値は、２つのコード化されたパターン（パス間で切り
換えられる）に適用される比率計（ratiometric）処理（PSDベース・システムと
同様）で計算される。オクルージョン回避のためには、輝度値間の予め定められ
た関係を使用して所望に応じて照明空間分布から深さを計算する。こうして得
た式を検討したところ、２つの照明方向から得た中心推定値を平均化することと
同等であることがわかった。
Chen et al.への米国特許第５，１１８，１９２号が、不規則な対象物の有利
なビューイング状態を達成するために回転しているセンサの内部機械的手段を備
えたレーザ・ベースの三次元センサ・システムを示している。このシステムは、
複数のレーザ発光器および検出器を利用する。この装置は、オクルージョンおよ
び反射の人為現象が第５図にしめすものと同様であるハンダ・ジョイントのよう
な対象物のビューイングのために最適化されている。斜め照明・ビューイング装
置が、センサを回動させる手段と共に、ハンダ・ジョイントの傾斜側面のかなり
の部分を見ることを可能とし、高い信号対ノイズ（低い偽反射状態）が代表的な
表面配向、状態について達成され得るようになっている。しかしながら、オクル
ージョンおよび反射の人為現象が任意の単一画像内に存在するといういくつかの
状態がレイ・トレーシングによって見出すことができる。高速用途に応えるため
に、回転および関節接合によって獲得される複数の視点を獲得、処理する時間は
利用できない。
複数の三角測量ベース検出器を利用する他のシステムがHataへの米国特許第４
，７３１，８５３号(CCD検出器を使用する)およびKooijman,K.,Horijon,J.,(Phi
lips)による論文、"Video Rate Laser Scanner:Considerations on Triangulati
on,Optics,Detectors,and Processing Circuits",Proc.SPIE,Vol.2065，D．Svet
koffed.，Sept．1993，p．253，Sec．2，Triangulation Opticsに記載されてい
る。
発明の概要
本発明の目的は、深さ位置感知測定軸線に沿って検知された測定エラーを減ら
し、高速レーザ走査システムの全性能をかなり向上させるように三次元画像形成
用の濾波・推定技術を包含する三角測量ベース三次元画像形成・処理方法及び装
置を提供することにある。
本発明の別の目的は、測定した高さデータおよびグレイスケール・データの差
によってわかるように対象物構造についての情報を使用する三角測量ベース三次
元画像形成・処理方法および装置を提供すると共に、情報の信頼度レベルに依存
して最高コントラストについて各三次元データ値を推定（複数のセンサ・データ
の重み付き平均値による）するかあるいは濾波する知識ベース・マルチチャネル
信号処理方法を提供することにある。
本発明のさらに別の目的は、高速レーザ・スキャニング・システムを使用して
単一のレーザ光線を走査または投影し、正確に２つの検出器で光を受け取り、し
かも、複数（少なくとも２つ）の検出器または付加的な検出器／発光器対を使用
するより遅い機械的走査式ポイント測定値装置よりもかなり高い全速度・精度性
能指数を発生し、潜在的な利用度を最大にする三角測量ベース三次元画像形成・
処理方法および装置を提供することにある。
本発明のさらに別の目的は、リアルタイムで強力にかつ測定速度を低下させる
可能性のある特殊なプログラミング上の要求（ユーザ介入およびウィンドウ設置
）から独立して作動し、しかも異なった画像形成、測定用途のための濾波および
評価を最適化するように充分なプログラミング、閾値選択を可能とする三角測量
ベース三次元画像形成・処理方法及び装置を提供することにある。
本発明のさらに別の目的は、信号を電子的なレンジに圧縮または制限するのに
使用されるリアル・タイム光変調装置（直接レーザ変調、音響光学その他）を含
めた必要な用途を制限し、１つのチャネルでのオーバーロードが他のチャネルで
のオーバーロードである必要がないことおよび２つの信号のうち最も大きいもの
が最も望ましいものではないかもしれないということを認識することによってダ
イナミックレンジを改良する三角測量ベース三次元画像形成・処理方法および装
置を提供することにある。
本発明のさらに別の目的は、従来技術で行われていたように詳細を「平均する
(average out)」よりもむしろ表面微細構造の画質向上を行うように欠陥改善・
テクスチャ分析を行う線形および非線形ポイント方向濾波方法を提供する三角測
量ベース三次元画像形成・処理方法及び装置を提供することにある。
本発明のさらにまた別の目的は、グレイスケールと高さデータの相対的な一致
によって決まるような信頼度に基づいてピクセルに重みを付け、この相対的な一
致に基づいて変換体を選ぶ三角測量ベース三次元画像形成・処理方法及び装置を
提供することにある。
本発明のまたさらに別の目的は、データ有効性を決定するのに使用できる信頼
度測定値を生成する知識ベース三次元センサを包含するか、あるいはコンピュー
タ制御によってマニピュレータの制御を行って所望に応じてアーティキュレータ
に対してフィードバックを与える三角測量ベース三次元画像形成・処理方法及び
装置を提供することにある。
本発明の上記目的および他の目的を実行するに際して、変換済みの高さ値およ
びグレイスケール値を生成するための三角測量ベース三次元処理方法が提供され
る。この方法は、対象物に関して第１の方向から得た高さデータおよび輝度デー
タによって表される第１対のデータ値を生成する段階と、対象物に関して第２の
方向から得た高さデータおよび輝度データによって表される第２対のデータ値を
生成する段階とを包含する。この方法は、また、高さデータおよび輝度データを
処理するようになっている少なくとも１つの制御アルゴリズムを選択制御する段
階と、第１、第２の方向からの高さデータおよび第１、第２の方向からの輝度デ
ータをこの少なくとも１つの制御アルゴリズムで処理して変換高さデータを得る
段階とを包含する。
好ましくは、この方法は、第１、第２の方向からの輝度データを処理して変換
輝度データを得る段階を包含する。
また、好ましくは、この方法は、画像処理コンピュータによって処理されるよ
うになっている変換高さデータ、変換輝度データを送信する段階を包含する。変
換高さデータは少なくども１つの変換高さ値を表し、そして、変換輝度データは
少なくとも１つの変換グレイスケール値を表す。
さらに、本発明の上記目的および他の目的を実施するに際して、上記の方法の
各段階を実施する装置が提供される。
本発明の方法及び装置は、全般的に、三角測量の原理を使用する三次元画像形
成・測定に関係し、特に、高速画像形成のためのレーザ・スキャニング・システ
ムの使用に関係する。その場合、オクルージョンおよび偽反射の影響を減少させ
て精度を向上させるために多重検出システムが組み込まれる。本発明は、シーン
における各ポイントを走査ラインあるいは投影光線の両側に配置したぴったり２
台のセンサによって見るレーザ走査式あるいはレーザ構造式光センサによって獲
得されたグレイスケール・データ、高さデータのための新しい有用な濾波・評価
技術に関する。この方法は、付加的な検出器を包含するかなり遅いポイント・レ
ーザ三角測量システムと比較して、レーザ走査式システムの達成可能な性能指数
を制限するエラーの減少または除去が可能である。
本発明の上記目的、他の目的、特徴および利点は、添付図面と関連させた、本
発明を実施する最良の形態について以下の詳細な説明から容易に明らかとなる。
図面の簡単な説明
第１図は、単一の検出器を有するテレセントリック受光器を包含する基本的な
三角測量ベース・システムの概略図である。
第２図は、少なくとも２つの受光器、検出器サブシステムを使用することによ
って陰を減らす三角測量ベース二重受光器システムの概略図である。
第３図は、オクルージョンおよび大量の内部散乱の複合果が各検出器のところ
にセンサ・チャネルを平均化することによって除けない非対称スポット分布を創
り出す三角測量ベース二重受光器システムの概略図である。
第４図は、二次反射によって引き起こされたエラーが表面幾何学配置、反射率
および対象物近接を含む背景特性の複雑な関数となる三角測量を利用している三
角測量ベース二重の受光器システムの概略図である。
第５図は、光沢のある球形表面が、当該ポイントからの信号を超える可能性の
ある背景反射と組み合った大きい局所化された反射率変化（ダイナミックレンジ
）にまつわる問題を提起する三角測量ベース二重受光器システムの概略図である
。
第６図は、本発明に従って構成され、一般的な数値データおよび論理的データ
の濾波を行う二重センサ式三角測量ベース画像処理装置の概略図である。
第７図は、複数のセンサ信号を結合するために使用される基本的な電気回路の
概略ブロック図である。
第８図は、複数のセンサ信号を結合するのに使用され、第７図の電気回路より
小さいメモリ要求量を有するより特殊な電気回路の概略ブロック図である。
第９図は、複数のセンサ信号を結合するために使用され、第８図の電気回路よ
りさらに小さいメモリ要求量を有する他の特殊な電気回路の概略ブロック図であ
る。
発明を実施するための最良の形態
以下、図面を参照して、第６図に、本発明に従って構成された三角測量ベース
画像形成・処理装置が示してある。
この装置は、レーザ輝度制御のためのレーザ光線発生器兼電子的変調機構と、
レーザ光線を走査するかまたはレーザ光線を投影するためビーム偏向器と、対象
物１０２を横切って複数の走査ポイントまたは投影光線を創り出す光学合焦手段
とを一般的に包含するレーザ発光器１００を包含する。
一層詳しくは、レーザは、代表的には、７８０ナノメートル〜８３０ナノメー
トルの範囲内にある代表的な波長を有し、５0mwより低い最大パワーを有するシ
ャープ製LTO１５−MDのようなクラスIII−３レーザ・ダイオードである。半導体
レーザ・ダイオード技術の進歩により、格納装置および連動装置についての要件
を軽減するという主要な利点を有するより短い波長（６８０ナノメートル）を使
用できるようになっている。
自動光量制御装置１０４によるリアル・タイム輝度変調は、非常に広いダイナ
ミックレンジの画像形成のためのオプションであり、方向性反射率は約３より多
いデケードで変化する。レーザ・ダイオードの変調は直接的でもよいが、定格パ
ワーよりも約１以上多いデケードでの低下があり、特に回折走査システムにおい
て空間ノイズを導入する可能性のある望ましくない空間的、時間的モードを発生
する。古典的なシステムでは、ポリゴン、検流計または共振装置を使用している
。
好ましい変調手段では、５０ナノ秒遅延のような最小遅延に対して最適化され
た斜面構造を有する音響光学変調器を使用する。このような変調器で提供される
制御レンジは直接レーザ変調で達成できるレンジよりもかなり大きく、２つの付
加的レンジ・デケードを超える。好ましい方法は、光レベルを「上向き勾配」(ram
pup)とし、補助増幅検出器で反射を監視する。選択した検出器はアバランシェ・
フォトダイオード、好ましくは、Advanced Photonix Corporationによって供与
される、５mmまたはそれ以上の直径を有し、２５ナノ秒以下の複合増幅器／検出
器立ち上がり時間を有するする装置である。
本発明の方法は複数のポイント（通常、５１２であり、６４〜１０２４が代表
的な範囲であるが、より長い走査または投影を排除するものではない）を走査ま
たは投影することによってデータを獲得するので、レーザ光線を走査するかまた
は投影する手段が必要である。Svetkoff et al.への米国特許第５，０２４，５
２９号に記載されている好ましいシステムは、ソリッドステート音響光学デフレ
クタを使用してテレセントリック光学系で高速飛翔レーザ・スポットを発生させ
ている。他の高速走査手段としては、ポリゴン・レーザ・スキャナ、共振装置お
よびそれほど望ましくはない機械的偏向ユニットであるホロゴン（hologons）が
ある。また、代表的には１５Kポイント／秒よりも速い読み出しを行える高速カ
メラを使用して光線を投影することが考えられるが、準ビデオ率用途、全視野用
途には使用できない。
本発明の装置は、また、一般的に、オフアクシスを見る第１、第２のほぼ同じ
センサまたは受光器１０６、１０８を包含する。これらの受光器１０６、１０８
の各々は、光学送出・合焦システムと、位置検出および三角測量原理による高さ
の判定のための、そして、受光レーザ光線輝度の判定のための位置感知軸線を有
する検出器とを包含する。最適には、受光器１０６、１０８の各々は、レーザ輝
度制御のための高速増幅検出器（リミッタ）も包含する。この場合、受光された
光の微小部分が分割され、検出器へ引き渡される。この検出器は、アバランシェ
・フォトダイオードとその付随する前置増幅器とを包含していると好ましい。
特に、第６図の装置において、走査、投影された光線の長い軸線まわりにのみ
対称性があり、各々位置感知軸線を有する検出器へ光を引き渡すためにはたった
２つのほとんど同じ光学装置があればよい。種々の光学的、電子的な位置検出器
を速度および感度の要件に応じて使用することができるが、ダイナミックレンジ
要件が極めて大きくない場合（すなわち、非常に低いレベル信号の場合）には、
良好な性能を持つ高速能力（ビデオ速度まで）を与え得る横方向効果フォトダイ
オードを現在利用できる。第６図の２検出器システムの場合、ハードウェア・ル
ックアップ・テーブルを経由した較正アップデートの可能な能力と共に良好なマ
ッチングが要求される。
先に延べた輝度制御方法の最良の実施態様は、２つの検出器の各々からの受信
信号の組み合わせによって決定されることになる。
第５図は、検出器７０の能力が犠牲にされるポイントを最も良く示している。
電子的なダイナミックレンジを向上させるレーザ輝度制御は、光学ダイナミック
レンジおよび有限点広がり関数から得られた光学クロストーク効果から独立して
いる。
一般的に、自動光量制御装置１０４は電子式であり、先に述べた増幅検出器か
ら導かれる入力を有する。光量制御装置１０４は、出力電圧を発生して、両方の
チャネルの所定の機能に基づいて発光器１００の変調器を制御する(すなわち、M
ax（g1,g2）<V最大およびMin（g1,g2）>V最小となるように光出力をセットし、
このとき、Ｖ最大およびＶ最小が位置センサ・ダイナミックレンジの上限、下限
に一致するようにする)。その結果、可能なときはいつでも、いずれのチャネル
も位置検出器の最大有効ダイナミックレンジによってセットされた所定の最大輝
度を超えることはないが、両方のチャネルは下方の閾値を超え、それによって、
有効なデータ状態を維持する。
また、一般的に、受光器１０６、１０８の各々は、検出器上のスポット輝度分
布の重心を表しているデジタル高さ値を発生し、集積分布またはピーク輝度値か
らデジタル・グレイスケールを生成する信号処理手段または回路を包含する。
各位置検出器は、いくぶん限られた（代表的には高速で１０〜１２ビット）Ａ
−Ｄ変換器に広いダイナミックレンジの信号を圧縮する信号処理手段を必要とす
る。信号閾値との比較に基づいて各ゲイン（または圧縮）ステージを活性化する
切り換え式ゲイン増幅システムが好ましい。これにより、良好な直線性、容易な
較正および温度に対する良好な安定性が可能となる。オフセット・ドリフトを補
正するためにＤC復元回路が使用される（時に相関ダブル・サンプリングと呼ぶ
）が、より重要には、これは高信号値から低信号値までの電荷蓄積・漏洩から生
じる位置依存エラーを除くのに使用される。各ピクセルに訂正を行った場合、画
像汚点がかなり減少する。他の信号処理手段としては、単純な減算動作に対する
比率計（ratiometric）処理を単純化するログ比率回路がある。
グレイスケールおよび高さ情報のデジタル化後、複数のセンサ信号を或る種の
方法で結合してグレイスケール・コントラストを向上させながら任意所与のポイ
ントで高さ値の良好な推定値を生成しなければならない。先に延べた損傷の原因
となる反射ノイズが存在する場合、線形の推定値（平均値または合計値）がオク
ルージョンおよび反射問題が存在する複雑なシーンにとって単純過ぎることが示
された。さらに、平均算出（または合計算出）は走査レーザ・スポット・サイズ
がほぼ表面マークのサイズであるときに表面テクスチャの検討能力を制限し、或
る場合には、平均値よりもむしろこれらの特徴を改良することが望ましい。
それ故、センサデータの信頼度、伝達特性のシーン反射率についての知識また
は全測定目標に基づいて一連の交互の線形あるいは非線形変換を選ぶ条件決定ロ
ジックを使用すると適切である。達成される機能は、マルチチャネル濾波・評価
ブロック１１０として第６図に示したようなフィルタおよびエスチメータの両方
である。コントローラ１１２がホストコンピュータ１１４からのプログラムされ
た入力を介して選ばれた論理関数または数値関数を制御する。第７図は、多数の
数値関数、組み合わせ論理関数を実行するための特殊な実施例を示している。
第７図は、三次元情報（すなわち、Z１、Ｚ2）およびグレイスケール情報（GS
１、GS２）の濾波、椎定を行う一般的な結合論理手段を示している。この手段は
解像度８ビットである入出力データを示しているが、この手段は入力または出力
について任意数のビットに適用することができる。入力１２０（Z１）および１
２２（ＧＳ１）は第１受光器１０６からの三次元、グレイスケール情報であり、
入力１２４（Z１）および１２６（GS２）は第２受光器１０８からの三次元、グ
レイスケール情報である。ルックアップ・テーブル１２８は、あらゆる入力組み
合わせに対する１対１の対応のための十分なメモリ・アクセスを含み、Zデータ
１３０およびグレイスケール・データ１３２のための所望の出力を提供する。こ
のロジックは、システムに存在する可能性のある種々のエラー、たとえば、２つ
のセンサ間のスケール・エラーおよびオフセット・エラーあるいはグレイスケー
ル値に基づいた三次元情報における既知オフセットを訂正すると共に、或る特定
の用途に対して所望の出力を創り出すための適正な決定ルールを与えるのに使用
できる。
制御ロジック１３４は、ルックアップ・テーブル・メモリに所望の決定ルール
をロードすると共に、較正に基づいて電流決定ルールの急速修正を行うかあるい
は処理時間に対する影響の小さいプリロード決定ルールを選ぶのに使用される。
規則を予めロードする。
この一般的な手段は、両方の受光器からの三次元入力、レイスケール入力に基
づいて三次元出力およびグレイスケール出力の全機能符号化を行う。しかしなが
ら、この時、必要とされるメモリ量は、それが支援しなければならない用途につ
いてコスト的に非常に高くなる可能性がある。最小限のメモリ要求量で所望の機
能性を得ることができるこの手段のいくつかの変形例がある。
第８図は第７図の実施例よりかなり小さいメモリ要求量を持つ好ましい実施例
を示している。たいていの用途にとって、グレイスケール信号の変更が計算され
た三次元値に依存する必要はない。したがって、ルックアップ・テーブル１４０
は２つのグレイスケール入力にのみ依存するグレイスケール出力を提供する。ル
ックアップ・テーブル１４０の出力はいずれかの受光器からのみの結果であって
もよいし、両チャネルに基づいた線形あるいは非線形の推定値（たとえば、各チ
ャネルからの平均値、最大値あるいは最小低）であってもよい。
グレイスケール対Ｚルックアップ・テーブル１４２、１４４は、各チャネルそ
れそれについての三次元変換に対する全グレイスケールを提供する。それに加え
て、この手段は、決定ルール・ルックアッブ・テーブル１４６に通すことができ
るグレイスケール対Ｚ関係、たとえば、グレイスケール閾値化についての付加的
な情報を符号化するのに用いることができる２つの付加的なビットを示している
。たとえば、第１受光器１０６が予設定の閾値よりも小さいかあるいはそれより
も大きいグレイスケール値を有する場合、決定ルールは第２受光器１０８からの
三次元値を選ばなければならない。グレイスケール対Ｚルックアップ・テーブル
１４２、１４４から送られてきた余分なビットの数は２ビットとして示してあり
、決定ルール・ルックアップ・テーブル１４６において適用することができる最
高４つのテストを与える。しかしながら、任意数のビットを使用できる。
第９図は第８図の実施例よりも少ないメモリ要求量の別の実施例を示している
。第８図のグレイスケール対Ｚルックアップ・テーブル１４２、１４４の代わり
に
コンパレータ１５０、１５２が用いられている。これにより、第１、第２の受光
器１０６、１０８からのグレイスケール・データをバス１５６、１５８上の既知
の一定値と比較した後に決定ルール・ルックアップ・テーブル１５４に情報を提
供することができる。この手段は、全グレイスケール対三次元変換が必要ない場
合に好ましいかもしれない。
グレイスケール対グレイスケール・ルックアップ・テーブル１６０もまた、１
６２が決定ルール・ルックアップ・テーブル１５４に接続した情報ビットを生成
することができる。たとえば、２つの受光器１０６、１０８のうちのいずれかが
最大グレイスケール値を提供している。この手段はグレイスケール・チャネル毎
に１つのコンパレータを示しているけれども、複数のコンパレータを使用してグ
レイスケール値の範囲を適切なＺ決定ルールを選ぶように特定することを含めて
複数の閾値データを提供することができる。第８、９図の手段の各々のメモリ要
求量は、また、ルックアップ・テーブル（１４０または１６０）をスイッチ（図
示せず）と交換し、第１受光器１０６あるいは第２受光器１０８のいずれかから
連続的にグレイスケール情報を提供することによってグレイスケール対グレイス
ケール変換が不要となった場合にさらに減少することができる。
グレイスケール情報および三次元情報を提供するロジックは、特に、グレイス
ケール輝度が高すぎずあるいは低すぎず正確な三次元情報を提供するかまたは三
次元情報が範囲外にあることを示すことができるデータの符号化値を有し得る。
先に説明した手段（すなわち、第６〜９図に示す手段）のすべてにおいて、変換
テーブルは下流のロジックに変えられない特別符号化値を通すことができ、ある
いは、１つ以上のチャネルにおける特別な値の見かけに基づいて特別な決定を行
うことさえできる。メジアン・フィルタのような空間フィルタリングを後に用い
て周囲のピクセルから推量できるデータに基づいて特別な符号化値を「充填(fil
l-in)」することができる。
一般に、第７図のコンバイナはデジタルであり、三次元、グレイスケール情報
またはデータの二重チャネルを予処理してコンピュータ画像分析の先だってグレ
イスケール、三次元データの推定、濾波を行う。以下の代表的な機能がブロック
１１０で実行される。
ａ）デジタル化したグレイスケール値g１、g２をダイナミックレンジ（こ
のレンジは全センサ・ダイナミックレンジまたは予めプログラムされた値の幅の
狭いレンジ、すなわち、約約３：１ほども狭いが、１０５〜１０６ほども広いレ
ンジ）の選ばれた上限、下限を示すプログラム可能な閾値と比較すること。
ｂ）もしｇ１、g２の両方が指定限度内にない場合に特別な値でデータ・
ポイントを符号化すること。
ｃ）値ｇ１、g２がダイナミックレンジの選ばれた下限、上限内にある場
合に、記録された高さ値（z１〜z２）の差を予めプログラムされた一致許容範囲
と比較すること。
ｄ）高さ値z１、z２の所定の一致許容範囲との比較およびグレイスケール
値g１、g２の予めプログラムした閾値との比較の結果に基づいて少なくとも１つ
の論理関数または数値関数を選ぶこと。
ｅ）一致閾値およびグレイスケールg１、g２の値と所定の閾値との比較に
基づいて高さ値z１、z２を新しい高さ値Ｚに変換すること。
この変換は、以下の変換のいずれかあるいはすべてを含む。
ｉ．Z1、Z２が一致許容範囲内にあり、グレイスケール値g１、g２が予め
プログラムした範囲内にあるときにＺの最良推定値を提供するように高さ値の線
形（アフィン）変換に重みを付けること。
ｉｉ．データがより大きい許容範囲を超えるときの非線形順序統計値（す
なわち、最小値あるいは最大値）または最良の推定値Ｚを必要としないが、不一
致が許容範囲内にある場合にコントラストを向上させること。
ｉｉｉ．不一致が指定許容範囲を超えるときの無効データ状態を示す特殊
なコード（非常に重要な作業）。
ｉｖ．グレイスケール値g２（またはg１）がダイナミックレンジのプログ
ラムした限度外にあるが、他のチャネルが限度内にある場合にZ１（またはZ２）
を選ぶこと。
ｆ）一致閾値の指定の線形あるいは非線形変換との比較に基づいてグレイ
スケール値g１、g２を新しいグレイスケール値Ｇに変換すること。ここには、Z
１、Z２が一致許容範囲内にあるときのグレイ値の重み付き線形変換、データが
より大きい許容範囲を超えるときの非線形順序統計値(すなわち、最小値あるい
は最大値)または不一致が指定許容範囲を超え、それ故に無効なグレイスケール
・データ状態を示す時の他の特殊コードが含まれる。
ｇ）対象物のあらゆる単一サンプル・ポイントについて少なくとも１つの
変換グレイスケール値G（g１、g２）を記憶すること。
ｈ）対象物上のあらゆる単一サンプル・ポイントについて少なくとも１つ
の変換高さ値Ｚ（Z１、Z２、g１、g２）を記憶すること。
第８図の状態決定ルールに基づく画像形成システムについての実験結果は、代
表的な９０度回転テストを用いて容認できない３０%〜５０%レベルから５％レベ
ルまでエラーを低減できたことを示す。この性能は代表的な顧客ハンダ・ペース
ト仕様内にある。さらに、顕微鏡バンプ・BGA技術の点検のための画像品質が改
善され、４０ミクロン直径を有する微小ハンダ・ボールについての共平面測定を
可能とした。５ミクロン側方解像度（ハンダ・ボールを横切って８つのサンプル
）および深さで０．６ミクロン解像度の上記二重検出器型三次元センサを使用し
ての共平面測定について１ミクロンの再現性が見出された。決定ルールの小変更
でさらなる改良が予想される。ボール直径の改良された評価もまた、コントラス
ト改良のためにチャネルからのグレイスケール値の最小値を使用して得られた。
ディジタル・コンピュータ・アーキテクチャ、メモリ・コストの低減および高
速演算、論理装置の進歩により、新しくてより速いコンポーネントとの交換、小
型化およびいくつかの作業を実行するシーケンスの変更によって手段の変更が可
能となる。当業者にとって周知の特殊な変更としては、画像形成ヘッド・サイズ
の縮小方法、画像形成ヘッド内に信号処理機能を組み込むことのできる電子的な
デザイン、高速演算ユニットおよび論理ユニットを交互に使用するマルチチャネ
ル・プロセッサ内で必要とするメモリの縮小、入力画像についていくつかの機能
を実施可能とし、複数の出力画像を生成する付加的な画像のための記憶コンポー
ネントがある。
しかしながら、三次元データおよびグレイスケール・データの信頼度および根
元的な物理学についての知識に基づいて論理的および数値的な作業を選択するこ
とに関係する本発明の重要な要素は、従来技術からの重要な進歩、特に２つのセ
ンサ・チャネルを平均化するシステムを与える。
本発明を実施する最良の形態を詳細に説明してきたが、本発明が関係する当業
者であれば、以下の請求の範囲に記載されるように発明を実施するための種々の
代替設計、具体例を認識できよう。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 ケリー ロバート ダブリュー
アメリカ合衆国 ミシガン州 48105 ア
ン アーバー ジョーンズ ドライヴ
1558