【発明の詳細な説明】
空間色三角測量を使用したオプトエレクトロニクスシステム
発明の背景 1.発明の属する技術分野
本発明は、オプトエレクトロニクスシステムに関するものである。より詳細に
は、本発明は、空間色三角測量を使用して対象物の非接触式リアルタイム表面デ
ジタル化を行うオプトエレクトロニクスシステムに関するものである。2.関連技術の説明
オプトエレクトロニクスシステムにおける表面検知能力をより有効なものとす
るために、CAD上でのさらなる処理のための模型やモデルのデジタル化をさら
に推進することが要望されている。また、走査型機械部品といったような他の測
定評価応用においては、表面デジタル化を改良することが要望されている。空間
色三角測量技術を使用したオプトエレクトロニクスデバイスは、非接触デジタル
化を行うための、一般に周知の手段である。このような技術においては、しばし
ば、たいていのタイプの材料上において104分の1の被写界深度までの解像度
が得られるような、コヒーレントな光源を使用する。しかしながら、コヒーレン
ト光源を使用したシステムは、干渉を受けやすく、そのため、デジタル化プロセ
スにおいて光学ノイズを生成する可能性がある。加えて、単色三角測量技術は、
干渉効果や表面状態のために、光強度の変化に敏感である。
したがって、従来型光源を使用するための高解像度を有したかつコスト的に有
利なオプトエレクトロニクスシステムを提供することは、望ましいことである。
空間色三角測量を使用したオプトエレクトロニクスシステムは、対象物の光接触
式リアルタイム表面デジタル化をもたらす。さらに、非コヒーレント光源を使用
したシステムであることにより、主に光強度に影響されない測定技術をもたらす
ことができるシステムを提供することは、望ましいことである。本発明において
は、オプトエレクトロニクスシステムの2つの基本的な三角測量構成を、実施す
ることができる。すなわち、「面内」構成と、「v字形」構成と、を実施するこ
とができる。ここで、「v字形」構成は、光源と分光器の観測面との間の三角測
量角度を減少させ、これにより、従来の三角測量技術における閉塞の問題を回避
する。
本発明においては、さらに、このオプトエレクトロニクスシステム内に組み込
まれた表面微視構造補償技術が、表面不完全性によって引き起こされる測定誤差
を補正する。
発明の概要
本発明によれば、オプトエレクトロニクスシステムは、空間色三角測量(空間
色を利用した三角測量)を使用して、対象物の表面デジタル化を行う。オプトエ
レクトロニクスシステムは、被測定対象物を収容している観測空間を照射するた
めの投光サブシステムと、対象物による反射光を収集し、対象物の深さ方向色コ
ード化を使用して、対象物の3次元形状の認識を行うための観測サブシステムと
、を具備している。より詳細には、リレー光学系が使用されて、観測スリット上
に多色光源がイメージ化される。その後、スリットからのイメージは、分散素子
を通過する。被測定対象物は、観測空間内において、カット面(x、z)に沿っ
て、単色イメージの連続体によって照射される。カット面と被測定対象物の表面
との交差によって形成された色コード(x、λ)化表示は、イメージ分光器の観
測スリット上においてイメージ化される。リレーレンズは、このイメージを観測
スリット上に投影するために使用される。分光器のイメージ面内に配置されたグ
レースケールイメージ化アレイは、色コード化表示を認識し、イメージプロセッ
サは、分光的解析を使用して、色コード化表示を、対象物の3次元形状の部分へ
と変換する。
図面の簡単な説明
本発明の他の目的や利点は、以下の詳細な説明を読むことによりまた添付図面
を参照することにより、当業者には明瞭となるであろう。
図1は、「面内」構成を使用した本発明のオプトエレクトロニクスシステムの
第1実施形態を示すブロック図である。
図2は、本発明の第1実施形態において、測定空間にわたっての単色光の連続
体による照射を示す図である。
図3は、y軸に沿って画成された連続した平行カット面による、測定対象物の
表面の3次元的再構築を示す図である。
図4は、「v字形」構成を使用した本発明のオプトエレクトロニクスシステム
の第2実施形態を示す構成図である。
図5は、分光測定形状と、観測スリットが一様に照射されたときのイメージ分
光器内におけるガウシアン形状と、を示す図である。
図6は、分光測定における(観測スリット上の像における)微視的反射不規則
性の効果と、これに対応した、分光器内のイメージアレイに集積された測定誤差
と、を示す図である。
図7は、測定対象物の表面不規則性によって引き起こされたガウシアン形状の
ランダムシフト(光強度形状)を示す図である。
図8は、本発明のオプトエレクトロニクスデバイスの観測サブシステム内に組
み込まれた表面徴視構造補償技術を示すブロック図である。
図9は、分光器の観測スリット上への光強度から直接的に獲得されたスリット
イメージからの分光要素の再構築を示す図である。
好ましい実施形態の詳細な説明
本発明に関しての以下の説明は、特性を単に例示するためのものであって、本
発明およびその使用を限定することを意図したものではない。さらに、以下の説
明では、対象物の3次元的形状を決定するための空間色三角測量を使用したオプ
トエレクトロニクスシステムを例示しているけれども、以下の説明は、対象物表
面の深さ方向色コード化を使用した様々な測定応用のためのオプトエレクトロニ
クスシステムの形成方法および使用方法を、当業者に対して適切に説明すること
を意図したものである。
図1に示すオプトエレクトロニクスシステム10は、カット面32上にわたっ
て対象物16を照射するための投光サブシステム12と、対象物16によって反
射された光を収集して対象物16の3次元的形状を形成するための観測サブシス
テム14と、を具備している。本発明のこの第1実施形態においては、オプトエ
レクトロニクスシステム10の構成要素は、「面内」構成で示されている。
投光手段12は、リレー光学系22を通して連続スペクトルを投光する多色光
源20を備えている。リレー光学系22を通すことにより、光源からの光は、y
軸に沿って配向されている第1スリット24上に焦点合わせされるようになって
いる。多色光源20は、白熱光源、あるいは、連続スペクトルを有しかつ連続モ
ードまたはフラッシュモードで動作するアークランプ(すなわち、キセノンアー
ク)、あるいは、幅広いスペクトルバンド幅を提供し得るよう光学的に接続でき
る他の光源(すなわち、超放射性ダイオード、あるいは、発光ダイオード(LE
D))とすることができる。光源20は、また、投光手段12からは離れた位置
に配置するとともに、ファイバ状光学媒質や他の媒質を介して、投光サブシステ
ム12にまで、光を導くこともできる。
光源スリット24からの光は、分散素子26を経由して、測定空間30へと照
射される。分散素子26は、プリズム、凹状回折格子、回折レンズ、あるいは、
y方向に配向した多色イメージの連続体でもって3次元測定空間30を照射する
よう機能する他の分散光学系を備えることができる。カット面32は、測定空間
30内に配置された座標系のうちのx軸およびz軸によって形成された測定面で
ある。分散素子26は、また、それらイメージを、測定空間30内の標準焦点位
置に焦点合わせすることもできる。
λ1〜λnまでの総体的な波長が、図2におけるカット面32上にわたって示さ
れており、これにより、測定対象物の表面の深さ方向色コード化がもたらされる
。光ビームの波長範囲は、光源20から導光された多色光ビームの広がりに対応
している。
図1に示すように、「面内」構成においては、スリット24に代えてピンホー
ルを使用することができる。これにより、測定空間30内に平面を形成する単色
点イメージの連続体が得られることとなる。この手法では、対象物16のうちの
、観測サブシステム14に対して見える部分だけを照射する。この場合、投光サ
ブシステム12と観測サブシステム14との間の相互位置合わせ(相互軸合わせ
)を大きな許容度でもって行うことができるとともに、光源20のために必要な
光学パワーを低減することができ、さらに、対象物16からは直接的には見えな
い光によって起こり得る干渉効果を低減することができる。
測定されるべき対象物16は、測定空間30の内部に、部分的にあるいは完全
に配置することができる。対象物16の表面に沿ってカット面32を変位させる
ために、好ましい実施形態においては、対象物は、モータ付き機械手段34に対
して堅固に固定されている。この場合、機械手段34は、対象物16をy軸に沿
って移動させるようにおよび/または対象物16を所定軸回りに回転させるよう
に、動作する。これにより、対象物16の検査/表現を完全とするために必要な
、対象物16の連続したすべての観測を獲得することができる。当業者であれば
、機械手段が、例えばペンシルバニア州ピッツバーグのAerotech社によって製造
されたATS1000シリーズをといったような、様々な駆動アセンブリおよび
モータを備えることができることを理解されるであろう。エンコーダ/制御モー
タ36が、また、機械的手段34を電気的に駆動して同期させるために、機械的
手段34に対して連結される。
観測サブシステム14は、観測空間30のx軸に対して平行に位置合わせされ
た観測スリット42を有した、イメージ分光器40を備えている。分光器40の
イメージ面は、カット面32と対象物16の観測面との交差によって形成された
イメージに対して位置合わせされている。大きな被写界深度を有したリレーレン
ズ50は、分光器40の観測スリット42上へと、このイメージを縮小するよう
機能する。分光器40の内部においては、分散素子44が、分光器40のイメー
ジ面内に配置されたグレースケールイメージ化アレイ46上へと、このイメージ
を投影する。解像度を向上させるために、イメージ化アレイ46は、システム内
において使用されている全波長スペクトルに対してのアレイの高さを決めるべき
である。電荷結合素子(CCD)あるいは当業者に公知の他の同様のデバイスを
、イメージ化アレイ46と同様にして使用することができる。デジタル信号プロ
セッサあるいは汎用コンピュータといったようなイメージデータプロセッサ48
を、イメージ化アレイ46によって獲得された対象物16の測定結果を記録し処
理し可視化するために、分光器40に対して接続することができる。
イメージ化光学系50は、分光器40の内部におよび/または外部に配置する
ことができる。大きな観測空間に対してはテレセントリック光学系が実用的では
ないことにより(例えば、1インチよりも大きなサイズの高品質レンズは、製造
が高価である)、観測サブシステム14は、テレセントリック光学系なしで構成
することができる。本発明においては、古典的なリレーレンズまたは他の非テレ
セントリック光学系でもって、テレセントリック光学系を代替することができる
。この場合、対応した搬送が、観測スリット42の前に付加される。テレセント
リック光学系が、被写界深度全体にわたっての一定の倍率を確保するために使用
されることから、非テレセントリック光学系においては、ソフトウェア的な補正
が実施されることが好ましい。
動作時には、測定対象物16が、観測空間30内に配置される。観測空間30
は、分散素子26を経由した光源20からの単色イメージの連続体が照射されて
いる。その結果、測定対象物16の表面において深さ方向の色コード化が起こり
、測定対象物16による反射光の波長は、z軸測定内へと変換される。言い換え
れば、カット平面(x、z)の色コード化表示(x、λ)が、分光器40のスリ
ット42上にイメージとして現れ、グレースケールイメージ化アレイ46によっ
て認識される。遠近的なおよび光学的な捻れのために、イメージは、測定対象物
16の表面を表現しているだけである。しかしながら、オプトエレクトロニクス
システム10の校正プロセス時に形成される数学的マッピングの使用により、イ
メージプロセッサ48は、カット面32に沿った対象物16の表面と等価なデジ
タル化外郭ラインを再構築することができる。与えられた外郭ラインに対しては
、イメージ化アレイ46上の信号は、逆ガウシアン形状を有した曲線として現れ
る。その曲線の、イメージ化アレイ46に沿った位置は、対象物16の表面上に
おける対応ポイントの空間内容に依存する。イメージプロセッサ48においては
、様々な信号処理技術を使用することができ、これにより、ガウシアン形状の重
心が決定されて、対応z座標が決定される。
オプトエレクトロニクスシステム10のいくつかの応用においては、対象物の
表面からのただ1つの外郭ラインを利用するのみであるけれども、他の応用にお
いては、表面全体のデジタル化再構築が必要とされる。図3に明瞭に示すように
、ただ1つのカットライン70だけが分光器(図示せず)のイメージ面72に対
して位置合わせされることにより、対象物16の表面を再構築するためには、連
続した平行カット面に沿ってのさらなる測定が必要とされる。したがって、表面
全体を測定するためには、機械的手段34が、対象物16を、固定されている分
光器のイメージ面に対して、(y軸に沿って)移動させなければならない。表面
を測定するための代替可能な手法においては、被測定対象物16を、移動不可能
な保持部材に対して固定することができる。そのため、観測サブシステム14が
、固定されている対象物16に対して、(y軸に沿って)移動される。いずれに
しても、連続したカット面の各々を分光的に解析することによって、対象物16
の3次元的形状が得られる。
本発明の第1実施形態においては、オプトエレクトロニクスシステム10は、
「面内」構成と称される。この「面内」構成においては、図2に戻って、測定空
間30の左側の解像度は、λ1〜λ1の波長に制限されており、同様に、測定空間
30の右側は、λj〜λnの波長に制限されている。本発明において解像度を向上
させるためには、幅広い範囲の波長が、x軸に沿って、z軸の測定結果に相互関
連すべきである。三角測量角度を増加させると、z軸の測定結果に対しての解像
度が増加するけれども、三角測量角度の増加は、また、イメージの照射を妨害す
る対象物の起伏に基づく閉塞の問題に寄与する。
図4に示すように、好ましい第2実施形態においては、本発明によるオプトエ
レクトロニクスシステム100において三角測量角度を減少させるために、「v
字形」構成を採用している。この好ましい実施形態においては、光源スリット1
01と観測スリット103とは、共に、観測空間30のy軸に対して平行である
ように位置合わせされている。観測サブシステム103,104をz軸回りに9
0°回転させることにより、z軸方向の測定結果の解像度は、システムの波長の
スペクトル全体に関して有利となる。さらに、三角測量角度110を、λ1〜λn
の波長のスペクトル全体にわたっての利点のすべてを失うことなく、低減するこ
とができる。オプトエレクトロニクスシステム100は、この相違点以外に関し
ては、図1に関して説明したすべての基本構成要素(あるいは、均等物)を備え
ることができる。
「v字形」構成においては、遠近的捻れに対する補正は、グレースケールイメ
ージ化アレイ46を、波長が行に沿って配向しかつx軸が列に沿って配向するよ
うにして、配向させることにより、行うことができる。テレセントリック光学系
が使用されている場合には、z方向の測定位置は、列数Rの関数であり、x軸に
沿った測定ポイントは、行数Cにほぼ一次的な関数である。つまり、
Z=fZ(R)=a0+a2R
X=fX(C)=b0+b1C
ここで、x,zは、被写界深度内における測定ポイントであり、
R,Cは、イメージアレイにおけるポイントの列および行である。
これら等式は、テレセントリック光学系に対してのみ、厳密に成立する。非テレ
セントリック光学系を使用した実施形態に対しては、遠近的捻れが、fZの計算
内に何らかのx依存性を加えることにより、また、fXの計算内に何らかのz依
存性を加えることにより、補償されなければならない。したがって、この問題の
一般モデルは、
Z=fZ(R,C)=a0+a1C+a2R+a3RC
X=fX(R,C)=b0+b1C+b2R+b3RC
と表される。この形態の多項式は、非テレセントリックシステムにおける遠近問
題を解決することができる。校正対象をn個のポイントにおいてセンサの前方に
配置することにより、Z1…Zn、Y1…Yn、R1…Rn、C1…Cnの例を得ること
ができ、これにより、最小二乗法を適用するに十分な情報がもたらされて、係数
ai,biを計算することができる。aiRjCkおよび/またはbiRjCkといった
付加的な非線形成分を、他の光学的/形状的捻れを補償するために、上記等式に
付加することができる。したがって、当業者であれば容易に理解されるように、
本発明においてテレセントリック光学系がない場合、遠近問題を解決するために
、上記等式からモデル化された補正を、ソフトウェアによって実施することがで
きる。同様のプロセスは、「面内」構成において捻れを補正するために、実施す
ることができる。
好ましい実施形態をなすオプトエレクトロニクスシステム100は、3kgの
重さの267mm×172mm×68mmのセンサ内で実現された。このセンサ
は、光源として、50Wのタングステンハロゲンランプを使用し、Sony社による
646(スペクトル方向)×484画素の解像度を有した2分の1インチのハイ
パーHADタイプのCCDを使用している。観測スリットは、幅20μm、高さ
5μmであり、クロムメッキされた薄いガラスプレートである(1.5mm×1
5mm)。スリットが、分光器を介してCCD上へと、2つの色消しダブレット
(73mmの焦点長さ、および、17mmの直径)のテレセントリック的組合せ
によって、イメージ化される。平均分散は、CCD上の1画素あたり0.62n
mであり、これにより、400nmのスペクトル範囲(500〜900nmの範
囲を包含する)をCCD上にイメージ化することができる。「v字形」構成を使
用することにより、オプトエレクトロニクスシステム100は、x,y方向にお
いては100×130μmの空間的解像度を得ることができ、z方向の測定にお
いては10μmよりも小さな空間的解像度を得ることができる。
イメージ分光器においては、入射スリット幅は、一様に照射されるものと仮定
する。小さなスペクトル幅(Δλ)を有した光源によって照射されたときには、
単色イメージ化アレイ上におけるスリットのイメージは、図5に示すように、ガ
ウシアン形状を有することとなる。単色三角測量法とは違って、空間色三角測量
に基づくオプトエレクトロニクスシステムの性能は、分光器スリットの幅に影響
を受け、また、被測定表面上の表面不完全性に影響を受ける。スリットが狭すぎ
る場合には、通過する信号が小さすぎ、これに対して、スリットが幅広であると
、より多くの光がスリットを通過し、イメージがますます「塊状」となる。対象
物の表面によって反射された光は、被測定対象物の表面不完全性によって引き起
こされた「塊状」捻れを含んでいる。この問題を例示するために、図6に示すよ
うにチェッカー盤のような模様を有した平坦対象物を、分光器を通して見る場合
を考える。スリット内における光分散の平均位置(重心)は、スリットに沿って
変化し、これにより、分光器を通してイメージ化されたときに、信号の誤診につ
ながる。図6の最上部の形状は、光がスリット上において均等に分散しているこ
とにより、中央に位置している。これに対して、図6の下側の3つの形状の各々
は、スリットにおいてイメージ化された光強度に変化があることにより、非対称
偏心を示している。光の位置は、光の正確な位置決定のためにスリット内におい
て中央に位置していることが要求される。これに対して、偏心のような変化があ
る場合には、測定誤差として不適切に解釈されることとなる。同様に、徴視的な
反射不規則性を有した表面を測定する場合には、対象物の形状をデジタル化する
際に測定誤差が発生することとなる。例えば、本発明の「v字形」構成において
は、平坦な対象物表面は、同じ波長(すなわち、同じ色)を有したイメージをも
たらすべきである。しかしながら、表面不完全性があることにより、イメージ化
された信号に、明瞭な赤色シフトまたは青色シフトが引き起こされ、そのため、
平坦な対象物表面であるにもかかわらず深さに変化があるものとして不適切に解
釈されることがあり得る。
本発明のオプトエレクトロニクスシステムにおいては、好ましくは、この問題
を克服するために、表面微視構造補償技術を使用する。特に、図8に示すように
、本発明のオプトエレクトロニクスシステムは、さらに、分光器122のイメー
ジ面内に介装された1セットのビームスプリッタを備えている。第1スプリッタ
126は、分光器122の観測スリット124と分散素子130との間に配置さ
れている。また、第2スプリッタ128は、分散素子130と単色イメージ化ア
レイ132との間に配置されている。第1スプリッタ126および第2スプリッ
タ128は、観測スリット124上の光強度から直接的にスリットイメージ14
0を形成するために、使用されている。イメージ化アレイ132の一部をスリッ
トイメージ140のに対して配置することにより、ただ1つのイメージ化アレイ
を、分光器122を通過したスリットイメージ140,142の輪郭形成のため
に、使用することができる。
図7に示すように、測定表面のランダムな分光的微視構造は、分光器のイメー
ジ化アレイによって認識されたガウシアン形状においてランダムシフトを引き起
こす。図9においては、スリットイメージ140内に捕捉されたときの、観測ス
リット124からの光強度の測定結果が、観測スリット124に沿った各ポイン
トの実際の空間組成を再構築するために使用される。当業者であれば理解される
ように、イメージプロセッサ150を使用することにより、スリットイメージ1
40からの光強度の中心を認識することができ、その後、この情報によって、分
光イメージ142において起こっている明瞭な赤色シフトや青色シフトを移動さ
せることができる。このような表面微視構造補償技術により、イメージプロセッ
サ150は、補正イメージ144を形成することができる。代替可能な手法にお
いては、第2イメージアレイ(図示せず)を、第2スプリッタ128の前に配置
して、スプリットイメージ140を認識することができる。
次に、空間色三角測量を使用した対象物の表面デジタル化のための方法につい
て説明する。第1に、多色光源は、リレーレンズを経由することによって、光源
スリット上に投光する。次に、スリットイメージが、分散素子を経由し、単色イ
メージの連続体でもって観測空間(対象物を含有している)を照射することによ
り、深さ方向色コード化がもたらされる。イメージ分光器のイメージ面が、対象
物の表面に対して位置合わせされ、イメージ面内に配置されたイメージ化アレイ
が、対象物のイメージを認識する。最後に、イメージプロセッサが、対象物のデ
ジタル化外郭ラインを形成する。
上記においては、本発明の単なる例示としての実施形態について開示し説明し
た。当業者であれば、これら説明からまた添付図面からさらに請求範囲から、本
発明の精神や範囲を逸脱することなく様々な修正や変更を行い得ることを、容易
に認識されるであろう。DETAILED DESCRIPTION OF THE INVENTION
Optoelectronic system using spatial color triangulation.
Background of the Invention 1. Technical field to which the invention belongs
The invention relates to optoelectronic systems. In more detail
The present invention provides a non-contact real-time surface data of an object using spatial color triangulation.
The present invention relates to an optoelectronic system that performs digitalization.2. Description of related technology
Making surface sensing capabilities more effective in optoelectronic systems
Digitalization of models and models for further processing on CAD
It is desired to promote it. Also, other measurements such as scanning mechanical parts
In constant evaluation applications, there is a need to improve surface digitization. space
Optoelectronic devices using color triangulation technology are
It is a generally known means for performing the conversion. In such technology, it is often
For example, 10% on most types of materialFourResolution down to one-half depth of field
Use a coherent light source such that However, coherent
Systems using light sources are susceptible to interference, and
May generate optical noise. In addition, monochromatic triangulation technology
Sensitive to changes in light intensity due to interference effects and surface conditions.
Therefore, it has a high resolution and is cost effective for using a conventional light source.
It is desirable to provide an advantageous optoelectronic system.
Optoelectronic systems that use spatial color triangulation provide optical contact with objects
Bring real-time surface digitization. In addition, use a non-coherent light source
System provides measurement techniques that are largely independent of light intensity
It is desirable to provide a system that can do this. In the present invention
Implements two basic triangulation configurations of optoelectronic systems.
Can be That is, the “in-plane” configuration and the “v-shaped” configuration can be implemented.
Can be. Here, the “v-shaped” configuration is a triangulation between the light source and the observation surface of the spectrometer.
Reduces volume angle, thereby avoiding blockage problems with traditional triangulation techniques
I do.
The present invention further provides for the incorporation into this optoelectronic system.
Surface microstructure compensation techniques can reduce measurement errors caused by surface imperfections
Is corrected.
Summary of the Invention
According to the present invention, the optoelectronic system comprises a spatial color triangulation (space
Surface digitization of the object is performed using triangulation using color). Optoe
The lectronics system illuminates the observation space containing the object to be measured.
Collects the reflected light from the target object, and
An observation subsystem for recognizing the three-dimensional shape of an object using
, Is provided. More specifically, a relay optics is used to
The multicolor light source is imaged. After that, the image from the slit is
Pass through. The object to be measured is along the cut plane (x, z) in the observation space.
Illuminated by a continuum of monochrome images. Cut surface and surface of object to be measured
The color code (x, λ) display formed by the intersection with
It is imaged on the slit. The relay lens observes this image
Used to project onto the slit. Group placed in the image plane of the spectrometer
Ray-scale imaging arrays recognize color-coded representations and perform image processing.
Using spectroscopic analysis, the camera converts the color-coded representation to the three-dimensional shape of the object.
And convert.
BRIEF DESCRIPTION OF THE FIGURES
Other objects and advantages of the present invention will be apparent from the following detailed description when read in conjunction with the accompanying drawings.
Will be apparent to those of skill in the art.
FIG. 1 shows an optoelectronic system of the present invention using an "in-plane" configuration.
It is a block diagram showing a 1st embodiment.
FIG. 2 shows a continuation of monochromatic light over a measurement space in the first embodiment of the present invention.
FIG. 3 is a diagram showing irradiation by a body.
FIG. 3 shows the measurement of the object to be measured by a continuous parallel cut plane defined along the y-axis.
FIG. 3 shows a three-dimensional reconstruction of a surface.
FIG. 4 illustrates an optoelectronic system of the present invention using a "v-shaped" configuration.
It is a lineblock diagram showing a 2nd embodiment of.
Figure 5 shows the spectral measurement shape and the image when the observation slit is uniformly illuminated.
It is a figure which shows the Gaussian shape in an optical device.
FIG. 6 shows the microscopic reflection irregularities (at the image on the observation slit) in the spectrometry.
Effects and corresponding measurement errors integrated in the image array in the spectrometer
FIG.
FIG. 7 shows the Gaussian shape caused by the surface irregularities of the measurement object.
It is a figure showing a random shift (light intensity shape).
FIG. 8 is a block diagram of the optoelectronic device observation subsystem of the present invention.
It is a block diagram which shows the incorporated surface visual structure compensation technique.
FIG. 9 shows the slit obtained directly from the light intensity on the observation slit of the spectroscope.
FIG. 4 is a diagram illustrating reconstruction of a light-splitting element from an image.
Detailed Description of the Preferred Embodiment
The following description of the invention is merely illustrative of the nature of the invention.
It is not intended to limit the invention and its use. In addition, the following theory
In Ming, an option that uses spatial color triangulation to determine the three-dimensional shape of an object
Although the example below illustrates a electronics system, the following description
Optoelectronics for various measurement applications using surface depth color coding
How to form and use the computer system properly
It is intended.
The optoelectronic system 10 shown in FIG.
The light projecting subsystem 12 for irradiating the object 16
Observation subsystem for collecting emitted light to form a three-dimensional shape of the object 16
System 14. In this first embodiment of the present invention,
The components of the lectronics system 10 are shown in an "in-plane" configuration.
The light projecting means 12 is a polychromatic light projecting a continuous spectrum through the relay optical system 22.
A source 20 is provided. By passing through the relay optics 22, the light from the light source is y
Focused on a first slit 24 that is oriented along an axis
I have. The multicolor light source 20 is an incandescent light source or a continuous light source having a continuous spectrum.
Arc lamp operating in flash or flash mode (ie, xenon arc)
H) or optically connectable to provide a wide spectral bandwidth
Other light sources (ie, super-emitting diodes or light emitting diodes (LE)
D)). The light source 20 is located at a position away from the light projecting means 12.
At the same time, and through the optical fiber medium or other medium, the projecting subsystem.
Light can also be directed to the room 12.
The light from the light source slit 24 illuminates the measurement space 30 via the dispersion element 26.
Fired. Dispersion element 26 may be a prism, a concave diffraction grating, a diffraction lens, or
The three-dimensional measurement space 30 is illuminated with a continuum of a multicolor image oriented in the y direction
Other dispersing optics can be provided that function as such. The cut surface 32 is the measurement space
The measurement plane formed by the x-axis and the z-axis of the coordinate system arranged in 30
is there. The dispersive element 26 also converts the images to a standard focus position in the measurement space 30.
You can also focus on the position.
λ1~ ΛnThe overall wavelength is shown over cut plane 32 in FIG.
Which results in depth color coding of the surface of the object to be measured
. The wavelength range of the light beam corresponds to the spread of the polychromatic light beam guided from the light source 20
are doing.
As shown in FIG. 1, in the “in-plane” configuration,
Can be used. Thereby, a single color forming a plane in the measurement space 30
A continuum of point images is obtained. In this method, the object 16
Illuminate only the portion visible to the observation subsystem 14. In this case,
Alignment between the subsystem 12 and the observation subsystem 14 (mutual alignment)
) Can be performed with great latitude and the necessary light source 20
The optical power can be reduced, and furthermore, it is not directly visible from the object 16.
It is possible to reduce the interference effect that can be caused by the strong light.
The object 16 to be measured is partially or completely inside the measuring space 30.
Can be arranged. Displace the cut surface 32 along the surface of the object 16
Thus, in a preferred embodiment, the object is
It is firmly fixed. In this case, the mechanical means 34 moves the object 16 along the y-axis.
And / or rotate the object 16 about a predetermined axis.
Works. As a result, it is necessary to complete the inspection / representation of the object 16.
, All successive observations of the object 16 can be obtained. If you are a person skilled in the art
Mechanical means manufactured by Aerotech, Pittsburgh, PA, for example
Various drive assemblies, such as the ATS1000 series
It will be appreciated that a motor can be provided. Encoder / control mode
A mechanical means 34 for electrically driving and synchronizing the mechanical means 34;
It is connected to the means 34.
The observation subsystem 14 is aligned parallel to the x-axis of the observation space 30.
An image spectroscope 40 having an observation slit 42 is provided. Spectrometer 40
The image plane was formed by the intersection of the cut plane 32 and the observation plane of the object 16.
Aligned to the image. Relay ren with large depth of field
The zoom 50 reduces the image onto the observation slit 42 of the spectrograph 40.
Function. Inside the spectroscope 40, the dispersive element 44 forms an image of the spectroscope 40.
This image is placed onto a grayscale imaging array 46 located in the
Is projected. To increase the resolution, the imaging array 46 is located within the system.
Should determine the height of the array for all wavelength spectra used in the
It is. A charge coupled device (CCD) or other similar device known to those skilled in the art
, Can be used in the same manner as the imaging array 46. Digital signal pro
An image data processor 48 such as a processor or general purpose computer
Is used to record and process measurements of the object 16 acquired by the imaging array 46.
It can be connected to the spectrograph 40 for processing and visualization.
The imaging optics 50 is located inside and / or outside of the spectrograph 40.
be able to. Telecentric optics are not practical for large observation spaces
(For example, high quality lenses larger than one inch
Is expensive), the observation subsystem 14 is configured without telecentric optics
can do. In the present invention, a classic relay lens or other non-telephoto
Centric optics can replace telecentric optics
. In this case, a corresponding transport is added before the observation slit 42. Telecent
Rick optics used to ensure constant magnification over the entire depth of field
Software correction in non-telecentric optics
Is preferably performed.
In operation, the measurement target 16 is placed in the observation space 30. Observation space 30
Is irradiated with a continuum of a single-color image from the light source 20 via the dispersion element 26.
I have. As a result, color coding in the depth direction occurs on the surface of the measurement object 16.
, The wavelength of the light reflected by the measurement object 16 is converted into the z-axis measurement. Paraphrase
Then, the color-coded display (x, λ) of the cut plane (x, z) is
Appear as an image on the plot 42 and is represented by a grayscale imaging array 46.
Is recognized. Due to perspective and optical distortion, the image is
It only represents 16 surfaces. However, optoelectronics
Through the use of mathematical mapping formed during the calibration process of system 10,
The image processor 48 has a digital equivalent to the surface of the object 16 along the cut plane 32.
The tall shell line can be reconstructed. For a given outline line
, The signal on the imaging array 46 appears as a curve with an inverse Gaussian shape
You. The position of the curve along imaging array 46 is above the surface of object 16
Depends on the spatial content of the corresponding points in the In the image processor 48
Can use a variety of signal processing techniques, which allow Gaussian shaped
The heart is determined and the corresponding z coordinate is determined.
In some applications of the optoelectronic system 10, the object
It only uses a single contour line from the surface, but for other applications
Thus, digitized reconstruction of the entire surface is required. As clearly shown in FIG.
, Only one cut line 70 corresponds to the image plane 72 of the spectrograph (not shown).
In order to reconstruct the surface of the object 16 by the
Further measurements along the parallel cut plane are required. Therefore, the surface
In order to measure the whole, the mechanical means 34 moves the object 16 to a fixed
It must be moved (along the y-axis) with respect to the image plane of the luminaire. surface
In an alternative technique for measuring the
Can be fixed to a suitable holding member. Therefore, the observation subsystem 14
Are moved (along the y-axis) with respect to the fixed object 16. In any
However, by analyzing each of the continuous cut surfaces spectrally, the object 16
Is obtained.
In a first embodiment of the present invention, the optoelectronic system 10 comprises:
It is referred to as an "in-plane" configuration. In this “in-plane” configuration, returning to FIG.
The resolution on the left side of interval 30 is λ1~ Λ1Is limited to the wavelength of the
30 is λj~ ΛnWavelength. Improved resolution in the present invention
To achieve this, a wide range of wavelengths can be correlated along the x-axis with the z-axis measurements.
Should be linked. Increasing the triangulation angle resolves the z-axis measurement results
Although the degree increases, increasing the triangulation angle also interferes with the illumination of the image.
The problem of obstruction based on the undulation of the object.
As shown in FIG. 4, in a second preferred embodiment, an optoelectronic device according to the present invention is used.
To reduce the triangulation angle in the lectronics system 100, "v
It employs a "figure" configuration. In this preferred embodiment, the light source slit 1
01 and the observation slit 103 are both parallel to the y-axis of the observation space 30.
So that they are aligned. Observation subsystems 103 and 104 are moved 9
By rotating by 0 °, the resolution of the measurement result in the z-axis direction is
This is advantageous for the whole spectrum. Further, the triangulation angle 110 is1~ Λn
Without losing all of the benefits over the entire spectrum of wavelengths
Can be. The optoelectronics system 100 is not limited to this difference.
Includes all of the basic components (or equivalents) described with respect to FIG.
Can be
In a “v-shaped” configuration, the correction for perspective distortion is a grayscale image.
Array 46 with wavelengths oriented along rows and x-axis oriented along columns.
In this way, it can be performed by orienting. Telecentric optical system
Is used, the measurement position in the z-direction is a function of the number of columns R, and the x-axis
The measurement points along are a function that is almost linear to the number of rows C. That is,
Z = fZ(R) = a0+ ATwoR
X = fX(C) = b0+ B1C
Here, x and z are measurement points within the depth of field,
R and C are the columns and rows of points in the image array.
These equations hold strictly only for telecentric optical systems. Non tele
For embodiments using centric optics, the perspective twist is fZCalculation
By adding some x dependencies withinXIn the calculation of z
It must be compensated by adding existence. Therefore, of this problem
The general model is
Z = fZ(R, C) = a0+ A1C + aTwoR + aThreeRC
X = fX(R, C) = b0+ B1C + bTwoR + bThreeRC
It is expressed as This form of polynomial is used for perspective questions in non-telecentric systems.
Problem can be solved. Calibration target in front of sensor at n points
By arranging, Z1... Zn, Y1... Yn, R1... Rn, C1... CnGetting an example of
Which provides enough information to apply the least squares method,
ai, BiCan be calculated. aiRjCkAnd / or biRjCksuch as
In order to compensate for the additional non-linear components, other optical / shape distortions,
Can be added. Therefore, as will be readily appreciated by those skilled in the art,
When there is no telecentric optical system in the present invention, to solve the near-far problem
The correction modeled from the above equations can be implemented by software.
Wear. A similar process is performed to correct for torsion in an "in-plane" configuration.
Can be
The optoelectronic system 100 of the preferred embodiment has a weight of 3 kg.
Implemented in a sensor weighing 267 mm x 172 mm x 68 mm. This sensor
Used a 50W tungsten halogen lamp as a light source, and
1/2 inch high with a resolution of 646 (spectral direction) x 484 pixels
A per HAD type CCD is used. Observation slit, width 20μm, height
5 μm, a chrome-plated thin glass plate (1.5 mm × 1
5 mm). Slits through spectroscope onto CCD, two achromatic doublets
Telecentric combination (focal length of 73 mm and diameter of 17 mm)
Is imaged by Average variance is 0.62n per pixel on CCD
m, thereby providing a spectral range of 400 nm (500-900 nm).
Enclosure) can be imaged on a CCD. Use a “v-shaped” configuration
By use, the optoelectronic system 100 can be moved in x and y directions.
In this case, a spatial resolution of 100 × 130 μm can be obtained.
Thus, a spatial resolution smaller than 10 μm can be obtained.
In an image spectrometer, the entrance slit width is assumed to be uniform
I do. When illuminated by a light source with a small spectral width (Δλ),
The image of the slit on the monochromatic imaging array, as shown in FIG.
It has a Ucian shape. Unlike monochromatic triangulation, spatial color triangulation
-Based optoelectronic system performance affects spectrometer slit width
And is affected by surface imperfections on the surface to be measured. The slit is too narrow
If the signal passing is too small and the slit is wide,
, More light passes through the slit and the image becomes increasingly "clumpy". Target
Light reflected by the surface of an object is caused by surface imperfections of the object being measured.
It contains this "lumpy" twist. To illustrate this problem, see FIG.
When viewing a flat object with a checkerboard-like pattern through a spectroscope
think of. The average position (center of gravity) of the light dispersion in the slit
Changes, which can lead to misdiagnosis of the signal when imaged through a spectrometer.
It goes. The shape at the top of FIG. 6 is that light is evenly distributed on the slit.
And it is centrally located. In contrast, each of the three lower shapes in FIG.
Is asymmetric due to changes in light intensity imaged at the slit
Shows eccentricity. The position of the light is located in the slit for accurate positioning of the light.
It is required to be located in the center. On the other hand, there is a change like eccentricity.
In such a case, it will be inappropriately interpreted as a measurement error. Similarly,
Digitize the shape of objects when measuring surfaces with reflection irregularities
In such a case, a measurement error occurs. For example, in the "v-shaped" configuration of the present invention
Means that a flat object surface will produce an image with the same wavelength (ie, the same color).
Should be done. However, due to surface imperfections, imaging
A distinct red or blue shift is caused in the resulting signal,
Inappropriate solution as depth change despite flat object surface
Could be dismissed.
In the optoelectronic system of the present invention, this problem is preferably solved.
To overcome this, use surface microstructure compensation techniques. In particular, as shown in FIG.
The optoelectronic system of the present invention further includes an image of the spectrometer 122.
A set of beam splitters interposed in the plane. 1st splitter
126 is arranged between the observation slit 124 of the spectroscope 122 and the dispersion element 130.
Have been. In addition, the second splitter 128 is connected to the dispersive element 130 and a monochrome image forming element.
It is arranged between the ray 132. The first splitter 126 and the second splitter
The light 128 directly outputs the slit image 14 from the light intensity on the observation slit 124.
Used to form zero. Sliding a portion of the imaging array 132
Image 140 by placing it against only one imaging array.
Is used to form the contours of the slit images 140 and 142 that have passed through the spectroscope 122.
Can be used.
As shown in FIG. 7, the random spectral microstructure of the measurement surface is
Cause random shifts in Gaussian shapes recognized by the digitized array
Rub In FIG. 9, the observation scan when captured in the slit image 140 is shown.
The measurement result of the light intensity from the lit 124 indicates that each point along the observation slit 124 is
Used to reconstruct the actual spatial composition of the object. Understood by those skilled in the art.
As described above, by using the image processor 150, the slit image 1
The center of the light intensity from 40 can be recognized and then this information
Moved clear red and blue shifts occurring in light image 142
Can be made. With this surface microstructure compensation technology, the image processor
The sensor 150 can form the corrected image 144. An alternative approach
In addition, a second image array (not shown) is arranged in front of the second splitter 128.
Thus, the split image 140 can be recognized.
Next, a method for digitizing the surface of an object using spatial color triangulation is described.
Will be explained. First, the polychromatic light source is controlled by a light source through a relay lens.
Light is projected on the slit. Next, the slit image passes through the dispersive element and
By illuminating the observation space (containing the object) with a continuum of images
Resulting in depth color coding. The image plane of the image spectrometer is the target
Imaging array aligned with the surface of the object and positioned in the image plane
Recognize the image of the object. Finally, the image processor determines the
Form a digitized contour line.
The foregoing discloses and describes merely exemplary embodiments of the present invention.
Was. Those skilled in the art, from these descriptions, from the accompanying drawings, and from the claims,
It is easy to make various modifications and changes without departing from the spirit and scope of the invention.
Will be recognized.
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,DE,
DK,ES,FI,FR,GB,GR,IE,IT,L
U,MC,NL,PT,SE),OA(BF,BJ,CF
,CG,CI,CM,GA,GN,ML,MR,NE,
SN,TD,TG),AP(GH,KE,LS,MW,S
D,SZ,UG,ZW),EA(AM,AZ,BY,KG
,KZ,MD,RU,TJ,TM),AL,AM,AT
,AU,AZ,BA,BB,BG,BR,BY,CA,
CH,CN,CU,CZ,DE,DK,EE,ES,F
I,GB,GE,GH,HU,IL,IS,JP,KE
,KG,KP,KR,KZ,LC,LK,LR,LS,
LT,LU,LV,MD,MG,MK,MN,MW,M
X,NO,NZ,PL,PT,RO,RU,SD,SE
,SG,SI,SK,SL,TJ,TM,TR,TT,
UA,UG,US,UZ,VN,YU,ZW
【要約の続き】
(40)のイメージ面内に配置されたグレースケールイ
メージ化アレイ(46)は、色コード化表示を認識し、
イメージプロセッサ(40)は、分光的解析を使用し
て、色コード化表示を、対象物(16)の3次元形状の
部分へと変換する。────────────────────────────────────────────────── ───
Continuation of front page
(81) Designated countries EP (AT, BE, CH, DE,
DK, ES, FI, FR, GB, GR, IE, IT, L
U, MC, NL, PT, SE), OA (BF, BJ, CF)
, CG, CI, CM, GA, GN, ML, MR, NE,
SN, TD, TG), AP (GH, KE, LS, MW, S
D, SZ, UG, ZW), EA (AM, AZ, BY, KG)
, KZ, MD, RU, TJ, TM), AL, AM, AT
, AU, AZ, BA, BB, BG, BR, BY, CA,
CH, CN, CU, CZ, DE, DK, EE, ES, F
I, GB, GE, GH, HU, IL, IS, JP, KE
, KG, KP, KR, KZ, LC, LK, LR, LS,
LT, LU, LV, MD, MG, MK, MN, MW, M
X, NO, NZ, PL, PT, RO, RU, SD, SE
, SG, SI, SK, SL, TJ, TM, TR, TT,
UA, UG, US, UZ, VN, YU, ZW
[Continuation of summary]
Gray scale image arranged in the image plane of (40)
The imaging array (46) recognizes the color-coded representation,
The image processor (40) uses spectroscopic analysis
The color-coded display of the three-dimensional shape of the object (16)
Convert to parts.