JP2022536887A - ステレオカメラシステム - Google Patents

Abstract

本発明は、３次元表面形状の計測のためのステレオカメラシステムに関する。これは、ステレオカメラシステムの前でコンベヤベルトに沿って移動する対象物から深度情報を得るために使用されてもよい。当該ステレオカメラシステムは、生産監視システムの一部を形成してもよい。【選択図】図１

Description

本発明は、３次元表面形状の計測のためのステレオカメラシステムに関する。これは、ステレオカメラシステムの前でコンベヤベルトに沿って移動する対象物から深度情報を得るために使用されてもよい。当該ステレオカメラシステムは、生産監視システムの一部を形成してもよい。

コンベヤシステムで搬送される製品を光学的にスキャンするために、コンベヤシステム及びカメラを備える生産監視システムが知られており、例えば、パッケージ選別施設及び生産ラインで使用されている。

通常、スキャンされる製品又は対象物の高さは、計測装置、例えばライトカーテンによって決定される。カメラには調整可能なレンズが付いており、このレンズは、対象物の表面を正しくスキャンするために、スキャンする対象物の予め決定された高さに合わせて設定される。カメラは、異なる高さの対象物をスキャンするために適切に設定できるように、焦点距離が変更可能なズームレンズを有していてもよい。焦点距離が固定されたレンズを使用することも可能であり、このレンズの焦点を追跡することで、異なる高さの対象物をセンサ上でシャープに（鮮明に）描写することができる。

ズームレンズの場合は、複数のレンズを相対的に動かす。ズームレンズには、複数のレンズを互いに押し付ける可動機構がレンズ内に設けられている。ズームレンズの場合、調整経路上でスケールを一定に保つことができる。

焦点距離が固定されたレンズを使用する場合は、シャープネス（鮮明さ）の領域が所望の高さに位置するように、レンズ全体を光軸に沿って移動させる。光路長が短くなると、結像スケールが大きくなる。

ズームレンズでも焦点距離が固定されたレンズでも、機械部品を動かす必要がある。この動きが摩耗につながる。工業用途では、数百万回の使用サイクルが要求される。これは通常、これらの可動部品の寿命をはるかに超えるものである。

製品監視システムで、光学的情報及び高さ情報の両方を評価する必要がある場合、様々な方法が確立されている。

１つの可能性として、いわゆる光切断法がある。これは、計測対象物に薄くてまっすぐな光の帯を当て、その光の帯をエリアスキャンカメラで記録するというものである。対象物が光の帯に生じた歪みを利用して、対象物の表面が推定されてもよい。

立体視は、さらなる選択肢を提供する。カメラシステムが２つの異なる視野方向から対象物を記録し、対応するピクセルのオフセットから対象物のトポロジー的な表面データを決定することができる。しかし、この方法の短所は、焦点面が１つに限られることである。

このようなステレオカメラシステムは、２つのカメラモジュールを備えており、これを用いて２つの異なる視野方向から同じ対象物領域がスキャンされてもよい。カメラモジュールには、対象物領域をそれぞれのカメラモジュールのセンサに結像させるためのレンズが搭載されている。レンズの光軸は、レンズの対称軸であり、その軸は、レンズに含まれる１つ以上のレンズの表面に対してほぼ横方向に走っている。レンズの対象物側主面をレンズ面とする。センサ面は、感光センサのフェイスがある平面のことである。対象物面（物面）とは、レンズによってセンサのフェイスにシャープに結像される面である。

従来のステレオカメラシステムでは、レンズ面、対象物面及びセンサ面は互いに平行に配置されている。以下では、対象物面と、レンズ面及びセンサ面とが平行に整列していることを「平行配置」と表現する。

ステレオカメラシステムで３次元表面形状を解像するために重要なのは、ステレオカメラシステムの２つのカメラモジュールの視野方向が対象物領域上で占める角度であるベース角（頂角、Ｂａｓｉｓ－Ｗｉｎｋｅｌ）αである。ベース角αは、基本的には、２つのカメラモジュールＳ１、Ｓ２の２つのセンサのフェイス間の距離であるベース（底辺、Ｂａｓｉｓ）Ｂの大きさによって設定される。つまり、ベースＢが大きければ大きいほど、ベース角αは大きくなり、それに伴ってステレオカメラシステムの高さ方向の解像度も向上する（図８）。

以下では、特段の記載がない限り、センサ面ＳＰ、レンズ面ＬＰ、対象物面ＯＰの相互の距離は一定であると仮定し、ベースＢのみがベース角ベース角αを決定する。

レンズは、光軸に対する入射光の最大入射角を与える開口角（開き角）γを有しており、その範囲内であれば、対象物は実質的に歪みなく結像される可能性がある（図８）。レンズの設計によっては、レンズの最大開口角が変わってもよい。以下では、レンズを通過するビームは「ビーム経路」と記載される。ビーム経路には、開口角内のすべてのビームが含まれ、センサのフェイスと対象物の間に広がる。

しかしながら、上述した平行配置のステレオカメラシステムでは、ベースが大きすぎると、入射角で囲まれた部分が重ならないか、さもなければ対象物領域でわずかにしか重ならないため、対象物領域のシャープに結像された部分が小さくなるか、もはや存在しないことになるので、ベースは所望の大きさにならない可能性がある。

オーバーラップ領域、すなわち両方のセンサで同時に取り込み可能な対象物の領域のみが、３次元表面形状の評価に使用することができる。このオーバーラップ領域のエッジ領域は、レンズの開口角γが大きい状態で結像される。それゆえ、歪みはオーバーラップ領域のエッジ領域で最大となる。加えて、とりわけ色調の不具合及び変調伝達関数（ＭＴＦ）によって特徴付けられてもよい結像性能は、オーバーラップ領域のエッジ領域ではオーバーラップ領域の中心部よりも悪くなる。色調の不具合は、カラー結像の損失を表している。ＭＴＦは細部のコントラストの低下を表している。

「Ｓｃｈｅｉｍｐｆｌｕｇ ｓｔｅｒｅｏｃａｍｅｒａ ｆｏｒ ｐａｒｔｉｃｌｅ ｉｍａｇｅ ｖｅｌｏｃｉｍｅｔｒｙ ｉｎ ｌｉｑｕｉｄ ｆｌｏｗ」、Ａｊａｙ Ｋ． Ｐｒａｓａｄ及びＫｉｒｋ Ｊｅｎｓｅｎ、ＡＰＰＬＩＥＤ ＯＰＴＩＣＳ ３４、３０（１９９５）に記載されているのは、シャインプルーフ（Ｓｃｈｅｉｍｐｆｌｕｇ）の条件及びエリアセンサを備えるステレオビデオカメラである。このシステムは、液体中の小粒子の速度分布を求めるために使用される。

このようなシャインプルーフカメラの場合、レンズ面ＬＰをセンサ面に対して傾けることで平行配置を解消しているため、入射角の制限によって対象物領域が制限されることなく、大きなベースが可能になる。シャインプルーフカメラでは、レンズ面、センサ面、対象物面が共通の交差軸で交わる、いわゆるシャインプルーフの条件が満たされている。対象物面ＯＰとセンサ面ＳＰの間にはシャインプルーフ角βが存在する（図９）。シャインプルーフの条件が満たされていれば、対象物領域がレンズによってセンサ上にシャープに結像される。上記文献では、ステレオカメラシステムから無限の距離にある交差軸が記述されていることがある。この特殊なケースでは、シャインプルーフの条件は平行配置に対応する。しかし、以下の考察では、これらの面又は軸が無限遠で交差する場合、シャインプルーフの条件は満たされないということが当てはまる。それゆえ、シャインプルーフの条件が満たされるように、上記面又は軸は有限の点で交差しなければならない。１つ以上のミラーがビーム経路に設けられていてもよく、このミラーによって、ビーム経路が折り返され、実際のレンズ面、センサ面及び対象物面が共通の交差軸で交差することはない。このような配置では、関連するミラーがない折り返されていないビーム経路でも、それぞれのレンズ、センサ、対象物が同じように効果的に配置されていて、レンズ面、センサ面及び対象物面が共通の交差軸で交差する場合、シャインプルーフの条件が満たされる。

他方、シャインプルーフの条件を備えるステレオカメラシステムの場合、シャインプルーフの条件を備えないステレオカメラシステムよりも、レンズ及び像の質（画質）が一定の場合には、より広いベース角が選択されてもよい。ベースが大きいと、レンズの位置が傾いているため、入射角が小さくなり、最適化される可能性がある。その結果、開口角γが小さいレンズも適している。シャインプルーフの条件を備えるステレオカメラシステムでは、開口角が小さいため、シャインプルーフの条件を備えていないステレオカメラシステムに比べて、オーバーラップ領域で像の質（画質）、特にＭＴＦがより一定になる。オーバーラップ領域に沿った線形歪みは、平行化処理によって補正できるため、考慮されている。選ばれたベースが大きいほど、入射角を小さくするために、センサ面及びレンズ面を対象物面に対してより大きく傾ける必要がある。

シャインプルーフの条件を備えないステレオカメラシステムのさらなる問題は、後方反射である。平行配置でベース角が狭いため、レンズはセンサ上の対象物だけでなく、対象物上のセンサも結像する。レンズのこの結像は、対象物の反射面で反射することにより、再びセンサに戻って結像されることが可能である。このようにして、センサは自分自身の鏡像を撮影することができる。例えばシャインプルーフでレンズを傾けることで、より広いベース角が選択されてもよく、それによって、このような後方反射が回避される。反射が残っていても、反射の結像が、例えばニュートラルな背景も表示してよい。それゆえ、反射の影響が軽減される。

シャインプルーフの条件が満たされるステレオカメラを備える他の計測システムは、国際公開第２０１４／０１７９７７Ａ１号パンフレット、米国特許第６，６７１，３９７Ｂ１号明細書及び国際公開第０２／０４０９７０Ａ１号パンフレットに開示されている。

国際公開第２０１４／０１７９７７Ａ１号パンフレットは、集積回路ハウジングにおける共平面性の決定のための方法及び装置を開示する。平面性を決定するために、それぞれが２つのビーム経路を有する２つのセンサが、シャインプルーフの原理に従うように配置される。

米国特許第６，６７１，３９７Ｂ１号明細書に開示されているのは、レンズ付きのカメラ及び別個のセンサを備える計測システムである。この計測システムは、レンズ付きの第１のカメラ及び別個のセンサを有しており、これらは、シャインプルーフの原理に従って、それらの面が対象物面で交差するように設置されている。第２のカメラは、対象物面に対して垂直に配置されている。このカメラシステムは、エリアスキャンカメラである。

国際公開第０２／０４０９７０Ａ１号パンフレットは、広範な平面状の対象物を検査するための光学的な方法及び装置を開示する。これは、１つの実施形態では、ウェハを保持する２つのエリアスキャンカメラを、シャインプルーフの条件で配置している。

シャインプルーフの条件を備えるステレオカメラシステムの利点は、上で説明したとおりである。しかしながら、シャインプルーフの条件を備えるステレオカメラシステムの場合、エリアセンサを使用する際に、立体視の質にマイナスとなる影響が発生する。これは、投影されたセンサのフェイスの歪みを表す、いわゆるキーストーン効果に起因する。

エリアセンサを用いて、対象物領域の２次元像（画像）が取得される。従来のステレオカメラシステムでは、エリアセンサの一辺がベースと平行に配置されている。それゆえ、取得される２次元像の主軸は、ベースに平行な方向と、ベースに対して横方向のいずれかに延びる。ベースに平行な方向を、以下、ベース方向と、ベースに対して横の方向を、以下、横方向と記述する。

ステレオカメラシステムによる対象物領域の結像では、横方向だけでなく、ベース方向にも結像の圧縮が生じる。この圧縮は、平面状の対象物の個々の点が、センサのフェイスから異なる距離に配置されていることに起因する。２つの点がセンサのフェイスから離れていればいるほど、点の間隔は小さく結像される。ベースが大きいほど圧縮が強くなる。横方向には、横方向の圧縮が生じ、ベース方向にはベースの圧縮が起こる。

例えば、正方形の対象物領域で、カメラシステムのベース及び中央の配置をできるだけ小さくすると、その正方形の対象物領域はほとんど歪みなく結像される。しかしながら、ベースが大きくなると、正方形の像は台形又はキーストーンの形になる。レンズに近い隅部の距離よりも、互いから離れている隅部の距離の方が小さく表示される。

この効果は、シャインプルーフの条件を備えるステレオカメラシステムでも、備えないステレオカメラシステムでも発生する。シャインプルーフの条件を備えないものでは、この効果はベースの狭さによって同様に制限される。シャインプルーフの条件を備えるステレオカメラシステムは、ベースがとりわけ大きい場合があるので、この効果はとりわけ顕著である。

キーストーン効果は、解像力の低下をもたらす。解像力とは、２つの点状の対象物が別々の対象物として認識されるために必要な最小の距離である。上記圧縮により、センサのフェイスから離れた２つの点が互いに接近して結像される。レンズからある一定の距離になると、これらの点はもはや別々のものとして認識されなくなる可能性がある。ベースに平行な解像力を、以下、「ベース解像力」と、ベースに対して横方向の解像力を「横方向解像力」と記述する。

加えて、キーストーン効果により計算時間が長くなる。３次元表面形状の評価に像を使用するためには、ベース圧縮量及び横方向圧縮量の両方を像データから平行化処理（Ｒｅｋｔｉｆｉｚｉｅｒｕｎｇ）により算出する必要がある。平行化処理とは、例えば中心投影の写真に起因して発生する可能性がある像データの幾何学的な歪みを除去する方法である。２つのセンサのピクセルを重ね合わせたときに、対象物の同じ位置が表現されるように、平行化処理によって個々のピクセルがシフトされる。加えて、計算された視差が対象物の高さプロファイルに線形依存するように、歪みが補正される。

立体視では、１つのカメラモジュールの像の各点に、第２のカメラモジュールの像の各点が割り当てられる。矩形のセンサは、キーストーン効果のためにセンサの位置が対象物に対して傾いている場合、対象物表面の台形Ｔ１を記録する（図１０）。他方のエリアセンサは、対象物表面の第２の台形Ｔ２を記録する。点の割り当てでは、これらの台形が重なり、それぞれ長端面が他方の台形の短端面と一致する。これにより、六角形のオーバーラップ領域ができる（図１０ではハッチングされている）。

ここで、オーバーラップしない領域に記録されていた情報の一部が失われてしまうということは短所である。３次元表面形状の評価には、オーバーラップ領域のみしか使用することができない。

さらに、オーバーラップ領域を完全にカバーするためには、レンズの開口角が十分に大きくなければならない。これは、六角形状のオーバーラップ領域の対角線Ｄがレンズによって検出される場合に適用される。

独国特許出願公開第１０ ２０１５ １１ １１ ２０Ａ１号明細書は、少なくとも２つのカメラモジュールを備えるステレオカメラによる表面のスキャン方法を開示する。これらのカメラモジュールは、スキャンされるべき表面の共通領域からそれぞれ１つの像を取得するように配置されている。カメラモジュールは、複数の異なるセンサラインを持つラインカメラを有していてもよい。個々のライン像は、幾何学的な結像によって重ね合わされる。

ラインセンサ及び平行配置のステレオカメラシステムには、エリアセンサ及び平行配置のステレオカメラシステムと同様の問題がある。上述のように、ベースが大きすぎると、入射角で囲まれた対象物領域の一部がわずかに重なるか、まったく重ならないため、シャープに結像できる対象物領域のその一部が小さくなるか、又は存在しなくなってしまうため、ベースは任意の所望の大きさにすることができない。

原理的には、シャインプルーフの条件と平行配置のどちらも満たさないステレオカメラシステムが考えられる。例えば、対象物面ＯＰ及びセンサ面ＳＰのみが互いに平行であるが、レンズ面ＬＰが他の２つの面に対して傾いていて、対象物領域は限られた入射角によって制限されていないようにできよう。レンズが対象物面をシャープに結像する平面に対応する結像面は、対象物面又は対象物軸に対して角度をもって（斜めに）配置されている。結像面とセンサ面の交わるエリアでのみ、対象物領域がカメラのセンサ上にシャープに結像される（図１１）。対象物軸に対するレンズ軸の傾きが大きいほど、対象物がシャープに結像されるフォーカスエリアは狭くなる。また、被写界深度ＴＳが大きいほど、フォーカスエリアは広くなる。狭いフォーカスエリアでは、対象物の小さい一部だけしか３次元表面形状の評価に必要な情報を提供しない。

しかしながら、３次元表面形状を結像するためには、シャープな結像が非常に重要である。同様に、センサの全表面を使用することが望ましい。

以下では、「シャインプルーフの条件を備えないステレオカメラシステム」とは、平行配置を有するステレオカメラシステムを意味する。

「Ｚｅｉｌｅｎｋａｍｅｒａｓ ｚｕｒ Ｉｎｓｐｅｋｔｉｏｎ ｄｅｒ Ｄｉｃｈｔｆｌａｅｃｈｅｎ ｅｉｎｅｒ Ｏ－Ｒｉｎｇ－Ｎｕｔ」、Ｐｈｏｔｏｎｉｋ ５／２０１２から知られているのは、３台のラインカメラを並行して動作させ、それぞれが溝の片側を結像するシステムである。溝の側壁は、シャインプルーフの条件を備えるラインカメラで結像される。

米国特許第７，７２４，３６２Ｂ１号明細書は、角度付き入射でマクロウェーハを検査するためのシステムを開示する。この文献では、ビーム経路がシャインプルーフの条件を満たす角度でウェハに向けられたラインカメラによってウェハが検出される。

独国特許出願公開第１０ ２０１３ １０３ ８９７Ａ１号明細書は、対象物をラインごとにスキャンするためのカメラモジュールを開示する。このカメラモジュールは、リニアセンサと、対象物をそのセンサ上に結像するためのレンズとを含む。カメラモジュールは、複数のラインセンサを有する。このラインセンサは、レンズからの距離を変化させて配置されており、これにより、レンズからの距離が異なる像のラインがそれぞれのラインセンサに結像される。

国際公開第２０１４／０１７９７７Ａ１号パンフレット 米国特許第６，６７１，３９７Ｂ１号明細書 国際公開第０２／０４０９７０Ａ１号パンフレット 独国特許出願公開第１０ ２０１５ １１ １１ ２０Ａ１号明細書 米国特許第７，７２４，３６２Ｂ１号明細書 独国特許出願公開第１０ ２０１３ １０３ ８９７Ａ１号明細書

「Ｓｃｈｅｉｍｐｆｌｕｇ ｓｔｅｒｅｏｃａｍｅｒａ ｆｏｒ ｐａｒｔｉｃｌｅ ｉｍａｇｅ ｖｅｌｏｃｉｍｅｔｒｙ ｉｎ ｌｉｑｕｉｄ ｆｌｏｗ」、Ａｊａｙ Ｋ． Ｐｒａｓａｄ及びＫｉｒｋ Ｊｅｎｓｅｎ、ＡＰＰＬＩＥＤ ＯＰＴＩＣＳ ３４、３０（１９９５） 「Ｚｅｉｌｅｎｋａｍｅｒａｓ ｚｕｒ Ｉｎｓｐｅｋｔｉｏｎ ｄｅｒ Ｄｉｃｈｔｆｌａｅｃｈｅｎ ｅｉｎｅｒ Ｏ－Ｒｉｎｇ－Ｎｕｔ」、Ｐｈｏｔｏｎｉｋ ５／２０１２

本発明は、簡単な方法で、大きなスキャン領域で良好な空間分解能が得られるステレオカメラシステムを作成するという課題に基づく。

本発明のさらなる課題は、空間的な対象物の信頼性の高いスキャンを可能にするステレオカメラシステムを作成することである。

本発明のさらなる課題は、簡単な方法で、大きな結像領域をカバーすることができるステレオカメラシステムを作成することにある。

本発明のさらなる課題は、コンパクトなデザインのステレオカメラシステムを作成することにある。

本発明のさらなる課題は、異なる対象物面の結像に適したステレオカメラシステムを作成することにある。

１つ以上の課題は、独立請求項の主題によって解決される。有利な開発及び好ましい変形は、従属請求項の主題を形成する。

対象物の３次元表面形状の計測のための本発明に係るステレオカメラシステムは、少なくとも２つの線状のセンサ領域と、センサ領域に対象物を結像するための少なくとも１つのレンズとを有する。このレンズは、対象物領域が２つの独立したビーム経路で、それぞれ１つのセンサ領域に結像されるように配置されている。当該ステレオカメラシステムは、上記ビーム経路の少なくとも１つに沿って、シャインプルーフの条件が満たされていることを特徴とする。

これまでに説明したように、シャインプルーフの条件を考慮したステレオカメラシステムは、平行配置のステレオカメラシステムと比較して、レンズによって像が歪むことなく、大きなベースを有する。ベースが大きくなることで、３次元表面形状の解像度が高くなる。

このようなステレオカメラシステムは、ステレオカメラシステムが対象物に対して相対的に移動されて、ライン方向に交差する対象物領域のラインごとのスキャンに使用されてもよい。ラインセンサに平行な方向をライン方向と称し、ラインセンサに直交する方向をスキャン方向と称する。スキャン方向において互いに向かって位置する２点の距離は、キーストーン効果及びライン方向の位置に関係なく、同じ解像力で記録される。これにより、像はスキャン方向に圧縮されない。これにより、スキャン方向の解像力が向上する。

同様に、台形の形成が防がれる。両方のラインセンサは、センサライン全体で同じエリアをカバーすることができる。そのため、情報が失われることはない。ラインセンサのオーバーラップ領域を、以下、オーバーラップラインと呼ぶ。

ラインセンサの場合、レンズの開口角はオーバーラップラインのみをカバーする必要がある。このオーバーラップラインは、センサの長さが同じであれば、上述のように六角形を形成する２つのエリアセンサのオーバーラップ領域の対角線よりも小さい。このため、シャインプルーフの条件及びエリアセンサを備えるステレオカメラシステムの必要開口角は、シャインプルーフの条件及びラインセンサを備えるステレオカメラシステムの場合よりも大きい。それゆえ、シャインプルーフの条件及びラインセンサを備えるステレオカメラシステムは、シャインプルーフの条件及びラインセンサを備えるステレオカメラシステムよりも歪みが少なくなる。

また、圧縮の低減により、平行化処理の必要性も減る。これにより、計算時間が短縮され、それゆえ像データがより早く利用できるようになる。

要約すると、シャインプルーフの条件を備えるステレオカメラシステムを使用することで、シャインプルーフの条件を備えないステレオカメラシステムのような歪みが発生することなく、大きなベースが選択されてもよいということが言える。ベースが大きいと、高さ方向の解像度が正確に（高く）なる。シャインプルーフの条件では、レンズの開口角を小さくすることができ、良好な像の質が得られる。しかしながら、キーストーン効果により、エリアセンサの場合、シャインプルーフの条件は両方向に望ましくない歪みをもたらす。ラインセンサが使用される場合、歪みは一方向にしか発生しないため、像の質が高くなる。さらに、ラインセンサの投影幅はエリアセンサの投影対角線よりも小さいため、レンズの必要開口角は、ラインセンサについては、エリアセンサの場合よりも小さい。加えて、エリアセンサとは対照的に、センサの全ピクセルが使用される。

そのため、シャインプルーフの条件を満たし、ラインセンサを有するステレオカメラシステムでは、比較的簡単な手段で高さ方向の解像度が高い像が得られる可能性がある。

すべてのビーム経路でシャインプルーフの条件が満たされていることが好ましい。原理的には、それらのビーム経路は異なるセンサ領域及びレンズの配置を有してもよい。すべてのビーム経路がシャインプルーフの条件を満たすため、１つのビーム経路のみがシャインプルーフの条件を満たすステレオカメラシステムに比べて、より大きなベースが選択されてもよい。

好ましくは、ビーム経路は鏡面対称に配置される。鏡面対称に配置することで、カメラシステムの調整が容易になる。非対称性が、調整（時に発生しやすく、補正されてもよい。各センサが対象物領域から等距離にあることで、像データの評価も容易になる。それゆえ、取得されたピクセルも同じ距離だけオフセットされる。

好ましくは、上記ビーム経路の１つ以上が少なくとも１つのミラーによって偏向される。これにより、ビーム経路はミラーによって折り返されてもよい。計測された対象物の像はミラーによって１回以上反射され、これによってビーム経路の長さが維持される。しかしながら、光学レンズの配置によって取り込まれる体積は、部分的にかなり減少する。特に、ステレオカメラシステムのために大きなベースを選択することができるが、２つのセンサ半体（センサハーフ、Ｓｅｎｓｏｒｈａｅｌｆｔｅｎ）は依然として近接している。つまり、ビーム経路の折り返しがない構造に比べて、よりコンパクトな設計が可能になる。

ビーム経路の折り返しに関連して、ビーム経路を折り返すミラーがレンズと対象物との間に配置されている対象物側の折り返し、ビーム経路を折り返すミラーがレンズとセンサとの間に配置されているセンサ側の折り返し、及びビーム経路を折り返すミラーがレンズと対象物との間だけでなくレンズとセンサとの間にも配置されている両側の折り返しが区別されてもよい。対象物側の折り返しでは、レンズと対象物との間の距離である作動距離が短くなる。

上記ビーム経路は、好ましくは、それぞれ、１つのセンサの別々の部分に投影される。これらの部分は、それぞれ、上記２つ以上のカメラモジュールのうちの１つのセンサ領域を形成する。センサは、複数のセンサ領域に分割され、それぞれにビーム経路が割り当てられてもよい。例えば、２つのビーム経路を持つステレオカメラシステムの場合、センサは２つの領域に分割される。ステレオカメラシステムが３本のビーム経路を有する場合、センサは３つに分割される。これにより、システムの安定性も高まる。加えて、調整が容易でコンパクトな設計が可能になる。

あるいは、ビーム経路がそれぞれ別のセンサに投影され、各ビーム経路に１つのミラーが設けられ、ビーム経路がシャインプルーフ配置で構成されるようにカメラが設計されてもよい。この設計により、コンパクトな形状でありながら、１つのセンサよりも大きなセンサ表面を持つことができ、解像度の向上につながる。

さらに別の方法は、ビーム経路がそれぞれ別のセンサに投影され、各ビーム経路には２つのミラーが設けられ、ビーム経路はシャインプルーフ配置で構成されていることを特徴とする。この設計により、コンパクトな形状が可能になる。

好ましくは、線状のセンサ領域は１つのライン上に隣接して配置され、それぞれラインセンサで表される。このライン配置により、線状のセンサ領域が共通の支持体に固定されてもよいため、調整が容易になる可能性がある。例えば、支持体が傾いていても、センサ領域を再整列（再調整）する必要はない。

立体視的な方法の場合、オフセットが一方向にのみ行われると好都合である。これは、センサがセンサ軸に対して平行又は垂直に配置されていることを意味する。これは、ライン配置によってサポートされる。

さらなる改変によれば、線状のセンサ領域は、互いに平行かつ隣接して配置されてもよい。この場合も、２つのビーム経路のオフセットは、１つの方向にのみ行われる。

線状のセンサ領域は、エリアセンサのピクセルラインであることが可能である。既存のステレオラインカメラシステムを簡単にそのように改造することができる。

すべてのビーム経路に共通のレンズが設けられてもよい。このようにして、とりわけコンパクトなステレオラインカメラシステムが作成されてもよい。レンズの数を減らすことで、コストが抑えられる可能性もある。

上記２つのビーム経路は、対象物面とセンサ面との間の距離が異っていてもよい。これに関連して、それぞれの短いビーム経路に設けられた１つ以上のガラス要素によって、距離の違いによる光路を平滑化することが好都合である場合がある。

このガラス要素により、ガラス要素内での光の速度が抑制される。それゆえ、光がセンサに到達するのに長い時間を必要とする。これは、光路の延長と同じ効果がある。このようにして、距離のばらつきが均一化されてもよい。

本発明のさらなる態様では、３次元表面形状の計測のためのステレオラインカメラシステムは、少なくとも１つのカラーセンサを含み、このカラーセンサは、異なる色に感度を持つ複数のピクセルを有し、対象物をセンサ上に結像するために少なくとも１つのハイパークロマティックレンズ（ｈｙｐｅｒｃｈｒｏｍａｔｉｓｃｈｅｓ Ｏｂｊｅｋｔｉｖ）が設けられている。このカラーセンサは、異なる焦点面（フォーカス面）がそれぞれ同じ色のピクセルに結像されるように、対象物に向かって配置されている。

ハイパークロマティックレンズでは、焦点は波長に依存する。それゆえ、センサの各カラーラインは、別の焦点面に割り当てられる。

これは、３次元の表面形状の計測のために使用されてもよい。対象物領域の異なる高さには、それぞれ異なる焦点面がある。これにより、特定のフォーカスエリアにある高さのそれぞれが、センサ上にシャープに結像される。高さの解像度は、ここでは色の解像度に相当する。この方法は、以下ではハイパークロマティック深度決定と記載されている。これは、高さの小さな違いを検出するのにとりわけ適している。

好ましくは、ハイパークロマティック深度決定は、シャインプルーフの条件を備える立体視的な方法とともに適用される。ハイパークロマティック深度決定では、細かい高さの違いが検出され、他方、立体視法では、より広い範囲で高さの違いが検出される。

好ましくは、カラーラインはレンズに対して傾斜している。この傾斜は、個々のカラーラインに平行な軸の周りで行われる。ラインに沿ってシャインプルーフの条件が維持される。この傾斜により、レンズからのカラーラインの距離が変化し、焦点面も移動する。このため、ハイパークロマティック深度決定で計測可能な高さの最大差が効果的に変化してもよい。

好ましくは、カラーセンサのカラーチャンネルは別々に評価される。これにより、異なる焦点面が別々に算出されてもよい。

本発明に係るさらなる態様では、３次元表面形状の計測のためのステレオラインカメラは、少なくとも２つのエリアセンサであって、このエリアセンサは、互いに平行かつ隣接して配置された複数のピクセルラインを有するように設計されている少なくとも２つのエリアセンサと、そのエリアセンサの１つに対象物をそれぞれ結像するための少なくとも２つのレンズとを含む。このステレオラインカメラは、２つの独立したビーム経路を有する対象物領域が、それぞれ、センサの１つに同時に結像されることにより、エリアセンサのピクセルライン上に線状の対象物領域が結像されるが、この線状の対象物領域と交差するビーム経路のライン平面においては、シャインプルーフの条件が満たされており、また、エリアセンサの個々のラインが線状の対象物領域の異なる平面を結像するように、表面が、スキャンされる対象物領域と平行ではないように、エリアセンサが軸の周りに傾斜していることを特徴とする。

その傾斜のため、各ピクセルラインは、レンズから異なる距離を有する。ラインに沿って、シャインプルーフの条件が維持される。それゆえ、各ラインはそれぞれの焦点面を有する。このようにして、対象物領域の異なる高さは、それぞれ異なるピクセルライン上でシャープに結像される。高さの解像度は、ここではラインの解像度に相当する。この方法を、以下では「傾斜深度決定」（ラテン語：ｉｎｃｌｉｎａｔｉｏ＝傾斜）と呼ぶ。

傾斜深度決定で計測可能な高さの最大差は、傾きを変えることにより、変えられてもよい。

傾斜深度決定とシャインプルーフの条件を備える立体視的な方法を組み合わせることで、高さの分解能が向上する可能性がある。これにより、２つの異なる方法で高さが検出されるため、計測誤差が低減される。

好ましくは、上記センサはカラーセンサであり、上記レンズはハイパークロマティックレンズである。これにより、エリアセンサの傾斜によって生じる個々の焦点面がさらに分割され、焦点面の解像度が向上する可能性がある。

好ましくは、像データはオンラインで平行化処理される。これは、ステレオ像ペアの像の像データをラインごとに調和させ、２つのレンズによるオフセットや歪みの違いを補正するものである。オフラインでも可能なこの平行化処理により、それぞれの歪みの位置データが調整され、これにより、像データは歪みのない状態で表示され、さらに計算されてもよい。この位置データはさらなる変換段階を必要としないため、計算速度が向上する。

電荷結合素子（ＣＣＤ）センサを搭載したラインセンサは、検出された輝度値が格納されたシフトレジスタを有する。これらのシフトレジスタは連続して読み出される。一般に、個々のラインのシフトレジスタを読み出す際には、それぞれのピクセルに一様な位置データが割り当てられる。

好ましくは、センサのピクセルラインは、ライン同期で記録し、同時に結像を開始するように同期する。これにより、平行化処理に必要な時間が大幅に短縮される。特に、平行化処理との組み合わせでは、これにより、１つのカメラモジュールの取得されたピクセルが、第２のカメラモジュールの第２の取得されたピクセルと同時に、対象物上の同じ点に割り当てられる。これにより、ステレオ計算において、センサ領域の各ラインが、第２のセンサ領域の適切なラインに自動的に割り当てられるという利点がある。これは、ステレオ計算が１つの次元でのみ必要であることを意味する。

本発明のさらなる態様は、表面形状検出装置に関する。当該表面形状検出装置は、計測される対象物の３次元表面形状を取得するための、上で説明したような少なくとも１つのステレオカメラシステムを有する。当該表面形状検出装置は、計測される対象物又はカメラシステムを搬送するための搬送装置と、搬送速度を３次元表面形状のリニアス（線状の）キャンに同期させるための同期装置と、３次元表面形状の計測結果を評価するための評価ユニットとを含む。

上記搬送装置は、例えば、コンベヤベルトであってもよい。

上記同期装置は、搬送速度を３次元表面形状の計測と同期させるために、上記ステレオカメラシステム及び／又は評価ユニットに信号を与える。この信号がステレオカメラシステムに送られた場合、その信号は計測のトリガとなることができる。信号が評価ユニットに送られた場合は、搬送装置の速度が決定される。また、像の生成頻度がわかっている場合は、１つの像ラインが次の像ラインからどのくらい離れているかを判断することができる。

上記同期装置は、例えば、上記搬送装置によってトリガされるインクリメンタルエンコーダであってもよい。搬送装置がコンベヤベルトの場合、例えばコンベヤベルトに結合されたホイールによって、ホイールの位置が同期装置によって決定されることが可能である。特定のホイール位置で、信号が発せられる。別の方法として、同期装置にカメラユニットを設け、コンベヤベルト上のマーキングを検出し、その助けを借りて信号を発することもできよう。

同期装置は、評価ユニットのモジュールの形であってもよい。像の生成頻度及び搬送装置の速度が既知であれば、記録された２つの像ラインの間の距離が計算で求められてもよい。

評価ユニットは、計算ユニット上のモジュールであり、記録された像データから３次元表面形状を計算する。

以下、本発明を、図面に示す実施例を用いて、例示的に詳細に説明する。図面は、いずれの場合も、側面図で模式的に示している。

２つのレンズ及び２つのセンサを備えるカメラの第１の実施形態である。 ２つのレンズ、４つのミラー、及び１つのセンサを備えるカメラの第２の実施形態である。 ２つのレンズ、４つのミラー、及び２つのセンサを備えるカメラの第２の実施形態の変更例である。 ２つのカラーフィルタ、２つのレンズ、４つのミラー、及び２つのセンサを備えるカメラの第２の実施形態のさらなる変更例である。 ２つのレンズ、２つのミラー、及び２つのセンサを備えるカメラの第３の実施形態である。 様々な焦点面が異なるカラーライン（色の線）上に位置するハイパークロマティックレンズである。 ３つのレンズ、４つのミラー、及びカラーラインセンサを備えるカメラの第４の実施形態である。 １つのレンズ、４つのミラー、ガラス要素、及びカラーラインセンサを備えるカメラの第４の実施形態の変更例である。 本発明に係るステレオカメラを使用する表面形状検出装置をブロック図で示す。 本発明に該当しないステレオカメラの２つのカメラモジュールのセンサ及びレンズの模式的配置図である。 ステレオカメラの２つのカメラモジュールのセンサ及びレンズの模式的配置図である。 対象物面上に投影されたセンサ面である。 本発明に係るステレオカメラを使用する表面形状検出装置をブロック図で示す。

第１の実施形態では、本発明に係るステレオカメラシステム２５は、２つのカメラモジュール１ａ、１ｂ（図１）を含む。

各カメラモジュール１は、レンズ２及びラインセンサ３によって形成されている。ラインセンサ３は、それぞれセンサ領域１３を用いて、レンズ２によってその上に作られた像を取得する（取り込む）。２つのカメラモジュール１は、共通の対象物領域６を２つの異なる視野方向からスキャンするように配置されている。

各カメラモジュール１について、カメラ軸５は、それぞれ、センサ領域１３の中心及びレンズ２の中心を通っている。それゆえ、２つのカメラ軸５は、センサ領域１３の視野方向に対象物領域６まで走っている。

２つのカメラ軸５は、１つの光学平面上に位置している。また、この光学平面上には、２つのラインセンサ３とそのセンサ領域１３がそれぞれ存在する。この光学平面は、図１の描画平面と一致している。

ベースＢは、２つのセンサ領域１３の中心間の距離である。カメラ軸５は、対象物軸１０で交差し、ベース角αを形成している（挟んでいる）。

このカメラシステムはラインセンサ３を使用しているため、さらなる検討に関連するのはセンサ軸８、レンズ軸９及び対象物軸１０のみであり、これらは、上記光学平面内にあり、同時に上で規定したセンサ面、レンズ面及び対象物面内にある直線である。

ラインセンサ３は、レンズ２によってラインセンサ３上に再現された対象物領域６の像を取得する。ラインセンサ３は、ＣＣＤセンサであり、シフトレジスタと１次元アレイの光検出器とを含み、各光検出器は１ピクセルを記録する役割を果たす。各ラインセンサ３では、センサ軸８がセンサラインと一致して走る。

カメラモジュール１のレンズ２は、それぞれのラインセンサ３に対して、対象物領域６がラインセンサ３の平面内でシャープに描写されるように配置されている。レンズ２は、１枚のレンズで形成されていてもよいし、複数のレンズで形成されていてもよい。レンズ２の光軸は、レンズ２の対称軸であり、光学平面内でレンズ軸９に垂直に走っている。

対象物領域６は、対象物軸１０上に位置し、センサ領域１３上にシャープに結像される。

センサ軸８、レンズ軸９、及び対象物軸１０は、共通点で交差するが、この共通点は無限遠に存在するわけではない。これにより、シャインプルーフの条件が満たされる。

以下に、第２の実施形態（図２ａ）を説明するが、第１の実施形態と同じ要素には同じ参照番号を付している。同一の要素については、以下で特段の記載がない限り、上記の説明が適用できる。

第２の実施形態では、ステレオカメラシステム２５は、ここでも２つのカメラモジュール１ａ、１ｂを含む。各カメラモジュール１は、レンズ２と、２つのミラー１１、１２と、ラインセンサ領域１３とを含む。カメラ軸５は、２つのミラー１１、１２によって偏向される。各カメラモジュール１ａ、１ｂのラインセンサ領域１３は、一列に並び、一方が他方の後ろに位置し、共にラインセンサ３を形成する。

ミラー１１、１２は、レンズ２とラインセンサ領域１３との間に配置されており、対象物領域６がラインセンサ領域１３上に落ちる（入る）ようになっている。

センサ軸８はミラー１１に反射される。センサ軸８’（図示せず）は、反射したセンサ軸８である。センサ軸８’は、今度はミラー１２で反射される。センサ軸８”（図示せず）は、反射されたセンサ軸８’、つまり二重反射されたセンサ軸８である。

ステレオカメラシステム２５のベースＢは、２つのラインセンサ３の投影の中心の距離によって与えられ、ラインセンサの投影は、対象物領域６の像が反射されなかった場合にラインセンサ３が存在するであろう点である。

センサ軸８”、レンズ軸９、及び対象物軸１０は、共通点で交差するが、この共通点は無限遠に存在するわけではない。これにより、シャインプルーフの条件が満たされる。

第２の実施形態が第１の実施形態と異なるのは、カメラモジュール１ａ、１ｂごとにいずれも２つのミラー１１、１２が、対象物軸１０の焦点を、それらが共通軸である関連するセンサ軸８上に位置するように、偏向させる点である。それゆえ、２つの別々のセンサを持つ必要はなく、代わりに、２つのラインセンサ領域１３に分割されたラインセンサ３に両方のビーム経路が投影されてもよい。

この実施形態では、センサ軸８は対象物軸１０と平行である。しかしながら、これら２つの軸が平行でないことも考えられる。この場合、両カメラモジュールは、鏡面対称の設計ではない。

あるいは、ステレオカメラシステム２５は、２つのラインセンサ領域１３の間にギャップを有する（図２ｂ）。各ラインセンサ３は、１つのラインセンサ領域１３のみを含む。この実施形態は、ハイパースコープ（ＨｙｐｅｒＳｋｏｐ）とある種の類似性を有しているが、しかしながら、シャインプルーフの条件には該当しない。

この変形例のさらなるオプションは、２つの光軸が交差して、対象物領域６の第１の像がそれぞれ反対側のラインセンサ３ｂ及びラインセンサ領域１３ｂに投影されることである。シャインプルーフの条件がなければ、この配置はシュードスコープ（Ｐｓｅｕｄｏｓｋｏｐ）として知られている。

さらなる実施形態では、ステレオカメラシステム２５は、第２の実施形態に準拠したデザインを有している（図２ｃ）が、センサ領域１３は、センサ軸８に沿って線状に互いに隣接して配置されておらず、代わりに、センサ軸８に垂直に互いに平行に配置されている。これらのセンサ領域１３は、以下に詳細に説明するように、それぞれがラインセンサ３の異なるカラーラインによって形成されていてもよい。両方のビーム経路は、２つの異なるビーム経路がラインカラーセンサ３上でわずかにオフセットして出会うように、互いにオフセットしてラインカラーセンサ３に垂直に配置されている。２つのミラー１１は、互いに隣接して取り付けられている。そして、カラーフィルタ２６が各ビーム経路に沿って配置されている。その結果、一方のカメラモジュール１ａの像は、ラインカラーセンサ３上で例えば赤色の像（画像）として表示され、他方のカメラモジュール１ｂの像は、ラインカラーセンサ３上で例えば緑色の像（画像）として表示される。これによって、ラインカラーセンサ３は、対象物領域６の２つ、又はさらに多い複数の像を同時に取得してもよい。ここで、対象物の表面は、カラーフィルタ２６の一方の色であってはならない。というのも、そうしないと、表面の像情報がフィルタリングで除外されてしまうからである。それゆえ、第１の色のカラーフィルタを有するビーム経路は、第１の色を検出するセンサラインに当たる。第２の色のカラーフィルタを有するビーム経路は、第２の色を検出するセンサラインに当たる。

白色又はグレースケールである対象物の表面が好ましい。白色又はグレースケールは、色スペクトルの各色が同じ強度値を持っている。光がそれぞれのカラーフィルタ２６を通過すれば、カラーフィルタの色に関係なく、光の積分強度はすべての色で等しく減少する。ラインセンサ３のカラーチャンネルがグレースケールとして評価されている場合、両方のビーム経路の結果として得られる像は、対象物に対する視角が異なることによってのみグレースケールの強度が異なり、ビーム経路の色が異なることによっては生じない。

この実施形態では、カラーフィルタ２６は、レンズ２ａ、２ｂの前に取り付けられている（図２ｃ）。しかしながら、カラーフィルタ２６は、ミラー１１と１２との間や、ラインカラーセンサ３とミラー１１との間に配置されてもよい。

あるいは、カラーフィルタの代わりに、ラインセンサ３が対象物領域６の適切に異なる偏光像を個別に取得できる限り、ビーム経路に沿って異なる偏光フィルタが使用されてもよい。それゆえ、ステレオカメラシステム２５の各ビーム経路は、ラインセンサ３に当たるときに異なる偏光を有する。像の位相と強度が取得されるならば、この方法はホログラフィにも使用されてよい。この場合、対象物の表面が偏光を変化させないようにしてもよい。というのも、そうしないと、偏光フィルタが高さデータの計算に必要な像データをフィルタリングで除外してしまうからである。

以下に、第３の実施形態（図３）を説明するが、第１及び第２の実施形態と同じ要素には同じ参照番号を付している。同一の要素については、以下で特段の記載がない限り、上記の説明を適用する。

第３の実施形態では、ステレオカメラシステム２５は、ここでも２つのカメラモジュール１ａ、１ｂを含む。各カメラモジュール１は、レンズ２、ミラー１１、及びラインセンサ３を含む。カメラ軸５は、ミラー１１によって偏向される。

ミラー１１は、レンズ２とラインセンサ３との間に配置され、対象物領域６がラインセンサ３上に落ちるようになっている。

センサ軸８は、ミラー１１で反射される。センサ軸８’（図示せず）は、反射されたセンサ軸８である。２つのカメラモジュール１の２つのセンサ軸８は、この実施形態では、必ずしも互いに平行ではない。

ステレオカメラシステム２５のベースＢは、２つのラインセンサ３の投影の中心の距離によって与えられ、ラインセンサの投影は、対象物領域６の像が反射されなかった場合にラインセンサ３が存在するであろう点である。

センサ軸８’、レンズ軸９、及び対象物軸１０は共通点で交差するが、この共通点は無限遠ではない。これにより、シャインプルーフの条件が満たされる。

第２の実施形態とは対照的に、２つのラインセンサ領域１３は、もはや一列に並んでおらず、一方が他方の後ろに位置してはいない。加えて、ミラー１１があるため、センサ３は、対象物領域６に対して垂直又はほぼ垂直に配置されてもよく、これにより、非常にコンパクトな設計を選択することが可能となる。

以下に、第４の実施形態（図５）を説明するが、第１の実施形態と同じ要素には同じ参照番号を付している。同一の要素については、以下で特段の記載がない限り、上記の説明を適用する。

第４の実施形態では、ステレオカメラシステム２５は、３つのカメラモジュール１ａ、１ｂ、１ｃを含む。ステレオカメラシステム２５は、単純なラインセンサの代わりに、３ラインセンサ１５を含む。３ラインセンサ１５は、互いに並んで配置された３つの平行なラインセンサ領域１３を含む。センサ軸８は、光学平面に垂直に走っている。

各カメラモジュール１ａ、１ｃは、レンズ２と、２つのミラー１１、１２と、３つのラインセンサ領域１３のうちの１つとを含む。カメラモジュール１ｂは、レンズ２と、３つのラインセンサ領域１３のうちの１つとを含む。カメラモジュール１は、共通の対象物領域６を３つの異なる視野方向からスキャンする。

外側のカメラモジュール１ａ、１ｃの場合、センサ軸８はミラー１１で反射される。センサ軸８’（図示せず）は、反射されたセンサ軸８である。センサ軸８’は、今度はミラー１２で反射される。センサ軸８”（図示せず）は、反射されたセンサ軸８’、つまり二重反射されたセンサ軸８である。

ステレオカメラシステム２５に３つのカメラモジュール１が使用されている場合、２つのカメラモジュール１の組み合わせごとに３つのベース長Ｂが可能である。ベースＢは、２つのラインセンサ３の投影の中心の距離によって与えられ、ラインセンサの投影は、対象物領域６の像が反射されなかった場合にラインセンサ３が存在するであろう点である。

センサ軸８又は８”、レンズ軸９、及び対象物軸１０は、共通点で交差するが、この共通点は無限遠に存在するわけではない。これにより、シャインプルーフの条件が満たされる。

あるいは、ステレオカメラシステム２５は、３つのレンズ２ａ～２ｃの代わりに、３つのカメラモジュール１ａ、１ｂ、１ｃをすべて取り囲む単一のレンズ２のみを含む。これを補うために、中間のカメラモジュール１ｂは、ガラス要素１９を有する（図６）。

第４の実施形態は、ラインセンサ領域１３が互いに平行に配置されており、一方が他方の後ろに一列に並んでいない点で、先行する実施形態と異なる。

上述した実施形態の代替変形例では、各カメラモジュール１のレンズはハイパークロマティックレンズ１４であり、その焦点はとりわけそれぞれの波長に依存している（図４参照）。加えて、３ラインセンサ１５は、赤１６ａ、緑１６ｂ及び青１６ｃのラインを有する３ラインカラーセンサ１５である。ハイパークロマティックレンズ１４により、３ラインカラーセンサ１５のそれぞれの赤、緑及び青のライン（１６ａ、１６ｂ、１６ｃ）は、それぞれ異なる焦点面１７ａ、１７ｂ、１７ｃを有する。これにより、各カラーライン１６ａ、１６ｂ、１６ｃは、異なる高さ計測領域１８ａ、１８ｂ、１８ｃを計測する。この場合、高さの解像度は、色の解像度に対応する。

好ましくは、カラーライン１６は、レンズ１４に対して傾斜している。この傾斜は、個々のカラーライン１６に平行な軸の周りで行われる。カラーライン１６に沿ってシャインプルーフの条件が維持される。この傾斜により、レンズ１４からのカラーライン１６の距離が変化し、焦点面１７も移動する。

本発明のさらなるオプションは、カメラモジュール１が、ラインセンサ３の代わりに、エリアセンサを有することである。エリアセンサは、光検出器の２次元アレイであり、各光検出器は１つのピクセルに対応している。この実施形態では、エリアセンサは、平行なラインセンサ３をつなぎ合わせたものと考えられる。

エリアセンサは、個々のラインセンサ３に平行な傾斜軸の周りに傾斜している。個々のラインは、割り当てられたセンサ軸８又は８’又は８”とともに、レンズ軸９及び対象物軸１０と１点で交差し、それゆえ、シャインプルーフの条件を満たすように配置されている。

ここでは、エリアセンサの法線と光軸の間の角度の量は９０°未満である。エリアセンサの各ラインは、異なる高さ計測領域１８を有する。隣り合った高さ計測領域は、高さエリアの拡大につながる。その結果、高さが異なる対象物に対しても、同じカメラ設定が使用されてもよい。対象物の各高さには、関連する高さ計測領域を有するエリアセンサの少なくとも１つの対応するラインが割り当てられる。

上述した実施形態の代替的な変形例では、まっすぐなミラー１１の代わりに、計測される対象物４の像が歪みなくラインセンサ３に到達するように、使用されるミラーが湾曲している。

上述の実施形態は、それぞれ２つ又は３つのカメラモジュール１を含む。原理上、表面形状の立体視的な決定のために、任意の所望の数のカメラモジュールが提供されてもよいが、少なくとも２つのカメラモジュールが必要である。カメラモジュールの数が多ければ多いほど、統計的誤差は小さくなる。しかしながら、コストも上昇する。ベース長の数は、三角数に従う。例えば、２つのカメラモジュール１では１つのベースしか可能ではなく、３つのカメラモジュール１では３つ、４つでは６つの選択肢、５つでは１０種類のベース長が可能である。

以下、表面形状検出装置２０（図７）について説明する。

表面形状検出装置は、計測される対象物４の３次元表面形状を計測するための、図１～図６のいずれか１つに係る上記の実施形態の１つで説明したステレオカメラシステム２５と、計測される対象物４を搬送するための搬送装置２１と、搬送速度を３次元表面形状の計測に同期させるための同期装置２２と、３次元表面形状の計測結果を評価するための評価装置２３とを含む。

この実施形態では、搬送装置２１は、コンベヤベルトである。

この実施形態における同期装置２２は、インクリメンタルエンコーダ２２である。インクリメンタルエンコーダは、コンベヤベルトの移動中に回転するように、コンベヤベルト２１に接続されている。所定の回転角の周りの回転の過程で、クロック信号が生成される。これにより、コンベヤベルトは、連続する２つのクロック信号の間に所定の距離をカバーする。これらのクロック信号は、評価装置２３に渡される。評価装置２３は、カメラモジュールに配置されたセンサ３によって取得された像信号を得るように、カメラモジュール１にも接続されている。評価装置２３は、それぞれのカメラモジュールが計測される対象物４をスキャンする時間を制御するように設計されている。このようにして、評価装置２３は、インクリメンタルエンコーダ２２から受信したクロック信号に従って、計測される対象物４のスキャンを、コンベヤベルト及び計測される対象物４のそれぞれの動きに同期させることができる。この同期は、好ましくは、計測される対象物が同じローカル距離で移動方向７にスキャンされるように配置される。複数の連続した一次元スキャンを組み合わせて、評価装置２３で２次元画像を与えてもよい。こうして、表面形状に関する３次元データが得られる。

取得された像は補正されてもよい。一方では、ラインカメラの個々のピクセルを連続して敏感に切り替えることにより、カメラに対する計測される対象物４の移動から生じるシフトエラーを修正することができる。このため、高速走行時には、像は移動方向７に対して一定の傾斜位置を持つ。

加えて、像は平行化処理されてもよい。平行化処理によって、像データの幾何学的な歪みが除去される。これらは、特に、シャインプルーフの配置に起因して発生する可能性がある。

平行化処理という後の補正は、像登録時にオンラインで直接行われてもよい。像ラインの写真を撮影した後、データは直接補正される。これには、センサ信号をデジタル化した後、カメラのＦＰＧＡ（フィールドプログラマブルゲートアレイ、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で像信号の前処理を行うことを伴う。２つのカメラモジュールの歪みのパラメータが、システムのキャリブレーション等で既知である場合は、従来どおりＰＣ上で同じ補正モデルが適用されてもよい。それゆえ、演算装置でのさらなる補正が不要となり、処理速度が向上する。

このようにして補正された像は、計測される対象物４の撮影面の深度再構成に使用される。深度再構成の代表的な方法は、ステレオ三角測量（Ｓｔｅｒｅｏｔｒｉａｎｇｕｌａｔｉｏｎ）である。これは、第１の像の各点に、第２の像の第２の点を割り当てることを伴う。２つの点の間の距離は、その点の実際の空間的深さ、より正確にはセンサ３の対象物領域６からの距離及びステレオカメラシステム２５のベースＢに依存する。このようにして、第１の像の各点には深度情報が割り当てられる。

あるいはまた、ブロック、すなわち、例えば３×３行列のようなピクセルのグループが互いに割り当てられてもよい。この方法はブロックマッチングと呼ばれている。

このようにして、取得された各像ラインに対して、深度情報を含む像ラインが計算される。計測される対象物４の複数の像ラインが取得された場合、深度情報を持つラインを結合して、計測される対象物の３次元表面形状を生成してもよい。個々のラインの距離は、同期装置２２からの情報によって計算されてもよい。

複数のラインセンサ３の代わりに、ラインセンサ領域１３が使用される場合、すべてのカメラモジュール１の像データは、同じラインセンサ３上で生成される。結果として得られるデジタル二重像は、評価装置２３で分割される。得られた２つの像は上述のように補正され、深度構築に使用される。

計測される対象物を取得するために３ラインセンサ１５が使用される場合、各色に対して独立した像が生成される。各色について、上述したように独立した像が補正され、深度構築に使用される。ハイパークロマトグラフィーレンズが使用される場合、各色は異なる高さ計測領域１８ａ、１８ｂ、１８ｃを有するので、計測される対象物の表面の深度プロファイルの追加的な推定値が、像のシャープネス検出を介して計算されてもよい。像（画像）の各点は、他の２つの色領域の画像の点であるが、同じカメラモジュール１に割り当てられている。その点の位置は、３つの像では異ならない。このため、この点の像のシャープネスは、計測される対象物４上の実在する点の深さと色とに応じて異なる。点が深い位置にある場合、その点は、青の画像ではシャープに、緑の画像では中程度の深さで、赤の画像では低い深さで表示される。シャープネスの検出は、例えば、あるピクセル領域での画像のコントラスト比較によって行われてもよい。ある点がよりシャープであれば、コントラストが大きい。

このように、立体視的な計算と組み合わせることで、表面形状を細かく判断することができる。

個々のカラー画像を個別に計算するのではなく、ＲＧＢ画像を組み合わせてグレースケール画像が計算され、その後で分析されてもよい。

計測される対象物を取得するためにエリアセンサが使用されている場合は、各ラインに対して独立した像が生成される。各ラインについて、上述のように、独立した像が補正され、深度構築に使用される。その後、それぞれの独立した像において、計測される対象物４上の実在する点のシャープネスが決定される。従って、その点を最もシャープに捉えたラインが決定されてもよい。ラインの位置及び焦点距離は既知であるため、これらの因子から点の距離が決定される。すべての点が互いに接続されれば、計測される対象物４の高さプロファイルが得られる。

上述した３ラインセンサ１５の他にも、例えば、ＲＧＢのセンサポイントが３本並んだセンサ、グレースケールも認識するセンサポイントが３本並んだセンサ、グレースケールのみを認識するセンサポイントが３本並んだセンサ、等の他の組み合わせも考えられる。

上記のセンサは、ＣＣＤセンサであってもよいが、例えば相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）等の他のセンサの種類も考えられる。

参照番号
１ カメラモジュール
２ レンズ
３ センサ
４ 計測される対象物
５ カメラ軸
６ 対象物領域
７ 移動方向
８ センサ軸
９ レンズ軸
１０ 対象物軸
１１ ミラー１
１２ ミラー２
１３ ラインセンサ領域
１４ ハイパークロマティックレンズ
１５ ３ラインセンサ
１６ カラーライン
１７ 焦点面
１８ 高さ計測領域
１９ ガラス要素
２０ 表面形状検出装置
２１ 搬送装置
２２ 同期装置
２３ 評価装置
２５ ステレオカメラシステム
２６ カラーフィルタ
α ベース角
β シャインプルーフ角
γ レンズの開口角
Ｂ ベース

Claims (18)

1. 対象物の３次元表面形状の計測のためのステレオカメラシステムであって、
   少なくとも２つの線状のセンサ領域と、
   対象物を前記センサ領域上に結像するための少なくとも１つのレンズと
   を備え、
   前記センサ領域及び前記少なくとも１つのレンズは、対象物領域が２つの独立したビーム経路で、それぞれ同時に前記センサ領域の１つに結像されるように配置されており、
   前記ビーム経路の少なくとも１つに沿って、シャインプルーフの条件が満たされていることを特徴とするステレオカメラシステム。
2. すべてのビーム経路に沿って、前記シャインプルーフの条件が満たされていることを特徴とする請求項１に記載のステレオカメラシステム。
3. 前記ビーム経路の１つ以上が、少なくとも１つのミラーによって偏向されることを特徴とする請求項１又は請求項２に記載のステレオカメラシステム。
4. 前記ビーム経路が、それぞれ、１つのセンサの別の部分に投影され、前記センサが、ビーム経路の数に分割されることを特徴とする請求項１から請求項３のいずれか１項に記載のステレオカメラシステム。
5. 前記ビーム経路がそれぞれ別のセンサに投影され、各ビーム経路には少なくとも１つのミラーが設けられ、前記ビーム経路が、各ビーム経路について、シャインプルーフ配置で構成されていることを特徴とする請求項１から請求項３のいずれか１項に記載のステレオカメラシステム。
6. 前記ビーム経路が、それぞれ別のセンサに投影され、各ビーム経路には少なくとも２つのミラーが設けられ、前記ビーム経路が、各ビーム経路について、シャインプルーフ配置で構成されていることを特徴とする請求項１から請求項３のいずれか１項に記載のステレオカメラシステム。
7. 前記線状のセンサ領域が、１つのライン上に隣接して配置され、それぞれ１つのラインセンサで表されることを特徴とする請求項１から請求項６のいずれか１項に記載のステレオカメラシステム。
8. 前記線状のセンサ領域が、互いに平行かつ隣接して配置されていることを特徴とする請求項１から請求項５のいずれか１項に記載のステレオカメラシステム。
9. 前記線状のセンサ領域が、エリアセンサのピクセルラインであることを特徴とする請求項８に記載のステレオカメラシステム。
10. すべてのビーム経路に共通のレンズが設けられていることを特徴とする請求項１から請求項９のいずれか１項に記載のステレオカメラシステム。
11. 前記ビーム経路の少なくとも１つにガラス要素が設けられていることを特徴とする請求項１から請求項１０のいずれか１項に記載のステレオカメラシステム。
12. 特に請求項１から請求項１１のいずれか１項に記載の、対象物の３次元表面形状の計測のためのステレオカメラシステムであって、
    少なくとも１つのカラーセンサであって、異なる色に感度を持つ複数のピクセルを有する少なくとも１つのカラーセンサと、
    前記対象物を前記センサに結像させるための少なくとも１つのハイパークロマティックレンズと
    を備え、
    前記カラーセンサが、異なる焦点面がそれぞれ同じ色のピクセルに結像されるように、前記レンズに対して配置されていることを特徴とするステレオカメラシステム。
13. 前記カラーセンサのカラーチャンネルが別々に評価されることを特徴とする請求項１２に記載のステレオカメラシステム。
14. 対象物の３次元表面形状の計測のためのステレオカメラシステムであって、
    少なくとも２つのエリアセンサであって、前記エリアセンサは、互いに平行かつ隣接して配置された複数のピクセルラインを有するように設計されている少なくとも２つのエリアセンサと、
    前記エリアセンサの１つに対象物をそれぞれ結像するための少なくとも２つのレンズと
    を備え、
    ２つの独立したビーム経路を有する対象物領域が、それぞれ、前記センサの１つに同時に結像され、
    線状の対象物領域が、１つのエリアセンサの前記ピクセルライン上に結像され、
    前記線状の対象物領域と交差する前記ビーム経路のライン平面において、特に請求項１から請求項１１のいずれか１項に記載のシャインプルーフの条件が満たされていること、及び
    前記エリアセンサの個々のラインが前記線状の対象物領域の異なる平面を結像するように、表面が、スキャンされる対象物領域と平行ではないように、前記エリアセンサが軸の周りに傾斜していること
    を特徴とするステレオカメラシステム。
15. 前記センサがカラーセンサであり、前記レンズが、請求項１１又は請求項１２に記載のハイパークロマティックレンズであることを特徴とする請求項１４に記載のステレオカメラシステム。
16. 取得されたデータが、その後の平行化処理の補正のためにオンラインで記録されることを特徴とする請求項１から請求項１５のいずれか１項に記載のステレオカメラシステム。
17. センサのピクセルラインが、ライン同期で記録し、かつ同時に結像を開始するように同期されていることを特徴とする請求項１から請求項１６のいずれか１項に記載のステレオカメラシステム。
18. 表面形状検出装置であって、少なくとも、
    計測される対象物の３次元表面形状の計測のための、１つの請求項１から請求項１７のいずれか１項に記載のステレオカメラシステムと、
    前記計測される対象物を搬送するための搬送装置と、
    搬送速度を３次元表面形状の計測に同期させるための同期装置と、
    前記３次元表面形状の計測結果を評価するための評価装置と
    を備える表面形状検出装置。

Images