JP2017531258A - カメラ画像で投影構造パターンの構造要素を特定する方法および装置 - Google Patents

Abstract

【課題】カメラ画像で、シーンに投影される構造パターンの個々の構造要素を特定する方法を提供する。【解決手段】シーン(14)に構造パターン(16)を投影するためにプロジェクタ(36)を使用し、前記構造パターン(16)を取り込むために第１カメラ(M)および少なくとも１つの第２カメラ(H,V)を使用する。第１カメラ(M)および第２カメラ(H,V)は互いから離して位置付けられており、プロジェクタ(36)は第１カメラおよび第２カメラ(M,H,V)を結ぶ線分(26,28)の外側に、第１カメラ(M)および第２カメラ(H,V)から離して位置付けられている。第１カメラ(M)のカメラ画像で特定されるべき構造要素(12)に関して、個々の構造要素(12)について、各構造要素(12)を第１カメラ(M)およびプロジェクタ(36)の位置および配向に相関させる第１パラメータと、各構造要素(12)を第２カメラ(H,V)およびプロジェクタ(36)の位置および配向に相関させる少なくとも第２パラメータとの組み合わせを有する校正データによって、第２カメラ(V,H)のカメラ画像において、第１カメラ(M)のカメラ画像で特定されるべき構造要素(12)と一対一対応で関連付けることのできる構造要素(12)を判別する。当該校正データは第１カメラおよび第２カメラ(M,H,V)を使用して、プロジェクタ(36)によって投影される構造パターン(16)の校正画像(76,78)を記録することによって取得される。【選択図】図７

Description

本発明は、カメラ画像で、シーンに投影される構造パターンの構造要素を特定する方法に関するものである。

本発明はさらに、特に前述の方法を実施するために、カメラ画像で、シーンに投影される構造パターンの構造要素を特定する装置に関するものである。

本発明はさらに、危険ゾーン、特にプレスやロボットなどの機械の危険ゾーンを監視する、特に安全確保をするための、前述の方法および／または前述の装置の使用に関するものである。

本発明の状況において、「シーン」とは、特にカメラが監視する三次元の危険ゾーンを意味すると理解される。人などの動く物体がシーンに存在することがある。特にその場合、カメラは人またはその体の部分が自動的に作動する機械に危険なほど近くに位置し、または接近するかどうかに関して、シーンを監視する。

危険ゾーン、特に機械および工業プラントの危険ゾーンを監視するために、特許文献１に記述されるように、カメラを使用することは周知である。ここでは、３Ｄセキュリティカメラが開示されており、これは第１および第２の画像センサを有し、それぞれ空間領域の画像データを生成することができる。３Ｄセキュリティカメラは、シーン、つまり空間領域に構造化された照明パターンを生成するプロジェクタと一緒に動作する。立体視の原理によると、評価ユニットが画像データから空間領域のデプスマップを生成し、空間領域に容認できない侵入がないか監視される。

立体カメラの画像ペアの立体視の評価中、低コントラストの物体または監視される空間領域内の繰り返し構造のために、計測誤差が生じるおそれがある。このため、前述の文書に記述されるように、カメラ画像のコントラストを向上させるために、構造パターンをカメラの視野に投影する。ここでは、同じく前述の文書ですでに開示されているように、構造パターンを規則的なドットパターンとして使用することが有利である。ドットパターンとしての構造パターンのほうが、くっきりと表されそれを投影するのに必要な照射エネルギが少ない点で、より複雑な構造パターンを用いるよりも有利である。

本発明の状況における投影構造パターンは、光学的な構造パターン、言い換えると、光の点（light spots）からなるパターンである。

しかし、構造パターンとして、ドットパターン、特に均質なドットパターンを使用する場合、カメラ画像のドットがシーンに投影されるドットに誤って割り当てられることが頻繁に発生するという問題が生じる。これはカメラ画像内のある投影構造要素の位置が一般にカメラからの投影構造要素の現在の距離に依存し、同様に、構造要素が投影される物体の幾何学形状にも依存するからである。言い換えると、カメラ画像内の構造要素の位置は距離および物体の幾何学形状に依存して変わり、一般にカメラ間で異なるおそれがある。

カメラ画像のドットをシーンに投影されるドットに誤って割り当てられると、シーン内の物体からの距離が誤って判断されることになる。誤った距離の計測はさらに、例えば、危険ゾーン内に位置する物体がカメラによって危険ゾーンの外側にあるように観測される場合には危険な状況が生じるという結果を発生させ、または、物体が危険ゾーンの外側にあるのに、誤った距離の計測のためにカメラによって危険ゾーン内にあるように観測され、そのため機械の電源が切られる。このため、危険ゾーン内の機械の有用性が不十分になるという結果になる。

特許文献２によるカメラ画像内の構造要素をシーンに投影される構造要素に誤って割り当てられる問題の解決策は、より複雑な構造パターンを、少なくとも部分領域において、非均質、不規則かつ非自己相似性のシーンに投影することである。しかし、このようなより複雑な構造パターンの生成は、装置の点で高額な出費、つまりプロジェクタの複雑さに鑑みて不利である。

特許文献３はプロジェクタから被加工物に光線を投影する三次元計測装置を開示しており、光線が投影される被加工物の像を立体カメラが取り込む。装置の制御装置は取り込まれた立体像の第１画像の輝線と光切断面との間の対応を一時的に特定して、光切断面に輝線を投影する。光切断面に投影される輝線は第２画像に投影される。制御装置は第２画像に投影される輝線と、第２画像内の輝線との類似度を計算して、投影された輝線と第２画像内の輝線との特定される対応関係の結果を判別する。

特許文献４は、アイテムの表面幾何形状をスキャンしてデジタル化するハンドヘルド三次元スキャナを開示している。

特許文献５は、空間領域を監視して安全確保をするための３Ｄセキュリティカメラを開示している。セキュリティカメラは少なくとも１つの半導体光源を有する照明ユニットを有する。半導体光源は少なくとも１０Ｗの高い光出力を発生し、これが監視される空間領域の環境光の変動とは独立して、信頼性のある評価のための密なデプスマップの生成を可能にする。

特許文献６は、強く湾曲した反射面も計測する装置を開示している。ここでは面に反射されるパターンを観察して評価する。反射パターンは複数の方向から観察する。さまざまな観察方向について判別される面法線が互いに対して最も小さい偏差を有する計測空間内の部位を判断することにより評価を行う。

欧州特許出願公開第2 133 619 A1号明細書 欧州特許出願公開第2 019 281 A1号明細書 国際特許出願公開WO 2013/145665 A1号明細書 米国特許出願公開第2008/0201101 A1号明細書 独国実用新案出願公開第20 2008 017 729 U1号明細書 独国特許第10 2004 020 419 B3号明細書

本発明は、カメラ画像において、シーンに投影される構造パターンの構造要素を、複雑で不均質、不規則な、時間または空間コード化された構造パターンを必要とすることなく、確実に特定することのできる方法および装置を規定することを目的とする。

この目的を達成するために、カメラ画像において、シーンに投影される構造パターンの構造要素の信頼性のある特定の方法が提供される。前記方法において、前記構造パターンを前記シーンに投影するプロジェクタが使用され、第１カメラおよび少なくとも１つの第２カメラを使用して前記シーンに投影される前記構造パターンを取り込み、前記第１カメラおよび前記少なくとも１つの第２カメラを互いから離して位置付け、前記プロジェクタは前記第１カメラと少なくとも１つの第２カメラとを結ぶ線分の外側に、前記第１カメラおよび前記少なくとも１つの第２カメラから離して位置付け、前記第１カメラの前記カメラ画像で特定されるべき構造要素に関して、個々の構造要素の各場合において、前記各構造要素を前記第１カメラおよび前記プロジェクタの位置および配向に相関させる第１パラメータと、前記各構造要素を前記少なくとも１つの第２カメラおよび前記プロジェクタの位置および配向に関連付ける少なくとも第２パラメータとの組み合わせを有する校正データによって、前記少なくとも１つの第２カメラの前記カメラ画像において、前記第１カメラの前記カメラ画像で特定されるべき前記構造要素と一対一対応で関連付けることのできる構造要素を判別し、当該校正データは、前記第１カメラおよび少なくとも１つの第２カメラを使用して、前記プロジェクタが投影する前記構造パターンの校正画像を記録することによって取得する。

本発明によると、特に前述の方法を実施するために、カメラ画像において、シーンに投影される構造パターンの構造要素を確実に特定する装置がさらに提供される。この装置は、前記構造パターンを前記シーンに投影するプロジェクタを具備し、前記シーンに投影される前記構造パターンを取り込む第１カメラおよび少なくとも１つの第２カメラをさらに具備し、前記第１カメラおよび前記少なくとも１つの第２カメラは互いに離れて位置付けられており、前記プロジェクタは前記第１および少なくとも１つの第２カメラを結ぶ線分の外側に、前記第１カメラおよび前記少なくとも１つの第２カメラから離して位置付けられており、前記個々の構造要素について、それぞれの場合において前記各構造要素と前記第１カメラおよび前記プロジェクタの位置および配向とを相関させる第１パラメータと、前記各構造要素と前記少なくとも１つの第２カメラおよび前記プロジェクタの位置および配向とを相関させる少なくとも第２パラメータとの組み合わせを有する校正データが格納される記憶装置をさらに具備し、前記校正データを使用して、前記第１カメラの前記カメラ画像で特定されるべき構造要素に関して、前記少なくとも１つのカメラの前記カメラ画像において、前記第１カメラの前記カメラ画像で特定されるべき前記構造要素に一対一対応で関連付けることのできる構造要素を判別するようになされた計算ユニットをさらに具備する。

本発明の状況における「カメラ」という用語は、一般的な意味を有することが意図される。カメラとは、例えば、単に関連の光学系を備える画像センサを意味すると理解することができる。第１カメラも、少なくとも１つの第２カメラも、２つの画像センサが互いから側方に離れて共通のハウジングに収容されていることを意味することが意図され、前記画像センサはそれぞれの場合において共通の結像光学系または個別の結像光学系を割り当てることができる。しかし、第１カメラおよび少なくとも１つの第２カメラは、それ自体のハウジングおよびそれ自体の結像光学系を有する個別のスタンドアローン型のカメラとすることもできる。

本発明による方法および本発明による装置は、プロジェクタの位置および配向、例えばその射出瞳および各個々の構造要素の透過方向と、少なくとも２つのカメラの位置および配向、例えばその射出瞳の位置および配向ならびにそのビュー方向との正確な知識の原則に基づく。この正確な知識を得るために、本発明による方法は、例えば少なくとも２つのカメラおよびプロジェクタの設置時に、構造パターンの校正画像を記録して、それから校正データを取得する。校正データは、個々の構造要素について、それぞれの場合において各構造要素を第１カメラおよびプロジェクタの位置および配向に相関させる第１パラメータと、各構造要素を少なくとも１つの第２カメラおよびプロジェクタの位置および配向と相関させる第２パラメータとの組み合わせを有する。投影構造パターンの構造要素は、校正中に個々の構造要素、好ましくは各構造要素に割り当てられるこれらのパラメータの組み合わせのおかげで、一意に判別される。

本発明による装置において、取得されたこの校正データは記憶ユニットに格納される。本発明による方法において、少なくとも１つの第２カメラのカメラ画像内の構造要素と第１カメラのカメラ画像内の構造要素とを一対一対応で割り当てられるようにするために、校正データはさらに、少なくとも２つのカメラのカメラ画像内の構造パターンのうち、シーンに投影される構造要素の特定に使用する。

本発明による方法および本発明による装置は、第１および少なくとも１つの第２カメラのカメラ画像内の構造要素をシーンに投影される構造要素に確実に割り当てられるようにする。本発明による方法および本発明による装置を用いて、監視される空間領域内の物体からの距離の正確な計測基礎が確立される。これによって、カメラシステムは、例えば、物体が危険ゾーン内、またはその外に位置するかを確実に評価することができる。

少なくとも２つのカメラおよびプロジェクタの互いに対する位置および配向は、校正画像を記録することによってその校正から分かり、カメラエピポーラ線として知られる少なくとも２つのカメラの直線は、２つのカメラの互いに対する既知の位置および配向から判別可能である。プロジェクタの少なくとも２つのカメラに対する位置および配向も校正によって分かり、この知識に基づいて、第１カメラとプロジェクタおよび少なくとも１つの第２カメラとプロジェクタのペアリングの照明エピポーラ線として知られる別の直線が判別可能である。

少なくとも２つのカメラにおいて、構造要素の画像は必ず各カメラのエピポーラ線上に位置する。どのカメラエピポーラ線上に構造要素の画像がくるか、また、他のどの構造要素がそのカメラエピポーラ線に同じく位置するかは、構造パターンが投影される物体の幾何学形状および距離に依存する。少なくとも２つのカメラのそれぞれについて、多くのカメラエピポーラ線がある。

さらに、各投影構造要素およびカメラ内でのその画像は、各照明エピポーラ線上に位置する。第１カメラとプロジェクタ、および少なくとも第２カメラとプロジェクタとの各ペアリングについて、複数の照明エピポーラ線がある。上に述べたように、カメラに対してその線分外に位置付けられている２つのカメラおよびプロジェクタについては、互いに斜めに延びている照明エピポーラ線が２組あり、第１組は第１カメラとプロジェクタとの配置に割り当てられ、第２組は第２カメラとプロジェクタとの配置に割り当てられる。投影構造要素およびカメラ内でのその画像は、構造パターンが投影される物体の幾何学形状および距離とは独立して、必ず同じ各照明エピポーラ線上に位置する。しかし、照明エピポーラ線上のどの部位に構造要素がくるか、また、他のどの構造要素がその線に同じく位置するかは、物体の幾何学形状および距離に依存する。

構造パターンが投影される物体の幾何学形状および距離とは独立して、構造要素およびその画像が必ず同じ照明エピポーラ線上に位置するという前述の状況を使用して、好適な実施形態による個々の構造要素の第１パラメータは第１カメラに関係する第１照明エピポーラ線の勾配および第１基準軸との交点を含み、個々の構造要素の少なくとも第２パラメータは少なくとも１つの第２カメラに関係する照明エピポーラ線の勾配および第２基準軸との交点を含む。

本発明による装置において、前述の校正データは記憶ユニットに、例えば校正リストとして格納される。

前記パラメータを校正データとして利用することは、投影構造要素と前記パラメータとを一意に個々に割り当てられるという利点を有し、さらに、以下詳細に説明するように、この種のパラメータを用いて、投影構造要素への画像の割り当てを簡単に実行することが可能である。

そのため、少なくとも２つのカメラおよびプロジェクタの校正中、各カメラの各構造要素について、第１カメラに関してそれがどの照明エピポーラ線上に位置するのか、また、少なくとも１つの第２カメラに関してそれがどの照明エピポーラ線上に位置するのかの判別が行われる。数学的に言うと、直線はその勾配および１点で一意に判別されるため、ここで意図されるように、各構造要素について、勾配のみと、基準軸との照明エピポーラ線との交点のみとを格納すれば十分であり、記憶容量の消費の大幅な削減になる。

構造要素の密度がより高い構造パターンについては、通例、それぞれの場合において少なくとも２つのカメラのうちの１つに関して同じ照明エピポーラ線上に複数の構造要素が位置する。それでも、各構造要素は少なくとも２つの照明エピポーラ線の個々の組み合わせによって、つまり第１カメラに関係する照明エピポーラ線および少なくとも第２カメラに関係する照明エピポーラ線によって一意に記述される。

上記実施形態に関連して述べられ、第１カメラに関係する第１照明エピポーラ線が交差する第１基準軸は第１カメラの走査線であることが好ましく、少なくとも１つの第２カメラに関係する第２照明エピポーラ線が交差する第２基準軸は少なくとも１つの第２カメラの走査線であることが好ましい。

前記走査線は、例えば、各カメラの第１走査線とすることができる。

方法の別の好適な実施形態において、校正画像を記録するために構造パターンを第１面および第２面に順次投影させ、前記第１面および前記第２面はプロジェクタの透過方向に互いから離して配置されている。

この種の校正画像の記録、そのためこの種の少なくとも２つのカメラおよびプロジェクタの校正は特に簡単に行え、そのため、構造パターンの各構造要素について、第１カメラに対する照明エピポーラ線および少なくとも１つの第２カメラに対する照明エピポーラ線を簡単に求められる。

第１面および第２面は平面であることが好ましい。第１面および第２面として同じ面を使用する場合、校正は特に簡単になり、当該面は第１校正画像を記録するために最初にカメラおよびプロジェクタから第１の距離に位置付けられ、その後第２校正画像を記録するためにカメラおよびプロジェクタから第２の距離に位置付けられる。２つの校正画像を格納して評価し、校正データを得る。

本発明による方法は、装置のある好適な実施形態により、第１カメラの入射瞳、少なくとも１つの第２カメラの入射瞳およびプロジェクタの射出瞳が一平面に置かれている場合、特に容易に実現することができる。

この実施形態において、校正においても、構造要素の画像の特定においても、公比は単純化される。カメラの画像内における構造要素の互いの距離は、この配置では、カメラから投影される構造要素の距離とは独立している、つまり、必ず同じである。そのため、校正画像における構造要素の割り当てが容易に可能である。少なくとも２つの校正画像内の構造要素の２つの位置を走行する直線は、この構造要素の照明エピポーラ線にぴったり対応する。また、すべての第１照明エピポーラ線は互いに平行であり、すなわち、同じ勾配をもち、第１基準軸との交点だけが異なり、すべての第２照明エピポーラ線は互いに平行であり、すなわち、同じく同じ勾配をもち、第２基準軸との交点のみが異なる。校正データの範囲、そのため必要な記憶容量および計算能力はこれによりさらに低減されることが有利である。

本発明による方法を単純化するのに役立つ別の方法は、第１カメラの光学軸、少なくとも１つの第２カメラの光学軸およびプロジェクタの光学軸を互いに平行になるように配置することである。

この実施形態では、少なくとも２つのカメラのカメラエピポーラ線は互いに平行であるとともに、カメラの線分に平行である。これらの線はカメラ同士互いに整列することもできる。また、有利なことに、少なくとも２つのカメラの走査線をカメラエピポーラ線に平行または垂直になるような位置にすることができ、カメラレンズまたは共通カメラレンズのひずみを容易に補正することができる。

校正画像を記録するために構造パターンを第１面および第２面に順次投影し、当該面がプロジェクタの透過方向に互いに離れている前述の方法の構成に関連し、面が平面で、カメラおよびプロジェクタの光学軸に対して垂直になるように向けると好ましい。

面の垂直配向により、少なくとも２つのカメラにより取り込まれる構造パターンは実質的にひずみなしである。

前述の実施形態は校正だけでなく、少なくとも２つのカメラのカメラ画像内の構造パターンの、シーンに投影される構造要素の確実な特定も単純化する。

装置において、第１カメラと少なくとも１つの第２カメラとの距離は、プロジェクタと第１カメラとの間の距離と異なるとともに、プロジェクタと少なくとも１つの第２カメラとの間の距離とも異なることが好ましい。

カメラ画像内の構造要素の特定は、これによりさらに改善される。少なくとも２つのカメラおよびプロジェクタの配置における対称性の破れは、投影構造要素へのカメラ画像内の構造要素の割り当ての正確さを向上させる。

方法の別の好適な実施形態において、それぞれの場合において第１カメラのカメラ画像内に特定されるべき構造要素の画素座標が判別され、少なくとも第１パラメータは画素座標および校正データから計算され、おそらく許容範囲内で、同様に少なくとも１つの第１パラメータを満たすすべての構造要素が校正データから読み取られ、前記読み取られた構造要素のそれぞれについて、少なくとも第２パラメータのうちの少なくとも１つがさらに読み取られ、第１カメラのカメラ画像内で特定されるべき構造要素と一対一対応で関連付けることのできる構造要素が、少なくとも１つの第２カメラのカメラ画像内で判別される。

本発明による装置において、これに応じて計算ユニットは前述のステップを行うためにセットアップされる。

基本的に、格納または保存されている校正データにアクセスすることができるため、方法のこの実施形態における前述のステップの計算能力の消費は低いことが有利である。特定されるべき構造要素について、特定されるべき構造要素が位置する第１照明エピポーラ線のみが計算される。次いで、第１カメラの画像内で特定されるべき構造要素に対する少なくとも１つの第２カメラの画像内の構造要素間の一対一対応の割り当てを行うために、格納されている校正データにアクセスされる。

このために、正しいカメラエピポーラ線上にも位置する構造要素、つまり、第２照明エピポーラ線と前記カメラエピポーラ線との交点を、第２照明エピポーラ線上に位置する少なくとも１つの第２カメラの画像内の構造要素から選択する。これは、２つのカメラのカメラエピポーラ線が互いに平行で、かつ同じ高さに位置していると特に単純である。

方法の別の好適な実施形態において、第１カメラと第２カメラとの線分の外側、かつ第１カメラとプロジェクタとの線分の外側、かつ第２カメラとプロジェクタとの線分の外側に位置付けられている第３カメラを使用して、シーンに投影される構造パターンを追加で取り込み、校正データは、各構造要素を第３カメラおよびプロジェクタの位置および配向に相関させる第３パラメータを追加で有する。

したがって、本発明による装置は、シーンに投影される構造パターンを取り込むために第３カメラを有する。

構造パターンが投影されるシーンのトポロジーの複雑さによって、例えば縁部または肩部付近の障害物のために、少なくとも２つのカメラのうちの１つで特定の構造要素が見えない場合がある。この場合、それでも、この構造要素は、他の２つのカメラのうちの１つと合わせて、第３カメラで確実に特定することができる。第３カメラは、例えば、３つのカメラのうちの１つがシーン内の面を巡回して見る場合、構造要素の確実な特定に関しても便利である。

方法の別の好適な実施形態において、構造要素は、構造パターンに均一に、互いに直角であることが好ましい２本の主軸に分布しており、さらに好ましくは、構造パターンの２本の主軸は第１カメラと少なくとも１つの第２カメラとの線分および／またはプロジェクタと第１カメラおよび少なくとも１つの第２カメラとの線分に対して斜めに延びている。

均一な構造パターンは、プロジェクタが単純な構造をもつことができるという利点を有する。少なくとも２つのカメラの線分および／またはプロジェクタと第１カメラおよび少なくとも１つの第２カメラとの線分に対する斜めの構造パターンの主軸の配置は対称性の破れをもたらし、これは特定における曖昧さが減少するため、カメラ画像内の構造要素の確実な特定にとって有利である。

本発明による方法は、構造パターンがドットパターンである、特に均質なドットパターンであり、構造要素がドットである実施形態に特に適する。

装置においては、それに応じて、プロジェクタは特に均質なドットパターンとして構造パターンを生成するようにセットアップされる。

特に均質なまたは規則的なドットパターンまたはグリッドの使用は、当該構造パターンを容易に生成でき、高強度で投影することができるという利点を有する。

方法の別の好適な実施形態において、構造パターンは第１カメラおよび少なくとも１つの第２カメラの画像記録周波数の半分に対応するパルス周波数を有するパルス方式で透過され、それぞれの場合において第１カメラおよび少なくとも１つの第２カメラによって取り込まれる連続する２つの画像が互いから減算処理される。

装置においては、それに応じて、プロジェクタは第１カメラおよび少なくとも１つの第２カメラの画像周波数の半分に対応するパルス周波数を有するパルス方式で構造パターンを透過するようにセットアップされ、計算ユニットは、それぞれの場合において、第１カメラおよび少なくとも１つの第２カメラにより順次取り込まれる２つの画像を互いから減算処理するようにセットアップされる。

この実施形態において、第１カメラおよび少なくとも１つの第２カメラにより記録される連続する２つの画像の減算処理のため、差分カメラ画像には構造要素のみが残る。このように、カメラ画像内の構造要素をより容易に検出することができる。

コントラストをさらに高めるために、投影光の波長を除く環境光を、バンドパスフィルタ、例えばＩＲバンドパスフィルタを使用してブロックすることができる。バンドパスフィルタは少なくとも２つのカメラのうちの１つ以上の光学系に配置することができる。

前述の実施形態のうちの１つ以上に従う本発明による方法および／または本発明による装置は、危険ゾーン、特に機械の危険ゾーンを監視するため、特に安全確保をするために使用することが好ましい。

さらなる利点および特徴は、以下の説明および添付の図面から知ることができる。

前述の特徴およびこれから説明する特徴は、それぞれ述べる組み合わせだけでなく、本発明の範囲を逸脱することなく、異なる組み合わせまたは単独でも使用できることは理解されるべきである。

カメラ画像において、シーンに投影される構造パターンの構造要素を特定する装置を示す。 物体が存在するシーンの区画（section）を示す。 図１の装置の校正の過程で記録された第１校正画像を示す。 図１の装置の校正の過程で記録された第２校正画像を示す。 図３および図４からの２つの校正画像の重畳を示す。 図３および図４による校正画像を使用して校正データを取得する方法を図示するために、図５の拡大図を示す。 投影構造パターンの構造要素をカメラ画像で特定することのできる方法を例示するための手法を示す。

本発明の実施形態は、図面に図示しており、それを参照して詳しく説明する。

図１は、カメラ画像において、シーン１４に投影される構造パターン１６の構造要素１２を特定するための装置を示しており、全体の参照記号１０で示す。

本装置１０は、危険ゾーン、特に機械（図示せず）の危険ゾーンを監視する、特に安全確保をするために使用される。シーン１４はこの場合例えば三次元空間領域であり、そこに機械、例えばプレスまたはロボット（図示せず）など、特に自動的に作動する機械が置かれている。一般に、人などの動く物体がシーン１４に存在することがあり、装置１０は、自動的に作動する機械の危険ゾーンに物体が全体的もしくは部分的に位置し、または近づいているかどうかに関してシーン１４を監視する。

装置１０は、第１カメラＭと、第２カメラＨと、好ましいが任意で、第３カメラＶとを有する。カメラＭ、ＨおよびＶは、例えば、光電画像センサ（図示せず）をそれぞれ有するデジタルカメラである。画像センサはＣＣＤまたはＣＭＯＳテクノロジーで構成することができる。当該画像センサは互いに平行に配置されている複数の走査線に配置されている複数の感光素子（画素ともいう）を有する。

カメラＭ、ＨおよびＶは、それぞれの場合において、それぞれ入射瞳１８、２０および２２を有し、すべて一平面に配置されている。図１では、参照系として図示する目的で、ｘ軸、ｙ軸およびｚ軸を有するデカルト座標２４が示されている。カメラＭ、ＨおよびＶの入射瞳１８、２０および２２が配置されている前述の平面は、この場合ｚ＝０のｘｙ平面である。参照系としての座標系２４はここでは、カメラＭの入射瞳１８が座標ｘ＝０、ｙ＝０およびｚ＝０に位置するように設計されている。

カメラＭとカメラＨとの間を結ぶ直線状の線分２６は対応してｘ軸の方向に延びており、カメラＭとカメラＶとの間の線分２８はｙ軸の方向に延びている。このように、第３カメラＶはカメラＭとカメラＨとの間の線分２６の外側に位置している。

カメラＭとカメラＨとの距離は、カメラＶとカメラＭとの距離とは異なる。

カメラＭ、ＨおよびＶはさらに、それぞれの光学軸３０（カメラＭ）、３２（カメラＨ）および３４（カメラＶ）が互いに平行に延びるような位置および配向にされている。

装置１０は構造パターン１６を生成してシーン１４に投影するプロジェクタ３６をさらに有する。プロジェクタ３６は、例えば、回折光学素子を有するレーザーダイオード、結像光学系を有するＬＥＤマトリックス、スライドプロジェクタ、ファセットミラーを有するスポットライト光源、またはデジタル・ライト・プロセッシング・プロジェクタ（ＤＬＰもしくはＤＭＰプロジェクタ）の形態とすることができる。

プロジェクタ３６の射出瞳３８は、カメラＭ、ＨおよびＶの入射瞳１８、２０および２２と同じ平面に位置している。プロジェクタ３６の光学軸４０はカメラＭ、ＨおよびＶの光学軸３０、３２および３４と平行に延びている。

プロジェクタ３６はカメラＭとカメラＨとの間の線分２６の外側、かつカメラＭとカメラＶとの間の線分２８の外側に位置している。

図１では、カメラＭ、ＨおよびＶとプロジェクタ３６との間の線分、具体的には、カメラＭとプロジェクタ３６との間の線分３７、カメラＨとプロジェクタ３６との間の線分３９、およびカメラＶとプロジェクタ３６との間の線分４１が示されている。図１から分かるように、線分３７、３９および４１は互いに斜めに延びるとともに、線分２６および２８に対しても斜めに延びている。

構造パターン１６は均質なドットパターンである、すなわち、構造要素１２は２本の主軸４２、４４に沿って規則的かつ均一に分布する個々のドットである。主軸４２および４４はここでは例示の目的で示しているにすぎず、実際に投影される構造パターン１６には現れない。互いに垂直に延びている２本の主軸４２、４４は、ドット間の最小距離または構造パターン１６の構造要素１２の二方向を与える。

プロジェクタ３６によって投影される構造パターン１６は、投影構造パターン１６の主軸４２および４４が線分２６および２８に対して斜めに、かつ線分３７、３９および４１に対しても斜めに延びているように投影されるのが好ましい。

図１は、構造パターン１６が区分状にのみ２５個のドットまたは構造要素１２を有するように示されている。実際には、構造パターン１６は非常により多くの数の構造要素１２を有し、ここでは連続破線４６および４８で示されている。

個々の構造要素またはドット１２間の距離は、好ましくは、カメラＭ、ＨおよびＶの画像センサの４画素から１０画素の距離である。構造パターン１６の個々の構造要素１２間で選択される距離は、カメラＭ、ＨおよびＶの画像で構造要素またはドット１２の座標を判別できる精度に左右される。

構造要素１２はカメラＭ、ＨおよびＶに結像されるシーン１４の部分領域のみを照射することができるが、通例、プロジェクタ３６からくる照射の開き角は少なくともカメラＭ、ＨおよびＶの全画角または視野と同程度あり、その結果カメラＭ、ＨおよびＶの画像は全体が構造要素１２に取り込まれる。

図１では、プロジェクタ３６によって発せられて、構造パターン１６を投影する照射光の例として個々の透過光線５０が描かれている。同様に、図１では例として、カメラＨの受光光線５２、カメラＭの受光光線５４およびカメラＶの受光光線５６が示されており、個々の構造要素１２から始まっている。その結果、シーン１４に投影される構造パターン１６はカメラＭ、ＨおよびＶを使って取り込まれる。

装置１０は記憶ユニット６０および計算ユニット６２を有する制御デバイス５８をさらに有する。記憶ユニット６０および計算ユニット６２は、相互のデータ交換のために、カメラＭ、ＨおよびＶならびにプロジェクタ３６に接続されている（図示せず）。

プロジェクタ３６の射出瞳３８およびカメラＭ、ＨおよびＶの入射瞳をカメラＭ、ＨおよびＶの光学軸３０、３２および３４に対して垂直な１つの共通平面に位置付けている、ここで好適に選択される配置のために、カメラＭ、ＨおよびＶに結像される構造パターン１６は、カメラＭ、ＨおよびＶからの投影構造パターン１６の距離とは独立して、必ず同じサイズになるように見える。より具体的には、カメラＭ、ＨおよびＶからの投影構造パターン１６の距離が変わっても、カメラＭ、ＨおよびＶの画像の個々の構造要素１２間の距離は変わらない。

図２は、図１に関してより大きな縮尺でシーン１４のある区画を、そこに位置している物体６４とともに示しており、物体６４はここでは立方体として単純化した形態で図示している。図２では、構造要素１２のうちの４つが参照記号６６、６８、７０および７２で示されており、これらの構造要素またはドットは残りの構造要素１２よりもカメラＭ、ＨおよびＶからの距離が短い。それにも関わらず、カメラＭ、ＨおよびＶのカメラ画像内の構造要素６６、６８、７０および７２の相互の距離は、物体６４がシーン１４に存在しない状況に対して変化しないままである。

カメラＭ、ＨおよびＶの校正画像内で、シーン１４に投影される構造パターン１６の個々の構造要素１２を特定する方法の基本原理は、プロジェクタ３６の位置および配向、つまり投影光の透過サイトおよび各個々の構造要素１２の透過方向、ならびにカメラＭ、ＨおよびＶの位置および配向、つまり、個々の構造要素１２からくる光線の受光サイトおよび受光方向を正確に知ることにある。

このために、図３から図６を参照して以下説明するように、校正画像（calibration images）を記録する。

校正画像はプロジェクタ３６のカメラＭ、ＨおよびＶならびにプロジェクタ３６の配置を変えないで記録される、すなわち、後にカメラＭ、ＨおよびＶの画像においてシーン１４に投影される構造要素１２を特定する方法の場合と、カメラＭ、ＨおよびＶならびにプロジェクタ３６の位置および配向は同じである。

まず、カメラＭ、ＨおよびＶを使用して第１校正画像を記録し、そこでカメラＭ、ＨおよびＶならびにプロジェクタ３６から第１の距離の平面にプロジェクタ３６によって構造パターン１６が投影される。

例として、図３は、カメラＭについて、第１平面に投影される構造パターン１６が校正画像７６として記録されるカメラＭの画像センサの画像面７４を示している。

次に、カメラＭ、ＨおよびＶを使用して少なくとも１つの第２校正画像が記録され、そこで、カメラＭ、ＨおよびＶならびにプロジェクタ３６から少なくとも１つの第２距離分離れた平面にプロジェクタ３６によって構造パターン１６が投影される。少なくとも１つの第２距離は第１距離よりも大きいまたは小さい。図４は、例として、カメラＭを使用した第２校正画像７８の記録を示す。

校正画像の記録時の平面は光学軸３０、３２および３４に対して垂直に向いている。

投影構造パターン１６のいくつかの異なる距離で、２つより多い校正画像を記録することも可能である。

カメラＭ、ＨおよびＶで記録された校正画像は、例えば、記憶ユニット６０に格納される。

図５は、図３および図４に従いカメラＭで記録した２つの校正画像７６、７８の重畳を示す。すでに述べたように、投影構造パターン１６のカメラＭ、ＨおよびＶからの距離が異なるにも関わらず、個々の構造要素１２の互いの距離はカメラ個々の構造要素１２の互いの距離は、カメラＭ、ＨおよびＶの校正画像においては必ず同じままである。

図５は、校正画像７８の個々の構造要素１２が校正画像７６に対して移動したところを示す。図３および図４に従い、例えば記憶ユニット６０に格納されている校正画像から、今度は、個々の構造要素１２について、それぞれの場合において各構造要素１２をカメラＭおよびプロジェクタ３６の位置および配向と相関させる第１パラメータと、各構造要素１２をカメラＨおよびプロジェクタ３６の位置および配向と相関させる第２パラメータと、各構造要素１２をカメラＶおよびプロジェクタ３６の位置および配向と相関させる第３パラメータとの組み合わせを有する校正データを、例えば計算ユニット６２によって取得する。

校正（calibration）の詳しい説明のために、例として構造要素１２のうちの４個を図３の校正画像７６でＡ１、Ａ２、Ｂ１およびＢ２として示し、構造要素Ａ１、Ａ２、Ｂ１、Ｂ２に関連付けられ、カメラ画像７６に対してずれている構造要素を図４の校正画像７８ではＡ１’、Ａ２’、Ｂ１’およびＢ２’で示す。

それぞれの場合において、ここで関連付けられている構造要素のペアＡ１、Ａ１’；Ａ２、Ａ２’；Ｂ１、Ｂ１’；およびＢ２、Ｂ２’に直線を引くと、これは図５によると直線７６、７８、８０、８２になるであろう。

図６は、単純化するためにより大きな縮尺で、カメラＭの画像平面７６で構造要素Ａ１、Ａ１’、Ａ２、Ａ２’、Ｂ１、Ｂ１’およびＢ２、Ｂ２’の画像のみを示す。同様に、図６には、直線７６、７８、８０および８２が示されている。直線７６、７８、８０および８２は、照明エピポーラ線として知られるものである。図６から分かるように、すべての照明エピポーラ線７６、７８、８０、８２は互いに平行であり、これは、ここでは好適なように、ｚ軸の方向にカメラＭと同じ高さのプロジェクタ３６の位置によってもたらされる。そのため、照明エピポーラ線７６、７８、８０および８２は同じ勾配ＳｔＭを有するが、カメラＭの基準軸８４とのそれぞれ交点ＳＰＭ_Ａ１、ＳＰＭ_Ｂ１、ＳＰＭ_Ａ２およびＳＰＭ_Ｂ２が異なる。例えば、カメラＭの画像センサの第１走査線は基準軸８４として使用される。

図６から分かるように、結像された各構造要素Ａ１、Ａ２、Ｂ１、Ｂ２は必ず同じ照明エピポーラ線７６、７８、８０または８２に位置しているが、前記照明エピポーラ線上のそのサイトは、ずれた構造要素Ａ１’、Ａ２’、Ｂ１’およびＢ２’で図示されるように、各投影構造要素Ａ１、Ａ２、Ｂ１、Ｂ２のカメラＭからの距離に依存する。また、各構造要素Ａ１、Ａ２、Ｂ１、Ｂ２に関係して各照明エピポーラ線上に位置するのは、カメラＭ内のその画像だけでなく、シーン（または校正中の平面）自体に投影される構造要素でもある。

また、ｚ軸ならびにその平行な光学軸３０および４０（図１）の方向に同じ高さにあるカメラＭおよびプロジェクタ３６の位置および配向のために、照明エピポーラ線７６、７８、８０および８２はカメラＭおよびプロジェクタ３６の線分３７（図１）に平行である。

図６は例として、構造要素Ａ１、Ａ２、Ｂ１、Ｂ２の４本の照明エピポーラ線７６、７８、８０、８２を示しているが、カメラＭに関する照明エピポーラ線は構造パターン１６の構造要素１２それぞれに関連付けられることは理解されるべきである。

対応する状態がカメラＨおよびカメラＶに関する各構造要素１２に適用される。カメラＨに関係する１本の照明エピポーラ線およびカメラＶに関係する１本の照明エピポーラ線は、投影構造パターン１６の各構造要素１２に関連付けられる。カメラＨに関係する照明エピポーラ線はさらに、相互に平行かつ線分３９（図１）に平行であり、カメラＶに関係する照明エピポーラ線は同様に相互に平行かつ線分４１（図１）に平行である。

また、カメラＨに関係する照明エピポーラ線は、それぞれの場合において、基準軸、例えばカメラＨの第１走査線との交点ＳＰＨを有し、カメラＶに関係する照明エピポーラ線は同様に、それぞれの場合において、基準軸、例えばカメラＶの第１走査線との交点を有する。

例として、図６によると、構造要素Ａ１までの照明エピポーラ線７６のカメラＭの基準軸８４との交点ＳＰＭ_Ａ１には次の式が適用される。

ＳＰＭ_Ａ１＝ｘ１−（ｙ１^＊（ｘ２−ｘ１）／（ｙ２−ｙ１））
構造要素Ａ１までのこの照明エピポーラ線の勾配ＳｔＭについては、次式が適用される。

ＳｔＭ＝（ｙ１−ｙ２）/（ｘ１−ｘ２）
すでに述べたように、ＳｔＭはすべての照明エピポーラ線について同一である。

同様に、カメラＨに関係する照明エピポーラ線の交点ＳＰＨおよび勾配ＳｔＨと、カメラＶに関係する照明エピポーラ線の交点ＳＰＶおよび勾配ＳｔＶとは、カメラＨおよびＶで記録した校正画像から計算することができる。

プロジェクタ３６が図１のｚ軸の方向にカメラＭ、ＨおよびＶからある距離を有する場合、各カメラＭ、ＨまたはＶに関係する照明エピポーラ線は互いに平行ではなく異なる勾配を有するが、必ず同じ構造要素から始まるであろう。

投影構造パターン１６の構造要素１２のそれぞれについて、計算されたパラメータＳＰＭ、ＳＰＨおよびＳＰＶは記憶ユニット６０に格納される。同様に、勾配ＳｔＭ、ＳｔＨおよびＳｔＶも記憶ユニット６０に格納されて、それぞれの場合において、ここでは好適な実施形態において、勾配ＳｔＭ、ＳｔＨおよびＳｔＶについて１つの値のみが取得される。

好ましくは、投影構造パターン１６のすべての構造要素１２は、関連パラメータＳＰＭ、ＳＰＨおよびＳＰＶならびにパラメータＳｔＭ、ＳｔＨおよびＳｔＶとともに計算リストとして記憶ユニット６０に格納される。ここでは、各構造要素１２はＳＰＭ、ＳＰＨおよびＳＰＶの個々の組み合わせにより一意に記述される。

ここで、図７を参照して、図１に従うシーンに投影される構造パターン１６の個々の構造要素１２を、前述した校正データを用いてカメラＭ、ＨおよびＶのカメラ画像でどのように特定することができるかについて、言い換えると、カメラＭ、ＨおよびＶに結像される構造要素１２を投影構造要素１２にどのように一意に関連付けることができるかについて以下説明する。

図７は、平面投影図で、投影構造パターン１６と、同様に、カメラＭの画像面７４、カメラＨの画像面８４およびカメラＶの画像面８６を示す。

例として、カメラＭの画像面７４に結像される構造要素Ｍ_１をどのように確実に特定することができるか、つまり、投影構造要素１２の１つに一意に関連付けることができるかについて以下説明する。

まず、画像面７４に結像される構造要素Ｍ_１の画素座標Ｍ_ｘおよびＭ_ｙを判別する。実際には、これはある特定の精度までのみ可能なので、構造要素Ｍ_１の真の位置は許容範囲内にある。

最初に、計算ユニット６２を使用して、画素座標Ｍ_ｘおよびＭ_ｙから、構造要素Ｍ_ｘｙが位置する照明エピポーラ線である直線を計算する。

ＳＰＭ_Ｍ１＝Ｍ_ｘ−（Ｍ_ｙ／ＳｔＭ）
すでに上記説明したように、勾配ＳｔＭはカメラＭに属するすべての照明エピポーラ線について同じであり、そのため、記憶ユニット６０に格納されており、そこから容易に読み取ることができる。そのため、ＳＰＭ_Ｍ１、つまり、構造要素Ｍ_１が位置する照明エピポーラ線の交点を簡単に計算することができる。

画素座標Ｍ_ｘおよびＭ_ｙの判別は正確にはできないため、ＳＰＭ_Ｍ１は許容範囲内にある。

次に、記憶ユニット６０に格納されている校正リストにおいて、ＳＰＭ_Ｍ１の値の許容範囲内に位置する各ＳＰＭが関連付けられる投影構造パターン１６のすべての構造要素１２を、ここで校正リストから読み取る。

図７から分かるように、結像構造要素Ｍ_１が位置する照明エピポーラ線は、それぞれの場合において、計算値ＳＰＭ_Ｍ１の許容範囲内にあるＳＰＭを有する２つ以上の照明エピポーラ線のごく近くにある。

パラメータＳＰＭ_Ｍ１の許容範囲内で、結像構造要素Ｍ_１との関連付けについて、考えられる投影構造パターン１６の構造要素の候補は構造要素Ｃ１、Ｂ２およびＡ３であり、これらはすべてＳＰＭ_Ｍ１の許容範囲内のＳＰＭを有する各照明エピポーラ線上に位置する。構造要素Ｃ１、Ｂ２およびＡ３は、すべて異なるその関連パラメータＳＰＣ_Ｃ１、ＳＰＨ_Ｂ２、ＳＰＨ_Ａ３、ＳＰＶ_Ｃ１、ＳＰＶ_Ｂ２、ＳＰＶ_Ａ３を含む校正リストから読み取る。

構造要素Ｃ１、Ｂ２およびＡ３のそれぞれについて、これで計算ユニット６２はカメラＨの画像およびカメラＶの画像内のどこに、どのカメラエピポーラ線上に位置するかを計算することができる。

ここでは好適な平行な光学軸と同じ高さのカメラＭおよびＨの位置および配向のため、例として破線９０、９１、９２を使って図７に３本を示すカメラＭおよびカメラＨのカメラエピポーラ線は、整列し、互いに平行である。投影構造要素１２のうち、この場合候補Ｃ１、Ｂ２またはＡ３のうち、カメラＭの画像が結像構造要素Ｍ_１である構造要素は、カメラＭの画像に結像構造要素Ｍ_１があるカメラエピポーラ線と同じｙ値Ｈ_ｙを持つ、つまりＨ_ｙ＝Ｍ_ｙであるカメラエピポーラ線上のカメラＨの画像に、位置する。

候補構造要素Ｃ１、Ｂ２またはＡ３のうちの１つを結像構造要素Ｍ_１と一意に関連付けることができる場合、当該構造要素Ｃ１、Ｂ２、Ａ３について、ｙ値Ｈ_ｙを有するカメラＨのカメラエピポーラ線上にｘ値がなければならない。つまり以下の式
Ｈ_ｘ＝ＳＰＨ_{Ｃ１；Ｂ２；Ａ３}＋Ｍ_ｙ／ＳｔＨ
は当該構造要素Ｃ１、Ｂ２、Ａ３についてＨ_ｘの解を有しなければならない。この計算は同様に計算ユニットによって行うことができる。

図７から分かるように、構造要素Ａ３のＨ_ｘの解はあるが、前述の式は構造要素Ｃ１およびＢ２については満たさない。図７から分かるように、カメラＨの画像内の構造要素Ｃ１の画像Ｈ_Ｃ１は、特定されるべき構造要素Ｍ_１とは異なるカメラエピポーラ線、具体的にはカメラエピポーラ線９２上に位置し、投影構造要素Ｂ２の画像Ｈ_Ｂ２も特定されるべき結像構造要素Ｍ_１とは異なるカメラエピポーラ線、具体的にはカメラエピポーラ線９１上のカメラＨの画像に位置する。Ｍ_１およびＡ３の画像Ｈ_Ａ３のみが同じカメラエピポーラ線９０上のカメラＭの画像に位置する。

その結果、カメラＨの構造要素Ａ３の画像Ｈ_Ａ３のみをカメラＭの画像内の画像Ｍ_１に一対一対応で関連付けることができ、これは次の式で検証することができる。

Ｍ_ｘ＝ＳＰＭ_Ａ３＋Ｍ_ｙ／ＳｔＭ
ＳＰＭ_Ａ３はここでは校正リストから既知である。

このように、カメラＭの画像内の画像Ｍ_１に一意に関連付けることができるのは投影される構造要素Ａ３である。カメラＨの画像内の画像Ｈ_Ａ３について逆も真である。

カメラＭの画像で特定されるべき別の構造要素をＭ_２で示す。画像Ｍ_１に関して説明したのと同じ手順を使用すると、結果は、構造要素Ｂ１の画像Ｈ_Ｂ１をカメラＭの画像内の構造要素Ｍ_２に一対一対応で関連付けることができる。

カメラＶの構造要素Ａ３の画像を図７ではＶ_Ａ３で示し、カメラＶの構造要素Ｂ１の画像はＶ_Ｂ１で示す。第３カメラＶは説明した方法に必須ではないが、任意で存在する。第３カメラＶはカメラＭおよびＨの画像内の構造要素の一対一対応の関連付けのさらなる検証のために使用することができる。構造要素１２が、例えば肩部または縁部で遮られて、カメラＭ、Ｈの一方で見えない場合には特に有用であり、カメラＭおよびＨのうち当該構造要素を見ることができるカメラと合わせて、カメラＶとのこの構造要素の一意の関連付けが可能である。第３カメラは、カメラのうちの１つがシーン１４の面を巡回して見る場合にも役立つ。

カメラＭ、Ｈおよび／またはＶの画像内で投影構造パターン１６の個々の構造要素１２を確実に特定した後、投影構造要素１２の距離判別を行うことができ、その結果正確な距離になる。監視される機械のスイッチを誤って切ることや危険な状況を前述の方法で回避することができる。

カメラＭ、ＨおよびＶの構造要素１２の画像のコントラストを高めるために、プロジェクタ３６がカメラＭ、ＨおよびＶの画像記録周波数の半分に対応するパルス周波数を有するパルス方式で構造パターン１６を透過する備えを追加で行ってもよく、それぞれの場合においてカメラＭ、ＨおよびＶが取り込む連続する２つの画像を互いから減算処理する。これはカメラ画像Ｍ、ＨおよびＶに構造要素１２の画像のみを効果的に残すが、シーン１４自体およびその中に位置する物体はカメラ画像では見ることができない。

本発明は上記説明した実施形態に制限されるものではないことは理解されるべきである。したがって、本発明による方法および本発明による装置の機能は、カメラＭ、ＨおよびＶがその入射瞳が同じ高さに配置されていること、および／またはプロジェクタ３６が同様にその射出瞳がこの平面に配置されていることに制限されない。カメラＭ、ＨおよびＶの光学軸ならびにプロジェクタ３６の光学軸が互いに平行である必要もない。さらに、規則的な構造パターンの代わりに、不規則な構造パターンまたはランダムな分布の構造パターンを使用することができる。

Claims (20)

1. カメラ画像で、シーン（１４）に投影される構造パターン（１６）の個々の構造要素（１２）を特定する方法であって、
   前記シーン（１４）に前記構造パターン（１６）を投影するためにプロジェクタ（３６）を使用し、前記シーン（１４）に投影される前記構造パターン（１６）を取り込むために第１カメラ（Ｍ）および少なくとも１つの第２カメラ（Ｈ、Ｖ）を使用し、
   前記第１カメラ（Ｍ）および前記少なくとも１つの第２カメラ（Ｈ、Ｖ）は互いから離して位置付けられており、前記プロジェクタ（３６）は前記第１カメラと少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）とを結ぶ線分（２６、２８）の外側に、前記第１カメラ（Ｍ）および前記少なくとも１つの第２カメラ（Ｈ、Ｖ）から離して位置付けられており、
   前記第１カメラ（Ｍ）の前記カメラ画像に特定されるべき構造要素（１２）に関し、その構造要素（１２）は、前記第１カメラ（Ｍ）の前記カメラ画像で特定されるべき前記構造要素（１２）に一対一対応で関連付けることのできる前記少なくとも１つの第２カメラ（Ｖ、Ｈ）の前記カメラ画像において、前記個々の構造要素（１２）のそれぞれの場合において、前記各構造要素（１２）を前記第１カメラ（Ｍ）および前記プロジェクタ（３６）の位置および配向と相関させる第１パラメータと、前記各構造要素（１２）を前記少なくとも１つの第２カメラ（Ｈ、Ｖ）および前記プロジェクタ（３６）の位置および配向と相関させる少なくとも第２パラメータとの組み合わせを有する校正データによって判別され、
   前記校正データは前記プロジェクタ（３６）が投影する前記構造パターン（１６）の校正画像（７６、７８）を記録することによって、前記第１カメラおよび少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）を使用して取得する、方法。
2. 前記個々の構造要素（１２）の前記第１パラメータは、前記第１カメラ（Ｍ）に関係する第１照明エピポーラ線の勾配（ＳｔＭ）および第１基準軸（８４）との交点（ＳＰＭ）を含み、前記個々の構造要素の前記少なくとも第２パラメータは、前記少なくとも１つの第２カメラ（Ｈ、Ｖ）に関係する照明エピポーラ線の勾配（ＳｔＨ、ＳｔＶ）および第２基準軸との交点（ＳＰＨ、ＳＰＶ）を含む、請求項１に記載の方法。
3. 前記第１基準軸（８４）は前記第１カメラ（Ｍ）の走査線であり、前記第２基準軸は前記少なくとも１つの第２カメラ（Ｈ、Ｖ）の走査線である、請求項２に記載の方法。
4. 前記校正画像（７６、７８）を記録するために、前記構造パターン（１６）を第１の好ましくは平らな面および第２の好ましくは平らな面に順次投影し、前記第１および第２の面は前記プロジェクタ（３６）の透過方向に互いに離間している、請求項１から請求項３のいずれか１項に記載の方法。
5. 前記第１カメラ（Ｍ）の前記カメラ画像で特定されるべき前記各構造要素（１２）の画素座標を判別し、前記画素座標および前記校正データから少なくとも第１パラメータを計算し、前記校正データから、可能な許容範囲内で、同様に前記少なくとも１つの第１パラメータを満たすすべての構造要素（１２）を読み取り、前記読み取った構造要素（１２）のそれぞれについて前記少なくとも第２パラメータのうちの少なくとも１つをさらに読み取り、前記少なくとも１つの第２カメラ（Ｈ、Ｖ）の前記カメラ画像において、前記第１カメラ（Ｍ）の前記カメラ画像で特定されるべき前記構造要素（１２）と一対一対応で関連付けることのできる前記構造要素（１２）を判別する、請求項１から請求項４のいずれか１項に記載の方法。
6. 前記第１カメラおよび第２カメラ（Ｍ、Ｈ）の前記線分（２６）の外側、かつ、前記第１カメラ（Ｍ）と前記プロジェクタ（３６）との前記線分（３７）の外側、かつ、前記第２カメラ（Ｈ）と前記プロジェクタ（３６）との前記線分（３９）の外側に位置付けられている第３カメラ（Ｖ）を使用して、前記シーン（１４）に投影される前記構造パターン（１６）をさらに取り込み、前記校正データは、前記各構造要素（１２）を前記第３カメラ（Ｖ）および前記プロジェクタ（３６）の位置および配向に相関させる第３パラメータをさらに有する、請求項１から請求項５のいずれか１項に記載の方法。
7. 前記構造要素（１２）は、前記構造パターン（１６）にわたり２本の、好ましくは互いに垂直な主軸（４２、４４）に均一に分布している、請求項１から請求項６のいずれか１項に記載の方法。
8. 前記構造パターン（１６）の前記２本の主軸（４２、４４）が前記第１カメラおよび少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）の前記線分（２６、２８）に対して斜めに、および／または前記プロジェクタ（３６）と前記第１カメラおよび前記少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）との前記線分（３７、３９、４１）に対して斜めに延びているように、前記構造パターン（１６）は前記シーン（１４）に投影される、請求項７に記載の方法。
9. 前記構造パターン（１６）はドットパターンであり、前記構造要素（１２）はドットである、請求項１から請求項８のいずれか１項に記載の方法。
10. 前記構造パターン（１６）は、前記第１カメラおよび前記少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）の画像記録周波数の半分に対応するパルス周波数を有するパルス方式で透過され、それぞれの場合において前記第１カメラおよび少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）によって取り込まれる連続する２つの画像は互いから減算処理され、および／または前記投影パターン（１６）が投影される投影光の波長範囲でのみ透過できる光学フィルタを使用して、カメラ画像内の環境光を遮る、請求項１から請求項９のいずれか１項に記載の方法。
11. 特に請求項１から１０のいずれか１項で請求される方法を実施するために、カメラ画像で、シーン（１４）に投影される構造パターン（１６）の構造要素（１２）を特定する装置であって、
    前記シーン（１４）に前記構造パターン（１６）を投影するプロジェクタ（３６）を具備し、前記シーン（１４）に投影される前記構造パターン（１６）を取り込む第１カメラ（Ｍ）および少なくとも１つの第２カメラ（Ｈ、Ｖ）をさらに具備し、
    前記第１カメラ（Ｍ）および前記少なくとも１つの第２カメラ（Ｈ、Ｖ）は互いから離して位置付けられており、前記プロジェクタ（３６）は前記第１カメラと前記少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）とを結ぶ線分（２６、２８）の外側に前記第１カメラ（Ｍ）および前記少なくとも１つの第２カメラから離して配置されており、
    前記個々の構造要素（１２）の、それぞれの場合において、前記各構造要素（１２）を前記第１カメラ（Ｍ）および前記プロジェクタ（３６）の位置および配向に相関させる第１パラメータと、前記各構造要素（１２）を前記少なくとも１つの第２カメラ（Ｈ、Ｖ）および前記プロジェクタ（３６）の位置および配向に相関させる少なくとも第２パラメータとの組み合わせを有する校正データを格納している記憶ユニット（６０）をさらに具備し、
    前記校正データを使用して、前記第１カメラ（Ｍ）の前記カメラ画像に特定されるべき構造要素（１２）に関して、前記少なくとも１つの第２カメラ（Ｈ、Ｖ）の前記カメラ画像において、前記第１カメラ（Ｍ）の前記カメラ画像で特定されるべき前記構造要素（１２）と一対一対応で関連付けることのできる構造要素（１２）を判別するようになされた計算ユニット（６２）をさらに具備する、装置。
12. 前記個々の構造要素（１２）について前記記憶ユニット（６０）に格納される前記第１パラメータは、前記第１カメラ（Ｍ）に関係する第１照明エピポーラ線の勾配（ＳｔＭ）および第１基準軸（８４）との交点（ＳＰＭ）を含み、前記個々の構造要素（１２）の前記少なくとも第２パラメータは、前記少なくとも１つの第２カメラ（Ｈ、Ｖ）に関係する照明エピポーラ線の勾配（ＳｔＨ、ＳｔＶ）および第２基準線との交点（ＳＰＨ、ＳＰＶ）を含む、請求項１１に記載の装置。
13. 前記計算ユニット（６２）は前記第１カメラ（Ｍ）の前記カメラ画像で特定されるべき前記構造要素（１２）の画素座標を判別し、前記画素座標および前記校正データから少なくとも第１パラメータを計算し、おそらく許容範囲内で、同様に前記校正データから少なくとも第１パラメータを満たすすべての構造要素（１２）を読み取り、前記読み取った構造要素（１２）のそれぞれについて少なくとも第２パラメータのうちの少なくとも１つをさらに読み取り、前記少なくとも１つの第２カメラ（Ｈ、Ｖ）の前記カメラ画像で、前記第１カメラ（Ｍ）の前記カメラ画像で特定されるべき前記構造要素（１２）と一対一対応で関連付けることのできる構造要素（１２）を判別するようにセットアップされる、請求項１１または請求項１２に記載の装置。
14. 前記第１カメラ（Ｍ）の入射瞳（１８）、前記少なくとも１つの第２カメラ（Ｈ、Ｖ）の入射瞳（２０、２２）、および前記プロジェクタ（３６）の射出瞳（３８）が１つの共通面に位置する、請求項１１から請求項１３のいずれか１項に記載の装置。
15. 前記第１カメラ（Ｍ）の光学軸（３０）、前記少なくとも１つの第２カメラ（Ｈ、Ｖ）の光学軸（３２、３４）、前記プロジェクタ（３６）の光学軸（４０）は互いに平行である、請求項１１から請求項１４のいずれか１項に記載の装置。
16. 前記第１カメラおよび少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）間の距離は、前記プロジェクタ（３６）と前記第１カメラ（Ｍ）との距離、および前記プロジェクタ（３６）と前記少なくとも１つの第２カメラ（Ｈ、Ｖ）との距離とは異なる、請求項１１から請求項１５のいずれか１項に記載の装置。
17. 前記シーン（１４）に投影される前記構造パターン（１６）を取り込むための第３カメラ（Ｖ）をさらに具備し、前記第３カメラ（Ｖ）は前記第１カメラおよび第２カメラ（Ｍ、Ｈ）の前記線分（２６）の外側、かつ前記第１カメラ（Ｍ）と前記プロジェクタ（３６）との前記線分（３７）の外側、かつ前記第２カメラ（Ｈ）と前記プロジェクタ（３６）との前記線分（３９）の外側に位置付けられており、前記記憶ユニット（６２）に格納されている前記校正データは、前記各構造要素（１２）を前記第３カメラ（Ｖ）および前記プロジェクタ（３６）の位置および配向に相関させる第３パラメータを追加で有する、請求項１１から請求項１６のいずれか１項に記載の装置。
18. 前記プロジェクタ（３６）は、前記構造パターン（１６）をドットパターンとして生成するようにセットアップされている、請求項１１から請求項１７のいずれか１項に記載の装置。
19. 前記プロジェクタ（３６）は、前記第１カメラおよび前記少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）の画像記録周波数の半分に対応するパルス周波数を有するパルス方式で構造パターン（１６）を透過するようになされており、前記計算ユニット（６２）は、それぞれの場合において、前記第１カメラおよび少なくとも１つの第２カメラ（Ｍ、Ｈ、Ｖ）によって取り込まれる２つの画像を互いから減算処理するようにセットアップされており、および／または前記カメラ画像内の環境光を遮るために、前記構造パターン（１６）が投影される前記投影光の波長範囲でのみ透過できる光学フィルタを具備する、請求項１１から請求項１８のいずれか１項に記載の装置。
20. 危険ゾーン、特に機械の危険ゾーンを監視するため、特に安全確保をするための、請求項１から１０のいずれか１項の方法および／または請求項１１から請求項１９のいずれか１項に記載の装置（１０）の使用。

Images