JP2004518947A - 画像内の突合せ点を用いたデジタルイメージングシステムの精密位置合わせ画像 - Google Patents
画像内の突合せ点を用いたデジタルイメージングシステムの精密位置合わせ画像 Download PDFInfo
- Publication number
- JP2004518947A JP2004518947A JP2002523852A JP2002523852A JP2004518947A JP 2004518947 A JP2004518947 A JP 2004518947A JP 2002523852 A JP2002523852 A JP 2002523852A JP 2002523852 A JP2002523852 A JP 2002523852A JP 2004518947 A JP2004518947 A JP 2004518947A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- scene
- digital imaging
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Microscoopes, Condenser (AREA)
Abstract
デジタルイメージングシステム（１０）は、１シーンの画像内のアンカまたはターゲット（１７）の位置特定を支援するように設定される。一特性において、デジタルイメージングシステムは、測定、復元などの対象となるオブジェクトの表面特性とターゲットの表面特性の違いを利用して、シーンの一連の画像を記録する時に円滑に均一照明を供給できるようにすることによって、ターゲットに立体照明を当てた場合に、ターゲットの位置の特定に関して生じる可能性のあるノイズを削減する。第２の特性では、デジタルイメージングシステムは、１つ以上のアルゴリズムを用いて、各オブジェクト内の画像内に存在するシーンの画像内でターゲットの位置を特定する。この特性において、デジタルイメージングシステムは、基準群と作業群の２組の画像を記録する。
Description
【０００１】
（技術分野）
本発明は、デジタルイメージング技術に関し、より詳細には、デジタルイメージングシステムにおける画像の位置合わせシステムおよび位置合わせ方法に関する。
【０００２】
（背景技術）
デジタルイメージングシステムは、各種の用途に応じて、１つのシーンに関する多数の画像を記録する。一部の用途では、シーン内の点の位置について、３次元の座標系と相関する正確な知識を必要とするため、個々の画像内で点の投影位置を正確に把握しなければならない。実際の用途としては、たとえば、写真測量がある。写真測量では、１シーン内の点間距離、そのシーン内で基準高さを上回っている点の高さなどの情報は、そのシーンについて記録された２次元画像上の点間の測定値から決定できる。また、シーンを記録した２次元画像からそのシーン内のオブジェクトを３次元で仮想的に復元するという用途もある。このような仮想復元を利用すると、たとえば、復元されたオブジェクトの特徴を精密に測定することができる。
【０００３】
一部の用途では、シーン内の特定の特徴を高い精度で測定することが求められる。このような測定では、次のいずれかを実現する必要がある。すなわち、シーンに関する情報をイメージングシステムに提供する、または、このような情報を、イメージングシステムが画像から自動的に抽出できるようにする必要がある。いずれの場合であっても、画像に記録されたとおりに、正確に検出でき、その位置およびサイズを正確に測定できる特徴が存在するならば、イメージングシステムにとって有用である。これらの特徴は、「アンカ点」または「ターゲット」と呼んでもよい。これらの特徴をシーン内に人工的に埋め込んでおくと、イメージングシステムで使用する基準情報を提供できる。このターゲットは所定の光学特性を持っており、イメージングシステムはシーン内の他のオブジェクトから容易かつ自動的にターゲットを区別できる。また、イメージングシステムは、ターゲットそれぞれについて、３次元座標系に対応したシーン内の位置を把握している。また、イメージングシステムでは、シーンに関して記録された画像内の各ピクセルが、そのシーン内のターゲットのどのピクセルと対応するのかを正確に特定できる必要が生じる。イメージングシステムによる高速かつ正確なターゲットの識別が求められることから、いくつかの問題が生じている。特に、ターゲットを構成する材料のタイプ、ターゲットの形状などについての特別な配慮が必要になることが多い。ある技法では、所定の方法でコード化できる特殊な形状と輪郭を備えたターゲットを提供して、ターゲットを確実に際立たせ、シーン内の他のオブジェクトから容易に区別できるようにしている。ターゲットは、所定の表面特性、たとえば、拡散反射性、または高反射性などを有する材料で形成できるが、ターゲットの形状や反射率は、測定や復元などの対象となるシーン内のオブジェクトに想定される形状や反射率と大きく異なるものでなければならない。
【０００４】
また、別の技法としては、指向反射性材料、たとえば、ターゲットに対する再帰反射性材料などの利用に関する技法もある。再帰反射性材料で形成されたオブジェクトは、オブジェクトに入射した光をその発生元である光源に戻す方向に主に反射する。再帰反射性材料のタイプは、既に周知であり、たとえば、信号機、安全反射板などに使用されている。再帰反射性材料の反射特性は、通常、表面に対する光の入射角とは別のもので、その入射角はかなり広い範囲にわたっている。測定、復元などの対象となるシーン内のオブジェクトが再帰反射性材料で構成されていない場合は、そのオブジェクト表面の反射特性がターゲットの反射特性とかなり異なることになるため、適切に照明が当てられている場合は、下記に説明するように、シーン内のターゲットとオブジェクトの区別は、イメージングシステムにとって比較的容易である。
【０００５】
また、更に別の技法として、事実上、シーン内に孔を形成するターゲットを利用するものもある。このターゲットは、たとえば、入射した光を吸収することによって、あるいは、画像の記録時に、画像を記録する装置の方向に光を反射しないことによって、事実上の孔を形成する。
【０００６】
ターゲットの位置を正確に特定するには、ターゲットに光を均一に当てて、各ターゲットの外観が、表示領域ごと、あるいは画像ごとに異なることがないようにする必要がある。ただし、イメージングシステムで、比較的特色がないように見える表面にテクスチャ付きの外観を提供する立体光を必要とする場合は、立体照明と均一照明を同時に使用することによってそのシーンの立体照明の効果が減少し、ひいては、測定、仮想復元など、イメージングシステムの処理能力に支障をきたす可能性がある。一方、立体光を単独で、あるいは主照明として使用して、ターゲットも含めシーン全体を照らした場合は、ターゲットの外観がそれぞれ画像ごとに変化し、各種画像内でのイメージングシステムによる各投影像の識別が困難なものになる。また、立体光はターゲットの投影像を歪める場合があるため、画像内での正確な位置の特定がますます困難になる可能性がある。最後に付け加えると、立体光と均一光の両方を使用している時に、同一方向であることを望まれる方向から画像を連続記録する場合には、カメラと画像を記録する他の装置のいずれかまたは両方と、ターゲットを含むシーン内のオブジェクトの振動または移動に起因する問題が発生する。すなわち、２つの画像の登録に不整合が生じることにもなる。カメラが連続画像を記録できる時間間隔は、いくつかの変数に基づいて変化するものであり、この変数には、たとえば、画像のサイズ、画像の解像度、画像バッファのダウンロード時間などが含まれる。この時間間隔はかなり長いため、多くの場合、このような差異に悪影響が及ぶことになる。このため、測定、復元などイメージングシステムが実行しなければならない各種動作の精度が大幅に減少することになる。
【０００７】
（発明の開示）
本発明は、デジタルイメージングシステムで画像が正確に位置合わせされるように改良された新しいシステムおよび方法を提供する。
【０００８】
要約すると、本発明は、１シーンについての複数の画像におけるアンカまたはターゲットの位置を容易に特定できる新しいデジタルイメージングシステムおよびデジタルイメージング方法を提供する。本発明は、２組に大別される特性を有する。１番目に分類される特性によれば、デジタルイメージングシステムは、たとえば、ターゲットの表面特性と、測定、復元などの対象となるオブジェクトの表面特性との間に存在するような差異を利用して、シーンに関する一連の画像の記録時にターゲットに円滑に均一照明を供給できるようにし、ターゲットへの立体照明の供給によって生じる可能性のあるターゲット位置特定時のノイズを削減すると同時に、画像の記録時にオブジェクトに立体照明を供給できるようにする。本特性に係るデジタルイメージングシステムでは、画像内のターゲットの位置を利用して、その画像一式に連携したローカル座標系をグローバル座標系と対応させることができる。
【０００９】
２番目に分類される特性では、１つ以上のアルゴリズムを利用して、個々のオブジェクトについて、シーンの画像内のターゲットの位置を特定する。この特性に係るデジタルイメージングシステムは、基準郡と作業群を含む２組の画像を記録する。基準郡は、均一照明を使用して記録したものであり、ターゲットの画像のみで構成される。作業群は、立体照明を使用して記録したものであり、ターゲットとオブジェクト両方の画像で構成される。また、測定、仮想復元などとの関連において利用される作業郡については、１つ以上のアルゴリズムを用いて、作業画像郡に属する画像内のターゲットの想定位置を特定する。更に、基準画像群と作業画像群とに関して、作業画像群に連携したローカル座標系をグローバル座標系に対応付けられるような変換処理を決定する。
【００１０】
（発明を実施するための最良の形態）
図１は、本発明に係るデジタルイメージングシステム１０の概略構成図である。デジタルイメージングシステム１０は、光学ヘッド１１、リグ（ｒｉｇ）１２、および画像処理サブシステム１３を含み、光学ヘッド１１は、シーン１５の画像を記録できる１個以上のカメラ１４Ａ、…、１４Ｎ（通例、参照数字１４ｎで表す）を備える。リグ１２は作動機能を備えており、たとえば、シーン１５に対する光学ヘッド１１の平行移動と回転移動の少なくとも一方を実行し、光学ヘッド１１を構成するカメラ１４ｎが複数の位置および角度の付いた複数の方向からシーン１５の一連の画像を記録できるようにする。一実施形態において、光学ヘッド１１を構成するカメラ１４ｎは、画像を電子的な形式で記録する画像検知記録媒体、たとえば、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）装置などを備えると共に、画像の記録後に、記録した画像を処理のために画像処理サブシステム１３にダウンロードする。
【００１１】
画像処理サブシステム１３によって実行される特定の処理動作は、デジタルイメージングシステム１０を利用する個々の用途によって異なる。たとえば、デジタルイメージングシステム１０を利用してシーン１５の要素を測定する場合、画像処理サブシステム１３は、シーン内で選択した複数のオブジェクト（通例、参照数字１６を用いて表す）上の点間距離、およびシーン内のオブジェクト１６と基準面、たとえば、底面などとの間の距離を算出できる。同様に、デジタルイメージングシステム１０を利用して、シーン内の１つ以上のオブジェクト１６についての仮想３次元復元物を生成する場合、画像処理サブシステム１３は、同業者に周知の１つ以上の技法を用いて、仮想復元物を生成できる。また、シーンには、測定、復元などの対象となる１つ以上のオブジェクト１６の他に、選択したグローバル座標系における位置が判明しているアンカ点またはターゲット（通例、参照数字１７を用いて表す）が設けられている。当業者によって認識されているように、シーンの一部についての一連の画像から得た、シーンの一部分の仮想復元物は、その一連の画像に対応付けられている座標系を基準にしたものになる。このようなローカル仮想復元物は、ターゲット１７を用いることによって、単一のグローバル座標系と容易に対応付けることができる。同様に、測定を実行するオブジェクトの特徴に関して、測定のために複数セットの画像を記録する必要がある場合は、画像の各組において個別に決定される特徴の各座標を、単一のグローバル座標系に対応付けて、測定を可能にする必要があるが、このような処理もターゲットを利用して簡略化できる。
【００１２】
シーン１５には、１個以上の光源による照明が供給されている。この光源は、通例、参照数字２０を用いて表す。下記に説明するように、少なくともいつかの光源はシーン１５に立体照明（ストラクチャード照明：Ｓｔｒｕｃｔｕｒｅｄ ｉｌｌｕｍｉｎａｔｉｏｎ）を供給する。立体照明は、シーン１５内の１つまたは複数のオブジェクト１６にパターンおよびテクスチャを与えるために使用する。このパターンおよびテクスチャは、ローカル仮想復元物の生成で使用すれる一連の画像において、画像処理サブシステム１３が、シーン１５内の同一点を表す一連の画像を構成する各画像内の点を識別する処理を補助する。パターンやテクスチャは、各ローカル座標系上の座標を求める場合に有用である。通常、測定、仮想復元などの対象となるオブジェクト１６に加えてターゲット１７を含む１つのシーン１５について、オブジェクト１６の仮想復元に利用するテクスチャ照明での画像と、ターゲット１７を測定するための均一照明での画像とで構成された、少なくとも２つの連続した画像が記録される。この場合、２つの画像の取得時に生じるオブジェクトと光学ヘッドの間における、工業環境でしばしば発生するような相対移動によって、グローバル測定の精度が低下する。立体照明のみを使用してターゲット１７の位置を特定しようとすると、立体照明のテクスチャによる画像の歪みによって、ターゲットの位置決定に正確さを欠くことになる。本発明は、２つに大別されるいくつかの機構を提供する。この機構によって、デジタルイメージングシステム１０は、オブジェクト１６およびターゲット１７を含むシーン１５の画像を記録する場合に、立体照明で照らした状態でターゲット位置を正確に測定できるようになる。その結果、デジタルイメージングシステム１０による測定処理の実行、仮想復元物などの生成を可能にすると共に、オブジェクトと光学ヘッドの間における振動または他の相対動作に反応することなく、グローバル座標系上の位置を正確に特定できるようにする。
【００１３】
前述したように、本発明は、２つに大別される機構を提供する。１番目の分類に属する機構として、本発明は、ライティングと画像記録条件を選択して利用する一連の機構を提供する。選択したライティングと画像記録条件を、ターゲット１７とオブジェクト１６の表面特性と組み合わせて利用して、ターゲット１７をオブジェクト１６から容易に区別できるようにする。また、たとえば、オブジェクト１６に適用された立体照明によって生じるテクスチャは歪みをもたらすと想定されるが、この機構によれば、歪みを伴わない完全なターゲットを画像内に取り込むことができる。２番目の分類に属する機構として、本発明は、各種のアルゴリズムを利用した一連の機構を提供する。この機構では、アルゴリズムを使用して、画像内のオブジェクト１６からターゲット１７を区別して識別し、ターゲットに立体照明を当てた状態で画像が記録されているにも関わらず、画像内のターゲットの位置を正確に特定できる。アルゴリズムに基づく技法は、ライティング条件／ターゲットの表面特性技法と共に利用できる。また、アルゴリズムに基づく技法は、ライティング条件／ターゲットの表面特性技法を利用できない時でも、ライティング条件／ターゲットの表面特性技法の代替技法として利用できる。まず、本発明に係るライティング条件／ターゲットの表面特性技法を用いて構成したデジタルイメージングシステムについて説明し、続いて、本発明に係るアルゴリズム技法を用いて構成したデジタルイメージングシステムについて説明する。
【００１４】
通常、デジタルイメージングシステム１０は、通例、参照数字２０Ａおよび２０Ｂを用いて表す２組の光源を備える。光源２０Ａは、立体化されていない均一照明を提供する光源として構成し、一方、光源２０Ｂは、立体照明を提供する光源として構成する。本発明の一特性において、ターゲット１７の表面は再帰反射的であるが、オブジェクト１６の表面は比較的拡散反射的である。この場合、光源２０Ａがカメラのレンズの近くに位置するように光学ヘッドを構成するが、ターゲットからの再帰反射を効果的に集光するには、光源２０Ａがリングタイプの光源であることが好ましい。また、光源２０Ｂは、カメラのレンズから離れた場所に配置して、再帰反射的なターゲットから反射される光源２０Ｂによる光がカメラのレンズに入り込まないようにする。この場合、光源２０Ａからターゲット１７に供給する立体化されていない均一照明の光度は、光源２０Ｂがオブジェクト１６に供給する立体照明の光度より遥かに低く設定できる。
【００１５】
ターゲット１７の表面は再帰反射的であるため、ターゲット１７は、光源２０Ａから供給される比較的レベルの低い照明も容易に反射できる。一方、オブジェクト１６の表面は概してより拡散反射的であるため、オブジェクト１６は、光源２０Ｂから供給される立体照明を反射する程度と比べ、光源２０Ａから供給される照明をかなり低い程度でしか反射しないことから、立体照明によって与えられるテクスチャは保持される。この場合は、２組の光源２０Ａおよび２０Ｂがシーン１５を同時に照らすことができる一方で、ターゲット１７は光源２０Ａから供給された立体化されていない均一照明を反射するため、カメラ１４ｎによって記録される画像には、均一に照明が当たっているターゲット１７が現われることになる。
【００１６】
オブジェクト１６には立体照明が当たっているため、画像処理サブシステム１３は、オブジェクト１６の測定情報、仮想復元などに用いる画像をいずれも処理することができる。一方、ターゲット１７には均一照明が当たっているため、画像処理サブシステム１３は、画像を処理してターゲット位置を正確に特定して、位置合わせ情報を提供することができる。この位置合わせ情報によって、画像を記録したカメラの位置に基づくローカル座標系をグローバル座標系に対応付けることができる。
【００１７】
本発明の別の特性において、シーン１５内のターゲット１７の表面は、異なる波長を持つ光に対する分光感応性を備え、異なる波長を持つ光を吸収、または反射する。この場合のデジタルイメージングシステム１０は、一般に、通例、参照数字２０Ａおよび２０Ｂを用いて表す２組の光源を備える。光源２０Ａは、ターゲット１７の表面で反射する波長を有する、立体化されていない均一照明を供給する光源として構成する。一方、光源２０Ｂは、ターゲット１７の表面で反射されない波長を有する立体照明を供給する光源として構成する。オブジェクト１６は、光源２０Ｂから供給される照明を反射する必要があるが、光源２０Ａから供給される照明も反射する特性を有していてもよい。ただし、好ましくは、光源２０Ａの光度を光源２０Ｂの光度より低くするか、あるいは光源２０Ａの発光スペクトルが、光源２０Ｂの発光スペクトルより狭くなるようにして、光源２０Ｂからの光のオブジェクト１６による反射が、光源２０Ａからの光のオブジェクト１６による反射を上回るようにする。
【００１８】
ターゲット１７は、光源２０Ａによる均一光のみを反射して、光源２０Ｂによる立体光を反射しないため、カメラ１４ｎで記録されるターゲット１７の画像は、均一になり、立体照明による歪みは現われない。オブジェクト１６は均一照明と立体照明の両方を反射するにも関わらず、カメラ１４ｎで記録されるオブジェクト１６の画像は、テクスチャを有するものになる。これは、前述したように、光源２０Ａから供給される照明の光度が光源２０Ｂから供給される照明の光度より低いか、あるいは光源２０Ａの発光スペクトルが光源２０Ｂから発光されるスペクトルよりも狭く、光源２０Ｂからの光のオブジェクト１６による反射が、光源２０Ａからの光のオブジェクト１６による反射を上回るためである。
【００１９】
本発明の別の特性において、デジタルイメージングシステム１０は、通例、参照数字２０Ａおよび２０Ｂを用いて表す２組の光源を備える。光源２０Ａは、ある波長帯の立体化されていない均一光を供給するように構成する。一方、光源２０Ｂは、光源２０Ａとは異なる別の波長帯の立体照明を供給するように構成する。個々のカメラ１４ｎおよび画像処理サブシステム１３は、ターゲット１７を構成する部分とオブジェクト１６を構成する部分を区別するように構成できる。たとえば、光源２０Ａから供給する均一照明が可視スペクトルの赤色部分に属する波長を持ち、光源２０Ｂから供給する立体照明が可視スペクトルの青色部分に属する波長を持っている場合、画像処理サブシステム１３は、各カメラ１４ｎで記録した各画像の中で、ターゲット１７の画像を構成する可視スペクトルの赤色部分に属するものと、青色部分に属するものとを区別して処理することができる。この場合、青色の画像は、オブジェクト１６とターゲット１７両方の立体的な外観の画像を含んでおり、オブジェクト１６の測定、復元などに利用されるが、赤色の画像は、オブジェクト１６とターゲット１７両方の均一な外観の画像を含むことになる。画像処理サブシステム１３によるターゲットとオブジェクトの区別は、従来のいくつかの手法に従って行われるが、この手法には、たとえば、同業者に周知の濃淡レベル、エッジ、形状、その他に基づく手法が含まれる。ターゲット１７の画像の位置は、均一照明を用いて記録した画像から正確に特定できる。また、上述の例では可視スペクトルの波長の照明を採用しているが、照明は、電磁スペクトルのどの部分に属するものであってもよいことは理解できるであろう。
【００２０】
カメラ１４ｎで画像をカラーで記録する代わりに、各カメラで白黒の画像を記録すると、異なる波長帯を容易に区別できるようになる。参照番号３０を用いて表すカメラの例として、その概略を図２に示す。図２を参照すると、カメラ３０は、画像記録媒体３２を収納するハウジング３１を備えている。レンズ系３３は、シーン１５から受け取った光をビーム分配機構３４に向けて送り出す。ビーム分配機構３４は、光線３５として図示してあるレンズ系３３から受け取った光を３５Ａおよび３５Ｂの２つの部分に分割する。ビーム分配機構３４から送られた部分光３５Ａは、フィルタ３６Ａによって濾光される。フィルタ３６Ａは、光源２０Ａから供給された波長の光を通し、光源２０Ｂから供給された波長の光を遮断する。フィルタ３６Ａは、濾光した光を画像記録媒体３２のうちの参照番号３２Ａで示した部分に向けて送り出す。同様に、ビーム分配機構３４から送られた部分光３５Ｂは、光源２０Ｂから供給された波長の光を通し、光源２０Ａから供給された波長の光を遮断するフィルタ３６Ｂで濾光される。フィルタ３６Ｂは、濾光した光を画像記録媒体３２のうちの参照番号３２Ｂで示した部分に向けて送り出す。画像記録媒体の独立部分３２Ａと３２Ｂとは、画像処理サブシステム１３で個別に処理することができる。画像処理サブシステム１３は、画像記録媒体３２の部分３２Ｂ、すなわち、立体照明に関連する部分に記録された画像を処理して、測定情報、仮想復元物などを提供できる。一方で、画像処理サブシステム１３は、画像記録媒体３２の部分３２Ａ、すなわち、均一照明に関連する部分に記録された画像を処理して、位置合わせ情報を提供することもできる。この位置合わせ情報によって、画像を記録したカメラの位置に基づくローカル座標系とグローバル座標系の対応付けを実現できる。
【００２１】
本発明の更に別の特性について、図１を参照して説明する。この特性も、ライティング条件／ターゲット表面技法に分類される。オブジェクト１６とターゲット１７の表面で反射する光の波長の違いを利用してオブジェクトとターゲットを区別する代わりに、本特性では、偏光特性を用いてオブジェクト１６とターゲット１７を区別する。ターゲット１７の表面は、偏光性を維持するように光を反射する構成とし、一方で、オブジェクト１６の表面は、偏光性を維持しないように好ましく光を反射する。このような構成を実現するには、入射した照明の偏光性を維持するように光を反射する再帰反射性をターゲット１７の表面に付与し、入射した照明の偏光性を維持しないように光を反射する拡散反射性をオブジェクト１６の表面に付与する。シーン１５内のターゲット１７に均一照明を当てる光源２０Ａから供給される照明は、選択した方向、たとえば、水平方向に偏光したものとし、オブジェクト１６に照明を当てるための光源２０Ｂから供給される立体照明は、前述した方向と直交する方向、たとえば、垂直方向に偏光したものとする。光源２０Ａから供給する照明の光度が、光源２０Ｂから供給する照明の光度よりかなり低くなるように好ましく設定する。
【００２２】
ターゲット１７の表面は、２０Ａおよび２０Ｂの光源から供給される照明を両方とも反射する。再帰反射性を備えるターゲット１７の表面では偏光性が維持されるため、その反射光は、光源２０Ａから供給される均一照明に対応した水平成分と、光源２０Ｂから供給される立体照明に対応した垂直成分を含んでいる。オブジェクト１６の表面も、２０Ａおよび２０Ｂの光源から供給される照明を両方とも反射するが、光源２０Ａから供給される均一照明の光度は光源２０Ｂから供給される立体照明の光度よりかなり低いため、オブジェクト１６の表面で反射する光は主に立体照明であることは理解されるであろう。ただし、オブジェクト１６の表面は拡散反射性を備えるため、そこで反射する光には入射した光の偏光性は維持されない。この場合、反射した立体光は、水平成分と垂直成分の両方を備えることになる。
【００２３】
更に、各カメラ１４ｎには、その光学パスの前方に偏波器（図示せず）が設けられているため、水平方向の偏光、または水平方向に偏光されていない光の水平成分だけが各カメラに入光し、そこで記録されるようになっている。前述したように、ターゲット１７は、光源２０Ａから供給される水平方向に偏光した均一照明と、光源２０Ｂから供給される垂直方向に偏光した立体照明を、偏光性を維持したまま反射する。ただし、各カメラ１４ｎでは、それぞれの偏波器が、水平方向に偏光したターゲット１７からの均一照明だけを通して、各画像を記録するようになっている。したがって、各画像内のターゲット１７の画像は均一なものになる。一方、オブジェクト１６の表面は、拡散反射的であるため、偏光性を維持しない。したがって、オブジェクト１６で反射した立体照明は、水平成分と垂直成分の両方を備えている。また、各偏波器は、光源２０Ａから供給される均一光の水平成分と共に、立体照明の水平成分を通して、ぞれぞれの画像を記録するようになっている。前述したように、光源２０Ａから供給される均一光の光度は、光源２０Ｂから供給される立体光の光度よりかなり低いため、オブジェクト１６の表面で反射して各画像に記録されるのは、主として立体光である。
【００２４】
カメラ１４ｎが画像を記録した後、画像は画像処理サブシステム１３によって処理されるが、特に、この画像処理サブシステム１３で、各画像内のターゲット１７の位置が特定される。各画像について、画像処理サブシステム１３は、たとえば、検索手法を用いて、全体的に光度が均一な画像領域を検索できる。この光度が均一な領域は、各画像内のターゲット１７の画像を含んでいる領域として、画像処理サブシステム１３によって判定される。一方、画像処理サブシステム１３は、明るい領域ではあるけれども、明るさの全体的均一性に欠ける画像領域は、それぞれ、立体照明が当たっているオブジェクト１６の画像を含んでいると判断する。
【００２５】
本発明の更に別の特性について、図１を参照して説明する。この特性も、ライティング条件／ターゲット表面技法に分類される。本特性では、各画像に記録された光の波長または偏光性に基づいて画像内のオブジェクト１６とターゲット１７を区別する代わりに、その位置に基づいてオブジェクト１６とターゲット１７を区別する。この場合のカメラ１４ｎは、比較的広い視野（“ＦＯＶ”）を持つ好ましい高解像度カメラである。カメラ１４ｎの視野の中心は、主に、シーン１５内のオブジェクト１６に向けられている。ターゲット１７は、オブジェクト１６からある距離を取りつつ、カメラ１４の視野からはずれない位置に好ましく配置する。ターゲット１７に均一照明を供給する光源２０Ａは、シーン１５の中のターゲット１７が配置された部分に向ける。一方、立体照明を供給する光源２０Ｂは、シーン１５の中のオブジェクト１６が配置された部分に向ける。このように、均一照明は、ターゲット１７が配置された、カメラ１４ｎの視野の周辺部に限定し、一方で、立体照明は、シーン１５の中でターゲット１７から幾分距離を取った部分、すなわち、オブジェクト１６が配置された部分に限定する。その結果、画像処理サブシステム１３がシーン１５内のターゲット１７を容易に識別できるようになり、測定、仮想復元などの処理動作に有用な立体照明を適用しながら、最小限のノイズでターゲット１７の位置を特定できる。別の方法としては、均一照明の光源２０Ａをカメラ１４ｎの視野内に位置するシーン１５全体に向ける一方で、光源２０Ａの光度を立体照明の光源２０Ｂよりもかなり低く設定して、オブジェクト１６を主に立体光で照らすという方法もある。
【００２６】
ライティング条件／ターゲット表面技法に分類されるいずれかの特性に従って使用する光源２０は、従来のいかなるタイプの光源であっても、その光源から、必要な波長の照明、必要な方向に偏光した照明、あるいは、カメラの視野周辺部近辺の均一光とそれ以外の場所における立体光の必要なパターンを有する照明を供給し、前述した特性に関連する特徴を実現できるものであればよい。
【００２７】
別の方法として、システム１０は、コンピュータ制御のパターン発生装置、たとえば、コンピュータ制御されたＬＣＤ（液晶ディスプレイ）パターン発生装置、ＤＭＤ（デジタルマイクロミラーデバイス）などを利用して、シーン１５内のターゲット１７を含む部分に均一照明を供給し、シーン１５内のオブジェクト１６を含む部分に立体光を供給するように構成できる。この代替方法では、まず、パターン発生装置がシーン１５全体に均一光を供給し、カメラ１４ｎがシーン１５の一連の画像を記録する。画像処理サブシステム１３は、濃淡レベル、エッジ、形状を基準とした当業者に周知の従来の方法、またはその他を手法で、ターゲットとオブジェクトを区別できる。次に、画像処理サブシステム１３は、シーン１５内のターゲット１７の位置を特定し、ターゲット１７が存在するシーン１５の領域への均一光の供給の続行と、カメラ１４ｎの視野内に属する他の領域への立体光の供給をパターン発生装置で実現する。その後で、カメラ１４ｎは、２組目の一連の画像を記録できるようになる。この２組目の画像は、均一光に照らされたターゲット１７と、立体光に照らされたオブジェクト１６とを含むことになり、画像処理サブシステム１３で前述したように処理できる画像になる。ターゲット上の均一光の光度と、カメラ１４ｎの視野内に位置する他の部分の上の立体光の光度とをそれぞれ別のレベルに設定して、システムの動的範囲を効果的に利用することもできる。カメラ１４ｎが最初の一連の画像を記録してから２番目の一連の画像を記録するまでの間隔を短く設定する必要がないことは、最初の一連の画像は、シーン１５内のターゲットの位置を特定し、２番目の一連の画像のためにパターン発生装置を制御する目的でのみ必要とするものであることから理解できるであろう。
【００２８】
次に、本発明の別の特性について、図１を参照しながら説明する。カメラ１４ｎが十分に速い速度で連続画像を記録できる場合は、光線を分割する光学機構を用いる必要はない。また、画像をカラーで記録する必要も、ターゲット１７および光源に特殊な波長の照明や偏光方向を持つ照明を用意する必要もない。カメラ１４ｎが十分に速い速度で連続画像を記録できる場合、各カメラ１４ｎで記録する連続画像は、光源２０Ａがシーン１５を照らしているが光源２０Ｂはシーン１５を照らしていない状態で記録した１つの画像と、光源２０Ｂがシーン１５を照らしているが光源２０Ａはシーン１５を照らしていない状態で記録した別の画像で構成することができる。カメラ１４ｎが十分に高速で連続画像を記録でき、かつ、光源２０Ａおよび光源２０Ｂのオンとオフとを非常に短時間で切り換えられる場合は、１つの画像を記録してから次の画像を記録するまでの短時間の間におけるカメラ１４ｎ、オブジェクト１６、ターゲット１７のすべて、あるいはそのいずれかの動作は、実質的にはゼロであるような非常に僅かなものになる。一実施形態において、カメラ１４ｎは、非常に高速で画像を画像処理サブシステムに転送できるインタライントランスファＣＣＤセンサを利用する。これにより、各カメラ１４ｎは、非常に短い間隔、一般的には、マイクロセカンドのオーダーの間隔で、連続画像を記録できるようになる。このように、連続画像の間隔が非常に短くなると、リグ１１の機械振動またはオブジェクト１６の動きの大きさも、無視できるほど小さなものになる。
【００２９】
前述したように、本発明は、２種類に大別される機構を提供する。その内の２番目に分類される機構は、アルゴリズムを利用してターゲット１７を画像内のオブジェクト１６から識別および区別する一連の機構で構成したものである。アルゴリズムに分類される機構の有用性は、たとえば、ライティング条件／ターゲットの表面特性技法を利用できない場合に、アルゴリズム基準の技法をライティング条件／ターゲットの表面特性技法と共に採用できるという点にある。
【００３０】
アルゴリズムに分類される技法すべてに共通するのは、デジタルイメージングシステム１０において、カメラ１４ｎは、最初に２組の画像、すなわち、基準画像群と作業画像群を記録する点である。基準画像群を記録する時には、光源２０が均一照明でターゲット１７を照らす。オブジェクト１６には照明を当てないか、あるいは、ターゲット１７の応答性がより高くなるようにデジタルイメージングシステムを構成する。基準画像群ではオブジェクト１６に照明が当たっていないか、あるいは、オブジェクト１６に照明が当たっていても、その反応性を無視できる程度でオブジェクト１６を照らしながらオブジェクト１６が記録されるため、基準画像群の中にオブジェクト１６の画像は記録されない。ただし、ターゲット１７には均一照明が当たっているため、ターゲット１７の画像の位置は、基準画像群の各基準画像内で正確に特定でき、ひいては、ローカル座標系上のターゲットの位置も正確に割り出すことができる。作業画像群では、光源２０が、ターゲット１７とオブジェクト１６の両方を含めてシーン１５に立体照明を当てるが、この立体照明は、前述したように、各作業画像内のターゲット位置の特定にノイズを生じる可能性がある。画像処理サブシステム１３は、作業画像を使用して、ローカル座標系での測定、仮想復元物の生成などを従来の方法で実行する。一方、作業画像内のターゲット１７の画像は、通常、立体証明によって歪むため、画像処理サブシステム１３は、基準画像内のターゲット１７の画像を使用して、従来の方法でローカル座標系をグローバル座標系に対応付けて、作業画像ローカル座標系と基準画像のローカル座標系が同じになるようにする。ただし、基準画像に連携したローカル座標系は、作業画像に記録されたターゲットに関するローカル座標系と僅かに異なるため、画像処理サブシステム１３は、下記に説明するアルゴリズム技法を１つ以上使用して、各作業画像に記録されたターゲットの画像を配置し、基準画像のローカル座標系を作業画像のローカル座標系に対応させる変換を生成する。また、逆に、この変換を利用して、作業画像のローカル座標系とグローバル座標系の変換を決定することもできる。
【００３１】
カメラ１４ｎは基準画像と関連の作業画像とを比較的短い時間間隔で好ましく記録するため、対応するそれぞれのローカル座標系間の変換は比較的小規模なものになる。また、基準画像と関連の作業画像とを比較的短い時間間隔で記録する場合は、ターゲット１７の位置が２つの画像でほぼ同一になる。ただし、ターゲット１７の位置は完全な同一位置でなくてもよい。ターゲット１７の位置のずれは、デジタルイメージングシステム１０と、シーン１５内のオブジェクト１６とターゲット１６のいずれか、またはすべてによる何らかの動作、振動などが時間間隔の中で生じる可能性があることに起因する。基準画像群内の基準画像と作業画像群内の関連作業画像との間の変換にはこのような移動が考慮されている。
【００３２】
各作業画像と関連基準画像の間で行うような変換では、画像処理サブシステム１３は、複数のアルゴリズム技法からその１つ以上を利用して、基準画像内のターゲット画像の位置を正確に特定し、基準画像と作業画像の間に見られるようなターゲット１７の各位置間の関係を求める。アルゴリズムに分類される技法すべてにおいて、画像処理サブシステム１３は、基準画像内のターゲット１７の画像を特定した後で、基準画像内の各ターゲット画像に対応する位置付近の作業画像内の領域にマスクを設定する。この動作において、画像処理サブシステム１３は、基準画像／作業画像ペアの基準画像を使用して、基準画像内のターゲットの画像によって規定されるマスクを生成する。マスクの各要素はそれぞれターゲットの中心に配置され、サイズはそれぞれ各ターゲットのサイズに対する選択した比率で設定される。このマスクを使用して、アルゴリズムに分類される任意の技法で処理する作業画像の領域を定義する。したがって、マスク要素のサイズは、作業画像内のターゲット１７の画像を好ましく含む一方で、作業画像内のオブジェクト１６の画像を排除した大きさになる。
【００３３】
アルゴリズムに属する一特性において、両方の画像はピクセルで構成される。また、画像処理サブシステム１３は、基準画像内のターゲット１７の画像を構成するピクセルを特定した後、作業画像と基準画像との間でピクセルごとの対比を実行できるため、対応する画像内の各ピクセルの対応位置が決定される。画像処理サブシステム１３は、基準画像内のターゲット１７と作業画像内のターゲット１７についてその位置を識別した後、従来の方法でその位置どうしを変換できる。
【００３４】
アルゴリズムに分類される技法の別の特性において、画像処理サブシステム１３は、基準画像内の各ターゲット画像の位置と相対的に同位置になる位置近辺の作業画像内の領域で最小四角形すり合わせを実行する。一連の作業画像内でターゲットの位置を特定した後、画像処理サブシステム１３は、特定した位置と基準画像内の各ターゲットの位置を利用して、作業画像と基準画像との間の変換処理を決定する。
【００３５】
アルゴリズムに分類される技法の更に別の特性において、画像処理サブシステム１３は、基準画像内のターゲット画像のエッジを検出して、各基準画像内の各ターゲット１７の画像のエッジと、各作業画像内の対応するターゲット１７の画像のエッジまたはその一部と、の間の対応関係を検索する。画像処理サブシステム１３は、基準画像内の各ターゲット１７の画像に関して、まず、基準画像内のエッジの輪郭を求める。次に、画像処理サブシステム１３は、作業画像内で、作業画像内の画像のエッジに対するピクセルごとの検索を実行する。一連の作業画像内でターゲットの位置を特定した後、画像処理サブシステム１３は、特定した位置と基準画像内の各ターゲットの位置とを使用して作業画像と基準画像の間の変換処理を決定する。
【００３６】
アルゴリズムに分類される技法の更に別の特性において、画像処理サブシステム１３は、距離変換技法を使用する。この距離変換技法では、画像処理サブシステム１３は、まず、従来の任意の手法、たとえば、前述した検索技法を含む手法を用いて、作業画像内でターゲット１７の画像の位置を特定する。その後、画像処理サブシステム１３は、作業画像を処理して、ターゲット１７の画像のエッジを構成するピクセルから作業画像内の各ピクセルまでの最小距離を求め、新しい画像を作成する。新たに作成された画像では、基準画像内の特徴が作業画像内の特徴の比較的近くに位置する領域が相対的に暗くなる。ただし、基準画像内に存在する唯一の特徴はターゲット１７の画像であり、また、基準画像内のターゲット１７の画像と作業画像内のターゲット１７の画像は、通常、２つの画像内の位置がほぼ同一になるため、発生する可能性がより高いのは、新しい画像では、作業画像内および基準画像内にある各ターゲットの画像位置に近い領域が相対的に明るくなり、作業画像内のオブジェクト１６の画像の位置に対応する新しい画像内の領域は相対的に明るくはならないという状態である。画像処理サブシステム１３は、次に、作業画像ではなく、新しい「距離マップ」画像を使用して、作業画像と基準画像を対応付ける変換を生成する。
【００３７】
アルゴリズムに分類される技法のまた別の特性に係る一実施形態において、ターゲット１７は、通常、ある面と直行する方向から見た時に、円形または楕円形である。また、その円形面と直交しない方向からターゲットを見た場合、またはターゲットの画像を記録した場合、ターゲットは楕円として顕現する。したがって、この技法では、画像処理サブシステム１３は、形状のすり合せ技法を利用して、基準画像内のターゲット画像の輪郭を求める。この技法に係る画像処理サブシステム１３は、まず、基準画像を処理して基準画像内のターゲット画像それぞれの形状を求める。その後、画像処理サブシステム１３は、作業画像内の対応するターゲット画像のエッジを利用して、既に作成した形状に対する最もよい適合状態を提供する作業画像内の位置の探索を試みる。最適な適合を提供する位置の探索で、画像処理サブシステム１３は、ターゲット１７の画像のエッジが前述した形状と最もよく対応する位置を決定する。形状に対する最適な適合を提供する作業画像内の位置は、作業画像内のターゲット画像の位置であると想定される。画像処理サブシステム１３は、同様の方法で、各作業画像内で各ターゲット１７の画像の位置を特定し、基準画像と作業画像の両方で得られた位置を使用して変換処理を決定できる。ターゲットの表面が別の形状、たとえば、円形、長方形、または楕円形などである場合においても、画像処理サブシステム１３は、同様の処理を実行して、作業画像内でターゲットを包含する最小の形状、たとえば四辺形の形状を求め、その後、作業画像に関する該当の処理を実行できる。
【００３８】
ターゲットの画像は、画像の記録時に供給された立体照明によって作業画像内で歪んでいる場合があるため、ターゲットの画像の一部またはターゲットの画像のエッジが作業画像から失われている可能性がある。画像処理サブシステム１３が、該当するターゲット１７の画像のエッジを作業画像内で特定した後、アルゴリズムに分類される別の実施形態では、２つの画像のエッジの輪郭を呼応させる程度を表す加重値を生成できる。したがって、作業画像内のターゲット１７の画像、あるいはそのエッジが立体照明によってあまり大きくは歪められていない場合は、前述の加重値が比較的高くなり、一方、画像のエッジが大幅に歪んでいる場合は、加重値が比較的低くなる。次に、画像処理サブシステム１３は、各画像に生成された加重値で重み付けした、作業画像内および基準画像内のターゲットの画像を利用して、画像間の変換処理を決定する。基準画像群内のターゲット画像と作業画像群内のターゲット画像との間に計算される変換は、アフィン変換である。この変換は、シーン内のターゲットすべての剛的動作を考慮している点で独特の変換であるが、ターゲットそれぞれに関する個別の変換ではない。
【００３９】
画像処理サブシステム１３が前述の技法に従って実行する動作のフローチャートを図３から図７に示す。図示した動作は前述の説明で明らかにしてあるので、フローチャートの詳細説明は省略する。
【００４０】
本発明はいくつかの利点を提供するが、特に、本発明は、オブジェクト１６に立体照明を供給しながらシーン１５内のオブジェクト１６およびターゲット１７の画像を記録できると同時に、立体照明の利用に伴って生じる可能性がある画像内のターゲットの位置に関するノイズを削減あるいは除去できるという利点を提供する。
【００４１】
画像処理サブシステムについて、作業画像群と基準画像群との間に変換を生成するとして説明した。この変換を利用して、作業画像群のローカル座標系をグローバル座標系に変換できるが、代わりに、基準画像群を利用して求めたように、作業画像群を構成する画像内のターゲットの位置を用いて、作業画像群のローカル座標系とグローバル座標系の間の変換を直接的に決定できることは理解されるであろう。
【００４２】
また、本発明に係るシステムは、その全体または一部を、特殊目的のハードウェア、一般目的のコンピュータシステム、あるいはその任意の組み合わせで構成できると共に、システム各部は、適切なプログラムで制御できることも理解できるであろう。任意のプログラムの全部または一部が、従来の方法で、このシステムの一部を構成してもよく、あるいはシステムに格納されてもよい。また、そのプログラムの全部または一部を、ネットワークまたは従来の方法で情報を転送する他の機構からシステムに提供してもよい。更に、このシステムの操作と制御の少なくとも一方を、オペレータ入力部品（図示せず）を使用してオペレータが提供した情報に基づいて実行してもよい。その場合、オペレータ入力部品は、直接システムと接続してもよいが、ネットワークまたは従来の方法で情報を転送する他の機構からシステムに情報を転送してもよい。
【００４３】
前述した説明は、本発明の特定の実施形態に限定されたものであるが、本発明の利点すべてまたはその一部を達成しつつ、本発明を種々に変更および修正できることは理解されるであろう。添付の請求項は、本発明の精神と範囲とにそれることのない変更またはその他の修正をも保護するものである。
【図面の簡単な説明】
本発明は、特に、添付の請求項によって規定されるものである。また、本発明の前述した利点および後述する利点は、付属の図面を参照した後述の説明によってより明確に理解されるであろう。
【図１】本発明に従って構築したデジタルイメージングシステムの概略図である。
【図２】図１に示すデジタルイメージングシステムの一実施形態において利用するカメラの概略図である。
【図３】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
【図４】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
【図５】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
【図６】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
【図７】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
（技術分野）
本発明は、デジタルイメージング技術に関し、より詳細には、デジタルイメージングシステムにおける画像の位置合わせシステムおよび位置合わせ方法に関する。
【０００２】
（背景技術）
デジタルイメージングシステムは、各種の用途に応じて、１つのシーンに関する多数の画像を記録する。一部の用途では、シーン内の点の位置について、３次元の座標系と相関する正確な知識を必要とするため、個々の画像内で点の投影位置を正確に把握しなければならない。実際の用途としては、たとえば、写真測量がある。写真測量では、１シーン内の点間距離、そのシーン内で基準高さを上回っている点の高さなどの情報は、そのシーンについて記録された２次元画像上の点間の測定値から決定できる。また、シーンを記録した２次元画像からそのシーン内のオブジェクトを３次元で仮想的に復元するという用途もある。このような仮想復元を利用すると、たとえば、復元されたオブジェクトの特徴を精密に測定することができる。
【０００３】
一部の用途では、シーン内の特定の特徴を高い精度で測定することが求められる。このような測定では、次のいずれかを実現する必要がある。すなわち、シーンに関する情報をイメージングシステムに提供する、または、このような情報を、イメージングシステムが画像から自動的に抽出できるようにする必要がある。いずれの場合であっても、画像に記録されたとおりに、正確に検出でき、その位置およびサイズを正確に測定できる特徴が存在するならば、イメージングシステムにとって有用である。これらの特徴は、「アンカ点」または「ターゲット」と呼んでもよい。これらの特徴をシーン内に人工的に埋め込んでおくと、イメージングシステムで使用する基準情報を提供できる。このターゲットは所定の光学特性を持っており、イメージングシステムはシーン内の他のオブジェクトから容易かつ自動的にターゲットを区別できる。また、イメージングシステムは、ターゲットそれぞれについて、３次元座標系に対応したシーン内の位置を把握している。また、イメージングシステムでは、シーンに関して記録された画像内の各ピクセルが、そのシーン内のターゲットのどのピクセルと対応するのかを正確に特定できる必要が生じる。イメージングシステムによる高速かつ正確なターゲットの識別が求められることから、いくつかの問題が生じている。特に、ターゲットを構成する材料のタイプ、ターゲットの形状などについての特別な配慮が必要になることが多い。ある技法では、所定の方法でコード化できる特殊な形状と輪郭を備えたターゲットを提供して、ターゲットを確実に際立たせ、シーン内の他のオブジェクトから容易に区別できるようにしている。ターゲットは、所定の表面特性、たとえば、拡散反射性、または高反射性などを有する材料で形成できるが、ターゲットの形状や反射率は、測定や復元などの対象となるシーン内のオブジェクトに想定される形状や反射率と大きく異なるものでなければならない。
【０００４】
また、別の技法としては、指向反射性材料、たとえば、ターゲットに対する再帰反射性材料などの利用に関する技法もある。再帰反射性材料で形成されたオブジェクトは、オブジェクトに入射した光をその発生元である光源に戻す方向に主に反射する。再帰反射性材料のタイプは、既に周知であり、たとえば、信号機、安全反射板などに使用されている。再帰反射性材料の反射特性は、通常、表面に対する光の入射角とは別のもので、その入射角はかなり広い範囲にわたっている。測定、復元などの対象となるシーン内のオブジェクトが再帰反射性材料で構成されていない場合は、そのオブジェクト表面の反射特性がターゲットの反射特性とかなり異なることになるため、適切に照明が当てられている場合は、下記に説明するように、シーン内のターゲットとオブジェクトの区別は、イメージングシステムにとって比較的容易である。
【０００５】
また、更に別の技法として、事実上、シーン内に孔を形成するターゲットを利用するものもある。このターゲットは、たとえば、入射した光を吸収することによって、あるいは、画像の記録時に、画像を記録する装置の方向に光を反射しないことによって、事実上の孔を形成する。
【０００６】
ターゲットの位置を正確に特定するには、ターゲットに光を均一に当てて、各ターゲットの外観が、表示領域ごと、あるいは画像ごとに異なることがないようにする必要がある。ただし、イメージングシステムで、比較的特色がないように見える表面にテクスチャ付きの外観を提供する立体光を必要とする場合は、立体照明と均一照明を同時に使用することによってそのシーンの立体照明の効果が減少し、ひいては、測定、仮想復元など、イメージングシステムの処理能力に支障をきたす可能性がある。一方、立体光を単独で、あるいは主照明として使用して、ターゲットも含めシーン全体を照らした場合は、ターゲットの外観がそれぞれ画像ごとに変化し、各種画像内でのイメージングシステムによる各投影像の識別が困難なものになる。また、立体光はターゲットの投影像を歪める場合があるため、画像内での正確な位置の特定がますます困難になる可能性がある。最後に付け加えると、立体光と均一光の両方を使用している時に、同一方向であることを望まれる方向から画像を連続記録する場合には、カメラと画像を記録する他の装置のいずれかまたは両方と、ターゲットを含むシーン内のオブジェクトの振動または移動に起因する問題が発生する。すなわち、２つの画像の登録に不整合が生じることにもなる。カメラが連続画像を記録できる時間間隔は、いくつかの変数に基づいて変化するものであり、この変数には、たとえば、画像のサイズ、画像の解像度、画像バッファのダウンロード時間などが含まれる。この時間間隔はかなり長いため、多くの場合、このような差異に悪影響が及ぶことになる。このため、測定、復元などイメージングシステムが実行しなければならない各種動作の精度が大幅に減少することになる。
【０００７】
（発明の開示）
本発明は、デジタルイメージングシステムで画像が正確に位置合わせされるように改良された新しいシステムおよび方法を提供する。
【０００８】
要約すると、本発明は、１シーンについての複数の画像におけるアンカまたはターゲットの位置を容易に特定できる新しいデジタルイメージングシステムおよびデジタルイメージング方法を提供する。本発明は、２組に大別される特性を有する。１番目に分類される特性によれば、デジタルイメージングシステムは、たとえば、ターゲットの表面特性と、測定、復元などの対象となるオブジェクトの表面特性との間に存在するような差異を利用して、シーンに関する一連の画像の記録時にターゲットに円滑に均一照明を供給できるようにし、ターゲットへの立体照明の供給によって生じる可能性のあるターゲット位置特定時のノイズを削減すると同時に、画像の記録時にオブジェクトに立体照明を供給できるようにする。本特性に係るデジタルイメージングシステムでは、画像内のターゲットの位置を利用して、その画像一式に連携したローカル座標系をグローバル座標系と対応させることができる。
【０００９】
２番目に分類される特性では、１つ以上のアルゴリズムを利用して、個々のオブジェクトについて、シーンの画像内のターゲットの位置を特定する。この特性に係るデジタルイメージングシステムは、基準郡と作業群を含む２組の画像を記録する。基準郡は、均一照明を使用して記録したものであり、ターゲットの画像のみで構成される。作業群は、立体照明を使用して記録したものであり、ターゲットとオブジェクト両方の画像で構成される。また、測定、仮想復元などとの関連において利用される作業郡については、１つ以上のアルゴリズムを用いて、作業画像郡に属する画像内のターゲットの想定位置を特定する。更に、基準画像群と作業画像群とに関して、作業画像群に連携したローカル座標系をグローバル座標系に対応付けられるような変換処理を決定する。
【００１０】
（発明を実施するための最良の形態）
図１は、本発明に係るデジタルイメージングシステム１０の概略構成図である。デジタルイメージングシステム１０は、光学ヘッド１１、リグ（ｒｉｇ）１２、および画像処理サブシステム１３を含み、光学ヘッド１１は、シーン１５の画像を記録できる１個以上のカメラ１４Ａ、…、１４Ｎ（通例、参照数字１４ｎで表す）を備える。リグ１２は作動機能を備えており、たとえば、シーン１５に対する光学ヘッド１１の平行移動と回転移動の少なくとも一方を実行し、光学ヘッド１１を構成するカメラ１４ｎが複数の位置および角度の付いた複数の方向からシーン１５の一連の画像を記録できるようにする。一実施形態において、光学ヘッド１１を構成するカメラ１４ｎは、画像を電子的な形式で記録する画像検知記録媒体、たとえば、ＣＣＤ（電荷結合素子）またはＣＭＯＳ（相補型金属酸化膜半導体）装置などを備えると共に、画像の記録後に、記録した画像を処理のために画像処理サブシステム１３にダウンロードする。
【００１１】
画像処理サブシステム１３によって実行される特定の処理動作は、デジタルイメージングシステム１０を利用する個々の用途によって異なる。たとえば、デジタルイメージングシステム１０を利用してシーン１５の要素を測定する場合、画像処理サブシステム１３は、シーン内で選択した複数のオブジェクト（通例、参照数字１６を用いて表す）上の点間距離、およびシーン内のオブジェクト１６と基準面、たとえば、底面などとの間の距離を算出できる。同様に、デジタルイメージングシステム１０を利用して、シーン内の１つ以上のオブジェクト１６についての仮想３次元復元物を生成する場合、画像処理サブシステム１３は、同業者に周知の１つ以上の技法を用いて、仮想復元物を生成できる。また、シーンには、測定、復元などの対象となる１つ以上のオブジェクト１６の他に、選択したグローバル座標系における位置が判明しているアンカ点またはターゲット（通例、参照数字１７を用いて表す）が設けられている。当業者によって認識されているように、シーンの一部についての一連の画像から得た、シーンの一部分の仮想復元物は、その一連の画像に対応付けられている座標系を基準にしたものになる。このようなローカル仮想復元物は、ターゲット１７を用いることによって、単一のグローバル座標系と容易に対応付けることができる。同様に、測定を実行するオブジェクトの特徴に関して、測定のために複数セットの画像を記録する必要がある場合は、画像の各組において個別に決定される特徴の各座標を、単一のグローバル座標系に対応付けて、測定を可能にする必要があるが、このような処理もターゲットを利用して簡略化できる。
【００１２】
シーン１５には、１個以上の光源による照明が供給されている。この光源は、通例、参照数字２０を用いて表す。下記に説明するように、少なくともいつかの光源はシーン１５に立体照明（ストラクチャード照明：Ｓｔｒｕｃｔｕｒｅｄ ｉｌｌｕｍｉｎａｔｉｏｎ）を供給する。立体照明は、シーン１５内の１つまたは複数のオブジェクト１６にパターンおよびテクスチャを与えるために使用する。このパターンおよびテクスチャは、ローカル仮想復元物の生成で使用すれる一連の画像において、画像処理サブシステム１３が、シーン１５内の同一点を表す一連の画像を構成する各画像内の点を識別する処理を補助する。パターンやテクスチャは、各ローカル座標系上の座標を求める場合に有用である。通常、測定、仮想復元などの対象となるオブジェクト１６に加えてターゲット１７を含む１つのシーン１５について、オブジェクト１６の仮想復元に利用するテクスチャ照明での画像と、ターゲット１７を測定するための均一照明での画像とで構成された、少なくとも２つの連続した画像が記録される。この場合、２つの画像の取得時に生じるオブジェクトと光学ヘッドの間における、工業環境でしばしば発生するような相対移動によって、グローバル測定の精度が低下する。立体照明のみを使用してターゲット１７の位置を特定しようとすると、立体照明のテクスチャによる画像の歪みによって、ターゲットの位置決定に正確さを欠くことになる。本発明は、２つに大別されるいくつかの機構を提供する。この機構によって、デジタルイメージングシステム１０は、オブジェクト１６およびターゲット１７を含むシーン１５の画像を記録する場合に、立体照明で照らした状態でターゲット位置を正確に測定できるようになる。その結果、デジタルイメージングシステム１０による測定処理の実行、仮想復元物などの生成を可能にすると共に、オブジェクトと光学ヘッドの間における振動または他の相対動作に反応することなく、グローバル座標系上の位置を正確に特定できるようにする。
【００１３】
前述したように、本発明は、２つに大別される機構を提供する。１番目の分類に属する機構として、本発明は、ライティングと画像記録条件を選択して利用する一連の機構を提供する。選択したライティングと画像記録条件を、ターゲット１７とオブジェクト１６の表面特性と組み合わせて利用して、ターゲット１７をオブジェクト１６から容易に区別できるようにする。また、たとえば、オブジェクト１６に適用された立体照明によって生じるテクスチャは歪みをもたらすと想定されるが、この機構によれば、歪みを伴わない完全なターゲットを画像内に取り込むことができる。２番目の分類に属する機構として、本発明は、各種のアルゴリズムを利用した一連の機構を提供する。この機構では、アルゴリズムを使用して、画像内のオブジェクト１６からターゲット１７を区別して識別し、ターゲットに立体照明を当てた状態で画像が記録されているにも関わらず、画像内のターゲットの位置を正確に特定できる。アルゴリズムに基づく技法は、ライティング条件／ターゲットの表面特性技法と共に利用できる。また、アルゴリズムに基づく技法は、ライティング条件／ターゲットの表面特性技法を利用できない時でも、ライティング条件／ターゲットの表面特性技法の代替技法として利用できる。まず、本発明に係るライティング条件／ターゲットの表面特性技法を用いて構成したデジタルイメージングシステムについて説明し、続いて、本発明に係るアルゴリズム技法を用いて構成したデジタルイメージングシステムについて説明する。
【００１４】
通常、デジタルイメージングシステム１０は、通例、参照数字２０Ａおよび２０Ｂを用いて表す２組の光源を備える。光源２０Ａは、立体化されていない均一照明を提供する光源として構成し、一方、光源２０Ｂは、立体照明を提供する光源として構成する。本発明の一特性において、ターゲット１７の表面は再帰反射的であるが、オブジェクト１６の表面は比較的拡散反射的である。この場合、光源２０Ａがカメラのレンズの近くに位置するように光学ヘッドを構成するが、ターゲットからの再帰反射を効果的に集光するには、光源２０Ａがリングタイプの光源であることが好ましい。また、光源２０Ｂは、カメラのレンズから離れた場所に配置して、再帰反射的なターゲットから反射される光源２０Ｂによる光がカメラのレンズに入り込まないようにする。この場合、光源２０Ａからターゲット１７に供給する立体化されていない均一照明の光度は、光源２０Ｂがオブジェクト１６に供給する立体照明の光度より遥かに低く設定できる。
【００１５】
ターゲット１７の表面は再帰反射的であるため、ターゲット１７は、光源２０Ａから供給される比較的レベルの低い照明も容易に反射できる。一方、オブジェクト１６の表面は概してより拡散反射的であるため、オブジェクト１６は、光源２０Ｂから供給される立体照明を反射する程度と比べ、光源２０Ａから供給される照明をかなり低い程度でしか反射しないことから、立体照明によって与えられるテクスチャは保持される。この場合は、２組の光源２０Ａおよび２０Ｂがシーン１５を同時に照らすことができる一方で、ターゲット１７は光源２０Ａから供給された立体化されていない均一照明を反射するため、カメラ１４ｎによって記録される画像には、均一に照明が当たっているターゲット１７が現われることになる。
【００１６】
オブジェクト１６には立体照明が当たっているため、画像処理サブシステム１３は、オブジェクト１６の測定情報、仮想復元などに用いる画像をいずれも処理することができる。一方、ターゲット１７には均一照明が当たっているため、画像処理サブシステム１３は、画像を処理してターゲット位置を正確に特定して、位置合わせ情報を提供することができる。この位置合わせ情報によって、画像を記録したカメラの位置に基づくローカル座標系をグローバル座標系に対応付けることができる。
【００１７】
本発明の別の特性において、シーン１５内のターゲット１７の表面は、異なる波長を持つ光に対する分光感応性を備え、異なる波長を持つ光を吸収、または反射する。この場合のデジタルイメージングシステム１０は、一般に、通例、参照数字２０Ａおよび２０Ｂを用いて表す２組の光源を備える。光源２０Ａは、ターゲット１７の表面で反射する波長を有する、立体化されていない均一照明を供給する光源として構成する。一方、光源２０Ｂは、ターゲット１７の表面で反射されない波長を有する立体照明を供給する光源として構成する。オブジェクト１６は、光源２０Ｂから供給される照明を反射する必要があるが、光源２０Ａから供給される照明も反射する特性を有していてもよい。ただし、好ましくは、光源２０Ａの光度を光源２０Ｂの光度より低くするか、あるいは光源２０Ａの発光スペクトルが、光源２０Ｂの発光スペクトルより狭くなるようにして、光源２０Ｂからの光のオブジェクト１６による反射が、光源２０Ａからの光のオブジェクト１６による反射を上回るようにする。
【００１８】
ターゲット１７は、光源２０Ａによる均一光のみを反射して、光源２０Ｂによる立体光を反射しないため、カメラ１４ｎで記録されるターゲット１７の画像は、均一になり、立体照明による歪みは現われない。オブジェクト１６は均一照明と立体照明の両方を反射するにも関わらず、カメラ１４ｎで記録されるオブジェクト１６の画像は、テクスチャを有するものになる。これは、前述したように、光源２０Ａから供給される照明の光度が光源２０Ｂから供給される照明の光度より低いか、あるいは光源２０Ａの発光スペクトルが光源２０Ｂから発光されるスペクトルよりも狭く、光源２０Ｂからの光のオブジェクト１６による反射が、光源２０Ａからの光のオブジェクト１６による反射を上回るためである。
【００１９】
本発明の別の特性において、デジタルイメージングシステム１０は、通例、参照数字２０Ａおよび２０Ｂを用いて表す２組の光源を備える。光源２０Ａは、ある波長帯の立体化されていない均一光を供給するように構成する。一方、光源２０Ｂは、光源２０Ａとは異なる別の波長帯の立体照明を供給するように構成する。個々のカメラ１４ｎおよび画像処理サブシステム１３は、ターゲット１７を構成する部分とオブジェクト１６を構成する部分を区別するように構成できる。たとえば、光源２０Ａから供給する均一照明が可視スペクトルの赤色部分に属する波長を持ち、光源２０Ｂから供給する立体照明が可視スペクトルの青色部分に属する波長を持っている場合、画像処理サブシステム１３は、各カメラ１４ｎで記録した各画像の中で、ターゲット１７の画像を構成する可視スペクトルの赤色部分に属するものと、青色部分に属するものとを区別して処理することができる。この場合、青色の画像は、オブジェクト１６とターゲット１７両方の立体的な外観の画像を含んでおり、オブジェクト１６の測定、復元などに利用されるが、赤色の画像は、オブジェクト１６とターゲット１７両方の均一な外観の画像を含むことになる。画像処理サブシステム１３によるターゲットとオブジェクトの区別は、従来のいくつかの手法に従って行われるが、この手法には、たとえば、同業者に周知の濃淡レベル、エッジ、形状、その他に基づく手法が含まれる。ターゲット１７の画像の位置は、均一照明を用いて記録した画像から正確に特定できる。また、上述の例では可視スペクトルの波長の照明を採用しているが、照明は、電磁スペクトルのどの部分に属するものであってもよいことは理解できるであろう。
【００２０】
カメラ１４ｎで画像をカラーで記録する代わりに、各カメラで白黒の画像を記録すると、異なる波長帯を容易に区別できるようになる。参照番号３０を用いて表すカメラの例として、その概略を図２に示す。図２を参照すると、カメラ３０は、画像記録媒体３２を収納するハウジング３１を備えている。レンズ系３３は、シーン１５から受け取った光をビーム分配機構３４に向けて送り出す。ビーム分配機構３４は、光線３５として図示してあるレンズ系３３から受け取った光を３５Ａおよび３５Ｂの２つの部分に分割する。ビーム分配機構３４から送られた部分光３５Ａは、フィルタ３６Ａによって濾光される。フィルタ３６Ａは、光源２０Ａから供給された波長の光を通し、光源２０Ｂから供給された波長の光を遮断する。フィルタ３６Ａは、濾光した光を画像記録媒体３２のうちの参照番号３２Ａで示した部分に向けて送り出す。同様に、ビーム分配機構３４から送られた部分光３５Ｂは、光源２０Ｂから供給された波長の光を通し、光源２０Ａから供給された波長の光を遮断するフィルタ３６Ｂで濾光される。フィルタ３６Ｂは、濾光した光を画像記録媒体３２のうちの参照番号３２Ｂで示した部分に向けて送り出す。画像記録媒体の独立部分３２Ａと３２Ｂとは、画像処理サブシステム１３で個別に処理することができる。画像処理サブシステム１３は、画像記録媒体３２の部分３２Ｂ、すなわち、立体照明に関連する部分に記録された画像を処理して、測定情報、仮想復元物などを提供できる。一方で、画像処理サブシステム１３は、画像記録媒体３２の部分３２Ａ、すなわち、均一照明に関連する部分に記録された画像を処理して、位置合わせ情報を提供することもできる。この位置合わせ情報によって、画像を記録したカメラの位置に基づくローカル座標系とグローバル座標系の対応付けを実現できる。
【００２１】
本発明の更に別の特性について、図１を参照して説明する。この特性も、ライティング条件／ターゲット表面技法に分類される。オブジェクト１６とターゲット１７の表面で反射する光の波長の違いを利用してオブジェクトとターゲットを区別する代わりに、本特性では、偏光特性を用いてオブジェクト１６とターゲット１７を区別する。ターゲット１７の表面は、偏光性を維持するように光を反射する構成とし、一方で、オブジェクト１６の表面は、偏光性を維持しないように好ましく光を反射する。このような構成を実現するには、入射した照明の偏光性を維持するように光を反射する再帰反射性をターゲット１７の表面に付与し、入射した照明の偏光性を維持しないように光を反射する拡散反射性をオブジェクト１６の表面に付与する。シーン１５内のターゲット１７に均一照明を当てる光源２０Ａから供給される照明は、選択した方向、たとえば、水平方向に偏光したものとし、オブジェクト１６に照明を当てるための光源２０Ｂから供給される立体照明は、前述した方向と直交する方向、たとえば、垂直方向に偏光したものとする。光源２０Ａから供給する照明の光度が、光源２０Ｂから供給する照明の光度よりかなり低くなるように好ましく設定する。
【００２２】
ターゲット１７の表面は、２０Ａおよび２０Ｂの光源から供給される照明を両方とも反射する。再帰反射性を備えるターゲット１７の表面では偏光性が維持されるため、その反射光は、光源２０Ａから供給される均一照明に対応した水平成分と、光源２０Ｂから供給される立体照明に対応した垂直成分を含んでいる。オブジェクト１６の表面も、２０Ａおよび２０Ｂの光源から供給される照明を両方とも反射するが、光源２０Ａから供給される均一照明の光度は光源２０Ｂから供給される立体照明の光度よりかなり低いため、オブジェクト１６の表面で反射する光は主に立体照明であることは理解されるであろう。ただし、オブジェクト１６の表面は拡散反射性を備えるため、そこで反射する光には入射した光の偏光性は維持されない。この場合、反射した立体光は、水平成分と垂直成分の両方を備えることになる。
【００２３】
更に、各カメラ１４ｎには、その光学パスの前方に偏波器（図示せず）が設けられているため、水平方向の偏光、または水平方向に偏光されていない光の水平成分だけが各カメラに入光し、そこで記録されるようになっている。前述したように、ターゲット１７は、光源２０Ａから供給される水平方向に偏光した均一照明と、光源２０Ｂから供給される垂直方向に偏光した立体照明を、偏光性を維持したまま反射する。ただし、各カメラ１４ｎでは、それぞれの偏波器が、水平方向に偏光したターゲット１７からの均一照明だけを通して、各画像を記録するようになっている。したがって、各画像内のターゲット１７の画像は均一なものになる。一方、オブジェクト１６の表面は、拡散反射的であるため、偏光性を維持しない。したがって、オブジェクト１６で反射した立体照明は、水平成分と垂直成分の両方を備えている。また、各偏波器は、光源２０Ａから供給される均一光の水平成分と共に、立体照明の水平成分を通して、ぞれぞれの画像を記録するようになっている。前述したように、光源２０Ａから供給される均一光の光度は、光源２０Ｂから供給される立体光の光度よりかなり低いため、オブジェクト１６の表面で反射して各画像に記録されるのは、主として立体光である。
【００２４】
カメラ１４ｎが画像を記録した後、画像は画像処理サブシステム１３によって処理されるが、特に、この画像処理サブシステム１３で、各画像内のターゲット１７の位置が特定される。各画像について、画像処理サブシステム１３は、たとえば、検索手法を用いて、全体的に光度が均一な画像領域を検索できる。この光度が均一な領域は、各画像内のターゲット１７の画像を含んでいる領域として、画像処理サブシステム１３によって判定される。一方、画像処理サブシステム１３は、明るい領域ではあるけれども、明るさの全体的均一性に欠ける画像領域は、それぞれ、立体照明が当たっているオブジェクト１６の画像を含んでいると判断する。
【００２５】
本発明の更に別の特性について、図１を参照して説明する。この特性も、ライティング条件／ターゲット表面技法に分類される。本特性では、各画像に記録された光の波長または偏光性に基づいて画像内のオブジェクト１６とターゲット１７を区別する代わりに、その位置に基づいてオブジェクト１６とターゲット１７を区別する。この場合のカメラ１４ｎは、比較的広い視野（“ＦＯＶ”）を持つ好ましい高解像度カメラである。カメラ１４ｎの視野の中心は、主に、シーン１５内のオブジェクト１６に向けられている。ターゲット１７は、オブジェクト１６からある距離を取りつつ、カメラ１４の視野からはずれない位置に好ましく配置する。ターゲット１７に均一照明を供給する光源２０Ａは、シーン１５の中のターゲット１７が配置された部分に向ける。一方、立体照明を供給する光源２０Ｂは、シーン１５の中のオブジェクト１６が配置された部分に向ける。このように、均一照明は、ターゲット１７が配置された、カメラ１４ｎの視野の周辺部に限定し、一方で、立体照明は、シーン１５の中でターゲット１７から幾分距離を取った部分、すなわち、オブジェクト１６が配置された部分に限定する。その結果、画像処理サブシステム１３がシーン１５内のターゲット１７を容易に識別できるようになり、測定、仮想復元などの処理動作に有用な立体照明を適用しながら、最小限のノイズでターゲット１７の位置を特定できる。別の方法としては、均一照明の光源２０Ａをカメラ１４ｎの視野内に位置するシーン１５全体に向ける一方で、光源２０Ａの光度を立体照明の光源２０Ｂよりもかなり低く設定して、オブジェクト１６を主に立体光で照らすという方法もある。
【００２６】
ライティング条件／ターゲット表面技法に分類されるいずれかの特性に従って使用する光源２０は、従来のいかなるタイプの光源であっても、その光源から、必要な波長の照明、必要な方向に偏光した照明、あるいは、カメラの視野周辺部近辺の均一光とそれ以外の場所における立体光の必要なパターンを有する照明を供給し、前述した特性に関連する特徴を実現できるものであればよい。
【００２７】
別の方法として、システム１０は、コンピュータ制御のパターン発生装置、たとえば、コンピュータ制御されたＬＣＤ（液晶ディスプレイ）パターン発生装置、ＤＭＤ（デジタルマイクロミラーデバイス）などを利用して、シーン１５内のターゲット１７を含む部分に均一照明を供給し、シーン１５内のオブジェクト１６を含む部分に立体光を供給するように構成できる。この代替方法では、まず、パターン発生装置がシーン１５全体に均一光を供給し、カメラ１４ｎがシーン１５の一連の画像を記録する。画像処理サブシステム１３は、濃淡レベル、エッジ、形状を基準とした当業者に周知の従来の方法、またはその他を手法で、ターゲットとオブジェクトを区別できる。次に、画像処理サブシステム１３は、シーン１５内のターゲット１７の位置を特定し、ターゲット１７が存在するシーン１５の領域への均一光の供給の続行と、カメラ１４ｎの視野内に属する他の領域への立体光の供給をパターン発生装置で実現する。その後で、カメラ１４ｎは、２組目の一連の画像を記録できるようになる。この２組目の画像は、均一光に照らされたターゲット１７と、立体光に照らされたオブジェクト１６とを含むことになり、画像処理サブシステム１３で前述したように処理できる画像になる。ターゲット上の均一光の光度と、カメラ１４ｎの視野内に位置する他の部分の上の立体光の光度とをそれぞれ別のレベルに設定して、システムの動的範囲を効果的に利用することもできる。カメラ１４ｎが最初の一連の画像を記録してから２番目の一連の画像を記録するまでの間隔を短く設定する必要がないことは、最初の一連の画像は、シーン１５内のターゲットの位置を特定し、２番目の一連の画像のためにパターン発生装置を制御する目的でのみ必要とするものであることから理解できるであろう。
【００２８】
次に、本発明の別の特性について、図１を参照しながら説明する。カメラ１４ｎが十分に速い速度で連続画像を記録できる場合は、光線を分割する光学機構を用いる必要はない。また、画像をカラーで記録する必要も、ターゲット１７および光源に特殊な波長の照明や偏光方向を持つ照明を用意する必要もない。カメラ１４ｎが十分に速い速度で連続画像を記録できる場合、各カメラ１４ｎで記録する連続画像は、光源２０Ａがシーン１５を照らしているが光源２０Ｂはシーン１５を照らしていない状態で記録した１つの画像と、光源２０Ｂがシーン１５を照らしているが光源２０Ａはシーン１５を照らしていない状態で記録した別の画像で構成することができる。カメラ１４ｎが十分に高速で連続画像を記録でき、かつ、光源２０Ａおよび光源２０Ｂのオンとオフとを非常に短時間で切り換えられる場合は、１つの画像を記録してから次の画像を記録するまでの短時間の間におけるカメラ１４ｎ、オブジェクト１６、ターゲット１７のすべて、あるいはそのいずれかの動作は、実質的にはゼロであるような非常に僅かなものになる。一実施形態において、カメラ１４ｎは、非常に高速で画像を画像処理サブシステムに転送できるインタライントランスファＣＣＤセンサを利用する。これにより、各カメラ１４ｎは、非常に短い間隔、一般的には、マイクロセカンドのオーダーの間隔で、連続画像を記録できるようになる。このように、連続画像の間隔が非常に短くなると、リグ１１の機械振動またはオブジェクト１６の動きの大きさも、無視できるほど小さなものになる。
【００２９】
前述したように、本発明は、２種類に大別される機構を提供する。その内の２番目に分類される機構は、アルゴリズムを利用してターゲット１７を画像内のオブジェクト１６から識別および区別する一連の機構で構成したものである。アルゴリズムに分類される機構の有用性は、たとえば、ライティング条件／ターゲットの表面特性技法を利用できない場合に、アルゴリズム基準の技法をライティング条件／ターゲットの表面特性技法と共に採用できるという点にある。
【００３０】
アルゴリズムに分類される技法すべてに共通するのは、デジタルイメージングシステム１０において、カメラ１４ｎは、最初に２組の画像、すなわち、基準画像群と作業画像群を記録する点である。基準画像群を記録する時には、光源２０が均一照明でターゲット１７を照らす。オブジェクト１６には照明を当てないか、あるいは、ターゲット１７の応答性がより高くなるようにデジタルイメージングシステムを構成する。基準画像群ではオブジェクト１６に照明が当たっていないか、あるいは、オブジェクト１６に照明が当たっていても、その反応性を無視できる程度でオブジェクト１６を照らしながらオブジェクト１６が記録されるため、基準画像群の中にオブジェクト１６の画像は記録されない。ただし、ターゲット１７には均一照明が当たっているため、ターゲット１７の画像の位置は、基準画像群の各基準画像内で正確に特定でき、ひいては、ローカル座標系上のターゲットの位置も正確に割り出すことができる。作業画像群では、光源２０が、ターゲット１７とオブジェクト１６の両方を含めてシーン１５に立体照明を当てるが、この立体照明は、前述したように、各作業画像内のターゲット位置の特定にノイズを生じる可能性がある。画像処理サブシステム１３は、作業画像を使用して、ローカル座標系での測定、仮想復元物の生成などを従来の方法で実行する。一方、作業画像内のターゲット１７の画像は、通常、立体証明によって歪むため、画像処理サブシステム１３は、基準画像内のターゲット１７の画像を使用して、従来の方法でローカル座標系をグローバル座標系に対応付けて、作業画像ローカル座標系と基準画像のローカル座標系が同じになるようにする。ただし、基準画像に連携したローカル座標系は、作業画像に記録されたターゲットに関するローカル座標系と僅かに異なるため、画像処理サブシステム１３は、下記に説明するアルゴリズム技法を１つ以上使用して、各作業画像に記録されたターゲットの画像を配置し、基準画像のローカル座標系を作業画像のローカル座標系に対応させる変換を生成する。また、逆に、この変換を利用して、作業画像のローカル座標系とグローバル座標系の変換を決定することもできる。
【００３１】
カメラ１４ｎは基準画像と関連の作業画像とを比較的短い時間間隔で好ましく記録するため、対応するそれぞれのローカル座標系間の変換は比較的小規模なものになる。また、基準画像と関連の作業画像とを比較的短い時間間隔で記録する場合は、ターゲット１７の位置が２つの画像でほぼ同一になる。ただし、ターゲット１７の位置は完全な同一位置でなくてもよい。ターゲット１７の位置のずれは、デジタルイメージングシステム１０と、シーン１５内のオブジェクト１６とターゲット１６のいずれか、またはすべてによる何らかの動作、振動などが時間間隔の中で生じる可能性があることに起因する。基準画像群内の基準画像と作業画像群内の関連作業画像との間の変換にはこのような移動が考慮されている。
【００３２】
各作業画像と関連基準画像の間で行うような変換では、画像処理サブシステム１３は、複数のアルゴリズム技法からその１つ以上を利用して、基準画像内のターゲット画像の位置を正確に特定し、基準画像と作業画像の間に見られるようなターゲット１７の各位置間の関係を求める。アルゴリズムに分類される技法すべてにおいて、画像処理サブシステム１３は、基準画像内のターゲット１７の画像を特定した後で、基準画像内の各ターゲット画像に対応する位置付近の作業画像内の領域にマスクを設定する。この動作において、画像処理サブシステム１３は、基準画像／作業画像ペアの基準画像を使用して、基準画像内のターゲットの画像によって規定されるマスクを生成する。マスクの各要素はそれぞれターゲットの中心に配置され、サイズはそれぞれ各ターゲットのサイズに対する選択した比率で設定される。このマスクを使用して、アルゴリズムに分類される任意の技法で処理する作業画像の領域を定義する。したがって、マスク要素のサイズは、作業画像内のターゲット１７の画像を好ましく含む一方で、作業画像内のオブジェクト１６の画像を排除した大きさになる。
【００３３】
アルゴリズムに属する一特性において、両方の画像はピクセルで構成される。また、画像処理サブシステム１３は、基準画像内のターゲット１７の画像を構成するピクセルを特定した後、作業画像と基準画像との間でピクセルごとの対比を実行できるため、対応する画像内の各ピクセルの対応位置が決定される。画像処理サブシステム１３は、基準画像内のターゲット１７と作業画像内のターゲット１７についてその位置を識別した後、従来の方法でその位置どうしを変換できる。
【００３４】
アルゴリズムに分類される技法の別の特性において、画像処理サブシステム１３は、基準画像内の各ターゲット画像の位置と相対的に同位置になる位置近辺の作業画像内の領域で最小四角形すり合わせを実行する。一連の作業画像内でターゲットの位置を特定した後、画像処理サブシステム１３は、特定した位置と基準画像内の各ターゲットの位置を利用して、作業画像と基準画像との間の変換処理を決定する。
【００３５】
アルゴリズムに分類される技法の更に別の特性において、画像処理サブシステム１３は、基準画像内のターゲット画像のエッジを検出して、各基準画像内の各ターゲット１７の画像のエッジと、各作業画像内の対応するターゲット１７の画像のエッジまたはその一部と、の間の対応関係を検索する。画像処理サブシステム１３は、基準画像内の各ターゲット１７の画像に関して、まず、基準画像内のエッジの輪郭を求める。次に、画像処理サブシステム１３は、作業画像内で、作業画像内の画像のエッジに対するピクセルごとの検索を実行する。一連の作業画像内でターゲットの位置を特定した後、画像処理サブシステム１３は、特定した位置と基準画像内の各ターゲットの位置とを使用して作業画像と基準画像の間の変換処理を決定する。
【００３６】
アルゴリズムに分類される技法の更に別の特性において、画像処理サブシステム１３は、距離変換技法を使用する。この距離変換技法では、画像処理サブシステム１３は、まず、従来の任意の手法、たとえば、前述した検索技法を含む手法を用いて、作業画像内でターゲット１７の画像の位置を特定する。その後、画像処理サブシステム１３は、作業画像を処理して、ターゲット１７の画像のエッジを構成するピクセルから作業画像内の各ピクセルまでの最小距離を求め、新しい画像を作成する。新たに作成された画像では、基準画像内の特徴が作業画像内の特徴の比較的近くに位置する領域が相対的に暗くなる。ただし、基準画像内に存在する唯一の特徴はターゲット１７の画像であり、また、基準画像内のターゲット１７の画像と作業画像内のターゲット１７の画像は、通常、２つの画像内の位置がほぼ同一になるため、発生する可能性がより高いのは、新しい画像では、作業画像内および基準画像内にある各ターゲットの画像位置に近い領域が相対的に明るくなり、作業画像内のオブジェクト１６の画像の位置に対応する新しい画像内の領域は相対的に明るくはならないという状態である。画像処理サブシステム１３は、次に、作業画像ではなく、新しい「距離マップ」画像を使用して、作業画像と基準画像を対応付ける変換を生成する。
【００３７】
アルゴリズムに分類される技法のまた別の特性に係る一実施形態において、ターゲット１７は、通常、ある面と直行する方向から見た時に、円形または楕円形である。また、その円形面と直交しない方向からターゲットを見た場合、またはターゲットの画像を記録した場合、ターゲットは楕円として顕現する。したがって、この技法では、画像処理サブシステム１３は、形状のすり合せ技法を利用して、基準画像内のターゲット画像の輪郭を求める。この技法に係る画像処理サブシステム１３は、まず、基準画像を処理して基準画像内のターゲット画像それぞれの形状を求める。その後、画像処理サブシステム１３は、作業画像内の対応するターゲット画像のエッジを利用して、既に作成した形状に対する最もよい適合状態を提供する作業画像内の位置の探索を試みる。最適な適合を提供する位置の探索で、画像処理サブシステム１３は、ターゲット１７の画像のエッジが前述した形状と最もよく対応する位置を決定する。形状に対する最適な適合を提供する作業画像内の位置は、作業画像内のターゲット画像の位置であると想定される。画像処理サブシステム１３は、同様の方法で、各作業画像内で各ターゲット１７の画像の位置を特定し、基準画像と作業画像の両方で得られた位置を使用して変換処理を決定できる。ターゲットの表面が別の形状、たとえば、円形、長方形、または楕円形などである場合においても、画像処理サブシステム１３は、同様の処理を実行して、作業画像内でターゲットを包含する最小の形状、たとえば四辺形の形状を求め、その後、作業画像に関する該当の処理を実行できる。
【００３８】
ターゲットの画像は、画像の記録時に供給された立体照明によって作業画像内で歪んでいる場合があるため、ターゲットの画像の一部またはターゲットの画像のエッジが作業画像から失われている可能性がある。画像処理サブシステム１３が、該当するターゲット１７の画像のエッジを作業画像内で特定した後、アルゴリズムに分類される別の実施形態では、２つの画像のエッジの輪郭を呼応させる程度を表す加重値を生成できる。したがって、作業画像内のターゲット１７の画像、あるいはそのエッジが立体照明によってあまり大きくは歪められていない場合は、前述の加重値が比較的高くなり、一方、画像のエッジが大幅に歪んでいる場合は、加重値が比較的低くなる。次に、画像処理サブシステム１３は、各画像に生成された加重値で重み付けした、作業画像内および基準画像内のターゲットの画像を利用して、画像間の変換処理を決定する。基準画像群内のターゲット画像と作業画像群内のターゲット画像との間に計算される変換は、アフィン変換である。この変換は、シーン内のターゲットすべての剛的動作を考慮している点で独特の変換であるが、ターゲットそれぞれに関する個別の変換ではない。
【００３９】
画像処理サブシステム１３が前述の技法に従って実行する動作のフローチャートを図３から図７に示す。図示した動作は前述の説明で明らかにしてあるので、フローチャートの詳細説明は省略する。
【００４０】
本発明はいくつかの利点を提供するが、特に、本発明は、オブジェクト１６に立体照明を供給しながらシーン１５内のオブジェクト１６およびターゲット１７の画像を記録できると同時に、立体照明の利用に伴って生じる可能性がある画像内のターゲットの位置に関するノイズを削減あるいは除去できるという利点を提供する。
【００４１】
画像処理サブシステムについて、作業画像群と基準画像群との間に変換を生成するとして説明した。この変換を利用して、作業画像群のローカル座標系をグローバル座標系に変換できるが、代わりに、基準画像群を利用して求めたように、作業画像群を構成する画像内のターゲットの位置を用いて、作業画像群のローカル座標系とグローバル座標系の間の変換を直接的に決定できることは理解されるであろう。
【００４２】
また、本発明に係るシステムは、その全体または一部を、特殊目的のハードウェア、一般目的のコンピュータシステム、あるいはその任意の組み合わせで構成できると共に、システム各部は、適切なプログラムで制御できることも理解できるであろう。任意のプログラムの全部または一部が、従来の方法で、このシステムの一部を構成してもよく、あるいはシステムに格納されてもよい。また、そのプログラムの全部または一部を、ネットワークまたは従来の方法で情報を転送する他の機構からシステムに提供してもよい。更に、このシステムの操作と制御の少なくとも一方を、オペレータ入力部品（図示せず）を使用してオペレータが提供した情報に基づいて実行してもよい。その場合、オペレータ入力部品は、直接システムと接続してもよいが、ネットワークまたは従来の方法で情報を転送する他の機構からシステムに情報を転送してもよい。
【００４３】
前述した説明は、本発明の特定の実施形態に限定されたものであるが、本発明の利点すべてまたはその一部を達成しつつ、本発明を種々に変更および修正できることは理解されるであろう。添付の請求項は、本発明の精神と範囲とにそれることのない変更またはその他の修正をも保護するものである。
【図面の簡単な説明】
本発明は、特に、添付の請求項によって規定されるものである。また、本発明の前述した利点および後述する利点は、付属の図面を参照した後述の説明によってより明確に理解されるであろう。
【図１】本発明に従って構築したデジタルイメージングシステムの概略図である。
【図２】図１に示すデジタルイメージングシステムの一実施形態において利用するカメラの概略図である。
【図３】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
【図４】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
【図５】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
【図６】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
【図７】本発明に係るデジタルイメージングシステムの各実施形態において実行する動作を記述したフローチャートである。
Claims (49)
- デジタルイメージングシステムであって、
Ａ．少なくとも１個のオブジェクトと、少なくとも１個のターゲットと、を含む１シーンの少なくとも１画像を記録する装置として構成された画像記録装置と、
Ｂ．前記シーンに照明を当てるために設けられたシーン照明設備であって、該シーンを照らして、前記少なくとも１個のオブジェクトと少なくとも１個のターゲットの区別を円滑に行えるようにするシーン照明設備と、
Ｃ．画像処理サブシステムであって、前記少なくとも１画像を処理して、該少なくとも１画像内で、前記少なくとも１個のターゲットの画像の位置を識別することによって、前記画像記録装置が該シーンの少なくとも１画像を記録した位置に連携したローカル座標系をグローバル座標系に対応付けることを円滑化する画像処理サブシステムと、
を備えることを特徴とするデジタルイメージングシステム。 - 請求項１に記載のデジタルイメージングシステムであって、
Ａ．前記少なくとも１個のターゲットは、選択された波長の光を反射するように構成された表面を有し、
Ｂ．前記シーン照明設備は、前記選択された波長の照明で該シーンを照らすように構成し、
Ｃ．前記画像処理サブシステムは、前記少なくとも１個のターゲットの画像の位置を、該少なくとも１個のターゲットの表面で反射した波長の光の画像を表す領域についての少なくとも１画像内の位置として識別するように構成することを特徴とするデジタルイメージングシステム。 - 請求項２に記載のデジタルイメージングシステムであって、前記シーン照明設備は、前記選択された波長の均一光で該シーンを照らすように構成することを特徴とするデジタルイメージングシステム。
- 請求項３に記載のデジタルイメージングシステムであって、前記選択された波長は、１つの波長帯を構成することを特徴とするデジタルイメージングシステム。
- 請求項２に記載のデジタルイメージングシステムであって、前記シーン照明設備は、更に、前記少なくとも１個のターゲットで反射しない更なる別波長の立体照明で該シーンを照らすように構成することを特徴とするデジタルイメージングシステム。
- 請求項５に記載のデジタルイメージングシステムであって、前記更なる別波長は１つの波長帯を構成し、該波長帯は、前記選択された波長と重ならないことを特徴とするデジタルイメージングシステム。
- 請求項１に記載のデジタルイメージングシステムであって、
Ａ．前記少なくとも１個のターゲットは、選択された波長の光を反射するように構成された表面を有し、
Ｂ．前記シーン照明設備は、前記選択された波長の均一照明と、少なくとも１つの別波長の立体照明と、で該シーンを照らすように構成し、
Ｃ．前記画像記録装置は、２画像であって、（ｉ）該２画像の一方は、前記シーン照明設備が前記選択された波長の光で該シーンを照らしている時に記録された画像で、（ｉｉ）該２画像のもう一方は、前記シーン照明設備が前記少なくとも１つの別波長の光で該シーンを照らしている時に記録された画像である２画像を記録する装置として構成することを特徴とするデジタルイメージングシステム。 - 請求項７に記載のデジタルイメージングシステムであって、前記画像記録装置は、ビーム分配機構であって、前記シーンから反射して入射した光を２つの部分に分割するビーム分配機構と、２個のフィルタであって、各フィルタがそれぞれ個別の波長の光を露光して画像記録媒体に送る２個のフィルタと、を含むことを特徴とするデジタルイメージングシステム。
- 請求項１に記載のデジタルイメージングシステムであって、
Ａ．前記シーン照明設備は、選択された個別の偏光方向を有する照明であって、１つの偏光方向の照明が均一照明で、他の偏光方向の照明が立体照明である照明で、該シーンを照らすように構成し、
Ｂ．前記少なくとも１個のターゲットは、入射した照明を、前記偏光方向を保持した状態で反射するように構成された表面を備え、前記少なくとも１個のオブジェクトは、入射した照明を、前記偏光方向を保持しない状態で反射するように構成された表面を備え、
Ｃ．前記画像記録装置は、前記少なくとも１個のターゲットの画像が、該ターゲットの表面に入射した均一照明を反射している状態で、該シーンの画像を記録する装置として構成し、
Ｄ．前記画像処理サブシステムは、前記画像記録装置で記録されたターゲットの画像の均一性を参照して、前記少なくとも１個のターゲットの画像の位置を識別するように構成することを特徴とするデジタルイメージングシステム。 - 請求項９に記載のデジタルイメージングシステムであって、
Ａ．前記シーン照明設備は、前記均一照明を第１の選択方向に向け、前記立体照明を前記第１の選択方向と垂直な第２の選択方向に向けて該シーンを照らすように構成し、
Ｂ．前記第１の選択方向の照明を画像記録媒体に送る偏光機構を前記画像記録装置に設けて、前記少なくとも１個のターゲットの表面から反射した立体照明が、前記画像記録媒体で記録する画像内に描写されないことを確実に実現することを特徴とするデジタルイメージングシステム。 - 請求項１に記載のデジタルイメージングシステムであって、
Ａ．前記少なくとも１個のターゲットは、該シーン内で、前記少なくとも１個のオブジェクトの位置と重ならない位置に配置し、
Ｂ．前記シーン照明設備は、前記少なくとも１個のターゲットを配置した前記シーンの少なくとも１領域に均一照明を供給し、前記少なくとも１個のオブジェクトを配置した該シーンの少なくとも１部分に立体照明を供給するように構成し、
Ｃ．前記画像処理サブシステムは、前記画像記録装置で記録されたターゲットの画像の均一性を参照して、前記少なくとも１個のターゲットの画像の位置を識別するように構成することを特徴とするデジタルイメージングシステム。 - 請求項１１に記載のデジタルイメージングシステムであって、
Ａ．前記シーン照明設備は、均一照明と立体照明とを供給するように構成し、
Ｂ．前記画像処理サブシステムは、（ｉ）前記シーン照明設備が前記シーンを均一照明で照らし、かつ、前記画像記録装置が該シーンの第１画像を記録することを許可し、記録された第１画像を用いて、該シーン内の前記少なくとも１個のターゲットの位置を特定し、（ｉｉ）その後、前記シーン照明設備が、前記少なくとも１個のターゲットを配置した該シーン内の１部分を均一照明、少なくとも１個の該シーンの他部分を立体照明で照らし、かつ、前記画像記録装置が、該シーンの第２画像を記録することを許可し、記録された第２画像を用いて、該シーン内の少なくとも１個のターゲットの位置を特定することによって、前記画像記録装置が該シーンの第２画像を記録した位置に連携したローカル座標系をグローバル座標系に対応付けることを円滑化するシステムとして構成することを特徴とするデジタルイメージングシステム。 - 請求項１２に記載のデジタルイメージングシステムであって、前記シーン照明設備は、パターン発生器であって、前記シーンの少なくとも１部分に対する均一照明と、該シーンの少なくとも１箇所の第２部分に対する立体照明と、を選択的に生成するパターン発生器を含むことを特徴とするデジタルイメージングシステム。
- 請求項１に記載のデジタルイメージングシステムであって、
Ａ．前記画像記録装置は、前記シーンについて、比較的短い時間間隔で分離された各時点の連続画像を記録するように構成し、
Ｂ．前記シーン照明設備は、前記画像記録装置が前記連続画像の１組を記録する時に、少なくとも、前記少なくとも１個のターゲットを均一照明で照らし、前記画像記録装置が前記連続画像の別の１組を記録する時に、前記少なくとも１個のオブジェクトを立体照明で照らすように構成することを特徴とするデジタルイメージングシステム。 - 請求項１に記載のデジタルイメージングシステムであって、
Ａ．前記シーン照明設備は、均一照明と立体照明とを供給する機構として構成し、
Ｂ．前記画像処理サブシステムは、（ｉ）前記シーン照明設備が前記シーンを均一照明で照らし、かつ、前記画像記録装置が該シーンの基準画像を記録することを許可して、前記基準画像内で少なくとも１個のターゲットの位置を特定し、（ｉｉ）前記シーン照明設備が前記シーンを立体照明で照らし、前記画像記録装置が該シーンの作業画像を記録することを許可し、（ｉｉｉ）前記基準画像内の前記少なくとも１個のターゲットの位置を使用して、前記作業画像内で該少なくとも１個のターゲットの位置を特定することを特徴とするデジタルイメージングシステム。 - 請求項１５に記載のデジタルイメージングシステムであって、前記画像処理サブシステムは、選択された検索手法を利用し、前記検索手法において、前記画像処理サブシステムは、前記基準画像内の少なくとも１個のターゲットの位置に近い、前記作業画像の少なくとも１領域を検索して、該作業画像内の少なくとも１個のターゲットの位置を特定することを特徴とするデジタルイメージングシステム。
- 請求項１６に記載のデジタルイメージングシステムであって、前記選択された検索手法において、前記画像処理サブシステムは、前記基準画像の少なくとも１個のターゲットのエッジの位置に近い、前記作業画像の少なくとも１領域を検索して、該作業画像内の少なくとも１個のターゲットの位置を特定することを特徴とするデジタルイメージングシステム。
- 請求項１６に記載のデジタルイメージングシステムであって、前記少なくとも１個のターゲットは、選択された形状を持ち、該選択された形状は、前記検索手法に反映されることを特徴とするデジタルイメージングシステム。
- 請求項１６に記載のデジタルイメージングシステムであって、前記選択された検索手法において、前記画像処理サブシステムは、前記少なくとも１個のターゲットの少なくとも１エッジを、前記基準画像内および前記作業画像内で検出して、基準画像と作業画像の間の距離変換処理を実行し、作業画像内の少なくとも１個のターゲットの位置を特定することを特徴とするデジタルイメージングシステム。
- 請求項１６に記載のデジタルイメージングシステムであって、前記選択された検索手法において、前記画像処理サブシステムは、前記少なくとも１個のターゲットのエッジを、前記基準画像群内および前記作業画像群内で検出して、該基準画像群内のターゲット画像の輪郭形状を特定し、該輪郭形状と、該作業画像郡内のターゲット画像のエッジとの最適突合せを実行することによって、該作業画像内の少なくとも１個のターゲットの位置を特定することを特徴とするデジタルイメージングシステム。
- 請求項１６に記載のデジタルイメージングシステムであって、前記選択された検索手法は、最小四角形突合せ手法であることを特徴とするデジタルイメージングシステム。
- 請求項１６に記載のデジタルイメージングシステムであって、前記画像処理サブシステムは、更に、前記基準画像内のターゲットの画像を表すマスクを生成し、更に、該マスクを使用して、前記選択された検索手法を実行する対象である作業画像内の領域を規定することを特徴とするデジタルイメージングシステム。
- 請求項２２に記載のデジタルイメージングシステムであって、前記マスクは、基準画像内のターゲットのサイズに対して選択した割合となるマスク要素を含み、該マスク要素は、画像処理サブシステムが前記選択された検索手法を実行する対象である作業画像内の領域を定義することを特徴とするデジタルイメージングシステム。
- 請求項１５に記載のデジタルイメージングシステムであって、前記画像処理サブシステムは、更に、基準画像と作業画像との間の変換処理を決定することによって、前記画像記録装置が前記シーンの作業画像を記録した位置に連携したローカル座標系をグローバル座標系に対応付けることを円滑化するように構成することを特徴とするデジタルイメージングシステム。
- デジタルイメージング方法であって、
Ａ．少なくとも１個のオブジェクトと、少なくとも１個のターゲットとを含むシーンに照明を当てて、前記少なくとも１個のオブジェクトと少なくとも１個のターゲットの区別を円滑に行えるようにするシーン照明ステップと、
Ｂ．該シーンの少なくとも１画像を記録する画像記録ステップと、
Ｃ．該少なくとも１画像を処理して、該少なくとも１画像内の前記少なくとも１個のターゲットの画像の位置を識別することによって、画像記録装置が該シーンの前記少なくとも１個の画像を記録した位置に連携したローカル座標系をグローバル座標系に対応付けることを円滑化する画像処理ステップと、
を含むことを特徴とするデジタルイメージング方法。 - 請求項２５に記載のデジタルイメージング方法であって、
Ａ．前記少なくとも１個のターゲットは、選択された波長の光を反射するように構成された表面を有し、
Ｂ．前記シーン照明ステップは、該選択された波長の光で前記シーンを照らすステップを含み、
Ｃ．前記画像処理ステップは、前記少なくとも１個のターゲットの画像の位置を、前記少なくとも１個のターゲットの表面で反射した波長の光の画像を表す領域の少なくとも１画像内の位置として識別するステップを含むことを特徴とするデジタルイメージング方法。 - 請求項２６に記載のデジタルイメージング方法であって、前記シーン照明ステップは、前記選択された波長の均一光で前記シーンを照らすステップを含むことを特徴とするデジタルイメージング方法。
- 請求項２７に記載のデジタルイメージング方法であって、前記選択された波長は、１つの波長帯を構成することを特長とするデジタルイメージング方法。
- 請求項２６に記載のデジタルイメージング方法であって、前記シーン照明ステップは、前記少なくとも１個のターゲットで反射しない更なる別波長の立体照明で前記シーンを照らすステップを含むことを特徴とするデジタルイメージング方法。
- 請求項２９に記載のデジタルイメージング方法であって、前記更なる別波長は１つの波長帯を構成し、該波長帯は、前記選択された波長と重ならないことを特徴とするデジタルイメージング方法。
- 請求項２５に記載のデジタルイメージング方法であって、
前記少なくとも１個のオブジェクトと少なくとも１個のターゲットは、それぞれ、選択された個別波長の光を反射するように構成された表面を有し、
Ａ．前記シーン照明ステップは、前記選択された個別波長の照明で前記シーンを照らすステップを含み、
Ｂ．前記画像処理ステップは、前記少なくとも１個のターゲットの画像の位置を、前記少なくとも１個のターゲットの表面で反射した波長の光の画像を表す領域についての少なくとも１画像内の位置として識別するステップを含むことを特徴とするデジタルイメージング方法。 - 請求項２５に記載のデジタルイメージング方法であって、
前記少なくとも１個のオブジェクトと少なくとも１個のターゲットは、それぞれ、選択された個別波長の光を反射するように構成された表面を有し、
Ａ．前記シーン照明ステップは、前記選択された個別波長の照明で前記シーンを照らすステップを含み、
Ｃ．前記画像記録ステップは、２画像であって、（ｉ）該２画像の一方は、前記ターゲットの表面で反射するように設定された波長の光の画像で、（ｉｉ）該２画像のもう一方は、前記オブジェクトの表面で反射するように設定された波長の光の画像である２画像を記録するステップを含むことを特徴とするデジタルイメージング方法。 - 請求項３２に記載のデジタルイメージング方法であって、前記画像記録ステップは、
Ａ．前記シーンから反射した光を２つの部分に分割するステップと、
Ｂ．各部分を濾光して、前記個別波長の中の１波長の光を画像記録媒体に送れるようにするステップを含むことを特徴とするデジタルイメージング方法。 - 請求項２５に記載のデジタルイメージング方法であって、
前記少なくとも１個のターゲットは、入射した照明を、偏光方向を保持した状態で反射するように構成された表面を備え、前記少なくとも１個のオブジェクトは、入射した照明を、偏光方向を保持しない状態で反射するように構成された表面を備え、
Ａ．前記シーン照明ステップは、選択された個別の偏光方向を有する照明であって、１つの偏光方向の照明が均一照明で、他の偏光方向の照明が立体照明である照明で前記シーンを照らすステップを含み、
Ｂ．前記画像記録ステップは、前記少なくとも１個のターゲットの画像が、該ターゲットの表面に入射した均一照明を反射している状態で、該シーンの画像を記録するステップを含み、
Ｃ．前記画像処理ステップは、前記画像記録装置で記録されたターゲットの画像の均一性を参照して、前記少なくとも１個のターゲットの画像の位置を識別するステップを含むことを特徴とするデジタルイメージング方法。 - 請求項３４に記載のデジタルイメージング方法であって、
Ａ．前記シーン照明ステップは、前記均一照明を第１の選択方向に向け、前記立体照明を第１の選択方向と垂直な第２の選択方向に向けて、前記シーンを照らすステップを含み、
Ｂ．前記画像記録ステップは、前記第１の選択方向の照明を画像記録媒体に送る偏光ステップを含むことにより、前記少なくとも１個のターゲットの表面から反射した立体照明が、前記画像記録媒体で記録される画像内に描写されないことを確実に実現することを特徴とするデジタルイメージング方法。 - 請求項３４に記載のデジタルイメージング方法であって、
前記少なくとも１個のターゲットは、前記シーン内で前記少なくとも１個のオブジェクトの位置と重ならない位置に配置され、
Ａ．前記シーン照明ステップは、前記少なくとも１個のターゲットを配置した前記シーンの少なくとも１領域に均一照明を供給し、前記少なくとも１個のオブジェクトを配置した該シーンの少なくとも１部分に立体照明を供給するステップを含み、
Ｂ．前記画像処理ステップは、前記画像記録装置で記録されたターゲットの画像の均一性を参照して、前記少なくとも１個のターゲットの画像の位置を識別するステップを含むことを特徴とするデジタルイメージング方法。 - 請求項３６に記載のデジタルイメージング方法であって、
Ａ．最初に、
（ｉ）前記シーン照明ステップに関して、均一照明で前記シーンを照らし、
（ｉｉ）前記画像記録ステップに関して、該シーンの第１画像を記録し、
（ｉｉｉ）前記画像処理ステップに関して、前記第１画像を使用して、該シーン内の前記少なくとも１個のターゲットの位置を特定し、
Ｂ．次に、
（ｉ）前記シーン照明ステップに関して、前記少なくとも１個のターゲットを配置した該シーンの部分を均一照明で、該シーンの少なくとも１箇所の他の部分を立体照明で照らし、
（ｉｉ）前記画像記録ステップに関して、該シーンの第２画像を記録し、
（ｉｉｉ）前記画像処理ステップに関して、前記第２画像を使用して、該シーン内の少なくとも１個のターゲットの位置を特定することによって、前記画像記録装置が該シーンの第２画像を記録した位置に連携したローカル座標系をグローバル座標系に対応付けることを円滑化することを特徴とするデジタルイメージング方法。 - 請求項３７に記載のデジタルイメージング方法であって、前記シーン照明ステップは、パターン発生器であって、前記シーンの少なくとも１部分に対する均一照明と、該シーンの少なくとも１箇所の第２部分に対する立体照明と、を選択的に生成するパターン発生器を含むことを特徴とするデジタルイメージング方法。
- 請求項２５に記載のデジタルイメージング方法であって、
Ａ．前記画像記録ステップは、前記シーンについて、比較的短い時間間隔で分離された各時点の連続画像を記録するステップを含み、
Ｂ．前記シーン照明ステップは、前記連続画像の１組が記録される時に、少なくとも、前記少なくとも１個のターゲットを均一照明で照らし、前記連続画像の別の１組が記録される時に、前記少なくとも１個のオブジェクトを立体照明で照らすステップを含むことを特徴とするデジタルイメージング方法。 - 請求項２５に記載のデジタルイメージング方法であって、
Ａ．前記シーン照明ステップは、均一照明と立体照明とを供給するステップを含み、
Ｂ．前記シーン照明ステップに関して、前記シーンを均一照明で照らし、
（ｉ）前記画像記録ステップに関して、該シーンの基準画像を記録し、
（ｉｉ）前記画像処理ステップに関して、該基準画像を使用して、該シーン内の前記少なくとも１個のターゲットの位置を特定し、
Ｃ．前記シーン照明ステップに関して、該シーンを立体照明で照らし、
（ｉ）前記画像記録ステップに関して、該シーンの作業画像を記録し、
（ｉｉ）前記画像処理ステップに関して、該基準画像内の少なくとも１個のターゲットの位置を使用して、該作業画像内の少なくとも１個のターゲットの位置を特定することを特徴とするデジタルイメージング方法。 - 請求項４０に記載のデジタルイメージング方法であって、前記画像処理ステップは、選択された検索手法を使用するステップを含み、前記検索手法において、作業画像の少なくとも１領域について、基準画像内の少なくとも１個のターゲットの位置近くに相当する領域を検索し、該作業画像の少なくとも１個のターゲットの位置を特定することを特徴とするデジタルイメージング方法。
- 請求項４１に記載のデジタルイメージング方法であって、前記選択された検索手法において、検索は、前記基準画像内の少なくとも１個のターゲットのエッジの位置に近い、作業画像の少なくとも１領域内で実行されることを特徴とするデジタルイメージング方法。
- 請求項４１に記載のデジタルイメージング方法であって、前記少なくとも１個のターゲットは、選択された形状を有し、該選択された形状は、前記検索手法に反映されることを特徴とするデジタルイメージングシステム。
- 請求項４１に記載のデジタルイメージング方法であって、前記選択された検索手法において、前記画像処理ステップは、前記基準画像内および前記作業画像内の少なくとも１個のターゲットの少なくとも１エッジを検出して、作業画像と基準画像の間の距離変換処理を実行し、前記作業画像内の少なくとも１個のターゲットの位置を特定することを特徴とするデジタルイメージング方法。
- 請求項４１に記載のデジタルイメージング方法であって、前記選択された検索手法において、画像処理方法は、基準画像内および作業画像内の少なくとも１個のターゲットのエッジを検出して、基準画像群内のターゲット画像の輪郭形状を特定し、該輪郭形状と、該作業画像郡内のターゲット画像のエッジとの最適突合せを実行することによって、該作業画像内の少なくとも１個のターゲットの位置を特定するステップを含むことを特徴とするデジタルイメージング方法。
- 請求項４１に記載のデジタルイメージング方法であって、前記選択された検索手法は、最小四角形突合せ手法であることを特徴とするデジタルイメージング方法。
- 請求項４０に記載のデジタルイメージング方法であって、前記画像処理ステップは、前記基準画像内のターゲットの画像を表すマスクを生成するステップと、該マスクを使用して、前記選択された検索手法が実行される作業画像内の領域を規定することを特徴とするデジタルイメージング方法。
- 請求項４７に記載のデジタルイメージング方法であって、前記マスクは、基準画像内のターゲットのサイズに対して選択した割合となるマスク要素を含み、該マスク要素は、前記選択された検索手法が実行される作業画像内の領域を定義することを特徴とするデジタルイメージング方法。
- 請求項４０に記載のデジタルイメージング方法であって、更に、基準画像と作業画像との間の変換処理を決定するステップを含むことによって、前記画像記録装置が前記シーンの作業画像を記録した位置に連携したローカル座標系をグローバル座標系に対応付けることを円滑化することを特徴とするデジタルイメージング方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US22853300P | 2000-08-28 | 2000-08-28 | |
| PCT/IB2001/001982 WO2002019687A2 (en) | 2000-08-28 | 2001-08-28 | Accurately aligning images in digital imaging systems by matching points in the images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004518947A true JP2004518947A (ja) | 2004-06-24 |
| JP2004518947A5 JP2004518947A5 (ja) | 2008-10-16 |
Family
ID=22857564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002523852A Withdrawn JP2004518947A (ja) | 2000-08-28 | 2001-08-28 | 画像内の突合せ点を用いたデジタルイメージングシステムの精密位置合わせ画像 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7006086B2 (ja) |
| EP (1) | EP1330790B1 (ja) |
| JP (1) | JP2004518947A (ja) |
| AT (1) | ATE387685T1 (ja) |
| CA (1) | CA2420866A1 (ja) |
| DE (1) | DE60133026T2 (ja) |
| ES (1) | ES2302750T3 (ja) |
| WO (1) | WO2002019687A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017516089A (ja) * | 2014-04-30 | 2017-06-15 | ホリバ ジョヴァン イボン エスアーエス | 試料のエッチング深さをその場（ｉｎ ｓｉｔｕ）測定するためのグロー放電分光分析の方法およびシステム |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7678390B2 (en) | 1999-04-01 | 2010-03-16 | Yale University | Carbon monoxide as a biomarker and therapeutic agent |
| US7053908B2 (en) * | 2001-04-12 | 2006-05-30 | Polaroid Corporation | Method and apparatus for sensing and interpolating color image data |
| US20050168465A1 (en) * | 2003-09-24 | 2005-08-04 | Setsuji Tatsumi | Computer graphics system, computer graphics reproducing method, and computer graphics program |
| DE112005002690B4 (de) * | 2004-11-01 | 2013-05-29 | Cognitens Ltd. | Verfahren und System zur optischen Kantenbestimmung |
| EP1848984A1 (en) * | 2005-01-31 | 2007-10-31 | Cognitens Ltd. | Method and system for illumination adjustment |
| US20080317313A1 (en) * | 2005-09-30 | 2008-12-25 | Ut-Battelle, Llc | System and method for tracking motion for generating motion corrected tomographic images |
| US20070152157A1 (en) * | 2005-11-04 | 2007-07-05 | Raydon Corporation | Simulation arena entity tracking system |
| US20080151194A1 (en) * | 2006-01-31 | 2008-06-26 | Avner Segev | Method and System for Illumination Adjustment |
| TWI306572B (en) * | 2006-02-15 | 2009-02-21 | Pixart Imaging Inc | Light pointing device and light tracking receiver having function selection key and system using the same |
| KR100809533B1 (ko) * | 2006-09-21 | 2008-03-04 | 삼성중공업 주식회사 | 공간의 정밀 계측을 위한 글로벌 좌표 생성방법 |
| US20080306708A1 (en) * | 2007-06-05 | 2008-12-11 | Raydon Corporation | System and method for orientation and location calibration for image sensors |
| US7880798B2 (en) * | 2008-09-09 | 2011-02-01 | Electro Scientific Industries, Inc. | Apparatus and method for optically converting a three-dimensional object into a two-dimensional planar image |
| US20130002598A1 (en) * | 2011-06-30 | 2013-01-03 | Victor Phay Kok Heng | Circuits and Methods for Tracking Multiple Objects Relative to a Touch-Sensitive Interface |
| US9141868B2 (en) | 2012-06-26 | 2015-09-22 | Xerox Corporation | Contemporaneously reconstructing images captured of a scene illuminated with unstructured and structured illumination sources |
| US9155475B2 (en) * | 2012-06-26 | 2015-10-13 | Xerox Corporation | Enabling hybrid video capture of a scene illuminated with unstructured and structured illumination sources |
| US9344569B2 (en) | 2012-12-04 | 2016-05-17 | Genesys Telecommunications Laboratories, Inc. | System and method for addition and removal of servers in server cluster |
| JP6560366B2 (ja) * | 2016-01-06 | 2019-08-14 | 富士フイルム株式会社 | 構造物の部材特定装置及び方法 |
| DE102017109854A1 (de) * | 2017-05-08 | 2018-11-08 | Wobben Properties Gmbh | Verfahren zur Referenzierung mehrerer Sensoreinheiten und zugehörige Messeinrichtung |
| US11095854B2 (en) | 2017-08-07 | 2021-08-17 | Verizon Patent And Licensing Inc. | Viewpoint-adaptive three-dimensional (3D) personas |
| US10460515B2 (en) * | 2017-08-07 | 2019-10-29 | Jaunt, Inc. | Systems and methods for reference-model-based modification of a three-dimensional (3D) mesh data model |
| US10625824B2 (en) * | 2018-01-13 | 2020-04-21 | Thomas Frizlen | Method and system for determining displacement of an anchor |
| WO2020140210A1 (en) * | 2019-01-02 | 2020-07-09 | Hangzhou Taro Positioning Technology Co., Ltd. | Automated film-making using image-based object tracking |
| JP7310835B2 (ja) * | 2019-01-23 | 2023-07-19 | 株式会社ソシオネクスト | カメラ情報算出装置、システム、カメラ情報算出方法およびプログラム |
| CN113758918B (zh) * | 2020-06-04 | 2024-02-27 | 成都数字天空科技有限公司 | 一种基于无人机系统的材质确定方法和装置 |
| US20220245291A1 (en) * | 2021-02-02 | 2022-08-04 | Baya Inc. | Apparatus, system and method for three-dimensional (3d) modeling with a plurality of linked metadata feeds |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5016282A (en) * | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
| GB9405299D0 (en) * | 1994-03-17 | 1994-04-27 | Roke Manor Research | Improvements in or relating to video-based systems for computer assisted surgery and localisation |
| US5644386A (en) * | 1995-01-11 | 1997-07-01 | Loral Vought Systems Corp. | Visual recognition system for LADAR sensors |
| US6016147A (en) * | 1995-05-08 | 2000-01-18 | Autodesk, Inc. | Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device |
| US5835241A (en) * | 1996-05-30 | 1998-11-10 | Xerox Corporation | Method for determining the profile of a bound document with structured light |
| US6466701B1 (en) * | 1997-09-10 | 2002-10-15 | Ricoh Company, Ltd. | System and method for displaying an image indicating a positional relation between partially overlapping images |
| US6125197A (en) * | 1998-06-30 | 2000-09-26 | Intel Corporation | Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects |
| JP2001028671A (ja) * | 1999-07-12 | 2001-01-30 | Nec Corp | 画像読取装置及び画像読取方法 |
| US6677941B2 (en) * | 2000-08-05 | 2004-01-13 | American Gnc Corporation | Three-dimensional relative positioning and tracking using LDRI |
-
2001
- 2001-08-28 DE DE60133026T patent/DE60133026T2/de not_active Expired - Lifetime
- 2001-08-28 CA CA002420866A patent/CA2420866A1/en not_active Abandoned
- 2001-08-28 AT AT01976564T patent/ATE387685T1/de not_active IP Right Cessation
- 2001-08-28 EP EP01976564A patent/EP1330790B1/en not_active Expired - Lifetime
- 2001-08-28 JP JP2002523852A patent/JP2004518947A/ja not_active Withdrawn
- 2001-08-28 ES ES01976564T patent/ES2302750T3/es not_active Expired - Lifetime
- 2001-08-28 WO PCT/IB2001/001982 patent/WO2002019687A2/en active IP Right Grant
- 2001-12-19 US US10/025,175 patent/US7006086B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017516089A (ja) * | 2014-04-30 | 2017-06-15 | ホリバ ジョヴァン イボン エスアーエス | 試料のエッチング深さをその場（ｉｎ ｓｉｔｕ）測定するためのグロー放電分光分析の方法およびシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1330790A4 (en) | 2006-03-22 |
| ES2302750T3 (es) | 2008-08-01 |
| CA2420866A1 (en) | 2002-03-07 |
| ATE387685T1 (de) | 2008-03-15 |
| WO2002019687A3 (en) | 2002-08-08 |
| US7006086B2 (en) | 2006-02-28 |
| EP1330790B1 (en) | 2008-02-27 |
| US20020140670A1 (en) | 2002-10-03 |
| WO2002019687A2 (en) | 2002-03-07 |
| DE60133026T2 (de) | 2009-02-19 |
| EP1330790A2 (en) | 2003-07-30 |
| DE60133026D1 (de) | 2008-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004518947A (ja) | 画像内の突合せ点を用いたデジタルイメージングシステムの精密位置合わせ画像 | |
| US8243286B2 (en) | Device and method for the contactless detection of a three-dimensional contour | |
| CA2079817C (en) | Real time three dimensional sensing system | |
| US10262431B2 (en) | Three-dimensional measurement device | |
| CN111623725B (zh) | 一种跟踪式三维扫描系统 | |
| US20030160970A1 (en) | Method and apparatus for high resolution 3D scanning | |
| US20140307100A1 (en) | Orthographic image capture system | |
| EP3524929B1 (en) | Projection system | |
| JP2002503338A (ja) | 位置検出 | |
| JPH05203414A (ja) | 物体の絶対座標を探知する方法および装置 | |
| CN108779978B (zh) | 深度感测系统和方法 | |
| US6765606B1 (en) | Three dimension imaging by dual wavelength triangulation | |
| US4878247A (en) | Method for the photogrammetrical pick up of an object with the aid of at least one opto-electric solid-state surface sensor | |
| JP2007171092A (ja) | 三次元計測用マーカとこれを用いた三次元計測方法 | |
| JP6601489B2 (ja) | 撮像システム、撮像装置、撮像方法、及び撮像プログラム | |
| JP2714152B2 (ja) | 物体形状測定方法 | |
| JP2015534091A (ja) | ３次元の物体の直線寸法を制御する方法 | |
| JP2005195335A (ja) | ３次元画像撮影装置および方法 | |
| US20180365840A1 (en) | Optical module and a method for objects' tracking under poor light conditions | |
| US6373561B2 (en) | Device and method for detecting depth and color information of an object to be surveyed | |
| JPH0723684Y2 (ja) | レンジファインダ | |
| CN112750098B (zh) | 深度图优化方法及装置、系统、电子设备、存储介质 | |
| US20220321779A1 (en) | Measuring system with panoramic image acquisition functionality | |
| JP2001264031A (ja) | 形状計測方法及びその装置 | |
| JP2002013918A (ja) | ３次元画像生成装置および３次元画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080827 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080827 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090123 |