JP2021527285A - ３次元表面のトポグラフィのモデリング - Google Patents

３次元表面のトポグラフィのモデリング Download PDF

Info

Publication number
JP2021527285A
JP2021527285A JP2021517916A JP2021517916A JP2021527285A JP 2021527285 A JP2021527285 A JP 2021527285A JP 2021517916 A JP2021517916 A JP 2021517916A JP 2021517916 A JP2021517916 A JP 2021517916A JP 2021527285 A JP2021527285 A JP 2021527285A
Authority
JP
Japan
Prior art keywords
image
point
partial image
partial
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021517916A
Other languages
English (en)
Other versions
JP7439070B2 (ja
Inventor
サミ・ルースカネン
ヨルマ・パルメン
オーナ・ライサネン
タトゥ・トローネン
Original Assignee
ラディモ・オサケイフティオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ラディモ・オサケイフティオ filed Critical ラディモ・オサケイフティオ
Publication of JP2021527285A publication Critical patent/JP2021527285A/ja
Application granted granted Critical
Publication of JP7439070B2 publication Critical patent/JP7439070B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することであって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、生成すること、第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録すること、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、第2のイメージから、対応する1次ポイントを識別すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用すること、を含む方法が提供される。

Description

本発明は立体写真測量に関する。
写真測量は、注目の物体の撮影された写真に基づくマッピングまたはモデリングを利用する。たとえば、マシンビジョンによって実施される3次元撮像が非常に有用である、多数の適用分野がある。一般には、これらのシステムは、たとえば、カメラ、照明デバイス、および機器を管理する制御システムを含み得る。立体写真測量では、異なるカメラ位置から物体の2つ以上の写真を撮影し、各写真内の共通ポイントを識別することによって3次元物体がモデリングされる。
写真測量および立体写真測量における課題は、3次元物体を迅速に、たとえばリアルタイムまたはほぼリアルタイムでモデリングすることができ、これを非常に正確に行えることである。
本発明の第1の態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することを含む方法が提供され、回折パターンは数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。方法は、モデリング構成の第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、モデリング構成の第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録することをさらに含み、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている。方法は、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用することをさらに含む。
本発明の第2の態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することを含む方法が提供され、回折パターンは数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。方法は、モデリング構成の第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、モデリング構成の第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録することをさらに含み、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている。方法は、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、第2のイメージから、対応する1次ポイントを識別すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用することをさらに含む。
第1の態様または第2の態様の一実装形態では、方法は、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージが、ポイントクラウドの同一の単一の1次ポイントを含む、形成すること、部分イメージ対内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することをさらに含む。
第1の態様または第2の態様の一実装形態では、方法は、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージ対が、少なくとも3つの1次ポイントによって画定される閉じたエリアを含む、形成すること、部分イメージ対内の閉じたエリア内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することをさらに含む。
第1の態様または第2の態様の別の実装形態では、方法は、部分イメージ対から少なくとも3つの1次ポイントを除外すること、少なくとも3つの1次ポイントがそれから除外された、第1のイメージの部分イメージ内の第1の最大輝度、および第2のイメージの部分イメージ内の第2の最大輝度を決定すること、第1の最大輝度に基づいて第1のイメージの部分イメージ内の各ピクセルの輝度を正規化すること、ならびに第2の最大輝度に基づいて第2のイメージの部分イメージ内の各ピクセルの輝度を正規化することをさらに含む。
第1の態様または第2の態様の別の実装形態では、方法は、各部分イメージをサブブロックに分割すること、およびサブブロック内の対応する2次ポイントを識別することをさらに含む。
第1の態様または第2の態様の別の実装形態では、部分イメージ対内の対応する2次ポイントを識別することは、第2のイメージの部分イメージ内の2次ポイントを探索することを含み、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからエピポーラ線に沿った距離を有する、第2のイメージの部分イメージ内の対応するエピポーラ線に沿った探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
第1の態様または第2の態様の別の実装形態では、部分イメージ対内の対応する2次ポイントを識別することは、第2のイメージの部分イメージ内の2次ポイントを探索することを含み、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからの距離を有する、第2のイメージの部分イメージ内の探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
本発明の第3の態様によれば、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成された構造的光源であって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、構造的光源と、光源によって放射された波長において、モデリングすべき表面を撮影するように構成された第1のカメラと、光源によって放射された波長において、モデリングすべき表面を撮影するように構成された第2のカメラとを備えるモデリング構成を備えるモデリングシステムが提供される。モデリング構成は、第1のカメラと第2のカメラの光軸の相対的向き、および回折軸が知られるように較正され、第1のカメラおよび第2のカメラに対する構造的光源の出力ポイントの位置、距離、および向きが知られている。モデリングシステムは、モデリング構成に接続され、構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成し、第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録し、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定し、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するように構成された制御システムをさらに備える。
本発明の第4の態様によれば、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成された構造的光源であって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、構造的光源と、光源によって放射された波長において、モデリングすべき表面を撮影するように構成された第1のカメラと、光源によって放射された波長において、モデリングすべき表面を撮影するように構成された第2のカメラとを備えるモデリング構成を備えるモデリングシステムが提供される。モデリング構成は、第1のカメラと第2のカメラの光軸の相対的向き、および回折軸が知られるように較正され、第1のカメラおよび第2のカメラに対する構造的光源の出力ポイントの位置、距離、および向きが知られている。モデリングシステムは、モデリング構成に接続され、構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成し、第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録し、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定し、第2のイメージから、対応する1次ポイントを識別し、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するように構成された制御システムをさらに備える。
第3の態様または第4の態様の一実装形態では、モデリング構成に接続された制御システムは、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージが、ポイントクラウドの同一の単一の1次ポイントを含む、形成すること、部分イメージ対内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することを行うようにさらに構成される。
第3の態様または第4の態様の一実装形態では、制御システムは、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージ対が、少なくとも3つの1次ポイントによって画定される閉じたエリアを含む、形成すること、部分イメージ対内の閉じたエリア内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびにxおよびyイメージ座標に基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することを行うようにさらに構成される。
第3の態様または第4の態様の別の実装形態では、制御システムは、部分イメージ対から少なくとも3つの1次ポイントを除外し、少なくとも3つの1次ポイントがそれから除外された、第1のイメージの部分イメージ内の第1の最大輝度、および第2のイメージの部分イメージ内の第2の最大輝度を決定し、第1の最大輝度に基づいて第1のイメージの部分イメージ内の各ピクセルの輝度を正規化し、第2の最大輝度に基づいて第2のイメージの部分イメージ内の各ピクセルの輝度を正規化するようにさらに構成される。
第3の態様または第4の態様の別の実装形態では、制御システムは、各部分イメージをサブブロックに分割し、サブブロック内の対応する2次ポイントを識別するように構成される。
第3の態様または第4の態様の別の実装形態では、制御システムは、第2のイメージの部分イメージ内の2次ポイントを探索するように構成され、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからエピポーラ線に沿った距離を有する、第2のイメージの部分イメージ内の対応するエピポーラ線に沿った探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
第3の態様または第4の態様の別の実装形態では、制御システムは、第2のイメージの部分イメージ内の2次ポイントを探索するように構成され、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからの距離を有する、第2のイメージの部分イメージ内の探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
第5の態様によれば、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに接続された少なくとも1つのメモリとを備える装置が提供される。少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することであって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、生成すること、モデリング構成の第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、モデリング構成の第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録することであって、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている、記録すること、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用することを装置に行わせるプログラム命令を記憶する。
第6の態様によれば、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに接続された少なくとも1つのメモリとを備える装置が提供される。少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することであって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、生成すること、モデリング構成の第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、モデリング構成の第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録することであって、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている、記録すること、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、第2のイメージから、対応する1次ポイントを識別すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用することを装置に行わせるプログラム命令を記憶する。
第5の態様または第6の態様の一実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージが、ポイントクラウドの同一の単一の1次ポイントを含む、形成すること、部分イメージ対内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することを装置に行わせるプログラム命令を記憶する。
第5の態様または第6の態様の一実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージ対が、少なくとも3つの1次ポイントによって画定される閉じたエリアを含む、形成すること、部分イメージ対内の閉じたエリア内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびにxおよびyイメージ座標に基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することを装置に行わせるプログラム命令を記憶する。
第5の態様または第6の態様の別の実装形態では、少なくとも1つのメモリは、装置に、少なくとも1つのプロセッサによって実行されるとき、部分イメージ対から少なくとも3つの1次ポイントを除外させ、少なくとも3つの1次ポイントがそれから除外された、第1のイメージの部分イメージ内の第1の最大輝度、および第2のイメージの部分イメージ内の第2の最大輝度を決定させ、第1の最大輝度に基づいて第1のイメージの部分イメージ内の各ピクセルの輝度を正規化させ、第2の最大輝度に基づいて第2のイメージの部分イメージ内の各ピクセルの輝度を正規化させるプログラム命令を記憶する。
第5の態様または第6の態様の別の実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、装置に、各部分イメージをサブブロックに分割させ、サブブロック内の対応する2次ポイントを識別させるプログラム命令を記憶する。
第5の態様または第6の態様の別の実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、装置に、第2のイメージの部分イメージ内の2次ポイントを探索させるプログラム命令を記憶し、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからエピポーラ線に沿った距離を有する、第2のイメージの部分イメージ内の対応するエピポーラ線に沿った探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
第5の態様または第6の態様の別の実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、装置に、第2のイメージの部分イメージ内の2次ポイントを探索させるプログラム命令を記憶し、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからの距離を有する、第2のイメージの部分イメージ内の探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
第7の態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するための手段であって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、手段と、モデリング構成の第1のカメラを用いた回折パターンを含む表面の第1のイメージと、モデリング構成の第2のカメラを用いた回折パターンを含む表面の第2のイメージのほぼ同時の記録を行わせるための手段であって、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている、手段と、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定するための手段と、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するための手段とを備える装置が提供される。
第8の態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するための手段であって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、手段と、モデリング構成の第1のカメラを用いた回折パターンを含む表面の第1のイメージと、モデリング構成の第2のカメラを用いた回折パターンを含む表面の第2のイメージのほぼ同時の記録を行わせるための手段であって、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている、手段と、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定するための手段と、第2のイメージから、対応する1次ポイントを識別するための手段と、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するための手段とを備える装置が提供される。
第7の態様または第8の態様の一実装形態では、装置は、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成するための手段であって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージが、ポイントクラウドの同一の単一の1次ポイントを含む、手段と、部分イメージ対内の対応する2次ポイントを識別するための手段であって、各2次ポイントがxおよびyイメージ座標を有する、手段と、2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するための手段とを備える。
第7の態様または第8の態様の一実装形態では、装置は、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成するための手段であって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージ対が、少なくとも3つの1次ポイントによって画定される閉じたエリアを含む、手段と、部分イメージ対内の閉じたエリア内の対応する2次ポイントを識別するための手段であって、各2次ポイントがxおよびyイメージ座標を有する、手段と、xおよびyイメージ座標に基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するための手段とを備える。
第7の態様または第8の態様の別の実装形態では、装置は、部分イメージ対から少なくとも3つの1次ポイントを除外するための手段と、少なくとも3つの1次ポイントがそれから除外された、第1のイメージの部分イメージ内の第1の最大輝度、および第2のイメージの部分イメージ内の第2の最大輝度を決定するための手段と、第1の最大輝度に基づいて第1のイメージの部分イメージ内の各ピクセルの輝度を正規化するための手段と、第2の最大輝度に基づいて第2のイメージの部分イメージ内の各ピクセルの輝度を正規化するための手段とを備える。
第7の態様または第8の態様の別の実装形態では、装置は、各部分イメージをサブブロックに分割するための手段と、サブブロック内の対応する2次ポイントを識別するための手段とを備える。
第7の態様または第8の態様の別の実装形態では、装置は、第2のイメージの部分イメージ内の2次ポイントを探索するための手段を備え、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからエピポーラ線に沿った距離を有する、第2のイメージの部分イメージ内の対応するエピポーラ線に沿った探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
第7の態様または第8の態様の別の実装形態では、装置は、第2のイメージの部分イメージ内の2次ポイントを探索するための手段を備え、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからの距離を有する、第2のイメージの部分イメージ内の探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
本発明の第9の態様によれば、第1の態様または第2の態様の方法を実施するように構成されたプログラムコードを含むコンピュータプログラムが提供される。
本発明の第10の態様によれば、第1の態様または第2の態様の方法を実施するように構成されたプログラムコードを含むコンピュータプログラムを含むコンピュータ可読媒体が提供される。
態様および実装形態の少なくとも一部は、1つまたは複数の効果および/または利点をもたらし得る。解決策は、処理時間が大幅に削減された、リアルタイムまたはほぼリアルタイムの解決策において、モデリング構成の空間解像度を向上することを著しく可能にし得る。これはまた、正確な物体識別を必要とし、シーンについてのより高密度の3次元データを必要とするアルゴリズムを伴う様々な適用分野についてのモデリング構成のユーザビリティをも向上させ得る。空間解像度の向上は、シーン物体が従来の解決策よりもさらに高密度にサンプリングされると同時に、測定されるポイントの精度が、高密度ポイントクラウドを生成する既知のセンサよりも高く保たれることを意味する。さらに、開示される解決策は、極めて高品質な3次元データを使用しなければならない適用分野について、極めて高精度の1次ポイントを2次ポイントから分離することを可能にし得る。
実施形態の例によって本発明が以下で詳細に説明される。
本発明の一態様によるモデリングシステムを示す図である。 イメージを取得および処理するためのブロック図方法を示す図である。 回折パターンから決定されたポイントクラウドを含む簡略化したイメージを示す図である。 カメラを用いて取り込まれた、より大きいイメージの部分イメージの一例を示す図である。 1対の対応する部分イメージの一例である。 1対の対応する部分イメージの一例である。 1対の部分イメージ内の対応する2次ポイントを識別する一例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する一例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。 第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。 第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。 第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。 第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。 第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。 第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。 差異マッチングまたは特徴探索のための探索空間を削減するための一実施形態を示す図である。 差異マッチングまたは特徴探索のための探索空間を削減するための一実施形態を示す図である。 差異マッチングまたは特徴探索のための探索空間を削減するための一実施形態を示す図である。 モデリング構成を制御するための例示的装置を示す図である。
図1は、本発明の一態様によるモデリングシステムを示す。モデリングシステムは、モデリング構成100および制御システム112を備える。モデリング構成100は、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成された構造的光源102を備える。構造的光源102は、レーザ光源と、レーザ光源からの光がそれを通じて移動する回折素子とを備え得る。構造的光源102は、ほぼ単色でコヒーレントな電磁放射を生成するように構成され得る。構造的光源102によって与えられる回折パターンは、数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。言い換えれば、構造的光源102によって与えられる回折パターンは、数学的物理的モデルに基づいてモデリングされる。回折によって生成されるポイントクラウドの幾何形状は、回折源において使用される格子に依存し得、任意の適切なポイント幾何形状が使用され得る。一例では、構造的光源102は、ただ1つの波長、または複数の波長を含む放射、たとえば赤色、緑色、および青色コヒーレント光を同時に生成し得る。
モデリング構成100は、構造的光源102によって放射された波長において、モデリングすべき表面を撮影するように構成された第1のカメラ108と、構造的光源102によって放射された波長において、モデリングすべき表面を同様に撮影するように構成された第2のカメラ104とをさらに備える。イメージファイルは、第1および第2のカメラから制御システム112に、たとえばワイヤレスデータ転送によって自動的に転送され得る。
モデリング構成100は、第1のカメラ108と第2のカメラ104の光軸の相対的向き、および構造的光源102の回折軸が知られるように較正され、第1のカメラ108および第2のカメラ104に対する構造的光源102の出力ポイントの位置、距離、および向きが知られている。較正はまた、カメラ104、108のレンズの光学品質およびひずみを考慮に入れ得る。
モデリングシステムはまた、モデリング構成100に接続された制御システム112をも備える。制御システム112は、モデリング構成100の動作を制御するように構成される。制御システム112は、カメラ104、108を制御し、カメラ104、108を用いて記録されたイメージを処理するための適切なソフトウェアを装備するコンピュータを備え得る。
制御システム112はまた、構造的光源102を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成され得る。制御システム112は、第1のカメラ108を用いて回折パターンを含む表面の第1のイメージを記録させ、第2のカメラ104を用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録させるようにさらに構成され得る。「ほぼ同時に」という用語は、第1のカメラおよび第2のカメラが回折パターンを有する同一の物体を同時またはほとんど同時に撮影するように構成されることを意味する。
第1および第2のイメージが記録されたとき、制御システム112は、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定するように構成され得る。別の実施形態では、制御システム112は、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定し、第2のイメージから、対応する1次ポイントを識別するように構成され得る。ポイントクラウドは、イメージ内の各1次ポイントの明白な識別が可能となるように設計され、実装される。実際には、これは、イメージ内の特定の区間において、そこにあり得るただ1つの可能な1次ポイントがあることを意味する。制御システム112は、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するようにさらに構成される。2次ポイントは、イメージの1次ポイント間にある、それについての正確な3次元位置が計算され得る、より低い輝度のアーチファクトであり得る。2次ポイントは、使用される帯域幅内にある背景光であり得る。さらに、その輝度は、1次ポイントの輝度よりも著しく低いものであり得る。別の例として、2次ポイントは、回折素子によって生成されたノイズであり得る。別の例として、2次ポイントは、別々の光源によって生成されたパターンまたはノイズであり得る。さらに、一実施形態では、1次ポイントは、回折素子によって生み出された、明るい、はっきりと見えるスポットであり、2次ポイントは、第1および第2のイメージの対応する部分イメージ間の差異イメージを決定する手段、または第1および第2のイメージからの部分イメージからの1次ポイントよりも明らかに低い輝度の特徴を識別し、写真測量方法によってそれらの対応する3D座標を決定する手段のどちらかによって、これらのポイント間に生み出されたポイントである。
一例では、別々の光源がモデリング構成100に統合され得る。可能な探索空間のサイズが著しく削減されるので、これにより、表面の正確な3次元表現をリアルタイムまたはほぼリアルタイムで提供することのできる解決策が可能となる。
制御システム112は、モデリング構成100にすぐ近接して設けられ得る。代替として、制御システム112が、データ通信ネットワーク、たとえばインターネットを介してカメラ104、108によって撮影されたイメージをダウンロードすることができる限り、制御システム112は任意の他の場所に物理的に存在し得る。
制御システム112は、1つまたは複数のプロセッサと、プロセッサに接続された1つまたは複数のメモリとを備え得る。データ転送インターフェースを通じて、制御システム112は、外部デバイスまたはシステムから情報を受信し得る。メモリは、本明細書において説明される方法ステップを実施するように構成されるプログラムコードを含む1つまたは複数のコンピュータプログラムを含み得る。
図2は、イメージを取得および処理するためのブロック図方法を示す。方法は、コンピュータによって実施されるコンピュータプログラムとして実装され得る。
200において、モデリング構成の構造的光源が、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように制御される。回折パターンは、数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。回折の幾何形状は、回折源において使用される格子に依存し、任意の適切なポイント幾何形状が使用され得る。
202において、モデリング構成の第1のカメラを用いた回折パターンを含む表面の第1のイメージの記録と、モデリング構成の第2のカメラを用いた回折パターンを含む表面の第2のイメージの記録とが、ほぼ同時に引き起こされる。構造的光源、第1のカメラ、および第2のカメラは、第1のカメラおよび第2のカメラの光軸の相対的向き、および回折軸が知られるように較正されている。さらに、第1のカメラおよび第2のカメラに対する構造的光源の出力ポイントの位置、距離、および向きが知られている。較正はまた、カメラのレンズの光学的ひずみを考慮に入れ得る。
204において、1次ポイントを含むポイントクラウドが、第1のイメージ内に見える回折パターンから決定され、対応する1次ポイントが第2のイメージから識別される。
206において、第1および第2のイメージ内のポイントクラウドの各1次ポイントが、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用される。2次ポイントは、2つの1次ポイント間にあるイメージの1次ポイント間にある、それについての正確な3次元位置が計算され得る、より低い輝度のアーチファクトであり得る。2次ポイントは、使用される帯域幅内にある背景光であり得る。さらに、その輝度は、1次ポイントの輝度よりも著しく低いものであり得る。別の例として、2次ポイントは、回折素子によって生成されたノイズであり得る。別の例として、2次ポイントは、別々の光源によって生成されたパターンまたはノイズであり得る。別々の光源はモデリング構成に統合され得る。可能な探索空間のサイズが著しく削減されるので、これにより、表面の正確な3次元表現をリアルタイムまたはほぼリアルタイムで提供することのできる解決策が可能となる。
第1および第2のイメージ内の対応する2次ポイントが、2つのイメージから対応するポイントを見つけることのできる任意のイメージ処理解決策またはアルゴリズムを使用して識別され得る。イメージ内の対応する2次ポイントが識別されたとき、各2次ポイントはxおよびyイメージ座標を有する。2次ポイントのxおよびyイメージ座標と、カメラ位置とに基づいて、外部座標系でのX、Y、およびZ座標が、各2次ポイントについて計算され得る。
図3は、第1のカメラを用いて記録されたイメージ内に見える回折パターンから決定されたポイントクラウド306を含む簡略化したイメージ300を示す。ポイントクラウド306の各ポイント304は、正確に識別可能であり、非常に正確な3次元座標を有する。
図3は、複数の部分イメージ302が全イメージ300から形成される一実施形態を示す。図3は6つの部分イメージ302のみを示すが、イメージ300の他の部分イメージが同様に生成される。類似の動作、すなわち部分イメージを形成する動作が、第2のカメラを用いてほぼ同時に記録されたイメージに対して行われ得る。
イメージ300の各部分イメージ302は、ポイントクラウドの単一の1次ポイント304を含む。このことが、図3において各部分イメージ302の中心のドットで例示されている。イメージ300を部分イメージ302に分割することによって、各部分イメージを別々に、並列に処理することが可能である。部分イメージ302内のポイントクラウドの各1次ポイントは、部分イメージ302内の2次ポイントを求める探索空間についての初期ポイントとして使用され得る。2次ポイントは、2つの1次ポイント間にある、それについての正確な3次元位置が計算され得るポイントである。
図4Aは、カメラを用いて取り込まれた、より大きいイメージの部分イメージ400の一例を示す。部分イメージ400は、図3に示される部分イメージ302に対応し得る。
部分イメージ400は、ポイントクラウドの単一の1次ポイント402を中心ポイントとして含む。既に先に論じたように、1次ポイントを含むポイントクラウドが、イメージ内に見える回折パターンから決定される。回折パターンは、数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。類似の部分イメージが、ポイントクラウドのそれぞれの他の1次ポイントについてのイメージから形成される。
図4Bおよび図4Cは1対の対応する部分イメージを示す。部分イメージ400Aは、第1のカメラを用いて記録されたイメージの部分イメージであり、部分イメージ400Bは、第2のカメラを用いて記録されたイメージの対応する部分イメージである。部分イメージ400A、400Bは共に、ポイントクラウドの同一の1次ポイント402A、402Bを中心ポイントとして含む。
図5Aおよび図5Bは、1対の部分イメージ514A、514B内の対応する2次ポイントを識別する一例を示す。図4Bおよび図4Cに加えて、図5Aおよび図5Bは、部分イメージが共に、1つまたは複数のイメージ処理アルゴリズムを使用して識別され得る形状504A、506A、508A、510A、512A;504B、506B、508B、510B、512Bを含むことを示す。形状はまた、先に既に論じた2次ポイントを指し得る。たとえば、形状または2次ポイント504Aが部分イメージ514A内で識別されたとき、対応する形状または2次ポイント504Bが他の部分イメージ514B内で識別され得る。部分イメージ514B内の対応する2次ポイントを求める探索は、部分イメージ514A内の対応する2次ポイントと部分イメージ514A内の1次ポイントとの間の距離とほぼ同一の、部分イメージ514B内の1次ポイントからエピポーラ線に沿った距離を有する探索エリア内を対象とし得る。これは、部分イメージ514B内の2次ポイント504Bが正確かつ迅速に見つけられ得ることを意味する。
図6A〜図6Fは、1対の部分イメージ600A、600B内の対応する2次ポイントを識別する別の例を示す。図6Aでは、第1のイメージの部分イメージ600Aがサブブロック604のセットに分割されている。この特定の例では、部分イメージ600Aが9個のサブブロックに分割される。中心サブブロックは1次ポイント602Aを含む。中心ブロックが1次ポイント602Aを含むので、部分イメージ600B内の対応するポイントを別々に探索する必要はない。対応するポイントは既に知られているからである(すなわち、対応するポイントは1次ポイント602Bである)。図6Bは、第1のイメージの部分イメージ600Aに対応する第2のイメージの部分イメージ600Bを示す。
図6Cおよび図6Dは、サブブロックまたはサブブロックの部分616が、部分イメージ600B内の対応するサブブロックまたはサブブロックの部分を求める探索のためのテンプレートとして使用される一例を示す。次いで、部分イメージ600Aのサブブロックまたはサブブロックの部分616が、部分イメージ600Bのピクセルと比較され得る。
図6E〜図6Nは、部分イメージ600B内の対応する2次ポイントを見つけるための例示的プロセスを示す。
この場合も、部分イメージ600Aの左側コーナのサブブロック内の区間616が、テンプレートとして使用される。図6F〜図6Nは、テンプレートが部分イメージ600Bのコーナの部分イメージ600Bのピクセル618A〜618Eのセットと順次比較されることを示す。図6F〜図6Nでは、各シーケンスでの部分イメージ600B内のピクセル618A〜618Eのセットが方向、たとえば水平方向のみに移動することが示され得るが、他の例では、2つの連続するシーケンス間の部分イメージ600B内のピクセル618A〜618Eのセットに伴う、水平方向と垂直方向の両方の移動があり得る。
それぞれの比較において、部分イメージ600A内のテンプレート616と、部分イメージ600B内のピクセル618A〜618Eのセットについて相関係数が計算され得る。相関係数を計算するための1つの可能な解決策は、ピヤソン相関係数を使用することである。
Figure 2021527285
2つの別個の変数の関連度の定量的尺度は、しばしば相関係数と呼ばれ、通常は-1から1の間で変動する。相関係数が1である場合、2つの変数間に高い相関がある。
すべての相関係数が計算されたとき、最高の相関係数を有する計算中に部分イメージ600B内で移動した部分イメージ600B内のピクセル618A〜618Eのセットが、テンプレート616に対する最良の対応である。
テンプレート616の中心ポイントと、部分イメージ600B内のピクセル618A〜618Eの最良に対応するセットが、1対の観測イメージポイントを形成する。観測イメージポイントの対と、2つのイメージを取り込むために使用された2つの較正済みカメラの位置とに基づいて、外部座標系での3次元座標を計算することが可能である。言い換えれば、最初に、部分イメージ対内の対応する2次ポイントが識別され得、各2次ポイントはxおよびyイメージ座標を有する。2番目に、各2次ポイントについての外部座標系でのX、Y、およびZ座標が、たとえば三角測量を使用することによって、2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて計算され得る。
一実施形態では、上記で開示した例および実施形態は、2つのイメージ内の対応するポイントを見つける際のピクセルレベル精度を実現する。別の実施形態では、ピクセルレベル精度はサブピクセル精度にさらに拡張され得る。サブピクセル精度とは、ピクセルレベルよりも高い精度で物体の場所を識別することを指す。たとえば、これは、イメージから観測される円の中心ポイントを、ピクセル座標において、整数ピクセル値を単に指すのではなく、小数点精度で定義することを意味し得る。さらに、サブピクセル精度を達成することは、イメージのピクセル値を補間および/または再サンプリングすることを含み得、これは、テンプレートイメージについての最良の合致を見つける際に一般的に使用される一方法である。別の例では、サブピクセル精度を達成することは、様々な場所での相関値に連続的で滑らかな関数をあてはめること、および極大値を見つけることを含み得る。
「較正済みカメラ」という用語は、1)カメラのレンズまたはレンズ系のひずみ誤差を決定すること、および2)カメラの内部幾何形状を決定することを指し得る。ひずみ誤差は、レンズの物理的性質によって引き起こされるイメージ幾何形状の変化を指し得る。イメージ内で、ひずみ誤差は、たとえば、樽形歪曲および糸巻き形歪曲として見え得る。ひずみ誤差は数学的に補正され得る。カメラの内部幾何形状の決定は、レンズまたはレンズ系の焦点距離、カメラの主点、およびアスペクト比を決定することを含み得る。
焦点距離はレンズの物理的性質に依存し、レンズ系および像平面の光学的中心ポイントの距離を記述する。さらに、イメージ観測座標と共に、焦点距離は、イメージから観測される現象が存在する方向と、カメラからの距離に対する像平面上の物体の縮尺とを記述する。
主点は、光軸が横切る像平面上の点である。レンズひずみは、ひずみが0である主点までの距離に依存する。
アスペクト比は、相異なるイメージ軸の縮尺の非対称性を記述する。これは、像平面上の光起電力電池の構造またはアセンブリのレンズ特性のためであり得る。アスペクト比は、xおよびy座標について相異なる焦点距離を使用することによって定義され得る。既知の幾何形状を有する物体を観測することによって、内部幾何形状がレンズひずみパラメータと同時に定義される。
さらに、一実施形態では、カメラレンズの較正が1度だけ実施され、イメージの光学的ひずみが、取得された較正情報によって、イメージのピクセルを正しい位置に移動することによって補正される。
2つのカメラはまた、互いに対して較正され得る。図1に示されるモデリング構成100の構造的光源102からより遠くに配置されるカメラ104が、測定座標系を決定し、他方のカメラ108がそれに対して配置される。測定座標系の原点は、カメラ104の投影中心である。測定座標系の軸は、イメージのイメージ座標系の軸と平行であり、像平面に垂直な第3の軸はカメラの光軸である。較正の後、カメラ104の観測値は、定義により測定座標系内に直接あるのに対して、カメラ108の観測値は、測定座標系に変換され得る。
上記の実施形態および例は、別々の写真またはイメージに基づく解析のみを開示しているが、いくつかの個々の写真がより大きい単一のモデリングすべき表面に組み合わされるように本発明を適用することも当業者にとって明らかである。このケースでは、本発明において説明されるモデリング構成は、所望の構成がモデリングされ得るように撮影状況において手動で、または自動的に移動され得る。
前述の本発明の実施形態は、多くの異なる適用環境、たとえば、トンネルの壁を測定する際に、岩石材料識別、森林適用分野(たとえば、林分を評価する際に)、自動車産業、または表面をモデリングするための任意の他の適用分野において使用され得る。
図7A〜図7Fは、第1および第2のイメージ内に見える回折パターンから1次ポイント702、704、706、708の間のエリアを正規化するための一実施形態を示す。図1〜図3に関連して先に論じた実施形態は、第1および第2のイメージを取得することについてより詳細な説明を与える。
図7Aは、第1のイメージから取られた部分エリアを示す。同様に、図7Bは、第2のイメージから取られた、対応する部分エリアを示す。両方の部分エリアは、4つの1次ポイント702、704、706、708によって制限される。図7Aおよび図7Bは、第1および第2のイメージ内の背景物体からの全感度が互いに異なる状況を示す。
第1および第2のイメージから取られた部分エリア内の1次ポイント702、704、706、708が正確に識別され得るので、1次ポイント702、704、706、708がこの部分エリアから除外され得る。1次ポイント702、704、706、708の除外は、たとえば1次ポイント702、704、706、708の輝度値を小さい値、たとえば0で置き換えることによって実施され得る。別の実施形態では、次のステップにおいて第1および第2のイメージの部分エリアから最大輝度を決定するとき、1次ポイント702、704、706、708に関する輝度値が省略され得る。図7Cおよび図7Dは、除外された部分エリア710、712、714、716を示す。図7Cおよび図7Dは、矩形を使用することによって1次ポイント702、704、706、708の輝度が小さい値で置き換えられたことを示すが、任意の他の除外方法および/または形状が使用され得る。
次に、除外された(すなわち、図7Cおよび図7Dに示される部分エリアから除外された)第1および第2のイメージの両方の部分エリアから最大輝度maxIが決定される。この例では、輝度についての最高の可能な値は1.0である。一例として、図7Cの最大輝度maxIは0.333であり得、図7Dの最大輝度maxIは0.143であり得る。イメージピクセル(x,y)についての正規化輝度I(x,y)Nが、以下の式を用いて計算され得る。
I(x,y)N=min(I(x,y)E*C/maxI,1.0)
上式で、I(x,y)Eは、正規化前のイメージピクセル(x,y)の輝度であり、Cは正の係数、たとえば0.9である。min()関数は、正規化輝度I(x,y)Nが値[0,1.0]の間にあることを保証する。
図7Eおよび図7Fは、第1および第2のイメージから取られた正規化部分エリアを示す。図7Eおよび図7Fから、1次ポイント702、704、706、708の間の信号が等しい状態になり、その結果、図7Eおよび図7Fに示されるエリア間の差が最小となることがわかる。
上記の図示された正規化プロセスは、等しい特徴が両方のイメージ内で同様に見えるように、第1および第2のイメージ内の背景物体が前方に移動される解決策を可能にする。さらに、上記の図示される正規化プロセスは、イメージ対のイメージが独立して処理され得るように、イメージ対(すなわち、第1のイメージおよび第2のイメージ)内の輝度が正規化され得る解決策を可能にする。
図8A〜図8Cは、差異マッチングまたは特徴探索のための探索空間を削減するための一実施形態を示す。図8A〜図8Cは、より大きいイメージの部分イメージを示す。図1〜図3に関連して先に論じた実施形態は、より大きいイメージを取得することについてのより詳細な説明を与える。
図8Aは、4つの1次ポイント802A、804A、806A、808Aと、それらが画定する四角形内部のエリアとを含む、第1のカメラを使用して取得された第1の部分イメージ800Aを示す。同様に、図8Bは、4つの1次ポイント802B、804B、806B、808Bと、それらが画定する四角形内部のエリアとを含む第2のカメラを使用して取得された第2の部分イメージ800Bを示す。
部分イメージ800A、800Bは同一のエリアのものであり、たとえばカメラセンサノイズおよび光学的変形によって引き起こされたわずかな違いがあるが、非常に類似している。図1からわかるように、第1および第2のカメラは相異なる場所に配置され、相異なるカメラ位置によって、第1および第2のカメラから取得されるイメージ間の観点の違いが引き起こされる。
図8Cは、2つの部分イメージ800A、800Bが共に左上コーナポイント802A、802Bの周りに中心が置かれた合成イメージを示す。基準810A、812A、814A、816Aは第1の部分イメージ800A内の輝点を示し、基準810B、812B、814B、816Bは第2の部分イメージ800B内の輝点を示す。2つの下側の輝点814A、814B、および816A、816Bが2つの部分イメージ800A、800B内で明らかに分離されることがわかる。このことは、これらのポイントの3次元場所が、基準点である左上コーナポイント810A、810Bとは異なる、第1および第2のカメラからの距離上にあることを意味する。
差異イメージまたは特徴探索を形成する際に、ただ1つのポイントを使用するケースと比べた、複数のポイント、たとえば3つまたは4つのポイントを使用する利点は、探索エリアが既知の厳密に合致するポイントによって閉じられることである。これらのコーナポイント上の正確に知られているシフトに基づいて、差異(または第2のイメージ内の特徴の場所)が、イメージ上の任意のポイントでの差異を推定するための関数を作成することによって推定され得る。この推定差異(または水平視差)は、第2のカメラから取得された第2のイメージ内の、第1のカメラから取得された第1のイメージからの特徴またはピクセルについての対応の最良のアプリオリ推定である。このとき、最良合致の探索は、最適なリアルタイム性能のためにそのアプリオリ推定の周りに集中され得る。さらに、複数のポイントを使用して探索エリアを画定するとき、これは、近隣の既知の3次元ポイントに表面をあてはめることと同等である。これはさらに、差異マッチングまたは特徴探索のための探索空間を削減し、動作をより高速にする。
図9は、様々な任意選択のハードウェアおよびソフトウェア構成要素を含み得る例示的装置900を示す装置を示す。図示される装置900は、信号コーディング、データ処理、入力/出力処理、電力制御、および/または他の機能などのタスクを実施するための1つまたは複数のコントローラまたはプロセッサ902(たとえば、信号プロセッサ、マイクロプロセッサ、ASIC、または他の制御および処理論理回路)を含み得る。
図示される装置900はまた、メモリ904をも含み得る。メモリ904は、取外し不能メモリおよび/または取外し可能メモリを含み得る。取外し不能メモリは、RAM、ROM、フラッシュメモリ、ハードディスク、または他の周知のメモリストレージ技術を含み得る。取外し可能メモリは、フラッシュメモリまたは他の周知のメモリストレージ技術を含み得る。メモリは、オペレーティングシステムおよび/または1つもしくは複数のアプリケーションを実行するためのデータおよび/またはコードを記憶するために使用され得る。
装置900は、たとえば図2〜図4、図4A〜図4C、図5A〜図5B、図6A〜図6N、図7A〜図7F、および図8A〜図8Cに部分的に、または完全に示される、様々な特徴、例、および実施形態を実装するように構成され得る。さらに、プロセッサ902および/またはメモリ904は、たとえば図2〜図4、図4A〜図4C、図5A〜図5B、図6A〜図6N、図7A〜図7F、および図8A〜図8Cに部分的に、または完全に示される様々な特徴、例、および実施形態を実装するための手段を構成し得る。本明細書において説明される機能は、ソフトウェア構成要素などの1つまたは複数のコンピュータプログラム製品構成要素によって、少なくとも部分的に実施され得る。一例によれば、プロセッサ902は、実行されるとき、説明される動作および機能の例および実施形態を実施するプログラムコードによって構成され得る。代替または追加として、本明細書において説明される機能は、1つまたは複数のハードウェア論理構成要素によって、少なくとも部分的に実施され得る。たとえば、限定はしないが、使用され得るハードウェア論理構成要素の例示的タイプには、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、System-on-a-chipシステム(SOC)、複合プログラマブル論理デバイス(CPLD)、グラフィックス処理装置(GPU)が含まれる。
実施形態および例が単に例として上記で説明され、ハードウェアおよび/またはソフトウェア技術分野の技術者は理解するであろうが、これらの実施形態を実施するために使用されるハードウェアは多くの形で異なり得る。例示的実施形態の1つまたは複数の構成要素の機能は、たとえば1つまたは複数の装置および/またはコンピュータ上で実行されるコンピュータプログラムによって実装され得る。
例示的実施形態は、本明細書において説明された様々なプロセスに関する情報を記憶し得る。この情報は、ハードディスク、光ディスク、RAMメモリなどの1つまたは複数のメモリ内に記憶され得る。1つまたは複数のメモリまたはデータベースは、本発明の例示的実施形態を実施するために使用される情報を記憶し得る。
コンピュータおよび/またはソフトウェア技術分野の技術者は理解するであろうが、全体またはその部分としての例示的実施形態は、本発明の例示的実施形態の教示に従ってプログラムされる1つまたは複数の汎用プロセッサ、マイクロプロセッサ、DSPプロセッサ、マイクロコントローラなどを使用して実施され得る。
任意のコンピュータ可読媒体または媒体の組合せは、本発明を実施するために実行すべき処理を実行するためのコンピュータプログラムまたはコンピュータプログラム製品を全体として、または部分的に(処理が分散される場合)記憶し得る。
本発明の実施形態において使用されるデバイスは、本明細書において説明されたデータ構造、テーブル、レコード、および/または他のデータと共に、本発明の教示に従ってプログラムされたコマンドを含むコンピュータ可読媒体またはメモリを含み得る。コンピュータ可読媒体は、コマンドの実行のためにプロセッサにコマンドを提供する際に関与する任意の適切な媒体を含み得る。そのような媒体は、上述のものに限定はしないが、不揮発性メモリ、揮発性メモリ、転送媒体などの多くの異なる形態で提供され得る。不揮発性メモリには、たとえば、光または磁気ディスク、光磁気ディスクなどが含まれ得る。揮発性メモリには、ダイナミックメモリなどが含まれ得る。転送媒体には、同軸ケーブル、銅線、光ファイバなどが含まれ得る。転送媒体はまた、無線周波数通信、赤外線データ転送などの間に形成される波の形などの、音響波、光波、電磁波などの形で提供され得る。コンピュータ可読媒体の一般的実施形態には、たとえばコンピュータディスク、ハードディスク、磁気テープ、任意の他の適切な磁気媒体、CD-ROMディスク、CD-Rディスク、CD-RWディスク、DVDディスク、DVD-ROMディスク、DVD±RWディスク、DVD±Rディスク、任意の他の適切な光媒体、RAMメモリ、ROMメモリ、EPROMメモリ、FLASH-EPROMメモリ、任意の他の適切なメモリチップ、またはプロセッサもしくはコンピュータによって読取り可能な任意の他の適切な媒体が含まれ得る。本発明の実施形態において使用されるデバイスはまた、ワイヤードまたはワイヤレスデータ転送接続を使用して情報が送られ、受信されるデータ転送手段をも含み得る。
本発明は、単に上記の実施形態の例に限定されず、特許請求の範囲によって定義される本発明の概念の範囲内で多くの修正が可能である。
100 モデリング構成
102 構造的光源
104 第2のカメラ
108 第1のカメラ
112 制御システム
300 イメージ
302 部分イメージ
304 ポイント
306 ポイントクラウド
400、400A、400B 部分イメージ
402、402A、402B 1次ポイント
504A、506A、508A、510A、512A 形状、2次ポイント
504B、506B、508B、510B、512B 形状、2次ポイント
514A、514B 部分イメージ
600A、600B 部分イメージ
602A、602B 1次ポイント
604 サブブロック
616 テンプレート
618A〜618E ピクセル
702、704、706、708 1次ポイント
710、712、714、716 部分エリア
800A、800B 部分イメージ
802A、804A、806A、808A 1次ポイント
802B、804B、806B、808B 1次ポイント
810A、812A、814A、816A 基準
810B、812B、814B、816B 基準
900 装置
902 コントローラまたはプロセッサ
904 メモリ

Claims (20)

  1. モデリング構成(100)の構造的光源(102)を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するステップ(200)であって、前記回折パターンが数学的物理的モデルに正確に従い、前記回折パターンのビーム出力角が、前記数学的物理的モデルに基づいて正確に知られている、ステップ(200)と、
    前記モデリング構成(100)の第1のカメラ(104)を用いて前記回折パターンを含む前記表面の第1のイメージを記録し、前記モデリング構成(100)の第2のカメラ(108)を用いて前記回折パターンを含む前記表面の第2のイメージをほぼ同時に記録するステップ(202)であって、前記第1のカメラ(104)および前記第2のカメラ(108)が較正され、互いに対する位置が知られている、ステップ(202)と、
    前記第1のイメージ内に見える前記回折パターンから1次ポイントを含むポイントクラウド(306)を決定するステップ(204)と、
    前記第2のイメージから、対応する1次ポイントを識別するステップと、
    前記第1および第2のイメージ内の前記ポイントクラウドの各1次ポイントを、前記第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するステップ(206)と
    を含む、方法。
  2. 前記第1のイメージおよび前記第2のイメージを部分イメージ(302)のセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成するステップであって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ(400A、400B)が、前記ポイントクラウド(306)の同一の単一の1次ポイント(304)を含む、ステップと、
    前記部分イメージ対(400A、400B)内の対応する2次ポイントを識別するステップであって、各2次ポイントがxおよびyイメージ座標を有する、ステップと、
    前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するステップと
    をさらに含む、請求項1に記載の方法。
  3. 前記第1のイメージおよび前記第2のイメージを部分イメージ(302)のセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成するステップであって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ対(400A、400B)が、前記ポイントクラウド(306)の少なくとも3つの1次ポイントによって画定された閉じたエリアを含む、ステップと
    前記部分イメージ対(400A、400B)内の前記閉じたエリア内の対応する2次ポイントを識別するステップであって、各2次ポイントがxおよびyイメージ座標を有する、ステップと、
    前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するステップと
    をさらに含む、請求項1に記載の方法。
  4. 前記部分イメージ対から前記少なくとも3つの1次ポイントを除外するステップと、
    前記少なくとも3つの1次ポイントがそれから除外された、前記第1のイメージの前記部分イメージ(400A)内の第1の最大輝度、および前記第2のイメージの前記部分イメージ(400B)内の第2の最大輝度を決定するステップと、
    前記第1の最大輝度に基づいて前記第1のイメージの前記部分イメージ内の各ピクセルの輝度を正規化するステップと、
    前記第2の最大輝度に基づいて前記第2のイメージの前記部分イメージ内の各ピクセルの輝度を正規化するステップと
    をさらに含む、請求項2または3に記載の方法。
  5. 各部分イメージ(400A、400B)をサブブロック(604)に分割するステップと、
    前記サブブロック(604)内の対応する2次ポイントを識別するステップと
    をさらに含む、請求項2から4のいずれか一項に記載の方法。
  6. 前記部分イメージ対内の対応する2次ポイントを識別するステップが、
    前記第2のイメージの前記部分イメージ(400B)内の2次ポイントを探索するステップであって、前記2次ポイントが、前記第1のイメージの前記部分イメージ(400A)内の前記2次ポイントと前記第1のイメージの前記部分イメージ(400A)内の前記1次ポイント(402A)との間の距離とほぼ同一の、前記第2のイメージの前記部分イメージ内の前記1次ポイント(402B)からエピポーラ線に沿った距離を有する、前記第2のイメージの前記部分イメージ(400B)内の対応するエピポーラ線に沿った探索エリア内の、前記第1のイメージの対応する部分イメージ(400A)内の2次ポイントに対応する、ステップ
    を含む、請求項2から4のいずれか一項に記載の方法。
  7. モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成された、構造的光源(102)であって、前記回折パターンが数学的物理的モデルに正確に従い、前記回折パターンのビーム出力角が、前記数学的物理的モデルに基づいて正確に知られている、構造的光源(102)と、
    前記光源(102)によって放射された波長において、モデリングすべき前記表面を撮影するように構成された第1のカメラ(104)と、
    前記光源(102)によって放射された波長において、モデリングすべき前記表面を撮影するように構成された第2のカメラ(108)と
    を備えるモデリング構成(100)であって、
    前記第1のカメラ(104)と前記第2のカメラ(108)の光軸の相対的向き、および回折軸が知られるように較正され、前記第1のカメラ(104)および前記第2のカメラ(108)に対する前記構造的光源(102)の出力ポイントの位置、距離、および向きが知られている、モデリング構成(100)と、
    前記モデリング構成(100)に接続され、
    前記構造的光源(102)を制御して、モデリングすべき前記表面上に既知の幾何形状の前記回折パターンを生成すること、
    前記第1のカメラ(104)を用いて前記回折パターンを含む前記表面の第1のイメージを記録し、前記第2のカメラ(108)を用いて前記回折パターンを含む前記表面の第2のイメージをほぼ同時に記録すること、
    前記第1のイメージ内に見える前記回折パターンから1次ポイント(304)を含むポイントクラウド(306)を決定すること、
    前記第2のイメージから、対応する1次ポイントを識別すること、ならびに
    前記第1および第2のイメージ内の前記ポイントクラウド(306)の各1次ポイント(304)を、前記第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用すること
    を行うように構成される、制御システム(112)と
    を備える、モデリングシステム。
  8. 前記モデリング構成(100)に接続された前記制御システム(112)が、
    前記第1のイメージおよび前記第2のイメージを部分イメージのセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成することであって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ(400A、400B)が、前記ポイントクラウド(306)の同一の単一の1次ポイントを含む、形成すること、
    前記部分イメージ対(400A、400B)内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに
    前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算すること
    を行うようにさらに構成される、請求項7に記載のモデリングシステム。
  9. 前記制御システム(112)が、
    前記第1のイメージおよび前記第2のイメージを部分イメージのセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成することであって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ対(400A、400B)が、前記ポイントクラウド(306)の少なくとも3つの1次ポイントによって画定された閉じたエリアを含む、形成すること、
    前記部分イメージ対(400A、400B)内の前記閉じたエリア内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに
    前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算すること
    を行うようにさらに構成される、請求項7に記載のモデリングシステム。
  10. 前記制御システム(112)が、
    前記部分イメージ対から前記少なくとも3つの1次ポイントを除外し、
    前記少なくとも3つの1次ポイントがそれから除外された、前記第1のイメージの前記部分イメージ(400A)内の第1の最大輝度、および前記第2のイメージの前記部分イメージ(400B)内の第2の最大輝度を決定し、
    前記第1の最大輝度に基づいて前記第1のイメージの前記部分イメージ内の各ピクセルの輝度を正規化し、
    前記第2の最大輝度に基づいて前記第2のイメージの前記部分イメージ内の各ピクセルの輝度を正規化する
    ようにさらに構成される、請求項8または9に記載のモデリングシステム。
  11. 前記制御システム(112)が、
    各部分イメージ(400A)をサブブロック(604)に分割し、
    前記サブブロック(604)内の対応する2次ポイントを識別する
    ように構成される、請求項9または10に記載のモデリングシステム。
  12. 前記制御システム(112)が、
    前記第2のイメージの前記部分イメージ(400B)内の2次ポイントを探索することであって、前記2次ポイントが、前記第1のイメージの前記部分イメージ(400A)内の前記2次ポイントと前記第1のイメージの前記部分イメージ(400A)内の前記1次ポイント(402A)との間の距離とほぼ同一の、前記第2のイメージの前記部分イメージ(400B)内の前記1次ポイント(402B)からエピポーラ線に沿った距離を有する、前記第2のイメージの前記部分イメージ(400B)内の対応するエピポーラ線に沿った探索エリア内の、前記第1のイメージの対応する部分イメージ(400A)内の2次ポイントに対応する、探索すること
    を行うように構成される、請求項8から10のいずれか一項に記載のモデリングシステム。
  13. モデリング構成(100)の構造的光源(102)を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するための手段であって、前記回折パターンが数学的物理的モデルに正確に従い、前記回折パターンのビーム出力角が、前記数学的物理的モデルに基づいて正確に知られている、手段と、
    前記モデリング構成(100)の第1のカメラ(104)を用いて前記回折パターンを含む前記表面の第1のイメージを記録し、前記モデリング構成(100)の第2のカメラ(108)を用いて前記回折パターンを含む前記表面の第2のイメージをほぼ同時に記録するための手段であって、前記第1のカメラ(104)および前記第2のカメラ(108)が較正され、互いに対する位置が知られている、手段と、
    前記第1のイメージ内に見える前記回折パターンから1次ポイントを含むポイントクラウド(306)を決定するための手段と、
    前記第2のイメージから、対応する1次ポイントを識別するための手段と、
    前記第1および第2のイメージ内の前記ポイントクラウド（306）の各1次ポイントを、前記第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するための手段と
    を備える、装置(900)。
  14. 前記第1のイメージおよび前記第2のイメージを部分イメージ(302)のセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成するための手段であって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ(400A、400B)が、前記ポイントクラウド(306)の同一の単一の1次ポイント(304)を含む、手段と、
    前記部分イメージ対(400A、400B)内の対応する2次ポイントを識別するための手段であって、各2次ポイントがxおよびyイメージ座標を有する、手段と、
    前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するための手段と
    をさらに備える、請求項13に記載の装置(900)。
  15. 前記第1のイメージおよび前記第2のイメージを部分イメージ(302)のセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成するための手段であって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ対(400A、400B)が、前記ポイントクラウド(306)の少なくとも3つの1次ポイントによって画定された閉じたエリアを含む、手段と、
    前記部分イメージ対(400A、400B)内の前記閉じたエリア内の対応する2次ポイントを識別するための手段であって、各2次ポイントがxおよびyイメージ座標を有する、手段と、
    前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するための手段と
    をさらに備える、請求項13に記載の装置(900)。
  16. 前記部分イメージ対から前記少なくとも3つの1次ポイントを除外するための手段と、
    前記少なくとも3つの1次ポイントがそれから除外された、前記第1のイメージの前記部分イメージ(400A)内の第1の最大輝度、および前記第2のイメージの前記部分イメージ(400B)内の第2の最大輝度を決定するための手段と、
    前記第1の最大輝度に基づいて前記第1のイメージの前記部分イメージ内の各ピクセルの輝度を正規化するための手段と、
    前記第2の最大輝度に基づいて前記第2のイメージの前記部分イメージ内の各ピクセルの輝度を正規化するための手段と
    をさらに備える、請求項14または15に記載の装置(900)。
  17. 各部分イメージ(400A、400B)をサブブロック(604)に分割するための手段と、
    前記サブブロック(604)内の対応する2次ポイントを識別するための手段と
    をさらに備える、請求項14から16のいずれか一項に記載の装置(900)。
  18. 前記第2のイメージの前記部分イメージ(400B)内の2次ポイントを探索するための手段であって、前記2次ポイントが、前記第1のイメージの前記部分イメージ(400A)内の前記2次ポイントと前記第1のイメージの前記部分イメージ(400A)内の前記1次ポイント(402A)との間の距離とほぼ同一の、前記第2のイメージの前記部分イメージ内の前記1次ポイント(402B)からエピポーラ線に沿った距離を有する、前記第2のイメージの前記部分イメージ(400B)内の対応するエピポーラ線に沿った探索エリア内の、前記第1のイメージの対応する部分イメージ(400A)内の2次ポイントに対応する、手段
    をさらに備える、請求項14から16のいずれか一項に記載の装置(900)。
  19. 請求項1から6のいずれか一項に記載の方法を実施するように構成されたプログラムコードを含むコンピュータプログラムであって、前記プログラムコードが少なくとも1つのプロセッサによって実行される、コンピュータプログラム。
  20. 請求項1から6のいずれか一項に記載の方法を実施するように構成されたプログラムコードを含むコンピュータプログラムを含むコンピュータ可読媒体であって、前記プログラムコードが少なくとも1つのプロセッサによって実行される、コンピュータ可読媒体。
JP2021517916A 2018-06-07 2019-06-07 ３次元表面のトポグラフィのモデリング Active JP7439070B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20185522 2018-06-07
FI20185522A FI128523B (en) 2018-06-07 2018-06-07 Modeling of topography of a 3D surface
PCT/FI2019/050446 WO2019234307A1 (en) 2018-06-07 2019-06-07 Modeling the topography of a three-dimensional surface

Publications (2)

Publication Number Publication Date
JP2021527285A true JP2021527285A (ja) 2021-10-11
JP7439070B2 JP7439070B2 (ja) 2024-02-27

Family

ID=68769106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021517916A Active JP7439070B2 (ja) 2018-06-07 2019-06-07 ３次元表面のトポグラフィのモデリング

Country Status (7)

Country Link
US (1) US11561088B2 (ja)
EP (1) EP3803268A4 (ja)
JP (1) JP7439070B2 (ja)
KR (1) KR102561089B1 (ja)
CN (1) CN112243485B (ja)
FI (1) FI128523B (ja)
WO (1) WO2019234307A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038490A1 (en) * 2007-04-03 2013-02-14 Human Network Labs, Inc. Method and Apparatus for Acquiring Local Position and Overlaying Information
JP2013257162A (ja) * 2012-06-11 2013-12-26 Ricoh Co Ltd 測距装置
US20140037189A1 (en) * 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices
US20150339541A1 (en) * 2014-05-22 2015-11-26 Nokia Technologies Oy Point cloud matching method
JP2016537612A (ja) * 2013-09-25 2016-12-01 アールト コルケアコウルスエーティ モデリング構成及び三次元表面のトポグラフィーをモデリングする方法及びシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
CN103776392B (zh) 2006-11-21 2017-03-01 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN101373135B (zh) 2008-07-01 2010-06-23 南京航空航天大学 基于瞬时随机光照的三维曲面测量装置及方法
CN102661724B (zh) * 2012-04-10 2014-10-22 天津工业大学 应用于织物疵点在线检测的rgbpsp彩色三维重建方法
JP5816773B2 (ja) 2012-06-07 2015-11-18 ファロ テクノロジーズ インコーポレーテッド 取り外し可能なアクセサリーを備える座標測定マシン
US10268885B2 (en) * 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
GB2544935B (en) * 2014-09-10 2020-01-08 Faro Tech Inc Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
DE102015205187A1 (de) 2015-03-23 2016-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Projektion von Linienmustersequenzen
CN105091748B (zh) * 2015-05-29 2017-11-28 南京中车浦镇城轨车辆有限责任公司 轨道车辆公差尺寸测量系统
JP6566768B2 (ja) 2015-07-30 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US10136120B2 (en) 2016-04-15 2018-11-20 Microsoft Technology Licensing, Llc Depth sensing using structured illumination
CN106878697A (zh) 2016-06-29 2017-06-20 鲁班嫡系机器人 一种拍摄方法及其成像方法、装置和设备
US10074160B2 (en) * 2016-09-30 2018-09-11 Disney Enterprises, Inc. Point cloud noise and outlier removal for image-based 3D reconstruction
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
CN106840037A (zh) * 2017-01-17 2017-06-13 黑龙江科技大学 一种用于逆向工程的三维形貌数字化测量系统及方法
CN106802138B (zh) 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038490A1 (en) * 2007-04-03 2013-02-14 Human Network Labs, Inc. Method and Apparatus for Acquiring Local Position and Overlaying Information
JP2013257162A (ja) * 2012-06-11 2013-12-26 Ricoh Co Ltd 測距装置
US20140037189A1 (en) * 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices
JP2016537612A (ja) * 2013-09-25 2016-12-01 アールト コルケアコウルスエーティ モデリング構成及び三次元表面のトポグラフィーをモデリングする方法及びシステム
US20150339541A1 (en) * 2014-05-22 2015-11-26 Nokia Technologies Oy Point cloud matching method

Also Published As

Publication number Publication date
KR20210019486A (ko) 2021-02-22
KR102561089B1 (ko) 2023-07-27
FI128523B (en) 2020-07-15
CN112243485B (zh) 2023-09-12
WO2019234307A1 (en) 2019-12-12
EP3803268A4 (en) 2022-03-09
JP7439070B2 (ja) 2024-02-27
US20210247181A1 (en) 2021-08-12
US11561088B2 (en) 2023-01-24
CN112243485A (zh) 2021-01-19
FI20185522A1 (en) 2019-12-08
EP3803268A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
Kriegel et al. Efficient next-best-scan planning for autonomous 3D surface reconstruction of unknown objects
US8923603B2 (en) Non-contact measurement apparatus and method
US9182221B2 (en) Information processing apparatus and information processing method
US9275461B2 (en) Information processing apparatus, information processing method and storage medium
EP3049756B1 (en) Modeling arrangement and method and system for modeling the topography of a three-dimensional surface
JP2016075637A (ja) 情報処理装置およびその方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
US20150362310A1 (en) Shape examination method and device therefor
WO2018107427A1 (zh) 相位映射辅助三维成像系统快速对应点匹配的方法及装置
JP7330970B2 (ja) コンピュータ生成された参照物体を有するマシンビジョンシステム
JP2002202122A (ja) ２次元距離画像センサのキャリブレーション方法
JP6237032B2 (ja) 色と三次元形状の計測方法及び装置
Jin et al. Accurate intrinsic calibration of depth camera with cuboids
Rodríguez Online self-calibration for mobile vision based on laser imaging and computer algorithms
JP7439070B2 (ja) ３次元表面のトポグラフィのモデリング
Breuckmann et al. 3D-metrologies for industrial applications
Tang et al. 3-step-calibration of 3D vision measurement system based-on structured light
CN115900588A (zh) 一种基于结构光三维扫描快速准确进行冰箱容积测量的方法
JPH08285529A (ja) ３次元位置計測方法
CN118314277A (en) Method and system for three-dimensional reconstruction of target object through mechanical arm
Rövid et al. 3D Measurement System for Car Deformation Analysis

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20210104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220607

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230417

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230712

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7439070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150