JP2013525821A - 構造化光測定方法及びシステム - Google Patents

構造化光測定方法及びシステム Download PDF

Info

Publication number
JP2013525821A
JP2013525821A JP2013509420A JP2013509420A JP2013525821A JP 2013525821 A JP2013525821 A JP 2013525821A JP 2013509420 A JP2013509420 A JP 2013509420A JP 2013509420 A JP2013509420 A JP 2013509420A JP 2013525821 A JP2013525821 A JP 2013525821A
Authority
JP
Japan
Prior art keywords
camera
matching
laser
point
imaging position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013509420A
Other languages
English (en)
Other versions
JP5567738B2 (ja
Inventor
丹▲い▼ 師
迪 呉
文闖 趙
▲き▼ 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Taishan Online Tech Co Ltd
Original Assignee
Shenzhen Taishan Online Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Taishan Online Tech Co Ltd filed Critical Shenzhen Taishan Online Tech Co Ltd
Publication of JP2013525821A publication Critical patent/JP2013525821A/ja
Application granted granted Critical
Publication of JP5567738B2 publication Critical patent/JP5567738B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Abstract

【課題】本発明は従来技術の前記構造化光測定システムの測定精度が低い欠陥に対して、構造化光測定方法及び該方法を応用した構造化光測定システムに関する。
【解決手段】レーザーポイントの第一のカメラ(21)における結像位置を利用して標定データベースの第一対応関係に従ってレーザーポイントの番号及び低精度深度を得、候補マッチングポイントを取得するように前記レーザーポイントの番号及び低精度深度によって前記レーザーポイントの第二のカメラ(22)における結像位置を検索し、前記第一のカメラ(21)の結像位置及び前記第一のカメラ(21)の結像位置の前記第二のカメラ(22)における候補マッチングポイントによってマッチングを完成し、マッチング結果を得るマッチング過程と、マッチング結果により前記第一のカメラ(21)の結像位置とマッチングする前記第二のカメラ(22)の結像位置を得、さらに前記標定データベースにおける第二対応関係に従って前記レーザーポイントの高精度位置を確定する計算過程とを含む構造化光測定方法である。前記測定方法を応用した構造化光測定システムである。
【選択図】図1

Description

本発明は、構造化光測定方法及び該方法を応用した構造化光測定システムに関し、さらに詳しくは、高測定精度の構造化光測定方法及び該方法を応用した構造化光測定システムに関する。
構造化光測定システムにおいて、光束ポイント及び対応するz座標さえ知れば、物体表面と該光束との交点の座標を解く。そのため、構造化光測定システムは、標定する時、隣接する構造化光束のビデオカメラにおける結像分布には重なる領域がないことを保証して光束の確定を便利にし、同時に異なる深度(Z座標)で相応する結像位置を記録する。実際の測定において、1つの結像点を既知すると、迅速にそれに対応する光束を確定でき、確定方法は該結像位置から最も近い標定結像点に対応する光束を求めることである。該結像点に対応する3D座標を求める際に、補間を採用して解決することができる。既存の構造化光測定システムにおいて、任意の2つの光束の異なる深度の結像分布には重なる領域がないことを保証するために、光束の結像分布が比較的に集中し、即ち小さい結像変位が大きい物理的深度差に対応することを要求し、これはその測定精度が低いことをもたらす。
本発明が解決しようとする技術的課題は、従来技術の前記構造化光測定システムの測定精度が低い欠陥に対して、構造化光測定方法及び該方法を応用した構造化光測定システムを提供することである。
本発明がその技術的課題を解決するために採用する技術案は、
レーザーポイントの第一のカメラにおける結像位置を利用して標定データベースの第一対応関係に従ってレーザーポイントの番号及び低精度深度を得、候補マッチングポイントを取得するように前記レーザーポイントの番号及び低精度深度により前記レーザーポイントの前記第二のカメラにおける結像位置を検索し、前記第一のカメラにおける結像位置及び前記第一のカメラにおける結像位置の前記第二のカメラにおける候補マッチングポイントによりマッチングを完成し、マッチング結果を得るマッチング過程と、
マッチング結果により前記第一のカメラにおける結像位置とマッチングする前記第二のカメラの結像位置を得、さらに前記標定データベースにおける第二対応関係に従って前記レーザーポイントの高精度位置を確定する計算過程とを含む構造化光測定方法である。
本発明による前記構造化光測定方法では、前記標定データベースは、各レーザーポイントの第一のカメラにおける結像位置と前記レーザーポイントの番号及び低精度深度との第一対応関係を標定し、各レーザーポイントの第二のカメラにおける結像位置と前記レーザーポイントの番号及び高精度深度との第二対応関係を標定し、標定された第一対応関係と第二対応関係とをメモリに記憶して前記標定データベースを形成し、前記標定データベースが前記マッチング過程と前記計算過程に用いられる標定過程により取得される。
本発明による前記構造化光測定方法では、標定過程において、レーザー出口と前記第一のカメラとの相対位置を調整することにより任意の2つの前記レーザーポイントの前記第一のカメラにおける結像位置を間隔させる。
本発明による前記構造化光測定方法では、前記第二のカメラと前記レーザー出口との距離は前記第一のカメラと前記レーザー出口との距離より大きい。
本発明による前記構造化光測定方法では、幾何的領域で1つの前記レーザーポイントの異なる深度の結像位置を囲んで前記標定過程と前記マッチング過程を行う。
本発明による前記構造化光測定方法では、計算過程において、前記第二のカメラにおける結像位置と高精度深度に対して補間の方法で前記レーザーポイントの高精度位置を取得する。
本発明による前記構造化光測定方法では、前記マッチング過程における前記第一のカメラにおける結像位置及び前記第一のカメラにおける結像位置の前記第二のカメラにおける候補マッチングポイントによりマッチングを完成する工程は、レーザーポイント結像輝度の相違によって基準マッチング対を探す工程と、基準マッチング対を利用して最適なマッチングポイントを解く工程とを含む。
本発明による前記構造化光測定方法では、前記マッチング過程における前記第一のカメラにおける結像位置及び前記第一のカメラにおける結像位置の前記第二のカメラにおける候補マッチングポイントによってマッチングを完成する工程は、前記のレーザーポイント結像輝度の相違によって基準マッチング対を探す工程の前に、さらに、候補マッチングポイントを3次元再構築して候補マッチングポイントの深度値を得る工程と、候補マッチングポイントの深度値により候補マッチングポイントを初歩的に選別する工程とを含む。
処理システムと結像システムと投影システムとを備える構造化光測定システムであって、前記結像システムは第一のカメラと第二のカメラを備え、前記投影システムはレーザーを発生するレーザー発生器を備え、前記処理システムはマッチングモジュールと計算モジュールを備え、
前記マッチングモジュールは、レーザーポイントの第一のカメラにおける結像位置を利用して標定データベースの第一対応関係に従ってレーザーポイントの番号及び低精度深度を得、前記レーザーポイントの番号及び低精度深度によって前記レーザーポイントの前記第二のカメラにおける結像位置を検索して候補マッチングポイントを取得し、前記第一のカメラにおける結像位置及び前記第一のカメラにおける結像位置の前記第二のカメラにおける候補マッチングポイントによりマッチングを完成し、マッチング結果を得るためのものであり、
前記計算モジュールは、マッチング結果により前記第一のカメラにおける結像位置とマッチングする前記第二のカメラの結像位置を得、さらに前記標定データベースにおける第二対応関係に従って前記レーザーポイントの高精度位置を確定するためのものである。
本発明による前記構造化光測定システムでは、前記標定データベースは標定モジュールを使用して以下の方法にて取得され、この方法において、各レーザーポイントの第一のカメラにおける結像位置と前記レーザーポイントの番号及び低精度深度との第一対応関係を標定し、各レーザーポイントの第二のカメラにおける結像位置と前記レーザーポイントの番号及び高精度深度との第二対応関係を標定し、標定された第一対応関係と第二対応関係とをメモリに記憶して前記標定データベースを形成し、前記標定データベースが前記マッチング過程と前記計算過程に用いられる。
本発明による前記構造化光測定システムでは、前記標定モジュールが標定を行う時、レーザー出口と前記第一のカメラとの相対位置を調整することにより、任意の2つの前記レーザーポイントの前記第一のカメラにおける結像位置を間隔させる。
本発明による前記構造化光測定システムでは、前記第二のカメラと前記レーザー出口との距離は前記第一のカメラと前記レーザー出口との距離より大きい。
本発明による前記構造化光測定システムでは、幾何的領域で1つの前記レーザーポイントの異なる深度の結像位置を囲んで前記標定モジュールと前記マッチングモジュールの機能を実現する。
本発明による前記構造化光測定システムでは、計算過程において、前記第二のカメラの結像位置と高精度深度に対して、補間の方法で前記レーザーポイントの高精度位置を取得する。
本発明による前記構造化光測定システムでは、前記マッチングモジュールにおける前記第一のカメラにおける結像位置及び前記第一のカメラにおける結像位置の前記第二のカメラにおける候補マッチングポイントにより完成するマッチングは、レーザーポイント結像輝度の相違によって基準マッチング対を探す手段と、基準マッチング対を利用して最適なマッチングポイントを解く手段とを含む。
本発明による前記構造化光測定システムでは、前記のレーザーポイント結像輝度の相違によって基準マッチング対を探す前に、前記マッチングモジュールにおける前記第一のカメラにおける結像位置及び前記第一のカメラにおける結像位置の前記第二のカメラにおける候補マッチングポイントにより完成するマッチングは、さらに、候補マッチングポイントを3次元再構築して候補マッチングポイントの深度値を得る手段と、候補マッチングポイントの深度値によって候補マッチングポイントを初歩的に選別する手段とを含む。
本発明による構造化光測定方法を実施すること及び該方法を応用した構造化光測定システムによれば、従来の構造化光の上に1つの精測定の第二のカメラを増加し、該システムの測定精度を大幅に向上させるという有益的な効果を奏している。
標定過程によって標定データベースを構成して構造化光測定過程をさらに簡単化させ、正確にする。任意の2つのレーザーポイントの前記第一のカメラにおける結像位置は互いに間隔して設置されることは、標定過程において被測物体に照射するそれぞれのレーザーポイントの第一のカメラにおける結像位置と深度との対応関係の正確度を保証できる。前記第二のカメラと前記レーザー出口との距離は前記第一のカメラと前記レーザー出口との距離より大きく、第二のカメラが第一のカメラよりさらなる精確の結像位置と深度との対応関係を与えられることができる。幾何的領域で1つのレーザーポイントの異なる深度の結像位置を囲んで前記標定過程と前記マッチング過程を行い、マッチング速度を速めることができる。計算過程において、第二のカメラの結像位置と深度序列に対して補間の方法を使用してレーザーポイントの高精度位置を取得し、複数個の精確の被測物体の深度値を得られる。前記マッチング過程における前記第一のカメラにおける結像位置序列及びその前記第二のカメラにおける候補マッチングポイントによりマッチングを完成する過程は、マッチング結果を容易で便利に取得することできるようになる。
図面及び実施例を参照して本発明をさらに説明し、図面において、
図1は本発明による構造化光測定システムの好ましい実施例の構成概略図である。 図2は本発明による構造化光測定システムの好ましい実施例のレーザーポイントの第一のカメラにおける結像概略図である。 図3は本発明による構造化光測定システムの好ましい実施例のレーザーポイントの第一のカメラにおける結像領域区画図である。 図4は本発明による構造化光測定システムの好ましい実施例のレーザーポイントの第二のカメラにおける隣接点の結像概略図である。 図5は本発明による構造化光測定システムの好ましい実施例のレーザーポイントの第二のカメラにおける隣接点の結像領域区画図である。 図6は本発明による構造化光測定システムの好ましい実施例の構成概略図である。 図7は本発明による構造化光測定システムの好ましい実施例の構成概略図である。
図面を参照して本発明の好ましい実施例を詳しく説明する。
図1に示すように、本発明の構造化光測定方法において、マッチング過程と計算過程を備え、マッチング過程と計算過程に使用する必要がある標定データベースが標定過程によって得られる。
標定過程において、
まず、それぞれのレーザーポイントの第一のカメラ21における結像位置とレーザーポイントの番号及び低精度深度との第一対応関係を標定し、第一のカメラ21に対して、深度を
Figure 2013525821
とする時、レーザーポイントiの第一のカメラ21における結像位置は、
Figure 2013525821
であり、レーザー出口31(図6に示すように)の第一のカメラ21に対する位置を調整することにより、任意の2つのレーザーポイント結像分布には交差する領域又は互いに間隔する領域がないことを保証し、該過程結像概略図は、図2に示す。図2において、それぞれの互いに重なり合わない点集合は1つのレーザーポイントの異なる深度の結像分布を代表し、点集合におけるそれぞれの点は該点集合に対応するレーザーポイントの異なる深度の結像位置を代表し、その時、第i個のレーザーポイントに対して、記録する必要があるデータは
Figure 2013525821
であり、ただし、
Figure 2013525821
は第i個のレーザーポイントの異なる深度を標定する画像の数である。実際中、マッチング速度を速めるために、規則的な幾何的領域で前記点集合を囲んでもよく、幾何的領域の形状は矩形、楕円などの規則的な形であってもよく、その時、第i個のレーザーポイントに対して記録する必要があるデータは
Figure 2013525821
であり、ただし、
Figure 2013525821
は第i個のレーザーポイントの異なる深度を標定する画像の数であり、
Figure 2013525821
は領域区画のパラメータであり、矩形区画に対して、矩形の頂点における横、縦座標の極大値、極小値を記録し、楕円形区画に対して、楕円の中心点と長短軸を記録する。方形領域区画概略図は図3に示す。
次に、それぞれのレーザーポイントの第二のカメラ22における結像位置と前記レーザーポイントの番号及び高精度深度との第二対応関係を標定し、第二のカメラ22に対して、深度を
Figure 2013525821
とすると、レーザーポイントiの第二のカメラ22における結像位置は
Figure 2013525821
である時、第i個のレーザーポイントに対して、記録する必要があるデータは
Figure 2013525821
であり、ただし、
Figure 2013525821
は第i個のレーザーポイントを標定する実験データの数である。なお、2個のレーザーポイントの結像位置分布は交差する可能性があり、その概略図は図4に示す。実際中、マッチング速度を速めるために、規則的な幾何的領域で前記点集合を囲んでもよいである。幾何的領域の形状は矩形、楕円などの規則的な形であってもよく、その時、第i個のレーザーポイントに対して記録する必要があるデータは
Figure 2013525821
であり、ただし、
Figure 2013525821
は第i個のレーザーポイントを標定する実験データの数であり、
Figure 2013525821
は領域区画のパラメータであり、矩形区画に対して、矩形の頂点における横、縦座標の極大値、極小値を記録し、楕円形区画に対して、楕円の中心点と長短軸を記録する。方形領域区画を例として、方形領域区画概略図は図5に示す。
マッチング過程において、
第一のカメラ21における結像位置序列を
Figure 2013525821
とし、第二のカメラ22における結像位置序列を
Figure 2013525821
とし、第一のカメラ21における結像位置
Figure 2013525821
に対して、その第二のカメラ22における結像位置序列における可能性のあるマッチングポイントを求める。その過程は、以下の通りである。
(1)、第一のカメラ21における結像位置と第一のカメラ21の記録表に従ってレーザーポイントの番号及び低精度深度を確定する。
第一のカメラ21に対して、それぞれのレーザーポイント結像点集合は互いに重なり合わない又は互いに間隔するため、第一のカメラ21における結像位置
Figure 2013525821
によって直ちに該位置の対応するレーザーポイントの番号及び低精度深度(即ち第一対応関係)を判断できる。
標定する時の記録表のデータによって、判断方法は以下の通りである。
A、幾何的領域で点集合を囲まない場合
第一のカメラ21における結像位置を
Figure 2013525821
とし、記録表を検索し、リスト項目において結像位置
Figure 2013525821

Figure 2013525821
は類似度が最大のリスト項目、即ち、
Figure 2013525821
を見つける。
類似度計算は距離類似度
Figure 2013525821
であってもよい。
B、幾何的領域で点集合を囲む場合
記録表を検索し、
Figure 2013525821
が位置する区画領域におけるリスト項目、即ち、
Figure 2013525821
を見つける。
矩形領域を例として、
Figure 2013525821

Figure 2013525821
であり、
Figure 2013525821
、且つ
Figure 2013525821
を満足すべきである。
(2)、前記の得られたレーザーポイントの番号と該レーザーポイントの第一のカメラ21における結像位置の番号によって、該レーザーポイントの第二のカメラ22における結像分布を検索し、分布情况に従って候補マッチングポイントを取得する。
レーザーポイント番号と該レーザーポイントの第一のカメラ21における結像位置の番号をそれぞれIndexとTと記し、第一のカメラ21の標定データから得られた標定点データは、
Figure 2013525821
である。
検索して得られたレーザーポイントの第二のカメラ22における標定結像分布序列は、
Figure 2013525821
であり、レーザーポイントIndexの第二のカメラ22における標定結像分布序列から候補標定点を見つけ、検索方法は、以下の通りである。
深度が
Figure 2013525821
を中心とするある範囲内にある標定点、即ち、
Figure 2013525821
を取得し
ここのdは人為的に設定されたマッチング捜索区域である。
第二のカメラ22において条件を満足する標定点番号序列を、
Figure 2013525821
とし、序列におけるそれぞれの点に対して、第二のカメラ22における結像位置
Figure 2013525821
において、類似度が要求を満足する点を求める。
標定する時の記録表のデータによって、判断方法は、以下の通りである。
A、幾何的領域で点集合を囲まない場合、
第二のカメラ22において条件を満足する標定結像序列にけるそれぞれの標定点
Figure 2013525821
に対して、結像序列
Figure 2013525821
から類似度が要求を満足する点を見つけて候補点とする。
前記類似度計算は距離類似度
Figure 2013525821
であってもよく、
条件はR≧Thresholdであり、ここのThresholdは予めに設定された値である。
B、幾何的領域で点集合を囲む場合
結像序列
Figure 2013525821
から区画領域
Figure 2013525821
に落ちる結像点。
矩形領域を例とし、
Figure 2013525821

Figure 2013525821
であり、
Figure 2013525821
、且つ
Figure 2013525821
を満足すべきである。
(3)、第一のカメラ21における結像位置序列
Figure 2013525821
とその第二のカメラ22における候補マッチングポイントを既知し、マッチングを完成する。
そのステップの前、第一のカメラ21が撮影したレーザー点列の深度の初歩的な測定を完成し、第二のカメラ22の点列から候補マッチングポイントを見つけた。第一のカメラ21におけるある点
Figure 2013525821
に対して、仮に該点の第一のカメラ21において求めた深度値が
Figure 2013525821
であるとし、該点の第二のカメラ22における候補マッチングポイントは
Figure 2013525821
(3個の候補点を例とするが3個に限られない)であり、本段階では、解決する必要がある課題はこれらの候補点から点
Figure 2013525821
の最適なマッチングを見つけることである。
A、候補点3次元再構築
まず、利用できるのは二眼式立体視技術である。第一のカメラ21と第二のカメラ22に対して二眼式標定を行なった後、高精度の3次元再構築を完成できる。仮にそれぞれ
Figure 2013525821
及び
Figure 2013525821
をペアにすれば、3次元再構築を行い、三つの深度値
Figure 2013525821
を得られる。
B、深度により選別する
その後、
Figure 2013525821
を利用して3個の深度値を初歩的に選別し、仮に第一のカメラ21によって測定された
Figure 2013525821
の測定精度がdとすると、
Figure 2013525821
範囲を超えた深度値に対応する候補点が取り除かれる。また、異なる応用場合に対して、撮影されたシーンの深度範囲が有限であると、さらに再構築した深度値に許可変動範囲、例えば、1〜5メートルを設定して選別を行ってもよい。説明を便利にするために、仮にこのステップにより点
Figure 2013525821
が取り除かれる。
C、基準マッチング対を探す
次に、残った候補マッチングポイントから、点
Figure 2013525821
に最適なマッチングを見つける必要がある。前記事情を例とし、
Figure 2013525821
から1つの最適なマッチングポイントを見つける必要がある。これは比較的に困難な課題であり、2つの点がともに精度要求を満足し、ともに
Figure 2013525821
精度よりさらに高い測定値となるからである。従って、レーザーポイントのカメラにおける結像位置によって考慮して選別する。このようにして、第一のカメラ21と第二のカメラ22から一組の信頼できる基準マッチング対を見つける必要があると考えられる。
レーザー出口31が2つのカメラの間に置かれる時、公共の視野が大きいため、この様子を選択する。通常、規則的なレーザー点列はいずれもスポット光源を干渉回折した重ね合わせ産物である。1つの重要な特徴は、光源中心に近い点が多く干渉されるため、輝度が明らかに周辺の点より高く、結像に反映すると、点の結像面積は周辺の点より大きい。この特徴を利用し、その上2つのカメラの公共結像の視野が大きいことを加えて、1つの統計方法を採用して信頼できる基準マッチング対が探される。
第一のカメラ21と第二のカメラ22の2つの画像において、それぞれ結像された光点に面積の大きさによって順序付け、前列にある固定数のN個の光点を選択し、これらの光点の幾何学的な中心位置を計算し、最後にはこの幾何学的な中心によってこの位置にもっとも近い光点を探し、第一のカメラ21と第二のカメラ22における2つの光点を得て信頼できる基準マッチングとする。
ここで説明する必要があるのは、このような基準マッチングポイントの選択方法は、必ずしもy方向における信頼性を保証できず、中心領域に近づく時、同一の縦線にあるいくつ列の明るいスポットは比較的に類似されている。しかし、X方向で高い信頼性を有し、水平方向の輝度の違いは比較的に大きいからで、統計によって完全に中心ハイライト領域のX値を得られる。幸いなことに、y方向にエピポーラ拘束を利用してもよく、そして、事実的には、照射したのは、比較的に規則的なレーザードットアレイであるため、標定して選択したこれらの候補点は通常ともに同じ水平線の上下にあるもので、そのy値はいずれも非常に接近しているため、y方向に選別する必要がない。
D、基準マッチングを利用して最適なマッチングポイントを求める
仮に得られた基準マッチング対は
Figure 2013525821
とすると、残る仕事が簡単になる。前記の分析により、X方向にのみ比較すればよく、即ち、
Figure 2013525821
及び
Figure 2013525821
を比較すればよく、
Figure 2013525821
に最も近い値は、X方向に第二のカメラ22においてその候補点から基準マッチングポイントまにおける距離と第一のカメラ21において
Figure 2013525821
から対応の基準マッチングポイントまでの距離が最も近いことを意味し、この候補マッチングポイントは即ち考えられる最適なマッチングポイントであり、ここで点
Figure 2013525821
が選定されたとする。以上のように、第一のカメラ21の結像位置から第二のカメラ22の結像位置へのマッチングを完成し、
Figure 2013525821
は即ち、第一のカメラ21における点
Figure 2013525821
の更なる高精度の深度値である。
前記A、Bステップは粗選別のステップであるため、クライアント又は実際の必要に従って選択的に実行することができる。
同時に、通用の割当アルゴリズムにより既知した第一のカメラ21における結像位置序列
Figure 2013525821
及びその第二のカメラ22における候補マッチングポイントのマッチングを完成し、アルゴリズムは、以下の通りである。
Figure 2013525821
を2つの2Dフラグシーケンスとし、まず類似性マトリックス
Figure 2013525821
を求め、ここで、
Figure 2013525821
はpとqの類似性を示し、総類似度Fは、
Figure 2013525821
と定義され、
ただし、
Figure 2013525821
であり、xijは0又は1である。ただし、xijはM*Nのマトリックスである。
ijを変更することにより、総類似度Fの最大値を求め、もしXij=lであると、pとqがペアになると判定し、逆にマッチングしないと考える。
前記のマッチング過程では、仮に任意pと任意qはいずれもマッチングする可能性があるとするため、演算量は比較的に大きい。該課題はN−P難題に属し、該課題に対して多くの最適化なアルゴリズムを有し、しかし、すべての最適化なアルゴリズムの演算量はいずれも類似性マトリックスCの寸法の増大につれて急激に増大する。
類似性マトリックスCは下記の特徴を有する時、
Figure 2013525821
の時、該課題はそれぞれAとBに対して前記処理を行うことに簡単化されることができ、演算量は大幅に減少し、A、Bはマトリックスである。そのため、実際の運行中、普通は各種の拘束によりCに
Figure 2013525821
の様子を有させる。常用拘束条件は立体視覚システムのエピポーラ拘束、結像類似性等の拘束条件を有する。
類似性マトリックスCを計算し、類似性は結像面積、結像長軸、短軸などのプロパティであってもよく、立体視覚システムのエピポーラなどの情報を融合してもよく、これらは従業員が実現できる技術であり、詳しく説明しない。
Cはたとえば
Figure 2013525821
の形式であり、それぞれAとBを処理する。AとBの処理方法は従来の技術、例えばハンガリーアルゴリズム、分枝限定法などを採用することができる。
計算過程において、
マッチング結果により、レーザーポイントの高精度位置を確定する。
レーザーポイントの番号と低精度深度を既知し、第二のカメラ22の結像位置を得、標定過程において得られたレーザーポイントの第二のカメラ22における結像位置と該レーザーポイントの番号及び高精度深度との第二対応関係に従って、補間の方法により高精度位置を取得する。
図6、7に示すように、第二のカメラ22とレーザー出口31との距離は第一のカメラ21とレーザー出口31との距離より大きく、且つレーザー出口31は第一のカメラ21の第二のカメラ22と対向する側にあり、又はレーザー出口31は第一のカメラ21と第二のカメラ22との間にある。図6に示すように、レーザー出口は第一のカメラ21の第二のカメラ22と対向する側にあり、且つ第二のカメラ22とレーザー出口31との距離が第一のカメラ21とレーザー出口31との距離より大きいことを保証し、図7に示すように、レーザー出口31は第一のカメラ21と第二のカメラ22との間にあり、且つ第二のカメラ22とレーザー出口31との距離は第一のカメラ21とレーザー出口31との距離より大きく、このようにして第二のカメラ22が第一のカメラ21よりさらなる精確の結像位置と深度との対応関係を与えられることを保証でき、且つ実際の状況に従って第二のカメラ22の精度を調整することができる。もちろん、第二のカメラ22とレーザー出口31の距離が第一のカメラ21とレーザー出口31との距離より大きいことを保証する上で、レーザー出口31はクライアントに要求されるほかの位置にあってもよい。
以上は本発明の実施例に過ぎず、本発明の特許請求の範囲を限定するわけではなく、本発明の明細書及び図面内容を利用して行った等価の構成変換、或いは直接又は間接にそのほかの関連する技術分野に応用することは、いずれも同理に本発明の特許請求の範囲に含められる。

Claims (16)

  1. レーザーポイントの第一のカメラ(21)における結像位置を利用して標定データベースの第一対応関係に従ってレーザーポイントの番号及び低精度深度を得、候補マッチングポイントを取得するように前記レーザーポイントの番号及び低精度深度により前記レーザーポイントの前記第二のカメラ(22)における結像位置を検索し、前記第一のカメラ(21)における結像位置及び前記第一のカメラ(21)における結像位置の前記第二のカメラ(22)における候補マッチングポイントによりマッチングを完成し、マッチング結果を得るマッチング過程と、
    マッチング結果によって前記第一のカメラ(21)における結像位置とマッチングする前記第二のカメラ(22)における結像位置を得、さらに前記標定データベースにおける第二対応関係に従って前記レーザーポイントの高精度位置を確定する計算過程とを含むことを特徴とする構造化光測定方法。
  2. 前記標定データベースは、各レーザーポイントの第一のカメラ(21)における結像位置と前記レーザーポイントの番号及び低精度深度との第一対応関係を標定し、各レーザーポイントの第二のカメラ(22)における結像位置と前記レーザーポイントの番号及び高精度深度との第二対応関係を標定し、標定された第一対応関係と第二対応関係とをメモリに記憶して前記標定データベースを形成し、前記標定データベースが前記マッチング過程と前記計算過程に用いられる標定過程により取得されることを特徴とする請求項1に記載の構造化光測定方法。
  3. 標定過程において、レーザー出口(31)と前記第一のカメラ(21)との相対位置を調整することにより任意の2つの前記レーザーポイントの前記第一のカメラ(21)における結像位置を間隔させることを特徴とする請求項2に記載の構造化光測定方法。
  4. 前記第二のカメラ(22)と前記レーザー出口(31)との距離は前記第一のカメラ(21)と前記レーザー出口(31)との距離より大きいことを特徴とする請求項3に記載の構造化光測定方法。
  5. 幾何的領域で1つの前記レーザーポイントの異なる深度の結像位置を囲んで前記標定過程と前記マッチング過程を行うことを特徴とする請求項2に記載の構造化光測定方法。
  6. 計算過程において、前記第二のカメラ(22)における結像位置と高精度深度に対して、補間の方法で前記レーザーポイントの高精度位置を取得することを特徴とする請求項2に記載の構造化光測定方法。
  7. 前記マッチング過程における前記第一のカメラ(21)における結像位置及び前記第一のカメラ(21)における結像位置の前記第二のカメラ(22)における候補マッチングポイントによりマッチングを完成する工程は、レーザーポイント結像輝度の相違によって基準マッチング対を探す工程と、基準マッチング対を利用して最適なマッチングポイントを解く工程とを含むことを特徴とする請求項1に記載の構造化光測定方法。
  8. 前記のレーザーポイント結像輝度の相違によって基準マッチング対を探す工程の前に、前記マッチング過程における前記第一のカメラ(21)における結像位置及び前記第一のカメラ(21)における結像位置の前記第二のカメラ(22)における候補マッチングポイントによってマッチングを完成する工程は、さらに、
    候補マッチングポイントを3次元再構築して候補マッチングポイントの深度値を得る工程と、
    候補マッチングポイントの深度値により候補マッチングポイントを初歩的に選別する工程とを含むことを特徴とする請求項7に記載の構造化光測定方法。
  9. 処理システム(1)と結像システム(2)と投影システム(3)とを備える構造化光測定システムであって、前記結像システム(2)は第一のカメラ(21)と第二のカメラ(22)を備え、前記投影システム(3)はレーザーを発生するレーザー発生器を備え、前記処理システム(1)はマッチングモジュールと計算モジュールを備え、
    前記マッチングモジュールは、レーザーポイントの第一のカメラ(21)における結像位置を利用して標定データベースの第一対応関係に従ってレーザーポイントの番号及び低精度深度を得、前記レーザーポイントの番号及び低精度深度によって前記レーザーポイントの前記第二のカメラ(22)における結像位置を検索して候補マッチングポイントを取得し、前記第一のカメラ(21)における結像位置及び前記第一のカメラ(21)における結像位置の前記第二のカメラ(22)における候補マッチングポイントによりマッチングを完成し、マッチング結果を得るためのものであり、
    前記計算モジュールは、マッチング結果により前記第一のカメラ(21)における結像位置とマッチングする前記第二のカメラ(22)における結像位置を得、さらに前記標定データベースにおける第二対応関係に従って前記レーザーポイントの高精度位置を確定するためのものであることを特徴とする構造化光測定システム。
  10. 前記標定データベースは標定モジュールを使用して以下の方法にて取得され、
    この方法において、各レーザーポイントの第一のカメラ(21)における結像位置と前記レーザーポイントの番号及び低精度深度との第一対応関係を標定し、各レーザーポイントの第二のカメラ(22)における結像位置と前記レーザーポイントの番号及び高精度深度との第二対応関係を標定し、標定された第一対応関係と第二対応関係とをメモリに記憶して前記標定データベースを形成し、前記標定データベースが前記マッチング過程と前記計算過程に用いられることを特徴とする請求項9に記載の構造化光測定システム。
  11. 前記標定モジュールが標定を行う時、レーザー出口(31)と前記第一のカメラ(21)との相対位置を調整することにより、任意の2つの前記レーザーポイントの前記第一のカメラ(21)における結像位置を間隔させることを特徴とする請求項10に記載の構造化光測定システム。
  12. 前記第二のカメラ(22)と前記レーザー出口(31)との距離は前記第一のカメラ(21)と前記レーザー出口(31)との距離より大きいことを特徴とする請求項11に記載の構造化光測定システム。
  13. 幾何的領域で1つの前記レーザーポイントの異なる深度の結像位置を囲んで前記標定モジュールと前記マッチングモジュールの機能を実現することを特徴とする請求項10に記載の構造化光測定システム。
  14. 計算過程において、前記第二のカメラ(22)における結像位置と高精度深度に対して、補間の方法で前記レーザーポイントの高精度位置を取得することを特徴とする請求項10に記載の構造化光測定システム。
  15. 前記マッチングモジュールにおける前記第一のカメラ(21)における結像位置及び前記第一のカメラ(21)における結像位置の前記第二のカメラ(22)における候補マッチングポイントにより完成するマッチングは、
    レーザーポイント結像輝度の相違によって基準マッチング対を探す手段と、
    基準マッチング対を利用して最適なマッチングポイントを解く手段とを含むことを特徴とする請求項9に記載の構造化光測定システム。
  16. 前記のレーザーポイント結像輝度の相違によって基準マッチング対を探す前に、前記マッチングモジュールにおける前記第一のカメラ(21)における結像位置及び前記第一のカメラ(21)における結像位置の前記第二のカメラ(22)における候補マッチングポイントにより完成するマッチングは、さらに、
    候補マッチングポイントを3次元再構築して候補マッチングポイントの深度値を得る手段と、
    候補マッチングポイントの深度値によって候補マッチングポイントを初歩的に選別する手段とを含むことを特徴とする請求項15に記載の構造化光測定システム。
JP2013509420A 2010-05-07 2010-05-07 構造化光測定方法及びシステム Active JP5567738B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/072528 WO2011137596A1 (zh) 2010-05-07 2010-05-07 结构光测量方法以及系统

Publications (2)

Publication Number Publication Date
JP2013525821A true JP2013525821A (ja) 2013-06-20
JP5567738B2 JP5567738B2 (ja) 2014-08-06

Family

ID=44903583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013509420A Active JP5567738B2 (ja) 2010-05-07 2010-05-07 構造化光測定方法及びシステム

Country Status (6)

Country Link
US (1) US9360307B2 (ja)
EP (1) EP2568253B1 (ja)
JP (1) JP5567738B2 (ja)
CN (1) CN102884397B (ja)
AU (1) AU2010352828B2 (ja)
WO (1) WO2011137596A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918031B (zh) * 2014-03-10 2018-08-07 联想(北京)有限公司 深度恢复设备和方法
CN103942802A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 基于随机模板的结构光动态场景深度获取方法
DE102014113389A1 (de) * 2014-09-17 2016-03-17 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Identifizieren von Strukturelementen eines projizierten Strukturmusters in Kamerabildern
CN106289092B (zh) * 2015-05-15 2020-10-27 高准国际科技有限公司 光学装置及其发光装置
CN105578173A (zh) * 2016-02-20 2016-05-11 深圳市晶源动力科技有限公司 一种快速三维空间投影摄像视觉识别系统
CN106767707B (zh) * 2016-12-16 2019-06-04 中南大学 一种基于结构光的储物状态检测方法及系统
CN108267097B (zh) * 2017-07-17 2020-07-10 先临三维科技股份有限公司 基于双目三维扫描系统的三维重构方法和装置
CN107860337B (zh) * 2017-10-11 2020-03-24 华天科技(昆山)电子有限公司 基于阵列相机的结构光三维重建方法与装置
CN108257112B (zh) 2017-12-27 2020-08-18 北京七鑫易维信息技术有限公司 过滤光斑的方法和装置
CN108428251A (zh) * 2018-03-09 2018-08-21 深圳市中捷视科科技有限公司 一种基于机器视觉技术激光结构光自动标定方法
CN108957914B (zh) * 2018-07-25 2020-05-15 Oppo广东移动通信有限公司 激光投射模组、深度获取装置和电子设备
CN111508012B (zh) * 2019-01-31 2024-04-19 先临三维科技股份有限公司 线条纹误配检测和三维重建的方法、装置
CN110702007B (zh) * 2019-10-31 2020-11-24 华中科技大学 一种基于mems扫描振镜的线结构光三维测量方法
CN111983709A (zh) * 2020-07-02 2020-11-24 中科兴华(深圳)科技服务有限公司 一种激光检测器的多物体捕捉方法
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和系统
CN113252603B (zh) * 2021-04-16 2022-03-01 清华大学 一种多层透明球床的最优折射率测量方法
CN116067305A (zh) * 2023-02-09 2023-05-05 深圳市安思疆科技有限公司 一种结构光测量系统和测量方法
CN116593282B (zh) * 2023-07-14 2023-11-28 四川名人居门窗有限公司 一种基于结构光的玻璃抗冲击反应测试系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208522A (ja) * 2000-01-24 2001-08-03 Sony Corp 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体
JP2002122416A (ja) * 2000-10-16 2002-04-26 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置
JP2003061936A (ja) * 2001-08-27 2003-03-04 Sanyo Electric Co Ltd 動立体モデル生成装置及び方法
JP2004005596A (ja) * 2002-04-18 2004-01-08 Stmicroelectronics Inc 変化するサーチ経路及びオクルージョンモデリングでの複数ビューの3d復元用方法及びシステム
WO2004011876A1 (en) * 2002-07-25 2004-02-05 Solutionix Corporation Apparatus and method for automatically arranging three dimensional scan data using optical marker
EP1580523A1 (en) * 2002-11-14 2005-09-28 Technodream21, Inc. Three-dimensional shape measuring method and its device
JP2006528770A (ja) * 2003-07-24 2006-12-21 コグニテンス リミテッド 対象物の3次元表面再構築の方法およびシステム
JP2007101276A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム
JP2007114168A (ja) * 2005-10-17 2007-05-10 Applied Vision Systems Corp 画像処理方法および装置、並びにプログラム
WO2008120457A1 (ja) * 2007-03-29 2008-10-09 School Juridical Person Of Fukuoka Kogyo Daigaku 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5061062A (en) * 1990-07-02 1991-10-29 General Electric Company Focus spot size controller for a variable depth range camera
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
CA2309008C (en) * 1999-05-24 2007-07-17 Richard Mcbain High speed laser triangulation measurements of shape and thickness
US20030038933A1 (en) * 2001-04-19 2003-02-27 Dimensional Photonics Inc. Calibration apparatus, system and method
CA2435935A1 (en) * 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
CN1203292C (zh) * 2003-08-15 2005-05-25 清华大学 测量物体三维表面轮廊的方法
CN1260544C (zh) * 2004-07-14 2006-06-21 天津大学 双目线结构光传感器一致性精确标定方法及其实施装置
JP4554316B2 (ja) * 2004-09-24 2010-09-29 富士重工業株式会社 ステレオ画像処理装置
JP4855749B2 (ja) * 2005-09-30 2012-01-18 株式会社トプコン 距離測定装置
US7804585B2 (en) * 2006-01-08 2010-09-28 Visiontools Bildanalyse Systeme Gmbh Creation of a range image
WO2008156450A1 (en) * 2007-06-20 2008-12-24 Thomson Licensing System and method for stereo matching of images
CN100554869C (zh) * 2007-07-11 2009-10-28 华中科技大学 一种基于彩色结构光的二维三频解相测量方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208522A (ja) * 2000-01-24 2001-08-03 Sony Corp 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体
JP2002122416A (ja) * 2000-10-16 2002-04-26 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置
JP2003061936A (ja) * 2001-08-27 2003-03-04 Sanyo Electric Co Ltd 動立体モデル生成装置及び方法
JP2004005596A (ja) * 2002-04-18 2004-01-08 Stmicroelectronics Inc 変化するサーチ経路及びオクルージョンモデリングでの複数ビューの3d復元用方法及びシステム
WO2004011876A1 (en) * 2002-07-25 2004-02-05 Solutionix Corporation Apparatus and method for automatically arranging three dimensional scan data using optical marker
JP2005534026A (ja) * 2002-07-25 2005-11-10 ソリューショニックス コーポレーション 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法
EP1580523A1 (en) * 2002-11-14 2005-09-28 Technodream21, Inc. Three-dimensional shape measuring method and its device
JP2006528770A (ja) * 2003-07-24 2006-12-21 コグニテンス リミテッド 対象物の3次元表面再構築の方法およびシステム
JP2007101276A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム
JP2007114168A (ja) * 2005-10-17 2007-05-10 Applied Vision Systems Corp 画像処理方法および装置、並びにプログラム
WO2008120457A1 (ja) * 2007-03-29 2008-10-09 School Juridical Person Of Fukuoka Kogyo Daigaku 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
JP2008249432A (ja) * 2007-03-29 2008-10-16 Fukuoka Institute Of Technology 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム

Also Published As

Publication number Publication date
CN102884397A (zh) 2013-01-16
EP2568253A1 (en) 2013-03-13
US9360307B2 (en) 2016-06-07
EP2568253B1 (en) 2021-03-10
CN102884397B (zh) 2015-07-15
EP2568253A4 (en) 2013-10-02
AU2010352828B2 (en) 2013-07-11
JP5567738B2 (ja) 2014-08-06
AU2010352828A1 (en) 2012-11-29
US20130050476A1 (en) 2013-02-28
WO2011137596A1 (zh) 2011-11-10

Similar Documents

Publication Publication Date Title
JP5567738B2 (ja) 構造化光測定方法及びシステム
JP6440730B2 (ja) 4カメラ組の平面アレイの特徴点の3次元測定システム及び測定方法
EP3754295B1 (en) Three-dimensional measuring system and three-dimensional measuring method
JP4290733B2 (ja) 3次元形状計測方法及びその装置
CN110230998B (zh) 基于线激光和双目相机的快速精密三维测量方法和装置
KR101394809B1 (ko) 물체의 입체 이미지를 위한 향상된 깊이 정밀도를 획득하기 위한 방법 및 시스템
CN102506830B (zh) 视觉定位方法及装置
CN103075960B (zh) 多视角大深度显微立体视觉特征融合测量方法
EP3622481A1 (en) Method and system for calibrating a velocimetry system
CN107850425B (zh) 用于测量制品的方法
CN106023189A (zh) 一种基于匹配优化的光场数据深度重建方法
CN113446957A (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
JP6285686B2 (ja) 視差画像生成装置
EP1431708A2 (en) Object surface characterization using optical triangulation and a single camera
CN110443228A (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN110702015B (zh) 输电线路覆冰厚度测量方法及装置
JP6388806B2 (ja) 射影画像生成装置と射影画像生成プログラムと射影画像生成方法
CN101686407A (zh) 一种采样点信息的获取方法和装置
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
CN113411497B (zh) 一种基于曲线交点和高斯曲线拟合的自动对焦方法和装置
CN112529960A (zh) 目标对象的定位方法、装置、处理器和电子装置
CN111426268B (zh) 一种双目视觉相机匹配方法
US11561088B2 (en) Modeling the topography of a three-dimensional surface
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置
JP2021148731A (ja) 形状計測装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140619

R150 Certificate of patent or registration of utility model

Ref document number: 5567738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250