JP2018526689A - 4カメラ組の平面アレイの特徴点のマッチング方法、及びそれに基づく測定方法 - Google Patents

4カメラ組の平面アレイの特徴点のマッチング方法、及びそれに基づく測定方法 Download PDF

Info

Publication number
JP2018526689A
JP2018526689A JP2016566782A JP2016566782A JP2018526689A JP 2018526689 A JP2018526689 A JP 2018526689A JP 2016566782 A JP2016566782 A JP 2016566782A JP 2016566782 A JP2016566782 A JP 2016566782A JP 2018526689 A JP2018526689 A JP 2018526689A
Authority
JP
Japan
Prior art keywords
matching
point
image plane
image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016566782A
Other languages
English (en)
Other versions
JP6453908B2 (ja
Inventor
リアン カオ
リアン カオ
シン イン
シン イン
Original Assignee
ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド
ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド, ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド filed Critical ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド
Publication of JP2018526689A publication Critical patent/JP2018526689A/ja
Application granted granted Critical
Publication of JP6453908B2 publication Critical patent/JP6453908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】マッチング方法及び測定方法の複雑度を低下させ、空間サイズの演算過程を簡略化し、システムの測定誤差を減少させる。【解決手段】4カメラ組の平面アレイの特徴点のマッチング方法、及び4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法は、光学電子測定分野に属する。マッチング方法は、4つの像平面のうちの1つの像平面をベース像平面として、ベース像平面の1つの特徴点に対して、横方向で当該ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探すステップと、ベース像平面の特徴点に対して、縦方向で当該ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探すステップと、探し出した横縦2つの方向におけるすべてのマッチング点を再マッチングさせて、すべてのサブマッチング点組を探すステップと、対角位置像平面においてベース像平面の特徴点、及び探し出したすべてのサブマッチング点組に対応するマッチング点を探すステップと、4つの像平面において同一の被視点に対応する唯一性マッチング点組を確定するステップとを含む。各唯一性マッチング点組に対して、当該マッチング点組の像座標とカメラシステム自身のパラメータに基づいて、被視点の3次元空間座標を計算する。いずれかの光照射条件において、収集された画像が十分に鮮明であり、いずれかの4カメラ組の平面アレイの画像で結像可能であり、一定の画像特徴を有する被視体が存在すれば、まったく同じマッチング方法と測定方法で、被視体の3次元測定をすべて実現することができる。【選択図】図13

Description

本発明は、光学電子測定の技術分野に関するものであり、具体的には、4カメラ組の平面アレイの特徴点のマッチング方法、及び4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法に関するものである。
現在、3次元立体ビジョン測定には、一般的にライン型レーザーを利用した光切断測定技術または両眼測定と構造光照明の組み合わせ方式が使用される。ライン型レーザー光または構造光が3次元測定で広範囲に用いられる主な理由は、ライン型レーザーまたは構造光の指示を通じて、結像において対応されるマッチング点を明確にし、マッチングの不明確性を減少させ、確定的な、及び唯一のマッチングを実現したためである。しかしながら、もしライン型レーザーまたは構造光の指示を取り消すと、両眼マッチングは、複数の点のマッチングの不明確性を避けることができなくなり、測定要求を満足できなくなるとともに、ライン型レーザーまたは構造光を使用すると、ライン型レーザーまたは構造光の結像部位のみを測定でき、これは、当該技術の適応範囲を限定し、ライン型レーザーまたは構造光の使用は、被測定物、例えば人に悪影響を与える。
また、現在、両眼マッチングは、被視体の表面に識別点を付与する方式をよく用いるが、このような方式の使用もマッチングの正確性を向上させるためである。しかしながら、被視体の表面に識別点を付与する方式は、事前に被測定物に対して人工的な処理と介入が必要である、というデメリットがある。
このような点を鑑み、本発明の実施例は、マッチング方法、及び測定方法の複雑度を低下させ、空間サイズの演算過程を簡略化し、システムの測定誤差を減少させる4カメラ組の平面アレイの特徴点のマッチング方法、及び4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法を提供することを目的とする。
第1の実施態様において、本発明の実施例は、4カメラ組の平面アレイの特徴点のマッチング方法を提供し、上記方法は、
1つの4カメラ組の4つのカメラに対応する4つの像平面のうちのいずれかの1つの像平面をベース像平面として、前記ベース(Base)像平面の1つの特徴点に対して、横方向で当該ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探すステップa1と、
前記ステップa1の前記ベース像平面の前記特徴点に対して、縦方向で当該ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探すステップa2と、
前記ステップa1で探し出したすべてのマッチング点と前記ステップa2で探し出したすべてのマッチング点を再マッチングさせて、対応するすべてのサブマッチング点組(Sub Matching Point Group)を探すステップa3と、
前記ベース像平面の前記特徴点、及び前記ステップa3で探し出したすべてのサブマッチング点組に基づいて、前記ベース像平面の対角位置にある像平面である対角位置像平面において、前記ベース像平面の前記特徴点、及び前記ステップa3で探し出したすべてのサブマッチング点組に対応するマッチング点を探すステップa4と、
前記ベース像平面の前記特徴点、前記ステップa3で探し出したすべてのサブマッチング点組、及び前記ステップa4で探し出したマッチング点に基づいて、前記4つの像平面において同一の被視点に対応する唯一性マッチング点組を確定するステップa5と、を含む。
第1の実施態様に組み合わせて、本発明の実施例は、上記第1の実施態様の第1の可能な実現方式を提供する。ここで、前記ステップa1において、前記ベース像平面の1つの特徴点に対して、マッチング条件1)に基づいて、横方向で前記ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探し、ここで、前記マッチング条件1)は、1つの被視点の横方向で互いに隣り合う2つの像平面における結像点(Imaging Point)が、当該被視点の左側の像平面における結像点と当該被視点の対応する右側の像平面における結像点が横方向の座標軸に平行な同一の直線上に位置し、左側の像平面の座標原点に対する当該左側の像平面における結像点の水平オフセットが右側の像平面の座標原点に対する当該右側の像平面における結像点の水平オフセットより大きい、という条件を満足することである。
第1の実施態様に組み合わせて、本発明の実施例は、上記第1の実施態様の第2の可能な実現方式を提供する。ここで、前記ステップa2において、前記ステップa1の前記ベース像平面の前記特徴点に対して、マッチング条件2)に基づいて、縦方向で前記ベース像平面と隣り合う像平面において前記特徴点とマッチングするすべてのマッチング点を探し、ここで、前記マッチング条件2)は、1つの被視点の縦方向で互いに隣り合う2つの像平面における結像点が、当該被視点の上側の像平面における結像点と当該被視点の対応する下側の像平面における結像点が縦方向の座標軸に平行な同一の直線上に位置し、上側の像平面の座標原点に対する当該上側の像平面における結像点の垂直オフセットが下側の像平面の座標原点に対する当該下側の像平面における結像点の垂直オフセットより大きい、という条件を満足することである。
第1の実施態様に組み合わせて、本発明の実施例は、上記第1の実施態様の第3の可能な実現方式を提供する。ここで、前記ステップa3において、前記ステップa1で探し出したすべてのマッチング点と前記ステップa2で探し出したすべてのマッチング点に対して、マッチング条件3)に基づいて再マッチングさせて、前記マッチング条件3)を満足しないマッチング点を排除し、前記マッチング条件3)を満足するマッチング点を横方向オフセット値または縦方向オフセット値の大きさ関係に応じてペアリングしてサブマッチング点組を形成し、ここで、前記マッチング条件3)は、1つの被視点の1つの4カメラ組の4つの像平面において対応するマッチング点組が、横方向オフセット値と縦方向オフセット値の比率が参照直四角形の長さと幅の比率と同じである、という条件を満足することであり、ここで、横方向オフセット値は、当該被視点の1つの左側の像平面における結像点が当該左側の像平面の座標原点に対する水平オフセットと当該被視点の対応する右側の像平面における結像点が当該右側の像平面の座標原点に対する水平オフセットの差であり、縦方向オフセット値は、当該被視点の1つの上側の像平面における結像点が当該上側の像平面の座標原点に対する垂直オフセットと当該被視点の対応する下側の像平面における結像点が当該下側の像平面の座標原点に対する垂直オフセットの差であり、ここで、参照直四角形は、1つの4カメラ組の4つの焦点から形成される直四角形である。
第1の実施態様に組み合わせて、本発明の実施例は、上記第1の実施態様の第4の可能な実現方式を提供する。ここで、前記ステップa4において、前記ベース像平面の前記特徴点、及び前記ステップa3で探し出したすべてのサブマッチング点組に基づいて、いずれかのサブマッチング点組に対して、前記マッチング条件1)と前記マッチング条件2)に基づいて前記対角位置像平面におけるマッチング点を探し、前記ステップa3で探し出したサブマッチング点組の座標に基づいて、前記対角位置像平面に位置するマッチング点の座標を得、当該マッチング点の横座標は、縦方向で前記対角位置像平面と隣り合う像平面におけるマッチング点の横座標と同じであり、縦座標は、横方向で前記対角位置像平面と隣り合う像平面におけるマッチング点の縦座標と同じであり、座標が確定された後、前記対角位置像平面におけるマッチング点、及び別の3つの像平面におけるマッチング点に対して、画像特徴の類似性マッチングを行い、マッチングに成功した場合、前記4つの像平面における4つの結像点が1つのマッチング点組を構成し、マッチングが不可能である場合、前記対角位置像平面におけるマッチング点、及び当該マッチング点に対応するステップa3で探し出したサブマッチング点組を排除する。
第1の実施態様に組み合わせて、本発明の実施例は、上記第1の実施態様の第5の可能な実現方式を提供する。ここで、前記ステップa5において、前記4つの像平面において同一の被視点に対応する唯一性マッチング点組は、マッチング条件4)を満足し、前記マッチング条件4)は、1つの被視点の1つの4カメラ組に対応する4つの像平面における結像点が1つの直四角形を形成し、当該直四角形の横方向の長さと縦方向の長さの比率が参照直四角形の長さと幅の比率と同じであり、2対の対角位置にある2つの像平面における結像点がそれぞれ参照直四角形の2つの対角線に平行な2つの直線上に位置することである。
第1の実施態様に組み合わせて、本発明の実施例は、上記第1の実施態様の第6の可能な実現方式を提供する。ここで、前記ステップa5において、マッチング条件4)を満足するマッチング点組が1つだけある場合、マッチング結果は、唯一である。
第1の実施態様に組み合わせて、本発明の実施例は、上記第1の実施態様の第7の可能な実現方式を提供する。ここで、前記ステップa5において、マッチング条件4)を満足するマッチング点組が複数存在する場合、前記ベース像平面に下記の条件を満足するベース直四角形、即ち、当該特徴点を1つの端点とし、前記ベース直四角形の当該特徴点を1つの端点とする対角線の延長線が前記対角位置像平面を通過し、当該対角線の長さが当該特徴点に対応するいずれかの2つのマッチング点組の前記対角位置像平面における2つのマッチング点の間の距離と同じであり、前記ベース直四角形は参照直四角形と類似しており、前記ベース直四角形の別の端点は、画像特徴が当該特徴点の画像特徴と類似しており、且つ当該特徴点の前記ベース像平面におけるマッチング点である、という条件を満足するベース直四角形が存在するか否かを判断し、
前記ベース像平面にこのような直四角形が存在する場合、いずれかのベース直四角形に対して、前記対角位置像平面に当該ベース直四角形とまったく同じ唯一対応する直四角形が存在するか否かを確定し、
存在する場合、まず、前記対角位置像平面において当該特徴点に対応する唯一のマッチング点を確定し、その後、前記マッチング条件1)と前記マッチング条件2)に基づいて当該特徴点の別の2つの像平面における唯一のマッチング点を確定し、不明確なマッチング点組を排除し、ここで、前記対角位置像平面において当該特徴点に対応する唯一のマッチング点を確定する方法は、前記ベース像平面の前記特徴点が前記ベース直四角形の1つの対角線の1つの端点である場合、前記対角位置像平面における唯一のマッチング点は、当該対角位置像平面における唯一対応する直四角形において延長線が前記特徴点を通過する対角線上の2つの端点のうちの1つであり、前記特徴点が前記ベース直四角形の上端に位置する場合、前記対角位置像平面において対応する唯一のマッチング点は、当該唯一の対応する直四角形の上端の端点であり、そうではない場合、下端の端点であり、前記対角位置像平面における非唯一性マッチング点に対して、当該点の前記ベース像平面における唯一のマッチング点が前記ベース像平面の前記特徴点が位置する対角線上の別の端点であると確定することができ、
存在しない場合、前記特徴点に対応する2つのマッチング点組は、2つの異なる被視点に対応し、前記2つの異なる被視点は、空間上で当該特徴点の前記ベース像平面に相対する画素投影線の延長線上に位置し、
前記ベース像平面にこのような直四角形が存在しない場合、前記複数のマッチング点組は、複数の異なる被視点に対応し、前記複数の異なる被視点は、空間上で当該特徴点の前記ベース像平面に相対する画素投影線の延長線上に位置する。
第1の実施態様に組み合わせて、本発明の実施例は、上記第1の実施態様の第8の可能な実現方式を提供する。ここで、前記特徴点とは、1つまたは複数のマッチング点が対応されている結像点であり、当該結像点は、別の結像点と区別される画像特徴を有する。
第2の実施態様において、本発明は、4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法を提供し、当該方法は、
画像の収集が完了した後、前記マッチング方法を用いて、前記ベース像平面におけるすべての特徴点に対応する唯一性マッチング点組を探すステップb1と、
前記ステップb1で取得した唯一性マッチング点組の像座標に基づいて、被視点の空間位置座標を計算するステップb2と、
前記ステップb2で取得した被視点の空間位置座標に基づいて、3Dポイントクラウドデータを形成し、3Dポイントクラウド図形を確立し、3次元立体画像を再現するステップb3と、を含む。
第2の実施態様に組み合わせて、本発明の実施例は、上記第2の実施態様の第1の可能な実現方式を提供する。ここで、前記ステップb2において、1つの4カメラ組の左上位置のaカメラ、右上位置のbカメラ、左下位置のcカメラ、及び右下位置のdカメラの焦点がそれぞれO、O、O、及びOであり、4つの焦点が同一の平面に位置し、且つ1つの直四角形を形成し、当該直四角形の長さOがmであり、幅Oがnであり、直四角形の中心点をOと設定し、Oを原点として1つの3次元直角座標系を確立し、ここで、X軸は、直四角形のO、及びO辺に平行であり、Y軸は、直四角形のO、及びO辺に平行であり、Z軸は、焦点が位置する平面に垂直であり、且つ4つのカメラの光軸方向に平行であり、4台のカメラの配置は、まったく同じであり、被視体の1つの被視点Pの空間位置座標がP(P,P,P)であり、P点のaカメラ、bカメラ、cカメラ、及びdカメラこれら4台のカメラに対応する像平面における結像点の像座標がそれぞれP(Pax,Pay)、P(Pbx,Pby)、P(Pcx,Pcy)、及びP(Pdx,Pdy)であると、P点の空間位置座標の表現式は、以下の通りである。
上記式において、fは、4台のカメラの焦点距離であり、uは、画像センサのターゲット表面の長さであり、vは、画像センサのターゲット表面の幅であり、ここで、Δxを横方向マッチング時に、a像平面における結像点に対するb像平面における結像点の横方向オフセット値とc像平面における結像点に対するd像平面における結像点の横方向オフセットと定義し、Δyを縦方向マッチング時に、a像平面における結像点に対するc像平面における結像点の縦方向オフセットとb像平面における結像点に対するd像平面における結像点の縦方向オフセットと定義する。
本発明は、少なくとも下記の有益な効果を有する。
1.4カメラ組の平面アレイの特徴点のマッチング方法は、被視体の1つの被視点の1つの4カメラ組の4つの像平面における結像点の位置に基づいて、4つの像平面において当該被視点に対応する唯一性結像点組を早くマッチングすることができ、4つのカメラでいずれも結像可能な被視点に対する通用性、唯一性マッチングを実現することができる。
2.4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法は、いずれかの光条件において、収集された画像が充分に鮮明であれば、未知の被視体の場合、いずれかの被視体に対して、まったく同じ測定方法で被視体に対する3次元測定を実現することができ、当該測定方法は、視野に対するいずれかのキャリブレーション(Calibration)も必要とせず、その測定精度と解像度は、被視体と関係なく、測定システムのみに関係あり、自動測定を完全に実現することができる。
3.上記マッチング方法と測定方法の通用性と信頼性により、プログラムの最適化が便利になり、組込みレベル(Embedded level)とチップレベルの演算を実現し、3次元感知と測定を早く実現することができる。
1つの4カメラ組に基づいて確立された空間座標系の模式図である。 被視体のある被視点、及び当該被視点の1つの4カメラ組の横方向における2つのカメラの像平面における結像点の投影模式図である。 図2の被視点、及び対応する結像点のOXZ座標平面における投影模式図である。 1つの4カメラ組の横方向で互いに隣り合う2つの像平面において横方向マッチングを行うときに不明確点が現れる立体模式図である。 1つの理想的な直線が1つの4カメラ組の4つの像平面において結像する立体模式図である。 図5の4つの像平面における結像点の平面模式図である。 マッチング唯一性を証明する投影模式図である。 マッチング唯一性を証明する例示的な立体模式図である。 図8の4つの像平面における結像点の平面模式図である。 マッチング唯一性を証明する別の例示的な立体模式図である。 図10の4つの像平面における結像点の平面模式図である。 マッチング唯一性を証明するさらに別の例示的な平面模式図である。 本発明の実施例の4カメラ組の平面アレイの特徴点のマッチング方法のフローチャートである。 本発明の実施例の4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法のフローチャートである。
上記の図面は、本発明の一部の実施例を示すだけであるため、範囲に対する限定とみなしてはならず、当業者は、創造的な労力を要することなく、これらの図面または実施例に基づいて別の関連する図面または実施例を得ることができる。
本発明の実施例の目的、技術と利点をより明らかにするために、下記に本発明の実施例の図面と組み合わせて本発明の実施例の技術を明確且つ全面的に述べるが、述べる実施例は、本発明の一部の実施例であって、すべての実施例ではないことは明らかである。従って、下記の図面に提供される本発明の実施例に対する詳細な説明は、保護しようとする本発明の範囲を限定するためのものではなく、ただ本発明の選別された実施例を示すだけである。当業者が本発明の実施例に基づいて、創造的な労働をすることなく得たすべての別の実施例は、いずれも本発明の保護範囲に属する。
本発明の説明において、理解すべきなことは、用語「原点」、「中心」、「縦方向」、「横方向」、「長さ」、「幅」、「深さ」、「上」、「下」、「前」、「後」、「左側」、「右側」、「左上」、「左下」、「右上」、「右下」、「垂直」、「水平」などが指示する方位または位置関係は、図面に示された方位または位置関係に基づくものであって、単に本発明に対する説明の利便性と説明の簡略性のためのものであり、指す機器または要素が必ず特定の方位を有し、特定の方位で構成され、操作されるべきことを指示するか暗示するのではないため、本発明に対する限定と理解してはならない。
本発明において、結像点は、被視体の被視点が像平面(または画像)における画素位置に対応する結像であり、被視体の各被視点は、1つの4カメラ組の4つの像平面においてそれぞれ対応する1つの結像点が存在する。マッチング点とは、1つの像平面における結像点に対して、当該像平面または別の像平面において探し出した当該結像点といずれのマッチング条件を満足し、且つ当該結像点の画像特徴(例えば模様、色またはグレイレベルなど)と近似な結像点である。1つの結像点に対応するマッチング点は、1つまたは複数存在する可能性がある。
本発明において、特徴点とは、1つまたは複数のマッチング点が対応する下記の結像点である。当該結像点は、別の結像点と区別される画像特徴、例えば異なる模様、色またはグレイレベルなどを有するが、本発明の実施例においては具体的に限定せず、実際の状況に応じて異なる画像特徴を判断根拠として選択することができる。一般的に、被測定物の周縁または模様の過渡領域などの位置の被視点に対応する結像点は、いずれも鮮明な画像特徴を有している。
本発明において、特徴点のマッチング、マッチング演算と演算規則は、2つまたはもっと多い位置の結像点を比較、分析して、2つまたはもっと多い結像点の画像特徴の類似性指標を与えるために用いられ、もし比較結果が指標の予定値に到達すると、マッチングに成功したことになり、実際の状況に応じて異なる画像特徴の類似性指標を選択することができる。本発明で提出されるマッチング条件1)、2)、3)、4)、及び唯一性マッチング方法は、現在の画像処理方法を基礎として、画像特徴の類似性上でマッチングする以外に、4カメラ組の4つの像平面における結像点の間の幾何的位置関係に基づいて、本発明で提出されたマッチング条件に応じてマッチングすることによって、画像特徴は類似しているが、位置関係が間違っているマッチング不明確点を検証、排除し、マッチング結果の唯一性を確保する。
1.4カメラ組の平面アレイの事前イメージ(before image)模型の3次元座標系の確立、及びマッチング条件の証明
(1)4カメラ組の平面アレイの3次元測定システムと3次元座標系の確立
本発明の実施例の4カメラ組の平面アレイの特徴点のマッチング方法と測定方法に対する説明の利便性のために、要求を満足する1つの4カメラ組の平面アレイの3次元測定システム、及び当該4カメラ組の平面アレイの3次元測定システムに対応する3次元座標系を確立する必要があり、本発明の実施例の方法をより便利に応用するために、前方投射(forward projection)模型を用い、下記の方式で確立された4カメラ組の平面アレイの3次元測定システム、及び対応する3次元座標系を用いる。
図1は、1つの4カメラ組に基づいて確立された空間座標系の模式図であり、1つの4カメラ組が2×2アレイの形式で配置され、左上に位置するaカメラ、右上に位置するbカメラ、左下に位置するcカメラ、及び右下に位置するdカメラの4つの配置が同じカメラを含み、同じ配置とは、4つのカメラのレンズ、画像センサ、焦点距離などのパラメータがまったく同じ配置である。4つのカメラの焦点O、O、O、Oは、同一の平面に位置し、4つのカメラの光軸は、いずれも当該平面に垂直であり、O、O、O、Oは、長さがmであり、幅がnである直四角形を形成し、直四角形の中心点をOと設定し、Oを原点として1つの3次元直角座標系を確立する。ここで、X軸は、直四角形のO、及びO辺に平行であり、X軸の方向を長さ方向または水平方向または横方向と称し、X軸は、左右方向で延長(X軸の矢印が指す方向は、右側を向かい、ここで正の方向と定義)可能である。Y軸は、直四角形のO、及びO辺に平行であり、Y軸の方向を幅方向または垂直方向または縦方向と称し、Y軸は、上下方向で延長(Y軸の矢印が指す方向は、上側を向かい、ここで正の方向と定義)可能である。Z軸は、焦点が位置する平面に垂直であり、且つ4つのカメラの光軸方向に平行であり、Z軸の方向を深さ方向と称する(Z軸の矢印が指す方向を深さ方向の正の方向と定義)。Z軸の正の方向において、焦点O、O、O、Oが位置する平面に平行であり、且つ当該平面との距離が焦点距離fである平面を設定し、当該平面においてa、b、c、dの4つの像平面を設定し、結像原理によって、各像平面の中心は、各々に対応するカメラの光軸の通過点であり、各像平面の平面座標の原点を当該像平面の左上角と設定し、それぞれO'、O'、O'、及びO'である。a像平面の2次元直角座標軸をO'Xと設定し、b像平面の2次元直角座標軸をO'Xと設定し、c像平面の2次元直角座標軸をO'Xと設定し、d像平面の2次元直角座標軸をO'Xと設定し、各像平面の長さ(各カメラの画像センサのターゲット表面の長さに対応)をuと設定し、幅(各カメラの画像センサのターゲット表面の幅に対応)をv(未図示)と設定する。
本発明で提案された上記の配置構成を用いる1つの4カメラ組(すなわち、4カメラ組の平面アレイ)は、1つのもっとも小さい基本的な3次元立体測定ユニットであり、類似な規則と方法に応じてより多いカメラ(2N個、ここで、Nは2以上の正の整数)からなるマルチカメラ組の平面アレイの3次元測定システムを構築することができ、それとともに、類似な規則と方法に基づいて各組の4カメラ組に対応する3次元座標系を構築するかまたは統一的な3次元座標系を構築することができる。本発明の実施例のマッチング方法と測定方法は、上記のように配置された1つの4カメラ組の4つのカメラで結像可能な被測定物の被視点の3次元座標位置のマッチングと測定に適用される。
説明の利便性のために、1つの4カメラ組の4つの焦点から形成される直四角形を参照直四角形と称する。それとともに、a像平面とd像平面は、互いに対角位置像平面であり、b像平面とc像平面は、互いに対角位置像平面である。
(2)4カメラ組の平面アレイの特徴点の横方向マッチングと縦方向マッチング、及び特徴点の空間位置座標の計算
図2は、被視体の1つの被視点P、及び当該点のa像平面とb像平面における結像点の投影模式図であり、図2を参照すると、結像原理によって、P点のa、b像平面における結像点は、それぞれP、Pであり、P点、P点、P点の2つの焦点O、Oが位置し、且つOXZ座標平面に平行な平面における投影は、それぞれP'点、P'点、P'点である。
直線がa、bの2つの像平面からなる結像面に平行であり、P点、O点、及びO点3つの点から形成される三角形がa、b2つの像平面が位置する平面と交差し、交線が直線Pであるため、P直線とO直線は、互いに平行である。
図3は、図2のP点、P点、及びP点のOXZ座標平面における投影模式図である。
図3を参照すると、mは、Oの長さであり、uは、各画像センサのターゲット表面の長さであり、P'点、P'点、及びP'点は、それぞれP点、P点、及びP点のOXZ座標平面における投影点であり、PaxとPbxは、それぞれP'点とP'点のa像平面とb像平面におけるX軸方向の座標値である。
明らかに、Paxは、Pbxより大きい。即ち、a像平面の座標原点に対するP点のa像平面における結像点の水平オフセットは、b像平面の座標原点に対する当該点のb像平面における結像点の水平オフセットより大きい。
従って、下記のマッチング条件が得られる。
マッチング条件1):1つの被視点が1つの4カメラ組の4つの像平面に結像するとき、横方向で互いに隣り合う2つの像平面における結像点は、当該被視点の左側の像平面における結像点と当該被視点の対応する右側の像平面における結像点が横方向の座標軸に平行な同一の直線上に位置し、当該左側の像平面の座標原点に対する当該左側の像平面における結像点の水平オフセットが当該右側の像平面の座標原点に対する当該右側の像平面における結像点の水平オフセットより大きい、という条件を満足する。
マッチング条件1)は、a、b像平面の横方向マッチングに適用され、同じように、c、d像平面の横方向マッチングにも適用される。1つの4カメラ組のうち、横方向で互いに隣り合う2つの像平面は、対応する左側の平面と右側の平面である。即ち、左側の像平面aに対応する右側の像平面は、bであり、左側の像平面cに対応する右側の像平面は、dである。
同じように、下記のマッチング条件が得られる。
マッチング条件2):1つの被視点が1つの4カメラ組の4つの像平面に結像するとき、縦方向で互いに隣り合う2つの像平面における結像点は、当該被視点の上側の像平面における結像点と当該被視点の対応する下側の像平面における結像点が縦方向の座標軸に平行な同一の直線上に位置し、上側の像平面の座標原点に対する当該上側の像平面における結像点の垂直オフセットが下側の像平面の座標原点に対する当該下側の像平面における結像点の垂直オフセットより大きい、という条件を満足する。
マッチング条件2)は、a、c像平面の縦方向マッチングに適用され、同じように、b、d像平面の縦方向マッチングにも適用される。1つの4カメラ組のうち、縦方向で互いに隣り合う2つの像平面は、対応する上側の平面と下側の平面である。即ち、上側の像平面aに対応する下側の像平面は、cであり、上側の像平面bに対応する下側の像平面は、dである。
上記の内容、及び三角形の類似の原理に基づいて、図3に対して、下記のような式が得られる。
(Pax−Pbx)を横方向マッチング時のa像平面における結像点に対するb像平面における結像点の横方向オフセット値と定義し、Δxと定義する。すると、下記のような式が得られる。
同じように、c、d像平面の横方向マッチング時の座標演算式を下記のように推定することができる。
即ち、(Pax−Pbx)=(Pcx−Pdx)=Δxであり、(Pcx−Pdx)は、横方向マッチング時のc像平面における結像点に対するd像平面における結像点の横方向オフセット値である。
横方向マッチングと同じように、縦方向マッチング時の座標演算式を推理することができ、(Pay−Pcy)を縦方向マッチング時のa像平面における結像点に対するc像平面における結像点の縦方向オフセット値と定義し、Δyと定義する。
即ち、(Pay−Pcy)=(Pby−Pdy)=Δyであり、(Pby−Pdy)は、縦方向マッチング時のb像平面における結像点に対するd像平面における結像点の縦方向オフセット値である。
(3)4カメラ組の平面アレイの特徴点の横方向マッチングと縦方向マッチングの更なる派生
同一の被視点に対して、計算式2、計算式4、計算式6、及び計算式8に基づいて、下記のような式を推定することができる。
さらに、下記の計算式(計算式9)を得ることができる。
これから、下記のマッチング条件を得ることができる。
マッチング条件3):1つの被視点の1つの4カメラ組の4つの像平面において対応するマッチング点組は、横方向オフセット値と縦方向オフセット値の比率が参照直四角形の長さと幅の比率と同じである、という条件を満足することであり、ここで、横方向オフセット値は、当該被視点の1つの左側の像平面における結像点が当該左側の像平面の座標原点に対する水平オフセットと当該被視点の対応する右側の像平面における結像点が当該右側の像平面の座標原点に対する水平オフセットの差であり、縦方向オフセット値は、当該被視点の1つの上側の像平面における結像点が当該上側の像平面の座標原点に対する垂直オフセットと当該被視点の対応する下側の像平面における結像点が当該下側の像平面の座標原点に対する垂直オフセットの差であり、ここで、マッチング点組とは、4つの像平面においてマッチング条件3)を満足し、画像特徴が類似している4つの結像点であり、サブマッチング点組とは、特にベース像平面と隣り合う2つの像平面においてマッチング条件3)を満足する結像点である。
2.4カメラ組の平面アレイの特徴点のマッチング方法の唯一性証明
4カメラ組の平面アレイのマッチング方法を用いると、特徴点に対する唯一性マッチングを実現することができ、当該マッチング方法は、良好な普遍性と適用性を有し、下記のように証明する。
まず、図4は、ただa、b像平面において横方向マッチングを行うときに不明確点が現れる立体模式図を示し、図4を参照すると、P点は、空間の被測定物の1つの被視点であり、座標は、P(P,P,P)であり、当該被視点のa、b像平面における結像点(Imaging Point)は、それぞれP、Pである。マッチング演算時、P点を基準点(特徴点)として、b像平面において当該点にマッチングする結像点を探す。P点が確定された後、マッチング条件1)に基づいて、b像平面においてP点にマッチングする結像点は、P点を通過し、且つX軸に平行な1つの直線上に位置し、当該マッチングする結像点のb像平面における水平座標値は、P点のa像平面における水平座標値より小さい。P点にとって、それがa像平面における位置が一旦確定されると、P点に対応する被視点は、Oが位置する射線(または画素投影線と称し、即ち、1つのカメラの焦点といずれかの結像点により確定される射線)の延長線上に位置し、a、b像平面の間のマッチングは、両眼マッチングに属し、現在知られている両眼マッチングの演算規則、演算方法、及び拘束条件によると、P点の画像特徴が与えられている場合、これに基づいて確定される当該点のb像平面におけるマッチングする結像点は、一般的に、1つだけではなく、複数個存在する可能性があるため、両眼マッチングの唯一性に問題が発生してしまう。現在、解決すべきな問題は、マッチング条件を満足する複数のマッチング点のうち、不明確性が存在する1つまたは複数の点を排除し、b像平面においてP点と唯一マッチングする結像点Pを確定することである。
このために、P'点がb像平面においてP点とマッチングする別の結像点であると仮定すると、マッチング条件1)によって、当該点とPは、同一の直線上に位置し、当該点とOの連結線により確定される射線とOが位置する射線は、同一の平面に位置し、且つ2つの射線は互いに交差し、交点をP'点と設定する。したがって、P'点がP'点のb像平面における結像点であり、当該点もa像平面におけるP点に対応すると見なすことができる。
図5は、1つの理想的な直線PP'が4つの像平面で結像する立体模式図であり、図6は、図5の4つの像平面における結像点の平面模式図である。図5と図6を参照すると、P点とP'点のc像平面とd像平面における結像点を見ることができる。ここで、P点、及びP'点のa像平面における結像点Pa、及びPa'は、互いに重なる。P点、P点、P点、及びP点(P、P、P、及びP)は、P点に対応する1つのマッチング点組であり、且つP点に対応する唯一性マッチング点組である。P'点、P'点、P'点、及びP'点(P'、P'、P'、及びP')は、P'点に対応する1つのマッチング点組であり、且つP'点に対応する唯一性マッチング点組である。
4カメラ組の平面アレイのマッチングアルゴリズムの唯一性は、マッチング条件によって、Pを基準点として、b、c、d像平面においてそれと唯一マッチングする結像点を探すことにある。まず、b像平面においてマッチングする結像点P、及び別の任意に仮定したマッチングする結像点P'を探し、2つの結像点がいずれもPのマッチング点である場合、画像結像原理によって、a、b、c、d像平面において図5に示された結像点を得る。また、図6のP(P')、P'、P'、及びP'がPP'直線の4つの像平面における投影画像であり、ここで、PとP'が互いに重なる、ということも推理することができる。
もし、図5のPP'と同じか、または類似している理想的な1つの直線が存在すると、当該直線の1つの4カメラ組の4つの像平面における結像点は、図5と図6に示されるようになる。PP'は、ただ1つの例示であり、実際に、PP'の間のすべての被視点のa像平面における結像点は、いずれもP点である。言い換えると、このような状況に対して、a像平面をベース像平面とすると、P点は、複数の組のマッチング点に対応するが、各組のマッチング点は、唯一の被視点に対応する。
図6に基づき、以下の計算式9:
と組み合わせて、下記のようなマッチング条件を得ることができる。
マッチング条件4):1つの被視点の1つの4カメラ組の4つの像平面における結像点は、1つの直四角形を形成し、当該直四角形の横方向の長さと縦方向の長さの比率は、参照直四角形の長さと幅の比率と同じであり、2対の対角位置にある2つの像平面における結像点は、それぞれ参照直四角形の2つの対角線に平行な2つの直線上に位置する。
上記内容に基づいて、被視体に上記のようなPP'に類似している直線が現れる場合、a、b像平面に応じて両眼マッチングを行うときに1つの点が複数の点にマッチングすることが発生すると、唯一性マッチングの要求を満足できなくなり、従ってマッチング不明確が発生することになる。しかしながら、c、d像平面をa、b像平面のマッチングの参照とし、特にd像平面においてPP'直線が1つの傾斜になっている直線になると、4つの像平面においてP'の各像平面における唯一性マッチング点、及びPP'直線上の各点に対応する唯一性マッチング点組を探すことができ、さらに上記座標演算式に基づいてPP'直線上の点の空間位置座標を計算することができる。これは、機械製図で3つの透視図(three views)を必要とすることと類似であり、2つの透視図の場合、物体に対する理解の不明確性が現れるが、3つの透視図の場合は、このような状況が発生しない。
マッチングの唯一性をさらに証明するために、下記の状況を考える。
第1の状況:P'点は、b像平面における画像特徴がP点の画像特徴とお互いにマッチングする別の1つの点であり、それとともに、P'点は、P'点のb像平面における投影結像点ではなく、空間のb像平面においてP'投影結像点を発生できるいずれかの別の1つの点であると仮定すると、P点と設定する。図7は、マッチング唯一性を証明する投影模式図である。図7を参照すると、P'点、P点、及びP″点のb像平面における結像点は、互いに重なる。結像原理によって、P点の4つの像平面に投影された立体模式図は、図8に示されたようになる。P点のa、b、c、及びd像平面における投影点をそれぞれPna、Pnb、Pnc、及びPndと設定すると、図9は、P点、及びP点のa、b、c、及びd像平面における結像点を示す。
4カメラ組の平面アレイの特徴点のマッチング方法によって、図9から分かるように、Pnc点とP点は、1つの縦方向の直線上に位置しないため、マッチング条件2)を満足せず、PndとP点は、1つの4カメラ組の焦点から形成される直四角形の対角線に平行な1つの直線上に位置しないため、マッチング条件4)を満足しない。従って、両眼マッチング時、マッチングが不明確である結像点P'とPnbが現れたが、4カメラ組の平面アレイの特徴点のマッチング方法により、別の1つの任意に仮定したマッチング点PnbがP点のa像平面における結像点にマッチングする結像点ではないと確定することができる。このような場合、4カメラ組の平面アレイの特徴点のマッチング方法を利用して、両眼マッチングでよく現れる不明確性を効率的に排除することができる。
第2の状況:P'点がP'点のb像平面における投影ではなく、具体的にO直線に平行な直線PP″上のいずれかの点P″のb像平面における投影であると仮定すると、P″と設定する。図10は、P″点が4つの像平面に投影される立体模式図を示し、図11は、P点とP″点のa、b、c、及びd像平面における各結像点を示し、ここで、P″点とP点は、互いに重なる。
4カメラ組の平面アレイの特徴点のマッチング方法によって、図11から分かるように、P″点とP点は、1つの縦方向の直線上に位置しないため、マッチング条件2)を満足せず、P″点とP点は、1つの4カメラ組の焦点から形成される直四角形の対角線に平行な1つの直線上に位置しないため、マッチング条件4)を満足しない。従って、O直線に平行な直線PP″上の別のいずれかの1つの点P″のb像平面における結像点はP点のa像平面における結像点にマッチングする結像点ではないと確定することができる。
しかしながら、もし1つの4カメラ組の焦点から形成される直四角形に平行な1つの平面が存在し、当該平面に画像特徴が近似している4つの被視点P、P1、P2、P3が存在し、図12に示されたように、この4つの被視点が当該直四角形のサイズに近似している直四角形のように配置されたと仮定すると、もしP点に対応するマッチング点を探すと、P3点も4カメラ組の平面アレイの特徴点のマッチング条件を満足し、これは、第2の状況で考慮した更なる特例である。
即ち、実際、被視点P、P1、P2、及びP3に対応するマッチング点組は、それぞれ(P、P、P、及びP)、(Pa1、Pb1、Pc1、及びPd1)、(Pa2、Pb2、Pc2、及びPd2)、及び(Pa3、Pb3、Pc3、及びPd3)であるが、P3点の存在により、P点に対して、マッチング方法によって探し出した複数の組のマッチング点組のうち、(P、P、P、及びP)を排除する以外に、不明確な1つのマッチング点組(P、Pb1、Pc2、及びPd3)がさらに存在する。
もし、このような状況が現れると、a像平面において被視点P、P1、P2、及びP3に対応する4つの点P、Pa1、Pa2、及びPa3を探すことができ、ここで、(P、Pa1、Pa2、及びPa3)、(P、Pb1、Pb2、及びPb3)、(P、Pc1、Pc2、及びPc3)、及び(P、Pd1、Pd2、及びPd3)は、それぞれ1つの4カメラ組の焦点から形成される直四角形と類似している直四角形を形成する。
下記の方法により、不明確な1つのマッチング点組を探すことができる。即ち、上記の状況に対して、マッチング条件に基づいて、ベース像平面における結像点Pに対して、複数のマッチング点組(P、P、P、及びP)と(P、Pb1、Pc2、及びPd3)を探すと、a像平面にP点を左上の端点とし、且つ参照直四角形と類似している直四角形Pa1a2a3が存在し、さらに、d像平面に直四角形Pa1a2a3とまったく同じ唯一対応する直四角形Pa3b3c3d3が存在すると確定すれば、Pに対応する唯一のマッチング点がPであり、且つPa3に対応する唯一のマッチング点がPd3であると確定することができ、不明確なマッチング点組を排除することができる。
同じように、b、cまたはd像平面をベース像平面とする状況に対して、類似な推理方式を使用して、探し出した不明確な1つまたは複数のマッチング点組を排除することができる。
本発明の実施例において、1つの4カメラ組の4つの像平面において結像可能な被視点に対して、マッチング条件に応じてマッチングすることによって、被視点の空間位置座標を得、3Dポイントクラウドデータを形成し、さらに3Dポイントクラウド図形を確立することができ、被視体に対して、3次元立体再現を行うことができる。4カメラ組マッチングの唯一性特性により、被視点の空間位置座標も唯一のものであり、一対多数または多数対一の不明確性が現れない。
3.4カメラ組の平面アレイの特徴点のマッチング方法と測定方法
上記のマッチング原理、マッチング条件、マッチング計算式、及びマッチング方法に基づいて、1つの実施態様において、図13を参照すると、4カメラ組の平面アレイの特徴点のマッチング方法は、下記のステップを含む。
a1.1つの4カメラ組の4つのカメラに対応する4つの像平面のうちのいずれか1つの像平面をベース像平面として、上記ベース像平面の1つの特徴点に対して、横方向で当該ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探す。
ステップa1において、上記ベース像平面の1つの特徴点に対して、マッチング条件1)に基づいて、横方向で上記ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探す。
a2.上記ステップa1における上記ベース像平面の上記特徴点に対して、縦方向で当該ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探す。
ステップa2において、上記ステップa1における上記ベース像平面の上記特徴点に対して、マッチング条件2)に基づいて、縦方向で上記ベース像平面と隣り合う像平面において上記特徴点とマッチングするすべてのマッチング点を探す。
a3.上記ステップa1で探し出したすべてのマッチング点と上記ステップa2で探し出したすべてのマッチング点を再マッチングさせて、対応するすべてのサブマッチング点組を探す。
ステップa3において、上記ステップa1で探し出したすべてのマッチング点と上記ステップa2で探し出したすべてのマッチング点に対して、マッチング条件3)に基づいて再マッチングさせて、上記マッチング条件3)を満足しないマッチング点を排除し、上記マッチング条件3)を満足するマッチング点を、横方向オフセット値または縦方向オフセット値の大きさ関係に応じてペアリングしてサブマッチング点組を形成する。
a4.上記ベース像平面の上記特徴点、及び上記ステップa3で探し出したすべてのサブマッチング点組に基づいて、上記ベース像平面の対角位置にある像平面である対角位置像平面において、上記ベース像平面の上記特徴点、及び上記ステップa3で探し出したすべてのサブマッチング点組に対応するマッチング点を探す。
ステップa4において、上記ベース像平面の上記特徴点、及び上記ステップa3で探し出したすべてのサブマッチング点組に基づいて、いずれかのサブマッチング点組に対して、上記マッチング条件1)と上記マッチング条件2)に応じて上記対角位置像平面におけるマッチング点を探し、上記ステップa3で探し出したサブマッチング点組の座標に基づいて、上記対角位置像平面におけるマッチング点の座標を得、当該マッチング点の横座標は、縦方向で上記対角位置像平面と隣り合う像平面におけるマッチング点の横座標と同じであり、縦座標は、横方向で上記対角位置像平面と隣り合う像平面におけるマッチング点の縦座標と同じであり、座標が確定された後、上記対角位置像平面におけるマッチング点、及び別の3つの像平面におけるマッチング点に対して、画像特徴の類似性マッチングを行い、マッチングに成功した場合、上記4つの像平面における4つの結像点は、1つのマッチング点組を形成し、マッチングが不可能である場合、上記対角位置像平面におけるマッチング点、及び当該マッチング点に対応する上記ステップa3で探し出したマッチング点組を排除する。
a5.上記ベース像平面の上記特徴点、上記ステップa3で探し出したすべてのサブマッチング点組、及び上記ステップa4で探し出したマッチング点に基づいて、上記4つの像平面において同一の被視点に対応する唯一性マッチング点組を確定する。
ステップa5において、上記4つの像平面において同一の被視点に対応する唯一性マッチング点組は、マッチング条件4)を満足し、上記マッチング条件4)は、1つの被視点の1つの4カメラ組に対応する4つの像平面における結像点が1つの直四角形を形成し、当該直四角形の横方向の長さと縦方向の長さの比率が参照直四角形の長さと幅の比率と同じであり、2対の対角位置にある2つの像平面における結像点がそれぞれ参照直四角形の2つの対角線に平行な2つの直線上に位置することである。
ステップa5において、マッチング条件4)を満足するマッチング点組が1つだけある場合、マッチング結果は、唯一である。
ステップa5において、マッチング条件4)を満足するマッチング点組が複数存在する場合、上記ベース像平面に下記の条件を満足するベース直四角形、即ち、当該特徴点を1つの端点とし、上記ベース直四角形の当該特徴点を1つの端点とする対角線の延長線が上記対角位置像平面を通過し、当該対角線の長さが当該特徴点に対応するいずれかの2つのマッチング点組の上記対角位置像平面における2つのマッチング点の間の距離と同じであり、前記ベース直四角形は参照直四角形と近似しており、ベース直四角形の別の端点は、画像特徴が特徴点の画像特徴と近似しており、且つ当該特徴点の上記ベース像平面におけるマッチング点である、という条件を満足するベース直四角形が存在するか否かを判断する。
上記ベース像平面にこのような直四角形が存在する場合、いずれかのベース直四角形に対して、上記対角位置像平面に当該ベース直四角形とまったく同じ唯一対応する直四角形が存在するか否かを確定する。
本発明の実施例において、対角位置像平面においていずれかのベース直四角形とまったく同じ唯一対応する直四角形とは、当該直四角形がベース直四角形とまったく同じであり、且つ当該直四角形の4つの端点とベース直四角形の相応する位置の4つの端点が互いにマッチング条件を満足し、画像特徴が類似している唯一対応する直四角形であり、従来の様々なマッチング演算方法または規則と組み合わせて、対角位置像平面にいずれかのベース直四角形に対応する唯一対応する直四角形が存在するか否かを確定することができ、関連するマッチング演算方法または規則は、本発明の発明の内容に属しない。従って、ここで詳細に説明せず、当業者は、様々な異なる方式を組み合わせて唯一対応する直四角形を探すことが考えられる。
存在する場合、まず、上記対角位置像平面において当該特徴点に対応する唯一のマッチング点を確定し、その後、上記マッチング条件1)と上記マッチング条件2)に基づいて当該特徴点の別の2つの像平面における唯一のマッチング点を確定し、不明確なマッチング点組を排除する。ここで、上記対角位置像平面において当該特徴点に対応する唯一のマッチング点を確定する方法は、下記のようである。上記ベース像平面の上記特徴点が上記ベース直四角形の1つの対角線の1つの端点である場合、上記対角位置像平面における唯一のマッチング点は、当該対角位置像平面における唯一対応する直四角形の延長線が上記特徴点を通過する対角線上の2つの端点のうちの1つであり、上記特徴点が上記ベース直四角形の上端に位置する場合、上記対角位置像平面において対応する唯一のマッチング点は、当該唯一対応する直四角形の上端の端点であり、そうではない場合、下端の端点である。上記対角位置像平面における非唯一性マッチング点に対して、当該点の上記ベース像平面における唯一のマッチング点が上記ベース像平面おける上記特徴点が位置する対角線上の別の1つの端点であると確定することができる。
存在しない場合、上記特徴点に対応する2つのマッチング点組は、2つの異なる被視点に対応し、上記2つの異なる被視点は、空間上で当該特徴点が上記ベース像平面に相対する画素投影線の延長線上に位置する。
上記ベース像平面にこのような直四角形が存在しない場合、上記複数のマッチング点組は、複数の異なる被視点に対応し、上記複数の被視点は、空間上で当該特徴点が上記ベース像平面に相対する画素投影線の延長線上に位置する。
下記に1つの実施例を挙げて詳細に説明する。
図12を参照して簡単に述べると、下記のようである。a像平面をベース像平面と仮定し、a像平面の1つの特徴点Pに対して、b像平面において当該点にマッチングするすべてのマッチング点、例えばP、Pb1を探し、続いて特徴点Pに対して、c像平面において当該点にマッチングするすべてのマッチング点、例えばP、Pc2を探し、さらにP、Pb1とP、Pc2を再マッチングさせて、サブマッチング点組(P,P)と(Pb1,Pc2)を確定する。その後、(P,P)に対応するP、及びPの座標、(Pb1,Pc2)に対応するPd3、及びPd3の座標をそれぞれ確定し、判断を通じて、(P,P,P,P)のうちの4つの結像点の画像特徴が類似しており、且つ(P,Pb1,Pc2,Pd3)のうちの4つの結像点の画像特徴も類似していると判断されると、P点は、2つのマッチング点組(P,P,P,P)と(P,Pb1,Pc2,Pd3)に対応する。続いて、a像平面にベース直四角形Pa1a2a3が存在すると確定され、当該直四角形は、Pを1つの端点とし、対角線Pa3の延長線がd像平面を通過し、且つPa3の長さがPd3の距離と同じであり、参照直四角形と類似しているとともに、P、Pa1、Pa2、及びPa3の画像特徴が類似している、という条件を満足すると、さらにd像平面に当該直四角形とまったく同じ唯一対応する直四角形Pd1d2d3が存在すると確定する。ここで、PとP、Pa1とPd1、Pa2とPd2、Pa3とPd3がそれぞれ互いに対応するマッチング点であり、且つ画像特徴が類似していると、d像平面においてPに対応する唯一のマッチング点がPであり、d像平面における非唯一性マッチング点Pd3は、a像平面における特徴点Pa3に対応すると確定することができ、これに基づいてマッチング点組(P,Pb1,Pc2,Pd3)を排除し、(P,P,P,P)が同一の被視点に対応する唯一性マッチング点組であると確定する。
別の実施態様において、図14を参照すると、4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法は、下記のステップを含む。
b1.画像の収集が完了した後、上記のマッチング方法を用いて上記ベース像平面におけるすべての特徴点に対応する唯一性マッチング点組を探す。
b2.上記ステップb1で取得した唯一性マッチング点組の像座標に基づいて、被視点の空間位置座標を計算する。
ステップb2において、1つの4カメラ組の左上位置のaカメラ、右上位置のbカメラ、左下位置のcカメラ、及び右下位置のdカメラの焦点がそれぞれO、O、O、及びOであり、4つの焦点が同一の平面に位置し、且つ1つの直四角形を形成し、当該直四角形の長さOがmであり、幅Oがnであり、直四角形の中心点をOと設定し、Oを原点として1つの3次元直角座標系を確立する。ここで、X軸は、直四角形のO、及びO辺に平行であり、Y軸は、直四角形のO、及びO辺に平行であり、Z軸は、焦点が位置する平面に垂直であり、且つ4つのカメラの光軸方向に平行であり、4台のカメラの配置は、まったく同じであり、被視体の1つの被視点Pの空間位置座標がP(P,P,P)であり、P点のaカメラ、bカメラ、cカメラ、及びdカメラこれら4台のカメラの像平面において対応する結像点の像座標がそれぞれP(Pax,Pay)、P(Pbx,Pby)、P(Pcx,Pcy)、P(Pdx,Pdy)であると、P点の空間位置座標の表現式は、下記の通りである。
上記式において、fは、4台のカメラの焦点距離であり、uは、画像センサのターゲット表面の長さであり、vは、画像センサのターゲット表面の幅であり、ここで、Δxを横方向マッチング時に、a像平面における結像点に対するb像平面における結像点の横方向オフセット値とc像平面における結像点に対するd像平面における結像点の横方向オフセットと定義し、Δyを縦方向マッチング時に、a像平面における結像点に対するc像平面における結像点の縦方向オフセットとb像平面における結像点に対するd像平面における結像点の縦方向オフセットと定義する。
b3.上記ステップb2で取得した被視点の空間位置座標に基づいて、3Dポイントクラウドデータを形成し、3Dポイントクラウド図形を確立し、3次元立体画像を再現する。
本発明のマッチング方法、及びこれに基づいて構築した3次元測定システムは、自主的マッチング方法と測定システムに属し、マッチング条件と方法は、外部環境の変化により変化せず、測定システムのパラメータが一旦確定されると、当該システムにより測定される視野範囲、測定精度、空間解像度、環境に対する適応性などを確定することができ、例えば、焦点距離を変更すると、遠距離の物体を測定することができ、カメラを変更すると、たとえば赤外線カメラを用いると、夜間測定を実現することができ、顕微鏡レンズを用いると、微視的立体測定などを実現することができる。
上記方法とステップによって、被視体の特徴点の3次元座標位置の計算と測定を実現できるが、像平面が視野範囲、解像度、環境、及び光条件の影響により、カメラ自身のパラメータ、例えば絞り、シャッター、露出時間などの撮影パラメータの調整、被視体の幾何的特徴、周縁特徴、表面反射と模様特徴などが結像点のマッチングに影響を与え、完全にマッチングできない状況が必ず存在し、画像特徴が連続性などの別の拘束条件を含むため、本発明の実施例による方法で画像の周縁、及び別の特徴が鮮明な観測点の測定を解決した後、知られているいずれかの画像処理方法と手段を用いて別の完全にマッチングできない部分に対して、画像分析と処理を行うことによって、大部分の3次元物体の結像問題を解決することができ、従来の画像処理技術を基として、3次元ビジョン測定技術に基本的なマッチング方法と測定方法を提供する。
本発明によるいくつかの実施例において、提供された方法が別の形でも実現可能である、ということを理解すべきである。また、留意すべきなことは、一部の取替え実現方式において、上記方法のステップまたはフローは、特許請求の範囲または図面に示された順番と違うように発生できる。例えば、2つの連続するステップまたはフローは、実際にほとんど並行して実行でき、反対の順番で実行されることもでき、具体的な状況により決められる。
本発明の上記方法または機能がソフトウェア機能モジュールの形で実現され、且つ独立した製品として販売または使用される場合、コンピュータが読み取り可能な1つの記録媒体に記録することができる。このような理解に基づいて、本発明の技術方の本質または従来技術に貢献した部分または当該技術方案の部分は、ソフトウェア製品の形で具現可能であり、当該コンピュータソフトウェア製品は、1つの記録媒体に記録され、いくつかの指令を含んで、1つのコンピュータ機器(パーソナルコンピュータ、サーバまたはネットワーク機器などが可能)に本発明の各実施例の上記方法の全部または一部のステップを実行させる。上記の記録媒体は、USBメモリ、モバイルハードディスク、読み取り専用メモリ、ランダムアクセスメモリー、磁気テープディスクまたはコンパクトディスクなどのプログラムコードを記録できる様々な媒体を含む。
以上は、本発明の好ましい実施例であって、本発明を限定するためのものではなく、当業者にとって、本発明は、様々な変更と変化が可能である。本発明の趣旨と原則に沿って行われるいずれかの修正、均等置換、変更などは、いずれも本発明の保護範囲に属する。

Claims (11)

  1. 1つの4カメラ組の4つのカメラに対応する4つの像平面のうちのいずれかの1つの像平面をベース像平面として、前記ベース像平面の1つの特徴点に対して、横方向で当該ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探すステップa1と、
    前記ステップa1の前記ベース像平面の前記特徴点に対して、縦方向で当該ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探すステップa2と、
    前記ステップa1で探し出したすべてのマッチング点と前記ステップa2で探し出したすべてのマッチング点を再マッチングさせて、対応するすべてのサブマッチング点組を探すステップa3と、
    前記ベース像平面の前記特徴点、及び前記ステップa3で探し出したすべてのサブマッチング点組に基づいて、前記ベース像平面の対角位置にある像平面である対角位置像平面において、前記ベース像平面の前記特徴点、及び前記ステップa3で探し出したすべてのサブマッチング点組に対応するマッチング点を探すステップa4と、
    前記ベース像平面の前記特徴点、前記ステップa3で探し出したすべてのサブマッチング点組、及び前記ステップa4で探し出したマッチング点に基づいて、前記4つの像平面において同一の被視点に対応する唯一性マッチング点組を確定するステップa5と、
    を含むことを特徴とする4カメラ組の平面アレイの特徴点のマッチング方法。
  2. 前記ステップa1において、前記ベース像平面上の1つの特徴点に対して、マッチング条件1)に基づいて、横方向で前記ベース像平面と隣り合う像平面において当該特徴点とマッチングするすべてのマッチング点を探し、
    前記マッチング条件1)は、1つの被視点の横方向で互いに隣り合う2つの像平面における結像点が、当該被視点の左側の像平面における結像点と当該被視点の対応する右側の像平面における結像点が横方向の座標軸に平行な同一の直線上に位置し、左側の像平面の座標原点に対する当該左側の像平面における結像点の水平オフセット(offset)が右側の像平面の座標原点に対する当該右側の像平面における結像点の水平オフセットより大きい、という条件を満足することであることを特徴とする請求項1に記載の4カメラ組の平面アレイの特徴点のマッチング方法。
  3. 前記ステップa2において、前記ステップa1の前記ベース像平面上の前記特徴点に対して、マッチング条件2)に基づいて、縦方向で前記ベース像平面と隣り合う像平面において前記特徴点とマッチングするすべてのマッチング点を探し、
    前記マッチング条件2)は、1つの被視点の縦方向で互いに隣り合う2つの像平面における結像点が、当該被視点の上側の像平面における結像点と当該被視点の対応する下側の像平面における結像点が縦方向の座標軸に平行な同一の直線上に位置し、上側の像平面の座標原点に対する当該上側の像平面における結像点の垂直オフセットが下側の像平面の座標原点に対する当該下側の像平面における結像点の垂直オフセットより大きい、という条件を満足することであることを特徴とする請求項1に記載の4カメラ組の平面アレイの特徴点のマッチング方法。
  4. 前記ステップa3において、前記ステップa1で探し出したすべてのマッチング点と前記ステップa2で探し出したすべてのマッチング点に対して、マッチング条件3)に基づいて再マッチングさせて、前記マッチング条件3)を満足しないマッチング点を排除し、前記マッチング条件3)を満足するマッチング点を横方向オフセット値または縦方向オフセット値の大きさ関係に応じてペアリングしてサブマッチング点組を形成し、
    前記マッチング条件3)は、1つの被視点の1つの4カメラ組の4つの像平面において対応するマッチング点組が、横方向オフセット値と縦方向オフセット値の比率が参照直四角形の長さと幅の比率と同じである、という条件を満足することであり、
    横方向オフセット値は、当該被視点の1つの左側の像平面における結像点が当該左側の像平面の座標原点に対する水平オフセットと当該被視点の対応する右側の像平面における結像点が当該右側の像平面の座標原点に対する水平オフセットの差であり、縦方向オフセット値は、当該被視点の1つの上側の像平面における結像点が当該上側の像平面の座標原点に対する垂直オフセットと当該被視点の対応する下側の像平面における結像点が当該下側の像平面の座標原点に対する垂直オフセットの差であり、
    参照直四角形は、1つの4カメラ組の4つの焦点から形成される直四角形であることを特徴とする請求項1に記載の4カメラ組の平面アレイの特徴点のマッチング方法。
  5. 前記ステップa4において、前記ベース像平面上の前記特徴点、及び前記ステップa3で探し出したサブマッチング点組に基づいて、いずれかのサブマッチング点組に対して、前記マッチング条件1)と前記マッチング条件2)に基づいて前記対角位置像平面におけるマッチング点を探し、前記ステップa3で探し出したすべてのサブマッチング点組の座標に基づいて、前記対角位置像平面に位置するマッチング点の座標を得、当該マッチング点の横座標は、縦方向で前記対角位置像平面と隣り合う像平面におけるマッチング点の横座標と同じであり、当該マッチング点の縦座標は、横方向で前記対角位置像平面と隣り合う像平面におけるマッチング点の縦座標と同じであり、座標が確定された後、前記対角位置像平面におけるマッチング点、及び別の3つの像平面におけるマッチング点に対して、画像特徴の類似性マッチングを行い、マッチングに成功した場合、前記4つの像平面における4つの結像点が1つのマッチング点組を構成し、マッチングが不可能である場合、前記対角位置像平面におけるマッチング点、及び当該マッチング点に対応する前記ステップa3で探し出したサブマッチング点組を排除することを特徴とする請求項1に記載の4カメラ組の平面アレイの特徴点のマッチング方法。
  6. 前記ステップa5において、前記4つの像平面において同一の被視点に対応する唯一性マッチング点組は、マッチング条件4)を満足し、前記マッチング条件4)は、1つの被視点の1つの4カメラ組の対応する4つの像平面における結像点が1つの直四角形を形成し、当該直四角形の横方向の長さと縦方向の長さの比率が参照直四角形の長さと幅の比率と同じであり、2対の対角位置にある2つの像平面における結像点がそれぞれ参照直四角形の2つの対角線に平行な2つの直線上に位置することであることを特徴とする請求項1に記載の4カメラ組の平面アレイの特徴点のマッチング方法。
  7. 前記ステップa5において、マッチング条件4)を満足するマッチング点組が1つだけある場合、マッチング結果は、唯一であることを特徴とする請求項1に記載の4カメラ組の平面アレイの特徴点のマッチング方法。
  8. 前記ステップa5において、マッチング条件4)を満足するマッチング点組が複数存在する場合、前記ベース像平面に下記の条件を満足するベース直四角形、即ち、当該特徴点を1つの端点とし、前記ベース直四角形の当該特徴点を1つの端点とする対角線の延長線が前記対角位置像平面を通過し、当該対角線の長さが当該特徴点に対応するいずれかの2つのマッチング点組の前記対角位置像平面における2つのマッチング点の間の距離と同じであり、前記ベース直四角形は参照直四角形と類似しており、前記ベース直四角形の別の端点は、画像特徴が当該特徴点の画像特徴と類似しており、且つ当該特徴点の前記ベース像平面におけるマッチング点である、という条件を満足するベース直四角形が存在するか否かを判断し、
    前記ベース像平面にこのような直四角形が存在する場合、いずれかのベース直四角形に対して、前記対角位置像平面に当該ベース直四角形と同じ唯一対応する直四角形が存在するか否かを確定し、
    存在する場合、まず、前記対角位置像平面において当該特徴点に対応する唯一のマッチング点を確定し、その後、前記マッチング条件1)と前記マッチング条件2)に基づいて当該特徴点の別の2つの像平面における唯一のマッチング点を確定し、不明確なマッチング点組を排除し、
    前記対角位置像平面において当該特徴点に対応する唯一のなマッチング点を確定する方法は、前記ベース像平面の前記特徴点が前記ベース直四角形の1つの対角線の1つの端点である場合、前記対角位置像平面における唯一のマッチング点は、当該対角位置像平面における唯一対応する直四角形において延長線が前記特徴点を通過する対角線上の2つの端点のうちの1つであり、前記特徴点が前記ベース直四角形の上端に位置する場合、前記対角位置像平面において対応する唯一のマッチング点は、当該唯一対応する直四角形の上端の端点であり、そうではない場合、下端の端点であり、前記対角位置像平面における非唯一性マッチング点に対して、当該点の前記ベース像平面における唯一のマッチング点が前記ベース像平面の前記特徴点が位置する対角線上の別の端点であると確定することができ、
    存在しない場合、前記特徴点に対応する2つのマッチング点組は、2つの異なる被視点に対応し、前記2つの異なる被視点は、空間上で当該特徴点が前記ベース像平面に相対する画素投影線の延長線上に位置し、
    前記ベース像平面にこのような直四角形が存在しない場合、前記複数のマッチング点組は、複数の異なる被視点に対応し、前記複数の異なる被視点は、空間上で当該特徴点が前記ベース像平面に相対する画素投影線の延長線上に位置することを特徴とする請求項1に記載の4カメラ組の平面アレイの特徴点のマッチング方法。
  9. 前記特徴点とは、1つまたは複数のマッチング点が対応されている結像点であり、当該結像点は、別の結像点と区別される画像特徴を有することを特徴とする請求項1乃至8のいずれか1項に記載の4カメラ組の平面アレイの特徴点のマッチング方法。
  10. 画像の収集が完了した後、請求項1乃至請求項9のいずれか1項に記載のマッチング方法を用いて、前記ベース像平面におけるすべての特徴点に対応する唯一性マッチング点組を探すステップb1と、
    前記ステップb1で取得した唯一性マッチング点組の像座標に基づいて、被視点の空間位置座標を計算するステップb2と、
    前記ステップb2で取得した被視点の空間位置座標に基づいて、3Dポイントクラウドデータを形成し、3Dポイントクラウド図形を確立し、3次元立体画像を再現するステップb3と、
    を含むことを特徴とする4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法。
  11. 前記ステップb2において、1つの4カメラ組の左上位置のaカメラ、右上位置のbカメラ、左下位置のcカメラ、及び右下位置のdカメラの焦点がそれぞれO、O、O、及びOであり、4つの焦点が同一の平面に位置し、且つ1つの直四角形を形成し、当該直四角形の長さOがmであり、幅Oがnであり、直四角形の中心点をOと設定し、Oを原点として1つの3次元直角座標系を確立し、ここで、X軸は、直四角形のO、及びO辺に平行であり、Y軸は、直四角形のO、及びO辺に平行であり、Z軸は、焦点が位置する平面に垂直であり、且つ4つのカメラの光軸方向に平行であり、4台のカメラの配置は、同じであり、被視体の1つの被視点Pの空間位置座標がP(P,P,P)であり、P点のaカメラ、bカメラ、cカメラ、及びdカメラこれら4台のカメラに対応する像平面における結像点の像座標がそれぞれP(Pax,Pay)、P(Pbx,Pby)、P(Pcx,Pcy)、及びP(Pdx,Pdy)であると、P点の空間位置座標の表現式は、下記の通りであり、
    上記式において、fは、4台のカメラの焦点距離であり、uは、画像センサのターゲット表面の長さであり、vは、画像センサのターゲット表面の幅であり、ここで、△xを横方向マッチング時に、a像平面における結像点に対するb像平面における結像点の横方向オフセット値とc像平面における結像点に対するd像平面における結像点の横方向オフセットと定義し、△yを縦方向マッチング時に、a像平面における結像点に対するc像平面における結像点の縦方向オフセットとb像平面における結像点に対するd像平面における結像点の縦方向オフセットと定義することを特徴とする請求項10に記載の4カメラ組の平面アレイの特徴点のマッチング方法に基づく測定方法。
JP2016566782A 2016-07-04 2016-07-04 4カメラ組の平面アレイの特徴点のマッチング方法、及びそれに基づく測定方法 Active JP6453908B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/088420 WO2018006246A1 (zh) 2016-07-04 2016-07-04 四相机组平面阵列特征点匹配方法及基于其的测量方法

Publications (2)

Publication Number Publication Date
JP2018526689A true JP2018526689A (ja) 2018-09-13
JP6453908B2 JP6453908B2 (ja) 2019-01-16

Family

ID=60901500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016566782A Active JP6453908B2 (ja) 2016-07-04 2016-07-04 4カメラ組の平面アレイの特徴点のマッチング方法、及びそれに基づく測定方法

Country Status (6)

Country Link
US (1) US10107617B2 (ja)
EP (1) EP3285232B1 (ja)
JP (1) JP6453908B2 (ja)
KR (1) KR101926953B1 (ja)
CN (1) CN107850419B (ja)
WO (1) WO2018006246A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139758A (zh) * 2015-10-09 2018-06-08 深圳市大疆创新科技有限公司 基于显著性特征的载运工具定位
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
GB201803286D0 (en) 2018-02-28 2018-04-11 3D Oscopy Ltd Imaging system and method
CN109631829B (zh) * 2018-12-17 2022-05-27 南京理工大学 一种自适应快速匹配的双目测距方法
CN109798831A (zh) * 2018-12-28 2019-05-24 辽宁红沿河核电有限公司 一种用于燃料组件的双目视觉测量方法
CN112639390A (zh) * 2019-11-21 2021-04-09 北京机电研究所有限公司 用于三维尺寸的动态测量装置及其测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11512856A (ja) * 1995-10-04 1999-11-02 ビジュアル・インターフェース・インコーポレーテッド 2次元イメージから3次元イメージを生成する方法
JP2007043466A (ja) * 2005-08-03 2007-02-15 Mitsubishi Electric Corp 画像合成装置並びに多カメラ監視システム
WO2014171438A1 (ja) * 2013-04-19 2014-10-23 凸版印刷株式会社 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP2015158827A (ja) * 2014-02-25 2015-09-03 株式会社リコー 座標検出システム、情報処理装置、座標検出方法及びプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285532A (ja) 1995-04-17 1996-11-01 Mitsubishi Heavy Ind Ltd 移動体の位置計測方法及びその装置
KR100608997B1 (ko) * 2002-08-26 2006-08-09 한국과학기술연구원 턱 운동 측정장치 및 측정방법
JP4723825B2 (ja) 2004-07-15 2011-07-13 株式会社若本製作所 骨組構造
JP5011316B2 (ja) 2006-02-27 2012-08-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 出力画像のレンダリング
CN101033966A (zh) 2007-04-12 2007-09-12 上海交通大学 交通事故现场的摄影测量方法
JP4985241B2 (ja) 2007-08-31 2012-07-25 オムロン株式会社 画像処理装置
US8351685B2 (en) 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US8069190B2 (en) 2007-12-27 2011-11-29 Cloudscale, Inc. System and methodology for parallel stream processing
JP5121477B2 (ja) 2008-01-30 2013-01-16 株式会社ユニバーサルエンターテインメント 紙幣処理装置及び真贋判定方法
JP5173536B2 (ja) 2008-04-02 2013-04-03 シャープ株式会社 撮像装置及び光軸制御方法
CN101382417B (zh) 2008-10-08 2010-07-07 北京信息科技大学 非接触六自由度位移测量装置
US8395642B2 (en) 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
US8502862B2 (en) * 2009-09-30 2013-08-06 Disney Enterprises, Inc. Method and system for utilizing pre-existing image layers of a two-dimensional image to create a stereoscopic image
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
EP2518995B1 (en) * 2009-12-24 2018-08-22 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
KR20120139700A (ko) * 2010-01-22 2012-12-27 덴시티 엘티디 다중 카메라 x선 평판 검출기를 위한 방법 및 장치
CN101782386B (zh) 2010-01-28 2011-05-25 南京航空航天大学 非视觉几何的摄像机阵列视频定位方法及系统
US20110249889A1 (en) 2010-04-08 2011-10-13 Sreenivas Kothandaraman Stereoscopic image pair alignment apparatus, systems and methods
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
US9473700B2 (en) * 2010-11-03 2016-10-18 The Trustees Of Columbia University In The City Of New York Camera systems and methods for gigapixel computational imaging
CN202109886U (zh) * 2011-05-31 2012-01-11 吴江迈为技术有限公司 一种电池片位置检测装置
US9300946B2 (en) 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
US9329365B2 (en) * 2011-09-23 2016-05-03 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
CN102447934B (zh) 2011-11-02 2013-09-04 吉林大学 稀疏镜头采集的组合立体图像系统中立体元的合成方法
CN103148806A (zh) 2011-12-07 2013-06-12 史金龙 基于投影与多目视觉的船舶钢板动态三维测量系统
CN102679961B (zh) * 2012-05-23 2013-04-10 武汉大学 便携式四目立体摄影测量系统及方法
WO2014074202A2 (en) * 2012-08-20 2014-05-15 The Regents Of The University Of California Monocentric lens designs and associated imaging systems having wide field of view and high resolution
CN103513295B (zh) 2013-09-25 2016-01-27 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
US9330436B2 (en) * 2014-04-01 2016-05-03 Gopro, Inc. Multi-camera array with adjacent fields of view
CN105825493B (zh) * 2015-01-09 2019-05-03 华为技术有限公司 图像配准方法和装置
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11512856A (ja) * 1995-10-04 1999-11-02 ビジュアル・インターフェース・インコーポレーテッド 2次元イメージから3次元イメージを生成する方法
JP2007043466A (ja) * 2005-08-03 2007-02-15 Mitsubishi Electric Corp 画像合成装置並びに多カメラ監視システム
WO2014171438A1 (ja) * 2013-04-19 2014-10-23 凸版印刷株式会社 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP2015158827A (ja) * 2014-02-25 2015-09-03 株式会社リコー 座標検出システム、情報処理装置、座標検出方法及びプログラム

Also Published As

Publication number Publication date
CN107850419A (zh) 2018-03-27
US10107617B2 (en) 2018-10-23
EP3285232B1 (en) 2019-01-23
WO2018006246A1 (zh) 2018-01-11
CN107850419B (zh) 2018-09-04
JP6453908B2 (ja) 2019-01-16
US20180073857A1 (en) 2018-03-15
KR101926953B1 (ko) 2018-12-07
EP3285232A1 (en) 2018-02-21
EP3285232A4 (en) 2018-02-21
KR20180019049A (ko) 2018-02-23

Similar Documents

Publication Publication Date Title
JP6453908B2 (ja) 4カメラ組の平面アレイの特徴点のマッチング方法、及びそれに基づく測定方法
Ahmadabadian et al. A comparison of dense matching algorithms for scaled surface reconstruction using stereo camera rigs
CN106548489B (zh) 一种深度图像与彩色图像的配准方法、三维图像采集装置
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
EP2568253B1 (en) Structured-light measuring method and system
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
CN113223135B (zh) 一种基于特殊复合平面镜虚像成像的三维重建装置和方法
JP2016075637A (ja) 情報処理装置およびその方法
CN108965690A (zh) 图像处理系统、图像处理装置及计算机可读存储介质
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN111563921A (zh) 一种基于双目相机的水下点云获取方法
WO2023046211A1 (zh) 摄影测量方法、装置、设备及存储介质
JP2021193400A (ja) アーチファクトを測定するための方法
Bräuer-Burchardt et al. Phase unwrapping using geometric constraints for high-speed fringe projection based 3D measurements
Ahmadabadian et al. Image selection in photogrammetric multi-view stereo methods for metric and complete 3D reconstruction
KR102546346B1 (ko) 전방위 카메라의 캘리브레이션을 위한 장치 및 방법
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
Ahmadabadian et al. Stereo‐imaging network design for precise and dense 3D reconstruction
Junior et al. Calibration of a catadioptric omnidirectional vision system with conic mirror
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
CN113483669B (zh) 一种基于立体靶标的多传感器位姿标定方法及装置
CN115375773A (zh) 单目激光散斑投影系统的外参数标定方法和相关装置
CN209820423U (zh) 用于激光平面空间方程快速标定的辅助标靶屏幕装置
CN110148086B (zh) 稀疏深度图的深度补齐方法、装置及三维重建方法、装置
Ahmadabadian Photogrammetric multi-view stereo and imaging network design

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181213

R150 Certificate of patent or registration of utility model

Ref document number: 6453908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250