JP2009180562A - 距離計測装置及び距離計測方法 - Google Patents
距離計測装置及び距離計測方法 Download PDFInfo
- Publication number
- JP2009180562A JP2009180562A JP2008018189A JP2008018189A JP2009180562A JP 2009180562 A JP2009180562 A JP 2009180562A JP 2008018189 A JP2008018189 A JP 2008018189A JP 2008018189 A JP2008018189 A JP 2008018189A JP 2009180562 A JP2009180562 A JP 2009180562A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- double
- reflector
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
非平行で完全平面ではない反射板に映る2重像を1台の撮像装置で撮影して得られた1枚の画像に基づいて安価な装置構成及び短い計測時間で高精度な距離計測を行い得るようにした距離計測装置を提供する。
【解決手段】
反射板に写る位置ずれのある2重像を撮像手段で撮影して得られた画像から、2重像間変位を算出する2重像間変位算出部と、既知の距離にある複数のキャリブレーション平面を2重像として撮影した複数の画像から、反射板の形状、姿勢、屈折率及び撮像手段のカメラ光学中心から反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理部と、外部パラメータと計測対象を2重像として撮影した1枚の画像から計測対象までの距離を算出する距離算出部とを備え、反射板を局所的に非平行な平面で近似し、キャリブレーション処理部で推定された外部パラメータは、2重像を撮影した画像上の注目点に応じて異なる値を持つ。
【選択図】 図4
Description
エス.ビー.カン(S.B.Kang)・アール.スゼリスキ(R.Szeliski)・ジェー.チャイ(J.Chai)共著,「ハンドリング オクルジョン イン デンス マルチビュー ステレオ (Handling Occlusions in Dense Multi-View Stereo)」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション (Proc. On Computer Vision and Pattern Recognition),第I巻,p.103-110,2001年12月 エム.オクトミ(M. Okutomi)・ティー.カナデ(T. Kanade)共著,「ア マルチプルーベースライン ステレオ (A Multiple-Baseline Stereo),IEEE トランス. オン パターン アナリシス アンド マシン インテリジェンス (IEEE Trans. On Pattern Analysis and Machine Intelligence),第15巻,第4号,p.353-363,1993年4月 ゼッド.サン(Z. Sun)・ジー.ベビス(G. Bebis)・アール.ミラー(R. Miller)共著,「オンーロード ビヒクル デテクション ユージング オプティカル センサズ: ア レビュー (On-Road Vehicle Detection using Optical Sensors: A Review)」,プロク. オン IEEE インテリジェント トランスポーテイション システムズ コンファレンス (Proc. On IEEE Intelligent Transportation Systems Conference),米国,2004年10月 ジー.グラッブ(G.Grubb)・エイ.ゼリンスキー(A.Zelinsky)・エル.ニルソン(L.Nilsson)・エム.リルベ(M.Rilbe)共著,「3D ビジョン センシング フォー インプルーブド ペデストリアン セイフティ (3D Vision Sensing for Improved Pedestrian Safety)」,プロク. オン IEEE インテリジェント ビヒクルズ シンポジウム (Proc. On IEEE Intelligent Vehicles Symposium),p.19-24,2004年6月 ジェー.エム.グラックマン(J.M.Gluckman)・エス.ケイ.ナイヤル(S.K.Nayar)共著,「プレーナー カタディオプトリック ステレオ: ジオメトリー アンド キャリブレーション (Planar Catadioptric Stereo: Geometry and Calibration)」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション (Proc. On Computer Vision and Pattern Recognition),第1巻,p.22-28,1999年6月 エイチ.シム(H.Shim)著,「ライト ウエイト マルチビュー キャプチャーイング プロジェクトズ(Light Weight Multi-View Capturing Projects)」,http://amp.ece.cmu.edu/projects/MIRRORARRAY/ ディー.エイチ.リー(D.H. Lee)・アイ.エス.クウィーオン(I.S. Kweon)共著,「ア ノベル ステレオ カメラ システム バイ ア バイプリズム (A Novel Stereo Camera System by a Biprism)」,IEEE トランス. オン ロボッチック アンド オートメイション (IEEE Trans. On Robotics and Automation),第16巻,第5号,p.528-541,2000年10月 ワイ.ニシモト(Y.Nishimoto)・ワイ.シライ(Y,Shirai)共著,「ア フィーチャーベーセド ステレオ モデル ユージング スモール ディスパリティス (A Feature-Based Stereo Model using Small Disparities)」,プロク. オン IEEE インターナショナル ワークショップ オン インダストリアル アプリケーションズ オフ マシン ビジョン アンド マシン インテリジェンス (Proc. On IEEE International Workshop on Industrial Applications of Machine Vision and Machine Intelligence),セイケイ シンポジウム(Seikei Symposium),p.192-196,日本,1987年2月 シー.ガオ(C. Gao)・エヌ.アフジァ(N. Ahuja)共著,「シングル カメラ ステレオ ユージング プレーナー パラレル プレート (Single Camera Stereo using Planar Parallel Plate)」,プロク. オン インターナショナル コンファレンス オン パターン レコグニション (Proc. On International Conference on Pattern Recognition),第IV巻,p.108-111,イギリス,2004年8月 イー.エイチ.アデルソン(E.H.Adelson)・ジェー.ワイ.エイ.ワン(J.Y.A. Wang)共著,「シングル レンズ ステレオ ウィズ ア プレノピチック カメラ (Single Lens Stereo with a Plenoptic Camera)」,IEEE トランス. オン パターン アナリシス アンド マシン インテリジェンス (IEEE Trans. On Pattern Analysis and Machine Intelligence),第14巻,第2号,p.99-106,1992年2月 エム.アムトン(M. Amtoun)・ビー.ブーファマ(B. Boufama)共著,「マルチベースライン ステレオ ユージング ア シングルーレンズ カメラ (Multibaseline Stereo using a Single-Lens Camera)」,プロク. オン インターナショナル コンファレンス オン イメージ プロセシング (Proc. On International Conference on Image Processing),第1巻,p.401-404,2003年9月 エス.ヒウラ(S.Hiura)・ティー.マツヤマ(T.Matsuyama)共著,「デプス メジャーメント バイ ザ マルチフォーカス カメラ (Depth Measurement by the Multi-Focus Camera)」,プロク. オン コンピュータ ビジョン アンド パターン レコグニション (Proc. On Computer Vision and Pattern Recognition),p.953-959,1998年6月 イー.ピー.シモンセリ(E.P. Simoncelli)・エイチ.ファリード(H. Farid)共著,「ダイレクト デファレンシャル レンジ エスティメイション ユージング オプティカル マスクズ (Direct Differential Range Estimation using Optical Masks)」,プロク. オン ヨーロッピアン コンファレンス オン コンピュータ ビジョン (Proc. On European Conference on Computer Vision),第2巻,p.82-93,イギリス,1996年4月 山田憲嗣・高橋秀也・志水英二共著,「符号化開口法を用いた3次元形状検出手法」,電子情報通信学会論文誌,第J80-D-II巻,第11号,p.2986-2994,1997年11月 清原將裕・数井誠人・池田光二共著,「1台のカメラとレンズアレイとを用いた距離計測」,画像の認識・理解シンポジウム(MIRU2004)論文集,第I巻,p.392-397,2004年7月 清水雅夫・奥富正敏共著,「透明板に映る2重像を用いた1台のカメラによる距離計測手法」,情報処理学会CVIM論文誌,第47巻,第SIG10 (CVIM15)号,p.131-142,2006年7月 清水雅夫・奥富正敏共著,「両面ハーフミラー板透過画像を用いた1台のカメラによる距離計測」,第9回画像の認識・理解シンポジウム(MIRU2006)講演論文集,p.788-793,2006年7月 清水雅夫・奥富正敏共著,「透過型リフレクションステレオ−両面ハーフミラー板透過像を使った単眼距離計測−」,第13回画像センシングシンポジウム(SSII2007)講演論文集,p.IN1-10-1-8,2007年6月 ティー.ワイテド(T.Whitted)著,「アン インプルーブド イルミネイション モデル フォー シェイデド ディスプレイ(An Improved Illumination Model for Shaded Display)」, コミューニケイションズ オフ ザ ACM(Communications of the ACM),第23巻,第6号,p.343-349,1980年6月 ジェー.ワイ.ブーゲット(J.Y.Bouguet)著,「カメラ キャリブレーション ツールボックス フォー マットラブ (Camera Calibration Toolbox for Matlab)」,http://www.vision.caltech.edu/bouguetj/calib_doc/index.html,2007年2月 ゼッド.チャン(Z.Zhang)著,「フレキシブル カメラ キャリブレーション バイ ビューイング ア プレーン フロム アンノーン オリエンテイションズ(Flexible Camera Calibration by Viewing a Plane from Unknown Orientations)」,プロック. オン インターナショナル カンファレンス オン コンピュータ ビジョン(Proc. On International Conference on Computer Vision),第1巻,p.666-673,ギリシャ,1999年9月
に対する2次元3次関数で近似し
ただし、Φj(j=1,2,…,10)は外部パラメータに対応した7要素の係数ベクトルであり、係数ベクトルΦjは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求めることにより、或いは、前記距離算出部では、ある注目点に対する2重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する2重像の位置に対応する視線をそれぞれ求め、求めた2つの視線の交点位置までの距離を、前記計測対象までの距離とすることにより、或いは、前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、前記キャリブレーション平面の前記既知の距離Dziを、Dzi=Di+De[mm](i=0,1,・・・,12、また、Diはi番目のキャリブレーション平面までの既知の距離を表す。)とおき、3通りの絶対距離の誤差De=0,±25[mm]を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ed(De)を次の数式のように求め、
求めた残差の総和Ed(−25)、Ed(0)、Ed(25)を2次関数に当てはめ、Ed(De)を最小にする絶対距離の誤差
を
に基づいて推定し、推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、算出した前記絶対距離を用い、前記キャリブレーション処理部にて、再び前記外部パラメータを推定することによってより効果的に達成される。
に対する2次元3次関数で近似し
ただし、Φj(j=1,2,…,10)は外部パラメータに対応した7要素の係数ベクトルであり、係数ベクトルΦjは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求めることにより、或いは、前記距離算出ステップでは、ある注目点に対する2重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する2重像の位置に対応する視線をそれぞれ求め、求めた2つの視線の交点位置までの距離を、前記計測対象までの距離とすることにより、或いは、前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、前記キャリブレーション平面の前記既知の距離Dziを、Dzi=Di+De[mm](i=0,1,・・・,12、また、Diはi番目のキャリブレーション平面までの既知の距離を表す。)とおき、3通りの絶対距離の誤差De=0,±25[mm]を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ed(De)を次の数式のように求め、
求めた残差の総和Ed(−25)、Ed(0)、Ed(25)を2次関数に当てはめ、Ed(De)を最小にする絶対距離の誤差
を
に基づいて推定し、推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、算出した前記絶対距離を用い、前記キャリブレーション処理ステップにより、再び前記外部パラメータを推定することによってより効果的に達成される。
<1>リフレクションステレオによる距離計測原理
まず、ここで、両面が平面で完全平行な透明板又は両面ハーフミラー板(以下、まとめて「反射板」と呼ぶこともある。)と、1台の撮像装置(その一例として、CCDカメラ、以下、単に「カメラ」と言う。)で構成する、本発明の発明者らが提案した「リフレクションステレオ」による距離計測原理を簡単に説明する(非特許文献16及び非特許文献17を参照)。
<1−1>反射型リフレクションステレオ
ここで、まず、反射型リフレクションステレオによる距離計測原理について説明する。
<1−2>透過型リフレクションステレオ
次に、透過型リフレクションステレオによる距離計測原理について説明する。
<1−3>計測対象までの距離の求め方
上記<1−1>で述べた反射型リフレクションステレオ、及び上記<1−2>で述べた透過型リフレクションステレオにおいて、2重像間変位から計測対象までの距離を求めるためには、カメラのレンズ焦点距離f/δの他に、ステレオビジョンにおける外部パラメータに相当する次の5個のパラメータ(以下、単に、「リフレクションステレオの外部パラメータ」又は「従来の外部パラメータ」と言う。)が必要である。ただし、既存手法で推定したカメラ内部パラメータを使って、2重像を撮影した画像からレンズ歪曲収差と画像中心位置は、補正されているとする。
反射板(透明板又は両面ハーフミラー板)の法線ベクトル
(即ち、パラメータn1,n2)、
カメラ光学中心から反射板(透明板又は両面ハーフミラー板)までの光軸に沿った距離Dco(即ち、パラメータDco)、
反射板(透明板又は両面ハーフミラー板)の板厚d(即ち、パラメータd)、
反射板(透明板又は両面ハーフミラー板)の空気に対する相対屈折率n(即ち、パラメータn)がある。
とし、また、CCDの画素間隔を単位とするレンズ焦点距離(原点Oと画像面との距離)をf/δとする。
に対応する2重像の位置
を、単位方向ベクトル
の拘束直線上で探索した結果、注目点
からの変位(2重像間変位)
の位置に見つかったとする。ただし、
は、拘束直線の交点位置を表す。また、Δは注目点
から拘束直線に沿った距離[画素]を表す。このとき、図1及び図2における2重像間の角度視差θsは、下記数3により求めることができる。
に対する反射板(透明板又は両面ハーフミラー板)への入射角度θi(図1と図2を参照)は、下記数4により求めることができる。
から計測対象までの距離を求めることができる。
<2>本発明に係る距離計測装置及び距離計測方法
以下、本発明を実施するための最良の形態について詳細に説明する。
<3>本発明に係る距離計測装置における反射板及び距離計測方法について
<2>でも述べたように、本発明に係る距離計測装置では、反射板として、非平行で完全平面ではない透明板又は両面ハーフミラー板、即ち、うねりのある透明板又は両面ハーフミラー板を用いる。以下、「うねりのある透明板又は両面ハーフミラー板」を単に「うねりのある反射板」とも言う。
<3−1>反射板の分割平面モデル
以下、説明の便宜上、「うねりのある反射板」を単に「反射板」とも言う。
付近に対応する反射板(透明板)を、非平行度を持つ平面板で近似する。即ち、本発明では、画像上のある注目点に対応する2重像を形成するために必要な反射板上(透明板上)の領域(即ち、図5の分割平面領域)は、その注目点と同じ外部パラメータで表現できると仮定する。
反射板の両表面に対する法線ベクトル
(即ち、パラメータnR1,nR2,nS1,nS2)、
カメラ光学中心から反射板までの光軸に沿った距離Dco(即ち、パラメータDco)、
反射板の板厚d(即ち、パラメータd)、
反射板の空気に対する相対屈折率n(即ち、パラメータn)がある。
に応じて異なる値
を持つ。
<3−2>光線追跡法
本発明では、「反射板の分割平面モデル」を用い、「うねりのある反射板」を、非平行度を持つ平面板で近似することにした。
計算要素その1:光線と平面との交点
図6に示すように、点
を通る方向ベクトル
の向きの直線と、点
を含む単位法線ベクトル
の平面との交点
は、下記数5で表すことができる。
図6に示すように、単位法線ベクトル
の平面に入射した方向ベクトル
の正反射方向ベクトル
は、下記数6で表すことができる。
図6に示すように、単位法線ベクトル
の平面に入射した方向ベクトル
に対する、相対屈折率nの物質内部への屈折方向ベクトル
は、下記数7で表すことができる。
また、kf<1のときには、空気からガラスに入射して屈折するような状況を表している。
<3−3>本発明における距離計測方法
ここで、本発明における距離計測方法について詳細に説明する。つまり、局所的に平面で近似された反射板を使った(反射板の分割平面モデルを用いた)本発明の距離計測装置における計測対象までの距離算出方法について詳細に説明する。
に対する外部パラメータ
が得られた場合、2重像間変位(2重像間の位置ずれ)を計測(算出)することにより、<3−3−1>及び<3−3−2>で詳細に述べるように、光線追跡法を使って、計測対象までの距離をこれらの関数(外部パラメータ
及び2重像間変位の関数)として計測(算出)するようにしている。
<3−3−1>反射型構成を有する本発明の距離計測装置を用いた場合
ここで、反射型構成を有する本発明の距離計測装置とは、反射板として透明板を用いた本発明の距離計測装置のことを意味する。
に表面反射像として撮影された計測対象は、tSを媒介変数とする下記数8で表す直線
上に存在する。
が成立する。また、
は、それぞれ透明板表面上の点と透明板表面の単位法線ベクトルであり、
は原点(カメラ光学中心)である。そして、
は外部パラメータ
に含まれる
を使って
と表せる。
に対する変位
を検出できたとき、裏面反射像として撮影された計測対象は、tRを媒介変数とする下記数9で表す直線
上に存在する。
が成立する。また、
は、それぞれ透明板裏面上の点と透明板裏面の単位法線ベクトルであり、
は原点(カメラ光学中心)である。そして、
は外部パラメータ
に含まれる
を使って
と表せる。
との交点位置、つまり、下記数10で表すように、2直線
までの距離の2乗和が最小になる位置が、計測対象の位置
である。
が成立する。
は、カメラ座標系での計測対象の3次元座標を表しており、そのY座標
は計測対象までの距離である。
<3−3−2>透過型構成を有する本発明の距離計測装置を用いた場合
ここで、透過型構成を有する本発明の距離計測装置とは、反射板として両面ハーフミラー板を用いた本発明の距離計測装置のことを意味する。
の直接像に対応する計測対象は、tDを媒介変数とする下記数11で表す直線
上に存在する。
が成立する。また、
はそれぞれ両面ハーフミラー板の射出光側と入射光側の表面上の点であり、
はそれぞれ両面ハーフミラー板の射出光側と入射光側の表面の単位法線ベクトルである。
は原点(カメラ光学中心)である。そして、
は、外部パラメータ
に含まれる
を使って、それぞれ
と表せる。
に対する変位
を検出できたとき、内部反射像に対応する計測対象は、tI1を媒介変数とする下記数12で表す直線
上に存在する。
が成立する。また、
は原点(カメラ光学中心)である。
との交点位置、つまり、下記数13で表すように、2直線
での距離の2乗和が最小になる位置が、計測対象の位置
である。
が成立する。
は、カメラ座標系での計測対象の3次元座標を表しており、そのZ座標
は計測対象までの距離である。
<3−4>本発明の距離計測装置における2重像間の変位拘束
本発明の距離計測装置における2重像間の変位拘束は、従来のリフレクションステレオにおける2重像間の変位拘束と異なる。
と数12の
を求める際に用いた変位
は、即ち、図7(B)と図8(B)に示した変位(2重像間変位)
は、<1−3>及び図3に示した従来のリフレクションステレオにおける2重像間変位
とは異なる。
付近に対応する反射板が非平行であるために、
の拘束がある。
は注目点
における計測対象までの距離が無限のときの変位を表し、
は拘束直線の単位方向ベクトルを表す。また、Δは位置
から拘束直線に沿った距離[画素]を表す。そして、
は、次のように外部パラメータ
から求める。
について、外部パラメータ
と2重像間変位
から、計測対象までの距離
を求めることができる。逆に、計測対象までの距離
に対する2重像間変位
は、1パラメータ最適化問題として求めることができる。
を次第に大きくして、それに対する2重像間変位
の変化が十分小さくなったときの変位を、無限遠距離に対応する2重像間変位
とする。また、複数の距離に対応する2重像間変位から、拘束直線の単位方向ベクトル
を求める。
を求めることができる。ただし、計測対象までの距離として、計測対象の3次元座標のY座標、即ち、
を用いる。
に対する外部パラメータ
は、<4>で述べる本発明の距離計測装置におけるキャリブレーション方法(外部パラメータ推定方法)を用いて求める。
<4>本発明の距離計測装置におけるキャリブレーション方法
ここでは、本発明の距離計測装置におけるキャリブレーション方法(外部パラメータ推定方法)、及び外部パラメータの関数表現について詳細に説明する。
<4−1>外部パラメータ推定方法
<2>で既に述べたように、本発明の距離計測装置において、キャリブレーション処理部が2重像間変位と既知の距離とに基づき、外部パラメータを推定するようにしており、即ち、キャリブレーション処理部が距離計測装置のキャリブレーション(キャリブレーション処理)を行っている訳である。
について、キャリブレーション平面までの距離Dzとそれに対応する2重像間変位
がM組求まれば、つまり、
が求まれば、一般的なカメラキャリブレーション手法(非特許文献21を参照)と同様に、次のように外部パラメータ
を推定することができる。
は外部パラメータ推定値である。また、非線形目的関数
の第2項は、推定する外部パラメータが外部パラメータの設計値
から遠く外れないようにするための安定化項である。重み係数αは、できるだけ小さな値に実験的に決定する。外部パラメータの各要素は互いに影響し合っているため、ほとんどの場合、安定化項と適切な初期値を与えないと、安定に収束しない。そして、この非線形目的関数
の最小化には、外部パラメータの設計値を初期値として共役勾配法を利用した。
は、キャリブレーション平面に十分な密度の適切なテクスチャがあれば、2重像間の変位拘束を全く利用せずに、正規化自己相関関数の2次極大位置として計測することができる。この2重像間変位
は2自由度なので、7個の外部パラメータを推定するためには、M≧4の観測(撮影及び2重像間変位算出)が必要である。
<4−2>本発明に外部パラメータの関数表現
うねりのある市販のアクリル透明板やガラス板は、製品の性能上では平行平面板として設計されているため、本発明では、そのようなアクリル透明板やガラス板に映る2重像を撮影した画像上の注目点(注目点位置)が変化しても、外部パラメータの変化は微小で、また、注目点(注目点位置)の変化に対して、外部パラメータの変化が連続であるとする。
に対する2次元3次関数で近似する。
に対して推定した外部パラメータ
を使って、下記数16のように、重み付き最小二乗法で求める。
の逆数を重みとすることで、残差の大きな画像位置のキャリブレーション結果の影響を小さくする。
と拘束直線の単位方向ベクトル
は、推定した外部パラメータを使って、<3−4>で述べた方法で予め計算しておく。そして、外部パラメータと同様に、その計算結果
も関数で表現するようにし、つまり、その計算結果
を画像位置に対する2次元3次関数で近似する。距離算出部50で行う距離算出処理では、近似関数の係数ベクトルを利用する。
<4−3>本発明におけるキャリブレーション方法と従来のリフレクションステレオにおけるキャリブレーション方法との比較
従来のリフレクションステレオにおけるキャリブレーション方法(非特許文献16を参照)では、画像上の位置に対して不変な7個の外部パラメータを利用していた。反射型リフレクションステレオを用いた場合に、画像中央部分から透明板の両表面の法線ベクトルの差
又は、透過型リフレクションステレオを用いた場合に、画像中央部分から両面ハーフミラー板の両表面の法線ベクトルの差
を推定し、両表面の法線ベクトルの平均、及びDco、d、nは、設計値をそのまま利用していた。
以上のように、本発明に係る距離計測装置及び距離計測方法について詳細に説明したが、本発明の距離計測装置における2重像間変位算出部、キャリブレーション処理部(キャリブレーション方法)、及び距離算出部(距離計測方法)は、コンピュータシステムを利用し、ソフトウェア(コンピュータプログラム)により実装されることができ、そして、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)などのハードウェアにより実装されることも勿論できる。
<5>実験結果
ここでは、実画像を使ったキャリブレーション実験を行い、本発明の有効性を示す。つまり、従来のキャリブレーション方法に対して、本発明に係るキャリブレーション方法の有効性を検討した。<5−1>から<5−3>では、透過型構成を有する本発明の距離計測装置を使用し、そして、<5−4>では、反射型構成を有する本発明の距離計測装置を使用した。
<5−1>透過型構成を有する本発明の距離計測装置の装置構成
図9に示すように、両面ハーフミラー板をカメラ光軸に対して45[度]に固定して筐体に取り付けた。ハーフミラーの反射率は、両表面ともに75%である。カメラには、PointGray社製Flea(グレースケールVGA)を利用した。両面ハーフミラー板の設計値は、Dco=66.2[mm]、d=12.0[mm]、n=1.49である。両面ハーフミラー板は、画像上で右上の厚みが約0.26[mm]大きくなるような細工をした。
<5−2>本発明におけるキャリブレーション
図10は、図9の透過型構成を有する本発明の距離計測装置に対して、キャリブレーションを行う際の様子を示す図である。
を推定し、それぞれの推定での残差の総和Ed(De)を下記数17のように求めた。
を下記数18のように推定した。
となった。
とキャリブレーション平面までの既知の距離とに基づき、カメラ光学中心からキャリブレーション平面までの絶対距離を算出する。算出した絶対距離を用い、本発明の距離計測装置のキャリブレーション処理部にて、再び外部パラメータを推定する。
<5−3>本発明におけるキャリブレーション平面までの距離計測
本発明では、推定した外部パラメータを使って、キャリブレーション平面までの距離を再計測した。
<5−4>反射型構成を有する本発明の距離計測装置によるキャリブレーションと形状計測
この実験では、反射型構成を有する本発明の距離計測装置を用いた。反射型構成を有する本発明の距離計測装置では、表面に反射率50%のハーフミラー、裏面に反射率100%のミラーを用いた反射板を利用した。コーティングのない透明板を反射板として利用するのに対して、表面に反射率50%のハーフミラー、裏面に反射率100%のミラーを用いた反射板(以下、単に「反射板」という。)の反射像が明るくなる特徴がある。
10 反射板(透明板又は両面ハーフミラー板)
20 撮像手段
30 2重像間変位算出部
40 キャリブレーション処理部
50 距離算出部
Claims (16)
- 非平行で完全平面ではない1枚の反射板と、
1台の撮像手段と、
前記反射板に写る位置ずれのある2重像を前記撮像手段で撮影して得られた画像から、2重像間変位を算出する2重像間変位算出部と、
既知の距離にある複数のキャリブレーション平面を2重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理部と、
推定された前記外部パラメータと、未知の距離にある計測対象を2重像として撮影した1枚の画像から、前記計測対象までの距離を算出する距離算出部と、
を備え、
前記反射板を局所的に非平行な平面で近似し、
前記キャリブレーション処理部で推定された外部パラメータは、2重像を撮影した画像上の注目点に応じて異なる値を持つことを特徴とする距離計測装置。 - 距離計測装置であって、
非平行で完全平面ではない1枚の反射板と、
1台の撮像手段と、
前記反射板に写る位置ずれのある2重像を前記撮像手段で撮影して得られた画像から、2重像間変位を算出する2重像間変位算出部と、
前記2重像間変位算出部が既知の距離にある複数のキャリブレーション平面を2重像として撮影した複数の画像を用いて算出した2重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理部と、
前記2重像間変位算出部が未知の距離にある計測対象を2重像として撮影した1枚の画像を用いて算出した2重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出部と、
を備え、
2重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する2重像を形成するために必要な反射板上の領域(分割平面領域)は、その注目点と同じ値の外部パラメータを持ち、
前記キャリブレーション処理部で推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出部では、注目点に応じて異なる値を持つ外部パラメータを利用することを特徴とする距離計測装置。 - 前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板である請求項2に記載の距離計測装置。
- 前記撮像手段は固体撮像素子を用いる撮像装置である請求項2又は請求項3に記載の距離計測装置。
- 前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成される請求項2乃至請求項4のいずれかに記載の距離計測装置。
- 前記キャリブレーション処理部では、次の数式のように、外部パラメータを画像位置
に対する2次元3次関数で近似し
ただし、Φj(j=1,2,…,10)は外部パラメータに対応した7要素の係数ベクトルであり、係数ベクトルΦjは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求める請求項5に記載の距離計測装置。 - 前記距離算出部では、ある注目点に対する2重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する2重像の位置に対応する視線をそれぞれ求め、求めた2つの視線の交点位置までの距離を、前記計測対象までの距離とする請求項5又は請求項6に記載の距離計測装置。
- 前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、
前記キャリブレーション平面の前記既知の距離Dziを、Dzi=Di+De[mm](i=0,1,・・・,12、また、Diはi番目のキャリブレーション平面までの既知の距離を表す。)とおき、3通りの絶対距離の誤差De=0,±25[mm]を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ed(De)を次の数式のように求め、
求めた残差の総和Ed(−25)、Ed(0)、Ed(25)を2次関数に当てはめ、Ed(De)を最小にする絶対距離の誤差
を
に基づいて推定し、
推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、
算出した前記絶対距離を用い、前記キャリブレーション処理部にて、再び前記外部パラメータを推定する請求項5乃至請求項7のいずれかに記載の距離計測装置。 - 非平行で完全平面ではない1枚の反射板と、1台の撮像手段とから構成される距離計測装置における距離計測方法であって、
前記反射板に写る位置ずれのある2重像を前記撮像手段で撮影して得られた画像から、2重像間変位を算出する2重像間変位算出ステップと、
既知の距離にある複数のキャリブレーション平面を2重像として撮影した複数の画像から、前記反射板の形状、姿勢、屈折率及び前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離を表す外部パラメータを推定するキャリブレーション処理ステップと、
推定された前記外部パラメータと、未知の距離にある計測対象を2重像として撮影した1枚の画像から、前記計測対象までの距離を算出する距離算出ステップと、
を有し、
前記反射板を局所的に非平行な平面で近似し、
前記キャリブレーション処理ステップで推定された外部パラメータは、2重像を撮影した画像上の注目点に応じて異なる値を持つことを特徴とする距離計測方法。 - 非平行で完全平面ではない1枚の反射板と、1台の撮像手段とから構成される距離計測装置における距離計測方法であって、
前記反射板に写る位置ずれのある2重像を前記撮像手段で撮影して得られた画像から、2重像間変位を算出する2重像間変位算出ステップと、
前記2重像間変位算出ステップにより既知の距離にある複数のキャリブレーション平面を2重像として撮影した複数の画像を用いて算出した2重像間変位と、前記既知の距離とに基づき、前記距離計測装置の外部パラメータを推定するキャリブレーション処理ステップと、
前記2重像間変位算出ステップにより未知の距離にある計測対象を2重像として撮影した1枚の画像を用いて算出した2重像間変位と、推定された前記外部パラメータとに基づき、前記計測対象までの距離を算出する距離算出ステップと、
を有し、
2重像を撮影した画像上の注目点付近に対応する反射板を、非平行度を持つ平面板で近似し、注目点に対応する2重像を形成するために必要な反射板上の領域(分割平面領域)は、その注目点と同じ値の外部パラメータを持ち、
前記キャリブレーション処理ステップにより推定された外部パラメータは、注目点に応じて異なる値を持ち、前記距離算出ステップでは、注目点に応じて異なる値を持つ外部パラメータを利用することを特徴とする距離計測方法。 - 前記反射板は、透明板又は、透明板の両面にハーフミラーコーティングを施した両面ハーフミラー板である請求項10に記載の距離計測方法。
- 前記撮像手段は固体撮像素子を用いる撮像装置である請求項10又は請求項11に記載の距離計測方法。
- 前記外部パラメータは、前記反射板の両表面に対する法線ベクトルと、前記撮像手段のカメラ光学中心から前記反射板までの光軸に沿った距離と、前記反射板の板厚と、前記反射板の空気に対する相対屈折率とから構成される請求項10乃至請求項12のいずれかに記載の距離計測方法。
- 前記キャリブレーション処理ステップでは、次の数式のように、外部パラメータを画像位置
に対する2次元3次関数で近似し
ただし、Φj(j=1,2,…,10)は外部パラメータに対応した7要素の係数ベクトルであり、係数ベクトルΦjは、多数の画像位置
に対して推定した外部パラメータ
を使って、
に基づき、重み付き最小二乗法で求める請求項13に記載の距離計測方法。 - 前記距離算出ステップでは、ある注目点に対する2重像間変位と、前記注目点に対する外部パラメータとに基づき、前記注目点に対応する視線と、前記注目点に対応する2重像の位置に対応する視線をそれぞれ求め、求めた2つの視線の交点位置までの距離を、前記計測対象までの距離とする請求項13又は請求項14に記載の距離計測方法。
- 前記撮像手段のカメラ光学中心から前記キャリブレーション平面までの絶対距離を求めるために、
前記キャリブレーション平面の前記既知の距離Dziを、Dzi=Di+De[mm](i=0,1,・・・,12、また、Diはi番目のキャリブレーション平面までの既知の距離を表す。)とおき、3通りの絶対距離の誤差De=0,±25[mm]を仮定して、それぞれ外部パラメータ
を推定し、それぞれの推定での残差の総和Ed(De)を次の数式のように求め、
求めた残差の総和Ed(−25)、Ed(0)、Ed(25)を2次関数に当てはめ、Ed(De)を最小にする絶対距離の誤差
を
に基づいて推定し、
推定した絶対距離の誤差
と前記既知の距離とに基づき、前記絶対距離を算出し、
算出した前記絶対距離を用い、前記キャリブレーション処理ステップにより、再び前記外部パラメータを推定する請求項13乃至請求項15のいずれかに記載の距離計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008018189A JP5147055B2 (ja) | 2008-01-29 | 2008-01-29 | 距離計測装置及び距離計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008018189A JP5147055B2 (ja) | 2008-01-29 | 2008-01-29 | 距離計測装置及び距離計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009180562A true JP2009180562A (ja) | 2009-08-13 |
JP5147055B2 JP5147055B2 (ja) | 2013-02-20 |
Family
ID=41034664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008018189A Expired - Fee Related JP5147055B2 (ja) | 2008-01-29 | 2008-01-29 | 距離計測装置及び距離計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5147055B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105093476A (zh) * | 2015-09-14 | 2015-11-25 | 昆明云锗高新技术有限公司 | 红外光学系统双反射镜的u型折转光路装调方法 |
WO2016002443A1 (ja) * | 2014-07-04 | 2016-01-07 | アズビル株式会社 | 距離測定装置および方法 |
WO2016002442A1 (ja) * | 2014-07-04 | 2016-01-07 | アズビル株式会社 | 距離測定装置および方法 |
CN114689014A (zh) * | 2022-05-31 | 2022-07-01 | 江西省医学科学院 | 单目相机调焦测距装置、测距方法、存储介质及计算机 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11160021A (ja) * | 1997-11-27 | 1999-06-18 | Nippon Telegr & Teleph Corp <Ntt> | 広域3次元位置計測方法及び装置 |
JPH11351836A (ja) * | 1998-06-08 | 1999-12-24 | Hitachi Ltd | 立体形状検出装置及びその方法 |
JP2000100362A (ja) * | 1998-09-18 | 2000-04-07 | Hitachi Ltd | 荷電粒子ビーム走査式自動検査装置 |
JP2004361274A (ja) * | 2003-06-05 | 2004-12-24 | Pentax Corp | 光学面の形状誤差評価装置および評価方法 |
JP2006329897A (ja) * | 2005-05-30 | 2006-12-07 | Tokyo Institute Of Technology | 透明板に映る2重像を用いた距離計測方法 |
-
2008
- 2008-01-29 JP JP2008018189A patent/JP5147055B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11160021A (ja) * | 1997-11-27 | 1999-06-18 | Nippon Telegr & Teleph Corp <Ntt> | 広域3次元位置計測方法及び装置 |
JPH11351836A (ja) * | 1998-06-08 | 1999-12-24 | Hitachi Ltd | 立体形状検出装置及びその方法 |
JP2000100362A (ja) * | 1998-09-18 | 2000-04-07 | Hitachi Ltd | 荷電粒子ビーム走査式自動検査装置 |
JP2004361274A (ja) * | 2003-06-05 | 2004-12-24 | Pentax Corp | 光学面の形状誤差評価装置および評価方法 |
JP2006329897A (ja) * | 2005-05-30 | 2006-12-07 | Tokyo Institute Of Technology | 透明板に映る2重像を用いた距離計測方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016002443A1 (ja) * | 2014-07-04 | 2016-01-07 | アズビル株式会社 | 距離測定装置および方法 |
WO2016002442A1 (ja) * | 2014-07-04 | 2016-01-07 | アズビル株式会社 | 距離測定装置および方法 |
CN105093476A (zh) * | 2015-09-14 | 2015-11-25 | 昆明云锗高新技术有限公司 | 红外光学系统双反射镜的u型折转光路装调方法 |
CN114689014A (zh) * | 2022-05-31 | 2022-07-01 | 江西省医学科学院 | 单目相机调焦测距装置、测距方法、存储介质及计算机 |
CN114689014B (zh) * | 2022-05-31 | 2022-09-02 | 江西省医学科学院 | 单目相机调焦测距装置、测距方法、存储介质及计算机 |
Also Published As
Publication number | Publication date |
---|---|
JP5147055B2 (ja) | 2013-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ahmadabadian et al. | A comparison of dense matching algorithms for scaled surface reconstruction using stereo camera rigs | |
CN102047651B (zh) | 生成法线信息的图像处理装置、方法及视点变换图像生成装置 | |
US8718326B2 (en) | System and method for extracting three-dimensional coordinates | |
US8705846B2 (en) | Position measuring apparatus, position measuring method, image processing apparatus and image processing method | |
US20170085864A1 (en) | Underwater 3d image reconstruction utilizing triple wavelength dispersion and camera system thereof | |
EP2437026A1 (en) | Method and system for providing threedimensional and range inter-planar estimation | |
EP1580523A1 (en) | Three-dimensional shape measuring method and its device | |
Strelow et al. | Precise omnidirectional camera calibration | |
CN102788559A (zh) | 一种宽视场结构光视觉测量系统及测量方法 | |
JP6515650B2 (ja) | 校正装置、距離計測装置及び校正方法 | |
Zhang et al. | Depth sensing beyond lidar range | |
US6411327B1 (en) | Stereo camera system for obtaining a stereo image of an object, and system and method for measuring distance between the stereo camera system and the object using the stereo image | |
JP4734630B2 (ja) | 透明板に映る2重像を用いた距離計測方法 | |
Zhong et al. | A single color camera stereo vision system | |
JP5147055B2 (ja) | 距離計測装置及び距離計測方法 | |
KR20180019049A (ko) | 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법 | |
JP2017098859A (ja) | 画像のキャリブレーション装置及びキャリブレーション方法 | |
JP2011185720A (ja) | 距離取得装置 | |
Shimizu et al. | Calibration and rectification for reflection stereo | |
Palmér et al. | Calibration, positioning and tracking in a refractive and reflective scene | |
KR101995344B1 (ko) | 사각지역이 없는 듀얼 깊이 카메라 모듈 | |
Shimizu et al. | Reflection stereo-novel monocular stereo using a transparent plate | |
Chen et al. | A structured-light-based panoramic depth camera | |
Pachidis et al. | Pseudo-stereo vision system: a detailed study | |
US11997247B2 (en) | Three-dimensional space camera and photographing method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121122 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |