JP2014178265A - 校正装置、方法及びプログラム - Google Patents

校正装置、方法及びプログラム Download PDF

Info

Publication number
JP2014178265A
JP2014178265A JP2013053551A JP2013053551A JP2014178265A JP 2014178265 A JP2014178265 A JP 2014178265A JP 2013053551 A JP2013053551 A JP 2013053551A JP 2013053551 A JP2013053551 A JP 2013053551A JP 2014178265 A JP2014178265 A JP 2014178265A
Authority
JP
Japan
Prior art keywords
calibration
projection
ray
photographing
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013053551A
Other languages
English (en)
Other versions
JP6079333B2 (ja
Inventor
Takayuki Hara
崇之 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013053551A priority Critical patent/JP6079333B2/ja
Priority to US14/208,669 priority patent/US9739603B2/en
Publication of JP2014178265A publication Critical patent/JP2014178265A/ja
Application granted granted Critical
Publication of JP6079333B2 publication Critical patent/JP6079333B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ピンホールカメラモデルから乖離した光学系を有する投影装置を使用する3次元測定装置を校正する。
【解決手段】非ピンホール光学系を有する投影装置から、複数の特徴点を有する校正用物体に対して校正用パターンを投影し、ピンホール光学系を有する撮影装置で当該校正用物体を複数の撮影方向から撮影する。取得された複数の撮影画像上の3次元物体の特徴点の位置に基づいて、3次元物体に対する撮影装置の相対位置および姿勢を推定する。各前記撮影画像につき、校正用パターンの特徴点の位置および推定された撮影装置の相対位置・姿勢に基づいて、該校正用パターンの特徴点に対応する投影光線の3次元物体上の反射位置を推定し、複数の撮影画像について推定された複数の反射位置に基づいて、校正用パターンの特徴点に対応する投影光線の位置および方向を同定する。
【選択図】図1

Description

本発明は、校正装置、方法及びプログラムに関する。
従来、ステレオ法による3次元計測技術が広汎な分野で応用されている。ここで、ステレオ法による3次元計測方法には、大きく分けて、受動的計測法と能動的計測法がある。
能動的計測法では、特定のパターン画像を計測対象物に投影する一方で、当該計測対象物を投影視点と異なる視点から撮影し、投影したパターン画像と撮影された計測対象物上のパターン画像の対応付けを行う。そして、各画像の対応点の画素位置と、投影装置および撮影装置のそれぞれの光学系の内部パラメータ(焦点距離、光軸位置、レンズ歪み等)と、外部パラメータ(投影装置および撮影装置の相対位置・姿勢)に基づいて、三角測量の原理により計測対象物までの距離を算出する(例えば、特許文献1)。
ここで、3次元計測に先だって、上述した内部パラメータおよび外部パラメータを事前に取得することを校正(キャリブレーション)という。
能動的計測法における校正は、通常、校正用の投影面に投影したパターン画像を撮影装置で撮影した後、校正用スクリーン、投影装置の投影面および撮影装置の撮像面の間でパターン画像の対応付けを行い、その結果に基づいて内部および外部パラメータを取得する(例えば、特許文献2)。
このような校正手法は、投影装置の光学系が、ピンホールカメラモデル(投影光線が特定の一点を通過する中心射影方式)で近似できることを前提条件とするが、市販の投影装置の中には、ピンホールカメラモデルから乖離した光学系を有するものがある。
例えば、特許文献3は、より低いコストで光学性能の劣化を低減するために、投影光線が一点に集光しない凹面鏡を用いた短焦点プロジェクターを開示するが、このようなプロジェクターを使用する3次元測定装置には、従来の校正方法を適用することができない。
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、ピンホールカメラモデルから乖離した光学系を有する投影装置を使用する3次元測定装置を校正するための装置、方法およびプログラムを提供することを目的とする。
本発明者は、ピンホールカメラモデルから乖離した光学系を有する投影装置を使用する3次元測定装置を校正するための構成につき、鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。
すなわち、本発明によれば、投影装置を制御して複数の特徴点を有する校正用の3次元物体に校正用パターンを投影させる校正用パターン投影手段と、撮影装置を制御して前記校正用パターンが投影された前記3次元物体を複数の撮影方向から撮影した複数の撮影画像を取得する校正用物体撮影手段と、前記複数の撮影画像上の前記3次元物体の前記特徴点の位置に基づいて、前記3次元物体に対する前記撮影手段の相対位置および姿勢を推定する位置姿勢推定手段と、各前記撮影画像につき、前記校正用パターンの特徴点の位置および推定された前記撮影手段の前記相対位置・姿勢に基づいて、該校正用パターンの特徴点に対応する投影光線の前記3次元物体上の反射位置を推定する反射位置推定手段と、前記複数の撮影画像について推定された複数の前記反射位置に基づいて、前記校正用パターンの特徴点に対応する前記投影光線の位置および方向を同定する投影光線同定手段とを含む校正装置が提供される。
上述したように、本発明によれば、ピンホールカメラモデルから乖離した光学系を有する投影装置を使用する3次元測定装置を校正するための装置、方法およびプログラムが提供される。
本実施形態の校正装置の機能ブロック図。 ピンホールカメラモデルから乖離した光学系を説明するための概念図。 本実施形態の校正装置が実行する処理を表すフローチャート。 本実施形態における校正用パターンを示す図。 本実施形態における校正用物体を示す図。 本実施形態における反射位置推定部が実行する処理を説明するための概念図。 本実施形態における投影光線同定部が実行する処理を説明するための概念図。 本実施形態における投影光線補正部が使用するフィルタを示す図。 本実施形態における校正用パターンを示す図。
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
図1は、本発明の実施形態である校正装置100の機能ブロック図を示す。図1において、投影装置200および撮影装置300は、ステレオ法による3次元計測(能動的計測法)において使用される光学装置である。
撮影装置300は、CCDやCMOSなどの撮像素子を備えたデジタルカメラとして参照することができ、図2(a)に示すように、光線が1つの撮影視点を通過するピンホールカメラモデルの光学系(以下、ピンホール光学系という)を有する。
一方、投影装置200は、短焦点プロジェクターとして参照することができ、近接して配置されるスクリーンに対して映像を広角投写するために、短焦点の投写レンズを透過した光を非球面反射ミラーに反射させてスクリーンに投射する構成を採用する。そのため、投影装置200は、図2(b)に示すように、全ての光線が1点で交差しないピンホールカメラモデルから乖離した光学系(以下、非ピンホール光学系という)を有する。
本実施形態においては、校正に際し、校正用の3次元物体(以下、校正用物体という)が用意される。なお、校正用物体の3次元座標位置は、事前に測定され、既知とされるものとする。
本実施形態においては、校正に際し、投影装置200と撮影装置300の相対位置・姿勢を固定して状態で、投影装置200から校正用物体に対して校正用のパターンが投影され、撮影装置300は、当該パターンが投影された校正用物体を撮影する。
ここで、本実施形態の校正装置100は、投影装置200および撮影装置300の双方に通信可能に接続される情報処理装置として参照することができ、非ピンホール光学系を有する投影装置200から投影される投影光線の位置および方向(すなわち、投影光線を表す方程式)を同定する。
図1に示すように、本実施形態の校正装置100は、校正用パターン投影部10、校正用物体撮影部12、記憶部13、位置姿勢推定部14、反射位置推定部16、投影光線同定部18および投影光線補正部19を含んで構成される。
校正用パターン投影部10は、記憶部13から所定の校正用パターンを読み出し、投影装置200を制御して校正用に用意される3次元物体(後述する)に当該校正用パターンを投影させる。
校正用物体撮影部12は、撮影装置300を制御して校正用パターンが投影された3次元物体を撮影して撮影画像を取得し、記憶部13に格納する。ここで、本実施形態においては、校正用物体に対する撮影装置300の相対的な撮影方向がM回変更され(Mは2以上の整数)、校正用物体撮影部12は、M個の撮影画像を取得して記憶部13に格納する。
位置姿勢推定部14は、撮影装置300が取得した撮影画像を記憶部13から読み込み、校正用物体に対する撮影装置300の相対位置・姿勢を推定する。
反射位置推定部16は、位置姿勢推定部14が推定した撮影装置300の相対位置および姿勢に基づき、校正用パターンの反射位置を推定する。
投影光線同定部18は、反射位置推定部16が推定した校正用パターンの反射位置に基づき、非ピンホール光学系を有する投影装置200から投影される投影光線の位置および方向を同定する。
投影光線補正部19は、投影光線同定部18が同定した投影光線の位置および方向を補正する。
以上、本実施形態の校正装置100を構成する各機能部について概説したが、続いて、上述した各機能部が協働して実行する処理の内容を、図3に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図1を参照するものとする。
ステップ101では、投影装置200が記憶部13から校正用パターンを読み出して、予め用意された校正用物体に投影する。
図4は、本実施形態で使用する校正用パターンの一例として、チェッカーパターンを示す。以下、これを校正用パターン50として参照する。
一方、図5は、本実施形態で用意する校正用物体の一例を示す。本実施形態における校正用物体は、その表面にN個の特徴点を有することを条件とする。図5に例示する校正用物体60は、曲面を備えており、当該曲面には特徴点として複数の円パターン62が描画されている。なお、本実施形態においては、校正に先立ち、校正用物体60の形状および各円パターン62の3次元座標位置は、適切な方法によって事前に測定され、既知とされる。この他にも、校正物体を3Dプリンタで作成するような場合には、その入力に使用した校正物体の設計値(CADデータ)を用いて特徴点の3次元座標位置を既知としておくことができる。
以降のステップは、図4に示す校正用パターン50および図5に示す校正用物体60を使用した場合を例にとって説明する。
続くステップ102では、撮影装置300が校正用パターン50の投影された校正用物体60を撮影し(必要に応じて撮影画像にレンズ歪みの補正を施した後)、記憶部13に保存する。
続くステップ103では、撮影回数がM回に達したか否かが判断される。その結果、撮影回数がM回に達していないと判断された場合は(ステップ103、No)、処理はステップ104に進む。
ステップ104では、校正用物体60の3次元位置を変更する。ここで、校正用物体60の3次元位置は、手動で変更しても良いし、校正用物体60を適切な駆動ステージの上に静置した上で、当該駆動ステージを制御して変更しても良い。要するにステップ104では、撮影装置300に対する校正用物体60の相対位置・姿勢を変更すれば良く、別の態様では、校正用物体60の3次元位置を固定した状態で、撮影装置300(および投影装置200)の方を動かして撮影装置300に対する校正用物体60の相対位置・姿勢を変更するようにしても良い。
以降、ステップ103において、撮影回数がM回に達したと判断されるまで、ステップ101〜104を繰り返し、撮影回数がM回に達した時点で(ステップ103、Yes)、ステップ105に進む。この時点で、記憶部13には、校正用物体60の撮影画像がM個保存される。
ステップ105では、位置姿勢推定部14が、以下の手順で、校正用物体60に対する撮影装置300のカメラ座標系の相対位置・姿勢を推定する。
まず、記憶部13に保存されたM個の撮影画像(校正用物体60の撮影像)を読み込み、各撮影画像からN個の特徴点(円パターン62の中心)のカメラ座標位置を取得する。
ここで、j番目の撮影画像におけるi番目の特徴点のカメラ座標位置を(xi (j), yi (j))とし、校正用物体60に描画されたi番目の特徴点の3次元座標位置を(Xi, Yi, Zi)とし、相対的に撮影装置300に回転・並進が生じていると考える。
j番目の画像を撮影した際の撮影装置300の回転行列をR(j)、並進ベクトルをt(j)とすると、撮影装置300がピンホール光学系を有することから、校正用物体60に描画されたi番目の特徴点(Xi, Yi, Zi)の理想的な撮像位置(x’i (j), y’i (j))は、下記式(1)で算出される。
上記式(1)において、Kは、撮影装置300の内部パラメータ行列であり、撮影装置300の焦点距離(fx, fy)、光軸位置(cx, cy)を用いて下記式(2)のように表される。なお、内部パラメータKは、事前に求めておいてもよい。
ここで、本実施形態においては、上記式(1)で算出される理想的な撮像位置(x’i (j), y’i (j))と実際に撮影装置300によって観測された撮像位置(xi (j), yi (j))のユークリッド距離の二乗をN個の特徴点とM枚の撮影画像に対して和を取ったものを評価関数とし、これを最小化するK, R(j), t(j)を求める。
その結果、校正用物体60のj番目の撮影画像における回転行列R(j)T(Tは転置を示す)、並進ベクトル−R(j)Tt(j)が得られ、校正用物体60に対する撮影装置300のカメラ座標系の相対位置・姿勢が推定される。
続くステップ106では、反射位置推定部16が、以下の手順で、校正用パターン50の特徴点に対応する投影光線の校正用物体60上の投影位置、すなわち、当該投影光線の校正用物体60上の反射位置(3次元座標位置)を推定する。
まず、記憶部13からM個の撮影画像(校正用物体60の撮影像)を読み込み、各撮影画像から、ハリスのコーナー検出法などを用いて校正用パターン50を構成する白または黒の各正方形部分のコーナーを特徴点として検出し、当該特徴点のカメラ座標位置を取得する。
次に、上述した手順で取得した校正用パターン50の特徴点のカメラ座標位置とステップ104で推定した校正用物体60に対する撮影装置300のカメラ座標系の相対位置・姿勢から、校正用パターン50の特徴点に対応する投影光線の校正用物体60上の反射位置を推定する。
具体的には、図6に示すように、撮影装置300の撮影中心と校正用パターン50の特徴点pのカメラ座標位置(px, py)を通る直線が、校正用物体60の表面と交差する点の位置を、校正用パターン50の特徴点pに対応する投影光線の校正用物体60上の反射位置qの3次元座標位置(qx, qy, qz)Tとして推定する。
上述したステップ105およびステップ106を記憶部13に保存されたM個の撮影画像すべてに対して実行した後、処理はステップ107に進む。
ステップ107では、投影光線同定部18が以下の手順で投影光線の位置および方向を同定する。
具体的には、図7に示すように、校正用パターン50上の1つの特徴点に着目して、同一特徴点に対応する校正用物体60上の反射位置q(M個の位置・姿勢毎に異なる)をq1, q2, q3 …, qMとし、これらの点群に最小二乗法で直線をフィッティングすることによって、投影装置200から出射する投影光線の位置および方向を求める。上述した手順を校正用パターン50上のすべての特徴点pに対応する反射位置qについて実施し、各特徴点pに対応する投影光線の位置および方向を求める。
以上、反射位置推定部16が、校正用パターン50の特徴点に対応する投影光線の校正用物体60上の反射位置の3次元座標位置を推定する手順について述べたが、上述した他にも以下の別法を用いることができる。
投影装置200の光学系が全体として非ピンホール系であっても、局所的にはピンホール系と見なせる場合がある。このように、投影光線間に一定の制約を課すことができる場合、投影光線同定部18は、ステップ107において、以下の手順で投影光線の位置および方向を同定することができる。
まず、反射位置推定部16が推定した校正用パターン50のi番目の特徴点の校正用物体60上での反射位置qの組q1(i), q2(i), …, qM(i)を取得する。ここで、校正用パターン50のi番目の特徴点に対応する投影光線の方向余弦(方向の単位ベクトル)をe(i)、通過位置をa(i)とする。
i番目の特徴点とj番目の特徴点に対応する投影光線に対してピンホールカメラモデルが適用できる場合、a(i)= a(j)が成り立つ。このことを利用して、同一のピンホールカメラモデルが成り立つ投影光線のインデックスの集合をSとして、下記式(3)に示す最適化問題を解く。
つまり、投影光線の通過位置を一点に制限した上で、投影光線の直線から反射位置の推定位置の距離の二乗和を最小化する。この最適化問題は次のような反復演算で解くことができる。
まず、e(i) (i∈S)に初期値を設定する。例えば、q1(i), q2(i), …, qM(i)を主成分分析し、第一主成分の方向をe(i)に設定する。次に、下記式(4)でa= a(i) (i∈S)を求める。
そして、i∈Sに対する次の行列の最大固有値に対応する固有ベクトルを求め、それをe(i)に代入する。
上記式(4)による通過位置aの更新と下記式(5)の固有値演算による方向余弦e(i)の更新を、規定条件を満たすまで繰り返す。
上述した投影光線間に成り立つ制約を元に最小二乗推定を行う方法によれば、少ない撮影画像からロバストに投影光線の位置および方向を同定することができる。この方法においては、規定条件として、例えば特定回数繰り返すことや、繰り返しごとのパラメータの変化量が特定閾値より小さくなること、などを設定することができる。また、制約条件の与え方は上述した例に限らず、例えば投影光線の光軸に対する対称性を制約とすることもできる。一般的な制約の場合は、上述した反復解法を適用できないため、汎用の制約条件付き非線形最適化法により解を得る。
さらに、投影光線間に一定の制約を課すことができない場合でも、十分に滑らかに変化する光学系では、空間的に近い投影光線同士の位置、方向は近い値を取る場合がある。このような場合、投影光線同定部18は、ステップ107において、以下の手順で投影光線の位置および方向を同定することができる。
まず、反射位置推定部16が推定した校正用パターン50の反射位置の推定値を取得する。校正用パターン50は、チェッカーパターンなどのように、特徴点が正方格子状に並んだものを用い、i行j列の特徴点のk枚目の撮影画像における反射位置の推定値をqk(i, j)、i行j列の特徴点に対応する投影光線の方向余弦(方向の単位ベクトル)をe(i, j)、通過位置をa(i, j)と表記する。これを用いて、下記式(6)に示す評価関数を構成する。
第一項は投影光線の直線から反射位置の推定位置の距離の二乗和であり、第二項のΦ(e, a)は正則化項である。投影光線の方向余弦や通過位置の滑らかさに対するペナルティを与えることができる。例えば、下記式(7)のように、方向余弦e(i, j)のi方向の二階差分の二乗和を設定することができる。
同様にj方向も考えることができ、また、通過位置a(i, j)に対しても同様の正則化項の設定が可能である。このように構成した正則化項Φ(e, a)を用いて上記式(6)を最小化するようにe(i, j)、a(i, j)を求めることで、空間的に滑らかに方向・位置の変化する投影光線を得ることができる。
なお、上記式(6)の最小化には、最急降下法やニュートン法など、非線形最適化法を用いることができる。
上述したように、各投影光線の反射位置の推定値の直線からの距離と、各投影光線間の位置および方向の変化量を最小化することにより、少ない撮影画像からロバストに投影光線の位置および方向を同定することができる。
投影光線同定部18が上述したいずれかの手順で投影光線の位置および方向を同定すると、処理はステップ108に進む。
ステップ108では、投影光線補正部19が投影光線同定部18で同定した投影光線の位置および方向を補正する。補正方法として、フィルタ処理を利用することができる。ここでは、上述した第3実施形態と同様に、特徴点が正方格子状に並んでおり、i行j列の特徴点に対応する投影光線の方向余弦e(i, j)と、通過位置をa(i, j)が得られているものとする。
これに対して、例えば、図8に示す係数のフィルタを適用することで、平滑化を行い誤差を低減することができる。適用するフィルタは線形フィルタに限らず、例えばメディアンフィルタ、εフィルタ、バイラテラルフィルタなど非線形のフィルタを適用することで、急峻な変化を保持しつつ平滑化を行うことができる。
以上説明した手順により、校正用パターン50の特徴点に対応する画素毎に投影光線(直線)の位置および方向(3次元空間における直線の方程式)がパラメータとして取得され、適切な記憶手段(例えば、記憶部13)に保存される。
校正後の3次元計測においては、上述した校正用パターン50を測定用パターン50として使用して計測を実施する。具体的には、投影装置200から測定用パターン50を未知形状の物体に投影し、これを撮影装置300で撮影する。このとき、測定用パターン50の特徴点に対応する画素に係る投影光線の方程式が表す第1の直線と、当該特徴点に対応する撮影装置300の撮影画素の位置と撮影中心を結ぶ第2の直線(撮影光線)の交点を、未知形状の物体(上の当該パターンの特徴点に対応する投影像)の3次元位置として求める(2つの直線が交差しない場合は中点法により交点を推定する)。
なお、校正用パターン50の特徴点に対応する画素に係る投影光線の方程式の係数を線形補間するなどして、その余の画素(校正用パターン50の特徴点に対応する画素以外の画素)に係る投影光線の方程式を推定し、これをパラメータとして使用してもよい。このようにして、投影座標系上の全画素に係る投影光線の方程式がパラメータとして得られれば、校正に使用した投影パターン以外の任意のパターンを使用した3次元計測が可能になる。
さらに、校正用パターンとして、図9に示すような、正弦波の形状で明暗が変化するパターン70を用いれば、投影座標系上の全画素に係る投影光線の方程式を求めることができる。
具体的には、パターン70を左右にずらしながら複数回撮影し、撮影画像の画素ごとの正弦波の位相を推定する。同様に、パターン70を90度回転した状態で上下にずらしながら複数回撮影し、撮影画像の画素ごとの正弦波の位相を推定する。その結果、パターン70を構成する全画素と撮影画像の画素の対応付けが可能になる(位相シフト法)。この場合、パターン70を構成する全画素を上述した校正用パターンの特徴点として見なして、上述した手順を実施すれば、投影座標系上の全画素に係る投影光線の方程式がパラメータとして得られる。そして、この場合も同様に、校正に使用した投影パターン以外の任意のパターンを使用した3次元計測が可能になる。
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではない。
まず、校正用物体に特徴点として付与する描画パターンおよび校正用物体に投影する校正用パターン50は、上述した例に限定されるものではなく、校正用物体にチェッカーパターン、校正用パターンに円パターンを用いても良いし、校正用物体と校正用パターンに同一のパターンを用いても良い。その他、特徴点の配置を事前に特定できるものであれば、ランダムドットや自然画像など、如何様なパターンであっても良い。
また、校正用物体の特徴点を描画パターンとして付与する代わりに、多面体の校正用物体を用いることもできる。この場合、描画パターンに代えて多面体の各頂点を特徴点として用いることができる。
その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
上述した実施形態の各機能は、C、C++、C#、Java(登録商標)などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、CD−ROM、MO、DVD、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
10…校正用パターン投影部
12…校正用物体撮影部
13…記憶部
14…位置姿勢推定部
16…反射位置推定部
18…投影光線同定部
19…投影光線補正部
50,70…校正用パターン
60…校正用物体
62…円パターン
100…校正装置
200…投影装置
300…撮影装置
特開2011−141174号公報 特開2001‐320652号公報 特開2008−165202号公報

Claims (10)

  1. 投影装置を制御して複数の特徴点を有する校正用の3次元物体に校正用パターンを投影させる校正用パターン投影手段と、
    撮影装置を制御して前記校正用パターンが投影された前記3次元物体を複数の撮影方向から撮影した複数の撮影画像を取得する校正用物体撮影手段と、
    前記複数の撮影画像上の前記3次元物体の前記特徴点の位置に基づいて、前記3次元物体に対する前記撮影手段の相対位置および姿勢を推定する位置姿勢推定手段と、
    各前記撮影画像につき、前記校正用パターンの特徴点の位置および推定された前記撮影手段の前記相対位置・姿勢に基づいて、該校正用パターンの特徴点に対応する投影光線の前記3次元物体上の反射位置を推定する反射位置推定手段と、
    前記複数の撮影画像について推定された複数の前記反射位置に基づいて、前記校正用パターンの特徴点に対応する前記投影光線の位置および方向を同定する投影光線同定手段と
    を含む校正装置。
  2. 前記投影光線同定手段は、
    推定された複数の前記反射位置に対して直線を最小二乗法でフィッティングすることによって、前記投影光線の位置および方向を同定する、請求項1に記載の校正装置。
  3. 前記投影光線同定手段は、
    各前記投影光線の反射位置の直線からの距離を、該投影光線間に課された制約条件の下で最小化することによって、前記投影光線の位置および方向を同定する、
    請求項1に記載の校正装置。
  4. 前記投影光線同定手段は、
    各前記投影光線の前記反射位置の直線からの距離と、各前記投影光線間の位置および方向の変化量を最小化することによって、前記投影光線の位置および方向を同定する、
    請求項1に記載の校正装置。
  5. 各前記投影光線の位置および方向にフィルタ処理を施す投影光線補正手段をさらに含む、請求項1〜4のいずれか一項に記載の校正装置。
  6. 投影装置を制御して複数の特徴点を有する校正用の3次元物体に校正用パターンを投影させるステップと、
    撮影装置を制御して前記校正用パターンが投影された前記3次元物体を複数の撮影方向から撮影した複数の撮影画像を取得するステップと、
    前記複数の撮影画像上の前記3次元物体の前記特徴点の位置に基づいて、前記3次元物体に対する撮影手段の相対位置および姿勢を推定するステップと、
    各前記撮影画像につき、前記校正用パターンの特徴点の位置および推定された前記撮影手段の前記相対位置・姿勢に基づいて、該校正用パターンの特徴点に対応する投影光線の前記3次元物体上の反射位置を推定するステップと、
    前記複数の撮影画像について推定された複数の前記反射位置に基づいて、前記校正用パターンの特徴点に対応する前記投影光線の位置および方向を同定するステップと
    を含む校正方法。
  7. 前記投影光線の位置および方向を同定するステップは、
    推定された複数の前記反射位置に対して直線を最小二乗法でフィッティングすることによって、前記投影光線の位置および方向を同定するステップを含む、請求項6に記載の校正方法。
  8. 前記投影光線の位置および方向を同定するステップは、
    各前記投影光線の反射位置の直線からの距離を、該投影光線間に課された制約条件の下で最小化することによって、前記投影光線の位置および方向を同定するステップを含む、
    請求項6に記載の校正方法。
  9. 前記投影光線の位置および方向を同定するステップは、
    各前記投影光線の前記反射位置の直線からの距離と、各前記投影光線間の位置および方向の変化量を最小化することによって、前記投影光線の位置および方向を同定するステップを含む、
    請求項6に記載の校正方法。
  10. コンピュータに、請求項6〜9のいずれか一項に記載の方法の各ステップを実行させるためのコンピュータ実行可能なプログラム。
JP2013053551A 2013-03-15 2013-03-15 校正装置、方法及びプログラム Expired - Fee Related JP6079333B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013053551A JP6079333B2 (ja) 2013-03-15 2013-03-15 校正装置、方法及びプログラム
US14/208,669 US9739603B2 (en) 2013-03-15 2014-03-13 Calibration device, calibration method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013053551A JP6079333B2 (ja) 2013-03-15 2013-03-15 校正装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014178265A true JP2014178265A (ja) 2014-09-25
JP6079333B2 JP6079333B2 (ja) 2017-02-15

Family

ID=51525603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013053551A Expired - Fee Related JP6079333B2 (ja) 2013-03-15 2013-03-15 校正装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US9739603B2 (ja)
JP (1) JP6079333B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016180708A (ja) * 2015-03-24 2016-10-13 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
JP2021174554A (ja) * 2020-04-28 2021-11-01 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co., Ltd. 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6172495B2 (ja) 2012-12-28 2017-08-02 株式会社リコー 校正装置、装置、プロジェクタ、3次元スキャナ、校正方法、方法、プログラム、及び記憶媒体
JP6394005B2 (ja) 2014-03-10 2018-09-26 株式会社リコー 投影画像補正装置、投影する原画像を補正する方法およびプログラム
JP2016100698A (ja) 2014-11-19 2016-05-30 株式会社リコー 校正装置、校正方法、プログラム
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
CN105021138B (zh) * 2015-07-15 2017-11-07 沈阳派特模式识别技术有限公司 三维扫描显微镜及条纹投影三维扫描方法
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
EP3173975A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of candidate points as possible characteristic points of a calibration pattern within an image of the calibration pattern
TWI578269B (zh) * 2015-12-14 2017-04-11 財團法人工業技術研究院 三維座標縫合方法及應用其之三維座標資訊縫合裝置
US10085162B2 (en) * 2016-07-22 2018-09-25 Ets-Lindgren, Inc. System and method for over-the-air testing of milli-meter wave and other beamforming technologies
US10333632B2 (en) * 2017-04-03 2019-06-25 Ets-Lindgren, Inc. Method and system for testing beam forming capabilities of wireless devices
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
EP3534333A1 (en) 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
US10404384B1 (en) * 2018-08-03 2019-09-03 Rohde & Schwarz Gmbh & Co. Kg System and method for testing a device under test within an anechoic chamber based on a minimum test criteria
CN109902696B (zh) * 2019-03-06 2021-01-15 北京石油化工学院 基于分段直线拟合的危化品堆垛测距方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6444805A (en) * 1987-08-14 1989-02-17 Nippon Telegraph & Telephone Calibrating method of position and posture of pattern projector
JPH11166818A (ja) * 1997-12-04 1999-06-22 Suzuki Motor Corp 三次元形状計測装置の校正方法及び校正装置
JP2005128611A (ja) * 2003-10-21 2005-05-19 Nec Viewtechnology Ltd プロジェクタ並びにプロジェクタを使用した電子黒板システム及び指示位置取得方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044170A (en) * 1996-03-21 2000-03-28 Real-Time Geometry Corporation System and method for rapid shape digitizing and adaptive mesh generation
US5991437A (en) * 1996-07-12 1999-11-23 Real-Time Geometry Corporation Modular digital audio system having individualized functional modules
JP2001320652A (ja) 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2005326247A (ja) 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
JP4230525B2 (ja) 2005-05-12 2009-02-25 有限会社テクノドリーム二十一 3次元形状計測方法およびその装置
JP5181637B2 (ja) 2006-12-04 2013-04-10 株式会社リコー 画像投射装置
JP4986679B2 (ja) 2007-03-29 2012-07-25 学校法人福岡工業大学 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
JP5460341B2 (ja) 2010-01-06 2014-04-02 キヤノン株式会社 3次元計測装置及びその制御方法
JP5496008B2 (ja) 2010-08-06 2014-05-21 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US9437005B2 (en) * 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6444805A (en) * 1987-08-14 1989-02-17 Nippon Telegraph & Telephone Calibrating method of position and posture of pattern projector
JPH11166818A (ja) * 1997-12-04 1999-06-22 Suzuki Motor Corp 三次元形状計測装置の校正方法及び校正装置
JP2005128611A (ja) * 2003-10-21 2005-05-19 Nec Viewtechnology Ltd プロジェクタ並びにプロジェクタを使用した電子黒板システム及び指示位置取得方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016180708A (ja) * 2015-03-24 2016-10-13 キヤノン株式会社 距離計測装置、距離計測方法、およびプログラム
JP2021174554A (ja) * 2020-04-28 2021-11-01 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co., Ltd. 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
JP7064257B2 (ja) 2020-04-28 2022-05-10 ネクストヴイピーユー(シャンハイ)カンパニー リミテッド 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体

Also Published As

Publication number Publication date
US20140267624A1 (en) 2014-09-18
JP6079333B2 (ja) 2017-02-15
US9739603B2 (en) 2017-08-22

Similar Documents

Publication Publication Date Title
JP6079333B2 (ja) 校正装置、方法及びプログラム
JP6576945B2 (ja) 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
JP6675478B2 (ja) 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
JP6664000B2 (ja) 較正装置、較正方法、光学装置、撮影装置、および投影装置
JP6172495B2 (ja) 校正装置、装置、プロジェクタ、3次元スキャナ、校正方法、方法、プログラム、及び記憶媒体
WO2018173551A1 (ja) 較正装置、較正方法、光学装置、撮影装置および投影装置
JP6217227B2 (ja) 校正装置、方法及びプログラム
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
Ramalingam et al. Towards complete generic camera calibration
WO2013038656A1 (ja) 投影像自動補正システム、投影像自動補正方法およびプログラム
US9595106B2 (en) Calibration apparatus, calibration method, and program
JP2012253758A (ja) 車両視覚システムの較正方法および車両視覚システム
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
CN113841384B (zh) 校准装置,用于校准的图表和校准方法
WO2019176349A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
JP6065670B2 (ja) 3次元計測システム、プログラム及び方法。
JP7038315B2 (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111145268B (zh) 一种视频注册方法及装置
JP2006330772A (ja) 撮影画像における歪曲収差補正方法
JP4196784B2 (ja) カメラ位置測定装置および方法並びにカメラ位置制御方法
JP2014175782A (ja) カメラパラメータ推定装置及びカメラパラメータ推定方法並びにカメラパラメータ推定プログラム
WO2024101429A1 (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、カメラパラメータ算出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170102

R151 Written notification of patent or utility model registration

Ref document number: 6079333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees