JP2012014171A - シーン内のps(一点)と、反射屈折光学系のcop(投影中心)との間の光線の少なくとも1つの折り返し点の3d位置を求める方法、およびシステム - Google Patents
シーン内のps(一点)と、反射屈折光学系のcop(投影中心)との間の光線の少なくとも1つの折り返し点の3d位置を求める方法、およびシステム Download PDFInfo
- Publication number
- JP2012014171A JP2012014171A JP2011141472A JP2011141472A JP2012014171A JP 2012014171 A JP2012014171 A JP 2012014171A JP 2011141472 A JP2011141472 A JP 2011141472A JP 2011141472 A JP2011141472 A JP 2011141472A JP 2012014171 A JP2012014171 A JP 2012014171A
- Authority
- JP
- Japan
- Prior art keywords
- point
- folding
- cop
- optical system
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B17/00—Systems with reflecting surfaces, with or without refracting elements
- G02B17/08—Catadioptric systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Lenses (AREA)
Abstract
【解決手段】PS及びCOPの3D位置を含む反射屈折光学系を、折り返し光学素子の対称軸とPSとによって定義される2次元(2D)平面上にマッピングして、この2D平面上に円錐並びにPS及びCOPの2D位置を生成し、この円錐、PS及びCOPの2D位置に基づいて2D平面上の折り返し点の2D位置を求める。次に、2D平面上の折り返し点の2D位置から折り返し点の3D位置を求める。
【選択図】図1A
Description
中心反射屈折光学系は、単一の有効視点を可能にするように配置された単一のカメラ−鏡の対を用いる。すなわち、カメラセンサーによって取得された画像を形成する全ての光線は、一点で交わる。中心反射屈折光学系は、双曲面鏡又は楕円面鏡の焦点のうちの1つに配置された透視投影カメラと、放物面鏡の軸上に配置された立体角投射カメラ(orthographic camera)とを含む。
非中心反射屈折光学系は、コンピュータビジョン用途で広く用いられている。非中心反射屈折光学系の例には、球面鏡の外側に配置された透視投影カメラ、及びカメラが双曲面鏡又は楕円面鏡の焦点に配置されない構成がある。中心反射屈折光学系と対照的に、非中心反射屈折光学系では、光線は一点で交わらない。その代わりに、光線は線に沿って交わるか、又は円若しくはより複雑な形状の接線となる。
本発明の実施の形態は、非中心反射屈折光学系の特定の構成の、シーン内の一点(PS)の3次元(3D)投影は、この反射屈折光学系の3D構造を、この反射屈折光学系の対称軸とPSとによって定義される2次元(2D)平面上にマッピングすることによって解析的に求めることができるという認識に基づく。
図1Bは、本発明の実施の形態による反射屈折光学系の一例を示す。この反射屈折光学系は、非中心式であり、反射器又は屈折器から選択された折り返し光学素子105の表面106から或る距離だけ離して配置されたカメラ121、例えば透視投影カメラを含む。このカメラは、表面を撮像するように構成される。本実施の形態において、反射屈折光学系は、反射器、すなわち鏡を含む。他の実施の形態は、反射器の代わりに屈折器を含み、反射屈折光学系が反射器及び屈折器のうちの少なくとも一方を含むようにする。表面106は二次曲面であり、対称軸110の周りに回転対称であり、COP120はこの対称軸上に配置される。
実施の形態において、反射屈折光学系は球面鏡を含み、その場合、FP式の次数が下がる。パラメーターA=1、B=0、C=r2をFP式に代入すると(ここで、rは球面鏡の半径であり、dはCOPと球体の中心との間の距離である)、4次順投影式が得られる。
表1は、非中心反射屈折光学系の球面鏡(A=1、B=0、C>0)、楕円面鏡(B=0)、双曲面鏡(A<0、C<0)、及び放物面鏡(A=0、C=0)のFP式の次数を示す。
図2は、本発明の別の実施の形態による屈折率球体を介した撮像のための順投影式を定義して用いる概略図を示す。本実施の形態は、半径r及び屈折率μの屈折率球体200を含む反射屈折光学系を用いる。例えば、半径rの屈折率球体は座標系の原点205に配置され、ピンホールカメラ210は原点から距離dだけ離して配置される。上述したように、実施の形態は、対称軸230とPS p240とによって定義される2D平面220上の投影を解析する。
図3(a)〜(c)は、本発明のいくつかの実施の形態による、FP式を解くこと、及び屈折率球体の折り返し点を求めることの一例を示す。所与のPS p240に関して、式(19)を解くとyの10個の解が得られる。一般に、PSが対称軸上にない場合、10個の解のうち8個の解のみが実数であり、そこから図3(a)に示すように対応する光路が得られる。制約y≧r2/dは、考え得る解をさらに、図3(b)に示す4つの解に減らす。図3(c)に示す最後の解は、別の制約を用いて、すなわち、考え得る解毎に屈折法則を試すことによって求められる。
解析順投影(AFP:analytical forward projection)を疎な3D再構成、すなわち、バンドル調整アルゴリズムを用いてシーン内の3D点と、反射屈折光学系のパラメーターとを同時に求めることに用いる。実施の形態において、反射屈折光学系は、複数の球面鏡を撮像する単一の透視投影カメラを含む。このような鏡の一例はステンレススチール球である。内部カメラ校正は、別々にオフラインで行われ、半径は分かっている。鏡の中心の3D位置は、後述するように求められる。
C(i)=[Cx(i),Cy(i),Cz(i)]T、i=1...Mを球体中心とし、P(j)=[Px(j),Py(j),Pz(j)]T、j=1...Nを、ピンホールカメラを原点に配置したときのカメラ座標系における3D PSとする。FP式(3)を3Dの量に関して書き換える。所与の3D点P(j)及び鏡の中心C(i)に関して、2D平面πを定義する直交ベクトルZ1及びZ2は、z2=−C(i)及び
別の実施の形態は、AFPを用いて、再投影誤差のヤコビ行列を解析的に求める。これは、バンドル調整工程を加速する。tを未知数とする。すると、次式が成り立つ。
いくつかの実施の形態は、対応する画像点が、スケール不変の特徴点変換(SIFT)等の特徴点マッチングアルゴリズムを用いて推定され、異常値及び誤一致を常に含むことを考慮する。これらの実施の形態は、異常値の除去と共にバンドル調整を繰り返すことによって再構成を行う。各バンドル調整ステップ後に、再投影誤差が平均再投影誤差の2倍よりも大きい3D点を除去する。AFPはバンドル調整時間を大幅に削減するため、実施の形態は、そのような除去を複数回繰り返し、異常値の処理に効果的である。したがって、解析FPは、中心近似を用いることなく、複雑な非中心モデルを異常値の除去に使用することを可能にする。
実施の形態は、例えば、3インチ(約7.62センチメートル)の間隔で配置された半径0.75インチ(約1.91センチメートル)の4つの球面鏡を用い、マミヤ(Mamiya)645AFDカメラを用いて単一の画像を取得する。フォト画像の各球体画像は、1,300×1,300の解像度を有する。初期球体中心を求めるために、本実施の形態は、球体に対して接線方向の光線に対応して各球体境界のいくつかの点に印を付け、全ての接線方向の光線と同一の角度αを成す中心光線を求める。球体中心は、中心光線に沿ってr/sinαの距離にある。
従来の反復順投影(IFP:iterative forward projection)はまず、中心近似を用いて3D点の初期画像投影を計算し、次に、非線形最適化を行って、3D点と逆投影光線との間の距離を最小化する。単一の球体により105個の3D点を投影する場合、IFPは1,120秒かかるのに対し、AFPは13.8秒しかかからない。すなわち、〜80倍速い。AFPは、解析的なヤコビ行列式の計算と共に、バンドル調整を用いた3D再構成のためのIFPに比べて2桁速い速度を達成する。
図4は、本発明の実施の形態による球面鏡の逆投影の概略図を示す。本実施の形態は、逆投影式を行列ベクトル形式に書き換える。例えば、或る点Cp=[0,0,−d]Tは、COP400であり、半径rの球面鏡410は、原点420に配置される。画像点q430において、s=K−1qは光線の方向435であり、ここで、K3×3は内部カメラ校正行列である。鏡との交差点bは、
実施の形態は、球体を中心とする座標系において定義され、プリュッカー座標でL0として表される3D光線を考慮する。この光線は、
Claims (20)
- シーン内の一点(PS)と、反射屈折光学系のカメラの投影中心(COP)との間の光線の少なくとも1つの折り返し点の3次元(3D)位置を求める方法であって、前記反射屈折光学系は、折り返し光学素子の表面から或る距離だけ離して配置された前記カメラを備え、前記折り返し光学素子は、反射器又は屈折器から選択され、前記折り返し点は、前記表面上にあり、前記表面上の前記光線の反射又は屈折により、前記折り返し点が前記光線を入射光線と出射光線とに分割するようにすることによって生じ、前記PS及び前記COPは、3D位置によって識別され、前記方法は、
前記反射屈折光学系の構成を取得するステップであって、前記反射屈折光学系は非中心式であり、前記表面は、前記表面の対称軸の周りに回転対称である二次曲面であり、前記COPは前記対称軸上に配置される、取得するステップと、
前記表面並びに前記PS及び前記COPの前記3D位置を、前記対称軸と前記PSとによって定義される2次元(2D)平面上にマッピングするステップであって、前記2D平面上に円錐並びに前記PS及び前記COPの2D位置を生成し、前記円錐は、前記表面を前記2D平面上でパラメーター化したものである、マッピングするステップと、
前記円錐、前記PS及び前記COPの前記2D位置、並びに前記入射光線及び前記出射光線に関する少なくとも1つの制約に基づいて前記2D平面上の前記折り返し点の2D位置を求めるステップと、
前記2D平面上の前記折り返し点の前記2D位置から前記折り返し点の前記3D位置を求めるステップと、を含み、
前記方法の前記ステップは、プロセッサにより実施される方法。 - 前記折り返し光学素子は前記反射器であり、前記折り返し点は前記表面からの前記光線の反射点であり、前記制約は反射法則である、請求項1に記載の方法。
- 前記反射器は球面鏡であり、前記対称軸は、前記球面鏡の中心及び前記COPを通る、請求項2に記載の方法。
- 前記折り返し光学素子は前記屈折器であり、前記折り返し点は前記表面からの前記光線の屈折点であり、前記制約は屈折法則である、請求項1に記載の方法。
- 前記屈折器は屈折率球体であり、前記対称軸は、前記屈折率球体の中心及び前記COPを通る、請求項4に記載の方法。
- 前記少なくとも1つの折り返し点は、第1の屈折点n1=[x,y]T及び第2の屈折点n2=[x2,y2]Tを含み、前記制約は、
- バンドル調整を用いて前記シーン内の3D点と、前記反射屈折光学系のパラメーターとを同時に求めることをさらに含む、請求項10に記載の方法。
- 再投影誤差のヤコビ行列を求めることをさらに含む、請求項10に記載の方法。
- 前記ヤコビ行列及びバンドル調整を用いて前記シーン内の3D点と、前記反射屈折光学系のパラメーターとを同時に求めることをさらに含む、請求項12に記載の方法。
- シーン内の一点(PS)と、反射屈折光学系の投影中心(COP)との間の光線の少なくとも1つの折り返し点の3次元(3D)位置を求めるように構成される前記反射屈折光学系であって、前記PS及び前記COPは、3D位置によって識別され、前記反射屈折光学系は非中心式であり、
折り返し光学素子であって、前記折り返し点は、前記折り返し素子の表面上の前記光線の折り返しによって生じ、前記表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子と、
前記表面から或る距離だけ離して配置されたカメラであって、前記反射屈折光学系の前記COPは、前記カメラのCOPであって、前記対称軸上に配置される、カメラと、
前記表面並びに前記PS及び前記COPの前記3D位置を、前記対称軸及び前記PSによって定義される2次元(2D)平面上にマッピングする手段であって、前記2D平面上に円錐並びに前記PS及び前記COPの2D位置を生成し、前記円錐は、前記表面を前記2D平面上でパラメーター化したものである、マッピングする手段と、
前記円錐、前記PS及び前記COPの前記2D位置に基づいて前記2D平面上の前記折り返し点の2D位置を求めるプロセッサと、
前記2D平面上の前記折り返し点の前記2D位置から前記折り返し点の前記3D位置を求める手段と、
を備える、反射屈折光学系。 - 前記折り返し光学素子は反射器であり、前記折り返し点は前記表面からの前記光線の反射点である、請求項14に記載の反射屈折光学系。
- 前記折り返し光学素子は屈折器であり、前記折り返し点は前記表面からの前記光線の屈折点である、請求項14に記載の反射屈折光学系。
- バンドル調整を用いて前記シーン内の3D点と、前記反射屈折光学系のパラメーターとを同時に求める手段をさらに備える、請求項14に記載の反射屈折光学系。
- シーン内の一点(PS)と、反射屈折光学系の投影中心(COP)との間の光線の少なくとも1つの折り返し点の3次元(3D)位置を求める方法であって、前記PS及び前記COPは、3D位置によって識別され、前記反射屈折光学系は非中心式であり、前記方法は、
折り返し光学素子を設けるステップであって、前記折り返し点は、前記折り返し光学素子の表面上の前記光線の折り返しによって生じ、前記表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子を設けるステップと、
前記表面から或る距離だけ離して配置されたカメラを設けるステップであって、前記反射屈折光学系の前記COPは、前記カメラのCOPであり、前記対称軸上に配置される、カメラを設けるステップと、
前記表面並びに前記PS及び前記COPの前記3D位置を、前記対称軸及び前記PSによって定義される2次元(2D)平面上にマッピングするステップであって、前記2D平面上に円錐並びに前記PS及び前記COPの2D位置を生成し、前記円錐は、前記表面を前記2D平面上でパラメーター化したものである、マッピングするステップと、
前記円錐、前記PS及び前記COPの前記2D位置に基づいて前記2D平面上の前記折り返し点の2D位置を求めるステップと、
前記2D平面上の前記折り返し点の前記2D位置から前記折り返し点の前記3D位置を求めるステップと、
を含む、方法。 - 前記折り返し光学素子は、反射器及び屈折器から選択される、請求項19に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/826,823 US8134786B2 (en) | 2010-06-30 | 2010-06-30 | Method and system for determining projections in non-central catadioptric optical systems |
US12/826,823 | 2010-06-30 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012014171A true JP2012014171A (ja) | 2012-01-19 |
JP2012014171A5 JP2012014171A5 (ja) | 2014-06-19 |
JP5669680B2 JP5669680B2 (ja) | 2015-02-12 |
Family
ID=45399551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011141472A Expired - Fee Related JP5669680B2 (ja) | 2010-06-30 | 2011-06-27 | シーン内のps(一点)と、反射屈折光学系のcop(投影中心)との間の光線の少なくとも1つの折り返し点の3d位置を求める方法、およびシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8134786B2 (ja) |
JP (1) | JP5669680B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8494297B2 (en) * | 2007-04-05 | 2013-07-23 | Adobe Systems Incorporated | Automatic detection and mapping of symmetries in an image |
US9519810B2 (en) * | 2012-07-31 | 2016-12-13 | Datalogic ADC, Inc. | Calibration and self-test in automated data reading systems |
CN103455681B (zh) * | 2013-09-12 | 2016-03-02 | 北京应用物理与计算数学研究所 | 一种基于方块图的多光束可视化建模系统和方法 |
US10244286B1 (en) * | 2018-01-30 | 2019-03-26 | Fmr Llc | Recommending digital content objects in a network environment |
CN112001954B (zh) * | 2020-08-20 | 2023-09-15 | 大连海事大学 | 一种基于极曲线约束的水下pca-sift图像匹配方法 |
CN116068758B (zh) * | 2023-04-06 | 2023-06-27 | 浙江大学 | 全景环带镜头设计方法、镜头及全景图像恢复方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122679A (ja) * | 2008-11-19 | 2010-06-03 | Seiko Epson Corp | デジタルプロジェクターをデジタルカメラに対し較正する方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7420750B2 (en) * | 2004-05-21 | 2008-09-02 | The Trustees Of Columbia University In The City Of New York | Catadioptric single camera systems having radial epipolar geometry and methods and means thereof |
US7916934B2 (en) * | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
US8442305B2 (en) * | 2009-06-30 | 2013-05-14 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining 3D poses using points and lines |
US8224071B2 (en) * | 2009-06-30 | 2012-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for registering 3D points with 3D planes |
-
2010
- 2010-06-30 US US12/826,823 patent/US8134786B2/en not_active Expired - Fee Related
-
2011
- 2011-06-27 JP JP2011141472A patent/JP5669680B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122679A (ja) * | 2008-11-19 | 2010-06-03 | Seiko Epson Corp | デジタルプロジェクターをデジタルカメラに対し較正する方法 |
Also Published As
Publication number | Publication date |
---|---|
US8134786B2 (en) | 2012-03-13 |
US20120002304A1 (en) | 2012-01-05 |
JP5669680B2 (ja) | 2015-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5669680B2 (ja) | シーン内のps(一点)と、反射屈折光学系のcop(投影中心)との間の光線の少なくとも1つの折り返し点の3d位置を求める方法、およびシステム | |
Svoboda et al. | Epipolar geometry for panoramic cameras | |
WO2019205299A1 (zh) | 视觉测量系统结构参数标定和仿射坐标系构建方法与系统 | |
CN108152948B (zh) | 离轴非球面光学系统的设计方法 | |
Baker et al. | A theory of single-viewpoint catadioptric image formation | |
JP2763055B2 (ja) | 実入射瞳を有する反射光学トリプレット | |
TWI557433B (zh) | 具有實出瞳的自由曲面離軸成像系統的設計方法 | |
TWI652509B (zh) | 用作斜視相機鏡頭的光學系統的設計方法 | |
TWI677728B (zh) | 自由曲面離軸成像系統的設計方法 | |
Agrawal et al. | Analytical forward projection for axial non-central dioptric and catadioptric cameras | |
TW201935071A (zh) | 自由曲面離軸三反成像系統 | |
TWI622800B (zh) | 離軸非球面三反光學系統 | |
JP2012063350A (ja) | 測位処理装置、測位処理方法、画像処理装置および画像処理方法 | |
CN101354796B (zh) | 基于泰勒级数模型的全向立体视觉三维重建方法 | |
CN107121073A (zh) | 一种基于激光干涉仪的高精度三自由度实时测量方法及装置 | |
CN112305737B (zh) | 自由曲面反射式红外成像系统的设计方法 | |
JP2012014171A5 (ja) | ||
Palmér et al. | Calibration, positioning and tracking in a refractive and reflective scene | |
Li et al. | Monocular underwater measurement of structured light by scanning with vibrating mirrors | |
Machikhin et al. | Calibration of miniature prism-based stereoscopic imagers for precise spatial measurements | |
Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
JP2003532061A (ja) | 3次元物体又は物体の集合を測定する方法 | |
JP2012215855A (ja) | 非中央カタディオプトリック光学系において投影を求める方法およびシステム | |
Li et al. | Spatial light path analysis and calibration of four-mirror-based monocular stereo vision | |
Morel et al. | Calibration of catadioptric sensors by polarization imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140507 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140507 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140507 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140624 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140924 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5669680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |