JP2016218849A - 平面変換パラメータ推定装置、方法、及びプログラム - Google Patents
平面変換パラメータ推定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2016218849A JP2016218849A JP2015104647A JP2015104647A JP2016218849A JP 2016218849 A JP2016218849 A JP 2016218849A JP 2015104647 A JP2015104647 A JP 2015104647A JP 2015104647 A JP2015104647 A JP 2015104647A JP 2016218849 A JP2016218849 A JP 2016218849A
- Authority
- JP
- Japan
- Prior art keywords
- corresponding point
- plane
- feature
- images
- point group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims description 42
- 239000007787 solid Substances 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】高精度な平面変換パラメータ推定を実現する。【解決手段】2個のカメラで一部が一致する領域を異なる方向から撮影して得られた2枚の画像の画像データを受信し、受信した2枚の画像の画像データから第1の対応点群を決定し、対応点群をメモリに記憶する(20)。第1の対応点群から同じ立体上及び平面上の対応点を推定することで、第1の対応点群から、立体上の誤対応点以外の第2の対応点群を推定し、第2の対応点群をメモリに記憶する(22)。第2の対応点群から、同じ平面上の正対応点群を推定し、正対応点群から平面変換パラメータを推定し、平面変換パラメータをメモリに記憶する(24)。【選択図】図2
Description
本発明は、ある画像を別の画像へ変換するための平面変換パラメータを、入力された二枚の画像の画像データから求める平面変換パラメータ推定装置、方法、及び、プログラムに関する。
ある画像を別の画像へ変換するアフィン変換行列やホモグラフィ変換行列などの平面変換パラメータを推定する平面変換パラメータ推定技術が提案されている。平面変換パラメータ推定技術は、算出した平面変換パラメータを用いて、例えば少なくとも2枚以上の画像の位置合わせに用いることでパノラマ画像を生成することや、画像の平面上にコンピュータグラフィックスなどを合成することを可能にしている。
例えば、非特許文献1記載の方法では、少なくとも2枚以上の画像間で求めた対応点群から平面変換パラメータを推定し、推定された平面変換パラメータを用いて一方の画像を幾何変換して他方の画像に位置合わせすることでパノラマ画像の生成を実現している。また、対応点群に含まれる誤対応点や平面上以外の対応点群の影響を受けないよう、非特許文献1記載の方法ではロバスト推定手法の一つである非特許文献2記載のRANdom SAmple Consensus(RANSAC)を適用することで平面変換パラメータを推定している。
Matthew Brown, David G. Lowe著、「Automatic Panoramic Image Stitching using Invariant Features」、International Journal of Computer Vision, Volume 74, Issue 1, pp 59-7, August 2007
M.A. Fischler and R.C. Bolles著、「Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography」、Communications of the ACM, 24(6):381−395, 1981
従来の方法では、対応点群に含まれる誤対応点や平面上以外の対応点群の影響を受けないようにロバスト推定手法を用いることで高精度な平面変換パラメータ推定を実現している。しかしながら一般的にロバスト推定手法を平面変換パラメータ推定に用いる場合、2枚の画像間での対応点群のうち過半数が誤対応点や平面上以外の対応点であった場合には平面変換パラメータ推定精度が低下するといった問題があった。
本発明は、上記問題を解決すべくなされたものであり、高精度な平面変換パラメータ推定を実現する平面変換パラメータ推定装置、方法、及びプログラムを提供することを目的とする。
上記目的達成するため本願発明の平面変換パラメータ推定装置は、2枚の画像の各々の画像データに基づいて、前記2枚の画像における特徴点のペアの第1の対応点群を推定する対応点推定部と、前記第1の対応点群から、前記2枚の画像における同じ立体物及び平面上の特徴点のペアからなる第2の対応点群を推定する立体上及び平面上対応点推定部と、
前記第2の対応点群から、前記2枚の画像における同じ平面上の特徴点のペアからなる正対応点群を推定し、前記正対応点群に基づいて、前記2枚の画像の一方の画像を他方の画像に変換するための変換パラメータを推定する平面上対応点推定部と、を備えている。
前記第2の対応点群から、前記2枚の画像における同じ平面上の特徴点のペアからなる正対応点群を推定し、前記正対応点群に基づいて、前記2枚の画像の一方の画像を他方の画像に変換するための変換パラメータを推定する平面上対応点推定部と、を備えている。
本願発明の平面変換パラメータ推定方法は、対応点推定部が、2枚の画像の各々の画像データに基づいて、前記2枚の画像における特徴点のペアの第1の対応点群を推定し、立体上及び平面上対応点推定部が、前記第1の対応点群から、前記2枚の画像における同じ立体物及び平面上の特徴点のペアからなる第2の対応点群を推定し、平面上対応点推定部が、前記第2の対応点群から、前記2枚の画像における同じ平面上の正対応点群を推定し、前記正対応点群に基づいて、前記2枚の画像の一方の画像を他方の画像に変換するための変換パラメータを推定することを含む。
本願発明によれば、対応点推定部が、2枚の画像の各々の画像データに基づいて、前記2枚の画像における特徴点のペアの第1の対応点群を推定する。
立体上及び平面上対応点推定部が、前記第1の対応点群から、前記2枚の画像における同じ立体物及び平面上の特徴点のペアからなる第2の対応点群を推定する。
平面上対応点推定部が、前記第2の対応点群から、前記2枚の画像における同じ平面上の正対応点群を推定し、前記正対応点群に基づいて、前記2枚の画像の一方の画像を他方の画像に変換するための変換パラメータを推定する。
このように、第1の対応点群から、2枚の画像における立体上の誤対応点群以外の同じ立体物及び平面上の特徴点のペアからなる第2の対応点群を推定し、第2の対応点群から、2枚の画像における同じ平面上の正対応点群を推定し、正対応点群に基づいて、2枚の画像の一方の画像を他方の画像に変換するための変換パラメータを推定する。
このため、第1の対応点群の過半数が誤対応点や平面上以外の対応点であった場合でも、まず、結果として立体上の誤対応点が除去され、更に、結果として平面上以外の対応点が除去されて、同じ平面上の正対応点群のみが推定される。このように、誤対応点や平面上以外の対応点以外の正対応点群から平面変換パラメータが推定されるので、高精度に平面変換パラメータを推定することができる。
以上説明したように、本発明の平面変換パラメータ推定装置、方法、及びプログラムによれば、高精度な平面変換パラメータ推定を実現することができる、という効果が得られる。
以下、本発明の実施の形態に係る平面変換パラメータ推定装置10について図面を参照して説明する。
図1は、本実施の形態における平面変換パラメータ推定装置10の構成を示す概略ブロック図である。図1に示すように、平面変換パラメータ推定装置10は、対応点推定処理を実行する対応点推定部12と、立体上及び平面上対応点推定処理を実行する立体上及び平面上対応点推定部14と、平面上対応点推定処理を実行する平面上対応点推定部16と、メモリ18とを備えている。
平面変換パラメータ推定装置10は、図示しないCPU,ROM,及びメモリ18などを含んで構成されている。CPUが後述する平面変換パラメータの推定処理プログラムを実行することで、CPUは、上記各部(12、14、16)として機能する。
次に、本実施の形態の作用を説明する。図2は、平面変換パラメータの推定処理プログラムを示すフローチャートである。図2のステップ20で、対応点推定部12は、対応点推定処理を実行する。即ち、2個のカメラで一部が一致する領域を異なる方向から撮影して得られた2枚の画像の画像データを受信し、受信した2枚の画像の画像データから第1の対応点群を決定し、対応点群をメモリ18に記憶する。
ステップ22で、立体上及び平面上対応点推定部14は、立体上及び平面上対応点推定処理を実行する。即ち、第1の対応点群から、同じ立体物及び平面上の対応点を推定することで、第1の対応点群から、立体物上の誤対応点以外の第2の対応点群を推定し、第2の対応点群をメモリ18に記憶する。
ステップ24で、平面上対応点推定部16は、平面上対応点推定処理を実行する。即ち、第2の対応点群から、同じ平面上の正対応点群を推定し、正対応点群から平面変換パラメータを推定し、平面変換パラメータをメモリ18に記憶する。
以下、各部(12、14、16)における処理(ステップ20、22、24)を詳細に説明する。図6は、平面変換パラメータ推定装置10に入力された2つの画像データにおける2枚の画像#1、#2を示す図である。本実施の形態では、図6に示す2枚の画像#1、#2の画像データが平面変換パラメータ推定装置10に入力されたものとして、以降説明する。
まず、図2のステップ20の対応点推定処理を説明する。図3は、対応点推定部12が実行する対応点推定プログラムを示すフローチャートである。対応点推定処理は、例えば、非特許文献3や非特許文献4など従来の方法によって実現できる。
(非特許文献3)David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.
(非特許文献4)Jean-Michel Morel and Guoshen Yu著、「ASIFT: A New Framework for Fully Affine Invariant Image Comparison」、SIAM Journal on Imaging Sciences archive, Volume 2 Issue 2, April 2009, Pages 438-469.
(非特許文献3)David G. Lowe著、「Distinctive image features from scale-invariant keypoints」、International Journal of Computer Vision, 60, 2 (2004), pp. 91-110.
(非特許文献4)Jean-Michel Morel and Guoshen Yu著、「ASIFT: A New Framework for Fully Affine Invariant Image Comparison」、SIAM Journal on Imaging Sciences archive, Volume 2 Issue 2, April 2009, Pages 438-469.
具体的には、対応点推定部12は2枚の画像#1、#2の画像データを受信したとき起動し、ステップ32で、対応点推定部12は、2枚の画像#1、#2の各々から、隣接する画素間の輝度の変化量などに基づいて、画像#1、#2上でのコーナーなどの画素の位置である特徴点を抽出する。
ステップ34で、対応点推定部12は、各特徴点の周囲の画素の画素データ(輝度データ)を用いて各特徴点の特徴量を計算する。具体的には、特徴点の輝度と当該特徴点の周囲の各画像の輝度との変化量を計算し、変化量の平均値を特徴量として計算する。
ステップ36で、対応点推定部12は、一方の画像#1の中の特徴点の特徴量に最も類似する特徴量を、他方の画像#2の全ての特徴点の特徴量の中から決定し、一方の画像#1の中の特徴点と他方の画像#2の決定された特徴点とのペアを対応点とする。
ステップ38で、対応点推定部12は、一方の画像#1の全ての特徴点についてステップ36の処理を実行したか否かを判断し、一方の画像#1の全ての特徴点についてしていない場合には、ステップ36の処理を実行する。これにより第1の対応点群が決定される。
ステップ40で、対応点推定部12は、決定した第1の対応点群をメモリ18に記憶して対応点推定処理を終える。図7は、第1の対応点群を示す図である。本実施の形態では図7に示す第1の対応点群が決定され、メモリ18に記憶されたものとして以降説明する。
次に、図2のステップ22の立体上及び平面上対応点推定処理を説明する。図4は、立体上及び平面上対応点推定部14が実行する立体上及び平面上対応点推定処理プログラムを示すフローチャートである。
立体上及び平面上対応点推定部14は、第1の対応点群をメモリ18から読み出し、第1の対応点群から、2枚の画像上での同じ立体物及び同じ平面上の同じ特徴点を対応点として推定する。この処理は、例えば、ロバスト推定や、一般化ハフ変換を用いた投票ベースでの観測方向の相対関係の推定によって実現できる。
ロバスト推定を用いる場合を説明する。例えば、一部が一致する領域を異なる方向から撮影した両カメラの位置関係を示す基礎行列Fを幾何モデルとして用い、RANSACなどのロバスト推定を適用することで、同じ立体物及び平面上の対応点を推定する。
以下、図4を参照に、ロバスト推定を用いる場合の立体上及び平面上対応点推定処理を詳細に説明する。ステップ42で、立体上及び平面上対応点推定部14は、メモリ18から読み出した第1の対応点群(例えば、100個のペアとする)からランダムに選んだ所定個数の対応点(例えば、10個のペア)から、幾何モデル(例えば、基礎行列F)を算出する。
ステップ44で、立体上及び平面上対応点推定部14は、残りの対応点(例えば、90個のペア)のうち、算出した幾何モデルに従う対応点(インライヤ点)を決定し、算出した幾何モデルに従うインライヤ点が所定数(例えば、80個)存在するか否かを判断することにより、幾何モデルの確からしさを検証する。
ステップ46で、立体上及び平面上対応点推定部14は、幾何モデルは確からしいか否か判断し、幾何モデルは確からしくないと判断された場合、立体上及び平面上対応点推定処理は、ステップ42に戻る。
幾何モデルは確からしいと判断された場合には、ステップ48で、立体上及び平面上対応点推定部14は、確からしいと判断された幾何モデルに従う複数のインライヤ点からなるインライヤ点群(第2の対応点群)をメモリ18に記憶する。図8は、第2の対応点群を示す図である。ステップ48では、図8に示す第2の対応点群がメモリ18に記憶される。
なお、上記とは異なり、ステップ42、44の処理を所定回数(例えば、1000回)実行し、インライヤ点の数が最も多かった場合のインライヤ点群(第2の対応点群)をメモリ18に記憶するようにしてもよい。また、ステップ42、44、46の処理を繰り返し実行し、確からしいと判断された幾何モデルに従う複数のインライヤ点からなるインライヤ点群をメモリ18に記憶するようにしてもよい。
以上の処理により、第1の対応点群の中で、2つの画像における立体物上の対応点で矛盾する対応点(誤対応点)以外の第2の対応点(インライヤ点)群が、同じ立体物及び平面上の対応点群として推定される。
ここで、誤対応点には、第1に、2つの画像の中の一方の画像にのみ存在する立体上の特徴点と他方の画像の特徴点との第1の誤対応点がある。第2に、第1の立体と第1の立体とは異なる第2の立体とが一方の画像と他方の画像の双方に存在し、一方の画像の中の第1の立体上の特徴点と他方の画像の第2の立体上の特徴点との第2の誤対応点がある。
本実施の形態では、第1の誤対応点及び第2の誤対応点以外の同じ立体物及び平面上の対応点が推定される。なお、図7に示す例では、画像#1における車の上から抽出された特徴点に対応する特徴点は画像#2には存在しないため誤対応点(第1の誤対応点)となる。
ここで、ロバスト推定としてRANSAC以外に、PROSAC(非特許文献5)やMLESAC(非特許文献6)を用いてもよい。
Chum, O.; and Matas, J著「Matching with PROSAC - Progressive Sample Consensus」、CVPR 2005 P. H. S. Torr and A. Zisserman著、「MLESAC: a new robust estimator with application to estimating image geometry」、Computer Vision and Image Understanding - Special issue on robusst statistical techniques in image understanding archive, Volume 78, Issue 1, April 2000, Pages 138 - 156
Chum, O.; and Matas, J著「Matching with PROSAC - Progressive Sample Consensus」、CVPR 2005 P. H. S. Torr and A. Zisserman著、「MLESAC: a new robust estimator with application to estimating image geometry」、Computer Vision and Image Understanding - Special issue on robusst statistical techniques in image understanding archive, Volume 78, Issue 1, April 2000, Pages 138 - 156
また、同じ立体物及び平面上の対応点の推定には、非特許文献7の方法に記載のView−directional consistency constraintを幾何制約とした、一般化ハフ変換を用いた投票ベースでの、2枚の画像を撮影した2つのカメラの観測方向の相対関係の推定方法を用いても良い。
(非特許文献7)J. Shimamura, T. Yoshida and Y. Taniguchi著、「Geometric verification method to handle 3D viewpoint changes」、MIRU2014, OS3-4, Okayama, Japan, July 2014.
(非特許文献7)J. Shimamura, T. Yoshida and Y. Taniguchi著、「Geometric verification method to handle 3D viewpoint changes」、MIRU2014, OS3-4, Okayama, Japan, July 2014.
なお、非特許文献7の方法を用いる場合には、対応点推定部12において対応点を決定する際には非特許文献4の方法を用い、対応点に観測方向を属性情報として付与しておく必要がある。詳しくは非特許文献7に記載されており、本発明での立体物上の対応点の推定方法は、非特許文献7に記載の方法と何ら変わることはない。
ここで、一般化ハフ変換を用いた投票ベースでの、2枚の画像を撮影した2つのカメラの観測方向の相対関係の推定方法を説明する。対応点の一方の特徴点の特徴量と他方の特徴点の特徴量とに基づいて、各特徴点における画像の観測方向の角度の差分を求める。より詳細に説明すると、まず、各画像データを所定の変換行列を用いてロール、ピッチ、ヨーの3軸の平面に変換し、ロール、ピッチ、ヨーの3軸の各々について以下の処理を行う。即ち、特徴点の画素の輝度と、特徴点の周囲の各画素の輝度との変化量の平均に基づいて定まる、観測方向の角度を求める。対応点の一方の特徴点の観測方向の角度が20°で、他方の特徴点の観測方向の角度が60°の場合、観測方向の角度の差分は40°となる。そして、360°を、例えば、20°毎に区切った領域(投票空間(ビン))の中の40°に対応するビンに1を投票する。以上の処理を全ての対応点について実行する。全てのビンの中で、最も投票のあったビンに対応する角度の差分を、2枚の画像を撮影した2つのカメラの観測方向の差分として推定し、最も投票のあったビンに対応する角度の差分に投票した対応点をインライヤ点、即ち、同じ立体上又は平面上の対応点としてメモリ18に記憶する。
次に、図2のステップ24の平面上対応点推定処理を説明する。図5は、平面上対応点推定処理プログラムのフローチャートである。平面上対応点推定処理では、まず、平面上対応点推定部16は、図4のステップ42〜48の処理と同様な処理を実行する。即ち、ロバスト推定を用いる。ただし、図4の処理では、幾何モデルとして基礎行列Fを用いているが、平面上対応点推定処理では、平面変換パラメータであるアフィン変換行列やホモグラフィ(Homography)変換行列などを用いる。この処理により、第2の対応点群から、2枚の画像間で同じ平面上の対応点である正対応点群が推定される。ステップ52で、平面上対応点推定部16は、正対応点群からアフィン変換行列又はホモグラフィ変換行列の平面変換パラメータを推定する。ステップ54で、平面上対応点推定部16は、平面変換パラメータをメモリ18に記憶する。
ここで、平面上対応点推定部16は、立体上及び平面上対応点推定部14と同様、ロバスト推定の手法としてRANSAC以外に、PROSAC(非特許文献5)やMLESAC(非特許文献6)を用いてもよい。また、ロバスト推定ではなく、非特許文献3、7に記載の投票ベースの方法によって平面変換パラメータを算出しても良い。なお、非特許文献3と非特許文献7の推定の違いは、上記のように非特許文献7では、3軸について上記処理を行うのに対し、非特許文献3は所定の1つの軸について上記処理を行う点で相違する。
図9は、同じ平面上の正対応点群を示す図である。以上の処理によって、図7に示す第1の正対応点群のうち、図9に示す同じ平面上の正対応点群のみが推定され、正対応点群から平面変換パラメータが推定される。
以上説明したように本実施の形態では、対応点群から、立体上の矛盾する対応点である誤対応点以外の同じ立体上及び同じ平面上の対応点群を推定する。次に、同じ立体上及び同じ平面上の対応点群から、同じ平面上の対応点群を推定する。そして、推定された同じ平面上の対応点群から平面変換パラメータを推定する。このため、第1の対応点群の過半数が誤対応点や平面上以外の対応点であった場合でも、まず、結果として誤対応点が除去され、更に、結果として平面上以外の対応点が除去されて、同じ平面上の正対応点群のみが推定される。このように、誤対応点や平面上以外の対応点以外の正対応点群から平面変換パラメータが推定されるので、高精度に平面変換パラメータを推定することができる。
以上説明した各実施の形態では、平面変換パラメータ推定装置10が実行する平面変換パラメータ推定処理プログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、平面変換パラメータ推定装置10に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、逐次クラスタリング処理プログラムは、逐次クラスタリング処理プログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、本発明を実施の形態の例に基づき具体的に説明したが、上述の実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定しあるいは範囲を減縮するように解すべきではない。また、本発明の各部構成は上述の実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
10 平面変換パラメータ推定装置
12 対応点推定部
14 立体上及び平面上対応点推定部
16 平面上対応点推定部
18 メモリ
12 対応点推定部
14 立体上及び平面上対応点推定部
16 平面上対応点推定部
18 メモリ
Claims (7)
- 2枚の画像の各々の画像データに基づいて、前記2枚の画像における特徴点のペアの第1の対応点群を推定する対応点推定部と、
前記第1の対応点群から、前記2枚の画像における同じ立体物及び平面上の特徴点のペアからなる第2の対応点群を推定する立体上及び平面上対応点推定部と、
前記第2の対応点群から、前記2枚の画像における同じ平面上の特徴点のペアからなる正対応点群を推定し、前記正対応点群に基づいて、前記2枚の画像の一方の画像を他方の画像に変換するための変換パラメータを推定する平面上対応点推定部と、
を備えた平面変換パラメータ推定装置。 - 前記立体上及び平面上対応点推定部は、前記2枚の画像を撮影した2つのカメラの位置関係を示す基礎行列を幾何モデルとして用いたロバスト推定、又は一般化ハフ変換を用いた投票ベースでの、前記2枚の画像を撮影した2つのカメラの観測方向の相対関係の推定により、前記第2の対応点群を推定し、
前記平面上対応点推定部は、アフィン変換行列又はホモグラフィ変換行列を幾何モデルとして用いたロバスト推定、又は一般化ハフ変換を用いた投票ベースでの推定により、前記正対応点群を推定する
請求項1記載の平面変換パラメータ推定装置。 - 前記対応点推定部は、前記特徴点の輝度と前記特徴点の画素の周囲に位置する複数の画素の各々の輝度との変化量の平均値を特徴量とし、前記2枚の画像の一方の画像の特徴点の特徴量に最も近い特徴量を、他方の画像の全ての特徴点の特徴量の中から決定し、前記他方の画像の決定した特徴量における特徴点と前記一方の画像の前記特徴点とから前記ペアを推定する
請求項1又は請求項2記載の平面変換パラメータ推定装置。 - 対応点推定部が、2枚の画像の各々の画像データに基づいて、前記2枚の画像における特徴点のペアの第1の対応点群を推定し、
立体上及び平面上対応点推定部が、前記第1の対応点群から、前記2枚の画像における同じ立体物及び平面上の特徴点のペアからなる第2の対応点群を推定し、
平面上対応点推定部が、前記第2の対応点群から、前記2枚の画像における同じ平面上の正対応点群を推定し、前記正対応点群に基づいて、前記2枚の画像の一方の画像を他方の画像に変換するための変換パラメータを推定する
ことを含む平面変換パラメータ推定方法。 - 前記立体上及び平面上対応点推定部は、前記2枚の画像を撮影した2つのカメラの位置関係を示す基礎行列を幾何モデルとして用いたロバスト推定、又は一般化ハフ変換を用いた投票ベースでの、前記2枚の画像を撮影した2つのカメラの観測方向の相対関係の推定により、前記第2の対応点群を推定し、
前記平面上対応点推定部は、アフィン変換行列又はホモグラフィ変換行列を幾何モデルとして用いたロバスト推定、又は一般化ハフ変換を用いた投票ベースでの推定により、前記正対応点群を推定する
請求項4記載の平面変換パラメータ推定方法。 - 前記対応点推定部は、前記特徴点の輝度と前記特徴点の画素の周囲に位置する複数の画素の各々の輝度との変化量の平均値を特徴量とし、前記2枚の画像の一方の画像の特徴点の特徴量に最も近い特徴量を、他方の画像の全ての特徴点の特徴量の中から決定し、前記他方の画像の決定した特徴量における特徴点と前記一方の画像の前記特徴点とから前記ペアを推定する
請求項4又は請求項5記載の平面変換パラメータ推定方法。 - コンピュータを、請求項1〜請求項3の何れか1項記載の平面変換パラメータ推定装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104647A JP2016218849A (ja) | 2015-05-22 | 2015-05-22 | 平面変換パラメータ推定装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104647A JP2016218849A (ja) | 2015-05-22 | 2015-05-22 | 平面変換パラメータ推定装置、方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016218849A true JP2016218849A (ja) | 2016-12-22 |
Family
ID=57578512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015104647A Pending JP2016218849A (ja) | 2015-05-22 | 2015-05-22 | 平面変換パラメータ推定装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016218849A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109782688A (zh) * | 2018-11-27 | 2019-05-21 | 佛山市奥策科技有限公司 | 一种织物自动分割成像方法及装置 |
JP2019207456A (ja) * | 2018-05-28 | 2019-12-05 | 日本電信電話株式会社 | 幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム |
JP2022542204A (ja) * | 2019-07-31 | 2022-09-30 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005078375A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | 方向認識装置、方向認識方法、方向認識システム及びロボット装置 |
JP2007256029A (ja) * | 2006-03-23 | 2007-10-04 | Denso It Laboratory Inc | ステレオ画像処理装置 |
JP2014059710A (ja) * | 2012-09-18 | 2014-04-03 | Toshiba Corp | 対象物検出装置および対象物検出方法 |
-
2015
- 2015-05-22 JP JP2015104647A patent/JP2016218849A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005078375A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | 方向認識装置、方向認識方法、方向認識システム及びロボット装置 |
JP2007256029A (ja) * | 2006-03-23 | 2007-10-04 | Denso It Laboratory Inc | ステレオ画像処理装置 |
JP2014059710A (ja) * | 2012-09-18 | 2014-04-03 | Toshiba Corp | 対象物検出装置および対象物検出方法 |
Non-Patent Citations (1)
Title |
---|
江尻 正員, ディジタル画像処理 [改訂新版] 第一版 DIGITAL IMAGE PROCESSING, vol. 第1版, JPN6018020539, 9 March 2015 (2015-03-09), ISSN: 0003930973 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019207456A (ja) * | 2018-05-28 | 2019-12-05 | 日本電信電話株式会社 | 幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム |
WO2019230726A1 (ja) * | 2018-05-28 | 2019-12-05 | 日本電信電話株式会社 | 幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム |
CN109782688A (zh) * | 2018-11-27 | 2019-05-21 | 佛山市奥策科技有限公司 | 一种织物自动分割成像方法及装置 |
JP2022542204A (ja) * | 2019-07-31 | 2022-09-30 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム |
JP7266106B2 (ja) | 2019-07-31 | 2023-04-27 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム |
US11928800B2 (en) | 2019-07-31 | 2024-03-12 | Tencent Technology (Shenzhen) Company Limited | Image coordinate system transformation method and apparatus, device, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10410397B2 (en) | Picture presentation method and apparatus | |
US9400939B2 (en) | System and method for relating corresponding points in images with different viewing angles | |
CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
EP3252715A1 (en) | Two-camera relative position calculation system, device and apparatus | |
US8447140B1 (en) | Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching | |
US9800754B2 (en) | Global registration of filled-out content in an application form | |
CN105765628B (zh) | 深度图生成的方法及系统 | |
US20180060682A1 (en) | Parallax minimization stitching method and apparatus using control points in overlapping region | |
KR20140109439A (ko) | 잡음에 강한 영상 정합 방법 및 시스템 | |
CN113807451B (zh) | 全景图像特征点匹配模型的训练方法、装置以及服务器 | |
JP6055435B2 (ja) | 被写体認識装置、被写体認識方法及び被写体認識プログラム | |
CN106537908A (zh) | 相机标定 | |
EP3309743B1 (en) | Registration of multiple laser scans | |
US9531952B2 (en) | Expanding the field of view of photograph | |
CN112330709A (zh) | 一种前景图像提取方法、装置、可读存储介质及终端设备 | |
JP2016218849A (ja) | 平面変換パラメータ推定装置、方法、及びプログラム | |
CN112785634A (zh) | 计算机装置与合成深度图产生方法 | |
EP3617996A1 (en) | Panorama image alignment method and device based on multipath images, and portable terminal | |
Ishii et al. | Wide-baseline stereo matching using ASIFT and POC | |
WO2018006669A1 (zh) | 视差融合方法和装置 | |
JP2011186604A (ja) | 筆跡復元方法、筆跡復元装置および筆跡復元処理プログラム | |
CN115439534A (zh) | 图像的特征点匹配方法、设备、介质及程序产品 | |
CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
JP5932107B2 (ja) | 画像処理サーバ及び撮像装置 | |
CN110189247B (zh) | 图像生成的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181204 |