JP2003271925A - 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 - Google Patents

全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体

Info

Publication number
JP2003271925A
JP2003271925A JP2002071623A JP2002071623A JP2003271925A JP 2003271925 A JP2003271925 A JP 2003271925A JP 2002071623 A JP2002071623 A JP 2002071623A JP 2002071623 A JP2002071623 A JP 2002071623A JP 2003271925 A JP2003271925 A JP 2003271925A
Authority
JP
Japan
Prior art keywords
matrix
motion
camera viewpoint
omnidirectional camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002071623A
Other languages
English (en)
Other versions
JP3901552B2 (ja
Inventor
Isao Miyagawa
勲 宮川
Shiro Ozawa
史朗 小澤
Yoshiori Wakabayashi
佳織 若林
Tomohiko Arikawa
知彦 有川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2002071623A priority Critical patent/JP3901552B2/ja
Publication of JP2003271925A publication Critical patent/JP2003271925A/ja
Application granted granted Critical
Publication of JP3901552B2 publication Critical patent/JP3901552B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 時系列映像特有の雑音に対しても、正確にカ
メラ視点の姿勢と位置の時間的変動即ち運動を復元し、
また外界物体の空間情報を復元する。 【解決手段】 特徴点計測部２は時系列画像データベー
ス１の時系列の全方位画像から特徴点の時間的変動量を
計測する。計測行列変換部３は特徴点座標値を全方位画
像面で変換する。行列分解処理部５は因子分解法により
カメラ視点の運動行列と外界物体の外観を表現する形状
行列に分解し雑音除去を行う。変換行列算出部６は運動
を規定する設定条件を満足する変換行列を求め運動行列
を変換する。該変換した運動行列から視点運動抽出部９
でカメラ運動成分を抽出し、平面並進運動復元部１０で
はカメラ視点の並進運動を、回転運動復元部１１ではそ
の回転運動を復元する。空間情報復元部８は、変換行列
を使って変換された形状行列を使い物体形状抽出部７で
抽出した成分から外界物体の空間情報を復元する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像入力装置等に
より取得した時系列画像データから、対象物の空間形
状、または空間構造の計測、または、獲得、並びに復元
や、画像入力装置（カメラ）の光学的視点に関する運
動、並びに、被写体（物体）の時間的運動を復元するこ
とに関係する。特に、コンピュータビジョンにおけるカ
メラ運動、並びに物体形状復元に関係する。
【０００２】また、本発明は、全方位カメラを使って取
得した車載映像、船上からの海上映像、空撮などの時系
列画像全般に対して利用可能であり、特に、全方位カメ
ラ視点に関する姿勢や平面運動、並びに、時系列映像に
写っている外界の形状、すなわち、被写体（物体）の外
観の形状等の空間情報を復元することに関係する。
【０００３】
【従来の技術】コンピュータビジョン分野では、時系列
画像データから、対象物の形状を計測、または、獲得す
る手法には、ステレオ計測やエピポーラ面解析を用いた
３次元解析手法がある。また、最近では、カメラの運動
と被写体（物体）の形状に関する３次元情報を、同時
に、計測、または獲得する手法の代表的な手法として、
因子分解法（下記文献［１］）がある。これらの手法に
よれば、物体が撮影されている複数の時系列画像から、
空間形状または空間構造に関する情報、並びに、カメラ
視点に関する運動を獲得、復元することができる。
【０００４】文献［１］C.Tomasi and T.Kanade;“Shap
e and Motion from Image StreamsUnder Orthography:A
Factorization Method",International Journal of Co
mputer Vision,Vol.9,No.2,1992。
【０００５】しかし、移動手段などを利用して撮影カメ
ラを動かしながら撮影した時系列映像においては、撮影
時の環境、撮影カメラの微小な動きによりシームレスに
映像を取得することが困難であり、時系列映像中にラン
ダム性の雑音が混入し、カメラ運動を正確に復元するこ
とが困難な場合がある。
【０００６】さらに、画像面が平面とした直交座標系で
表現できる画像座標値から、因子分解法により、ユーク
リッド空間でのカメラ運動と物体形状の復元が可能であ
るが、有限画角のカメラは映像シーンにおいて、フレー
ムイン、または、フレームアウトするため、画像入力装
置の回転運動を大域的に、または、長期的に復元する、
さらに、外界の物体の形状を大規模に、大域的に、また
は、長期的に復元することは困難である。一方、このよ
うな有限画角の問題を回避するために、一度に３６０度
のパノラマ画像を取得する手段として、全方位カメラを
使って取得した時系列画像からカメラ運動と物体形状を
復元することが考えられる。しかし、時系列の全方位画
像に対して、エピポーラ解析やステレオ視による従来の
アプローチが応用されているが、雑音が付加された時系
列画像から、容易にユークリッド空間でのカメラ運動と
物体形状が復元できないなどの問題がある。
【０００７】ところで、屋外においては、近年、高精度
になりつつあるＧＰＳ、ディファレンシャルＧＰＳ、ジ
ャイロなどのセンシング装置を使うことで、画像入力の
位置情報、姿勢情報に関する状態をセンシングすること
ができる。
【０００８】
【発明が解決しようとする課題】一般に、画像入力装置
（カメラ）から取得した時系列画像から、カメラの動
き、並びに、対象物の形状を同時に復元する場合、時系
列画像に混入するランダム雑音の影響や、撮影時のカメ
ラの微小な動きを正確に復元することは困難である。こ
のような問題を扱うべく、コンピュータビジョンでは、
上記した因子分解法（文献［１］）が存在する。
【０００９】一方、ＧＰＳ装置などを利用した位置情報
計測においては、ＧＰＳ衛星の幾何学的配置、または、
センシング条件の良好な時間帯に限定される。また、位
置計測の周囲の環境に、樹木が立ち並んだり、高層な建
物が立ち並ぶ場所は、センシングに不利な条件であると
いう問題がある。
【００１０】また、移動手段を使って、全方位カメラの
ような一度に３６０度の景観を映像化する撮影環境で取
得した時系列画像においては、ステレオ視の原理を応用
した計測方法により、外界の物体の空間情報を獲得、復
元することができるが、移動手段と撮像機器の配置、撮
影環境との関係でカメラが微小に動くため、容易にシー
ムレスな時系列画像を取得できない。そのため、ランダ
ム性雑音の影響も大きく、常に、安定的に、カメラの動
きと物体の形状を、同時に、かつ、高精度に復元するこ
とは不可能である。
【００１１】本発明は、リモートセンシングなどを利用
した測量でも計測できない位置情報、並びに、ステレオ
視などの手法を利用した外界物体の空間情報の獲得、復
元において、時系列映像特有のランダム性雑音に対して
も、正確にカメラ視点の姿勢と位置に関する時間的変
動、すなわち、運動を復元、並びに、外界物体の空間情
報を獲得、復元する方法および装置を提供することを課
題とする。
【００１２】
【課題を解決するための手段】上記の課題を解決するた
め、本発明は、画像入力手段で取得した時系列の全方位
画像中において、時系列に関する全方位カメラ視点の運
動、並びに、被写体である外界の物体の形状、または構
造、または外観を含む空間情報を復元する方法であっ
て、時系列画像上に設定した画像座標系において、各時
系列画像中の特徴点の時間的変動量を測定し、その特徴
点座標値を別の座標系に変換する第１ステップと、該変
換された特徴点座標値を集計したデータである計測行列
を行列分解し、カメラ視点に関する運動行列と、外界の
物体の外観を表現する形状行列に分解する第２ステップ
と、該分解された運動行列において、運動を規定するた
めに設定した条件を満足するように変換行列を求めると
ともに、該変換行列を使って、全方位カメラ視点の回転
運動に対応する情報と、並進運動に対応する情報を計算
し復元する第３ステップと、該変換行列を使って、該物
体の外観を表現する形状行列を復元する第４ステップ
と、該復元された形状行列を使って、外界の物体の空間
情報を復元する第５ステップと、を有することを特徴と
する全方位カメラ視点運動並びに物体形状復元方法を手
段とする。
【００１３】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第２ステップは、
変換された特徴点座標値を集計したデータである計測行
列を因子分解により行列分解するステップと、該分解さ
れた行列から雑音除去するステップと、該雑音除去され
た行列から運動行列と形状行列を獲得するステップと、
を有することを特徴とする全方位カメラ視点運動並びに
物体形状復元方法を手段とする。
【００１４】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第１ステップで
は、各時系列画像中の特徴点座標値を別の座標系に変換
するのに際し、全方位光学系において、光軸からの入射
角に比例した全方位射影に基づいて、画像座標値から別
の座標系の座標値に変換し、第２ステップにおける、因
子分解により行列分解するステップでは、該変換した座
標値からなる計測行列に対して、因子分解を行うことを
特徴とする全方位カメラ視点運動並びに物体形状復元方
法を手段とする。
【００１５】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第１ステップで
は、各時系列画像中の特徴点座標値を別の座標系に変換
するのに際し、全方位光学系において、光軸からの入射
角の半角の正弦に比例した射影に基づいて、画像座標値
から別の座標系の座標値に変換し、第２ステップにおけ
る、因子分解により行列分解するステップでは、該変換
した座標値からなる計測行列に対して、因子分解を行う
ことを特徴とする全方位カメラ視点運動並びに物体形状
復元方法を手段とする。
【００１６】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第１ステップで
は、各時系列画像中の特徴点座標値を別の座標系に変換
するのに際し、全方位光学系において、光軸からの入射
角の半角の正接に比例した射影に基づいて、画像座標値
から別の座標系の座標値に変換し、第２ステップにおけ
る、因子分解により行列分解するステップでは、該変換
した座標値からなる計測行列に対して、因子分解を行う
ことを特徴とする全方位カメラ視点運動並びに物体形状
復元方法を手段とする。
【００１７】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第１ステップで
は、各時系列画像中の特徴点座標値を別の座標系に変換
するのに際し、時系列の全方位画像上の特徴点の座標値
について、原点と設定した位置からの位相で表現する座
標系へ幾何変換し、第２ステップでは、該位相平面上で
の特徴点座標値の計測行列から行列分解することを特徴
とする全方位カメラ視点運動並びに物体形状復元方法を
手段とする。
【００１８】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第４ステップで
は、回転運動に対応する情報を計算し復元するのに際
し、第３ステップで得られた変換行列を使って得た運動
行列において、光軸周りの回転運動を復元することを特
徴とする全方位カメラ視点運動並びに物体形状復元方法
を手段とする。
【００１９】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第４ステップで
は、並進運動に対応する情報を計算し復元するのに際
し、第３ステップで得られた変換行列を使って、全方位
カメラ視点の並進運動に対応する情報を取り出し、時系
列画像上の特徴点の座標値を測定したときに設定した画
像座標系における平面運動に変換することを特徴とする
全方位カメラ視点運動並びに物体形状復元方法を手段と
する。
【００２０】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第５ステップで
は、第３ステップで得られた、物体の外観を表現する形
状行列を変換した形状行列の中の１成分を抽出し、特徴
点の空間情報を復元することを特徴とする全方位カメラ
視点運動並びに物体形状復元方法を手段とする。
【００２１】あるいは、上記の全方位カメラ視点運動復
元並びに物体形状復元方法であって、第３ステップで
は、変換行列を求める際に、条件式を満たす行列要素に
対して、その主成分と、その主成分に係る符号ベクトル
から変換行列を求めることを特徴とする全方位カメラ視
点運動並びに物体形状復元方法を手段とする。
【００２２】あるいは、画像入力装置で取得した時系列
の全方位画像中において、時系列に関する全方位カメラ
視点の運動、並びに、外界の物体の形状、または構造、
または外観を含む空間情報を復元する装置であって、時
系列画像上に設定した画像座標系において、各時系列画
像中の特徴点の時間的変動量を測定する特徴点計測部
と、該特徴点座標値を別の座標系に変換して集計する計
測行列変換部と、該変換された特徴点座標値を集計した
データである計測行列を行列分解し、雑音除去して、カ
メラ視点に関する運動行列と、外界の物体の外観を表現
する形状行列に分解する行列分解処理部と、該分解され
た運動行列において、運動を規定するために設定した条
件を満足するように変換行列を求める変換行列算出部
と、該変換行列を使って、全方位カメラ視点の回転運動
に対応する情報と、並進運動に対応する情報を計算し復
元する視点運動復元部と、該変換行列を使って、該物体
の外観を表現する形状行列を復元し、該復元された形状
行列を使って、外界の物体の空間情報として復元する空
間情報復元部と、を有することを特徴とする全方位カメ
ラ視点運動並びに物体形状復元装置を手段とする。
【００２３】あるいは、上記の全方位カメラ視点運動並
びに物体形状復元方法におけるステップを、コンピュー
タに実行させるためのプログラムとしたことを特徴とす
る全方位カメラ視点運動並びに物体形状復元プログラム
を手段とする。
【００２４】あるいは、上記の全方位カメラ視点運動並
びに物体形状復元方法におけるステップを、コンピュー
タに実行させるためのプログラムとし、該プログラム
を、該コンピュータが読み取りできる記録媒体に記録し
たことを特徴とする全方位カメラ視点運動並びに物体形
状復元プログラムを記録した記録媒体を手段とする。
【００２５】本発明では、全方位カメラの光学的性質を
利用した全方位射影式において、因子分解法（文献
［１］）を応用して、時系列画像から測定した特徴点の
時間的動きから、すなわち、全方位空間における時間的
変動値から、ランダム性雑音の除去を行って、全方位カ
メラ視点の運動、並びに、外界物体の空間情報を表現す
る要素に行列分解し、カメラ運動を復元するための条件
式を設定し、この条件式を満足する変換行列を使って、
全方位カメラ視点に関する姿勢、位置からなる運動と、
外界物体の空間情報、すなわち、物体形状や構造、外観
等を獲得、復元することにより、全方位カメラを使って
取得した時系列画像全般（移動手段を利用して撮影した
車載映像、海上映像、空撮映像、屋内映像など）から、
対象物に関する物体形状を高精度に獲得、復元すること
を可能とする。また、これまでの測量技術並の高精度な
３次元立体視を可能とする。さらに、全方位カメラ視点
のカメラ光軸周りの回転、並びに、ＸＹ平面運動からな
るカメラ運動を正確に復元することを可能とする。
【００２６】
【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。
【００２７】図１は、本発明の一実施形態例を示す構成
図である。本実施形態例においては、魚眼レンズなどを
利用して、等距離射影（光軸からの入射角に比例した全
方位射影）の光学系を組み込んだ全方位カメラ撮像装置
を利用した場合を説明する。本発明は、他の全方位射影
（等立体角射影、立体射影等）の光学系を組み込んだ全
方位カメラ撮像装置で取得した時系列画像に対しても、
適用可能である。
【００２８】図１において、１は時系列画像データベー
ス、２は特徴点計測部、３は計測行列変換部、４は計測
行列入力部、５は行列分解処理部、６は変換行列算出
部、７は物体形状抽出部、８は空間情報復元部、９は視
点運動抽出部、１０は平面並進運動復元部、１１は回転
運動復元部である。
【００２９】本実施形態例では、特徴点計測部２におい
て、時系列画像データベース１に格納した時系列の全方
位画像において特徴点の時間的変動量を計測し、計測行
列変換部３において全方位画像面で変換し、この変換し
た特徴点座標値の集計データである計測行列を計測行列
入力部４により入力し、行列分解処理部５において、因
子分解法を応用した方法により、カメラ視点に関する運
動行列と、外界の物体の外観を表現する形状行列に分解
し、変換行列算出部６において、行列分解処理部５で分
解した行列のうち、運動行列の成分からカメラ運動拘束
条件を設定し、この条件を満足する変換行列を求め、さ
らに変換行列を使って運動行列と形状行列を変換し、視
点運動抽出部９において該変換した運動行列から運動情
報を抽出し、平面並進運動復元部１０においてはカメラ
視点に関する平面並進運動を、回転運動復元部１１にお
いては回転運動を復元し、また物体形状抽出部７におい
て該変換した形状行列を抽出し、空間情報復元部８にお
いて外界の物体の形状、または構造、または外観等の空
間情報を復元する。
【００３０】図２は、請求項１〜１０の発明に関する処
理フローである。これら図を元に本発明を、詳細に説明
する。
【００３１】ここで、全方位カメラと外界の物体との幾
何的位置関係、並びに、本発明で用いているカメラパラ
メータについて説明しておく。
【００３２】図６に示すように、空間中に設定したＸＹ
Ｚ座標系を基準座標系として、この座標系における外界
の物体の空間情報（Ｘj，Ｙj，Ｚj）を本発明により復
元する。また、このＸＹＺ座標系において、時間的に全
方位カメラ視点が移動する。このとき、全方位カメラ、
すなわち、光学中心に設定した座標系Ｘ0Ｙ0が、ＸＹ平
面において、図６に示すように、全方位カメラ視点のＺ
軸と平行な光軸周りの回転、すなわち、Ｘ軸との為す角
をθiとし、平面上の位置を（Ｔｘi，Ｔｙi）として移
動するものとする。このＸＹ平面の並進運動（Ｔｘi，
Ｔｙi）、並びに、方位θiの時間的変化を本発明により
復元する。
【００３３】なお、説明の便宜上、初期状態において、
全方位カメラ視点に設定したＸ0Ｙ0座標系の方向と基準
座標系のＸＹ座標系の方向とは一致しているものとす
る。また、全方位カメラ視点、すなわち、光学中心のＺ
軸の並進運動は無いものとし、方位以外の角、すなわ
ち、進行軸Ｘ0周りの回転、並びに、Ｙ0周りの回転の時
間的変化は無いのとする。また、全方位カメラの視点、
すなわち、光学中心と外界の物体上の点とを直線で結ん
だとき、ＸＹ平面から見たときのＸ0軸との為す角をρ
ijとする。
【００３４】さらに、図７に、ＹＺ平面での外界の物体
と全方位カメラ視点との幾何的関係、並びに、カメラパ
ラメータについて示す。全方位カメラ視点、すなわち、
光学中心の位置を（Ｔｘi，Ｔｙi）としたとき、外界の
物体の点（Ｘj，Ｙj，Ｚj）を直線で結んだとき、ＸＹ
平面との為す角をΦijとする。
【００３５】加えて、本発明での魚眼レンズの光学的性
質として、図８に示すように、図７での外界に物体の点
（Ｘj，Ｙj，Ｚj）と全方位カメラ視点位置、すなわ
ち、光学中心の位置（Ｔｘi，Ｔｙi）を結んだ場合、入
射角がΦijであるとき、光軸に入射した光（Φij＝９０
度）を画像上の画像中心（Ｃx，Ｃy）に射影、入射した
光がＸＹ平面で入射した光（Φij＝０度）がイメージサ
ークル（全方位画像として映る画像での限界）上に射影
される。
【００３６】また、光学的に、等距離射影が成立してお
り。入射角をΦijとした場合、その角度に比例して画像
中心（Ｃx，Ｃy）からの距離Ｒijに射影されるものとす
る。ここで、焦点距離をｆとし、Ｑは光学的距離と画素
との間の比例定数、すなわち、１画素あたりのエリアセ
ンサとの対応付けを表現している。このとき、等距離射
影では、式（１）が成り立つ。また、射影点の画像座標
値を（ｘij，ｙij）とした場合、式（２）に表現でき
る。
【００３７】
【数１】
【００３８】一方、外界の物体の点は、この全方位カメ
ラの光学的性質により、全方位画像上において、図５に
示すようにＷ×Ｈの画像サイズで、Ｈ／２の半径のイメ
ージサークルより内側の点（ｘij，ｙij）に射影され
る。ここで、Ｘ0軸との為す角ρijとすると、光学的性
質から、式（３）が成り立つ。
【００３９】
【数２】
【００４０】これで、外界の物体と全方位カメラ視点の
位置の幾何学的配置、全方位カメラの光学的性質、並び
に、カメラ内部パラメータを定義しておく。
【００４１】図１，図２にもどり、本発明の説明を続け
る。
【００４２】始めに、特徴点計測部２は、時系列画像が
時間管理で格納されている時系列画像データベース１か
ら時系列画像を取り出して入力し、図２での時系列画像
処理のステップを行う。
【００４３】これらのステップでは、まず、時系列画像
データベース１から時系列画像を１枚取り出し、これを
初期画像として、その画像上に特徴点を配置する。この
とき、エッジ検出、ハフ変換、並びに、濃淡の２次元勾
配などの画像処理により自動的に特徴点を配置するなど
して、初期画像上に特徴点を配置する。このとき配置す
る特徴点の数をＰ個（ｊ＝１，２，…，Ｐ）とし、配置
したときの特徴点の２次元座標値として、図５での画像
座標系での原点からの座標値（ｘij，ｙij）：ｊ＝１，
２，…，Ｐを記録しておく。
【００４４】次に、特徴点計測部２は、初期画像に続く
時系列画像をデータベース１から１枚ずつ読み込み、時
系列画像処理のステップにて、初期画像に配置した特徴
点を、時系列画像間の濃淡の変化などに着目した手法な
どを利用することで画像追跡し、各時系列画像（初期画
像から第ｉ番目の画像）の特徴点の画像座標値として、
図５での画像座標系での原点からの２次元座標値
（ｘij，ｙij）を記録する。時系列画像を読み出し続け
た場合、初期画像に配置した特徴点の中で、画像中から
消失したり、オクルージョンなどにより隠れてしまった
ときは、画像追跡を停止し、特徴点追跡を終了する。特
徴点追跡が終了した時点で、読み出した時系列画像の数
ｉ＝１，２，…，Ｆは、初期画像を含めてＦ枚とする。
【００４５】次に、特徴点計測部２は、計測行列記憶を
行う。計測行列記憶のステップでは、各時系列画像にお
ける特徴点の時間的な画像座標的配置の変化量が記録さ
れる。特徴点の時間的な画像座標的配置の変化を行列と
してデータ化したものを計測行列［Ｘ］と称し、式
（４）のデータ形式とする。
【００４６】
【数３】
【００４７】次に、計測行列変換部３は、計測行列変換
のステップにて、全方位画像座標値での計測行列に変換
する。ここでの全方位画像座標値とは、図５に示すよう
に、画像中心、すなわち、光軸の位置を示し、光学中心
の座標値（Ｃx，Ｃy）とした場合、この座標値からの相
対的な座標値に一時変換しておく。さらに、これを全時
系列にわたり、式（２）（３）のρijとΦijを全特徴点
から測定し、式（５）で定義するような全方位画像平面
上の座標値へ幾何変換する。これを式（６）のようなデ
ータ配列にする。
【００４８】 ｕij＝cot（φij）cos（ρij） …式（５（その１）） ｕij＝cot（φij）sin（ρij） …式（５（その２））
【００４９】
【数４】
【００５０】次に、変換された計測行列は計測行列入力
部４により行列分解処理部５に入力され、行列分解処理
部２において因子分解法処理される。この因子分解法処
理のステップでは、全方位カメラ視点の運動と外界の物
体の形状、または構造情報を復元する。図３に、因子分
解法処理での処理フローを示す。
【００５１】まず、それまでのステップで全方位画像平
面上へ変換した計測行列［Ａ］を、計測行列入力部４に
よる計測行列データ入力において読み込む。次に、特異
値分解なる数学的手法により、式（７）のように、一意
に、３つの行列に行列分解する。
【００５２】
【数５】
【００５３】さらに、行列分解した後、ランク３によ
り、さらに行列を式（８）のように分離する。式（８）
の第二項を雑音成分と見なして、式（９）のように雑音
除去する。
【００５４】
【数６】
【００５５】次に、雑音成分が除去された運動行列と形
状行列とを獲得し、運動行列についてカメラ運動に関す
る拘束条件を設定し、これを満足するように、［Ｑ］を
決定する。すなわち、式（１２）に示すように、行列
［Ｑ］を作用させた後の行列を［Ｍ］とし、各行につい
てｍi，ｎiとし、要素が式（１３）であるとする。この
行列の要素ｍi，ｎiが、式（１４），（１５），（１
６）の拘束条件を満足するようにする。ただし、行列
［Ｑ］の要素を、式（１７）に示す要素とする。このと
き、式（１２）の要素から、式（１４）から式（１８）
を経て（１９）の計算式を設定する。また、式（１２）
の要素から、式（１５）から式（２０）を経て（２１）
の計算式を設定する。また、式（１２）の要素から、式
（１６）から式（２２）を経て（２３）の計算式を設定
する。式（１９），（２１），（２３）から、式（２
４）の行列［Ｑ］［Ｑ］Tを求める計算式を設定する。
行列［Ｑ］［Ｑ］Tを求めるときは、式（２５）の演算
を行い、この計算で得た要素から、式（２６）のように
固有値分解し、式（２７）であるとする。次に、式（２
８）を使って、式（２５）で得た元の行列［Ｑ］の要素
Ｑ11，Ｑ12，Ｑ21，Ｑ22を求める。
【００５６】
【数７】
【００５７】ｍ2 ix＋ｍ2 iy＝１ …式（１４） ｎ2 ix＋ｎ2 iy＝１ …式（１５） ｍixｎix＋ｍiyｎiy＝０ …式（１６）
【００５８】
【数８】
【００５９】
【数９】
【００６０】
【数１０】
【００６１】または、式（２６）の固有値分解を行い、
式（２６）の右辺の２番目の行列の固有値の平方根を対
角要素とした行列、すなわち、式（２８）の右辺の１番
目の行列を求める。次に、式（２８−１）に示すように
固有ベクトルの符号判定を行い、（ｑix，ｑiy）ｉ＝
１，２を決定し、式（２８）により［Ｑ］を求める。
【００６２】次に、変換行列算出部６は、求めた行列
［Ｑ］によって、式（２９）により運動行列の変換処理
を行い、並びに、式（３０）により形状行列変換の処理
を行う。これで得られた運動成分［Ｍ'］、並びに、物
体形状成分［Ｓ'］を出力し、因子分解法処理を終え
る。
【００６３】
【数１１】
【００６４】図１、図２に戻り、回転運動復元部１１は
回転成分計算を、平面並進運動復元部１０は平面並進成
分計算を、並びに空間情報復元分解８は空間情報復元計
算を、それぞれ行う。
【００６５】まず、視点運動抽出部９により、全フレー
ムでの回転成分を抽出し、回転運動復元部１１により、
初期画像での運動成分が式（３１）となるように、全フ
レームにおいて、方位正規化計算をする。
【００６６】
【数１２】
【００６７】すなわち、まず、式（２９）で求めた行列
［Ｍ］について、式（３２）の運動成分とし、初期フレ
ームでの行ベクトルを、式（３３）のように取り出す。
次に、このベクトルに直交するベクトルｋ1を式（３
４）のように生成し、これらベクトルを要素とする行列
［Ｎ］を生成する。この行列を使って、式（３６）のよ
うに変換をすることで、方位正規化計算を行い、行列
［Ｍ］を得る。
【００６８】 ｉT 1＝［Ｕ'11 Ｕ'12 ０］ …式（３３（その１）） ｊT 1＝［Ｕ'1+F,1 Ｕ'1+F,2 ０］ …式（３３（その２）） ｋT 1＝［０ ０ １］］ …式（３４）
【００６９】
【数１３】
【００７０】次に、回転運動復元部１１は、各フレーム
に対して、式（３７）、または、式（３８）を使って方
位回転θiを計算する。
【００７１】
【数１４】
【００７２】一方、図４では、物体形状抽出部７により
並進成分を抽出して、平面並進運動復元部１０により、
各フレームでの成分から、平面運動としての並進成分を
計算する。ここでは、式（１３）の第３列目の要素を抽
出し、各フレームに対して、式（３９）に従って、平面
運動での並進成分（Ｔ(i)ｘ，Ｔ(i)ｙ）を復元する。
【００７３】
【数１５】
【００７４】これで、図４の回転成分計算、および並進
運動計算を終了する。
【００７５】続いて、図１、図２に戻り、空間情報復元
部８による空間情報復元処理を行う。ここでの空間情報
復元処理では、式（３０）の行列要素が、式（４０）で
あるとすると、式（４１）に従って、外界の物体形状、
または、構造に関する空間情報を表現する３次元座標値
が復元できる。
【００７６】以上、本発明の実施形態例により、全方位
映像の特徴点の時間的動きから、全方位カメラ視点の運
動、すなわち、方位運動とＸＹ平面での並進運動、並び
に、外界の物体の形状、または構造の空間情報、すなわ
ち、３次元座標値を復元することができる。
【００７７】
【数１６】
【００７８】なお、本発明では、全方位光学系におい
て、式（２）に示す光軸からの入射角に比例した光学射
影の場合、時系列の全方位画像上の特徴点座標値につい
て、原点と設定した位置から、式（２）の全方位射影式
を使って仰角のφijと位相ρijを求め、式（５（その
１））と式（５（その２））で表現する座標系へ幾何変
換し、この座標平面上での特徴点座標値の計測行列
［Ａ］から行列分解を行うようにしても良いし、式（４
２）に示す光軸からの入射角の半角の正弦に比例した光
学射影の場合、時系列の全方位画像上の特徴点座標値に
ついて、原点と設定した位置から、式（４２）の全方位
射影式を使って仰角のφijと位相ρijを求め、式（５
（その１））と式（５（その２））で表現する座標系へ
幾何変換し、この座標平面上での特徴点座標値の計測行
列［Ａ］から行列分解を行うようにしても良いし、式
（４３）に示す光軸からの入射角の半角の正接に比例し
た光学射影の場合、時系列の全方位画像上の特徴点座標
値について、原点と設定した位置から、式（４３）の全
方位射影式を使って仰角のφijと位相ρijを求め、式
（５（その１））と式（５（その２））で表現する座標
系へ幾何変換し、この座標平面上での特徴点座標値の計
測行列［Ａ］から行列分解を行うようにしても良い。
【００７９】
【数１７】
【００８０】なお、図１で示した装置における各部の一
部もしくは全部の機能をコンピュータのプログラムで構
成し、そのプログラムをコンピュータを用いて実行して
本発明を実現することができること、あるいは、図２〜
図４で示した処理の手順をコンピュータのプログラムで
構成し、そのプログラムをコンピュータに実行させるこ
とができることは言うまでもなく、コンピュータでその
機能を実現するためのプログラム、あるいは、コンピュ
ータにその処理の手順を実行させるためのプログラム
を、そのコンピュータが読み取り可能な記録媒体、例え
ば、ＦＤ（フロッピーディスク（登録商標））や、Ｍ
Ｏ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブ
ルディスクなどに記録して、保存したり、配布したりす
ることが可能である。また、上記のプログラムをインタ
ーネットや電子メールなど、ネットワークを通して提供
することも可能である。
【００８１】
【発明の効果】本発明によれば、全方位カメラを使って
取得した時系列画像全般（移動手段を利用して撮影した
車載映像、海上映像、空撮映像、屋内映像など）から、
対象物に関する物体形状等の空間情報を高精度に獲得、
復元することが可能となる。また、これまでの測量技術
並の高精度な３次元立体視が可能となる。さらに、全方
位カメラ視点のカメラ光軸周りの回転、並びに、ＸＹ平
面運動からなる方位運動を正確に復元することが可能と
なる。
【図面の簡単な説明】
【図１】本発明の基本的な実施形態例を示す構成図であ
る。
【図２】本実施形態例での処理フローを説明する図であ
る。
【図３】本実施形態例での因子分解法処理フローを説明
する図である。
【図４】本実施形態例でのカメラ視点の回転運動、及び
並進運動の復元を説明する図である。
【図５】全方位画像面の座標値を説明する図である。
【図６】ＸＹ平面でのカメラパラメータを説明する図で
ある。
【図７】垂直平面とＹＺ平面、光学系の関係を説明する
図である。
【図８】等距離射影を説明する図である。
【符号の説明】
１…時系列画像データベース ２…特徴点計測部 ３…計測行列変換部 ４…計測行列入力部 ５…行列分解処理部 ６…変換行列算出部 ７…物体形状抽出部 ８…空間情報復元部 ９…視点運動抽出部 １０…平面並進運動復元部 １１…回転運動復元部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 若林 佳織 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 有川 知彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B057 AA16 AA19 BA02 DA07 DB02 DB09 DC09 5C054 AA01 EA01 EA05 FC15 FD03 HA13 HA26

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 画像入力手段で取得した時系列の全方位
    画像中において、時系列に関する全方位カメラ視点の運
    動、並びに、被写体である外界の物体の形状、または構
    造、または外観を含む空間情報を復元する方法であっ
    て、 時系列画像上に設定した画像座標系において、各時系列
    画像中の特徴点の時間的変動量を測定し、その特徴点座
    標値を別の座標系に変換する第１ステップと、 該変換された特徴点座標値を集計したデータである計測
    行列を行列分解し、カメラ視点に関する運動行列と、外
    界の物体の外観を表現する形状行列に分解する第２ステ
    ップと、 該分解された運動行列において、運動を規定するために
    設定した条件を満足するように変換行列を求めるととも
    に、該変換行列を使って、全方位カメラ視点の回転運動
    に対応する情報と、並進運動に対応する情報を計算し復
    元する第３ステップと、 該変換行列を使って、該物体の外観を表現する形状行列
    を復元する第４ステップと、 該復元された形状行列を使って、外界の物体の空間情報
    を復元する第５ステップと、を有することを特徴とする
    全方位カメラ視点運動並びに物体形状復元方法。
  2. 【請求項２】 請求項１記載の全方位カメラ視点運動復
    元並びに物体形状復元方法であって、 第２ステップは、 変換された特徴点座標値を集計したデータである計測行
    列を因子分解により行列分解するステップと、 該分解された行列から雑音除去するステップと、 該雑音除去された行列から運動行列と形状行列を獲得す
    るステップと、を有することを特徴とする全方位カメラ
    視点運動並びに物体形状復元方法。
  3. 【請求項３】 請求項２記載の全方位カメラ視点運動復
    元並びに物体形状復元方法であって、 第１ステップでは、各時系列画像中の特徴点座標値を別
    の座標系に変換するのに際し、全方位光学系において、
    光軸からの入射角に比例した全方位射影に基づいて、画
    像座標値から別の座標系の座標値に変換し、 第２ステップにおける、因子分解により行列分解するス
    テップでは、該変換した座標値からなる計測行列に対し
    て、因子分解を行うことを特徴とする全方位カメラ視点
    運動並びに物体形状復元方法。
  4. 【請求項４】 請求項２記載の全方位カメラ視点運動復
    元並びに物体形状復元方法であって、 第１ステップでは、各時系列画像中の特徴点座標値を別
    の座標系に変換するのに際し、全方位光学系において、
    光軸からの入射角の半角の正弦に比例した射影に基づい
    て、画像座標値から別の座標系の座標値に変換し、 第２ステップにおける、因子分解により行列分解するス
    テップでは、該変換した座標値からなる計測行列に対し
    て、因子分解を行うことを特徴とする全方位カメラ視点
    運動並びに物体形状復元方法。
  5. 【請求項５】 請求項２記載の全方位カメラ視点運動復
    元並びに物体形状復元方法であって、 第１ステップでは、各時系列画像中の特徴点座標値を別
    の座標系に変換するのに際し、全方位光学系において、
    光軸からの入射角の半角の正接に比例した射影に基づい
    て、画像座標値から別の座標系の座標値に変換し、 第２ステップにおける、因子分解により行列分解するス
    テップでは、該変換した座標値からなる計測行列に対し
    て、因子分解を行うことを特徴とする全方位カメラ視点
    運動並びに物体形状復元方法。
  6. 【請求項６】 請求項１から５までのいずれか１項記載
    の全方位カメラ視点運動復元並びに物体形状復元方法で
    あって、 第１ステップでは、各時系列画像中の特徴点座標値を別
    の座標系に変換するのに際し、時系列の全方位画像上の
    特徴点の座標値について、原点と設定した位置からの位
    相で表現する座標系へ幾何変換し、 第２ステップでは、該位相平面上での特徴点座標値の計
    測行列から行列分解することを特徴とする全方位カメラ
    視点運動並びに物体形状復元方法。
  7. 【請求項７】 請求項１から６までのいずれか１項記載
    の全方位カメラ視点運動復元並びに物体形状復元方法で
    あって、 第４ステップでは、回転運動に対応する情報を計算し復
    元するのに際し、第３ステップで得られた変換行列を使
    って得た運動行列において、光軸周りの回転運動を復元
    することを特徴とする全方位カメラ視点運動並びに物体
    形状復元方法。
  8. 【請求項８】 請求項１から７までのいずれか１項記載
    の全方位カメラ視点運動復元並びに物体形状復元方法で
    あって、 第４ステップでは、並進運動に対応する情報を計算し復
    元するのに際し、第３ステップで得られた変換行列を使
    って、全方位カメラ視点の並進運動に対応する情報を取
    り出し、時系列画像上の特徴点の座標値を測定したとき
    に設定した画像座標系における平面運動に変換すること
    を特徴とする全方位カメラ視点運動並びに物体形状復元
    方法。
  9. 【請求項９】 請求項１から８までのいずれか１項記載
    の全方位カメラ視点運動復元並びに物体形状復元方法で
    あって、 第５ステップでは、第３ステップで得られた、物体の外
    観を表現する形状行列を変換した形状行列の中の１成分
    を抽出し、特徴点の空間情報を復元することを特徴とす
    る全方位カメラ視点運動並びに物体形状復元方法。
  10. 【請求項１０】 請求項１から９までのいずれか１項記
    載の全方位カメラ視点運動復元並びに物体形状復元方法
    であって、 第３ステップでは、変換行列を求める際に、条件式を満
    たす行列要素に対して、その主成分と、その主成分に係
    る符号ベクトルから変換行列を求めることを特徴とする
    全方位カメラ視点運動並びに物体形状復元方法。
  11. 【請求項１１】 画像入力装置で取得した時系列の全方
    位画像中において、時系列に関する全方位カメラ視点の
    運動、並びに、外界の物体の形状、または構造、または
    外観を含む空間情報を復元する装置であって、 時系列画像上に設定した画像座標系において、各時系列
    画像中の特徴点の時間的変動量を測定する特徴点計測部
    と、 該特徴点座標値を別の座標系に変換して集計する計測行
    列変換部と、 該変換された特徴点座標値を集計したデータである計測
    行列を行列分解し、雑音除去して、カメラ視点に関する
    運動行列と、外界の物体の外観を表現する形状行列に分
    解する行列分解処理部と、 該分解された運動行列において、運動を規定するために
    設定した条件を満足するように変換行列を求める変換行
    列算出部と、 該変換行列を使って、全方位カメラ視点の回転運動に対
    応する情報と、並進運動に対応する情報を計算し復元す
    る視点運動復元部と、 該変換行列を使って、該物体の外観を表現する形状行列
    を復元し、該復元された形状行列を使って、外界の物体
    の空間情報として復元する空間情報復元部と、を有する
    ことを特徴とする全方位カメラ視点運動並びに物体形状
    復元装置。
  12. 【請求項１２】 請求項１から１０までのいずれか１項
    記載の全方位カメラ視点運動並びに物体形状復元方法に
    おけるステップを、コンピュータに実行させるためのプ
    ログラムとしたことを特徴とする全方位カメラ視点運動
    並びに物体形状復元プログラム。
  13. 【請求項１３】 請求項１から１０までのいずれか１項
    記載の全方位カメラ視点運動並びに物体形状復元方法に
    おけるステップを、コンピュータに実行させるためのプ
    ログラムとし、 該プログラムを、該コンピュータが読み取りできる記録
    媒体に記録したことを特徴とする全方位カメラ視点運動
    並びに物体形状復元プログラムを記録した記録媒体。
JP2002071623A 2002-03-15 2002-03-15 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 Expired - Fee Related JP3901552B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002071623A JP3901552B2 (ja) 2002-03-15 2002-03-15 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002071623A JP3901552B2 (ja) 2002-03-15 2002-03-15 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2003271925A true JP2003271925A (ja) 2003-09-26
JP3901552B2 JP3901552B2 (ja) 2007-04-04

Family

ID=29201852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002071623A Expired - Fee Related JP3901552B2 (ja) 2002-03-15 2002-03-15 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3901552B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3143761A4 (en) * 2014-05-15 2017-04-26 Ricoh Company, Ltd. Imaging system, imaging apparatus, computer program, and system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3143761A4 (en) * 2014-05-15 2017-04-26 Ricoh Company, Ltd. Imaging system, imaging apparatus, computer program, and system
US10681268B2 (en) 2014-05-15 2020-06-09 Ricoh Company, Ltd. Imaging system, imaging apparatus, and system

Also Published As

Publication number Publication date
JP3901552B2 (ja) 2007-04-04

Similar Documents

Publication Publication Date Title
Teller et al. Calibrated, registered images of an extended urban area
Claus et al. A rational function lens distortion model for general cameras
AU2011312140C1 (en) Rapid 3D modeling
US6661913B1 (en) System and method for determining structure and motion using multiples sets of images from different projection models for object modeling
CN110675450A (zh) 基于slam技术的正射影像实时生成方法及系统
Albl et al. From two rolling shutters to one global shutter
US20200074658A1 (en) Method and system for three-dimensional model reconstruction
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
US20200029025A1 (en) Imaging system and method of imaging control
Li et al. Spherical stereo for the construction of immersive VR environment
CN116170689A (zh) 视频生成方法、装置、计算机设备和存储介质
Guan et al. Minimal cases for computing the generalized relative pose using affine correspondences
Angladon et al. The toulouse vanishing points dataset
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
US11790606B2 (en) Determining camera rotations based on known translations
JP2005275789A (ja) 三次元構造抽出方法
JP2005063012A (ja) 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
JP3901552B2 (ja) 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
CN113610952A (zh) 一种三维场景重建方法、装置、电子设备和存储介质
JP3759712B2 (ja) カメラパラメータ推定方法、装置、プログラム、および記録媒体
JP2005063013A (ja) 全方位カメラの視点運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体
JP2004348198A (ja) 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体
Lao 3D Vision Geometry for Rolling Shutter Cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061226

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees