JP2002183716A - 空間データ処理方法および空間データ処理装置および空間データ処理方法を記述したプログラムを記録した記録媒体 - Google Patents
空間データ処理方法および空間データ処理装置および空間データ処理方法を記述したプログラムを記録した記録媒体Info
- Publication number
- JP2002183716A JP2002183716A JP2000380071A JP2000380071A JP2002183716A JP 2002183716 A JP2002183716 A JP 2002183716A JP 2000380071 A JP2000380071 A JP 2000380071A JP 2000380071 A JP2000380071 A JP 2000380071A JP 2002183716 A JP2002183716 A JP 2002183716A
- Authority
- JP
- Japan
- Prior art keywords
- spatial data
- image
- input device
- image input
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 本発明は、全方位カメラを用いて獲得した実
空間の画像と、例えば予め獲得している空間データとの
ずれを校正・補正することを目的としている。 【解決手段】 全方位カメラを移動させつつ実空間を撮
影して、カメラの位置を含むパラメータを考慮して実空
間に対応する獲得画像を得た上で、当該実空間に対応す
る画像と、例えば予め獲得している空間データとのずれ
を抽出して空間データを補正する。
空間の画像と、例えば予め獲得している空間データとの
ずれを校正・補正することを目的としている。 【解決手段】 全方位カメラを移動させつつ実空間を撮
影して、カメラの位置を含むパラメータを考慮して実空
間に対応する獲得画像を得た上で、当該実空間に対応す
る画像と、例えば予め獲得している空間データとのずれ
を抽出して空間データを補正する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像入力装置等に
より取得した時系列画像データから、実空間での例えば
建物の形状または構造を獲得するに当たって、獲得した
空間データと実空間とを正しく対応づけ得るようにした
空間データ処理方法および空間データ処理装置および空
間データ処理方法を記述したプログラムを記録した記録
媒体に関する。
より取得した時系列画像データから、実空間での例えば
建物の形状または構造を獲得するに当たって、獲得した
空間データと実空間とを正しく対応づけ得るようにした
空間データ処理方法および空間データ処理装置および空
間データ処理方法を記述したプログラムを記録した記録
媒体に関する。
【０００２】
【従来の技術】従来、固定の画角を有するカメラを使用
した場合、空撮映像の場合には、十分な高度を考慮すれ
ば、対象の物体を一度に、１つの画像として撮影可能だ
が、車載撮影などのカメラアングルでは、所望する撮影
対象物がフレーム上でフレームイン並びにフレームアウ
トされることが生じるなど、全体の概観を撮影すること
が困難であった。
した場合、空撮映像の場合には、十分な高度を考慮すれ
ば、対象の物体を一度に、１つの画像として撮影可能だ
が、車載撮影などのカメラアングルでは、所望する撮影
対象物がフレーム上でフレームイン並びにフレームアウ
トされることが生じるなど、全体の概観を撮影すること
が困難であった。
【０００３】また全方位または全周囲カメラが開発され
景観全体を一度に取得することが可能となり、２．５次
元的な空間としての仮想空間獲得というアプリケーショ
ンに多く利用されている。
景観全体を一度に取得することが可能となり、２．５次
元的な空間としての仮想空間獲得というアプリケーショ
ンに多く利用されている。
【０００４】また、従来から、空間データを画像上に投
影し、最適化アルゴリズムにより内部パラメータ、外部
パラメータを調整し、空間データから、カメラ視点の位
置座標、カメラ姿勢情報等を校正、補正するようにし
て、保有している空間データと実空間とのすり合わせを
行うことが行われている。
影し、最適化アルゴリズムにより内部パラメータ、外部
パラメータを調整し、空間データから、カメラ視点の位
置座標、カメラ姿勢情報等を校正、補正するようにし
て、保有している空間データと実空間とのすり合わせを
行うことが行われている。
【０００５】
【発明が解決しようとする課題】本発明では、種々の空
間データと実際の景観中の空間形状との差異を、全方位
映像の中から位相差という指標で検出し、全方位映像と
空間データとが整合するように、その空間データを構成
する３次元座標値を補正、校正し、より精度を向上させ
ることを主な目的としている。
間データと実際の景観中の空間形状との差異を、全方位
映像の中から位相差という指標で検出し、全方位映像と
空間データとが整合するように、その空間データを構成
する３次元座標値を補正、校正し、より精度を向上させ
ることを主な目的としている。
【０００６】
【課題を解決するための手段】本発明は、景観全体を投
影するという特徴のある全方位カメラを使用して、カメ
ラ自体の位置情報（外部パラメータ）、並びに、全方位
カメラ特有の内部パラメータと、全方位カメラの光学的
投影性とを考慮し、種々の空間データを全方位画像上に
投影したときの位相とそれに対応する映像中の対象点と
の位相差を検出し、時系列画像に合わせて、その位相差
を低減させることで、その空間データを校正、補正し、
より精度の高い空間データを構築することを特徴とす
る。
影するという特徴のある全方位カメラを使用して、カメ
ラ自体の位置情報（外部パラメータ）、並びに、全方位
カメラ特有の内部パラメータと、全方位カメラの光学的
投影性とを考慮し、種々の空間データを全方位画像上に
投影したときの位相とそれに対応する映像中の対象点と
の位相差を検出し、時系列画像に合わせて、その位相差
を低減させることで、その空間データを校正、補正し、
より精度の高い空間データを構築することを特徴とす
る。
【０００７】本発明の方法を利用することにより、全方
位カメラを搭載し、移動しながら、都市空間、景観の中
を撮影することにより、保有した空間データを実空間上
とすり合せて、より現実世界に近い空間データを獲得、
更新、構築することが可能となる。
位カメラを搭載し、移動しながら、都市空間、景観の中
を撮影することにより、保有した空間データを実空間上
とすり合せて、より現実世界に近い空間データを獲得、
更新、構築することが可能となる。
【０００８】
【発明の実施の形態】（実施例１）特許請求第１項に関
する実施例について説明する。以下では、説明上、空間
中の構造または形状を直方体と仮定し、全方位カメラ
は、魚眼レンズを搭載したカメラとし、このカメラを車
両にマウントして移動しながら、全方位映像を取得する
ものとする。尚、空間中の物体の形状は、任意の形状で
あっても、この発明は成立する。
する実施例について説明する。以下では、説明上、空間
中の構造または形状を直方体と仮定し、全方位カメラ
は、魚眼レンズを搭載したカメラとし、このカメラを車
両にマウントして移動しながら、全方位映像を取得する
ものとする。尚、空間中の物体の形状は、任意の形状で
あっても、この発明は成立する。
【０００９】図１は、本発明の装置構成図である。本装
置は、魚眼レンズ部１、光学調整部からなる光学系２、
この光学系２から撮像されて得られる画像生成部３、位
置情報をセンシングする位置情報取得部６、保有した空
間データを全方位映像上に投影したり、各位置での投影
点の軌跡を予測する軌跡予測部１１、さらに、全方位画
像中の対象物体の対象点の検出と空間データとの位相差
を検出する位相差検出部７、これらの位相差を低減させ
て空間データを校正・補正するデータ補正処理部８、並
びに、補正した空間データについて更新された空間デー
タとして保有する補正データ更新処理部９から構成され
ている。なお図示の４は同期信号発生器、５は対象点探
索部、１０は空間データ保有部、１２は投影処理部を表
している。
置は、魚眼レンズ部１、光学調整部からなる光学系２、
この光学系２から撮像されて得られる画像生成部３、位
置情報をセンシングする位置情報取得部６、保有した空
間データを全方位映像上に投影したり、各位置での投影
点の軌跡を予測する軌跡予測部１１、さらに、全方位画
像中の対象物体の対象点の検出と空間データとの位相差
を検出する位相差検出部７、これらの位相差を低減させ
て空間データを校正・補正するデータ補正処理部８、並
びに、補正した空間データについて更新された空間デー
タとして保有する補正データ更新処理部９から構成され
ている。なお図示の４は同期信号発生器、５は対象点探
索部、１０は空間データ保有部、１２は投影処理部を表
している。
【００１０】本発明を説明する準備として、図２に示す
座標系を設定する。なお図２は説明のために設定した座
標系を示す図である。
座標系を設定する。なお図２は説明のために設定した座
標系を示す図である。
【００１１】図２においては３次元座標において、対象
物体（実空間の）に対して保有されている空間データが
獲得時の計測誤差などによって多少位置ずれした状態で
獲得されている。なお、本発明においては、この両者を
すり合わせて、この位置ずれを補正するようにしてい
る。
物体（実空間の）に対して保有されている空間データが
獲得時の計測誤差などによって多少位置ずれした状態で
獲得されている。なお、本発明においては、この両者を
すり合わせて、この位置ずれを補正するようにしてい
る。
【００１２】図２においては、今、全方位カメラが位置
Ａ（Ｘa ，Ｙa ，Ｚa ）に存在していて図示の進行軸の
方向に移動しつつあるものとしている。進行軸の方向は
Ｘ軸に対して角度φF の方向である。そして、全方位カ
メラの視野に対して、図示の座標系（ｉ，ｊ）が定義さ
れている。また、全方位カメラが半球状の表面をもつ魚
眼レンズをもっているものとして、（ｉ）空間データを
代表する点Ｐ（Ｘp ，Ｙp ，Ｚp ）を観測した際の視線
と魚眼レンズの半球状の表面との交点を座標系（ｉ，
ｊ）平面に投影した位置を（Ｉap，Ｊap）とし、(ii)対
象物体を代表する点Ｑ（Ｘq ，Ｙq ，Ｚq ）を観測した
際の視線と魚眼レンズの半球状の表面との交点を座標系
（ｉ，ｊ）平面に投影した位置を（Ｉaq，Ｊaq）とし、
(iii) 点Ｐを観測した視線の方向が図示の進行軸に対し
て角度φAPであり、(iv)点Ｑを観測した視線の方向が図
示の進行軸に対して角度φAQであるとしている。
Ａ（Ｘa ，Ｙa ，Ｚa ）に存在していて図示の進行軸の
方向に移動しつつあるものとしている。進行軸の方向は
Ｘ軸に対して角度φF の方向である。そして、全方位カ
メラの視野に対して、図示の座標系（ｉ，ｊ）が定義さ
れている。また、全方位カメラが半球状の表面をもつ魚
眼レンズをもっているものとして、（ｉ）空間データを
代表する点Ｐ（Ｘp ，Ｙp ，Ｚp ）を観測した際の視線
と魚眼レンズの半球状の表面との交点を座標系（ｉ，
ｊ）平面に投影した位置を（Ｉap，Ｊap）とし、(ii)対
象物体を代表する点Ｑ（Ｘq ，Ｙq ，Ｚq ）を観測した
際の視線と魚眼レンズの半球状の表面との交点を座標系
（ｉ，ｊ）平面に投影した位置を（Ｉaq，Ｊaq）とし、
(iii) 点Ｐを観測した視線の方向が図示の進行軸に対し
て角度φAPであり、(iv)点Ｑを観測した視線の方向が図
示の進行軸に対して角度φAQであるとしている。
【００１３】なお座標系（ｉ，ｊ）平面への投影に当た
っては、投影式 （ｉ2 ＋ｊ2 ）1/2 ＝ｆ・θ ─────（１） （但し、ｆは焦点距離；θは上記の視線と光軸とのなす
角度）を用いる。
っては、投影式 （ｉ2 ＋ｊ2 ）1/2 ＝ｆ・θ ─────（１） （但し、ｆは焦点距離；θは上記の視線と光軸とのなす
角度）を用いる。
【００１４】即ち、位置Ａでの全方位カメラの位置情報
（全方位画像のカメラ視点の３次元座標値または空間中
の点が集光する点）をＡ（Ｘa ，Ｙa ，Ｚa ）とする。
このとき、点Ｐをもつものが保有する空間データであ
り、その内の点をＰ（Ｘp ，Ｙ p ，Ｚp ）とする。ま
た、実際の都市景観中の空間座標が点Ｑをもつものと
し、その内の点をＱ（Ｘq ，Ｙq ，Ｚq ）とする。ま
た、このＰ点やＱ点が全方位画像上に投影される２次元
座標値（投影点）を、それぞれ（Ｉap，Ｊap）、
（Ｉaq，Ｊaq）とし、進行軸と投影点から画像中心まで
引いた直線との為す角を、それぞれφAP、φAQとする。
また、進行軸と世界座標系（図２では、Ｘ軸）と為す角
をφF としている。
（全方位画像のカメラ視点の３次元座標値または空間中
の点が集光する点）をＡ（Ｘa ，Ｙa ，Ｚa ）とする。
このとき、点Ｐをもつものが保有する空間データであ
り、その内の点をＰ（Ｘp ，Ｙ p ，Ｚp ）とする。ま
た、実際の都市景観中の空間座標が点Ｑをもつものと
し、その内の点をＱ（Ｘq ，Ｙq ，Ｚq ）とする。ま
た、このＰ点やＱ点が全方位画像上に投影される２次元
座標値（投影点）を、それぞれ（Ｉap，Ｊap）、
（Ｉaq，Ｊaq）とし、進行軸と投影点から画像中心まで
引いた直線との為す角を、それぞれφAP、φAQとする。
また、進行軸と世界座標系（図２では、Ｘ軸）と為す角
をφF としている。
【００１５】本発明では、Ｐ点とＱ点とのＸＹ座標値の
不一致を全方位画像上の位相差から自動検出し、Ｐ点と
Ｑ点とが一致するようにＰ点のＸＹ座標値を補正して、
Ｑ点になるようにするための処理フローを説明する（空
間データの高さ情報については位置ずれがなく正しいも
のとする、すなわち、Ｚp ＝Ｚq とする）。
不一致を全方位画像上の位相差から自動検出し、Ｐ点と
Ｑ点とが一致するようにＰ点のＸＹ座標値を補正して、
Ｑ点になるようにするための処理フローを説明する（空
間データの高さ情報については位置ずれがなく正しいも
のとする、すなわち、Ｚp ＝Ｚq とする）。
【００１６】まず全方位カメラの位置情報が与えられた
場合または取得された場合、所有しまたは蓄積している
空間データの中から、ある範囲（例えば、位置Ａでの３
次元座標Ａ（Ｘa ，Ｙa ，Ｚa ）を中心とした半径Ｒ
内）に存在する全空間データをデータロードする。この
中で、より対象を絞り込むため、全方位画像中におい
て、進行軸からみて半円の領域を対象とするようにす
る。図２では、左側の半円の領域を対象としている。
場合または取得された場合、所有しまたは蓄積している
空間データの中から、ある範囲（例えば、位置Ａでの３
次元座標Ａ（Ｘa ，Ｙa ，Ｚa ）を中心とした半径Ｒ
内）に存在する全空間データをデータロードする。この
中で、より対象を絞り込むため、全方位画像中におい
て、進行軸からみて半円の領域を対象とするようにす
る。図２では、左側の半円の領域を対象としている。
【００１７】絞り込まれた範囲での空間データＰ点は、
全方位カメラの内部パラメータや外部パラメータ等のカ
メラパラメータによって、全方位画像へ投影され、２次
元座標値（Ｉap，Ｊap）、並びに、進行軸と２次元座標
値（Ｉap，Ｊap）から画像中心まで引いた直線との為す
角φAPを計測する。（Ｉap，Ｊap）は、以下の式にて算
出される。 Ｉap＝［ｆ｛π／２−tan ((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 ＋（Ｙp −Ｙa ） 2 ）1/2 ）｝cos φAP］／Ｍ＋Ｉ （２） Ｊap＝［ｆ｛π／２−tan ((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 ＋（Ｙp −Ｙa ） 2 ）1/2 ）｝sin φAP］／Ｍ＋Ｊ （３） φAP＝ tan-1((Ｙp −Ｙa ）／（Ｘp −Ｘa ))−φF （４） 但し、Ｍ［ｍ］：１画素に対応する空間中の物理的長さ （Ｉ，Ｊ）：画像中心の座標値 ｆ［ｍ］：焦点距離 また、Ｐ点は、任意の時刻ｔｉでの位置情報が与えられ
るとまたはそれを取得すると、そのときの全方位映像中
への投影が以下の式（５）に従って一意に決定し、それ
は、ある曲線として予測することができる。これは、全
方位画像中の極座標表示（Ｌx ，φx ）とした場合、画
像中心までの長さＬx と、画像中心から投影点までの直
線と進行軸と為す位相φx を予測する。 Ｌx （φx ）＝ｆ tan-1(tan｛π／２− tan((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 ＋（Ｙp −Ｙa ）2 ）1/2 ）｝sin φAP） （５） 一方、空間データの対象となる実際の対象物体は、Ｑ点
として投影される。この全方位座標値は、Ｐ点の近傍の
領域に対して、φx ＝φAPのとき、投影点は、（Ｉap，
Ｊap）となることを利用し、位置座標が与えられたと
き、点（Ｉap，Ｊ ap）を通過する対象点の軌跡を、式
（６），（７），（８）に従って計算する（この軌跡群
を、Ｒ−ｈ曲線と称する）。
全方位カメラの内部パラメータや外部パラメータ等のカ
メラパラメータによって、全方位画像へ投影され、２次
元座標値（Ｉap，Ｊap）、並びに、進行軸と２次元座標
値（Ｉap，Ｊap）から画像中心まで引いた直線との為す
角φAPを計測する。（Ｉap，Ｊap）は、以下の式にて算
出される。 Ｉap＝［ｆ｛π／２−tan ((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 ＋（Ｙp −Ｙa ） 2 ）1/2 ）｝cos φAP］／Ｍ＋Ｉ （２） Ｊap＝［ｆ｛π／２−tan ((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 ＋（Ｙp −Ｙa ） 2 ）1/2 ）｝sin φAP］／Ｍ＋Ｊ （３） φAP＝ tan-1((Ｙp −Ｙa ）／（Ｘp −Ｘa ))−φF （４） 但し、Ｍ［ｍ］：１画素に対応する空間中の物理的長さ （Ｉ，Ｊ）：画像中心の座標値 ｆ［ｍ］：焦点距離 また、Ｐ点は、任意の時刻ｔｉでの位置情報が与えられ
るとまたはそれを取得すると、そのときの全方位映像中
への投影が以下の式（５）に従って一意に決定し、それ
は、ある曲線として予測することができる。これは、全
方位画像中の極座標表示（Ｌx ，φx ）とした場合、画
像中心までの長さＬx と、画像中心から投影点までの直
線と進行軸と為す位相φx を予測する。 Ｌx （φx ）＝ｆ tan-1(tan｛π／２− tan((Ｚp −Ｚa ）／((Ｘp −Ｘa ）2 ＋（Ｙp −Ｙa ）2 ）1/2 ）｝sin φAP） （５） 一方、空間データの対象となる実際の対象物体は、Ｑ点
として投影される。この全方位座標値は、Ｐ点の近傍の
領域に対して、φx ＝φAPのとき、投影点は、（Ｉap，
Ｊap）となることを利用し、位置座標が与えられたと
き、点（Ｉap，Ｊ ap）を通過する対象点の軌跡を、式
（６），（７），（８）に従って計算する（この軌跡群
を、Ｒ−ｈ曲線と称する）。
【００１８】 Ｌ＝（（Ｉ−Ｉap)2＋（Ｊ−Ｊap)2）1/2 （６） φA ＝ tan-1（（Ｉ−Ｉap)2／（Ｊ−Ｊap)2） （７） Ｌx （φx ）＝ｆ× tan-1((tan （Ｌ／ｆ）sin φA ）／sin φx ） ０＜φx ＜π （８） 位置座標が与えられたとき、（Ｌx ，φx ）の変数を、
このＲ−ｈ曲線（式（８）のＬx （φx ））から全方位
軌跡予測による探索範囲の絞り込みを行い、画像中心か
ら伸ばした直線上にエッジ検出等の画像処理を行い、２
次元座標値（Ｉaq，Ｊaq）を、高速、かつ、正確に検出
する。同時に、進行方向と、画像中心から２次元座標値
（Ｉaq，Ｊaq）までの直線との為す角（位相）φAQを取
得する。
このＲ−ｈ曲線（式（８）のＬx （φx ））から全方位
軌跡予測による探索範囲の絞り込みを行い、画像中心か
ら伸ばした直線上にエッジ検出等の画像処理を行い、２
次元座標値（Ｉaq，Ｊaq）を、高速、かつ、正確に検出
する。同時に、進行方向と、画像中心から２次元座標値
（Ｉaq，Ｊaq）までの直線との為す角（位相）φAQを取
得する。
【００１９】この位相獲得処理において、空間データと
対象物体との位置が異なれば（図４では、Ｐ点とＱ点が
異なっているものとしている）、時系列において、位相
差 φAP−φAQ が検出できる。この位相差は、一様ではなく、全方位カ
メラの位置情報により変化する。
対象物体との位置が異なれば（図４では、Ｐ点とＱ点が
異なっているものとしている）、時系列において、位相
差 φAP−φAQ が検出できる。この位相差は、一様ではなく、全方位カ
メラの位置情報により変化する。
【００２０】各位置情報に従った位相差φpq(i) を以下
の式に従って検出する。 Φq(i)＝π／２− tan-1（Ｉｘ／Ｊｘ） （９） Φp(i)＝ tan-1((Ｙp −Ｙp(i)）／（Ｘp −Ｘp(i) )) −φFi （10） φFi＝ tan-1((Ｙp (i) −Ｙp (I-1) ))／（Ｘp(i)−Ｘp(I-1) )) （11） Φpq(i) ＝｜Φp(i)− Φq(i)｜ （12） Ｑ点の全方位座標値、並びに位相、並びに位相差φ
pq(i) は、カメラの位置情報が変化するに従い、逐次獲
得する。
の式に従って検出する。 Φq(i)＝π／２− tan-1（Ｉｘ／Ｊｘ） （９） Φp(i)＝ tan-1((Ｙp −Ｙp(i)）／（Ｘp −Ｘp(i) )) −φFi （10） φFi＝ tan-1((Ｙp (i) −Ｙp (I-1) ))／（Ｘp(i)−Ｘp(I-1) )) （11） Φpq(i) ＝｜Φp(i)− Φq(i)｜ （12） Ｑ点の全方位座標値、並びに位相、並びに位相差φ
pq(i) は、カメラの位置情報が変化するに従い、逐次獲
得する。
【００２１】図４はカメラの各位置での空間データと対
象物体との位相差を示す図である。全方位カメラが進行
軸に沿って位置Ａから位置Ｓをへて位置Ｔへと移動する
につれ、点Ｐと点Ｑとは、順に （Ｉp(1)，Ｊp(1)），（Ｉq(1)，Ｊq(1)） （Ｉp(i)，Ｊp(i)），（Ｉq(i)，Ｊq(i)） （Ｉp(j)，Ｊp(j)），（Ｉq(j)，Ｊq(j)） のように観測される。
象物体との位相差を示す図である。全方位カメラが進行
軸に沿って位置Ａから位置Ｓをへて位置Ｔへと移動する
につれ、点Ｐと点Ｑとは、順に （Ｉp(1)，Ｊp(1)），（Ｉq(1)，Ｊq(1)） （Ｉp(i)，Ｊp(i)），（Ｉq(i)，Ｊq(i)） （Ｉp(j)，Ｊp(j)），（Ｉq(j)，Ｊq(j)） のように観測される。
【００２２】空間データの補正に当たっては、図１に示
すデータ補正処理部８において、Ｐ点のＸＹ座標値を変
化させて、上記Ａ，Ｓ，Ｔでの時系列における全位相差
φpq (i) を全体的で最小にするような差分（ｄＸ，ｄ
Ｙ）を求める。すなわち、Ｐ点に対して（Ｘp ＋ｄＸ，
Ｙp ＋ｄＹ，Ｚp ）≒（Ｘq ，Ｙq ，Ｚq ）となるよう
な差分（ｄＸ，ｄＹ）を求める。
すデータ補正処理部８において、Ｐ点のＸＹ座標値を変
化させて、上記Ａ，Ｓ，Ｔでの時系列における全位相差
φpq (i) を全体的で最小にするような差分（ｄＸ，ｄ
Ｙ）を求める。すなわち、Ｐ点に対して（Ｘp ＋ｄＸ，
Ｙp ＋ｄＹ，Ｚp ）≒（Ｘq ，Ｙq ，Ｚq ）となるよう
な差分（ｄＸ，ｄＹ）を求める。
【００２３】図３は実施例の処理フローである。 （Ｓ１）：処理が開始される。 （Ｓ２）：カメラの移動に対応して最初に時刻ｔを設定
し以後ｄｔを加算してゆく。 （Ｓ３）：カメラの位置情報を取得する。 （Ｓ４）：空間データのデータベースをアクセスする。 （Ｓ５）：カメラの位置から所定の（設定した）半径Ｒ
内に存在する空間データを抽出する。 （Ｓ６）：カメラの位置からの全方位投影を得る。 （Ｓ７）：処理の対象としている半円範囲内に投影され
ているか否かを調べる。ＹＥＳの場合ステップ（Ｓ８）
に向かうが、ＮＯの場合には次の全方位投影を得る処理
に向かう。 （Ｓ８）：Ｐ点の座標（Ｉap，Ｊap）を計測する。 （Ｓ９）：Ｐ点に対応するφp （ｔ）を計測する。 （Ｓ１０）：次にＱ点を探索すべく位相φx を微小変化
させる。 （Ｓ１１）：Ｑ点を探索すべくＰ点の軌跡（Ｒ−ｈ曲
線）を予測する。 （Ｓ１２）：軌跡を考慮して対象であるＱ点を探索す
る。 （Ｓ１３）：対象点を検出したか否かをチェックする。
ＮＯの場合にはステップ（Ｓ１０）に戻り、位相φx を
ｄφだけ変化させ、ステップ（Ｓ１２）に向かう。 （Ｓ１４）：実空間の対象物体に対応するＱ点の位相φ
Q （ｔ）を計測する。
し以後ｄｔを加算してゆく。 （Ｓ３）：カメラの位置情報を取得する。 （Ｓ４）：空間データのデータベースをアクセスする。 （Ｓ５）：カメラの位置から所定の（設定した）半径Ｒ
内に存在する空間データを抽出する。 （Ｓ６）：カメラの位置からの全方位投影を得る。 （Ｓ７）：処理の対象としている半円範囲内に投影され
ているか否かを調べる。ＹＥＳの場合ステップ（Ｓ８）
に向かうが、ＮＯの場合には次の全方位投影を得る処理
に向かう。 （Ｓ８）：Ｐ点の座標（Ｉap，Ｊap）を計測する。 （Ｓ９）：Ｐ点に対応するφp （ｔ）を計測する。 （Ｓ１０）：次にＱ点を探索すべく位相φx を微小変化
させる。 （Ｓ１１）：Ｑ点を探索すべくＰ点の軌跡（Ｒ−ｈ曲
線）を予測する。 （Ｓ１２）：軌跡を考慮して対象であるＱ点を探索す
る。 （Ｓ１３）：対象点を検出したか否かをチェックする。
ＮＯの場合にはステップ（Ｓ１０）に戻り、位相φx を
ｄφだけ変化させ、ステップ（Ｓ１２）に向かう。 （Ｓ１４）：実空間の対象物体に対応するＱ点の位相φ
Q （ｔ）を計測する。
【００２４】この状態において、あるカメラ位置（例え
ば図４における位置Ａ）の下で得られた φQ （ｔ）− φP （ｔ） が求まる。以下、カメラの移動に対応するようにステッ
プ（Ｓ２）における時刻を（ｔ＋ｄｔ）として、ステッ
プ（Ｓ３）にて新しく（移動した──例えば図４におい
て位置Ａから位置Ｓに移動した）カメラ位置の下で、上
記と同様にステップ（Ｓ６)(Ｓ７)(Ｓ８)(Ｓ９)(Ｓ１
０)(Ｓ１１)(Ｓ１２)(Ｓ１３)(Ｓ１４）を行ない、上記
新しいカメラ位置の下で得られた φQ （ｔ＋ｄｔ）− φP （ｔ＋ｄｔ） を得る。勿論、以下同様にして、図４における位置Ｔの
カメラ位置でも φQ （ｔ＋２ｄｔ）− φP （ｔ＋２ｄｔ） を得る。
ば図４における位置Ａ）の下で得られた φQ （ｔ）− φP （ｔ） が求まる。以下、カメラの移動に対応するようにステッ
プ（Ｓ２）における時刻を（ｔ＋ｄｔ）として、ステッ
プ（Ｓ３）にて新しく（移動した──例えば図４におい
て位置Ａから位置Ｓに移動した）カメラ位置の下で、上
記と同様にステップ（Ｓ６)(Ｓ７)(Ｓ８)(Ｓ９)(Ｓ１
０)(Ｓ１１)(Ｓ１２)(Ｓ１３)(Ｓ１４）を行ない、上記
新しいカメラ位置の下で得られた φQ （ｔ＋ｄｔ）− φP （ｔ＋ｄｔ） を得る。勿論、以下同様にして、図４における位置Ｔの
カメラ位置でも φQ （ｔ＋２ｄｔ）− φP （ｔ＋２ｄｔ） を得る。
【００２５】このようにして、空間データに対応する位
置ＰがＰ（Ｘp ，Ｙp ，Ｚp ）にある場合において、カ
メラが図４におけるように位置Ａから位置Ｓをへて位置
Ｔに進んだ際に得られる所の位相差 φQ （ｔ）− φP （ｔ） φQ （ｔ＋ｄｔ）− φP （ｔ＋ｄｔ） φQ （ｔ＋２ｄｔ）− φP （ｔ＋２ｄｔ） … が求まり、これらの例えば２乗平均をとることによっ
て、『位置ＰがＰ（Ｘp ，Ｙp ，Ｚp ）存在するとした
状態の下での２乗平均位相差』が得られる。次に位置Ｐ
をＰ（Ｘp ＋ｄｘ，Ｙp ＋ｄｙ，Ｚp ）に移動させてみ
て（なお上述の如く、Ｚp ＝Ｚq としている）、同様の
２乗平均位相差を得るようにしてゆく。即ち、 （Ｓ１５）：位置ＰをＰ（Ｘp ＋ｄｘ，Ｙp ＋ｄｙ，Ｚ
p ）に移動する。そして上述の『２乗平均位相差』を得
る。 （Ｓ１６）：得られた２乗平均位相差を、それ以前に得
られている『最小値をもつ２乗平均位相差』と比較す
る。 （Ｓ１７）：位置Ｐを上述の如く移動させて行った際
に、最も小さい値の『２乗平均位相差』を求める。 （Ｓ１８）：当該『最も小さい値の２乗平均位相差』を
得たときの位置Ｐに対する補正量（ｄｘ，ｄｙ）を獲得
する。そして、空間データベース上で位置Ｐの座標を変
更する。 （Ｓ１９）：上述の如くして得られた補正を加味した獲
得結果を出力する。
置ＰがＰ（Ｘp ，Ｙp ，Ｚp ）にある場合において、カ
メラが図４におけるように位置Ａから位置Ｓをへて位置
Ｔに進んだ際に得られる所の位相差 φQ （ｔ）− φP （ｔ） φQ （ｔ＋ｄｔ）− φP （ｔ＋ｄｔ） φQ （ｔ＋２ｄｔ）− φP （ｔ＋２ｄｔ） … が求まり、これらの例えば２乗平均をとることによっ
て、『位置ＰがＰ（Ｘp ，Ｙp ，Ｚp ）存在するとした
状態の下での２乗平均位相差』が得られる。次に位置Ｐ
をＰ（Ｘp ＋ｄｘ，Ｙp ＋ｄｙ，Ｚp ）に移動させてみ
て（なお上述の如く、Ｚp ＝Ｚq としている）、同様の
２乗平均位相差を得るようにしてゆく。即ち、 （Ｓ１５）：位置ＰをＰ（Ｘp ＋ｄｘ，Ｙp ＋ｄｙ，Ｚ
p ）に移動する。そして上述の『２乗平均位相差』を得
る。 （Ｓ１６）：得られた２乗平均位相差を、それ以前に得
られている『最小値をもつ２乗平均位相差』と比較す
る。 （Ｓ１７）：位置Ｐを上述の如く移動させて行った際
に、最も小さい値の『２乗平均位相差』を求める。 （Ｓ１８）：当該『最も小さい値の２乗平均位相差』を
得たときの位置Ｐに対する補正量（ｄｘ，ｄｙ）を獲得
する。そして、空間データベース上で位置Ｐの座標を変
更する。 （Ｓ１９）：上述の如くして得られた補正を加味した獲
得結果を出力する。
【００２６】なお、上記において、実空間上での景観と
それから獲得されている空間データとの間のずれを補正
するための方法と装置とを説明したが、当該方法はプロ
グラムの形で記述した上で記録媒体に記録しておくこと
ができる。したがって、本発明は当該記録媒体をも発明
の対象とするものである。
それから獲得されている空間データとの間のずれを補正
するための方法と装置とを説明したが、当該方法はプロ
グラムの形で記述した上で記録媒体に記録しておくこと
ができる。したがって、本発明は当該記録媒体をも発明
の対象とするものである。
【００２７】
【発明の効果】以上説明した如く、本発明によれば、空
間データが実際の対象物体の位置座標と異なる場合に
も、自動補正を行い、空間データ更新することができ
る。また、Ｐ点、Ｑ点以外の複数の座標値に対して適用
し、空間データの座標値を補正することができる。
間データが実際の対象物体の位置座標と異なる場合に
も、自動補正を行い、空間データ更新することができ
る。また、Ｐ点、Ｑ点以外の複数の座標値に対して適用
し、空間データの座標値を補正することができる。
【００２８】このように、データ補正を行うことで、実
際の対象物体（又はその形状）が変化した場合でも、デ
ータ更新を行うことができ、また空間データに誤りがあ
る場合には、データ修正することができる。
際の対象物体（又はその形状）が変化した場合でも、デ
ータ更新を行うことができ、また空間データに誤りがあ
る場合には、データ修正することができる。
【図１】実施例の装置構成図である。
【図２】実施例を説明のために設定した座標系を示す図
である。
である。
【図３】実施例の処理フローである。
【図４】カメラの各位置での空間データと対象物体との
位相差を示す図である。
位相差を示す図である。
１：魚眼レンズ部（全方位カメラ） ２：光学調整部（光学系） ３：画像生成部 ４：同期信号発生部 ５：対象点探索部 ６：位置情報取得部 ７：位相差検出部 ８：データ補正処理部 ９：補正データ更新処理部 １０：空間データ保有部 １１：軌跡予測部 １２：投影処理部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 石川 裕治 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 長井 茂 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 有川 知彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B057 BA15 DA07 DB03 DC08 DC09 5C064 BB03 BC25 BD08
Claims (3)
- 【請求項１】全方角を一度に撮像して全方位画像を得る
画像入力装置を用いて、実空間を撮影して取得した時系
列映像から、実空間に対応する空間モデルを表現するま
たはモデル化する空間データを獲得する空間データ処理
方法において、 種々の空間データを蓄積しかつ画像入力装置の視点位置
を表現する外部パラメータと、画像入力装置固有の内部
パラメータとを使って、上記保有する空間データを、全
方位画像上に投影し、空間データ中の座標値についての
全方位画像中での軌跡を予測し、 対象物体に対する全方位画像上の空間データ中の座標値
と対応する対象物体上の対象点を撮影した画像入力装置
における位置情報について、上記予測した軌跡を利用し
て探索し、それぞれの視点位置での空間データと対象物
体との間の位相差を検出し、 当該位相差が極小または最小になるように、空間データ
の座標位置情報を調整することにより、保有している空
間データの品質を更新するようにしたことを特徴とする
空間データ処理方法。 - 【請求項２】全方角を一度に撮像して全方位画像を得る
画像入力装置を用いて、実空間を撮影して取得した時系
列映像から、実空間に対応する空間モデルを表現するま
たはモデル化する空間データを獲得する空間データ処理
装置において、 種々の空間データを蓄積しかつ画像入力装置の視点位置
を表現する外部パラメータと、画像入力装置固有の内部
パラメータとを使って、上記保有する空間データを、全
方位画像上に投影し、空間データ中の座標値についての
全方位画像中での軌跡を予測する手段と、 対象物体に対する全方位画像上の空間データ中の座標値
と対応する対象物体上の対象点を撮影した画像入力装置
における位置情報について、上記予測した軌跡を利用し
て探索し、それぞれの視点位置での空間データと対象物
体との間の位相差を検出する手段と、 当該位相差が極小または最小になるように、空間データ
の座標位置情報を調整することにより、保有している空
間データの品質を更新する手段とを有することを特徴と
する空間データ処理装置。 - 【請求項３】全方角を一度に撮像して全方位画像を得る
画像入力装置を用いて、実空間を撮影して取得した時系
列映像から、実空間に対応する空間モデルを表現するま
たはモデル化する空間データを獲得する空間データ処理
方法について、当該処理方法を記述したプログラムを記
録した記録媒体において、 当該処理方法が種々の空間データを蓄積しかつ画像入力
装置の視点位置を表現する外部パラメータと、画像入力
装置固有の内部パラメータとを使って、上記保有する空
間データを、全方位画像上に投影し、空間データ中の座
標値についての全方位画像中での軌跡を予測し、 対象物体に対する全方位画像上の空間データ中の座標値
と対応する対象物体上の対象点を撮影した画像入力装置
における位置情報について、上記予測した軌跡を利用し
て探索し、それぞれの視点位置での空間データと対象物
体との間の位相差を検出し、 当該位相差が極小または最小になるように、空間データ
の座標位置情報を調整することにより、保有している空
間データの品質を更新するものであることを特徴とする
空間データ処理方法を記述したプログラムを記録した記
録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000380071A JP3735248B2 (ja) | 2000-12-14 | 2000-12-14 | 空間データ処理方法および空間データ処理装置および空間データ処理方法を記述したプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000380071A JP3735248B2 (ja) | 2000-12-14 | 2000-12-14 | 空間データ処理方法および空間データ処理装置および空間データ処理方法を記述したプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002183716A true JP2002183716A (ja) | 2002-06-28 |
| JP3735248B2 JP3735248B2 (ja) | 2006-01-18 |
Family
ID=18848325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000380071A Expired - Fee Related JP3735248B2 (ja) | 2000-12-14 | 2000-12-14 | 空間データ処理方法および空間データ処理装置および空間データ処理方法を記述したプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3735248B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110023142A (zh) * | 2017-03-27 | 2019-07-16 | Zf 腓德烈斯哈芬股份公司 | 具有折腰转向机构的车辆 |
-
2000
- 2000-12-14 JP JP2000380071A patent/JP3735248B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110023142A (zh) * | 2017-03-27 | 2019-07-16 | Zf 腓德烈斯哈芬股份公司 | 具有折腰转向机构的车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3735248B2 (ja) | 2006-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4307934B2 (ja) | 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法 | |
| CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
| KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| CN110351494B (zh) | 一种全景视频合成方法、装置及电子设备 | |
| JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
| CN110519528B (zh) | 一种全景视频合成方法、装置及电子设备 | |
| JP2003502925A (ja) | 一台の携帯カメラによる３ｄ情景の撮影法 | |
| WO2008152740A1 (ja) | デジタル空撮３次元計測システム | |
| JPH11118425A (ja) | キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法 | |
| JP2007323615A (ja) | 画像処理装置及びその処理方法 | |
| JP2007024647A (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
| JP2004037396A (ja) | 三次元データ取得装置 | |
| CN110779491A (zh) | 一种水平面上目标测距的方法、装置、设备及存储介质 | |
| CN110345882A (zh) | 一种基于几何约束的自适应结构光三维测量系统及方法 | |
| KR20130121290A (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| JP2003050107A (ja) | カメラ校正装置 | |
| CN108195472A (zh) | 一种基于轨道移动机器人的热传导全景成像方法 | |
| CN106447735A (zh) | 一种全景相机几何标定处理方法 | |
| CN111445537A (zh) | 一种摄像机的标定方法及系统 | |
| CN108801225B (zh) | 一种无人机倾斜影像定位方法、系统、介质及设备 | |
| JP2006234703A (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
| JP5363878B2 (ja) | ステレオ画像撮影装置及びその方法 | |
| JP4809134B2 (ja) | 画像処理装置及びその処理方法 | |
| JP2007323616A (ja) | 画像処理装置及びその処理方法 | |
| TWI726536B (zh) | 影像擷取方法及影像擷取設備 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050809 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051021 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101028 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111028 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121028 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131028 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |