JP2004151043A

JP2004151043A - 姿勢・位置計測装置、姿勢・位置計測方法、この方法のプログラムおよびこのプログラムを記録した記録媒体

Info

Publication number: JP2004151043A
Application number: JP2002319232A
Authority: JP
Inventors: Isao Miyagawa; 勲宮川; Shiro Ozawa; 史朗小澤; Yoshiori Wakabayashi; 佳織若林; Tomohiko Arikawa; 知彦有川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-11-01
Filing date: 2002-11-01
Publication date: 2004-05-27

Abstract

【課題】撮影環境に応じた時々刻々に運動する移動物体の微小な運動にも、運動物体またはカメラ視点の方位と位置と姿勢を正確に又は高精度に計測する。
【解決手段】車両などの移動手段に、測位センサをある幾何パターンに従って配置する。測位値計測部１は各測位センサから入力される測位値データを計測する。姿勢計測部４は測位値データから移動手段に関する姿勢を算出する。位置計測部５は測位値データから移動手段に関する位置を算出する。また、基準方位設定部２は真北などの基準となる方位方向を設定する。方位計測部３は測位値データと基準方位設定部から得られた基準方位との相対的な方位を算出する。
基準方位設定部は、ある基準方向、または、ある基準平面とする基準面を設定し、基準面からの方位、姿勢、位置情報を求めることも含む。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、指定した方位（例えば、真北の方向）と指定した方向からの物体（計測対象物）の姿勢を計測、または基準とする平面に対する物体の姿勢を計測し、さらに、指定した物体の位置を計測する計測・測量技術に関する。
【０００２】
特に、本発明は、魚眼レンズ、双曲線ミラー、並びに、六角錐ミラーを利用した全方位カメラにおける視点（光学中心）の指定した面からの傾き、方位、並びに、視点の位置を計測・測量する技術において、好適に利用できるものである。
【０００３】
【従来の技術】
物体の方位と姿勢を計測する手段として、ジャイロセンサが代表的であり、車両やヘリコプターなどに搭載されている。これらのジャイロセンサは、時々刻々と変化する方位または姿勢を計測可能であるが、車両並びにヘリコプターなどの移動手段は撮影環境に応じて微小に変動する場合がある。
【０００４】
例えば、道路は常に理想的な平面ではなく、上り下り坂や微小に傾きが変化する坂があり、アスファルトのメンテナンスの頻度が多くなると路面は左右で微小に傾いていることがある。また、ヘリコプターは突風の影響を受ける可能性もあり、常にシームレスな計測が確保されているわけではなく、突風やビル風により変動する撮影・計測環境において、時々刻々変化する方位や姿勢を検出する必要がある。
【０００５】
一方、コンピュータビジョンやロボットビジョンにおいて、カメラの姿勢は重要なカメラパラメータとして利用される。このためカメラ姿勢を正確に検出、推定する手法として、エピポーラ解析や因子分解法やモーションステレオによる動画像解析手法がある。また、外界の景観情報の全周囲景観を撮像する画像入力装置として全方位カメラが存在するが、全方位カメラの視点（光学的中心）に関する位置、方位、姿勢などのカメラパラメータ推定は全方位カメラを利用した空間測量や画像計測において重要なパラメータとなる。屋外計測において、Ｄ−ＧＰＳ（ＤｉｆｆｅｒｅｎｔｉａｌＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）測位値などの高精度な位置情報で検出することが可能だが、物理的に、測位値を計測する位置とカメラの視点位置は異なっているため、測位値から視点位置を求めることは容易ではなかった。
【０００６】
なお、カメラとセンサのキャリブレーション、またはセンサ統合にともなうキャリブレーションに関する技術が開示されている（例えば、非特許文献１参照）。しかし、この技術は、全方位カメラには適用できない。
【０００７】
また、航空写真画像において、空間中の基準点（ＳｐａｔｉａｌＣｏｎｔｒｏｌＰｏｉｎｔ：ＳＰＣ）を利用することにより、カメラ視点の位置及び姿勢を推定する技術が開示されている（例えば、非特許文献２参照）。しかし、この技術では、時々刻々と変化するカメラ視点の位置及び姿勢を検出することはできない。
【０００８】
【非特許文献１】
趙卉菁、柴崎亮介、「車載型レーザ・ＣＣＤ画像による３次元都市空間モデルの構築」、第７回画像センシングシンポジウム講演論文集、画像センシング技術研究会、２００１年６月、ｐ．６５−７０
【０００９】
【非特許文献２】
石川裕治、宮川勲、有川知彦、「ＳＣＰを用いた航空写真画像のパラメータ推定」、２００１年総合大会講演論文集−情報・システム２、電子情報通信学会、２００１年３月、Ｄ−１２−１５２，ｐ．３１９
【００１０】
【発明が解決しようとする課題】
車両やヘリコプターなどの移動手段にカメラやセンサなどの計器類を搭載した屋外での移動撮影・計測は、市街地景観に関する空間データ収集の迅速性、空間情報に対する情報更新性に優れている。
【００１１】
しかし、車両やヘリコプターは移動中において、撮影環境の影響を受けて微小な運動をする。このときの微小な運動をジャイロセンサなどのセンサを利用しても正確な運動として検出することは難しい。
【００１２】
本発明の目的は、撮影環境に応じた時々刻々と変化する微小な運動にも、その方位と位置と姿勢を正確に又は高精度に計測できる姿勢・位置の計測装置、計測方法、この方法のプログラム、このプログラムを記録した記録媒体を提供することにある。
【００１３】
次に、カメラなどの撮影機器を車両やヘリコプターなどの移動手段に搭載して、屋外などの環境で撮影するとき、カメラの視点、すなわち、光学的中心の位置と姿勢は、ジャイロセンサなどを利用した手段だけでは計測することは困難であった。
【００１４】
本発明の他の目的は、センサ装置から計測した測位値データから、カメラ視点の方位と位置と姿勢を正確にまたは高精度に計測できる姿勢・位置の計測装置、計測方法、この方法のプログラム、このプログラムを記録した記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】
本発明は、高精度に計測可能な複数の測位センサを、ある幾何パターンに従って計測対象（図９では車両）の物体に配置し、同時に、この幾何パターンから構成する重心位置にカメラなどの撮影機器を配置し、この複数の測位センサから得た測位値データから運動する物体（図９では車両）の位置情報と姿勢情報を求め、または、物体に取り付けたカメラ視点に関する位置と姿勢を計測する。
【００１６】
例えば、図９に示すように、測位センサを車両の天井部分に設置して利用することにより、高精度な位置、並びに、姿勢を計測する。また、測位センサと全方位カメラなどの撮像装置を組み合わせることにより、車両と一体となって運動するカメラの視点位置、視点の姿勢を計測する。
【００１７】
本発明により計測した位置情報と姿勢情報は、コンピュータビジョンにおけるカメラパラメータとして利用することができ、外界の物体の空間位置を高精度に計測する（空間計測、空間測量、車両を使った移動式測量）ことを可能とするもので、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１８】
（装置の発明）
（１）車両やヘリコプターなどの移動手段に、緯度経度値、標高値などの地理的位置を測位することが可能な複数の測位センサをある幾何パターンに従って配置し、前記移動手段の姿勢と位置を計測する姿勢・位置計測装置であって、
前記各測位センサから入力される測位値データを計測する測位値計測部と、
前記測位値計測部から得られた測位値データから前記移動手段に関する姿勢を算出する姿勢計測部と、
前記測位値計測部から得られた測位値データから前記移動手段に関する位置を算出する位置計測部と、
を備えたことを特徴とする姿勢・位置計測装置。
【００１９】
（２）上記の（１）において、
真北などの基準となる方位方向を設定する基準方位設定部と、
前記測位値計測部から得られた測位値データと前記基準方位設定部から得られた基準となる方位との相対的な方位を算出する方位計測部と、
を備えたことを特徴とする姿勢・位置計測装置。
【００２０】
（３）上記の（１）または上記の（２）において、
前記基準方位設定部は、ある基準方向、または、ある基準平面とする基準面を設定し、
前記方位計測部は、前記基準方向あるいは基準面からの前記移動手段に関する方位情報を求め、
前記姿勢計測部は、前記基準方向あるいは基準面に対する前記移動手段に関する姿勢情報を求め、
前記位置計測部は、前記基準方向あるいは基準面に対する前記移動手段に関する位置情報を求めることを特徴とする姿勢・位置計測装置。
【００２１】
（４）車両やヘリコプターなどの移動手段に、全方位カメラを搭載し、さらに緯度経度値、標高値などの地理的位置を測位することが可能な複数の測位センサをある幾何パターンに従って配置し、全方位カメラの姿勢と位置を計測する姿勢・位置計測装置であって、
前記全方位カメラが撮像するタイミングと、前記各測位センサから取得する測位値データを同期させるための視点同期部と、
前記視点同期部のタイミングで、前記各測位センサから入力される測位値データを計測する測位値計測部と、
前記測位値計測部と同期して前記全方位カメラが撮像した映像中のサンプル点の画像座標値を計測する画像座標値計測部と、
前記画像座標値計測部で計測した画像座標値から、全方位カメラの水平となる基準面を設定する基準水平設定部と、
前記測位値計測部から得られた測位値データと前記基準水平設定部から得られた基準面に対する前記全方位カメラ視点に関する姿勢を算出する視点姿勢計測部と、
前記測位値計測部から得られた測位値データから前記全方位カメラ視点に関する位置を算出する位置計測部と、
を備えたことを特徴とする姿勢・位置計測装置。
【００２２】
（５）上記の（４）において、
前記画像座標値計測部で計測した画像座標値から、基準となる方位方向を設定する基準方位設定部と、
前記測位値計測部から得られた測位値データと前記基準方位設定部から得られた基準とする方位とから、前記全方位カメラ視点の相対的な方位を算出する視点方位計測部と、
を備えたことを特徴とする姿勢・位置計測装置。
【００２３】
（６）上記の（４）または上記の（５）において、
前記基準方位設定部は、ある基準方向、または、ある基準平面とする基準面を設定し、
前記視点方位計測部は、前記基準方向あるいは基準面からの前記全方位カメラ視点に関する方位情報を求め、
前記視点姿勢計測部は、前記基準方向あるいは基準面に対する前記全方位カメラ視点に関する姿勢情報を求め、
前記視点位置計測部は、前記基準方向あるいは基準面に対する前記全方位カメラ視点に関する位置情報を求めることを特徴とする姿勢・位置計測装置。
【００２４】
（方法の発明）
（７）車両やヘリコプターなどの移動手段に、緯度経度値、標高値などの地理的位置を測位することが可能な複数の測位センサをある幾何パターンに従って配置し、前記移動手段の姿勢と位置を計測する姿勢・位置計測方法であって、
前記各測位センサから入力される測位値データを計測する測位値計測過程と、前記測位値計測過程から得られた測位値データから前記移動手段に関する姿勢を算出する姿勢計測過程と、
前記測位値計測過程から得られた測位値データから前記移動手段に関する位置を算出する位置計測過程と、
を備えたことを特徴とする姿勢・位置計測方法。
【００２５】
（８）上記の（７）において、
真北などの基準となる方位方向を設定する基準方位設定過程と、
前記測位値計測過程から得られた測位値データと前記基準方位設定過程から得られた基準となる方位との相対的な方位を算出する方位計測過程と、
を備えたことを特徴とする姿勢・位置計測方法。
【００２６】
（９）上記の（７）または上記の（８）において、
前記基準方位設定過程は、ある基準方向、または、ある基準平面とする基準面を設定し、
前記方位計測過程は、前記基準方向あるいは基準面からの前記移動手段に関する方位情報を求め、
前記姿勢計測過程は、前記基準方向あるいは基準面に対する前記移動手段に関する姿勢情報を求め、
前記位置計測過程は、前記基準方向あるいは基準面に対する前記移動手段に関する位置情報を求めることを特徴とする姿勢・位置計測方法。
【００２７】
（１０）車両やヘリコプターなどの移動手段に、全方位カメラを搭載し、さらに緯度経度値、標高値などの地理的位置を測位することが可能な複数の測位センサをある幾何パターンに従って配置し、全方位カメラの姿勢と位置を計測する姿勢・位置計測方法であって、
前記全方位カメラが撮像するタイミングと、前記各測位センサから取得する測位値データを同期させるための視点同期過程と、
前記視点同期過程のタイミングで、前記各測位センサから入力される測位値データを計測する測位値計測過程と、
前記測位値計測過程と同期して前記全方位カメラが撮像した映像中のサンプル点の画像座標値を計測する画像座標値計測過程と、
前記画像座標値計測過程で計測した画像座標値から、全方位カメラの水平となる基準面を設定する基準水平設定過程と、
前記測位値計測過程から得られた測位値データと前記基準水平設定過程得られた基準面に対する前記全方位カメラ視点に関する姿勢を算出する視点姿勢計測過程と、
前記測位値計測過程から得られた測位値データから前記全方位カメラ視点に関する位置を算出する位置計測過程と、
を備えたことを特徴とする姿勢・位置計測方法。
【００２８】
（１１）上記の（１０）において、
前記画像座標値計測過程で計測した画像座標値から、基準となる方位方向を設定する基準方位設定過程と、
前記測位値計測過程から得られた測位値データと前記基準方位設定過程から得られた基準とする方位とから、前記全方位カメラ視点の相対的な方位を算出する視点方位計測過程と、
を備えたことを特徴とする姿勢・位置計測方法。
【００２９】
（１２）上記の（１０）または上記の（１１）において、
前記基準方位設定過程は、ある基準方向、または、ある基準平面とする基準面を設定し、
前記視点方位計測過程は、前記基準方向あるいは基準面からの前記全方位カメラ視点に関する方位情報を求め、
前記視点姿勢計測過程は、前記基準方向あるいは基準面に対する前記全方位カメラ視点に関する姿勢情報を求め、
前記視点位置計測過程は、前記基準方向あるいは基準面に対する前記全方位カメラ視点に関する位置情報を求めることを特徴とする姿勢・位置計測方法。
【００３０】
（プログラムの発明）
（１３）上記の（７）〜（１２）のいずれか１項の姿勢・位置計測方法を、コンピュータで実行可能に構成したことを特徴とする姿勢・位置計測方法のプログラム。
【００３１】
（記録媒体の発明）
（１４）上記の（７）〜（１２）のいずれか１項の姿勢・位置計測方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【００３２】
【発明の実施の形態】
（実施形態１）
図１は請求項１、請求項２、並びに、請求項３等に対応する本実施形態の基本構成図である。同図は、測位センサから入力される測位値データを計測する測位値計測部１、真北などの基準となる方位方向を設定する基準方位設定部２、測位値計測部１から得られた測位値データと基準方位設定部２から得られた基準となる方位との相対的な方位を算出する方位計測部３、測位値計測部１から得られた測位値データから姿勢を算出する姿勢計測部４、測位値計測部１から得られた測位値データから位置を算出する位置計測部５で構成される。
【００３３】
姿勢情報記録部６は方位と姿勢計測部３、４から出力される計測データを記録する。また、位置情報記録部７は位置計測部５から出力される計測データを記録する。なお、記録せずに、テキスト形式、バイナリ形式でデータを直接出力してもよく、姿勢情報記録部６、並びに、位置情報を記録部７は、本発明の基本構成とするものではない。
【００３４】
測位値計測部１の入力手段としては、複数の測位値計測装置（測位センサ）を必要とする。この測位値計測装置として、Ｄ−ＧＰＳセンサ装置を利用する場合を説明するが、他の測位値計測装置（例えば、ＲＴＫ−ＧＰＳ）を利用することも可能である。
【００３５】
このとき、図３に示すような幾何的パターンに従って、測位値計測装置を配置する。図３（ａ）は正三角形の各頂点（白丸の部分）にＤ−ＧＰＳセンサを設置する場合を、図３（ｂ）は正方形の各頂点（白丸の部分）にＤ−ＧＰＳセンサを設置する場合を、図３（ｃ）は正五角形の各頂点（白丸の部分）にＤ−ＧＰＳセンサを設置する場合を、図３（ｄ）は正六角形の各頂点（白丸の部分）にＤ−ＧＰＳセンサを設置する場合である。これら以外に、正Ｎ角形の各頂点や円周上の位置に配置する場合もある。
【００３６】
これらの測位値計測装置を幾何パターンに配置したとき、各々のＤ−ＧＰＳセンサは同一面に設置されているものとする。また、各パターンにおける黒丸位置は各幾何パターンの形状の重心位置を表している。この実施形態では、黒丸の位置（重心位置）を求めることを位置の計測としている。以降では、図３（ａ）の場合について説明する。
【００３７】
まず、基準となる方位を設定する。真北方向を基準位置としてもよいし、あるいは、図４に示すような初期状態における座標系に従って、Ｘ軸またはＹ軸を基準方位とする。この場合は、Ｙ軸を基準位置とする。本発明での方位とは、この初期状態で設定した方向からの相対的な方位である。図４では、Ｘ_１−Ｙ_１の座標系からＸ_ｉ−Ｙ_ｉの座標系への変化を示している。方位はＸ_１−Ｙ_１の座標系からの回転角θ_ｉに対応する。
【００３８】
一方、本発明での姿勢とは、Ｙ軸の方向に物体が進行するとき、方位回転以外の他の回転、すなわち、Ｒｏｌｌ回転（図４ではＹ軸周りの回転）とＰｉｔｃｈ回転（図４ではＸ軸周りの回転）である。このときの姿勢は、海抜面を基準面としてもよいし、方位設定と同様に、初期状態での姿勢からの相対的な姿勢としてもよい。本実施形態では、海抜面からの傾きを姿勢とする。
【００３９】
次に、物体の方位と姿勢が時々刻々変化するとき（時系列を表すサフィックスとしてｉを使用）、３個のＤ−ＧＰＳセンサから、それぞれＰ_ｉ１＝（Ｘ_ｉ１，Ｙ_ｉ１，Ｚ_ｉ１）、Ｐ_ｉ２＝（Ｘ_ｉ２，Ｙ_ｉ２，Ｚ_ｉ２）、Ｐ_ｉ３＝（Ｘ_ｉ３，Ｙ_ｉ３，Ｚ_ｉ３）の測位値データを計測する。ただし、ｉはセンサを表すサフィックスである。
【００４０】
これらの測位値データから、下記の式（１）に従って、位置情報Ｐ_ｉ（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）を求める。さらに、式（２）に従って値α_ｉ、β_ｉ、γ_ｉを求め、式（３）から式（５）により値χ_ｉ、ω_ｉ、θ_ｉを求める。ここで、θ_ｉは初期状態での方位である。値χ_ｉはＰｉｔｃｈ回転の回転角であり、値ω_ｉはＲｏｌｌ回転の回転角である。このようにして得られた方位・姿勢情報、並びに位置情報は、各記録部において逐次記録される。
【００４１】
【数１】

【００４２】
【数２】

【００４３】
【数３】

【００４４】
【数４】

【００４５】
【数５】

【００４６】
（実施形態２）
図２は、請求項４、請求項５、請求項６等に対応する本実施形態の構成図である。本実施形態は、実施形態１において、カメラなどの撮像装置を組み合わせて、カメラ視点に関する方位、姿勢、位置を計測する。カメラの例として、等距離射影で設計された魚眼レンズを利用した全方位カメラ撮像装置の場合を説明するが、その他の射影で設計された魚眼レンズを利用した全方位カメラ、双曲線ミラーや六角錐ミラーなどのミラー投影型で設計した全方位カメラ、さらに、通常のカメラ（ＮＴＳＣビデオカメラ、ＨＤカメラ、ディジタルスチルカメラ）であっても構わない。
【００４７】
図２は、全方位カメラが撮像するタイミングで測位値データを取得するための視点同期部１１、カメラキャリブレーション時のサンプル点の座標を設定するサンプル点座標設定部１２、サンプル点の画像座標値を得るための画像座標値計測部１３、視点同期部１１のタイミングで映像を取得する映像取得部１４、視点同期部１１からのタイミングに応じて測位値を計測する測位値計測部１５、真北などの基準となる方位方向を設定する基準方位設定部１６、測位値計測部１５から得られた測位値データと基準方位設定部１６から得られた基準とする方位とからの相対的な方位を算出するカメラ視点方位計測部１７、測位値計測部１５から得られた測位値データからカメラ視点姿勢を算出する視点姿勢計測部１８、全方位カメラの水平となる基準面を設定する基準水平設定部１９、測位値計測部１５から得られた測位値データから視点位置を算出する視点位置計測部２０から構成される。
【００４８】
視点姿勢情報記録部２１は計測部１７、１８からの計測データを記録する。また、視点位置情報記録部２２は計測部２０からの計測データを記録する。なお、記録せずに、テキスト形式、バイナリ形式でデータを直接出力してもよく、視点姿勢情報記録部２１、並びに、指定位置情報記録部２２は、本発明の基本構成とするものでない。また、視点同期部１１は映像・情報との対応付けを行うためだけのものであり、同期した瞬間のみに測位値データを取得するというものではない。すなわち、映像取得した時間を記憶しておき、その時間のときの方位、姿勢、位置を記録することもできる。
【００４９】
まず、全方位カメラ視点は図４での黒丸位置の重心位置になるように位置合わせを行う。垂直位置合わせはＤ−ＧＰＳセンサが張る平面の高さに合わせておき、水平の位置合わせは、サンプル点座標設定部１２、画像座標値計測部１３、基準水平面設定部１９、並びに、視点方位設定部１６においてカメラキャリブレーションする。図５は、その処理フローである。
【００５０】
サンプル点座標設定Ｓ１では、図６に示す格子状に配置したサンプル点を全方位カメラの周囲に設置する。この設置は、カメラキャリブレーション時に一度行うもので、通常の撮影・計測時にはサンプル点の設置を外しておく。各サンプル点はＸＹＺ方向にそれぞれＲ／４（正三角形の外接円の直径をＲとした場合）の距離だけ離れている。図６には、全方位カメラの周囲に８０点配置してある。これらのサンプル点の各座標値をＰ_ｊ＝（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）；ｊ＝１，２，…，８０とする。また、初期値として、全方位カメラの位置をＴ＝（Ｘ_ｄ，Ｙ_ｄ，Ｚ_ｄ）、回転行列として、χ_ｃ＝０，ω_ｃ＝０，θ_ｃ＝０とする。
【００５１】
次に、単位球面座標値計算Ｓ２では、下記の式（６）〜（９）を使って、全サンプル点に対して、（ｊ＝１，２，…，８０）、単位球面座標値（Ｕ_ｊ，Ｖ_ｊ，Ｗ_ｊ）を得る。但し、式（６）の右辺分母における「｜｜｜｜」は、ベクトルのノルムまたは大きさを意味している。さらに、内部パラメータ設定Ｓ３では、内部パラメータとして、焦点距離ｆ、比例定数Ｄ、射影中心（Ｃ_ｘ，Ｃ_ｙ）を与え、射影座標値計算Ｓ４では式（１０）、式（１１）または式（１２）により、射影座標値（ｘ_ｊ，ｙ_ｊ）；ｊ＝１，２，…，８０を算出する。
【００５２】
【数６】

【００５３】
【数７】

【００５４】
【数８】

【００５５】
【数９】

【００５６】
【数１０】

【００５７】
【数１１】

【００５８】
【数１２】

【００５９】
一方、映像取得Ｓ５では、全方位カメラで撮影したサンプル点の映像を取得し、画像座標値計測Ｓ６では映像取得Ｓ５で取得した全方位画像からサンプル点の画像座標値（ｘ_ｊ’，ｙ_ｊ’）を得る。ここで、全方位カメラをＤ−ＧＰＳセンサが形成する平面上に設置したとき、その平面と平行に設置されているかを射影座標値と画像座標値との誤差により検出することができるため、誤差計測Ｓ７では下記の式（１３）に従って、誤差δを求める。
【００６０】
【数１３】

【００６１】
誤差判定Ｓ８では、誤差δが許容値ε以下にあるか否かを判定する。この判定で、誤差δが許容値εよりも大きいとき、カメラ位置変更Ｓ９では、カメラ位置変更を行う。このカメラ位置変更で撮影した映像を元に、再び映像取得と画像座標値計測と誤差計測および誤差判定という繰り返しを行い、最終的に誤差δが許容値ε以下を得る。
【００６２】
なお、この誤差δを最小にする方法としては、ニューラルネット、遺伝的アルゴリズム、または、Ｐｏｗｅｌｌ法などの多次元方向集合の最適化法（下記の文献１を参照）により、図７に示す全方位カメラ位置Ｔ、並びに、図７の各軸周りの回転角χ_ｃ，ω_ｃ，θ_ｃを求め、この最適化処理により得られた並進移動量Ｔ分だけ、カメラを平行移動させ、さらに、各軸周りに回転角χ_ｃ，ω_ｃ，θ_ｃ分だけ回転させることができる。
【００６３】
文献１「ＷｉｌｌｉａｍＨ．Ｐｒｅｓｓ，ＳａｕｌＡ．Ｔｅｕｋｏｌｓｋｙ，ＷｉｌｌｉａｍＴ．Ｖｅｔｔｅｒｌｉｎｇ，ＢｒｉａｎＰ．Ｆｌａｎｎｅｒｙ “ＮｕｍｅｒｉｃａｌＲｅｃｉｐｅｓｉｎＣ，”ｐ．２９９−３０６、
（日本語版）丹慶勝市、奥村晴彦、佐藤俊郎、小林誠（訳）、技術評論社、−１０．５多次元の方向集合（Ｐｏｗｅｌｌ）法−，Ｃ言語による数値計算のレシピ」
以上のような手法により、全方位カメラの視点を正三角形の重心位置に精密に合わせることができ、正三角形の面に対して正確に平行に全方位カメラを設置する。
【００６４】
以上が、サンプル点座標設定部１２、画像座標値計測部１３、基準方位設定部１６、並びに、基準水平設定部１９による位置合わせの処理内容である。
【００６５】
以降、実施形態１と同様に、時々刻々と位置と方位と姿勢が変化する中で、３個のＤ−ＧＰＳセンサから、それぞれＰ_ｉ１＝（Ｘ_ｉ１，Ｙ_ｉ１，Ｚ_ｉ１，）、Ｐ_ｉ２＝（Ｘ_ｉ２，Ｙ_ｉ２，Ｚ_ｉ２）、Ｐ_ｉ３＝（Ｘ_ｉ３，Ｙ_ｉ３，Ｚ_ｉ３）の測位値データを計測し、式（１）に従って、位置情報Ｐ（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）を求める。さらに、式（２）に従って値α_ｉ、β_ｉ、γ_ｉを求め、式（３）から式（５）により値χ_ｉ、ω_ｉ、θ_ｉを求める。ここで、θ_１は初期状態での方位である。値χ_ｉはＲｏｌｌ回転の回転角であり、値ω_ｉはＰｉｔｃｈ回転の回転角である。このようにして得られた方位、姿勢情報、並びに、位置情報は、情報記録部２１、２２において逐次記録される。
【００６６】
図８は、全方位カメラの視点に関する方位、姿勢、位置情報を算出する処理フローであり、図２に示す装置に対応する。
【００６７】
図５の処理フローでカメラ位置と姿勢を調整したとき、基準となる方位、または、姿勢を初期状態において算出しておき、以降の状態では、この方位、または姿勢からの相対的な方位、または姿勢を求める。このときの処理フローを図８に示す。
【００６８】
まず、初期状態かどうかの判定を行い（Ｓ１１）、初期状態の場合は、現状態での測位置を計測し（Ｓ１２）、式（２）を使って基準面の法線ベクトル（α_１，β_１，γ_１）を得る。次いで、各軸まわりの回転角ω_１，χ_１，θ_１を式（３）〜式（５）を使って求める（Ｓ１３）。このときの回転角ω_１，χ_１，θ_１を基準面とする面の姿勢情報として記憶しておく（Ｓ１４）。
【００６９】
次に、初期状態以外の場合、同様に測位値計測を行い、式（２）により各状態の法線ベクトル（α_１，β_１，γ_１）を求め（Ｓ１５）、これから視点位置を算出する（Ｓ１６）。
【００７０】
さらに式（３）〜式（５）による各軸まわりの回転角ω_１，χ_１，θ_１を得（Ｓ１７）、さらに、記憶しておいた基準面に関する姿勢情報から、χ_ｉ−χ_１，ω_ｉ−ω_１，θ_ｉ−θ_１になる初期状態からの相対的な回転角を求め、これをカメラ視点の方位、姿勢情報として算出し（Ｓ１８）、さらに式（１）によりカメラ視点の位置情報を得て各記録部にて視点に関する姿勢情報と位置情報を記録する（Ｓ１９）。
【００７１】
図９は、本発明を車両に搭載した場合の応用形態になる装置構成図であり、図２の各部と同等のものは同一符号で示している。車両を使った屋外撮影におけるカメラ姿勢の推定は重要な課題であり、屋外撮影特有のカメラ振動は避けられない。
【００７２】
図１０は、車両天井、または、荷台に全方位カメラとＤ−ＧＰＳアンテナを設置した場合のレイアウトを示している。使用するＤ−ＧＰＳの個数を４個としており、全方位カメラの個数を２個としている。全方位カメラを２個取り付けて、屋外景観を撮影する実用例では、全方位ステレオ視などの計測技術に応用することができるため、アームなどにより４個のＤ−ＧＰＳセンサ装置を長方形に取り付ける。
【００７３】
例えば、マイクロバスなどは天井が長方形のように広いので、その平面性を本発明の姿勢・位置計測装置に利用することができる。また、全方位カメラ３１はＤ−ＧＰＳセンサ装置３３とＧＰＳセンサ装置３４を結ぶ直線上、かつ二等分する位置に取付け、全方位カメラ３２はＤ−ＧＰＳセンサ装置３５とＤ−ＧＰＳセンサ装置３６を結ぶ直線上、かつ、二等分する位置に取り付ける。
【００７４】
この取り付けは、実施形態２で説明したカメラキャリブレーションのときに、重心位置ではなく、この二等分位置になるように調整することで実現できる。この設置状態で、カメラ姿勢と方位は、４個のＤ−ＧＰＳセンサ装置３３〜３６から出力される位置情報から、下記の式（１４）により値α_ｉ、β_ｉ、γ_ｉを求め、式（３）から式（５）により値χ_ｉ、ω_ｉ、θ_ｉを求める。ここで、θ_ｉは初期状態での方位である。値χ_ｉはＰｉｔｃｈ回転の回転角であり、値ω_ｉはＲｏｌｌ回転の回転角である。また、２つのカメラ視点位置情報は、全方位カメラ３１の位置Ｃ_１＝（Ｘ^（ｃ１） _ｉ，Ｙ^（ｃ１） _ｉ，Ｚ^（ｃ１） _ｉ）は式（１５）から、全方位カメラ３２の位置Ｃ_２＝（Ｘ^（ｃ２） _ｉ，Ｙ^（ｃ２） _ｉ，Ｚ^（ｃ２） _ｉ）は式（１６）からそれぞれ取得する。
【００７５】
【数１４】

【００７６】
【数１５】

【００７７】
【数１６】

【００７８】
なお、以上までの実施形態における装置または方法は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００７９】
【発明の効果】
本発明によれば、屋外撮影時の微小な振動に対しても、移動物体の位置、方位、姿勢を高精度に計測でき、カメラや測量装置を取り付けた車両を使ったモービルマッピングでは、車両を剛体としたときの運動、並びに、全方位カメラ視点に関する姿勢、方位、位置を正確に又は高精度に求めることができ、屋外景観の測量、計測などにも利用することができる。
【図面の簡単な説明】
【図１】本発明の実施形態１を示す構成図。
【図２】本発明の実施形態２を示す構成図。
【図３】Ｄ−ＧＰＳセンサの幾何的パターンに基づく配置例。
【図４】初期状態での基準方位の設定を説明する図。
【図５】実施形態２における全方位カメラ視点のキャリブレーション処理フロー。
【図６】サンプル点設定を示す図。
【図７】カメラ位置変更を示す図。
【図８】実施形態２における全方位カメラ視点に関する方位、姿勢、位置情報の取得処理フロー。
【図９】本発明の装置を車両へ搭載した場合の応用形態。
【図１０】本発明の装置を車両へ搭載した場合の配置例。
【符号の説明】
１…測位値計測部
２…基準方位設定部
３…方位計測部
４…姿勢計測部
５…位置計測部
６…姿勢情報記録部
７…位置情報記録部
１１…視点同期部
１２…サンプル点座標設定部
１３…画像座標値計測部
１４…映像取得部
１５…測位値計測部
１６…基準方位設定部
１７…視点方位計測部
１８…視点姿勢計測部
１９…基準水平設定部
２０…視点位置計測部
２１…視点姿勢情報記録部
２２…姿勢位置情報記録部

Claims

車両やヘリコプターなどの移動手段に、緯度経度値、標高値などの地理的位置を測位することが可能な複数の測位センサをある幾何パターンに従って配置し、前記移動手段の姿勢と位置を計測する姿勢・位置計測装置であって、
前記各測位センサから入力される測位値データを計測する測位値計測部と、
前記測位値計測部から得られた測位値データから前記移動手段に関する姿勢を算出する姿勢計測部と、
前記測位値計測部から得られた測位値データから前記移動手段に関する位置を算出する位置計測部と、
を備えたことを特徴とする姿勢・位置計測装置。
請求項１において、
真北などの基準となる方位方向を設定する基準方位設定部と、
前記測位値計測部から得られた測位値データと前記基準方位設定部から得られた基準となる方位との相対的な方位を算出する方位計測部と、
を備えたことを特徴とする姿勢・位置計測装置。
請求項１または請求項２において、
前記基準方位設定部は、ある基準方向、または、ある基準平面とする基準面を設定し、
前記方位計測部は、前記基準方向あるいは基準面からの前記移動手段に関する方位情報を求め、
前記姿勢計測部は、前記基準方向あるいは基準面に対する前記移動手段に関する姿勢情報を求め、
前記位置計測部は、前記基準方向あるいは基準面に対する前記移動手段に関する位置情報を求めることを特徴とする姿勢・位置計測装置。
車両やヘリコプターなどの移動手段に、全方位カメラを搭載し、さらに緯度経度値、標高値などの地理的位置を測位することが可能な複数の測位センサをある幾何パターンに従って配置し、全方位カメラの姿勢と位置を計測する姿勢・位置計測装置であって、
前記全方位カメラが撮像するタイミングと、前記各測位センサから取得する測位値データを同期させるための視点同期部と、
前記視点同期部のタイミングで、前記各測位センサから入力される測位値データを計測する測位値計測部と、
前記測位値計測部と同期して前記全方位カメラが撮像した映像中のサンプル点の画像座標値を計測する画像座標値計測部と、
前記画像座標値計測部で計測した画像座標値から、全方位カメラの水平となる基準面を設定する基準水平設定部と、
前記測位値計測部から得られた測位値データと前記基準水平設定部から得られた基準面に対する前記全方位カメラ視点に関する姿勢を算出する視点姿勢計測部と、
前記測位値計測部から得られた測位値データから前記全方位カメラ視点に関する位置を算出する位置計測部と、
を備えたことを特徴とする姿勢・位置計測装置。
請求項４において、
前記画像座標値計測部で計測した画像座標値から、基準となる方位方向を設定する基準方位設定部と、
前記測位値計測部から得られた測位値データと前記基準方位設定部から得られた基準とする方位とから、前記全方位カメラ視点の相対的な方位を算出する視点方位計測部と、
を備えたことを特徴とする姿勢・位置計測装置。
請求項４または請求項５において、
前記基準方位設定部は、ある基準方向、または、ある基準平面とする基準面を設定し、
前記視点方位計測部は、前記基準方向あるいは基準面からの前記全方位カメラ視点に関する方位情報を求め、
前記視点姿勢計測部は、前記基準方向あるいは基準面に対する前記全方位カメラ視点に関する姿勢情報を求め、
前記視点位置計測部は、前記基準方向あるいは基準面に対する前記全方位カメラ視点に関する位置情報を求めることを特徴とする姿勢・位置計測装置。
車両やヘリコプターなどの移動手段に、緯度経度値、標高値などの地理的位置を測位することが可能な複数の測位センサをある幾何パターンに従って配置し、前記移動手段の姿勢と位置を計測する姿勢・位置計測方法であって、
前記各測位センサから入力される測位値データを計測する測位値計測過程と、
前記測位値計測過程から得られた測位値データから前記移動手段に関する姿勢を算出する姿勢計測過程と、
前記測位値計測過程から得られた測位値データから前記移動手段に関する位置を算出する位置計測過程と、
を備えたことを特徴とする姿勢・位置計測方法。
請求項７において、
真北などの基準となる方位方向を設定する基準方位設定過程と、
前記測位値計測過程から得られた測位値データと前記基準方位設定過程から得られた基準となる方位との相対的な方位を算出する方位計測過程と、
を備えたことを特徴とする姿勢・位置計測方法。
請求項７または請求項８において、
前記基準方位設定過程は、ある基準方向、または、ある基準平面とする基準面を設定し、
前記方位計測過程は、前記基準方向あるいは基準面からの前記移動手段に関する方位情報を求め、
前記姿勢計測過程は、前記基準方向あるいは基準面に対する前記移動手段に関する姿勢情報を求め、
前記位置計測過程は、前記基準方向あるいは基準面に対する前記移動手段に関する位置情報を求めることを特徴とする姿勢・位置計測方法。
車両やヘリコプターなどの移動手段に、全方位カメラを搭載し、さらに緯度経度値、標高値などの地理的位置を測位することが可能な複数の測位センサをある幾何パターンに従って配置し、全方位カメラの姿勢と位置を計測する姿勢・位置計測方法であって、
前記全方位カメラが撮像するタイミングと、前記各測位センサから取得する測位値データを同期させるための視点同期過程と、
前記視点同期過程のタイミングで、前記各測位センサから入力される測位値データを計測する測位値計測過程と、
前記測位値計測過程と同期して前記全方位カメラが撮像した映像中のサンプル点の画像座標値を計測する画像座標値計測過程と、
前記画像座標値計測過程で計測した画像座標値から、全方位カメラの水平となる基準面を設定する基準水平設定過程と、
前記測位値計測過程から得られた測位値データと前記基準水平設定過程から得られた基準面に対する前記全方位カメラ視点に関する姿勢を算出する視点姿勢計測過程と、
前記測位値計測過程から得られた測位値データから前記全方位カメラ視点に関する位置を算出する位置計測過程と、
を備えたことを特徴とする姿勢・位置計測方法。
請求項１０において、
前記画像座標値計測過程で計測した画像座標値から、基準となる方位方向を設定する基準方位設定過程と、
前記測位値計測過程から得られた測位値データと前記基準方位設定過程から得られた基準とする方位とから、前記全方位カメラ視点の相対的な方位を算出する視点方位計測過程と、
を備えたことを特徴とする姿勢・位置計測方法。
請求項１０または請求項１１において、
前記基準方位設定過程は、ある基準方向、または、ある基準平面とする基準面を設定し、
前記視点方位計測過程は、前記基準方向あるいは基準面からの前記全方位カメラ視点に関する方位情報を求め、
前記視点姿勢計測過程は、前記基準方向あるいは基準面に対する前記全方位カメラ視点に関する姿勢情報を求め、
前記視点位置計測過程は、前記基準方向あるいは基準面に対する前記全方位カメラ視点に関する位置情報を求めることを特徴とする姿勢・位置計測方法。
請求項７〜１２のいずれか１項の姿勢・位置計測方法を、コンピュータで実行可能に構成したことを特徴とする姿勢・位置計測方法のプログラム。
請求項７〜１２のいずれか１項の姿勢・位置計測方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。