JP2004348198A - 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体 - Google Patents
座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004348198A JP2004348198A JP2003141388A JP2003141388A JP2004348198A JP 2004348198 A JP2004348198 A JP 2004348198A JP 2003141388 A JP2003141388 A JP 2003141388A JP 2003141388 A JP2003141388 A JP 2003141388A JP 2004348198 A JP2004348198 A JP 2004348198A
- Authority
- JP
- Japan
- Prior art keywords
- information
- center
- gravity
- dimensional
- azimuth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】対象物の外観を表現する物体形状を、日本測地系や世界測地系などの標準的な測地系上に復元する。
【解決手段】画像座標値データベース１は時系列画像での特徴点の画像座標値を格納する。形状情報データベース２は特徴点の３次元座標値のセットを格納する。位置・方位情報データベース３はカメラ視点のＸＹＺ位置情報および方位情報を格納する。重心座標抽出部４はデータベース１から得る画像座標値から特徴点の重心座標値を算出する。重心位置抽出部５はデータベース２から得る形状情報からその重心位置を算出する。水平位置変換部６は重心座標と位置・方位情報から重心に関する水平位置と方位、並びにスケール情報を求める。標高値変換部７は形状情報の重心がカメラ視点で見たときの重心となるように高さを変換する。座標変換処理部８は全特徴点の変換を行う。
【選択図】 図１
【解決手段】画像座標値データベース１は時系列画像での特徴点の画像座標値を格納する。形状情報データベース２は特徴点の３次元座標値のセットを格納する。位置・方位情報データベース３はカメラ視点のＸＹＺ位置情報および方位情報を格納する。重心座標抽出部４はデータベース１から得る画像座標値から特徴点の重心座標値を算出する。重心位置抽出部５はデータベース２から得る形状情報からその重心位置を算出する。水平位置変換部６は重心座標と位置・方位情報から重心に関する水平位置と方位、並びにスケール情報を求める。標高値変換部７は形状情報の重心がカメラ視点で見たときの重心となるように高さを変換する。座標変換処理部８は全特徴点の変換を行う。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、時系列映像に映っている外界の形状、すなわち、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元する技術に関する。
【０００２】
特に、時系列画像上の特徴点に関する時系列画像情報から獲得した空間情報（３次元座標値）を別の座標系、例えば、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）などで扱える測地系（日本測地系、世界測地系など）での座標値に変換することにおいて好適に利用できるものである。
【０００３】
【従来の技術】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測、または獲得する手法の代表的な手法として、因子分解法がある。これらの手法によれば、物体が撮影されている複数の時系列画像から、３次元の形状に関する情報並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００４】
因子分解法は、３次元空間座標値と２次元画像座標値間の光学的射影モデルに基づいて、特異値分解や雑音除去を行い、カメラ運動に関する幾何的拘束条件のもとで雑音にロバストにカメラ運動と物体形状を同時に復元する手法である。これまで、因子分解法アルゴリズムは線形演算が主体の手法が多く、実際の透視投影モデル（非線形）があるのに対して、線形近似の投影モデルが用いられてきた。
【０００５】
特に、線形なアフィンカメラモデルを用いて、反復的に透視投影の投影モデルに漸近させる手法として存在している（例えば、非特許文献１、２、３を参照）。これら文献１、２、３の方法は、数回程度の反復的な因子分解法を繰り返すだけで、カメラ運動と物体形状を、透視投影モデルに近い状態で同時に復元することができ、３次元獲得手法、カメラ運動推定などに利用されている。
【０００６】
【非特許文献１】
Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ，“Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｔｒｅａｍｓ Ｕｎｄｅｒ Ｏｒｔｈｏｇｒａｐｈｙ： Ａ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．９，Ｎｏ．２，ｐｐ．１３７−１５４．１９９２．
【０００７】
【非特許文献２】
Ｃ．Ｊ Ｐｏｅｌｍａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ，“Ａ Ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ Ｒｅｃｏｖｅｒｙ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１９，Ｎｏ．３，ｐｐ．２０６−２１８．１９９７．
【０００８】
【非特許文献３】
Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ，”Ｅｕｃｌｉｄｅａｎ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ ｂｙ Ａｆｆｉｎｅ Ｉｔｅｒａｔｉｏｎｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１８，Ｎｏ．１１，ｐｐ．２４９５−２５０３．１９９６．
【０００９】
【発明が解決しようとする課題】
画像入力装置（カメラ）から取得した時系列画像に混入するランダム雑音の影響においても、撮影時のカメラの微小な動きをロバストに復元し、同時に、物体の形状も正確に復元する代表的な手法として、因子分解法（前記の非特許文献１〜３）がある。
【００１０】
しかし、因子分解法などに代表されるように、カメラ視点を原点としたカメラ座標系での獲得・復元であり、ＧＩＳなどで扱う場合には、例えば、下記の文献で開示されるように、測地系（日本測地系、世界測地系）などに代表される地理的な座標系上での空間情報復元が必要となる。
【００１１】
文献：国土地理院：［世界測地系移行の概要］のホームページ：インターネットＵＲＬ（ｈｔｔｐ：／／ｗｗｗ．ｇｓｉ．ｇｏ．ｊｐ／ＬＡＷ／Ｇ２０００／ｇ２０００．ｈｔｍ）
カメラ座標系から世界座標系への変換において、例えば、指定した点間での座標変換から全体の座標変換を実行することも考えられるが、膨大な特徴点を要する場合、オペレータが介在して指定することは作業的にコストが高い。
【００１２】
また、カメラ座標系での特定の点を指定したとしても、その点に対応する空間情報を測地系での空間情報としてどのように与えるかが問題となる。つまり、いちいち空間情報をレーザ計測値や標高地データ（ＧＣＰデータを含む）から採取して、座標変換に使うのは面倒である。
【００１３】
また、そもそも市街地データを獲得・復元する過程で処理する上で、その既知の３次元座標値を得ることは困難であり、座標変換における汎用的な手法が望まれていた。
【００１４】
本発明の目的は、上記の課題を解決した座標変換処理装置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】
前記の課題を解決するための本発明は、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１６】
（１）カメラなどの画像入力装置、手段を使って取得した時系列画像から被写体の物体形状を獲得、復元する座標変換処理装置であって、
カメラなどの画像入力手段を使って取得した時系列画像において、対象とする物体の２次元情報の時系列的な動き情報から、２次元上での物体重心の動きになる２次元並進情報を抽出する並進運動手段と、
上記の並進運動手段で得た２次元並進情報を、その視点位置を各時系列に対応してセンシングして得られる位置情報となるように、スケール情報、並びに、物体重心の水平位置を求める水平合わせ手段と、
前記視点位置を各時系列に対応してセンシングして得られるある基準軸からの方位情報を取得する方位手段と、
物体の構造を表現する形状情報を、視点の位置情報から透視投影したときの各時系列での物体重心の２次元上での動き情報が、各時系列での２次元並進情報となるように高さ情報を加える垂直合わせ手段と、
上記の水平合わせ手段、方位手段、並びに垂直合わせステツプにより得たスケール情報、方位角、物体重心の水平位置情報、物体重心の高さ情報を使って、被写体の構造を表す形状情報を視点位置を表現する他の座標系に変換する座標変換手段と、
を備えたことを徴とする座標変換処理装置。
【００１７】
（２）カメラなどの画像入力装置、手段を使って取得した時系列画像から被写体の物体形状を獲得、復元する座標変換処理方法であって、
カメラなどの画像入力手段を使って取得した時系列画像において、対象とする物体の２次元情報の時系列的な動き情報から、２次元上での物体重心の動きになる２次元並進情報を抽出する並進運動ステップと、
上記の並進運動ステップで得た２次元並進情報を、その視点位置を各時系列に対応してセンシングして得られる位置情報となるように、スケール情報、並びに、物体重心の水平位置を求める水平合わせステップと、
前記視点位置を各時系列に対応してセンシングして得られるある基準軸からの方位情報を取得する方位ステップと、
物体の構造を表現する形状情報を、視点の位置情報から透視投影したときの各時系列での物体重心の２次元上での動き情報が、各時系列での２次元並進情報となるように高さ情報を加える垂直合わせステップと、
上記の水平合わせステップ、方位ステップ、並びに垂直合わせステツプにより得たスケール情報、方位角、物体重心の水平位置情報、物体重心の高さ情報を使って、被写体の構造を表す形状情報を視点位置を表現する他の座標系に変換する座標変換ステップと、
を備えたことを徴とする座標変換処理方法。
【００１８】
（３）上記の（２）に記載の座標変換処理方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
【００１９】
（４）上記の（２）に記載の座標変換処理方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
【００２０】
【発明の実施の形態】
図１は本発明の実施形態を示す座標変換処理装置の構成図であり、この図および図２、図３をもとに本発明の実施形態を説明する。また、図２は図１をリアルタイム処理で実現するための装置構成図である。
【００２１】
本実施形態では、測位センサとしてＧＰＳセンサ、または、ＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃｓ）、Ｄ−ＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ−ＧＰＳ）、またはこれらのセンサを利用してカメラ視点の位置情報を取得し、方位情報を測定手段に搭載した方位センサなどから真北からの時計回りの回転角（Ｙａｗ）として得る。
【００２２】
なお、物体外観を形成する幾何情報は点群としている。点群は空間情報として獲得対象となりやすい幾何情報であり、時系列画像から形状を復元する場合は点群（特徴点）が頻繁に利用されている。そのため、本実施形態での２次元座標値は特徴点のｘｙ画像座標値を指し、物体の構造を表す形状情報とは特徴点の３次元座標値（ＸＹＺ）とする。
【００２３】
図１に示すように、本実施形態は、時系列画像での特徴点のｘｙ画像座標値を格納してある画像座標値データベース１と、コンピュータビジョンなどのビジョン手法により獲得した特徴点の３次元座標値のセットを格納してある形状情報データベース２と、カメラ視点を測位センサで取得して、それらのＸＹＺ位置情報および方位情報を取得して格納してある位置・方位情報データベース３とを備える。
【００２４】
また、データベース１から得る画像座標値から特徴点の重心座標値を算出する重心座標抽出部４と、データベース２から得る形状情報からその重心位置を算出する重心位置抽出部５と、重心座標とデータベース３から得る位置・方位情報から重心に関する水平位置と方位、並びにスケール情報を求める水平位置変換部６と、形状情報の重心がカメラ視点で見たときの重心となるように高さを変換する標高値変換部７と、これらの変換処理を使って、全特徴点の変換を行う座標変換処理部８、並びにこれらのデータを保存するための変換座標値データベース９を備える。
【００２５】
なお、図２に示すように、データベース１、２、３、９などの記憶装置に格納する構成に代えて、各種データをリアルタイムに処理するための入力部１Ａ，２Ａ，３Ａと出力部９Ａとすることもできる。
【００２６】
本実施形態の座標変換処理手順を図３の処理フローを参照して説明する。まず、画像座標値、位置・方位、物体形状の各種データを入力する（Ｓ１，Ｓ２，Ｓ３，Ｓ４）。すなわち、対象とする点群に関する時系列画像上でのＦフレームにわたるＰ個２次元座標値［Ａ］を画像座標値データベース１から、Ｆフレームにわたるカメラ視点の位置情報［Ｇ］および方位θｉを位置・方位情報データベース３から、Ｐ個の特徴点の３次元座標値［ｓ］を物体形状データベース２から取り出す。これら各種データ［Ａ］、［Ｇ］、［ｓ］は、式（１）、式（２）、式（３）のデータフォーマットにしたがってメモリに格納する。ここで、データ［ｓ］の要素において、重心位置抽出部により重心（Ｐｘ，Ｐｙ，Ｐｚ）を求め（Ｓ５）、データ［ｓ］の要素を式（３ａ）に示すように、データ変換しておく（Ｓ６）。
【００２７】
【数１】
【００２８】
【数２】
【００２９】
【数３】
【００３０】
次に、データ［Ａ］に対して、式（４）に示すように各フレームでの重心座標値（Ｔｘｉ、Ｔｙｉ）；ｉ＝１，２，…，Ｆを算出する（Ｓ７）。
【００３１】
【数４】
【００３２】
次に、位置情報［Ｇ］のＸＹ座標値（Ｇｘｉ，Ｇｙｉ）；ｉ＝１，２，…，Ｆと、先に求めた重心座標値（（Ｔｘｉ、Ｔｙｉ）；ｉ＝１，２，…，Ｆから式（６）の各フレームでの方位角θｉ；ｉ＝１，２，…，Ｆにより回転させた重心座標値（Ｔｘ’ｉ，Ｔｙ’ｉ）；ｉ＝１，２，…，Ｆを求め、式（５）右辺に示すような行列の式に代入し、定数ａ，ｂ，Ｘ０，Ｙ０を得る（Ｓ８）。このとき、定数ａ，ｂから、式（７）によりスケール係数ｃを算出する（Ｓ９）。さらに、式（８）に従いそのシーンにおける平均の方位角θを得る（Ｓ１０）。
【００３３】
【数５】
【００３４】
【数６】
【００３５】
【数７】
【００３６】
【数８】
【００３７】
一方、先に求めた重心座標値（Ｔｘ’ｉ、Ｔｙ’ｉ）；ｉ＝１，２，…，Ｆ、位置情報［Ｇ］の座標値（Ｇｘｉ，Ｇｙｉ，Ｇｚｉ）；ｉ＝１，２，…，Ｆ、定数Ｘ０，Ｙ０を、式（９）右辺に代入して、重心の高さＺ０を得る（Ｓ１１）。
【００３８】
【数９】
【００３９】
スケール係数ｃ、方位θ、物体重心の測地系座標値（Ｘ０，Ｙ０，Ｚ０）が得られると、式（１０）に示す座標変換を行い、全特徴点ｊ＝１，２，…，Ｐの測地系での空間座標値（Ｘｊ，Ｙｊ，Ｚｊ）；ｊ＝１，２，…，Ｐを要素とした測地系での形状情報［Ｓ］を得る（Ｓ１２）。そして、得られた変換データをデータベース等にセーブする（Ｓ１３）。
【００４０】
【数１０】
【００４１】
以上により、カメラ座標系で獲得した空間情報をカメラ視点の位置を測位した位置の世界座標系において、特定の特徴点を指定することをせず、一意に測地系に変換し、地理的座標系において復元することが可能となる。
【００４２】
なお、本発明は、図３に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現することができる。また、コンピュータでその各部の処理機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００４３】
【発明の効果】
以上のとおり、本発明によれば、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）からコンピュータビジョンによる手法に得た対象物の外観を表現する物体形状を、日本測地系や世界測地系などの標準的な測地系（地理的座標系）上に復元できる。また、この変換により、測量による計測値と同等の値を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る蓄積処理型の装置構成図。
【図２】実施形態に係るリアルタイム型の装置構成図。
【図３】実施形態の座標変換処理フロー。
【符号の説明】
１…画像座標値データベース
２…形状情報データベース
３…位置・方位情報データベース
４…重心座標抽出部
５…重心位置抽出部
６…水平位置変換部
７…標高値変換部
８…座標変換処理部
９…変換座標値データベース
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、時系列映像に映っている外界の形状、すなわち、被写体（対象物、物体）の外観形状を形成する空間情報（３次元座標値）を計測、獲得、復元する技術に関する。
【０００２】
特に、時系列画像上の特徴点に関する時系列画像情報から獲得した空間情報（３次元座標値）を別の座標系、例えば、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）などで扱える測地系（日本測地系、世界測地系など）での座標値に変換することにおいて好適に利用できるものである。
【０００３】
【従来の技術】
コンピュータビジョン分野では、時系列画像データから、対象物の形状を計測、または、獲得する手法には、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と被写体（物体）の形状に関する３次元情報を、同時に、計測、または獲得する手法の代表的な手法として、因子分解法がある。これらの手法によれば、物体が撮影されている複数の時系列画像から、３次元の形状に関する情報並びに、カメラ視点に関する運動を獲得、復元することができる。
【０００４】
因子分解法は、３次元空間座標値と２次元画像座標値間の光学的射影モデルに基づいて、特異値分解や雑音除去を行い、カメラ運動に関する幾何的拘束条件のもとで雑音にロバストにカメラ運動と物体形状を同時に復元する手法である。これまで、因子分解法アルゴリズムは線形演算が主体の手法が多く、実際の透視投影モデル（非線形）があるのに対して、線形近似の投影モデルが用いられてきた。
【０００５】
特に、線形なアフィンカメラモデルを用いて、反復的に透視投影の投影モデルに漸近させる手法として存在している（例えば、非特許文献１、２、３を参照）。これら文献１、２、３の方法は、数回程度の反復的な因子分解法を繰り返すだけで、カメラ運動と物体形状を、透視投影モデルに近い状態で同時に復元することができ、３次元獲得手法、カメラ運動推定などに利用されている。
【０００６】
【非特許文献１】
Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｔ．Ｋａｎａｄｅ，“Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｉｍａｇｅ Ｓｔｒｅａｍｓ Ｕｎｄｅｒ Ｏｒｔｈｏｇｒａｐｈｙ： Ａ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．９，Ｎｏ．２，ｐｐ．１３７−１５４．１９９２．
【０００７】
【非特許文献２】
Ｃ．Ｊ Ｐｏｅｌｍａｎ ａｎｄ Ｔ．Ｋａｎａｄｅ，“Ａ Ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍｅｔｈｏｄ ｆｏｒ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ Ｒｅｃｏｖｅｒｙ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１９，Ｎｏ．３，ｐｐ．２０６−２１８．１９９７．
【０００８】
【非特許文献３】
Ｓ．Ｃｈｒｉｓｔｙ ａｎｄ Ｒ．Ｈｏｒａｕｄ，”Ｅｕｃｌｉｄｅａｎ Ｓｈａｐｅ ａｎｄ Ｍｏｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ ｂｙ Ａｆｆｉｎｅ Ｉｔｅｒａｔｉｏｎｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１８，Ｎｏ．１１，ｐｐ．２４９５−２５０３．１９９６．
【０００９】
【発明が解決しようとする課題】
画像入力装置（カメラ）から取得した時系列画像に混入するランダム雑音の影響においても、撮影時のカメラの微小な動きをロバストに復元し、同時に、物体の形状も正確に復元する代表的な手法として、因子分解法（前記の非特許文献１〜３）がある。
【００１０】
しかし、因子分解法などに代表されるように、カメラ視点を原点としたカメラ座標系での獲得・復元であり、ＧＩＳなどで扱う場合には、例えば、下記の文献で開示されるように、測地系（日本測地系、世界測地系）などに代表される地理的な座標系上での空間情報復元が必要となる。
【００１１】
文献：国土地理院：［世界測地系移行の概要］のホームページ：インターネットＵＲＬ（ｈｔｔｐ：／／ｗｗｗ．ｇｓｉ．ｇｏ．ｊｐ／ＬＡＷ／Ｇ２０００／ｇ２０００．ｈｔｍ）
カメラ座標系から世界座標系への変換において、例えば、指定した点間での座標変換から全体の座標変換を実行することも考えられるが、膨大な特徴点を要する場合、オペレータが介在して指定することは作業的にコストが高い。
【００１２】
また、カメラ座標系での特定の点を指定したとしても、その点に対応する空間情報を測地系での空間情報としてどのように与えるかが問題となる。つまり、いちいち空間情報をレーザ計測値や標高地データ（ＧＣＰデータを含む）から採取して、座標変換に使うのは面倒である。
【００１３】
また、そもそも市街地データを獲得・復元する過程で処理する上で、その既知の３次元座標値を得ることは困難であり、座標変換における汎用的な手法が望まれていた。
【００１４】
本発明の目的は、上記の課題を解決した座標変換処理装置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】
前記の課題を解決するための本発明は、以下の装置、方法、プログラムおよび記録媒体を特徴とする。
【００１６】
（１）カメラなどの画像入力装置、手段を使って取得した時系列画像から被写体の物体形状を獲得、復元する座標変換処理装置であって、
カメラなどの画像入力手段を使って取得した時系列画像において、対象とする物体の２次元情報の時系列的な動き情報から、２次元上での物体重心の動きになる２次元並進情報を抽出する並進運動手段と、
上記の並進運動手段で得た２次元並進情報を、その視点位置を各時系列に対応してセンシングして得られる位置情報となるように、スケール情報、並びに、物体重心の水平位置を求める水平合わせ手段と、
前記視点位置を各時系列に対応してセンシングして得られるある基準軸からの方位情報を取得する方位手段と、
物体の構造を表現する形状情報を、視点の位置情報から透視投影したときの各時系列での物体重心の２次元上での動き情報が、各時系列での２次元並進情報となるように高さ情報を加える垂直合わせ手段と、
上記の水平合わせ手段、方位手段、並びに垂直合わせステツプにより得たスケール情報、方位角、物体重心の水平位置情報、物体重心の高さ情報を使って、被写体の構造を表す形状情報を視点位置を表現する他の座標系に変換する座標変換手段と、
を備えたことを徴とする座標変換処理装置。
【００１７】
（２）カメラなどの画像入力装置、手段を使って取得した時系列画像から被写体の物体形状を獲得、復元する座標変換処理方法であって、
カメラなどの画像入力手段を使って取得した時系列画像において、対象とする物体の２次元情報の時系列的な動き情報から、２次元上での物体重心の動きになる２次元並進情報を抽出する並進運動ステップと、
上記の並進運動ステップで得た２次元並進情報を、その視点位置を各時系列に対応してセンシングして得られる位置情報となるように、スケール情報、並びに、物体重心の水平位置を求める水平合わせステップと、
前記視点位置を各時系列に対応してセンシングして得られるある基準軸からの方位情報を取得する方位ステップと、
物体の構造を表現する形状情報を、視点の位置情報から透視投影したときの各時系列での物体重心の２次元上での動き情報が、各時系列での２次元並進情報となるように高さ情報を加える垂直合わせステップと、
上記の水平合わせステップ、方位ステップ、並びに垂直合わせステツプにより得たスケール情報、方位角、物体重心の水平位置情報、物体重心の高さ情報を使って、被写体の構造を表す形状情報を視点位置を表現する他の座標系に変換する座標変換ステップと、
を備えたことを徴とする座標変換処理方法。
【００１８】
（３）上記の（２）に記載の座標変換処理方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
【００１９】
（４）上記の（２）に記載の座標変換処理方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
【００２０】
【発明の実施の形態】
図１は本発明の実施形態を示す座標変換処理装置の構成図であり、この図および図２、図３をもとに本発明の実施形態を説明する。また、図２は図１をリアルタイム処理で実現するための装置構成図である。
【００２１】
本実施形態では、測位センサとしてＧＰＳセンサ、または、ＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃｓ）、Ｄ−ＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ−ＧＰＳ）、またはこれらのセンサを利用してカメラ視点の位置情報を取得し、方位情報を測定手段に搭載した方位センサなどから真北からの時計回りの回転角（Ｙａｗ）として得る。
【００２２】
なお、物体外観を形成する幾何情報は点群としている。点群は空間情報として獲得対象となりやすい幾何情報であり、時系列画像から形状を復元する場合は点群（特徴点）が頻繁に利用されている。そのため、本実施形態での２次元座標値は特徴点のｘｙ画像座標値を指し、物体の構造を表す形状情報とは特徴点の３次元座標値（ＸＹＺ）とする。
【００２３】
図１に示すように、本実施形態は、時系列画像での特徴点のｘｙ画像座標値を格納してある画像座標値データベース１と、コンピュータビジョンなどのビジョン手法により獲得した特徴点の３次元座標値のセットを格納してある形状情報データベース２と、カメラ視点を測位センサで取得して、それらのＸＹＺ位置情報および方位情報を取得して格納してある位置・方位情報データベース３とを備える。
【００２４】
また、データベース１から得る画像座標値から特徴点の重心座標値を算出する重心座標抽出部４と、データベース２から得る形状情報からその重心位置を算出する重心位置抽出部５と、重心座標とデータベース３から得る位置・方位情報から重心に関する水平位置と方位、並びにスケール情報を求める水平位置変換部６と、形状情報の重心がカメラ視点で見たときの重心となるように高さを変換する標高値変換部７と、これらの変換処理を使って、全特徴点の変換を行う座標変換処理部８、並びにこれらのデータを保存するための変換座標値データベース９を備える。
【００２５】
なお、図２に示すように、データベース１、２、３、９などの記憶装置に格納する構成に代えて、各種データをリアルタイムに処理するための入力部１Ａ，２Ａ，３Ａと出力部９Ａとすることもできる。
【００２６】
本実施形態の座標変換処理手順を図３の処理フローを参照して説明する。まず、画像座標値、位置・方位、物体形状の各種データを入力する（Ｓ１，Ｓ２，Ｓ３，Ｓ４）。すなわち、対象とする点群に関する時系列画像上でのＦフレームにわたるＰ個２次元座標値［Ａ］を画像座標値データベース１から、Ｆフレームにわたるカメラ視点の位置情報［Ｇ］および方位θｉを位置・方位情報データベース３から、Ｐ個の特徴点の３次元座標値［ｓ］を物体形状データベース２から取り出す。これら各種データ［Ａ］、［Ｇ］、［ｓ］は、式（１）、式（２）、式（３）のデータフォーマットにしたがってメモリに格納する。ここで、データ［ｓ］の要素において、重心位置抽出部により重心（Ｐｘ，Ｐｙ，Ｐｚ）を求め（Ｓ５）、データ［ｓ］の要素を式（３ａ）に示すように、データ変換しておく（Ｓ６）。
【００２７】
【数１】
【数２】
【数３】
次に、データ［Ａ］に対して、式（４）に示すように各フレームでの重心座標値（Ｔｘｉ、Ｔｙｉ）；ｉ＝１，２，…，Ｆを算出する（Ｓ７）。
【００３１】
【数４】
次に、位置情報［Ｇ］のＸＹ座標値（Ｇｘｉ，Ｇｙｉ）；ｉ＝１，２，…，Ｆと、先に求めた重心座標値（（Ｔｘｉ、Ｔｙｉ）；ｉ＝１，２，…，Ｆから式（６）の各フレームでの方位角θｉ；ｉ＝１，２，…，Ｆにより回転させた重心座標値（Ｔｘ’ｉ，Ｔｙ’ｉ）；ｉ＝１，２，…，Ｆを求め、式（５）右辺に示すような行列の式に代入し、定数ａ，ｂ，Ｘ０，Ｙ０を得る（Ｓ８）。このとき、定数ａ，ｂから、式（７）によりスケール係数ｃを算出する（Ｓ９）。さらに、式（８）に従いそのシーンにおける平均の方位角θを得る（Ｓ１０）。
【００３３】
【数５】
【数６】
【数７】
【数８】
一方、先に求めた重心座標値（Ｔｘ’ｉ、Ｔｙ’ｉ）；ｉ＝１，２，…，Ｆ、位置情報［Ｇ］の座標値（Ｇｘｉ，Ｇｙｉ，Ｇｚｉ）；ｉ＝１，２，…，Ｆ、定数Ｘ０，Ｙ０を、式（９）右辺に代入して、重心の高さＺ０を得る（Ｓ１１）。
【００３８】
【数９】
スケール係数ｃ、方位θ、物体重心の測地系座標値（Ｘ０，Ｙ０，Ｚ０）が得られると、式（１０）に示す座標変換を行い、全特徴点ｊ＝１，２，…，Ｐの測地系での空間座標値（Ｘｊ，Ｙｊ，Ｚｊ）；ｊ＝１，２，…，Ｐを要素とした測地系での形状情報［Ｓ］を得る（Ｓ１２）。そして、得られた変換データをデータベース等にセーブする（Ｓ１３）。
【００４０】
【数１０】
以上により、カメラ座標系で獲得した空間情報をカメラ視点の位置を測位した位置の世界座標系において、特定の特徴点を指定することをせず、一意に測地系に変換し、地理的座標系において復元することが可能となる。
【００４２】
なお、本発明は、図３に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現することができる。また、コンピュータでその各部の処理機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００４３】
【発明の効果】
以上のとおり、本発明によれば、時系列画像全般（移動手段を利用して撮影した車載映像、海上映像、空撮映像、屋内映像など）からコンピュータビジョンによる手法に得た対象物の外観を表現する物体形状を、日本測地系や世界測地系などの標準的な測地系（地理的座標系）上に復元できる。また、この変換により、測量による計測値と同等の値を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る蓄積処理型の装置構成図。
【図２】実施形態に係るリアルタイム型の装置構成図。
【図３】実施形態の座標変換処理フロー。
【符号の説明】
１…画像座標値データベース
２…形状情報データベース
３…位置・方位情報データベース
４…重心座標抽出部
５…重心位置抽出部
６…水平位置変換部
７…標高値変換部
８…座標変換処理部
９…変換座標値データベース
Claims (4)
- カメラなどの画像入力装置、手段を使って取得した時系列画像から被写体の物体形状を獲得、復元する座標変換処理装置であって、
カメラなどの画像入力手段を使って取得した時系列画像において、対象とする物体の２次元情報の時系列的な動き情報から、２次元上での物体重心の動きになる２次元並進情報を抽出する並進運動手段と、
上記の並進運動手段で得た２次元並進情報を、その視点位置を各時系列に対応してセンシングして得られる位置情報となるように、スケール情報、並びに、物体重心の水平位置を求める水平合わせ手段と、
前記視点位置を各時系列に対応してセンシングして得られるある基準軸からの方位情報を取得する方位手段と、
物体の構造を表現する形状情報を、視点の位置情報から透視投影したときの各時系列での物体重心の２次元上での動き情報が、各時系列での２次元並進情報となるように高さ情報を加える垂直合わせ手段と、
上記の水平合わせ手段、方位手段、並びに垂直合わせステツプにより得たスケール情報、方位角、物体重心の水平位置情報、物体重心の高さ情報を使って、被写体の構造を表す形状情報を視点位置を表現する他の座標系に変換する座標変換手段と、
を備えたことを徴とする座標変換処理装置。 - カメラなどの画像入力装置、手段を使って取得した時系列画像から被写体の物体形状を獲得、復元する座標変換処理方法であって、
カメラなどの画像入力手段を使って取得した時系列画像において、対象とする物体の２次元情報の時系列的な動き情報から、２次元上での物体重心の動きになる２次元並進情報を抽出する並進運動ステップと、
上記の並進運動ステップで得た２次元並進情報を、その視点位置を各時系列に対応してセンシングして得られる位置情報となるように、スケール情報、並びに、物体重心の水平位置を求める水平合わせステップと、
前記視点位置を各時系列に対応してセンシングして得られるある基準軸からの方位情報を取得する方位ステップと、
物体の構造を表現する形状情報を、視点の位置情報から透視投影したときの各時系列での物体重心の２次元上での動き情報が、各時系列での２次元並進情報となるように高さ情報を加える垂直合わせステップと、
上記の水平合わせステップ、方位ステップ、並びに垂直合わせステツプにより得たスケール情報、方位角、物体重心の水平位置情報、物体重心の高さ情報を使って、被写体の構造を表す形状情報を視点位置を表現する他の座標系に変換する座標変換ステップと、
を備えたことを徴とする座標変換処理方法。 - 請求項２に記載の座標変換処理方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
- 請求項２に記載の座標変換処理方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003141388A JP2004348198A (ja) | 2003-05-20 | 2003-05-20 | 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003141388A JP2004348198A (ja) | 2003-05-20 | 2003-05-20 | 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004348198A true JP2004348198A (ja) | 2004-12-09 |
Family
ID=33529752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003141388A Pending JP2004348198A (ja) | 2003-05-20 | 2003-05-20 | 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004348198A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104075665A (zh) * | 2013-03-25 | 2014-10-01 | 株式会社东芝 | 测量设备 |
| CN104864821A (zh) * | 2014-02-20 | 2015-08-26 | 株式会社东芝 | 计算设备和方法 |
| CN108489398A (zh) * | 2018-05-21 | 2018-09-04 | 华南农业大学 | 一种广角场景下激光加单目视觉测量三维坐标的方法 |
| CN110763167A (zh) * | 2019-11-28 | 2020-02-07 | 中国科学院东北地理与农业生态研究所 | 基于无人机测量土壤表面粗糙度的方法 |
| JP2021016910A (ja) * | 2019-07-18 | 2021-02-15 | 株式会社ファースト | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム |
-
2003
- 2003-05-20 JP JP2003141388A patent/JP2004348198A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104075665A (zh) * | 2013-03-25 | 2014-10-01 | 株式会社东芝 | 测量设备 |
| CN104864821A (zh) * | 2014-02-20 | 2015-08-26 | 株式会社东芝 | 计算设备和方法 |
| CN108489398A (zh) * | 2018-05-21 | 2018-09-04 | 华南农业大学 | 一种广角场景下激光加单目视觉测量三维坐标的方法 |
| JP2021016910A (ja) * | 2019-07-18 | 2021-02-15 | 株式会社ファースト | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム |
| CN110763167A (zh) * | 2019-11-28 | 2020-02-07 | 中国科学院东北地理与农业生态研究所 | 基于无人机测量土壤表面粗糙度的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462213B (zh) | 一种在运动过程中获取物体3d坐标及尺寸的设备及方法 | |
| Eltner et al. | Analysis of different methods for 3D reconstruction of natural surfaces from parallel‐axes UAV images | |
| CN105825518B (zh) | 基于移动平台拍摄的序列图像快速三维重建方法 | |
| KR100912715B1 (ko) | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 | |
| KR20130138247A (ko) | 신속 3ｄ 모델링 | |
| JP6589636B2 (ja) | ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム | |
| JP7114686B2 (ja) | 拡張現実装置及び位置決め方法 | |
| CN112750203A (zh) | 模型重建方法、装置、设备及存储介质 | |
| JP5463584B2 (ja) | 変位計測方法、変位計測装置及び変位計測プログラム | |
| CN113034571B (zh) | 一种基于视觉—惯性的物体三维尺寸测量方法 | |
| CN115423863B (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
| JP2017201261A (ja) | 形状情報生成システム | |
| Louiset et al. | A shape-adjusted tridimensional reconstruction of cultural heritage artifacts using a miniature quadrotor | |
| JP2004348198A (ja) | 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体 | |
| KR20060127519A (ko) | 이미지 기반의 공간 정보 구축 방법 및 시스템 | |
| JP2006195790A (ja) | レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム | |
| JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| CN115222815A (zh) | 障碍物距离检测方法、装置、计算机设备和存储介质 | |
| CN113223163A (zh) | 点云地图构建方法及装置、设备、存储介质 | |
| JP2005063012A (ja) | 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 | |
| JP3606308B2 (ja) | ３次元構造獲得方法及び記録媒体並びに装置 | |
| JPH0979820A (ja) | 物体形状及びカメラ視点移動の復元装置および物体形状，カメラ視点移動の復元方法 | |
| JP2005292027A (ja) | 三次元形状計測・復元処理装置および方法 | |
| JP3901552B2 (ja) | 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 | |
| JP3759712B2 (ja) | カメラパラメータ推定方法、装置、プログラム、および記録媒体 |