JP2004177362A

JP2004177362A - Method and apparatus for locating, program of locating method, and recording medium where the program is recorded

Info

Publication number: JP2004177362A
Application number: JP2002346743A
Authority: JP
Inventors: Isao Miyagawa; 勲宮川; Shiro Ozawa; 史朗小澤; Yoshiori Wakabayashi; 佳織若林; Tomohiko Arikawa; 知彦有川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-11-29
Filing date: 2002-11-29
Publication date: 2004-06-24

Abstract

<P>PROBLEM TO BE SOLVED: To perform locating, in which an all-direction camera is used for restoring movement and the section missing a measurement data is interpolated with accuracy level similar in precision of measured data. <P>SOLUTION: A time series image database 1 stores a time series image information obtained using a camera. A positioning information database 2 saves locating information, using a GPS reception antenna, etc. A feature point measuring part 3 measures the image coordinate values of a feature point, by tracing the feature point on the time series image in time series manner. A movement-restoring part 4 restores movement of the camera from the image coordinate values. A locating information extracting part 5 extracts positioning information of high reliability from the locating information database 2. A locating information conversion part 6 converts a restored camera movement to a position information, based on the extracted positioning information. A locating interpolation part 7 interpolates the locating positioning information of low reliability, using the converted position information. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラなどの画像入力装置を使って取得した屋外の時系列画像全般に対して利用可能であり、時系列画像からカメラ視点に関する並進運動の復元によって、カーナビゲーション、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）サービスなどで利用されている自律航法計測、自己位置推定、自己位置同定などに利用する位置計測方法および装置に関する。
【０００２】
特に、一度に３６０度の景観情報を撮影できる全方位カメラを好適に利用できるものである。
【０００３】
【従来の技術】
コンピュータビジョン分野では、時系列画像から、エピポーラ面解析を用いた運動解析手法や因子分解法を利用した手法によりカメラ運動の復元、自己位置推定をすることができる。しかし、視野角の狭いカメラを移動手段などを利用して撮影した時系列映像においては、撮影時の環境、撮影カメラの微小な動きによりシームレスに映像取得が困難であることに加えて、微小な並進運動と回転運動の認識が難しく、時系列映像中にランダム性の雑音が混入することで、より一層、微小な並進運動と回転運動を正確に復元することは難しくなる。また、有限画角のカメラを使用する場合は、被写体がフレームイン、または、フレームアウトするため、カメラの回転運動を大域的に、または、長期的に復元することは困難である。このような有限画角の問題を回避するために、一度に３６０度の景観を取得する手段として、全方位カメラによる撮像が考えられる。
【０００４】
一方、屋外においては、近年、高精度になりつつあるＧＰＳ、ディファレンシャルＧＰＳ、ジャイロセンサなどの測位情報取得装置を使うことで画像入力の位置情報、姿勢情報に関する状態を測位することができる（例えば、非特許文献１参照）。カーナビゲーションやＧＰＳサービスにおいても、このような測位取得情報を利用して、車両の位置をユーザに提供したり、行き先などの自動ナビゲーションする機能を有している。
【０００５】
しかし、ディファレンシャルＧＰＳの受信状態が悪い場所では測位値を正確に計測することができないため、これまでの技術ではジャイロセンサ、磁気センサ、車速センサ等を駆使した自律航法計測によるデータ補間などの対策がとられてきた。
【０００６】
また、カーナビゲーションでは、地図情報を保持して、測位値が正確でない場合などは、マップマッチングなどの処理により現在位置を補正することも行われている（例えば、非特許文献２参照）。
【０００７】
しかし、このような自律航法計測では、移動観測手段の突発的かつ微小な揺れに対するカメラ姿勢を正確に検出することは困難である。さらに、市街地のようなロケーションでは、品質の高いＧＰＳデータを取得する条件として、ＧＰＳ衛星の幾何的配置が整った時間帯に、市街地での位置情報測定が限定されるのが現状の技術である。
【０００８】
なお、本発明に関連する位置計測方法として、種々の文献がある（例えば、非特許文献３および非特許文献４）。
【０００９】
【非特許文献１】
「特集：さまざまな次世代ＧＰＳ測位方式」，情報処理，情報処理学会，２００２年Ｖｏｌ．４３，Ｎｏ．８，ｐ．８２７−８５９
【００１０】
【非特許文献２】
パイオニア株式会社：「現在地がわかる仕組み」，［ｏｎｌｉｎｅ］，２００１年６月２６日，パイオニア株式会社［平成１４年１０月１５日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ／／ｗｗｗ．ｐｉｏｎｅｅｒ．ｃｏ．ｊｐ／ｅ−ｐｌａｃｅ／０３１０２．ｈｔｍｌ＞
【００１１】
【非特許文献３】
関森大介、臼井智也、升谷保博、宮崎文夫，全方位画像上の床領域に基づく移動ロボットの高速な障害物回避と自己位置推定”、情処学会論文誌，情報処理学会，２００１年，Ｖｏｌ．４２，Ｎｏ．ＳＩＧ１３（ＣＶＩＭ３）、ｐ．１１０−１１８
【００１２】
【非特許文献４】
Ｐ．ＣｈａｎｇａｎｄＭ．Ｈｅｒｂｅｒｔ，“Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌＳｔｒｕｃｔｕｒｅＦｒｏｍＭｏｔｉｏｎ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＷｏｒｋｓｈｏｐｏｎＯｍｎｉｄｅｉｒｅｃｔｉｏｎａｌＶｉｓｉｏｎ，ＩＥＥＥ，２０００年，ｐ．１２７−１３３
【００１３】
【発明が解決しようとする課題】
一般に、視野角の狭いカメラから取得した時系列画像からカメラの動きを推定、解析する場合、時系列画像に混入するランダム雑音の影響により、カメラの微小な動きと雑音とを正確に認識することは容易ではなかった。これに対して、全方位カメラのような一度に３６０度の景観を観測する手段を使って屋外景観の時系列画像を取得し、全方位画像からの自己位置推定や自己位置運動推定をしたロボットの経路選択、障害物回避方法があるが（例えば、前記非特許文献３参照）、屋外環境などで使用するに十分な精度で求めることは困難とされている（例えば、非特許文献４参照）。
【００１４】
一方、ＧＰＳ測位取得装置などを利用した位置情報計測を行う場合は、ＧＰＳ衛星の幾何学的配置、または、測位条件の良好な時間帯に限定される。加えて、位置計測の周囲の環境において、市街地一般には街路樹が多く、高層な建物が立ち並ぶような見通しの良くない屋外環境では、ＧＰＳセンサを利用した測位は不利である。
【００１５】
図６に、市街地中を車両が通過する図を示す。この例では、車両は交差点Ａを左折し、交差点Ｂを通過して、交差点Ｃまで走行している。このとき、ＧＰＳ測位取得装置を利用すると、●印で示すように、各々の現在位置を測位することができる。しかし、交差点Ａを曲がって、点１ａから点１ｂの付近から、周囲の建物によるビルシャドウが影響し、測位データを正常に受信することが困難となる。または、ＧＰＳ測位に十分な衛星数を捕獲できないため、正確な位置情報を取得することはできない。つまり、点１ｂ以降は○印で示すように、３次元測位に十分な測位データを正確に受信できない。ところが、交差点Ｂ付近の点２ｂと点２ａのあたりでは、見通しが良くなり、再び、測位データを受信できるようになる。同様に、点３ａと点３ｂのあたりから、周辺の建物の影響で測位データが入らなくなったりするが、再度、点４ｂと点４ａのあたりから、測位データを受けることができるようになる。
【００１６】
現状のカーナビゲーションシステム（前記の非特許文献２）では、測位データが欠落する場合は、地図情報を保有して、車速センサなどのセンサ装置を入力とし、保有した地図とのマップマッチングを行い、現在位置を特定している。
【００１７】
しかし、地図情報は必ずしも精度が高いものとは言えず、屋外の建物配置も建て直しや新築などで変化するため、地図情報を更新する必要がある。また、車速センサ、ジャイロセンサを駆使した自律航法計測手法により、測位データを補間することができるが、車両の微小な動きまでを把握することは困難で、現在位置を正確に特定することは難しい。
【００１８】
よって、本発明の目的は、全方位カメラを使ってその運動を把握し、測位データ精度並みの正確さで、測位データが正確でない区間を補間した位置測定ができる位置測定方法、装置、この方法のプログラム、このプログラムを記録した記録媒体を提供することにある。
【００１９】
【課題を解決するための手段】
本発明は、全方位カメラを使って取得した市街地景観の時系列画像から、市街地中の運動を復元することを可能とし、また、ＧＰＳ測位データとして利用すること、並に信頼性が高く、高精度な位置情報として利用することができ、カーナビゲーションなどの道路案内サービスにも利用でき、さらに、建物形状計測や空間計測での測量における測位位置の位置情報としても利用することができるようにしたもので、以下の方法、装置、プログラム、記録媒体を特徴とする。
【００２０】
（１）画像入力装置で取得した時系列の画像中に配置した特徴点の画像座標値の時間的変化量から、時系列におけるカメラ視点の運動を復元し、測位計測装置により取得した測位情報のうちで不良な測位情報に対して自律的に補間する位置計測方法であって、
取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出し、画像中の特徴点の時間的動きから復元した画像運動において抽出した測位情報に対応するフレームの画像運動を抽出し、これらの間の変換処理を行う第１の過程と、
前記測位情報の中で、データ信頼性の低い、または、データ品質の低い測位情報に対して、前記過程で得た変換後の画像運動で補間する第２の過程と、
を有することを特徴とする位置計測方法。
【００２１】
（２）上記の（１）において、取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出した測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
または、測位情報と画像運動との問の変換処理をするために、抽出した測位情報が十分、または、足りていると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な測位情報が得られたという状態設定を行う、
ことを特徴とする位置計測方法。
【００２２】
（３）上記の（１）において、取得する測位情報のうちで信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出する測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
それ以降の映像シーンにおいて、補間するのに十分な測位情報が得られるまで、補間に十分な情報が得られていないという状態設定を行い、前記状態を参照して補間できると判定したとき、それまでの画像運動を連続した一連の画像運動として統合し、前記第１の過程により測位情報のうちでデータ信頼性の低い、または、データ品質の低い測位情報の区間を補間する、
ことを特徴とする位置計測方法。
【００２３】
（４）画像入力装置で取得した時系列の画像中に配置した特徴点の画像座標値の時間的変化量から、時系列におけるカメラ視点の運動を復元し、測位計測装置により取得した測位情報のうちで不良な測位情報に対して自律的に補間する位置計測装置であって、
取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出し、画像中の特徴点の時間的動きから復元した画像運動において抽出した測位情報に対応するフレームの画像運動を抽出し、これらの間の変換処理を行う第１の手段と、
前記測位情報の中で、データ信頼性の低い、または、データ品質の低い測位情報に対して、前記手段で得た変換後の画像運動で補間する第２の手段と、
を有することを特徴とする位置計測装置。
【００２４】
（５）上記の（４）において、取得する測位情報のうちでデータ信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出した測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な情報が得られていないという状態設定を行い、
または、測位情報と画像運動との問の変換処理をするために、抽出した測位情報が十分、または、足りていると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間に十分な測位情報が得られたという状態設定を行う、
ことを特徴とする位置計測装置。
【００２５】
（６）上記の（４）において、取得する測位情報のうちで信頼性の高い、または、データ品質の高い測位情報のみを抽出する際に、
測位情報と画像運動との間の変換処理をするために、抽出する測位情報が不十分、または、不足していると判定したとき、その測位情報のなかでデータ信頼性の低い、または、データ品質の低い測位情報に対して、補間するのに十分な情報が得られていないという状態設定を行い、
それ以降の映像シーンにおいて、補間するのに十分な測位情報が得られるまで、補間に十分な情報が得られていないという状態設定を行い、前記状態を参照して補間できると判定したとき、それまでの画像運動を連続した一連の画像運動として統合し、前記第１の手段により測位情報のうちでデータ信頼性の低い、または、データ品質の低い測位情報の区間を補間する、
ことを特徴とする位置計測装置。
【００２６】
（７）上記の（１）〜（３）のいずれか１に記載の位置計測方法を、コンピュータで実行可能に構成したことを特徴とするプログラム。
【００２７】
（８）上記の（１）〜（３）のいずれか１に記載の位置計測方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする記録媒体。
【００２８】
【発明の実施の形態】
（実施形態１）
図１は本発明の請求項１等に関する基本構成図である。本実施形態では、カメラに全方位カメラを利用し、魚眼レンズを使用した全方位カメラ撮像装置の場合を説明するが、六角錘ミラーや双曲線ミラーなどで構成した全方位カメラ撮像装置で取得した時系列画像に対しても適用可能である。
【００２９】
図１の基本構成図について説明する。全方位カメラを使って取得した全方位画像などの映像情報を格納する、または、一時保存するための時系列画像データベース１と、ＧＰＳ受信アンテナなどにより測位情報を取得した際に一時保存するための測位情報データベース２と、時系列画像上の特徴点を時系列に追跡して特徴点の画像座標値を測定する特徴点計測部３と、画像座標値からカメラの運動を復元する運動復元処理部４と、測位情報データベース２から信頼性の高い測位情報を抽出する測位情報抽出部５と、抽出した測位情報もとに、復元したカメラ運動を位置情報として変換する測位情報変換部６と、変換した位置情報により、信頼性の低い測位情報を補間する測位補間部７とから構成される。
【００３０】
これら各部からなる位置計測装置の構成に対応させた位置計測方法は、図２に示す処理Ｓｔｅｐ１〜Ｓｔｅｐ７からなるソフトウェア構成で実現される。
【００３１】
以上の位置計測装置または位置計測方法の詳細を、図３の処理フローを参照して説明する。
【００３２】
まず、時系列画像取得（Ｓｔｅｐ１）のための時系列画像データベース１には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用したり、または、ネットワークを介したリモートなデータ資源を利用する形態でもどちらでも構わない。また、データベース１には、全方位カメラ撮像装置からリアルタイムで画像情報が取り込まれ、画像処理での一時的なデータ保管として利用することもできる。測位情報取得（Ｓｔｅｐ２）には、複数のＧＰＳから得た受信情報から時系列化した測位情報を求め、これらをハードディスク構成などにされる測位情報データベース２に保存可能にする。
【００３３】
さて、特徴点計測（Ｓｔｅｐ３）では、市街地景観を撮影した全方位画像を時系列画像データベース１から取り出し（Ｓ１１）、全方位画像上に特徴点を設定する（Ｓ１２）。
【００３４】
この特徴点設定には、濃淡の１次元的、または、２次元的変化による勾配値が大きくなる画素を検出したり、またはエッジ検出やハフ変換などの画像処理手法により特徴点を自動的に発生させるか、または、オペレータが介在して適当に特徴点をマークするなどして初期画像上に特徴点を配置する。図４の例では、建物の外郭に位置する角点を特徴点として▲印で表している。このとき配置する特徴点の数をＰ個（ｊ＝１、２、…、Ｐ）とし、配置したときの特徴点の２次元座標値として、値（ｘ_１ｊ，ｙ_１ｊ）：ｊ＝１、２、…、Ｐを記録しておく。
【００３５】
次に、初期画像に続く時系列画像をデータベース１から１枚ずつ読み込み、初期画像に配置した特徴点を、時系列画像間の濃淡の変化に着目した手法、特徴点を中心とした画素パターンを各フレーム間の追跡方法、または、全方位画像特有の射影歪みを考慮した手法を駆使して追跡し、各時系列画像（初期画像から第ｉ番目の画像）の特徴点の画像座標値（ｘ_ｉｊ，ｙ_ｉｊ）を計測する（Ｓ１３）。
【００３６】
この計測において、時系列画像を読み出し続けた場合、特徴点が画像間で消失したり、オクルージョンなどにより隠れてしまったときは追跡を停止し、特徴点追跡を終了する（Ｓ１４）。計測可能であった画像座標値は２次元データとしてデータベースＤＢ１に記録する（Ｓ１５）。
【００３７】
特徴点追跡が終了した時点で、読み出した時系列画像の数は、初期画像を含めてＦ枚とする（ｉ＝１，２、…、Ｆ）。図４の例では、シーン１の部分に対応しており、以下では点１ａの位置での全方位画像を初期画像として、点２ａを最終フレームとする例について説明する。
【００３８】
一方、測位情報抽出（Ｓｔｅｐ５）では、測位情報データベース２から特徴点計測部３で測定したフレームに該当する時間の測位情報を取り出す（Ｓ１６）。測位情報は、主として緯度経度、標高、方位などから構成されている。図４に、市街地中の車両の移動に伴う、測位情報（○と●印で示す）と建物外郭に設定する特徴点（▲、口、並びに、■印で示す）の例を示す。
【００３９】
このとき、測位情報抽出では、ＧＰＳ受信データの品質をチェックする（Ｓ１７）。すなわち、測位精度に関する品質、見通しのあるＧＰＳ衛星数、ＤＯＰ（ＤｉｌｕｔｉｏｎｏｆＰｒｅｃｉｓｉｏｎ）値の諸条件を満たすときの測位情報のみを抽出する。この品質チェックを経た測位情報は、日本国内で地理的座標系として一般的に利用されている日本測地系での位置情報に変換する（Ｓ１８）。この位置情報は、一旦、位置情報データベースＤＢ２に一時保存しておく（Ｓ１９）。
【００４０】
図４の例では、点１ａの位置情報と、点２ａの位置情報を位置情報データベースに、時間情報で管理して保存しておく。この位置情報として保存するデータを（Ｇｘ_ｉ，Ｇｙ_ｉ），ｉ＝１，Ｆとする。
【００４１】
次に、運動復元処理（Ｓｔｅｐ４）では、例えば、特願２００２−２９２３６６「全方位カメラ運動と空間情報の復元方法…」の発明を利用して、全方位カメラ視点に関するカメラ運動、すなわち、カメラのＸＹＺ軸方向の並進運動を復元する（Ｓ２０）。このカメラ運動の復元方法は、時系列の全方位画像中において、対象とする画像に配置した特徴点に関する画像座標値の時間的変化量から、全方位カメラ視点の運動を復元する方法であり、詳細には時系列画像上に設定した画像座標系において、各時系列画像中の特徴点の時間的変動量を集計したデータを、カメラ視点の運動を表現する運動行列と、外界の物体の外観を表現する形状行列に分解し、運動行列の成分において、運動を規定するために設定した条件を満足するように変換行列を求め、この変換行列を使って、全方位カメラ視点の並進運動に対応する情報を復元する。
【００４２】
なお、運動復元において、市街地での車両の運動では、カメラの微小な姿勢の変化はあっても、Ｚ軸方向の並進運動（坂道での上り下り）はないものとする。
【００４３】
さらに、カメラ視点と位置情報は一致させている。この位置合わせについては、例えば、特願２００２−３１９２３２「姿勢・位置情報計測方法…」の発明を利用することができる。この位置合わせ方法は、車両などに全方位カメラを搭載し、さらにＧＰＳなどの複数の測位センサからの測位値データを使って位置合わせを行う。このとき、全方位カメラと各測位センサは、時間的に同期がとれており、全方位カメラが撮影する標本点が測位データと、現在の全方位カメラ位置から計算した座標値に射影されるように、全方位カメラの位置を姿勢を調整する。調整が完了すると、各測位センサから得られる測位データから重心計算をして全方位カメラ位置を算出する。
【００４４】
以上の運動復元処理方法を利用して、図４の例では、点１ａの位置から点２ａの位置までのＸＹ並進運動を求めたとする。ここで、並進運動を（Ｔｘ_ｉ，Ｔｙ_ｉ）：ｉ＝１、２、…、Ｆとする。Ｚ方向の値は、点１ａから点２ａの区間で滑らかに一定として、点１ａでの標高値と点２ａでの標高値の平均で埋める。
【００４５】
次に、測位情報変換（Ｓｔｅｐ６）での処理に移行する。まず、位置情報を抽出し（Ｓ２１）、位置情報が２点以上あるかどうかをチェックする（Ｓ２２）。この場合、位置情報データベースＤＢ２に、（Ｇｘ_ｉ，Ｇｙ_ｉ），ｉ＝１，Ｆの２点の位置情報を一時保存してあるため、このチェックを通過する。
【００４６】
このチェックを通過できない場合は、位置情報および運動復元処理（Ｓｔｅｐ４）において求めたカメラ運動を並進運動データベースＤＢ３に一時退避させておき（Ｓ２３）、次のシーンに移行する。
【００４７】
チェックを通過した場合、下記の式（１）の変換係数を求めてこの変換係数から構成されるアフィン変換行列により、式（３）によりＸＹ並進運動（Ｔｘ_ｉ，Ｔｙ_ｉ）；ｉ＝１、２、…、Ｆを（Ｌｘ_ｉ，Ｌｙ_ｉ、Ｌｚ_ｉ）；ｉ＝１，２、…、Ｆに座標変換する（Ｓ２４）。この式で、（Ｇｘ_ｋ，Ｇｙ_ｋ，Ｇｚ_ｋ）は、時系列に従って最初に抽出した第ｋフレームでの位置情報（Ｇｘ_ｋ，Ｇｙ_ｋ，Ｇｚ_ｋ），ｉ＝ｋである。この例ではｋ＝１であり、点１ａから点２ａの区間において、ＧＰＳ品質等が良好という条件を満たす測位データのＺ値（標高）を求める。または、点１ａから点２ａの区間で滑らかに一定値として、点１ａでの標高値を点２ａでの標高値の平均としてもよい。例では、Ｇ_３Ｋ＝（Ｇ_３１＋Ｇ_３Ｆ）／２となる。
【００４８】
同様に、（Ｔｘ_ｋ，Ｔｙ_ｋ）は、位置情報と時間的にリンクする第ｋフレームでのＸＹ並進運動（Ｔｘ_ｋ，Ｔｙ_ｋ），ｉ＝ｋ（この例ではｋ＝１）である。また、位置情報データベースＤＢ２に記憶してある時間のときのＸＹ並進運動と位置情報から係数ａとｂを求めるため、ＸＹ並進運動を（Ｔｘ_ｌ，Ｔｙ_ｌ），ｌ＝１、２位置情報を（Ｇｘ_ｌ，Ｇｙ_ｌ，Ｇｚ_ｌ），ｌ＝１、２としている。ここで、ｌは、保存されている位置情報に対して、新たに時間順に振り直した番号である。
【００４９】
なお、３個以上（Ｌ個）、位置情報がある場合は、式（２）に基づいて係数ａとｂを求める。式中の行列の右肩の＋記号は、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ型逆行列を意味する。
【００５０】
【数１】

【００５１】
【数２】

【００５２】
【数３】

【００５３】
（Ｌｘ_ｉ，Ｌｙ_ｉ、Ｌｚ_ｉ）；ｉ＝１、２、…、Ｆに変換したデータは、位置情報として位置情報データベースＤＢ２に保存する（Ｓ２５）。さらに、状態フラグ処理（後述）を行い（Ｓ２６）、状態フラグを設定して処理を終了する（Ｓ２７）。
【００５４】
状態フラグは、下記の表で示すように、３通りの状態を表すためのビット情報である。本実施形態では、状態フラグの値が０に対応する。
【００５５】
【表１】

【００５６】
以上、本発明の実施形態により、全方位映像の特徴点の時間的動きを使って、全方位カメラ視点の並進運動を復元し、市街地空間での高精度な位置情報を求めることができ、測位情報が正確に得られない区間においても、車両（視点）の位置を正確に同定することができる。
【００５７】
（実施形態２）
本発明の請求項２等に関する実施形態について説明する。なお、実施形態１に対して、図３における、位置情報が２点以上ない場合の処理が追加されるので、この部分のみを説明する。
【００５８】
実施形態１の特徴点計測（Ｓｔｅｐ３）において、□印を付けた特徴点の追跡を行い、図４では点Ｘ２の次の点の位置以降で特徴点を追跡できなかったとする（図４のシーン２）。このとき、実施形態１と同様に、画像座標値から、運動復元処理において、カメラの並進運動を復元する。復元した並進運動を（Ｔｘ_ｉ、Ｔｙ_ｉ）；ｉ＝１、２、…、Ｍとする。そして、位置情報を抽出したときに、位置情報の数が２点未満と判定されるので、復元したカメラの並進運動を一時的に記憶、または、保存しておく（Ｓ２３）。
【００５９】
次に、シーン２の前半、または、後半において、位置情報が存在するかチェックする（Ｓ２８）。シーン２の場合、先頭の頭に位置情報があり、それ以降は全て測位情報の信頼性が低い状態にある。つまり、後フレームの並進運動、すなわち、点Ｘ１と点Ｘ２の位置での並進運動（Ｔｘ_ｐ２，Ｔｙ_ｐ２）と（Ｔｘ_ｑ２，Ｔｙ_ｑ２）を一時的に格納しておく（Ｓ２９）。次に、図５に示すように、状態フラグの内容を参照し、この事例では、状態フラグに０が立っているが、区間を補間できないので、何も処理せず（処理０）、状態フラグに１を立てて処理を終了する。
【００６０】
引き続いて、次のシーンに対する処理を進行させる。状態フラグ値が１のままなので、初期画像を点Ｘ１での全方位画像にセットする。実施形態１の特徴点計測において、■印を付けた特徴点を特徴点追跡を行い、図４では点４ａの次の点の位置以降で特徴点を追跡できなかったとする（図４のシーン３）。
【００６１】
このとき、実施形態１と同様に、画像座標値から、運動復元処理において、カメラの並進運動を復元する。ここで、ＸＹ並進運動を（Ｔｘ_ｉ，Ｔｙ_ｉ）；ｉ＝１、２、…、Ｎとする。そして、位置情報を抽出したときに、位置情報の数が２点未満と判定されるので、復元したカメラの並進運動を一時的に記憶、または、保存しておく。
【００６２】
次に、シーン３の前半、または、後半において、位置情報が存在するかチェックする。シーン３の場合、末尾に位置情報があり、それより前方では全て測位情報の信頼性が低い状態にある。つまり、前フレームの並進運動、すなわち、点Ｘ１と点Ｘ２の位置での並進運動（Ｔｘ_ｐ３，Ｔｙ_ｐ３）と（Ｔｘ_ｑ３，Ｔｙ_ｑ３）を一時的に格納しておく（Ｓ３０）。そして、図５に示すように、状態フラグの内容を参照して、この事例では、先の辞令からの続きで状態フラグに１が立っていることになる。状態フラグ処理では、処理１を実行する。
【００６３】
まず、先に一時保存しておいた（Ｔｘ_ｐ２，Ｔｙ_ｐ２）と（Ｔｘ_ｑ２，Ｔｙ_ｑ２）を取り出し、（Ｔｘ_ｐ３，Ｔｙ_ｐ３）と（Ｔｘ_ｑ３，Ｔｙ_ｑ３）との間で式（４）に示すような変換行列［Ａ］を求める。さらに、式（５）によりシーン２での並進運動の延長上という位置付けで、シーン３の並進運動を統合し、統合し、された後の並進運動を（Ｔ”ｘ_ｉ，Ｔ”ｙ_ｉ）：ｉ＝１、２、…、Ｍ＋Ｎを得る。この統合により、先頭と末尾で合計２点の信頼性の高い位置情報を確保したことになるので、実施形態１と同様に、日本測地系での位置情報に変換でき、シーン２とシーン３の区間を補間することができる。この処理１が終了すると、状態フラグを０としておく。
【００６４】
【数４】

【００６５】
【数５】

【００６６】
以上のように、信頼性の高い測位情報が２点以下の場合でも、シーン間を接続した並進運動を復元し、各視点での位置情報を補間することが可能となる。
【００６７】
なお、本発明は、図２に示した方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００６８】
【発明の効果】
以上ように、本発明によれば、全方位カメラを使ってその運動を復元することにより、ＧＰＳセンサ等による測位データが欠落する区間においても、測位情報を高精度に補間した位置測定ができる。
【図面の簡単な説明】
【図１】本発明の実施形態１を示す位置計測装置の基本構成図。
【図２】本発明の位置計測方法の基本構成図。
【図３】本発明の位置計測方法の詳細な処理フロー。
【図４】実施形態における市街地中の測位情報取得を説明する図。
【図５】本発明の実施形態２の要部処理フロー。
【図６】市街地中の測位情報取得を説明する図。
【符号の説明】
１…時系列画像データベース
２…測位情報データベース
３…特徴点計測部
４…運動復元処理部
５…測位情報抽出部
６…測位情報変換部
７…測位補間部[0001]
TECHNICAL FIELD OF THE INVENTION
INDUSTRIAL APPLICABILITY The present invention can be used for general outdoor time-series images acquired using an image input device such as a camera, and performs car navigation, GPS (Global Positioning System) by restoring translational motion related to a camera viewpoint from the time-series images. The present invention relates to a position measurement method and apparatus used for autonomous navigation measurement, self-position estimation, self-position identification, and the like used in services and the like.
[0002]
In particular, an omnidirectional camera that can capture 360-degree landscape information at a time can be suitably used.
[0003]
[Prior art]
In the field of computer vision, camera motion can be restored and self-position can be estimated from time-series images by a motion analysis method using epipolar surface analysis or a method using factor decomposition. However, in a time-series image captured by a camera with a narrow viewing angle using a moving means, etc., it is difficult to acquire images seamlessly due to the environment at the time of shooting, minute movement of the shooting camera, It is difficult to recognize the translational motion and the rotational motion, and random noise is mixed in the time-series image, so that it becomes more difficult to accurately restore the minute translational motion and the rotational motion. When a camera having a finite angle of view is used, the subject moves in or out of the frame, and it is difficult to restore the rotational motion of the camera globally or for a long time. In order to avoid such a finite angle of view, an omnidirectional camera may be used as a means for acquiring a 360-degree landscape at a time.
[0004]
On the other hand, in the outdoors, it is possible to measure a state related to position information and orientation information of image input by using a positioning information acquisition device such as a GPS, a differential GPS, and a gyro sensor, which have recently become highly accurate (for example, Non-Patent Document 1). The car navigation and the GPS service also have a function of using such positioning acquisition information to provide the position of the vehicle to the user and perform automatic navigation such as a destination.
[0005]
However, it is not possible to accurately measure the positioning value in places where the differential GPS reception condition is poor. Therefore, in the past technologies, measures such as data interpolation by autonomous navigation measurement using gyro sensors, magnetic sensors, vehicle speed sensors, etc. were taken. Has been taken.
[0006]
Further, in car navigation, when the positioning value is not accurate while the map information is held, the current position is corrected by a process such as map matching (for example, see Non-Patent Document 2).
[0007]
However, in such autonomous navigation measurement, it is difficult to accurately detect the camera attitude with respect to sudden and minute shaking of the moving observation means. Further, in a location such as an urban area, the current technology is that, as a condition for acquiring high-quality GPS data, measurement of positional information in an urban area is limited during a time zone when the geometric arrangement of GPS satellites is arranged. .
[0008]
There are various documents as position measurement methods related to the present invention (for example, Non-Patent Document 3 and Non-Patent Document 4).
[0009]
[Non-patent document 1]
"Special Feature: Various Next-Generation GPS Positioning Methods", Information Processing, Information Processing Society of Japan, 2002 Vol. 43, No. 8, p. 827-859
[0010]
[Non-patent document 2]
Pioneer Co., Ltd .: “Mechanism for finding the current location”, [online], June 26, 2001, Pioneer Co., Ltd. [searched October 15, 2002], Internet <URL: http // www. pioneer. co. jp / e-place / 03102. html>
[0011]
[Non-Patent Document 3]
Daisuke Sekimori, Tomoya Usui, Yasuhiro Masuya, Fumio Miyazaki, High-Speed Obstacle Avoidance and Self-Localization of Mobile Robot Based on Floor Area on Omnidirectional Image ", Transactions of the Japan Society of Information Processing, Information Processing Society of Japan, 2001, Vol.42, No.SIG13 (CVIM3), p.110-118
[0012]
[Non-patent document 4]
P. Chang and M.S. Herbert, "Omni-directional Structure From Motion", Proceedings of IEEE Workshop on Omnidirectional Vision, IEEE, 2000, p. 127-133
[0013]
[Problems to be solved by the invention]
In general, when estimating and analyzing camera motion from a time-series image acquired from a camera with a narrow viewing angle, it is necessary to accurately recognize small camera motion and noise due to the influence of random noise mixed into the time-series image. Was not easy. On the other hand, a robot that acquires a time-series image of an outdoor landscape using a means for observing a 360-degree landscape at a time, such as an omnidirectional camera, and estimates the self-position and the self-position motion from the omnidirectional image Although there is a route selection method and obstacle avoidance method (for example, see Non-Patent Document 3), it is difficult to obtain an accuracy sufficient for use in an outdoor environment or the like (for example, see Non-Patent Document 4). .
[0014]
On the other hand, when performing position information measurement using a GPS positioning acquisition device or the like, it is limited to a geometrical arrangement of GPS satellites or a time zone in which positioning conditions are good. In addition, in an environment surrounding the position measurement, there are many street trees in an urban area in general, and in an outdoor environment where a high-rise building is not easily seen, positioning using a GPS sensor is disadvantageous.
[0015]
FIG. 6 shows a diagram in which a vehicle passes through an urban area. In this example, the vehicle turns left at intersection A, passes through intersection B, and travels to intersection C. At this time, if the GPS positioning acquisition device is used, each current position can be measured as indicated by the mark ●. However, the vehicle is turned around the intersection A, and from around the point 1a to the point 1b, a building shadow by surrounding buildings influences, and it becomes difficult to normally receive the positioning data. Alternatively, since a sufficient number of satellites for GPS positioning cannot be captured, accurate position information cannot be obtained. That is, after the point 1b, sufficient positioning data for three-dimensional positioning cannot be accurately received, as indicated by the circles. However, around points 2b and 2a near the intersection B, the visibility is improved, and the positioning data can be received again. Similarly, the positioning data may not be entered from around points 3a and 3b due to the influence of the surrounding buildings, but the positioning data may be received again from around points 4b and 4a.
[0016]
In the current car navigation system (Non-Patent Document 2 described above), when positioning data is missing, map information is held, a sensor device such as a vehicle speed sensor is input, and map matching with the held map is performed. The current position is specified.
[0017]
However, the map information is not always accurate, and the layout of the outdoor building changes when the building is rebuilt or newly constructed. Therefore, the map information needs to be updated. In addition, positioning data can be interpolated by autonomous navigation measurement using a vehicle speed sensor and gyro sensor, but it is difficult to grasp even minute movements of the vehicle, and it is difficult to accurately specify the current position .
[0018]
Accordingly, an object of the present invention is to provide a position measurement method and apparatus capable of grasping the movement using an omnidirectional camera and performing position measurement by interpolating a section in which positioning data is not accurate with an accuracy as high as positioning data accuracy. And a recording medium storing the program.
[0019]
[Means for Solving the Problems]
The present invention makes it possible to restore the motion in the city from a time-series image of the cityscape acquired using an omnidirectional camera, and to use the data as GPS positioning data. It can be used as accurate position information, can be used for road guidance services such as car navigation, and can also be used as position information of positioning position in surveying in building shape measurement and space measurement. And the following method, apparatus, program, and recording medium.
[0020]
(1) The motion of the camera viewpoint in the time series is restored from the temporal change in the image coordinate values of the feature points arranged in the time-series image acquired by the image input device, and the positioning information acquired by the positioning measurement device is restored. A position measurement method that autonomously interpolates for poor positioning information,
Of the positioning information to be obtained, data with high data reliability or only high-quality positioning information is extracted, and a frame corresponding to the positioning information extracted in the image motion restored from the temporal motion of the feature point in the image is extracted. A first step of extracting image motions and performing a conversion process between them;
In the positioning information, a second process of interpolating with the image motion after the conversion obtained in the above process for the positioning information having low data reliability or low data quality,
A position measurement method comprising:
[0021]
(2) In the above (1), when only positioning information with high data reliability or high data quality is extracted from the obtained positioning information,
In order to perform conversion processing between positioning information and image motion, when it is determined that the extracted positioning information is insufficient or insufficient, data reliability is low in the positioning information, or For low-quality positioning information, set the state that sufficient information for interpolation is not obtained,
Or, when it is determined that the extracted positioning information is sufficient or sufficient to perform the conversion process between the positioning information and the image motion, data reliability is low in the positioning information, or For low-quality positioning information, perform state setting that sufficient positioning information for interpolation has been obtained.
A position measuring method, characterized in that:
[0022]
(3) In the above (1), when extracting only highly reliable or high quality data among the acquired positioning information,
In order to perform the conversion process between positioning information and image motion, when it is determined that the positioning information to be extracted is insufficient or insufficient, data reliability is low in the positioning information, or For low-quality positioning information, set the state that sufficient information for interpolation is not obtained,
In the subsequent video scenes, until the positioning information sufficient to interpolate is obtained, the state setting that sufficient information is not obtained for interpolation is performed, and when it is determined that the interpolation can be performed by referring to the state, Integrating the image motions up to as a continuous series of image motions, and interpolating a section of the positioning information having low data reliability or low data quality among the positioning information by the first process,
A position measuring method, characterized in that:
[0023]
(4) The motion of the camera viewpoint in the time series is restored from the temporal change amount of the image coordinate values of the feature points arranged in the time-series image obtained by the image input device, and the positioning information obtained by the positioning measurement device is restored. A position measurement device that autonomously interpolates for defective positioning information,
Of the positioning information to be obtained, data with high data reliability or only high-quality positioning information is extracted, and a frame corresponding to the positioning information extracted in the image motion restored from the temporal motion of the feature point in the image is extracted. First means for extracting image motion and performing a conversion process between them;
In the positioning information, data reliability is low, or, for positioning information of low data quality, a second means to interpolate with the converted image motion obtained by the means,
A position measuring device comprising:
[0024]
(5) In the above (4), when only positioning information with high data reliability or high data quality is extracted from the obtained positioning information,
In order to perform conversion processing between positioning information and image motion, when it is determined that the extracted positioning information is insufficient or insufficient, data reliability is low in the positioning information, or For low-quality positioning information, set the state that sufficient information for interpolation is not obtained,
Or, when it is determined that the extracted positioning information is sufficient or sufficient to perform the conversion process between the positioning information and the image motion, data reliability is low in the positioning information, or For low-quality positioning information, perform state setting that sufficient positioning information for interpolation has been obtained.
A position measuring device characterized by the above-mentioned.
[0025]
(6) In the above (4), when extracting only reliable positioning information or high data quality among the acquired positioning information,
In order to perform the conversion process between positioning information and image motion, when it is determined that the positioning information to be extracted is insufficient or insufficient, data reliability is low in the positioning information, or For low-quality positioning information, set the state that sufficient information to interpolate is not obtained,
In the subsequent video scenes, until the positioning information sufficient to interpolate is obtained, the state setting that sufficient information is not obtained for interpolation is performed, and when it is determined that the interpolation can be performed by referring to the state, Integrating the image motions up to as a continuous series of image motions, and interpolating a section of the positioning information with low data reliability or low data quality among the positioning information by the first means,
A position measuring device characterized by the above-mentioned.
[0026]
(7) A program wherein the position measuring method according to any one of (1) to (3) is configured to be executable by a computer.
[0027]
(8) A recording medium on which a program configured to execute the position measurement method according to any one of (1) to (3) by a computer is recorded.
[0028]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
FIG. 1 is a basic configuration diagram according to claim 1 of the present invention. In the present embodiment, an omnidirectional camera is used as a camera, and a case of an omnidirectional camera imaging device using a fisheye lens will be described, but a time series acquired by an omnidirectional camera imaging device configured with a hexagonal pyramid mirror or a hyperbolic mirror etc. It is also applicable to images.
[0029]
The basic configuration diagram of FIG. 1 will be described. A time-series image database 1 for storing or temporarily storing video information such as an omnidirectional image obtained using an omnidirectional camera, and a temporary storage when positioning information is obtained by a GPS receiving antenna or the like. A positioning information database 2, a feature point measurement unit 3 that tracks feature points on a time-series image in time series and measures image coordinate values of the feature points, and a motion restoration processing unit that restores a camera motion from the image coordinate values 4, a positioning information extracting unit 5 for extracting highly reliable positioning information from the positioning information database 2, a positioning information converting unit 6 for converting the restored camera motion as position information based on the extracted positioning information, And a positioning interpolating unit 7 for interpolating low-reliability positioning information based on the obtained position information.
[0030]
A position measurement method corresponding to the configuration of the position measurement device including these units is realized by a software configuration including processing Steps 1 to 7 illustrated in FIG.
[0031]
The details of the above position measuring device or position measuring method will be described with reference to the processing flow of FIG.
[0032]
First, a time-series image database 1 for obtaining a time-series image (Step 1) uses a recording medium such as a hard disk, a RAID device, or a CD-ROM, or uses a remote data resource via a network. It may be in either form. In addition, the database 1 is loaded with real-time image information from an omnidirectional camera imaging device, and can be used as temporary data storage for image processing. In the positioning information acquisition (Step 2), time-series positioning information is obtained from reception information obtained from a plurality of GPSs, and these can be stored in the positioning information database 2 configured as a hard disk or the like.
[0033]
In the feature point measurement (Step 3), an omnidirectional image of the cityscape is taken out from the time-series image database 1 (S11), and feature points are set on the omnidirectional image (S12).
[0034]
In this feature point setting, a pixel whose gradient value increases due to a one-dimensional or two-dimensional change in shading is detected, or a feature point is automatically generated by an image processing method such as edge detection or Hough transform. Then, the feature points are arranged on the initial image by appropriately marking the feature points with the intervention of an operator. In the example of FIG. 4, corner points located on the outer periphery of the building are represented by ▲ marks as feature points. The number of feature points to be arranged at this time is P (j = 1, 2,..., P), and two-dimensional coordinate values of the feature points at the time of arrangement are values (x _1j , y _1j ): j = 1, 2, ..., P are recorded.
[0035]
Next, the time series images subsequent to the initial image are read one by one from the database 1 and the feature points arranged in the initial image are identified by a method focusing on the change in shading between the time series images, and a pixel pattern centered on the feature points. Tracking is performed using a tracking method between frames or a method that considers projection distortion peculiar to an omnidirectional image, and image coordinate values (x) of feature points of each time-series image (the i-th image from the initial image). _ij , y _ij ) are measured (S13).
[0036]
In this measurement, when the time-series images are continuously read out, if the feature points disappear between the images or are hidden by occlusion or the like, the tracking is stopped, and the feature point tracking ends (S14). The measurable image coordinate values are recorded as two-dimensional data in the database DB1 (S15).
[0037]
When the feature point tracking is completed, the number of the read time-series images is F including the initial image (i = 1, 2,..., F). The example of FIG. 4 corresponds to the scene 1 part. Hereinafter, an example will be described in which the omnidirectional image at the position of the point 1a is set as the initial image and the point 2a is set as the last frame.
[0038]
On the other hand, in the positioning information extraction (Step 5), the positioning information of the time corresponding to the frame measured by the feature point measuring unit 3 is extracted from the positioning information database 2 (S16). The positioning information mainly includes latitude and longitude, altitude, azimuth, and the like. FIG. 4 shows an example of positioning information (indicated by ○ and ●) and characteristic points (indicated by ▲, mouth, and ■) set in a building outline accompanying the movement of a vehicle in an urban area.
[0039]
At this time, in the positioning information extraction, the quality of the GPS reception data is checked (S17). That is, only the positioning information when various conditions of the quality related to the positioning accuracy, the number of visible GPS satellites, and the DOP (Dilution of Precision) value are satisfied are extracted. The positioning information that has undergone this quality check is converted into position information in the Japanese geodetic system, which is generally used as a geographical coordinate system in Japan (S18). This position information is temporarily stored in the position information database DB2 (S19).
[0040]
In the example of FIG. 4, the position information of the point 1a and the position information of the point 2a are managed and stored in the position information database using time information. The data to be stored as the position information _(Gx _i, Gy _i), and i = 1, F.
[0041]
Next, in the motion restoring process (Step 4), for example, using the invention of Japanese Patent Application No. 2002-292366 “Method of restoring omnidirectional camera motion and spatial information ...”, the camera motion related to the omnidirectional camera viewpoint, that is, the camera motion The translational motion in the XYZ axis directions is restored (S20). This method of restoring the camera motion is a method of restoring the motion of the omnidirectional camera viewpoint from the temporal change amount of the image coordinate values related to the feature points arranged in the target image in the time-series omnidirectional image, In detail, in the image coordinate system set on the time series image, data summing up the temporal variation of the feature points in each time series image is converted into a motion matrix that expresses the motion of the camera viewpoint, and the appearance of the external object Is decomposed into a shape matrix that expresses, and in the components of the motion matrix, a transformation matrix is obtained so as to satisfy the conditions set for defining the motion, and this translation matrix is used to support the translational motion of the omnidirectional camera viewpoint Restore the information you want.
[0042]
In the motion restoration, in the motion of the vehicle in the city area, it is assumed that there is no translational motion in the Z-axis direction (up and down on a slope) even though the camera has a slight change in attitude.
[0043]
Further, the camera viewpoint and the position information are matched. For this alignment, for example, the invention of Japanese Patent Application No. 2002-319232 “Attitude / position information measurement method...” Can be used. In this positioning method, an omnidirectional camera is mounted on a vehicle or the like, and positioning is performed using positioning value data from a plurality of positioning sensors such as GPS. At this time, the omnidirectional camera and each positioning sensor are synchronized in time, so that the sample points captured by the omnidirectional camera are projected on the positioning data and the coordinate values calculated from the current omnidirectional camera position. Then, adjust the position and orientation of the omnidirectional camera. When the adjustment is completed, the omnidirectional camera position is calculated by calculating the center of gravity from the positioning data obtained from each positioning sensor.
[0044]
In the example of FIG. 4, it is assumed that the XY translational movement from the position of the point 1a to the position of the point 2a is obtained by using the above-described motion restoring processing method. Here, the translation _{_{(Tx i, Ty i):}} i = 1,2, ..., and F. The value in the Z direction is made smooth and constant in the section from point 1a to point 2a, and is filled with the average of the altitude value at point 1a and the altitude value at point 2a.
[0045]
Next, the processing shifts to the processing in the positioning information conversion (Step 6). First, position information is extracted (S21), and it is checked whether or not there are two or more position information (S22). In this case, the position information database _DB2, for _{(Gx i, Gy i),} i = 1, are temporarily stored the position information of the two points F, passes through the check.
[0046]
If this check cannot be passed, the position information and the camera motion obtained in the motion restoration process (Step 4) are temporarily saved in the translation motion database DB3 (S23), and the process moves to the next scene.
[0047]
When passing through the check, the affine transformation matrix composed of the transform coefficients seeking transform coefficients of equation (1) below, XY translation by the formula _{_{(3) (Tx i, Ty}} i); i = 1, 2, ..., a _{_{_{F (Lx i, Ly i,}}} Lz i); i = 1,2, ..., a coordinate conversion of F (S24). In this equation, (Gx _k , Gy _k , Gz _k ) is position information (Gx _k , Gy _k , Gz _k ) in the k-th frame first extracted according to the time series, and i = k. In this example, k = 1, and the Z value (elevation) of the positioning data that satisfies the condition of good GPS quality and the like is obtained in the section from point 1a to point 2a. Alternatively, the altitude at the point 1a may be an average of the altitudes at the point 2a, with the altitude at the point 1a being a smooth constant value in the section from the point 1a to the point 2a. In the example, G _3K = (G ₃₁ + G _3F ) / 2.
[0048]
Similarly, (Tx _k , Ty _k ) is the XY translation (Tx _k , Ty _k ) in the k-th frame temporally linked to the position information, i = k (k = 1 in this example). Further, for obtaining the coefficients a and b from the XY translation with the position information when the time which is stored in the position information database DB2, the XY translation _(Tx _l, Ty _l), the l = 1, 2 position information _{_{_{(Gx l, Gy l, Gz}}} l), is set to l = 1, 2. Here, l is a number newly re-ordered in time order with respect to the stored position information.
[0049]
When there are three or more (L) pieces of position information, coefficients a and b are obtained based on equation (2). The + sign at the right shoulder of the matrix in the formula means a Moore-Penrose type inverse matrix.
[0050]
(Equation 1)

[0051]
(Equation 2)

[0052]
[Equation 3]

[0053]
_{_{_{(Lx i, Ly i, Lz}}} i); i = 1,2, ..., data converted into F is stored in the location information database DB2 as position information (S25). Further, a status flag process (described later) is performed (S26), and a status flag is set, and the process ends (S27).
[0054]
The state flag is bit information for representing three states as shown in the following table. In the present embodiment, the value of the status flag corresponds to 0.
[0055]
[Table 1]

[0056]
As described above, according to the embodiment of the present invention, by using the temporal movement of the feature points of the omnidirectional image, the translational motion of the omnidirectional camera viewpoint can be restored, and highly accurate position information in the city space can be obtained. Even in a section where information cannot be obtained accurately, the position of the vehicle (viewpoint) can be accurately identified.
[0057]
(Embodiment 2)
An embodiment according to claim 2 of the present invention will be described. It should be noted that a process in the case where there is no more than two points in FIG. 3 in FIG. 3 is added to the first embodiment, so only this portion will be described.
[0058]
In the feature point measurement (Step 3) of the first embodiment, the feature points marked with □ are tracked, and in FIG. 4, the feature points cannot be tracked after the position of the point next to the point X2 (the scene in FIG. 4). 2). At this time, as in the first embodiment, the translational motion of the camera is restored from the image coordinate values in the motion restoring process. The restored translation _{_{(Tx i, Ty i);}} i = 1,2, ..., a M. Then, when the position information is extracted, it is determined that the number of the position information is less than two points, so that the restored translational motion of the camera is temporarily stored or stored (S23).
[0059]
Next, it is checked whether position information exists in the first half or the second half of the scene 2 (S28). In the case of scene 2, there is position information at the beginning of the scene, and thereafter, the reliability of the positioning information is all low. That is, the rear frame of the translational movement, i.e., temporarily storing translation at the position of the point X1 and a point X2 _(Tx _{p2, Ty} p2) and a _{_{(Tx q2, Ty q2) (}} S29). Next, as shown in FIG. 5, by referring to the contents of the status flag, in this case, although the status flag is set to 0, since no section can be interpolated, no processing is performed (processing 0), and the status flag is not processed. Is set to 1 and the process ends.
[0060]
Subsequently, the process for the next scene proceeds. Since the state flag value remains 1, the initial image is set to the omnidirectional image at the point X1. In the feature point measurement according to the first embodiment, the feature point tracking is performed on the feature point marked with a triangle. In FIG. 4, it is assumed that the feature point cannot be tracked after the position of the point next to the point 4a (scene 3 in FIG. 4). ).
[0061]
At this time, as in the first embodiment, the translational motion of the camera is restored from the image coordinate values in the motion restoring process. Here, the XY translation _{_{(Tx i, Ty i);}} i = 1,2, ..., a N. Then, when the position information is extracted, it is determined that the number of the position information is less than two points. Therefore, the restored translational motion of the camera is temporarily stored or stored.
[0062]
Next, it is checked whether position information exists in the first half or the second half of scene 3. In the case of the scene 3, the position information is at the end, and the position information is less reliable ahead of the position information. That is, the translation motion of the previous frame, that is, the translation motions (Tx _p3 , Typ ₃ ) and (Tx _q3 , Ty _q3 ) at the positions of the points X1 and X2 are temporarily stored (S30). Then, as shown in FIG. 5, referring to the contents of the status flag, in this case, 1 is set in the status flag following the previous resignation. In the status flag process, process 1 is executed.
[0063]
First, (Tx _p2 , Ty _p2 ) and (Tx _q2 , Ty _q2 ) which have been temporarily stored earlier are extracted, and the equation (4) is _calculated between (Tx _p3 , Typ ₃ ) and (Tx _q3 , Ty _q3 ). ) Is obtained. Further, the formula (5) positioned as an extension of the translational motion in the scene 2, integrating the translational motion of the scene 3, integrated, by translational motion of after _{(T "x i, T"} y i) : I = 1, 2,..., M + N are obtained. As a result of this integration, a total of two highly reliable position information at the beginning and end are secured, so that the position information can be converted into position information in the Japanese geodetic system, as in the first embodiment. Sections can be interpolated. When this process 1 is completed, the status flag is set to 0.
[0064]
(Equation 4)

[0065]
(Equation 5)

[0066]
As described above, even when the number of highly reliable positioning information is two or less, the translational motion connecting the scenes can be restored, and the position information at each viewpoint can be interpolated.
[0067]
In the present invention, some or all of the processing functions of the method illustrated in FIG. 2 can be configured as a program and executed by a computer. Also, a computer-readable recording medium such as a flexible disk, an MO, a ROM, and a memory card may be used to execute a program for realizing the processing function of each unit in the computer or a program for causing the computer to execute the processing procedure. , A CD, a DVD, a removable disk, or the like, and can be stored or provided, and can be distributed via a communication network such as the Internet.
[0068]
【The invention's effect】
As described above, according to the present invention, by recovering the motion using the omnidirectional camera, even in a section where positioning data from the GPS sensor or the like is missing, position measurement can be performed by interpolating the positioning information with high accuracy.
[Brief description of the drawings]
FIG. 1 is a basic configuration diagram of a position measuring device according to a first embodiment of the present invention.
FIG. 2 is a basic configuration diagram of a position measurement method according to the present invention.
FIG. 3 is a detailed processing flow of the position measurement method of the present invention.
FIG. 4 is an exemplary view for explaining acquisition of positioning information in an urban area according to the embodiment;
FIG. 5 is a main part processing flow according to the second embodiment of the present invention.
FIG. 6 is a diagram illustrating acquisition of positioning information in an urban area.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Time series image database 2 ... Positioning information database 3 ... Feature point measuring part 4 ... Motion restoration processing part 5 ... Positioning information extracting part 6 ... Positioning information converting part 7 ... Positioning interpolating part

Claims

The motion of the camera viewpoint in the time series is restored from the temporal change amount of the image coordinate values of the feature points arranged in the time series image obtained by the image input device, and the position information obtained by the positioning measurement device is determined to be defective. Is a position measurement method that autonomously interpolates for various positioning information,
Of the positioning information to be obtained, data with high data reliability or only high-quality positioning information is extracted, and a frame corresponding to the positioning information extracted in the image motion restored from the temporal motion of the feature point in the image is extracted. A first step of extracting image motions and performing a conversion process between them;
In the positioning information, a second process of interpolating with the image motion after the conversion obtained in the above process for the positioning information having low data reliability or low data quality,
A position measurement method comprising:

In claim 1, when extracting only high-reliability or high-quality positioning information from the obtained positioning information,
In order to perform conversion processing between positioning information and image motion, when it is determined that the extracted positioning information is insufficient or insufficient, data reliability is low in the positioning information, or For low-quality positioning information, set the state that sufficient information for interpolation is not obtained,
Or, when it is determined that the extracted positioning information is sufficient or sufficient to perform the conversion process between the positioning information and the image motion, data reliability is low in the positioning information, or For low-quality positioning information, perform state setting that sufficient positioning information for interpolation has been obtained.
A position measuring method, characterized in that:

In claim 1, when extracting only highly reliable or high-quality data positioning information from the obtained positioning information,
In order to perform the conversion process between positioning information and image motion, when it is determined that the positioning information to be extracted is insufficient or insufficient, data reliability is low in the positioning information, or For low-quality positioning information, set the state that sufficient information for interpolation is not obtained,
In the subsequent video scenes, until the positioning information sufficient to interpolate is obtained, the state setting that sufficient information is not obtained for interpolation is performed, and when it is determined that the interpolation can be performed by referring to the state, Integrating the image motions up to as a continuous series of image motions, and interpolating a section of the positioning information having low data reliability or low data quality among the positioning information by the first process,
A position measuring method, characterized in that:

The motion of the camera viewpoint in the time series is restored from the temporal change amount of the image coordinate values of the feature points arranged in the time series image obtained by the image input device, and the position information obtained by the positioning measurement device is determined to be defective. A position measuring device that autonomously interpolates for various positioning information,
Of the positioning information to be obtained, data with high data reliability or only high-quality positioning information is extracted, and a frame corresponding to the positioning information extracted in the image motion restored from the temporal motion of the feature point in the image is extracted. First means for extracting image motion and performing a conversion process between them;
In the positioning information, data reliability is low, or, for positioning information of low data quality, a second means to interpolate with the converted image motion obtained by the means,
A position measuring device comprising:

In claim 4, when extracting only the positioning information with high data reliability or the high data quality among the positioning information to be acquired,
In order to perform conversion processing between positioning information and image motion, when it is determined that the extracted positioning information is insufficient or insufficient, data reliability is low in the positioning information, or For low-quality positioning information, set the state that sufficient information for interpolation is not obtained,
Or, when it is determined that the extracted positioning information is sufficient or sufficient to perform the conversion process between the positioning information and the image motion, data reliability is low in the positioning information, or For low-quality positioning information, perform state setting that sufficient positioning information for interpolation has been obtained.
A position measuring device characterized by the above-mentioned.

In claim 4, when extracting only reliable positioning information or high data quality positioning information among the acquired positioning information,
In order to perform the conversion process between positioning information and image motion, when it is determined that the positioning information to be extracted is insufficient or insufficient, data reliability is low in the positioning information, or For low-quality positioning information, set the state that sufficient information to interpolate is not obtained,
In the subsequent video scenes, until the positioning information sufficient to interpolate is obtained, the state setting that sufficient information is not obtained for interpolation is performed, and when it is determined that the interpolation can be performed by referring to the state, Integrating the image motions up to as a continuous series of image motions, and interpolating a section of the positioning information with low data reliability or low data quality among the positioning information by the first means,
A position measuring device characterized by the above-mentioned.

A non-transitory computer-readable storage medium storing a program configured to execute the position measuring method according to claim 1 on a computer.

A recording medium characterized by recording a program configured to execute the position measuring method according to claim 1 on a computer.