JP2006250917A - 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 - Google Patents
高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 Download PDFInfo
- Publication number
- JP2006250917A JP2006250917A JP2005110780A JP2005110780A JP2006250917A JP 2006250917 A JP2006250917 A JP 2006250917A JP 2005110780 A JP2005110780 A JP 2005110780A JP 2005110780 A JP2005110780 A JP 2005110780A JP 2006250917 A JP2006250917 A JP 2006250917A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- dimensional
- point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims abstract description 278
- 238000012937 correction Methods 0.000 claims abstract description 205
- 230000001360 synchronised effect Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 312
- 238000000034 method Methods 0.000 claims description 97
- 238000009826 distribution Methods 0.000 claims description 54
- 230000008859 change Effects 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 38
- 230000033001 locomotion Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 26
- 238000009825 accumulation Methods 0.000 claims description 17
- 238000004519 manufacturing process Methods 0.000 claims description 17
- 230000010354 integration Effects 0.000 claims description 16
- 230000008878 coupling Effects 0.000 claims description 15
- 238000010168 coupling process Methods 0.000 claims description 15
- 238000005859 coupling reaction Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000003111 delayed effect Effects 0.000 claims description 4
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 abstract description 96
- 238000010586 diagram Methods 0.000 description 44
- 239000003550 marker Substances 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 239000000203 mixture Substances 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008094 contradictory effect Effects 0.000 description 3
- 239000005433 ionosphere Substances 0.000 description 3
- 230000000087 stabilizing effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000255749 Coccinellidae Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002484 cyclic voltammetry Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Abstract
【解決手段】 移動体の周辺のビデオ映像を取得するとともに、移動体の位置計測データを計測する移動体計測部10と、取得されたビデオ映像からカメラの三次元位置及び3軸回転位置を示すCVデータを生成するとともに、計測された位置計測データを取得するデータ生成部20と、CVデータ及び位置計測データを、基準時刻により関連付けられた時刻同期CVデータと時刻同期計測データとして生成する時間軸整合部30と、時刻同期CVデータと時刻同期計測データを同一時間軸で関連付けて比較して相互に補完補正するCV補正信号を生成するCV補正部40と、取得されたビデオ映像の各フレームに対応して、CV補正信号により補正された高精度CV値を出力する高精度CVデータ出力部50とを備える。
【選択図】 図1
Description
特に、本発明は、ビデオ映像(動画映像)の複数のフレーム画像からカメラ位置とカメラ回転角を高精度に示すCV(カメラベクトル)データを演算により自動的に求める高精度CV演算装置と、求められた高精度CVデータに基づいて、走行,航行する移動体の進行方向や車輌姿勢等とともに三次元地図をリアルタイムに生成し、移動する移動体の現在状況を高精度に出力,表示するCV方式三次元地図生成装置と、高精度CVデータに基づく車輌等の移動体を制御可能なCV方式航法装置に関する。
GPSシステムは、複数の測地衛星から発せられる時刻と位置データを、車輌に設置した受信装置で読み取り、各衛星からの電波到達時間の差から受信地点の三次元座標を演算により求め、車輌等の現在位置を表示するものである。
このようなGPSシステムによれば、全地球的な範囲で受信地点の三次元位置を計測することができる。
近年は、緯度・経度・高度の既知の点を利用して電波到達時間の誤差を計測し、それを修正信号として送信して受信地点の誤差を修正する方法が付加されるようになり、誤差は十数メートル程度まで縮小されるようになった。
ここで、本願発明者によって、カメラが移動することによる画像の動きから、カメラの三次元位置との3軸回転姿勢を演算で求めるCV(カメラベクトル)演算技術が開発されている。CV演算は、CV(カメラベクトル:Camera Vector)値を求める技術であり、カメラベクトル値は、計測のための映像を取得したカメラの三次元位置と3軸回転姿勢を示す値である。
ただ、CV値は絶対値ではなく相対値であるためにスケールが変化し、距離を重ねるにつれて誤差が蓄積するという特性もあった。
さらに、GPSシステムでは、当然のことながら、得られる位置情報はある計測地点のみの座標だけであり、また、ビデオ映像との結合もできない。従って、CV演算におけるような画像内での計測等は不可能であった。
そこで、本願発明者は、鋭意研究の結果、移動体に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、多数の特徴点について重複演算してカメラ位置と回転角を示すCVデータを高精度に求めることができるとともに、そのカメラ位置情報を、GPS等で得られる絶対座標により校正することで、移動体の三次元位置座標を高精度に取得し出力し得ることに想到した。
絶対座標校正を行うには、通常はその計器等の位置で校正する必要があるが、CV演算を利用することにより、計測器等の位置は勿論のこと、ビデオ映像に映っている任煮の地点の座標において校正することもできるという極めて優れた長所がある。
これにより、高精度の位置情報を生成・取得することができ、この位置情報を用いてほぼ±15cmの絶対精度を持つ三次元地図を生成することが可能となる。
そして、このような本発明の高精度CV演算装置を用いて三次元地図生成装置や航法装置を実現することで、ほぼ±15cmの精度で、走行車輌等の制御が可能となる。
これにより、高精度の位置情報を生成・取得することができ、得られた高精度の位置情報を用いて、三次元地図を生成し、また、走行車輌等の制御が可能な航法装置を実現することができる。
ここで、以下に示す本発明の高精度CV演算装置,CV方式三次元地図生成装置及びCV方式航法装置は、プログラム(ソフトウェア)の命令によりコンピュータで実行される処理,手段,機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出,抽出した特徴点の自動追跡,特徴点の三次元座標の算出,カメラベクトルの演算等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク,光ディスク,半導体メモリ,その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
まず、本発明に係る高精度CV演算装置の基本概念について説明する。
本発明の高精度CV演算装置は、ビデオ映像の複数のフレーム画像から、カメラ位置とカメラ回転角等を高精度に示すCV(カメラベクトル)を演算により自動的に求めるとともに、求められたCVデータをGPS等で得られる位置情報で補正することで、相対値であるCVデータに絶対座標を与え、スケールキャリブレーションを実行する装置である。
画像計測装置や測量装置,走行車輌等の航法装置を目的とする場合、画像とその画像から求めたCV値を用いることができるが、動画像からCV値を求める場合、スケールも相対値となるため、長区間のCV演算データは、誤差が累積して誤差が増加することになる。従って、CV演算そのままでは、特に長距離区間における計測等で誤差の累積が生じてしまうが、GPSやIMU(Inertial Measuring Unit:慣性姿勢計測装置)からの絶対値データでCV値を補正することで、誤差の累積を補正・校正することができる。
そこで、本発明では、CV演算において、GPS等の絶対誤差の少ない計測データを結合させることで、より高精度なCV方式の画像計測,画像測量,画像位置決め,画像航法等の装置を実現するようにしたものである。
CV演算は、動画像(ビデオ映像)を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの3軸回転姿勢を求めるものである。
また、動画像から演算で求められるCV値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してCV値が求められる特性は、CV演算でしか実現し得ない優れた特徴である。
例えば、他の方法による計測手段(GPSやIMU等)では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。
また、CVデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したCV値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその3軸回転姿勢を求めることができるCV演算は画像内計測や画像内測量に好適となる
従って、高速で移動する車輌等に取り付けたカメラ機器とGPS装置では、測量用カメラの画像や計測器とGPSの同期を取ることは極めて困難であり、画像に同期した測量装置や精度の高い位置決め装置,航法装置等は実現されていない。
ましてや、カメラの3軸姿勢とGPS等から取得される3軸回転姿勢を同期した形で検出することは位置の同期以上に困難である。
また、受信可能な衛星が地平近くで切り替わる時点では、計測値の精度が変化して計測位置が不連続となる相対誤差を発生させる。
一方で、GPSは絶対距離計測であるため、計測地点で種々の誤差が発生することがある、誤差は累積せず、長距離計測になるほど、計測距離に対する誤差の比率は小さくなるという特性を持つ。
すなわち、本発明の高精度CV演算装置によれば、取得されるCV(カメラベクトル)は、スケールに関して相対値であるために、累積誤差を含むことになるが、GPSデータ等によって絶対座標を与え、累積誤差を大幅に減少させることができる。CVデータをGPSで補正することで、絶対座標を与えてスケールキャリブレーションを実行することができ、高精度で高サンプリング可能な高精度CV演算装置が実現することになる。
絶対座標校正するためには、通常であればその計測器等の位置で校正する必要があるが、CV演算を用いることで、計測器の位置は勿論のこと、映像に映っている地点の座標によって校正することも可能となる。
なお、三次元地図とは、通常の地図と同様に、キロメートル単位の広範囲を扱う実際の地図等であってもよいが、同様の原理により、数メートル単位、あるいは顕微鏡下の極めて狭い範囲の三次元形状を示すものであってもよい。
ここで、CV方式航法装置とは、交通標識や道路標示や信号を認識・理解して、予定された場所まで車輌等を走行制御する自動運転装置等であるが、CV方式航法装置を用いることで、周囲を認識し、判断して行動可能なロボットの目と頭脳を実現することも可能であり、小型化によるロボット技術への利用・応用も可能となる。
以下、図1を参照して、本発明に係る高精度CV演算装置の一実施形態について説明する。図1は、本発明の一実施形態に係る高精度CV演算装置の基本構成を示すブロック図である。また、図2は、図1に示す高精度CV演算装置の詳細を示すブロック図である。
これらの図に示すように、高精度CV演算装置1は、移動体計測部10と、データ生成部20と、時間軸整合部30と、CV補正部40と、高精度CVデータ出力部50を備え、さらに、選択的にCV映像合成表示部60を備えている。
また、移動体計測部10は、CVデータを補正する目的でのビデオカメラ機器11と、自分自身の位置に関するデータ及び移動量データを計測できる位置計測機器部12を備える。位置計測器基部12としては、後述するように、絶対座標を取得するGPS機器やIMU機器等により構成されるが、しばしば視点を異にする複数のビデオカメラや、視差のある画像を取得可能な複数カメラにより構成することもできる。
なお、図3,図4に示す例では、移動体2に搭載されるビデオカメラ機器部11として、走行する移動体2の周辺の広範囲映像を撮影可能な全周カメラ11aを備えている。広範囲映像を撮影,取得するカメラとしては、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、360度周囲に回転可能なカメラ等があり、車輌に複数のカメラが一体的に固定され、移動体2の移動に伴って広範囲映像を撮影する全周カメラ11aを使用することができる。
ここで、全周カメラは、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。また、画角が制限された通常のカメラの場合でも、CV演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
図5(a)は球面画像が貼り付けられる仮想球面の外観イメージであり、同図(b)は仮想球面に貼り付けられた球面画像の一例である。また、同図(c)は、(b)の球面画像をメルカトール図法に従って平面展開した画像例を示す。
また、データ生成部20は、移動体計測部10の位置計測機器部から計測データを取得する計測データ取得部22を備える。
そして、時間軸整合部30は、データ生成部20のCV演算部によって求められたCVデータを、基準時刻によって関連付けて時刻同期CVデータを生成する時刻同期CVデータ生成部32と、データ生成部20の計測データ取得部からの計測データを、基準時刻によって関連付けて時刻同期計測データを生成する時刻同期計測データ生成装置部33を備える。
ここで、時間軸整合部30としては、移動体計測部10に備えられる機器装置のどちらかの時刻に合わせることでも成立する。例えば、移動体計測部10のビデオカメラ機器部において、映像として他方の機器のデータを表示し、あるいは、そのデータに同期する時刻表示を映像として取得しても時間軸の整合を取ることができる。
そして、CV補正部40は、時間軸比較部41の結果により、時刻同期CVデータと時刻同期計測データを相互に補完補正し、最終的にCV値を補正するためのCV補正信号を生成するCV補正信号生成部42を備える。
さらに、ビデオ映像出力と高精度CVデータは同一画面で表示するCV映像合成表示装置部60を備えることができる(図1参照)。
なお、ビデオ映像内にカメラ位置を正しく表示すると、CV値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのCV値が重なって表示されてしまうので、例えば図15に示すように、敢えてカメラ位置から真下に1メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにCV値を表示するのがより適切である。
次に、高精度CV演算装置1における基本となるCV演算の詳細について図6〜図15を参照しつつ説明する。
上述のように、CV演算はデータ生成部20のCVデータ演算部23で行われる。CVデータ演算部23は、図6に示すように、特徴点抽出部23aと、特徴点対応処理部23bと、カメラベクトル演算部23cと、誤差最小化部23dと、三次元情報追跡部23eと、高精度カメラベクトル演算部23fを備えている。
特徴点対応処理部23bは、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部23cは、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部23dは、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理をし、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
高精度カメラベクトル演算部23fは、三次元情報追跡部23eで得られた追跡データに基づいて、カメラベクトル演算部23cで得られるカメラベクトルより、さらに高精度なカメラベクトルを生成,出力する。
そして、以上のようにして得られたカメラベクトルが時間軸整合部30に入力され、位置計測データによるCV補正が行われることになる。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
一般に、静止した三次元物体は、位置座標(X,Y,Z)と、それぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標(X,Y,Z)とそれぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトル演算装置1によるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
まず、移動体計測部10のビデオカメラ機器部11で取得された画像データはビデオ映像記録部21を経て(又は直接)、CVデータ演算部23の特徴点抽出部23aに入力され、特徴点抽出部23aで、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部23bで、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図7〜図9に示す。図中「+」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される(図9に示す対応点1〜4参照)。
ここで、特徴点の抽出は、図10に示すように、各画像中に充分に多くの特徴点を指定,抽出することが望ましく(図10の○印参照)、例えば、100点程度の特徴点を抽出する。
本実施形態では、例えば、360度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動(カメラ位置とカメラ回転)を計算するようになっている。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてt及びRを計算することができる。この演算を対応する複数フレームに適用し演算する。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図9に示す360度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、CV演算に360度全周画像を用いるようにしてあり、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図9は、CVデータ演算部23における処理を理解し易くするために、1台又は複数台のカメラで撮影した画像を合成した360度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のCV演算では、必ずしもメルカトール図法による展開画像である必要はない。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
図11では、図9の画像1,2に示した特徴点1〜4の三次元座標と、画像1と画像2の間で移動するカメラベクトル(X,Y,Z)が示されている。
図12及び図13は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
具体的には、CVデータ演算部23は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、nとmを適切に設定した単位演算を繰り返す。
mはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどmが大きくなるように設定し、カメラから特徴点までの距離が近いほどmが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
このようにして、フレーム画像FnとFn+mに着目した単位演算を行うことにより、m枚毎にサンプリングした各フレーム間(フレーム間は駒落ちしている)では、長時間かけて精密カメラベクトルを演算し、フレーム画像FnとFn+mの間のm枚のフレーム(最小単位フレーム)では、短時間処理で行える簡易演算とすることができる。
このようにして、画像の進行とともにnが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
具体的には、まず、三次元情報追跡部23eで、カメラベクトル演算部23c,誤差最小化部23dを経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報(三次元形状)に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部23eで得られた三次元情報の追跡結果から、高精度カメラベクトル演算部においてより高精度なカメラベクトルが求められる。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報(三次元形状)を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部23cにより概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
例えば、図15に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。
上述したように、動画像からCV値を求めると、スケールも相対値となるため、長区間のCV演算データは、誤差が累積することになり、特に長距離区間における計測等で誤差が増大する。
一方、GPSでは、地平近くのGPS衛星は電離層の影響を強く受け、マルチパスによる誤差を発生させる。また、受信可能な衛星が地平近くで切り替わる時点では、計測値の精度が変化して計測位置が不連続となる相対誤差を発生させる。
但し、GPSは絶対距離計測であるため、計測地点で種々の誤差が発生するが、誤差は累積せず、長距離計測になるほど、計測距離に対する誤差の比率は小さくなる。
同図に示すように、移動体の移動が短区間であれば、累積誤差はCVデータよりGPSデータの方が大きくなる。従って、この区間では、GPSデータをCVデータによって補正することが有利となる。
一方、移動体の移動が長距離区間に及ぶと、CVデータの累積誤差が増大するが、GPSデータの誤差は累積せず、結果的に計測距離に対する誤差の比率は小さくなる。従って、長距離区間では、CVデータをGPSデータによって補正することが有利となる。
以下、CVデータを絶対座標に基づいて補正する高精度CV演算装置のより具体的な実施形態について説明する。
まず、図17を参照して、複数カメラによる視差三次元形状からのCV演算を行う高精度CV演算装置171の実施形態について説明する。
同図に示すように、本実施形態の高精度CV演算装置171は、図2に示した基本構成の高精度CV演算装置1とほぼ同様の構成となっているが、データ生成部1720に視差方式カメラ座標三次元化部1724を備えることを特徴としている。
データ生成部1720は、複数ビデオカメラ機器1771から得られたビデオ映像の視差ある複数画像から、カメラ間視差により、カメラ座標系における三次元形状を生成する視差方式座標三次元化部1724を備える。
また、データ生成部1720は、マルチCVデータ演算部1723を備える。
あるいは、マルチCV演算部は1723は、視差方式座標三次元化部1724で生成されるカメラ座標における三次元形状の中から、複数の三次元特徴点を抽出し、その三次元特徴点を隣接するフレームに追跡し、三次元特徴点とカメラ位置で構成される三角形を解くことで、移動体に設置されたカメラの相対移動軌跡とその3軸回転角を演算(CV演算)で求める機能を有する。
二次元の特徴点では、6〜8点以上の独立した二次元特徴点でそのCV値を求めることができるが、三次元特徴点では、3〜4点の独立した三次元特徴点で、そのCV値を求めることができる。
以上のように、本実施形態では、図2に示した高精度CV演算装置1を利用しつつ、既知の技術である視差方式で求められた三次元形状の中に三次元特徴部位を一個以上、又は三次元特徴点を3個以上抽出して、それを追跡することでCV値を求める方法を取り入れたものである。
なお、三次元特徴点又は三次元特徴部位の数を多く抽出し、統計処理することで、精度を向上できることは二次元特徴点のCV演算と同様である。
次に、図18〜図22を参照して、複数カメラの絶対長CV値によるCVデータ補正を行う高精度CV演算装置181の実施形態について説明する。
同図に示すように、本実施形態の高精度CV演算装置181は、図2に示した基本構成の高精度CV演算装置1とほぼ同様の構成となっているが、移動体計測部1710の位置計測機器部として複数ビデオカメラ機器部1812を備えることを特徴としている。
移動体計測部1810は、移動体に固定され、移動体の移動とともに、移動体周辺を撮影する目的の全周ビデオカメラ(図3,図4参照)からなる全周ビデオカメラ機器部1811を備える。
また、移動体計測部1810は、移動体に固定され、移動体の三次元位置を取得する目的の複数ビデオカメラ機器部1812を備える。
全周ビデオカメラ機器部1811と複数ビデオカメラ機器部1812を構成する機器類は、相互に三次元的位置と姿勢の関係が既知として設置されるようになっている。
また、データ生成部1820は、全周ビデオ映像記録部1821に記録された全周ビデオ映像の各フレーム画像内に、十分多くの特徴点を抽出し、特徴点を隣接するフレームに追跡し、特徴点とカメラ位置で構成される十分多くの三角形を解くことで、移動体に設置された全周カメラの相対移動軌跡と全周カメラの3軸回転角を演算で求めるCV演算部1823を備える。
マルチCV演算部1824は、カメラ座標系における三次元形状の中から複数の三次元的特徴部位を切り取り、その三次元的特徴部位を、隣接するフレームに追跡し、三次元的特徴部位とカメラ位置で構成される三角形を解くことで、移動体に設置されたカメラの相対移動軌跡とその3軸回転角を演算(CV演算)で求める機能を有する。
さらに、複数ビデオカメラ機器部1812からは、既知の技術によって直接簡単にカメラ周囲の三次元形状を取得することができるが、この三次元形状はカメラ位置から見たカメラ座標系における三次元形状であるため、移動するカメラでは座標系が定まらず目的を達しない。そこで、CV値と組み合わせることで、静止座標系に変換することができ、既知の技術を組み合わせることで、さらに精度を向上させることができるようになる。
また、時間軸整合部1830は、時計部1831から供給される時刻信号でCVデータを関係付けて記録する時刻同期CVデータ記録部1832と、時計部1831から供給される時刻信号で絶対座標データを関連付けて記録する時刻同期マルチCVデータ記録部1833を備える。
また、CVデータに関しては、動画像の処理時間等に由来する遅れを考慮し、記録時刻との時間差を補正して遅延調整CV信号を出力する遅延調整CV信号出力部1834を備える。
絶対座標データに関しては、絶対座標信号出力と計測時刻との時間差を補正して、遅延調整絶対座標信号を出力する遅延マルチCV信号出力部を備える。
また、CV補正部1840は、遅延調整マルチCV信号の座標配列形状と、遅延調整CV信号の座標配列形状とを比較して、座標配列形状差を検出する座標配列形状比較部を備える。
また、CV補正部1840は、遅延調整マルチCV信号の座標配列形状と、遅延調整CV信号の座標配列形状と、両者の対応関係が付いた区間の座標配列形状差から、3軸方向のスケール誤差補正するための補正信号を生成する補正信号生成部1843を備える。
また、CV補正部1840は、以上の処理を、目的区間の全域に渡り繰り返すことで、一連の位置補正CVデータを生成する全域スケール補正部を備える。
さらに、CV補正部1840は、全域スケール補正された、CVデータの三次元座標を既知として、再度3軸回転まで含めた高精度CVデータの再演算を行うCV再演算部1846を備える。
この例によれば、車輌進行方向の対象物をカメラ二台で重複して捉え、対応関係からその距離を求める。二台のカメラから得られた映像中の特徴点は、図20(a),(b)に示すように多面体を形成する。
この多面体を構成する特徴点を追跡して、カメラ位置をCV演算で求める。多面体形状は変形しないとの条件で、精度を向上させることができる。また、車輌の進行方向(又は進行逆方向)に向けてカメラを取り付けることで、特徴点を長距離追跡できるという利点がある。また、精度をさらに上げるために、図20(c)に示すように、カメラ方向を全方位とすることもできる。
なお、二台のカメラに関するCV演算のための特徴点と、全周カメラに関するCV演算に関する特徴点とは、一般に一致する必要はない。
図19に示すように、カメラ二台単位で用いるのが、操作性等において有利であるが、複数カメラで共通の特徴点を追跡することも精度向上に貢献することから好ましい。従って、カメラは、二台一組とし、それぞれ独自に特徴点を抽出し追跡することもでき、また特徴点が共通であっても良い。
また、本実施形態では、全周カメラは非同期で用いることを重要視し、二台のビデオカメラのみの同期をとるようにしてある。
また、図20に示した例では、1台の全周カメラと2台の複数カメラとを用いるようにしてあるが、これ以外にも、例えば、複数カメラに広角画像を用いることで、全周カメラの替わりをさせることも可能である。その場合には、全周カメラを省略して、複数カメラのみで本実施形態の移動体計測部1810を構成することができる。
全周カメラと複数カメラの組み合わせのバリエーションを図21に示す。
なお、CV演算と複数カメラの視差方式とでは、相反する性質がある。
すなわち、複数カメラを使う視差方式では、視差によって三次元計測を行うために、レンズの焦点距離は長い方が、つまり狭角の方が精度は上がる。ただし、狭角のため計測範囲が狭くなり、また、(静止座標系ではなく)カメラ座標系での三次元座標が求まる。
但し、装置等が大がかりとなるため、本実施形態では、複数カメラにも広角レンズを用いて、CV演算方式と視差方式の双方の要求を同時に満たすようにしてある。
また、複数カメラにおいては、カメラ座標系での距離計測の精度を上げるために白黒カメラとし、それ以外にカラーカメラを一台設置して、白黒カメラで取得した三次元データをカラー映像と重ねて表示することで、計測された三次元データをカラー画像として観察することも可能である(図21(d)参照)。
視差方式カメラ座標三次元化部2225は、図17の高精度CV演算装置171の視差方式カメラ座標三次元化部1724と同様であり、その他の構成要素は、図18に示した高精度CV演算装置181と同様に構成することができる。
このように、本実施形態の高精度CV演算装置では、全周カメラと複数カメラの組み合わせ等を含めて様々なバリエーションや組み合わせを採用することが可能であり、装置の規模やコスト等を考慮して柔軟な対応ができるようになる。
次に、図23を参照して、GPSによりCVデータ補正を行う高精度CV演算装置231の実施形態について説明する。
同図に示す本実施形態の高精度CV演算装置231は、移動体計測部2310の位置計測機器部としてGPS機器部2312を備えることを特徴としている。
移動体計測部2310は、自動車や航空機等の移動体の屋根に固定され、移動体の移動とともに、移動体周辺を撮影する目的の全周囲映像カメラや通常ビデオカメラ等の映像を取得する全周ビデオカメラ機器部2311と、自動車や航空機等の移動体に固定され、移動体の三次元位置を緯度経度高度で取得する目的のGPSやIMU等の絶対座標を取得するGPS計測機器部2312を備える。
全周ビデオカメラ機器部2311とGPS計測機器部2312を構成する機器類は、相互に位置関係が分かるように、三次元的位置と姿勢の関係を既知として設置される。
また、データ生成部2320は、全周ビデオ映像記録部2321に記録された全周ビデオ映像の各フレーム画像内に、十分多くの特徴点を抽出し、特徴点を隣接するフレームに追跡し、特徴点とカメラ位置で構成される十分多くの三角形を解くことで、移動体に設置されたカメラの相対移動軌跡とカメラの3軸回転角を演算(CV演算)で求めるCVデータ取得部(CVデータ演算部)2323と、GPSやIMU等のGPS計測機器部2310により、三次元位置データを取得する絶対座標データ取得部2322を備える。
また、時間軸整合部2330は、時計部2331から供給される時刻信号でCVデータを関係付けて記録する時刻同期CVデータ記録部2332と、時計部2331から供給される時刻信号で絶対座標データを関連付けて記録する時刻同期絶対座標記録部2333を備える。
また、CVデータに関しては、一部のカメラには原理的に存在する動画像の画像処理時間等に由来する一定の時間遅れを考慮し、記録時刻とのズレを補正してCV信号出力する遅延調整CV信号出力部2334を備える。
また、絶対座標データに関しては、絶対座標信号出力時刻と計測時刻との遅延時間補正して、信号出力する遅延調整絶対座標信号出力部2335を備える。
なお、それぞれの時刻の遅延時間に依らずとも、遅延調整CV信号と遅延調整絶対座標信号との一致を取ることで両者を対応づける。
また、CV補正部2340は、絶対精度の高い遅延調整絶対座標信号の座標配列形状と、相対精度の高いCV値の座標配列形状を比較するために、遅延調整絶対座標信号が座標回転補正信号による座標配列形状と、遅延調整CV信号の座標配列形状とを比較する座標配列形状比較部2342を備える。
また、CV補正部2340は、遅延調整絶対座標信号から、GPS等の絶対座標データが、例えば衛星の切り替え地点等で発生する絶対誤差が変更される場合には、絶対精度は向上することがあっても、相対誤差が著しく低下するので、そのような相対精度が低下する区間をCV値と比較することで削除し、又は、地下や建造物内のGPS信号が受信できない区間を削除するなどして、絶対座標精度変更地点を排除し、相対精度が高い区間のみを複数選択する、高精度相対値区間選択部2344を備える。
また、CV補正部2340は、上記の対応関係がついた両者の区間の始点と終点の絶対座標間の距離を区間距離として、CV演算による誤差の累積に起因するスケール誤差を含むCVデータを補正するための補正信号を生成する補正信号生成部2346を備える。
また、CV補正部2340は、上記の区間に対応するCVデータを、相対精度が高い絶対座標データによる区間距離データに一致させることで、もしくは調整することで、CVデータを補正するCVデータスケール補正部2347を備える。
さらに、CV補正部2340は、上記の処理を、目的区間全域に亘り、複数回繰り返すことで、高精度な一連のCVデータを生成する全域スケール補正部2348を備える。
まず、GPS装置と動画像取得のためのカメラ装置を同一車輌等に積載する。このとき、GPS装置とカメラ装置との三次元的位置関係は実測により既知としておく。
GPS計測地点とカメラ撮影地点を、時刻で関係づけて取得できるようにし、GPSによる計測データとカメラによるCVデータを同一の時計の時刻の関数として表現して記録する。
次に、動画像から求めたCVデータに関しては、GPSによる三次元距離データに対応する同一場所の同一時刻の区間における計測データに、画像から求めたCVデータを対応させる。上記の区間によって区切られた始点と終点の時刻の一致点に計測値が存在しないときは、内挿によって一致点を求め、上記の区間の始点と終点のGPSデータから得られる距離をCVデータから得られた距離に差し替えることで、CVデータを補正する。以上の操作を、選択された複数の区間で繰り返すことにより、GPSデータによって補正された高精度な一連のCVデータを生成することができる。
次に、図24を参照して、GPSデータ補正を行う高精度CV演算装置241の実施形態について説明する。
同図に示す本実施形態の高精度CV演算装置241は、基本構成は図23に示した高精度CV演算装置231と同様となっており、さらに、GPSの計測データの誤差を補正する補正手段を備えることを特徴としている。
なお、図24中、鎖線で示す要素は上述した実施形態と共通する部分であり、適宜重複説明は省略する。以下の実施形態においても同様である。
分布統計2441は、GPSの衛星切り替え地点などによる、絶対精度変更地点検出部(図23の2343)で検出された絶対精度変更地点の分布を統計処理する。
仮の真値演算部2442は、絶対精度変更地点検出部で検出されたGPS等の絶対精度変更地点の分布を統計処理し、GPSの仮の真値を求める。具体的には、仮の真値演算部2442は、GPSによる絶対精度変更地点の分布の統計的中心を最小自乗法等により、分布の重心を求め、仮の真値として求める。
絶対座標補正部2444は、上記の区間の補正値により、先ず絶対座標の配列を補正したGPSの高精度の絶対座標配列を求める。
絶対座標補正部2444で補正された絶対座標配列は、高精度CVデータ出力部2450に出力される。
絶対座標付加CVデータ統合部2451は、GPSデータから得られた絶対座標のデータを基準として、CVデータ出力部(図23の2351)から出力されたスケール補正されたCVデータに、絶対座標を与える。
全周ビデオ映像は、全周ビデオ出力部(図23の2352)から出力されるとともに、絶対座標CVデータ出力部2452により、各画像フレームに、絶対座標が付加されたCVデータが出力される。
まず、GPS装置と動画像取得のためのカメラ装置を同一車輌等に積載し、GPS装置とカメラ装置との三次元的位置関係と三次元的3軸回転関係は実測により既知としておく。
次に、GPS計測地点とカメラ撮影地点を、時刻で関係づけて取得できるようにし、GPSによる計測データとカメラによるCVデータを同一の時計の時刻の関数として表現して記録する。
上記の分布から最小自乗法等の演算で統計処理し、GPSの仮の補正真値を取得し、それを仮の補正真値として、各誤差変更地点のデータを仮の補正真値に差し替えて、GPSの修正値として採用する。
さらに、上記の誤差変更地点を始点とする区間の一部のGPSデータをリニアリティーの高いCVデータで置き換えることで、GPSの絶対精度を高め、その絶対精度の高まったGPSデータよって、CV値に絶対座標を与えることができるようになる。
次に、図25を参照して、IMUによる3軸回転累積誤差補正を行う高精度CV演算装置251の実施形態について説明する。
同図に示す本実施形態の高精度CV演算装置251は、基本構成は図23に示した高精度CV演算装置231と同様となっており、さらに、IMUによる3軸回転累積誤差を補正する補正手段を備えることを特徴としている。
データ生成部2520は、IMU計測機器部2511により、絶対3軸回転姿勢のデータを取得する、絶対3軸回転姿勢データ取得部2521を備える。
時間軸整合部2530は、時計部(図23の2331)から新たに供給される時刻信号で絶対3軸回転姿勢データを関係付けて記録する時刻同期3軸回転姿勢記録部2531を備える。
また、時間軸整合部2530は、絶対3軸回転姿勢データに関して、機器部の処理時間等に由来する遅れを考慮して、記録時刻とのズレを補正して信号出力する遅延調整3軸回転姿勢出力部2532を備える。
また、CV補正部2540は、3軸回転姿勢信号と、絶対回転3軸姿勢信号との両者の差を、前もって定めた閾値と比較する3軸回転閾値比較部2542を備えるとともに、両者の差が上記の閾値を超えたときに、補正区間を指定する3軸回転補正区間設定部2543を備える。
また、CV補正部2540は、上記の補正区間における補正値を生成する3軸回転補正信号生成部2544を備える。
3軸回転絶対座標付加CVデータ出力部2552は、遅延調整CV信号出力部(図23の34)からのCVデータに対して、又はCVデータ出力部(図23の2351)からのCVデータに対して、又は絶対座標CVデータ出力部(図24の2452)からのCVデータに対して、各画像フレームに絶対座標CVデータ出力部から3軸回転姿勢データに3軸回転補正と絶対座標とを加えて出力する。
この場合、補正された3軸回転データは絶対座標となる。
3軸回転補正CVデータ出力部2551は、CVデータ出力部の出力に3軸回転補正のみを加えた3軸回転補正CVデータを出力する。
図26に示すように、全周囲カメラとGPSとIMU,二台の広角カメラを固定して、小型車輌の屋根に固定して積載する。各機器は、図27(a)に示すように、車輌に搭載した情報処理装置(PC)に接続され、リアルタイムに演算処理が行われる。
IMUは3軸が望ましいが、1軸又は軸でも十分効果はある。
GPSとIMUは、それぞれ車輌に一台取り付ける。GPSとIMUと二台のカメラの三次元的位置関係、及び車輌と各機器との関係は前もって正確に計測して求めておく(図26参照)。
なお、GPSとカメラを一体化させた移動体計測部とすることで、一体化したまま着脱・取り外し可能であり、他の車輌等への付け替えも容易に行えるようになる。
ただ、GPSとIMUによるそれぞれのデータの精度は低いので、それを二台の広角カメラによるCV値で補正することになる。
また、GPSは、長時間かけてその静止位置を求めることにより、精度の高い位置関係を求めることができる。
全周カメラとGPSデータとIMUデータと二台の広角カメラから取得した画像の各フレーム画像との関係は、図27(b),図28に示すように、共通の時計による時刻で関係づけられる。例えば、GPSデータとIMUデータと全周カメラと広角カメラから取得した画像の各フレーム画像との関係は、PCのクロックから生成される時刻で完全に同期して記録される。
そして、図23に示した高精度CV演算装置231によって、GPSデータによりCV値のスケールキャリブレーションを行う。
GPSは、一般に絶対座標を取得できるが、絶対誤差についての誤差も含んでいる。そこで、先ずGPSの持つ相対スケールの高精度の特徴を利用し、GPSの相対スケールのみに着目して、高精度のGPSの区間距離を求める。
衛星切り替えやマルチパス等により、突然GPSの絶対誤差精度が変化する地点,区間があり、そこでは相対精度が著しく低下するので、GPSデータは不連続となる。この絶対誤差が変化したために相対誤差が低下した地点又は区間を「誤差変更地点」とする(図29参照)。
そこで、相対誤差の高い区間により、GPSのある時間間隔に対応するGPSデータとCVデータを比較し、その相対距離をCVデータに反映させて、高精度なCV値を生成する。これにより、CVデータ特有の誤差の累積を補正することができる。
ここで、GPSデータは絶対誤差を含んでいるが、ここでは相対値のみに着目して、CVデータの相対値を補正する。図30に示すように、相対値補正により、CVデータが持つ累積誤差を補正することができ、スケールのリニアリティーがよりよく補正されたことになる。
GPSデータから区間選択において、削除されたことでスケール補正されない区間については、隣接する区間での累積誤差は微少であると考えられので、スケール補正された前後の区間からの比例配分でスケール補正を行う。
さらに、CV値のリニアリティーを利用して、GPSの不連続点を補正する。
以下、図29〜図31を参照しつつ、CVデータでGPSデータを補正しながら、その絶対座標により、CVデータに絶対座標値を与える方法を説明する。
GPSは絶対誤差を含んで出力されるが、その誤差精度は衛星が切り替わることなどで急に変化すると、GPSデータは不連続となり相対誤差が増加する。このとき、CVデータはGPSとはまったく異なる方法で位置を検出しているので、衛星切り替え等の影響は受けずに、連続的にデータが取得される。
このようにして、検出した不連続点の相対座標をCVデータで置き換えることで、GPSの連続性を回復でき、また、相対座標の精度が向上する。
そこで、誤差変更点の移動量を統計処理することで、平均的な移動量を求め、これによって絶対精度も向上させることができる。
図32に示すように、正しい座標の周りに誤差が発生すると仮定できるので、統計処理により、仮の補正真値を求めることができる。
ここで、「δns」は、図32(a)に示すように、不連続地点における、予想値と実測値との差分値ベクトルである。また、予想値とは、図32(a)に示すように、誤差を含む前回までの連続観測データが、そのままの誤差で継続したとして得られる予想地点の予想値を意味する。
具体的には、未知数の真値(図32(b)に示す■)から観測点差分値「+」までの距離をδnsとし、その二乗(**2)の合計をΣδns**2として、その最小値となる所を真値として求める。Σns**2=0は真値から観測点差分値までの距離の二乗の和が0となることを意味する。
真値δ0が求まれば、実測値から、真値を求める式は図32(c)に示すようになる。
式:[G0Tn=GmTn+(δns−δ0s)]
(δns−δ0s)は、求められた真値から、観測実行値までの距離である、真値差分距離を示す。この真値差分距離を、実測生データGmTnに加えることにより、求める実効値G0Tnが得られることになる。
以上のようにして、各誤差変更地点に仮の補正真値を代入して置換することで、精度の高いGPSの絶対座標が得られることになる。
さらに、IMUにより、絶対3軸回転角によってCVデータの3軸回転角の誤差の累積を消去し、CVデータから絶対3軸回転角を取得する。
画像フレームとGPSデータのそれぞれのサンプリングは独立に行われるので、それぞれのサンプリングが極めて近い地点のタイミングで、誤差の累積を消去して絶対3軸回転角を取得することが好ましい。
以上のようにして、精度の高いCV演算が実現できる。
次に、図34を参照して、鉛直方向検出による1軸回転累積誤差補正を行う高精度CV演算装置341の実施形態について説明する。
同図に示す本実施形態の高精度CV演算装置341は、取得されたビデオ映像から鉛直方向を検出し、それによってCVデータを補正する補正手段を備えることを特徴としている。
具体的には、本実施形態の高精度CV演算装置341は、データ生成部3420が、概略両極平面展開部3422と、概略赤道平面展開部3423と、鉛直方向検出部3424を備えている。
そこで、概略両極平面展開部3422は、全周ビデオ映像記録部3421に記録された全周ビデオ映像から、概略真上方向及び真下方向に平面変換(パースペクティブ変換)する(図35及び図36参照)。
また、概略赤道平面展開部3423は、全周ビデオ映像を、複数の赤道面方向に平面変換(パースペクティブ変換)する(図37参照)。
鉛直方向検出部3424は、真上・真下方向と赤道面方向に平面変換された画像から鉛直方向を画像処理で検出する。
そして、検出された鉛直方向は、CVデータ取得部3425に出力・反映され、CV演算に鉛直方向が付加されることになる。
例えば、両極平面の画像を重ね合わせれば、平面変換の軸が、画像内の鉛直と合致していれば、それぞれの鉛直方向の船群が作る極は一致する。合致しなければ二つの極ができる。
従って、それぞれの平面変換面の鉛直線の交点が作る極を一致するように、平面変換の軸を移動させることで、変換軸と映像中の鉛直方向を合わせることができる。
従って、垂線群が最も増加する変換軸が鉛直方向を示していることになる。
両極平面では、方程式で表記できた各直線から、各直線の座標軸との切片を求めれば、それが座標原点からどれだけずれているかが分かる。各直線が原点を通るような座標原点を求めることで、変換軸と画像内の鉛直成分を一致させることができる。
また、赤道変換平面では、ハフ変換で求められた直線成分の、多くの直線が垂直となる変換軸を求めることで、映像内の鉛直が平行垂直となる位置を求めればよい。
以上のようにして両極平面変換から求めた鉛直方向と赤道平面変換から求めた鉛直方向は原理的に一致する。従って、双方を用いても良いがいずれか一方のみでもよい。画像の様々な状況に対応するためには両方を用いるのが好ましい。
次に、図38を参照して、空撮映像と地上撮映像による高精度CV演算を行う高精度CV演算装置381の実施形態について説明する。
同図に示す本実施形態の高精度CV演算装置381は、取得されたビデオ映像から鉛直方向を検出し、それによってCVデータを補正する補正手段を備えることを特徴としている。
具体的には、本実施形態の高精度CV演算装置381は、低縮尺CV演算では、主として対象物の形状及び隣接形状をCV値で取得し、高縮尺CV演算では、主として対象物の空間配置形状をCV値で取得し、両者を結合することで、両者に矛盾のない高精度CVデータを取得するようにしたものである。
低縮尺全周ビデオ映像機器部3811は、CV演算を目的とする、広角画像で地上の対象物を撮影するために車輌に積載されるビデオ映像機器からなる。
高縮尺全周ビデオ映像機器部3812は、同様にCV演算を目的とする、広角画像で地上の対象物を映り込むように撮影する空撮のために航空機等に積載されるビデオ映像機器からなる。
低縮尺全周ビデオ映像機器部3811と高縮尺全周ビデオ映像機器部3812は、異なる二種類のビデオ機器部で構成し、それぞれが撮影を行っても良いし、同一のビデオ機器部で構成し、異なる時間に利用して、地上と空中での撮影をするようにしてもよい。
低縮尺ビデオ映像記録部3821aは、低縮尺全周ビデオ映像機器部3811から低縮尺ビデオ信号を取得し、映像を記録する。
高縮尺ビデオ映像記録部3821bは、高縮尺全周ビデオ映像機器部3812から高縮尺ビデオ信号を取得し、映像を記録する。
共通特徴点重み設定部3824は、後のCV演算のためにそれぞれの共通特徴点に対し、重み関数により重みを与える。
低縮尺フレーム間追跡部3825aは、低縮尺の特徴点を隣接するフレームに追跡する。
高縮尺特徴点検出部3822bは、高縮尺全周ビデオ映像から高縮尺の特徴点を検出する。
高縮尺フレーム間追跡部3825bは、高縮尺の特徴点を隣接するフレームに追跡する。
CVデータ取得部3827は、CV演算部3826で得られた精度の高いCV演算データを取得して出力する。このCV演算データは、必要に応じて時刻同期CVデータ記録部3828に記録される。
なお、空撮映像において、計測範囲に対して十分高度が高ければ、カメラ位置を無限大と見なすことができ、このことは二次元地図を高度無限大からの空撮映像として扱うことで、空撮映像の替わりに二次元地図を用いることができることを示している。
次に、図39を参照して、地図を備えた高精度CV演算装置391の実施形態について説明する。
同図に示す本実施形態の高精度CV演算装置391は、データ生成部3920に二次元地図部3921を備えている。
二次元地図部3921は、記載された地点の二次元座標が既知として与えられた地図である。
特徴点抽出部3922aは、全周ビデオ映像記録部の映像の中に、追跡の手がかりとなる特徴点を抽出する。
特徴点追跡部3922bは、特徴点を複数の隣接する画像フレームの中にその対応点を追跡する。
CV演算部3922cは、複数の特徴点の対応点と、カメラ位置座標が作る三角形を解析して、カメラの三次元位置と3軸回転姿勢を求める。
から成り、CVデータを取得するCVデータ取得部を設置する。
共通点検出部3931は、二次元地図部の地点二次元座標と対応する全周ビデオ映像の内の共通地点部分を検出する。この共通点検出処理は自動でも手動でも良い。
ここで、共通点部分とは、共通する「点」でも良いが、形状を持つものの方が検出しやすいので、道路形状や交差点形状や構造物立体形状や、複数の構造体の一部で作る立体空間等が有利である。そこで映像と地図の共通形状を検出して、その形状を構成する複数の点群を共通点とするのが適している。
共通点三次元座標検出部3941は、CV演算データにより共通点検出部3931で検出された共通地点の三次元座標を演算により求める。
二次元平面座標変換部(オルソ変換部)3943は、全周ビデオ映像から得られた共通点の三次元座標を二次元平面に投影して複数の共通点二次元座標を変換・生成する。
共通点二次元形状比較部3944は、二次元地図部3921のデータから得られた共通点二次元座標(比較信号1)と、全周ビデオ映像から得られた共通点の三次元座標を二次元平面に投影して得られた複数の共通点二次元座標(比較信号2)とを比較する。
共通点領域CV値補正部3945は、比較される両二次元座標の差分を検出し、差分が最小になるような、両者の比較信号の位置座標を決定し、さらに、同一比率でもう一つの座標軸方向の座標を補正し、共通点の補正量をその周囲に分散的に配分し、共通点の補正の影響を周囲に分散させることでCV値の位置座標全体を補正するCV値の位置座標と置換する。
以上の補正・再演算により精度が高まった補正CV値は、高精度CVデータ出力部3950のCVデータ出力部3951により出力される。
なお、図39の高精度CV演算装置391では、各要素を図1〜2に示した高精度CV演算装置1の基本構成に対応させて分類したが、図40に示す高精度CV演算装置401のように、本実施形態に係る各要素4021〜4027を、CVデータ取得部4028までの高精度化処理と捉えることもでき、その場合には、各要素をすべてデータ生成部4020として位置づけることも可能である。
次に、図41を参照して、既知の三次元点を用いて高精度CV演算を行う高精度CV演算装置411の実施形態について説明する。
取得された映像内にカメラ位置ではなく既知の三次元点を探すことができれば、既知の点まで計測器を移動させることなく、映像内の三次元座標を使って、キャリブレーションできることが可能であり、本実施形態では、このような既知三次元点を用いて高精度CV演算を行うことを特徴としている。
地図部4121は、二次元座標が既知として与えられた三次元地図4121a、二次元地図上に複数点の既知の三次元座標点を座標とともに記した既知三次元点記載地図4121b、三次元地図の形態をなさないが既知の複数点の三次元座標を印した三次元地点リスト4121cのうちの何れか、又はその複数の組み合わせによる地図部を構成している。
GPSを定点で長時間かけて計測した三次元データ等がこれに相当する。
また、正確な三次元地図が先に存在している場合もこれに相当する。
共通特徴点追跡部4123bは、共通点地点部分を共通特徴点として、全周ビデオ映像記録部4122aの複数の画像フレームの中に対応地点を見つけることで追跡する。
共通特徴点点重み付け部4123cは、共通特徴点を一般特徴点と区別して、演算時の優先順位を決める重み付けをする。ここでは、共通特徴点を一般特徴点に対してどの程度優先させて演算するかを決定する。
CV値は、三次元位置座標と3軸回転姿勢を持つが、ここではCV値と同時に得られる一般特徴点及び共通特徴点の三次元座標に着目する。すなわち、ここでは、CV値を取得することは、特徴点の三次元座標を取得することと同じ意味として扱う。
共通点三次元座標検出部4124aは、CV演算部4122dからCV値と同時に出力される出力される共通特徴点の三次元座標を取得する。原理的には、CV値は特徴点の三次元座標と同時に求まるので、CV値と特徴点の三次元出力の同時出力が可能である。
三次元差分検出部4124cは、比較される両三次元座標の差分を検出する。
一般特徴点三次元化部4125は、CV演算部4122dから出力される一般特徴点の三次元座標を取得する。
画像二次元差分検出部4126は、一般特徴点三次元化部4125で取得された一般特徴点の三次元座標を、全周ビデオ映像記録部4122aから出力される各フレームの中の映像面に投影した二次元座標と、全周ビデオ映像記録部4122aから出力される各フレームの中の一般特徴点の全周ビデオ映像の映像面での二次元座標との二次元差分を検出する。
以上の補正・再演算により精度が高まった補正CV値は、CVデータ取得部4128により取得・出力される。
次に、以上のような本発明の高精度CV演算装置を備えた三次元地図生成装置の具体的な実施形態について説明する。
まず、図42を参照して、本発明に係る三次元地図の一実施形態の基本構成について説明する。
図42は、本発明に係る高精度CV演算装置を備えた三次元地図生成装置4200の基本構成を示すブロック図である。
三次元地図生成装置4200は、上述した本発明に係る高精度CV演算装置421を備えるとともに、以下に示す対象物指定部4210,対象物三次元計測部4220,三次元地図部品生成部4320,三次元空間定義部4240,対象物地点測量部4250,三次元座標決定部4260,三次元地図出力部4270の各部を備えている。
対象物三次元計測部4220は、地図として取り入れるべき対象物を、対象物指定部4210で指定し、当該対象物を三次元計測する。
三次元地図部品生成部4230は、対象物指定部4210で三次元計測されたデータから、三次元地図に記載する形式で三次元部品を生成する。
三次元空間定義部4240は、三次元地図としての三次元空間を三次元座標で定義する。
対象物地点測量部4250は、対象物の実空間座標上の位置を測量して、その三次元座標を求める。
三次元座標決定部4260は、三次元地図部品を、三次元空間定義部4240で定義された仮想三次元空間内に、測量で求められた三次元座標により三次元配置を決定する。
そして、三次元地図出力部4270は、上記の三次元地図部品の三次元座標配置を繰り返して三次元地図を出力する。
まず、CV値の誤差累積を防ぐために、図43に示すように、地図生成のための測量走行車輌を一定区間で交差するように走行させる。
このようにすることで、共通の特徴点を用いることができるので、誤差の累積をかなり防ぐことが可能となる。
また、スケールキャリブレーションのために、空撮と地上撮をCV演算で結合して、同時にCV値を求めることで、誤差累積を低減することができる。
地上撮CV演算と空撮CV演算とを適宜結合して、結合係数を設定し、近距離誤差と長距離誤差を分離して調節する。
先にCV結合を行い、その後に部分スケール調整を行う。
短距離はCV値から三角形で距離演算し、長距離はCV値から、カメラ座標を積算して、フレーム間距離を出す。フレーム間距離は空撮CVを使う。
対象物指定部4410での操作としては、以下の対象部指定操作を行う。
・マウス操作による地点指定
・マウス操作による直線指定
・マウス操作による輪郭指定
・マウス操作による面指定
・指定点部分切り取り
・指定点周囲画像切り取り
・特徴点抽出
・特徴点と指定点の位置関係取得
・指定点周囲画像の隣接フレームへの追跡
・特徴点の隣接フレームへの追跡
・指定点部分の位置決め
・CV値による指定点三次元計測
・始点の位置指定
・始点の座標の部分画像追跡→三次元位置計測
・終点の位置指定
・終点の座標の部分画像 追跡→三次元位置計測
・指定点周囲画像の隣接フレームへの追跡
以上のようにして、三次元地図生成が行えるようになる。
次に、図45を参照して、PRM技術を付加した三次元地図生成装置の実施形態について説明する。
同図に示す三次元地図生成装置4500は、図42で示した基本構成の三次元地図生成装置にPRM技術を付加したことを特徴とするものである。
ここで、PRMとは、Parts Reconstruction Method(3D空間認識方法)の略であり、本願発明者により開発された対象物を認識するための技術である(国際出願PCT/JP01/05387号参照)。具体的には、PRM技術は、前もって予想される対象物の形状と属性を部品(オペレータ部品)としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、PRM技術によりその認識は容易に行える。また対象物をCV映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
三次元部品データベース4510には、前もって三次元地図を構成する三次元地図部品を複数用意しておく。
三次元部品候補選択部4520は、対象物指定部(図42の4210)で指定された対象物と比較するための候補となる三次元部品をデータベースから引き出して、選択的に用意しておく。
比較部4530は、対象物指定部で指定された全周ビデオ映像の一部分と、三次元部品候補選択部4520から出力される三次元部品とを三次元的に、又は同一面に投影して、比較する。
一致信号出力部4550は、比較部4530で比較した結果、一致した場合に一致信号を出力する。
一致部品選択部4560は、上記の一致信号により、三次元部品候補部品選択部4520から最終的に送られた部品を一致部品として出力する。
部品修正部4570は、一致部品が現実の映像と多少異なる場合に、修正して修正部品を生成する。
以上のようにして、修正部品又は修正のない場合には一致部品選択部4560からの一致部品が、三次元地図部品生成部(図42の4230)に送られ、三次元地図が生成されることになる。
PRMによる三次元地図はもちろん、一般の三次元地図であっても、既に対象物単位で部品化され、それらの部品の集合として表現されているので、新規生成と同様な方法により、既に座標が既知である旧三次元地図の部品の形状又は属性を、最新の映像内の同じ座標で比較することで、旧データとの差異の有無を確認することができる。
また、新旧の三次元地図の部品を確認するだけではなく、新旧の映像(二次元)間での新旧データの確認も可能である。
更新されるべき旧三次元地図を、図45における三次元部品データベース4510に含めておく。
このように自動更新装置においては、旧三次元地図を三次元データベース4510として用いることになる。
旧三次元地図は座標を持つ三次元部品の集合から成っているので、旧三次元地図を構成する各部品の更新の有無を旧三次元地図の部品の配列の順番で行うことができるので、新規に三次元地図を生成するより、かなり効率的になる。
新映像は三次元部品化して、三次元部品間の比較としてもよいが、新映像は映像(二次元)のまま三次元部品との形状又は属性比較を行う新映像内の部分映像との比較方式の方が簡単であり、ここではこの方式を採用する。
比較部4530により、旧三次元地図の各部品と新映像の座標対応部分との一致不一致を確認し、一致の場合は変更無しとし、旧三次元地図をそのまま新三次元地図とする。
ここで、三次元地図を自動更新することで何時でも二次元地図に変換できるので、二次元地図の自動更新であっても同様である。
旧三次元地図にはなく、新規に追加される新部品については、新たに三次元地図を生成する上述のPRMによる方法と同様である。
次に、図46〜図48を参照して、空撮映像による三次元地図生成を行う三次元地図生成装置の実施形態について説明する。
図46A及び図46Bに示す三次元地図生成装置4600は、空撮映像に基づいて三次元地図生成を行うことを特徴とするものである。
具体的には、図46Aに示すように、三次元地図生成装置4600は、以下のような各要素を備えている。
計測点密度指定部4620は、上記の対象範囲の中に計測点密度を指定する。
計測点生成部4630は、上記の対象範囲と計測点密度で、計測点を自動的に、あるいは手動で、任意の位置に生成する。
計測点追跡部4640は、上記の計測点を全周ビデオ映像の隣接する複数のフレームに亘って追跡する。
計測点演算部4650は、CVデータ取得部から出力されるCV値と、計測点と追跡による追跡データを取得した計測点により、計測点の三次元座標を演算で求める。
対象範囲測量部4660は、対象範囲にあるすべての計測点の三次元分布を求める。
特定計測点は、特定されているので、その属性を登録されたまま計測点生成部4630に送られ、一般の計測点と同じように追跡され、演算され、前記計測点演算部4650され、出力される。
特定計測点形成部4690は、計測点演算部4650からの出力の中から、特定計測点のみ抽出し、その属性に適合した形状を与える。
三次元形状生成部4670は、特定計測点形成部4690から出力される特定計測点で形成される三次元形状を生成する。
三次元座標統合部46100は、三次元形状生成部4670で生成された三次元形状を、特定計測点以外の計測点から得られた三次元形状とともに統合する。
そして、上記のように生成・統合された三次元形状が、三次元地図出力部46110により三次元地図として生成・出力される。
三次元形状生成部4601は、計測点の三次元分布をワイヤフレームで表現するワイヤフレーム生成部4601aと、ワイヤフレームに、全周ビデオ映像の対象範囲のテクスチャーを貼り付けるテクスチャー貼り付け部4601bを備える。
また、結合条件設定部4602は、上記の三次元座標分布からワイヤフレームが一義的に定まらない場合に、適切な三次元形状を生成するためのワイヤフレームの結合条件を変更する。
図47(a)に示すような航空機の一部に、図47(b)に示すようにGPS1個と広角ビデオカメラ五台を取りつける。
それぞれのカメラは、図48(a),(b)に示すように、50°×70°程度の視野を持ち、一部視野を重複して地上を撮影する。
カメラ間距離は精度良く計測しておくことで、後の演算に反映させる。また、カメラの取り付け角度については、振動による揺らぎを考慮し、概略設定として、後に演算で求める。
各広角カメラからの画像データとGPSデータは、同一の時計による時刻と同時に記録される。
広角ビデオ映像からGPSにより、絶対座標校正を行い、CV演算を行い、CVデータによりGPSデータの揺らぎを補正し、CVデータとしてCVデータ取得部によりCVデータとして取得する。
次に、図49〜図57を参照して、二次元動画映像から三次元映像を生成する三次元地図生成装置の実施形態について説明する。
図49に示す三次元地図生成装置4700は、二次元動画映像から三次元映像を生成することを特徴とするものである。
具体的には、図49に示すように、三次元地図生成装置4700は、以下のような処理動作を行う各要素を備えている。
図50及び図51に、オペレータの単純ブロック化の例(図51(a)参照)と、オペレータを一般画像に適応して範囲を指定している例(図50,図51(b)参照)を示す。
ここでは、オペレータを用いて、範囲を決めて三次元化することにより演算時間が短くなるメリットがある。もちろん、一度に全域を三次元化することも同様に可能である。
また、対象範囲を限定し、対象物一個程度に狭く指定することで、図45に示したPRMによる三次元地図生成における対象物認識の前段階として、PRM三次元地図生成装置を含めて利用することも可能である。
次に、湧きだし点決定部4720bにより、上記の回転成分を停止した時に、動画映像の動きの原点となる湧きだし点が決定される。
矩形オペレータは各ブロックをエピポーラ線上に追跡することで、実質的に一次元と扱うことができるので、湧きだし点方向オペレータと同じ結果を得ることができる。
湧きだし点方向オペレータには、画像展開方式により様々なものが考えられる。
なお、オペレータは画像全域まで拡張することが可能である。
図50には、湧きだし点方向オペレータを交通標識部分に適応した例を示す。
また、図52には、平面変換画像における湧きだし点位置と、湧きだし点方向分割オペレータの関係を示す。
同図に示すように、メルカトール画像では、画像分割された各分割領域は、湧きだし点から生成されて、上記のエピポーラ線上を曲線的に移動し、吸い込み点で消失するように運動する。遠近法に対応する平面展開の画像では、上記領域は直線的に移動する。
回転の方向が変わる一般画像では、上記の状態が微分的に成立する。
画像の回転とカメラ方向を後処理で安定化させることで、上記の状態を連続的に実現することが可能である。すなわち、画像の回転とカメラ方向を安定化させる処理により、湧きだし点と吸い込み点が固定され、回転が無くなり、上記状態が長く保たれることになる。
湧きだし点方向オペレータはこのエピポーラ線とそれに交わるラインとで分割される領域に分割される。なお、図53では垂直線としているが、特に制限はない。
図54は、球面展開画像(魚眼レンズの射影方式)における画像分割例とオペレータ例と湧きだし点位置を示す。
具体的には、魚眼レンズの投影法による画像の湧きだし点位置と吸い込み点位置の例を示す。なお、魚眼レンズの投影法には主に2種類有るが、湧きだし点と吸い込み点に関してはどちらも同じことが言える。
画像分割領域は、湧きだし点と吸い込み点の2点間をつなぐエピポーラ線上を曲線的に移動する。曲線ではあるが、湧きだし点が定まれば一義的に決まった経路をたどるので、実質的に一次元ベクトルとして扱うことができる。
また、画像ブロックは、境界点抽出部4720eにより、境界線の一部となり得る境界点が抽出される。
さらに、領域点抽出部4720fにより、上記の特徴点及び境界点以外の点を領域点として、その領域点が抽出される。
この特徴点,境界点,領域点を三種の点要素と呼ぶ。
図55に、全ブロックについて特徴点、境界点、領域点を定義して分類したものを示す。
図56にはその二次元ゴム紐結合状況が示してある。
なお、以上の計測密度指定部4720においては、画像安定化部4720aは必ずしも必要ではなく、湧きだし点決定部4720bも必ずしも必要ではなく、その場合には、画像ブロック分割部4720cは、単純に長方形のブロックに分割することでも、特徴点、境界点、領域点の分類は可能である。
もし、画像ブロック分割が湧きだし点に依らずに、長方形のような単純分割である場合には、ゴム紐結合はブロックの順番を変えずに、垂直水平両方向へのゴム紐結合が必要となる。
また、領域生成部4730bにより、領域点とそれを取り囲む特徴点及び境界点で作る領域を生成する。
最終画像ブロック分類を図57(b)に示す。同図において、境界点又は特徴点に囲まれる閉じた領域点が集合した領域はハッチ部分、不完全な領域は塗潰し部分で分類している。
そして、計測点決定部4730cにより、特徴点を計測点、領域を計測領域として、追跡計測対象として決定する。
特徴点は、そのまま複数の隣接フレームに追跡可能である。
境界点は、湧きだし方向に追跡することで、その対応点が決定できる場合はあるが、一部は決定できない。また、領域点はそれ自身を追跡しても対応点を発見できないが、閉じた領域全域の形状を用いて追跡すれば、追跡可能なものが存在する。
しかしながら、追跡不可能な点であっても、ゴム紐で結合され、配列順番が決定されていることから、また、湧きだし点からの距離と速度は一次関数で表せることから、未知のブロックを比例関係で内装することで、一部の未知のブロックの追跡点を想定することは十分可能である。
その画像ブロックの大きさの変化は、湧き出し点からの距離に依存し、演算可能であり、前もって予想がつく。従って、その予想を反映させて、湧き出し点からの距離の関数として画像ブロックの大きさと形状を変更して、追跡を行うことも可能である。このようにすることで、より適切な追跡が可能となり、追跡精度が向上する。なお、画像ブロック分割部4720cにおいて、湧きだし点を用いずに画像を単純分割した場合には、対応演算は単純化されるが、計測点追跡部において、追跡方向が二次元となることによる非効率化と演算速度の増加というデメリットが発生する。
ここで、特徴点、及び追跡可能な境界点、追跡可能な閉じた領域点集合については三次元計測が可能となり、その三次元座標を演算で求められる。
追跡不可能な点であっても、ゴム紐で結合され、配列順番が決定されていることから、また、湧きだし点からの距離と速度は実質的に一次関数で表せることから、三次元座標の未知のブロックについては、隣接する三次元座標の既知の画像ブロックから、比例関係で内装することで、未知のブロックの三次元座標を推測できる。
ここでは、対象範囲を限定して処理することにするが、まったく同じ原理と方法で画像全域に亘って、一度の全域変換も可能であるが、演算時間がかかるというデメリットがある。
次に、ゴム紐切断部4770bにより、特徴点と境界点の所属により、ゴム紐結合の一方を切断して、片方の領域間の結合を立ち、もう一方の領域に結合させる。境界点は一般に連続して複数の領域の境界線を作るが、その複数の領域のどの領域に当該境界点が所属するかを決定しなければならない。また、境界点を先に決めて、その境界点に属する領域を決めることでも同じである。
さらに、三次元ゴム紐結合映像部4770cにより、対象範囲のすべてのブロックを、特徴点、境界点、領域点に分類し、特徴点は計測点として求めた座標で固定し、最後に残った未だ座標の定まらない画像ブロックついてはゴム紐上で内挿し、それぞれの三次元座標を与えることで、すべてのブロックには三次元座標が与えられ、最終的に全ブロックを三次元的にゴム紐で結合する。
図57(b)に示す例は二次元ゴム紐結合であるが、これに各ブロックに三次元座標を与えたものが三次元ゴム紐結合となる。
また、三次元画像記録統合部47100bにより、画像ブロック分割の密度を最初に設定したことによる三次元ゴム紐結合された画像を一旦記録し、次の行程により、より詳細な三次元形状を順次生成し、それを繰り返し、目的の密度まで順次生成し、より詳細な三次元映像を生成する。
三次元ゴム紐結合映像は、最初は粗い三次元形状を生成し、それを修正する形で次第に密の形状の三次元形状を生成する。
以上により生成された三次元形状により、三次元地図出力部で三次元地図が生成・出力される。
但し、複雑な形状の対象においては、複数回密度を変更し、次第に細かくしていく作業が必要である。また、対象範囲指定部の指定範囲によっても、密度を変更し、繰り返しを変更することで、画像と範囲に適した、密度変更が必要となる。
ここで、本発明に係る領域分割による領域分けは、空撮映像においても地上撮映像においても同様に有効であり、それを一般化したものが、図52及び図55〜57に示す例である。
領域分割は、まず、広角ビデオ映像の中に、目的とする測量対象範囲を指定する。図55(a)に示す例では全域の110%を指定した場合である。
次に、対象部分をブロック化する。ブロック化するときに、CVデータから湧きだし点を求めて、湧きだし点からの延長線上に配列されるようにブロック化する(図52(a)参照)。
この二次元ゴム紐映像の生成処理により、後の追跡作業が容易になる。追跡はこの放射直線上を追跡すればよいことになる。
対象指定範囲の全領域をブロック化し、各ブロックを自己相関演算により、内部にピークを持つブロックを特徴点とし、ピークを持つが縁に位置する場合を境界線候補とし、それ以外を図及び地とする。
この段階で、図と地の区別はまだ無いが、特徴点、及び輪郭候補点に囲まれているものが図であり、囲まれていないものが地となる。それを分離したものが図57(b)である。
この段階で、映像はブロックに分割され、それぞれのブロックは特徴点、境界線、図、地の4種類に分割され、しかも各ブロックは前記4種類の何れかに属することになる。ただし、全周映像では最終的に図と地の区別はなくなる。
さらに、地を除く三種類から、輪郭を形成する点と、図となる領域と地となる領域に分類することができる。
計測点と既に求められているCVデータから、各計測点の三次元座標を演算で求める。
この計測点演算出力から、矛盾する計測結果を排除して、対象範囲の三次元座標の分布を求める。
そして、特徴点、領域境界、図、地等の分類により、映像の全ブロックを反映させた三次元ゴム紐結合映像を生成する。
そして、特定計測点を広角ビデオ映像内に追跡し、追跡結果とCVデータから、特定計測点の演算を行う。このとき、特定計測点の垂直、水平等の属性を反映させる。
ポリゴン化した骨格には既に三次元ゴム紐化した三次元映像がテクスチャーとして貼り付けてあるので、この場合はテクスチャー貼り付け部(図46Bの4601b)は不要となる。
ポリゴンの結節点は現実に合わせて、関係を調整するポリゴン生成条件を設定する。ポリゴンの結合関係は一義的に定まらないので、現実に合わせる必要があるためである。
そして、統合されたものを三次元地図として出力する。
このようにすることで、空撮映像から直接三次元地図を生成することができる。
撮影時点では、カメラ姿勢、即ち航空機の姿勢を心配することなく、オルソ化もすることなく、動画映像から直接三次元地図を取得できることは優れた利点となる。
次に、図58〜図59を参照して、複数カメラによる視差併用方式の三次元地図生成装置の実施形態について説明する。
図58に示すように、本実施形態の三次元地図生成装置5800は、視野が重複し、視差のあるビデオ映像を取得するための、複数のビデオカメラを有する複数カメラ撮影部5801を備えることを特徴とする。
なお、本実施形態に備えられる高精度CV演算装置は、図17で示した全周カメラを省略して全周カメラの機能を複数カメラに持たせた高精度CV演算装置171に対応するものであるが、勿論、全周カメラを備えた高精度CV演算装置への適用を妨げるものではない。
視差方式三次元化装置5801は、車載等により移動する、複数のビデオカメラにより撮影される視差のあるビデオ映像により、カメラ位置から対象物までの距離を重複した視野範囲に亘って演算で求めて、カメラ座標三次元距離分布データを取得する。
そこで、本実施形態のような構成とすることにより、カメラ自身の三次元座標を、CV値を求めることでカメラ位置が既知となり、従って取得された映像の三次元データは静止座標系からの距離に変換できることになる。
視差方式カメラ装置の具体例を図59に示す。
高精度CV演算装置5802は、画像取得部5802aとCV演算部5802bを備えている。
画像取得部5802aは、複数カメラを代表するカメラからのビデオ映像を取得し、一時記録する。
CV演算部5802bは、同時併設してある他のカメラで取得したCV値からカメラ位置に変換して、代表するカメラ位置のCVデータを取得する。このCV演算処理は、図17で示した高精度CV演算装置171と同様である。
なお、代表するカメラ位置のCVデータを当該カメラの映像から取得することもできる。この場合は、当該カメラを用いるため、CV演算専用カメラではないことから、画角を広角に選べないために画角が狭くなるか、又は解像度が低下する等、演算時のCV値の精度が落ちることになる。
静止座標系変換部5803は、視差方式三次元化装置5801により得られたカメラ座標系における三次元距離分布データを、高精度CV演算装置5802で得られた高精度CV値により、連続的に静止座標系における三次元距離分布データに変換する。
CV値はカメラの三次元位置と3軸回転姿勢を示すので、カメラ座標三次元距離分布データを正確に任意の座標系に変換できる。
静止座標系合成結合部5806は、ビデオ映像の進行とともに、重複しながら連続的に得られる静止座標系における三次元距離分布データを結合して、静止座標系に統合する。
そこで、さらに必要が有れば、以下に示す運動対象物分離部5805及び静止物体分離空間構成部5808を備えることで、運動対象物を分離して、運動対象物と静止体とに分離し表示することができる。
静止物体は重複するか、運動対象物は重複しないので、分離することができる。また、それぞれの領域のCV値から、運動対象物を分離することもできる。
そして、静止物体分離空間構成部5808により、静止座標系に統合時に、静止座標系における静止物体のみで構成するようにする。
なお、上述したように、CV演算と視差方式とは、相反する性質があり、CVデータ用のカメラと視差方式用の複数カメラの選択や組み合わせのバリエーションとしては、装置の規模やコスト等に応じて最適なものに設定することができる(図21参照)。
次に、図60〜62を参照して、本発明に係る高精度CV演算装置を備えたCV方式航法装置の具体的な実施形態について説明する。
図60に示すように、本実施形態に係るCV方式航法装置6000は、CV方式三次元地図生成装置6001と、三次元地図装置6002,走行経路入力装置6003,車載式カメラと概略CV演算装置6004,対象物空間構成装置6005,対象物認識装置6006,高精度CV演算装置6007,現状判断装置6008,リアルタイム制御装置6009及びリアルタイム表示装置6010の各部を備えている。
三次元地図装置6002は、CV方式三次元地図生成装置6001により生成され、車載可能とした三次元地図情報を備える。
走行経路入力装置6003は、三次元地図装置6002に、走行に必要な情報を三次元データ及び属性として予めに入力し、途中で変更可能な入力手段である。
車載式カメラと概略CV演算装置6004は、車載カメラから、広角映像データと走行時点の比較的低精度のCVデータを出力する。
なお、本実施形態の航法装置6000において、図58で示した二台のカメラの視野を重複して視差による三次元画像生成とCV演算を併用すれば、三次元空間構成を検出が容易になり、リアルタイム処理が可能となる。
事故回避の緊急対応として、車輌の前に人間が飛び出す等が考えられるが、車輌の進行方向の空間に、空間構成データから、何らかの物体が進行方向に存在すると判断された場合に、それを人間か否かを認識判断する以前に、緊急判断として、車輌を回避させるか、停止させることで事故を未然に防止する行動を取るようにする。
対象物空間構成装置6005と対象物認識装置6006のより具体的な処理内容を図61に示す。
同図に示すように、対象物空間構成装置6005では、粗密度画像分割6101により、車載の映像出力を粗密度で画像を分割し、粗密度三次元空間配置認識6102により、CV値から映像空間の大まかな三次元配置を認識する。
さらに、対象物ロックオン6104により、隣接するフレームにおける位置を予想し、対象物ロックオン追跡6105により、対象物を追跡する。
この追跡結果から、対象物領域三次元形状生成6107により、その三次元形状を求める。
一方、図45に示したPRM方式と同様、データべース部品を三次元地図の情報として用意し、その部品と、あるいはその部品を三種の点要素に前もって分解しておき、比較6108において、部品、もしくはその部品の三種の点要素及び領域を比較し、PRMによる三次元部品特定6109により部品を特定し、対象物最終認識6110で対象物を認識する。
このように二段構えとすることで、認識以前の段階で高速リアルタイム演算を行い、最優先で障害物を検知し、その障害物を回避し、その多少の演算時間をかけて、高度の認識まで含めて低速リアルタイム処理を行うことができる。
現状判断装置6008は、上記の高精度のCVデータと、対象物空間構成の出力と、対象物認識結果と、車載レーダやその他車載計測器の出力を総合的に判断して、走行条件の結論を導く現状判断装置を設置し、
すなわち、リアルタイムで得られたCV値とカメラ映像の解析により、直接車輌や航空機を目的位置、目的方向、目的速度、目的姿勢を予定に合わせて、しかも現場の状況に応じて適宜修正しながら、制御することができる。
リアルタイム表示装置は、カメラを積載した走行車輌の位置と姿勢に関して、走行経路入力装置6003から出力される制御信号を予め走行車輌内に記録し、走行車輌に積載された高精度CV演算装置6007の出力から現在位置と姿勢を取得し、記録された制御信号により、車輌が予定の走行経路を走行するように制御し、さらに、走行時に取得した情報から判断し、現在位置の周囲の状況に合わせてリアルタイムで修正制御する、また、必要に応じて高精度CV演算装置6007の出力、認識結果、及び現状判断結果を、二次元地図又は三次元地図上にリアルタイムで表示して、運転者等に知らせる。
以上のような本実施形態に係る航法装置6000を走行車輌に実装した一実施例を図62に示す。
さらに、図63〜69を参照して、本発明に係る高精度CV演算装置を備えたCV方式航法装置の応用例として、歩行者ナビシステムの実施形態について説明する。
歩行者ナビシステムは、本発明に係る高精度CV演算装置が適用されるナビゲーション装置として実現されるものであり、車両走行時には、カーナビ装置に歩行者ナビ装置が接続された状態に置かれる。そして、カーナビ装置では、通常のガイド(カーナビゲーション)を行い、一方、被案内者が車両から離れるときには、歩行者ナビ装置がカーナビ装置から独立して歩行者ナビ装置単体としても用いることができるものである。
歩行者ナビ装置は、車両走行中はカーナビ装置と情報を共有する必要性から、カーナビ装置と接続した状態に置かれているときには、歩行者ナビ装置による機能はカーナビ装置の機能と結合して、車内のカーナビ装置の大きなディスプレイに表示して、案内する機能を持つ。
カーナビ装置ではGPS機能が主となるが、歩行者ナビ装置ではGPS機能は補足的であり、歩行者ナビ装置以外から取得したCV映像、又は歩行者ナビ装置に付加されたカメラ映像から位置を取得するCV機能が重要となる。
また、歩行者ナビ装置は、情報センターとデータのやり取りが可能で、情報センターは歩行者ナビ装置に対してCV映像地図配信サービスと地点特定サービスを行う。
歩行者ナビ装置と情報センターとは、回線を介して通信可能に接続される。回線としては、携帯電話回線や専用回線を使用することができるが、少なくとも静止画像や動画像のデータ伝送を可能とする回線が必要となる。
歩行者ナビシステム6300は、図63に示すように、基本的構成として、情報センター施設6310と、歩行者ナビ装置6320を備えている。
情報センター施設6310は、撮影地点のカメラ位置と姿勢データを持つCV映像と、その属性等が記録され、座標や属性等で検索し、特定された地点のCV映像や属性等を配信する機能を持つ。この情報センター施設6310は、前もって設置される。
歩行者ナビ装置6320は、被案内者となる歩行者が携帯可能な端末装置等で構成され、装置本体では、目的地点を指定することで、情報センター施設6310との通信により、目的地点までのCV映像と座標,属性等を取得し、もしくは、歩行途中で目的地や経路を変更し、情報センターとの通信によって新たなデータを取得し、それらの取得データ等によって、歩行者を目的地まで案内する。
具体的には、カーナビ装置6330は、通常のカーナビゲーション機能を持つカーナビゲーション装置を構成し、結合装置6340を介して歩行者ナビ装置6320と接続されるようになっている。すなわち、歩行者ナビ装置6320は、カーナビ装置6330に対して着脱可能に接続されるようになっている。
結合装置6340は、カーナビ装置6330と歩行者ナビ装置6320がそれぞれ着脱可能であり、接続状態では一体化した機能を有し、分離した状態ではそれぞれ単独で機能するような、カーナビ装置部と歩行者ナビ装置部とを接続して、データのやり取りをするための装置である。
情報センター施設6310では、まず、センター受信部6311で、歩行者ナビ装置6320から経路データ等を受信する。
CV映像データベース部6312では、目的地点を含むCV映像を保存し、その属性とともに記録して、受信した座標又は属性で検索できるようにデータベース化されて保存される。
近接位置CV映像選択部6313では、CV映像データベース部のデータの中から、受信したデータに最も適切なCV映像を選択する。
センター送信部6314は、選択された最も適切なCV映像を、歩行者ナビ装置6320に送信する。
また、経過地点指定部63202で、任意の経過地点を指定する。
経路演算部63203では、現地点と目的地点を設定することで、途中経路を自動的に求める。
経路決定部63204では、経路演算部63203で演算された複数の経路の中から、適切な経路を選択する。
経路送信部63205は、経路決定部63204で決定された経路と現地点と目的地とを表す経路データ等を、情報センター施設へ送信する。
地点映像選択部63207は、情報センター施設6310により配信されたCV映像から、現地点映像を選択する。
地点映像ページめくり部63208は、歩行者の移動にともない、CV映像を次々選択する。
目的地点到達案内部63209は、目的地点周辺に到達したときに、歩行者に目的地を知らせる。
表示案内部63211は、地点映像選択部63207と、地点映像ページめくり部63208と、目的地点到達案内部63209と、随時配信されたCV映像を、それぞれ切り替えて、あるいは同時に表示する。
音声案内部63212は、表示案内部63211で表示される案内内容を、必要に応じて音声で案内する。
具体的には、同図に示すように、歩行者ナビ装置6320は、まず、広角映像撮影部63213により、当該歩行者の周辺の映像を動画撮影する。
画像処理部63214では、撮影された広角映像を一次記録し、隣接するフレーム内に特徴点を抽出する。
CV演算部63215は、追跡した特徴点により、カメラベクトル(CV)を演算で求める。このCV演算は上述した通りである。
絶対座標変換部63216は、長さや距離や座標が既知の対象物を基準として絶対座標を取得する。
二種CV映像比較部63218は、情報センター施設6310から配信されたCV映像と、歩行者ナビ装置6320で取得したCV映像と二種類のCV映像を比較して、二種類のCV映像の位置関係を決定する。
自己位置決定部63219は、情報センター施設6310から配信されたCV映像における自己位置を決定し、さらに地点映像ページめくり部63208においてCV映像を自動選択して自動ページめくりを行う信号を生成する。
自己位置マーカ生成部63220は、自己位置のマーカを生成し、自己位置を案内映像上、又は地図上に表記する信号を表示案内部63211に送る。
具体的には、図67に示すように、歩行者ナビ装置6320は、総合データ送信部63221により、経路決定部63204からの出力と、広角映像撮影部63212からの出力、絶対座標変換部63216からの出力を情報センター施設6310へ送出する。
情報センター施設6310では、センター受信部6311が、歩行者ナビ装置6320の総合データ送信部63221から送られた信号を受信する。
CV映像データベース部6312は、目的地点を含むCV映像を保存し、その属性とともに記録し、受信した座標又は属性で検索できるようにデータベース化して保存する。
自己位置決定部6316は、二種CV映像比較部6315のCV映像比較により、自己の位置を座標上で、もしくは映像上で決定する。
地点CV映像選択部6317は、自己位置決定部6316で自己位置を決定したことで取得されるCV映像データベース部6312から対応するCV映像を選択する。
選択された地点のCV映像等は、センター送信部6314から歩行者ナビ装置6320に送信される。
具体的には、図68に示すように、歩行者ナビ装置6320には、GPS部63222を備えることができる。
GPS部63222は、GPSにより絶対座標を取得する。
これにより、GPS電波が良好に受信できて精度が十分あるときは、GPSにより絶対座標を取得し、さらに、自己位置をGPSとCV値で互いに補完し合うことで精度を向上させることができる。また、GPS電波を受信できないときや、GPSの誤差が大きいときには、既に補完補正されたCV値による自己位置決定を行うことができる。
同図に示す動作例では、カーナビ装置により目的地近くまで車両により走行し、車両を目的地近くの駐車場に止め、そこから徒歩で歩行者ナビにより最終目的地まで案内移動することを想定している。
まず、目的地点をカーナビ装置6330の地図上、もしくは歩行者ナビ装置6320上の地図上で設定をすることができる。
なお、目的地点の設定は、歩行者ナビ装置6320,カーナビ装置6330のいずれのディスプレイでも設定可能であるが、一般にカーナビ装置6330のディスプレイの方が大画面であり、歩行者ナビ装置6320がカーナビ装置6330に接続されている状態では、カーナビ装置6330の大画面ディスプレイで設定するのが有利である。
また、カーナビ装置6330の精度だけでは、重要ポイントを見落とすることがあり、必要時に情報センター6310から位置の特定サービスも受けることができる。
情報センター6310と歩行者ナビ装置6320は回線で接続されており、CV映像地図だけではなく、後述するように、その他情報の交換ができるようになっている。
また、情報センター6310によらず、歩行者ナビ装置6320単体の機能としてのCV機能により、車両の位置精度を高精度で求めて、カーナビ装置6330に反映することができる。
CV映像中には、交通に必要な信号機の位置や、道路標識,道路標示,行き先標示,通りの名称やビルの名称や重要構造物の名称など、映像内の主な対象物の名称が印されている。
歩行者ナビ装置6320のCV機能(走行中は接続されているカーナビ装置の機能と一体化している)により、GPSによる位置計測を補正し、車線位置や停止線まで特定できる程の高精度で車両位置を計測して表示することが可能となる。
ここでCV機能とは、広角カメラによる位置座標をCV演算により取得し、位置の特定を行う機能のことである。
また、CV機能のために付いているカメラにより、信号機の自動認識も可能となる。
また、情報センター6310へ現地店の映像を送信することで、位置特定サービスを受けることができる。これは、被案内者が道に迷ったとき等に有効である。特に、歩行者ナビ装置6320が単独のときに重要となる。
エンジンを停止するか、カーナビ装置6330と歩行者ナビ装置6320との接続を切り離せば、カーナビ装置6330により走行中に受信した駐車場から目的地近くまで、必要となる重要ポイントのCV映像地図は歩行者ナビ装置6320に自動的にコピーされるようにすることができる。
被案内者が車両を離れて以降は、歩行者ナビ装置6320はカーナビ装置6330から切り離なされて被案内者が身につけた状態で使用される。
これ以降は、カーナビ装置から切り離された歩行者ナビ装置6320により、被案内者を目的地まで地図と映像と音声により案内する。
被案内者は、歩行者ナビ装置6320により、目的地方向にCV映像地図を見ながら、あるいは二次元地図を見ながら歩行して進行する。
GPS部63222を備える歩行者ナビ装置6320(図68参照)であれば、GPSによる位置情報を地図上に表示できる。
GPS部63222を備えない歩行者ナビ装置6320や、GPSの電波が受けられない場所にいる場合には、歩行者ナビ装置6320のCV機能により、被案内者は自分の位置を知ることができる。
具体的には、歩行者ナビ装置6320に備えられるカメラにより、自動的に、あるいは手動により、被案内者が立つ場所の周囲の映像を撮影し、それを情報センター6310に送信する。情報センター6310では、受信した映像を、データベースに記録されているCV映像と比較して、受信した映像の撮影位置を割り出す。
位置が割り出された結果を三次元座標として歩行者ナビ装置6320側に送り返し、歩行者ナビ装置6320側では、受信した座標を、地図上に、又はCV映像地図上に表示することができる。
このようにして、被案内者は、道に迷った場合でも、この位置特定サービス機能により、いつでも自分の位置を確認することができる。
この画像認識による位置特定には、二種類の方法がある。第一の方法としては、歩行者ナビ装置6320からCV演算可能な動画像を送信して、情報センター6310のCV映像と三次元比較して位置を特定する方法である。この方法は、精度は高いが、動画像を送信する点でコストがかかることになる。
第二の方法としては、歩行者ナビ装置6320から静止画像を送信して、情報センター6310側で、CV映像との対比をすることで位置特定を行うことができる。この方法は、送信するのは二次元画像の静止画であるが、元は動画像であるためにCV値は求まっているので、一連の移動のCV値をも同時に送信することで、情報センター6310側での比較時には良い手がかりとなり、精度が得られる。また、基本機能の二次元地図表示では、二次元地図上に自分の位置と目的地方向を表示できる。
一方、CV機能付きの歩行者ナビ装置6320では、電波の届かない場所でもCV映像と一特定サービスにより自分の移動量をベクトルで求めることができるので、案内が可能となる。
場所を自動特定するマーカもあれば、あるいは単にCV演算を容易にするための特徴点となるマーカを付けておくだけでも、位置の精度は向上する。ビル内や地下街においては特徴点として天井に様々なマーカを印すことが可能である。歩行者ナビ装置6320にとっては、ビルや地下街の天井等は優れた情報付加部分となる。
なお、マーカは肉眼で捉える場合もあるが基本的にはカメラで捉え、画像処理で特定される。そこで、マーカは肉眼では見えないが、カメラでは捉えられるように、カメラのCCDが感度を持つ近赤外光を反射するマーカとすることも可能である。
また、現実空間内の特徴ある形状を三次元特徴物として登録しておくことでもCV演算は容易となり、精度と信頼性とに貢献する。
最終目的地が登録されていない場合は、通過目的地まで案内するが、その後最終目的地までの経路を記録することができるので、次回からは最終目的地を設定できることになる。
最終目的地のマーカ又はCV映像を他から取得することで、最終目的地を設定することが可能となる。最終目的地の座標が不明確でも、特定しやすいマーカがあればそれを最終目的地と設定することが可能である。
なお、CV映像による案内は、二次元地図ではなく映像が主体となるため、座標の正確さは重要ではなくなる。
例えば、本発明の高精度CV演算装置を備えるCV方式三次元地図生成装置やCV方式航法装置を適用可能な移動体としては、地上を走行する車輌に限らず、三次元空間を航行する飛行機等であっても良い。
10 移動体計測部
20 データ生成部
30 時間軸整合部
40 CV補正部
50 高精度CVデータ出力部
60 CV映像合成表示部
Claims (19)
- 移動体に固定され、当該移動体の移動とともに移動体周辺を撮影してビデオ映像を取得するとともに、当該移動体の位置データと移動量データを含む位置計測データを計測する移動体計測部と、
前記移動体計測部で取得されたビデオ映像を記録し、当該ビデオ映像からカメラの三次元位置及び3軸回転位置を示すCVデータを生成するCV演算を行うとともに、前記移動体計測部で計測された位置計測データを取得するデータ生成部と、
前記データ生成部で生成されたCVデータを、基準時刻により関連付けられた時刻同期CVデータとして生成するとともに、前記位置計測データを、基準時刻により関連付けられた時刻同期計測データとして生成する時間軸整合部と、
前記時刻同期CVデータと前記時刻同期計測データを同一時間軸で関連付けて比較し、当該比較結果により、時刻同期CVデータと時刻同期計測データを相互に補完補正し、CVデータの最終的なCV値を補正するCV補正信号を生成するCV補正部と、
前記データ生成部に記録されたビデオ映像を出力し、当該ビデオ映像の各フレームに対応して、前記CV補正信号により補正された高精度CV値を出力する高精度CVデータ出力部と、
を備えることを特徴とする高精度CV演算装置。 - 前記移動体計測部が、
複数のビデオカメラ機器を備え、
前記データ生成部が、
前記複数のビデオカメラ機器により得られたビデオ映像の視差のある複数画像から、カメラ間視差によりカメラ座標系における三次元形状を生成する視差方式カメラ座標三次元化部と、
前記カメラ座標系における三次元形状の中から三次元特徴部位を抽出し、当該三次元特徴部位をビデオ映像の隣接する複数のフレーム上で追跡し、又は当該フレームに対応する三次元形状上で追跡し、当該カメラ座標系における当該三次元特徴部位と当該カメラ位置から、静止座標系におけるカメラ座標と3軸回転角とをCV演算により求めるマルチCV演算部、
又は、前記カメラ座標系による三次元形状の中から複数の三次元特徴点を抽出し、当該三次元特徴点をビデオ映像の隣接する複数のフレーム、又は当該フレームに対応する三次元形状上で追跡し、カメラ座標として取得した当該三次元特徴点と当該カメラ原点座標から、静止座標系におけるカメラ位置座標とその3軸回転角とをCV演算により求めるマルチCV演算部と、
を備える請求項1記載の高精度CV演算装置。 - 前記移動体計測部が、
移動体に固定され、当該移動体の移動とともに、移動体周辺を撮影して全周ビデオ映像を取得する全周ビデオカメラ機器部と、前記移動体に固定され、位置関係を既知とする複数のカメラによって移動体周囲の視差のある映像を取得する複数ビデオカメラ機器部とを有し、これら全周ビデオカメラ機器部と複数ビデオカメラ機器部が、相互に三次元的位置と姿勢の関係を既知として設置され、
前記データ生成部が、
前記全周ビデオカメラ機器部によって得られた全周ビデオ映像を記録する全周ビデオ映像記録部と、
前記全周ビデオ映像記録部に記録された全周ビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を全周ビデオ映像の隣接する複数のフレームに追跡し、前記移動体の座標系における当該複数の特徴点とカメラ位置関係に基づいて、静止座標系における全周カメラの位置座標と3軸回転角とを示すCVデータを演算により求めるCV演算部と、
前記複数ビデオカメラ機器部によって得られたビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を、ビデオ映像の隣接する各フレーム画像内に追跡するとともに、カメラ間距離が既知の他のカメラの対応する各フレーム画像内に追跡することで、絶対距離を取得し、高精度のカメラ三次元座標と3軸回転姿勢を示すマルチCVデータを演算により求めるマルチCV演算部と、を備え、
前記時間軸整合装置部が、
前記CVデータと前記マルチCVデータに、時刻データを供給する時計部と、
前記時計部から供給される時刻データに基づいて前記CVデータを関連付けて記録する時刻同期CVデータ記録部と、
前記時計部から供給される時刻データに基づいて前記マルチCVデータを関連付けて記録する時刻同期マルチCVデータ記録部と、
CVデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整CV信号を出力する遅延調整CV信号出力部と、
マルチCVデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整マルチCV信号を出力する遅延マルチCV信号出力部と、を備え、
前記CV補正部が、
前記複数ビデオカメラ機器部と前記全周ビデオカメラ機器部との設置位置の差による座標のズレを前記CVデータに基づいて生成し、複数ビデオカメラ機器部の位置座標を全周ビデオカメラ機器部の位置に補正する機器座標位置補正部と、
前記遅延調整マルチCV信号の座標配列形状と、遅延調整CV信号の座標配列形状とを比較して、座標配列形状差を検出する座標配列形状比較部と、
前記遅延調整マルチCV信号の座標配列形状と、遅延調整CV信号の座標配列形状と、両者の対応関係がとれた区間の座標配列形状差から、3軸方向のスケール誤差を補正する補正信号を生成する補正信号生成部と、
前記区間に対応するCVデータによる座標配列形状を、前記マルチCVデータによる座標配列形状と一致させるようにCVデータを補正するCVデータスケール補正部と、
前記CVデータスケール補正部における補正処理を、目的区間の全域に亘って繰り返すことにより、連続する位置補正CVデータを生成する全域スケール補正部と、
前記全域スケール補正部で補正されたCVデータの三次元座標を既知として、3軸回転を含む高精度CVデータの再演算を行うCV再演算部と、を備え、
高精度CVデータ出力部が、
前記全周ビデオカメラ機器部で取得された全周ビデオ映像を出力する全周ビデオ映像出力部と、
前記全周ビデオ映像出力の各画像フレームに同期して、前記全域スケール補正部で位置補正され、前記CV再演算部で再演算されて3軸回転補正されたCVデータ信号を出力する再演算CVデータ出力部と、を備える請求項1又は2記載の高精度CV演算装置。 - 前記データ生成部が、
前記複数ビデオカメラ機器部の視差のある複数画像から、カメラ間視差によりカメラ座標系における三次元形状を生成する視差方式カメラ座標三次元化部と、
前記視差方式カメラ座標三次元化部で取得された、前記カメラ座標系における三次元形状の中から複数の三次元的特徴部位を抽出し、当該三次元的特徴部位をビデオ映像の隣接するフレームに追跡し、又は当該フレームに対応する三次元形状に追跡し、当該三次元的特徴部位とカメラ位置関係に基づいて、前記移動体に備えられたカメラの静止座標系におけるカメラ位置座標とその3軸回転角をCV演算により求めるマルチCV演算部と、を備える請求項3記載の高精度CV演算装置。 - 前記移動体計測部が、
移動体に固定され、当該移動体の移動とともに、移動体周辺を撮影して全周ビデオ映像を取得する全周ビデオカメラ機器部と、前記移動体に固定され、当該移動体の三次元位置を緯度経度高度で取得するGPS計測機器部とを有し、これら全周ビデオカメラ機器部とGPS計測機器部が、相互に三次元的位置と姿勢の関係を既知として設置され、
前記データ生成部が、
前記全周ビデオカメラ機器部によって得られた全周ビデオ映像を記録する全周ビデオ映像記録部と、
前記全周ビデオ映像記録部に記録された全周ビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を全周ビデオ映像の隣接する複数のフレームに追跡し、当該複数の特徴点とカメラ位置関係に基づいて、前記移動体に備えられた全周カメラの静止座標系における三次元位置座標と3軸回転角とを示すCVデータを演算により求めるCVデータ取得部と、
前記GPS計測機器部から当該GPS計測機器部の三次元位置を示す絶対座標データを取得する絶対座標データ取得部と、を備え、
前記時間軸整合装置部が、
前記CVデータと前記絶対座標データに、時刻データを供給する時計部と、
前記時計部から供給される時刻データに基づいて前記CVデータを関係付けて記録する時刻同期CVデータ記録部と、
前記時計部から供給される時刻データに基づいて前記絶対座標データを関連付けて記録する時刻同期絶対座標記録部と、
CVデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整CV信号を出力する遅延調整CV信号出力部と、
絶対座標データの絶対座標信号出力時刻と計測時刻との時間差を補正して、遅延調整絶対座標信号を出力する遅延調整絶対座標信号出力部と、を備え、
前記CV補正部が、
前記GPS計測機器部と前記全周ビデオカメラ機器部との設置位置の差による座標と3軸回転のズレを前記CVデータに基づいて生成し、GPS計測機器部の位置座標を全周ビデオカメラ機器部の位置に補正して遅延座標回転補正信号を出力する座標位置回転補正部と、
前記座標回転補正信号により補正された前記遅延調整絶対座標信号の座標配列形状と、前記遅延調整CV信号の座標配列形状とを比較する座標配列形状比較部と、
前記両座標配列の座標配列形状比較により、CV値の座標配列から外れる遅延調整絶対座標信号の地点を、絶対座標の精度変更地点として検出する絶対座標精度変更地点検出部と、
前記絶対座標精度変更地点を排除した相対精度が高い区間のみを複数選択する高精度相対値区間選択部と、
演算誤差の累積によりスケール誤差を含むCVデータについて、前記絶対座標データによる前記高精度相対値区間選択部に対応する地点の区間と、ビデオ映像から演算により求められたCVデータによる地点の区間を、時刻をパラメータとして対応させ、当該区間によって区切られた始点と終点の時刻の一致点に計測値が存在しないときは内挿によって一致点を求めて対応させる計測区間対応部と、
前記対応関係がとれた区間の始点と終点の絶対座標間の距離を区間距離として、スケール誤差を含むCVデータを補正する補正信号を生成する補正信号生成部と、
前記区間に対応するCVデータを、相対精度が高い絶対座標データによる区間距離データと一致させることで、当該CVデータを補正するCVデータスケール補正部と、
前記CVデータスケール補正部における補正処理を、目的区間の全域に亘って複数回繰り返することにより、連続する高精度CVデータを生成する全域スケール補正部と、を備え、
高精度CVデータ出力部が、
前記全周ビデオカメラ機器部で取得された全周ビデオ映像を出力する全周ビデオ出力部と、
前記全周ビデオ映像出力の各画像フレームに同期して、上記全域スケール補正されたCVデータ信号を出力するCVデータ出力部と、を備える請求項1乃至4のいずれかに記載の高精度CV演算装置。 - 前記CV補正部が、
前記絶対精度変更地点検出部で検出された絶対精度変更地点の分布を統計処理する分布統計処理部と、
前記絶対精度変更地点の分布の統計的中心を仮の真値として求める仮の真値演算部と、
前記仮の真値に基づいて、絶対精度変更地点を始点及び終点とする区間の補正値を取得する仮の真値補正データ取得部と、
前記区間の補正値に基づいて、絶対座標の配列を補正した高精度の絶対座標配列を求める絶対座標補正部と、を備え、
前記高精度CVデータ出力部が、
前記高精度絶対座標配列を絶対座標の基準として、前記高精度CVデータ出力部から出力されたスケール補正されたCVデータに絶対座標を与える絶対座標付加CVデータ統合部と、
各画像フレームに同期した、絶対座標が付加されたCVデータを出力する絶対座標CVデータ出力部と、を備える請求項5記載の高精度CV演算装置。 - 前記移動体計測部が、
絶対3軸回転姿勢を計測するIMU計測器を備え、
前記データ生成部が、
前記IMU計測機器部により計測された絶対3軸回転姿勢のデータを取得する絶対3軸回転姿勢データ取得部を備え、
前記時間軸整合部が、
前記時計部から供給される時刻信号により前記絶対3軸回転姿勢データを関係付けて記録する時刻同期3軸回転姿勢記録部と、
前記絶対3軸回転姿勢データの記録時刻と基準時刻のズレを補正して地点調整3軸回転姿勢データ信号を出力する遅延調整3軸回転姿勢出力部と、を備え、
前記CV補正部が、
前記遅延調整CV信号出力部からの3軸回転姿勢信号と前記遅延調整3軸回転姿勢出力部からの絶対回転3軸姿勢信号とを比較する3軸回転姿勢比較部と、
前記3軸回転姿勢信号と前記絶対回転3軸姿勢信号の差を、予め定めた閾値と比較する3軸回転閾値比較部と、
前記3軸回転姿勢信号と前記絶対回転3軸姿勢信号の差が前記閾値を超えたときに、補正区間を指定する3軸回転補正区間設定部と、
前記補正区間における補正値を生成する3軸回転補正信号生成部と、を備え、
前記高精度CVデータ出力部が、
前記CVデータ出力部から出力されるCVデータの各画像フレームに同期した3軸回転姿勢データに、3軸回転補正を加えて出力する3軸回転補正CVデータ出力部を備える請求項3乃至6のいずれかに記載の高精度CV演算装置。 - 前記データ生成部が、
球面変換座標で記録されている前記全周ビデオ映像を、概略真下方向及び真上方向に平面変換する概略両極平面展開部と、
球面変換座標で記録されている前記全周ビデオ映像を、複数の赤道面方向に平面変換する概略赤道平面展開部と、
前記平面変換された画像に含まれる鉛直成分に基づいて鉛直方向を検出し、検出された鉛直方向をCVデータの演算に反映させる鉛直方向検出部と、を備える請求項1乃至7記載の高精度CV演算装置。 - 前記移動体計測部が、
対象物を低縮尺で撮影する低縮尺全周ビデオ映像機器部と、
前記対象物を高縮尺で撮影する高縮尺全周ビデオ映像機器部と、を備え、
前記データ生成部が、
前記低縮尺全周ビデオ映像機器部により、低縮尺ビデオ信号を取得する低縮尺ビデオ信号取得部と、
前記高縮尺全周ビデオ映像機器部により、高縮尺ビデオ信号を取得する高縮尺ビデオ信号取得部と、
前記低縮尺全周ビデオ映像機器部から出力される低縮尺全周ビデオ映像と、前記高縮尺全周ビデオ映像機器部から出力される高縮尺全周ビデオ映像とを比較し、両映像に含まれる共通特徴点を抽出してその対応点を取ることにより共通特徴点を検出する共通特徴点検出部と、
検出された各共通特徴点に対し、重み関数により重みを与えた重み共通特徴点を設定する共通特徴点重み設定部と、
前記低縮尺全周ビデオ映像から低縮尺の特徴点を検出する低縮尺特徴点検出部と、
検出された低縮尺の特徴点を隣接するフレームに追跡する低縮尺フレーム間追跡部と、
前記高縮尺全周ビデオ映像から高縮尺の特徴点を検出する高縮尺特徴点検出部と、
検出された高縮尺の特徴点を隣接するフレームに追跡する高縮尺フレーム間追跡部と、
前記低縮尺の特徴点,高縮尺の特徴点及び重み共通特徴点に基づいて、前記低縮尺全周ビデオ映像と高縮尺全周ビデオ映像を一括統合してCV演算を行うCV演算部と、
前記CV演算部で得られた精度の高いCV演算データを出力するCVデータ取得部と、を備える請求項1乃至8記載の高精度CV演算装置。 - 二次元座標が既知として与えられた二次元地図部と、
前記移動体計測部で取得されるビデオ映像中の、前記二次元地図部の地点座標と対応する共通地点部分を検出する共通点検出部と、
検出された前記共通地点の二次元地図上の二次元座標を検出する共通点二次元座標検出部と、
前記移動体計測部で取得されるビデオ映像中に、追跡可能な特徴点を抽出する特徴点抽出部と、抽出された前記特徴点を複数の隣接する画像フレームの中に対応点を追跡する特徴点追跡部と、複数の特徴点の対応点とカメラ位置関係に基づいて、静止座標系におけるカメラの三次元位置と3軸回転姿勢を求めるCV演算部とを備え、CVデータを取得するCVデータ取得部と、
前記CVデータ取得部からのCVデータに基づいて、前記移動体計測部で取得されるビデオ映像の共通点の三次元座標を取得する共通点三次元座標演算部と、
前記共通点の三次元座標を二次元平面に変換する二次元平面座標変換部と、
前記二次元地図部のデータから得られた共通点の二次元座標と、前記ビデオ映像から得られた共通点の三次元座標を二次元平面に投影して得られた複数の共通点二次元座標とを比較する共通点二次元座標比較部と、
比較された前記両二次元座標の差分を検出し、差分が最小になる比較信号の位置座標を決定するとともに、同一比率でもう一つの座標軸方向の座標を補正し、前記共通点の補正量をその周囲に分散的に配分して、CV値の位置座標全体を補正するCV値の位置座標と置換する共通点領域CV値補正部と、
前記共通点部分で、地図と一致したカメラの位置座標データを固定し、前記共通点と前記特徴点の追跡結果に基づいて再度CV演算を行い、より精度の高い3軸回転データを取得するCV補正演算部と、
前記補正により、精度が高まった補正CV値を出力する補正CVデータ出力部と、を備える請求項1乃至9のいずれかに記載の高精度CV演算装置。 - 三次元座標が既知として与えられた三次元地図,二次元地図上に複数の既知の三次元座標点を座標とともに示す既知三次元点記載地図、又は複数の既知の三次元座標を示す三次元地点リストのうち、少なくともいずれか一つを備える地図部と、
前記移動体計測部で取得されるビデオ映像のうち、前記地図部の既知の三次元地点と対応するビデオ映像の画像フレーム中に共通地点部分を検出する共通点検出部と、
前記共通地点部分を共通特徴点として、前記ビデオ映像の複数の画像フレーム中に対応地点を抽出して追跡する共通特徴点追跡部と、
前記共通特徴点を一般特徴点と区別して、演算時の優先順位を決める重み付けをする共通特徴点重み付け部と、
重み付けされた複数の前記共通特徴点の追跡結果と、一般特徴点の追跡結果と、前記カメラの三次元位置関係に基づいて、静止座標系における前記カメラの三次元位置と3軸回転姿勢を演算により求めるCV演算部と、
前記CV演算部からCV値とともに出力される前記共通特徴点の三次元座標を取得する共通点三次元座標検出部と、
前記地図部のデータから既知として得られる共通点三次元座標と、前記共通特徴点の三次元座標とを比較する共通点三次元座標比較部と、
比較された前記両三次元座標の差分を検出する三次元差分検出部と、
前記CV演算部から出力される前記一般特徴点の三次元座標を取得する一般特徴点三次元化部と、
前記一般特徴点三次元化部で取得された一般特徴点の三次元座標をビデオ映像の各フレーム中の映像面に投影した二次元座標と、前記ビデオ映像の各フレーム中の一般特徴点のビデオ映像面の二次元座標との二次元差分を検出する画像二次元差分検出部と、
前記三次元差分と前記二次元差分の値が最小になるように、CV演算のパラメータを変更して前記CV演算部でのCV演算を繰り返すCV補正演算部と、
前記補正により、精度が高まった補正CV値を出力するCVデータ取得部と、を備える請求項1乃至10のいずれかに記載の高精度CV演算装置。 - 請求項1乃至11記載の前記高精度CV演算装置の高精度CVデータ出力部から出力されるビデオ映像中に、三次元地図として生成すべき任意の対象物を指定する対象物指定部と、
前記対象物指定部で指定された対象物を三次元計測する対象物三次元計測部と、
前記対象物指定部で三次元計測されたデータから、三次元地図に記載する形式で三次元部品を生成する三次元地図部品生成部と、
三次元地図としての三次元空間を定義する三次元空間定義部と、
前記対象物の座標上の位置を測量して、その三次元座標を求める対象物地点測量部と、
前記三次元地図部品を、前記三次元空間定義部で定義された三次元空間内に、前記対象物地点測量部の測量により求められた三次元座標により三次元配置を決定する三次元座標決定部と、
前記三次元地図部品の三次元座標配置を繰り返して、三次元地図を出力する三次元地図出力部と、
を備えることを特徴とするCV方式三次元地図生成装置。 - 三次元地図を構成する複数の三次元部品を記憶した三次元部品データベースと、
前記三次元部品データベースに記憶された三次元部品の中から、前記対象物指定部で指定された対象物と比較する候補となる三次元部品を選択する三次元部品候補選択部と、
前記対象物指定部で指定されたビデオ映像の一部と、前記三次元部品候補選択部から出力される三次元部品とを比較する比較部と、
前記比較部での比較の結果、不一致の場合に不一致信号を出力し、当該不一致信号に基づいて前記三次元部品候補選択部から次の候補となる三次元部品を出力させる不一致信号出力部と、
前記比較部での比較の結果、一致の場合に一致信号を出力する一致信号出力部と、
前記一致信号により、前記三次元部品候補部品選択部から最終的に出力された三次元部品を一致部品とする一致部品選択部と、
前記一致部品が対応するビデオ映像と異なる場合に、当該一致部品を修正して修正部品を生成する部品修正部と、を備え、
前記一致部品又は修正部品を前記三次元地図部品生成部に送出する請求項12記載のCV方式三次元地図生成装置。 - 請求項1乃至11記載の前記高精度CV演算装置の高精度CVデータ出力部から出力されるビデオ映像中に、三次元地図として生成すべき任意の対象範囲を指定する対象範囲指定部と、
前記対象範囲指定部で指定された対象範囲中に、計測点密度を指定する計測点密度指定部と、
指定された前記対象範囲と前記計測点密度に基づいて、計測点を生成する計測点生成部と、
前記計測点を前記ビデオ映像の隣接する複数のフレームに亘って追跡する計測点追跡部と、
前記高精度CV演算装置の高精度CVデータ出力部から出力されるCV値と、前記計測点の追跡により追跡データが取得された計測点に基づいて、計測点の三次元座標を演算により求める計測点演算部と、
前記対象範囲にあるすべての計測点の三次元座標分布を求める対象範囲測量部と、
前記計測点の三次元分布から計測点が作る三次元形状を生成する三次元形状生成部と、
前記ビデオ映像中の前記対象範囲に、直線部分から構成される対象物の一部を特定計測点として指定し、その属性とともに登録する特定計測点指定登録部と、
前記特定計測点が特定されることにより、当該特定計測点の属性が前記計測点生成部に送出され、一般の計測点と同様に追跡され演算されて、前記計測点演算部に出力され、前記計測点演算部から出力される三次元座標データ中から、特定計測点のデータのみを抽出し、その属性に適合した形状を与える特定計測点形成部と、
前記特定計測点形成部から出力される特定計測点で形成される三次元形状を、特定計測点以外の前記計測点から得られた三次元形状とともに統合する三次元座標統合部と、
前記統合された三次元形状に基づいて三次元地図を生成して出力する三次元地図出力部と、
を備えることを特徴とするCV方式三次元地図生成装置。 - 前記計測点密度指定部が、
前記高精度CV演算装置の高精度CVデータ出力部から取得したCV値に基づいて、ビデオ映像の回転成分を停止した映像を生成する画像安定化部と、
前記回転成分を停止したビデオ映像の動きの原点となる湧きだし点を決定する湧きだし点決定部と、
任意の指定範囲の画像フレームを小領域の画像ブロックの集合に分割する画像ブロック分割部と、
前記画像ブロックのすべてについて、特徴点となり得るブロックを抽出する特徴点抽出部と、
前記画像ブロックのすべてについて、境界線の一部となり得るブロックを抽出する境界点抽出部と、
前記画像ブロックの前記特徴点及び境界点以外の点を領域点として抽出する領域点抽出部と、
前記画像ブロックの各点を、湧きだし点から放射状に伸びる方向に結合し、その順番と隣り合う関係を保つように固定するとともに、隣り合う各ブロック間の距離関係は任意に伸縮可能にゴム紐結合する二次元ゴム紐結合映像生成部と、を備え、
前記計測点生成部が、
前記特徴点を計測点として選択する特徴点選択部と、
前記領域点とそれを取り囲む特徴点及び境界点で作る領域を生成する領域生成部と、
前記特徴点と計測点及び領域点を計測領域として、追跡計測対象とする計測点決定部と、を備え、
前記計測点追跡部が、
前記計測点としての特徴点,境界点及び計測領域を、湧き出し点方向に沿って、隣接する複数のフレームに亘って追跡し、
前記計測点演算部が、
前記計測点の追跡結果と前記高精度CV演算装置の高精度CVデータ出力部から出力されるCVデータに基づいて、計測点の三次元座標及び領域の三次元座標を取得し、
前記計測点測量部が、
前記計測点及び計測領域を囲む境界点の三次元座標を前記対象範囲に亘って繰り返し演算により求め、前記計測点追跡部において追跡不可能な画像ブロックがある場合には、当該画像ブロックを演算済みの既知の三次元座標に基づいて内挿により求め、その三次元位置を予想して対象範囲を測量し、
前記三次元形状生成部が、
前記特徴点と境界点の三次元座標から、特徴点と境界点が所属する領域を決定する境界線所属分類部と、
前記特徴点と境界点の所属により、前記ブロックのゴム紐結合の一方を切断して、片方の領域間の結合を断ち、もう一方の領域に結合させるゴム紐切断部と、
前記対象範囲のすべてのブロックを、特徴点,境界点,領域点に分類し、特徴点は計測点として求めた座標で固定し、座標が定まらない境界点及び領域点はゴム紐上で内挿し、それぞれの三次元座標を与えて、すべてのブロックを三次元的にゴム紐結合する三次元ゴム紐結合映像部と、を備え、
前記三次元座標統合部が、
前記画像ブロック分割部の分割密度を、前記三次元ゴム紐結合映像が生成される毎に、粗い密度から順次より高密度に変更し、前期画像ブロック分割からの工程の再演算を行わせる画像分割密度変更部と、
最初に設定された前記画像ブロック分割の密度により前記三次元ゴム紐結合された画像を一旦記録し、次工程において、より詳細な三次元形状を順次生成し、当該工程を繰り返して所定の密度に至るまで順次三次元形状を生成し、より詳細な三次元映像を生成する三次元画像記録統合部と、
を備える請求項14記載のCV方式三次元地図生成装置。 - 視野が重複し視差のあるビデオ映像を取得する複数のビデオカメラを備えた複数カメラ撮影部と、
移動体とともに移動する前記複数のビデオカメラで撮影された視差のあるビデオ映像に基づいて、カメラ座標系の三次元形状を演算により求めて、カメラ座標系三次元距離分布データを取得する視差方式カメラ座標三次元化部と、
を備えた視差方式三次元化装置と、
前記複数カメラを含むカメラ位置のCVデータを取得する請求項1乃至11記載の前記高精度CV演算装置と、
前記視差方式三次元化装置により得られた前記カメラ座標三次元距離分布データを、前記高精度CV演算装置で得られた高精度CV値に基づいて、連続的に静止座標系における三次元距離分布データに変換する静止座標系変換部と、
前記ビデオ映像の進行にともなって重複しながら連続的に得られる前記静止座標系における三次元距離分布データを結合して、静止座標系に統合する静止座標系合成結合部と、
を備えることを特徴とするCV方式三次元地図生成装置。 - 前記静止座標系合成結合部で静止座標系に統合される三次元距離分布データを、静止座標系における静止物体のみで構成する静止物体分離空間構成部と、
前記静止座標系合成結合部で静止座標系に統合される三次元距離分布データから、時間的変動のある三次元データを分離して、運動対象物として分離記録する運動対象物分離部と、
を備える請求項15記載のCV方式三次元地図生成装置。 - 請求項12乃至17記載の前記CV方式三次元地図生成装置と、
前記CV方式三次元地図生成装置により生成される三次元地図情報を有する車載可能な三次元地図装置と、
三次元データ及び属性を含む走行に必要な所定情報を、前記三次元地図装置に変更可能に入力する走行経路入力装置と、
走行車輌に備えられた車載カメラから、広角映像データと走行時点の比較的低精度のCVデータを出力する車載式カメラと概略CV演算装置と、
前記概略CV演算装置から出力された概略CVデータに基づいて、前記走行車輌の現在位置と姿勢を示す三次元データを取得し、当該三次元データを三次元地図と概略対応させて三次元空間構成を検出し、対象物の認識以前に緊急対応が必要な障害物を関知し、最優先で回避及び停止の緊急制御信号をリアルタイム制御装置に送出し、前記車載式カメラと概略CV演算装置により、走行路から可視範囲にあり、走行目的及び交通に関係する複数の対象物からなる三次元空間構成を検出する対象物空間構成装置と、
前記対象物空間構成装置で検出された対象物空間構成データと、前記走行車輌の概略三次元位置データを照合し、走行路から可視範囲にあり、走行目的に合致し、交通に関係する信号機,道路標識,道路標示を含む個々の対象物の三次元形状を、前記三次元地図の情報と照合して形状及び属性を特定して認識する対象物認識装置と、
前記対象物認識装置による複数の対象物の三次元形状又は部品形状を三次元追跡し、又は特定以前の三次元空間構成の段階で特徴ある形状を選択して切り取って追跡し、当該追跡結果から、高精度のCVデータを取得する請求項1乃至11記載の前記高精度CV演算装置と、
前記高精度CV演算装置で取得されるCVデータと、前記対象物空間構成装置の出力と、前記対象物認識装置の対象物認識結果と、車載レーダを含む車載計測器の出力に基づいて、前記走行車輌の現状判断結果を出力する現状判断装置と、
前記現状判断装置の出力により、前記走行車輌のアクセル,ブレーキ,ハンドルを含む所定の操作部を制御し、又は前記走行経路入力装置のデータを変更するリアルタイム制御装置と、
を備えることを特徴とするCV方式航法装置。 - 前記高精度CV演算装置の出力,前記対象物認識装置の認識結果、及び前記現状判断装置の現状判断結果を、二次元地図又は三次元地図上にリアルタイムに表示するリアルタイム表示装置を備える請求項18記載のCV方式航法装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005110780A JP4767578B2 (ja) | 2005-02-14 | 2005-04-07 | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005036188 | 2005-02-14 | ||
JP2005036188 | 2005-02-14 | ||
JP2005110780A JP4767578B2 (ja) | 2005-02-14 | 2005-04-07 | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006250917A true JP2006250917A (ja) | 2006-09-21 |
JP4767578B2 JP4767578B2 (ja) | 2011-09-07 |
Family
ID=37091574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005110780A Active JP4767578B2 (ja) | 2005-02-14 | 2005-04-07 | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4767578B2 (ja) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009087716A1 (ja) * | 2008-01-07 | 2009-07-16 | Panasonic Corporation | 画像変形方法、画像表示方法、画像変形装置、および画像表示装置 |
WO2010001940A1 (ja) | 2008-07-01 | 2010-01-07 | 株式会社トプコン | 位置測定方法、位置測定装置、およびプログラム |
KR100937049B1 (ko) | 2009-08-12 | 2010-01-21 | 주식회사 동서지엔아이 | 일반도화 제작용 항공촬영 카메라의 화각조절시스템 |
JP2010175423A (ja) * | 2009-01-30 | 2010-08-12 | Mitsubishi Electric Corp | 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム |
KR20110134228A (ko) * | 2010-06-08 | 2011-12-14 | 삼성전자주식회사 | 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법 |
JP2013124957A (ja) * | 2011-12-15 | 2013-06-24 | Car Mate Mfg Co Ltd | 携帯情報端末を用いたナビゲーションシステム |
KR101348797B1 (ko) | 2013-07-09 | 2014-01-09 | 주식회사 지오스토리 | 지피에스(gps)와 아이엔에스(ins)를 이용한 초정밀 항공촬영 장치 |
KR101349148B1 (ko) * | 2013-10-08 | 2014-01-09 | 제일항업(주) | 자동촬영시스템을 이용한 항공촬영장치 |
KR101349380B1 (ko) | 2013-10-08 | 2014-01-13 | 주식회사 한국에스지티 | 지형지물 영상이미지를 정밀하게 촬영 및 합성처리하는 항공촬영 시스템 |
KR101350929B1 (ko) * | 2013-07-23 | 2014-01-15 | 주식회사 첨단공간정보 | 지피에스(gps)와 아이엔에스(ins)를 이용한 초정밀 항공촬영 장치 |
KR101350930B1 (ko) | 2013-08-19 | 2014-01-15 | 주식회사 첨단공간정보 | 지형지물 영상이미지를 정밀하게 촬영 및 합성처리하는 항공촬영시스템 |
KR101342633B1 (ko) * | 2013-09-11 | 2014-01-16 | 삼아항업(주) | 시계열 항공정사영상을 이용한 화면분할기반 영상지리정보 운영시스템 |
US9171225B2 (en) | 2012-03-09 | 2015-10-27 | Kabushiki Kaisha Topcon | Device, method, and recording medium for detecting and removing mistracked points in visual odometry systems |
JP2016070891A (ja) * | 2014-10-01 | 2016-05-09 | 日本電信電話株式会社 | 映像データ処理装置及び映像データ処理プログラム |
KR20160115067A (ko) * | 2015-03-25 | 2016-10-06 | 한국전자통신연구원 | 4차원 영상 지도 재구성 방법 및 장치 |
JP2016224015A (ja) * | 2015-06-04 | 2016-12-28 | 株式会社大林組 | 三次元位置計測方法、測量方法、三次元位置計測装置及び三次元位置計測プログラム |
JP2017034674A (ja) * | 2015-07-29 | 2017-02-09 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 静止標的から走行補正 |
JP2017072560A (ja) * | 2015-10-09 | 2017-04-13 | ソニー株式会社 | 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム |
JP2017102072A (ja) * | 2015-12-04 | 2017-06-08 | 株式会社ソシオネクスト | 測距システム、移動体及び部品 |
JP2018081008A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社岩根研究所 | 基準映像地図を用いた自己位置姿勢標定装置 |
CN108845341A (zh) * | 2018-07-04 | 2018-11-20 | 中国船舶工业系统工程研究院 | 一种gps定位系统的动态定位精度验收试验方法 |
GB2562571A (en) * | 2017-03-14 | 2018-11-21 | Ford Global Tech Llc | Vehicle localization using cameras |
WO2019035155A1 (ja) * | 2017-08-14 | 2019-02-21 | 楽天株式会社 | 画像処理システム、画像処理方法、及びプログラム |
KR20190087079A (ko) * | 2018-01-16 | 2019-07-24 | 한국항공대학교산학협력단 | 물체의 절대 포인트 클라우드 생성 장치 및 방법 |
JP2019526101A (ja) * | 2016-06-29 | 2019-09-12 | シーイング マシーンズ リミテッド | シーンにおけるカメラの姿勢を特定するシステム及び方法 |
WO2020071117A1 (ja) * | 2018-10-01 | 2020-04-09 | パイオニア株式会社 | 情報処理装置 |
JP2021022208A (ja) * | 2019-07-29 | 2021-02-18 | 株式会社ソーシャル・キャピタル・デザイン | 画像処理システム |
JP2021103284A (ja) * | 2019-12-24 | 2021-07-15 | コリア エクスプレスウェイ コーポレーション | 高精度道路地図の更新のためのオブジェクトの変化検知システム及びその方法 |
JP2021103283A (ja) * | 2019-12-24 | 2021-07-15 | コリア エクスプレスウェイ コーポレーション | カメラベースの自動化された高精度道路地図の生成システム及び方法 |
CN113891048A (zh) * | 2021-10-28 | 2022-01-04 | 江苏濠汉信息技术有限公司 | 一种轨道机车超视距影像图传系统 |
US11441294B2 (en) * | 2016-10-31 | 2022-09-13 | Komatsu Ltd. | Measurement system, work machine, and measurement method |
CN117606448A (zh) * | 2023-11-29 | 2024-02-27 | 山东艺术学院 | 一种基于摄像视频的林地实时测量系统及其使用方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7266208B2 (ja) | 2019-05-23 | 2023-04-28 | 株式会社岩根研究所 | 認識位置決め装置及び情報変換装置 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0814861A (ja) * | 1994-07-01 | 1996-01-19 | Canon Inc | 3次元形状の計測方法及び装置 |
JPH0843055A (ja) * | 1994-07-29 | 1996-02-16 | Canon Inc | 3次元物体形状認識方法及び装置 |
JPH10253384A (ja) * | 1997-03-14 | 1998-09-25 | Mitsubishi Electric Corp | 軌道上アライメント検出装置 |
JP2000097637A (ja) * | 1998-09-24 | 2000-04-07 | Olympus Optical Co Ltd | 姿勢位置検出装置 |
JP2000171249A (ja) * | 1998-12-03 | 2000-06-23 | Asia Air Survey Co Ltd | 位置取得装置 |
JP2000213953A (ja) * | 1999-01-25 | 2000-08-04 | Mitsubishi Electric Corp | 飛しょう体の航法装置 |
JP2001264076A (ja) * | 2000-03-21 | 2001-09-26 | Clarion Co Ltd | カーナビゲーション装置 |
JP2001266160A (ja) * | 2000-03-22 | 2001-09-28 | Toyota Motor Corp | 周辺認識方法および周辺認識装置 |
JP2001331787A (ja) * | 2000-05-19 | 2001-11-30 | Toyota Central Res & Dev Lab Inc | 道路形状推定装置 |
JP2002214321A (ja) * | 2001-01-12 | 2002-07-31 | Clarion Co Ltd | Gps測位システム |
JP2002259992A (ja) * | 2001-03-06 | 2002-09-13 | Mixed Reality Systems Laboratory Inc | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 |
JP2002319016A (ja) * | 2001-02-07 | 2002-10-31 | Nippon Telegr & Teleph Corp <Ntt> | 画像の位置ずれ補正方法、画像の位置ずれ補正プログラムを記録した記録媒体、画像の位置ずれ補正プログラム、及び画像の位置ずれ補正装置 |
JP2003344045A (ja) * | 2002-05-29 | 2003-12-03 | Yaskawa Electric Corp | 画像処理装置 |
JP2004062519A (ja) * | 2002-07-29 | 2004-02-26 | Nissan Motor Co Ltd | レーンマーク検出装置 |
JP2004102474A (ja) * | 2002-09-06 | 2004-04-02 | Mitsubishi Electric Corp | 3次元建物モデルデータ生成装置及び3次元都市モデルデータ生成装置及び3次元建物モデルデータ生成方法及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2004198211A (ja) * | 2002-12-18 | 2004-07-15 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
JP2004201085A (ja) * | 2002-12-19 | 2004-07-15 | Hitachi Ltd | 視覚情報処理装置および適用システム |
JP2004233334A (ja) * | 2003-01-10 | 2004-08-19 | Canon Inc | 位置姿勢計測方法 |
-
2005
- 2005-04-07 JP JP2005110780A patent/JP4767578B2/ja active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0814861A (ja) * | 1994-07-01 | 1996-01-19 | Canon Inc | 3次元形状の計測方法及び装置 |
JPH0843055A (ja) * | 1994-07-29 | 1996-02-16 | Canon Inc | 3次元物体形状認識方法及び装置 |
JPH10253384A (ja) * | 1997-03-14 | 1998-09-25 | Mitsubishi Electric Corp | 軌道上アライメント検出装置 |
JP2000097637A (ja) * | 1998-09-24 | 2000-04-07 | Olympus Optical Co Ltd | 姿勢位置検出装置 |
JP2000171249A (ja) * | 1998-12-03 | 2000-06-23 | Asia Air Survey Co Ltd | 位置取得装置 |
JP2000213953A (ja) * | 1999-01-25 | 2000-08-04 | Mitsubishi Electric Corp | 飛しょう体の航法装置 |
JP2001264076A (ja) * | 2000-03-21 | 2001-09-26 | Clarion Co Ltd | カーナビゲーション装置 |
JP2001266160A (ja) * | 2000-03-22 | 2001-09-28 | Toyota Motor Corp | 周辺認識方法および周辺認識装置 |
JP2001331787A (ja) * | 2000-05-19 | 2001-11-30 | Toyota Central Res & Dev Lab Inc | 道路形状推定装置 |
JP2002214321A (ja) * | 2001-01-12 | 2002-07-31 | Clarion Co Ltd | Gps測位システム |
JP2002319016A (ja) * | 2001-02-07 | 2002-10-31 | Nippon Telegr & Teleph Corp <Ntt> | 画像の位置ずれ補正方法、画像の位置ずれ補正プログラムを記録した記録媒体、画像の位置ずれ補正プログラム、及び画像の位置ずれ補正装置 |
JP2002259992A (ja) * | 2001-03-06 | 2002-09-13 | Mixed Reality Systems Laboratory Inc | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 |
JP2003344045A (ja) * | 2002-05-29 | 2003-12-03 | Yaskawa Electric Corp | 画像処理装置 |
JP2004062519A (ja) * | 2002-07-29 | 2004-02-26 | Nissan Motor Co Ltd | レーンマーク検出装置 |
JP2004102474A (ja) * | 2002-09-06 | 2004-04-02 | Mitsubishi Electric Corp | 3次元建物モデルデータ生成装置及び3次元都市モデルデータ生成装置及び3次元建物モデルデータ生成方法及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2004198211A (ja) * | 2002-12-18 | 2004-07-15 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
JP2004201085A (ja) * | 2002-12-19 | 2004-07-15 | Hitachi Ltd | 視覚情報処理装置および適用システム |
JP2004233334A (ja) * | 2003-01-10 | 2004-08-19 | Canon Inc | 位置姿勢計測方法 |
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009087716A1 (ja) * | 2008-01-07 | 2009-07-16 | Panasonic Corporation | 画像変形方法、画像表示方法、画像変形装置、および画像表示装置 |
US8811718B2 (en) | 2008-07-01 | 2014-08-19 | Kabushiki Kaisha Topcon | Position measurement method, position measurement device, and program |
WO2010001940A1 (ja) | 2008-07-01 | 2010-01-07 | 株式会社トプコン | 位置測定方法、位置測定装置、およびプログラム |
JP2010175423A (ja) * | 2009-01-30 | 2010-08-12 | Mitsubishi Electric Corp | 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム |
KR100937049B1 (ko) | 2009-08-12 | 2010-01-21 | 주식회사 동서지엔아이 | 일반도화 제작용 항공촬영 카메라의 화각조절시스템 |
KR20110134228A (ko) * | 2010-06-08 | 2011-12-14 | 삼성전자주식회사 | 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법 |
KR101686171B1 (ko) | 2010-06-08 | 2016-12-13 | 삼성전자주식회사 | 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법 |
JP2013124957A (ja) * | 2011-12-15 | 2013-06-24 | Car Mate Mfg Co Ltd | 携帯情報端末を用いたナビゲーションシステム |
US9171225B2 (en) | 2012-03-09 | 2015-10-27 | Kabushiki Kaisha Topcon | Device, method, and recording medium for detecting and removing mistracked points in visual odometry systems |
KR101348797B1 (ko) | 2013-07-09 | 2014-01-09 | 주식회사 지오스토리 | 지피에스(gps)와 아이엔에스(ins)를 이용한 초정밀 항공촬영 장치 |
KR101350929B1 (ko) * | 2013-07-23 | 2014-01-15 | 주식회사 첨단공간정보 | 지피에스(gps)와 아이엔에스(ins)를 이용한 초정밀 항공촬영 장치 |
KR101350930B1 (ko) | 2013-08-19 | 2014-01-15 | 주식회사 첨단공간정보 | 지형지물 영상이미지를 정밀하게 촬영 및 합성처리하는 항공촬영시스템 |
KR101342633B1 (ko) * | 2013-09-11 | 2014-01-16 | 삼아항업(주) | 시계열 항공정사영상을 이용한 화면분할기반 영상지리정보 운영시스템 |
KR101349380B1 (ko) | 2013-10-08 | 2014-01-13 | 주식회사 한국에스지티 | 지형지물 영상이미지를 정밀하게 촬영 및 합성처리하는 항공촬영 시스템 |
KR101349148B1 (ko) * | 2013-10-08 | 2014-01-09 | 제일항업(주) | 자동촬영시스템을 이용한 항공촬영장치 |
JP2016070891A (ja) * | 2014-10-01 | 2016-05-09 | 日本電信電話株式会社 | 映像データ処理装置及び映像データ処理プログラム |
KR20160115067A (ko) * | 2015-03-25 | 2016-10-06 | 한국전자통신연구원 | 4차원 영상 지도 재구성 방법 및 장치 |
KR102324606B1 (ko) * | 2015-03-25 | 2021-11-10 | 한국전자통신연구원 | 4차원 영상 지도 재구성 방법 및 장치 |
JP2016224015A (ja) * | 2015-06-04 | 2016-12-28 | 株式会社大林組 | 三次元位置計測方法、測量方法、三次元位置計測装置及び三次元位置計測プログラム |
US10696240B2 (en) | 2015-07-29 | 2020-06-30 | Continental Automotive Gmbh | Drive-by calibration from static targets |
JP2017034674A (ja) * | 2015-07-29 | 2017-02-09 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 静止標的から走行補正 |
JP2017072560A (ja) * | 2015-10-09 | 2017-04-13 | ソニー株式会社 | 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム |
CN108139204A (zh) * | 2015-10-09 | 2018-06-08 | 索尼株式会社 | 信息处理装置、位置和/或姿态的估计方法及计算机程序 |
WO2017061388A1 (ja) * | 2015-10-09 | 2017-04-13 | ソニー株式会社 | 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム |
CN108139204B (zh) * | 2015-10-09 | 2020-11-03 | 索尼株式会社 | 信息处理装置、位置和/或姿态的估计方法及记录介质 |
US10507381B2 (en) | 2015-10-09 | 2019-12-17 | Sony Corporation | Information processing device, position and/or attitude estimiating method, and computer program |
WO2017094269A1 (ja) * | 2015-12-04 | 2017-06-08 | 株式会社ソシオネクスト | 測距システム、移動体及び部品 |
JP2017102072A (ja) * | 2015-12-04 | 2017-06-08 | 株式会社ソシオネクスト | 測距システム、移動体及び部品 |
US10663295B2 (en) | 2015-12-04 | 2020-05-26 | Socionext Inc. | Distance measurement system, mobile object, and component |
JP7161410B2 (ja) | 2016-06-29 | 2022-10-26 | シーイング マシーンズ リミテッド | シーンにおけるカメラの姿勢を特定するシステム及び方法 |
JP2019526101A (ja) * | 2016-06-29 | 2019-09-12 | シーイング マシーンズ リミテッド | シーンにおけるカメラの姿勢を特定するシステム及び方法 |
US11441294B2 (en) * | 2016-10-31 | 2022-09-13 | Komatsu Ltd. | Measurement system, work machine, and measurement method |
JP2018081008A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社岩根研究所 | 基準映像地図を用いた自己位置姿勢標定装置 |
GB2562571A (en) * | 2017-03-14 | 2018-11-21 | Ford Global Tech Llc | Vehicle localization using cameras |
WO2019035155A1 (ja) * | 2017-08-14 | 2019-02-21 | 楽天株式会社 | 画像処理システム、画像処理方法、及びプログラム |
US11494915B2 (en) | 2017-08-14 | 2022-11-08 | Rakuten Group, Inc. | Image processing system, image processing method, and program |
JPWO2019035155A1 (ja) * | 2017-08-14 | 2019-11-07 | 楽天株式会社 | 画像処理システム、画像処理方法、及びプログラム |
EP3644277A4 (en) * | 2017-08-14 | 2021-03-03 | Rakuten, Inc. | IMAGE PROCESSING SYSTEM, IMAGE PROCESSING METHOD AND PROGRAM |
CN110998659B (zh) * | 2017-08-14 | 2023-12-05 | 乐天集团股份有限公司 | 图像处理系统、图像处理方法、及程序 |
CN110998659A (zh) * | 2017-08-14 | 2020-04-10 | 乐天株式会社 | 图像处理系统、图像处理方法、及程序 |
KR102006148B1 (ko) * | 2018-01-16 | 2019-08-01 | 한국항공대학교산학협력단 | 물체의 절대 포인트 클라우드 생성 장치 및 방법 |
KR20190087079A (ko) * | 2018-01-16 | 2019-07-24 | 한국항공대학교산학협력단 | 물체의 절대 포인트 클라우드 생성 장치 및 방법 |
CN108845341A (zh) * | 2018-07-04 | 2018-11-20 | 中国船舶工业系统工程研究院 | 一种gps定位系统的动态定位精度验收试验方法 |
WO2020071117A1 (ja) * | 2018-10-01 | 2020-04-09 | パイオニア株式会社 | 情報処理装置 |
JP2021022208A (ja) * | 2019-07-29 | 2021-02-18 | 株式会社ソーシャル・キャピタル・デザイン | 画像処理システム |
JP7304016B2 (ja) | 2019-07-29 | 2023-07-06 | 株式会社ソーシャル・キャピタル・デザイン | 画像処理システム |
US11619496B2 (en) | 2019-12-24 | 2023-04-04 | Korea Expressway Corp. | System and method of detecting change in object for updating high-definition map |
JP2021103283A (ja) * | 2019-12-24 | 2021-07-15 | コリア エクスプレスウェイ コーポレーション | カメラベースの自動化された高精度道路地図の生成システム及び方法 |
JP2021103284A (ja) * | 2019-12-24 | 2021-07-15 | コリア エクスプレスウェイ コーポレーション | 高精度道路地図の更新のためのオブジェクトの変化検知システム及びその方法 |
CN113891048A (zh) * | 2021-10-28 | 2022-01-04 | 江苏濠汉信息技术有限公司 | 一种轨道机车超视距影像图传系统 |
CN117606448A (zh) * | 2023-11-29 | 2024-02-27 | 山东艺术学院 | 一种基于摄像视频的林地实时测量系统及其使用方法 |
CN117606448B (zh) * | 2023-11-29 | 2024-04-30 | 山东艺术学院 | 一种基于摄像视频的林地实时测量系统及其使用方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4767578B2 (ja) | 2011-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4767578B2 (ja) | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 | |
JP5227065B2 (ja) | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 | |
JP4273119B2 (ja) | ナビゲーション装置 | |
EP3137850B1 (en) | Method and system for determining a position relative to a digital map | |
CN112923930B (zh) | 用于自主车辆导航的众包和分发稀疏地图以及车道测量 | |
JP5389964B2 (ja) | 地図情報生成装置 | |
Brenner | Extraction of features from mobile laser scanning data for future driver assistance systems | |
JP2019508677A (ja) | 地図を使用した車両構成部品の制御 | |
JP4980606B2 (ja) | 移動型自動監視装置 | |
US9367962B2 (en) | Augmented image display using a camera and a position and orientation sensor | |
CN105928498A (zh) | 通过基于模板的uav控制来确定对象数据 | |
JP4980617B2 (ja) | 二次元図面と映像の合成表示装置 | |
JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
KR101444685B1 (ko) | 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치 | |
JP2018081008A (ja) | 基準映像地図を用いた自己位置姿勢標定装置 | |
Soheilian et al. | Generation of an integrated 3D city model with visual landmarks for autonomous navigation in dense urban areas | |
JP4545093B2 (ja) | 3d自動測量装置 | |
JP4624000B2 (ja) | 複合人工知能装置 | |
JP2022553750A (ja) | 地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 | |
JP5814620B2 (ja) | 位置補正データ生成装置、位置標定装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、位置補正データ生成プログラムおよび位置標定プログラム | |
US11460302B2 (en) | Terrestrial observation device having location determination functionality | |
JP4773794B2 (ja) | 新旧映像座標統合装置 | |
Belaroussi et al. | Vehicle attitude estimation in adverse weather conditions using a camera, a GPS and a 3D road map | |
KR20120043397A (ko) | 자동 주행 로봇의 위치인식 방법 및 장치 | |
CN113196341A (zh) | 用于对道路的表面上的对象进行检测和建模的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080324 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090616 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090824 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4767578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |