JP2008005478A - 湧きだし点基準cv領域画像前置装置 - Google Patents
湧きだし点基準cv領域画像前置装置 Download PDFInfo
- Publication number
- JP2008005478A JP2008005478A JP2007136748A JP2007136748A JP2008005478A JP 2008005478 A JP2008005478 A JP 2008005478A JP 2007136748 A JP2007136748 A JP 2007136748A JP 2007136748 A JP2007136748 A JP 2007136748A JP 2008005478 A JP2008005478 A JP 2008005478A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region image
- region
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 189
- 239000013598 vector Substances 0.000 claims abstract description 161
- 230000033001 locomotion Effects 0.000 claims description 125
- 238000007726 management method Methods 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 86
- 230000008859 change Effects 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 72
- 238000007906 compression Methods 0.000 claims description 41
- 230000006835 compression Effects 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 40
- 238000013473 artificial intelligence Methods 0.000 claims description 37
- 238000000926 separation method Methods 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000036961 partial effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000006837 decompression Effects 0.000 claims description 6
- 230000002829 reductive effect Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 37
- 230000006870 function Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 30
- 238000001514 detection method Methods 0.000 description 25
- 239000000203 mixture Substances 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000012886 linear function Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000006798 recombination Effects 0.000 description 8
- 238000005215 recombination Methods 0.000 description 8
- 238000005520 cutting process Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 238000013144 data compression Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 3
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 ビデオカメラで撮影した動画像を取得する画像取得装置1と、画像中の特徴点からカメラの三次元位置と姿勢を示すカメラベクトル値(CV値)を求めるCV値取得装置3と、各フレームにCV値を付加した画像を生成するCV画像生成装置4と、CV演算時に同時に副次的に求まるFP(特徴点)座標を付加したFP付加CV画像を生成するFP付加CV画像生成装置6と、CV画像を隙間無く幾何学的なハードCV領域画像に分割するハードCV領域画像分割装置8と、分割された各CV領域画像の対応点を隣接画像に亘って追跡してトラッキングベクトル値(TV値)を求めるTV演算装置9と、各フレームにCV値とTV値を付加したハードCV領域画像を生成するハードCV領域画像生成装置10を備える。
【選択図】 図15
Description
また、そこから発展的に生み出される技術の多くも実用化されている。
ここで、CV領域画像に比較するものとしてみると、単に領域に分割しているという点では、MPEG1、MPEG2、MPEG4がある。
また、従来のCV画像はCGと比較して長所が多いが、視点変更が自由にできないという面もあった。
また、上記比較対象としたMPEG1、MPEG2、MPEG4はいずれも、画像を二次元として扱っている点で、画像を三次元として扱う本発明とは根本的に異なるが、処理の過程で領域に分割されている点でのみ共通点がある。しかし、MPEG1、MPEG2、MPEG4はいずれも、動画像を二次元として扱っているので、冗長が多く圧縮には自ずと限界があるだけでなく、二次元である以上本発明ともCGとも異なり、決して視点移動はできない。
すなわち、本発明は、上述した従来の技術が有する課題を解決するために提案されたものであり、画像を湧きだし点を基準としてCV領域画像に分割し、各CV領域画像にCV値のみならず、TV演算によりTV値を、RV演算によりRV値を、JV演算でJV値を持たせることで、画像を自由に扱えるようにした湧きだし点基準CV領域画像前置装置の提供を目的とする。
また、本発明は、CV値を用いた三次元処理をしているが、CGのような三次元データではないので、データ量もかなり圧縮できることになった。
そして、これらを可能にしたのは、本発明により動画像の新しい解析手段を取得したことにある。
本発明の元となっているCV演算及びCV値(特開2005−295495号)は、全周カメラによる動画像の球面画像から生まれた。動画像を球面画像として扱うことで焦点距離及び光軸の概念から解放され、動画像を視覚に適したかたちで二次元面を持ったまま、古典的な三角測量の原理に戻って三次元化し、簡単に取り扱うことができるようになった。
そして、本発明による動画像における単純化された「湧きだし点」と「吸い込み点」の概念の導入により、動画像処理が面のまま単純化されて三次元化し、動画像の領域分割及びそのトラッキングが容易となり、全画素トラッキングも可能となったことで、さらに進展した。
そのデータの持ち方には進化に応じた複数段階があり、それぞれのデータベースを構築し、目的に応じて選択することができる。
最終段階では対象物認識をしているので、人工知能に近いものとなっている。
CV値のみのCV画像データベース装置による応用例は、○動画像とCGの合成装置(31)、○動画像からの三次元座標取得(32)、対象物を常に定位置で観察するロックオン表示装置(33)、回転揺れ止め画像生成装置・揺れ止め制御装置(34)、○画像内計測・画像間計測装置(35)、○新旧画像更新装置(36)、○CV画像地図(37)、○車載カメラによる自動車位置決め、及びその応用による実写ナビゲーションシステム(41)、○画像の三次元ポリゴン化(42)、○路面オルソ化地図生成システム(43)、等が既に本願発明者により実現されている。
ここで、上記の応用例はCV画像データベース(DB)によるが、本発明に係るCV領域画像データベース装置によれば、さらに効率化されて実現されることになる。
○座標系分離画像圧縮・記録装置(51)、○視点移動・中間フレーム生成装置(2)、○移動体抽出・運動解析装置(53)、○高解像度化画像生成装置(54)、○CV領域画像運動抽出・検索・解析装置(55)、○ノイズリダクション装置(61)、○CV領域画像差し換え画像生成装置(62)、○対象物運動抽出・解析装置(71)、○PRM画像圧縮装置(72)、○複合人工知能記憶装置(74)、○VD画像表示装置(75)等が実現される。
このようにして、本発明は多くの新産業を生み出し、確実に未来技術の核となり、産業のプラットホームとして位置付けることができる。
ここで、以下に示す本発明の湧きだし点基準CV領域画像前置装置は、プログラム(ソフトウェア)の命令によりコンピュータで実行される処理,手段,機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出,抽出した基準点の自動追跡,基準点の三次元座標の算出,CV(カメラベクトル)値の演算等を行わせる。
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク,光ディスク,半導体メモリ,その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
まず、本明細書で用いられる特殊用語の定義と解説について説明する。
「CV演算、CV値、CV画像」
画像を取得したカメラ位置と姿勢の三次元座標と角度を6変数で、画像の各フレームについて求めたものがCV値であり、それを求める演算がCV演算であり、CV値が求められた画像をCV画像(CV映像)という。
代表する座標系とカメラ位置と姿勢が既知となったことで、複数のフレームから対象の三次元座標が求められる。
CVはカメラベクトルの略称であり、CV値はCV演算の結果得られたカメラベクトルを表す6変数で、各フレームにCV値を付加した画像をCV画像という。
ただし、回転揺れ止めしたCV値は回転に属する3変数が定数となるため、回転揺れ止めした画像においては、CV値を残りの位置に関する3変数で表すことがある。
(特開2005−295495号、特開2005−122315号参照)
カメラ移動による動画像、又は相対的に対象物とカメラの位置関係が刻々変化する場合には、着目する座標系おいて、湧きだし点から吸い込み点に向かって画像が湧き出してくるように見える。これは元々回転静止した二画面の間に定義される二次元画像上の一点であり、カメラベクトル(CV)値から求められる。
動画像において回転揺れ止めが成されていなければ湧きだし点は求められない。
a地点及びb地点の揺れ止めされた回転静止系におけるCV値はCVa =(Xa,Ya,Za) CVb=(Xb,Yb,Zb) とすると、湧きだし点ベクトルSVは、それぞれの成分の差 SV=(ΔX,ΔY,ΔZ)で表される。
「湧きだし点」と「吸い込み点」の概念は、本願発明者が初めて提案した新しい概念である。
動画像において湧きだし点を求めるには画像の回転揺れ止めを行う必要がある。CV値の回転成分から回転成分を取得し、動画像に回転補正を施し、回転揺れ止め(特開2005−295495号参照)を行った動画像間の移動ベクトルは吸い込み点方向から湧きだし点方向を示している。
湧きだし点と、その反対側には吸い込み点がある。両者は画像内にある場合と無い場合がある。静止している場合には湧きだし点も吸い込み点も特定できないが、カメラが移動する場合には必ず存在している。
(特開2005−295495号、特開2005−122315号参照)
トラッキング時にはブロック化して画像上を追跡のが一般的であるが、その方法は多数ある。一例として、図14(b)には、湧きだし点から放射状に出る直線と垂直線が作るブロックを単位として、ブロック315を生成することができる。
CV領域画像とは、「CV画像から生成される湧きだし点基準による一次元トラッキング領域画像」のことである。
CV領域画像にはハードCV領域画像、ソフトCV領域画像、対象物CV領域画像の三種類があり、これらを区別しないときは単にCV領域画像という。
ただし、CV領域画像を生成する過程で、未だCV領域画像化されていない部分の領域も一つのCV領域画像として扱うこともある。
ハードCV領域画像とは、画像を分割したブロック形状のCV領域画像の意味である。
画像処理を目的として画像を決まった形で分割する場合、通常は8*8〜10*10程度の矩形ブロックに分割するが、以下のソフトCV領域画像と区別するため、画像や画像内の対象物に依存せずに決まった形に分割したCV領域画像をハードCV領域画像と言う。
具体的処理の場合には分割した矩形をブロックと称することもある。正確にはハードCV領域画像の一部にブロックは含まれる。
ソフトCV領域画像とは、画像を画像中の対象物に依存する形で、柔軟に分割した場合のCV領域画像の意味であり、通常、一つの対象物は複数のソフトCV領域画像からなる。
ハードCV領域画像と区別して、画像と画像中の対象物に依存して分割されたCV領域画像をソフトCV領域画像という。
ハードCV領域画像の具体的な分割した矩形の形状をブロックという。
処理上、ハードCV領域画像は幾何学的に単純化する必要があり、ブロック化されることがほとんどなので、ブロックと呼称する場合がある。
回転揺れ止めした動画像において、その代表座標系に属する全ての対象物が画像中を移動する場合の軌跡は、湧きだし点から、吸い込み点に至る線上を移動する軌跡となる。
TV値を求める演算をTV演算と言うが、TV演算には先ず画像の各点を動画を構成している隣接フレームに亘って追跡する作業、すなわちトラッキングが必要である。
通常トラッキングをするには画像を小領域のブロックに分割して、それを画像上に追跡する。8*8〜10*10程度が通常使われるブロックのサイズである。
また平面展開図法では、この時のTV値はカメラからブロックまでの垂直距離(ブロック移動面までの距離)の逆数とブロック移動速度は比例し、最終的には一次関数で関連づけられる。自由度は1なので数学的に扱いやすく、一次関数に変換が可能であり演算にもきわめて有利である。
このセグメント位置揺らぎのトラッキングをCV値で補正して、トラッキングデータを一次関数で表すことになる。また、車載したカメラから撮影したような画像であれば、位置揺らぎを無視できるので、そのままTV値としてもかまわない。
この一次関数で表現された線上のトラッキング演算をTV演算、その値をTV値、画像の各部分にTV値を付加した画像をTV画像と呼称する。
一般にCV領域画像は、前記セグメント区間の集合として表現され、1領域画像は1セグメント区間で一つのTV値を持つことになる。
数学的には、二次元面のトラッキングデータをCV値により位置揺らぎ成分を正しく補正することができる。従って、TV値は正確に一次関数に変換可能である。このように元々二次元であるトラッキングデータを一次元に、すなわち一次関数のTV値に単純化し、しかもそこから三次元データとして扱うVDを生み出すことに重要な意味がある。
すなわち、TV値は、追跡範囲を自由度1までに単純して限定することができることになり演算が単純化され画像処理上きわめて有利となる。
ただし、ここで重要なことは湧きだし点と吸い込み点は回転揺れ止め動画像上に定義した点であり、回転揺れ止め画像でなければ定義できないことである。
カメラの位置及び姿勢とソフトCV領域画像において、カメラと画像との関係は相対的であり、カメラを固定して画像の一部分の位置と姿勢の三次元ベクトルで表すことが可能である。このように、カメラを固定として、画像の一部分の三次元ベクトルをRV値という。その6自由度変数を求めることをRV演算という。
RVは Regional Vectorの頭文字である。
或るCV領域画像においては、CV値とRV値は互いに変換できる関係にある。
画像を構成する複数の座標系それぞれにCV値を定義することが可能であるが、CV値はこれまで動画像を代表する一個の座標系に対して一個のCV値を定義してきたので、しかも、カメラ側に定義してきたベクトルであるので、ここで複数の座標系に対して複数のCV値を定義すると、理解の混乱を起こす危惧があるため、ここではCV値は従来通り動画像を代表する座標系に対してのみ定義し、それ以外はRV値として、座標系とカメラの関係をCV値と同じ6自由度の変数で表示することになる。従って次元及びその意味合いはCV値と同等であり、変換可能な状況にある。
一般にRV画像はTV値から演算で求められるので、TV値はRV値と重複するデータである。
対象物認識後にソフトCV領域画像の各関係を求める演算をJV演算といい、認識された対象物を構成する複数のCV領域画像及びそのRV値を、対象物単位で区別する結合変数である。一般に認識された対象物は複数のCV領域画像から構成されており、その時各CV領域に与えられ、同一対象物に属するCV領域画像の三次元関係を求めることをJV演算、その値をJV値、JV値を取得した画像をJV画像という。
一般にJV画像は、CV値、RV値とを同時に扱われる。
CV値、TV値、RV値、JV値を総称してVD(ベクトルデータ)と呼ぶ。
上記独立に決まるVDに重複する従属変数となるが、湧きだし点ベクトルの値、SP値もVDに含める場合がある。
また、CV値とRV値はTV値から演算で求められるので、CV領域画像がVDを持つ場合、既にRV値を持つ場合はその中にTV値を含まない場合もある。
画像をブロック分割して、それぞれのトラッキングデータを求めようとする場合、自己相関値がピークを持つような特徴点ブロックは追跡可能であるが、それ以外のブロックは追跡点が一義的には定まらない。
そこで、特徴ブロックとそれ以外のブロックに対して、後の処理において特徴点が移動してもその二次元配列順番を変えずにゴム紐状に伸び縮するように、柔軟結合しておくことをゴム紐結合部と呼ぶ。
ゴム紐結合することで、特徴点ブロック以外のブロックでも仮想のトラッキングデータを取得することができるようになった。
ただし、ゴム紐結合したために却ってトラッキングデータに矛盾が発生することがある。その時にはその矛盾の発生した場所で、ゴム紐を切断する作業を行う必要がある。このように一旦ゴム紐結合した一部分を切断することをゴム紐切断という。
PRMとは、Parts Reconstruction Method(3D対象物認識方法)の略であり、本願発明者により開発された対象物を認識するための技術である(国際出願PCT/JP01/05387号(国際公開WO 02/01505)参照)。具体的には、PRM技術は、前もって予想される対象物の形状と属性を部品(オペレータ部品)としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、PRM技術によりその認識は容易に行える。また、対象物をCV映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
なお、PRM認識によって、あらゆる監視対象物(予測される対象物、障害物、不審物等)が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
(特開2005−122315号、特開2000−295611号、国際公開WO02/01505号参照)
現実世界の中の複数の対象物にカメラを取り付け、CV画像を取得し、互いに位置関係を確認し、属性を持ち、互いに情報をやり取りし、判断する人工知能を複合人工知能記憶装置という。
CV画像中に情報の出入り口として、CVタグを配置することができる。特開2005−295495号、特開2005−122315号に本発明者によるCVタグに関する発明がある。(実写アイコン、CGアイコンという名称で記載されている。)
CVタグの機能としてはCGアイコン及び実写アイコンと基本的に同じである。
CVタグの置き方としては、CV画像の中の対象物に重ねて、又は対象物から多少離した仮想位置に対象物を特定する位置に設置し、情報の出入り口とする。
CV画像には、アイコンのように情報のやり取りをするタグを貼り付けることができる。また、CV画像では、画像の中の対象物、又は画素そのものが三次元座標を持っていることから、対象物そのものをタグとして利用することができる。
CVタグとしては、本願発明者による特開2005−295495号及び特開2005−122315号から明らかなように、CVタグには実写をそのままCVタグとして利用する方法と、小型のCGをタグとして貼り付ける方法の二種類が考えられる。
実写型CVタグは実写そのものを用いるので、タグは目では見えないことになり、映像を観察するときに障害とは成らない点がCG方式に比べて有利である。また、CV画像からタグの位置を指定したり検索するためには、画像内でその都度三次元計測をしなければならない。この点がCG方式に比べて不利である。
一方、CGによるCVタグは、三次元計測した位置にタグとしてのCGを配置することになる。配置するには三次元計測する点では実写方式と同じであるが、また、読み出しや検索の場合はCGが既に三次元座標を持っていることから、その場での再度三次元計測をせずにCGを直接クリックすることで、その三次元座標を取得できるので、処理が簡単になる。この点が実写型と比較して有利な点である。
[CV演算]
まず、本発明の湧きだし点基準CV領域画像前置装置における処理の前提となるカメラベクトル値(CV値)の取得方法の一例を示すCV演算について図1〜図13を参照しつつ説明する。
CV演算とはCV値を求める方法の一つであり、CV演算により求められた結果をCV値,CVデータと呼ぶ。CVという表記は、カメラベクトル:Camera Vectorの略記であり、カメラベクトル(CV)とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と3軸回転姿勢を示す値である。
CV演算は、動画像(ビデオ映像)を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの3軸回転姿勢を求めるものである。
また、動画像から演算で求められるCV値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してCV値が求められる特性は、CV演算でしか実現し得ない、優れた特徴である。
但し、CV値は、例えば、他の方法による計測手段(GPSとジャイロ、又はIMU等)より求めることもできる。従って、CV値の取得はCV演算による場合には限られない。
なお、GPSとジャイロ、又はIMU等によりCV値を取得する場合には、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、かつ完全に同期させる必要がある。
また、CVデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現不可能な優れた特性を備える。
また、画像に対応したCV値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその3軸回転姿勢を求めることができるCV演算は画像内計測や画像内測量に好適となる。
そして、本発明の湧きだし点基準CV領域画像前置装置は、このようなCV演算等により得られたCV値データに基づいてCV領域画像処理を行うものである。
CV演算は、以下に示すようなCV演算部(CV演算装置)によって行われる。後述する本発明の湧きだし点基準CV領域画像前置装置では、CV値取得装置3等で以下に示すようなCV演算が行われてCV値が取得されるようになっている(図15,16参照)。
本発明に係るCV演算部02は、図1に示すように、全周ビデオ映像部01から入力されるビデオ映像について所定のCV演算処理を行うことでCV値を求めるようになっており、具体的には、特徴点抽出部02-1と、特徴点対応処理部02-2と、カメラベクトル演算部02-3と、誤差最小化部02-4と、三次元情報追跡部02-5と、高精度カメラベクトル演算部02-6とを備えている。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので(図4参照)、これを例えば等距離図法のように平面展開表示することで、通常の遠近法映像に変換表示できるからである。
なお、移動体01-1aには、その位置座標を取得する目的で、例えば、絶対座標を取得するGPS機器単独やIMU機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体01-1aに搭載される全周ビデオカメラ01-1としては、広範囲映像を撮影,取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、360度周囲に回転可能なカメラ等がある。本実施形態では、図2及び図3に示すように、車輌に複数のカメラが一体的に固定され、移動体01-1aの移動に伴って広範囲映像を撮影する全周ビデオカメラ01-1を使用している。
ここで、全周ビデオカメラ01-1は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、CV演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像(360度画像)データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図4(a)は球面画像が貼り付けられる仮想球面の外観イメージであり、同図(b)は仮想球面に貼り付けられた球面画像の一例である。また、同図(c)は、(b)の球面画像をメルカトール図法に従って平面展開した画像例を示す。
CV演算部02では、まず、特徴点抽出部02-1が、全周ビデオ映像部01の全周ビデオカメラ01-1で撮影されて一時記録された動画像データの中から、十分な数の特徴点(基準点)を自動抽出する。
特徴点対応処理部02-2は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部02-3は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部02-4は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
高精度カメラベクトル演算部02-6は、三次元情報追跡部02-5で得られた追跡データに基づいて、カメラベクトル演算部02-3で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成・出力する。
そして、以上のようにして得られたカメラベクトルが、後述する本発明に係る湧きだし点基準CV領域画像前置装置に入力され、CV領域画像の生成・分割・貼り付け等の処理に利用されることになる。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することで、三地点の座標で構成される単位の三角形を、その十倍以上の多くの特徴点から求めることになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
一般に、静止した三次元物体は、位置座標(X,Y,Z)と、それぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標(X,Y,Z)とそれぞれの座標軸の回転角(Φx,Φy,Φz)の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本発明に係るカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
まず、上述した全周ビデオ映像部01の全周ビデオカメラ01-1で取得された画像データは、間接に又は直接に、CV演算部02の特徴点抽出部02-1に入力され、特徴点抽出部02-1で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部02-2で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図5〜図7に示す。図中「+」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される(図7に示す対応点1〜4参照)。
ここで、特徴点の抽出は、図8に示すように、各画像中に充分に多くの特徴点を抽出することが望ましく(図8の○印参照)、例えば、100点程度の特徴点を抽出する。
本実施形態では、例えば、360度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動(カメラ位置とカメラ回転)を計算するようになっている。また、これを三角測量として説明すれば、方位と俯角仰角を測量する機器を車載して、対象となる複数の測量地点を、移動する測量機器により同一対象物を計測して取得したデータから、各対象地点の座標と測量機器の移動の軌跡を求める場合と同じである。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてt及びRを計算することができる。この演算を対応する複数フレームに適用し演算する。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、全周映像は対象物の方向がそのまま緯度経度で表現されていることから、きわめて有利である。図7に示す360度全周画像のような広角レンズによる画像の方が特徴点を数多く選択し、複数フレームに渡って追跡し易くなる。また、狭角レンズによる映像あっても、同一対象物の周りを移動しながら様々な方向から撮影する場合には特徴点が視界から逃げないので有効である。
そこで、本発明では、CV演算に360度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図7は、CV演算部02における処理を理解し易くするために、1台又は複数台のカメラで撮影した画像を合成した360度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のCV演算では、必ずしもメルカトール図法による展開画像である必要はない。
さらに、誤差の分布が大きい特徴点については削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
図9では、図7の画像1,2に示した特徴点1〜4の三次元座標と、画像1と画像2の間で移動するカメラベクトル(X,Y,Z)が示されている。
図10及び図11は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
具体的には、CV演算部02では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるn番目とn+m番目の二つのフレーム画像FnとFn+mに着目して単位演算とし、nとmを適切に設定した単位演算を繰り返すことができる。
mはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどmが大きくなるように設定し、カメラから特徴点までの距離が近いほどmが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
このようにして、フレーム画像FnとFn+mに着目した単位演算を行うことにより、m枚毎にサンプリングした各フレーム間(フレーム間は駒落ちしている)では、長時間かけて精密カメラベクトルを演算し、フレーム画像FnとFn+mの間のm枚のフレーム(最小単位フレーム)では、短時間処理で行える簡易演算とすることができる。
このようにして、画像の進行とともにnが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
具体的には、まず、三次元情報追跡部02-5で、カメラベクトル演算部02-3,誤差最小化部02-4を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報(三次元形状)に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部02-5で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部02-6においてより高精度なカメラベクトルが求められる。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報(三次元形状)を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部02-3により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
例えば、図13に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。CVデータは、その三次元位置と3軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでCV値を同時に観察できる。CVデータをビデオ映像に重ねて表示した画像例を図13に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、CV値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのCV値が重なって表示されてしまうので、例えば図13に示すように、敢えてカメラ位置から真下に1メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにCV値を表示するのがより適切である。
次に、以上のようにして求められるCV値に基づいてCV領域画像処理を行う本発明に係る湧きだし点基準CV領域画像前置装置の実施形態について、図面を参照しつつ具体的に説明する。
[ハードCV領域画像生成装置]
まず、図15を参照して、本発明の一実施形態に係る湧きだし点基準CV領域画像前置装置を構成する構成要素のうち、画像取得装置1〜ハードCV領域画像生成装置10までを説明する。
同図に示すように、本実施形態に係る湧きだし点基準CV領域画像前置装置は、まず、画像取得装置1、画像DB装置2、CV値取得装置3、CV画像生成装置4、CV画像DB5、FP付加CV画像生成装置6、FP付加CV画像DB7、ハードCV領域画像分割装置8、TV演算装置9、及びハードCV領域画像生成装置10の各部を備えている。
画像取得装置1は、自由に移動するビデオカメラで撮影した動画像を取得し、記録する手段である。
画像取得装置1で取得された画像データは、画像DB装置2に記録される。
CV値取得装置3は、画像取得装置1で撮影された動画像の撮影時のカメラの三次元位置と姿勢を示すカメラベクトル値(CV値)を全フレームについて取得する。
具体的には、CV値取得装置3は、例えば、上述したCV演算装置(CV演算部02)により構成され(図1〜図13参照)、画像取得装置1で取得された画像中に特徴点を検出し、特徴点を複数フレームに亘って追跡することで対応点を検出し、複数の特徴点とその対応関係から、撮影時のカメラの三次元位置と姿勢を全フレームについて求めるカメラベクトル(CV)を演算して求め、各画像のカメラベクトル値(CV値)を取得する。CV演算部(CV演算装置)によるCV値の演算・取得方法の具体例は上述した通りである(図1〜図13参照)。
後述するRV値又は、JV値で結合されたRV値は、前記対象物毎に与えた複数のCV値と数学的に同等であり、常に変換可能である。
CV画像生成装置4で生成されたCV画像データは、CV画像DB装置5に記録される。
FP付加CV画像生成装置6は、CV演算時に同時に副次的に求まるFP座標(特徴点三次元座標)を、CV画像生成装置4の出力に付加したFP付加CV画像を生成する。
FP付加CV画像生成装置6で生成されたFP付加CV画像データは、FP付加CV画像DB装置7に記録される。
FP値は何時でも画像から抽出できるので、画像の記録や伝送においては、FP値を付加しないのが常である。CV値が分かっていれば追跡は狭い範囲に限定されるので、FP値は比較的簡単に求められるので、必要な時に画像から直接求めることが可能である。ただし、FP値を付加した方が、再演算しないで済むので、目的によっては好都合となる。
そして、CV画像にさらに以下の処理を加えることで、本発明に係る新しい画像処理が行われることになる。
ここで、画像分割は、一般には矩形のブロックを用いるが、これは画像を表す図法により様々な形状となる。本発明においては、湧きだし点からの延長と垂直線とが作る台形となる場合が多い(図14参照)。この台形ブロックを前記ハードCV領域画像分割装置によって分割された各CV領域画像の対応点を隣接画像に亘って追跡(トラッキング)する。
TV演算装置9は、全CV領域画像のトラッキングベクトル値(TV値)を求める。
ハードCV領域画像生成装置10は、画像の各フレームにCV値と、TV値を付加した画像を生成するハードCV領域画像を生成する。
画像の全てのCV領域画像をトラッキングすることは容易ではない。そこで画像を分割したブロックCV領域画像の移動に関する法則性を見いだし、全ブックCV領域画像にトラッキングデータを与える。
ハードCV領域画像生成装置10で生成されたハードCV領域画像データは、ハードCV領域画像DB装置11に記録される。
しかし、現実的な装置の実現上、前もって代表する座標系のCV値を取得することで画像の回転揺れ止めが可能となり、回転揺れ止め画像を用いることでその後の処理がきわめて容易になる。このため、本実施形態では、CV値を先に求め、そのCV値と回転揺れ止め画像を用いてハードCV領域画像分割をする工程とした。当然、再度JV値から精度の高いCV値を求めることは可能である。
この放射線は図法により直線にも曲線にもなる。直線となる図法を採用し、直線上に追跡する方が演算上有利となるのは明らかである。
画像が、トラッキング値のみならずCV値をも同時に共に持つことで、きわめて効率的なトラッキングと画像再構成が可能となる。
原理的にCV値の無い、トラッキングデータだけでも画像再構成は可能であるが、その時は二次元面に対応点を探すことになるためにトラッキング値は二次元となり、またトラッキング値を演算で求める場合に演算時間が検索範囲の面積で効いてくることになり、それだけ演算時間がかかることになる。また演算時間のみならず、検索範囲が面であることで、それだけエラーが発生する確率が増加する。
なお、一次元の線上とは必ずしも直線とは限らない。どのような曲線になるかは図法による。しかしどのような図法であっても移動の軌跡は予定された曲線上にある一次元として表現できるという意味である。
このように一次元のトラッキングデータで表現可能であることが、この方式の特徴となる。また一次元で対応点を決定できるのでトラッキングが容易になり、また画像の再構成も単純になる。このことでCV値無しの二次元画像の二次元トラッキング値取得演算と比較して、CV値から得られる湧きだし点から吸い込み点に向かって定義される一次元のトラッキング経路をたどることで、トラッキングが一次元になり、追跡がきわめて容易になり、画像の再構成が単純化され、そのことでデータ量を大幅に減少できることになる。
しかし、一般画像の性質として、代表する座標系の対象物のみのCV値で表現できる範囲が画像の大部分を占めているので、CV値は代表座標系の一つで十分である。一般には世界座標系となる静止座標系を代表座標系とする場合が多い。また、目的部分が静止座標系でない場合は、移動する対象物を第二の代表座標系とすることができる。さらに、このようにして代表座標系を増加せしめることは可能であるが、全てを代表座標系とすることは現実的ではないので、複数の代表座標系を用いても、それら代表座標系に属さないCV領域画像が生じる場合がある。
この代表座標系の関する事実は、以下に示すソフトCV領域画像、対象物CV領域画像に関しても同じ共通理解が成り立つことは重要である。
次に、図15を参照して、本発明の一実施形態に係る湧きだし点基準CV領域画像前置装置を構成するソフトCV領域画像分割装置12〜ソフトCV領域画像生成装置14までを説明する。
同図に示すように、ハードCV領域画像生成装置10の次工程には、ソフトCV領域画像分割装置12、RV演算装置13、ソフトCV領域画像生成装置14の各部を備えられている。
若しくはハードCV領域画像生成装置10を介さずに、同種の色を塗り絵のように埋めていき、又は輪郭線を抽出して情報を付加し、直接同種テクスチャーCV領域画像を分離する。これらの機能を組み合わせることでさらにCV領域画像抽出の精度は向上する。
このようにして、ソフトCV領域画像分割装置12は、画像内容に沿った複数のソフトCV領域画像からなる画像を再構成する。このことで画像はソフトCV領域画像の結合体として再構成されたことになる。
RV値はTV値と互換関係にあるが、TV値のみで扱うと元のハードCV領域画像の数だけ用意しなければならなくなり、データ量も増加し煩雑になるので、ソフトCV領域画像の数のRV値として画像を表現することになる。
ただし、何時でもCV領域画像単位のTV値に変換することは可能である。また画像の内容をRV値として扱う方が人間の視覚の認識における状況とよく類似していることから単純され、しかも理解が得られやすいという長所がある。
TV値はRV値に整理されたことになるので、RV値を持つ画像はTV値を持つ必要はない。RV値を求められなかった部分はTV値を持つことでRV値の代用とすることができる。
そして、ソフトCV領域画像生成装置14は、画像を構成する全CV領域画像がCV値と、CV領域画像ベクトル値(RV値)を付加して持つ画像を生成する。
ソフトCV領域画像生成装置14で生成されたソフトCV領域画像データは、ソフトCV領域画像DB装置15に記録される。
次に、図15を参照して、本発明の一実施形態に係る湧きだし点基準CV領域画像前置装置を構成する対象物認識装置16〜対象物CV領域画像生成装置18までを説明する。
同図に示すように、ソフトCV領域画像生成装置14の次工程には、対象物認識装置16、JV演算装置17、対象物CV領域画像生成装置16の各部を備えられている。
対象物認識装置16は、ソフトCV領域画像生成装置14の出力から、複数のソフトCV領域画像を所属する対象物毎に結合するなどして、若しくはソフトCV領域画像生成装置14を介さずに、CV画像生成装置4から直接同種対象物CV領域画像を分離するなどして、画像内容に沿った複数のソフトCV領域画像から画像を再構成する。
対象物認識については、本願発明者は特開2000−295611号等でPRM技術を提案している。このPRM方法により、例えば、画像の中から、複数のCV領域画像から成る対象物が認識される。それと同時にその対象物に属するソフトCV領域画像が分類されることになる。すなわち、対象物を認識すると同時にその対象物に所属するソフトCV領域画像が自動的に選択される。このようにここでは対象物は複数のソフトCV領域画像から成るとの前提が存在している。さらに、画像はその一部又はその全てを複数の対象物から再構成される。
これにより、対象物の位置と対象物を構成しているソフトCV領域画像との関係をベクトルで表現できることになる。
画像は最終的に複数の対象物の集合として表現され、さらにそれぞれの対象物は複数のソフトCV領域画像の集合として表現されたことになる。
次に、図16を参照して、ハードCV領域画像の生成を行うハードCV領域画像分割装置8、TV演算装置9及びハードCV領域画像生成装置10の各部の詳細について説明する。
ハードCV領域画像分割装置8は、図16に示すように、揺れ止め画像生成部81、湧きだし点抽出部82、ブロック分割部84、ブロック分類部85、ゴム紐結合部86、ブロック画像生成部87の各部を備えている。
揺れ止め画像生成部81は、CV画像生成装置4からの出力に対し、付加されたCV値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する。
ここで、3軸回転揺れ止めで十分ではあるが、3軸回転揺れのみならず、3軸位置揺らぎに対しての揺れ止め画像を生成するのがより好ましい。
湧きだし点抽出部82は、CV値から、隣接する画像に対する湧きだし点と吸い込み点を求める。
追跡は演算時間がかかることから、できるだけ効率的な追跡方法をとるのが好ましい。
ここではブロック分割によりハードCV領域画像を生成したことになる。一般には矩形は幾何学的に単純なのでよく使われるが、ここでは使用する図法によってブロックの形状は変化するので、必ずしも直線の結合とは成らないが、便宜上、ハードCV領域画像として台形ブロックがしばしば用いられる。
処理の過程で、ブロック分割により、ブロックがそのままハードCV領域画像となることもあるが、一部においてはブロックが複数集まって、或いはブロックがさらに分割されて、ハードCV領域画像となることがあるので、ここではあえてハードCV領域画像とブロックを使い分けている。
ゴム紐結合部86は、特徴ブロックと前記それ以外のブロックに対して、後の処理において特徴点が移動してもその二次元配列順番を変えずにゴム紐状に伸び縮するように、柔軟結合しておく。
ブロック画像生成部87は、全てのブロックについて、抜けなくその順番を変えずに、ゴム紐状に柔軟に結合した画像を一時的に生成する。
以上により、ハードCV領域画像分割装置8が実現される。
特徴ブロック追跡部91は、ゴム紐状に結合したブロック画像の特徴ブロックを追跡する。
ここで、追跡するのは特徴ブロックのみであるが、ゴム紐結合により、それ以外のブロックも特徴ブロックに引き込まれて移動し、何らかのTV値を持つことになる。
そこで、本実施形態では、一次TV演算部92により、追跡データをそれ以外のブロックにも演算して適切に配分する。
さらに、補正ブロック検出部93により、複数画像を利用するなどして、一次TVから生成する画像の追跡誤差を検出し、二次TV演算部94により、上記誤差が分布するCV領域画像を再度ブロック分割するなどして、補正CV領域画像として、再追跡してTVデータを取得することができる。
以上によりTV演算装置9が実現される。
同一TV値統合部101は、TV演算によるTV値が同一となる隣接ブロックを結合する。この隣接ブロックの結合は必ずしも必要ないが、効率化のためには有った方がよい。
CV・TV付加部102は、画像のCV値、及びハードCV領域画像のTV値を画像に付加する。ここではブロックの全てにTV値が付加されたことになる。
なお、図法再変換部103で変換する図法は、最終的に、例えば記録が目的であればメルカトール図法が良いが、見ることが目的であればゆがんで見えるので、遠近法に変換するなどして目的に合った適切な図法に再変換する。計測や画像処理が目的であればそれに適した図法に再変換する。
そして、ハードCV領域画像出力部104により、CV値とTV値とを付加したブロック画像が出力される。ハードCV領域画像出力部104から出力されたCV値・TV値が付加されたブロック画像は、CV領域画像圧縮画像生成部105に入力され圧縮される。
以上により、ハードCV領域画像生成装置10が実現される。
次に、図17を参照して、ソフトCV領域画像の生成を行うソフトCV領域画像分割装置12、RV演算装置13、ソフトCV領域画像生成装置14、及び輪郭線ベクトル化装置20の各部の詳細について説明する。
ソフトCV領域画像分割装置12は、図17に示すように、ブロック再分類部121、ソフトCV領域画像生成部122及びCV領域画像境界線補正部123の各部を備える。
ブロック再分類部121は、ハードCV領域画像生成装置10の出力から、特徴ブロックを選択し、単独で存在する独立特徴ブロック、境界線上に特徴ブロック同士が隣接して存在する境界線上特徴ブロック、CV領域画像の境界を構成するが特徴ブロックとはなり得ない境界線上ブロック、及び未特定を含めたそれ以外のCV領域画像内ブロックの3種類に再分類する。
ソフトCV領域画像生成部122は、境界線上特徴ブロック、境界線上ブロックを結合し、ソフトCV領域画像を生成する。
ここで、境界線は閉じない場合が発生するが、閉じない端末の両端を強引に結合しても問題は発生しない。ソフトCV領域画像が細分化されたことになるだけであり特に問題とはならない。
ブロックのみの境界はピクセル単位で凸凹しているが、CV領域画像境界線補強部で強化されたソフトCV領域画像境界はベクトル化した輪郭線となり、画像の内容の性質に適したより適した境界線となる場合が多い。
以上によりソフトCV領域画像分割装置12が構成される。
既にハードCV領域画像は追跡処理されているので、この処理は省略することができるが、補強されたソフトCV領域画像を再度追跡することで、次のRV演算により適した追跡データを取得することができる。より正確なRV値を求めるにはソフトCV領域画像について隣接CV領域画像と共有する6個以上(隣接CV領域画像と共有可)の特徴ブロックの痕跡が存在することが望ましい。
CV・RV付加部141は、RV演算装置13の出力に対して、CV値、及びRV値をソフトCV領域画像に付加する。
ここで、TV値は省略されているが、RV値はTV値をソフトCV領域画像単位で整理したものであり、TV値を省略したRV値を持つことで十分である。
全てのCV領域画像のRV値が無くても、ソフトCV領域画像は隣接していることから、その位置は決められるので、RV値に抜けがあってもソフトCV領域画像は成立する。
ソフトCV領域画像出力部142は、ソフトCV領域画像生成装置14は、CV値・RV値を付加されたソフトCV領域画像を生成して出力する。
これらによりソフトCV領域画像生成装置14が構成される。
輪郭線抽出部201は、画像の輪郭を直接求める。
ベクトル細線化部202は、求められた輪郭線を細線化してベクトル化する。
可変閾値輪郭補強部203は、細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する。
さらに、ベクトル輪郭線生成部204は、補強されたベクトル輪郭線を生成する。
以上により、輪郭線ベクトル化装置20が構成される。
次に、図18を参照して、対象物CV領域画像生成を行う対象物認識装置16、JV演算装置17及び対象物CV領域画像生成装置18の各部の詳細について説明する。
同図に示すように、まず、対象物認識装置16は以下の各部を備える。
ソフトCV領域画像範囲選択部161は、ソフトCV領域画像の中で、認識対象となる対象物の概略範囲を選択指定する。この対象物の範囲指定は、多少広めに自動指定するのが好ましい。ただし、範囲指定しなくても全範囲の指定によっても演算時間はかかるが、いずれにしても認識は可能である。
指定範囲RV選択部162は、範囲を指定したソフトCV領域画像比較部に送り、当該CV領域画像のRV値を指定する。
部品DB部163は、予想される複数のRV値を持つ対象物の三次元部品を、データベース化して記憶している。ここで、部品は三次元形状そのものでも良いが、部品のRV値を前もって演算して部品の属性として与えておくことが好ましい。
なお、ソフトCV領域画像の範囲と部品の比較は部品優先でなされることが望ましい。先に予想される部品を選択して、範囲のソフトCV領域画像が一致するか否かを求めることが効率がよい。あるいは、範囲のソフトCV領域画像のRV値に一致する部品のRVを検索して求めるようにしてもよい。
ここで、範囲のソフトCV領域画像と部品は、三次元形状での比較でも良いが、そのためには画像側も三次元化しておく必要があるので、RV値で比較するのが単純で効率的である。特に、複数CV領域画像と複数CV領域画像の比較であれば、RV値による比較がきわめて効果的である。
また、要素追跡部167は、要素を隣接画像に追跡し、対応位置を求める。これは要素のTV値となる。
さらに、要素RV化部168は、要素のCV値とTV値から要素RV値を求める。
要素は形状が小さいので単独のRV値を求めるには適さないが、組み合わせた要素のRV値は存在するので、TV値を省略せずに、TV値及び複合要素RV値及び複合要素JV値を求めておくことは意味がある。
要素比較部1610は、画像から検出した要素と部品要素を三次元比較して一致を求める。要素部品は独立した要素部品とすることも可能であるが、部品から作られる要素部品とするのが望ましい。
ここで、要素部品単独ではRV値を持たないが、部品から取得した複数の要素が集合すればRV値もJV値も持つので、集合した要素の比較においてはRV値による比較はきわめて有効である。
要素比較した結果はRV比較部164において部品の一部として比較対象となる。
情報は一部重複するが、重複することは認識精度を向上させることになり好都合である。
さらに、対象物要素認識部1611は、一致した部品要素を検出した要素に置換する。
以上の各部により対象物認識装置16が構成される。
CV領域画像再結合部171は、対象物認識装置16の出力から、対象物認識されたCV領域画像を対象物単位で再結合する。
CV領域画像の大きさの分類は複数の組み合わせによる複数の選択肢があるので、部品と範囲は、そのままで完全一致しないが、両者の内どちらかがどちらかを含む形で一致するので、必ずしもCV領域画像の大きさと種類を完全に一致させなくても良い。部分一致でも十分認識は可能である。部品の大きさに合わせるのが適切である。
JV演算部172は、それぞれの対象物毎にソフトCV領域画像の幾何学的三次元結合状況を表すJV値を求める。
また、対象物CV領域画像生成装置18は、対象物認識が一部又は全て済ませた対象物認識CV領域画像を生成する対象物CV領域画像生成部182を備える。
最終的には、RV値とJV値とを完全に合致した状態でCV領域画像データベース装置30(図15又は図22参照)に収納するために、決定した部品のソフトCV領域画像と前記範囲のソフトCV領域画像とを種類まで含めて統一しておくことが望ましい。
次に、以上のような構成からなる本発明の湧きだし点基準CV領域画像前置装置を利用した各種装置として、まず図19を参照して、CV領域画像表示装置の一実施形態について説明する。
CV画像はフレーム単位の画像であったが、CV領域画像は領域単位の画像である。そこでCV領域画像から動画にして再生するには、各CV領域画像から動画の各フレームを生成しなければならない。動画の生成には、CV領域が持つVD値を使って行う。
そこで、本実施形態のCV領域画像表示装置1002は、以下のような各部を備えて構成される。
この表示指定部1004により、画枠、画角、フレーム数、解像度、視点方向、視点位置、表示図法などを指定する。
また、再結合画像を各フレームに配分して、各フレームに対応した画像を生成する画像フレーム生成部1006を備える。
さらに、通常画像となった画像フレームを表示する表示部1007を備える。
画像の再結合及び、画像フレームの生成は前記湧きだし点基準CV領域画像前置装置1001の過程の逆であり、理解は容易である。
図15の矢印の方向を逆向きにすることで、再結合は理解できるので、参考に図15の矢印を逆方向に付け替えた図を図20として示す。
なお、逆方向の場合には装置名に関して必ずしも適切ではない場合が生じるが、理解の上では同じ名称の方がよいのでそのままとしてある。
次に、図21を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いたCV領域画像データベース装置の一実施形態について説明する。
CV画像はフレーム単位の動画像であったが、CV領域画像では、領域単位の画像となる。CV領域画像データベース装置1012の本質は、CV領域画像とCV領域画像に対応したベクトルデータを持ち、出力も又CV領域画像とベクトルデータを持つことにある。ベクトルデータとはVDで表し、CV値、TV値、RV値、JV値はそれぞれVDある。
同図に示すように、ハードCV領域画像生成装置10からの画像出力を記録し、更新し、検索し、出力するデータベースを、ハードCV領域画像DB11とする。
また、ソフトCV領域画像生成装置14からの画像出力を、記録し、更新し、検索し、出力するデータベースをソフトCV領域画像DB15とする。
また、対象物CV領域画像生成装置18からの画像出力を、記録し、更新し、検索し、出力するデータベースを対象物CV領域画像DB19とする。
データベースはどの形式のDB、或いはその中間のDBであっても、CV値、TV値、RV値、JV値はCV領域画像で、あるいは隣接する画像間で、重複しており、整理することでデータ量は圧縮できる。
同図において、CV領域画像・VD取得部1014は、湧きだし点基準CV領域画像前置装置1001からの出力である各CV領域画像、すなわちハードCV領域画像出力、ソフトCV領域画像出力、及び対象物CV領域画像出力の中の全ての画像出力、若しくは前記三者の中間段階の画像出力を、各ベクトルデータ(VD値)共に取得する。
なお、CV領域画像データベース装置1012では、重複の程度とその圧縮の程度については示していない。
なお、これらデータの中で重複するデータをさらにまとめて整理する重複データ圧縮部1016に関しても、具体的には示していない。すなわち、重複データの圧縮には様々な方法があるので、どのような手法でどのように圧縮するかに関しては、ここでは限定していない。圧縮の具体例の一つとしては、本願発明者の提案による特願2004−364223号の「座標系分離画像圧縮再生装置」や、後述する「座標系分離装置」及びその「実施例2」に詳しく述べている。画像圧縮を設置しなくても多少非効率になるが、CV領域画像データベース装置の本質は失われない。
CV領域画像を、単に画像としてみて、従来方法で圧縮することでも、かなりの圧縮が期待される。
例えば、重複データ圧縮部1016には後述する「座標系分離装置」の「実施例2」を用い、このCV領域画像圧縮記録部にはJPEG1、JPEG2、JPEG4及びその方法を用いて、圧縮効果を高めることも可能である。
ここでは、CV領域画像データベース装置1012の外側に用意したCV値やCV領域画像やRV値で、当該CV領域画像データベース内に検索される対象物を探すこと以外に、当該CV領域画像データベース内で検索すべき対象物を指定し、他のCV画像内に検索することもできることは明らかである。
検索装置については、さらに後で詳しく述べる。
ただし、この検索・更新部は設置しない場合は多少非効率になるがCV領域画像データベースの本質は失われない。
ここで整理とは、全てのCV領域画像に同一のデータを付加する必要はないことから、データが重複しないように、必要な画像のフレームに対して、及び必要なCV領域画像について、効率的にCV値、TV値、RV値、JV値の全て又はいずれかの組み合わせを付加することで、画像の記録及び送信、配信の効率を上げることができる。
このように、CV領域画像化され再構成可能な画像をDCT等で圧縮記録し、更新し、検索し、解凍出力するデータベースを持つことを総称してCV領域画像データベース装置という。
なお、当然入力するCV領域画像と出力するCV領域画像を表示して監視する入出力監視モニタを設置することが好ましい。ここでは新しい原理と技術を説明するためにあえてモニタについては記述していない。
さらに、CV値、TV値、RV値、JV値はCV領域画像単位、若しくは対象物単位で持つので、隣接画像及び隣接CV領域画像と共有(従来技術)できる場合が多い。そこでCV領域画像を時空間の固まりに束ねることで、重複を無くし、より効率的なCV領域画像データベース装置が実現できる。
CV領域画像データベース装置1012は湧きだし点基準CV領域画像前置装置の出力と同じ信号形式とし、信号には互換性を持たせることが望ましい。そうすることで湧きだし点基準CV領域画像前置装置の出力をさらに当該CV領域画像データベース装置を通過させることで、より圧縮されて扱いやすくなった信号を出力することができる。
湧きだし点基準CV領域画像前置装置の出力はハードCV領域画像、ソフトCV領域画像、対象物CV領域画像が個別に出力されるが、当該CV領域画像データベース装置を通過させることでブロック化されないで残ったCV領域画像、ハードCV領域画像、ソフトCV領域画像、対象物CV領域画像がミックスされた状況で出力が可能となる。
具体例としては、フレーム情報は消失して、或いはフレーム画像そのものが消失して、CV領域画像とVDのみのデータと言うこともあり得る。さらに一部分対象物認識されたのみのCV画像、ハードCV領域画像とソフトCV領域画像がミックスされた画像などの出力が可能となる。
同図に示すように、CV値のみのCV画像データベース装置による応用例は、○動画像とCGの合成装置31、○動画像からの三次元座標取得装置32、対象物を常に定位置で観察するロックオン表示装置33、回転揺れ止め画像生成装置・揺れ止め制御装置34、○画像内計測・画像間計測装置35、○新旧画像更新装置36、○CV画像地図47、○車載カメラによる自動車位置決め、及びその応用による実写ナビゲーションシステム41、○画像の三次元ポリゴン化装置42、○路面オルソ化地図生成システム43等が既に本発明者により実現されている。
ここで上記応用例はCV画像DBによるが、CV領域画像データベース装置によれば、さらに効率化されて実現されることになる。
図22に示すように、○座標系分離画像圧縮・記録装置51、○視点移動・中間フレーム生成装置52、○移動体抽出・運動解析装置53、○高解像度化画像生成装置54、○CV領域画像運動抽出・検索・解析装置(ハードCV領域画像・ソフトCV領域画像・対象物CV領域画像を含む)55、○ノイズリダクション装置61、○CV領域画像差し換え画像生成装置62、○対象物運動抽出・解析装置71、○PRM画像圧縮装置72、○対象物運動解析装置73○複合人工知能記憶装置74等が考えられている。
これらの方法論と応用例の幾つかについては、以下の実施形態でも適宜取り上げて説明するが、以下に三次元地図としての利用について説明する。
CV値を持つCV画像(CV映像)は三次元地図としてそのまま利用できることは特開2005−295495号で既に明らかにされている。従って、それを領域化したCV領域画像データベースであっても、より効率的に三次元CV画像地図としてそのまま利用できることは明らかである。
さらに、車載したカメラによるリアルタイムで取得した画像との特徴点自動比較により、車両の現在位置を取得できることは本願発明者の提案による特願2005−303952号で明らかにされている。
一つの地点に対して、二次元特徴点の場合は最低10〜20個程度、三次元座標まで取得していれば4個〜10個程度で、車両の現在地点の位置決めは可能である。
当該CV領域画像データベースにおいて、CV領域画像の種類により、様々な利用方法が生まれる。ハードCV領域画像においては、二次元特徴点、及び三次元特徴点として、ソフトCV領域画像においては、形状を持つ明確な二次元特徴点、及び三次元特徴点として、対象物CV領域画像においては、認識済の対象物はそのまま特徴点となり得るだけではなく、交通標識、道路表示、行き先看板等、その意味も理解しているので、地図としての利用価値はさらに高まることになる。
次に、図23を参照して、本発明の係る湧きだし点基準CV領域画像前置装置を用いた視点変更装置の一実施形態について説明する。
本発明では、CV領域画像とはハードCV領域画像、ソフトCV領域画像、対象物CV領域画像の全てを含んでいることが重要である。以下に示す実施形態についても全てこの事実に基づいている。
全ての演算はCV領域画像単位で処理されるため、CV領域画像が一枚の画像として扱われる。従ってCV領域画像が移動体であるか否かを特に区別する必要はない。CV領域画像が一枚の画像として扱われる。このことは本発明の全てに言えることである。
以下、図23に示す本実施形態に係る視点変更装置1021の各部について説明する。
CV領域画像・VD取得部1022は、CV領域画像データベース装置からの出力を取り入れ、CV領域画像とVDとを分離して取得する。これは上述したCV領域画像表示装置1002におけるCV領域画像・VD取得部1003と同様のものでよい(図19参照)。
視点変更指定部1023は、視点変更地点を、若しくは視点変更経路を、CV値で指定する。CV値は視点の三次元座標、回転姿勢を含んだVDなので、CV値を与えることで始点を指定できる。
また、変更VD取得部1025は、指定されたCV値に従い、CV領域画像のCV値以外のVD値等を変換演算し、視点変更演算により取得されたVDを各画像、及び各CV領域画像に対応をつける。
視点変更画像生成部1026は、対応のついた前記各画像、及び各CV領域画像の画像を変更VDに従ってCV領域画像結合し、指定の画像フレーム生成し、出力する。
図23に示すように、例えば、中間フレーム指定部1027を設置して、フレーム間のCV値を等間隔に分割するように視点変更指定部1023に指示すれば、動画像の複数の中間フレームが生成できることになる。これで視点変更装置は中間フレーム生成装置となる。毎秒15fpsのフレームレートで撮影した画像を毎秒60fpsに変換できることになる。このように撮影時又は記録時の画像フレームを間引いて、再生時に中間フレームを生成することで基準のフレームレートを確保するような画像圧縮を行う画像フレーム圧縮解凍装置も可能である。
ただし、中間フレーム生成の目的においては、単にCV値を分割するだけでよいが、時間配分として利用してもよい。
なお、視点変更装置の出力は既に通常映像となっているので、通常の表示装置でよい。もちろん、上述した表示装置を用いることで実現できる。
また、視点変更装置の出力は、表示のためにはもはやVDは必要ないが、その他の応用に利用するためにはVDを付加して出力できるようにしておくのが好ましい。
次に、図24を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いたCV領域画像CG合成装置の一実施形態について説明する。
CV値を持つ画像とCGとの合成装置に関しては、本願発明者の提案による特開2005−122315号で既に示されている。
CV領域画像となったことで、CG合成はより単純化され、視点変更も可能となり、また、前後関係も簡単に決定できるようになった。
基本的には、CGを対象物認識されたCV領域画像として扱うことで、合成が可能となる。
以下、図24に示すCV領域画像CG合成装置1031の各部について説明する。
CV領域画像・VD取得部1032は、CV領域画像データベース装置1012の出力を、若しくは視点変更装置1021の出力を取り入れ、CV領域画像とVDとを分離して取得する。
視点変更装置を経由させれば、視点変更のCG合成が可能となる。そのときは視点変更表示装置を用いる。
VD演算部1035は、CGのVDを演算する。
CGはVD演算部で、CV値、RV値、JV値等を持つことになる。ここではCGのVDは、必ずしも画像と同種のVD値を持つ必要はなく、合成は可能である。一般にCGは既に対象物認識された画像と同じ意味を持つから、対象物CV領域画像として扱うのが好ましい。
視点座標はどちらもCV値で指定することになる。
視点座標統合部1036は、CV領域画像の視点座標とCGの視点座標を合致させて座標を統合する。視点座標がCV値で指定されたことで、CV領域画像とCGの視点は統合されたことになる。
視点座標を示すCV値とCGとCV領域画像のRV値の比較から、視点位置からの三次元方向と距離が明確になり、CV領域画像とCGとの前後関係は明確になる。
CV領域画像CG合成部1038は、視点が合致し、前後関係が決定された、前記CV領域画像と前記CGとを合成して、同一座標系で表現する。座標系は統合されているので、そのまま合成が可能である。
ここで、表示装置は、図24に示すように、視点変更表示装置1003を用いるのが好ましい。
次に、図25を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた三次元形状生成装置の一実施形態について説明する。
VD値は既に三次元データと言えるものであるが、通常使用される三次元座標を持ったポリゴンに変換するだけで、三次元形状は簡単に生成される。
図25に示す三次元形状生成装置1041では、まず、CV領域画像・VD取得部1042が、CV領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得する。
ポリゴン変換演算部1044は、CV領域画像に付加されたVD値から三次元ポリゴンに変換演算する。これは単純な変換の演算であり、CV値とTV値、若しくはRV値からリアルタイム変換も可能である。また、RV値そのものが既に三次元データを持っていると考えられるから、変換と言ってもRV値でポリゴンをそのまま表現することも可能である。
さらに、三次元形状生成部1045が、ポリゴン変換されたデータから三次元形状を生成する。
以上により、三次元形状が生成される。
図25に示すように、最適CV領域画像選択部1046は、上記のようにして取得した全体の三次元ポリゴンデータに関して、あるいは個別の各三次元ポリゴンデータに関して、既に取得しているCV領域画像(図25に示す湧きだし点基準CV領域画像前置装置1001又はCV領域画像・VD取得部1042参照)の中から、(1)最も解像度の高いCV領域画像、(2)又は最も仮想カメラ位置の近くで取得しているCV領域画像を、(3)又は最も仮想カメラからの視点方向の近いCV画像、(4)あるいは最も目的に適合したCV領域画像を、既に取得している視点の異なる全CV領域画像データから選択する。
次に、テクスチャー貼り付け部1047は、選択されたCV領域画像データの全三次元ポリゴン、又は三次元形状を構成する各三次元ポリゴンに、テスクチャーを貼り付ける。
表示部1048では、それを仮想カメラ位置を視点とした画像として表示する。
以上により、三次元形状にテクスチャーを貼り付けたより最適な画像を生成・表示することができる。
次に、図26を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた画角拡大装置の一実施形態について説明する。
画角を拡大するために、広角レンズを用いれば、カメラのCCDが同一である限り、カメラの角度の分解能、すなわち解像度は落ちてしまう。
そこで、画角の小さいカメラで高い解像度で撮影した画像を過去のフレームで補うことで画角を拡大して広角表示する。カメラ視点位置を決定し、そのカメラ視点を車両に沿って移動させ、過去の画像フレームを全て現在視点に視点変更する。視点変更された全ての画像は現在のカメラ視点で矛盾のない結合が可能となり、結合することで広角映像が取得できる。
ここでの特徴は、複数フレームを用いるので、画角を拡大してもほぼ元の精細さを保てると言うことである。過去の映像は時間遅れの映像であるから、そのままでは移動体が有ればその部分の結合は正しく結合しないが、移動体もTV値やRV値を持つことから、移動体部分の動きを含めた視点変更演算できるので、移動体に対しても矛盾無く結合できることになる。これがCV領域画像の優れた特徴である。
CV領域画像・VD取得部1052は、カメラを車載するなどして移動するカメラから撮影した画像の、前記CV領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得する。
拡大画角指定部1053は、画角拡大画像を観察する時の画角と視点方向を指定する。
仮想観察視点指定部1058は、画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する。
複数画像結合部1055は、視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのCV領域画像を結合する。常に指定された視点位置と視点方向で視点変更を行うことで、現時点の画像と過去の画像が矛盾なく結合できることになる。
カーナビとして車両に積載する場合には、現時点の視点ではなく、多少過去の視点位置に始点を指定することで、自車両の背後から自車両を含む視点で画枠拡大画像を表示できることになる。
繰り返し生成部1056は、時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのCV領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける。
画角拡大された画像は、既に結合されているので、通常の画像として扱うことができるので通常の表示装置で表示することができる。
次に、図27を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いたロックオン表示装置の一実施形態について説明する。
ロックオン表示とは同一対象物を画枠内の中心部に固定して表示し、カメラの移動によっても常に画枠の中心に表示することを言う。
CV画像によるロックオンは本願発明者の提案に係る特開2005−295495号に示されているが、カメラの移動範囲でしかロックオン表示ができなかった。
また、視点位置と経路を指定し、ロックオン表示が可能となる。
さらにCV画像では不可能であったが、CV領域画像では、各CV領域が移動ベクトルを持つので、容易にロックオン指定ができる。
ロックオンだけであれは、座標系分離までは必要なく、移動体分離までも必要ないが、後述するように、座標系分離や移動体抽出と組み合わせることでも、直接座標系単位で表示したり、移動体単位で表示して、その中でロックオン表示することが可能となる。
CV領域画像・VD取得部1062は、カメラを車載するなどして移動するカメラから撮影した画像の、CV領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得する。
対象物座標指定部1063は、ロックオンすべき対象物の座標を取得して指定する。指定する対象は静止物体でなくても、移動体でも良い。移動体に代表座標系をとることで移動体ロックオンを可能とする。
視点及び視点方向変換部1065は、指定された視点移動経路に沿って、CV領域画像の視点変更を求める。
そして、ロックオン表示部1066は、変換されたCV領域画像を指定経路に従って表示する。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いたロックオン表示装置1061が実現される。
次に、図28を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた座標系分離装置の一実施形態について説明する。
本発明に係る座標系分離装置は、動画像から、画像を構成する座標系毎にCV領域画像を分類する装置である。
画像解析において、座標系毎に分離したCV領域画像は様々な利用が考えられるが、その代表的な例は、後述する運動抽出・解析装置(図32参照)であり、また、本願発明者による特願2004−364223号の「座標系分離記録再生装置」がある。この「座標系分離記録再生装置」を実現するためには画像を構成する座標系を検出して分離し、それぞれを単独処理して、再度合成する必要があるが、その一つの手段が、本実施形態に示す装置による座標系分離である。
特に座標系別に分類されたCV領域画像は、座標系別に記録され、送信されることで画像圧縮が可能である。座標系分離装置を用いた画像圧縮そのものについては上記の特願2004−364223号に示されている。
CV領域画像・VD取得部1072は、車載されたカメラから撮影された動画像の出力を、又はCV領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得する。
座標系別VD処理部1073は、VDから座標系を分離し、座標系毎のCV領域画像とVDとに分類する。
各座標系VD近似処理部1074は、各座標系のVDを単純な関数に近似して単純化し、若しくは必要であれば、近似したVDとCV領域画像のVDとの関係を示す関数をも持ち続ける。
そこで、カメラの移動を示すCV値を単純化し、座標系毎に分離されたRV値を単純することで、VD値を単純することができる。VD値が単純かされることの映像における意味は、カメラの移動を直線近似し、映像内の移動体の動きを直線近似するということになる。複雑な運動をするカメラの動きや移動体の動きを、ある範囲内で直線近似することによりVDが単純化され、結果としてデータ量が軽くなることは勿論である。
各画像系別画像生成部1077は、各座標系単位で画像を生成する。
必要であれば、各座標系を再度合成して表示する各座標系合成画像生成部1078を備えることができる。
ここで、通信と記録における画像の圧縮は同じ意味を持つので特に区別をしない。
さらに、(3)対象物として移動物体を含む場合がある。この場合には、画像を適切な領域に分割し、移動体はこの領域の複数の集合となるように領域を定義する。それがCV領域であることは上述した通りである。ここで、それぞれの領域毎にカメラベクトル値を持たせることにより、適切なCV領域に分割された各座標系に対応した座標系毎に圧縮をするのが本発明の特徴である。なお、対象物認識技術を導入しない段階では、CV領域と移動する対象物は必ずしも一対一に対応しないが、その時でも対象物は複数のCV領域から構成されることになり、それは圧縮効率に関係するだけで矛盾は生じない。
すなわち、先ず動画像を最小単位の矩形のブロックに分割し、その最小単位のブロックを複数集めてCV領域を生成し、さらにそれらのCV領域を集めて座標系単位に分類し、それぞれの座標系単位で画像伝送し、あるいは画像記録し、それを受信再生側又は解凍再生側において、それらを座標系単位で画像を生成し、それを再構成することで一連の動画像を再構築することができる。
座標系を分離するために湧きだし点を利用することが本発明に係る湧きだし点基準CV領域画像装置であり、本願発明者による先の出願に係る座標系分離装置の一つの回答でもある(特願2004−364223号参照)。
以上により、湧きだし点基準CV領域画像前置装置を用いた座標系分離を行うことができる。
次に、図29を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた画像部分更新装置の一実施形態について説明する。
動画像の部分更新は、カメラ位置の異なる画像の更新であり、一般には不可能とされてきたが、本発明のCV領域画像による視点変更技術を用いると簡単に実現できる。
旧画像のカメラ視点に更新画像の視点を合致させ、更新部分を切り取り入れ替えることで実現される。動画の自由な切り貼りが可能となったことになる。
更新CV領域画像・VD取得部1082は、更新する画像情報を含む画像を、湧きだし点基準CV領域画像前置装置1001から出力して、CV領域画像とそのVDを取得する。
旧CV領域画像・VD取得部1083は、更新される旧画像情報を含む画像を、湧きだし点基準CV領域画像前置装置1001から出力して、CV領域画像とそのVDを取得する。
更新範囲指定部1084は、更新範囲を指定する。
更新CV領域視点変更部1086は、VD値を合致させることで、更新画像の視点を旧画像の視点に変更する。この部分が本装置の重要部分である。これは上述した湧きだし点基準CV領域画像前置装置を用いた視点変更装置1021そのものである(図23参照)。
更新部分CV領域画像生成部1087は、更新部分のCV領域画像を切り取って、旧CV領域画像に貼り付けて更新CV領域画像を生成する。
更新画像生成部1088は、最終的に領域結合して、更新画像を生成する。
表示装置1089は、CV領域画像を表示するには、上述したCV領域画像用のCV領域画像表示装置1002(図19参照)が必要となるが、通常画像として表示するには通常の表示装置でよいことになる。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いた画像部分更新装置1081が実現される。
次に、図30を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いたオルソ面生成装置の一実施形態について説明する。
同図に示すように、本実施形態のオルソ面生成装置1091は以下の各部を備える。
CV領域画像・VD取得部1092は、CV領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得する。
地図を生成するには鉛直方向が重要であり、鉛直が狂うと地図の精度に直接悪影響を及ぼすので、本実施形態では、鉛直は専用の機器とした。具体的には、高精度の鉛直系でCV領域画像の鉛直方向を補正し、次に、CV値の誤差が累積するので、数百メートル毎に高精度GPS等で絶対座標を取得する。
補正VD値演算部1094は、計測機器で取得した高精度の鉛直データと絶対座標データにより、取得したVD値を補正する。VD値のみから求める座標及び鉛直は誤差が累積するので、補正が必要となる。
この三次元面生成部1095は、上述した三次元形状生成装置1041(図25参照)そのものである。
CV領域画像は三次元画像であるから、二次元化するのは容易である。数百メートル単位で正しい座標と鉛直が分かっているから、単純にオルソ面に投影すればよい。
オルソ面投影部1096は、三次元化されたオルソ化対象のCV領域画像をオルソ面に投影する。
CV画像では、道路面のオルソ化しかできなかったが、CV領域画像では全ての現像物を含めて、オルソ面を生成できることになる。
また、高精度位置決め部1097においては、高精度GPSでなくても良い。画像内に絶対座標が既知である点がCV領域画像(CV画像でも良い)として写っていれば、その点の座標を画像内計測により取得して、若しくはRV値と比較して、画像内の一点で絶対座標を取得することが可能である。画像内に写っている三角点や測量の基準点がそのまま三次元基準点となる。
以上のような本実施形態のオルソ面生成装置1091によれば、CV領域画像を取得すれば、実測することなく、直接地図を生成できることになる。この産業的意味は大きい。
次に、図31を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた画像高解像度化装置の一実施形態について説明する。
CV領域画像からフレーム画像を生成して動画再生する場合に、各フレームの画像を構成する領域は複数存在するが、その中の最も高解像度の画像を選択して、各フレーム画像を構成することで、高解像度の動画像を生成することができる。
以下、図31に示す画像高解像度化装置1101の各部について説明する。
仮想カメラ移動経路指定部1103は、再生表示しようとする動画像を取得したカメラ移動経路、若しくは仮想カメラ移動経路をCV値で指定する。
CV領域画像は、上述した視点変更装置(図23参照)により、視点変更が自由にできるために、実際のカメラ経路以外のカメラ近傍の経路を設定できる。実際のカメラ経路と大きく離れてしまうと、情報の抜けが生じて画像が完成しないことになる。
高解像度化が目的であれば、カメラから最も近い位置のCV領域画像を利用するのが適している。また、画像中の色の精度や障害物排除等により、どのCV領域画像を選択するかは変わってくるが、ここでは解像度を最も高く取る目的で選択する。
カメラ位置が与えられれば、どのようなCV領域画像でも、その位置に視点変更することは既に視点変更装置で示したとおりである。
高解像度化画像結合部1106は、視点変更されたCV領域画像から各フレーム画像を生成する。VD表示装置(図19参照)であれば、そのまま表示可能であるが、視点変更されたままではまだCV領域画像なので、それを表示可能な通常画像に変化すれば通常の表示装置で観察できる。
表示部1107は、高解像度化された動画映像を表示する。単なる記録であれば表示装置への入力信号をそのまま記録すればよい。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いた画像高解像度化装置1101が実現される。
次に、図32を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた運動抽出・解析装置の一実施形態について説明する。
同図に示すように、本実施形態の運動抽出・解析装置1111は以下の各部を備える。
座標系分離装置1112は、CV領域画像データベース装置から出力される、若しくは前記視点変更装置から出力されるCV領域画像を、元となる動画像を構成する複数の座標系に分離する。この座標系分離装置は、上述した座標系分離装置1071(図28参照)そのものである。
運動領域VD解析部1114は、抽出された運動領域のVDから、対象となる運動領域の運動を6自由度で表す。
VDはそのまま6自由度で領域の運動を示していることから、運動解析には最適である。
もし必要が有れば、運動領域を指定の座標系に変換して示す指定座標表示部1115を備えることができる。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いた運動抽出・解析装置1111が実現される。
次に、図33を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いたCV領域画像検索装置の一実施形態について説明する。
同図に示すように、本実施形態のCV領域画像検索装置1121は以下の各部を備える。なお、重複するが、ここでCV領域画像とは常にハードCV領域画像・ソフトCV領域画像・対象物CV領域画像の全てを含む。
CV領域画像・VD取得部1122は、CV領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、CV領域画像とVDとを分離して取得する。
検索CV領域画像部品VD演算部1124は、基準座標系における前記部品のVDを演算で求める。一般にVDはカメラ位置を基準としているため、比較のためには全てカメラ位置に変換して比較するか、共通化された基準座標系での比較が求められる。
そこで、本実施形態では、図33に示すように、検索されるCV領域画像の基準座標系におけるVDと、検索部品のCV領域画像の基準座標系におけるVDとを比較し、一致度を求める基準座標VD比較部1125を備える。
検索CV領域画像出力部1126は、CV領域画像全体の中の一致度の高いCV領域画像を検索結果として出力する。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いたCV領域画像検索装置1121が実現される。
次に、図34を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いたノイズリダクション装置の一実施形態について説明する。
上述した視点変更装置(図23参照)により、動画像において、視点位置と姿勢を示すCV値により、隣接フレームを目的フレームの視点位置と姿勢とを完全に重ねることができる。すなわち、隣接する数フレームを同一のCV値に視点変更すれば、画像は完全に重ね合わせることができることになる。
一旦重なれば、複数の同一位置と姿勢の静止画と同じであり、加算平均でノイズを減少させることができる。加算平均は線形処理であるが、その他非線形処理を含めて、従来技術のノイズリダクションを行うことができる。ここでは特に線形処理と非線形処理の種別を問わない。
CV領域画像・VD取得部1132は、CV領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、CV領域画像とVDとを分離して取得する。
最適CV領域画像選択部1133は、目的フレーム画像に属するCV領域画像と、それに隣接するフレーム画像に属するCV領域画像とで、対応する複数のCV領域画像を選択する。
領域加算平均演算部1135は、目的フレームの視点に統一して変更したCV領域画像を、重ね合わせて加算平均する。
平均CV領域画像生成部1136は、加算平均によりノイズが減少した領域を目的フレームに属するCV領域画像として取得する。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いたノイズリダクション装置1131が実現される。
次に、図35を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた対象物認識装置の一実施形態について説明する。
上述したCV領域画像検索装置において、部品に属性を付加しておけば、検索結果は対象物の属性を示すことになり、対象物認識ができたことになる。
また、CV領域画像を固定し、部品を複数用意しておき、一致する部品を探すことで、目的CV領域画像を認識したことになる。
ここで一致度を評価するのはVD値のみではなく、色、テクスチャー等が比較の対象となる。
なお、本実施形態の対象物認識装置は、本願発明者による特開2000−295611号、国際公開WO02/01505号に提案されているPRM技術を利用している。
CV領域画像・VD取得部1142は、CV領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得する。
認識CV領域画像指定部1143は、認識対象となる部分をCV領域画像内に指定する。
対象が不明のために認識するとして、認識対象を固定して、属性の既知である複数の部品を次々比較して、一致する部品をさがし、認識するとしている。
一方、属性の分かっている部品(既に認識されてるCV領域画像の部品)が何処にあるかを探す場合は、上述したCV領域画像検索装置(図33参照)となる。
従って、データベースに無い部品は認識できないことになる。しかしこれは決して不合理ではなく、人間も又記憶のない対象物は認識できないのである。
部品送り出し部1145は、認識が完了するまで、次々部品を送り出す。
部品VD演算部1146は、比較される部品のVDを演算で求める。
基準座標VD比較部1147は、認識対象となるCV領域画像と、部品を基準座標系のVD値で比較する。これは同一座標系の同一地点からのVDで比較するためである。
これはVD値で比較するのであるが、最終的に比較はVD値だけではなく、VD値が接近していて特定できない場合は、他の要素、例えば色やテクスチャー等の属性で比較して一度の高い部品を選択することが望ましい。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いた対象物認識装置1141が実現される。
次に、図36を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた位置決め装置の一実施形態について説明する。
同図に示す本実施形態の位置決め装置1181は、GPSやIMUやジャイロに代わって、自分の位置を正確に取得する装置である。
以下、本実施形態に係る位置決め装置1181を構成する各部について説明する。
地図利用選択部1183は、取得したCV領域画像から、三次元地図として精度良く利用できる複数のCV領域画像部分を自動選択する。これは各CV領域のTV値を求める際のトラッキング時の相関値を参考にして、決めるか、再度自己相関及び相互相関により、相関値の大きいものを選択することができる。また、部分的に偏らずに全体に分散して選択することで、以下の位置決め時の精度が向上する。
手動で目的の画像を検索させることもできる。前もって分かっている対象物、例えば40km制限標識のみ選択的に検索して、三次元地図として利用することができる。
ただし、内部検索指定部は本装置を構成する絶対条件ではなく、無くても本装置の本質は失われない。
車両位置決定のためには、三次元座標が既知である方が都合がよいが、二次元点でも車両位置決定の精度に貢献する。認識済の対象物は既に三次元点で構成されるので、位置決定の精度にはきわめて大きく貢献する。
これはカーナビや自動案内装置を念頭に置いて、リアルタイム画像を取得することを前提としているが、もちろん記録映像でも同様に撮影時点のカメラ位置の決定が可能であることは言うまでもない。
リアルタイム画像前処理部1190は、取得したリアルタイム画像を、概略CV演算、GPSを用いた概略位置合わせ、画像明るさ調整、等の前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施す。
外部検索検出部1188は、外部検索指定部1185での検索指定により、二次元特徴点、三次元特徴領域、特徴対象物等を、前記リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する。
リアルタイム画像CV値取得部1189は、二次元特徴点、三次元特徴領域、特徴対象物等との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の前記二次元特徴点、三次元特徴領域、特徴対象物等から、リアルタイム画像のCV値を演算で求める。
リアルタイム画像内属性表示部1193は、特徴対象物が持っている車両運行に関係する属性をリアルタイム画像内に表示する。
三次元地図データベース部1192は、車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、特徴対象物等を、次回に利用する三次元地図として記録しておく。ここで、三次元地図データベースは次回以降の検索検出を容易にする目的で設置したものであり、必ずしも必要ではない。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いた位置決め装置1181が実現される。
次に、図37を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いた複合人工知能記憶装置の一実施形態について説明する。
同図に示す本実施形態の複合人工知能装置1152は、本願発明者による特開2005−322002号に提案されている複合信号知能装置であり、複数の人工知能装置が情報のやり取りをするように設計されていて、人工知能装置1171は、ホスト的役割を持ち、やや大きめのデータベースを持つように設計されている。
複合人工知能装置1152を構成する複数の人工知能装置1171・1153・1154において、自ら取得したカメラ映像、及び認識結果を湧きだし点基準CV領域画像前置装置にCV領域画像として記録する。
また、湧きだし点基準CV領域画像前置装置1151は、他の人工知能装置1153・1154で取得されたカメラ画像及び認識結果は受信装置1155を通して、情報を受信し、認識結果をCV領域画像として記録する。
送られた画像データはCV領域画像と成り、湧きだし点基準CV領域画像前置装置1151に記録される。
なお、各装置間の通信はWEB1170などの通信回線を経由して行われる。
同様に、他の人工知能装置1153・1154から対象物認識の依頼があれば、湧きだし点基準CV領域画像前置装置1151のCV領域画像内で対象物認識する対象物認識装置1157(図18も参照)に送られる。認識結果は記録すると同時に、問い合わせ先に送信される。
認識された対象物はその配置と隣接する対象物から抽象化装置1161で抽象化され、抽象概念認識装置1164により抽象概念として認識される。
具体的には、関連関数装置1160により、認識した対象物の部品の配列を数学的な線の結合として隣接関係を表現し、抽象概念認識装置1164ではその形状から危険であるとか、安全であるとかを判断する。
抽象概念地図DB装置1167は、抽象概念の地図であり、配列関係を示す線構成のN次元形状と、抽象概念認識結果を示すCVタグによって記録保存されている。
CVタグが増加していくにつれて、さらに抽象部品DB装置1168では複数のCVタグによって形成されるM次元形状により、抽象部品を生成することになる。例えば、「危険」を意味するCVタグと、「近い」を意味するCVタグから、「停止せよ」という判断を行動指示装置1163が生み出すことがこれに相当する。
自動運転は前記「安全」状況を確認しながら、走行することになる。
以上により、本発明の湧きだし点基準CV領域画像前置装置を用いた複合人工知能装置1152が実現される。
次に、図38を参照して、本発明の湧きだし点基準CV領域画像前置装置を用いたCV領域画像によるCVタグ入出力検索装置の一実施形態について説明する。
まず、本実施形態に係るCVタグ入出力検索装置1204の基本形であるALV(Active Link Vision)機能について説明する。
図38に示すように、まず、CVタグ入出力検索装置1204により管理しようとする現実の管理対象物1203がある。
管理対象物1203とは、道路管理目的であれば、路面、街路灯、ガードレール、電柱、道路表示、標識、行き先表示などであり、カーナビゲーション目的であれば信号機、道路表示、車線、標識、行き先表示板、障害物、他車両、等である。
CV領域画像記録部1205は、前もって、管理対象物1203及び周辺を撮影して記録し、CV値を付加したCV領域画像から生成したCV領域データベース装置1012の出力を一時的に保持する。
視点変更装置1206は、画像取得時のカメラ位置近傍への視点変更画像を生成する。この視点変更装置1206は、上述した視点変更装置(図23参照)を用いることで、CV領域画像の視点を変更し、見やすい位置に視点を設定することができる。CV領域画像を用いることで視点変更を可能としているという点で視点変更装置は重要である。
CVタグ表示装置1207は、CV値を付加したCV領域画像を表示し、動画として画像フレームが移動しても、画像とCVタグの三次元的位置関係を保持したまま、CVタグを表示する。
動画像をCV演算することで三次元的に扱うことができる。CV領域画像とCGとの合成については本願発明者による特開2005−122315号に詳しく示されている。
具体的には、CVタグ入力装置1208は、CV領域画像中の管理対象物1203に直接CVタグを入力する。CV領域画像地図を用いて管理対象物1203を三次元計測し、CVタグの三次元座標を管理対象物1203の三次元座標と合致させるか、或いはCVタグが管理対象物1203を隠さないように、管理対象物1203の近傍に設置することでCVタグの座標設定は完了する。次に、CVタグを開封し、リンクしたファイルに管理対象物1203に関連する画像やテキストデータ等の諸データを書き込む。このことでCVタグのデータ入力は完了する。
CVタグを開封して、リンクしたファイルに管理対象物1203に関する画像やテキストデータ等の諸データを書き込む作業をすることで、直接CVタグデータベース装置1210に書き込むことなく、CVタグ関連の前記諸データは自動的にCVタグデータベース装置1210に記録され、下記検索や選択により呼び出される。
CV領域画像上で管理対象物1203を特定するには、自動検索によるか、画像上の管理対象物1203を直接マウスでクリックすることで完了する。
CVタグ対象物管理装置1212は、CVタグ表示装置1207により、検索装置でCVタグを検索することで、管理対象物1203を自動的に特定することができ、若しくは表示されたCV領域画像中の管理対象物1203をCV領域画像の中にタッチスクリーンにタッチし、又はマウス等でCVタグをクリックして、CVタグを選択することで、CVタグデータベース装置1210からCVタグに対応する管理対象物1203のデータを読み出して管理する。
以下、カーナビゲーション目的の「湧きだし点基準CV領域画像前置装置を用いたCVタグ入出力検索装置」を説明する。
この湧きだし点基準CV領域画像前置装置を用いたCVタグ入出力検索装置1204は次世代のカーナビゲーションを対象として構成される。
積載移動手段1202にはビデオカメラを積載し、リアルタイム画像を取得し、リアルタイム画像にCV演算を施し、リアルタイムCV領域画像を取得するリアルタイムCV領域画像取得装置(1220)を備える。リアルタイム画像は単なるモニタとしてのみならず、直接CV演算するか、又はCV領域画像地図との位置あわせにより、CV値を取得することができるので、本発明において様々に利用される。
例えば、カーナビ仕様で説明すれば、40km速度制限と文字検索をすれば、CV領域画像上にその標識が明るく表示される。また、緯度経度を数字で打ち込んで検索すれば、その緯度経度の所に画像が移動して、その地点を矢印で示す。また、時速40km制限と検索すれば40km制限の道路の側帯部分がフラッシュして、その範囲を示す。等の例が上げられる。
ただし、未登録の管理対象物1203の検索は対象物認識の技術が必要となり、検索には時間が掛かるので、前もって入力してある管理対象物1203に関する諸データから検索するのが適している。
登録されていれば当然であるが、登録されていない管理対象物1203に対しても、画像の中から検索する画像検索、対象物認識技術により、検索することができる。例えば、交通標識で一方通行の標識の画像を用意しておき、この一方通行の標識の画像で検索すると、画像中の一方通行の標識を全て検索して、その位置を示すことができる。
座標検索はCV領域画像が三次元座標を持つことから、動画であっても座標を特定して検索することが可能となる。
上述したように、CVタグ自動検索装置1211は、CV領域画像中に管理対象物を示すCVタグそのものを、若しくはCV領域画像中の管理対象物1203の画像そのものを、色の変化やフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのCV領域画像上に三次元的に矛盾無く呈示する。
また、本実施形態では、外部データベース装置1217を備え、内部のCV領域画像記録部1205は、CVタグ入出力検索装置1204の外側にあるCV領域画像地図データベース部1218と通信をする。そのためには、DVD、ハードディスク等の記録媒体、若しくはWEB等の通信により、管理地域1201及びその周辺のCV領域画像地図を外部から取得する外部CV領域画像地図データベース部1218を備える。
なお、端末のCVタグ入出力検索装置1204で取得したデータを外部データベース装置1217に送るか否かは、端末側の判断による。
また、移動体には、移動体の絶対座標を取得するGPS位置決め装置1215と、取得したリアルタイムCV領域画像とCV領域画像地図から、位置あわせをして取得した新旧映像更新装置1216とを保持する移動体位置決め手段1214を備える。新旧映像更新装置1216は、本願発明者による特開2005−303952号に示されている。
走行目的とは、ドライブ、道路路面管理、標識管理、路面性状調査、などであり、その目的によって表示されるCVタグは異なるので、目的にあったCVタグを自動表示するようにする。
GPSにより現在位置を取得して、又は、上記の特開2005−303952号に示す新旧映像更新装置1216により、車両の現在地点を絶対座標で取得して、その地点の画像を表示する。
ここで、本実施形態で示した各装置及び手段は全てを備える必要はなく、その一部装置と一部手段を選択的に備えることが好ましい。
[動画ロックオン表示]
動画ロックオン表示は、選択及び検索した管理対象物1203を、管理対象物を画像の決められた位置に固定して表示する機能である。
ロックオン表示は、ロックオンすべき任意の対象物を画像内に指定すると、CV演算で得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常に画枠の中心位置(又は任意の所定位置)に表示されるように、画像表示又はカメラ(カメラが固定される固定物)の位置及び姿勢を制御することができる。
あるいは、目的対象物を画像内の指定位置に常に表示するようにカメラを制御することができる。
このロックオン機能により、CVタグ、若しくは管理対象物をCV領域画像地図上で直接指示すれば、選択した管理対象物をロックオンで画像中央に常に表示することができるので、視認および操作が容易となる。
複数CV映像表示は、CV領域画像地図は縮尺の異なる複数のCV領域画像地図を同期表示し、又は非同期で表示し、しかも座標系を統一して、同じCVタグを複数のCV領域画像地図上に表示する機能である。
なお、上述したように、CVタグはCGアイコンにより構成される場合と、実写アイコンにより構成される場合がある。また、アイコン機能を持たない単なるCGを表示することができることは勿論である。
地図同期表示は、CV領域画像地図と二次元地図を同時に表示し、二次元地図上にもCVタグを表示する機能である。
CVタグはもともと三次元座標を持つので、二次元化することは容易に行える。
リアルタイムCV領域画像表示は、選択及び検索した管理対象物1203を、CV領域画像地図と同じように扱い、リアルタイムCV領域画像にCVタグを表示する機能である。これは現時点の現実映像であり最もリアリティーがある表示となる。なお、リアルタイム演算となるために、処理には一定の制限があり得る。
現実重複表示は、選択及び検索した管理対象物1203を、CV領域画像上に表示せずに、ヘッドマウント、又はハーフミラー等により、移動する車両等から直接観察する現実世界の管理対象物に重複して合成した、CVタグや案内矢印CG、看板CG等を示す機能である。
音声案内表示は、選択及び検索した管理対象物1203に関するCVタグの内容を、音声で案内表示する機能である。これは、特にカーナビゲーションシステムには必要な機能となる。
なお、以上のような各機能は、目的に応じてすべてを行わせることもできるが、少なくともいずれか一部の機能を有するものであってもよい。
[実施例1]
以下、本発明の湧きだし点基準CV領域画像前置装置の実施例1として、「ハードCV領域画像をソフトCV領域画像に変換して、対象物CV領域画像結合画像を生成する前置装置」について説明する。
上述したように、上記実施形態では、ハードCV領域画像生成部分とソフトCV領域画像生成部分とが、対等な位置づけとして明確に区別されている。
ところが以下のソフト領域生成部分は、ハードCV領域画像生成部分とソフトCV領域画像生成部分とが明確に区別されていない。
上記の実施形態では、この二者の区別を明確にしているが、実際にソフトCV領域画像生成部分を設計する場合には、その内部にハードCV領域画像生成部分を含む以下の方が実際的である。
本発明には矛盾はしないので、以下の基本設計と実施例では、ソフトCV領域画像生成部分の内部にハードCV領域画像生成部分を含むように説明する。
結果として、実施形態では二者を明確に区別し、実際に則して、以下の基本設計と実施例では、ハード領域画像生成は、ソフト領域画像の一部に含まれる形で説明する。
本発明の中心部分である、「ハードCV領域画像をソフトCV領域画像に変換して、対象物CV領域画像結合画像を生成する部分」に特化して詳細に示す。
[基本形]
ビデオカメラ等で動画映像を取得し、画像圧縮、画像伝送、画像記録、視点移動、画像三次元化、等の画像処理において必要となる画像のソフトCV領域画像分割を画像に依存して効率よく行う基本形を示す。
従来技術の画像分割は画像を画像の内容にはよらず、単に機械的に8*8等の矩形に分割して処理するのが常であった。
本発明においては、ブロック分割においてさえも、単純なブロックではなく、画像を取得したカメラの座標と姿勢を6自由度で表すCV値と、二次元画像でありなから、一次元にまで単純化処理されたTV値(追跡データ)を付加することで、これまで不可能であった画像処理を可能とする。さらに、ブロックを画像に固有の同一のテクスチャー(ソフトCV領域画像)で束ねてソフトCV領域画像のもつ三次元位置と姿勢を表すRV値で整理することで画像処理はより進化することになる。
最終的に画像はソフトCV領域画像の結合を示すJV値でまとめられ、対象物単位で表現され、CV値、RV値、JV値とで表現される。
すなわち画像は複数の対象物から成り、その対象物は複数のソフトCV領域画像から成るが、対象物の個々の部分のソフトCV領域画像の動きまで三次元的に解析されることになる。
カメラ移動による動画像、又は相対的に対象物とカメラの位置関係が変化する場合には、着目する座標系おいて、湧きだし点から画像が湧き出してくるように見える。これは2画像間で決まる二次元画像上の一点であり、CV値から簡単に求められる。カメラが移動する画像には必ず湧きだし点と吸い込み点が存在する。湧きだし点から画像が湧き出して吸い込み点に消えていくように見える。これは2画像間で決まる二次元画像上の一点であり、CV値から簡単に求められる。CV値から回転揺れ姿勢を表す3自由度を選択し、画像に逆回転を与えることで、画像は揺れ止め画像となる。この揺れ止め画像の画像間ベクトルは湧きだし点方向を示している。またマイナス方向は吸い込み点を示している。すなわちCV値は湧きだし点方向と吸い込み点の情報を持っている。
追跡において、着目する座標系においては、画像の各点は湧きだし点から大円上を移動して吸い込み点に至る放射状に出る線上を移動する。
(特開2005−295495号、特開2005−122315号参照)
そこで、例えば静止座標系を代表する座標系とすれば、静止座標系に固定された全ての対象物は湧きだし点から湧き出し、吸い込み点に吸い込まれていくように見えるので、追跡はそのライン上を追跡すればよい。
一般に、輪郭線抽出によって生成されるソフトCV領域画像と、ハードCV領域画像(ブロック)分割によって生成される一次ソフトCV領域画像とは検出方法が異なるので検出された範囲は異なる。
両者によるソフトCV領域画像の定義には、幾つか考えられるが、大きくは以下の3種類考えられる。
(1)両者どちらかを満たせばソフトCV領域画像とする。
(2)どちらか小さい範囲をソフトCV領域画像とする。
(3)どちらか大きい範囲をソフトCV領域画像とする。
輪郭線抽出により、境界線抽出によるソフトCV領域画像生成の補助をする。前記微少ソフトCV領域画像を生成せずに、輪郭抽出により直接ソフトCV領域画像の輪郭を生成し、前記一次ソフトCV領域画像を生成し、若しくは既に生成された一次ソフトCV領域画像を補う。
特に、輪郭線抽出においては、ソフトCV領域画像境界部分に関して詳細情報を取得し、ソフトCV領域画像分離に貢献する。
ここでは特に一次ソフトCV領域画像生成におけるソフトCV領域画像を基準とする都合上、輪郭線抽出を補助的に表現してあるが、両者の立場は対等であり、輪郭線抽出によってソフトCV領域画像抽出することも十分可能である。
輪郭線抽出したのち輪郭線の種類を決定して認識し、ソフトCV領域画像生成の補助をする。輪郭線認識により、輪郭線の抜けを補正し、輪郭線をより完全に生成することで、ソフトCV領域画像抽出をより完全に行おうとしている。
一般に、輪郭線と境界線とは一致する部分と一致しない部分があり、異なる。ただし、ソフトCV領域画像はそのどちらでも、又は中間でも定義できる。
ここでも同様に、特に一次ソフトCV領域画像生成におけるソフトCV領域画像を基準とする都合上、輪郭線認識を補助的に表現してあるが、両者の立場は対等であり、輪郭線抽出によってソフトCV領域画像抽出することも十分可能である。
ゴム紐結合によれば、ハードCV領域画像がその配列順番を変えないように、柔軟に結合することで、トラッキング可能なハードCV領域画像によって、トラッキング不可能なハードCV領域画像にもトラッキングデータを与えることができる。
ゴム紐結合条件とは、隣接するハードCV領域画像の各ブロックが、ゴム紐結合において、結合状態にあるか、切断状況にあるか、の区別を示している。
ゴム紐の切断は、隣接するハードCV領域画像に連続性がなく、元々の配置において三次元的に独立している場合には、ゴム紐結合は誤差を発生されるので、ゴム紐結合を切断しなければならない。
切断の方法は、ゴム紐結合により得られたトラッキングデータを正しいものとして、隣接画像を生成し、隣接画像との差分をとり、その差分の大きいところに誤差が集中していると判断することができる。誤差の集中している部分のゴム紐を切断することで、ゴム紐切断が可能となり、その部分のトラッキングデータを再度演算することで、全体として正しいトラッキングデータを主とすることができる。
上述した各実施形態を組み合わせて、「ハードCV領域画像をソフトCV領域画像に変換して、対象物CV領域画像結合画像を生成する部分」のシステムを構築する場合の原理とその説明を以下に行う。
上述したように、上記各実施形態では、ハードCV領域画像とソフトCV領域画像を明確に分離して記述しているが、実際にソフトCV領域画像分離画像のシステムを構築する場合には、そのためのハードCV領域画像分離生成画像を明確に分離せずに、ソフトCV領域画像生成の中でハードCV領域画像を扱うことになる。
以下はソフトCV領域画像生成の一部としてハードCV領域画像生成が位置づけられている。ただし、この位置づけにより各実施形態の構成が統合されるのみであり、矛盾は存在しない。
同図に示す基本設計1は、画像取得装置501、一次ソフトCV領域画像生成装置502、二次ソフトCV領域画像生成装置503、ソフトCV領域画像結合装置504からなる。
この基本設計1にCV値取得装置505を付加した基本設計2を図40に示す。基本設計2は、基本設計1にCV値取得装置(CV演算装置等)を追加している。
CV演算については、経過の過程で演算することになるが、最初にCV演算を済ませ、画像を代表する座標系に関するCV値を持っていることはその後に処理に有益である。
輪郭線抽出装置506と輪郭線認識装置507とを追加して、視覚的な輪郭を明確にすることと、輪郭線を認識し、輪郭線が接するコーナーを検出し、対象物を認識する機能を追加する。また、得られた輪郭線と一次ソフトCV領域画像又は二次ソフトCV領域画像として得られたソフトCV領域画像の境界線と比較し、境界線情報として利用することが可能である。
[一次ソフトCV領域画像生成装置]
図42に示すように、まず、一次領域生成装置502では、ハードCV領域画像(ブロック)分割部521によって、先ず基準とする画像をハードCV領域画像(ブロック)に分割する。
ここでは、図43に示すように、CV値を用いて求めた湧きだし点201からの放射状の線群204と、画像上の縦線群203とによって作られるハードCV領域画像(ブロック)202で画像を分割部する。
生成された画像ハードCV領域画像(ブロック)のすべてに関して、ハードCV領域画像(ブロック)分類部によって各ハードCV領域画像(ブロック)は自己相関演算を行い、特徴ハードCV領域画像(ブロック)となり得るハードCV領域画像(ブロック)が抽出される。
特徴ハードCV領域画像(ブロック)はそのまま隣接する他のフレームに亘り追跡することが可能であり、この特徴ハードCV領域画像(ブロック)を追跡してCV演算を行うことができる。また特徴ハードCV領域画像(ブロック)となる画像ハードCV領域画像(ブロック)は、さらに境界線の一部となり得るハードCV領域画像(ブロック)205と、孤立した特徴ハードCV領域画像(ブロック)206となる特徴ハードCV領域画像(ブロック)とに分類される。
この特徴ハードCV領域画像(ブロック),境界点,ソフトCV領域画像点を三種の点要素と呼ぶ。
図44(a)は、画像をハードCV領域画像(ブロック)に分割した場合の一例を示す。図44(b)は、各ハードCV領域画像(ブロック)を自己相関により、3種類のハードCV領域画像(ブロック)に分類した状況を示す。
図45(a)は、特徴ハードCV領域画像(ブロック)を境界線上にある場合と孤立した場合をさらに分類して示した。図45(b)は、分類を基準画像に重ねて示した。
図46におけるハードCV領域画像(ブロック)は、図42のソフトCV領域画像ゴム紐結合部524において、ゴム紐結合され、図47に示すように、それぞれのハードCV領域画像(ブロック)はその配列順番を変えずに自由に距離関係を変更できるように結合される。
そして、各画像ハードCV領域画像(ブロック)は、湧きだし点から放射状に伸びる線状で結合され、その順番が固定され、かつ、距離関係が自由となるように結合される。
なお、画像ハードCV領域画像(ブロック)は単純に長方形のハードCV領域画像(ブロック)に分割することでも、特徴ハードCV領域画像(ブロック)、境界線上拘束ハードCV領域画像(ブロック)、ソフトCV領域画像内ハードCV領域画像(ブロック)分類は可能である。
もし、画像ハードCV領域画像(ブロック)分割が湧きだし点に依らずに、長方形のような単純分割である場合には、ゴム紐結合はハードCV領域画像(ブロック)の順番を変えずに、垂直水平両方向へのゴム紐結合が必要となる。これは次のソフトCV領域画像追跡処理で大きな効果を発揮する。
以上のように、一次ソフトCV領域画像生成装置では、機械的に分割した画像ハードCV領域画像(ブロック)が、画像の中の対象物の形状に則したソフトCV領域画像に分割されたことを意味する。
図42に示すように、二次領域生成装置503のソフトCV領域画像追跡部531は、ソフトCV領域画像の形状を柔軟に保ったまま、既に特徴ハードCV領域画像(ブロック)及び境界線上拘束ハードCV領域画像(ブロック)は一次ソフトCV領域画像として扱われ、湧き出し点方向に、隣接する複数のフレームの中に追跡することで、ソフトCV領域画像追跡が可能となる。
ソフトCV領域画像形成が不完全なところは、輪郭線検出装置506及び輪郭認識装置507からの追加情報でより完全な輪郭を形成できる。
実際には特徴ハードCV領域画像(ブロック)を追跡することになるが、ゴム紐結合により、ソフトCV領域画像全体か伸び縮みしながら追跡され、対応ソフトCV領域画像が求められる。ここで、ゴム紐はソフトCV領域画像境界で切断され易く結合させている。強い力が掛かればゴム紐はソフトCV領域画像境界線で切断される。
また、ソフトCV領域画像境界の一部に大きな変更が成されるような作用が生じた場合には、ゴム紐がソフトCV領域画像境界で切断され、次にソフトCV領域画像としてではなく、元の個々の画像ハードCV領域画像(ブロック)に戻って再追跡することで、画像全体をもれなく追跡処理を行う。
結果として、ゴム紐で結合されたままのソフトCV領域画像群とゴム紐が切断されたソフトCV領域画像群とから画像が構成されることになる。
そこで、補正ソフトCV領域画像検出部532において、追跡誤差を減少するように、基準画像のソフトCV領域画像追跡結果から隣接するフレームの順番で画像を進行させた適切な比較フレームにまで画像を進行させ、基準フレームのソフトCV領域画像とトラッキングデータ(TV値)(追跡データ)から前記比較フレームに対応する画像を生成し、前記比較フレームと比較する。
トラッキングデータ(TV値)(追跡データ)が正しければ、二者は完全に一致するが、トラッキングデータ(TV値)(追跡データ)に誤差が含まれれば、ソフトCV領域画像にずれが生じる。そこでその差分を取るなどして、誤差を検出し、誤差の発生するソフトCV領域画像を誤差範囲として決定する。
二次ソフトCV領域画像決定部534においては、上記のようにして求められたトラッキングデータ(TV値)(追跡データ)をもつ二次ソフトCV領域画像として次の行程に出力する。
まず、画像取得装置501において、動画像取得部511は、ビデオカメラ等で動画像を取得して記録する。この場合広角画像を必要とし、狭角画像の場合は、一体化された狭角レンズを持つカメラによる画像と共に広角レンズを付けた画像とを同時に取得する。
次に、基準画像指定部512は、得られた動画像の中から以後の処理の基準となる静止画を基準画像として選択する。これはとりあえず最初の画像を基準画像とする。
次に、CV画像変換部552は、各画像フレームについて、取得されたCV値を付加したCV画像を生成する。
さらに、追跡範囲指定部553が、後の処理を効率的に行うために画像各点の追跡方向と範囲を制限する。
ハードCV領域画像(ブロック)は縦11ピクセル、横11ピクセル程度とする。
ハードCV領域画像(ブロック)は自己相関を演算し、取得された二次元の相関値において二次元相関値の内部に独立したピークを持つものを特徴ハードCV領域画像(ブロック)とし、ピークは有るが二次元相関値の縁に偏っているハードCV領域画像(ブロック)については、境界線上拘束ハードCV領域画像(ブロック)とし、差異のあるピークを持たないハードCV領域画像(ブロック)はソフトCV領域画像内ハードCV領域画像(ブロック)とし、その他ノイズの大きいハードCV領域画像(ブロック)については未特定ハードCV領域画像(ブロック)として分類する。
さらに、ソフトCV領域画像ゴム紐結合部524が、各ハードCV領域画像(ブロック)をゴム紐結合で処理する。各ハードCV領域画像(ブロック)を柔軟に結合し、その配列順番を変更しないで距離関係に多少の変更のゆとりを与えた結合方法をゴム紐結合という。
ここまでは画像をハードCV領域画像(ブロック)化し、そのソフトCV領域画像を決めただけであり二次元情報しか持たない。
次いで、補正ソフトCV領域画像検出部532が、追跡したソフトCV領域画像に対応する隣接フレームのソフトCV領域画像及びその近傍における誤差を検出し、その誤差の発生範囲を求める。誤差の発生範囲に入る全ハードCV領域画像(ブロック)について、再度ハードCV領域画像(ブロック)化し、若しくは基本画像を変更して前記範囲についてハードCV領域画像(ブロック)化する。
誤差の発生部分の範囲はゴム紐結合を解除して、各ハードCV領域画像(ブロック)単位で追跡をする。
再度追跡により誤差の発生範囲を再度詳細に追跡して、誤差の少ないソフトCV領域画像が生成される。このようにすることで画像全体のハードCV領域画像(ブロック)が何らかのソフトCV領域画像に所属し、何らかの種類別に分類されることになる。
ソフトCV領域画像は境界線を含み、境界線は隣接するソフトCV領域画像と共有することになる。そこで一つのソフトCV領域画像には複数の特徴ハードCV領域画像(ブロック)を持つことから、各ソフトCV領域画像は複数のトラッキングデータ(TV値)(追跡データ)を持つことになる。
また、未特定ハードCV領域画像(ブロック)のみで特徴ハードCV領域画像(ブロック)画を持たないソフトCV領域画像であっても、ソフトCV領域画像自体が一つのトラッキングデータ(TV値)(追跡データ)を持つことになる。
これらトラッキングデータ(TV値)(追跡データ)をもつソフトCV領域画像を二次ソフトCV領域画像と定義する。
これら二次ソフトCV領域画像を二次領域決定部534で決定する。
ノイズ消去には線形処理である加算平均処理以外にも、非線形処理として多数決テクスチャー決定法を提案できる。この方法はテクスチャーを平均で決めるのではなく、複数フレームで最も共通性のあるソフトCV領域画像のテクスチャーを共通のテクスチャーとする方法である。或いは複数の適正テクスチャーを選択し、その加算平均をとることができる。このとき、輪郭線は一致しているのでぼけることはない。
ここで、フレームに対してのカメラ位置を求めることをCV演算と定義したが、各フレーム内の各二次ソフトCV領域画像はやはり独自のCV値を持つことになる。しかし一般にフレームを代表する静止座標であればCV値は同一であるが、移動する物体についてはその移動する物体を構成する画像のソフトCV領域画像がそれぞれ独自のCV値と特徴ハードCV領域画像(ブロック)との関係を持つことになる。最終的には、フレームを撮影したカメラとソフトCV領域画像を撮影したカメラは同一カメラなので、代表する座標系に関してはカメラ位置を示すCV値は一致することになる。
ソフトCV領域画像が基準画像のフレームが代表している座標系に所属していない場合、例えば人間が静止座標中を歩いて移動する動きのように、人間の各部分が別々移動して形としては統合されている対象を二次ソフトCV領域画像に分割して、それぞれのCV値が一致する各特徴ハードCV領域画像(ブロック)を求めることで、人間の形状の時間変化を追ってその画像を表現できることになる。
さらに、結合ソフトCV領域画像生成部543が、変更CV演算により取得された二次ソフトCV領域画像を適切に結合して画像を再構成する。
また、ベクトル細線化部562が、輪郭線を方向別直線、曲線、等に分類しながら適切に分割し、それぞれを細線化処理し、ベクトル化する。
そこで、その切れ切れの端点において、輪郭線のベクトルの線上を延長し、その延長線上にはさらに輪郭線がある可能性が高いという予想の下に、閾値を下げて、再度エッジ検出を行う。また動画であることから、同じ処理を他の隣接するフレームにおいても行うことで、エッジ検出の確率を上げ、その結果としてより完全な輪郭線を検出できる。
このために、可変閾値処理部563により輪郭線検出閾値を下げる処理を行う。
さらに、輪郭線延長部564において、閾値を下げた端点の延長上で輪郭線を再検出し、対象物の輪郭線を延長させ、延長輪郭線を取得する。
一方、ソフトCV領域画像境界線は画像処理上の特徴ハードCV領域画像(ブロック)の存在する場所であり、座標に関する演算上重要な場所である。座標として保証されているのは輪郭線ではなく、境界線である。
対応する各要素を部品として用意し、それらと対比して、対応する要素を決定し、認識する。これはPRMとして本発明者が特許出願し、一部特許化されている。
(特開2000−295611号、国際公開WO02/01505号参照)
要素認識部571では、部品との比較により、要素の認識がなされるか、それら要素は対象物の一要素であることから、要素の複合体である対象物の認識が可能となる。
また、要素追跡部572は、各要素を隣接するフレームに追跡して、対応点を確認し、追跡データを取得する。
次いで、隣接輪郭線補正部573が、追跡により、誤差の発生する範囲を求め、その範囲において、誤差の顕著な画像フレームを基準画像として、再度輪郭線検出から再演算することで精度を高め、対象物の輪郭線をより完成に近づける。
さらに、輪郭線規定部574が、取得されたより精度の高められた輪郭線により、一つの輪郭線に囲まれた範囲を仮に規定する。
また、認識が済んでいるので、一つの対象物に属するソフトCV領域画像のみを分離することが可能となる。
PRMにより、画像中の対象物の幾つかが対象物認識まで進み、その三次元位置も決定されることになる。ソフトCV領域画像の三次元位置の演算は変更CV演算部(41)と重複するが、座標取得手段を複数持つことは一般的に好都合なことである。
対象物認識された場合は、画像中の対象物を自動的にCGと入れ替えることができる。実際そのような需要は多い。
例えば、道路走行画像中の道路標識、看板、路面標示、等を自動的に認識し、自動的にCG化し、分類し、属性を与え、画像中に自動表示することは既に人工知能応用の範疇にはいるが、道路管理上きわめて有効である。
以上、ソフトCV領域画像分割画像生成装置の実施例1を示した。
以下、本発明の湧きだし点基準CV領域画像前置装置の実施例2として、カーナビゲーションを目的とした画像データベースを念頭に置き、湧きだし点基準CV領域画像前置装置の最も単純化された実施例として、「ハードCV領域画像生成装置」と、「ハードCV領域画像生成装を用いた座標系分離装置」の実施例を示す。
この実施例2は、本願発明者による特願2004−364223号の「座標系分離記録再生装置」に対しても、一つの解決手段を追加することになる。
(1)処理の過程で必要となる揺れ止め画像の揺れを復元可能であるが、わざわざ再度復元する必要はないことである。揺れ止め画像の方が視覚的に疲労しないとから、揺れ止め画像をそのまま用いることとする。
(2)全周カメラを積載した車両から全周動画像を取得し、座標系分離をする過程で、代表座標系を静止座標系とする。
(3)その時に、座標系分離された静止座標系以外は破棄してもまったく問題がないばかりでなく、静止座標系以外の対象物は走行する車両等であり、カーナビゲーションには不必要なものであることから、代表座標系のみを座標系分離し、他の座標系として取得された信号は全てノイズとして破棄される。
[詳細説明]
実施例を記載するに先立ち、理解を深めるために、座標系分離装置における湧きだし点について、図48〜図51を参照して詳しく説明する。
移動するカメラの三次元カメラ位置と姿勢の変位をカメラ光学中心(カメラ位置を正確に表現すれはカメラ光学中心である)を原点とする三次元座標で表せば、図48の●印となり、その移動を同図中の符号101〜111に示す。
カメラ位置101とカメラ位置111は直線で繋いであり、従って101と111とを直線で結んで近似されたカメラの移動ベクトルにおけるカメラ位置の変位は進行方向のみであり、他の方向が0で有ることは明かであり、また一般に、102〜110までのカメラ位置はこの近似直線から多少ずれている。
この時、フレーム画像間の「●」印を結合している矢印「→」が前記カメラ座標系から見た湧きだし点方向を示していることになる。この時、図49に示すように、画像の各画素は湧きだし点から放射状に湧き出して行くように観察される。
ところで、その時の湧きだし点の移動は画像上では二次元となり、図50に示すように、101と111の画像上の点を直線で結ぶように揺れ止めした画像では、湧きだし点は画像内を、矢印「→」のように移動する。
カメラの進行方向は時々刻々変化するので、湧き出し点はどの隣接するフレーム間でも定義でき、またフレームを跨いでも定義できる。ここでは101と111のカメラ位置を基準として、101と他のフレーム間で定義できる湧きだし点を101と111で決めた基準湧きだし点からのズレとして表現している。
図52(及び図53)に具体的例を示す。
ここで対象となる動画の元画像は、同図中の符号301、302、・・・・・307、・・・・と連続する連続静止画から構成される動画である。
この元画像をCV演算して、各フレームに対応させたCV画像により、揺れ止めCV画像を生成する。
CV演算、及びCV演算結果のCV値、そしてCV値を用いた揺れ止め画像に関しては、本願発明者による特開2005−295495に示されている。
揺れ止めされた画像により、元画像の最初のフレームを基準画像として扱い、基準画像を静止画伝送装置341で伝送し、受信側でも基準画像361として扱う。
また、差分検出装置352で元画像が途中で不連続に大きく変化したと判断されたときには、変化後の最初のフレーム317を静止画伝送し、新たな基準画像367と再設定する。または、直前の画像との差分を送り、基準画像とすることもできる。
図54に示す、ハード領域画像分割生成装置8により、全画素追跡することで、各フレーム画像の追跡データとCV値を持つ324を取得する。
ここで、図52の324は311から314までの総合追跡量である。同図に示すように、追跡可能な範囲の最大追跡フレーム数となるように314を選択することが望ましい。
実際問題としては、カーナビゲーション用の道路画像を想定した場合、500〜1000フレーム程度の基準移動ライン設定が可能と考えられる。
受信側での画像再構築のためには1セグメント区間を近似した湧きだし点位置が必要となるが、それは前記、基準画像の最終フレーム画像の座標と位置関係を示すCV値から直ぐに取得できるので送信の必要はない。
ただし、受信側で演算処理時間短縮のためには前記基準移動ラインを示す湧きだし点データを持つことは有効である。
(1)基準画像(311、316・・・・・)
(2)基準画像と次の基準画像間のCV値、各CV領域画像のTV値。
(3)セグメント区間の最終画像における生成画像と実画像との差分画像。
(4)基準画像に含まれないCV領域画像としての差分画像のCV領域のTV値。
ここではセグメント区間内の途中の画像フレームは全て省略され、フレームレートの指定もない。再生時に自由にフレームレートを指定することになる。
また、再生側では、送られた上記VD情報から視点移動も可能となる。
図52には、処理の過程をフレーム画像の進行とともに記載して説明した。
同図において、太枠は伝送情報であり、図中太枠で示した伝送情報は結局、311、324、351のみである。
ところで、画像データは311と324であり、324は画像データではなくVDであることが重要である。
この処理により、この間のフレーム数500〜1000は全て省略されることになる。これはかなりの画像圧縮率となる。
また、基準画像及び差分画像の伝送は、従来技術のJPEG等の圧縮技術を併用できるので、総合的にはかなりの圧縮率となる。
座標系分離を行うための構成を図55に示すが、これは、上述した図28に示した座標系分離装置1071と同様である。
TV値により、直線近似される代表フレーム314とし、314の揺れ止めCV画像は座標系分離され、座標系毎にTVが分類される。
図52に示すように、基準フレームのCV値及びTV値から、逆追跡をして揺れ止めCV画像314を生成することができる。その結果得られたCV領域画像331とする。331は座標系分離及び追跡時の誤差を含んでいるので、一般には正しく揺れ止めCV画像314が生成されない。
そこで、生成CV画像331と生成目的の揺れ止めCV画像314の差分を、差分信号351として求める。
生成CV画像331と差分CV画像(差分信号351)とから誤差のない補正CV画像365を生成することができる。これは原理的に基となっている揺れ止めCV画像314と同じものである。
さらに元画像に戻すには揺れ成分をCV値から与えることで元画像と同じ揺れを含んだ揺れ再現画像375が生成できるが、ここでは目的をカーナビゲーションとしているので揺れの再現は省略する。
そこで331は送らずに、361と324から受信再生側で331を再生するのが適している。
図52に太枠で示した伝送信号として361、324、351から、受信再生側で365、また、図53に、揺れ成分まで再現し画像として、371〜375を示してある。なお、図53中、破線で囲んだ部分が図52に相当する部分である。
この時、揺れ止めしない撮影時の揺れ成分に忠実な元画像を伝送するには、位置と湧きだし点情報として321,322、323を伝送してもよい。
中間の湧きだし点は全て省略されているので中間フレーム画像は湧きだし点が全て一致した画像となり、元画像とは微少分その湧きだし点が異なる。
その差は微少で、一般には視認しにくいが、視認できたとしても、これも揺れ止め効果と同様に、湧きだし点が一致した画像の方が揺れが無くなり、視覚的にはより見やすくなると言う実に都合の良い効果を生み出す。
さて、正確に二者を区別するときには、先の揺れ止め画像は回転揺れ止め画像であり、湧きだし点一致とCV値補正とトラッキング一次関数化による揺れ止めは位置揺らぎ止め画像というのが良い。
再生する中間フレーム(362、363、・・・・・364)は当初目的から等間隔揺れ止め画像とするのが相応しいことになる。
この方が視覚的には見やすく、近似的には十分問題ないが、正確に揺れる中間フレームを再生するには、座標系分離のデータとして、321から323に各フレームの湧きだし点データを付加すればよい。
受信側では、回転揺れ止めと位置揺らぎ止めを行った代表座標系の画像を再生できることになる。
中間フレームのフレーム数を自由に設定できることが特徴である。
また、画像に映り込んだ歩行者や走行車両は、代表座標系には含まれないので、ノイズとして扱われることになる。
また、座標系分離した代表座標系以外の物体、例えば画像に映り込んだ歩行者や走行車両は、全て削除できることになる。
セグメント区間は、フレーム画像としては基準画像としての最初の301のみ送り、最後の307におけるTV値生成画像との差分のみ差分画像351と、そのTV値を送る。
CV演算時は隣接画像間のCV値として求めているが、記録データとするときは省略するフレームを飛び越えて基準画像301とセグメント最終画像307間のCV値を記録することになる。それは単純に両者のCV値の差を取って、基準画像301のCV値に加えればよい。
セグメント区間は、CV値は301と307の関係を示す一個のみであり、TV値は基準画像301に付加したTV値と、基準画像301には含まれていないが、セグメント最終画像には含まれる部分の差分画像351に対するTV値のみである。
基準画像301には含まれていないが、セグメント最終画像には含まれる追加CV領域画像分は、必ずしも差分画像351そのものではないが、差分画像351にはその大部分が含まれるので、差分画像351から生成することになる。TV値が重複することは何ら問題がない。
また、差分画像351の一部に付加したTV値は、基準画像301に付加したTV値とは逆方向のTV値となる。
受信再生側では、中間の全ての画像、及び視点変更画像は基準画像301と差分画像351を元として、全てのフレームの画像をこれらのVD値から生成する。
CV値とTV値とは受信側のセグメント区間で自由に比例配分される。毎秒のフレーム数の指定はないから、自由なフレーム数を表現できる。
[視点変更機能の追加]
以上、実施例2では画像圧縮を主目的とした元も簡略化したカーナビ対応のハードCV領域画像生成装置について述べた。
次に、実施例2を発展させ、視点変更装置(図23参照)を設置して、視点移動をも可能とした実施例3について以下に述べる。ここでは、CGのように視点変更可能な装置を念頭に説明する。
さらに視点移動も可能とすることで、撮影時の画像から、隣接車線への車線変更表示や高さ変更表示ができるナビゲーションへの応用も含めた多目的の装置であるということができる。
CV演算の結果として、回転成分の差分CV値dθx,dθy,dθz、位置成分の差分CV値dx,dy,dz、それらから従属的に取得できる湧きだし点の移動軌跡を、φ,ηとして回転揺れ止めした画面上の二次元座標で取得する。
図52に示すように、揺れ止めされた揺れ止めCV画像の最初のフレーム431は従来方法で静止画圧縮されて基準画像361として送られる。
揺れ止めCV画像311、312・・・・・、315をそれぞれ画像領域分割して小領域に分割する。ここでの分割の方法としては矩形ブロックとして分割するハードCV領域画像としている。
この時、画像は二次元にも係わらず、二次元の制約を完全に離れて、あたかもCGのように三次元画像としての自由視点を得ることができるのである。
そしてこの意味は、画像圧縮装置としてのみならず、視点変更装置、三次元形状生成装置としての意味を持つことは特記すべきで重要な事実である。
ここで具体的応用例として、車両に積載して走行しながら撮影した動画像を元画像とし、座標系として静止座標系一つのみを選択し、移動体信号を破棄することで、動画像から静止座標系のみを選択的に取得することができる。
つまり移動する車両や歩行者を削除し、道路や周のビルや伝習等のみの画像とすることができるのである。産業上このような用途は多く存在している。
2 画像DB装置
3 CV値取得装置
4 CV画像生成装置
5 CV画像DB
6 FP付加CV画像生成装置
7 FP付加CV画像DB
8 ハードCV領域画像分割装置
9 TV演算装置
10 ハードCV領域画像生成装置
11 ハードCV領域画像DB
12 ソフトCV領域画像分割装置
13 RV演算装置
14 ソフトCV領域画像生成装置
15 ソフトCV領域画像DB
16 対象物認識装置
17 JV演算装置
18 対象物CV領域画像生成装置
19 対象物CV領域画像DB
20 輪郭線ベクトル化装置
30 CV領域画像データベース装置
Claims (25)
- 自由に移動するビデオカメラで撮影した動画像を取得し、記録する画像取得装置と、
前記画像取得装置で撮影された動画像の撮影時のカメラの三次元位置と姿勢を示すカメラベクトル値(CV値)を全フレームについて取得するCV値取得装置と、
画像の各フレームにCV値を付加した画像を生成するCV画像生成装置と、
前記CV値取得時に同時に求められる特徴点(FP)座標を、前記CV画像生成装置の出力に付加したFP付加CV画像を生成するFP付加CV画像生成装置と、
前記CV画像生成装置の出力、又は前記FP付加CV画像生成装置の出力から得られたCV画像を隙間無く幾何学的なハードCV領域画像に分割するハードCV領域画像分割装置と、
前記ハードCV領域画像分割装置によって分割された各CV領域画像の対応点を隣接画像に亘って追跡し、全CV領域画像のトラッキングベクトル値(TV値)を求めるTV演算装置と、
画像の各フレームに前記CV値と、前記TV値とを付加したハードCV領域画像を生成するハードCV領域画像生成装置と、
を備えることを特徴とする湧きだし点基準CV領域画像前置装置。 - 前記ハードCV領域画像生成装置の出力から複数のハードCV領域画像を結合して、又は前記ハードCV領域画像生成装置を介さず直接同種テクスチャーCV領域画像を分離して、画像内容に沿った複数のソフトCV領域画像から画像を再構成するソフトCV領域画像分割装置と、
前記ソフトCV領域画像に分割された画像の各ソフトCV領域画像に関して、前記ソフトCV領域画像をCV値から得られる湧きだし点から吸い込み点に向かって放射される線上に追跡し、基準となる座標系に対する位置及び姿勢、及び運動を演算し、前記ソフトCV領域画像のCV領域画像ベクトル値(RV値)を求めるRV演算装置と、
画像を構成する全CV領域画像が前記CV値と、前記RV値を付加して持つ画像を生成するソフトCV領域画像生成装置と、
を備えることを特徴とする請求項1記載の湧きだし点基準CV領域画像前置装置。 - 前記ソフトCV領域画像生成装置の出力から、複数のソフトCV領域画像を所属する対象物毎に結合して、又は前記ソフトCV領域画像生成装置を介さず直接同種対象物CV領域画像を分離して、複数のソフトCV領域画像からなる対象物により画像を再構成する対象物認識装置と、
前記対象物CV領域画像に分割された画像の各対象物CV領域画像に関して、前記対象物を構成する各ソフトCV領域画像は、対象物としての関係を保ち、対象物として基準となる座標系に対する位置及び姿勢、及び運動を演算し、複数のソフトCV領域画像の複合体としての複数のCV領域画像ベクトル(RV)を統合し、対象物別にソフトCV領域画像を分類したジョイントベクトル(JV)を求め、対象物毎の分類データを取得するJV演算装置と、
画像を構成する対象物及び対象物を構成するソフトCV領域画像が、前記CV値とRV値とJV値とで統合された画像を生成する対象物CV領域画像生成装置と、
を備えることを特徴とする請求項1又は2記載の湧きだし点基準CV領域画像前置装置。 - 前記CV画像生成装置からの出力に対し、付加されたCV値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する揺れ止め画像生成部と、
前記CV値から、隣接する画像に対する湧きだし点と吸い込み点を求める湧きだし点抽出部と、
画像をブロックに分割するブロック分割部と、
前記ブロックを、特徴ブロック、及びそれ以外のブロックに分類するブロック分類部と、
全てのブロックをその配列順番を変えずにゴム紐状に柔軟に結合するゴム紐結合部と、
前記特徴ブロックと前記それ以外のブロックに対してもゴム紐状に結合し、一時的に形成される抜けのない全ブロックによる画像を生成するブロック画像生成部と、からなるハードCV領域画像分割装置と、
前記ハードCV領域画像分割装置の出力のゴム紐状に結合したブロック画像の特徴ブロックを追跡する特徴ブロック追跡部と、
特徴ブロックを、追跡データをそれ以外のブロックにも演算して適切に配分する一次TV演算部と、
複数フレームから一次TVの誤差を検出する補正ブロック検出部と、
前記誤差の分布するCV領域画像を補正CV領域画像として、再追跡してTVデータを取得する二次TV演算部と、を有するTV演算装置と、
前記TV演算装置の出力に関して、TV値が同一となる隣接ブロックを結合する同一TV値統合部と、
画像のCV値、及びハードCV領域画像のTV値を画像に付加するCV・TV付加部と、
ブロック画像を表示目的に適した図法に変換する図法再変換部と、
前記CV値とTV値とを付加したブロック画像を出力するハードCV領域画像出力部と、を有するハードCV領域画像生成装置と、
を備えることを特徴とする請求項1乃至3のいずれか一項記載の湧きだし点基準CV領域画像前置装置。 - 前記ハードCV領域画像生成装置の出力から、特徴ブロックを選択し、独立特徴ブロック、境界線上特徴ブロック、境界線上ブロック、及びそれ以外のCV領域画像内ブロックの3種類に再分類するブロック再分類部と、
境界線上特徴ブロック、境界線上ブロックを結合し、ソフトCV領域画像を生成するソフトCV領域画像生成部と、
輪郭線ベクトル化装置の出力を用いてCV領域画像境界を補正し、ブロック単位で構成されているソフトCV領域画像を、ベクトル線で切り分けてCV領域画像境界線を補強して明確なソフトCV領域画像を生成するCV領域画像境界線補正部と、を有するソフトCV領域画像分割装置と、
前記ソフトCV領域画像分割装置の出力を、再度隣接画像に亘って追跡するCV領域画像トラッキング部と前記隣接画像に亘るCV領域画像の追跡からRV値を求めるRV演算部を有するRV演算装置と、
前記RV演算装置の出力に対して、CV値及びRV値をソフトCV領域画像に付加するCV・RV付加部と、
前記CV値及びRV値を付加されたソフトCV領域画像を生成して出力するソフトCV領域画像出力部と、を有するソフトCV領域画像生成装置と、
画像の輪郭線を直接求める輪郭線抽出部と、
前記輪郭線を細線化してベクトル化するベクトル細線化部と、
細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する可変閾値輪郭補強部と、
補強されたベクトル輪郭線を生成するベクトル輪郭線生成部と、を有する輪郭線ベクトル化装置と、
を備えることを特徴とする請求項1乃至4のいずれか一項記載の湧きだし点基準CV領域画像前置装置。 - ソフトCV領域画像の中で、認識対象となる対象物の概略範囲を選択指定するソフトCV領域画像範囲選択部と、
前記範囲を指定したソフトCV領域画像のRV値を選択指定するRV選択部と、
予想される複数の対象物のRV値をデータベース(DB)化して記憶している部品DB部と、
前記範囲のソフトCV領域画像のRV値と候補部品のRV値とを比較し、部分一致か不一致かを決定し、不一致の場合は他の部品候補を自動選択し、完全一致の場合はそれを決定部品とし、部分一致した場合は他の候補部品と一致度合いを比較し、最も一致度の高いRV値を持つ部品を決定部品とするRV比較部と、
前記決定部品を認識した対象物として、取得する対象物認識部と、
前記範囲のCV領域画像内において、CV画像からソフトCV領域画像の形状を形成する要素を検出する要素分解部と、
前記要素を隣接画像に追跡し、対応位置を求める要素追跡部と、
要素のCV値とRV値から三次元形状を求める要素三次元化部と、
要素の部品データベースとなる要素部品DB部と、
画像から検出した要素と部品要素の形状を比較して一致を求める要素比較部と、
一致した部品要素を画像から検出した要素に置換する対象物要素認識部と、を有する対象物認識装置と、
前記対象物認識装置の出力から、対象物認識されたCV領域画像を対象物単位で再結合するCV領域画像再結合部と、
それぞれの対象物毎にソフトCV領域画像の幾何学的三次元結合状況を表すJV値を求めるJV演算部と、を有するJV演算装置と、
前記JV演算装置で求められた対象物単位のJV値は、複数の対象物がそれぞれ区別されて配置されるように、全ソフトCV領域画像にJV値を付加するJV付加部と、
対象物認識が一部又は全て済ませた対象物認識CV領域画像を生成する対象物CV領域画像生成部と、を有する対象物分離画像生成装置と、
を備えることを特徴とする請求項1乃至5のいずれか一項記載の湧きだし点基準CV領域画像前置装置。 - 湧きだし点基準CV領域画像前置装置からの出力、又は前記湧きだし点基準CV領域画像前置装置からの出力と同等の出力をする他の機器からの出力から、CV領域画像とともにベクトルデータ(VD)を分離して取得するCV領域画像・VD取得部と、
画像の表示方法を指定する表示指定部と、
VDを基にして、CV領域画像を再結合して再結合画像を生成するCV領域画像再結合部と、
前記再結合画像を各フレームに配分して、各フレームに対応した画像を生成する画像フレーム生成部と、
前記画像フレームを表示する表示部と、
を有するCV領域画像表示装置を備えることを特徴とする請求項1乃至6のいずれか一項記載の湧きだし点基準CV領域画像前置装置。 - 前記湧きだし点基準CV領域画像前置装置から出力される各CV領域画像であるハードCV領域画像出力、ソフトCV領域画像出力、及び対象物CV領域画像出力の中の全ての画像出力、又は前記3出力の中間段階の画像出力を、各ベクトルデータ(VD)値とともに取得するCV領域画像・VD取得部と、
前記CV領域画像・VD取得部で取得したVD値の成分であるCV値、TV値、RV値、JV値の全部又は一部を、CV領域画像単位及び画像フレーム単位で重複するデータを近似化して単純化し圧縮する重複データ圧縮部と、
前記圧縮データによる圧縮画像データとの対応を保持して、各CV領域画像をCV領域画像圧縮して記録するCV領域画像圧縮記録部と、
前記各CV領域画像内に、画像及びCV領域画像を検索して指定する検索指定部と、
前記検索部で検索して選択した画像及びCV領域画像を、前記CV領域画像圧縮記録部に記録された全画像データの中から呼び出し、解凍し、前記重複データ整理部で再構成したCV値、TV値、RV値、JV値の全部又は一部を付加した複数種類のCV領域画像が混在するCV領域画像を出力する解凍・出力部と、
を有するCV領域画像データベース装置を備える請求項1乃至6のいずれか一項記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置からの出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
視点変更地点又は視点変更経路を、CV値で指定する視点変更指定部と、
前記CV値で指定された視点変更CV値から、視点変更時の他のVDを演算で求める視点変更演算部と、
視点変更演算により取得されたVDを各画像、及び各CV領域画像に対応をつける変更VD取得部と、
対応のついた前記各画像、及び各CV領域画像の画像を再構成し生成し、出力する視点変更画像生成部と、
を有する視点変更装置を備えることを特徴とする請求項8記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
前記CV領域画像に合成するべきCGを入力するCG入力部と、
前記CGのVDを演算するVD演算部と、
前記CV領域画像の視点座標とCGの視点座標を合致させて座標を統合する視点座標統合部と、
CV領域画像のVDと前記CGのVDを比較演算して、表示の前後関係を決定する前後関係形成部と、
視点が合致し、前後関係が決定された、前記CV領域画像と前記CGとを合成して、同一座標系で表現するCV領域画像CG合成部と、
を有するCV領域画像CG合成装置を備えることを特徴とする請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
三次元形状生成を行う範囲を指定する範囲指定部と、
CV領域画像に付加されたVD値から三次元ポリゴンに変換演算するポリゴン変換演算部と、
前記ポリゴン変換されたデータから三次元形状を生成する三次元形状生成部と、
を有する三次元形状生成装置を備えることを特徴とする請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 移動するカメラから撮影した画像の、前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
画角拡大画像を観察する時の画角と視点方向を指定する拡大画角指定部と、
画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する仮想観察視点指定部と、
前記拡大画角と、前記視点方向と、前記視点移動位置を指定された時間軸上に並ぶ複数フレームのCV領域画像を、指定の視点位置に視点変更演算する時間軸画像視点変更部と、
前記視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのCV領域画像を結合する複数画像結合部と、
時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのCV領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける繰り返し生成部と、
を有する画角拡大装置を備えることを特徴とする請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 移動するカメラから撮影した画像の、前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
VDを指定することにより、ロックオンすべき対象物の座標を指定する対象物座標指定部と、
ロックオン表示のための視点移動経路と範囲を指定する視点移動指定部と、
指定された視点移動経路に沿って、CV領域画像の視点変更を求める視点及び視点方向変換部と、
変換されたCV領域画像を指定経路に従って表示するロックオン表示部と、
を有するロックオン表示装置を備えることを特徴とする請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
VDから座標系を分離し、座標系毎のCV領域画像とVDとに分類する座標系別VD処理部と、
各座標系のVDを単純な関数に近似して単純化し、又は前記近似したVDと前記CV領域画像のVDとの関係を示す関数を生成する各座標系VD近似処理部と、
単純な関数に近似されたVDの通信を行う各座標系分離通信装置、又は単純な関数に近似されたVDを記録する各座標系分離画像記録部と、
各座標系単位で画像を生成する各画像系別画像生成部と、
各座標系を再度結合・合成して表示する各座標系合成画像生成部と、
を有する座標系分離装置を備えることを特徴とした請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 更新する画像情報を含む画像を、前記湧きだし点基準CV領域画像前置装置から出力して、CV領域画像とそのVDを取得する更新CV領域画像・VD取得部と、
更新される旧画像情報を含む画像を、前記湧きだし点基準CV領域画像前置装置から出力して、CV領域画像とそのVDを取得する旧CV領域画像・VD取得部と、
更新範囲を指定する更新範囲指定部と、
VD値を合致させることで、更新画像の視点を旧画像の視点に変更する更新領域視点変更部と、
旧画像側の更新部分を削除する更新範囲削除部と、
更新部分のCV領域画像を切り取って、旧CV領域画像に貼り付けて更新CV領域画像を生成する更新部分CV領域画像生成部と、
領域結合して更新画像を生成する更新画像生成部と、
を有する画像部分更新装置を備えることを特徴とした請求項1乃至6のいずれか一項記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
計測機器により鉛直データを取得する鉛直補正部と、
CV領域画像の複数ポイントで絶対座標を取得する高精度位置決め部と、
前記計測機器で取得した高精度の鉛直データにより、取得したVD値を補正する補正VD値演算部と、
前記補正VD演算部で補正されたVD値と対応するCV領域画像により、オルソ化対象を三次元化する三次元面生成部と、
三次元化されたオルソ化対象のCV領域画像をオルソ面に投影するオルソ面投影部と、
を有するオルソ画像生成装置を備えることを特徴とした請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
再生表示しようとする動画像を取得したカメラ移動経路、又は仮想カメラ移動経路をCV値で指定する仮想カメラ移動経路指定部と、
前記動画像の各フレームを構成する各CV領域画像に関して、最も解像度の高いCV領域画像、又は最もカメラの近くで取得しているCV領域画像、又は最も目的に適合したCV領域画像を、既に取得している視点の異なる全CV領域画像データから選択する全範囲探索選択部と、
前記全範囲探索選択部で選択したCV領域画像を、カメラ経路を意味する前記指定CV値に前記選択したそれぞれのCV領域画像を視点変更する高解像度視点変更部と、
視点変更されたCV領域画像から各フレーム画像を生成する高解像度化画像結合部と、
視点変更を可能とするVD値を、取得したCV領域画像の状態で記録保存する高解像度化画像データベースと、
高解像度化された動画映像を表示する表示部と、
を有する画像高解像度化装置を備えることを特徴とした請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置から出力されるCV領域画像を、元となる動画像を構成する複数の座標系に分離する座標系分離装置と、
前記複数の座標系の中で、目的の運動する対象物のCV領域画像をそのVDと共に選択し、抽出する運動領域抽出部と、
前記抽出された運動領域のVDから、対象となる運動領域の運動を6自由度で表す運動領域VD解析部と、
前記運動領域を指定の座標系に変換して示す指定座標表示部と、
を有する運動抽出・解析装置を備えることを特徴とした請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
検索すべきCV領域画像、又はその一部、又はそれを内部に含むCV領域画像を検索すべき部品として指定する検索CV領域画像部品指定部と、
基準座標系における前記部品のVDを演算で求める検索CV領域画像部品VD演算部と、
検索されるCV領域画像の基準座標系におけるVDと、検索部品のCV領域画像の基準座標系におけるVDとを比較し、一致度を求める基準座標VD比較部と、
CV領域画像全体の中の一致度の高いCV領域画像を検索結果として出力する検索CV領域画像出力部と、
を有するCV領域画像検索装置を備えることを特徴とした請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
目的フレーム画像に属するCV領域画像と、それに隣接するフレーム画像に属するCV領域画像とで、対応する複数のCV領域画像を選択する最適CV領域画像選択部と、
前記隣接するフレーム画像に属するCV領域画像を、前記目的フレーム画像のCV値に視点変更する同一視点変更部と、
前記目的フレームの視点に統一して変更したCV領域画像を、重ね合わせて加算平均する領域加算平均演算部と、
前記加算平均によりノイズが減少した領域を目的フレームに属するCV領域画像として取得する平均CV領域画像生成部と、
を有するノイズリダクション装置を備えることを特徴とした請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
認識対象となる部分をCV領域画像内に指定する認識CV領域画像指定部と、
認識候補となる複数のCV領域画像からなる部品をデータベースとして記録する部品データベース部と、
認識が完了するまで、前記部品データベース部から部品を送り出す部品送り出し部と、
比較される部品のVDを演算で求める部品VD演算部と、
前記認識対象となるCV領域画像と、前記部品を基準座標系のVD値で比較する基準座標VD比較部と、
前記部品送り出し部から送られてくる複数の部品の中で、最も一致度の高い部品を選択して、特定する認識画像出力部と、
を有する対象物認識装置を備えることを特徴とした請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 前記CV領域画像データベース装置又は視点変更装置の出力を取り入れ、CV領域画像とVDとを分離して取得するCV領域画像・VD取得部と、
取得したCV領域画像から、三次元地図として利用可能な複数のCV領域画像部分を自動選択する地図利用選択部と、
前記CV領域画像・VD取得部で取得したCV領域画像を検索し、前記三次元地図として利用可能なCV領域画像部分を指定して、前記地図利用選択部に送る内部検索指定部と、
前記地図利用選択部で選択された複数のCV領域画像部分を、二次元特徴点、三次元特徴領域、特徴対象物等に分類し、又はVD値を用いて変換して、地図として生成する地図生成部と、
前記地図生成部で生成された地図と比較・表示するためのリアルタイム画像をカメラから取得するリアルタイム画像取得部と、
取得した前記リアルタイム画像を、概略CV演算、GPSを用いた概略位置合わせ、画像明るさ調整し、前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施すリアルタイム画像処理部と、
前記二次元特徴点、三次元特徴領域、又は特徴対象物を前記リアルタイム画像の中に検索指定する外部検索指定部と、
前記検索指定により、前記二次元特徴点、三次元特徴領域、又は特徴対象物を、前記リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する外部検索検出部と、
前記二次元特徴点、三次元特徴領域、又は特徴対象物との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の前記二次元特徴点、三次元特徴領域、又は特徴対象物から、リアルタイム画像のCV値を演算で求めるリアルタイム画像CV値取得部と、
前記リアルタイム画像CV値取得部で取得した前記リアルタイム画像のCV値から、リアルタイム画像を取得したカメラの位置と姿勢を絶対座標で求めて車両位置を決定する車両位置決め部と、
前記特徴対象物が持っている車両運行に関係する属性を前記リアルタイム画像内に表示するリアルタイム画像内属性表示部と、
前記車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、又は特徴対象物を、次回に利用する三次元地図として記録す三次元地図データベース部と、
を有する位置決め装置を備えることを特徴とする請求項8又は9記載の湧きだし点基準CV領域画像前置装置。 - 複合人工知能装置を構成する複数の人工知能装置を備える場合に、
各人工知能装置が、
自ら取得したカメラ映像、及び認識結果を記録し、認識結果を記録する前記湧きだし点基準CV領域画像前置装置を備えるとともに、
個々の人工知能装置から他の人工知能装置で、相互に情報をやり取りするための送信装置、及び受信装置と、
他の人工知能から検索の問い合わせがあれば、前記湧きだし点基準CV領域画像前置装置のCV領域画像内に検索して、前記送信機で送り返すCV領域画像検索装置と、
他の人工装置から対象物認識の依頼があれば、前記湧きだし点基準CV領域画像前置装置のCV領域画像内で対象物認識して、前記送信機で送り返すCV領域画像認識装置と、
を有する複合人工知能記憶装置を備えることを特徴とした請求項1乃至6のいずれか一項記載の湧きだし点基準CV領域画像前置装置。 - 管理しようとする現実の管理対象物及びその周辺を撮影した画像の、前記CV領域画像データベース装置の出力を取り入れ一時記録したCV領域画像記録部と、
画像取得時のカメラ位置近傍への視点変更画像を生成する前記視点変更装置と、
前記CV領域画像を表示し、動画として画像フレームが移動しても、画像とCVタグの三次元的位置関係を保持したまま、CVタグを表示し、及びCVタグを開封しその内容を表示できるようにしたCVタグ表示装置と、
前記CVタグ表示装置で表示された前記CV領域画像の中の前記管理対象物の位置に対して、CV領域画像の中にCVタグを直接貼り付け、又はCV領域画像中の前記管理対象物の三次元的位置を確認できるように特定したCVタグをCV領域画像の中に三次元的に配置するCVタグ入力装置と、
CVタグと前記管理対象物とを関連づける諸データを格納するCVタグデータベース装置と、
前記CVタグ表示装置、及び前記検索装置でCVタグを選択し、又は表示されたCV領域画像中の前記管理対象物をCV領域画像の中にタッチスクリーンにタッチし、又はマウス等でCVタグをクリックしてCVタグを選択することで、前記CVタグデータベース装置からCVタグに対応する管理対象物のデータを読み出して管理するCVタグ対象物管理装置と、
を有するCVタグ入出力検索装置を備えることを特徴とした請求項8記載の湧きだし点基準CV領域画像前置装置。 - 前記CVタグ入力装置と、前記CVタグデータベース装置と、前記CVタグ対象物管理装置とを搭載するとともに、ビデオカメラを積載してリアルタイム画像を取得し、当該リアルタイム画像にCV演算を施してリアルタイムCV領域画像を取得するリアルタイムCV領域画像取得装置を備え、管理地域及び管理対象物周辺を移動する積載移動手段と、
文字、座標、属性によりCV領域画像を検索し、CV領域画像中に管理対象物を示すCVタグそのもの、又はCV領域画像中の管理対象物の画像そのものを、視覚効果のある三次元座標を持つ印として、動画としてのCV領域画像上に三次元的に矛盾無く呈示するCVタグ入出力検索装置と、
前記CVタグ入出力検索装置の外側にあって、記録媒体又は通信により、当該CVタグ入出力検索装置内側の管理地域及びその周辺のCV領域画像地図を、CV領域画像記録部に一時記憶して保持させる外部CV領域画像地図データベース部と、前記CVタグ入出力検索装置の外側にあって、記録媒体又は通信により、当該CVタグ入出力検索装置内側の管理地域及びその周辺のCVタグとその属性情報を前記CVタグデータベース装置に一時記憶して保持させる、外部CVタグデータベース部と、を有する外部データベース装置と、
前記積載移動手段の絶対座標を取得するGPS位置決め装置と、取得した前記リアルタイムCV領域画像と前記CV領域画像地図から、位置あわせをして取得した新旧画像更新装置とを保持する移動体位置決め手段と、
前記移動体位置決め手段と時刻、及び入力された走行目的から、車両の現在時刻と現在位置と現在状況に関係している管理対象物のCVタグを選択的に前記CVタグ表示装置に自動表示するCVタグ自動表示装置と、
を備えることを特徴とした請求項24記載のCVタグ入出力検索装置を備えた湧きだし点基準CV領域画像前置装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007136748A JP4926822B2 (ja) | 2006-05-24 | 2007-05-23 | 湧きだし点基準cv領域画像前置装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006144228 | 2006-05-24 | ||
JP2006144228 | 2006-05-24 | ||
JP2007136748A JP4926822B2 (ja) | 2006-05-24 | 2007-05-23 | 湧きだし点基準cv領域画像前置装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008005478A true JP2008005478A (ja) | 2008-01-10 |
JP4926822B2 JP4926822B2 (ja) | 2012-05-09 |
Family
ID=39009444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007136748A Active JP4926822B2 (ja) | 2006-05-24 | 2007-05-23 | 湧きだし点基準cv領域画像前置装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4926822B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011040239A1 (ja) * | 2009-10-02 | 2011-04-07 | 株式会社 トプコン | 広角撮像装置及び測定システム |
US8363103B2 (en) | 2010-04-08 | 2013-01-29 | Panasonic Corporation | Drive assist display apparatus |
JP2017005339A (ja) * | 2015-06-05 | 2017-01-05 | リコーイメージング株式会社 | 動画像作成システム、動画像作成方法及び動画像作成プログラム |
JP2018520430A (ja) * | 2015-08-07 | 2018-07-26 | グーグル エルエルシー | 視覚特徴を使用した画像の自動結合 |
CN111161393A (zh) * | 2019-12-31 | 2020-05-15 | 威创集团股份有限公司 | 一种基于3d地图的实时光效动态展示方法及系统 |
CN111751824A (zh) * | 2020-06-24 | 2020-10-09 | 杭州海康汽车软件有限公司 | 车辆周围的障碍物检测方法、装置及设备 |
JP2021141608A (ja) * | 2013-05-16 | 2021-09-16 | ソニーグループ株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0348977A (ja) * | 1989-03-31 | 1991-03-01 | Honeywell Inc | 移動映像装置の映像から自己運動を算出する装置およびその方法 |
JPH03113305A (ja) * | 1989-09-28 | 1991-05-14 | Nippon Telegr & Teleph Corp <Ntt> | 三次元座標計測装置 |
JPH10116359A (ja) * | 1996-10-09 | 1998-05-06 | Sony Corp | カメラパラメータ演算装置及び画像合成装置 |
JP2000268179A (ja) * | 1999-01-14 | 2000-09-29 | Oojisu Soken:Kk | 三次元形状情報取得方法及び装置,二次元画像取得方法及び装置並びに記録媒体 |
JP2000348186A (ja) * | 1999-06-03 | 2000-12-15 | Fujitsu Ltd | 物体追跡装置及び方法 |
JP2005295495A (ja) * | 2003-10-02 | 2005-10-20 | Kazuo Iwane | カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置,画像安定化装置,位置姿勢安定化装置,目的対象物ロックオン装置及び実写対象物属性呼出装置 |
-
2007
- 2007-05-23 JP JP2007136748A patent/JP4926822B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0348977A (ja) * | 1989-03-31 | 1991-03-01 | Honeywell Inc | 移動映像装置の映像から自己運動を算出する装置およびその方法 |
JPH03113305A (ja) * | 1989-09-28 | 1991-05-14 | Nippon Telegr & Teleph Corp <Ntt> | 三次元座標計測装置 |
JPH10116359A (ja) * | 1996-10-09 | 1998-05-06 | Sony Corp | カメラパラメータ演算装置及び画像合成装置 |
JP2000268179A (ja) * | 1999-01-14 | 2000-09-29 | Oojisu Soken:Kk | 三次元形状情報取得方法及び装置,二次元画像取得方法及び装置並びに記録媒体 |
JP2000348186A (ja) * | 1999-06-03 | 2000-12-15 | Fujitsu Ltd | 物体追跡装置及び方法 |
JP2005295495A (ja) * | 2003-10-02 | 2005-10-20 | Kazuo Iwane | カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置,画像安定化装置,位置姿勢安定化装置,目的対象物ロックオン装置及び実写対象物属性呼出装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9733080B2 (en) | 2009-10-02 | 2017-08-15 | Kabushiki Kaisha Topcon | Wide-angle image pickup unit and measuring device |
JP2011082598A (ja) * | 2009-10-02 | 2011-04-21 | Topcon Corp | 広角撮像装置及び測定システム |
CN102511162A (zh) * | 2009-10-02 | 2012-06-20 | 株式会社拓普康 | 广角摄像装置及测定系统 |
WO2011040239A1 (ja) * | 2009-10-02 | 2011-04-07 | 株式会社 トプコン | 広角撮像装置及び測定システム |
US8363103B2 (en) | 2010-04-08 | 2013-01-29 | Panasonic Corporation | Drive assist display apparatus |
JP2021141608A (ja) * | 2013-05-16 | 2021-09-16 | ソニーグループ株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7115593B2 (ja) | 2013-05-16 | 2022-08-09 | ソニーグループ株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2017005339A (ja) * | 2015-06-05 | 2017-01-05 | リコーイメージング株式会社 | 動画像作成システム、動画像作成方法及び動画像作成プログラム |
JP2018520430A (ja) * | 2015-08-07 | 2018-07-26 | グーグル エルエルシー | 視覚特徴を使用した画像の自動結合 |
CN111161393A (zh) * | 2019-12-31 | 2020-05-15 | 威创集团股份有限公司 | 一种基于3d地图的实时光效动态展示方法及系统 |
CN111161393B (zh) * | 2019-12-31 | 2023-10-10 | 威创集团股份有限公司 | 一种基于3d地图的实时光效动态展示方法及系统 |
CN111751824A (zh) * | 2020-06-24 | 2020-10-09 | 杭州海康汽车软件有限公司 | 车辆周围的障碍物检测方法、装置及设备 |
CN111751824B (zh) * | 2020-06-24 | 2023-08-04 | 杭州海康汽车软件有限公司 | 车辆周围的障碍物检测方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
JP4926822B2 (ja) | 2012-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7485749B2 (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
Senlet et al. | A framework for global vehicle localization using stereo images and satellite and road maps | |
US8036827B2 (en) | Cognitive change detection system | |
US20200401617A1 (en) | Visual positioning system | |
EP2208021B1 (en) | Method of and arrangement for mapping range sensor data on image sensor data | |
US10848732B2 (en) | Free viewpoint movement display device | |
US9989969B2 (en) | Visual localization within LIDAR maps | |
JP4767578B2 (ja) | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 | |
JP4926822B2 (ja) | 湧きだし点基準cv領域画像前置装置 | |
JP4185052B2 (ja) | 拡張仮想環境 | |
JP4980606B2 (ja) | 移動型自動監視装置 | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
JP2009199572A (ja) | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 | |
US20210407186A1 (en) | Multi-Collect Fusion | |
JP5090797B2 (ja) | Cv値基準一括追跡装置、このcv値基準一括追跡装置を用いたcv領域画像前置装置 | |
JP4624000B2 (ja) | 複合人工知能装置 | |
US20210404834A1 (en) | Localization Based on Multi-Collect Fusion | |
WO2020235286A1 (ja) | 認識位置決め装置及び情報変換装置 | |
CN112348887A (zh) | 终端位姿确定方法以及相关装置 | |
JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
JP2005122315A (ja) | 3dcg合成装置 | |
JP4773794B2 (ja) | 新旧映像座標統合装置 | |
CN110223223A (zh) | 街道扫描方法、装置及扫描仪 | |
Cho | 3D organization of 2D urban imagery | |
Ahmad et al. | Quicksketch: Building 3d representations in unknown environments using crowdsourcing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090616 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090824 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120208 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4926822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |