JP2008005478A - 湧きだし点基準ｃｖ領域画像前置装置 - Google Patents
湧きだし点基準ｃｖ領域画像前置装置 Download PDFInfo
- Publication number
- JP2008005478A JP2008005478A JP2007136748A JP2007136748A JP2008005478A JP 2008005478 A JP2008005478 A JP 2008005478A JP 2007136748 A JP2007136748 A JP 2007136748A JP 2007136748 A JP2007136748 A JP 2007136748A JP 2008005478 A JP2008005478 A JP 2008005478A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region image
- region
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 189
- 239000013598 vector Substances 0.000 claims abstract description 161
- 230000033001 locomotion Effects 0.000 claims description 125
- 238000007726 management method Methods 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 86
- 230000008859 change Effects 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 72
- 238000007906 compression Methods 0.000 claims description 41
- 230000006835 compression Effects 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 40
- 238000013473 artificial intelligence Methods 0.000 claims description 37
- 238000000926 separation method Methods 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000036961 partial effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000006837 decompression Effects 0.000 claims description 6
- 230000002829 reductive effect Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 37
- 230000006870 function Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 30
- 238000001514 detection method Methods 0.000 description 25
- 239000000203 mixture Substances 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000012886 linear function Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000006798 recombination Effects 0.000 description 8
- 238000005215 recombination Methods 0.000 description 8
- 238000005520 cutting process Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 238000013144 data compression Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 3
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
【課題】 ビデオカメラで撮影した動画像を所定の湧きだし点を基準として分割し、当該画像を自由に扱えるようにする。
【解決手段】 ビデオカメラで撮影した動画像を取得する画像取得装置１と、画像中の特徴点からカメラの三次元位置と姿勢を示すカメラベクトル値（ＣＶ値）を求めるＣＶ値取得装置３と、各フレームにＣＶ値を付加した画像を生成するＣＶ画像生成装置４と、ＣＶ演算時に同時に副次的に求まるＦＰ（特徴点）座標を付加したＦＰ付加ＣＶ画像を生成するＦＰ付加ＣＶ画像生成装置６と、ＣＶ画像を隙間無く幾何学的なハードＣＶ領域画像に分割するハードＣＶ領域画像分割装置８と、分割された各ＣＶ領域画像の対応点を隣接画像に亘って追跡してトラッキングベクトル値（ＴＶ値）を求めるＴＶ演算装置９と、各フレームにＣＶ値とＴＶ値を付加したハードＣＶ領域画像を生成するハードＣＶ領域画像生成装置１０を備える。
【選択図】 図１５
【解決手段】 ビデオカメラで撮影した動画像を取得する画像取得装置１と、画像中の特徴点からカメラの三次元位置と姿勢を示すカメラベクトル値（ＣＶ値）を求めるＣＶ値取得装置３と、各フレームにＣＶ値を付加した画像を生成するＣＶ画像生成装置４と、ＣＶ演算時に同時に副次的に求まるＦＰ（特徴点）座標を付加したＦＰ付加ＣＶ画像を生成するＦＰ付加ＣＶ画像生成装置６と、ＣＶ画像を隙間無く幾何学的なハードＣＶ領域画像に分割するハードＣＶ領域画像分割装置８と、分割された各ＣＶ領域画像の対応点を隣接画像に亘って追跡してトラッキングベクトル値（ＴＶ値）を求めるＴＶ演算装置９と、各フレームにＣＶ値とＴＶ値を付加したハードＣＶ領域画像を生成するハードＣＶ領域画像生成装置１０を備える。
【選択図】 図１５
Description
本発明は、本願発明者の提案による特開２００５−２９５４９５号公報に示されたカメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置、画像安定化装置、位置姿勢安定化装置、目的対象物ロックオン装置及び実写対象物属性呼び出し装置、特許公開２００５−２９５４９５号におけるＣＶ画像の考えを発展させ、さらに画像処理に適した、加工をより容易にした画像処理前置装置に関する。
これまで、動画像の全フレームに亘って、その画像を取得したカメラの三次元位置と姿勢を演算で検出するＣＶ画像生成装置が特許文献１で提案され、実用化されている。
また、そこから発展的に生み出される技術の多くも実用化されている。
ここで、ＣＶ領域画像に比較するものとしてみると、単に領域に分割しているという点では、MPEG１、MPEG２、MPEG４がある。
また、そこから発展的に生み出される技術の多くも実用化されている。
ここで、ＣＶ領域画像に比較するものとしてみると、単に領域に分割しているという点では、MPEG１、MPEG２、MPEG４がある。
既存のＣＶ画像データベースは、道路管理用システムとして既に実用化されているが、データ量が莫大となり、データベースの構築負担が大きくなるのみならず、システムとしても多量のデータを管理しなければならない。
また、従来のＣＶ画像はＣＧと比較して長所が多いが、視点変更が自由にできないという面もあった。
また、上記比較対象としたMPEG１、MPEG２、MPEG４はいずれも、画像を二次元として扱っている点で、画像を三次元として扱う本発明とは根本的に異なるが、処理の過程で領域に分割されている点でのみ共通点がある。しかし、MPEG１、MPEG２、MPEG４はいずれも、動画像を二次元として扱っているので、冗長が多く圧縮には自ずと限界があるだけでなく、二次元である以上本発明ともＣＧとも異なり、決して視点移動はできない。
また、従来のＣＶ画像はＣＧと比較して長所が多いが、視点変更が自由にできないという面もあった。
また、上記比較対象としたMPEG１、MPEG２、MPEG４はいずれも、画像を二次元として扱っている点で、画像を三次元として扱う本発明とは根本的に異なるが、処理の過程で領域に分割されている点でのみ共通点がある。しかし、MPEG１、MPEG２、MPEG４はいずれも、動画像を二次元として扱っているので、冗長が多く圧縮には自ずと限界があるだけでなく、二次元である以上本発明ともＣＧとも異なり、決して視点移動はできない。
そこで、本願発明者は、鋭意研究の結果、これまでのＣＶ画像をさらに発展させ、ＣＧと同じように切り貼り、パーツ交換、視点変更も自由にできる画像に進化させることに成功した。
すなわち、本発明は、上述した従来の技術が有する課題を解決するために提案されたものであり、画像を湧きだし点を基準としてＣＶ領域画像に分割し、各ＣＶ領域画像にＣＶ値のみならず、ＴＶ演算によりＴＶ値を、ＲＶ演算によりＲＶ値を、ＪＶ演算でＪＶ値を持たせることで、画像を自由に扱えるようにした湧きだし点基準ＣＶ領域画像前置装置の提供を目的とする。
すなわち、本発明は、上述した従来の技術が有する課題を解決するために提案されたものであり、画像を湧きだし点を基準としてＣＶ領域画像に分割し、各ＣＶ領域画像にＣＶ値のみならず、ＴＶ演算によりＴＶ値を、ＲＶ演算によりＲＶ値を、ＪＶ演算でＪＶ値を持たせることで、画像を自由に扱えるようにした湧きだし点基準ＣＶ領域画像前置装置の提供を目的とする。
上記目的を達成するため、本発明の湧きだし点基準ＣＶ領域画像前置装置は、自由に移動するビデオカメラで撮影した動画像を取得し、記録する画像取得装置と、前記画像取得装置で撮影された動画像の撮影時のカメラの三次元位置と姿勢を示すカメラベクトル値（ＣＶ値）を全フレームについて取得するＣＶ値取得装置と、画像の各フレームにカメラベクトル値（ＣＶ値）を付加した画像を生成するＣＶ画像生成装置と、前記ＣＶ演算時に同時に副次的に求まるＦＰ（特徴点）座標を前記ＣＶ画像生成装置の出力に、付加したＦＰ付加ＣＶ画像を生成するＦＰ付加ＣＶ画像生成装置と、前記ＣＶ画像生成装置の出力から、若しくは前記ＦＰ付加ＣＶ画像生成装置の出力から、得られたＣＶ画像を隙間無く幾何学的なハードＣＶ領域画像に分割するハードＣＶ領域画像分割装置と、前記ハードＣＶ領域画像分割装置によって分割された各ＣＶ領域画像の対応点を隣接画像に亘って追跡し、全ＣＶ領域画像のトラッキングベクトル値（ＴＶ値）を求めるＴＶ演算装置と、画像の各フレームに前記ＣＶ値と、前記ＴＶ値とを付加したハードＣＶ領域画像を生成するハードＣＶ領域画像生成装置と、を備える構成としてある。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置は、前記ハードＣＶ領域画像生成装置の出力から、複数のハードＣＶ領域画像を結合するなどして、若しくは前記ハードＣＶ領域画像生成装置を介さずに直接同種テクスチャーＣＶ領域画像を分離するなどして、画像内容に沿った複数のソフトＣＶ領域画像から画像を再構成するソフトＣＶ領域画像分割装置と、前記ソフトＣＶ領域画像に分割された画像の各ソフトＣＶ領域画像に関して、前記ソフトＣＶ領域画像をＣＶ値から得られる湧きだし点から吸い込み点に向かって放射される線上に追跡し、基準となる座標系に対する位置及び姿勢、及び運動を演算し、前記ソフトＣＶ領域画像のＣＶ領域画像ベクトル値（ＲＶ値）を求めるＲＶ演算装置と、画像を構成する全ＣＶ領域画像が前記ＣＶ値と、前記ＣＶ領域画像ベクトル値（ＲＶ値）を付加して持つ画像を生成するソフトＣＶ領域画像生成装置と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置は、前記ソフトＣＶ領域画像生成装置の出力から、複数のソフトＣＶ領域画像を所属する対象物毎に結合するなどして、若しくは前記ソフトＣＶ領域画像生成装置を介さずに直接同種対象物ＣＶ領域画像を分離するなどして、複数のソフトＣＶ領域画像からなる対象物により、画像を再構成する対象物認識装置と、前記対象物ＣＶ領域画像に分割された画像の各対象物ＣＶ領域画像に関して、前記対象物を構成する各ソフトＣＶ領域画像は、対象物としての関係を保ち、対象物として基準となる座標系に対する位置及び姿勢、及び運動を演算し、複数のソフトＣＶ領域画像の複合体としての複数のＣＶ領域画像ベクトル（ＲＶ）を統合し、対象物別にソフトＣＶ領域画像を分類したＪＶ（ジョイントベクトル）を求め、対象物毎の分類データを取得するＪＶ演算装置と、画像を構成する対象物及び対象物を構成するソフトＣＶ領域画像が、前記ＣＶ値と、前記ＣＶ領域画像ベクトル値（ＲＶ値）と、前記ＪＶ値と、で統合された画像を生成する対象物ＣＶ領域画像生成装置と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置は、前記ＣＶ画像生成装置からの出力に対し、付加されたＣＶ値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する揺れ止め画像生成部と、前記ＣＶ値から、隣接する画像に対する湧きだし点と吸い込み点を求める湧きだし点抽出部と、画像をブロックに分割するブロック分割部と、前記ブロックを、特徴ブロック、及びそれ以外のブロックに分類するブロック分類部と、全てのブロックをその配列順番を変えずにゴム紐状に柔軟に結合するゴム紐結合部と、前記特徴ブロックと前記それ以外のブロックに対してもゴム紐状に結合し、一時的に形成される抜けのない全ブロックによる画像を生成するブロック画像生成部と、からなるハードＣＶ領域画像分割装置と、前記ハードＣＶ領域画像分割装置の出力のゴム紐状に結合したブロック画像の特徴ブロックを追跡する特徴ブロック追跡部と、特徴ブロックを、追跡データを前記それ以外のブロックにも演算して適切に配分する一次ＴＶ演算部と、複数フレームから一次ＴＶの誤差を検出する補正ブロック検出部と、前記誤差の分布するＣＶ領域画像を補正ＣＶ領域画像として、再追跡してＴＶデータを取得する二次ＴＶ演算部と、からなるＴＶ演算装置と、前記ＴＶ演算装置の出力に関して、ＴＶ値が同一となる隣接ブロックを結合する同一ＴＶ値統合部と、画像のＣＶ値、及びハードＣＶ領域画像のＴＶ値を画像に付加するＣＶ・ＴＶ付加部と、ブロック画像を表示目的に適した図法に変換する図法再変換部と、前記ＣＶ値とＴＶ値とを付加したブロック画像を出力するハードＣＶ領域画像出力部と、からなるハードＣＶ領域画像生成装置と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置は、前記ハードＣＶ領域画像生成装置の出力から、特徴ブロックを選択し、独立特徴ブロック、境界線上特徴ブロック、境界線上ブロック、及びそれ以外のＣＶ領域画像内ブロックの３種類に再分類するブロック再分類部と、境界線上特徴ブロック、境界線上ブロックを結合し、ソフトＣＶ領域画像を生成するソフトＣＶ領域画像生成部と、輪郭線ベクトル化装置の出力を用い、ＣＶ領域画像境界を補正するＣＶ領域画像境界線の抜けを補正し、ブロック単位で構成されているソフトＣＶ領域画像を、ベクトル線で切り分けてＣＶ領域画像境界線を補強して明確なソフトＣＶ領域画像を生成するＣＶ領域画像境界線補正部と、からなるソフトＣＶ領域画像分割装置と、前記ソフトＣＶ領域画像分割装置の出力を、再度隣接画像に亘って追跡するＣＶ領域画像トラッキング部と前記隣接画像に亘るＣＶ領域画像の追跡からＲＶ値を求めるＲＶ演算部と、からなるＲＶ演算装置と前記ＲＶ演算装置の出力に対して、ＣＶ値、及びＲＶ値をソフトＣＶ領域画像に付加するＣＶ・ＲＶ付加部と、前記ＣＶ値・ＲＶ値を付加されたソフトＣＶ領域画像を生成して出力するソフトＣＶ領域画像出力部と、からなるソフトＣＶ領域画像生成装置と、前記輪郭線ベクトル化装置は、画像の輪郭を直接求める輪郭線抽出部と、前記輪郭線を細線化してベクトル化するベクトル細線化部と、細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する可変閾値輪郭補強部と、補強されたベクトル輪郭線を生成するベクトル輪郭線生成部と、からなり、これら各装置を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置は、ソフトＣＶ領域画像の中で、認識対象となる対象物の概略範囲を選択指定するソフトＣＶ領域画像範囲選択部と、前記範囲を指定したソフトＣＶ領域画像のＲＶ値を選択指定するＲＶ選択部と、予想される複数の対象物のＲＶ値をデータベース化して記憶している部品ＤＢ部と、前記範囲のソフトＣＶ領域画像のＲＶ値と候補部品のＲＶ値とを比較し、部分一致か不一致かを決定し、不一致の場合は他の部品候補を自動選択し、完全一致の場合はそれを決定部品とし、部分一致した場合は他の候補部品と一致度合いを比較し、最も一致度の高いＲＶ値を持つ部品を決定部品とするＲＶ比較部と、前記決定部品を認識した対象物として、取得する対象物認識部と、前記範囲のＣＶ領域画像内において、ＣＶ画像からソフトＣＶ領域画像の形状を形成する要素を検出する要素分解部と、前記要素を隣接画像に追跡し、対応位置を求める要素追跡部と、要素のＣＶ値とＲＶ値から三次元形状を求める要素三次元化部と、要素の部品データベースとなる要素部品ＤＢ部と、画像から検出した要素と部品要素の形状を比較して一致を求める要素比較部と、一致した部品要素を画像から検出した要素に置換する対象物要素認識部と、からなる対象物認識装置と、前記対象物認識装置の出力から、対象物認識されたＣＶ領域画像を対象物単位で再結合するＣＶ領域画像再結合部と、それぞれの対象物毎にソフトＣＶ領域画像の幾何学的三次元結合状況を表すＪＶ値を求めるＪＶ演算部と、からなるＪＶ演算装置と、前記ＪＶ演算装置で求められた対象物単位のＪＶ値は、複数の対象物がそれぞれ区別されて配置されるように、全ソフトＣＶ領域画像にＪＶ値を付加するＪＶ付加部と、対象物認識が一部又は全て済ませた対象物認識ＣＶ領域画像を生成する対象物ＣＶ領域画像生成部と、からなる対象物分離画像生成装置と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＶＤ画像表示装置は、湧きだし点基準ＣＶ領域画像前置装置からの出力を、若しくは前記湧きだし点基準ＣＶ領域画像前置装置からの出力と同等の出力をする他の機器からの出力を、ＣＶ領域画像と共にＶＤを分離して取得するＣＶ領域画像・ＶＤ取得部と、画像の表示方法を指定する表示指定部と、ＶＤを基にして、ＣＶ領域画像を再結合して再結合画像を生成するＣＶ領域画像再結合部と、前記再結合画像を各フレームに配分して、各フレームに対応した画像を生成する画像フレーム生成部と、前記画像フレームを表示する表示部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像分割画像データベース装置は、前記湧きだし点基準ＣＶ領域画像前置装置から出力される各ＣＶ領域画像であるハードＣＶ領域画像出力、ソフトＣＶ領域画像出力、及び対象物ＣＶ領域画像出力の中の全ての画像出力、若しくは前記三者の中間段階の画像出力を、各ベクトルデータ（ＶＤ値）共に取得するＣＶ領域画像・ＶＤ取得部と、前記ＣＶ領域画像・ＶＤ取得部で取得したＶＤ値の成分であるＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、若しくはそれら何れかの内で、ＣＶ領域画像単位で、及び画像フレーム単位で重複するデータを近似化し単純化して、圧縮する重複データ圧縮部（座標系分離画像圧縮装置）と、前記圧縮データによる圧縮画像データとの対応を保持して、各ＣＶ領域画像をＣＶ領域画像圧縮して記録するＣＶ領域画像圧縮記録部と、前記各ＣＶ領域画像内に、画像及びＣＶ領域画像を検索して指定する検索指定部と、前記検索部で検索して選択した画像及びＣＶ領域画像を、前記ＣＶ領域画像圧縮記録部に記録された全画像データの中から呼び出し、解凍し、前記重複データ整理部で再構成したＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、若しくはそれらの何れかを付加した複数種類のＣＶ領域画像が混在するＣＶ領域画像を出力する解凍・出力部と、を備え、前記湧きだし点基準ＣＶ領域画像前置装置からの出力に代わって、出力する構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた視点変更装置は、前記ＣＶ領域画像データベース装置からの出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、視点変更地点を、若しくは視点変更経路を、ＣＶ値で指定する視点変更指定部と、前記ＣＶ値で指定された視点変更ＣＶ値から、視点変更時の他のＶＤを演算で求める視点変更演算部と、視点変更演算により取得されたＶＤを各画像、及び各ＣＶ領域画像に対応をつける変更ＶＤ取得部と、対応のついた前記各画像、及び各ＣＶ領域画像の画像を再構成し生成し、出力する視点変更画像生成部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像ＣＧ合成装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、前記ＣＶ領域画像に合成するべきＣＧを入力するＣＧ入力部と、前記ＣＧのＶＤを演算するＶＤ演算部と、前記ＣＶ領域画像の視点座標とＣＧの視点座標を合致させて座標を統合する視点座標統合部と、ＣＶ領域画像のＶＤと前記ＣＧのＶＤを比較演算して、表示の前後関係を決定する前後関係形成部と、視点が合致し、前後関係が決定された、前記ＣＶ領域画像と前記ＣＧとを合成して、同一座標系で表現するＣＶ領域画像ＣＧ合成部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた三次元形状生成装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、三次元形状生成を行う範囲を指定する範囲指定部と、ＣＶ領域画像に付加されたＶＤ値から三次元ポリゴンに変換演算するポリゴン変換演算部と、前記ポリゴン変換されたデータから三次元形状を生成する三次元形状生成部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画角拡大装置は、カメラを車載するなどして移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、画角拡大画像を観察する時の画角と視点方向を指定する拡大画角指定部と、画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する仮想観察視点指定部と、前記拡大画角と、前記視点方向と、前記視点移動位置を指定された時間軸上に並ぶ複数フレームのＣＶ領域画像を、指定の視点位置に視点変更演算する時間軸画像視点変更部と、前記視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのＣＶ領域画像を結合する複数画像結合部と、時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのＣＶ領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける繰り返し生成部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたロックオン表示装置は、カメラを車載するなどして移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、ＶＤを指定することにより、ロックオンすべき対象物の座標を指定する対象物座標指定部と、ロックオン表示のための視点移動経路と範囲を指定する視点移動指定部と、指定された視点移動経路に沿って、ＣＶ領域画像の視点変更を求める視点及び視点方向変換部と、変換されたＣＶ領域画像を指定経路に従って表示するロックオン表示部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた座標系分離装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、ＶＤから座標系を分離し、座標系毎のＣＶ領域画像とＶＤとに分類する座標系別ＶＤ処理部と、各座標系のＶＤを単純な関数に近似して単純化し、若しくは必要であれば、前記近似したＶＤと前記ＣＶ領域画像のＶＤとの関係を示す関数をも持ち続ける各座標系ＶＤ近似処理部と、単純な関数に近似されたことで、通信又は記録される、各座標系分離通信装置、又は各座標系分離画像記録部と、各座標系単位で画像を生成する各画像系別画像生成部と、各座標系を再度結合合成して表示する必要があれば、再結合のための各座標系合成画像生成部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像部分更新装置は、更新する画像情報を含む画像を、前記湧きだし点基準ＣＶ領域画像前置装置から出力して、ＣＶ領域画像とそのＶＤを取得する更新ＣＶ領域画像・ＶＤ取得部と、更新される旧画像情報を含む画像を、前記湧きだし点基準ＣＶ領域画像前置装置から出力して、ＣＶ領域画像とそのＶＤを取得する旧ＣＶ領域画像・ＶＤ取得部と、更新範囲を指定する更新範囲指定部と、ＶＤ値を合致させることで、更新画像の視点を旧画像の視点に変更する更新領域視点変更部と、旧画像側の更新部分を削除する更新範囲削除部と、更新部分のＣＶ領域画像を切り取って、旧ＣＶ領域画像に貼り付けて更新ＣＶ領域画像を生成する更新部分ＣＶ領域画像生成部と、最終的に領域結合して、更新画像を生成する更新画像生成部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたオルソ画像生成装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、計測機器により鉛直方向を精度良く取得する鉛直補正部と、ＣＶ領域画像の複数ポイントで絶対座標を取得する高精度位置決め部と、前記計測機器で取得した高精度の鉛直データにより、取得したＶＤ値を補正する補正ＶＤ値演算部と、前記補正ＶＤ演算部で補正されたＶＤ値と対応するＣＶ領域画像により、オルソ化対象を三次元化する三次元面生成部と、三次元化されたオルソ化対象のＣＶ領域画像をオルソ面に投影するオルソ面投影部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像高解像度化装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、再生表示しようとする動画像を取得したカメラ移動経路、若しくは仮想カメラ移動経路をＣＶ値で指定する仮想カメラ移動経路指定部と、前記動画像の各フレームを構成する各ＣＶ領域画像に関して、最も解像度の高いＣＶ領域画像を、若しくは最もカメラの近くで取得しているＣＶ領域画像を、若しくは最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する全範囲探索選択部と、前記全範囲探索選択部で選択したＣＶ領域画像を、カメラ経路を意味する前記指定ＣＶ値に前記選択したそれぞれのＣＶ領域画像を視点変更する高解像度視点変更部と、視点変更されたＣＶ領域画像から各フレーム画像を生成する高解像度化画像結合部と、記録の必要が有れば、さらに視点変更を可能とするＶＤ値を取得したＣＶ領域画像の状態で記録保存する高解像度化画像データベースと、高解像度化された動画映像を表示する場合の表示部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた運動抽出・解析装置は、前記ＣＶ領域画像データベース装置から出力される、若しくは前記視点変更装置から出力されるＣＶ領域画像を、元となる動画像を構成する複数の座標系に分離する座標系分離装置と、前記複数の座標系の中で、目的の運動する対象物のＣＶ領域画像をそのＶＤと共に選択し、抽出する運動領域抽出部と、前記抽出された運動領域のＶＤから、対象となる運動領域の運動を６自由度で表す運動領域ＶＤ解析部と、必要が有れば、前記運動領域を指定の座標系に変換して示す指定座標表示部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、検索すべきＣＶ領域画像、又はその一部、又はそれを内部に含むＣＶ領域画像を検索すべき部品として指定する検索ＣＶ領域画像部品指定部と、基準座標系における前記部品のＶＤを演算で求める検索ＣＶ領域画像部品ＶＤ演算部と、検索されるＣＶ領域画像の基準座標系におけるＶＤと、検索部品のＣＶ領域画像の基準座標系におけるＶＤとを比較し、一致度を求める基準座標ＶＤ比較部と、ＣＶ領域画像全体の中の一致度の高いＣＶ領域画像を検索結果として出力する検索ＣＶ領域画像出力部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたノイズリダクション装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、目的フレーム画像に属するＣＶ領域画像と、それに隣接するフレーム画像に属するＣＶ領域画像とで、対応する複数のＣＶ領域画像を選択する最適ＣＶ領域画像選択部と、前記隣接するフレーム画像に属するＣＶ領域画像を、前記目的フレーム画像のＣＶ値に視点変更する同一視点変更部と、前記目的フレームの視点に統一して変更したＣＶ領域画像を、重ね合わせて加算平均する領域加算平均演算部と、前記加算平均によりノイズが減少した領域を目的フレームに属するＣＶ領域画像として取得する平均ＣＶ領域画像生成部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた対象物認識装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、認識対象となる部分をＣＶ領域画像内に指定する認識ＣＶ領域画像指定部と、認識候補となる複数のＣＶ領域画像からなる部品をデータベースとして記録している部品データベース部と、認識が完了するまで、次々部品を送り出す部品送り出し部と、比較される部品のＶＤを演算で求める部品ＶＤ演算部と、前記認識対象となるＣＶ領域画像と、前記部品を基準座標系のＶＤ値で比較する基準座標ＶＤ比較部と、前記部品送り出し部から送られてくる複数の部品の中で、最も一致度の高い部品を選択して、特定する認識画像出力部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた位置決め装置は、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、取得したＣＶ領域画像から、三次元地図として精度良く利用できる複数のＣＶ領域画像部分を自動選択する地図利用選択部と、前記三次元地図として精度よく利用できるＣＶ領域画像部分を指定し、前記ＣＶ領域画像・ＶＤ取得部で取得したＣＶ領域画像内に、検索し、呼び出し、前記地図利用選択部に送る内部検索指定部と、前記地図利用選択部で選択された前記精度よく利用できる複数のＣＶ領域画像部分を、二次元特徴点、三次元特徴領域、特徴対象物等に分類し、若しくはＶＤ値等を用いて変換し、地図として生成する地図生成部と、地図と比較するため、及び表示のためのリアルタイム画像を車両等に積載したカメラから取得するリアルタイム画像取得部と、取得した前記リアルタイム画像を、概略ＣＶ演算、ＧＰＳを用いた概略位置合わせ、画像明るさ調整、等の前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施すリアルタイム画像処理部と、前記二次元特徴点、三次元特徴領域、特徴対象物等を前記リアルタイム画像の中に検索指定する外部検索指定部と、前記検索指定により、前記二次元特徴点、三次元特徴領域、特徴対象物等を、前記リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する外部検索検出部と、前記二次元特徴点、三次元特徴領域、特徴対象物等との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の前記二次元特徴点、三次元特徴領域、特徴対象物等から、リアルタイム画像のＣＶ値を演算で求めるリアルタイム画像ＣＶ値取得部と、前記リアルタイム画像ＣＶ値取得部で取得した前記リアルタイム画像のＣＶ値から、リアルタイム画像を取得したカメラの位置と姿勢を絶対座標で求めて車両位置を決定する車両位置決め部と、前記特徴対象物が持っている車両運行に関係する属性を前記リアルタイム画像内に表示するリアルタイム画像内属性表示部と、前記車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、特徴対象物等を、次回に利用する三次元地図として記録しておく、三次元地図データベース部と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた複合人工知能記憶装置は、複合人工知能装置を構成する個々の人工知能装置において、自ら取得したカメラ映像、及び認識結果を記録し、認識結果を記録する前記湧きだし点基準ＣＶ領域画像前置装置と、個々の人工知能装置から他の人工知能装置で、相互に情報をやり取りするための送信装置、及び受信装置と、他の人工知能から検索の問い合わせがあれば、前記湧きだし点基準ＣＶ領域画像前置装置のＣＶ領域画像内に検索して、前記送信機で送り返すＣＶ領域画像検索装置と、他の人工装置から対象物認識の依頼があれば、前記湧きだし点基準ＣＶ領域画像前置装置のＣＶ領域画像内で対象物認識して、前記送信機で送り返すＣＶ領域画像認識装置と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置は、管理しようとする現実の管理対象物があり、前もって、前記管理対象物及び周辺を撮影して生成した前記湧きだし点基準ＣＶ領域画像前置装置、若しくはＣＶ領域画像データベース装置の出力を記録媒体又は通信により取り入れ、一時記録したＣＶ領域画像記録部と、画像取得時のカメラ位置近傍への視点変更画像を生成する前記視点変更装置と、前記ＣＶ領域画像を表示し、動画として画像フレームが移動しても、画像とＣＶタグの三次元的位置関係を保持したまま、ＣＶタグを表示し、及びＣＶタグを開封しその内容を表示できるようにしたＣＶタグ表示装置と、前記ＣＶタグ表示装置で表示された前記ＣＶ領域画像の中の前記管理対象物の位置に対して、ＣＶ領域画像の中にＣＶタグを直接貼り付けるか、若しくはＣＶ領域画像中の前記管理対象物の三次元的位置を確認できるように、矢印などで特定できるようにしたＣＶタグを、ＣＶ領域画像の中に三次元的に配置するようにしたＣＶタグ入力装置と、ＣＶタグと前記管理対象物とを関連づける諸データを格納するＣＶタグデータベース装置と、前記ＣＶタグ表示装置、及び前記検索装置でＣＶタグを選択することで、若しくは表示されたＣＶ領域画像中の前記管理対象物をＣＶ領域画像の中にタッチスクリーンにタッチし、又はマウス等でＣＶタグをクリックして、ＣＶタグを選択することで、前記ＣＶタグデータベース装置からＣＶタグに対応する管理対象物のデータを読み出して管理するＣＶタグ対象物管理装置と、を備える構成とすることができる。
また、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置は、前記ＣＶタグ入力装置と、前記ＣＶタグデータベース装置と、前記ＣＶタグ対象物管理装置とを車両等に積載し、管理地域、及び管理対象物周辺を移動する積載移動手段を備え、前記積載移動手段にはビデオカメラを積載し、リアルタイム画像を取得し、前記リアルタイム画像にＣＶ演算を施し、リアルタイムＣＶ領域画像を取得するリアルタイムＣＶ領域画像取得装置を備え、文字、座標、属性等で検索し、ＣＶ領域画像中に管理対象物を示すＣＶタグそのものを、若しくはＣＶ領域画像中の管理対象物の画像そのものを、色の変化やフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示するＣＶタグ自動検索装置と、当該ＣＶタグ入出力検索装置の外側にあって、記録媒体により、若しくは通信により、当該ＣＶタグ入出力検索装置内側の管理地域及びその周辺のＣＶ領域画像地図を前記ＣＶ領域画像記録部に一時記憶して保持させる、外部ＣＶ領域画像地図データベース部と、当該ＣＶタグ入出力検索装置の外側にあって、記録媒体により、若しくは通信により、当該ＣＶタグ入出力検索装置内側の管理地域及びその周辺のＣＶタグとその属性情報を前記ＣＶタグデータベース装置に一時記憶して保持させる、外部ＣＶタグデータベース部とからなる外部データベース装置と、を備え、前記移動体には、移動体の絶対座標を取得するＧＰＳ位置決め装置と、取得した前記リアルタイムＣＶ領域画像と前記ＣＶ領域画像地図から、位置あわせをして取得した新旧画像更新装置とを保持する移動体位置決め手段を備え、前記移動体位置決め手段と時刻、及び入力した走行目的等より、車両の現在時刻と現在位置と現在状況に関係している管理対象物のＣＶタグを選択的に自動表示するＣＶタグ自動表示装置とを備え、若しくは、前記全ての装置と前記全ての手段の内の、その一部装置と一部手段を選択的に備える構成とすることができる。
さらに、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置は、前記ＣＶタグ表示装置の機能を含み、選択及び検索した管理対象物を、管理対象物を画像の決められた位置に固定して表示する動画ロックオン機能と、縮尺の異なる複数のＣＶ領域画像地図を表示し、しかも座標系を統一して、同じＣＶタグを前記複数のＣＶ領域画像地図上に表示する機能と、ＣＶ領域画像地図と二次元地図を同時に表示し、二次元地図上にもＣＶタグを表示する機能と、選択及び検索した管理対象物を、前記ＣＶ領域画像地図と同じように、前記リアルタイムＣＶ領域画像にＣＶタグを表示する機能と、選択及び検索した管理対象物を、ＣＶ領域画像上に表示せずに、ヘッドマウント、又はハーフミラー等により、移動する車両等から直接観察する現実世界の管理対象物に重複して合成した、ＣＶタグや案内矢印や看板を示す機能と、選択及び検索した管理対象物に関するＣＶタグの内容を、音声で案内表示する機能と、前記各機能の全部又は一部の機能を有するＣＶタグ表示装置を備える構成とすることができる。
以上のような構成からなる本発明の湧きだし点基準ＣＶ領域画像前置装置によれば、これまでのＣＶ画像をさらに発展させ、ＣＧと同じように切り貼り、パーツ交換、視点変更も自由にできる画像に進化させ、画像を、湧きだし点を基準として、ＣＶ領域画像に分割し、各ＣＶ領域画像にＣＶ値のみならず、ＴＶ演算によりＴＶ値を、ＲＶ演算によりＲＶ値を、ＪＶ演算でＪＶ値を持たせることで、画像を自由に扱えるようになる。一つのＣＶ領域画像をあたかも一つのＣＶ画像として扱うことで、画像を自由自在の扱うことが可能となった（湧きだし点、ＴＶ、ＲＶ、ＪＶに関しては後述する）。
また、本発明は、ＣＶ値を用いた三次元処理をしているが、ＣＧのような三次元データではないので、データ量もかなり圧縮できることになった。
そして、これらを可能にしたのは、本発明により動画像の新しい解析手段を取得したことにある。
また、本発明は、ＣＶ値を用いた三次元処理をしているが、ＣＧのような三次元データではないので、データ量もかなり圧縮できることになった。
そして、これらを可能にしたのは、本発明により動画像の新しい解析手段を取得したことにある。
本発明は、本願発明者の提案による全周画像によるＣＶ画像の利用（特開２００５−２９５４９５号）に、本願発明者による動画像における「湧きだし点」と「吸い込み点」の概念を導入したものである。
本発明の元となっているＣＶ演算及びＣＶ値（特開２００５−２９５４９５号）は、全周カメラによる動画像の球面画像から生まれた。動画像を球面画像として扱うことで焦点距離及び光軸の概念から解放され、動画像を視覚に適したかたちで二次元面を持ったまま、古典的な三角測量の原理に戻って三次元化し、簡単に取り扱うことができるようになった。
そして、本発明による動画像における単純化された「湧きだし点」と「吸い込み点」の概念の導入により、動画像処理が面のまま単純化されて三次元化し、動画像の領域分割及びそのトラッキングが容易となり、全画素トラッキングも可能となったことで、さらに進展した。
本発明の元となっているＣＶ演算及びＣＶ値（特開２００５−２９５４９５号）は、全周カメラによる動画像の球面画像から生まれた。動画像を球面画像として扱うことで焦点距離及び光軸の概念から解放され、動画像を視覚に適したかたちで二次元面を持ったまま、古典的な三角測量の原理に戻って三次元化し、簡単に取り扱うことができるようになった。
そして、本発明による動画像における単純化された「湧きだし点」と「吸い込み点」の概念の導入により、動画像処理が面のまま単純化されて三次元化し、動画像の領域分割及びそのトラッキングが容易となり、全画素トラッキングも可能となったことで、さらに進展した。
また、本発明では、処理後のデータの扱いを容易にするため、ＣＶ演算から発展した各演算によって取得したＣＶ、ＴＶ、ＲＶ、ＪＶ値、（まとめてＣＴＲＶ値と表現し、また、それぞれをベクトルデータ「ＶＤ」と呼称する）を持つデータベースを構築することでこれを実現するものである。
そのデータの持ち方には進化に応じた複数段階があり、それぞれのデータベースを構築し、目的に応じて選択することができる。
最終段階では対象物認識をしているので、人工知能に近いものとなっている。
そのデータの持ち方には進化に応じた複数段階があり、それぞれのデータベースを構築し、目的に応じて選択することができる。
最終段階では対象物認識をしているので、人工知能に近いものとなっている。
ＣＶ領域画像は画像を三次元として扱うことが可能となり、様々な応用展開が可能となる。
ＣＶ値のみのＣＶ画像データベース装置による応用例は、○動画像とＣＧの合成装置（３１）、○動画像からの三次元座標取得（３２）、対象物を常に定位置で観察するロックオン表示装置（３３）、回転揺れ止め画像生成装置・揺れ止め制御装置（３４）、○画像内計測・画像間計測装置（３５）、○新旧画像更新装置（３６）、○ＣＶ画像地図（３７）、○車載カメラによる自動車位置決め、及びその応用による実写ナビゲーションシステム（４１）、○画像の三次元ポリゴン化（４２）、○路面オルソ化地図生成システム（４３）、等が既に本願発明者により実現されている。
ここで、上記の応用例はＣＶ画像データベース（ＤＢ）によるが、本発明に係るＣＶ領域画像データベース装置によれば、さらに効率化されて実現されることになる。
ＣＶ値のみのＣＶ画像データベース装置による応用例は、○動画像とＣＧの合成装置（３１）、○動画像からの三次元座標取得（３２）、対象物を常に定位置で観察するロックオン表示装置（３３）、回転揺れ止め画像生成装置・揺れ止め制御装置（３４）、○画像内計測・画像間計測装置（３５）、○新旧画像更新装置（３６）、○ＣＶ画像地図（３７）、○車載カメラによる自動車位置決め、及びその応用による実写ナビゲーションシステム（４１）、○画像の三次元ポリゴン化（４２）、○路面オルソ化地図生成システム（４３）、等が既に本願発明者により実現されている。
ここで、上記の応用例はＣＶ画像データベース（ＤＢ）によるが、本発明に係るＣＶ領域画像データベース装置によれば、さらに効率化されて実現されることになる。
次に、本発明に係るＣＶ領域画像データベースではじめて実現される様々な応用例について列挙する。
○座標系分離画像圧縮・記録装置（５１）、○視点移動・中間フレーム生成装置（２）、○移動体抽出・運動解析装置（５３）、○高解像度化画像生成装置（５４）、○ＣＶ領域画像運動抽出・検索・解析装置（５５）、○ノイズリダクション装置（６１）、○ＣＶ領域画像差し換え画像生成装置（６２）、○対象物運動抽出・解析装置（７１）、○PRM画像圧縮装置（７２）、○複合人工知能記憶装置（７４）、○ＶＤ画像表示装置（７５）等が実現される。
このようにして、本発明は多くの新産業を生み出し、確実に未来技術の核となり、産業のプラットホームとして位置付けることができる。
○座標系分離画像圧縮・記録装置（５１）、○視点移動・中間フレーム生成装置（２）、○移動体抽出・運動解析装置（５３）、○高解像度化画像生成装置（５４）、○ＣＶ領域画像運動抽出・検索・解析装置（５５）、○ノイズリダクション装置（６１）、○ＣＶ領域画像差し換え画像生成装置（６２）、○対象物運動抽出・解析装置（７１）、○PRM画像圧縮装置（７２）、○複合人工知能記憶装置（７４）、○ＶＤ画像表示装置（７５）等が実現される。
このようにして、本発明は多くの新産業を生み出し、確実に未来技術の核となり、産業のプラットホームとして位置付けることができる。
本発明の湧きだし点基準ＣＶ領域画像前置装置によれば、画像を湧きだし点を基準としてＣＶ領域画像に分割し、各ＣＶ領域画像にＣＶ値のみならず、ＴＶ演算によりＴＶ値を、ＲＶ演算によりＲＶ値を、ＪＶ演算でＪＶ値を持たせることで、画像を自由に扱うことができる。
以下、本発明に係る湧きだし点基準ＣＶ領域画像前置装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の湧きだし点基準ＣＶ領域画像前置装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，ＣＶ（カメラベクトル）値の演算等を行わせる。
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
ここで、以下に示す本発明の湧きだし点基準ＣＶ領域画像前置装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，ＣＶ（カメラベクトル）値の演算等を行わせる。
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
［用語の定義］
まず、本明細書で用いられる特殊用語の定義と解説について説明する。
「ＣＶ演算、ＣＶ値、ＣＶ画像」
画像を取得したカメラ位置と姿勢の三次元座標と角度を６変数で、画像の各フレームについて求めたものがＣＶ値であり、それを求める演算がＣＶ演算であり、ＣＶ値が求められた画像をＣＶ画像（ＣＶ映像）という。
代表する座標系とカメラ位置と姿勢が既知となったことで、複数のフレームから対象の三次元座標が求められる。
ＣＶはカメラベクトルの略称であり、ＣＶ値はＣＶ演算の結果得られたカメラベクトルを表す６変数で、各フレームにＣＶ値を付加した画像をＣＶ画像という。
ただし、回転揺れ止めしたＣＶ値は回転に属する３変数が定数となるため、回転揺れ止めした画像においては、ＣＶ値を残りの位置に関する３変数で表すことがある。
（特開２００５−２９５４９５号、特開２００５−１２２３１５号参照）
まず、本明細書で用いられる特殊用語の定義と解説について説明する。
「ＣＶ演算、ＣＶ値、ＣＶ画像」
画像を取得したカメラ位置と姿勢の三次元座標と角度を６変数で、画像の各フレームについて求めたものがＣＶ値であり、それを求める演算がＣＶ演算であり、ＣＶ値が求められた画像をＣＶ画像（ＣＶ映像）という。
代表する座標系とカメラ位置と姿勢が既知となったことで、複数のフレームから対象の三次元座標が求められる。
ＣＶはカメラベクトルの略称であり、ＣＶ値はＣＶ演算の結果得られたカメラベクトルを表す６変数で、各フレームにＣＶ値を付加した画像をＣＶ画像という。
ただし、回転揺れ止めしたＣＶ値は回転に属する３変数が定数となるため、回転揺れ止めした画像においては、ＣＶ値を残りの位置に関する３変数で表すことがある。
（特開２００５−２９５４９５号、特開２００５−１２２３１５号参照）
「湧きだし点」
カメラ移動による動画像、又は相対的に対象物とカメラの位置関係が刻々変化する場合には、着目する座標系おいて、湧きだし点から吸い込み点に向かって画像が湧き出してくるように見える。これは元々回転静止した二画面の間に定義される二次元画像上の一点であり、カメラベクトル（ＣＶ）値から求められる。
動画像において回転揺れ止めが成されていなければ湧きだし点は求められない。
a地点及びb地点の揺れ止めされた回転静止系におけるＣＶ値はCVa =（Xa,Ya,Za） CVb=(Xb,Yb,Zb) とすると、湧きだし点ベクトルＳＶは、それぞれの成分の差 SV=(ΔX,ΔY,ΔZ)で表される。
「湧きだし点」と「吸い込み点」の概念は、本願発明者が初めて提案した新しい概念である。
カメラ移動による動画像、又は相対的に対象物とカメラの位置関係が刻々変化する場合には、着目する座標系おいて、湧きだし点から吸い込み点に向かって画像が湧き出してくるように見える。これは元々回転静止した二画面の間に定義される二次元画像上の一点であり、カメラベクトル（ＣＶ）値から求められる。
動画像において回転揺れ止めが成されていなければ湧きだし点は求められない。
a地点及びb地点の揺れ止めされた回転静止系におけるＣＶ値はCVa =（Xa,Ya,Za） CVb=(Xb,Yb,Zb) とすると、湧きだし点ベクトルＳＶは、それぞれの成分の差 SV=(ΔX,ΔY,ΔZ)で表される。
「湧きだし点」と「吸い込み点」の概念は、本願発明者が初めて提案した新しい概念である。
さらに、湧きだし点の概念を動画像に発展させ、動画像を湧きだし点基準で近似し、分類整理することで、動画像の動きを単純化して、整理することができる。
動画像において湧きだし点を求めるには画像の回転揺れ止めを行う必要がある。ＣＶ値の回転成分から回転成分を取得し、動画像に回転補正を施し、回転揺れ止め（特開２００５−２９５４９５号参照）を行った動画像間の移動ベクトルは吸い込み点方向から湧きだし点方向を示している。
湧きだし点と、その反対側には吸い込み点がある。両者は画像内にある場合と無い場合がある。静止している場合には湧きだし点も吸い込み点も特定できないが、カメラが移動する場合には必ず存在している。
動画像において湧きだし点を求めるには画像の回転揺れ止めを行う必要がある。ＣＶ値の回転成分から回転成分を取得し、動画像に回転補正を施し、回転揺れ止め（特開２００５−２９５４９５号参照）を行った動画像間の移動ベクトルは吸い込み点方向から湧きだし点方向を示している。
湧きだし点と、その反対側には吸い込み点がある。両者は画像内にある場合と無い場合がある。静止している場合には湧きだし点も吸い込み点も特定できないが、カメラが移動する場合には必ず存在している。
画像を球面で表したメルカトール図法では、画像の中に湧きだし点と吸い込み点の両方が位置する。全周画像において、画像の各点は湧きだし点から大円上を移動して吸い込み点に至る放射状に出る曲線上を移動する。全周画像以外の部分画像であっても、全周画像の一部として扱えば全周画像とまったく同じように処理可能である。メルカトール図法では移動の軌跡は曲線となるが、大円上を移動するので、最終的に一次関数にまで変換可能である。一次関数への変換については以下の「ＴＶ値」の項目を参照。
（特開２００５−２９５４９５号、特開２００５−１２２３１５号参照）
（特開２００５−２９５４９５号、特開２００５−１２２３１５号参照）
具体的には、図１４（ａ）に示すように、回転揺れ止めした画像３１１を遠近法図法（平面展開図法）で表現した場合には、画像の各画素３１３は湧きだし点３１２から湧き出る直線３１４となる。また、一般に平面展開図法では、湧きだし点、吸い込み点の両方が同時に画像に現れることはなく、どちらも画像に現れないときもある。
トラッキング時にはブロック化して画像上を追跡のが一般的であるが、その方法は多数ある。一例として、図１４（ｂ）には、湧きだし点から放射状に出る直線と垂直線が作るブロックを単位として、ブロック３１５を生成することができる。
トラッキング時にはブロック化して画像上を追跡のが一般的であるが、その方法は多数ある。一例として、図１４（ｂ）には、湧きだし点から放射状に出る直線と垂直線が作るブロックを単位として、ブロック３１５を生成することができる。
「ＣＶ領域画像」
ＣＶ領域画像とは、「ＣＶ画像から生成される湧きだし点基準による一次元トラッキング領域画像」のことである。
ＣＶ領域画像にはハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像の三種類があり、これらを区別しないときは単にＣＶ領域画像という。
ただし、ＣＶ領域画像を生成する過程で、未だＣＶ領域画像化されていない部分の領域も一つのＣＶ領域画像として扱うこともある。
ＣＶ領域画像とは、「ＣＶ画像から生成される湧きだし点基準による一次元トラッキング領域画像」のことである。
ＣＶ領域画像にはハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像の三種類があり、これらを区別しないときは単にＣＶ領域画像という。
ただし、ＣＶ領域画像を生成する過程で、未だＣＶ領域画像化されていない部分の領域も一つのＣＶ領域画像として扱うこともある。
「ハードＣＶ領域画像」
ハードＣＶ領域画像とは、画像を分割したブロック形状のＣＶ領域画像の意味である。
画像処理を目的として画像を決まった形で分割する場合、通常は８＊８〜１０＊１０程度の矩形ブロックに分割するが、以下のソフトＣＶ領域画像と区別するため、画像や画像内の対象物に依存せずに決まった形に分割したＣＶ領域画像をハードＣＶ領域画像と言う。
具体的処理の場合には分割した矩形をブロックと称することもある。正確にはハードＣＶ領域画像の一部にブロックは含まれる。
ハードＣＶ領域画像とは、画像を分割したブロック形状のＣＶ領域画像の意味である。
画像処理を目的として画像を決まった形で分割する場合、通常は８＊８〜１０＊１０程度の矩形ブロックに分割するが、以下のソフトＣＶ領域画像と区別するため、画像や画像内の対象物に依存せずに決まった形に分割したＣＶ領域画像をハードＣＶ領域画像と言う。
具体的処理の場合には分割した矩形をブロックと称することもある。正確にはハードＣＶ領域画像の一部にブロックは含まれる。
「ソフトＣＶ領域画像」
ソフトＣＶ領域画像とは、画像を画像中の対象物に依存する形で、柔軟に分割した場合のＣＶ領域画像の意味であり、通常、一つの対象物は複数のソフトＣＶ領域画像からなる。
ハードＣＶ領域画像と区別して、画像と画像中の対象物に依存して分割されたＣＶ領域画像をソフトＣＶ領域画像という。
ソフトＣＶ領域画像とは、画像を画像中の対象物に依存する形で、柔軟に分割した場合のＣＶ領域画像の意味であり、通常、一つの対象物は複数のソフトＣＶ領域画像からなる。
ハードＣＶ領域画像と区別して、画像と画像中の対象物に依存して分割されたＣＶ領域画像をソフトＣＶ領域画像という。
「ブロック」
ハードＣＶ領域画像の具体的な分割した矩形の形状をブロックという。
処理上、ハードＣＶ領域画像は幾何学的に単純化する必要があり、ブロック化されることがほとんどなので、ブロックと呼称する場合がある。
ハードＣＶ領域画像の具体的な分割した矩形の形状をブロックという。
処理上、ハードＣＶ領域画像は幾何学的に単純化する必要があり、ブロック化されることがほとんどなので、ブロックと呼称する場合がある。
「ＴＶ演算、ＴＶ値、ＴＶ画像」
回転揺れ止めした動画像において、その代表座標系に属する全ての対象物が画像中を移動する場合の軌跡は、湧きだし点から、吸い込み点に至る線上を移動する軌跡となる。
ＴＶ値を求める演算をＴＶ演算と言うが、ＴＶ演算には先ず画像の各点を動画を構成している隣接フレームに亘って追跡する作業、すなわちトラッキングが必要である。
通常トラッキングをするには画像を小領域のブロックに分割して、それを画像上に追跡する。８＊８〜１０＊１０程度が通常使われるブロックのサイズである。
回転揺れ止めした動画像において、その代表座標系に属する全ての対象物が画像中を移動する場合の軌跡は、湧きだし点から、吸い込み点に至る線上を移動する軌跡となる。
ＴＶ値を求める演算をＴＶ演算と言うが、ＴＶ演算には先ず画像の各点を動画を構成している隣接フレームに亘って追跡する作業、すなわちトラッキングが必要である。
通常トラッキングをするには画像を小領域のブロックに分割して、それを画像上に追跡する。８＊８〜１０＊１０程度が通常使われるブロックのサイズである。
ところで、湧きだし点が既知となり、回転揺れ止めした動画像のトラッキングは、カメラの直線移動距離が既知であれば、或いは等速運動であれば、ブロック移動軌跡は二次元を取らず、湧きだし点を通る一次元となり、その移動経路は完全に一次元で予想される。トラッキングは画像内での画像フレームの時間の単位で進行する画像内距離として取得されるので、ＴＶ値も画像内距離として表現できるが、その後の画像処理のためにはＴＶ値は時間及び速度に依存しない方が良い場合が多い。そこでトラッキングデータを移動距離で微分して、カメラの単位移動当たりの画素として、すなわちカメラ移動距離の関数としてＴＶ値を表現するのが好ましい。
また平面展開図法では、この時のＴＶ値はカメラからブロックまでの垂直距離（ブロック移動面までの距離）の逆数とブロック移動速度は比例し、最終的には一次関数で関連づけられる。自由度は１なので数学的に扱いやすく、一次関数に変換が可能であり演算にもきわめて有利である。
また平面展開図法では、この時のＴＶ値はカメラからブロックまでの垂直距離（ブロック移動面までの距離）の逆数とブロック移動速度は比例し、最終的には一次関数で関連づけられる。自由度は１なので数学的に扱いやすく、一次関数に変換が可能であり演算にもきわめて有利である。
そこで、カメラの移動を直線近似できる範囲をセグメント区間と定め、そのセグメント区間の直線からのズレ成分をセグメント位置揺らぎと呼称する。
このセグメント位置揺らぎのトラッキングをＣＶ値で補正して、トラッキングデータを一次関数で表すことになる。また、車載したカメラから撮影したような画像であれば、位置揺らぎを無視できるので、そのままＴＶ値としてもかまわない。
この一次関数で表現された線上のトラッキング演算をＴＶ演算、その値をＴＶ値、画像の各部分にＴＶ値を付加した画像をＴＶ画像と呼称する。
一般にＣＶ領域画像は、前記セグメント区間の集合として表現され、１領域画像は１セグメント区間で一つのＴＶ値を持つことになる。
このセグメント位置揺らぎのトラッキングをＣＶ値で補正して、トラッキングデータを一次関数で表すことになる。また、車載したカメラから撮影したような画像であれば、位置揺らぎを無視できるので、そのままＴＶ値としてもかまわない。
この一次関数で表現された線上のトラッキング演算をＴＶ演算、その値をＴＶ値、画像の各部分にＴＶ値を付加した画像をＴＶ画像と呼称する。
一般にＣＶ領域画像は、前記セグメント区間の集合として表現され、１領域画像は１セグメント区間で一つのＴＶ値を持つことになる。
ここで、湧きだし点から吸い込み点に向かって湧き出すように移動する各画素の軌跡は一般に或る曲線を描くが、位置揺らぎがあるので、位置揺らぎが無視できるときはそのまま一次関数への変換が可能である。
数学的には、二次元面のトラッキングデータをＣＶ値により位置揺らぎ成分を正しく補正することができる。従って、ＴＶ値は正確に一次関数に変換可能である。このように元々二次元であるトラッキングデータを一次元に、すなわち一次関数のＴＶ値に単純化し、しかもそこから三次元データとして扱うＶＤを生み出すことに重要な意味がある。
すなわち、ＴＶ値は、追跡範囲を自由度１までに単純して限定することができることになり演算が単純化され画像処理上きわめて有利となる。
数学的には、二次元面のトラッキングデータをＣＶ値により位置揺らぎ成分を正しく補正することができる。従って、ＴＶ値は正確に一次関数に変換可能である。このように元々二次元であるトラッキングデータを一次元に、すなわち一次関数のＴＶ値に単純化し、しかもそこから三次元データとして扱うＶＤを生み出すことに重要な意味がある。
すなわち、ＴＶ値は、追跡範囲を自由度１までに単純して限定することができることになり演算が単純化され画像処理上きわめて有利となる。
一次関数で表したＴＶ画像は直線運動する仮想カメラからの映像となるので、視覚的には都合がよい。ＣＶ値から何時でも位置揺らぎを持った画像に復元可能であり、また回転揺れ止めした画像もその回転揺れをＣＶ値から復元可能である。ただし、視覚的には復元しない方が見やすいので、敢えて位置揺らぎと回転揺れを再現する必要はないことが多い。カメラを手に持って撮影した画像よりも三脚に載せた画像の方が見やすいのと同じ意味である。
ただし、ここで重要なことは湧きだし点と吸い込み点は回転揺れ止め動画像上に定義した点であり、回転揺れ止め画像でなければ定義できないことである。
ただし、ここで重要なことは湧きだし点と吸い込み点は回転揺れ止め動画像上に定義した点であり、回転揺れ止め画像でなければ定義できないことである。
「ＲＶ演算、ＲＶ値、ＲＶ画像」
カメラの位置及び姿勢とソフトＣＶ領域画像において、カメラと画像との関係は相対的であり、カメラを固定して画像の一部分の位置と姿勢の三次元ベクトルで表すことが可能である。このように、カメラを固定として、画像の一部分の三次元ベクトルをＲＶ値という。その６自由度変数を求めることをＲＶ演算という。
RVは Regional Vectorの頭文字である。
カメラの位置及び姿勢とソフトＣＶ領域画像において、カメラと画像との関係は相対的であり、カメラを固定して画像の一部分の位置と姿勢の三次元ベクトルで表すことが可能である。このように、カメラを固定として、画像の一部分の三次元ベクトルをＲＶ値という。その６自由度変数を求めることをＲＶ演算という。
RVは Regional Vectorの頭文字である。
ＣＶ値付きのＴＶ値とＲＶ値とは常に座標系の分類を示す定数項を介在して、一対一の関係にあり、座標系を選択すれば何時でも互いに変換できる関係にある。
或るＣＶ領域画像においては、ＣＶ値とＲＶ値は互いに変換できる関係にある。
画像を構成する複数の座標系それぞれにＣＶ値を定義することが可能であるが、ＣＶ値はこれまで動画像を代表する一個の座標系に対して一個のＣＶ値を定義してきたので、しかも、カメラ側に定義してきたベクトルであるので、ここで複数の座標系に対して複数のＣＶ値を定義すると、理解の混乱を起こす危惧があるため、ここではＣＶ値は従来通り動画像を代表する座標系に対してのみ定義し、それ以外はＲＶ値として、座標系とカメラの関係をＣＶ値と同じ６自由度の変数で表示することになる。従って次元及びその意味合いはＣＶ値と同等であり、変換可能な状況にある。
或るＣＶ領域画像においては、ＣＶ値とＲＶ値は互いに変換できる関係にある。
画像を構成する複数の座標系それぞれにＣＶ値を定義することが可能であるが、ＣＶ値はこれまで動画像を代表する一個の座標系に対して一個のＣＶ値を定義してきたので、しかも、カメラ側に定義してきたベクトルであるので、ここで複数の座標系に対して複数のＣＶ値を定義すると、理解の混乱を起こす危惧があるため、ここではＣＶ値は従来通り動画像を代表する座標系に対してのみ定義し、それ以外はＲＶ値として、座標系とカメラの関係をＣＶ値と同じ６自由度の変数で表示することになる。従って次元及びその意味合いはＣＶ値と同等であり、変換可能な状況にある。
また、ＲＶ値は基準となる画像では、代表座標系と一致し、その後時間と共に代表座標系から移動するように初期値を取ることが好ましい。このようにすることで、静止座標系に一致しているときは、６変数全て静止座標系と一致するので、データとして扱いやすくなる。
一般にＲＶ画像はＴＶ値から演算で求められるので、ＴＶ値はＲＶ値と重複するデータである。
一般にＲＶ画像はＴＶ値から演算で求められるので、ＴＶ値はＲＶ値と重複するデータである。
「ＪＶ演算、ＪＶ値、ＪＶ画像」
対象物認識後にソフトＣＶ領域画像の各関係を求める演算をＪＶ演算といい、認識された対象物を構成する複数のＣＶ領域画像及びそのＲＶ値を、対象物単位で区別する結合変数である。一般に認識された対象物は複数のＣＶ領域画像から構成されており、その時各ＣＶ領域に与えられ、同一対象物に属するＣＶ領域画像の三次元関係を求めることをＪＶ演算、その値をＪＶ値、ＪＶ値を取得した画像をＪＶ画像という。
一般にＪＶ画像は、ＣＶ値、ＲＶ値とを同時に扱われる。
対象物認識後にソフトＣＶ領域画像の各関係を求める演算をＪＶ演算といい、認識された対象物を構成する複数のＣＶ領域画像及びそのＲＶ値を、対象物単位で区別する結合変数である。一般に認識された対象物は複数のＣＶ領域画像から構成されており、その時各ＣＶ領域に与えられ、同一対象物に属するＣＶ領域画像の三次元関係を求めることをＪＶ演算、その値をＪＶ値、ＪＶ値を取得した画像をＪＶ画像という。
一般にＪＶ画像は、ＣＶ値、ＲＶ値とを同時に扱われる。
「ＶＤ（ベクトルデータ）」
ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値を総称してＶＤ（ベクトルデータ）と呼ぶ。
上記独立に決まるＶＤに重複する従属変数となるが、湧きだし点ベクトルの値、SP値もＶＤに含める場合がある。
また、ＣＶ値とＲＶ値はＴＶ値から演算で求められるので、ＣＶ領域画像がＶＤを持つ場合、既にＲＶ値を持つ場合はその中にＴＶ値を含まない場合もある。
ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値を総称してＶＤ（ベクトルデータ）と呼ぶ。
上記独立に決まるＶＤに重複する従属変数となるが、湧きだし点ベクトルの値、SP値もＶＤに含める場合がある。
また、ＣＶ値とＲＶ値はＴＶ値から演算で求められるので、ＣＶ領域画像がＶＤを持つ場合、既にＲＶ値を持つ場合はその中にＴＶ値を含まない場合もある。
「ゴム紐結合、ゴム紐切断」
画像をブロック分割して、それぞれのトラッキングデータを求めようとする場合、自己相関値がピークを持つような特徴点ブロックは追跡可能であるが、それ以外のブロックは追跡点が一義的には定まらない。
そこで、特徴ブロックとそれ以外のブロックに対して、後の処理において特徴点が移動してもその二次元配列順番を変えずにゴム紐状に伸び縮するように、柔軟結合しておくことをゴム紐結合部と呼ぶ。
ゴム紐結合することで、特徴点ブロック以外のブロックでも仮想のトラッキングデータを取得することができるようになった。
ただし、ゴム紐結合したために却ってトラッキングデータに矛盾が発生することがある。その時にはその矛盾の発生した場所で、ゴム紐を切断する作業を行う必要がある。このように一旦ゴム紐結合した一部分を切断することをゴム紐切断という。
画像をブロック分割して、それぞれのトラッキングデータを求めようとする場合、自己相関値がピークを持つような特徴点ブロックは追跡可能であるが、それ以外のブロックは追跡点が一義的には定まらない。
そこで、特徴ブロックとそれ以外のブロックに対して、後の処理において特徴点が移動してもその二次元配列順番を変えずにゴム紐状に伸び縮するように、柔軟結合しておくことをゴム紐結合部と呼ぶ。
ゴム紐結合することで、特徴点ブロック以外のブロックでも仮想のトラッキングデータを取得することができるようになった。
ただし、ゴム紐結合したために却ってトラッキングデータに矛盾が発生することがある。その時にはその矛盾の発生した場所で、ゴム紐を切断する作業を行う必要がある。このように一旦ゴム紐結合した一部分を切断することをゴム紐切断という。
「ＰＲＭ」
ＰＲＭとは、Parts Reconstruction Method（３Ｄ対象物認識方法）の略であり、本願発明者により開発された対象物を認識するための技術である（国際出願PCT/JP01/05387号（国際公開WO 02/01505）参照）。具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また、対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
ＰＲＭとは、Parts Reconstruction Method（３Ｄ対象物認識方法）の略であり、本願発明者により開発された対象物を認識するための技術である（国際出願PCT/JP01/05387号（国際公開WO 02/01505）参照）。具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また、対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
具体的には、信号機であれば、その三次元形状を取得しただけでは「検出」であり、座標と姿勢まで分かれば「特定」であるが、信号機という名称が分かり、３個のライトが赤青黄に変化し、それぞれの交通上の意味を理解しているときに、属性を理解（認識）したということができる。
なお、ＰＲＭ認識によって、あらゆる監視対象物（予測される対象物、障害物、不審物等）が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
（特開２００５−１２２３１５号、特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号参照）
なお、ＰＲＭ認識によって、あらゆる監視対象物（予測される対象物、障害物、不審物等）が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
（特開２００５−１２２３１５号、特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号参照）
「複合人工知能記憶装置」
現実世界の中の複数の対象物にカメラを取り付け、ＣＶ画像を取得し、互いに位置関係を確認し、属性を持ち、互いに情報をやり取りし、判断する人工知能を複合人工知能記憶装置という。
現実世界の中の複数の対象物にカメラを取り付け、ＣＶ画像を取得し、互いに位置関係を確認し、属性を持ち、互いに情報をやり取りし、判断する人工知能を複合人工知能記憶装置という。
「ＣＶタグ」
ＣＶ画像中に情報の出入り口として、ＣＶタグを配置することができる。特開２００５−２９５４９５号、特開２００５−１２２３１５号に本発明者によるＣＶタグに関する発明がある。（実写アイコン、ＣＧアイコンという名称で記載されている。）
ＣＶタグの機能としてはＣＧアイコン及び実写アイコンと基本的に同じである。
ＣＶタグの置き方としては、ＣＶ画像の中の対象物に重ねて、又は対象物から多少離した仮想位置に対象物を特定する位置に設置し、情報の出入り口とする。
ＣＶ画像には、アイコンのように情報のやり取りをするタグを貼り付けることができる。また、ＣＶ画像では、画像の中の対象物、又は画素そのものが三次元座標を持っていることから、対象物そのものをタグとして利用することができる。
ＣＶタグとしては、本願発明者による特開２００５−２９５４９５号及び特開２００５−１２２３１５号から明らかなように、ＣＶタグには実写をそのままＣＶタグとして利用する方法と、小型のＣＧをタグとして貼り付ける方法の二種類が考えられる。
ＣＶ画像中に情報の出入り口として、ＣＶタグを配置することができる。特開２００５−２９５４９５号、特開２００５−１２２３１５号に本発明者によるＣＶタグに関する発明がある。（実写アイコン、ＣＧアイコンという名称で記載されている。）
ＣＶタグの機能としてはＣＧアイコン及び実写アイコンと基本的に同じである。
ＣＶタグの置き方としては、ＣＶ画像の中の対象物に重ねて、又は対象物から多少離した仮想位置に対象物を特定する位置に設置し、情報の出入り口とする。
ＣＶ画像には、アイコンのように情報のやり取りをするタグを貼り付けることができる。また、ＣＶ画像では、画像の中の対象物、又は画素そのものが三次元座標を持っていることから、対象物そのものをタグとして利用することができる。
ＣＶタグとしては、本願発明者による特開２００５−２９５４９５号及び特開２００５−１２２３１５号から明らかなように、ＣＶタグには実写をそのままＣＶタグとして利用する方法と、小型のＣＧをタグとして貼り付ける方法の二種類が考えられる。
ＣＶタグとして、実写画像をそのままＣＶタグとして用いる方法の特徴は、画像中の対象物全てがＣＶタグとして利用できることである。画像の持つ座標系とＣＶタグの座標系を共通にすることで、三次元座標そのものがタグの位置であり、目に見えないタグとして配置することができる。ただし、ＣＶタグの位置がピンポイントでは検索が困難となるので、二次元的に或いは三次元的に範囲を指定して、その範囲をタグ領域とすればよい。
実写型ＣＶタグは実写そのものを用いるので、タグは目では見えないことになり、映像を観察するときに障害とは成らない点がＣＧ方式に比べて有利である。また、ＣＶ画像からタグの位置を指定したり検索するためには、画像内でその都度三次元計測をしなければならない。この点がＣＧ方式に比べて不利である。
一方、ＣＧによるＣＶタグは、三次元計測した位置にタグとしてのＣＧを配置することになる。配置するには三次元計測する点では実写方式と同じであるが、また、読み出しや検索の場合はＣＧが既に三次元座標を持っていることから、その場での再度三次元計測をせずにＣＧを直接クリックすることで、その三次元座標を取得できるので、処理が簡単になる。この点が実写型と比較して有利な点である。
実写型ＣＶタグは実写そのものを用いるので、タグは目では見えないことになり、映像を観察するときに障害とは成らない点がＣＧ方式に比べて有利である。また、ＣＶ画像からタグの位置を指定したり検索するためには、画像内でその都度三次元計測をしなければならない。この点がＣＧ方式に比べて不利である。
一方、ＣＧによるＣＶタグは、三次元計測した位置にタグとしてのＣＧを配置することになる。配置するには三次元計測する点では実写方式と同じであるが、また、読み出しや検索の場合はＣＧが既に三次元座標を持っていることから、その場での再度三次元計測をせずにＣＧを直接クリックすることで、その三次元座標を取得できるので、処理が簡単になる。この点が実写型と比較して有利な点である。
ところで、ＣＧを用いたＣＶタグは、実写型と異なりタグが映像中に見えることになる。映像観察上不利になることはあるが、見えた方が都合の良いこともある。ただし、ＣＧを透明化することで、目では見えないが、クリックすればそこでＣＧの三次元座標を取得し、タグを特定できることになる。従って実写方式でなくＣＧ方式でも、タグそのものを映像中に隠して、置くことが可能となる。透明であれ可視であれ、ＣＶ画像中に配置されたＣＶタグであるＣＧは、既に三次元座標を持っているので、その場で三次元座標を計測する必要はないことになり、実写方式に比較して、呼び出しや検索に有利となる。
以下、図面を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置及びこれを用いた各装置の具体的な実施形態について説明する。
［ＣＶ演算］
まず、本発明の湧きだし点基準ＣＶ領域画像前置装置における処理の前提となるカメラベクトル値（ＣＶ値）の取得方法の一例を示すＣＶ演算について図１〜図１３を参照しつつ説明する。
ＣＶ演算とはＣＶ値を求める方法の一つであり、ＣＶ演算により求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera Vectorの略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。
［ＣＶ演算］
まず、本発明の湧きだし点基準ＣＶ領域画像前置装置における処理の前提となるカメラベクトル値（ＣＶ値）の取得方法の一例を示すＣＶ演算について図１〜図１３を参照しつつ説明する。
ＣＶ演算とはＣＶ値を求める方法の一つであり、ＣＶ演算により求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera Vectorの略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。
ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点（基準点）についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
但し、ＣＶ値は、例えば、他の方法による計測手段（ＧＰＳとジャイロ、又はＩＭＵ等）より求めることもできる。従って、ＣＶ値の取得はＣＶ演算による場合には限られない。
なお、ＧＰＳとジャイロ、又はＩＭＵ等によりＣＶ値を取得する場合には、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、かつ完全に同期させる必要がある。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
但し、ＣＶ値は、例えば、他の方法による計測手段（ＧＰＳとジャイロ、又はＩＭＵ等）より求めることもできる。従って、ＣＶ値の取得はＣＶ演算による場合には限られない。
なお、ＧＰＳとジャイロ、又はＩＭＵ等によりＣＶ値を取得する場合には、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、かつ完全に同期させる必要がある。
動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現不可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明の湧きだし点基準ＣＶ領域画像前置装置は、このようなＣＶ演算等により得られたＣＶ値データに基づいてＣＶ領域画像処理を行うものである。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現不可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明の湧きだし点基準ＣＶ領域画像前置装置は、このようなＣＶ演算等により得られたＣＶ値データに基づいてＣＶ領域画像処理を行うものである。
［ＣＶ演算部］
ＣＶ演算は、以下に示すようなＣＶ演算部（ＣＶ演算装置）によって行われる。後述する本発明の湧きだし点基準ＣＶ領域画像前置装置では、ＣＶ値取得装置３等で以下に示すようなＣＶ演算が行われてＣＶ値が取得されるようになっている（図１５，１６参照）。
本発明に係るＣＶ演算部０２は、図１に示すように、全周ビデオ映像部０１から入力されるビデオ映像について所定のＣＶ演算処理を行うことでＣＶ値を求めるようになっており、具体的には、特徴点抽出部０２-１と、特徴点対応処理部０２-２と、カメラベクトル演算部０２-３と、誤差最小化部０２-４と、三次元情報追跡部０２-５と、高精度カメラベクトル演算部０２-６とを備えている。
ＣＶ演算は、以下に示すようなＣＶ演算部（ＣＶ演算装置）によって行われる。後述する本発明の湧きだし点基準ＣＶ領域画像前置装置では、ＣＶ値取得装置３等で以下に示すようなＣＶ演算が行われてＣＶ値が取得されるようになっている（図１５，１６参照）。
本発明に係るＣＶ演算部０２は、図１に示すように、全周ビデオ映像部０１から入力されるビデオ映像について所定のＣＶ演算処理を行うことでＣＶ値を求めるようになっており、具体的には、特徴点抽出部０２-１と、特徴点対応処理部０２-２と、カメラベクトル演算部０２-３と、誤差最小化部０２-４と、三次元情報追跡部０２-５と、高精度カメラベクトル演算部０２-６とを備えている。
まず、ＣＶ演算に使用する映像としては、原理的にはどのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、実用的には全周映像（図２〜図４参照）か、広角映像を全周映像の一部として扱うことが望ましい。なお、動画映像は連続する静止画と同様であり、複数の静止画として扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。
そこで、本実施形態では、ＣＶ演算に使用する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図２〜図４参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、全周映像の一部として扱うことができる。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図４参照）、これを例えば等距離図法のように平面展開表示することで、通常の遠近法映像に変換表示できるからである。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図４参照）、これを例えば等距離図法のように平面展開表示することで、通常の遠近法映像に変換表示できるからである。
全周ビデオ映像部０１において全周映像を生成するには、まず、図２及び図３に示すように、全周ビデオカメラ０１-１を使用して、ＣＶ値データを取得する目的で、走行車輌等の移動体０１-１ａに固定された全周ビデオカメラ０１-１で、移動体０１-１ａの移動とともに移動体周辺を撮影する。
なお、移動体０１-１ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体０１-１ａに搭載される全周ビデオカメラ０１-１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図２及び図３に示すように、車輌に複数のカメラが一体的に固定され、移動体０１-１ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ０１-１を使用している。
なお、移動体０１-１ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体０１-１ａに搭載される全周ビデオカメラ０１-１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図２及び図３に示すように、車輌に複数のカメラが一体的に固定され、移動体０１-１ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ０１-１を使用している。
そして、以上のような全周ビデオカメラ０１-１によれば、図３に示すように、移動体０１-１ａの天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体０１-１ａが移動することで、広範囲映像を動画データとして取得できる。
ここで、全周ビデオカメラ０１-１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
ここで、全周ビデオカメラ０１-１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
なお、全周ビデオカメラ０１-１で撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図４（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図４（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。
そして、以上のように生成・取得された全周ビデオ映像が、ＣＶ演算部０２に入力されてＣＶ値データが求められる（図１参照）。
ＣＶ演算部０２では、まず、特徴点抽出部０２-１が、全周ビデオ映像部０１の全周ビデオカメラ０１-１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部０２-２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部０２-３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部０２-４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
ＣＶ演算部０２では、まず、特徴点抽出部０２-１が、全周ビデオ映像部０１の全周ビデオカメラ０１-１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部０２-２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部０２-３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部０２-４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
三次元情報追跡部０２-５は、カメラベクトル演算部０２-３で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部０２-６は、三次元情報追跡部０２-５で得られた追跡データに基づいて、カメラベクトル演算部０２-３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成・出力する。
そして、以上のようにして得られたカメラベクトルが、後述する本発明に係る湧きだし点基準ＣＶ領域画像前置装置に入力され、ＣＶ領域画像の生成・分割・貼り付け等の処理に利用されることになる。
高精度カメラベクトル演算部０２-６は、三次元情報追跡部０２-５で得られた追跡データに基づいて、カメラベクトル演算部０２-３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成・出力する。
そして、以上のようにして得られたカメラベクトルが、後述する本発明に係る湧きだし点基準ＣＶ領域画像前置装置に入力され、ＣＶ領域画像の生成・分割・貼り付け等の処理に利用されることになる。
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するにはいくつかの方法があるが、図１に示す本実施形態のＣＶ演算部０２では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、三角測量幾何学、及びエピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することで、三地点の座標で構成される単位の三角形を、その十倍以上の多くの特徴点から求めることになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することで、三地点の座標で構成される単位の三角形を、その十倍以上の多くの特徴点から求めることになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
カメラベクトルとは、移動するカメラの持つ六個の自由度のベクトルである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本発明に係るカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本発明に係るカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
以下、ＣＶ演算部０２における具体的なカメラベクトルの検出方法について、図５以下を参照しつつ説明する。
まず、上述した全周ビデオ映像部０１の全周ビデオカメラ０１-１で取得された画像データは、間接に又は直接に、ＣＶ演算部０２の特徴点抽出部０２-１に入力され、特徴点抽出部０２-１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部０２-２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図５〜図７に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図７に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図８に示すように、各画像中に充分に多くの特徴点を抽出することが望ましく（図８の○印参照）、例えば、１００点程度の特徴点を抽出する。
まず、上述した全周ビデオ映像部０１の全周ビデオカメラ０１-１で取得された画像データは、間接に又は直接に、ＣＶ演算部０２の特徴点抽出部０２-１に入力され、特徴点抽出部０２-１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部０２-２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図５〜図７に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図７に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図８に示すように、各画像中に充分に多くの特徴点を抽出することが望ましく（図８の○印参照）、例えば、１００点程度の特徴点を抽出する。
続いて、カメラベクトル演算部０２-３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部０２-３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。また、これを三角測量として説明すれば、方位と俯角仰角を測量する機器を車載して、対象となる複数の測量地点を、移動する測量機器により同一対象物を計測して取得したデータから、各対象地点の座標と測量機器の移動の軌跡を求める場合と同じである。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。また、これを三角測量として説明すれば、方位と俯角仰角を測量する機器を車載して、対象となる複数の測量地点を、移動する測量機器により同一対象物を計測して取得したデータから、各対象地点の座標と測量機器の移動の軌跡を求める場合と同じである。
図７に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、全周映像は対象物の方向がそのまま緯度経度で表現されていることから、きわめて有利である。図７に示す３６０度全周画像のような広角レンズによる画像の方が特徴点を数多く選択し、複数フレームに渡って追跡し易くなる。また、狭角レンズによる映像あっても、同一対象物の周りを移動しながら様々な方向から撮影する場合には特徴点が視界から逃げないので有効である。
そこで、本発明では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図７は、ＣＶ演算部０２における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、全周映像は対象物の方向がそのまま緯度経度で表現されていることから、きわめて有利である。図７に示す３６０度全周画像のような広角レンズによる画像の方が特徴点を数多く選択し、複数フレームに渡って追跡し易くなる。また、狭角レンズによる映像あっても、同一対象物の周りを移動しながら様々な方向から撮影する場合には特徴点が視界から逃げないので有効である。
そこで、本発明では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図７は、ＣＶ演算部０２における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。
次に、誤差最小化部２-４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点については削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
さらに、誤差の分布が大きい特徴点については削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
図９〜図１１に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図９〜図１１は、本発明で用いられるＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図９では、図７の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１０及び図１１は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
図９では、図７の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１０及び図１１は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
ここで、ＣＶ演算部０２におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１２に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶ演算部０２では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
具体的には、ＣＶ演算部０２では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部０２-５で、カメラベクトル演算部０２-３，誤差最小化部０２-４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部０２-５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部０２-６においてより高精度なカメラベクトルが求められる。
具体的には、まず、三次元情報追跡部０２-５で、カメラベクトル演算部０２-３，誤差最小化部０２-４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部０２-５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部０２-６においてより高精度なカメラベクトルが求められる。
上述した特徴点抽出部０２-１及び特徴点対応処理部０２-２では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部０２-３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部０２-３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。
ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
以上のようにして求められたカメラベクトルは、全周ビデオカメラ０１-１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図１３に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねて表示した画像例を図１３に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図１３に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。
例えば、図１３に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねて表示した画像例を図１３に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図１３に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。
［湧きだし点基準ＣＶ領域画像前置装置］
次に、以上のようにして求められるＣＶ値に基づいてＣＶ領域画像処理を行う本発明に係る湧きだし点基準ＣＶ領域画像前置装置の実施形態について、図面を参照しつつ具体的に説明する。
［ハードＣＶ領域画像生成装置］
まず、図１５を参照して、本発明の一実施形態に係る湧きだし点基準ＣＶ領域画像前置装置を構成する構成要素のうち、画像取得装置１〜ハードＣＶ領域画像生成装置１０までを説明する。
同図に示すように、本実施形態に係る湧きだし点基準ＣＶ領域画像前置装置は、まず、画像取得装置１、画像ＤＢ装置２、ＣＶ値取得装置３、ＣＶ画像生成装置４、ＣＶ画像ＤＢ５、ＦＰ付加ＣＶ画像生成装置６、ＦＰ付加ＣＶ画像ＤＢ７、ハードＣＶ領域画像分割装置８、ＴＶ演算装置９、及びハードＣＶ領域画像生成装置１０の各部を備えている。
画像取得装置１は、自由に移動するビデオカメラで撮影した動画像を取得し、記録する手段である。
画像取得装置１で取得された画像データは、画像ＤＢ装置２に記録される。
ＣＶ値取得装置３は、画像取得装置１で撮影された動画像の撮影時のカメラの三次元位置と姿勢を示すカメラベクトル値（ＣＶ値）を全フレームについて取得する。
具体的には、ＣＶ値取得装置３は、例えば、上述したＣＶ演算装置（ＣＶ演算部０２）により構成され（図１〜図１３参照）、画像取得装置１で取得された画像中に特徴点を検出し、特徴点を複数フレームに亘って追跡することで対応点を検出し、複数の特徴点とその対応関係から、撮影時のカメラの三次元位置と姿勢を全フレームについて求めるカメラベクトル（ＣＶ）を演算して求め、各画像のカメラベクトル値（ＣＶ値）を取得する。ＣＶ演算部（ＣＶ演算装置）によるＣＶ値の演算・取得方法の具体例は上述した通りである（図１〜図１３参照）。
次に、以上のようにして求められるＣＶ値に基づいてＣＶ領域画像処理を行う本発明に係る湧きだし点基準ＣＶ領域画像前置装置の実施形態について、図面を参照しつつ具体的に説明する。
［ハードＣＶ領域画像生成装置］
まず、図１５を参照して、本発明の一実施形態に係る湧きだし点基準ＣＶ領域画像前置装置を構成する構成要素のうち、画像取得装置１〜ハードＣＶ領域画像生成装置１０までを説明する。
同図に示すように、本実施形態に係る湧きだし点基準ＣＶ領域画像前置装置は、まず、画像取得装置１、画像ＤＢ装置２、ＣＶ値取得装置３、ＣＶ画像生成装置４、ＣＶ画像ＤＢ５、ＦＰ付加ＣＶ画像生成装置６、ＦＰ付加ＣＶ画像ＤＢ７、ハードＣＶ領域画像分割装置８、ＴＶ演算装置９、及びハードＣＶ領域画像生成装置１０の各部を備えている。
画像取得装置１は、自由に移動するビデオカメラで撮影した動画像を取得し、記録する手段である。
画像取得装置１で取得された画像データは、画像ＤＢ装置２に記録される。
ＣＶ値取得装置３は、画像取得装置１で撮影された動画像の撮影時のカメラの三次元位置と姿勢を示すカメラベクトル値（ＣＶ値）を全フレームについて取得する。
具体的には、ＣＶ値取得装置３は、例えば、上述したＣＶ演算装置（ＣＶ演算部０２）により構成され（図１〜図１３参照）、画像取得装置１で取得された画像中に特徴点を検出し、特徴点を複数フレームに亘って追跡することで対応点を検出し、複数の特徴点とその対応関係から、撮影時のカメラの三次元位置と姿勢を全フレームについて求めるカメラベクトル（ＣＶ）を演算して求め、各画像のカメラベクトル値（ＣＶ値）を取得する。ＣＶ演算部（ＣＶ演算装置）によるＣＶ値の演算・取得方法の具体例は上述した通りである（図１〜図１３参照）。
ＣＶ値は一般に静止座標系を基準として求められるが、必ずしも静止座標系に限定されるものではない。監視対象物が移動体であれば、移動体とカメラとの関係のＣＶ値を求めることもまったく同様に可能である。運動は相対的であり、基準を何処に置くかは全くの自由であるからである。さらに正確に表現すれば、対象物を構成するソフトＣＶ領域画像毎にＣＶ値が定義されることになる。従って画像の中の複数の対象物にたいして個々にＣＶ値を求めることも可能である。このことは同一画面に複数のＣＶ値を与えることを意味するが、ここでは説明上画像を代表する一個の座標系に対するＣＶ値を用いている。
後述するＲＶ値又は、ＪＶ値で結合されたＲＶ値は、前記対象物毎に与えた複数のＣＶ値と数学的に同等であり、常に変換可能である。
後述するＲＶ値又は、ＪＶ値で結合されたＲＶ値は、前記対象物毎に与えた複数のＣＶ値と数学的に同等であり、常に変換可能である。
ＣＶ画像生成装置４は、画像の各フレームにカメラベクトル値（ＣＶ値）を付加した画像を生成する。
ＣＶ画像生成装置４で生成されたＣＶ画像データは、ＣＶ画像ＤＢ装置５に記録される。
ＦＰ付加ＣＶ画像生成装置６は、ＣＶ演算時に同時に副次的に求まるＦＰ座標（特徴点三次元座標）を、ＣＶ画像生成装置４の出力に付加したＦＰ付加ＣＶ画像を生成する。
ＦＰ付加ＣＶ画像生成装置６で生成されたＦＰ付加ＣＶ画像データは、ＦＰ付加ＣＶ画像ＤＢ装置７に記録される。
ＣＶ画像生成装置４で生成されたＣＶ画像データは、ＣＶ画像ＤＢ装置５に記録される。
ＦＰ付加ＣＶ画像生成装置６は、ＣＶ演算時に同時に副次的に求まるＦＰ座標（特徴点三次元座標）を、ＣＶ画像生成装置４の出力に付加したＦＰ付加ＣＶ画像を生成する。
ＦＰ付加ＣＶ画像生成装置６で生成されたＦＰ付加ＣＶ画像データは、ＦＰ付加ＣＶ画像ＤＢ装置７に記録される。
ここでＦＰ座標は、三次元座標を持つので、三次元座標として付加するのが有利であるが、画像上の二次元座標として持つことでも効果はある。
ＦＰ値は何時でも画像から抽出できるので、画像の記録や伝送においては、ＦＰ値を付加しないのが常である。ＣＶ値が分かっていれば追跡は狭い範囲に限定されるので、ＦＰ値は比較的簡単に求められるので、必要な時に画像から直接求めることが可能である。ただし、ＦＰ値を付加した方が、再演算しないで済むので、目的によっては好都合となる。
そして、ＣＶ画像にさらに以下の処理を加えることで、本発明に係る新しい画像処理が行われることになる。
ＦＰ値は何時でも画像から抽出できるので、画像の記録や伝送においては、ＦＰ値を付加しないのが常である。ＣＶ値が分かっていれば追跡は狭い範囲に限定されるので、ＦＰ値は比較的簡単に求められるので、必要な時に画像から直接求めることが可能である。ただし、ＦＰ値を付加した方が、再演算しないで済むので、目的によっては好都合となる。
そして、ＣＶ画像にさらに以下の処理を加えることで、本発明に係る新しい画像処理が行われることになる。
ハードＣＶ領域画像分割装置８は、ＣＶ画像生成装置４の出力から、若しくはＦＰ付加ＣＶ画像生成装置６の出力から得られたＣＶ画像を、隙間無く幾何学的なハードＣＶ領域画像に分割する。
ここで、画像分割は、一般には矩形のブロックを用いるが、これは画像を表す図法により様々な形状となる。本発明においては、湧きだし点からの延長と垂直線とが作る台形となる場合が多い（図１４参照）。この台形ブロックを前記ハードＣＶ領域画像分割装置によって分割された各ＣＶ領域画像の対応点を隣接画像に亘って追跡（トラッキング）する。
ＴＶ演算装置９は、全ＣＶ領域画像のトラッキングベクトル値（ＴＶ値）を求める。
ハードＣＶ領域画像生成装置１０は、画像の各フレームにＣＶ値と、ＴＶ値を付加した画像を生成するハードＣＶ領域画像を生成する。
画像の全てのＣＶ領域画像をトラッキングすることは容易ではない。そこで画像を分割したブロックＣＶ領域画像の移動に関する法則性を見いだし、全ブックＣＶ領域画像にトラッキングデータを与える。
ハードＣＶ領域画像生成装置１０で生成されたハードＣＶ領域画像データは、ハードＣＶ領域画像ＤＢ装置１１に記録される。
ここで、画像分割は、一般には矩形のブロックを用いるが、これは画像を表す図法により様々な形状となる。本発明においては、湧きだし点からの延長と垂直線とが作る台形となる場合が多い（図１４参照）。この台形ブロックを前記ハードＣＶ領域画像分割装置によって分割された各ＣＶ領域画像の対応点を隣接画像に亘って追跡（トラッキング）する。
ＴＶ演算装置９は、全ＣＶ領域画像のトラッキングベクトル値（ＴＶ値）を求める。
ハードＣＶ領域画像生成装置１０は、画像の各フレームにＣＶ値と、ＴＶ値を付加した画像を生成するハードＣＶ領域画像を生成する。
画像の全てのＣＶ領域画像をトラッキングすることは容易ではない。そこで画像を分割したブロックＣＶ領域画像の移動に関する法則性を見いだし、全ブックＣＶ領域画像にトラッキングデータを与える。
ハードＣＶ領域画像生成装置１０で生成されたハードＣＶ領域画像データは、ハードＣＶ領域画像ＤＢ装置１１に記録される。
ここで、原理的にはＣＶ値取得装置３は、図１５に示す位置ではなく、ＴＶ演算装置９の次の行程に設置することも可能である。一面、本実施形態のようにＣＶ値とＴＶ値を別々に演算することは無駄があるようにも思える。ＴＶ値からは直ちにＣＶ値を演算できるからである。
しかし、現実的な装置の実現上、前もって代表する座標系のＣＶ値を取得することで画像の回転揺れ止めが可能となり、回転揺れ止め画像を用いることでその後の処理がきわめて容易になる。このため、本実施形態では、ＣＶ値を先に求め、そのＣＶ値と回転揺れ止め画像を用いてハードＣＶ領域画像分割をする工程とした。当然、再度ＪＶ値から精度の高いＣＶ値を求めることは可能である。
しかし、現実的な装置の実現上、前もって代表する座標系のＣＶ値を取得することで画像の回転揺れ止めが可能となり、回転揺れ止め画像を用いることでその後の処理がきわめて容易になる。このため、本実施形態では、ＣＶ値を先に求め、そのＣＶ値と回転揺れ止め画像を用いてハードＣＶ領域画像分割をする工程とした。当然、再度ＪＶ値から精度の高いＣＶ値を求めることは可能である。
また、トラッキングはＣＶ値から得られる湧きだし点から放射される放射線上を移動する経路をたどるので、同一座標系に関してはトラッキングＣＶ領域画像を一次元にまで絞り込むことが可能となる。
この放射線は図法により直線にも曲線にもなる。直線となる図法を採用し、直線上に追跡する方が演算上有利となるのは明らかである。
この放射線は図法により直線にも曲線にもなる。直線となる図法を採用し、直線上に追跡する方が演算上有利となるのは明らかである。
本発明においては、画像がＣＶ値とともにハードＣＶ領域画像のＴＶ値を持つことに特徴がある。
画像が、トラッキング値のみならずＣＶ値をも同時に共に持つことで、きわめて効率的なトラッキングと画像再構成が可能となる。
原理的にＣＶ値の無い、トラッキングデータだけでも画像再構成は可能であるが、その時は二次元面に対応点を探すことになるためにトラッキング値は二次元となり、またトラッキング値を演算で求める場合に演算時間が検索範囲の面積で効いてくることになり、それだけ演算時間がかかることになる。また演算時間のみならず、検索範囲が面であることで、それだけエラーが発生する確率が増加する。
画像が、トラッキング値のみならずＣＶ値をも同時に共に持つことで、きわめて効率的なトラッキングと画像再構成が可能となる。
原理的にＣＶ値の無い、トラッキングデータだけでも画像再構成は可能であるが、その時は二次元面に対応点を探すことになるためにトラッキング値は二次元となり、またトラッキング値を演算で求める場合に演算時間が検索範囲の面積で効いてくることになり、それだけ演算時間がかかることになる。また演算時間のみならず、検索範囲が面であることで、それだけエラーが発生する確率が増加する。
一方、本発明のようにＣＶ値とＴＶ値とを持つ場合には、ＣＶ値は画像を代表する座標系に対して一義的に決まり、ＣＶ値が決まれば、画像の回転揺れを検出して回転揺れ止め画像を生成でき、その回転揺れ止め画像で湧きだし点を求め、湧きだし点とその反対側にある吸い込み点を結ぶ直線上にトラッキングを行うことで、代表する座標系に対して固定されている対象に対しては、一次元の線上を検索すればよいことになる。
なお、一次元の線上とは必ずしも直線とは限らない。どのような曲線になるかは図法による。しかしどのような図法であっても移動の軌跡は予定された曲線上にある一次元として表現できるという意味である。
このように一次元のトラッキングデータで表現可能であることが、この方式の特徴となる。また一次元で対応点を決定できるのでトラッキングが容易になり、また画像の再構成も単純になる。このことでＣＶ値無しの二次元画像の二次元トラッキング値取得演算と比較して、ＣＶ値から得られる湧きだし点から吸い込み点に向かって定義される一次元のトラッキング経路をたどることで、トラッキングが一次元になり、追跡がきわめて容易になり、画像の再構成が単純化され、そのことでデータ量を大幅に減少できることになる。
なお、一次元の線上とは必ずしも直線とは限らない。どのような曲線になるかは図法による。しかしどのような図法であっても移動の軌跡は予定された曲線上にある一次元として表現できるという意味である。
このように一次元のトラッキングデータで表現可能であることが、この方式の特徴となる。また一次元で対応点を決定できるのでトラッキングが容易になり、また画像の再構成も単純になる。このことでＣＶ値無しの二次元画像の二次元トラッキング値取得演算と比較して、ＣＶ値から得られる湧きだし点から吸い込み点に向かって定義される一次元のトラッキング経路をたどることで、トラッキングが一次元になり、追跡がきわめて容易になり、画像の再構成が単純化され、そのことでデータ量を大幅に減少できることになる。
また、代表座標系（代表座標系は静止座標系とするのが一般的であるが、移動体に代表座標系を取ることも可能である）以外の対象に対しては、一般には二次元検索が必要となるが、代表する座標系以外の対象に対するCVを個別に求めれば、一次元の検索が可能となる。
しかし、一般画像の性質として、代表する座標系の対象物のみのＣＶ値で表現できる範囲が画像の大部分を占めているので、ＣＶ値は代表座標系の一つで十分である。一般には世界座標系となる静止座標系を代表座標系とする場合が多い。また、目的部分が静止座標系でない場合は、移動する対象物を第二の代表座標系とすることができる。さらに、このようにして代表座標系を増加せしめることは可能であるが、全てを代表座標系とすることは現実的ではないので、複数の代表座標系を用いても、それら代表座標系に属さないＣＶ領域画像が生じる場合がある。
しかし、一般画像の性質として、代表する座標系の対象物のみのＣＶ値で表現できる範囲が画像の大部分を占めているので、ＣＶ値は代表座標系の一つで十分である。一般には世界座標系となる静止座標系を代表座標系とする場合が多い。また、目的部分が静止座標系でない場合は、移動する対象物を第二の代表座標系とすることができる。さらに、このようにして代表座標系を増加せしめることは可能であるが、全てを代表座標系とすることは現実的ではないので、複数の代表座標系を用いても、それら代表座標系に属さないＣＶ領域画像が生じる場合がある。
そこで、代表座標系以外の部分は一次元検索が不可能となるが、その部分のみ二次元検索をしたとしても、検索範囲は静止座標系と仮定した一次元検索範囲から扇形に広がる範囲であり、一次元検索範囲からそう大きくずれる確立はきわめて少なく、部分的に二次元検索したとしても、演算時間はかなり短縮されることになる。一方、代表座標系以外の部分を二次元検索することなく、一次元検索とする場合は、後述する「座標系分離装置」及びその「実施例２」により、対象となる領域の座標系を検出して、その座標系で検索することで一次元検索が可能となり、最終的には解決される。
この代表座標系の関する事実は、以下に示すソフトＣＶ領域画像、対象物ＣＶ領域画像に関しても同じ共通理解が成り立つことは重要である。
この代表座標系の関する事実は、以下に示すソフトＣＶ領域画像、対象物ＣＶ領域画像に関しても同じ共通理解が成り立つことは重要である。
［ソフトＣＶ領域画像生成装置］
次に、図１５を参照して、本発明の一実施形態に係る湧きだし点基準ＣＶ領域画像前置装置を構成するソフトＣＶ領域画像分割装置１２〜ソフトＣＶ領域画像生成装置１４までを説明する。
同図に示すように、ハードＣＶ領域画像生成装置１０の次工程には、ソフトＣＶ領域画像分割装置１２、ＲＶ演算装置１３、ソフトＣＶ領域画像生成装置１４の各部を備えられている。
次に、図１５を参照して、本発明の一実施形態に係る湧きだし点基準ＣＶ領域画像前置装置を構成するソフトＣＶ領域画像分割装置１２〜ソフトＣＶ領域画像生成装置１４までを説明する。
同図に示すように、ハードＣＶ領域画像生成装置１０の次工程には、ソフトＣＶ領域画像分割装置１２、ＲＶ演算装置１３、ソフトＣＶ領域画像生成装置１４の各部を備えられている。
ソフトＣＶ領域画像分割装置１２は、ハードＣＶ領域画像生成装置１０の出力から、複数のハードＣＶ領域画像を結合するなどして、ＣＶ領域画像の境界線を形成し、ソフトＣＶ領域画像を決定する。
若しくはハードＣＶ領域画像生成装置１０を介さずに、同種の色を塗り絵のように埋めていき、又は輪郭線を抽出して情報を付加し、直接同種テクスチャーＣＶ領域画像を分離する。これらの機能を組み合わせることでさらにＣＶ領域画像抽出の精度は向上する。
このようにして、ソフトＣＶ領域画像分割装置１２は、画像内容に沿った複数のソフトＣＶ領域画像からなる画像を再構成する。このことで画像はソフトＣＶ領域画像の結合体として再構成されたことになる。
若しくはハードＣＶ領域画像生成装置１０を介さずに、同種の色を塗り絵のように埋めていき、又は輪郭線を抽出して情報を付加し、直接同種テクスチャーＣＶ領域画像を分離する。これらの機能を組み合わせることでさらにＣＶ領域画像抽出の精度は向上する。
このようにして、ソフトＣＶ領域画像分割装置１２は、画像内容に沿った複数のソフトＣＶ領域画像からなる画像を再構成する。このことで画像はソフトＣＶ領域画像の結合体として再構成されたことになる。
ＲＶ演算装置１３は、ソフトＣＶ領域画像に分割された画像の各ソフトＣＶ領域画像に関して、ソフトＣＶ領域画像をＣＶ値から得られる湧きだし点から吸い込み点に向かって放射される線上に追跡し、基準となる座標系に対する位置及び姿勢、及び運動を演算し、ソフトＣＶ領域画像のＣＶ領域画像ベクトル値（ＲＶ値）を求める。
ＲＶ値はＴＶ値と互換関係にあるが、ＴＶ値のみで扱うと元のハードＣＶ領域画像の数だけ用意しなければならなくなり、データ量も増加し煩雑になるので、ソフトＣＶ領域画像の数のＲＶ値として画像を表現することになる。
ただし、何時でもＣＶ領域画像単位のＴＶ値に変換することは可能である。また画像の内容をＲＶ値として扱う方が人間の視覚の認識における状況とよく類似していることから単純され、しかも理解が得られやすいという長所がある。
ＴＶ値はＲＶ値に整理されたことになるので、ＲＶ値を持つ画像はＴＶ値を持つ必要はない。ＲＶ値を求められなかった部分はＴＶ値を持つことでＲＶ値の代用とすることができる。
そして、ソフトＣＶ領域画像生成装置１４は、画像を構成する全ＣＶ領域画像がＣＶ値と、ＣＶ領域画像ベクトル値（ＲＶ値）を付加して持つ画像を生成する。
ソフトＣＶ領域画像生成装置１４で生成されたソフトＣＶ領域画像データは、ソフトＣＶ領域画像ＤＢ装置１５に記録される。
ＲＶ値はＴＶ値と互換関係にあるが、ＴＶ値のみで扱うと元のハードＣＶ領域画像の数だけ用意しなければならなくなり、データ量も増加し煩雑になるので、ソフトＣＶ領域画像の数のＲＶ値として画像を表現することになる。
ただし、何時でもＣＶ領域画像単位のＴＶ値に変換することは可能である。また画像の内容をＲＶ値として扱う方が人間の視覚の認識における状況とよく類似していることから単純され、しかも理解が得られやすいという長所がある。
ＴＶ値はＲＶ値に整理されたことになるので、ＲＶ値を持つ画像はＴＶ値を持つ必要はない。ＲＶ値を求められなかった部分はＴＶ値を持つことでＲＶ値の代用とすることができる。
そして、ソフトＣＶ領域画像生成装置１４は、画像を構成する全ＣＶ領域画像がＣＶ値と、ＣＶ領域画像ベクトル値（ＲＶ値）を付加して持つ画像を生成する。
ソフトＣＶ領域画像生成装置１４で生成されたソフトＣＶ領域画像データは、ソフトＣＶ領域画像ＤＢ装置１５に記録される。
［対象物ＣＶ領域画像生成装置］
次に、図１５を参照して、本発明の一実施形態に係る湧きだし点基準ＣＶ領域画像前置装置を構成する対象物認識装置１６〜対象物ＣＶ領域画像生成装置１８までを説明する。
同図に示すように、ソフトＣＶ領域画像生成装置１４の次工程には、対象物認識装置１６、ＪＶ演算装置１７、対象物ＣＶ領域画像生成装置１６の各部を備えられている。
対象物認識装置１６は、ソフトＣＶ領域画像生成装置１４の出力から、複数のソフトＣＶ領域画像を所属する対象物毎に結合するなどして、若しくはソフトＣＶ領域画像生成装置１４を介さずに、ＣＶ画像生成装置４から直接同種対象物ＣＶ領域画像を分離するなどして、画像内容に沿った複数のソフトＣＶ領域画像から画像を再構成する。
対象物認識については、本願発明者は特開２０００−２９５６１１号等でＰＲＭ技術を提案している。このＰＲＭ方法により、例えば、画像の中から、複数のＣＶ領域画像から成る対象物が認識される。それと同時にその対象物に属するソフトＣＶ領域画像が分類されることになる。すなわち、対象物を認識すると同時にその対象物に所属するソフトＣＶ領域画像が自動的に選択される。このようにここでは対象物は複数のソフトＣＶ領域画像から成るとの前提が存在している。さらに、画像はその一部又はその全てを複数の対象物から再構成される。
次に、図１５を参照して、本発明の一実施形態に係る湧きだし点基準ＣＶ領域画像前置装置を構成する対象物認識装置１６〜対象物ＣＶ領域画像生成装置１８までを説明する。
同図に示すように、ソフトＣＶ領域画像生成装置１４の次工程には、対象物認識装置１６、ＪＶ演算装置１７、対象物ＣＶ領域画像生成装置１６の各部を備えられている。
対象物認識装置１６は、ソフトＣＶ領域画像生成装置１４の出力から、複数のソフトＣＶ領域画像を所属する対象物毎に結合するなどして、若しくはソフトＣＶ領域画像生成装置１４を介さずに、ＣＶ画像生成装置４から直接同種対象物ＣＶ領域画像を分離するなどして、画像内容に沿った複数のソフトＣＶ領域画像から画像を再構成する。
対象物認識については、本願発明者は特開２０００−２９５６１１号等でＰＲＭ技術を提案している。このＰＲＭ方法により、例えば、画像の中から、複数のＣＶ領域画像から成る対象物が認識される。それと同時にその対象物に属するソフトＣＶ領域画像が分類されることになる。すなわち、対象物を認識すると同時にその対象物に所属するソフトＣＶ領域画像が自動的に選択される。このようにここでは対象物は複数のソフトＣＶ領域画像から成るとの前提が存在している。さらに、画像はその一部又はその全てを複数の対象物から再構成される。
ＪＶ演算装置１７は、対象物ＣＶ領域画像に分割された画像の各対象物ＣＶ領域画像に関して、対象物を構成する各ソフトＣＶ領域画像は、一対象物としての関係を保ち、対象物として基準となる座標系に対する位置及び姿勢、及び運動を演算し、複数のソフトＣＶ領域画像の複合体としての複数のＣＶ領域画像ベクトル（ＲＶ）を統合し、対象物別にソフトＣＶ領域画像を分類したＪＶ（ジョイントベクトル）を求め、対象物毎の分類データを取得する。
これにより、対象物の位置と対象物を構成しているソフトＣＶ領域画像との関係をベクトルで表現できることになる。
これにより、対象物の位置と対象物を構成しているソフトＣＶ領域画像との関係をベクトルで表現できることになる。
そこで、対象物ＣＶ領域画像生成装置１８により、画像を構成する対象物及び対象物を構成するソフトＣＶ領域画像が、ＣＶ値と、ＣＶ領域画像ベクトル値（ＲＶ値）と、ＪＶ値とで統合された画像を生成する。
画像は最終的に複数の対象物の集合として表現され、さらにそれぞれの対象物は複数のソフトＣＶ領域画像の集合として表現されたことになる。
画像は最終的に複数の対象物の集合として表現され、さらにそれぞれの対象物は複数のソフトＣＶ領域画像の集合として表現されたことになる。
［ハードＣＶ領域画像生成］
次に、図１６を参照して、ハードＣＶ領域画像の生成を行うハードＣＶ領域画像分割装置８、ＴＶ演算装置９及びハードＣＶ領域画像生成装置１０の各部の詳細について説明する。
ハードＣＶ領域画像分割装置８は、図１６に示すように、揺れ止め画像生成部８１、湧きだし点抽出部８２、ブロック分割部８４、ブロック分類部８５、ゴム紐結合部８６、ブロック画像生成部８７の各部を備えている。
揺れ止め画像生成部８１は、ＣＶ画像生成装置４からの出力に対し、付加されたＣＶ値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する。
ここで、３軸回転揺れ止めで十分ではあるが、３軸回転揺れのみならず、３軸位置揺らぎに対しての揺れ止め画像を生成するのがより好ましい。
湧きだし点抽出部８２は、ＣＶ値から、隣接する画像に対する湧きだし点と吸い込み点を求める。
追跡は演算時間がかかることから、できるだけ効率的な追跡方法をとるのが好ましい。
次に、図１６を参照して、ハードＣＶ領域画像の生成を行うハードＣＶ領域画像分割装置８、ＴＶ演算装置９及びハードＣＶ領域画像生成装置１０の各部の詳細について説明する。
ハードＣＶ領域画像分割装置８は、図１６に示すように、揺れ止め画像生成部８１、湧きだし点抽出部８２、ブロック分割部８４、ブロック分類部８５、ゴム紐結合部８６、ブロック画像生成部８７の各部を備えている。
揺れ止め画像生成部８１は、ＣＶ画像生成装置４からの出力に対し、付加されたＣＶ値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する。
ここで、３軸回転揺れ止めで十分ではあるが、３軸回転揺れのみならず、３軸位置揺らぎに対しての揺れ止め画像を生成するのがより好ましい。
湧きだし点抽出部８２は、ＣＶ値から、隣接する画像に対する湧きだし点と吸い込み点を求める。
追跡は演算時間がかかることから、できるだけ効率的な追跡方法をとるのが好ましい。
ブロック分割部８４は、画像をなるべく簡単な幾何学的ブロックに分割する。
ここではブロック分割によりハードＣＶ領域画像を生成したことになる。一般には矩形は幾何学的に単純なのでよく使われるが、ここでは使用する図法によってブロックの形状は変化するので、必ずしも直線の結合とは成らないが、便宜上、ハードＣＶ領域画像として台形ブロックがしばしば用いられる。
処理の過程で、ブロック分割により、ブロックがそのままハードＣＶ領域画像となることもあるが、一部においてはブロックが複数集まって、或いはブロックがさらに分割されて、ハードＣＶ領域画像となることがあるので、ここではあえてハードＣＶ領域画像とブロックを使い分けている。
ここではブロック分割によりハードＣＶ領域画像を生成したことになる。一般には矩形は幾何学的に単純なのでよく使われるが、ここでは使用する図法によってブロックの形状は変化するので、必ずしも直線の結合とは成らないが、便宜上、ハードＣＶ領域画像として台形ブロックがしばしば用いられる。
処理の過程で、ブロック分割により、ブロックがそのままハードＣＶ領域画像となることもあるが、一部においてはブロックが複数集まって、或いはブロックがさらに分割されて、ハードＣＶ領域画像となることがあるので、ここではあえてハードＣＶ領域画像とブロックを使い分けている。
ブロック分類部８５は、ブロックを自己相関処理により、その相関値のピークの有無から、特徴ブロック、及びそれ以外のブロックに分類する。
ゴム紐結合部８６は、特徴ブロックと前記それ以外のブロックに対して、後の処理において特徴点が移動してもその二次元配列順番を変えずにゴム紐状に伸び縮するように、柔軟結合しておく。
ブロック画像生成部８７は、全てのブロックについて、抜けなくその順番を変えずに、ゴム紐状に柔軟に結合した画像を一時的に生成する。
以上により、ハードＣＶ領域画像分割装置８が実現される。
ゴム紐結合部８６は、特徴ブロックと前記それ以外のブロックに対して、後の処理において特徴点が移動してもその二次元配列順番を変えずにゴム紐状に伸び縮するように、柔軟結合しておく。
ブロック画像生成部８７は、全てのブロックについて、抜けなくその順番を変えずに、ゴム紐状に柔軟に結合した画像を一時的に生成する。
以上により、ハードＣＶ領域画像分割装置８が実現される。
次に、ＴＶ演算装置９は、図１６に示すように、特徴ブロック追跡部９１、一次ＴＶ演算部９２、補正ブロック検出部９３及び二次ＴＶ演算部９４の各部を備える。
特徴ブロック追跡部９１は、ゴム紐状に結合したブロック画像の特徴ブロックを追跡する。
ここで、追跡するのは特徴ブロックのみであるが、ゴム紐結合により、それ以外のブロックも特徴ブロックに引き込まれて移動し、何らかのＴＶ値を持つことになる。
そこで、本実施形態では、一次ＴＶ演算部９２により、追跡データをそれ以外のブロックにも演算して適切に配分する。
さらに、補正ブロック検出部９３により、複数画像を利用するなどして、一次ＴＶから生成する画像の追跡誤差を検出し、二次ＴＶ演算部９４により、上記誤差が分布するＣＶ領域画像を再度ブロック分割するなどして、補正ＣＶ領域画像として、再追跡してＴＶデータを取得することができる。
以上によりＴＶ演算装置９が実現される。
特徴ブロック追跡部９１は、ゴム紐状に結合したブロック画像の特徴ブロックを追跡する。
ここで、追跡するのは特徴ブロックのみであるが、ゴム紐結合により、それ以外のブロックも特徴ブロックに引き込まれて移動し、何らかのＴＶ値を持つことになる。
そこで、本実施形態では、一次ＴＶ演算部９２により、追跡データをそれ以外のブロックにも演算して適切に配分する。
さらに、補正ブロック検出部９３により、複数画像を利用するなどして、一次ＴＶから生成する画像の追跡誤差を検出し、二次ＴＶ演算部９４により、上記誤差が分布するＣＶ領域画像を再度ブロック分割するなどして、補正ＣＶ領域画像として、再追跡してＴＶデータを取得することができる。
以上によりＴＶ演算装置９が実現される。
ハードＣＶ領域画像生成装置１０は、図１６に示すように、同一ＴＶ値統合部１０１、ＣＶ・ＴＶ付加部１０２、図法変換部１０３及びハードＣＶ領域画像出力部１０４の各部を備えている。
同一ＴＶ値統合部１０１は、ＴＶ演算によるＴＶ値が同一となる隣接ブロックを結合する。この隣接ブロックの結合は必ずしも必要ないが、効率化のためには有った方がよい。
ＣＶ・ＴＶ付加部１０２は、画像のＣＶ値、及びハードＣＶ領域画像のＴＶ値を画像に付加する。ここではブロックの全てにＴＶ値が付加されたことになる。
同一ＴＶ値統合部１０１は、ＴＶ演算によるＴＶ値が同一となる隣接ブロックを結合する。この隣接ブロックの結合は必ずしも必要ないが、効率化のためには有った方がよい。
ＣＶ・ＴＶ付加部１０２は、画像のＣＶ値、及びハードＣＶ領域画像のＴＶ値を画像に付加する。ここではブロックの全てにＴＶ値が付加されたことになる。
図法再変換部１０３は、ブロック画像を表示目的に適した図法に変換する。
なお、図法再変換部１０３で変換する図法は、最終的に、例えば記録が目的であればメルカトール図法が良いが、見ることが目的であればゆがんで見えるので、遠近法に変換するなどして目的に合った適切な図法に再変換する。計測や画像処理が目的であればそれに適した図法に再変換する。
そして、ハードＣＶ領域画像出力部１０４により、ＣＶ値とＴＶ値とを付加したブロック画像が出力される。ハードＣＶ領域画像出力部１０４から出力されたＣＶ値・ＴＶ値が付加されたブロック画像は、ＣＶ領域画像圧縮画像生成部１０５に入力され圧縮される。
以上により、ハードＣＶ領域画像生成装置１０が実現される。
なお、図法再変換部１０３で変換する図法は、最終的に、例えば記録が目的であればメルカトール図法が良いが、見ることが目的であればゆがんで見えるので、遠近法に変換するなどして目的に合った適切な図法に再変換する。計測や画像処理が目的であればそれに適した図法に再変換する。
そして、ハードＣＶ領域画像出力部１０４により、ＣＶ値とＴＶ値とを付加したブロック画像が出力される。ハードＣＶ領域画像出力部１０４から出力されたＣＶ値・ＴＶ値が付加されたブロック画像は、ＣＶ領域画像圧縮画像生成部１０５に入力され圧縮される。
以上により、ハードＣＶ領域画像生成装置１０が実現される。
［ソフトＣＶ領域画像生成］
次に、図１７を参照して、ソフトＣＶ領域画像の生成を行うソフトＣＶ領域画像分割装置１２、ＲＶ演算装置１３、ソフトＣＶ領域画像生成装置１４、及び輪郭線ベクトル化装置２０の各部の詳細について説明する。
ソフトＣＶ領域画像分割装置１２は、図１７に示すように、ブロック再分類部１２１、ソフトＣＶ領域画像生成部１２２及びＣＶ領域画像境界線補正部１２３の各部を備える。
ブロック再分類部１２１は、ハードＣＶ領域画像生成装置１０の出力から、特徴ブロックを選択し、単独で存在する独立特徴ブロック、境界線上に特徴ブロック同士が隣接して存在する境界線上特徴ブロック、ＣＶ領域画像の境界を構成するが特徴ブロックとはなり得ない境界線上ブロック、及び未特定を含めたそれ以外のＣＶ領域画像内ブロックの３種類に再分類する。
ソフトＣＶ領域画像生成部１２２は、境界線上特徴ブロック、境界線上ブロックを結合し、ソフトＣＶ領域画像を生成する。
ここで、境界線は閉じない場合が発生するが、閉じない端末の両端を強引に結合しても問題は発生しない。ソフトＣＶ領域画像が細分化されたことになるだけであり特に問題とはならない。
次に、図１７を参照して、ソフトＣＶ領域画像の生成を行うソフトＣＶ領域画像分割装置１２、ＲＶ演算装置１３、ソフトＣＶ領域画像生成装置１４、及び輪郭線ベクトル化装置２０の各部の詳細について説明する。
ソフトＣＶ領域画像分割装置１２は、図１７に示すように、ブロック再分類部１２１、ソフトＣＶ領域画像生成部１２２及びＣＶ領域画像境界線補正部１２３の各部を備える。
ブロック再分類部１２１は、ハードＣＶ領域画像生成装置１０の出力から、特徴ブロックを選択し、単独で存在する独立特徴ブロック、境界線上に特徴ブロック同士が隣接して存在する境界線上特徴ブロック、ＣＶ領域画像の境界を構成するが特徴ブロックとはなり得ない境界線上ブロック、及び未特定を含めたそれ以外のＣＶ領域画像内ブロックの３種類に再分類する。
ソフトＣＶ領域画像生成部１２２は、境界線上特徴ブロック、境界線上ブロックを結合し、ソフトＣＶ領域画像を生成する。
ここで、境界線は閉じない場合が発生するが、閉じない端末の両端を強引に結合しても問題は発生しない。ソフトＣＶ領域画像が細分化されたことになるだけであり特に問題とはならない。
一方、ＣＶ領域画像境界線補正部１２３では、できるだけ閉じたソフトＣＶ領域画像を生成するために、後述する輪郭線ベクトル化装置２０の出力を用いて、ソフトＣＶ領域画像境界を補正するＣＶ領域画像境界線の抜けを補正し、ブロック単位で構成されているソフトＣＶ領域画像を、ベクトル線で切り分けてＣＶ領域画像境界線を補強して明確なソフトＣＶ領域画像を生成する。
ブロックのみの境界はピクセル単位で凸凹しているが、ＣＶ領域画像境界線補強部で強化されたソフトＣＶ領域画像境界はベクトル化した輪郭線となり、画像の内容の性質に適したより適した境界線となる場合が多い。
以上によりソフトＣＶ領域画像分割装置１２が構成される。
ブロックのみの境界はピクセル単位で凸凹しているが、ＣＶ領域画像境界線補強部で強化されたソフトＣＶ領域画像境界はベクトル化した輪郭線となり、画像の内容の性質に適したより適した境界線となる場合が多い。
以上によりソフトＣＶ領域画像分割装置１２が構成される。
ＲＶ演算装置１３は、図１７に示すように、ソフトＣＶ領域画像分割装置１２の出力を、再度隣接画像に亘って追跡するＣＶ領域画像トラッキング部１３１と、隣接画像に亘るＣＶ領域画像の追跡からＲＶ値を求めるＲＶ演算部１３２を備える。
既にハードＣＶ領域画像は追跡処理されているので、この処理は省略することができるが、補強されたソフトＣＶ領域画像を再度追跡することで、次のＲＶ演算により適した追跡データを取得することができる。より正確なＲＶ値を求めるにはソフトＣＶ領域画像について隣接ＣＶ領域画像と共有する６個以上（隣接ＣＶ領域画像と共有可）の特徴ブロックの痕跡が存在することが望ましい。
既にハードＣＶ領域画像は追跡処理されているので、この処理は省略することができるが、補強されたソフトＣＶ領域画像を再度追跡することで、次のＲＶ演算により適した追跡データを取得することができる。より正確なＲＶ値を求めるにはソフトＣＶ領域画像について隣接ＣＶ領域画像と共有する６個以上（隣接ＣＶ領域画像と共有可）の特徴ブロックの痕跡が存在することが望ましい。
ソフトＣＶ領域画像生成装置１４は、ＣＶ・ＲＶ付加部１４１及びソフトＣＶ領域画像出力部１４２を備える。
ＣＶ・ＲＶ付加部１４１は、ＲＶ演算装置１３の出力に対して、ＣＶ値、及びＲＶ値をソフトＣＶ領域画像に付加する。
ここで、ＴＶ値は省略されているが、ＲＶ値はＴＶ値をソフトＣＶ領域画像単位で整理したものであり、ＴＶ値を省略したＲＶ値を持つことで十分である。
全てのＣＶ領域画像のＲＶ値が無くても、ソフトＣＶ領域画像は隣接していることから、その位置は決められるので、ＲＶ値に抜けがあってもソフトＣＶ領域画像は成立する。
ソフトＣＶ領域画像出力部１４２は、ソフトＣＶ領域画像生成装置１４は、ＣＶ値・ＲＶ値を付加されたソフトＣＶ領域画像を生成して出力する。
これらによりソフトＣＶ領域画像生成装置１４が構成される。
ＣＶ・ＲＶ付加部１４１は、ＲＶ演算装置１３の出力に対して、ＣＶ値、及びＲＶ値をソフトＣＶ領域画像に付加する。
ここで、ＴＶ値は省略されているが、ＲＶ値はＴＶ値をソフトＣＶ領域画像単位で整理したものであり、ＴＶ値を省略したＲＶ値を持つことで十分である。
全てのＣＶ領域画像のＲＶ値が無くても、ソフトＣＶ領域画像は隣接していることから、その位置は決められるので、ＲＶ値に抜けがあってもソフトＣＶ領域画像は成立する。
ソフトＣＶ領域画像出力部１４２は、ソフトＣＶ領域画像生成装置１４は、ＣＶ値・ＲＶ値を付加されたソフトＣＶ領域画像を生成して出力する。
これらによりソフトＣＶ領域画像生成装置１４が構成される。
輪郭線ベクトル化装置２０は、図１７に示すように、輪郭線抽出部２０１、ベクトル細線化部２０２、可変閾値輪郭補正部２０３及びベクトル輪郭生成部２０４の各部を備えて構成される。
輪郭線抽出部２０１は、画像の輪郭を直接求める。
ベクトル細線化部２０２は、求められた輪郭線を細線化してベクトル化する。
可変閾値輪郭補強部２０３は、細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する。
さらに、ベクトル輪郭線生成部２０４は、補強されたベクトル輪郭線を生成する。
以上により、輪郭線ベクトル化装置２０が構成される。
輪郭線抽出部２０１は、画像の輪郭を直接求める。
ベクトル細線化部２０２は、求められた輪郭線を細線化してベクトル化する。
可変閾値輪郭補強部２０３は、細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する。
さらに、ベクトル輪郭線生成部２０４は、補強されたベクトル輪郭線を生成する。
以上により、輪郭線ベクトル化装置２０が構成される。
［対象物ＣＶ領域画像生成］
次に、図１８を参照して、対象物ＣＶ領域画像生成を行う対象物認識装置１６、ＪＶ演算装置１７及び対象物ＣＶ領域画像生成装置１８の各部の詳細について説明する。
同図に示すように、まず、対象物認識装置１６は以下の各部を備える。
ソフトＣＶ領域画像範囲選択部１６１は、ソフトＣＶ領域画像の中で、認識対象となる対象物の概略範囲を選択指定する。この対象物の範囲指定は、多少広めに自動指定するのが好ましい。ただし、範囲指定しなくても全範囲の指定によっても演算時間はかかるが、いずれにしても認識は可能である。
指定範囲ＲＶ選択部１６２は、範囲を指定したソフトＣＶ領域画像比較部に送り、当該ＣＶ領域画像のＲＶ値を指定する。
部品ＤＢ部１６３は、予想される複数のＲＶ値を持つ対象物の三次元部品を、データベース化して記憶している。ここで、部品は三次元形状そのものでも良いが、部品のＲＶ値を前もって演算して部品の属性として与えておくことが好ましい。
次に、図１８を参照して、対象物ＣＶ領域画像生成を行う対象物認識装置１６、ＪＶ演算装置１７及び対象物ＣＶ領域画像生成装置１８の各部の詳細について説明する。
同図に示すように、まず、対象物認識装置１６は以下の各部を備える。
ソフトＣＶ領域画像範囲選択部１６１は、ソフトＣＶ領域画像の中で、認識対象となる対象物の概略範囲を選択指定する。この対象物の範囲指定は、多少広めに自動指定するのが好ましい。ただし、範囲指定しなくても全範囲の指定によっても演算時間はかかるが、いずれにしても認識は可能である。
指定範囲ＲＶ選択部１６２は、範囲を指定したソフトＣＶ領域画像比較部に送り、当該ＣＶ領域画像のＲＶ値を指定する。
部品ＤＢ部１６３は、予想される複数のＲＶ値を持つ対象物の三次元部品を、データベース化して記憶している。ここで、部品は三次元形状そのものでも良いが、部品のＲＶ値を前もって演算して部品の属性として与えておくことが好ましい。
ＲＶ比較部１６４は、範囲のソフトＣＶ領域画像のＲＶ値と候補部品のＲＶ値とを比較し、一致か不一致かを決定し、不一致の場合は他の部品候補を自動選択し、完全一致の場合は決定部品とし、部分一致の場合は他の候補部品と一致度合いを比較し、最も一致度の高いＲＶ値を持つ部品を決定部品とする。
なお、ソフトＣＶ領域画像の範囲と部品の比較は部品優先でなされることが望ましい。先に予想される部品を選択して、範囲のソフトＣＶ領域画像が一致するか否かを求めることが効率がよい。あるいは、範囲のソフトＣＶ領域画像のＲＶ値に一致する部品のＲＶを検索して求めるようにしてもよい。
ここで、範囲のソフトＣＶ領域画像と部品は、三次元形状での比較でも良いが、そのためには画像側も三次元化しておく必要があるので、ＲＶ値で比較するのが単純で効率的である。特に、複数ＣＶ領域画像と複数ＣＶ領域画像の比較であれば、ＲＶ値による比較がきわめて効果的である。
なお、ソフトＣＶ領域画像の範囲と部品の比較は部品優先でなされることが望ましい。先に予想される部品を選択して、範囲のソフトＣＶ領域画像が一致するか否かを求めることが効率がよい。あるいは、範囲のソフトＣＶ領域画像のＲＶ値に一致する部品のＲＶを検索して求めるようにしてもよい。
ここで、範囲のソフトＣＶ領域画像と部品は、三次元形状での比較でも良いが、そのためには画像側も三次元化しておく必要があるので、ＲＶ値で比較するのが単純で効率的である。特に、複数ＣＶ領域画像と複数ＣＶ領域画像の比較であれば、ＲＶ値による比較がきわめて効果的である。
対象物認識部１６５は、決定部品を認識した対象物として取得する。一致した最大のＣＶ領域画像範囲が部品と範囲が一致した範囲である。この範囲が部品に対応するＣＶ領域画像の範囲である。この範囲を切り取ることで、その部分を認識した部品に置き換えることができる。すなわち対象物認識が完了したことになる。この時部品は座標と回転姿勢と移動速度とを取得したことになる。一方部品は属性をデータとして持っているので、そのソフトＣＶ領域画像の範囲は属性を取得したことにもなる。これがここでいう認識である。また部品に完全置き換えではなく、色等の部品の一部の属性の置き換えでも良い。
一方、要素分解部１６６は、上記範囲内に、対象物を構成するＣＶ画像から線分要素、コーナー要素、曲線要素などの要素を検出する。
また、要素追跡部１６７は、要素を隣接画像に追跡し、対応位置を求める。これは要素のＴＶ値となる。
さらに、要素ＲＶ化部１６８は、要素のＣＶ値とＴＶ値から要素ＲＶ値を求める。
要素は形状が小さいので単独のＲＶ値を求めるには適さないが、組み合わせた要素のＲＶ値は存在するので、ＴＶ値を省略せずに、ＴＶ値及び複合要素ＲＶ値及び複合要素ＪＶ値を求めておくことは意味がある。
また、要素追跡部１６７は、要素を隣接画像に追跡し、対応位置を求める。これは要素のＴＶ値となる。
さらに、要素ＲＶ化部１６８は、要素のＣＶ値とＴＶ値から要素ＲＶ値を求める。
要素は形状が小さいので単独のＲＶ値を求めるには適さないが、組み合わせた要素のＲＶ値は存在するので、ＴＶ値を省略せずに、ＴＶ値及び複合要素ＲＶ値及び複合要素ＪＶ値を求めておくことは意味がある。
要素部品ＤＢ部１６９は、要素の部品データを記憶したデータベースである。
要素比較部１６１０は、画像から検出した要素と部品要素を三次元比較して一致を求める。要素部品は独立した要素部品とすることも可能であるが、部品から作られる要素部品とするのが望ましい。
ここで、要素部品単独ではＲＶ値を持たないが、部品から取得した複数の要素が集合すればＲＶ値もＪＶ値も持つので、集合した要素の比較においてはＲＶ値による比較はきわめて有効である。
要素比較した結果はＲＶ比較部１６４において部品の一部として比較対象となる。
情報は一部重複するが、重複することは認識精度を向上させることになり好都合である。
さらに、対象物要素認識部１６１１は、一致した部品要素を検出した要素に置換する。
以上の各部により対象物認識装置１６が構成される。
要素比較部１６１０は、画像から検出した要素と部品要素を三次元比較して一致を求める。要素部品は独立した要素部品とすることも可能であるが、部品から作られる要素部品とするのが望ましい。
ここで、要素部品単独ではＲＶ値を持たないが、部品から取得した複数の要素が集合すればＲＶ値もＪＶ値も持つので、集合した要素の比較においてはＲＶ値による比較はきわめて有効である。
要素比較した結果はＲＶ比較部１６４において部品の一部として比較対象となる。
情報は一部重複するが、重複することは認識精度を向上させることになり好都合である。
さらに、対象物要素認識部１６１１は、一致した部品要素を検出した要素に置換する。
以上の各部により対象物認識装置１６が構成される。
ＪＶ演算装置１７は、ＣＶ領域画像再結合部１７１と、ＪＶ演算部１７２を備える。
ＣＶ領域画像再結合部１７１は、対象物認識装置１６の出力から、対象物認識されたＣＶ領域画像を対象物単位で再結合する。
ＣＶ領域画像の大きさの分類は複数の組み合わせによる複数の選択肢があるので、部品と範囲は、そのままで完全一致しないが、両者の内どちらかがどちらかを含む形で一致するので、必ずしもＣＶ領域画像の大きさと種類を完全に一致させなくても良い。部分一致でも十分認識は可能である。部品の大きさに合わせるのが適切である。
ＪＶ演算部１７２は、それぞれの対象物毎にソフトＣＶ領域画像の幾何学的三次元結合状況を表すＪＶ値を求める。
ＣＶ領域画像再結合部１７１は、対象物認識装置１６の出力から、対象物認識されたＣＶ領域画像を対象物単位で再結合する。
ＣＶ領域画像の大きさの分類は複数の組み合わせによる複数の選択肢があるので、部品と範囲は、そのままで完全一致しないが、両者の内どちらかがどちらかを含む形で一致するので、必ずしもＣＶ領域画像の大きさと種類を完全に一致させなくても良い。部分一致でも十分認識は可能である。部品の大きさに合わせるのが適切である。
ＪＶ演算部１７２は、それぞれの対象物毎にソフトＣＶ領域画像の幾何学的三次元結合状況を表すＪＶ値を求める。
対象物ＣＶ領域画像生成装置１８は、ＪＶ演算装置１７で求められた対象物単位のＪＶ値は、複数の対象物がそれぞれ区別されて三次元的に６自由度で配置されるように、全ソフトＣＶ領域画像にＪＶ値を付加するＪＶ付加部１８１を備える。
また、対象物ＣＶ領域画像生成装置１８は、対象物認識が一部又は全て済ませた対象物認識ＣＶ領域画像を生成する対象物ＣＶ領域画像生成部１８２を備える。
最終的には、ＲＶ値とＪＶ値とを完全に合致した状態でＣＶ領域画像データベース装置３０（図１５又は図２２参照）に収納するために、決定した部品のソフトＣＶ領域画像と前記範囲のソフトＣＶ領域画像とを種類まで含めて統一しておくことが望ましい。
また、対象物ＣＶ領域画像生成装置１８は、対象物認識が一部又は全て済ませた対象物認識ＣＶ領域画像を生成する対象物ＣＶ領域画像生成部１８２を備える。
最終的には、ＲＶ値とＪＶ値とを完全に合致した状態でＣＶ領域画像データベース装置３０（図１５又は図２２参照）に収納するために、決定した部品のソフトＣＶ領域画像と前記範囲のソフトＣＶ領域画像とを種類まで含めて統一しておくことが望ましい。
［ＣＶ領域画像表示装置］
次に、以上のような構成からなる本発明の湧きだし点基準ＣＶ領域画像前置装置を利用した各種装置として、まず図１９を参照して、ＣＶ領域画像表示装置の一実施形態について説明する。
ＣＶ画像はフレーム単位の画像であったが、ＣＶ領域画像は領域単位の画像である。そこでＣＶ領域画像から動画にして再生するには、各ＣＶ領域画像から動画の各フレームを生成しなければならない。動画の生成には、ＣＶ領域が持つＶＤ値を使って行う。
そこで、本実施形態のＣＶ領域画像表示装置１００２は、以下のような各部を備えて構成される。
次に、以上のような構成からなる本発明の湧きだし点基準ＣＶ領域画像前置装置を利用した各種装置として、まず図１９を参照して、ＣＶ領域画像表示装置の一実施形態について説明する。
ＣＶ画像はフレーム単位の画像であったが、ＣＶ領域画像は領域単位の画像である。そこでＣＶ領域画像から動画にして再生するには、各ＣＶ領域画像から動画の各フレームを生成しなければならない。動画の生成には、ＣＶ領域が持つＶＤ値を使って行う。
そこで、本実施形態のＣＶ領域画像表示装置１００２は、以下のような各部を備えて構成される。
まず、湧きだし点基準ＣＶ領域画像前置装置１００１からの出力を、ＣＶ領域画像と共にＶＤを分離して取得するＣＶ領域画像・ＶＤ取得部１００３をそなえるとともに、画像の表示方法を指定する表示指定部１００４を備える。
この表示指定部１００４により、画枠、画角、フレーム数、解像度、視点方向、視点位置、表示図法などを指定する。
この表示指定部１００４により、画枠、画角、フレーム数、解像度、視点方向、視点位置、表示図法などを指定する。
また、ＶＤを基にして、指定部の指示に合ったＣＶ領域画像を再結合して再結合画像を生成するＣＶ領域画像再結合部１００５を備える。再結合された画像は既にＶＤを失い、通常画像となっている。領域は失うが、新たにフレームが生成されているので、再結合された画像の各フレームにCVを持たせることは可能である。
また、再結合画像を各フレームに配分して、各フレームに対応した画像を生成する画像フレーム生成部１００６を備える。
さらに、通常画像となった画像フレームを表示する表示部１００７を備える。
また、再結合画像を各フレームに配分して、各フレームに対応した画像を生成する画像フレーム生成部１００６を備える。
さらに、通常画像となった画像フレームを表示する表示部１００７を備える。
表示装置は全てのＣＶ領域画像（ハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像）において共通に示している。
画像の再結合及び、画像フレームの生成は前記湧きだし点基準ＣＶ領域画像前置装置１００１の過程の逆であり、理解は容易である。
図１５の矢印の方向を逆向きにすることで、再結合は理解できるので、参考に図１５の矢印を逆方向に付け替えた図を図２０として示す。
なお、逆方向の場合には装置名に関して必ずしも適切ではない場合が生じるが、理解の上では同じ名称の方がよいのでそのままとしてある。
画像の再結合及び、画像フレームの生成は前記湧きだし点基準ＣＶ領域画像前置装置１００１の過程の逆であり、理解は容易である。
図１５の矢印の方向を逆向きにすることで、再結合は理解できるので、参考に図１５の矢印を逆方向に付け替えた図を図２０として示す。
なお、逆方向の場合には装置名に関して必ずしも適切ではない場合が生じるが、理解の上では同じ名称の方がよいのでそのままとしてある。
［ＣＶ領域画像データベース装置］
次に、図２１を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像データベース装置の一実施形態について説明する。
ＣＶ画像はフレーム単位の動画像であったが、ＣＶ領域画像では、領域単位の画像となる。ＣＶ領域画像データベース装置１０１２の本質は、ＣＶ領域画像とＣＶ領域画像に対応したベクトルデータを持ち、出力も又ＣＶ領域画像とベクトルデータを持つことにある。ベクトルデータとはＶＤで表し、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はそれぞれＶＤある。
次に、図２１を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像データベース装置の一実施形態について説明する。
ＣＶ画像はフレーム単位の動画像であったが、ＣＶ領域画像では、領域単位の画像となる。ＣＶ領域画像データベース装置１０１２の本質は、ＣＶ領域画像とＣＶ領域画像に対応したベクトルデータを持ち、出力も又ＣＶ領域画像とベクトルデータを持つことにある。ベクトルデータとはＶＤで表し、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はそれぞれＶＤある。
先ず、図１５（及び図２０）の符号３０で示すように、ＣＶ領域画像データベース装置を位置づけする。
同図に示すように、ハードＣＶ領域画像生成装置１０からの画像出力を記録し、更新し、検索し、出力するデータベースを、ハードＣＶ領域画像ＤＢ１１とする。
また、ソフトＣＶ領域画像生成装置１４からの画像出力を、記録し、更新し、検索し、出力するデータベースをソフトＣＶ領域画像ＤＢ１５とする。
また、対象物ＣＶ領域画像生成装置１８からの画像出力を、記録し、更新し、検索し、出力するデータベースを対象物ＣＶ領域画像ＤＢ１９とする。
同図に示すように、ハードＣＶ領域画像生成装置１０からの画像出力を記録し、更新し、検索し、出力するデータベースを、ハードＣＶ領域画像ＤＢ１１とする。
また、ソフトＣＶ領域画像生成装置１４からの画像出力を、記録し、更新し、検索し、出力するデータベースをソフトＣＶ領域画像ＤＢ１５とする。
また、対象物ＣＶ領域画像生成装置１８からの画像出力を、記録し、更新し、検索し、出力するデータベースを対象物ＣＶ領域画像ＤＢ１９とする。
さらに、上記三者のＤＢの中間段階の画像出力をデータベース化することもできる。ハードＣＶ領域画像とソフトＣＶ領域画像とが混在するデータベースも可能であり、ソフトＣＶ領域画像と対象物ＣＶ領域画像が混在するデータベースも可能である。
データベースはどの形式のＤＢ、或いはその中間のＤＢであっても、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はＣＶ領域画像で、あるいは隣接する画像間で、重複しており、整理することでデータ量は圧縮できる。
データベースはどの形式のＤＢ、或いはその中間のＤＢであっても、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はＣＶ領域画像で、あるいは隣接する画像間で、重複しており、整理することでデータ量は圧縮できる。
次に、図２１を参照して、本実施形態のＣＶ領域画像データベース装置１０１２について具体的に説明する。
同図において、ＣＶ領域画像・ＶＤ取得部１０１４は、湧きだし点基準ＣＶ領域画像前置装置１００１からの出力である各ＣＶ領域画像、すなわちハードＣＶ領域画像出力、ソフトＣＶ領域画像出力、及び対象物ＣＶ領域画像出力の中の全ての画像出力、若しくは前記三者の中間段階の画像出力を、各ベクトルデータ（ＶＤ値）共に取得する。
同図において、ＣＶ領域画像・ＶＤ取得部１０１４は、湧きだし点基準ＣＶ領域画像前置装置１００１からの出力である各ＣＶ領域画像、すなわちハードＣＶ領域画像出力、ソフトＣＶ領域画像出力、及び対象物ＣＶ領域画像出力の中の全ての画像出力、若しくは前記三者の中間段階の画像出力を、各ベクトルデータ（ＶＤ値）共に取得する。
ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値は動画としての性質から。フレームを跨いでかなりの重複部分を持つ。重複を無くすことで、最終的にはＣＶ領域画像は静止画と、移動により生まれる新しいＣＶ領域画像と、それらのＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値にまで圧縮可能である。
なお、ＣＶ領域画像データベース装置１０１２では、重複の程度とその圧縮の程度については示していない。
なお、ＣＶ領域画像データベース装置１０１２では、重複の程度とその圧縮の程度については示していない。
重複データ圧縮部１０１６は、ＣＶ領域画像・ＶＤ取得部１０１４で取得したＶＤ値の成分であるＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、若しくはそれら何れかの内で、ＣＶ領域画像単位で、及び画像フレーム単位で重複するデータを近似化し単純化して、圧縮する。
なお、これらデータの中で重複するデータをさらにまとめて整理する重複データ圧縮部１０１６に関しても、具体的には示していない。すなわち、重複データの圧縮には様々な方法があるので、どのような手法でどのように圧縮するかに関しては、ここでは限定していない。圧縮の具体例の一つとしては、本願発明者の提案による特願２００４−３６４２２３号の「座標系分離画像圧縮再生装置」や、後述する「座標系分離装置」及びその「実施例２」に詳しく述べている。画像圧縮を設置しなくても多少非効率になるが、ＣＶ領域画像データベース装置の本質は失われない。
なお、これらデータの中で重複するデータをさらにまとめて整理する重複データ圧縮部１０１６に関しても、具体的には示していない。すなわち、重複データの圧縮には様々な方法があるので、どのような手法でどのように圧縮するかに関しては、ここでは限定していない。圧縮の具体例の一つとしては、本願発明者の提案による特願２００４−３６４２２３号の「座標系分離画像圧縮再生装置」や、後述する「座標系分離装置」及びその「実施例２」に詳しく述べている。画像圧縮を設置しなくても多少非効率になるが、ＣＶ領域画像データベース装置の本質は失われない。
次に、ＣＶ領域画像単位で従来の画像圧縮手段例えばDCT等の従来技術により圧縮記録するＣＶ領域画像圧縮記録部１０１７は、従来技術でもあり特に設置せずにＣＶ領域画像を圧縮せずに記録したとしても、多少非効率にはなるがＣＶ領域画像データベース装置の本質は失われない。
ＣＶ領域画像を、単に画像としてみて、従来方法で圧縮することでも、かなりの圧縮が期待される。
ＣＶ領域画像を、単に画像としてみて、従来方法で圧縮することでも、かなりの圧縮が期待される。
ここでは、単なる従来方法の圧縮と、前記ＣＶ領域画像特有の性質を利用した重複データを整理することによる圧縮とを敢えて分離して記述している。その理由は、従来方法の圧縮とＣＶ領域画像の重複データの圧縮は両立し、ＣＶ画像領域の重複データ圧縮を先にやり、その後に従来方法圧縮をすることが可能であり、又その逆でも可能であることによる。
例えば、重複データ圧縮部１０１６には後述する「座標系分離装置」の「実施例２」を用い、このＣＶ領域画像圧縮記録部にはJPEG１、JPEG2、JPEG4及びその方法を用いて、圧縮効果を高めることも可能である。
例えば、重複データ圧縮部１０１６には後述する「座標系分離装置」の「実施例２」を用い、このＣＶ領域画像圧縮記録部にはJPEG１、JPEG2、JPEG4及びその方法を用いて、圧縮効果を高めることも可能である。
検索指定部１０１８では、画像のＣＶ値は三次元座標を持つので、座標で、又はＣＶ値で画像を検索することができる。さらにＲＶ値はＣＶ領域画像内の特定の部分のＣＶ領域画像まで指定することが可能であるので、画像及びハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像による検索が可能となる。
ここでは、ＣＶ領域画像データベース装置１０１２の外側に用意したＣＶ値やＣＶ領域画像やＲＶ値で、当該ＣＶ領域画像データベース内に検索される対象物を探すこと以外に、当該ＣＶ領域画像データベース内で検索すべき対象物を指定し、他のＣＶ画像内に検索することもできることは明らかである。
検索装置については、さらに後で詳しく述べる。
ここでは、ＣＶ領域画像データベース装置１０１２の外側に用意したＣＶ値やＣＶ領域画像やＲＶ値で、当該ＣＶ領域画像データベース内に検索される対象物を探すこと以外に、当該ＣＶ領域画像データベース内で検索すべき対象物を指定し、他のＣＶ画像内に検索することもできることは明らかである。
検索装置については、さらに後で詳しく述べる。
従ってＣＶ値、及びＲＶ値の比較により、座標による検索、及び形状での検索が可能となる。またＣＶ値を利用した新旧画像更新やさらにＲＶ値を利用した新旧ＣＶ領域画像更新、新旧対象物更新も可能となる。これらを可能とする更新する指定部を設けることも可能である。
ただし、この検索・更新部は設置しない場合は多少非効率になるがＣＶ領域画像データベースの本質は失われない。
ただし、この検索・更新部は設置しない場合は多少非効率になるがＣＶ領域画像データベースの本質は失われない。
解凍・出力部１０１９は、圧縮記録したＣＶ領域画像を解凍し、重複データ整理部で整理されたＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、若しくはそれらの何れかを付加した複数種類のＣＶ領域画像が混在するＣＶ領域画像を出力する。
ここで整理とは、全てのＣＶ領域画像に同一のデータを付加する必要はないことから、データが重複しないように、必要な画像のフレームに対して、及び必要なＣＶ領域画像について、効率的にＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て又はいずれかの組み合わせを付加することで、画像の記録及び送信、配信の効率を上げることができる。
ここで整理とは、全てのＣＶ領域画像に同一のデータを付加する必要はないことから、データが重複しないように、必要な画像のフレームに対して、及び必要なＣＶ領域画像について、効率的にＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て又はいずれかの組み合わせを付加することで、画像の記録及び送信、配信の効率を上げることができる。
出力時のＣＶ領域画像が、元々画像の持つＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、又はいずれかの組み合わせを持つことが本データベースの本質である。
このように、ＣＶ領域画像化され再構成可能な画像をＤＣＴ等で圧縮記録し、更新し、検索し、解凍出力するデータベースを持つことを総称してＣＶ領域画像データベース装置という。
なお、当然入力するＣＶ領域画像と出力するＣＶ領域画像を表示して監視する入出力監視モニタを設置することが好ましい。ここでは新しい原理と技術を説明するためにあえてモニタについては記述していない。
このように、ＣＶ領域画像化され再構成可能な画像をＤＣＴ等で圧縮記録し、更新し、検索し、解凍出力するデータベースを持つことを総称してＣＶ領域画像データベース装置という。
なお、当然入力するＣＶ領域画像と出力するＣＶ領域画像を表示して監視する入出力監視モニタを設置することが好ましい。ここでは新しい原理と技術を説明するためにあえてモニタについては記述していない。
また、ＣＶ領域画像単位で圧縮（従来技術で可）をすることでＣＶ領域画像データベースは効率的になる。
さらに、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はＣＶ領域画像単位、若しくは対象物単位で持つので、隣接画像及び隣接ＣＶ領域画像と共有（従来技術）できる場合が多い。そこでＣＶ領域画像を時空間の固まりに束ねることで、重複を無くし、より効率的なＣＶ領域画像データベース装置が実現できる。
さらに、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はＣＶ領域画像単位、若しくは対象物単位で持つので、隣接画像及び隣接ＣＶ領域画像と共有（従来技術）できる場合が多い。そこでＣＶ領域画像を時空間の固まりに束ねることで、重複を無くし、より効率的なＣＶ領域画像データベース装置が実現できる。
ＣＶ領域画像データベース装置からの出力はＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て又はそのいずれかの組み合わせを付加したＣＶ領域画像単位の画像であり、ここから目的に合わせた様々な画像処理を行うことができるので、新産業のプラットホームとしてきわめて有用であり、産業的応用が期待される。
ＣＶ領域画像データベース装置１０１２は湧きだし点基準ＣＶ領域画像前置装置の出力と同じ信号形式とし、信号には互換性を持たせることが望ましい。そうすることで湧きだし点基準ＣＶ領域画像前置装置の出力をさらに当該ＣＶ領域画像データベース装置を通過させることで、より圧縮されて扱いやすくなった信号を出力することができる。
ＣＶ領域画像データベース装置１０１２は湧きだし点基準ＣＶ領域画像前置装置の出力と同じ信号形式とし、信号には互換性を持たせることが望ましい。そうすることで湧きだし点基準ＣＶ領域画像前置装置の出力をさらに当該ＣＶ領域画像データベース装置を通過させることで、より圧縮されて扱いやすくなった信号を出力することができる。
以降、後述する各装置では全て湧きだし点基準ＣＶ領域画像前置装置からの出力を用いるが、当該ＣＶ領域画像データベース装置を通過させることでさらなるデータ量の圧縮がなされ、いかなるＣＶ領域画像においても、より有効利用しやすくなる。
湧きだし点基準ＣＶ領域画像前置装置の出力はハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像が個別に出力されるが、当該ＣＶ領域画像データベース装置を通過させることでブロック化されないで残ったＣＶ領域画像、ハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像がミックスされた状況で出力が可能となる。
具体例としては、フレーム情報は消失して、或いはフレーム画像そのものが消失して、ＣＶ領域画像とＶＤのみのデータと言うこともあり得る。さらに一部分対象物認識されたのみのＣＶ画像、ハードＣＶ領域画像とソフトＣＶ領域画像がミックスされた画像などの出力が可能となる。
湧きだし点基準ＣＶ領域画像前置装置の出力はハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像が個別に出力されるが、当該ＣＶ領域画像データベース装置を通過させることでブロック化されないで残ったＣＶ領域画像、ハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像がミックスされた状況で出力が可能となる。
具体例としては、フレーム情報は消失して、或いはフレーム画像そのものが消失して、ＣＶ領域画像とＶＤのみのデータと言うこともあり得る。さらに一部分対象物認識されたのみのＣＶ画像、ハードＣＶ領域画像とソフトＣＶ領域画像がミックスされた画像などの出力が可能となる。
図２２にこのＣＶ領域画像データベース装置１０１２から応用可能な幾つかの例を示す。
同図に示すように、ＣＶ値のみのＣＶ画像データベース装置による応用例は、○動画像とＣＧの合成装置３１、○動画像からの三次元座標取得装置３２、対象物を常に定位置で観察するロックオン表示装置３３、回転揺れ止め画像生成装置・揺れ止め制御装置３４、○画像内計測・画像間計測装置３５、○新旧画像更新装置３６、○ＣＶ画像地図４７、○車載カメラによる自動車位置決め、及びその応用による実写ナビゲーションシステム４１、○画像の三次元ポリゴン化装置４２、○路面オルソ化地図生成システム４３等が既に本発明者により実現されている。
ここで上記応用例はＣＶ画像ＤＢによるが、ＣＶ領域画像データベース装置によれば、さらに効率化されて実現されることになる。
同図に示すように、ＣＶ値のみのＣＶ画像データベース装置による応用例は、○動画像とＣＧの合成装置３１、○動画像からの三次元座標取得装置３２、対象物を常に定位置で観察するロックオン表示装置３３、回転揺れ止め画像生成装置・揺れ止め制御装置３４、○画像内計測・画像間計測装置３５、○新旧画像更新装置３６、○ＣＶ画像地図４７、○車載カメラによる自動車位置決め、及びその応用による実写ナビゲーションシステム４１、○画像の三次元ポリゴン化装置４２、○路面オルソ化地図生成システム４３等が既に本発明者により実現されている。
ここで上記応用例はＣＶ画像ＤＢによるが、ＣＶ領域画像データベース装置によれば、さらに効率化されて実現されることになる。
次に、当該ＣＶ領域画像データベースではじめて実現される様々な応用例について以下に列挙する。
図２２に示すように、○座標系分離画像圧縮・記録装置５１、○視点移動・中間フレーム生成装置５２、○移動体抽出・運動解析装置５３、○高解像度化画像生成装置５４、○ＣＶ領域画像運動抽出・検索・解析装置（ハードＣＶ領域画像・ソフトＣＶ領域画像・対象物ＣＶ領域画像を含む）５５、○ノイズリダクション装置６１、○ＣＶ領域画像差し換え画像生成装置６２、○対象物運動抽出・解析装置７１、○PRM画像圧縮装置７２、○対象物運動解析装置７３○複合人工知能記憶装置７４等が考えられている。
これらの方法論と応用例の幾つかについては、以下の実施形態でも適宜取り上げて説明するが、以下に三次元地図としての利用について説明する。
図２２に示すように、○座標系分離画像圧縮・記録装置５１、○視点移動・中間フレーム生成装置５２、○移動体抽出・運動解析装置５３、○高解像度化画像生成装置５４、○ＣＶ領域画像運動抽出・検索・解析装置（ハードＣＶ領域画像・ソフトＣＶ領域画像・対象物ＣＶ領域画像を含む）５５、○ノイズリダクション装置６１、○ＣＶ領域画像差し換え画像生成装置６２、○対象物運動抽出・解析装置７１、○PRM画像圧縮装置７２、○対象物運動解析装置７３○複合人工知能記憶装置７４等が考えられている。
これらの方法論と応用例の幾つかについては、以下の実施形態でも適宜取り上げて説明するが、以下に三次元地図としての利用について説明する。
［三次元地図としての利用］
ＣＶ値を持つＣＶ画像（ＣＶ映像）は三次元地図としてそのまま利用できることは特開２００５−２９５４９５号で既に明らかにされている。従って、それを領域化したＣＶ領域画像データベースであっても、より効率的に三次元ＣＶ画像地図としてそのまま利用できることは明らかである。
さらに、車載したカメラによるリアルタイムで取得した画像との特徴点自動比較により、車両の現在位置を取得できることは本願発明者の提案による特願２００５−３０３９５２号で明らかにされている。
ＣＶ値を持つＣＶ画像（ＣＶ映像）は三次元地図としてそのまま利用できることは特開２００５−２９５４９５号で既に明らかにされている。従って、それを領域化したＣＶ領域画像データベースであっても、より効率的に三次元ＣＶ画像地図としてそのまま利用できることは明らかである。
さらに、車載したカメラによるリアルタイムで取得した画像との特徴点自動比較により、車両の現在位置を取得できることは本願発明者の提案による特願２００５−３０３９５２号で明らかにされている。
そこで、上記特願２００５−３０３９５２号に示されているように、ＣＶ領域画像データベースを三次元ＣＶ領域画像地図として、リアルタイムで車両の現在位置を三次元で求めるカーナビに利用する場合は、それは人間が見る地図ではなく、機械（ＰＣ）が見る地図であることから、地図としてのデータはＣＶ領域画像全域である必要はなく、地図として特徴有る部分のみのＣＶ領域画像であればよいことになる。そうすることで地図として所持するデータ量を極端に減少させることができて効率的である。
一つの地点に対して、二次元特徴点の場合は最低１０〜２０個程度、三次元座標まで取得していれば４個〜１０個程度で、車両の現在地点の位置決めは可能である。
一つの地点に対して、二次元特徴点の場合は最低１０〜２０個程度、三次元座標まで取得していれば４個〜１０個程度で、車両の現在地点の位置決めは可能である。
つまりＣＶ領域画像において、数個〜２０個程度の画像の断片（ＣＶ領域画像）を持てば三次元地図として利用できることになる。これは現実的な数字である。
当該ＣＶ領域画像データベースにおいて、ＣＶ領域画像の種類により、様々な利用方法が生まれる。ハードＣＶ領域画像においては、二次元特徴点、及び三次元特徴点として、ソフトＣＶ領域画像においては、形状を持つ明確な二次元特徴点、及び三次元特徴点として、対象物ＣＶ領域画像においては、認識済の対象物はそのまま特徴点となり得るだけではなく、交通標識、道路表示、行き先看板等、その意味も理解しているので、地図としての利用価値はさらに高まることになる。
当該ＣＶ領域画像データベースにおいて、ＣＶ領域画像の種類により、様々な利用方法が生まれる。ハードＣＶ領域画像においては、二次元特徴点、及び三次元特徴点として、ソフトＣＶ領域画像においては、形状を持つ明確な二次元特徴点、及び三次元特徴点として、対象物ＣＶ領域画像においては、認識済の対象物はそのまま特徴点となり得るだけではなく、交通標識、道路表示、行き先看板等、その意味も理解しているので、地図としての利用価値はさらに高まることになる。
［視点変更装置］
次に、図２３を参照して、本発明の係る湧きだし点基準ＣＶ領域画像前置装置を用いた視点変更装置の一実施形態について説明する。
本発明では、ＣＶ領域画像とはハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像の全てを含んでいることが重要である。以下に示す実施形態についても全てこの事実に基づいている。
全ての演算はＣＶ領域画像単位で処理されるため、ＣＶ領域画像が一枚の画像として扱われる。従ってＣＶ領域画像が移動体であるか否かを特に区別する必要はない。ＣＶ領域画像が一枚の画像として扱われる。このことは本発明の全てに言えることである。
次に、図２３を参照して、本発明の係る湧きだし点基準ＣＶ領域画像前置装置を用いた視点変更装置の一実施形態について説明する。
本発明では、ＣＶ領域画像とはハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像の全てを含んでいることが重要である。以下に示す実施形態についても全てこの事実に基づいている。
全ての演算はＣＶ領域画像単位で処理されるため、ＣＶ領域画像が一枚の画像として扱われる。従ってＣＶ領域画像が移動体であるか否かを特に区別する必要はない。ＣＶ領域画像が一枚の画像として扱われる。このことは本発明の全てに言えることである。
変更したＣＶ値を与えることで視点変更を指示することにより、ＣＶ値以外のＶＤ（ＴＶ値、ＲＶ値、ＪＶ値）を変換演算して、視点変更画像を生成することが本実施形態で示す視点変更装置１０２１の本質である。
以下、図２３に示す本実施形態に係る視点変更装置１０２１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０２２は、ＣＶ領域画像データベース装置からの出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。これは上述したＣＶ領域画像表示装置１００２におけるＣＶ領域画像・ＶＤ取得部１００３と同様のものでよい（図１９参照）。
視点変更指定部１０２３は、視点変更地点を、若しくは視点変更経路を、ＣＶ値で指定する。ＣＶ値は視点の三次元座標、回転姿勢を含んだＶＤなので、ＣＶ値を与えることで始点を指定できる。
以下、図２３に示す本実施形態に係る視点変更装置１０２１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０２２は、ＣＶ領域画像データベース装置からの出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。これは上述したＣＶ領域画像表示装置１００２におけるＣＶ領域画像・ＶＤ取得部１００３と同様のものでよい（図１９参照）。
視点変更指定部１０２３は、視点変更地点を、若しくは視点変更経路を、ＣＶ値で指定する。ＣＶ値は視点の三次元座標、回転姿勢を含んだＶＤなので、ＣＶ値を与えることで始点を指定できる。
視点変更演算部１０２４は、ＣＶ値で指定された視点変更ＣＶ値から、視点変更時の他のＶＤを演算で求める。
また、変更ＶＤ取得部１０２５は、指定されたＣＶ値に従い、ＣＶ領域画像のＣＶ値以外のＶＤ値等を変換演算し、視点変更演算により取得されたＶＤを各画像、及び各ＣＶ領域画像に対応をつける。
視点変更画像生成部１０２６は、対応のついた前記各画像、及び各ＣＶ領域画像の画像を変更ＶＤに従ってＣＶ領域画像結合し、指定の画像フレーム生成し、出力する。
また、変更ＶＤ取得部１０２５は、指定されたＣＶ値に従い、ＣＶ領域画像のＣＶ値以外のＶＤ値等を変換演算し、視点変更演算により取得されたＶＤを各画像、及び各ＣＶ領域画像に対応をつける。
視点変更画像生成部１０２６は、対応のついた前記各画像、及び各ＣＶ領域画像の画像を変更ＶＤに従ってＣＶ領域画像結合し、指定の画像フレーム生成し、出力する。
なお、視点変更指定部１０２３は様々な指定が可能である。
図２３に示すように、例えば、中間フレーム指定部１０２７を設置して、フレーム間のＣＶ値を等間隔に分割するように視点変更指定部１０２３に指示すれば、動画像の複数の中間フレームが生成できることになる。これで視点変更装置は中間フレーム生成装置となる。毎秒１５fpsのフレームレートで撮影した画像を毎秒６０fpsに変換できることになる。このように撮影時又は記録時の画像フレームを間引いて、再生時に中間フレームを生成することで基準のフレームレートを確保するような画像圧縮を行う画像フレーム圧縮解凍装置も可能である。
ただし、中間フレーム生成の目的においては、単にＣＶ値を分割するだけでよいが、時間配分として利用してもよい。
図２３に示すように、例えば、中間フレーム指定部１０２７を設置して、フレーム間のＣＶ値を等間隔に分割するように視点変更指定部１０２３に指示すれば、動画像の複数の中間フレームが生成できることになる。これで視点変更装置は中間フレーム生成装置となる。毎秒１５fpsのフレームレートで撮影した画像を毎秒６０fpsに変換できることになる。このように撮影時又は記録時の画像フレームを間引いて、再生時に中間フレームを生成することで基準のフレームレートを確保するような画像圧縮を行う画像フレーム圧縮解凍装置も可能である。
ただし、中間フレーム生成の目的においては、単にＣＶ値を分割するだけでよいが、時間配分として利用してもよい。
また、ＣＶ領域画像生成においては、回転揺れ止め画像を元として生成しているが、位置座標の揺れは残っていて、ＣＶ値により補正しない場合は微少な誤差発生の原因になっている。そこで、図２３に示すように、揺れ止め指定部１０２８を設置して、回転のみ成らず位置座標の揺れに対してもＣＶ値で位置座標の揺れがない経路を設定し、その経路上に目的のカメラ移動のみを実現するように視点変更を指定することで、回転のみならず位置座標の揺れまで完全に揺れ止めができる完全揺れ止め装置１０３０が実現できる。
このように視点変更を広義に解釈することで、様々な応用が可能である。以下の実施形態でも、視点変更を利用してさまざまな画像処理を実現している。
なお、視点変更装置の出力は既に通常映像となっているので、通常の表示装置でよい。もちろん、上述した表示装置を用いることで実現できる。
また、視点変更装置の出力は、表示のためにはもはやＶＤは必要ないが、その他の応用に利用するためにはＶＤを付加して出力できるようにしておくのが好ましい。
なお、視点変更装置の出力は既に通常映像となっているので、通常の表示装置でよい。もちろん、上述した表示装置を用いることで実現できる。
また、視点変更装置の出力は、表示のためにはもはやＶＤは必要ないが、その他の応用に利用するためにはＶＤを付加して出力できるようにしておくのが好ましい。
［ＣＶ領域画像ＣＧ合成装置］
次に、図２４を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像ＣＧ合成装置の一実施形態について説明する。
ＣＶ値を持つ画像とＣＧとの合成装置に関しては、本願発明者の提案による特開２００５−１２２３１５号で既に示されている。
ＣＶ領域画像となったことで、ＣＧ合成はより単純化され、視点変更も可能となり、また、前後関係も簡単に決定できるようになった。
基本的には、ＣＧを対象物認識されたＣＶ領域画像として扱うことで、合成が可能となる。
次に、図２４を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像ＣＧ合成装置の一実施形態について説明する。
ＣＶ値を持つ画像とＣＧとの合成装置に関しては、本願発明者の提案による特開２００５−１２２３１５号で既に示されている。
ＣＶ領域画像となったことで、ＣＧ合成はより単純化され、視点変更も可能となり、また、前後関係も簡単に決定できるようになった。
基本的には、ＣＧを対象物認識されたＣＶ領域画像として扱うことで、合成が可能となる。
ここでは、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像ＣＧ合成装置についての一実施形態について説明する。
以下、図２４に示すＣＶ領域画像ＣＧ合成装置１０３１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０３２は、ＣＶ領域画像データベース装置１０１２の出力を、若しくは視点変更装置１０２１の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
視点変更装置を経由させれば、視点変更のＣＧ合成が可能となる。そのときは視点変更表示装置を用いる。
以下、図２４に示すＣＶ領域画像ＣＧ合成装置１０３１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０３２は、ＣＶ領域画像データベース装置１０１２の出力を、若しくは視点変更装置１０２１の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
視点変更装置を経由させれば、視点変更のＣＧ合成が可能となる。そのときは視点変更表示装置を用いる。
ＣＧ入力部１０３４は、ＣＶ領域画像に合成するべきＣＧを入力する。これは通常のＣＧであり、合成すべきＣＧを入力する。
ＶＤ演算部１０３５は、ＣＧのＶＤを演算する。
ＣＧはＶＤ演算部で、ＣＶ値、ＲＶ値、ＪＶ値等を持つことになる。ここではＣＧのＶＤは、必ずしも画像と同種のＶＤ値を持つ必要はなく、合成は可能である。一般にＣＧは既に対象物認識された画像と同じ意味を持つから、対象物ＣＶ領域画像として扱うのが好ましい。
視点座標はどちらもＣＶ値で指定することになる。
視点座標統合部１０３６は、ＣＶ領域画像の視点座標とＣＧの視点座標を合致させて座標を統合する。視点座標がＣＶ値で指定されたことで、ＣＶ領域画像とＣＧの視点は統合されたことになる。
ＶＤ演算部１０３５は、ＣＧのＶＤを演算する。
ＣＧはＶＤ演算部で、ＣＶ値、ＲＶ値、ＪＶ値等を持つことになる。ここではＣＧのＶＤは、必ずしも画像と同種のＶＤ値を持つ必要はなく、合成は可能である。一般にＣＧは既に対象物認識された画像と同じ意味を持つから、対象物ＣＶ領域画像として扱うのが好ましい。
視点座標はどちらもＣＶ値で指定することになる。
視点座標統合部１０３６は、ＣＶ領域画像の視点座標とＣＧの視点座標を合致させて座標を統合する。視点座標がＣＶ値で指定されたことで、ＣＶ領域画像とＣＧの視点は統合されたことになる。
前後関係形成部１０３７は、ＣＶ領域画像のＶＤと前記ＣＧのＶＤを比較演算して、表示の前後関係を決定する。
視点座標を示すＣＶ値とＣＧとＣＶ領域画像のＲＶ値の比較から、視点位置からの三次元方向と距離が明確になり、ＣＶ領域画像とＣＧとの前後関係は明確になる。
ＣＶ領域画像ＣＧ合成部１０３８は、視点が合致し、前後関係が決定された、前記ＣＶ領域画像と前記ＣＧとを合成して、同一座標系で表現する。座標系は統合されているので、そのまま合成が可能である。
ここで、表示装置は、図２４に示すように、視点変更表示装置１００３を用いるのが好ましい。
視点座標を示すＣＶ値とＣＧとＣＶ領域画像のＲＶ値の比較から、視点位置からの三次元方向と距離が明確になり、ＣＶ領域画像とＣＧとの前後関係は明確になる。
ＣＶ領域画像ＣＧ合成部１０３８は、視点が合致し、前後関係が決定された、前記ＣＶ領域画像と前記ＣＧとを合成して、同一座標系で表現する。座標系は統合されているので、そのまま合成が可能である。
ここで、表示装置は、図２４に示すように、視点変更表示装置１００３を用いるのが好ましい。
［三次元形状生成装置］
次に、図２５を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた三次元形状生成装置の一実施形態について説明する。
ＶＤ値は既に三次元データと言えるものであるが、通常使用される三次元座標を持ったポリゴンに変換するだけで、三次元形状は簡単に生成される。
図２５に示す三次元形状生成装置１０４１では、まず、ＣＶ領域画像・ＶＤ取得部１０４２が、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
次に、図２５を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた三次元形状生成装置の一実施形態について説明する。
ＶＤ値は既に三次元データと言えるものであるが、通常使用される三次元座標を持ったポリゴンに変換するだけで、三次元形状は簡単に生成される。
図２５に示す三次元形状生成装置１０４１では、まず、ＣＶ領域画像・ＶＤ取得部１０４２が、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
範囲指定部１０４３は、三次元形状生成を行う範囲を指定する。
ポリゴン変換演算部１０４４は、ＣＶ領域画像に付加されたＶＤ値から三次元ポリゴンに変換演算する。これは単純な変換の演算であり、ＣＶ値とＴＶ値、若しくはＲＶ値からリアルタイム変換も可能である。また、ＲＶ値そのものが既に三次元データを持っていると考えられるから、変換と言ってもＲＶ値でポリゴンをそのまま表現することも可能である。
さらに、三次元形状生成部１０４５が、ポリゴン変換されたデータから三次元形状を生成する。
以上により、三次元形状が生成される。
ポリゴン変換演算部１０４４は、ＣＶ領域画像に付加されたＶＤ値から三次元ポリゴンに変換演算する。これは単純な変換の演算であり、ＣＶ値とＴＶ値、若しくはＲＶ値からリアルタイム変換も可能である。また、ＲＶ値そのものが既に三次元データを持っていると考えられるから、変換と言ってもＲＶ値でポリゴンをそのまま表現することも可能である。
さらに、三次元形状生成部１０４５が、ポリゴン変換されたデータから三次元形状を生成する。
以上により、三次元形状が生成される。
ここで、取得された三次元形状はポリゴンの形状をとるのが一般的なので、ここで取得したポリゴンデータにテクスチャーを貼り付け、最適な画像として観察することができる。その場合には、以下に示すような最適ＣＶ領域画像選択部１０４６及びテクスチャー貼付部１０４７を更に備えることができる。
図２５に示すように、最適ＣＶ領域画像選択部１０４６は、上記のようにして取得した全体の三次元ポリゴンデータに関して、あるいは個別の各三次元ポリゴンデータに関して、既に取得しているＣＶ領域画像（図２５に示す湧きだし点基準ＣＶ領域画像前置装置１００１又はＣＶ領域画像・ＶＤ取得部１０４２参照）の中から、(1)最も解像度の高いＣＶ領域画像、(2)又は最も仮想カメラ位置の近くで取得しているＣＶ領域画像を、(3)又は最も仮想カメラからの視点方向の近いＣＶ画像、(4)あるいは最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する。
次に、テクスチャー貼り付け部１０４７は、選択されたＣＶ領域画像データの全三次元ポリゴン、又は三次元形状を構成する各三次元ポリゴンに、テスクチャーを貼り付ける。
表示部１０４８では、それを仮想カメラ位置を視点とした画像として表示する。
以上により、三次元形状にテクスチャーを貼り付けたより最適な画像を生成・表示することができる。
図２５に示すように、最適ＣＶ領域画像選択部１０４６は、上記のようにして取得した全体の三次元ポリゴンデータに関して、あるいは個別の各三次元ポリゴンデータに関して、既に取得しているＣＶ領域画像（図２５に示す湧きだし点基準ＣＶ領域画像前置装置１００１又はＣＶ領域画像・ＶＤ取得部１０４２参照）の中から、(1)最も解像度の高いＣＶ領域画像、(2)又は最も仮想カメラ位置の近くで取得しているＣＶ領域画像を、(3)又は最も仮想カメラからの視点方向の近いＣＶ画像、(4)あるいは最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する。
次に、テクスチャー貼り付け部１０４７は、選択されたＣＶ領域画像データの全三次元ポリゴン、又は三次元形状を構成する各三次元ポリゴンに、テスクチャーを貼り付ける。
表示部１０４８では、それを仮想カメラ位置を視点とした画像として表示する。
以上により、三次元形状にテクスチャーを貼り付けたより最適な画像を生成・表示することができる。
［画角拡大装置］
次に、図２６を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画角拡大装置の一実施形態について説明する。
画角を拡大するために、広角レンズを用いれば、カメラのＣＣＤが同一である限り、カメラの角度の分解能、すなわち解像度は落ちてしまう。
そこで、画角の小さいカメラで高い解像度で撮影した画像を過去のフレームで補うことで画角を拡大して広角表示する。カメラ視点位置を決定し、そのカメラ視点を車両に沿って移動させ、過去の画像フレームを全て現在視点に視点変更する。視点変更された全ての画像は現在のカメラ視点で矛盾のない結合が可能となり、結合することで広角映像が取得できる。
次に、図２６を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画角拡大装置の一実施形態について説明する。
画角を拡大するために、広角レンズを用いれば、カメラのＣＣＤが同一である限り、カメラの角度の分解能、すなわち解像度は落ちてしまう。
そこで、画角の小さいカメラで高い解像度で撮影した画像を過去のフレームで補うことで画角を拡大して広角表示する。カメラ視点位置を決定し、そのカメラ視点を車両に沿って移動させ、過去の画像フレームを全て現在視点に視点変更する。視点変更された全ての画像は現在のカメラ視点で矛盾のない結合が可能となり、結合することで広角映像が取得できる。
ここで視点とはＣＶ値であり、移動体の場合はＴＶ値やＲＶ値から視点情報に変換できる。
ここでの特徴は、複数フレームを用いるので、画角を拡大してもほぼ元の精細さを保てると言うことである。過去の映像は時間遅れの映像であるから、そのままでは移動体が有ればその部分の結合は正しく結合しないが、移動体もＴＶ値やＲＶ値を持つことから、移動体部分の動きを含めた視点変更演算できるので、移動体に対しても矛盾無く結合できることになる。これがＣＶ領域画像の優れた特徴である。
ここでの特徴は、複数フレームを用いるので、画角を拡大してもほぼ元の精細さを保てると言うことである。過去の映像は時間遅れの映像であるから、そのままでは移動体が有ればその部分の結合は正しく結合しないが、移動体もＴＶ値やＲＶ値を持つことから、移動体部分の動きを含めた視点変更演算できるので、移動体に対しても矛盾無く結合できることになる。これがＣＶ領域画像の優れた特徴である。
以下、図２６に示す画角拡大装置１０５１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０５２は、カメラを車載するなどして移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
拡大画角指定部１０５３は、画角拡大画像を観察する時の画角と視点方向を指定する。
仮想観察視点指定部１０５８は、画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する。
ＣＶ領域画像・ＶＤ取得部１０５２は、カメラを車載するなどして移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
拡大画角指定部１０５３は、画角拡大画像を観察する時の画角と視点方向を指定する。
仮想観察視点指定部１０５８は、画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する。
時間軸画像視点変更部１０５４は、拡大画角と、視点方向と、視点移動位置を指定された時間軸上に並ぶ複数フレームのＣＶ領域画像を、指定の視点位置に視点変更演算する。この演算により、視点変更されて視点位置が同一となる。ここでの視点変更は上述した視点変更装置１０２１における視点変更そのものである（図２３参照）。
複数画像結合部１０５５は、視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのＣＶ領域画像を結合する。常に指定された視点位置と視点方向で視点変更を行うことで、現時点の画像と過去の画像が矛盾なく結合できることになる。
複数画像結合部１０５５は、視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのＣＶ領域画像を結合する。常に指定された視点位置と視点方向で視点変更を行うことで、現時点の画像と過去の画像が矛盾なく結合できることになる。
ここで、もし現時点の視点位置と視点方向を指定すれば、現時点の画像に過去の画像の視点を合わせて画枠拡大していることになる。
カーナビとして車両に積載する場合には、現時点の視点ではなく、多少過去の視点位置に始点を指定することで、自車両の背後から自車両を含む視点で画枠拡大画像を表示できることになる。
繰り返し生成部１０５６は、時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのＣＶ領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける。
画角拡大された画像は、既に結合されているので、通常の画像として扱うことができるので通常の表示装置で表示することができる。
カーナビとして車両に積載する場合には、現時点の視点ではなく、多少過去の視点位置に始点を指定することで、自車両の背後から自車両を含む視点で画枠拡大画像を表示できることになる。
繰り返し生成部１０５６は、時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのＣＶ領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける。
画角拡大された画像は、既に結合されているので、通常の画像として扱うことができるので通常の表示装置で表示することができる。
［ロックオン表示装置］
次に、図２７を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたロックオン表示装置の一実施形態について説明する。
ロックオン表示とは同一対象物を画枠内の中心部に固定して表示し、カメラの移動によっても常に画枠の中心に表示することを言う。
ＣＶ画像によるロックオンは本願発明者の提案に係る特開２００５−２９５４９５号に示されているが、カメラの移動範囲でしかロックオン表示ができなかった。
次に、図２７を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたロックオン表示装置の一実施形態について説明する。
ロックオン表示とは同一対象物を画枠内の中心部に固定して表示し、カメラの移動によっても常に画枠の中心に表示することを言う。
ＣＶ画像によるロックオンは本願発明者の提案に係る特開２００５−２９５４９５号に示されているが、カメラの移動範囲でしかロックオン表示ができなかった。
本発明の湧きだし点基準ＣＶ領域画像前置装置を利用すれば、視点移動をしながら、カメラ近傍であれば、カメラ移動経路以外であっても自由な視点移動経路を指定してロックオン表示が可能となる。
また、視点位置と経路を指定し、ロックオン表示が可能となる。
さらにＣＶ画像では不可能であったが、ＣＶ領域画像では、各ＣＶ領域が移動ベクトルを持つので、容易にロックオン指定ができる。
ロックオンだけであれは、座標系分離までは必要なく、移動体分離までも必要ないが、後述するように、座標系分離や移動体抽出と組み合わせることでも、直接座標系単位で表示したり、移動体単位で表示して、その中でロックオン表示することが可能となる。
また、視点位置と経路を指定し、ロックオン表示が可能となる。
さらにＣＶ画像では不可能であったが、ＣＶ領域画像では、各ＣＶ領域が移動ベクトルを持つので、容易にロックオン指定ができる。
ロックオンだけであれは、座標系分離までは必要なく、移動体分離までも必要ないが、後述するように、座標系分離や移動体抽出と組み合わせることでも、直接座標系単位で表示したり、移動体単位で表示して、その中でロックオン表示することが可能となる。
以下、図２７に示すロックオン表示装置１０６１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０６２は、カメラを車載するなどして移動するカメラから撮影した画像の、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
対象物座標指定部１０６３は、ロックオンすべき対象物の座標を取得して指定する。指定する対象は静止物体でなくても、移動体でも良い。移動体に代表座標系をとることで移動体ロックオンを可能とする。
ＣＶ領域画像・ＶＤ取得部１０６２は、カメラを車載するなどして移動するカメラから撮影した画像の、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
対象物座標指定部１０６３は、ロックオンすべき対象物の座標を取得して指定する。指定する対象は静止物体でなくても、移動体でも良い。移動体に代表座標系をとることで移動体ロックオンを可能とする。
視点移動指定部１０６４は、ロックオン表示のための視点移動経路と範囲を指定する。
視点及び視点方向変換部１０６５は、指定された視点移動経路に沿って、ＣＶ領域画像の視点変更を求める。
そして、ロックオン表示部１０６６は、変換されたＣＶ領域画像を指定経路に従って表示する。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたロックオン表示装置１０６１が実現される。
視点及び視点方向変換部１０６５は、指定された視点移動経路に沿って、ＣＶ領域画像の視点変更を求める。
そして、ロックオン表示部１０６６は、変換されたＣＶ領域画像を指定経路に従って表示する。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたロックオン表示装置１０６１が実現される。
［座標系分離装置］
次に、図２８を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた座標系分離装置の一実施形態について説明する。
本発明に係る座標系分離装置は、動画像から、画像を構成する座標系毎にＣＶ領域画像を分類する装置である。
画像解析において、座標系毎に分離したＣＶ領域画像は様々な利用が考えられるが、その代表的な例は、後述する運動抽出・解析装置（図３２参照）であり、また、本願発明者による特願２００４−３６４２２３号の「座標系分離記録再生装置」がある。この「座標系分離記録再生装置」を実現するためには画像を構成する座標系を検出して分離し、それぞれを単独処理して、再度合成する必要があるが、その一つの手段が、本実施形態に示す装置による座標系分離である。
特に座標系別に分類されたＣＶ領域画像は、座標系別に記録され、送信されることで画像圧縮が可能である。座標系分離装置を用いた画像圧縮そのものについては上記の特願２００４−３６４２２３号に示されている。
次に、図２８を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた座標系分離装置の一実施形態について説明する。
本発明に係る座標系分離装置は、動画像から、画像を構成する座標系毎にＣＶ領域画像を分類する装置である。
画像解析において、座標系毎に分離したＣＶ領域画像は様々な利用が考えられるが、その代表的な例は、後述する運動抽出・解析装置（図３２参照）であり、また、本願発明者による特願２００４−３６４２２３号の「座標系分離記録再生装置」がある。この「座標系分離記録再生装置」を実現するためには画像を構成する座標系を検出して分離し、それぞれを単独処理して、再度合成する必要があるが、その一つの手段が、本実施形態に示す装置による座標系分離である。
特に座標系別に分類されたＣＶ領域画像は、座標系別に記録され、送信されることで画像圧縮が可能である。座標系分離装置を用いた画像圧縮そのものについては上記の特願２００４−３６４２２３号に示されている。
以下、図２８に示す座標系分離装置１０７１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０７２は、車載されたカメラから撮影された動画像の出力を、又はＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
座標系別ＶＤ処理部１０７３は、ＶＤから座標系を分離し、座標系毎のＣＶ領域画像とＶＤとに分類する。
各座標系ＶＤ近似処理部１０７４は、各座標系のＶＤを単純な関数に近似して単純化し、若しくは必要であれば、近似したＶＤとＣＶ領域画像のＶＤとの関係を示す関数をも持ち続ける。
ＣＶ領域画像・ＶＤ取得部１０７２は、車載されたカメラから撮影された動画像の出力を、又はＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
座標系別ＶＤ処理部１０７３は、ＶＤから座標系を分離し、座標系毎のＣＶ領域画像とＶＤとに分類する。
各座標系ＶＤ近似処理部１０７４は、各座標系のＶＤを単純な関数に近似して単純化し、若しくは必要であれば、近似したＶＤとＣＶ領域画像のＶＤとの関係を示す関数をも持ち続ける。
ここで、ＣＶ領域画像・ＶＤ取得部１０７２で取得したＶＤ値の成分であるＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値は、もともとＣＶ値を元にして求められたデータであり、完全に独立したものではなく、それぞれ関連した関係にある。従って、各データを独立して持つよりは、関連づけて持つ方がデータ量が軽くなることは明らかである。但し、独立して持つことで目的別利用は単純化される。
そこで、カメラの移動を示すＣＶ値を単純化し、座標系毎に分離されたＲＶ値を単純することで、ＶＤ値を単純することができる。ＶＤ値が単純かされることの映像における意味は、カメラの移動を直線近似し、映像内の移動体の動きを直線近似するということになる。複雑な運動をするカメラの動きや移動体の動きを、ある範囲内で直線近似することによりＶＤが単純化され、結果としてデータ量が軽くなることは勿論である。
そこで、カメラの移動を示すＣＶ値を単純化し、座標系毎に分離されたＲＶ値を単純することで、ＶＤ値を単純することができる。ＶＤ値が単純かされることの映像における意味は、カメラの移動を直線近似し、映像内の移動体の動きを直線近似するということになる。複雑な運動をするカメラの動きや移動体の動きを、ある範囲内で直線近似することによりＶＤが単純化され、結果としてデータ量が軽くなることは勿論である。
各座標系分離通信装置１０７６、及び各座標系分離画像記録部１０７５は、単純な関数に近似されたＶＤを通信し、記録する。
各画像系別画像生成部１０７７は、各座標系単位で画像を生成する。
必要であれば、各座標系を再度合成して表示する各座標系合成画像生成部１０７８を備えることができる。
各画像系別画像生成部１０７７は、各座標系単位で画像を生成する。
必要であれば、各座標系を再度合成して表示する各座標系合成画像生成部１０７８を備えることができる。
以上のような構成からなる座標系分離装置１０７１においては、ＣＶ領域別にＲＶ値を持つ座標系が定義されることになる。もともとＣＶ値は静止座標系において定義したベクトルであるが、それを移動体に拡張して定義したものがＲＶ値であり、座標系から見たカメラの移動のベクトルということもできる。各ＣＶ領域の持つＲＶ値は、移動体をも含む各座標系の移動ベクトルであり、各座標系毎に分離して通信し、あるいは記録再生することにより座標系分離の効果と威力を発揮する。
ここで、通信と記録における画像の圧縮は同じ意味を持つので特に区別をしない。
ここで、通信と記録における画像の圧縮は同じ意味を持つので特に区別をしない。
ところで、最も単純化されたモデルは、(1)進行方向が一定で、回転揺れが無く直線移動するカメラから撮影された動画像であり、この場合の画像伝送又は記録においては、固定した湧きだし点を定義できる。この場合は、ＴＶ値（湧きだし点、ＣＶ値はＴＶ値に従属する）と初期静止画像にＣＶ値を付加することで、動画像を伝送できることは上述した通りである。移動量を指定できることも上述した通りであり、さらに、ＴＶ値からＣＶ演算によりＣＶ値を求めることも上述した通りである。
次に、(2)カメラが回転揺れを含んで直線運動しない場合は、ＣＶ値により揺れ止めを施し、回転揺れは回転揺れデータとして取得し、最後に付加することで元の画像を再現できる。直進運動と近似できる範囲で湧きだし点を扱うことで、上記(1)の場合におけるつなぎ合わせ画像として扱うことができる。
さらに、(3)対象物として移動物体を含む場合がある。この場合には、画像を適切な領域に分割し、移動体はこの領域の複数の集合となるように領域を定義する。それがＣＶ領域であることは上述した通りである。ここで、それぞれの領域毎にカメラベクトル値を持たせることにより、適切なＣＶ領域に分割された各座標系に対応した座標系毎に圧縮をするのが本発明の特徴である。なお、対象物認識技術を導入しない段階では、ＣＶ領域と移動する対象物は必ずしも一対一に対応しないが、その時でも対象物は複数のＣＶ領域から構成されることになり、それは圧縮効率に関係するだけで矛盾は生じない。
さらに、(3)対象物として移動物体を含む場合がある。この場合には、画像を適切な領域に分割し、移動体はこの領域の複数の集合となるように領域を定義する。それがＣＶ領域であることは上述した通りである。ここで、それぞれの領域毎にカメラベクトル値を持たせることにより、適切なＣＶ領域に分割された各座標系に対応した座標系毎に圧縮をするのが本発明の特徴である。なお、対象物認識技術を導入しない段階では、ＣＶ領域と移動する対象物は必ずしも一対一に対応しないが、その時でも対象物は複数のＣＶ領域から構成されることになり、それは圧縮効率に関係するだけで矛盾は生じない。
さて、ＣＶ値は、もともと静止座標系とカメラ間に定義したベクトルであるので、移動座標系に関してはＲＶ値を新しく定義し、この中にはＣＶ値も含むことができるものとする。このようにＲＶ値を定義すれば複数の移動体を含む静止座標系にまで拡張して座標系分離を行い、画像圧縮を扱うことができる。
すなわち、先ず動画像を最小単位の矩形のブロックに分割し、その最小単位のブロックを複数集めてＣＶ領域を生成し、さらにそれらのＣＶ領域を集めて座標系単位に分類し、それぞれの座標系単位で画像伝送し、あるいは画像記録し、それを受信再生側又は解凍再生側において、それらを座標系単位で画像を生成し、それを再構成することで一連の動画像を再構築することができる。
座標系を分離するために湧きだし点を利用することが本発明に係る湧きだし点基準ＣＶ領域画像装置であり、本願発明者による先の出願に係る座標系分離装置の一つの回答でもある（特願２００４−３６４２２３号参照）。
以上により、湧きだし点基準ＣＶ領域画像前置装置を用いた座標系分離を行うことができる。
すなわち、先ず動画像を最小単位の矩形のブロックに分割し、その最小単位のブロックを複数集めてＣＶ領域を生成し、さらにそれらのＣＶ領域を集めて座標系単位に分類し、それぞれの座標系単位で画像伝送し、あるいは画像記録し、それを受信再生側又は解凍再生側において、それらを座標系単位で画像を生成し、それを再構成することで一連の動画像を再構築することができる。
座標系を分離するために湧きだし点を利用することが本発明に係る湧きだし点基準ＣＶ領域画像装置であり、本願発明者による先の出願に係る座標系分離装置の一つの回答でもある（特願２００４−３６４２２３号参照）。
以上により、湧きだし点基準ＣＶ領域画像前置装置を用いた座標系分離を行うことができる。
［画像部分更新装置］
次に、図２９を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像部分更新装置の一実施形態について説明する。
動画像の部分更新は、カメラ位置の異なる画像の更新であり、一般には不可能とされてきたが、本発明のＣＶ領域画像による視点変更技術を用いると簡単に実現できる。
旧画像のカメラ視点に更新画像の視点を合致させ、更新部分を切り取り入れ替えることで実現される。動画の自由な切り貼りが可能となったことになる。
次に、図２９を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像部分更新装置の一実施形態について説明する。
動画像の部分更新は、カメラ位置の異なる画像の更新であり、一般には不可能とされてきたが、本発明のＣＶ領域画像による視点変更技術を用いると簡単に実現できる。
旧画像のカメラ視点に更新画像の視点を合致させ、更新部分を切り取り入れ替えることで実現される。動画の自由な切り貼りが可能となったことになる。
以下、図２９に示す画像部分更新装置１０８１の各部について説明する。
更新ＣＶ領域画像・ＶＤ取得部１０８２は、更新する画像情報を含む画像を、湧きだし点基準ＣＶ領域画像前置装置１００１から出力して、ＣＶ領域画像とそのＶＤを取得する。
旧ＣＶ領域画像・ＶＤ取得部１０８３は、更新される旧画像情報を含む画像を、湧きだし点基準ＣＶ領域画像前置装置１００１から出力して、ＣＶ領域画像とそのＶＤを取得する。
更新範囲指定部１０８４は、更新範囲を指定する。
更新ＣＶ領域視点変更部１０８６は、ＶＤ値を合致させることで、更新画像の視点を旧画像の視点に変更する。この部分が本装置の重要部分である。これは上述した湧きだし点基準ＣＶ領域画像前置装置を用いた視点変更装置１０２１そのものである（図２３参照）。
更新ＣＶ領域画像・ＶＤ取得部１０８２は、更新する画像情報を含む画像を、湧きだし点基準ＣＶ領域画像前置装置１００１から出力して、ＣＶ領域画像とそのＶＤを取得する。
旧ＣＶ領域画像・ＶＤ取得部１０８３は、更新される旧画像情報を含む画像を、湧きだし点基準ＣＶ領域画像前置装置１００１から出力して、ＣＶ領域画像とそのＶＤを取得する。
更新範囲指定部１０８４は、更新範囲を指定する。
更新ＣＶ領域視点変更部１０８６は、ＶＤ値を合致させることで、更新画像の視点を旧画像の視点に変更する。この部分が本装置の重要部分である。これは上述した湧きだし点基準ＣＶ領域画像前置装置を用いた視点変更装置１０２１そのものである（図２３参照）。
更新範囲削除部１０８５は、旧画像側の更新部分を削除する。更新部分は必ずしも旧画像を削除してから更新画像を貼り付ける必要はないが、論理的に説明するために、一旦旧画像を削除してから更新画像を貼り付けるとした。実際のプログラム上は、上書きすることで同時に削除も行われることになる。
更新部分ＣＶ領域画像生成部１０８７は、更新部分のＣＶ領域画像を切り取って、旧ＣＶ領域画像に貼り付けて更新ＣＶ領域画像を生成する。
更新画像生成部１０８８は、最終的に領域結合して、更新画像を生成する。
更新部分ＣＶ領域画像生成部１０８７は、更新部分のＣＶ領域画像を切り取って、旧ＣＶ領域画像に貼り付けて更新ＣＶ領域画像を生成する。
更新画像生成部１０８８は、最終的に領域結合して、更新画像を生成する。
ＣＶ領域画像のまま出力しても良いが、一般的には通常画像として利用することが多いので、ＣＶ領域画像を再度結合して解消し、通常画像とした。
表示装置１０８９は、ＣＶ領域画像を表示するには、上述したＣＶ領域画像用のＣＶ領域画像表示装置１００２（図１９参照）が必要となるが、通常画像として表示するには通常の表示装置でよいことになる。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像部分更新装置１０８１が実現される。
表示装置１０８９は、ＣＶ領域画像を表示するには、上述したＣＶ領域画像用のＣＶ領域画像表示装置１００２（図１９参照）が必要となるが、通常画像として表示するには通常の表示装置でよいことになる。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像部分更新装置１０８１が実現される。
［オルソ面生成装置］
次に、図３０を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたオルソ面生成装置の一実施形態について説明する。
同図に示すように、本実施形態のオルソ面生成装置１０９１は以下の各部を備える。
ＣＶ領域画像・ＶＤ取得部１０９２は、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
次に、図３０を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたオルソ面生成装置の一実施形態について説明する。
同図に示すように、本実施形態のオルソ面生成装置１０９１は以下の各部を備える。
ＣＶ領域画像・ＶＤ取得部１０９２は、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
高精度鉛直取得部１０９３は、計測機器により鉛直方向を精度良く取得する。
地図を生成するには鉛直方向が重要であり、鉛直が狂うと地図の精度に直接悪影響を及ぼすので、本実施形態では、鉛直は専用の機器とした。具体的には、高精度の鉛直系でＣＶ領域画像の鉛直方向を補正し、次に、ＣＶ値の誤差が累積するので、数百メートル毎に高精度GPS等で絶対座標を取得する。
補正ＶＤ値演算部１０９４は、計測機器で取得した高精度の鉛直データと絶対座標データにより、取得したＶＤ値を補正する。ＶＤ値のみから求める座標及び鉛直は誤差が累積するので、補正が必要となる。
地図を生成するには鉛直方向が重要であり、鉛直が狂うと地図の精度に直接悪影響を及ぼすので、本実施形態では、鉛直は専用の機器とした。具体的には、高精度の鉛直系でＣＶ領域画像の鉛直方向を補正し、次に、ＣＶ値の誤差が累積するので、数百メートル毎に高精度GPS等で絶対座標を取得する。
補正ＶＤ値演算部１０９４は、計測機器で取得した高精度の鉛直データと絶対座標データにより、取得したＶＤ値を補正する。ＶＤ値のみから求める座標及び鉛直は誤差が累積するので、補正が必要となる。
三次元面生成部１０９５は、補正ＶＤ演算部で補正されたＶＤ値と対応するＣＶ領域画像により、オルソ化対象を三次元化する。
この三次元面生成部１０９５は、上述した三次元形状生成装置１０４１（図２５参照）そのものである。
ＣＶ領域画像は三次元画像であるから、二次元化するのは容易である。数百メートル単位で正しい座標と鉛直が分かっているから、単純にオルソ面に投影すればよい。
オルソ面投影部１０９６は、三次元化されたオルソ化対象のＣＶ領域画像をオルソ面に投影する。
ＣＶ画像では、道路面のオルソ化しかできなかったが、ＣＶ領域画像では全ての現像物を含めて、オルソ面を生成できることになる。
この三次元面生成部１０９５は、上述した三次元形状生成装置１０４１（図２５参照）そのものである。
ＣＶ領域画像は三次元画像であるから、二次元化するのは容易である。数百メートル単位で正しい座標と鉛直が分かっているから、単純にオルソ面に投影すればよい。
オルソ面投影部１０９６は、三次元化されたオルソ化対象のＣＶ領域画像をオルソ面に投影する。
ＣＶ画像では、道路面のオルソ化しかできなかったが、ＣＶ領域画像では全ての現像物を含めて、オルソ面を生成できることになる。
なお、数百メートルごとに位置と鉛直を補正するのは、ＣＶ値を含むＶＤの精度と現在のＧＰＳ及び鉛直の精度との比較から区割り出した補正区間の数字である。近距離ではＣＶ値の精度が十分高いので、GPSの補正を近距離で行うのは却って精度をおとすことになり、不利である。
また、高精度位置決め部１０９７においては、高精度GPSでなくても良い。画像内に絶対座標が既知である点がＣＶ領域画像（ＣＶ画像でも良い）として写っていれば、その点の座標を画像内計測により取得して、若しくはＲＶ値と比較して、画像内の一点で絶対座標を取得することが可能である。画像内に写っている三角点や測量の基準点がそのまま三次元基準点となる。
以上のような本実施形態のオルソ面生成装置１０９１によれば、ＣＶ領域画像を取得すれば、実測することなく、直接地図を生成できることになる。この産業的意味は大きい。
また、高精度位置決め部１０９７においては、高精度GPSでなくても良い。画像内に絶対座標が既知である点がＣＶ領域画像（ＣＶ画像でも良い）として写っていれば、その点の座標を画像内計測により取得して、若しくはＲＶ値と比較して、画像内の一点で絶対座標を取得することが可能である。画像内に写っている三角点や測量の基準点がそのまま三次元基準点となる。
以上のような本実施形態のオルソ面生成装置１０９１によれば、ＣＶ領域画像を取得すれば、実測することなく、直接地図を生成できることになる。この産業的意味は大きい。
［画像高解像度化装置］
次に、図３１を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像高解像度化装置の一実施形態について説明する。
ＣＶ領域画像からフレーム画像を生成して動画再生する場合に、各フレームの画像を構成する領域は複数存在するが、その中の最も高解像度の画像を選択して、各フレーム画像を構成することで、高解像度の動画像を生成することができる。
以下、図３１に示す画像高解像度化装置１１０１の各部について説明する。
次に、図３１を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像高解像度化装置の一実施形態について説明する。
ＣＶ領域画像からフレーム画像を生成して動画再生する場合に、各フレームの画像を構成する領域は複数存在するが、その中の最も高解像度の画像を選択して、各フレーム画像を構成することで、高解像度の動画像を生成することができる。
以下、図３１に示す画像高解像度化装置１１０１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１１０２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
仮想カメラ移動経路指定部１１０３は、再生表示しようとする動画像を取得したカメラ移動経路、若しくは仮想カメラ移動経路をＣＶ値で指定する。
ＣＶ領域画像は、上述した視点変更装置（図２３参照）により、視点変更が自由にできるために、実際のカメラ経路以外のカメラ近傍の経路を設定できる。実際のカメラ経路と大きく離れてしまうと、情報の抜けが生じて画像が完成しないことになる。
仮想カメラ移動経路指定部１１０３は、再生表示しようとする動画像を取得したカメラ移動経路、若しくは仮想カメラ移動経路をＣＶ値で指定する。
ＣＶ領域画像は、上述した視点変更装置（図２３参照）により、視点変更が自由にできるために、実際のカメラ経路以外のカメラ近傍の経路を設定できる。実際のカメラ経路と大きく離れてしまうと、情報の抜けが生じて画像が完成しないことになる。
全範囲探索選択部１１０４は、動画像の各フレームを構成する各ＣＶ領域画像に関して、最も解像度の高いＣＶ領域画像を、若しくは最もカメラの近くで取得しているＣＶ領域画像を、若しくは最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する。
高解像度化が目的であれば、カメラから最も近い位置のＣＶ領域画像を利用するのが適している。また、画像中の色の精度や障害物排除等により、どのＣＶ領域画像を選択するかは変わってくるが、ここでは解像度を最も高く取る目的で選択する。
高解像度化が目的であれば、カメラから最も近い位置のＣＶ領域画像を利用するのが適している。また、画像中の色の精度や障害物排除等により、どのＣＶ領域画像を選択するかは変わってくるが、ここでは解像度を最も高く取る目的で選択する。
高解像度視点変更部１１０５は、全範囲探索選択部１１０４で選択したＣＶ領域画像を、カメラ経路を意味する指定ＣＶ値に選択したそれぞれのＣＶ領域画像を視点変更する。
カメラ位置が与えられれば、どのようなＣＶ領域画像でも、その位置に視点変更することは既に視点変更装置で示したとおりである。
高解像度化画像結合部１１０６は、視点変更されたＣＶ領域画像から各フレーム画像を生成する。ＶＤ表示装置（図１９参照）であれば、そのまま表示可能であるが、視点変更されたままではまだＣＶ領域画像なので、それを表示可能な通常画像に変化すれば通常の表示装置で観察できる。
カメラ位置が与えられれば、どのようなＣＶ領域画像でも、その位置に視点変更することは既に視点変更装置で示したとおりである。
高解像度化画像結合部１１０６は、視点変更されたＣＶ領域画像から各フレーム画像を生成する。ＶＤ表示装置（図１９参照）であれば、そのまま表示可能であるが、視点変更されたままではまだＣＶ領域画像なので、それを表示可能な通常画像に変化すれば通常の表示装置で観察できる。
もし、記録の必要が有れば、さらに視点変更を可能とするＶＤ値を取得したＣＶ領域画像の状態で記録保存する高解像度化画像データベース１１０８を備えることができる。
表示部１１０７は、高解像度化された動画映像を表示する。単なる記録であれば表示装置への入力信号をそのまま記録すればよい。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像高解像度化装置１１０１が実現される。
表示部１１０７は、高解像度化された動画映像を表示する。単なる記録であれば表示装置への入力信号をそのまま記録すればよい。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた画像高解像度化装置１１０１が実現される。
［運動抽出・解析装置］
次に、図３２を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた運動抽出・解析装置の一実施形態について説明する。
同図に示すように、本実施形態の運動抽出・解析装置１１１１は以下の各部を備える。
座標系分離装置１１１２は、ＣＶ領域画像データベース装置から出力される、若しくは前記視点変更装置から出力されるＣＶ領域画像を、元となる動画像を構成する複数の座標系に分離する。この座標系分離装置は、上述した座標系分離装置１０７１（図２８参照）そのものである。
次に、図３２を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた運動抽出・解析装置の一実施形態について説明する。
同図に示すように、本実施形態の運動抽出・解析装置１１１１は以下の各部を備える。
座標系分離装置１１１２は、ＣＶ領域画像データベース装置から出力される、若しくは前記視点変更装置から出力されるＣＶ領域画像を、元となる動画像を構成する複数の座標系に分離する。この座標系分離装置は、上述した座標系分離装置１０７１（図２８参照）そのものである。
運動領域抽出部１１１３は、複数の座標系の中で、目的の運動する対象物のＣＶ領域画像をそのＶＤと共に選択し、抽出する。
運動領域ＶＤ解析部１１１４は、抽出された運動領域のＶＤから、対象となる運動領域の運動を６自由度で表す。
ＶＤはそのまま６自由度で領域の運動を示していることから、運動解析には最適である。
もし必要が有れば、運動領域を指定の座標系に変換して示す指定座標表示部１１１５を備えることができる。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた運動抽出・解析装置１１１１が実現される。
運動領域ＶＤ解析部１１１４は、抽出された運動領域のＶＤから、対象となる運動領域の運動を６自由度で表す。
ＶＤはそのまま６自由度で領域の運動を示していることから、運動解析には最適である。
もし必要が有れば、運動領域を指定の座標系に変換して示す指定座標表示部１１１５を備えることができる。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた運動抽出・解析装置１１１１が実現される。
［ＣＶ領域画像検索装置］
次に、図３３を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置の一実施形態について説明する。
同図に示すように、本実施形態のＣＶ領域画像検索装置１１２１は以下の各部を備える。なお、重複するが、ここでＣＶ領域画像とは常にハードＣＶ領域画像・ソフトＣＶ領域画像・対象物ＣＶ領域画像の全てを含む。
ＣＶ領域画像・ＶＤ取得部１１２２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
次に、図３３を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置の一実施形態について説明する。
同図に示すように、本実施形態のＣＶ領域画像検索装置１１２１は以下の各部を備える。なお、重複するが、ここでＣＶ領域画像とは常にハードＣＶ領域画像・ソフトＣＶ領域画像・対象物ＣＶ領域画像の全てを含む。
ＣＶ領域画像・ＶＤ取得部１１２２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
検索ＣＶ領域画像部品指定部１１２３は、検索すべきＣＶ領域画像、又はその一部、又はそれを内部に含むＣＶ領域画像を検索すべき部品として指定する。
検索ＣＶ領域画像部品ＶＤ演算部１１２４は、基準座標系における前記部品のＶＤを演算で求める。一般にＶＤはカメラ位置を基準としているため、比較のためには全てカメラ位置に変換して比較するか、共通化された基準座標系での比較が求められる。
そこで、本実施形態では、図３３に示すように、検索されるＣＶ領域画像の基準座標系におけるＶＤと、検索部品のＣＶ領域画像の基準座標系におけるＶＤとを比較し、一致度を求める基準座標ＶＤ比較部１１２５を備える。
検索ＣＶ領域画像出力部１１２６は、ＣＶ領域画像全体の中の一致度の高いＣＶ領域画像を検索結果として出力する。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置１１２１が実現される。
検索ＣＶ領域画像部品ＶＤ演算部１１２４は、基準座標系における前記部品のＶＤを演算で求める。一般にＶＤはカメラ位置を基準としているため、比較のためには全てカメラ位置に変換して比較するか、共通化された基準座標系での比較が求められる。
そこで、本実施形態では、図３３に示すように、検索されるＣＶ領域画像の基準座標系におけるＶＤと、検索部品のＣＶ領域画像の基準座標系におけるＶＤとを比較し、一致度を求める基準座標ＶＤ比較部１１２５を備える。
検索ＣＶ領域画像出力部１１２６は、ＣＶ領域画像全体の中の一致度の高いＣＶ領域画像を検索結果として出力する。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置１１２１が実現される。
［ノイズリダクション装置］
次に、図３４を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたノイズリダクション装置の一実施形態について説明する。
上述した視点変更装置（図２３参照）により、動画像において、視点位置と姿勢を示すＣＶ値により、隣接フレームを目的フレームの視点位置と姿勢とを完全に重ねることができる。すなわち、隣接する数フレームを同一のＣＶ値に視点変更すれば、画像は完全に重ね合わせることができることになる。
一旦重なれば、複数の同一位置と姿勢の静止画と同じであり、加算平均でノイズを減少させることができる。加算平均は線形処理であるが、その他非線形処理を含めて、従来技術のノイズリダクションを行うことができる。ここでは特に線形処理と非線形処理の種別を問わない。
次に、図３４を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたノイズリダクション装置の一実施形態について説明する。
上述した視点変更装置（図２３参照）により、動画像において、視点位置と姿勢を示すＣＶ値により、隣接フレームを目的フレームの視点位置と姿勢とを完全に重ねることができる。すなわち、隣接する数フレームを同一のＣＶ値に視点変更すれば、画像は完全に重ね合わせることができることになる。
一旦重なれば、複数の同一位置と姿勢の静止画と同じであり、加算平均でノイズを減少させることができる。加算平均は線形処理であるが、その他非線形処理を含めて、従来技術のノイズリダクションを行うことができる。ここでは特に線形処理と非線形処理の種別を問わない。
以下、図３４に示すノイズリダクション装置１１３１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１１３２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
最適ＣＶ領域画像選択部１１３３は、目的フレーム画像に属するＣＶ領域画像と、それに隣接するフレーム画像に属するＣＶ領域画像とで、対応する複数のＣＶ領域画像を選択する。
ＣＶ領域画像・ＶＤ取得部１１３２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
最適ＣＶ領域画像選択部１１３３は、目的フレーム画像に属するＣＶ領域画像と、それに隣接するフレーム画像に属するＣＶ領域画像とで、対応する複数のＣＶ領域画像を選択する。
同一視点変更部１１３４は、隣接するフレーム画像に属するＣＶ領域画像を、目的フレーム画像のＣＶ値に視点変更する。ここにおいても視点変更装置が主役となる。
領域加算平均演算部１１３５は、目的フレームの視点に統一して変更したＣＶ領域画像を、重ね合わせて加算平均する。
平均ＣＶ領域画像生成部１１３６は、加算平均によりノイズが減少した領域を目的フレームに属するＣＶ領域画像として取得する。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたノイズリダクション装置１１３１が実現される。
領域加算平均演算部１１３５は、目的フレームの視点に統一して変更したＣＶ領域画像を、重ね合わせて加算平均する。
平均ＣＶ領域画像生成部１１３６は、加算平均によりノイズが減少した領域を目的フレームに属するＣＶ領域画像として取得する。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたノイズリダクション装置１１３１が実現される。
［対象物認識装置］
次に、図３５を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた対象物認識装置の一実施形態について説明する。
上述したＣＶ領域画像検索装置において、部品に属性を付加しておけば、検索結果は対象物の属性を示すことになり、対象物認識ができたことになる。
また、ＣＶ領域画像を固定し、部品を複数用意しておき、一致する部品を探すことで、目的ＣＶ領域画像を認識したことになる。
ここで一致度を評価するのはＶＤ値のみではなく、色、テクスチャー等が比較の対象となる。
次に、図３５を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた対象物認識装置の一実施形態について説明する。
上述したＣＶ領域画像検索装置において、部品に属性を付加しておけば、検索結果は対象物の属性を示すことになり、対象物認識ができたことになる。
また、ＣＶ領域画像を固定し、部品を複数用意しておき、一致する部品を探すことで、目的ＣＶ領域画像を認識したことになる。
ここで一致度を評価するのはＶＤ値のみではなく、色、テクスチャー等が比較の対象となる。
以下、本実施形態に係る対象物認識装置１１４１について説明する。
なお、本実施形態の対象物認識装置は、本願発明者による特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号に提案されているＰＲＭ技術を利用している。
ＣＶ領域画像・ＶＤ取得部１１４２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
認識ＣＶ領域画像指定部１１４３は、認識対象となる部分をＣＶ領域画像内に指定する。
対象が不明のために認識するとして、認識対象を固定して、属性の既知である複数の部品を次々比較して、一致する部品をさがし、認識するとしている。
一方、属性の分かっている部品（既に認識されてるＣＶ領域画像の部品）が何処にあるかを探す場合は、上述したＣＶ領域画像検索装置（図３３参照）となる。
なお、本実施形態の対象物認識装置は、本願発明者による特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号に提案されているＰＲＭ技術を利用している。
ＣＶ領域画像・ＶＤ取得部１１４２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
認識ＣＶ領域画像指定部１１４３は、認識対象となる部分をＣＶ領域画像内に指定する。
対象が不明のために認識するとして、認識対象を固定して、属性の既知である複数の部品を次々比較して、一致する部品をさがし、認識するとしている。
一方、属性の分かっている部品（既に認識されてるＣＶ領域画像の部品）が何処にあるかを探す場合は、上述したＣＶ領域画像検索装置（図３３参照）となる。
部品データベース部１１４４は、未知のＣＶ領域画像を認識する本装置においては、前もって認識候補となる複数のＣＶ領域画像からなる部品をデータベースとして記録している。
従って、データベースに無い部品は認識できないことになる。しかしこれは決して不合理ではなく、人間も又記憶のない対象物は認識できないのである。
部品送り出し部１１４５は、認識が完了するまで、次々部品を送り出す。
部品ＶＤ演算部１１４６は、比較される部品のＶＤを演算で求める。
基準座標ＶＤ比較部１１４７は、認識対象となるＣＶ領域画像と、部品を基準座標系のＶＤ値で比較する。これは同一座標系の同一地点からのＶＤで比較するためである。
従って、データベースに無い部品は認識できないことになる。しかしこれは決して不合理ではなく、人間も又記憶のない対象物は認識できないのである。
部品送り出し部１１４５は、認識が完了するまで、次々部品を送り出す。
部品ＶＤ演算部１１４６は、比較される部品のＶＤを演算で求める。
基準座標ＶＤ比較部１１４７は、認識対象となるＣＶ領域画像と、部品を基準座標系のＶＤ値で比較する。これは同一座標系の同一地点からのＶＤで比較するためである。
認識画像出力部１１４８は、部品送り出し部１１４５から送られてくる複数の部品の中で、最も一致度の高い部品を選択して、特定する。
これはＶＤ値で比較するのであるが、最終的に比較はＶＤ値だけではなく、ＶＤ値が接近していて特定できない場合は、他の要素、例えば色やテクスチャー等の属性で比較して一度の高い部品を選択することが望ましい。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた対象物認識装置１１４１が実現される。
これはＶＤ値で比較するのであるが、最終的に比較はＶＤ値だけではなく、ＶＤ値が接近していて特定できない場合は、他の要素、例えば色やテクスチャー等の属性で比較して一度の高い部品を選択することが望ましい。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた対象物認識装置１１４１が実現される。
［位置決め装置］
次に、図３６を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた位置決め装置の一実施形態について説明する。
同図に示す本実施形態の位置決め装置１１８１は、ＧＰＳやＩＭＵやジャイロに代わって、自分の位置を正確に取得する装置である。
以下、本実施形態に係る位置決め装置１１８１を構成する各部について説明する。
次に、図３６を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた位置決め装置の一実施形態について説明する。
同図に示す本実施形態の位置決め装置１１８１は、ＧＰＳやＩＭＵやジャイロに代わって、自分の位置を正確に取得する装置である。
以下、本実施形態に係る位置決め装置１１８１を構成する各部について説明する。
ＣＶ領域画像・ＶＤ取得部１１８２は、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。ここには、車両走行する場所のＣＶ領域画像が存在している。この情報量は膨大であるので、目的に必要な部分のみ検出して利用しようとするものである。
地図利用選択部１１８３は、取得したＣＶ領域画像から、三次元地図として精度良く利用できる複数のＣＶ領域画像部分を自動選択する。これは各ＣＶ領域のＴＶ値を求める際のトラッキング時の相関値を参考にして、決めるか、再度自己相関及び相互相関により、相関値の大きいものを選択することができる。また、部分的に偏らずに全体に分散して選択することで、以下の位置決め時の精度が向上する。
地図利用選択部１１８３は、取得したＣＶ領域画像から、三次元地図として精度良く利用できる複数のＣＶ領域画像部分を自動選択する。これは各ＣＶ領域のＴＶ値を求める際のトラッキング時の相関値を参考にして、決めるか、再度自己相関及び相互相関により、相関値の大きいものを選択することができる。また、部分的に偏らずに全体に分散して選択することで、以下の位置決め時の精度が向上する。
内部検索指定部１１８６は、三次元地図として精度よく利用できるＣＶ領域画像部分を指定し、前記ＣＶ領域画像・ＶＤ取得部で取得したＣＶ領域画像内に、検索し、呼び出し、前記地図利用選択部に送る。
手動で目的の画像を検索させることもできる。前もって分かっている対象物、例えば４０km制限標識のみ選択的に検索して、三次元地図として利用することができる。
ただし、内部検索指定部は本装置を構成する絶対条件ではなく、無くても本装置の本質は失われない。
手動で目的の画像を検索させることもできる。前もって分かっている対象物、例えば４０km制限標識のみ選択的に検索して、三次元地図として利用することができる。
ただし、内部検索指定部は本装置を構成する絶対条件ではなく、無くても本装置の本質は失われない。
地図生成部１１８４は、地図利用選択部１１８３で選択された「精度よく利用できる複数のＣＶ領域画像部分」を、二次元特徴点、三次元特徴領域、特徴対象物等に分類し、若しくはＶＤ値等を用いて変換し、地図として生成する。
車両位置決定のためには、三次元座標が既知である方が都合がよいが、二次元点でも車両位置決定の精度に貢献する。認識済の対象物は既に三次元点で構成されるので、位置決定の精度にはきわめて大きく貢献する。
車両位置決定のためには、三次元座標が既知である方が都合がよいが、二次元点でも車両位置決定の精度に貢献する。認識済の対象物は既に三次元点で構成されるので、位置決定の精度にはきわめて大きく貢献する。
リアルタイム画像取得部１１８７は、地図と比較するため、及び表示のためのリアルタイム画像を車両等に積載したカメラから取得する。
これはカーナビや自動案内装置を念頭に置いて、リアルタイム画像を取得することを前提としているが、もちろん記録映像でも同様に撮影時点のカメラ位置の決定が可能であることは言うまでもない。
リアルタイム画像前処理部１１９０は、取得したリアルタイム画像を、概略ＣＶ演算、ＧＰＳを用いた概略位置合わせ、画像明るさ調整、等の前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施す。
これはカーナビや自動案内装置を念頭に置いて、リアルタイム画像を取得することを前提としているが、もちろん記録映像でも同様に撮影時点のカメラ位置の決定が可能であることは言うまでもない。
リアルタイム画像前処理部１１９０は、取得したリアルタイム画像を、概略ＣＶ演算、ＧＰＳを用いた概略位置合わせ、画像明るさ調整、等の前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施す。
外部検索指定部１１８５は、二次元特徴点、三次元特徴領域、特徴対象物等を前記リアルタイム画像の中に検索指定する。
外部検索検出部１１８８は、外部検索指定部１１８５での検索指定により、二次元特徴点、三次元特徴領域、特徴対象物等を、前記リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する。
リアルタイム画像ＣＶ値取得部１１８９は、二次元特徴点、三次元特徴領域、特徴対象物等との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の前記二次元特徴点、三次元特徴領域、特徴対象物等から、リアルタイム画像のＣＶ値を演算で求める。
外部検索検出部１１８８は、外部検索指定部１１８５での検索指定により、二次元特徴点、三次元特徴領域、特徴対象物等を、前記リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する。
リアルタイム画像ＣＶ値取得部１１８９は、二次元特徴点、三次元特徴領域、特徴対象物等との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の前記二次元特徴点、三次元特徴領域、特徴対象物等から、リアルタイム画像のＣＶ値を演算で求める。
車両位置決め部１１９１は、リアルタイム画像ＣＶ値取得部１１８９で取得したリアルタイム画像のＣＶ値から、リアルタイム画像を取得したカメラの位置と姿勢を絶対座標で求めて車両位置を決定する。
リアルタイム画像内属性表示部１１９３は、特徴対象物が持っている車両運行に関係する属性をリアルタイム画像内に表示する。
三次元地図データベース部１１９２は、車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、特徴対象物等を、次回に利用する三次元地図として記録しておく。ここで、三次元地図データベースは次回以降の検索検出を容易にする目的で設置したものであり、必ずしも必要ではない。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた位置決め装置１１８１が実現される。
リアルタイム画像内属性表示部１１９３は、特徴対象物が持っている車両運行に関係する属性をリアルタイム画像内に表示する。
三次元地図データベース部１１９２は、車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、特徴対象物等を、次回に利用する三次元地図として記録しておく。ここで、三次元地図データベースは次回以降の検索検出を容易にする目的で設置したものであり、必ずしも必要ではない。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた位置決め装置１１８１が実現される。
［複合人工知能記憶装置］
次に、図３７を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた複合人工知能記憶装置の一実施形態について説明する。
同図に示す本実施形態の複合人工知能装置１１５２は、本願発明者による特開２００５−３２２００２号に提案されている複合信号知能装置であり、複数の人工知能装置が情報のやり取りをするように設計されていて、人工知能装置１１７１は、ホスト的役割を持ち、やや大きめのデータベースを持つように設計されている。
複合人工知能装置１１５２を構成する複数の人工知能装置１１７１・１１５３・１１５４において、自ら取得したカメラ映像、及び認識結果を湧きだし点基準ＣＶ領域画像前置装置にＣＶ領域画像として記録する。
次に、図３７を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた複合人工知能記憶装置の一実施形態について説明する。
同図に示す本実施形態の複合人工知能装置１１５２は、本願発明者による特開２００５−３２２００２号に提案されている複合信号知能装置であり、複数の人工知能装置が情報のやり取りをするように設計されていて、人工知能装置１１７１は、ホスト的役割を持ち、やや大きめのデータベースを持つように設計されている。
複合人工知能装置１１５２を構成する複数の人工知能装置１１７１・１１５３・１１５４において、自ら取得したカメラ映像、及び認識結果を湧きだし点基準ＣＶ領域画像前置装置にＣＶ領域画像として記録する。
さらに個々の人工知能装置１１７１から他の人工知能装置１１５３・１１５４へ、送信装置１１５６により、カメラ映像、及び認識結果が送られる。
また、湧きだし点基準ＣＶ領域画像前置装置１１５１は、他の人工知能装置１１５３・１１５４で取得されたカメラ画像及び認識結果は受信装置１１５５を通して、情報を受信し、認識結果をＣＶ領域画像として記録する。
送られた画像データはＣＶ領域画像と成り、湧きだし点基準ＣＶ領域画像前置装置１１５１に記録される。
なお、各装置間の通信はWEB１１７０などの通信回線を経由して行われる。
また、湧きだし点基準ＣＶ領域画像前置装置１１５１は、他の人工知能装置１１５３・１１５４で取得されたカメラ画像及び認識結果は受信装置１１５５を通して、情報を受信し、認識結果をＣＶ領域画像として記録する。
送られた画像データはＣＶ領域画像と成り、湧きだし点基準ＣＶ領域画像前置装置１１５１に記録される。
なお、各装置間の通信はWEB１１７０などの通信回線を経由して行われる。
同様に、他の人工知能装置１１５３・１１５４から検索の問い合わせがあれば、湧きだし点基準ＣＶ領域画像前置装置１１５１のＣＶ領域画像内を検索するＣＶ領域画像検索装置１１５８に送られて検索される。検索結果を記録すると同時に、問い合わせ先に送信する。
同様に、他の人工知能装置１１５３・１１５４から対象物認識の依頼があれば、湧きだし点基準ＣＶ領域画像前置装置１１５１のＣＶ領域画像内で対象物認識する対象物認識装置１１５７（図１８も参照）に送られる。認識結果は記録すると同時に、問い合わせ先に送信される。
同様に、他の人工知能装置１１５３・１１５４から対象物認識の依頼があれば、湧きだし点基準ＣＶ領域画像前置装置１１５１のＣＶ領域画像内で対象物認識する対象物認識装置１１５７（図１８も参照）に送られる。認識結果は記録すると同時に、問い合わせ先に送信される。
人工知能装置１１７１は、他の人工知能装置１１５３・１１５４に比較し、一部ホストの役割を与えられているため、認識のための部品ＤＢ装置１１５９を別に備えている。周囲の関連する複数の人工知能装置で認識されたデータはこの装置に記録され、整理されている。
認識された対象物はその配置と隣接する対象物から抽象化装置１１６１で抽象化され、抽象概念認識装置１１６４により抽象概念として認識される。
具体的には、関連関数装置１１６０により、認識した対象物の部品の配列を数学的な線の結合として隣接関係を表現し、抽象概念認識装置１１６４ではその形状から危険であるとか、安全であるとかを判断する。
認識された対象物はその配置と隣接する対象物から抽象化装置１１６１で抽象化され、抽象概念認識装置１１６４により抽象概念として認識される。
具体的には、関連関数装置１１６０により、認識した対象物の部品の配列を数学的な線の結合として隣接関係を表現し、抽象概念認識装置１１６４ではその形状から危険であるとか、安全であるとかを判断する。
さらに、一つの抽象概念の認識結果を一つのフラグとして、抽象概念地図DB装置１１６７にＣＶタグ装置１１６６を配置する（後述する図３８参照）。
抽象概念地図DB装置１１６７は、抽象概念の地図であり、配列関係を示す線構成のN次元形状と、抽象概念認識結果を示すＣＶタグによって記録保存されている。
ＣＶタグが増加していくにつれて、さらに抽象部品DB装置１１６８では複数のＣＶタグによって形成されるM次元形状により、抽象部品を生成することになる。例えば、「危険」を意味するＣＶタグと、「近い」を意味するＣＶタグから、「停止せよ」という判断を行動指示装置１１６３が生み出すことがこれに相当する。
抽象概念地図DB装置１１６７は、抽象概念の地図であり、配列関係を示す線構成のN次元形状と、抽象概念認識結果を示すＣＶタグによって記録保存されている。
ＣＶタグが増加していくにつれて、さらに抽象部品DB装置１１６８では複数のＣＶタグによって形成されるM次元形状により、抽象部品を生成することになる。例えば、「危険」を意味するＣＶタグと、「近い」を意味するＣＶタグから、「停止せよ」という判断を行動指示装置１１６３が生み出すことがこれに相当する。
一方、抽象概念検索装置１１６５では、「安全」というＣＶタグ側から、それを満たす抽象概念を検索する。「安全」を意味するＣＶタグを検索して、次に「安全」を構成する抽象M次元形状を検索し、それを具体的に満たす具象化装置１１６２により、ＣＶ領域画像内に、それを満たす状況を探し出すことができる。
自動運転は前記「安全」状況を確認しながら、走行することになる。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた複合人工知能装置１１５２が実現される。
自動運転は前記「安全」状況を確認しながら、走行することになる。
以上により、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いた複合人工知能装置１１５２が実現される。
［ＣＶ領域画像によるＣＶタグ入出力検索装置］
次に、図３８を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像によるＣＶタグ入出力検索装置の一実施形態について説明する。
まず、本実施形態に係るＣＶタグ入出力検索装置１２０４の基本形であるＡＬＶ（Active Link Vision）機能について説明する。
図３８に示すように、まず、ＣＶタグ入出力検索装置１２０４により管理しようとする現実の管理対象物１２０３がある。
管理対象物１２０３とは、道路管理目的であれば、路面、街路灯、ガードレール、電柱、道路表示、標識、行き先表示などであり、カーナビゲーション目的であれば信号機、道路表示、車線、標識、行き先表示板、障害物、他車両、等である。
次に、図３８を参照して、本発明の湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶ領域画像によるＣＶタグ入出力検索装置の一実施形態について説明する。
まず、本実施形態に係るＣＶタグ入出力検索装置１２０４の基本形であるＡＬＶ（Active Link Vision）機能について説明する。
図３８に示すように、まず、ＣＶタグ入出力検索装置１２０４により管理しようとする現実の管理対象物１２０３がある。
管理対象物１２０３とは、道路管理目的であれば、路面、街路灯、ガードレール、電柱、道路表示、標識、行き先表示などであり、カーナビゲーション目的であれば信号機、道路表示、車線、標識、行き先表示板、障害物、他車両、等である。
ＣＶタグ入出力検索装置１２０４は以下の各部を備える。
ＣＶ領域画像記録部１２０５は、前もって、管理対象物１２０３及び周辺を撮影して記録し、ＣＶ値を付加したＣＶ領域画像から生成したＣＶ領域データベース装置１０１２の出力を一時的に保持する。
視点変更装置１２０６は、画像取得時のカメラ位置近傍への視点変更画像を生成する。この視点変更装置１２０６は、上述した視点変更装置（図２３参照）を用いることで、ＣＶ領域画像の視点を変更し、見やすい位置に視点を設定することができる。ＣＶ領域画像を用いることで視点変更を可能としているという点で視点変更装置は重要である。
ＣＶタグ表示装置１２０７は、ＣＶ値を付加したＣＶ領域画像を表示し、動画として画像フレームが移動しても、画像とＣＶタグの三次元的位置関係を保持したまま、ＣＶタグを表示する。
動画像をＣＶ演算することで三次元的に扱うことができる。ＣＶ領域画像とＣＧとの合成については本願発明者による特開２００５−１２２３１５号に詳しく示されている。
ＣＶ領域画像記録部１２０５は、前もって、管理対象物１２０３及び周辺を撮影して記録し、ＣＶ値を付加したＣＶ領域画像から生成したＣＶ領域データベース装置１０１２の出力を一時的に保持する。
視点変更装置１２０６は、画像取得時のカメラ位置近傍への視点変更画像を生成する。この視点変更装置１２０６は、上述した視点変更装置（図２３参照）を用いることで、ＣＶ領域画像の視点を変更し、見やすい位置に視点を設定することができる。ＣＶ領域画像を用いることで視点変更を可能としているという点で視点変更装置は重要である。
ＣＶタグ表示装置１２０７は、ＣＶ値を付加したＣＶ領域画像を表示し、動画として画像フレームが移動しても、画像とＣＶタグの三次元的位置関係を保持したまま、ＣＶタグを表示する。
動画像をＣＶ演算することで三次元的に扱うことができる。ＣＶ領域画像とＣＧとの合成については本願発明者による特開２００５−１２２３１５号に詳しく示されている。
ＣＶタグ入力装置１２０８は、ＣＶタグ表示装置１２０７で表示されたＣＶ領域画像の中の管理対象物１２０３の位置に対して、ＣＶ領域画像の中にＣＶタグを直接貼り付けるか、若しくはＣＶ領域画像中の管理対象物１２０３の三次元的位置を確認できるように、矢印などで特定できるようにしたＣＶタグを、ＣＶ領域画像の中に三次元的に配置する。
具体的には、ＣＶタグ入力装置１２０８は、ＣＶ領域画像中の管理対象物１２０３に直接ＣＶタグを入力する。ＣＶ領域画像地図を用いて管理対象物１２０３を三次元計測し、ＣＶタグの三次元座標を管理対象物１２０３の三次元座標と合致させるか、或いはＣＶタグが管理対象物１２０３を隠さないように、管理対象物１２０３の近傍に設置することでＣＶタグの座標設定は完了する。次に、ＣＶタグを開封し、リンクしたファイルに管理対象物１２０３に関連する画像やテキストデータ等の諸データを書き込む。このことでＣＶタグのデータ入力は完了する。
具体的には、ＣＶタグ入力装置１２０８は、ＣＶ領域画像中の管理対象物１２０３に直接ＣＶタグを入力する。ＣＶ領域画像地図を用いて管理対象物１２０３を三次元計測し、ＣＶタグの三次元座標を管理対象物１２０３の三次元座標と合致させるか、或いはＣＶタグが管理対象物１２０３を隠さないように、管理対象物１２０３の近傍に設置することでＣＶタグの座標設定は完了する。次に、ＣＶタグを開封し、リンクしたファイルに管理対象物１２０３に関連する画像やテキストデータ等の諸データを書き込む。このことでＣＶタグのデータ入力は完了する。
ＣＶタグデータベース装置１２１０は、ＣＶタグと管理対象物１２０３とを関連づける諸データを格納する。
ＣＶタグを開封して、リンクしたファイルに管理対象物１２０３に関する画像やテキストデータ等の諸データを書き込む作業をすることで、直接ＣＶタグデータベース装置１２１０に書き込むことなく、ＣＶタグ関連の前記諸データは自動的にＣＶタグデータベース装置１２１０に記録され、下記検索や選択により呼び出される。
ＣＶタグを開封して、リンクしたファイルに管理対象物１２０３に関する画像やテキストデータ等の諸データを書き込む作業をすることで、直接ＣＶタグデータベース装置１２１０に書き込むことなく、ＣＶタグ関連の前記諸データは自動的にＣＶタグデータベース装置１２１０に記録され、下記検索や選択により呼び出される。
ＣＶタグ自動検索装置１２１１は、ＣＶ領域画像中に管理対象物を示すＣＶタグそのものを、若しくはＣＶ領域画像中の管理対象物１２０３の画像そのものを、色の変化や対象物面の点滅によるフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示する。
ＣＶ領域画像上で管理対象物１２０３を特定するには、自動検索によるか、画像上の管理対象物１２０３を直接マウスでクリックすることで完了する。
ＣＶタグ対象物管理装置１２１２は、ＣＶタグ表示装置１２０７により、検索装置でＣＶタグを検索することで、管理対象物１２０３を自動的に特定することができ、若しくは表示されたＣＶ領域画像中の管理対象物１２０３をＣＶ領域画像の中にタッチスクリーンにタッチし、又はマウス等でＣＶタグをクリックして、ＣＶタグを選択することで、ＣＶタグデータベース装置１２１０からＣＶタグに対応する管理対象物１２０３のデータを読み出して管理する。
ＣＶ領域画像上で管理対象物１２０３を特定するには、自動検索によるか、画像上の管理対象物１２０３を直接マウスでクリックすることで完了する。
ＣＶタグ対象物管理装置１２１２は、ＣＶタグ表示装置１２０７により、検索装置でＣＶタグを検索することで、管理対象物１２０３を自動的に特定することができ、若しくは表示されたＣＶ領域画像中の管理対象物１２０３をＣＶ領域画像の中にタッチスクリーンにタッチし、又はマウス等でＣＶタグをクリックして、ＣＶタグを選択することで、ＣＶタグデータベース装置１２１０からＣＶタグに対応する管理対象物１２０３のデータを読み出して管理する。
以上のような構成からなる本実施形態のＣＶタグ入出力検索装置１２０４は、さらに、カーナビ仕様として以下のような構成を備えることができる。
以下、カーナビゲーション目的の「湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置」を説明する。
この湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置１２０４は次世代のカーナビゲーションを対象として構成される。
以下、カーナビゲーション目的の「湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置」を説明する。
この湧きだし点基準ＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置１２０４は次世代のカーナビゲーションを対象として構成される。
具体的には、上述したＣＶタグ入力装置１２０８と、ＣＶタグデータベース装置１２１０と、ＣＶタグ対象物管理装置１２１２とを車両等に積載し、管理地域１２０１、及び管理対象物１２０３周辺を移動する積載移動手段１２０２を備える。
積載移動手段１２０２にはビデオカメラを積載し、リアルタイム画像を取得し、リアルタイム画像にＣＶ演算を施し、リアルタイムＣＶ領域画像を取得するリアルタイムＣＶ領域画像取得装置（１２２０）を備える。リアルタイム画像は単なるモニタとしてのみならず、直接ＣＶ演算するか、又はＣＶ領域画像地図との位置あわせにより、ＣＶ値を取得することができるので、本発明において様々に利用される。
積載移動手段１２０２にはビデオカメラを積載し、リアルタイム画像を取得し、リアルタイム画像にＣＶ演算を施し、リアルタイムＣＶ領域画像を取得するリアルタイムＣＶ領域画像取得装置（１２２０）を備える。リアルタイム画像は単なるモニタとしてのみならず、直接ＣＶ演算するか、又はＣＶ領域画像地図との位置あわせにより、ＣＶ値を取得することができるので、本発明において様々に利用される。
リアルタイム画像に対しては、文字検索、座標検索、属性検索等で、未登録の管理対象物１２０３を検索し、或いは既に登録されている管理対象物１２０３を検索し、ＣＶ領域画像上にフラッシュ等でその三次元位置を呈示することができる。
例えば、カーナビ仕様で説明すれば、４０km速度制限と文字検索をすれば、ＣＶ領域画像上にその標識が明るく表示される。また、緯度経度を数字で打ち込んで検索すれば、その緯度経度の所に画像が移動して、その地点を矢印で示す。また、時速４０km制限と検索すれば４０km制限の道路の側帯部分がフラッシュして、その範囲を示す。等の例が上げられる。
例えば、カーナビ仕様で説明すれば、４０km速度制限と文字検索をすれば、ＣＶ領域画像上にその標識が明るく表示される。また、緯度経度を数字で打ち込んで検索すれば、その緯度経度の所に画像が移動して、その地点を矢印で示す。また、時速４０km制限と検索すれば４０km制限の道路の側帯部分がフラッシュして、その範囲を示す。等の例が上げられる。
ここで、文字検索は画像の中から文字を自動認識する技術による。また、座標検索は地図として用いるＣＶ領域画像は絶対座標を持っているので、動画であっても座標を特定して検索することが可能となる。
ただし、未登録の管理対象物１２０３の検索は対象物認識の技術が必要となり、検索には時間が掛かるので、前もって入力してある管理対象物１２０３に関する諸データから検索するのが適している。
登録されていれば当然であるが、登録されていない管理対象物１２０３に対しても、画像の中から検索する画像検索、対象物認識技術により、検索することができる。例えば、交通標識で一方通行の標識の画像を用意しておき、この一方通行の標識の画像で検索すると、画像中の一方通行の標識を全て検索して、その位置を示すことができる。
ただし、未登録の管理対象物１２０３の検索は対象物認識の技術が必要となり、検索には時間が掛かるので、前もって入力してある管理対象物１２０３に関する諸データから検索するのが適している。
登録されていれば当然であるが、登録されていない管理対象物１２０３に対しても、画像の中から検索する画像検索、対象物認識技術により、検索することができる。例えば、交通標識で一方通行の標識の画像を用意しておき、この一方通行の標識の画像で検索すると、画像中の一方通行の標識を全て検索して、その位置を示すことができる。
また、本実施形態では、リアルタイム画像から管理対象物１２０３を自動認識する管理対象物自動認識装置を保持する対象物認識装置１２１３を備える。
座標検索はＣＶ領域画像が三次元座標を持つことから、動画であっても座標を特定して検索することが可能となる。
上述したように、ＣＶタグ自動検索装置１２１１は、ＣＶ領域画像中に管理対象物を示すＣＶタグそのものを、若しくはＣＶ領域画像中の管理対象物１２０３の画像そのものを、色の変化やフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示する。
また、本実施形態では、外部データベース装置１２１７を備え、内部のＣＶ領域画像記録部１２０５は、ＣＶタグ入出力検索装置１２０４の外側にあるＣＶ領域画像地図データベース部１２１８と通信をする。そのためには、ＤＶＤ、ハードディスク等の記録媒体、若しくはＷＥＢ等の通信により、管理地域１２０１及びその周辺のＣＶ領域画像地図を外部から取得する外部ＣＶ領域画像地図データベース部１２１８を備える。
座標検索はＣＶ領域画像が三次元座標を持つことから、動画であっても座標を特定して検索することが可能となる。
上述したように、ＣＶタグ自動検索装置１２１１は、ＣＶ領域画像中に管理対象物を示すＣＶタグそのものを、若しくはＣＶ領域画像中の管理対象物１２０３の画像そのものを、色の変化やフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示する。
また、本実施形態では、外部データベース装置１２１７を備え、内部のＣＶ領域画像記録部１２０５は、ＣＶタグ入出力検索装置１２０４の外側にあるＣＶ領域画像地図データベース部１２１８と通信をする。そのためには、ＤＶＤ、ハードディスク等の記録媒体、若しくはＷＥＢ等の通信により、管理地域１２０１及びその周辺のＣＶ領域画像地図を外部から取得する外部ＣＶ領域画像地図データベース部１２１８を備える。
同様に、ＣＶタグ入出力装置１２０４は、記録媒体、若しくは通信により、管理地域１２０１及びその周辺のＣＶタグとその属性を示す情報を取得し、ＣＶタグデータベース装置１２１０に記録し、さらに、外部ＣＶタグデータベース部１２１９とデータのやり取りをする。
なお、端末のＣＶタグ入出力検索装置１２０４で取得したデータを外部データベース装置１２１７に送るか否かは、端末側の判断による。
また、移動体には、移動体の絶対座標を取得するＧＰＳ位置決め装置１２１５と、取得したリアルタイムＣＶ領域画像とＣＶ領域画像地図から、位置あわせをして取得した新旧映像更新装置１２１６とを保持する移動体位置決め手段１２１４を備える。新旧映像更新装置１２１６は、本願発明者による特開２００５−３０３９５２号に示されている。
なお、端末のＣＶタグ入出力検索装置１２０４で取得したデータを外部データベース装置１２１７に送るか否かは、端末側の判断による。
また、移動体には、移動体の絶対座標を取得するＧＰＳ位置決め装置１２１５と、取得したリアルタイムＣＶ領域画像とＣＶ領域画像地図から、位置あわせをして取得した新旧映像更新装置１２１６とを保持する移動体位置決め手段１２１４を備える。新旧映像更新装置１２１６は、本願発明者による特開２００５−３０３９５２号に示されている。
また、本実施形態では、移動体位置決め手段１２１４により、現在地点が取得され、同時に時刻が取得され、前もって走行目的を入力しておき、その走行目的等より、車両の現在時刻と現在位置と現在状況に関係している管理対象物１２０３のＣＶタグを選択的に自動表示するＣＶタグ自動表示装置１２０９を備える。
走行目的とは、ドライブ、道路路面管理、標識管理、路面性状調査、などであり、その目的によって表示されるＣＶタグは異なるので、目的にあったＣＶタグを自動表示するようにする。
GPSにより現在位置を取得して、又は、上記の特開２００５−３０３９５２号に示す新旧映像更新装置１２１６により、車両の現在地点を絶対座標で取得して、その地点の画像を表示する。
ここで、本実施形態で示した各装置及び手段は全てを備える必要はなく、その一部装置と一部手段を選択的に備えることが好ましい。
走行目的とは、ドライブ、道路路面管理、標識管理、路面性状調査、などであり、その目的によって表示されるＣＶタグは異なるので、目的にあったＣＶタグを自動表示するようにする。
GPSにより現在位置を取得して、又は、上記の特開２００５−３０３９５２号に示す新旧映像更新装置１２１６により、車両の現在地点を絶対座標で取得して、その地点の画像を表示する。
ここで、本実施形態で示した各装置及び手段は全てを備える必要はなく、その一部装置と一部手段を選択的に備えることが好ましい。
そして、以上のような構成からなる本実施形態に係るＣＶタグ入出力検索装置１２０４では、ＣＶタグ表示装置１２０７により以下のような各種の表示機能（表示手段）が実現される。
[動画ロックオン表示]
動画ロックオン表示は、選択及び検索した管理対象物１２０３を、管理対象物を画像の決められた位置に固定して表示する機能である。
ロックオン表示は、ロックオンすべき任意の対象物を画像内に指定すると、ＣＶ演算で得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常に画枠の中心位置（又は任意の所定位置）に表示されるように、画像表示又はカメラ（カメラが固定される固定物）の位置及び姿勢を制御することができる。
[動画ロックオン表示]
動画ロックオン表示は、選択及び検索した管理対象物１２０３を、管理対象物を画像の決められた位置に固定して表示する機能である。
ロックオン表示は、ロックオンすべき任意の対象物を画像内に指定すると、ＣＶ演算で得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常に画枠の中心位置（又は任意の所定位置）に表示されるように、画像表示又はカメラ（カメラが固定される固定物）の位置及び姿勢を制御することができる。
これにより、例えば、画像内にあらかじめ画像と一致している三次元座標系を設定しておき、画像内の目的対象物をマウス等で画像内に指定し、ＣＶ演算により、目的対象物の概略の三次元座標を求め、求められた目的対象物の三次元座標が画像内の指定位置に常に来るように画像表示位置を制御することができる。
あるいは、目的対象物を画像内の指定位置に常に表示するようにカメラを制御することができる。
このロックオン機能により、ＣＶタグ、若しくは管理対象物をＣＶ領域画像地図上で直接指示すれば、選択した管理対象物をロックオンで画像中央に常に表示することができるので、視認および操作が容易となる。
あるいは、目的対象物を画像内の指定位置に常に表示するようにカメラを制御することができる。
このロックオン機能により、ＣＶタグ、若しくは管理対象物をＣＶ領域画像地図上で直接指示すれば、選択した管理対象物をロックオンで画像中央に常に表示することができるので、視認および操作が容易となる。
［複数ＣＶ映像表示］
複数ＣＶ映像表示は、ＣＶ領域画像地図は縮尺の異なる複数のＣＶ領域画像地図を同期表示し、又は非同期で表示し、しかも座標系を統一して、同じＣＶタグを複数のＣＶ領域画像地図上に表示する機能である。
なお、上述したように、ＣＶタグはＣＧアイコンにより構成される場合と、実写アイコンにより構成される場合がある。また、アイコン機能を持たない単なるＣＧを表示することができることは勿論である。
複数ＣＶ映像表示は、ＣＶ領域画像地図は縮尺の異なる複数のＣＶ領域画像地図を同期表示し、又は非同期で表示し、しかも座標系を統一して、同じＣＶタグを複数のＣＶ領域画像地図上に表示する機能である。
なお、上述したように、ＣＶタグはＣＧアイコンにより構成される場合と、実写アイコンにより構成される場合がある。また、アイコン機能を持たない単なるＣＧを表示することができることは勿論である。
［地図同期表示］
地図同期表示は、ＣＶ領域画像地図と二次元地図を同時に表示し、二次元地図上にもＣＶタグを表示する機能である。
ＣＶタグはもともと三次元座標を持つので、二次元化することは容易に行える。
地図同期表示は、ＣＶ領域画像地図と二次元地図を同時に表示し、二次元地図上にもＣＶタグを表示する機能である。
ＣＶタグはもともと三次元座標を持つので、二次元化することは容易に行える。
［リアルタイムＣＶ領域画像表示］
リアルタイムＣＶ領域画像表示は、選択及び検索した管理対象物１２０３を、ＣＶ領域画像地図と同じように扱い、リアルタイムＣＶ領域画像にＣＶタグを表示する機能である。これは現時点の現実映像であり最もリアリティーがある表示となる。なお、リアルタイム演算となるために、処理には一定の制限があり得る。
リアルタイムＣＶ領域画像表示は、選択及び検索した管理対象物１２０３を、ＣＶ領域画像地図と同じように扱い、リアルタイムＣＶ領域画像にＣＶタグを表示する機能である。これは現時点の現実映像であり最もリアリティーがある表示となる。なお、リアルタイム演算となるために、処理には一定の制限があり得る。
［現実重複表示］
現実重複表示は、選択及び検索した管理対象物１２０３を、ＣＶ領域画像上に表示せずに、ヘッドマウント、又はハーフミラー等により、移動する車両等から直接観察する現実世界の管理対象物に重複して合成した、ＣＶタグや案内矢印ＣＧ、看板ＣＧ等を示す機能である。
現実重複表示は、選択及び検索した管理対象物１２０３を、ＣＶ領域画像上に表示せずに、ヘッドマウント、又はハーフミラー等により、移動する車両等から直接観察する現実世界の管理対象物に重複して合成した、ＣＶタグや案内矢印ＣＧ、看板ＣＧ等を示す機能である。
［音声案内表示］
音声案内表示は、選択及び検索した管理対象物１２０３に関するＣＶタグの内容を、音声で案内表示する機能である。これは、特にカーナビゲーションシステムには必要な機能となる。
なお、以上のような各機能は、目的に応じてすべてを行わせることもできるが、少なくともいずれか一部の機能を有するものであってもよい。
音声案内表示は、選択及び検索した管理対象物１２０３に関するＣＶタグの内容を、音声で案内表示する機能である。これは、特にカーナビゲーションシステムには必要な機能となる。
なお、以上のような各機能は、目的に応じてすべてを行わせることもできるが、少なくともいずれか一部の機能を有するものであってもよい。
次に、以上のような本実施形態の湧きだし点基準ＣＶ領域画像前置装置の具体的な実施例について図面を参照して説明する。
［実施例１］
以下、本発明の湧きだし点基準ＣＶ領域画像前置装置の実施例１として、「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」について説明する。
上述したように、上記実施形態では、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とが、対等な位置づけとして明確に区別されている。
ところが以下のソフト領域生成部分は、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とが明確に区別されていない。
［実施例１］
以下、本発明の湧きだし点基準ＣＶ領域画像前置装置の実施例１として、「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」について説明する。
上述したように、上記実施形態では、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とが、対等な位置づけとして明確に区別されている。
ところが以下のソフト領域生成部分は、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とが明確に区別されていない。
その第一の理由は、ソフトＣＶ領域画像生成部分を設計する場合は、当然のこととしてその内部にハードＣＶ領域画像生成部分を含むようになるのが自然だからである。
上記の実施形態では、この二者の区別を明確にしているが、実際にソフトＣＶ領域画像生成部分を設計する場合には、その内部にハードＣＶ領域画像生成部分を含む以下の方が実際的である。
本発明には矛盾はしないので、以下の基本設計と実施例では、ソフトＣＶ領域画像生成部分の内部にハードＣＶ領域画像生成部分を含むように説明する。
上記の実施形態では、この二者の区別を明確にしているが、実際にソフトＣＶ領域画像生成部分を設計する場合には、その内部にハードＣＶ領域画像生成部分を含む以下の方が実際的である。
本発明には矛盾はしないので、以下の基本設計と実施例では、ソフトＣＶ領域画像生成部分の内部にハードＣＶ領域画像生成部分を含むように説明する。
第二の理由は、初めは、以下の設計で実施形態についても説明しようとしたが、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とが明確に区別されず不明瞭となったため、書き換えたためである。
結果として、実施形態では二者を明確に区別し、実際に則して、以下の基本設計と実施例では、ハード領域画像生成は、ソフト領域画像の一部に含まれる形で説明する。
結果として、実施形態では二者を明確に区別し、実際に則して、以下の基本設計と実施例では、ハード領域画像生成は、ソフト領域画像の一部に含まれる形で説明する。
［基本設計］
本発明の中心部分である、「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する部分」に特化して詳細に示す。
［基本形］
ビデオカメラ等で動画映像を取得し、画像圧縮、画像伝送、画像記録、視点移動、画像三次元化、等の画像処理において必要となる画像のソフトＣＶ領域画像分割を画像に依存して効率よく行う基本形を示す。
従来技術の画像分割は画像を画像の内容にはよらず、単に機械的に８＊８等の矩形に分割して処理するのが常であった。
本発明においては、ブロック分割においてさえも、単純なブロックではなく、画像を取得したカメラの座標と姿勢を６自由度で表すＣＶ値と、二次元画像でありなから、一次元にまで単純化処理されたＴＶ値（追跡データ）を付加することで、これまで不可能であった画像処理を可能とする。さらに、ブロックを画像に固有の同一のテクスチャー（ソフトＣＶ領域画像）で束ねてソフトＣＶ領域画像のもつ三次元位置と姿勢を表すＲＶ値で整理することで画像処理はより進化することになる。
本発明の中心部分である、「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する部分」に特化して詳細に示す。
［基本形］
ビデオカメラ等で動画映像を取得し、画像圧縮、画像伝送、画像記録、視点移動、画像三次元化、等の画像処理において必要となる画像のソフトＣＶ領域画像分割を画像に依存して効率よく行う基本形を示す。
従来技術の画像分割は画像を画像の内容にはよらず、単に機械的に８＊８等の矩形に分割して処理するのが常であった。
本発明においては、ブロック分割においてさえも、単純なブロックではなく、画像を取得したカメラの座標と姿勢を６自由度で表すＣＶ値と、二次元画像でありなから、一次元にまで単純化処理されたＴＶ値（追跡データ）を付加することで、これまで不可能であった画像処理を可能とする。さらに、ブロックを画像に固有の同一のテクスチャー（ソフトＣＶ領域画像）で束ねてソフトＣＶ領域画像のもつ三次元位置と姿勢を表すＲＶ値で整理することで画像処理はより進化することになる。
例えば８＊８の微少ハードＣＶ領域画像（ブロック）を束ねて、ソフトＣＶ領域画像境界線を検出し、ソフトＣＶ領域画像を形成し、トラッキングデータ（ＴＶ値）（追跡データ）を持つソフトＣＶ領域画像を生成し、そのソフトＣＶ領域画像を結合し、全体をソフトＣＶ領域画像で再構成する。
最終的に画像はソフトＣＶ領域画像の結合を示すＪＶ値でまとめられ、対象物単位で表現され、ＣＶ値、ＲＶ値、ＪＶ値とで表現される。
すなわち画像は複数の対象物から成り、その対象物は複数のソフトＣＶ領域画像から成るが、対象物の個々の部分のソフトＣＶ領域画像の動きまで三次元的に解析されることになる。
最終的に画像はソフトＣＶ領域画像の結合を示すＪＶ値でまとめられ、対象物単位で表現され、ＣＶ値、ＲＶ値、ＪＶ値とで表現される。
すなわち画像は複数の対象物から成り、その対象物は複数のソフトＣＶ領域画像から成るが、対象物の個々の部分のソフトＣＶ領域画像の動きまで三次元的に解析されることになる。
［湧きだし点利用の追跡］
カメラ移動による動画像、又は相対的に対象物とカメラの位置関係が変化する場合には、着目する座標系おいて、湧きだし点から画像が湧き出してくるように見える。これは２画像間で決まる二次元画像上の一点であり、ＣＶ値から簡単に求められる。カメラが移動する画像には必ず湧きだし点と吸い込み点が存在する。湧きだし点から画像が湧き出して吸い込み点に消えていくように見える。これは２画像間で決まる二次元画像上の一点であり、ＣＶ値から簡単に求められる。ＣＶ値から回転揺れ姿勢を表す３自由度を選択し、画像に逆回転を与えることで、画像は揺れ止め画像となる。この揺れ止め画像の画像間ベクトルは湧きだし点方向を示している。またマイナス方向は吸い込み点を示している。すなわちＣＶ値は湧きだし点方向と吸い込み点の情報を持っている。
カメラ移動による動画像、又は相対的に対象物とカメラの位置関係が変化する場合には、着目する座標系おいて、湧きだし点から画像が湧き出してくるように見える。これは２画像間で決まる二次元画像上の一点であり、ＣＶ値から簡単に求められる。カメラが移動する画像には必ず湧きだし点と吸い込み点が存在する。湧きだし点から画像が湧き出して吸い込み点に消えていくように見える。これは２画像間で決まる二次元画像上の一点であり、ＣＶ値から簡単に求められる。ＣＶ値から回転揺れ姿勢を表す３自由度を選択し、画像に逆回転を与えることで、画像は揺れ止め画像となる。この揺れ止め画像の画像間ベクトルは湧きだし点方向を示している。またマイナス方向は吸い込み点を示している。すなわちＣＶ値は湧きだし点方向と吸い込み点の情報を持っている。
両者は表示された画像内に存在する場合と存在しない場合があるが、カメラが移動する場合には必ず存在している。
追跡において、着目する座標系においては、画像の各点は湧きだし点から大円上を移動して吸い込み点に至る放射状に出る線上を移動する。
（特開２００５−２９５４９５号、特開２００５−１２２３１５号参照）
そこで、例えば静止座標系を代表する座標系とすれば、静止座標系に固定された全ての対象物は湧きだし点から湧き出し、吸い込み点に吸い込まれていくように見えるので、追跡はそのライン上を追跡すればよい。
追跡において、着目する座標系においては、画像の各点は湧きだし点から大円上を移動して吸い込み点に至る放射状に出る線上を移動する。
（特開２００５−２９５４９５号、特開２００５−１２２３１５号参照）
そこで、例えば静止座標系を代表する座標系とすれば、静止座標系に固定された全ての対象物は湧きだし点から湧き出し、吸い込み点に吸い込まれていくように見えるので、追跡はそのライン上を追跡すればよい。
［輪郭線検出］
一般に、輪郭線抽出によって生成されるソフトＣＶ領域画像と、ハードＣＶ領域画像（ブロック）分割によって生成される一次ソフトＣＶ領域画像とは検出方法が異なるので検出された範囲は異なる。
両者によるソフトＣＶ領域画像の定義には、幾つか考えられるが、大きくは以下の３種類考えられる。
(1)両者どちらかを満たせばソフトＣＶ領域画像とする。
(2)どちらか小さい範囲をソフトＣＶ領域画像とする。
(3)どちらか大きい範囲をソフトＣＶ領域画像とする。
一般に、輪郭線抽出によって生成されるソフトＣＶ領域画像と、ハードＣＶ領域画像（ブロック）分割によって生成される一次ソフトＣＶ領域画像とは検出方法が異なるので検出された範囲は異なる。
両者によるソフトＣＶ領域画像の定義には、幾つか考えられるが、大きくは以下の３種類考えられる。
(1)両者どちらかを満たせばソフトＣＶ領域画像とする。
(2)どちらか小さい範囲をソフトＣＶ領域画像とする。
(3)どちらか大きい範囲をソフトＣＶ領域画像とする。
境界線によって閉じた範囲をソフトＣＶ領域画像と定義する。完全には閉じない境界線を閉じるために輪郭線を用いることを可能とするのが適している。閉じない場合であっても、両端を結合してＣＶ領域画像と定義しても、特に問題は生じない。
輪郭線抽出により、境界線抽出によるソフトＣＶ領域画像生成の補助をする。前記微少ソフトＣＶ領域画像を生成せずに、輪郭抽出により直接ソフトＣＶ領域画像の輪郭を生成し、前記一次ソフトＣＶ領域画像を生成し、若しくは既に生成された一次ソフトＣＶ領域画像を補う。
特に、輪郭線抽出においては、ソフトＣＶ領域画像境界部分に関して詳細情報を取得し、ソフトＣＶ領域画像分離に貢献する。
ここでは特に一次ソフトＣＶ領域画像生成におけるソフトＣＶ領域画像を基準とする都合上、輪郭線抽出を補助的に表現してあるが、両者の立場は対等であり、輪郭線抽出によってソフトＣＶ領域画像抽出することも十分可能である。
輪郭線抽出により、境界線抽出によるソフトＣＶ領域画像生成の補助をする。前記微少ソフトＣＶ領域画像を生成せずに、輪郭抽出により直接ソフトＣＶ領域画像の輪郭を生成し、前記一次ソフトＣＶ領域画像を生成し、若しくは既に生成された一次ソフトＣＶ領域画像を補う。
特に、輪郭線抽出においては、ソフトＣＶ領域画像境界部分に関して詳細情報を取得し、ソフトＣＶ領域画像分離に貢献する。
ここでは特に一次ソフトＣＶ領域画像生成におけるソフトＣＶ領域画像を基準とする都合上、輪郭線抽出を補助的に表現してあるが、両者の立場は対等であり、輪郭線抽出によってソフトＣＶ領域画像抽出することも十分可能である。
［輪郭線によるソフトＣＶ領域画像検出］
輪郭線抽出したのち輪郭線の種類を決定して認識し、ソフトＣＶ領域画像生成の補助をする。輪郭線認識により、輪郭線の抜けを補正し、輪郭線をより完全に生成することで、ソフトＣＶ領域画像抽出をより完全に行おうとしている。
一般に、輪郭線と境界線とは一致する部分と一致しない部分があり、異なる。ただし、ソフトＣＶ領域画像はそのどちらでも、又は中間でも定義できる。
ここでも同様に、特に一次ソフトＣＶ領域画像生成におけるソフトＣＶ領域画像を基準とする都合上、輪郭線認識を補助的に表現してあるが、両者の立場は対等であり、輪郭線抽出によってソフトＣＶ領域画像抽出することも十分可能である。
輪郭線抽出したのち輪郭線の種類を決定して認識し、ソフトＣＶ領域画像生成の補助をする。輪郭線認識により、輪郭線の抜けを補正し、輪郭線をより完全に生成することで、ソフトＣＶ領域画像抽出をより完全に行おうとしている。
一般に、輪郭線と境界線とは一致する部分と一致しない部分があり、異なる。ただし、ソフトＣＶ領域画像はそのどちらでも、又は中間でも定義できる。
ここでも同様に、特に一次ソフトＣＶ領域画像生成におけるソフトＣＶ領域画像を基準とする都合上、輪郭線認識を補助的に表現してあるが、両者の立場は対等であり、輪郭線抽出によってソフトＣＶ領域画像抽出することも十分可能である。
［ゴム紐結合条件］
ゴム紐結合によれば、ハードＣＶ領域画像がその配列順番を変えないように、柔軟に結合することで、トラッキング可能なハードＣＶ領域画像によって、トラッキング不可能なハードＣＶ領域画像にもトラッキングデータを与えることができる。
ゴム紐結合条件とは、隣接するハードＣＶ領域画像の各ブロックが、ゴム紐結合において、結合状態にあるか、切断状況にあるか、の区別を示している。
ゴム紐の切断は、隣接するハードＣＶ領域画像に連続性がなく、元々の配置において三次元的に独立している場合には、ゴム紐結合は誤差を発生されるので、ゴム紐結合を切断しなければならない。
切断の方法は、ゴム紐結合により得られたトラッキングデータを正しいものとして、隣接画像を生成し、隣接画像との差分をとり、その差分の大きいところに誤差が集中していると判断することができる。誤差の集中している部分のゴム紐を切断することで、ゴム紐切断が可能となり、その部分のトラッキングデータを再度演算することで、全体として正しいトラッキングデータを主とすることができる。
ゴム紐結合によれば、ハードＣＶ領域画像がその配列順番を変えないように、柔軟に結合することで、トラッキング可能なハードＣＶ領域画像によって、トラッキング不可能なハードＣＶ領域画像にもトラッキングデータを与えることができる。
ゴム紐結合条件とは、隣接するハードＣＶ領域画像の各ブロックが、ゴム紐結合において、結合状態にあるか、切断状況にあるか、の区別を示している。
ゴム紐の切断は、隣接するハードＣＶ領域画像に連続性がなく、元々の配置において三次元的に独立している場合には、ゴム紐結合は誤差を発生されるので、ゴム紐結合を切断しなければならない。
切断の方法は、ゴム紐結合により得られたトラッキングデータを正しいものとして、隣接画像を生成し、隣接画像との差分をとり、その差分の大きいところに誤差が集中していると判断することができる。誤差の集中している部分のゴム紐を切断することで、ゴム紐切断が可能となり、その部分のトラッキングデータを再度演算することで、全体として正しいトラッキングデータを主とすることができる。
［基本設計の図解による説明］
上述した各実施形態を組み合わせて、「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する部分」のシステムを構築する場合の原理とその説明を以下に行う。
上述したように、上記各実施形態では、ハードＣＶ領域画像とソフトＣＶ領域画像を明確に分離して記述しているが、実際にソフトＣＶ領域画像分離画像のシステムを構築する場合には、そのためのハードＣＶ領域画像分離生成画像を明確に分離せずに、ソフトＣＶ領域画像生成の中でハードＣＶ領域画像を扱うことになる。
上述した各実施形態を組み合わせて、「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する部分」のシステムを構築する場合の原理とその説明を以下に行う。
上述したように、上記各実施形態では、ハードＣＶ領域画像とソフトＣＶ領域画像を明確に分離して記述しているが、実際にソフトＣＶ領域画像分離画像のシステムを構築する場合には、そのためのハードＣＶ領域画像分離生成画像を明確に分離せずに、ソフトＣＶ領域画像生成の中でハードＣＶ領域画像を扱うことになる。
そのために、ソフトＣＶ領域画像生成の準備をハードＣＶ領域画像生成時に行うこととなる。例えばブロック分類は、ハードＣＶ領域画像においては特徴ブロックとそれ以外のブロックの２種類のみで可能だが、ソフトＣＶ領域画像生成においては、３又は４種類（独立特徴ブロック・境界線上特徴ブロック・境界線上ブロック・その他ブロック）の分類が必要であるため、それをハードＣＶ領域画像のためのブロック分類時において行うことで効率化がはかられる。このことでハードＣＶ領域画像生成ソフトＣＶ領域画像生成の区別が曖昧となる。
以下はソフトＣＶ領域画像生成の一部としてハードＣＶ領域画像生成が位置づけられている。ただし、この位置づけにより各実施形態の構成が統合されるのみであり、矛盾は存在しない。
以下はソフトＣＶ領域画像生成の一部としてハードＣＶ領域画像生成が位置づけられている。ただし、この位置づけにより各実施形態の構成が統合されるのみであり、矛盾は存在しない。
基本設計１について、図３９には対象物ＣＶ領域画像結合画像の構成を示す。
同図に示す基本設計１は、画像取得装置５０１、一次ソフトＣＶ領域画像生成装置５０２、二次ソフトＣＶ領域画像生成装置５０３、ソフトＣＶ領域画像結合装置５０４からなる。
この基本設計１にＣＶ値取得装置５０５を付加した基本設計２を図４０に示す。基本設計２は、基本設計１にＣＶ値取得装置（ＣＶ演算装置等）を追加している。
ＣＶ演算については、経過の過程で演算することになるが、最初にＣＶ演算を済ませ、画像を代表する座標系に関するＣＶ値を持っていることはその後に処理に有益である。
同図に示す基本設計１は、画像取得装置５０１、一次ソフトＣＶ領域画像生成装置５０２、二次ソフトＣＶ領域画像生成装置５０３、ソフトＣＶ領域画像結合装置５０４からなる。
この基本設計１にＣＶ値取得装置５０５を付加した基本設計２を図４０に示す。基本設計２は、基本設計１にＣＶ値取得装置（ＣＶ演算装置等）を追加している。
ＣＶ演算については、経過の過程で演算することになるが、最初にＣＶ演算を済ませ、画像を代表する座標系に関するＣＶ値を持っていることはその後に処理に有益である。
基本設計３は図４１に示す。
輪郭線抽出装置５０６と輪郭線認識装置５０７とを追加して、視覚的な輪郭を明確にすることと、輪郭線を認識し、輪郭線が接するコーナーを検出し、対象物を認識する機能を追加する。また、得られた輪郭線と一次ソフトＣＶ領域画像又は二次ソフトＣＶ領域画像として得られたソフトＣＶ領域画像の境界線と比較し、境界線情報として利用することが可能である。
輪郭線抽出装置５０６と輪郭線認識装置５０７とを追加して、視覚的な輪郭を明確にすることと、輪郭線を認識し、輪郭線が接するコーナーを検出し、対象物を認識する機能を追加する。また、得られた輪郭線と一次ソフトＣＶ領域画像又は二次ソフトＣＶ領域画像として得られたソフトＣＶ領域画像の境界線と比較し、境界線情報として利用することが可能である。
以下に、本発明において重要な核技術となる一次ソフトＣＶ領域画像生成装置と二次ソフトＣＶ領域画像生成装置について説明する。なお、ソフトＣＶ領域画像結合装置については実施例の中で説明する。
［一次ソフトＣＶ領域画像生成装置］
図４２に示すように、まず、一次領域生成装置５０２では、ハードＣＶ領域画像（ブロック）分割部５２１によって、先ず基準とする画像をハードＣＶ領域画像（ブロック）に分割する。
ここでは、図４３に示すように、ＣＶ値を用いて求めた湧きだし点２０１からの放射状の線群２０４と、画像上の縦線群２０３とによって作られるハードＣＶ領域画像（ブロック）２０２で画像を分割部する。
生成された画像ハードＣＶ領域画像（ブロック）のすべてに関して、ハードＣＶ領域画像（ブロック）分類部によって各ハードＣＶ領域画像（ブロック）は自己相関演算を行い、特徴ハードＣＶ領域画像（ブロック）となり得るハードＣＶ領域画像（ブロック）が抽出される。
［一次ソフトＣＶ領域画像生成装置］
図４２に示すように、まず、一次領域生成装置５０２では、ハードＣＶ領域画像（ブロック）分割部５２１によって、先ず基準とする画像をハードＣＶ領域画像（ブロック）に分割する。
ここでは、図４３に示すように、ＣＶ値を用いて求めた湧きだし点２０１からの放射状の線群２０４と、画像上の縦線群２０３とによって作られるハードＣＶ領域画像（ブロック）２０２で画像を分割部する。
生成された画像ハードＣＶ領域画像（ブロック）のすべてに関して、ハードＣＶ領域画像（ブロック）分類部によって各ハードＣＶ領域画像（ブロック）は自己相関演算を行い、特徴ハードＣＶ領域画像（ブロック）となり得るハードＣＶ領域画像（ブロック）が抽出される。
自己相関値が十分大きなピークを持つ場合の特徴ハードＣＶ領域画像（ブロック）として分類される。
特徴ハードＣＶ領域画像（ブロック）はそのまま隣接する他のフレームに亘り追跡することが可能であり、この特徴ハードＣＶ領域画像（ブロック）を追跡してＣＶ演算を行うことができる。また特徴ハードＣＶ領域画像（ブロック）となる画像ハードＣＶ領域画像（ブロック）は、さらに境界線の一部となり得るハードＣＶ領域画像（ブロック）２０５と、孤立した特徴ハードＣＶ領域画像（ブロック）２０６となる特徴ハードＣＶ領域画像（ブロック）とに分類される。
特徴ハードＣＶ領域画像（ブロック）はそのまま隣接する他のフレームに亘り追跡することが可能であり、この特徴ハードＣＶ領域画像（ブロック）を追跡してＣＶ演算を行うことができる。また特徴ハードＣＶ領域画像（ブロック）となる画像ハードＣＶ領域画像（ブロック）は、さらに境界線の一部となり得るハードＣＶ領域画像（ブロック）２０５と、孤立した特徴ハードＣＶ領域画像（ブロック）２０６となる特徴ハードＣＶ領域画像（ブロック）とに分類される。
さらに、上記の特徴ハードＣＶ領域画像（ブロック）以外は、ハードＣＶ領域画像（ブロック）内にピークを持たないがハードＣＶ領域画像（ブロック）端でピークを持つような境界線となり得る境界ハードＣＶ領域画像（ブロック）２０８と、相関値が閾値より低い場合のソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）２０７として、そのソフトＣＶ領域画像点が抽出される。
この特徴ハードＣＶ領域画像（ブロック），境界点，ソフトＣＶ領域画像点を三種の点要素と呼ぶ。
この特徴ハードＣＶ領域画像（ブロック），境界点，ソフトＣＶ領域画像点を三種の点要素と呼ぶ。
図４４に、全ハードＣＶ領域画像（ブロック）について特徴ハードＣＶ領域画像（ブロック）、境界点、ソフトＣＶ領域画像点を定義して分類したものを示す。
図４４（ａ）は、画像をハードＣＶ領域画像（ブロック）に分割した場合の一例を示す。図４４（ｂ）は、各ハードＣＶ領域画像（ブロック）を自己相関により、３種類のハードＣＶ領域画像（ブロック）に分類した状況を示す。
図４５（ａ）は、特徴ハードＣＶ領域画像（ブロック）を境界線上にある場合と孤立した場合をさらに分類して示した。図４５（ｂ）は、分類を基準画像に重ねて示した。
図４４（ａ）は、画像をハードＣＶ領域画像（ブロック）に分割した場合の一例を示す。図４４（ｂ）は、各ハードＣＶ領域画像（ブロック）を自己相関により、３種類のハードＣＶ領域画像（ブロック）に分類した状況を示す。
図４５（ａ）は、特徴ハードＣＶ領域画像（ブロック）を境界線上にある場合と孤立した場合をさらに分類して示した。図４５（ｂ）は、分類を基準画像に重ねて示した。
図４６（ａ）は、分類したハードＣＶ領域画像（ブロック）だけを示し、図４６（ｂ)は、特徴ハードＣＶ領域画像（ブロック）を連結することでソフトＣＶ領域画像及びソフトＣＶ領域画像内部を生成する状況を示す。
図４６におけるハードＣＶ領域画像（ブロック）は、図４２のソフトＣＶ領域画像ゴム紐結合部５２４において、ゴム紐結合され、図４７に示すように、それぞれのハードＣＶ領域画像（ブロック）はその配列順番を変えずに自由に距離関係を変更できるように結合される。
そして、各画像ハードＣＶ領域画像（ブロック）は、湧きだし点から放射状に伸びる線状で結合され、その順番が固定され、かつ、距離関係が自由となるように結合される。
図４６におけるハードＣＶ領域画像（ブロック）は、図４２のソフトＣＶ領域画像ゴム紐結合部５２４において、ゴム紐結合され、図４７に示すように、それぞれのハードＣＶ領域画像（ブロック）はその配列順番を変えずに自由に距離関係を変更できるように結合される。
そして、各画像ハードＣＶ領域画像（ブロック）は、湧きだし点から放射状に伸びる線状で結合され、その順番が固定され、かつ、距離関係が自由となるように結合される。
図４７にはその二次元ゴム紐結合状況が示してある。
なお、画像ハードＣＶ領域画像（ブロック）は単純に長方形のハードＣＶ領域画像（ブロック）に分割することでも、特徴ハードＣＶ領域画像（ブロック）、境界線上拘束ハードＣＶ領域画像（ブロック）、ソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）分類は可能である。
もし、画像ハードＣＶ領域画像（ブロック）分割が湧きだし点に依らずに、長方形のような単純分割である場合には、ゴム紐結合はハードＣＶ領域画像（ブロック）の順番を変えずに、垂直水平両方向へのゴム紐結合が必要となる。これは次のソフトＣＶ領域画像追跡処理で大きな効果を発揮する。
以上のように、一次ソフトＣＶ領域画像生成装置では、機械的に分割した画像ハードＣＶ領域画像（ブロック）が、画像の中の対象物の形状に則したソフトＣＶ領域画像に分割されたことを意味する。
なお、画像ハードＣＶ領域画像（ブロック）は単純に長方形のハードＣＶ領域画像（ブロック）に分割することでも、特徴ハードＣＶ領域画像（ブロック）、境界線上拘束ハードＣＶ領域画像（ブロック）、ソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）分類は可能である。
もし、画像ハードＣＶ領域画像（ブロック）分割が湧きだし点に依らずに、長方形のような単純分割である場合には、ゴム紐結合はハードＣＶ領域画像（ブロック）の順番を変えずに、垂直水平両方向へのゴム紐結合が必要となる。これは次のソフトＣＶ領域画像追跡処理で大きな効果を発揮する。
以上のように、一次ソフトＣＶ領域画像生成装置では、機械的に分割した画像ハードＣＶ領域画像（ブロック）が、画像の中の対象物の形状に則したソフトＣＶ領域画像に分割されたことを意味する。
〔二次ソフトＣＶ領域画像生成部〕
図４２に示すように、二次領域生成装置５０３のソフトＣＶ領域画像追跡部５３１は、ソフトＣＶ領域画像の形状を柔軟に保ったまま、既に特徴ハードＣＶ領域画像（ブロック）及び境界線上拘束ハードＣＶ領域画像（ブロック）は一次ソフトＣＶ領域画像として扱われ、湧き出し点方向に、隣接する複数のフレームの中に追跡することで、ソフトＣＶ領域画像追跡が可能となる。
ソフトＣＶ領域画像形成が不完全なところは、輪郭線検出装置５０６及び輪郭認識装置５０７からの追加情報でより完全な輪郭を形成できる。
図４２に示すように、二次領域生成装置５０３のソフトＣＶ領域画像追跡部５３１は、ソフトＣＶ領域画像の形状を柔軟に保ったまま、既に特徴ハードＣＶ領域画像（ブロック）及び境界線上拘束ハードＣＶ領域画像（ブロック）は一次ソフトＣＶ領域画像として扱われ、湧き出し点方向に、隣接する複数のフレームの中に追跡することで、ソフトＣＶ領域画像追跡が可能となる。
ソフトＣＶ領域画像形成が不完全なところは、輪郭線検出装置５０６及び輪郭認識装置５０７からの追加情報でより完全な輪郭を形成できる。
一つの一次ソフトＣＶ領域画像を追跡する場合には複数の特徴ハードＣＶ領域画像（ブロック）が含まれるソフトＣＶ領域画像を扱うことになり、ソフトＣＶ領域画像単位での追跡が可能となる。
実際には特徴ハードＣＶ領域画像（ブロック）を追跡することになるが、ゴム紐結合により、ソフトＣＶ領域画像全体か伸び縮みしながら追跡され、対応ソフトＣＶ領域画像が求められる。ここで、ゴム紐はソフトＣＶ領域画像境界で切断され易く結合させている。強い力が掛かればゴム紐はソフトＣＶ領域画像境界線で切断される。
また、ソフトＣＶ領域画像境界の一部に大きな変更が成されるような作用が生じた場合には、ゴム紐がソフトＣＶ領域画像境界で切断され、次にソフトＣＶ領域画像としてではなく、元の個々の画像ハードＣＶ領域画像（ブロック）に戻って再追跡することで、画像全体をもれなく追跡処理を行う。
結果として、ゴム紐で結合されたままのソフトＣＶ領域画像群とゴム紐が切断されたソフトＣＶ領域画像群とから画像が構成されることになる。
実際には特徴ハードＣＶ領域画像（ブロック）を追跡することになるが、ゴム紐結合により、ソフトＣＶ領域画像全体か伸び縮みしながら追跡され、対応ソフトＣＶ領域画像が求められる。ここで、ゴム紐はソフトＣＶ領域画像境界で切断され易く結合させている。強い力が掛かればゴム紐はソフトＣＶ領域画像境界線で切断される。
また、ソフトＣＶ領域画像境界の一部に大きな変更が成されるような作用が生じた場合には、ゴム紐がソフトＣＶ領域画像境界で切断され、次にソフトＣＶ領域画像としてではなく、元の個々の画像ハードＣＶ領域画像（ブロック）に戻って再追跡することで、画像全体をもれなく追跡処理を行う。
結果として、ゴム紐で結合されたままのソフトＣＶ領域画像群とゴム紐が切断されたソフトＣＶ領域画像群とから画像が構成されることになる。
さて、それでもまだ追跡誤差が存在するのが一般的である。
そこで、補正ソフトＣＶ領域画像検出部５３２において、追跡誤差を減少するように、基準画像のソフトＣＶ領域画像追跡結果から隣接するフレームの順番で画像を進行させた適切な比較フレームにまで画像を進行させ、基準フレームのソフトＣＶ領域画像とトラッキングデータ（ＴＶ値）（追跡データ）から前記比較フレームに対応する画像を生成し、前記比較フレームと比較する。
トラッキングデータ（ＴＶ値）（追跡データ）が正しければ、二者は完全に一致するが、トラッキングデータ（ＴＶ値）（追跡データ）に誤差が含まれれば、ソフトＣＶ領域画像にずれが生じる。そこでその差分を取るなどして、誤差を検出し、誤差の発生するソフトＣＶ領域画像を誤差範囲として決定する。
そこで、補正ソフトＣＶ領域画像検出部５３２において、追跡誤差を減少するように、基準画像のソフトＣＶ領域画像追跡結果から隣接するフレームの順番で画像を進行させた適切な比較フレームにまで画像を進行させ、基準フレームのソフトＣＶ領域画像とトラッキングデータ（ＴＶ値）（追跡データ）から前記比較フレームに対応する画像を生成し、前記比較フレームと比較する。
トラッキングデータ（ＴＶ値）（追跡データ）が正しければ、二者は完全に一致するが、トラッキングデータ（ＴＶ値）（追跡データ）に誤差が含まれれば、ソフトＣＶ領域画像にずれが生じる。そこでその差分を取るなどして、誤差を検出し、誤差の発生するソフトＣＶ領域画像を誤差範囲として決定する。
再追跡補正部５３３では前記誤差範囲において、特徴ハードＣＶ領域画像（ブロック）抽出からやり直す。誤差範囲においては特徴点を多く検出し、再追跡することで、詳細な特徴点を取得する。基準画像だけではなく、前記比較画像において特徴点検出を再度行い、追跡処理することで、ソフトＣＶ領域画像を修正し、正しいトラッキングデータ（ＴＶ値）（追跡データ）を取得することができる。
二次ソフトＣＶ領域画像決定部５３４においては、上記のようにして求められたトラッキングデータ（ＴＶ値）（追跡データ）をもつ二次ソフトＣＶ領域画像として次の行程に出力する。
二次ソフトＣＶ領域画像決定部５３４においては、上記のようにして求められたトラッキングデータ（ＴＶ値）（追跡データ）をもつ二次ソフトＣＶ領域画像として次の行程に出力する。
以下、図４２を参照して、本実施例に係る画像処理におけるソフトＣＶ領域画像分割画像生成装置の実施例について、各部の機能、処理動作とともに詳細に説明する。
まず、画像取得装置５０１において、動画像取得部５１１は、ビデオカメラ等で動画像を取得して記録する。この場合広角画像を必要とし、狭角画像の場合は、一体化された狭角レンズを持つカメラによる画像と共に広角レンズを付けた画像とを同時に取得する。
次に、基準画像指定部５１２は、得られた動画像の中から以後の処理の基準となる静止画を基準画像として選択する。これはとりあえず最初の画像を基準画像とする。
まず、画像取得装置５０１において、動画像取得部５１１は、ビデオカメラ等で動画像を取得して記録する。この場合広角画像を必要とし、狭角画像の場合は、一体化された狭角レンズを持つカメラによる画像と共に広角レンズを付けた画像とを同時に取得する。
次に、基準画像指定部５１２は、得られた動画像の中から以後の処理の基準となる静止画を基準画像として選択する。これはとりあえず最初の画像を基準画像とする。
ＣＶ演算装置（ＣＶ値取得装置）５０５においては、ＣＶ演算部５５１が、扱う動画像の全てに、取得した各フレームを代表する座標系とカメラ位置との関係を示すＣＶ値を求めるＣＶ演算を行う。ＣＶ値は取得した画像のカメラ位置と姿勢の関係を示す６自由度のパラメータを持つ。
次に、ＣＶ画像変換部５５２は、各画像フレームについて、取得されたＣＶ値を付加したＣＶ画像を生成する。
さらに、追跡範囲指定部５５３が、後の処理を効率的に行うために画像各点の追跡方向と範囲を制限する。
次に、ＣＶ画像変換部５５２は、各画像フレームについて、取得されたＣＶ値を付加したＣＶ画像を生成する。
さらに、追跡範囲指定部５５３が、後の処理を効率的に行うために画像各点の追跡方向と範囲を制限する。
一次ソフトＣＶ領域画像生成装置５０２においては、ハードＣＶ領域画像（ブロック）分割部５２１が、基準画像の画像フレームに関し、画像全体を若しくは、必要部分を単純に微少のピクセルから成る複数のハードＣＶ領域画像（ブロック）に分割する。
ハードＣＶ領域画像（ブロック）は縦１１ピクセル、横１１ピクセル程度とする。
ハードＣＶ領域画像（ブロック）は縦１１ピクセル、横１１ピクセル程度とする。
次に、ハードＣＶ領域画像（ブロック）分類部５２２が、複数のハードＣＶ領域画像（ブロック）の全てを、境界線上特徴ハードＣＶ領域画像（ブロック）、孤立特徴ハードＣＶ領域画像（ブロック）、境界線上拘束ハードＣＶ領域画像（ブロック）、ソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）、未特定ハードＣＶ領域画像（ブロック）、の何れかに分類する。
ハードＣＶ領域画像（ブロック）は自己相関を演算し、取得された二次元の相関値において二次元相関値の内部に独立したピークを持つものを特徴ハードＣＶ領域画像（ブロック）とし、ピークは有るが二次元相関値の縁に偏っているハードＣＶ領域画像（ブロック）については、境界線上拘束ハードＣＶ領域画像（ブロック）とし、差異のあるピークを持たないハードＣＶ領域画像（ブロック）はソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）とし、その他ノイズの大きいハードＣＶ領域画像（ブロック）については未特定ハードＣＶ領域画像（ブロック）として分類する。
ハードＣＶ領域画像（ブロック）は自己相関を演算し、取得された二次元の相関値において二次元相関値の内部に独立したピークを持つものを特徴ハードＣＶ領域画像（ブロック）とし、ピークは有るが二次元相関値の縁に偏っているハードＣＶ領域画像（ブロック）については、境界線上拘束ハードＣＶ領域画像（ブロック）とし、差異のあるピークを持たないハードＣＶ領域画像（ブロック）はソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）とし、その他ノイズの大きいハードＣＶ領域画像（ブロック）については未特定ハードＣＶ領域画像（ブロック）として分類する。
次に、一次ソフトＣＶ領域画像生成部５２３が、特定線状特徴ハードＣＶ領域画像（ブロック）と境界線上拘束ハードＣＶ領域画像（ブロック）と、からソフトＣＶ領域画像を生成する。若しくはそれに未特定ハードＣＶ領域画像（ブロック）を加えて最適なソフトＣＶ領域画像を生成する。
さらに、ソフトＣＶ領域画像ゴム紐結合部５２４が、各ハードＣＶ領域画像（ブロック）をゴム紐結合で処理する。各ハードＣＶ領域画像（ブロック）を柔軟に結合し、その配列順番を変更しないで距離関係に多少の変更のゆとりを与えた結合方法をゴム紐結合という。
ここまでは画像をハードＣＶ領域画像（ブロック）化し、そのソフトＣＶ領域画像を決めただけであり二次元情報しか持たない。
さらに、ソフトＣＶ領域画像ゴム紐結合部５２４が、各ハードＣＶ領域画像（ブロック）をゴム紐結合で処理する。各ハードＣＶ領域画像（ブロック）を柔軟に結合し、その配列順番を変更しないで距離関係に多少の変更のゆとりを与えた結合方法をゴム紐結合という。
ここまでは画像をハードＣＶ領域画像（ブロック）化し、そのソフトＣＶ領域画像を決めただけであり二次元情報しか持たない。
次に、二次ソフトＣＶ領域画像生成部５０３において、まず、ソフトＣＶ領域画像追跡部５３１が、ゴム紐結合された前記各ハードＣＶ領域画像（ブロック）の中の前記境界上特徴ハードＣＶ領域画像（ブロック）及び境界線上拘束ハードＣＶ領域画像（ブロック）を隣接する複数の画像フレームに亘って追跡し、対応点を求めることでソフトＣＶ領域画像追跡する。
次いで、補正ソフトＣＶ領域画像検出部５３２が、追跡したソフトＣＶ領域画像に対応する隣接フレームのソフトＣＶ領域画像及びその近傍における誤差を検出し、その誤差の発生範囲を求める。誤差の発生範囲に入る全ハードＣＶ領域画像（ブロック）について、再度ハードＣＶ領域画像（ブロック）化し、若しくは基本画像を変更して前記範囲についてハードＣＶ領域画像（ブロック）化する。
次いで、補正ソフトＣＶ領域画像検出部５３２が、追跡したソフトＣＶ領域画像に対応する隣接フレームのソフトＣＶ領域画像及びその近傍における誤差を検出し、その誤差の発生範囲を求める。誤差の発生範囲に入る全ハードＣＶ領域画像（ブロック）について、再度ハードＣＶ領域画像（ブロック）化し、若しくは基本画像を変更して前記範囲についてハードＣＶ領域画像（ブロック）化する。
次に、再追跡補正部５３３が、基準画像、若しくは新たな基準画像のフレーム以外の隣接する他の画像フレームに亘って追跡して、境界線上特徴ハードＣＶ領域画像（ブロック）、孤立特徴ハードＣＶ領域画像（ブロック）、境界線上拘束ハードＣＶ領域画像（ブロック）、ソフトＣＶ領域画像ハードＣＶ領域画像（ブロック）、未特定ハードＣＶ領域画像（ブロック）、の何れかに分類し、前記誤差範囲ではゴム紐結合を解除して再度追跡し、追跡データを取得する。
誤差の発生部分の範囲はゴム紐結合を解除して、各ハードＣＶ領域画像（ブロック）単位で追跡をする。
誤差の発生部分の範囲はゴム紐結合を解除して、各ハードＣＶ領域画像（ブロック）単位で追跡をする。
隣接するハードＣＶ領域画像（ブロック）が連続するハードＣＶ領域画像（ブロック）と、関係が不連続のハードＣＶ領域画像（ブロック）を選別することができる。この作業で全ての二次ソフトＣＶ領域画像に関して、各ソフトＣＶ領域画像の境界線を共通とする部分と、又は共通としない部分に分類する。
再度追跡により誤差の発生範囲を再度詳細に追跡して、誤差の少ないソフトＣＶ領域画像が生成される。このようにすることで画像全体のハードＣＶ領域画像（ブロック）が何らかのソフトＣＶ領域画像に所属し、何らかの種類別に分類されることになる。
ソフトＣＶ領域画像は境界線を含み、境界線は隣接するソフトＣＶ領域画像と共有することになる。そこで一つのソフトＣＶ領域画像には複数の特徴ハードＣＶ領域画像（ブロック）を持つことから、各ソフトＣＶ領域画像は複数のトラッキングデータ（ＴＶ値）（追跡データ）を持つことになる。
また、未特定ハードＣＶ領域画像（ブロック）のみで特徴ハードＣＶ領域画像（ブロック）画を持たないソフトＣＶ領域画像であっても、ソフトＣＶ領域画像自体が一つのトラッキングデータ（ＴＶ値）（追跡データ）を持つことになる。
これらトラッキングデータ（ＴＶ値）（追跡データ）をもつソフトＣＶ領域画像を二次ソフトＣＶ領域画像と定義する。
これら二次ソフトＣＶ領域画像を二次領域決定部５３４で決定する。
再度追跡により誤差の発生範囲を再度詳細に追跡して、誤差の少ないソフトＣＶ領域画像が生成される。このようにすることで画像全体のハードＣＶ領域画像（ブロック）が何らかのソフトＣＶ領域画像に所属し、何らかの種類別に分類されることになる。
ソフトＣＶ領域画像は境界線を含み、境界線は隣接するソフトＣＶ領域画像と共有することになる。そこで一つのソフトＣＶ領域画像には複数の特徴ハードＣＶ領域画像（ブロック）を持つことから、各ソフトＣＶ領域画像は複数のトラッキングデータ（ＴＶ値）（追跡データ）を持つことになる。
また、未特定ハードＣＶ領域画像（ブロック）のみで特徴ハードＣＶ領域画像（ブロック）画を持たないソフトＣＶ領域画像であっても、ソフトＣＶ領域画像自体が一つのトラッキングデータ（ＴＶ値）（追跡データ）を持つことになる。
これらトラッキングデータ（ＴＶ値）（追跡データ）をもつソフトＣＶ領域画像を二次ソフトＣＶ領域画像と定義する。
これら二次ソフトＣＶ領域画像を二次領域決定部５３４で決定する。
次に、ソフトＣＶ領域画像結合装置５０４においては、まず、ノイズ消去部５４０が、取得された二次ソフトＣＶ領域画像に関して、取得された各ソフトＣＶ領域画像のトラッキングデータ（ＴＶ値）（追跡データ）から、フレーム間のソフトＣＶ領域画像対応が完全にできたことになり、画像の平均化や、重ね合わせが可能となる。そこで各フレームの対応する複数ソフトＣＶ領域画像を加算平均等によりノイズリダクション（ノイズ消去）を行う。
ノイズ消去には線形処理である加算平均処理以外にも、非線形処理として多数決テクスチャー決定法を提案できる。この方法はテクスチャーを平均で決めるのではなく、複数フレームで最も共通性のあるソフトＣＶ領域画像のテクスチャーを共通のテクスチャーとする方法である。或いは複数の適正テクスチャーを選択し、その加算平均をとることができる。このとき、輪郭線は一致しているのでぼけることはない。
ノイズ消去には線形処理である加算平均処理以外にも、非線形処理として多数決テクスチャー決定法を提案できる。この方法はテクスチャーを平均で決めるのではなく、複数フレームで最も共通性のあるソフトＣＶ領域画像のテクスチャーを共通のテクスチャーとする方法である。或いは複数の適正テクスチャーを選択し、その加算平均をとることができる。このとき、輪郭線は一致しているのでぼけることはない。
また、ＲＶ演算部５４１で、各ソフトＣＶ領域画像のトラッキングデータ（ＴＶ値）（追跡データ）から、視点変更した仮想カメラの位置及び姿勢の三次元関係意味するＲＶ演算を行う。
ここで、フレームに対してのカメラ位置を求めることをＣＶ演算と定義したが、各フレーム内の各二次ソフトＣＶ領域画像はやはり独自のＣＶ値を持つことになる。しかし一般にフレームを代表する静止座標であればＣＶ値は同一であるが、移動する物体についてはその移動する物体を構成する画像のソフトＣＶ領域画像がそれぞれ独自のＣＶ値と特徴ハードＣＶ領域画像（ブロック）との関係を持つことになる。最終的には、フレームを撮影したカメラとソフトＣＶ領域画像を撮影したカメラは同一カメラなので、代表する座標系に関してはカメラ位置を示すＣＶ値は一致することになる。
ここで、フレームに対してのカメラ位置を求めることをＣＶ演算と定義したが、各フレーム内の各二次ソフトＣＶ領域画像はやはり独自のＣＶ値を持つことになる。しかし一般にフレームを代表する静止座標であればＣＶ値は同一であるが、移動する物体についてはその移動する物体を構成する画像のソフトＣＶ領域画像がそれぞれ独自のＣＶ値と特徴ハードＣＶ領域画像（ブロック）との関係を持つことになる。最終的には、フレームを撮影したカメラとソフトＣＶ領域画像を撮影したカメラは同一カメラなので、代表する座標系に関してはカメラ位置を示すＣＶ値は一致することになる。
また、一致するカメラ位置となる二次ソフトＣＶ領域画像の位置と姿勢を求めることで、ソフトＣＶ領域画像の動きが三次元的に６自由度で表現できることになる。
ソフトＣＶ領域画像が基準画像のフレームが代表している座標系に所属していない場合、例えば人間が静止座標中を歩いて移動する動きのように、人間の各部分が別々移動して形としては統合されている対象を二次ソフトＣＶ領域画像に分割して、それぞれのＣＶ値が一致する各特徴ハードＣＶ領域画像（ブロック）を求めることで、人間の形状の時間変化を追ってその画像を表現できることになる。
ソフトＣＶ領域画像が基準画像のフレームが代表している座標系に所属していない場合、例えば人間が静止座標中を歩いて移動する動きのように、人間の各部分が別々移動して形としては統合されている対象を二次ソフトＣＶ領域画像に分割して、それぞれのＣＶ値が一致する各特徴ハードＣＶ領域画像（ブロック）を求めることで、人間の形状の時間変化を追ってその画像を表現できることになる。
また、境界線再構成部５４２が、動画として連続して変化する画像を複数の二次ソフトＣＶ領域画像の移動として解釈し、結合した二次ソフトＣＶ領域画像を一体の対象物とし、或いは分割した対象物として再分割する等して、適切なソフトＣＶ領域画像の結合体に再構成する。
さらに、結合ソフトＣＶ領域画像生成部５４３が、変更ＣＶ演算により取得された二次ソフトＣＶ領域画像を適切に結合して画像を再構成する。
さらに、結合ソフトＣＶ領域画像生成部５４３が、変更ＣＶ演算により取得された二次ソフトＣＶ領域画像を適切に結合して画像を再構成する。
次に、輪郭線検出装置５０６においては、基準画像の画像フレームに関して、ソフトＣＶ領域画像を構成する境界線とほぼ同じ意味を持つ画像中の輪郭線を抽出して、ソフトＣＶ領域画像を構成する境界線の情報として加えることでソフトＣＶ領域画像生成の精度を高めるために、輪郭線抽出部５６１が、エッジ強調等の処理により、画像中の対象物の不完全な輪郭線を抽出する。
また、ベクトル細線化部５６２が、輪郭線を方向別直線、曲線、等に分類しながら適切に分割し、それぞれを細線化処理し、ベクトル化する。
また、ベクトル細線化部５６２が、輪郭線を方向別直線、曲線、等に分類しながら適切に分割し、それぞれを細線化処理し、ベクトル化する。
エッジ強調等の処理においては、画像の明るさや色の変化を抽出するので、変化を検出する閾値によって、得られるエッジ情報が異なる。閾値を下げればエッジが求めやすいが、ノイズの影響をノイズの中にエッジが埋もれてしまう。そこで閾値は高めに設定し、そこで取得されたノイズの少ないエッジから不完全な輪郭線を求める。この場合輪郭線は完全に閉じた線と成らずに、切れ切れになることが多い。
そこで、その切れ切れの端点において、輪郭線のベクトルの線上を延長し、その延長線上にはさらに輪郭線がある可能性が高いという予想の下に、閾値を下げて、再度エッジ検出を行う。また動画であることから、同じ処理を他の隣接するフレームにおいても行うことで、エッジ検出の確率を上げ、その結果としてより完全な輪郭線を検出できる。
このために、可変閾値処理部５６３により輪郭線検出閾値を下げる処理を行う。
さらに、輪郭線延長部５６４において、閾値を下げた端点の延長上で輪郭線を再検出し、対象物の輪郭線を延長させ、延長輪郭線を取得する。
そこで、その切れ切れの端点において、輪郭線のベクトルの線上を延長し、その延長線上にはさらに輪郭線がある可能性が高いという予想の下に、閾値を下げて、再度エッジ検出を行う。また動画であることから、同じ処理を他の隣接するフレームにおいても行うことで、エッジ検出の確率を上げ、その結果としてより完全な輪郭線を検出できる。
このために、可変閾値処理部５６３により輪郭線検出閾値を下げる処理を行う。
さらに、輪郭線延長部５６４において、閾値を下げた端点の延長上で輪郭線を再検出し、対象物の輪郭線を延長させ、延長輪郭線を取得する。
ここで、取得された輪郭線は画像の視覚的な意味合いが強い。輪郭線は細線化され、テクスチャーや視覚的輪郭線を決定し、画像のボケを修正し、視覚的エッジを生成する。また、ＰＲＭによる認識では、画像はＣＧと対比されることが多いので、生成された細線の輪郭線が意味を持つ。
一方、ソフトＣＶ領域画像境界線は画像処理上の特徴ハードＣＶ領域画像（ブロック）の存在する場所であり、座標に関する演算上重要な場所である。座標として保証されているのは輪郭線ではなく、境界線である。
一方、ソフトＣＶ領域画像境界線は画像処理上の特徴ハードＣＶ領域画像（ブロック）の存在する場所であり、座標に関する演算上重要な場所である。座標として保証されているのは輪郭線ではなく、境界線である。
境界認識装置５０７においては、要素認識部５７１が、輪郭線、及び延長輪郭線に関して、得られた輪郭線から、それらを直線、線分、曲線、Ｔ字コーナー、Ｌ字コーナー等の各要素に分類して認識する。
対応する各要素を部品として用意し、それらと対比して、対応する要素を決定し、認識する。これはPRMとして本発明者が特許出願し、一部特許化されている。
（特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号参照）
要素認識部５７１では、部品との比較により、要素の認識がなされるか、それら要素は対象物の一要素であることから、要素の複合体である対象物の認識が可能となる。
対応する各要素を部品として用意し、それらと対比して、対応する要素を決定し、認識する。これはPRMとして本発明者が特許出願し、一部特許化されている。
（特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号参照）
要素認識部５７１では、部品との比較により、要素の認識がなされるか、それら要素は対象物の一要素であることから、要素の複合体である対象物の認識が可能となる。
次に、対象物認識部５７５において、複数の要素認識とそれら構成要素の組み合わせにより、対象物を認識する。対象物を認識したことで、輪郭線は対象物に属するもののみで構成することができる。この情報はソフトＣＶ領域画像結合装置５０４に送られる。
また、要素追跡部５７２は、各要素を隣接するフレームに追跡して、対応点を確認し、追跡データを取得する。
次いで、隣接輪郭線補正部５７３が、追跡により、誤差の発生する範囲を求め、その範囲において、誤差の顕著な画像フレームを基準画像として、再度輪郭線検出から再演算することで精度を高め、対象物の輪郭線をより完成に近づける。
さらに、輪郭線規定部５７４が、取得されたより精度の高められた輪郭線により、一つの輪郭線に囲まれた範囲を仮に規定する。
また、要素追跡部５７２は、各要素を隣接するフレームに追跡して、対応点を確認し、追跡データを取得する。
次いで、隣接輪郭線補正部５７３が、追跡により、誤差の発生する範囲を求め、その範囲において、誤差の顕著な画像フレームを基準画像として、再度輪郭線検出から再演算することで精度を高め、対象物の輪郭線をより完成に近づける。
さらに、輪郭線規定部５７４が、取得されたより精度の高められた輪郭線により、一つの輪郭線に囲まれた範囲を仮に規定する。
以上により、各部品により認識された輪郭線は、ソフトＣＶ領域画像の一部分か、若しくは輪郭線の一部分がソフトＣＶ領域画像となる。互いに補うことで、より完全なソフトＣＶ領域画像を生成することができる。
また、認識が済んでいるので、一つの対象物に属するソフトＣＶ領域画像のみを分離することが可能となる。
ＰＲＭにより、画像中の対象物の幾つかが対象物認識まで進み、その三次元位置も決定されることになる。ソフトＣＶ領域画像の三次元位置の演算は変更ＣＶ演算部（４１）と重複するが、座標取得手段を複数持つことは一般的に好都合なことである。
また、認識が済んでいるので、一つの対象物に属するソフトＣＶ領域画像のみを分離することが可能となる。
ＰＲＭにより、画像中の対象物の幾つかが対象物認識まで進み、その三次元位置も決定されることになる。ソフトＣＶ領域画像の三次元位置の演算は変更ＣＶ演算部（４１）と重複するが、座標取得手段を複数持つことは一般的に好都合なことである。
なお、本実施例では、輪郭検出装置及び輪郭認識装置を対象物認識と画像のテクスチャー生成を主目的としているが、本来的には輪郭線抽出とソフトＣＶ領域画像境界線検出とは同じ目的であって良い。
対象物認識された場合は、画像中の対象物を自動的にＣＧと入れ替えることができる。実際そのような需要は多い。
例えば、道路走行画像中の道路標識、看板、路面標示、等を自動的に認識し、自動的にＣＧ化し、分類し、属性を与え、画像中に自動表示することは既に人工知能応用の範疇にはいるが、道路管理上きわめて有効である。
以上、ソフトＣＶ領域画像分割画像生成装置の実施例１を示した。
対象物認識された場合は、画像中の対象物を自動的にＣＧと入れ替えることができる。実際そのような需要は多い。
例えば、道路走行画像中の道路標識、看板、路面標示、等を自動的に認識し、自動的にＣＧ化し、分類し、属性を与え、画像中に自動表示することは既に人工知能応用の範疇にはいるが、道路管理上きわめて有効である。
以上、ソフトＣＶ領域画像分割画像生成装置の実施例１を示した。
［実施例２］
以下、本発明の湧きだし点基準ＣＶ領域画像前置装置の実施例２として、カーナビゲーションを目的とした画像データベースを念頭に置き、湧きだし点基準ＣＶ領域画像前置装置の最も単純化された実施例として、「ハードＣＶ領域画像生成装置」と、「ハードＣＶ領域画像生成装を用いた座標系分離装置」の実施例を示す。
この実施例２は、本願発明者による特願２００４−３６４２２３号の「座標系分離記録再生装置」に対しても、一つの解決手段を追加することになる。
以下、本発明の湧きだし点基準ＣＶ領域画像前置装置の実施例２として、カーナビゲーションを目的とした画像データベースを念頭に置き、湧きだし点基準ＣＶ領域画像前置装置の最も単純化された実施例として、「ハードＣＶ領域画像生成装置」と、「ハードＣＶ領域画像生成装を用いた座標系分離装置」の実施例を示す。
この実施例２は、本願発明者による特願２００４−３６４２２３号の「座標系分離記録再生装置」に対しても、一つの解決手段を追加することになる。
本発明の実施例に係るカーナビゲーションにおいて特徴的な点は以下のとおりである。
(1)処理の過程で必要となる揺れ止め画像の揺れを復元可能であるが、わざわざ再度復元する必要はないことである。揺れ止め画像の方が視覚的に疲労しないとから、揺れ止め画像をそのまま用いることとする。
(2)全周カメラを積載した車両から全周動画像を取得し、座標系分離をする過程で、代表座標系を静止座標系とする。
(3)その時に、座標系分離された静止座標系以外は破棄してもまったく問題がないばかりでなく、静止座標系以外の対象物は走行する車両等であり、カーナビゲーションには不必要なものであることから、代表座標系のみを座標系分離し、他の座標系として取得された信号は全てノイズとして破棄される。
(1)処理の過程で必要となる揺れ止め画像の揺れを復元可能であるが、わざわざ再度復元する必要はないことである。揺れ止め画像の方が視覚的に疲労しないとから、揺れ止め画像をそのまま用いることとする。
(2)全周カメラを積載した車両から全周動画像を取得し、座標系分離をする過程で、代表座標系を静止座標系とする。
(3)その時に、座標系分離された静止座標系以外は破棄してもまったく問題がないばかりでなく、静止座標系以外の対象物は走行する車両等であり、カーナビゲーションには不必要なものであることから、代表座標系のみを座標系分離し、他の座標系として取得された信号は全てノイズとして破棄される。
以上の主旨で、カーナビゲーション応用の「ハードＣＶ領域画像生成装を用いた座標系分離装置」の実施例を示す。
［詳細説明］
実施例を記載するに先立ち、理解を深めるために、座標系分離装置における湧きだし点について、図４８〜図５１を参照して詳しく説明する。
移動するカメラの三次元カメラ位置と姿勢の変位をカメラ光学中心（カメラ位置を正確に表現すれはカメラ光学中心である）を原点とする三次元座標で表せば、図４８の●印となり、その移動を同図中の符号１０１〜１１１に示す。
カメラ位置１０１とカメラ位置１１１は直線で繋いであり、従って１０１と１１１とを直線で結んで近似されたカメラの移動ベクトルにおけるカメラ位置の変位は進行方向のみであり、他の方向が０で有ることは明かであり、また一般に、１０２〜１１０までのカメラ位置はこの近似直線から多少ずれている。
［詳細説明］
実施例を記載するに先立ち、理解を深めるために、座標系分離装置における湧きだし点について、図４８〜図５１を参照して詳しく説明する。
移動するカメラの三次元カメラ位置と姿勢の変位をカメラ光学中心（カメラ位置を正確に表現すれはカメラ光学中心である）を原点とする三次元座標で表せば、図４８の●印となり、その移動を同図中の符号１０１〜１１１に示す。
カメラ位置１０１とカメラ位置１１１は直線で繋いであり、従って１０１と１１１とを直線で結んで近似されたカメラの移動ベクトルにおけるカメラ位置の変位は進行方向のみであり、他の方向が０で有ることは明かであり、また一般に、１０２〜１１０までのカメラ位置はこの近似直線から多少ずれている。
ただし、ここで思考を単純化するためにカメラが直線運動と見なされる範囲で、カメラの回転成分が０となるように回転補正をしているとする。これは実際に特開２００５−２９５４９５号に提案されている方法で回転揺れ止めをすれば実現できることである。
この時、フレーム画像間の「●」印を結合している矢印「→」が前記カメラ座標系から見た湧きだし点方向を示していることになる。この時、図４９に示すように、画像の各画素は湧きだし点から放射状に湧き出して行くように観察される。
ところで、その時の湧きだし点の移動は画像上では二次元となり、図５０に示すように、１０１と１１１の画像上の点を直線で結ぶように揺れ止めした画像では、湧きだし点は画像内を、矢印「→」のように移動する。
この時、フレーム画像間の「●」印を結合している矢印「→」が前記カメラ座標系から見た湧きだし点方向を示していることになる。この時、図４９に示すように、画像の各画素は湧きだし点から放射状に湧き出して行くように観察される。
ところで、その時の湧きだし点の移動は画像上では二次元となり、図５０に示すように、１０１と１１１の画像上の点を直線で結ぶように揺れ止めした画像では、湧きだし点は画像内を、矢印「→」のように移動する。
湧き出し点の物理的意味はカメラの進行方向そのものである。そこで基準の進行方向を１０１と１１１を結ぶ直線とすると、その基準位置からの、各フレームのカメラ位置のズレを矢印「→」で示すことができる。それを画像上で観察すれば図５１の矢印「→」となる。画像上では、当然１０１と１１１の湧きだし点の起点は一致して表現している。
カメラの進行方向は時々刻々変化するので、湧き出し点はどの隣接するフレーム間でも定義でき、またフレームを跨いでも定義できる。ここでは１０１と１１１のカメラ位置を基準として、１０１と他のフレーム間で定義できる湧きだし点を１０１と１１１で決めた基準湧きだし点からのズレとして表現している。
カメラの進行方向は時々刻々変化するので、湧き出し点はどの隣接するフレーム間でも定義でき、またフレームを跨いでも定義できる。ここでは１０１と１１１のカメラ位置を基準として、１０１と他のフレーム間で定義できる湧きだし点を１０１と１１１で決めた基準湧きだし点からのズレとして表現している。
以上の知識と理解を前提として、以下の実施例を説明する。なお、送信受信再生のプロセスと、記録解凍再生のプロセスは基本的に同じことであり、ここでは区別せずに伝送受信再生としてのみ説明する。
図５２（及び図５３）に具体的例を示す。
ここで対象となる動画の元画像は、同図中の符号３０１、３０２、・・・・・３０７、・・・・と連続する連続静止画から構成される動画である。
この元画像をＣＶ演算して、各フレームに対応させたＣＶ画像により、揺れ止めＣＶ画像を生成する。
ＣＶ演算、及びＣＶ演算結果のＣＶ値、そしてＣＶ値を用いた揺れ止め画像に関しては、本願発明者による特開２００５−２９５４９５に示されている。
図５２（及び図５３）に具体的例を示す。
ここで対象となる動画の元画像は、同図中の符号３０１、３０２、・・・・・３０７、・・・・と連続する連続静止画から構成される動画である。
この元画像をＣＶ演算して、各フレームに対応させたＣＶ画像により、揺れ止めＣＶ画像を生成する。
ＣＶ演算、及びＣＶ演算結果のＣＶ値、そしてＣＶ値を用いた揺れ止め画像に関しては、本願発明者による特開２００５−２９５４９５に示されている。
元画像の各フレームに対応して揺れ止めされた画像は、３１１、３１２、・・・・・３１４、・・・・３１７・・・・で示される。揺れ補正値はフレーム毎に記録されているので、何時でも元の揺れ画像に戻すことは可能である。
揺れ止めされた画像により、元画像の最初のフレームを基準画像として扱い、基準画像を静止画伝送装置３４１で伝送し、受信側でも基準画像３６１として扱う。
また、差分検出装置３５２で元画像が途中で不連続に大きく変化したと判断されたときには、変化後の最初のフレーム３１７を静止画伝送し、新たな基準画像３６７と再設定する。または、直前の画像との差分を送り、基準画像とすることもできる。
揺れ止めされた画像により、元画像の最初のフレームを基準画像として扱い、基準画像を静止画伝送装置３４１で伝送し、受信側でも基準画像３６１として扱う。
また、差分検出装置３５２で元画像が途中で不連続に大きく変化したと判断されたときには、変化後の最初のフレーム３１７を静止画伝送し、新たな基準画像３６７と再設定する。または、直前の画像との差分を送り、基準画像とすることもできる。
ここでまず、３１１〜３１５までを一区切りの座標系分離区間（セグメント区間）として、各フレームを直線近似して基準移動ライン（図４８の１４１参照）を生成する。この一区切りをセグメントと言い、その区間をセグメント区間という。
図５４に示す、ハード領域画像分割生成装置８により、全画素追跡することで、各フレーム画像の追跡データとＣＶ値を持つ３２４を取得する。
ここで、図５２の３２４は３１１から３１４までの総合追跡量である。同図に示すように、追跡可能な範囲の最大追跡フレーム数となるように３１４を選択することが望ましい。
実際問題としては、カーナビゲーション用の道路画像を想定した場合、５００〜１０００フレーム程度の基準移動ライン設定が可能と考えられる。
図５４に示す、ハード領域画像分割生成装置８により、全画素追跡することで、各フレーム画像の追跡データとＣＶ値を持つ３２４を取得する。
ここで、図５２の３２４は３１１から３１４までの総合追跡量である。同図に示すように、追跡可能な範囲の最大追跡フレーム数となるように３１４を選択することが望ましい。
実際問題としては、カーナビゲーション用の道路画像を想定した場合、５００〜１０００フレーム程度の基準移動ライン設定が可能と考えられる。
また、送信するデータとしては、基準画像の最終フレーム画像の座標と位置関係を示すＣＶ値、各ＣＶ領域画像のＴＶ値、差分信号、差分信号から生成されたＴＶ値である（後述する図５６の記録データ構造参照）。
受信側での画像再構築のためには１セグメント区間を近似した湧きだし点位置が必要となるが、それは前記、基準画像の最終フレーム画像の座標と位置関係を示すＣＶ値から直ぐに取得できるので送信の必要はない。
ただし、受信側で演算処理時間短縮のためには前記基準移動ラインを示す湧きだし点データを持つことは有効である。
受信側での画像再構築のためには１セグメント区間を近似した湧きだし点位置が必要となるが、それは前記、基準画像の最終フレーム画像の座標と位置関係を示すＣＶ値から直ぐに取得できるので送信の必要はない。
ただし、受信側で演算処理時間短縮のためには前記基準移動ラインを示す湧きだし点データを持つことは有効である。
最終的に伝送信号となるのは送信ＶＤとして、最終的に送信される有効データは、以下のように整理される。
(1)基準画像（３１１、３１６・・・・・）
(2)基準画像と次の基準画像間のＣＶ値、各ＣＶ領域画像のＴＶ値。
(3)セグメント区間の最終画像における生成画像と実画像との差分画像。
(4)基準画像に含まれないＣＶ領域画像としての差分画像のＣＶ領域のＴＶ値。
ここではセグメント区間内の途中の画像フレームは全て省略され、フレームレートの指定もない。再生時に自由にフレームレートを指定することになる。
また、再生側では、送られた上記ＶＤ情報から視点移動も可能となる。
(1)基準画像（３１１、３１６・・・・・）
(2)基準画像と次の基準画像間のＣＶ値、各ＣＶ領域画像のＴＶ値。
(3)セグメント区間の最終画像における生成画像と実画像との差分画像。
(4)基準画像に含まれないＣＶ領域画像としての差分画像のＣＶ領域のＴＶ値。
ここではセグメント区間内の途中の画像フレームは全て省略され、フレームレートの指定もない。再生時に自由にフレームレートを指定することになる。
また、再生側では、送られた上記ＶＤ情報から視点移動も可能となる。
図５２中、差分画像３５１は送信側においてＴＶ画像から生成したＣＶ領域画像と元画像との差分である。差分画像によりトラッキングミスが多少有っても修復可能であり、有効である。
図５２には、処理の過程をフレーム画像の進行とともに記載して説明した。
同図において、太枠は伝送情報であり、図中太枠で示した伝送情報は結局、３１１、３２４、３５１のみである。
ところで、画像データは３１１と３２４であり、３２４は画像データではなくＶＤであることが重要である。
この処理により、この間のフレーム数５００〜１０００は全て省略されることになる。これはかなりの画像圧縮率となる。
また、基準画像及び差分画像の伝送は、従来技術のJPEG等の圧縮技術を併用できるので、総合的にはかなりの圧縮率となる。
図５２には、処理の過程をフレーム画像の進行とともに記載して説明した。
同図において、太枠は伝送情報であり、図中太枠で示した伝送情報は結局、３１１、３２４、３５１のみである。
ところで、画像データは３１１と３２４であり、３２４は画像データではなくＶＤであることが重要である。
この処理により、この間のフレーム数５００〜１０００は全て省略されることになる。これはかなりの画像圧縮率となる。
また、基準画像及び差分画像の伝送は、従来技術のJPEG等の圧縮技術を併用できるので、総合的にはかなりの圧縮率となる。
各フレーム間で求められたＣＶ値とＴＶ値を解析し、座標系分離を行う。
座標系分離を行うための構成を図５５に示すが、これは、上述した図２８に示した座標系分離装置１０７１と同様である。
ＴＶ値により、直線近似される代表フレーム３１４とし、３１４の揺れ止めＣＶ画像は座標系分離され、座標系毎にＴＶが分類される。
座標系分離を行うための構成を図５５に示すが、これは、上述した図２８に示した座標系分離装置１０７１と同様である。
ＴＶ値により、直線近似される代表フレーム３１４とし、３１４の揺れ止めＣＶ画像は座標系分離され、座標系毎にＴＶが分類される。
次に差分信号について説明をする。
図５２に示すように、基準フレームのＣＶ値及びＴＶ値から、逆追跡をして揺れ止めＣＶ画像３１４を生成することができる。その結果得られたＣＶ領域画像３３１とする。３３１は座標系分離及び追跡時の誤差を含んでいるので、一般には正しく揺れ止めＣＶ画像３１４が生成されない。
そこで、生成ＣＶ画像３３１と生成目的の揺れ止めＣＶ画像３１４の差分を、差分信号３５１として求める。
生成ＣＶ画像３３１と差分ＣＶ画像（差分信号３５１）とから誤差のない補正ＣＶ画像３６５を生成することができる。これは原理的に基となっている揺れ止めＣＶ画像３１４と同じものである。
さらに元画像に戻すには揺れ成分をＣＶ値から与えることで元画像と同じ揺れを含んだ揺れ再現画像３７５が生成できるが、ここでは目的をカーナビゲーションとしているので揺れの再現は省略する。
図５２に示すように、基準フレームのＣＶ値及びＴＶ値から、逆追跡をして揺れ止めＣＶ画像３１４を生成することができる。その結果得られたＣＶ領域画像３３１とする。３３１は座標系分離及び追跡時の誤差を含んでいるので、一般には正しく揺れ止めＣＶ画像３１４が生成されない。
そこで、生成ＣＶ画像３３１と生成目的の揺れ止めＣＶ画像３１４の差分を、差分信号３５１として求める。
生成ＣＶ画像３３１と差分ＣＶ画像（差分信号３５１）とから誤差のない補正ＣＶ画像３６５を生成することができる。これは原理的に基となっている揺れ止めＣＶ画像３１４と同じものである。
さらに元画像に戻すには揺れ成分をＣＶ値から与えることで元画像と同じ揺れを含んだ揺れ再現画像３７５が生成できるが、ここでは目的をカーナビゲーションとしているので揺れの再現は省略する。
さて、信号を伝送する場合にはできるだけ小さいデータ量で送ることが適切であるので、生成ＣＶ画像３３１を伝送することは適切ではない。
そこで３３１は送らずに、３６１と３２４から受信再生側で３３１を再生するのが適している。
図５２に太枠で示した伝送信号として３６１、３２４、３５１から、受信再生側で３６５、また、図５３に、揺れ成分まで再現し画像として、３７１〜３７５を示してある。なお、図５３中、破線で囲んだ部分が図５２に相当する部分である。
この時、揺れ止めしない撮影時の揺れ成分に忠実な元画像を伝送するには、位置と湧きだし点情報として３２１，３２２、３２３を伝送してもよい。
そこで３３１は送らずに、３６１と３２４から受信再生側で３３１を再生するのが適している。
図５２に太枠で示した伝送信号として３６１、３２４、３５１から、受信再生側で３６５、また、図５３に、揺れ成分まで再現し画像として、３７１〜３７５を示してある。なお、図５３中、破線で囲んだ部分が図５２に相当する部分である。
この時、揺れ止めしない撮影時の揺れ成分に忠実な元画像を伝送するには、位置と湧きだし点情報として３２１，３２２、３２３を伝送してもよい。
さらに、図５２中、３２４のＶＤ値から何時でも中間フレーム画像３６２〜３６４を生成することができる。
中間の湧きだし点は全て省略されているので中間フレーム画像は湧きだし点が全て一致した画像となり、元画像とは微少分その湧きだし点が異なる。
その差は微少で、一般には視認しにくいが、視認できたとしても、これも揺れ止め効果と同様に、湧きだし点が一致した画像の方が揺れが無くなり、視覚的にはより見やすくなると言う実に都合の良い効果を生み出す。
さて、正確に二者を区別するときには、先の揺れ止め画像は回転揺れ止め画像であり、湧きだし点一致とＣＶ値補正とトラッキング一次関数化による揺れ止めは位置揺らぎ止め画像というのが良い。
再生する中間フレーム（３６２、３６３、・・・・・３６４）は当初目的から等間隔揺れ止め画像とするのが相応しいことになる。
中間の湧きだし点は全て省略されているので中間フレーム画像は湧きだし点が全て一致した画像となり、元画像とは微少分その湧きだし点が異なる。
その差は微少で、一般には視認しにくいが、視認できたとしても、これも揺れ止め効果と同様に、湧きだし点が一致した画像の方が揺れが無くなり、視覚的にはより見やすくなると言う実に都合の良い効果を生み出す。
さて、正確に二者を区別するときには、先の揺れ止め画像は回転揺れ止め画像であり、湧きだし点一致とＣＶ値補正とトラッキング一次関数化による揺れ止めは位置揺らぎ止め画像というのが良い。
再生する中間フレーム（３６２、３６３、・・・・・３６４）は当初目的から等間隔揺れ止め画像とするのが相応しいことになる。
図４８及び図５０，図５１に示したように、元画像は基準移動ラインの周囲で小刻みに揺れているが、この時伝送される画像は、その位置を基準移動ラインの周囲の揺れは停止し、基準移動イランに沿って移動することを意味する。３２５は基準画像３６１と湧きだし点が一致するように基準移動ラインが選択されるので、途中の湧きだし点データは送らなくても良いことになる。
この方が視覚的には見やすく、近似的には十分問題ないが、正確に揺れる中間フレームを再生するには、座標系分離のデータとして、３２１から３２３に各フレームの湧きだし点データを付加すればよい。
受信側では、回転揺れ止めと位置揺らぎ止めを行った代表座標系の画像を再生できることになる。
中間フレームのフレーム数を自由に設定できることが特徴である。
また、画像に映り込んだ歩行者や走行車両は、代表座標系には含まれないので、ノイズとして扱われることになる。
この方が視覚的には見やすく、近似的には十分問題ないが、正確に揺れる中間フレームを再生するには、座標系分離のデータとして、３２１から３２３に各フレームの湧きだし点データを付加すればよい。
受信側では、回転揺れ止めと位置揺らぎ止めを行った代表座標系の画像を再生できることになる。
中間フレームのフレーム数を自由に設定できることが特徴である。
また、画像に映り込んだ歩行者や走行車両は、代表座標系には含まれないので、ノイズとして扱われることになる。
図５２では、３０６以降のフレームについては、再度基準画像を用意して、前記３０１からの処理と同じ処理を繰り返すことで、切れ目の無い動画像全体を送信することができる。
また、座標系分離した代表座標系以外の物体、例えば画像に映り込んだ歩行者や走行車両は、全て削除できることになる。
また、座標系分離した代表座標系以外の物体、例えば画像に映り込んだ歩行者や走行車両は、全て削除できることになる。
図５６には、実施例２の記録データ構造を示す。
セグメント区間は、フレーム画像としては基準画像としての最初の３０１のみ送り、最後の３０７におけるＴＶ値生成画像との差分のみ差分画像３５１と、そのＴＶ値を送る。
ＣＶ演算時は隣接画像間のＣＶ値として求めているが、記録データとするときは省略するフレームを飛び越えて基準画像３０１とセグメント最終画像３０７間のＣＶ値を記録することになる。それは単純に両者のＣＶ値の差を取って、基準画像３０１のＣＶ値に加えればよい。
セグメント区間は、ＣＶ値は３０１と３０７の関係を示す一個のみであり、ＴＶ値は基準画像３０１に付加したＴＶ値と、基準画像３０１には含まれていないが、セグメント最終画像には含まれる部分の差分画像３５１に対するＴＶ値のみである。
セグメント区間は、フレーム画像としては基準画像としての最初の３０１のみ送り、最後の３０７におけるＴＶ値生成画像との差分のみ差分画像３５１と、そのＴＶ値を送る。
ＣＶ演算時は隣接画像間のＣＶ値として求めているが、記録データとするときは省略するフレームを飛び越えて基準画像３０１とセグメント最終画像３０７間のＣＶ値を記録することになる。それは単純に両者のＣＶ値の差を取って、基準画像３０１のＣＶ値に加えればよい。
セグメント区間は、ＣＶ値は３０１と３０７の関係を示す一個のみであり、ＴＶ値は基準画像３０１に付加したＴＶ値と、基準画像３０１には含まれていないが、セグメント最終画像には含まれる部分の差分画像３５１に対するＴＶ値のみである。
ＣＶ値はセグメント区間全域を示すＣＶ値を持つが、撮影時のフレームを再現する必要が有れば、各フレームにＣＶ値を持つことが相応しい。この分で増加するデータ量は微々たるものである。
基準画像３０１には含まれていないが、セグメント最終画像には含まれる追加ＣＶ領域画像分は、必ずしも差分画像３５１そのものではないが、差分画像３５１にはその大部分が含まれるので、差分画像３５１から生成することになる。ＴＶ値が重複することは何ら問題がない。
また、差分画像３５１の一部に付加したＴＶ値は、基準画像３０１に付加したＴＶ値とは逆方向のＴＶ値となる。
受信再生側では、中間の全ての画像、及び視点変更画像は基準画像３０１と差分画像３５１を元として、全てのフレームの画像をこれらのＶＤ値から生成する。
ＣＶ値とＴＶ値とは受信側のセグメント区間で自由に比例配分される。毎秒のフレーム数の指定はないから、自由なフレーム数を表現できる。
基準画像３０１には含まれていないが、セグメント最終画像には含まれる追加ＣＶ領域画像分は、必ずしも差分画像３５１そのものではないが、差分画像３５１にはその大部分が含まれるので、差分画像３５１から生成することになる。ＴＶ値が重複することは何ら問題がない。
また、差分画像３５１の一部に付加したＴＶ値は、基準画像３０１に付加したＴＶ値とは逆方向のＴＶ値となる。
受信再生側では、中間の全ての画像、及び視点変更画像は基準画像３０１と差分画像３５１を元として、全てのフレームの画像をこれらのＶＤ値から生成する。
ＣＶ値とＴＶ値とは受信側のセグメント区間で自由に比例配分される。毎秒のフレーム数の指定はないから、自由なフレーム数を表現できる。
［実施例３］
［視点変更機能の追加］
以上、実施例２では画像圧縮を主目的とした元も簡略化したカーナビ対応のハードＣＶ領域画像生成装置について述べた。
次に、実施例２を発展させ、視点変更装置（図２３参照）を設置して、視点移動をも可能とした実施例３について以下に述べる。ここでは、ＣＧのように視点変更可能な装置を念頭に説明する。
さらに視点移動も可能とすることで、撮影時の画像から、隣接車線への車線変更表示や高さ変更表示ができるナビゲーションへの応用も含めた多目的の装置であるということができる。
［視点変更機能の追加］
以上、実施例２では画像圧縮を主目的とした元も簡略化したカーナビ対応のハードＣＶ領域画像生成装置について述べた。
次に、実施例２を発展させ、視点変更装置（図２３参照）を設置して、視点移動をも可能とした実施例３について以下に述べる。ここでは、ＣＧのように視点変更可能な装置を念頭に説明する。
さらに視点移動も可能とすることで、撮影時の画像から、隣接車線への車線変更表示や高さ変更表示ができるナビゲーションへの応用も含めた多目的の装置であるということができる。
図５２及び図５７に示すように、３０１〜３０４、３０５の元画像をＣＶ演算し、全フレームにＣＶ値を付加する。
ＣＶ演算の結果として、回転成分の差分ＣＶ値dθx,dθy,dθz、位置成分の差分ＣＶ値dx,dy,dz、それらから従属的に取得できる湧きだし点の移動軌跡を、φ，ηとして回転揺れ止めした画面上の二次元座標で取得する。
図５２に示すように、揺れ止めされた揺れ止めＣＶ画像の最初のフレーム４３１は従来方法で静止画圧縮されて基準画像３６１として送られる。
揺れ止めＣＶ画像３１１、３１２・・・・・、３１５をそれぞれ画像領域分割して小領域に分割する。ここでの分割の方法としては矩形ブロックとして分割するハードＣＶ領域画像としている。
ＣＶ演算の結果として、回転成分の差分ＣＶ値dθx,dθy,dθz、位置成分の差分ＣＶ値dx,dy,dz、それらから従属的に取得できる湧きだし点の移動軌跡を、φ，ηとして回転揺れ止めした画面上の二次元座標で取得する。
図５２に示すように、揺れ止めされた揺れ止めＣＶ画像の最初のフレーム４３１は従来方法で静止画圧縮されて基準画像３６１として送られる。
揺れ止めＣＶ画像３１１、３１２・・・・・、３１５をそれぞれ画像領域分割して小領域に分割する。ここでの分割の方法としては矩形ブロックとして分割するハードＣＶ領域画像としている。
さらに、図５７に示すように、すべてのフレームのＣＶ値を自由に変更し、視点変更画像５０１、５０２、・・・・・５０７とすることが可能である。
この時、画像は二次元にも係わらず、二次元の制約を完全に離れて、あたかもＣＧのように三次元画像としての自由視点を得ることができるのである。
そしてこの意味は、画像圧縮装置としてのみならず、視点変更装置、三次元形状生成装置としての意味を持つことは特記すべきで重要な事実である。
この時、画像は二次元にも係わらず、二次元の制約を完全に離れて、あたかもＣＧのように三次元画像としての自由視点を得ることができるのである。
そしてこの意味は、画像圧縮装置としてのみならず、視点変更装置、三次元形状生成装置としての意味を持つことは特記すべきで重要な事実である。
また、ここでは伝送、受信再生として画像圧縮を説明したが、記録、解凍再生としてもまったく同様に説明できることは明らかである。
ここで具体的応用例として、車両に積載して走行しながら撮影した動画像を元画像とし、座標系として静止座標系一つのみを選択し、移動体信号を破棄することで、動画像から静止座標系のみを選択的に取得することができる。
つまり移動する車両や歩行者を削除し、道路や周のビルや伝習等のみの画像とすることができるのである。産業上このような用途は多く存在している。
ここで具体的応用例として、車両に積載して走行しながら撮影した動画像を元画像とし、座標系として静止座標系一つのみを選択し、移動体信号を破棄することで、動画像から静止座標系のみを選択的に取得することができる。
つまり移動する車両や歩行者を削除し、道路や周のビルや伝習等のみの画像とすることができるのである。産業上このような用途は多く存在している。
以上、本発明の湧きだし点基準ＣＶ領域画像前置装置について、好ましい実施形態を示して説明したが、本発明に係る湧きだし点基準ＣＶ領域画像前置装置及びこれを利用した各装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
本発明は、例えば、自動車に搭載されるカーナビゲーション装置に備える地図や映像を表示・更新するための映像装置として、また、道路や河川の監視システムとして好適に利用することができる。
１ 画像取得装置
２ 画像ＤＢ装置
３ ＣＶ値取得装置
４ ＣＶ画像生成装置
５ ＣＶ画像ＤＢ
６ ＦＰ付加ＣＶ画像生成装置
７ ＦＰ付加ＣＶ画像ＤＢ
８ ハードＣＶ領域画像分割装置
９ ＴＶ演算装置
１０ ハードＣＶ領域画像生成装置
１１ ハードＣＶ領域画像ＤＢ
１２ ソフトＣＶ領域画像分割装置
１３ ＲＶ演算装置
１４ ソフトＣＶ領域画像生成装置
１５ ソフトＣＶ領域画像ＤＢ
１６ 対象物認識装置
１７ ＪＶ演算装置
１８ 対象物ＣＶ領域画像生成装置
１９ 対象物ＣＶ領域画像ＤＢ
２０ 輪郭線ベクトル化装置
３０ ＣＶ領域画像データベース装置
２ 画像ＤＢ装置
３ ＣＶ値取得装置
４ ＣＶ画像生成装置
５ ＣＶ画像ＤＢ
６ ＦＰ付加ＣＶ画像生成装置
７ ＦＰ付加ＣＶ画像ＤＢ
８ ハードＣＶ領域画像分割装置
９ ＴＶ演算装置
１０ ハードＣＶ領域画像生成装置
１１ ハードＣＶ領域画像ＤＢ
１２ ソフトＣＶ領域画像分割装置
１３ ＲＶ演算装置
１４ ソフトＣＶ領域画像生成装置
１５ ソフトＣＶ領域画像ＤＢ
１６ 対象物認識装置
１７ ＪＶ演算装置
１８ 対象物ＣＶ領域画像生成装置
１９ 対象物ＣＶ領域画像ＤＢ
２０ 輪郭線ベクトル化装置
３０ ＣＶ領域画像データベース装置
Claims (25)
- 自由に移動するビデオカメラで撮影した動画像を取得し、記録する画像取得装置と、
前記画像取得装置で撮影された動画像の撮影時のカメラの三次元位置と姿勢を示すカメラベクトル値（ＣＶ値）を全フレームについて取得するＣＶ値取得装置と、
画像の各フレームにＣＶ値を付加した画像を生成するＣＶ画像生成装置と、
前記ＣＶ値取得時に同時に求められる特徴点（ＦＰ）座標を、前記ＣＶ画像生成装置の出力に付加したＦＰ付加ＣＶ画像を生成するＦＰ付加ＣＶ画像生成装置と、
前記ＣＶ画像生成装置の出力、又は前記ＦＰ付加ＣＶ画像生成装置の出力から得られたＣＶ画像を隙間無く幾何学的なハードＣＶ領域画像に分割するハードＣＶ領域画像分割装置と、
前記ハードＣＶ領域画像分割装置によって分割された各ＣＶ領域画像の対応点を隣接画像に亘って追跡し、全ＣＶ領域画像のトラッキングベクトル値（ＴＶ値）を求めるＴＶ演算装置と、
画像の各フレームに前記ＣＶ値と、前記ＴＶ値とを付加したハードＣＶ領域画像を生成するハードＣＶ領域画像生成装置と、
を備えることを特徴とする湧きだし点基準ＣＶ領域画像前置装置。 - 前記ハードＣＶ領域画像生成装置の出力から複数のハードＣＶ領域画像を結合して、又は前記ハードＣＶ領域画像生成装置を介さず直接同種テクスチャーＣＶ領域画像を分離して、画像内容に沿った複数のソフトＣＶ領域画像から画像を再構成するソフトＣＶ領域画像分割装置と、
前記ソフトＣＶ領域画像に分割された画像の各ソフトＣＶ領域画像に関して、前記ソフトＣＶ領域画像をＣＶ値から得られる湧きだし点から吸い込み点に向かって放射される線上に追跡し、基準となる座標系に対する位置及び姿勢、及び運動を演算し、前記ソフトＣＶ領域画像のＣＶ領域画像ベクトル値（ＲＶ値）を求めるＲＶ演算装置と、
画像を構成する全ＣＶ領域画像が前記ＣＶ値と、前記ＲＶ値を付加して持つ画像を生成するソフトＣＶ領域画像生成装置と、
を備えることを特徴とする請求項１記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ソフトＣＶ領域画像生成装置の出力から、複数のソフトＣＶ領域画像を所属する対象物毎に結合して、又は前記ソフトＣＶ領域画像生成装置を介さず直接同種対象物ＣＶ領域画像を分離して、複数のソフトＣＶ領域画像からなる対象物により画像を再構成する対象物認識装置と、
前記対象物ＣＶ領域画像に分割された画像の各対象物ＣＶ領域画像に関して、前記対象物を構成する各ソフトＣＶ領域画像は、対象物としての関係を保ち、対象物として基準となる座標系に対する位置及び姿勢、及び運動を演算し、複数のソフトＣＶ領域画像の複合体としての複数のＣＶ領域画像ベクトル（ＲＶ）を統合し、対象物別にソフトＣＶ領域画像を分類したジョイントベクトル（ＪＶ）を求め、対象物毎の分類データを取得するＪＶ演算装置と、
画像を構成する対象物及び対象物を構成するソフトＣＶ領域画像が、前記ＣＶ値とＲＶ値とＪＶ値とで統合された画像を生成する対象物ＣＶ領域画像生成装置と、
を備えることを特徴とする請求項１又は２記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ画像生成装置からの出力に対し、付加されたＣＶ値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する揺れ止め画像生成部と、
前記ＣＶ値から、隣接する画像に対する湧きだし点と吸い込み点を求める湧きだし点抽出部と、
画像をブロックに分割するブロック分割部と、
前記ブロックを、特徴ブロック、及びそれ以外のブロックに分類するブロック分類部と、
全てのブロックをその配列順番を変えずにゴム紐状に柔軟に結合するゴム紐結合部と、
前記特徴ブロックと前記それ以外のブロックに対してもゴム紐状に結合し、一時的に形成される抜けのない全ブロックによる画像を生成するブロック画像生成部と、からなるハードＣＶ領域画像分割装置と、
前記ハードＣＶ領域画像分割装置の出力のゴム紐状に結合したブロック画像の特徴ブロックを追跡する特徴ブロック追跡部と、
特徴ブロックを、追跡データをそれ以外のブロックにも演算して適切に配分する一次ＴＶ演算部と、
複数フレームから一次ＴＶの誤差を検出する補正ブロック検出部と、
前記誤差の分布するＣＶ領域画像を補正ＣＶ領域画像として、再追跡してＴＶデータを取得する二次ＴＶ演算部と、を有するＴＶ演算装置と、
前記ＴＶ演算装置の出力に関して、ＴＶ値が同一となる隣接ブロックを結合する同一ＴＶ値統合部と、
画像のＣＶ値、及びハードＣＶ領域画像のＴＶ値を画像に付加するＣＶ・ＴＶ付加部と、
ブロック画像を表示目的に適した図法に変換する図法再変換部と、
前記ＣＶ値とＴＶ値とを付加したブロック画像を出力するハードＣＶ領域画像出力部と、を有するハードＣＶ領域画像生成装置と、
を備えることを特徴とする請求項１乃至３のいずれか一項記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ハードＣＶ領域画像生成装置の出力から、特徴ブロックを選択し、独立特徴ブロック、境界線上特徴ブロック、境界線上ブロック、及びそれ以外のＣＶ領域画像内ブロックの３種類に再分類するブロック再分類部と、
境界線上特徴ブロック、境界線上ブロックを結合し、ソフトＣＶ領域画像を生成するソフトＣＶ領域画像生成部と、
輪郭線ベクトル化装置の出力を用いてＣＶ領域画像境界を補正し、ブロック単位で構成されているソフトＣＶ領域画像を、ベクトル線で切り分けてＣＶ領域画像境界線を補強して明確なソフトＣＶ領域画像を生成するＣＶ領域画像境界線補正部と、を有するソフトＣＶ領域画像分割装置と、
前記ソフトＣＶ領域画像分割装置の出力を、再度隣接画像に亘って追跡するＣＶ領域画像トラッキング部と前記隣接画像に亘るＣＶ領域画像の追跡からＲＶ値を求めるＲＶ演算部を有するＲＶ演算装置と、
前記ＲＶ演算装置の出力に対して、ＣＶ値及びＲＶ値をソフトＣＶ領域画像に付加するＣＶ・ＲＶ付加部と、
前記ＣＶ値及びＲＶ値を付加されたソフトＣＶ領域画像を生成して出力するソフトＣＶ領域画像出力部と、を有するソフトＣＶ領域画像生成装置と、
画像の輪郭線を直接求める輪郭線抽出部と、
前記輪郭線を細線化してベクトル化するベクトル細線化部と、
細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する可変閾値輪郭補強部と、
補強されたベクトル輪郭線を生成するベクトル輪郭線生成部と、を有する輪郭線ベクトル化装置と、
を備えることを特徴とする請求項１乃至４のいずれか一項記載の湧きだし点基準ＣＶ領域画像前置装置。 - ソフトＣＶ領域画像の中で、認識対象となる対象物の概略範囲を選択指定するソフトＣＶ領域画像範囲選択部と、
前記範囲を指定したソフトＣＶ領域画像のＲＶ値を選択指定するＲＶ選択部と、
予想される複数の対象物のＲＶ値をデータベース（ＤＢ）化して記憶している部品ＤＢ部と、
前記範囲のソフトＣＶ領域画像のＲＶ値と候補部品のＲＶ値とを比較し、部分一致か不一致かを決定し、不一致の場合は他の部品候補を自動選択し、完全一致の場合はそれを決定部品とし、部分一致した場合は他の候補部品と一致度合いを比較し、最も一致度の高いＲＶ値を持つ部品を決定部品とするＲＶ比較部と、
前記決定部品を認識した対象物として、取得する対象物認識部と、
前記範囲のＣＶ領域画像内において、ＣＶ画像からソフトＣＶ領域画像の形状を形成する要素を検出する要素分解部と、
前記要素を隣接画像に追跡し、対応位置を求める要素追跡部と、
要素のＣＶ値とＲＶ値から三次元形状を求める要素三次元化部と、
要素の部品データベースとなる要素部品ＤＢ部と、
画像から検出した要素と部品要素の形状を比較して一致を求める要素比較部と、
一致した部品要素を画像から検出した要素に置換する対象物要素認識部と、を有する対象物認識装置と、
前記対象物認識装置の出力から、対象物認識されたＣＶ領域画像を対象物単位で再結合するＣＶ領域画像再結合部と、
それぞれの対象物毎にソフトＣＶ領域画像の幾何学的三次元結合状況を表すＪＶ値を求めるＪＶ演算部と、を有するＪＶ演算装置と、
前記ＪＶ演算装置で求められた対象物単位のＪＶ値は、複数の対象物がそれぞれ区別されて配置されるように、全ソフトＣＶ領域画像にＪＶ値を付加するＪＶ付加部と、
対象物認識が一部又は全て済ませた対象物認識ＣＶ領域画像を生成する対象物ＣＶ領域画像生成部と、を有する対象物分離画像生成装置と、
を備えることを特徴とする請求項１乃至５のいずれか一項記載の湧きだし点基準ＣＶ領域画像前置装置。 - 湧きだし点基準ＣＶ領域画像前置装置からの出力、又は前記湧きだし点基準ＣＶ領域画像前置装置からの出力と同等の出力をする他の機器からの出力から、ＣＶ領域画像とともにベクトルデータ（ＶＤ）を分離して取得するＣＶ領域画像・ＶＤ取得部と、
画像の表示方法を指定する表示指定部と、
ＶＤを基にして、ＣＶ領域画像を再結合して再結合画像を生成するＣＶ領域画像再結合部と、
前記再結合画像を各フレームに配分して、各フレームに対応した画像を生成する画像フレーム生成部と、
前記画像フレームを表示する表示部と、
を有するＣＶ領域画像表示装置を備えることを特徴とする請求項１乃至６のいずれか一項記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記湧きだし点基準ＣＶ領域画像前置装置から出力される各ＣＶ領域画像であるハードＣＶ領域画像出力、ソフトＣＶ領域画像出力、及び対象物ＣＶ領域画像出力の中の全ての画像出力、又は前記３出力の中間段階の画像出力を、各ベクトルデータ（ＶＤ）値とともに取得するＣＶ領域画像・ＶＤ取得部と、
前記ＣＶ領域画像・ＶＤ取得部で取得したＶＤ値の成分であるＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全部又は一部を、ＣＶ領域画像単位及び画像フレーム単位で重複するデータを近似化して単純化し圧縮する重複データ圧縮部と、
前記圧縮データによる圧縮画像データとの対応を保持して、各ＣＶ領域画像をＣＶ領域画像圧縮して記録するＣＶ領域画像圧縮記録部と、
前記各ＣＶ領域画像内に、画像及びＣＶ領域画像を検索して指定する検索指定部と、
前記検索部で検索して選択した画像及びＣＶ領域画像を、前記ＣＶ領域画像圧縮記録部に記録された全画像データの中から呼び出し、解凍し、前記重複データ整理部で再構成したＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全部又は一部を付加した複数種類のＣＶ領域画像が混在するＣＶ領域画像を出力する解凍・出力部と、
を有するＣＶ領域画像データベース装置を備える請求項１乃至６のいずれか一項記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置からの出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
視点変更地点又は視点変更経路を、ＣＶ値で指定する視点変更指定部と、
前記ＣＶ値で指定された視点変更ＣＶ値から、視点変更時の他のＶＤを演算で求める視点変更演算部と、
視点変更演算により取得されたＶＤを各画像、及び各ＣＶ領域画像に対応をつける変更ＶＤ取得部と、
対応のついた前記各画像、及び各ＣＶ領域画像の画像を再構成し生成し、出力する視点変更画像生成部と、
を有する視点変更装置を備えることを特徴とする請求項８記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
前記ＣＶ領域画像に合成するべきＣＧを入力するＣＧ入力部と、
前記ＣＧのＶＤを演算するＶＤ演算部と、
前記ＣＶ領域画像の視点座標とＣＧの視点座標を合致させて座標を統合する視点座標統合部と、
ＣＶ領域画像のＶＤと前記ＣＧのＶＤを比較演算して、表示の前後関係を決定する前後関係形成部と、
視点が合致し、前後関係が決定された、前記ＣＶ領域画像と前記ＣＧとを合成して、同一座標系で表現するＣＶ領域画像ＣＧ合成部と、
を有するＣＶ領域画像ＣＧ合成装置を備えることを特徴とする請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
三次元形状生成を行う範囲を指定する範囲指定部と、
ＣＶ領域画像に付加されたＶＤ値から三次元ポリゴンに変換演算するポリゴン変換演算部と、
前記ポリゴン変換されたデータから三次元形状を生成する三次元形状生成部と、
を有する三次元形状生成装置を備えることを特徴とする請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
画角拡大画像を観察する時の画角と視点方向を指定する拡大画角指定部と、
画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する仮想観察視点指定部と、
前記拡大画角と、前記視点方向と、前記視点移動位置を指定された時間軸上に並ぶ複数フレームのＣＶ領域画像を、指定の視点位置に視点変更演算する時間軸画像視点変更部と、
前記視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのＣＶ領域画像を結合する複数画像結合部と、
時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのＣＶ領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける繰り返し生成部と、
を有する画角拡大装置を備えることを特徴とする請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
ＶＤを指定することにより、ロックオンすべき対象物の座標を指定する対象物座標指定部と、
ロックオン表示のための視点移動経路と範囲を指定する視点移動指定部と、
指定された視点移動経路に沿って、ＣＶ領域画像の視点変更を求める視点及び視点方向変換部と、
変換されたＣＶ領域画像を指定経路に従って表示するロックオン表示部と、
を有するロックオン表示装置を備えることを特徴とする請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
ＶＤから座標系を分離し、座標系毎のＣＶ領域画像とＶＤとに分類する座標系別ＶＤ処理部と、
各座標系のＶＤを単純な関数に近似して単純化し、又は前記近似したＶＤと前記ＣＶ領域画像のＶＤとの関係を示す関数を生成する各座標系ＶＤ近似処理部と、
単純な関数に近似されたＶＤの通信を行う各座標系分離通信装置、又は単純な関数に近似されたＶＤを記録する各座標系分離画像記録部と、
各座標系単位で画像を生成する各画像系別画像生成部と、
各座標系を再度結合・合成して表示する各座標系合成画像生成部と、
を有する座標系分離装置を備えることを特徴とした請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 更新する画像情報を含む画像を、前記湧きだし点基準ＣＶ領域画像前置装置から出力して、ＣＶ領域画像とそのＶＤを取得する更新ＣＶ領域画像・ＶＤ取得部と、
更新される旧画像情報を含む画像を、前記湧きだし点基準ＣＶ領域画像前置装置から出力して、ＣＶ領域画像とそのＶＤを取得する旧ＣＶ領域画像・ＶＤ取得部と、
更新範囲を指定する更新範囲指定部と、
ＶＤ値を合致させることで、更新画像の視点を旧画像の視点に変更する更新領域視点変更部と、
旧画像側の更新部分を削除する更新範囲削除部と、
更新部分のＣＶ領域画像を切り取って、旧ＣＶ領域画像に貼り付けて更新ＣＶ領域画像を生成する更新部分ＣＶ領域画像生成部と、
領域結合して更新画像を生成する更新画像生成部と、
を有する画像部分更新装置を備えることを特徴とした請求項１乃至６のいずれか一項記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
計測機器により鉛直データを取得する鉛直補正部と、
ＣＶ領域画像の複数ポイントで絶対座標を取得する高精度位置決め部と、
前記計測機器で取得した高精度の鉛直データにより、取得したＶＤ値を補正する補正ＶＤ値演算部と、
前記補正ＶＤ演算部で補正されたＶＤ値と対応するＣＶ領域画像により、オルソ化対象を三次元化する三次元面生成部と、
三次元化されたオルソ化対象のＣＶ領域画像をオルソ面に投影するオルソ面投影部と、
を有するオルソ画像生成装置を備えることを特徴とした請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
再生表示しようとする動画像を取得したカメラ移動経路、又は仮想カメラ移動経路をＣＶ値で指定する仮想カメラ移動経路指定部と、
前記動画像の各フレームを構成する各ＣＶ領域画像に関して、最も解像度の高いＣＶ領域画像、又は最もカメラの近くで取得しているＣＶ領域画像、又は最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する全範囲探索選択部と、
前記全範囲探索選択部で選択したＣＶ領域画像を、カメラ経路を意味する前記指定ＣＶ値に前記選択したそれぞれのＣＶ領域画像を視点変更する高解像度視点変更部と、
視点変更されたＣＶ領域画像から各フレーム画像を生成する高解像度化画像結合部と、
視点変更を可能とするＶＤ値を、取得したＣＶ領域画像の状態で記録保存する高解像度化画像データベースと、
高解像度化された動画映像を表示する表示部と、
を有する画像高解像度化装置を備えることを特徴とした請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置から出力されるＣＶ領域画像を、元となる動画像を構成する複数の座標系に分離する座標系分離装置と、
前記複数の座標系の中で、目的の運動する対象物のＣＶ領域画像をそのＶＤと共に選択し、抽出する運動領域抽出部と、
前記抽出された運動領域のＶＤから、対象となる運動領域の運動を６自由度で表す運動領域ＶＤ解析部と、
前記運動領域を指定の座標系に変換して示す指定座標表示部と、
を有する運動抽出・解析装置を備えることを特徴とした請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
検索すべきＣＶ領域画像、又はその一部、又はそれを内部に含むＣＶ領域画像を検索すべき部品として指定する検索ＣＶ領域画像部品指定部と、
基準座標系における前記部品のＶＤを演算で求める検索ＣＶ領域画像部品ＶＤ演算部と、
検索されるＣＶ領域画像の基準座標系におけるＶＤと、検索部品のＣＶ領域画像の基準座標系におけるＶＤとを比較し、一致度を求める基準座標ＶＤ比較部と、
ＣＶ領域画像全体の中の一致度の高いＣＶ領域画像を検索結果として出力する検索ＣＶ領域画像出力部と、
を有するＣＶ領域画像検索装置を備えることを特徴とした請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
目的フレーム画像に属するＣＶ領域画像と、それに隣接するフレーム画像に属するＣＶ領域画像とで、対応する複数のＣＶ領域画像を選択する最適ＣＶ領域画像選択部と、
前記隣接するフレーム画像に属するＣＶ領域画像を、前記目的フレーム画像のＣＶ値に視点変更する同一視点変更部と、
前記目的フレームの視点に統一して変更したＣＶ領域画像を、重ね合わせて加算平均する領域加算平均演算部と、
前記加算平均によりノイズが減少した領域を目的フレームに属するＣＶ領域画像として取得する平均ＣＶ領域画像生成部と、
を有するノイズリダクション装置を備えることを特徴とした請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
認識対象となる部分をＣＶ領域画像内に指定する認識ＣＶ領域画像指定部と、
認識候補となる複数のＣＶ領域画像からなる部品をデータベースとして記録する部品データベース部と、
認識が完了するまで、前記部品データベース部から部品を送り出す部品送り出し部と、
比較される部品のＶＤを演算で求める部品ＶＤ演算部と、
前記認識対象となるＣＶ領域画像と、前記部品を基準座標系のＶＤ値で比較する基準座標ＶＤ比較部と、
前記部品送り出し部から送られてくる複数の部品の中で、最も一致度の高い部品を選択して、特定する認識画像出力部と、
を有する対象物認識装置を備えることを特徴とした請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶ領域画像データベース装置又は視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
取得したＣＶ領域画像から、三次元地図として利用可能な複数のＣＶ領域画像部分を自動選択する地図利用選択部と、
前記ＣＶ領域画像・ＶＤ取得部で取得したＣＶ領域画像を検索し、前記三次元地図として利用可能なＣＶ領域画像部分を指定して、前記地図利用選択部に送る内部検索指定部と、
前記地図利用選択部で選択された複数のＣＶ領域画像部分を、二次元特徴点、三次元特徴領域、特徴対象物等に分類し、又はＶＤ値を用いて変換して、地図として生成する地図生成部と、
前記地図生成部で生成された地図と比較・表示するためのリアルタイム画像をカメラから取得するリアルタイム画像取得部と、
取得した前記リアルタイム画像を、概略ＣＶ演算、ＧＰＳを用いた概略位置合わせ、画像明るさ調整し、前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施すリアルタイム画像処理部と、
前記二次元特徴点、三次元特徴領域、又は特徴対象物を前記リアルタイム画像の中に検索指定する外部検索指定部と、
前記検索指定により、前記二次元特徴点、三次元特徴領域、又は特徴対象物を、前記リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する外部検索検出部と、
前記二次元特徴点、三次元特徴領域、又は特徴対象物との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の前記二次元特徴点、三次元特徴領域、又は特徴対象物から、リアルタイム画像のＣＶ値を演算で求めるリアルタイム画像ＣＶ値取得部と、
前記リアルタイム画像ＣＶ値取得部で取得した前記リアルタイム画像のＣＶ値から、リアルタイム画像を取得したカメラの位置と姿勢を絶対座標で求めて車両位置を決定する車両位置決め部と、
前記特徴対象物が持っている車両運行に関係する属性を前記リアルタイム画像内に表示するリアルタイム画像内属性表示部と、
前記車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、又は特徴対象物を、次回に利用する三次元地図として記録す三次元地図データベース部と、
を有する位置決め装置を備えることを特徴とする請求項８又は９記載の湧きだし点基準ＣＶ領域画像前置装置。 - 複合人工知能装置を構成する複数の人工知能装置を備える場合に、
各人工知能装置が、
自ら取得したカメラ映像、及び認識結果を記録し、認識結果を記録する前記湧きだし点基準ＣＶ領域画像前置装置を備えるとともに、
個々の人工知能装置から他の人工知能装置で、相互に情報をやり取りするための送信装置、及び受信装置と、
他の人工知能から検索の問い合わせがあれば、前記湧きだし点基準ＣＶ領域画像前置装置のＣＶ領域画像内に検索して、前記送信機で送り返すＣＶ領域画像検索装置と、
他の人工装置から対象物認識の依頼があれば、前記湧きだし点基準ＣＶ領域画像前置装置のＣＶ領域画像内で対象物認識して、前記送信機で送り返すＣＶ領域画像認識装置と、
を有する複合人工知能記憶装置を備えることを特徴とした請求項１乃至６のいずれか一項記載の湧きだし点基準ＣＶ領域画像前置装置。 - 管理しようとする現実の管理対象物及びその周辺を撮影した画像の、前記ＣＶ領域画像データベース装置の出力を取り入れ一時記録したＣＶ領域画像記録部と、
画像取得時のカメラ位置近傍への視点変更画像を生成する前記視点変更装置と、
前記ＣＶ領域画像を表示し、動画として画像フレームが移動しても、画像とＣＶタグの三次元的位置関係を保持したまま、ＣＶタグを表示し、及びＣＶタグを開封しその内容を表示できるようにしたＣＶタグ表示装置と、
前記ＣＶタグ表示装置で表示された前記ＣＶ領域画像の中の前記管理対象物の位置に対して、ＣＶ領域画像の中にＣＶタグを直接貼り付け、又はＣＶ領域画像中の前記管理対象物の三次元的位置を確認できるように特定したＣＶタグをＣＶ領域画像の中に三次元的に配置するＣＶタグ入力装置と、
ＣＶタグと前記管理対象物とを関連づける諸データを格納するＣＶタグデータベース装置と、
前記ＣＶタグ表示装置、及び前記検索装置でＣＶタグを選択し、又は表示されたＣＶ領域画像中の前記管理対象物をＣＶ領域画像の中にタッチスクリーンにタッチし、又はマウス等でＣＶタグをクリックしてＣＶタグを選択することで、前記ＣＶタグデータベース装置からＣＶタグに対応する管理対象物のデータを読み出して管理するＣＶタグ対象物管理装置と、
を有するＣＶタグ入出力検索装置を備えることを特徴とした請求項８記載の湧きだし点基準ＣＶ領域画像前置装置。 - 前記ＣＶタグ入力装置と、前記ＣＶタグデータベース装置と、前記ＣＶタグ対象物管理装置とを搭載するとともに、ビデオカメラを積載してリアルタイム画像を取得し、当該リアルタイム画像にＣＶ演算を施してリアルタイムＣＶ領域画像を取得するリアルタイムＣＶ領域画像取得装置を備え、管理地域及び管理対象物周辺を移動する積載移動手段と、
文字、座標、属性によりＣＶ領域画像を検索し、ＣＶ領域画像中に管理対象物を示すＣＶタグそのもの、又はＣＶ領域画像中の管理対象物の画像そのものを、視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示するＣＶタグ入出力検索装置と、
前記ＣＶタグ入出力検索装置の外側にあって、記録媒体又は通信により、当該ＣＶタグ入出力検索装置内側の管理地域及びその周辺のＣＶ領域画像地図を、ＣＶ領域画像記録部に一時記憶して保持させる外部ＣＶ領域画像地図データベース部と、前記ＣＶタグ入出力検索装置の外側にあって、記録媒体又は通信により、当該ＣＶタグ入出力検索装置内側の管理地域及びその周辺のＣＶタグとその属性情報を前記ＣＶタグデータベース装置に一時記憶して保持させる、外部ＣＶタグデータベース部と、を有する外部データベース装置と、
前記積載移動手段の絶対座標を取得するＧＰＳ位置決め装置と、取得した前記リアルタイムＣＶ領域画像と前記ＣＶ領域画像地図から、位置あわせをして取得した新旧画像更新装置とを保持する移動体位置決め手段と、
前記移動体位置決め手段と時刻、及び入力された走行目的から、車両の現在時刻と現在位置と現在状況に関係している管理対象物のＣＶタグを選択的に前記ＣＶタグ表示装置に自動表示するＣＶタグ自動表示装置と、
を備えることを特徴とした請求項２４記載のＣＶタグ入出力検索装置を備えた湧きだし点基準ＣＶ領域画像前置装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007136748A JP4926822B2 (ja) | 2006-05-24 | 2007-05-23 | 湧きだし点基準ｃｖ領域画像前置装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006144228 | 2006-05-24 | ||
| JP2006144228 | 2006-05-24 | ||
| JP2007136748A JP4926822B2 (ja) | 2006-05-24 | 2007-05-23 | 湧きだし点基準ｃｖ領域画像前置装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008005478A true JP2008005478A (ja) | 2008-01-10 |
| JP4926822B2 JP4926822B2 (ja) | 2012-05-09 |
Family
ID=39009444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007136748A Active JP4926822B2 (ja) | 2006-05-24 | 2007-05-23 | 湧きだし点基準ｃｖ領域画像前置装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4926822B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011040239A1 (ja) * | 2009-10-02 | 2011-04-07 | 株式会社 トプコン | 広角撮像装置及び測定システム |
| US8363103B2 (en) | 2010-04-08 | 2013-01-29 | Panasonic Corporation | Drive assist display apparatus |
| JP2017005339A (ja) * | 2015-06-05 | 2017-01-05 | リコーイメージング株式会社 | 動画像作成システム、動画像作成方法及び動画像作成プログラム |
| JP2018520430A (ja) * | 2015-08-07 | 2018-07-26 | グーグル エルエルシー | 視覚特徴を使用した画像の自動結合 |
| CN111161393A (zh) * | 2019-12-31 | 2020-05-15 | 威创集团股份有限公司 | 一种基于3d地图的实时光效动态展示方法及系统 |
| CN111751824A (zh) * | 2020-06-24 | 2020-10-09 | 杭州海康汽车软件有限公司 | 车辆周围的障碍物检测方法、装置及设备 |
| JP2021141608A (ja) * | 2013-05-16 | 2021-09-16 | ソニーグループ株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0348977A (ja) * | 1989-03-31 | 1991-03-01 | Honeywell Inc | 移動映像装置の映像から自己運動を算出する装置およびその方法 |
| JPH03113305A (ja) * | 1989-09-28 | 1991-05-14 | Nippon Telegr & Teleph Corp <Ntt> | 三次元座標計測装置 |
| JPH10116359A (ja) * | 1996-10-09 | 1998-05-06 | Sony Corp | カメラパラメータ演算装置及び画像合成装置 |
| JP2000268179A (ja) * | 1999-01-14 | 2000-09-29 | Oojisu Soken:Kk | 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体 |
| JP2000348186A (ja) * | 1999-06-03 | 2000-12-15 | Fujitsu Ltd | 物体追跡装置及び方法 |
| JP2005295495A (ja) * | 2003-10-02 | 2005-10-20 | Kazuo Iwane | カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置 |
-
2007
- 2007-05-23 JP JP2007136748A patent/JP4926822B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0348977A (ja) * | 1989-03-31 | 1991-03-01 | Honeywell Inc | 移動映像装置の映像から自己運動を算出する装置およびその方法 |
| JPH03113305A (ja) * | 1989-09-28 | 1991-05-14 | Nippon Telegr & Teleph Corp <Ntt> | 三次元座標計測装置 |
| JPH10116359A (ja) * | 1996-10-09 | 1998-05-06 | Sony Corp | カメラパラメータ演算装置及び画像合成装置 |
| JP2000268179A (ja) * | 1999-01-14 | 2000-09-29 | Oojisu Soken:Kk | 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体 |
| JP2000348186A (ja) * | 1999-06-03 | 2000-12-15 | Fujitsu Ltd | 物体追跡装置及び方法 |
| JP2005295495A (ja) * | 2003-10-02 | 2005-10-20 | Kazuo Iwane | カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9733080B2 (en) | 2009-10-02 | 2017-08-15 | Kabushiki Kaisha Topcon | Wide-angle image pickup unit and measuring device |
| JP2011082598A (ja) * | 2009-10-02 | 2011-04-21 | Topcon Corp | 広角撮像装置及び測定システム |
| CN102511162A (zh) * | 2009-10-02 | 2012-06-20 | 株式会社拓普康 | 广角摄像装置及测定系统 |
| WO2011040239A1 (ja) * | 2009-10-02 | 2011-04-07 | 株式会社 トプコン | 広角撮像装置及び測定システム |
| US8363103B2 (en) | 2010-04-08 | 2013-01-29 | Panasonic Corporation | Drive assist display apparatus |
| JP2021141608A (ja) * | 2013-05-16 | 2021-09-16 | ソニーグループ株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP7115593B2 (ja) | 2013-05-16 | 2022-08-09 | ソニーグループ株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2017005339A (ja) * | 2015-06-05 | 2017-01-05 | リコーイメージング株式会社 | 動画像作成システム、動画像作成方法及び動画像作成プログラム |
| JP2018520430A (ja) * | 2015-08-07 | 2018-07-26 | グーグル エルエルシー | 視覚特徴を使用した画像の自動結合 |
| CN111161393A (zh) * | 2019-12-31 | 2020-05-15 | 威创集团股份有限公司 | 一种基于3d地图的实时光效动态展示方法及系统 |
| CN111161393B (zh) * | 2019-12-31 | 2023-10-10 | 威创集团股份有限公司 | 一种基于3d地图的实时光效动态展示方法及系统 |
| CN111751824A (zh) * | 2020-06-24 | 2020-10-09 | 杭州海康汽车软件有限公司 | 车辆周围的障碍物检测方法、装置及设备 |
| CN111751824B (zh) * | 2020-06-24 | 2023-08-04 | 杭州海康汽车软件有限公司 | 车辆周围的障碍物检测方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4926822B2 (ja) | 2012-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7485749B2 (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
| Senlet et al. | A framework for global vehicle localization using stereo images and satellite and road maps | |
| US7571051B1 (en) | Cognitive change detection system | |
| US20200401617A1 (en) | Visual positioning system | |
| EP2208021B1 (en) | Method of and arrangement for mapping range sensor data on image sensor data | |
| US10848732B2 (en) | Free viewpoint movement display device | |
| US9989969B2 (en) | Visual localization within LIDAR maps | |
| JP4767578B2 (ja) | 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置 | |
| JP4926822B2 (ja) | 湧きだし点基準ｃｖ領域画像前置装置 | |
| JP4185052B2 (ja) | 拡張仮想環境 | |
| JP4980606B2 (ja) | 移動型自動監視装置 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| JP2009199572A (ja) | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 | |
| US20210407186A1 (en) | Multi-Collect Fusion | |
| JP5090797B2 (ja) | Ｃｖ値基準一括追跡装置、このｃｖ値基準一括追跡装置を用いたｃｖ領域画像前置装置 | |
| JP4624000B2 (ja) | 複合人工知能装置 | |
| CN112348887A (zh) | 终端位姿确定方法以及相关装置 | |
| JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
| JP2005122315A (ja) | ３ｄｃｇ合成装置 | |
| Murray et al. | Mobile mapping system for the automated detection and analysis of road delineation | |
| JP4773794B2 (ja) | 新旧映像座標統合装置 | |
| CN110223223A (zh) | 街道扫描方法、装置及扫描仪 | |
| US20210404834A1 (en) | Localization Based on Multi-Collect Fusion | |
| Ahmad et al. | Quicksketch: Building 3d representations in unknown environments using crowdsourcing | |
| CN112700546A (zh) | 一种室外大规模三维地图的构建系统与方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090616 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090824 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20091201 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100506 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4926822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |