JP2008022545A

JP2008022545A - Ｃｖ値基準一括追跡装置、このｃｖ値基準一括追跡装置を用いたｃｖ領域画像前置装置

Info

Publication number: JP2008022545A
Application number: JP2007158288A
Authority: JP
Inventors: Kazuo Iwane; 和郎岩根
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-06-15
Filing date: 2007-06-15
Publication date: 2008-01-31
Anticipated expiration: 2027-06-15
Also published as: JP5090797B2

Abstract

【課題】動画像を、ＣＶ値を基準として画像分割し一括追跡してＣＶ領域画像を生成して、当該画像をＣＧのように扱えるようにする。
【解決手段】動画像を取得する画像取得装置１と、画像中の特徴点からカメラの三次元位置と姿勢を示すＣＶ値を求めるＣＶ演算装置３と、各フレームにＣＶ値を付加した画像を生成するＣＶ画像生成装置４と、ＣＶ演算時に同時に副次的に求まるＦＰ座標を付加したＦＰ付加ＣＶ画像を生成するＦＰ付加ＣＶ画生成装置６と、ＣＶ画像を隙間無く幾何学的なハードＣＶ領域画像に分割するハードＣＶ領域画像分割装置８と、分割された各ＣＶ領域画像の対応点を隣接画像に亘って追跡してＴＶ値を求めるＴＶ演算装置９と、各フレームにＣＶ値とＴＶ値を付加したハードＣＶ領域画像を生成するハードＣＶ領域画像生成装置１６を備える。
【選択図】図２３

Description

本発明は、本願発明者の提案による特開２００５−２９５４９５号公報に示されたカメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置、画像安定化装置、位置姿勢安定化装置、目的対象物ロックオン装置及び実写対象物属性呼び出し装置、特許公開２００５−２９５４９５号におけるＣＶ画像の考えを発展させ、さらに画像処理に適した、加工をより容易にした画像処理前置装置に関する。

これまで、動画像の全フレームに亘って、その画像を取得したカメラの三次元位置と姿勢を演算で検出することができるＣＶ（カメラベクトル）画像生成装置が本願発明者により提案され、実用化されている（特許文献１参照）。
このＣＶ画像生成装置では、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、当該動画映像のカメラ位置と回転角を示すＣＶ（カメラベクトル）値データを高精度に求めることができるものであり、そこから発展的に生み出される様々な技術が実用化されている。
なお、ＣＶ値を取得する手段として、カメラの位置と姿勢を検出するには本願発明者により実用化されている方法以外に、本来的に位置と姿勢を計測するＩＭＵ装置を用いることも原理的には可能であるが、動画像全フレームとの完全な同期が必要であり、現在の所は実用化されてはいない。
このＣＶ画像生成装置で生成されるＣＶ領域画像と比較されるものとしては、単に領域に分割しているという点で、MPEG１、MPEG２、MPEG４等の技術があるが、いずれもＣＶ値やそれに類する技術は使用されていない。

特開２００５−２９５４９５号公報

ところで、動画像間の対応点を求めるためには、特徴点抽出を行い、それを動画の各フレームに追跡（トラッキング）することがしばしば行われる。
画像内に特徴点を求める手法は複数存在し、それらの手法により特徴点、又は小領域画像からなる小領域画像特徴点を、隣接する複数フレームに亘って追跡（トラッキング）すると小領域画像特徴点の対応点が求まる。

ところが、ここでの問題点の一つは、画像内の多くの特徴点を追跡することで演算時間が掛かることである。特徴点を増加させて精度を上げようとすると演算時間の壁によりリアルタイム処理ができなくなる。
また、他の問題点として、特徴点は画像の一部図形であり、追跡するブロックは特徴点を含む面であるために、結果は面としては追跡されても、図形としては必ずしも正しく追跡されていないという点がある。これは追跡フレームが増加するについて顕著となる。
なお、このような問題に対して、図形そのもので追跡しようとすると、対応点が無数に出てきて、どれが追跡点かの判別ができなくなる。
このため、特徴点は小領域画像面で追跡することが必要になる。

上述した本願発明者により提案されたＣＶ演算法（特許文献１）やそれ以外の方法においても、追跡精度を上げることがそのまま計測精度の向上となるので、高精度の追跡方法が常に求められている。
また、追跡フレーム画像が増加すれば、三角測量の原理で底辺が長くなり、精度が高まるはずであるが、実際にはフレーム画像が増加することで、小領域画像を追跡することによる追跡誤差が発生して精度が低下するという二律背反的な問題を抱えている。

そこで、本願発明者は、以上のような追跡点誤差の問題を解決するために、先ず関数特徴点を求め、次にＣＶ値を用いて追跡点を小領域画像面で予想し、その予想小領域画像内に、再度関数特徴点を求めることで、関数特徴点追跡を正確に行う技術を生み出した。
すなわち、本発明は、上述した従来の技術が有する課題を解決するために提案されたものであり、画像をＣＶ値基準として、ＣＶ領域画像に分割し、各ＣＶ領域画像にＣＶ値のみならず、ＴＶ演算によりＴＶ値を、ＲＶ演算によりＲＶ値を、ＪＶ演算でＪＶ値を持たせることで、画像を自由に扱えるようにしたＣＶ領域画像前置装置の提供を目的とする。

高精度のＣＶ値を取得することで、様々な画像処理が可能となり、本願発明に示すような様々な装置が実現できることになる。そこで、本発明では、動画像から直接高精度なＣＶ値を求める手段として、本願発明者により既に実用化されているＣＶ演算装置の精度を向上させることで、良い精度の高い画像処理装置が実現できることになる。ここでは、既に実用化されているＣＶ演算装置の高精度化を実現したものである。
また、動画像から直接高精度なＣＶ値を取得するためには、精度の高い特徴点トラッキング（特徴点追跡）が必要になる。そこで、本発明では、動画像についてＣＶ演算を施し、各種演算に必要な複数の関数特徴点を求め、次に既知のＣＶ値から追跡開始フレームにおいて各関数特徴点の追跡予想位置を求める。
追跡予想位置は関数特徴点周囲の小領域画像であり、そのサイズは自由に決定できる。十分小さい小領域画像を選択すれば、その中には関数特徴点は一つしか存在しないと仮定できる。
そこで、隣接する複数の小領域画像に対してスタート時のフレームの関数特徴点と同じと関数特徴点を探索すると、通常は一個の関数特徴点が検出できる。このような操作が数十から数百の関数特徴点に関して検出されるので、もし小領域画像内に複数の関数特徴点が存在した場合には、その小領域における演算を破棄しても何ら問題は生じないことは明らかである。

このような作業により、画像フレーム追跡が多くのフレームに亘っても、誤差が生じることはなくなったことになる。そのことで追跡精度が飛躍的に高まり、ＣＶ再演算を行うことでＣＶ演算精度もさらに高まることになる。
また、これまでのＣＶ領域画像においては、ＴＶ値（追跡データ）を求める場合、揺れ止め処理が必要であったが、本発明によれば揺れ止め処理が必要ないという点でも優れている。ただし、揺れ止め処理を併用すればさらに効率的な演算が可能となる。

また、動画像から直接ＣＶ値を求めるには、特徴点追跡装置とそのＴＶ値を用いてＣＶ演算を行うＣＶ演算装置が必要であり、そのためには特徴点のＴＶ値（追跡データ）を求めることが必要である。本発明のＣＶ値基準一括追跡装置は、このＴＶ値（追跡データ）を高精度に求めて、高精度のＣＶ演算装置を構成するようにしたものである。
なお、本発明に係るＣＶ値基準一括追跡の技術によらないＣＶ演算装置であっても、精度の問題はあるが、特徴点のＴＶ値（追跡データ）を求めることは可能である。従って、本発明の請求項７以下に示すＣＶ領域画像前置装置及びこれを用いた各種装置においては、本発明のＣＶ値基準一括追跡装置を用いることなく特徴点のＴＶ値（追跡データ）を求めることで実現することができる。
さらに、画像から直接ＣＶ値を取得する特徴点追跡装置とＣＶ演算装置によらなくても、原理的にはＧＰＳとジャイロとの組み合わせやＩＭＵ装置等の従来技術でＣＶ値を求めることも可能であり、そのようにして求めたＣＶ値を用いて新たにＴＶ値（追跡データ）を取得することも可能であり、そのようなＴＶ値（追跡データ）によって、本発明の請求項７以下の全ての装置を実現することもできる。

また、これまでのＣＶ画像データベースは、道路管理用システムとして既に実用化されているが、データ量が莫大となり、製造工程のみならず、システムとしても多量のデータを管理する必要がる。本発明においては、ＣＶ画像のデータ量を可能な限り小さくすることができ、データベース管理の容易化や記憶資源の削減・有効活用を図ることができるようになる。
また、従来のＣＶ画像はＣＧと比較して長所が多いが、視点変更が自由にできないという欠点もあった。本発明においては、これまでのＣＶ画像をさらに発展させ、ＣＧと同じように切り貼り、パーツ交換、視点変更なども自由に行えるＣＶ画像を提供することができる。

なお、上述したように、ＣＶ領域画像と比較されるMPEG１、MPEG２、MPEG４は、いずれも、画像を二次元として扱っている点で、画像を三次元として扱う本発明とは根本的に異なるが、処理の過程で領域に分割されている点でのみ共通点がある。MPEG１、MPEG２、MPEG４はいずれも、動画像を二次元として扱っているので、冗長が多く圧縮には自ずと限界があるだけでなく、二次元である以上本発明ともＣＧとも異なり、決して視点移動はできない。

具体的には、本発明のＣＶ値基準一括追跡装置は、請求項１に記載するように、動画像にＣＶ演算を施す等により、画像の各フレームにＣＶ値を付加したＣＶ画像を取得するＣＶ画像取得部と、追跡を始める画像フレームを定め、当該画像フレームに追跡すべき複数の特徴点を選択して指定する初期画像特徴点選択部と、当該複数特徴点を隣接フレームに追跡して、当該複数特徴点の各追跡データを取得する隣接フレーム追跡部と、前記各追跡データとＣＶ値とから取得される前記複数特徴点の概略三次元座標とから、当該複数特徴点に隣接する前記複数フレームに亘る概略追跡位置を前記複数フレームに関して一括して予想する特徴点追跡予想部と、前記予想により制限された前記複数フレームの中の前記概略追跡位置付近において、前記特徴点との対応位置を前記複数フレームに亘り、一括して詳細に検出する対応位置一括決定部とを備える構成としてある。

また、本発明のＣＶ値基準一括追跡装置は、請求項２に記載するように、前記初期画像特徴点選択部において、ＣＶ演算により、前記ＣＶ画像を取得する際に用いた特徴点を選択して指定する構成とすることができる。

また、本発明のＣＶ値基準一括追跡装置は、請求項３に記載するように、前記初期画像特徴点選択部において、初期画像を定め、再度検出した特徴点を取得して、指定する構成とすることができる。

また、本発明のＣＶ値基準一括追跡装置は、請求項４に記載するように、前記初期画像特徴点選択部において、関数特徴点を検出し、前記特徴点追跡予想部において、選択指定した関数特徴点の時系列上の多数フレームに亘り、ＣＶ値を用いて追跡予想位置を小面積で予想し、前記特徴点追跡位置検出部において、前記小面積内に、新たに関数特徴点を抽出し、当該関数特徴点と前記選択指定した関数特徴点とを、同一特徴点として一括して対応させ、対応位置一括決定部において、一括して対応関係を決定し、追跡データを求める構成とすることができる。

また、本発明の一括追跡装置は、請求項５に記載するように、動画像にＣＶ演算を施す等により、画像の各フレームにＣＶ値を付加したＣＶ画像を取得するＣＶ画像取得部と、前記ＣＶ画像取得部からの出力に対し、付加されたＣＶ値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する揺れ止め画像生成部と、前記ＣＶ値から、隣接する画像に対する湧きだし点と吸い込み点を求める湧きだし点抽出部と、前記ＣＶ画像をブロック画像に分割するブロック分割部と、追跡を始める画像フレームを定め、当該画像フレームの画像ブロック内に追跡すべき一乃至複数の特徴点を選択して指定する初期画像特徴点選択部と、湧きだし点基準を導入し、当該複数特徴点を湧きだし点から予想される経路に沿って隣接フレームに追跡して、当該特徴点の各追跡データを取得する隣接フレーム追跡部と、前記各追跡データとＣＶ値とから取得される前記複数特徴点の三次元座標とから、当該複数特徴点に隣接する前記複数フレームに亘る概略追跡位置を前記複数フレームに関して、湧きだし点から吸い込み点に向かって予測されるライン上に、一括して予想する特徴点追跡予想部と、前記予想により制限された前記複数フレームの中の前記概略追跡位置付近において、前記特徴点との対応位置を、関連する前記複数フレームに亘り一括して検出する対応位置一括決定部と、を備える構成とすることができる。

また、本発明の高精度ＣＶ演算装置は、請求項６に記載するように、自由に移動するビデオカメラで撮影した動画像を取得し、記録する画像取得装置と、画像の中に多数の特徴点を検出し、複数フレームに亘って追跡することで対応点を検出し、複数の特徴点とその対応関係から、撮影時のカメラの三次元位置と姿勢を全フレームについて求めるカメラベクトル（ＣＶ）を演算（ＣＶ演算）して求め、同時に使用した特徴点の三次元座標を求める三次元特徴点記録部と、各フレーム画像のカメラベクトル値（ＣＶ値）を記録する概略ＣＶ値取得部と、画像の各フレームにカメラベクトル値（ＣＶ値）を付加した画像を生成するＣＶ画像生成装置と、前記画像の中に検出した三次元座標を持つ多数の特徴点を用いて、特徴点の対応点を前記ＣＶ値基準一括追跡装置により、多くの隣接画像に亘ってＣＶ値基準一括追跡処理するＣＶ基準一括追跡部と、多数の特徴点の精度の高い前記追跡処理を行い、再度特徴点の追跡データを取得する特徴点追跡データ取得部と、前記特徴点追跡データから精度の高いＣＶ値を演算で求める高精度ＣＶ演算部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置は、請求項７に記載するように、画像の各フレームにカメラベクトル値（ＣＶ値）を付加した画像を生成するＣＶ画像生成装置と、前記ＣＶ画像生成装置の出力から、得られたＣＶ画像を隙間無く幾何学的なハードＣＶ領域画像に分割するハードＣＶ領域画像分割装置と、前記ハードＣＶ領域画像分割装置によって分割された各ＣＶ領域画像の中に特徴点を検出し、若しくは前記ＣＶ演算時に使用した特徴点を利用し、その対応点を前記ＣＶ値基準一括追跡装置やその他の手段により、隣接画像に亘って追跡し、全ＣＶ領域画像のトラッキングベクトル値（ＴＶ値）を求めるＴＶ演算装置と、画像の各フレームに前記ＣＶ値と、前記ＴＶ値とを付加したハードＣＶ領域画像を生成するハードＣＶ領域画像生成装置と、を備える
構成とすることができる。

また、本発明のＣＶ領域画像前置装置は、請求項８に記載するように、前記ハードＣＶ領域画像生成装置の出力から、複数のハードＣＶ領域画像を結合するなどして、若しくは前記ハードＣＶ領域画像生成装置を介さずに直接同種テクスチャーＣＶ領域画像を分離するなどして、画像内容に沿った複数のソフトＣＶ領域画像から画像を再構成するソフトＣＶ領域画像分割装置と、前記ソフトＣＶ領域画像に分割された画像の各ソフトＣＶ領域画像に関して、前記ソフトＣＶ領域画像をＣＶ値から得られる予想位置をＣＶ値基準一括追跡方法によって追跡し、基準となる座標系に対する位置及び姿勢、及び運動を演算し、前記ソフトＣＶ領域画像のＣＶ領域画像ベクトル値（ＲＶ値）を求めるＲＶ演算装置と、画像を構成する全ＣＶ領域画像が前記ＣＶ値と、前記ＣＶ領域画像ベクトル値（ＲＶ値）を付加して持つ画像を生成するソフトＣＶ領域画像生成装置と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置は請求項９に記載するように前記ソフトＣＶ領域画像生成装置の出力から、複数のソフトＣＶ領域画像を所属する対象物毎に結合するなどして、若しくは前記ソフトＣＶ領域画像生成装置を介さずに直接同種対象物ＣＶ領域画像を分離するなどして、複数のソフトＣＶ領域画像からなる対象物により、画像を再構成する対象物認識装置と、前記対象物ＣＶ領域画像に分割された画像の各対象物ＣＶ領域画像に関して、前記対象物を構成する各ソフトＣＶ領域画像は、対象物としての関係を保ち、対象物として基準となる座標系に対する位置及び姿勢、及び運動を演算し、複数のソフトＣＶ領域画像の複合体としての複数のＣＶ領域画像ベクトル（ＲＶ）を統合し、対象物別にソフトＣＶ領域画像を分類したＪＶ（ジョイントベクトル）を求め、対象物毎の分類データを取得するＪＶ演算装置と、画像を構成する対象物及び対象物を構成するソフトＣＶ領域画像が、前記ＣＶ値と、前記ＣＶ領域画像ベクトル値（ＲＶ値）と、前記ＪＶ値と、で統合された画像を生成する対象物ＣＶ領域画像生成装置と、を備える構成とすることができる。

また、本発明の高精度ＴＶ演算装置を備えるＣＶ領域画像前置装置は、請求項１０に記載するように、画像をブロックに分割するブロック分割部と、前記ブロックを、特徴ブロック、及びそれ以外のブロックに分類するブロック分類部と、全てのブロックをその配列順番を変えずにゴム紐状に柔軟に結合するゴム紐結合部と、前記特徴ブロックと前記それ以外のブロックに対してもゴム紐状に結合し、一時的に形成される抜けのない全ブロックによる画像を生成するブロック画像生成部と、からなるハードＣＶ領域画像分割装置と、前記ハードＣＶ領域画像分割装置の出力のゴム紐状に結合したブロック画像の特徴ブロックを請求項１記載のＣＶ値基準一括追跡方法等を用いて追跡する特徴ブロック追跡部と、特徴ブロックの追跡データを前記それ以外のブロックにも演算して適切に配分する一次ＴＶ演算部と、複数フレームから一次ＴＶの誤差を検出する補正ブロック検出部と、前記誤差の分布するＣＶ領域画像を補正ＣＶ領域画像として、再追跡して高精度なＴＶデータを取得する二次ＴＶ演算部と、からなる高精度ＴＶ演算装置と、前記ＴＶ演算装置の出力に関して、ＴＶ値が同一となる隣接ブロックを結合する同一ＴＶ値統合部と、画像のＣＶ値、及びハードＣＶ領域画像のＴＶ値を画像に付加するＣＶ・ＴＶ付加部と、ブロック画像を表示目的に適した図法に変換する図法再変換部と、前記ＣＶ値とＴＶ値とを付加したブロック画像を出力するハードＣＶ領域画像出力部と、からなるハードＣＶ領域画像生成装置と、を備える構成とすることができる。

また、本発明のＲＶ演算装置を備えるＣＶ領域画像前置装置は、請求項１１に記載するように、前記ハードＣＶ領域画像生成装置の出力から、特徴ブロックを選択し、独立特徴ブロック、境界線上特徴ブロック、境界線上ブロック、及びそれ以外のＣＶ領域画像内ブロックの３種類に再分類するブロック再分類部と、境界線上特徴ブロック、境界線上ブロックを結合し、ソフトＣＶ領域画像を生成するソフトＣＶ領域画像生成部と、輪郭線ベクトル化装置の出力を用い、ＣＶ領域画像境界を補正するＣＶ領域画像境界線の抜けを補正し、ブロック単位で構成されているソフトＣＶ領域画像を、ベクトル線で切り分けてＣＶ領域画像境界線を補強して明確なソフトＣＶ領域画像を生成するＣＶ領域画像境界線補正部と、からなるソフトＣＶ領域画像分割装置と、前記ソフトＣＶ領域画像分割装置の出力を、再度隣接画像に亘って追跡するＣＶ領域画像トラッキング部と前記隣接画像に亘るＣＶ領域画像の追跡からＲＶ値を求めるＲＶ演算部と、からなるＲＶ演算装置と、前記ＲＶ演算装置の出力に対して、ＣＶ値、及びＲＶ値をソフトＣＶ領域画像に付加するＣＶ・ＲＶ付加部と、前記ＣＶ値・ＲＶ値を付加されたソフトＣＶ領域画像を生成して出力するソフトＣＶ領域画像出力部と、からなるソフトＣＶ領域画像生成装置とを備え、前記輪郭線ベクトル化装置は、画像の輪郭を直接求める輪郭線抽出部と、前記輪郭線を細線化してベクトル化するベクトル細線化部と、細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する可変閾値輪郭補強部と、補強されたベクトル輪郭線を生成するベクトル輪郭線生成部と、からなり、これら各装置を備える構成とすることができる。

また、本発明のＪＶ値演算装置を備えるＣＶ領域画像前置装置は請求項１２に記載するように、
ソフトＣＶ領域画像の中で、認識対象となる対象物の概略範囲を選択指定するソフトＣＶ領域画像範囲選択部と、前記範囲を指定したソフトＣＶ領域画像のＲＶ値を選択指定するＲＶ選択部と、予想される複数の対象物のＲＶ値をデータベース化して記憶している部品ＤＢ部と、前記範囲のソフトＣＶ領域画像のＲＶ値と候補部品のＲＶ値とを比較し、部分一致か不一致かを決定し、不一致の場合は他の部品候補を自動選択し、完全一致の場合はそれを決定部品とし、部分一致した場合は他の候補部品と一致度合いを比較し、最も一致度の高いＲＶ値を持つ部品を決定部品とするＲＶ比較部と、前記決定部品を認識した対象物として、取得する対象物認識部と、前記範囲のＣＶ領域画像内において、ＣＶ画像からソフトＣＶ領域画像の形状を形成する要素を検出する要素分解部と、前記要素を隣接画像に追跡し、対応位置を求める要素追跡部と、要素のＣＶ値とＲＶ値から三次元形状を求める要素三次元化部と、要素の部品データベースとなる要素部品ＤＢ部と、画像から検出した要素と部品要素の形状を比較して一致を求める要素比較部と、一致した部品要素を画像から検出した要素に置換する対象物要素認識部と、からなる対象物認識装置と、前記対象物認識装置の出力から、対象物認識されたＣＶ領域画像を対象物単位で再結合するＣＶ領域画像再結合部と、それぞれの対象物毎にソフトＣＶ領域画像の幾何学的三次元結合状況を表すＪＶ値を求めるＪＶ演算部と、からなるＪＶ演算装置と、前記ＪＶ演算装置で求められた対象物単位のＪＶ値は、複数の対象物がそれぞれ区別されて配置されるように、全ソフトＣＶ領域画像にＪＶ値を付加するＪＶ付加部と、対象物認識が一部又は全て済ませた対象物認識ＣＶ領域画像を生成する対象物ＣＶ領域画像生成部と、からなる対象物分離画像生成装置と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるＶＤ画像表示装置は、請求項１３に記載するように、ＣＶ値基準一括追跡装置からの出力を、若しくはＣＶ値基準一括追跡装置からの出力と同等の出力をする他の機器からの出力を、ＣＶ領域画像と共にＶＤを分離して取得するＣＶ領域画像・ＶＤ取得部と、画像の表示方法を指定する表示指定部と、ＶＤを基にして、ＣＶ領域画像を再結合して再結合画像を生成するＣＶ領域画像再結合部と、前記再結合画像を各フレームに配分して、各フレームに対応した画像を生成する画像フレーム生成部と、前記画像フレームを表示する表示部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるＣＶ領域画像データベース装置は、請求項１４に記載するように、前記ＣＶ領域画像前置装置から出力される各ＣＶ領域画像であるハードＣＶ領域画像出力、ソフトＣＶ領域画像出力、及び対象物ＣＶ領域画像出力の中の全ての画像出力、若しくは前記三者の中間段階の画像出力を、各ベクトルデータ（ＶＤ値）共に取得するＣＶ領域画像・ＶＤ取得部と、前記ＣＶ領域画像・ＶＤ取得部で取得したＶＤ値の成分であるＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、若しくはそれら何れかの内で、ＣＶ領域画像単位で、及び画像フレーム単位で重複するデータを近似化し単純化して、圧縮する重複データ圧縮部（座標系分離画像圧縮装置）と、前記圧縮データによる圧縮画像データとの対応を保持して、各ＣＶ領域画像をＣＶ領域画像圧縮して記録するＣＶ領域画像圧縮記録部と、前記各ＣＶ領域画像内に、画像及びＣＶ領域画像を検索して指定する検索指定部と、前記検索部で検索して選択した画像及びＣＶ領域画像を、前記ＣＶ領域画像圧縮記録部に記録された全画像データの中から呼び出し、解凍し、前記重複データ整理部で再構成したＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、若しくはそれらの何れかを付加した複数種類のＣＶ領域画像が混在するＣＶ領域画像を出力する解凍・出力部と、を備え、前記ＣＶ領域画像前置装置からの出力に代わって、出力する構成とすることができる。

また、本発明のＣＶ領域画像前置装置による視点変更装置は請求項１５に記載するように、前記ＣＶ領域画像データベース装置からの出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、視点変更地点を、若しくは視点変更経路を、ＣＶ値で指定する視点変更指定部と、前記ＣＶ値で指定された視点変更ＣＶ値から、視点変更時の他のＶＤを演算で求める視点変更演算部と、視点変更演算により取得されたＶＤを各画像、及び各ＣＶ領域画像に対応をつける変更ＶＤ取得部と、対応のついた前記各画像、及び各ＣＶ領域画像の画像を再構成し生成し、出力する視点変更画像生成部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるＣＶ領域画像ＣＧ合成装置は、請求項１６に記載するように、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、前記ＣＶ領域画像に合成するべきＣＧを入力するＣＧ入力部と、前記ＣＧのＶＤを演算するＶＤ演算部と、前記ＣＶ領域画像の視点座標とＣＧの視点座標を合致させて座標を統合する視点座標統合部と、ＣＶ領域画像のＶＤと前記ＣＧのＶＤを比較演算して、表示の前後関係を決定する前後関係形成部と、視点が合致し、前後関係が決定された、前記ＣＶ領域画像と前記ＣＧとを合成して、同一座標系で表現するＣＶ領域画像ＣＧ合成部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による三次元形状生成装置は、請求項１７に記載するように前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、三次元形状生成を行う範囲を指定する範囲指定部と、ＣＶ領域画像に付加されたＶＤ値から三次元ポリゴンに変換演算するポリゴン変換演算部と、前記ポリゴン変換されたデータから三次元形状を生成する三次元形状生成部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による画角拡大装置は、請求項１８に記載するように、カメラを車載するなどして移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、画角拡大画像を観察する時の画角と視点方向を指定する拡大画角指定部と、画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する仮想観察視点指定部と、前記拡大画角と、前記視点方向と、前記視点移動位置を指定された時間軸上に並ぶ複数フレームのＣＶ領域画像を、指定の視点位置に視点変更演算する時間軸画像視点変更部と、前記視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのＣＶ領域画像を結合する複数画像結合部と、時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのＣＶ領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける繰り返し生成部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるロックオン表示装置は、請求項１９に記載するように、カメラを車載するなどして移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、ＶＤを指定することにより、ロックオンすべき対象物の座標を指定する対象物座標指定部と、ロックオン表示のための視点移動経路と範囲を指定する視点移動指定部と、指定された視点移動経路に沿って、ＣＶ領域画像の視点変更を求める視点及び視点方向変換部と、変換されたＣＶ領域画像を指定経路に従って表示するロックオン表示部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による座標系分離装置は、請求項２０に記載するように、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、ＶＤから座標系を分離し、座標系毎のＣＶ領域画像とＶＤとに分類する座標系別ＶＤ処理部と、
各座標系のＶＤを単純な関数に近似して単純化し、若しくは必要であれば、前記近似したＶＤと前記ＣＶ領域画像のＶＤとの関係を示す関数をも持ち続ける各座標系ＶＤ近似処理部と、単純な関数に近似されたことで、通信又は記録される、各座標系分離通信装置、又は各座標系分離画像記録部と、各座標系単位で画像を生成する各画像系別画像生成部と、各座標系を再度結合合成して表示する必要があれば、再結合のための各座標系合成画像生成部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による画像部分更新装置は、請求項２１に記載するように、更新する画像情報を含む画像を、前記ＣＶ値基準一括追跡装置から出力して、ＣＶ領域画像とそのＶＤを取得する更新ＣＶ領域画像・ＶＤ取得部と、更新される旧画像情報を含む画像を、前記ＣＶ値基準一括追跡装置から出力して、ＣＶ領域画像とそのＶＤを取得する旧ＣＶ領域画像・ＶＤ取得部と、更新範囲を指定する更新範囲指定部と、ＶＤ値を合致させることで、更新画像の視点を旧画像の視点に変更する更新領域視点変更部と、旧画像側の更新部分を削除する更新範囲削除部と、更新部分のＣＶ領域画像を切り取って、旧ＣＶ領域画像に貼り付けて更新ＣＶ領域画像を生成する更新部分ＣＶ領域画像生成部と、最終的に領域結合して、更新画像を生成する更新画像生成部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるオルソ画像生成装置は、請求項２２に記載するように、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、計測機器により鉛直方向を精度良く取得する鉛直補正部と、ＣＶ領域画像の複数ポイントで絶対座標を取得する高精度位置決め部と、前記計測機器で取得した高精度の鉛直データにより、取得したＶＤ値を補正する補正ＶＤ値演算部と、前記補正ＶＤ演算部で補正されたＶＤ値と対応するＣＶ領域画像により、オルソ化対象を三次元化する三次元面生成部と、三次元化されたオルソ化対象のＣＶ領域画像をオルソ面に投影するオルソ面投影部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による画像高解像度化装置は、請求項２３に記載するように、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、再生表示しようとする動画像を取得したカメラ移動経路、若しくは仮想カメラ移動経路をＣＶ値で指定する仮想カメラ移動経路指定部と、前記動画像の各フレームを構成する各ＣＶ領域画像に関して、最も解像度の高いＣＶ領域画像を、若しくは最もカメラの近くで取得しているＣＶ領域画像を、若しくは最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する全範囲探索選択部と、前記全範囲探索選択部で選択したＣＶ領域画像を、カメラ経路を意味する前記指定ＣＶ値に前記選択したそれぞれのＣＶ領域画像を視点変更する高解像度視点変更部と、視点変更されたＣＶ領域画像から各フレーム画像を生成する高解像度化画像結合部と、記録の必要が有れば、さらに視点変更を可能とするＶＤ値を取得したＣＶ領域画像の状態で記録保存する高解像度化画像データベースと、高解像度化された動画映像を表示する場合の表示部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による運動抽出・解析装置は、請求項２４に記載するように、前記ＣＶ領域画像データベース装置から出力される、若しくは前記視点変更装置から出力されるＣＶ領域画像を、元となる動画像を構成する複数の座標系に分離する座標系分離装置と、前記複数の座標系の中で、目的の運動する対象物のＣＶ領域画像をそのＶＤと共に選択し、抽出する運動領域抽出部と、前記抽出された運動領域のＶＤから、対象となる運動領域の運動を６自由度で表す運動領域ＶＤ解析部と、必要が有れば、前記運動領域を指定の座標系に変換して示す指定座標表示部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるＣＶ領域画像検索装置は、請求項２５に記載するように、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、検索すべきＣＶ領域画像、又はその一部、又はそれを内部に含むＣＶ領域画像を検索すべき部品として指定する検索ＣＶ領域画像部品指定部と、基準座標系における前記部品のＶＤを演算で求める検索ＣＶ領域画像部品ＶＤ演算部と、検索されるＣＶ領域画像の基準座標系におけるＶＤと、検索部品のＣＶ領域画像の基準座標系におけるＶＤとを比較し、一致度を求める基準座標ＶＤ比較部と、ＣＶ領域画像全体の中の一致度の高いＣＶ領域画像を検索結果として出力する検索ＣＶ領域画像出力部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるノイズリダクション装置は、請求項２６に記載するように、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、目的フレーム画像に属するＣＶ領域画像と、それに隣接するフレーム画像に属するＣＶ領域画像とで、対応する複数のＣＶ領域画像を選択する最適ＣＶ領域画像選択部と、前記隣接するフレーム画像に属するＣＶ領域画像を、前記目的フレーム画像のＣＶ値に視点変更する同一視点変更部と、前記目的フレームの視点に統一して変更したＣＶ領域画像を、重ね合わせて加算平均する領域加算平均演算部と、前記加算平均によりノイズが減少した領域を目的フレームに属するＣＶ領域画像として取得する平均ＣＶ領域画像生成部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による対象物認識装置は、請求項２７に記載するように、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、認識対象となる部分をＣＶ領域画像内に指定する認識ＣＶ領域画像指定部と、認識候補となる複数のＣＶ領域画像からなる部品をデータベースとして記録している部品データベース部と、認識が完了するまで、次々部品を送り出す部品送り出し部と、比較される部品のＶＤを演算で求める部品ＶＤ演算部と、前記認識対象となるＣＶ領域画像と、前記部品を基準座標系のＶＤ値で比較する基準座標ＶＤ比較部と、前記部品送り出し部から送られてくる複数の部品の中で、最も一致度の高い部品を選択して、特定する認識画像出力部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による位置決め装置は、請求項２８に記載するように、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、取得したＣＶ領域画像から、三次元地図として精度良く利用できる複数のＣＶ領域画像部分を自動選択する地図利用選択部と、前記三次元地図として精度よく利用できるＣＶ領域画像部分を指定し、前記ＣＶ領域画像・ＶＤ取得部で取得したＣＶ領域画像内に、検索し、呼び出し、前記地図利用選択部に送る内部検索指定部と、前記地図利用選択部で選択された前記精度よく利用できる複数のＣＶ領域画像部分を、二次元特徴点、三次元特徴領域、特徴対象物等に分類し、若しくはＶＤ値等を用いて変換し、地図として生成する地図生成部と、地図と比較するため、及び表示のためのリアルタイム画像を車両等に積載したカメラから取得するリアルタイム画像取得部と、取得した前記リアルタイム画像を、ＣＶ演算、ＧＰＳを用いた概略位置合わせ、画像明るさ調整、等の前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施すリアルタイム画像処理部と、前記二次元特徴点、三次元特徴領域、特徴対象物等を前記リアルタイム画像の中に検索指定する外部検索指定部と、前記検索指定により、前記二次元特徴点、三次元特徴領域、特徴対象物等を、前記リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する外部検索検出部と、前記二次元特徴点、三次元特徴領域、特徴対象物等との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の前記二次元特徴点、三次元特徴領域、特徴対象物等から、リアルタイム画像のＣＶ値を演算で求めるリアルタイム画像ＣＶ値取得部と、前記リアルタイム画像ＣＶ値取得部で取得した前記リアルタイム画像のＣＶ値から、リアルタイム画像を取得したカメラの位置と姿勢を絶対座標で求めて車両位置を決定する車両位置決め部と、前記特徴対象物が持っている車両運行に関係する属性を前記リアルタイム画像内に表示するリアルタイム画像内属性表示部と、前記車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、特徴対象物等を、次回に利用する三次元地図として記録しておく、三次元地図データベース部と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置による複合人工知能記憶装置は、請求項２９に記載するように、複合人工知能装置を構成する個々の人工知能装置において、自ら取得したカメラ映像、及び認識結果を記録し、認識結果を記録する前記ＣＶ領域画像前置装置と、個々の人工知能装置から他の人工知能装置で、相互に情報をやり取りするための送信装置、及び受信装置と、他の人工知能から検索の問い合わせがあれば、前記ＣＶ領域画像前置装置のＣＶ領域画像内に検索して、前記送信機で送り返すＣＶ領域画像検索装置と、他の人工装置から対象物認識の依頼があれば、前記ＣＶ領域画像前置装置のＣＶ領域画像内で対象物認識して、前記送信機で送り返すＣＶ領域画像認識装置と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるＣＶタグ入出力検索装置は、請求項３０に記載するように、管理しようとする現実の管理対象物があり、前もって、前記管理対象物及び周辺を撮影した画像の、前記ＣＶ領域画像データベース装置の出力を取り入れ一時記録したＣＶ領域画像記録部と、画像取得時のカメラ位置近傍への視点変更画像を生成する前記視点変更装置と、前記ＣＶ領域画像を表示し、動画として画像フレームが移動しても、画像とＣＶタグの三次元的位置関係を保持したまま、ＣＶタグを表示し、及びＣＶタグを開封しその内容を表示できるようにしたＣＶタグ表示装置と、前記ＣＶタグ表示装置で表示された前記ＣＶ領域画像の中の前記管理対象物の位置に対して、ＣＶ領域画像の中にＣＶタグを直接貼り付けるか、若しくはＣＶ領域画像中の前記管理対象物の三次元的位置を確認できるように、矢印などで特定できるようにしたＣＶタグを、ＣＶ領域画像の中に三次元的に配置するようにしたＣＶタグ入力装置と、ＣＶタグと前記管理対象物とを関連づける諸データを格納するＣＶタグデータベース装置と、前記ＣＶタグ表示装置、及び前記検索装置でＣＶタグを選択することで、若しくは表示されたＣＶ領域画像中の前記管理対象物をＣＶ領域画像の中にタッチスクリーンにタッチし、又はマウス等でＣＶタグをクリックして、ＣＶタグを選択することで、前記ＣＶタグデータベース装置からＣＶタグに対応する管理対象物のデータを読み出して管理するＣＶタグ対象物管理装置と、を備える構成とすることができる。

また、本発明のＣＶ領域画像前置装置によるＣＶタグ入出力検索装置は、請求項３１に記載するように、前記ＣＶタグ入力装置と、前記ＣＶタグデータベース装置と、前記ＣＶタグ対象物管理装置とを車両等に積載し、管理地域、及び管理対象物周辺を移動する積載移動手段を備え、前記積載移動手段にはビデオカメラを積載し、リアルタイム画像を取得し、前記リアルタイム画像にＣＶ演算を施し、リアルタイムＣＶ領域画像を取得するリアルタイムＣＶ領域画像取得装置を備え、文字、座標、属性等で検索し、ＣＶ領域画像中に管理対象物を示すＣＶタグそのものを、若しくはＣＶ領域画像中の管理対象物の画像そのものを、色の変化やフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示するＣＶタグ自動検索装置と、当該ＣＶタグ入出力検索装置の外側にあって、記録媒体により、若しくは通信により、当該ＣＶタグ入出力検索装置内側の管理地域及びその周辺のＣＶ領域画像地図を前記ＣＶ領域画像記録部に一時記憶して保持させる、外部ＣＶ領域画像地図データベース部と、当該ＣＶタグ入出力検索装置の外側にあって、記録媒体により、若しくは通信により、当該ＣＶタグ入出力検索装置内側の管理地域及びその周辺のＣＶタグとその属性情報を前記ＣＶタグデータベース装置に一時記憶して保持させる、外部ＣＶタグデータベース部とからなる外部データベース装置と、を備え、前記移動体には、移動体の絶対座標を取得するＧＰＳ位置決め装置と、取得した前記リアルタイムＣＶ領域画像と前記ＣＶ領域画像地図から、位置あわせをして取得した新旧画像更新装置とを保持する移動体位置決め手段を備え、前記移動体位置決め手段と時刻、及び入力した走行目的等より、車両の現在時刻と現在位置と現在状況に関係している管理対象物のＣＶタグを選択的に自動表示するＣＶタグ自動表示装置とを備え、若しくは、前記全ての装置と前記全ての手段の内の、その一部装置と一部手段を選択的に備える構成とすることができる。

さらに、本発明のＣＶ領域画像前置装置によるＣＶタグ入出力検索装置は、請求項３２に記載するように、前記ＣＶタグ表示装置の機能を含み、選択及び検索した管理対象物を、管理対象物を画像の決められた位置に固定して表示する動画ロックオン機能と、縮尺の異なる複数のＣＶ領域画像地図を表示し、しかも座標系を統一して、同じＣＶタグを前記複数のＣＶ領域画像地図上に表示する機能と、ＣＶ領域画像地図と二次元地図を同時に表示し、二次元地図上にもＣＶタグを表示する機能と、選択及び検索した管理対象物を、前記ＣＶ領域画像地図と同じように、前記リアルタイムＣＶ領域画像にＣＶタグを表示する機能と、選択及び検索した管理対象物を、ＣＶ領域画像上に表示せずに、ヘッドマウント、又はハーフミラー等により、移動する車両等から直接観察する現実世界の管理対象物に重複して合成した、ＣＶタグや案内矢印や看板を示す機能と、選択及び検索した管理対象物に関するＣＶタグの内容を、音声で案内表示する機能と、前記各機能の全部又は一部の機能を有するＣＶタグ表示装置を備える構成とすることができる。

以上のような構成からなる本発明のＣＶ値基準一括追跡装置及びＣＶ領域画像前置装置によれば、これまでのＣＶ画像をさらに発展させ、ＣＧと同じように切り貼り、パーツ交換、視点変更も自由にできる画像に進化させ、画像を、ＣＶ値基準として、ＣＶ領域画像に分割し、各ＣＶ領域画像にＣＶ値のみならず、ＴＶ演算によりＴＶ値を、ＲＶ演算によりＲＶ値を、ＪＶ演算でＪＶ値を持たせることで、画像を自由に扱えるようになる。
これにより、一つのＣＶ領域画像をあたかも一つのＣＶ画像として扱うことで、画像を自由自在の扱うことが可能となる（ＴＶ、ＲＶ、ＪＶの詳細については後述する）。
また、本発明は、ＣＶ値を用いた三次元処理をしているが、ＣＧのような三次元データではないので、データ量もかなり圧縮できることになった。

本発明は、本願発明者の提案による全周画像によるＣＶ画像の利用（特開２００５−２９５４９５号）と、おけるＣＶ値基準の概念を導入したものである。
本発明の元となっているＣＶ演算及びＣＶ値（特開２００５−２９５４９５号）は、全周カメラによる動画像の球面画像から生まれた。動画像を球面画像として扱うことで焦点距離及び光軸の概念から解放され、動画像を視覚に適したかたちで二次元面を持ったまま、古典的な三角測量の原理に戻って三次元化し、簡単に取り扱うことができるようになった。さらに動画像における単純化されたＣＶ値基準の概念の導入により、動画像処理が面のまま単純化されて三次元化し、動画像の領域分割及びそのトラッキングが容易となり、全画素トラッキングも可能となったことで一気に進展した。

また、処理後のデータの扱いを容易にするため、ＣＶ演算から発展した各演算によって取得したＣＶ、ＴＶ、ＲＶ、ＪＶ値、（まとめてＣＴＲＶ値と表現・それぞれをベクトルデータ「ＶＤ」と呼称する）を持つデータベースを構築することで全てを解決しようとしている。
そのデータの持ち方には進化に応じた複数段階があり、それぞれのデータベースを構築し、目的に応じて選択する。
最終段階では対象物認識をしているので、人工知能に近いものとなっている。

ＣＶ領域画像は画像を三次元として扱うことが可能となり、様々な応用展開が可能となる。
ＣＶ値のみのＣＶ画像データベース装置による応用例としては、図３１に示すように、○動画像とＣＧの合成装置（３１）、○動画像からの三次元座標取得（３２）、対象物を常に定位置で観察するロックオン表示装置（３３）、回転揺れ止め画像生成装置・揺れ止め制御装置（３４）、○画像内計測・画像間計測装置（３５）、○新旧画像更新装置（３６）、○ＣＶ画像地図（３７）、○車載カメラによる自動車位置決め、及びその応用による実写ナビゲーションシステム（４１）、○画像の三次元ポリゴン化システム（４２）、○路面オルソ化地図生成システム（４３）、等を実現することができる。

ここで、上記列挙した応用例はＣＶ画像ＤＢによるが、ＣＶ領域画像データベース装置によれば、さらに効率化されて実現されることになる。
以下に、ＣＶ領域画像データベースではじめて実現される様々な応用例について列挙する（図３１参照）。
○座標系分離画像圧縮・記録装置（５１）、○視点移動・中間フレーム生成装置（５２）、○移動体抽出・運動解析装置（５３）、○高解像度化画像生成装置（５４）、○ＣＶ領域画像運動抽出・検索・解析装置（５５）、○ノイズリダクション装置（６１）、○ＣＶ領域画像差し換え画像生成装置（６２）、○対象物運動抽出・解析装置（７１）、○ＰＲＭ画像圧縮装置（７２）、○対象物運動解析装置（７３）○複合人工知能記憶装置（７４）、○ＶＤ画像表示装置（７５）等を実現することができる。
このようにして、本発明によれば、種々の分野に応用が可能であり、多くの新産業を生み出し、確実に未来技術の核となり得る、産業のプラットホームとして位置づけることができる。

本発明のＣＶ値基準一括追跡装置と、これを利用したＣＶ領域画像前置装置によれば、画像をＣＶ値基準と湧きだし点基準として、ＣＶ領域画像に分割し、各ＣＶ領域画像にＣＶ値のみならず、ＴＶ演算によりＴＶ値を、ＲＶ演算によりＲＶ値を、ＪＶ演算でＪＶ値を持たせることで、画像を自由に扱うことができる。

以下、本発明に係るＣＶ値基準一括追跡装置と、この一括追跡装置を用いたＣＶ領域画像前置装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明のＣＶ値基準一括追跡装置やＣＶ領域画像前置装置、その他の装置は、いずれもプログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，ＣＶ（カメラベクトル）値の演算等を行わせる。
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［用語の定義］
まず、本明細書で用いられる特殊用語の定義と解説について説明する。
「ＣＶ演算、ＣＶ値、ＣＶ画像」
ＣＶはカメラベクトルの略称であり、ＣＶ値はＣＶ演算の結果得られたカメラベクトルを表す６変数で、各フレームにＣＶ値を付加した画像をＣＶ画像という。
すなわち、画像を取得したカメラ位置と姿勢の三次元座標と角度を６変数で、画像の各フレームについて求めたものがＣＶ値であり、それを求める演算がＣＶ演算であり、ＣＶ値が求められた画像をＣＶ画像という。参考資料ではＣＶ映像と呼称した。
代表する座標系とカメラ位置と姿勢が既知となったことで、複数のフレームから対象の三次元座標が求められる。
なお、回転揺れ止めしたＣＶ値は回転に属する３変数が定数となるため、回転揺れ止めした画像においては、ＣＶ値を残りの位置に関する３変数で表すことがある。
このＣＶ演算（ＣＶ値、ＣＶ画像）については、図１〜図１３を参照して後に詳述する（特開２００５−２９５４９５号、特開２００５−１２２３１５号も参照）。

「湧きだし点」
カメラ移動による動画像、又は相対的に対象物とカメラの位置関係が刻々変化する場合には、着目する座標系おいて、湧きだし点から吸い込み点に向かって画像が湧き出してくるように見える。これを「湧きだし点」という。この湧きだし点は、元々回転静止した二画面の間に定義される二次元画像上の一点であり、ＣＶ値から求められる。
動画像において回転揺れ止めが成されていなければ湧きだし点は求められない。
a地点及びb地点の揺れ止めされた回転静止系におけるＣＶ値は、
ＣＶa=（Xa,Ya,Za）ＣＶb=(Xb,Yb,Zb)
とすると、湧きだし点ベクトルＳＶは、それぞれの成分の差
ＳＶ=(ΔX,ΔY,ΔZ)
で表される。
「湧きだし点」と「吸い込み点」の概念は、本願発明者がはじめて提案した新しい概念である。

さらに、湧きだし点の概念を動画像に発展させ、動画像を湧きだし点基準で近似し、分類整理することで、動画像の動きを単純化して、整理することができる。
動画像において湧きだし点を求めるには画像の回転揺れ止めを行う必要がある。ＣＶ値の回転成分から回転成分を取得し、動画像に回転補正を施し、回転揺れ止め（特開２００５−２９５４９５号参照）を行った動画像間の移動ベクトルは吸い込み点方向から湧きだし点方向を示している。
湧きだし点と、その反対側には吸い込み点がある。両者は画像内にある場合と無い場合がある。静止している場合には湧きだし点も吸い込み点も特定できない。カメラが移動する場合には必ず存在している。

画像を球面で表したメルカトール図法では、画像の中に湧きだし点と吸い込み点の両方が位置する。全周画像において、画像の各点は湧きだし点から大円上を移動して吸い込み点に至る放射状に出る曲線上を移動する。全周画像以外の部分画像であっても、全周画像の一部として扱えば全周画像とまったく同じように処理可能である。
メルカトール図法では移動の軌跡は曲線となるが、大円上を移動するので、最終的に一次関数にまで変換可能である（一次関数への変換については後述する「ＴＶ値」参照）。
（特開２００５−２９５４９５号、特開２００５−１２２３１５号参照）

具体的には、図１４（ａ）に示すように、回転揺れ止めした画像３１１を遠近法図法（平面展開図法）で表現した場合には、画像の各画素３１３は湧きだし点から湧き出る直線３１４となる。
また、一般に平面展開図法では、湧きだし点、吸い込み点の両方が同時に画像に現れることはなく、どちらも画像に現れないときもある。
トラッキング時にはブロック化して画像上を追跡するのが一般的であるが、その方法は無数にある。一例として図１４（ｂ）には、湧きだし点から放射状に出る直線と垂直線が作るブロックを単位として、ブロック３１５を生成することができる。

「ＣＶ領域画像」
ＣＶ領域画像とは、ＣＶ画像から生成される分割されたＣＶ画像であり、ＣＶ値基準による追跡による領域画像、と湧きだし点基準によってその生成方法からＴＶ値が既知となったＣＶ領域画像の二種類がある。
湧きだし点基準によるＣＶ領域画像は回転揺れ止めされた映像であり、ＣＶ値基準のＣＶ領域画像は揺れ止め画像に限定はされない。ただし、利用する上では、撮影時に忠実な画像を再現するためには揺れ止めしないまま処理が可能である。また、カーナビ等に利用するためには揺れ止めされた画像である方が使いやすい場合がある。

なお、ＣＶ領域画像には、湧きだし点基準のＣＶ領域画像と、ＣＶ値基準によるＣＶ領域画像とがあり、本発明は、主にＣＶ値基準によるＣＶ領域画像によるＣＶ領域画像前置装置を対象とする。もちろん、両者によって生成されたＣＶ領域画像は本質的に同じものである。
また、ＣＶ領域画像にはハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像の三種類があり、これらを区別しないときは単にＣＶ領域画像という。
ただし、ＣＶ領域画像を生成する過程で、未だＣＶ領域画像化されていない部分の領域も一つのＣＶ領域画像として扱うこともある。

「ハードＣＶ領域画像」
ハードＣＶ領域画像とは、画像を分割したブロック形状のＣＶ領域画像のことである。
画像処理を目的として画像を決まった形で分割する場合、通常は８＊８〜１０＊１０程度の矩形ブロックに分割するが、以下のソフトＣＶ領域画像と区別するため、画像や画像内の対象物に依存せずに決まった形に分割したＣＶ領域画像をハードＣＶ領域画像という。
具体的処理の場合には分割した矩形をブロックと称することもある。正確にはハードＣＶ領域画像の一部にブロックは含まれる。

「ソフトＣＶ領域画像」
ソフトＣＶ領域画像とは、画像を画像中の対象物に依存する形で、柔軟に分割した場合のＣＶ領域画像の意味であり、通常、一つの対象物は複数のソフトＣＶ領域画像からなる。
ハードＣＶ領域画像と区別して、画像と画像中の対象物に依存して分割されたＣＶ領域画像をソフトＣＶ領域画像という。

「ブロック」
ハードＣＶ領域画像の具体的な分割した矩形の形状をブロックという。
処理上、ハードＣＶ領域画像は幾何学的に単純化する必要があり、ブロック化されることがほとんどなので、ブロックと呼称する場合がある。

「ＴＶ演算、ＴＶ値、ＴＶ画像」
動画像において、その代表座標系に属する全ての対象物が画像中を移動する位置と軌跡は、対象物の三次元座標が分かれば、ＣＶ値により、全てのフレーム内の微少範囲内に予測することができる。
隣接するフレーム間で概略三次元座標を求めることで、関連する前フレームの概略位置関係を一括して求めることができるので、追跡は微少範囲に絞り込むことが可能である。そのようにして求めた追跡データがＴＶ値であり、ＴＶ値を求める演算をＴＶ演算という。

ＴＶ演算には、先ず画像の各点を、動画を構成している隣接フレームに亘って追跡する作業、すなわちトラッキングが必要である。
通常トラッキングをするには画像を小領域のブロックに分割して、それを画像上に追跡する。８＊８〜１０＊１０程度が通常使われるブロックのサイズである。
ところで、小領域のブロックは隣接画像において一度追跡ができれば、ＣＶ値を用いて、概略三次元座標が分かることになる。この概略三次元座標が一括追跡の場合の予想値を生成することになる。
もちろん正確な三次元座標が求まれば、それは予想値ではなく決定値とすることができるが、隣接する二フレームの追跡では、精度が取れず三次元座標値は概略値となるために、決定値ではなく、予想値として扱うことにする。

この予想値の近傍に追跡点があるはずであり、しかも、それは前フレームでバラバラ求められる地点ではなく、あるフレームで正確な地点が求められたときには、同時に全てのフレームで正確な追跡地点を取得できることになる。
また、ある一点の追跡データを持っていれば、ＣＶ値を同時に持つことで、全てのフレームの当該一点の位置関係が何時でも取得できることになる。
さらに、揺れ止め画像である必要はなく、揺れ止め画像であっても良いということが、本発明のＣＶ値一括追跡装置においてきわめて重要なこととなる。

これによって追跡データが求まったことになり、その後はブロック又は特徴点の追跡は画像内での画像フレームの時間の単位で進行する画像内距離として取得されるので、ＴＶ値も画像内距離として表現できるが、その後の画像処理のためにはＴＶ値は時間及び速度に依存しない方が良い場合が多い。
そこで、追跡データを移動距離で微分して、カメラの単位移動当たりの画素として、すなわちカメラ移動距離の関数としてＴＶ値を表現するのが好ましい。

ここで、湧きだし点基準の場合は、カメラ軌跡が直線から大きくずれると直線近似できなくなり、湧きだし点処理ができなくなるために、近似できる区間を一セグメントとしたが、ＣＶ値基準一括追跡装置では、その制限がないことになる。これも本発明の重要かつ特に優れた特徴である。
以上のような追跡演算をＴＶ演算、その値をＴＶ値、画像の各部分にＴＶ値を付加した画像をＴＶ画像と呼ぶものとする。

このようにして、元々二次元である追跡データを一括して同時にＴＶ値として取得し、しかもそこから三次元データとして扱うＶＤを生み出すことが本発明の重要な特徴である。
ＴＶ値は、追跡範囲を微少領域にまで絞り込み、自由度を０近くにまで、ギリギリ追い込んで決定することができることになり、演算が単純化され精度も向上し、エラーが少なくなり、画像処理上きわめて有利となる。

なお、本発明に係るＣＶ値基準一括追跡の技術によらないＣＶ演算装置であっても、精度の問題はあるが、特徴点のＴＶ値（追跡データ）を求めることは可能である。従って、本発明のＣＶ領域画像前置装置及びこれを用いた各種装置においては、本発明のＣＶ値基準一括追跡装置を用いることなく特徴点のＴＶ値（追跡データ）を求めることで対応することも可能である。
さらに、画像から直接ＣＶ値を取得する特徴点追跡装置とＣＶ演算装置によらなくても、原理的にはＧＰＳとジャイロとの組み合わせやＩＭＵ装置等の従来技術でＣＶ値を求めることも可能であり、そのようにして求めたＣＶ値を用いて新たにＴＶ値（追跡データ）を取得することも可能であり、そのようなＴＶ値（追跡データ）によって、本発明のＣＶ領域画像前置装置及びこれを用いた各種装置を実現することもできる。

「関数特徴点」
画像中に特徴点検出を行う場合、画像中の特徴ある部分を抽出し、それを特徴点とし、その特徴点周囲の小領域画像を切り取り、その小領域画像を他のフレームに追跡することで架空フレームの対応点を求めることが通常である。小領域は点ではないために、マッチングや相関によって一致を得ても、正しい追跡点にはならない。
そこで、特徴点を検出する際に、数学的演算によって求められた画素一点を示す特徴点を「関数特徴点」という。
具体的には、関数特徴点は、図１７Ａ〜１７Ｃに示すように、例えば画像上の一点が周囲よりも明るい点となれば、関数特徴点であり、座標上の一点で定義できる。一方前記小領域画像特徴点は一点ではなく、ある微少面積を持った小領域が特徴点として定義される。
また、関数特徴点は、例えば二方向に移動させた地点の明るさが同時に極値を持つような地点を検索することでも求められる。

以下に、関数特徴点検出の一例を示す。
図１７Ａに示すように、画像の各画素の明るさをPとする。
関数特徴点条件を満たす座標を（x,y）とする。
座標（x,y)の明るさはP（x,y）と表す。
３＊３のブロックで平均Pを取る。（ノイズカット）
移動は１／１０ピクセル単位とする。
ここで、（x,y）が関数特徴点となりうる条件は
１．関数特徴点の明るさｐ（x,y）は、a〜ｄ方向移動において、二つ以上の方向で極値を持つ。
ΔP＝０
２．関数特徴点の明るさｐ（x,y）の微分値ΔP（x,y）は、a〜ｄ方向移動において、二つ以上の方向で極値を持つ。
ΔΔP＝０
３．ｐが少なくとも一つの方向で極値を持ち、同時にΔPが異なる方向で極値を持つ。

ここで、特徴点の種類は上記の３種類となる。上記関数特徴点の分類はトラッキング時の情報となる。
また、関数特徴点の周囲の小領域画像も特徴点ではあるが、これは関数特徴点ではない。
抽出は関数特徴点であるが、追跡は小領域画像特徴点であり、一般に同じ物ではない。

「ＲＶ演算、ＲＶ値、ＲＶ画像」
カメラの位置及び姿勢とソフトＣＶ領域画像において、カメラと画像との関係は相対的であり、カメラを固定して画像の一部分の位置と姿勢の三次元ベクトルで表すことが可能である。このように、カメラを固定として、画像の一部分の三次元ベクトルをＲＶ値という。その６自由度変数を求めることをＲＶ演算という。
ＲＶは
Regional Vectorの頭文字である。

ＣＶ値付きのＴＶ値とＲＶ値とは常に座標系の分類を示す定数項を介在して、一対一の関係にあり、座標系を選択すれば何時でも互いに変換できる関係にある。
あるＣＶ領域画像においては、ＣＶ値とＲＶ値は互いに変換できる関係にある。
なお、画像を構成する複数の座標系それぞれにＣＶ値を定義することが可能であるが、ＣＶ値はこれまで動画像を代表する一個の座標系に対して一個のＣＶ値を定義してきたので、しかも、カメラ側に定義してきたベクトルであるので、ここで複数の座標系に対して複数のＣＶ値を定義すると、理解の混乱を起こす危惧があるため、ここではＣＶ値は従来通り動画像を代表する座標系に対してのみ定義し、それ以外はＲＶ値として、座標系とカメラの関係をＣＶ値と同じ６自由度の変数で表示する。従って、次元及びその意味合いはＣＶ値と同等であり、変換可能なものである。

また、ＲＶ値は基準となる画像では、代表座標系と一致し、その後時間と共に代表座標系から移動するように初期値を取ることが好ましい。
このようにすることで、静止座標系に一致しているときは、６変数全て静止座標系と一致するので、データとして扱いやすくなる。
一般に、ＲＶ画像はＴＶ値から演算で求められるので、ＴＶ値はＲＶ値と重複するデータである。

「ＪＶ演算、ＪＶ値、ＪＶ画像」
対象物認識後にソフトＣＶ領域画像の各関係を求める演算をＪＶ演算といい、認識された対象物を構成する複数のＣＶ領域画像及びそのＲＶ値を、対象物単位で区別する結合変数である。
一般に、認識された対象物は複数のＣＶ領域画像から構成されており、その時各ＣＶ領域に与えられ、同一対象物に属するＣＶ領域画像の三次元関係を求めることをＪＶ演算、その値をＪＶ値、ＪＶ値を取得した画像をＪＶ画像という。
ＪＶ画像は、ＣＶ値、ＲＶ値と同時に扱われる。

「ＶＤ（ベクトルデータ）」
ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値を総称してＶＤ（ベクトルデータ）と呼ぶ。
ＶＤは、独立に決まるＶＤと重複する従属変数とからなる。
また、ＣＶ値とＲＶ値はＴＶ値から演算で求められるので、ＣＶ領域画像がＶＤを持つ場合、既にＲＶ値を持つ場合はその中にＴＶ値を含まない場合もある。

「ゴム紐結合、ゴム紐切断」
画像をブロック分割して、それぞれの追跡データを求めようとする場合、自己相関値がピークを持つような特徴点ブロックは追跡可能であるが、それ以外のブロックは追跡点が一義的には定まらない。
そこで、特徴ブロックとそれ以外のブロックに対して、後の処理において特徴点が移動してもその二次元配列順番を変えずにゴム紐状に伸び縮みするように、柔軟結合しておくことをゴム紐結合部と呼ぶ。
ゴム紐結合することで、特徴点ブロック以外のブロックでも仮想の追跡データを取得することができるようになった。
ただし、ゴム紐結合したために却って追跡データに矛盾が発生することがある。その時にはその矛盾の発生した場所で、ゴム紐を切断する作業を行う必要がある。このように一旦ゴム紐結合した一部分を切断することをゴム紐切断という。

「ＰＲＭ」
ＰＲＭとは、Parts Reconstruction Method（３Ｄ対象物認識方法）の略であり、本願発明者により開発された対象物を認識するための技術である（国際出願PCT/JP01/05387号（国際公開WO 02/01505）参照）。具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また、対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。

具体的には、信号機であれば、その三次元形状を取得しただけでは「検出」であり、座標と姿勢まで分かれば「特定」であるが、信号機という名称が分かり、３個のライトが赤青黄に変化し、それぞれの交通上の意味を理解しているときに、属性を理解（認識）したということができる。
なお、ＰＲＭ認識によって、あらゆる監視対象物（予測される対象物、障害物、不審物等）が認識されるとは限らない。すなわち、記憶となるデータベースに情報が存在しない対象物は認識できない。しかし、これは特に問題となるものではない。人間であっても記憶にないものは認識できないのと同様である。認識とはそのもの、あるいは、そのものに近いものの記憶との対比によって得られるものであるからである。
（特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号参照）

「複合人工知能記憶装置」
現実世界の中の複数の対象物にカメラを取り付け、ＣＶ画像を取得し、互いに位置関係を確認し、属性を持ち、互いに情報をやり取りし、判断する人工知能を複合人工知能記憶装置という。

「ＣＶタグ」
ＣＶ画像中に情報の出入り口として、ＣＶタグを配置することができる。特開２００５−２９５４９５号、特開２００５−１２２３１５号に本願発明者によるＣＶタグに関する発明が提案されている。
ＣＶタグは、実写アイコン、ＣＧアイコンとも呼ばれる、機能としては、ＣＶタグはＣＧアイコン及び実写アイコンと基本的に同じである。
ＣＶタグの置き方としては、ＣＶ画像の中の対象物に重ねて、又は対象物から多少話した仮想位置に対象物を特定する位置に設置し、情報の出入り口とする。

ＣＶ画像には、アイコンの様に情報のやり取りをするタグを貼り付けることができる。また、ＣＶ画像では、画像の中の対象物、又は画素そのものが三次元座標を持っていることから、対象物そのものをタグとして利用することができる。
ＣＶタグとしては、本願発明者による特開２００５−２９５４９５号及び特開２００５−１２２３１５号から明らかなように、ＣＶタグには実写をそのままＣＶタグとして利用する方法と、小型のＣＧをタグとして貼り付ける方法の二種類がある。

ＣＶタグとして、実写画像をそのままＣＶタグとして用いる方法の特徴は、画像中の対象物全てがＣＶタグとして利用できることである。画像の持つ座標系とＣＶタグの座標系を共通にすることで、三次元座標そのものがタグの位置であり、目に見えないタグとして配置することができる。ただし、ＣＶタグの位置がピンポイントでは検索が困難となるので、二次元的にあるいは三次元的に範囲を指定して、その範囲をタグ領域とすればよい。

実写型ＣＶタグは実写そのものを用いるので、タグは目では見えないことになり、映像を観察するときに障害とはならない点がＣＧ方式に比べて有利である。また、ＣＶ画像からタグの位置を指定したり検索するためには、画像内でその都度三次元計測をしなければならない。この点がＣＧ方式に比べて不利である。
一方、ＣＧによるＣＶタグは、三次元計測した位置にタグとしてのＣＧを配置することになる。配置するには三次元計測する点では実写方式と同じであるが、また、読み出しや検索の場合はＣＧが既に三次元座標を持っていることから、その場での再度三次元計測をせずにＣＧを直接クリックすることで、その三次元座標を取得できるので、処理が簡単になる。この点が実写型と比較して有利な点である。

ところで、ＣＧを用いたＣＶタグは、実写型と異なりタグが映像中に見えることになる。映像観察上不利になることはあるが、見えた方が都合の良いこともある。ただし、ＣＧを透明化することで、目では見えないが、クリックすればそこでＣＧの三次元座標を取得し、タグを特定できることになる。従って実写方式でなくＣＧ方式でも、タグそのものを映像中に隠して、置くことが可能となる。透明であれ可視であれ、ＣＶ画像中に配置されたＣＶタグであるＣＧは、既に三次元座標を持っているので、その場で三次元座標を計測する必要はないことになり、実写方式に比較して、呼び出しや検索に有利となる。

以下、図面を参照して、本発明に係るＣＶ値基準一括追跡装置及びこれを用いたＣＶ領域画像前置装置、その他の各種装置の具体的な実施形態について説明する。
［ＣＶ演算］
まず、本発明のＣＶ値基準一括追跡装置やＣＶ領域画像前置装置における処理の前提となるＣＶ演算について図１〜図１３を参照しつつ説明する。
ＣＶ演算とはＣＶ値を求める方法の一つであり、ＣＶ演算により求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera Vectorの略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。

ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点（基準点）についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
但し、ＣＶ値は、例えば、他の方法による計測手段（ＧＰＳとジャイロ、又はＩＭＵ等）より求めることもできる。従って、ＣＶ値の取得はＣＶ演算による場合には限られない。
なお、ＧＰＳとジャイロ、又はＩＭＵ等によりＣＶ値を取得する場合には、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、かつ完全に同期させる必要がある。

動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータを画像から取得する場合は、取得されたデータは相対値であり、絶対値に変換するには既知の地点でのキャリブレーションが必要であるが、ＣＶ値と同時に取得される特徴点三次元位置座標と姿勢により、又は新たに画像内に指定して取得した特徴点により、画像内の任意の対象物との位置関係を計測することができるという、他の方法では実現困難な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像との相性が良く、画像から取得したＣＶ値である限り、その画像内では矛盾が無いので、画像以外から求めるＣＶ値と比較して、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明のＣＶ値基準一括追跡装置は、このＣＶ演算により得られたＣＶ値データに基づいて一括追跡（トラッキング）処理を行うものである。

［ＣＶ演算部］
ＣＶ演算は、後述する本発明のＣＶ値基準一括追跡装置２００のＣＶ画像取得部２０１（図１５参照）として機能するＣＶ演算部２で行われる。
ＣＶ演算部２は、図１に示すように、全周ビデオ映像部１から入力されるビデオ映像について所定のＣＶ演算処理を行うことでＣＶ値を求めるようになっており、具体的には、特徴点抽出部２-１と、特徴点対応処理部２-２と、カメラベクトル演算部２-３と、誤差最小化部２-４と、三次元情報追跡部２-５と、高精度カメラベクトル演算部２-６とを備えている。

まず、ＣＶ演算に使用する映像としては、原理的にはどのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、実用的には全周映像（図２〜図４参照）か、広角映像を全周映像の一部として扱うことが望ましい。なお、動画映像は連続する静止画と同様であり、複数の静止画として扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。

そこで、本実施形態では、ＣＶ演算に使用する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図２〜図４参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、全周映像の一部として扱うことができる。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図４参照）、これを例えば等距離図法のように平面展開表示することで、通常の遠近法映像に変換表示できるからである。

全周ビデオ映像部１において全周映像を生成するには、まず、図２及び図３に示すように、全周ビデオカメラ１-１を使用して、ＣＶ値データを取得する目的で、走行車輌等の移動体１-１ａに固定された全周ビデオカメラ１-１で、移動体１-１ａの移動とともに移動体周辺を撮影する。
なお、移動体１-１ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体１-１ａに搭載される全周ビデオカメラ１-１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図２及び図３に示すように、車輌に複数のカメラが一体的に固定され、移動体１-１ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ１-１を使用している。

そして、以上のような全周ビデオカメラ１-１によれば、図３に示すように、移動体１-１ａの天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体１-１ａが移動することで、広範囲映像を動画データとして取得できる。
ここで、全周ビデオカメラ１-１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。

なお、全周ビデオカメラ１-１で撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図４（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。

そして、以上のように生成・取得された全周ビデオ映像が、ＣＶ演算部２に入力されてＣＶ値データが求められる（図１参照）。
ＣＶ演算部２では、まず、特徴点抽出部２-１が、全周ビデオ映像部１の全周ビデオカメラ１-１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部２-２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部２-３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２-４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。

三次元情報追跡部２-５は、カメラベクトル演算部２-３で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２-６は、三次元情報追跡部２-５で得られた追跡データに基づいて、カメラベクトル演算部２-３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルが、後述するＣＶ値基準一括追跡装置２００に入力され、ＣＶタグの生成や貼り付け処理に利用されることになる。

複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するにはいくつかの方法があるが、図１に示す本実施形態のＣＶ演算部２では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、三角測量幾何学、及びエピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することで、三地点の座標で構成される単位の三角形を、その十倍以上の多くの特徴点から求めることになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

カメラベクトルとは、移動するカメラの持つ六個の自由度のベクトルである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、ＣＶ演算部２における具体的なカメラベクトルの検出方法について、図５以下を参照しつつ説明する。
まず、上述した全周カメラ映像部１０の全周ビデオカメラ１-１で取得された画像データは、間接に又は直接に、ＣＶ演算部２の特徴点抽出部２-１に入力され、特徴点抽出部２-１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２-２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図５〜図７に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図７に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図８に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図８の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、カメラベクトル演算部２-３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２-３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。また、これを三角測量として説明すれば、方位と俯角仰角を測量する機器を車載して、対象となる複数の測量地点を、移動する測量機器により同一対象物を計測して取得したデータから、各対象地点の座標と測量機器の移動の軌跡を求める場合と同じである。

図７に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、全周映像は対象物の方向がそのまま緯度経度で表現されていることから、きわめて有利である。図７に示す３６０度全周画像のような広角レンズによる画像の方が特徴点を数多く選択し、複数フレームに渡って追跡し易くなる。また、狭角レンズによる映像あっても、同一対象物の周りを移動しながら様々な方向から撮影する場合には特徴点が視界から逃げないので有効である。
そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図７は、ＣＶ演算部２における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化部２-４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点については削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図９〜図１１に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図９〜図１１は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図９では、図７の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１０及び図１１は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、ＣＶ演算部２におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１２に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶ演算部２では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。

さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２-５で、カメラベクトル演算部２-３，誤差最小化部２-４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２-５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部２-６においてより高精度なカメラベクトルが求められる。

上述した特徴点抽出部２-１及び特徴点対応処理部２-２では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２-３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。

カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。

ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。

以上のようにして求められたカメラベクトルは、全周ビデオカメラ１-１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図１３に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねて表示した画像例を図１３に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図１３に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。

［ＣＶ値基準一括追跡装置］
次に、以上のようにして求められたＣＶ値に基づいてＣＶ映像の一括追跡（トラッキング）処理を行う本発明に係るＣＶ値基準一括追跡装置の実施形態について、図面を参照しつつ具体的に説明する。
［基本構成］
まず、図１５を参照して、本発明の一実施形態に係るＣＶ値基準一括追跡装置の基本構成について説明する。
図１５は、本発明の一実施形態に係るＣＶ値基準一括追跡装置の基本構成を示すブロック図である。
図１５に示すように、本実施形態に係るＣＶ値基準一括追跡装置２００は、上述したＣＶ演算や、ＧＰＳとジャイロ、又はＩＭＵ等の計測手段などにより取得されるＣＶ値が付加されたＣＶ映像を、複数フレームにわたってトラッキング（追跡）処理するための装置であり、具体的には、ＣＶ画像取得部２０１と、初期画像特徴点選択部２０２と、隣接フレーム追跡部２０３と、特徴点追跡予想部２０４と、対応位置一括決定部２０５とを備えている。

ＣＶ画像取得部２０１は、予め上述したＣＶ演算を行うなどしてＣＶ値が求められたＣＶ画像を生成・取得する。
ＣＶ画像から特徴点を取得し、追跡を始めるにあたり、初期画像を定める。
初期画像特徴点選択部２０２は、初期画像から複数の特徴点を検出する。
ここで初期画像とは特徴点を検出したフレーム画像のことであるが、特徴点は時系列上で新たに複数抽出するので、全ての特徴点を同一画像で検出するとは限らないので、全てのフレームが初期画像となることもあり得る。初期画像とは特徴点を検出した画像であり、特徴点から見た呼称である。従って追跡して得た各特徴点にはその特徴点の初期画像があることになる。

隣接フレーム追跡部２０３は、初期画像の特徴点を隣接画像に追跡する。この場合、原則として処理画像の隣の一フレームのみの追跡でよい。一フレームのみの追跡で、当該初期画像の中の特徴点の概略三次元値が取得できるからである。
なお、初期画像において最初の追跡が行われ、その追跡データが基準となって三次元座標が取得されることになるが、この最初の初期画像における追跡データは、次の工程の追跡予想のために必要な三次元概略データを取得するためのものであり、最終的に採用される追跡データとはならない。ここでは予想位置の周囲に正しい追跡位置があるという仮定に基づいている。

特徴点追跡予想部２０４は、各追跡データとＣＶ値とから取得される複数特徴点の概略三次元座標とから、当該複数特徴点に隣接する複数フレームに亘る概略追跡位置を複数フレームに関して一括して予想する。
概略三次元値が分かれば、ＣＶ値から全てのフレームへの追跡予想位置が分かるということが重要である。
初期画像内の特徴点の概略三次元座標が既知となれば、ＣＶ値が既知であることから、特徴点の三次元座標が明らかになり、また、その三次元座標が関連するフレームのどの位置に二次元特徴点として投影されるかを演算で求められ、結果として二次元画像内に二次元特徴点として追跡位置を一括して予測して表示することができる。
このようにして初期画像の全ての特徴点が映り込んでいる全ての関連フレームにおける追跡位置の予測位置が演算で求められる。
なお、特徴点追跡予想部２０４による特徴点の関連フレームの予測は関連画像内に小領域の範囲として示されることになる。追跡予想位置を示す範囲はブロックでも良いし、円形領域でも良いが、ブロックが演算上は単純で扱いやすい。

対応位置一括決定部２０５は、特徴点追跡予想部２０４の予想により制限された複数フレームの中の概略追跡位置付近において、特徴点との対応位置を複数フレームに亘り、一括して詳細に検出する。
すなわち、対応位置一括決定部２０５では、既に特徴点追跡予想部２０４の予想により特徴点追跡の概略位置が求まっているので、範囲内に再度特徴点を検出するか、若しくは特徴点に対応する小領域の位置を再確認のため、再度範囲内で相関やマッチング処理により対応点を詳細に求める。
追跡位置が予想された後は、最初の初期画像で取得して隣接フレームに追跡した追跡データは破棄される。追跡が必要な全フレームに亘って、初期画像に最初の追跡も含めて再度詳細に関連する複数フレームに亘り、一括して、しかも同時に対応点を求めることになる。

一個の特徴点を複数のフレームに亘って追跡処理する場合、その位置が予想されていることはきわめて有利である。予想するためにはＣＶ値が必要であるから、前もってＣＶ演算しておくことが必要になる。この想定は十分に現実的な想定であり、もしＣＶ値が未知の場合であっても、初期画像における少数の特徴点（２０個程度）により複数画像に亘るＣＶ演算をすることで、他の多数の特徴点（１００〜３００個）の特徴点の予測位置を取得できるので効率的である。
さらに、効率的であるだけでなく、予測範囲をきわめて狭い小面積内に予想することで、追跡ミスを極端に減少させることができ、また、対応点位置をきわめて狭い範囲にのみ探すことで、精度の向上と演算時間の縮小が同時に可能となる。

このように、本実施形態にかかるＣＶ値基準一括追跡装置２００では、複数のフレームに亘る追跡予想範囲を小面積に限定し、ＣＶ値基準一括追跡することで、追跡エラーを減少させ、追跡精度を向上させ、演算時間を短縮することができることが最も特徴とするところである。
すなわち、一括して同時に予想し、一括して同時に検出できることが本実施形態のＣＶ値基準一括追跡装置２００の重要な特徴となる。
例えば、１０フレーム一括して予想することで、１０フレームを同時に検証できることになり、原理的に対応するときは１０フレーム同時に対応し、一フレームだけ対応しないことはないので、対応点が明確になり、エラーが減少する。

なお、最初の追跡が行われる初期画像は、必ずしも前もって決められたフレームという意味ではなく、新たな特徴点が追加された時点で、その新たに追加された特徴点の存在するフレームが当該特徴点にとって初期画像となる。
特徴点の追跡を始めるフレームが初期画像であり、全フレームに新たな特徴点が検出されれば、全フレームが初期画像となる。

［特徴点追跡予想］
以下、図１６を参照して、本実施形態のＣＶ値基準一括追跡装置２００における既知の特徴点を使用したＣＶ値基準一括追跡方法（特徴点予想）について、より具体的に説明する。
図１６は、本実施形態のＣＶ値基準一括追跡装置において既知の特徴点を使用したＣＶ値基準一括追跡方法の原理を説明するための説明図である。
同図において、符号７２１，７２２，７３２．７２４〜７３１は、複数のフレームＦ１，Ｆ２，Ｆ３，Ｆ４〜Ｆｎであり、７２１は特徴点Ａの初期画像となるフレームＦ１であり、特徴点Ａ７０１を含む小領域７０２が存在する。

ここでは、隣接する複数のフレーム７２２、７２３、７２４、〜７３１に亘って小領域７０２を一括追跡する場合を説明する。
追跡は、概略ＣＶ値を使って追跡位置を予測することになるが、ここでは、説明を単純化するために、一つの小領域に一個の特徴点とし、その追跡予想値を三通りと設定した。
三通りの予想はそれぞれＡＢ方向、ＡＣ方向、ＡＤ方向となる。実際にはもっと多数の方向とするのが適切である。
さらに、図１６では一つの小領域に含まれる特徴点はＡの一個としたが、必ずしも一個である必要はなく、複数個の特徴点でもかまわない。

以下、図１６を参照して、上述した概略ＣＶ値による特徴点追跡予想部２０４の働きである特徴点追跡予想について詳細について説明する。
以下に示す特徴点追跡予測により、複数フレームに亘って特徴点の追跡予想できることが理解できる。
概略ＣＶ値は最終的に求められるＣＶ値より精度が悪いのが一般的である。ただし、目的によっては、例えば座標系分離を目的とする場合は、ＣＶ値を求めることではなく、座標系分離が目的であるために、同等の精度でも良い場合がある。

概略ＣＶ値が分かれば、図１６に示す特徴点Ａ（７０１）の各フレームにおける位置はＣＶ値から求められる。何故なら、各フレームに於ける特徴点からＣＶ値が求められているので、また特徴点の三次元座標もＣＶ値と同時に求められているので、初期画像となる特徴点の位置が分かれば、逆演算をすることで元の特徴点の位置に戻すことができる。
ただし、通常のＣＶ画像は、ＣＶ値は既知であっても、同時に求めた特徴点は既に破棄されているため、ＣＶ基準一括追跡のための特徴点は新たに求められることになる。図１６の特徴点Ａは新たに抽出された特徴点であってもよい。

そして、さらにその新たに求められた三次元座標は隣接するフレームに亘って追跡するという行程を経て、その特徴点の三次元座標を取得することができる。
もちろん、概略ＣＶ演算時の特徴点が破棄されずに残っていれば、その特徴点の三次元座標が使えるので、このように特徴点Ａを新たに抽出する必要はなく、そのまま三次元座標の分かっている特徴点としてＡと同じ意味で使えることになる。

ここで、特徴点の三次元座標は既知となっても、概略ＣＶ値であることから精度は目的の精度より低いと考えるのが適切である。
何故ならもし目的の精度が出ているのであればわざわざＣＶ値を求める必要はないからである。
ただし、上述したように、例えば座標系分離を目的とする場合は、目的が高精度のＣＶ値を求めることではなく、座標系分離が目的であるために同等の精度でも良い場合がある。

さて、特徴点の概略三次元座標が既知となったことから、その特徴点が各フレームのどの位置に存在しているかをＣＶ値から演算により求められる。何故なら、特徴点の各フレームの特徴点位置からＣＶ値が求められたのだから、その逆演算をすればＣＶ値が求められる。
ここでは、概略ＣＶ値であるために特徴点の三次元座標値も概略値となる。概略だからこそ追跡予想なのであって、精度が高ければ追跡予想ではなく追跡決定となる。この追跡予想によって特徴点が各フレームで対応する範囲を絞り込むことができるのであり、それが本発明のＣＶ値基準一括追跡の基本原理である。
さらに、ここに揺れ止め画像による湧きだし点基準を導入すると、予測範囲は狭い範囲の二次元だった予測範囲が、さらに狭い範囲の一次元領域に限定されてくる。予想範囲は狭い方が有利であり、ＣＶ基準一括追跡にはさらに好都合になる。
以上のような追跡予想の原理により、以下、実際の追跡方法について具体的に説明する。

図１６に示すように、フレーム７３１までＣＶ値基準一括追跡して、その予想範囲内に特徴点Ａを含むのは、せいぜいフレーム７２４程度までであり、全てのフレームの予想範囲内に特徴点Ａを含むのはＡＢ方向のみであり、他の方向のものはＡを含まないことが読み取れる。
従って、追跡はＡＢ方向のみが正しいと判定する。この時にはフレーム７３１のみならず、全てのフレーム７２２、７２３、７２４、７２５、７２６、７２７、７２８、７２９、７３０全てのフレームにおいて追跡が完了していることになる。

このようにしてＣＶ値基準一括追跡は行われ、ＣＶ値基準一括追跡が成功すればその時同時に追跡値も求まり、同時にその追跡値によりＣＶ演算もできることになる。
ここで、もしＣＶ値基準一括追跡ではなく、各フレーム個別に追跡すると、上述した三方向とも隣の３フレームまでは追跡できたことになり、誤差の多い追跡データが取得されてしまう。
このことからも、本発明のＣＶ値基準一括追跡方法が優れていることが理解できる。

［既知特徴点の使用］
上述のように、ＣＶ値を求めるときには同時に多数の特徴点を用いているが、ＣＶ画像として記録するときにはカメラ位置のみの座標と姿勢を記録するが、多数の特徴点の三次元座標はデータとして残していない。
そこで、ＣＶ値基準一括追跡をＣＶ演算からの一連の作業として行うときには、多数の特徴点の三次元座標を記録しておくことで、新たに特徴点検出をしなくても、前記特徴点対応位置予測が可能となる。
従って、図１５に示した初期画像特徴点選択部２０２において、既に概略ＣＶ演算に用いた特徴点を再利用することになる。

また、追跡予想は元々予想であり、正確な追跡そのものではないので、概略ＣＶ値でもよい。そこで中間的処理として、概略ＣＶ値は少数の特徴点（１０〜２０個程度）により取得できるので、少数の特徴点を利用して概略ＣＶ値を求め、次に特徴点を追加して全ての特徴点（１００〜３００個）を一旦隣接するフレームまで一回の追跡処理をすることで、その後の複数フレームに亘る特徴点の追跡を全て予想することができる。
このようにすることで、追跡エラーを減少させ、追跡精度を向上し、演算時間を短縮することができる。

［新規特徴点の使用］
上述したように、ＣＶ値を求めるときには、同時に多数の特徴点を用いているが、ＣＶ画像として記録するときにはカメラ位置のみの座標と姿勢を記録するが、多数の特徴点の三次元座標はデータとして残していない場合が多い。このようにＣＶ画像は、一般にＣＶ演算時に用いた特徴点は破棄しているので、新たに初期画像を定め、特徴点を抽出する必要がある。
ＣＶ演算時に用いた特徴点を用いず、新たに多数の特徴点を検出して、複数フレームに亘り、対応位置を予測することでも、一括特徴点対応を求めることができる。
これは、ＣＶ画像におけるデータの持ち方に由来する現状対応である。

［関数特徴点の指定］
次に、上述した本実施形態のＣＶ値基準一括追跡装置において、小領域画像による予想と関数特徴点の指定を行う場合について具体的に説明する。
小面積で予想した特徴点の予想範囲に特徴点の対応点を求める場合は、従来は特徴点を含む小面積画像そのものを相関又はマッチングで対応点を求めることで追跡データを求めるのが一般的であるが、小領域は点ではないために、マッチングや相関によって一致を得ても、正しい追跡点にはならない。
本発明では、予想した小面積内に関数特徴点抽出操作を行い、対応する小面積において新たに得られた一個の関数特徴点は、初期画像における関数特徴点と一対一に対応するという仮定の下に、追跡データを取得するようにしてある。

関数特徴点とは、特徴点を検出する際に、数学的演算によって求められた画素一点を示す特徴点である。
具体的には、関数特徴点は、図１７Ａ〜Ｃに示すように、例えば画像上の一点が周囲よりも明るい点となれば、関数特徴点であり、座標上の一点で定義できる。一方小領域画像特徴点は一点ではなく、ある微少面積を持った小領域が特徴点として定義される。
また、関数特徴点は、例えば二方向に移動させた地点の明るさが同時に極値を持つような地点を検索することでも求められる。

一個の関数特徴点の周りを切り取った少領域画像により、対応位置の予測を行うことから、予想小面積内には通常一個の関数特徴点が見つかると考えられるが、特徴点が複数個見つかる場合は、閾値を制限して一個の特徴点に制限する必要がある。ただし、複数個見つかる場合はその特徴点を破棄しても全体の演算には大きな影響を与えない。
また、はじめから一小面積内に、複数の関数特徴点を抽出し、複数の関数特徴点を追跡しても良い。

また、関数特徴点として複数の種類を定義し、種類別に検出できるので、種類の一致を導入すれば、対応特徴点を１対１に絞り込むことが十分可能である。
このようにすることで、これまで複数フレーム追跡によって発生していたフレーム累積誤差をほぼゼロにすることができる。
トラッキングエラーを少なくし、複数のフレームに亘る追跡においても、誤差無く追跡することが可能となる。

なお、「関数特徴点」の名称は、一般のブロック「小領域画像特徴点」との対比として用いているが、本発明における追跡予想、対応点決定においては、関数特徴点と小領域画像特徴点とをどちらも特徴点として扱う。
原理的に、特徴点を関数特徴点のみに限定する必要はないからである。
ただし、精度の観点からは関数特徴点を検出し、その周囲を切り取った小領域画像特徴点を追跡して概略位置を求め、次に再び関数特徴点により一致を求めることで、それぞれの特徴を活かして、精度を向上させることが可能である。

以下、図１７〜図２０を参照して、関数特徴点による高精度ＣＶ値基準一括追跡装置の前処理としての関数特徴点を有効に抽出する具体的方法を説明する。
図１７Ａ〜Ｃに示すように、関数特徴点とは、例えば画像上の一点が周囲よりも明るい点となれば関数特徴点であり、座標上の一点で定義できる。一方、小領域画像特徴点とは一点ではなく、ある微少面積を持った小領域が特徴点として定義される。
また関数特徴点は、例えば二方向に移動させた地点の明るさが同時に極値を持つような地点を検索することでも求められる。

関数特徴点検出の一例を示す。
画像の各画素の明るさをPとする。
関数特徴点条件を満たす座標を（x,y）とする。
座標（x,y)の明るさはP（x,y）と表す。
３＊３のブロックで平均Pを取る。（ノイズカット）
移動は１／１０ピクセル単位とする。

ここで、（x,y）が関数特徴点となりうる条件は
１．関数特徴点の明るさｐ（x,y）は、
a〜ｄ方向移動において、二つ以上の方向で極値を持つ
ΔP＝０
２．関数特徴点の明るさｐ（x,y）の微分値ΔP（x,y）は、
a〜ｄ方向移動において、二つ以上の方向で極値を持つ
ΔΔP＝０
３・ｐが少なくとも一つの方向で極値を持ち
同時にΔPが異なる方向で極値を持つ
ここで、特徴点の種類は上記の３種類となる。上記関数特徴点の分類は追跡（トラッキング）時の情報となる。

図１８は、一括追跡前の処理として関数特徴点を検出する検出装置の一例を示すブロック図である。
同図に示す関数特徴点検出装置４００では、まず、概略ＣＶ画像取得部４０１は、概略ＣＶが既に求められているＣＶ画像を用いる。以降の演算時間を短縮するために、非関数特徴点領域抽出部４０３で、特徴点とはなり得ない領域を先に削除しておいて、次の作業に進む。
画像内で明るさの差の無い領域は特徴点とはなり得ないので、領域毎削除する。空の部分やビルの白い壁の部分などはそれに相当する。
明るさの差のある部分のみが特徴点候補として残ることになる。明るさの差が検出閾値となるが、その閾値を決めるのが非関数特徴点検出閾値設定部４０２である。
ここで検出閾値を自由に設定し最適な値に設定することができる。

次に、関数特徴点領域範囲選択部４０４においては、削除されずに残った領域において、関数特徴点を検出する範囲を設定する。
関数特徴点の検出の閾値を関数特徴点検出閾値設定部４０５で設定する。閾値を適切に設定することで適切な関数特徴点が適切な数だけ検出できることになる。また、画像全域から関数特徴点を検出する場合は、画像の部分や方向で異なる閾値を設定することが望ましい。
また、関数特徴点検出が明るさに依存しないように、明るさ規格化部４０６において、平均の明るさを揃えておく必要がある。
そこで、上述した「条件１，２，３」を満たす関数特徴点を関数特徴点検出部４０７において検出する。
このようにして検出した関数特徴点は、関数特徴点種類特定部４０８において、その条件分類と移動方向の種類の分類による各種組み合わせにより関数特徴点の種類が特定される。
条件分類される関数特徴点の種類の例を、図１７Ｂの３０８〜３２１に示す。

以上のようにして得られる関数特徴点は、図１９に示すように、初期画像１１内に多数検出される。その中の一つの関数特徴点（１１３１）に着目して説明する。なお、説明は関数特徴点１１３１と初期画像であるフレーム１１について行うが、他の関数特徴点１１３２〜１１４７においてもまったく同様である。また、フレーム１２〜１４に関しても関数特徴点が検出されればフレーム１１と同様である。
ここでは、フレーム１１で検出された関数特徴点が、フレーム１２〜１４に対応点を求めることになる。
図１９に示すように、一個の関数特徴点１１３１は、図形４１の一部である。この関数特徴点の周囲を１０＊１０程度の面積で切り取り、その小領域画像を２１とする。これにより、関数特徴点は小領域画像に置換されたことになる。
また、関数特徴点を中心とする定型のブロックを５１とする。初期画像においては小領域画像２１とブロック５１は一致している。

図２０に、関数特徴点の周りを切り取った小領域画像２１を時系列のフレーム１２〜１７に向かって追跡した状態を示す。
同図に示すように、関数特徴点の周りを切り取った小領域画像２１は時系列のフレーム１２〜１７に向かって追跡するのであるが、従来方法で小領域画像を追跡すると、その追跡結果は符号２２〜２７に示すようになるが、正しくは、関数特徴点を囲む本来の範囲は符号５２〜５７で示すものでなければならない。この差は、関数特徴点は本来一点であるにもかかわらず、追跡のために小領域画像として追跡した結果生じるものである。

そこで、本実施形態においては、小領域画像２１の隣のフレームの２２のみをマッチングによって追跡し、２１と２２の対応から小領域画像の三次元座標を求め、ＣＶ値が既知であることから、関連する前フレーム（ここでは１２〜１７）の追跡予想位置を求める。
ここではＣＶ値は既に求められているとしているが、もし未知の場合は、小数の小領域画像追跡により求めることができる。

ここで、予測される関連フレームの関数特徴点位置は、上述した従来方法による小領域画像の追跡によって取得された範囲（２２〜２７）とほぼ一致する。そこで、ここでは関数特徴点の追跡２２〜２７を予想範囲として説明する。
すなわち、関数特徴点はフレーム１２〜１７に追跡した場合に２２〜２７の範囲に入ると予想したことになる。もし、実際にこの範囲に入らない場合があるとすれば、そのときは、最初に設定した小領域画像の面積を多少大きくすればよいだけである。

そこで、予想範囲に関して、この予想範囲の中に初期画像の関数特徴点の正しい対応地点が存在するとして、再度２２〜２７に関数特徴点を検出する処理を行う。
このときに求まる関数特徴点が、図２０に示す１１３２〜１１３７である。同図において、求まった関数特徴点が作るブロックは５２〜５７であり、２２〜２７における小領域画像との差が、従来方法による誤差であることになる。

なお、２１〜２７の範囲で再度特徴点を検出するときに、一個以上の関数特徴点が求まることもないとはいえない。そのときには、関数特徴点の条件と移動方向３の自由度による複数の種類に分類できるので、その分類の一致を確認することで一個に絞り込むことができる。また、それでも複数となる場合には、この関数特徴点を破棄すればよい。他に十分の数の特徴点を検出しておくことで、演算上はまったく問題ない。
このようにして複数フレームに亘る対応する特徴点検出が成されたことでＣＶ値基準一括追跡が行われたことになる。
その後は、この精度良く抽出された特徴点を使って、従来通りのＣＶ演算を行うことになる。

［高精度ＣＶ演算装置］
次に、本発明にかかるＣＶ値基準一括追跡装置を用いた高精度ＣＶ演算装置の一実施形態について、図２１を参照して説明する。
図２１に高精度ＣＶ演算装置５００は、画像取得装置５０１と、三次元特徴点記録部５０２と、概略ＣＶ値取得部５０３と、ＣＶ画像生成装置５０４と、ＣＶ基準一括追跡部５０５と、特徴点追跡データ取得部５０６と、高精度ＣＶ演算部５０７とを備えている。

画像取得装置５０１は、自由に移動するビデオカメラで撮影した動画像を取得し、記録する。
三次元特徴点記録部５０２は、画像の中に出来るだけ均一に、数百点程度の特徴点を検出する。特徴点を複数フレームに亘って追跡することで対応点を検出し、複数の特徴点とその対応関係から、撮影時のカメラの三次元位置と姿勢を全フレームについて使用した特徴点の三次元座標を求める。
概略ＣＶ値取得部５０３は、同時にカメラベクトル（ＣＶ）を演算（ＣＶ演算）して前記各フレーム画像のカメラベクトル値（ＣＶ値）を求める。
ＣＶ画像生成装置５０４は、ＣＶ値を画像の各フレームに付加した画像を生成する。
ここまでの構成は、上述したＣＶ演算（図１〜図１３参照）とその演算過程で取得した特徴点の三次元座標を記録する部分である。

ＣＶ基準一括追跡部５０５は、画像の中に検出した三次元座標を持つ多数の特徴点を用いて、特徴点の対応点を本発明にかかるＣＶ値基準一括追跡装置により、多くの隣接画像に亘ってＣＶ値基準一括追跡処理する。
このＣＶ基準一括追跡部５０５は、上述した図１５に示した本発明にかかるＣＶ値基準一括追跡装置２００と同様の構成となる。
ここでは先に求めた三次元特徴点記録部５０２の三次元特徴点を再利用するが、さらに新たに特徴点を追加取得して、その三次元座標を求めて利用することができる
ここで、新たな特徴点を追加すれば、それだけＣＶ演算の精度を増す原因となるが、もし追加取得しないで概略ＣＶ値を求めるときに用いた特徴点を再利用する場合であっても、ＣＶ値基準一括追跡部５０５により追跡されるフレーム数が圧倒的に増加することになるので、結果としてフレーム当たりの有効特徴点数が大幅に増加することになる。

特徴点追跡データ取得部５０６は、ＣＶ演算で使用した多数の特徴点についてＣＶ基準一括追跡方法により再度特徴点の追跡データを高精度で取得し直す。
一つの特徴点に着目した場合、連続する多くのフレームに亘って追跡データが取得されることになる。このことからフレーム当たりの特徴点数が増大するのみならず、フレーム間隔で決まるＣＶ演算時のカメラ間距離が増大することになる。
さらに、高精度ＣＶ演算部５０７は、特徴点追跡データから精度の高いＣＶ値を演算で求める。

既に詳しく述べているが、ＣＶ演算の原理とは特徴点を底辺とし、カメラ移動によるフレーム間のカメラ距離を底辺とする三角形を多数用いて行う三角測量であり、三角測量時の三角形の数が多く、底辺距離が長ければ精度は向上することになる。概略ＣＶ値を求める従来のＣＶ演算では、追跡距離が短いため底辺距離が短距離となり、頂点が鋭角の三角形になり、高い精度が取れない。
しかしながら、本発明にかかるＣＶ値基準一括追跡方法によれば、特徴点数が増大するだけでなく、精度の高い前記底辺距離が長距離で取れることになり、ＣＶ演算時の精度が大きく向上することになる。
こうして得られたＣＶ値は、初めに取得した概略ＣＶ値と比較して数段精度が高くなっている。従って、高精度のＣＶ画像が必要な場合はこのような本実施形態の高精度ＣＶ演算装置５００を用いることが好ましい。

［リアルタイム高精度ＣＶ演算装置］
次に、本発明にかかるＣＶ値基準一括追跡装置を用いたリアルタイム高精度ＣＶ演算装置の一実施形態について、図２２を参照して説明する。
図２２に示すリアルタイム高精度ＣＶ演算装置６００は、基本構成は図１８で示した関数特徴点検出装置４００と殆ど共通するが、本実施形態では、ＣＶ値が既知ではないために、特徴点検出と同時にＣＶ演算も求めている点が異なる。
具体的には、リアルタイム高精度ＣＶ演算装置６００は、まず、リアルタイム画像取得部６１１が、動画をリアルタイム画像として取得する。
次に、関数特徴点抽出部６１２は、関数特徴点を検出する。
ここで、本実施形態では、関数特徴点画像置換部６０９において、関数特徴点から概略ＣＶ値を求める追跡処理のために、２０個程度の関数特徴点を小領域画像に置換する。

次に、置換画像追跡部６１３により、２０個程度の小領域を追跡し、概略ＣＶ演算部６１４でＣＶ演算を行い、概略ＣＶ値を求める。
これにより、概略ＣＶ画像取得部４０１で、概略ＣＶ値を持ったＣＶ画像を取得したことになる。なお、ここでの小領域は２０個程度のため、精度は十分ではないが、概略位置を予測するには十分である。
これによって条件は図１８で示した関数特徴点検出装置４００とまったく同一となったことになる。
従って、これ以降は図１８で示した関数特徴点検出装置４００の場合とまったく同様の構成からなる関数特徴点検出部６１５により、関数特徴点による高精度ＣＶ値基準一括追跡がなされる（図１８及び該当説明参照）。

関数特徴点検出部６１５により、結果として精度の高い特徴点が取得され、同時に関数特徴点一括追跡部６１６においてＣＶ値基準による一括追跡が行われる。
追跡結果として追跡データ取得部６１７で高精度の追跡データが得られたことになる。
高精度の追跡データが取得できれば、最終的に高精度ＣＶ演算部６１８により、精度の高いＣＶ値を、短時間に求めることができる。
以上により、本実施形態のリアルタイム高精度ＣＶ演算装置６００によれば、精度の高い特徴点による一括追跡により精度の高い追跡データが取得できたことで精度の高いＣＶ値が得られることになる。

［ＣＶ領域画像前置装置］
次に、以上説明した本発明のＣＶ値基準一括追跡装置等を用いて実現される本発明に係るＣＶ領域画像前置装置について、図面を参照しつつ具体的な実施形態を説明する。
［ハードＣＶ領域画像生成装置］
まず、図２３を参照して、本発明の一実施形態に係るＣＶ領域画像前置装置を構成する構成要素のうち、ハードＣＶ領域画像生成装置までを説明する。
同図に示すように、ハードＣＶ領域画像生成装置は、自由に移動するビデオカメラで撮影した動画像を取得し、記録する画像取得装置１と画像の中に特徴点を検出し、特徴点を複数フレームに亘って追跡することで対応点を検出し、複数の特徴点とその対応関係から、撮影時のカメラの三次元位置と姿勢を全フレームについて求めるカメラベクトル（ＣＶ）を演算して求め、各画像のカメラベクトル値（ＣＶ値）を求めるＣＶ演算装置３を備える。

ＣＶ値は一般に静止座標系を基準として求められるが、必ずしも静止座標系に限定されるものではない。監視対象物が移動体であれば、移動体とカメラとの関係のＣＶ値を求めることもまったく同様に可能である。運動は相対的であり、基準を何処に置くかは全くの自由であるからである。さらに正確に表現すれば、対象物を構成するソフトＣＶ領域画像毎にＣＶ値が定義されることになる。従って画像の中の複数の対象物にたいして個々にＣＶ値を求めることも可能である。このことは同一画面に複数のＣＶ値を与えることを意味するが、ここでは説明上画像を代表する一個の座標系に対するＣＶ値を用いている。
後述するＲＶ値又は、ＪＶ値で結合されたＲＶ値は、前記対象物毎に与えた複数のＣＶ値と数学的に同等であり、常に変換可能である。

ＣＶ画像生成装置４は、画像の各フレームにカメラベクトル値（ＣＶ値）を付加した画像を生成する。
ＦＰ付加ＣＶ画生成装置６は、ＣＶ演算時に同時に副次的に求まるＦＰ座標（特徴点三次元座標）をＣＶ画像生成装置４の出力に、付加したＦＰ付加ＣＶ画像を生成する。ここでＦＰ座標は三次元座標を持つので、三次元座標として付加するのが有利であるが、画像上の二次元座標として持つことでも効果はある。
ＦＰ値は何時でも画像から抽出できるので、画像の記録や伝送においては、ＦＰ値を付加しないのが常である。ＣＶ値が分かっていれば追跡は狭い範囲に限定されるので、ＦＰ値は比較的簡単に求められるので、必要な時に画像から直接求めることが可能である。ただし、ＦＰ値を付加した方が、再演算しないで済むので、目的によっては好都合となる。
そして、ＣＶ画像にさらに以下の処理を加えることで、新しい画像処理の世界が開ける。

ハードＣＶ領域画像分割装置８は、ＣＶ画像生成装置４の出力から、若しくは前記ＦＰ付加ＣＶ画像生成装置の出力から、得られたＣＶ画像を隙間無く幾何学的なハードＣＶ領域画像に分割する。
一般には矩形のブロックを用いるが、これは画像を表す図法により様々な形状となる。
ＣＶ値基準一括追跡方法と手段においては、台形ブロックを前記ハードＣＶ領域画像分割装置によって分割された各ＣＶ領域画像の対応点を隣接画像に亘って、上述したＣＶ基準一括追跡方法等により追跡（トラッキング）する。

ＴＶ演算装置９は、上述したＣＶ基準一括追跡方法等によりにより全ＣＶ領域画像のトラッキングベクトル値（ＴＶ値）を求める。
なお、ＴＶ値は、精度の問題はあるものの、上述した本発明に係るＣＶ値基準一括追跡の技術によらなくて求めることは可能である。従って、本実施形態に係るＣＶ領域画像前置装置や、これを用いた後述する各種装置（図２８以下を参照）においては、本発明に係るＣＶ値基準一括追跡装置を用いることなく特徴点のＴＶ値（追跡データ）を求めることで対応することも可能である。
また、上述したように、画像から直接ＣＶ値を取得する特徴点追跡装置とＣＶ演算装置によらなくても、原理的にはＧＰＳとジャイロとの組み合わせやＩＭＵ装置等の従来技術でＣＶ値を求めることも可能であり、そのようにして求めたＣＶ値を用いて新たにＴＶ値（追跡データ）を取得することも可能であり、そのようなＴＶ値（追跡データ）によって、本実施形態に係るＣＶ領域画像前置装置や、これを用いた各種装置を実現することもできる。

ハードＣＶ領域画像生成装置１０は、画像の各フレームにＣＶ値と、ＴＶ値を付加した画像を生成するハードＣＶ領域画像を生成する。
画像の全てのＣＶ領域画像をトラッキングすることは容易ではない。そこで、本実施形態では、画像を分割したブロックＣＶ領域画像の移動に関する法則性を見いだし、全ブロックＣＶ領域画像に追跡データを与える。

ここで、原理的にはＣＶ演算装置３は、図２３に示す位置ではなく、ＴＶ演算装置９の次の行程に設置することも可能である。ＴＶ値からは直ちにＣＶ値を演算できるため、図２３に示す本実施形態のようにＣＶ値とＴＶ値を別々に演算することは無駄があるようにも思える。
しかしながら、現実的な装置の実現上、前もって代表する座標系のＣＶ値を取得することで画像の回転揺れ止めが可能となり、回転揺れ止め画像を用いることでその後の処理がきわめて容易になることから、ここではＣＶ値を先に求め、そのＣＶ値と回転揺れ止め画像を用いてハードＣＶ領域画像分割をする処理工程が行える構成としてある。当然、再度ＪＶ値から精度の高いＣＶ値を求めることは可能である。

ここで追跡データとしては、隣接特徴点との追跡値とＣＶ値から全てのフレームについて概略値が得られる。このようにＣＶ値基準により、追跡地点をかなり小領域の範囲に絞り込むことができる。
本発明においては、画像がＣＶ値と共にハードＣＶ領域画像のＴＶ値を持つことに特徴がある。
追跡の予想範囲がきわめて微少な範囲に限定されることで、演算時間の短縮というメリットのみならず、追跡エラーが発生する確率が大きく減少するというメリットが生じる。

本発明のようにＣＶ値基準とすると同時に、ＣＶ値とＴＶ値とを持つ場合には、ＣＶ値は画像を代表する座標系に対して一義的に決まる。
ＣＶ値が決まれば、ＣＶ値基準とすることで追跡はきわめて限定された範囲の中に求められる。
さらにＣＶ値無しの二次元画像の二次元トラッキング値取得演算と比較して、追跡がきわめて容易になり、高速化され、画像の再構成が単純化され、そのことでデータ量を大幅に減少できることになる。

また、代表座標系（代表座標系は静止座標系とするのが一般的であるが、移動体に代表座標系を取ることも可能である）以外の対象に対しては、一般には二次元検索が必要となるが、代表する座標系以外の対象に対するＣＶ値を個別に求めれば、同じように予想範囲を微少範囲に限定できることになる。
しかし、一般画像の性質として、代表する座標系の対象物のみのＣＶ値で表現できる範囲が画像の大部分を占めているので、ＣＶ値は代表座標系の一つで十分である。一般には世界座標系となる静止座標系を代表座標系とする場合が多い。また、目的部分が静止座標系でない場合は、移動する対象物を第二の代表座標系とすることができる。
さらに、このようにして代表座標系を増加せしめることは可能であるが、全てを代表座標系とすることは現実的ではないので、複数の代表座標系を用いても、それら代表座標系に属さないＣＶ領域画像が生じる場合がある。

そこで、代表座標系以外の部分は小領域限定が不可能となるが、その部分のみ二次元検索をしたとしても、検索範囲は静止座標系と仮定した検索範囲から扇形に広がる範囲であり、微少領域の検索範囲からそう大きくずれる確立はきわめて少なく、部分的に二次元検索したとしても、演算時間はかなり短縮されることになる。
一方、代表座標系以外の部分を二次元検索することなく、一括追跡とする場合は、後述する「座標系分離装置」とその実施例に示すように、対象となる領域の座標系を検出して、その座標系で検索することで一括追跡が可能となり、最終的には解決される。
この代表座標系の関する事実は、以下のソフトＣＶ領域画像、対象物ＣＶ領域画像に関しても同じ共通理解が成り立つことは重要である。

［ソフトＣＶ領域画像生成装置］
次に、図２３を参照して、本発明の一実施形態に係るＣＶ領域画像前置装置を構成する構成要素のうち、ソフトＣＶ領域画像生成装置までを説明する。
同図に示すように、ハードＣＶ領域画像生成装置１０の出力から、複数のハードＣＶ領域画像を結合するなどして、ＣＶ領域画像の境界線を形成し、ソフトＣＶ領域画像を決定する。
あるいは、ハードＣＶ領域画像生成装置を介さずに、同種の色を塗り絵のように埋めていき、又は輪郭線を抽出して情報を付加し、直接同種テクスチャーＣＶ領域画像を分離する。
これらの機能を組み合わせることでさらにＣＶ領域画像抽出の精度は向上する。

具体的には、ソフトＣＶ領域画像分割装置１２は、このようにして画像内容に沿った複数のソフトＣＶ領域画像からなる画像を再構成する。このことで画像はソフトＣＶ領域画像の結合体として再構成されたことになる。
また、ＲＶ演算装置１３は、ソフトＣＶ領域画像に分割された画像の各ソフトＣＶ領域画像に関して、ソフトＣＶ領域画像をＣＶ値基準により一括追跡し、基準となる座標系に対する位置及び姿勢、及び運動を演算し、ソフトＣＶ領域画像のＣＶ領域画像ベクトル値（ＲＶ値）を求める。

ＲＶ値はＴＶ値と互換関係にあるが、ＴＶ値のみで扱うと元のハードＣＶ領域画像の数だけ用意しなければならなくなり、データ量も増加し煩雑になるので、ソフトＣＶ領域画像の数のＲＶ値として画像を表現することになる。
ただし、何時でもＣＶ領域画像単位のＴＶ値に変換することは可能である。また画像の内容をＲＶ値として扱う方が人間の視覚の認識における状況とよく類似していることから単純され、しかも理解が得られやすいという長所がある。
ＴＶ値はＲＶ値に整理されたことになるので、ＲＶ値を持つ画像はＴＶ値を持つ必要はない。ＲＶ値を求められなかった部分はＴＶ値を持つことでＲＶ値の代用とすることができる。
さらに、ソフトＣＶ領域画像生成装置１４は、画像を構成する全ＣＶ領域画像が、ＣＶ値とＣＶ領域画像ベクトル値（ＲＶ値）を付加して持つ画像を生成する。

［対象物画像生成装置］
次に、図２３を参照して、本発明の一実施形態に係るＣＶ領域画像前置装置を構成する構成要素のうち、対象物画像生成装置までを説明する。
図２３に示すように、対象物認識装置１６は、ソフトＣＶ領域画像生成装置１４の出力から、複数のソフトＣＶ領域画像を所属する対象物毎に結合するなどして、若しくは前記ソフトＣＶ領域画像生成装置を介さずにＣＶ画像生成装置４から直接同種対象物ＣＶ領域画像を分離するなどして、画像内容に沿った複数のソフトＣＶ領域画像から画像を再構成する。
対象物認識に関する技術として、本願発明者は、上述した特開２０００−２９５６１１号等でＰＲＭを提案している。この方法によれば、例えば、画像の中から、複数のＣＶ領域画像からなる対象物が認識されることになる。それと同時にその対象物に属するソフトＣＶ領域画像が分類されることになる。すなわち、対象物を認識すると同時にその対象物に所属するソフトＣＶ領域画像が自動的に選択される。このようにここでは対象物は複数のソフトＣＶ領域画像からなるとの前提が存在している。さらに、画像はその一部又はその全てを複数の対象物から再構成される。

次に、ＪＶ演算装置１７は、対象物ＣＶ領域画像に分割された画像の各対象物ＣＶ領域画像に関して、対象物を構成する各ソフトＣＶ領域画像は、一対象物としての関係を保ち、対象物として基準となる座標系に対する位置及び姿勢、及び運動を演算し、複数のソフトＣＶ領域画像の複合体としての複数のＣＶ領域画像ベクトル（ＲＶ）を統合し、対象物別にソフトＣＶ領域画像を分類したＪＶ（ジョイントベクトル）を求め、対象物毎の分類データを取得する。
このことで対象物の位置と対象物を構成しているソフトＣＶ領域画像との関係をベクトルで表現できることになる。

そこで、対象物ＣＶ領域画像生成装置１８では、画像を構成する対象物及び対象物を構成するソフトＣＶ領域画像が、ＣＶ値と、ＲＶ値（ＣＶ領域画像ベクトル値）と、ＪＶ値とで統合された画像を生成する。
画像は最終的に複数の対象物の集合として表現され、さらにそれぞれの対象物は複数のソフトＣＶ領域画像の集合として表現されたことになる。

［ＣＶ領域画像生成装置］
次に、図２４及び図２５を参照して、上述したハードＣＶ領域画像の生成を行うハードＣＶ領域画像分割装置８、ＴＶ演算装置９、及びハードＣＶ領域画像生成装置１０の各部の具体的な構成について説明する。
［ハードＣＶ領域画像分割装置］
ハードＣＶ領域画像分割装置８は、図２４に示すように、以下の各部を備える。
ブロック分割部８４は、画像をなるべく簡単な幾何学的ブロックに分割する。
ここではブロック分割によりハードＣＶ領域画像を生成したことになる。一般には矩形は幾何学的に単純なのでよく使われるが、ここでは使用する図法によってブロックの形状は変化するので、必ずしも直線の結合とはならないが、便宜上、ハードＣＶ領域画像として台形ブロック、又は当該台形ブロックを含む最小の矩形ブロックがしばしば用いられる。
処理の過程で、ブロック分割により、ブロックがそのままハードＣＶ領域画像となることもあるが、一部においてはブロックが複数集まって、あるいはブロックがさらに分割されて、ハードＣＶ領域画像となることがあるので、ここではあえてハードＣＶ領域画像とブロックを使い分けて説明する。

ブロック分類部８５は、ブロックを自己相関処理により、その相関値のピークの有無から、特徴ブロック、及びそれ以外のブロックに分類する。
ゴム紐結合部８６は、特徴ブロックと前記それ以外のブロックに対して、後の処理において特徴点が移動してもその二次元又は一次元の配列順番を変えずにゴム紐状に伸び縮みするように、柔軟結合しておく。
ブロック画像生成部８７は、全てのブロックについて、抜けなくその順番を変えずに、ゴム紐状に柔軟に結合した画像を一時的に生成する。
以上により、ハードＣＶ領域画像分割装置８が構成される。

ここで、図２５に示すように、本発明にかかるＣＶ値と湧きだし点の双方を基準としてＣＶ値基準一括追跡処理を行う場合には、ハードＣＶ領域画像分割装置８は、上述したブロック分割部８４、ブロック部分類部８５、ゴム紐結合部８６、ブロック画像生成部８７の各部に加えて、揺れ止め画像生成部８１と湧きだし点抽出部８２を備えるようにする。
揺れ止め画像生成部８１は、ＣＶ画像生成装置４からの出力に対し、付加されたＣＶ値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する。ここで、３軸回転揺れ止めで十分ではあるが、３軸回転揺れのみならず、３軸位置揺らぎに対しての揺れ止め画像を生成することがより好ましい。
湧きだし点抽出部８２は、ＣＶ値から、隣接する画像に対する湧きだし点と吸い込み点を求める（湧きだし点については図１４参照）。ただし、本発明に係るＣＶ値基準一括追跡処理を行う場合には、揺れ止め画像生成部８１と湧きだし点抽出部８２は必ずしも必要ではないが、実施形態としては揺れ止め画像生成部と湧きだし点抽出部８２がある方が有利である。
追跡は演算時間がかかることから、できるだけ効率的な追跡方法をとるのが好ましい。
ここでは特に、ＣＶ値基準による場合において、揺れ止め画像と湧きだし点抽出は絶対条件ではないことが重要である。

［ＴＶ演算装置］
ＴＶ演算装置９は、図２４に示すように、以下の各部を備える。
まず、ＴＶ演算装置９は、特徴点ブロック一括追跡部９１を備える。
特徴ブロック一括追跡部９１は、ゴム紐状に結合したブロック画像の特徴ブロックを、本発明にかかるＣＶ値基準一括追跡装置により関係フレームを一括して追跡する。
すなわち、特徴ブロック一括追跡部９１は、図１５に示したＣＶ値基準一括追跡装置２００と同様の構成となっている（詳細は図１５及び該当説明参照）。
なお、この特徴ブロック一括追跡部９１における特徴ブロックの追跡については、上述したように、本発明に係るＣＶ値基準一括追跡装置２００によらず、他の方法により行うことも可能である。

また、ＴＶ演算装置９は、一次ＴＶ演算部９２、補正ブロック検出部９３、二次ＴＶ演算部９４を備える。
一次ＴＶ演算部９２は、追跡するのは特徴ブロックのみであるが、ゴム紐結合により、それ以外のブロックも特徴ブロックに引き込まれて移動し、何らかのＴＶ値を持つことになる。そこで、追跡データをそれ以外のブロックにも演算して適切に配分する。
補正ブロック検出部９３は、複数画像を利用するなどして、一次ＴＶから生成する画像の追跡誤差を検出する。
また、二次ＴＶ演算部９４は、誤差が分布するＣＶ領域画像を再度ブロック分割するなどして、補正ＣＶ領域画像として、再追跡してＴＶデータを取得する。
これらによりＴＶ演算装置９が構成される。

［ハードＣＶ領域画像生成装置］
ハードＣＶ領域画像生成装置１０は、図２４に示すように、以下の各部を備える。
まず、同一ＴＶ値統合部１０１は、ＴＶ演算によるＴＶ値が同一となる隣接ブロックを結合する。この隣接ブロックの結合処理は必ずしも必要ないものであるが、処理の効率化のためには有った方がより好ましい。
ＣＶ・ＴＶ付加部１０２は、画像のＣＶ値、及びハードＣＶ領域画像のＴＶ値を画像に付加する。ここではブロックの全てにＴＶ値が付加されたことになる。
図法再変換部１０３は、ブロック画像を表示目的に適した図法に変換する。最終的に、例えば記録が目的であればメルカトール図法が良いが、見ることが目的であればゆがんで見えるので、遠近法に変換するなどして目的に合った適切な図法に再変換する。計測や画像処理が目的であればそれに適した図法に再変換する。
ハードＣＶ領域画像出力部１０４は、ＣＶ値とＴＶ値とを付加したブロック画像を出力する。
以上によりハードＣＶ領域画像生成装置１０が構成される。

以上のように、本発明にかかるＣＶ値基準一括追跡装置によって得られたＣＶ領域画像は、湧きだし点を基準として取得されたＣＶ領域画像と何ら変わらないし、結果で区別することはできない。
従って、湧きだし点基準ＣＶ領域画像前置装置の全てを、ＣＶ値基準一括追跡装置を用いたＣＶ領域画像前置装置に置き換えることができることは明らかである。
また、湧きだし点基準ＣＶ領域画像前置装置においては、揺れ止め処理を必要としたが、ＣＶ値基準一括追跡装置を用いたＣＶ領域画像前置装置においては、揺れ止め処理を必要としない点が優れた特徴である（図２４及び図２５参照）。
ただし、揺れ止め処理を用いれば、多少演算効率が向上する効果は存在する。

［ソフトＣＶ領域画像生成］
次に、図２６を参照して、本発明の一実施形態に係るＣＶ領域画像前置装置において、ソフトＣＶ領域画像の生成を行う各部について説明する。
同図に示すように、まず、ソフトＣＶ領域画像分割装置１２は以下の各部を備える。
ブロック再分類部１２１は、ハードＣＶ領域画像生成装置１０の出力から、特徴ブロックを選択し、単独で存在する独立特徴ブロック、境界線上に特徴ブロック同士が隣接して存在する境界線上特徴ブロック、ＣＶ領域画像の境界を構成するが特徴ブロックとはなり得ない境界線上ブロック、及び未特定を含めたそれ以外のＣＶ領域画像内ブロックの３種類に再分類する。
ソフトＣＶ領域画像生成部１２２は、境界線上特徴ブロック、境界線上ブロックを結合し、ソフトＣＶ領域画像を生成する。
ここで、境界線は閉じない場合が発生するが、閉じない端末の両端を強引に結合しても問題は発生しない。ソフトＣＶ領域画像が細分化されたことになるだけである。

一方、できるだけ閉じたソフトＣＶ領域画像を生成するために、ＣＶ領域画像境界線補正部１２３は、後述する輪郭線ベクトル化装置２０の出力を用いて、ソフトＣＶ領域画像境界を補正するＣＶ領域画像境界線の抜けを補正し、ブロック単位で構成されているソフトＣＶ領域画像を、ベクトル線で切り分けてＣＶ領域画像境界線を補強して明確なソフトＣＶ領域画像を生成する。
ブロックのみの境界はピクセル単位で凸凹しているが、ＣＶ領域画像境界線補強部で強化されたソフトＣＶ領域画像境界はベクトル化した輪郭線となり、画像の内容の性質に適したより適した境界線となる場合が多い。
これらによりソフトＣＶ領域画像分割装置１２が構成される。

ＲＶ演算装置１３は、図２６に示すように、ソフトＣＶ領域画像分割装置１２の出力を、再度隣接画像に亘って追跡するＣＶ領域画像トラッキング部１３１と、隣接画像に亘るＣＶ領域画像の追跡からＲＶ値を求めるＲＶ演算部１３２を備える。
既にハードＣＶ領域画像は追跡処理されているので、この処理は省略することができるが、補強されたソフトＣＶ領域画像を再度ＣＶ値基準一括追跡方法により、追跡することで、次のＲＶ演算により適した追跡データを取得することができる。
より正確なＲＶ値を求めるにはソフトＣＶ領域画像について隣接ＣＶ領域画像と共有する６個以上（隣接ＣＶ領域画像と共有可）の特徴ブロックの痕跡が存在することが望ましい。

ソフトＣＶ領域画像生成装置１４は、図２６に示すように、ＣＶ・ＲＶ付加部１４１と、ソフトＣＶ領域画像出力部１４２を備える。
ＣＶ・ＲＶ付加部１４１は、ＲＶ演算装置１３の出力に対して、ＣＶ値、及びＲＶ値をソフトＣＶ領域画像に付加する。
ここで、ＴＶ値は省略されているが、ＲＶ値はＴＶ値をソフトＣＶ領域画像単位で整理したものであり、ＴＶ値を省略したＲＶ値を持つことで十分である。
全てのＣＶ領域画像のＲＶ値が無くても、ソフトＣＶ領域画像は隣接していることから、その位置は決められるので、ＲＶ値に抜けがあってもソフトＣＶ領域画像は成立する。
ソフトＣＶ領域画像出力部１４２は、ソフトＣＶ領域画像生成装置１４は、ＣＶ値・ＲＶ値を付加されたソフトＣＶ領域画像を生成して出力する。
これらによりソフトＣＶ領域画像生成装置１４が構成される。

輪郭線ベクトル化装置２０は、図２６に示すように、以下の各部を備えて構成される。
輪郭線抽出部２０１は、画像の輪郭を直接求める。
ベクトル細線化部２０２は、輪郭線を細線化してベクトル化する。
可変閾値輪郭補強部２０３は、細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する。
さらに、ベクトル輪郭線生成部２０４は、補強されたベクトル輪郭線を生成する。

［対象物ＣＶ領域画像生成］
次に、図２７を参照して、本発明の一実施形態に係るＣＶ領域画像前置装置において、対象物ＣＶ領域画像生成を行う各部について説明する。
［対象物認識装置］
同図に示すように、対象物認識装置１６は以下の各部を備える。
ソフトＣＶ領域画像範囲選択部１６１は、ソフトＣＶ領域画像の中で、認識対象となる対象物の概略範囲を選択指定する。この場合、多少広めに自動指定するのが好ましい。ただし、範囲指定しなくても全範囲の指定によっても演算時間は掛かるが、いずれにしても認識は可能である。
指定範囲ＲＶ選択部１６２は、範囲を指定したソフトＣＶ領域画像比較部に送り、当該ＣＶ領域画像のＲＶ値を指定する。
部品ＤＢ部１６３は、予想される複数のＲＶ値を持つ対象物の三次元部品が、データベース化して記憶されている。部品は三次元形状そのものでも良いが、部品のＲＶ値を前もって演算して部品の属性として与えておくことが好ましい。

ＲＶ比較部１６４は、範囲のソフトＣＶ領域画像のＲＶ値と候補部品のＲＶ値とを比較し、一致か不一致かを決定し、不一致の場合は他の部品候補を自動選択し、完全一致の場合は決定部品とし、部分一致の場合は他の候補部品と一致度合いを比較し、最も一致度の高いＲＶ値を持つ部品を決定部品とする。
ソフトＣＶ領域画像の範囲と部品の比較は部品優先で成されるのが望ましい。先に予想される部品を選択して、範囲のソフトＣＶ領域画像が一致するか否かを求めることが効率がよい。あるいは前記範囲のソフトＣＶ領域画像のＲＶ値に一致する部品のＲＶを検索して求めるのがよい。
ここで、範囲のソフトＣＶ領域画像と部品は三次元形状での比較でも良いが、そのためには画像側も三次元化しておく必要があるので、ＲＶ値で比較するのが単純で効率的である。ましてや、複数ＣＶ領域画像と複数ＣＶ領域画像の比較であれば、ＲＶ値による比較がきわめて効果的である。

対象物認識部１６５は、決定部品を認識した対象物として取得する。
ここでは、一致した最大のＣＶ領域画像範囲が部品と範囲が一致した範囲であり、この範囲が部品に対応するＣＶ領域画像の範囲である。
この範囲を切り取ることで、その部分を認識した部品に置き換えることができる。すなわち対象物認識が完了したことになる。このとき、部品は座標と回転姿勢と移動速度とを取得したことになる。
一方、部品は属性をデータとして持っているので、そのソフトＣＶ領域画像の範囲は属性を取得したことにもなる。
これがここでいう認識である。
また、部品に完全置き換えではなく、色等の部品の一部の属性の置き換えでも良い。

要素分解部１６６は、上記範囲内に、対象物を構成するＣＶ画像から線分要素、コーナー要素、曲線要素、等の要素を検出する。
要素追跡部１６７は、要素を隣接画像に追跡し、対応位置を求める。これは要素のＴＶ値となる。
さらに、要素ＲＶ化部１６８は、要素のＣＶ値とＴＶ値から要素ＲＶ値を求める。
要素は形状が小さいので単独のＲＶ値を求めるには適さないが、組み合わせた要素のＲＶ値は存在するので、ＴＶ値を省略せずに、ＴＶ値及び複合要素ＲＶ値及び複合要素ＪＶ値を求めておくことは意味がある。

要素部品ＤＢ部１６９は、要素の部品データベースとなる。
要素比較部１７３は、画像から検出した要素と部品要素を三次元比較して一致を求める。要素部品は独立した要素部品とすることも可能であるが、部品から作られる要素部品とするのが望ましい。
ここで、要素部品単独ではＲＶ値を持たないが、部品から取得した複数の要素が集合すればＲＶ値もＪＶ値も持つので、集合した要素の比較においてはＲＶ値による比較はきわめて有効である。
要素比較した結果はＲＶ比較部において部品の一部として比較対象となる。情報は一部重複するが、重複することは認識精度を向上させることになり好都合である。
さらに、対象物要素認識部１７４は、一致した部品要素を検出した要素に置換する。
以上の各部により対象物認識装置１６が構成される。

［ＪＶ演算装置］
ＪＶ演算装置１７は、図２７に示すように、ＣＶ領域画像再結合部１７１と、ＪＶ演算部１７２を備える。
ＣＶ領域画像再結合部１７１は、対象物認識装置１６の出力から、対象物認識されたＣＶ領域画像を対象物単位で再結合する。
ＣＶ領域画像の大きさの分類は複数の組み合わせによる複数の選択肢があるので、部品と範囲は、そのままで完全一致しないが、両者の内どちらかがどちらかを含む形で一致するので、必ずしもＣＶ領域画像の大きさと種類を完全に一致させなくても良い。部分一致でも十分認識は可能である。部品の大きさに合わせるのが適切である。
ＪＶ演算部１７２は、それぞれの対象物毎にソフトＣＶ領域画像の幾何学的三次元結合状況を表すＪＶ値を求める。

［対象物分離画像生成装置］
対象物分離画像生成装置１８は、図２７に示すように、ＪＶ付加部１８１と、対象物ＣＶ領域画像生成部１８２を備える
ＪＶ付加部１８１は、ＪＶ演算装置１７で求められた対象物単位のＪＶ値は、複数の対象物がそれぞれ区別されて三次元的に６自由度で配置されるように、全ソフトＣＶ領域画像にＪＶ値を付加する。
対象物ＣＶ領域画像生成部１８２は、対象物分離画像生成装置１８は、対象物認識が一部又は全て済ませた対象物認識ＣＶ領域画像を生成する。
最終的には、ＲＶ値とＪＶ値とを完全に合致した状態でＣＶ領域画像データベース装置２０（図２３参照）に収納するために、決定した部品のソフトＣＶ領域画像と前記範囲のソフトＣＶ領域画像とを種類まで含めて統一しておくことが望ましい。

［ＣＶ領域画像前置装置を用いたその他の装置］
次に、以上説明したような本発明に係るＣＶ領域画像前置装置を用いた様々な応用装置について、その好ましい実施形態を説明する。
［ＣＶ領域画像表示装置］
まず、図２８を参照して、本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像表示装置の一実施形態について説明する。
ＣＶ画像はフレーム単位の画像であったが、ＣＶ領域画像は領域単位の画像である。そこでＣＶ領域画像から動画にして再生するには、各ＣＶ領域画像から動画の各フレームを生成しなければならない。動画の生成には、ＣＶ領域が持つＶＤ値を使って行う。
そこで、本実施形態のＣＶ領域画像表示装置１００２は、以下のような各部を備えて構成される。

ＣＶ領域画像・ＶＤ取得部１００３は、ＣＶ値基ＣＶ領域画像前置装置１００１からの出力を、ＣＶ領域画像と共にＶＤを分離して取得する。
表示指定部１００４は、画像の表示方法を指定する。この表示指定部１００４により、画枠、画角、フレーム数、解像度、視点方向、視点位置、表示図法などを指定する。
ＣＶ領域画像再結合部１００５は、ＶＤを基にして、指定部の指示に合ったＣＶ領域画像を再結合して再結合画像を生成する。再結合された画像は既にＶＤを失い、通常画像となっている。領域は失うが、新たにフレームが生成されているので、再結合された画像の各フレームにＣＶを持たせることは可能である。
画像フレーム生成部１００６は、再結合画像を各フレームに配分して、各フレームに対応した画像を生成する。
さらに、表示部１００７は、通常画像となった画像フレームを表示する。

表示装置は全てのＣＶ領域画像（ハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像）において共通に示している。
画像の再結合及び、画像フレームの生成は前記ＣＶ領域画像前置装置１００１の過程の逆であり、理解は容易である。
上述した図２３の矢印の方向を逆向きにすることで、再結合は理解できる。図２３の矢印を逆方向に付け替えた図が図２９である。
なお、逆方向の場合には装置名に関して必ずしも適切ではない場合が生じるが、理解の上では同じ名称の方がよいのでそのままとしてある。

［ＣＶ領域画像データベース装置］
次に、図３０及び図２３を参照して、本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像データベース装置の一実施形態について説明する。
ＣＶ画像はフレーム単位の動画像であったが、ＣＶ領域画像では、領域単位の画像となる。
図３０に示すＣＶ領域画像データベース装置１０１２の本質は、ＣＶ領域画像とＣＶ領域画像に対応したベクトルデータを持ち、出力も又ＣＶ領域画像とベクトルデータを持つことにある。ベクトルデータとはＶＤで表し、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はそれぞれＶＤある。

まず、図２３の符号２０で示したようにＣＶ領域画像データベース装置を位置づけする。
同図に示すように、ハードＣＶ領域画像生成装置１０からの画像出力を記録し、更新し、検索し、出力するデータベースを、ハードＣＶ領域画像ＤＢ１１とする。
また、ソフトＣＶ領域画像生成装置１４からの画像出力を、記録し、更新し、検索し、出力するデータベースをソフトＣＶ領域画像ＤＢ１５とする。
さらに、対象物ＣＶ領域画像生成装置１８からの画像出力を、記録し、更新し、検索し、出力するデータベースを対象物ＣＶ領域画像ＤＢ１９とする。

また、上記三者のＤＢの中間段階の画像出力をデータベース化することもできる。ハードＣＶ領域画像とソフトＣＶ領域画像とが混在するデータベースも可能であり、ソフトＣＶ領域画像と対象物ＣＶ領域画像が混在するデータベースも可能である。
データベースはどの形式のＤＢ、あるいはその中間のＤＢであっても、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はＣＶ領域画像で、あるいは隣接する画像間で、重複しており、整理することでデータ量は圧縮できる。

次に、図３０を参照して、以上のようなＣＶ領域画像データベース装置の一実施形態をより具体的に説明する。
同図に示すＣＶ領域画像データベース装置１０１２では、まず、ＣＶ領域画像・ＶＤ取得部１０１４が、ＣＶ値基ＣＶ領域画像前置装置１００１からの出力である各ＣＶ領域画像、すなわちハードＣＶ領域画像出力、ソフトＣＶ領域画像出力、及び対象物ＣＶ領域画像出力の中の全ての画像出力、若しくは前記三者の中間段階の画像出力を、各ベクトルデータ（ＶＤ値）共に取得する。
ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値は動画としての性質から、フレームを跨いでかなりの重複部分を持つ。重複を無くすことで、最終的にはＣＶ領域画像は静止画と、移動により生まれる新しいＣＶ領域画像と、それらのＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値にまで圧縮可能である。
なお、ＣＶ領域画像データベース装置１０１２では、重複の程度とその圧縮の程度については示していない。

重複データ圧縮部１０１６は、ＣＶ領域画像・ＶＤ取得部１０１４で取得したＶＤ値の成分であるＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、若しくはそれら何れかの内で、ＣＶ領域画像単位で、及び画像フレーム単位で重複するデータを近似化し単純化して、圧縮する。
なお、これらデータの中で重複するデータをさらにまとめて整理する重複データ圧縮部１０１６に関しても、具体的には示していない。すなわち、重複データの圧縮には様々な方法があるので、どのような手法でどのように圧縮するかに関しては、ここでは限定していない。
圧縮の具体例の一つとしては、本願発明者の提案による特願２００４−３６４２２３号の「座標系分離画像圧縮再生装置」や、後述する「座標系分離装置」とその実施例に詳しく述べている。画像圧縮を設置しなくても多少非効率になるが、ＣＶ領域画像データベース装置の本質は失われない。

次に、ＣＶ領域画像単位で従来の画像圧縮手段例えばＤＣＴ等の従来技術により圧縮記録するＣＶ領域画像圧縮記録部１０１７は、従来技術でもあり特に設置せずにＣＶ領域画像を圧縮せずに記録したとしても、多少非効率にはなるがＣＶ領域画像データベース装置の本質は失われない。
ＣＶ領域画像を、単に画像としてみて、従来方法で圧縮することでも、かなりの圧縮が期待される。

ここでは、単なる従来方法の圧縮と、前記ＣＶ領域画像特有の性質を利用した重複データを整理することによる圧縮とを敢えて分離して記述している。その理由は、従来方法の圧縮とＣＶ領域画像の重複データの圧縮は両立し、ＣＶ画像領域の重複データ圧縮を先にやり、その後に従来方法圧縮をすることが可能であり、又その逆でも可能であることによる。
例えば、重複データ圧縮部１０１６には後述する「座標系分離装置」の実施例（後述する実施例２参照）を用い、このＣＶ領域画像圧縮記録部にはJPEG１、JPEG2、JPEG4及びその方法を用いて、圧縮効果を高めることも可能である。

検索指定部１０１８では、画像のＣＶ値は三次元座標を持つので、座標で、又はＣＶ値で画像を検索することができる。さらにＲＶ値はＣＶ領域画像内の特定の部分のＣＶ領域画像まで指定することが可能であるので、画像及びハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像による検索が可能となる。
ここでは、ＣＶ領域画像データベース装置１０１２の外側に用意したＣＶ値やＣＶ領域画像やＲＶ値で、当該ＣＶ領域画像データベース内に検索される対象物を探すこと以外に、当該ＣＶ領域画像データベース内で検索すべき対象物を指定し、他のＣＶ画像内に検索することもできることは明らかである。
検索装置については、さらに後で詳しく述べる。

従って、ＣＶ値、及びＲＶ値の比較により、座標による検索、及び形状での検索が可能となる。またＣＶ値を利用した新旧画像更新やさらにＲＶ値を利用した新旧ＣＶ領域画像更新、新旧対象物更新も可能となる。これらを可能とする更新する指定部を設けることも可能である。
ただし、この検索・更新部は設置しない場合は多少非効率になるがＣＶ領域画像データベースの本質は失われない。

解凍・出力部１０１９は、圧縮記録したＣＶ領域画像を解凍し、重複データ整理部で整理されたＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、若しくはそれらの何れかを付加した複数種類のＣＶ領域画像が混在するＣＶ領域画像を出力する。
ここで整理とは、全てのＣＶ領域画像に同一のデータを付加する必要はないことから、データが重複しないように、必要な画像のフレームに対して、及び必要なＣＶ領域画像について、効率的にＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て又はいずれかの組み合わせを付加することで、画像の記録及び送信、配信の効率を上げることができる。

出力時のＣＶ領域画像が、元々画像の持つＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、又はいずれかの組み合わせを持つことが本データベースの本質である。
このように、ＣＶ領域画像化され再構成可能な画像をＤＣＴ等で圧縮記録し、更新し、検索し、解凍出力するデータベースを持つことを総称してＣＶ領域画像データベース装置という。
なお、当然入力するＣＶ領域画像と出力するＣＶ領域画像を表示して監視する入出力監視モニタを設置することが好ましい。

また、ＣＶ領域画像単位で圧縮（従来技術で可）をすることでＣＶ領域画像データベースは効率的になる。
さらに、ＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値はＣＶ領域画像単位、若しくは対象物単位で持つので、隣接画像及び隣接ＣＶ領域画像と共有（従来技術）できる場合が多い。そこでＣＶ領域画像を時空間の固まりに束ねることで、重複を無くし、より効率的なＣＶ領域画像データベース装置が実現できる。

ＣＶ領域画像データベース装置からの出力はＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て又はそのいずれかの組み合わせを付加したＣＶ領域画像単位の画像であり、ここから目的に合わせた様々な画像処理を行うことができるので、新産業のプラットホームとしてきわめて有用であり、産業的応用が期待される。
ＣＶ領域画像データベース装置１０１２は、ＣＶ領域画像前置装置の出力と同じ信号形式とし、信号には互換性を持たせることが望ましい。そうすることでＣＶ領域画像前置装置の出力をさらに当該ＣＶ領域画像データベース装置を通過させることで、より圧縮されて扱いやすくなった信号を出力することができる。

以降、後述する各装置では全てＣＶ領域画像前置装置からの出力を用いるが、当該ＣＶ領域画像データベース装置を通過させることでさらなるデータ量の圧縮がなされ、いかなるＣＶ領域画像においても、より有効利用しやすくなる。
ＣＶ領域画像前置装置の出力はハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像が個別に出力されるが、当該ＣＶ領域画像データベース装置を通過させることでブロック化されないで残ったＣＶ領域画像、ハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像がミックスされた状況で出力が可能となる。
具体例としては、フレーム情報は消失して、あるいはフレーム画像そのものが消失して、ＣＶ領域画像とＶＤのみのデータと言うこともあり得る。さらに一部分対象物認識されたのみのＣＶ画像、ハードＣＶ領域画像とソフトＣＶ領域画像がミックスされた画像などの出力が可能となる。

図３１に、以上のようなＣＶ領域画像データベース装置１０１２から応用可能ないくつかの例を示す。
同図に示すように、ＣＶ値のみのＣＶ画像データベース装置による応用例は、○動画像とＣＧの合成装置３１、○動画像からの三次元座標取得装置３２、対象物を常に定位置で観察するロックオン表示装置３３、回転揺れ止め画像生成装置・揺れ止め制御装置３４、○画像内計測・画像間計測装置３５、○新旧画像更新装置３６、○ＣＶ画像地図４７、○車載カメラによる自動車位置決め、及びその応用による実写ナビゲーションシステム４１、○画像の三次元ポリゴン化装置４２、○路面オルソ化地図生成システム４３等が実現できる。
ここで、上記応用例はＣＶ画像ＤＢによるが、ＣＶ領域画像データベース装置によれば、さらに効率化されて実現されることになる。

次に、当該ＣＶ領域画像データベースではじめて実現される様々な応用例について以下に列挙する。
図３１に示すように、○座標系分離画像圧縮・記録装置５１、○視点移動・中間フレーム生成装置５２、○移動体抽出・運動解析装置５３、○高解像度化画像生成装置５４、○ＣＶ領域画像運動抽出・検索・解析装置（ハードＣＶ領域画像・ソフトＣＶ領域画像・対象物ＣＶ領域画像を含む）５５、○ノイズリダクション装置６１、○ＣＶ領域画像差し換え画像生成装置６２、○対象物運動抽出・解析装置７１、○ＰＲＭ画像圧縮装置７２、○対象物運動解析装置７３○複合人工知能記憶装置７４等が実現可能である。

以上のような応用例のいくつかについては、以下の実施形態において適宜取り上げて説明するが、まず、以下に三次元地図としての利用について説明する。
［三次元地図としての利用］
ＣＶ値を持つＣＶ画像（ＣＶ映像）は三次元地図としてそのまま利用できることは、本願発明者の提案による特開２００５−２９５４９５号で既に明らかにされている。従って、それを領域化したＣＶ領域画像データベースであっても、より効率的に三次元ＣＶ画像地図としてそのまま利用できることは明らかである。
さらに、車載したカメラによるリアルタイムで取得した画像との特徴点自動比較により、車両の現在位置を取得できることも、本願発明者の提案による特願２００５−３０３９５２号で明らかにされている。

そこで、上記特願２００５−３０３９５２号に示されているように、ＣＶ領域画像データベースを三次元ＣＶ領域画像地図として、リアルタイムで車両の現在位置を三次元で求めるカーナビに利用する場合は、それは人間が見る地図ではなく、機械（ＰＣ）が見る地図であることから、地図としてのデータはＣＶ領域画像全域である必要はなく、地図として特徴有る部分のみのＣＶ領域画像であればよいことになる。そうすることで地図として所持するデータ量を極端に減少させることができて効率的である。
一つの地点に対して、二次元特徴点の場合は最低１０〜２０個程度、三次元座標まで取得していれば４個〜１０個程度で、車両の現在地点の位置決めは可能である。
つまり、ＣＶ領域画像において、数個〜２０個程度の画像の断片（ＣＶ領域画像）を持てば三次元地図として利用できることになる。これは現実的な数字である。

このように、本発明のＣＶ領域画像データベースによれば、ＣＶ領域画像の種類により、様々な利用方法が生まれる。
ハードＣＶ領域画像においては、二次元特徴点、及び三次元特徴点として、ソフトＣＶ領域画像においては、形状を持つ明確な二次元特徴点、及び三次元特徴点として、対象物ＣＶ領域画像においては、認識済の対象物はそのまま特徴点となり得るだけではなく、交通標識、道路表示、行き先看板等、その意味も理解しているので、地図としての利用価値はさらに高まることになる。

［視点変更装置］
次に、図３２を参照して、本発明に係るＣＶ領域画像前置装置を用いた視点変更装置の一実施形態について説明する。
本発明では、ＣＶ領域画像とはハードＣＶ領域画像、ソフトＣＶ領域画像、対象物ＣＶ領域画像の全てを含んでいることが重要である。以下に示す実施形態についても全てこの事実に基づいている。
全ての演算はＣＶ領域画像単位で処理されるため、ＣＶ領域画像が一枚の画像として扱われる。従ってＣＶ領域画像が移動体であるか否かを特に区別する必要はない。ＣＶ領域画像が一枚の画像として扱われる。このことは本発明の全てに言えることである。

変更したＣＶ値を与えることで視点変更を指示することにより、ＣＶ値以外のＶＤ（ＴＶ値、ＲＶ値、ＪＶ値）を変換演算して、視点変更画像を生成することが本実施形態で示す視点変更装置１０２１の本質である。
以下、図３２に示す本実施形態に係る視点変更装置１０２１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０２２は、ＣＶ領域画像データベース装置からの出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。これは上述したＣＶ領域画像表示装置１００２におけるＣＶ領域画像・ＶＤ取得部１００３と同様のものでよい（図２８参照）。
視点変更指定部１０２３は、視点変更地点を、若しくは視点変更経路を、ＣＶ値で指定する。ＣＶ値は視点の三次元座標、回転姿勢を含んだＶＤなので、ＣＶ値を与えることで始点を指定できる。

視点変更演算部１０２４は、ＣＶ値で指定された視点変更ＣＶ値から、視点変更時の他のＶＤを演算で求める。
また、変更ＶＤ取得部１０２５は、指定されたＣＶ値に従い、ＣＶ領域画像のＣＶ値以外のＶＤ値等を変換演算し、視点変更演算により取得されたＶＤを各画像、及び各ＣＶ領域画像に対応をつける。
視点変更画像生成部１０２６は、対応のついた前記各画像、及び各ＣＶ領域画像の画像を変更ＶＤに従ってＣＶ領域画像結合し、指定の画像フレーム生成し、出力する。

なお、視点変更指定部１０２３は様々な指定が可能である。
図３２に示すように、例えば、中間フレーム指定部１０２７を設置して、フレーム間のＣＶ値を等間隔に分割するように視点変更指定部１０２３に指示すれば、動画像の複数の中間フレームが生成できることになる。これで視点変更装置は中間フレーム生成装置となる。
例えば、毎秒１５ＦＰsのフレームレートで撮影した画像を毎秒６０ＦＰsに変換できることになる。
このように撮影時又は記録時の画像フレームを間引いて、再生時に中間フレームを生成することで基準のフレームレートを確保するような画像圧縮を行う画像フレーム圧縮解凍装置も可能である。
ただし、中間フレーム生成の目的においては、単にＣＶ値を分割するだけでよいが、時間配分として利用してもよい。

また、ＣＶ領域画像生成においては、視点変更時の画像を見やすくするために、図３２に示すように、揺れ止め指定部１０２８を設置して、回転のみならず位置座標の揺れに対してもＣＶ値で位置座標の揺れがない人工の経路を設定し、その経路上に目的のカメラ移動のみを実現するように視点変更を指定することで、回転のみならず位置座標の揺れまで完全に揺れ止めができる完全揺れ止め装置１０３０が実現できる。

このように視点変更を広義に解釈することで、様々な応用が可能である。以下の実施形態でも、視点変更を利用してさまざまな画像処理を実現している。
なお、視点変更装置の出力は既に通常映像となっているので、通常の表示装置でよい。もちろん、上述した表示装置を用いることで実現できる。
また、視点変更装置の出力は、表示のためにはもはやＶＤは必要ないが、その他の応用に利用するためにはＶＤを付加して出力できるようにしておくのが好ましい。

［ＣＶ領域画像ＣＧ合成装置］
次に、図３３を参照して、本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像ＣＧ合成装置の一実施形態について説明する。
ＣＶ値を持つ画像とＣＧとの合成装置に関しては、本願発明者の提案による特開２００５−１２２３１５号で既に示されている。
ＣＶ領域画像となったことで、ＣＧ合成はより単純化され、視点変更も可能となり、また、前後関係も簡単に決定できるようになった。
基本的には、ＣＧを対象物認識されたＣＶ領域画像として扱うことで、合成が可能となる。

ここでは、本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像ＣＧ合成装置についての一実施形態について説明する。
以下、図３３に示すＣＶ領域画像ＣＧ合成装置１０３１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０３２は、ＣＶ領域画像データベース装置１０１２の出力を、若しくは視点変更装置１０２１の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
視点変更装置を経由させれば、視点変更のＣＧ合成が可能となる。そのときは視点変更表示装置を用いる。

ＣＧ入力部１０３４は、ＣＶ領域画像に合成するべきＣＧを入力する。これは通常のＣＧであり、合成すべきＣＧを入力する。
ＶＤ演算部１０３５は、ＣＧのＶＤを演算する。
ＣＧはＶＤ演算部で、ＣＶ値、ＲＶ値、ＪＶ値等を持つことになる。ここではＣＧのＶＤは、必ずしも画像と同種のＶＤ値を持つ必要はなく、合成は可能である。一般にＣＧは既に対象物認識された画像と同じ意味を持つから、対象物ＣＶ領域画像として扱うのが好ましい。
視点座標はどちらもＣＶ値で指定することになる。
視点座標統合部１０３６は、ＣＶ領域画像の視点座標とＣＧの視点座標を合致させて座標を統合する。視点座標がＣＶ値で指定されたことで、ＣＶ領域画像とＣＧの視点は統合されたことになる。

前後関係形成部１０３７は、ＣＶ領域画像のＶＤと前記ＣＧのＶＤを比較演算して、表示の前後関係を決定する。
視点座標を示すＣＶ値とＣＧとＣＶ領域画像のＲＶ値の比較から、視点位置からの三次元方向と距離が明確になり、ＣＶ領域画像とＣＧとの前後関係は明確になる。
ＣＶ領域画像ＣＧ合成部１０３８は、視点が合致し、前後関係が決定された、前記ＣＶ領域画像と前記ＣＧとを合成して、同一座標系で表現する。座標系は統合されているので、そのまま合成が可能である。
ここで、表示装置は、図３３に示すように、視点変更表示装置１００３を用いるのが好ましい。

［三次元形状生成装置］
次に、図３４を参照して、本発明のＣＶ領域画像前置装置を用いた三次元形状生成装置の一実施形態について説明する。
ＶＤ値は既に三次元データと言えるものであるが、通常使用される三次元座標を持ったポリゴンに変換するだけで、三次元形状は簡単に生成される。
図３４に示す三次元形状生成装置１０４１では、まず、ＣＶ領域画像・ＶＤ取得部１０４２が、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。

範囲指定部１０４３は、三次元形状生成を行う範囲を指定する。
ポリゴン変換演算部１０４４は、ＣＶ領域画像に付加されたＶＤ値から三次元ポリゴンに変換演算する。これは単純な変換の演算であり、ＣＶ値とＴＶ値、若しくはＲＶ値からリアルタイム変換も可能である。また、ＲＶ値そのものが既に三次元データを持っていると考えられるから、変換と言ってもＲＶ値でポリゴンをそのまま表現することも可能である。
さらに、三次元形状生成部１０４５が、ポリゴン変換されたデータから三次元形状を生成する。
以上により、ＣＶ領域画像データベース装置の出力から三次元形状を生成することができる。

ここで、取得された三次元形状はポリゴンの形状をとるのが一般的なので、ここで取得したポリゴンデータにテクスチャーを貼り付け、最適な画像として観察することができる。その場合には、以下に示すような最適ＣＶ領域画像選択部１０４６及びテクスチャー貼付部１０４７を更に備えることができる。
図３４に示すように、最適ＣＶ領域画像選択部１０４６は、上記のようにして取得した全体の三次元ポリゴンデータに関して、あるいは個別の各三次元ポリゴンデータに関して、既に取得しているＣＶ領域画像（図３３に示すＣＶ領域画像前置装置１００１又はＣＶ領域画像・ＶＤ取得部１０３２参照）の中から、(1)最も解像度の高いＣＶ領域画像、(2)又は最も仮想カメラ位置の近くで取得しているＣＶ領域画像を、(3)又は最も仮想カメラからの視点方向の近いＣＶ画像、(4)あるいは最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する。
次に、テクスチャー貼り付け部１０４７は、選択されたＣＶ領域画像データの全三次元ポリゴン、又は三次元形状を構成する各三次元ポリゴンに、テスクチャーを貼り付ける。
表示部１０４８では、それを仮想カメラ位置を視点とした画像として表示する。
以上により、三次元形状にテクスチャーを貼り付けたより最適な画像を生成・表示することができる。

なお、ここで「ポリゴン」の意味を辞書から引用すると、ポリゴン（polygon）とは「３次元コンピュータグラフィックスで、立体の形状を表現するときに使用する多角形。計算のしやすさから、ほとんどの場合に三角形が使われる。コンピュータで立体図形を扱う場合、物体表面を微小な三角形のポリゴンに分割して数値データ化することにより、様々な視点や環境による物体の見え方を計算によって生成し、画像として描画することができる。ポリゴンの数を増やせば増やすほど表現が精細になっていくが、計算量が増えるため、描画に時間がかかるようになる。」とある。

本発明における上述したソフトＣＶ領域画像生成装置、及び対象物ＣＶ領域画像生成装置においては、上記のポリゴンの意味と完全に一致している。ただし、本発明においてのハードＣＶ領域画像生成装置においては、引用した説明よりは広義の意味でポリゴンという表現を使用している。
本発明におけるハードＣＶ領域画像生成装置から生成する三次元形状は、物体表面形状とは無関係にブロック化し、画像処理に用いた矩形のブロックをそのままポリゴンとして扱い、その元々二次元形状のブロックの三次元座標を取得し、それをポリゴンとして三次元に配置することにより、三次元形状を表現することができるようになっている。
三次元的に配置されたポリゴンは、既に３ＤＣＧと同じ扱いが可能であり、上述したＣＶ領域画像前置装置による視点変更装置（図３２参照）によらずとも、従来技術により視点変更が自由にできることはいうまでもない。

［画角拡大装置］
次に、図３５を参照して、本発明のＣＶ領域画像前置装置を用いた画角拡大装置の一実施形態について説明する。
画角を拡大するために、広角レンズを用いれば、カメラのCCDが同一である限り、カメラの角度の分解能、すなわち解像度は落ちてしまう。
そこで、画角の小さいカメラで高い解像度で撮影した画像を過去のフレームで補うことで画角を拡大して広角表示する。カメラ視点位置を決定し、そのカメラ視点を車両に沿って移動させ、過去の画像フレームを全て現在視点に視点変更する。視点変更された全ての画像は現在のカメラ視点で矛盾のない結合が可能となり、結合することで広角映像が取得できる。

ここで、視点とはＣＶ値であり、移動体の場合はＴＶ値やＲＶ値から視点情報に変換できる。
ここでの特徴は、複数フレームを用いるので、画角を拡大してもほぼ元の精細さを保てると言うことである。過去の映像は時間遅れの映像であるから、そのままでは移動体が有ればその部分の結合は正しく結合しないが、移動体もＴＶ値やＲＶ値を持つことから、移動体部分の動きを含めた視点変更演算できるので、移動体に対しても矛盾無く結合できることになる。これがＣＶ領域画像の優れた特徴である。

以下、図３５に示す画角拡大装置１０５１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０５２は、カメラを車載するなどして移動するカメラから撮影した画像の、前記ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
拡大画角指定部１０５３は、画角拡大画像を観察する時の画角と視点方向を指定する。
仮想観察視点指定部１０５８は、画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する。

時間軸画像視点変更部１０５４は、拡大画角と、視点方向と、視点移動位置を指定された時間軸上に並ぶ複数フレームのＣＶ領域画像を、指定の視点位置に視点変更演算する。この演算により、視点変更されて視点位置が同一となる。ここでの視点変更は、上述した視点変更装置１０２１における視点変更そのものである（図３３参照）。
複数画像結合部１０５５は、視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのＣＶ領域画像を結合する。常に指定された視点位置と視点方向で視点変更を行うことで、現時点の画像と過去の画像が矛盾無く結合できることになる。

ここで、もし現時点の視点位置と視点方向を指定すれば、現時点の画像に過去の画像の視点を合わせて画枠拡大していることになる。
カーナビとして車両に積載する場合には、現時点の視点ではなく、多少過去の視点位置に始点を指定することで、自車両の背後から自車両を含む視点で画枠拡大画像を表示できることになる。
繰り返し生成部１０５６は、時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのＣＶ領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける。
画角拡大された画像は、視角拡大画像表示装置１０５７で表示される。
なお、本実施形態により画角拡大された画像は、既に結合されているので、通常の画像として扱うことができるので通常の表示装置で表示することができる。

［ロックオン表示装置］
次に、図３６を参照して、本発明のＣＶ領域画像前置装置を用いたロックオン表示装置の一実施形態について説明する。
ロックオン表示とは同一対象物を画枠内の中心部に固定して表示し、カメラの移動によっても常に画枠の中心に表示することを言う。
ＣＶ画像によるロックオンは本願発明者の提案に係る特開２００５−２９５４９５号に示されているが、ロックオン表示はカメラの移動範囲に限られていた。

本発明のＣＶ領域画像前置装置を利用すれば、視点移動をしながら、カメラ近傍であれば、カメラ移動経路以外であっても自由な視点移動経路を指定してロックオン表示が可能となる。
また、視点位置と経路を指定し、ロックオン表示が可能となる。
さらに、ＣＶ画像では不可能であったが、ＣＶ領域画像では、各ＣＶ領域が移動ベクトルを持つので、容易にロックオン指定ができる。
ロックオンだけであれは、座標系分離までは必要なく、移動体分離までも必要ないが、後述するように、座標系分離や移動体抽出と組み合わせることでも、直接座標系単位で表示したり、移動体単位で表示して、その中でロックオン表示することが可能となる。

以下、図３６に示すロックオン表示装置１０６１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０６２は、カメラを車載するなどして移動するカメラから撮影した画像の、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
対象物座標指定部１０６３は、ロックオンすべき対象物の座標を取得して指定する。指定する対象は静止物体でなくても、移動体でも良い。移動体に代表座標系をとることで移動体ロックオンを可能とする。

視点移動指定部１０６４は、ロックオン表示のための視点移動経路と範囲を指定する。
視点及び視点方向変換部１０６５は、指定された視点移動経路に沿って、ＣＶ領域画像の視点変更を求める。
そして、ロックオン表示部１０６６は、変換されたＣＶ領域画像を指定経路に従って表示する。
以上により、本発明のＣＶ領域画像前置装置を用いたロックオン表示装置１０６１が実現される。

［座標系分離装置］
次に、図３７を参照して、本発明のＣＶ領域画像前置装置を用いた座標系分離装置の一実施形態について説明する。
本発明に係る座標系分離装置は、動画像から、画像を構成する座標系毎にＣＶ領域画像を分類する装置である。
画像解析において、座標系毎に分離したＣＶ領域画像は様々な利用が考えられるが、その代表的な例は、後述する運動抽出・解析装置（図４２参照）であり、また、本願発明者による特願２００４−３６４２２３号の「座標系分離記録再生装置」がある。この「座標系分離記録再生装置」を実現するためには画像を構成する座標系を検出して分離し、それぞれを単独処理して、再度合成する必要があるが、その一つの手段が、本実施形態に示す座標系分離装置である。
座標系別に分類されたＣＶ領域画像は、座標系別に記録され、送信されることで画像圧縮が可能である。なお、座標系分離装置を用いた画像圧縮技術そのものについては上記の特願２００４−３６４２２３号に示されている。

以下、図３７に示す座標系分離装置１０７１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１０７２は、車載されたカメラから撮影された動画像の出力を、又はＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
座標系別ＶＤ処理部１０７３は、ＶＤから座標系を分離し、座標系毎のＣＶ領域画像とＶＤとに分類する。
各座標系ＶＤ近似処理部１０７４は、各座標系のＶＤを単純な関数に近似して単純化し、若しくは必要であれば、近似したＶＤとＣＶ領域画像のＶＤとの関係を示す関数をも持ち続ける。

ここで、ＣＶ領域画像・ＶＤ取得部１０７２で取得したＶＤ値の成分であるＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値は、もともとＣＶ値を元にして求められたデータであり、完全に独立したものではなく、それぞれ関連した関係にある。従って、各データを独立して持つよりは、関連づけて持つ方がデータ量が軽くなることは明らかである。但し、独立して持つことで目的別利用は単純化される。
そこで、カメラの移動を示すＣＶ値を単純化し、座標系毎に分離されたＲＶ値を単純化することで、ＶＤ値を単純化することができる。ＶＤ値が単純化されることの映像における意味は、カメラの移動を直線近似し、映像内の移動体の動きを直線近似するということになる。複雑な運動をするカメラの動きや移動体の動きを、ある範囲内で直線近似することによりＶＤが単純化され、そのことは視覚的にも単純化されて好都合であり、結果としてデータ量が軽くなることは勿論である。

各座標系分離通信装置１０７６、及び各座標系分離画像記録部１０７５は、単純な関数に近似されたＶＤを通信し、記録する。
各画像系別画像生成部１０７７は、各座標系単位で画像を生成する。
必要であれば、各座標系を再度合成して表示する各座標系合成画像生成部１０７８を備えることができる。

以上のような構成からなる座標系分離装置１０７１においては、ＣＶ領域別にＲＶ値を持つ座標系が定義されることになる。もともとＣＶ値は静止座標系において定義したベクトルであるが、それを移動体に拡張して定義したものがＲＶ値であり、座標系から見たカメラの移動のベクトルということもできる。各ＣＶ領域の持つＲＶ値は、移動体をも含む各座標系の移動ベクトルであり、各座標系毎に分離して通信し、あるいは記録再生することにより座標系分離の効果と威力を発揮する。
ここで、通信と記録における画像の圧縮は同じ意味を持つので特に区別をしない。

ところで、最も単純化されたモデルは、(1)進行方向が一定で、回転揺れが無く直線移動するカメラから撮影された動画像であり、この場合の画像伝送又は記録においては、固定した湧きだし点を定義できる。この場合は、ＴＶ値（湧きだし点、ＣＶ値はＴＶ値に従属する）と初期静止画像にＣＶ値を付加することで、動画像を伝送できることは上述した通りである。移動量を指定できることも上述した通りであり、さらに、ＴＶ値からＣＶ演算によりＣＶ値を求めることも上述した通りである。

次に、(2)カメラが回転揺れを含んで直線運動しない場合は、ＣＶ値により揺れ止めを施し、回転揺れは回転揺れデータとして取得し、最後に付加することで元の画像を再現できる。直進運動と近似できる範囲で湧きだし点を扱うことで、上記(1)の場合におけるつなぎ合わせ画像として扱うことができる。
さらに、(3)対象物として移動物体を含む場合がある。この場合には、画像を適切な領域に分割し、移動体はこの領域の複数の集合となるように領域を定義する。それがＣＶ領域であることは上述した通りである。ここで、それぞれの領域毎にカメラベクトル値を持たせることにより、適切なＣＶ領域に分割された各座標系に対応した座標系毎に圧縮をするのが本発明の特徴である。なお、対象物認識技術を導入しない段階では、ＣＶ領域と移動する対象物は必ずしも一対一に対応しないが、その時でも対象物は複数のＣＶ領域から構成されることになり、それは圧縮効率に関係するだけで矛盾は生じない。

さて、ＣＶ値は、もともと静止座標系とカメラ間に定義したベクトルであるので、移動座標系に関してはＲＶ値を新しく定義し、この中にはＣＶ値も含むことができるものとする。このようにＲＶ値を定義すれば複数の移動体を含む静止座標系にまで拡張して座標系分離を行い、画像圧縮を扱うことができる。
すなわち、先ず動画像を最小単位の矩形のブロックに分割し、その最小単位のブロックを複数集めてＣＶ領域を生成し、さらにそれらのＣＶ領域を集めて座標系単位に分類し、それぞれの座標系単位で画像伝送し、あるいは画像記録し、それを受信再生側又は解凍再生側において、それらを座標系単位で画像を生成し、それを再構成することで一連の動画像を再構築することができる。
座標系を分離するために湧きだし点を利用することが本発明に係る湧きだし点基準ＣＶ領域画像装置であり、本願発明者による先の出願に係る座標系分離装置の一つの回答でもある（特願２００４−３６４２２３号参照）。
以上により、ＣＶ領域画像前置装置を用いた座標系分離を行うことができる。

なお、この座標系分離通信装置のより具体的な実施例についてはさらに後述する（実施例２及び図５８〜図６０参照）。
ここで、上述した本願発明者の提案による特願２００４−３６４２２３号の「座標系分離記録再生装置」について、その概略を説明する。
特願２００４−３６４２２３号の「座標系分離記録再生装置」においては、その基本方式として、現実世界を構成する複数の座標系を検出し、座標系毎に対象物を記録する座標系分解記録構成部と、記録された信号を再生し、各座標系毎に対象物を構築し、複数の座標系を合成して、現実世界をバーチャル世界に再構築する座標系合成再生構成部とを備える座標系分離記録再生装置が提案されている。
そして、この特願２００４−３６４２２３号の「座標系分離記録再生装置」においては、その画像圧縮の具体的手段として、以下のような構成を備えている。

まず、座標系分解記録構成部は、複数のフレーム画像から構成される動画像を取得する動画像取得部と、動画像取得部で取得された動画像を構成する複数のフレーム画像から基準フレーム画像を選択し、当該基準フレーム画像を分割し、分割された各領域が属する複数の座標系を検出し、動画像の全体に渡って画像を構成する複数の座標系を検出する座標系検出部と、動画の進行とともに基準フレーム画像を適宜変更しながら選択し、選択された基準フレームを順次各領域に分割して分割画像信号を生成し、分割画像の各領域が複数の座標系のうちのいずれかの座標系に属するように特定して分類し、分割画像の各領域が属する座標系を特定する座標系特定信号を生成し、複数の座標系の間の関係と、各座標系における三次元のカメラ位置と三次元のカメラ回転姿勢関係を示す座標系別カメラベクトル信号を生成し、基準フレーム画像に関する分割画像の各領域が動画像中を移動する量を検出して移動ベクトル信号を生成し、生成された各信号を画像圧縮信号として記録する座標系分離信号記録部とを備えている。
また、座標系合成再生構成部は、座標系分離信号記録部で記録された信号を座標系別に読み取り、画像圧縮信号を再生する座標系別信号再生部と、再生された各信号を座標系別に組み立てて各座標系画像を合成し、視点を決定して各フレーム画像を再構築する座標系分離信号再構築部と、再構築された画像を指定された再生動画像として出力する再生解凍画像出力部とを備えている。

また、この特願２００４−３６４２２３号の「座標系分離記録再生装置」の画像圧縮の具体的方法において、差分信号を付加して効率化を上げた装置として、座標系分解記録構成部が、座標系合成再生構成部と同様の座標系分離信号再構築部を備え、当該座標系分離信号再構築部が、上記の各信号を一旦再生解凍して各フレーム画像を再構築し、元画像である動画像を構成しているフレーム画像と比較して差分を取り、所定の差分信号を生成する差分信号付加部を構成するとしている。
さらに、この特願２００４−３６４２２３号の「座標系分離記録再生装置」の画像圧縮の具体的方法においては、代表座標系として静止座標系を採用し、その差分信号を付加して移動する車両から撮影した道路映像に対応させた装置として、差分信号付加部が、複数座標系において、静止座標系のみを採用し、全分割画像を静止座標系で表現し、移動体等の本来他の座標系に分類されるべき分割画像によって生じる誤差を差分信号として扱うように構成されている。

［ＣＶ値基準による座標系分離方法］
以上のような本願発明者による当該特願２００４−３６４２２３号の「座標系分離記録再生装置」の基本原理に基づいて、上述した本発明にかかるＣＶ値基準一括追跡装置を用いた高精度ＣＶ演算装置（図２１参照）を用いたＣＶ値基準による座標系分離の方法について以下に説明する。
ＣＶ値基準によって座標系分離を行うには、目的の画像から求める複数の座標系と、それを示す複数のＣＶ値を検出する必要がある。
そこで、本発明によるＣＶ値基準一括追跡装置を用いた高精度ＣＶ演算装置（図２１参照）により、それぞれの座標系を示す複数のＣＶ値を求める方法を以下に説明する。

上述したように、本発明のＣＶ値基準一括追跡装置を用いた高精度ＣＶ演算装置（図２１参照）によってＣＶ値を求めると、それは画像の代表座標系におけるＣＶ値である。通常、代表座標系としては静止座標系を採用することが多い。
より具体的に説明すれば、静止座標系とは、車載したカメラで周囲を撮影した画像においては、周囲のビルや道路であり、対向車線を走行する車両は当該代表座標系には含まれない。
本発明のＣＶ基準一括追跡には、原理的に必ず多くの特徴点が係わっていることは明らかである。そこで、高精度ＣＶ演算装置においてＣＶ値取得に係わった特徴点と係わらなかった特徴点を分離することは可能である。この点について、図３８を参照しつつ以下説明する。

図３８は、本発明のＣＶ値基準一括追跡装置を用いた高精度ＣＶ演算装置による座標系分離方法を示す説明図である。
図３８（ａ）に示すように、ＣＶ演算を行うためには先に多くの特徴点６０１が抽出される。
例えば、一フレーム内の特徴点は一般に数百個程度だが、図では単純化のために１／１０程度に省略されている。
特徴点は、様々な座標系に属する特徴点６０１が含まれているが、概略ＣＶ値を用いＣＶ値基準一括追跡をすることで、図３８（ｂ）に示すように、特徴点６０１から特徴点６０２のみが選択される。
換言すれば、代表座標系（ここでは静止座標系とする）に属する特徴点６０２のみを使用してＣＶ演算が行われることになり、さらに言い換えれば、ＣＶ値基準一括追跡によりＣＶ演算することで自動機に特徴点６０２を選択することができるのである。
ＣＶ値基準一括追跡では特徴点の選択によってＣＶ演算が行われるのでどちらの表現も正しいことになる。

上述した図１６の基本原理に示したように、本発明のＣＶ値基準一括追跡では、ＣＶ値基準一括追跡と特徴点選択は同時に行われる。また、特徴点が分離できたことは共通の座標系の特徴点を分離したことになり、それはすなわち座標系分離を意味することになる。
従って、ここでは、原理的にＣＶ値基準一括追跡する過程で代表座標系に属する特徴点のみが自動的に選択されることになる。何故なら同一座標系（ここでは静止座標系）に属さない特徴点は予想値からずれるためにＣＶ値基準一括追跡できないからである。
ＣＶ値基準一括追跡できるということは、それらの特徴点は同一座標系に属していることを示している。

この処理により、図３８（ｃ）に示すように、代表座標系に属する特徴点６０２と、代表座標系に属さない特徴点６１１とを分離することができる。すなわち、静止座標系のために使用した特徴点６０２を削除し、使用しなかった特徴点６１１を分離することができる。
ここで分離した特徴点６１１が代表座標系には属さないことは明らかである。
次に、この代表座標系に属さない特徴点６１１のみを選択し、ＣＶ値基準一括追跡により追跡データを取得してＣＶ演算を行うと、上述した代表座標系のときとまったく同じ原理で、新たな座標系（例えば、対向車線を走行する一台の車両の座標系）の特徴点が選択される。
このようにして、座標系毎に特徴点が分類されたことになる。

すなわち、任意に取得した多数の特徴点が座標系単位で分類選択されることから、特徴点を画像全域に抽出することで、その特徴点が属する範囲の小領域画像が座標系単位に分類されたことになる。そして、座標系単位で分類された小領域画像を結合して大面積の領域を構成すれば、画像は座標系単位で分類されたことになる。
物理的に複数の対象物の運動は相対的であり、どの対象物の座標系を代表座標系とするかは自由であることから、代表座標系として扱った静止座標系と、残った特徴点から求めた運動座標系とはまったく対等であり、物理的又は数学的には同じ扱いが可能であることは明らかである。
すなわち、ここまでの作業で、ビルや道路を示す静止座標系と対向車線を走行する一台の車両の運動座標系とを分離して、それぞれのＣＶ値を分離して検出したことになる。

次に、図３８（ｄ）〜（ｅ）に示すように、上記の対向車線を走行する一台の車両の座標系のＣＶ演算時に用いた特徴点６１２と、それに係わらなかった特徴点６２１を分離し、係わらなかった特徴点６２１のみを用いて、再再度、ＣＶ値基準一括追跡装置を用いた高精度ＣＶ演算装置（図２１）による処理を行う。
その結果として、ここで使われた特徴点は、図３８（ｆ）に示すように、６２２である。この作業ではさらに別のＣＶ値を取得し、同時に別の座標系を分離したことになる。
この作業を繰り返すことで、いくつものＣＶ値、すなわちいくつもの座標系を検出することができることになる。
なお、ここでは、時系列の作業として説明したが、これを同時に処理することもできることは明らかである。

［画像部分更新装置］
次に、図３９を参照して、本発明のＣＶ領域画像前置装置を用いた画像部分更新装置の一実施形態について説明する。
動画像の部分更新は、カメラ位置の異なる画像の更新であり、一般には不可能とされてきたが、本発明のＣＶ領域画像による視点変更技術を用いると簡単に実現できる。
旧画像のカメラ視点に更新画像の視点を合致させ、更新部分を切り取り入れ替えることで実現される。動画の自由な切り貼りが可能となったことになる。

以下、図３９に示す画像部分更新装置１０８１の各部について説明する。
更新ＣＶ領域画像・ＶＤ取得部１０８２は、更新する画像情報を含む画像を、ＣＶ領域画像前置装置１００１から出力して、ＣＶ領域画像とそのＶＤを取得する。
旧ＣＶ領域画像・ＶＤ取得部１０８３は、更新される旧画像情報を含む画像を、ＣＶ領域画像前置装置１００１から出力して、ＣＶ領域画像とそのＶＤを取得する。
更新範囲指定部１０８４は、更新範囲を指定する。
更新ＣＶ領域視点変更部１０８６は、ＶＤ値を合致させることで、更新画像の視点を旧画像の視点に変更する。この部分が本装置の重要部分である。これは上述したＣＶ領域画像前置装置を用いた視点変更装置１０２１そのものである（図３２参照）。

更新範囲削除部１０８５は、旧画像側の更新部分を削除する。更新部分は必ずしも旧画像を削除してから更新画像を貼り付ける必要はないが、論理的に説明するために、一旦旧画像を削除してから更新画像を貼り付けるとした。実際のプログラム上は、上書きすることで同時に削除も行われることになる。
更新部分ＣＶ領域画像生成部１０８７は、更新部分のＣＶ領域画像を切り取って、旧ＣＶ領域画像に貼り付けて更新ＣＶ領域画像を生成する。
更新画像生成部１０８８は、最終的に領域結合して、更新画像を生成する。

ＣＶ領域画像のまま出力しても良いが、一般的には通常画像として利用することが多いので、ＣＶ領域画像を再度結合して解消し、通常画像とした。
表示装置１０８９は、ＣＶ領域画像を表示するには、上述したＣＶ領域画像用のＣＶ領域画像表示装置１００２（図２８参照）が必要となるが、通常画像として表示するには通常の表示装置でよいことになる。
以上により、本発明のＣＶ領域画像前置装置を用いた画像部分更新装置１０８１が実現される。

［オルソ画像生成装置］
次に、図４０を参照して、本発明のＣＶ領域画像前置装置を用いたオルソ画像生成装置の一実施形態について説明する。
同図に示すように、本実施形態のオルソ画像生成装置１０９１は以下の各部を備える。
ＣＶ領域画像・ＶＤ取得部１０９２は、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。

高精度鉛直取得部１０９２は、計測機器により鉛直方向を精度良く取得する。
地図を生成するには鉛直方向が重要であり、鉛直が狂うと地図の精度に直接悪影響を及ぼすので、本実施形態では、鉛直は専用の機器とした。具体的には、高精度の鉛直系でＣＶ領域画像の鉛直方向を補正し、次に、ＣＶ値の誤差が累積するので、数百メートル毎に高精度ＧＰＳ等で絶対座標を取得する。
補正ＶＤ値演算部１０９４は、計測機器で取得した高精度の鉛直データと絶対座標データにより、取得したＶＤ値を補正する。ＶＤ値のみから求める座標及び鉛直は誤差が累積するので、補正が必要となる。

三次元面生成部１０９５は、補正ＶＤ演算部で補正されたＶＤ値と対応するＣＶ領域画像により、オルソ化対象を三次元化する。
この三次元面生成部１０９５は、上述した三次元形状生成装置１０４１（図３４参照）そのものである。
ＣＶ領域画像は三次元画像であるから、二次元化するのは容易である。数百メートル単位で正しい座標と鉛直が分かっているから、単純にオルソ面に投影すればよい。
オルソ面投影部１０９６は、三次元化されたオルソ化対象のＣＶ領域画像をオルソ面に投影する。
ＣＶ画像では、道路面のオルソ化しかできなかったが、ＣＶ領域画像では全ての現像物を含めて、オルソ面を生成できることになる。

なお、数百メートルごとに位置と鉛直を補正するのは、ＣＶ値を含むＶＤの精度と現在のＧＰＳ及び鉛直の精度との比較から区割り出した補正区間の数字である。近距離ではＣＶ値の精度が十分高いので、ＧＰＳの補正を近距離で行うのは却って精度をおとすことになり、不利である。
また、高精度位置決め部１０９７においては、高精度ＧＰＳでなくても良い。画像内に絶対座標が既知である点がＣＶ領域画像（ＣＶ画像でも良い）として写っていれば、その点の座標を画像内計測により取得して、若しくはＲＶ値と比較して、画像内の一点で絶対座標を取得することが可能である。画像内に写っている三角点や測量の基準点がそのまま三次元基準点となる。
以上のような本実施形態のオルソ画像生成装置１０９１によれば、ＣＶ領域画像を取得すれば、実測することなく、直接地図を生成できることになる。

［画像高解像度化装置］
次に、図４１を参照して、本発明のＣＶ領域画像前置装置を用いた画像高解像度化装置の一実施形態について説明する。
ＣＶ領域画像からフレーム画像を生成して動画再生する場合に、各フレームの画像を構成する領域は複数存在するが、その中の最も高解像度の画像を選択して、各フレーム画像を構成することで、高解像度の動画像を生成することができる。
以下、図４１に示す画像高解像度化装置１１０１の各部について説明する。

ＣＶ領域画像・ＶＤ取得部１１０２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
仮想カメラ移動経路指定部１１０３は、再生表示しようとする動画像を取得したカメラ移動経路、若しくは仮想カメラ移動経路をＣＶ値で指定する。
ＣＶ領域画像は、上述した視点変更装置（図３２参照）により、視点変更が自由にできるために、実際のカメラ経路以外のカメラ近傍の経路を設定できる。実際のカメラ経路と大きく離れてしまうと、情報の抜けが生じて画像が完成しないことになる。

全範囲探索選択部１１０４は、動画像の各フレームを構成する各ＣＶ領域画像に関して、最も解像度の高いＣＶ領域画像を、若しくは最もカメラの近くで取得しているＣＶ領域画像を、若しくは最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する。
高解像度化が目的であれば、カメラから最も近い位置のＣＶ領域画像を利用するのが適している。また、画像中の色の精度や障害物排除等により、どのＣＶ領域画像を選択するかは変わってくるが、ここでは解像度を最も高く取る目的で選択する。

高解像度視点変更部１１０５は、全範囲探索選択部１１０４で選択したＣＶ領域画像を、カメラ経路を意味する指定ＣＶ値に選択したそれぞれのＣＶ領域画像を視点変更する。
カメラ位置が与えられれば、どのようなＣＶ領域画像でも、その位置に視点変更することは既に視点変更装置で示したとおりである。
高解像度化画像結合部１１０６は、視点変更されたＣＶ領域画像から各フレーム画像を生成する。ＶＤ表示装置（図２８参照）であれば、そのまま表示可能であるが、視点変更されたままではまだＣＶ領域画像なので、それを表示可能な通常画像に変化すれば通常の表示装置で観察できる。

もし、記録の必要が有れば、さらに視点変更を可能とするＶＤ値を取得したＣＶ領域画像の状態で記録保存する高解像度化画像データベース１１０８を備えることができる。
表示部１１０７は、高解像度化された動画映像を表示する。単なる記録であれば表示装置への入力信号をそのまま記録すればよい。
以上により、本発明のＣＶ領域画像前置装置を用いた画像高解像度化装置１１０１が実現される。

［運動抽出・解析装置］
次に、図４２を参照して、本発明のＣＶ領域画像前置装置を用いた運動抽出・解析装置の一実施形態について説明する。
同図に示すように、本実施形態の運動抽出・解析装置１１１１は以下の各部を備える。
座標系分離装置１１１２は、ＣＶ領域画像データベース装置から出力される、若しくは前記視点変更装置から出力されるＣＶ領域画像を、元となる動画像を構成する複数の座標系に分離する。この座標系分離装置は、上述した座標系分離装置１０７１（図３７参照）そのものである。

運動領域抽出部１１１３は、複数の座標系の中で、目的の運動する対象物のＣＶ領域画像をそのＶＤと共に選択し、抽出する。
運動領域ＶＤ解析部１１１４は、抽出された運動領域のＶＤから、対象となる運動領域の運動を６自由度で表す。
ＶＤはそのまま６自由度で領域の運動を示していることから、運動解析には最適である。
もし必要が有れば、運動領域を指定の座標系に変換して示す指定座標表示部１１１５を備えることができる。
以上により、本発明のＣＶ領域画像前置装置を用いた運動抽出・解析装置１１１１が実現される。

［ＣＶ領域画像検索装置］
次に、図４３を参照して、本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置の一実施形態について説明する。
同図に示すように、本実施形態のＣＶ領域画像検索装置１１２１は以下の各部を備える。なお、繰り返しになるが、ここでＣＶ領域画像とは常にハードＣＶ領域画像・ソフトＣＶ領域画像・対象物ＣＶ領域画像の全てを含む。
ＣＶ領域画像・ＶＤ取得部１１２２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。

検索ＣＶ領域画像部品指定部１１２３は、検索すべきＣＶ領域画像、又はその一部、又はそれを内部に含むＣＶ領域画像を検索すべき部品として指定する。
検索ＣＶ領域画像部品ＶＤ演算部１１２４は、基準座標系における前記部品のＶＤを演算で求める。一般にＶＤはカメラ位置を基準としているため、比較のためには全てカメラ位置に変換して比較するか、共通化された基準座標系での比較が求められる。
そこで、本実施形態では、図４３に示すように、検索されるＣＶ領域画像の基準座標系におけるＶＤと、検索部品のＣＶ領域画像の基準座標系におけるＶＤとを比較し、一致度を求める基準座標ＶＤ比較部１１２５を備える。
検索ＣＶ領域画像出力部１１２６は、ＣＶ領域画像全体の中の一致度の高いＣＶ領域画像を検索結果として出力する。
以上により、本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置１１２１が実現される。

［ノイズリダクション装置］
次に、図４４を参照して、本発明のＣＶ領域画像前置装置を用いたノイズリダクション装置の一実施形態について説明する。
上述した視点変更装置（図３２参照）により、動画像において、視点位置と姿勢を示すＣＶ値により、隣接フレームを目的フレームの視点位置と姿勢とを完全に重ねることができる。すなわち、隣接する数フレームを同一のＣＶ値に視点変更すれば、画像は完全に重ね合わせることができることになる。
一旦重なれば、複数の同一位置と姿勢の静止画と同じであり、加算平均でノイズを減少させることができる。加算平均は線形処理であるが、その他非線形処理を含めて、従来技術のノイズリダクションを行うことができる。ここでは特に線形処理と非線形処理の種別を問わない。

以下、図４４に示すノイズリダクション装置１１３１の各部について説明する。
ＣＶ領域画像・ＶＤ取得部１１３２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
最適ＣＶ領域画像選択部１１３３は、目的フレーム画像に属するＣＶ領域画像と、それに隣接するフレーム画像に属するＣＶ領域画像とで、対応する複数のＣＶ領域画像を選択する。

同一視点変更部１１３４は、隣接するフレーム画像に属するＣＶ領域画像を、目的フレーム画像のＣＶ値に視点変更する。ここにおいても視点変更装置が主役となる。
領域加算平均演算部１１３５は、目的フレームの視点に統一して変更したＣＶ領域画像を、重ね合わせて加算平均する。
平均ＣＶ領域画像生成部１１３６は、加算平均によりノイズが減少した領域を目的フレームに属するＣＶ領域画像として取得する。
以上により、本発明のＣＶ値基準湧きだし点ＣＶ領域画像前置装置を用いたノイズリダクション装置１１３１が実現される。

［対象物認識装置］
次に、図４５を参照して、本発明のＣＶ領域画像前置装置を用いた対象物認識装置の一実施形態について説明する。
上述したＣＶ領域画像検索装置において、部品に属性を付加しておけば、検索結果は対象物の属性を示すことになり、対象物認識ができたことになる。
また、ＣＶ領域画像を固定し、部品を複数用意しておき、一致する部品を探すことで、目的ＣＶ領域画像を認識したことになる。
ここで一致度を評価するのはＶＤ値のみではなく、色、テクスチャー等が比較の対象となる。

以下、本実施形態に係る対象物認識装置１１４１について説明する。
なお、本実施形態の対象物認識装置は、上述した本願発明者の提案による特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号に提案されているＰＲＭ技術を利用している。
ＣＶ領域画像・ＶＤ取得部１１４２は、ＣＶ領域画像データベース装置の出力を、若しくは前記視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。
認識ＣＶ領域画像指定部１１４３は、認識対象となる部分をＣＶ領域画像内に指定する。
ここで、対象の属性等が不明である場合には、当該認識対象を固定して、属性の既知である複数の部品を次々比較して、一致する部品をさがして認識する。
一方、属性の分かっている部品（既に認識されてるＣＶ領域画像の部品）が何処にあるかを探す場合は、上述したＣＶ領域画像検索装置（図４３参照）を用いる。

部品データベース部１１４４は、未知のＣＶ領域画像を認識する本装置においては、前もって認識候補となる複数のＣＶ領域画像からなる部品をデータベースとして記録している。ここで、データベースに無い部品は認識できないことになる。しかしこれは決して不合理ではなく、人間も又記憶のない対象物は認識できないのである。
部品送り出し部１１４５は、認識が完了するまで、次々部品を送り出す。
部品ＶＤ演算部１１４６は、比較される部品のＶＤを演算で求める。
基準座標ＶＤ比較部１１４７は、認識対象となるＣＶ領域画像と、部品を基準座標系のＶＤ値で比較する。これは同一座標系の同一地点からのＶＤで比較するためである。

認識画像出力部１１４８は、部品送り出し部１１４５から送られてくる複数の部品の中で、最も一致度の高い部品を選択して、特定する。
これはＶＤ値で比較するのであるが、最終的に比較はＶＤ値だけではなく、ＶＤ値が接近していて特定できない場合は、他の要素、例えば色やテクスチャー等の属性で比較して一致度の高い部品を選択することが望ましい。
以上により、本発明のＣＶ領域画像前置装置を用いた対象物認識装置１１４１が実現される。

［位置決め装置］
次に、図４６を参照して、本発明のＣＶ領域画像前置装置を用いた位置決め装置の一実施形態について説明する。
同図に示す本実施形態の位置決め装置１１８１は、ＧＰＳやＩＭＵやジャイロに代わって、自分の位置を正確に取得する装置である。
以下、本実施形態に係る位置決め装置１１８１を構成する各部について説明する。

ＣＶ領域画像・ＶＤ取得部１１８２は、ＣＶ領域画像データベース装置の出力を、若しくは視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得する。ここには、車両走行する場所のＣＶ領域画像が存在している。この情報量は膨大であるので、目的に必要な部分のみ検出して利用しようとするものである。
地図利用選択部１１８３は、取得したＣＶ領域画像から、三次元地図として精度良く利用できる複数のＣＶ領域画像部分を自動選択する。これは各ＣＶ領域のＴＶ値を求める際のトラッキング時の相関値を参考にして、決めるか、再度自己相関及び相互相関により、相関値の大きいものを選択することができる。また、部分的に偏らずに全体に分散して選択することで、以下の位置決め時の精度が向上する。

内部検索指定部１１８６は、三次元地図として精度よく利用できるＣＶ領域画像部分を指定し、前記ＣＶ領域画像・ＶＤ取得部で取得したＣＶ領域画像内に、検索し、呼び出し、前記地図利用選択部に送る。
手動で目的の画像を検索させることもできる。前もって分かっている対象物、例えば４０km制限標識のみ選択的に検索して、三次元地図として利用することができる。
ただし、内部検索指定部は本装置を構成する絶対条件ではなく、無くても本装置の本質は失われない。

地図生成部１１８４は、地図利用選択部１１８３で選択された「精度よく利用できる複数のＣＶ領域画像部分」を、二次元特徴点、三次元特徴領域、特徴対象物等に分類し、若しくはＶＤ値等を用いて変換し、地図として生成する。
車両位置決定のためには、三次元座標が既知である方が都合がよいが、二次元点でも車両位置決定の精度に貢献する。認識済の対象物は既に三次元点で構成されるので、位置決定の精度にはきわめて大きく貢献する。

リアルタイム画像取得部１１８７は、地図と比較するため、及び表示のためのリアルタイム画像を車両等に積載したカメラから取得する。
これはカーナビや自動案内装置を念頭に置いて、リアルタイム画像を取得することを前提としているが、もちろん記録映像でも同様に撮影時点のカメラ位置の決定が可能であることはいうまでもない。
リアルタイム画像前処理部１１９０は、取得したリアルタイム画像を、概略ＣＶ演算、ＧＰＳを用いた概略位置合わせ、画像明るさ調整、等の前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施す。

外部検索指定部１１８５は、二次元特徴点、三次元特徴領域、特徴対象物等を前記リアルタイム画像の中に検索指定する。
外部検索検出部１１８８は、外部検索指定部１１８５での検索指定により、二次元特徴点、三次元特徴領域、特徴対象物等を、リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する。
リアルタイム画像ＣＶ値取得部１１８９は、二次元特徴点、三次元特徴領域、特徴対象物等との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の二次元特徴点、三次元特徴領域、特徴対象物等から、リアルタイム画像のＣＶ値を演算で求める。

車両位置決め部１１９１は、リアルタイム画像ＣＶ値取得部１１８９で取得したリアルタイム画像のＣＶ値から、リアルタイム画像を取得したカメラの位置と姿勢を絶対座標で求めて車両位置を決定する。
リアルタイム画像内属性表示部１１９３は、特徴対象物が持っている車両運行に関係する属性をリアルタイム画像内に表示する。
三次元地図データベース部１１９２は、車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、特徴対象物等を、次回に利用する三次元地図として記録しておく。ここで、三次元地図データベースは次回以降の検索検出を様にする目的で設置したものであり、必ずしも必要ではない。
以上により、本発明のＣＶ領域画像前置装置を用いた位置決め装置１１８１が実現される。

［複合人工知能記憶装置］
次に、図４７を参照して、本発明のＣＶ領域画像前置装置を用いた複合人工知能記憶装置の一実施形態について説明する。
同図に示す本実施形態の複合人工知能装置１１５２は、本願発明者による特開２００５−３２２００２号に提案されている複合信号知能装置であり、複数の人工知能装置が情報のやり取りをするように設計されていて、人工知能装置１１７１は、ホスト的役割を持ち、やや大きめのデータベースを持つように設計されている。
複合人工知能装置１１５２を構成する複数の人工知能装置１１７１・１１５３・１１５４において、自ら取得したカメラ映像、及び認識結果をＣＶ領域画像前置装置にＣＶ領域画像として記録する。

さらに個々の人工知能装置１１７１から他の人工知能装置１１５３・１１５４へ、送信装置１１５６により、カメラ映像、及び認識結果が送られる。
また、ＣＶ領域画像前置装置１１５１は、他の人工知能装置１１５３・１１５４で取得されたカメラ画像及び認識結果は受信装置１１５５を通して、情報を受信し、認識結果をＣＶ領域画像として記録する。
送られた画像データはＣＶ領域画像となり、ＣＶ領域画像前置装置１１５１に記録される。
なお、各装置間の通信はWEB１１７０を経由して行われる。

同様に、他の人工知能装置１１５３・１１５４から検索の問い合わせがあれば、ＣＶ領域画像前置装置１１５１のＣＶ領域画像内を検索するＣＶ領域画像検索装置１１５８に送られて検索される。検索結果を記録すると同時に、問い合わせ先に送信する。
同様に、他の人工知能装置１１５３・１１５４から対象物認識の依頼があれば、ＣＶ領域画像前置装置１１５１のＣＶ領域画像内で対象物認識する対象物認識装置１１５７（図２７参照）に送られる。認識結果は記録すると同時に、問い合わせ先に送信される。

人工知能装置１１７１は、他の人工知能装置１１５３・１１５４に比較し、一部ホストの役割を与えられているため、認識のための部品ＤＢ装置１１５９を別に備えている。周囲の関連する複数の人工知能装置で認識されたデータはこの装置に記録され、整理されている。
認識された対象物はその配置と隣接する対象物から抽象化装置１１６１で抽象化され、抽象概念認識装置１１６４により抽象概念として認識される。
具体的には、関連関数装置１１６０により、認識した対象物の部品の配列を数学的な線の結合として隣接関係を表現し、抽象概念認識装置１１６４ではその形状から危険であるとか、安全であるとかを判断する。

さらに、一つの抽象概念の認識結果を一つのフラグとして、抽象概念地図ＤＢ装置１１６７にＣＶタグ装置１１６６（後述する図４８参照）を配置する。
抽象概念地図ＤＢ装置１１６７は、抽象概念の地図であり、配列関係を示す線構成のN次元形状と、抽象概念認識結果を示すＣＶタグによって記録保存されている。
ＣＶタグが増加していくにつれて、さらに抽象部品ＤＢ装置１１６８では複数のＣＶタグによって形成されるM次元形状により、抽象部品を生成することになる。例えば、「危険」を意味するＣＶタグと、「近い」を意味するＣＶタグから、「停止せよ」という判断を行動指示装置１１６３が生み出すことがこれに相当する。

一方、抽象概念検索装置１１６５では、「安全」というＣＶタグ側から、それを満たす抽象概念を検索する。「安全」を意味するＣＶタグを検索して、次に「安全」を構成する抽象M次元形状を検索し、それを具体的に満たす具象化装置１１６２により、ＣＶ領域画像内に、それを満たす状況を探し出すことができる。
自動運転は前記「安全」状況を確認しながら、走行することになる。
以上により、本発明のＣＶ領域画像前置装置を用いた複合人工知能装置１１５２が実現される。

［ＣＶ領域画像によるＣＶタグ入出力検索装置］
次に、図４８を参照して、本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像によるＣＶタグ入出力検索装置の一実施形態について説明する。
まず、本実施形態に係るＣＶタグ入出力検索装置１２０４の基本形であるＡＬＶ（Active
Link Vision）機能について説明する。
図４８に示すように、まず、ＣＶタグ入出力検索装置１２０４により管理しようとする現実の管理対象物１２０３がある。
管理対象物１２０３とは、道路管理目的であれば、路面、街路灯、ガードレール、電柱、道路表示、標識、行き先表示などであり、カーナビゲーション目的であれば信号機、道路表示、車線、標識、行き先表示板、障害物、他車両、等である。

具体的には、ＣＶタグ入出力検索装置１２０４は、図４８に示すように、以下の各部を備える。
ＣＶ領域画像記録部１２０５は、前もって、管理対象物１２０３及び周辺を撮影して記録し、ＣＶ値を付加したＣＶ領域画像から生成したＣＶ領域データベース装置１０１２の出力を一時的に保持する。
視点変更装置１２０６は、画像取得時のカメラ位置近傍への視点変更画像を生成する。この視点変更装置１２０６は、上述した視点変更装置（図３２参照）を用いることで、ＣＶ領域画像の視点を変更し、見やすい位置に視点を設定することができる。ＣＶ領域画像を用いることで視点変更を可能としているという点で視点変更装置は重要である。
ＣＶタグ表示装置１２０７は、ＣＶ値を付加したＣＶ領域画像を表示し、動画として画像フレームが移動しても、画像とＣＶタグの三次元的位置関係を保持したまま、ＣＶタグを表示する。
動画像をＣＶ演算することで三次元的に扱うことができる。ＣＶ領域画像とＣＧとの合成については、上述したように本願発明者による特開２００５−１２２３１５号に詳しく示されている。

ＣＶタグ入力装置１２０８は、ＣＶタグ表示装置１２０７で表示されたＣＶ領域画像の中の管理対象物１２０３の位置に対して、ＣＶ領域画像の中にＣＶタグを直接貼り付けるか、若しくはＣＶ領域画像中の管理対象物１２０３の三次元的位置を確認できるように、矢印などで特定できるようにしたＣＶタグを、ＣＶ領域画像の中に三次元的に配置する。
具体的には、ＣＶタグ入力装置１２０８は、ＣＶ領域画像中の管理対象物１２０３に直接ＣＶタグを入力する。ＣＶ領域画像地図を用いて管理対象物１２０３を三次元計測し、ＣＶタグの三次元座標を管理対象物１２０３の三次元座標と合致させるか、あるいはＣＶタグが管理対象物１２０３を隠さないように、管理対象物１２０３の近傍に設置することでＣＶタグの座標設定は完了する。次に、ＣＶタグを開封し、リンクしたファイルに管理対象物１２０３に関連する画像やテキストデータ等の諸データを書き込む。このことでＣＶタグのデータ入力は完了する。

ＣＶタグデータベース装置１２１０は、ＣＶタグと管理対象物１２０３とを関連づける諸データを格納する。
ＣＶタグを開封して、リンクしたファイルに管理対象物１２０３に関する画像やテキストデータ等の諸データを書き込む作業をすることで、直接ＣＶタグデータベース装置１２１０に書き込むことなく、ＣＶタグ関連の前記諸データは自動的にＣＶタグデータベース装置１２１０に記録され、検索や選択により呼び出される。

ＣＶタグ自動検索装置１２１１は、ＣＶ領域画像中に管理対象物を示すＣＶタグそのものを、若しくはＣＶ領域画像中の管理対象物１２０３の画像そのものを、色の変化や対象物面の点滅によるフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示する。
ＣＶ領域画像上で管理対象物１２０３を特定するには、自動検索によるか、画像上の管理対象物１２０３を直接マウスでクリックすることで完了する。
ＣＶタグ対象物管理装置１２１２は、ＣＶタグ表示装置１２０７により、検索装置でＣＶタグを検索することで、管理対象物１２０３を自動的に特定することができ、若しくは表示されたＣＶ領域画像中の管理対象物１２０３をＣＶ領域画像の中にタッチスクリーンにタッチし、又はマウス等でＣＶタグをクリックして、ＣＶタグを選択することで、ＣＶタグデータベース装置１２１０からＣＶタグに対応する管理対象物１２０３のデータを読み出して管理する。

以上のような構成からなる本実施形態のＣＶタグ入出力検索装置１２０４は、さらに、カーナビ仕様として以下のような構成を備えることができる。
以下、カーナビゲーション目的のＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置について説明する。
このＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置１２０４は次世代のカーナビゲーションを対象として構成される。

具体的には、上述したＣＶタグ入力装置１２０８と、ＣＶタグデータベース装置１２１０と、ＣＶタグ対象物管理装置１２１２とを車両等に積載し、管理地域１２０１、及び管理対象物１２０３周辺を移動する積載移動手段１２０２を備える。
積載移動手段１２０２にはビデオカメラを積載し、リアルタイム画像を取得し、リアルタイム画像にＣＶ演算を施し、リアルタイムＣＶ領域画像を取得するリアルタイムＣＶ領域画像取得装置１２２０を備える。リアルタイム画像は単なるモニタとしてのみならず、直接ＣＶ演算するか、又はＣＶ領域画像地図との位置あわせにより、ＣＶ値を取得することができるので、本発明において様々に利用される。

リアルタイム画像に対しては、文字検索、座標検索、属性検索等で、未登録の管理対象物１２０３を検索し、あるいは既に登録されている管理対象物１２０３を検索し、ＣＶ領域画像上にフラッシュ等でその三次元位置を呈示することができる。
例えば、カーナビ仕様で説明すれば、４０km速度制限と文字検索をすれば、ＣＶ領域画像上にその標識が明るく表示される。また、緯度経度を数字で打ち込んで検索すれば、その緯度経度の所に画像が移動して、その地点を矢印で示す。また、時速４０km制限と検索すれば４０km制限の道路の側帯部分がフラッシュして、その範囲を示す。等の例が上げられる。

ここで、文字検索は画像の中から文字を自動認識する技術による。また、座標検索は地図として用いるＣＶ領域画像は絶対座標を持っているので、動画であっても座標を特定して検索することが可能となる。
ただし、未登録の管理対象物１２０３の検索は対象物認識の技術が必要となり、検索には時間が掛かるので、前もって入力してある管理対象物１２０３に関する諸データから検索するのが適している。
登録されていれば当然ですが、登録されていない管理対象物１２０３に対しても、画像の中から検索する画像検索、対象物認識技術により、検索することができます。例えば、交通標識で一方通行の標識の画像を用意しておき、この一方通行の標識の画像で検索すると、画像中の一方通行の標識を全て検索して、その位置を示すことができる。

また、本実施形態では、リアルタイム画像から管理対象物１２０３を自動認識する管理対象物自動認識装置を保持する対象物認識装置１２１３を備える。
座標検索はＣＶ領域画像が三次元座標を持つことから、動画であっても座標を特定して検索することが可能となる。
上述したように、ＣＶタグ自動検索装置１２１１は、ＣＶ領域画像中に管理対象物を示すＣＶタグそのものを、若しくはＣＶ領域画像中の管理対象物１２０３の画像そのものを、色の変化やフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示する。
また、本実施形態では、外部データベース装置１２１７を備え、内部のＣＶ領域画像記録部１２０５は、ＣＶタグ入出力検索装置１２０４の外側にあるＣＶ領域画像地図データベース部１２１８と通信をする。そのためには、ＤＶＤ、ハードディスク等の記録媒体、若しくはＷＥＢ等の通信により、管理地域１２０１及びその周辺のＣＶ領域画像地図を外部から取得する外部ＣＶ領域画像地図データベース部１２１８を備える。

同様に、ＣＶタグ入出力検索装置１２０４は、記録媒体、若しくは通信により、管理地域１２０１及びその周辺のＣＶタグとその属性を示す情報を取得し、ＣＶタグデータベース装置１２１０に記録し、さらに、外部ＣＶタグデータベース部１２１９とデータのやり取りをする。
なお、端末のＣＶタグ入出力検索装置１２０４で取得したデータを外部データベース装置１２１７に送るか否かは、端末側の判断による。
また、移動体には、移動体の絶対座標を取得するＧＰＳ位置決め装置１２１５と、取得したリアルタイムＣＶ領域画像とＣＶ領域画像地図から、位置あわせをして取得した新旧映像更新装置１２１６とを保持する移動体位置決め手段１２１４を備える。新旧映像更新装置１２１６は、本願発明者による特開２００５−３０３９５２号に示されている。

また、本実施形態では、移動体位置決め手段１２１４により、現在地点が取得され、同時に時刻が取得され、前もって走行目的を入力しておき、その走行目的等より、車両の現在時刻と現在位置と現在状況に関係している管理対象物１２０３のＣＶタグを選択的に自動表示するＣＶタグ自動表示装置１２０９を備える。
走行目的とは、ドライブ、道路路面管理、標識管理、路面性状調査、などであり、その目的によって表示されるＣＶタグは異なるので、目的にあったＣＶタグを自動表示するようにする。
ＧＰＳにより現在位置を取得して、又は、上記の特開２００５−３０３９５２号に示す新旧映像更新装置１２１６により、車両の現在地点を絶対座標で取得して、その地点の画像を表示する。
ここで、本実施形態で示した各装置及び手段は全てを備える必要はなく、その一部装置と一部手段を選択的に備えることが好ましい。

そして、以上のような構成からなる本実施形態に係るＣＶタグ入出力検索装置１２０４では、ＣＶタグ表示装置１２０７により以下のような各種の表示機能（表示手段）が実現される。
[動画ロックオン表示]
動画ロックオン表示は、選択及び検索した管理対象物１２０３を、管理対象物を画像の決められた位置に固定して表示する機能である。
ロックオン表示は、ロックオンすべき任意の対象物を画像内に指定すると、ＣＶ演算で得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常に画枠の中心位置（又は任意の所定位置）に表示されるように、画像表示又はカメラ（カメラが固定される固定物）の位置及び姿勢を制御することができる。

これにより、例えば、画像内にあらかじめ画像と一致している三次元座標系を設定しておき、画像内の目的対象物をマウス等で画像内に指定し、ＣＶ演算により、目的対象物の概略の三次元座標を求め、求められた目的対象物の三次元座標が画像内の指定位置に常に来るように画像表示位置を制御することができる。
あるいは、目的対象物を画像内の指定位置に常に表示するようにカメラを制御することができる。
このロックオン機能により、ＣＶタグ、若しくは管理対象物をＣＶ領域画像地図上で直接指示すれば、選択した管理対象物をロックオンで画像中央に常に表示することができるので、視認および操作が容易となる。

［複数ＣＶ映像表示］
複数ＣＶ映像表示は、ＣＶ領域画像地図は縮尺の異なる複数のＣＶ領域画像地図を同期表示し、又は非同期で表示し、しかも座標系を統一して、同じＣＶタグを複数のＣＶ領域画像地図上に表示する機能である。
なお、上述したように、ＣＶタグはＣＧアイコンにより構成される場合と、実写アイコンにより構成される場合がある。また、アイコン機能を持たない単なるＣＧを表示することができることは勿論である。

［地図同期表示］
地図同期表示は、ＣＶ領域画像地図と二次元地図を同時に表示し、二次元地図上にもＣＶタグを表示する機能である。
ＣＶタグはもともと三次元座標を持つので、二次元化することは容易に行える。

［リアルタイムＣＶ領域画像表示］
リアルタイムＣＶ領域画像表示は、選択及び検索した管理対象物１２０３を、ＣＶ領域画像地図と同じように扱い、リアルタイムＣＶ領域画像にＣＶタグを表示する機能である。これは現時点の現実映像であり最もリアリティーがある表示となる。なお、リアルタイム演算となるために、処理には一定の制限があり得る。

［現実重複表示］
現実重複表示は、選択及び検索した管理対象物１２０３を、ＣＶ領域画像上に表示せずに、ヘッドマウント、又はハーフミラー等により、移動する車両等から直接観察する現実世界の管理対象物に重複して合成した、ＣＶタグや案内矢印ＣＧ、看板ＣＧ等を示す機能である。

［音声案内表示］
音声案内表示は、選択及び検索した管理対象物１２０３に関するＣＶタグの内容を、音声で案内表示する機能である。これは、特にカーナビゲーションシステムには必要な機能となる。
なお、以上のような各機能は、目的に応じてすべてを行わせることもできるが、少なくともいずれか一部の機能を有するものであってもよい。

［実施例］
次に、以上のような本発明のＣＶ値基準ＣＶ一括追跡装置及びＣＶ領域画像前置装置の具体的な実施例について説明する。
［実施例１］
まず、本発明のＣＶ領域画像前置装置を利用した装置として、ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する領域画像結合画像生成装置の実施例について、図４９〜図５１を参照して説明する。

上述したように、本発明のＣＶ領域画像前置装置では、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とが、対等な位置づけとして明確に区別されている。
ところが、以下の実施例に示すソフト領域生成部分は、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とが明確に区別されていない。
その第一の理由は、ソフトＣＶ領域画像生成部分を設計する場合は、当然のこととしてその内部にハードＣＶ領域画像生成部分を含むようになるのが自然だからである。
上述した各実施形態では、この二者の区別を明確にしているが、実際にソフトＣＶ領域画像生成部分を設計する場合には、その内部にハードＣＶ領域画像生成部分を含む以下に示す実施例の方が実際的である。
このことは上述した本発明の各実施形態とは矛盾しないものであり、以下の基本設計とそれに基づく実施例では、ソフトＣＶ領域画像生成部分の内部にハードＣＶ領域画像生成部分を含むように説明する。

第二の理由は、以下の設計及び実施例と同様に、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とを区別せずに上述した各実施形態を説明することは可能であるが、ハードＣＶ領域画像生成部分とソフトＣＶ領域画像生成部分とが明確に区別されないと各実施形態の特徴が不明瞭となるため、上記各実施形態では両者を区別して説明したためである。
結果として、上記各実施形態では二者を明確に区別して説明したが、以下の基本設計及びその実施例では、実際に則して、ハード領域画像生成は、ソフト領域画像の一部に含まれる形で説明する。

［基本設計］
本発明の中心部分である、「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する」部分に特化して、以下に詳細に説明する。
［基本形］
ビデオカメラ等で動画映像を取得し、画像圧縮、画像伝送、画像記録、視点移動、画像三次元化、等の画像処理において必要となる画像のソフトＣＶ領域画像分割を画像に依存して効率よく行う基本形を示す。
従来技術の画像分割は画像を画像の内容にはよらず、単に機械的に８＊８程度の矩形に分割して処理するのが常であった。
本発明においては、ブロック分割においてさえも、単純なブロックではなく、画像を取得したカメラの座標と姿勢を６自由度で表すＣＶ値と、二次元画像でありなから、微少範囲にまで単純化処理されたＴＶ値（追跡データを付加することで、これまで不可能であった画像処理を可能とする。さらに、ブロックを画像に固有の同一のテクスチャー（ソフトＣＶ領域画像）で束ねてソフトＣＶ領域画像のもつ三次元位置と姿勢を表すＲＶ値で整理することで画像処理はより進化することになる。

例えば８＊８の微少ハードＣＶ領域画像（ブロック）を束ねて、ソフトＣＶ領域画像境界線を検出し、ソフトＣＶ領域画像を形成し、追跡データ（ＴＶ値）（追跡データ）を持つソフトＣＶ領域画像を生成し、そのソフトＣＶ領域画像を結合し、全体をソフトＣＶ領域画像で再構成する。
最終的に画像はソフトＣＶ領域画像の結合を示すＪＶ値でまとめられ、対象物単位で表現され、ＣＶ値、ＲＶ値、ＪＶ値とで表現される。
すなわち画像は複数の対象物からなり、その対象物は複数のソフトＣＶ領域画像からなるが、対象物の個々の部分のソフトＣＶ領域画像の動きまで三次元的に解析されることになる。

［輪郭線検出］
一般に、輪郭線抽出によって生成されるソフトＣＶ領域画像と、ハードＣＶ領域画像（ブロック）分割によって生成される一次ソフトＣＶ領域画像とは検出方法が異なるので検出された範囲は異なる。
両者によるソフトＣＶ領域画像の定義には、いくつか考えられるが、大きくは以下の３種類考えられる。
(1)両者どちらかを満たせばソフトＣＶ領域画像とする。
(2)どちらか小さい範囲をソフトＣＶ領域画像とする。
(3)どちらか大きい範囲をソフトＣＶ領域画像とする。

境界線によって閉じた範囲をソフトＣＶ領域画像と定義する。完全には閉じない境界線を閉じるために輪郭線を用いることを可能とするのが適している。閉じない場合であっても、両端を結合してＣＶ領域画像と定義しても、特に問題は生じない。
輪郭線抽出により、境界線抽出によるソフトＣＶ領域画像生成の補助をする。微少ソフトＣＶ領域画像を生成せずに、輪郭抽出により直接ソフトＣＶ領域画像の輪郭を生成し、一次ソフトＣＶ領域画像を生成し、若しくは既に生成された一次ソフトＣＶ領域画像を補う。
特に、輪郭線抽出においては、ソフトＣＶ領域画像境界部分に関して詳細情報を取得し、ソフトＣＶ領域画像分離に貢献する。
ここでは、特に一次ソフトＣＶ領域画像生成におけるソフトＣＶ領域画像を基準とする都合上、輪郭線抽出を補助的に表現してあるが、両者の立場は対等であり、輪郭線抽出によってソフトＣＶ領域画像抽出することも十分可能である。

［輪郭線によるソフトＣＶ領域画像検出］
輪郭線抽出した後、輪郭線の種類を決定して認識し、ソフトＣＶ領域画像生成の補助をする。輪郭線認識により、輪郭線の抜けを補正し、輪郭線をより完全に生成することで、ソフトＣＶ領域画像抽出をより完全に行おうとしている。
一般に、輪郭線と境界線とは一致する部分と一致しない部分があり、異なる。ただし、ソフトＣＶ領域画像はそのどちらでも、又は中間でも定義できる。
ここでも同様に、特に一次ソフトＣＶ領域画像生成におけるソフトＣＶ領域画像を基準とする都合上、輪郭線認識を補助的に表現してあるが、両者の立場は対等であり、輪郭線抽出によってソフトＣＶ領域画像抽出することも十分可能である。

［ゴム紐結合条件］
ゴム紐結合によれば、ハードＣＶ領域画像がその配列順番を変えないように、柔軟に結合することで、トラッキング可能なハードＣＶ領域画像によって、トラッキング不可能なハードＣＶ領域画像にも追跡データを与えることができる。
ゴム紐結合条件とは、隣接するハードＣＶ領域画像の各ブロックが、ゴム紐結合において、結合状態にあるか、切断状況にあるか、の区別を示している。
ゴム紐切断は、隣接するハードＣＶ領域画像に連続性がなく、元々の配置において三次元的に独立している場合には、ゴム紐結合は誤差を発生されるので、ゴム紐結合を切断しなければならない。
切断の方法は、ゴム紐結合により得られた追跡データを正しいものとして、隣接画像を生成し、隣接画像との差分をとり、その差分の大きいところに誤差が集中していると判断することができる。誤差の集中している部分のゴム紐を切断することで、ゴム紐切断が可能となり、その部分の追跡データを再度演算することで、全体として正しい追跡データを主とすることができる。

［基本設計の図解による説明］
次に、上述した各実施形態を組み合わせて、「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する」部分のシステムを構築する場合の原理とその説明を以下に行う。
上述したように、上記の各実施形態では、ハードＣＶ領域画像とソフトＣＶ領域画像を明確に分離して記述しているが、実際にソフトＣＶ領域画像分離画像のシステムを構築する場合には、そのためのハードＣＶ領域画像分離生成画像を明確に分離せずに、ソフトＣＶ領域画像生成の中でハードＣＶ領域画像を扱うことになる。

そのために、ソフトＣＶ領域画像生成の準備をハードＣＶ領域画像生成時に行うこととなる。例えばブロック分類は、ハードＣＶ領域画像においては特徴ブロックとそれ以外のブロックの２種類のみで可能だが、ソフトＣＶ領域画像生成においては、３又は４種類（独立特徴ブロック・境界線上特徴ブロック・境界線上ブロック・その他ブロック）の分類が必要であるため、それをハードＣＶ領域画像のためのブロック分類時において行うことで効率化がはかられる。このことでハードＣＶ領域画像生成ソフトＣＶ領域画像生成の区別が曖昧となる。
以下はソフトＣＶ領域画像生成の一部としてハードＣＶ領域画像生成が位置づけられている。ただし、この位置づけにより各実施形態の構成が統合されるのみであり、矛盾は存在しない。

基本設計１について、図４９には対象物ＣＶ領域画像結合画像の構成を示す。
同図に示す基本設計１は、画像取得装置５０１、一次ソフトＣＶ領域画像生成装置５０２、二次ソフトＣＶ領域画像生成装置５０３、ソフトＣＶ領域画像結合装置５０４からなる。
この基本設計１にＣＶ演算装置５０５を付加した基本設計２を図５０に示す。基本設計２は、基本設計１にＣＶ演算装置を追加している。
ＣＶ演算については、経過の過程で演算することになるが、最初にＣＶ演算を済ませ、画像を代表する座標系に関するＣＶ値を持っていることはその後に処理に有益である。

基本設計３を図５１に示す。
同図に示すように、輪郭線抽出装置５０６と輪郭線認識装置５０７とを追加して、視覚的な輪郭を明確にすることと、輪郭線を認識し、輪郭線が接するコーナーを検出し、対象物を認識する機能を追加する。
また、得られた輪郭線と一次ソフトＣＶ領域画像又は二次ソフトＣＶ領域画像として得られたソフトＣＶ領域画像の境界線と比較し、境界線情報として利用することが可能である。

以下に、本発明において重要な核技術となる一次ソフトＣＶ領域画像生成装置と二次ソフトＣＶ領域画像生成装置について、図５２を参照しつつ説明し、さらに、ソフトＣＶ領域画像分割画像生成装置の好ましい実施例について説明する。
［一次ソフトＣＶ領域画像生成装置］
図５２に示すように、まず、一次領域生成装置５０２では、ハードＣＶ領域画像（ブロック）分割部５２１によって、先ず基準とする画像をハードＣＶ領域画像（ブロック）に分割する。
生成された画像ハードＣＶ領域画像（ブロック）のすべてに関して、ハードＣＶ領域画像（ブロック）分類部によって各ハードＣＶ領域画像（ブロック）は自己相関演算を行い、特徴ハードＣＶ領域画像（ブロック）となり得るハードＣＶ領域画像（ブロック）が抽出される。

自己相関値が十分大きなピークを持つ場合の特徴ハードＣＶ領域画像（ブロック）として分類される。
特徴ハードＣＶ領域画像（ブロック）はそのまま隣接する他のフレームに亘り追跡することが可能であり、この特徴ハードＣＶ領域画像（ブロック）を追跡してＣＶ演算を行うことができる。
また、図５３〜図５７に示すように、特徴ハードＣＶ領域画像（ブロック）となる画像ハードＣＶ領域画像（ブロック）は、さらに境界線の一部となり得るハードＣＶ領域画像（ブロック）２０５と、孤立した特徴ハードＣＶ領域画像（ブロック）２０６となる特徴ハードＣＶ領域画像（ブロック）とに分類される。
図５３は、湧きだし点基準を同時に採用した画像分割の一例を示している。ＣＶ値基準においては絶対条件ではないが、湧きだし点基準の分割をすることは演算上有利である。

さらに、上記の特徴ハードＣＶ領域画像（ブロック）以外は、ハードＣＶ領域画像（ブロック）内にピークを持たないが、ハードＣＶ領域画像（ブロック）端でピークを持つような境界線となり得る境界ハードＣＶ領域画像（ブロック）２０８と、相関値が閾値より低い場合のソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）２０７として、そのソフトＣＶ領域画像点が抽出される（図５３〜図５７参照）。
この特徴ハードＣＶ領域画像（ブロック），境界点，ソフトＣＶ領域画像点を三種の点要素と呼ぶ。

図５４に、全ハードＣＶ領域画像（ブロック）について特徴ハードＣＶ領域画像（ブロック）、境界点、ソフトＣＶ領域画像点を定義して分類したものを示す。
図５４（ａ）は、湧きだし点基準を採用して、画像をハードＣＶ領域画像（ブロック）に分割した場合の一例を示す。図５４（ｂ）は、各ハードＣＶ領域画像（ブロック）を自己相関により、３種類のハードＣＶ領域画像（ブロック）に分類した状況を示す。
図５５（ａ）は、特徴ハードＣＶ領域画像（ブロック）を境界線上にある場合と孤立した場合をさらに分類して示した。図５５（ｂ）は、分類を基準画像に重ねて示した。

図５６（ａ）は、分類したハードＣＶ領域画像（ブロック）だけを示し、図５６（ｂ)は、特徴ハードＣＶ領域画像（ブロック）を連結することでソフトＣＶ領域画像及びソフトＣＶ領域画像内部を生成する状況を示す。塗り分けられた領域がソフト領域である。
図５６におけるハードＣＶ領域画像（ブロック）は、図５２のソフトＣＶ領域画像ゴム紐結合部５２４において、ゴム紐結合され、図５７に示すように、それぞれのハードＣＶ領域画像（ブロック）はその配列順番を変えずに自由に距離関係を変更できるように結合される。

図５７にはその二次元ゴム紐結合状況が示してある。
なお、画像ハードＣＶ領域画像（ブロック）は単純に長方形のハードＣＶ領域画像（ブロック）に分割することでも、特徴ハードＣＶ領域画像（ブロック）、境界線上拘束ハードＣＶ領域画像（ブロック）、ソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）分類は可能である。
もし、画像ハードＣＶ領域画像（ブロック）分割が長方形のような単純分割である場合には、ゴム紐結合はハードＣＶ領域画像（ブロック）の順番を変えずに、垂直水平両方向へのゴム紐結合が必要となる。これは次のソフトＣＶ領域画像追跡処理で大きな効果を発揮する。
以上のように、一次ソフトＣＶ領域画像生成装置では、機械的に分割した画像ハードＣＶ領域画像（ブロック）が、画像の中の対象物の形状に則したソフトＣＶ領域画像に分割されたことを意味する。

［二次ソフトＣＶ領域画像生成部］
図５２に示すように、二次領域生成装置５０３のソフトＣＶ領域画像追跡部５３１は、ソフトＣＶ領域画像の形状を柔軟に保ったまま、既に特徴ハードＣＶ領域画像（ブロック）及び境界線上拘束ハードＣＶ領域画像（ブロック）は一次ソフトＣＶ領域画像として扱われ、湧き出し点方向に、隣接する複数のフレームの中に追跡することで、ソフトＣＶ領域画像追跡が可能となる。
ソフトＣＶ領域画像形成が不完全なところは、輪郭線検出装置５０６及び輪郭認識装置５０７からの追加情報でより完全な輪郭を形成できる。

一つの一次ソフトＣＶ領域画像を追跡する場合には複数の特徴ハードＣＶ領域画像（ブロック）が含まれるソフトＣＶ領域画像を扱うことになり、ソフトＣＶ領域画像単位での追跡が可能となる。
実際には特徴ハードＣＶ領域画像（ブロック）を追跡することになるが、ゴム紐結合により、ソフトＣＶ領域画像全体か伸び縮みしながら追跡され、対応ソフトＣＶ領域画像が求められる。ここで、ゴム紐はソフトＣＶ領域画像境界で切断され易く結合させている。強い力が掛かればゴム紐はソフトＣＶ領域画像境界線で切断される。
また、ソフトＣＶ領域画像境界の一部に大きな変更が成されるような作用が生じた場合には、ゴム紐がソフトＣＶ領域画像境界で切断され、次にソフトＣＶ領域画像としてではなく、元の個々の画像ハードＣＶ領域画像（ブロック）に戻って再追跡することで、画像全体をもれなく追跡処理を行う。
結果として、ゴム紐で結合されたままのソフトＣＶ領域画像群とゴム紐が切断されたソフトＣＶ領域画像群とから画像が構成されることになる。

さて、それでもまだ追跡誤差が存在するのが一般的である。
そこで、補正ソフトＣＶ領域画像検出部５３２において、追跡誤差を減少するように、基準画像のソフトＣＶ領域画像追跡結果から隣接するフレームの順番で画像を進行させた適切な比較フレームにまで画像を進行させ、基準フレームのソフトＣＶ領域画像と追跡データ（ＴＶ値）（追跡データ）から前記比較フレームに対応する画像を生成し、前記比較フレームと比較する。
追跡データ（ＴＶ値）（追跡データ）が正しければ、二者は完全に一致するが、追跡データ（ＴＶ値）（追跡データ）に誤差が含まれれば、ソフトＣＶ領域画像にずれが生じる。そこでその差分を取るなどして、誤差を検出し、誤差の発生するソフトＣＶ領域画像を誤差範囲として決定する。

再追跡補正部５３３では前記誤差範囲において、特徴ハードＣＶ領域画像（ブロック）抽出からやり直す。誤差範囲においては特徴点を多く検出し、再追跡することで、詳細な特徴点を取得する。基準画像だけではなく、前記比較画像において特徴点検出を再度行い、追跡処理することで、ソフトＣＶ領域画像を修正し、正しい追跡データ（ＴＶ値）（追跡データ）を取得することができる。
二次ソフトＣＶ領域画像決定部５３４においては、上記の様にして求められた追跡データ（ＴＶ値）（追跡データ）をもつ二次ソフトＣＶ領域画像として次の行程に出力する。

以下、図５２を参照して、本発明に係る画像処理を用いたソフトＣＶ領域画像分割画像生成装置の実施例について、各部の機能、処理動作とともに詳細に説明する。
まず、画像取得装置５０１において、動画像取得部５１１は、ビデオカメラ等で動画像を取得して記録する。この場合広角画像を必要とし、狭角画像の場合は、一体化された狭角レンズを持つカメラによる画像と共に広角レンズを付けた画像とを同時に取得する。
次に、基準画像指定部５１２は、得られた動画像の中から以後の処理の基準となる静止画を基準画像として選択する。これはとりあえず最初の画像を基準画像とする。

ＣＶ演算装置５０５においては、ＣＶ演算部５５１が、扱う動画像の全てに、取得した各フレームを代表する座標系とカメラ位置との関係を示すＣＶ値を求めるＣＶ演算を行う。ＣＶ値は取得した画像のカメラ位置と姿勢の関係を示す６自由度のパラメータを持つ。
次に、ＣＶ画像変換部５５２は、各画像フレームについて、取得されたＣＶ値を付加したＣＶ画像を生成する。
さらに、追跡範囲指定部５５３が、後の処理を効率的に行うために画像各点の追跡方向と範囲を制限する。

一次ソフトＣＶ領域画像生成装置５０２においては、ハードＣＶ領域画像（ブロック）分割部５２１が、基準画像の画像フレームに関し、画像全体を若しくは、必要部分を単純に微少のピクセルからなる複数のハードＣＶ領域画像（ブロック）に分割する。
ハードＣＶ領域画像（ブロック）は縦１１ピクセル、横１１ピクセル程度とする。

次に、ハードＣＶ領域画像（ブロック）分類部５２２が、複数のハードＣＶ領域画像（ブロック）の全てを、境界線上特徴ハードＣＶ領域画像（ブロック）、孤立特徴ハードＣＶ領域画像（ブロック）、境界線上拘束ハードＣＶ領域画像（ブロック）、ソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）、未特定ハードＣＶ領域画像（ブロック）、の何れかに分類する。
ハードＣＶ領域画像（ブロック）は自己相関を演算し、取得された二次元の相関値において二次元相関値の内部に独立したピークを持つものを特徴ハードＣＶ領域画像（ブロック）とし、ピークは有るが二次元相関値の縁に偏っているハードＣＶ領域画像（ブロック）については、境界線上拘束ハードＣＶ領域画像（ブロック）とし、差異のあるピークを持たないハードＣＶ領域画像（ブロック）はソフトＣＶ領域画像内ハードＣＶ領域画像（ブロック）とし、その他ノイズの大きいハードＣＶ領域画像（ブロック）については未特定ハードＣＶ領域画像（ブロック）として分類する。

次に、一次ソフトＣＶ領域画像生成部５２３が、特定線状特徴ハードＣＶ領域画像（ブロック）と境界線上拘束ハードＣＶ領域画像（ブロック）と、からソフトＣＶ領域画像を生成する。若しくはそれに未特定ハードＣＶ領域画像（ブロック）を加えて最適なソフトＣＶ領域画像を生成する。
さらに、ソフトＣＶ領域画像ゴム紐結合部５２４が、各ハードＣＶ領域画像（ブロック）をゴム紐結合で処理する。各ハードＣＶ領域画像（ブロック）を柔軟に結合し、その配列順番を変更しないで距離関係に多少の変更のゆとりを与えた結合方法をゴム紐結合という。
ここまでは画像をハードＣＶ領域画像（ブロック）化し、そのソフトＣＶ領域画像を決めただけであり二次元情報しか持たない。

次に、二次ソフトＣＶ領域画像生成部５０３において、まず、ソフトＣＶ領域画像追跡部５３１が、ゴム紐結合された前記各ハードＣＶ領域画像（ブロック）の中の前記境界上特徴ハードＣＶ領域画像（ブロック）及び境界線上拘束ハードＣＶ領域画像（ブロック）を隣接する複数の画像フレームに亘って追跡し、対応点を求めることでソフトＣＶ領域画像追跡する。
次いで、補正ソフトＣＶ領域画像検出部５３２が、追跡したソフトＣＶ領域画像に対応する隣接フレームのソフトＣＶ領域画像及びその近傍における誤差を検出し、その誤差の発生範囲を求める。誤差の発生範囲に入る全ハードＣＶ領域画像（ブロック）について、基本画像を変更して前記範囲についてハードＣＶ領域画像（ブロック）化する。

次に、再追跡補正部５３３が、基準画像、若しくは新たな基準画像のフレーム以外の隣接する他の画像フレームに亘って追跡して、境界線上特徴ハードＣＶ領域画像（ブロック）、孤立特徴ハードＣＶ領域画像（ブロック）、境界線上拘束ハードＣＶ領域画像（ブロック）、ソフトＣＶ領域画像ハードＣＶ領域画像（ブロック）、未特定ハードＣＶ領域画像（ブロック）、の何れかに分類し、前記誤差範囲ではゴム紐結合を解除して再度追跡し、追跡データを取得する。
誤差の発生部分の範囲はゴム紐結合を解除して、各ハードＣＶ領域画像（ブロック）単位で追跡をする。

隣接するハードＣＶ領域画像（ブロック）が連続するハードＣＶ領域画像（ブロック）と、関係が不連続のハードＣＶ領域画像（ブロック）を選別することができる。この作業で全ての二次ソフトＣＶ領域画像に関して、各ソフトＣＶ領域画像の境界線を共通とする部分と、又は共通としない部分に分類する。
再度追跡により誤差の発生範囲を再度詳細に追跡して、誤差の少ないソフトＣＶ領域画像が生成される。このようにすることで画像全体のハードＣＶ領域画像（ブロック）が何らかのソフトＣＶ領域画像に所属し、何らかの種類別に分類されることになる。
ソフトＣＶ領域画像は境界線を含み、境界線は隣接するソフトＣＶ領域画像と共有することになる。そこで一つのソフトＣＶ領域画像には複数の特徴ハードＣＶ領域画像（ブロック）を持つことから、各ソフトＣＶ領域画像は複数の追跡データ（ＴＶ値）（追跡データ）を持つことになる。
また、未特定ハードＣＶ領域画像（ブロック）のみで特徴ハードＣＶ領域画像（ブロック）画を持たないソフトＣＶ領域画像であっても、ソフトＣＶ領域画像自体が一つの追跡データ（ＴＶ値）（追跡データ）を持つことになる。
これら追跡データ（ＴＶ値）（追跡データ）をもつソフトＣＶ領域画像を二次ソフトＣＶ領域画像と定義する。
これら二次ソフトＣＶ領域画像を二次領域決定部５３４で決定する。

次に、ソフトＣＶ領域画像結合装置５０４においては、まず、ノイズ消去部５４０が、取得された二次ソフトＣＶ領域画像に関して、取得された各ソフトＣＶ領域画像の追跡データ（ＴＶ値）（追跡データ）から、フレーム間のソフトＣＶ領域画像対応が完全にできたことになり、画像の平均化や、重ね合わせが可能となる。そこで各フレームの対応する複数ソフトＣＶ領域画像を加算平均等によりノイズリダクション（ノイズ消去）を行う。
ノイズ消去には線形処理である加算平均処理以外にも、非線形処理として多数決テクスチャー決定法を提案できる。この方法はテクスチャーを平均で決めるのではなく、複数フレームで最も共通性のあるソフトＣＶ領域画像のテクスチャーを共通のテクスチャーとする方法である。
あるいは複数の適正テクスチャーを選択し、その加算平均をとることができる。これは請求項２６に記載した発明にかかる技術である。
このとき、輪郭線は一致しているのでぼけることはない。

また、ＲＶ演算部５４１で、各ソフトＣＶ領域画像の追跡データ（ＴＶ値）（追跡データ）から、視点変更した仮想カメラの位置及び姿勢の三次元関係意味するＲＶ演算を行う。
ここで、フレームに対してのカメラ位置を求めることをＣＶ演算と定義したが、各フレーム内の各二次ソフトＣＶ領域画像はやはり独自のＣＶ値を持つことになる。しかし一般にフレームを代表する静止座標であればＣＶ値は同一であるが、移動する物体についてはその移動する物体を構成する画像のソフトＣＶ領域画像がそれぞれ独自のＣＶ値と特徴ハードＣＶ領域画像（ブロック）との関係を持つことになる。
最終的には、フレームを撮影したカメラとソフトＣＶ領域画像を撮影したカメラは同一カメラなので、代表する座標系に関してはカメラ位置を示すＣＶ値は一致することになる。

また、一致するカメラ位置となる二次ソフトＣＶ領域画像の位置と姿勢を求めることで、ソフトＣＶ領域画像の動きが三次元的に６自由度で表現できることになる。
ソフトＣＶ領域画像が基準画像のフレームが代表している座標系に所属していない場合、例えば人間が静止座標中を歩いて移動する動きのように、人間の各部分が別々に移動して形としては統合されている対象を二次ソフトＣＶ領域画像に分割して、それぞれのＣＶ値が一致する各特徴ハードＣＶ領域画像（ブロック）を求めることで、人間の形状の時間変化を追ってその画像を表現できることになる。

また、境界線再構成部５４２が、動画として連続して変化する画像を複数の二次ソフトＣＶ領域画像の移動として解釈し、結合した二次ソフトＣＶ領域画像を一体の対象物とし、あるいは分割した対象物として再分割する等して、適切なソフトＣＶ領域画像の結合体に再構成する。
さらに、結合ソフトＣＶ領域画像生成部５４３が、変更ＣＶ演算により取得された二次ソフトＣＶ領域画像を適切に結合して画像を再構成する。

次に、輪郭線検出装置５０６においては、基準画像の画像フレームに関して、ソフトＣＶ領域画像を構成する境界線とほぼ同じ意味を持つ画像中の輪郭線を抽出して、ソフトＣＶ領域画像を構成する境界線の情報として加えることでソフトＣＶ領域画像生成の精度を高めるために、輪郭線抽出部５６１が、エッジ強調等の処理により、画像中の対象物の不完全な輪郭線を抽出する。
また、ベクトル細線化部５６２が、輪郭線を方向別直線、曲線、等に分類しながら適切に分割し、それぞれを細線化処理し、ベクトル化する。

エッジ強調等の処理においては、画像の明るさや色の変化を抽出するので、変化を検出する閾値によって、得られるエッジ情報が異なる。閾値を下げればエッジが求めやすいが、ノイズの影響をノイズの中にエッジが埋もれてしまう。そこで閾値は高めに設定し、そこで取得されたノイズの少ないエッジから不完全な輪郭線を求める。この場合輪郭線は完全に閉じた線とならずに、切れ切れになることが多い。
そこで、その切れ切れの端点において、輪郭線のベクトルの線上を延長し、その延長線上にはさらに輪郭線がある可能性が高いという予想の下に、閾値を下げて、再度エッジ検出を行う。また動画であることから、同じ処理を他の隣接するフレームにおいても行うことで、エッジ検出の確率を上げ、その結果としてより完全な輪郭線を検出できる。
このために、可変閾値処理部５６３により輪郭線検出閾値を下げる処理を行う。
さらに、輪郭線延長部５６４において、閾値を下げた端点の延長上で輪郭線を再検出し、対象物の輪郭線を延長させ、延長輪郭線を取得する。

ここで、取得された輪郭線は画像の視覚的な意味合いが強い。輪郭線は細線化され、テクスチャーや視覚的輪郭線を決定し、画像のボケを修正し、視覚的エッジを生成する。また、ＰＲＭによる認識では、画像はＣＧと対比されることが多いので、生成された細線の輪郭線が意味を持つ。
一方、ソフトＣＶ領域画像境界線は画像処理場の特徴ハードＣＶ領域画像（ブロック）の存在する場所であり、座標に関する演算上重要な場所である。座標として保証されているのは輪郭線ではなく、境界線である。

境界認識装置５０７においては、要素認識部５７１が、輪郭線、及び延長輪郭線に関して、得られた輪郭線から、それらを直線、線分、曲線、Ｔ字コーナー、Ｌ字コーナー等の各要素に分類して認識する。
対応する各要素を部品として用意し、それらと対比して、対応する要素を決定し、認識する。認識技術には、本願発明者の提案によるＰＲＭを利用することができる（特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号参照）。
要素認識部５７１では、部品との比較により、要素の認識がなされるか、それら要素は対象物の一要素であることから、要素の複合体である対象物の認識が可能となる。

次に、対象物認識部５７５において、複数の要素認識とそれら構成要素の組み合わせにより、対象物を認識する。対象物を認識したことで、輪郭線は対象物に属するもののみで構成することができる。この情報はソフトＣＶ領域画像結合装置５０４に送られる。
また、要素追跡部５７２は、各要素を隣接するフレームに追跡して、対応点を確認し、追跡データを取得する。
次いで、隣接輪郭線補正部５７３が、追跡により、誤差の発生する範囲を求め、その範囲において、誤差の顕著な画像フレームを基準画像として、再度輪郭線検出から再演算することで精度を高め、対象物の輪郭線をより完成に近づける。
さらに、輪郭線規定部５７４が、取得されたより精度の高められた輪郭線により、一つの輪郭線に囲まれた範囲を仮に規定する。

以上により、各部品により認識された輪郭線は、ソフトＣＶ領域画像の一部分か、若しくは輪郭線の一部分がソフトＣＶ領域画像となる。互いに補うことで、より完全なソフトＣＶ領域画像を生成することができる。
また、認識が済んでいるので、一つの対象物に属するソフトＣＶ領域画像のみを分離することが可能となる。
また、ＰＲＭにより、画像中の対象物のいくつかが対象物認識まで進み、その三次元位置も決定されることになる。ソフトＣＶ領域画像の三次元位置の演算は変更ＣＶ演算部と重複するが、座標取得手段を複数持つことは一般的に好都合なことである。

なお、本実施例では、輪郭検出装置及び輪郭認識装置を対象物認識と画像のテクスチャー生成を主目的としているが、本来的には輪郭線抽出とソフトＣＶ領域画像境界線検出とは同じ目的であって良い。
対象物認識された場合は、画像中の対象物を自動的にＣＧと入れ替えることができる。実際にそのような需要は多い。
例えば、道路走行画像中の道路標識、看板、路面標示、等を自動的に認識し、自動的にＣＧ化し、分類し、属性を与え、画像中に自動表示することは既に人工知能応用の範疇にはいるが、道路管理上きわめて有効である。

［実施例２］
次に、本発明のＣＶ値基準及び湧きだし点基準ＣＶ領域画像前置装置の実施例２として、カーナビゲーションを目的とした画像データベースを念頭に置き、ＣＶ値基準湧きだし点基準ＣＶ領域画像前置装置の最も単純化された実施例として、「ハードＣＶ領域画像生成装置」と、「ハードＣＶ領域画像生成装置を用いた座標系分離装置」の実施例を示す。
本実施例２は、上述した本願発明者による特願２００４−３６４２２３号の「座標系分離記録再生装置」に対しても、一つの解決手段を追加するものとなる。

本実施例に係るカーナビゲーションにおいて特徴的な点は以下のとおりである。
(1)揺れ止めした湧きだし点基準によるＣＶ画像における座標系分離装置は、本願発明者の提案による特願２００４−３６４２２３号の「座標系分離画像圧縮再生装置」において既に示され、その実施例では揺れ止め処理をした画像を必要としているが、本発明ではわざわざ揺れ止めせずに、しかも湧きだし点も検出すること無しに、座標系分離を実現し、しかも画像圧縮を実現しようとするものである。
(2)全周カメラを積載した車両から全周動画像を取得し、座標系分離をする過程で、代表座標系を静止座標系とする。
(3)そのときに、座標系分離された静止座標系以外は破棄してもまったく問題がないばかりでなく、破棄することになるのは静止座標系以外の対象物である走行する車両等であり、カーナビゲーションには不必要なものであることから、代表座標系のみを座標系分離し、他の座標系として取得された信号は全てノイズとして破棄される。

以上のような特徴を有する本実施例のカーナビゲーション応用の「ハードＣＶ領域画像生成装置を備えた座標系分離装置」について、図５８〜図５９を参照しつつ、以下詳細に説明する。
［詳細説明］
上述した知識と理解を前提として、以下の実施例を説明する。なお、送信受信再生のプロセスと、記録解凍再生のプロセスは基本的に同じことであり、ここでは区別せずに伝送受信再生としてのみ説明する。
図５８Ａ及び図５８Ｂに具体的例を示す。
ここで対象となる動画の元画像は、図５８Ａ中の符号３０１、３０２、・・・・・３０７、・・・・と連続する連続静止画から構成される動画である。
この元画像をＣＶ演算して、各フレームに対応させたＣＶ画像を生成する。

元画像の各フレームに対応したＣＶ値とＴＶ値は、各フレームに対応してＣＶｘ、ＴＶｘとして図中に示してある。
元画像の最初のフレームを基準画像として扱い、基準画像を静止画伝送装置３４１で伝送し、受信側でも基準画像３６１として扱う。
また、差分検出装置３５２で元画像が途中で不連続に大きく変化したと判断されたときには、変化後の最初のフレーム３１７を静止画伝送し、新たな基準画像３６７と再設定する。あるいは、直前の画像との差分を送り、基準画像とすることもできる。

ここでまず、３０１〜３０５までを一区切りの座標系分離区間（セグメント区間）として、この一区切りをセグメントといい、その区間をセグメント区間という。
湧きだし点基準においては直線近似できる区間が制限となったが、ＣＶ値基準ではセグメント区間の原理的制限は特になく、データの取得、誤差修正、及び保存の制限から決められることになる。
上述した本発明の実施形態で示したハード領域画像分割装置８（図２４及び図２６参照）により、元画像３０１〜３０５までの全画素追跡（又は全ブロック追跡）することで、各フレーム画像の追跡データとＣＶ値を持つ３２４を取得する。

ここで、３２４は３０１から３０５までの総合追跡量である。
図５８Ａに示すように、追跡可能な範囲で最大追跡フレーム数となるように３０５を選択することが望ましい。実際問題としては、カーナビゲーション用の道路画像を想定した場合、５００〜１０００フレーム程度の基準移動ライン設定が可能と考えられる。
また、送信するデータとしては、基準画像の最終フレーム画像の座標と位置関係を示すＣＶ値、各ＣＶ領域画像のＴＶ値、差分信号、差分信号から生成されたＴＶ値である（後述する図５９に示す記録データ構造参照）。
なお、受信側での画像再構築のためには共通のセグメント区間を約束しなければならないが、それは上述した基準画像の最終フレーム画像の座標と位置関係を示すＣＶ値から直ぐに取得できるので特に送信の必要はない。

最終的に伝送信号となるのは送信ＶＤとして、最終的に送信される有効データは、以下のように整理される。
(1)基準画像（３０１、３０６・・・・・）
(2)基準画像とセグメント最終画像のＣＶ値、及びＴＶ値。
(3)セグメント区間の最終画像における生成画像と実画像との差分画像。
(4)基準画像に含まれないＣＶ領域画像としての差分画像のＣＶ領域のＴＶ値。
この例はセグメント区間内の途中の画像フレームは全て省略され、フレームレートの指定もない。再生時に自由にフレームレートを指定することになる。
また、再生側では、送られた上記ＶＤ情報から視点移動も可能となる。

図５８Ａ中、差分画像３５１は送信側においてＴＶ画像から生成したＣＶ領域画像と元画像との差分である。差分画像によりトラッキングミスが多少有っても修復可能であり、有効である。
なお、図５８Ａにおいては、処理の過程をフレーム画像の進行とともに記載して説明したが、同図において、太枠は伝送情報であり、図中太枠で示した伝送情報は結局、３１１、３２４、３５１のみである。

ところで、画像データは３１１と３５１であり、３２４は画像データではなくＶＤであることが重要である。
この処理により、この間のフレーム数５００〜１０００は全て省略されることになる。これはかなりの画像圧縮率となる。
また、基準画像及び差分画像の伝送は、従来技術のJPEG等の圧縮技術を併用できるので、総合的にはかなりの圧縮率となる。

各フレーム間で求められたＣＶ値は代表する座標系を示すので、一般には静止座標系となる。このＣＶ値を通限り、ＴＶ値を解析し、静止座標系を分離したことになる。
一方、静止していない座標系は一括追跡ができないことになる。静止していない座標系を取得するには、ここでは静止座標系のみのＣＶ値に着目したので移動体はノイズとして削除されてしまう。つまり、カーナビ仕様には移動体が削除された方がよい結果を生み出すことになる。
一方、座標系は相対的であり、どの座標系も物理的に本質的区別はできない。そこで移動する対象物の座標系を分離するには、移動する座標系のＣＶ値を求める必要がある。ＣＶ値の求め方は静止座標系の場合とまったく同じである（図１〜図１３及び該当説明参照）。

次に、差分信号について説明をする。
図５８Ａに示すように、基準フレームのＣＶ値及びＴＶ値から、逆追跡をして揺れ止めＣＶ画像３１４を生成することができる。
その結果得られたＣＶ領域画像３３１とする。３３１は座標系分離及び追跡時の誤差を含んでいるので、一般には正しく揺れ止めＣＶ画像３１４が生成されない。
そこで、生成ＣＶ画像３３１と生成目的の揺れ止めＣＶ画像３１４の差分を、差分信号３５１として求める。
生成ＣＶ画像３３１と差分ＣＶ画像（差分信号３５１）とから誤差のない補正ＣＶ画像３６５を生成することができる。これは原理的に基となっている揺れ止めＣＶ画像３１４に対応する画像である。

さて、信号を伝送する場合にはできるだけ小さいデータ量で送ることが適切であるので、生成ＣＶ画像３３１を伝送することは適切ではない。
そこで、３３１は送らずに、３６１と３２４から受信再生側で生成ＣＶ画像３３１を生成して再生するのが適している。
図５８Ａに太枠で示した伝送信号として３６１、３２４、３５１から、受信再生側で３６５、また、図５８Ｂに揺れ成分まで再現した画像として３７１〜３７７を示してある。なお、図５８Ｂ中、破線で囲んだ部分が図５８Ａに相当する部分である。
このとき、揺れ止めしない撮影時の揺れ成分に忠実な元画像を伝送するには、位置と湧きだし点情報として、３２１〜３２６を伝送してもよい。

さらに、図５８Ａ中、３２４のＶＤ値から何時でも中間フレーム画像３６２〜３６４のさらに中間フレームをも生成することができる。
ここでは中間のＣＶ値は全て省略されているので中間フレーム画像はＣＶ値を均等配分した画像となり、元画像とは微少分そのＣＶ値が異なる。
その差は微少で、一般には視認しにくいが、視認できたとしても、ＣＶ値が均等配分された画像の方が揺らぎも揺れも無くなり、視覚的にはより見やすくなると言う実に都合の良い効果を生み出す。
もし、揺れまで含めて中間の正しい画像が必要な場合は、各フレームに相当するＣＶを全て送ればよい。このことによるデータ量の増加は微々たるものである。

受信側では、代表座標系の画像を再生できることになる。
中間フレームのフレーム数を自由に設定できることが特徴である。
また、画像に映り込んだ歩行者や走行車両は、代表座標系には含まれないので、ノイズとして扱われることになる。
図５８Ａでは、３０６以降のフレームについては、再度基準画像を用意して、上述した３０１からの処理と同じ処理を繰り返すことで、切れ目の無い動画像全体を送信することができる。
また、座標系分離した代表座標系以外の物体、例えば画像に映り込んだ歩行者や走行車両は、全て削除できることになる。

図５９には、本実施例の記録データ構造を示す。
セグメント区間は、フレーム画像としては基準画像としての最初の３０１のみ送り、最後の３０７におけるＴＶ値生成画像との差分のみ差分画像３５１と、そのＴＶ値を送る。
ＣＶ演算時は隣接画像間のＣＶ値として求めているが、記録データとするときは省略するフレームを飛び越えて基準画像３０１とセグメント最終画像３０７間のＣＶ値を記録することになる。それは単純に両者のＣＶ値の差を取って、基準画像３０１のＣＶ値に加えればよい。
セグメント区間は、ＣＶ値は３０１と３０７の関係を示す一個のみ。ＴＶ値は基準画像３６１に付加したＴＶ値と、基準画像３６１には含まれていないが、セグメント最終画像には含まれる部分の差分画像３５１に対するＴＶ値のみである。

ＣＶ値はセグメント区間全域を示すＣＶ値を持つが、撮影時のフレームを再現する必要が有れば、各フレームにＣＶ値を持つことが相応しい。この分で増加するデータ量は微々たるものである。
基準画像３０１には含まれていないが、セグメント最終画像には含まれる追加ＣＶ領域画像分は、必ずしも差分画像３５１そのものではないが、差分画像３５１にはその大部分が含まれるので、差分画像３５１から生成することになる。ＴＶ値が重複することは何ら問題がない。
また、差分画像３５１の一部に付加したＴＶ値は、基準画像３０１に付加したＴＶ値とは逆方向のＴＶ値となる。
受信再生側では、中間の全ての画像、及び視点変更画像は基準画像３０１と差分画像３５１を元として、全てのフレームの画像をこれらのＶＤ値から生成する。
ＣＶ値とＴＶ値とは受信側のセグメント区間で自由に比例配分される。毎秒のフレーム数の指定はないから、自由なフレーム数を表現できる。

［実施例３］
さらに、本発明のＣＶ領域画像前置装置の実施例３として、カーナビゲーションを目的とした画像データベースを念頭に置き、ＣＶ領域画像前置装置の最も単純化された実施例として「視点変更機能の追加」の実施例を示す。
［視点変更機能の追加］
上述した実施例２では、画像圧縮を主目的とした元も簡略化したカーナビ対応のハードＣＶ領域画像生成装置について述べた。
本実施例では、これを発展させ、視点変更装置を設置して、視点移動をも可能としたものである。ここでは、ＣＧのように視点変更可能な装置を念頭に、図５８及び図６０を参照しつつ、以下説明する。
また、本実施例では、視点移動も可能とすることで、撮影時の画像から、隣接車線への車線変更表示や高さ変更表示ができるナビゲーションへの応用も含めた多目的の装置であるということができる。

図５８Ａに示すように、３０１〜３０４、３０５の元画像をＣＶ演算し、全フレームにＣＶ値を付加する。
ＣＶ演算の結果として、回転成分の差分ＣＶ値dθx,dθy,dθz、位置成分の差分ＣＶ値dx,dy,dz、及びこれらＣＶ値からＣＶ画像の最初のフレーム４３１は従来方法で静止画圧縮されて基準画像３６１として送られる。
ＣＶ画像３０１、３０２・・・・・、３０５をそれぞれ画像領域分割して小領域に分割する。ここでの分割の方法としては矩形ブロックとして分割するハードＣＶ領域画像としている。それはすなわち、ＣＶ領域画像そのものである。
従ってＣＶ領域画像そのものを使うことでよい。

さらに、図６０では、すべてのフレームのＣＶ値を自由に変更し、視点変更画像５０１、５０２、・・・・・５０７とすることが可能である。
この時、画像は二次元にも係わらず、二次元の制約を完全に離れて、あたかもＣＧのように三次元画像としての自由視点を得ることができるのである。
そしてこの意味は、画像圧縮装置としてのみならず、視点変更装置、三次元形状生成装置としての意味を持つことは特記すべきで重要な事実である。

また、ここでは伝送、受信再生として画像圧縮を説明したが、記録、解凍再生としてもまったく同様に説明できることは明らかである。
ここで具体的応用例として、車両に積載して走行しながら撮影した動画像を元画像とし、座標系として静止座標系一つのみを選択し、移動体信号を破棄することで、動画像から静止座標系のみを選択的に取得することができる。
つまり移動する車両や歩行者を削除し、道路や周のビルや伝習等のみの画像とすることができるのである。産業上このような用途は多く存在している。

以上、本発明のＣＶ値基準一括追跡装置と、ＣＶ領域画像前置装置及びこれを利用した各装置について、好ましい実施形態を示して説明したが、本発明は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
本来二次元情報である画像から三次元情報を求めるには、関連する複数の画像から対応点を求める技術が必要である。それを基本的に解決したのが、本願発明者の提案によるＣＶ演算法である（特開２００５−２９５４９５号）。高精度のＣＶ演算が確立すれば実測することなく、画像のみからの測量が可能となり、その産業に与える影響は多大である。
本発明は高精度の追跡方法を実現することにより、高精度ＣＶ演算手法を確立し、演算時間の掛かる相関やマッチング等の処理を用いないので、演算時間の短縮を可能とし、画像処理技術分野、及び未来産業に新たな可能性を付加するものであると確信する。
また、この技術は本願発明者の提案によるＰＲＭ（特開２０００−２９５６１１号、国際公開ＷＯ０２／０１５０５号参照）におけるＣＧ部品と画像の対応処理にもそのまま利用できるので、将来の人工知能技術にも貢献することが期待される。

本発明は、例えば、自動車に搭載されるカーナビゲーション装置に備える地図や映像を表示・更新するための映像装置として、また、道路や河川の監視システムとして好適に利用することができる。
また、本発明は、三次元カメラとしての産業的な利用が期待される。すなわち、画像を動画映像として一旦取得し、それを本発明によって座標系分離し、記録し、その記録データを解凍し、座標系単位で再生し、座標統合し、視点移動可能な映像として表示することで、新時代の三次元カメラとして産業的に広範囲に利用することができる。

本発明のＣＶ値基準一括追跡装置のＣＶ画像取得部として機能するＣＶ演算部の一実施形態の基本構成を示すブロック図である。図１に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。図１に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。本発明の一実施形態に係るＣＶ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。本発明の一実施形態に係るＣＶ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。本発明の一実施形態に係るＣＶデータ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。本発明における湧きだし点の概念を示すための説明図である。本発明の一実施形態に係るＣＶ値基準一括追跡装置の基本構成を示すブロック図である。本発明のＣＶ値基準一括追跡装置におけるＣＶ基準一括追跡方法の基本原理を説明するための説明図である。本発明のＣＶ値基準一括追跡装置における関数特徴点の検出方法を説明するための説明図である。本発明のＣＶ値基準一括追跡装置における関数特徴点の検出方法を説明するための説明図である。本発明のＣＶ値基準一括追跡装置における関数特徴点の検出方法を説明するための説明図である。本発明のＣＶ値基準一括追跡装置における関数特徴点検出装置の基本構成を示すブロック図である。本発明のＣＶ値基準一括追跡装置における関数特徴点の追跡方法を説明するための説明図である。本発明のＣＶ値基準一括追跡装置における関数特徴点の追跡方法を説明するための説明図である。本発明の高精度ＣＶ演算装置の一実施形態の基本構成を示すブロック図である。本発明のリアルタイム高精度ＣＶ演算装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置の一実施形態の基本構成を示すブロック図である。図２３に示すＣＶ領域画像前置装置における、ハードＣＶ領域画像生成のための構成の詳細を示すブロック図である。図２３に示すＣＶ領域画像前置装置における、ハードＣＶ領域画像生成のための構成の詳細を示すブロック図である。図２３に示すＣＶ領域画像前置装置における、ソフトＣＶ領域画像生成のための構成の詳細を示すブロック図である。図２３に示すＣＶ領域画像前置装置における、対象物ＣＶ領域画像生成のための構成の詳細を示すブロック図である。本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像表示装置の一実施形態の基本構成を示すブロック図である。図２８に示すＣＶ領域画像表示装置のＣＶ領域画像再結合部における再結合処理を説明するためのブロック図である。本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像データベース装置の一実施形態の基本構成を示すブロック図である。図３０に示すＣＶ領域画像データベース装置の応用展開例を示す説明図である。本発明のＣＶ領域画像前置装置を用いた視点変更装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像ＣＧ合成装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた三次元形状生成装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた画角拡大装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いたロックオン表示装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた座標系分離装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた座標系分離装置の一実施形態におけるＣＶ値基準による座標系分離方法を説明するための説明図である。本発明のＣＶ領域画像前置装置を用いた画像部分更新装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いたオルソ画像生成装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた画像高解像度化装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた運動抽出・解析装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いたノイズリダクション装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた対象物認識装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた位置決め装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いた複合人工知能記憶装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置を用いたＣＶ領域画像によるＣＶタグ入出力検索装置の一実施形態の基本構成を示すブロック図である。本発明のＣＶ領域画像前置装置の実施例１の「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」の基本構成を示すブロック図である。図４９に示す「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」にＣＶ演算装置を追加した構成を示すブロック図である。図５０に示す「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」に輪郭線抽出装置と輪郭線認識装置を追加した構成を示すブロック図である。図４９〜５１に示す「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」の各部の詳細を示すブロック図である。図４９〜５１に示す「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」における画像分割処理の手順を示す説明図である。図４９〜５１に示す「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」における画像分割処理の手順を示す説明図である。図４９〜５１に示す「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」における画像分割処理の手順を示す説明図である。図４９〜５１に示す「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」における画像分割処理の手順を示す説明図である。図４９〜５１に示す「ハードＣＶ領域画像をソフトＣＶ領域画像に変換して、対象物ＣＶ領域画像結合画像を生成する前置装置」におけるゴム紐結合を示す説明図である。本発明のＣＶ領域画像前置装置の実施例２における中間フレーム生成の詳細を示す説明図である。図５８Ａに続いて本発明のＣＶ領域画像前置装置の実施例２における中間フレーム生成の詳細を示す説明図である。本発明のＣＶ領域画像前置装置の実施例２における記録データ構造（送信データ構造）を説明するための説明図である。本発明のＣＶ領域画像前置装置の実施例３における視点変更フレーム画像生成を説明するための説明図である。

符号の説明

２ＣＶ演算部
２００ＣＶ値基準一括追跡装置
２０１ＣＶ画像取得部
２０２初期画像特徴点選択部
２０３隣接フレーム追跡部
２０４特徴点追跡予想部
２０５対応位置一括決定部
４００関数特徴点検出装置
５００高精度ＣＶ演算装置
６００リアルタイム高精度ＣＶ演算装置
１００１ＣＶ領域画像前置装置

Claims

動画像の各フレームに、撮影時のカメラの三次元位置と姿勢を示すカメラベクトル値（ＣＶ値）を付加した画像を生成するＣＶ画像取得部と、
追跡を始める画像フレームを定め、当該画像フレームに追跡すべき複数の特徴点を選択して指定する初期画像特徴点選択部と、
当該複数特徴点を隣接フレームに追跡して、当該複数特徴点の各追跡データを取得する隣接フレーム追跡部と、
前記各追跡データとＣＶ値とから取得される前記複数特徴点の概略三次元座標とから、当該複数特徴点に隣接する前記複数フレームに亘る概略追跡位置を前記複数フレームに関して一括して予想する特徴点追跡予想部と、
前記予想により制限された前記複数フレームの中の前記概略追跡位置付近において、前記特徴点との対応位置を前記複数フレームに亘り、一括して詳細に検出する対応位置一括決定部と、
を備えることを特徴とするＣＶ値基準一括追跡装置。
前記初期画像特徴点選択部において、
前記ＣＶ画像を取得する際に用いた特徴点を選択して指定することを特徴とする前記請求項１記載のＣＶ値基準一括追跡装置。
前記初期画像特徴点選択部において、
初期画像を定め、再度検出した特徴点を取得して、指定することを特徴とする請求項１又は２記載のＣＶ値基準一括追跡装置。
前記初期画像特徴点選択部において、関数特徴点を検出し、
前記特徴点追跡予想部において、選択指定した関数特徴点の時系列上の多数フレームに亘り、ＣＶ値を用いて追跡予想位置を小面積で予想し、
前記特徴点追跡位置検出部において、前記小面積内に、新たに関数特徴点を抽出し、当該関数特徴点と前記選択指定した関数特徴点とを、同一特徴点として一括して対応させ、
前記対応位置一括決定部において、一括して対応関係を決定し、追跡データを求めることを特徴とした請求項１乃至３のいずれか一項記載のＣＶ値基準一括追跡装置。
動画像の各フレームに、撮影時のカメラの三次元位置と姿勢を示すカメラベクトル値（ＣＶ値）を付加した画像を生成するＣＶ画像取得部と、
前記ＣＶ画像取得部からの出力に対し、付加されたＣＶ値の回転成分により、画像に逆回転を与えて、揺れ止め画像を生成する揺れ止め画像生成部と、
前記ＣＶ値から、隣接する画像に対する湧きだし点と吸い込み点を求める湧きだし点抽出部と、
前記ＣＶ画像をブロック画像に分割するブロック分割部と、
追跡を始める画像フレームを定め、当該画像フレームの画像ブロック内に追跡すべき一乃至複数の特徴点を選択して指定する初期画像特徴点選択部と、
湧きだし点基準を導入し、当該複数特徴点を湧きだし点から予想される経路に沿って隣接フレームに追跡して、当該特徴点の各追跡データを取得する隣接フレーム追跡部と、
前記各追跡データとＣＶ値とから取得される前記複数特徴点の三次元座標とから、当該複数特徴点に隣接する前記複数フレームに亘る概略追跡位置を前記複数フレームに関して、湧きだし点から吸い込み点に向かって予測されるライン上に、一括して予想する特徴点追跡予想部と、
前記予想により制限された前記複数フレームの中の前記概略追跡位置付近において、前記特徴点との対応位置を、関連する前記複数フレームに亘り一括して検出する対応位置一括決定部と、
を備えることを特徴とするＣＶ値基準一括追跡装置。
移動するビデオカメラで撮影した動画像を取得し、記録する画像取得装置と、
画像の中に多数の特徴点を検出し、複数フレームに亘って追跡することで対応点を検出し、複数の特徴点とその対応関係から、撮影時のカメラの三次元位置と姿勢を全フレームについて求めるカメラベクトル値（ＣＶ値）を演算（ＣＶ演算）して求め、同時に使用した特徴点の三次元座標を求める三次元特徴点記録部と、
各フレーム画像のＣＶ値を記録する概略ＣＶ値取得部と、
画像の各フレームにＣＶ値を付加した画像を生成するＣＶ画像生成装置と、
前記画像の中に検出した三次元座標を持つ多数の特徴点を用いて、特徴点の対応点を、請求項１乃至５のいずれかに記載のＣＶ値基準一括追跡装置により、多くの隣接画像に亘ってＣＶ値基準一括追跡処理するＣＶ基準一括追跡部と、
多数の特徴点の精度の高い前記追跡処理を行い、再度特徴点の追跡データを取得する特徴点追跡データ取得部と、
前記特徴点追跡データから精度の高いＣＶ値を演算で求める高精度ＣＶ演算部と、
を備えることを特徴とする高精度ＣＶ演算装置。
画像の各フレームにカメラベクトル値（ＣＶ値）を付加した画像を生成するＣＶ画像生成装置と、
前記ＣＶ画像生成装置の出力から、得られたＣＶ画像を隙間無く幾何学的なハードＣＶ領域画像に分割するハードＣＶ領域画像分割装置と、
前記ハードＣＶ領域画像分割装置によって分割された各ＣＶ領域画像の中に特徴点を検出し、又は前記ＣＶ演算時に使用した特徴点を利用し、その対応点を、請求項１乃至５のいずれかに記載のＣＶ値基準一括追跡装置により、隣接画像に亘って追跡し、全ＣＶ領域画像のトラッキングベクトル値（ＴＶ値）を求めるＴＶ演算装置と、
画像の各フレームに前記ＣＶ値と、前記ＴＶ値とを付加したハードＣＶ領域画像を生成するハードＣＶ領域画像生成装置と、
を備えることを特徴とするＣＶ領域画像前置装置。
前記ハードＣＶ領域画像生成装置の出力から、複数のハードＣＶ領域画像を結合して、又は前記ハードＣＶ領域画像生成装置を介さずに直接同種テクスチャーＣＶ領域画像を分離して、画像内容に沿った複数のソフトＣＶ領域画像から画像を再構成するソフトＣＶ領域画像分割装置と、
前記ソフトＣＶ領域画像に分割された画像の各ソフトＣＶ領域画像に関して、前記ソフトＣＶ領域画像をＣＶ値から得られる予想位置を前記ＣＶ値基準一括追跡装置によって追跡し、基準となる座標系に対する位置及び姿勢、及び運動を演算し、前記ソフトＣＶ領域画像のＣＶ領域画像ベクトル値（ＲＶ値）を求めるＲＶ演算装置と、
画像を構成する全ＣＶ領域画像が前記ＣＶ値と、前記ＣＶ領域画像ベクトル値（ＲＶ値）を付加して持つ画像を生成するソフトＣＶ領域画像生成装置と、
を備えることを特徴とする請求項７記載のＣＶ領域画像前置装置。
前記ソフトＣＶ領域画像生成装置の出力から、複数のソフトＣＶ領域画像を所属する対象物毎に結合して、又は前記ソフトＣＶ領域画像生成装置を介さずに直接同種対象物ＣＶ領域画像を分離して、複数のソフトＣＶ領域画像からなる対象物により、画像を再構成する対象物認識装置と、
前記対象物ＣＶ領域画像に分割された画像の各対象物ＣＶ領域画像に関して、前記対象物を構成する各ソフトＣＶ領域画像は、対象物としての関係を保ち、対象物として基準となる座標系に対する位置及び姿勢、及び運動を演算し、複数のソフトＣＶ領域画像の複合体としての複数のＣＶ領域画像ベクトル（ＲＶ）を統合し、対象物別にソフトＣＶ領域画像を分類したＪＶ（ジョイントベクトル）を求め、対象物毎の分類データを取得するＪＶ演算装置と、
画像を構成する対象物及び対象物を構成するソフトＣＶ領域画像が、前記ＣＶ値と、前記ＣＶ領域画像ベクトル値（ＲＶ値）と、前記ＪＶ値と、で統合された画像を生成する対象物ＣＶ領域画像生成装置と、
を備えることを特徴とする請求項８記載のＣＶ領域画像前置装置。
画像をブロックに分割するブロック分割部と、
前記ブロックを、特徴ブロック、及びそれ以外のブロックに分類するブロック分類部と、
全てのブロックをその配列順番を変えずにゴム紐状に柔軟に結合するゴム紐結合部と、
前記特徴ブロックと前記それ以外のブロックに対してもゴム紐状に結合し、一時的に形成される抜けのない全ブロックによる画像を生成するブロック画像生成部と、からなるハードＣＶ領域画像分割装置と、
前記ハードＣＶ領域画像分割装置の出力のゴム紐状に結合したブロック画像の特徴ブロックを請求項１乃至５のいずれかに記載のＣＶ値基準一括追跡装置で追跡する特徴ブロック追跡部と、
特徴ブロックの追跡データを前記それ以外のブロックにも演算して適切に配分する一次ＴＶ演算部と、
複数フレームから一次ＴＶの誤差を検出する補正ブロック検出部と、
前記誤差の分布するＣＶ領域画像を補正ＣＶ領域画像として、再追跡して高精度なＴＶデータを取得する二次ＴＶ演算部と、
からなる高精度ＴＶ演算装置と、
前記ＴＶ演算装置の出力に関して、ＴＶ値が同一となる隣接ブロックを結合する同一ＴＶ値統合部と、
画像のＣＶ値、及びハードＣＶ領域画像のＴＶ値を画像に付加するＣＶ・ＴＶ付加部と、
ブロック画像を表示目的に適した図法に変換する図法再変換部と、
前記ＣＶ値とＴＶ値とを付加したブロック画像を出力するハードＣＶ領域画像出力部と、からなるハードＣＶ領域画像生成装置と、
を備えることを特徴とするＣＶ領域画像前置装置。
前記ハードＣＶ領域画像生成装置の出力から、特徴ブロックを選択し、独立特徴ブロック、境界線上特徴ブロック、境界線上ブロック、及びそれ以外のＣＶ領域画像内ブロックの３種類に再分類するブロック再分類部と、
境界線上特徴ブロック、境界線上ブロックを結合し、ソフトＣＶ領域画像を生成するソフトＣＶ領域画像生成部と、
輪郭線ベクトル化装置の出力を用い、ＣＶ領域画像境界を補正するＣＶ領域画像境界線の抜けを補正し、ブロック単位で構成されているソフトＣＶ領域画像を、ベクトル線で切り分けてＣＶ領域画像境界線を補強して明確なソフトＣＶ領域画像を生成するＣＶ領域画像境界線補正部と、からなるソフトＣＶ領域画像分割装置と、
前記ソフトＣＶ領域画像分割装置の出力を、再度隣接画像に亘って追跡するＣＶ領域画像トラッキング部と前記隣接画像に亘るＣＶ領域画像の追跡からＲＶ値を求めるＲＶ演算部からなるＲＶ演算装置と、
前記ＲＶ演算装置の出力に対して、ＣＶ値、及びＲＶ値をソフトＣＶ領域画像に付加するＣＶ・ＲＶ付加部と、
前記ＣＶ値・ＲＶ値を付加されたソフトＣＶ領域画像を生成して出力するソフトＣＶ領域画像出力部と、からなるソフトＣＶ領域画像生成装置と、
画像の輪郭を直接求める輪郭線抽出部と、
前記輪郭線を細線化してベクトル化するベクトル細線化部と、
細線化ベクトルの延長線上の輪郭線検出の閾値を下げて、再度輪郭線を検出して細線を延長する可変閾値輪郭補強部と、
補強されたベクトル輪郭線を生成するベクトル輪郭線生成部と、からなる輪郭線ベクトル化装置と、
を備えることを特徴とする請求項１０記載のＣＶ領域画像前置装置。
ソフトＣＶ領域画像の中で、認識対象となる対象物の概略範囲を選択指定するソフトＣＶ領域画像範囲選択部と、
前記範囲を指定したソフトＣＶ領域画像のＲＶ値を選択指定するＲＶ選択部と、
予想される複数の対象物のＲＶ値をデータベース化して記憶している部品ＤＢ部と、
前記範囲のソフトＣＶ領域画像のＲＶ値と候補部品のＲＶ値とを比較し、部分一致か不一致かを決定し、不一致の場合は他の部品候補を自動選択し、完全一致の場合はそれを決定部品とし、部分一致した場合は他の候補部品と一致度合いを比較し、最も一致度の高いＲＶ値を持つ部品を決定部品とするＲＶ比較部と、
前記決定部品を認識した対象物として、取得する対象物認識部と、
前記範囲のＣＶ領域画像内において、ＣＶ画像からソフトＣＶ領域画像の形状を形成する要素を検出する要素分解部と、
前記要素を隣接画像に追跡し、対応位置を求める要素追跡部と、
要素のＣＶ値とＲＶ値から三次元形状を求める要素三次元化部と、
要素の部品データベースとなる要素部品ＤＢ部と、
画像から検出した要素と部品要素の形状を比較して一致を求める要素比較部と、
一致した部品要素を画像から検出した要素に置換する対象物要素認識部と、からなる対象物認識装置と、
前記対象物認識装置の出力から、対象物認識されたＣＶ領域画像を対象物単位で再結合するＣＶ領域画像再結合部と、
それぞれの対象物毎にソフトＣＶ領域画像の幾何学的三次元結合状況を表すＪＶ値を求めるＪＶ演算部と、からなるＪＶ演算装置と、
前記ＪＶ演算装置で求められた対象物単位のＪＶ値は、複数の対象物がそれぞれ区別されて配置されるように、全ソフトＣＶ領域画像にＪＶ値を付加するＪＶ付加部と、
対象物認識が一部又は全て済ませた対象物認識ＣＶ領域画像を生成する対象物ＣＶ領域画像生成部と、からなる対象物分離画像生成装置と、
を備えることを特徴とする請求項９記載のＣＶ領域画像前置装置。
前記ＣＶ値基準一括追跡装置からの出力、又は前記ＣＶ値基準一括追跡装置からの出力と同等の出力をする他の機器からの出力を、ＣＶ領域画像と共にＶＤを分離して取得するＣＶ領域画像・ＶＤ取得部と、
画像の表示方法を指定する表示指定部と、
ＶＤを基にして、ＣＶ領域画像を再結合して再結合画像を生成するＣＶ領域画像再結合部と、
前記再結合画像を各フレームに配分して、各フレームに対応した画像を生成する画像フレーム生成部と、
前記画像フレームを表示する表示部と、
を備えることを特徴とする請求項７乃至１２のいずれかに記載のＣＶ領域画像前置装置を用いたＶＤ画像表示装置。
前記ＣＶ領域画像前置装置から出力される各ＣＶ領域画像であるハードＣＶ領域画像出力、ソフトＣＶ領域画像出力、及び対象物ＣＶ領域画像出力の中の全ての画像出力、又は前記三者の中間段階の画像出力を、各ベクトルデータ（ＶＤ値）共に取得するＣＶ領域画像・ＶＤ取得部と、
前記ＣＶ領域画像・ＶＤ取得部で取得したＶＤ値の成分であるＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、又はそれら何れかのうちで、ＣＶ領域画像単位で、及び画像フレーム単位で重複するデータを近似化し単純化して、圧縮する重複データ圧縮部（座標系分離画像圧縮装置）と、
前記圧縮データによる圧縮画像データとの対応を保持して、各ＣＶ領域画像をＣＶ領域画像圧縮して記録するＣＶ領域画像圧縮記録部と、
前記各ＣＶ領域画像内に、画像及びＣＶ領域画像を検索して指定する検索指定部と、
前記検索部で検索して選択した画像及びＣＶ領域画像を、前記ＣＶ領域画像圧縮記録部に記録された全画像データの中から呼び出し、解凍し、前記重複データ整理部で再構成したＣＶ値、ＴＶ値、ＲＶ値、ＪＶ値の全て、又はそれらの何れかを付加した複数種類のＣＶ領域画像が混在するＣＶ領域画像を出力する解凍・出力部と、を備え、
前記ＣＶ領域画像前置装置からの出力に代えて、ＣＶ領域画像を出力することを特徴とした請求項７乃至１２のいずれかに記載のＣＶ領域画像前置装置を用いたＣＶ領域画像データベース装置。
請求項１４記載のＣＶ領域画像データベース装置からの出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
視点変更地点又は視点変更経路を、ＣＶ値で指定する視点変更指定部と、
前記ＣＶ値で指定された視点変更ＣＶ値から、視点変更時の他のＶＤを演算で求める視点変更演算部と、
視点変更演算により取得されたＶＤを各画像、及び各ＣＶ領域画像に対応をつける変更ＶＤ取得部と、
対応のついた前記各画像、及び各ＣＶ領域画像の画像を再構成し生成し、出力する視点変更画像生成部と、
を備えることを特徴とするＣＶ領域画像前置装置を用いた視点変更装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
前記ＣＶ領域画像に合成するべきＣＧを入力するＣＧ入力部と、
前記ＣＧのＶＤを演算するＶＤ演算部と、
前記ＣＶ領域画像の視点座標とＣＧの視点座標を合致させて座標を統合する視点座標統合部と、
ＣＶ領域画像のＶＤと前記ＣＧのＶＤを比較演算して、表示の前後関係を決定する前後関係形成部と、
視点が合致し、前後関係が決定された、前記ＣＶ領域画像と前記ＣＧとを合成して、同一座標系で表現するＣＶ領域画像ＣＧ合成部と、
を備えることを特徴とするＣＶ領域画像前置装置を用いたＣＶ領域画像ＣＧ合成装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
三次元形状生成を行う範囲を指定する範囲指定部と、
ＣＶ領域画像に付加されたＶＤ値から三次元ポリゴンに変換演算するポリゴン変換演算部と、
前記ポリゴン変換されたデータから三次元形状を生成する三次元形状生成部と、
を備えることを特徴とするＣＶ領域画像前置装置を用いた三次元形状生成装置。
移動するカメラから撮影した画像についての、請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
画角拡大画像を観察する時の画角と視点方向を指定する拡大画角指定部と、
画角拡大画像を観察する時の前記カメラ位置からの視点の移動位置を指定する仮想観察視点指定部と、
前記拡大画角と、前記視点方向と、前記視点移動位置を指定された時間軸上に並ぶ複数フレームのＣＶ領域画像を、指定の視点位置に視点変更演算する時間軸画像視点変更部と、
前記視点変更演算により、視点変更されて視点位置が同一となった現在から過去に亘る時間軸上に並ぶ複数フレームのＣＶ領域画像を結合する複数画像結合部と、
時間の進行と共に移動進行する前記カメラの位置と方向を追従し、時間軸上に並ぶ複数フレームのＣＶ領域画像を次々指定された視点位置に視点変更を次々繰り返すことで、画角拡大画像を連続して生成し続ける繰り返し生成部と、
を備えることを特徴とするＣＶ領域画像前置装置を用いた画角拡大装置。
移動するカメラから撮影した画像についての、請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を、取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
ＶＤを指定することにより、ロックオンすべき対象物の座標を指定する対象物座標指定部と、
ロックオン表示のための視点移動経路と範囲を指定する視点移動指定部と、
指定された視点移動経路に沿って、ＣＶ領域画像の視点変更を求める視点及び視点方向変換部と、
変換されたＣＶ領域画像を指定経路に従って表示するロックオン表示部と、
を備えることを特徴とするＣＶ領域画像前置装置を用いたロックオン表示装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
ＶＤから座標系を分離し、座標系毎のＣＶ領域画像とＶＤとに分類する座標系別ＶＤ処理部と、
各座標系のＶＤを単純な関数に近似して単純化し、又は前記近似したＶＤと前記ＣＶ領域画像のＶＤとの関係を示す関数を持ち続ける各座標系ＶＤ近似処理部と、
単純な関数に近似されたことで、通信又は記録される、各座標系分離通信装置、又は各座標系分離画像記録部と、
各座標系単位で画像を生成する各画像系別画像生成部と、
各座標系を再度結合し合成して表示するための再結合を行う各座標系合成画像生成部と、
を備えることを特徴としたＣＶ領域画像前置装置を用いた座標系分離装置。
更新する画像情報を含む画像を、前記ＣＶ値基準一括追跡装置から出力して、ＣＶ領域画像とそのＶＤを取得する更新ＣＶ領域画像・ＶＤ取得部と、
更新される旧画像情報を含む画像を、前記ＣＶ値基準一括追跡装置から出力して、ＣＶ領域画像とそのＶＤを取得する旧ＣＶ領域画像・ＶＤ取得部と、
更新範囲を指定する更新範囲指定部と、
ＶＤ値を合致させることで、更新画像の視点を旧画像の視点に変更する更新領域視点変更部と、
旧画像側の更新部分を削除する更新範囲削除部と、
更新部分のＣＶ領域画像を切り取って、旧ＣＶ領域画像に貼り付けて更新ＣＶ領域画像を生成する更新部分ＣＶ領域画像生成部と、
最終的に領域結合して、更新画像を生成する更新画像生成部と、
を備えることを特徴とした請求項７乃至１２のいずれかに記載のＣＶ領域画像前置装置を用いた画像部分更新装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
計測機器により鉛直方向を精度良く取得する鉛直補正部と、
ＣＶ領域画像の複数ポイントで絶対座標を取得する高精度位置決め部と、
前記計測機器で取得した高精度の鉛直データにより、取得したＶＤ値を補正する補正ＶＤ値演算部と、
前記補正ＶＤ演算部で補正されたＶＤ値と対応するＣＶ領域画像により、オルソ化対象を三次元化する三次元面生成部と、
三次元化されたオルソ化対象のＣＶ領域画像をオルソ面に投影するオルソ面投影部と、
を備えることを特徴としたＣＶ領域画像前置装置を用いたオルソ画像生成装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
再生表示しようとする動画像を取得したカメラ移動経路、又は仮想カメラ移動経路をＣＶ値で指定する仮想カメラ移動経路指定部と、
前記動画像の各フレームを構成する各ＣＶ領域画像に関して、最も解像度の高いＣＶ領域画像、又は最もカメラの近くで取得しているＣＶ領域画像、又は最も目的に適合したＣＶ領域画像を、既に取得している視点の異なる全ＣＶ領域画像データから選択する全範囲探索選択部と、
前記全範囲探索選択部で選択したＣＶ領域画像を、カメラ経路を意味する前記指定ＣＶ値に前記選択したそれぞれのＣＶ領域画像を視点変更する高解像度視点変更部と、
視点変更されたＣＶ領域画像から各フレーム画像を生成する高解像度化画像結合部と、
視点変更を可能とするＶＤ値を取得したＣＶ領域画像の状態で記録保存する高解像度化画像データベースと、
高解像度化された動画映像を表示する場合の表示部と、
を備えることを特徴としたＣＶ領域画像前置装置を用いた画像高解像度化装置。
請求項１４記載のＣＶ領域画像データベース装置から出力され、又は請求項１５記載の視点変更装置から出力されるＣＶ領域画像を、元となる動画像を構成する複数の座標系に分離する座標系分離装置と、
前記複数の座標系の中で、目的の運動する対象物のＣＶ領域画像をそのＶＤと共に選択し、抽出する運動領域抽出部と、
前記抽出された運動領域のＶＤから、対象となる運動領域の運動を６自由度で表す運動領域ＶＤ解析部と、
前記運動領域を指定の座標系に変換して示す指定座標表示部と、
を備えることを特徴としたＣＶ領域画像前置装置を用いた運動抽出・解析装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
検索すべきＣＶ領域画像、又はその一部、又はそれを内部に含むＣＶ領域画像を検索すべき部品として指定する検索ＣＶ領域画像部品指定部と、
基準座標系における前記部品のＶＤを演算で求める検索ＣＶ領域画像部品ＶＤ演算部と、
検索されるＣＶ領域画像の基準座標系におけるＶＤと、検索部品のＣＶ領域画像の基準座標系におけるＶＤとを比較し、一致度を求める基準座標ＶＤ比較部と、
ＣＶ領域画像全体の中の一致度の高いＣＶ領域画像を検索結果として出力する検索ＣＶ領域画像出力部と、
を備えることを特徴としたＣＶ領域画像前置装置を用いたＣＶ領域画像検索装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
目的フレーム画像に属するＣＶ領域画像と、それに隣接するフレーム画像に属するＣＶ領域画像とで、対応する複数のＣＶ領域画像を選択する最適ＣＶ領域画像選択部と、
前記隣接するフレーム画像に属するＣＶ領域画像を、前記目的フレーム画像のＣＶ値に視点変更する同一視点変更部と、
前記目的フレームの視点に統一して変更したＣＶ領域画像を、重ね合わせて加算平均する領域加算平均演算部と、
前記加算平均によりノイズが減少した領域を目的フレームに属するＣＶ領域画像として取得する平均ＣＶ領域画像生成部と、
を備えることを特徴としたＣＶ領域画像前置装置を用いたノイズリダクション装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
認識対象となる部分をＣＶ領域画像内に指定する認識ＣＶ領域画像指定部と、
認識候補となる複数のＣＶ領域画像からなる部品をデータベースとして記録している部品データベース部と、
認識が完了するまで、次々部品を送り出す部品送り出し部と、
比較される部品のＶＤを演算で求める部品ＶＤ演算部と、
前記認識対象となるＣＶ領域画像と、前記部品を基準座標系のＶＤ値で比較する基準座標ＶＤ比較部と、
前記部品送り出し部から送られてくる複数の部品の中で、最も一致度の高い部品を選択して、特定する認識画像出力部と、
を備えることを特徴としたＣＶ領域画像前置装置を用いた対象物認識装置。
請求項１４記載のＣＶ領域画像データベース装置の出力、又は請求項１５記載の視点変更装置の出力を取り入れ、ＣＶ領域画像とＶＤとを分離して取得するＣＶ領域画像・ＶＤ取得部と、
取得したＣＶ領域画像から、三次元地図として精度良く利用できる複数のＣＶ領域画像部分を自動選択する地図利用選択部と、
前記三次元地図として精度よく利用できるＣＶ領域画像部分を指定し、前記ＣＶ領域画像・ＶＤ取得部で取得したＣＶ領域画像内に検索して呼び出し、前記地図利用選択部に送る内部検索指定部と、
前記地図利用選択部で選択された前記精度よく利用できる複数のＣＶ領域画像部分を、二次元特徴点、三次元特徴領域、特徴対象物等に分類し、又はＶＤ値等を用いて変換し、地図として生成する地図生成部と、
地図と比較するため、及び表示のためのリアルタイム画像を車両等に積載したカメラから取得するリアルタイム画像取得部と、
取得した前記リアルタイム画像を、ＣＶ演算、ＧＰＳを用いた概略位置合わせ、画像明るさ調整、等の前記三次元地図と比較しやすくし、検索しやすくするための画像処理を施すリアルタイム画像処理部と、
前記二次元特徴点、三次元特徴領域、特徴対象物等を前記リアルタイム画像の中に検索指定する外部検索指定部と、
前記検索指定により、前記二次元特徴点、三次元特徴領域、特徴対象物等を、前記リアルタイム画像前処理部で比較しやすく処理されたリアルタイム画像の中に検索して、対応部分を検出する外部検索検出部と、
前記二次元特徴点、三次元特徴領域、特徴対象物等との対応部分が検出されたリアルタイム画像の対応部分と三次元地図上の前記二次元特徴点、三次元特徴領域、特徴対象物等から、リアルタイム画像のＣＶ値を演算で求めるリアルタイム画像ＣＶ値取得部と、
前記リアルタイム画像ＣＶ値取得部で取得した前記リアルタイム画像のＣＶ値から、リアルタイム画像を取得したカメラの位置と姿勢を絶対座標で求めて車両位置を決定する車両位置決め部と、
前記特徴対象物が持っている車両運行に関係する属性を前記リアルタイム画像内に表示するリアルタイム画像内属性表示部と、
前記車両位置決めに利用し、リアルタイム画像で確認された前記二次元特徴点、三次元特徴領域、特徴対象物等を、次回に利用する三次元地図として記録しておく、三次元地図データベース部と、
を備えることを特徴とするＣＶ領域画像前置装置を用いた位置決め装置。
複合人工知能装置を構成する個々の人工知能装置が、
自ら取得したカメラ映像、及び認識結果を記録し、認識結果を記録する前記ＣＶ領域画像前置装置と、
個々の人工知能装置から他の人工知能装置で、相互に情報をやり取りするための送信装置、及び受信装置と、
他の人工知能から検索の問い合わせがあれば、前記ＣＶ領域画像前置装置のＣＶ領域画像内に検索して、前記送信機で送り返すＣＶ領域画像検索装置と、
他の人工装置から対象物認識の依頼があれば、前記ＣＶ領域画像前置装置のＣＶ領域画像内で対象物認識して、前記送信機で送り返すＣＶ領域画像認識装置と、
を備えることを特徴とした請求項７乃至１２のいずれかに記載のＣＶ領域画像前置装置を用いた複合人工知能記憶装置。
管理しようとする現実の管理対象物及びその周辺を撮影した画像についての、前記ＣＶ領域画像データベース装置の出力を取り入れ一時記録したＣＶ領域画像記録部と、
画像取得時のカメラ位置近傍への視点変更画像を生成する前記視点変更装置と、
前記ＣＶ領域画像を表示し、動画として画像フレームが移動しても、画像とＣＶタグの三次元的位置関係を保持したまま、ＣＶタグを表示し、及びＣＶタグを開封しその内容を表示できるようにしたＣＶタグ表示装置と、
前記ＣＶタグ表示装置で表示された前記ＣＶ領域画像の中の前記管理対象物の位置に対して、ＣＶ領域画像の中にＣＶタグを直接貼り付け、又はＣＶ領域画像中の前記管理対象物の三次元的位置を確認できるように矢印などで特定できるようにしたＣＶタグを、ＣＶ領域画像の中に三次元的に配置するＣＶタグ入力装置と、
ＣＶタグと前記管理対象物とを関連づける諸データを格納するＣＶタグデータベース装置と、
前記ＣＶタグ表示装置、及び前記検索装置でＣＶタグを選択し、又は表示されたＣＶ領域画像中の前記管理対象物をＣＶ領域画像の中にタッチスクリーンにタッチし、又はマウス等でＣＶタグをクリックして、ＣＶタグを選択することで、前記ＣＶタグデータベース装置からＣＶタグに対応する管理対象物のデータを読み出して管理するＣＶタグ対象物管理装置と、
を備えることを特徴とした請求項７乃至１２のいずれかに記載のＣＶ領域画像前置装置を用いたＣＶタグ入出力検索装置。
前記ＣＶタグ入力装置と、前記ＣＶタグデータベース装置と、前記ＣＶタグ対象物管理装置とを車両等に積載し、管理地域、及び管理対象物周辺を移動する積載移動手段を備え、
前記積載移動手段にはビデオカメラを積載し、リアルタイム画像を取得し、前記リアルタイム画像にＣＶ演算を施し、リアルタイムＣＶ領域画像を取得するリアルタイムＣＶ領域画像取得装置を備え、
文字、座標、属性等で検索し、ＣＶ領域画像中に管理対象物を示すＣＶタグそのもの、又はＣＶ領域画像中の管理対象物の画像そのものを、色の変化やフラッシュ効果等の何らかの視覚効果のある三次元座標を持つ印として、動画としてのＣＶ領域画像上に三次元的に矛盾無く呈示するＣＶタグ自動検索装置と、
当該ＣＶタグ入出力検索装置の外側にあって、記録媒体又は通信を介して、当該ＣＶタグ入出力検索装置内側の管理地域及びその周辺のＣＶ領域画像地図を前記ＣＶ領域画像記録部に一時記憶して保持させる、外部ＣＶ領域画像地図データベース部と、当該ＣＶタグ入出力検索装置の外側にあって、記録媒体又は通信を介して、当該ＣＶタグ入出力検索装置内側の管理地域及びその周辺のＣＶタグとその属性情報を前記ＣＶタグデータベース装置に一時記憶して保持させる、外部ＣＶタグデータベース部と、からなる外部データベース装置と、を備え、
前記移動体には、移動体の絶対座標を取得するＧＰＳ位置決め装置と、取得した前記リアルタイムＣＶ領域画像と前記ＣＶ領域画像地図から、位置あわせをして取得した新旧画像更新装置とを保持する移動体位置決め手段を備え、
前記移動体位置決め手段と時刻、及び入力した走行目的等より、車両の現在時刻と現在位置と現在状況に関係している管理対象物のＣＶタグを選択的に自動表示するＣＶタグ自動表示装置を備え、
前記装置のうち、一部又は全部の装置を選択的に備えることを特徴とした請求項３０記載のＣＶタグ入出力検索装置。
前記ＣＶタグ表示装置が、
選択及び検索した管理対象物を、管理対象物を画像の決められた位置に固定して表示する動画ロックオン手段と、
縮尺の異なる複数のＣＶ領域画像地図を表示し、座標系を統一して、同じＣＶタグを前記複数のＣＶ領域画像地図上に表示する手段と、
ＣＶ領域画像地図と二次元地図を同時に表示し、二次元地図上にもＣＶタグを表示する手段と、
選択及び検索した管理対象物を、前記ＣＶ領域画像地図と同じように、前記リアルタイムＣＶ領域画像にＣＶタグを表示する手段と、
選択及び検索した管理対象物を、ＣＶ領域画像上に表示せずに、ヘッドマウント、又はハーフミラー等により、移動する車両等から直接観察する現実世界の管理対象物に重複して合成した、ＣＶタグや案内矢印や看板を示す手段と、
選択及び検索した管理対象物に関するＣＶタグの内容を、音声で案内表示する手段と、
を有することを特徴とする請求項３０又は３１記載のＣＶタグ入出力検索装置。