JP2005322002A - 複合人工知能装置 - Google Patents

Abstract

【課題】 複数の人工知能装置相互間で認識情報を共有することにより、多方向からの情報を総合的に判断することで認識精度を飛躍的に向上させる。
【解決手段】 任意の物体に取り付けられる複数の人工知能装置は、それぞれ、取り付けられた物体の属性を記憶する自己物体の属性記憶機能１０１と、取り付けられた物体の空間位置姿勢を認識する自己物体の空間位置姿勢認識機能１０２と、取り付けられた物体の周囲の対象物を認識する自己物体の周囲対象物認識機能１０３と、各認識機能により取り付けられた物体の状況を判断する自己物体の状況判断機能１０４と、各認識機能の処理過程を記録する機能１０５と、他の物体に取り付けられた人工知能装置との間で情報の送受信を行う通信機能１０６と、他の物体に取り付けられた人工知能装置から受信した情報を加えて各認識機能の継続処理を行う継続処理機能１０７を備えている。
【選択図】 図１

Description

本発明は、ビデオカメラ等で撮像される動画映像に基づいてカメラや車両，ロボット等の任意の物体を自動制御する人工知能装置に関する。
特に、本発明は、人工知能装置自らが存する三次元空間を認識した後に任意の対象部を認識することで認識率を向上させることができるとともに、三次元形状の対象物については、あらかじめ用意した対応する三次元部品に置き換えることにより、対象物の認識率を飛躍的に向上させることができ、しかも、複数の人工知能装置相互間で認識情報を共有することにより、多方向からの情報を総合的に判断することで認識精度をさらに飛躍的に向上させることができる複合人工知能装置に関する。

一般に、人工知能装置は人工知能の人工視覚の実現に関係する技術であり、人工知能は視覚情報に頼ることが多いため、大きくは画像認識の分野に属する技術である。
人工知能においては、まず空間全体を把握し、次に対象物を認識することが必要となる。また、人工知能の技術は、画像認識の技術を発展させて、現実の世界をバーチャルな世界に投影する技術も必要となる。
そして、このような人工知能を認識判断の手段とすることにより、例えば、監視カメラや車両，作業ロボット等、任意の対象についての自動制御，自動運転を実現することが可能となる。

これまで、画像認識により三次元対象物を認識する人工知能技術は種々存在しているが、未だ決定的な技術は存在しない。
画像認識を利用した従来の人工知能技術としては、例えば、監視カメラで撮像された火災の画像に基づいて人工知能が避難誘導経路を判断，表示する「火災時非難誘導装置」（特許文献１）や、ビデオカメラ等で得られた画像から物体を探知，認識する人工知能を備えた「物体認識及び追跡システム」（特許文献２）などがある。

特開平０８−１２４０６４号公報 特表２００２−５３６６４６号公報

このような画像認識を利用した従来の人工知能技術では、三次元対象物を直接認識することは困難で、時々刻々様々に形状が変化する現実の条件に対処できなかった。
また、本来三次元である対象物を二次元（画像）のみで認識することには自ら限界があり、従来の人工知能技術では、現実の三次元対象物を効率よく正確に認識することは極めて困難であった。
また、単一の人工知能装置による個別の判断だけでは、全体系に対して矛盾のない認識，判断と、それに基づく対象物の制御等を行うことは困難であった。

ここで、二次元画像情報に基づいて対象物の三次元的に認識する技術として、二次元画像内の複数点の三次元座標を求め、三次元点の分布から対象物の概略形状を生成する技術が提案されている。
しかしながら、点の集合のみから三次元形状を生成しようとすることには無理があり、実際には、精度が悪く三次元形状を正確に再現できる段階には至っていない。
また、観測者のカメラからの二次元画像情報だけでは、対象物の隠れた部分の情報を得られず、結局は対象物の一部分についての三次元形状しか得られていなかった。

本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、人工知能装置自らが存する三次元空間を認識した後に任意の対象部を認識することで認識率を向上させることができるとともに、三次元形状の対象物については、あらかじめ用意した対応する三次元部品に置き換えることにより、対象物の認識率を飛躍的に向上させることができ、しかも、複数の人工知能装置相互間で認識情報を共有することにより、多方向からの情報を総合的に判断することで認識精度をさらに飛躍的に向上させることができる複合人工知能装置の提供を目的とする。

上記目的を達成するため、本発明は、任意の対象物（物体）に取り付けられる複数の人工知能装置を備えており、任意の位置に配置された複数の人工知能装置により、複合人工知能装置を構成する。これにより、多方向からの情報を総合的に判断することで認識精度を上げる。
各人工知能装置は、自分の持つ自分自身の属性についての情報を他の人工知能装置に与えることで、又はその反対に、目的の対象物の属性をその対象物の属する人工知能装置から取得することで、判断精度を飛躍的に増加させるようにしてある。
本発明では、三次元空間認識と三次元対象物認識を分離し、まず三次元空間を認識し、自分と周囲との関係を明らかにし、その後に対象部の座標及び視角を絞り込んで、認識することで、認識率を高めるようにしてある。

また、画像の二次元形状では認識できない三次元形状の対象物の場合は、必要に応じて三次元形状に戻して、あらかじめ用意した三次元データ（部品）との比較を行い、対応する部品に置き換えるようにする。このように、対象物をあらかじめ用意した三次元部品に置き換えることで、対象物の認識とその三次元形状の認識が同時に可能となり、認識率を飛躍的に向上させることができる。
三次元部品への置き換えは、二次元画像中の点の集合からポリゴンを生成し、三次元対象物の概略形状を生成し、三次元面と三次元部品の一面と比較することで、三次元部品を特定することにより行う。また、三次元面を生成する過程においては、詳細を知りたい部分を追加して形状生成を行う。

具体的には、画像中の特徴点を抽出し、追跡し、その三次元座標を求め、特徴点によるポリゴンを生成する。面形状をポリゴンとして抽出し、ポリゴンの面と部品の面とを三次元比較し、用意された三次元部品との比較により、その部品を特定する。
部品には属性が与えられているので、その属性の関係から、現在の意味を理解し、全体状況と個別状況を理解することができる。そして、それらの意味の理解を複数の人工知能装置間で行い、総合判断を行う。
これにより、総合判断に矛盾しない各人工知能措置による単独の判断を行うことができ、次の行動を決定することが可能となる。

以上のように、本発明の複合人工知能装置では、現実世界をリアルタイムで仮想空間に投影し、まず自分自身の存在する周囲の空間認識を行い、その後に対象物認識を行う。
そして、複数の人工知能装置で得られた情報を相互に共有することにより、総合的な空間認識，対象物認識を実現するようにしてある。単一の人工知能装置であっても、対象物の認識や位置の特定，形状の特定，意味理解・判断，対象物の制御は可能であるが、人工知能装置が複数存在する複合人工知能装置のネットワーク環境を用意し、個々の人工知能装置の持つ情報や判断結果を相互にやり取りすることで、総合判断が可能となり、単独の人工知能装置の場合と比較して、より正確でより広範囲な空間認識，対象物認識が可能となる。
これにより、現実世界を正確かつ有効に仮想空間に置き換えることができ、これを個々の人工知能装置において利用することで、総合判断と矛盾しない個々の人工知能装置における判断，行動が可能となる。

また、本発明では、認識された対処物と置換する三次元データ（部品）の配置と属性との関係を前もってルール化しておくことにより、各人工知能装置は、自分自身の置かれている立場を理解し、次の行動を決定できる。
それぞれ単独の人工知能装置において、周囲の空間認識は、自分自身のカメラからとらえた画像内の特徴点の三次元分布を求め、同時に自分自身のカメラ位置を求めることで実現できる。そして、座標を統合することで複数の人工知能装置が統合される。

対象物の認識は、単独の人工知能装置でも可能であるが、一度空間認識して、概略位置と姿勢を把握してから、複合人工知能装置で相互に情報をやり取りする中で行うことで、これまで困難とされていた対象物認識が容易になりしかも正確になる。
認識された対象物は、すべて属性の分かっている部品に置き換えられ、部品による仮想空間が生成されるので、各人工知能装置は、その仮想空間中で自己の位置と状況を把握し、意味を理解した上で次の行動を決定することができる。

以上のように、本発明によれば、主な物体に人工知能装置を備えることで、自分自身と他の物体の位置関係と形状について、詳細な三次元的位置姿勢を取得し、その物体（人工知能装置）は主体的に状況を判断して、行動することが可能となる。主な物体としては、例えば、車両であったり、家の中の家具や車いす、あるいは人間であったりするが、人工知能装置は物体毎に複数取り付けられ、情報交換をすることができる。
各人工知能装置は自分の位置を把握し、周囲の物に自分の位置姿勢を伝え、統一された座標系で共通理解を持つことができる。
各人工知能装置単独では空間の一部しか認識判断し得ないが、様々な物体に取り付けられた複数の人工知能装置による複合人工知能装置においては、物体が存在する空間の全体配置を認識し、三次元的に理解し、単独の人工知能装置で得られた三次元情報を統合し、三次元画像を得るだけではなく、画像内の物体や対象物の属性情報等と照らし合わせて、全体を把握することができる。

現実の物体は、人工知能を持つ物体と、その一部の機能を持つ物体と、一部の機能をも持たない対象物に分類される。人工視覚を形成するカメラを持たない物体があっても、カメラを備えた周囲の他の物体から三次元全体像を取得し、現実世界の理解を得ることができる。
そして、理解された現実の三次元世界は各人工知能装置、すなわち、各物体で共有されることになる。これによって、各物体毎に行動条件等をそれぞれ独自に決定し、かつ、各物体間で統合した行動が可能となる。これにより、それぞれの物体に意思があるような行動ができ、個の意思と全体意思が統合された矛盾のない行動ができるようになる。

例えば、本発明に係る各人工知能装置を自動車に取り付けることにより、自動車の自動運転に応用することができ、各車両が信号機や道路標識を読み取ることができるとともに、並進車両や追い越しをしようとする車両の意思は周囲の関係車両に伝達され、それぞれに積載された人工知能装置が矛盾のない行動を決定することで、各車両間で安全性を確保しつつ自動運転ができるようになる。
また、すれ違う車両から、行き先方向の情報を取得し、各車両は自動運転に有益な判断材料として反映させることができる。

このように、本発明の複合人工知能装置においては、複数の人工知能による共同作業が可能となる。人工知能装置のネットワークにより、各人工知能装置における認識結果を統合してすべての人工知能装置において情報を共有できる。
具体的には、三次元物体の特定結果をすべての人工知能装置において共有できる。取得映像情報の共有化により、見えない位置の画像も他の人工視覚から取得して総合的に判断できる。属性による比較だけでも部品の特定ができる。個々の人工知能装置の体験を全体の知識として共有でき、しかも全体の知識を生かして、全体の意思を生成し、その全体の意思に矛盾のない個別の判断が可能となる。
ユビキタス時代はすべての物にＰＣがついて、情報をやり取りすることができる近未来が描かれている。その究極の姿が本発明である。

以下、本発明に係る複合人工知能装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の複合人工知能装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、画像中からの特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算，三次元部品の特定，座標の特定等を行わせる。このように、本発明の複合人工知能装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［基本機能］
まず、図１〜図３を参照して、本発明に係る複合人工知能装置で実現される基本的機能について説明する。
図１は、本発明の複合人工知能装置を構成する各人工知能装置の基本的機能構成を示すブロック図である。
図２は、図１に示す人工知能装置が取り付けられる現実世界の物体及び対象物の関係を示す説明図である。
図３は、図２に示す人工知能装置が取り付けられる物体及び対象物の関係をより具体的に示す説明図である。

これらの図に示す人工知能装置１００は、例えば、車両や家具，人間等の任意の物体に取り付けられる人工知能装置であって、複数の人工知能装置１００によって本発明に係る複合人工知能装置が構成されるようになっている。
図１に示すように、各人工知能装置１００は、それぞれ個別に、自己物体の属性記憶機能１０１と、自己物体の空間位置姿勢認識機能１０２と、自己物体の周囲対象物認識機能１０３と、自己物体の状況判断機能１０４と、処理過程の記録機能１０５と、通信機能１０６と、継続処理機能１０７を実現するようになっている。

任意の物体に属する各人工知能装置１００は、他の物体に属する人工知能装置１００との通信を可能とする通信機能を備えており、各人工知能装置１００で得られる自己物体の属性情報，自己物体の周囲の画像情報，前記画像の分析情報，自己物体の空間位置姿勢認識情報，自己物体の周囲の対象物の認識情報，自己物体の周囲の状況判断情報等と、これらの一部情報又はそれらの組み合わせ情報が、他の物体に属する人工知能装置１００に送信伝達でき、他の人工知能装置１００からの同様の情報を受信できるようになっている。
そして、このような通信機能により、複数の人工知能装置１００はネットワークを構成し、各人工知能装置１００は、他の人工知能装置１００からの同様な情報を自己物体の受信することで、認識処理の途中から前記受信により取り入れた他の物体の人工知能装置からの情報を加えて継続処理を行う機能が実現できるようになっている。

このようにして、各人工知能装置１００は、自己物体及び他の物体の複数の人工知能装置１００によって取得した各物体の自己の周囲の画像情報，画像の分析情報、空間位置姿勢情報及び周囲の対象物情報の各座標系を共通の座標系に統合して構成し、より広範囲の空間と広範囲の対象物に対して、単独の人工知能装置によるよりも精度良く、又は単独の人工知能装置では認識不可能な対象物に対しても対応することで、現実世界をバーチャルな世界に変換することができる。
そして、バーチャルな世界で空間位置姿勢認識、対象物の認識、属性による認識等を行い、さらに、単独の人工知能装置では困難な総合的判断を行い、また、総合的判断に矛盾しない個別の判断を行い、状況判断及び行動決定までを行うことができるようになっている。

人工知能装置１００が取り付けられる物体としては、図２（ａ）に示すように、現実世界に存在するもののうち、各種センサやビデオカメラ等の人工視覚や通信装置，コンピュータ等が備えられた「人工知能装置が取り付けられた物体」（単に「物体」とも言う）と、それ以外の「その他対象物」（単に「対象物」とも言う）との二種類に分類することができる。また、図２（ｂ）に示すように、「現実世界を人工知能装置が取り付けられた物体」と、「人工知能装置の一部機能が取り付けられた物体」（単に「その他の物体」）と、それ以外の「その他対象物」の三種類に分類することもできる。なお、一つの物体に複数の人工知能装置１００が取り付けられることもある。
このようにして、複数の物体に取り付けられた複数の人工知能装置１００により、自分の周囲の対象物を認識し、状況を判断するとともに、他の人工知能装置１００と情報をやり取りし、判断結果の情報のやり取りのみならず、判断処理の過程での情報をもやり取りし、複合的判断を行う複合人工知能装置を形成することができる。

人工知能装置１００を取り付けた物体は、それぞれ個別に、自己物体の属性記憶機能１０１，自己物体の空間位置姿勢認識機能１０２，自己物体の周囲の対象物の認識機能１０３，それら認識機能の処理過程を記録する機能１０５を持つことになる。また、それら認識により自己物体の状況判断を行う機能１０４をも持つことになる。
それぞれの物体に属する人工知能装置１００は、他の物体に属する人工知能装置との通信を可能とする通信機能１０６を持っており、この通信機能１０６により、自己物体の性質やセンサから得られた情報等の属性情報や、自己物体に取り付けたカメラによる周囲の画像情報，その画像を分析した情報，分析の過程の情報，自己物体の三次元分布図や自分の属する物体の空間位置姿勢認識情報，自己物体の周囲の対象物の認識情報，自己物体の周囲の状況判断情報について、これらの一部情報又はそれらの組み合わせ情報を他の物体に取り付けられて他の物体に属する人工知能装置１００に送信し、また、他の人工知能装置１００から受信する。

そして、各人工知能装置１００では、認識処理の途中から受信により取り入れた他の物体の人工知能装置１００からの情報を加えて継続処理を行うことができ（継続処理機能１０７）、人工知能装置１００の属するそれぞれの座標系によって取得した各物体の自己の周囲の画像情報、前記画像の分析情報、空間位置姿勢情報及び周囲の対象物情報の各座標系を共通の座標系に統合して構成することで、より広範囲の空間と広範囲の対象物に対して、単独の人工知能装置１００による場合よりも精度良く、又は単独の人工知能装置１００では認識不可能な対象物に対しても対応することで、対象物を特定することができる。
これにより、現実世界をバーチャルな世界に変換し、空間位置姿勢認識、対象物の認識、属性による認識等により、又はそれら認識による総合判断により、状況判断及び行動決定までを行うことができる。

「人工知能装置が取り付けられた物体」の具体例としては、例えば、人工知能装置１００を取り付けた車両や道路付帯設備等がある。
現実世界には複数台の車両が存在し、その中には人工知能装置が取り付けられた車両と、人工知能装置１００の取り付けられていない車両が存在し、それらが混在して道路を通行する。
このように、現実世界は人工知能装置１００を取り付けた車両や道路付帯設備と、人工知能装置１００が取り付けられていないその他の対象物の２種類に分類できる（図２（ａ）参照）。

各人工知能装置間の通信では、人工知能装置１００の判断結果のみならず、車両に取り付けられた人工知能装置１００のカメラより得られた周囲の画像を、そのまま又は分析過程の状態で、あるいは分析した結果を、他の車両の人工知能装置１００に伝送し、自分の車両からは遠い又は見えない状況であっても、自分の車両の広範囲な状況を判断できるようにすることができる。
また、人工知能装置１００の付いていない車両の状況を他の人工知能装置１００に備えられたカメラで捉えて、複合された人工知能装置１００が協力して多方面からの映像により、単独の人工知能装置によるよりも正確に捉えることができる。
さらに、画像としてはとらえられない遠方の車両の状況をも複合人工知能装置間の通信により得ることができる。

ここで、人工知能装置１００が備えられる物体としては、車両だけでなく、道路の付帯設備、例えば信号機やガードレールであってもよく、信号機等に取り付けられた人工知能装置１００が通信機能により互いに情報を交換することもできる。なお、道路，道路周囲の信号機，街路樹，ビル，ガードレール，道路標識等の道路付帯設備は「人工知能装置が取り付けられた物体」にもなり、また、人工知能装置が取り付けられていない「その他対象物」にもなり得る。
複数の車両や道路設備に取り付けられたそれぞれの人工知能装置１００は、それぞれの周囲の状況を判断し、判断結果を共通の座標で表すことで情報を共有できる。そして、人工知能装置１００が取り付けられた車両は、後述する制御装置と組み合わせることで自動運転が可能となる。
また、車両以外の例としては、例えばビルの中のような屋内にある主要物体や移動する物体（車いすやロボット等）に人工知能装置１００を取り付け、ＬＡＮ環境でデータのやり取りをすることができる。車いすやロボットは、ＬＡＮ環境の下で自動運転がなされ、目的の行動をとることが可能となる。

また、上述したように、人工知能装置１００が取り付けられる物体としては、図２（ｂ）に示すように、「現実世界を人工知能装置が取り付けられた物体」と、「人工知能装置の一部機能が取り付けられた物体」と、それ以外の「その他対象物」の三種類に分類することもできる。
すなわち、複合人工知能装置は、人工知能装置１００が取り付けられた様々な物体と、それ以外の様々な他物体に対し、人工知能装置１００の機能の一部を有する一部装置を取り付け、他の物体に属する一部装置は単独では人工知能装置１００の機能を有しないが、他の物体に取り付けられた一部装置からの情報を人工知能装置１００に送信することにより、又は人工知能装置１００による判断結果を受信することにより、様々な物体に取り付けられた人工知能装置１００の機能を向上させ、又は他物体を制御することができるようになっている。

具体的には、図２（ｂ）に示すように、「現実世界」に存在する物体を「人工知能装置が取り付けられた物体」と、「人工知能装置の一部機能が取り付けられた物体」と、それ以外の「その他対象物」の三種類に分類することができる。
「人工知能装置の一部機能」を備える一部装置としては、例えば、カメラと画像伝送装置のみで画像認識機能は持たない装置などがある。一部装置に備えられる機能と省略される機能は、複合人工知能装置の使用目的や適用対象等に応じて適宜設定することができる。但し、一部装置には、取得した情報を他の人工知能装置１００に伝達するための通信装置については必ず備えられるようにする。
このように、人工知能装置１００のすべての機能は有しないが一部の機能を有する一部装置を用いても、広範囲の情報を取得することが可能となり、対象物の認識が精度良くできるようになり、また、一つの対象物に対する視点を多方向にとることができ、認識精度を向上させることができる。これにより、複合人工知能装置の正確かつ高精度な対象物認識を行いつつ、一部装置の構成を簡素化して装置全体の低コスト化，簡略化等を実現することができる。

「人工知能装置の一部機能が取り付けられた物体」の具体例としては、例えば、人工知能装置１００を車両と道路設備の一部に取り付けて、一部装置については、信号機や道路，街灯に取り付けることができる。勿論、一部装置を車両に取り付けることもできる。
このようにすると、現実世界は人工知能装置１００を取り付けた車両と物体、一部装置を取り付けた車両と物体、何も取り付けられていない車両と対象物とに分類されることになる。
一部装置から送られた情報は、人工知能装置１００において分析解析判断され、人工知能装置単独での分析解析判断に比較して高効率で高精度に行われる。
人工知能装置１００を取り付けた車両は、周囲の状況を判断できるので、車両に制御装置を取り付けることで、車両の自動運転が可能となる。

図３に示すように、物体「ａ」は、ビデオカメラ，加速時計や温度計等の各種センサ，通信装置を備えた人工知能装置１００と、物体の位置や方向を動かす車輪やハンドル等を機械的に制御する制御装置を備えたフル装備の物体であり、人工知能装置１００によって状況を判断し、制御信号によって制御装置を駆動することができる。
物体「ｂ」は、道路の付帯設備のように自力では移動しない物体であり、制御装置は必要ない。
物体「ｃ」は、一部装置のみを備えており、判断機能は備えられていないが、通信機能は備えており、自ら取得したデータを通信装置を介して他の人工知能装置１００に送り、他から情報を取得することができる。従って、判断等が必要な場合には他の人工知能装置１００に頼ることになる。
物体「ｄ」は、人工知能装置１００も一部装置も備えていない物体であり、現実にはこの物体「ｄ」のような物体（対象物）が混在することになる。

［具体的機能］
次に、以上のような本発明の複合人工知能装置における、より具体的な機能について、図４を参照しつつ説明する。
図４は、図１に示した各人工知能装置１００において実現されるより具体的機能を説明するための機能ブロック図である。
同図に示すように、人工知能装置１００では、以下のような具体的機能が実現される。

三次元空間構成部４０１は、個々の人工知能装置１００及び個々の一部装置（図２及び図３参照）によって取得された周囲空間の画像情報等を、統一座標系に統合し、空間の三次元形状の概略を構成する。
物体位置姿勢移動配置部４０２は、三次元空間構成部４０１で得られた空間の三次元空間内に存在する人工知能装置１００が属する様々な物体及び一部装置が属するその他の物体の、位置と姿勢と移動を三次元データとして取得して、統一座標系に配置する。
対象物位置移動追加配置部４０３は、物体位置姿勢移動配置部４０２により物体が配置された統一座標系に、物体に属さない対象物の三次元位置と姿勢と移動を三次元データとして取得して、統一座標系に追加配置する。

データベース部４０４は、物体、その他の物体及び対象物に対応する三次元形状と属性を前もって与えてある複数の部品を格納してある。
姿勢絞り込み部４０５ａは、物体、その他の物体及び対象物に対応する部品をデータベース部４０４の中の候補部品から抽出し、三次元空間構成部４０１の視点位置から概略の配置と姿勢を予想して、部品の姿勢を絞り込む。
属性による部品絞り込み部４０５ｂは、必要に応じ、後述する部品の特定及び固定（物体対象物部品特定部４０７及び物体対象物部品座標固定部４０８参照）の後に、又は同時に、又は先だって、物体の持つ属性と部品の持つ属性を比較し、条件内で属性が一致すれば特定の可能性が増加したものとして、部品候補を絞り込む。
比較部４０６は、物体、その他の物体及び対象物の一部分の三次元形状データと絞り込んだ部品を次々比較する。

物体対象物部品特定部４０７は、比較部４０６における比較の一致と不一致を判断して、一致することで対応する部品を特定する。
物体対象物部品座標固定部４０８は、物体対象物部品特定部４０７による特定と同時に、又はその特定の後に、部品の三次元位置を詳細に決定して、統一座標系に再配置する。
物体部品属性比較追加更新部４０９は、既に特定が済んでいれば部品に新たな属性を追加し、又は更新する。
部品再構築三次元空間生成部４１０は、統一座標系に、複数の部品により再構築して、部品再構築三次元空間を生成する。

現実対応仮想空間部４１１は、生成された部品再構築三次元空間において、構成要素となる各部品に属性を与え、現実世界を属性を持つ複数の部品による仮想の世界、現実対応仮想空間を生成する。
仮想空間での自己認識部４１２は、生成された現実対応仮想空間中に、自分自身の三次元位置と姿勢と移動を配置し、自己位置を中心とした部品の三次元配置と属性関係を求める。
意味ルール付与部４１３は、複数の部品の三次元配置とそれらの属性の持つ相互関係から生み出される意味を生成するルールを前もって与えておく。
意味発生部４１４は、現実対応仮想空間内の自分自身の位置関係、及びそれら属性の関係から意味を生成する。

自己状況把握部４１５は、三次元空間の中に自分自身のおかれた状況を前記現実対応空仮想間内に置き換えて理解する。
時間経緯シミュレーション部４１６は、自己状況把握部４１５によって得られる自己状況と周囲の関係状況を、過去から現在を経て近未来に亘ってシミュレーションによって確認する。
行動決定部４１７は、時間経緯シミュレーション部４１６による近未来の状況を確認し、理解した上で、自分自身の現在の行動を決定する。

学習装置４１８は、プロセス記憶部４１８ａと類型分類部４１８ｂとを備えており、以前体験した類似するプロセスを再現して、プロセスを単純化する。
具体的には、プロセス記憶部４１８ａは、複合人工知能装置に含まれる一部又は全部の人工知能装置における行動決定部４１７の行動決定に至る全プロセス又は一部プロセスを記憶する。
類型分類部４１８ｂは、プロセス記憶部４１８ａのプロセスを類似するプロセスに分類整理して保存する。
これにより、以前体験した類似するプロセスを再現して、プロセスを単純化することができる。

以上のような具体的な各機能を備える人工知能装置１００は、次のように動作することになる。
図３に示すように、まず、三次元空間構成部４０１により、個々の人工知能装置１００によって取得された周囲空間の画像情報等、また、個々の人工知能装置と個々の一部装置によって取得された周囲空間の画像情報等が、統一座標系に統合され、空間の三次元形状の概略が構成される。
次に、物体位置姿勢移動配置部４０２において、空間の三次元空間内に存在する人工知能装置１００が属する様々な物体、及び一部装置が属するその他の物体の位置と姿勢と移動を三次元データとして通信により取得し、統一座標系に配置する。

次に、対象物位置移動追加配置部４０３により、物体が配置された統一座標系に対し、物体に属さない対象物の三次元位置と姿勢と移動を三次元データとして取得し、統一座標系に追加配置する。
このようにすることで、すべての物体と対象物はそれらの移動を含めて三次元の空間的配置が構成されことになる。
次に、物体及び対象物に対応する三次元部品を抽出する。物体及び対象物に対応する三次元形状と属性を前もって与えてある複数の部品については、データベース部４０４にあらかじめ格納されている。なお、この部品は、形状を示す三次元ＣＧを持つことを原則とするが、二次元の部品であっても良い場合がある。

次に、姿勢絞り込み部４０５ａにより、物体、その他の物体及び対象物に対応する部品をデータベース部４０４の候補部品中から絞り込み、三次元空間構成部４０１の視点位置から、概略の配置と姿勢を予想して、部品の姿勢を絞り込む。例えば、物体の属性からそれが地面に接していることが明らかであれば、地上面の通路に平行に配置された姿勢まで絞り込むことができる。
次に、比較部４０６において、物体、その他の物体及び対象物の一部分の三次元形状データと絞り込んだ部品を次々比較する。
比較部４０６では、三次元的な比較，二次元的な比較，色の比較，その他のセンサから得られたデータの比較等の属性比較がなされ、物体対象物部品特定部４０７において、比較の一致と不一致を判断して、一致することで対応する部品を特定する。ここでは、一致したことで部品を特定し、それを形状として出力して表示することができる。

物体対象物部品座標固定部４０８では、物体対象物部品特定部４０７における部品の特定と同時に、又はその特定の後に、部品の三次元位置を詳細に決定して、統一座標系に再配置する。ここでは、特定された部品の座標を決定することができる。また、三次元空間構成部４０１による座標系と同一の座標系で、部品の形状と座標を表示することができる。また、移動する物体等は追跡することで、移動体にも対応することができる。
属性による部品絞り込み部４０５ｂでは、必要に応じて、上述の部品の特定及び固定の後に、又は同時に、又は先だって、物体の持つ属性と部品の持つ属性を比較して、条件内で属性が一致すれば、直ぐに特定するのではなく、特定の可能性が増加したものとして、部品候補を絞り込み、最終的には形状比較で特定する為の前段階処理を行う。

既に部品の特定が済んでいれば、物体部品属性比較追加更新部４０９により、特定された部品にセンサ等で取得した温度、堅さ、色等の新たな属性を追加し、又は更新する。
部品再構築三次元空間生成部４１０では、上述した統一座標系に、複数の部品により再構築することにより、部品再構築三次元空間を生成する。これにより、現実世界は、三次元部品で再構築されたバーチャル三次元空間として得られることになる。ただし、すべての物体を三次元空間に置き換える必要はない。複合人工知能装置の目的に応じて、その目的に必要な物体と対象物のみ部品に置き換えればよい。なお、複合人工知能装置の目的が明確でない場合や、複数の目的がある場合には、可能な限り多くの部品で現実世界を再構築することが好ましい。
そして、現実対応仮想空間部４１１により、部品再構築三次元空間において、構成要素となる各部品に属性を与え、現実世界を、属性を持つ複数の部品による仮想の世界として扱う現実対応仮想空間を生成する。

次に、仮想空間での自己認識部４１２では、現実対応仮想空間４１１の中に、当該物体の自分自身の三次元位置と姿勢と移動を配置し、自己位置を中心とした部品の三次元配置と属性関係を求める。
自己位置は周囲との関係で求めることができる。また、他の人工知能装置１００で取得されたその物体の位置と属性と部品と比較することにより、自分自身を三次元空間の中に三次元形状で表現することが可能となる。また、物体に備えられたカメラ等では観測できない物体自身の色等、自分自身では得られない属性情報等もあるので、その場合には、周囲の人工知能装置から最新のデータを取得することで、自分自身の属性を更新することができる。

以上のようにして、現実世界は、空間と物体の形状と座標を持ち、属性を持つ部品によってバーチャルな世界に再構成されたことで、その位置関係から新しい意味が生まれる。
そこで、意味ルール付与部４１３によって、複数の部品の三次元配置とそれらの属性の持つ相互関係から生み出される意味を生成するルールを前もって与えておく。例えば、物体がトランプカードである場合、同じトランプのカードでも、ゲームの種類によってその配置の意味が異なる。また、物体が車両の場合、二台の車両間の距離が同じでも、それが同じ車線上にあるのか、対向する車線上にあるのかでは、意味が異なる。
そのような意味を産み出すルールを前もって用意する。

意味発生部４１４では、現実対応仮想空間内の自分自身の位置関係、及びそれら属性の関係から、上述した意味を生成する。
具体的には、物体自身と周囲との空間的位置関係から、人工知能装置１００を取り付けた物体は、状況判断において個別の固有の意味を持つことになる。例えば、人工知能装置１００を取り付けた車両の場合、それ自身で自分のおかれている意味と行動の目的を持ち、それを周囲の人工知能装置１００との通信によって関係し合うことで、全体として総合的意味が生成される。総合的意味とは、例えば「事故発生による渋滞」というような全体に共通する意味である。
また、このような総合的意味とは別に、個別の目的を持つ人工知能装置１００が持つ個別の意味が存在する。個別の意味とは、例えば「迂回して目的地に急ぐ」という行動を産み出し、他の車両では「レストランによって食事をしながら渋滞が解消されるのを待つ」というような固有の意味となる。

次に、自己状況把握部４１５により、三次元空間の中に自分自身のおかれた状況を現実対応仮想空間内に置き換えて理解する。上述した意味発生部４１５で発生した意味は、自分自身（物体）との関係において主観的な意味となり、行動の原因となり、自己状況把握部４１５では、自己状況と周囲の関係状況を取得できるが、それを時間経緯の中で追跡して、現状を意味を理解する必要がある。
そこで、時間経緯シミュレーション部４１６において、過去から現在を経て近未来に亘ってシミュレーションによって刻々変化する自己状況を確認し、目的に合った行動に最適な未来を推測する。
そして、行動決定部４１７で、上述した自己状況と周囲関係状況を理解した上で、自分自身の次の行動を決定する。これにより、行動は総合的意味と個別の意味から個々の人工知能装置で固有に決定される。
このような行動決定部４１７を有する人工知能装置１００が複数、通信可能に結合されることで、複合型の人工知能装置が実現されることになる。

さらに、学習装置４１８により、以前体験した類似するプロセスを再現して、プロセスを単純化することができる。具体的には、プロセス記憶部４１８ａは、複合人工知能装置に含まれる一部又は全部の人工知能装置における行動決定部４１７の行動決定に至る全プロセス又は一部プロセスを記憶する。
類型分類部４１８ｂでは、プロセス記憶部４１８ａのプロセスを類似するプロセスに分類整理して保存する。

この学習装置４１８により、同じ状況の下で行動するときには、毎回同じプロセスで認識し、行動を決定するのではなく、前回の行動パタンを記憶しておいて、そのプロセスをそのまま利用する。また、同じ状況だけではなく、似たような状況においても分類された状況にマッチする場合に応じた処理方法を前回の体験を生かすように学習をさせることで、処理速度も速くなり、結果として行動の反応時間が迅速化される。体験を積むほど学習効果が出てくることになる。
意味発生は、学習装置４１８の中で産み出し、記憶しておく。また意味の配置と連続がまた新しい意味を産み出すので、意味ルール付与部４１３と意味発生部４１４は学習装置４１８とともに備えられるのが好ましい。
このようにして、以前体験した類似するプロセスを再現して、プロセスを単純化することができる。

［概略構成］
次に、本発明の複合人工知能装置において以上のような基本的機能，具体的機能を実現するため各人工知能装置１００が備える一実施形態の概略構成について図５及び図６を参照して説明する。
図５は、本発明の複合人工知能装置を構成する各人工知能装置１００の一実施形態の概略構成を示すブロック図であり、図６は、図５に示す概略構成の詳細を示したブロック図である。
同図に示すように、本発明の一実施形態に係る人工知能装置１００は、画像取得装置５０１と、画像特徴点演算装置５０２と、比較基準信号選択装置５０３と、形状部品生成装置５０４と、形状部品データベース装置５０５と、比較候補信号選択装置５０６と、部品構成による３Ｄ地図装置５０７と、ＧＰＳによるカメラ概略位置決定装置５０８と、比較認識装置５０９と、座標統合装置５１０と、更新された部品構成による３Ｄ地図ＤＢ装置５１１と、意味理解判断装置５１２と、制御装置５１３と、さらに、表示装置（出力装置）５１４とを備えている。
以下、具体的に各部について説明する。

画像取得装置５０１は、複合人工知能装置を構成する単位となる各人工知能装置に備えられるビデオカメラ部等を備え、人工知能装置１００が取り付けられる物体周囲の動画映像を取得する。
具体的には、画像取得装置５０１においては、動画像または連続静止画を取得する。
ここで、取得画像は全周囲画像とすることが好ましく、従って、画像取得装置５０１に備えられるカメラも全周囲を写すカメラが好ましいが、その構成は特に限定されない。例えば、カメラを移動させ回転させることで全周囲を写しても良いし、複数のカメラで全周囲をカバーしても良い。また複数のカメラで視野を重複させて全周囲をカバーして設置しても良い。

画像特徴点演算装置５０２は、図６に示すように、画像一時記録部５０２ａと、特徴点抽出・追跡処理部５０２ｂと、ベクトル演算部５０２ｃと、カメラベクトル検出部５０２ｄと、追加特徴点抽出・追跡処理部５０２ｅと、特徴点座標演算部５０２ｆと、特徴点結合ポリゴン生成部５０２ｇと、特徴点面三次元分布生成部５０２ｈとを備えている。
画像一時記憶部５０２ａでは、画像取得部５０１で取得された動画映像を、記録は又は一次記録する。記録する画像はカメラベクトルの演算に必要な範囲でよく、通常は数フレーム〜数十フレーム分の映像が有ればよい。また、十分過去の映像は消去することができる。

特徴点抽出・追跡処理部５０２ｂでは、記録した映像内に有って画像的特徴のある十分多くの特徴点、又は画像的特徴部位を自動抽出し、特徴点又は特徴部位を動画画像内に自動追跡する。特徴点とは、その微小周囲画像とともに示される点であって、特徴部位とは画像の形態を持っている微小面を言う。
特徴点抽出・追跡処理部５０２ｂにおいて、画像一次記憶部に一時記録した画像の中に、演算に必要となる十分な数の特徴点を自動抽出する。精度の点から、一フレームに数十から数百の特徴点が存在することが適切である。
特徴点を、各フレーム画像内に自動追跡することで各フレームの特徴点の対応関係を求めておく。これはカメラベクトルを演算するためと、後述する特徴点面三次元分布図を生成するために必要となる。

ベクトル演算部５０２ｃでは、十分に多くの特徴点又は特徴部位から、各特徴点の三次元座標を重複して演算で求める。
ベクトル演算部５０２ｃにおいて、カメラベクトルを演算する目的の特徴点から、各フレーム画像に対応したカメラベクトル（カメラ位置と回転）と特徴点の三次元座標をエピポーラ幾何学の演算で自動的に求める。

カメラベクトル検出部５０２ｄでは、ベクトル演算部の演算で得られた十分に多くの特徴点の三次元座標の重複する関係から、統計処理演算により精度良くカメラベクトル（カメラ三次元座標と３軸回転角）を求める。カメラベクトルとはカメラの三次元的な位置と３軸回転姿勢をいう。
カメラベクトル検出部５０２ｄでは、カメラ位置の精度が向上するように、特徴点とカメラ位置が作る多くの三角形により複数回重複演算され、一つのカメラ位置が複数求められ、また一つの特徴点の座標が複数回重複演算される。得られた特徴点及びカメラの位置と回転と、その分布が最も狭い範囲に分布する位置が最も誤差が小さい点と仮定して、カメラ位置を統計処理で求める。分布が広範囲に広がるときは、その演算に係わった特徴点はふさわしくない特徴点として破棄し、演算をやり押す。カメラベクトルはそれのみで求められるのではなく、常に特徴点とともに得られる。
そして、カメラ位置と回転を三次元座標として抽出することにより、カメラ位置、すなわち人工知能装置１００が備えられる物体自身の三次元位置と姿勢（カメラ位置と姿勢に対応）が検出される。このカメラベクトルを精度良く、リアルタイム演算で処理することが必要である。

以下、カメラベクトル検出部５０２ｄにおける具体的なカメラベクトルの検出方法について、図７以下を参照しつつ説明する。
まず、画像取得装置５０１で取得された画像データは画像一時記録部５０２ａを経て（又は直接）特徴点抽出・追跡処理部５０２ｂに入力され、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像（特徴部位）が自動抽出され、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図７〜図９に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図９に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図１０に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図１０の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、ベクトル演算部５０２ｃで、抽出された特徴点又は特徴部位の三次元座標が演算により求められ、その三次元座標に基づいて、カメラベクトル検出部５０２ｄでカメラベクトルが演算により求められる。
具体的には、カメラベクトル検出部５０２ｄは、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する
例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

図９に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図９に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、カメラベクトル演算に３６０度全周画像を用いることにより、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図９は、カメラベクトル検出部５０２ｄにおける処理を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のカメラベクトル検出部５０２ｄの演算では、必ずしもメルカトール図法による展開画像である必要はない。

次いで、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt 法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図１１〜図１３に、カメラベクトル検出部５０２ｄにより得られる特徴点の三次元座標とカメラベクトルの例を示す。図１１〜図１３は、カメラベクトル検出方法を視覚的に示す説明図であり、移動物体に取り付けられたカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図１１では、図９の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトルが示されている。
図１２及び図１３は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、カメラベクトル検出部５０２ｄにおける演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１４に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにすることが好ましい。
具体的には、カメラベクトル検出部５０２ｄは、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
以上のようにして、カメラベクトル検出部５０２ｄでは、高精度なカメラベクトルを高速に求めることができる。

追加特徴点抽出・追跡処理部５０２ｅは、取得された映像内に、その三次元形状や移動ベクトル等に関して詳細に知りたい部分があった場合に、その近傍の追加特徴点又は特徴部位を抽出し、動画像内に追跡する。
追加特徴点抽出・追跡処理部５０２ｅでは、カメラベクトルが演算で求められれば、新たに追加した特徴点はカメラベクトルから単純な計算で簡単に求められる。また、カメラベクトル演算に係わらない特徴点をいくらでも追加して、その三次元座標を求めることができる。
従って、詳細に知りたい領域の特徴点抽出を任意に指定することができ、また、移動体抽出においては、移動体が存在すると予想される領域とその周辺の特徴点を集団として抽出し、追跡する。

特徴点座標演算部５０２ｆは、カメラベクトル検出部５０２ｄで既に得られているカメラベクトルから、追加特徴点抽出・追跡処理部５０２ｅで追加された追加特徴点または特徴部位の三次元座標及び移動ベクトルを演算で求めて出力する。また、同時に移動体があれば、移動体ベクトル信号を出力する。
移動体検出は、単純には静止座標系として、矛盾する追跡結果の特徴点又は特徴部位を当てても良い。
特徴点座標演算部５０２ｆでは、演算に用いた特徴点のみならず、新たに指定したカメラベクトル演算に係わらない十分な数の特徴点を用いて、特徴点の三次元座標を簡単な演算で求めることができる。これは、上述したカメラベクトル演算における演算量とは桁違いに少ない時間で演算が可能である。

従って、カメラベクトル演算と同時に行われる特徴点三次元座標演算と、カメラベクトルを用いて特徴点座標を求めることとは分離することが有利となる。
すなわち、カメラベクトルが既知となれば簡単な三角形の演算により特徴点の三次元座標は短時間で求めることができる。従って、カメラベクトル演算用特徴点と特徴点の三次元分布図生成用の特徴点は本質的に区別するものではなく、また区別できないものである。
演算用の特徴点は、画像全体に均等に分布し、また、遠距離と中距離と近距離をバランス良く含んでいる範囲から選択することが望ましい。
また、特徴点の三次元分布図生成用の特徴点追加指定は、画像中に詳細形状等を知りたい対象物があれば、その対象物とその周りで密な分布となるように特徴点抽出の領域を指定することが望ましい。

特徴点結合ポリゴン生成部５０２ｇは、カメラベクトルと同時に得られた特徴点及び、後のカメラベクトルを既知とした演算で得られた追加特徴点の三次元座標を、矛盾のなく結合して単位ポリゴンを生成する。
特徴点結合ポリゴン生成部５０２ｇでは、図１５及び１６に示すように、カメラベクトルと同時に得られた特徴点及び、後のカメラベクトルを既知とした演算で得られた追加特徴点の三次元座標を、矛盾のなく結合して単位ポリゴンを生成する。単位ポリゴンとなる単純な三角形生成には幾通りもあり、適切な三角形または多角形とすることが必要である。

単位ポリゴン生成の際には、ポリゴン面の面積又は一辺の三次元凹凸に一定値を超えない条件を付け、条件内で生成できる範囲の単位ポリゴンを生成することが有効である。
条件は、実際の凹凸を計測しても良いし、輝度勾配が凹凸に対応すると想定して、ポリゴン内に輝度勾配の大きい特徴点が存在するときは、さらに細分化して、単位ポリゴンを生成することが有効である。
また、ポリゴンが大きくとも、内部に輝度勾配が無い場合には、形状勾配もないと類推することができ、大きなポリゴンのままとすることもできる。

このように単位ポリゴンを矛盾無く複数結合することで、ポリゴン面群を生成する。
また、小さいポリゴンを複数結合して、ポリゴン群を生成する方法以外に、大きなポリゴンを生成し、ポリゴン領域内の輝度勾配が一定となるまで、細分化して単位ポリゴンを生成することも有効である。
そして、このようにしてポリゴン面群を複数生成し、さらに複数のフレーム画像から得られる多数のポリゴン面群を重複させながら、隙間にはポリゴン面群を追加しながら、隙間を埋めるように重ね合わせて結合ポリゴン群を生成し、統計処理して平均ポリゴン面を生成する。
このポリゴン演算を繰り返すことにより、対象物及びその周辺の平均ポリゴン面を連続的に取り出し、対象物とその周辺のポリゴン三次元形状を形成することができる。なお、ボリゴンを生成せずに、特徴点分布図をそのまま後述する比較認識装置５０９に導くことも可能である。

以下、特徴点からポリゴン面を生成するための好ましいポリゴン生成方法として、特徴点凹凸ポリゴン分割結合生成方法と、輝度勾配ポリゴン分割統合生成方法について詳細に説明する。
［特徴点凹凸ポリゴン分割結合生成方法］
上述したような単位ポリゴンを生成する際に、まず標準サイズのポリゴンを生成し、もし、ポリゴン内に三次元座標が既知の特徴点が無ければ、新たに追加特徴点を抽出し、追跡し、その三次元座標を求める（図１７参照）。
そして、ポリゴン内に三次元座標が既知の特徴点が有れば、その特徴点に着目し、ポリゴン面内に含まれる前記既知の特徴点、又は追加特徴点のポリゴン面からの垂直距離を計測する。

計測値が垂直距離の基準値を超えた特徴点が見つからなければ、そのままとするか、隣接するポリゴンと結合して、より大きいポリゴンを生成し、この作業を繰り返し、基準値超えない範囲でより大きなポリゴンを生成して、それを単位ポリゴンとする。
垂直距離が基準値を超えた特徴点が見つかれば、それを新たな頂点とするポリゴンに分割し、より小さなポリゴンを生成し、分割されたポリゴンについて標準サイズのポリゴンに施した作業と同様な作業を施す。
これにより、最終的に、対象物の三次元形状をより数の少ないポリゴンで表現することができるようになる。

標準サイズのポリゴンは、その中に三次元的な凹凸があっても、それを無視して面で近似してしまう。そこで、標準サイズのポリゴンの中の特徴点を用いて、又は、さらに追加特徴点を追加して抽出して、標準サイズのポリゴン内の凹凸を調べて、それが基準値内に収まるまで標準サイズのポリゴンを分割して、複数の小さなポリゴンに分割する。
あるいは、凹凸が基準値に満たない場合はポリゴンを統合してより大きなポリゴンを生成する。
この作業を繰り返すことにより、対象物を凹凸に見合った数のポリゴンで表現することで、効率の良い三次元形状化が可能となる。
なお、特徴点も追加特徴点もその導き方が異なるだけで、得られる結果に関しては全く同じである。

［輝度勾配ポリゴン分割統合生成方法］
単位ポリゴンを生成する際に、まず標準サイズのポリゴンを生成し、ポリゴン内の輝度勾配が基準値より大きければ、ポリゴン内部に追加特徴点を抽出し、追跡し、その三次元座標を求め、標準サイズのポリゴン内部に追加特徴点を頂点とする、より小さなポリゴンに分割し、ポリゴン内の輝度勾配が規定値以下になるまで分割を繰り返す。
ポリゴン内の輝度勾配が基準値より小さければ、隣接するポリゴンを結合して基準値内でできるだけ大きなポリゴンを生成し、最終的に、対象物の三次元形状をより数の少ないポリゴンで表現する。

このように、輝度勾配ポリゴン分割統合生成方法は、凹凸があるところには必ず輝度勾配が発生するという仮定の下に、輝度勾配からポリゴン数を決める方法である。
特徴点分布図から、各特徴点を結合し三角形等の多角形を生成して、ポリゴン化する。但し、単位ポリゴンを生成するには、条件を付け、画像内での輝度の勾配の少ないところは三次元形状の変化は少ないところであると予想されるから、大きな多角形で単位ポリゴンを生成する。
また、輝度勾配が同じであれば、特徴点を結合する条件として、特徴点と特徴点の三次元距離を制限する等の条件を付ける。

制限距離内にある特徴点を直線で結合することによって複数の三角形を構成する。また、制限距離を超えた特徴点間は結合しないので、ある領域でのみポリゴンが成立し、いくつかのポリゴンは結合されないまま残り、部分ポリゴンの集合となる。そこで、特徴点間の距離が制限を超えているところ、及び詳細形状を知りたい領域には、その領域を指定して新たな特徴点を抽出し、追跡し、既知のカメラベクトルからその追加特徴点の三次元座標を求め、制限内にある特徴点を結合してさらにポリゴン生成する。これにより、部分ポリゴンは結合されてより広い範囲のポリゴンが生成され、三次元形状が生成される。

目的の精度の三次元形状が生成されるまで特徴点を追加することで、特徴点が作る詳細なポリゴンが生成され、三次元形状が生成される。
指定領域で特徴点座標を求めても、結合されない場合は見かけ角度は近接していても、三次元距離が遠いことを意味し、分離している物体であることを意味している。そのことでも対象物を分離できる。
さらにポリゴン面を特徴点面分布信号とすることで、部品と比較しやすい状態を作り出すことができる。

特徴点面三次元分布図生成部５０２ｈは、上述したカメラベクトル信号と、移動体が有れば移動体移動ベクトル信号を生成するとともに、特徴点結合ポリゴン生成部５０２ｇで生成されたポリゴン面からポリゴン面形状を生成して、特徴点面分布信号として出力する。これは対象物の三次元形状の原始的な形を示す信号である。
また、移動体が有れば移動体のポリゴン面形状を生成して、移動体特徴点面分布信号を出力する。

特徴点面三次元分布図生成部５０２ｈでは、ポリゴン面群を画像内の複数の場所に生成する。
さらに、複数のフレーム画像から得られる多数のポリゴン面群を重複させながら重ね合わせて結合ポリゴン群を生成し、統計処理して平均ポリゴン面を生成する。
図１８に示すように、十分に多くの特徴点の三次元座標から、多くの特徴点、又は多くの特徴点を結合して得られるポリゴン面からなる特徴点面三次元分布図が生成される。さらに、三次元空間の中に、カメラ位置としての自分自身の三次元位置と特徴点分布を同時に描き出すこともできる。
この特徴点の三次元分布状況は、カメラ周囲の三次元形状を示している。

なお、この三次元分布図は、カメラを複数にすることで、計測精度を向上させることが可能である。
例えば、視野を重複させれば、特徴点追跡を複数のカメラによる映像に適応することができるので、精度が向上する。
また、視野を重複させなければ、それぞれのカメラの特徴点は独立となるが、広範囲の計測が可能となる。
さらに、画角が異なる複数のカメラを用いることで、広角レンズ側で三次元位置精度を向上させ、狭角レンズ側で、３軸回転の精度を向上させることができるので、結果としてカメラベクトルの高精度化を図ることが可能となる。

比較基準信号選択装置５０３は、画像特徴点演算装置５０２から出力された特徴点面三次元分布信号と映像信号の何れか一つ、あるいは両方を、比較基準信号として出力する。
後述するように、比較認識装置５０９において比較する信号は比較基準信号と比較候補信号であるが、比較基準信号選択装置５０３では、そのうちの比較基準信号を生成する。
この比較基準信号は、比較基準映像選択部によって実写映像から生成した実写信号の一部である。また、比較基準特徴点面三次元分布部から生成される、特徴点面三次元分布図の一部である。これらのうちのどちらか、あるいは両方が比較認識装置に送られて、比較候補信号と比較されることになる。

形状部品生成装置５０４は、比較認識装置５０９において比較される基準となる部品を生成する。具体的には、動画映像内に予想される対象物又はその一部の特徴部分を切り出した映像部品と、動画映像内に予想される対象物又はその一部分となる３ＤＣＧ部品を生成するようになっており、二次元の部品を生成する映像部品生成部と、三次元の部品を生成する３ＤＣＧ部品生成部と、三次元対象物の面形状をのみを部品とする面部品生成部とを備えている。
形状部品生成装置５０４では、後のプロセスにおける認識，特定，理解，判断に必要となる複数の部品を前もって生成しておく。部品は、映像から生成する映像部品生成部、３ＤＣＧから生成する３ＤＣＧ部品生成部、対象物の部分の面だけを近似する為の面部品生成部からなる。

また、部品を生成する際には、各部品に属性を与えておく。ここで、属性とは、例えば、対象物名称，対象物の部分名称，設置条件，材質，重さ，存在条件，形状，隣接条件，自己相関係数，対象物性質，価格，使用目的，製造年月日などがり、また、各種センサで取得される色，温度，特有の音，臭い等、対象物に係わる一切の情報を含めることができる。
部品の生成は、手動で生成する場合もあり、自動生成の場合もある。
部品は前もって用意されるものであるが、例えば、初めて体験する対象物のような場合には、その場でリアルタイムで生成することもあり得る。

形状部品データベース装置５０５は、形状部品生成装置５０４で生成された映像部品のデータベースと、３ＤＣＧ部品データベースと、対象物の表面形状の一部を持つ面形状部品データベースを備える。部品は属性とともに記録され、後述する比較候補信号選択装置５０６に入力される。
また、形状部品データベース装置５０５の部品は、実際の空間に近い配置で部品構成されて後述する３Ｄ地図装置５０７に保存される。
形状部品データベース装置５０５では、形状部品生成装置５０４で生成された様々な部品が整理されて格納してある。三次元空間は複数の対象物の集合からなることから、予想される対象物のモデルを前もって部品データベースとして用意しておく。

図６に示すように、形状部品データベース装置５０５には、映像部品ＤＢ部，３ＤＣＧ部品ＤＢ部，面形状部品ＤＢ部が備えられている。
映像部品ＤＢ部には、映像から部品を生成する形状部品生成装置５０４の映像部品生成部で生成された部品が格納さる。
３ＤＣＧ部品ＤＢ部には、３ＤＣＧから部品を生成する形状部品生成装置５０４の３ＤＣＧ部品生成部で生成された部品が格納される。
面形状部品ＤＢ部は、対象物の部分の面だけを近似するための形状部品生成装置５０４の面部品生成部で生成された部品が格納される。

比較候補信号選択装置５０６は、特徴点演算装置から得られるカメラベクトル信号により、自分自身（カメラ）の概略位置を指定し、場所等を絞り込み、その概略位置付近に存在することが予想される部品を、形状部品データベース装置５０５の中から選択して次々取り出し、比較候補信号として出力する。
比較候補信号選択装置５０６は、形状部品データベース装置５０５の部品データベースの中から、候補の部品を選択的に導き出してくる。具体的には、カメラの場所を示す何らかの情報、例えばＧＰＳから得られた概略位置や、人工知能システムの認識結果から、人工知能装置１００の置かれている状況等を判断し、予想値の高い順番に候補の部品を選択して、次のプロセス（比較認識装置５０９）に送るようになっている。
この比較候補信号選択装置５０６で選択され次段のプロセスに送出される信号としては、図６に示すように、形状部品データベース装置５０５の部品データベースに対応した、映像部品信号，３ＤＣＧ部品信号，面部品信号と、３Ｄ地図装置５０７に対応した３Ｄ地図配列信号となっている。

部品構成による３Ｄ地図装置５０７は、形状部品データベース装置５０５のデータベース部に格納される部品が、実際の配置に近い形で配列された３Ｄ地図として記憶される。そして、その３Ｄ地図は、そのまま比較候補信号選択装置５０６に入力される３Ｄ地図配列信号となる。
部品構成による３Ｄ地図装置５０７（又は図４で示した部品再構築三次元空間生成部４１０）には、三次元形状地図が格納されるようになっており、これは、人工知能装置１００の周囲状況の三次元形状をデータベース内の部品に対応する対象物映像の一部又は全部から生成するものである。

この格納される三次元形状地図としては、次のようないくつかの種類のものが考えられる。
一つ目は、データベース内の部品から三次元形状を生成し、実際の画像からそのテクスチャーを取得して、部品と対応付けが済んでいる映像を配置した三次元地図である。この場合は、部品から構成される三次元形状地図が考えられる。周囲状況の三次元形状がデータベース内の部品によって構成されている三次元形状地図である。
ここで、部品とはＣＧであり、あるいは記録した実写映像の一部分や、単純な三次元形状を持つ地図等である。これは、周囲状況をデータベース内の部品を用い、その部品を三次元的に配置することで構成される三次元形状地図である。部品の集合として構成されるため、個々の部品の属性は保存され、その属性が理解されていることになる。

また、一つ目の特殊な場合として、周囲状況の三次元形状がデータベース内の部品名称によって記述してある三次元形状地図である。
これは、上記したものと同様にデータベース内の部品によるが、単に部品の配置の順番や大まかな配置のみがテキストで記述されたものである。

二つ目は、周囲状況の三次元形状のみ記述してある三次元形状地図である場合もある。これは個々の物体は認識されておらず、周囲状況が三次元形状としてのみ表現された地図である。これは単に全体の三次元形状を構成した地図であり、単純な面で構成した地図がそれに相当する。部品化されていないという点で、上記のものと異なる。

三つ目は、まだ三次元形状と座標を求められていないが、ビデオ映像とカメラベクトル値を対応付けて持つことで、いつでも三次元化できる状況とすることができる場合である。これは、周囲状況の周囲映像の一部又は全部が、複数の視点からの映像として描かれている。これは特徴ある部分の映像を複数の視点からの映像の断片として、三次元地図を構成した地図である。映像の断片には前もって三次元座標が与えられる。

ＧＰＳによるカメラ概略位置決定装置５０８は、形状部品データベース装置５０５の部品データベース中から候補の部品を選択するための概略位置を比較候補信号選択装置５０６に与える。
ＧＰＳによるカメラ概略位置決定装置５０８では、ＧＰＳ（Global Positioning System：全地球測位システム）を用いて概略の絶対座標を取得する。ＧＰＳの精度には制限があるので、ＧＰＳは概略位置計測用として利用する。そして、取得した概略位置情報を比較候補信号選択装置５０６に送る。
比較候補信号選択装置５０６においては、ＧＰＳのデータから概略位置を受け取り、それを部品構成による３Ｄ地図装置の仮の位置とし、前記仮の位置付近の複数の部品の中から、比較認識装置に信号を送り出すための３Ｄ地図配列信号を生成，出力することができる。そして、これによって、後述する比較認識装置５０９で部品が特定されることになる。

比較認識装置５０９は、比較基準信号選択装置５０３からの比較基準信号と、比較候補信号選択装置５０６からの比較候補信号とを比較する。
比較基準信号選択装置５０３からの比較基準信号は、映像主体の比較基準映像信号と、特徴点が合成する面又は点の分布から成る比較基準特徴点面三次元分布部からなる（図６参照）。
比較基準信号選択装置５０３からの比較基準信号と比較候補信号選択装置５０６からの比較候補信号とが一致しないときは、比較認識装置５０９は、比較候補信号を次々選択し、一致するまで比較する。そして、一致したときに、比較基準信号と比較候補信号が一対一に対応付けられ、それによって対象物が認識されたと判断し、比較認識装置５０９は、認識された比較候補信号の座標と部品を特定し、出力する。

この比較認識装置５０９は、図６に示すように、特徴点の分布を比較する分布形状比較部５０９ａと、対象物の三次元形状を比較する対象物形状比較部５０９ｂを備えている。
比較認識装置５０９では、上述した特徴点面三次元分布信号と面部品信号を比較し、三次元的に一致する座標を求め、一致しないときは、一致するまで面部品信号を変更し、最終的に、特徴点面三次元分布信号と面部品信号とが、近似的に一致する面部品を選択決定することで、対象物の概略形状を把握する。
一致した部品はその対象物を表現する物として属性ともに部品特定部で決定される。
次に、さらに形状を絞り込むことで、３Ｄ部品又は映像部品の比較候補信号を縛り込み、比較基準信号としての面部品信号又は映像信号と比較し、動画映像の各フレーム内の領域について以上の作業を連続的に行う。

この比較認識装置５０９では、実際の映像との相関をとるか、マッチングをとる等して、画像の一致により、あるいは、既に映像の断片に対応する実際の映像内の特徴点を抽出し、追跡し、カメラ位置を既知として、ベクトル演算してある特徴点面分布図を用いて、面部品との比較、又は直接対象物との比較によりカメラの三次元的位置を確認することができる。
特徴点面分布図と面部品とを比較する場合には、図１８に示すように、面と面の比較になるので都合がよい。また、特徴点のみの分布と部品の面との比較も考えられるが、ポリゴン面を形成してから面部品と比較する方が、特徴点の所属が明確になるので、誤差が少なくなる。

比較認識装置５０９においては、現時点の特徴点面三次元分布図と、３Ｄ地図配列信号から読み込まれた３Ｄ地図の一部部品との比較、又は特徴点面三次元分布図と面形状部品との比較を分布形状比較部５０９ａで行う。
ここでは、特徴点面三次元分布図を基準比較信号とする場合は、すべて分布形状比較部５０９ａで行うものとする。
また、特徴点面三次元分布図を基準信号としない場合はすべて対象物形状比較部５０９ｂで行うものとする。

このようにすることで、一度空間認識による自己位置認識を済ませてから、対象物形状比較部５０９ｂで対象物の認識を行う。空間認識により自己位置が決定した後では、地図にある様々な対象物の位置と部品とは簡単に対応関係を取得することができる。自己位置と周囲状況が三次元形状地図上で決定してしまえば、後は次の対象物を確認すればよいだけであり、候補を絞る必要もなくなり、それがそこにあるか無いかだけを確認し、有ればそのまま次の部品を確認しながら進行すればよいし、無ければその部品のみが何らかの理由でなくなったのか、判断が間違ったのかを周囲部品との関係で判断し、何らかの理由でなくなったと判断すればその部品を判断から排除し、地図から排除し、さらに行動を進行すればよい。
判断が間違ったとすれば、再度他の部品で確認し、自己位置と周囲状況を再確認する。また、他の物体の陰となり認識できなかったこともあり得るので、統計的に、他の部品で確認することで自己位置認識を済ませることができる。

比較基準信号としての特徴点を結合して形成される特徴点面三次元分布図には、カメラ周囲の大まかな三次元空間が描かれている。
そこで、三次元空間は複数の対象物の集合からなると考え、分布形状比較部５０９ａにおいて特徴点面三次元分布図を面分品と比較して、面の大まかな構成を予想する。
必要が有ればその後に、対象物形状比較部５０９ｂにおいて、対象物の部品を特定する。

ポリゴン化しない特徴点の集合した分布図と面部品との比較も可能であるが、部品画面であるから、比較の基準となる側もポリゴン化した面であることが有利である。また、ポリゴン内の輝度勾配により、ポリゴンの大きさを変えておければ、ポリゴン面の面積も情報を持ち、比較がより有利になり有効である。
部品形状データベース装置５０５には予想される対象物のモデルを前もって用意してあるから、特徴点の三次元分布図の中のおおよその部品の種類と位置とは、一般に予想が付くので、候補部品を選択的に選び出すことは十分可能である。
あるいは、面部品の認識後に対象物の３Ｄ部品を特定することが可能となる。

３Ｄ地図配列信号においては、現実の通りに部品が配列されているので、概略位置が分かれば部品の候補をかなりの程度まで絞り込める。
絞り込みによって部品は概略位置でほぼ決定され、その三次元の姿勢のみを比較装置で決定すればよい。システムのスタート時点においては概略位置から部品候補を絞り込む必要があっても、一度カメラ位置が決定し部品が特定された後は、配列された順番に部品を選択していけば良い状況となり、概略位置計測は場所の確認の意味だけとなり、あるいは見失った場合の確認機能となる。また、位置精度を向上させる為に特定された部品を使うことができる。
その部品の三次元座標が既知とすれば、それを認識することでカメラ位置をさらに精度良く決定できることになる。

分布形状比較部５０９ａ及び形状比較装置５０９ｂでは、映像又は特徴点の分布が作る三次元形状分布図と候補の部品三次元形状、あるいは既に認識されている面形状とが比較される。特に比較基準信号として特徴点面三次元分布図を用いる場合のみ分布形状比較部で認識するものとする。
ＧＰＳ及び直前の位置情報から現在の概略位置を選択し、大まかな体積や大きさで概略の選択をした後に、映像若しくは特徴点の三次元分布と部品の三次元形状を比較する。地上に車両があるが空間に浮いてはあり得ないなど、部品の大まかな位置は絞り込めることになる。そして、両信号を比較することにより、その部品の大まかな位置と向きが決定する。形状が合致しなければ、前記部品データベースから次の候補分を導き出してくる。

また、特徴点の密度の高いところは、物体の存在するところであり、特徴点のないところは何もない空間である可能性が十分高いと言える。それらの予想から、特徴点の分布と部品の形状を比較することが可能である。
これは三次元の特徴点の分布と、部品の三次元形状の比較と言うことになる。ただし、この段階ではまだ部品がそれそのものと決定したわけではなく、おおよその形状と位置が一致したに過ぎないと言える。
特殊な場合として、特徴点の二次元分布と部品の二次元形状を比較することもあり得る。例えば、道路平面の特徴点分布と地図とを比較し、周囲の特徴点分布図と地図形状とを比較する場合がそうである。

合致する候補の部品の配置が存在するか否かを求め、存在すれば大まかな配置を求め、存在しなければ部品データベースに戻り、形状が合致すればそれを部品の有力候補として、次のプロセスへ送り出す。
部品の一致が得られない場合には、比較候補信号選択装置５０６で、次の候補部品を選択し、合致する部品が見つかるまで繰り返すことで、部品を特定する。
その後は、カメラ周囲の三次元形状の一部分の映像と候補の部品の映像とを比較し、候補の部品を次々比較する。ここは実際の映像と部品の比較となる。この場合は、三次元の映像と三次元の部品の比較とは限らない。様々な方向からみた二次元の映像と、三次元部品の二次元投影映像との比較という場合もある。合致すれば、次の特定及び固定装置に移行する。
合致しなければ、比較候補信号選択装置５０６で、次の候補部品を選択し、映像が合致する部品が見つかるまで繰り返す。

座標統合装置５１０は、動画映像のすべてのフレームについて上述した一連の作業を連続的に行うことを繰り返し、移動体対象物には、対応する部品の座標と移動ベクトルを付加し、静止物体においては認識された複数の部品の座標を統合する。
座標統合装置５１０では、映像と部品の二次元投影面合致する場合の部品を唯一選択して特定し、合致した時の部品の三次元位置をその特定した部品の三次元座標として固定する。

人工知能装置１００の自己位置は、上述したように、カメラベクトルとして既に得られているから、基準とする三次元座標に、カメラ位置座標、部品座標を落とし込んで、座標として統合する。そして、候補部品から目的の部品を形状合致させて特定し、固定する作業を繰り返す。
対応する部品が用意されていない場合には、合致する部品が存在しないことになるので、そのような場合も想定し、その場合には、特徴点分布からくる大まかな形状のみが認識され、それがどの部品に対応するかは分からないまま、未定の対象物として登録するようにする。

座標統合装置５１０の自己確認部では、複数の部品の中には合致させるべき部品は存在しないが、自分自身の三次元形状をあらかじめ用意しておくことができる。自己位置はカメラベクトル検出装置５０２ｄによりわかっているので、その座標に自己自身の三次元形状を配置することができる。
これは例えば、自動運転システムであればそれは車両であるし、人工知能システムであればロボットの形状等である。

座標統合装置５１０の移動部品座標追跡部（移動体確認部）では、移動体の部品を確認して、座標系の中に移動体として統合する。
特徴点面三次元分布図は、移動体を静止物体とは分離して分類することができる。図２０に示すように、移動体に属する特徴点面三次元分布図を生成することで、一つの移動体に属する特徴点のグループには共通のカメラベクトルが存在することになる。但し、移動体とカメラ位置は相対値であり、まだ絶対値を持たない。
そこで、既知の静止座標系に対して求めたカメラ位置を移動体カメラ位置に代入することで、移動体のカメラ位置が決定され、結果として移動体位置が決定される。部品の特定ができない場合でも、その移動体に属する特徴点面三次元分布図から、概略形状をそのまま又は面部品で近似して、大まかな形状を座標系の中に統合して取り込むことができる。

更新された部品構成による３Ｄ地図ＤＢ装置５１１は、上述したカメラ周囲の三次元形状を、目的に適合するまで複数の部品で再構成する。
これによって、複数の部品による三次元空間が再生成される。その複数の部品はすべて名称とその属性が分かっていて、それらの組み合わせとして表現された空間を再構築したことになる。
この更新された部品構成による３Ｄ地図ＤＢ装置５１１は、システムが前もって部品構成による３Ｄ地図装置を持っている場合には、その地図が最新データに更新されたことを意味し、前もって持たない場合には、新規にシステムが前もって部品構成による３Ｄ地図装置を生成したことになる。

以上のプロセスの段階で、複数の人工知能装置１００の間で情報交換が行われることで、部品の特定精度を向上させ、座標統合の精度を向上させ、表示装置５１４では、すべての方向，すべての領域からの対象物の表示が可能となる。
さらに、これによって、意味理解判断装置５１２における意味理解を向上させることができる。

意味理解判断装置５１２は、座標統合装置５１０で統合されたことによる更新された部品による３Ｄ地図ＤＢ装置５１１（又は図４に示した部品再構築三次元空間生成部４１０）による部品の三次元的再構成状況から、自分自身（カメラ）の置かれている状況と意味を理解し、あらかじめ対象物の部品の属性として与えた情報から対象物単独の性質と、それぞれ属例を持つ複数の認識対象物の配列の意味を理解し、又はそれらの複合情報から自分自身の置かれている状況の意味を理解し、次の行動を判断する。
そして、図２０に示すように、この意味理解判断装置５１２の出力により制御装置５１３が制御され、自分自身（カメラ）を自動的に制御して動かし、又は目的の作業装置（ロボット車両等）を動かし、制御し、行動を起こさせることができる。さらに、上述したプロセスの段階で他の人工知能装置１００との情報交換をすることで精度を上げ、単独の人工知能装置では困難な総合判断を行い、個別には総合判断に矛盾しない判断を行い、制御し、行動を起こさせることができる。

意味理解判断装置５１２では、再構成された複数の部品の属性により、形状，座標，属性の分かっている複数の部品の集合として、三次元空間を再認識し、三次元空間を個別に理解して対象物の集合として理解する。その対象物の位置座標のみならずその属性として前もって理解している名称、性質、経歴等の知識の集合として空間を理解する。
部品が持つ属性としては、対象物名称、対象物の部分名称、設置条件、性質、材質、重さ、色、温度、存在条件、形状、隣接条件、自己相関係数等、対象物に係わるすべての情報を言う。
さらに、意味理解判断装置５１２では、目的の作業における現状の意味を理解し、目的の作業にとって現場が適切か否か、今後の行動の判断（例えばどの方向に進行すべきか等）が行える。このような目的の作業に沿った判断としては、例えば、安全と理解すること、危険と理解すること、直進進行可能と判断すること、停止と判断すること等、様々な理解が存在する。具体的には、認識された周囲状況において、自己の進行方向に障害物がなければ安全であり、障害物があれば危険と判断される。

制御装置５１３は、意味理解装置５１２の判断により、目的の機器を目的に沿って作動し、制御する。
例えば、図２０（ｂ）に示すように、車両であれば、ハンドル、アクセル、ブレーキ、方向指示器、警笛等を前記意味理解装置で判断し、自動操作し、制御することで、対象となる機器の自動コントロールができる。
また、制御内容を表示し、それを人間が理解して作業することもできる。
図２０（ｂ）に示すように、各制御項目を適切に制御することで、目的の自動制御が可能となる。

表示装置（出力装置）５１４は、動画映像のすべてを又は一部を既知の部品で再構成し、必要が有ればその中にカメラベクトルとして得られた自分自身（カメラ）の位置（三次元座標位置）と姿勢（３軸回転姿勢）を、モニタ画面等に表示し、あるいは音声等で出力する。
表示装置５１４には、カメラ自身の位置から見た、周囲の状況を表示することができる。
また、スピーカ等を介して音声ガイドとして出力することができる。
音声ガイドの内容としては、例えば、図２１に列挙したような内容がある。

［基準映像による位置姿勢演算］
次に、以上のような本発明の複合人工知能装置において基準映像を用いて物体の位置姿勢を求める実施形態について図２２〜図２５を参照して説明する。
図２２は、本発明の複合人工知能装置において物体の位置姿勢の補強となる基準映像の参照データを示すブロック図であり、図２３は、図２２に示す基準映像を用いた位置姿勢の演算手段の概略構成を示すブロック図である。
これらの図に示すように、複合人工知能装置に対する補強手段は、前もって予想される物体の移動通路又は移動範囲の基準映像を前もって撮影するとともに、この基準映像の各フレーム画像に対応するカメラベクトル演算データを前もって記憶し、さらに、必要に応じて、基準映像をカメラベクトル演算データによって、一部又は全部を三次元データに変換することによって、基準映像と動画映像との対応を求めることで、上述したＧＰＳ等のデータを補強してカメラ位置姿勢の精度を上げるようにしたものである。

物体が移動する場合は、特に物体の位置を精度良く求めることが重要である。このため、本発明の複合人工知能装置において、物体間の位置姿勢についての情報としては、上述したようなＧＰＳデータだけでは不十分となる場合がある。
そこで、本実施形態では、前もって位置と姿勢の精度の高い基準映像を映像ストレージ部として用意するようにしてある。
図２２に示すように、基準映像とそのカメラベクトルから、動画映像のカメラベクトルを求めるプロセス（図２２に示す１〜８）において、基準画像をプロセス１〜８までのどの段階まで処理して参照データとして記憶しておくかは任意である。最終処理は映像の三次元データまで求めることであるが、どの段階まで処理するかは、例えばコストや手間等の問題から決定すればよい。

すなわち、記憶して保持する基準映像の参照データとしては、上述した８種類のデータのうちのどこまで持つかは原理的に自由であり、それは単にコストと演算時間の問題である。
従って、参照データとして記憶する範囲としては、例えば、基準画像の一部を三次元化して記憶することもでき、また、全く処理しないままの基準映像だけを記憶するようにしてもよい。基準映像からカメラベクトル演算を行うのは、前処理として行うのが適切であるが、基準映像からその場で演算により求めることも可能である。

以下、基準映像を用いた物体の位置姿勢の制御について、図２３を参照しつつ、単純化した場合を例にとって説明する。
図２３に示すように、まず、参照データ及び取得データのカメラベクトルを求めるには、特徴点抽出部→特徴部位抽出部→特徴面抽出部→追跡部→カメラベクトル演算部→・・・という流れとなる。ここでは、カメラベクトルまでを求めてそれを記録媒体に記録する場合を説明する。
まず、精度の高い参照データとしての基準映像の位置と姿勢のデータを求めておく。そして、取得映像をリアルタイム処理して、カメラベクトルを求める。

図２４に示すように、参照データを基準映像カメラベクトルとし、取得データを動画映像カメラベクトルとして、既知である基準映像のカメラベクトルを動画映像のカメラベクトル演算に組み込ませて、一連のカメラベクトルして演算し、既知のカメラベクトルデータを代入し、全体のカメラベクトルとして動画のカメラベクトルを決定する。
また、既知である基準映像のカメラベクトルと、その場で演算で求めた動画映像のカメラベクトルを比較し、両者の関係を画像の特徴部位の対応から求めて、両者のカメラベクトルを関連付けることで、人工知能装置に取り付けられたカメラ自身の位置を決定することができる。
このようにして、基準映像からの三次元的位置姿勢のズレとして、物体の位置を精度良く求めることができる。

その場合、必要に応じてその場で基準画像のＣＶ演算をすることになる。
すべての動画映像のフレームに亘って上述のように基準映像からのカメラベクトルデータのズレとして演算しても良いが、演算時間を短縮するには、基準画像のフレーム間隔を十分とって上述した演算を行い、その中間フレームは単なる動画像側のカメラベクトル演算を行い、図２５に示すように内挿することができる。
このようにすることで、基準画像のフレーム数を少なくすることができるので、データ量を少なくし、演算処理時間を大幅に短縮することができ好ましい。

さらに、他の実施形態として、上述した基準映像に代えて、基準映像内の動画映像との対応を求めるために適した複数の特徴部位を、前もって選択し、切り取り、基準特徴部位映像として持つことで、ＧＰＳデータを補強し、カメラ位置姿勢の精度を上げることができる。この場合、必要に応じて、基準特徴部位映像とカメラベクトル演算データを二次元データ又は三次元データに変換して、取得された動画映像との対応を求めることができる。
上述した基準映像ではデータ量が大きくなることから、基準映像の中でカメラベクトル演算に必要な特徴部分のみを選択的に部分映像として持つことで、データ量を少なくすることができる。この特徴部位のデータは、基準映像の場合と同様、記録媒体に記録しておく。

［高精度三次元演算装置］
次に、図２６を参照して、本発明の複合人工知能装置に、さらに高精度三次元演算装置を備えた実施形態について説明する。
図２６は、図６に示した人工知能装置に高精度三次元演算装置５１５を備えた実施形態の概略構成を示すブロック図である。
同図に示す高精度三次元演算装置５１５は、三次元形状追跡部と、高精度カメラベクトル演算部を備えている。
三次元形状追跡部では、画像特徴点演算装置５０２によって得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される三次元情報をもつデータの三次元形状の一部分を用いて三次元形状の自動追跡を行う。
そして、得られた追跡データから、高精度カメラベクトル演算部によって高精度でカメラベクトルを出力するようになっている。

上述したように、特徴点抽出・追跡処理部５０２ｂでは、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限がでてくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、この特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元形状の情報を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関が取りやすく、三次元形状はフレーム画像によって、その三次元形状が変化しないので、多くのフレーム画像に亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これは、概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。

カメラベクトルが概略値であっても、複数フレームに亘る三次元座標の誤差は概略値となり、画像の一部分の三次元形状の誤差は少ないので、三次元形状での比較や追跡は十分可能となる。
ここで追跡の対象となる三次元形状データとしては、以下のものがある。
(1)比較基準特徴点面三次元分布から出力される特徴点三次元分布形状
(2)面形状部品特定部から出力される面形状部品
(3)部品特定部から出力される部品
これらは、それぞれ三次元形状を持つので高精度三次元形状演算装置５１５による追跡の対象となる。

以上のことから、三次元形状追跡部は、三次元形状を追跡するが、上述した(1)，(2)，(3)及びそれらの組み合わせが考えられる。
さらに、三次元形状をカメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。
カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。

［複数画像取得装置］
次に、本発明の複合人工知能装置において、各人工知能装置に複数の画像取得装置及びそれに対応する複数の画像特徴点演算装置を備える実施形態について、図２７〜図３２を参照して説明する。
図２７及び図２８に示すように、本実施形態は、図５及び図６に示した人工知能装置１００とほぼ同様の構成となっており、
画像取得装置５０１において、同期した複数のビデオカメラにより複数の動画映像を取得するようにしてある。
そして、画像特徴点演算装置５０２においては、複数のビデオカメラと同数の各機能部を有しており、それぞれのカメラに対応して演算されるカメラ数に対応した出力を、それぞれのカメラに属するカメラと同数の画像特徴点演算装置において、同一機能部の間で関係付けながら演算を行うようになっている。
これにより、演算精度を向上させて、より精度の高いカメラベクトルと特徴点三次元座標，広範囲の特徴点面三次元分布図を生成できるようになっている。

以下、複数の画像取得装置５０１で得られる複数のカメラ映像を用いた高精度カメラベクトル演算を行う場合の詳細について、図２９〜図３０を参照しつつ説明する。
カメラベクトル演算において複数のカメラ映像を用いる場合、視野の広い広角視野カメラと、この広角カメラよりも視野の狭い狭角視野カメラとの位置関係を固定して、同時に同期させて使用し、広角カメラ側の広角視野映像と狭角視野カメラによる狭角視野映像をそれぞれ入力し、広角視野映像から演算によって得られたカメラベクトル値を、狭角視野映像によるカメラベクトル演算時に代入演算することで、高精度のカメラベクトルを得ることができる。

一般に、広角レンズは視野が広いので、追跡点を長距離取れるので位置精度が高い。しかし、画角当たりの画素数が少ないので、回転精度は狭角レンズに比較して低くなる。
一方、狭角レンズは視野が狭いので位置精度が取れない。しかし、画角当たりの画素数が多いので、角度の精度は高くなる。
そこで、広角レンズで得られる広角視野映像と、狭角レンズで得られる狭角視野映像の双方を用いてカメラベクトル演算を行うことにより、高精度なカメラベクトルを得ることが可能となる。

広角レンズカメラと狭角レンズカメラで得られる映像を用いたカメラベクトル演算についてより詳細に説明する。
広角視野カメラと狭角視野カメラを用いる場合、両カメラは固定して車両等に設置され、同期して使用するようにする。
広角視野カメラによる映像出力は、例えばＡＶＩ等の方式により画像圧縮され、一旦記録部（画像一時記録部）に保存される。そして、必要な画像フレームが呼び出されてカメラベクトル演算が行われる。

一方、狭角視野カメラ側においても、取得された映像に基づいてカメラベクトル演算が行われるが、三次元位置座標に関しては、精度が悪いので、広角視野カメラの広角視野映像によって得られたカメラベクトル値の内の三次元座標を、狭角視野カメラの狭角視野映像によって求められる三次元座標に代入してカメラベクトルを演算する。
このようにして得られた狭角視野カメラのカメラベクトルは、視野角当たりの画素数が広角視野カメラに比較して十分に多いので、高精度の座標軸回転角を得ることができる。
必要があれば、ここで得られた高精度の座標軸回転角を、さらに、広角視野カメラ側の座標回転角として代入すれば位置精度は更に向上する。

広角レンズカメラと狭角レンズカメラは、位置関係が変化しないように固定する等して一体化して配置する。広角と狭角のカメラは同期して駆動する。
それぞれのカメラの映像出力は記録部に記録する。後処理として、画像安定化する場合は、映像出力をＡＶＩ等で圧縮して、全フレームをストレージに記録する。また、リアルタイムでカメラ姿勢制御として画像安定化する場合や、カメラの保持機構や車両そのものの位置制御や姿勢制御を目的とする場合には、全フレームの画像の記録ではなく、リアルタイム処理に必要なフレーム数だけの画像を記録すればよい。ただし、映像そのものを必要とする場合は必要な画像はすべて記録する。

広角レンズカメラ及び狭角レンズカメラの映像出力はそれぞれ、一時記憶され、カメラベクトルが演算されるが、二者のカメラベクトルは基本的に同じか、単に平行移動したものか、定数分回転した位置関係にあり、片方を求めればそれはもう一方を求めたことになる。
ここで、広角レンズカメラによるカメラベクトルは視野を広く取れるために、特徴点を長距離追跡することができ、三次元位置精度が高く取れる。一方、狭角レンズカメラの映像出力は、視野が狭い分特徴点の追跡距離が短くなり、三次元位置精度は取れないが、一ピクセル当たりの画角が小さいため、回転精度は高く取れる。

そこで、両カメラの長所を結合して、広角レンズ側で三次元位置座標を演算で求め、その得られた三次元位置座標を狭角レンズカメラの三次元位置座標として採用し、狭角レンズカメラでのカメラベクトル演算を求めることで、精度の高い３軸回転信号が得られる。
さらに、必要があれば、３軸回転信号を広角レンズカメラ側の３軸回転角として代入して、さらに精度の高い三次元位置を演算することができる。これを繰り返すことにより、精度をさらに高めることが可能となる。

以上により、精度の高い三次元位置と３軸回転がリアルタイム処理で求められた後は、それを姿勢制御信号として、カメラ保持機構やカメラを積載する車両等の三次元位置と姿勢を制御することができる。ただし、リアルタイム処理の場合はカメラベクトル演算目的でのＡＶＩ画像変換等の必要はない。
また、記録された画像の画像安定化の実際の演算については、揺れ成分信号からの信号を処理するが、３６０°映像を扱う場合のように球面に貼り付けた映像を揺れ成分の信号で回転させて補正する方法や、通常の画像のように球面ではない通常の平面画像を揺れ角に合わせて回転させて平面展開するように平面変換するとで実現できる。実際には平面画像でも球面画像でも、球面変換も平面変換もどちらでも可能である。

図２９に、広角視野カメラと狭角視野カメラの関係を示す。
同図に示すように、それぞれのカメラでは、それぞれの視野で特徴点抽出と特徴点追跡が行われるので、必ずしも視野が重複している必要はない。
それぞれのカメラの位置関係が固定されていることだけが必要となる。
一台のカメラによって得られるカメラベクトルの位置座標は相対値であるため、後に何らかのスケール校正を行う必要があるが、カメラの視野を重複させることで、同一特徴点を追跡できる場合には視差を計測できるので、距離の絶対距離が取得できるので、計測には有利であり精度は更に向上する。
カメラの視野を重複させる場合を図３０に示す。

図３０に示すように、カメラの視野を重複させる場合には、専用の視野重複カメラを設置することが好ましい。同図に示すように、車両等の移動体の予想進行方向に狭角視野カメラを視野重複するように並べて配設し、特徴点の追跡路を長く取るようにすると、三次元位置精度を向上させることができる。
また、同図に示す横の独立視野の狭角視野カメラは、３軸回転角に高感度となるように設定してある。
このような視野重複カメラを画像安定化手段（後述する図３３に示す画像スタビライズ部６０４参照）に利用する場合には、画像特徴点演算装置５０２の最終出力の３軸回転ベクトルを補正信号として画像に回転補正をかけて画像を安定化する。
なお、広角レンズと狭角レンズの視野は必ずしも重複する必要はない。

さらに、高精度のカメラベクトルを求めるときは、図３１に示すように、広角視野カメラと同時に複数の狭角視野カメラを、同図に示すように、視野が大まかな車両等の進行方向に沿って一部視野を重複しながら撮影し、広角視野カメラで全体視野を把握して粗計測し、そのデータを用いて、狭角視野カメラの演算の三次元位置を代入演算して求め、さらに進行方向に特徴点を追跡し、位置と姿勢について高精度のカメラベクトル演算を実現することができる。図３１に示す左右両端の狭角視野カメラは３軸回転角に対して高感度となるように設置してある。

また、図３２に示すように、全体視野を把握する広角視野カメラを複数備えることもできる。
図３２に示す例は、航空機の離着陸時のように、地面との距離が接近したような場合に、広角視野カメラを視野重複させて複数台（二台）設置した場合である。
航空機の離着陸時には、滑走路に近づいて対地速度が速くなるので、特徴点検出と追跡が困難になることを考慮して、図３２に示すように、横外向きに広角視野カメラを設置する。
また、このように視野重複が有れば絶対距離が計測できるので、カメラベクトル演算で求められた相対距離を校正して、絶対距離に変換することが出来る。

次に、図３３〜図３７を参照して、本発明の複合人工知能装置において、移動体検出・静止座標系分離・移動体座標系分離を行う実施形態について説明する。
図３３及び図３４は、本実施形態に係る移動体検出・静止座標系分離・移動体座標系分離を行う人工知能装置の概略構成を示すブロック図である。
同図において、動画像取得部６０１は、人工知能装置１００が備えられる物体に取り付けられたカメラから動画像を取得する。
特徴点検出・追跡部６０２は、動画像取得部６０１で得られた動画像内の静止物体の十分多くの特徴点を抽出し、抽出された十分多くの特徴点を複数のフレーム画像に亘って追跡する。
カメラベクトル演算部６０３は、特徴点の追跡結果からカメラベクトル（カメラ位置姿勢）を演算して求める。

画像スタビライズ部６０４は、カメラベクトルから画像の回転による揺れを止めて画像を安定化させる。
静止系延長交点抽出部６０５は、画像スタビライズ部６０４で安定化された画像上で、前記特徴点の追跡軌跡を再配置し、安定化された画像上で、複数の特徴点の追跡軌跡の延長線が静止座標系で交わる一対の延長交点を求める。
分割画像分類部６０６は、安定化された画像を小領域の分割画像に分割し、各分割画像に関して複数のフレーム画像に亘って対応点を求め、各分割画像が前記延長交点を通過するか否かにより、静止座標系か、それ以外かに分類する。

静止座標系分類抽出部６０７は、延長交点による分割画像分類部によって静止座標系と判断された分割画像を抽出して一時記録する。
静止座標系以外分類抽出部６０８は、延長交点に属するか否かによる画像分類部によって静止座標系以外と判断された分割画像を抽出して一時記録する。
静止座標系三次元化部６０９は、静止座標系分類抽出部６０７で得られた静止座標系と判断された分割画像について、延長交点と分割画像中心を結ぶ延長上に対応点を求めることで、分割画像の三次元座標を求める。
移動体分割画像追跡部６１０は、静止座標系以外分類抽出部６０８で分離された移動体分割画像を複数のフレームに亘って追跡する。

移動体別延長交点分類部６１１は、移動体分割画像追跡部による追跡軌跡から、移動体分割画像の追跡延長交点を求め、得られた移動体延長交点別に、移動体分割画像を移動体別に分類する。
移動体別三次元化部６１２は、移動体延長交点分類部により移動体別に分類された移動体別分割画像とその追跡結果から、移動体別分割画像の三次元座標を求めることで、移動体の形状とその座標を求める。
スケール合わせ部６１３は、移動体三次元化部で得られた共通する既知の長さ又は、複数カメラに共通する対象物を基準として、各移動体のスケールを静止座標系と共有させる。
座標統合部６１４は、スケール合わせ部でスケール合わせの済んだ移動体別三次元座標と静止座標系の座標を統合する。

画像分割部６１５は、安定化された画像を小領域の分割画像に分割する。
ゴム紐相関部６１６は、画像分割部６１５により分割されたブロック画像において、各ブロック画像をあたかもゴム紐でつないだように、配列順番が変更されないように、しかも伸び縮するように結合し、ブロック間で大きな輝度差が有ればそれが衝撃となってゴム紐が切断するように緩く結合し、フレーム間の相関またはマッチングをとる。これによって、一部の相関又はマッチングが不完全であっても、ブロックの順番を変えないで配列することで、全体像を失わないようにすることができる。

以上のような構成からなる本実施形態の人工知能装置１００によれば、以下のようにして、移動体検出・静止座標系分離・移動体座標系分離を行う。
まず、動画像取得部６０１では人工知能の一部機能として物体に取り付けられたカメラで得た動画像を取得する。画像に歪みがある場合は、画像の歪み補正をして次のプロセスに進める。
特徴点検出・追跡部６０２では、複数のフレームに亘り特徴点を検出し、それを追跡する。
カメラベクトル演算部６０３では、図６で示したカメラベクトル検出部５０２ｄと同様に、特徴点の追跡軌跡からカメラベクトルを演算で求める。カメラベクトルとは、上述したように、カメラの位置姿勢を六つの自由度（X ,Y, Z,Φx,Φy,Φz）で表現したベクトルのことである。
画像スタビライズ部６０４では、特徴点抽出・追跡→カメラベクトル演算→回転補正というプロセスで画像を安定化させる。

静止系延長交点抽出部６０５では、安定化された画像上で、複数の特徴点の追跡軌跡の延長線が静止座標系で交わる一対の延長交点を求める。
安定化された平面変換画像上（通常の遠近法画像）で、特徴点及び分割画像の追跡軌跡は直線となり、その直線の交点として一対の延長交点が求まる。時間の流れに沿って追跡すれば進行方向には湧き出し点が、進行方向の反対側には消滅点（遠近法の消失点とは異なる）が延長交点として求まる。時間の流れを逆追跡すれば関係も逆になるが、常に一対の延長交点が求まる。
また、安定化された球面画像上で、複数の特徴点及び分割画像を追跡した場合の軌跡の交点は大円となり、球面画像上で大円が交わる二点として一対の延長交点が求められる。

分割画像分類部６０６では、安定化された画像を小領域の分割画像に分割し、各分割画像に関して複数のフレーム画像に亘って対応点を求め、各分割画像が前記延長交点を通過するか否かにより、静止座標系か、それ以外かに分類する。
分割画像の配列を優先して対応関係を求めることで、フレーム毎の対応が良く取れるゴム紐相関法を用いるのが好ましい。
ゴム紐相関法とは、画像をブロック化し、各ブロック映像をあたかもゴム紐で縦横を格子状につないだように、配列順番が変更されないように結合し、伸び縮するように結合し、輝度差が有ればそれが衝撃となってゴム紐が切断するように緩く結合し、フレーム間の相関またはマッチングをとる方法であり、相関又はマッチングが不完全であっても、ブロックの順番を変えないで内挿することで、全体像を失わないようにするのがゴム紐相関理論と同じ方法である。

静止座標系分類抽出部６０７では、安定化された画像には必ず延長交点が存在し、延長交点は画枠に対して定位置となり、分割画像の追跡軌跡又は特徴点追跡軌跡は平面画像においては延長交点から発する直線となる性質を利用して、延長交点による分割画像分類部によって静止座標系と判断された分割画像を抽出して一時記録する。
具体的には図３５に示すように、延長交点と分割画像を結ぶ直線上に対応点を求めて、対応点が求まればそれを追跡点として静止座標系に静止して存在するものとして分類する。
このようにすることで、面での対応点を求めることなく、面での対応点探索に比較して、極めて短時間で対応点を求めることができる。

静止座標系に存在するものは、延長交点と分割画像又は特徴点を結ぶ時、平面画像の場合は直線となり、球面画像の場合は大円となる。
このとき、延長交点と分割画像又は特徴点を結ぶ直線上に対応点を求める追跡処理において、多少直線からはみ出した範囲にまで対応点を探索して求めることで、直線からのズレを補正するように延長交点を再演算することにより、より精度の高い延長交点が求められる。精度の高い延長交点から、精度の高いカメラベクトル演算が可能となる。
一般に、ゴム紐相関理論は面の対応であるが、延長交点法とゴム紐相関理論を組み合わせれば、延長交点からの延長直線上に対応点を求める一次元のゴム紐とすることができるので、対応点演算の時間はかなり短縮され精度も向上する。
また、分割画像と特徴点とは延長交点に関しては同じ意味であり、区別されない。従って特徴点の追跡によって延長交点を求めても、分割画像によって特徴点を求めても物理的には同じ意味である。

静止座標系以外分類抽出部６０８では、延長交点に属するか否かによる画像分類部によって静止座標系以外と判断された分割画像を抽出して一時記録する。
静止座標系三次元化部６０９では、静止座標系分類抽出部６０７で得られた静止座標系と判断された分割画像について、延長交点と分割画像中心を結ぶ延長上に対応点を求めることで、分割画像の三次元座標を求める。
一方、移動体分割画像追跡部６１０では、静止座標系以外分類抽出部６０８で分離された移動体分割画像を複数のフレームに亘って追跡する。
移動体別延長交点分類部６１１では、移動体分割画像追跡部による追跡軌跡から、図３１に示すように、移動体分割画像の追跡延長交点を求め、得られた移動体延長交点別に、移動体分割画像を移動体別に分類する。

移動体別三次元化部６１２では、移動体延長交点分類部６１１により移動体別に分類された移動体別分割画像とその追跡結果から、移動体別分割画像の三次元座標を求めることで、移動体の形状とその座標を求める
スケール合わせ部６１３では、移動体三次元化部で得られた共通する既知の長さ又は、複数カメラに共通する対象物を基準として、各移動体のスケールを静止座標系と共有させる。
座標統合部６１４では、スケール合わせ部でスケール合わせの済んだ移動体別三次元座標と静止座標系の座標を統合する。複数のカメラの場合はカメラ間の距離が確定していれば絶対長が算出されるが、カメラが一台の場合は相対値となるが、他の人工知能装置からの情報を取得して絶対長が算出される。
また、前もって静止座標系以外分類抽出部６０８の前に、移動体別領域大分類部（図示せず）を設けて、静止座標系以外分類抽出部６０８から得られた分割画像の固まりを大きく分類しておき、移動体分割画像の追跡をすることができる。

分割画像部６１５において分割する単位としては、例えば、７＊７〜１５＊１５ピクセル程度が望ましい。
静止座標系三次元化部６０９及び移動体別三次元化部６１２においては、原則的にすべての分割画像について複数のフレームに亘り追跡を行うが、対応点を闇雲に探すのではなく、先の延長交点からの延長上にのみ探せばよいことになる。このことで精度の良い追跡が可能となる。
また、移動体別三次元化部６１２で三次元形状の概略が取得された段階で、あるいはスケール合わせ部６１３により、三次元形状の絶対スケールを取得した段階で、比較部６２１によって部品データベース部６２０の三次元部品と比較し一致させることで（図３４参照）、移動体別に認識を行い（移動体認識部６１９）、さらに部品と置換することができる（部品置換部６２２）。
このようにして、置換された部品を静止座標系と座標統合することで、静止座標系の中に移動体を３ＤＣＧで表現することができる。

また、本実施形態では、移動体別座標決定と静止座標系への統合を行うために、図３４に示すように、移動体別座標系決定部６１７を備えることができる。
移動体別座標系決定部６１７は、移動体別延長交点分類部６１１によって得られた移動体別の分割画像追跡軌跡から、仮想移動体別カメラベクトルを検出し、それを移動体別仮想カメラベクトルとし、複数の移動体別仮想カメラベクトルの座標系を、既知の静止座標系のカメラベクトルに一致させるように座標変換するようになっている。これによって、移動体別座標系を静止座標系に座標変換し、移動体を移動体別に静止座標系に統合することができる。

移動体とカメラの運動は常に相対運動であり、カメラが動くか、対象物が動くかは区別できず、同じことを意味することになる。このときのカメラベクトルを仮想カメラベクトルと定義する。
図３６及び図３７に示すように、仮想カメラベクトルは、移動する物体に固有に存在する。すなわち、移動する複数の物体の特徴点は、それぞれ固有の仮想カメラベクトルに属する。
移動体別に分類された分割画像（移動体別分割画像）は、カメラに対して移動するが、一般にはカメラも移動しているから、まずカメラベクトル演算によりカメラ及びその移動を静止座標系で表現する。
また、カメラから見た移動体はカメラを仮の静止座標系としているから、そのまま移動体別の仮のカメラベクトルを演算すれば、移動体を静止座標系とした仮のカメラベクトルが求まる。このことで移動体別の座標系が求まり、移動体別に座標系を決定することができる。

そして、以上の作業を移動体別座標系決定部６１７において行う。
カメラが一個の場合、カメラは同一であるから、カメラベクトルと仮のカメラベクトルを一致させることで、移動体別の分割画像の座標を静止座標系で表現したことになる。
また、移動体別分割画像のデータは一般に静止座標系の分割画像に比べて少ないので、他の人工知能装置から受け取った同一移動体の相対三次元データと合わせることで移動体の三次元形状と座標を求めやすくなる。また複数の方向の人工知能装置からのデータを統合することで、正しい絶対スケールを求めることができる。
一般に、カメラ一個では得られる三次元データは相対値であり、それを絶対値に変換する為には画像中の既知の長さのものを基準として変換するか、他のカメラからの情報を取得してカメラ間の距離等の既知の距離を基準として絶対スケールに変換することができる。

さらに、本実施形態では、図３４に示すように、移動別座標系に移動体をロックオンする移動体別ロックオン部６１３を備えることができる。
移動体別ロックオン部６１３は、移動体別延長交点分類部６１１によって得られた移動体別の延長交点又はカメラベクトルから、移動体別の座標系を求める移動体別座標決定部により、任意の移動体の座標系を求め、任意の移動体の延長交点を固定するように、又は移動体別座標系との関係で定められた任意の位置と姿勢を基準としてカメラ方向を制御して、あるいは、カメラを制御せずに画像を任意の移動体の座標系で安定化して表示する。

上述したように、移動体別延長交点分類部６１１及び移動体別座標系決定部６１７により、移動体別の座標系を生成することができる。
そこで、カメラ方向を制御し、常に或る特定の移動体座標系を追跡することで移動体を静止座標系のごとく表示（ロックオン）することができる。
また、カメラを制御せずとも画像処理により、取得された映像から常にある特定の座標系を追跡して、あたかもその移動体座標系が静止座標系であるように扱って表示、すなわちロックオンすることができる。

なお、本実施形態では、画像スタビライズ部６０４で、カメラベクトル演算を用いて画像を安定化させるようにしているが、カメラベクトルを用いることにより、カメラ姿勢を安定化して位置姿勢の安定化制御を行うこともできる。
上述したように、人工知能装置は、物体に取り付けられることで、その物体の移動や属性等のデータを他の人工知能装置との間でやり取りして、複合人工知能装置を構成するが、人工知能装置が取り付けられた物体は通常は移動するので、その移動を正確に把握しなければならない。また、移動を予定通り行うために適切な制御を行わなければならない。
カメラの位置姿勢制御と物体の位置姿勢制御は同義であるとして以下に説明する。

上述したカメラベクトル検出で求められるカメラの三次元位置信号及びその３軸回転信号、（Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚ）から、カメラ位置（Ｘ，Ｙ，Ｚ，）と、カメラ姿勢の回転による揺れ成分（Φｘ，Φｙ，Φｚ）を抽出し、予定のカメラ位置と現在のカメラ位置の差から、カメラ位置を補正する補正信号を生成することができる。
また、正常なカメラ姿勢と現在のカメラ姿勢との差から、カメラの回転を補正する回転補正信号を生成することができる。
そして、この位置及び回転補正信号により、カメラ、若しくはカメラが固定されている保持機構、あるいはカメラを積載している移動物体の姿勢を制御して補正することができる。

このようにして、カメラベクトル演算からリアルタイムで得られる補正信号によって、カメラ自身を保持する機構を制御し、画像を取得するカメラ自身をリアルタイムで位置制御と回転制御を行い、カメラの姿勢を安定化し、位置姿勢安定化装置と構成することができる。
また、このような補正信号により、航空機・車両等に取り付けられた人工知能装置は、回転姿勢制御のみならず、カメラが固定されている車両等を制御することで、車両の位置制御としても利用できる。

ここで、補正信号は、Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚの何れの組み合わせから制御信号を生成するかで、姿勢制御となったり、位置制御となったりする。
すなわち、カメラの回転角Φｘ，Φｙ，Φｚ から生成する回転補正信号により、回転角を一定に保つように制御できる。一般には、これらのすべてを固定する必要はなく、一軸の自由回転は残しながら回転制御する方が良い場合もある。
また、ヘリコプターが上空でホバリングする場合には、Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚの、すべてについて制御することで実現できる。
また、位置制御とは予定された三次元位置からのズレを検出して、それを車両等の位置制御信号としてフィードバックすることで、予定の航路に導くことが可能となる。車両や航空機の予定航路をＸ，Ｙ，Ｚと比較することで、位置制御として利用できる。

このようにして、本発明で求められるカメラベクトルを車両や航空機等の移動体の位置及び姿勢制御装置として利用することができる。
なお、移動体の制御にはリアルタイム性が要求されるので、上述したように、複数の映像を利用することにより、リアルタイムで取得される映像出力を直接カメラベクトル演算に用いて、過去のデータと照らし合わせて、カメラベクトルのリアルタイム演算をするようにする（図２７及び図２８参照）。
リアルタイム演算で得られた高精度カメラベクトルは、三次元位置とカメラの３軸回転の信号を含むので、カメラを積載した車両の姿勢制御と位置制御が実現できる。
さらに、図２６に示したような高精度三次元演算装置等と組み合わせることにより、より高精度の位置と姿勢制御が可能となる。

以上、本発明の複合人工知能装置について、好ましい実施形態を示して説明したが、本発明に係る複合人工知能装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。

本発明は、ビデオカメラ等で撮像される動画映像に基づいてカメラや車両，ロボット等の任意の物体を自動制御する人工知能装置の分野に好適に利用することができる。

本発明の複合人工知能装置を構成する各人工知能装置の基本的機能構成を示すブロック図である。 図１に示す人工知能装置が取り付けられる現実世界の物体及び対象物の関係を示す説明図である。 図２に示す人工知能装置が取り付けられる物体及び対象物の関係をより具体的に示す説明図である。 図１に示した各人工知能装置において実現されるより具体的機能を説明するための機能ブロック図である。 本発明の複合人工知能装置を構成する各人工知能装置の一実施形態の概略構成を示すブロック図である。 図５に示す人工知能装置の概略構成の詳細を示したブロック図である。 本発明の一実施形態に係る人工知能装置のカメラベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係る人工知能装置のカメラベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係る人工知能装置のカメラベクトル検出部における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係る人工知能装置のカメラベクトル検出部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 本発明の一実施形態に係る人工知能装置のカメラベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係る人工知能装置のカメラベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係る人工知能装置のカメラベクトル検出部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係る人工知能装置のカメラベクトル検出部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。 本発明の一実施形態に係る人工知能装置の特徴点結合ポリゴン生成部における単位ポリゴンの生成過程を示す説明図である。 本発明の一実施形態に係る人工知能装置の特徴点結合ポリゴン生成部における単位ポリゴンの生成過程を示す説明図である。 本発明の一実施形態に係る人工知能装置の特徴点結合ポリゴン生成部において詳細を求める部分に特徴点を追加してポリゴン化する過程を示す説明図である。 本発明の一実施形態に係る人工知能装置の比較認識装置におけるポリゴン面と部品面の比較を示す説明図である。 図６に示す人工知能装置の変更実施形態を示す要部ブロック図である。 本発明の一実施形態に係る人工知能装置の意味理解判断装置及び制御装置の概略構成を示すブロック図である。 本発明の一実施形態に係る人工知能装置の表示装置から出力される音声ガイドの一例を示す図である。 本発明の複合人工知能装置において物体の位置姿勢の補強となる基準映像の参照データを示すブロック図である。 図２２に示す基準映像を用いた位置姿勢の演算手段の概略構成を示すブロック図である。 本発明の複合人工知能装置において基準映像を用いて物体の位置姿勢を求める過程を示す説明図である。 本発明の複合人工知能装置において基準映像を用いて物体の位置姿勢を求める過程を示す説明図である。 図６に示した人工知能装置に高精度三次元演算装置を備えた実施形態の概略構成を示すブロック図である。 本発明の複合人工知能装置を構成する各人工知能装置に複数の画像取得装置を備える一実施形態の概略構成を示すブロック図である。 図２７に示す人工知能装置の概略構成の詳細を示したブロック図である。 本発明の複合人工知能装置の一実施形態に備えられる広角視野カメラと狭角視野カメラの関係を示す説明図である。 広角視野と狭角視野の複数のカメラを備える人工知能装置において、狭角視野カメラを、カメラの移動方向に沿って視野を重複させて複数設置する場合の説明図である。 広角視野と狭角視野の複数のカメラを備える人工知能装置において、広角視野カメラで全体視野を捉えつつ、複数の狭角視野カメラで視野を重複させて映像を取得する場合の説明図である。 広角視野と狭角視野の複数のカメラを備える人工知能装置において、全体視野を捉える広角視野カメラを複数設置する場合の説明図である。 本発明の一実施形態に係る移動体検出・静止座標系分離・移動体座標系分離を行う人工知能装置の概略構成を示すブロック図である。 本発明の一実施形態に係る移動体検出・静止座標系分離・移動体座標系分離を行う人工知能装置の概略構成を示すブロック図である。 図３３及び図３４に示す人工知能装置において行う移動体検出・静止座標系分離・移動体座標系分離の過程を示す説明図である。 図３３及び図３４に示す人工知能装置において行う移動体検出・静止座標系分離・移動体座標系分離の過程を示す説明図である。 図３３及び図３４に示す人工知能装置において行う移動体検出・静止座標系分離・移動体座標系分離の過程を示す説明図である。

符号の説明

１００ 人工知能装置
１０１ 自己物体の属性記憶機能
１０２ 自己物体の空間位置姿勢認識機能
１０３ 自己物体の周囲対象物認識機能
１０４ 自己物体の状況判断機能
１０５ 処理過程の記録機能
１０６ 通信機能
１０７ 継続処理機能
５０１ 画像取得装置
５０２ 画像特徴点演算装置
５０３ 比較基準信号選択装置
５０４ 形状部品生成装置
５０５ 形状部品データベース装置
５０６ 比較候補信号選択装置
５０７ 部品構成による３Ｄ地図装置
５０８ ＧＰＳによるカメラ概略位置決定装置
５０９ 比較認識装置
５１０ 座標統合装置
５１１ 更新された部品構成による３Ｄ地図ＤＢ装置
５１２ 意味理解判断装置
５１３ 制御装置
５１４ 表示装置（出力装置）
５１５ 高精度三次元演算装置

Claims (15)

1. 任意の物体に取り付けられる複数の人工知能装置を備え、
   各人工知能装置は、
   取り付けられた物体の属性を記憶する自己物体の属性記憶機能と、
   取り付けられた物体の空間位置姿勢を認識する自己物体の空間位置姿勢認識機能と、
   取り付けられた物体の周囲の対象物を認識する自己物体の周囲対象物認識機能と、
   前記各認識機能により取り付けられた物体の状況を判断する自己物体の状況判断機能と、
   前記各認識機能の処理過程を記録する機能と、
   他の物体に取り付けられた人工知能装置との間で情報の送受信を行う通信機能と、
   他の物体に取り付けられた人工知能装置から受信した情報を加えて前記各認識機能の継続処理を行う継続処理機能と、を有し、
   複数の人工知能装置間で、自己物体の属性情報，自己物体の周囲の画像情報，画像の分析情報，自己物体の空間位置姿勢認識情報，自己物体の周囲の対象物の認識情報，自己物体の周囲の状況判断情報等の一部情報又はそれらの組み合わせ情報を送受信し、
   各人工知能装置において、他の人工知能装置からの情報を加えて自己物体及び他の物体を共通の座標系に統合し、現実世界をバーチャル世界に変換して空間位置姿勢認識，対象物の認識，属性による認識等を行うことを特徴とする複合人工知能装置。
2. 前記複数の人工知能装置のうちの任意の人工知能装置は、
   前記人工知能装置の各機能の一部のみを有し、他の人工知能装置に情報を送信し、又は、他の人工知能装置における判断結果を受信することにより、前記人工知能装置の各機能の一部又は全部を行う請求項１記載の複合人工知能装置。
3. 前記各人工知能装置は、
   取得された周囲空間の画像情報等を統一座標系に統合し、空間の三次元形状の概略を構成する三次元空間構成部と、
   前記空間の三次元空間内に存在する各人工知能装置が取り付けられた物体の位置と姿勢と移動を三次元データとして取得して、前記統一座標系に配置する物体位置姿勢移動配置部と、
   前記物体が配置された統一座標系に、人工知能装置が取り付けられていない対象物の三次元位置と姿勢と移動を三次元データとして取得して、前記統一座標系に追加配置する対象物位置移動追加配置部と
   前記物体及び対象物に対応する三次元形状と属性が与えられた複数の部品を格納したデータベース部と
   前記物体及び対象物に対応する部品を、前記データベース部に格納された候補部品と前記三次元空間構成部の視点位置から、概略の配置と姿勢を予想して、当該部品の姿勢を絞り込む姿勢絞り込み部と
   前記物体及び対象物の三次元形状データと絞り込んだ部品を比較する比較部と、
   前記比較の一致不一致を判断して、対応する部品を特定する物体対象物部品特定部と
   前記部品の特定と同時に又は特定の後に、前記部品の三次元位置を詳細に決定し、統一座標系に再配置する物体対象物部品座標固定部と
   必要に応じ、前記部品の特定及び固定の後に又は同時に又は先だって、前記物体の属性と部品の属性を比較し、条件内で属性が一致した部品を部品候補に絞り込む属性による部品絞り込み部と、
   特定が済んだ部品に新たな属性を追加し又は更新する物体部品属性比較追加更新部と、
   前記統一座標系に、複数の部品により再構築して部品再構築三次元空間を生成する部品再構築三次元空間生成部と、
   前記部品再構築三次元空間において、構成要素となる各部品に属性を与え、現実世界を、属性を持つ複数の部品による仮想の現実対応仮想空間として扱う現実対応仮想空間部と、
   前記現実対応仮想空間中に、当該人工知能装置の三次元位置と姿勢と移動を配置し、自己位置を中心とした部品の三次元配置と属性関係を求める仮想空間での自己認識部と、
   複数の部品の三次元配置とそれらの属性が持つ相互関係から意味を生成するためのルールを格納した意味ルール付与部と
   前記現実対応仮想空間内の自己の位置関係及びそれら属性の関係から、前記意味を生成する意味発生部と
   三次元空間の中の自己の状況を前記現実対応仮想空間内に置き換える自己状況把握部と
   前記自己状況把握部によって得られる自己状況と周囲の関係状況を、時間経緯中のシミュレーションにより確認する時間経緯シミュレーション部と
   前記時間経緯シミュレーションにより、当該物体の行動を決定する行動決定部と、を備える請求項１又は２記載の複合人工知能装置。
4. 前記行動決定部の行動決定に至る全プロセス又は一部プロセスを記憶するプロセス記憶部と、
   前記プロセス記憶部のプロセスを類似するプロセスに分類して保存する類型分類部と、を有し、
   既に得られた類似するプロセスを再現することによりプロセスを単純化する学習装置を備える請求項３記載の複合人工知能装置。
5. 前記各人工知能装置は、
   ビデオカメラ等により動画映像を取得する画像取得装置と、
   前記動画映像を記録はまたは一次記録し、
   記録した映像内に有って画像的特徴のある十分多くの特徴点を自動抽出し、前記特徴点を動画画像内に自動追跡し、
   十分に多くの前記特徴点から、各特徴点の三次元座標を重複して演算で求め、
   前記演算で得られた十分に多くの前記特徴点の三次元座標の重複する関係から、統計処理演算により精度良くカメラベクトルを求め、
   前記映像内に、任意の部分の近傍の追加特徴点を抽出して動画像内に追跡し、
   既に得られている前記カメラベクトルから、追加された前記追加特徴点の三次元座標及び移動ベクトルを演算で求めて出力し、移動体がある場合には移動体ベクトル信号を出力し、
   カメラベクトルと同時に得られた特徴点及び後のカメラベクトルを既知とした演算で得られた追加特徴点の三次元座標を、矛盾のなく結合して単位ポリゴンを生成し、単位ポリゴンを矛盾無く複数結合することで、ポリゴン面群を生成し、前記ポリゴン面群を複数生成し、さらに複数のフレーム画像から得られる多数のポリゴン面群を重複させながら、隙間にはポリゴン面群を追加しながら、隙間を埋めるように重ね合わせて結合ポリゴン群を生成し、統計処理して平均ポリゴン面を生成し、この多重ポリゴン演算の繰り返しにより、対象物及びその周辺の平均ポリゴン面を連続的に取り出し、対象物とその周辺のポリゴン三次元形状を形成し、
   前記カメラベクトル信号及び、移動体が有れば移動体移動ベクトル信号と、及び前記ポリゴン面形状を生成して、特徴点面分布信号として出力し、移動体がある場合には移動体のポリゴン面形状を生成して、移動体特徴点面分布信号を出力する画像特徴点演算装置と、
   前記画像特徴点演算装置から出力された特徴点面三次元分布信号と映像信号との何れか一方又は双方を比較基準信号として出力する比較基準信号選択装置と、
   前記動画映像内に予想される対象物又はその一部の特徴部分を切り出した映像部品と、前記動画映像内に予想される対象物又はその一部分となる３ＤＣＧ部品とを生成する形状部品生成装置と、
   前記形状部品生成装置で生成した複数の部品と、対象物の表面形状の一部とを、３ＤＣＧ部品として記録した形状部品データベース装置と、
   前記画像特徴点演算装置で得られるカメラベクトル信号により、カメラの概略位置を指定して場所等を絞り込み、その概略位置付近に存在することが予想される部品を、前記形状部品データベース装置の中から選択して取り出し、比較候補信号として出力する比較候補信号選択装置と、
   前記比較基準信号選択装置からの比較基準信号と、前記比較候補信号選択装置からの比較候補信号とを比較し、一致しないときは比較候補信号を選択して一致するまで比較し、一致した場合に比較基準信号と比較候補信号を一対一に対応付けて対象物が認識されたと判断し、認識された比較候補信号の座標と部品を特定して出力する比較認識装置と、
   前記動画映像の各フレーム内の領域について前記作業を連続的に行い、動画映像のすべてのフレームについて前記作業を連続的に繰り返し、移動体対象物には対応する部品の座標と移動ベクトルを付加し、静止物体には認識された複数の部品の座標を統合する座標統合装置と、
   前記動画映像の一部又は全部を既知の部品で再構成し、必要が有ればその中に前記カメラベクトルとして得られたカメラの三次元座標位置と３軸回転姿勢をデータとして出力する出力装置と、
   を備える請求項１乃至４記載の複合人工知能装置。
6. 前記座標統合装置で統合された部品の三次元的再構成状況から、カメラの置かれている状況と意味を理解し、あらかじめ対象物の部品の属性として与えた情報から対象物単独の性質と、それぞれ属例を持つ複数の認識対象物の配列の意味を理解し、又はそれらの複合情報からカメラの置かれている状況の意味を理解し、次の行動を判断する意味理解判断装置と、
   前記意味理解判断装置の出力により、カメラ又は制御対象装置を制御する制御装置と、を備える請求項５記載の複合人工知能装置。
7. 前記形状部品生成装置は、前記部品を生成する際に、各部品に属性を付与する請求項５記載の複合人工知能装置。
8. 前記動画映像に対応するように、前記形状部品データベース装置の部品を配列した部品構成による３Ｄ地図装置と、
   前記比較候補信号選択装置に備えられる、ＧＰＳ等のデータから概略位置を受け取り、その概略位置を部品構成による３Ｄ地図装置の仮の位置とし、当該記仮の位置付近の複数の部品の中から、前記比較認識装置に信号を送り出すための３Ｄ地図配列信号と、
   前記比較認識装置で特定され座標が決定された更新部品により、更新された３Ｄ地図を生成する更新された部品構成による３Ｄ地図装置と、を備える請求項５記載の複合人工知能装置。
9. 予想される前記物体の移動通路又は移動範囲を撮影した基準映像と、前記基準映像の各フレーム画像に対応するカメラベクトル演算データを記憶し、
   必要に応じて、前記基準映像を前記カメラベクトル演算データによって全部又は一部を三次元データに変換し、
   前記基準映像と前記動画映像との対応を求めることで、前記ＧＰＳ等のデータを補強してカメラ位置姿勢の精度を上げる請求項８記載の複合人工知能装置。
10. 前記基準映像に代えて、前記基準映像内の前記動画映像との対応を求めるために適した複数の特徴部位をあらかじめ選択して切り取ることにより基準特徴部位映像として記憶し、
    必要に応じて、前記基準特徴部位映像を前記カメラベクトル演算データから二次元データ又は三次元データに変換し、
    前記基準特徴部位映像と前記動画映像との対応を求めることで、前記ＧＰＳ等のデータを補強してカメラ位置姿勢の精度を上げる請求項９記載の複合人工知能装置。
11. 前記画像特徴点演算装置で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される三次元情報をもつデータの三次元形状の一部分を用いて三次元形状を自動追跡する三次元形状追跡部と、
    三次元形状追跡部で得られた追跡データから高精度なカメラベクトルを出力する高精度カメラベクトル演算部と、
    を有する高精度三次元形状演算装置を備える請求項５記載の複合人工知能装置。
12. 前記画像取得装置は、複数の動画映像を取得する同期した複数のビデオカメラを有するとともに、
    前記画像特徴点演算装置は、前記複数のビデオカメラと同数備えられ、
    複数のカメラの出力を、各カメラに対応する画像特徴点演算装置において、同一機能部間で関係付けながら演算精度を向上させる請求項５記載の複合人工知能装置。
13. 前記各人工知能装置は、
    物体に取り付けられたカメラから動画像を取得する動画像取得部と、
    前記動画像内の静止物体の十分多くの特徴点を抽出し、抽出された十分多くの特徴点を複数のフレーム画像に亘って追跡する特徴点検出・追跡部と、
    前記特徴点の追跡結果からカメラの位置と姿勢を示すカメラベクトルを演算により求めるカメラ演算部と、
    前記カメラベクトルから画像の回転による揺れを止めて画像を安定化させる画像スタビライズ部と、
    前記画像スタビライズ部で安定化された画像上で、前記特徴点の追跡軌跡を再配置し、前記安定化された画像上で、複数の特徴点の追跡軌跡の延長線が静止座標系で交わる一対の延長交点を求める静止系延長交点抽出部と、
    前記安定化された画像を小領域の分割画像に分割し、各分割画像に関して複数のフレーム画像に亘って対応点を求め、前記各分割画像が前記延長交点を通過するか否かにより、静止座標系か、それ以外かに分類する分割画像分類部と、
    前記延長交点による分割画像分類部によって静止座標系と判断された分割画像を抽出して一時記録する静止座標系分類抽出部と、
    前記延長交点に属するか否かによる画像分類部によって静止座標系以外と判断された分割画像を抽出して一時記録する静止座標系以外分類抽出部と、
    前記静止座標系分類抽出部で得られた前記静止座標系と判断された分割画像について、延長交点と分割画像中心を結ぶ延長上に対応点を求めることで、分割画像の三次元座標を求める静止座標系三次元化部と、
    前記静止座標系以外分類抽出部で分離された移動体分割画像を複数のフレームに亘って追跡する移動体分割画像追跡部と、
    前記移動体分割画像追跡部による追跡軌跡から、移動体分割画像の追跡延長交点を求め、得られた移動体延長交点別に、移動体分割画像を移動体別に分類する移動体別延長交点分類部と、
    前記移動体延長交点分類部により移動体別に分類された移動体別分割画像とその追跡結果から、移動体別分割画像の三次元座標を求めることで、移動体の形状とその座標を求める移動体別三次元化部と、
    前記移動体三次元化部で得られた共通する既知の長さ、又は複数カメラに共通する対象物を基準として、各移動体のスケールを静止座標系と共有させるスケール合わせ部と、
    前記スケール合わせ部でスケール合わせの済んだ移動体別三次元座標と静止座標系の座標を統合する座標統合部と、
    を備える請求項１乃至４記載の複合人工知能装置。
14. 前記移動体別延長交点分類部によって得られた移動体別の分割画像追跡軌跡から、仮想移動体別カメラベクトルを検出し、それを移動体別仮想カメラベクトルとし、前記複数の移動体別仮想カメラベクトルの座標系を、既知の静止座標系のカメラベクトルに一致させるように座標変換する移動体別座標系決定部を備え、
    移動体別座標系を静止座標系に座標変換し、移動体を移動体別に静止座標系に統合する請求項１３記載の複合人工知能装置。
15. 前記移動体別延長交点分類部によって得られた移動体別の延長交点又はカメラベクトルから、移動体別の座標系を求める移動体別座標決定部により、任意の移動体の座標系を求め、
    前記任意の移動体の延長交点を固定するように、又は前記移動体別座標系との関係で定められた任意の位置と姿勢を基準としてカメラ方向を制御し、
    又はカメラを制御せずに画像を前記任意の移動体の座標系で安定化して表示する、移動体別ロックオン部を備える請求項１３記載の複合人工知能装置。