JP2021093151A - オブジェクト認識システム、装置、方法及びプログラム - Google Patents

Abstract

【課題】カメラの数や位置に限定されずに実空間におけるオブジェクトを認識できるようにする。【解決手段】測距手段を有するカメラ１１０において、オブジェクト認識（検出・追跡）部２０６は、カメラ１１０で撮影した画像内のオブジェクトの認識を行う。また、機械学習処理部２０７は、画像内で認識したオブジェクトのフレーム特徴点を機械学習処理によって抽出する。そして、オブジェクトフレーム作成部２０８は、画像内で認識したオブジェクトのカテゴリに応じて、テンプレートを呼び出し、画像内のフレーム特徴点に対応する実空間におけるフレーム特徴点の三次元位置を算出して、オブジェクトフレームを作成する。また、統合オブジェクトフレーム作成部３０４は、複数のカメラ１１０で作成されたオブジェクトフレームを統合して、統合オブジェクトフレームを作成する。【選択図】図２

Description

本発明は、実空間におけるオブジェクトを認識するオブジェクト認識システム、装置、方法及びプログラム、並びに、実空間におけるオブジェクト上の位置を計測する位置計測装置、方法及びプログラムに関する。

特許文献１には、光学式モーションキャプチャシステムにおいて、フレームレート及び解像度において異なるカメラから構成される異種カメラ群によってマーカが付された被験体を撮影して画像を取得するステップと、画像からマーカの二次元位置情報を検出するマーカ検出ステップと、検出されたマーカの二次元位置情報を用いて、マーカの三次元位置情報を取得する三次元再構成ステップと、各カメラ群で取得されたマーカの三次元位置情報を統合する統合ステップとを有することが開示されている。

国際公開第２００５／１２４６８７号

しかしながら、特許文献１では、マーカの三次元位置情報を取得するのに、複数のカメラを必要とする。また、マーカの三次元位置情報やマーカとカメラとの距離を高精度に算出する場合、複数のカメラが適切な位置、例えばマーカを取り囲むように設置されている必要がある。このように実空間におけるオブジェクトを三次元的認識するのに、カメラの数や位置が限定されてしまう。また、複数のカメラ（例えば移動式のカメラを含む）がアドホックに連携して、実空間におけるオブジェクトのより詳細な位置、形状、姿勢、動き等を検出、認識するのには向いていない。

本発明は上記のような点に鑑みてなされたものであり、カメラの数や位置に限定されずに実空間におけるオブジェクトを認識できるようにすることを目的とする。

本発明のオブジェクト認識システムは、測距手段を有するカメラで撮影した画像内のオブジェクトを認識する認識手段と、前記認識手段で認識した前記画像内の前記オブジェクトの特徴点を抽出する抽出手段と、前記測距手段による測距結果に基づいて、前記抽出手段で抽出した前記画像内の前記特徴点に対応する実空間における前記特徴点の三次元位置を算出する位置算出手段と、前記位置算出手段で算出した前記特徴点の三次元位置を含むように、前記オブジェクトの認識情報を作成する認識情報作成手段とを備えたことを特徴とする。

本発明によれば、カメラの数や位置に限定されずに実空間におけるオブジェクトを認識することが可能になる。

第１の実施形態に係るオブジェクト認識システムの構成を示す図である。 カメラ及びサーバの機能構成を示す図である。 オブジェクトフレームのテンプレートに設定されているフレーム特徴点を説明するための図である。 オブジェクトフレームのテンプレートのデータ構造の例を示す図である。 オブジェクトフレームのデータ構造の例を示す図である。 統合オブジェクトフレームのデータ構造の例を示す図である。 第１の実施形態に係るオブジェクト認識システムのカメラ及びサーバが実行する処理を示すフローチャートである。 オブジェクトフレーム作成処理を示すフローチャートである。 統合オブジェクトフレーム作成処理を示すフローチャートである。 フレーム特徴点を抽出するための機械学習処理を説明するための図である。 第１の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第１の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第１の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第１の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第１の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第１の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第１の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第１の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第２の実施形態に係るオブジェクト認識システムの構成及びカメラ付き情報機器の機能構成を示す図である。 第２の実施形態に係るオブジェクト認識システムのカメラ付き情報機器が実行する処理を示すフローチャートである。 第２の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第２の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第２の実施形態に係るオブジェクト認識システムの動作を説明するための図である。 第３の実施形態に係る位置計測装置の機能構成を示す図である。 第３の実施形態に係る位置計測装置が実行する処理を示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
［第１の実施形態］
＜オブジェクト認識システムの概要＞
本実施形態では、測距手段を有するカメラで撮影した画像内のオブジェクトを認識して、実空間におけるオブジェクトの位置、形状、姿勢、動き等の三次元的な認識結果を表す認識情報としてオブジェクトフレームを作成する。オブジェクトフレームは、以下に述べるように、オブジェクトのフレーム特徴点の三次元位置を含む。フレーム特徴点は、オブジェクトを特徴付ける点であり、フレーム特徴点の実空間における三次元的な位置によってオブジェクトの位置、形状、姿勢、動き等を表現することが可能になる。例えば人間の場合、頭部の中心、首の付け根、腰、左右の肩、肘、手首、膝、足首等の部位にフレーム特徴点が設定される。フレーム特徴点は、ＩＤによって識別される。また、フレーム特徴点には、大きさ、形、半径、方向、色、材質、テクスチャ等の情報を付加してもよい。本願では、二次元空間内の位置を二次元位置、三次元空間内の位置を三次元位置のように記載するが、自明な場合には単に位置と記載する。

カメラで撮影した画像内のオブジェクトを認識した結果、オブジェクトのカテゴリと、画像内のオブジェクトの画像領域と、オブジェクトの認識率とを取得する。また、画像内のオブジェクトのフレーム特徴点を抽出する。画像内のフレーム特徴点の抽出は、機械学習処理によって行う。次に、測距手段によってカメラの位置から画像内のフレーム特徴点の二次元位置に対応する実空間のオブジェクト上の点までの距離を測定する。次に、測距手段による測距結果と、カメラの撮影パラメータ（位置、方向、ズーム倍率等）とに基づいて、画像内のフレーム特徴点の二次元位置に対応する実空間におけるフレーム特徴点の三次元位置を算出する。また、フレーム特徴点の三次元位置の信頼度を表す位置信頼度を算出する。
また、一つ以上のフレーム特徴点の三次元位置を用いて、オブジェクトの基準となる位置を表す三次元基準位置（以下、単に基準位置と呼ぶ）を算出する。また、基準位置の信頼度を表す基準位置信頼度を算出する。
また、フレーム特徴点の三次元位置と基準位置との差で表されるフレーム特徴点の相対位置を算出する。また、相対位置の信頼度を表す相対位置信頼度を算出する。
これらのフレーム特徴点の三次元位置及び位置信頼度、基準位置及び基準位置信頼度、相対位置及び相対位置信頼度をオブジェクトフレームにセットする。オブジェクトフレームは、必要度に応じて設定された時間内で随時更新される。このように単独のカメラでもオブジェクトの三次元的認識を行うことができる。

また、複数のカメラが連携して、オブジェクトの三次元的認識を行う。この場合、複数のカメラで撮影した画像から作成した同一と判定されたオブジェクトに対するオブジェクトフレームを補完及び統合して、統合情報として統合オブジェクトフレームを作成する。
ここでは、まず、同一と判定されたオブジェクトに対して、複数のオブジェクトフレームのオブジェクトの基準位置を基準位置信頼度に応じて重み付け加算することによりオブジェクトの統合基準位置を算出する。また、統合基準位置の信頼度を表す統合基準位置信頼度を算出する。
次に、同一と判定されたオブジェクトの同一部位を示すフレーム特徴点に対して、複数のオブジェクトフレームのフレーム特徴点の相対位置を相対位置信頼度に応じて重み付け加算することによりフレーム特徴点の統合相対位置を算出する。また、統合相対位置の信頼度を表す統合基準位置信頼度を算出する。
そして、オブジェクトの統合基準位置とフレーム特徴点の統合相対位置との和で表されるフレーム特徴点の統合位置を算出する。また、統合位置の信頼度を表す統合位置信頼度を算出する。
これらの統合基準位置及び統合基準位置信頼度、統合相対位置及び統合相対位置信頼度、統合位置及び統合位置信頼度を統合オブジェクトフレームにセットする。統合オブジェクトフレームは、必要度に応じて設定された時間内で随時更新される。
なお、オブジェクトの同一部位に対する各画像内のフレーム特徴点、各オブジェクトフレーム内のフレーム特徴点、及び統合オブジェクトフレーム内のフレーム特徴点には、同一のＩＤが付与される。

＜オブジェクト認識システムの構成＞
図１は、第１の実施形態に係るオブジェクト認識システム１００の構成を示す図である。図１に示すように、オブジェクト認識システム１００は、複数のカメラ１１０（カメラ識別子ＣＩ＝Ｃａｍ１、Ｃａｍ２、・・・）と、サーバ１２０と、これらを接続する通信網１３０とを備えて構成される。
カメラ１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、撮像部１１４と、位置検出部１１５と、測距部１１６と、通信部１１７とを備える。撮像部１１４と、位置検出部１１５と、測距部１１６とは近接して設置されている。カメラは、所定の場所に設置された固定式のカメラであってもよいし、自動車、ロボット、ドローン等に搭載された移動式のカメラであってもよいし、カメラ付き情報機器等であってもよい。
サーバ１２０は、ＣＰＵ１２１と、ＲＯＭ１２２と、ＲＡＭ１２３と、ＨＤＤ１２４と、操作部１２５と、表示部１２６と、通信部１２７とを備える。

図２は、カメラ１１０及びサーバ１２０の機能構成を示す図である。
図２（Ａ）に示すように、カメラ１１０は、カメラ位置・方向検出部２０１と、撮影処理部２０２と、撮影測距制御部２０３と、測距処理部２０４と、記憶部２０５と、オブジェクト認識（検出・追跡）部２０６と、機械学習処理部２０７とを具備する。また、カメラ１１０は、オブジェクトフレーム作成部２０８と、ローカル監視エリア管理部２０９と、情報要求生成部２１０と、ローカルマップ２１１と、通信処理部２１２とを具備する。本実施形態では、カメラ１１０が本発明でいうオブジェクト認識装置として機能する。

カメラ位置・方向検出部２０１は、カメラ１１０の位置、方向、ズーム倍率等を随時検出する。カメラ１１０の位置や方向の検出は、位置検出部１１５（例えばＧＰＳや各種センサ）によって行う。ズーム倍率によって表される距離は、長さの次元の量である。また、周囲を撮影した画像を解析して、所定の位置にある柱、家具、建物等の位置情報を用いて、カメラ１１０の位置や方向を検出するようにしてもよい。
撮像処理部２０２は、撮像部１１４に対応しており、ローカル監視エリア管理部２０９でカメラ１１０の周辺に設定されたローカル監視エリアを撮影する。
撮影測距制御部２０３は、カメラ１１０で撮影中の実空間のオブジェクト上に測距点を設定する。
測距処理部２０４は、撮影測距制御部２０３で設定したオブジェクト上の測距点までの距離を測定する。距離の測定は、例えば測距部１１６（例えば三次元レーダー）によって画角領域をスキャンすることによって行う。なお、距離の測定は、ステレオ画像法、ＴＯＦ方式、レーザー測定法等の測距方法によって行うようにしてもよい。

記憶部２０５には、オブジェクトフレームのテンプレートが記憶されている。テンプレートは、オブジェクトのカテゴリ別に用意されている。テンプレートは、図４に示すデータ構造をしており、各データスロットには初期値が設定されている。
オブジェクト認識（検出・追跡）部２０６は、カメラ１１０で撮影した画像（以下、撮影画像と呼ぶ）内のオブジェクトの認識を行う。オブジェクトの検出や追跡もまとめてオブジェクト認識と呼ぶものとする。撮影画像内のオブジェクトを認識した結果、オブジェクトのカテゴリと、撮影画像内のオブジェクトの画像領域と、オブジェクトの認識率とが取得される。撮影画像内で認識したオブジェクトには、オブジェクトを一意に識別するオブジェクト識別子が付与される。オブジェクト識別子は、認識（検出）されたオブジェクトの追跡中も継承される。オブジェクト認識（検出・追跡）部２０６が、本発明でいう認識手段として機能する。
機械学習処理部２０７は、撮影画像内で認識したオブジェクトのフレーム特徴点を機械学習処理によって抽出する。機械学習処理部２０７が、本発明でいう抽出手段として機能する。

オブジェクトフレーム作成部２０８は、撮影画像内で認識したオブジェクトのカテゴリに応じて、記憶部２０５からテンプレートを呼び出して、これを用いてオブジェクトフレームを作成する。オブジェクトフレーム作成部２０８は、テンプレートのデータスロットに、撮影情報（カメラの識別情報、撮影時刻、撮影パラメータ）、カテゴリ、画像領域、認識率、認識時刻をセットする。また、オブジェクトフレーム作成部２０８は、撮影画像内のフレーム特徴点に対応する実空間におけるフレーム特徴点の三次元位置を算出し、また、このときのフレーム特徴点の三次元位置の信頼度を表す位置信頼度を算出する。位置信頼度は、測距精度や認識精度等に基づいて算出する。また、オブジェクトフレーム作成部２０８は、一つ以上のフレーム特徴点の三次元位置から、オブジェクトの基準位置を算出し、その信頼度を表す基準位置信頼度を算出する。また、オブジェクトフレーム作成部２０８は、フレーム特徴点の三次元位置とオブジェクトの基準位置との差で表されるフレーム特徴点の相対位置を算出し、その信頼度を表す相対位置信頼度を算出する。そして、オブジェクトフレーム作成部２０８は、テンプレートのデータスロットに、フレーム特徴点の三次元位置、位置信頼度、オブジェクトの基準位置、基準位置信頼度、フレーム特徴点の相対位置、相対位置信頼度をセットする。このようにして、オブジェクトフレームを作成する。オブジェクトフレーム作成部２０８が、本発明でいう位置算出手段、基準位置算出手段、相対位置算出手段、位置信頼度算出手段、基準位置信頼度算出手段、相対位置信頼度算出手段、認識情報作成手段、第１〜第３の誤差算出手段として機能する。

ローカル監視エリア管理部２０９は、カメラ１１０で監視する領域を管理する。
情報要求生成部２１０は、カメラ１１０から死角になる領域（カメラ１１０が自分の位置から見えにくい領域）の情報を生成して、サーバ１２０の共有メモリ３０６に記憶する。
ローカルマップ２１１には、カメラ１１０で監視している領域のオブジェクト認識結果（位置、形状、姿勢、動き等）が随時更新されて記憶される。
通信処理部２１２は、サーバ１２０との通信を行う。

図２（Ｂ）に示すように、サーバ１２０は、カメラ管理部３０１と、認識要求生成部３０２と、同一性判定部３０３と、統合オブジェクトフレーム作成部３０４と、広域監視エリア管理部３０５と、共有メモリ３０６と、通信処理部３０７とを具備する。

カメラ管理部３０１は、連携しているカメラ１１０の位置、ローカル監視エリア等を管理する。
認識要求生成部３０２は、カメラ１１０のローカル監視エリアに応じて、オブジェクトの認識要求を生成して、カメラ１１０に送信する。
同一性判定部３０３は、複数のカメラ１１０で作成したオブジェクトフレームが同一のオブジェクトに対するものであるか否かを判定する。同一性判定部３０３が、本発明でいう判定手段として機能する。

統合オブジェクトフレーム作成部３０４は、同一のオブジェクトに対するものと判定された複数のオブジェクトフレームを補完及び統合して、統合オブジェクトフレームを作成する。統合オブジェクトフレーム内のフレーム特徴点の統合位置は、オブジェクトフレーム作成部２０８で作成したオブジェクトフレーム内の、オブジェクトの基準位置及び基準位置信頼度、フレーム特徴点の相対位置及び相対位置信頼度から次のように算出される。まず、複数のオブジェクトフレームのオブジェクトの基準位置に基準位置信頼度の重み付けをしてオブジェクトの基準位置の加重平均を算出することによりオブジェクトの統合基準位置が算出される。また、複数のオブジェクトフレームのオブジェクトの基準位置信頼度からオブジェクトの統合基準位置信頼度が算出される。次に、複数のオブジェクトフレームのフレーム特徴点の相対位置に相対位置信頼度の重み付けをしてフレーム特徴点の相対位置の加重平均を算出することによりフレーム特徴点の統合相対位置が算出される。また、複数のオブジェクトフレームのフレーム特徴点の相対位置信頼度からフレーム特徴点の統合相対位置信頼度が算出される。そして、オブジェクトの統合基準位置にフレーム特徴点の統合相対位置を加算することによってフレーム特徴点の統合位置が算出される。また、オブジェクトの統合基準位置信頼度とフレーム特徴点の統合相対位置信頼度からフレーム特徴点の統合位置信頼度が算出される。すなわち、複数のカメラ１１０で作成したオブジェクトフレーム内のフレーム特徴点の相対位置の中で信頼度が大きいものほど、統合オブジェクトフレーム内のフレーム特徴点の統合相対位置への寄与度が大きくなる。したがって、複数のカメラ１１０で作成したオブジェクトフレーム内のフレーム特徴点の三次元位置の中で信頼度が大きいものほど、統合オブジェクトフレーム内のフレーム特徴点の統合位置への寄与度が大きくなる。統合オブジェクトフレーム作成部３０４が、本発明でいう統合情報作成手段として機能する。

広域監視エリア管理部３０５は、カメラ１１０のローカル監視エリアを含む広域の監視エリアを管理する。
共有メモリ３０６は、複数のカメラ１１０及びサーバ１２０で各種データを共有するためのメモリである。ここでは、カメラ１１０で作成したオブジェクトフレームや、サーバ１２０で作成した統合オブジェクトフレームを随時更新して記憶する。これにより、共有メモリ３０６は、広域監視エリア内の各時刻のオブジェクトの位置、形状、姿勢、動き等を統合オブジェクトフレームとして記憶した広域マップを記憶する記憶手段として機能する。また、共有メモリ３０６は、複数のカメラ１１０及びサーバ１２０が相互に要求する情報の受け渡し場所として使用される。
通信処理部３０７は、カメラ１１０との通信を行う。

＜オブジェクトフレーム及び統合オブジェクトフレームの説明＞
図３〜図６を参照して、オブジェクトフレームのテンプレートＯＦｔｍｐ（Ｃａｔ）と、オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）と、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）とについて説明する。なお、Ｃａｔはオブジェクトのカテゴリを表し、ＣＩはカメラ１１０（Ｃａｍ１、Ｃａｍ２、・・・）を表し、Ｏｉｄはオブジェクト識別子を表し、ＯＢＪはオブジェクトを表す。

まず、図３を参照して、テンプレートＯＦｔｍｐ（Ｃａｔ）に設定されているフレーム特徴点を説明する。フレーム特徴点群によって、オブジェクトの形状、姿勢、構造が表される。図３（Ａ）は、Ｃａｔ＝「人間」のテンプレートＯＦｔｍｐ（「人間」）の例である。テンプレートＯＦｔｍｐ（「人間」）には、人体の骨格や関節等の位置を示す、複数のフレーム特徴点が設定されている。フレーム特徴点にはＩＤが付与されており、例えば頭部の中心のフレーム特徴点はＩＤ＝ＨＭ０１であり、右肩の位置のフレーム特徴点はＩＤ＝ＨＭ０３である。テンプレートＯＦｔｍｐ（「人間」）は、フレーム特徴点ＨＭ０１、ＨＭ０２、ＨＭ０３、・・・、ＨＭ１５から構成されている。なお、各図において、自明な場合はＨＭ１５を１５、ＨＤ０２を０２等と略して記述する。これらのフレーム特徴点は、人体のサイズや関節の可動範囲等から算出される束縛条件の下で、相対的に取りうる位置及び方向が制限される。図３（Ｂ）は、Ｃａｔ＝「頭部（顔）」のテンプレートＯＦｔｍｐ（「頭部（顔）」）の例である。テンプレートＯＦｔｍｐ（「頭部（顔）」）は、フレーム特徴点ＨＤ０１、ＨＤ０２、ＨＤ０３、・・・、ＨＤ５０から構成されている。テンプレートＯＦｔｍｐ（「頭部（顔）」）は、フレーム特徴点ＨＤ５０＝ＨＭ０１を共有することによって、テンプレートＯＦｔｍｐ（「人間」）と接続可能である。また、これらのテンプレートから作成されたオブジェクトフレーム同士も同様に接続可能である。図３（Ｃ）は、図３（Ｂ）と同じく、Ｃａｔ＝「頭部（顔）」のテンプレートＯＦｔｍｐ（「頭部（顔）」）を正面から見た図である。図３（Ｄ）は、Ｃａｔ＝「左手」のテンプレートＯＦｔｍｐ（「左手）」）の例である。図３（Ｅ）は、Ｃａｔ＝「カップ」のテンプレートＯＦｔｍｐ（「カップ）」）の例である。図３（Ｆ）は、Ｃａｔ＝「テーブルＡ」のテンプレートＯＦｔｍｐ（「テーブルＡ）」）の例である。図３（Ｇ）は、Ｃａｔ＝「テーブルＢ」のテンプレートＯＦｔｍｐ（「テーブルＢ」）の例である。

図４に、テンプレートＯＦｔｍｐ（Ｃａｔ）のデータ構造の例を示す。
テンプレートＯＦｔｍｐ（Ｃａｔ）は、撮影情報（カメラの識別情報、撮影時刻、撮影パラメータ）、カテゴリ、画像領域、認識率、認識時刻のデータスロットを有する。
また、テンプレートＯＦｔｍｐ（Ｃａｔ）は、オブジェクトに対して決められている基準位置、基準位置信頼度のデータスロットを有する。基準位置には初期値としてデフォルトの値がセットされており、基準位置信頼度には初期値としてゼロがセットされている。
また、テンプレートＯＦｔｍｐ（Ｃａｔ）は、フレーム特徴点集合ＦＦＰｓのデータスロットを有する。フレーム特徴点集合ＦＦＰｓは、フレーム特徴点ＦＦＰ１、ＦＦＰ２、・・・等の集合として構成される。例えばＣａｔ＝「人間」の場合、図３（Ａ）に示すように、テンプレートＯＦｔｍｐ（「人間」）のフレーム特徴点にはＨＭ０１、ＨＭ０２、・・・等であり、これらのフレーム特徴点によって骨格や関節の位置を表す。また、例えばＣａｔ＝「カップ」の場合、図３（Ｅ）に示すように、テンプレートＯＦｔｍｐ（「カップ」）のフレーム特徴点にはＣＰ０１、ＣＰ０２、・・・等があり、これらのフレーム特徴点によって「カップ」の形状や構造を表す。「カップ」のフレーム特徴点ＣＰ０１、ＣＰ０２等はカップの表面の模様によって、認識時に識別できるものとする。また、フレーム特徴点における三次元位置及び相対位置には初期値としてデフォルトの値がセットされており、位置信頼度及び相対位置信頼度には初期値としてゼロがセットされている。

図５に、オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）のデータ構造の例を示す。
例えば撮影情報ＰＩＮ１（ＣＩ＝Ｃａｍ１、撮影時刻ＰＴ１、撮影パラメータＰＡＲ（Ｃａｍ１））の撮影画像内で認識したオブジェクトのカテゴリがＣａｔ＝「人間」であり、画像領域ＩＡＲ１１、認識率ＲＲ１１、認識時刻ＲＴ１１であるとする。この場合、オブジェクト識別子Ｏｉｄ＝Ｏｉｄ１１が生成されて、テンプレートＯＦｔｍｐ（「人間」）から、図５に示すようなオブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）が作成される。

オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）には、フレーム特徴点がセットされる。フレーム特徴点には、カテゴリが設定されており、例えばフレーム特徴点ＩＤ＝ＨＭ０１のカテゴリは「頭部」であり、ＩＤ＝ＨＭ０４のカテゴリは「左肩」である。画像内で抽出できたフレーム特徴点には、測距結果や撮影パラメータに基づいて算出された実空間における三次元位置Ｐ３（Ｃａｍ１，ＩＤ）及び位置信頼度Ｗ（Ｃａｍ１，ＩＤ）がセットされる。このとき、人体のサイズや体型、及び、関節や筋肉の可動範囲等から算出される束縛条件の下でキャリブレーションを行いながら、フレーム特徴点の三次元位置Ｐ３（Ｃａｍ１，ＩＤ）をセットする。撮影画像内で抽出できなかったフレーム特徴点の位置信頼度はＷ（Ｃａｍ１，ＩＤ）＝０である。

また、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）には、オブジェクトに対して決められている基準位置ＢＰ３（Ｃａｍ１，ＩＤＢＳ）及び基準位置信頼度ＢＷ（Ｃａｍ１，ＩＤＢＳ）がセットされる。ここでは、例えばＣａｔ＝「人間」の場合、基準位置は首の付け根の位置（ＩＤＢＳ＝ＨＭ０２）とする。撮影画像から基準位置ＢＰ３（Ｃａｍ１，ＩＤＢＳ）が取得できなかった場合、基準位置の周囲の抽出できた幾つかのフレーム特徴点から基準位置及び基準位置信頼度を推定して算出して、基準位置及び基準位置信頼度をオブジェクトフレームにセットする。

また、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）には、フレーム特徴点の相対位置ＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）及び相対位置信頼度ＲＷ（Ｃａｍ１，ＩＤ，ＩＤＢＳ）がセットされる。フレーム特徴点の相対位置ＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）は、三次元位置Ｐ３（Ｃａｍ１，ＩＤ）及び基準位置ＢＰ３（Ｃａｍ１，ＩＤＢＳ）の差として算出される。すなわち、ＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）＝Ｐ３（Ｃａｍ１，ＩＤ）−ＢＰ３（Ｃａｍ１，ＩＤＢＳ）のように算出される。

三次元位置Ｐ３（ＣＩ，ＩＤ）、基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）及び相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）は三次元空間内の値である。また、位置信頼度Ｗ（ＣＩ，ＩＤ）、基準位置信頼度ＢＷ（ＣＩ，ＩＤＢＳ）及び相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）はスカラー量である。また、Ｃａｔ＝「頭部」のフレーム特徴点ＨＭ０１に対しては、必要に応じて、テンプレートＯＦｔｍｐ（「頭部（顔）」）を用いて、他のカメラＣａｍ３の撮影画像からオブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３２）が作成される。オブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３２）は、頭部や表情のより詳細な表現が可能なオブジェクトフレームである。また、フレーム特徴点の数は、より詳細な形状や動きを表現できるように、必要に応じて増やせるようにしてもよい。例えば「頭部（顔）」のオブジェクトフレームでは、個人を識別したり表情を表現したりできるようにフレーム特徴点の数を増やしてもよい。また、例えば「（右／左）手」のオブジェクトフレームでは、細かいジェスチャを識別できるようにフレーム特徴点の数を増やしてもよい。また、オブジェクトフレーム内のフレーム特徴点の数は、必要に応じて減らせるようにしてもよい。例えば「人間」のオブジェクトフレームで、（遠方の）人物の位置、速度、移動方向等の中で必要な情報のみを表現する場合には、フレーム特徴点の数を１個から５個程度に減らしてもよい。また、オブジェクトフレームの表すオブジェクトのカテゴリは、「人間」、「テーブル」のように一般的なものであっても、「Ａさん」、「Ｂビル」のように詳細なものであっても、「移動物体」、「静止物体」のように大まかなものであってもよい。

以上のように、テンプレートＯＦｔｍｐ（Ｃａｔ）及びオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）は、各フレーム特徴点において、フレーム特徴点の三次元位置及び位置信頼度のデータスロットを具備する。また、テンプレート及びオブジェクトフレームは、オブジェクトの全体の基準となる位置を表す基準位置及び基準位置信頼度のデータスロットを具備する。また、テンプレート及びオブジェクトフレームは、各フレーム特徴点において、フレーム特徴点の位置の基準位置からの相対的な位置を表す相対位置及び相対位置信頼度のデータスロットを具備する。

図６に、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）のデータ構造の例を示す。
統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）は、同一のオブジェクトＯＢＪに対するオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）を補完及び統合して作成される。
統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）の各データスロットには、カテゴリ、作成時刻及び有効時刻がセットされる。統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）は、作成時刻から有効時刻までの間は、オブジェクトの位置、形状、姿勢、動き等を一定の誤差の範囲内で表現可能で、所定のアプリケーションにおいて使用可能なものとする。

複数のカメラ１１０で作成したオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）が同一のオブジェクトＯＢＪに対するものであると判定された場合、統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）及び統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）を算出する。まず、オブジェクトフレームの基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）及び基準位置信頼度ＢＷ（ＣＩ，ＩＤＢＳ）に基づいて、統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）を算出する。また、基準位置信頼度ＢＷ（ＣＩ，ＩＤＢＳ）に基づいて、統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）を算出する。このように算出した統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）及び統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）を、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。

また、フレーム特徴点の相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）及び相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）に基づいて、フレーム特徴点の統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）を算出する。また、相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）に基づいて、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）の信頼度を表す統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）を算出する。また、フレーム特徴点の統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）及びオブジェクトの統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）に基づいて、フレーム特徴点の統合位置Ｐ３ｉｎｔ（ＩＤ）を算出する。また、オブジェクトの統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）とフレーム特徴点の統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）から、フレーム特徴点の統合位置信頼度Ｗｉｎｔ（ＩＤ）を算出する。このように算出した統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）、統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）、統合位置Ｐ３ｉｎｔ（ＩＤ）、及び統合位置信頼度Ｗｉｎｔ（ＩＤ）を統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。

統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）、及び統合位置Ｐ３ｉｎｔ（ＩＤ）は三次元空間内の値である。また、統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）、統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）、及び統合位置信頼度Ｗｉｎｔ（ＩＤ）はスカラー量である。

以上のように、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）は、オブジェクトの基準となる位置を表す統合基準位置及び統合基準位置信頼度のデータスロットを具備する。また、統合オブジェクトフレームは、各フレーム特徴点において、フレーム特徴点の統合位置の統合基準位置からの相対的な位置を表すフレーム特徴点の統合相対位置及び統合相対位置信頼度のデータスロットを具備する。また、統合オブジェクトフレームは、各フレーム特徴点において、フレーム特徴点の統合位置及び統合位置信頼度のデータスロットを具備する。

＜オブジェクト認識システムにおける処理＞
図７〜図１０を参照して、オブジェクト認識システム１００における処理について説明する。
（カメラ１１０の処理）
図７（Ａ）を参照して、カメラ１１０が実行する処理を説明する。ここで述べる処理は、各カメラ１１０において独立に行われる。図７（Ａ）のフローチャートの処理は、ＣＰＵ１１１が例えばＲＯＭ１１２に記憶されたプログラムを読み出し、実行することにより実現される。

ステップＳ７０１で、カメラ１１０は、サーバ１２０の共有メモリ３０６に記憶されている統合オブジェクトフレームと、サーバ１２０からの認識要求とを参照する。カメラ１１０は、オブジェクトＯＢＪに対して既に作成されている有効時刻内の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）を参照して、サーバ１２０が管理する広域監視エリア内にあるオブジェクトの三次元的な認識結果を取得する。このとき、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）内の統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）、統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）及び統合位置信頼度Ｗｉｎｔ（ＩＤ）を参照する。そして、統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）の値が一定値以上の場合に統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）を認識結果として使用する。また、統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）の値が一定値以上の場合に統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）を認識結果として使用する。また、統合位置信頼度Ｗｉｎｔ（ＩＤ）の値が一定値以上の場合に統合位置Ｐ３ｉｎｔ（ＩＤ）を認識結果として使用する。カメラ１１０は、オブジェクトの三次元的な認識結果に基づいて、各種のアプリケーション（監視、見守り、移動支援、運転支援等）に応じた所定の処理を行う。また、カメラ１１０は、サーバ１２０がカメラ１１０に要求した領域やオブジェクトに対する認識要求を参照する。

ステップＳ７０２で、カメラ１１０は、情報要求生成部２１０によって、カメラ１１０から死角になる領域の情報を要求するための情報要求を生成して、サーバ１２０の共有メモリ３０６に記憶する。
ステップＳ７０３で、カメラ１１０は、撮影処理部２０２によって、方向やズーム倍率を制御して、ローカル監視エリア内の撮影を行う。このとき、共有メモリ３０６を参照して得られたサーバ１２０からの認識要求を用いて、ローカル監視エリア内の領域やオブジェクトを優先順位付けして撮影を行う。また、カメラが移動可能な場合、方向やズーム倍率の制御に加えて、カメラの位置の制御を行うようにしてもよい。

ステップＳ７０４で、カメラ１１０は、カメラ位置・方向検出部２０１によって、撮像部１１４の位置、方向、ズーム倍率等の撮影パラメータＰＡＲ（ＣＩ）を随時検出する。
ステップＳ７０５で、オブジェクトフレーム作成処理を実行する。オブジェクトフレーム作成処理の詳細は後述する。
ステップＳ７０６で、カメラ１１０は、ステップＳ７０５で作成したオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）を、サーバ１２０の共有メモリ３０６に記憶する。
ステップＳ７０７で、カメラ１１０は、処理を終了するか否かを判定し、ＹＥＳであれば処理を終了し、ＮＯであれば処理をステップＳ７０１に戻す。

（サーバ１２０の処理）
図７（Ｂ）を参照して、サーバ１２０が実行する処理を説明する。図７（Ｂ）のフローチャートの処理は、ＣＰＵ１２１が例えばＲＯＭ１２２に記憶されたプログラムを読み出し、実行することにより実現される。
ステップＳ７１１で、サーバ１２０は、共有メモリ３０６に記憶されているオブジェクトフレームＯＦｉｎｔ（ＯＢＪ）と、カメラ１１０からの情報要求とを参照する。

ステップＳ７１２で、サーバ１２０は、認識要求生成部３０２によって、カメラ１１０からの情報要求を解析し、解析結果に基づいてカメラ１１０への認識要求を生成して、共有メモリ３０６に記憶する。ここでは、カメラ１１０からの死角領域に関する情報要求を解析し、死角領域が視野に入る他の適切なカメラ１１０を選択して、選択したカメラ１１０へのオブジェクトの認識要求を生成する。

ステップＳ７１３で、統合オブジェクトフレーム作成処理を実行する。統合オブジェクトフレーム作成処理の詳細は後述する。
ステップＳ７１４では、サーバ１２０は、ステップＳ７１３で作成した統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）を共有メモリ３０６に記憶する。
ステップＳ７１５で、サーバ１２０は、処理を終了するか否かを判定し、ＹＥＳであれば処理を終了し、ＮＯであれば処理をステップＳ７１１に戻す。

（オブジェクトフレーム作成処理）
図８を参照して、ステップＳ７０５のオブジェクトフレーム作成処理の詳細な説明を行う。
ステップＳ８０１で、オブジェクト認識（検出・追跡）部２０６は、撮影画像内のオブジェクトを検出・認識（分類）する。また、検出又は認識済みのオブジェクトは追跡（追尾）する。ここでは、オブジェクトの認識結果として、オブジェクトのカテゴリ、画像領域、認識率、認識時刻等を取得する。また、オブジェクト認識（検出・追跡）部２０６は、カメラ１１０の撮影画像内で認識したオブジェクトに対して、オブジェクト識別子Ｏｉｄを付与する。

ステップＳ８０２で、オブジェクトフレーム作成部２０８は、オブジェクトフレームの初期設定を行う。オブジェクトフレーム作成部２０８は、記憶部２０５を参照して、オブジェクトの認識結果として得られたカテゴリに対応するテンプレートＯＦｔｍｐ（Ｃａｔ）を呼び出す。そして、オブジェクトフレーム作成部２０８は、テンプレートＯＦｔｍｐ（Ｃａｔ）のデータスロットに、撮影情報（カメラの識別情報、撮影時刻、撮影パラメータ）、カテゴリ、画像領域、認識率、認識時刻をセットする。また、オブジェクトフレーム作成部２０８は、テンプレートＯＦｔｍｐ（Ｃａｔ）に、カメラ識別子ＣＩ、オブジェクト識別子Ｏｉｄを付与する。

ステップＳ８０３で、機械学習処理部２０７は、オブジェクト識別子Ｏｉｄのオブジェクトに対して、撮影画像内の関節の位置等のＩＤ付フレーム特徴点を抽出し、その二次元位置Ｐ２（ＣＩ，ＩＤ）を算出する。図１０は、フレーム特徴点を抽出するための機械学習処理を説明するための図である。例えば図１０（Ａ）のカメラＣａｍ１の撮影画像から認識されたオブジェクト（Ｃａｔ＝「人間」）に対しては、撮影画像内のフレーム特徴点として、Ｐ２（Ｃａｍ１，ＨＭ０１）、Ｐ２（Ｃａｍ１，ＨＭ０２）、Ｐ２（Ｃａｍ１，ＨＭ０３）、・・・等が抽出される。このときのフレーム特徴点の抽出は、例えばニューラルネットワーク等を用いて行われる。ここでは、予め図１０（Ｂ）〜（Ｅ）のような画像を大量に用いて、オブジェクトのカテゴリと、フレーム特徴点ＨＭ０１、ＨＭ０２、・・・等の位置及びカテゴリを教示学習しておく。なお、ここでの処理は、ステップＳ８０１においてまとめて行ってもよい。

ステップＳ８０４で、撮像測距制御部２０３は、撮影画像内のオブジェクト上に幾つかの測距点を設定し、測距処理部２０４は、カメラ１１０から測距点までの距離を測定する。測距点としては、例えばステップＳ８０３で抽出した撮影画像内の二次元位置Ｐ２（Ｃａｍ１，ＨＭ０２）、Ｐ２（Ｃａｍ１，ＨＭ０３）、・・・等に対応する実空間のオブジェクト上の点又はその近傍の点を設定する。

ステップＳ８０５で、オブジェクトフレーム作成部２０８は、ステップＳ８０３で抽出した撮影画像内のフレーム特徴点の二次元位置Ｐ２（ＣＩ，ＩＤ）に対して、実空間におけるフレーム特徴点の三次元位置Ｐ３（ＣＩ，ＩＤ）を算出する。また、三次元位置Ｐ３（ＣＩ，ＩＤ）の信頼度を表す位置信頼度Ｗ（ＣＩ，ＩＤ）を算出する。フレーム特徴点の三次元位置Ｐ３（ＣＩ，ＩＤ）は、撮影画像内の二次元位置Ｐ２（ＣＩ，ＩＤ）と、位置、方向、ズーム倍率等の撮影パラメータＰＡＲ（ＣＩ）と、測距によって得られた距離Ｌ（ＣＩ，ＩＤ）とに基づいて算出する。また、位置信頼度Ｗ（ＣＩ，ＩＤ）は、測距精度や認識精度から予め決めた所定の方法で算出する。例えば位置信頼度Ｗ（ＣＩ，ＩＤ）は、三次元位置Ｐ３（ＣＩ，ＩＤ）の算出時の誤差ΔＰ３（ＣＩ，ＩＤ）の絶対値｜ΔＰ３（ＣＩ，ＩＤ）｜の関数とする。このとき、｜ΔＰ３（ＣＩ，ＩＤ）｜に関する連続で滑らかな単調減少関数Ｗ（ＣＩ，ＩＤ）（≧０）を、例えば式（１）のように決めておく。

また、誤差ΔＰ３（ＣＩ，ＩＤ）は、例えば次のように算出する。撮影パラメータＰＡＲ（ＣＩ）が、カメラ１１０の位置Ｐ（ＣＩ）、方向ＰＣ（ＣＩ）、ズーム倍率Ｚ（ＣＩ）からなるものとする。また、カメラ１１０の撮影画像内のフレーム特徴点の二次元位置がＰ２（ＣＩ，ＩＤ）であり、カメラ１１０の位置Ｐ（ＣＩ）からＰ２（ＣＩ，ＩＤ）に対応する実空間における三次元位置までの距離がＬ（ＣＩ，ＩＤ）であるとする。すると、ある関数Ｆ（ ）によって、位置Ｐ３（ＣＩ，ＩＤ）は、式（２）のように表される。

このとき、位置Ｐ３（ＣＩ，ＩＤ）の誤差ΔＰ３（ＣＩ，ＩＤ）は、式（３）のようになる。

ここで、ΔＰ（ＣＩ）、ΔＰＣ（ＣＩ）、ΔＺ（ＣＩ）は撮影パラメータの検出誤差、ΔＰ２（ＣＩ，ＩＤ）は撮影画像内の二次元位置の算出誤差、ΔＬ（ＣＩ，ＩＤ）は測距誤差である。式（２）の関数Ｆ（ ）の具体的な形が決まれば、これらの誤差を見積もることで、誤差ΔＰ３（ＣＩ，ＩＤ）及び位置信頼度Ｗ（ＣＩ，ＩＤ）を算出することができる。ここで算出した三次元位置Ｐ３（ＣＩ，ＩＤ）を、さらに関節等の可動範囲を考慮して、式（３）によって算出される誤差ΔＰ３（ＣＩ，ＩＤ）の範囲内で補正を行ったものを新たに三次元位置Ｐ３（ＣＩ，ＩＤ）としてもよい。このように算出した三次元位置Ｐ３（ＣＩ，ＩＤ）及び位置信頼度Ｗ（ＣＩ，ＩＤ）を、オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）のフレーム特徴点の各データスロットにセットする。

ステップＳ８０６で、オブジェクトフレーム作成部２０８は、基準位置の設定を行う。基準位置は、認識したオブジェクトの実空間内で基準となる三次元の位置であり、認識したオブジェクトに対して一つだけ設定される。例えばオブジェクトが「人間」の場合、首の付け根を基準位置に設定する（ＢＰ３（Ｃａｍ１，ＩＤＢＳ＝ＨＭ０２）＝Ｐ３（Ｃａｍ１，ＨＭ０２））。このとき、基準位置信頼度ＢＷ（Ｃａｍ１，ＩＤＢＳ）は、Ｐ３（Ｃａｍ１，ＨＭ０２）の誤差から算出する。また、撮影画像からＩＤＢＳ（＝ＨＭ０２）が取得できなかった場合、ＩＤＢＳ（＝ＨＭ０２）の周囲の抽出できた幾つかのフレーム特徴点から基準位置及び基準位置信頼度を推定して算出する。ここで設定又は算出した基準位置ＢＰ３（Ｃａｍ１，ＩＤＢＳ）及び基準位置信頼度ＢＷ（Ｃａｍ１，ＩＤＢＳ）（＞０）を、オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）にセットする。

ステップＳ８０７で、オブジェクトフレーム作成部２０８は、フレーム特徴点の相対位置及び相対位置信頼度の設定を行う。フレーム特徴点の相対位置は、オブジェクトの基準位置ＩＤＢＳからの同一のオブジェクト内のフレーム特徴点ＩＤの三次元位置の相対的な位置である。フレーム特徴点の相対位置の集合によって、基準位置から見たオブジェクトの形状、姿勢、動き等からなる三次元的な認識結果が表現される。フレーム特徴点の相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）は、三次元位置Ｐ３（ＣＩ，ＩＤ）及び基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）から、ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）＝Ｐ３（ＣＩ，ＩＤ）−ＢＰ３（ＣＩ，ＩＤＢＳ）のように算出される。このように算出した相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）をオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）にセットする。
次に、フレーム特徴点の相対位置信頼度の算出を行う。一般的に、フレーム特徴点ＩＤ２の三次元位置Ｐ３（ＣＩ，ＩＤ２）のフレーム特徴点ＩＤ１の三次元位置Ｐ３（ＣＩ，ＩＤ１）からの相対位置をＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）とする。このとき、ＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）＝Ｐ３（ＣＩ，ＩＤ２）−Ｐ３（ＣＩ，ＩＤ１）とする。また、式（３）を用いて、相対位置ＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）の誤差ΔＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）は、次の式（４）ように算出される。

このとき、式（４）において、カメラＣＩで撮影した特徴点ＩＤ１とＩＤ２が同一のオブジェクト上にあるとき、たいていの場合に、次の式（５）の関係が成り立つ。

相対位置信頼度ＲＷ（ＣＩ，ＩＤ２，ＩＤ１）は、相対位置ＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）の算出時の誤差ΔＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）の絶対値｜ΔＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）｜の関数とする。このとき、｜ΔＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）｜に関する連続で滑らかな単調減少関数ＲＷ（ＣＩ，ＩＤ２，ＩＤ１）（≧０）を、例えば式（６）のように決めておく。

また、信頼度の高い相対位置の統合相対位置に対する寄与度がさらに大きくなるようにしてもよい。このときは、｜ΔＲＰ３（ＣＩ，ＩＤ２，ＩＤ１）｜に関する連続で滑らかな単調減少関数ＲＷ（ＣＩ，ＩＤ２，ＩＤ１）（≧０）を、例えば式（７）のように決めておく。

このように算出する相対位置信頼度ＲＷ（ＣＩ，ＩＤ２，ＩＤ１）において、ＩＤ２←ＩＤ、ＩＤ１←ＩＤＢＳと置き換えて算出した相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）をオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）にセットする。

さらに、各相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）間で、関節等の可動範囲を考慮して、式（４）によって算出される誤差ΔＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）の範囲内で補正を行ったものを、新たに相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）としてもよい。このときは、相対位置の補正に基づいて、三次元位置Ｐ３（ＣＩ，ＩＤ）も同様な補正を行う。これらの補正を行った、相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）及び三次元位置Ｐ３（ＣＩ，ＩＤ）をオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）にセットする。

このように、単独のカメラ１１０で撮影した画像内のオブジェクトを認識して、実空間におけるオブジェクトの位置、形状、姿勢、動き等を表現するオブジェクトフレームを作成する。

（統合オブジェクトフレーム作成処理）
図９を参照して、ステップＳ７１３の統合オブジェクトフレーム作成処理の詳細な説明を行う。
ステップＳ９０１で、同一性判定部３０３は、複数のカメラ１１０で作成したオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）が同一のオブジェクトＯＢＪに対するものであるか否かを判定する。例えば、各カメラＣＩで作成したオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）にセットされている撮影時刻、基準位置及び幾つかのフレーム特徴点の三次元位置が所定の範囲内で近似しているか否かを判定する。これらのオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）にセットされている撮影時刻、基準位置及び幾つかのフレーム特徴点の三次元位置が所定の範囲内で近似していれば、これらのオブジェクトフレームが同一のオブジェクトＯＢＪに対するものであると判定する。同一のオブジェクトＯＢＪに対するものであると判定された、一つ以上のオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）に対して、以下のステップＳ９０２〜Ｓ９０８の処理を行う。

ステップＳ９０２で、統合オブジェクトフレーム作成部３０４は、各オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）の基準位置を補完及び統合して、オブジェクトＯＢＪの統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）を算出する。この統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）を、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。ここでは、同一のオブジェクトＯＢＪに対する各オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）の基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）及び基準位置信頼度ＢＷ（ＣＩ，ＩＤＢＳ）を参照する。オブジェクトの統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）は、式（８）のように算出する。このように、複数のカメラ１１０が算出した基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）の中で、基準位置信頼度ＢＷ（ＣＩ，ＩＤＢＳ）の値の大きい基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）ほど、統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）への寄与が大きくなる。式（８）、式（９）、・・・等におけるΣは、各カメラＣＩに対する和を表す。

ステップＳ９０３で、統合オブジェクトフレーム作成部３０４は、統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）の信頼度を表す統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）を算出する。この統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）を、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）は、式（９）のように算出する。

ステップＳ９０２及びステップＳ９０３において、基準位置信頼度ＢＷ（ＣＩ，ＩＤＢＳ）が所定の値よりも小さい（すなわち基準位置の誤差ΔＢＰ３（ＣＩ，ＩＤＢＳ）が大きい）カメラＣＩに対応する項を（Σ演算で）除外して式（８）及び式（９）を算出してもよい。ここでは、例えば、式（１）で算出したＢＷ（ＣＩ，ＩＤＢＳ）（＝Ｗ（ＣＩ，ＨＭ０２））＜１０となるカメラＣＩに対応する項を除外して、統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）及び統合基準位置信頼度ＢＷｉｎｔ（ＩＤＢＳ）を算出する。
また、ステップＳ９０２及びステップＳ９０３において、基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）が他のカメラで作成したものと比較して所定の基準を超えて外れているカメラＣＩに対応する項を（Σ演算で）除外して式（８）及び式（９）を算出してもよい。
このようにすることで、各カメラＣＩで算出した基準位置の中で、基準位置信頼度の大きい（誤差の小さい）基準位置ほど統合基準位置に大きく寄与するので、複数のカメラによって統合基準位置をより高精度に算出できる。

ステップＳ９０４で、同一性判定部３０３は、各オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）内のフレーム特徴点を、ＩＤ及び撮影時刻によって同一性判定する。

ステップＳ９０５で、統合オブジェクトフレーム作成部３０４は、各オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）の同一ＩＤのフレーム特徴点の相対位置を統合して各フレーム特徴点の統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）を算出する。ここでは、各オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）内の同一ＩＤのフレーム特徴点の相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）及び相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）を参照する。フレーム特徴点の統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）は、ΣＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）＞０（ここでΣは、各カメラＣＩに対して和をとる）となるＩＤに対して、式（１０）ように算出する。このように、フレーム特徴点に対して、カメラ１１０が算出した相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）の中で、相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）の値の大きい相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）ほど、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）への寄与が大きくなる。さらに、各統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）の間で、関節等の可動範囲を考慮して、誤差ΔＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）の範囲内で補正を行ったものを新たに統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）としてもよい。ここで、誤差ΔＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）は、式（１０）及び式（４）を用いて算出する。このように算出した統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）を、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。

ステップＳ９０６で、統合オブジェクトフレーム作成部３０４は、フレーム特徴点の統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）を算出する。ここでは、各オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）内の同一ＩＤのフレーム特徴点の相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）を参照する。フレーム特徴点の統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）は、ΣＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）＞０（ここでΣは、各カメラＣＩに対して和をとる）となるＩＤに対して、式（１１）ように算出する。

ステップＳ９０５及びステップＳ９０６において、相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）が所定の値よりも小さい（すなわち相対位置の誤差ΔＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）が大きい）カメラＣＩに対応する項を（Σ演算で）除外して式（１０）及び式（１１）を算出してもよい。ここでは、例えば、式（６）で算出したＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）＜１００となるカメラＣＩに対応する項を除外して、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）及び統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）を算出する。
また、ステップＳ９０５及びステップＳ９０６において、相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）が他のカメラで作成したものと比較して所定の基準を超えて外れているカメラＣＩに対応する項を（Σ演算で）除外して式（１０）及び式（１１）を算出してもよい。
また、ステップＳ９０５において、例えば、下記の式（１２）の条件を満たすカメラＣＩに対応する項のみを抽出して式（１０）を算出してもよい。このときは、ステップＳ９０６において、例えば、下記の式（１２）の条件を満たすカメラＣＩに対応する項のみを抽出して式（１１）を算出する。ここでは、式（１２）においては、係数Ｋ（０＜Ｋ＜１）の値は、例えばＫ＝０．３とするが、係数Ｋの値はさらに小さくしてもよい（例えばＫ＝０．０３）。このように係数Ｋの値を小さくすることで、三次元位置Ｐ３（ＣＩ，ＩＤ）及び基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）の算出精度に比べて、より高精度に相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）を算出したカメラＣＩのみを抽出できる。このように抽出したカメラＣＩの作成した相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）及び相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）のみを用いて、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）及び統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）を算出する。
このように、同一のオブジェクトを撮影した複数のカメラの中から、各フレーム特徴点ＩＤそれぞれに対して、相対位置をより高精度に算出できる位置、方向にあるカメラＣＩ（群）が抽出（選択）されて、統合相対位置が算出される。相対位置信頼度の大きい（誤差の小さい）相対位置ほどに統合相対位置に大きく寄与するので、このようにすることで、複数のカメラによって統合相対位置をより高精度に算出できる。

ステップＳ９０７で、統合オブジェクトフレーム作成部３０４は、フレーム特徴点の統合位置Ｐ３ｉｎｔ（ＩＤ）を算出する。この統合位置Ｐ３ｉｎｔ（ＩＤ）を、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。統合位置Ｐ３ｉｎｔ（ＩＤ）は、ステップＳ９０２及びステップＳ９０５で算出した統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）及び統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）に基づいて、式（１３）のように算出する。

ステップＳ９０８で、統合オブジェクトフレーム作成部３０４は、フレーム特徴点の統合位置Ｐ３ｉｎｔ（ＩＤ）の信頼度を表す統合位置信頼度Ｗｉｎｔ（ＩＤ）を算出する。この統合位置信頼度Ｗｉｎｔ（ＩＤ）を、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。統合位置信頼度Ｗｉｎｔ（ＩＤ）は、ＢＷｉｎｔ（ＩＤＢＳ）＞０、かつ、ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）＞０となるＩＤに対して、式（１４）のように算出する。また、ＢＷｉｎｔ（ＩＤＢＳ）＝０、または、ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）＝０となるＩＤに対しては、Ｗｉｎｔ（ＩＤ）＝０とする。

ステップＳ９０９で、統合オブジェクトフレーム作成部３０４は、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）の統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）、統合位置Ｐ３ｉｎｔ（ＩＤ）を補正する。ここで、統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）は誤差ΔＢＰ３ｉｎｔ（ＩＤＢＳ）の範囲内で、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）は誤差ΔＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）の範囲内で補正する。誤差ΔＢＰ３ｉｎｔ（ＩＤＢＳ）は式（８）及び式（３）を用いて、誤差ΔＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）は式（１０）及び式（４）を用いて算出する。また、補正した統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）及び統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）に基づいて、式（１３）を用いて、統合位置Ｐ３ｉｎｔ（ＩＤ）を補正する。このように補正した統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）、統合位置Ｐ３ｉｎｔ（ＩＤ）を、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。

ステップＳ９１０で、統合オブジェクトフレーム作成部３０４は、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）の作成時刻及び有効時刻を算出して、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）にセットする。ここで、有効時刻は、撮影時刻、オブジェクトのカテゴリ、位置、姿勢、動き等に基づいて算出する。

このように、複数のカメラ１１０で作成したオブジェクトフレームを相互に補完及び統合してオブジェクトの三次元的な位置、形状、姿勢、動きをより詳細に表現できる統合オブジェクトフレームを作成する。これにより、カメラ１１０が自分の位置から見えにくい領域のオブジェクトのより詳細な三次元的認識を行うことができる。

＜オブジェクト認識システムの動作の説明＞
図１１〜図１８を参照して、オブジェクト認識システム１００の動作の説明を行う。
（オブジェクトフレームの作成）
図１１〜図１４を参照して、オブジェクトフレーム作成の動作の説明を行う。
図１１（Ａ）に示すように、広域監視エリアを監視する複数のカメラＣａｍ１、Ｃａｍ２、Ｃａｍ３が設置されているものとする。また、広域監視エリア内に、未知のオブジェクトＯＢＪａ、ＯＢＪｂ、ＯＢＪｃが存在するものとする。
図１１（Ａ）に示すように、カメラＣａｍ１によって、時刻ＰＴ１においてローカル監視エリア内の撮影が行われ（ステップＳ７０３）、撮影時の撮影パラメータが検出される（ステップＳ７０４）。

そして、ステップＳ８０１において、図１１（Ｂ）に示すように、撮影画像Iｍｇ（Ｃａｍ１）内のオブジェクトの認識が行われ、画像領域ＩＡＲ１１のオブジェクトに対して、Ｃａｔ＝「人間」、認識率ＲＲ１１、認識時刻ＲＴ１１等が取得される。また、画像領域ＩＡＲ１１のオブジェクトに対して、オブジェクト識別子Ｏｉｄ１１が付与される。同様に、画像領域ＩＡＲ１２のオブジェクトに対して、Ｃａｔ＝「テーブルＢ」、認識率ＲＲ１２、認識時刻ＲＴ１２等が取得され、オブジェクト識別子Ｏｉｄ１２が付与される。

ステップＳ８０２において、図１２（Ａ）に示すように、Ｃａｔ＝「人間」に対するテンプレートＯＦｔｍｐ（「人間」）が呼び出されて、データスロットに、画像領域ＩＡＲ１１、認識率ＲＲ１１、認識時刻ＲＴ１１、撮影情報ＰＩＮ１がセットされる。そして、カメラ識別子ＣＩ＝Ｃａｍ１、オブジェクト識別子Ｏｉｄ＝Ｏｉｄ１１が付与されて、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）が作成される。

ステップＳ８０３において、図１２（Ｂ）に示すように、撮影画像Iｍｇ（Ｃａｍ１）からフレーム特徴点の二次元位置Ｐ２（Ｃａｍ１，ＨＭ０１）、Ｐ２（Ｃａｍ１，ＨＭ０４）、・・・等が抽出される。
ステップＳ８０４において、図１２（Ｃ）に示すように、撮影画像Iｍｇ（Ｃａｍ１）内で抽出できたフレーム特徴点の位置Ｐ２（Ｃａｍ１，ＨＭ０１）、Ｐ２（Ｃａｍ１，ＨＭ０４）、・・・に対応する実空間における位置又はその近傍の位置が測距点として設定される。そして、図１２（Ｄ）に示すように、設定された各測距点までの距離が測定される。ここでは、撮影画像内のフレーム特徴点の位置Ｐ２（Ｃａｍ１，ＨＭ０４）に対応する実空間における位置ＰＰＰが測距点として設定され、カメラの位置Ｐ（Ｃａｍ１）から測距点ＰＰＰまでの距離の測定結果がＬ（Ｃａｍ１，ＨＭ０４）であったとする。

ステップＳ８０５において、図１２（Ｃ）、（Ｄ）に示すように、撮影画像内のフレーム特徴点の二次元位置Ｐ２（Ｃａｍ１，ＨＭ０４）に対応する実空間におけるフレーム特徴点の三次元位置Ｐ３（Ｃａｍ１，ＨＭ０４）が算出される。
図１３（Ａ）は、図１２（Ｄ）におけるカメラＣＩ（＝Ｃａｍ１）、及び、オブジェクトＯｂｊａを上方から見た図である。
図１３（Ａ）を用いて、フレーム特徴点の三次元位置Ｐ３（Ｃａｍ１，ＨＭ０４）の算出方法の説明を行う。ここでは、一般的なカメラＣＩ及びフレーム特徴点ＩＤに対するフレーム特徴点の三次元位置Ｐ３（ＣＩ，ＩＤ）について述べる。カメラＣＩの撮影パラメータＰＡＲ（ＣＩ）は、位置Ｐ（ＣＩ）、方向ＰＣ（ＣＩ）＝（ＰＣＡ（ＣＩ），ＰＣＢ（ＣＩ））、ズーム倍率によって決まる距離Ｚ（ＣＩ）からなる。このとき、図１３（Ａ）に示すように、カメラの位置Ｐ（ＣＩ）から距離Ｚ（ＣＩ）の位置に、仮想的な撮影画像Ｉｍｇ（ＣＩ）があるものとみなすことできる。また、カメラＣＩの視野内にある任意の物点ＰＯ３（図示ぜず）に対して、カメラの位置Ｐ（ＣＩ）と物点ＰＯ３を通る直線が仮想的な撮影画像Ｉｍｇ（ＣＩ）と交差する点が、撮影画像Ｉｍｇ（ＣＩ）内の像点ＰＯ２（図示せず）となる。また、ＰＣＡ（ＣＩ）はカメラの光軸方向の単位ベクトルであり、ＰＣＡ（ＣＩ）は仮想的な撮影画像Ｉｍｇ（ＣＩ）が形成するＸＹ平面と直交している。また、ＰＣＢ（ＣＩ）は撮影画像Ｉｍｇ（ＣＩ）内の上方向（Ｙ軸）の単位ベクトルである。このとき、撮影画像Ｉｍｇ（ＣＩ）内の右方向（Ｘ軸）の単位ベクトルは、ＰＣＡ（ＣＩ）×ＰＣＢ（ＣＩ）となる（ここで×はベクトルの外積である）。いま、抽出したフレーム特徴点ＩＤの撮影画像（ＸＹ平面）内の二次元位置がＰ２（ＣＩ，ＩＤ）＝（Ｐ２Ｘ（ＣＩ，ＩＤ），Ｐ２Ｙ（ＣＩ，ＩＤ））であったとする。ここで、Ｐ２Ｘ（ＣＩ，ＩＤ）は撮影画像Ｉｍｇ（ＣＩ）内のＰ２（ＣＩ，ＩＤ）のＸ軸方向の成分、Ｐ２Ｙ（ＣＩ，ＩＤ）は撮影画像Ｉｍｇ（ＣＩ）内のＰ２（ＣＩ，ＩＤ）のＹ軸方向の成分である。すると、撮影画像Ｉｍｇ（ＣＩ）の原点Ｏ１の実空間における位置は、Ｏ１＝Ｐ（ＣＩ）＋Ｚ（ＣＩ）ＰＣＡ（ＣＩ）となる。また、実空間における位置Ｐ（ＣＩ）から撮影画像上の位置Ｐ２（ＣＩ，ＩＤ）までの相対位置Ｐ２Ｒ（ＣＩ，ＩＤ）は、Ｐ２Ｒ（ＣＩ，ＩＤ）＝Ｚ（ＣＩ）ＰＣＡ（ＣＩ）＋Ｐ２Ｘ（ＣＩ，ＩＤ）（ＰＣＡ（ＣＩ）×ＰＣＢ（ＣＩ））＋Ｐ２Ｙ（ＣＩ）ＰＣＢ（ＣＩ）となる。また、測距点ＰＰＰは、撮影画像内の二次元位置Ｐ２（ＣＩ，ＩＤ）に対応する実空間における三次元位置である。このとき、カメラの位置Ｐ（ＣＩ）から実空間における測距点ＰＰＰの方向への単位ベクトルＰＶ（ＣＩ，ＩＤ）は、ＰＶ（ＣＩ，ＩＤ）＝Ｐ２Ｒ（ＣＩ，ＩＤ）／｜Ｐ２Ｒ（ＣＩ，ＩＤ）｜である。カメラＣＩの位置Ｐ（ＣＩ）から測距点ＰＰＰまでの測距結果がＬ（ＣＩ，ＩＤ）であるので、フレーム特徴点ＩＤの実空間における三次元位置Ｐ３（ＣＩ，ＩＤ）は、次の式（１５）のように算出される。

上記の式（１５）が、式（２）の関数Ｆ（Ｐ（ＣＩ），ＰＣ（ＣＩ），Ｚ（ＣＩ），Ｐ２（ＣＩ，ＩＤ），Ｌ（ＣＩ，ＩＤ））の具体的な算出方法を表している。また、カメラＣＩの位置Ｐ（ＣＩ）は、ＰＣ（ＣＩ）＝（Ｐｘ（ＣＩ），Ｐｙ（ＣＩ），Ｐｚ（ＣＩ））である。ここで、例えばＰｘ（ＣＩ）は、実空間（ｘｙｚ）におけるＰ（ＣＩ）のｘ軸方向の成分である。また、カメラＣＩの方向ＰＣ（ＣＩ）及びＰＣ（ＣＩ）の成分であるＰＣＡ（ＣＩ）やＰＣＢ（ＣＩ）は、例えばオイラー角（θφλ）を用いて、それぞれθ（ＣＩ）、φ（ＣＩ）、λ（ＣＩ）の関数として表される。このとき、スカラー変数Ｐｘ（ＣＩ）、Ｐｙ（ＣＩ）、Ｐｚ（ＣＩ）、θ（ＣＩ）、φ（ＣＩ）、λ（ＣＩ）、Ｚ（ＣＩ）、Ｐ２Ｘ（ＣＩ，ＩＤ）、Ｐ２Ｙ（ＣＩ，ＩＤ）、Ｌ（ＣＩ，ＩＤ）を用いて、式（２）すなわち式（１５）は、次の式（１６）のように表される。

同様に、三次元位置Ｐ３（ＣＩ，ＩＤ）の誤差ΔＰ３（ＣＩ，ＩＤ）を表す式（３）は、変数を置き換えて、次の式（１７）のように表すことができる。

上記の式（１７）において、例えば偏微分∂Ｆ（ＩＣ，ＩＤ）／∂θは、下記の式（１８）の意味であり、偏微分∂Ｆ（ＩＣ，ＩＤ）／∂Ｐｘ、∂Ｆ（ＩＣ，ＩＤ）／∂θ、・・・等の具体的な値は式（１５）及び式（１６）を用いて算出される。

ここで、ΔＰｘ（ＣＩ）、ΔＰｙ（ＣＩ）、ΔＰｚ（ＣＩ）は、カメラの位置Ｐ（ＣＩ）の検出誤差、Δθ（ＣＩ）、Δφ（ＣＩ）、Δλ（ＣＩ）は、オイラー角（θφλ）で表したときのカメラの方向ＰＣ（ＣＩ）の検出誤差である。また、ΔＺ（ＣＩ）はズーム倍率によって決まる距離の測定誤差である。また、ΔＰ２Ｘ（ＣＩ，ＩＤ）、ΔＰ２Ｙ（ＣＩ，ＩＤ）は撮影画像内の二次元位置ΔＰ２（ＣＩ，ＩＤ）の算出誤差、ΔＬ（ＣＩ，ＩＤ）は測距誤差である。また、これらの誤差ΔＰｘ（ＣＩ）、ΔＰｙ（ＣＩ）、ΔＰｚ（ＣＩ）、Δθ（ＣＩ）、Δφ（ＣＩ）、Δλ（ＣＩ）、ΔＺ（ＣＩ）、ΔＰ２Ｘ（ＣＩ，ＩＤ）、ΔＰ２Ｙ（ＣＩ，ＩＤ）、ΔＬ（ＣＩ，ＩＤ）はスカラー量である。これらの誤差を見積もることで、式（１７）を用いて三次元位置Ｐ３（ＣＩ，ＩＤ）の誤差ΔＰ３（ＣＩ，ＩＤ）が算出され、さらに、誤差ΔＰ３（ＣＩ，ＩＤ）から、式（１）を用いて位置信頼度Ｗ（ＣＩ，ＩＤ）が算出される。

ここでは、図１３（Ｂ）に示すように、カメラＣＩ＝Ｃａｍ１において、各フレーム特徴点ＩＤ＝ＨＭ０１、ＨＭ０２、ＨＭ０３、ＨＭ０４・・・等に対して、三次元位置Ｐ３（ＣＩ，ＩＤ）が算出される。また、各三次元位置Ｐ３（ＣＩ，ＩＤ）に対して、位置信頼度Ｗ（ＣＩ，ＩＤ）が算出される。

ステップＳ８０６において、図１３（Ｂ）に示すように、（首の付け根の位置ＩＤＢＳ＝ＨＭ０２の）基準位置ＢＰ３（Ｃａｍ１，ＩＤＢＳ）（＝Ｐ３（Ｃａｍ１，ＨＭ０２））及びその基準位置信頼度ＢＷ（Ｃａｍ１，ＩＤＢＳ）が算出（設定）される。

ステップＳ８０７において、相対位置ＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）＝Ｐ３（Ｃａｍ１，ＩＤ）−ＢＰ３（Ｃａｍ１，ＩＤＢＳ）及び相対位置信頼度ＲＷ（Ｃａｍ１，ＩＤ，ＩＤＢＳ）が算出される。相対位置ＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）は、式（１５）によって算出されたＰ３（Ｃａｍ１，ＩＤ）及びＢＰ３（Ｃａｍ１，ＩＤＢＳ）を用いて具体的に算出される。また、相対位置ＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）の誤差ΔＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）は、式（１７）を用いて、次の式（１９）のように算出される。また、式（４）の変数を置き換えて表したものが式（１９）である。

相対位置信頼度ＲＷ（Ｃａｍ１，ＩＤ，ＩＤＢＳ）は、式（１９）で表される相対位置の誤差ΔＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）を用いて、式（６）（又は式（７））によって算出される。
また、各フレーム特徴点ＩＤ＝ＨＭ０１、ＨＭ０３、ＨＭ０４、・・・等に対して、相対位置ＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）及び相対位置信頼度ＲＷ（Ｃａｍ１，ＩＤ，ＩＤＢＳ）が算出される。
図１３（Ｃ）には、三次元位置Ｐ３（Ｃａｍ１，ＨＭ０４）、基準位置ＢＰ３（Ｃａｍ１，ＩＤＢＳ）（＝Ｐ３（Ｃａｍ１，ＨＭ０２））、相対位置ＲＰ３（Ｃａｍ１，ＨＭ０４，ＩＤＢＳ＝ＨＭ０２）の関係を示す。また、図１３（Ｃ）には、三次元位置の誤差ΔＰ３（Ｃａｍ１，ＨＭ０４）、基準位置の誤差ΔＢＰ３（Ｃａｍ１，ＩＤＢＳ）（＝ΔＰ３（Ｃａｍ１，ＨＭ０２））、相対位置の誤差ΔＲＰ３（Ｃａｍ１，ＨＭ０４，ＩＤＢＳ＝ＨＭ０２）の関係を示す。このとき、式（１９）によって、図１３（Ｃ）において、（たいていの場合に）次の式（２０）の関係が成り立っている。

図１４に示すように、ステップＳ８０５で算出されたフレーム特徴点の三次元位置Ｐ３（Ｃａｍ１，ＩＤ）及び位置信頼度Ｗ（Ｃａｍ１，ＩＤ）がオブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）にセットされる。また、ステップＳ８０６で算出されたオブジェクトの基準位置ＢＰ３（Ｃａｍ１，ＩＤＢＳ）及び基準位置信頼度ＢＷ（Ｃａｍ１，ＩＤＢＳ）がオブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）にセットされる。また、ステップＳ８０７で算出されたフレーム特徴点の相対位置ＲＰ３（Ｃａｍ１，ＩＤ，ＩＤＢＳ）及び相対位置信頼度ＲＷ（Ｃａｍ１，ＩＤ，ＩＤＢＳ）がオブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）にセットされる。

このように、カメラ１１０で撮影した画像内で認識したオブジェクトのオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）は、基準位置ＢＰ３（ＣＩ，ＩＤＢＳ）によって、オブジェクトの全体の基準となる実空間における三次元位置を表現する。また、オブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）は、Ｗ（ＣＩ，ＩＤ）＞０となる各ＩＤに対するフレーム特徴点の三次元位置Ｐ３（ＣＩ，ＩＤ）によって、オブジェクト識別子Ｏｉｄのオブジェクトの実空間における位置、形状、姿勢、動きからなる三次元的な認識結果を表現する。

（統合オブジェクトフレームの作成）
図１５〜図１８を参照して、統合オブジェクトフレーム作成の動作の説明を行う。
図１５（Ｄ）に示すように、カメラＣａｍ１、Ｃａｍ２、Ｃａｍ３によって異なる視点からオブジェクトが撮影されオブジェクトフレームが作成される（ステップＳ７０３〜Ｓ７０５）。カメラＣａｍ１によって時刻ＰＴ１に撮影された撮影画像Iｍｇ（Ｃａｍ１）からは、図１５（Ａ）及び図１６（Ａ）に示すように、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）及びＯＦ（Ｃａｍ１，Ｏｉｄ１２）が作成される。また、カメラＣａｍ２によって時刻ＰＴ２に撮影された撮影画像Iｍｇ（Ｃａｍ２）からは、図１５（Ｂ）及び図１６（Ｂ）に示すように、オブジェクトフレームＯＦ（Ｃａｍ２，Ｏｉｄ２１）及びＯＦ（Ｃａｍ２，Ｏｉｄ２２）が作成される。また、カメラＣａｍ３によって時刻ＰＴ３に撮影された撮影画像Iｍｇ（Ｃａｍ３）からは、図１５（Ｃ）及び図１６（Ｃ）に示すように、オブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）、ＯＦ（Ｃａｍ３，Ｏｉｄ３２）、ＯＦ（Ｃａｍ３，Ｏｉｄ３３）及びＯＦ（Ｃａｍ３，Ｏｉｄ３４）が作成される。ここで、時刻ＰＴ１、ＰＴ２、ＰＴ３は、略同時刻であるものとする。

ステップＳ９０１において、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）とオブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）とが同一のオブジェクトＯＢＪａに対するものであると判定される。ここでは、まず、時刻ＰＴ１と時刻ＰＴ３とが、所定の範囲内で近似していると判定される。また、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）内の基準位置ＢＰ３（Ｃａｍ１，ＩＤＢＳ＝ＨＭ０２）とオブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）内の基準位置ＢＰ３（Ｃａｍ３，ＩＤＢＳ＝ＨＭ０２）とが、所定の範囲内で近似していると判定される。また、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）内のフレーム特徴点の三次元位置Ｐ３（Ｃａｍ１，ＨＭ０１）とオブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）内のフレーム特徴点の三次元位置Ｐ３（Ｃａｍ３，ＨＭ０１）とが、所定の範囲内で近似していると判定される。同様に、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）とオブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）において、フレーム特徴点ＨＭ０３、ＨＭ０４・・・等の三次元位置が、それぞれ所定の範囲内で近似していると判定される。
ステップＳ９０２〜Ｓ９０３において、図１７に示すように、同一性判定されたオブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）とオブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）とから統合基準位置ＢＰ３ｉｎｔ（ＨＭ０２）が算出される。また、統合基準位置信頼度ＢＷｉｎｔ（ＨＭ０２）が算出される。
ステップＳ９０４において、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）内のフレーム特徴点とオブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）内のフレーム特徴点との同一性が、ＩＤ及び時刻ＰＴ１、ＰＴ３によって判定される。ここでは、図１７に示すフレーム特徴点ＨＭ０１、ＨＭ０２、ＨＭ０３、ＨＭ０４、ＨＭ０５、ＨＭ０６が同一性判定されたものとする。

ステップＳ９０５において、同一性判定された各ＩＤに対するフレーム特徴点の相対位置ＲＰ３（ＣＩ，ＩＤ，ＩＤＢＳ）及び相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）からの統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）が算出される。
ステップＳ９０６において、同一性判定された各ＩＤに対するフレーム特徴点の相対位置信頼度ＲＷ（ＣＩ，ＩＤ，ＩＤＢＳ）からの統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）が算出される。
ステップＳ９０７において、同一性判定された各ＩＤに対するフレーム特徴点の統合位置Ｐ３ｉｎｔ（ＩＤ）が算出される。
ステップＳ９０８において、同一性判定された各ＩＤに対するフレーム特徴点の統合位置信頼度Ｗｉｎｔ（ＩＤ）が算出される。

図１７には、同一性判定されたフレーム特徴点ＨＭ０４に対する統合相対位置ＲＰ３ｉｎｔ（ＨＭ０４，ＨＭ０２）、統合相対位置信頼度ＲＷｉｎｔ（ＨＭ０４，ＨＭ０２）、統合位置Ｐ３ｉｎｔ（ＨＭ０４）、統合位置信頼度Ｗｉｎｔ（ＨＭ０４）の算出例を示す。図１６（Ａ）及び図１６（Ｃ）に示すように、フレーム特徴点ＨＭ０８〜ＨＭ１５は、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）内にしか出現しない。また、フレーム特徴点ＨＭ０７は、オブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）内にしか出現しない。この場合、例えばＩＤ＝ＨＭ０７に対しては、ＲＷ（Ｃａｍ１，ＨＭ０７，ＨＭ０２）＝０、ＲＷ（Ｃａｍ３，ＨＭ０７，ＨＭ０２）＞０となる。したがって、統合相対位置ＲＰ３ｉｎｔ（ＨＭ０７，ＨＭ０２）は、式（２１）のようになる。

すなわち、各オブジェクトフレーム内に出現するＩＤのフレーム特徴点のみを用いて、統合相対位置ＲＰ３ｉｎｔ（ＩＤ，ＩＤＢＳ）及び統合位置Ｐ３ｉｎｔ（ＩＤ）が算出される。同様に、各オブジェクトフレーム内に出現するＩＤのフレーム特徴点のみを用いて、統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）及び統合位置信頼度Ｗｉｎｔ（ＩＤ）が算出される。また、いずれのオブジェクトフレームにも出現しないＩＤのフレーム特徴点に対しては、統合相対位置信頼度ＲＷｉｎｔ（ＩＤ，ＩＤＢＳ）＝０、統合位置信頼度Ｗｉｎｔ（ＩＤ）＝０となっている。

図１５（Ｄ）に示すように、広域監視エリア内にはオブジェクトＯＢＪａ、ＯＢＪｂ、ＯＢＪｃ、ＯＢＪｄ、ＯＢＪｅが存在するものとする。ＯＢＪｄ、ＯＢＪｅは、ＯＢＪａの関連オブジェクトである。すると、図１８に示すように、オブジェクトＯＢＪａに対しては、オブジェクトフレームＯＦ（Ｃａｍ１，Ｏｉｄ１１）とオブジェクトフレームＯＦ（Ｃａｍ３，Ｏｉｄ３１）とから、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪａ）が作成される。このとき、形式的に、ＯＦｉｎｔ（ＯＢＪａ）＝ＯＦ（Ｃａｍ１，Ｏｉｄ１１）＋ＯＦ（Ｃａｍ３，Ｏｉｄ３１）と記述される。

同様に、ステップＳ９０１〜Ｓ９０８において、「テーブルＢ」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｂ）＝ＯＦ（Ｃａｍ１，Ｏｉｄ１２）が作成される。また、図１８に示すように、「カップ」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｃ）＝ＯＦ（Ｃａｍ２，Ｏｉｄ２２）＋ＯＦ（Ｃａｍ３，ＯＩｉｄ３４）が作成される。同様に、「頭部」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｄ）＝ＯＦ（Ｃａｍ３，Ｏｉｄ３２）、「右手」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｅ）＝ＯＦ（Ｃａｍ２，Ｏｉｄ２１）＋ＯＦ（Ｃａｍ３，Ｏｉｄ３３）が作成される。

また、図１８及び図３（Ｂ）に示すように、「人間」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪａ）は、フレーム特徴点ＨＭ０１＝ＨＤ５０において、「頭部」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｄ）と接続されている。同様に、図１８に示すように、「人間」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪａ）は、フレーム特徴点ＨＭ０７＝ＲＨ２０において、「右手」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｅ）と接続されている。

このように算出された各フレーム特徴点は、ステップＳ９０９において、さらに補正が行われて各統合オブジェクトフレームにセットされる。例えば「右手」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｅ）の各フレーム特徴点の位置と、「カップ」の統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｃ）の各フレーム特徴点の位置とは、「右手」の各指が適切に「カップ」に接触しているように補正される。

ステップＳ９１０において、統合オブジェクトフレームに、その作成時刻及び有効時刻がセットされる。図１８に示すように、例えばＯＦｉｎｔ（ＯＢＪａ）には、その作成時刻ＭＴＯＢＪａ及び有効時刻ＤＴＯＢＪａがセットされ、ＯＦｉｎｔ（ＯＢＪｃ）には、その作成時刻ＭＴＯＢＪｃ及び有効時刻ＤＴＯＢＪｃがセットされる。

このように、複数のカメラ１１０で作成したオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）が、実空間における同一のオブジェクトＯＢＪに対するものであることが判定された上で、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）が作成される。統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）は、統合基準位置ＢＰ３ｉｎｔ（ＩＤＢＳ）によって、オブジェクトＯＢＪの全体の基準となる実空間における三次元位置を表現する。また、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）は、Ｗｉｎｔ（ＩＤ）＞０となる各ＩＤに対するフレーム特徴点の統合位置Ｐ３ｉｎｔ（ＩＤ）によって、オブジェクトＯＢＪの実空間における位置、形状、姿勢、動きからなる三次元的な認識結果を表現する。

以上述べたように、測距手段を有するカメラで撮影した画像内のオブジェクトを認識して、撮影画像内のオブジェクトのフレーム特徴点の二次元位置を抽出する。次に、カメラの位置から撮影画像内のフレーム特徴点の二次元位置に対応する実空間におけるオブジェクト上の測距点までの距離を測定する。そして、測距結果と、カメラの撮影パラメータ（位置、方向、ズーム倍率）とに基づいて、撮影画像内のフレーム特徴点の二次元位置に対応する実空間におけるフレーム特徴点の三次元位置及び三次元位置信頼度を算出する。これによって、単独のカメラで、オブジェクトの三次元的認識及び認識結果の表現が可能になる。

また、各フレーム特徴点の三次元位置をオブジェクトの基準位置からの相対位置で表し、フレーム特徴点の相対位置の集合によって、基準位置から見たオブジェクトの形状、姿勢、動き等からなる三次元的な認識結果を表現する。このとき、一般的に、オブジェクトの各フレーム特徴点間の相対位置の算出誤差は、それぞれのフレーム特徴点の三次元位置の算出誤差よりも小さくできる。そこで、複数のカメラで算出され、同一のオブジェクトに対するものと判定された認識情報を統合して統合情報を作成する際に、フレーム特徴点の三次元位置を直接統合するのではなく、まずオブジェクトの基準位置を統合し、次にフレーム特徴点の相対位置を統合する。すなわち、各カメラで算出されたオブジェクトの基準位置（認識情報）を統合して統合基準位置（統合情報）を算出し、また、各カメラで算出されたフレーム特徴点の相対位置（認識情報）を統合して統合相対位置（統合情報）を算出する。その後、オブジェクトの統合基準位置にフレーム特徴点の統合相対位置を加算してフレーム特徴点の統合位置を得る。このようにすることで、各カメラで算出される算出誤差の小さい相対位置（認識情報）ほど統合相対位置（統合情報）に大きく寄与するので、より高精度なオブジェクトの三次元的認識及び認識結果の表現が可能になる。

また、複数のカメラが連携して、各カメラが独立に作成した認識情報から統合情報を作成する際に、オブジェクトの基準位置を、基準位置信頼度の重み付けをした加重平均によって統合して統合基準位置を算出する。同様に、フレーム特徴点の相対位置を、相対位置信頼度の重み付けをした加重平均によって統合して統合相対位置を算出する。このように、各カメラが独立に作成した認識情報を、加重平均という簡単な演算によって統合して、複数のカメラによる統合的な認識結果である統合情報を作成する。これによって、複数の固定式又は移動式のカメラがアドホックに連携して、カメラを追加したり削除したりしたときに、各カメラが独立に作成した認識情報の高速な統合が可能になる。

また、各カメラとサーバとの間で、直接撮影画像を送受信することなしで、各カメラの撮影画像から作成したオブジェクトのフレーム特徴点の三次元位置等を含む認識情報を送受信する。これによって、複数のカメラの撮影画像から作成したオブジェクトの三次元的な認識結果を、小さい通信負荷によって高速に、統合及び共有することができる。

［第２の実施形態］
第２の実施形態では、移動可能な視点や視野の異なる複数のカメラ付き情報機器が、サーバの介在なしで、アドホックに連携して、自分の死角になる領域の情報を他のカメラ付き情報機器に要求して、オブジェクトの三次元的認識を行う例を説明する。

＜オブジェクト認識システムの構成＞
図１９（Ａ）は、第２の実施形態に係るオブジェクト認識システム１９００の構成を示す図である。図１９（Ａ）に示すように、オブジェクト認識システム１９００は、複数のカメラ付き情報機器１９１０（カメラ識別子ＣＩ＝Ｃａｍ４，Ｃａｍ５，・・・）と、これらを接続する通信網１９２０とを備えて構成されている。以下、カメラ付き情報機器をカメラと称する。
カメラ１９１０は、ＣＰＵ１９１１と、ＲＯＭ１９１２と、ＲＡＭ１９１３と、撮像部１９１４と、位置検出部１９１５と、測距部１９１６と、表示部１９１７と、操作部１９１８と、通信部１９１９とを備える。例えば図２１に示すように、カメラＣａｍ４、Ｃａｍ５は、カメラ付きの運転支援装置である。カメラＣａｍ４は自動車ＣＡＲａに搭載されており、カメラＣａｍ５は自動車ＣＡＲｂに搭載されている。また、カメラＣａｍ６は、街頭カメラである。カメラＣａｍ６は、通信部１９１９を介して遠隔操作されるものとし、この場合は、例えば表示部１９１７や操作部１９１８を具備していなくてもよい。

図１９（Ｂ）は、カメラ１９１０の機能構成を示す図である。
カメラ１９１０は、カメラ位置・方向検出部２０１と、撮影処理部２０２と、撮影測距制御部２０３と、測距処理部２０４と、記憶部２０５と、オブジェクト認識（検出・追跡）部２０６と、機械学習処理部２０７とを具備する。また、カメラ１９１０は、オブジェクトフレーム作成部２０８と、ローカル監視エリア管理部２０９と、情報要求生成部２１０と、ローカルマップ２１１と、通信処理部２１２とを具備する。さらに、カメラ１９１０は、同一性判定部３０３と、統合オブジェクトフレーム作成部３０４と、認証処理部４０１と、監視エリア情報共有部４０２と、移動経路算出部４０３と、表示制御部４０４とを具備する。これらの機能構成のうち、第１の実施形態と共通する構成要素には同一の符号を付してその説明を省略し、以下では、第１の実施形態と異なる構成要素を中心に説明する。本実施形態では、カメラ１９１０が本発明でいうオブジェクト認識装置として機能する。

認証処理部４０１は、通信連携するカメラ１９１０同士の相互認証を行う。ここでは、カメラ１９１０同士が、セキュリティ、通信ＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）、認識性能（精度、速度）等の機能や性能の認証を行う。
監視エリア情報共有部４０２は、複数のカメラ１９１０が相互にローカル監視エリアの情報を共有する。
移動経路算出部４０３は、周囲のオブジェクトの認識結果に基づいて、カメラ１９１０が移動可能な場合の移動経路を算出する。ここで算出した移動経路に基づいて、ユーザの運転操作を支援したり、カメラ１９１０（例えばカメラ１９１０を具備した自動車）が自動で移動したりする。
表示制御部４０４は、ユーザへのオブジェクト認識の結果の表示や、ユーザの操作のための情報の表示を制御する。

＜オブジェクト認識システムにおける処理＞
図２０を参照して、オブジェクト認識システム１９００における処理について説明する。
図２０を参照して、カメラ１９１０が実行する処理を説明する。ここで述べる処理は、各カメラ１９１０において独立に行われる。図２０のフローチャートの処理は、ＣＰＵ１９１１が例えばＲＯＭ１９１２に記憶されたプログラムを読み出し、実行することにより実現される。

ステップＳ２００１で、カメラ１９１０は、周囲に連携可能な他のカメラ１９１０があるか否かを判定する。ここでは、カメラ１９１０が、識別子ＣＩを搬送する電波を放射及び受信することで、周囲に連携可能な他のカメラ１９１０があることを認識する。周囲に連携可能な他のカメラ１９１０があると判定した場合、処理をステップＳ２００２に進め、ないと判定した場合、処理をステップＳ２００３に進める。
ステップＳ２００２で、カメラ１９１０は、相手機器に無線通信による連携要求を送出し、認証処理部４０１による相互認証の結果、連携可能であれば、無線通信のコネクションを確立する。
ステップＳ２００３で、カメラ１９１０は、他のカメラ１９１０との連携を終了するか否かを判定し、他の何れかのカメラ１９１０と連携を終了する場合、処理をステップＳ２００４に進め、連携を継続する場合、処理をステップＳ２００５に進める。
ステップＳ２００４で、カメラ１９１０は、他のカメラ１９１０の中の連携を終了するカメラ１９１０とのコネクションを終了する。

ステップＳ２００５で、カメラ１９１０は、連携している他のカメラ１９１０と相互にローカル監視エリアの情報を共有する。
ステップＳ２００６で、カメラ１９１０は、撮影処理部２０２によって、方向やズーム倍率を制御したり、移動したりして、ローカル監視エリア内の撮影を行う。
ステップＳ２００７で、カメラ１９１０は、カメラ位置・方向検出部２０１によって、撮像部１９１４の位置、方向、ズーム倍率等の撮影パラメータＰＡＲ（ＣＩ）を随時検出する。
ステップＳ２００８で、オブジェクトフレーム作成処理を実行する。オブジェクトフレーム作成処理の詳細は、第１の実施形態で図８を参照して説明したものと同様である。
ステップＳ２００９で、カメラ１９１０は、ローカル監視エリア内の死角になる領域を算出する。
ステップＳ２０１０で、カメラ１９１０は、死角になる領域の情報を通信連携している他のカメラ１９１０に要求する。ここでは、自分の死角になる領域を含むローカル監視エリアを持つ他のカメラ１９１０を選択して、情報要求を行う。
ステップＳ２０１１で、カメラ１９１０は、情報要求を行った他のカメラ１９１０から送信されたオブジェクトフレームを受信する。
ステップＳ２０１２で、カメラ１９１０は、他のカメラ１９１０から要求された領域のオブジェクトフレームを送信する。

ステップＳ２０１３で、統合オブジェクトフレーム作成処理を実行する。統合オブジェクトフレーム作成処理の詳細は、第１の実施形態で図９を参照して説明したものと同様である。
ステップＳ２０１４で、カメラ１９１０は、ステップＳ２０１３で作成した統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）をローカルメモリ（ローカルマップ２１１）に記憶する。また、表示制御部４０４によって、統合オブジェクトフレームを各種の方法で提示（例えば、表示部１９１７に表示）してもよい。また、例えば図２１に示す自動車ＣＡＲａは、ローカルマップ２１１に記憶された、各オブジェクトＯＢＪに対する統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪ）を参照して、移動経路算出部４０３によって移動経路を算出する。
ステップＳ２０１５で、カメラ１９１０は、処理を終了するか否かを判定し、ＹＥＳであれば処理を終了し、ＮＯであれば処理をステップＳ２００１に戻す。

＜オブジェクト認識システムの動作の説明＞
図２１〜図２３を参照して、オブジェクト認識システム１９００の動作の説明を行う。
図２１に示すように、道路上を自動車ＣＡＲａと自動車ＣＡＲｂとが走行している。自動車ＣＡＲａはカメラＣａｍ４を搭載し、自動車ＣＡＲｂはカメラＣａｍ５を搭載している。現時刻において、カメラＣａｍ４のローカル監視エリアはＡＣ４であり、カメラＣａｍ５のローカル監視エリアはＡＣ５であり、カメラＣａｍ６のローカル監視エリアはＡＣ６である。ここで、カメラＣａｍ４やＣａｍ５は、ローカル監視エリアＡＣ４やＡＣ５のような自動車の周囲の領域を監視できるパノラマカメラとし、パノラマ画像内の複数の部分画像を各種の幾何演算によって平面画像に変換したものから認識結果を生成する。また、このとき、図２１に示すように、道路上又は道路周辺に、オブジェクトＯＢＪｆ、ＯＢＪｇ、ＯＢＪｈが存在するものとする。
以下で説明する各オブジェクトフレーム及び各統合オブジェクトフレームは、現時刻直後の略同時刻に作成されるものとする。

ステップＳ２００１、Ｓ２００２において、カメラＣａｍ４、Ｃａｍ５、Ｃａｍ６間で相互にコネクションが確立されて、通信連携しているものとする。
ステップＳ２００５において、カメラＣａｍ４、Ｃａｍ５、Ｃａｍ６間でそれぞれのローカル監視エリアＡＣ４、ＡＣ５、ＡＣ６の情報が共有される。
ステップＳ２００６、Ｓ２００７において、カメラＣａｍ４，Ｃａｍ５，Ｃａｍ６でローカル監視エリアの撮影が行われ、撮影時の撮影パラメータが検出される。撮影画像がパノラマ画像である場合、パノラマ画像内の複数の部分画像が各種の幾何変換によって平面画像に変換されて、各平面画像の撮影パラメータに相当するものが算出される。また、以下の処理では、生成した複数の平面画像内でそれぞれオブジェクトの認識が行われて、オブジェクトフレームが作成される。

ステップＳ２００８において、カメラＣａｍ４、Ｃａｍ５、Ｃａｍ６では、撮影画像の認識結果からオブジェクトフレームＯＦ（ＣＩ，Ｏｉｄ）が作成される。図２２（Ａ）に示すように、カメラＣａｍ４では、「自動車」のオブジェクトフレームＯＦ（Ｃａｍ４，Ｏｉｄ４１）と、「人間」のオブジェクトフレームＯＦ（Ｃａｍ４，Ｏｉｄ４２）とが作成される。また、図２２（Ｂ）に示すように、カメラＣａｍ５では、「人間」のオブジェクトフレームＯＦ（Ｃａｍ５，Ｏｉｄ５１）と、「頭部」のオブジェクトフレームＯＦ（Ｃａｍ５，Ｏｉｄ５２）と、「自動車」のオブジェクトフレームＯＦ（Ｃａｍ５，Ｏｉｄ５３）と、「人間」のオブジェクトフレームＯＦ（Ｃａｍ５，Ｏｉｄ５４）と、「頭部」のオブジェクトフレームＯＦ（Ｃａｍ５，Ｏｉｄ５５）とが作成される。また、図２２（Ｃ）に示すように、カメラＣａｍ６では、「自動車」のオブジェクトフレームＯＦ（Ｃａｍ６，Ｏｉｄ６１）と、「人間」のオブジェクトフレームＯＦ（Ｃａｍ６，Ｏｉｄ６２）と、「人間」のオブジェクトフレームＯＦ（Ｃａｍ６，Ｏｉｄ６３）とが作成される。

ステップＳ２００９において、カメラＣａｍ４では、死角になる領域が算出され、ステップＳ２０１０において、死角になる領域を視野に含む他のカメラに情報要求が行われる。ここでは、図２２に示すように、Ｃａｍ４が、領域ＲＡＣ４５-１及びＲＡＣ４５-２に関する情報要求をＣａｍ５に対して行い、領域ＲＡＣ４６に関する情報要求をＣａｍ６に対して行うものとする。
ステップＳ２０１１において、カメラＣａｍ４では、領域ＲＡＣ４５-１に関する認識結果を表すオブジェクトフレームＯＦ（Ｃａｍ５，Ｏｉｄ５１）及びＯＦ（Ｃａｍ５，Ｏｉｄ５２）と、領域ＲＡＣ４５-２に関する認識結果を表すオブジェクトフレームＯＦ（Ｃａｍ５，Ｏｉｄ５５）とをカメラＣａｍ５から受信する。また、カメラＣａｍ４では、領域ＲＡＣ４６に関する認識結果を表すオブジェクトフレームＯＦ（Ｃａｍ６，Ｏｉｄ６３）をカメラＣａｍ６から受信する。
図２２（Ｂ）に示す、画像内領域Ｉ５ＲＡＣ４５-１は実空間領域ＲＡＣ４５-１に、画像内領域Ｉ５ＲＡＣ４５-２は実空間領域ＲＡＣ４５-２に対応している。同様に、図２２（Ｃ）に示す、画像内領域Ｉ６ＲＡＣ４６は実空間領域ＲＡＣ４６に対応している。

ステップＳ２０１１、Ｓ２０１２において、カメラＣａｍ４、Ｃａｍ５、Ｃａｍ６間で自分に必要な領域のオブジェクトフレームが送受信されて共有される。
ステップＳ２０１３において、カメラＣａｍ４では、受信したオブジェクトフレームを統合して、図２２（Ｄ）に示すように、オブジェクトＯＢＪｇに対する統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｇ）が作成される。統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｇ）は、ＯＦｉｎｔ（ＯＢＪｇ）＝ＯＦ（Ｃａｍ５，Ｏｉｄ５１）＋ＯＦ（Ｃａｍ５，Ｏｉｄ５２）＋ＯＦ（Ｃａｍ６，Ｏｉｄ６３）と表現される。同様に、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｈ）が作成される。

ステップＳ２０１４において、統合オブジェクトフレームが各種の方法で提示される。例えば各フレーム特徴点の実空間における位置を用いて、視点を変えて表示することが可能である。また、図２３（Ｄ）、（Ｅ）、（Ｆ）に示すように、認識時に各フレーム特徴点に付加された色やテクスチャ等の属性を用いて、コンピュータグラフィックスによって、肉付け（色付け）して表示したりすることが可能である。例えば図２３（Ａ）は、ＯＦｉｎｔ（ＯＢＪｇ）をＭｉｘｅｄ Ｒｅａｌｉｔｙ技術によって、カメラＣａｍ４の撮影画像内に、重畳画像ＭＲ（Ｃａｍ４，ＯＦｉｎｔ（ＯＢＪｇ））を作成して重畳表示したものである。また、例えば図２３（Ｂ）は、統合オブジェクトフレームＯＦｉｎｔ（ＯＢＪｇ）をコンピュータグラフィックスによって肉付けして、仮想カメラＶＣａｍ１の視点から見たオブジェクトのコンピュータグラフィックス画像（ＣＧ画像）ＣＧ（ＶＣａｍ１，ＯＦｉｎｔ（ＯＢＪｇ））を生成して表示したものである。また、例えば図２３（Ｃ）は、仮想カメラＶＣａｍ１から見えるＣＧ画像内に設定した仮想カメラＶＣａｍ２から見えるオブジェクトのＣＧ画像ＣＧ（ＶＣａｍ２，ＯＦｉｎｔ（ＯＢＪｇ））等を生成して表示したものである。また、このとき、図２３（Ｂ）、（Ｃ）に示すように、認識した各オブジェクトの移動方向や移動速度等を、矢印の方向や大きさ等によって提示してもよい。また、統合オブジェクトフレームを表示する場合、図２３（Ｇ）に示すように、近くの又は重要度の高いもの表示する場合はフレーム特徴点を詳細に、遠くの又は重要度の低いものを表示する場合はフレーム特徴点を粗く（間引いて）表示してもよい。また、高速移動するものを表示する場合には、オブジェクトの存在と位置・移動方向・移動速度のみを高速に提示するために、フレーム特徴点を粗く（間引いて）表示してもよい。また、例えば自動車ＣＡＲａは、ローカルマップに記憶された、統合オブジェクトフレームを参照して、周囲や死角領域に存在する各オブジェクトの位置や動きを取得して、障害物を避けて移動経路を算出する。

以上述べたように、本実施形態では、移動可能な複数のカメラ付き情報機器が、サーバの介在なしで、アドホックに通信連携して、小さい通信負荷で、特に死角になる領域のオブジェクトの三次元的認識の結果を相互に補完及び統合して共有することができる。

［第３の実施形態］
第３の実施形態では、単独のカメラでも、実空間におけるオブジェクトの位置を高精度かつ簡単に（例えば大がかりなシステムを必要とせずに簡単な操作で）計測できるようにする形態を説明する。
第３の実施形態に係る位置計測装置は、撮影画像内のオブジェクト上の計測点に対応する実空間における三次元位置を計測する。本実施形態において位置計測装置として機能するカメラは、ランドマーク上の特徴点の実空間における三次元位置が地図情報に記録されていて既知のとき、撮影画像にランドマークとともに写っているオブジェクト上に設定した計測点の位置の算出を行う。撮影画像に写っているランドマークと計測対象のオブジェクトは、ある程度近接しているものとする。

＜位置計測装置の構成＞
図２４は、第３の実施形態に係るカメラ２４００の機能構成を示す図である。カメラ２４００は、位置計測装置として機能する。なお、カメラ２４００のハードウェア構成は、図１９（Ａ）に示すカメラ１９１０のハードウェア構成と同様である。ここで、表示部１９１７の表面には、操作部１９１８の一部を構成する透明なタッチパネルが積層されている。

図２４に示すように、カメラ２４００は、カメラ位置・方向検出部２０１と、撮影処理部２０２と、測距処理部２０４と、通信処理部２１２とを具備する。また、カメラ２４００は、記憶部５０１と、計測点設定部５０２と、オブジェクト認識部５０３と、位置算出部５０４と、判定部５０５と、相対位置算出部５０６と、相対位置誤差評価部５０７と、補正位置算出部５０８とを具備する。これらの機能構成のうち、第１の実施形態と共通する構成要素には同一の符号を付してその説明を省略し、以下では、第１の実施形態と異なる構成要素を中心に説明する。

記憶部５０１は、ランドマークのカテゴリ、表面形状を表す特徴点の実空間における三次元位置が記憶された三次元の地図情報を記憶する。ランドマークは、建築物、道路、橋、山等の静止物体であり、地図情報には、ランドマークの表面形状を表す特徴点の集合が記録されている。ランドマークの特徴点は、タワーの先端、建築物の角、窓の（四）角等の実空間における三次元位置を表す点である。また、地図情報には、撮影画像中で周囲との関係から認識しやすい色、模様、形状等のランドマークの特徴点の視覚的特徴が記録されている。また、記憶部５０１には、撮影画像に写っているオブジェクトを認識するために必要な画像データ等が記憶されている。

計測点設定部５０２は、撮影画像内のオブジェクト上に計測点を設定する。計測点設定部５０２が、本発明でいう設定手段として機能する。

オブジェクト認識部５０３は、撮影画像に写っているオブジェクトを認識して、オブジェクトのカテゴリ（人間、タワー、橋、自動車等）等を取得する。また、オブジェクト認識部５０３は、認識したオブジェクトがランドマークである場合、地図情報に記録されたランドマークの特徴点の三次元位置に対応する撮影画像内の二次元位置を抽出する。オブジェクト認識部５０３が、本発明でいう抽出手段として機能する。

位置算出部５０４は、撮影画像内のオブジェクト上に設定した計測点に対応する実空間における三次元位置を算出する。また、位置算出部５０４は、撮影画像内のランドマークであるオブジェクト上で抽出した計測点の二次元位置に対応する実空間における三次元位置を算出する。位置算出部５０４が、本発明でいう第１の位置算出手段、第２の位置算出手段として機能する。

判定部５０５は、撮影画像に、計測点を設定したオブジェクトとともにランドマークであるオブジェクトが写っているか否かを判定する。また、判定部５０５は、ランドマークが撮影画像に写っていれば、地図情報から、当該ランドマークの特徴点の実空間における三次元位置及び視覚的特徴を取得する。判定部５０５が、本発明でいう取得手段として機能する。

相対位置算出部５０６は、撮影画像内のオブジェクト上に設定した計測点に対応する実空間における三次元位置と、撮影画像内のランドマーク上で抽出した特徴点の二次元位置に対応する実空間における三次元位置との差分を相対位置として算出する。相対位置誤差評価部５０７は、相対位置算出部５０６で算出した相対位置の誤差を評価する。補正位置算出部５０８は、相対位置誤差評価部５０７での評価に応じて、位置算出部５０４で算出した計測点に対応する実空間における三次元位置の補正位置を算出する。補正位置算出部５０８での補正位置の算出は、記憶部５０１に記憶されている地図情報に記録されたランドマークの特徴点の三次元位置と、相対位置算出部５０６で算出した相対位置とに基づいて行われる。これら相対位置算出部５０６、相対位置誤差評価部５０７、補正位置算出部５０８が、本発明でいう補正手段として機能する。

＜位置計測装置における処理＞
図２５を参照して、カメラ２４００（ここではカメラＣＡと記す）が実行する処理を説明する。図２５のフローチャートの処理は、ＣＰＵ１９１１が例えばＲＯＭ１９１２に記憶されたプログラムを読み出し、実行することにより実現される。
ステップＳ２５０１で、カメラＣＡは、撮影処理部２０２によって、方向やズーム倍率を制御して、周囲のオブジェクトを撮影し、撮影画像Ｉｍｇ（ＣＡ）を取得する。オブジェクトは、人物、自動車等の移動物体、及び、建築物、橋、タワー、山等の静止物体である。また、カメラが移動可能な場合、方向やズーム倍率の制御に加えて、カメラの位置の制御を行うようにしてもよい。カメラＣＡの位置、方向、ズーム倍率の制御は、ユーザが手動で操作して行ってもよいし、カメラＣＡが自動で行ってもよい。

ステップＳ２５０２で、カメラＣＡは、カメラ位置・方向検出部２０１によって、撮像部１９１４の撮影パラメータＰＡＲ（ＣＡ）を検出する。カメラＣＡの撮影パラメータＰＡＲ（ＣＡ）は、位置Ｐ（ＣＡ）と、方向ＰＣ（ＣＡ）と、ズーム倍率によって決まる距離Ｚ（ＣＡ）とを有する。このとき、カメラの位置Ｐ（ＣＡ）から距離Ｚ（ＣＡ）の位置に、仮想的な撮影画像Ｉｍｇ（ＣＡ）があるものとみなすことができる。

ステップＳ２５０３で、カメラＣＡは、計測点設定部５０２によって、撮影画像Ｉｍｇ（ＣＡ）内のオブジェクト上に計測点ＰＯＢＪを設定する。例えば、ユーザが表示部１９１７（画面）に表示された撮影画像Ｉｍｇ（ＣＡ）に写っているオブジェクトを指でタッチする。ここで、表示部１９１７の画面に表示される撮影画像Ｉｍｇ（ＣＡ）は、表示する画面サイズに応じて拡大、縮小されている。すると、画面内でユーザが指でタッチした位置（例えば、接触領域の代表座標）が、操作部１９１８の一部を構成するタッチパネルによって検出される。そして、検出された画面上の位置が撮影画像Ｉｍｇ（ＣＡ）内の二次元位置に変換されて、計測点ＰＯＢＪとして設定される。なお、ユーザの操作によって撮影画像内に計測点を設定しているが、例えば移動環境の地図の作成等において、カメラＣＡが位置計測の必要なオブジェクトを判定して、自動的に計測点の設定を行うようにしてもよい。

ステップＳ２５０４で、カメラＣＡは、位置算出部５０４によって、ステップＳ２５０３で設定した計測点ＰＯＢＪに対応する実空間における三次元位置ＰＸＸ３（ＰＯＢＪ）を算出する。まず、測距処理部２０４によって、カメラＣＡの位置Ｐ（ＣＡ）から計測点ＰＯＢＪに対応する実空間における位置までの測距結果ＬＬ（ＰＯＢＪ）が得られる。すると、位置算出部５０４によって、撮影パラメータＰＡＲ（ＣＡ）＝（Ｐ（ＣＡ）、ＰＣ（ＣＡ）、Ｚ（ＣＡ））と、計測点ＰＯＢＪと、測距結果ＬＬ（ＰＯＢＪ）とから、計測点ＰＯＢＪに対応する実空間における三次元位置ＰＸＸ３（ＰＯＢＪ）が式（２２）のように算出される。また、方向ＰＣ（ＣＡ）は、ＰＣ（ＣＡ）＝（ＰＣＡ（ＣＡ）、ＰＣＢ（ＣＡ））のように表される。ここで、ＰＣＡ（ＣＡ）はカメラの光軸方向の単位ベクトル、ＰＣＢ（ＣＡ）は撮影画像Ｉｍｇ（ＣＡ）の上方向（Ｙ軸）の単位ベクトルである。また、計測点ＰＯＢＪは、ＰＯＢＪ＝（ＰＯＢＪＸ，ＰＯＢＪＹ）であり、ＰＯＢＪＸは撮影画像内のＰＯＢＪのＸ軸方向の成分、ＰＯＢＪＹは撮影画像内のＰＯＢＪのＹ軸方向の成分である。

ステップＳ２５０５で、カメラＣＡは、判定部５０５によって、撮影画像Ｉｍｇ（ＣＡ）に、地図情報に記憶されているランドマークが写っているか否かを判定する。例えば、ステップＳ２５０４で算出した三次元位置ＰＸＸ３（ＰＯＢＪ）の一定距離（例えば１０ｍ）内に、地図情報に記憶されているランドマークの表面形状を形成する特徴点があり、かつ、その特徴点がカメラＣＡの視野内にあれば、撮影画像にランドマークが写っていると判定する。ステップ２５０５でＹＥＳである（ランドマークが写っていると判定した）場合、処理をステップＳ２５０６に進める。ステップＳ２５０５でＮＯである（ランドマークが写っていないと判定した）場合、処理を終了する。

ステップＳ２５０６で、カメラＣＡは、判定部５０５によって、記憶部５０１内の地図情報を検索して、ステップＳ２５０４で算出した三次元位置ＰＸＸ３（ＰＯＢＪ）に近いランドマークの特徴点の実空間における三次元位置ＭＡＰ３（ＬＭ）を取得する。三次元位置ＰＸＸ３（ＰＯＢＪ）に近いとは、例えば１０ｍ以内にある等のように定めればよい。例えば、カメラＣＡの視野内にある三次元位置ＭＡＰ３（ＬＭ）が地図情報から取得されたとする。また、特徴点の三次元位置ＭＡＰ３（ＬＭ）の撮影画像内における視覚的特徴を取得する。ここで、視覚的特徴は、タワーの先端、建築物の角、窓の（四）角、及びこれらの色、形状（点状、線状、長方形、三角形、円形等）、模様等である。また、ランドマークのカテゴリ、位置、色、大きさ等の属性を取得する。ここでは、特徴点の三次元位置ＭＡＰ３（ＬＭ）の視覚的特徴として、例えば「白いタワーに設置された円形の時計の中心」が取得されたとする。

ステップＳ２５０７で、カメラＣＡは、判定部５０５によって、ステップＳ２５０６で取得したランドマークの特徴点の実空間における三次元位置ＭＡＰ３（ＬＭ）に対応する撮影画像Ｉｍｇ（ＣＡ）内の二次元位置ＰＸ２（ＬＭ）を抽出する。まず、ステップＳ２５０６で取得したランドマークのカテゴリ、位置、色、大きさ等の属性を用いて、撮影画像内のランドマーク領域を推定して、撮影画像内のランドマーク「白いタワー」を認識して、ランドマーク領域を算出する。次に、ステップＳ２５０６で取得した三次元位置ＭＡＰ３（ＬＭ）の視覚的特徴「白いタワーに設置された円形の時計の中心」を用いて、撮影画像内のランドマーク領域から（地図内の）三次元位置ＭＡＰ３（ＬＭ）に対応する撮影画像内の二次元位置ＰＸ２（ＬＭ）を抽出する。

ステップＳ２５０８で、カメラＣＡは、位置算出部５０４によって、ステップＳ２５０７で抽出した撮影画像Ｉｍｇ（ＣＡ）内の二次元位置ＰＸ２（ＬＭ）を計測点として、計測点に対応する実空間における三次元位置ＰＸＸ３（ＰＸ２（ＬＭ））を算出する。まず、測距処理部２０４によって、カメラの位置Ｐ（ＣＡ）から計測点ＰＸ２（ＬＭ）に対応する実空間における位置までの測距結果ＬＬ（ＰＸ２（ＬＭ））が得られる。すると、位置算出部５０４によって、撮影パラメータＰＡＲ（ＣＡ）と、計測点ＰＸ２（ＬＭ）と、測距結果ＬＬ（ＰＸ２（ＬＭ））とから、撮影画像内の計測点ＰＸ２（ＬＭ）に対応する実空間における三次元位置ＰＸＸ３（ＰＸ２（ＬＭ））が式（２３）のように算出される。ここで、計測点ＰＸ２（ＬＭ）は、ＰＸ２（ＬＭ）＝（ＰＸ２Ｘ（ＬＭ），ＰＸ２Ｙ（ＬＭ））であり、ＰＸ２Ｘ（ＬＭ）は撮影画像内のＰＸ２（ＬＭ）のＸ軸方向の成分、ＰＸ２Ｙ（ＬＭ）は撮影画像内のＰＸ２（ＬＭ）のＹ軸方向の成分である。

ステップＳ２５０９で、カメラＣＡは、相対位置の誤差の絶対値が所定の閾値以下であるか否かを判定する。ここでは、まず、相対位置算出部５０６によって、撮影画像内のオブジェクト上に設定した計測点に対応する実空間における三次元位置と、撮影画像内のランドマーク上で抽出した計測点の二次元位置に対応する実空間における三次元位置との差分を相対位置として算出する。すなわち、相対位置ＰＲＸ３（ＰＯＢＪ，ＰＸ２（ＬＭ））を、ＰＲＸ３（ＰＯＢＪ，ＰＸ２（ＬＭ））＝ＰＸＸ３（ＰＯＢＪ）−ＰＸＸ３（ＰＸ２（ＬＭ））と算出する。次に、相対位置誤差評価部５０７によって、相対位置の誤差の絶対値が所定の閾値（ＴＨ）以下であるか否かを判定する。すなわち、｜ΔＰＲＸ３（ＰＯＢＪ，ＰＸ２（ＬＭ））｜＝｜ΔＰＸＸ３（ＰＯＢＪ）−ΔＰＸＸ３（ＰＸ２（ＬＭ））｜≦ＴＨ、であるか否かを判定する。ステップＳ２５０９でＹＥＳである（相対位置の誤差の絶対値が一定値以下である）場合、処理をステップＳ２５１０に進める。ステップＳ２５０９でＮＯである（相対位置の誤差の絶対値が一定値以下でない）場合、処理を終了する。

ステップＳ２５１０で、カメラＣＡは、補正位置算出部５０８によって、ステップＳ２５０４で算出した、計測点ＰＯＢＪに対応する実空間における三次元位置ＰＸＸ３（ＰＯＢＪ）の補正位置ＭＯＤＰＸＸ３（ＰＯＢＪ）を算出する。ここでは、ステップＳ２５０６で取得したランドマークの特徴点の実空間における三次元位置ＭＡＰ３（ＬＭ）（地図情報内の実際のランドマークの特徴点の三次元位置ＭＡＰ３（ＬＭ））に、相対位置ＰＲＸ３（ＰＯＢＪ，ＰＸ２（ＬＭ））を加えて、実空間におけるオブジェクト上の補正位置とする。すなわち、補正位置ＭＯＤＰＸＸ３（ＰＯＢＪ）を、ＭＯＤＰＸＸ３（ＰＯＢＪ）＝ＭＡＰ３（ＬＭ）＋ＰＸＸ３（ＰＯＢＪ）−ＰＸＸ３（ＰＸ２（ＬＭ））と算出する。このとき、補正位置ＭＯＤＰＸＸ３（ＰＯＢＪ）の算出誤差（の絶対値）は、｜ΔＭＯＤＰＸＸ３（ＰＯＢＪ）｜＝｜ΔＭＡＰ３（ＬＭ）＋ΔＰＸＸ３（ＰＯＢＪ）−ΔＰＸＸ３（ＰＸ２（ＬＭ））｜である。また、地図情報内の三次元位置に対しては、ΔＭＡＰ３（ＬＭ）＝０であることから、｜ΔＭＯＤＰＸＸ３（ＰＯＢＪ）｜＝｜ΔＰＸＸ３（ＰＯＢＪ）−ΔＰＸＸ３（ＰＸ２（ＬＭ））｜≦ＴＨとなる。すなわち、補正位置の算出誤差は相対位置の算出誤差と同程度であるので、相対位置の算出誤差を小さくできれば、設定した計測点の計測精度を高くすることができる。

なお、地図情報はカメラ２４００の記憶部５０１に記憶されているものとしたが、これに限定されるものではない。例えば地図情報は外部のサーバに記憶されているものでもよく、通信処理部２１２を介して外部のサーバに記憶されている地図情報を参照するようにしてもよい。

以上述べたように、単独のカメラで、既知のランドマークの特徴点の位置情報を用いて、ランドマークとともにカメラの撮影画像に写っているオブジェクト上の位置を高精度かつ簡単に計測することができる。これにより、例えば、ネットワークカメラ、自動車、ロボット、ドローン等の移動環境・作業環境の地図が効率的に作成できる。

本発明は、ネットワークカメラによる工場や屋内外の監視や見守り、自動車、ロボット、ドローン等の移動体の移動環境や作業環境の認識や地図作成等に適用可能である。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明は例えばシステム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えばホストコンピュータ、インタフェース機器、撮像装置、ＷＥＢアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００、１９００：オブジェクト認識システム、１１０：カメラ、１１６、１９１６：測距部、１２０：サーバ、１９１０：カメラ付き情報機器、２０６：オブジェクト認識（検出・追跡）部、２０７：機械学習処理部、２０８：オブジェクトフレーム作成部、３０３：同一性判定部、３０４：統合オブジェクトフレーム作成部

Claims (35)

1. 測距手段を有するカメラで撮影した画像内のオブジェクトを認識する認識手段と、
   前記認識手段で認識した前記画像内の前記オブジェクトの特徴点を抽出する抽出手段と、
   前記測距手段による測距結果に基づいて、前記抽出手段で抽出した前記画像内の前記特徴点に対応する実空間における前記特徴点の三次元位置を算出する位置算出手段と、
   前記位置算出手段で算出した前記特徴点の三次元位置を含むように、前記オブジェクトの認識情報を作成する認識情報作成手段とを備えたことを特徴とするオブジェクト認識システム。
2. 前記位置算出手段は、前記カメラの撮影パラメータと、前記抽出手段で抽出した前記画像内の前記オブジェクトの特徴点の二次元位置と、前記測距手段で測距した前記画像内の前記特徴点の二次元位置に対応する実空間における測距点までの距離とに基づいて、前記特徴点の三次元位置を算出することを特徴とする請求項１に記載のオブジェクト認識システム。
3. 前記認識手段は、前記オブジェクトのカテゴリを取得し、
   前記認識情報作成手段は、前記認識情報に、前記認識手段で取得した前記カテゴリを含めることを特徴とする請求項１又は２に記載のオブジェクト認識システム。
4. 前記認識情報作成手段は、予め用意されているテンプレートを用いて、前記認識情報を作成し、
   前記テンプレートは、オブジェクトのカテゴリ別に用意されていることを特徴とする請求項３に記載のオブジェクト認識システム。
5. 前記位置算出手段で算出した前記特徴点の三次元位置の信頼度を表す位置信頼度を算出する位置信頼度算出手段を備え、
   前記認識情報作成手段は、前記認識情報に、前記位置信頼度算出手段で算出した前記位置信頼度を含めることを特徴とする請求項１乃至４のいずれか１項に記載のオブジェクト認識システム。
6. 一つ以上の前記特徴点の三次元位置を用いて、前記オブジェクトの基準となる位置を表す基準位置を算出する基準位置算出手段を備え、
   前記認識情報作成手段は、前記認識情報に、前記基準位置算出手段で算出した前記基準位置を含めることを特徴とする請求項１乃至５のいずれか１項に記載のオブジェクト認識システム。
7. 前記基準位置算出手段で算出した前記基準位置の信頼度を表す基準位置信頼度を算出する基準位置信頼度算出手段を備え、
   前記認識情報作成手段は、前記認識情報に、前記基準位置信頼度算出手段で算出した前記基準位置信頼度を含めることを特徴とする請求項６に記載のオブジェクト認識システム。
8. 前記位置算出手段で算出した前記特徴点の三次元位置と、前記基準位置算出手段で算出した前記基準位置との差で表される前記特徴点の相対位置を算出する相対位置算出手段を備え、
   前記認識情報作成手段は、前記認識情報に、前記相対位置算出手段で算出した前記相対位置を含めることを特徴とする請求項６又は７に記載のオブジェクト認識システム。
9. 前記相対位置算出手段で算出した前記相対位置の信頼度を表す相対位置信頼度を算出する相対位置信頼度算出手段を備え、
   前記認識情報作成手段は、前記認識情報に、前記相対位置信頼度算出手段で算出した前記相対位置信頼度を含めることを特徴とする請求項８に記載のオブジェクト認識システム。
10. 前記位置算出手段で算出した前記特徴点の三次元位置の誤差を、前記カメラの撮影パラメータの検出誤差と、前記抽出手段で抽出した前記画像内の前記オブジェクトの特徴点の二次元位置の算出誤差と、前記測距手段で測距した前記画像内の前記特徴点の二次元位置に対応する実空間における測距点までの距離の測定誤差とから算出する第１の誤差算出手段を備え、
    前記位置信頼度算出手段は、前記位置信頼度を、前記第１の誤差算出手段で算出した前記特徴点の三次元位置の誤差の絶対値に関して連続で滑らかな単調減少関数から算出することを特徴とする請求項５に記載のオブジェクト認識システム。
11. 前記位置算出手段で算出した前記特徴点の三次元位置の誤差を、前記カメラの撮影パラメータの検出誤差と、前記抽出手段で抽出した前記画像内の前記オブジェクトの特徴点の二次元位置の算出誤差と、前記測距手段で測距した前記画像内の前記特徴点の二次元位置に対応する実空間における測距点までの距離の測定誤差とから算出する第１の誤差算出手段と、
    前記基準位置算出手段で算出した前記基準位置の誤差を、前記基準位置を算出する際に使用した一つ以上の前記特徴点の三次元位置の誤差から算出する第２の誤差算出手段と、
    前記相対位置算出手段で算出した前記相対位置の誤差を、前記第１の誤差算出手段で算出した前記特徴点の三次元位置の誤差と、前記第２の誤差算出手段で算出した前記基準位置の誤差との差分から算出する第３の誤差算出手段とを備え、
    前記相対位置信頼度算出手段は、前記相対位置信頼度を、前記第３の誤差算出手段で算出した前記相対位置の誤差の絶対値に関して連続で滑らかな単調減少関数から算出することを特徴とする請求項９に記載のオブジェクト認識システム。
12. 前記認識情報作成手段は、前記認識情報に、前記カメラの識別情報、撮影時刻、及び撮影パラメータを含めることを特徴とする請求項１乃至１１のいずれか１項に記載のオブジェクト認識システム。
13. 複数の前記カメラで撮影した画像から作成された前記認識情報に基づいて、統合情報を作成する統合情報作成手段をさらに備えたことを特徴とする請求項１乃至１２のいずれか１項に記載のオブジェクト認識システム。
14. 複数の前記カメラで撮影した画像から作成された前記認識情報が同一のオブジェクトに対するものであるか否かを判定する判定手段を備え、
    前記統合情報作成手段は、前記判定手段で同一のオブジェクトに対するものと判定された複数の前記認識情報に基づいて、前記統合情報を作成することを特徴とする請求項１３に記載のオブジェクト認識システム。
15. 複数の前記カメラで撮影した画像から作成された前記認識情報に基づいて、統合情報を作成する統合情報作成手段をさらに備え、
    前記統合情報作成手段は、前記統合情報に、同一と判定されたオブジェクトに対して、前記基準位置算出手段で算出した前記基準位置を、複数の前記認識情報に含まれる前記基準位置信頼度に応じて重み付け加算して算出した統合基準位置を含めることを特徴とする請求項７に記載のオブジェクト認識システム。
16. 前記統合情報作成手段は、前記統合情報に、前記統合基準位置の信頼度を表す統合基準位置信頼度を含めることを特徴とする請求項１５に記載のオブジェクト認識システム。
17. 前記統合情報作成手段は、前記基準位置信頼度が所定の値よりも小さいカメラで作成した前記基準位置及び前記基準位置信頼度を除外して、前記統合基準位置及び前記統合基準位置信頼度を算出することを特徴とする請求項１６に記載のオブジェクト認識システム。
18. 前記統合情報作成手段は、前記基準位置が他のカメラで作成した前記基準位置と比較して所定の基準を超えて外れているカメラで作成した前記基準位置及び前記基準位置信頼度を除外して、前記統合基準位置及び前記統合基準位置信頼度を算出することを特徴とする請求項１６に記載のオブジェクト認識システム。
19. 複数の前記カメラで撮影した画像から作成された前記認識情報に基づいて、統合情報を作成する統合情報作成手段をさらに備え、
    前記統合情報作成手段は、前記統合情報に、同一と判定されたオブジェクトの同一部位を示す特徴点に対して、前記相対位置算出手段で算出した前記相対位置を、複数の前記認識情報に含まれる前記相対位置信頼度に応じて重み付け加算して算出した統合相対位置を含めることを特徴とする請求項９に記載のオブジェクト認識システム。
20. 前記統合情報作成手段は、前記統合情報に、前記統合相対位置の信頼度を表す統合相対位置信頼度を含めることを特徴とする請求項１９に記載のオブジェクト認識システム。
21. 前記統合情報作成手段は、前記相対位置信頼度が所定の値よりも小さいカメラで作成した前記相対位置及び前記相対位置信頼度を除外して、前記統合相対位置及び前記統合相対位置信頼度を算出することを特徴とする請求項２０に記載のオブジェクト認識システム。
22. 前記統合情報作成手段は、前記相対位置が他のカメラで作成した前記相対位置と比較して所定の基準を超えて外れているカメラで作成した前記相対位置及び前記相対位置信頼度を除外して、前記統合相対位置及び前記統合相対位置信頼度を算出することを特徴とする請求項２０に記載のオブジェクト認識システム。
23. 前記位置算出手段で算出した前記特徴点の三次元位置の誤差を、前記カメラの撮影パラメータの検出誤差と、前記抽出手段で抽出した前記画像内の前記オブジェクトの特徴点の二次元位置の算出誤差と、前記測距手段で測距した前記画像内の前記特徴点の二次元位置に対応する実空間における測距点までの距離の測定誤差とから算出する第１の誤差算出手段と、
    前記基準位置算出手段で算出した前記基準位置の誤差を、前記基準位置を算出する際に使用した一つ以上の前記特徴点の三次元位置の誤差から算出する第２の誤差算出手段と、
    前記相対位置算出手段で算出した前記相対位置の誤差を、前記第１の誤差算出手段で算出した前記特徴点の三次元位置の誤差と、前記第２の誤差算出手段で算出した前記基準位置の誤差との差分から算出する第３の誤差算出手段とを備え、
    前記統合情報作成手段は、前記相対位置の誤差が、前記特徴点の三次元位置の誤差及び前記基準位置の誤差に一定の係数を乗じた値よりも小さくなるカメラを抽出し、前記抽出したカメラで作成した前記相対位置及び前記相対位置信頼度を用いて、前記統合相対位置及び前記統合相対位置信頼度を算出することを特徴とする請求項２０に記載のオブジェクト認識システム。
24. 複数の前記カメラで撮影した画像から作成された前記認識情報に基づいて、統合情報を作成する統合情報作成手段をさらに備え、
    前記統合情報作成手段は、前記統合情報に、同一と判定されたオブジェクトに対して、前記基準位置算出手段で算出した前記基準位置を、複数の前記認識情報に含まれる、前記基準位置の信頼度を表す基準位置信頼度に応じて重み付け加算して算出した統合基準位置と、同一と判定されたオブジェクトの同一部位を示す特徴点に対して、前記相対位置算出手段で算出した前記相対位置を、複数の前記認識情報に含まれる前記相対位置信頼度に応じて重み付け加算して算出した統合相対位置との和で表される統合位置を含めることを特徴とする請求項９に記載のオブジェクト認識システム。
25. 前記統合情報作成手段は、前記統合情報に、前記統合位置の信頼度を表す統合位置信頼度を含めることを特徴とする請求項２４に記載のオブジェクト認識システム。
26. 前記統合情報作成手段で作成した前記統合情報に基づいて、コンピュータグラフィックス画像を表示する表示制御手段をさらに備えたことを特徴とする請求項１３乃至２５のいずれか１項に記載のオブジェクト認識システム。
27. 前記抽出手段は、機械学習処理によって、前記画像内の前記オブジェクトの前記特徴点を抽出することを特徴とする請求項１乃至２６のいずれか１項に記載のオブジェクト認識システム。
28. 前記カメラの死角領域に関する情報を記憶する記憶手段を備えたことを特徴とする請求項１乃至２７のいずれか１項に記載のオブジェクト認識システム。
29. 前記カメラが移動式のカメラであることを特徴とする請求項１乃至２８のいずれか１項に記載のオブジェクト認識システム。
30. 測距手段を有するカメラで撮影した画像内のオブジェクトを認識する認識手段と、
    前記認識手段で認識した前記画像内の前記オブジェクトの特徴点を抽出する抽出手段と、
    前記測距手段による測距結果に基づいて、前記抽出手段で抽出した前記画像内の前記特徴点に対応する実空間における前記特徴点の三次元位置を算出する位置算出手段と、
    前記位置算出手段で算出した前記特徴点の三次元位置を含むように、前記オブジェクトの認識情報を作成する認識情報作成手段とを備えたことを特徴とするオブジェクト認識装置。
31. 測距手段を有するカメラで撮影した画像内のオブジェクトを認識する認識ステップと、
    前記認識ステップで認識した前記画像内の前記オブジェクトの特徴点を抽出する抽出ステップと、
    前記測距手段による測距結果に基づいて、前記画像内の前記特徴点に対応する実空間における前記特徴点の三次元位置を算出する位置算出ステップと、
    前記位置算出ステップで算出した前記特徴点の三次元位置を含むように、前記オブジェクトの認識情報を作成する認識情報作成ステップとを有することを特徴とするオブジェクト認識方法。
32. 測距手段を有するカメラで撮影した画像内のオブジェクトを認識する認識手段と、
    前記認識手段で認識した前記画像内の前記オブジェクトの特徴点を抽出する抽出手段と、
    前記測距手段による測距結果に基づいて、前記抽出手段で抽出した前記画像内の前記特徴点に対応する実空間における前記特徴点の三次元位置を算出する位置算出手段と、
    前記位置算出手段で算出した前記特徴点の三次元位置を含むように、前記オブジェクトの認識情報を作成する認識情報作成手段としてコンピュータを機能させるためのプログラム。
33. 測距手段を有するカメラで撮影した画像内のオブジェクト上に計測点を設定する設定手段と、
    前記測距手段による測距結果に基づいて、前記設定手段で設定した前記計測点に対応する実空間における三次元位置を算出する第１の位置算出手段と、
    ランドマークの表面形状を表す特徴点の実空間における三次元位置が記録された地図情報から、前記計測点を設定した前記オブジェクトとともに前記画像内に写っているランドマークの特徴点の実空間における三次元位置を取得する取得手段と、
    前記取得手段で取得した前記三次元位置に対応する前記画像内の二次元位置を抽出する抽出手段と、
    前記抽出手段で抽出した前記二次元位置に対応する実空間における三次元位置を算出する第２の位置算出手段と、
    前記取得手段で取得した前記三次元位置と、前記第１の位置算出手段で算出した前記三次元位置と、前記第２の位置算出手段で算出した前記三次元位置とに基づいて、前記第１の位置算出手段で算出した前記三次元位置の補正位置を算出する補正手段とを備えたことを特徴とする位置計測装置。
34. 測距手段を有するカメラで撮影した画像内のオブジェクト上に計測点を設定する設定ステップと、
    前記測距手段による測距結果に基づいて、前記設定ステップで設定した前記計測点に対応する実空間における三次元位置を算出する第１の位置算出ステップと、
    ランドマークの表面形状を表す特徴点の実空間における三次元位置が記録された地図情報から、前記計測点を設定した前記オブジェクトとともに前記画像内に写っているランドマークの特徴点の実空間における三次元位置を取得する取得ステップと、
    前記取得ステップで取得した前記三次元位置に対応する前記画像内の二次元位置を抽出する抽出ステップと、
    前記抽出ステップで抽出した前記二次元位置に対応する実空間における三次元位置を算出する第２の位置算出ステップと、
    前記取得手ステップで取得した前記三次元位置と、前記第１の位置算出手段で算出した前記三次元位置と、前記第２の位置算出手段で算出した前記三次元位置とに基づいて、前記第１の位置算出手段で算出した前記三次元位置の補正位置を算出する補正ステップとを有することを特徴とする位置計測方法。
35. 測距手段を有するカメラで撮影した画像内のオブジェクト上に計測点を設定する設定手段と、
    前記測距手段による測距結果に基づいて、前記設定手段で設定した前記計測点に対応する実空間における三次元位置を算出する第１の位置算出手段と、
    ランドマークの表面形状を表す特徴点の実空間における三次元位置が記録された地図情報から、前記計測点を設定した前記オブジェクトとともに前記画像内に写っているランドマークの特徴点の実空間における三次元位置を取得する取得手段と、
    前記取得手段で取得した前記三次元位置に対応する前記画像内の二次元位置を抽出する抽出手段と、
    前記抽出手段で抽出した前記二次元位置に対応する実空間における三次元位置を算出する第２の位置算出手段と、
    前記取得手段で取得した前記三次元位置と、前記第１の位置算出手段で算出した前記三次元位置と、前記第２の位置算出手段で算出した前記三次元位置とに基づいて、前記第１の位置算出手段で算出した前記三次元位置の補正位置を算出する補正手段としてコンピュータを機能させるためのプログラム。

Images