JP2009008577A - オブジェクト認識装置及びオブジェクト認識用プログラム - Google Patents

Abstract

【課題】ユーザが実際に目の前にして見ている科学計測機器等の立体オブジェクトに対して、その機器操作等を、エキスパート等とのインタラクティブな関係の中で提示することができ、機器操作等に係る知識のみならず技能等に至るまで、容易かつ効率的に伝達することのできる、簡単な構成のオブジェクト認識装置を提供する。
【解決手段】立体オブジェクト２に設定した定点とその立体オブジェクト２の三次元形状情報とを利用して、単一のカメラ３からの画像上で指定した指定点に対応する、立体オブジェクト２における実際の三次元位置座標を算出するようにした。
【選択図】図６

Description

本発明は、カメラで撮像した二次元画像に基づいて、その画像に映し出された立体オブジェクトのポーズやその立体オブジェクトの各部位の実際の三次元座標を認識するオブジェクト認識装置等に関するものである。

従来のマニュアルや手引き、取扱説明書の類は、それを読みながら機器操作やメンテナンス等ができるように、文書による説明がなされており、場合によっては、その理解を助けるための写真や絵なども添付されている。近時では、特許文献１に示すように、機器の３ＤＣＡＤデータからアニメーションを作成し、そのアニメーション動画によって、機器操作の説明などを行うようにしたものも開発されてきている。
特開２００２−１４０１４２号公報

しかしながら、科学計測機器などのように、操作方法や設定方法あるいはメンテナンス作業等が複雑で、多くの知識が必要なものになってくると、マニュアルの分量も増え内容も難解になってくることから、マニュアルのみを頼りにユーザが単独で機器操作等を習得するのは難しくなる。また、マニュアルは形式知（explicit knowledge）の伝達を主として担い、技能やノウハウといった暗黙知（tacit knowledge）を伝達することが困難であることから、操作や管理に技能的な要素が含まれるものに対して、従来型のマニュアルを適用するには限界がある。

本発明は、かかる課題を解決すべくなされたものであって、ユーザが実際に目のあたりにして見ている科学計測機器等の立体オブジェクトに対して、その機器操作等を、エキスパート等とのインタラクティブな関係の中で提示することができ、機器操作等に係る知識のみならず技能等に至るまで、容易かつ効率的に伝達することのできる、簡単な構成のオブジェクト認識装置を提供することをその主たる所期課題としたものである。

かかる課題を解決するために、本発明は、以下のような構成を採用したものである。すなわち、本発明に係るオブジェクト認識装置は、立体オブジェクト及びその立体オブジェクトとの相対位置関係が既知である複数の定点を撮像する単一のカメラと、そのカメラの画像上における前記各定点の二次元座標をパラメータとして、前記立体オブジェクトの空間内のポーズに関する情報であるポーズ情報を算出するポーズ情報算出部と、前記立体オブジェクトの三次元形状情報を取得し、その三次元形状情報と前記ポーズ情報とを照合するとともに、その照合結果と、前記立体オブジェクト上の任意の指定点の前記画像上での二次元座標とに基づいて、その指定点の立体オブジェクトにおける実際の三次元位置座標を算出する座標算出部と、を備えていることを特徴とする。

このようなものであれば、リアルタイムで撮像している画像上で立体オブジェクトの任意の部位を指定することで、自動的にその指定点の三次元位置座標が算出されるので、その三次元位置座標に関連する情報、例えばその三次元位置座標で特定される立体オブジェクトの部位の名称や機能、操作方法等に関する説明を自動的に行わせることができるようになる。つまり、ユーザが自ら積極的に知りたいところを指定することで、その情報を滞りなくしかも確実に知ることができるため、物理面、心理面の両面からユーザの負担を軽減することができる。

また、その三次元位置座標や関連情報を、例えばエキスパートが利用する情報処理装置に送信することにより、装置の操作方法やメンテナンス作業等に係る知識を、装置の部位や名称をビジュアルに特定しながら、エキスパートとの間でインタラクティブに共有することも可能になる。そしてこのことにより、技能やノウハウといった、いわゆる暗黙知の客観的な伝達もある程度可能になる。

具体的には、前記立体オブジェクトにおける各三次元位置座標にそれぞれ紐付けられた関連情報を格納している関連情報格納部と、前記座標算出部において指定点の三次元位置座標が算出されると、その三次元位置座標に紐付けられた関連情報を前記関連情報格納部から抽出する関連情報抽出部と、をさらに設けておけばよい。関連情報とは、例えば、三次元位置座標の示す部位に配設されている部材の属性を示すものである
また、ハードウェア的に言えば、例えばパーソナルコンピュータと単一のカメラさえ用意すればよいので、構成が簡単で、実現が容易である。

より好ましくは、前記カメラの水平２軸周りの各傾き角度をそれぞれ検出して、その検出結果を角度情報として出力する傾斜計をさらに備え、前記ポーズ情報算出部が、前記各定点の二次元座標に加えて、前記傾斜計から出力される前記２軸周りの各角度情報をパラメータとして、前記ポーズ情報を算出するようにしたものを挙げることができる。

このようなものであれば、傾斜計からの角度情報を利用しているので、定点が２つ乃至３つでもポーズ情報の計算結果に対する信頼性を担保でき、また、定点を少なく設定できることから、短時間でのポーズ情報の計算が可能になる。そして、このことから、例えば、動画の各フレームにおけるオブジェクトのポーズ情報及びそれに基づく指定点の三次元位置座標の算出をほぼリアルタイムで行うことがより容易にできるようになる。さらに、ハードウェア的に言えば、傾斜計をカメラに取り付けるだけで、あとはソフトウェア処理によって実現できるため、既存装置からの大幅な複雑化を助長するものでもない。

前記ポーズ情報算出部が、前記立体オブジェクトのポーズ情報を、反復最適化手法を用いて算出するものにおいて、その計算を短時間でかつより確実にできるようにするには、３つの定点を利用するとともに、その３定点のうちの２定点を結んだ直線が略鉛直となり、残りの１定点と前記２定点のうちの１定点とを結んだ直線が略水平となるように前記各定点の位置を設定しておき、前記ポーズ情報算出部が、鉛直軸とカメラの画像面とのなす角度から本来計算されるべき定点座標を、その角度に代えて前記傾斜計からの一の角度情報を用いて仮定計算し、その仮定計算した定点座標を初期値として、前記反復最適化を行い、定点座標を算出するようにしたものが好ましい。

なぜなら、３定点を前述のように設定することで、鉛直軸とカメラの画像面とのなす角度が、傾斜計から出力される一の角度情報の値と近似することになるため、これを用いて算出した初期値の最終解に対する乖離を防止でき、反復最適化計算の時間短縮と確実性とを向上させることが可能になるからである。

以上のように構成した本発明によれば、リアルタイムで撮像している画像上において、立体オブジェクトの部位や名称をビジュアルに特定できるので、ユーザが自ら積極的に知りたい情報を滞りなくしかも確実に知ることができる。そして、このことを利用して例えばエキスパートとの間でデータ共有を図ることにより、技能やノウハウといった、いわゆる暗黙知の客観的な伝達も可能になる。

以下、本発明の一実施形態について図面を参照して説明する。

本実施形態に係るオブジェクト認識装置１は、図１に示すように、科学計測機器などの操作方法やメンテナンス作業等に係る知識を、ユーザが効率よく得るためのナレッジマネージメントシステム１００を構成するものであって、科学計測機器である立体オブジェクト２を撮像するためのカメラ３と、そのカメラ３の水平２軸周りの各傾きをそれぞれ検出する傾斜計４と、前記カメラ３によって撮像された画像データを受信し、その画像データから立体オブジェクト２のポーズ、すなわち姿勢及び／又は位置や、各部位の空間座標等を算出するユーザ側情報処理装置５１とを備えている。

カメラ３は、ここでは例えばビデオカメラであって、立体オブジェクト２の動画を撮像するものである。なお、このオブジェクト認識装置１は、動画を構成する１枚１枚の静止画（フレーム）のデータからそれぞれ立体オブジェクト２のポーズや、その各部位の位置を算出するものであるから、このカメラ３として写真機のように静止画を撮像するものを用いても構わない。

傾斜計４は、インクリノメータあるいはクリノメータなどと称されるものであり、ここではカメラ３に取り付けられて、当該カメラ３の直交する水平二軸周りのカメラ３の傾きを検出する。この種の傾斜計４としては、測定方法の異なる種々のタイプのものが開発されているが、原理的にはどのタイプを用いてもよい。もちろん、検出精度がよく、測定時間の短いものが好ましく、本実施形態では精度が０。００１°〜０。１°のものを用いている。

ユーザ側情報処理装置５１は、ＣＰＵ、メモリ等からなるコンピュータ本体５１１、ディスプレイなどの出力機器５１２、キーボード、マウス、ポインティングデバイスなどの入力機器５１３等を備えた、例えば汎用のノート型パーソナルコンピュータやタブレットＰＣなどであり、インターネットやローカルＬＡＮなどを介してエキスパート側情報処理装置５２との間でデータの授受ができるように接続されている。しかして、このユーザ側情報処理装置５１は、前記メモリに記憶されたオブジェクト認識用プログラムに従って、ＣＰＵやその他の周辺機器が協働することにより、図６に示すように、ポーズ情報算出部５１ａ、座標算出部５１ｂ、関連情報格納部５１ｃ、関連情報抽出部５１ｄ等としての機能を発揮する。

これら各部の機能を次に説明する。

ポーズ情報算出部５１ａは、透視ｎ点解法を利用して、画像に映し出された立体オブジェクト２のポーズを算出するものであり、ここでは、前記立体オブジェクト２に設定された３点の定点を利用する。定点とは、立体オブジェクト２との相対位置関係が変動せず、しかもその相対位置関係が既知、すなわちコンピュータのメモリに予め蓄えられたものであって、立体オブジェクト２の画像データから情報処理装置５１（コンピュータ）が認識可能な特徴的なポイントのことである。例えば、立体オブジェクト２の特徴的な形状部分（例えば角部分）を定点と設定してもよいし、何か目印となる表示をオブジェクト２の表面につけて、それを定点としてもよい。ただし、各定点をそれぞれ識別できるようにしておく必要がある（単に定点と判別できるだけでは足りず、それがどの定点であるのか、画像データなどから情報処理装置５１が識別できるユニークなものでなければならない）。

この実施形態では、ユーザ側情報処理装置５１に定点認識部５１ｅを設け、その定点認識部５１ｅが画像データを画像処理することによって各定点を識別し、画像上における二次元座標を特定するようにしている。

かかるポーズ情報算出部５１ａによる、より具体的なポーズ算出過程を、その原理説明を交えながら詳述すると以下のとおりとなる。

図２に示すように、立体オブジェクト２の空間座標系を(M_０、 u、 v、 w)、カメラ３の空間座標系を(Ｏ、 i、 j、 k)とすれば、オブジェクト座標系で表したオブジェクト２上の定点 Mi = (Ui、 Vi、 Wi)^Tは、以下の変換式（数１）により、カメラ３の座標系での座標(Xi、 Yi、 Zi)^Tに変換される。

ここでRは回転行列、Tは並進ベクトルである。添字ｉは、３つの定点を区別するためのもので、０、１、２の３値をとる。

まず、回転行列Rから説明すると、回転行列Rは、周知のように、式（数２）で定義されるものである。
α、β、γは、それぞれワールド座標系（オブジェクト座標系）でのｘ、ｙ、ｚ座標軸周りの回転角度を示し、Rx(α)、Ry(β)、Rz(γ)は、前記各座標軸周りに回転したときの変換行列を表す。

具体的には、式（数３）に示す通りである。なお、ここでｘ軸、ｚ軸が直交する水平二軸であり、ｙが鉛直軸を表す。

ところで、前記傾斜計４が、αとγの角度を出力するから、この回転行列Rを算出するにはβだけを計算すればよい。

一方、並進ベクトルTは、以下の式（数４）で示される。
ここでR³は、カメラ３の座標系での３次元空間を表す。

また、画像Ｇ（図４（ａ）等に示す）、すなわちビデオイメージの二次元座標系(C、i、j)において、前記定点が写る座標、すなわち定点の位置情報m_i=x_i、y_i)は、ピンホールイメージモデルに基づき、以下の式（数５）で算出できる。
ただし、fはカメラ３の焦点距離で既知の値である。

ここまでの前提に基づいて、前記ポーズ情報算出部５１ａが、立体オブジェクト２のポーズを算定するが、そのためには、非線形の２次以上の関数を解く必要がある。この実施形態では、例えばGauss-Newton法やLevenberg-Marquardtアルゴリズムなどの最適化アルゴリズムを用いて解を求める。通常、これらの手法は、４つの定点を必要とするが、ここでは、傾斜計４の検出結果を利用しているので、３つの定点で解を求めることができる。

まず、前記式（数５）から以下の式（数６）を導き出せる。
したがって、Ｚ₀とβがわかれば、立体オブジェクト２のポーズに関する情報であるポーズ情報を算定できる。

ここでψ_iを、R^２→R、すなわち２次元から１次元への変換関数と定義すれば、ψ_iは、以下の式（数７）で表すことができる。

しかして、ポーズ情報を算出するためのＺ₀、βは、以下のコスト関数σの最小化問題を解くことにより得られる。

なお、この実施形態では、ロバスト性が高いという観点から、解法としてLevenberg-Marquardtアルゴリズムを用いている。その他の手法を用いても構わない。

前記最小化問題を解くには、Ｚ₀、βの初期値を与える必要があるが、どのような初期値でもよいというわけではなく、最終解にできるだけ近い初期値を与えた方が、反復最適化による探索計算を早く、しかも正確に行える。

具体的には、動画における１つ前のフレーム（静止画像）で求めた解を、初期値として与えるようにしている。フレーム間の非常に短い時間で立体オブジェクト２のポーズが大きく変わることは、通常考えにくく、前のフレームでの解が、対象フレームでの解と近似している場合が多いからである。

このように、１つ前のフレームが存在している場合は、初期値設定を容易に行うことができるが、最初のフレームでの初期値をどのように設定するかという問題は残る。

これについて、本実施形態では、以下のような手法を用いて、ポーズ情報算出部５１ａによる初期値設定が行われるようにしている。

ここでは、立体オブジェクト２が静止しているので、前記３定点のうちの２定点を結んだ直線が略鉛直となり、残りの１定点と前記２定点のうちの１定点とを結んだ直線が略水平となるように前記各定点の位置を設定する。言い換えれば、図３に示すように、３つの定点を結ぶ直線が三角形を形成するように構成し、そのうちの１辺が鉛直、他の１辺が水平となるように、３定点を設定する。

このような構成にした場合、タレスの定理（Thale’s therem）と前記式（数５）から、Ｚ₀を、下記の式（数９）で表すことができる
ここで、Hは、図４（ａ）に示すように、（M₀M₁）//（Hm₀）かつH∈（OM₁）と定義されるポイントである。この式（数９）からわかるように、Ｚ₀を算出するには、並進ベクトルTを算出すればよく、そのためには‖Hm₀‖を算出すればよい。

しかして‖Hm₀‖は、下記の式（数１０）で表すことができる。
ここで、δとｓは、αの値とy₁、y_c、y₀の相対位置とに依存して定まるものであり、表１にその関係を示す。

例えば、θ＜０（すなわち、α＜０）で、かつy₁≦y_c≦y₀（図５参照）であるとすれば、s=1、δ=|θ|-φである。

図４（ｂ）からも直感的にわかるように、α（これは傾斜計４からの出力で得られる）とθとの差は微小であると考えられるから、この実施形態では、Ｚ₀を算出するために、最初にθをαと仮定し、その結果得られるＺ₀を初期値として計算を始めるようにしている。

次にβであるが、この値を求めるためには、まず回転行列Rを算出する必要がある。前記式（数１）、（数３）、(数４)から、以下の式（数１１）を導くことができる。なお、ここでの添字i = 1 or 2である。

また、各係数は以下のように定義される。

この式から明らかなように、２つの線形方程式と２つの未知数cosβ、sinβがあるので、この実施形態では、定点M₁又はM₂を用いることにより、βを求めるようにしている。

以上のように、ポーズ情報算出部５１ａは、立体オブジェクト２のポーズ、すなわち、立体オブジェクト２の姿勢及び／又は位置を示すポーズ情報を算出する。

ところで、このポーズ情報が算出できたとしても、単一画像から立体オブジェクト２の任意の点（指定点）の空間座標を算出することは難しい。立体オブジェクト２上の任意の点Ｍの、画像平面座標系における座標を（ｘ,ｙ）、カメラ空間座標系における座標を（Ｘ,Ｙ,Ｚ）^Ｔ、オブジェクト空間座標系における座標を（Ｕ,Ｖ,Ｗ）^Ｔとすれば、式（数１）同様、以下の式（数１３）が成り立つ。

また、式（数５）同様、以下の式（数１４）が成り立つ。

ここでの最終目標は、任意の点Ｍの空間座標、すなわちＵ,Ｖ,Ｗ（又はＸ,Ｙ,Ｚ）を求めることだから、式（数１３）及び式（数１４）から、これを解くための式を導くと以下の式（数１５）のようになる。

これを解くにはＺを算出する必要があるが、それはほとんど不可能である。なぜなら、簡単に言えば、画面からは奥行き情報（Ｚ方向の情報）を得られず、画面において、ある点ｍを特定しても、空間で言えば、その奥行き方向に無限の点が存在することになり、それのどれかを特定することはできないからである。

そこで、この実施形態では、画像上の指定点に対応する空間座標を算出すべく、座標算出部５１ｂを設けている。
座標算出部５１ｂは、前記立体オブジェクト２の三次元形状情報を取得し、その三次元形状情報と前記ポーズ情報とを照合するとともに、その照合結果と、前記立体オブジェクト２上の任意の指定点の前記画像上での二次元座標とに基づいて、その指定点の、立体オブジェクト２における実際の三次元位置座標を算出するものである。

この座標算出部５１ｂについて図７のフローチャートを参照しながら、より具体的に説明する。立体オブジェクト２の三次元形状情報は、この実施形態では、メモリの所定領域に設けた三次元形状情報格納部５１ｆに例えばＣＡＤデータとして格納されている。

座標算出部５１ｂは、立体オブジェクト２の三次元形状情報が示す三次元形状を、有限要素法を用いることにより、それぞれが唯一の三次元位置座標で示される微小なポリゴンＰＬ（図８参照）に分割する（ステップＳ１）。そして、そのポリゴンＰＬに分割された三次元形状を変形し、前記ポーズ情報が示す立体オブジェクト２のポーズに合致させる（ステップＳ２）。

次に、その変形させた三次元形状を画像上の立体オブジェクト２に当て嵌める。このことにより、当該立体オブジェクト２について、画像上の二次元座標と、ポリゴンＰＬに分割した三次元位置座標との対応関係を特定する（ステップＳ３）。この対応関係を示す情報は、例えばメモリの所定領域に設定した対応関係情報格納部５１ｇに格納しておく（ステップＳ４）。

この状態で、例えばユーザやエキスパートが画像上で立体オブジェクト２の任意の点をマウスクリックなどによって選択する（ステップＳ５）と、座標算出部５１ｂは、その二次元座標を読み取り、それに対応する三次元位置座標を前記対応関係情報格納部５１ｇから抽出（算出）する（ステップＳ６）。

関連情報抽出部５１ｄは、前述したように単一画像Ｇ上で立体オブジェクト２上の任意の点が指定され、その指定点の三次元位置座標が、座標算出部５１ｂによって算出されると、その三次元位置座標に紐付けられた関連情報を前記関連情報格納部５１ｃから抽出し、例えば同一画像上にその関連情報の内容を表示出力するものである。

関連情報格納部５１ｃは、前記立体オブジェクト２における各三次元位置座標にそれぞれ紐付けられた関連情報を格納している。この関連情報とは、三次元位置座標の示す部位に配設されている部材の属性を示すものであり、例えば名称や機能、操作方法、あるいはメンテナンス情報などのことである。

このように構成したオブジェクト認識装置及びナレッジマネージメントシステムの使用方法の一例について次に説明する。

例えばユーザが、ユーザ側情報処理装置５１において、そのディスプレイ上に写った立体オブジェクト２の所望の点（部位）に、マウスのポインタを位置づけ、クリックするなどして、その点を指定する。このことにより、座標算出部５１ｂが、その指定点の画像上における二次元座標から、実際の立体オブジェクト２上の三次元位置座標を算出する。そして関連情報抽出部５１ｄが、その三次元位置座標から立体オブジェクト２の部位を特定し、その属性に係る関連情報、ずなわち、名称や機能、操作方法等を関連情報格納部５１ｃから抽出して表示出力する。

このとき、例えば、画像データや関連情報をエキスパート側情報処理装置５２に送信して、さらに詳細なコメントや指示をリアルタイムでエキスパート側情報処理装置５２から受信するようにしてもよい。また、エキスパート側情報処理装置から画像上の任意点を指定して、その指定点に対応する立体オブジェクト２の関連情報等を、ユーザ側情報処理装置５１に表示させるようにしても構わない。

このように、本実施形態に係るオブジェクト認識装置１によれば、ユーザが実際に使用する装置（立体オブジェクト２）を、自分の好みの方向やズームで撮像し、その画像をリアルタイムで見ながら、所望の部位を画像上で指定するだけで、その部位に係る種々の情報を得ることができる。つまり、ユーザが自ら積極的に知りたいところを指定することで、その情報を滞りなくしかも確実に知ることができるため、物理面、心理面の両面からユーザの負担を軽減することができる。これに対し、従来のマニュアル類は、それが紙媒体のものにせよ動画等を含んだ電子媒体のものにせよ、ユーザにとって、予め与えられた図や説明を読んで、操作部位や操作方法を特定しなければならない押しつけ的なものであり、このようなものでは、複雑な構造や難しい操作方法を有した装置などにおいて、ユーザに大きな負担がかかる。

さらに、このオブジェクト認識装置１を用いてナレッジマネージメントシステム１００を構築することで、装置の操作方法やメンテナンス作業等に係る知識を、装置の部位や名称をビジュアルに特定しながら、エキスパートとの間でインタラクティブに共有することも可能になる。そしてこのことにより、技能やノウハウといった、いわゆる暗黙知の客観的な伝達もある程度可能になり、ナレッジ（知識）マネージメント分野における新たな発展に寄与し得ると考えられる。

より具体的な効果について付言すれば、このオブジェクト認識装置１は、傾斜計４からの角度情報を利用しているので、定点が２つ乃至３つでも、ポーズ情報の算出結果の信頼性を担保でき、また、定点を少なく設定できることから、その計算時間の短縮化を図ることができる。

特に本実施形態では、その３定点のうちの２定点を結んだ直線が略鉛直となるように設定するとともに、その設定を利用して適切な初期値を前記傾斜計４からの一の角度情報を用いて計算するようにしているので、その効果がさらに顕著なものとなる。

なお、本発明は、前記実施形態に限られるものではない。例えば、立体オブジェクト２は、科学計測機器などに限られず、電化製品やコンピュータ、建築物などでもよいし、三次元形状情報さえ存在するのであれば、山や川などの自然物に適用することも可能である。

また、前記実施形態では、３つの定点を利用したが、精度が若干落ちることを許容すれば、２つの定点でも構わないし、計算時間を犠牲にして精度を向上させるなら、４つ以上の定点を利用してもよい。４つ以上の定点を利用する場合は、実施例で述べたように、傾斜計４を用いない従来のものよりも、精度の向上や計算時間の短縮を図ることができる。

さらに、単純に３つの定点だけを設定したのでは、撮像方向によっては、その３つの定点のうちのいずれかが隠れてしまい、計算できなくなる恐れが生じる。したがって、どの方向から撮像しても、その画像内に定点が３つ以上存在するように、多くの（つまり４つ以上の）定点を設定しておき、実際の計算では、画像に現れた定点の中から３つを情報処理装置が選択して、立体オブジェクト２のポーズ情報を算出するようにすればなおよい。なお、選択された定点がどの定点にあたるのか、各定点の違いを識別する認識部は、もちろん必要である。

さらに、ポーズ情報は、傾斜計を用いることなく、４以上の定点を用いるなどの既存の方法を使って算出するようにしても構わない。
その他、本発明は、その趣旨を逸脱しない範囲で、種々変形が可能である。

本発明の一実施形態におけるオブジェクト認識装置の全体模式図。 同実施形態における座標系を説明するための座標系説明図。 同実施形態における定点の設定方法を示した定点説明図。 同実施形態における初期値設定に関する理解を助けるための補助図。 同実施形態における初期値設定に関する理解を助けるための補助図。 同実施形態におけるユーザ側情報処理装置の機能ブロック図。 同実施形態における座標算出部の動作を説明するフローチャート。 立体オブジェクトをポリゴン化した状態を示すポリゴン図。

符号の説明

１・・・オブジェクト認識装置
２・・・立体オブジェクト
３・・・カメラ
４・・・傾斜計
５１・・・ユーザ側情報処理装置
５１ａ・・・ポーズ情報算出部
５１ｂ・・・座標算出部
５１ｃ・・・関連情報格納部
５１ｄ・・・関連情報抽出部

Claims (6)

1. 立体オブジェクト及びその立体オブジェクトとの相対位置関係が既知である複数の定点を撮像する単一のカメラと、
   そのカメラの画像上における前記各定点の二次元座標をパラメータとして、前記立体オブジェクトの空間内のポーズに関する情報であるポーズ情報を算出するポーズ情報算出部と、
   前記立体オブジェクトの三次元形状情報を取得し、その三次元形状情報と前記ポーズ情報とを照合するとともに、その照合結果と、前記画像上における立体オブジェクト上の任意の指定点の二次元座標とに基づいて、その指定点の立体オブジェクトにおける実際の三次元位置座標を算出する座標算出部と、を備えているオブジェクト認識装置。
2. 前記立体オブジェクトにおける各三次元位置座標にそれぞれ紐付けられた関連情報を格納している関連情報格納部と、
   前記座標算出部において指定点の三次元位置座標が算出されると、その三次元位置座標に紐付けられた関連情報を前記関連情報格納部から抽出する関連情報抽出部と、をさらに備えている請求項１記載のオブジェクト認識装置。
3. 前記関連情報が、三次元位置座標の示す部位に配設されている部材の属性を示すものである請求項２記載のオブジェクト認識装置。
4. 前記カメラの水平２軸周りの各傾き角度をそれぞれ検出して、その検出結果を角度情報として出力する傾斜計をさらに備え、
   前記ポーズ情報算出部が、前記各定点の二次元座標に加えて、前記傾斜計から出力される前記２軸周りの各角度情報をパラメータとして、前記ポーズ情報を算出するものである請求項１、２又は３記載のオブジェクト認識装置。
5. 前記ポーズ情報算出部が、所定の初期値から反復最適化計算を行って定点の三次元空間座標を求め、その三次元空間座標から前記ポーズ情報を算出するものであって、
   ３つの定点を利用するとともに、その３定点のうちの２定点を結んだ直線が略鉛直となり、残りの１定点と前記２定点のうちの１定点とを結んだ直線が略水平となるように前記各定点の位置を設定しておき、
   前記ポーズ情報算出部が、鉛直軸とカメラの画像面とのなす角度から本来計算されるべき定点の三次元空間座標を、その角度に代えて前記傾斜計から出力される一の角度情報の値を用いて仮定計算し、その仮定計算した結果を初期値として、定点の三次元空間座標を算出するようにしている請求項４記載のオブジェクト認識装置。
6. 立体オブジェクト及びその立体オブジェクトとの相対位置関係が既知である複数の定点を撮像する単一のカメラを利用するものであって、
   そのカメラの画像上における前記各定点の二次元座標をパラメータとして、前記立体オブジェクトの空間内のポーズに関する情報であるポーズ情報を算出するポーズ情報算出部と、
   前記立体オブジェクトの三次元形状情報を取得し、その三次元形状情報と前記ポーズ情報とを照合するとともに、その照合結果と、前記画像上における立体オブジェクト上の任意の指定点の二次元座標とに基づいて、その指定点の立体オブジェクトにおける実際の三次元位置座標を算出する座標算出部と、
   としての機能をコンピュータに発揮させるオブジェクト認識用プログラム。