JP2001175860A - フィードバック処理のある３次元物体認識装置及び方法並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】認識結果の正しさを評価し、評価結果に基づ
き、認識処理における所定のパラメータを修正したり、
認識処理の方式を変更することで、実写映像中の物体の
位置や方向をより正確に認識可能とする３次元物体認識
装置の提供。 【解決手段】３次元映像合成手段１２において、認識処
理手段２１による認識処理結果の物体の位置や形状に関
する情報を用いて、背景映像と物体の３次元モデルを３
次元ＣＧ空間において合成し、フィードバック制御手段
１３において合成後の映像と元の実写映像の類似性を算
出し、類似度が閾値より低い場合には誤認識であると判
定し、認識処理のパラメータや認識方式を変更するとい
ったフィードバック制御を行い再度認識処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写映像中の３次
元物体の位置や方向を認識する３次元物体認識装置及び
方法並びに記録媒体に関する。

【０００２】

【従来の技術】従来、３次元物体認識を行う方式として
は、村瀬らによる「２次元照合による３次元物体認識」
と題する論文（電子情報通信学会論文誌D2,Vol.J77, N
o.11,pp.2179-2187, 1994）（「文献１」という）を始
めとして、対象物体の３次元モデルが既知の場合に、３
次元物体を複数方向から観察した場合の見掛けの２次元
画像を予め算出し、実写映像中の物体の画像を見掛け画
像と比較することにより、実世界での３次元物体の位置
や方向を算出する方式が提案されている。

【０００３】また、３次元物体認識を行う別の方式とし
て、池内らによる「幾何モデルより導出された解釈木に
よるビンピッキングタスク中の対象物の位置姿勢決定」
と題する論文（電子情報通信学会論文誌D,Vol.J70, No.
1, pp.127-138, 1987）（「文献２」という）を始めと
して、対象物体の３次元モデルが既知の場合に、実写映
像から抽出した特徴と物体の３次元モデルとを比較する
ことによって物体の位置や方向情報を算出する方式が広
く知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記し
た方式及び装置は、下記記載の問題点を有している。

【０００５】上記文献１等の方式では、見掛け画像を算
出した時点と認識時点との間で照明条件などが変化した
場合に、精度の高い認識を行うことが困難であることな
どを要因として、誤認識を行う可能性がある、というこ
とである。

【０００６】上記文献２等の方式では、対象物体の幾何
的特徴が少ない場合の認識率が低いことなどを要因とし
て、誤認識を行う可能性がある、ということである。

【０００７】また、認識時の計算量を削減するために、
特定の特徴量を用いて認識処理を行っている結果とし
て、誤認識された場合の結果は、実世界の状態と若干の
相違があるといった程度ではなく、例えば、人が見れば
一見して誤認識とわかる程度の大きな相違を生じること
が多い。一見して誤認識とわかる程度の大きな相違を生
じている場合にも、自動的にそれを感知して補正する手
段を備えていない。

【０００８】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、３次元物体認識装
置において、認識結果の正しさを評価し、評価結果に基
づき、認識処理における所定のパラメータを修正した
り、認識処理の方式を変更することで、実写映像中の物
体の位置や方向をより正確に認識可能とする装置及び方
法並びに記録媒体を提供することにある。

【０００９】

【課題を解決するための手段】前記目的を達成する本発
明は、実写映像から対象物体を除いた背景画像を切り出
す手段と、認識処理の結果として得られた３次元物体の
位置および方向情報を基に、前記対象物体の形状情報と
して予め与えられる３次元モデルを、前記切り出された
背景画像上に３次元的に合成する手段と、前記合成され
た画像と元の対象物体を含む実写映像との類似度を算出
し、前記類似度が予め定められた閾値を下回った場合に
は、前記認識処理の結果が誤っているものと判断し、前
記認識処理のパラメータの変更や認識処理方式の変更を
行うための制御情報を送出するフィードバック制御手段
と、を備えている。

【００１０】本発明に係る方法は、撮像手段で撮像され
た映像（「実写映像」という）から物体を認識する方法
において、前記実写映像から対象物体を除いた背景画像
を切り出すステップと、認識処理の結果として得られた
３次元物体の位置および方向情報を基に、対象物体の形
状情報として記憶手段に予め格納されている３次元モデ
ルを、前記切り出された背景画像上に３次元的に合成す
るステップと、前記合成された画像と元の対象物体を含
む実写映像との類似度を算出するステップと、前記類似
度が予め定められた閾値を下回った場合には、前記認識
処理のパラメータの変更や認識処理方式の変更を行うた
めのフィードバック制御情報を送出し、再度認識処理を
行うステップと、を含む。

【００１１】

【発明の実施の形態】本発明の実施の形態について以下
に説明する。本発明は、その好ましい一実施の形態にお
いて、認識した物体の位置や方向情報を基に、対象物体
の３次元モデルを背景映像上に合成し、その結果と実写
映像とを比較することによって、認識結果の「正しさ」
を評価判定し、判定の結果、「正しさ」が閾値を下回っ
た場合には、認識処理における所定のパラメータを修正
するか、認識処理の方式そのものを切り替えるなどのフ
ィードバック処理を行い、より正確な３次元物体認識を
行うものである。

【００１２】本発明の３次元物体認識装置は、その好ま
しい一実施の形態において、対象物体を実写した映像か
ら、対象物体の位置や方向情報を認識する認識処理手段
（２１）と、該実写映像から対象物体を含まない背景映
像を切り出す背景画像切り出し手段（１１）と、認識処
理手段（２１）で認識された物体の位置や方向情報と対
象物体の３次元モデルと背景画像切り出し手段（１１）
からの背景映像とを３次元的に合成する３次元映像合成
手段（１２）と、３次元映像合成手段（１２）で合成さ
れた映像を実写映像と比較することによってこれらの間
の類似度を算出し、類似度すなわち認識結果の正しさが
閾値を下回った場合に認識処理における所定のパラメー
タや認識処理方式そのものを切り替えるフィードバック
制御を行うフィードバック制御手段（１３）と、を備え
ている。

【００１３】本発明の３次元物体認識装置においては、
認識結果として得られた物体の位置や方向に関する情報
を用いて、背景映像と３次元物体に対応する３次元モデ
ルとを３次元ＣＧ（Computer Graphics）の手法によっ
て合成し、その結果として背景と３次元物体が合成され
た２次元映像を生成する。

【００１４】さらに、この合成映像と元の実写映像とを
比較することでそれらの類似度を判定し、類似度が低け
れば認識結果が誤っていると判断し、認識処理に関する
パラメータ変更や認識方式そのもののを変更するといっ
たフィードバック処理を行う。

【００１５】かかる構成の本発明の一実施の形態におい
ては、従来の装置では、一見して誤認識とわかる程度に
大きな誤りのある状態のまま認識結果として出力されて
いたような場合においても、フィードバック制御によっ
て、パラメータの変更や認識処理方式を変更し再度認識
処理を行うことによって、より正確な３次元物体の認識
結果を出力することが可能となる。

【００１６】

【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。図１は、本発明の一実施例をなす３
次元物体認識装置の構成を示す図である。

【００１７】３次元物体認識装置は、不図示の撮像手段
等で取得された実写映像から３次元物体認識を行う認識
処理手段２１と、認識処理手段２１で用いる３次元モデ
ルを格納する３次元モデル格納手段２２と、フィードバ
ック処理手段１と、を備えている。

【００１８】３次元モデル格納手段２２に格納される３
次元モデル４３は、例えばＶＲＭＬ形式のデータよりな
り、幾何形状に関する情報と、物体表面の色情報やテク
スチャ情報とで構成される。

【００１９】認識処理手段２１においては、実写映像４
１に写り込んでいる３次元物体の実世界での位置情報と
方向情報とを算出する。ここで、認処理識手段２１の処
理方式としては、上記文献１、２等に記載された方法等
公知の手法が用いられる。

【００２０】その際、実写映像４１は、認識処理手段２
１の方式や種別等に応じて、単眼のカメラで撮影した映
像や、複数カメラで撮影された映像で構成される。

【００２１】図４は、本発明の一実施例におけるフィー
ドバック処理手段１における制御の具体例を説明するた
めの図である。対象物体６９を撮像する複数（図４では
４台）のカメラ６１〜６４を備え、これらのカメラの実
写映像（画像情報）は映像選択手段６５に供給され、映
像選択手段６５には、図１に示したフィードバッグ処理
手段１からの制御情報をなすカメラ選択指示情報６８が
供給され、カメラ選択指示情報６８で選択される、例え
ば２台のカメラの実写映像が認識処理手段２１に供給さ
れる。

【００２２】以下、２台のカメラを用いた場合の認識処
理手段２１における３次元物体の位置情報の算出方法の
一例について説明する。認識処理手段２１において、３
次元物体の位置情報の算出は、 ・物体の切り出し処理、 ・重心の決定、 ・物体の３次元位置推定 の３段階の処理で行われる。

【００２３】まず、物体の切り出し処理について説明す
る。図７は、本発明の一実施例において、物体の切り出
し処理の構成を説明するための図である。図７を参照す
ると、実写映像背景画像格納手段９２には、対象物体を
含まない実写映像を背景画像(図２(a))として予め格納
しておく。なお、図２は、物体の切り出し処理の一具体
例を説明するための画像を示す図である。

【００２４】次に、差分処理手段９１においては、図２
(b)に示すところの映像が実写映像９４として入力さ
れ、実写映像９４(図２(b))と背景画像９３(図２(a))と
の差分をとり、差が閾値より小さい領域をマスク領域５
１とする画像をマスク画像(図２(c))として生成する。

【００２５】さらに、差分処理手段９１では、マスク領
域５１(図２(c)参照)に対応する領域を、実写映像(図２
(b))からとり除いた画像を、物体切り出し画像９５(図
２(d))として生成出力する。

【００２６】物体切り出し画像９５においては、対象物
体５０以外の領域は、ブランク領域５２(図２(d)参照)
として、意味のない画像(例えば全黒、全白など)で埋め
られている。

【００２７】このようにして生成された物体切り出し画
像を図８（ａ）に示す。

【００２８】物体切り出し処理の次に行われる、重心の
決定処理について説明する。図８は、本発明の一実施例
における物体の重心算出処理を説明する図である。

【００２９】重心の決定処理の一例としては、図８
（ａ）に示すように、物体切り出し画像101において、
対象物体を囲む最小の矩形をバウンディングボックス10
2として算出し、その中心を物体の重心１０３とする方
法が用いられる。この時、カメラ位置と物体の重心位置
との関係を、図８（ｂ）に示す。

【００３０】図８（ｂ）を参照すると、カメラの画角１
０５は、カメラパラメータとして既知であるため、重心
１０３の物体切り出し画像１０１（図８（ａ））内での
縦横分割比から、重心ベクトル１０６(実世界でカメラ
位置から対象物体の重心に向かうベクトル)を求めるこ
とができる。

【００３１】なお、図８（ｂ）では、画角や方向ベクト
ルの横方向の成分についてのみが示されているが、縦方
向についても同様である。以上の処理を、複数のカメラ
映像の少なくとも２つ以上について行う。

【００３２】次に、対象物体の３次元位置推定処理につ
いて説明する。図３は、対象物体の３次元位置推定処理
を説明するための図である。図３に示すように、重心の
決定処理で求められた重心ベクトルの交点を求めること
によって、対象物体の３次元位置推定処理を行う。図３
には、実世界において対象物体を、カメラＡ５３、カメ
ラＢ５４が捉えており、それぞれのカメラ映像における
重心ベクトル５７、５８が示されている。また、重心ベ
クトルは、推定位置５９付近で交差しており、この位置
に対象物体の重心が存在していると推定することができ
る。なお、図３では、説明の都合上、平面図を用いてい
るが、各重心ベクトル５７、５８は３次元ベクトルであ
るため、一般には交点が存在しない。したがって、ベク
トルが交差ない場合には、例えば重心ベクトル相互の最
近点を求め、最近点間を結ぶ直線の中点を対象物体の推
定位置５９(３次元的な位置情報である)としている。

【００３３】なお、位置情報の算出については、図３に
示した手法に限定されるものではなく、例えば３台以上
のカメラ映像を用いてより高精度に位置を推定する方法
等を用いてもよいことは勿論である。

【００３４】次に、本発明の一実施例において、対象物
体の方向情報の算出について説明する。

【００３５】方向情報の算出については、前述の村瀬ら
による論文に示される固有空間法や、池内らによる論文
に示される３次元的な特徴情報を用いる方法など、公知
の方法が用いられる。

【００３６】また、対象物体上に他の部位と比較して容
易に検出できる幾何的特徴あるいは視覚的特徴(例え
ば、特定箇所だけ、色が他と異なる等)を持つ部位(この
部位を「特徴点」という)が存在し、かつ、予め与えら
れる対象物体の３次元モデル上での各特徴点の３次元位
置が既知である場合には、例えば以下の処理によって方
向情報の算出が行われる。

【００３７】図５は、本発明の一実施例における物体の
方向情報算出の説明するための図である。

【００３８】例えば、図５（ａ）において、クマの両耳
７１、７２が「２重の半円」という特徴的な輪郭を持っ
ており、さらにヘソ７３が「この部分だけ赤い」という
特徴的な色である場合、これらの３点（第１及至第３の
特徴点７１〜７３）は、輪郭抽出や特定色領域抽出など
の処理を施すことによって、実写映像から容易に検出す
ることができる。すなわち、実写映像中での特徴点の位
置は容易に得ることができる。

【００３９】すると図５（ｂ）に示すように、重心ベク
トルの場合と同様にして、実世界においてカメラ位置７
７を始点として、各特徴点へ向かう方向ベクトル７４、
７５、７６を求めることができる。

【００４０】さらに、別カメラ映像からも、同様に、三
つの方向ベクトルを求め、重心ベクトルから物体位置推
定を行う場合と同様にして、各カメラ映像における第一
の方向ベクトルどうしの交点または最近点を結ぶ線分の
中点を求め、第１の特徴点の推定位置を求める。また第
一の特徴点の推定位置と同様にして、第２、第３の特徴
点の位置も推定できる。

【００４１】ここで、一般に、物体を構成する３点の３
次元位置が決定すれば、物体全体の向きが一意に決ま
り、上記処理で、３つの特徴点の推定位置が算出された
対象物体について、その方向情報を一意に求めることが
できる。

【００４２】以上の処理によって、認識処理手段２１に
おいて、実写映像４１に写り込んでいる３次元物体の実
世界での位置情報と方向情報とを算出する。

【００４３】次に、本発明の一実施例におけるフィード
バック処理手段１について説明する。

【００４４】図１を参照すると、フィードバック処理手
段１は、実写映像４１から背景画像３１を切り出す背景
画像切り出し手段１と、認識結果４２に基づいて、３次
元モデル４３を背景画像31に３次元的に合成する３次元
映像合成手段１２と、合成映像３２と実写映像４１の類
似度を判定し、類似度が閾値を下回る場合に誤認識であ
ると判定し認識処理手段２１の所定のパラメータや認識
処理手段２１で用いる方式を変更するためのフィードバ
ック制御情報３３を送出するフィードバック制御手段１
３、とを備えている。

【００４５】背景切り出し手段１１としては、 ・システム起動直後など、対象物体がカメラの撮影範囲
にまだ存在していない状態で、予め背景を撮影し格納し
ておく方法、 ・背景となる部屋の形状が既知である時に２台以上のカ
メラを用いてステレオ処理によって距離画像を生成し、
部屋形状に対応する距離を持つ領域を背景とする方法、 ・撮影範囲内で対象物体のみが移動し得る場合におい
て、実写映像の連続するフレーム画像を加算平均するこ
とで、例えば対象物体が数百フレームの中の数フレーム
にしか写っていない場合に、対象物体の映像をほとんど
見えない程度にまで薄めたものを背景画像とする方法、 等が用いられるが、実写映像から対象物体を取り除いた
背景映像を抽出するものであれば任意の方法を用いるこ
とができる。

【００４６】なお、切り出した背景画像は、背景切り出
し手段１１の内部に格納してもよいし、認識処理手段２
１内部の背景画像格納手段(図７の９２)などと共有する
領域に格納してもよい。

【００４７】また、実世界の照明条件などは刻一刻と変
化するため、背景切り出し手段１１における背景切り出
し処理は、１回のみではなく、例えば、 ・一定間隔毎に行う、 ・部屋の明るさを常時測定しその変化量が閾値を超えた
場合に行う、 等により、装置を利用する間は、適宜行われる。

【００４８】図６は、本発明の一実施例における３次元
映像合成手段１２の合成処理を説明するための図であ
り、３次元ＣＧを用いて、背景と３次元モデルの合成を
説明するための図である。図１、図６を参照して、３次
元映像合成手段１２の処理について説明する。

【００４９】まず、対象物体に関しては、予め３次元モ
デルが与えられることが前提であり、すなわち実際のサ
イズも既知とする。

【００５０】３次元映像合成手段１２では、認識処理手
段２１から出力される認識結果４２に含まれる対象物体
の位置および方向情報を基に、背景切り出し手段１１か
ら出力される背景画像３１上に、対象物体の３次元モデ
ルを、認識結果の位置、および方向が反映されるように
配置し、３次元ＣＧの公知の手法によって、これらを３
次元的に合成した映像を生成する。

【００５１】図６において、視点位置８０を頂点とする
四角錐は、３次元ＣＧにおけるビューを示したものであ
る。四角錐の中の最近面８５と最遠面８６の間の部分が
３次元ＣＧの描画対象として処理される領域となる。こ
こで、３次元CGにおける仮想視点は視点位置８０にあ
り、視線は、視点位置８０を始点とし、最近面８５およ
び最遠面８６の中心を通るベクトルである。

【００５２】合成処理としてしては、まず、図６中の横
方向視野角８１および縦方向視野角８４を、実写映像を
撮影したカメラの視野角と等しくなるように設定する。
これにより、３次元ＣＧにおける方向が、実世界のカメ
ラ撮影の方向に対応することになる。

【００５３】実世界のカメラ座標系を３次元ＣＧ座標系
に変換する変換行列をＭとする。背景画像が３次元的に
表現されていれば、認識処理結果４２として得られた対
象物体の位置および方向の情報と、３次元モデルと、背
景画像とを、行列Ｍによって写像することで、認識結果
を基にした画像合成を行うことができる。

【００５４】ところで、一般には、実写映像から得られ
る背景画像は２次元画像であるため、例えば、下記の手
順によって合成を行う。

【００５５】まず、最近面８５と最遠面８６の間の任意
の位置にそれらの面と平行な背景投影面８３を定義す
る。この背景投影面８３には、３次元ＣＧのテクスチャ
マッピング機能によって、背景画像３１を背景画像３１
と背景投影面８３の大きさが１対１となるように張り付
ける。そして、背景画像３１が定期的に更新される場合
には、更新される毎に、テクスチャマップも再実行す
る。

【００５６】これによって、３次元ＣＧ中では、カメラ
で撮影された実写映像と同じ映像が視野全体を占めるよ
うに投影される。

【００５７】ここで、図６の推定位置ベクトル８７は、
実世界でのカメラ位置を始点とし、認識処理結果４２と
して得られた対象物体の推定位置へ向かうベクトル(図
３、および図８の重心ベクトル)を、３次元ＣＧにおけ
る推定位置ベクトルと、視線方向の位置関係が実世界で
の重心ベクトルとカメラ撮影方向の位置関係に等しくな
るように、行列Ｍで写像したものである。したがって、
３次元モデルの３次元ＣＧ座標系での配置位置は、推定
位置ベクトル上にあることがわかる。ただし、３次元モ
デルは、３次元ＣＧとして描画対象となり、背景映像よ
りも手前に位置する必要があることから、その３次元モ
デル配置点８２（Ｐ）は、推定位置ベクトル上の最近面
８５と背景投影面８３に挟まれた区間上となる。

【００５８】この合成処理では、３次元座標系におい
て、３次元モデルの見掛け上の大きさが所定のサイズに
保たれればよいため、点Ｐの仮想視点８０からの距離
(Ｚ座標値)は、点Ｐが上記区間内にある範囲で任意の値
とし、見掛けの大きさが所定の値になるように、３次元
モデルのサイズを決定すればよい。

【００５９】例えば、図６に示すように、３次元モデル
配置点Ｐ８２を視点位置８０からの距離がｋとなるよう
に配置した場合について説明する。

【００６０】ここで、認識結果４２から得られるカメラ
と、対象物体との実世界での距離をｔ、３次元モデルか
ら得られる対象物体の実世界でのサイズをｕとすると、
３次元モデルのサイズｓは、次式（１） ｓ＝ｕ×ｋ／ｔ …(1) によって得られる。

【００６１】さらに３次元モデルの３次元ＣＧ座標系に
おける方向は、認識結果４２から得られた方向情報を行
列Ｍによって写像することで決定される。

【００６２】以上の通り、背景画像と３次元モデルを３
次元ＣＧ空間上に配置し、３次元ＣＧの描画処理(いわ
ゆる「レンダリング処理」)を行うことによって、背景
画像と、３次元モデルが、認識結果４２に基づいた位置
関係で合成された２次元映像が合成映像３２として生成
される。なお、ここで行うレンダリング処理は、一般に
は処理結果を表示装置上に表示するために行う処理であ
るが、本発明における合成映像３２は３次元物体認識装
置内部で用いるものであり、装置内部（例えば計算機の
メモリ上）において生成参照可能であれば、表示装置上
に表示する必要はない。

【００６３】次に、本発明の一実施におけるフィードバ
ック制御手段１３における処理について説明する。

【００６４】フィードバック制御手段１３においては、
まず、合成映像３２と実写映像４１を入力とし、それら
の間の画像的な類似度を判定することにより、認識処理
手段２１での認識結果４２の正しさを判定する。類似度
が高い程、認識結果４２が正しいといえる。類似度の判
定方法は、公知の方法が用いられる。

【００６５】一つの例としては、拡大縮小処理によっ
て、実写映像と合成映像の画素数を同じにした後(「正
規化」という)、実写映像と合成映像の対応する画素そ
れぞれについて、実写映像でのRGB値と合成映像でのRGB
値の差を求め、この差分値を、映像中の全画素について
加算した値の逆数を、類似度とする。

【００６６】また、 ・正規化後の色成分の比較を行う際に、RGBではなく、Y
UVなどの色空間を用いる方法、 ・YUVとした上で照明の変化を考慮するために、Y、U、V
の差分値にそれぞれに重みを付けた上で加算する方法
(例えば、照明の影響を低減するためには輝度値Yの重み
を他より小さくする) などが用いられる。

【００６７】そして、求められた類似度が、予め定めら
れた閾値を下回った場合には、元の実写映像と認識結果
に基づく合成画像の相違が大きい、すなわち認識結果が
誤りの可能性が高いと思料される。そこで、類似度が下
回った場合には、フィードバック制御手段１３は、認識
方法や処理パラメータの変更を伝えるためのフォードバ
ック制御情報３３を認識処理手段２１に対して送出す
る。

【００６８】フィードバック制御情報３３は、例えば図
４を参照して説明したように、４系統の実写映像から2
系統を選択したものを認識処理手段２１への入力として
いるような場合に、映像選択手段６５に対してどのカメ
ラの映像を選択するかを指示するためのカメラ選択指示
６８を、フィードバック制御情報３３とする。

【００６９】これによって、例えば、対象物体上の特徴
点が物陰になっていたり、特徴点の見掛け上の距離が短
くて精度が得られないような場合に、より条件の良いカ
メラからの映像を用いるように自動的に切り替える。

【００７０】本発明においては、認識結果として得られ
た物体の位置や方向に関する情報を用いて、背景映像と
３次元物体に対応する３次元モデルを３次元CGにより描
画し、背景と３次元物体が合成された２次元映像を生成
し、さらに、この合成映像と元の実写映像とを比較する
ことでそれらの類似度を判定し、類似度が低ければ認識
結果が誤っていると判断し、認識処理に関するパラメー
タ変更や認識処理方式の変更し、再度認識処理を行うこ
とによって、より正確な認識結果を出力することができ
る。このため、従来の手法では、人が一見して誤りとわ
かる程度に大きな差異のある誤認識結果がそのまま出力
されていたような場合においても、本発明においては、
パラメータ変更や処理方式の変更し再度認識処理を行う
ことによって、より正確な認識結果を出力することがで
きる。

【００７１】また本発明において、フィードバック制御
手段における類似度の判定は、画素単位での類似性を加
算することで、映像全体の類似性を判定しており、人が
視覚的に感じる類似性と近い結果を得ることができ、人
の感覚に近い判定が可能である。本来、この判定方法は
認識処理手段においても用いることのできる手法である
が、認識処理手段において用いた場合には、あらゆる角
度の見掛け画像との類似度を判定する必要があり計算量
が膨大となってしまうため実用にならないという問題が
あった。これに対して、本発明においては、画素比較に
基づく類似度判定を、認識結果の正しさの判定時にのみ
用いることで、１回の判定においては２枚の画像の間の
類似性のみを算出すればよく、少ない計算量でなおかつ
人間の感覚に近い判定を効果的に行うことができる。

【００７２】上記した実施例において、認識処理手段２
１と、フィードバック制御手段１の背景画像切り出し手
段１１、３次元映像合成手段１２、フィードバック制御
手段１３は、３次元物体認識装置を構成するコンピュー
タもしくは画像処理専用のプロセッサ等上で実行される
プログラムにより、それぞれの処理・機能を実現するこ
とができる。この場合、上記各手段の処理・機能を実現
するためのプログラムを記録した媒体（半導体メモリ、
ＦＤ（フロッピディスク）、ＣＤ−ＲＯＭ、ＤＶＤ（di
gital versatile disk）、有線又は無線の通信媒体
等）から該プログラムをコンピュータ又はプロセッサで
読み出して実行することで本発明を実施することができ
る。

【００７３】

【発明の効果】以上説明したように、本発明によれば、
３次元物体認識装置においては、より正確な認識結果を
出力することができる、という効果を奏する。

【００７４】その理由は、本発明においては、認識結果
として得られた物体の位置や方向に関する情報を用い
て、背景映像と３次元物体に対応する３次元モデルを３
次元CGにより描画し、背景と３次元物体が合成された２
次元映像を生成し、さらに、この合成映像と元の実写映
像とを比較することでそれらの類似度を判定し、類似度
が低ければ認識結果が誤っていると判断し、認識処理に
関するパラメータ変更や認識処理方式の変更し、再度認
識処理を行うことによって、より正確な認識結果を出力
するような構成としているためである。

【００７５】本発明によれば、従来手法では人間が一見
して誤りとわかる程度に大きな差異のある誤認識結果が
そのまま出力されていたような場合においても、パラメ
ータ変更や処理方式の変更し再度認識処理を行うことに
よって、より正確な認識結果を出力することができる。

【００７６】さらに、本発明において、フィードバック
制御手段における類似度の判定は、画素単位での類似性
を加算することで、映像全体の類似性を判定しており、
人が視覚的に感じる類似性と近い結果を得ることがで
き、人の感覚に近い判定が可能である、という効果を奏
する。

【００７７】そして本発明によれば、類似性の判定にあ
たり、画素比較に基づく類似度判定を、認識結果の正し
さの判定時にのみ用いることで、１回の判定においては
２枚の画像の間の類似性のみを算出すればよく、少ない
計算量で判定することができる、という効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例の３次元物体認識装置の構成
を示す図である。

【図２】本発明の一実施例における認識処理手段におけ
る物体の切り出し処理を説明するための図である。

【図３】本発明の一実施例における認識処理手段におけ
る物体の３次元位置推定処理を説明するための図であ
る。

【図４】本発明の一実施例におけるフィードバック制御
の具体例を説明するための図である。

【図５】本発明の一実施例における認識処理手段におけ
る物体の方向情報算出を説明するための図である。

【図６】本発明の一実施例における３次元映像合成手段
における３次元ＣＧによる背景と３次元モデルの合成を
説明するための図である。

【図７】本発明の一実施例における認識処理手段におけ
る物体の切り出し処理を説明すための図である。

【図８】本発明の一実施例における認識処理手段におけ
る物体の重心算出処理の説明するための図である。

【符号の説明】

１ フィードバック処理手段 １１ 背景画像切り出し手段 １２ ３次元映像合成手段 １３ フィードバック制御手段 ２１ 認識処理手段 ２２ ３次元モデル格納手段 ３１ 背景画像 ３２ 合成映像 ３３ フィードバック制御情報 ４１ 実写映像 ４２ 認識結果 ４３ ３次元モデル ５０ 対象物体 ５１ マスク領域 ５２ ブランク領域 ５３ カメラＡ ５４ カメラＢ ５５ 画角Ａ ５６ 画角Ｂ ５７ 重心ベクトルＡ ５８ 重心ベクトルＢ ５９ 推定位置 ６１ カメラＡ ６２ カメラＢ ６３ カメラＣ ６４ カメラＤ ６５ 映像選択手段 ６６ 全系統の映像 ６７ 選択された映像 ６８ カメラ選択指示 ６９ 対象物体 ７１ 第一の特徴点 ７２ 第二の特徴点 ７３ 第三の特徴点 ７４ 第一の方向ベクトル ７５ 第二の方向ベクトル ７６ 第三の方向ベクトル ７７ カメラ位置 ８０ 視点位置 ８１ 横方向視野角 ８２ ３次元モデル配置地点 ８３ 背景投影面 ８４ 縦方向視野角 ８５ 最近面 ８６ 最遠面 ８７ 推定位置ベクトル ９１ 差分処理手段 ９２ 背景画像格納手段 ９３ 背景画像 ９４ 実写映像 ９５ 物体切り出し画像 １０１ 物体切り出し画像 １０２ バウンディングボックス １０３ 重心 １０４ カメラ位置 １０５ 画角 １０６ 重心ベクトル

Claims (9)

【特許請求の範囲】
1. 【請求項１】撮像手段で撮像された映像（「実写映像」
   という）から対象物体を除いた背景画像を切り出す手段
   と、 認識処理の結果として得られた３次元物体の位置および
   方向情報を基に、前記対象物体の形状情報として予め与
   えられる３次元モデルを、前記切り出された背景画像上
   に３次元的に合成する手段と、 前記合成された画像と元の対象物体を含む実写映像との
   類似度を算出し、前記類似度が予め定められた閾値を下
   回った場合には、前記認識処理の結果が誤っているもの
   と判断し、前記認識処理のパラメータの変更や認識処理
   方式の変更を行うための制御情報を送出するフィードバ
   ック制御手段と、 を含むことを特徴とする３次元物体認識装置。
2. 【請求項２】異なる方向から実写を撮影するための複数
   の撮像手段と、 前記複数の撮像手段の任意の組合せを選択する選択手段
   とを備え、前記フィードバック制御手段が、前記合成画
   像と元の対象物体を含む実写映像との類似度が最も高く
   なる組合せを選択するための映像装置選択情報をフィー
   ドバック制御情報と前記選択手段に出力する、ことを特
   徴とする請求項１記載の３次元物体認識装置。
3. 【請求項３】撮像手段で撮像された映像（「実写映像」
   という）から、対象物体の位置や方向情報を認識し認識
   結果を出力する認識処理手段と、 対象物体の３次元モデル情報を格納した記憶手段と、 前記実写映像から背景画像を抽出する背景画像切り出し
   手段と、 前記認識処理手段から出力される認識結果に基づいて、
   前記記憶手段に格納されている対象物体の３次元モデル
   を、前記抽出された前記背景画像に３次元的に合成する
   ３次元映像合成手段と、 前記３次元映像合成手段から出力される合成映像と前記
   実写映像との類似度を判定し、前記類似度が予め定めら
   れた閾値を下回る場合に誤認識であると判定し、前記認
   識処理手段の所定のパラメータや前記認識処理手段で用
   いる方式を変更するためのフィードバック制御情報を送
   出するフィードバック制御手段と、 を備えている、ことを特徴とする３次元物体認識装置。
4. 【請求項４】異なる方向から実写を撮影するための複数
   の撮像手段と、 前記複数の撮像手段の任意の組合せを選択し選択された
   撮像手段からの映像を前記認識処理手段及び前記背景画
   像切り出し手段に供給する選択手段と、を備え、前記フ
   ィードバック制御手段が、前記合成画像と元の対象物体
   を含む実写映像との類似度が最も高くなる組合せを選択
   するため選択情報を、フィードバック制御情報として、
   前記選択手段に供給する、ことを特徴とする請求項３記
   載の３次元物体認識装置。
5. 【請求項５】前記フィードバック制御手段が、前記合成
   映像と前記実写映像を入力とし、必要に応じて、前記実
   写映像と前記合成映像を正規化し、前記実写映像と前記
   合成映像の対応する画素それぞれについて画素値の差を
   求め、全画素についての前記差分値から類似度を算出す
   る、ことを特徴とする請求項３記載の３次元物体認識装
   置。
6. 【請求項６】前記認識処理手段が、前記実写映像から対
   象物体を切り出す手段と、前記切り出された対象物体に
   ついてその重心を求める手段と、求められた前記重心と
   前記撮像手段の撮像位置で定められる重心ベクトルを用
   いて前記対象物体の３次元位置を推定するとともに、そ
   の方向を算出する手段を備えた、ことを特徴とする請求
   項３記載の３次元物体認識装置。
7. 【請求項７】前記認識処理手段が、前記対象物体を切り
   出す手段として、対象物体を含まない実写映像を背景画
   像として予め格納しておく記憶手段と、 前記実写映像と前記背景画像との差分をとり、差が閾値
   より小さい領域をマスク領域としたマスク画像を生成
   し、前記マスク領域に対応する領域を、前記実写映像か
   らとり除いた画像を物体切り出し画像として出力する手
   段と、を備えていることを特徴とする請求項６記載の３
   次元物体認識装置。
8. 【請求項８】撮像手段で撮像された映像（「実写映像」
   という）から物体を認識する方法において、 前記実写映像から対象物体を除いた背景画像を切り出す
   ステップと、 認識処理の結果として得られた３次元物体の位置および
   方向情報を基に、対象物体の形状情報として記憶手段に
   予め格納されている３次元モデルを、前記切り出された
   背景画像上に３次元的に合成するステップと、 前記合成された画像と元の対象物体を含む実写映像との
   類似度を算出するステップと、 前記類似度が予め定められた閾値を下回った場合には、
   前記認識処理のパラメータの変更や認識処理方式の変更
   を行うためのフィードバック制御情報を送出し、再度認
   識処理を行うステップと、 を含むことを特徴とする３次元物体認識方法。
9. 【請求項９】撮像手段で撮像された映像（「実写映像」
   という）から物体をコンピュータを用いて認識する３次
   元物体認識装置において、 対象物体の３次元モデル情報を格納した記憶手段を備
   え、 （ａ）前記実写映像から、対象物体を切り出し、前記対
   象物体の重心を求め、前記対象物体の３次元位置及び方
   向を算出する認識処理と、 （ｂ）前記実写映像から背景画像を抽出する背景画像切
   り出し処理と、 （ｃ）前記認識処理で得られた認識結果に基づいて、前
   記記憶手段に格納されている物体の３次元モデルを、前
   記抽出された前記背景画像に３次元的に合成する３次元
   映像合成処理と、 （ｄ）前記３次元映像合成処理で得られた合成映像と前
   記実写映像との類似度を判定し、前記類似度が予め定め
   られた閾値を下回る場合には、誤認識であると判定し
   て、前記認識処理の所定のパラメータや前記認識処理で
   用いる方式を変更するためのフィードバック制御情報を
   送出するフィードバック制御処理と、 の前記（ａ）乃至（ｄ）の処理を前記コンピュータで実
   行させるためのプログラムを記録した記録媒体。