JP2001175860A - フィードバック処理のある3次元物体認識装置及び方法並びに記録媒体 - Google Patents
フィードバック処理のある3次元物体認識装置及び方法並びに記録媒体Info
- Publication number
- JP2001175860A JP2001175860A JP35970999A JP35970999A JP2001175860A JP 2001175860 A JP2001175860 A JP 2001175860A JP 35970999 A JP35970999 A JP 35970999A JP 35970999 A JP35970999 A JP 35970999A JP 2001175860 A JP2001175860 A JP 2001175860A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- dimensional
- target object
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】認識結果の正しさを評価し、評価結果に基づ
き、認識処理における所定のパラメータを修正したり、
認識処理の方式を変更することで、実写映像中の物体の
位置や方向をより正確に認識可能とする3次元物体認識
装置の提供。 【解決手段】3次元映像合成手段12において、認識処
理手段21による認識処理結果の物体の位置や形状に関
する情報を用いて、背景映像と物体の3次元モデルを3
次元CG空間において合成し、フィードバック制御手段
13において合成後の映像と元の実写映像の類似性を算
出し、類似度が閾値より低い場合には誤認識であると判
定し、認識処理のパラメータや認識方式を変更するとい
ったフィードバック制御を行い再度認識処理を行う。
き、認識処理における所定のパラメータを修正したり、
認識処理の方式を変更することで、実写映像中の物体の
位置や方向をより正確に認識可能とする3次元物体認識
装置の提供。 【解決手段】3次元映像合成手段12において、認識処
理手段21による認識処理結果の物体の位置や形状に関
する情報を用いて、背景映像と物体の3次元モデルを3
次元CG空間において合成し、フィードバック制御手段
13において合成後の映像と元の実写映像の類似性を算
出し、類似度が閾値より低い場合には誤認識であると判
定し、認識処理のパラメータや認識方式を変更するとい
ったフィードバック制御を行い再度認識処理を行う。
Description
【0001】
【発明の属する技術分野】本発明は、実写映像中の3次
元物体の位置や方向を認識する3次元物体認識装置及び
方法並びに記録媒体に関する。
元物体の位置や方向を認識する3次元物体認識装置及び
方法並びに記録媒体に関する。
【0002】
【従来の技術】従来、3次元物体認識を行う方式として
は、村瀬らによる「2次元照合による3次元物体認識」
と題する論文(電子情報通信学会論文誌D2,Vol.J77, N
o.11,pp.2179-2187, 1994)(「文献1」という)を始
めとして、対象物体の3次元モデルが既知の場合に、3
次元物体を複数方向から観察した場合の見掛けの2次元
画像を予め算出し、実写映像中の物体の画像を見掛け画
像と比較することにより、実世界での3次元物体の位置
や方向を算出する方式が提案されている。
は、村瀬らによる「2次元照合による3次元物体認識」
と題する論文(電子情報通信学会論文誌D2,Vol.J77, N
o.11,pp.2179-2187, 1994)(「文献1」という)を始
めとして、対象物体の3次元モデルが既知の場合に、3
次元物体を複数方向から観察した場合の見掛けの2次元
画像を予め算出し、実写映像中の物体の画像を見掛け画
像と比較することにより、実世界での3次元物体の位置
や方向を算出する方式が提案されている。
【0003】また、3次元物体認識を行う別の方式とし
て、池内らによる「幾何モデルより導出された解釈木に
よるビンピッキングタスク中の対象物の位置姿勢決定」
と題する論文(電子情報通信学会論文誌D,Vol.J70, No.
1, pp.127-138, 1987)(「文献2」という)を始めと
して、対象物体の3次元モデルが既知の場合に、実写映
像から抽出した特徴と物体の3次元モデルとを比較する
ことによって物体の位置や方向情報を算出する方式が広
く知られている。
て、池内らによる「幾何モデルより導出された解釈木に
よるビンピッキングタスク中の対象物の位置姿勢決定」
と題する論文(電子情報通信学会論文誌D,Vol.J70, No.
1, pp.127-138, 1987)(「文献2」という)を始めと
して、対象物体の3次元モデルが既知の場合に、実写映
像から抽出した特徴と物体の3次元モデルとを比較する
ことによって物体の位置や方向情報を算出する方式が広
く知られている。
【0004】
【発明が解決しようとする課題】しかしながら、上記し
た方式及び装置は、下記記載の問題点を有している。
た方式及び装置は、下記記載の問題点を有している。
【0005】上記文献1等の方式では、見掛け画像を算
出した時点と認識時点との間で照明条件などが変化した
場合に、精度の高い認識を行うことが困難であることな
どを要因として、誤認識を行う可能性がある、というこ
とである。
出した時点と認識時点との間で照明条件などが変化した
場合に、精度の高い認識を行うことが困難であることな
どを要因として、誤認識を行う可能性がある、というこ
とである。
【0006】上記文献2等の方式では、対象物体の幾何
的特徴が少ない場合の認識率が低いことなどを要因とし
て、誤認識を行う可能性がある、ということである。
的特徴が少ない場合の認識率が低いことなどを要因とし
て、誤認識を行う可能性がある、ということである。
【0007】また、認識時の計算量を削減するために、
特定の特徴量を用いて認識処理を行っている結果とし
て、誤認識された場合の結果は、実世界の状態と若干の
相違があるといった程度ではなく、例えば、人が見れば
一見して誤認識とわかる程度の大きな相違を生じること
が多い。一見して誤認識とわかる程度の大きな相違を生
じている場合にも、自動的にそれを感知して補正する手
段を備えていない。
特定の特徴量を用いて認識処理を行っている結果とし
て、誤認識された場合の結果は、実世界の状態と若干の
相違があるといった程度ではなく、例えば、人が見れば
一見して誤認識とわかる程度の大きな相違を生じること
が多い。一見して誤認識とわかる程度の大きな相違を生
じている場合にも、自動的にそれを感知して補正する手
段を備えていない。
【0008】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、3次元物体認識装
置において、認識結果の正しさを評価し、評価結果に基
づき、認識処理における所定のパラメータを修正した
り、認識処理の方式を変更することで、実写映像中の物
体の位置や方向をより正確に認識可能とする装置及び方
法並びに記録媒体を提供することにある。
なされたものであって、その目的は、3次元物体認識装
置において、認識結果の正しさを評価し、評価結果に基
づき、認識処理における所定のパラメータを修正した
り、認識処理の方式を変更することで、実写映像中の物
体の位置や方向をより正確に認識可能とする装置及び方
法並びに記録媒体を提供することにある。
【0009】
【課題を解決するための手段】前記目的を達成する本発
明は、実写映像から対象物体を除いた背景画像を切り出
す手段と、認識処理の結果として得られた3次元物体の
位置および方向情報を基に、前記対象物体の形状情報と
して予め与えられる3次元モデルを、前記切り出された
背景画像上に3次元的に合成する手段と、前記合成され
た画像と元の対象物体を含む実写映像との類似度を算出
し、前記類似度が予め定められた閾値を下回った場合に
は、前記認識処理の結果が誤っているものと判断し、前
記認識処理のパラメータの変更や認識処理方式の変更を
行うための制御情報を送出するフィードバック制御手段
と、を備えている。
明は、実写映像から対象物体を除いた背景画像を切り出
す手段と、認識処理の結果として得られた3次元物体の
位置および方向情報を基に、前記対象物体の形状情報と
して予め与えられる3次元モデルを、前記切り出された
背景画像上に3次元的に合成する手段と、前記合成され
た画像と元の対象物体を含む実写映像との類似度を算出
し、前記類似度が予め定められた閾値を下回った場合に
は、前記認識処理の結果が誤っているものと判断し、前
記認識処理のパラメータの変更や認識処理方式の変更を
行うための制御情報を送出するフィードバック制御手段
と、を備えている。
【0010】本発明に係る方法は、撮像手段で撮像され
た映像(「実写映像」という)から物体を認識する方法
において、前記実写映像から対象物体を除いた背景画像
を切り出すステップと、認識処理の結果として得られた
3次元物体の位置および方向情報を基に、対象物体の形
状情報として記憶手段に予め格納されている3次元モデ
ルを、前記切り出された背景画像上に3次元的に合成す
るステップと、前記合成された画像と元の対象物体を含
む実写映像との類似度を算出するステップと、前記類似
度が予め定められた閾値を下回った場合には、前記認識
処理のパラメータの変更や認識処理方式の変更を行うた
めのフィードバック制御情報を送出し、再度認識処理を
行うステップと、を含む。
た映像(「実写映像」という)から物体を認識する方法
において、前記実写映像から対象物体を除いた背景画像
を切り出すステップと、認識処理の結果として得られた
3次元物体の位置および方向情報を基に、対象物体の形
状情報として記憶手段に予め格納されている3次元モデ
ルを、前記切り出された背景画像上に3次元的に合成す
るステップと、前記合成された画像と元の対象物体を含
む実写映像との類似度を算出するステップと、前記類似
度が予め定められた閾値を下回った場合には、前記認識
処理のパラメータの変更や認識処理方式の変更を行うた
めのフィードバック制御情報を送出し、再度認識処理を
行うステップと、を含む。
【0011】
【発明の実施の形態】本発明の実施の形態について以下
に説明する。本発明は、その好ましい一実施の形態にお
いて、認識した物体の位置や方向情報を基に、対象物体
の3次元モデルを背景映像上に合成し、その結果と実写
映像とを比較することによって、認識結果の「正しさ」
を評価判定し、判定の結果、「正しさ」が閾値を下回っ
た場合には、認識処理における所定のパラメータを修正
するか、認識処理の方式そのものを切り替えるなどのフ
ィードバック処理を行い、より正確な3次元物体認識を
行うものである。
に説明する。本発明は、その好ましい一実施の形態にお
いて、認識した物体の位置や方向情報を基に、対象物体
の3次元モデルを背景映像上に合成し、その結果と実写
映像とを比較することによって、認識結果の「正しさ」
を評価判定し、判定の結果、「正しさ」が閾値を下回っ
た場合には、認識処理における所定のパラメータを修正
するか、認識処理の方式そのものを切り替えるなどのフ
ィードバック処理を行い、より正確な3次元物体認識を
行うものである。
【0012】本発明の3次元物体認識装置は、その好ま
しい一実施の形態において、対象物体を実写した映像か
ら、対象物体の位置や方向情報を認識する認識処理手段
(21)と、該実写映像から対象物体を含まない背景映
像を切り出す背景画像切り出し手段(11)と、認識処
理手段(21)で認識された物体の位置や方向情報と対
象物体の3次元モデルと背景画像切り出し手段(11)
からの背景映像とを3次元的に合成する3次元映像合成
手段(12)と、3次元映像合成手段(12)で合成さ
れた映像を実写映像と比較することによってこれらの間
の類似度を算出し、類似度すなわち認識結果の正しさが
閾値を下回った場合に認識処理における所定のパラメー
タや認識処理方式そのものを切り替えるフィードバック
制御を行うフィードバック制御手段(13)と、を備え
ている。
しい一実施の形態において、対象物体を実写した映像か
ら、対象物体の位置や方向情報を認識する認識処理手段
(21)と、該実写映像から対象物体を含まない背景映
像を切り出す背景画像切り出し手段(11)と、認識処
理手段(21)で認識された物体の位置や方向情報と対
象物体の3次元モデルと背景画像切り出し手段(11)
からの背景映像とを3次元的に合成する3次元映像合成
手段(12)と、3次元映像合成手段(12)で合成さ
れた映像を実写映像と比較することによってこれらの間
の類似度を算出し、類似度すなわち認識結果の正しさが
閾値を下回った場合に認識処理における所定のパラメー
タや認識処理方式そのものを切り替えるフィードバック
制御を行うフィードバック制御手段(13)と、を備え
ている。
【0013】本発明の3次元物体認識装置においては、
認識結果として得られた物体の位置や方向に関する情報
を用いて、背景映像と3次元物体に対応する3次元モデ
ルとを3次元CG(Computer Graphics)の手法によっ
て合成し、その結果として背景と3次元物体が合成され
た2次元映像を生成する。
認識結果として得られた物体の位置や方向に関する情報
を用いて、背景映像と3次元物体に対応する3次元モデ
ルとを3次元CG(Computer Graphics)の手法によっ
て合成し、その結果として背景と3次元物体が合成され
た2次元映像を生成する。
【0014】さらに、この合成映像と元の実写映像とを
比較することでそれらの類似度を判定し、類似度が低け
れば認識結果が誤っていると判断し、認識処理に関する
パラメータ変更や認識方式そのもののを変更するといっ
たフィードバック処理を行う。
比較することでそれらの類似度を判定し、類似度が低け
れば認識結果が誤っていると判断し、認識処理に関する
パラメータ変更や認識方式そのもののを変更するといっ
たフィードバック処理を行う。
【0015】かかる構成の本発明の一実施の形態におい
ては、従来の装置では、一見して誤認識とわかる程度に
大きな誤りのある状態のまま認識結果として出力されて
いたような場合においても、フィードバック制御によっ
て、パラメータの変更や認識処理方式を変更し再度認識
処理を行うことによって、より正確な3次元物体の認識
結果を出力することが可能となる。
ては、従来の装置では、一見して誤認識とわかる程度に
大きな誤りのある状態のまま認識結果として出力されて
いたような場合においても、フィードバック制御によっ
て、パラメータの変更や認識処理方式を変更し再度認識
処理を行うことによって、より正確な3次元物体の認識
結果を出力することが可能となる。
【0016】
【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。図1は、本発明の一実施例をなす3
次元物体認識装置の構成を示す図である。
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。図1は、本発明の一実施例をなす3
次元物体認識装置の構成を示す図である。
【0017】3次元物体認識装置は、不図示の撮像手段
等で取得された実写映像から3次元物体認識を行う認識
処理手段21と、認識処理手段21で用いる3次元モデ
ルを格納する3次元モデル格納手段22と、フィードバ
ック処理手段1と、を備えている。
等で取得された実写映像から3次元物体認識を行う認識
処理手段21と、認識処理手段21で用いる3次元モデ
ルを格納する3次元モデル格納手段22と、フィードバ
ック処理手段1と、を備えている。
【0018】3次元モデル格納手段22に格納される3
次元モデル43は、例えばVRML形式のデータよりな
り、幾何形状に関する情報と、物体表面の色情報やテク
スチャ情報とで構成される。
次元モデル43は、例えばVRML形式のデータよりな
り、幾何形状に関する情報と、物体表面の色情報やテク
スチャ情報とで構成される。
【0019】認識処理手段21においては、実写映像4
1に写り込んでいる3次元物体の実世界での位置情報と
方向情報とを算出する。ここで、認処理識手段21の処
理方式としては、上記文献1、2等に記載された方法等
公知の手法が用いられる。
1に写り込んでいる3次元物体の実世界での位置情報と
方向情報とを算出する。ここで、認処理識手段21の処
理方式としては、上記文献1、2等に記載された方法等
公知の手法が用いられる。
【0020】その際、実写映像41は、認識処理手段2
1の方式や種別等に応じて、単眼のカメラで撮影した映
像や、複数カメラで撮影された映像で構成される。
1の方式や種別等に応じて、単眼のカメラで撮影した映
像や、複数カメラで撮影された映像で構成される。
【0021】図4は、本発明の一実施例におけるフィー
ドバック処理手段1における制御の具体例を説明するた
めの図である。対象物体69を撮像する複数(図4では
4台)のカメラ61〜64を備え、これらのカメラの実
写映像(画像情報)は映像選択手段65に供給され、映
像選択手段65には、図1に示したフィードバッグ処理
手段1からの制御情報をなすカメラ選択指示情報68が
供給され、カメラ選択指示情報68で選択される、例え
ば2台のカメラの実写映像が認識処理手段21に供給さ
れる。
ドバック処理手段1における制御の具体例を説明するた
めの図である。対象物体69を撮像する複数(図4では
4台)のカメラ61〜64を備え、これらのカメラの実
写映像(画像情報)は映像選択手段65に供給され、映
像選択手段65には、図1に示したフィードバッグ処理
手段1からの制御情報をなすカメラ選択指示情報68が
供給され、カメラ選択指示情報68で選択される、例え
ば2台のカメラの実写映像が認識処理手段21に供給さ
れる。
【0022】以下、2台のカメラを用いた場合の認識処
理手段21における3次元物体の位置情報の算出方法の
一例について説明する。認識処理手段21において、3
次元物体の位置情報の算出は、 ・物体の切り出し処理、 ・重心の決定、 ・物体の3次元位置推定 の3段階の処理で行われる。
理手段21における3次元物体の位置情報の算出方法の
一例について説明する。認識処理手段21において、3
次元物体の位置情報の算出は、 ・物体の切り出し処理、 ・重心の決定、 ・物体の3次元位置推定 の3段階の処理で行われる。
【0023】まず、物体の切り出し処理について説明す
る。図7は、本発明の一実施例において、物体の切り出
し処理の構成を説明するための図である。図7を参照す
ると、実写映像背景画像格納手段92には、対象物体を
含まない実写映像を背景画像(図2(a))として予め格納
しておく。なお、図2は、物体の切り出し処理の一具体
例を説明するための画像を示す図である。
る。図7は、本発明の一実施例において、物体の切り出
し処理の構成を説明するための図である。図7を参照す
ると、実写映像背景画像格納手段92には、対象物体を
含まない実写映像を背景画像(図2(a))として予め格納
しておく。なお、図2は、物体の切り出し処理の一具体
例を説明するための画像を示す図である。
【0024】次に、差分処理手段91においては、図2
(b)に示すところの映像が実写映像94として入力さ
れ、実写映像94(図2(b))と背景画像93(図2(a))と
の差分をとり、差が閾値より小さい領域をマスク領域5
1とする画像をマスク画像(図2(c))として生成する。
(b)に示すところの映像が実写映像94として入力さ
れ、実写映像94(図2(b))と背景画像93(図2(a))と
の差分をとり、差が閾値より小さい領域をマスク領域5
1とする画像をマスク画像(図2(c))として生成する。
【0025】さらに、差分処理手段91では、マスク領
域51(図2(c)参照)に対応する領域を、実写映像(図2
(b))からとり除いた画像を、物体切り出し画像95(図
2(d))として生成出力する。
域51(図2(c)参照)に対応する領域を、実写映像(図2
(b))からとり除いた画像を、物体切り出し画像95(図
2(d))として生成出力する。
【0026】物体切り出し画像95においては、対象物
体50以外の領域は、ブランク領域52(図2(d)参照)
として、意味のない画像(例えば全黒、全白など)で埋め
られている。
体50以外の領域は、ブランク領域52(図2(d)参照)
として、意味のない画像(例えば全黒、全白など)で埋め
られている。
【0027】このようにして生成された物体切り出し画
像を図8(a)に示す。
像を図8(a)に示す。
【0028】物体切り出し処理の次に行われる、重心の
決定処理について説明する。図8は、本発明の一実施例
における物体の重心算出処理を説明する図である。
決定処理について説明する。図8は、本発明の一実施例
における物体の重心算出処理を説明する図である。
【0029】重心の決定処理の一例としては、図8
(a)に示すように、物体切り出し画像101において、
対象物体を囲む最小の矩形をバウンディングボックス10
2として算出し、その中心を物体の重心103とする方
法が用いられる。この時、カメラ位置と物体の重心位置
との関係を、図8(b)に示す。
(a)に示すように、物体切り出し画像101において、
対象物体を囲む最小の矩形をバウンディングボックス10
2として算出し、その中心を物体の重心103とする方
法が用いられる。この時、カメラ位置と物体の重心位置
との関係を、図8(b)に示す。
【0030】図8(b)を参照すると、カメラの画角1
05は、カメラパラメータとして既知であるため、重心
103の物体切り出し画像101(図8(a))内での
縦横分割比から、重心ベクトル106(実世界でカメラ
位置から対象物体の重心に向かうベクトル)を求めるこ
とができる。
05は、カメラパラメータとして既知であるため、重心
103の物体切り出し画像101(図8(a))内での
縦横分割比から、重心ベクトル106(実世界でカメラ
位置から対象物体の重心に向かうベクトル)を求めるこ
とができる。
【0031】なお、図8(b)では、画角や方向ベクト
ルの横方向の成分についてのみが示されているが、縦方
向についても同様である。以上の処理を、複数のカメラ
映像の少なくとも2つ以上について行う。
ルの横方向の成分についてのみが示されているが、縦方
向についても同様である。以上の処理を、複数のカメラ
映像の少なくとも2つ以上について行う。
【0032】次に、対象物体の3次元位置推定処理につ
いて説明する。図3は、対象物体の3次元位置推定処理
を説明するための図である。図3に示すように、重心の
決定処理で求められた重心ベクトルの交点を求めること
によって、対象物体の3次元位置推定処理を行う。図3
には、実世界において対象物体を、カメラA53、カメ
ラB54が捉えており、それぞれのカメラ映像における
重心ベクトル57、58が示されている。また、重心ベ
クトルは、推定位置59付近で交差しており、この位置
に対象物体の重心が存在していると推定することができ
る。なお、図3では、説明の都合上、平面図を用いてい
るが、各重心ベクトル57、58は3次元ベクトルであ
るため、一般には交点が存在しない。したがって、ベク
トルが交差ない場合には、例えば重心ベクトル相互の最
近点を求め、最近点間を結ぶ直線の中点を対象物体の推
定位置59(3次元的な位置情報である)としている。
いて説明する。図3は、対象物体の3次元位置推定処理
を説明するための図である。図3に示すように、重心の
決定処理で求められた重心ベクトルの交点を求めること
によって、対象物体の3次元位置推定処理を行う。図3
には、実世界において対象物体を、カメラA53、カメ
ラB54が捉えており、それぞれのカメラ映像における
重心ベクトル57、58が示されている。また、重心ベ
クトルは、推定位置59付近で交差しており、この位置
に対象物体の重心が存在していると推定することができ
る。なお、図3では、説明の都合上、平面図を用いてい
るが、各重心ベクトル57、58は3次元ベクトルであ
るため、一般には交点が存在しない。したがって、ベク
トルが交差ない場合には、例えば重心ベクトル相互の最
近点を求め、最近点間を結ぶ直線の中点を対象物体の推
定位置59(3次元的な位置情報である)としている。
【0033】なお、位置情報の算出については、図3に
示した手法に限定されるものではなく、例えば3台以上
のカメラ映像を用いてより高精度に位置を推定する方法
等を用いてもよいことは勿論である。
示した手法に限定されるものではなく、例えば3台以上
のカメラ映像を用いてより高精度に位置を推定する方法
等を用いてもよいことは勿論である。
【0034】次に、本発明の一実施例において、対象物
体の方向情報の算出について説明する。
体の方向情報の算出について説明する。
【0035】方向情報の算出については、前述の村瀬ら
による論文に示される固有空間法や、池内らによる論文
に示される3次元的な特徴情報を用いる方法など、公知
の方法が用いられる。
による論文に示される固有空間法や、池内らによる論文
に示される3次元的な特徴情報を用いる方法など、公知
の方法が用いられる。
【0036】また、対象物体上に他の部位と比較して容
易に検出できる幾何的特徴あるいは視覚的特徴(例え
ば、特定箇所だけ、色が他と異なる等)を持つ部位(この
部位を「特徴点」という)が存在し、かつ、予め与えら
れる対象物体の3次元モデル上での各特徴点の3次元位
置が既知である場合には、例えば以下の処理によって方
向情報の算出が行われる。
易に検出できる幾何的特徴あるいは視覚的特徴(例え
ば、特定箇所だけ、色が他と異なる等)を持つ部位(この
部位を「特徴点」という)が存在し、かつ、予め与えら
れる対象物体の3次元モデル上での各特徴点の3次元位
置が既知である場合には、例えば以下の処理によって方
向情報の算出が行われる。
【0037】図5は、本発明の一実施例における物体の
方向情報算出の説明するための図である。
方向情報算出の説明するための図である。
【0038】例えば、図5(a)において、クマの両耳
71、72が「2重の半円」という特徴的な輪郭を持っ
ており、さらにヘソ73が「この部分だけ赤い」という
特徴的な色である場合、これらの3点(第1及至第3の
特徴点71〜73)は、輪郭抽出や特定色領域抽出など
の処理を施すことによって、実写映像から容易に検出す
ることができる。すなわち、実写映像中での特徴点の位
置は容易に得ることができる。
71、72が「2重の半円」という特徴的な輪郭を持っ
ており、さらにヘソ73が「この部分だけ赤い」という
特徴的な色である場合、これらの3点(第1及至第3の
特徴点71〜73)は、輪郭抽出や特定色領域抽出など
の処理を施すことによって、実写映像から容易に検出す
ることができる。すなわち、実写映像中での特徴点の位
置は容易に得ることができる。
【0039】すると図5(b)に示すように、重心ベク
トルの場合と同様にして、実世界においてカメラ位置7
7を始点として、各特徴点へ向かう方向ベクトル74、
75、76を求めることができる。
トルの場合と同様にして、実世界においてカメラ位置7
7を始点として、各特徴点へ向かう方向ベクトル74、
75、76を求めることができる。
【0040】さらに、別カメラ映像からも、同様に、三
つの方向ベクトルを求め、重心ベクトルから物体位置推
定を行う場合と同様にして、各カメラ映像における第一
の方向ベクトルどうしの交点または最近点を結ぶ線分の
中点を求め、第1の特徴点の推定位置を求める。また第
一の特徴点の推定位置と同様にして、第2、第3の特徴
点の位置も推定できる。
つの方向ベクトルを求め、重心ベクトルから物体位置推
定を行う場合と同様にして、各カメラ映像における第一
の方向ベクトルどうしの交点または最近点を結ぶ線分の
中点を求め、第1の特徴点の推定位置を求める。また第
一の特徴点の推定位置と同様にして、第2、第3の特徴
点の位置も推定できる。
【0041】ここで、一般に、物体を構成する3点の3
次元位置が決定すれば、物体全体の向きが一意に決ま
り、上記処理で、3つの特徴点の推定位置が算出された
対象物体について、その方向情報を一意に求めることが
できる。
次元位置が決定すれば、物体全体の向きが一意に決ま
り、上記処理で、3つの特徴点の推定位置が算出された
対象物体について、その方向情報を一意に求めることが
できる。
【0042】以上の処理によって、認識処理手段21に
おいて、実写映像41に写り込んでいる3次元物体の実
世界での位置情報と方向情報とを算出する。
おいて、実写映像41に写り込んでいる3次元物体の実
世界での位置情報と方向情報とを算出する。
【0043】次に、本発明の一実施例におけるフィード
バック処理手段1について説明する。
バック処理手段1について説明する。
【0044】図1を参照すると、フィードバック処理手
段1は、実写映像41から背景画像31を切り出す背景
画像切り出し手段1と、認識結果42に基づいて、3次
元モデル43を背景画像31に3次元的に合成する3次元
映像合成手段12と、合成映像32と実写映像41の類
似度を判定し、類似度が閾値を下回る場合に誤認識であ
ると判定し認識処理手段21の所定のパラメータや認識
処理手段21で用いる方式を変更するためのフィードバ
ック制御情報33を送出するフィードバック制御手段1
3、とを備えている。
段1は、実写映像41から背景画像31を切り出す背景
画像切り出し手段1と、認識結果42に基づいて、3次
元モデル43を背景画像31に3次元的に合成する3次元
映像合成手段12と、合成映像32と実写映像41の類
似度を判定し、類似度が閾値を下回る場合に誤認識であ
ると判定し認識処理手段21の所定のパラメータや認識
処理手段21で用いる方式を変更するためのフィードバ
ック制御情報33を送出するフィードバック制御手段1
3、とを備えている。
【0045】背景切り出し手段11としては、 ・システム起動直後など、対象物体がカメラの撮影範囲
にまだ存在していない状態で、予め背景を撮影し格納し
ておく方法、 ・背景となる部屋の形状が既知である時に2台以上のカ
メラを用いてステレオ処理によって距離画像を生成し、
部屋形状に対応する距離を持つ領域を背景とする方法、 ・撮影範囲内で対象物体のみが移動し得る場合におい
て、実写映像の連続するフレーム画像を加算平均するこ
とで、例えば対象物体が数百フレームの中の数フレーム
にしか写っていない場合に、対象物体の映像をほとんど
見えない程度にまで薄めたものを背景画像とする方法、 等が用いられるが、実写映像から対象物体を取り除いた
背景映像を抽出するものであれば任意の方法を用いるこ
とができる。
にまだ存在していない状態で、予め背景を撮影し格納し
ておく方法、 ・背景となる部屋の形状が既知である時に2台以上のカ
メラを用いてステレオ処理によって距離画像を生成し、
部屋形状に対応する距離を持つ領域を背景とする方法、 ・撮影範囲内で対象物体のみが移動し得る場合におい
て、実写映像の連続するフレーム画像を加算平均するこ
とで、例えば対象物体が数百フレームの中の数フレーム
にしか写っていない場合に、対象物体の映像をほとんど
見えない程度にまで薄めたものを背景画像とする方法、 等が用いられるが、実写映像から対象物体を取り除いた
背景映像を抽出するものであれば任意の方法を用いるこ
とができる。
【0046】なお、切り出した背景画像は、背景切り出
し手段11の内部に格納してもよいし、認識処理手段2
1内部の背景画像格納手段(図7の92)などと共有する
領域に格納してもよい。
し手段11の内部に格納してもよいし、認識処理手段2
1内部の背景画像格納手段(図7の92)などと共有する
領域に格納してもよい。
【0047】また、実世界の照明条件などは刻一刻と変
化するため、背景切り出し手段11における背景切り出
し処理は、1回のみではなく、例えば、 ・一定間隔毎に行う、 ・部屋の明るさを常時測定しその変化量が閾値を超えた
場合に行う、 等により、装置を利用する間は、適宜行われる。
化するため、背景切り出し手段11における背景切り出
し処理は、1回のみではなく、例えば、 ・一定間隔毎に行う、 ・部屋の明るさを常時測定しその変化量が閾値を超えた
場合に行う、 等により、装置を利用する間は、適宜行われる。
【0048】図6は、本発明の一実施例における3次元
映像合成手段12の合成処理を説明するための図であ
り、3次元CGを用いて、背景と3次元モデルの合成を
説明するための図である。図1、図6を参照して、3次
元映像合成手段12の処理について説明する。
映像合成手段12の合成処理を説明するための図であ
り、3次元CGを用いて、背景と3次元モデルの合成を
説明するための図である。図1、図6を参照して、3次
元映像合成手段12の処理について説明する。
【0049】まず、対象物体に関しては、予め3次元モ
デルが与えられることが前提であり、すなわち実際のサ
イズも既知とする。
デルが与えられることが前提であり、すなわち実際のサ
イズも既知とする。
【0050】3次元映像合成手段12では、認識処理手
段21から出力される認識結果42に含まれる対象物体
の位置および方向情報を基に、背景切り出し手段11か
ら出力される背景画像31上に、対象物体の3次元モデ
ルを、認識結果の位置、および方向が反映されるように
配置し、3次元CGの公知の手法によって、これらを3
次元的に合成した映像を生成する。
段21から出力される認識結果42に含まれる対象物体
の位置および方向情報を基に、背景切り出し手段11か
ら出力される背景画像31上に、対象物体の3次元モデ
ルを、認識結果の位置、および方向が反映されるように
配置し、3次元CGの公知の手法によって、これらを3
次元的に合成した映像を生成する。
【0051】図6において、視点位置80を頂点とする
四角錐は、3次元CGにおけるビューを示したものであ
る。四角錐の中の最近面85と最遠面86の間の部分が
3次元CGの描画対象として処理される領域となる。こ
こで、3次元CGにおける仮想視点は視点位置80にあ
り、視線は、視点位置80を始点とし、最近面85およ
び最遠面86の中心を通るベクトルである。
四角錐は、3次元CGにおけるビューを示したものであ
る。四角錐の中の最近面85と最遠面86の間の部分が
3次元CGの描画対象として処理される領域となる。こ
こで、3次元CGにおける仮想視点は視点位置80にあ
り、視線は、視点位置80を始点とし、最近面85およ
び最遠面86の中心を通るベクトルである。
【0052】合成処理としてしては、まず、図6中の横
方向視野角81および縦方向視野角84を、実写映像を
撮影したカメラの視野角と等しくなるように設定する。
これにより、3次元CGにおける方向が、実世界のカメ
ラ撮影の方向に対応することになる。
方向視野角81および縦方向視野角84を、実写映像を
撮影したカメラの視野角と等しくなるように設定する。
これにより、3次元CGにおける方向が、実世界のカメ
ラ撮影の方向に対応することになる。
【0053】実世界のカメラ座標系を3次元CG座標系
に変換する変換行列をMとする。背景画像が3次元的に
表現されていれば、認識処理結果42として得られた対
象物体の位置および方向の情報と、3次元モデルと、背
景画像とを、行列Mによって写像することで、認識結果
を基にした画像合成を行うことができる。
に変換する変換行列をMとする。背景画像が3次元的に
表現されていれば、認識処理結果42として得られた対
象物体の位置および方向の情報と、3次元モデルと、背
景画像とを、行列Mによって写像することで、認識結果
を基にした画像合成を行うことができる。
【0054】ところで、一般には、実写映像から得られ
る背景画像は2次元画像であるため、例えば、下記の手
順によって合成を行う。
る背景画像は2次元画像であるため、例えば、下記の手
順によって合成を行う。
【0055】まず、最近面85と最遠面86の間の任意
の位置にそれらの面と平行な背景投影面83を定義す
る。この背景投影面83には、3次元CGのテクスチャ
マッピング機能によって、背景画像31を背景画像31
と背景投影面83の大きさが1対1となるように張り付
ける。そして、背景画像31が定期的に更新される場合
には、更新される毎に、テクスチャマップも再実行す
る。
の位置にそれらの面と平行な背景投影面83を定義す
る。この背景投影面83には、3次元CGのテクスチャ
マッピング機能によって、背景画像31を背景画像31
と背景投影面83の大きさが1対1となるように張り付
ける。そして、背景画像31が定期的に更新される場合
には、更新される毎に、テクスチャマップも再実行す
る。
【0056】これによって、3次元CG中では、カメラ
で撮影された実写映像と同じ映像が視野全体を占めるよ
うに投影される。
で撮影された実写映像と同じ映像が視野全体を占めるよ
うに投影される。
【0057】ここで、図6の推定位置ベクトル87は、
実世界でのカメラ位置を始点とし、認識処理結果42と
して得られた対象物体の推定位置へ向かうベクトル(図
3、および図8の重心ベクトル)を、3次元CGにおけ
る推定位置ベクトルと、視線方向の位置関係が実世界で
の重心ベクトルとカメラ撮影方向の位置関係に等しくな
るように、行列Mで写像したものである。したがって、
3次元モデルの3次元CG座標系での配置位置は、推定
位置ベクトル上にあることがわかる。ただし、3次元モ
デルは、3次元CGとして描画対象となり、背景映像よ
りも手前に位置する必要があることから、その3次元モ
デル配置点82(P)は、推定位置ベクトル上の最近面
85と背景投影面83に挟まれた区間上となる。
実世界でのカメラ位置を始点とし、認識処理結果42と
して得られた対象物体の推定位置へ向かうベクトル(図
3、および図8の重心ベクトル)を、3次元CGにおけ
る推定位置ベクトルと、視線方向の位置関係が実世界で
の重心ベクトルとカメラ撮影方向の位置関係に等しくな
るように、行列Mで写像したものである。したがって、
3次元モデルの3次元CG座標系での配置位置は、推定
位置ベクトル上にあることがわかる。ただし、3次元モ
デルは、3次元CGとして描画対象となり、背景映像よ
りも手前に位置する必要があることから、その3次元モ
デル配置点82(P)は、推定位置ベクトル上の最近面
85と背景投影面83に挟まれた区間上となる。
【0058】この合成処理では、3次元座標系におい
て、3次元モデルの見掛け上の大きさが所定のサイズに
保たれればよいため、点Pの仮想視点80からの距離
(Z座標値)は、点Pが上記区間内にある範囲で任意の値
とし、見掛けの大きさが所定の値になるように、3次元
モデルのサイズを決定すればよい。
て、3次元モデルの見掛け上の大きさが所定のサイズに
保たれればよいため、点Pの仮想視点80からの距離
(Z座標値)は、点Pが上記区間内にある範囲で任意の値
とし、見掛けの大きさが所定の値になるように、3次元
モデルのサイズを決定すればよい。
【0059】例えば、図6に示すように、3次元モデル
配置点P82を視点位置80からの距離がkとなるよう
に配置した場合について説明する。
配置点P82を視点位置80からの距離がkとなるよう
に配置した場合について説明する。
【0060】ここで、認識結果42から得られるカメラ
と、対象物体との実世界での距離をt、3次元モデルか
ら得られる対象物体の実世界でのサイズをuとすると、
3次元モデルのサイズsは、次式(1) s=u×k/t …(1) によって得られる。
と、対象物体との実世界での距離をt、3次元モデルか
ら得られる対象物体の実世界でのサイズをuとすると、
3次元モデルのサイズsは、次式(1) s=u×k/t …(1) によって得られる。
【0061】さらに3次元モデルの3次元CG座標系に
おける方向は、認識結果42から得られた方向情報を行
列Mによって写像することで決定される。
おける方向は、認識結果42から得られた方向情報を行
列Mによって写像することで決定される。
【0062】以上の通り、背景画像と3次元モデルを3
次元CG空間上に配置し、3次元CGの描画処理(いわ
ゆる「レンダリング処理」)を行うことによって、背景
画像と、3次元モデルが、認識結果42に基づいた位置
関係で合成された2次元映像が合成映像32として生成
される。なお、ここで行うレンダリング処理は、一般に
は処理結果を表示装置上に表示するために行う処理であ
るが、本発明における合成映像32は3次元物体認識装
置内部で用いるものであり、装置内部(例えば計算機の
メモリ上)において生成参照可能であれば、表示装置上
に表示する必要はない。
次元CG空間上に配置し、3次元CGの描画処理(いわ
ゆる「レンダリング処理」)を行うことによって、背景
画像と、3次元モデルが、認識結果42に基づいた位置
関係で合成された2次元映像が合成映像32として生成
される。なお、ここで行うレンダリング処理は、一般に
は処理結果を表示装置上に表示するために行う処理であ
るが、本発明における合成映像32は3次元物体認識装
置内部で用いるものであり、装置内部(例えば計算機の
メモリ上)において生成参照可能であれば、表示装置上
に表示する必要はない。
【0063】次に、本発明の一実施におけるフィードバ
ック制御手段13における処理について説明する。
ック制御手段13における処理について説明する。
【0064】フィードバック制御手段13においては、
まず、合成映像32と実写映像41を入力とし、それら
の間の画像的な類似度を判定することにより、認識処理
手段21での認識結果42の正しさを判定する。類似度
が高い程、認識結果42が正しいといえる。類似度の判
定方法は、公知の方法が用いられる。
まず、合成映像32と実写映像41を入力とし、それら
の間の画像的な類似度を判定することにより、認識処理
手段21での認識結果42の正しさを判定する。類似度
が高い程、認識結果42が正しいといえる。類似度の判
定方法は、公知の方法が用いられる。
【0065】一つの例としては、拡大縮小処理によっ
て、実写映像と合成映像の画素数を同じにした後(「正
規化」という)、実写映像と合成映像の対応する画素そ
れぞれについて、実写映像でのRGB値と合成映像でのRGB
値の差を求め、この差分値を、映像中の全画素について
加算した値の逆数を、類似度とする。
て、実写映像と合成映像の画素数を同じにした後(「正
規化」という)、実写映像と合成映像の対応する画素そ
れぞれについて、実写映像でのRGB値と合成映像でのRGB
値の差を求め、この差分値を、映像中の全画素について
加算した値の逆数を、類似度とする。
【0066】また、 ・正規化後の色成分の比較を行う際に、RGBではなく、Y
UVなどの色空間を用いる方法、 ・YUVとした上で照明の変化を考慮するために、Y、U、V
の差分値にそれぞれに重みを付けた上で加算する方法
(例えば、照明の影響を低減するためには輝度値Yの重み
を他より小さくする) などが用いられる。
UVなどの色空間を用いる方法、 ・YUVとした上で照明の変化を考慮するために、Y、U、V
の差分値にそれぞれに重みを付けた上で加算する方法
(例えば、照明の影響を低減するためには輝度値Yの重み
を他より小さくする) などが用いられる。
【0067】そして、求められた類似度が、予め定めら
れた閾値を下回った場合には、元の実写映像と認識結果
に基づく合成画像の相違が大きい、すなわち認識結果が
誤りの可能性が高いと思料される。そこで、類似度が下
回った場合には、フィードバック制御手段13は、認識
方法や処理パラメータの変更を伝えるためのフォードバ
ック制御情報33を認識処理手段21に対して送出す
る。
れた閾値を下回った場合には、元の実写映像と認識結果
に基づく合成画像の相違が大きい、すなわち認識結果が
誤りの可能性が高いと思料される。そこで、類似度が下
回った場合には、フィードバック制御手段13は、認識
方法や処理パラメータの変更を伝えるためのフォードバ
ック制御情報33を認識処理手段21に対して送出す
る。
【0068】フィードバック制御情報33は、例えば図
4を参照して説明したように、4系統の実写映像から2
系統を選択したものを認識処理手段21への入力として
いるような場合に、映像選択手段65に対してどのカメ
ラの映像を選択するかを指示するためのカメラ選択指示
68を、フィードバック制御情報33とする。
4を参照して説明したように、4系統の実写映像から2
系統を選択したものを認識処理手段21への入力として
いるような場合に、映像選択手段65に対してどのカメ
ラの映像を選択するかを指示するためのカメラ選択指示
68を、フィードバック制御情報33とする。
【0069】これによって、例えば、対象物体上の特徴
点が物陰になっていたり、特徴点の見掛け上の距離が短
くて精度が得られないような場合に、より条件の良いカ
メラからの映像を用いるように自動的に切り替える。
点が物陰になっていたり、特徴点の見掛け上の距離が短
くて精度が得られないような場合に、より条件の良いカ
メラからの映像を用いるように自動的に切り替える。
【0070】本発明においては、認識結果として得られ
た物体の位置や方向に関する情報を用いて、背景映像と
3次元物体に対応する3次元モデルを3次元CGにより描
画し、背景と3次元物体が合成された2次元映像を生成
し、さらに、この合成映像と元の実写映像とを比較する
ことでそれらの類似度を判定し、類似度が低ければ認識
結果が誤っていると判断し、認識処理に関するパラメー
タ変更や認識処理方式の変更し、再度認識処理を行うこ
とによって、より正確な認識結果を出力することができ
る。このため、従来の手法では、人が一見して誤りとわ
かる程度に大きな差異のある誤認識結果がそのまま出力
されていたような場合においても、本発明においては、
パラメータ変更や処理方式の変更し再度認識処理を行う
ことによって、より正確な認識結果を出力することがで
きる。
た物体の位置や方向に関する情報を用いて、背景映像と
3次元物体に対応する3次元モデルを3次元CGにより描
画し、背景と3次元物体が合成された2次元映像を生成
し、さらに、この合成映像と元の実写映像とを比較する
ことでそれらの類似度を判定し、類似度が低ければ認識
結果が誤っていると判断し、認識処理に関するパラメー
タ変更や認識処理方式の変更し、再度認識処理を行うこ
とによって、より正確な認識結果を出力することができ
る。このため、従来の手法では、人が一見して誤りとわ
かる程度に大きな差異のある誤認識結果がそのまま出力
されていたような場合においても、本発明においては、
パラメータ変更や処理方式の変更し再度認識処理を行う
ことによって、より正確な認識結果を出力することがで
きる。
【0071】また本発明において、フィードバック制御
手段における類似度の判定は、画素単位での類似性を加
算することで、映像全体の類似性を判定しており、人が
視覚的に感じる類似性と近い結果を得ることができ、人
の感覚に近い判定が可能である。本来、この判定方法は
認識処理手段においても用いることのできる手法である
が、認識処理手段において用いた場合には、あらゆる角
度の見掛け画像との類似度を判定する必要があり計算量
が膨大となってしまうため実用にならないという問題が
あった。これに対して、本発明においては、画素比較に
基づく類似度判定を、認識結果の正しさの判定時にのみ
用いることで、1回の判定においては2枚の画像の間の
類似性のみを算出すればよく、少ない計算量でなおかつ
人間の感覚に近い判定を効果的に行うことができる。
手段における類似度の判定は、画素単位での類似性を加
算することで、映像全体の類似性を判定しており、人が
視覚的に感じる類似性と近い結果を得ることができ、人
の感覚に近い判定が可能である。本来、この判定方法は
認識処理手段においても用いることのできる手法である
が、認識処理手段において用いた場合には、あらゆる角
度の見掛け画像との類似度を判定する必要があり計算量
が膨大となってしまうため実用にならないという問題が
あった。これに対して、本発明においては、画素比較に
基づく類似度判定を、認識結果の正しさの判定時にのみ
用いることで、1回の判定においては2枚の画像の間の
類似性のみを算出すればよく、少ない計算量でなおかつ
人間の感覚に近い判定を効果的に行うことができる。
【0072】上記した実施例において、認識処理手段2
1と、フィードバック制御手段1の背景画像切り出し手
段11、3次元映像合成手段12、フィードバック制御
手段13は、3次元物体認識装置を構成するコンピュー
タもしくは画像処理専用のプロセッサ等上で実行される
プログラムにより、それぞれの処理・機能を実現するこ
とができる。この場合、上記各手段の処理・機能を実現
するためのプログラムを記録した媒体(半導体メモリ、
FD(フロッピディスク)、CD−ROM、DVD(di
gital versatile disk)、有線又は無線の通信媒体
等)から該プログラムをコンピュータ又はプロセッサで
読み出して実行することで本発明を実施することができ
る。
1と、フィードバック制御手段1の背景画像切り出し手
段11、3次元映像合成手段12、フィードバック制御
手段13は、3次元物体認識装置を構成するコンピュー
タもしくは画像処理専用のプロセッサ等上で実行される
プログラムにより、それぞれの処理・機能を実現するこ
とができる。この場合、上記各手段の処理・機能を実現
するためのプログラムを記録した媒体(半導体メモリ、
FD(フロッピディスク)、CD−ROM、DVD(di
gital versatile disk)、有線又は無線の通信媒体
等)から該プログラムをコンピュータ又はプロセッサで
読み出して実行することで本発明を実施することができ
る。
【0073】
【発明の効果】以上説明したように、本発明によれば、
3次元物体認識装置においては、より正確な認識結果を
出力することができる、という効果を奏する。
3次元物体認識装置においては、より正確な認識結果を
出力することができる、という効果を奏する。
【0074】その理由は、本発明においては、認識結果
として得られた物体の位置や方向に関する情報を用い
て、背景映像と3次元物体に対応する3次元モデルを3
次元CGにより描画し、背景と3次元物体が合成された2
次元映像を生成し、さらに、この合成映像と元の実写映
像とを比較することでそれらの類似度を判定し、類似度
が低ければ認識結果が誤っていると判断し、認識処理に
関するパラメータ変更や認識処理方式の変更し、再度認
識処理を行うことによって、より正確な認識結果を出力
するような構成としているためである。
として得られた物体の位置や方向に関する情報を用い
て、背景映像と3次元物体に対応する3次元モデルを3
次元CGにより描画し、背景と3次元物体が合成された2
次元映像を生成し、さらに、この合成映像と元の実写映
像とを比較することでそれらの類似度を判定し、類似度
が低ければ認識結果が誤っていると判断し、認識処理に
関するパラメータ変更や認識処理方式の変更し、再度認
識処理を行うことによって、より正確な認識結果を出力
するような構成としているためである。
【0075】本発明によれば、従来手法では人間が一見
して誤りとわかる程度に大きな差異のある誤認識結果が
そのまま出力されていたような場合においても、パラメ
ータ変更や処理方式の変更し再度認識処理を行うことに
よって、より正確な認識結果を出力することができる。
して誤りとわかる程度に大きな差異のある誤認識結果が
そのまま出力されていたような場合においても、パラメ
ータ変更や処理方式の変更し再度認識処理を行うことに
よって、より正確な認識結果を出力することができる。
【0076】さらに、本発明において、フィードバック
制御手段における類似度の判定は、画素単位での類似性
を加算することで、映像全体の類似性を判定しており、
人が視覚的に感じる類似性と近い結果を得ることがで
き、人の感覚に近い判定が可能である、という効果を奏
する。
制御手段における類似度の判定は、画素単位での類似性
を加算することで、映像全体の類似性を判定しており、
人が視覚的に感じる類似性と近い結果を得ることがで
き、人の感覚に近い判定が可能である、という効果を奏
する。
【0077】そして本発明によれば、類似性の判定にあ
たり、画素比較に基づく類似度判定を、認識結果の正し
さの判定時にのみ用いることで、1回の判定においては
2枚の画像の間の類似性のみを算出すればよく、少ない
計算量で判定することができる、という効果を奏する。
たり、画素比較に基づく類似度判定を、認識結果の正し
さの判定時にのみ用いることで、1回の判定においては
2枚の画像の間の類似性のみを算出すればよく、少ない
計算量で判定することができる、という効果を奏する。
【図1】本発明の一実施例の3次元物体認識装置の構成
を示す図である。
を示す図である。
【図2】本発明の一実施例における認識処理手段におけ
る物体の切り出し処理を説明するための図である。
る物体の切り出し処理を説明するための図である。
【図3】本発明の一実施例における認識処理手段におけ
る物体の3次元位置推定処理を説明するための図であ
る。
る物体の3次元位置推定処理を説明するための図であ
る。
【図4】本発明の一実施例におけるフィードバック制御
の具体例を説明するための図である。
の具体例を説明するための図である。
【図5】本発明の一実施例における認識処理手段におけ
る物体の方向情報算出を説明するための図である。
る物体の方向情報算出を説明するための図である。
【図6】本発明の一実施例における3次元映像合成手段
における3次元CGによる背景と3次元モデルの合成を
説明するための図である。
における3次元CGによる背景と3次元モデルの合成を
説明するための図である。
【図7】本発明の一実施例における認識処理手段におけ
る物体の切り出し処理を説明すための図である。
る物体の切り出し処理を説明すための図である。
【図8】本発明の一実施例における認識処理手段におけ
る物体の重心算出処理の説明するための図である。
る物体の重心算出処理の説明するための図である。
1 フィードバック処理手段 11 背景画像切り出し手段 12 3次元映像合成手段 13 フィードバック制御手段 21 認識処理手段 22 3次元モデル格納手段 31 背景画像 32 合成映像 33 フィードバック制御情報 41 実写映像 42 認識結果 43 3次元モデル 50 対象物体 51 マスク領域 52 ブランク領域 53 カメラA 54 カメラB 55 画角A 56 画角B 57 重心ベクトルA 58 重心ベクトルB 59 推定位置 61 カメラA 62 カメラB 63 カメラC 64 カメラD 65 映像選択手段 66 全系統の映像 67 選択された映像 68 カメラ選択指示 69 対象物体 71 第一の特徴点 72 第二の特徴点 73 第三の特徴点 74 第一の方向ベクトル 75 第二の方向ベクトル 76 第三の方向ベクトル 77 カメラ位置 80 視点位置 81 横方向視野角 82 3次元モデル配置地点 83 背景投影面 84 縦方向視野角 85 最近面 86 最遠面 87 推定位置ベクトル 91 差分処理手段 92 背景画像格納手段 93 背景画像 94 実写映像 95 物体切り出し画像 101 物体切り出し画像 102 バウンディングボックス 103 重心 104 カメラ位置 105 画角 106 重心ベクトル
Claims (9)
- 【請求項1】撮像手段で撮像された映像(「実写映像」
という)から対象物体を除いた背景画像を切り出す手段
と、 認識処理の結果として得られた3次元物体の位置および
方向情報を基に、前記対象物体の形状情報として予め与
えられる3次元モデルを、前記切り出された背景画像上
に3次元的に合成する手段と、 前記合成された画像と元の対象物体を含む実写映像との
類似度を算出し、前記類似度が予め定められた閾値を下
回った場合には、前記認識処理の結果が誤っているもの
と判断し、前記認識処理のパラメータの変更や認識処理
方式の変更を行うための制御情報を送出するフィードバ
ック制御手段と、 を含むことを特徴とする3次元物体認識装置。 - 【請求項2】異なる方向から実写を撮影するための複数
の撮像手段と、 前記複数の撮像手段の任意の組合せを選択する選択手段
とを備え、前記フィードバック制御手段が、前記合成画
像と元の対象物体を含む実写映像との類似度が最も高く
なる組合せを選択するための映像装置選択情報をフィー
ドバック制御情報と前記選択手段に出力する、ことを特
徴とする請求項1記載の3次元物体認識装置。 - 【請求項3】撮像手段で撮像された映像(「実写映像」
という)から、対象物体の位置や方向情報を認識し認識
結果を出力する認識処理手段と、 対象物体の3次元モデル情報を格納した記憶手段と、 前記実写映像から背景画像を抽出する背景画像切り出し
手段と、 前記認識処理手段から出力される認識結果に基づいて、
前記記憶手段に格納されている対象物体の3次元モデル
を、前記抽出された前記背景画像に3次元的に合成する
3次元映像合成手段と、 前記3次元映像合成手段から出力される合成映像と前記
実写映像との類似度を判定し、前記類似度が予め定めら
れた閾値を下回る場合に誤認識であると判定し、前記認
識処理手段の所定のパラメータや前記認識処理手段で用
いる方式を変更するためのフィードバック制御情報を送
出するフィードバック制御手段と、 を備えている、ことを特徴とする3次元物体認識装置。 - 【請求項4】異なる方向から実写を撮影するための複数
の撮像手段と、 前記複数の撮像手段の任意の組合せを選択し選択された
撮像手段からの映像を前記認識処理手段及び前記背景画
像切り出し手段に供給する選択手段と、を備え、前記フ
ィードバック制御手段が、前記合成画像と元の対象物体
を含む実写映像との類似度が最も高くなる組合せを選択
するため選択情報を、フィードバック制御情報として、
前記選択手段に供給する、ことを特徴とする請求項3記
載の3次元物体認識装置。 - 【請求項5】前記フィードバック制御手段が、前記合成
映像と前記実写映像を入力とし、必要に応じて、前記実
写映像と前記合成映像を正規化し、前記実写映像と前記
合成映像の対応する画素それぞれについて画素値の差を
求め、全画素についての前記差分値から類似度を算出す
る、ことを特徴とする請求項3記載の3次元物体認識装
置。 - 【請求項6】前記認識処理手段が、前記実写映像から対
象物体を切り出す手段と、前記切り出された対象物体に
ついてその重心を求める手段と、求められた前記重心と
前記撮像手段の撮像位置で定められる重心ベクトルを用
いて前記対象物体の3次元位置を推定するとともに、そ
の方向を算出する手段を備えた、ことを特徴とする請求
項3記載の3次元物体認識装置。 - 【請求項7】前記認識処理手段が、前記対象物体を切り
出す手段として、対象物体を含まない実写映像を背景画
像として予め格納しておく記憶手段と、 前記実写映像と前記背景画像との差分をとり、差が閾値
より小さい領域をマスク領域としたマスク画像を生成
し、前記マスク領域に対応する領域を、前記実写映像か
らとり除いた画像を物体切り出し画像として出力する手
段と、を備えていることを特徴とする請求項6記載の3
次元物体認識装置。 - 【請求項8】撮像手段で撮像された映像(「実写映像」
という)から物体を認識する方法において、 前記実写映像から対象物体を除いた背景画像を切り出す
ステップと、 認識処理の結果として得られた3次元物体の位置および
方向情報を基に、対象物体の形状情報として記憶手段に
予め格納されている3次元モデルを、前記切り出された
背景画像上に3次元的に合成するステップと、 前記合成された画像と元の対象物体を含む実写映像との
類似度を算出するステップと、 前記類似度が予め定められた閾値を下回った場合には、
前記認識処理のパラメータの変更や認識処理方式の変更
を行うためのフィードバック制御情報を送出し、再度認
識処理を行うステップと、 を含むことを特徴とする3次元物体認識方法。 - 【請求項9】撮像手段で撮像された映像(「実写映像」
という)から物体をコンピュータを用いて認識する3次
元物体認識装置において、 対象物体の3次元モデル情報を格納した記憶手段を備
え、 (a)前記実写映像から、対象物体を切り出し、前記対
象物体の重心を求め、前記対象物体の3次元位置及び方
向を算出する認識処理と、 (b)前記実写映像から背景画像を抽出する背景画像切
り出し処理と、 (c)前記認識処理で得られた認識結果に基づいて、前
記記憶手段に格納されている物体の3次元モデルを、前
記抽出された前記背景画像に3次元的に合成する3次元
映像合成処理と、 (d)前記3次元映像合成処理で得られた合成映像と前
記実写映像との類似度を判定し、前記類似度が予め定め
られた閾値を下回る場合には、誤認識であると判定し
て、前記認識処理の所定のパラメータや前記認識処理で
用いる方式を変更するためのフィードバック制御情報を
送出するフィードバック制御処理と、 の前記(a)乃至(d)の処理を前記コンピュータで実
行させるためのプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35970999A JP2001175860A (ja) | 1999-12-17 | 1999-12-17 | フィードバック処理のある3次元物体認識装置及び方法並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35970999A JP2001175860A (ja) | 1999-12-17 | 1999-12-17 | フィードバック処理のある3次元物体認識装置及び方法並びに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001175860A true JP2001175860A (ja) | 2001-06-29 |
Family
ID=18465906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35970999A Pending JP2001175860A (ja) | 1999-12-17 | 1999-12-17 | フィードバック処理のある3次元物体認識装置及び方法並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001175860A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014163689A (ja) * | 2013-02-21 | 2014-09-08 | Medica Tekku Kk | 粉体堆積層角度測定装置 |
JP2016151933A (ja) * | 2015-02-18 | 2016-08-22 | トヨタ自動車株式会社 | 自律移動体及び自律移動体の制御システム |
JP2019186858A (ja) * | 2018-04-16 | 2019-10-24 | Kddi株式会社 | 選択装置、選択方法及び選択プログラム |
-
1999
- 1999-12-17 JP JP35970999A patent/JP2001175860A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014163689A (ja) * | 2013-02-21 | 2014-09-08 | Medica Tekku Kk | 粉体堆積層角度測定装置 |
JP2016151933A (ja) * | 2015-02-18 | 2016-08-22 | トヨタ自動車株式会社 | 自律移動体及び自律移動体の制御システム |
JP2019186858A (ja) * | 2018-04-16 | 2019-10-24 | Kddi株式会社 | 選択装置、選択方法及び選択プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
JP6425780B1 (ja) | 画像処理システム、画像処理装置、画像処理方法及びプログラム | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
JP6560480B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
US20120257016A1 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
JPH0877356A (ja) | 三次元多眼画像の処理方法及び処理装置 | |
JP2017204673A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2000020728A (ja) | 画像処理装置及び方法 | |
CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
US12026903B2 (en) | Processing of depth maps for images | |
JP2013120556A (ja) | 被写体姿勢推定装置および映像描画装置 | |
US20220383589A1 (en) | Image processing apparatus, image processing method, method for generating learned model, and storage medium | |
CN110969706B (zh) | 增强现实设备及其图像处理方法、系统以及存储介质 | |
JP4193342B2 (ja) | 3次元データ生成装置 | |
US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
US20200211275A1 (en) | Information processing device, information processing method, and recording medium | |
JP2020098421A (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム | |
US20210118216A1 (en) | Method of displaying a wide-format augmented reality object | |
JP2002032744A (ja) | 3次元モデリング及び3次元画像作成のための装置及び方法 | |
JP2004030408A (ja) | 三次元画像表示装置及び表示方法 | |
JP6168597B2 (ja) | 情報端末装置 | |
JP2001175860A (ja) | フィードバック処理のある3次元物体認識装置及び方法並びに記録媒体 | |
JP6606340B2 (ja) | 画像検出装置、画像検出方法およびプログラム | |
US11935182B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US20240054747A1 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031028 |