JP2003058896A - 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム - Google Patents
位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラムInfo
- Publication number
- JP2003058896A JP2003058896A JP2001244473A JP2001244473A JP2003058896A JP 2003058896 A JP2003058896 A JP 2003058896A JP 2001244473 A JP2001244473 A JP 2001244473A JP 2001244473 A JP2001244473 A JP 2001244473A JP 2003058896 A JP2003058896 A JP 2003058896A
- Authority
- JP
- Japan
- Prior art keywords
- image
- posture
- orientation
- feature point
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Abstract
(57)【要約】 （修正有）
【課題】 認識対象画像の物体の位置姿勢や照明条件の
変動、物体の形状や色に明確な特徴がない、認識対象の
画像から十分特徴点や、特徴点の位置を正確に抽出でき
ない場合にも、正しい位置姿勢を求める位置姿勢認識装
置を提供する。 【解決手段】 ３次元形状・反射率測定部１１と、基底
テクスチャを生成する照明変動テクスチャ生成部１２
と、基底テクスチャ計算部１３と、３次元物体モデルと
基底テクスチャ群を記憶する物体モデル記憶部１４とを
備える登録部１０と、初期姿勢候補群を入力とし、物体
モデル記憶部１４から３次元物体モデルを読み込み、与
えられた姿勢候補の画像の照明変動空間を生成する照明
変動空間生成部２１と、各照明変動空間を用いて認識対
象の画像に最も近い比較画像を生成する比較画像生成部
２２と、比較画像群の中で最も認識対象の画像に近い比
較画像を選択しそれを最適姿勢候補として出力する姿勢
選択部２３を備える認識部２０で構成される。
変動、物体の形状や色に明確な特徴がない、認識対象の
画像から十分特徴点や、特徴点の位置を正確に抽出でき
ない場合にも、正しい位置姿勢を求める位置姿勢認識装
置を提供する。 【解決手段】 ３次元形状・反射率測定部１１と、基底
テクスチャを生成する照明変動テクスチャ生成部１２
と、基底テクスチャ計算部１３と、３次元物体モデルと
基底テクスチャ群を記憶する物体モデル記憶部１４とを
備える登録部１０と、初期姿勢候補群を入力とし、物体
モデル記憶部１４から３次元物体モデルを読み込み、与
えられた姿勢候補の画像の照明変動空間を生成する照明
変動空間生成部２１と、各照明変動空間を用いて認識対
象の画像に最も近い比較画像を生成する比較画像生成部
２２と、比較画像群の中で最も認識対象の画像に近い比
較画像を選択しそれを最適姿勢候補として出力する姿勢
選択部２３を備える認識部２０で構成される。
Description
【０００１】
【発明の属する技術分野】本発明は、画像中に示される
物体の認識に関し、特に、認識対象の物体の３次元形状
や、表面反射率や色情報等の情報を用いて、画像に写っ
ている物体の位置や姿勢を高精度に認識する位置姿勢認
識装置とその位置姿勢認識方法、及び位置姿勢認識プロ
グラムに関する。
物体の認識に関し、特に、認識対象の物体の３次元形状
や、表面反射率や色情報等の情報を用いて、画像に写っ
ている物体の位置や姿勢を高精度に認識する位置姿勢認
識装置とその位置姿勢認識方法、及び位置姿勢認識プロ
グラムに関する。
【０００２】
【従来の技術】本発明の属する技術である画像中に示さ
れる物体の位置姿勢の認識技術とは、カメラなどの撮影
装置を用いて３次元物体を撮影した２次元画像を入力と
して、その画像に写っている物体の位置や姿勢を認識す
る技術である。
れる物体の位置姿勢の認識技術とは、カメラなどの撮影
装置を用いて３次元物体を撮影した２次元画像を入力と
して、その画像に写っている物体の位置や姿勢を認識す
る技術である。
【０００３】従来より、物体上の特定のｎ個の点の３次
元空間における位置と画像上の位置の対応が与えられた
ときに、物体のカメラに対する位置姿勢を計算する問題
は、「透視ｎ点問題」と呼ばれており、数多くの公知の
手法が存在する。これらの手法は例えば文献１（「An A
nalytic Solution for the Perspective 4-Point Probl
em」、Radu Horaud et al.、 Computer Vision、 Graph
ics and Image Processing、47、pp.33-44（1989））
や、文献２（「Linear N≧4-Point Pose Determinatio
n」、Long Quan and Zhongdan Lan、 Proc. IEEE Int.
Conf. Computer Vision、6、pp.778-783（1998））など
にもまとめられている。
元空間における位置と画像上の位置の対応が与えられた
ときに、物体のカメラに対する位置姿勢を計算する問題
は、「透視ｎ点問題」と呼ばれており、数多くの公知の
手法が存在する。これらの手法は例えば文献１（「An A
nalytic Solution for the Perspective 4-Point Probl
em」、Radu Horaud et al.、 Computer Vision、 Graph
ics and Image Processing、47、pp.33-44（1989））
や、文献２（「Linear N≧4-Point Pose Determinatio
n」、Long Quan and Zhongdan Lan、 Proc. IEEE Int.
Conf. Computer Vision、6、pp.778-783（1998））など
にもまとめられている。
【０００４】これら従来の透視ｎ点問題の手法では、い
ずれも図１９のフローチャートに示すように、まず予め
処理対象の物体の特徴点の３次元位置情報を登録してお
く（ステップ１９０１）。そして、処理対象の物体の画
像の入力を受け付けて（ステップ１９０２）、その入力
画像に写っている物体特徴点の位置を抽出する（ステッ
プ１９０３）。その入力画像から抽出された特徴点の位
置に、登録されている処理対象の物体の特徴点の３次元
位置が該当する物体の位置と姿勢を計算し（ステップ１
９０４、１９０５）、最適の姿勢候補を選択して出力す
る（ステップ１９０６）。
ずれも図１９のフローチャートに示すように、まず予め
処理対象の物体の特徴点の３次元位置情報を登録してお
く（ステップ１９０１）。そして、処理対象の物体の画
像の入力を受け付けて（ステップ１９０２）、その入力
画像に写っている物体特徴点の位置を抽出する（ステッ
プ１９０３）。その入力画像から抽出された特徴点の位
置に、登録されている処理対象の物体の特徴点の３次元
位置が該当する物体の位置と姿勢を計算し（ステップ１
９０４、１９０５）、最適の姿勢候補を選択して出力す
る（ステップ１９０６）。
【０００５】まず、最低３点以上について前記対応が与
えられれば、最大４つの姿勢候補を計算することができ
る。しかし、３点の特徴点位置情報だけでは該姿勢候補
群から正しい姿勢候補を一意に定めることができないた
め、通常４点以上の対応を用いる。すなわち、４点以上
の内から３点を選んで計算した各姿勢候補の中から、残
りの点の位置を計算した際に最も近くなる姿勢候補を選
択すればよい。
えられれば、最大４つの姿勢候補を計算することができ
る。しかし、３点の特徴点位置情報だけでは該姿勢候補
群から正しい姿勢候補を一意に定めることができないた
め、通常４点以上の対応を用いる。すなわち、４点以上
の内から３点を選んで計算した各姿勢候補の中から、残
りの点の位置を計算した際に最も近くなる姿勢候補を選
択すればよい。
【０００６】ところが逆に、３点より多くの対応が与え
られた場合、与えられた特徴点位置情報の誤差がゼロで
ない限り、全ての点が一致する姿勢パラメタは存在しな
い。しかし現実には、特徴点位置の抽出を手動で入念に
行った場合でさえも、必ず誤差が伴う。したがって、最
小二乗などの方法を用いることにより与えられた特徴点
群全体に対するモデル当てはめ誤差が最小となる解を求
めるか、誤差が大きいと思われる点を捨てて姿勢を計算
する、などの手法が利用されている。
られた場合、与えられた特徴点位置情報の誤差がゼロで
ない限り、全ての点が一致する姿勢パラメタは存在しな
い。しかし現実には、特徴点位置の抽出を手動で入念に
行った場合でさえも、必ず誤差が伴う。したがって、最
小二乗などの方法を用いることにより与えられた特徴点
群全体に対するモデル当てはめ誤差が最小となる解を求
めるか、誤差が大きいと思われる点を捨てて姿勢を計算
する、などの手法が利用されている。
【０００７】このように、透視ｎ点問題の技術は、いず
れも与えられた特徴点群全体に対するモデルの当てはめ
誤差を最小化するような姿勢解を求める技術である。ま
た、ここに示されたようにいずれも特徴点の位置情報の
みを用いており、画像の濃淡情報自体は用いていない。
れも与えられた特徴点群全体に対するモデルの当てはめ
誤差を最小化するような姿勢解を求める技術である。ま
た、ここに示されたようにいずれも特徴点の位置情報の
みを用いており、画像の濃淡情報自体は用いていない。
【０００８】他の従来の手法としての文献３（特願２０
００−２５７３０４号「３次元空間内の物体の位置及び
向きを計算する方法」）記載の手法は、図２０のフロー
チャートに示されるように、与えられた特徴点位置に誤
差が含まれていることを考慮し、誤差の少ない特徴点だ
けを選択して姿勢計算に使おうとする技術である。
００−２５７３０４号「３次元空間内の物体の位置及び
向きを計算する方法」）記載の手法は、図２０のフロー
チャートに示されるように、与えられた特徴点位置に誤
差が含まれていることを考慮し、誤差の少ない特徴点だ
けを選択して姿勢計算に使おうとする技術である。
【０００９】文献３の手法では、与えられた特徴点群の
中から任意の組み合わせで３点を選んで抜き出し、抜き
出したそれぞれの３点の位置を修正しながら多数の姿勢
候補を計算し、該姿勢候補群から与えられた特徴点群全
体に対する当てはめ誤差が最小となる姿勢解を選び出
す。
中から任意の組み合わせで３点を選んで抜き出し、抜き
出したそれぞれの３点の位置を修正しながら多数の姿勢
候補を計算し、該姿勢候補群から与えられた特徴点群全
体に対する当てはめ誤差が最小となる姿勢解を選び出
す。
【００１０】他の従来の手法としての文献４（特開２０
００−３３９４６８号「３次元データの位置合わせ方法
及び装置」）記載の技術も、２次元画像中に写っている
物体の位置姿勢の認識に利用可能である。
００−３３９４６８号「３次元データの位置合わせ方法
及び装置」）記載の技術も、２次元画像中に写っている
物体の位置姿勢の認識に利用可能である。
【００１１】文献４記載の手法は、同じ物体を異なる向
きから測定した２つの３次元物体形状データの位置姿勢
の微小なずれを推定する手法であり、設定したある視点
から見た２つの形状データの画像をそれぞれ生成し、該
生成した画像上で２つの形状データの対応する特徴点の
位置を探索し、姿勢のずれを計算する。一方の形状デー
タから生成した画像を入力画像であると考えれば、２次
元画像中の物体の位置姿勢に応用可能である。
きから測定した２つの３次元物体形状データの位置姿勢
の微小なずれを推定する手法であり、設定したある視点
から見た２つの形状データの画像をそれぞれ生成し、該
生成した画像上で２つの形状データの対応する特徴点の
位置を探索し、姿勢のずれを計算する。一方の形状デー
タから生成した画像を入力画像であると考えれば、２次
元画像中の物体の位置姿勢に応用可能である。
【００１２】さらに他の従来の手法としての文献５（特
開平１１−０５１６１１号「認識対象物体の位置姿勢認
識装置及び位置姿勢認識方法」）記載の技術は、円柱な
ど特定形状の対象物体を対象とし、画像から該輪郭線の
エッジを抽出し、記憶している３次元形状モデルから生
成した該輪郭エッジ画像と比較し、計算された姿勢パラ
メタの値を修正する。
開平１１−０５１６１１号「認識対象物体の位置姿勢認
識装置及び位置姿勢認識方法」）記載の技術は、円柱な
ど特定形状の対象物体を対象とし、画像から該輪郭線の
エッジを抽出し、記憶している３次元形状モデルから生
成した該輪郭エッジ画像と比較し、計算された姿勢パラ
メタの値を修正する。
【００１３】さらに他の従来の手法としての文献６（特
願２０００−２５１７７２号「物体位置姿勢推定装置及
びその方法並びそれを用いた特徴点位置抽出方法及び画
像照合方法」）記載の技術は、与えられた初期姿勢デー
タを用いて生成した物体の比較画像を用いて、特徴点の
位置周辺の部分画像を切り出してテンプレートとし、そ
の周辺でテンプレートに最も似ている位置を探すことで
特徴点の位置を修正し、姿勢を再計算する。
願２０００−２５１７７２号「物体位置姿勢推定装置及
びその方法並びそれを用いた特徴点位置抽出方法及び画
像照合方法」）記載の技術は、与えられた初期姿勢デー
タを用いて生成した物体の比較画像を用いて、特徴点の
位置周辺の部分画像を切り出してテンプレートとし、そ
の周辺でテンプレートに最も似ている位置を探すことで
特徴点の位置を修正し、姿勢を再計算する。
【００１４】
【発明が解決しようとする課題】以下、上述した従来の
技術における問題点について述べる。
技術における問題点について述べる。
【００１５】一般に、認識対象の画像（入力画像）にお
ける物体の位置姿勢や照明条件が大きく変動したり、物
体の形状や色に明確な特徴がない場合などに特徴点の位
置を正確に抽出することは極めて困難であり、認識対象
の画像から抽出された特徴点の位置は誤差を含んでい
る。
ける物体の位置姿勢や照明条件が大きく変動したり、物
体の形状や色に明確な特徴がない場合などに特徴点の位
置を正確に抽出することは極めて困難であり、認識対象
の画像から抽出された特徴点の位置は誤差を含んでい
る。
【００１６】特に、対象物体がエッジや角が明確でその
検出が容易な多角形のような形状でない場合や、表面の
模様に特徴的な点がない場合には抽出誤差が大きくな
り、更に、特徴点として使える点の数が少なくなる。
検出が容易な多角形のような形状でない場合や、表面の
模様に特徴的な点がない場合には抽出誤差が大きくな
り、更に、特徴点として使える点の数が少なくなる。
【００１７】しかし、前記透視ｎ点問題、文献３、文献
４、文献５のいずれの手法も、モデルを当てはめたとき
の計算上の特徴点位置と、認識対象の画像から抽出され
た画像上の特徴点位置が近くなる姿勢が正しい姿勢であ
るとして最適解を決定している。したがって、誤差を含
んだ特徴点位置情報を元に最適な解を決定しているた
め、正しい姿勢が求められないという問題があった。
４、文献５のいずれの手法も、モデルを当てはめたとき
の計算上の特徴点位置と、認識対象の画像から抽出され
た画像上の特徴点位置が近くなる姿勢が正しい姿勢であ
るとして最適解を決定している。したがって、誤差を含
んだ特徴点位置情報を元に最適な解を決定しているた
め、正しい姿勢が求められないという問題があった。
【００１８】透視ｎ点問題の技術では、入力された各特
徴点位置に対する誤差の総和が最小である姿勢を計算す
るが、それは必ずしも正しい姿勢ではないという問題が
あった。例えば、一点だけ誤差の大きい点があり、その
他の点の誤差がゼロであった場合を考えても、これらの
手法では正しい姿勢解を求めることはできない。
徴点位置に対する誤差の総和が最小である姿勢を計算す
るが、それは必ずしも正しい姿勢ではないという問題が
あった。例えば、一点だけ誤差の大きい点があり、その
他の点の誤差がゼロであった場合を考えても、これらの
手法では正しい姿勢解を求めることはできない。
【００１９】また、特徴点が３点しか抽出できなかった
場合や、４点以上抽出できてもそれらの特徴点が同一平
面上にあるなど特別な配置にあった場合には、複数の姿
勢候補を計算することはできても、その中から正しい姿
勢を一意に決定することができない場合があるという問
題があった。
場合や、４点以上抽出できてもそれらの特徴点が同一平
面上にあるなど特別な配置にあった場合には、複数の姿
勢候補を計算することはできても、その中から正しい姿
勢を一意に決定することができない場合があるという問
題があった。
【００２０】文献３の技術では、原理的に、どの特徴点
が誤差の小さい点であり、どの点が誤差の大きい点であ
るかは入力された特徴点位置データだけからは判別不能
であるため、この手法で本当に誤差が少ない特徴点だけ
を選択することは不可能であるという問題があった。
が誤差の小さい点であり、どの点が誤差の大きい点であ
るかは入力された特徴点位置データだけからは判別不能
であるため、この手法で本当に誤差が少ない特徴点だけ
を選択することは不可能であるという問題があった。
【００２１】また、最適な姿勢であるかどうかの判定
を、誤差の伴った特徴点情報に基づいて決定している以
上、正しい判別ができずに誤った姿勢候補を正しいもの
として選んだり、誤った位置へと特徴点位置を修正した
場合に、偶然、当てはめ誤差が最小となって誤った姿勢
が求まってしまう場合がある。
を、誤差の伴った特徴点情報に基づいて決定している以
上、正しい判別ができずに誤った姿勢候補を正しいもの
として選んだり、誤った位置へと特徴点位置を修正した
場合に、偶然、当てはめ誤差が最小となって誤った姿勢
が求まってしまう場合がある。
【００２２】文献４の手法も、認識対象の画像からの特
徴点位置の抽出を行い、抽出された特徴点位置を元に姿
勢を計算するので、前記文献１、文献２、文献３の手法
と同様に正確な姿勢が計算できないことや、特徴点の数
が少ない場合には一意に姿勢を決定できないという問題
があった。
徴点位置の抽出を行い、抽出された特徴点位置を元に姿
勢を計算するので、前記文献１、文献２、文献３の手法
と同様に正確な姿勢が計算できないことや、特徴点の数
が少ない場合には一意に姿勢を決定できないという問題
があった。
【００２３】文献５の手法は、回転体のように特定の形
状の物体のみに適用可能であって複雑な形状の物体には
適用できないことや、認識対象の画像から外輪郭線が正
確に抽出できなければ誤差を含んだ特徴位置情報に基づ
いて姿勢を計算することになるため正しい姿勢を求めら
れないという問題があった。
状の物体のみに適用可能であって複雑な形状の物体には
適用できないことや、認識対象の画像から外輪郭線が正
確に抽出できなければ誤差を含んだ特徴位置情報に基づ
いて姿勢を計算することになるため正しい姿勢を求めら
れないという問題があった。
【００２４】文献６の手法は、認識対象の画像の撮影時
の照明条件が大きく変動し、特徴点周辺の陰影が変化し
た場合、比較画像の対応する部位との類似度が低下する
ため、正しい特徴点位置を探索し特徴点位置を修正する
ことが困難であるという問題があった。
の照明条件が大きく変動し、特徴点周辺の陰影が変化し
た場合、比較画像の対応する部位との類似度が低下する
ため、正しい特徴点位置を探索し特徴点位置を修正する
ことが困難であるという問題があった。
【００２５】以上をまとめると、従来の手法には次のよ
うな問題があった。
うな問題があった。
【００２６】第１の問題として、物体形状又は表面の文
様に、位置姿勢や照明条件が変動してもその画像上での
位置の特定が容易な、特徴的な部位がない場合、特徴点
の抽出が行えないために姿勢を計算できなかった。
様に、位置姿勢や照明条件が変動してもその画像上での
位置の特定が容易な、特徴的な部位がない場合、特徴点
の抽出が行えないために姿勢を計算できなかった。
【００２７】第２の問題として、特徴点の数が３点しか
ない場合、又は、特徴点が４点以上あってもそれらが３
次元的に特別な配置にある場合に、位置姿勢を一意に決
定することができなかった。
ない場合、又は、特徴点が４点以上あってもそれらが３
次元的に特別な配置にある場合に、位置姿勢を一意に決
定することができなかった。
【００２８】第３の問題として、一般には認識対象の画
像から抽出された特徴点位置に誤差が含まれる。したが
って、誤差を含む特徴点群データから、誤差の少ない
（又は誤差がない）点を選別することは、正しい特徴点
位置が不明である限り不可能であるため正しい姿勢パラ
メタを求められなかった。誤差を含む特徴点群に対して
の当てはめ誤差が最小となる解を求めても、一般には、
その解は正しい姿勢パラメタとは一致しなかった。特徴
点の位置を修正しながら多数の解を求め、その中から最
適な解を選ぶ手法もあるが、誤差を含んだ特徴点の位置
情報に基づいて最適解を選択する限り、正しい姿勢解を
選び出すことができなかった。
像から抽出された特徴点位置に誤差が含まれる。したが
って、誤差を含む特徴点群データから、誤差の少ない
（又は誤差がない）点を選別することは、正しい特徴点
位置が不明である限り不可能であるため正しい姿勢パラ
メタを求められなかった。誤差を含む特徴点群に対して
の当てはめ誤差が最小となる解を求めても、一般には、
その解は正しい姿勢パラメタとは一致しなかった。特徴
点の位置を修正しながら多数の解を求め、その中から最
適な解を選ぶ手法もあるが、誤差を含んだ特徴点の位置
情報に基づいて最適解を選択する限り、正しい姿勢解を
選び出すことができなかった。
【００２９】本発明の目的は、上記従来技術の欠点を解
決し、認識対象の画像における物体の位置姿勢や照明条
件が大きく変動したり、物体の形状や色に明確な特徴が
ない場合等における、認識対象の画像から十分な数の特
徴点を抽出できなかったり、特徴点の位置を正確に抽出
することができない場合においても、正しい位置姿勢を
認識することができる位置姿勢認識装置とその位置姿勢
認識方法、及び位置姿勢認識プログラムを提供すること
である。
決し、認識対象の画像における物体の位置姿勢や照明条
件が大きく変動したり、物体の形状や色に明確な特徴が
ない場合等における、認識対象の画像から十分な数の特
徴点を抽出できなかったり、特徴点の位置を正確に抽出
することができない場合においても、正しい位置姿勢を
認識することができる位置姿勢認識装置とその位置姿勢
認識方法、及び位置姿勢認識プログラムを提供すること
である。
【００３０】
【課題を解決するための手段】上記目的を達成するため
本発明の位置姿勢認識装置は、認識対象の画像から物体
の位置姿勢を認識する位置姿勢認識装置において、前記
物体の３次元形状と、当該物体の表面の各位置の輝度値
とから成る３次元物体モデルを生成し、前記３次元物体
モデルに基づいて、前記認識対象の画像中における前記
物体の位置姿勢を認識することを特徴とする。
本発明の位置姿勢認識装置は、認識対象の画像から物体
の位置姿勢を認識する位置姿勢認識装置において、前記
物体の３次元形状と、当該物体の表面の各位置の輝度値
とから成る３次元物体モデルを生成し、前記３次元物体
モデルに基づいて、前記認識対象の画像中における前記
物体の位置姿勢を認識することを特徴とする。
【００３１】請求項２の本発明の位置姿勢認識装置は、
前記認識対象の画像中における前記物体の位置姿勢の候
補である姿勢候補に基づいて、前記姿勢候補の位置姿勢
に当該物体がある場合の画像の輝度値の照明条件による
変動を表す照明変動空間を生成する照明変動空間生成手
段と、前記姿勢候補の位置姿勢に当該物体がありかつ照
明条件が前記認識対象の画像と同等である場合に得られ
る画像である比較画像を、前記３次元物体モデル及び前
記照明変動空間に基づいて生成する比較画像生成手段
と、複数の前記姿勢候補のそれぞれに基づいて生成され
た各前記比較画像を、前記認識対象の画像と比較して、
前記認識対象の画像に最も近い前記比較画像を判定する
姿勢選択手段を備えることを特徴とする。
前記認識対象の画像中における前記物体の位置姿勢の候
補である姿勢候補に基づいて、前記姿勢候補の位置姿勢
に当該物体がある場合の画像の輝度値の照明条件による
変動を表す照明変動空間を生成する照明変動空間生成手
段と、前記姿勢候補の位置姿勢に当該物体がありかつ照
明条件が前記認識対象の画像と同等である場合に得られ
る画像である比較画像を、前記３次元物体モデル及び前
記照明変動空間に基づいて生成する比較画像生成手段
と、複数の前記姿勢候補のそれぞれに基づいて生成され
た各前記比較画像を、前記認識対象の画像と比較して、
前記認識対象の画像に最も近い前記比較画像を判定する
姿勢選択手段を備えることを特徴とする。
【００３２】請求項３の本発明の位置姿勢認識装置は、
前記物体の位置姿勢を示すパラメタの各値を、指定され
た範囲内において標本化することにより、複数の前記姿
勢候補を生成する姿勢候補群決定手段を備え、前記姿勢
候補群決定手段が生成した複数の前記姿勢候補の中か
ら、前記認識対象の画像に最も近い前記比較画像を判定
することを特徴とする。
前記物体の位置姿勢を示すパラメタの各値を、指定され
た範囲内において標本化することにより、複数の前記姿
勢候補を生成する姿勢候補群決定手段を備え、前記姿勢
候補群決定手段が生成した複数の前記姿勢候補の中か
ら、前記認識対象の画像に最も近い前記比較画像を判定
することを特徴とする。
【００３３】請求項４の本発明の位置姿勢認識装置は、
前記物体の位置姿勢を示す与えられたパラメタの各値
を、指定された増減を行なうことにより、複数の前記姿
勢候補を生成する姿勢候補群決定手段を備え、前記姿勢
候補群決定手段が生成した複数の前記姿勢候補の中か
ら、前記認識対象の画像に最も近い前記比較画像を判定
することを特徴とする。
前記物体の位置姿勢を示す与えられたパラメタの各値
を、指定された増減を行なうことにより、複数の前記姿
勢候補を生成する姿勢候補群決定手段を備え、前記姿勢
候補群決定手段が生成した複数の前記姿勢候補の中か
ら、前記認識対象の画像に最も近い前記比較画像を判定
することを特徴とする。
【００３４】請求項５の本発明の位置姿勢認識装置は、
認識対象の画像中の特徴点の位置を入力画像特徴点位置
として抽出する特徴点位置抽出手段を備え、前記姿勢候
補群決定手段は、前記物体の前記特徴点の位置の情報
と、前記入力画像特徴点位置の情報とに基づいて、複数
の前記姿勢候補を生成することを特徴とする。
認識対象の画像中の特徴点の位置を入力画像特徴点位置
として抽出する特徴点位置抽出手段を備え、前記姿勢候
補群決定手段は、前記物体の前記特徴点の位置の情報
と、前記入力画像特徴点位置の情報とに基づいて、複数
の前記姿勢候補を生成することを特徴とする。
【００３５】請求項６の本発明の位置姿勢認識装置は、
前記特徴点位置抽出手段が抽出した前記入力画像特徴点
位置の一部の特徴点を選択した組を、特徴点群として一
つ又は複数生成し、前記姿勢候補群決定手段は、前記物
体の前記特徴点の位置の情報と、前記入力画像特徴点位
置の当該特徴点組群において選択された前記特徴点とに
基づいて、一つ又は複数の前記姿勢候補を生成すること
を特徴とする。
前記特徴点位置抽出手段が抽出した前記入力画像特徴点
位置の一部の特徴点を選択した組を、特徴点群として一
つ又は複数生成し、前記姿勢候補群決定手段は、前記物
体の前記特徴点の位置の情報と、前記入力画像特徴点位
置の当該特徴点組群において選択された前記特徴点とに
基づいて、一つ又は複数の前記姿勢候補を生成すること
を特徴とする。
【００３６】請求項７の本発明の位置姿勢認識装置は、
前記特徴点位置抽出手段が抽出した前記入力画像特徴点
位置のデータを、指定された増減を行なうことにより一
つ又は複数の新たな前記入力画像特徴点位置を生成する
ことを特徴とする。
前記特徴点位置抽出手段が抽出した前記入力画像特徴点
位置のデータを、指定された増減を行なうことにより一
つ又は複数の新たな前記入力画像特徴点位置を生成する
ことを特徴とする。
【００３７】請求項８の本発明の位置姿勢認識装置は、
前記姿勢候補群決定手段は、定められた前記入力画像特
徴点位置に含まれる誤差の範囲である特徴点誤差範囲に
基づいて、前記特徴点位置抽出手段が抽出した前記入力
画像特徴点位置のデータを、前記特徴点誤差範囲内にお
いて標本化することにより、一つ又は複数の前記姿勢候
補を生成することを特徴とする。
前記姿勢候補群決定手段は、定められた前記入力画像特
徴点位置に含まれる誤差の範囲である特徴点誤差範囲に
基づいて、前記特徴点位置抽出手段が抽出した前記入力
画像特徴点位置のデータを、前記特徴点誤差範囲内にお
いて標本化することにより、一つ又は複数の前記姿勢候
補を生成することを特徴とする。
【００３８】請求項９の本発明の位置姿勢認識装置は、
（１）前記姿勢選択手段が、前記認識対象の画像に最も
近いと判定した前記比較画像の生成に用いた姿勢候補
を、最適姿勢候補と定める（２）前記姿勢候補群決定手
段が、前記最適姿勢候補を基に新たな複数の前記姿勢候
補を生成する（３）新たに生成された複数の前記姿勢候
補を基に、前記姿勢選択手段が前記認識対象の画像に最
も近い前記比較画像を判定する上記（１）、（２）、
（３）の一連の処理を順次繰り返し実行し、かつ定めら
れた時点において前記繰り返しを終了させる終了判定手
段を備え、前記繰り返しの終了後、前記姿勢選択手段
が、その最終の処理において、前記認識対象の画像に最
も近いと判定した前記比較画像の生成に用いた前記姿勢
候補を、前記認識対象の画像中における前記物体の位置
姿勢の認識結果として出力することを特徴とする。
（１）前記姿勢選択手段が、前記認識対象の画像に最も
近いと判定した前記比較画像の生成に用いた姿勢候補
を、最適姿勢候補と定める（２）前記姿勢候補群決定手
段が、前記最適姿勢候補を基に新たな複数の前記姿勢候
補を生成する（３）新たに生成された複数の前記姿勢候
補を基に、前記姿勢選択手段が前記認識対象の画像に最
も近い前記比較画像を判定する上記（１）、（２）、
（３）の一連の処理を順次繰り返し実行し、かつ定めら
れた時点において前記繰り返しを終了させる終了判定手
段を備え、前記繰り返しの終了後、前記姿勢選択手段
が、その最終の処理において、前記認識対象の画像に最
も近いと判定した前記比較画像の生成に用いた前記姿勢
候補を、前記認識対象の画像中における前記物体の位置
姿勢の認識結果として出力することを特徴とする。
【００３９】請求項１０の本発明の位置姿勢認識装置
は、前記姿勢選択手段が、前記認識対象の画像に最も近
いと判定した前記比較画像の生成に用いた前記姿勢候補
を、前記認識対象の画像中における前記物体の位置姿勢
の認識結果として出力することを特徴とする。
は、前記姿勢選択手段が、前記認識対象の画像に最も近
いと判定した前記比較画像の生成に用いた前記姿勢候補
を、前記認識対象の画像中における前記物体の位置姿勢
の認識結果として出力することを特徴とする。
【００４０】請求項１１の本発明の位置姿勢認識装置
は、前記物体の３次元物体モデルを登録する登録部を備
えることを特徴とする。
は、前記物体の３次元物体モデルを登録する登録部を備
えることを特徴とする。
【００４１】請求項１２の本発明の位置姿勢認識装置
は、前記登録部は、前記物体の３次元形状と、当該物体
表面上の各位置の色又は反射率に相当する画像データを
測定する３次元形状・反射率測定手段と、前記物体の表
面各位置の、様々な照明条件の下での輝度値をあらわす
照明変動テクスチャ群を生成する照明変動テクスチャ生
成手段と、前記照明変動テクスチャ群全体を近似する基
底テクスチャ群を計算する基底テクスチャ計算手段を備
え、前記物体の３次元形状及び前記基底テクスチャ群
を、当該物体の３次元物体モデルとして登録することを
特徴とする。
は、前記登録部は、前記物体の３次元形状と、当該物体
表面上の各位置の色又は反射率に相当する画像データを
測定する３次元形状・反射率測定手段と、前記物体の表
面各位置の、様々な照明条件の下での輝度値をあらわす
照明変動テクスチャ群を生成する照明変動テクスチャ生
成手段と、前記照明変動テクスチャ群全体を近似する基
底テクスチャ群を計算する基底テクスチャ計算手段を備
え、前記物体の３次元形状及び前記基底テクスチャ群
を、当該物体の３次元物体モデルとして登録することを
特徴とする。
【００４２】請求項１３の本発明の位置姿勢認識装置
は、前記登録部は、前記物体表面上の特徴点の３次元位
置情報を登録特徴点位置として記憶することを特徴とす
る。
は、前記登録部は、前記物体表面上の特徴点の３次元位
置情報を登録特徴点位置として記憶することを特徴とす
る。
【００４３】請求項１４の本発明の３次元物体モデル登
録装置は、物体の位置姿勢を登録する３次元物体モデル
登録装置において、前記物体の３次元形状と、当該物体
表面上の各位置の色又は反射率に相当する画像データを
測定する３次元形状・反射率測定手段と、前記物体の表
面各位置の、様々な照明条件の下での輝度値をあらわす
照明変動テクスチャ群を生成する照明変動テクスチャ生
成手段と、前記照明変動テクスチャ群全体を近似する基
底テクスチャ群を計算する基底テクスチャ計算手段を備
え、前記物体の３次元形状及び前記基底テクスチャ群
を、当該物体の３次元物体モデルとして登録することを
特徴とする。
録装置は、物体の位置姿勢を登録する３次元物体モデル
登録装置において、前記物体の３次元形状と、当該物体
表面上の各位置の色又は反射率に相当する画像データを
測定する３次元形状・反射率測定手段と、前記物体の表
面各位置の、様々な照明条件の下での輝度値をあらわす
照明変動テクスチャ群を生成する照明変動テクスチャ生
成手段と、前記照明変動テクスチャ群全体を近似する基
底テクスチャ群を計算する基底テクスチャ計算手段を備
え、前記物体の３次元形状及び前記基底テクスチャ群
を、当該物体の３次元物体モデルとして登録することを
特徴とする。
【００４４】請求項１５の本発明の３次元物体モデル登
録装置は、前記物体表面上の特徴点の３次元位置情報を
登録特徴点位置として記憶することを特徴とする。
録装置は、前記物体表面上の特徴点の３次元位置情報を
登録特徴点位置として記憶することを特徴とする。
【００４５】請求項１６の本発明の位置姿勢認識方法
は、認識対象の画像中から物体の位置姿勢を認識する位
置姿勢認識方法において、前記物体の３次元形状と、当
該物体の表面の各位置の輝度値とから成る３次元物体モ
デルを生成し、前記３次元物体モデルに基づいて、前記
認識対象の画像中における前記物体の位置姿勢を認識す
ることを特徴とする。
は、認識対象の画像中から物体の位置姿勢を認識する位
置姿勢認識方法において、前記物体の３次元形状と、当
該物体の表面の各位置の輝度値とから成る３次元物体モ
デルを生成し、前記３次元物体モデルに基づいて、前記
認識対象の画像中における前記物体の位置姿勢を認識す
ることを特徴とする。
【００４６】請求項１７の本発明の位置姿勢認識方法
は、前記認識対象の画像中における前記物体の位置姿勢
の候補である姿勢候補に基づいて、前記姿勢候補の位置
姿勢に当該物体がある場合の画像の輝度値の照明条件に
よる変動を表す照明変動空間を生成する照明変動空間生
成ステップと、前記姿勢候補の位置姿勢に当該物体があ
りかつ照明条件が前記認識対象の画像と同等である場合
に得られる画像である比較画像を、前記３次元物体モデ
ル及び前記照明変動空間に基づいて生成する比較画像生
成ステップと、複数の前記姿勢候補のそれぞれに基づい
て生成された各前記比較画像を、前記認識対象の画像と
比較して、前記認識対象の画像に最も近い前記比較画像
を判定する姿勢選択ステップを備えることを特徴とす
る。
は、前記認識対象の画像中における前記物体の位置姿勢
の候補である姿勢候補に基づいて、前記姿勢候補の位置
姿勢に当該物体がある場合の画像の輝度値の照明条件に
よる変動を表す照明変動空間を生成する照明変動空間生
成ステップと、前記姿勢候補の位置姿勢に当該物体があ
りかつ照明条件が前記認識対象の画像と同等である場合
に得られる画像である比較画像を、前記３次元物体モデ
ル及び前記照明変動空間に基づいて生成する比較画像生
成ステップと、複数の前記姿勢候補のそれぞれに基づい
て生成された各前記比較画像を、前記認識対象の画像と
比較して、前記認識対象の画像に最も近い前記比較画像
を判定する姿勢選択ステップを備えることを特徴とす
る。
【００４７】請求項１８の本発明の位置姿勢認識方法
は、前記物体の位置姿勢を示すパラメタの各値を、指定
された範囲内において標本化することにより、複数の前
記姿勢候補を生成する姿勢候補群決定ステップを備え、
生成された複数の前記姿勢候補の中から、前記認識対象
の画像に最も近い前記比較画像を判定することを特徴と
する。
は、前記物体の位置姿勢を示すパラメタの各値を、指定
された範囲内において標本化することにより、複数の前
記姿勢候補を生成する姿勢候補群決定ステップを備え、
生成された複数の前記姿勢候補の中から、前記認識対象
の画像に最も近い前記比較画像を判定することを特徴と
する。
【００４８】請求項１９の本発明の位置姿勢認識方法
は、前記物体の位置姿勢を示す与えられたパラメタの各
値を、指定された増減を行なうことにより、複数の前記
姿勢候補を生成する姿勢候補群決定ステップを備え、生
成された複数の前記姿勢候補の中から、前記認識対象の
画像に最も近い前記比較画像を判定することを特徴とす
る。
は、前記物体の位置姿勢を示す与えられたパラメタの各
値を、指定された増減を行なうことにより、複数の前記
姿勢候補を生成する姿勢候補群決定ステップを備え、生
成された複数の前記姿勢候補の中から、前記認識対象の
画像に最も近い前記比較画像を判定することを特徴とす
る。
【００４９】請求項２０の本発明の位置姿勢認識方法
は、認識対象の画像中の特徴点の位置を入力画像特徴点
位置として抽出する特徴点位置抽出ステップを備え、前
記姿勢候補群決定ステップは、前記物体の前記特徴点の
位置の情報と、前記入力画像特徴点位置の情報とに基づ
いて、複数の前記姿勢候補を生成することを特徴とす
る。
は、認識対象の画像中の特徴点の位置を入力画像特徴点
位置として抽出する特徴点位置抽出ステップを備え、前
記姿勢候補群決定ステップは、前記物体の前記特徴点の
位置の情報と、前記入力画像特徴点位置の情報とに基づ
いて、複数の前記姿勢候補を生成することを特徴とす
る。
【００５０】請求項２１の本発明の位置姿勢認識方法
は、前記特徴点位置抽出ステップにおいて抽出した前記
入力画像特徴点位置の一部の特徴点を選択した組を、特
徴点群として一つ又は複数生成し、前記姿勢候補群決定
ステップは、前記物体の前記特徴点の位置の情報と、前
記入力画像特徴点位置の当該特徴点組群において選択さ
れた前記特徴点とに基づいて、一つ又は複数の前記姿勢
候補を生成することを特徴とする。
は、前記特徴点位置抽出ステップにおいて抽出した前記
入力画像特徴点位置の一部の特徴点を選択した組を、特
徴点群として一つ又は複数生成し、前記姿勢候補群決定
ステップは、前記物体の前記特徴点の位置の情報と、前
記入力画像特徴点位置の当該特徴点組群において選択さ
れた前記特徴点とに基づいて、一つ又は複数の前記姿勢
候補を生成することを特徴とする。
【００５１】請求項２２の本発明の位置姿勢認識方法
は、前記特徴点位置抽出ステップにおいて抽出した前記
入力画像特徴点位置のデータを、指定された増減を行な
うことにより一つ又は複数の新たな前記入力画像特徴点
位置を生成することを特徴とする。
は、前記特徴点位置抽出ステップにおいて抽出した前記
入力画像特徴点位置のデータを、指定された増減を行な
うことにより一つ又は複数の新たな前記入力画像特徴点
位置を生成することを特徴とする。
【００５２】請求項２３の本発明の位置姿勢認識方法
は、前記姿勢候補群決定ステップは、定められた前記入
力画像特徴点位置に含まれる誤差の範囲である特徴点誤
差範囲に基づいて、前記特徴点位置抽出ステップにおい
て抽出した前記入力画像特徴点位置のデータを、前記特
徴点誤差範囲内において標本化することにより、一つ又
は複数の前記姿勢候補を生成することを特徴とする。
は、前記姿勢候補群決定ステップは、定められた前記入
力画像特徴点位置に含まれる誤差の範囲である特徴点誤
差範囲に基づいて、前記特徴点位置抽出ステップにおい
て抽出した前記入力画像特徴点位置のデータを、前記特
徴点誤差範囲内において標本化することにより、一つ又
は複数の前記姿勢候補を生成することを特徴とする。
【００５３】請求項２４の本発明の位置姿勢認識方法
は、（１）前記姿勢選択ステップにおいて、前記認識対
象の画像に最も近いと判定した前記比較画像の生成に用
いた姿勢候補を、最適姿勢候補と定める（２）前記姿勢
候補群決定ステップにより、前記最適姿勢候補を基に新
たな複数の前記姿勢候補を生成する（３）新たに生成さ
れた複数の前記姿勢候補を基に、前記姿勢選択ステップ
により、前記認識対象の画像に最も近い前記比較画像を
判定する上記（１）、（２）、（３）の一連の処理を順
次繰り返し実行し、かつ定められた時点において前記繰
り返しを終了させる終了判定ステップを備え、前記繰り
返しの終了後、前記姿勢選択ステップが、その最終の処
理において、前記認識対象の画像に最も近いと判定した
前記比較画像の生成に用いた前記姿勢候補を、前記認識
対象の画像中における前記物体の位置姿勢の認識結果と
して出力することを特徴とする。
は、（１）前記姿勢選択ステップにおいて、前記認識対
象の画像に最も近いと判定した前記比較画像の生成に用
いた姿勢候補を、最適姿勢候補と定める（２）前記姿勢
候補群決定ステップにより、前記最適姿勢候補を基に新
たな複数の前記姿勢候補を生成する（３）新たに生成さ
れた複数の前記姿勢候補を基に、前記姿勢選択ステップ
により、前記認識対象の画像に最も近い前記比較画像を
判定する上記（１）、（２）、（３）の一連の処理を順
次繰り返し実行し、かつ定められた時点において前記繰
り返しを終了させる終了判定ステップを備え、前記繰り
返しの終了後、前記姿勢選択ステップが、その最終の処
理において、前記認識対象の画像に最も近いと判定した
前記比較画像の生成に用いた前記姿勢候補を、前記認識
対象の画像中における前記物体の位置姿勢の認識結果と
して出力することを特徴とする。
【００５４】請求項２５の本発明の位置姿勢認識方法
は、前記姿勢選択ステップが、前記認識対象の画像に最
も近いと判定した前記比較画像の生成に用いた前記姿勢
候補を、前記認識対象の画像中における前記物体の位置
姿勢の認識結果として出力することを特徴とする。
は、前記姿勢選択ステップが、前記認識対象の画像に最
も近いと判定した前記比較画像の生成に用いた前記姿勢
候補を、前記認識対象の画像中における前記物体の位置
姿勢の認識結果として出力することを特徴とする。
【００５５】請求項２６の本発明の位置姿勢認識方法
は、前記物体の３次元物体モデルの情報を登録する登録
ステップを備えることを特徴とする。
は、前記物体の３次元物体モデルの情報を登録する登録
ステップを備えることを特徴とする。
【００５６】請求項２７の本発明の位置姿勢認識方法
は、前記登録ステップでは、前記物体の３次元形状と、
当該物体表面上の各位置の色又は反射率に相当する画像
データを測定する３次元形状・反射率測定ステップと、
前記物体の表面各位置の、様々な照明条件の下での輝度
値をあらわす照明変動テクスチャ群を生成する照明変動
テクスチャ生成ステップと、前記照明変動テクスチャ群
全体を近似する基底テクスチャ群を計算する基底テクス
チャ計算ステップを備え、前記物体の３次元形状及び前
記基底テクスチャ群を、当該物体の３次元物体モデルと
して登録することを特徴とする。
は、前記登録ステップでは、前記物体の３次元形状と、
当該物体表面上の各位置の色又は反射率に相当する画像
データを測定する３次元形状・反射率測定ステップと、
前記物体の表面各位置の、様々な照明条件の下での輝度
値をあらわす照明変動テクスチャ群を生成する照明変動
テクスチャ生成ステップと、前記照明変動テクスチャ群
全体を近似する基底テクスチャ群を計算する基底テクス
チャ計算ステップを備え、前記物体の３次元形状及び前
記基底テクスチャ群を、当該物体の３次元物体モデルと
して登録することを特徴とする。
【００５７】請求項２８の本発明の位置姿勢認識方法
は、前記登録ステップでは、前記物体表面上の特徴点の
３次元位置情報を登録特徴点位置として記憶することを
特徴とする。
は、前記登録ステップでは、前記物体表面上の特徴点の
３次元位置情報を登録特徴点位置として記憶することを
特徴とする。
【００５８】請求項２９の本発明の位置姿勢認識プログ
ラムは、コンピュータを制御することにより、認識対象
の画像中から物体の位置姿勢を認識する位置姿勢認識方
法において、前記物体の３次元形状と、当該物体の表面
の各位置の輝度値とから成る３次元物体モデルを生成
し、前記３次元物体モデルに基づいて、前記認識対象の
画像中における前記物体の位置姿勢を認識する処理を実
行させることを特徴とする。
ラムは、コンピュータを制御することにより、認識対象
の画像中から物体の位置姿勢を認識する位置姿勢認識方
法において、前記物体の３次元形状と、当該物体の表面
の各位置の輝度値とから成る３次元物体モデルを生成
し、前記３次元物体モデルに基づいて、前記認識対象の
画像中における前記物体の位置姿勢を認識する処理を実
行させることを特徴とする。
【００５９】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。
て図面を参照して詳細に説明する。
【００６０】従来の技術では、認識対象の画像（入力画
像）から、特徴的な文様や物体形状のエッジその交点と
いった画像中の物体の特徴点の位置情報（入力画像特徴
点位置）を抽出し、３次元物体モデルから計算した特徴
点の位置が前記入力画像特徴点位置に最も近くなるよう
な姿勢パラメタを最適な姿勢として求めていた。
像）から、特徴的な文様や物体形状のエッジその交点と
いった画像中の物体の特徴点の位置情報（入力画像特徴
点位置）を抽出し、３次元物体モデルから計算した特徴
点の位置が前記入力画像特徴点位置に最も近くなるよう
な姿勢パラメタを最適な姿勢として求めていた。
【００６１】これに対し、本発明では、対象物体が剛体
又は準剛体とみなすことができて変形がない場合には、
物体の画像の変動要因は姿勢と照明条件の変動だけであ
り、正しい姿勢パラメタを用いて照明条件による陰影の
変動の補正を行って生成した比較画像は、その輝度値が
認識対象の画像に一致することを利用する。
又は準剛体とみなすことができて変形がない場合には、
物体の画像の変動要因は姿勢と照明条件の変動だけであ
り、正しい姿勢パラメタを用いて照明条件による陰影の
変動の補正を行って生成した比較画像は、その輝度値が
認識対象の画像に一致することを利用する。
【００６２】すなわち、従来の技術と比べて本発明は、
複数の姿勢候補の中から最適の姿勢を選ぶときに、認識
対象の画像から抽出された特徴点の位置情報を基準にす
るのではなく、画像の輝度値を直接比較する点、及び、
それを可能にするために認識対象の画像の撮影時の照明
条件の変化による陰影の変動を補正する点、が大きく異
なっている。
複数の姿勢候補の中から最適の姿勢を選ぶときに、認識
対象の画像から抽出された特徴点の位置情報を基準にす
るのではなく、画像の輝度値を直接比較する点、及び、
それを可能にするために認識対象の画像の撮影時の照明
条件の変化による陰影の変動を補正する点、が大きく異
なっている。
【００６３】本発明では、特徴抽出を行わずに画像の輝
度情報を直接比較して、姿勢候補から最適の姿勢を選択
することにより、従来の技術のように特徴点位置の抽出
誤差に影響されることなく、正しい位置姿勢を認識する
ことができる。
度情報を直接比較して、姿勢候補から最適の姿勢を選択
することにより、従来の技術のように特徴点位置の抽出
誤差に影響されることなく、正しい位置姿勢を認識する
ことができる。
【００６４】第１の実施の形態
図１は、本発明の第１の実施の形態による位置姿勢認識
装置１００の構成を示すブロック図であり、図２は、本
実施の形態による位置姿勢認識装置１００の処理の概略
を示す図であり、図３は、本実施の形態による位置姿勢
認識装置１００の構成の概略を示すブロック図であり、
図４は、本実施の形態の位置姿勢認識の処理を説明する
ためのフローチャートである。
装置１００の構成を示すブロック図であり、図２は、本
実施の形態による位置姿勢認識装置１００の処理の概略
を示す図であり、図３は、本実施の形態による位置姿勢
認識装置１００の構成の概略を示すブロック図であり、
図４は、本実施の形態の位置姿勢認識の処理を説明する
ためのフローチャートである。
【００６５】本実施の形態の位置姿勢認識装置１００
は、プログラム制御されるＣＰＵ等で実現され、図１、
図３に示すように、位置や姿勢を認識しようとする対象
物体に関するデータを予め記憶しておくための登録部１
０と、実際に撮影された画像から物体の位置や姿勢を認
識する認識部２０を備える。
は、プログラム制御されるＣＰＵ等で実現され、図１、
図３に示すように、位置や姿勢を認識しようとする対象
物体に関するデータを予め記憶しておくための登録部１
０と、実際に撮影された画像から物体の位置や姿勢を認
識する認識部２０を備える。
【００６６】登録部１０は、物体の３次元形状、及び、
物体表面の色や反射率を測定する３次元形状・反射率測
定部１１と、照明条件の変動による物体表面各位置の陰
影を表す照明変動テクスチャを生成する照明変動テクス
チャ生成部１２と、テクスチャの照明変動全体を縮約表
現するための基底テクスチャ群を計算する基底テクスチ
ャ計算部１３と、前記物体の３次元形状と前記基底テク
スチャ群をまとめて３次元物体モデルとして記憶する物
体モデル記憶部１４を備える。
物体表面の色や反射率を測定する３次元形状・反射率測
定部１１と、照明条件の変動による物体表面各位置の陰
影を表す照明変動テクスチャを生成する照明変動テクス
チャ生成部１２と、テクスチャの照明変動全体を縮約表
現するための基底テクスチャ群を計算する基底テクスチ
ャ計算部１３と、前記物体の３次元形状と前記基底テク
スチャ群をまとめて３次元物体モデルとして記憶する物
体モデル記憶部１４を備える。
【００６７】３次元形状・反射率測定部１１は、物体の
３次元形状と、物体の表面の反射率を測定する（ステッ
プ１１０）。
３次元形状と、物体の表面の反射率を測定する（ステッ
プ１１０）。
【００６８】３次元形状・反射率測定部１１による物体
の３次元形状と、物体の表面の反射率の測定方法には、
様々な測定装置や手法を用いることができる。例えば一
例として、物体の３次元形状を、文献７（特願平１１−
１２３６８７号）記載の３次元形状測定装置の技術を用
いて測定することができ、またこの他にも様々な３次元
形状測定装置や手法を適用することができる。また、物
体表面の反射率においては、前記文献７の３次元形状測
定装置が測定するテクスチャ画像をそのまま代用するこ
とができる。
の３次元形状と、物体の表面の反射率の測定方法には、
様々な測定装置や手法を用いることができる。例えば一
例として、物体の３次元形状を、文献７（特願平１１−
１２３６８７号）記載の３次元形状測定装置の技術を用
いて測定することができ、またこの他にも様々な３次元
形状測定装置や手法を適用することができる。また、物
体表面の反射率においては、前記文献７の３次元形状測
定装置が測定するテクスチャ画像をそのまま代用するこ
とができる。
【００６９】照明変動テクスチャ生成部１２は、前記３
次元形状を用いて物体表面上の各点Ｐ（ｘ，ｙ，ｚ）に
対応するテクスチャ座標系（ｓ，ｔ）を定義する（ステ
ップ１２０）。照明変動テクスチャ生成部１２による、
該テクスチャ座標系の設定方法には様々な手法が利用可
能である。その一例として本実施の形態においては、図
１６に示すように、物体の重心を中心として物体を覆う
球を考え、物体表面上の各点Ｐを、重心を中心として前
記球表面上へ投影し、投影された点Ｑの緯度経度（ｓ，
ｔ）をテクスチャ座標とする手法を利用する。しかし、
この他にも様々な装置や手法が利用可能である。
次元形状を用いて物体表面上の各点Ｐ（ｘ，ｙ，ｚ）に
対応するテクスチャ座標系（ｓ，ｔ）を定義する（ステ
ップ１２０）。照明変動テクスチャ生成部１２による、
該テクスチャ座標系の設定方法には様々な手法が利用可
能である。その一例として本実施の形態においては、図
１６に示すように、物体の重心を中心として物体を覆う
球を考え、物体表面上の各点Ｐを、重心を中心として前
記球表面上へ投影し、投影された点Ｑの緯度経度（ｓ，
ｔ）をテクスチャ座標とする手法を利用する。しかし、
この他にも様々な装置や手法が利用可能である。
【００７０】ここで、本実施の形態の照明変動テクスチ
ャ生成部１２の、テクスチャ座標系の設定処理を詳細に
説明する。
ャ生成部１２の、テクスチャ座標系の設定処理を詳細に
説明する。
【００７１】本実施の形態の照明変動テクスチャ生成部
１２は、各点Ｐ（ｓ，ｔ）の画像上での輝度値を表すテ
クスチャＴ（ｓ，ｔ）を、照明条件ｊを様々に変化させ
ながら多数生成し、これを照明変動テクスチャ群｛Ｔｊ
（ｓ，ｔ）｝として出力する。ここで、輝度値の計算に
は様々なコンピュータグラフィックスの手法を応用して
適用することが可能であるが、一例として物体表面の反
射特性をLambertianモデルで近似し、照明が無限に遠く
にあると仮定した以下のような手法を用いる。
１２は、各点Ｐ（ｓ，ｔ）の画像上での輝度値を表すテ
クスチャＴ（ｓ，ｔ）を、照明条件ｊを様々に変化させ
ながら多数生成し、これを照明変動テクスチャ群｛Ｔｊ
（ｓ，ｔ）｝として出力する。ここで、輝度値の計算に
は様々なコンピュータグラフィックスの手法を応用して
適用することが可能であるが、一例として物体表面の反
射特性をLambertianモデルで近似し、照明が無限に遠く
にあると仮定した以下のような手法を用いる。
【００７２】まず、前記３次元形状データを用い、物体
表面の各点Ｐ（ｓ，ｔ）の法線ベクトルを計算する。そ
して、各点Ｐ（ｓ，ｔ）の法線ベクトルと反射率ｄ
（ｓ，ｔ）とを用いて、指定された方向（緯度、経度）
の点光源を受けた場合の、そのＰ（ｓ，ｔ）の点の輝度
値Ｔ（ｓ，ｔ）を次の数１の式により求める。
表面の各点Ｐ（ｓ，ｔ）の法線ベクトルを計算する。そ
して、各点Ｐ（ｓ，ｔ）の法線ベクトルと反射率ｄ
（ｓ，ｔ）とを用いて、指定された方向（緯度、経度）
の点光源を受けた場合の、そのＰ（ｓ，ｔ）の点の輝度
値Ｔ（ｓ，ｔ）を次の数１の式により求める。
【数１】
ここで、ｅ（ｓ，ｔ）は、点Ｐ（ｓ，ｔ）が影になるか
どうかで０か１の値をとる関数とする。影の判定は、点
Ｐから光源ベクトルの方向への半直線が物体と交差する
かどうかを、光線追跡法の技術などを用いて判定すれば
よい。
どうかで０か１の値をとる関数とする。影の判定は、点
Ｐから光源ベクトルの方向への半直線が物体と交差する
かどうかを、光線追跡法の技術などを用いて判定すれば
よい。
【００７３】基底テクスチャ計算部１３は、前記照明変
動テクスチャ群｛Ｔｊ｝を用いて、任意の照明条件での
テクスチャを包含する部分空間の基底である基底テクス
チャ群｛Ｇｉ｝を計算する（ステップ１３０）。
動テクスチャ群｛Ｔｊ｝を用いて、任意の照明条件での
テクスチャを包含する部分空間の基底である基底テクス
チャ群｛Ｇｉ｝を計算する（ステップ１３０）。
【００７４】各基底テクスチャＧｉの計算は、数２に示
すように、照明変動テクスチャ群｛Ｔｊ｝の各画素の輝
度値を並べた縦ベクトルを横に並べた行列の共分散行列
の、固有ベクトルと固有値を求める。
すように、照明変動テクスチャ群｛Ｔｊ｝の各画素の輝
度値を並べた縦ベクトルを横に並べた行列の共分散行列
の、固有ベクトルと固有値を求める。
【数２】
ここで、固有値｛λｉ｝は、その値の大きい順にｉ＝
１，２，３，…，Ｎとする。
１，２，３，…，Ｎとする。
【００７５】そして、求められた固有ベクトルの内で必
要な数ｎ個を取り、これを基底テクスチャ群｛Ｇｉ｝
（ｉ＝１，２，３，…，ｎ）として出力する。取り出す
個数“ｎ”の決定には、例えば、固有値の累積寄与率Ｒ
として０．９９（９９％）などの値を設定して、次の数
３の式を満たすようにｎを設定する等の方法を用いるこ
とができる。
要な数ｎ個を取り、これを基底テクスチャ群｛Ｇｉ｝
（ｉ＝１，２，３，…，ｎ）として出力する。取り出す
個数“ｎ”の決定には、例えば、固有値の累積寄与率Ｒ
として０．９９（９９％）などの値を設定して、次の数
３の式を満たすようにｎを設定する等の方法を用いるこ
とができる。
【数３】
【００７６】物体モデル記憶部１４では、前記３次元形
状と、前記基底テクスチャ群｛Ｇｉ｝を記憶しておく
（ステップ１４０）。
状と、前記基底テクスチャ群｛Ｇｉ｝を記憶しておく
（ステップ１４０）。
【００７７】認識部２０では、カメラ等の撮像装置を用
いて撮影された位置や姿勢を認識しようとする物体の２
次元画像である入力画像と、物体の位置姿勢の候補とし
て与えられる姿勢候補群を入力とし、前記入力画像中に
写っている物体の位置として最も正しい姿勢候補である
最適姿勢候補を、位置姿勢の認識結果として出力する。
いて撮影された位置や姿勢を認識しようとする物体の２
次元画像である入力画像と、物体の位置姿勢の候補とし
て与えられる姿勢候補群を入力とし、前記入力画像中に
写っている物体の位置として最も正しい姿勢候補である
最適姿勢候補を、位置姿勢の認識結果として出力する。
【００７８】認識部２０は、前記姿勢候補群を入力と
し、物体モデル記憶部１４から物体の３次元物体モデル
を読み込み、与えられた姿勢候補の位置姿勢に物体があ
るときの画像の輝度値の照明条件による変動を表す照明
変動空間を生成する照明変動空間生成部２１と、各照明
変動空間を用いて入力画像に最も近い画像として比較画
像を生成する比較画像生成部２２と、前記比較画像群の
中で最も入力画像に近い比較画像を選択し該画像を生成
する姿勢候補を最適姿勢候補として出力する姿勢選択部
２３を備える。
し、物体モデル記憶部１４から物体の３次元物体モデル
を読み込み、与えられた姿勢候補の位置姿勢に物体があ
るときの画像の輝度値の照明条件による変動を表す照明
変動空間を生成する照明変動空間生成部２１と、各照明
変動空間を用いて入力画像に最も近い画像として比較画
像を生成する比較画像生成部２２と、前記比較画像群の
中で最も入力画像に近い比較画像を選択し該画像を生成
する姿勢候補を最適姿勢候補として出力する姿勢選択部
２３を備える。
【００７９】まず、与えられた姿勢候補群のそれぞれの
姿勢候補に対して、照明変動空間生成部２１、及び比較
画像生成部２２が処理を行う（ステップ２１０、２２
０）。
姿勢候補に対して、照明変動空間生成部２１、及び比較
画像生成部２２が処理を行う（ステップ２１０、２２
０）。
【００８０】図５は、本実施の形態の照明変動空間生成
部２１の構成を示すブロック図であり、図６は、本実施
の形態の照明変動空間生成の処理を説明するためのフロ
ーチャートである。本実施の形態の照明変動空間生成部
２１は、図５に示すように投影変換決定部２１−１と、
基底テクスチャ投影部２１−２を備えている。
部２１の構成を示すブロック図であり、図６は、本実施
の形態の照明変動空間生成の処理を説明するためのフロ
ーチャートである。本実施の形態の照明変動空間生成部
２１は、図５に示すように投影変換決定部２１−１と、
基底テクスチャ投影部２１−２を備えている。
【００８１】投影変換決定部２１−１は、前記姿勢候補
の位置姿勢に物体がある場合の物体表面の各点Ｐ（ｓ，
ｔ）の画像上での座標（ｕ，ｖ）を計算し、画像座標
（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への変換ｆ：
（ｕ，ｖ）→（ｓ，ｔ）を求め、座標変換として出力す
る（ステップ６０３）。当然ながら、この変換は画像の
画素の内物体の領域である画素についてのみ求めればよ
い。
の位置姿勢に物体がある場合の物体表面の各点Ｐ（ｓ，
ｔ）の画像上での座標（ｕ，ｖ）を計算し、画像座標
（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への変換ｆ：
（ｕ，ｖ）→（ｓ，ｔ）を求め、座標変換として出力す
る（ステップ６０３）。当然ながら、この変換は画像の
画素の内物体の領域である画素についてのみ求めればよ
い。
【００８２】この処理には様々な手法を用いることがで
きるが、一例として次のような手法を用いることができ
る。物体の３次元形状データと、表面の色情報、及び位
置姿勢が決まれば、一般的なコンピュータのグラフィク
ス標準機能を用いて該位置姿勢での物体の画像を描画す
ることができる。
きるが、一例として次のような手法を用いることができ
る。物体の３次元形状データと、表面の色情報、及び位
置姿勢が決まれば、一般的なコンピュータのグラフィク
ス標準機能を用いて該位置姿勢での物体の画像を描画す
ることができる。
【００８３】ここで、物体表面各点の色を、その点のテ
クスチャ座標（ｓ，ｔ）と１対１で対応するように設定
し、描画を行えば、描画された画像の各画素（ｕ，ｖ）
の色から（ｕ，ｖ）→（ｓ，ｔ）対応関係を求めること
ができる。この方法はあくまで一例であり、その他様々
な手法が適用可能であることはいうまでもない。
クスチャ座標（ｓ，ｔ）と１対１で対応するように設定
し、描画を行えば、描画された画像の各画素（ｕ，ｖ）
の色から（ｕ，ｖ）→（ｓ，ｔ）対応関係を求めること
ができる。この方法はあくまで一例であり、その他様々
な手法が適用可能であることはいうまでもない。
【００８４】基底テクスチャ投影部２１−２は、前記座
標変換を用いて基底画像Ｂｉ（ｕ，ｖ）を次式によって
計算する（ステップ６０４）。 Ｂｉ（ｕ，ｖ）＝Ｇｉ（ｆ（ｕ，ｖ））、 （ｉ＝
１，２，３，…，ｎ） 計算された基底画像群｛Ｂｉ｝をまとめて照明変動空間
Ｓとして出力する。
標変換を用いて基底画像Ｂｉ（ｕ，ｖ）を次式によって
計算する（ステップ６０４）。 Ｂｉ（ｕ，ｖ）＝Ｇｉ（ｆ（ｕ，ｖ））、 （ｉ＝
１，２，３，…，ｎ） 計算された基底画像群｛Ｂｉ｝をまとめて照明変動空間
Ｓとして出力する。
【００８５】比較画像生成部２２は、前記照明変動空間
Ｓを用いて、比較画像を、照明変動空間Ｓ内にありかつ
入力画像に最も近い画像として生成する（ステップ２２
０）。この照明変動空間Ｓ内にある入力画像に最も近い
比較画像を生成する方法には、例えば数４に示すよう
に、比較画像を示す係数｛ａｉ｝の値を最小二乗法によ
って求める等の方法を用いることができる。
Ｓを用いて、比較画像を、照明変動空間Ｓ内にありかつ
入力画像に最も近い画像として生成する（ステップ２２
０）。この照明変動空間Ｓ内にある入力画像に最も近い
比較画像を生成する方法には、例えば数４に示すよう
に、比較画像を示す係数｛ａｉ｝の値を最小二乗法によ
って求める等の方法を用いることができる。
【数４】
【００８６】姿勢選択部２３は、前記姿勢候補群の中の
各姿勢候補ｊについて生成した前記比較画像の中で、最
も入力画像との類似度の高い比較画像Ｃｊに対応する姿
勢候補ｊを、最適姿勢候補として出力する（ステップ２
３０）。
各姿勢候補ｊについて生成した前記比較画像の中で、最
も入力画像との類似度の高い比較画像Ｃｊに対応する姿
勢候補ｊを、最適姿勢候補として出力する（ステップ２
３０）。
【００８７】入力画像Ｉｑと各比較画像との類似度は、
画像の輝度値を比較することにより数５で計算するｄｊ
の値を用いて、判定することができる。数５の場合にお
いては、ｄｊの値が小さいほど類似度が高いことになる
ので、ｄｊの値の最も値の小さい比較画像を生成する姿
勢候補ｊを最適姿勢候補とする。
画像の輝度値を比較することにより数５で計算するｄｊ
の値を用いて、判定することができる。数５の場合にお
いては、ｄｊの値が小さいほど類似度が高いことになる
ので、ｄｊの値の最も値の小さい比較画像を生成する姿
勢候補ｊを最適姿勢候補とする。
【数５】
【００８８】この類似度の計算方法はあくまで一例であ
り、この他に、類似度として画像の相関値を用いたり、
比較画像と入力画像をそれぞれぼかしたりエッジを強調
するなどの特徴抽出や画像処理を加えた後で類似度を計
算するなど、様々な方法が適用可能である。
り、この他に、類似度として画像の相関値を用いたり、
比較画像と入力画像をそれぞれぼかしたりエッジを強調
するなどの特徴抽出や画像処理を加えた後で類似度を計
算するなど、様々な方法が適用可能である。
【００８９】そして、本実施の形態においては、姿勢選
択部２３において最適姿勢候補として選択された姿勢
を、入力画像中の物体の姿勢の認識結果として出力する
（ステップ２９０）。
択部２３において最適姿勢候補として選択された姿勢
を、入力画像中の物体の姿勢の認識結果として出力する
（ステップ２９０）。
【００９０】以上説明したように、本実施の形態によれ
ば、画像の輝度値を直接比較して物体の正しい位置姿勢
を判定することができる。このため、入力画像における
物体の位置姿勢や照明条件が大きく変動したり、物体の
形状や色に明確な特徴がない場合等における、入力画像
から十分な数の特徴点を抽出できなかったり、特徴点の
位置を正確に抽出することができない場合においても、
正しい位置姿勢を認識することができる。
ば、画像の輝度値を直接比較して物体の正しい位置姿勢
を判定することができる。このため、入力画像における
物体の位置姿勢や照明条件が大きく変動したり、物体の
形状や色に明確な特徴がない場合等における、入力画像
から十分な数の特徴点を抽出できなかったり、特徴点の
位置を正確に抽出することができない場合においても、
正しい位置姿勢を認識することができる。
【００９１】第２の実施の形態
図７は、本発明の第２の実施の形態による位置姿勢認識
装置１００ａの構成を示すブロック図であり、図８は、
本実施の形態の位置姿勢認識の処理を説明するためのフ
ローチャートである。
装置１００ａの構成を示すブロック図であり、図８は、
本実施の形態の位置姿勢認識の処理を説明するためのフ
ローチャートである。
【００９２】本実施の形態は、姿勢候補が複数の候補と
して離散的に与えられるのではなく、与えられた姿勢と
その誤差あるいは変動の範囲として指定されたり、ある
いは位置と姿勢の各パラメタの指定された範囲として指
定するように、一つ又は複数の連続的な領域として姿勢
候補が与えられた場合に、その該姿勢候補領域内で最適
な姿勢を求める実施の形態である。
して離散的に与えられるのではなく、与えられた姿勢と
その誤差あるいは変動の範囲として指定されたり、ある
いは位置と姿勢の各パラメタの指定された範囲として指
定するように、一つ又は複数の連続的な領域として姿勢
候補が与えられた場合に、その該姿勢候補領域内で最適
な姿勢を求める実施の形態である。
【００９３】このため本実施の形態では、第１の実施の
形態の位置姿勢認識装置１００の構成に加えて、認識部
２０ａに姿勢候補群決定部２６を備えている。
形態の位置姿勢認識装置１００の構成に加えて、認識部
２０ａに姿勢候補群決定部２６を備えている。
【００９４】姿勢候補群決定部２６は、姿勢候補とし
て、位置姿勢を示すパラメタの値とその位置姿勢からの
誤差あるいは変動の範囲が与えられた場合には、その指
定された範囲内で、姿勢候補の各パラメタを変動させる
ことにより得られる複数の姿勢候補を生成し、姿勢候補
群として出力する（ステップ２６０）。
て、位置姿勢を示すパラメタの値とその位置姿勢からの
誤差あるいは変動の範囲が与えられた場合には、その指
定された範囲内で、姿勢候補の各パラメタを変動させる
ことにより得られる複数の姿勢候補を生成し、姿勢候補
群として出力する（ステップ２６０）。
【００９５】また、姿勢候補として、位置姿勢を示すパ
ラメタの範囲が与えられた場合には、その指定された範
囲内で、位置姿勢の各パラメタをランダムに、又は、適
当な間隔で標本化することにより得られる複数の姿勢候
補を生成し、姿勢候補群として出力する（ステップ２６
０）。
ラメタの範囲が与えられた場合には、その指定された範
囲内で、位置姿勢の各パラメタをランダムに、又は、適
当な間隔で標本化することにより得られる複数の姿勢候
補を生成し、姿勢候補群として出力する（ステップ２６
０）。
【００９６】本実施の形態の他の処理は、全て第１の実
施の形態と同様である。
施の形態と同様である。
【００９７】以上説明したように、本実施の形態によれ
ば、第１の実施の形態の効果に加えて、連続的な領域と
して姿勢候補が与えられた場合にも対応し、その指定さ
れた姿勢候補の範囲の中から、最適の姿勢候補を選択
し、入力画像中の物体の姿勢の認識結果として出力する
ことができる。
ば、第１の実施の形態の効果に加えて、連続的な領域と
して姿勢候補が与えられた場合にも対応し、その指定さ
れた姿勢候補の範囲の中から、最適の姿勢候補を選択
し、入力画像中の物体の姿勢の認識結果として出力する
ことができる。
【００９８】第３の実施の形態
図９は、本発明の第３の実施の形態による位置姿勢認識
装置１００ｂの構成を示すブロック図であり、図１０
は、本実施の形態の位置姿勢認識の処理を説明するため
のフローチャートである。
装置１００ｂの構成を示すブロック図であり、図１０
は、本実施の形態の位置姿勢認識の処理を説明するため
のフローチャートである。
【００９９】本実施の形態は、第２の実施の形態と同様
に、一つの姿勢候補とその誤差あるいは変動の範囲、あ
るいは、位置姿勢を示す各パラメタの範囲というように
一つ又は複数の連続的な領域として与えられた場合に、
該姿勢候補領域内で最適な姿勢を求める実施の形態であ
る。
に、一つの姿勢候補とその誤差あるいは変動の範囲、あ
るいは、位置姿勢を示す各パラメタの範囲というように
一つ又は複数の連続的な領域として与えられた場合に、
該姿勢候補領域内で最適な姿勢を求める実施の形態であ
る。
【０１００】しかし、第２の実施の形態では、正確な姿
勢パラメタを求めるためには、誤差範囲全体をできるだ
け細かく区切って標本化したり、多数の候補を計算する
必要があった。これは、与えられた誤差範囲が大きい場
合には、計算量が多くなるという問題がある。
勢パラメタを求めるためには、誤差範囲全体をできるだ
け細かく区切って標本化したり、多数の候補を計算する
必要があった。これは、与えられた誤差範囲が大きい場
合には、計算量が多くなるという問題がある。
【０１０１】そこで、本実施の形態では、姿勢候補の各
パラメタを予め決めた少しの量ずつ変動させて複数の姿
勢候補を生成し、その中から最適な候補を選択し、その
最適姿勢候補を再び姿勢候補として認識処理を繰り返す
ことにより、徐々により最適な姿勢候補を求めていくこ
とを特徴とする。
パラメタを予め決めた少しの量ずつ変動させて複数の姿
勢候補を生成し、その中から最適な候補を選択し、その
最適姿勢候補を再び姿勢候補として認識処理を繰り返す
ことにより、徐々により最適な姿勢候補を求めていくこ
とを特徴とする。
【０１０２】この最適な姿勢候補を繰り返し求めていく
処理は、予め定められた適当な回数の繰り返しを終えた
段階や、どのパラメタを変動させても姿勢候補より良い
姿勢パラメタが得られなくなった時点等において、その
処理を打ち切ることとする。
処理は、予め定められた適当な回数の繰り返しを終えた
段階や、どのパラメタを変動させても姿勢候補より良い
姿勢パラメタが得られなくなった時点等において、その
処理を打ち切ることとする。
【０１０３】本実施の形態では、第２の実施の形態の認
識部２０が、始めに与えられた初期の姿勢候補を基に認
識結果として出力する最適姿勢候補を、これを再び初期
の姿勢候補に置き換えて認識処理を繰り返すことを特徴
とする。このため、第２の実施の形態の構成に加えて、
認識処理の繰り返しの終了を判定する終了判定部２８を
備えている。
識部２０が、始めに与えられた初期の姿勢候補を基に認
識結果として出力する最適姿勢候補を、これを再び初期
の姿勢候補に置き換えて認識処理を繰り返すことを特徴
とする。このため、第２の実施の形態の構成に加えて、
認識処理の繰り返しの終了を判定する終了判定部２８を
備えている。
【０１０４】終了判定部２８は、適当な回数の繰り返し
を終えた段階、あるいいは、どのパラメタを変動させて
も姿勢候補より良い姿勢パラメタが得られなくなった時
点で認識処理の繰り返しを打ち切る（ステップ２８
０）。また、それ以外の場合には、最適姿勢候補を姿勢
候補として置き換えて、姿勢候補群決定部２６以下の処
理を繰り返し行う。
を終えた段階、あるいいは、どのパラメタを変動させて
も姿勢候補より良い姿勢パラメタが得られなくなった時
点で認識処理の繰り返しを打ち切る（ステップ２８
０）。また、それ以外の場合には、最適姿勢候補を姿勢
候補として置き換えて、姿勢候補群決定部２６以下の処
理を繰り返し行う。
【０１０５】この他の処理は全て第２の実施の形態と同
様である。
様である。
【０１０６】以上説明したように、本実施の形態によれ
ば、第２の実施の形態の効果に加えて、認識結果として
出力する最適姿勢候補を再び姿勢候補に置き換えて認識
処理を繰り返すことができるため、より精度の高い認識
結果を得ることができる。
ば、第２の実施の形態の効果に加えて、認識結果として
出力する最適姿勢候補を再び姿勢候補に置き換えて認識
処理を繰り返すことができるため、より精度の高い認識
結果を得ることができる。
【０１０７】第４の実施の形態
図１１は、本発明の第４の実施の形態による位置姿勢認
識装置１００ｃの構成を示すブロック図であり、図１２
は、本実施の形態の位置姿勢認識の処理を説明するため
のフローチャートである。
識装置１００ｃの構成を示すブロック図であり、図１２
は、本実施の形態の位置姿勢認識の処理を説明するため
のフローチャートである。
【０１０８】本実施の形態では、画像の濃淡等の輝度値
の情報のみではなく、位置や姿勢を物体の特徴的な見え
方をする部位（特徴点）の位置情報も、参照する。しか
し、従来の技術とは異なり、最適な姿勢解の選択・決定
は、特徴点位置ではなく、画像の濃淡情報をそのまま比
較することにより行う。
の情報のみではなく、位置や姿勢を物体の特徴的な見え
方をする部位（特徴点）の位置情報も、参照する。しか
し、従来の技術とは異なり、最適な姿勢解の選択・決定
は、特徴点位置ではなく、画像の濃淡情報をそのまま比
較することにより行う。
【０１０９】本実施の形態では、第１の実施の形態の構
成に加えて、登録部１０ｃに、物体の特徴的な部位であ
る物体特徴点の３次元位置を入力する特徴点３次元位置
入力部１５と、該特徴点３次元位置を記憶する特徴点３
次元位置記憶部１６を備えている。
成に加えて、登録部１０ｃに、物体の特徴的な部位であ
る物体特徴点の３次元位置を入力する特徴点３次元位置
入力部１５と、該特徴点３次元位置を記憶する特徴点３
次元位置記憶部１６を備えている。
【０１１０】なお、３次元形状・反射率測定部１１、照
明変動テクスチャ生成部１２、基底テクスチャ計算部１
３、物体モデル記憶部１４の処理は、第１の実施の形態
と全く同様である。
明変動テクスチャ生成部１２、基底テクスチャ計算部１
３、物体モデル記憶部１４の処理は、第１の実施の形態
と全く同様である。
【０１１１】特徴点３次元位置入力部１５では、測定し
た前記３次元形状と反射率を参照し、物体表面上で形状
や表面の反射率が急激に変化している部位や、特徴的な
形状・文様がある部位を特徴点とし、その３次元の位置
座標を入力する（ステップ１５０）。
た前記３次元形状と反射率を参照し、物体表面上で形状
や表面の反射率が急激に変化している部位や、特徴的な
形状・文様がある部位を特徴点とし、その３次元の位置
座標を入力する（ステップ１５０）。
【０１１２】この特徴点としては、エッジの交点や曲率
の最大点、円弧の中心などの位置はもちろん、直線の傾
きと位置など様々な位置特徴量を用いることが可能であ
る。この特徴点の位置の入力は、ユーザがコンピュータ
を用いて画面に表示された物体を見ながら手動で位置を
指示して行うこともできるし、自動的に行う様々な手法
を利用することももちろん可能である。
の最大点、円弧の中心などの位置はもちろん、直線の傾
きと位置など様々な位置特徴量を用いることが可能であ
る。この特徴点の位置の入力は、ユーザがコンピュータ
を用いて画面に表示された物体を見ながら手動で位置を
指示して行うこともできるし、自動的に行う様々な手法
を利用することももちろん可能である。
【０１１３】特徴点３次元位置記憶部１６は、前記入力
された特徴点３次元位置を記憶する（ステップ１６
０）。
された特徴点３次元位置を記憶する（ステップ１６
０）。
【０１１４】本実施の形態の認識部２０ｃは、第１の実
施の形態の構成に加えて、入力画像における前記物体特
徴点の位置を抽出する特徴点位置抽出部２４と、該入力
画像特徴点位置と前記特徴点３次元位置を用いて物体の
姿勢の候補を計算する姿勢計算部２５を備えている。
施の形態の構成に加えて、入力画像における前記物体特
徴点の位置を抽出する特徴点位置抽出部２４と、該入力
画像特徴点位置と前記特徴点３次元位置を用いて物体の
姿勢の候補を計算する姿勢計算部２５を備えている。
【０１１５】なお、照明変動空間生成部２１、比較画像
生成部２２、姿勢選択部２３の処理は、第１の実施の形
態と全く同様である。
生成部２２、姿勢選択部２３の処理は、第１の実施の形
態と全く同様である。
【０１１６】特徴点位置抽出部２４では、特徴点３次元
位置記憶部１６に記憶されている各物体特徴点の入力画
像における位置を抽出し、入力画像特徴点位置として出
力する（ステップ２４０）。この物体特徴点の位置の入
力は、ユーザがコンピュータを用いて画面に表示された
入力画像を見ながら手動で位置を指示して行うこともで
きるし、自動的に行う様々な技術を適用可能である。
位置記憶部１６に記憶されている各物体特徴点の入力画
像における位置を抽出し、入力画像特徴点位置として出
力する（ステップ２４０）。この物体特徴点の位置の入
力は、ユーザがコンピュータを用いて画面に表示された
入力画像を見ながら手動で位置を指示して行うこともで
きるし、自動的に行う様々な技術を適用可能である。
【０１１７】姿勢計算部２５では、特徴点３次元位置記
憶部１６から特徴点３次元位置を読み込み、前記入力画
像特徴点位置に前記特徴点３次元位置にある物体特徴点
が投影されるような、位置姿勢のパラメタを計算し、計
算された位置姿勢パラメタ群を姿勢候補群として出力す
る（ステップ２５０）。
憶部１６から特徴点３次元位置を読み込み、前記入力画
像特徴点位置に前記特徴点３次元位置にある物体特徴点
が投影されるような、位置姿勢のパラメタを計算し、計
算された位置姿勢パラメタ群を姿勢候補群として出力す
る（ステップ２５０）。
【０１１８】この処理には、前記透視ｎ点問題の様々な
技術を利用することが可能である。物体特徴点の位置
が、３点について抽出できた場合、また、４点以上抽出
できる場合でも同一平面上にあったり３次元的に特別な
配置にある場合、最大４つの姿勢候補が計算される。そ
こで、この最大４つの姿勢候補を姿勢候補群として出力
する。
技術を利用することが可能である。物体特徴点の位置
が、３点について抽出できた場合、また、４点以上抽出
できる場合でも同一平面上にあったり３次元的に特別な
配置にある場合、最大４つの姿勢候補が計算される。そ
こで、この最大４つの姿勢候補を姿勢候補群として出力
する。
【０１１９】上述したように、本実施の形態によれば、
特徴点の位置情報だけではこれらの解の内どれが正解で
あるかを判定できない場合においても、本発明を用いる
ことでどれが正解であるかを決定することができる。ま
た、第１の実施の形態の効果に加えて、更に特徴点の位
置情報をも位置姿勢の認識のために用いることにより、
より精度の高い認識結果を得ることができる。
特徴点の位置情報だけではこれらの解の内どれが正解で
あるかを判定できない場合においても、本発明を用いる
ことでどれが正解であるかを決定することができる。ま
た、第１の実施の形態の効果に加えて、更に特徴点の位
置情報をも位置姿勢の認識のために用いることにより、
より精度の高い認識結果を得ることができる。
【０１２０】第５の実施の形態
図１３は、本発明の第５の実施の形態による位置姿勢認
識装置１００ｄの構成を示すブロック図であり、図１４
は、本実施の形態の位置姿勢認識の処理を説明するため
のフローチャートである。
識装置１００ｄの構成を示すブロック図であり、図１４
は、本実施の形態の位置姿勢認識の処理を説明するため
のフローチャートである。
【０１２１】本発明の第５の実施の形態は、第２の実施
の形態において更に、姿勢候補の計算を入力画像の特徴
点の位置に基づいて行う点と、及び姿勢候補の誤差の範
囲を、入力画像からの特徴点位置の抽出誤差に基づいて
決定する点を特徴とする。
の形態において更に、姿勢候補の計算を入力画像の特徴
点の位置に基づいて行う点と、及び姿勢候補の誤差の範
囲を、入力画像からの特徴点位置の抽出誤差に基づいて
決定する点を特徴とする。
【０１２２】登録部１０ｄには、第２の実施の形態の構
成に加えて、物体の特徴的な部位である物体特徴点の３
次元位置を入力する特徴点３次元位置入力部１５と、該
特徴点３次元位置を記憶する特徴点３次元位置記憶部１
６を備えている。また、本実施の形態の登録部１０ｄの
構成とその処理は、第４の実施の形態と全く同様であ
る。
成に加えて、物体の特徴的な部位である物体特徴点の３
次元位置を入力する特徴点３次元位置入力部１５と、該
特徴点３次元位置を記憶する特徴点３次元位置記憶部１
６を備えている。また、本実施の形態の登録部１０ｄの
構成とその処理は、第４の実施の形態と全く同様であ
る。
【０１２３】本実施の形態の位置姿勢認識装置１００ｄ
は、第２の実施の形態の構成に加えて、認識部２０ｄ
に、入力画像における前記物体特徴点の位置を抽出する
と共にその抽出誤差の範囲を出力する特徴点位置抽出部
２４と、前記特徴点位置と抽出誤差を用いて計算される
姿勢の誤差範囲を決定する姿勢範囲決定部２７を備える
ことを特徴とする。
は、第２の実施の形態の構成に加えて、認識部２０ｄ
に、入力画像における前記物体特徴点の位置を抽出する
と共にその抽出誤差の範囲を出力する特徴点位置抽出部
２４と、前記特徴点位置と抽出誤差を用いて計算される
姿勢の誤差範囲を決定する姿勢範囲決定部２７を備える
ことを特徴とする。
【０１２４】特徴点位置抽出部２４は、特徴点３次元位
置記憶部１６に記憶されている各物体特徴点の入力画像
における位置又はその存在範囲を抽出し、入力画像特徴
点位置として出力する（ステップ２４０）。また同時
に、抽出した特徴点の位置の誤差の範囲を特徴点誤差範
囲として出力するここで、物体特徴点の位置の入力処理
は、ユーザがコンピュータを用いて画面に表示された入
力画像を見ながら手動で位置又は範囲を指示して行う方
式や、自動的に特徴点を検出する様々な技術を適用する
ことが可能である。これにも様々な手法が適用可能であ
るが、前記の手動による入力作業を繰り返し行って誤差
の範囲を求めたり、事前に評価実験を行ってどの程度の
誤差が生じるかを予め求めておいたり、入力画像のノイ
ズやぼけの量、各物体特徴点のエッジの明確さや特徴と
して用いている形状の大きさなどから決定することもで
きる。
置記憶部１６に記憶されている各物体特徴点の入力画像
における位置又はその存在範囲を抽出し、入力画像特徴
点位置として出力する（ステップ２４０）。また同時
に、抽出した特徴点の位置の誤差の範囲を特徴点誤差範
囲として出力するここで、物体特徴点の位置の入力処理
は、ユーザがコンピュータを用いて画面に表示された入
力画像を見ながら手動で位置又は範囲を指示して行う方
式や、自動的に特徴点を検出する様々な技術を適用する
ことが可能である。これにも様々な手法が適用可能であ
るが、前記の手動による入力作業を繰り返し行って誤差
の範囲を求めたり、事前に評価実験を行ってどの程度の
誤差が生じるかを予め求めておいたり、入力画像のノイ
ズやぼけの量、各物体特徴点のエッジの明確さや特徴と
して用いている形状の大きさなどから決定することもで
きる。
【０１２５】姿勢範囲決定部２７は、前記特徴点誤差範
囲を用いて、前記姿勢計算部２５で用いたのと同様に透
視ｎ点問題の技術などを利用して計算される姿勢候補の
パラメタが、誤差として変動する可能性のある範囲を推
定し、姿勢候補範囲として出力する（ステップ２７
０）。
囲を用いて、前記姿勢計算部２５で用いたのと同様に透
視ｎ点問題の技術などを利用して計算される姿勢候補の
パラメタが、誤差として変動する可能性のある範囲を推
定し、姿勢候補範囲として出力する（ステップ２７
０）。
【０１２６】この処理には様々な手法が適用可能である
が、一例として数値シミュレーションを用いる手法が利
用可能である。これは、前記特徴点誤差範囲内で前記入
力画像特徴点位置を変化させながら多数の姿勢候補を計
算し、その存在範囲を求めるものである。この他にも、
姿勢の計算に用いる計算式を解析して誤差範囲を求めた
り、様々な手法が適用可能である。
が、一例として数値シミュレーションを用いる手法が利
用可能である。これは、前記特徴点誤差範囲内で前記入
力画像特徴点位置を変化させながら多数の姿勢候補を計
算し、その存在範囲を求めるものである。この他にも、
姿勢の計算に用いる計算式を解析して誤差範囲を求めた
り、様々な手法が適用可能である。
【０１２７】また、姿勢候補群決定部２６以下の処理
（ステップ２６０〜２９０）は、全て第２の実施の形態
と同様である。
（ステップ２６０〜２９０）は、全て第２の実施の形態
と同様である。
【０１２８】次に、本発明の様々な実施例を説明する。
【０１２９】第１の実施例
図１に示した第１の実施の形態を適応した第１の実施例
について、その処理例である図１６、図１７を参照して
説明する。なお、本実施例では、姿勢を認識する対象物
体として人間の顔を対象とする例について説明するが、
任意の物体に適用可能であることはいうまでもない。
について、その処理例である図１６、図１７を参照して
説明する。なお、本実施例では、姿勢を認識する対象物
体として人間の顔を対象とする例について説明するが、
任意の物体に適用可能であることはいうまでもない。
【０１３０】図１に示されるように、登録部１０には、
予め物体の３次元形状と基底テクスチャ群を３次元モデ
ルとして記憶しておく。登録部１０では、例えば、ビデ
オカメラ等の撮像装置を用いて２次元の画像を撮影し、
姿勢認識処理を行う処理装置に取り込む。
予め物体の３次元形状と基底テクスチャ群を３次元モデ
ルとして記憶しておく。登録部１０では、例えば、ビデ
オカメラ等の撮像装置を用いて２次元の画像を撮影し、
姿勢認識処理を行う処理装置に取り込む。
【０１３１】本実施例の登録部１０は、前述のように３
次元形状・反射率測定部１１と、照明変動テクスチャ生
成部１２と、基底テクスチャ計算部１３と、物体モデル
記憶部１４を備えており、本実施例では、特に照明変動
テクスチャ生成部１２と、基底テクスチャ計算部１３の
処理の実施例を説明する。
次元形状・反射率測定部１１と、照明変動テクスチャ生
成部１２と、基底テクスチャ計算部１３と、物体モデル
記憶部１４を備えており、本実施例では、特に照明変動
テクスチャ生成部１２と、基底テクスチャ計算部１３の
処理の実施例を説明する。
【０１３２】照明変動テクスチャ生成部１２は、前記３
次元形状を用いて物体表面上の各点Ｐ（ｘ，ｙ，ｚ）に
対応するテクスチャ座標系（ｓ，ｔ）を定義する。
次元形状を用いて物体表面上の各点Ｐ（ｘ，ｙ，ｚ）に
対応するテクスチャ座標系（ｓ，ｔ）を定義する。
【０１３３】本実施例では、テクスチャ座標系の設定方
法として、図１６に示すように、顔の３次元形状データ
の重心を中心として顔全体を覆う適当な大きさの球を考
え、物体表面上の各点Ｐを、重心を中心として前記球表
面上へ投影し、投影された点Ｑの緯度経度（ｓ，ｔ）を
テクスチャ座標とする手法を用いる。
法として、図１６に示すように、顔の３次元形状データ
の重心を中心として顔全体を覆う適当な大きさの球を考
え、物体表面上の各点Ｐを、重心を中心として前記球表
面上へ投影し、投影された点Ｑの緯度経度（ｓ，ｔ）を
テクスチャ座標とする手法を用いる。
【０１３４】本実施例の場合においては、顔の後ろ側の
頭部の形状データを利用しないこととし、（ｓ，ｔ）＝
（０，０）を顔の正面の方向であるように設定し、ｓ、
ｔはそれぞれ−９０°から９０°までの範囲であるとす
る。
頭部の形状データを利用しないこととし、（ｓ，ｔ）＝
（０，０）を顔の正面の方向であるように設定し、ｓ、
ｔはそれぞれ−９０°から９０°までの範囲であるとす
る。
【０１３５】照明変動テクスチャ生成部１２は、各点Ｐ
（ｓ，ｔ）の画像上での輝度値を表すテクスチャＴ
（ｓ，ｔ）を、照明条件を様々に変化させながらＮ枚生
成し、照明変動テクスチャ群Ｔｋ（ｓ，ｔ）として出力
する。例えば、無限遠にある一つの点光源を考え、図１
７に示すような物体を中心とした球面の経度、緯度をあ
らわす（θ，φ）の角度で光源の方向を示すとし、θと
φを１０°おきに−９０°から９０°まで変化させ、Ｎ
＝３６１種類の照明条件群を設定する。この光源の種
類、照明方向の設定間隔や範囲の決め方は一例であり、
より均一に方向を決めるために種々変更することも可能
である。
（ｓ，ｔ）の画像上での輝度値を表すテクスチャＴ
（ｓ，ｔ）を、照明条件を様々に変化させながらＮ枚生
成し、照明変動テクスチャ群Ｔｋ（ｓ，ｔ）として出力
する。例えば、無限遠にある一つの点光源を考え、図１
７に示すような物体を中心とした球面の経度、緯度をあ
らわす（θ，φ）の角度で光源の方向を示すとし、θと
φを１０°おきに−９０°から９０°まで変化させ、Ｎ
＝３６１種類の照明条件群を設定する。この光源の種
類、照明方向の設定間隔や範囲の決め方は一例であり、
より均一に方向を決めるために種々変更することも可能
である。
【０１３６】輝度値の計算には、様々なコンピュータグ
ラフィックスの手法を応用して適用することが可能であ
り、本実施例では、物体表面の反射特性をLambertianモ
デルで近似し、照明が無限に遠くにあると仮定した以下
のような手法を用いる。
ラフィックスの手法を応用して適用することが可能であ
り、本実施例では、物体表面の反射特性をLambertianモ
デルで近似し、照明が無限に遠くにあると仮定した以下
のような手法を用いる。
【０１３７】まず、前記３次元形状データを用い、物体
表面の各点Ｐ（ｓ，ｔ）の法線ベクトルを計算する。そ
して、各点Ｐ（ｓ，ｔ）の法線ベクトルと反射率ｄ
（ｓ，ｔ）とを用いて、指定された方向（緯度、経度）
の点光源を受けた場合の、そのＰ（ｓ，ｔ）の点の輝度
値Ｔｋ（ｓ，ｔ）を、数１の式と同様にして、次の数６
の式により求める。数６では、Ｎ種類（ｋ＝１，２，
…，Ｎ）の、球の中心から各方向への方向を表すベクト
ルを用いている。
表面の各点Ｐ（ｓ，ｔ）の法線ベクトルを計算する。そ
して、各点Ｐ（ｓ，ｔ）の法線ベクトルと反射率ｄ
（ｓ，ｔ）とを用いて、指定された方向（緯度、経度）
の点光源を受けた場合の、そのＰ（ｓ，ｔ）の点の輝度
値Ｔｋ（ｓ，ｔ）を、数１の式と同様にして、次の数６
の式により求める。数６では、Ｎ種類（ｋ＝１，２，
…，Ｎ）の、球の中心から各方向への方向を表すベクト
ルを用いている。
【数６】
ここで、ｅｋ（ｓ，ｔ）は、点Ｐ（ｓ，ｔ）が影になる
かどうかで０か１の値をとる関数とする。
かどうかで０か１の値をとる関数とする。
【０１３８】基底テクスチャ計算部１３は、前記照明変
動テクスチャ群｛Ｔｊ｝を用いて、任意の照明条件での
テクスチャを包含する部分空間の基底である基底テクス
チャ群｛Ｇｉ｝を計算する。各基底テクスチャＧｉの計
算は、数７に示すように、照明変動テクスチャ群
｛Ｔｊ｝の各画素の輝度値を並べた縦ベクトルを横に並
べた行列の共分散行列の、固有ベクトルと固有値を求め
る。
動テクスチャ群｛Ｔｊ｝を用いて、任意の照明条件での
テクスチャを包含する部分空間の基底である基底テクス
チャ群｛Ｇｉ｝を計算する。各基底テクスチャＧｉの計
算は、数７に示すように、照明変動テクスチャ群
｛Ｔｊ｝の各画素の輝度値を並べた縦ベクトルを横に並
べた行列の共分散行列の、固有ベクトルと固有値を求め
る。
【数７】
ここで、固有値｛λｉ｝は、その値の大きい順にｉ＝
１，２，３，…，Ｎとする。
１，２，３，…，Ｎとする。
【０１３９】そして、求められた固有ベクトルの内で必
要な数ｎ個を取り、これを基底テクスチャ群｛Ｇｉ｝
（ｉ＝１，２，３，…，ｎ）として出力する。取り出す
個数“ｎ”の決定には、例えば、固有値の累積寄与率Ｒ
として０．９９（９９％）などの値を設定して、（数３
の式と同様にして）次の数８の式を満たすようにｎを設
定する。
要な数ｎ個を取り、これを基底テクスチャ群｛Ｇｉ｝
（ｉ＝１，２，３，…，ｎ）として出力する。取り出す
個数“ｎ”の決定には、例えば、固有値の累積寄与率Ｒ
として０．９９（９９％）などの値を設定して、（数３
の式と同様にして）次の数８の式を満たすようにｎを設
定する。
【数８】
【０１４０】このように、取り出された固有ベクトルの
各要素の値を、その要素と対応する画素の輝度値として
持つテクスチャを基底テクスチャＧｉとして出力する。
各要素の値を、その要素と対応する画素の輝度値として
持つテクスチャを基底テクスチャＧｉとして出力する。
【０１４１】次に、認識部２０の実施例を説明する。認
識部２０は、前述のように照明変動空間生成部２１と、
比較画像生成部２２と、姿勢選択部２３を備えており、
本実施例では、特に、照明変動空間生成部２１の処理の
実施例を説明する。
識部２０は、前述のように照明変動空間生成部２１と、
比較画像生成部２２と、姿勢選択部２３を備えており、
本実施例では、特に、照明変動空間生成部２１の処理の
実施例を説明する。
【０１４２】本実施例では、位置と姿勢のパラメタとし
ては、平行移動量を表すＴｘ，Ｔｙ，Ｔｚ及び、回転を
表すＲｘ，Ｒｙ，Ｒｚを用いることとする。
ては、平行移動量を表すＴｘ，Ｔｙ，Ｔｚ及び、回転を
表すＲｘ，Ｒｙ，Ｒｚを用いることとする。
【０１４３】照明変動空間生成部２１は、前述のように
投影変換決定部２１−１と、基底テクスチャ投影部２１
−２を備えている。
投影変換決定部２１−１と、基底テクスチャ投影部２１
−２を備えている。
【０１４４】投影変換決定部２１−１は、前記姿勢候補
の位置姿勢に物体がある場合の物体表面の各点Ｐ（ｓ，
ｔ）の画像上での座標（ｕ，ｖ）を計算し、画像座標
（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への変換ｆ：
（ｕ，ｖ）→（ｓ，ｔ）を求め、座標変換として出力す
る。
の位置姿勢に物体がある場合の物体表面の各点Ｐ（ｓ，
ｔ）の画像上での座標（ｕ，ｖ）を計算し、画像座標
（ｕ，ｖ）からテクスチャ座標（ｓ，ｔ）への変換ｆ：
（ｕ，ｖ）→（ｓ，ｔ）を求め、座標変換として出力す
る。
【０１４５】本実施例では、変換ｆを求める処理として
次の手法を用いる。
次の手法を用いる。
【０１４６】ここで、物体表面各点の色を、その点のテ
クスチャ座標（ｓ，ｔ）と１対１で対応するように設定
し、描画を行えば、描画された画像の各画素（ｕ，ｖ）
の色から（ｕ，ｖ）→（ｓ，ｔ）の対応関係を求める。
例えば、色の赤、緑、青成分を表すＲＧＢ値はフルカラ
ー表示が可能なコンピュータでは０から２５５の値が設
定でき、テクスチャ座標（ｓ，ｔ）は，本実施例では−
９０から９０の範囲の値である。
クスチャ座標（ｓ，ｔ）と１対１で対応するように設定
し、描画を行えば、描画された画像の各画素（ｕ，ｖ）
の色から（ｕ，ｖ）→（ｓ，ｔ）の対応関係を求める。
例えば、色の赤、緑、青成分を表すＲＧＢ値はフルカラ
ー表示が可能なコンピュータでは０から２５５の値が設
定でき、テクスチャ座標（ｓ，ｔ）は，本実施例では−
９０から９０の範囲の値である。
【０１４７】そこで、テクスチャ座標が（ｓ，ｔ）であ
る点に次の色を設定する。 Ｒ＝（ｓ＋９０）＊２５５／１８０ Ｇ＝（ｔ＋９０）＊２５５／１８０ このようにして生成された画像の各画素（ｕ，ｖ）の色
から、上式を逆に用いてテクスチャ座標（ｓ，ｔ）を計
算する。
る点に次の色を設定する。 Ｒ＝（ｓ＋９０）＊２５５／１８０ Ｇ＝（ｔ＋９０）＊２５５／１８０ このようにして生成された画像の各画素（ｕ，ｖ）の色
から、上式を逆に用いてテクスチャ座標（ｓ，ｔ）を計
算する。
【０１４８】この方法はあくまで一例であり、その他様
々な手法が適用可能であることはいうまでもない。
々な手法が適用可能であることはいうまでもない。
【０１４９】そして、基底テクスチャ投影部２１−２
は、前記座標変換を用いて基底画像Ｂ ｉ（ｕ，ｖ）を計
算し、計算された基底画像群｛Ｂｉ｝をまとめて照明変
動空間Ｓとして出力する。
は、前記座標変換を用いて基底画像Ｂ ｉ（ｕ，ｖ）を計
算し、計算された基底画像群｛Ｂｉ｝をまとめて照明変
動空間Ｓとして出力する。
【０１５０】第２の実施例
図７に示した第２の実施の形態を適応した第２の実施例
について説明する。本実施例は、姿勢候補が複数の候補
として離散的に与えられるのではなく、ある姿勢とその
誤差あるいは変動の指定された範囲、あるいは位置と姿
勢を示すの各パラメタの指定された範囲というように、
一つ又は複数の連続的な領域として与えられた場合に、
該姿勢候補領域内で最適な姿勢を求める実施例である。
について説明する。本実施例は、姿勢候補が複数の候補
として離散的に与えられるのではなく、ある姿勢とその
誤差あるいは変動の指定された範囲、あるいは位置と姿
勢を示すの各パラメタの指定された範囲というように、
一つ又は複数の連続的な領域として与えられた場合に、
該姿勢候補領域内で最適な姿勢を求める実施例である。
【０１５１】本実施例では、物体の概略の位置と向きが
Ｔｘ＝０ｍｍ，Ｔｙ＝５０ｍｍ，Ｔｚ＝１００ｍｍ，Ｒ
ｘ＝０°，Ｒｙ＝２０°，Ｒｚ＝４０°であることがわ
かっており、その誤差が平行移動量で１０ｍｍ、回転で
５°以下であるとわかっている場合を例に説明する。
Ｔｘ＝０ｍｍ，Ｔｙ＝５０ｍｍ，Ｔｚ＝１００ｍｍ，Ｒ
ｘ＝０°，Ｒｙ＝２０°，Ｒｚ＝４０°であることがわ
かっており、その誤差が平行移動量で１０ｍｍ、回転で
５°以下であるとわかっている場合を例に説明する。
【０１５２】認識部２０の姿勢候補群決定部２６は、入
力された誤差範囲内で、姿勢候補の各パラメタを変動さ
せることにより得られる複数の姿勢候補を生成し、姿勢
候補群として出力する。
力された誤差範囲内で、姿勢候補の各パラメタを変動さ
せることにより得られる複数の姿勢候補を生成し、姿勢
候補群として出力する。
【０１５３】本実施例では、例えば一例として、ｘが−
１０から１０、ｙが４０から６０、ｚが９０から１１
０、Ｒｘが−５から５、Ｒｙが１５から２５、Ｒｚが３
５から４５の範囲で、各Ｔｘ，Ｔｙ，Ｔｚは５ｍｍ、Ｒ
ｘ，Ｒｙ，Ｒｚは５°間隔に値を設定して、合計５３×
３３＝３３７５個の姿勢候補を生成する。この他の処理
は、全て第１の実施例と同様である。
１０から１０、ｙが４０から６０、ｚが９０から１１
０、Ｒｘが−５から５、Ｒｙが１５から２５、Ｒｚが３
５から４５の範囲で、各Ｔｘ，Ｔｙ，Ｔｚは５ｍｍ、Ｒ
ｘ，Ｒｙ，Ｒｚは５°間隔に値を設定して、合計５３×
３３＝３３７５個の姿勢候補を生成する。この他の処理
は、全て第１の実施例と同様である。
【０１５４】第３の実施例
図９に示した第３の実施の形態を適応した第３の実施例
について説明する。本実施例では、第２の実施例の認識
部の認識結果である最適姿勢候補を初期の姿勢候補に置
き換えて認識処理を繰り返すことを特徴とする。
について説明する。本実施例では、第２の実施例の認識
部の認識結果である最適姿勢候補を初期の姿勢候補に置
き換えて認識処理を繰り返すことを特徴とする。
【０１５５】また、本実施例の姿勢候補群決定部２６
は、姿勢候補の各パラメタを予め決めた少しの量ずつ変
動させて複数の姿勢候補を生成し、その中から最適な候
補を選択し、最適姿勢候補を再び姿勢候補として処理を
繰り返していくことにより、徐々に最適な姿勢候補を求
めていく。これにより、より計算量を減らして効率よく
最適姿勢候補を求めることができる。
は、姿勢候補の各パラメタを予め決めた少しの量ずつ変
動させて複数の姿勢候補を生成し、その中から最適な候
補を選択し、最適姿勢候補を再び姿勢候補として処理を
繰り返していくことにより、徐々に最適な姿勢候補を求
めていく。これにより、より計算量を減らして効率よく
最適姿勢候補を求めることができる。
【０１５６】ここでは一例として、物体の概略の位置と
向きがＴｘ＝０ｍｍ，Ｔｙ＝５０ｍｍ，Ｔｚ＝１００ｍ
ｍ，Ｒｘ＝０°，Ｒｙ＝２０°，Ｒｚ＝４０°であるこ
とがわかっており、ｘ，ｙ，ｚの変化量を１ｍｍ、Ｒ
ｘ，Ｒｙ，Ｒｚの変化量を１°とする。
向きがＴｘ＝０ｍｍ，Ｔｙ＝５０ｍｍ，Ｔｚ＝１００ｍ
ｍ，Ｒｘ＝０°，Ｒｙ＝２０°，Ｒｚ＝４０°であるこ
とがわかっており、ｘ，ｙ，ｚの変化量を１ｍｍ、Ｒ
ｘ，Ｒｙ，Ｒｚの変化量を１°とする。
【０１５７】まず、姿勢候補群決定部２６ｂは、Ｔｘ，
Ｔｙ，Ｔｚ，Ｒｘ，Ｒｙ，Ｒｚの６つのパラメタの中か
らそれぞれ一つを選んでＴｘ，Ｔｙ，Ｔｚなら１ｍｍ
を、Ｒｘ，Ｒｙ，Ｒｚなら１°を増加又は減少させた姿
勢候補をそれぞれ生成する。すなわち、合計で２×６＝
１２個の姿勢候補を生成し、姿勢候補群として出力す
る。
Ｔｙ，Ｔｚ，Ｒｘ，Ｒｙ，Ｒｚの６つのパラメタの中か
らそれぞれ一つを選んでＴｘ，Ｔｙ，Ｔｚなら１ｍｍ
を、Ｒｘ，Ｒｙ，Ｒｚなら１°を増加又は減少させた姿
勢候補をそれぞれ生成する。すなわち、合計で２×６＝
１２個の姿勢候補を生成し、姿勢候補群として出力す
る。
【０１５８】照明変動空間生成部２１から姿勢選択部２
３の処理（ステップ２１０〜２３０）は、全て第２の実
施の形態と同様である。１２個の各姿勢候補に対し、比
較画像を生成し、最も入力画像に近い画像を生成した姿
勢候補を選択して最適姿勢候補として出力する。
３の処理（ステップ２１０〜２３０）は、全て第２の実
施の形態と同様である。１２個の各姿勢候補に対し、比
較画像を生成し、最も入力画像に近い画像を生成した姿
勢候補を選択して最適姿勢候補として出力する。
【０１５９】終了判定部２８は、前回の最適姿勢候補か
ら生成された比較画像と、入力画像の類似度を記憶して
おき、現在の最適姿勢候補から生成された比較画像と入
力画像の類似度と比較する。この類似度が高くなってい
ない場合、処理を打ち切る。類似度が高くなっている場
合には、現在の最適姿勢候補を姿勢候補として置き換
え、姿勢候補群決定部２６以下の処理（ステップ２６０
〜ステップ２８０）を繰り返し行う。この他の処理は、
全て第２の実施例と同様である。
ら生成された比較画像と、入力画像の類似度を記憶して
おき、現在の最適姿勢候補から生成された比較画像と入
力画像の類似度と比較する。この類似度が高くなってい
ない場合、処理を打ち切る。類似度が高くなっている場
合には、現在の最適姿勢候補を姿勢候補として置き換
え、姿勢候補群決定部２６以下の処理（ステップ２６０
〜ステップ２８０）を繰り返し行う。この他の処理は、
全て第２の実施例と同様である。
【０１６０】第４の実施例
図１１に示した第４の実施の形態を適応した第４の実施
例について、その処理例である図１８を参照して説明す
る。本実施例は、位置や姿勢を物体の特徴的な見え方を
する部位の位置情報に基づいて決定するが、従来の技術
と異なり、最適な姿勢解の選択・決定は、特徴点位置で
はなく、入力画像と比較画像の濃淡情報をそのまま比較
することにより行う。本実施例では、一例として人間の
顔を対象物体として用い、図１８の１２個の特徴点を用
いる場合について述べる。
例について、その処理例である図１８を参照して説明す
る。本実施例は、位置や姿勢を物体の特徴的な見え方を
する部位の位置情報に基づいて決定するが、従来の技術
と異なり、最適な姿勢解の選択・決定は、特徴点位置で
はなく、入力画像と比較画像の濃淡情報をそのまま比較
することにより行う。本実施例では、一例として人間の
顔を対象物体として用い、図１８の１２個の特徴点を用
いる場合について述べる。
【０１６１】本実施例の登録部１０ｃは、前述のように
第１の実施の形態の構成に加えて、特徴点３次元位置入
力部１５と、特徴点３次元位置記憶部１６を備えてい
る。
第１の実施の形態の構成に加えて、特徴点３次元位置入
力部１５と、特徴点３次元位置記憶部１６を備えてい
る。
【０１６２】特徴点３次元位置入力部１５は、測定した
前記３次元形状と反射率を参照し、目尻の位置など図１
８に示す１２個の特徴点の位置を入力する。この特徴点
の位置の入力は、ユーザがコンピュータを用いて画面に
表示された物体を見ながら手動で位置を指示して行うこ
ともできるし、自動的に行う様々な手法を利用すること
ももちろん可能である。一例として、図１６の右図に示
したようなテクスチャ画像をコンピュータの画面に表示
し、ユーザが各特徴点の位置を画面上で指示していくと
いう方法が利用可能である。
前記３次元形状と反射率を参照し、目尻の位置など図１
８に示す１２個の特徴点の位置を入力する。この特徴点
の位置の入力は、ユーザがコンピュータを用いて画面に
表示された物体を見ながら手動で位置を指示して行うこ
ともできるし、自動的に行う様々な手法を利用すること
ももちろん可能である。一例として、図１６の右図に示
したようなテクスチャ画像をコンピュータの画面に表示
し、ユーザが各特徴点の位置を画面上で指示していくと
いう方法が利用可能である。
【０１６３】特徴点３次元位置記憶部１６は、前記入力
された１２個の特徴点の、３次元座標を記憶する。
された１２個の特徴点の、３次元座標を記憶する。
【０１６４】また本実施例の認識部２０ｃは、前述のよ
うに第１の実施の形態の構成に加えて、特徴点位置抽出
部２４と、姿勢計算部２５を備えている。
うに第１の実施の形態の構成に加えて、特徴点位置抽出
部２４と、姿勢計算部２５を備えている。
【０１６５】特徴点位置抽出部２４は、図１８の１２個
の特徴点の入力画像における位置を抽出し、入力画像特
徴点位置として出力する。この物体特徴点の位置の入力
は、ユーザがコンピュータを用いて画面に表示された入
力画像を見ながら手動で位置を指示して行うこともでき
るし、自動的に行う様々な技術を適用可能である。本実
施例では、一例として、入力画像が不鮮明であったため
に、１２個の特徴点の内、両目と口中央の位置である図
１８の１、４、１０の３点の位置しか入力できなかった
例を説明する。
の特徴点の入力画像における位置を抽出し、入力画像特
徴点位置として出力する。この物体特徴点の位置の入力
は、ユーザがコンピュータを用いて画面に表示された入
力画像を見ながら手動で位置を指示して行うこともでき
るし、自動的に行う様々な技術を適用可能である。本実
施例では、一例として、入力画像が不鮮明であったため
に、１２個の特徴点の内、両目と口中央の位置である図
１８の１、４、１０の３点の位置しか入力できなかった
例を説明する。
【０１６６】姿勢計算部２５は、特徴点３次元位置記憶
部１６から特徴点３次元位置を読み込み、前記入力画像
特徴点位置に前記特徴点３次元位置にある物体特徴点が
投影されるような、位置姿勢のパラメタを計算し、計算
された位置姿勢パラメタ群を姿勢候補群として出力す
る。
部１６から特徴点３次元位置を読み込み、前記入力画像
特徴点位置に前記特徴点３次元位置にある物体特徴点が
投影されるような、位置姿勢のパラメタを計算し、計算
された位置姿勢パラメタ群を姿勢候補群として出力す
る。
【０１６７】例えば、従来の透視ｎ点問題の技術を用い
ることにより、３点の特徴点の入力画像上の位置と３次
元座標が得られているので、最大４つの姿勢候補が計算
できる。これらの姿勢候補を姿勢候補群として出力す
る。
ることにより、３点の特徴点の入力画像上の位置と３次
元座標が得られているので、最大４つの姿勢候補が計算
できる。これらの姿勢候補を姿勢候補群として出力す
る。
【０１６８】この他の処理は、全て第１の実施例と同様
である。
である。
【０１６９】第５の実施例
図１２に示した第５の実施の形態を適応した第５の実施
例について、その処理例である図１２、図１３を参照し
て説明する。本実施例は、第２の実施例において更に、
姿勢候補の計算を入力画像の特徴点の位置に基づいて行
う点、及び、姿勢候補の誤差の範囲を、入力画像からの
特徴点位置の抽出誤差に基づいて決定する点が異なる。
また、本実施例でも、第４の実施例と同様に人間の顔を
対象物体とする例を説明する。
例について、その処理例である図１２、図１３を参照し
て説明する。本実施例は、第２の実施例において更に、
姿勢候補の計算を入力画像の特徴点の位置に基づいて行
う点、及び、姿勢候補の誤差の範囲を、入力画像からの
特徴点位置の抽出誤差に基づいて決定する点が異なる。
また、本実施例でも、第４の実施例と同様に人間の顔を
対象物体とする例を説明する。
【０１７０】本実施例では、前述のように第２の実施の
形態の構成に加えて、認識部２０ｄに、特徴点位置抽出
部２４と、姿勢範囲決定部２７を備えている。
形態の構成に加えて、認識部２０ｄに、特徴点位置抽出
部２４と、姿勢範囲決定部２７を備えている。
【０１７１】特徴点位置抽出部２４は、図１８の１２の
物体特徴点の入力画像における位置を抽出し、入力画像
特徴点位置として出力する。この物体特徴点の位置の入
力は、ユーザがコンピュータを用いて画面に表示された
入力画像を見ながら手動で位置又は範囲を指示して行う
こともできるし、自動的に行う様々な技術を適用可能で
ある。また同時に、抽出した特徴点の位置の誤差の範囲
を特徴点誤差範囲として出力する。一例として、図１８
の１２個の特徴点の内１、４、１０の３つの特徴点のみ
が入力されており、それぞれの特徴点誤差範囲が５画素
以下であると推定されている場合を説明する。
物体特徴点の入力画像における位置を抽出し、入力画像
特徴点位置として出力する。この物体特徴点の位置の入
力は、ユーザがコンピュータを用いて画面に表示された
入力画像を見ながら手動で位置又は範囲を指示して行う
こともできるし、自動的に行う様々な技術を適用可能で
ある。また同時に、抽出した特徴点の位置の誤差の範囲
を特徴点誤差範囲として出力する。一例として、図１８
の１２個の特徴点の内１、４、１０の３つの特徴点のみ
が入力されており、それぞれの特徴点誤差範囲が５画素
以下であると推定されている場合を説明する。
【０１７２】姿勢範囲決定部２７は、前記特徴点誤差範
囲を用いて、前記姿勢計算部２５で用いたのと同様に透
視ｎ点問題の技術などを利用して計算される姿勢候補の
パラメタが、誤差として変動する可能性のある範囲を推
定し、姿勢候補範囲として出力する。これには様々な手
法が適用可能であるが、一例として数値シミュレーショ
ンを用いる次のような手法が利用可能である。
囲を用いて、前記姿勢計算部２５で用いたのと同様に透
視ｎ点問題の技術などを利用して計算される姿勢候補の
パラメタが、誤差として変動する可能性のある範囲を推
定し、姿勢候補範囲として出力する。これには様々な手
法が適用可能であるが、一例として数値シミュレーショ
ンを用いる次のような手法が利用可能である。
【０１７３】本実施例では図１８の特徴点１、４、１０
が入力されており、それぞれ誤差が５画素以内と推定さ
れている。したがって、各特徴点の位置を入力された位
置を中心とする半径５画素の円内でランダムに変動させ
て、多数の姿勢候補を計算する。例えば、１００回の特
徴点位置を変動させる試行を繰り返し、１００個の姿勢
候補を計算する。そして、各姿勢候補の姿勢パラメタＴ
ｘ，Ｔｙ，Ｔｚ，Ｒｘ，Ｒｙ，Ｒｚの値を調べ、それぞ
れのパラメタの分布領域を調べる。該分布領域を姿勢解
候補範囲として出力する。
が入力されており、それぞれ誤差が５画素以内と推定さ
れている。したがって、各特徴点の位置を入力された位
置を中心とする半径５画素の円内でランダムに変動させ
て、多数の姿勢候補を計算する。例えば、１００回の特
徴点位置を変動させる試行を繰り返し、１００個の姿勢
候補を計算する。そして、各姿勢候補の姿勢パラメタＴ
ｘ，Ｔｙ，Ｔｚ，Ｒｘ，Ｒｙ，Ｒｚの値を調べ、それぞ
れのパラメタの分布領域を調べる。該分布領域を姿勢解
候補範囲として出力する。
【０１７４】上記の姿勢候補範囲の推定方法は一例であ
り、この他にも姿勢の計算に用いる計算式を解析して誤
差範囲を求めたり、様々な手法が適用可能である。
り、この他にも姿勢の計算に用いる計算式を解析して誤
差範囲を求めたり、様々な手法が適用可能である。
【０１７５】姿勢候補群決定部２６以下の処理は、全て
第２の実施の形態と同様である。
第２の実施の形態と同様である。
【０１７６】また、本発明の位置姿勢認識装置は、上述
の各実施の形態及び実施例のように装置内に登録部と認
識部の双方を備える方式に限らず、図１５に示すよう
に、位置姿勢認識装置１００ｅ内には認識部２０のみを
備えて、登録部１０を備える外部の３次元物体モデル登
録装置３００から、物体の３次元モデルのデータの入力
を受け付ける方式も同様にして実施することができる。
の各実施の形態及び実施例のように装置内に登録部と認
識部の双方を備える方式に限らず、図１５に示すよう
に、位置姿勢認識装置１００ｅ内には認識部２０のみを
備えて、登録部１０を備える外部の３次元物体モデル登
録装置３００から、物体の３次元モデルのデータの入力
を受け付ける方式も同様にして実施することができる。
【０１７７】また、上記各実施の形態及び実施例は、互
いに様々に組み合わせて実施することができる。
いに様々に組み合わせて実施することができる。
【０１７８】なお、本実施の形態の位置姿勢認識装置１
００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１０
０ｅや、３次元物体モデル登録装置３００は、登録部１
０、１０ｃ、１０ｄにおける形状・反射率測定部１１、
照明変動テクスチャ生成部１２、基底テクスチャ計算部
１３、特徴点３次元位置入力部１５の機能や、認識部２
０、２０ａ、２０ｂ、２０ｃ、２０ｄにおける照明変動
空間生成部２１、投影変換決定部２１−１、基底テクス
チャ投影部２１−２、比較画像生成部２２、姿勢選択部
２３、特徴点位置抽出部２４、姿勢計算部２５、姿勢候
補群決定部２６、姿勢範囲決定部２７、終了判定部２８
の機能や、その他の機能をハードウェア的に実現するこ
とは勿論として、各機能を備えるコンピュータプログラ
ムである位置姿勢認識プログラムを、コンピュータ処理
装置のメモリにロードされることで実現することができ
る。この位置姿勢認識プログラムは、磁気ディスク、半
導体メモリその他の記録媒体９０、９１、９２、９３、
９４、９５、９９に格納される。そして、その記録媒体
からコンピュータ処理装置にロードされ、コンピュータ
処理装置の動作を制御することにより、上述した各機能
を実現する。
００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１０
０ｅや、３次元物体モデル登録装置３００は、登録部１
０、１０ｃ、１０ｄにおける形状・反射率測定部１１、
照明変動テクスチャ生成部１２、基底テクスチャ計算部
１３、特徴点３次元位置入力部１５の機能や、認識部２
０、２０ａ、２０ｂ、２０ｃ、２０ｄにおける照明変動
空間生成部２１、投影変換決定部２１−１、基底テクス
チャ投影部２１−２、比較画像生成部２２、姿勢選択部
２３、特徴点位置抽出部２４、姿勢計算部２５、姿勢候
補群決定部２６、姿勢範囲決定部２７、終了判定部２８
の機能や、その他の機能をハードウェア的に実現するこ
とは勿論として、各機能を備えるコンピュータプログラ
ムである位置姿勢認識プログラムを、コンピュータ処理
装置のメモリにロードされることで実現することができ
る。この位置姿勢認識プログラムは、磁気ディスク、半
導体メモリその他の記録媒体９０、９１、９２、９３、
９４、９５、９９に格納される。そして、その記録媒体
からコンピュータ処理装置にロードされ、コンピュータ
処理装置の動作を制御することにより、上述した各機能
を実現する。
【０１７９】以上好ましい実施の形態及び実施例をあげ
て本発明を説明したが、本発明は必ずしも上記実施の形
態及び実施例に限定されるものではなく、その技術的思
想の範囲内において様々に変形して実施することができ
る。
て本発明を説明したが、本発明は必ずしも上記実施の形
態及び実施例に限定されるものではなく、その技術的思
想の範囲内において様々に変形して実施することができ
る。
【０１８０】
【発明の効果】以上説明したように本発明の位置姿勢認
識装置とその位置姿勢認識方法、及び位置姿勢認識プロ
グラムによれば、以下のような効果が達成される。
識装置とその位置姿勢認識方法、及び位置姿勢認識プロ
グラムによれば、以下のような効果が達成される。
【０１８１】第１に、本発明によれば、様々な位置姿
勢、照明条件の下で撮影された認識対象の画像に対し
て、正しい物体の位置姿勢を決定することができる。特
に、認識対象の画像と物体の３次元モデルの間の特徴点
の対応が利用できない場合にも、正しい物体の位置姿勢
を決定することができる。
勢、照明条件の下で撮影された認識対象の画像に対し
て、正しい物体の位置姿勢を決定することができる。特
に、認識対象の画像と物体の３次元モデルの間の特徴点
の対応が利用できない場合にも、正しい物体の位置姿勢
を決定することができる。
【０１８２】第２に、本発明によれば、認識対象の画像
から特徴点の位置を抽出して画像中の物体の位置姿勢を
計算する場合に、入力された特徴点位置が誤差を含んで
いても、正しい位置姿勢を認識することができる。
から特徴点の位置を抽出して画像中の物体の位置姿勢を
計算する場合に、入力された特徴点位置が誤差を含んで
いても、正しい位置姿勢を認識することができる。
【０１８３】第３に、本発明によれば、特徴点が３点し
か抽出できなかったり、特徴点が特別な配置にあって位
置姿勢が一意に計算できない場合にも、本発明の技術を
用いることで正しい位置姿勢を認識することができる。
か抽出できなかったり、特徴点が特別な配置にあって位
置姿勢が一意に計算できない場合にも、本発明の技術を
用いることで正しい位置姿勢を認識することができる。
【図１】 本発明の第１の実施の形態による位置姿勢認
識装置の構成を示すブロック図である。
識装置の構成を示すブロック図である。
【図２】 本発明の第１の実施の形態による位置姿勢認
識装置の処理の概略を示す図である。
識装置の処理の概略を示す図である。
【図３】 本発明の第１の実施の形態による位置姿勢認
識装置の構成の概略を示すブロック図である。
識装置の構成の概略を示すブロック図である。
【図４】 本発明の第１の実施の形態の位置姿勢認識の
処理を説明するためのフローチャートである。
処理を説明するためのフローチャートである。
【図５】 本発明の第１の実施の形態の照明変動空間生
成部の構成を示すブロック図である。
成部の構成を示すブロック図である。
【図６】 本発明の第１の実施の形態の照明変動空間生
成の処理を説明するためのフローチャートである。
成の処理を説明するためのフローチャートである。
【図７】 本発明の第２の実施の形態による位置姿勢認
識装置の構成を示すブロック図である。
識装置の構成を示すブロック図である。
【図８】 本発明の第２の実施の形態の位置姿勢認識の
処理を説明するためのフローチャートである。
処理を説明するためのフローチャートである。
【図９】 本発明の第３の実施の形態による位置姿勢認
識装置の構成を示すブロック図である。
識装置の構成を示すブロック図である。
【図１０】 本発明の第３の実施の形態の位置姿勢認識
の処理を説明するためのフローチャートである。
の処理を説明するためのフローチャートである。
【図１１】 本発明の第４の実施の形態による位置姿勢
認識装置の構成を示すブロック図である。
認識装置の構成を示すブロック図である。
【図１２】 本発明の第４の実施の形態の位置姿勢認識
の処理を説明するためのフローチャートである。
の処理を説明するためのフローチャートである。
【図１３】 本発明の第５の実施の形態による位置姿勢
認識装置の構成を示すブロック図である。
認識装置の構成を示すブロック図である。
【図１４】 本発明の第５の実施の形態の位置姿勢認識
の処理を説明するためのフローチャートである。
の処理を説明するためのフローチャートである。
【図１５】 本発明のその他の実施の形態による位置姿
勢認識装置と３次元物体モデル登録装置の構成を示すブ
ロック図である。
勢認識装置と３次元物体モデル登録装置の構成を示すブ
ロック図である。
【図１６】 テクスチャ座標の定義方法の一例を説明す
る図である。
る図である。
【図１７】 物体に対する光源の方向の定義の一例を説
明する図である。
明する図である。
【図１８】 顔を対象物体にするときに用いる特徴点の
位置の一例を説明する図である。
位置の一例を説明する図である。
【図１９】 従来の技術の、透視ｎ点問題を解く技術の
処理の流れを説明する図である。
処理の流れを説明する図である。
【図２０】 従来の技術の、文献３の技術の処理の流れ
を説明する図である。
を説明する図である。
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１
００ｅ 位置姿勢認識装置 ３００ ３次元物体モデル登録装置 １０、１０ｃ、１０ｄ 登録部 １１ 形状・反射率測定部 １２ 照明変動テクスチャ生成部 １３ 基底テクスチャ計算部 １４ 物体モデル記憶部 １５ 特徴点３次元位置入力部 １６ 特徴点３次元位置記憶部 ２０、２０ａ、２０ｂ、２０ｃ、２０ｄ 認識部 ２１ 照明変動空間生成部 ２１−１ 投影変換決定部 ２１−２ 基底テクスチャ投影部 ２２ 比較画像生成部 ２３ 姿勢選択部 ２４ 特徴点位置抽出部 ２５ 姿勢計算部 ２６ 姿勢候補群決定部 ２７ 姿勢範囲決定部 ２８ 終了判定部 ９０、９１、９２、９３、９４、９５、９９ 記録媒体
００ｅ 位置姿勢認識装置 ３００ ３次元物体モデル登録装置 １０、１０ｃ、１０ｄ 登録部 １１ 形状・反射率測定部 １２ 照明変動テクスチャ生成部 １３ 基底テクスチャ計算部 １４ 物体モデル記憶部 １５ 特徴点３次元位置入力部 １６ 特徴点３次元位置記憶部 ２０、２０ａ、２０ｂ、２０ｃ、２０ｄ 認識部 ２１ 照明変動空間生成部 ２１−１ 投影変換決定部 ２１−２ 基底テクスチャ投影部 ２２ 比較画像生成部 ２３ 姿勢選択部 ２４ 特徴点位置抽出部 ２５ 姿勢計算部 ２６ 姿勢候補群決定部 ２７ 姿勢範囲決定部 ２８ 終了判定部 ９０、９１、９２、９３、９４、９５、９９ 記録媒体
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 7/00 ３００ Ｇ０１Ｂ 11/24 Ｋ
Ａ
Claims (41)
- 【請求項１】 認識対象の画像から物体の位置姿勢を認
識する位置姿勢認識装置において、 前記物体の３次元形状と、当該物体の表面の各位置の輝
度値とから成る３次元物体モデルを生成し、前記３次元
物体モデルに基づいて、前記認識対象の画像中における
前記物体の位置姿勢を認識することを特徴とする位置姿
勢認識装置。 - 【請求項２】 前記認識対象の画像中における前記物体
の位置姿勢の候補である姿勢候補に基づいて、前記姿勢
候補の位置姿勢に当該物体がある場合の画像の輝度値の
照明条件による変動を表す照明変動空間を生成する照明
変動空間生成手段と、 前記姿勢候補の位置姿勢に当該物体がありかつ照明条件
が前記認識対象の画像と同等である場合に得られる画像
である比較画像を、前記３次元物体モデル及び前記照明
変動空間に基づいて生成する比較画像生成手段と、 複数の前記姿勢候補のそれぞれに基づいて生成された各
前記比較画像を、前記認識対象の画像と比較して、前記
認識対象の画像に最も近い前記比較画像を判定する姿勢
選択手段を備えることを特徴とする請求項１に記載の位
置姿勢認識装置。 - 【請求項３】 前記物体の位置姿勢を示すパラメタの各
値を、指定された範囲内において標本化することによ
り、複数の前記姿勢候補を生成する姿勢候補群決定手段
を備え、 前記姿勢候補群決定手段が生成した複数の前記姿勢候補
の中から、前記認識対象の画像に最も近い前記比較画像
を判定することを特徴とする請求項２に記載の位置姿勢
認識装置。 - 【請求項４】 前記物体の位置姿勢を示す与えられたパ
ラメタの各値を、指定された増減を行なうことにより、
複数の前記姿勢候補を生成する姿勢候補群決定手段を備
え、 前記姿勢候補群決定手段が生成した複数の前記姿勢候補
の中から、前記認識対象の画像に最も近い前記比較画像
を判定することを特徴とする請求項２に記載の位置姿勢
認識装置。 - 【請求項５】 認識対象の画像中の特徴点の位置を入力
画像特徴点位置として抽出する特徴点位置抽出手段を備
え、 前記姿勢候補群決定手段は、 前記物体の前記特徴点の位置の情報と、前記入力画像特
徴点位置の情報とに基づいて、複数の前記姿勢候補を生
成することを特徴とする請求項３又は請求項４に記載の
位置姿勢認識装置。 - 【請求項６】 前記特徴点位置抽出手段が抽出した前記
入力画像特徴点位置の一部の特徴点を選択した組を、特
徴点群として一つ又は複数生成し、 前記姿勢候補群決定手段は、 前記物体の前記特徴点の位置の情報と、前記入力画像特
徴点位置の当該特徴点組群において選択された前記特徴
点とに基づいて、一つ又は複数の前記姿勢候補を生成す
ることを特徴とする請求項５に記載の位置姿勢認識装
置。 - 【請求項７】 前記特徴点位置抽出手段が抽出した前記
入力画像特徴点位置のデータを、指定された増減を行な
うことにより一つ又は複数の新たな前記入力画像特徴点
位置を生成することを特徴とする請求項５又は請求項６
に記載の位置姿勢認識装置。 - 【請求項８】 前記姿勢候補群決定手段は、 定められた前記入力画像特徴点位置に含まれる誤差の範
囲である特徴点誤差範囲に基づいて、前記特徴点位置抽
出手段が抽出した前記入力画像特徴点位置のデータを、
前記特徴点誤差範囲内において標本化することにより、
一つ又は複数の前記姿勢候補を生成することを特徴とす
る請求項３から請求項７のいずれか１つに記載の位置姿
勢認識装置。 - 【請求項９】 （１）前記姿勢選択手段が、前記認識対
象の画像に最も近いと判定した前記比較画像の生成に用
いた姿勢候補を、最適姿勢候補と定める （２）前記姿勢候補群決定手段が、前記最適姿勢候補を
基に新たな複数の前記姿勢候補を生成する （３）新たに生成された複数の前記姿勢候補を基に、前
記姿勢選択手段が前記認識対象の画像に最も近い前記比
較画像を判定する 上記（１）、（２）、（３）の一連の処理を順次繰り返
し実行し、かつ定められた時点において前記繰り返しを
終了させる終了判定手段を備え、 前記繰り返しの終了後、前記姿勢選択手段が、その最終
の処理において、前記認識対象の画像に最も近いと判定
した前記比較画像の生成に用いた前記姿勢候補を、前記
認識対象の画像中における前記物体の位置姿勢の認識結
果として出力することを特徴とする請求項３から請求項
８のいずれか１つに記載の位置姿勢認識装置。 - 【請求項１０】 前記姿勢選択手段が、前記認識対象の
画像に最も近いと判定した前記比較画像の生成に用いた
前記姿勢候補を、前記認識対象の画像中における前記物
体の位置姿勢の認識結果として出力することを特徴とす
る請求項２から請求項８のいずれか１つに記載の位置姿
勢認識装置。 - 【請求項１１】 前記物体の３次元物体モデルを登録す
る登録部を備えることを特徴とする請求項１から請求項
１０のいずれか１つに記載の位置姿勢認識装置。 - 【請求項１２】 前記登録部は、前記物体の３次元形状
と、当該物体表面上の各位置の色又は反射率に相当する
画像データを測定する３次元形状・反射率測定手段と、 前記物体の表面各位置の、様々な照明条件の下での輝度
値をあらわす照明変動テクスチャ群を生成する照明変動
テクスチャ生成手段と、 前記照明変動テクスチャ群全体を近似する基底テクスチ
ャ群を計算する基底テクスチャ計算手段を備え、 前記物体の３次元形状及び前記基底テクスチャ群を、当
該物体の３次元物体モデルとして登録することを特徴と
する請求項１１に記載の位置姿勢認識装置。 - 【請求項１３】 前記登録部は、 前記物体表面上の特徴点の３次元位置情報を登録特徴点
位置として記憶することを特徴とする請求項１２に記載
の位置姿勢認識装置。 - 【請求項１４】 物体の位置姿勢を登録する３次元物体
モデル登録装置において、 前記物体の３次元形状と、当該物体表面上の各位置の色
又は反射率に相当する画像データを測定する３次元形状
・反射率測定手段と、 前記物体の表面各位置の、様々な照明条件の下での輝度
値をあらわす照明変動テクスチャ群を生成する照明変動
テクスチャ生成手段と、 前記照明変動テクスチャ群全体を近似する基底テクスチ
ャ群を計算する基底テクスチャ計算手段を備え、 前記物体の３次元形状及び前記基底テクスチャ群を、当
該物体の３次元物体モデルとして登録することを特徴と
する３次元物体モデル登録装置。 - 【請求項１５】 前記物体表面上の特徴点の３次元位置
情報を登録特徴点位置として記憶することを特徴とする
請求項１４に記載の３次元物体モデル登録装置。 - 【請求項１６】 認識対象の画像中から物体の位置姿勢
を認識する位置姿勢認識方法において、 前記物体の３次元形状と、当該物体の表面の各位置の輝
度値とから成る３次元物体モデルを生成し、前記３次元
物体モデルに基づいて、前記認識対象の画像中における
前記物体の位置姿勢を認識することを特徴とする位置姿
勢認識方法。 - 【請求項１７】 前記認識対象の画像中における前記物
体の位置姿勢の候補である姿勢候補に基づいて、前記姿
勢候補の位置姿勢に当該物体がある場合の画像の輝度値
の照明条件による変動を表す照明変動空間を生成する照
明変動空間生成ステップと、 前記姿勢候補の位置姿勢に当該物体がありかつ照明条件
が前記認識対象の画像と同等である場合に得られる画像
である比較画像を、前記３次元物体モデル及び前記照明
変動空間に基づいて生成する比較画像生成ステップと、 複数の前記姿勢候補のそれぞれに基づいて生成された各
前記比較画像を、前記認識対象の画像と比較して、前記
認識対象の画像に最も近い前記比較画像を判定する姿勢
選択ステップを備えることを特徴とする請求項１６に記
載の位置姿勢認識方法。 - 【請求項１８】 前記物体の位置姿勢を示すパラメタの
各値を、指定された範囲内において標本化することによ
り、複数の前記姿勢候補を生成する姿勢候補群決定ステ
ップを備え、 生成された複数の前記姿勢候補の中から、前記認識対象
の画像に最も近い前記比較画像を判定することを特徴と
する請求項１７に記載の位置姿勢認識方法。 - 【請求項１９】 前記物体の位置姿勢を示す与えられた
パラメタの各値を、指定された増減を行なうことによ
り、複数の前記姿勢候補を生成する姿勢候補群決定ステ
ップを備え、 生成された複数の前記姿勢候補の中から、前記認識対象
の画像に最も近い前記比較画像を判定することを特徴と
する請求項１７に記載の位置姿勢認識方法。 - 【請求項２０】 認識対象の画像中の特徴点の位置を入
力画像特徴点位置として抽出する特徴点位置抽出ステッ
プを備え、 前記姿勢候補群決定ステップは、 前記物体の前記特徴点の位置の情報と、前記入力画像特
徴点位置の情報とに基づいて、複数の前記姿勢候補を生
成することを特徴とする請求項１８又は請求項１９に記
載の位置姿勢認識方法。 - 【請求項２１】 前記特徴点位置抽出ステップにおいて
抽出した前記入力画像特徴点位置の一部の特徴点を選択
した組を、特徴点群として一つ又は複数生成し、 前記姿勢候補群決定ステップは、 前記物体の前記特徴点の位置の情報と、前記入力画像特
徴点位置の当該特徴点組群において選択された前記特徴
点とに基づいて、一つ又は複数の前記姿勢候補を生成す
ることを特徴とする請求項２０に記載の位置姿勢認識方
法。 - 【請求項２２】 前記特徴点位置抽出ステップにおいて
抽出した前記入力画像特徴点位置のデータを、指定され
た増減を行なうことにより一つ又は複数の新たな前記入
力画像特徴点位置を生成することを特徴とする請求項２
０又は請求項２１に記載の位置姿勢認識方法。 - 【請求項２３】 前記姿勢候補群決定ステップは、 定められた前記入力画像特徴点位置に含まれる誤差の範
囲である特徴点誤差範囲に基づいて、前記特徴点位置抽
出ステップにおいて抽出した前記入力画像特徴点位置の
データを、前記特徴点誤差範囲内において標本化するこ
とにより、一つ又は複数の前記姿勢候補を生成すること
を特徴とする請求項１８から請求項２２のいずれか１つ
に記載の位置姿勢認識方法。 - 【請求項２４】 （１）前記姿勢選択ステップにおい
て、前記認識対象の画像に最も近いと判定した前記比較
画像の生成に用いた姿勢候補を、最適姿勢候補と定める
（２）前記姿勢候補群決定ステップにより、前記最適姿
勢候補を基に新たな複数の前記姿勢候補を生成する （３）新たに生成された複数の前記姿勢候補を基に、前
記姿勢選択ステップにより、前記認識対象の画像に最も
近い前記比較画像を判定する 上記（１）、（２）、（３）の一連の処理を順次繰り返
し実行し、かつ定められた時点において前記繰り返しを
終了させる終了判定ステップを備え、 前記繰り返しの終了後、前記姿勢選択ステップが、その
最終の処理において、前記認識対象の画像に最も近いと
判定した前記比較画像の生成に用いた前記姿勢候補を、
前記認識対象の画像中における前記物体の位置姿勢の認
識結果として出力することを特徴とする請求項１８から
請求項２３のいずれか１つに記載の位置姿勢認識方法。 - 【請求項２５】 前記姿勢選択ステップが、前記認識対
象の画像に最も近いと判定した前記比較画像の生成に用
いた前記姿勢候補を、前記認識対象の画像中における前
記物体の位置姿勢の認識結果として出力することを特徴
とする請求項１７から請求項２３のいずれか１つに記載
の位置姿勢認識方法。 - 【請求項２６】 前記物体の３次元物体モデルの情報を
登録する登録ステップを備えることを特徴とする請求項
２６から請求項２５のいずれか１つに記載の位置姿勢認
識方法。 - 【請求項２７】 前記登録ステップでは、 前記物体の３次元形状と、当該物体表面上の各位置の色
又は反射率に相当する画像データを測定する３次元形状
・反射率測定ステップと、 前記物体の表面各位置の、様々な照明条件の下での輝度
値をあらわす照明変動テクスチャ群を生成する照明変動
テクスチャ生成ステップと、 前記照明変動テクスチャ群全体を近似する基底テクスチ
ャ群を計算する基底テクスチャ計算ステップを備え、 前記物体の３次元形状及び前記基底テクスチャ群を、当
該物体の３次元物体モデルとして登録することを特徴と
する請求項２６に記載の位置姿勢認識方法。 - 【請求項２８】 前記登録ステップでは、 前記物体表面上の特徴点の３次元位置情報を登録特徴点
位置として記憶することを特徴とする請求項２７に記載
の位置姿勢認識方法。 - 【請求項２９】 コンピュータを制御することにより、
認識対象の画像中から物体の位置姿勢を認識する位置姿
勢認識方法において、 前記物体の３次元形状と、当該物体の表面の各位置の輝
度値とから成る３次元物体モデルを生成し、前記３次元
物体モデルに基づいて、前記認識対象の画像中における
前記物体の位置姿勢を認識する処理を実行させることを
特徴とする位置姿勢認識プログラム。 - 【請求項３０】 前記認識対象の画像中における前記物
体の位置姿勢の候補である姿勢候補に基づいて、前記姿
勢候補の位置姿勢に当該物体がある場合の画像の輝度値
の照明条件による変動を表す照明変動空間を生成する照
明変動空間生成処理と、 前記姿勢候補の位置姿勢に当該物体がありかつ照明条件
が前記認識対象の画像と同等である場合に得られる画像
である比較画像を、前記３次元物体モデル及び前記照明
変動空間に基づいて生成する比較画像生成処理と、 複数の前記姿勢候補のそれぞれに基づいて生成された各
前記比較画像を、前記認識対象の画像と比較して、前記
認識対象の画像に最も近い前記比較画像を判定する姿勢
選択処理を実行させることを特徴とする請求項２９に記
載の位置姿勢認識プログラム。 - 【請求項３１】 前記物体の位置姿勢を示すパラメタの
各値を、指定された範囲内において標本化することによ
り、複数の前記姿勢候補を生成する姿勢候補群決定処理
と、 生成された複数の前記姿勢候補の中から、前記認識対象
の画像に最も近い前記比較画像を判定する処理を実行さ
せることを特徴とする請求項３０に記載の位置姿勢認識
プログラム。 - 【請求項３２】 前記物体の位置姿勢を示す与えられた
パラメタの各値を、指定された増減を行なうことによ
り、複数の前記姿勢候補を生成する姿勢候補群決定処理
と、 生成された複数の前記姿勢候補の中から、前記認識対象
の画像に最も近い前記比較画像を判定する処理を実行さ
せることを特徴とする請求項３０に記載の位置姿勢認識
プログラム。 - 【請求項３３】 認識対象の画像中の特徴点の位置を入
力画像特徴点位置として抽出する特徴点位置抽出処理を
実行させ、 前記姿勢候補群決定処理においては、 前記物体の前記特徴点の位置の情報と、前記入力画像特
徴点位置の情報とに基づいて、複数の前記姿勢候補を生
成する処理を実行させることを特徴とする請求項３１又
は請求項３２に記載の位置姿勢認識プログラム。 - 【請求項３４】 前記特徴点位置抽出処理において抽出
した前記入力画像特徴点位置の一部の特徴点を選択した
組を、特徴点群として一つ又は複数生成する処理を実行
させ、 前記姿勢候補群決定処理においては、 前記物体の前記特徴点の位置の情報と、前記入力画像特
徴点位置の当該特徴点組群において選択された前記特徴
点とに基づいて、一つ又は複数の前記姿勢候補を生成す
る処理を実行させることを特徴とする請求項３３に記載
の位置姿勢認識プログラム。 - 【請求項３５】 前記特徴点位置抽出処理において抽出
した前記入力画像特徴点位置のデータを、指定された増
減を行なうことにより一つ又は複数の新たな前記入力画
像特徴点位置を生成する処理を実行させることを特徴と
する請求項３３又は請求項３４に記載の位置姿勢認識プ
ログラム。 - 【請求項３６】 前記姿勢候補群決定処理は、 定められた前記入力画像特徴点位置に含まれる誤差の範
囲である特徴点誤差範囲に基づいて、前記特徴点位置抽
出処理において抽出した前記入力画像特徴点位置のデー
タを、前記特徴点誤差範囲内において標本化することに
より、一つ又は複数の前記姿勢候補を生成することを特
徴とする請求項３１から請求項３５のいずれか１つに記
載の位置姿勢認識プログラム。 - 【請求項３７】 （１）前記姿勢選択処理において、前
記認識対象の画像に最も近いと判定した前記比較画像の
生成に用いた姿勢候補を、最適姿勢候補と定める （２）前記姿勢候補群決定処理により、前記最適姿勢候
補を基に新たな複数の前記姿勢候補を生成する （３）新たに生成された複数の前記姿勢候補を基に、前
記姿勢選択処理により、前記認識対象の画像に最も近い
前記比較画像を判定する 上記（１）、（２）、（３）の一連の処理を順次繰り返
し実行し、かつ定められた時点において前記繰り返しを
終了させる終了判定処理を実行させ、 前記繰り返しの終了後、前記姿勢選択処理の最終の処理
において、前記認識対象の画像に最も近いと判定した前
記比較画像の生成に用いた前記姿勢候補を、前記認識対
象の画像中における前記物体の位置姿勢の認識結果とし
て出力する処理を実行させることを特徴とする請求項３
１から請求項３６のいずれか１つに記載の位置姿勢認識
プログラム。 - 【請求項３８】 前記姿勢選択処理が、前記認識対象の
画像に最も近いと判定した前記比較画像の生成に用いた
前記姿勢候補を、前記認識対象の画像中における前記物
体の位置姿勢の認識結果として出力する処理を実行させ
ることを特徴とする請求項３０から請求項３６のいずれ
か１つに記載の位置姿勢認識プログラム。 - 【請求項３９】 前記物体の３次元物体モデルの情報を
登録する登録処理を実行させることを特徴とする請求項
２９から請求項３８のいずれか１つに記載の位置姿勢認
識プログラム。 - 【請求項４０】 前記登録処理においては、 前記物体の３次元形状と、当該物体表面上の各位置の色
又は反射率に相当する画像データを測定する３次元形状
・反射率測定処理と、 前記物体の表面各位置の、様々な照明条件の下での輝度
値をあらわす照明変動テクスチャ群を生成する照明変動
テクスチャ生成処理と、 前記照明変動テクスチャ群全体を近似する基底テクスチ
ャ群を計算する基底テクスチャ計算処理と、 前記物体の３次元形状及び前記基底テクスチャ群を、当
該物体の３次元物体モデルとして登録する処理を実行さ
せることを特徴とする請求項３９に記載の位置姿勢認識
プログラム。 - 【請求項４１】 前記登録処理においては、 前記物体表面上の特徴点の３次元位置情報を登録特徴点
位置として記憶する処理を実行させることを特徴とする
請求項４０に記載の位置姿勢認識プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001244473A JP4573085B2 (ja) | 2001-08-10 | 2001-08-10 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
| US10/209,860 US7218773B2 (en) | 2001-08-10 | 2002-08-02 | Pose estimation method and apparatus |
| GB0218591A GB2380383B (en) | 2001-08-10 | 2002-08-09 | Pose estimation method and apparatus |
| CA002397237A CA2397237C (en) | 2001-08-10 | 2002-08-09 | Pose estimation method and apparatus |
| US11/730,314 US7313266B2 (en) | 2001-08-10 | 2007-03-30 | Pose estimation method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001244473A JP4573085B2 (ja) | 2001-08-10 | 2001-08-10 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003058896A true JP2003058896A (ja) | 2003-02-28 |
| JP4573085B2 JP4573085B2 (ja) | 2010-11-04 |
Family
ID=19074392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001244473A Expired - Lifetime JP4573085B2 (ja) | 2001-08-10 | 2001-08-10 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7218773B2 (ja) |
| JP (1) | JP4573085B2 (ja) |
| CA (1) | CA2397237C (ja) |
| GB (1) | GB2380383B (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005027048A1 (ja) * | 2003-08-29 | 2005-03-24 | Nec Corporation | 重み情報を用いた物体姿勢推定・照合システム |
| WO2005043466A1 (ja) * | 2003-10-30 | 2005-05-12 | Nec Corporation | 物体の状態を推定する推定システム、推定方法および推定プログラム |
| WO2005086089A1 (ja) * | 2004-03-03 | 2005-09-15 | Nec Corporation | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
| WO2006092961A1 (ja) * | 2005-03-02 | 2006-09-08 | Matsushita Electric Industrial Co., Ltd. | 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム |
| JP2006343859A (ja) * | 2005-06-07 | 2006-12-21 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| JP2007140868A (ja) * | 2005-11-17 | 2007-06-07 | Konica Minolta Holdings Inc | 認証システム、認証方法およびプログラム |
| JP2007164670A (ja) * | 2005-12-16 | 2007-06-28 | Yamatake Corp | ３次元パターン照合装置 |
| JP2007293558A (ja) * | 2006-04-25 | 2007-11-08 | Hitachi Ltd | 目標物認識プログラム及び目標物認識装置 |
| JP2007304721A (ja) * | 2006-05-09 | 2007-11-22 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| CN100410622C (zh) * | 2004-05-14 | 2008-08-13 | 佳能株式会社 | 用于获得目标物体的位置和方位的信息处理方法和设备 |
| JP2008286756A (ja) * | 2007-05-21 | 2008-11-27 | Canon Inc | 位置姿勢計測装置及びその制御方法 |
| JP2010519629A (ja) * | 2007-02-23 | 2010-06-03 | トタル イメルシオン | 画像内の３次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも１つのキー画像を創出する方法及びデバイス |
| JP2010218051A (ja) * | 2009-03-13 | 2010-09-30 | Nec Corp | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
| JP2011138490A (ja) * | 2009-12-28 | 2011-07-14 | Mitsubishi Electric Research Laboratories Inc | シーンにおける物体の姿勢を求めるための方法 |
| JP2012128638A (ja) * | 2010-12-15 | 2012-07-05 | Canon Inc | 画像処理装置、位置合わせ方法及びプログラム |
| EP2479726A1 (en) | 2003-10-21 | 2012-07-25 | Nec Corporation | Image comparison system and image comparison method |
| JP2012141962A (ja) * | 2010-12-14 | 2012-07-26 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法 |
| JP2012185161A (ja) * | 2011-03-03 | 2012-09-27 | Sang Mo Bae | 携帯端末機に備えられたカメラを利用した物体の実際の大きさを測定する方法 |
| US10452950B2 (en) | 2016-05-25 | 2019-10-22 | Toyota Jidosha Kabushiki Kaisha | Object recognition apparatus, objection recognition method, and program |
| CN113677953A (zh) * | 2019-04-22 | 2021-11-19 | 株式会社新川 | 线形状测量装置、线三维图像产生方法及线形状测量方法 |
| JP7362453B2 (ja) | 2019-11-28 | 2023-10-17 | 株式会社日立製作所 | モデル作成装置及びモデル作成方法 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1556805B1 (en) * | 2002-10-22 | 2011-08-24 | Artoolworks | Tracking a surface in a 3-dimensional scene using natural visual features of the surface |
| US7620202B2 (en) * | 2003-06-12 | 2009-11-17 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
| GB0319697D0 (en) | 2003-08-21 | 2003-09-24 | Falanx Microsystems As | Method of and apparatus for differential encoding and decoding |
| GB0326186D0 (en) * | 2003-11-10 | 2003-12-17 | Omniperception Ltd | 2d face authentication system |
| CA2668941C (en) * | 2006-11-17 | 2015-12-29 | Thomson Licensing | System and method for model fitting and registration of objects for 2d-to-3d conversion |
| EP2130178A1 (en) * | 2007-03-23 | 2009-12-09 | Thomson Licensing | System and method for region classification of 2d images for 2d-to-3d conversion |
| JP5181704B2 (ja) * | 2008-02-07 | 2013-04-10 | 日本電気株式会社 | データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム |
| US8649555B1 (en) * | 2009-02-18 | 2014-02-11 | Lucasfilm Entertainment Company Ltd. | Visual tracking framework |
| US8217961B2 (en) * | 2009-03-27 | 2012-07-10 | Mitsubishi Electric Research Laboratories, Inc. | Method for estimating 3D pose of specular objects |
| JP5393318B2 (ja) * | 2009-07-28 | 2014-01-22 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
| JP5618569B2 (ja) * | 2010-02-25 | 2014-11-05 | キヤノン株式会社 | 位置姿勢推定装置及びその方法 |
| CN102261908B (zh) * | 2011-04-25 | 2013-06-19 | 天津大学 | 基于几何约束的物体三维姿态测量方法 |
| GB2492779B (en) * | 2011-07-11 | 2016-03-16 | Toshiba Res Europ Ltd | An image processing method and system |
| US10311595B2 (en) * | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
| GB2536493B (en) * | 2015-03-20 | 2020-11-18 | Toshiba Europe Ltd | Object pose recognition |
| JP2017182274A (ja) * | 2016-03-29 | 2017-10-05 | セイコーエプソン株式会社 | 情報処理装置およびコンピュータープログラム |
| WO2018216342A1 (ja) * | 2017-05-24 | 2018-11-29 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US10621751B2 (en) | 2017-06-16 | 2020-04-14 | Seiko Epson Corporation | Information processing device and computer program |
| JP2019087008A (ja) * | 2017-11-07 | 2019-06-06 | 東芝テック株式会社 | 画像処理システム及び画像処理方法 |
| US10970425B2 (en) | 2017-12-26 | 2021-04-06 | Seiko Epson Corporation | Object detection and tracking |
| WO2019133342A1 (en) * | 2017-12-29 | 2019-07-04 | PlusAI Corp | Method and system for stereo based vehicle pose estimation |
| US10311833B1 (en) | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
| US10679376B2 (en) * | 2018-04-24 | 2020-06-09 | Microsoft Technology Licensing, Llc | Determining a pose of a handheld object |
| AU2019208182B2 (en) | 2018-07-25 | 2021-04-08 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| JP2020021105A (ja) * | 2018-07-30 | 2020-02-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04130587A (ja) * | 1990-09-20 | 1992-05-01 | Agency Of Ind Science & Technol | ３次元画像評価装置 |
| JPH04256185A (ja) * | 1991-02-08 | 1992-09-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識システムのサンプル画像収集方法 |
| JP2001283216A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
| JP2002063567A (ja) * | 2000-08-23 | 2002-02-28 | Nec Corp | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 |
| JP2004086929A (ja) * | 2003-12-08 | 2004-03-18 | Nec Corp | 画像照合装置 |
| JP4167390B2 (ja) * | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| JP4379459B2 (ja) * | 2006-10-16 | 2009-12-09 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2553912B1 (fr) | 1983-10-21 | 1985-12-20 | Onera (Off Nat Aerospatiale) | Procede et appareillage pour determiner l'attitude d'un objet dans l'espace par rapport a un poste d'observation |
| US5208763A (en) | 1990-09-14 | 1993-05-04 | New York University | Method and apparatus for determining position and orientation of mechanical objects |
| US5710876A (en) * | 1995-05-25 | 1998-01-20 | Silicon Graphics, Inc. | Computer graphics system for rendering images using full spectral illumination data |
| US5850469A (en) | 1996-07-09 | 1998-12-15 | General Electric Company | Real time tracking of camera pose |
| US6526156B1 (en) * | 1997-01-10 | 2003-02-25 | Xerox Corporation | Apparatus and method for identifying and tracking objects with view-based representations |
| JPH1151611A (ja) | 1997-07-31 | 1999-02-26 | Tokyo Electric Power Co Inc:The | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 |
| US6002782A (en) * | 1997-11-12 | 1999-12-14 | Unisys Corporation | System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model |
| JP4146027B2 (ja) * | 1999-04-05 | 2008-09-03 | 株式会社岩根研究所 | 情報変換システム |
| JP2000339468A (ja) | 1999-05-31 | 2000-12-08 | Minolta Co Ltd | ３次元データの位置合わせ方法及び装置 |
| US20010030173A1 (en) * | 2000-01-20 | 2001-10-18 | Eduard Ulanovsky | Contact arc-quenching system for power switchgear |
| AU2001250802A1 (en) * | 2000-03-07 | 2001-09-17 | Sarnoff Corporation | Camera pose estimation |
| US6580821B1 (en) | 2000-03-30 | 2003-06-17 | Nec Corporation | Method for computing the location and orientation of an object in three dimensional space |
| US6956569B1 (en) | 2000-03-30 | 2005-10-18 | Nec Corporation | Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database |
| JP3575679B2 (ja) * | 2000-03-31 | 2004-10-13 | 日本電気株式会社 | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 |
| AU2002239328A1 (en) * | 2000-11-08 | 2002-05-27 | Yale University | Illumination based image synthesis |
| US6888960B2 (en) * | 2001-03-28 | 2005-05-03 | Nec Corporation | Fast optimal linear approximation of the images of variably illuminated solid objects for recognition |
-
2001
- 2001-08-10 JP JP2001244473A patent/JP4573085B2/ja not_active Expired - Lifetime
-
2002
- 2002-08-02 US US10/209,860 patent/US7218773B2/en not_active Expired - Fee Related
- 2002-08-09 GB GB0218591A patent/GB2380383B/en not_active Expired - Fee Related
- 2002-08-09 CA CA002397237A patent/CA2397237C/en not_active Expired - Fee Related
-
2007
- 2007-03-30 US US11/730,314 patent/US7313266B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04130587A (ja) * | 1990-09-20 | 1992-05-01 | Agency Of Ind Science & Technol | ３次元画像評価装置 |
| JPH04256185A (ja) * | 1991-02-08 | 1992-09-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識システムのサンプル画像収集方法 |
| JP2001283216A (ja) * | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
| JP2002063567A (ja) * | 2000-08-23 | 2002-02-28 | Nec Corp | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 |
| JP4167390B2 (ja) * | 2000-11-20 | 2008-10-15 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
| JP2004086929A (ja) * | 2003-12-08 | 2004-03-18 | Nec Corp | 画像照合装置 |
| JP4379459B2 (ja) * | 2006-10-16 | 2009-12-09 | 日本電気株式会社 | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005027048A1 (ja) * | 2003-08-29 | 2005-03-24 | Nec Corporation | 重み情報を用いた物体姿勢推定・照合システム |
| US7706601B2 (en) | 2003-08-29 | 2010-04-27 | Nec Corporation | Object posture estimation/correlation system using weight information |
| EP2479726A1 (en) | 2003-10-21 | 2012-07-25 | Nec Corporation | Image comparison system and image comparison method |
| US7809159B2 (en) | 2003-10-30 | 2010-10-05 | Nec Corporation | Estimation system, estimation method, and estimation program for estimating object state |
| WO2005043466A1 (ja) * | 2003-10-30 | 2005-05-12 | Nec Corporation | 物体の状態を推定する推定システム、推定方法および推定プログラム |
| JPWO2005086089A1 (ja) * | 2004-03-03 | 2008-01-24 | 日本電気株式会社 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
| WO2005086089A1 (ja) * | 2004-03-03 | 2005-09-15 | Nec Corporation | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
| US7986813B2 (en) | 2004-03-03 | 2011-07-26 | Nec Corporation | Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor |
| JP4692773B2 (ja) * | 2004-03-03 | 2011-06-01 | 日本電気株式会社 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
| CN100410622C (zh) * | 2004-05-14 | 2008-08-13 | 佳能株式会社 | 用于获得目标物体的位置和方位的信息处理方法和设备 |
| WO2006092961A1 (ja) * | 2005-03-02 | 2006-09-08 | Matsushita Electric Industrial Co., Ltd. | 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム |
| US7747104B2 (en) | 2005-03-02 | 2010-06-29 | Panasonic Corporation | Image generating method, object detecting method, object detecting equipment, and image generating program |
| JP2006343859A (ja) * | 2005-06-07 | 2006-12-21 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| JP2007140868A (ja) * | 2005-11-17 | 2007-06-07 | Konica Minolta Holdings Inc | 認証システム、認証方法およびプログラム |
| JP2007164670A (ja) * | 2005-12-16 | 2007-06-28 | Yamatake Corp | ３次元パターン照合装置 |
| JP4589224B2 (ja) * | 2005-12-16 | 2010-12-01 | 株式会社山武 | ３次元パターン照合装置 |
| JP2007293558A (ja) * | 2006-04-25 | 2007-11-08 | Hitachi Ltd | 目標物認識プログラム及び目標物認識装置 |
| JP2007304721A (ja) * | 2006-05-09 | 2007-11-22 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| JP2010519629A (ja) * | 2007-02-23 | 2010-06-03 | トタル イメルシオン | 画像内の３次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも１つのキー画像を創出する方法及びデバイス |
| JP2008286756A (ja) * | 2007-05-21 | 2008-11-27 | Canon Inc | 位置姿勢計測装置及びその制御方法 |
| JP2010218051A (ja) * | 2009-03-13 | 2010-09-30 | Nec Corp | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム |
| JP2011138490A (ja) * | 2009-12-28 | 2011-07-14 | Mitsubishi Electric Research Laboratories Inc | シーンにおける物体の姿勢を求めるための方法 |
| JP2012141962A (ja) * | 2010-12-14 | 2012-07-26 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法 |
| US9519971B2 (en) | 2010-12-14 | 2016-12-13 | Canon Kabushiki Kaisha | Position and orientation measurement device and position and orientation measurement method |
| JP2012128638A (ja) * | 2010-12-15 | 2012-07-05 | Canon Inc | 画像処理装置、位置合わせ方法及びプログラム |
| JP2012185161A (ja) * | 2011-03-03 | 2012-09-27 | Sang Mo Bae | 携帯端末機に備えられたカメラを利用した物体の実際の大きさを測定する方法 |
| US10452950B2 (en) | 2016-05-25 | 2019-10-22 | Toyota Jidosha Kabushiki Kaisha | Object recognition apparatus, objection recognition method, and program |
| CN113677953A (zh) * | 2019-04-22 | 2021-11-19 | 株式会社新川 | 线形状测量装置、线三维图像产生方法及线形状测量方法 |
| JP7362453B2 (ja) | 2019-11-28 | 2023-10-17 | 株式会社日立製作所 | モデル作成装置及びモデル作成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2397237A1 (en) | 2003-02-10 |
| GB2380383B (en) | 2005-09-21 |
| GB2380383A (en) | 2003-04-02 |
| US7313266B2 (en) | 2007-12-25 |
| US7218773B2 (en) | 2007-05-15 |
| JP4573085B2 (ja) | 2010-11-04 |
| US20030035098A1 (en) | 2003-02-20 |
| US20070172127A1 (en) | 2007-07-26 |
| GB0218591D0 (en) | 2002-09-18 |
| CA2397237C (en) | 2009-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4573085B2 (ja) | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム | |
| EP1677250B9 (en) | Image collation system and image collation method | |
| US6768509B1 (en) | Method and apparatus for determining points of interest on an image of a camera calibration object | |
| US8467596B2 (en) | Method and apparatus for object pose estimation | |
| US7321370B2 (en) | Method and apparatus for collating object | |
| US9818034B1 (en) | System and method for pattern detection and camera calibration | |
| EP2234064B1 (en) | Method for estimating 3D pose of specular objects | |
| US20060165293A1 (en) | Object posture estimation/correction system using weight information | |
| JPWO2005043466A1 (ja) | 物体の状態を推定する推定システム、推定方法および推定プログラム | |
| JP2000227309A (ja) | ３次元位置姿勢センシング装置 | |
| CN109919971B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| JP6860620B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN112184765A (zh) | 一种基于视觉的水下航行器自主跟踪方法 | |
| JP4379459B2 (ja) | 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体 | |
| JP2004086929A5 (ja) | ||
| CN113436251A (zh) | 一种基于改进的yolo6d算法的位姿估计系统及方法 | |
| JP2004054947A (ja) | 物体照合システム、物体照合方法および物体照合プログラム | |
| JPH1151611A (ja) | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 | |
| CN111445540B (zh) | 一种用于rgb有色三维点云的自动配准方法 | |
| Thomas et al. | Robustly registering range images using local distribution of albedo | |
| Li et al. | Photometric stereo for general isotropic reflectances by spherical linear interpolation | |
| Wang et al. | Automatic landmark placement for large 3D facial image dataset | |
| JP2018036884A (ja) | 光源推定装置及びプログラム | |
| Okatani et al. | Range image registration preserving local structures of object surfaces | |
| Thomas et al. | Illumination-free photometric metric for range image registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100506 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100722 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100804 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4573085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| EXPY | Cancellation because of completion of term |