JP2004054947A - 物体照合システム、物体照合方法および物体照合プログラム - Google Patents
物体照合システム、物体照合方法および物体照合プログラム Download PDFInfo
- Publication number
- JP2004054947A JP2004054947A JP2003272787A JP2003272787A JP2004054947A JP 2004054947 A JP2004054947 A JP 2004054947A JP 2003272787 A JP2003272787 A JP 2003272787A JP 2003272787 A JP2003272787 A JP 2003272787A JP 2004054947 A JP2004054947 A JP 2004054947A
- Authority
- JP
- Japan
- Prior art keywords
- color
- input image
- color distribution
- image
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
【課題】 姿勢や照明の異なる条件で撮影された様々な物体の画像に対し、特徴の不安定な明暗部等の所定の色範囲を高速に推定し、高精度に照合する。
【解決手段】 色分布決定手段２０は入力画像の色分布を決定し、重み係数決定手段３０は当該色分布を用いて入力画像の色の重み係数を決定し、加重３次元照合手段４０は参照３次元物体モデル記憶部７０より得られる各３次元物体モデルを基にモデル毎に姿勢候補決定手段６０より得られる姿勢候補に基づき、照明変動空間生成手段７５で座標変換した基底画像群を生成し、次に加重比較画像生成手段４５で基底画像群の合成により入力画像に近い比較画像を重み係数決定手段３０より得られる重み係数を使用し生成し、加重照合・姿勢選択手段５０で比較画像と入力画像の類似度を当該重み係数を使用し計算し、類似度の最も高くなる姿勢を選択し、最後に類似度の最も高いモデルを照合結果とする。
【選択図】 図１
【解決手段】 色分布決定手段２０は入力画像の色分布を決定し、重み係数決定手段３０は当該色分布を用いて入力画像の色の重み係数を決定し、加重３次元照合手段４０は参照３次元物体モデル記憶部７０より得られる各３次元物体モデルを基にモデル毎に姿勢候補決定手段６０より得られる姿勢候補に基づき、照明変動空間生成手段７５で座標変換した基底画像群を生成し、次に加重比較画像生成手段４５で基底画像群の合成により入力画像に近い比較画像を重み係数決定手段３０より得られる重み係数を使用し生成し、加重照合・姿勢選択手段５０で比較画像と入力画像の類似度を当該重み係数を使用し計算し、類似度の最も高くなる姿勢を選択し、最後に類似度の最も高いモデルを照合結果とする。
【選択図】 図１
Description
本発明は物体照合システム、物体照合方法および物体照合プログラムに関し、特に姿勢や照明の異なる条件で撮影された様々な物体の画像に対し、データベース（ＤＢ）にある参照画像や３次元物体モデルと照合し物体を認識する物体照合システム、物体照合方法および物体照合プログラムに関する。
従来の物体照合システムの一例が、非特許文献１に記載されている（以下、第１の従来技術と称する）。図１９に示すように、この従来の物体照合システムは、画像入力手段１０と、３次元照合手段４１と、参照３次元物体モデル記憶部７０とから構成されている。さらに、前記３次元照合手段４１は、比較画像生成手段４６と、照合・姿勢選択手段５１と、姿勢候補決定手段６０と、照明変動空間生成手段７５とから構成されている。
このような構成を有する従来の物体照合システムはつぎのように動作する。参照３次元物体モデル記憶部７０には、物体の３次元物体モデルが予め記憶されている。３次元物体モデルは、例えば特許文献１に記載の３次元形状測定装置を用いて生成することができる。３次元物体モデルは、図２０に示すように、物体表面の３次元空間（ｘ，ｙ，ｚ）内での形状ＰＱ（ｘ，ｙ，ｚ）とテクスチャＴＱ（Ｒ，Ｇ，Ｂ）を情報として持っている。Ｑは物体表面上の点のインデックスを表し、例えば物体の重心を中心とした球体へ物体表面上の点を重心から射影した点Ｑ（ｓ，ｔ）の座標に対応する。照合のために、予め各３次元物体モデルを使用して、モデルｋ毎に様々な照明条件による学習用ＣＧ画像をコンピュータグラフィックスにより生成し、当該学習用ＣＧ画像を主成分分析することにより姿勢に依存しない基底テクスチャ群｛Ｇki(Q)｝（ｉ=1,…,n）を求めておく。
３次元照合手段４１は、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルを基に、画像入力手段１０より得られる入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を求めることにより、最も類似度の高いモデル（物体）を探索する。より詳細には、３次元照合手段４１は、まず姿勢候補決定手段６０において、姿勢候補群｛ｅ｝を決定する。次に照明変動空間生成手段７５において、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルの基底テクスチャ群｛Ｇki(Q)｝を、各姿勢候補eに基づき座標変換し、基底画像群｛Ｂkei(r)｝を生成する（rは画像の画素インデックス）。さらに、比較画像生成手段４６において、当該座標変換した基底画像群｛Ｂkei(r)｝の線形和による合成画像（比較画像）Ｃke(r)=Σi nＡiＢkei(r)と画像入力手段１０より得られる入力画像I(r)との誤差Σr|I(r)−Ｃke(r)|2が最小になるように、線形和の係数Ａiを最小二乗法により求め、比較画像を生成する。さらに、照合・姿勢選択手段５１は、当該比較画像Ｃke(r)と当該入力画像I(r)との類似度Ｓkeを計算し、類似度が最も高くなる姿勢候補ｅを選択し、その類似度をＳkとする。ここで、予め決定した姿勢候補群｛e｝の中から類似度の最も高い姿勢候補を選択するとしたが、姿勢候補決定手段６０に戻って順次姿勢候補を変動させながら類似度の最も高くなる姿勢を探索してもよい。最後に、類似度Ｓkの最も大きいモデルｋを照合結果とする。
従来の物体照合システムの他の一例が、特許文献２に記載されている（以下、第２の従来技術と称する）。図２１に示すように、この従来の物体照合システムは、画像入力手段１０と、陰影除去手段９０と、照合手段５６と、記憶部８１とから構成されている。さらに、前記陰影除去手段９０は、陰影有無判定手段９１と、合成画像生成手段４７と、輝度補正手段９５とから構成されている。また、前記記憶部８１は、参照画像記憶部８５と、平均画像記憶部８６と、３次元物体モデル記憶部７２とから構成されている。
このような構成を有する従来の物体照合システムはつぎのように動作する。参照画像記憶部８５には、陰が生じない状態で正面から撮影した各人物の顔画像が予め記憶されている。平均画像記憶部８６には、前記参照画像記憶部８５における各顔画像の各画素の輝度を平均して得た平均画像が予め記憶されている。３次元物体モデル記憶部７２には、各人物の顔面距離画像、当該顔面距離画像を平均した平均顔面距離画像、当該顔面距離画像を主成分分析して得たｎ個の固有ベクトル（基底距離画像群｛Ｄi(r’)｝）が予め記憶されている。顔面距離画像とは、３次元形状測定装置を用いて測定された顔面の３次元形状を用い、測定装置と顔表面の距離値を画素値とする画像である。画像入力手段１０より得られる入力画像は、正面から撮影された顔画像とする。
陰影除去手段９０は、まず陰影有無判定手段９１において、画像入力手段１０より得られる入力画像と平均画像記憶部８６より得られる平均画像との類似度を計算し、当該類似度が所定値より高ければ陰影が無いと判定して照合手段５６に進み、低ければ陰影が有ると判定し合成画像生成手段４７に進む。合成画像生成手段４７は、３次元物体モデル記憶部７２より得られる基底距離画像群｛Ｄi(r’)｝を用い、その線形和による合成距離画像E(r’)=Σi nＡiＤi(r’)を求め、照明方向パラメータ（α，β，γ）と３次元形状パラメータＡiを少しずつ変化させ、陰影が発生した顔画像（合成画像）を順次合成し、当該合成画像と前記入力画像との類似度が最も高くなる最適パラメータを求める。次に、輝度補正手段９５は、合成画像生成手段４７により得られる最適パラメータの合成画像の各画素の輝度値で、前記入力画像の対応する画素の輝度値を割ることにより、入力画像を陰影のない画像に補正する。照合手段５６は、前記画像入力手段１０より得られる入力画像または輝度補正手段９５より得られる陰影のない入力画像について、参照画像記憶部８５より得られる陰影のない各参照画像に対して公知の顔認識手法により照合を行う。
２００１年１２月、電子情報通信学会技術研究報告、第１０１巻、第５２４号、ＰＲＭＵ２００１−１５３〜１７５、５９頁〜６４頁、石山ら、「照明条件と姿勢の両者の自動補正による顔照合」 特開２００１−１２９２５号公報
特開２００２−１５３１１号公報
２００１年１２月、電子情報通信学会技術研究報告、第１０１巻、第５２４号、ＰＲＭＵ２００１−１５３〜１７５、５９頁〜６４頁、石山ら、「照明条件と姿勢の両者の自動補正による顔照合」
第１の問題点は、第１の従来技術では、てかり部（明部）や陰影部（暗部）に対して比較画像を精度良く生成できず、明暗部の多い入力画像に対して照合率が低いということである。
その理由は、比較画像を高速に生成するために、参照３次元物体モデル記憶部７０には姿勢に依存しない基底テクスチャ群をｎ個選択して保持し、照明変動空間生成手段７５において姿勢候補に合わせた基底画像群を生成し、その合成により比較画像を生成しているため、姿勢が予めわかっていないと再現できないてかり部や十分な数の基底画像群が存在しないと再現できない陰影部を正しく生成できないためである。
第２の問題点は、第２の従来技術では、陰影除去するために、記憶容量と処理時間がかかるということである。
その理由は、陰影除去するために、参照画像以外に平均画像や３次元物体モデルという付加的な情報が必要であると共に、記憶容量がかかる。さらに、３次元物体モデルを使用して多くのパラメータを更新しながら陰影を推定しているため、処理時間が非常にかかる。また、正面顔のみを対象としているが、様々な姿勢変動に対応しようとするとさらに記憶容量と処理時間がかかるためである。
本発明の目的は、姿勢や照明の異なる条件で撮影された様々な物体の画像に対し、特徴の不安定な明暗部等の所定の色範囲を推定し、高精度に照合できる物体照合システムを提供することにある。
本発明の他の目的は、所定の色範囲を推定するために、付加的な情報を用いず、かつ高速に処理できる物体照合システムを提供することにある。
本発明の第１の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数決定手段より得られる重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
を備えたことを特徴とする。
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数決定手段より得られる重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
を備えたことを特徴とする。
本発明の第２の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、前記重み係数決定手段より得られる重み係数を用いて入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を当該重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
を備えたことを特徴とする。
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、前記重み係数決定手段より得られる重み係数を用いて入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を当該重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
を備えたことを特徴とする。
本発明の第３の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
を備えたことを特徴とする。
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
を備えたことを特徴とする。
本発明の第４の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部に記憶されている参照画像の色に対する重み係数が予め記憶されている参照重み係数記憶部と、
前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数と前記参照重み係数記憶部より得られる当該参照画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
を備えたことを特徴とする。
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部に記憶されている参照画像の色に対する重み係数が予め記憶されている参照重み係数記憶部と、
前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数と前記参照重み係数記憶部より得られる当該参照画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
を備えたことを特徴とする。
本発明の第５の物体照合システムは、入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の画素の色を補正する色補正手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部より得られる参照画像と前記色補正手段より得られる色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合手段と、
を備えたことを特徴とする。
前記色分布決定手段より得られる色分布を用いて、入力画像の画素の色を補正する色補正手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部より得られる参照画像と前記色補正手段より得られる色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合手段と、
を備えたことを特徴とする。
本発明の第６の物体照合システムは、第１、２、３、又は４の物体照合システムにおいて、
前記色分布決定手段は、色分布の代わりに色範囲を決定し、
前記重み係数決定手段は、当該色範囲に対して重み係数を決定する
ことを特徴とする。
前記色分布決定手段は、色分布の代わりに色範囲を決定し、
前記重み係数決定手段は、当該色範囲に対して重み係数を決定する
ことを特徴とする。
本発明の第７の物体照合システムは、第５の物体照合システムにおいて、
前記色分布決定手段は、色分布の代わりに色範囲を決定し、
前記色補正手段は、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする。
前記色分布決定手段は、色分布の代わりに色範囲を決定し、
前記色補正手段は、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする。
本発明の第８の物体照合システムは、第１、２、３、４、又は５の物体照合システムにおいて、
前記色分布決定手段は、所定の色範囲の色分布を決定する
ことを特徴とする。
前記色分布決定手段は、所定の色範囲の色分布を決定する
ことを特徴とする。
本発明の第９の物体照合システムは、第６、７、又は８の物体照合システムにおいて、
前記色範囲は、オペレータにより手動で設定される
ことを特徴とする。
前記色範囲は、オペレータにより手動で設定される
ことを特徴とする。
本発明の第１０の物体照合システムは、第９の物体照合システムにおいて、
前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする。
前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする。
本発明の第１１の物体照合システムは、第８の物体照合システムにおいて、
前記色範囲は、入力画像より自動的に決定される
ことを特徴とする。
前記色範囲は、入力画像より自動的に決定される
ことを特徴とする。
本発明の第１２の物体照合システムは、第１１の物体照合システムにおいて、
前記色分布決定手段は、
入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算手段と、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定手段と、
を備えたことを特徴とする。
前記色分布決定手段は、
入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算手段と、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定手段と、
を備えたことを特徴とする。
本発明の第１３の物体照合システムは、第１２の物体照合システムにおいて、
前記色分布決定手段は、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定手段と、
を備えたことを特徴とする。
前記色分布決定手段は、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定手段と、
を備えたことを特徴とする。
本発明の第１４の物体照合システムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２又は１３の物体照合システムにおいて、
前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
ことを特徴とする。
前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
ことを特徴とする。
本発明の第１５の物体照合システムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、又は１４の物体照合システムにおいて、
前記色は、輝度であることを特徴とする。
前記色は、輝度であることを特徴とする。
本発明の第１６の物体照合システムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５の物体照合システムにおいて、
前記物体は、顔であることを特徴とする。
前記物体は、顔であることを特徴とする。
本発明の第１の物体照合方法は、入力画像に対して、色分布を決定し、当該色分布を用いて、入力画像の色に対して重み係数を決定し
物体の３次元物体モデルを予め記憶し、
当該３次元物体モデルを基に、前記入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
ことを特徴とする。
物体の３次元物体モデルを予め記憶し、
当該３次元物体モデルを基に、前記入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
ことを特徴とする。
本発明の第２の物体照合方法は、入力画像に対して、色分布を決定し、当該色分布を用いて、入力画像の色に対して重み係数を決定し
物体の３次元物体モデルを予め記憶し、
当該３次元物体モデルを基に、前記入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
ことを特徴とする。
物体の３次元物体モデルを予め記憶し、
当該３次元物体モデルを基に、前記入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
ことを特徴とする。
本発明の第３の物体照合方法は、入力画像に対して、色分布を決定し、当該色分布を用いて、入力画像の色に対して重み係数を決定し
物体の参照画像を予め記憶し、
前記参照画像と前記入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする。
物体の参照画像を予め記憶し、
前記参照画像と前記入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする。
本発明の第４の物体照合方法は、入力画像に対して、色分布を決定し、当該色分布を用いて、入力画像の色に対して重み係数を決定し
物体の参照画像を予め記憶し、
前記参照画像の色に対する重み係数を予め記憶し、
前記参照画像と前記入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする。
物体の参照画像を予め記憶し、
前記参照画像の色に対する重み係数を予め記憶し、
前記参照画像と前記入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする。
本発明の第５の物体照合方法は、入力画像に対して、色分布を決定し、
当該色分布を用いて、入力画像の画素の色を補正し、
物体の参照画像を予め記憶し、
前記参照画像と前記色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする
当該色分布を用いて、入力画像の画素の色を補正し、
物体の参照画像を予め記憶し、
前記参照画像と前記色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする
本発明の第６の物体照合方法は、第１、２、３、又は４の物体照合方法において、
色分布の決定においては、色分布の代わりに色範囲を決定し、
重み係数の決定においては、当該色範囲に対して重み係数を決定する
ことを特徴とする。
色分布の決定においては、色分布の代わりに色範囲を決定し、
重み係数の決定においては、当該色範囲に対して重み係数を決定する
ことを特徴とする。
本発明の第７の物体照合方法は、第５の物体照合方法において、
色分布の決定においては、色分布の代わりに色範囲を決定し、
色補正においては、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする。
色分布の決定においては、色分布の代わりに色範囲を決定し、
色補正においては、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする。
本発明の第８の物体照合方法は、第１、２、３、４、又は５の物体照合方法において、
色分布の決定においては、所定の色範囲の色分布を決定する
ことを特徴とする。
色分布の決定においては、所定の色範囲の色分布を決定する
ことを特徴とする。
本発明の第９の物体照合方法は、第６、７、又は８の物体照合方法において、
前記色範囲は、オペレータにより手動で設定される
ことを特徴とする。
前記色範囲は、オペレータにより手動で設定される
ことを特徴とする。
本発明の第１０の物体照合方法は、第９の物体照合方法において、
前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする。
前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする。
本発明の第１１の物体照合方法は、第８の物体照合方法において、
前記色範囲は、入力画像より自動的に決定される
ことを特徴とする。
前記色範囲は、入力画像より自動的に決定される
ことを特徴とする。
本発明の第１２の物体照合方法は、第１１の物体照合方法において、
色分布の決定においては、
入力画像の画素の色頻度（ヒストグラム）を求め、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する、
ことを特徴とする。
色分布の決定においては、
入力画像の画素の色頻度（ヒストグラム）を求め、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する、
ことを特徴とする。
本発明の第１３の物体照合方法は、第１２の物体照合方法において、
色分布の決定においては、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する、
ことを特徴とする。
色分布の決定においては、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する、
ことを特徴とする。
本発明の第１４の物体照合方法は、第１、２、３、４、５、６、７、８、９、１０、１１、１２又は１３の物体照合方法において、
前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
ことを特徴とする。
前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
ことを特徴とする。
本発明の第１５の物体照合方法は、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、又は１４の物体照合方法において、
前記色は、輝度であることを特徴とする。
前記色は、輝度であることを特徴とする。
本発明の第１６の物体照合方法は、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５の物体照合方法において、
前記物体は、顔であることを特徴とする。
前記物体は、顔であることを特徴とする。
本発明の第１の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の３次元物体モデルを予め記憶する処理と、
当該３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
をコンピュータに実行させることを特徴とする。
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の３次元物体モデルを予め記憶する処理と、
当該３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
をコンピュータに実行させることを特徴とする。
本発明の第２の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の３次元物体モデルを予め記憶する処理と、
当該３次元物体モデルを基に、入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
をコンピュータに実行させることを特徴とする。
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の３次元物体モデルを予め記憶する処理と、
当該３次元物体モデルを基に、入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
をコンピュータに実行させることを特徴とする。
本発明の第３の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像と入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
をコンピュータに実行させることを特徴とする。
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像と入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
をコンピュータに実行させることを特徴とする。
本発明の第４の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像の色に対する重み係数を予め記憶する処理と、
前記参照画像と入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
をコンピュータに実行させることを特徴とする。
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像の色に対する重み係数を予め記憶する処理と、
前記参照画像と入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
をコンピュータに実行させることを特徴とする。
本発明の第５の物体照合プログラムは、入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の画素の色を補正する色補正処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像と色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合処理と、
をコンピュータに実行させることを特徴とする。
当該色分布を用いて、入力画像の画素の色を補正する色補正処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像と色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合処理と、
をコンピュータに実行させることを特徴とする。
本発明の第６の物体照合プログラムは、第１、２、３、又は４の物体照合プログラムにおいて、
前記色分布決定処理は、色分布の代わりに色範囲を決定し、
前記重み係数決定処理は、当該色範囲に対して重み係数を決定する
ことを特徴とする。
前記色分布決定処理は、色分布の代わりに色範囲を決定し、
前記重み係数決定処理は、当該色範囲に対して重み係数を決定する
ことを特徴とする。
本発明の第７の物体照合プログラムは、第５の物体照合プログラムにおいて、
前記色分布決定処理は、色分布の代わりに色範囲を決定し、
前記色補正処理は、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする。
前記色分布決定処理は、色分布の代わりに色範囲を決定し、
前記色補正処理は、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする。
本発明の第８の物体照合プログラムは、第１、２、３、４、又は５の物体照合プログラムにおいて、
前記色分布決定処理は、所定の色範囲の色分布を決定する
ことを特徴とする。
前記色分布決定処理は、所定の色範囲の色分布を決定する
ことを特徴とする。
本発明の第９の物体照合プログラムは、第６、７、又は８の物体照合プログラムにおいて、
前記色範囲は、オペレータにより手動で設定される
ことを特徴とする。
前記色範囲は、オペレータにより手動で設定される
ことを特徴とする。
本発明の第１０の物体照合プログラムは、第９の物体照合プログラムにおいて、
前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする。
前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする。
本発明の第１１の物体照合プログラムは、第８の物体照合プログラムにおいて、
前記色範囲は、入力画像より自動的に決定される
ことを特徴とする。
前記色範囲は、入力画像より自動的に決定される
ことを特徴とする。
本発明の第１２の物体照合プログラムは、第１１の物体照合プログラムにおいて、
前記色分布決定処理は、
入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算処理と、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定処理と、
をコンピュータに実行させることを特徴とする。
前記色分布決定処理は、
入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算処理と、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定処理と、
をコンピュータに実行させることを特徴とする。
本発明の第１３の物体照合プログラムは、第１２の物体照合プログラムにおいて、
前記色分布決定処理は、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定処理と、
をコンピュータに実行させることを特徴とする。
前記色分布決定処理は、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定処理と、
をコンピュータに実行させることを特徴とする。
本発明の第１４の物体照合プログラムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２又は１３の物体照合プログラムにおいて、
前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
ことを特徴とする。
前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
ことを特徴とする。
本発明の第１５の物体照合プログラムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、又は１４の物体照合プログラムにおいて、前記色は、輝度であることを特徴とする。
本発明の第１６の物体照合プログラムは、第１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５の物体照合プログラムにおいて、
前記物体は、顔であることを特徴とする。
前記物体は、顔であることを特徴とする。
本発明の第１ないし第１６の物体照合プログラムは、磁気ディスク、半導体メモリその他のコンピュータ可読記録媒体に記録されて提供される。コンピュータ可読記録媒体に記録された物体照合プログラムは、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータに本発明の第１ないし第１６の物体照合方法における各手順を実行させる。
第１の効果は、姿勢や照明の異なる条件で撮影された様々な物体の画像に対し、特徴の安定した領域を重視した高精度な照合ができることにある。
その理由は、第１の実施の形態では、入力画像の色分布に基づき重み係数を決定し、３次元物体モデルからの比較画像の生成および入力画像との照合において、当該重み係数を用いた比較を行うというように構成されているためである。また、第２の実施の形態では、入力画像と参照画像の色分布に基づき重み係数を決定し、参照画像と入力画像との照合において当該重み係数を用いた比較を行うというように構成されているためである。
第２の効果は、記憶容量を節約し、かつ高速に実行できることにある。
その理由は、入力画像から所定の色範囲を推定するように構成されているためである。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１を参照すると、本発明の第１の実施の形態は、画像入力手段１０と、色分布決定手段２０と、重み係数決定手段３０と、加重３次元照合手段４０と、参照３次元物体モデル記憶部７０とから構成されている。さらに、前記加重３次元照合手段４０は、加重比較画像生成手段４５と、加重照合・姿勢選択手段５０と、姿勢候補決定手段６０と、照明変動空間生成手段７５とから構成されている。
これらの手段はそれぞれ概略つぎのように動作する。画像入力手段１０と、姿勢候補決定手段６０と、照明変動空間生成手段７５と、参照３次元物体モデル記憶部７０は、図１９に示した第１の従来技術における処理と同一の処理を行う。
色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、色分布を決定する。
重み係数決定手段３０は、色分布決定手段２０より得られる色分布を用いて、当該入力画像の色に対して、重み係数を決定する。
加重３次元照合手段４０は、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルを基に、画像入力手段１０より得られる入力画像に近い比較画像を、重み係数決定手段３０より得られる重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を当該重み係数を用いて求めることにより、最も類似度の高いモデル（人物）を探索する。より具体的には、加重比較画像生成手段４５は、画像入力手段１０より得られる入力画像、照明変動空間生成手段７５より得られる基底画像群、重み係数決定手段３０より得られる重み係数を用い、当該基底画像群の線形和による合成画像（比較画像）と当該入力画像との重み付き誤差が最小になるように、線形和の係数を求め、比較画像を生成する。加重照合・姿勢選択手段５０は、当該比較画像と当該入力画像との類似度を重み付きで計算する。そして、類似度の最も高くなる姿勢候補をモデル毎に選択し、最後に類似度の最も大きいモデルを照合結果とする。
さらに、図２を参照すると、前記色分布決定手段２０は、色頻度計算手段２１と、色分布推定手段２２と、分布妥当性判定手段２３とから構成されている。色頻度計算手段２１は、画像入力手段１０より得られる入力画像の各画素の色頻度（ヒストグラム）を求める。色分布推定手段２２は、当該ヒストグラムに対して、所定の色範囲の色分布を推定する。分布妥当性判定手段２３は、当該推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する。
次に、図１及び図３のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
まず、画像入力手段１０により入力画像が得られる（図３のステップ１００）。次に、色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、色分布を決定する（ステップ１１０）。さらに、重み係数決定手段３０は、色分布決定手段２０より得られる色分布を用いて、当該入力画像の色に対して、重み係数を決定する（ステップ１２０）。
加重３次元照合手段４０は、モデルｋ毎に最適な姿勢・照明条件による類似度を求めるため、初めにモデル番号ｋ＝１とする（ステップ１３０）。モデルｋ毎に、まず姿勢候補決定手段６０において、姿勢候補群｛e｝を決定する（ステップ１４０）。次に照明変動空間生成手段７５において、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルの基底テクスチャ群を、各姿勢候補eに基づき座標変換し、基底画像群を生成する（ステップ１４１）。加重比較画像生成手段４５は、画像入力手段１０より得られる入力画像、照明変動空間生成手段７５より得られる基底画像群、重み係数決定手段３０より得られる重み係数を用い、当該基底画像群の線形和による合成画像（比較画像）と当該入力画像との重み付き誤差が最小になるように、線形和の係数を求め、比較画像を生成する（ステップ１４２）。加重照合・姿勢選択手段５０は、当該比較画像と当該入力画像との類似度Ｓkeを重み付きで計算し（ステップ１４３）、当該類似度が最も高い姿勢候補を選択し、その類似度をＳkとする（ステップ１４４）。次に、モデル番号ｋを１増やし（ステップ１３１）、ｋがモデル数以下の場合は、ステップ１４０に戻り、次のモデルの類似度を計算する。最後に、類似度Ｓkの最も大きいモデルｋを照合結果とする（ステップ１５０）。
次に、図２及び図４のフローチャートを参照して色分布決定手段の動作について説明する。
まず、色頻度計算手段２１は、画像入力手段１０より得られる入力画像の各画素の色頻度（ヒストグラム）を求める（ステップ１１１）。次に、色分布推定手段２２は、当該ヒストグラムに対して、所定の色範囲の色分布を推定する（ステップ１１２）。最後に、分布妥当性判定手段２３は、当該推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する（ステップ１１３）。
次に、本実施の形態の効果について説明する。
本実施の形態では、入力画像の色分布に基づき重み係数を決定し、３次元物体モデルからの比較画像の生成および入力画像との照合において、当該重み係数を用いた比較を行うというように構成されているため、様々な姿勢・照明条件により撮影された顔画像に対して、特徴の安定した領域を重視した比較画像を生成できるとともに、高精度な照合ができる。また、本実施の形態では、入力画像から明暗部等の所定の色範囲を推定するように構成されているため、記憶容量を節約し、かつ高速に実行できる。
次に、具体的な実施例を用いて本実施の形態の動作を説明する。
ここでは、顔を例にとり説明するが、本発明は他の物体にも適用できる。また、所定の色範囲として明暗部を対象とするが、これに限るものではない。また、ここでは、入力画像は濃淡画像とし、Iは輝度を表すこととする。
図５に示すような入力画像I（ｒ）が画像入力手段１０により得られたとする（図２のステップ１００）。入力画像では、顔の鼻や頬の横の部分に陰影部が、目の下の部分にてかり部が存在する。
次に、色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、明暗部の色分布（輝度分布）を決定する（ステップ１１０）。輝度分布は、撮影環境によって明暗部の輝度が安定しているならば、予め手動で設定しておくことができる。撮影環境に応じて明暗部の輝度が不安定な場合は、図２に示す構成により自動的に輝度分布を推定することができる。まず、色頻度計算手段２１は、画像入力手段１０より得られる入力画像の各画素の輝度値の頻度（ヒストグラム）を求めると、例えば図６に示すようなヒストグラムが得られる（ステップ１１１）。次に、色分布推定手段２２は、当該ヒストグラムに対して、明部、暗部及びそれ以外の３つの輝度分布を推定する（ステップ１１２）。この分布推定は、例えばガウス分布や２項分布による混合分布モデルを仮定し、一般的に知られるＥＭアルゴリズムなどの手法により求めることができる。分布推定の結果は、例えば図７のようになり、各分布の平均値の小さい方から分布関数をｆ１（Ｉ），ｆ２（Ｉ），ｆ３（Ｉ）とすると、陰影部（暗部）の分布はｆ１（Ｉ）、てかり部（明部）の分布はｆ３（Ｉ）、その他の領域の分布はｆ２（Ｉ）となる。最後に、分布妥当性判定手段２３は、当該推定された輝度分布の平均や分散等を使用し明部・暗部の輝度分布として妥当であるか判定する（ステップ１１３）。例えば、分布の平均値は、陰影部では小さく、てかり部では大きい。また、分布の分散は、陰影部・てかり部とも小さい。これらの条件に対して、あるしきい値を設定して推定された分布関数ｆ１（Ｉ）及びｆ３（Ｉ）の平均・分散と比較することにより判定できる。妥当でないと判定された場合は、その他の領域の関数ｆ２（Ｉ）と統合される。
さらに、重み係数決定手段３０は、色分布決定手段２０より得られる明暗部の輝度分布ｆ１（Ｉ），ｆ２（Ｉ），ｆ３（Ｉ）を用いて、当該入力画像の各輝度Iに対して、重み係数Ｗ（I）を決定する（ステップ１２０）。各画素ｒに対する重み係数Ｗ’（ｒ）は、輝度Iに対する重み係数Ｗ（I）を用いて、Ｗ’（ｒ）＝Ｗ（Ｉ（ｒ））により求められる。輝度に対する重み係数は、例えば全分布に対する明暗部の分布を除いた分布の比率Ｗ（I）＝ｆ２（Ｉ）／Σb ｆｂ（Ｉ）により求めることができ、図８に示すようになる。さらに、図９に示すように、あるしきい値Ｔｗを設定し、Ｗ（I）＞ＴｗならＷ（I）＝１、それ以外ならＷ（I）＝０とするような二値化を行ってもよい。この場合、Ｗ（I（ｒ））＝０の画素は、対象領域から除外されることと同値である。また、明暗部の分布ｆ１（Ｉ），ｆ３（Ｉ）のみ用いて、重みを決定することもできる。例えば、分布が正規ガウス分布の場合、ｆ１（Ｉ）＝Ｎ（μ１，σ１ ２），ｆ３（Ｉ）＝Ｎ（μ３，σ３ ２）とすると、I0＝μ１＋α１σ１，I１＝μ３−α３σ３（α１，α３は範囲を制御するパラメータ）により、暗部の輝度範囲[０,I0]、明部の輝度範囲[I１,２５５]を求め、当該輝度範囲の重み係数をＷ（I）＝０，それ以外の範囲をＷ（I）＝１と設定できる。
加重３次元照合手段４０は、モデルｋ毎に最適な姿勢・照明条件による類似度を求めるため、初めにモデル番号ｋ＝１とする（ステップ１３０）。モデルｋ毎に、まず姿勢候補決定手段６０において、姿勢候補群｛e｝を決定する（ステップ１４０）。次に照明変動空間生成手段７５において、参照３次元物体モデル記憶部７０より得られる各３次元物体モデルの基底テクスチャ群｛Ｇki(Q)｝（ｉ=1,…,n）を、各姿勢候補eに基づき座標変換し、基底画像群｛Ｂkei(r)｝を生成する（ステップ１４１）。加重比較画像生成手段４５は、画像入力手段１０より得られる入力画像I（ｒ）、照明変動空間生成手段７５より得られる基底画像群｛Ｂkei(r)｝、重み係数決定手段３０より得られる重み係数Ｗ（I）を用い、当該基底画像群の線形和Ｃke(r)=Σi nＡiＢkei(r)による合成画像（比較画像）と当該入力画像との重み付き誤差ΣrＷ（I）|I(r)−Ｃke(r)|2が最小になるように、線形和の係数Ａiを求め、比較画像Ｃke(r)を生成する（ステップ１４２）。加重照合・姿勢選択手段５０は、当該比較画像Ｃke(r)と当該入力画像I（ｒ）との類似度Ｓkeを重み付きで計算し（ステップ１４３）、当該類似度が最も高い姿勢候補を選択し、その類似度をＳkとする（ステップ１４４）。類似度Ｓkeは、輝度値の最大をＩmax、画素数をＭとすると、例えばＳke＝１−ΣrＷ（I）|I(r)−Ｃke(r)|2／（Imax2 Ｍ）により求められる。次に、モデル番号ｋを１増やし（ステップ１３１）、ｋがモデル数以下の場合は、ステップ１４０に戻り、次のモデルの類似度を計算する。最後に、類似度Ｓkの最も大きいモデルｋを照合結果とする（ステップ１５０）。
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
図１０を参照すると、本発明の第２の実施の形態は、画像入力手段１０と、色分布決定手段２０と、重み係数決定手段３０と、加重照合手段５５と、参照画像記憶部８０と、参照重み係数記憶部３５とから構成されている。
これらの手段はそれぞれ概略つぎのように動作する。画像入力手段１０と、色分布決定手段２０と、重み係数決定手段３０は、図１に示した第１の実施の形態における処理と同一の処理を行う。参照画像記憶部８０には、様々な姿勢・照明条件により撮影された物体の参照画像が予め記憶されている。参照重み係数記憶部３５には、参照画像記憶部８０に記憶されている各参照画像の色の重み係数が予め記憶されている。当該参照画像の重み係数は、参照画像を画像入力手段１０に与え、色分布決定手段２０と重み係数決定手段３０により予め求めておく。
加重照合手段５５は、参照画像記憶部８０より得られる各参照画像と画像入力手段１０より得られる入力画像との類似度を、重み係数決定手段３０より得られる入力画像の重み係数と参照重み係数記憶部３５より得られる当該参照画像の重み係数を使用し計算する。そして、類似度の最も大きい参照画像（物体）を照合結果とする。
次に、図１０及び図１１のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
まず、画像入力手段１０により入力画像が得られる（図１１のステップ１００）。次に、色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、色分布を決定する（ステップ１１０）。さらに、重み係数決定手段３０は、色分布決定手段２０より得られる色分布を用いて、当該入力画像の色に対して、重み係数を決定する（ステップ１２０）。
加重照合手段５５は、初めにモデル番号ｋ＝１とする（ステップ１３０）。モデルｋ毎に、参照画像記憶部８０より得られる各参照画像Ｃke(r)（eはモデル毎に複数の画像が記憶されている場合の画像番号）と画像入力手段１０より得られる入力画像I（ｒ）との類似度Ｓkeを、重み係数決定手段３０より得られる入力画像の重み係数Ｗ（I）と参照重み係数記憶部３５より得られる当該参照画像の重み係数Ｗke（I）を使用し計算し（ステップ１４８）、当該類似度が最も高い画像を選択し、その類似度をＳkとする（ステップ１４４）。濃淡画像の場合は、類似度Ｓkeは、輝度値の最大をＩmax、画素数をＭとすると、例えばＳke＝１−ΣrＷ（I）Ｗke（Ｃ）|I(r)−Ｃke(r)|2／（Imax2 Ｍ）により求められる。次に、モデル番号ｋを１増やし（ステップ１３１）、ｋがモデル数以下の場合は、ステップ１４０に戻り、次のモデルの類似度を計算する。最後に、類似度Ｓkの最も大きいモデルｋ（参照画像）を照合結果とする（ステップ１５０）。
次に、本実施の形態の効果について説明する。
本実施の形態では、入力画像と参照画像の色分布に基づき重み係数を決定し、参照画像と入力画像との照合において当該重み係数を用いた比較を行うというように構成されているため、様々な姿勢・照明条件により撮影された顔画像に対して、特徴の安定した領域を重視した高精度な照合が高速に実行できる。
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
図１２を参照すると、本発明の第３の実施の形態は、画像入力手段１０と、色分布決定手段２０と、色補正手段９６と、照合手段５６と、参照画像記憶部８０とから構成されている。
これらの手段はそれぞれ概略つぎのように動作する。画像入力手段１０と、色分布決定手段２０は、図１に示した第１の実施の形態における処理と同一の処理を行う。照合手段５６は、図２１に示した第２の従来技術における処理と同一の処理を行う。参照画像記憶部８０は、図１０に示した第２の実施の形態における参照画像記憶部と同一である。
色補正手段９６は、色分布決定手段２０より得られる色分布を用いて、画像入力手段１０より得られる入力画像の画素の色を補正する。
次に、図１２及び図１３のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
まず、画像入力手段１０により入力画像が得られる（図１３のステップ１００）。次に、色分布決定手段２０は、画像入力手段１０より得られる入力画像に対して、色分布を決定する（ステップ１１０）。さらに、色補正手段９６は、色分布決定手段２０より得られる色分布を用いて、当該入力画像の画素の色を補正する（ステップ１２１）。例えば、色分布決定手段２０より図７のような色分布（輝度分布）が得られた場合、図１４に示すように、全色範囲を陰影部・てかり部を除いた色範囲に圧縮することにより色補正できる。より具体的には、輝度値の全範囲を［０，２５５］、陰影部・てかり部を除いた輝度値の範囲を［I0，I1］とすると、色補正された入力画像I’(r)は、I’(r)＝I(r)×（I1−I0）／２５５＋I0により計算できる。当該I0，I1は、陰影部・てかり部・その他の領域の分布関数をｆ1(I)、ｆ3(I)、ｆ2(I)とした場合、例えば、それぞれｆ1(I)＝ｆ2(I)、ｆ3(I)＝ｆ2(I)となる輝度値として計算できる。
照合手段５６は、初めにモデル番号ｋ＝１とする（ステップ１３０）。モデルｋ毎に、参照画像記憶部８０より得られる各参照画像Ｃke(r)（eはモデル毎に複数の画像が記憶されている場合の画像番号）と色補正手段９６より得られる色補正された入力画像I’(r)との類似度Ｓkeを計算し（ステップ１４９）、当該類似度が最も高い画像を選択し、その類似度をＳkとする（ステップ１４４）。濃淡画像の場合は、類似度Ｓkeは、輝度値の最大をＩmax、画素数をＭとすると、例えばＳke＝１−Σr|I’(r)−Ｃke(r)|2／（Imax2 Ｍ）により求められる。次に、モデル番号ｋを１増やし（ステップ１３１）、ｋがモデル数以下の場合は、ステップ１４０に戻り、次のモデルの類似度を計算する。最後に、類似度Ｓkの最も大きいモデルｋ（参照画像）を照合結果とする（ステップ１５０）。
次に、本実施の形態の効果について説明する。
本実施の形態では、入力画像の色分布に基づき各画素の色を補正し、参照画像と入力画像との照合を行うというように構成されているため、様々な姿勢・照明条件により撮影された顔画像に対して、特徴の安定した高精度な照合が高速に実行できる。
本発明の第１の実施の形態では、加重比較画像生成手段４５及び加重照合・姿勢選択手段５０において、それぞれ重み係数を使用し誤差や類似度を計算するとしたが、加重比較画像生成手段４５においては重み係数を使用せずに比較画像を求め（この場合は第１の従来技術の比較画像生成手段４６と同じ）、加重照合・姿勢選択手段５０においてのみ重み係数を用いた類似度計算をしても良い。
本発明の第２および第３の実施の形態では、参照画像記憶部８０には、様々な姿勢・照明条件により撮影された物体の参照画像が予め記憶されているとしたが、例えば顔の場合、正面顔のみに限定したり、各物体（モデル）あたり１つの参照画像のみが記憶されているとしても良い。また、陰影やてかりのない参照画像のみが記憶されているとしても良い。この場合は、各参照画像の重み係数はすべて１としてよいので、第２の実施の形態における参照重み係数記憶部３５は省略できる。また、参照画像の重み係数は予め参照重み係数記憶部３５に記憶していなくても、照合時に求めてもよい。
また、本発明の実施の形態では、色分布決定手段２０において、色分布を自動的に推定するとしたが、手動で設定してもよい。例えば、図１５に示すように、入力画像と当該入力画像を構成する色（輝度値）の存在範囲を表示する。次に、図１６に示すように、スライドバーを動かして陰影部の最大輝度値I0およびてかり部の最小輝度値I1を設定する。この際、表示している入力画像においても、指定された陰影部、てかり部の輝度値に対応する領域を表示する。最後に、指定された陰影部の輝度値範囲［０，I0］、てかり部の輝度値範囲［I1，２５５］、その他の輝度値範囲［I0，I1］のそれぞれにおいて、各分布関数ｆ1(I)、ｆ3(I)、ｆ2(I)を推定する。当該分布関数を用いれば、自動推定した場合と同様に、前記重み係数決定手段３０では、入力画像の輝度値の重み係数を決定できる。また、指定された輝度値範囲を用いて、陰影部およびてかり部の輝度値範囲の重み係数は０、その他の輝度値範囲の重み係数は１というように、直接重み係数を決定してもよい。また、各輝度値範囲の重み係数を手動で設定してもよい。例えば、図１７に示すように、てかり部の輝度値範囲をマウスでクリックする等の操作により指定すると、重み係数を指定するウィンドウｂが表示され、重み係数を指定できる。当該操作は、これに限るものではなく、重み係数が入力できれば他の操作でも構わない。
また、図１８に示すように、入力画像の一部の領域をマウス等で領域指定することにより、陰影部やてかり部の領域から例外的に除外される例外領域を指定してもよい。この場合、例えば、指定された例外領域の画素の重み係数は常に１とする。また、逆に陰影部やてかり部の領域をマウス等で領域指定してもよい。この場合、例えば、指定された例外領域の画素の重み係数は常に０とする。また、当該例外領域は、自動的に計算されてもよい。例えば、目や口の周辺を例外領域としたい場合、目や口の位置を自動検出することにより、自動的に領域指定できる。また、ある画素をマウス等で指定し、当該画素の近隣で当該画素との色の差が指定されたしきい値より小さい画素の領域を指定するようにしてもよい。
また、本発明の実施の形態では、入力画像に対応して陰影部・てかり部の色範囲は一意に決定するとしたが、色範囲に自動的に変動を加え、各色範囲候補において重み係数を決定し照合を行い、最も類似度の高くなる色範囲を選択するようにしてもよい。
本発明の実施の形態では、入力画像は濃淡画像としたが、カラー画像でもよい。この場合、輝度Iを例えばＲＧＢの３変数に置き換えれば良く、分布関数は３次元の関数として、同様に計算できる。
また、本発明の実施の形態では、明部（てかり部）と暗部（陰影部）の両方を推定するとしたが、いずれかだけでもよい。また、明部・暗部・その他の各分布関数は、それぞれ一つとしたが、複数個仮定してもよい。
また、本発明の実施の形態では、多数の３次元物体モデルまたは参照画像の中から入力画像と同一の物体（モデル）を検索する動作について説明したが、特定のモデルに対して入力画像と同一のモデルであるかを判定する一対一照合に適用することも可能である。この場合は、特定のモデルの３次元物体モデルまたは参照画像のみを用い、入力画像との類似度を求め、この類似度があるしきい値より大きければ、入力画像と同一モデルと判定できる。
本発明の物体照合システムは、構成要素である各手段の機能をハードウェア的に実現できることは勿論として、上記した各手段の機能を実行する物体照合プログラム（アプリケーション）をコンピュータ処理装置のメモリにロードしてコンピュータ処理装置を制御することで実現することができる。この物体照合プログラムは、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
以上のように、本発明にかかる物体照合システム及び方法は、人の顔その他の物体の照合システム及び方法として有用であり、特に照明によるてかり部（明部）や陰影部（暗部）の影響を受けずに顔などの物体の照合を行う場合に適している。
１０ 画像入力手段
２０ 色分布決定手段
２１ 色頻度計算手段
２２ 色分布推定手段
２３ 分布妥当性判定手段
３０ 重み係数決定手段
３５ 参照重み係数記憶部
４０ 加重３次元照合手段
４１ ３次元照合手段
４５ 加重比較画像生成手段
４６ 比較画像生成手段
４７ 合成画像生成手段
５０ 加重照合・姿勢選択手段
５１ 照合・姿勢選択手段
５５ 加重照合手段
５６ 照合手段
６０ 姿勢候補決定手段
７０ 参照３次元物体モデル記憶部
７２ ３次元物体モデル記憶部
７５ 照明変動空間生成手段
８０ 参照画像記憶部
８１ 記憶部
８５ 参照画像記憶部
８６ 平均画像記憶部
９０ 陰影除去手段
９１ 陰影有無判定手段
９５ 輝度補正手段
９６ 色補正手段
２０ 色分布決定手段
２１ 色頻度計算手段
２２ 色分布推定手段
２３ 分布妥当性判定手段
３０ 重み係数決定手段
３５ 参照重み係数記憶部
４０ 加重３次元照合手段
４１ ３次元照合手段
４５ 加重比較画像生成手段
４６ 比較画像生成手段
４７ 合成画像生成手段
５０ 加重照合・姿勢選択手段
５１ 照合・姿勢選択手段
５５ 加重照合手段
５６ 照合手段
６０ 姿勢候補決定手段
７０ 参照３次元物体モデル記憶部
７２ ３次元物体モデル記憶部
７５ 照明変動空間生成手段
８０ 参照画像記憶部
８１ 記憶部
８５ 参照画像記憶部
８６ 平均画像記憶部
９０ 陰影除去手段
９１ 陰影有無判定手段
９５ 輝度補正手段
９６ 色補正手段
Claims (48)
- 入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数決定手段より得られる重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
を備えたことを特徴とする物体照合システム。 - 入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の３次元物体モデルを予め記憶している参照３次元物体モデル記憶部と、
前記参照３次元物体モデル記憶部より得られる３次元物体モデルを基に、前記重み係数決定手段より得られる重み係数を用いて入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を当該重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合手段と、
を備えたことを特徴とする物体照合システム。 - 入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
を備えたことを特徴とする物体照合システム。 - 入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部に記憶されている参照画像の色に対する重み係数が予め記憶されている参照重み係数記憶部と、
前記参照画像記憶部より得られる参照画像と入力画像との類似度を、前記重み係数決定手段より得られる入力画像の重み係数と前記参照重み係数記憶部より得られる当該参照画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合手段と、
を備えたことを特徴とする物体照合システム。 - 入力画像に対して、色分布を決定する色分布決定手段と、
前記色分布決定手段より得られる色分布を用いて、入力画像の画素の色を補正する色補正手段と、
物体の参照画像が予め記憶されている参照画像記憶部と、
前記参照画像記憶部より得られる参照画像と前記色補正手段より得られる色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合手段と、
を備えたことを特徴とする物体照合システム。 - 前記色分布決定手段は、色分布の代わりに色範囲を決定し、
前記重み係数決定手段は、当該色範囲に対して重み係数を決定する
ことを特徴とする請求項１、２、３、又は４記載の物体照合システム。 - 前記色分布決定手段は、色分布の代わりに色範囲を決定し、
前記色補正手段は、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする請求項５記載の物体照合システム。 - 前記色分布決定手段は、所定の色範囲の色分布を決定する
ことを特徴とする請求項１、２、３、４、又は５記載の物体照合システム。 - 前記色範囲は、オペレータにより手動で設定される
ことを特徴とする請求項６、７、又は８記載の物体照合システム。 - 前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする請求項９記載の物体照合システム。 - 前記色範囲は、入力画像より自動的に決定される
ことを特徴とする請求項８記載の物体照合システム。 - 前記色分布決定手段は、
入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算手段と、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定手段と、
を備えたことを特徴とする請求項１１記載の物体照合システム。 - 前記色分布決定手段は、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定手段と、
を備えたことを特徴とする請求項１２記載の物体照合システム。 - 前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である
ことを特徴とする請求項１、２、３、４、５、６、７、８、９、１０、１１、１２又は１３記載の物体照合システム。 - 前記色は、輝度である、
ことを特徴とする請求項１、２、３、４、５、６、７、８、９、１０、１１、１２、１３又は１４記載の物体照合システム。 - 前記物体は、顔である、
ことを特徴とする請求項１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４又は１５記載の物体照合システム。 - 入力画像に対して、色分布を決定し、
当該色分布を用いて、入力画像の色に対して重み係数を決定し
物体の３次元物体モデルを予め記憶し、
当該３次元物体モデルを基に、前記入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
ことを特徴とする物体照合方法。 - 入力画像に対して、色分布を決定し、
当該色分布を用いて、入力画像の色に対して重み係数を決定し
物体の３次元物体モデルを予め記憶し、
当該３次元物体モデルを基に、前記入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する、
ことを特徴とする物体照合方法。 - 入力画像に対して、色分布を決定し、
当該色分布を用いて、入力画像の色に対して重み係数を決定し
物体の参照画像を予め記憶し、
前記参照画像と前記入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする物体照合方法。 - 入力画像に対して、色分布を決定し、
当該色分布を用いて、入力画像の色に対して重み係数を決定し
物体の参照画像を予め記憶し、
前記参照画像の色に対する重み係数を予め記憶し、
前記参照画像と前記入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする物体照合方法。 - 入力画像に対して、色分布を決定し、
当該色分布を用いて、入力画像の画素の色を補正し、
物体の参照画像を予め記憶し、
前記参照画像と前記色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する、
ことを特徴とする物体照合方法。 - 色分布の決定においては、色分布の代わりに色範囲を決定し、
重み係数の決定においては、当該色範囲に対して重み係数を決定する
ことを特徴とする請求項１７、１８、１９、又は２０記載の物体照合方法。 - 色分布の決定においては、色分布の代わりに色範囲を決定し、
色補正においては、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする請求項２１記載の物体照合方法。 - 色分布の決定においては、所定の色範囲の色分布を決定する
ことを特徴とする請求項１７、１８、１９、２０、又は２１記載の物体照合方法。 - 前記色範囲は、オペレータにより手動で設定される
ことを特徴とする請求項２２、２３、又は２４記載の物体照合方法。 - 前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする請求項２５記載の物体照合方法。 - 前記色範囲は、入力画像より自動的に決定される
ことを特徴とする請求項２４記載の物体照合方法。 - 色分布の決定においては、
入力画像の画素の色頻度（ヒストグラム）を求め、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する、
ことを特徴とする請求項２７記載の物体照合方法。 - 色分布の決定においては、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する、
ことを特徴とする請求項２８記載の物体照合方法。 - 前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である、
ことを特徴とする請求項１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、又は２９記載の物体照合方法。 - 前記色は、輝度である、
ことを特徴とする請求項１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、又は３０記載の物体照合方法。 - 前記物体は、顔である、
ことを特徴とする請求項１７、１８、１９、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、又は３１記載の物体照合方法。 - 入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の３次元物体モデルを予め記憶する処理と、
当該３次元物体モデルを基に、入力画像に近い比較画像を生成し、当該比較画像と当該入力画像の類似度を、前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
をコンピュータに実行させることを特徴とする物体照合プログラム。 - 入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の３次元物体モデルを予め記憶する処理と、
当該３次元物体モデルを基に、入力画像に近い比較画像を前記重み係数を用いて生成し、当該比較画像と当該入力画像の類似度を前記重み係数を用いて求めることにより、類似度の最も高いモデル（物体）を探索する加重３次元照合処理と、
をコンピュータに実行させることを特徴とする物体照合プログラム。 - 入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像と入力画像との類似度を、前記重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
をコンピュータに実行させることを特徴とする物体照合プログラム。 - 入力画像に対して、色分布を決定する明暗色決定処理と、
当該色分布を用いて、入力画像の色に対して重み係数を決定する重み係数決定処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像の色に対する重み係数を予め記憶する処理と、
前記参照画像と入力画像との類似度を、当該参照画像の重み係数と当該入力画像の重み係数を使用して計算し、類似度の最も大きい参照画像（物体）を探索する加重照合処理と、
をコンピュータに実行させることを特徴とする物体照合プログラム。 - 入力画像に対して、色分布を決定する色分布決定処理と、
当該色分布を用いて、入力画像の画素の色を補正する色補正処理と、
物体の参照画像を予め記憶する処理と、
前記参照画像と色補正された入力画像との類似度を計算し、類似度の最も大きい参照画像（物体）を探索する照合処理と、
をコンピュータに実行させることを特徴とする物体照合プログラム。 - 前記色分布決定処理は、色分布の代わりに色範囲を決定し、
前記重み係数決定処理は、当該色範囲に対して重み係数を決定する
ことを特徴とする請求項３３、３４、３５、又は３６記載の物体照合プログラム。 - 前記色分布決定処理は、色分布の代わりに色範囲を決定し、
前記色補正処理は、当該色範囲における入力画像の画素の色を補正する
ことを特徴とする請求項３７記載の物体照合プログラム。 - 前記色分布決定処理は、所定の色範囲の色分布を決定する
ことを特徴とする請求項３３、３４、３５、３６、又は３７記載の物体照合プログラム。 - 前記色範囲は、オペレータにより手動で設定される
ことを特徴とする請求項３８、３９、又は４０記載の物体照合プログラム。 - 前記色範囲は、入力画像と色範囲を表示し、オペレータが入力手段を操作することにより、手動で設定される、
ことを特徴とする請求項４１記載の物体照合プログラム。 - 前記色範囲は、入力画像より自動的に決定される
ことを特徴とする請求項４０記載の物体照合プログラム。 - 前記色分布決定処理は、
入力画像の画素の色頻度（ヒストグラム）を求める色頻度計算処理と、
当該ヒストグラムに対して、所定の色範囲の色分布を推定する色分布推定処理と、
を備えたことを特徴とする請求項４３記載の物体照合プログラム。 - 前記色分布決定処理は、さらに
推定された色分布が妥当であるか判定し、妥当でない場合は色分布の統合を行い補正する分布妥当性判定処理と、
を備えたことを特徴とする請求項４４記載の物体照合プログラム。 - 前記色範囲は、明部（てかり部）・暗部（陰影部）のいずれかまたは両方、及びそれ以外の色範囲である
ことを特徴とする請求項３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４又は４５記載の物体照合プログラム。 - 前記色は、輝度である、
ことを特徴とする請求項３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４、４５又は４６記載の物体照合プログラム。 - 前記物体は、顔である、
ことを特徴とする請求項３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４、４５、４６又は４７記載の物体照合プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003272787A JP2004054947A (ja) | 2002-07-16 | 2003-07-10 | 物体照合システム、物体照合方法および物体照合プログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002207021 | 2002-07-16 | ||
| JP2003272787A JP2004054947A (ja) | 2002-07-16 | 2003-07-10 | 物体照合システム、物体照合方法および物体照合プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004054947A true JP2004054947A (ja) | 2004-02-19 |
Family
ID=31949489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003272787A Pending JP2004054947A (ja) | 2002-07-16 | 2003-07-10 | 物体照合システム、物体照合方法および物体照合プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004054947A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006049147A1 (ja) * | 2004-11-04 | 2006-05-11 | Nec Corporation | 三次元形状推定システム及び画像生成システム |
| WO2006129791A1 (ja) * | 2005-06-03 | 2006-12-07 | Nec Corporation | 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム |
| US7203362B2 (en) | 2004-07-26 | 2007-04-10 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing apparatus, and image processing program |
| WO2007108041A1 (ja) * | 2006-03-15 | 2007-09-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム |
| JP2008016054A (ja) * | 2004-11-04 | 2008-01-24 | Nec Corp | 三次元形状推定システム及び画像生成システム |
| US7340098B2 (en) | 2006-03-15 | 2008-03-04 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for image conversion |
| JP2009211388A (ja) * | 2008-03-04 | 2009-09-17 | Kddi Corp | コンテンツ識別装置 |
| JP2010097610A (ja) * | 2008-10-16 | 2010-04-30 | Xerox Corp | 複数の画像モデルの混合としての画像のモデリング |
| US7986813B2 (en) | 2004-03-03 | 2011-07-26 | Nec Corporation | Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor |
| JP2011210114A (ja) * | 2010-03-30 | 2011-10-20 | Secom Co Ltd | 顔画像処理装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63200279A (ja) * | 1987-02-16 | 1988-08-18 | Sumitomo Heavy Ind Ltd | 色合判定装置 |
| JPH0799589A (ja) * | 1993-05-21 | 1995-04-11 | Mitsubishi Electric Corp | カラー画像装置及びカラー画像調整方法 |
| JP2000261650A (ja) * | 1999-03-05 | 2000-09-22 | Toshiba Corp | 画像処理装置 |
| JP2001202516A (ja) * | 2000-01-19 | 2001-07-27 | Victor Co Of Japan Ltd | 個人識別装置 |
| JP2001283222A (ja) * | 2000-03-30 | 2001-10-12 | Nec Corp | ２次元画像をデータベース内の複数の３次元候補モデルの１つと照合する方法 |
-
2003
- 2003-07-10 JP JP2003272787A patent/JP2004054947A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63200279A (ja) * | 1987-02-16 | 1988-08-18 | Sumitomo Heavy Ind Ltd | 色合判定装置 |
| JPH0799589A (ja) * | 1993-05-21 | 1995-04-11 | Mitsubishi Electric Corp | カラー画像装置及びカラー画像調整方法 |
| JP2000261650A (ja) * | 1999-03-05 | 2000-09-22 | Toshiba Corp | 画像処理装置 |
| JP2001202516A (ja) * | 2000-01-19 | 2001-07-27 | Victor Co Of Japan Ltd | 個人識別装置 |
| JP2001283222A (ja) * | 2000-03-30 | 2001-10-12 | Nec Corp | ２次元画像をデータベース内の複数の３次元候補モデルの１つと照合する方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7986813B2 (en) | 2004-03-03 | 2011-07-26 | Nec Corporation | Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor |
| US7236630B2 (en) | 2004-07-26 | 2007-06-26 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing apparatus, and image processing program |
| US7203362B2 (en) | 2004-07-26 | 2007-04-10 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing apparatus, and image processing program |
| US7860340B2 (en) | 2004-11-04 | 2010-12-28 | Nec Corporation | Three-dimensional shape estimation system and image generation system |
| JP2008016054A (ja) * | 2004-11-04 | 2008-01-24 | Nec Corp | 三次元形状推定システム及び画像生成システム |
| WO2006049147A1 (ja) * | 2004-11-04 | 2006-05-11 | Nec Corporation | 三次元形状推定システム及び画像生成システム |
| JP4623320B2 (ja) * | 2004-11-04 | 2011-02-02 | 日本電気株式会社 | 三次元形状推定システム及び画像生成システム |
| WO2006129791A1 (ja) * | 2005-06-03 | 2006-12-07 | Nec Corporation | 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム |
| JP4793698B2 (ja) * | 2005-06-03 | 2011-10-12 | 日本電気株式会社 | 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム |
| US8320660B2 (en) | 2005-06-03 | 2012-11-27 | Nec Corporation | Image processing system, 3-dimensional shape estimation system, object position/posture estimation system and image generation system |
| WO2007108041A1 (ja) * | 2006-03-15 | 2007-09-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム |
| US7340098B2 (en) | 2006-03-15 | 2008-03-04 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for image conversion |
| JP2009211388A (ja) * | 2008-03-04 | 2009-09-17 | Kddi Corp | コンテンツ識別装置 |
| JP2010097610A (ja) * | 2008-10-16 | 2010-04-30 | Xerox Corp | 複数の画像モデルの混合としての画像のモデリング |
| JP2011210114A (ja) * | 2010-03-30 | 2011-10-20 | Secom Co Ltd | 顔画像処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7986813B2 (en) | Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor | |
| JP4556873B2 (ja) | 画像照合システム及び画像照合方法 | |
| JP4793698B2 (ja) | 画像処理システム、３次元形状推定システム、物体位置姿勢推定システム及び画像生成システム | |
| JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
| JP4553141B2 (ja) | 重み情報を用いた物体姿勢推定・照合システム | |
| JP4573085B2 (ja) | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム | |
| CN111462207A (zh) | 一种融合直接法与特征法的rgb-d同时定位与地图创建方法 | |
| US20040190775A1 (en) | Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery | |
| JP2001283222A (ja) | ２次元画像をデータベース内の複数の３次元候補モデルの１つと照合する方法 | |
| GB2512460A (en) | Position and orientation measuring apparatus, information processing apparatus and information processing method | |
| US6621924B1 (en) | Contour extraction apparatus, a method thereof, and a program recording medium | |
| JP2004054947A (ja) | 物体照合システム、物体照合方法および物体照合プログラム | |
| JP4393962B2 (ja) | 光源推定システムおよびプログラム | |
| Paterson et al. | 3D head tracking using non-linear optimization. | |
| US11967107B2 (en) | Information processing apparatus and method of estimating position and orientation of image capturing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070313 |