JP2000357221A - 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 - Google Patents
画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体Info
- Publication number
- JP2000357221A JP2000357221A JP11168690A JP16869099A JP2000357221A JP 2000357221 A JP2000357221 A JP 2000357221A JP 11168690 A JP11168690 A JP 11168690A JP 16869099 A JP16869099 A JP 16869099A JP 2000357221 A JP2000357221 A JP 2000357221A
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- feature
- parameter
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 入力された画像から撮影条件の違いを取除く
こと。 【解決手段】 画像入力部１０１で入力された顔画像の
特徴点における座標と顔画像のテキスチャの濃度値が特
徴点データ入力部１１１で入力され、顔画像の奥行き方
向の傾き量が傾き量入力部１１３で入力される。画像空
間構成部１１５は、入力された複数の顔画像の特徴デー
タと傾き量とに基づき、主成分分析を行なうことにより
画像空間を構成する。画像合成部は、画像空間でパラメ
ータを変更することにより、さまざまな表情の顔画像を
合成する。画像認識部は、画像入力部１０１で入力され
た顔画像の画像空間における特徴パラメータを、記憶部
１０３に記憶されている顔画像の画像空間におけるパラ
メータと比較することにより、同一人物か否かを判断す
る。
こと。 【解決手段】 画像入力部１０１で入力された顔画像の
特徴点における座標と顔画像のテキスチャの濃度値が特
徴点データ入力部１１１で入力され、顔画像の奥行き方
向の傾き量が傾き量入力部１１３で入力される。画像空
間構成部１１５は、入力された複数の顔画像の特徴デー
タと傾き量とに基づき、主成分分析を行なうことにより
画像空間を構成する。画像合成部は、画像空間でパラメ
ータを変更することにより、さまざまな表情の顔画像を
合成する。画像認識部は、画像入力部１０１で入力され
た顔画像の画像空間における特徴パラメータを、記憶部
１０３に記憶されている顔画像の画像空間におけるパラ
メータと比較することにより、同一人物か否かを判断す
る。
Description
【０００１】
【発明の属する技術分野】この発明は、画像処理装置お
よび画像処理方法、ならびに画像処理プログラムを記録
した記録媒体に関し、顔画像の撮影条件の違いを考慮し
たＡＡＭ（ActiveAppearance Model ）モデルを用いた
画像処理装置および画像処理方法、ならびに画像処理プ
ログラムを記録した記録媒体に関する。
よび画像処理方法、ならびに画像処理プログラムを記録
した記録媒体に関し、顔画像の撮影条件の違いを考慮し
たＡＡＭ（ActiveAppearance Model ）モデルを用いた
画像処理装置および画像処理方法、ならびに画像処理プ
ログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】３次元形状を用いることなく、多くの顔
画像を統計的に解析することにより自然な顔画像を合成
する手法として、マンチェスター大学のコートらが提案
したＡＡＭ（Active Appearance Model ）モデルを用い
る方法がある。ＡＡＭモデルを用いる方法は、大量の２
次元の顔画像中から顔の部位ごとに定められた特徴点の
位置と濃度値等から形状（shape ）情報とテキスチャ情
報とを抽出し、抽出した複数の形状情報とテキスチャ情
報とにそれぞれ主成分分析を行ない、形状や表情の変化
に対応した正規直交座標系（画像空間）を求める。そし
て、求めた画像空間のそれぞれの座標軸に沿ってパラメ
ータを変化させることにより、顔画像を合成するもので
ある。また、ＡＡＭモデルを画像認識方法として用いる
場合には、先に求めた画像空間内でパラメータを動かし
て画像を合成し、認識の対象となる顔画像との差が最も
小さくなるときの合成された画像のパラメータを求め
る。そして、求めたパラメータで予め登録されている顔
画像の特徴ベクトルとの距離を測ることにより、一致し
た画像か否かを認識する。
画像を統計的に解析することにより自然な顔画像を合成
する手法として、マンチェスター大学のコートらが提案
したＡＡＭ（Active Appearance Model ）モデルを用い
る方法がある。ＡＡＭモデルを用いる方法は、大量の２
次元の顔画像中から顔の部位ごとに定められた特徴点の
位置と濃度値等から形状（shape ）情報とテキスチャ情
報とを抽出し、抽出した複数の形状情報とテキスチャ情
報とにそれぞれ主成分分析を行ない、形状や表情の変化
に対応した正規直交座標系（画像空間）を求める。そし
て、求めた画像空間のそれぞれの座標軸に沿ってパラメ
ータを変化させることにより、顔画像を合成するもので
ある。また、ＡＡＭモデルを画像認識方法として用いる
場合には、先に求めた画像空間内でパラメータを動かし
て画像を合成し、認識の対象となる顔画像との差が最も
小さくなるときの合成された画像のパラメータを求め
る。そして、求めたパラメータで予め登録されている顔
画像の特徴ベクトルとの距離を測ることにより、一致し
た画像か否かを認識する。
【０００３】一方、特開平６−１６８３１７号公報に
は、顔の傾きを考慮した個人識別装置が記載されてい
る。この個人識別装置では、顔画像の特徴点の位置情報
を得て、得られた位置情報および基準顔モデルの奥行き
情報とをもとに、左右方向の回転角を求める。得られた
回転角および奥行き情報から特徴点の位置情報を回転角
がなくなるように補正し、補正後の特徴点を用いて個人
識別処理を行なう。この個人識別装置では、予め登録さ
れている顔画像と入力された顔画像との間に左右方向
（首を水平に回転する方向）に回転した違いがある場合
であっても、入力された顔画像の認識率の低下を防ぐこ
とができるものである。
は、顔の傾きを考慮した個人識別装置が記載されてい
る。この個人識別装置では、顔画像の特徴点の位置情報
を得て、得られた位置情報および基準顔モデルの奥行き
情報とをもとに、左右方向の回転角を求める。得られた
回転角および奥行き情報から特徴点の位置情報を回転角
がなくなるように補正し、補正後の特徴点を用いて個人
識別処理を行なう。この個人識別装置では、予め登録さ
れている顔画像と入力された顔画像との間に左右方向
（首を水平に回転する方向）に回転した違いがある場合
であっても、入力された顔画像の認識率の低下を防ぐこ
とができるものである。
【０００４】
【発明が解決しようとする課題】上述のＡＡＭモデルで
は、２次元画像を用いる。特に、形状情報は、顔の部位
ごとに定められる特徴点の２次元座標とされるため、抽
出される形状情報からは２次元の顔画像が正面を向いて
いる顔なのか、上方向を向いている顔なのか、または下
方向を向いている顔なのかといった顔画像の奥行き方向
の傾きの違いを区別できないといった問題があった。顔
画像の奥行き方向の区別ができないと、たとえば、もと
もと額が広い人が上を向いた状態の２次元の顔画像は、
額が狭く表わされるため、２次元の顔画像から抽出され
る形状情報は額の狭い人の形状を表わすことになってし
まう。
は、２次元画像を用いる。特に、形状情報は、顔の部位
ごとに定められる特徴点の２次元座標とされるため、抽
出される形状情報からは２次元の顔画像が正面を向いて
いる顔なのか、上方向を向いている顔なのか、または下
方向を向いている顔なのかといった顔画像の奥行き方向
の傾きの違いを区別できないといった問題があった。顔
画像の奥行き方向の区別ができないと、たとえば、もと
もと額が広い人が上を向いた状態の２次元の顔画像は、
額が狭く表わされるため、２次元の顔画像から抽出され
る形状情報は額の狭い人の形状を表わすことになってし
まう。
【０００５】また、特開平６−１６８３１７号公報に記
載の技術は、画像認識において、顔の左右方向の回転角
の違いに対応できるけれども、上下方向の回転、換言す
れば奥行き方向の傾きには対応できないといった問題が
ある。
載の技術は、画像認識において、顔の左右方向の回転角
の違いに対応できるけれども、上下方向の回転、換言す
れば奥行き方向の傾きには対応できないといった問題が
ある。
【０００６】さらに、暗い場所で撮影して得られる画像
と明るい場所で撮影して得られる画像とでは、被写体が
同一物であっても画像中では色が異なった被写体像とし
て表わされてしまう。この照明条件の違いを取り除くた
め、従来は明るさの正規化を行なっていた。しかし、そ
れによって肌の色の違いが区別できなくなり、例えば国
籍の相違から生じる顔特徴の傾向を抽出できないという
問題がある。
と明るい場所で撮影して得られる画像とでは、被写体が
同一物であっても画像中では色が異なった被写体像とし
て表わされてしまう。この照明条件の違いを取り除くた
め、従来は明るさの正規化を行なっていた。しかし、そ
れによって肌の色の違いが区別できなくなり、例えば国
籍の相違から生じる顔特徴の傾向を抽出できないという
問題がある。
【０００７】この発明は上述の問題点を解決するために
なされたもので、入力された画像から撮影条件の違いを
取除くことが可能な画像処理装置および画像処理方法な
らびに画像処理プログラムを記録した記録媒体を提供す
ることを目的とする。
なされたもので、入力された画像から撮影条件の違いを
取除くことが可能な画像処理装置および画像処理方法な
らびに画像処理プログラムを記録した記録媒体を提供す
ることを目的とする。
【０００８】この発明の他の目的は、入力された画像か
ら撮影条件の違いを取除いた被写体像を画像合成するこ
とが可能な画像処理装置および画像処理方法ならびに画
像処理プログラムを記録した記録媒体を提供することを
目的とする。
ら撮影条件の違いを取除いた被写体像を画像合成するこ
とが可能な画像処理装置および画像処理方法ならびに画
像処理プログラムを記録した記録媒体を提供することを
目的とする。
【０００９】この発明のさらに他の目的は、撮影条件の
違いにより異なる被写体像を、同一の被写体像として認
識することが可能な画像処理装置および画像処理方法な
らびに画像処理プログラムを記録した記録媒体を提供す
ることを目的とする。
違いにより異なる被写体像を、同一の被写体像として認
識することが可能な画像処理装置および画像処理方法な
らびに画像処理プログラムを記録した記録媒体を提供す
ることを目的とする。
【００１０】
【課題を解決するための手段】上述の目的を達成するた
めにこの発明のある局面に従うと、画像処理装置は、入
力された画像に含まれる被写体像が有する特徴量を入力
するための特徴量入力手段と、入力された画像を撮影し
た撮影条件を入力するための撮影条件入力手段と、特徴
量入力手段と撮影条件入力手段とでそれぞれ入力された
複数の被写体像についての特徴量と撮影条件とに統計的
手法を施して画像空間を求める画像空間構成手段とを備
える。
めにこの発明のある局面に従うと、画像処理装置は、入
力された画像に含まれる被写体像が有する特徴量を入力
するための特徴量入力手段と、入力された画像を撮影し
た撮影条件を入力するための撮影条件入力手段と、特徴
量入力手段と撮影条件入力手段とでそれぞれ入力された
複数の被写体像についての特徴量と撮影条件とに統計的
手法を施して画像空間を求める画像空間構成手段とを備
える。
【００１１】好ましくは画像処理装置の特徴量入力手段
で入力する特徴量は、被写体像の形状を特定するための
複数の座標値を含むことを特徴とする。
で入力する特徴量は、被写体像の形状を特定するための
複数の座標値を含むことを特徴とする。
【００１２】好ましくは画像処理装置の特徴量入力手段
で入力する特徴量は、被写体像が有する複数のテキスチ
ャの濃度値を含むことを特徴とする。
で入力する特徴量は、被写体像が有する複数のテキスチ
ャの濃度値を含むことを特徴とする。
【００１３】好ましくは画像処理装置の撮影条件入力手
段で入力する撮影条件は、撮影時の照明の明るさを含む
ことを特徴とする。
段で入力する撮影条件は、撮影時の照明の明るさを含む
ことを特徴とする。
【００１４】好ましくは画像処理装置の撮影条件入力手
段で入力する撮影条件は、入力された画像に含まれる被
写体像の奥行き方向の傾きを含むことを特徴とする。
段で入力する撮影条件は、入力された画像に含まれる被
写体像の奥行き方向の傾きを含むことを特徴とする。
【００１５】これらの発明に従うと、入力された画像か
ら撮影条件の違いを取除くことが可能な画像処理装置を
提供することができる。
ら撮影条件の違いを取除くことが可能な画像処理装置を
提供することができる。
【００１６】この発明の他の局面に従うと、画像処理装
置は、画像に含まれる被写体像が有する特徴量と画像を
撮影した撮影条件とに基づき作成された画像空間を記憶
するための記憶手段と、画像空間におけるパラメータを
入力するためのパラメータ入力手段と、パラメータ入力
手段で入力されたパラメータに基づき画像を合成する画
像合成手段とを備える。
置は、画像に含まれる被写体像が有する特徴量と画像を
撮影した撮影条件とに基づき作成された画像空間を記憶
するための記憶手段と、画像空間におけるパラメータを
入力するためのパラメータ入力手段と、パラメータ入力
手段で入力されたパラメータに基づき画像を合成する画
像合成手段とを備える。
【００１７】好ましくは画像処理装置のパラメータ入力
手段は、入力された画像と画像空間でパラメータを動か
し合成した画像との差が最小となるパラメータを自動抽
出するパラメータ最適化手段を含むことを特徴とする。
手段は、入力された画像と画像空間でパラメータを動か
し合成した画像との差が最小となるパラメータを自動抽
出するパラメータ最適化手段を含むことを特徴とする。
【００１８】好ましくは画像処理装置のパラメータ入力
手段は、特徴量入力手段で入力された特徴量と撮影条件
入力手段で入力された撮影条件とを画像空間に射影して
パラメータを求める射影手段を含むことを特徴とする。
手段は、特徴量入力手段で入力された特徴量と撮影条件
入力手段で入力された撮影条件とを画像空間に射影して
パラメータを求める射影手段を含むことを特徴とする。
【００１９】これらの発明に従うと、入力された画像か
ら撮影条件の違いを取除いた被写体像を画像合成するこ
とが可能な画像処理装置を提供することができる。
ら撮影条件の違いを取除いた被写体像を画像合成するこ
とが可能な画像処理装置を提供することができる。
【００２０】この発明のさらに他の局面に従うと、画像
処理装置は、画像に含まれる被写体像が有する特徴量と
画像を撮影した撮影条件に基づき作成された画像空間を
記憶するための第１の記憶手段と、入力された画像に含
まれる第１の被写体像と画像空間でパラメータを動かし
合成した画像との差が最小となる第１のパラメータを自
動抽出するパラメータ最適化手段と、複数の第２の被写
体像を、それぞれ画像空間における第２のパラメータと
対応づけて記憶する第２の記憶手段と、第１のパラメー
タを第２のパラメータと比較して、複数の第２の被写体
像から所望の被写体像を選択する選択手段とを備える。
処理装置は、画像に含まれる被写体像が有する特徴量と
画像を撮影した撮影条件に基づき作成された画像空間を
記憶するための第１の記憶手段と、入力された画像に含
まれる第１の被写体像と画像空間でパラメータを動かし
合成した画像との差が最小となる第１のパラメータを自
動抽出するパラメータ最適化手段と、複数の第２の被写
体像を、それぞれ画像空間における第２のパラメータと
対応づけて記憶する第２の記憶手段と、第１のパラメー
タを第２のパラメータと比較して、複数の第２の被写体
像から所望の被写体像を選択する選択手段とを備える。
【００２１】この発明に従うと、撮影条件の違いにより
異なる被写体像を同一の被写体像として認識することが
可能な画像処理装置を提供することができる。
異なる被写体像を同一の被写体像として認識することが
可能な画像処理装置を提供することができる。
【００２２】この発明のさらに他の局面に従うと、画像
処理方法は、入力された画像に含まれる被写体像が有す
る特徴量を入力するための特徴量入力ステップと、入力
された画像を撮影した撮影条件を入力するための撮影条
件入力ステップと、特徴量入力ステップと撮影条件入力
ステップとでそれぞれ入力された複数の被写体像につい
ての特徴量と撮影条件とに統計的手法を施して画像空間
を求める画像空間構成ステップとを含む。
処理方法は、入力された画像に含まれる被写体像が有す
る特徴量を入力するための特徴量入力ステップと、入力
された画像を撮影した撮影条件を入力するための撮影条
件入力ステップと、特徴量入力ステップと撮影条件入力
ステップとでそれぞれ入力された複数の被写体像につい
ての特徴量と撮影条件とに統計的手法を施して画像空間
を求める画像空間構成ステップとを含む。
【００２３】この発明のさらに他の局面に従うと画像処
理プログラムを記録した記録媒体は、入力された画像に
含まれる被写体像が有する特徴量を入力するための特徴
量入力ステップと、入力された画像を撮影した撮影条件
を入力するための撮影条件入力ステップと、特徴量入力
ステップと撮影条件入力ステップとでそれぞれ入力され
た複数の被写体像についての特徴量と撮影条件とに統計
的手法を施して画像空間を求める画像空間構成ステップ
とをコンピュータに実行させるための画像処理プログラ
ムを記録する。
理プログラムを記録した記録媒体は、入力された画像に
含まれる被写体像が有する特徴量を入力するための特徴
量入力ステップと、入力された画像を撮影した撮影条件
を入力するための撮影条件入力ステップと、特徴量入力
ステップと撮影条件入力ステップとでそれぞれ入力され
た複数の被写体像についての特徴量と撮影条件とに統計
的手法を施して画像空間を求める画像空間構成ステップ
とをコンピュータに実行させるための画像処理プログラ
ムを記録する。
【００２４】これらの発明に従うと、入力された画像か
ら撮影条件の違いを取除くことが可能な画像処理方法お
よび画像処理プログラムを記録した記録媒体を提供する
ことができる。
ら撮影条件の違いを取除くことが可能な画像処理方法お
よび画像処理プログラムを記録した記録媒体を提供する
ことができる。
【００２５】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。なお、図中同一符号は同一
または相当する部材を示す。
て図面を参照して説明する。なお、図中同一符号は同一
または相当する部材を示す。
【００２６】［第１の実施の形態］図１は、第１の実施
の形態における画像処理装置のハード構成を示すブロッ
ク図である。図を参照して、画像処理装置は、制御部１
００と、人の顔の画像を入力するための画像入力部１０
１と、装置の使用者がデータや種々の指示を入力するた
めの操作部１０２と、制御部１００で実行するプログラ
ムを記録したり、制御部でプログラムを実行するために
必要な情報等を記憶するための記憶部１０３と、画像を
出力するための出力部１０４と、外部記憶装置１０５と
を含む。
の形態における画像処理装置のハード構成を示すブロッ
ク図である。図を参照して、画像処理装置は、制御部１
００と、人の顔の画像を入力するための画像入力部１０
１と、装置の使用者がデータや種々の指示を入力するた
めの操作部１０２と、制御部１００で実行するプログラ
ムを記録したり、制御部でプログラムを実行するために
必要な情報等を記憶するための記憶部１０３と、画像を
出力するための出力部１０４と、外部記憶装置１０５と
を含む。
【００２７】制御部１００は、中央演算装置（ＣＰＵ）
であり、画像処理装置の全体を制御する。画像入力部１
０１は、イメージスキャナであり、ライン型のＣＣＤセ
ンサを有し、顔が撮影された写真等を読込み、２次元の
顔画像データを出力する。なお、実際の人物を撮影して
２次元の顔画像を出力することができるデジタルカメラ
等を用いることもできる。さらに、外部のイメージスキ
ャナやデジタルカメラ等と接続するための入力端子であ
ってもよい。
であり、画像処理装置の全体を制御する。画像入力部１
０１は、イメージスキャナであり、ライン型のＣＣＤセ
ンサを有し、顔が撮影された写真等を読込み、２次元の
顔画像データを出力する。なお、実際の人物を撮影して
２次元の顔画像を出力することができるデジタルカメラ
等を用いることもできる。さらに、外部のイメージスキ
ャナやデジタルカメラ等と接続するための入力端子であ
ってもよい。
【００２８】記憶部１０３は、制御部１００で実行する
ためのプログラムを記憶するＲＯＭと、制御部１００で
プログラムを実行するのに必要な変数等を一時記憶する
ためのＲＡＭと、種々のデータを記憶するためのハード
ディスク等からなる。
ためのプログラムを記憶するＲＯＭと、制御部１００で
プログラムを実行するのに必要な変数等を一時記憶する
ためのＲＡＭと、種々のデータを記憶するためのハード
ディスク等からなる。
【００２９】出力部１０４は、画像入力部１０１で入力
された画像や画像処理された後の画像を表示するための
ディスプレイである。また、ディスプレイとともにプリ
ンタを用いてもよい。
された画像や画像処理された後の画像を表示するための
ディスプレイである。また、ディスプレイとともにプリ
ンタを用いてもよい。
【００３０】外部記憶装置１０５は、記録媒体１０６に
記録された制御部１００で実行するためのプログラムや
２次元の顔画像データ等を読込みするための光磁気ディ
スクドライブまたは、デジタルビデオディスクドライブ
である。また、制御部１００で画像合成処理を行なった
後の合成された顔画像や、画像認識結果を記録媒体１０
６に書込むことができる。
記録された制御部１００で実行するためのプログラムや
２次元の顔画像データ等を読込みするための光磁気ディ
スクドライブまたは、デジタルビデオディスクドライブ
である。また、制御部１００で画像合成処理を行なった
後の合成された顔画像や、画像認識結果を記録媒体１０
６に書込むことができる。
【００３１】図２は、第１の実施の形態における画像処
理装置の画像空間構成機能の概要を示す機能ブロック図
である。画像処理装置は、画像入力部１０１で入力され
た２次元の顔画像の特徴点のデータを入力するための特
徴データ入力部１１１と、２次元の顔画像の奥行き方向
の傾き量を入力するための傾き量入力部１１３と、特徴
データ入力部１１１と傾き量入力部１１３とで入力され
た特徴データと傾き量とをもとに主成分分析を行なうこ
とにより、基底ベクトルで表わされる画像空間を生成す
るための画像空間構成部１１５とを含む。画像空間構成
部１１５で生成された画像空間の基底ベクトルは、記憶
部１０３に記憶される。また、画像入力部１０１で入力
され、画像空間の生成に用いられた顔画像は、画像空間
におけるパラメータとともに記憶部１０３に記憶され
る。
理装置の画像空間構成機能の概要を示す機能ブロック図
である。画像処理装置は、画像入力部１０１で入力され
た２次元の顔画像の特徴点のデータを入力するための特
徴データ入力部１１１と、２次元の顔画像の奥行き方向
の傾き量を入力するための傾き量入力部１１３と、特徴
データ入力部１１１と傾き量入力部１１３とで入力され
た特徴データと傾き量とをもとに主成分分析を行なうこ
とにより、基底ベクトルで表わされる画像空間を生成す
るための画像空間構成部１１５とを含む。画像空間構成
部１１５で生成された画像空間の基底ベクトルは、記憶
部１０３に記憶される。また、画像入力部１０１で入力
され、画像空間の生成に用いられた顔画像は、画像空間
におけるパラメータとともに記憶部１０３に記憶され
る。
【００３２】特徴データ入力部１１１では、画像入力部
１０１で入力された顔画像の顔の輪郭や目、鼻または口
の輪郭等を特定するための特徴点の座標と顔画像のテキ
スチャの濃度値とが特徴データとして入力される。画像
入力部１０１で入力された２次元の顔画像は、出力部１
０４のディスプレイに映し出される。操作者は、出力部
１０４のディスプレイに映し出された顔画像を見て、操
作部１０２のマウスで所定の位置をクリックする。マウ
スでクリックした位置が特徴点となり、その座標と顔画
像のテキスチャの濃度値とが特徴データとして入力され
る。
１０１で入力された顔画像の顔の輪郭や目、鼻または口
の輪郭等を特定するための特徴点の座標と顔画像のテキ
スチャの濃度値とが特徴データとして入力される。画像
入力部１０１で入力された２次元の顔画像は、出力部１
０４のディスプレイに映し出される。操作者は、出力部
１０４のディスプレイに映し出された顔画像を見て、操
作部１０２のマウスで所定の位置をクリックする。マウ
スでクリックした位置が特徴点となり、その座標と顔画
像のテキスチャの濃度値とが特徴データとして入力され
る。
【００３３】ここで、特徴点についてより詳しく説明す
る。図３は、顔画像と特徴点とを示す模式図である。図
３を参照して、顔の輪郭１０と、目の輪郭３０，４０
と、鼻の輪郭５０と、口の輪郭６０とが示されている。
特徴点は、それぞれの輪郭１０，３０，４０，５０，６
０を基準にして定められる。顔の輪郭１０に基づき１１
個の特徴点１１〜２１が特定され、右目の輪郭３０に基
づき４つの特徴点３１〜３４が特定され、左目の輪郭４
０に基づき４つの特徴点４１〜４４が特定され、鼻の輪
郭５０に基づき５つの特徴点５１〜５５が特定され、口
の輪郭６０に基づき５つの特徴点６１〜６５が特定され
る。
る。図３は、顔画像と特徴点とを示す模式図である。図
３を参照して、顔の輪郭１０と、目の輪郭３０，４０
と、鼻の輪郭５０と、口の輪郭６０とが示されている。
特徴点は、それぞれの輪郭１０，３０，４０，５０，６
０を基準にして定められる。顔の輪郭１０に基づき１１
個の特徴点１１〜２１が特定され、右目の輪郭３０に基
づき４つの特徴点３１〜３４が特定され、左目の輪郭４
０に基づき４つの特徴点４１〜４４が特定され、鼻の輪
郭５０に基づき５つの特徴点５１〜５５が特定され、口
の輪郭６０に基づき５つの特徴点６１〜６５が特定され
る。
【００３４】なお、図３に示す特徴点は、説明を簡単に
するため２９個としたが、特徴点の数は形状特徴がとれ
る程度に多いほど望ましく、１２２個程度とするのが好
ましい。
するため２９個としたが、特徴点の数は形状特徴がとれ
る程度に多いほど望ましく、１２２個程度とするのが好
ましい。
【００３５】図２に戻って傾き量入力手段では、画像入
力部１０１で入力された顔画像の奥行き方向の傾き量が
入力される。操作者は、出力部１０４のディスプレイに
映し出された顔画像を見て、正面を向いている顔なの
か、上を向いた顔なのか、または、下を向いた顔なのか
を判断し、操作部１０２のキーボードから奥行き方向の
傾き量を入力する。たとえば、傾き量は、上を向いてい
る場合にα、正面を向いている場合に０、下を向いてい
る場合は−αとする（ただし、αは正数）。
力部１０１で入力された顔画像の奥行き方向の傾き量が
入力される。操作者は、出力部１０４のディスプレイに
映し出された顔画像を見て、正面を向いている顔なの
か、上を向いた顔なのか、または、下を向いた顔なのか
を判断し、操作部１０２のキーボードから奥行き方向の
傾き量を入力する。たとえば、傾き量は、上を向いてい
る場合にα、正面を向いている場合に０、下を向いてい
る場合は−αとする（ただし、αは正数）。
【００３６】画像空間構成部１１５は、画像入力部１０
１で入力された複数の顔画像について、特徴データ入力
部１１１で入力された特徴データと傾き量入力部１１３
で入力された傾き量とを用いて、主成分分析を行なう。
主成分分析の結果、求められる正規直交座標系を画像空
間として記憶部１０３に記憶する。また、画像入力部１
０１で入力された画像データと、それぞれの画像データ
に対応する特徴データおよび傾き量と画像空間における
パラメータとを対応づけて記憶部１０３に記憶する。
１で入力された複数の顔画像について、特徴データ入力
部１１１で入力された特徴データと傾き量入力部１１３
で入力された傾き量とを用いて、主成分分析を行なう。
主成分分析の結果、求められる正規直交座標系を画像空
間として記憶部１０３に記憶する。また、画像入力部１
０１で入力された画像データと、それぞれの画像データ
に対応する特徴データおよび傾き量と画像空間における
パラメータとを対応づけて記憶部１０３に記憶する。
【００３７】ここで、本実施の形態における画像処理装
置が、ＡＡＭモデルにおいて行なう主成分分析と異な
り、傾き量を考慮して主成分分析を行なうことについて
説明する。説明を簡単にするために、特徴点データのｘ
座標、ｙ座標を１列に並べたベクトルのいずれかの成分
をＸ1 ，Ｘ2 とし、正面を向いた顔画像の特徴点を
Ｓ1、上方向を向いた顔画像の特徴点をＳ2 、下方向を
向いた顔画像の特徴点をＳ3とする。
置が、ＡＡＭモデルにおいて行なう主成分分析と異な
り、傾き量を考慮して主成分分析を行なうことについて
説明する。説明を簡単にするために、特徴点データのｘ
座標、ｙ座標を１列に並べたベクトルのいずれかの成分
をＸ1 ，Ｘ2 とし、正面を向いた顔画像の特徴点を
Ｓ1、上方向を向いた顔画像の特徴点をＳ2 、下方向を
向いた顔画像の特徴点をＳ3とする。
【００３８】図４は、正面方向、上方向、下方向を向い
た顔画像それぞれの特徴点のＸ1 −Ｘ2 座標における分
布を示す図である。中央の円が正面方向を向いた顔画像
の特徴点Ｓ1 の分布を示し、両側に重なっている円が上
方向を向いた顔画像の特徴点Ｓ2 の分布と、下方向を向
いた顔画像の特徴点Ｓ3 の分布を表わしている。この場
合、成分Ｘ1 とＸ2 との間に相関が存在していることが
わかるが、その相関が、顔の傾きにより生じる相関であ
るのか、形状の相違により生じる相関であるのかはっき
りしない。換言すれば、分布の違いが、人が正面方向、
上方向あるいは下方向を向いた顔画像の違いにより生じ
たものであるのか、正面方向を向いた顔画像の違いによ
るものか、どちらの違いによるのかを判断することはで
きない。そこで、新たにＺ軸を設けると、正面方向を向
いた顔画像の特徴点の分布と上方向または下方向を向い
た顔画像の特徴点の分布とを区別することができる。
た顔画像それぞれの特徴点のＸ1 −Ｘ2 座標における分
布を示す図である。中央の円が正面方向を向いた顔画像
の特徴点Ｓ1 の分布を示し、両側に重なっている円が上
方向を向いた顔画像の特徴点Ｓ2 の分布と、下方向を向
いた顔画像の特徴点Ｓ3 の分布を表わしている。この場
合、成分Ｘ1 とＸ2 との間に相関が存在していることが
わかるが、その相関が、顔の傾きにより生じる相関であ
るのか、形状の相違により生じる相関であるのかはっき
りしない。換言すれば、分布の違いが、人が正面方向、
上方向あるいは下方向を向いた顔画像の違いにより生じ
たものであるのか、正面方向を向いた顔画像の違いによ
るものか、どちらの違いによるのかを判断することはで
きない。そこで、新たにＺ軸を設けると、正面方向を向
いた顔画像の特徴点の分布と上方向または下方向を向い
た顔画像の特徴点の分布とを区別することができる。
【００３９】図５は、Ｘ1 −Ｘ2 座標に垂直なＺ軸を新
たに設けて特徴点の分布を表わした図である。図５を参
照して、正面方向を向いた顔画像の特徴点Ｓ1 の分布
と、上方向を向いた顔画像の特徴点Ｓ2 の分布と、下方
向を向いた顔画像の特徴点Ｓ3の分布とが区別される。
これは、Ｘ1 とＸ2 の間の相関が、正面方向、上方向ま
たは下方向の向きの違いに起因することを示している。
そして、正面方向を向いた顔画像の特徴点Ｓ1 と、上方
向を向いた顔画像の特徴点Ｓ2 と、下方向を向いた顔画
像の特徴点Ｓ3 とのそれぞれのＸ1 −Ｘ2 座標面での分
布は、Ｘ1 とＸ2との間で相関がないことがわかる。
たに設けて特徴点の分布を表わした図である。図５を参
照して、正面方向を向いた顔画像の特徴点Ｓ1 の分布
と、上方向を向いた顔画像の特徴点Ｓ2 の分布と、下方
向を向いた顔画像の特徴点Ｓ3の分布とが区別される。
これは、Ｘ1 とＸ2 の間の相関が、正面方向、上方向ま
たは下方向の向きの違いに起因することを示している。
そして、正面方向を向いた顔画像の特徴点Ｓ1 と、上方
向を向いた顔画像の特徴点Ｓ2 と、下方向を向いた顔画
像の特徴点Ｓ3 とのそれぞれのＸ1 −Ｘ2 座標面での分
布は、Ｘ1 とＸ2との間で相関がないことがわかる。
【００４０】この３次元空間（Ｘ1 ，Ｘ2 ，Ｚ）の特徴
点に対して主成分分析を行なった結果を図６に示す。図
６を参照して、主成分分析の結果、顔画像の奥行き方向
の傾きを示す主軸Ａが導き出されるので、Ｘ1 ，Ｘ2 の
分布の相関が顔の傾きに起因するものであることを判断
することができる。そして、顔の傾きの変化に対応する
軸（Ａ）と、それとは独立な正面顔の変化に対応する軸
（Ｈ）とに分離することができる。なお、図６中のＨ軸
は、Ｘ1 −Ｘ2 平面を表わしている。
点に対して主成分分析を行なった結果を図６に示す。図
６を参照して、主成分分析の結果、顔画像の奥行き方向
の傾きを示す主軸Ａが導き出されるので、Ｘ1 ，Ｘ2 の
分布の相関が顔の傾きに起因するものであることを判断
することができる。そして、顔の傾きの変化に対応する
軸（Ａ）と、それとは独立な正面顔の変化に対応する軸
（Ｈ）とに分離することができる。なお、図６中のＨ軸
は、Ｘ1 −Ｘ2 平面を表わしている。
【００４１】このようにして得られた主軸Ａに沿って、
その方向の成分を変化させることにより、顔の奥行き方
向の傾きに対応して顔画像を変化させることができる。
一方、主軸Ａが表わす部分空間に対する直交補空間内の
軸に沿って成分を調整することにより、奥行き方向の傾
きによる変化と独立して、顔画像を変形することができ
る。したがって、効果的な画像の合成を行なうことがで
きる。
その方向の成分を変化させることにより、顔の奥行き方
向の傾きに対応して顔画像を変化させることができる。
一方、主軸Ａが表わす部分空間に対する直交補空間内の
軸に沿って成分を調整することにより、奥行き方向の傾
きによる変化と独立して、顔画像を変形することができ
る。したがって、効果的な画像の合成を行なうことがで
きる。
【００４２】次に、画像合成機能および画像認識機能に
ついて説明する。図７は、本実施の形態における画像処
理装置の画像合成機能および画像認識機能の概要を示す
機能ブロック図である。図７を参照して、画像処理装置
は、入力された顔画像の画像空間における特徴パラメー
タを求めるパラメータ最適化部１２１と、求めた特徴パ
ラメータをもとに画像空間で画像を合成するための画像
合成部１１７と、記憶部１０３に予め記憶されている複
数の顔画像から、入力された顔画像と同じ人の顔画像を
選択するための画像認識部１１９とを含む。
ついて説明する。図７は、本実施の形態における画像処
理装置の画像合成機能および画像認識機能の概要を示す
機能ブロック図である。図７を参照して、画像処理装置
は、入力された顔画像の画像空間における特徴パラメー
タを求めるパラメータ最適化部１２１と、求めた特徴パ
ラメータをもとに画像空間で画像を合成するための画像
合成部１１７と、記憶部１０３に予め記憶されている複
数の顔画像から、入力された顔画像と同じ人の顔画像を
選択するための画像認識部１１９とを含む。
【００４３】画像入力部１０１で入力された顔画像が、
パラメータ最適化部１２１に出力される。記憶部１０３
には、上述の画像空間構成部１１５で生成された画像空
間（基底ベクトル）と、画像空間の生成に用いられた顔
画像と、その画像空間における特徴パラメータとが記憶
されている。
パラメータ最適化部１２１に出力される。記憶部１０３
には、上述の画像空間構成部１１５で生成された画像空
間（基底ベクトル）と、画像空間の生成に用いられた顔
画像と、その画像空間における特徴パラメータとが記憶
されている。
【００４４】画像合成部１１７で合成された画像は出力
部１０４から出力される。また、画像認識部１１９で認
識された結果が出力部１０４から出力される。認識され
た結果とは、画像認識部１１９で選択された場合には、
その選択された画像もしくはその画像に対応する氏名等
の個人情報であり、選択されなかった場合には、該当な
しの情報である。
部１０４から出力される。また、画像認識部１１９で認
識された結果が出力部１０４から出力される。認識され
た結果とは、画像認識部１１９で選択された場合には、
その選択された画像もしくはその画像に対応する氏名等
の個人情報であり、選択されなかった場合には、該当な
しの情報である。
【００４５】パラメータ最適化部１２１は、画像入力部
１０１に入力された顔画像と仮設定した特徴パラメータ
により記憶部１０３に記憶されている画像空間で合成さ
れた画像とを比較する。画像空間で合成される画像と入
力された顔画像との差が最も小さくなるまで仮設定した
特徴パラメータを変動させ、差が最も小さくなったとき
の特徴パラメータを求める。これにより、画像空間の座
標軸ごとに、画像入力部１０１で入力された顔画像に対
する特徴パラメータが得られる。
１０１に入力された顔画像と仮設定した特徴パラメータ
により記憶部１０３に記憶されている画像空間で合成さ
れた画像とを比較する。画像空間で合成される画像と入
力された顔画像との差が最も小さくなるまで仮設定した
特徴パラメータを変動させ、差が最も小さくなったとき
の特徴パラメータを求める。これにより、画像空間の座
標軸ごとに、画像入力部１０１で入力された顔画像に対
する特徴パラメータが得られる。
【００４６】画像合成部１１７は、パラメータ最適化部
１２１で求められた特徴パラメータを変化させて、記憶
部１０３に記憶されている画像空間で画像を合成する。
これにより、画像入力部１０１で入力された顔画像が奥
行き方向に傾いている場合であっても、正面方向を向い
た顔画像または上下方向を向いた顔画像を合成して出力
することができる。
１２１で求められた特徴パラメータを変化させて、記憶
部１０３に記憶されている画像空間で画像を合成する。
これにより、画像入力部１０１で入力された顔画像が奥
行き方向に傾いている場合であっても、正面方向を向い
た顔画像または上下方向を向いた顔画像を合成して出力
することができる。
【００４７】画像認識部１１９は、パラメータ最適化部
１２１で求められた特徴パラメータを成分とするベクト
ルと、記憶部１０３に記憶されている顔画像の特徴パラ
メータを成分とするベクトルとの距離が所定の値よりも
小さくなる顔画像を記憶部１０３に記憶されている顔画
像の中から選択する。ベクトルの距離として、ユークリ
ット距離の他、データの分散を考慮したマハラノビス距
離を用いることもできる。
１２１で求められた特徴パラメータを成分とするベクト
ルと、記憶部１０３に記憶されている顔画像の特徴パラ
メータを成分とするベクトルとの距離が所定の値よりも
小さくなる顔画像を記憶部１０３に記憶されている顔画
像の中から選択する。ベクトルの距離として、ユークリ
ット距離の他、データの分散を考慮したマハラノビス距
離を用いることもできる。
【００４８】ここで、記憶部１０３に記憶されている顔
画像は、上述の画像空間構成部１１９で画像空間を構成
するのに用いた顔画像である。また、画像空間構成部１
１９で画像空間を構成した後に、入力された顔画像であ
ってもよい。
画像は、上述の画像空間構成部１１９で画像空間を構成
するのに用いた顔画像である。また、画像空間構成部１
１９で画像空間を構成した後に、入力された顔画像であ
ってもよい。
【００４９】次に本実施の形態における画像処理装置で
行なわれる画像空間構成処理について説明する。図８
は、画像空間構成処理の流れを示すフローチャートであ
る。図８を参照して、画像入力部１０１で基準顔画像が
入力される（Ｓ０１）。ここで、基準顔画像とは、画像
空間構成手段１１５で画像空間を構成するのに用いられ
る顔画像を言う。
行なわれる画像空間構成処理について説明する。図８
は、画像空間構成処理の流れを示すフローチャートであ
る。図８を参照して、画像入力部１０１で基準顔画像が
入力される（Ｓ０１）。ここで、基準顔画像とは、画像
空間構成手段１１５で画像空間を構成するのに用いられ
る顔画像を言う。
【００５０】そして、画像入力部１０１で入力された基
準顔画像が正規化される（Ｓ０２）。正規化とは、入力
された基準顔画像の大きさを所定の基準に合わせること
を言う。具体的には、顔画像の両目の間隔を所定の値に
合わせることにより行なわれる。
準顔画像が正規化される（Ｓ０２）。正規化とは、入力
された基準顔画像の大きさを所定の基準に合わせること
を言う。具体的には、顔画像の両目の間隔を所定の値に
合わせることにより行なわれる。
【００５１】次に、特徴データ入力手段１１１により、
画像入力部１０１で入力された基準顔画像について、特
徴点の座標とテキスチャの濃度値とが入力される（Ｓ０
３）。そして、入力された基準顔画像の奥行き方向の傾
き量が入力手段１１３で入力される（Ｓ０４）。
画像入力部１０１で入力された基準顔画像について、特
徴点の座標とテキスチャの濃度値とが入力される（Ｓ０
３）。そして、入力された基準顔画像の奥行き方向の傾
き量が入力手段１１３で入力される（Ｓ０４）。
【００５２】ステップＳ０５では、他に入力するべき基
準顔画像があるか否かが判断される。これは、使用者が
操作部１０２より入力する信号をもとに判断される。他
に基準顔画像がある場合には、上述のステップＳ０１〜
Ｓ０４の処理が新たに入力される基準顔画像について施
される。他に入力されるべき基準顔画像がない場合に
は、ステップＳ０６に進む。ステップＳ０１〜ステップ
Ｓ０４の処理を複数の基準顔画像に対して行なうこと
で、複数の基準顔画像ごとに特徴データと傾き量とが入
力される。
準顔画像があるか否かが判断される。これは、使用者が
操作部１０２より入力する信号をもとに判断される。他
に基準顔画像がある場合には、上述のステップＳ０１〜
Ｓ０４の処理が新たに入力される基準顔画像について施
される。他に入力されるべき基準顔画像がない場合に
は、ステップＳ０６に進む。ステップＳ０１〜ステップ
Ｓ０４の処理を複数の基準顔画像に対して行なうこと
で、複数の基準顔画像ごとに特徴データと傾き量とが入
力される。
【００５３】ステップＳ０６では、画像入力部１０１で
入力された基準顔画像のすべての特徴データと傾き量と
に対して主成分分析を行なう。主成分分析は公知の統計
的手法であるので、ここでは説明を省略する。ステップ
Ｓ０６で主成分が抽出されると、ステップＳ０７で寄与
率の合計がしきい値Ｔより大きいか否かが判断される。
したがって、寄与率の合計がしきい値Ｔより大きくなる
までステップＳ０６で主成分分析が繰返し行なわれる。
入力された基準顔画像のすべての特徴データと傾き量と
に対して主成分分析を行なう。主成分分析は公知の統計
的手法であるので、ここでは説明を省略する。ステップ
Ｓ０６で主成分が抽出されると、ステップＳ０７で寄与
率の合計がしきい値Ｔより大きいか否かが判断される。
したがって、寄与率の合計がしきい値Ｔより大きくなる
までステップＳ０６で主成分分析が繰返し行なわれる。
【００５４】寄与率がしきい値Ｔより大きくなった場合
には、ステップＳ０８で主成分を表わす基底ベクトルが
記憶部１０３に記憶される。記憶部１０３に記憶される
基底ベクトルにより、画像空間が構成される。
には、ステップＳ０８で主成分を表わす基底ベクトルが
記憶部１０３に記憶される。記憶部１０３に記憶される
基底ベクトルにより、画像空間が構成される。
【００５５】そして次のステップＳ０９では、ステップ
Ｓ０１で入力された基準顔画像について、ステップＳ０
８で求めた画像空間における特徴パラメータを求め、基
準顔画像と特徴パラメータとを対応づけて記憶部１０３
に記憶する。
Ｓ０１で入力された基準顔画像について、ステップＳ０
８で求めた画像空間における特徴パラメータを求め、基
準顔画像と特徴パラメータとを対応づけて記憶部１０３
に記憶する。
【００５６】このようにして、画像空間が作成され、画
像空間を作成するのに用いた基準顔画像とその特徴パラ
メータ等からなる顔画像のデータベースが作成される。
なお、基準顔画像は、すべて異なる人物の顔画像でもよ
く、同一人の顔画像を含むものでもよい。同一人の顔画
像を含む場合には、同一人の顔画像を表わす特徴パラメ
ータの画像空間における分布は、表情の違いにより、ク
ラスタ状に近い範囲で分布する。
像空間を作成するのに用いた基準顔画像とその特徴パラ
メータ等からなる顔画像のデータベースが作成される。
なお、基準顔画像は、すべて異なる人物の顔画像でもよ
く、同一人の顔画像を含むものでもよい。同一人の顔画
像を含む場合には、同一人の顔画像を表わす特徴パラメ
ータの画像空間における分布は、表情の違いにより、ク
ラスタ状に近い範囲で分布する。
【００５７】次に本実施の形態における画像処理装置で
行なわれる画像合成処理について説明する。図９は、画
像合成処理の流れを示すフローチャートである。図９を
参照して、画像入力部１０１で処理顔画像が入力される
（Ｓ１１）。ここで、処理顔画像とは、画像合成の対象
となる顔画像を言う。ここで言う画像合成とは、処理顔
画像に表わされた人物の顔画像を変化させて、さまざま
な表情の顔画像を合成することを言う。
行なわれる画像合成処理について説明する。図９は、画
像合成処理の流れを示すフローチャートである。図９を
参照して、画像入力部１０１で処理顔画像が入力される
（Ｓ１１）。ここで、処理顔画像とは、画像合成の対象
となる顔画像を言う。ここで言う画像合成とは、処理顔
画像に表わされた人物の顔画像を変化させて、さまざま
な表情の顔画像を合成することを言う。
【００５８】次のステップＳ１２では、入力された処理
顔画像を正規化する。正規化については上述したのでこ
こでの説明は繰返さない。
顔画像を正規化する。正規化については上述したのでこ
こでの説明は繰返さない。
【００５９】次のステップＳ１３では、処理顔画像の特
徴パラメータの最適化が行なわれる。特徴パラメータの
最適化は、仮に設定された特徴パラメータを用いて画像
空間で合成した画像と処理顔画像とを比較し、それらの
画像の差が小さくなる方向に特徴パラメータを変えてい
くことで最適化が行なわれる。最適化される特徴パラメ
ータは、基準顔画像と画像空間で合成された画像との差
が最小となるときの合成された画像の特徴パラメータで
ある。これにより、ステップＳ１１で入力された処理顔
画像の画像空間における特徴パラメータが取得される。
そして、ステップＳ１３で求められた特徴パラメータを
変化させることにより、画像空間で表情の異なる顔画像
が合成される（Ｓ１４）。
徴パラメータの最適化が行なわれる。特徴パラメータの
最適化は、仮に設定された特徴パラメータを用いて画像
空間で合成した画像と処理顔画像とを比較し、それらの
画像の差が小さくなる方向に特徴パラメータを変えてい
くことで最適化が行なわれる。最適化される特徴パラメ
ータは、基準顔画像と画像空間で合成された画像との差
が最小となるときの合成された画像の特徴パラメータで
ある。これにより、ステップＳ１１で入力された処理顔
画像の画像空間における特徴パラメータが取得される。
そして、ステップＳ１３で求められた特徴パラメータを
変化させることにより、画像空間で表情の異なる顔画像
が合成される（Ｓ１４）。
【００６０】なお、本実施の形態における画像処理装置
で行なわれる画像合成処理は、入力された処理顔画像を
基に画像合成するようにしているが、画像空間構成手段
で構成された画像空間の座標軸ごとに特徴パラメータを
操作部１０２から直接入力するようにしてもよい。この
場合には、ステップＳ１１〜ステップＳ１３までの処理
は不要となる。
で行なわれる画像合成処理は、入力された処理顔画像を
基に画像合成するようにしているが、画像空間構成手段
で構成された画像空間の座標軸ごとに特徴パラメータを
操作部１０２から直接入力するようにしてもよい。この
場合には、ステップＳ１１〜ステップＳ１３までの処理
は不要となる。
【００６１】次に、本実施の形態における画像処理装置
で行なわれる画像認識処理について説明する。図１０
は、画像認識処理の流れを示すフローチャートである。
ステップＳ２１からステップＳ２３までの処理は、図９
に示した画像合成処理のステップＳ１１からステップＳ
１３までの処理と同じであるのでここでの説明は繰返さ
ない。ステップＳ２３で画像入力部１０１で入力された
処理顔画像の画像空間における特徴パラメータが取得さ
れると、処理顔画像の特徴パラメータを成分とするベク
トルと記憶部１０３に記憶されている基準顔画像の特徴
パラメータを成分とするベクトルとが比較される（Ｓ２
４）。そして、ステップＳ２５で、それぞれのベクトル
の距離が所定の値Ｌより小さいか否かが判断される。所
定の値Ｌより小さい場合には、ステップＳ２６に進み、
小さくない場合にはステップＳ２７に進む。
で行なわれる画像認識処理について説明する。図１０
は、画像認識処理の流れを示すフローチャートである。
ステップＳ２１からステップＳ２３までの処理は、図９
に示した画像合成処理のステップＳ１１からステップＳ
１３までの処理と同じであるのでここでの説明は繰返さ
ない。ステップＳ２３で画像入力部１０１で入力された
処理顔画像の画像空間における特徴パラメータが取得さ
れると、処理顔画像の特徴パラメータを成分とするベク
トルと記憶部１０３に記憶されている基準顔画像の特徴
パラメータを成分とするベクトルとが比較される（Ｓ２
４）。そして、ステップＳ２５で、それぞれのベクトル
の距離が所定の値Ｌより小さいか否かが判断される。所
定の値Ｌより小さい場合には、ステップＳ２６に進み、
小さくない場合にはステップＳ２７に進む。
【００６２】ベクトルの距離が小さければ小さいほど、
処理顔画像と基準顔画像とが似ていることを示す。した
がって、処理顔画像のベクトルと基準顔画像のベクトル
との距離がしきい値Ｌより小さい場合には、処理顔画像
と基準顔画像とは同一人物であると判断できる。
処理顔画像と基準顔画像とが似ていることを示す。した
がって、処理顔画像のベクトルと基準顔画像のベクトル
との距離がしきい値Ｌより小さい場合には、処理顔画像
と基準顔画像とは同一人物であると判断できる。
【００６３】ステップＳ２６では、ステップＳ２５で比
較された基準顔画像を選択し、出力部１０４に基準顔画
像を出力する。その後、画像認識処理を終了する。
較された基準顔画像を選択し、出力部１０４に基準顔画
像を出力する。その後、画像認識処理を終了する。
【００６４】ステップＳ２７では、次に比較の対象とす
る基準顔画像が記憶部１０３にあるか否かが判断され
る。比較の対象とする基準顔画像が記憶部１０３にある
場合には、ステップＳ２４に進み、そうでない場合には
画像認識処理を終了する。
る基準顔画像が記憶部１０３にあるか否かが判断され
る。比較の対象とする基準顔画像が記憶部１０３にある
場合には、ステップＳ２４に進み、そうでない場合には
画像認識処理を終了する。
【００６５】ここで基準顔画像とは、上述の画像空間構
成部１１５で画像空間を構成するのに用いた顔画像であ
る。なお、画像空間構成部１１５で、画像空間を構成し
た後に入力された顔画像を基準顔画像としても良い。
成部１１５で画像空間を構成するのに用いた顔画像であ
る。なお、画像空間構成部１１５で、画像空間を構成し
た後に入力された顔画像を基準顔画像としても良い。
【００６６】以上説明したとおり、本実施の形態におけ
る画像処理装置では、入力される顔画像の特徴点データ
に、顔画像の奥行き方向の傾きを示す傾き量を加味して
主成分分析を行なって画像空間を構成するようにしたの
で、画像空間で奥行き方向の傾きに対応させて顔画像を
合成することができる。また、顔画像の奥行き方向の傾
きを示す主軸が表わす部分空間に対する直交補空間内の
軸に沿って成分を調整することにより、奥行き方向の傾
きによる変化と独立して顔を変形させた画像を合成する
ことができる。これらの結果、効果的な画像の合成を行
なうことができる。
る画像処理装置では、入力される顔画像の特徴点データ
に、顔画像の奥行き方向の傾きを示す傾き量を加味して
主成分分析を行なって画像空間を構成するようにしたの
で、画像空間で奥行き方向の傾きに対応させて顔画像を
合成することができる。また、顔画像の奥行き方向の傾
きを示す主軸が表わす部分空間に対する直交補空間内の
軸に沿って成分を調整することにより、奥行き方向の傾
きによる変化と独立して顔を変形させた画像を合成する
ことができる。これらの結果、効果的な画像の合成を行
なうことができる。
【００６７】また、入力される顔画像の奥行き方向の傾
きを考慮して記憶部に記憶されている顔画像との類似度
を判断するようにしているので、奥行き方向の傾きの違
いによる同一人物の変動モードと、異なる人物の正面の
形状の違いによる変動モードとを分離することができ、
顔の奥行き方向の傾きの違いにより誤って認識するのを
減少させることができる。その結果、認識の精度を高め
ることができる。
きを考慮して記憶部に記憶されている顔画像との類似度
を判断するようにしているので、奥行き方向の傾きの違
いによる同一人物の変動モードと、異なる人物の正面の
形状の違いによる変動モードとを分離することができ、
顔の奥行き方向の傾きの違いにより誤って認識するのを
減少させることができる。その結果、認識の精度を高め
ることができる。
【００６８】なお、本実施の形態においては、テキスチ
ャ情報として濃度値を用いたが、カラーのデータを用い
ることもできる。
ャ情報として濃度値を用いたが、カラーのデータを用い
ることもできる。
【００６９】また、特徴データを特徴点の座標と顔画像
のテキスチャの濃度値としたが、特徴点の座標のみを用
いて画像空間の構成、画像合成または画像認識を行なう
ようにしてもよいし、顔画像のテキスチャのみで画像空
間の構成、画像合成または画像認識を行なうようにして
もよい。
のテキスチャの濃度値としたが、特徴点の座標のみを用
いて画像空間の構成、画像合成または画像認識を行なう
ようにしてもよいし、顔画像のテキスチャのみで画像空
間の構成、画像合成または画像認識を行なうようにして
もよい。
【００７０】さらに、本実施の形態においては、撮影条
件を被写体の奥行き方向の傾き量として、主成分分析を
行なうことにより画像空間を構成するようにしたが、被
写体の左右方向の向き（顔が水平方向に回転する向き）
や、入力された画像中に被写体が占める割合を撮影条件
としてもよい。被写体の左右方向の向きを撮影条件とし
た場合には、正面でなく斜め横、または横から被写体を
撮影した画像をもとにその被写体が正面を向いた画像を
合成することができる。また、被写体像が画像中に占め
る割合を撮影条件とする場合には、実際の被写体の顔が
大きいのか否かを考慮して画像合成または画像認識を行
なうことができる。これらの撮影条件は、単独で用いて
もよく、組合せてもよい。
件を被写体の奥行き方向の傾き量として、主成分分析を
行なうことにより画像空間を構成するようにしたが、被
写体の左右方向の向き（顔が水平方向に回転する向き）
や、入力された画像中に被写体が占める割合を撮影条件
としてもよい。被写体の左右方向の向きを撮影条件とし
た場合には、正面でなく斜め横、または横から被写体を
撮影した画像をもとにその被写体が正面を向いた画像を
合成することができる。また、被写体像が画像中に占め
る割合を撮影条件とする場合には、実際の被写体の顔が
大きいのか否かを考慮して画像合成または画像認識を行
なうことができる。これらの撮影条件は、単独で用いて
もよく、組合せてもよい。
【００７１】さらに、撮影条件として、照明条件や色温
度を加味することができる。たとえば、照明の明るさを
撮影条件として画像空間を構成した場合には、被写体の
肌色を考慮した画像空間を構成することが可能となる。
具体的には、照明が明るいか暗いかを撮影条件として主
成分分析を行なって画像空間を構成する。これにより、
照明が十分でない条件で撮像して得られる画像中の被写
体は、濃度が低くなってしまうが、肌の色が白い被写体
として画像を合成することができるとともに、肌の色と
相関関係がある軸を用いて合成することができる。
度を加味することができる。たとえば、照明の明るさを
撮影条件として画像空間を構成した場合には、被写体の
肌色を考慮した画像空間を構成することが可能となる。
具体的には、照明が明るいか暗いかを撮影条件として主
成分分析を行なって画像空間を構成する。これにより、
照明が十分でない条件で撮像して得られる画像中の被写
体は、濃度が低くなってしまうが、肌の色が白い被写体
として画像を合成することができるとともに、肌の色と
相関関係がある軸を用いて合成することができる。
【００７２】さらに、撮影条件としては、入力された画
像をフーリエ変換した値や、ウェーブレット展開したウ
ェーブレット係数としてもよい。
像をフーリエ変換した値や、ウェーブレット展開したウ
ェーブレット係数としてもよい。
【００７３】［第２の実施形態］第２の実施形態におけ
る画像処理装置は、第１の実施形態における画像処理装
置のパラメータ最適化部を改良したものである。第１の
実施形態における画像処理装置と同様の構成については
ここでは説明は繰返さない。
る画像処理装置は、第１の実施形態における画像処理装
置のパラメータ最適化部を改良したものである。第１の
実施形態における画像処理装置と同様の構成については
ここでは説明は繰返さない。
【００７４】図１１は、第２の実施形態における画像処
理装置の画像合成機能および画像認識機能の概要を示す
機能ブロック図である。図１１を参照して、画像処理装
置は、入力された顔画像の画像空間における特徴パラメ
ータを求めるパラメータ最適化部１２１Ａと、求めた特
徴パラメータをもとに画像空間で画像を合成するための
画像合成部１１７と、記憶部１０３に予め記憶されてい
る複数の顔画像から、入力された顔画像と同じ顔画像を
選択するための画像認識部１１９とを含む。
理装置の画像合成機能および画像認識機能の概要を示す
機能ブロック図である。図１１を参照して、画像処理装
置は、入力された顔画像の画像空間における特徴パラメ
ータを求めるパラメータ最適化部１２１Ａと、求めた特
徴パラメータをもとに画像空間で画像を合成するための
画像合成部１１７と、記憶部１０３に予め記憶されてい
る複数の顔画像から、入力された顔画像と同じ顔画像を
選択するための画像認識部１１９とを含む。
【００７５】特徴データ入力部１２２は、画像入力部１
０１で入力された顔画像の特徴点の座標と顔画像のテキ
スチャの濃度値とを特徴データとして入力する。傾き量
入力部１２３は、画像入力部１０１で入力された顔画像
の奥行き方向の傾き量を入力する。
０１で入力された顔画像の特徴点の座標と顔画像のテキ
スチャの濃度値とを特徴データとして入力する。傾き量
入力部１２３は、画像入力部１０１で入力された顔画像
の奥行き方向の傾き量を入力する。
【００７６】射影部１２４は、特徴データ入力部１２２
で入力された特徴データと傾き量入力部１２３で入力さ
れた傾き量とで表わされる特徴ベクトルを、記憶部１０
３に記憶されている画像空間の座標軸に射影する。画像
空間の座標軸に射影することにより、座標軸ごとに特徴
パラメータが求められる。求められた特徴パラメータ
は、画像合成部１１７または画像認識部１１９に出力さ
れる。
で入力された特徴データと傾き量入力部１２３で入力さ
れた傾き量とで表わされる特徴ベクトルを、記憶部１０
３に記憶されている画像空間の座標軸に射影する。画像
空間の座標軸に射影することにより、座標軸ごとに特徴
パラメータが求められる。求められた特徴パラメータ
は、画像合成部１１７または画像認識部１１９に出力さ
れる。
【００７７】図１２は、第２の実施形態における画像処
理装置で行なわれる画像合成処理の流れを示すフローチ
ャートである。図１２を参照して、画像入力部１０１で
基準顔画像が入力され（Ｓ３１）、入力された基準顔画
像が正規化される（Ｓ３２）。
理装置で行なわれる画像合成処理の流れを示すフローチ
ャートである。図１２を参照して、画像入力部１０１で
基準顔画像が入力され（Ｓ３１）、入力された基準顔画
像が正規化される（Ｓ３２）。
【００７８】そして、入力された基準顔画像の特徴点の
座標とテキスチャの濃度値とが入力され（Ｓ３３）、基
準顔画像の奥行き方向の傾き量が入力される（Ｓ３
４）。
座標とテキスチャの濃度値とが入力され（Ｓ３３）、基
準顔画像の奥行き方向の傾き量が入力される（Ｓ３
４）。
【００７９】次のステップＳ３５では、入力された特徴
データと傾き量とで表わされる特徴ベクトルを、記憶部
１０３に記憶されている画像空間で射影する。これによ
り、ステップＳ３１で入力された処理顔画像の画像空間
における特徴パラメータが取得される。そして、求めら
れた特徴パラメータを変化させることにより、画像空間
で表情の異なる顔画像が合成される（Ｓ３６）。
データと傾き量とで表わされる特徴ベクトルを、記憶部
１０３に記憶されている画像空間で射影する。これによ
り、ステップＳ３１で入力された処理顔画像の画像空間
における特徴パラメータが取得される。そして、求めら
れた特徴パラメータを変化させることにより、画像空間
で表情の異なる顔画像が合成される（Ｓ３６）。
【００８０】図１３は、第２の実施形態における画像処
理装置で行なわれる画像認識処理の流れを示すフローチ
ャートである。図１３を参照して、ステップＳ４１から
ステップＳ４５までの処理は、図１２に示した画像合成
処理のステップＳ３１からステップＳ３５までの処理と
同じなのでここでの説明は繰返さない。ステップＳ４５
で、画像入力部１０１で入力された処理画像の画像空間
における特徴パラメータが取得されると、処理顔画像の
特徴パラメータを成分とするベクトルと記憶部１０３に
記憶されている基準顔画像の特徴パラメータを成分とす
るベクトルとが比較される（Ｓ４６）。そして、ステッ
プＳ４７で、それぞれのベクトルの距離が所定の値Ｌよ
り小さいか否かが判断される。所定の値Ｌより小さい場
合には、ステップＳ４８に進み、小さくない場合にはス
テップＳ４９に進む。処理顔画像のベクトルと基準顔画
像のベクトルとの距離がしきい値Ｌより小さい場合に
は、処理顔画像と基準顔画像とは同一人物であると判断
できる。
理装置で行なわれる画像認識処理の流れを示すフローチ
ャートである。図１３を参照して、ステップＳ４１から
ステップＳ４５までの処理は、図１２に示した画像合成
処理のステップＳ３１からステップＳ３５までの処理と
同じなのでここでの説明は繰返さない。ステップＳ４５
で、画像入力部１０１で入力された処理画像の画像空間
における特徴パラメータが取得されると、処理顔画像の
特徴パラメータを成分とするベクトルと記憶部１０３に
記憶されている基準顔画像の特徴パラメータを成分とす
るベクトルとが比較される（Ｓ４６）。そして、ステッ
プＳ４７で、それぞれのベクトルの距離が所定の値Ｌよ
り小さいか否かが判断される。所定の値Ｌより小さい場
合には、ステップＳ４８に進み、小さくない場合にはス
テップＳ４９に進む。処理顔画像のベクトルと基準顔画
像のベクトルとの距離がしきい値Ｌより小さい場合に
は、処理顔画像と基準顔画像とは同一人物であると判断
できる。
【００８１】ステップＳ４８では、ステップＳ４６で比
較された基準顔画像を選択し、出力部１０４に基準顔画
像を出力する。その後、画像認識処理を終了する。
較された基準顔画像を選択し、出力部１０４に基準顔画
像を出力する。その後、画像認識処理を終了する。
【００８２】ステップＳ４９では、次に比較の対象する
基準顔画像が記憶部１０３に記憶されているか否かが判
断される。比較の対象とする基準顔画像が記憶部１０３
にある場合には、ステップＳ４６に進み、そうでない場
合には画像認識処理を終了する。
基準顔画像が記憶部１０３に記憶されているか否かが判
断される。比較の対象とする基準顔画像が記憶部１０３
にある場合には、ステップＳ４６に進み、そうでない場
合には画像認識処理を終了する。
【００８３】第１および第２の実施の形態においては、
傾き量の入力を、人が行なうようにしたが、レーザセン
サや超音波センサ等の測距手段を設けて、特徴点を３次
元データとして入力するようにしてもよい。このように
することで、特徴データが３次元のデータとなり、傾き
量を入力する必要がなく、上述したのと同様の効果を得
ることができる。
傾き量の入力を、人が行なうようにしたが、レーザセン
サや超音波センサ等の測距手段を設けて、特徴点を３次
元データとして入力するようにしてもよい。このように
することで、特徴データが３次元のデータとなり、傾き
量を入力する必要がなく、上述したのと同様の効果を得
ることができる。
【００８４】また、画像処理装置について説明したが、
図７、図８、図９、図１１および図１２のフローチャー
トで示した処理を実行する画像処理方法、または、画像
処理プログラムを記録した記録媒体としても発明を捉え
ることができる。
図７、図８、図９、図１１および図１２のフローチャー
トで示した処理を実行する画像処理方法、または、画像
処理プログラムを記録した記録媒体としても発明を捉え
ることができる。
【００８５】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【図１】第１の実施の形態における画像処理装置のハー
ド構成を示すブロック図である。
ド構成を示すブロック図である。
【図２】第１の実施の形態における画像処理装置の画像
空間構成機能の概要を示す機能ブロック図である。
空間構成機能の概要を示す機能ブロック図である。
【図３】顔画像と特徴点とを示す模式図である。
【図４】正面方向、上方向、下方向を向いた顔画像それ
ぞれの特徴点のＸ1 −Ｘ2 座標における分布を示す図で
ある。
ぞれの特徴点のＸ1 −Ｘ2 座標における分布を示す図で
ある。
【図５】Ｘ1 −Ｘ2 座標に垂直なＺ軸を新たに設けて特
徴点の分布を表わした図である。
徴点の分布を表わした図である。
【図６】主成分分析で導き出される主軸Ａを示す図であ
る。
る。
【図７】第１の実施の形態における画像処理装置の画像
合成機能および画像認識機能の概要を示す機能ブロック
図である。
合成機能および画像認識機能の概要を示す機能ブロック
図である。
【図８】第１の実施の形態における画像処理装置で行な
われる画像空間構成処理の流れを示すフローチャートで
ある。
われる画像空間構成処理の流れを示すフローチャートで
ある。
【図９】第１の実施の形態における画像処理装置で行な
われる画像合成処理の流れを示すフローチャートであ
る。
われる画像合成処理の流れを示すフローチャートであ
る。
【図１０】第１の実施の形態における画像処理装置で行
なわれる画像認識処理の流れを示すフローチャートであ
る。
なわれる画像認識処理の流れを示すフローチャートであ
る。
【図１１】第２の実施の形態における画像処理装置の画
像合成機能および画像認識機能の概要を示す機能ブロッ
ク図である。
像合成機能および画像認識機能の概要を示す機能ブロッ
ク図である。
【図１２】第２の実施の形態における画像処理装置で行
なわれる画像合成処理の流れを示すフローチャートであ
る。
なわれる画像合成処理の流れを示すフローチャートであ
る。
【図１３】第２の実施の形態における画像処理装置で行
なわれる画像認識処理の流れを示すフローチャートであ
る。
なわれる画像認識処理の流れを示すフローチャートであ
る。
１０１ 画像入力部 １０３ 記憶部 １０４ 出力部 １１１ 特徴データ入力部 １１３ 傾き量入力部 １１５ 画像空間構成部 １１７ 画像合成部 １１９ 画像認識部
フロントページの続き Ｆターム(参考） 2F065 AA37 BB05 CC16 FF04 GG04 JJ02 JJ25 PP22 QQ16 QQ24 QQ29 QQ31 QQ42 SS02 SS13 UU05 5B043 BA04 DA05 EA11 HA02 HA03 5B057 AA20 BA02 BA23 CE08 DA20 DC30 5L096 BA08 BA18 CA21 EA13 EA45 FA31 GA59 HA08 9A001 HH29
Claims (11)
- 【請求項１】 入力された画像に含まれる被写体像が有
する特徴量を入力するための特徴量入力手段と、 前記入力された画像を撮影した撮影条件を入力するため
の撮影条件入力手段と、 前記特徴量入力手段と前記撮影条件入力手段とでそれぞ
れ入力された複数の被写体像についての前記特徴量と前
記撮影条件とに統計的手法を施して画像空間を求める画
像空間構成手段とを備えた、画像処理装置。 - 【請求項２】 前記特徴量入力手段で入力する特徴量
は、前記被写体像の形状を特定するための複数の座標値
を含むことを特徴とする、請求項１に記載の画像処理装
置。 - 【請求項３】 前記特徴量入力手段で入力する特徴量
は、前記被写体像が有する複数のテキスチャの濃度値を
含むことを特徴とする、請求項１または２に記載の画像
処理装置。 - 【請求項４】 前記撮影条件入力手段で入力する撮影条
件は、撮影時の照明の明るさを含むことを特徴とする、
請求項１〜３のいずれかに記載の画像処理装置。 - 【請求項５】 前記撮影条件入力手段で入力する撮影条
件は、前記入力された画像に含まれる被写体像の奥行き
方向の傾きを含むことを特徴とする、請求項１〜４のい
ずれかに記載の画像処理装置。 - 【請求項６】 画像に含まれる被写体像が有する特徴量
と前記画像を撮影した撮影条件とに基づき作成された画
像空間を記憶するための記憶手段と、 前記画像空間におけるパラメータを入力するためのパラ
メータ入力手段と、 前記パラメータ入力手段で入力されたパラメータに基づ
き画像を合成する画像合成手段とを備えた、画像処理装
置。 - 【請求項７】 前記パラメータ入力手段は、入力された
画像と前記画像空間でパラメータを動かし合成した画像
との差が最小となるパラメータを自動抽出するパラメー
タ最適化手段を含むことを特徴とする、請求項６に記載
の画像処理装置。 - 【請求項８】 前記パラメータ入力手段は、前記特徴量
入力手段で入力された前記特徴量と前記撮影条件入力手
段で入力された前記撮影条件とを前記画像空間に射影し
てパラメータを求める射影手段を含むことを特徴とす
る、請求項６に記載の画像処理装置。 - 【請求項９】 画像に含まれる被写体像が有する特徴量
と前記画像を撮影した撮影条件に基づき作成された画像
空間を記憶するための第１の記憶手段と、 入力された画像に含まれる第１の被写体像と前記画像空
間でパラメータを動かし合成した画像との差が最小とな
る第１のパラメータを自動抽出するパラメータ最適化手
段と、 複数の第２の被写体像を、それぞれ前記画像空間におけ
る第２のパラメータと対応づけて記憶する第２の記憶手
段と、 前記第１のパラメータを前記第２のパラメータと比較し
て、前記複数の第２の被写体像から所望の被写体像を選
択する選択手段とを備えた、画像処理装置。 - 【請求項１０】 入力された画像に含まれる被写体像が
有する特徴量を入力するための特徴量入力ステップと、 前記入力された画像を撮影した撮影条件を入力するため
の撮影条件入力ステップと、 前記特徴量入力ステップと前記撮影条件入力ステップと
でそれぞれ入力された複数の被写体像についての前記特
徴量と前記撮影条件とに統計的手法を施して画像空間を
求める画像空間構成ステップとを含む、画像処理方法。 - 【請求項１１】 入力された画像に含まれる被写体像が
有する特徴量を入力するための特徴量入力ステップと、 前記入力された画像を撮影した撮影条件を入力するため
の撮影条件入力ステップと、 前記特徴量入力ステップと前記撮影条件入力ステップと
でそれぞれ入力された複数の被写体像についての前記特
徴量と前記撮影条件とに統計的手法を施して画像空間を
求める画像空間構成ステップとをコンピュータに実行さ
せるための画像処理プログラムを記録した記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11168690A JP2000357221A (ja) | 1999-06-15 | 1999-06-15 | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
| US09/589,109 US6934406B1 (en) | 1999-06-15 | 2000-06-08 | Image processing apparatus, image processing method, and recording medium recorded with image processing program to process image taking into consideration difference in image pickup condition using AAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11168690A JP2000357221A (ja) | 1999-06-15 | 1999-06-15 | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000357221A true JP2000357221A (ja) | 2000-12-26 |
Family
ID=15872668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11168690A Pending JP2000357221A (ja) | 1999-06-15 | 1999-06-15 | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6934406B1 (ja) |
| JP (1) | JP2000357221A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006009043A1 (ja) * | 2004-07-15 | 2006-01-26 | Nec Corporation | データ照合方法、データ照合装置及びデータ照合プログラム |
| WO2006030687A1 (ja) * | 2004-09-14 | 2006-03-23 | Nec Corporation | データ照合システム、データ照合装置、及びデータ照合方法 |
| JP2007087234A (ja) * | 2005-09-26 | 2007-04-05 | Fujifilm Corp | 画像処理方法および装置ならびにプログラム |
| JPWO2006057267A1 (ja) * | 2004-11-25 | 2008-08-07 | 日本電気株式会社 | 顔画像合成方法および顔画像合成装置 |
| JP2008217586A (ja) * | 2007-03-06 | 2008-09-18 | Keio Gijuku | 化粧支援システム |
| JP2010262606A (ja) * | 2009-05-11 | 2010-11-18 | Rohm Co Ltd | 認証装置 |
| CN106548156A (zh) * | 2016-10-27 | 2017-03-29 | 江西瓷肌电子商务有限公司 | 一种根据人脸图像提供整容建议的方法 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3733075B2 (ja) * | 2002-02-07 | 2006-01-11 | 株式会社国際電気通信基礎技術研究所 | インタラクション・メディアシステム |
| US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US7492924B2 (en) * | 2003-07-18 | 2009-02-17 | Intel Corporation | Face tracking |
| CN100375108C (zh) * | 2006-03-02 | 2008-03-12 | 复旦大学 | 一种人脸特征点自动定位方法 |
| WO2008023280A2 (en) * | 2006-06-12 | 2008-02-28 | Fotonation Vision Limited | Advances in extending the aam techniques from grayscale to color images |
| JP4986279B2 (ja) * | 2006-09-08 | 2012-07-25 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| CN102089652B (zh) * | 2008-05-13 | 2013-10-23 | 荷兰应用科学研究会(Tno) | 超声建模 |
| RU2501007C2 (ru) * | 2008-07-22 | 2013-12-10 | Недерландсе Органистати Вор Тугепаст-Натюрветенсхаппелейк Ондерзук Тно | Контроль коррозии |
| JP2010186288A (ja) * | 2009-02-12 | 2010-08-26 | Seiko Epson Corp | 顔画像の所定のテクスチャー特徴量を変更する画像処理 |
| US20110080402A1 (en) * | 2009-10-05 | 2011-04-07 | Karl Netzell | Method of Localizing Landmark Points in Images |
| WO2014093376A1 (en) * | 2012-12-10 | 2014-06-19 | The Cleveland Clinic Foundation | Mage fusion with automated compensation for brain deformation |
| JP6111723B2 (ja) * | 2013-02-18 | 2017-04-12 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
| KR102566134B1 (ko) * | 2015-12-07 | 2023-08-10 | 삼성전자주식회사 | 반도체 소자의 3d 프로파일링 시스템 및 이의 동작 방법 |
| WO2019097285A1 (en) * | 2017-08-31 | 2019-05-23 | Banuba Limited | Computer-implemented methods and computer systems for real-time detection of human's emotions from visual recordings |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63177273A (ja) | 1987-01-19 | 1988-07-21 | Oki Electric Ind Co Ltd | 本人照合方法 |
| US5375195A (en) * | 1992-06-29 | 1994-12-20 | Johnston; Victor S. | Method and apparatus for generating composites of human faces |
| JPH06168317A (ja) | 1992-11-30 | 1994-06-14 | Matsushita Electric Ind Co Ltd | 個人識別装置 |
| TW359781B (en) * | 1993-05-25 | 1999-06-01 | Casio Computer Co Ltd | Animal image display controlling devices and method thereof |
| JP3735893B2 (ja) * | 1995-06-22 | 2006-01-18 | セイコーエプソン株式会社 | 顔画像処理方法および顔画像処理装置 |
| US5969721A (en) * | 1997-06-03 | 1999-10-19 | At&T Corp. | System and apparatus for customizing a computer animation wireframe |
| US5995119A (en) * | 1997-06-06 | 1999-11-30 | At&T Corp. | Method for generating photo-realistic animated characters |
| EP1039417B1 (en) * | 1999-03-19 | 2006-12-20 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and device for the processing of images based on morphable models |
-
1999
- 1999-06-15 JP JP11168690A patent/JP2000357221A/ja active Pending
-
2000
- 2000-06-08 US US09/589,109 patent/US6934406B1/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006009043A1 (ja) * | 2004-07-15 | 2006-01-26 | Nec Corporation | データ照合方法、データ照合装置及びデータ照合プログラム |
| CN100437641C (zh) * | 2004-07-15 | 2008-11-26 | 日本电气株式会社 | 数据对照方法、数据对照装置和数据对照程序 |
| WO2006030687A1 (ja) * | 2004-09-14 | 2006-03-23 | Nec Corporation | データ照合システム、データ照合装置、及びデータ照合方法 |
| JPWO2006057267A1 (ja) * | 2004-11-25 | 2008-08-07 | 日本電気株式会社 | 顔画像合成方法および顔画像合成装置 |
| US7876320B2 (en) | 2004-11-25 | 2011-01-25 | Nec Corporation | Face image synthesis method and face image synthesis apparatus |
| JP2007087234A (ja) * | 2005-09-26 | 2007-04-05 | Fujifilm Corp | 画像処理方法および装置ならびにプログラム |
| JP2008217586A (ja) * | 2007-03-06 | 2008-09-18 | Keio Gijuku | 化粧支援システム |
| JP2010262606A (ja) * | 2009-05-11 | 2010-11-18 | Rohm Co Ltd | 認証装置 |
| CN106548156A (zh) * | 2016-10-27 | 2017-03-29 | 江西瓷肌电子商务有限公司 | 一种根据人脸图像提供整容建议的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6934406B1 (en) | 2005-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000357221A (ja) | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 | |
| CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
| JP6874772B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| JP4449723B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP3962803B2 (ja) | 頭部検出装置、頭部検出方法および頭部検出プログラム | |
| US20070258627A1 (en) | Face recognition system and method | |
| EP0991023A2 (en) | A method of creating 3-D facial models starting from face images | |
| JP2011090466A (ja) | 情報処理装置及び方法、並びにプログラム | |
| US10467793B2 (en) | Computer implemented method and device | |
| JP2001109913A (ja) | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 | |
| JP2006330800A (ja) | 画像合成システム、画像合成方法、この方法のプログラム | |
| JP2005242567A (ja) | 動作評価装置及び方法 | |
| US6975763B2 (en) | Shade component removing apparatus and shade component removing method for removing shade in image | |
| JP2000311248A (ja) | 画像処理装置 | |
| JP4379616B2 (ja) | モーションキャプチャデータ補正装置、マルチモーダルコーパス作成システム、画像合成装置、及びコンピュータプログラム | |
| JP2009211148A (ja) | 顔画像処理装置 | |
| JP5639499B2 (ja) | 顔画像処理装置 | |
| JP5244345B2 (ja) | 顔認証装置 | |
| JP5419777B2 (ja) | 顔画像合成装置 | |
| JP7218769B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| JP2003044841A (ja) | モデル生成装置およびモデル生成方法ならびにモデル生成プログラムを記録した記録媒体 | |
| KR100387236B1 (ko) | 캐리커처 영상 생성 장치 및 방법 | |
| JP2767814B2 (ja) | 顔画像検出方法及び装置 | |
| RU2703327C1 (ru) | Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя | |
| JP2000156775A (ja) | 撮影機と画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090825 |