JP2001291108A - 画像処理装置およびその方法ならびにプログラム記録媒体 - Google Patents
画像処理装置およびその方法ならびにプログラム記録媒体Info
- Publication number
- JP2001291108A JP2001291108A JP2000103659A JP2000103659A JP2001291108A JP 2001291108 A JP2001291108 A JP 2001291108A JP 2000103659 A JP2000103659 A JP 2000103659A JP 2000103659 A JP2000103659 A JP 2000103659A JP 2001291108 A JP2001291108 A JP 2001291108A
- Authority
- JP
- Japan
- Prior art keywords
- face
- average
- image
- angle
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 予め対象者の顔画像データを取得してなくと
も、入力される不特定個人の顔画像からその顔方向を検
出することのできる画像処理装置およびその方法ならび
にプログラム記録媒体を提供する。 【解決手段】 平均顔データ作成手段１１は、複数のサ
ンプル正面顔画像データを基に平均正面顔画像データを
生成する。３次元マッピング手段１４が、この平均正面
顔画像データを、予め３次元顔モデル作成手段１３が作
成した標準顔形状モデルデータにマッピングすることに
よって、平均顔モデルデータが生成される。２次元デー
タベース作成手段１６は、この平均顔モデルデータを所
定の角度から見たときの角度別平均顔画像データを生成
する。一方、顔画像入力手段２０から入力された画像
と、前記角度別平均顔画像データとの相関度を基に、顔
方向判別手段２２が入力画像における顔方向を検出す
る。
も、入力される不特定個人の顔画像からその顔方向を検
出することのできる画像処理装置およびその方法ならび
にプログラム記録媒体を提供する。 【解決手段】 平均顔データ作成手段１１は、複数のサ
ンプル正面顔画像データを基に平均正面顔画像データを
生成する。３次元マッピング手段１４が、この平均正面
顔画像データを、予め３次元顔モデル作成手段１３が作
成した標準顔形状モデルデータにマッピングすることに
よって、平均顔モデルデータが生成される。２次元デー
タベース作成手段１６は、この平均顔モデルデータを所
定の角度から見たときの角度別平均顔画像データを生成
する。一方、顔画像入力手段２０から入力された画像
と、前記角度別平均顔画像データとの相関度を基に、顔
方向判別手段２２が入力画像における顔方向を検出す
る。
Description
【０００１】
【発明の属する技術分野】この発明は、画像データを基
に顔や物品の方向を検出する画像処理装置およびその方
法ならびにプログラム記録媒体に関する。
に顔や物品の方向を検出する画像処理装置およびその方
法ならびにプログラム記録媒体に関する。
【０００２】
【従来の技術】顔の画像を基に認識処理を行って人を識
別したり表情を読み取ったりするためには、顔の方向を
検出することが重要となるが、自律移動ロボット等が人
間環境内を移動する場合や人間環境内に据え付けられた
カメラで人間の顔を撮像する場合などには、入力画像上
の顔の初期方向がわからないという問題がある。この問
題を解決するため、入力される画像を基に顔の方向を検
出する技術が求められている。
別したり表情を読み取ったりするためには、顔の方向を
検出することが重要となるが、自律移動ロボット等が人
間環境内を移動する場合や人間環境内に据え付けられた
カメラで人間の顔を撮像する場合などには、入力画像上
の顔の初期方向がわからないという問題がある。この問
題を解決するため、入力される画像を基に顔の方向を検
出する技術が求められている。
【０００３】図４は、従来技術による顔方向検出のため
のデータの流れを示すデータ構成図である。この従来技
術においては、まず予め認識対象個人の顔画像データを
取得し、加工して、蓄積しておく。図４において、符号
９１は、入力手段によって入力された認識対象個人の正
面顔画像データである。また、９２は正面顔画像データ
９１を基に抽出される特徴点データである。特徴点デー
タ９２は、目や鼻や耳や口や眉毛などといった顔の構成
要素の形状や配置を表すデータである。また、９３は正
面顔画像データ９１をモザイク処理することによって得
られる低周波正面顔画像データである。
のデータの流れを示すデータ構成図である。この従来技
術においては、まず予め認識対象個人の顔画像データを
取得し、加工して、蓄積しておく。図４において、符号
９１は、入力手段によって入力された認識対象個人の正
面顔画像データである。また、９２は正面顔画像データ
９１を基に抽出される特徴点データである。特徴点デー
タ９２は、目や鼻や耳や口や眉毛などといった顔の構成
要素の形状や配置を表すデータである。また、９３は正
面顔画像データ９１をモザイク処理することによって得
られる低周波正面顔画像データである。
【０００４】また、９４は予め用意されている標準顔形
状モデルデータであり、この標準顔形状モデルデータ９
４は標準的な顔の３次元形状を表している。そして９５
は顔モデルデータであり、この顔モデルデータ９５は、
標準顔形状モデルデータ９４が表す顔上に特徴点データ
９２または低周波正面顔画像データ９３を用いてテクス
チャマッピング処理を行うことによって得られる。よっ
て、顔モデルデータ９５には、標準顔形状モデルデータ
９４から受け継いだ３次元形状の情報が含まれている。
次に、９６は角度別顔画像データであり、この角度別顔
画像データ９６は、顔モデルデータ９５が表す３次元顔
を任意の向きに回転させて投影することによって得られ
る。
状モデルデータであり、この標準顔形状モデルデータ９
４は標準的な顔の３次元形状を表している。そして９５
は顔モデルデータであり、この顔モデルデータ９５は、
標準顔形状モデルデータ９４が表す顔上に特徴点データ
９２または低周波正面顔画像データ９３を用いてテクス
チャマッピング処理を行うことによって得られる。よっ
て、顔モデルデータ９５には、標準顔形状モデルデータ
９４から受け継いだ３次元形状の情報が含まれている。
次に、９６は角度別顔画像データであり、この角度別顔
画像データ９６は、顔モデルデータ９５が表す３次元顔
を任意の向きに回転させて投影することによって得られ
る。
【０００５】一方、９７は入力手段によって新規に入力
される上記認識対象個人の入力顔画像データであり、こ
の入力顔画像データ９７における顔の向きは未知であ
る。そして、この入力顔画像データ９７を複数の角度別
顔画像データ９６と比較し、最も相関度の高い角度別顔
画像データ９６を決定することによって新規に入力され
た顔の方向を検出する。
される上記認識対象個人の入力顔画像データであり、こ
の入力顔画像データ９７における顔の向きは未知であ
る。そして、この入力顔画像データ９７を複数の角度別
顔画像データ９６と比較し、最も相関度の高い角度別顔
画像データ９６を決定することによって新規に入力され
た顔の方向を検出する。
【０００６】
【発明が解決しようとする課題】上述した従来手法で
は、予め認識対象個人の正面顔画像を取得しておくこと
を前提としている。また、予め画像を取得した個人と新
規に画像入力される個人とが異なる場合、両者間の顔の
特徴の違いから、新規入力された画像の顔方向を検出で
きない可能性あるいは方向検出精度が落ちる可能性があ
る。上記のような前提条件は、顔認識装置の利用範囲を
狭くしてしまうという問題がある。
は、予め認識対象個人の正面顔画像を取得しておくこと
を前提としている。また、予め画像を取得した個人と新
規に画像入力される個人とが異なる場合、両者間の顔の
特徴の違いから、新規入力された画像の顔方向を検出で
きない可能性あるいは方向検出精度が落ちる可能性があ
る。上記のような前提条件は、顔認識装置の利用範囲を
狭くしてしまうという問題がある。
【０００７】本発明は、このような事情を考慮してなさ
れたものであり、予め顔画像データを取得してなくと
も、入力される不特定個人の顔画像からその顔方向を検
出することのできる画像処理装置およびその方法ならび
にプログラム記録媒体を提供することを目的とする。
れたものであり、予め顔画像データを取得してなくと
も、入力される不特定個人の顔画像からその顔方向を検
出することのできる画像処理装置およびその方法ならび
にプログラム記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】上記の課題を解決するた
めに、請求項１に記載の発明は、顔の方向の検出のため
の画像処理装置であって、複数のサンプル顔画像を基に
平均顔画像を生成する平均顔データ作成手段と、前記平
均顔画像を、顔の形状を表す標準顔形状モデルにマッピ
ングすることにより平均顔３次元モデルを生成する平均
顔３次元モデル作成手段と、前記平均顔３次元モデルに
対する視点の角度と、各々の角度毎の視点から前記平均
顔３次元モデルを見たときの角度別平均顔画像とを関連
付けて記憶するデータベース作成手段とを備えることを
特徴とする画像処理装置を要旨とする。
めに、請求項１に記載の発明は、顔の方向の検出のため
の画像処理装置であって、複数のサンプル顔画像を基に
平均顔画像を生成する平均顔データ作成手段と、前記平
均顔画像を、顔の形状を表す標準顔形状モデルにマッピ
ングすることにより平均顔３次元モデルを生成する平均
顔３次元モデル作成手段と、前記平均顔３次元モデルに
対する視点の角度と、各々の角度毎の視点から前記平均
顔３次元モデルを見たときの角度別平均顔画像とを関連
付けて記憶するデータベース作成手段とを備えることを
特徴とする画像処理装置を要旨とする。
【０００９】また、請求項２に記載の発明においては、
前記平均顔画像を平滑化処理する平滑化処理手段を備
え、前記平均顔３次元モデル作成手段は、平滑化処理さ
れた前記平均顔画像をマッピングすることを特徴とす
る。なお、ここで「平滑化処理」とは、画像をぼかすこ
とにより画像の特徴を緩和する処理を言う。この平滑化
処理の具体例としては、複数の隣接領域画像繋ぎ合わせ
るモザイク処理や、メジアン（median）フィルタや、局
所平均フィルタなどを挙げることができるが、これらに
限定されない。
前記平均顔画像を平滑化処理する平滑化処理手段を備
え、前記平均顔３次元モデル作成手段は、平滑化処理さ
れた前記平均顔画像をマッピングすることを特徴とす
る。なお、ここで「平滑化処理」とは、画像をぼかすこ
とにより画像の特徴を緩和する処理を言う。この平滑化
処理の具体例としては、複数の隣接領域画像繋ぎ合わせ
るモザイク処理や、メジアン（median）フィルタや、局
所平均フィルタなどを挙げることができるが、これらに
限定されない。
【００１０】また、請求項３に記載の発明は、顔の方向
の検出のための画像処理装置であって、入力された入力
顔画像を平滑化処理することによって低周波入力顔画像
を生成する平滑化処理手段と、複数のサンプル顔画像の
平均顔画像を基に作成され、視点の角度と関連付けて記
憶されている複数の角度別平均顔画像と、前記低周波入
力顔画像との比較により、前記入力顔画像における顔の
角度を決定する顔方向判別手段とを備えることを特徴と
する画像処理装置を要旨とする。なお、ここで「低周波
顔画像」とは、モザイク処理や、メジアンフィルタなど
の各種平滑化処理や、フーリエ変換による高周波成分除
去などにより平滑化された画像を言う。
の検出のための画像処理装置であって、入力された入力
顔画像を平滑化処理することによって低周波入力顔画像
を生成する平滑化処理手段と、複数のサンプル顔画像の
平均顔画像を基に作成され、視点の角度と関連付けて記
憶されている複数の角度別平均顔画像と、前記低周波入
力顔画像との比較により、前記入力顔画像における顔の
角度を決定する顔方向判別手段とを備えることを特徴と
する画像処理装置を要旨とする。なお、ここで「低周波
顔画像」とは、モザイク処理や、メジアンフィルタなど
の各種平滑化処理や、フーリエ変換による高周波成分除
去などにより平滑化された画像を言う。
【００１１】また、請求項４に記載の発明は、顔の方向
の検出のための画像処理装置であって、入力された入力
顔画像を平滑化処理することによって低周波入力顔画像
を生成する平滑化処理手段と、複数のサンプル顔画像か
ら生成される平均顔画像を顔の形状を表す標準顔形状モ
デルにマッピングすることにより得られる平均顔３次元
モデルを基に、前記平均顔３次元モデルに対する視点の
角度と、各々の角度毎の視点から前記平均顔３次元モデ
ルを見たときの角度別平均顔画像とを関連付けて生成す
る角度別平均顔画像データ生成手段と、前記低周波入力
顔画像と前記角度別平均化顔画像との比較により、前記
入力顔画像における顔の角度を決定する顔方向判別手段
とを備えることを特徴とする画像処理装置を要旨とす
る。
の検出のための画像処理装置であって、入力された入力
顔画像を平滑化処理することによって低周波入力顔画像
を生成する平滑化処理手段と、複数のサンプル顔画像か
ら生成される平均顔画像を顔の形状を表す標準顔形状モ
デルにマッピングすることにより得られる平均顔３次元
モデルを基に、前記平均顔３次元モデルに対する視点の
角度と、各々の角度毎の視点から前記平均顔３次元モデ
ルを見たときの角度別平均顔画像とを関連付けて生成す
る角度別平均顔画像データ生成手段と、前記低周波入力
顔画像と前記角度別平均化顔画像との比較により、前記
入力顔画像における顔の角度を決定する顔方向判別手段
とを備えることを特徴とする画像処理装置を要旨とす
る。
【００１２】また、請求項５に記載の発明は、顔の方向
の検出のための画像処理方法であって、複数のサンプル
顔画像を基に平均顔画像を生成する平均顔データ作成過
程と、この平均顔データ作成過程で生成された前記平均
顔画像を、顔の形状を表す標準顔形状モデルにマッピン
グすることにより平均顔モデルを生成する平均顔３次元
モデル作成過程と、この平均顔３次元モデルを基に、前
記平均顔３次元モデルに対する視点の角度と、各々の角
度毎の視点から前記平均顔３次元モデルを見たときの角
度別平均顔画像とを関連付けて記憶するデータベース作
成過程とを有することを特徴とする画像処理方法を要旨
とする。
の検出のための画像処理方法であって、複数のサンプル
顔画像を基に平均顔画像を生成する平均顔データ作成過
程と、この平均顔データ作成過程で生成された前記平均
顔画像を、顔の形状を表す標準顔形状モデルにマッピン
グすることにより平均顔モデルを生成する平均顔３次元
モデル作成過程と、この平均顔３次元モデルを基に、前
記平均顔３次元モデルに対する視点の角度と、各々の角
度毎の視点から前記平均顔３次元モデルを見たときの角
度別平均顔画像とを関連付けて記憶するデータベース作
成過程とを有することを特徴とする画像処理方法を要旨
とする。
【００１３】また、請求項６に記載の発明では、前記平
均顔画像を平滑化処理する平滑化処理過程を有し、前記
平均顔３次元モデル作成過程においては、前記平滑化処
理過程で平滑化処理された前記平均顔画像を標準顔形状
モデルにマッピングすることを特徴とする。
均顔画像を平滑化処理する平滑化処理過程を有し、前記
平均顔３次元モデル作成過程においては、前記平滑化処
理過程で平滑化処理された前記平均顔画像を標準顔形状
モデルにマッピングすることを特徴とする。
【００１４】また、請求項７に記載の発明は、顔の方向
の検出のための画像処理方法であって、入力された入力
顔画像を平滑化処理することによって低周波入力顔画像
を生成する平滑化処理過程と、複数のサンプル顔画像の
平均顔画像を基に作成され、視点の角度と関連付けて記
憶されている複数の角度別平均顔画像と、前記平滑化処
理過程で生成された前記低周波入力顔画像との比較によ
り、前記入力顔画像における顔の角度を決定する顔方向
判別過程とを有することを特徴とする画像処理方法を要
旨とする。
の検出のための画像処理方法であって、入力された入力
顔画像を平滑化処理することによって低周波入力顔画像
を生成する平滑化処理過程と、複数のサンプル顔画像の
平均顔画像を基に作成され、視点の角度と関連付けて記
憶されている複数の角度別平均顔画像と、前記平滑化処
理過程で生成された前記低周波入力顔画像との比較によ
り、前記入力顔画像における顔の角度を決定する顔方向
判別過程とを有することを特徴とする画像処理方法を要
旨とする。
【００１５】また、請求項８に記載の発明は、顔の方向
の検出のための画像処理方法であって、入力された入力
顔画像を平滑化処理することによって低周波入力顔画像
を生成する平滑化処理過程と、複数のサンプル顔画像か
ら生成される平均顔画像を顔の形状を表す標準顔形状モ
デルにマッピングすることにより得られる平均顔３次元
モデルを基に、前記平均顔３次元モデルに対する視点の
角度と、各々の角度毎の視点から前記平均顔３次元モデ
ルを見たときの角度別平均顔画像とを関連付けて生成す
る角度別平均顔画像データ生成過程と、前記低周波入力
顔画像と前記角度別平均化顔画像との比較により、前記
入力顔画像における顔の角度を決定する顔方向判別過程
とを備えることを特徴とする画像処理方法を要旨とす
る。
の検出のための画像処理方法であって、入力された入力
顔画像を平滑化処理することによって低周波入力顔画像
を生成する平滑化処理過程と、複数のサンプル顔画像か
ら生成される平均顔画像を顔の形状を表す標準顔形状モ
デルにマッピングすることにより得られる平均顔３次元
モデルを基に、前記平均顔３次元モデルに対する視点の
角度と、各々の角度毎の視点から前記平均顔３次元モデ
ルを見たときの角度別平均顔画像とを関連付けて生成す
る角度別平均顔画像データ生成過程と、前記低周波入力
顔画像と前記角度別平均化顔画像との比較により、前記
入力顔画像における顔の角度を決定する顔方向判別過程
とを備えることを特徴とする画像処理方法を要旨とす
る。
【００１６】また、請求項９に記載の発明は、複数のサ
ンプル顔画像を基に平均顔画像を生成する平均顔データ
作成過程と、この平均顔データ作成過程で生成された前
記平均顔画像を、顔の形状を表す標準顔形状モデルにマ
ッピングすることにより平均顔３次元モデルを生成する
平均顔３次元モデル作成過程と、この平均顔３次元モデ
ルを基に、前記平均顔３次元モデルに対する視点の角度
と、各々の角度毎の視点から前記平均顔３次元モデルを
見たときの角度別平均顔画像とを関連付けて記憶するデ
ータベース作成過程とをコンピュータに実行させること
を特徴とするプログラムを記録したコンピュータ読み取
り可能な記録媒体を要旨とする。
ンプル顔画像を基に平均顔画像を生成する平均顔データ
作成過程と、この平均顔データ作成過程で生成された前
記平均顔画像を、顔の形状を表す標準顔形状モデルにマ
ッピングすることにより平均顔３次元モデルを生成する
平均顔３次元モデル作成過程と、この平均顔３次元モデ
ルを基に、前記平均顔３次元モデルに対する視点の角度
と、各々の角度毎の視点から前記平均顔３次元モデルを
見たときの角度別平均顔画像とを関連付けて記憶するデ
ータベース作成過程とをコンピュータに実行させること
を特徴とするプログラムを記録したコンピュータ読み取
り可能な記録媒体を要旨とする。
【００１７】また、請求項１０に記載の発明では、前記
平均顔画像を平滑化処理する平滑化処理過程をコンピュ
ータに実行させ、前記平均顔３次元モデル作成過程にお
いては、前記平滑化処理過程で平滑化処理された前記平
均顔画像をマッピングする処理をコンピュータに実行さ
せることを特徴とする。
平均顔画像を平滑化処理する平滑化処理過程をコンピュ
ータに実行させ、前記平均顔３次元モデル作成過程にお
いては、前記平滑化処理過程で平滑化処理された前記平
均顔画像をマッピングする処理をコンピュータに実行さ
せることを特徴とする。
【００１８】また、請求項１１に記載の発明は、入力さ
れた入力顔画像を平滑化処理することによって低周波入
力顔画像を生成する平滑化処理過程と、複数のサンプル
顔画像の平均顔画像を基に作成され、視点の角度と関連
付けて記憶されている複数の角度別平均顔画像と、前記
平滑化処理過程で生成された前記低周波入力顔画像との
比較により、前記入力顔画像における顔の角度を決定す
る顔方向判別過程とをコンピュータに実行させることを
特徴とするプログラムを記録したコンピュータ読み取り
可能な記録媒体を要旨とする。
れた入力顔画像を平滑化処理することによって低周波入
力顔画像を生成する平滑化処理過程と、複数のサンプル
顔画像の平均顔画像を基に作成され、視点の角度と関連
付けて記憶されている複数の角度別平均顔画像と、前記
平滑化処理過程で生成された前記低周波入力顔画像との
比較により、前記入力顔画像における顔の角度を決定す
る顔方向判別過程とをコンピュータに実行させることを
特徴とするプログラムを記録したコンピュータ読み取り
可能な記録媒体を要旨とする。
【００１９】また、請求項１２に記載の発明は、入力さ
れた入力顔画像を平滑化処理することによって低周波入
力顔画像を生成する平滑化処理過程と、複数のサンプル
顔画像から生成される平均顔画像を顔の形状を表す標準
顔形状モデルにマッピングすることにより得られる平均
顔３次元モデルを基に、前記平均顔３次元モデルに対す
る視点の角度と、各々の角度毎の視点から前記平均顔３
次元モデルを見たときの角度別平均顔画像とを関連付け
て生成する角度別平均顔画像データ生成過程と、前記低
周波入力顔画像と前記角度別平均化顔画像との比較によ
り、前記入力顔画像における顔の角度を決定する顔方向
判別過程とをコンピュータに実行させることを特徴とす
るプログラムを記録したコンピュータ読み取り可能な記
録媒体を要旨とする。
れた入力顔画像を平滑化処理することによって低周波入
力顔画像を生成する平滑化処理過程と、複数のサンプル
顔画像から生成される平均顔画像を顔の形状を表す標準
顔形状モデルにマッピングすることにより得られる平均
顔３次元モデルを基に、前記平均顔３次元モデルに対す
る視点の角度と、各々の角度毎の視点から前記平均顔３
次元モデルを見たときの角度別平均顔画像とを関連付け
て生成する角度別平均顔画像データ生成過程と、前記低
周波入力顔画像と前記角度別平均化顔画像との比較によ
り、前記入力顔画像における顔の角度を決定する顔方向
判別過程とをコンピュータに実行させることを特徴とす
るプログラムを記録したコンピュータ読み取り可能な記
録媒体を要旨とする。
【００２０】また、請求項１３に記載の発明は、物品の
方向の検出のための画像処理装置であって、複数のサン
プル物品画像を基に平均物品画像を生成する平均物品デ
ータ作成手段と、前記平均物品画像を、物品の形状を表
す標準物品形状モデルにマッピングすることにより平均
物品３次元モデルを生成する平均物品３次元モデル作成
手段と、前記平均物品３次元モデルに対する視点の角度
と、各々の角度毎の視点から前記平均物品３次元モデル
を見たときの角度別平均物品画像とを関連付けて生成す
るデータベース作成手段とを備えることを特徴とする画
像処理装置を要旨とする。
方向の検出のための画像処理装置であって、複数のサン
プル物品画像を基に平均物品画像を生成する平均物品デ
ータ作成手段と、前記平均物品画像を、物品の形状を表
す標準物品形状モデルにマッピングすることにより平均
物品３次元モデルを生成する平均物品３次元モデル作成
手段と、前記平均物品３次元モデルに対する視点の角度
と、各々の角度毎の視点から前記平均物品３次元モデル
を見たときの角度別平均物品画像とを関連付けて生成す
るデータベース作成手段とを備えることを特徴とする画
像処理装置を要旨とする。
【００２１】また、請求項１４に記載の発明は、物品の
方向の検出のための画像処理装置であって、入力された
入力物品画像を平滑化処理することによって低周波入力
物品画像を生成する平滑化処理手段と、複数のサンプル
物品画像の平均物品画像を基に作成され、視点の角度と
関連付けて記憶されている複数の角度別平均物品画像
と、前記低周波入力物品画像との比較により、前記入力
物品画像における物品の向きの角度を決定する物品方向
判別手段とを備えることを特徴とする画像処理装置を要
旨とする。
方向の検出のための画像処理装置であって、入力された
入力物品画像を平滑化処理することによって低周波入力
物品画像を生成する平滑化処理手段と、複数のサンプル
物品画像の平均物品画像を基に作成され、視点の角度と
関連付けて記憶されている複数の角度別平均物品画像
と、前記低周波入力物品画像との比較により、前記入力
物品画像における物品の向きの角度を決定する物品方向
判別手段とを備えることを特徴とする画像処理装置を要
旨とする。
【００２２】
【発明の実施の形態】以下、図面を参照しこの発明の一
実施形態について説明する。図１は、同実施形態による
画像処理装置の機能構成を示すブロック図である。図１
において、符号２０は顔画像入力手段、２１はモザイク
処理手段（平滑化処理手段）、２２は顔方向判別手段で
ある。また、１１は平均顔データ作成手段、１２はモザ
イク処理手段（平滑化処理手段）、１３は３次元顔モデ
ル作成手段、１４は３次元マッピング手段（平均顔３次
元モデル作成手段）、１５は平均顔３次元モデル任意方
向回転手段、１６は２次元データベース作成手段（デー
タベース作成手段）である。
実施形態について説明する。図１は、同実施形態による
画像処理装置の機能構成を示すブロック図である。図１
において、符号２０は顔画像入力手段、２１はモザイク
処理手段（平滑化処理手段）、２２は顔方向判別手段で
ある。また、１１は平均顔データ作成手段、１２はモザ
イク処理手段（平滑化処理手段）、１３は３次元顔モデ
ル作成手段、１４は３次元マッピング手段（平均顔３次
元モデル作成手段）、１５は平均顔３次元モデル任意方
向回転手段、１６は２次元データベース作成手段（デー
タベース作成手段）である。
【００２３】図２は、同画像処理装置におけるデータの
流れを示すデータ構成図である。図２において、符号３
１は複数の個人の正面顔をサンプルとして撮像して得ら
れたサンプル正面顔画像データ、３２はサンプル正面顔
画像データ３１を基にモザイク処理等を経て生成された
平均正面顔画像データ、３３は平均正面顔画像データ３
２を基に生成された低周波平均正面顔画像データであ
る。
流れを示すデータ構成図である。図２において、符号３
１は複数の個人の正面顔をサンプルとして撮像して得ら
れたサンプル正面顔画像データ、３２はサンプル正面顔
画像データ３１を基にモザイク処理等を経て生成された
平均正面顔画像データ、３３は平均正面顔画像データ３
２を基に生成された低周波平均正面顔画像データであ
る。
【００２４】また、３４は予め用意されている標準顔形
状モデルデータであり、この標準顔形状モデルデータ３
４は標準的な顔の３次元形状を表している。そして３５
は平均顔３次元モデルデータであり、この平均顔３次元
モデルデータ３５は、標準顔形状モデルデータ３４が表
す顔上に平均正面顔画像データ３２または低周波平均正
面顔画像データ３３を用いてテクスチャマッピング処理
を行うことによって得られる。よって、平均顔３次元モ
デルデータ３５には、標準顔形状モデルデータ３４から
受け継いだ３次元形状の情報が含まれている。次に、３
６は角度別平均顔画像データであり、この角度別顔画像
データ３６は、平均顔３次元モデルデータ３５が表す３
次元モデルを所定の角度毎に回転させて投影することに
よって得られる。また４１は新規に入力される入力顔画
像データであり、４２は入力顔画像データ４１を基にモ
ザイク処理等を経て生成される低周波入力顔画像データ
である。具体的には、入力画像は、自動車に搭載されて
ドライバーを撮影するカメラや、自律移動型ロボットに
搭載されたカメラにより得られた未知の顔の画像データ
である。
状モデルデータであり、この標準顔形状モデルデータ３
４は標準的な顔の３次元形状を表している。そして３５
は平均顔３次元モデルデータであり、この平均顔３次元
モデルデータ３５は、標準顔形状モデルデータ３４が表
す顔上に平均正面顔画像データ３２または低周波平均正
面顔画像データ３３を用いてテクスチャマッピング処理
を行うことによって得られる。よって、平均顔３次元モ
デルデータ３５には、標準顔形状モデルデータ３４から
受け継いだ３次元形状の情報が含まれている。次に、３
６は角度別平均顔画像データであり、この角度別顔画像
データ３６は、平均顔３次元モデルデータ３５が表す３
次元モデルを所定の角度毎に回転させて投影することに
よって得られる。また４１は新規に入力される入力顔画
像データであり、４２は入力顔画像データ４１を基にモ
ザイク処理等を経て生成される低周波入力顔画像データ
である。具体的には、入力画像は、自動車に搭載されて
ドライバーを撮影するカメラや、自律移動型ロボットに
搭載されたカメラにより得られた未知の顔の画像データ
である。
【００２５】次に、本画像処理装置におけるデータベー
ス生成過程および顔方向検出過程それぞれの処理の流れ
について図１および図２をもとに説明する。
ス生成過程および顔方向検出過程それぞれの処理の流れ
について図１および図２をもとに説明する。
【００２６】（１）データベース作成過程 まず平均顔データ作成手段１１が、複数のサンプル正面
顔画像データ３１を基に画像の正規化を行う。ここで画
像の正規化とは、複数の画像のサイズを揃え、画像上の
顔の位置を揃える、あるいは照明条件による画像のばら
つきを抑えるための明度の正規化などといった処理であ
る。ここでは、正規化後のサンプル画像数をＭ、それぞ
れのサンプル画像のサイズを縦横それぞれｉピクセルお
よびｊピクセルとする。そして、Ｍ個のサンプル画像を
それぞれ
顔画像データ３１を基に画像の正規化を行う。ここで画
像の正規化とは、複数の画像のサイズを揃え、画像上の
顔の位置を揃える、あるいは照明条件による画像のばら
つきを抑えるための明度の正規化などといった処理であ
る。ここでは、正規化後のサンプル画像数をＭ、それぞ
れのサンプル画像のサイズを縦横それぞれｉピクセルお
よびｊピクセルとする。そして、Ｍ個のサンプル画像を
それぞれ
【数１】 で表し（但し、ｍはサンプル番号であり、１≦ｍ≦
Ｍ）、各々のサンプル画像
Ｍ）、各々のサンプル画像
【数２】 の（ｉ×ｊ）個のピクセル値を
【数３】 と表すものとする。ここで、ピクセル値としては各ピク
セルの輝度（濃度）値を用いる。あるいは、輝度値の代
わりに色情報（例えばＲＧＢ３原色の値）を用いても良
い。なお、この正規化の段階でサンプル画像の顔領域以
外の背景色を揃える処理を行っても良い。
セルの輝度（濃度）値を用いる。あるいは、輝度値の代
わりに色情報（例えばＲＧＢ３原色の値）を用いても良
い。なお、この正規化の段階でサンプル画像の顔領域以
外の背景色を揃える処理を行っても良い。
【００２７】そして、平均顔データ作成手段１１は正規
化された複数の画像を平均化する処理を行い、平均正面
顔画像データ３２を生成する。ここで平均化とは、上記
Ｍ個のサンプル画像を基に平均画像を生成する処理であ
り、平均画像
化された複数の画像を平均化する処理を行い、平均正面
顔画像データ３２を生成する。ここで平均化とは、上記
Ｍ個のサンプル画像を基に平均画像を生成する処理であ
り、平均画像
【数４】 の定義は、次式で表される。
【数５】 次いで、モザイク処理手段１２は、この平均正面顔画像
データ３２に、必要に応じてモザイク処理を施し、低周
波平均正面顔画像データ３３を生成する。
データ３２に、必要に応じてモザイク処理を施し、低周
波平均正面顔画像データ３３を生成する。
【００２８】次に、３次元マッピング手段１４は、上記
の平均正面顔画像データ３２または低周波平均正面顔画
像データ３３を、予め３次元顔モデル作成手段１３によ
って作成された標準顔形状モデルデータ３４が表す３次
元モデルの表面に貼り付けるテクスチャマッピング処理
を行い、平均顔３次元モデルデータ３５を生成する。な
おこの際、後頭部に相当する部分にマッピングするテク
スチャデータとしては、サンプル正面顔画像データ３１
の撮像時に同時に撮像した後頭部画像を平均化したもの
を用いても良いし、予め用意した標準的な後頭部画像を
用いても良い。
の平均正面顔画像データ３２または低周波平均正面顔画
像データ３３を、予め３次元顔モデル作成手段１３によ
って作成された標準顔形状モデルデータ３４が表す３次
元モデルの表面に貼り付けるテクスチャマッピング処理
を行い、平均顔３次元モデルデータ３５を生成する。な
おこの際、後頭部に相当する部分にマッピングするテク
スチャデータとしては、サンプル正面顔画像データ３１
の撮像時に同時に撮像した後頭部画像を平均化したもの
を用いても良いし、予め用意した標準的な後頭部画像を
用いても良い。
【００２９】最後に、平均顔３次元モデル任意方向回転
手段１５は、上記の平均顔３次元モデルデータ３５が表
す３次元顔モデルを所定角度ステップで回転させ各々の
ステップにおいて一定方向から投射して得られる角度別
平均顔画像データ３６を、２次元データベース作成手段
１６がデータベースに格納する。なお、ここで回転軸は
１種類に限らず、複数の回転軸それぞれについての回転
を複合させ各々の軸毎の所定角度ステップの組み合わせ
で角度別平均顔画像データを作成しても良い。また、回
転の方向は、水平方向、前後方向、左右方向等、任意で
ある。
手段１５は、上記の平均顔３次元モデルデータ３５が表
す３次元顔モデルを所定角度ステップで回転させ各々の
ステップにおいて一定方向から投射して得られる角度別
平均顔画像データ３６を、２次元データベース作成手段
１６がデータベースに格納する。なお、ここで回転軸は
１種類に限らず、複数の回転軸それぞれについての回転
を複合させ各々の軸毎の所定角度ステップの組み合わせ
で角度別平均顔画像データを作成しても良い。また、回
転の方向は、水平方向、前後方向、左右方向等、任意で
ある。
【００３０】（２）顔方向検出過程 この顔方向検出過程においては、まず、顔画像入力手段
２０から取り込まれた未知の画像を基に、エッジ抽出処
理によって得られる物体エッジ形状情報や色情報等を利
用して顔領域を抽出し、また顔領域画像のサイズを正規
化することによって入力顔画像データ４１を得る。なお
この際、データベース作成過程における場合と同様に、
背景色を揃える処理を行っても良い。
２０から取り込まれた未知の画像を基に、エッジ抽出処
理によって得られる物体エッジ形状情報や色情報等を利
用して顔領域を抽出し、また顔領域画像のサイズを正規
化することによって入力顔画像データ４１を得る。なお
この際、データベース作成過程における場合と同様に、
背景色を揃える処理を行っても良い。
【００３１】次に、モザイク処理手段２１は、上記入力
顔画像データ４１にモザイク処理を施して、低周波入力
顔画像データ４２を出力する。そして、顔方向判別手段
２２は、低周波入力顔画像データ４２と前述の角度別平
均顔画像データ３６における各角度のデータとを比較
し、最も相関度の高い画像データを決定することによ
り、入力された顔画像の方向を判別する。
顔画像データ４１にモザイク処理を施して、低周波入力
顔画像データ４２を出力する。そして、顔方向判別手段
２２は、低周波入力顔画像データ４２と前述の角度別平
均顔画像データ３６における各角度のデータとを比較
し、最も相関度の高い画像データを決定することによ
り、入力された顔画像の方向を判別する。
【００３２】なお、相関度算出方法の一例は、次の通り
である。低周波入力顔画像データ４２の各ピクセルｆ
（ｘ，ｙ）と、角度別平均顔画像データ３６における任
意角度の画像の各ピクセルｔ（ｘ，ｙ）について画像間
の非類似度を求める。非類似度は、次の数式のいずれか
などによって求めることができる。
である。低周波入力顔画像データ４２の各ピクセルｆ
（ｘ，ｙ）と、角度別平均顔画像データ３６における任
意角度の画像の各ピクセルｔ（ｘ，ｙ）について画像間
の非類似度を求める。非類似度は、次の数式のいずれか
などによって求めることができる。
【数６】
【数７】
【数８】 非類似度の値が小さいほど、２つの画像の相関度が高く
なる。本実施例では、あらゆる方向に対して一定間隔
（例えば、１０度間隔）で角度別平均顔画像データ３６
を作成し、それらと入力画像との相関度計算によって認
識を行うが、車両ドライバーの顔向き検知など、予め顔
の動く範囲がある程度特定できる場合には、認識範囲を
狭くしたり、間隔を１０度間隔から例えば５度間隔にす
るなどして、精度を高めることもできる。逆に、間隔を
大きくすることで顔向き検知の精度を犠牲にする代わり
にシステムの高速化を図ることも可能である。また、相
関度計算をする角度を、上記のように一定間隔で連続的
に行うのではなく、遺伝的アルゴリズムなどの利用によ
り離散的に行うことも可能である。
なる。本実施例では、あらゆる方向に対して一定間隔
（例えば、１０度間隔）で角度別平均顔画像データ３６
を作成し、それらと入力画像との相関度計算によって認
識を行うが、車両ドライバーの顔向き検知など、予め顔
の動く範囲がある程度特定できる場合には、認識範囲を
狭くしたり、間隔を１０度間隔から例えば５度間隔にす
るなどして、精度を高めることもできる。逆に、間隔を
大きくすることで顔向き検知の精度を犠牲にする代わり
にシステムの高速化を図ることも可能である。また、相
関度計算をする角度を、上記のように一定間隔で連続的
に行うのではなく、遺伝的アルゴリズムなどの利用によ
り離散的に行うことも可能である。
【００３３】次に、本発明による顔方向検出精度向上の
原理について説明する。図３は、顔画像の特徴空間にお
けるデータの分布を示す概念図である。なお、この図３
では多次元の特徴空間を抽象し２次元的に表している。
図３において、符号１Ａ，２Ａ，３Ａ，４Ａ，５Ａはそ
れぞれ角度別平均顔画像データにおける５つの角度のデ
ータの位置である。また、１Ｒ，２Ｒ，３Ｒ，４Ｒ，５
Ｒは、それぞれの角度におけるサンプル顔画像の分布範
囲である。また、１Ｓ，２Ｓ，３Ｓ，４Ｓ，５Ｓは、そ
れぞれの角度における特定のサンプル顔画像の位置であ
る。
原理について説明する。図３は、顔画像の特徴空間にお
けるデータの分布を示す概念図である。なお、この図３
では多次元の特徴空間を抽象し２次元的に表している。
図３において、符号１Ａ，２Ａ，３Ａ，４Ａ，５Ａはそ
れぞれ角度別平均顔画像データにおける５つの角度のデ
ータの位置である。また、１Ｒ，２Ｒ，３Ｒ，４Ｒ，５
Ｒは、それぞれの角度におけるサンプル顔画像の分布範
囲である。また、１Ｓ，２Ｓ，３Ｓ，４Ｓ，５Ｓは、そ
れぞれの角度における特定のサンプル顔画像の位置であ
る。
【００３４】ここで、Ｕが入力顔画像データの位置であ
るとすると、このＵに位置する入力顔画像データは、本
空間内距離において、１Ａ〜５Ａのうち４Ａと最も近
く、従って４Ａに位置する画像との相関度が最も高いと
判定され、顔方向が決定される。一方、このＵをサンプ
ル画像１Ｓ〜５Ｓの各位置と比較した場合には３Ｓが最
も近く、Ｕの顔方向は３Ａと判定されることになり、前
述の判定結果とは異なった結果が出力されることにな
る。ここで仮に、入力顔画像Ｕとサンプル画像３Ｓの人
物が同一人物であった場合、Ｕの顔方向はむしろ３Ｓ
（３Ａ）のほうが精度の高い解であるとも言えるので、
Ｕに対する顔方向認識結果において、４Ａが正答、３Ａ
が誤答であると一概に決定することはできない。しか
し、実際の顔方向認識処理過程においては、入力顔画像
の人物が、装置の平均顔モデルデータ作成時のサンプル
中に含まれているとは限らない。そのため、サンプル顔
画像が持つ個人的顔特徴に過度の影響を受けること無
く、より一般的な解（顔方向）を出力する手法が必要と
なる。本発明によれば、未知画像が入力されたときに、
大人数の平均顔を基にした角度別顔画像データと比較す
ることによって顔向き判定を行うため、特定人物サンプ
ル画像との比較を行う場合よりも、より普遍性のある顔
向き認識結果を得ることができる。また、膨大な人数の
サンプルそれぞれに対し、各顔方向（顔向き）ごとの顔
画像を撮影してデータベースに保持しておく必要もない
ことから、データベース作成に必要とされる記憶容量が
少なくて済む効果もある。
るとすると、このＵに位置する入力顔画像データは、本
空間内距離において、１Ａ〜５Ａのうち４Ａと最も近
く、従って４Ａに位置する画像との相関度が最も高いと
判定され、顔方向が決定される。一方、このＵをサンプ
ル画像１Ｓ〜５Ｓの各位置と比較した場合には３Ｓが最
も近く、Ｕの顔方向は３Ａと判定されることになり、前
述の判定結果とは異なった結果が出力されることにな
る。ここで仮に、入力顔画像Ｕとサンプル画像３Ｓの人
物が同一人物であった場合、Ｕの顔方向はむしろ３Ｓ
（３Ａ）のほうが精度の高い解であるとも言えるので、
Ｕに対する顔方向認識結果において、４Ａが正答、３Ａ
が誤答であると一概に決定することはできない。しか
し、実際の顔方向認識処理過程においては、入力顔画像
の人物が、装置の平均顔モデルデータ作成時のサンプル
中に含まれているとは限らない。そのため、サンプル顔
画像が持つ個人的顔特徴に過度の影響を受けること無
く、より一般的な解（顔方向）を出力する手法が必要と
なる。本発明によれば、未知画像が入力されたときに、
大人数の平均顔を基にした角度別顔画像データと比較す
ることによって顔向き判定を行うため、特定人物サンプ
ル画像との比較を行う場合よりも、より普遍性のある顔
向き認識結果を得ることができる。また、膨大な人数の
サンプルそれぞれに対し、各顔方向（顔向き）ごとの顔
画像を撮影してデータベースに保持しておく必要もない
ことから、データベース作成に必要とされる記憶容量が
少なくて済む効果もある。
【００３５】また、モザイク処理手段２１が、入力顔画
像データ４１にモザイク処理を行って得られる低周波入
力顔画像データ４２を用いて角度別平均顔画像データ３
６と比較するので、顔の個人差の影響を受けずに顔方向
を検出することができる。また、モザイク処理手段１２
が平均正面顔画像データ３２にモザイク処理を行って得
られる低周波平均正面顔画像データ３３を用いて平均顔
３次元モデルデータ３５を生成する場合には、さらに顔
の個人差の影響を受けずに顔方向を検出することができ
る。
像データ４１にモザイク処理を行って得られる低周波入
力顔画像データ４２を用いて角度別平均顔画像データ３
６と比較するので、顔の個人差の影響を受けずに顔方向
を検出することができる。また、モザイク処理手段１２
が平均正面顔画像データ３２にモザイク処理を行って得
られる低周波平均正面顔画像データ３３を用いて平均顔
３次元モデルデータ３５を生成する場合には、さらに顔
の個人差の影響を受けずに顔方向を検出することができ
る。
【００３６】なお、上記実施形態では、予め角度別平均
顔画像データを生成してデータベースに保持しておき、
このデータを取り出して入力画像と比較するものとして
いるが、角度別平均顔画像データをデータベースから読
み出す代わりにその都度計算を行うことにより任意角度
から見た平均顔画像データを生成して入力画像と比較す
るようにしても良い。
顔画像データを生成してデータベースに保持しておき、
このデータを取り出して入力画像と比較するものとして
いるが、角度別平均顔画像データをデータベースから読
み出す代わりにその都度計算を行うことにより任意角度
から見た平均顔画像データを生成して入力画像と比較す
るようにしても良い。
【００３７】そのためには、例えば、入力顔画像を平滑
化処理することによって低周波入力顔画像を生成する平
滑化処理手段と、平均顔画像を標準顔形状モデルにマッ
ピングして得られる平均顔３次元モデルを基にこの平均
顔３次元モデルに対する視点の角度と各々の角度毎の視
点から前記平均顔３次元モデルを見たときの角度別平均
顔画像とを関連付けて生成する角度別平均顔画像データ
生成手段と、低周波入力顔画像と角度別平均化顔画像と
の比較により入力顔画像における顔の角度を決定する顔
方向判別手段とによって画像処理装置を構成する。これ
により、より少ない記憶容量で済むとともに、回転角度
のステップを動的に変えることも可能となる。
化処理することによって低周波入力顔画像を生成する平
滑化処理手段と、平均顔画像を標準顔形状モデルにマッ
ピングして得られる平均顔３次元モデルを基にこの平均
顔３次元モデルに対する視点の角度と各々の角度毎の視
点から前記平均顔３次元モデルを見たときの角度別平均
顔画像とを関連付けて生成する角度別平均顔画像データ
生成手段と、低周波入力顔画像と角度別平均化顔画像と
の比較により入力顔画像における顔の角度を決定する顔
方向判別手段とによって画像処理装置を構成する。これ
により、より少ない記憶容量で済むとともに、回転角度
のステップを動的に変えることも可能となる。
【００３８】なお、上述の画像処理装置は、内部にコン
ピュータを用いて構成しても良い。この場合、上述した
平均顔データ作成、モザイク処理、３次元顔モデル作
成、３次元マッピング、平均顔任意方向３次元モデル作
成、２次元データベース作成、顔方向判別等の各過程ま
たはこれらの過程の一部は、プログラムの形式でコンピ
ュータ読み取り可能な記録媒体に記憶されており、この
プログラムをコンピュータが読み出して実行することに
よって、上記処理が行われる。ここでコンピュータ読み
取り可能な記録媒体とは、フロッピー（登録商標）ディ
スク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気ハードディ
スク、半導体メモリ等をいう。
ピュータを用いて構成しても良い。この場合、上述した
平均顔データ作成、モザイク処理、３次元顔モデル作
成、３次元マッピング、平均顔任意方向３次元モデル作
成、２次元データベース作成、顔方向判別等の各過程ま
たはこれらの過程の一部は、プログラムの形式でコンピ
ュータ読み取り可能な記録媒体に記憶されており、この
プログラムをコンピュータが読み出して実行することに
よって、上記処理が行われる。ここでコンピュータ読み
取り可能な記録媒体とは、フロッピー（登録商標）ディ
スク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気ハードディ
スク、半導体メモリ等をいう。
【００３９】以上、人間の顔を具体例として、その方向
を検出するための構成を説明したが、対象は人間の顔に
限定されず、全体の形状や表面のデザインや色等がある
程度定まっている一般的な物品の向きの判定に本発明を
適用しても良い。物品とは、例えば携帯型電話端末その
他であり、個別のサンプル物品の平均画像を用いる本発
明の適用により、これらの物品の向きを認識する画像処
理装置を提供することが可能となる。また、このような
画像処理装置をロボット等における認識処理に応用して
も良い。
を検出するための構成を説明したが、対象は人間の顔に
限定されず、全体の形状や表面のデザインや色等がある
程度定まっている一般的な物品の向きの判定に本発明を
適用しても良い。物品とは、例えば携帯型電話端末その
他であり、個別のサンプル物品の平均画像を用いる本発
明の適用により、これらの物品の向きを認識する画像処
理装置を提供することが可能となる。また、このような
画像処理装置をロボット等における認識処理に応用して
も良い。
【００４０】
【発明の効果】以上説明したように、この発明によれ
ば、被験者（入力画像の人物）の正面顔画像を、サンプ
ルデータとしてデータベース内に保持していなく、且
つ、初期入力画像が正面顔画像とは限らない（向きが判
ってない）場合でも、人物の顔方向検出が可能となる。
ば、被験者（入力画像の人物）の正面顔画像を、サンプ
ルデータとしてデータベース内に保持していなく、且
つ、初期入力画像が正面顔画像とは限らない（向きが判
ってない）場合でも、人物の顔方向検出が可能となる。
【００４１】また、この発明によれば、複数のサンプル
顔画像を基に平均顔画像を生成するため、そのような平
均顔画像を用いることによって、入力される画像が未知
の人の顔画像であってもその人の顔の方向を算出するこ
とが可能となる。
顔画像を基に平均顔画像を生成するため、そのような平
均顔画像を用いることによって、入力される画像が未知
の人の顔画像であってもその人の顔の方向を算出するこ
とが可能となる。
【００４２】また、この発明によれば、平均顔をモザイ
ク処理することによって顔の個人差の影響を少なくする
ことができるため、入力された顔画像との比較、マッチ
ングが容易になる。また、さらに、入力される顔画像を
モザイク処理することによって顔の個人差の影響を少な
くすることができるため、平均顔との比較、マッチング
が容易になる。
ク処理することによって顔の個人差の影響を少なくする
ことができるため、入力された顔画像との比較、マッチ
ングが容易になる。また、さらに、入力される顔画像を
モザイク処理することによって顔の個人差の影響を少な
くすることができるため、平均顔との比較、マッチング
が容易になる。
【００４３】また、この発明によれば、顔以外の一般の
物品についても同様に扱えるため、個別の物品の正面画
像をサンプルデータとしてデータベース内に保持してい
なく、且つ、初期入力画像が正面画像とは限らない場合
でも、物品の方向検出が可能となる。
物品についても同様に扱えるため、個別の物品の正面画
像をサンプルデータとしてデータベース内に保持してい
なく、且つ、初期入力画像が正面画像とは限らない場合
でも、物品の方向検出が可能となる。
【図１】 この発明の一実施形態による画像処理装置の
機能構成を示すブロック図である。
機能構成を示すブロック図である。
【図２】 同実施形態による顔方向検出のためのデータ
の流れを示すデータ構成図である。
の流れを示すデータ構成図である。
【図３】 同実施形態を用いて顔方向検出を行う場合の
特徴空間における分布を示すグラフである。
特徴空間における分布を示すグラフである。
【図４】 従来技術による顔方向検出のデータの流れを
示すデータ構成図である。
示すデータ構成図である。
１１ 平均顔データ作成手段 １２ モザイク処理手段 １３ ３次元顔モデル作成手段 １４ ３次元マッピング手段 １５ 平均顔３次元モデル任意方向回転手段 １６ ２次元データベース作成手段 ２０ 顔画像入力手段 ２１ モザイク処理手段 ２２ 顔方向判別手段 ３１ サンプル正面顔画像データ ３２ 平均正面顔画像データ ３３ 低周波平均正面顔画像データ ３４ 標準顔形状モデルデータ ３５ 平均顔３次元モデルデータ ３６ 角度別平均顔画像データ ４１ 入力顔画像データ ４２ 低周波入力顔画像データ
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA12 CA16 CB13 CB17 CE05 DA12 DB03 DC08 DC34 DC39 5L096 BA18 DA02 EA06 FA32 FA34 FA46 FA67 JA03 JA22 KA13
Claims (14)
- 【請求項１】 顔の方向の検出のための画像処理装置で
あって、 複数のサンプル顔画像を基に平均顔画像を生成する平均
顔データ作成手段と、 前記平均顔画像を、顔の形状を表す標準顔形状モデルに
マッピングすることにより平均顔３次元モデルを生成す
る平均顔３次元モデル作成手段と、 前記平均顔３次元モデルに対する視点の角度と、各々の
角度毎の視点から前記平均顔３次元モデルを見たときの
角度別平均顔画像とを関連付けて記憶するデータベース
作成手段とを備えることを特徴とする画像処理装置。 - 【請求項２】 前記平均顔画像を平滑化処理する平滑化
処理手段を備え、 前記平均顔３次元モデル作成手段は、平滑化処理された
前記平均顔画像をマッピングすることを特徴とする請求
項１に記載の画像処理装置。 - 【請求項３】 顔の方向の検出のための画像処理装置で
あって、 入力された入力顔画像を平滑化処理することによって低
周波入力顔画像を生成する平滑化処理手段と、 複数のサンプル顔画像の平均顔画像を基に作成され、視
点の角度と関連付けて記憶されている複数の角度別平均
顔画像と、前記低周波入力顔画像との比較により、前記
入力顔画像における顔の角度を決定する顔方向判別手段
とを備えることを特徴とする画像処理装置。 - 【請求項４】 顔の方向の検出のための画像処理装置で
あって、 入力された入力顔画像を平滑化処理することによって低
周波入力顔画像を生成する平滑化処理手段と、 複数のサンプル顔画像から生成される平均顔画像を顔の
形状を表す標準顔形状モデルにマッピングすることによ
り得られる平均顔３次元モデルを基に、前記平均顔３次
元モデルに対する視点の角度と、各々の角度毎の視点か
ら前記平均顔３次元モデルを見たときの角度別平均顔画
像とを関連付けて生成する角度別平均顔画像データ生成
手段と、 前記低周波入力顔画像と前記角度別平均化顔画像との比
較により、前記入力顔画像における顔の角度を決定する
顔方向判別手段とを備えることを特徴とする画像処理装
置。 - 【請求項５】 顔の方向の検出のための画像処理方法で
あって、 複数のサンプル顔画像を基に平均顔画像を生成する平均
顔データ作成過程と、 この平均顔データ作成過程で生成された前記平均顔画像
を、顔の形状を表す標準顔形状モデルにマッピングする
ことにより平均顔モデルを生成する平均顔３次元モデル
作成過程と、 この平均顔３次元モデルを基に、前記平均顔３次元モデ
ルに対する視点の角度と、各々の角度毎の視点から前記
平均顔３次元モデルを見たときの角度別平均顔画像とを
関連付けて記憶するデータベース作成過程とを有するこ
とを特徴とする画像処理方法。 - 【請求項６】 前記平均顔画像を平滑化処理する平滑化
処理過程を有し、 前記平均顔３次元モデル作成過程においては、前記平滑
化処理過程で平滑化処理された前記平均顔画像を標準顔
形状モデルにマッピングすることを特徴とする請求項５
に記載の画像処理方法。 - 【請求項７】 顔の方向の検出のための画像処理方法で
あって、 入力された入力顔画像を平滑化処理することによって低
周波入力顔画像を生成する平滑化処理過程と、 複数のサンプル顔画像の平均顔画像を基に作成され、視
点の角度と関連付けて記憶されている複数の角度別平均
顔画像と、前記平滑化処理過程で生成された前記低周波
入力顔画像との比較により、前記入力顔画像における顔
の角度を決定する顔方向判別過程とを有することを特徴
とする画像処理方法。 - 【請求項８】 顔の方向の検出のための画像処理方法で
あって、 入力された入力顔画像を平滑化処理することによって低
周波入力顔画像を生成する平滑化処理過程と、 複数のサンプル顔画像から生成される平均顔画像を顔の
形状を表す標準顔形状モデルにマッピングすることによ
り得られる平均顔３次元モデルを基に、前記平均顔３次
元モデルに対する視点の角度と、各々の角度毎の視点か
ら前記平均顔３次元モデルを見たときの角度別平均顔画
像とを関連付けて生成する角度別平均顔画像データ生成
過程と、 前記低周波入力顔画像と前記角度別平均化顔画像との比
較により、前記入力顔画像における顔の角度を決定する
顔方向判別過程とを備えることを特徴とする画像処理方
法。 - 【請求項９】 複数のサンプル顔画像を基に平均顔画像
を生成する平均顔データ作成過程と、 この平均顔データ作成過程で生成された前記平均顔画像
を、顔の形状を表す標準顔形状モデルにマッピングする
ことにより平均顔３次元モデルを生成する平均顔３次元
モデル作成過程と、 この平均顔３次元モデルを基に、前記平均顔３次元モデ
ルに対する視点の角度と、各々の角度毎の視点から前記
平均顔３次元モデルを見たときの角度別平均顔画像とを
関連付けて記憶するデータベース作成過程とをコンピュ
ータに実行させることを特徴とするプログラムを記録し
たコンピュータ読み取り可能な記録媒体。 - 【請求項１０】 前記平均顔画像を平滑化処理する平滑
化処理過程をコンピュータに実行させ、 前記平均顔３次元モデル作成過程においては、前記平滑
化処理過程で平滑化処理された前記平均顔画像をマッピ
ングする処理をコンピュータに実行させることを特徴と
するプログラムを記録した請求項９に記載のコンピュー
タ読み取り可能な記録媒体。 - 【請求項１１】 入力された入力顔画像を平滑化処理す
ることによって低周波入力顔画像を生成する平滑化処理
過程と、 複数のサンプル顔画像の平均顔画像を基に作成され、視
点の角度と関連付けて記憶されている複数の角度別平均
顔画像と、前記平滑化処理過程で生成された前記低周波
入力顔画像との比較により、前記入力顔画像における顔
の角度を決定する顔方向判別過程とをコンピュータに実
行させることを特徴とするプログラムを記録したコンピ
ュータ読み取り可能な記録媒体。 - 【請求項１２】 入力された入力顔画像を平滑化処理す
ることによって低周波入力顔画像を生成する平滑化処理
過程と、 複数のサンプル顔画像から生成される平均顔画像を顔の
形状を表す標準顔形状モデルにマッピングすることによ
り得られる平均顔３次元モデルを基に、前記平均顔３次
元モデルに対する視点の角度と、各々の角度毎の視点か
ら前記平均顔３次元モデルを見たときの角度別平均顔画
像とを関連付けて生成する角度別平均顔画像データ生成
過程と、 前記低周波入力顔画像と前記角度別平均化顔画像との比
較により、前記入力顔画像における顔の角度を決定する
顔方向判別過程とをコンピュータに実行させることを特
徴とするプログラムを記録したコンピュータ読み取り可
能な記録媒体。 - 【請求項１３】 物品の方向の検出のための画像処理装
置であって、 複数のサンプル物品画像を基に平均物品画像を生成する
平均物品データ作成手段と、 前記平均物品画像を、物品の形状を表す標準物品形状モ
デルにマッピングすることにより平均物品３次元モデル
を生成する平均物品３次元モデル作成手段と、 前記平均物品３次元モデルに対する視点の角度と、各々
の角度毎の視点から前記平均物品３次元モデルを見たと
きの角度別平均物品画像とを関連付けて生成するデータ
ベース作成手段とを備えることを特徴とする画像処理装
置。 - 【請求項１４】 物品の方向の検出のための画像処理装
置であって、 入力された入力物品画像を平滑化処理することによって
低周波入力物品画像を生成する平滑化処理手段と、 複数のサンプル物品画像の平均物品画像を基に作成さ
れ、視点の角度と関連付けて記憶されている複数の角度
別平均物品画像と、前記低周波入力物品画像との比較に
より、前記入力物品画像における物品の向きの角度を決
定する物品方向判別手段とを備えることを特徴とする画
像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000103659A JP4476424B2 (ja) | 2000-04-05 | 2000-04-05 | 画像処理装置およびその方法ならびにプログラム記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000103659A JP4476424B2 (ja) | 2000-04-05 | 2000-04-05 | 画像処理装置およびその方法ならびにプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001291108A true JP2001291108A (ja) | 2001-10-19 |
| JP4476424B2 JP4476424B2 (ja) | 2010-06-09 |
Family
ID=18617325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000103659A Expired - Fee Related JP4476424B2 (ja) | 2000-04-05 | 2000-04-05 | 画像処理装置およびその方法ならびにプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4476424B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004259043A (ja) * | 2003-02-26 | 2004-09-16 | Toyota Motor Corp | 向き方向検出装置および向き方向検出方法 |
| KR100450210B1 (ko) * | 2002-10-25 | 2004-09-24 | (주)엔룩스 | 3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된기록매체 |
| JP2006527882A (ja) * | 2003-06-17 | 2006-12-07 | 三菱電機株式会社 | 画像内の特定のオブジェクトを検出する方法及びシステム |
| JP2006343859A (ja) * | 2005-06-07 | 2006-12-21 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| JP2009037540A (ja) * | 2007-08-03 | 2009-02-19 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
| US7522752B2 (en) | 2004-08-27 | 2009-04-21 | Aisin Seiki Kabushiki Kaisha | Central location of a face detecting device, method and program |
| US7616789B2 (en) | 2002-05-13 | 2009-11-10 | Fujifilm Corporation | Method and apparatus for forming images and image furnishing service system |
| JP2009301170A (ja) * | 2008-06-11 | 2009-12-24 | Sony Corp | 画像処理装置および画像処理方法 |
| US7756302B2 (en) | 2005-06-02 | 2010-07-13 | Seiko Epson Corporation | Method and apparatus for detecting face orientation, and recording medium having recorded program for executing the method |
| US8098887B2 (en) | 2007-02-08 | 2012-01-17 | Denso Corporation | Face tracking device |
| JP2014186496A (ja) * | 2013-03-22 | 2014-10-02 | Toyota Central R&D Labs Inc | 対象物姿勢推定装置、及びプログラム |
| US8971613B2 (en) | 2010-07-07 | 2015-03-03 | Nec Corporation | Image processing learning device, image processing learning method, and image processing learning program |
| JP2019527448A (ja) * | 2016-07-21 | 2019-09-26 | ゲシュティゴン、ゲゼルシャフト、ミット、ベシュレンクテル、ハフツングＧｅｓｔｉｇｏｎ Ｇｍｂｈ | 車両の運転者の状態を監視するための方法及びシステム |
| US10740934B2 (en) | 2016-03-31 | 2020-08-11 | Nec Corporation | Flow line display system, flow line display method, and program recording medium |
-
2000
- 2000-04-05 JP JP2000103659A patent/JP4476424B2/ja not_active Expired - Fee Related
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7616789B2 (en) | 2002-05-13 | 2009-11-10 | Fujifilm Corporation | Method and apparatus for forming images and image furnishing service system |
| KR100450210B1 (ko) * | 2002-10-25 | 2004-09-24 | (주)엔룩스 | 3차원 스캔 얼굴모델의 합성 시스템과 그 방법 및 3차원스캔 얼굴모델의 합성기능을 갖춘 프로그램이 수록된기록매체 |
| JP2004259043A (ja) * | 2003-02-26 | 2004-09-16 | Toyota Motor Corp | 向き方向検出装置および向き方向検出方法 |
| JP2006527882A (ja) * | 2003-06-17 | 2006-12-07 | 三菱電機株式会社 | 画像内の特定のオブジェクトを検出する方法及びシステム |
| US7522752B2 (en) | 2004-08-27 | 2009-04-21 | Aisin Seiki Kabushiki Kaisha | Central location of a face detecting device, method and program |
| US7756302B2 (en) | 2005-06-02 | 2010-07-13 | Seiko Epson Corporation | Method and apparatus for detecting face orientation, and recording medium having recorded program for executing the method |
| JP2006343859A (ja) * | 2005-06-07 | 2006-12-21 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
| US8098887B2 (en) | 2007-02-08 | 2012-01-17 | Denso Corporation | Face tracking device |
| JP2009037540A (ja) * | 2007-08-03 | 2009-02-19 | Casio Comput Co Ltd | 撮像装置及びそのプログラム |
| JP4569670B2 (ja) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2009301170A (ja) * | 2008-06-11 | 2009-12-24 | Sony Corp | 画像処理装置および画像処理方法 |
| US8971613B2 (en) | 2010-07-07 | 2015-03-03 | Nec Corporation | Image processing learning device, image processing learning method, and image processing learning program |
| JP2014186496A (ja) * | 2013-03-22 | 2014-10-02 | Toyota Central R&D Labs Inc | 対象物姿勢推定装置、及びプログラム |
| US10740934B2 (en) | 2016-03-31 | 2020-08-11 | Nec Corporation | Flow line display system, flow line display method, and program recording medium |
| US11276210B2 (en) | 2016-03-31 | 2022-03-15 | Nec Corporation | Flow line display system, flow line display method, and program recording medium |
| JP2019527448A (ja) * | 2016-07-21 | 2019-09-26 | ゲシュティゴン、ゲゼルシャフト、ミット、ベシュレンクテル、ハフツングＧｅｓｔｉｇｏｎ Ｇｍｂｈ | 車両の運転者の状態を監視するための方法及びシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4476424B2 (ja) | 2010-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Papazov et al. | Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features | |
| US9747493B2 (en) | Face pose rectification method and apparatus | |
| CN106372629B (zh) | 一种活体检测方法和装置 | |
| AU2011301774B2 (en) | A method for enhancing depth maps | |
| Rekik et al. | A new visual speech recognition approach for RGB-D cameras | |
| CN110276317B (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
| US20090309878A1 (en) | Image processing apparatus and image processing method | |
| US20130051626A1 (en) | Method And Apparatus For Object Pose Estimation | |
| US20010000025A1 (en) | Method and apparatus for personnel detection and tracking | |
| JP4476424B2 (ja) | 画像処理装置およびその方法ならびにプログラム記録媒体 | |
| KR20160029629A (ko) | 얼굴 인식 방법 및 장치 | |
| Boutellaa et al. | On the use of Kinect depth data for identity, gender and ethnicity classification from facial images | |
| JP6191943B2 (ja) | 視線方向推定装置、視線方向推定装置および視線方向推定プログラム | |
| JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
| EP3198522A1 (en) | A face pose rectification method and apparatus | |
| JP2012043308A (ja) | 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム | |
| JP3454726B2 (ja) | 顔向き検出方法及びその装置 | |
| JP2006343859A (ja) | 画像処理装置及び画像処理方法 | |
| JP2002024811A (ja) | 影成分除去装置 | |
| Niese et al. | A Novel Method for 3D Face Detection and Normalization. | |
| CN111652018B (zh) | 一种人脸注册方法和认证方法 | |
| JP4141090B2 (ja) | 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体 | |
| CN112990047B (zh) | 一种结合面部角度信息的多姿态人脸验证方法 | |
| CN113128320B (zh) | 基于tof相机的人脸活体检测方法、检测装置及电子设备 | |
| JP2008059108A (ja) | 画像処理装置，画像処理方法、そのプログラムおよび人流監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100310 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |