JP2000132688A - 顔パーツ検出方法及びその装置 - Google Patents
顔パーツ検出方法及びその装置Info
- Publication number
- JP2000132688A JP2000132688A JP10308183A JP30818398A JP2000132688A JP 2000132688 A JP2000132688 A JP 2000132688A JP 10308183 A JP10308183 A JP 10308183A JP 30818398 A JP30818398 A JP 30818398A JP 2000132688 A JP2000132688 A JP 2000132688A
- Authority
- JP
- Japan
- Prior art keywords
- face part
- mouth
- face
- probability distribution
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 顔のパーツの配置に関する先見的な知識を確
率分布の形で表し、テンプレートマッチングとの結果と
統合することにより、精度良く目、口の位置を抽出する
ことを目的とする。 【解決手段】 サンプル画像から検出された顔パーツ位
置の座標が正規分布に従うと仮定し、データの共分散行
列を計算して正規分布のパラメータを予めオフラインで
算出する位置情報学習ステップと、位置情報学習手段に
より算出された顔パーツ位置の正規確率分布と、テンプ
レートマッチングにより求められた、入力画像の各画素
位置における顔パーツ（右目、左目、口、鼻）の存在確
率との加重平均が、最も高い位置を顔パーツの位置とす
る顔パーツ探索ステップ３０３−３０６を設けたもの
で、顔のパーツの配置に関する先見的な知識を顔探索に
直接活かすことが可能になり、精度良く目、口の位置を
抽出することができる。
率分布の形で表し、テンプレートマッチングとの結果と
統合することにより、精度良く目、口の位置を抽出する
ことを目的とする。 【解決手段】 サンプル画像から検出された顔パーツ位
置の座標が正規分布に従うと仮定し、データの共分散行
列を計算して正規分布のパラメータを予めオフラインで
算出する位置情報学習ステップと、位置情報学習手段に
より算出された顔パーツ位置の正規確率分布と、テンプ
レートマッチングにより求められた、入力画像の各画素
位置における顔パーツ（右目、左目、口、鼻）の存在確
率との加重平均が、最も高い位置を顔パーツの位置とす
る顔パーツ探索ステップ３０３−３０６を設けたもの
で、顔のパーツの配置に関する先見的な知識を顔探索に
直接活かすことが可能になり、精度良く目、口の位置を
抽出することができる。
Description
【０００１】
【発明の属する技術分野】本発明は、画像中の目、鼻、
口などの顔のパーツの位置を検出する方法及びその装置
に関するものである。
口などの顔のパーツの位置を検出する方法及びその装置
に関するものである。
【０００２】
【従来の技術】顔のパーツの位置の探索の技術は、顔画
像を使ったセキュリティシステムの実現に必要不可欠な
技術である。２つの顔画像が同一人物のものであるかを
比較する際、顔の濃淡パターンをベースにして抽出され
た顔の特徴が使用されることが多い。このような場合予
め濃淡パターンの大きさ傾きなどを正規化しておかなけ
れば正確な比較が非常に困難になる。正確な正規化のた
めにはまず顔のパーツ（例えば左目と右目）の位置を探
索し、それらの位置が予め定められた基準の位置に一致
するように拡大／縮小、回転などの変換を施す。したが
って、顔のパーツの検出精度が非常に重要となる。
像を使ったセキュリティシステムの実現に必要不可欠な
技術である。２つの顔画像が同一人物のものであるかを
比較する際、顔の濃淡パターンをベースにして抽出され
た顔の特徴が使用されることが多い。このような場合予
め濃淡パターンの大きさ傾きなどを正規化しておかなけ
れば正確な比較が非常に困難になる。正確な正規化のた
めにはまず顔のパーツ（例えば左目と右目）の位置を探
索し、それらの位置が予め定められた基準の位置に一致
するように拡大／縮小、回転などの変換を施す。したが
って、顔のパーツの検出精度が非常に重要となる。
【０００３】また、顔全体のパターンで比べるのではな
く目、鼻、口といった顔の部分パターン毎に比較を行な
いそれらの結果を統合して最終的な判断を行なう方法
や、顔のパーツや特徴点の位置関係を用いて顔の比較を
行なう方法も盛んに研究されている。このような場合に
も顔のパーツの位置が正確に検出されているかどうかが
認識精度に大きな影響を与える。
く目、鼻、口といった顔の部分パターン毎に比較を行な
いそれらの結果を統合して最終的な判断を行なう方法
や、顔のパーツや特徴点の位置関係を用いて顔の比較を
行なう方法も盛んに研究されている。このような場合に
も顔のパーツの位置が正確に検出されているかどうかが
認識精度に大きな影響を与える。
【０００４】従来、顔のパーツの位置の探索に関しては
テンプレートマッチング法が知られている。テンプレー
トマッチング法とは顔のパーツのパターンをテンプレー
トとして画像全体を走査し、最もマッチする位置を見つ
ける方法である。特開平５−１７４１４９号公報に開示
されている発明では、テンプレートマッチング法とモザ
イク化の方法を組み合わせることにより認識対象の位置
を見つけている。この発明では、認識対象となる物体画
像を粗くモザイク化し、これを探索時の対象画像の特徴
として用いて、未知の画像を走査しおおよその位置と大
きさを見つける。次に、認識対象となる物体画像を細か
くモザイク化し、これを用いて、既に得られた大まかな
位置付近を走査し、正確な位置と大きさを見つける。さ
らに、認識対象物体の画像を細かくモザイク化し、未知
画像のモザイクとのマッチングをとる。
テンプレートマッチング法が知られている。テンプレー
トマッチング法とは顔のパーツのパターンをテンプレー
トとして画像全体を走査し、最もマッチする位置を見つ
ける方法である。特開平５−１７４１４９号公報に開示
されている発明では、テンプレートマッチング法とモザ
イク化の方法を組み合わせることにより認識対象の位置
を見つけている。この発明では、認識対象となる物体画
像を粗くモザイク化し、これを探索時の対象画像の特徴
として用いて、未知の画像を走査しおおよその位置と大
きさを見つける。次に、認識対象となる物体画像を細か
くモザイク化し、これを用いて、既に得られた大まかな
位置付近を走査し、正確な位置と大きさを見つける。さ
らに、認識対象物体の画像を細かくモザイク化し、未知
画像のモザイクとのマッチングをとる。
【０００５】また、特願平１０−２７４９２５号では、
テンプレートマッチング方法を改良し、テンプレートマ
ッチングによる抽出精度の高い鼻の位置をもとにして
目、口の存在領域を限定し、限定された存在領域中で
目、口の位置を探索している。口の位置を探索する場合
のフローチャートを図４に示す。
テンプレートマッチング方法を改良し、テンプレートマ
ッチングによる抽出精度の高い鼻の位置をもとにして
目、口の存在領域を限定し、限定された存在領域中で
目、口の位置を探索している。口の位置を探索する場合
のフローチャートを図４に示す。
【０００６】図４で、４０１は鼻画像パターンをテンプ
レートとし、画像全体あるいは画像中の指定された領域
を走査し最もマッチする位置を鼻の位置として出力する
鼻探索ステップ、４０２は画像中鼻の位置よりも下の領
域を口存在領域と考え、口画像パターンをテンプレート
として上記目存在領域を走査してマッチングをとり、あ
る閾値よりもマッチ度が大きい位置を目候補位置として
算出する口候補位置探索ステップ、４０３は目候補位置
探索ステップ４０２によって算出された口候補位置集合
に含まれる点を連結領域に分割する口候補クラスタ生成
ステップ、４０４は口候補クラスタ生成ステップ４０３
によって生成されたクラスタの各代表位置と上記鼻探索
ステップによって探索された鼻の位置の間の距離を求
め、その距離が最も短くなるクラスタを口の存在するク
ラスタであると決定する口クラスタ決定ステップ、４０
５は口クラスタ決定ステップによって決定されたクラス
タに含まれる画素の中で、口候補位置探索ステップで計
算されたマッチ度が最も高いものを見つける口位置決定
ステップである。
レートとし、画像全体あるいは画像中の指定された領域
を走査し最もマッチする位置を鼻の位置として出力する
鼻探索ステップ、４０２は画像中鼻の位置よりも下の領
域を口存在領域と考え、口画像パターンをテンプレート
として上記目存在領域を走査してマッチングをとり、あ
る閾値よりもマッチ度が大きい位置を目候補位置として
算出する口候補位置探索ステップ、４０３は目候補位置
探索ステップ４０２によって算出された口候補位置集合
に含まれる点を連結領域に分割する口候補クラスタ生成
ステップ、４０４は口候補クラスタ生成ステップ４０３
によって生成されたクラスタの各代表位置と上記鼻探索
ステップによって探索された鼻の位置の間の距離を求
め、その距離が最も短くなるクラスタを口の存在するク
ラスタであると決定する口クラスタ決定ステップ、４０
５は口クラスタ決定ステップによって決定されたクラス
タに含まれる画素の中で、口候補位置探索ステップで計
算されたマッチ度が最も高いものを見つける口位置決定
ステップである。
【０００７】
【発明が解決しようとする課題】しかしながら、前記従
来技術では、目、口、鼻の位置関係に関する先見的な知
識を十分に使うことができず、探索結果が目や口の存在
するはずのない位置を検出しまうという課題を有してい
た。
来技術では、目、口、鼻の位置関係に関する先見的な知
識を十分に使うことができず、探索結果が目や口の存在
するはずのない位置を検出しまうという課題を有してい
た。
【０００８】本発明は、前記従来の課題を解決するもの
で、顔のパーツの配置に関する先見的な知識を確率分布
の形で表し、テンプレートマッチングとの結果と統合す
ることにより、精度良く目、口の位置を抽出する方式を
提供することを目的とする。
で、顔のパーツの配置に関する先見的な知識を確率分布
の形で表し、テンプレートマッチングとの結果と統合す
ることにより、精度良く目、口の位置を抽出する方式を
提供することを目的とする。
【０００９】
【課題を解決するための手段】この課題を解決するため
に本発明は、サンプル画像から手動で検出された顔パー
ツ位置の座標が正規分布に従うと仮定し、データの共分
散行列を計算して正規分布のパラメータを予めオフライ
ンで算出する位置情報学習手段と、位置情報学習手段に
より算出された顔パーツ位置の正規確率分布と、テンプ
レートマッチングにより求められた、入力画像の各画素
位置における顔パーツ（右目、左目、口、鼻）の存在確
率との加重平均が、最も高い位置を顔パーツの位置とす
る顔パーツ探索手段を設けたものである。
に本発明は、サンプル画像から手動で検出された顔パー
ツ位置の座標が正規分布に従うと仮定し、データの共分
散行列を計算して正規分布のパラメータを予めオフライ
ンで算出する位置情報学習手段と、位置情報学習手段に
より算出された顔パーツ位置の正規確率分布と、テンプ
レートマッチングにより求められた、入力画像の各画素
位置における顔パーツ（右目、左目、口、鼻）の存在確
率との加重平均が、最も高い位置を顔パーツの位置とす
る顔パーツ探索手段を設けたものである。
【００１０】
【発明の実施の形態】本発明請求項１に記載の発明は、
入力画像からテンプレートマッチングにより求めた入力
画像の各画素位置における顔パーツの存在確率と、サン
プルデータから求めた予め学習された顔パーツ位置の確
率分布とがともに大きくなる点を顔パーツの位置を求め
ることにより、高精度な顔パーツの検出が可能になると
いう作用を有する。
入力画像からテンプレートマッチングにより求めた入力
画像の各画素位置における顔パーツの存在確率と、サン
プルデータから求めた予め学習された顔パーツ位置の確
率分布とがともに大きくなる点を顔パーツの位置を求め
ることにより、高精度な顔パーツの検出が可能になると
いう作用を有する。
【００１１】請求項２に記載の発明は、請求項１に記載
の顔パーツ検出方法において、顔パーツの位置を求める
際に、顔パーツ位置の正規確率分布と、顔パーツの存在
確率との加重平均が最も高い位置を顔パーツの位置とす
るもので、加重平均することにより高精度な顔パーツの
検出が可能になるという作用を有する。
の顔パーツ検出方法において、顔パーツの位置を求める
際に、顔パーツ位置の正規確率分布と、顔パーツの存在
確率との加重平均が最も高い位置を顔パーツの位置とす
るもので、加重平均することにより高精度な顔パーツの
検出が可能になるという作用を有する。
【００１２】請求項３に記載の発明は、請求項１に記載
の顔パーツ検出方法において、顔パーツ位置の正規確率
分布は、サンプル画像から検出された顔パーツ位置の座
標が正規分布に従うと仮定し、顔パーツ位置の共分散行
列を計算して、正規分布を予め求めるもので、予め学習
された顔パーツ配置に関する顔パーツ位置の存在確率の
情報を用いることにより、高精度な顔パーツの検出が可
能になるという作用を有する。
の顔パーツ検出方法において、顔パーツ位置の正規確率
分布は、サンプル画像から検出された顔パーツ位置の座
標が正規分布に従うと仮定し、顔パーツ位置の共分散行
列を計算して、正規分布を予め求めるもので、予め学習
された顔パーツ配置に関する顔パーツ位置の存在確率の
情報を用いることにより、高精度な顔パーツの検出が可
能になるという作用を有する。
【００１３】請求項４に記載の発明は、請求項１乃至３
のいずれかに記載の顔パーツ検出方法において、顔パー
ツは、右目、左目、口、鼻の一つを少なくとも含むもの
である。
のいずれかに記載の顔パーツ検出方法において、顔パー
ツは、右目、左目、口、鼻の一つを少なくとも含むもの
である。
【００１４】請求項５に記載の発明は、解像度を下げた
画像に対して請求項１または２に記載された方法により
顔パーツのおおまかな位置を求めた後、求められた位置
の周りで高解像度の画像に対してテンプレートマッチン
グを行い、最もマッチ度が高い位置を顔パーツの真の存
在位置とするもので、前処理として大まかな位置を求め
た後に高解像度の画像に対して高精度に検出することに
より、さらに高精度な顔パーツの検出が可能になるとい
う作用を有する。
画像に対して請求項１または２に記載された方法により
顔パーツのおおまかな位置を求めた後、求められた位置
の周りで高解像度の画像に対してテンプレートマッチン
グを行い、最もマッチ度が高い位置を顔パーツの真の存
在位置とするもので、前処理として大まかな位置を求め
た後に高解像度の画像に対して高精度に検出することに
より、さらに高精度な顔パーツの検出が可能になるとい
う作用を有する。
【００１５】請求項６に記載の発明は、サンプル画像か
ら手動で検出された顔パーツ位置のデータの共分散行列
を計算して、左目、右目、鼻の位置の正規確率分布を予
め算出するとともに、左目、右目、鼻の位置が与えられ
たときの口の位置の条件付き確率分布を予め算出してお
き、左目、右目、鼻の位置を請求項または２に記載の方
法で求めた後、入力画像から前記左目、右目、鼻の位置
の情報と前記口の位置の条件付き確率分布により、テン
プレートマッチングにより求められた各画素位置におけ
る口の存在確率との加重平均が、最も高い位置を口の位
置とするもので、口単独の位置の情報だけでなく、目、
鼻との相対的な位置関係を用いて存在確率分布を求める
ことによりさらに高精度な探索が可能になるという作用
を有する。
ら手動で検出された顔パーツ位置のデータの共分散行列
を計算して、左目、右目、鼻の位置の正規確率分布を予
め算出するとともに、左目、右目、鼻の位置が与えられ
たときの口の位置の条件付き確率分布を予め算出してお
き、左目、右目、鼻の位置を請求項または２に記載の方
法で求めた後、入力画像から前記左目、右目、鼻の位置
の情報と前記口の位置の条件付き確率分布により、テン
プレートマッチングにより求められた各画素位置におけ
る口の存在確率との加重平均が、最も高い位置を口の位
置とするもので、口単独の位置の情報だけでなく、目、
鼻との相対的な位置関係を用いて存在確率分布を求める
ことによりさらに高精度な探索が可能になるという作用
を有する。
【００１６】請求項７に記載の発明は、入力画像からテ
ンプレートマッチングにより入力画像の各画素位置にお
ける顔パーツの存在確率を求める存在確率演算手段と、
サンプルデータから予め学習された顔パーツ位置の確率
分布を求める確率分布演算手段と、前記顔パーツの存在
確率と前記顔パーツ位置の確率分布がともに大きくなる
点を顔パーツの位置を求める判定手段とを具備するもの
で、高精度な顔パーツの検出が可能になるという作用を
有する。
ンプレートマッチングにより入力画像の各画素位置にお
ける顔パーツの存在確率を求める存在確率演算手段と、
サンプルデータから予め学習された顔パーツ位置の確率
分布を求める確率分布演算手段と、前記顔パーツの存在
確率と前記顔パーツ位置の確率分布がともに大きくなる
点を顔パーツの位置を求める判定手段とを具備するもの
で、高精度な顔パーツの検出が可能になるという作用を
有する。
【００１７】請求項８に記載の発明は、コンピュータに
より顔パーツを検出するプログラムを記録した記録媒体
であって、入力画像からテンプレートマッチングにより
求めた入力画像の各画素位置における顔パーツの存在確
率と、サンプルデータから求めた予め学習された顔パー
ツ位置の確率分布とがともに大きくなる点を顔パーツの
位置を求める顔パーツ検出プログラムを記録した記録媒
体からコンピュータに読み込み実行することにより、高
精度な顔パーツの検出が可能になるという作用を有す
る。
より顔パーツを検出するプログラムを記録した記録媒体
であって、入力画像からテンプレートマッチングにより
求めた入力画像の各画素位置における顔パーツの存在確
率と、サンプルデータから求めた予め学習された顔パー
ツ位置の確率分布とがともに大きくなる点を顔パーツの
位置を求める顔パーツ検出プログラムを記録した記録媒
体からコンピュータに読み込み実行することにより、高
精度な顔パーツの検出が可能になるという作用を有す
る。
【００１８】以下、本発明の実施の形態について、図１
から図３を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態１におけ
る顔パーツ検出装置を構成図を示したものである。
から図３を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態１におけ
る顔パーツ検出装置を構成図を示したものである。
【００１９】図１において、１０１は入力画像を取り込
むビデオカメラ、１０２はカメラ信号をＡ／Ｄ変換する
Ａ／Ｄ変換器、１０３はカメラから入力された画像が格
納されるメモリ、１０４はオフラインで学習された顔パ
ーツ位置の確率分布のパラメータを格納する確率パラメ
ータ格納ディスク、１０５は探索処理実行時に鼻の位置
の確率分布のパラメータを記憶する確率パラメータメモ
リ、１０６は探索処理実行時に左目の位置の確率分布の
パラメータを記憶する確率パラメータメモリ、１０７は
探索処理実行時に右目の位置の確率分布のパラメータを
記憶する確率パラメータメモリ、１０８は探索処理実行
時に左目、右目、口の配置の確率分布のパラメータを記
憶する確率パラメータメモリ、１０９、１１０はシステ
ムの操作を行うためのキーボード・ディスプレイとその
インターフェース、１１１はマッチング結果を格納する
ためのメモリ、１１２は本発明の検出方式のアルゴリズ
ムを実行するＣＰＵ、１１４、１１３は結果を出力する
端子とインターフェース、１１５は目、鼻、口、顔全体
の各テンプレート画像が格納されるメモリである。
むビデオカメラ、１０２はカメラ信号をＡ／Ｄ変換する
Ａ／Ｄ変換器、１０３はカメラから入力された画像が格
納されるメモリ、１０４はオフラインで学習された顔パ
ーツ位置の確率分布のパラメータを格納する確率パラメ
ータ格納ディスク、１０５は探索処理実行時に鼻の位置
の確率分布のパラメータを記憶する確率パラメータメモ
リ、１０６は探索処理実行時に左目の位置の確率分布の
パラメータを記憶する確率パラメータメモリ、１０７は
探索処理実行時に右目の位置の確率分布のパラメータを
記憶する確率パラメータメモリ、１０８は探索処理実行
時に左目、右目、口の配置の確率分布のパラメータを記
憶する確率パラメータメモリ、１０９、１１０はシステ
ムの操作を行うためのキーボード・ディスプレイとその
インターフェース、１１１はマッチング結果を格納する
ためのメモリ、１１２は本発明の検出方式のアルゴリズ
ムを実行するＣＰＵ、１１４、１１３は結果を出力する
端子とインターフェース、１１５は目、鼻、口、顔全体
の各テンプレート画像が格納されるメモリである。
【００２０】以下、ＣＰＵ１１２によって行われる動作
について図２、図３を用いて説明する。顔パーツ検出方
法の動作は、顔パーツ位置の確率分布パラメータを学習
するオフライン処理と、探索処理を実行するオンライン
処理に大別される。
について図２、図３を用いて説明する。顔パーツ検出方
法の動作は、顔パーツ位置の確率分布パラメータを学習
するオフライン処理と、探索処理を実行するオンライン
処理に大別される。
【００２１】まず、オフライン処理である確率パラメー
タの学習について、図２の動作フロー図を用いて説明す
る。図２で、ステップ２０１、２０２、２０３はそれぞ
れ鼻、左目、右目の位置のサンプルデータを入力するス
テップ。ステップ２０４は、左目、右目、口の位置のサ
ンプルデータを同時に入力するステップ。ステップ２０
５，２０６，２０７は、鼻、左目、右目の位置の確率分
布をそれぞれ推定するステップ。ステップ２０８は左
目、右目、口の位置関係の確率分布と、左目、右目の位
置関係の確率分布を推定するステップ。ステップ２０
９、２１０、２１１、２１２はそれぞれステップ２０
５、２０６、２０７、２０８で推定された確率分布のパ
ラメータを格納するステップである。
タの学習について、図２の動作フロー図を用いて説明す
る。図２で、ステップ２０１、２０２、２０３はそれぞ
れ鼻、左目、右目の位置のサンプルデータを入力するス
テップ。ステップ２０４は、左目、右目、口の位置のサ
ンプルデータを同時に入力するステップ。ステップ２０
５，２０６，２０７は、鼻、左目、右目の位置の確率分
布をそれぞれ推定するステップ。ステップ２０８は左
目、右目、口の位置関係の確率分布と、左目、右目の位
置関係の確率分布を推定するステップ。ステップ２０
９、２１０、２１１、２１２はそれぞれステップ２０
５、２０６、２０７、２０８で推定された確率分布のパ
ラメータを格納するステップである。
【００２２】以下、これらの各ステップにおける動作を
説明する。ステップ２０１では、手動によってサンプル
画像から切り出された、鼻の位置座標のサンプルデータ
ｓ＝（ｘ、ｙ）が複数個入力される。ステップ２０５で
は入力されたサンプルデータの平均ベクトルｎ０と次式
（数１）によって定まる共分散行列ΣＮが算出される。
説明する。ステップ２０１では、手動によってサンプル
画像から切り出された、鼻の位置座標のサンプルデータ
ｓ＝（ｘ、ｙ）が複数個入力される。ステップ２０５で
は入力されたサンプルデータの平均ベクトルｎ０と次式
（数１）によって定まる共分散行列ΣＮが算出される。
【００２３】
【数１】
【００２４】ステップ２０９では、ステップ２０５で算
出された値を確率パラメータ確率パラメータ格納ディス
ク１０４に格納する。
出された値を確率パラメータ確率パラメータ格納ディス
ク１０４に格納する。
【００２５】ステップ２０２では、手動によってサンプ
ル画像から切り出された左目の位置座標（ｘ、ｙ）が入
力され鼻の平均位置の座標（ｎｘ、ｎｙ）からひいた座
標ｓ＝（ｘ−ｎｘ、ｙ−ｎｙ）を算出する。ステップ２
０６では、ステップ２０２で算出されたサンプルデータ
の平均値ｅｌ０と（数１）によって定まる共分散行列Σ
ＥＬが算出される。ステップ２１０では、ステップ２０
６で算出された値を確率パラメータ確率パラメータ格納
ディスク１０４に格納する。
ル画像から切り出された左目の位置座標（ｘ、ｙ）が入
力され鼻の平均位置の座標（ｎｘ、ｎｙ）からひいた座
標ｓ＝（ｘ−ｎｘ、ｙ−ｎｙ）を算出する。ステップ２
０６では、ステップ２０２で算出されたサンプルデータ
の平均値ｅｌ０と（数１）によって定まる共分散行列Σ
ＥＬが算出される。ステップ２１０では、ステップ２０
６で算出された値を確率パラメータ確率パラメータ格納
ディスク１０４に格納する。
【００２６】ステップ２０３では、手動によってサンプ
ル画像から切り出された右目の位置座標（ｘ、ｙ）が入
力され鼻の平均位置の座標（ｎｘ、ｎｙ）から引いた座
標ｓ＝（ｘ−ｎｘ、ｙ−ｎｙ）を算出する。ステップ２
０７では、ステップ２０３で算出されたサンプルデータ
の平均ベクトルｅｒ０と（数１）によって定まる共分散
行列ΣＥＲが算出される。ステップ２１１では、ステッ
プ２０７で算出された値を確率パラメータ確率パラメー
タ格納ディスク１０４に格納する。
ル画像から切り出された右目の位置座標（ｘ、ｙ）が入
力され鼻の平均位置の座標（ｎｘ、ｎｙ）から引いた座
標ｓ＝（ｘ−ｎｘ、ｙ−ｎｙ）を算出する。ステップ２
０７では、ステップ２０３で算出されたサンプルデータ
の平均ベクトルｅｒ０と（数１）によって定まる共分散
行列ΣＥＲが算出される。ステップ２１１では、ステッ
プ２０７で算出された値を確率パラメータ確率パラメー
タ格納ディスク１０４に格納する。
【００２７】ステップ２０４では、手動によってサンプ
ル画像から切り出された左目、右目、口の位置座標（ｘ
１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）が入力さ
れ鼻の平均位置の座標（ｎｘ、ｎｙ）からひいた座標
（ｘ１−ｎｘ、ｙ１−ｎｙ）、（ｘ２−ｎｘ、ｙ２−ｎ
ｙ）、（ｘ３−ｎｘ、ｙ３−ｎｙ）を算出する。
ル画像から切り出された左目、右目、口の位置座標（ｘ
１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）が入力さ
れ鼻の平均位置の座標（ｎｘ、ｎｙ）からひいた座標
（ｘ１−ｎｘ、ｙ１−ｎｙ）、（ｘ２−ｎｘ、ｙ２−ｎ
ｙ）、（ｘ３−ｎｘ、ｙ３−ｎｙ）を算出する。
【００２８】ステップ２０８では、ステップ２０４で算
出されたサンプルデータをもとに４次元のベクトルｓ４
＝（ｘ１−ｎｘ、ｙ１−ｎｙ、ｘ２−ｎｘ、ｙ２−ｎ
ｙ）と６次元のベクトルｓ６＝（ｘ１−ｎｘ、ｙ１−ｎ
ｙ、ｘ２−ｎｘ、ｙ２−ｎｙ、ｘ３−ｎｘ、ｙ３−ｎ
ｙ）を構成し、それぞれについての平均ベクトルｍ０，
ｍ１と（数１）によって共分散行列ΣＭ１、ΣＭ２を算
出する。ステップ２１２では、ステップ２０８で算出さ
れた値を確率パラメータ格納ディスク１０４に格納す
る。
出されたサンプルデータをもとに４次元のベクトルｓ４
＝（ｘ１−ｎｘ、ｙ１−ｎｙ、ｘ２−ｎｘ、ｙ２−ｎ
ｙ）と６次元のベクトルｓ６＝（ｘ１−ｎｘ、ｙ１−ｎ
ｙ、ｘ２−ｎｘ、ｙ２−ｎｙ、ｘ３−ｎｘ、ｙ３−ｎ
ｙ）を構成し、それぞれについての平均ベクトルｍ０，
ｍ１と（数１）によって共分散行列ΣＭ１、ΣＭ２を算
出する。ステップ２１２では、ステップ２０８で算出さ
れた値を確率パラメータ格納ディスク１０４に格納す
る。
【００２９】次に、探索処理を実行するオンライン処理
について図３の動作フロー図を用いて説明する。
について図３の動作フロー図を用いて説明する。
【００３０】図３で、３０１は顔画像入力ステップ、３
０２は顔の大まかな位置を探索するステップ、３０３は
鼻テンプレートとのテンプレートマッチングを行いその
結果と鼻の位置の確率分布の情報を用いて鼻の位置を探
索するステップ、３０４、３０５はそれぞれ左目、右目
のテンプレートとのテンプレートマッチングの結果と左
目の位置の確率分布の情報を用いて左目、右目の位置を
探索するステップ、３０６は口のテンプレートとのテン
プレートマッチングの結果と左目と右目の位置が決まっ
たときの口の位置の条件付き確率を用いて口の位置を探
索するステップである。
０２は顔の大まかな位置を探索するステップ、３０３は
鼻テンプレートとのテンプレートマッチングを行いその
結果と鼻の位置の確率分布の情報を用いて鼻の位置を探
索するステップ、３０４、３０５はそれぞれ左目、右目
のテンプレートとのテンプレートマッチングの結果と左
目の位置の確率分布の情報を用いて左目、右目の位置を
探索するステップ、３０６は口のテンプレートとのテン
プレートマッチングの結果と左目と右目の位置が決まっ
たときの口の位置の条件付き確率を用いて口の位置を探
索するステップである。
【００３１】以下、これらの各ステップにおける動作を
説明する。まず、ステップ３０１では、ビデオカメラ１
０１から入力された画像がＡ／Ｄ変換器１０２によりデ
ィジタル化されメモリ１０３に格納される。
説明する。まず、ステップ３０１では、ビデオカメラ１
０１から入力された画像がＡ／Ｄ変換器１０２によりデ
ィジタル化されメモリ１０３に格納される。
【００３２】次に、ステップ３０２では、画像メモリ１
０３に格納された画像において、入力された特徴点抽出
の対象となる顔の位置をメモリ１１５に格納されている
顔のテンプレートを用いたテンプレートマッチングによ
り大まかに探索する。すなわち、画像メモリ１０３の画
像の各画素の近傍領域Ｖ＝（Ｖｉ）とメモリ１１５に格
納されている顔のテンプレートＦ＝（Ｆｉ）との相互相
関係数を次式（数２）により算出して、
０３に格納された画像において、入力された特徴点抽出
の対象となる顔の位置をメモリ１１５に格納されている
顔のテンプレートを用いたテンプレートマッチングによ
り大まかに探索する。すなわち、画像メモリ１０３の画
像の各画素の近傍領域Ｖ＝（Ｖｉ）とメモリ１１５に格
納されている顔のテンプレートＦ＝（Ｆｉ）との相互相
関係数を次式（数２）により算出して、
【００３３】
【数２】
【００３４】相互相関係数が最大になる画素（顔の位
置）を見つける。以下では顔の位置を中心にしたｎｘｍ
の矩形領域内で顔のパーツが探索される（ｎ、ｍは、予
め定められた値）。
置）を見つける。以下では顔の位置を中心にしたｎｘｍ
の矩形領域内で顔のパーツが探索される（ｎ、ｍは、予
め定められた値）。
【００３５】ステップ３０３では、まずメモリ１１５に
格納されている鼻テンプレートとのテンプレートマッチ
ングを行い、相互相関係数を各画素毎に計算し、その結
果ＴＮ（ｘ）をマッチング結果格納メモリ１１１に格納
する。次に、確率パラメータ格納ディスク１０４から鼻
の位置のパラメータ（ｎ０，ΣＮ）を読み出し、確率パ
ラメータメモリ１０５に記憶させる。次に、各画素の相
互相関係数の平均値Ｍを計算し、次式（数３）により値
ＰＴ（ｘ，ＴＮ（ｘ）／Ｍ；ｎ０，ΣＮ）を算出して、
格納されている鼻テンプレートとのテンプレートマッチ
ングを行い、相互相関係数を各画素毎に計算し、その結
果ＴＮ（ｘ）をマッチング結果格納メモリ１１１に格納
する。次に、確率パラメータ格納ディスク１０４から鼻
の位置のパラメータ（ｎ０，ΣＮ）を読み出し、確率パ
ラメータメモリ１０５に記憶させる。次に、各画素の相
互相関係数の平均値Ｍを計算し、次式（数３）により値
ＰＴ（ｘ，ＴＮ（ｘ）／Ｍ；ｎ０，ΣＮ）を算出して、
【００３６】
【数３】
【００３７】その値が最大になる位置を鼻の位置とす
る。以下の処理では、画像内の座標は、鼻の位置を原点
として記述される。
る。以下の処理では、画像内の座標は、鼻の位置を原点
として記述される。
【００３８】ステップ３０４では、まずメモリ１１５に
格納されている左目テンプレートとのテンプレートマッ
チングを行い、相互相関係数を各画素毎に計算し、その
結果ＴＬＥ（ｘ）をマッチング結果格納メモリ１１１に
格納する。次に、確率パラメータ格納ディスク１０４か
ら左目の位置のパラメータ（ｌｅ０，ΣＥＬ）を読み出
し、確率パラメータメモリ１０６に記憶させる。次に、
各画素の相互相関係数の平均値Ｍを計算し、（数３）に
より値ＰＴ（ｘ，ＴＬＥ（ｘ）／Ｍ；ｌｅ０，ΣＥＬ）
を算出して、その値が最大になる位置を左目の位置ｌｅ
ｐとする。
格納されている左目テンプレートとのテンプレートマッ
チングを行い、相互相関係数を各画素毎に計算し、その
結果ＴＬＥ（ｘ）をマッチング結果格納メモリ１１１に
格納する。次に、確率パラメータ格納ディスク１０４か
ら左目の位置のパラメータ（ｌｅ０，ΣＥＬ）を読み出
し、確率パラメータメモリ１０６に記憶させる。次に、
各画素の相互相関係数の平均値Ｍを計算し、（数３）に
より値ＰＴ（ｘ，ＴＬＥ（ｘ）／Ｍ；ｌｅ０，ΣＥＬ）
を算出して、その値が最大になる位置を左目の位置ｌｅ
ｐとする。
【００３９】ステップ３０５では、まずメモリ１１５に
格納されている右目テンプレートとのテンプレートマッ
チングを行い、相互相関係数を各画素毎に計算し、その
結果ＴＲＥ（ｘ）をマッチング結果格納メモリ１１１に
格納する。次に、確率パラメータ格納ディスク１０４か
ら右目の位置のパラメータ（ｒｅ０，ΣＲＥ）を読み出
し、確率パラメータメモリ１０７に記憶させる。次に、
各画素の相互相関係数の平均値Ｍを計算し、（数３）に
より値ＰＴ（ＴＲＥ（ｘ）／Ｍ；ｒｅ０，ｒｅ１，ｒｅ
２，ｒｅ３）を算出して、その値が最大になる位置を右
目の位置ｒｅｐとする。
格納されている右目テンプレートとのテンプレートマッ
チングを行い、相互相関係数を各画素毎に計算し、その
結果ＴＲＥ（ｘ）をマッチング結果格納メモリ１１１に
格納する。次に、確率パラメータ格納ディスク１０４か
ら右目の位置のパラメータ（ｒｅ０，ΣＲＥ）を読み出
し、確率パラメータメモリ１０７に記憶させる。次に、
各画素の相互相関係数の平均値Ｍを計算し、（数３）に
より値ＰＴ（ＴＲＥ（ｘ）／Ｍ；ｒｅ０，ｒｅ１，ｒｅ
２，ｒｅ３）を算出して、その値が最大になる位置を右
目の位置ｒｅｐとする。
【００４０】ステップ３０６では、まずメモリ１１５に
格納されている口テンプレートとのテンプレートマッチ
ングを行い、相互相関係数を各画素毎に計算し、その結
果ＴＭ（ｘ）をメモリ１１１に格納する。次に、確率パ
ラメータ格納ディスク１０４から口の位置のパラメータ
（ｍ０，ΣＭ１）と（ｍ１，ΣＭ２）を読み出し、確率
パラメータメモリ１０８に記憶させる。次に、各画素の
相互相関係数の平均値Ｍを計算し、次式（数４）により
値ＡＰＴ（ｘ，ＴＭ（ｘ）／Ｍ；ｍ０，ΣＭ１、ｍ１，
ΣＭ２、ｌｅｐ，ｒｅｐ）を算出して、
格納されている口テンプレートとのテンプレートマッチ
ングを行い、相互相関係数を各画素毎に計算し、その結
果ＴＭ（ｘ）をメモリ１１１に格納する。次に、確率パ
ラメータ格納ディスク１０４から口の位置のパラメータ
（ｍ０，ΣＭ１）と（ｍ１，ΣＭ２）を読み出し、確率
パラメータメモリ１０８に記憶させる。次に、各画素の
相互相関係数の平均値Ｍを計算し、次式（数４）により
値ＡＰＴ（ｘ，ＴＭ（ｘ）／Ｍ；ｍ０，ΣＭ１、ｍ１，
ΣＭ２、ｌｅｐ，ｒｅｐ）を算出して、
【００４１】
【数４】
【００４２】その値が最大になる位置を口の位置として
求める。
求める。
【００４３】
【発明の効果】以上のように、顔のパーツの配置に関す
る先見的な知識を確率分布の形で表し、テンプレートマ
ッチングとの結果と統合することにより、精度の高い探
索が実現できる。
る先見的な知識を確率分布の形で表し、テンプレートマ
ッチングとの結果と統合することにより、精度の高い探
索が実現できる。
【図１】本発明の実施の形態１における顔パーツ検出装
置の構成図
置の構成図
【図２】同実施の形態の動作フロー図
【図３】同実施の形態の動作フロー図
【図４】従来方法の顔パーツ検出方法を表すフロー図
１０１ ビデオカメラ １０２ Ａ／Ｄ変換器 １０３ 画像メモリ １０４ 確率パラメータ格納ディスク １０５、１０６、１０７、１０８ 確率パラメータメモ
リ １０９ キーボードディスプレイ １１０ インターフェース １１１ マッチング結果格納メモリ １１２ ＣＰＵ １１３ インターフェース １１４ 結果出力端子
リ １０９ キーボードディスプレイ １１０ インターフェース １１１ マッチング結果格納メモリ １１２ ＣＰＵ １１３ インターフェース １１４ 結果出力端子
Claims (8)
- 【請求項１】 入力画像からテンプレートマッチングに
より求めた入力画像の各画素位置における顔パーツの存
在確率と、サンプルデータから求めた予め学習された顔
パーツ位置の確率分布とがともに大きくなる点を顔パー
ツの位置を求めることを特徴とする顔パーツ検出方法。 - 【請求項２】 顔パーツの位置を求める際に、顔パーツ
位置の正規確率分布と、顔パーツの存在確率との加重平
均が最も高い位置を顔パーツの位置とすることを特徴と
する請求項１記載の顔パーツ検出方法。 - 【請求項３】 顔パーツ位置の正規確率分布は、サンプ
ル画像から検出された顔パーツ位置の座標が正規分布に
従うと仮定し、顔パーツ位置の共分散行列を計算して、
正規分布を予め求めることを特徴とする請求項１または
請求項２記載の顔パーツ検出方法。 - 【請求項４】 顔パーツは、右目、左目、口、鼻の一つ
を少なくとも含むことを特徴とする請求項１乃至３のい
ずれかに記載の顔パーツ検出方法。 - 【請求項５】 解像度を下げた画像に対して請求項１ま
たは２に記載された方法により顔パーツのおおまかな位
置を求めた後、求められた位置の周りで高解像度の画像
に対してテンプレートマッチングを行い、最もマッチ度
が高い位置を顔パーツの真の存在位置とすることを特徴
とする顔パーツ検出方法。 - 【請求項６】 サンプル画像から手動で検出された顔パ
ーツ位置のデータの共分散行列を計算して、左目、右
目、鼻の位置の正規確率分布を予め算出するとともに、
左目、右目、鼻の位置が与えられたときの口の位置の条
件付き確率分布を予め算出しておき、左目、右目、鼻の
位置を請求項または２に記載の方法で求めた後、入力画
像から前記左目、右目、鼻の位置の情報と前記口の位置
の条件付き確率分布により、テンプレートマッチングに
より求められた各画素位置における口の存在確率との加
重平均が、最も高い位置を口の位置とする請求項１また
は２記載の顔パーツ検出方法。 - 【請求項７】 入力画像からテンプレートマッチングに
より入力画像の各画素位置における顔パーツの存在確率
を求める存在確率演算手段と、サンプルデータから予め
学習された顔パーツ位置の確率分布を求める確率分布演
算手段と、前記顔パーツの存在確率と前記顔パーツ位置
の確率分布がともに大きくなる点を顔パーツの位置を求
める判定手段とを具備することを特徴とする顔パーツ検
出装置。 - 【請求項８】 コンピュータにより顔パーツを検出する
プログラムを記録した記録媒体であって、入力画像から
テンプレートマッチングにより求めた入力画像の各画素
位置における顔パーツの存在確率と、サンプルデータか
ら求めた予め学習された顔パーツ位置の確率分布とがと
もに大きくなる点を顔パーツの位置を求める顔パーツ検
出プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10308183A JP2000132688A (ja) | 1998-10-29 | 1998-10-29 | 顔パーツ検出方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10308183A JP2000132688A (ja) | 1998-10-29 | 1998-10-29 | 顔パーツ検出方法及びその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000132688A true JP2000132688A (ja) | 2000-05-12 |
Family
ID=17977917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10308183A Pending JP2000132688A (ja) | 1998-10-29 | 1998-10-29 | 顔パーツ検出方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000132688A (ja) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003081532A1 (en) * | 2002-03-27 | 2003-10-02 | Seeing Machines Pty Ltd | Method and apparatus for the automatic detection of facial features |
| KR100438303B1 (ko) * | 2002-01-17 | 2004-07-01 | 엘지전자 주식회사 | 객체 추출방법 |
| KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
| JP2007226424A (ja) * | 2006-02-22 | 2007-09-06 | Fujifilm Corp | 特徴点検出方法および装置並びにプログラム |
| EP2391115A2 (en) | 2010-05-24 | 2011-11-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and program |
| US8374439B2 (en) | 2008-06-25 | 2013-02-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and computer-readable print medium |
| US8391595B2 (en) | 2006-05-26 | 2013-03-05 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US8442315B2 (en) | 2010-07-16 | 2013-05-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8457397B2 (en) | 2010-07-16 | 2013-06-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8532431B2 (en) | 2007-05-08 | 2013-09-10 | Canon Kabushiki Kaisha | Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts |
| US8630503B2 (en) | 2008-06-25 | 2014-01-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
| US9002107B2 (en) | 2010-07-16 | 2015-04-07 | Canon Kabushiki Kaisha | Color balance correction based on skin color and highlight color |
| US9014487B2 (en) | 2012-07-09 | 2015-04-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US9189681B2 (en) | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, method thereof, and computer-readable storage medium |
| US9208595B2 (en) | 2012-07-09 | 2015-12-08 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US9214027B2 (en) | 2012-07-09 | 2015-12-15 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9275270B2 (en) | 2012-07-09 | 2016-03-01 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof |
| US9280720B2 (en) | 2012-07-09 | 2016-03-08 | Canon Kabushiki Kaisha | Apparatus, method, and computer-readable storage medium |
| US9292760B2 (en) | 2012-07-09 | 2016-03-22 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9299177B2 (en) | 2012-07-09 | 2016-03-29 | Canon Kabushiki Kaisha | Apparatus, method and non-transitory computer-readable medium using layout similarity |
| US9436706B2 (en) | 2013-09-05 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for laying out images |
| US9501688B2 (en) | 2012-07-09 | 2016-11-22 | Canon Kabushiki Kaisha | Apparatus, processing method and storage medium storing program |
| US9509870B2 (en) | 2013-09-05 | 2016-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium enabling layout varations |
| US9519842B2 (en) | 2012-07-09 | 2016-12-13 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9542594B2 (en) | 2013-06-28 | 2017-01-10 | Canon Kabushiki Kaisha | Information processing apparatus, method for processing information, and program |
| US9558212B2 (en) | 2012-07-09 | 2017-01-31 | Canon Kabushiki Kaisha | Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information |
| US9563823B2 (en) | 2012-07-09 | 2017-02-07 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9846681B2 (en) | 2012-07-09 | 2017-12-19 | Canon Kabushiki Kaisha | Apparatus and method for outputting layout image |
| US9904879B2 (en) | 2013-09-05 | 2018-02-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US10013395B2 (en) | 2012-07-09 | 2018-07-03 | Canon Kabushiki Kaisha | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images |
| CN113033442A (zh) * | 2021-03-31 | 2021-06-25 | 清华大学 | 基于StyleGAN的高自由度人脸驱动方法和装置 |
-
1998
- 1998-10-29 JP JP10308183A patent/JP2000132688A/ja active Pending
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100438303B1 (ko) * | 2002-01-17 | 2004-07-01 | 엘지전자 주식회사 | 객체 추출방법 |
| WO2003081532A1 (en) * | 2002-03-27 | 2003-10-02 | Seeing Machines Pty Ltd | Method and apparatus for the automatic detection of facial features |
| US7460693B2 (en) | 2002-03-27 | 2008-12-02 | Seeing Machines Pty Ltd | Method and apparatus for the automatic detection of facial features |
| KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
| JP2007226424A (ja) * | 2006-02-22 | 2007-09-06 | Fujifilm Corp | 特徴点検出方法および装置並びにプログラム |
| JP4532419B2 (ja) * | 2006-02-22 | 2010-08-25 | 富士フイルム株式会社 | 特徴点検出方法および装置並びにプログラム |
| US8391595B2 (en) | 2006-05-26 | 2013-03-05 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US8532431B2 (en) | 2007-05-08 | 2013-09-10 | Canon Kabushiki Kaisha | Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts |
| US8374439B2 (en) | 2008-06-25 | 2013-02-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and computer-readable print medium |
| US8630503B2 (en) | 2008-06-25 | 2014-01-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
| EP2391115A2 (en) | 2010-05-24 | 2011-11-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and program |
| US8639030B2 (en) | 2010-05-24 | 2014-01-28 | Canon Kabushiki Kaisha | Image processing using an adaptation rate |
| US9398282B2 (en) | 2010-05-24 | 2016-07-19 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and computer-readable medium |
| US8442315B2 (en) | 2010-07-16 | 2013-05-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8457397B2 (en) | 2010-07-16 | 2013-06-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8842914B2 (en) | 2010-07-16 | 2014-09-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8934712B2 (en) | 2010-07-16 | 2015-01-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US9002107B2 (en) | 2010-07-16 | 2015-04-07 | Canon Kabushiki Kaisha | Color balance correction based on skin color and highlight color |
| US9406003B2 (en) | 2010-07-16 | 2016-08-02 | Canon Kabushiki Kaisha | Image processing with color balance correction |
| US9214027B2 (en) | 2012-07-09 | 2015-12-15 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9519842B2 (en) | 2012-07-09 | 2016-12-13 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9275270B2 (en) | 2012-07-09 | 2016-03-01 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof |
| US9280720B2 (en) | 2012-07-09 | 2016-03-08 | Canon Kabushiki Kaisha | Apparatus, method, and computer-readable storage medium |
| US9292760B2 (en) | 2012-07-09 | 2016-03-22 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9299177B2 (en) | 2012-07-09 | 2016-03-29 | Canon Kabushiki Kaisha | Apparatus, method and non-transitory computer-readable medium using layout similarity |
| US9189681B2 (en) | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, method thereof, and computer-readable storage medium |
| US9014487B2 (en) | 2012-07-09 | 2015-04-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US10127436B2 (en) | 2012-07-09 | 2018-11-13 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US9501688B2 (en) | 2012-07-09 | 2016-11-22 | Canon Kabushiki Kaisha | Apparatus, processing method and storage medium storing program |
| US10055640B2 (en) | 2012-07-09 | 2018-08-21 | Canon Kabushiki Kaisha | Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof |
| US9208595B2 (en) | 2012-07-09 | 2015-12-08 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US10013395B2 (en) | 2012-07-09 | 2018-07-03 | Canon Kabushiki Kaisha | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images |
| US9558212B2 (en) | 2012-07-09 | 2017-01-31 | Canon Kabushiki Kaisha | Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information |
| US9563823B2 (en) | 2012-07-09 | 2017-02-07 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9846681B2 (en) | 2012-07-09 | 2017-12-19 | Canon Kabushiki Kaisha | Apparatus and method for outputting layout image |
| US9852325B2 (en) | 2012-07-09 | 2017-12-26 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US9542594B2 (en) | 2013-06-28 | 2017-01-10 | Canon Kabushiki Kaisha | Information processing apparatus, method for processing information, and program |
| US9904879B2 (en) | 2013-09-05 | 2018-02-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US9509870B2 (en) | 2013-09-05 | 2016-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium enabling layout varations |
| US9436706B2 (en) | 2013-09-05 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for laying out images |
| CN113033442A (zh) * | 2021-03-31 | 2021-06-25 | 清华大学 | 基于StyleGAN的高自由度人脸驱动方法和装置 |
| CN113033442B (zh) * | 2021-03-31 | 2023-01-10 | 杭州新畅元科技有限公司 | 基于StyleGAN的高自由度人脸驱动方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000132688A (ja) | 顔パーツ検出方法及びその装置 | |
| JP2000105829A (ja) | 顔パーツ検出方法及びその装置 | |
| US8515180B2 (en) | Image data correction apparatus and method using feature points vector data | |
| JP4604439B2 (ja) | 画像処理装置及び画像処理方法、並びに記録媒体 | |
| JP2006048322A (ja) | オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法 | |
| JP5361524B2 (ja) | パターン認識システム及びパターン認識方法 | |
| TW201437925A (zh) | 物體識別裝置、方法及電腦程式產品 | |
| JP6639523B2 (ja) | 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム | |
| JP2008033424A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| JP2007072620A (ja) | 画像認識装置及びその方法 | |
| TWI254891B (en) | Face image detection method, face image detection system, and face image detection program | |
| JP2006260397A (ja) | 開眼度推定装置 | |
| KR20100124738A (ko) | 입력 화상을 처리하는 기계 구현 방법, 입력 화상을 처리하는 장치 및 컴퓨터 판독가능 매체 | |
| JP2012073684A (ja) | 画像認識方法及び装置並びにプログラム | |
| US5621825A (en) | Image processor, image processing method and apparatus applying same | |
| US7403636B2 (en) | Method and apparatus for processing an image | |
| JP2007025902A (ja) | 画像処理装置、画像処理方法 | |
| JP2010176504A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2005041128A1 (ja) | 顔画像候補領域検索方法及び顔画像候補領域検索システム並びに顔画像候補領域検索プログラム | |
| JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
| CN107958202B (zh) | 人体检测设备、人体检测设备的控制方法和存储介质 | |
| US11647152B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP2006323779A (ja) | 画像処理方法、画像処理装置 | |
| JP3774495B2 (ja) | 画像情報抽出装置および方法 | |
| JP5010627B2 (ja) | 文字認識装置及び文字認識方法 |