JP2013117933A - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
JP2013117933A
JP2013117933A JP2011266278A JP2011266278A JP2013117933A JP 2013117933 A JP2013117933 A JP 2013117933A JP 2011266278 A JP2011266278 A JP 2011266278A JP 2011266278 A JP2011266278 A JP 2011266278A JP 2013117933 A JP2013117933 A JP 2013117933A
Authority
JP
Japan
Prior art keywords
image
attribute
face
subject
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011266278A
Other languages
English (en)
Other versions
JP2013117933A5 (ja
JP5836095B2 (ja
Inventor
Atsuo Nomoto
敦夫 野本
Kotaro Yano
光太郎 矢野
Yuji Kaneda
雄司 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011266278A priority Critical patent/JP5836095B2/ja
Priority to US13/686,429 priority patent/US9245206B2/en
Publication of JP2013117933A publication Critical patent/JP2013117933A/ja
Publication of JP2013117933A5 publication Critical patent/JP2013117933A5/ja
Application granted granted Critical
Publication of JP5836095B2 publication Critical patent/JP5836095B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 実環境においても、高精度で広い範囲の属性推定を行うための技術を提供すること。
【解決手段】 入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する。複数の属性のそれぞれについて、特徴空間の基底を用いて、画像特徴量を示すベクトルを該特徴空間に射影した射影ベクトルを求める。求めた射影ベクトルを用いて、推定対象被写体を複数の属性の何れかに分類する。分類した属性について予め求められているモデルを選択モデルとして選択し、選択モデルを用いて、分類した属性について求めた射影ベクトルから、推定対象被写体が属するサブ属性を推定する。
【選択図】図2

Description

本発明は、画像中に含まれる物体の属性を推定する為の技術に関するものである。
近年、画像中の物体の属性(以下、物体属性という)を推定する物体属性推定技術の開発が盛んに行われている。その中で、顔向き推定技術は、画像中の人物の顔がどの方向を向いているかを推定するものであり、物体を人の顔、属性をその向きとした場合の物体属性推定技術の例である。このように、人手を介することなく画像中の人物の顔向き情報を取得することができるため、画像の意味理解や構図推定、人物の顔向きに応じた機器制御など利用範囲が広い。
顔向き推定の典型的な方法として、特定の向きの顔専用の顔検出器を複数用意し、それぞれの顔検出器の出力を統合して顔向きを推定する方法がある(特許文献1)。特定の向きの顔専用の顔検出器は、顔向きの角度が特定の範囲(以下、顔向き範囲という)にある人物の顔が写った画像(以下、顔画像という)を大量に用意し、事前に機械学習の手法で学習しておくことで実現している。顔検出と同時に顔向きを推定できるメリットがあるが、推定の分解能を高めるためには顔検出器の数を増やさなければならないため、複数の顔検出器それぞれで辞書ファイルが必要となり、それらの辞書ファイル全体のサイズが膨大となるデメリットがある。また、顔検出器はそれぞれ独立した検出器であり、それぞれの出力値の間に関連性がないため、出力値を統合しても高い精度で推定できるとは限らない。
一方で、顔画像から特徴量を抽出し、回帰関数(推定モデル)にその特徴量を入力することで、顔向き角度値を推定する方法が提案されている。この手法は事前に顔画像とその顔向きの角度値を関連づけた学習データを用いて、回帰関数を学習することにより高い分解能で角度推定を行うことができる。回帰関数による顔向き推定の例として非特許文献1に開示されている技術がある。非特許文献1に開示されている技術では、顔画像から抽出した特徴量を事前に用意した固有空間基底で射影した射影特徴を回帰関数であるSupport Vector Regression(SVR)に入力することで顔向きを推定している。このように特徴量を固有空間に射影することで、特徴量の次元削減の効果があるだけでなく、顔画像の照明条件等の変化に由来するノイズの影響を軽減する効果が期待できる。固有空間は、あらかじめ推定したい顔向き範囲の顔画像を大量に用意し、学習しておく。またSVRで非線形カーネルを使用することで、複雑で非線形な構造を持つ特徴空間を詳細に表現し、顔向き角度へとマッピングする回帰関数を構成することができる。
非特許文献2に開示されている技術では、特徴量として勾配方向ヒストグラム(Histogram of Oriented Gradient,HOG)を抽出し、SVRで顔向きを推定している。勾配方向ヒストグラムは、画像の輝度勾配情報を画像の局所毎にヒストグラム化した特徴量で、局所的なノイズや画像の明暗にロバストな特徴量として知られている。ノイズや照明変動のような、顔向きに関係のない変動にロバストな特徴量を選択することで、実環境においても安定した顔向き推定を実現している。
特許文献2に開示されている技術では、顔画像から抽出した特徴量を事前に学習したニューラルネットに入力することにより、顔の年齢を推定している。このように、顔向き以外の属性に関しても、機械学習の手法を用いることで推定することができる。
特開2007−226512号公報 特開平6−333023号公報
Y. Li, S. Gong, J. Sherrah, and H. Liddell, "Support vector machine based multi−view face detection and recognition," Image and Vision Computing, vol. 22, no. 5, p. 2004, 2004. Erik Muphy−Chutorian, "Head pose estimation for driver assistance systems: A robust algorithm and experimental evaluation," in Proc. IEEE Conf. Intelligent Transportation Systems, 2007, pp. 709−714.
しかしながら、これらの手法では、一般写真のような顔向き範囲が広く、かつ、実環境のノイズを含む顔画像が入力された際に推定の精度が低下する、という問題がある。実環境では顔向きに制限がないため、正面向きから横向きまでの広い顔向き範囲となり、その角度変化に応じた画像の見え(アピアランス)が大幅に変化する。それに加え、直射日光下や屋内の照明下など多様な照明条件、頭部形状の個人差、多様な表情など、顔向き以外にアピアランスを大幅に変化させる要因(ノイズ)が数多くある。このような場合、非特許文献1のように単一の固有空間を用いた射影特徴から推定する方法や、非特許文献2のように、ノイズ等に頑健な特徴量を使用するだけの単純な推定モデルでは、顔向き推定が難しい。これは、顔向きとその他の要因によるアピアランスの変化が重なることにより、単一の特徴量で表現できる範囲を超えてしまい、推定器が顔向きによるアピアランスの違いを区別できなくなるためだと考えられる。
本発明は上記のような問題に鑑みてなされたものであり、実環境においても、高精度で広い範囲の属性推定を行うための技術を提供することを目的とする。
本発明の目的を達成するために、例えば、本発明の画像処理装置は、入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する手段と、複数の属性のそれぞれに属する被写体の画像特徴量によって規定される特徴空間の基底、を取得する取得手段と、前記複数の属性のそれぞれについて、前記特徴空間の基底を用いて前記画像特徴量を示すベクトルを該特徴空間に射影した射影ベクトルを求める手段と、前記複数の属性のそれぞれについて求めた射影ベクトルを用いて、前記推定対象被写体を前記複数の属性の何れかに分類する分類手段と、前記分類手段が分類した属性について予め求められているモデルを選択モデルとして選択する選択手段と、前記選択モデルを用いて、前記分類手段が分類した属性について求めた射影ベクトルから、前記推定対象被写体が属するサブ属性を推定する推定手段とを備えることを特徴とする。
本発明の構成によれば、実環境においても、高精度で広い範囲の属性推定を行うことができる。
コンピュータのハードウェア構成例を示すブロック図。 画像処理装置の機能構成例を示すブロック図。 画像処理装置が行う処理のフローチャート。 物体特徴量抽出部14の機能構成例を示すブロック図。 物体属性推定部15の機能構成例を示すブロック図。 特徴量射影処理部31が行う処理のフローチャート。 それぞれの固有空間の学習に用いた顔画像の顔向き範囲の一例を示す図。 属性分類処理部36が行う処理のフローチャート。 SVRの学習に用いる顔画像の顔向き範囲の一例を示す図。 属性別物体検出部105の機能構成例を示すブロック図。 物体属性推定部107の機能構成例を示すブロック図。 属性分類処理部132が行う処理のフローチャート。 領域の重なりを説明する図。
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。
[第1の実施形態]
先ず、本実施形態に係る画像処理装置の機能構成例について、図2のブロック図を用いて説明する。なお、図2に示した各部は、必ずしも1つの装置内に収める必要はない。例えば、画像保持部12などのメモリとして機能する構成要件を画像処理装置の外部装置として実装しても良い。
画像取得部11は、物体としての被写体が写っている画像を取得する。取得元については特定の取得元にかぎるものではなく、インターネットなどのネットワークを介して外部の装置から取得(受信)しても良いし、画像処理装置内のメモリから読み出して取得しても良い。
画像保持部12は、画像取得部11が取得した画像を一時的に記憶し、この記憶している画像を、物体検出部13、物体特徴量抽出部14、属性推定結果出力部16からの要求に応じて、規定のタイミングでもって要求もとに対して送出する。
物体検出部13は、画像保持部12から受けた画像に対して周知の被写体検出処理を施すことで、該画像から被写体の領域を検出する。そして物体検出部13は、検出した被写体の領域を示す領域情報を物体特徴量抽出部14に送出する。この領域情報については、画像中における被写体の領域を特定することができるのであれば、如何なる情報であっても良い。例えば、被写体が写っている領域を囲む矩形領域の左上隅の座標位置及び右下隅の座標位置を領域情報としても良いし、該矩形領域の左上隅の座標位置及び該領域の縦及び横のサイズを領域情報としても良い。
物体特徴量抽出部14は、物体検出部13から受けた領域情報を用いて、画像保持部12から受けた画像から被写体の領域を抽出し、該抽出した領域から画像特徴量を抽出する。そして物体特徴量抽出部14は、この抽出した画像特徴量を、物体属性推定部15に対して送出する。
物体属性推定部15は、物体特徴量抽出部14から受けた画像特徴量を用いて、画像中の被写体の状態を推定する。そして物体属性推定部15は、この推定した状態を属性推定結果出力部16に通知する。
属性推定結果出力部16は、画像保持部12に記憶されている画像と、物体属性推定部15から通知された状態を示す情報と、を出力する。この出力先については特定の出力先に限るものではない。
次に、本実施形態に係る画像処理装置が行う処理について、同処理のフローチャートを示す図3を用いて説明する。なお、以下では、説明をわかりやすくするために具体例を挙げて説明する。この具体例では、被写体を人の顔とし、該顔が、左右パン方向においてどの方向に向いており(属性の分類)、且つその方向における顔の角度が何度であるのか(属性値の推定)を推定する。
ステップS300では、画像取得部11は、人の顔(推定対象被写体)が写っている画像を取得し、取得した画像を画像保持部12に格納する。
ステップS301では、物体検出部13は、画像保持部12に格納されている画像から人の顔を検出する。画像から人物の顔を検出する方法については、例えば、特許3078166号公報や特開2002−8032号公報等の公知技術を用いればよい。そして物体検出部13は、検出した領域の領域情報を生成し、生成した領域情報を物体特徴量抽出部14に対して送出する。なお、この領域情報には、両目の画像座標を含めても良い。
なお、物体検出部13が画像から人の顔を検出することができなかった場合は、処理はステップS302を介して終了する。一方、顔を検出することができた場合は、処理はステップS302を介してステップS303に進む。
ステップS303では、物体特徴量抽出部14は、物体検出部13から受けた領域情報を用いて、画像保持部12から受けた画像から人の顔の領域を抽出し、該抽出した領域から画像特徴量を抽出する。ステップS303における処理の詳細については後述する。
次に、ステップS304では、物体属性推定部15は、物体特徴量抽出部14から受けた画像特徴量を用いて、画像中の人の顔の状態(属性)として、該顔の向いている方向(左右パン方向において正面、左、右の何れかの方向)を推定する。そして更に物体属性推定部15は、この推定した状態における顔の更なる状態(属性値)として、左右パン方向における顔の角度値を推定する。そして物体属性推定部15は、この推定した角度値を属性推定結果出力部16に通知する。ステップS304における処理の詳細については後述する。
ステップS303及びステップS304における処理はステップS301で検出された全ての顔について行う。然るに、ステップS303及びステップS304における処理を、ステップS301で検出された全ての顔について行った場合は、処理はステップS305を介してステップS306に進む。一方、まだステップS303及びステップS304における処理の対象となっていない顔が残っている場合は、処理はステップS305を介してステップS303に戻る。
ステップS306では、属性推定結果出力部16は、画像保持部12に記憶されている画像と、物体属性推定部15から通知されたそれぞれの顔の角度値と、を出力する。なお、この角度値を所定の顔向き範囲毎のクラスにマッピングした顔向きクラスとして出力してもよい。
なお、画像中におけるそれぞれの顔の特徴量を予め求めておき、求めたそれぞれの顔の特徴量をメモリなどに格納しておけば、図3のフローチャートはステップS304から始めても良い。即ち、全ての顔についてステップS304の処理を行い、その後、ステップS306の処理を行う。
次に、上記のステップS303における処理の詳細について説明する。物体特徴量抽出部14の機能構成例について、図4のブロック図を用いて説明する。
物体検出結果取得部21は、画像保持部12から画像を取得すると共に、物体検出部13から領域情報を取得し、取得したそれぞれを後段の切り出し物体画像生成部22に対して送出する。
切り出し物体画像生成部22は、物体検出結果取得部21から受けた領域情報を用いて、物体検出結果取得部21から受けた画像から人の顔の領域を抽出する(切り出す)。ここで、領域情報に顔の両目の画像座標が含まれている場合は、両目を結ぶ直線が画像の横軸と平行になるように画像を回転させることで、画像面に対する顔の傾き(画像面内方向の傾き)を補正してもよい。また、両目を結ぶ線分の長さが、一定の画素数になるよう、画像を拡大・縮小することで、抽出する領域(顔領域)の大きさを正規化してもよい。
物体特徴量抽出部23は、切り出し物体画像生成部22が抽出した(切り出した)領域から画像特徴量を抽出する。本実施形態では、抽出する画像特徴量として、勾配方向ヒストグラム特徴量を用いるが、その他の画像特徴量を用いてもかまわない。勾配方向ヒストグラム特徴量の抽出方法は以下の通りである。
画像中の座標位置(x、y)における画素の画素値(輝度値)をI(x、y)とすると、X方向における輝度勾配は以下の式によって計算することができる。
Figure 2013117933
また、Y方向における輝度勾配は以下の式によって計算することができる。
Figure 2013117933
そして、X方向における輝度勾配、Y方向における輝度勾配から、勾配強度m(x、y)は、以下の式によって計算することができる。
Figure 2013117933
また、X方向における輝度勾配、Y方向における輝度勾配から、勾配方向θ(x、y)は、以下の式によって計算することができる。
Figure 2013117933
そして、勾配方向の範囲180度を20度毎に9分割したそれぞれの区間をビンとし、勾配方向θの頻度ヒストグラムを、画像を複数の矩形領域(セル)に分割した場合のそれぞれの矩形領域についてに作成する。3×3の9個のセルを1ブロックとして、ブロック毎に正規化を行う。正規化は1セルずつずらしながら全領域に対して行い、正規化の度にヒストグラムを連結していく。この処理を画像全体にわたって行って得た連結ヒストグラムが勾配方向ヒストグラム特徴量である。
このように、通常は、ブロック毎の正規化を1セルずつずらしながら行うが、ずらす量を増やすことで計算量と特徴量の次元数を軽減してもよい。この特徴量は、画像中の物体の回転、スケール変化に対しては不変ではないものの、局所的な幾何学的変化や明るさの変化には不変な特徴量として知られている。なお、勾配方向ヒストグラム特徴量についての詳細は、「N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. Coference on Computer Vision and Pattern Recognition (CVPR), 2005.」を参照されたい。
本実施形態では、物体検出結果取得部21から受けた領域情報が規定する領域内の画像(切り出し物体画像)から画像特徴量を抽出する。この抽出された画像特徴量は上記の通り、後段の物体属性推定部15に対して送出する。しかし、あらかじめ複数の領域に対する画像特徴量を保持しておき、要求のあった領域に対する画像特徴量を物体属性推定部15に対して送出するようにしても良い。
次に、物体属性推定部15の機能構成例について、図5のブロック図を用いて説明する。
特徴量射影処理部31は、物体特徴量抽出部14から得た画像特徴量を表すベクトルを取得すると共に、固有空間基底保持部32が記憶している正面向き固有空間基底、左向き固有空間基底、右向き固有空間基底、の3つの固有空間基底を取得する。そして特徴量射影処理部31は、物体特徴量抽出部14から得た画像特徴量を表すベクトルを、この3つの固有空間基底のそれぞれを用いて射影して射影ベクトルを求める処理を行う。
特徴量射影処理部31が行う処理について、同処理のフローチャートを示す図6を用いて説明する。先ず、ステップS601では、特徴量射影処理部31は、物体特徴量抽出部14から送出された画像特徴量を取得する。
ステップS602では、特徴量射影処理部31は、固有空間基底保持部32が保持している上記3つの固有空間基底のうち何れか1つを読み出す。上記3つの固有空間基底の読み出し順については特定の順序に限るものではない。そして特徴量射影処理部31は、ステップS601で取得した画像特徴量を表すベクトルを、固有空間基底保持部32から読み出した固有空間基底を用いて、該固有空間基底が規定する固有空間(特徴空間)に射影して、射影ベクトルを求める。
それぞれの固有空間基底は、互いに異なる複数の規定状態(ここではそれぞれ異なる顔向き)のそれぞれについて予め計算されている、該規定状態を有する被写体が写っている画像中の該被写体の画像特徴量によって規定される特徴空間の基底、である。より詳しくは、学習データである大量の顔画像群から事前に、主成分分析(Principal Component Analysis、PCA)を用いて計算されたものである。
ここで、ステップS601で取得した画像特徴量を表すベクトルをXとし、このXを以下のように定義する。
Figure 2013117933
ここで、Tは転置、xは勾配方向ヒストグラム特徴量の構成要素成分、mはステップS601で取得した画像特徴量の次元数、である。また、固有空間基底保持部32から読み出した固有空間基底によって規定される、該固有空間基底が規定する特徴空間への射影行列をVとし、このVを以下のように定義する。
Figure 2013117933
そして、この射影行列VによってベクトルXを射影した結果である射影ベクトル(射影特徴)をPとすると、以下の式が成り立つ。
Figure 2013117933
Figure 2013117933
Aは、学習データの平均ベクトルである。主成分分析は、特徴量群の分布を解析し、分散最大基準で基底を計算する手法であり、特徴量を元の特徴空間よりも情報的価値(分散最大基準での)が高い空間へと射影することができる。主成分分析により得られた固有空間へ特徴量を射影することにより、学習に用いた画像セットをよりよく表現できるだけでなく、特徴量の次元数を削減する効果も期待できる。次元削減の量は(数式8)のnの数値を調整すればよい。ここではnを実験的に定めるが、累積寄与率を基に定めてもよい。
なお、固有空間は、他の方法を用いて求めても良い。例えば、Locality Preserving Projection(LPP)や、教師付きの固有空間学習方法であるLocal Fisher Discriminant Analysis(LFDA)等、他の方法を採用しても良い。
上記の3つの固有空間基底は、それぞれ所定の顔向き範囲で学習する。具体的には、左向き固有空間基底は、左を向いた顔の画像群を用いて学習することで得る。また、右向き固有空間基底は、右を向いた顔の画像群を用いて学習することで得る。また、正面向き固有空間基底は、正面を向いた顔の画像群を用いて学習することで得る。
それぞれの固有空間の学習に用いた顔画像の顔向き範囲の一例を、図7を用いて説明する。図7に示すように、正面(本画像を撮像した撮像装置の方向)を向いた顔向きを0度とし、撮像装置から見て左を向いた方向をマイナス、右を向いた方向をプラス方向の顔向き角度とする。このとき、正面向き固有空間基底は−30度から30度の範囲、左向き固有空間基底は−90度から−30度、右向き固有空間基底は30度から90度の範囲と設定している。もちろん、各基底を学習するための顔向き角度範囲はこれに限るものではないが、角度範囲は、異なる角度範囲に属する画像間のアピアランスが大きく異なるように設定する。
このように学習することにより、全ての顔向きを用いて学習した固有空間よりも、それぞれの顔向き範囲に特化した固有空間となり、その範囲内での顔向きの変化をより詳細に表現できる射影特徴を取得することができる。
これらの事前に用意した固有空間基底それぞれで特徴量の射影を行う。(数式7、8)に従い、正面向き固有空間基底を用いて射影した射影ベクトルP、左向き固有空間基底を用いて射影した射影ベクトルP、右向き固有空間基底を用いて射影した射影ベクトルP、を以下の式で表す。
Figure 2013117933
Figure 2013117933
Figure 2013117933
ただし、n1、n2、n3はそれぞれ、対応する射影ベクトルの次元数を表わす自然数である。この射影処理のように、一つの特徴量を別々の固有空間基底で射影することにより、異なる特徴量を取得することができる。すなわち、画像から異なる特徴量を抽出していることになる。
本実施形態では顔向きのおおよその3方向について固有空間を用意したが、さらに細かい顔向き範囲毎に固有空間を用意してもよいし、左右2方向だけ用意してもよい。ただし、前述の通り、この範囲の基準に用いる属性は、定量的またはヒューリスティックに数値化できるものに限られる。
ステップS603では、特徴量射影処理部31は、固有空間基底保持部32が保持する全ての顔向きに対する固有空間基底を用いた射影処理を行ったか否かを判断する。この判断の結果、全ての顔向きに対する固有空間基底を用いた射影処理を行った場合は、処理はステップS604に進み、まだ射影処理で用いていない固有空間基底が残っている場合は、処理はステップS602に戻る。
ステップS604では、特徴量射影処理部31は、正面向き固有空間基底を用いて射影した射影ベクトルについては正面向き射影特徴保持部33に格納する。また、特徴量射影処理部31は、左向き固有空間基底を用いて射影した射影ベクトルについては左向き射影特徴保持部34に格納する。また、特徴量射影処理部31は、右向き固有空間基底を用いて射影した射影ベクトルについては右向き射影特徴保持部35に格納する。
このように、特徴量射影処理部31は、複数の規定状態(ここでは3種類の顔向き)のそれぞれについて、推定対象被写体の画像特徴量を表すベクトルを、該規定状態について取得した基底が規定する特徴空間に射影した射影ベクトルを求める。
属性分類処理部36は、特徴量射影処理部31が顔向きごとに求めた射影ベクトルを用いて、画像中の顔の向きがどの顔向き範囲にあるのかを分類する処理を行う。属性分類処理部36が行う処理について、同処理のフローチャートを示す図8を用いて説明する。
ステップS801では、属性分類処理部36は、正面向き射影特徴保持部33、左向き射影特徴保持部34、右向き射影特徴保持部35のぞれぞれから、射影ベクトルを読み出す。
ステップS802では、属性分類処理部36は、ステップS801で読み出した3つの射影ベクトルを連結して連結ベクトル(連結射影特徴)を生成する。3つの射影ベクトルP、P、Pを連結することで生成される連結ベクトルPCONは以下の式で表される。
Figure 2013117933
ステップS803では、属性分類処理部36は、属性分類パラメタ保持部37に保持されている属性分類パラメタを読み出す。この属性分類パラメタは、図7の固有空間基底の学習に用いた顔向きの角度範囲と同じ顔画像に分類ラベル(正面向き、左向き、右向き)を関連づけたデータを用いて予め学習しておく。
ステップS804では、属性分類処理部36は、ステップS802で生成した連結ベクトルと、ステップS803で読み出した属性分類パラメタと、を用いて、画像中の顔の向きを、正面向き、左向き、右向きの何れかに分類する。この分類には、マルチクラスサポートベクトルマシーン(Support Vector Machine)(マルチクラスSVM)を用いる。
そしてステップS805では、属性分類処理部36は、ステップS804で行った分類結果(分類した属性)を、後段の属性値推定パラメタ選択部38及び射影特徴選択部40に対して送出する。
属性値推定パラメタ選択部38は、属性分類処理部36から受けた分類結果に応じた属性値推定パラメタを属性値推定パラメタ保持部39から取得し、取得した属性値推定パラメタを、属性値推定処理部41に送出する。同様に射影特徴選択部40もまた、この分類結果に応じた射影ベクトルを、正面向き射影特徴保持部33、左向き射影特徴保持部34、右向き射影特徴保持部35の何れかから取得し、取得した射影ベクトルを、属性値推定処理部41に送出する。
例えば、分類結果が「正面向き」であった場合、属性値推定パラメタ選択部38は、正面向きの顔がどの角度で正面に向いているのかを推定するためのパラメタである正面向き属性値推定パラメタを、属性値推定パラメタ保持部39から読み出す。また、射影特徴選択部40は、正面向き射影特徴保持部33に保持されている射影ベクトルを読み出す。
また、分類結果が「左向き」であった場合、属性値推定パラメタ選択部38は、左向きの顔がどの角度で左に向いているのかを推定するためのパラメタである左向き属性値推定パラメタを、属性値推定パラメタ保持部39から読み出す。また、射影特徴選択部40は、左向き射影特徴保持部34に保持されている射影ベクトルを読み出す。
また、分類結果が「右向き」であった場合、属性値推定パラメタ選択部38は、右向きの顔がどの角度で右に向いているのかを推定するためのパラメタである右向き属性値推定パラメタを、属性値推定パラメタ保持部39から読み出す。また、射影特徴選択部40は、右向き射影特徴保持部35に保持されている射影ベクトルを読み出す。
属性値推定処理部41は、属性値推定パラメタ選択部38から受けた属性値推定パラメタを取得して、顔の角度を推定するための推定モデルを構築する。そして属性値推定処理部41は、この推定モデルに、射影特徴選択部40から受けた射影ベクトルを入力して該推定モデルを計算することで、顔の角度を顔の属性値として推定する。この推定には、SVRを用いる。また、属性値推定パラメタは事前に、顔画像とその顔向きの整数値が関連づけられたデータを用いて学習したSVRのパラメタである。
SVRの学習に用いる顔画像の顔向き範囲の一例について、図9を用いて説明する。図9に示す如く、各属性値推定パラメタは隣り合う範囲にオーバーラップする顔画像を用いて学習を行う。例えば、正面向き属性値推定パラメタは、−45度から45度の範囲の顔画像、左向き属性値推定パラメタは、−100度から−15度の範囲の顔画像を用いて学習したものである。−45度から−15度の範囲が重複しており、この範囲はどちらの属性値推定パラメタでも角度の推定ができるようになっている。これは、属性分類の左向きと正面向きの境界である30度付近の顔画像は分類が失敗しやすいため、誤って隣の範囲に分類したとしても角度推定で精度低下が起こらないようにするためである。
この推定モデルには、その他の回帰関数を用いてもよいし、2クラス識別器を複数組み合わせて疑似的に顔向き角度を推定してもよい。SVRにより、入力された射影ベクトルが推定の顔向き角度(整数値)へとマッピングされる。この際、属性値推定パラメタおよび入力される射影ベクトルは、属性分類結果に応じたものが選択されているため、分類結果の顔向き範囲について詳細な属性推定が可能であると考えられる。
属性推定結果出力部16は、画像保持部12に記憶されている画像と、属性値推定処理部41が推定した角度値を示す情報と、を出力する。
このように、本実施形態では、あらかじめ大雑把な顔向き毎の固有空間基底それぞれで射影した射影特徴を用いて、おおよその顔向きに分類する属性分類処理およびその分類結果に応じた射影特徴および推定モデルを用いた属性推定を行った。詳細の顔向きを推定するのに比べ、おおよその顔向きを推定(分類)することは比較的容易であるため、比較的高精度な分類結果を基にした詳細の顔向き推定により精度向上が期待できる。それに加え、分類結果に対応する推定モデルを選択することにより、分類結果の範囲内の顔向きをより詳細に推定することができる。また、射影特徴を一旦保持しておくことで、属性分類処理部36と属性値推定処理部41とで射影特徴を共通化することができ、特徴抽出および射影処理に要する計算手間を軽減することもできる。
本実施形態では、顔の向きを推定する場合について説明したが、人物の体や動物の顔、車といった、その他の物体の向きを推定する場合にも、本実施形態は同様に適用可能であり、これにより、同様の効果が期待できる。
また、上記の説明では、様々な具体例を挙げて説明したが、何れも次に説明する構成の一例に過ぎず、本実施形態は、下記の構成から派生可能な実施形態の一例に過ぎない点に注意されたい。
入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する。更に、被写体の属性として予め定められた複数の属性のそれぞれについて予め求められている、該属性に属する被写体の画像から抽出される該被写体の画像特徴量によって規定される特徴空間の基底、を取得する。そして、この複数の属性のそれぞれについて、該属性について予め求められている特徴空間の基底を用いて上記画像特徴量を示すベクトルを該特徴空間に射影することで射影ベクトルを求める。そして、この複数の属性のそれぞれについて求めた射影ベクトルを用いて、推定対象被写体をこの複数の属性の何れかに分類する。
次に、この複数の属性のそれぞれについて予め求められている、該属性に分類された被写体が該属性に含まれるサブ属性群の何れのサブ属性に属するのかを推定するモデル、のうち、分類した属性について予め求められているモデルを選択モデルとして選択する。そしてこの選択モデルを用いて、分類した属性について求めた射影ベクトルから、推定対象被写体が属するサブ属性を推定する。
[第2の実施形態]
本実施形態では、特定の属性の物体を検出する物体検出器を複数備え、それぞれの検出結果から、属性分類および属性値推定を行う。以下の説明では、一例として、対象の物体を人の顔、属性をその人物(顔)の年齢とする。
本実施形態に係る画像処理装置の機能構成は、物体検出部13、物体特徴量抽出部14、物体属性推定部15をそれぞれ、属性別物体検出部105、属性別特徴量抽出部106、物体属性推定部107に置き換えたものとなる。以下では、第1の実施形態と異なる点のみについて説明し、第1の実施形態と同様の点についてはその説明を省略する。
先ず、属性別物体検出部105の機能構成例について、図10を用いて説明する。属性別物体検出部105は、画像保持部12から取得した画像から顔検出を行う点では第1の実施形態と同様であるが、顔の種類(図10では赤ちゃんの顔、若者の顔、老人の顔)ごとに顔検出器を有している点で第1の実施形態と異なる。
赤ちゃん顔検出部111は、人物の顔のうち年代が赤ちゃんに相当するものを検出するための検出器である。また、若者顔検出部112は、人物の顔のうち年代が若者に相当するものを検出するための検出器である。また、老人顔検出部113は、人物の顔のうち年代が老人に相当するものを検出するための検出器である。それぞれの検出器には、第1の実施形態で説明した顔検出の技術を用いればよい。
赤ちゃん顔検出部111は、赤ちゃんに相当する顔の画像群を用いて学習した顔検出用のパラメタを用いて顔検出を行う。若者顔検出部112は、若者に相当する顔の画像群を用いて学習した顔検出用のパラメタを用いて顔検出を行う。老人顔検出部113は、老人に相当する顔の画像群を用いて学習した顔検出用のパラメタを用いて顔検出を行う。
これにより、年代によってアピアランスの傾向が異なる人物の顔の検出見落としを減らす効果が期待できるのに加え、各検出器の出力から年代の分類をすることができる。ここでは、所定範囲の年齢を年代と呼んでおり、年齢はその人物の実年齢である。実年齢の他に、人の主観に基づく顔の見た目の年齢を用いてもよい。
そして、赤ちゃん顔検出部111は、赤ちゃんに相当する顔の領域を囲む矩形領域の領域情報を赤ちゃん検出結果保持部114に格納する。若者顔検出部112は、若者に相当する顔の領域を囲む矩形領域の領域情報を若者検出結果保持部115に格納する。老人顔検出部113は、老人に相当する顔の領域を囲む矩形領域の領域情報を老人検出結果保持部116に格納する。
また、赤ちゃん顔検出部111、若者顔検出部112、老人顔検出部113は何れも、領域情報に加えて、検出の尤度(それぞれσbaby、σyoung、σelder)も格納する。領域情報に対する尤度は、例えば、検出用パラメタとのマッチングの度合いに基づいても良いし、あるいは該領域情報が示す領域の面積が大きいほど高くするようにしても良いし、どのような基準で尤度を定義しても良い。なお、尤度σbaby、σyoung、σelderはそれぞれ、赤ちゃん顔検出部111、若者顔検出部112、老人顔検出部113により計算される。この格納したそれぞれの情報は、属性別特徴量抽出部106や物体属性推定部107からの要求に応じて適宜出力される。
なお、本実施形態では年代を赤ちゃん、若者、老人の3つに分割し、分割した年代それぞれに対応する顔検出器を用意したが、赤ちゃんとその他、のように更に少ない数の顔検出器で構成してもよい。年代を更に細かく分割して、顔検出器の数を増やしてもよいが、前述の通り、顔検出器の数を増やすと辞書ファイルが増大するデメリットがあるため、辞書ファイル全体のサイズを考慮した上で、顔検出器の数を設定する必要がある。
属性別特徴量抽出部106は、赤ちゃん検出結果保持部114、若者検出結果保持部115、老人検出結果保持部116、のそれぞれから、検出結果の尤度σbaby、σyoung、σelderを取得する。そして、赤ちゃん検出結果保持部114、若者検出結果保持部115、老人検出結果保持部116のそれぞれに格納されている領域情報のうち、閾値以上の尤度に対応する領域情報を、後段の物体属性推定部107に通知する。例えば、上記の3つの尤度のうち、尤度σbabyのみが閾値よりも低い場合、属性別特徴量抽出部106は、若者検出結果保持部115及び老人検出結果保持部116から領域情報を読み出して後段の物体属性推定部107に対して送出する。
物体属性推定部107の機能構成例について、図11のブロック図を用いて説明する。属性別物体特徴量保持部131には、属性別特徴量抽出部106から送出された領域情報が格納される。
属性分類処理部132は、属性別物体特徴量保持部131に格納されている領域情報から、最終的に画像中に写っている1以上の顔を、赤ちゃん、若者、老人の何れかに分類する。属性分類処理部132が行う処理について、同処理のフローチャートを示す図12を用いて説明する。
ステップS1201では、属性分類処理部132は、属性別物体特徴量保持部131から領域情報を取得する。
ステップS1202では、属性分類処理部132は、ステップS1201で取得した領域情報が1つであるか否かを判断する。領域情報が1つしかない場合とは、残りの2つの顔検出部では顔が検出されなかった、または、尤度が低かったために属性別物体特徴量保持部131に格納されなかった場合である。この判断の結果、領域情報が1つしかない場合は、処理はステップS1206に進む。一方、領域情報が2以上であれば、処理はステップS1203に進む。
ステップS1202からステップS1206に処理が進んだ場合、ステップS1206で属性分類処理部132は、この1つの領域情報の検出元が赤ちゃん顔検出部111であれば、分類結果として「赤ちゃん」を示す情報を、物体属性推定部107に送出する。また、検出元が若者顔検出部112であれば、分類結果として「若者」を示す情報を、後段の物体属性推定部107に対して送出する。また、検出元が老人顔検出部113であれば、分類結果として「老人」を示す情報を、後段の物体属性推定部107に対して送出する。
一方、ステップS1203では、属性分類処理部132は、2以上のそれぞれの領域情報が示す領域同士で重なっている部分(重複している部分)があるか否かを判断する。領域情報から画像上の領域は特定できるので、それぞれの領域情報に対応する領域を特定し、特定した領域同士で重なっている部分を特定することは容易に実現できる。なお、本実施形態では、重なっている部分の面積Sが閾値θよりも大きい場合に、「重なっている部分がある」と判断する。しかし、この判断基準は特定の判断基準に限るものではない。
ステップS1203において、重なっている部分が存在すると判断した場合は、処理はステップS1204を介してステップS1205に進み、重なっている部分は存在しないと判断した場合は、処理はステップS1204を介してステップS1206に進む。
ステップS1204を介してステップS1206に処理が進んだ場合、ステップS1206で属性分類処理部132は、2以上の領域情報のそれぞれについて、該領域情報の検出元に対応する分類結果を示す情報を、物体属性推定部107に送出する。例えば、2以上の領域情報のそれぞれの検出元が、赤ちゃん顔検出部111と若者顔検出部112である場合、分類結果として「赤ちゃん」を示す情報及び「若者」を示す情報を、物体属性推定部107に送出する。
一方、ステップS1205では、属性分類処理部132は、重なっている部分を有すると判断されたそれぞれの領域の領域情報に対する尤度を、該尤度を保持している保持部から取得し、取得した尤度の中で最も高い尤度を特定する。そして特定した尤度に対応する領域情報の検出元に対応する分類結果を示す情報を、物体属性推定部107に送出する。
例えば図13に示す如く、赤ちゃん顔検出部111が検出した領域情報が示す領域141と、若者顔検出部112が検出した領域情報が示す領域142と、が重なっている部分143の面積Sは閾値θよりも大きい。然るにこの場合は、ステップS1205の処理を実行することになる。そしてステップS1205では、尤度σbabyとσyoungとの大小比較を行い、尤度の高い方を選択する。そしてその後、ステップS1206では、属性分類処理部132は、この選択した尤度に対応する領域情報の検出元に対応する分類結果を示す情報を、物体属性推定部107に送出する。なお、選択した尤度がある閾値よりも小さい場合は、検出結果なしと判定してもよい。
属性値推定パラメタ選択部133は、属性値推定パラメタ保持部134から、属性分類処理部132から受けた分類結果に応じた属性値推定パラメタを取得し、取得した属性値推定パラメタを、属性値推定処理部135に送出する。例えば、属性分類処理部132から受けた分類結果が「赤ちゃん」であれば、属性値推定パラメタ選択部133は、赤ちゃんの年齢を推定するための属性値推定パラメタを取得する。
属性値推定処理部135は、分類結果に対応する領域情報が示す領域から画像特徴量を求めると共に、属性分類処理部132が分類した属性に対応する固有空間基底を用いて射影ベクトルを第1の実施形態と同様にして求める。そして、属性分類処理部132が分類した属性の射影ベクトルと、属性値推定パラメタ選択部133から受けた属性値推定パラメタと、を用いて第1の実施形態と同様の処理を行うことで、年齢推定を行う。
このように、特定物体検出用の検出器を複数用意しておき、その検出結果を基に分類を行うことで年代を分類するための専用の分類器を用意することなく、分類処理を行うことができる。顔向き推定と同様に、人物の顔は年代に応じてアピアランスが大幅に変化する。そのため、顔画像から年齢を詳細に推定するためには、全ての年代共通の推定モデル(学習パラメタ)を用意するよりも、年代毎のモデルを用意し、顔画像に対応する推定モデルを選択することで、より精密な年齢推定が期待できる。人物の顔の年齢推定を実現するための構成として、第1の実施形態のように1つの物体検出器と、顔を所定の属性毎に分類する分類器を持つ構成であってもよい。
また、顔に関して、他の属性を推定してもよい。例えば、目や口の開閉度合いを数値化し、所定の数値範囲を定めることで、数値範囲毎に分類し、分類結果に応じたモデルで詳細に属性値を推定することができる。その他にも、顔色やひげの濃さ、笑顔の度合い等について、定量的な数値またはヒューリスティックに定めた数値を属性値として割り当てれば、本実施形態と同様の処理を適用し、属性値を詳細に推定することができる。この方法は、顔以外の車や動物等の向きや、向き以外の年齢、笑顔度といった属性を推定する際にも効果が期待できる。
なお、被写体の属性を分類する方法は、第1の実施形態と第2の実施形態とでは異なるが、一方の実施形態で説明した分類方法を他方の実施形態で使用しても良い。即ち、第1の実施形態、第2の実施形態のそれぞれで説明した技術は適宜組み合わせても良いし、部分的に実施形態間で入れ替えても良い。
[第3の実施形態]
図2,4,5,10,11に示した各部はハードウェアとして実装しても良いが、保持部として説明した構成要件をメモリで実装し、それ以外の各部をコンピュータプログラムで実装しても良い。この場合、上記の画像処理装置には、図1に示した構成を有するコンピュータを適用することができる。
CPU1は、ROM2やRAM3に格納されているコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ全体の動作制御を行うと共に、本コンピュータを適用した画像処理装置が行うものとして上述した各処理を実行する。
ROM2は、本コンピュータの設定データやブートプログラムなどを格納する。RAM3は、2次記憶装置4からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアや、信号処理装置6を介して入力される画像のデータを一時的に記憶するためのエリアを有する。更にRAM3は、CPU1が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM3は、このような各種のエリアを適宜提供することができる。
2次記憶装置4は、ハードディスクドライブ装置などに代表される大容量情報記憶装置である。2次記憶装置4には、OS(オペレーティングシステム)や、図2,4,5,10,11に示した構成要件のうち保持部以外の各部の機能をCPU1に実現させるためのコンピュータプログラムが保存されている。また、保持部が保持しているものとして説明したデータもこの2次記憶装置4に保存することもできる。2次記憶装置4に保存されているコンピュータプログラムやデータは、CPU1による制御に従って適宜RAM3にロードされ、CPU1による処理対象となる。
撮像素子5は、CCDセンサやCMOSセンサ等により構成されており、ディジタルカメラに備わっているものである。この撮像素子5は、外界の光を電気信号(画像信号)に変換し、変換した画像信号を信号処理装置6に出力するものである。
信号処理装置6は、撮像素子5から受けた画像信号から画像のデータを生成し、生成した画像のデータをRAM3や2次記憶装置4に送出するものである。なお、本コンピュータに画像を入力するための構成についてはこれに限るものではなく、様々な構成が考え得る。
外部出力装置7は、表示装置や、外部のネットワークに接続するためのネットワークインターフェース、などにより構成されている。外部出力装置7が表示装置である場合、この表示装置はCRTや液晶画面などにより構成されており、本コンピュータによる処理結果を画像や文字などでもって表示することができる。例えば、属性推定結果出力部16が出力した結果を表示しても良い。また、外部出力装置7がネットワークインターフェースである場合、属性推定結果出力部16が出力した結果をネットワークを介して外部の装置に対して送信しても良い。このネットワークは無線、有線の何れであっても良いし、混在していても良い。
接続バス8は、CPU1、ROM2、RAM3、2次記憶装置4、信号処理装置6、外部出力装置7のそれぞれに接続されているものであり、これら各部はこの接続バス8を介して互いに通信が可能である。
なお、図1に示した構成は、一般のPC(パーソナルコンピュータ)の構成としても良いし、ディジタルカメラの構成としても良い。図1に示した構成を、一般のPCの構成とする場合、撮像素子5及び信号処理装置6は省いても良い。このように、図1に示した構成は、様々な機器に適用することができる。
なお、図2,4,5,10,11に示した各部をハードウェアで実装する場合は、そのハードウェアとして専用回路(ASIC)やプロセッサ(リコンフィギュラブルプロセッサ、DSP、CPU)などを用いることができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (6)

  1. 入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する手段と、
    複数の属性のそれぞれに属する被写体の画像特徴量によって規定される特徴空間の基底、を取得する取得手段と、
    前記複数の属性のそれぞれについて、前記特徴空間の基底を用いて前記画像特徴量を示すベクトルを該特徴空間に射影した射影ベクトルを求める手段と、
    前記複数の属性のそれぞれについて求めた射影ベクトルを用いて、前記推定対象被写体を前記複数の属性の何れかに分類する分類手段と、
    前記分類手段が分類した属性について予め求められているモデルを選択モデルとして選択する選択手段と、
    前記選択モデルを用いて、前記分類手段が分類した属性について求めた射影ベクトルから、前記推定対象被写体が属するサブ属性を推定する推定手段と
    を備えることを特徴とする画像処理装置。
  2. 前記被写体は人物であり、前記属性は被写体の顔の向きであって、
    前記取得手段は、被写体の顔の向きごとに予め求められている、該向きの被写体の画像から抽出される該被写体の画像特徴量によって規定される特徴空間の基底、を取得することを特徴とする請求項1に記載の画像処理装置。
  3. 前記被写体は人物であり、前記属性は被写体の顔の向きであって、
    前記選択手段は、被写体の顔の向きごとに予め求められている、該向きに分類された顔がどの角度に向いているのかを推定するモデル、のうち、前記分類手段が分類した向きについて予め求められているモデルを選択モデルとして選択することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記分類手段は、サポートベクトルマシーンを用いて前記分類を行うことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の抽出手段が、入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する工程と、
    前記画像処理装置の取得手段が、複数の属性のそれぞれに属する被写体の画像特徴量によって規定される特徴空間の基底、を取得する取得工程と、
    前記画像処理装置の計算手段が、前記複数の属性のそれぞれについて、前記特徴空間の基底を用いて前記画像特徴量を示すベクトルを該特徴空間に射影した射影ベクトルを求める工程と、
    前記画像処理装置の分類手段が、前記複数の属性のそれぞれについて求めた射影ベクトルを用いて、前記推定対象被写体を前記複数の属性の何れかに分類する分類工程と、
    前記画像処理装置の選択手段が、前記分類工程で分類した属性について予め求められているモデルを選択モデルとして選択する選択工程と、
    前記画像処理装置の推定手段が、前記選択モデルを用いて、前記分類工程で分類した属性について求めた射影ベクトルから、前記推定対象被写体が属するサブ属性を推定する推定工程と
    を備えることを特徴とする画像処理方法。
  6. コンピュータを、請求項1乃至4の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
JP2011266278A 2011-12-05 2011-12-05 画像処理装置、画像処理方法 Expired - Fee Related JP5836095B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011266278A JP5836095B2 (ja) 2011-12-05 2011-12-05 画像処理装置、画像処理方法
US13/686,429 US9245206B2 (en) 2011-12-05 2012-11-27 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011266278A JP5836095B2 (ja) 2011-12-05 2011-12-05 画像処理装置、画像処理方法

Publications (3)

Publication Number Publication Date
JP2013117933A true JP2013117933A (ja) 2013-06-13
JP2013117933A5 JP2013117933A5 (ja) 2015-01-29
JP5836095B2 JP5836095B2 (ja) 2015-12-24

Family

ID=48524041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011266278A Expired - Fee Related JP5836095B2 (ja) 2011-12-05 2011-12-05 画像処理装置、画像処理方法

Country Status (2)

Country Link
US (1) US9245206B2 (ja)
JP (1) JP5836095B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210303825A1 (en) * 2018-05-29 2021-09-30 Adobe Inc. Directional assistance for centering a face in a camera field of view
WO2022004569A1 (ja) * 2020-07-01 2022-01-06 富士フイルム株式会社 画像データ処理装置及びシステム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141851B2 (en) 2013-06-28 2015-09-22 Qualcomm Incorporated Deformable expression detector
JP6351240B2 (ja) * 2013-11-20 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6351243B2 (ja) 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
JP6254836B2 (ja) 2013-11-29 2017-12-27 キヤノン株式会社 画像検索装置、画像検索装置の制御方法およびプログラム
JP6456031B2 (ja) 2014-03-25 2019-01-23 キヤノン株式会社 画像認識装置、画像認識方法およびプログラム
JP6532190B2 (ja) 2014-03-26 2019-06-19 キヤノン株式会社 画像検索装置、画像検索方法
JP6410450B2 (ja) 2014-03-31 2018-10-24 キヤノン株式会社 オブジェクト識別装置、オブジェクト識別方法及びプログラム
US10678828B2 (en) 2016-01-03 2020-06-09 Gracenote, Inc. Model-based media classification service using sensed media noise characteristics
US10664949B2 (en) * 2016-04-22 2020-05-26 Intel Corporation Eye contact correction in real time using machine learning
US10423830B2 (en) 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
JP7026456B2 (ja) * 2017-07-05 2022-02-28 キヤノン株式会社 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム
JP7085812B2 (ja) * 2017-08-02 2022-06-17 キヤノン株式会社 画像処理装置およびその制御方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309228A (en) * 1991-05-23 1994-05-03 Fuji Photo Film Co., Ltd. Method of extracting feature image data and method of extracting person's face data
JP3455752B2 (ja) 1993-05-26 2003-10-14 カシオ計算機株式会社 年齢推定装置および年齢表示制御方法
TW359781B (en) 1993-05-25 1999-06-01 Casio Computer Co Ltd Animal image display controlling devices and method thereof
US6463176B1 (en) * 1994-02-02 2002-10-08 Canon Kabushiki Kaisha Image recognition/reproduction method and apparatus
JP3078166B2 (ja) 1994-02-02 2000-08-21 キヤノン株式会社 物体認識方法
ES2105936B1 (es) * 1994-03-21 1998-06-01 I D Tec S L Perfeccionamientos introducidos en la patente de invencion n. p-9400595/8 por: procedimiento biometrico de seguridad y autentificacion de tarjetas de identidad y de credito, visados, pasaportes y reconocimiento facial.
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
US7054850B2 (en) 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
JP4478296B2 (ja) 2000-06-16 2010-06-09 キヤノン株式会社 パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路
EP1202214A3 (en) * 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
CN1273912C (zh) * 2001-08-23 2006-09-06 索尼公司 机器人装置、面容识别方法和面容识别装置
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
JP3903783B2 (ja) * 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
EP2955662B1 (en) 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
JP4286860B2 (ja) * 2004-05-21 2009-07-01 旭化成株式会社 動作内容判定装置
US7436988B2 (en) * 2004-06-03 2008-10-14 Arizona Board Of Regents 3D face authentication and recognition based on bilateral symmetry analysis
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP5008269B2 (ja) 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
JP4462176B2 (ja) * 2005-12-05 2010-05-12 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20070171237A1 (en) * 2006-01-25 2007-07-26 Marco Pinter System for superimposing a face image on a body image
JP4640825B2 (ja) 2006-02-23 2011-03-02 富士フイルム株式会社 特定向き顔判定方法および装置並びにプログラム
US7920745B2 (en) * 2006-03-31 2011-04-05 Fujifilm Corporation Method and apparatus for performing constrained spectral clustering of digital image data
WO2008004710A1 (fr) 2006-07-07 2008-01-10 Canon Kabushiki Kaisha Dispositif de traitement d'image, procédé de traitement d'image, et programme de traitement d'image
JP2008059197A (ja) * 2006-08-30 2008-03-13 Canon Inc 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体
US8326042B2 (en) * 2007-06-18 2012-12-04 Sony (China) Limited Video shot change detection based on color features, object features, and reliable motion information
KR101428715B1 (ko) * 2007-07-24 2014-08-11 삼성전자 주식회사 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및방법
JP2009076982A (ja) * 2007-09-18 2009-04-09 Toshiba Corp 電子機器および顔画像表示方法
JP2009086749A (ja) 2007-09-27 2009-04-23 Canon Inc パターン識別手法、識別用パラメータ学習方法、及び装置
US8705810B2 (en) * 2007-12-28 2014-04-22 Intel Corporation Detecting and indexing characters of videos by NCuts and page ranking
JP5121506B2 (ja) * 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5055166B2 (ja) 2008-02-29 2012-10-24 キヤノン株式会社 眼の開閉度判定装置、方法及びプログラム、撮像装置
US8331655B2 (en) 2008-06-30 2012-12-11 Canon Kabushiki Kaisha Learning apparatus for pattern detector, learning method and computer-readable storage medium
JP5414416B2 (ja) * 2008-09-24 2014-02-12 キヤノン株式会社 情報処理装置及び方法
JP2012038106A (ja) 2010-08-06 2012-02-23 Canon Inc 情報処理装置、情報処理方法、およびプログラム
JP5675233B2 (ja) 2010-09-09 2015-02-25 キヤノン株式会社 情報処理装置、その認識方法及びプログラム
JP5701005B2 (ja) 2010-10-15 2015-04-15 キヤノン株式会社 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
US8463045B2 (en) * 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
JP5755012B2 (ja) 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
JP5801601B2 (ja) 2011-05-10 2015-10-28 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
JP5719230B2 (ja) 2011-05-10 2015-05-13 キヤノン株式会社 物体認識装置、物体認識装置の制御方法、およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210303825A1 (en) * 2018-05-29 2021-09-30 Adobe Inc. Directional assistance for centering a face in a camera field of view
US11703949B2 (en) * 2018-05-29 2023-07-18 Adobe Inc. Directional assistance for centering a face in a camera field of view
WO2022004569A1 (ja) * 2020-07-01 2022-01-06 富士フイルム株式会社 画像データ処理装置及びシステム
JP7436668B2 (ja) 2020-07-01 2024-02-21 富士フイルム株式会社 画像データ処理装置及びシステム

Also Published As

Publication number Publication date
US20130142401A1 (en) 2013-06-06
US9245206B2 (en) 2016-01-26
JP5836095B2 (ja) 2015-12-24

Similar Documents

Publication Publication Date Title
JP5836095B2 (ja) 画像処理装置、画像処理方法
JP7130368B2 (ja) 情報処理装置および情報処理システム
US9171230B2 (en) Object detection method, object detection apparatus and image pickup apparatus
CN102375974B (zh) 信息处理设备和信息处理方法
US10254845B2 (en) Hand gesture recognition for cursor control
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
US9429418B2 (en) Information processing method and information processing apparatus
US8891819B2 (en) Line-of-sight detection apparatus and method thereof
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP2017033469A (ja) 画像識別方法、画像識別装置及びプログラム
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
JP2009230751A (ja) 年令推定装置
JP2014194617A (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
JP2013206458A (ja) 画像における外観及びコンテキストに基づく物体分類
US11462052B2 (en) Image processing device, image processing method, and recording medium
JP2018081402A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015125731A (ja) 人物属性推定装置、人物属性推定方法及びプログラム
CN106250878B (zh) 一种结合可见光和红外图像的多模态目标跟踪方法
JP2012068948A (ja) 顔属性推定装置およびその方法
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
JP6430102B2 (ja) 人物属性推定装置、人物属性推定方法及びプログラム
JP2010231350A (ja) 人物識別装置、そのプログラム、及び、その方法
KR100977259B1 (ko) 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151102

LAPS Cancellation because of no payment of annual fees