JP2018163481A - 顔認識装置 - Google Patents
顔認識装置 Download PDFInfo
- Publication number
- JP2018163481A JP2018163481A JP2017059724A JP2017059724A JP2018163481A JP 2018163481 A JP2018163481 A JP 2018163481A JP 2017059724 A JP2017059724 A JP 2017059724A JP 2017059724 A JP2017059724 A JP 2017059724A JP 2018163481 A JP2018163481 A JP 2018163481A
- Authority
- JP
- Japan
- Prior art keywords
- face
- unit
- fitting
- captured image
- wearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】顔に装着物がある場合であっても適切に顔を認識可能な顔認識装置を提供する。【解決手段】顔認識装置1は、人の顔を撮影した撮像画像から顔に装着される装着物の有無を判定する判定部11と、判定部11により顔に装着物が有ると判定された場合に、顔の表面からの装着物の高さを示す高さ情報を取得する取得部13と、高さ情報に基づいて三次元顔モデルを作成する作成部15と、三次元顔モデルを用いて撮像画像に含まれる顔をフィッティングするフィッティング部16と、を備える。【選択図】図1
Description
本発明は、人の顔を認識する顔認識装置に関する。
従来、人の顔を認識する顔認識装置が利用されてきた。このような人の顔を認識する技術して、例えば下記に出典を示す特許文献1−3に記載のものがある。
特許文献1に記載のサングラス着用検出装置は、入力画像を取得する画像入力部と、入力画像からサングラスを着用している人物を検出する画像処理部とを備えて構成される。画像処理部は、入力画像から人物の頭部に相当する頭部領域を抽出する頭部抽出手段と、頭部領域に含まれる略黒色を呈する黒画素を抽出する黒画素抽出手段と、黒画素の分布に基づいて頭部領域の特徴量を算出する特徴量算出手段と、特徴量を用いて、黒画素が略左右対称に分布していると人物がサングラスを着用していると判定し、黒画素が略左右対称に分布していないと人物はサングラスを着用していないと判定する判定手段とを備えている。
特許文献2に記載の顔状態検出装置は、対象者の顔を顔画像撮像手段にて撮像し、撮像された顔画像に基づいて、当該対象者の顔の向きを検出する。この顔状態検出装置は、対象者が眼鏡を掛けているか否かを検出する眼鏡検出手段と、眼鏡検出手段にて、対象者が眼鏡を掛けていることが検出された際には、当該眼鏡に映り込みが存在するか否かを検出する映り込み検出手段と、当該映り込み検出手段にて検出される映り込み映像の位置、或いは検出された眼鏡の特徴量を検出する特徴量検出手段と、特徴量検出手段にて検出された特徴量に基づいて、対象者の顔の向きを検出する顔の向き検出手段とを備えている。
特許文献3に記載の画像処理装置は、入力画像の少なくとも所定の構造物の部分を所望の解像度に変換する解像度変換手段と、所定の構造物が表された、所望の解像度と同一の解像度を有する複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量により構造物が表現されたモデルと、解像度変換後の入力画像中の構造物をモデルに適応させ、適応後の構造物を表す画像を再構成する再構成手段とを備えている。
特許文献1に記載のサングラス着用検出装置は、画像上の人物からエッジと輝度値と左右対称性等からサングラスを装着しているか否かを判定する。このため、サングラスの装着の有無は検出できるが、人物が横を向いている場合のフィッティングまで想定されておらず、横向きの顔を検出することができない。
特許文献2に記載の顔状態検出装置は、サングラスを検出し、レンズへの背景の映り込みを検出する。映り込んだ車内のピラーやミラーとの位置合わせや眼鏡フレームの状態に基づいて顔向きを検出する。このため、レンズへの映り込みが生じていない場合には顔向きを検出することができない。また、サングラスの形状により映り込む映像が異なるため、位置合わせが容易ではなく、専用のサングラスを用いる必要がある。
特許文献3に記載の画像処理装置は、顔の3次元モデルと画像で検出した特徴点(2D)を用いて顔を検出し、解像度を変更する。このため、装飾物で顔の部品が隠れた場合や、元々顔の部品がサングラスやマスクで隠れている場合に加えて、顔の認識中に帽子のつば等で顔の部品が隠れた場合に適切に認識することができなくなってしまう。
そこで、顔に装着物がある場合であっても、適切に顔を認識することが可能な顔認識装置が求められる。
本発明に係る顔認識装置の特徴構成は、人の顔を撮影した撮像画像から前記顔に装着される装着物の有無を判定する判定部と、前記判定部により前記顔に装着物が有ると判定された場合に、前記顔の表面からの前記装着物の高さを示す高さ情報を取得する取得部と、前記高さ情報に基づいて三次元顔モデルを作成する作成部と、前記三次元顔モデルを用いて前記撮像画像に含まれる顔をフィッティングするフィッティング部と、を備えている点にある。
このような特徴構成とすれば、人の顔を撮影した撮像画像から装着物を特定し、装着物に合わせた三次元顔モデルを作成してフィッティングすることが可能となる。したがって、顔に装着物がある場合であっても、適切に顔を認識することが可能となる。
また、顔認識装置は、前記装着物と前記高さ情報との関係が予め記憶された記憶部と、前記判定部により前記顔に装着物が有ると判定された場合に、前記装着物を特定する特定部と、を更に備え、前記取得部は、前記特定部により特定された装着物の高さ情報を前記記憶部から取得すると好適である。
このような構成とすれば、予め用意しておいた一般的なマスクやサングラスの形状を、装着物が無い場合の三次元顔モデルに重ねることにより容易にマスクやサングラスを装着している場合の三次元顔モデルを作成することができる。
あるいは、顔認識装置は、前記フィッティング部によるフィッティング後、前記顔の特徴点をトラッキングして前記顔の回転量を算定する回転量算定部を更に備え、前記回転量算定部は、前記装着物が帽子であって、前記人が下を向き前記帽子で前記特徴点が隠れた場合には、隠れた前記特徴点をトラッキング対象から除外するように構成しても良い。
このような構成とすれば、顔が下を向くことにより特徴点が隠れた場合には、隠れた特徴点をトラッキング対象から除外し、帽子のつば部分に基づく特徴点を継続してトラッキングすることで、追跡していた特徴点が急に見えなくなり顔を見失うことを防止できる。したがって、精度良く顔認識を行うことが可能となる。
また、前記顔の表面からの前記装着物の高さは、画像認識処理により算出して求められると好適である。
このような構成とすれば、例えば単眼ステレオマッチング技術により、帽子のつばの三次元形状を把握することができる。したがって、装着物が帽子である場合であっても、当該三次元形状に基づき容易に三次元顔モデルを作成することが可能となる。
本発明に係る顔認識装置は、装着物が装着されている顔の向きが変わった場合であっても、適切に顔を認識することができるように構成されている。以下、本実施形態の顔認識装置1について説明する。
図1は、本実施形態の顔認識装置1の構成を模式的に示したブロック図である。顔認識装置1は、図1に示されるように、撮像画像取得部10、判定部11、特定部12、取得部13、記憶部14、作成部15、フィッティング部16、回転量算定部17を備えて構成され、各機能部は顔認識に係る処理を行うために、CPUを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。本実施形態では、顔認識装置1が車両に備えられたシートに着座する人の顔を認識する場合の例を挙げて説明する。
撮像画像取得部10は、車両に備えられたシートの前方からシートに向かって撮影する。撮像画像取得部10は、例えば光量が少ない場合(夜間や日陰内)であっても取得した撮像画像に映るものを判別できる赤外線カメラを用いると好適である。この撮像画像取得部10は、他の装置が有する赤外線カメラを利用することも可能である。本実施形態では、撮像画像取得部10は車両のシートに人が着座した場合に、少なくとも当該人の顔が撮像画像に含まれるように撮影範囲及び撮影方向が設定されている。撮像画像取得部10により取得された撮像画像は、後述する判定部11に伝達される。
判定部11は、人の顔を撮影した撮像画像から顔に装着される装着物の有無を判定する。まず、判定部11は、撮像画像取得部10から伝達された撮像画像において顔が映る顔領域を検出する。顔領域の検出は、説明は省略するが、公知の機械学習を使った顔認識処理により行うことが可能である。次に、判定部11は、検出した顔領域内に映る顔に装着物が装着されているか否かを判定する。本実施形態における装着物とは、サングラス、マスク、帽子である。図2の(a)にはサングラスを装着している顔の一例が示され、図2の(b)にはマスクを装着している顔の一例が示され、図2の(c)には帽子を装着している顔の一例が示される。このような装着物の有無は、公知の顔認識処理により判定される。判定部11は、顔に装着物が有ると判定した場合には後述する特定部12に判定結果を伝達し、顔に装着物が無いと判定した場合には後述するフィッティング部16に判定結果を伝達する。
特定部12は、判定部11により顔に装着物が有ると判定された場合に、装着物を特定する。上述したように、特定部12には、判定部11により顔に装着物が有ると判定された場合に判定結果が伝達される。特定部12は、この判定結果を受け、顔領域に含まれる顔に装着された装着物を特定する。装着物の特定は、例えば顔領域における両目の位置、及びその近傍が他の領域の色とは異なる色で覆われている場合にサングラスであると特定し、顔領域における鼻や口の位置、及びその近傍が他の領域の色とは異なる色で覆われている場合にマスクであると特定することが可能である。また、例えば顔領域において顔の上部が覆われている場合には帽子であると特定することが可能である。このような特定は、公知の画像認識処理により行うことが可能である。特定部12による特定結果は、後述する取得部13に伝達される。
取得部13は、判定部11により顔に装着物が有ると判定された場合に、顔の表面からの装着物の高さを示す高さ情報を取得する。「判定部11により顔に装着物が有ると判定された場合」には、判定部11が直接、取得部13に判定結果を示すように構成しても良いし、上述したように判定部11が特定部12に判定結果を伝達し、特定部12が装着物を特定した際に、特定部12が取得部13に特定結果を示すことによって、判定部11により顔に装着物が有ると判定されたことを示すように構成しても良い。顔の表面からの装着物の高さとは、装着物がサングラスである場合には、顔の表面からサングラスの各部までの高さであり、装着物がマスクである場合には、顔の表面からマスクの各部までの高さであり、装着物が帽子である場合には、顔の表面から帽子の各部までの高さである。顔の表面からの装着物の高さは、顔の表面から装着物の全ての縁部までの高さとしても良いし、演算処理を軽減するために装着物の一部の縁部までの高さとしても良い。このような装着物の高さは、顔認識装置1において高さ情報として扱われる。
ここで、本実施形態では、記憶部14には装着物と高さ情報との関係が予め記憶されている。装着物と高さ情報との関係とは、装着物がサングラスである場合には、顔の表面からのサングラスの高さを示した関係であり、装着物がマスクである場合には、顔の表面からのマスクの高さを示した関係である。このようなサングラスやマスクは、一般的な高さであるため、予め装着物と高さ情報との関係を記憶しておくと好適である。しかしながら、帽子は形状やつば部の大きさに応じて各種存在するため、記憶部14には帽子と高さ情報との関係を記憶しておかなくても良い。
取得部13は、特定部12により特定された装着物の高さ情報を記憶部14から取得する。すなわち、取得部13は、特定部12により装着物がサングラスであると特定された場合には記憶部14に予め記憶されているサングラスの高さ情報を取得し、特定部12により装着物がマスクであると特定された場合には記憶部14に予め記憶されているマスクの高さ情報を取得する。これにより、取得部13が、顔の表面から一般的なサングラス或いはマスクの高さを示す高さ情報を取得することが可能となる。
一方、装着物としての帽子は、上述したように形状が様々である。そこで、取得部13は、撮像画像取得部10により取得された撮像画像を用いた画像認識処理により顔の表面からの装着物の高さを算出して求める。画像認識処理は、まず、撮像画像から三次元形状を認識し、時系列を利用した一般的な単眼ステレオマッチング技術により、帽子のつばの三次元形状を画像認識で取得すると良い。取得部13により取得された高さ情報は、後述する作成部15に伝達する。
作成部15は、高さ情報に基づいて三次元顔モデルを作成する。高さ情報は、取得部13から作成部15に伝達される。三次元顔モデルとは、人の顔を三次元で示したモデルであり、顔の中心を基準として規定されたX軸、Y軸、Z軸の夫々の方向に沿って並進可能、且つ、これらのX軸、Y軸、Z軸を軸心として回転可能に構成されたモデルである。このような三次元顔モデルは、装着物に応じて用意されている。
図3には顔に装着物が無い場合の三次元顔モデルが示される。黒丸は顔認識に用いられる特徴点であり、白丸は理解を容易にするために示した顔の部分である。作成部15は、このような装着物が無い場合の三次元顔モデルと高さ情報とに基づき、装着物に応じた三次元顔モデルを作成する。具体的には、サングラスを装着している場合には、作成部15は、両目の周囲の高さをサングラスの高さ情報に基づいて高くしたサングラス用の三次元顔モデルを作成する。サングラス用の三次元顔モデルが図4に示される。なお、図4では高くする前の特徴点を破線で示し、高くした後の特徴点を黒丸で示している。更には理解を容易にするためにサングラスも2点鎖線で示している。鼻や口の周囲の特徴点は、サングラスの装着に応じて変化しないので、装着物が無い場合の特徴点がそのまま用いられる。
また、マスクを装着している場合には、作成部15は、鼻及び口の周囲の高さをマスクの高さ情報に基づいて高くしたマスク用の三次元顔モデルを作成する。マスク用の三次元顔モデルが図5に示される。なお、図5でも高くする前の特徴点を破線で示し、高くした後の特徴点を黒丸で示している。更には理解を容易にするためにマスクも2点鎖線で示している。目の周囲の特徴点は、マスクの装着に応じて変化しないので、装着物が無い場合の特徴点がそのまま用いられる。
なお、特にサングラス用三次元顔モデル、及びマスク用三次元顔モデルは、使用の都度、作成しても良いし、一旦、作成したものを記憶しておき、使用時に読み出して使用しても良い。
一方、上述したように、装着物が帽子である場合には、取得部13が画像認識処理により、帽子のつばの三次元形状を画像認識で取得するが、作成部15は取得した三次元形状を、装着物が無い場合の三次元顔モデルに重ねて、帽子用の三次元顔モデルを作成する。この帽子用の三次元顔モデルは、装着物が帽子であると特定される毎に、帽子の形状に応じて作成すると良い。帽子用の三次元顔モデルの一例が図6に示される。図6では、理解を容易にするために、帽子を2点鎖線で示している。作成部15は、このようにして装着物に応じた三次元顔モデルを作成する。作成部15により作成された三次元顔モデルは後述するフィッティング部16に伝達される。
フィッティング部16は、三次元顔モデルを用いて撮像画像に含まれる顔をフィッティングする。三次元顔モデルは作成部15から伝達される。また、フィッティング部16には、撮像画像取得部10から撮像画像も伝達される。フィッティング部16は、撮像画像に含まれる顔の特徴点を検出する。顔の特徴点とは、例えば眉頭、眉尻、目頭、目尻、鼻柱、口角などである。これらの特徴点に加えて、顔にサングラスが装着されている場合には、例えばサングラスの縁部が特徴点となり、マスクが装着されている場合には、例えばマスクの縁部が特徴点となる。また、帽子が装着されている場合には、例えば帽子のつば部が特徴点となる。一方、装着物に応じて作成された三次元顔モデルにも、上記のような特徴点が設定されている。「フィッティングする」とは、物Aを当該物Aとは異なる物Bに合わせる(一致させる)ことを意味し、本実施形態では上述した「撮像画像に含まれる顔の特徴点」を、「三次元顔モデルの特徴点」に合わせる(一致させる)ことをいう。したがって、フィッティング部16は、撮像画像に含まれる顔に装着された装着物に応じた三次元顔モデルの特徴点が撮像画像の特徴点と一致するように、三次元顔モデルの中心を基準として規定されたX軸、Y軸、Z軸の方向に沿って三次元顔モデルを並進したり、X軸、Y軸、Z軸を軸心として三次元顔モデルを回転したりする。
図7の(a)にはサングラスを装着した人の顔に対して、装着物が無い時の三次元顔モデルを用いてフィッティングした場合のフィッティング結果が示され、図7の(b)にはサングラスを装着した人の顔に対して、サングラス用三次元顔モデルを用いてフィッティングした場合のフィッティング結果が示される。理解を容易にするために、図7では上述した特徴点を黒丸で示し、顔の輪郭を白丸で示している。図7の(a)に示されるように、装着物が無い時の三次元顔モデルを用いていた場合のフィッティング結果では特徴点(サングラスの外縁部分)に三次元顔モデルを一致させると、三次元顔モデルの輪郭(白丸で示した輪郭)と、撮像画像の輪郭(破線で示した輪郭)との間でずれが生じる(後述する図7の(b)の例と比べて大きい)。これは、図示はしないが、マスクを装着した人の顔に対して、装着物が無い時の三次元顔モデルを用いてフィッティングした場合でも同様である。
一方、サングラスを装着した人の顔に対して、サングラス用三次元顔モデルを用いてフィッティングした場合には、図7の(b)に示されるように、特徴点(サングラスの外縁部分)に三次元顔モデルを一致させた場合であっても、三次元顔モデルの輪郭と、撮像画像の輪郭との間のずれが、図7の(a)の例と比べて小さい。このように装着物に応じた三次元顔モデルを用いてフィッティングすることにより、撮像画像内の顔の向きに三次元顔モデルを適切に合わせることが可能となる。フィッティング部16がフィッティングした際の三次元顔モデルの並進量や回転量は後述する回転量算定部17に伝達される。また、この時、三次元顔モデルの特徴点に一致する撮像画像の特徴点を示す情報も後述する回転量算定部17に伝達すると好適である。
回転量算定部17は、フィッティング部16によるフィッティング後、顔の特徴点をトラッキングして顔の回転量を算定する。回転量算定部17には、上述したように、フィッティング部16から三次元顔モデルの特徴点と撮像画像の特徴点とを一致させた場合の並進量及び回転量と共に、三次元顔モデルの特徴点に一致する撮像画像の特徴点を示す情報が伝達される。これにより、回転量算定部17は、所定の基準方向(例えば撮像画像取得部10を向く方向)に対して、フィッティング部16がフィッティングする際に用いた撮像画像に含まれる顔の回転量を算定することができる。
また、回転量算定部17には撮像画像取得部10から順次、取得された撮像画像が伝達される。回転量算定部17は、フィッティング部16から三次元顔モデルの特徴点と一致する撮像画像の特徴点を示す情報に基づき、当該特徴点を特定し、撮像画像取得部10から順次伝達されてくる撮像画像において、当該特徴点をトラッキングする(追従する)。回転量算定部17は、この追従量及び追従方向に応じて撮像画像に含まれる顔の回転量を算定する。
ここで、撮像画像に含まれる人がつば付きの帽子を装着している場合には、回転量算定部17が特徴点のトラッキングを行っている際に人が下を向くと、特徴点(例えば目や眉等)がつばで隠れる場合がある。そこで、回転量算定部17は、装着物が帽子であって、人が下を向き帽子で特徴点が隠れた場合には、隠れた特徴点をトラッキング対象から除外すると好適である。このように構成することで、隠れた特徴点をトラッキング対象から除外し、帽子のつば部分に基づく特徴点を継続してトラッキングすることにより、追跡していた特徴点が急に見えなくなり顔を見失うことを防止できる。したがって、隠れた特徴点を誤って回転量の算定に用いることがないので誤算定を防止でき、顔認識装置1が精度良く顔認識を行うことが可能となる。
次に、顔認識装置1の顔認識処理について図8のフローチャートを用いて説明する。まず、撮像画像取得部10が撮像画像を取得する(ステップ#1)。この撮像画像を用いて判定部11が顔に装着物が有るか否かが判定される(ステップ#2)。
特定部12により装着物がマスクであると特定された場合には(ステップ#3:Yes)、フィッティング部16はマスク用の三次元顔モデルを使用する(ステップ#4)。フィッティング部16は、撮像画像の特徴点を検出し(ステップ#5)、三次元顔モデルの特徴点と撮像画像から検出した特徴点とをフィッティングする(ステップ#6)。
回転量算定部17は、三次元顔モデルの特徴点を撮像画像から検出した特徴点にフィッティングする際の回転量及び並進量と、検出した特徴点のトラッキングに基づく回転量及び回転方向とにより、顔の向きを算定する(ステップ#7)。
ステップ#3において、特定部12により装着物がマスクでなく(ステップ#3:No)、サングラスであると特定された場合には(ステップ#8:Yes)、フィッティング部16はサングラス用の三次元顔モデルを使用し(ステップ#9)、ステップ#5から処理が継続される。
ステップ#8において、特定部12により装着物がサングラスでなく(ステップ#8:No)、帽子であると特定された場合には(ステップ#10:Yes)、フィッティング部16は形状可変用の三次元顔モデルを使用することになるため(ステップ#11)、作成部15が顔からの装着物の高さを示す高さ情報に基づき、形状可変用の三次元顔モデルを更新する(ステップ#12)。フィッティング部16は、撮像画像の特徴点を検出し(ステップ#13)、三次元顔モデルの特徴点と撮像画像から検出した特徴点とをフィッティングする(ステップ#14)。
回転量算定部17は、三次元顔モデルの特徴点を撮像画像から検出した特徴点にフィッティングする際の回転量及び並進量と、検出した特徴点のトラッキングに基づく回転量及び回転方向とにより、顔の向きを算定する(ステップ#15)。ここで、特徴点が帽子で隠れた場合には(ステップ#16:Yes)、回転量算定部17は隠れた特徴点をトラッキング対象から除外する(ステップ#17)。
ステップ#16において、特徴点が帽子で隠れていない場合には(ステップ#16:No)、処理を継続する。また、ステップ#10において、装着物が帽子であると特定されない場合には(ステップ#10:No)、装着物が無用の三次元顔モデルを使用し(ステップ#18)、ステップ#5から処理が継続される。顔認識装置1はこのようなフローに沿って処理が行われる。
〔その他の実施形態〕
上記実施形態では、顔認識装置1が特定部12及び記憶部14を備えるとして説明したが、顔認識装置1は特定部12及び記憶部14を備えなくても良い。係る場合には、顔認識装置1は、取得部13により取得された高さ情報に基づいて、作成部15が三次元顔モデルを作成するように構成すると良い。
上記実施形態では、顔認識装置1が特定部12及び記憶部14を備えるとして説明したが、顔認識装置1は特定部12及び記憶部14を備えなくても良い。係る場合には、顔認識装置1は、取得部13により取得された高さ情報に基づいて、作成部15が三次元顔モデルを作成するように構成すると良い。
上記実施形態では、顔認識装置1が回転量算定部17を備えるとして説明したが、顔認識装置1は回転量算定部17を備えなくても良い。係る場合には、顔認識装置1は、三次元顔モデルの特徴点と撮像画像に含まれる顔のフィッティングを行い、この後の処理を他の装置で行うように構成すると良い。
上記実施形態では、顔の表面からの装着物の高さは画像認識処理により算出して求められるとして説明したが、他の方法で求めることも可能であるし、装着物の高さを予め所定の値に設定しておいても良い。
上記実施形態では、顔認識装置1が車両に備えられたシートに着座する人の顔を認識する場合の例を挙げて説明したが、顔認識装置1を他の用途で用いることも可能である。
本発明は、人の顔を認識する顔認識装置に用いることが可能である。
1:顔認識装置
11:判定部
12:特定部
13:取得部
14:記憶部
15:作成部
16:フィッティング部
17:回転量算定部
11:判定部
12:特定部
13:取得部
14:記憶部
15:作成部
16:フィッティング部
17:回転量算定部
Claims (4)
- 人の顔を撮影した撮像画像から前記顔に装着される装着物の有無を判定する判定部と、
前記判定部により前記顔に装着物が有ると判定された場合に、前記顔の表面からの前記装着物の高さを示す高さ情報を取得する取得部と、
前記高さ情報に基づいて三次元顔モデルを作成する作成部と、
前記三次元顔モデルを用いて前記撮像画像に含まれる顔をフィッティングするフィッティング部と、
を備える顔認識装置。 - 前記装着物と前記高さ情報との関係が予め記憶された記憶部と、
前記判定部により前記顔に装着物が有ると判定された場合に、前記装着物を特定する特定部と、を更に備え、
前記取得部は、前記特定部により特定された装着物の高さ情報を前記記憶部から取得する請求項1に記載の顔認識装置。 - 前記フィッティング部によるフィッティング後、前記顔の特徴点をトラッキングして前記顔の回転量を算定する回転量算定部を更に備え、
前記回転量算定部は、前記装着物が帽子であって、前記人が下を向き前記帽子で前記特徴点が隠れた場合には、隠れた前記特徴点をトラッキング対象から除外する請求項1に記載の顔認識装置。 - 前記顔の表面からの前記装着物の高さは、画像認識処理により算出して求められる請求項1又は3に記載の顔認識装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059724A JP6855872B2 (ja) | 2017-03-24 | 2017-03-24 | 顔認識装置 |
DE112017007303.0T DE112017007303B4 (de) | 2017-03-24 | 2017-08-29 | Gesichtserkennungsvorrichtung |
CN201780088731.8A CN110462625B (zh) | 2017-03-24 | 2017-08-29 | 面部识别装置 |
PCT/JP2017/030901 WO2018173314A1 (ja) | 2017-03-24 | 2017-08-29 | 顔認識装置 |
US16/496,123 US11074431B2 (en) | 2017-03-24 | 2017-08-29 | Facial recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059724A JP6855872B2 (ja) | 2017-03-24 | 2017-03-24 | 顔認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018163481A true JP2018163481A (ja) | 2018-10-18 |
JP6855872B2 JP6855872B2 (ja) | 2021-04-07 |
Family
ID=63585193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017059724A Active JP6855872B2 (ja) | 2017-03-24 | 2017-03-24 | 顔認識装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11074431B2 (ja) |
JP (1) | JP6855872B2 (ja) |
CN (1) | CN110462625B (ja) |
DE (1) | DE112017007303B4 (ja) |
WO (1) | WO2018173314A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7359087B2 (ja) * | 2020-07-02 | 2023-10-11 | トヨタ自動車株式会社 | ドライバモニタ装置及びドライバモニタ方法 |
CN112001872B (zh) * | 2020-08-26 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 信息显示方法、设备及存储介质 |
US11521447B1 (en) * | 2021-08-16 | 2022-12-06 | Mark Ellery Ogram | Anti-shoplifting system |
US11462065B1 (en) | 2022-01-05 | 2022-10-04 | Mark Ellery Ogram | Security system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001166809A (ja) * | 1999-02-19 | 2001-06-22 | Sanyo Electric Co Ltd | 実立体モデル作成装置、立体データ作成装置、疑似立体データ作成装置並びにその方法 |
JP2006331009A (ja) * | 2005-05-25 | 2006-12-07 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4244269B2 (ja) | 2001-01-29 | 2009-03-25 | 富士フイルム株式会社 | 重合体、顔料分散組成物及び着色感光性組成物 |
JP4151341B2 (ja) | 2002-08-02 | 2008-09-17 | 日産自動車株式会社 | 顔状態検出装置 |
JP2006350498A (ja) | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
JP5271742B2 (ja) | 2009-02-10 | 2013-08-21 | セコム株式会社 | サングラス着用検出装置 |
JP2011110152A (ja) * | 2009-11-25 | 2011-06-09 | Shiseido Co Ltd | 美顔用マスク及びその製造方法 |
JP4794678B1 (ja) | 2010-05-24 | 2011-10-19 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像通信システム |
TW201502581A (zh) * | 2013-07-11 | 2015-01-16 | Seiko Epson Corp | 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 |
US10192103B2 (en) * | 2016-01-15 | 2019-01-29 | Stereovision Imaging, Inc. | System and method for detecting and removing occlusions in a three-dimensional image |
FR3053509B1 (fr) * | 2016-06-30 | 2019-08-16 | Fittingbox | Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe |
-
2017
- 2017-03-24 JP JP2017059724A patent/JP6855872B2/ja active Active
- 2017-08-29 DE DE112017007303.0T patent/DE112017007303B4/de active Active
- 2017-08-29 WO PCT/JP2017/030901 patent/WO2018173314A1/ja active Application Filing
- 2017-08-29 US US16/496,123 patent/US11074431B2/en active Active
- 2017-08-29 CN CN201780088731.8A patent/CN110462625B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001166809A (ja) * | 1999-02-19 | 2001-06-22 | Sanyo Electric Co Ltd | 実立体モデル作成装置、立体データ作成装置、疑似立体データ作成装置並びにその方法 |
JP2006331009A (ja) * | 2005-05-25 | 2006-12-07 | Toyota Motor Corp | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6855872B2 (ja) | 2021-04-07 |
CN110462625B (zh) | 2023-02-17 |
US20200034603A1 (en) | 2020-01-30 |
WO2018173314A1 (ja) | 2018-09-27 |
DE112017007303B4 (de) | 2023-11-02 |
US11074431B2 (en) | 2021-07-27 |
DE112017007303T5 (de) | 2019-12-05 |
CN110462625A (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11693242B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
US11699293B2 (en) | Neural network image processing apparatus | |
US20210165250A1 (en) | Method and device for determining parameters for spectacle fitting | |
CN106022304B (zh) | 一种基于双目相机的实时人体坐姿情况检测方法 | |
CN108369653B (zh) | 使用眼睛特征的眼睛姿态识别 | |
JP4811259B2 (ja) | 視線方向推定装置及び視線方向推定方法 | |
CN107004275B (zh) | 确定实物至少一部分的3d重构件空间坐标的方法和系统 | |
US11330200B2 (en) | Parallax correction using cameras of different modalities | |
US11134238B2 (en) | Goggle type display device, eye gaze detection method, and eye gaze detection system | |
WO2018173314A1 (ja) | 顔認識装置 | |
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
KR101628493B1 (ko) | 안경 착용자의 시선 추적 장치 및 그 방법 | |
KR102195268B1 (ko) | 근거리 시력 지점을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
JP2007114029A (ja) | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム | |
JP2018156408A (ja) | 画像認識撮像装置 | |
KR101004629B1 (ko) | 비강압적 3차원 얼굴 데이터 획득 시스템 및 그 방법 | |
JPWO2018220963A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2022133133A (ja) | 生成装置、生成方法、システム、およびプログラム | |
KR20210030230A (ko) | 증강현실을 위한 데이터 수집 장치 | |
KR101818992B1 (ko) | 영상의 깊이 정보를 이용한 성형결과 이미지 도출방법 | |
JP6359866B2 (ja) | 対象者存在範囲推定装置及び対象者存在範囲推定方法 | |
CN116560089A (zh) | 一种视觉辅助方法及ar眼镜 | |
KR20150144185A (ko) | 안구 중심점 추출 방법 | |
JP2018106288A (ja) | 撮像状態検出装置、撮像状態検出方法、プログラム、および非一時的記録媒体 | |
KR20110006435A (ko) | 인물 검출 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210301 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6855872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |