JP2017027492A - Face collation apparatus, face collation system with same, and face collation method - Google Patents
Face collation apparatus, face collation system with same, and face collation method Download PDFInfo
- Publication number
- JP2017027492A JP2017027492A JP2015147535A JP2015147535A JP2017027492A JP 2017027492 A JP2017027492 A JP 2017027492A JP 2015147535 A JP2015147535 A JP 2015147535A JP 2015147535 A JP2015147535 A JP 2015147535A JP 2017027492 A JP2017027492 A JP 2017027492A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- collation
- registered image
- illumination condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合装置およびこれを備えた顔照合システムならびに顔照合方法に関する。 The present disclosure relates to a face matching device that matches a matching image obtained by capturing a face of a person to be verified with a registered image captured in advance, a face matching system including the face matching device, and a face matching method.
従来、顔認証を目的として、照合対象者の顔をその場で撮像した照合用の画像(照合画像)と、事前に撮像された登録画像とを照合する装置が知られている。このような装置は、例えば、セキュリティゲート等での本人確認に用いることができる。しかし、登録画像の撮像時の照明状態と、照合画像の撮像時の照明状態が異なると、画像中の顔の見え方が大きく変わるため、照合に失敗するおそれがある。 2. Description of the Related Art Conventionally, for the purpose of face authentication, an apparatus that collates an image for collation (collation image) obtained by capturing a face of a person to be collated on the spot and a registered image captured in advance is known. Such an apparatus can be used, for example, for identity verification at a security gate or the like. However, if the illumination state at the time of capturing the registered image is different from the illumination state at the time of capturing the verification image, the appearance of the face in the image changes greatly, and there is a possibility that the verification may fail.
そこで、登録画像の撮像時の照明状態を示す照明パラメータ値(周囲の照度、光源の数、位置、光源の方向、光源の種類等)を予め登録しておき、登録された照明パラメータ値を目標として、入力画像(照合対象者を撮像した画像)のパラメータ値を調整することにより、入力画像から照合画像を生成する技術が開示されている(例えば、特許文献1)。入力画像のパラメータ値は、入力画像の撮像時に照度センサ等のセンサを用いて取得する。また、登録画像の撮像時の照明装置の照明条件(強弱、ON・OFF、向き、位置等)を予め登録しておき、照合画像の撮像時に、登録された照明条件を再現すべく照明装置の照明条件を制御する技術が開示されている(例えば、特許文献2)。 Therefore, the illumination parameter value (the ambient illuminance, the number of light sources, the position, the direction of the light source, the type of the light source, etc.) indicating the illumination state at the time of capturing the registered image is registered in advance, and the registered illumination parameter value is the target. As a technique, a technique for generating a collation image from an input image by adjusting a parameter value of an input image (an image obtained by imaging a person to be collated) is disclosed (for example, Patent Document 1). The parameter value of the input image is acquired using a sensor such as an illuminance sensor when the input image is captured. In addition, the lighting conditions (strong / weak, ON / OFF, direction, position, etc.) of the lighting device at the time of capturing the registered image are registered in advance, and the lighting device is configured to reproduce the registered lighting conditions at the time of capturing the verification image. A technique for controlling illumination conditions is disclosed (for example, Patent Document 2).
しかしながら、上記のような従来技術は、登録画像の撮像時の照明状態や照明条件を予め登録しておく必要があるため、例えば、空港等での出入国審査におけるパスポート照合等(本人確認)のような、撮像時の照明状態や照明条件が予め登録されていない未知の登録画像がその場で提示される場合には適さない。 However, since the prior art as described above needs to register in advance the lighting state and lighting conditions at the time of taking a registered image, for example, passport verification (identity confirmation) in immigration at an airport, etc. In addition, it is not suitable when an unknown registered image in which the illumination state and the illumination condition at the time of imaging are not registered in advance is presented on the spot.
また、特許文献1の従来技術では、入力画像の撮像時の照明状態を検出するために、照度センサ等のセンサが必要となるため、装置の構成が複雑になるという問題がある。また、登録された照明パラメータ値を目標として入力画像の照明パラメータ値を調整して照合画像を生成するとあるが、そのための具体的な方法は開示されていない。 Moreover, in the prior art of patent document 1, in order to detect the illumination state at the time of imaging of an input image, since sensors, such as an illuminance sensor, are needed, there exists a problem that the structure of an apparatus becomes complicated. Further, there is a case where the collation image is generated by adjusting the illumination parameter value of the input image with the registered illumination parameter value as a target, but a specific method for that is not disclosed.
本開示は、このような従来技術の課題を鑑みて案出されたものであり、登録画像の撮像時の照明条件を予め登録することなく、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することを可能とする顔照合装置およびこれを備えた顔照合システムならびに顔照合方法を提供することを主目的とする。 The present disclosure has been devised in view of the above-described problems of the prior art, and the collation image is abbreviated as the illumination condition at the time of capturing the registered image without previously registering the illumination condition at the time of capturing the registered image. It is a main object of the present invention to provide a face matching device, a face matching system, and a face matching method that can capture images under the same illumination conditions.
本開示の顔照合装置は、照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合装置であって、前記登録画像を取得する登録画像取得部と、前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定する照明条件推定部と、前記推定された照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を制御する照明装置制御部と、前記制御された照明条件下で撮像された前記照合画像を取得する照合画像取得部と、前記照合画像を前記登録画像と照合する画像照合部とを備えたことを特徴とする。 The face matching device according to the present disclosure is a face matching device that matches a matching image obtained by capturing a face of a person to be verified with a registered image captured in advance, a registered image acquiring unit that acquires the registered image, and the registration An illumination condition estimation unit that estimates an illumination condition at the time of capturing the registered image based on a pixel value of a face area in the image, and an illumination device that illuminates the person to be verified based on the estimated illumination condition A lighting device controller that controls conditions; a matching image acquisition unit that acquires the matching image captured under the controlled lighting condition; and an image matching unit that matches the matching image with the registered image. It is characterized by that.
本開示によれば、登録画像の撮像時の照明条件を予め登録することなく、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することが可能となる。 According to the present disclosure, it is possible to capture the collation image under substantially the same illumination condition as the illumination condition at the time of capturing the registered image without previously registering the illumination condition at the time of capturing the registered image.
上記課題を解決するためになされた第1の発明は、照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合装置であって、前記登録画像を取得する登録画像取得部と、前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定する照明条件推定部と、前記推定された前記登録画像の撮像時の照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を設定する照明装置制御部と、前記設定された照明条件下で撮像された前記照合画像を取得する照合画像取得部と、前記照合画像を前記登録画像と照合する画像照合部とを備えたことを特徴とする。 A first invention made to solve the above-described problem is a face collation apparatus that collates a collation image obtained by capturing a face of a person to be collated with a registered image captured in advance, and acquires the registration image. An image acquisition unit, an illumination condition estimation unit that estimates an illumination condition at the time of capturing the registered image based on a pixel value of a face area in the registered image, and an illumination condition at the time of capturing the estimated registered image Based on an illumination device control unit that sets an illumination condition of an illumination device that illuminates the person to be collated, a collation image acquisition unit that obtains the collation image captured under the set illumination condition, and the collation image And an image collating unit that collates the image with the registered image.
この第1の発明に係る顔照合装置によれば、登録画像中の顔領域の画素値に基づいて登録画像の撮像時の照明条件を推定し、推定された登録画像の撮像時の照明条件を再現すべく、照合対象者を照明する照明装置の照明条件を設定するように構成したので、登録画像の撮像時の照明条件を予め登録することなく、照合画像の撮像時に登録画像の撮像時の照明条件を再現することができる。これにより、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することができるので、照合画像と登録画像との照合の精度を高めることが可能となる。 According to the face collation device according to the first aspect of the present invention, the illumination condition at the time of capturing the registered image is estimated based on the pixel value of the face area in the registered image, and the estimated illumination condition at the time of capturing the registered image is determined. In order to reproduce, the illumination condition of the illumination device that illuminates the person to be collated is set, so that the illumination condition at the time of capturing the registered image is not registered in advance. The lighting conditions can be reproduced. As a result, the collation image can be imaged under substantially the same illumination conditions as when the registered image was captured, so that the accuracy of collation between the collation image and the registered image can be increased.
また、第2の発明では、上記第1の発明において、前記照明条件が、照明方向および光強度を含むことを特徴とする。 According to a second aspect, in the first aspect, the illumination condition includes an illumination direction and light intensity.
この第2の発明に係る顔照合装置によれば、推定された登録画像の撮像時の照明方向および光強度を再現すべく、照明装置の照明方向および光強度を設定することにより、登録画像の撮像時の同様の照明状態で照合画像を撮像することが可能となる。 According to the face collation device according to the second aspect of the present invention, by setting the illumination direction and light intensity of the illumination device in order to reproduce the illumination direction and light intensity at the time of capturing the estimated registered image, It is possible to capture a collation image in the same illumination state at the time of imaging.
また、第3の発明では、上記第1の発明または第2の発明において、前記登録画像中の顔領域の3次元座標を設定する3次元座標設定部をさらに備え、前記照明条件推定部は、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の3次元座標と画素値とに基づいて推定することを特徴とする。 Further, in a third invention, in the first invention or the second invention, further comprising a three-dimensional coordinate setting unit for setting a three-dimensional coordinate of a face area in the registered image, wherein the illumination condition estimating unit includes: An illumination condition at the time of capturing the registered image is estimated based on a three-dimensional coordinate and a pixel value of a face area in the registered image.
この第3の発明に係る顔照合装置によれば、登録画像の撮像時の照明条件を登録画像中の顔領域の3次元座標と画素値とに基づいて推定するように構成したので、登録画像の撮像時の照明条件をより正確に推定することができる。これにより、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation device according to the third aspect of the present invention, the illumination condition at the time of capturing the registered image is estimated based on the three-dimensional coordinates of the face area in the registered image and the pixel value. It is possible to more accurately estimate the illumination conditions at the time of imaging. Thereby, it is possible to further improve the accuracy of matching between the matching image and the registered image.
また、第4の発明では、上記第1の発明ないし第3の発明のいずれかにおいて、前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に制御可能な複数の光源を有しており、前記照明装置制御部は、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする。 According to a fourth invention, in any one of the first to third inventions, the illumination device is installed at a position where the person to be collated can be illuminated from the front and above, and is turned on and off. A plurality of light sources capable of individually controlling at least one of the light intensities, and the lighting device control unit individually controls at least one of on / off of each of the light sources of the lighting devices and the light intensity. The illumination condition of the illumination device is adjusted by the above.
この第4の発明に係る顔照合装置によれば、照明装置制御部によって照明装置の各光源のオン・オフおよび光強度の少なくとも一方を個別に制御するように構成したので、照明装置の照明条件を容易かつ精密に調節することができる。これにより、登録画像の撮像時の照明条件をより良く再現することが可能となる。 According to the face collation device according to the fourth aspect of the present invention, the illumination device controller is configured to individually control at least one of on / off and light intensity of each light source of the illumination device. Can be adjusted easily and precisely. Thereby, it is possible to better reproduce the illumination conditions at the time of capturing the registered image.
また、第5の発明では、上記第3の発明または第4の発明において、前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の3次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定部と、前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定部とをさらに備えたことを特徴とする。 According to a fifth aspect of the invention, in the third or fourth aspect of the invention, the illumination conditions at the time of capturing the collation image are determined based on the three-dimensional coordinates of the face area in the registered image and the face area in the collation image. A collation image illumination condition estimation unit that estimates based on a pixel value; and an illumination condition determination unit that determines whether or not the illumination condition at the time of capturing the collation image matches the illumination condition at the time of capturing the registered image. It is further provided with a feature.
この第5の発明に係る顔照合装置によれば、画像照合部での照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致するか否かを判定することが可能となる。これにより、照合画像の撮像時の照明条件が適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation device according to the fifth aspect of the present invention, when the collation between the collation image and the registered image in the image collation unit does not match, the illumination condition at the time of capturing the collation image is the same as that at the time of capturing the registration image. It is possible to determine whether or not the illumination condition is met. Thereby, it is possible to confirm whether or not the illumination condition at the time of capturing the collation image is appropriate, so that it is possible to further improve the collation accuracy between the collation image and the registered image.
また、第6の発明では、上記第3の発明ないし第5の発明のいずれかにおいて、前記照合画像中の顔領域の3次元座標を推定する照合画像3次元座標推定部と、前記照合画像中の顔領域の3次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出部と、前記登録画像中の顔領域の3次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出部と、前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定部とをさらに備えたことを特徴とする。 According to a sixth aspect, in any one of the third to fifth aspects, a collation image three-dimensional coordinate estimation unit that estimates a three-dimensional coordinate of a face area in the collation image; A collation image face direction detection unit that detects a face direction in the collation image based on the three-dimensional coordinates of the face area, and a face in the registration image based on the three-dimensional coordinates of the face area in the registration image. A registered image face direction detecting unit that detects a direction, and a face direction determining unit that determines whether or not a face direction in the verification image matches a face direction in the registered image. And
この第6の発明に係る顔照合装置によれば、照明条件判定部で照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致しないと判定された場合に、照合画像中の顔の向きが登録画像中の顔の向きと一致するか否かを判定するように構成したので、照合画像中の顔の向きが適切であるか否かを確認することができる。これにより、照合画像の撮像時の照合対象者の顔の向きが適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation device according to the sixth aspect of the present invention, when the illumination condition determination unit determines that the illumination condition at the time of capturing the verification image does not match the illumination condition at the time of capturing the registered image, Since it is configured to determine whether or not the face orientation matches the face orientation in the registered image, it is possible to confirm whether or not the face orientation in the verification image is appropriate. This makes it possible to confirm whether or not the direction of the face of the person to be collated at the time of capturing the collation image is appropriate, so that the collation accuracy between the collation image and the registered image can be further increased.
また、第7の発明では、上記第6の発明において、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の3次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定部をさらに備えたことを特徴とする。 In the seventh invention, in the sixth invention, when the face orientation determination unit determines that the face orientation in the collation image matches the face orientation in the registered image, the registered image A registered image illumination condition re-estimation unit that re-estimates the illumination condition at the time of imaging based on the three-dimensional coordinates of the face region in the collation image and the pixel value of the face region in the registered image. Features.
この第7の発明に係る顔照合装置によれば、顔向き判定部で照合画像中の顔の向きが登録画像中の顔の向きと一致すると判定された場合に、登録画像の撮像時の照明条件を、照合画像中の顔領域の3次元座標と登録画像中の顔領域の画素値とに基づいて再推定するように構成したので、照明条件推定部で登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の3次元座標が適切でなかった場合に、照合画像中の顔領域の3次元座標を使用して登録画像の撮像時の照明条件を再度推定することができる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation device of the seventh aspect of the present invention, when the face orientation determination unit determines that the face orientation in the collation image matches the face orientation in the registration image, the illumination at the time of capturing the registration image Since the condition is configured to be re-estimated based on the three-dimensional coordinates of the face area in the collation image and the pixel value of the face area in the registered image, the illumination condition at the time of capturing the registered image is determined by the illumination condition estimation unit. When the three-dimensional coordinates of the face area in the registered image used for estimation are not appropriate, the illumination conditions at the time of capturing the registered image are estimated again using the three-dimensional coordinates of the face area in the matching image. be able to. Therefore, it is possible to further improve the accuracy of matching between the matching image and the registered image.
また、第8の発明では、上記第6の発明において、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知部をさらに備えたことを特徴とする。 In the eighth invention, when the face orientation determination unit determines in the sixth invention that the face orientation in the collation image does not match the face orientation in the registered image, In contrast, the information processing apparatus further includes a notification unit that notifies the user to change the face direction of the person to be collated to the same face direction as the face in the registered image and to retake the collation image. .
この第8の発明に係る顔照合装置によれば、顔向き判定部で照合画像中の顔の向きが登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、照合対象者の顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を撮り直すように通知するように構成したので、照合画像の撮像時の照合対象者の顔の向きが登録画像中の顔の向きと異なっていた場合に、照合対象者の顔の向きを登録画像と同じ顔の向きに変更して照合画像を撮り直すことが可能となる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation device according to the eighth aspect of the present invention, when the face orientation determination unit determines that the face orientation in the collation image does not match the face orientation in the registration image, Since it is configured to notify the user to change the orientation of the subject's face to the same orientation as the face in the registered image and re-take the collation image, When the orientation is different from the orientation of the face in the registered image, it is possible to retake the collation image by changing the orientation of the face of the person to be collated to the same face orientation as the registered image. Therefore, it is possible to further improve the accuracy of matching between the matching image and the registered image.
また、第9の発明は、上記第1の発明ないし第8の発明のいずれかに記載の顔照合装置と、前記顔照合装置に登録画像を入力する登録画像入力装置と、照明条件を調節可能な照明装置と、前記照明装置で照明された照合対象者を撮像する撮像装置とを備えた顔照合システムである。 According to a ninth aspect, the face matching device according to any one of the first to eighth aspects, a registered image input device that inputs a registered image to the face matching device, and an illumination condition can be adjusted. A face collation system including an illumination device and an imaging device that images a person to be collated illuminated by the illumination device.
この第9の発明に係る顔照合システムによれば、登録画像中の顔領域の画素値に基づいて登録画像の撮像時の照明条件を推定し、推定された登録画像の撮像時の照明条件を再現すべく、照合対象者を照明する照明装置の照明条件を設定するように構成したので、登録画像の撮像時の照明条件を予め登録することなく、照合画像の撮像時に登録画像の撮像時の照明条件を再現することができる。これにより、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することができるので、照合画像と登録画像との照合の精度を高めることが可能となる。 According to the face matching system according to the ninth aspect of the present invention, the illumination condition at the time of capturing the registered image is estimated based on the pixel value of the face area in the registered image, and the estimated illumination condition at the time of capturing the registered image is determined. In order to reproduce, the illumination condition of the illumination device that illuminates the person to be collated is set, so that the illumination condition at the time of capturing the registered image is not registered in advance. The lighting conditions can be reproduced. As a result, the collation image can be imaged under substantially the same illumination conditions as when the registered image was captured, so that the accuracy of collation between the collation image and the registered image can be increased.
また、第10の発明では、上記第9の発明において、前記照明条件が、照明方向および光強度を含むことを特徴とする。 According to a tenth aspect, in the ninth aspect, the illumination condition includes an illumination direction and a light intensity.
この第10の発明に係る顔照合システムによれば、推定された登録画像の撮像時の照明方向および光強度を再現すべく、照明装置の照明方向および光強度を設定することにより、登録画像の撮像時の同様の照明状態で照合画像を撮像することが可能となる。 According to the face collation system according to the tenth aspect of the present invention, by setting the illumination direction and light intensity of the illumination device to reproduce the estimated illumination direction and light intensity at the time of capturing the registered image, It is possible to capture a collation image in the same illumination state at the time of imaging.
また、第11の発明では、上記第9の発明または第10の発明において、前記顔照合装置が、前記登録画像中の顔領域の3次元座標を設定する3次元座標設定部をさらに備え、前記照明条件推定部は、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の3次元座標と画素値とに基づいて推定することを特徴とする。 In the eleventh aspect of the invention, in the ninth aspect or the tenth aspect of the invention, the face matching device further includes a three-dimensional coordinate setting unit that sets a three-dimensional coordinate of a face area in the registered image, The illumination condition estimating unit estimates an illumination condition at the time of capturing the registered image based on a three-dimensional coordinate and a pixel value of a face area in the registered image.
この第11の発明に係る顔照合システムによれば、登録画像の撮像時の照明条件を登録画像中の顔領域の3次元座標と画素値とに基づいて推定するように構成したので、登録画像の撮像時の照明条件をより正確に推定することができる。これにより、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation system of the eleventh aspect of the present invention, the illumination condition at the time of capturing the registered image is estimated based on the three-dimensional coordinates and pixel values of the face area in the registered image. It is possible to more accurately estimate the illumination conditions at the time of imaging. Thereby, it is possible to further improve the accuracy of matching between the matching image and the registered image.
また、第12の発明では、上記第9の発明ないし第11の発明のいずれかにおいて、前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に調節制御な複数の光源を有しており、前記照明装置制御部は、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする。 According to a twelfth aspect, in any one of the ninth to eleventh aspects, the lighting device is installed at a position where the person to be collated can be illuminated from the front and above, and is turned on and off. It has a plurality of light sources that individually adjust and control at least one of the light intensities, and the lighting device control unit individually controls at least one of on / off of each of the light sources of the lighting devices and the light intensity. The illumination condition of the illumination device is adjusted by the above.
この第12の発明に係る顔照合システムによれば、照明装置制御部によって照明装置の各光源のオン・オフおよび光強度の少なくとも一方を個別に制御するように構成したので、照明装置の照明条件を容易かつ精密に調節することができる。これにより、登録画像の撮像時の照明条件をより良く再現することが可能となる。 According to the face collation system according to the twelfth aspect of the present invention, the illumination device controller is configured to individually control at least one of on / off and light intensity of each light source of the illumination device. Can be adjusted easily and precisely. Thereby, it is possible to better reproduce the illumination conditions at the time of capturing the registered image.
また、第13の発明では、上記第11の発明または第12の発明において、前記顔照合装置が、前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の3次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定部と、前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定部とをさらに備えたことを特徴とする。 According to a thirteenth aspect, in the eleventh aspect or the twelfth aspect, the face collation device determines the illumination condition at the time of capturing the collation image as a three-dimensional coordinate of the face area in the registered image and the collation. A collation image illumination condition estimation unit that estimates based on the pixel value of the face area in the image, and determines whether the illumination condition at the time of capturing the collation image matches the illumination condition at the time of capturing the registered image An illumination condition determining unit is further provided.
この第13の発明に係る顔照合システムによれば、画像照合部での照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致するか否かを判定することが可能となる。これにより、照合画像の撮像時の照明条件が適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation system of the thirteenth aspect of the present invention, if the collation between the collation image and the registered image in the image collation unit does not match, the illumination condition at the time of capturing the collation image is the same as that at the time of capturing the registration image. It is possible to determine whether or not the illumination condition is met. Thereby, it is possible to confirm whether or not the illumination condition at the time of capturing the collation image is appropriate, so that it is possible to further improve the collation accuracy between the collation image and the registered image.
また、第14の発明では、上記第11の発明ないし第13の発明のいずれかにおいて、前記顔照合装置が、前記照合画像中の顔領域の3次元座標を推定する照合画像3次元座標推定部と、前記照合画像中の顔領域の3次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出部と、前記登録画像中の顔領域の3次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出部と、前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定部とをさらに備えたことを特徴とする。 In the fourteenth invention, in any one of the eleventh to thirteenth inventions, the face matching device estimates a three-dimensional coordinate of a face area in the matching image. A collation image face direction detecting unit for detecting a face direction in the collation image based on the three-dimensional coordinates of the face region in the collation image, and the three-dimensional coordinates of the face region in the registration image. A registered image face direction detecting unit that detects a face direction in the registered image, and a face direction determining unit that determines whether or not the face direction in the verification image matches the face direction in the registered image. It is further provided with a feature.
この第14の発明に係る顔照合システムによれば、照明条件判定部で照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致しないと判定された場合に、照合画像中の顔の向きが登録画像中の顔の向きと一致するか否かを判定するように構成したので、照合画像中の顔の向きが適切であるか否かを確認することができる。これにより、照合画像の撮像時の照合対象者の顔の向きが適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation system according to the fourteenth aspect of the present invention, when the illumination condition determination unit determines that the illumination condition at the time of capturing the verification image does not match the illumination condition at the time of capturing the registered image, Since it is configured to determine whether or not the face orientation matches the face orientation in the registered image, it is possible to confirm whether or not the face orientation in the verification image is appropriate. This makes it possible to confirm whether or not the direction of the face of the person to be collated at the time of capturing the collation image is appropriate, so that the collation accuracy between the collation image and the registered image can be further increased.
また、第15の発明では、上記第14の発明において、前記顔照合装置が、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の3次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定部をさらに備えたことを特徴とする。 According to a fifteenth aspect, in the fourteenth aspect, the face matching device determines that the face orientation determination unit determines that the face orientation in the match image matches the face orientation in the registered image. A registration image illumination condition re-estimation unit that re-estimates the illumination condition at the time of capturing the registered image based on the three-dimensional coordinates of the face area in the collation image and the pixel value of the face area in the registration image Is further provided.
この第15の発明に係る顔照合システムによれば、顔向き判定部で照合画像中の顔の向きが登録画像中の顔の向きと一致すると判定された場合に、登録画像の撮像時の照明条件を、照合画像中の顔領域の3次元座標と登録画像中の顔領域の画素値とに基づいて再推定するように構成したので、照明条件推定部で登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の3次元座標が適切でなかった場合に、照合画像中の顔領域の3次元座標を使用して登録画像の撮像時の照明条件を再度推定することができる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation system according to the fifteenth aspect of the present invention, when the face orientation determination unit determines that the face orientation in the collation image matches the face orientation in the registration image, illumination at the time of capturing the registration image Since the condition is configured to be re-estimated based on the three-dimensional coordinates of the face area in the collation image and the pixel value of the face area in the registered image, the illumination condition at the time of capturing the registered image is determined by the illumination condition estimation unit. When the three-dimensional coordinates of the face area in the registered image used for estimation are not appropriate, the illumination conditions at the time of capturing the registered image are estimated again using the three-dimensional coordinates of the face area in the matching image. be able to. Therefore, it is possible to further improve the accuracy of matching between the matching image and the registered image.
また、第16の発明では、上記第14の発明において、前記顔照合装置が、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知部をさらに備えたことを特徴とする。 In a sixteenth aspect based on the fourteenth aspect, the face collating apparatus determines that the face orientation in the collated image does not match the face orientation in the registered image in the face orientation determining unit. A notification unit that notifies the user to change the face direction of the person to be collated to the same face direction as the face in the registered image and to take the collation image again. It is characterized by that.
この第16の発明に係る顔照合システムによれば、顔向き判定部で照合画像中の顔の向きが登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、照合対象者の顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を撮り直すように通知するように構成したので、照合画像の撮像時の照合対象者の顔の向きが登録画像中の顔の向きと異なっていた場合に、照合対象者の顔の向きを登録画像と同じ顔の向きに変更して照合画像を撮り直すことが可能となる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation system of the sixteenth aspect of the present invention, when the face orientation determination unit determines that the face orientation in the collation image does not match the face orientation in the registered image, the face collation system Since it is configured to notify the user to change the orientation of the subject's face to the same orientation as the face in the registered image and re-take the collation image, When the orientation is different from the orientation of the face in the registered image, it is possible to retake the collation image by changing the orientation of the face of the person to be collated to the same face orientation as the registered image. Therefore, it is possible to further improve the accuracy of matching between the matching image and the registered image.
また、第17の発明は、照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合方法であって、前記登録画像を取得するステップと、前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定するステップと、前記推定された前記登録画像の撮像時の照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を設定するステップと、前記設定された照明条件下で撮像された前記照合画像を取得するステップと、前記照合画像を前記登録画像と照合するステップとを有することを特徴とする。 A seventeenth aspect of the present invention is a face collation method for collating a collation image obtained by capturing a face of a person to be collated with a registered image captured in advance, the step of acquiring the registration image, A step of estimating an illumination condition at the time of capturing the registered image based on a pixel value of a face area; and an illumination device for illuminating the person to be verified based on the estimated illumination condition at the time of capturing the registered image. The method includes a step of setting an illumination condition, a step of obtaining the collation image captured under the set illumination condition, and a step of collating the collation image with the registered image.
この第17の発明に係る顔照合方法によれば、登録画像中の顔領域の画素値に基づいて登録画像の撮像時の照明条件を推定し、推定された登録画像の撮像時の照明条件を再現すべく、照合対象者を照明する照明装置の照明条件を設定するように構成したので、登録画像の撮像時の照明条件を予め登録することなく、照合画像の撮像時に登録画像の撮像時の照明条件を再現することができる。これにより、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することができるので、照合画像と登録画像との照合の精度を高めることが可能となる。 According to the face collation method according to the seventeenth aspect of the present invention, the illumination condition at the time of capturing the registered image is estimated based on the pixel value of the face area in the registered image, and the estimated illumination condition at the time of capturing the registered image is determined. In order to reproduce, the illumination condition of the illumination device that illuminates the person to be collated is set, so that the illumination condition at the time of capturing the registered image is not registered in advance. The lighting conditions can be reproduced. As a result, the collation image can be imaged under substantially the same illumination conditions as when the registered image was captured, so that the accuracy of collation between the collation image and the registered image can be increased.
また、第18の発明では、上記第17の発明において、前記照明条件が、照明方向および光強度を含むことを特徴とする。 According to an eighteenth aspect, in the seventeenth aspect, the illumination condition includes an illumination direction and light intensity.
この第18の発明に係る顔照合方法によれば、推定された登録画像の撮像時の照明方向および光強度を再現すべく、照明装置の照明方向および光強度を設定することにより、登録画像の撮像時の同様の照明状態で照合画像を撮像することが可能となる。 According to the face collation method according to the eighteenth aspect of the present invention, by setting the illumination direction and light intensity of the illumination device in order to reproduce the illumination direction and light intensity at the time of capturing the estimated registered image, It is possible to capture a collation image in the same illumination state at the time of imaging.
また、第19の発明では、上記第17の発明または第18の発明において、前記登録画像中の顔領域の3次元座標を設定する3次元座標設定ステップをさらに有し、前記照明条件推定ステップは、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の3次元座標と画素値とに基づいて推定することを特徴とする。 According to a nineteenth aspect, in the seventeenth aspect or the eighteenth aspect, the method further includes a three-dimensional coordinate setting step of setting a three-dimensional coordinate of a face area in the registered image, wherein the illumination condition estimating step includes: The illumination condition at the time of capturing the registered image is estimated based on the three-dimensional coordinates and pixel values of the face region in the registered image.
この第19の発明に係る顔照合方法によれば、登録画像の撮像時の照明条件を登録画像中の顔領域の3次元座標と画素値とに基づいて推定するように構成したので、登録画像の撮像時の照明条件をより正確に推定することができる。これにより、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation method of the nineteenth aspect of the present invention, the illumination condition at the time of capturing the registered image is estimated based on the three-dimensional coordinates and pixel values of the face area in the registered image. It is possible to more accurately estimate the illumination conditions at the time of imaging. Thereby, it is possible to further improve the accuracy of matching between the matching image and the registered image.
また、第20の発明では、上記第17の発明ないし第19の発明のいずれかにおいて、前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に調節制御な複数の光源を有しており、前記照明装置制御ステップは、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする。 Further, in a twentieth aspect according to any one of the seventeenth to nineteenth aspects, the lighting device is installed at a position where the person to be collated can be illuminated from the front and above, and is turned on and off. A plurality of light sources that individually adjust and control at least one of the light intensities, and the lighting device control step individually controls at least one of on / off of each of the light sources of the lighting device and the light intensity; The illumination condition of the illumination device is adjusted by the above.
この第20の発明に係る顔照合方法によれば、照明装置制御ステップにおいて照明装置の各光源のオン・オフおよび光強度の少なくとも一方を個別に制御するように構成したので、照明装置の照明条件を容易かつ精密に調節することができる。これにより、登録画像の撮像時の照明条件をより良く再現することが可能となる。 According to the face collation method of the twentieth aspect of the invention, since at least one of on / off and light intensity of each light source of the illumination device is individually controlled in the illumination device control step, the illumination condition of the illumination device Can be adjusted easily and precisely. Thereby, it is possible to better reproduce the illumination conditions at the time of capturing the registered image.
また、第21の発明では、上記第19の発明または第20の発明において、前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の3次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定ステップと、前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定ステップとをさらに有することを特徴とする。 In the twenty-first aspect, in the nineteenth aspect or the twentieth aspect, the illumination condition at the time of capturing the collation image is determined based on the three-dimensional coordinates of the face area in the registered image and the face area in the collation image. A collation image illumination condition estimation step that is estimated based on a pixel value; and an illumination condition determination step that determines whether or not the illumination condition at the time of capturing the collation image matches the illumination condition at the time of capturing the registered image. Furthermore, it is characterized by having.
この第21の発明に係る顔照合方法によれば、画像照合ステップにおいて照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致するか否かを判定することが可能となる。これにより、照合画像の撮像時の照明条件が適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation method according to the twenty-first aspect of the present invention, if the collation between the collation image and the registered image does not match in the image collation step, the illumination condition at the time of capturing the collation image is the illumination at the time of capturing the registration image. It is possible to determine whether or not the condition is met. Thereby, it is possible to confirm whether or not the illumination condition at the time of capturing the collation image is appropriate, so that it is possible to further improve the collation accuracy between the collation image and the registered image.
また、第22の発明では、上記第19の発明ないし第21の発明のいずれかにおいて、前記照合画像中の顔領域の3次元座標を推定する照合画像3次元座標推定ステップと、前記照合画像中の顔領域の3次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出ステップと、前記登録画像中の顔領域の3次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出ステップと、前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定ステップとをさらに有することを特徴とする。 According to a twenty-second aspect, in any one of the nineteenth to twenty-first aspects, a verification image three-dimensional coordinate estimation step for estimating a three-dimensional coordinate of a face area in the verification image; A collation image face orientation detection step for detecting a face orientation in the collation image based on the three-dimensional coordinates of the face area; and a face in the registration image based on the three-dimensional coordinates of the face area in the registration image. A registered image face orientation detecting step for detecting an orientation; and a face orientation determining step for determining whether or not a face orientation in the collation image matches a face orientation in the registered image. To do.
この第22の発明に係る顔照合方法によれば、照明条件判定ステップにおいて照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致しないと判定された場合に、照合画像中の顔の向きが登録画像中の顔の向きと一致するか否かを判定するように構成したので、照合画像中の顔の向きが適切であるか否かを確認することができる。これにより、照合画像の撮像時の照合対象者の顔の向きが適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation method of the twenty-second aspect of the present invention, when it is determined in the illumination condition determination step that the illumination condition at the time of capturing the collation image does not match the illumination condition at the time of capturing the registered image, Since it is configured to determine whether or not the face orientation matches the face orientation in the registered image, it is possible to confirm whether or not the face orientation in the verification image is appropriate. This makes it possible to confirm whether or not the direction of the face of the person to be collated at the time of capturing the collation image is appropriate, so that the collation accuracy between the collation image and the registered image can be further increased.
また、第23の発明では、上記第22の発明において、前記顔向き判定ステップにおいて前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の3次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定ステップをさらに有することを特徴とする。 In the twenty-third invention, in the twenty-second invention, when it is determined in the face orientation determination step that the face orientation in the collation image matches the face orientation in the registered image, the registered image A registered image illumination condition re-estimation step of re-estimating the illumination condition at the time of imaging based on the three-dimensional coordinates of the face region in the collation image and the pixel value of the face region in the registered image. And
この第23の発明に係る顔照合方法によれば、顔向き判定ステップにおいて照合画像中の顔の向きが登録画像中の顔の向きと一致すると判定された場合に、登録画像の撮像時の照明条件を、照合画像中の顔領域の3次元座標と登録画像中の顔領域の画素値とに基づいて再推定するように構成したので、照明条件推定ステップにおいて登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の3次元座標が適切でなかった場合に、照合画像中の顔領域の3次元座標を使用して登録画像の撮像時の照明条件を再度推定することができる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation method of the twenty-third aspect of the present invention, when it is determined in the face orientation determination step that the face orientation in the collation image matches the face orientation in the registration image, the illumination at the time of capturing the registration image Since the condition is re-estimated based on the three-dimensional coordinates of the face area in the collation image and the pixel value of the face area in the registered image, the illumination condition at the time of capturing the registered image in the illumination condition estimation step is set. When the three-dimensional coordinates of the face area in the registered image used for estimation are not appropriate, the illumination conditions at the time of capturing the registered image are estimated again using the three-dimensional coordinates of the face area in the matching image. be able to. Therefore, it is possible to further improve the accuracy of matching between the matching image and the registered image.
また、第24の発明では、上記第22の発明において、前記顔向き判定ステップにおいて前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知ステップをさらに有する。 In the twenty-fourth aspect, in the twenty-second aspect, when it is determined in the face direction determination step that the face direction in the collation image does not match the face direction in the registered image, On the other hand, the method further includes a notification step of notifying the collation image again by changing the face direction of the person to be collated to the same face direction as the face direction in the registered image.
この第24の発明に係る顔照合方法によれば、顔向き判定ステップにおいて照合画像中の顔の向きが登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、照合対象者の顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を撮り直すように通知するように構成したので、照合画像の撮像時の照合対象者の顔の向きが登録画像中の顔の向きと異なっていた場合に、照合対象者の顔の向きを登録画像と同じ顔の向きに変更して照合画像を撮り直すことが可能となる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。 According to the face collation method of the twenty-fourth aspect of the present invention, when it is determined in the face orientation determination step that the face orientation in the collation image does not match the face orientation in the registered image, Since it is configured to notify the user to change the orientation of the subject's face to the same orientation as the face in the registered image and re-take the collation image, When the orientation is different from the orientation of the face in the registered image, it is possible to retake the collation image by changing the orientation of the face of the person to be collated to the same face orientation as the registered image. Therefore, it is possible to further improve the accuracy of matching between the matching image and the registered image.
以下、本開示の実施形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.
(第1実施形態)
図1は、本開示の第1実施形態に係る顔照合システムの全体構成図であり、図2は、図1中の照合画像撮像装置の模式図であり、(A)は側面図、(B)は正面図である。
(First embodiment)
1 is an overall configuration diagram of a face matching system according to a first embodiment of the present disclosure, FIG. 2 is a schematic diagram of a matching image imaging device in FIG. 1, (A) is a side view, and (B) ) Is a front view.
本開示に係る顔照合システムは、撮像装置により撮像された照合対象者の顔画像(以降、「照合画像」とも称する)を、事前に撮像された照合対象者の顔画像(以降、「登録画像」とも称する)と照合するためのシステムであり、例えば、空港等での出入国審査におけるパスポート照合(本人確認)に適用可能である。近年では、パスポートとして、IC(集積回路)を搭載したIC旅券が用いられており、ICチップにそのIC旅券の名義人の顔画像が記録されている。本開示に係る顔照合システムによれば、IC旅券(パスポート)から読み出した顔画像と、空港内の審査場で撮像した顔画像とを照合して本人確認を行うことができる。以下では、本開示に係る顔照合システムを、空港等での出入国審査におけるパスポート照合(本人確認)に適用する場合について説明する。 The face collation system according to the present disclosure uses a face image (hereinafter referred to as “collation image”) of a person to be collated captured by an imaging device as a face image of a person to be collated (hereinafter referred to as “registered image”). For example, it is applicable to passport verification (identity verification) in immigration at an airport or the like. In recent years, an IC passport equipped with an IC (integrated circuit) is used as a passport, and a face image of the holder of the IC passport is recorded on an IC chip. According to the face collation system according to the present disclosure, it is possible to perform identity verification by collating the face image read from the IC passport (passport) with the face image captured at the examination place in the airport. Hereinafter, a case will be described in which the face matching system according to the present disclosure is applied to passport matching (identity verification) in immigration at an airport or the like.
図1に示すように、本開示に係る顔照合システム1は、登録画像入力装置2と、顔照合装置3と、照合画像撮像装置6とを備えて構成される。照合画像撮像装置6は、照明装置4と撮像装置5とを含んでいる。顔照合装置3は、登録画像入力装置2、照明装置4、および撮像装置5と、LAN(Local Area Network)等の有線または無線通信を介して接続されている。なお、顔照合装置3と、登録画像入力装置2、照明装置4、および撮像装置5との接続形態は特に限定されるものではなく、例えば、インターネット等のネットワークを介した接続であってよいし、汎用のインターフェース(例えばUSB(Universal Serial Bus)インターフェース)を用いて通信ケーブルで互いに接続してもよい。
As shown in FIG. 1, the face matching system 1 according to the present disclosure includes a registered
登録画像入力装置2は、事前に撮像された照合対象者の顔画像(登録画像)を、顔照合装置3に入力するための装置である。登録画像入力装置2としては、例えば、IC旅券のICチップから登録画像等の登録情報を読み取るための旅券読取装置(パスポートリーダー)を用いることができる。旅券読取装置(登録画像入力装置2)で読み取られた登録画像は、顔照合装置3に入力される。なお、登録画像入力装置2は、少なくとも登録画像を顔照合装置3に入力することが可能な限りにおいて、その形態、機能、配置、数量等については特に限定されるものではなく、種々の変更が可能である。
The registered
図2に示すように、照合画像撮像装置6は、垂直方向に延在する垂直部材7と、垂直部材7の上端部7aの前側面7bから前方に向かって水平に延在する水平部材8とを有している。垂直部材7と水平部材8は、両部材により画成される空間内に照合対象者9が入ることができるような高さおよび幅を有している。
As shown in FIG. 2, the collation
照明装置4は、例えばLED光源である複数の光源4aを有している。光源4aは、照合対象者9を前方および上方から照明すべく、垂直部材7の前側面7bおよび水平部材8の下側面8aに配置されている。光源4aは、水平部材8の下側面8aにおいて、左右方向に5列、前後方向に7列に配置されている。また、光源4aは、垂直部材7の前側面7bにおいて、左側および右側にそれぞれ縦1列、下側に横1列で、撮像装置5を取り囲むように配置されている。なお、光源4aの配置形態はこれに限定されるものではない。
The illuminating device 4 includes a plurality of
各光源4aは個別にオン・オフすることができるように構成されており、後述する顔照合装置3の照明装置制御部14の制御によって個別にオン・オフすることができる。これにより、照合対象者9を照明する方向または光量(すなわち光強度)を様々な方向または光強度に設定することが可能となる。また、各光源4aは光強度を個別に調節することができるように構成してもよい。このようにすると、照合対象者9を照明する光強度をより精密に調節することが可能となる。なお、照明装置4は、照明条件(照明方向および光強度)を様々な条件に調節可能な限りにおいて、その形態、機能、配置、数量等については特に限定されるものではなく、種々の変更が可能である。
Each
撮像装置5は、例えばCCDカメラであり、照合対象者9の顔を正面から撮像すべく、垂直部材7の前側面7bに配置されている。撮像装置5は、照明装置4で照明された照合対象者を撮像し、撮像装置5により撮像された照合対象者の顔画像(照合画像)は、顔照合装置3に入力される。なお、撮像装置5は、照合対象者の顔画像を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
The
顔照合装置3は、一般的なコンピュータ装置であり、詳細は図示しないが、所定の制御プログラムに基づき各種情報処理や周辺機器の制御等を統括的に実行するCPU(Central Processing Unit)、CPUのワークエリア等として機能するRAM(Random Access Memory)、CPUが実行する制御プログラムやデータを格納するROM(Read Only Memory)、ネットワークを介した通信処理を実行するネットワークインタフェース等を含むハードウェア構成を有している。後に詳述する顔照合装置3の各種機能(例えば、画像照合処理等)は、CPUが所定の制御プログラム(例えば、画像照合プログラム)を実行することによって実現可能である。なお、顔照合装置3としては、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置(サーバ等)を用いることもできる。また、顔照合装置3の機能の少なくとも一部を他の従来公知のハードウェアによる処理によって代替してもよい。
The
図1に示すように、顔照合装置3は、登録画像取得部11と、3次元(3D)座標設定部12と、照明条件推定部13と、照明装置制御部14と、照合画像取得部15と、画像照合部16とを備えている。各部は、図示しない制御部によって制御される。
As shown in FIG. 1, the
登録画像取得部11は、登録画像入力装置2と接続されており、登録画像入力装置2から、事前に撮像された照合対象者の顔画像(登録画像)を取得する。登録画像取得部11が登録画像入力装置2から取得した登録画像は、3D座標設定部12、照明条件推定部13、画像照合部16に入力される。
The registered
3D座標設定部12は、登録画像取得部11から入力された登録画像中の顔領域の3次元座標を設定する。具体的には、登録画像中の顔特徴点の3次元座標を設定する。顔特徴点の3次元座標は、従来公知の技術を用いて、登録画像取得部11から入力された登録画像中の顔領域の画素値から推定することが可能である。例えば、登録画像中の顔領域の画素値の濃淡と顔特徴点の3次元座標との相関を、多数の顔画像および3次元座標データを用いて予め学習しておき、学習した相関関係に基づいて、登録画像中の顔領域の画素値の濃淡から顔特徴点の3次元座標を推定することが可能である(例えば、「Real-Time Combined 2D+3D Active Appearance Models, CVPR '04, pp. 535-542」を参照)。
The 3D coordinate setting
このように、登録画像の撮像時の照明条件を登録画像中の顔領域の3次元座標と画素値とに基づいて推定すると、登録画像の撮像時の照明条件をより正確に推定することが可能となる。なお、登録画像中の顔領域(または顔特徴点)の3次元座標を設定する方法は、特に限定されるものではなく、他の様々な公知の技術を用いることが可能である。例えば、予め用意した標準的な3次元座標データを使用してもよいし、図示しない入力手段を用いてユーザが入力してもよい。3D座標設定部12で設定された登録画像中の顔領域の3次元座標は、照明条件推定部13に入力される。
As described above, when the illumination condition at the time of capturing the registered image is estimated based on the three-dimensional coordinates and the pixel value of the face area in the registered image, the illumination condition at the time of capturing the registered image can be estimated more accurately. It becomes. Note that the method of setting the three-dimensional coordinates of the face region (or face feature point) in the registered image is not particularly limited, and various other known techniques can be used. For example, standard three-dimensional coordinate data prepared in advance may be used, or the user may input using input means (not shown). The three-dimensional coordinates of the face area in the registered image set by the 3D coordinate setting
照明条件推定部13は、3D座標設定部12から入力された登録画像中の顔領域の3次元座標と、登録画像取得部11から入力された登録画像中の顔領域の画素値とに基づいて、登録画像の撮像時の照明条件を推定する。登録画像の撮像時の照明条件の推定は、従来公知の技術を用いて行うことができる。例えば、仮想的な天球上にn個の光源を離散的に設定し、登録画像中の各顔特徴点における前記各光源からの照明の遮蔽の有無または強度を、登録画像中の各顔特徴点の3次元座標に基づいて算出する。そして、登録画像中の各顔特徴点における画素値を表す一次方程式を導き、その解を求めることにより、前記各光源の照明方向および光強度を求めることができる(例えば、「物体の陰影に基づく光源環境の推定, Vol. 41, No. SIG 10, CVIM 1, Dec. 2000」を参照)。なお、登録画像の撮像時の照明条件を推定する方法は、特に限定されるものではなく、他の様々な公知の技術を用いることが可能である。照明条件推定部13で推定された登録画像の撮像時の照明条件は、照明装置制御部14に入力される。
The illumination
照明装置制御部14は、照明装置4と接続されており、照明装置4の各光源4aを個別に制御して、照明装置4の照明条件(照明方向および光強度)を設定する。照明装置4の照明条件は、照明条件推定部13で推定された登録画像の撮像時の照明条件を再現するように設定する。前述したように、照明装置4の各光源4aを個別にまたは照明位置毎にオン・オフすることにより、または各光源4aの光強度を個別にまたは照明位置毎に制御することにより、照明方向および光強度を変更することができ、これにより、照明装置4の照明条件を設定することができる。例えば、本実施形態のように、照明条件を天球上のn個の光源を用いて実現するモデルを用いる場合は、照明装置4にも天球に対応する球面を設け、その球面にn個の光源を実際に配置し、照明条件推定部13が推定したn個の光源のパラメータを再現すればよい。これにより、照明装置4の照明条件を容易かつ精密に調節することができ、登録画像の撮像時の照明条件をより良く再現することが可能となる。照明装置4は、照明装置制御部14により設定された照明条件、すなわち登録画像の撮像時の照明条件を再現した照明条件で、照合対象者を照明する。
The illuminating
照合画像取得部15は、撮像装置5と接続されており、撮像装置5で撮像された照合対象者の顔画像(照合画像)を取得する。撮像装置5は、照明装置制御部14で設定された照明条件で照明された照合対象者を撮像するので、照合画像は、登録画像の撮像時の照明条件と略同一の照明条件で撮像された画像となる。照合画像取得部15が撮像装置5から取得した照合画像は、画像照合部16に入力される。
The collation
画像照合部16は、照合画像取得部15から入力された照合画像を、登録画像取得部11から入力された登録画像と照合する。具体的には、照合画像と登録画像との類似度を算出し、類似度が高い場合は照合画像と登録画像との照合が合致すると判定し、類似度が低い場合は照合画像と登録画像との照合が合致しないと判定する。類似度の算出方法の一例としては、照合画像の顔特徴量と登録像の顔特徴量との差分をとる方法が挙げられる。前記差分が小さい場合は類似度が高いと判断し、前記差分が大きい場合は類似度が低いと判断する。なお、照合画像と登録画像とを照合する方法は、特に限定されるものではなく、他の様々な公知の技術を用いることが可能である。画像照合部16での照合結果は、図示しない出力部を介して、セキュリティシステムや監視カメラシステムなどの顔照合装置3の外部に出力される。
The
図2は、図1の顔照合システム1を実現するためのハードウェア構成を示すブロック図である。図1の顔照合システム1は、図2に示すように、画像入力部21、照明部22、撮影部23、通信部24、記憶部25、プロセッサ26、表示部27、入力部28、およびそれらを接続するためのシステムバス29を含むハードウェア構成によって実現される。
FIG. 2 is a block diagram showing a hardware configuration for realizing the face matching system 1 of FIG. As shown in FIG. 2, the face matching system 1 in FIG. 1 includes an
画像入力部21は、例えば、IC旅券のICチップから登録画像等の登録情報を読み取るための旅券読取装置であり、事前に撮像された照合対象者の顔画像(登録画像)を顔照合装置3に入力するのに使用される。画像入力部21は、図1中の登録画像入力装置2に対応する。
The
照明部22は、複数の光源(例えば、LED光源)を有する照明装置であり、照合対象者を前方および上方から照明するのに使用される。各光源は、照明条件(照明方向および光強度)を調節すべく、オン・オフおよび光強度の少なくとも一方を個別に制御可能に構成されている。照明部22は、図1中の照明装置4に対応する。
The illuminating
撮影部23は、例えばCCDカメラであり、照明部22で照明された照合対象者の顔画像を正面から撮像するのに使用される。撮影部23は、図1中の撮像装置5に対応する。
The
通信部24は、一般的な通信モジュールであり、顔照合装置3が外部の他の装置またはシステムと通信を行うのに使用される。通信部24は、例えば、顔照合装置3の画像照合部16での照合結果を、表示部27や、外部のセキュリティシステムまたは監視カメラシステムなどに出力するのに使用される。
The
記憶部25は、例えばROMまたはハードディスクであり、顔照合装置3の各種機能を実現するための各種プログラムおよび各種データを格納している。各種プログラムは、顔照合装置3の登録画像取得部11、3D座標設定部12、照明条件推定部13、照明装置制御部14、照合画像取得部15、および画像照合部16における各処理を実現するためのプログラム、顔照合装置3全体を制御するためのプログラム、並びに、顔照合装置3に接続された登録画像入力装置2、照明装置4および撮像装置5を制御するためのプログラムなどである。各種データは、顔照合装置3の上記各部での各処理で用いられる閾値、および画像照合部16での顔画像の照合に使用される照合用データなどである。
The
プロセッサ26は、例えばCPUであり、記憶部25から上記の各種プログラムおよび各種データを図示しないRAM上に読み出して、顔照合装置3の登録画像取得部11、3D座標設定部12、照明条件推定部13、照明装置制御部14、照合画像取得部15、および画像照合部16での各処理を実行する。また、プロセッサ26は、顔照合装置3全体の制御、および顔照合装置3の周辺機器(登録画像入力装置2、照明装置4、撮像装置5)の制御などを統括的に実行する。
The
表示部27は、一般的なディスプレイ装置であり、顔照合装置3での処理結果の表示等に使用される。
The
入力部28は、キーボードやマウスなどの一般的な入力デバイスであり、ユーザが顔照合装置3に命令を入力するのに使用される。
The
次に、図1に示した本開示の第1実施形態に係る顔照合装置3による顔画像照合処理の流れを、図4を参照して説明する。図4は、本開示の第1実施形態に係る顔照合装置3による顔照合処理の流れを示すフロー図である。
Next, the flow of face image matching processing by the
まず、登録画像取得部11が、登録画像入力装置2から、事前に撮像された照合対象者の顔画像(登録画像)を取得する(ステップST101)。続いて、3D座標設定部12が、登録画像中の顔領域の3次元座標を設定する(ステップST102)。次に、照明条件推定部13が、登録画像中の顔領域の3次元座標と、登録画像中の顔領域の画素値とに基づいて、登録画像の撮像時の照明条件を推定する(ステップST103)。
First, the registered
続くステップST104では、照明装置制御部14は、照明装置4の各光源4aを個別に制御して、照明条件推定部13で推定された登録画像の撮像時の照明条件を再現すべく照明装置4の照明条件を設定する。照明装置4は、照明装置制御部14によって設定された照明条件で照合対象者を照明し、撮像装置5は、前記照明条件で照明された照合対象者を撮像する。
In subsequent step ST104, the illuminating
次のステップST105では、照合画像取得部15は、撮像装置5から、前記照明条件下で撮像された照合対象者の顔画像(照合画像)を取得する。そして、ステップST106では、画像照合部16が、照合画像を登録画像と照合する。照合結果は、図示しない出力部を介して、顔照合装置3の外部に出力される。
In the next step ST105, the collation
以上のように、本開示の第1実施形態に係る顔照合装置3によれば、登録画像の撮像時の照明条件を予め登録することなく、照合画像の撮像時に登録画像の撮像時の照明条件を再現することができる。これにより、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することができるので、照合画像と登録画像との照合の精度を高めることが可能となる。
As described above, according to the
(第2実施形態)
図5は、本開示の第2実施形態に係る顔照合システムの全体構成図であり、図2は、図5中の顔照合装置3のフィードバック部17の概略構成を示すブロック図である。この第2実施形態に係る顔照合システム1は、顔照合装置3がフィードバック部17を備えている点が、図1に示した第1実施形態に係る顔照合システム1と異なる。その他の構成は第1実施形態と同じであるので、同一の構成部分については同一の符号を付してその説明は省略する。
(Second Embodiment)
FIG. 5 is an overall configuration diagram of the face matching system according to the second embodiment of the present disclosure, and FIG. 2 is a block diagram illustrating a schematic configuration of the
フィードバック部17は、図示しないが、登録画像取得部11、3D座標設定部12、照明条件推定部13、照合画像取得部15、および画像照合部16と接続されている。フィードバック部17は、図示しない制御部によって制御され、画像照合部16で照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件の確認、照合画像中の顔の向きの確認、および登録画像の撮像時の照明条件の再推定を行う。
Although not shown, the
フィードバック部17は、照合画像照明条件推定部31と、照明条件判定部32と、照合画像3次元(3D)座標推定部33と、照合画像顔向き検出部34、登録画像顔向き検出部35と、顔向き判定部36と、通知部37と、登録画像照明条件再推定部38とを備えている。
The
照合画像照明条件推定部31は、3D座標設定部12に接続されており、3D座標設定部12から登録画像中の顔領域の3次元座標を取得することができる。また、照合画像照明条件推定部31は、照合画像取得部15に接続されており、照合画像取得部15から照合画像を取得することができる。照合画像照明条件推定部31は、画像照合部16で照合画像と登録画像との照合が合致しなかった場合に、登録画像中の顔領域の3次元座標と照合画像中の顔領域の画素値とに基づいて照合画像の撮像時の照明条件を推定する。照合画像照明条件推定部31で推定された照合画像の撮像時の照明条件は、照明条件判定部32に入力される。
The collation image illumination
照明条件判定部32は、照明条件推定部13に接続されており、照明条件推定部13で推定された登録画像の撮像時の照明条件を取得することができる。照明条件判定部32は、照合画像照明条件推定部31で推定された照合画像の撮像時の照明条件が、照明条件推定部13で推定された登録画像の撮像時の照明条件と一致するか否かを判定する。具体的には、登録画像の撮像時の照明条件と照合画像の撮像時の照明条件との差分を算出し、前記差分が予め定められた閾値を下回った場合は、登録画像の撮像時の照明条件と照合画像の撮像時の照明条件とが一致すると判定し、前記差分が前記閾値以上だった場合は、登録画像の撮像時の照明条件と照合画像の撮像時の照明条件とが一致しないと判定する。前記差分の一例としては、各照明位置(各光源)の光強度の差の絶対値の総和が挙げられる。照明条件判定部32の判定結果は、照合画像3D座標推定部33に入力される。
The illumination
画像照合部16で照合画像と登録画像との照合が合致せず、かつ照明条件判定部32で登録画像の撮像時の照明条件と照合画像の撮像時の照明条件が一致すると判定された場合は、照明条件が同一にもかかわらず、照合画像と登録画像との照合が合致しなかったので、照合対象者が登録画像中の人物と別人であると判断することができる。
When the collation between the collation image and the registered image does not match in the
登録画像の撮像時の照明条件と照合画像の撮像時の照明条件が一致しないと判定された場合は、照合画像の撮像時の照合対象者の顔の向きが登録画像中の顔の向きと異なっていた場合が考えられる。そこで、照合画像中の顔の向きが適切であるか否かを確認し、適切でなかった場合は、登録画像と同じ顔の向きで照合画像を撮り直す。また、照明条件推定部13で登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の3次元座標が適切でなかったことも考えられる。そこで、登録画像の撮像時の照明条件と照合画像の撮像時の照明条件が一致しないと判定された場合は、照合画像中の顔領域の3次元座標を使用して、登録画像の撮像時の照明条件の再推定を行う。
If it is determined that the illumination condition at the time of capturing the registered image and the illumination condition at the time of capturing the verification image do not match, the orientation of the face of the person being verified at the time of capturing the verification image is different from the orientation of the face in the registered image It may be the case. Therefore, it is confirmed whether or not the orientation of the face in the collation image is appropriate. If not, the collation image is taken again with the same face orientation as that of the registered image. It is also conceivable that the three-dimensional coordinates of the face area in the registered image used when the illumination
照合画像3D座標推定部33は、照合画像取得部15に接続されており、照合画像取得部15から照合画像を取得することができる。照合画像3D座標推定部33は、照明条件判定部32で登録画像の撮像時の照明条件と照合画像の撮像時の照明条件が一致しないと判定された場合に、照合画像中の顔領域の3次元座標を推定する。照合画像中の顔領域の3次元座標は、従来公知の技術を用いて、照合画像中の顔領域の画素値から推定することが可能である。例えば、3D座標設定部12で用いた方法と同様の方法を用いることができる。照合画像3D座標推定部33で推定された照合画像中の顔領域の3次元座標は、照合画像顔向き検出部34に入力される。
The verification image 3D coordinate
照合画像顔向き検出部34は、照合画像3D座標推定部33から入力された照合画像中の顔領域の3次元座標に基づいて、照合画像中の顔の向きを検出する。画像中の顔の向きを検出は、従来公知の顔認識技術を用いて行うことができる。例えば、顔領域の顔特徴点の位置に基づいて検出可能である。照合画像顔向き検出部34で検出された照合画像中の顔の向きは、顔向き判定部36に入力される。
The collation image face
登録画像顔向き検出部35は、3D座標設定部12に接続されており、3D座標設定部12から登録画像中の顔領域の3次元座標を取得することができる。登録画像顔向き検出部35は、3D座標設定部12から取得した登録画像中の顔領域の3次元座標に基づいて、登録画像中の顔の向きを検出する。画像中の顔の向きを検出は、照合画像顔向き検出部34と同様に、従来公知の顔認識技術を用いて行うことができる。登録画像顔向き検出部35で検出された登録画像中の顔の向きは、顔向き判定部36に入力される。
The registered image face
顔向き判定部36は、照合画像顔向き検出部34から入力された照合画像中の顔の向きが、登録画像顔向き検出部35から入力された登録画像中の顔の向きと一致するか否かを判定する。この判定も、照合画像顔向き検出部34および登録画像顔向き検出部35と同様に、従来公知の顔認識技術を用いて行うことができる。顔向き判定部36の判定結果は、通知部37および登録画像照明条件再推定部38に入力される。
The face
通知部37は、顔向き判定部36で照合画像中の顔の向きが登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、照合対象者の顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を取り直すように通知する。通知は、通知部37自体が行ってもよいし、表示装置等の図示しない通知手段を介して行ってもよい。このことにより、照合対象者の顔の向きを登録画像と同じ顔の向きに変更して照合画像を撮り直すことが可能となる。したがって、照合画像を登録画像との照合の精度をさらに高めることが可能となる。
The
登録画像照明条件再推定部38は、登録画像取得部11に接続されており、登録画像取得部11から登録画像を取得することができる。登録画像照明条件再推定部38は、顔向き判定部36で照合画像中の顔の向きが登録画像中の顔の向きと一致すると判定された場合に、登録画像の撮像時の照明条件を、照合画像中の顔領域の3次元座標と登録画像中の顔領域の画素値とに基づいて再推定する。登録画像照明条件再推定部38で再推定された登録画像の撮像時の照明条件は、照明装置制御部14に入力される。このことにより、照明条件推定部13で登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の3次元座標が適切でなかった場合に、照合画像中の顔領域の3次元座標を使用して登録画像の撮像時の照明条件を再度推定することができ、これにより、照合画像を登録画像との照合の精度をさらに高めることが可能となる。
The registered image illumination condition
次に、図5および図6に示した本開示の第2実施形態に係る顔照合装置3による顔画像照合処理の流れを、図7を参照して説明する。図7は、本開示の第2実施形態に係る顔照合装置3による顔照合処理の流れを示すフロー図である。
Next, the flow of face image matching processing by the
ステップ201からステップ205までは、前述した図4のフロー図のステップST101からST105と同一なので説明は省略する。 Steps 201 to 205 are the same as steps ST101 to ST105 in the flowchart of FIG.
ステップ206では、画像照合部16で、照合画像と登録画像との照合が合致するか否かを判定する。照合が合致すると判定された場合(ST206:Yes)は処理を終了し、照合が合致しないと判定された場合(ST206:No)はステップST207に進む。
In step 206, the
ステップST207では、照合画像照明条件推定部31が、登録画像中の顔領域の3次元座標と照合画像中の顔領域の画素値とに基づいて、照合画像の撮像時の照明条件を推定する。続くステップST208では、照明条件判定部32が、照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致するか否かを判定する。一致すると判定された場合(ST208:Yes)はステップST209に進み、一致しないと判定された場合(ST208:No)はステップST210に進む。ステップST209では、照明条件が同一にもかかわらず照合画像と登録画像との照合が合致しなかったので、照合対象者が登録画像中の人物と別人であると判断し、その後、処理を終了する。
In step ST207, the collation image illumination
ステップST210では、照合画像3D座標推定部33が、照合画像中の顔領域の3次元座標を推定する。続いて、ステップST211では、照合画像顔向き検出部34が、照合画像3D座標推定部33で推定された照合画像中の顔領域の3次元座標に基づいて、照合画像中の顔の向きを検出する。続くステップST212では、登録画像顔向き検出部35が、3D座標設定部12から取得した登録画像中の顔領域の3次元座標に基づいて登録画像中の顔の向きを検出する。
In step ST210, the collation image 3D coordinate
次のステップST213では、顔向き判定部36が、照合画像中の顔の向きが登録画像中の顔の向きと一致するか否かを判定する。一致すると判定された場合(ST213:Yes)はステップST214に進み、一致しないと判定された場合(ST213:No)はステップST215に進む。
In next step ST213, the face
ステップST214では、登録画像照明条件再推定部38が、照合画像中の顔領域の3次元座標と登録画像中の顔領域の画素値とに基づいて、登録画像の撮像時の照明条件を再推定する。その後、ステップST204に進み、ST204以降の処理を繰り返す。
In step ST214, the registered image illumination condition
ステップST215では、通知部37が、照合対象者に対して、顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を取り直すように通知する。その後、ステップST205に進み、ST205以降の処理を繰り返す。
In step ST215, the
以上のように、本開示の第2実施形態に係る顔照合装置3によれば、画像照合部16で照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件の確認、照合画像中の顔の向きの確認、および登録画像の撮像時の照明条件の再推定を行うことができ、これにより、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
As described above, according to the
以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本開示に係る顔照合装置およびこれを備えた顔照合システムならびに顔照合方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。 As mentioned above, although this indication was explained based on specific embodiments, these embodiments are illustrations to the last, and this indication is not limited by these embodiments. Note that the constituent elements of the face matching device according to the present disclosure, the face matching system including the face matching system, and the face matching method according to the present disclosure shown in the above embodiments are not necessarily all required, and at least as long as they do not depart from the scope of the present disclosure. It is possible to select appropriately.
本開示に係る顔照合装置およびこれを備えた顔照合システムならびに顔照合方法は、録画像の撮像時の照明条件を予め登録することなく、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することを可能とする顔照合装置およびこれを備えた顔照合システムならびに顔照合方法等として有用である。 The face matching device, the face matching system and the face matching method including the face matching device according to the present disclosure are substantially the same as the lighting conditions at the time of capturing the registered image without previously registering the lighting conditions at the time of capturing the recorded image. It is useful as a face collation apparatus that can capture images under the illumination conditions, a face collation system including the face collation apparatus, a face collation method, and the like.
1 顔照合システム
2 登録画像入力装置
3 顔照合装置
4 照明装置
5 撮像装置
6 照合画像撮像装置
11 登録画像取得部
12 3次元(3D)座標設定部
13 照明条件推定部
14 照明装置制御部
15 照合画像取得部
16 画像照合部
17 フィードバック部
31 照合画像照明条件推定部
32 照明条件判定部
33 照合画像3次元(3D)座標推定部
34 照合画像顔向き検出部
35 登録画像顔向き検出部
36 顔向き判定部
37 通知部
38 登録画像照明条件再推定部
DESCRIPTION OF SYMBOLS 1
Claims (24)
前記登録画像を取得する登録画像取得部と、
前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定する照明条件推定部と、
前記推定された前記登録画像の撮像時の照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を設定する照明装置制御部と、
前記設定された照明条件下で撮像された前記照合画像を取得する照合画像取得部と、
前記照合画像を前記登録画像と照合する画像照合部と
を備えた顔照合装置。 A face matching device for matching a matching image obtained by capturing a face of a person to be verified with a registered image captured in advance,
A registered image acquisition unit for acquiring the registered image;
An illumination condition estimating unit that estimates an illumination condition at the time of capturing the registered image based on a pixel value of a face area in the registered image;
Based on the estimated illumination conditions at the time of capturing the registered image, an illumination device control unit that sets illumination conditions of an illumination device that illuminates the person to be verified, and
A collation image acquisition unit that acquires the collation image captured under the set illumination conditions;
A face collation apparatus comprising: an image collation unit that collates the collation image with the registered image.
前記照明条件推定部は、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の3次元座標と画素値とに基づいて推定することを特徴とする請求項1または請求項2に記載の顔照合装置。 A three-dimensional coordinate setting unit for setting the three-dimensional coordinates of the face area in the registered image;
The said illumination condition estimation part estimates the illumination conditions at the time of imaging of the said registration image based on the three-dimensional coordinate and pixel value of the face area | region in the said registration image, The Claim 1 or Claim 2 characterized by the above-mentioned. The face matching device described in 1.
前記照明装置制御部は、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする請求項1ないし請求項3のいずれかに記載の顔照合装置。 The illumination device has a plurality of light sources that are installed at positions where the person to be collated can be illuminated from the front and above, and at least one of on / off and light intensity is individually adjusted and controlled,
The lighting device control unit adjusts lighting conditions of the lighting device by individually controlling at least one of on / off and light intensity of each light source of the lighting device. Item 4. The face matching device according to any one of Items 3 to 4.
前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定部と
をさらに備えたことを特徴とする請求項3または請求項4に記載の顔照合装置。 A collation image illumination condition estimation unit that estimates illumination conditions at the time of capturing the collation image based on the three-dimensional coordinates of the face area in the registered image and the pixel value of the face area in the collation image;
The illumination condition determination unit for determining whether or not an illumination condition at the time of capturing the reference image matches an illumination condition at the time of capturing the registered image is further provided. The face matching device described.
前記照合画像中の顔領域の3次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出部と、
前記登録画像中の顔領域の3次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出部と、
前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定部と
をさらに備えたことを特徴とする請求項3ないし請求項5のいずれかに記載の顔照合装置。 A collation image three-dimensional coordinate estimation unit for estimating a three-dimensional coordinate of a face area in the collation image;
A collation image face direction detection unit for detecting the orientation of the face in the collation image based on the three-dimensional coordinates of the face region in the collation image;
A registered image face orientation detection unit that detects the orientation of the face in the registered image based on the three-dimensional coordinates of the face region in the registered image;
6. The face orientation determination unit for determining whether or not the orientation of the face in the collation image matches the orientation of the face in the registered image. The face matching device described in 1.
前記顔照合装置に登録画像を入力する登録画像入力装置と、
照明条件を調節可能な照明装置と、
前記照明装置で照明された照合対象者を撮像する撮像装置と
を備えた顔照合システム。 A face matching device according to any one of claims 1 to 8,
A registered image input device for inputting a registered image to the face matching device;
A lighting device capable of adjusting lighting conditions;
A face matching system comprising: an imaging device that images a person to be matched illuminated by the lighting device.
前記照明条件推定部は、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の3次元座標と画素値とに基づいて推定することを特徴とする請求項9または請求項10に記載の顔照合システム。 The face matching device further includes a three-dimensional coordinate setting unit that sets three-dimensional coordinates of a face region in the registered image,
The illumination condition estimation unit estimates an illumination condition at the time of capturing the registered image based on a three-dimensional coordinate and a pixel value of a face area in the registered image. The face matching system described in.
前記照明装置制御部は、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする請求項9ないし請求項11のいずれかに記載の顔照合システム。 The illumination device has a plurality of light sources that are installed at positions where the person to be collated can be illuminated from the front and above, and at least one of on / off and light intensity is individually adjusted and controlled,
The lighting device control unit adjusts lighting conditions of the lighting device by individually controlling at least one of on / off and light intensity of each light source of the lighting device. Item 12. The face matching system according to any one of Items 11.
前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定部と
をさらに備えたことを特徴とする請求項11または請求項12に記載の顔照合システム。 The collation image illumination condition estimation unit that estimates the illumination condition at the time of capturing the collation image based on the three-dimensional coordinates of the face area in the registered image and the pixel value of the face area in the collation image. When,
The illumination condition determination unit that determines whether or not an illumination condition at the time of capturing the reference image matches an illumination condition at the time of capturing the registered image is further provided. The face matching system described.
前記照合画像中の顔領域の3次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出部と、
前記登録画像中の顔領域の3次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出部と、
前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定部と
をさらに備えたことを特徴とする請求項11ないし請求項13に記載の顔照合システム。 A collation image three-dimensional coordinate estimation unit for estimating a three-dimensional coordinate of a face region in the collation image;
A collation image face direction detection unit for detecting the orientation of the face in the collation image based on the three-dimensional coordinates of the face region in the collation image;
A registered image face orientation detection unit that detects the orientation of the face in the registered image based on the three-dimensional coordinates of the face region in the registered image;
The face orientation determination unit for determining whether or not the orientation of the face in the collation image matches the orientation of the face in the registered image. Face matching system.
前記登録画像を取得する登録画像取得ステップと、
前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定する照明条件推定ステップと、
前記推定された前記登録画像の撮像時の照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を設定する照明装置制御ステップと、
前記設定された照明条件下で撮像された前記照合画像を取得する照合画像取ステップと、
前記照合画像を前記登録画像と照合する画像照合ステップと
を有する顔照合方法。 A face matching method for matching a matching image obtained by capturing a face of a person to be verified with a registered image captured in advance,
A registered image obtaining step for obtaining the registered image;
An illumination condition estimating step for estimating an illumination condition at the time of capturing the registered image based on a pixel value of a face area in the registered image;
A lighting device control step of setting a lighting condition of a lighting device that illuminates the person to be collated based on a lighting condition at the time of capturing the estimated registered image,
A collation image capturing step for obtaining the collation image captured under the set illumination conditions;
A face matching method comprising: an image matching step for matching the matching image with the registered image.
前記照明条件推定ステップは、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の3次元座標と画素値とに基づいて推定することを特徴とする請求項17または請求項18に記載の顔照合方法。 A three-dimensional coordinate setting step of setting a three-dimensional coordinate of the face area in the registered image;
19. The illumination condition estimating step estimates an illumination condition at the time of capturing the registered image based on a three-dimensional coordinate and a pixel value of a face area in the registered image. The face matching method described in 1.
前記照明装置制御ステップは、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする請求項17ないし請求項19のいずれかに記載の顔照合方法。 The illumination device has a plurality of light sources that are installed at positions where the person to be collated can be illuminated from the front and above, and at least one of on / off and light intensity is individually adjusted and controlled,
The lighting device control step adjusts the lighting condition of the lighting device by individually controlling at least one of on / off and light intensity of each light source of the lighting device. Item 20. The face matching method according to any one of Items 19.
前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定ステップと
をさらに有することを特徴とする請求項19または請求項20に記載の顔照合方法。 A collation image illumination condition estimation step for estimating an illumination condition at the time of capturing the collation image based on a three-dimensional coordinate of the face area in the registered image and a pixel value of the face area in the collation image;
21. The illumination condition determination step of determining whether or not an illumination condition at the time of capturing the collation image matches an illumination condition at the time of capturing the registered image. Face matching method.
前記照合画像中の顔領域の3次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出ステップと、
前記登録画像中の顔領域の3次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出ステップと、
前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定ステップと
をさらに有することを特徴とする請求項19ないし請求項21のいずれかに記載の顔照合方法。 A collation image three-dimensional coordinate estimation step for estimating a three-dimensional coordinate of a face region in the collation image;
A collation image face direction detection step of detecting a face direction in the collation image based on a three-dimensional coordinate of a face region in the collation image;
A registered image face direction detecting step for detecting a face direction in the registered image based on a three-dimensional coordinate of a face region in the registered image;
The face orientation determination step of determining whether or not the orientation of the face in the collation image matches the orientation of the face in the registered image, according to any one of claims 19 to 21. The face matching method described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015147535A JP2017027492A (en) | 2015-07-27 | 2015-07-27 | Face collation apparatus, face collation system with same, and face collation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015147535A JP2017027492A (en) | 2015-07-27 | 2015-07-27 | Face collation apparatus, face collation system with same, and face collation method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017027492A true JP2017027492A (en) | 2017-02-02 |
Family
ID=57949863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015147535A Pending JP2017027492A (en) | 2015-07-27 | 2015-07-27 | Face collation apparatus, face collation system with same, and face collation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017027492A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019077863A1 (en) | 2017-10-18 | 2019-04-25 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic apparatus |
WO2020022034A1 (en) * | 2018-07-25 | 2020-01-30 | 日本電気株式会社 | Information processing device, information processing method, and information processing program |
WO2020022014A1 (en) * | 2018-07-25 | 2020-01-30 | 日本電気株式会社 | Information processing device, information processing method, and information processing program |
JP2020154946A (en) * | 2019-03-22 | 2020-09-24 | 富士ゼロックス株式会社 | Object recognition device |
WO2023281746A1 (en) * | 2021-07-09 | 2023-01-12 | 日本電気株式会社 | Control device, control method, and recording medium |
EP4108859A4 (en) * | 2020-02-18 | 2023-04-12 | NEC Corporation | Gate apparatus |
-
2015
- 2015-07-27 JP JP2015147535A patent/JP2017027492A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019077863A1 (en) | 2017-10-18 | 2019-04-25 | ソニーセミコンダクタソリューションズ株式会社 | Identification device and electronic apparatus |
KR20200074050A (en) | 2017-10-18 | 2020-06-24 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Identification devices and electronics |
DE112018005610T5 (en) | 2017-10-18 | 2020-07-02 | Sony Semiconductor Solutions Corporation | IDENTIFICATION DEVICE AND ELECTRONIC DEVICE |
WO2020022034A1 (en) * | 2018-07-25 | 2020-01-30 | 日本電気株式会社 | Information processing device, information processing method, and information processing program |
WO2020022014A1 (en) * | 2018-07-25 | 2020-01-30 | 日本電気株式会社 | Information processing device, information processing method, and information processing program |
US11600118B2 (en) | 2018-07-25 | 2023-03-07 | Nec Corporation | Information processing apparatus, information processing method, and information processing program |
US11670111B2 (en) | 2018-07-25 | 2023-06-06 | Nec Corporation | Information processing apparatus, information processing method, and information processing program |
JP2020154946A (en) * | 2019-03-22 | 2020-09-24 | 富士ゼロックス株式会社 | Object recognition device |
EP4108859A4 (en) * | 2020-02-18 | 2023-04-12 | NEC Corporation | Gate apparatus |
US11947244B2 (en) | 2020-02-18 | 2024-04-02 | Nec Corporation | Gate apparatus |
WO2023281746A1 (en) * | 2021-07-09 | 2023-01-12 | 日本電気株式会社 | Control device, control method, and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017027492A (en) | Face collation apparatus, face collation system with same, and face collation method | |
US9818023B2 (en) | Enhanced face detection using depth information | |
CN106446873B (en) | Face detection method and device | |
JP6125188B2 (en) | Video processing method and apparatus | |
JP5445460B2 (en) | Impersonation detection system, impersonation detection method, and impersonation detection program | |
US9672406B2 (en) | Touchless fingerprinting acquisition and processing application for mobile devices | |
WO2019071664A1 (en) | Human face recognition method and apparatus combined with depth information, and storage medium | |
US9330325B2 (en) | Apparatus and method for reducing noise in fingerprint images | |
JP2019509545A (en) | Live person face verification method and device | |
US8666145B2 (en) | System and method for identifying a region of interest in a digital image | |
CN109654676B (en) | Adjusting method, device and system of air supply device, computer equipment and storage medium | |
JP6406345B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP5170094B2 (en) | Spoofing detection system, spoofing detection method, and spoofing detection program | |
WO2017109854A1 (en) | Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program | |
JP5342413B2 (en) | Image processing method | |
US8977009B2 (en) | Biometric authentication device, biometric authentication program, and biometric authentication method | |
JP2008035301A (en) | Mobile body tracing apparatus | |
KR101053253B1 (en) | Apparatus and method for face recognition using 3D information | |
JP5416489B2 (en) | 3D fingertip position detection method, 3D fingertip position detection device, and program | |
KR20180100890A (en) | Method and apparatus for remote multi biometric | |
JP2018092507A (en) | Image processing apparatus, image processing method, and program | |
KR20120108276A (en) | Method for localizing intelligent mobile robot by using a lateral landmark | |
JP4298303B2 (en) | Posture estimation device | |
JPWO2021166221A5 (en) | Biometric authentication device, biometric authentication method, and its program | |
WO2005093656A1 (en) | System for estimating attitude at specific part, methode for estimating attitude at specific part, and program for estimating attitude at specific part |