CN110503760A - 门禁控制方法及门禁系统 - Google Patents
门禁控制方法及门禁系统 Download PDFInfo
- Publication number
- CN110503760A CN110503760A CN201910798329.XA CN201910798329A CN110503760A CN 110503760 A CN110503760 A CN 110503760A CN 201910798329 A CN201910798329 A CN 201910798329A CN 110503760 A CN110503760 A CN 110503760A
- Authority
- CN
- China
- Prior art keywords
- image
- access control
- face image
- target
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 27
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 11
- 210000001508 eye Anatomy 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供一种门禁控制方法及门禁系统,该方法应用于门禁系统,所述门禁系统包括双目摄像机和门禁装置,所述方法包括:根据双目摄像机采集得到左视图和右视图,确定基准图像和视差图像;根据所述视差图像和所述双目摄像机的参数,在所述基准图像中确定目标图像,所述目标图像为所述双目摄像机拍摄的预设空间区域中图像;对所述目标图像进行人脸识别,以判断是否打开所述门禁装置。提高了门禁控制的可靠性。
Description
技术领域
本发明实施例涉及电子技术领域,尤其涉及一种门禁控制方法及门禁系统。
背景技术
目前,门禁系统的应用越来越广泛,例如,在社区、公司等场景中,通常设置有门禁系统。
在相关技术中,门禁系统中通常包括摄像机和门禁装置,门禁装置设置在门上,门禁装置用于控制门的打开和关闭。门禁系统可以获取摄像机采集的图像,在采集得到的图像中获取至少一张人脸图像,若至少一张人脸图像中存在人脸图像与预设数据库中的人脸图像匹配成功,则控制门禁装置打开,进而使得门打开。然而,在实际应用过程中,在注册用户(预设数据库中包括注册用户的人脸图像)经过门禁装置时,该注册用户并非要进门,门禁系统通常会打开门禁,导致对门禁控制的可靠性低。
发明内容
本发明实施例提供一种门禁控制方法及门禁系统,提高了门禁控制的可靠性。
第一方面,本发明实施例提供一种门禁控制方法,应用于门禁系统,所述门禁系统包括双目摄像机和门禁装置,所述方法包括:
根据双目摄像机采集得到左视图和右视图,确定基准图像和视差图像;
根据所述视差图像和所述双目摄像机的参数,在所述基准图像中确定目标图像,所述目标图像为所述双目摄像机拍摄的预设空间区域中图像;
对所述目标图像进行人脸识别,以判断是否打开所述门禁装置。
在一种可能的实施方式中,所述根据所述视差图像和所述双目摄像机的参数,在所述基准图像中确定目标图像,包括:
根据所述视差图像和所述双目摄像机的参数,确定所述基准图像中每个像素的三维坐标;
根据所述基准图像中每个像素的三维坐标,在所述基准图像中确定所述目标图像,所述目标图像中各像素的三维坐标分别在预设范围内。
在一种可能的实施方式中,根据所述视差图像和所述双目摄像机的参数,确定所述基准图像中每个像素的三维坐标,包括:
针对基准图像的第一像素,确定所述第一像素的三维坐标为:
其中,u为所述第一像素在所述基准图像中的横坐标,所述v为所述第一像素在所述基准图像中的纵坐标,(x,y,z)为所述第一像素的三维坐标,所述x为所述双目摄像机所在平面的横坐标,所述y为所述双目摄像机所在平面的纵坐标,所述z为所述垂直于所述双目摄像机所在平面方向的坐标,所述B为所述双目摄像机的基线长度,所述W为基准图像在横向包括的像素个数,所述d为所述第一像素在所述视差图像中的视差值,所述Δd为预设值,所述Δx为所述双目摄像机与门禁装置在x方向的距离,所述f为所述双目摄像机的焦距,所述H′为所述双目摄像机距离地面的高度,所述H为所述基准图像在纵向包括的像素个数。
在一种可能的实施方式中,所述根据所述目标图像进行人脸识别,以判断是否打开所述门禁装置,包括:
判断所述目标图像中是否存在人脸图像;
若是,则在所述目标图像中获取至少一个人脸图像,并根据所述至少一张人脸图像判断是否打开所述门禁系统;
若否,则确定不打开所述门禁装置。
在一种可能的实施方式中,根据所述至少一张人脸图像判断是否打开所述门禁装置,包括:
根据每张人脸图像的视差值,确定每张人脸图像对应的第一距离,所述第一距离为所述人脸图像对应的用户与所述门禁装置之间的距离;
按照每张人脸图像对应的第一距离由小到大的顺序,对所述至少一张人脸图像进行活体检测,以在所述至少一张人脸图像中确定目标人脸图像,所述目标人脸图像为活体检测结果为活体且对应的第一距离最小的人脸图像;
比对所述目标人脸图像和第一数据库,判断是否打开所述门禁装置。
在一种可能的实施方式中,针对所述至少一张人脸图像中的第一人脸图像;对所述第一人脸图像进行活体检测,包括:
在所述第一人脸图像中确定多个关键点,所述多个关键点包括左眼角、右眼角、左嘴角、右嘴角和鼻尖对应的点;
根据所述多个关键点的三维坐标,对所述第一人脸图像进行旋转处理,旋转处理后的第一人脸图像中,旋转处理后的第一人脸图像对应的人脸正对所述门禁装置;
在旋转处理后的第一人脸图像中,若鼻尖对应的点的z坐标与其它关键点对应的z坐标不同,则确定所述第一人脸图像对应的活体检测结果为活体。
在一种可能的实施方式中,
根据所述至少一张人脸图像判断是否打开所述门禁系统,包括:
获取所述至少一张人脸图像的目标特征信息;
判断第一数据库中是否存在与所述目标特征信息匹配的特征信息,所述第一数据库中包括多个特征信息;
若是,则控制打开所述门禁装置;
若否,则在接收到所述至少一张人脸图像对应的用户输入的门禁打开指令后,根据所述目标特征信息更新所述第一数据库。
在一种可能的实施方式中,所述根据所述目标特征信息更新所述第一数据库,包括:
判断第二数据库中是否存在与所述目标特征信息匹配的第一特征信息;
若是,则根据当前时刻和所述第一特征信息的可信度的第一更新时刻,更新所述第一特征信息的可信度,在所述第一特征信息的更新后的可信度大于预设阈值时,将所述第一特征信息添加至所述第一数据库;其中,所述第一更新时刻为所述第一特征信息的可信度最近一次增加的时刻;
若否,则在所述第二数据库中增加所述目标特征信息,并将所述目标特征信息的可信度设置为初始可信度。
在一种可能的实施方式中,所述根据当前时刻所述第一特征信息的可信度的最新更新时刻,更新所述第一特征信息的可信度,包括:
若当前时刻与所述最新更新时刻之间的差值大于或等于第一预设时长,则将所述第一特征信息的可信度增加第一预设值。
在一种可能的实施方式中,所述方法还包括:
针对所述第二数据库中的任意第二特征信息,获取所述第二特征信息的可信度的第二更新时刻,所述第二更新时刻为所述第二特征信息的可信度最近一次更新的时刻;
若从所述第二更新时刻起的第二预设时长内,未获取到特征信息与所述第二特征信息匹配的人脸图像,则将所述第二特征信息的可信度减少第二预设值。
在一种可能的实施方式中,若所述第二数据库中的第三特征信息的可信度为0,则在所述第二数据库中删除所述第三特征信息。
在一种可能的实施方式中,针对所述第一数据库中的任意第四特征信息,若在第三预设时长内,未获取到特征信息与所述第四特征信息匹配的人脸图像,则在所述第一数据库中删除所述第四特征信息,在所述第二数据库中增加所述第四特征信息,并将所述第四特征信息的可信度设置为第三预设值。
第二方面,本发明实施例提供一种门禁控制方法装置,应用于门禁系统,所述门禁系统包括双目摄像机和门禁装置,所述装置包括:第一确定模块、第二确定模块和人脸识别模块,其中,
所述第一确定模块用于,根据双目摄像机采集得到左视图和右视图,确定基准图像和视差图像;
所述第二确定模块用于,根据所述视差图像和所述双目摄像机的参数,在所述基准图像中确定目标图像,所述目标图像为所述双目摄像机拍摄的预设空间区域中图像;
所述人脸识别模块用于,对所述目标图像进行人脸识别,以判断是否打开所述门禁装置。
在一种可能的实施方式中,所述第二确定模块具体用于:
根据所述视差图像和所述双目摄像机的参数,确定所述基准图像中每个像素的三维坐标;
根据所述基准图像中每个像素的三维坐标,在所述基准图像中确定所述目标图像,所述目标图像中各像素的三维坐标分别在预设范围内。
在一种可能的实施方式中,所述第二确定模块具体用于:
针对基准图像的第一像素,确定所述第一像素的三维坐标为:
其中,u为所述第一像素在所述基准图像中的横坐标,所述v为所述第一像素在所述基准图像中的纵坐标,(x,y,z)为所述第一像素的三维坐标,所述x为所述双目摄像机所在平面的横坐标,所述y为所述双目摄像机所在平面的纵坐标,所述z为所述垂直于所述双目摄像机所在平面方向的坐标,所述B为所述双目摄像机的基线长度,所述W为基准图像在横向包括的像素个数,所述d为所述第一像素在所述视差图像中的视差值,所述Δd为预设值,所述Δx为所述双目摄像机与门禁装置在x方向的距离,所述f为所述双目摄像机的焦距,所述H′为所述双目摄像机距离地面的高度,所述H为所述基准图像在纵向包括的像素个数。
在一种可能的实施方式中,所述人脸识别模块具体用于:
判断所述目标图像中是否存在人脸图像;
若是,则在所述目标图像中获取至少一个人脸图像,并根据所述至少一张人脸图像判断是否打开所述门禁系统;
若否,则确定不打开所述门禁装置。
在一种可能的实施方式中,所述人脸识别模块具体用于:
根据每张人脸图像的视差值,确定每张人脸图像对应的第一距离,所述第一距离为所述人脸图像对应的用户与所述门禁装置之间的距离;
按照每张人脸图像对应的第一距离由小到大的顺序,对所述至少一张人脸图像进行活体检测,以在所述至少一张人脸图像中确定目标人脸图像,所述目标人脸图像为活体检测结果为活体且对应的第一距离最小的人脸图像;
比对所述目标人脸图像和第一数据库,判断是否打开所述门禁装置。
在一种可能的实施方式中,针对所述至少一张人脸图像中的第一人脸图像;所述人脸识别模块具体用于:
在所述第一人脸图像中确定多个关键点,所述多个关键点包括左眼角、右眼角、左嘴角、右嘴角和鼻尖对应的点;
根据所述多个关键点的三维坐标,对所述第一人脸图像进行旋转处理,旋转处理后的第一人脸图像中,旋转处理后的第一人脸图像对应的人脸正对所述门禁装置;
在旋转处理后的第一人脸图像中,若鼻尖对应的点的z坐标与其它关键点对应的z坐标不同,则确定所述第一人脸图像对应的活体检测结果为活体。
在一种可能的实施方式中,所述人脸识别模块具体用于:
获取所述至少一张人脸图像的目标特征信息;
判断第一数据库中是否存在与所述目标特征信息匹配的特征信息,所述第一数据库中包括多个特征信息;
若是,则控制打开所述门禁装置;
若否,则在接收到所述至少一张人脸图像对应的用户输入的门禁打开指令后,根据所述目标特征信息更新所述第一数据库。
在一种可能的实施方式中,所述人脸识别模块具体用于:
判断第二数据库中是否存在与所述目标特征信息匹配的第一特征信息;
若是,则根据当前时刻和所述第一特征信息的可信度的第一更新时刻,更新所述第一特征信息的可信度,在所述第一特征信息的更新后的可信度大于预设阈值时,将所述第一特征信息添加至所述第一数据库;其中,所述第一更新时刻为所述第一特征信息的可信度最近一次增加的时刻;
若否,则在所述第二数据库中增加所述目标特征信息,并将所述目标特征信息的可信度设置为初始可信度。
在一种可能的实施方式中,所述人脸识别模块具体用于:
若当前时刻与所述最新更新时刻之间的差值大于或等于第一预设时长,则将所述第一特征信息的可信度增加第一预设值。
在一种可能的实施方式中,所述装置还包括更新模块,其中,所述更新模块用于:
针对所述第二数据库中的任意第二特征信息,获取所述第二特征信息的可信度的第二更新时刻,所述第二更新时刻为所述第二特征信息的可信度最近一次更新的时刻;
若从所述第二更新时刻起的第二预设时长内,未获取到特征信息与所述第二特征信息匹配的人脸图像,则将所述第二特征信息的可信度减少第二预设值。
在一种可能的实施方式中,所述更新模块还用于:
若所述第二数据库中的第三特征信息的可信度为0,则在所述第二数据库中删除所述第三特征信息。
在一种可能的实施方式中,所述更新模块还用于:
针对所述第一数据库中的任意第四特征信息,若在第三预设时长内,未获取到特征信息与所述第四特征信息匹配的人脸图像,则在所述第一数据库中删除所述第四特征信息,在所述第二数据库中增加所述第四特征信息,并将所述第四特征信息的可信度设置为第三预设值。
第三方面,本发明实施例提供一种门禁系统,所述门禁系统包括双目摄像机、门禁装置和处理芯片,其中,
所述双目摄像机用于采集左视图和右视图;
所述处理芯片用于根据所述左视图和所述右视图,执行第一方面任一项所述的方法,以判断是否打开门禁装置。
在一种可能的实施方式中,所述门禁系统还包括存储器,所述存储器用于存储程序指令和第一方面任一项中所示的第一数据库和/或第二数据库中的数据。
第四方面,本发明实施例提供一种处理芯片,应用于门禁系统,所述处理芯片包括:至少一个通信接口,至少一个处理器,至少一个存储器,所述处理器通过执行所述存储器中存储的指令,使得所述门禁系统执行第一方面任一项所述方法。
第五方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如第一方面任一项所述的方法。
本发明实施例提供的门禁控制方法及门禁系统,双目摄像机可以采集左视图和右视图,可以根据该左视图和右视图确定基准图像和视差图像,并根据视差图像和双目摄像机的参数,在基准图像中删除预设空间区域之外的像素得到目标图像,对目标图像进行人脸识别,以判断是否打开门禁装置。预设空间区域通常为距离门禁装置较近的用户的人脸所在的空间区域,在该预设空间区域中出现的人脸通常为需要进门的用户的人脸,因此,对目标图像进行人脸识别以判断是否打开门禁装置,可以避免根据不需要进门的用户的人脸图像打开门禁装置,以避免对门禁装置进行无打开,提高了对门禁控制的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的门禁控制方法的应用场景示意图;
图2为本发明实施例提供的一种门禁控制方法的流程示意图;
图3为本发明实施例提供的视差图的示意图;
图4为本发明实施例提供的双目摄像机的示意图;
图5为本发明实施例提供的确定x坐标的原理图;
图6为本发明实施例提供的确定y坐标的原理图;
图7为本发明实施例提供的另一种门禁控制方法的流程示意图;
图8为本发明实施例提供的图像处理示意图;
图9为本申请实施例提供的对人脸图像进行校正处理的过程示意图;
图10为本发明实施例提供的对第一数据库维护方法的流程示意图;
图11为本发明实施例提供的一种门禁控制装置的结构示意图;
图12为本发明实施例提供的另一种门禁控制装置的结构示意图;
图13为本发明实施例提供的一种门禁系统的结构示意图
图14为本发明实施例提供的另一种门禁系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的门禁控制方法的应用场景示意图。请参见图1,门禁系统包括双目摄像机、门禁装置、处理芯片和存储器。其中,门禁装置设置在门上,门禁装置的状态包括打开状态和关闭装置,当门禁装置为打开状态时,门可以打开,当门禁装置为关闭状态时,门无法打开。双目摄像机通常设置在门的上方,双目摄像机可以采集门前方拍摄区域内的图像,并将采集得到的图像发送给处理芯片,处理芯片可以在接收到的图像中识别人脸图像,并根据存储器中的数据(例如人脸图像的特征信息),对人脸图像进行匹配以判断是否打开门禁装置。可选的,处理芯片和存储器可以设置在双目摄像机内部,也可以设置在门禁装置中,还可以设置在其它位置,例如,处理芯片和存储器可以设置在门附近的保安室等位置。
需要说明的是,图1只是以示例的形式门禁控制方法的应用场景,并非对门禁控制方法的应用场景进行的限定。
在本申请中,双目摄像机可以采集左视图和右视图,可以根据该左视图和右视图确定基准图像和视差图像,并根据视差图像和双目摄像机的参数,在基准图像中删除预设空间区域之外的像素得到目标图像,对目标图像进行人脸识别,以判断是否打开门禁装置。预设空间区域通常为距离门禁装置较近的用户的人脸所在的空间区域,在该预设空间区域中出现的人脸通常为需要进门的用户的人脸,因此,对目标图像进行人脸识别以判断是否打开门禁装置,可以避免根据不需要进门的用户的人脸图像打开门禁装置,以避免对门禁装置进行无打开,提高了对门禁控制的可靠性。
下面,通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是,下面几个具体实施例可以相互结合,对于相同或相似的内容,在不同的实施例中不再进行重复说明。
图2为本发明实施例提供的一种门禁控制方法的流程示意图。请参见图2,该方法可以包括:
S201、根据双目摄像机采集得到左视图和右视图,确定基准图像和视差图像。
本发明实施例的执行主体可以为设置在门禁系统中的处理芯片,例如,该处理芯片可以为图1中所示的处理芯片。也可以为设置门禁控制装置,门禁控制装置可以通过软件实现,也可以通过软件和硬件的结合实现。
双目摄像机通常包括两个摄像头,左摄像头采集得到的图像为左视图,有摄像头采集得到的图像为右视图。
可以将左视图确定为基准图像,并将右视图作为参考图,根据该基准图像和参考图像确定得到视差图像。或者,可以将右视图确定为基准图像,并将左视图作为参考图像,根据该基准图像和参考图像确定得到视差图像。可以通过立体匹配算法对基准图像和参考图像进行立体匹配以得到视差图像,例如,立体匹配算法可以包括绝对误差和(Sum ofabsolute differences,SAD)算法、BM(Boyer-Moore)算法、双目立体匹配(semi-globalblock matching,SGBM)算法、垃圾收集(Garbage Collection,GC)算法等。
下面,结合图3,对视差图进行说明。图3为本发明实施例提供的视差图的示意图。请参见图3,包括左视图、右视图和视差图,假设以左视图为参考图像,以右视图为基准图像,对该参考图像和基准图像进行立体匹配处理得到视差图像。
S202、根据视差图像和双目摄像机的参数,在基准图像中确定目标图像。
其中,目标图像为双目摄像机拍摄的预设空间区域中图像。例如,预设空间区域通常为距离门禁装置较近的用户的人脸所在的空间区域,换句话说,在该预设空间区域中出现的人脸通常为需要进门的用户的人脸。
可选的,双目摄像机的参数可以包括双目摄像机的基线长度、双目摄像机的焦距等。
可选的,可以通过如下可行的实现方式在基准图像中确定目标图像:根据视差图像和双目摄像机的参数,确定基准图像中每个像素的三维坐标,并根据基准图像中每个像素的三维坐标,在基准图像中确定目标图像,目标图像中各像素的三维坐标分别在预设范围内。
例如,针对基准图像中任意的第一像素,确定第一像素的三维坐标为:
其中,u为第一像素在基准图像中的横坐标,v为第一像素在基准图像中的纵坐标,(x,y,z)为第一像素的三维坐标,x为双目摄像机所在平面的横坐标,y为双目摄像机所在平面的纵坐标,z为垂直于双目摄像机所在平面方向的坐标,B为双目摄像机的基线长度,W为基准图像在横向包括的像素个数,d为第一像素在视差图像中的视差值,Δd为预设值,Δx为双目摄像机与门禁装置在x方向的距离,f为双目摄像机的焦距,H′为双目摄像机距离地面的高度,H为基准图像在纵向包括的像素个数。
下面,结合图4,对像素的三维坐标中各坐标的方向进行说明。
图4为本发明实施例提供的双目摄像机的示意图。请参见图4,双目摄像机包括摄像头A和摄像头B。请参见图4,三维坐标(x,y,z)中的x坐标的方向为双目摄像机所在平面的横向,y坐标的方向为双目摄像机所在平面的纵向,z坐标的方向为垂直与双目摄像机所在平面的方向。
下面,结合图5,对确定第一像素的三维坐标中的x坐标的过程进行说明。图5为本发明实施例提供的确定x坐标的原理图。请参见图5,双目摄像机的基线长度为B,焦距为f,f的单位为像素,f=F/P,其中,F为镜面和成像面之间的真实距离,P为一个像素的实际尺寸。以双目摄像机的中心O为坐标原点,以由摄像头拍摄的图像为基准图像。图5中所示的x为需要确定的测定对象的真实横向距离,测定对象在基准图像中的二维坐标为(u,v)。
由三角形的相似原理可知:
其中,W为基准图像的像素宽度,即,W是指基准图像在横向包括的像素个数,d为基准图像中像素(u,v)对应的视差值。将z代入上述公式可以得到
在实际应用过程中,双目摄像机与门禁装置的中心通常不在同一位置,假设双目摄像机与门禁装置的中心之间的真实距离为Δx,则可以确定得到 其中,若双目摄像机在门禁装置的右侧,则Δx为正值,若双目摄像机在门禁装置的左侧,则Δx为负值。可选的,在安装门禁系统时,可以由人工测量该Δx的取值,并将Δx的取值设置在门禁系统中,例如,可以将Δx的取值设置在门禁系统的数据库中。
下面,结合图6,对确定第一像素的三维坐标中的y坐标的过程进行说明。图6为本发明实施例提供的确定y坐标的原理图。请参见图6,双目摄像机的基线长度为B,焦距为f,f的单位为像素,f=F/P,其中,F为镜面和成像面之间的真实距离,P为一个像素的实际尺寸。以双目摄像机的中心O为坐标原点,以由摄像头拍摄的图像为基准图像。图6中所示的y为需要确定的测定对象的真实纵向距离,测定对象在基准图像中的二维坐标为(u,v)。
由三角形的相似原理可知:
其中,H为基准图像的像素高度,即,H是指基准图像在纵向包括的像素个数,H/2表示光轴线与成像面的交点处。将z代入上述公式可以得到
例如,假设门禁系统的人脸识别区域在x方向上以门禁装置为中心,则三维坐标分别在预设范围可以为:-2≤x≤2,0.3≤y≤2,0≤z≤3
可选的,在获取得到基准图像中每个像素的三维坐标之后,可以在基准图像中删除三维坐标不在预设范围内的像素,得到目标图像。
S203、对目标图像进行人脸识别,以判断是否打开门禁装置。
可选的,可以先判断目标图像中是否存在人脸图像,若是,则在目标图像中获取至少一个人脸图像,并根据至少一张人脸图像判断是否打开门禁系统;若否,则确定不打开门禁装置。例如,可以获取至少一张人脸图像的目标特征信息,判断第一数据库中是否存在与目标特征信息匹配的特征信息,第一数据库中包括多个特征信息;若是,则控制打开门禁装置;若否,则在接收到至少一张人脸图像对应的用户输入的门禁打开指令后,根据目标特征信息更新第一数据库。
在实际应用过程中,为了进一步提高门禁控制的安全性,可以通过如下可行的实现方式判断是否打开门禁装置:在获取至少一张人脸图像之后,可以根据每张人脸图像的视差值,确定每张人脸图像对应的第一距离,第一距离为人脸图像对应的用户与门禁装置之间的距离,按照每张人脸图像对应的第一距离由小到大的顺序,对至少一张人脸图像进行活体检测,以在至少一张人脸图像中确定目标人脸图像,目标人脸图像为活体检测结果为活体且对应的第一距离最小的人脸图像,比对目标人脸图像和第一数据库,判断是否打开门禁装置。
在上述过程中,由于每次将距离门禁装置最近、且对应活体的一个人脸图像与第一数据库中的人脸图像进行比对,这样,进而避免了根据距离门禁装置较远的一个人脸图像打开门禁装置后,使得距离门禁装置较近的非法用户(该用户的特征信息未注册在第一数据库中)进入大门,提高了门禁控制的安全性。
可以获取目标人脸图像的目标特征信息,判断第一数据库中是否存在与目标特征信息匹配的特征信息,第一数据库中包括多个特征信息,若是,则控制打开门禁装置,若否,则不打开门禁装置。
本发明实施例提供的门禁控制方法,双目摄像机可以采集左视图和右视图,可以根据该左视图和右视图确定基准图像和视差图像,并根据视差图像和双目摄像机的参数,在基准图像中删除预设空间区域之外的像素得到目标图像,对目标图像进行人脸识别,以判断是否打开门禁装置。预设空间区域通常为距离门禁装置较近的用户的人脸所在的空间区域,在该预设空间区域中出现的人脸通常为需要进门的用户的人脸,因此,对目标图像进行人脸识别以判断是否打开门禁装置,可以避免根据不需要进门的用户的人脸图像打开门禁装置,以避免对门禁装置进行无打开,提高了对门禁控制的可靠性。
下面,结合图7,对门禁控制方法进行进一步详细说明。
图7为本发明实施例提供的另一种门禁控制方法的流程示意图。请参见图7,该方法可以包括:
S701、根据双目摄像机采集得到左视图和右视图,确定基准图像和视差图像。
需要说明的是,S701的执行过程可以参见S201的执行过程,此处不再进行赘述。
S702、根据视差图像和双目摄像机的参数,确定基准图像中每个像素的三维坐标。
S703、基准图像中每个像素的三维坐标,在基准图像中确定目标图像。
其中,目标图像中各像素的三维坐标分别在预设范围内。
需要说明的是,S702-S703的执行过程可以参见S202的执行过程,此处不再进行赘述。
S704、判断目标图像中是否存在人脸图像。
若是,执行S705。
若否,执行S712。
可以对目标图像进行人脸识别,以判断目标图像中是否存在人脸图像。
S705、在目标图像中获取至少一个人脸图像。
可以对目标图像进行人脸识别,以在目标图像中获取至少一个人脸图像。
S706、根据每张人脸图像的视差值,确定每张人脸图像对应的第一距离。
其中,第一距离为人脸图像对应的用户与门禁装置之间的距离。
针对任意一张人脸图像,可以将该人脸图像中各像素的视差值的平均值确定为该人脸图像对应的第一距离。
S707、按照每张人脸图像对应的第一距离由小到大的顺序,对至少一张人脸图像进行活体检测,以在至少一张人脸图像中确定目标人脸图像。
其中,目标人脸图像为活体检测结果为活体且对应的第一距离最小的人脸图像。
例如,可以先按照第一距离由小到大的顺序对至少一张人脸图像进行排序。对第一个人脸图像进行活体检测,若该人脸图像的活体检测结果为活体,则将人脸图像确定为目标人脸图像,若该人脸图像的活体检测结果不是活体,则对第二个人脸图像进行活体检测,以此类推,直至确定得到目标人脸图像。
可选的,可以通过如下方式对人脸图像进行活体检测:针对至少一张人脸图像中的第一人脸图像,在第一人脸图像中确定多个关键点,多个关键点包括左眼角、右眼角、左嘴角、右嘴角和鼻尖对应的点;根据多个关键点的三维坐标,对第一人脸图像进行旋转处理,旋转处理后的第一人脸图像中,旋转处理后的第一人脸图像对应的人脸正对门禁装置;在旋转处理后的第一人脸图像中,若鼻尖对应的点的z坐标与其它关键点对应的z坐标不同,则确定第一人脸图像对应的活体检测结果为活体。
下面,结合图8,对旋转第一人脸图像的过程进行说明。
计算第一人脸图像中五个关键点的中心坐标,假设该五个关键点的三维坐标分别为:(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4),(x5,y5,z5),则该五个关键点的中心坐标为:
((x1+x2+x3+x4+x5)/5,(y1+y2+y3+y4+y5)/5,(z1+z2+z3+z4+z5)/5);
将该中心坐标记作o(x0,y0,z0)此坐标为第一人脸图像的旋转中心。假设识别的人脸为侧脸,则两只眼睛距离相机平面的距离不同,两个眼睛的俯视图可以如图8所示。图8为本发明实施例提供的图像处理示意图。请参见图8,需要将(x1,z1)与(x2,z2)组成的线段绕(x0,z0)旋转至于X轴平行,旋转角度a计算如下:(x1,z1)与(x2,z2)组成的直线方程:(X-x1)/(x2-x1)=(Z-z1)/(z2-z1),当Z=z0时,带入方程可得X值,即求出图中两虚线的交点,假设交点的X值为x’,则通过反正切函数可求出旋转角度a,即a=arctan((z1-z0)/(x’-x1)),进而求出旋转角度。
根据旋转角度,以及旋转中心,即可求出五个点的旋转后的坐标,以(x1,z1)为例,旋转后的坐标为:
X=(x1-x0)*cos(a)-(z1-z0)*sin(a)
Z=(z1-z0)*cos(a)-(x1-x0)*sin(a)
其中,在该平面上旋转时,Y轴坐标不变。
使用左眼角点和左嘴角点(或者右眼角点和右嘴角点)用来校正Y-Z平面,方法与校正X-Z相同,目的是为了校正仰头或低头,获得旋转角度后,同样对五个关键点进行旋转,此时只有X坐标不变。
通过上述方法,可以对侧脸、低头或仰头时的第一人脸图像进行旋转,旋转后的第一人脸图像对应的人脸正对门禁装置;在旋转处理后的第一人脸图像中,若鼻尖对应的点的z坐标与其它关键点对应的z坐标不同,则确定第一人脸图像对应的活体检测结果为活体,否则,则确定第一人脸图像对应的活体检测结果不是活体。在第一人脸图像对应的活体检测结果不是活体时,该第一人脸图像可能是对电子照片、直至照片进行拍摄得到的图像。
S708、获取目标人脸图像的目标特征信息。
可选的,可以通过基于卷积神经网络训练的人脸特征提取模型在目标人脸图像中提取目标特征信息,还可以使用卷积神经网络模型根据目标人脸图像对用户进行年龄估计,性别估计等。
为了更为准确的在目标人脸图像中提取目标特征信息,可以先对目标人脸图像进行校正处理。例如,可以使用最小二乘法,计算目标人脸图像中五个关键点向标准人脸图像五个关键点转换的仿射变换矩阵T,并基于矩阵T校正目标人脸图像。
可以先选择一幅标准人脸图像,检测出该标准人脸图像的五个关键点(包括两眼球点,鼻尖点,两嘴角点),在目标人脸图像中检测出五个关键点,并根据该五个关键点对目标人脸图像进行二维仿射变换,二维仿射变换包括平移,缩放,旋转等一系列变换,在已知标准人脸图像五个特征点和目标人脸图像的五个特征点条件下,则可解出变换矩阵T。
假设(xi,yi)T为标准人脸图像上的第i个特征点的坐标,(xi′,yi′)T为目标人脸图像对应的第i个点的坐标,则:
上式中包含如下两个方程:
以上方程中,如果标准人脸图形上选定已有五个关键点,并已知它们的空间坐标(xi,yi)T与目标人脸图像中对应的关键点坐标(xi′,yi′)T,就可以采用直接线性变换方式求解出T矩阵元素,对于n(n=5)个特征点,则有2n个关于T矩阵元素的线性方程,下面用矩阵形式写出方程如下:
以上方程中未知元素个数为6个,记为6维向量h,将上式简写为:U=K*h。其中,K为矩阵形式的公式中左边2n*6矩阵;h=(a,b,c,d,e,f)为未知的6维向量;U为式中左边的2n维向量;K,U为已知向量,对于上式,可以利用最小二乘法求出线性方程的解为:
h=(KTK)-1KTU
由上可见,只需3个特征点即可求取向量h,即变换矩阵T,而此处本项目采用五个特征点,使方程的个数超过未知数的个数,从而用最小二乘法求解以降低误差造成的影响。
下面,结合图9,对目标人脸图像进行校正处理的过程进行说明。
图9为本申请实施例提供的对人脸图像进行校正处理的过程示意图。请参见图9,校正处理前的人脸图像并非一个正向的人脸图像,通过标准人脸图像得到仿射变换矩阵T,通过仿射变换矩阵T对该人脸图像进行校正处理之后,校正处理后的人脸图像为一个正向的人脸图像。
S709、判断第一数据库中是否存在与目标特征信息匹配的特征信息。
其中,第一数据库中包括多个特征信息。
若是,执行S710。
若否,执行S711。
可选的,可以将目标特征信息与第一数据库中的特征信息进行一一比对,以获取目标特征信息与第一数据库中各特征信息的相似度,例如,相似度可以为余弦距离,余弦距离的公式可以如下:
其中similarity为相似度,该值越高,说明相似度越大,A为目标特征信息,B数据库中的特征信息,Ai为A的特征向量,Bi为B的特征向量,n为A和B中包括的向量个数。
第一数据库中存储的为人脸图像的特征信息,根据人脸图像的特征信息无法得到人脸图像,因此,即使第一数据库中的信息被盗,依然可以保证人脸图像的安全性。
S710、控制打开门禁装置。
可选的,处理芯片可以向门禁装置发送打开消息,以使门禁装置根据打开消息打开。
在门禁装置打开之后,一次仅允许一人通行。
S711、在接收到目标人脸图像对应的用户输入的门禁打开指令后,根据目标特征信息更新第一数据库。
在第一数据库中不存在与目标特征信息匹配的特征信息,若在预设时长内接收到目标人脸图像对应的用户输入的门禁打开指令,则根据目标特征信息更新第一数据库。
需要说明的是,在图10所示的实施例中,对更新第一数据的过程进行说明,此处不再进行赘述。
S712、不打开门禁装置。
在图7所示的实施例中,双目摄像机可以采集左视图和右视图,可以根据该左视图和右视图确定基准图像和视差图像,并根据视差图像和双目摄像机的参数,在基准图像中删除预设空间区域之外的像素得到目标图像,对目标图像进行人脸识别,以判断是否打开门禁装置。预设空间区域通常为距离门禁装置较近的用户的人脸所在的空间区域,在该预设空间区域中出现的人脸通常为需要进门的用户的人脸,因此,对目标图像进行人脸识别以判断是否打开门禁装置,可以避免根据不需要进门的用户的人脸图像打开门禁装置,以避免对门禁装置进行无打开,提高了对门禁控制的可靠性。
下面,结合图10所示的实施例,对更新第一数据库的过程进行说明。
图10为本发明实施例提供的对第一数据库维护方法的流程示意图。请参见图10,该方法可以包括:
S1001、在第一数据库中不存在与目标特征信息匹配的特征信息时,接收目标人脸图像对应的用户输入的门禁打开指令。
例如,用户可以通过门卡刷卡的方式输入门禁打开指令。
可选的,在判断第一数据库中不存在与目标特征信息匹配的特征信息时,可以之后采集的图像进行识别处理,判断目标人脸图像对应的用户是否执行了刷卡操作。
需要说明的是,若第一数据库中不存在与目标特征信息匹配的特征信息,如果没有接收到目标人脸图像对应的用户输入的门禁打开指令,则丢弃该目标特征信息。若接收到保安或者其他用户输入的门禁打开指令,则丢弃该目标特征信息。
S1002、判断第二数据库中是否存在与目标特征信息匹配的第一特征信息。
若是,执行S1003。
若否,执行S1005。
其中,第二数据库为临时注册的数据库。
S1003、根据当前时刻和第一特征信息的可信度的第一更新时刻,更新第一特征信息的可信度。
其中,第一更新时刻为第一特征信息的可信度最近一次增加的时刻。
若当前时刻与最新更新时刻之间的差值大于或等于第一预设时长,则将第一特征信息的可信度增加第一预设值。这样,可以避免在第一预设时长内最多对可信度增加一次。例如,在12小时内,可信度最多增加10%。
可选的,针对第二数据库中的任意第二特征信息,获取第二特征信息的可信度的第二更新时刻,若从第二更新时刻起的第二预设时长内,未获取到特征信息与第二特征信息匹配的人脸图像,则将第二特征信息的可信度减少第二预设值。第二更新时刻为第二特征信息的可信度最近一次更新的时刻,例如,第二更新时刻可以为第二特征信息的可信度最近一次增加的时刻,或者为第二特征信息的可信度最近一次减少的时刻。这样,可以实现对长时间未出入门禁的用户的可信度进行衰减。
可选的,若第二数据库中的第三特征信息的可信度为0,则在第二数据库中删除第三特征信息。
S1004、在第一特征信息的更新后的可信度大于预设阈值时,将第一特征信息添加至第一数据库。
在将第一特征增加至第一数据库后,还在第二数据库中删除第一特征信息。
可选的,针对第一数据库中的任意第四特征信息,若在第三预设时长内,未获取到特征信息与第四特征信息匹配的人脸图像,则在第一数据库中删除第四特征信息,在第二数据库中增加第四特征信息,并将第四特征信息的可信度设置为第三预设值。例如,第三预设值可以为50%。
S1005、在第二数据库中增加目标特征信息,并将目标特征信息的可信度设置为初始可信度。
例如,初始可信度可以为10%。
在图10所示的实施例中,第一数据库和第二数据库中的数据由门禁系统自动维护,无需工作人员对第一数据库和第二数据库中的数据进行维护,不但节省了人力成本,还使得对第一数据库和第二数据库进行维护的及时性高、以及准确定高。
可选的,门禁系统还可以识别得到特殊人员,例如,老年人、儿童、残疾人等,当识别到特殊人员进出小区时,人脸识别系统会向门卫发送特别关注提醒信号,引起保安人员的注意。
可选的,还可以建立人脸黑名单库,人脸黑名单库主要由工作人员维护,即工作人员需要将公安或社区发布的通缉犯、惯犯、可疑人员等人脸照片放入指定的文件中,再由人脸识别系统提取该文件中的人脸信息,当识别为非社区人员时,会将待识别人脸与黑名单库中的人脸特征进行比对,若认证成功,则向门卫发送危险警报提醒。而临时抓拍库主要用于抓拍进入社区或在社区门禁处徘徊的人员,用于工作人员定位可疑人员。
图11为本发明实施例提供的一种门禁控制装置的结构示意图。该门禁控制装置10可以应用于门禁系统,所述门禁系统包括双目摄像机和门禁装置。请参见图11,门禁控制装置10可以包括:第一确定模块11、第二确定模块12和人脸识别模块13,其中,
所述第一确定模块11用于,根据双目摄像机采集得到左视图和右视图,确定基准图像和视差图像;
所述第二确定模块12用于,根据所述视差图像和所述双目摄像机的参数,在所述基准图像中确定目标图像,所述目标图像为所述双目摄像机拍摄的预设空间区域中图像;
所述人脸识别模块13用于,对所述目标图像进行人脸识别,以判断是否打开所述门禁装置。
本发明实施例提供的门禁控制装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
在一种可能的实施方式中,所述第二确定模块12具体用于:
根据所述视差图像和所述双目摄像机的参数,确定所述基准图像中每个像素的三维坐标;
根据所述基准图像中每个像素的三维坐标,在所述基准图像中确定所述目标图像,所述目标图像中各像素的三维坐标分别在预设范围内。
在一种可能的实施方式中,所述第二确定模块12具体用于:
针对基准图像的第一像素,确定所述第一像素的三维坐标为:
其中,u为所述第一像素在所述基准图像中的横坐标,所述v为所述第一像素在所述基准图像中的纵坐标,(x,y,z)为所述第一像素的三维坐标,所述x为所述双目摄像机所在平面的横坐标,所述y为所述双目摄像机所在平面的纵坐标,所述z为所述垂直于所述双目摄像机所在平面方向的坐标,所述B为所述双目摄像机的基线长度,所述W为基准图像在横向包括的像素个数,所述d为所述第一像素在所述视差图像中的视差值,所述Δd为预设值,所述Δx为所述双目摄像机与门禁装置在x方向的距离,所述f为所述双目摄像机的焦距。
在一种可能的实施方式中,所述人脸识别模块13具体用于:
判断所述目标图像中是否存在人脸图像;
若是,则在所述目标图像中获取至少一个人脸图像,并根据所述至少一张人脸图像判断是否打开所述门禁系统;
若否,则确定不打开所述门禁装置。
在一种可能的实施方式中,所述人脸识别模块13具体用于:
根据每张人脸图像的视差值,确定每张人脸图像对应的第一距离,所述第一距离为所述人脸图像对应的用户与所述门禁装置之间的距离;
按照每张人脸图像对应的第一距离由小到大的顺序,对所述至少一张人脸图像进行活体检测,以在所述至少一张人脸图像中确定目标人脸图像,所述目标人脸图像为活体检测结果为活体且对应的第一距离最小的人脸图像;
比对所述目标人脸图像和第一数据库,判断是否打开所述门禁装置。
在一种可能的实施方式中,针对所述至少一张人脸图像中的第一人脸图像;所述人脸识别模块13具体用于:
在所述第一人脸图像中确定多个关键点,所述多个关键点包括左眼角、右眼角、左嘴角、右嘴角和鼻尖对应的点;
根据所述多个关键点的三维坐标,对所述第一人脸图像进行旋转处理,旋转处理后的第一人脸图像中,旋转处理后的第一人脸图像对应的人脸正对所述门禁装置;
在旋转处理后的第一人脸图像中,若鼻尖对应的点的z坐标与其它关键点对应的z坐标不同,则确定所述第一人脸图像对应的活体检测结果为活体。
在一种可能的实施方式中,所述人脸识别模块13具体用于:
获取所述至少一张人脸图像的目标特征信息;
判断第一数据库中是否存在与所述目标特征信息匹配的特征信息,所述第一数据库中包括多个特征信息;
若是,则控制打开所述门禁装置;
若否,则在接收到所述至少一张人脸图像对应的用户输入的门禁打开指令后,根据所述目标特征信息更新所述第一数据库。
在一种可能的实施方式中,所述人脸识别模块13具体用于:
判断第二数据库中是否存在与所述目标特征信息匹配的第一特征信息;
若是,则根据当前时刻和所述第一特征信息的可信度的第一更新时刻,更新所述第一特征信息的可信度,在所述第一特征信息的更新后的可信度大于预设阈值时,将所述第一特征信息添加至所述第一数据库;其中,所述第一更新时刻为所述第一特征信息的可信度最近一次增加的时刻;
若否,则在所述第二数据库中增加所述目标特征信息,并将所述目标特征信息的可信度设置为初始可信度。
在一种可能的实施方式中,所述人脸识别模块13具体用于:
若当前时刻与所述最新更新时刻之间的差值大于或等于第一预设时长,则将所述第一特征信息的可信度增加第一预设值。
图12为本发明实施例提供的另一种门禁控制装置的结构示意图。在图11所示实施例的基础上,请参见图12,门禁控制装置10还包括更新模块14,其中,所述更新模块14用于:
针对所述第二数据库中的任意第二特征信息,获取所述第二特征信息的可信度的第二更新时刻,所述第二更新时刻为所述第二特征信息的可信度最近一次更新的时刻;
若从所述第二更新时刻起的第二预设时长内,未获取到特征信息与所述第二特征信息匹配的人脸图像,则将所述第二特征信息的可信度减少第二预设值。
在一种可能的实施方式中,所述更新模块14还用于:
若所述第二数据库中的第三特征信息的可信度为0,则在所述第二数据库中删除所述第三特征信息。
在一种可能的实施方式中,所述更新模块14还用于:
针对所述第一数据库中的任意第四特征信息,若在第三预设时长内,未获取到特征信息与所述第四特征信息匹配的人脸图像,则在所述第一数据库中删除所述第四特征信息,在所述第二数据库中增加所述第四特征信息,并将所述第四特征信息的可信度设置为第三预设值。
本发明实施例提供的门禁控制装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
图13为本发明实施例提供的一种门禁系统的结构示意图。请参见图13,所述门禁系统20包括双目摄像机21、门禁装置22和处理芯片23,其中,
所述双目摄像机21用于采集左视图和右视图;
所述处理芯片22用于根据所述左视图和所述右视图,执行权利要求1-12任一项所述的方法,以判断是否打开门禁装置23。
图14为本发明实施例提供的另一种门禁系统的结构示意图。在图13所示实施例的基础上,请参见图14,所述门禁系统20还包括存储器24,所述存储器用于存储程序指令和上述方法实施例中所示的第一数据库和/或第二数据库中的数据。
本发明实施例提供的一种处理芯片,应用于门禁系统,所述处理芯片包括:至少一个通信接口,至少一个处理器,至少一个存储器,所述处理器通过执行所述存储器中存储的指令,使得所述门禁系统执行上述方法实施例所示的方法。
本发明实施例提供的一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现上述方法实施例所示的方法。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储器(存储介质)包括:只读存储器(read-only memory,ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(magnetic tape)、软盘(floppy disk)、光盘(optical disc)及其任意组合。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
在本申请中,术语“包括”及其变形可以指非限制性的包括;术语“或”及其变形可以指“和/或”。本本申请中术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。本申请中,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
Claims (13)
1.一种门禁控制方法,其特征在于,应用于门禁系统,所述门禁系统包括双目摄像机和门禁装置,所述方法包括:
根据双目摄像机采集得到左视图和右视图,确定基准图像和视差图像;
根据所述视差图像和所述双目摄像机的参数,在所述基准图像中确定目标图像,所述目标图像为所述双目摄像机拍摄的预设空间区域中图像;
对所述目标图像进行人脸识别,以判断是否打开所述门禁装置。
2.根据权利要求1所述的方法,其特征在于,所述根据所述视差图像和所述双目摄像机的参数,在所述基准图像中确定目标图像,包括:
根据所述视差图像和所述双目摄像机的参数,确定所述基准图像中每个像素的三维坐标;
根据所述基准图像中每个像素的三维坐标,在所述基准图像中确定所述目标图像,所述目标图像中各像素的三维坐标分别在预设范围内。
3.根据权利要求2所述的方法,其特征在于,根据所述视差图像和所述双目摄像机的参数,确定所述基准图像中每个像素的三维坐标,包括:
针对基准图像的第一像素,确定所述第一像素的三维坐标为:
其中,u为所述第一像素在所述基准图像中的横坐标,所述v为所述第一像素在所述基准图像中的纵坐标,(x,y,z)为所述第一像素的三维坐标,所述x为所述双目摄像机所在平面的横坐标,所述y为所述双目摄像机所在平面的纵坐标,所述z为所述垂直于所述双目摄像机所在平面方向的坐标,所述B为所述双目摄像机的基线长度,所述W为所述基准图像在横向包括的像素个数,所述d为所述第一像素在所述视差图像中的视差值,所述Δd为预设值,所述Δx为所述双目摄像机与门禁装置在x方向的距离,所述f为所述双目摄像机的焦距,所述H′为所述双目摄像机距离地面的高度,所述H为所述基准图像在纵向包括的像素个数。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述目标图像进行人脸识别,以判断是否打开所述门禁装置,包括:
判断所述目标图像中是否存在人脸图像;
若是,则在所述目标图像中获取至少一个人脸图像,并根据所述至少一张人脸图像判断是否打开所述门禁系统;
若否,则确定不打开所述门禁装置。
5.根据权利要求4所述的方法,其特征在于,根据所述至少一张人脸图像判断是否打开所述门禁装置,包括:
根据每张人脸图像的视差值,确定每张人脸图像对应的第一距离,所述第一距离为所述人脸图像对应的用户与所述门禁装置之间的距离;
按照每张人脸图像对应的第一距离由小到大的顺序,对所述至少一张人脸图像进行活体检测,以在所述至少一张人脸图像中确定目标人脸图像,所述目标人脸图像为活体检测结果为活体且对应的第一距离最小的人脸图像;
比对所述目标人脸图像和第一数据库,判断是否打开所述门禁装置。
6.根据权利要求5所述的方法,其特征在于,针对所述至少一张人脸图像中的第一人脸图像;对所述第一人脸图像进行活体检测,包括:
在所述第一人脸图像中确定多个关键点,所述多个关键点包括左眼角、右眼角、左嘴角、右嘴角和鼻尖对应的点;
根据所述多个关键点的三维坐标,对所述第一人脸图像进行旋转处理,旋转处理后的第一人脸图像中,旋转处理后的第一人脸图像对应的人脸正对所述门禁装置;
在旋转处理后的第一人脸图像中,若鼻尖对应的点的z坐标与其它关键点对应的z坐标不同,则确定所述第一人脸图像对应的活体检测结果为活体。
7.根据权利要求4所述的方法,其特征在于,根据所述至少一张人脸图像判断是否打开所述门禁系统,包括:
获取所述至少一张人脸图像的目标特征信息;
判断第一数据库中是否存在与所述目标特征信息匹配的特征信息,所述第一数据库中包括多个特征信息;
若是,则控制打开所述门禁装置;
若否,则在接收到所述至少一张人脸图像对应的用户输入的门禁打开指令后,根据所述目标特征信息更新所述第一数据库。
8.根据权利要求7所述的方法,其特征在于,所述根据所述目标特征信息更新所述第一数据库,包括:
判断第二数据库中是否存在与所述目标特征信息匹配的第一特征信息;
若是,则根据当前时刻和所述第一特征信息的可信度的第一更新时刻,更新所述第一特征信息的可信度,在所述第一特征信息的更新后的可信度大于预设阈值时,将所述第一特征信息添加至所述第一数据库;其中,所述第一更新时刻为所述第一特征信息的可信度最近一次增加的时刻;
若否,则在所述第二数据库中增加所述目标特征信息,并将所述目标特征信息的可信度设置为初始可信度。
9.根据权利要求8所述的方法,其特征在于,所述根据当前时刻所述第一特征信息的可信度的最新更新时刻,更新所述第一特征信息的可信度,包括:
若当前时刻与所述最新更新时刻之间的差值大于或等于第一预设时长,则将所述第一特征信息的可信度增加第一预设值。
10.根据权利要求8或9所述的方法,其特征在于,所述方法还包括:
针对所述第二数据库中的任意第二特征信息,获取所述第二特征信息的可信度的第二更新时刻,所述第二更新时刻为所述第二特征信息的可信度最近一次更新的时刻;
若从所述第二更新时刻起的第二预设时长内,未获取到特征信息与所述第二特征信息匹配的人脸图像,则将所述第二特征信息的可信度减少第二预设值。
11.根据权利要求8-10任一项所述的方法,其特征在于,
若所述第二数据库中的第三特征信息的可信度为0,则在所述第二数据库中删除所述第三特征信息。
12.根据权利要求8-11任一项所述的方法,其特征在于,
针对所述第一数据库中的任意第四特征信息,若在第三预设时长内,未获取到特征信息与所述第四特征信息匹配的人脸图像,则在所述第一数据库中删除所述第四特征信息,在所述第二数据库中增加所述第四特征信息,并将所述第四特征信息的可信度设置为第三预设值。
13.一种门禁系统,其特征在于,所述门禁系统包括双目摄像机、门禁装置和处理芯片,其中,
所述双目摄像机用于采集左视图和右视图;
所述处理芯片用于根据所述左视图和所述右视图,执行权利要求1-12任一项所述的方法,以判断是否打开门禁装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910798329.XA CN110503760B (zh) | 2019-08-27 | 2019-08-27 | 门禁控制方法及门禁系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910798329.XA CN110503760B (zh) | 2019-08-27 | 2019-08-27 | 门禁控制方法及门禁系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110503760A true CN110503760A (zh) | 2019-11-26 |
CN110503760B CN110503760B (zh) | 2021-06-01 |
Family
ID=68589960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910798329.XA Active CN110503760B (zh) | 2019-08-27 | 2019-08-27 | 门禁控制方法及门禁系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110503760B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969145A (zh) * | 2019-12-19 | 2020-04-07 | 珠海大横琴科技发展有限公司 | 一种遥感图像匹配优化方法、装置、电子设备及存储介质 |
CN111191572A (zh) * | 2019-12-26 | 2020-05-22 | 恒大智慧科技有限公司 | 一种闸机过门行为识别方法、装置及计算机可读存储介质 |
CN111583485A (zh) * | 2020-04-16 | 2020-08-25 | 北京澎思科技有限公司 | 小区门禁系统、门禁控制方法和装置、门禁单元及介质 |
CN112360285A (zh) * | 2020-10-27 | 2021-02-12 | 浙江清华长三角研究院 | 自动门立体机器视觉传感器及其传感方法 |
CN112669509A (zh) * | 2020-12-11 | 2021-04-16 | 深圳市航天华拓科技有限公司 | 门禁管理方法、系统、电子设备及存储介质 |
CN116229629A (zh) * | 2023-05-09 | 2023-06-06 | 山东力拓智能科技有限公司 | 一种门禁呼叫装置控制方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542255A (zh) * | 2011-12-06 | 2012-07-04 | Tcl集团股份有限公司 | 一种人脸图像校正的方法、装置及系统 |
CN102592117A (zh) * | 2011-12-30 | 2012-07-18 | 杭州士兰微电子股份有限公司 | 三维物体识别方法及系统 |
CN104915656A (zh) * | 2015-06-12 | 2015-09-16 | 东北大学 | 一种基于双目视觉测量技术的快速人脸识别方法 |
CN105844746A (zh) * | 2016-03-23 | 2016-08-10 | 上海斐讯数据通信技术有限公司 | 一种通过步态信息识别身份的门禁控制装置、系统及方法 |
CN105913528A (zh) * | 2016-05-25 | 2016-08-31 | 腾讯科技(深圳)有限公司 | 门禁控制数据处理方法和装置、门禁控制方法和装置 |
CN106296698A (zh) * | 2016-08-15 | 2017-01-04 | 成都通甲优博科技有限责任公司 | 一种基于立体视觉的闪电三维定位方法 |
CN108229362A (zh) * | 2017-12-27 | 2018-06-29 | 杭州悉尔科技有限公司 | 一种基于门禁系统的双目人脸识别活体检测方法 |
CN108875491A (zh) * | 2017-10-11 | 2018-11-23 | 北京旷视科技有限公司 | 人脸解锁认证的数据更新方法、认证设备和系统以及非易失性存储介质 |
CN109754496A (zh) * | 2017-11-06 | 2019-05-14 | 中国电信股份有限公司 | 门禁方法和系统 |
-
2019
- 2019-08-27 CN CN201910798329.XA patent/CN110503760B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542255A (zh) * | 2011-12-06 | 2012-07-04 | Tcl集团股份有限公司 | 一种人脸图像校正的方法、装置及系统 |
CN102592117A (zh) * | 2011-12-30 | 2012-07-18 | 杭州士兰微电子股份有限公司 | 三维物体识别方法及系统 |
CN104915656A (zh) * | 2015-06-12 | 2015-09-16 | 东北大学 | 一种基于双目视觉测量技术的快速人脸识别方法 |
CN105844746A (zh) * | 2016-03-23 | 2016-08-10 | 上海斐讯数据通信技术有限公司 | 一种通过步态信息识别身份的门禁控制装置、系统及方法 |
CN105913528A (zh) * | 2016-05-25 | 2016-08-31 | 腾讯科技(深圳)有限公司 | 门禁控制数据处理方法和装置、门禁控制方法和装置 |
CN106296698A (zh) * | 2016-08-15 | 2017-01-04 | 成都通甲优博科技有限责任公司 | 一种基于立体视觉的闪电三维定位方法 |
CN108875491A (zh) * | 2017-10-11 | 2018-11-23 | 北京旷视科技有限公司 | 人脸解锁认证的数据更新方法、认证设备和系统以及非易失性存储介质 |
CN109754496A (zh) * | 2017-11-06 | 2019-05-14 | 中国电信股份有限公司 | 门禁方法和系统 |
CN108229362A (zh) * | 2017-12-27 | 2018-06-29 | 杭州悉尔科技有限公司 | 一种基于门禁系统的双目人脸识别活体检测方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969145A (zh) * | 2019-12-19 | 2020-04-07 | 珠海大横琴科技发展有限公司 | 一种遥感图像匹配优化方法、装置、电子设备及存储介质 |
CN111191572A (zh) * | 2019-12-26 | 2020-05-22 | 恒大智慧科技有限公司 | 一种闸机过门行为识别方法、装置及计算机可读存储介质 |
CN111583485A (zh) * | 2020-04-16 | 2020-08-25 | 北京澎思科技有限公司 | 小区门禁系统、门禁控制方法和装置、门禁单元及介质 |
CN112360285A (zh) * | 2020-10-27 | 2021-02-12 | 浙江清华长三角研究院 | 自动门立体机器视觉传感器及其传感方法 |
CN112360285B (zh) * | 2020-10-27 | 2023-07-11 | 浙江清华长三角研究院 | 自动门立体机器视觉传感器及其传感方法 |
CN112669509A (zh) * | 2020-12-11 | 2021-04-16 | 深圳市航天华拓科技有限公司 | 门禁管理方法、系统、电子设备及存储介质 |
CN116229629A (zh) * | 2023-05-09 | 2023-06-06 | 山东力拓智能科技有限公司 | 一种门禁呼叫装置控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110503760B (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110503760B (zh) | 门禁控制方法及门禁系统 | |
CN107093171B (zh) | 一种图像处理方法及装置、系统 | |
CN113743321B (zh) | 脸部识别方法和设备 | |
US20190251380A1 (en) | Method and apparatus with liveness verification | |
CN104933389B (zh) | 一种基于指静脉的身份识别方法和装置 | |
US20060269143A1 (en) | Image recognition apparatus, method and program product | |
CN107292269B (zh) | 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备 | |
CN112364827B (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
JP2004192378A (ja) | 顔画像処理装置およびその方法 | |
KR102078249B1 (ko) | 얼굴 인증 방법, 얼굴 인증 장치, 이를 위한 컴퓨터 프로그램 | |
CN105740778B (zh) | 一种改进的三维人脸活体检测方法及其装置 | |
KR101436290B1 (ko) | 생체인식 유형의 접근제어시스템에 대한 부정 검출 | |
JP2007516503A (ja) | 3次元モデリングを使用した顔識別認証 | |
US20200279101A1 (en) | Face verification method and apparatus, server and readable storage medium | |
WO2018232717A1 (zh) | 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备 | |
JP6941966B2 (ja) | 人物認証装置 | |
JP6868061B2 (ja) | 人物追跡方法、装置、機器及び記憶媒体 | |
CN111784885A (zh) | 通行控制方法、装置、闸机设备及多闸机系统 | |
CN109961062A (zh) | 图像识别方法、装置、终端和可读存储介质 | |
JP2008176645A (ja) | 3次元形状処理装置、3次元形状処理装置の制御方法、および3次元形状処理装置の制御プログラム | |
JP6311237B2 (ja) | 照合装置及び照合方法、照合システム、並びにコンピュータ・プログラム | |
CN111383255A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN109147123B (zh) | 门禁锁的解锁方法、装置、电子设备和计算机存储介质 | |
JP2020052788A (ja) | 画像処理装置及びその方法、プログラム | |
CN112818874A (zh) | 一种图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |