CN117079378B - 站点通行中多人脸过闸处理方法和系统、计算机程序介质 - Google Patents
站点通行中多人脸过闸处理方法和系统、计算机程序介质 Download PDFInfo
- Publication number
- CN117079378B CN117079378B CN202311335427.2A CN202311335427A CN117079378B CN 117079378 B CN117079378 B CN 117079378B CN 202311335427 A CN202311335427 A CN 202311335427A CN 117079378 B CN117079378 B CN 117079378B
- Authority
- CN
- China
- Prior art keywords
- face
- faces
- passing
- passenger
- gate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004590 computer program Methods 0.000 title claims abstract description 7
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims description 109
- 238000001514 detection method Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 45
- 230000000977 initiatory effect Effects 0.000 claims description 42
- 230000009471 action Effects 0.000 claims description 38
- 230000012010 growth Effects 0.000 claims description 37
- 230000000750 progressive effect Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 20
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 18
- 230000001360 synchronised effect Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009647 facial growth Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/10—Movable barriers with registering means
- G07C9/15—Movable barriers with registering means with arrangements to prevent the passage of more than one individual at a time
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
Abstract
本申请提供了一种站点通行中的多人脸过闸处理方法和系统、计算机程序介质,为站点中多人脸过闸的进行准确实现多张人脸中过闸乘客所属人脸的定位,解决多人脸支付容易识别错误的问题,保障地铁业主无损失。
Description
技术领域
本申请涉及轨道交通应用技术领域,具体涉及一种站点通行中的多人脸过闸处理方法和系统、计算机程序介质。
背景技术
轨道交通出行场景下,各站点通过分布的闸机对乘客的进站予以识别后授权放行,与之相对应的,闸机也对乘客的出站予以识别后放行扣费。随着刷脸验证、刷脸消费技术的蓬勃发展,在闸机上刷脸识别支付已经成为轨道交通应用的一种新售检票支付手段,以为乘客提供无感通行这一全新的地铁售检票服务模式。
具体的,乘客在闸机上刷脸识别,实现人脸过闸进站,与之相对应的,乘客又在闸机上刷脸识别支付,实现人脸过闸出站。
但随着人脸过闸在站点通行中的应用,每当同时检测到多张人脸,即多位乘客的人脸同时被检测到,此时如何在多人脸过闸中准确定位当前过闸乘客的人脸,是一个难以解决的技术问题,进而为轨道交通的运营带来极大风险。
发明内容
本申请的一个目的在于解决站点通行中多人脸过闸如何准确定位当前过闸乘客的技术问题。
根据本申请实施例的一个方面,公开了一种站点通行中的多人脸过闸处理方法,所述方法包括:
感知闸机的人脸过闸行为,为所述人脸过闸行为进行人脸检测得到多张人脸;
根据人脸检测所得人脸及所述人脸对应的人脸位置进行多重递进选择,从所述多张人脸为过闸乘客获得第一权重人脸和备用人脸;
通过所述第一权重人脸和备用人脸的发起识别,获得识别所述过闸乘客为第一权重人脸的过闸权限;
根据所述过闸权限向闸机传送开闸指令,且为所述过闸乘客的人脸过闸向各方同步所述第一权重人脸的人脸过闸记录以及备用人脸;
通过所述人脸过闸记录异议反馈的获得,确定所述过闸乘客误识别为第一权重人脸;
以所述备用人脸修正所述过闸乘客过闸发生的人脸误识别。
根据本申请实施例的一个方面,公开了一种站点通行中多人脸过闸处理系统,所述系统包括部署的人脸识别设备、人脸识别平台、人脸交易管理平台以及用户终端;
所述人脸识别设备被配置执行:
感知闸机的人脸过闸行为,为所述人脸过闸行为进行人脸检测得到多张人脸;
根据人脸检测所得人脸及所述人脸对应的人脸位置进行多重递进选择,从所述多张人脸为所述过闸乘客获得第一权重人脸和备用人脸;
通过所述第一权重人脸和备用人脸向所述人脸识别平台的发起识别,从所述人脸交易管理平台获得识别所述过闸乘客为第一权重人脸的过闸权限;
所述人脸识别设备根据所述过闸权限向闸机传送开闸指令,且为所述过闸乘客的人脸过闸向各方同步所述第一权重人脸的人脸过闸记录以及备用人脸;
所述人脸交易管理平台通过所述用户终端上人脸过闸记录异议反馈的获得,确定所述过闸乘客误识别为第一权重人脸;
所述人脸交易管理平台以所述备用人脸修正所述过闸乘客过闸发生的人脸误识别。
根据本申请实施例的一个方面,公开了一种计算机程序介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行如上任意一个所述的方法。
本申请实施例中,对于一站点上的乘客过闸通行,闸机上部署的人脸识别设备会感知过闸乘客,且为当前发生的人脸过闸行为检测到多张人脸,对检测所得多张人脸首先根据每一人脸以及该人脸对应的人脸位置进行多张人脸中的多重递进选择,以为过闸乘客从中选取第一权重人脸和备用人脸,然后通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限,站点通行中通过多重递进行选择的进行从多人脸识别当前过闸乘客为第一权重人脸,解决了站点通行中多人脸过闸如何准确定位当前过闸乘客的技术问题。
获得识别当前过闸乘客为第一权重人脸的过闸权限之后,根据该过闸权限向闸机传送开闸指令,并且向各方同步当前过闸乘客进行的人脸过闸为第一权重人脸的人脸过闸记录,以及当前过闸乘客人脸过闸的备用人脸,待该人脸过闸记录存在异议之时,便可知该过闸乘客误识别为第一权重人脸,从而以备用人脸来修正该过闸乘客进行人脸过闸发生的人脸误识别,修正该过闸乘客在站点通行的多人脸过闸中定位的人脸为备用人脸,由此进一步增强和保障了站点通行中多人脸过闸的准确定位,极大降低轨道交通的运营风险。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
通过参照附图详细描述其示例实施例,本申请的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本申请一个实施例的站点通行中的多人脸过闸处理方法应用的体系构架图。
图2示出了根据本申请一个实施例的站点通行中的多人脸过闸处理方法的流程图。
图3示出了根据本申请一个实施例对感知闸机的人脸过闸行为,为人脸过闸行为进行人脸检测得到多张人脸步骤的方法流程图。
图4示出了根据本申请一个实施例对根据人脸检测所得人脸及人脸对应的人脸位置进行多重递进选择,从多张人脸获得过闸乘客的第一权重人脸和备用人脸步骤的方法流程图。
图5是根据本申请图4对应实施例示出的对适配满足最小人脸框像素阈值的人脸轮廓区域,从对应于人脸轮廓区域的人脸中动态选择第一权重人脸和备用人脸步骤的方法流程图。
图6是根据图5对应实施例示出的对根据对应的人脸轮廓区域所占面积从多张人脸确定所占面积最大的二张人脸步骤的方法流程图。
图7是根据图5对应实施例示出的对根据所确定二张人脸在面积上的差值,确定一人脸为第一权重人脸,另一人脸为备用人脸步骤的方法流程图。
图8是根据图7对应实施例示出的对根据每一人脸由远及近的人脸图片中人脸的动态变化以及人脸在人脸检测所得人脸位置,对二张人脸确定第一权重人脸和备用人脸步骤的方法流程图。
图9是根据图8对应实施例示出的对根据增长率以及人脸在人脸检测所得人脸位置运算人脸的综合权重分数步骤的方法流程图。
图10是根据图8对应实施例示出的根据综合权重分数的大小对二张人脸确定第一权重人脸和备用人脸步骤的方法流程图。
图11是根据图2对应实施例示出的对通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限步骤的方法流程图。
图12是根据图2对应实施例示出的通过人脸过闸记录异议反馈的获得,确定过闸乘客误识别为第一权重人脸步骤的方法流程图。
图13示出了本申请在另一个实施例提供的站点通行中的多人脸过闸处理方法的流程图。
图14根据图13对应实施例示出了通过人脸检测所得多张人脸构建错进的预扣费人脸池步骤的方法流程图。
图15根据图13对应实施例示出了对误识别人脸无进站行程的前续过闸乘客,通过错进的预扣费人脸池完成过闸出站时的通行扣费步骤的方法流程图。
图16是根据图2对应实施例示出的对通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限步骤的方法流程图。
图17示出了本申请在另一个实施例提供的站点通行中的多人脸过闸处理方法的流程图。
图18是根据图2对应实施例示出的对通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限步骤的方法流程图。
图19是本申请一个实施例中错进正出情况下的多位乘客走向闸机的具体示例图。
图20是图19对应实施例中X乘客人脸过闸进站的具体示例图。
图21是图20对应实施例中A乘客人脸过闸出站的具体示意图。
图22是本申请一个实施例中正进错出情况下的多位乘客走向闸机的具体示例图。
图23是图22对应实施例中Y乘客人脸过闸出站的具体示例图。
图24是本申请一个实施例中的系统拓扑结构图。
图25是根据图24对应实施例的系统拓扑示出的人脸识别设备对多人脸实施多重递进选择以定位人脸的详细流程图。
图26示出了根据图24对应实施例的系统拓扑示出的交互示意图。
图27是图26对应实施例示出的第一权重误扣费处理流程示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些示例实施方式使得本申请的描述将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、步骤等。在其它情况下,不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
请参阅图1,图1是本申请实施例所应用的一种体系架构,该体系架构包括分布于各站点内的闸机110以及部署于闸机110上的人脸识别设备120,部署于互联网络中的人脸识别平台130、人脸交易管理平台150。
于站点内部署若干闸机110,以构建过闸乘客的行进通道。装设于闸机110上的人脸识别设备120,用于对过闸乘客实施人脸检测,进而在人脸识别平台130的配合下实现人脸识别。
在完成人脸识别之后,人脸识别平台130使用识别所得人脸在人脸交易管理平台150的控制下获得过闸权限,以控制闸机110开闸放行。
随着连续不断的乘客向闸机110行进,人脸过闸的进行将同时检测到多张人脸。对此,将通过本申请实施例的进行实施站点通行中的多人脸过闸处理,进而为当前过闸乘客精确定位人脸。
应当理解,图1示出的体系架构仅仅是示意性的,根据实现需要,可以是其它变形架构,在此不一一进行列举。
参阅图2,图2示出了根据本申请一个实施例的站点通行中的多人脸过闸处理方法的流程图。本申请实施例提供了一种站点通行中的多人脸过闸处理方法,该方法包括:
步骤S210,感知闸机的人脸过闸行为,为人脸过闸行为进行人脸检测得到多张人脸;
步骤S220,根据人脸检测所得人脸及人脸对应的人脸位置进行多重递进选择,从多张人脸为过闸乘客获得第一权重人脸和备用人脸;
步骤S230,通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限;
步骤S240,根据过闸权限向闸机传送开闸指令,且为过闸乘客的人脸过闸向各方同步第一权重人脸的过闸记录以及备用人脸;
步骤S250,通过人脸过闸记录异议反馈的获得,确定过闸乘客误识别为第一权重人脸;
步骤S260,以备用人脸修正过闸乘客过闸发生的人脸误识别。
下面对这些步骤进行详细阐述。
站点通行中,闸机110、人脸识别设备120、人脸识别平台130以及人脸交易管理平台150之间相互配合识别过闸乘客,进而实现过闸乘客的开闸放行以及通行扣费,至此,将所实现的开闸放行以及通行扣费将同步至各方,如过闸乘客的用户终端,以在用户终端中通知当前在站点的过闸进站,以及过闸出站、通行扣费。
在步骤S210中,为进行站点通行中的人脸过闸,对行进通道部署的人脸识别设备(如,装设于该行进通道闸机上的人脸识别PAD)会进行过闸乘客的感知,以在感知到过闸乘客之时激活自身。人脸识别设备感知到过闸乘客的人脸过闸行为,以此来激活自身功能,即人脸检测功能,进而为所发起的人脸过闸行为实施人脸检测,确定过闸乘客的人脸。
具体而言,乘客由远及近走到人脸识别设备前准备过闸,此时乘客基本保持站位不动以发起人脸过闸行为。
人脸识别设备将在感知到人脸过闸行为的发起时激活,发起人脸过闸行为的乘客即为过闸乘客。人脸识别设备的激活,是指人脸识别设备将对过闸乘客的人脸实施人脸检测,进而确认当前可检测到人脸,以所检测到人脸为基础达成人脸过闸的目的。
应当说明的,人脸识别设备在无乘客通过闸机时,人脸识别设备内置的人脸检测算法处于静默状态,并不执行会执行人脸检测。待乘客由远及近地走向闸机,并于人脸识别设备前站立时,人脸识别设备感知并检测到过闸乘客的人脸,进而激活内置的人脸检测算法,通过激活的人脸检测算法实施人脸检测,进而感知到所发起的人脸过闸为多人脸过闸,从而检测到多张人脸。
在由远及近走向一闸机的乘客在数量上为多位情况下,当前过闸乘客其后跟随多位乘客。随着当前过闸乘客在人脸识别设备前站立,对此执行的人脸检测将检测到多张人脸,检测所得多张人脸包括当前过闸乘客的人脸,以及跟随于其后多位乘客的人脸。
此时,对于当前过闸乘客的过闸处理而言,需要执行本申请所实现站点通行中的多人脸过闸处理方法,以为当前过闸乘客定位人脸。
人脸检测的执行中,通过窗口检测人脸,进而对所采集人脸获得多个人脸窗口。每一人脸窗口包含有一人脸,即,一人脸窗口用于追踪所对应的人脸。该人脸窗口将用于在后续的多人脸追踪中实现所对应人脸的追踪,进而以此为基准实现多人脸过闸中的多人脸实时追踪,提升多人脸过闸处理的性能。
进一步说明的,人脸识别设备内置的人脸检测算法封装为人脸检测工具。对于由远及近走向闸机的多位乘客,将进行人脸采集,对采集所得人脸图片利用人脸检测工具通过窗口检测人脸,获得人脸窗口,以及人脸窗口所包含人脸及其位置(人脸位置)。示例性的,该人脸位置可为人脸窗口所包含人脸的中心。
至此,将创建各人脸跟踪线程,以便于在后续进行的多人脸追踪中通过一人脸跟踪线程实施所对应一人脸的追踪,以便于能够从检测所得多张人脸中定位当前过闸乘客的人脸,进而完成站点通行中的多人脸过闸处理。
还请继续参阅图3,图3示出了根据本申请一个实施例对感知闸机的人脸过闸行为,为人脸过闸行为进行人脸检测得到多张人脸步骤的方法流程图。
该感知闸机的人脸过闸行为,为人脸过闸行为进行人脸检测得到多张人脸的步骤S210,包括:
步骤S211,人脸识别设备对由远及近走向行进通道的过闸乘客进行人脸采集并检测人脸,直至检测采集所得人脸达到最小人脸阈值;
步骤S212,待采集所得人脸达到最小人脸阈值时感知到发起的人脸过闸行为;
步骤S213,对所发起的人脸过闸行为获取多张人脸。
下面对这些步骤进行详细阐述。
在步骤S211中,首先应当说明的是,闸机的行进通道都部署人脸识别设备,以供实现人脸过闸,换言之,每一能够人脸过闸通行的闸机都部署人脸识别设备。
示例性的,人脸识别设备是为闸机行进通道上乘客的通行而部署的,部署的人脸识别设备适配于乘客的行进路程保证能够检测到当前过闸乘客的人脸,基于此,人脸识别设备可以装设于闸机上,也可以装设于其他位置,在此不进行限定。
人脸识别设备对由远及近走向闸机行进通道的乘客都实施人脸采集,采集得到的人脸在数量上至少为一张。由于人脸采集过程对应于乘客由远及近的行进过程,因此,采集所得人脸也是由小到大不断变化的。
也就是说,对于一乘客,在人脸识别设备的作用上,其先后被采集到的人脸是由小到大变化的,待采集所得人脸达到最小人脸阈值之时,即可视为该人脸对于人脸过闸而言是有效的,对该人脸视为发起人脸过闸行为。
进一步说明的,对于所能够采集到人脸的任意一乘客,都进行人脸采集,且为此而通过窗口实施人脸检测,确定检测到人脸的窗口为人脸窗口。对人脸窗口匹配其是否大于最小人脸阈值,如果检测所得人脸大于最小人脸阈值,则确定该人脸对于人脸过闸的发起而言是有效的,进而对该人脸感知到人脸过闸行为的发起。
示例性的,设定的最小人脸阈值指示进行人脸检测所初始化的最小人脸。具体而言,最小人脸可以是初始化的目标人脸模板,该目标人脸模板的大小即为最小人脸阈值。
进行人脸采集且为此而进行人脸检测,正如前述所指出的,将采集并检测到多张人脸,因此,在步骤S211的执行中,人脸识别设备对由远及近走向行进通道的过闸乘客,以及落入人脸识别设备视野范围的其他乘客,都进行人脸采集,并随之进行人脸检测。
通过图片捕捉和/或视频采集的方式来进行人脸采集,以获得相应的图片和/或视频等人脸数据,再通过滑动窗口对人脸数据实施人脸检测,获得对应于若干人脸的人脸窗口,进而对每一人脸窗口匹配最小人脸阈值,以获得大于最小人脸阈值的人脸窗口,该人脸窗口包含发起人脸过闸的有效人脸。
总而言之,检测所得到的多张人脸,往往并不都是有效人脸,也并不都会导致人脸过闸行为的发起。因此,需要通过本申请步骤的执行,一方面从检测所得多张人脸确定有效人脸,进而快速准确的感知人脸过闸行为的发起,另一方面也在发起人脸过闸行为的多张人脸中定位属于当前过闸乘客的人脸,进而避免多人脸过闸行为中的误识别。
在步骤S212中,大于最小人脸阈值的人脸是有效人脸,因此对于闸机支持的人脸过闸而言,都对大于最小人脸阈值的几张人脸感知到其发起人脸过闸行为。
大于最小人脸阈值的几张人脸,是分属于不同的乘客的,且都能够通过发起人脸过闸行为而获得过闸权限,进而在闸机的行进通道上获得开闸放行。但这些人脸所归属的乘客中,仅一乘客为当前过闸乘客,因此,需要通过后续步骤的执行来对感知到发起的人脸过闸行为获取其对应的多张人脸,以从中定位当前过闸乘客的人脸。
在步骤S213中,对于同时感知到的若干人脸过闸行为,都对前述人脸采集过程所得图片和/或视频分别截取人脸检测所得人脸,为每个乘客获得若干张人脸。
由此,应当说明的是,在采集所得图片和/或视频,都对大于最小人脸阈值的人脸,截取若干张人脸图片,以用于后续的步骤执行过程。换言之,可以理解的,对于人脸检测所得多张人脸,通过步骤S213执行所得人脸将以人脸检测之后截取所得人脸图片的形式存在。
至此,在人脸采集和人脸检测的作用下,对由远及近向闸机行进的乘客都适应于最小人脸阈值获得有效人脸,进而由该有效人脸发起人脸过闸行为,发起人脸过闸行为的有效人脸即为通过人脸检测算法得到的多张人脸,从而为站点通行中的多人脸过闸处理屏蔽了无效人脸,有利于提高处理速度,保障人脸过闸的快速响应。
在步骤S220中,首先应当补充说明的,人脸检测的进行除了为人脸过闸行为获得多张人脸之外,还对每一张人脸都获得相应的人脸位置。
基于所得多张人脸,以及每一张人脸对应的人脸位置,在多张人脸中为当前过闸乘客选择第一权重人脸和备用人脸。
应当解释说明的,第一权重人脸和备用人脸是人脸检测所得到多张人脸的部分人脸。例如,第一权重人脸和备用人脸都是发起人脸过闸行为的多张人脸中的一张人脸。
进一步说明的,第一权重人脸,是对当前过闸乘客所识别的人脸。换言之,是将当前过闸乘客的人脸识别为第一权重人脸。从人脸检测所得到多张人脸中通过多重递进选择的进行,选取一人脸为第一权重人脸,将该第一权重人脸识别为当前过闸乘客的人脸。与之相对应的,也通过多重递进选择的进行选取至少一人脸为备用人脸,备用人脸是当前过闸乘客的第二人脸,后续如若发现当前过闸乘客的人脸不是第一权重人脸,当前过闸乘客的人脸过闸发生了人脸误识别,则可追溯第二人脸,即备用人脸,以修正发生的人脸误识别,备用人脸的部署使得多人脸过闸的出错具备了可追溯性。
由此,应当明确,通过步骤S210的执行,人脸检测得到多张人脸的数量为二张以上,从而为当前过闸乘客的识别提供第一权重人脸和备用人脸。
实现第一权重人脸和备用人脸选取的多重递进选择,是通过人脸轮廓区域的大小、人脸在过闸行进路程上的动态变化以及人脸位置的偏差所构建的多重选择维度来在多张人脸中实施的递进选择过程。
适应每一重选择维度所执行的选择,可能会在当前一重选择中定位第一权重人脸,也可能需要转入下一重选择,进而经由下一重选择方可确定第一权重人脸以及备用人脸,在此不进行限定。
示例性的,在人脸轮廓区域大小的一重选择维度下,对于多张人脸,首先从中确定能够满足最小人脸框像素阈值,即大于该最小人脸框像素阈值的人脸轮廓区域,如果人脸轮廓区域满足最小人脸框像素阈值的人脸仅有一张,则不再需要进行下一重选择,直接定位这一人脸为第一权重人脸,第一权重人脸是多人脸过闸中为当前过闸乘客所定位的人脸。
如果人脸轮廓区域满足最小人脸框像素阈值的人脸数量不限于一张,则从人脸轮廓区域满足最小人脸框像素阈值的人脸中确定占用面积最大的二张人脸;在这二张人脸的大小不相当,即相差较大之时,定位对应于最大面积人脸轮廓区域的人脸为第一权重人脸,另一张人脸即为备用人脸。
在这二张人脸的大小相当之时,需要转入下一重选择维度对这二张人脸确定第一权重人脸和备用人脸。
在下一重选择,即人脸在过闸行进路程上的动态变化和人脸位置的偏差这二重选择维度的控制下,将调取当前过闸乘客在过闸行进路程上的人脸数据,对人脸数据追踪这二张人脸,获得每一人脸由远及近的动态变化以及人脸位置,并最终依据人脸的动态变化和人脸位置对这二张人脸确定第一权重人脸和备用人脸。
进一步说明的,人脸的动态变化可通过人脸的增长率来准确量化,以便用于运算。
由此,依据人脸的动态变化和人脸位置对二张人脸确定第一权重人脸和备用人脸的执行过程,成为根据增长率以及人脸位置所执行的人脸打分和基于权重整合分值的运算过程,从而在运算所得数值的支撑下准确定位第一权重人脸为多人脸过闸中过闸乘客的人脸,并为此配备备用人脸,以在备用人脸的作用下增强人脸过闸的容错和纠错能力,且提升人脸过闸的可靠性。
还请参阅图4,图4示出了根据本申请一个实施例对根据人脸检测所得人脸及人脸对应的人脸位置进行多重递进选择,从多张人脸获得过闸乘客的第一权重人脸和备用人脸步骤的方法流程图。
人脸检测得到多张人脸的数量为二张以上,本申请实施例提供的根据人脸检测所得人脸及人脸对应的人脸位置进行多重递进选择,从多张人脸获得过闸乘客的第一权重人脸和备用人脸的步骤S220,包括:
步骤S221,对人脸检测所得多张人脸都提取人脸轮廓区域,且从中确定满足最小人脸框像素阈值的人脸轮廓区域;
步骤S222,适配满足最小人脸框像素阈值的人脸轮廓区域,从对应于人脸轮廓区域的人脸中动态选择第一权重人脸和备用人脸。
下面对此二个步骤进行详细阐述。
在步骤S221中,对每一人脸都进行人脸轮廓的提取以获得人脸轮廓区域。具体而言,人脸检测所得多张人脸中,通过每一人脸的人脸轮廓提取来获得对应于每一人脸的人脸轮廓区域。
对应于每一人脸的人脸轮廓区域,都有其对应的人脸框像素大小,即以像素大小来描述的人脸轮廓区域大小。因此,根据对应的人脸框像素大小确定满足最小人脸框像素阈值的人脸轮廓区域。
最小人脸框像素阈值限定了人脸轮廓区域所对应人脸框像素大小的最小值。如果人脸框像素大小大于最小人脸框像素阈值,则确定对应的人脸轮廓区域满足最小人脸框像素阈值。
进一步说明的,对每一人脸所执行的人脸轮廓提取,是提取人脸轮廓线,进而融合人脸轮廓线而获得人脸轮廓区域的执行过程,通过完整连续且高精度的人脸轮廓线提取精准得到人脸轮廓区域。
具体的,对人脸检测所得人脸,首先定位关键特征点,由关键特征点初始化曲线并拟合初始化的曲线,以此来获得人脸轮廓的大致区域;然后在人脸轮廓的大致区域上进行局部矩形区域的采样,沿着初始化曲线采样生成一系列稠密的矩形,使得整个人脸轮廓的大致区域都包含其中;
在此基础之上进行局部轮廓线的提取,即:在每个局部矩形区域中提取由一条抛物线引导基于梯度的局部轮廓曲线,以此来构建局部轮廓线集合;
最后进行全局轮廓线的融合,即:进行基于主成分分析的全局融合来将稠密的局部轮廓线融合成为一条全局轮廓线,该条全局轮廓线即为完整的人脸轮廓线。
在人脸轮廓线所形成人脸轮廓区域作用下,对人脸检测所得人脸通过下述步骤的进行实现一重递进选择,进而为当前过闸乘客获得第一权重人脸,或者第一权重人脸与备用人脸的组合。
在步骤S222中,基于满足最小人脸框像素阈值的人脸轮廓区域,进行多人脸中第一权重人脸和备用人脸的动态选择,以此来为过闸乘客定位人脸。
适配于满足最小人脸框像素阈值的人脸轮廓区域的数量和大小来进行多人脸中第一权重人脸和备用人脸的一重选择,甚至于下一重选择,以此来动态的实现多人脸中的多重递进选择,充分考虑了过闸行进过程中人脸存在的动态变化,增强多人脸过闸中人脸定位的准确性。
还请参阅图5,图5是根据本申请图4对应实施例示出的对适配满足最小人脸框像素阈值的人脸轮廓区域,从对应于人脸轮廓区域的人脸中动态选择第一权重人脸和备用人脸步骤的方法流程图。
本申请实施例提供的适配满足最小人脸框像素阈值的人脸轮廓区域,从对应于人脸轮廓区域的人脸中动态选择第一权重人脸和备用人脸的步骤S222,包括:
步骤S401,确定人脸轮廓区域满足最小人脸框像素阈值的人脸数量;
步骤S402,如果人脸数量不为1,根据对应的人脸轮廓区域所占面积从多张人脸确定所占面积最大的二张人脸;
步骤S403,根据所确定二张人脸在面积上的差值,确定一人脸为第一权重人脸,另一人脸为备用人脸。
下面对这些步骤进行详细阐述。
在步骤S401中,对于通过步骤S221所得满足最小人脸框像素阈值的人脸轮廓区域,都对应于一人脸,对此确定人脸轮廓区域满足最小人脸框像素阈值的人脸数量。
在步骤S402中,根据人脸轮廓区域满足最小人脸框像素阈值的人脸数量,判断多位乘客中是否只有一位乘客的人脸满足最小人脸框像素阈值,如果人脸数量不为1,则说明不限于一张人脸满足最小人脸框像素阈值。
此时,将从人脸轮廓区域满足最小人脸框像素阈值的人脸中确定所占面积最大的二张人脸。所占面积最大的二张人脸,是指人脸轮廓区域占用面积最大的人脸以及人脸轮廓区域占用面积第二大的人脸。
随着过闸乘客由远及近向闸机行进,并最终经由行进通道被闸机放行以通过闸机,所对应的人脸必然是由小到大动态变化的,且相对于其他未过闸乘客,过闸乘客的人脸由于距离闸机最近,因此其人脸轮廓区域占据的面积最大。从多张人脸中确定所占面积最大的二张人脸,以用于确定第一权重人脸和备用人脸,将得以适配于闸机通行而进一步保障多人脸过闸中定位人脸的准确性。
如果人脸数量为1,则以对应的人脸区域满足最小人脸框像素阈值的人脸为第一权重人脸,此时,将不再需要配置备用人脸。
还请参阅图6,图6是根据图5对应实施例示出的对根据对应的人脸轮廓区域所占面积从多张人脸确定所占面积最大的二张人脸步骤的方法流程图。
本申请实施例提供的根据对应的人脸轮廓区域所占面积从多张人脸确定所占面积最大的二张人脸的步骤S401,包括:
步骤S4011,按照人脸轮廓区域所占面积的大小对人脸进行排序;
步骤S4012,从排序所得人脸序列确定多张人脸中对应于最大面积轮廓区域和第二面积轮廓区域的二个人脸。
下面对此二个步骤进行详细描述。
每一人脸轮廓区域都占据了一定面积,示例性的,人脸轮廓区域所占面积以人脸框像素大小来衡量,也就是说,将以像素大小来描述人脸轮廓区域占据的面积。
获取每一人脸轮廓区域所占面积的大小,按照所占面积的大小进行所对应人脸的排序获得人脸序列。也就是说,所得人脸序列包含人脸轮廓区域满足最小人脸框像素阈值的人脸,并且所包含的人脸按照所对应人脸轮廓区域占据面积的大小排序,例如,按照所对应人脸轮廓区域占据的面积大小从大到小的顺序排序,或者从小到大的顺序排序,顺序排列的人脸便构成了排序所得的人脸序列。
由此,能够由排序所得人脸序列确定人脸轮廓区域占据了最大面积的二张人脸,即对应于最大面积轮廓区域的人脸,以及对应于第二大面积的第二面积轮廓区域的人脸。
对人脸轮廓区域满足最小人脸框像素阈值的至少二张人脸确定人脸轮廓区域所占面积最大的二张人脸之后,即可通过步骤S403的执行,对二张人脸确定第一权重人脸和备用人脸。
在步骤S403的执行中,根据二张人脸在面积上的差值继续递进选择一人脸为第一权重人脸,另一人脸为备用人脸。
根据所确定二张人脸在面积上的差值,衡量二张人脸大小是否相当,即二张人脸在面积上的大小是接近,还是相差甚远。
如果二张人脸在面积上较为接近,则说明所对应的乘客距离闸机的距离都较为接近,在人脸轮廓区域的大小这一重选择维度执行对人脸执行的一重选择尚不能确定第一权重人脸和备用人脸,需要转入下一重选择维度对这二张人脸确定第一权重人脸和备用人脸。
如果二张人脸在面积上不相当,相差甚远,则能够确定对应于较大面积的一张人脸可识别为过闸乘客的人脸,即第一权重人脸,对应于较小面积的一张人脸将为过闸乘客的备用人脸。
还请参阅图7,图7是根据图5对应实施例示出的对根据所确定二张人脸在面积上的差值,确定一人脸为第一权重人脸,另一人脸为备用人脸步骤的方法流程图。
本申请实施例提供的根据所确定二张人脸在面积上的差值,确定一人脸为第一权重人脸,另一人脸为备用人脸的步骤S403,包括:
步骤S4031,进行对应于最大面积人脸轮廓区域和第二面积人脸轮廓区域的二张人脸之间所占面积的差值运算;
步骤S4032,根据运算所得差值判断二张人脸是否相当,如果判断为否,则执行步骤S4033,如果判断为是,则步骤S4034;
步骤S4033,确定对应于最大面积人脸轮廓区域的人脸为第一权重人脸,对应于第二面积人脸轮廓区域的人脸为备用人脸;
步骤S4034,调取过闸乘客在过闸行进路程上采集所得人脸数据;
步骤S4035,通过对人脸数据进行多人脸追踪获得每一人脸由远及近的人脸图片;
步骤S4036,每一人脸由远及近的人脸图片中人脸的动态变化以及人脸在人脸检测所得人脸位置,对二张脸确定第一权重人脸和备用人脸。
下面对这些步骤进行详细阐述。
在步骤S4031中,正如前述所指出的,人脸轮廓区域占据的面积,可以通过人脸框像素大小来表征,因此,二张人脸之间所执行的差值运算也可通过计算人脸框像素大小之间的差值来实现。
在步骤S4032中,根据运算所得差值判断二张人脸是否相当,即为判断二张人脸是否存在区别,进而得以对存在区别的二张人脸明确最可能为过闸乘客人脸的第一权重人脸,次可能为过闸乘客人脸的备用人脸。
应当理解的,运算所得差值足够小,则可判定二张人脸相当。基于此,在具体实现上,将设定使得人脸之间相区别的最小阈值,以用于对运算所得差值实施二张人脸是否相当的判断。
所设定的最小阈值指示了能够区别二张人脸在面积上对应的最小差值。步骤S4032的执行过程包括:根据运算所得差值与最小阈值的大小关系,判断二张人脸是否相当,如果运算所得差值不大于最小阈值,则判定二张人脸相当,此时即可转入步骤S4034的执行;如果运算所得差值大于最小阈值,则判定二张人脸不相当,此时将转入步骤S4033的执行。
在步骤S4033中,由于判断所得二张人脸不相当,即存在较大区别,因此,可直接确定对应于最大面积人脸轮廓区域的人脸为第一权重人脸,确定对应于第二面积人脸轮廓区域的人脸为备用人脸。
在步骤S4034中,由于判断所得二张人脸相当,此时可知仅基于人脸轮廓区域的大小这一重选择维度不足以准确选择第一权重人脸和备用人脸,将转入下一重选择维度递进执行人脸选择。
为能够在下一重选择维度控制下确定第一权重人脸和备用人脸,将首先调取过闸乘客在过闸行进路程上采集所得人脸数据。
过闸行进路程是指过闸乘客由远及近走向闸机的行进通道进而过闸的路程。感知到人脸过闸行为的发起之后将采集并缓存人脸数据,以记录过闸乘客的过闸行进过程。
步骤S4034的执行,便是调取所缓存人脸数据的过程。缓存的人脸数据,可以是若干记录过闸乘客由远及近向闸机行进的人脸图片,也可以是记录过闸行进过程,即在过闸行进路程上采集的人脸视频,在此不进行限定。
示例性的,以时间为索引调取人脸数据。该时间适配于过闸乘客的过闸时间。如,过闸时间为发起人脸过闸行为的时间。所缓存人脸数据是对应了一定时间长度的,该时间长度适配于乘客正常过闸速度,以此来节省存储成本,避免不必要的资源占用。例如,基于乘客正常过闸速度,乘客正常过闸所耗费的时间为20秒,因此可仅存储20秒以内的人脸数据。
在步骤S4035中,对应于最大面积人脸轮廓区域和第二面积人脸轮廓区域的二张人脸,为其在所调取的人脸数据中实施多人脸追踪,以为其获得由远及近的人脸图片。
对于任意一张人脸,如果该人脸是归属于过闸乘客的,则该人脸必然在由远及近的行进过闸中存在着较大变化,并且其所对应的人脸位置也有着或大或小的变化(但过闸乘客的人脸其相人脸位置相对图片中心点的偏差往往较小),因此,将基于多人脸追踪所得每一人脸由远及近的人脸图片,进行一重选择以适配人脸过闸过程来对二张人脸确定第一权重人脸和备用人脸。
在步骤S4036中,对每一人脸由远及近的人脸图片,一方面确定人脸发生的动态变化,另一方面也基于此来确定人脸位置,进而获得人脸相对于图片中心点的偏差,然后再以动态变化和相对图片中心点的偏差来对二张人脸确定第一权重人脸和备用人脸。
示例性的,人脸的动态变化由所对应人脸轮廓区域的增长率表征。
参阅图8,图8是根据图7对应实施例示出的对根据每一人脸由远及近的人脸图片中人脸的动态变化以及人脸在人脸检测所得人脸位置,对二张人脸确定第一权重人脸和备用人脸步骤的方法流程图。
本申请实施例提供的根据每一人脸由远及近的人脸图片中人脸的动态变化及人脸在人脸检测所得人脸位置,对二张人脸确定第一权重人脸和备用人脸的步骤S4036,包括:
步骤S501,对每一人脸由远及近的人脸图片提取该人脸对应的最小人脸轮廓区域和最大人脸轮廓区域;
步骤S502,对最小人脸轮廓区域和最大人脸轮廓区域运算所对应人脸的增长率来表征人脸的动态变化;
步骤S503,根据增长率以及人脸在人脸检测所得人脸位置运算人脸的综合权重分数;
步骤S504,根据综合权重分数的大小对二张人脸确定第一权重人脸和备用人脸。
下面对这些步骤进行详细阐述。
通过前述步骤S4035中多人脸追踪的执行对每一人脸都获得了其由远及近的人脸图片。应当补充说明的是,所指的由远及近,人脸相对于闸机由远及近的运动过程,在此运动过程对一人脸所得人脸图片即为人脸由远及近的人脸图片。
每一人脸在其所追踪所得人脸图片都有对应的人脸轮廓区域。随着人脸由远及近的向闸机行进,其在各人脸图片上的人脸轮廓区域大小也发生动态变化。特别是过闸乘客,随着其向闸机行进,各人脸图片上的人脸轮廓区域由小到大变化。
在步骤S501的执行中,对二张人脸由远及近的人脸图片,都提取该人脸对应的最小人脸轮廓区域和最大人脸轮廓区域。
正如前述所指出的,最小人脸轮廓区域为占据最小面积的人脸轮廓区域,最大人脸轮廓区域为占据最大面积的人脸轮廓区域。且示例性的,人脸轮廓区域占据的面积以所对应的像素大小来衡量,即人脸框像素大小。
对每一人脸,在其由远及近所得若干人脸图片中按照每一人脸图片中人脸轮廓区域的人脸框像素大小来确定最小人脸轮廓区域和最大人脸轮廓区域。
对每一人脸,在步骤S502的执行中对其最小人脸轮廓区域和最大人脸轮廓区域运算得到对应的增长率,以增长率来表征人脸的动态变化。
至此,应当说明的是,对于一人脸,其可能是由最小人脸轮廓区域向最大人脸轮廓区域变化,也可能是由最大人脸轮廓区域向最小人脸轮廓区域变化,因此,实际上是以区域之间的进率来描述人脸的动态变化。而区域之间的进率包括人脸的增长率和人脸的减少率。
对于由远及近向闸机行进的人脸,特别是可能归属于过闸乘客的人脸,是由最小人脸轮廓区域向最大人脸区域变化的,因此,表征人脸动态变化的区域之间进率为人脸的增长率。
所进行的进率,如增长率运算,首先对新人脸轮廓区域和旧人脸轮廓区域计算差值(即最大人脸轮廓区域和最小人脸轮廓区域之间的差值),以获得增长量,或减少量。其中,新人脸轮廓区域是最终变化的人脸轮廓区域,如由最小人脸轮廓区域向最大人脸轮廓区域变化的最大人脸轮廓区域,与之相对应的,最小人脸轮廓区域为旧人脸轮廓区域。
在计算所得差值除以旧人脸轮廓区域,并乘以100%即可得到区域之间的进率,如增长率。计算所得差值为正,则所得进率为增长率,所得差值为负,则所得进率为减少率。
对能够计算得到增长率的人脸,通过后续步骤的执行确定第一权重人脸和备用人脸;对于计算得到减少率的人脸,说明该人脸归属的乘客必然不是由远及近向闸机行进的,因此该乘客也必然不是过闸乘客,区域之间非增长的人脸将剔除。
在步骤S503中,仅对计算得到增长率的人脸,根据其所对应增长率以及人脸位置来运算人脸的综合权重分数。
参阅图9,图9是根据图8对应实施例示出的对根据增长率以及人脸在人脸检测所得人脸位置运算人脸的综合权重分数步骤的方法流程图。
本申请实施例提供的根据增长率以及人脸在人脸检测所得人脸位置来运算人脸的综合权重分数的步骤S503,包括:
步骤S5031,对增长率和人脸位置相对图片中心点的偏差分别打分获得人脸对应于增长率以及相对图片中心点偏差的分值;
步骤S5032,整合人脸对应于增长率以及相对图片中心点偏差的分值获得人脸的综合权重分数。
下面对此二个步骤进行详细阐述。
通过前述步骤S502的执行获得了人脸的增长率,除此之外,还通过多人脸实时跟踪的进行,获得所跟踪人脸的人脸位置,其相对图片中心点的偏差。
基于此,将在步骤S5031中,为一人脸都针对其增长率和人脸位置相对图片中心点的偏差分别进行打分,以此来获得该人脸对应于增长率以及相对图片中心点偏差的二个分值。
应当理解,对于增长率和人脸位置相对图片中心点偏差的打分,是根据二者在数值上映射的范围来确定分值。示例性的,设定满分为100分,以此为基准为增长率和人脸位置相对图片中心点的偏差在数值上划分范围。
例如,对增长率,可设定增长率在0~20%是20分,20%~40%是40分,40%~60%是60分,60%~80%是80分,80%以上是100分。
又例如,对人脸位置相对图片中心点的偏差指的是人脸位置与屏幕中心点的距离。其中,人脸位置为人脸中心点,如眼睛和嘴巴构成的三角形中心点。可设定偏差在0~1厘米是100分,1厘米~3厘米是80分,3厘米~5厘米是60分,大于5厘米是0分。
对打分所得分值,通过步骤S5032为人脸进行整合,以此来获得该人脸的综合权重分数。
具体的,对应于增长率的分值,以及相对图片中心点偏差的分值,都有分配对应的权重,以用于分值的整合。权重可依据多人脸数量来进行分配,进而根据识别到的多人脸数量获取分配的权重,根据分配的权重来整合分值。
例如,多人脸数量超过4个以上,则对应于增长率的分值,其权重占比40%,相对图片中心点偏差的分值,其权重占比60%。
通过打分的进行以及分配的权重获得人脸的综合权重分数之后,即可在步骤S504中根据综合权重分数的大小对人脸确定第一权重人脸和备用人脸。
由所得综合权重分数进行二张人脸的排序,对综合权重分数较大的一张人脸确定为第一权重人脸,对综合权重分数相对较小的另一张人脸确定为备用人脸。
除此之外,也可能会存在二张人脸所得综合权重分数相等的情况,在此情况之下,将仅考虑对应于增长率的分值。换言之,如若二张人脸的综合权重分数相同,则仅以人脸对应于增长率的分值来确定第一权重人脸和备用人脸。此时,对增长率分值较大的一张人脸确定为第一权重人脸,对增长率分值相对较小的一张人脸确定为备用人脸。
参阅图10,图10是根据图8对应实施例示出的根据综合权重分数的大小对二张人脸确定第一权重人脸和备用人脸步骤的方法流程图。
本申请实施例提供根据综合权重分数的大小对二张人脸确定第一权重人脸和备用人脸的步骤S504,包括:
步骤S5041,判断二张人脸的综合权重分数是否相同,如果判断为是,则转入执行步骤S5042,如果判断为否,则转入执行步骤S5043;
步骤S5042,仅以人脸对应于增长率的分值确定第一权重人脸和备用人脸;
步骤S5043,以综合权重分数大的人脸为第一权重人脸,另一人脸为备用人脸。
下面对这些步骤进行详细阐述。
经由前述步骤S503的执行获得二张人脸各自对应的综合权重分数之后,判断二个综合权重分数是否数值相同,如果数值是相同的,仅以对应于增长率的分值来确定第一权重人脸和备用人脸。
即,对应于增长率分值较大的人脸为第一权重人脸,对应于增长率分值较小的人脸为备用人脸。
如果二张人脸对应的综合权重分数不相同,则如前所述的,以综合权重分数大的人脸为第一权重人脸,另一人脸为备用人脸。
由此,即可完成多张人脸的多重递进选择,从识别的多人脸为过闸乘客确定第一权重人脸和备用人脸。
对第一权重人脸和备用人脸,正如前述所指出的,将过闸乘客识别为第一权重人脸,备用人脸是在第一权重人脸是过闸乘客的人脸误识别之时的正确人脸。
至此,补充说明的是,实施的多人脸追踪获得二张人脸由远及近的人脸图片的过程中,也获得分别对应于二张人脸的人脸位置,以此来确定其相对图片中心的偏差。
多人脸追踪通过多线程实现以保证其跟踪的实时性。对二张人脸分别建立一独立的线程,各线程所执行的算法步骤如下:
1)初始化目标人脸模板和卡尔曼滤波器;
2)读取对人脸数据读取下一视频帧,对读取的视频帧分块加权的Camshift跟踪算法计算出各个候选目标人脸跟踪窗口,以确定各个候选目标人脸位置;
3)将各个候选目标人脸位置作用系统观察值,利用卡尔曼滤波器预测修正,以此获得各人脸位置的最优估计值;
4)以步骤3)所对应各个候选目标人脸跟踪窗口的人脸区域为新的目标人脸模板,并返回到步骤2)继续执行,直至追踪结束;
以最终所得各人脸位置的最优估计值为人脸位置。
在步骤S230中,执行过闸乘客基于人脸的过闸权限识别,以为过闸乘客获取第一权重人脸的过闸权限。具体的,不限于第一权重人脸,都对第一权重人脸和备用人脸来发起过闸乘客的识别,人脸识别平台响应于发起的识别,第一权重人脸的人脸信息和备用人脸的人脸信息,该人脸信息将唯一标示了所对应乘客的特征。换言之,该人脸信息包括乘客特征标识,以此来在数据上标示和表征相应的乘客。
获取所得人脸信息将用于实施人脸匹配进而判断当前是否具备过闸条件,如果具备过闸条件则对该人脸信息的人脸分配过闸权限。示例性的,所指的过闸条件即为是否在人脸匹配中基于识别所得人脸信息匹配有相应的行程。在人脸过闸进站时,未匹配到相应的进站行程,则说明其符合过闸条件;与之相对应的,在人脸过闸出站时,人脸匹配未匹配到相应的出站行程,则也说明其符合过闸条件。
具体的,部署与人脸识别设备交互的人脸交易管理平台,该人脸交易管理平台基于第一权重人脸进行人脸行程匹配,以此基于第一权重人脸分配过闸权限,另一方面也用于实现用户设备发起的扣费完成乘车交易。
获得过闸权限即可通过后续步骤的执行控制闸机对过闸乘客开闸放行,且基于所得人脸信息,使得人脸识别设备能够向各方,如闸机、过闸乘客手持的用户终端、人脸交易管理平台等,同步第一权重人脸的过闸记录,以及第一权重人脸的备用人脸,进而使得过闸乘客手持的用户终端能够发起第一权重人脸所对应人脸信息下的过闸通知。
应当进一步说明的,在具体实现上,第一权重人脸和备用人脸为过闸乘客的发起识别,是通过所对应人脸图像发起的。具体而言,人脸识别设备将所对应的人脸图像上传至人脸识别平台,在获得人脸识别平台返回的识别结果即人脸信息之后上传到人脸交易管理平台,人脸交易管理平台通过人脸图像的行程匹配来获得所需要的过闸权限。
请参阅图11,图11是根据图2对应实施例示出的对通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限步骤的方法流程图。
本申请实施例提供的通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限的步骤S230,包括:
步骤S231,为第一权重人脸和备用人脸从过闸乘客在过闸行进路程上采集的人脸数据提取第一权重人脸图像和备用人脸图像;
步骤S232,将第一权重人脸图像和备用人脸图像上传至人脸识别平台,并等待人脸识别平台返回分别对应于第一权重人脸、备用人脸的人脸信息,最终通过人脸信息向人脸交易管理平台上传识别过闸乘客为第一权重人脸的过闸权限。
下面对此二个步骤进行详细阐述。
在步骤S231中,为发起第一权重人脸和备用人脸的识别,将以相应人脸图像的方式承载第一权重人脸和备用人脸,进而通过人脸图像的上传向人脸识别平台发起识别。
由此,将根据从多张人脸中定位的第一权重人脸和备用人脸,获取第一权重人脸图像和备用人脸图像。应当理解的,在过闸乘客由远及近走向闸机行进通道的过程中,人脸识别设备进行着人脸采集以获得相应的人脸数据并缓存,因此,能够从缓存的人脸数据中提取第一权重人脸图像和备用人脸图像。
进一步说明的,在步骤220对多张人脸执行的多重递进选择过程中,已经从调取的人脸数据通过多人脸追踪获得了每一人脸由远及近的人脸图片,因此,直接从中提取得到第一权重人脸图像和备用人脸图像。
在步骤S232中,将提取得到的第一权重人脸图像和备用人脸图像上传人脸识别平台。该人脸识别平台与部署于站点各行进通道的人脸识别设备相交互。各人脸图像以及其所对应的人脸信息存储于人脸识别平台。对应于人脸信息的行程信息则存储于人脸交易管理平台,其中,行程信息指示了所对应乘客的进站行程和/或出站行程。
人脸识别平台接收第一权重人脸图像和备用人脸图像,根据第一权重人脸图像和备用人脸图像获取对应的人脸信息以向用户终端返回,用户终端将人脸识别平台的识别结果,即人脸信息上传到人脸交易管理平台,在人脸交易管理平台根据第一权重人脸图像在行程信息匹配人脸的行程,以在确认无相应行程的情况下为第一权重人脸分配过闸权限。
例如,过闸乘客的进站通行中,如果无匹配到相应的进站行程,说明该过闸乘客尚未进站,因此,赋予识别该过闸乘客为第一权重人脸的过闸权限,反之,如果匹配到相应的进站行程,则说明识别为第一权重人脸的过闸乘客,即误识别为第一权重人脸的前续过闸乘客已经进站,对该当前过闸乘客的人脸过闸放行,并通过对多张人脸构建的错进的预扣费人脸池找寻误识别为第一权重人脸的前续过闸乘客及其进站行程。
又例如,过闸乘客的出站通行中,如果未匹配到相应的出站行程,说明该过闸乘客尚未出站,因此,也将赋予识别该过闸乘客为第一权重人脸的过闸权限。
反之,如果匹配到相应的出站行程,即第一权重人脸已有出站行程,则对该过闸乘客的人脸过闸放行,且对第一权重人脸首次过闸出站至当前过闸出站的中间过闸乘客的人脸,在达到最长单程处理时长时进行每一人脸的出站行程查询,进而配置查询无人脸行程的人脸对应于第一权重人脸首次过闸出站的前续过闸乘客,按照该第一权重人脸匹配的出站行程对前续过闸乘客发起扣费。
总而言之,在人脸识别平台对第一权重人脸发起识别进而向人脸交易管理平台请求过闸权限的过程中,随着行程匹配的进行,将为无行程识别为第一权重人脸的当前过闸乘客赋予过闸权限,为有行程识别为第一权重人脸的当前过闸乘客放行,误识别为第一权重人脸的前续过闸乘客则由所匹配行程确定自身行程。
在人脸识别平台和人脸交易管理平台的配合下,实现了第一权重人脸以及备用人脸的发起识别,使得所发生的人脸误识别得到处理,具备非常强的容差能力,进而也得以实现站点通行中的高容差人脸过闸。
对于通过步骤S230获得的人脸识别所得,即第一权重人脸和备用人脸的二条人脸信息,以及基于第一权重人脸所获得的过闸权限,都返回给人脸识别设备。
此时,将在步骤S240的作用下,根据获得的过闸权限向闸机传送开闸指令,且为过闸乘客的人脸过闸向各方同步第一权重人脸的人脸过闸记录以及备用人脸。
示例性的,人脸识别设备与闸机交互,人脸识别设备获得识别过闸乘客为第一权重人脸的过闸权限之时,根据过闸权限生成控制闸机开闸的开闸指令,并向闸机传送。
接收到开闸指令的闸机将对过闸乘客开闸放行。与此同时,随着过闸乘客在闸机行进通道的通行,也向其它各方同步第一权重人脸的人脸过闸记录,以及为第一权重人脸配备的备用人脸。
人脸过闸记录,在内容上其记录了对应的人脸信息,以及该人脸信息所标示人脸的过闸行程。在人脸过闸记录的作用下指示所记录人脸信息标示的人脸以及该人脸的进站行程或出站行程。
过闸乘客使用的用户终端由于接收到同步的人脸过闸记录,因此将响应人脸过闸记录的同步而在自身界面生成并显示所记录人脸信息的过闸通知。
在人脸过闸记录指示的过闸行程为出站行程时,用户终端将发起人脸过闸出站的通行扣费。
应当补充说明的是,对于第一权重人脸和备用人脸,其在数据上是以人脸信息的形式存在和标示的,因此,在具体实现中,备用人脸的同步为备用人脸的人脸信息同步,以便于节省传输和存储资源,提升处理效率。
通过前述步骤S240对闸机发起控制以放行过闸乘客,并同步第一权重人脸的人脸过闸记录和备用人脸之后,即可在步骤S250中,经由所同步人脸过闸记录的异议反馈感知到过闸乘客发生人脸误识别。
在步骤S250中,通过用户终端根据第一权重人脸的人脸过闸记录进行的过闸通知显示,告之持有该用户终端的乘客当前在一站点通过人脸过闸进站或出站通行,且为所进行的出站通行同步乘车交易完成的扣费信息。
此时,如果该乘客并未在这一站点的人脸过闸进站或出站,即对于该乘客当前的站点通行而言,过闸通知的反馈是错误的,则说明该乘客不是当前过闸乘客,对过闸乘客识别为第一权重人脸是错误的。
通过该乘客对过闸通知发起异议,用户终端将获得对人脸过闸记录的异议反馈,进而感知到对过闸乘客识别为第一权重人脸是误识别。
示例性的,通过该乘客所持有用户终端与人脸交易管理平台之间的交互,发起对所发生人脸过闸的异议反馈,进而在人脸交易管理平台的控制下追溯备用人脸为正确人脸,并可最终对第一权重人脸的乘客实施退费,对备用人脸的乘客实施扣费。
应当理解的,人脸信息标示了人脸,以及该人脸的乘客,因此基于人脸信息能够获得乘客的账户信息,以此来直接完成支付。在误识别了人脸的情况下,所执行支付的对象必然不是过闸乘客,而通过步骤S250的执行,使得误发生的支付能够回退,在保障地铁业主资金不受损失的前提下,也保证了人脸过闸所带来的无感知支付通行的安全性。
继续参阅图12,图12是根据图2对应实施例示出的通过人脸过闸记录异议反馈的获得,确定过闸乘客误识别为第一权重人脸步骤的方法流程图。
本申请实施例提供的通过人脸过闸记录异议反馈的获得,确定过闸乘客误识别为第一权重人脸的步骤S250,包括:
步骤S251,通过第一权重人脸的人脸过闸记录所进行对应人脸信息下的过闸通知,获取对当前所同步人脸过闸记录的异议反馈,该异议反馈包括第一权重人脸对应人脸信息下发起的乘客过闸异议;
步骤S252,通过异议反馈的获得感知过闸乘客误识别为第一权重人脸。
下面对此二个步骤进行详细阐述。
在步骤S251中,首先应当说明的是,用户终端与人脸识别设备之间,通过部署于互联网络的人脸交易管理平台实现二者之间的交互,例如,通过人脸交易管理平台达成人脸识别设备中第一权重人脸的人脸过闸记录和备用人脸向用户终端的同步。
人脸交易管理平台用于实施人脸匹配以确认人脸过闸的进行是否具备过闸条件进而分配过闸权限,以及人脸过闸所对应的乘车交易。
用户终端获得人脸识别设备通过人脸交易管理平台同步的第一权重人脸过闸记录以及备用人脸之后,将进行所对应人脸信息下的过闸通知。
人脸信息一方面标示了对应的人脸,另一方面也标示了该人脸所对应的乘客。因此,向用户终端所执行的人脸过闸记录以及备用人脸同步,是按照人脸过闸记录中携带的人脸信息进行的。换言之,随着当前过闸乘客被闸机放行,在前述步骤S240的具体执行中,将按照所产生人脸过闸记录中的人脸信息,即第一权重人脸的人脸信息同步到所对应乘客的用户终端。
获得人脸过闸记录和备用人脸同步的乘客可能是过闸乘客,也可能为其他乘客,如跟随过闸乘客在后的乘客,可见此时发生了多人脸过闸中的人脸误识别。获得同步的乘客非过闸乘客,过闸乘客由于被误识别为第一权重人脸而无法获得同步。
过闸乘客的人脸误识别下,一乘客当前未过闸而对所获得的过闸通知发起异议。具体而言,对第一权重人脸的人脸过闸发起异议,进而即可在步骤S252中使得人脸交易管理平台感知到过闸乘客误识别为第一权重人脸。
在步骤S260中,将对过闸乘客发生的人脸误识别予以修正。此时,由于备用人脸的存在,使得所发生的人脸误识别能够追溯到正确的人脸。
人脸误识别的修正,包括对产生过闸行程的人脸修正,以及在已经发生出站扣费的情况下对已扣费乘客的退款和备用人脸的人脸信息所指示乘客的扣费过程,从而正确完成乘车交易。
随着过闸乘客的过闸通行,相应产生过闸行程,如进站行程或出站行程。该过闸行程是对应于识别所得人脸的。具体而言,过闸行程对应于人脸信息。因此,对产生过闸行程的人脸修正,是对过闸行程所对应人脸信息进行修正的过程,以此来保证多人脸过闸中全流程的可靠性和完整性,以及所产生行程的真实有效性。
随着过闸行程的人脸修正,相应修正人脸过闸记录并再次同步于各方。
基于此,步骤S260的执行过程还包括:对人脸过闸记录指示的第一权重人脸过闸修正为备用人脸,并再次向各方同步,以为过闸乘客过闸识别为备用人脸过闸,而非第一权重人脸过闸。
至此,将实现了多人脸过闸的处理,能够面向于人脸过闸中存在的多人脸问题为过闸乘客定位人脸,且能够对发生的人脸误识别予以纠错,极大的增强了人脸过闸的可靠性。
多人脸过闸中,无论是通过前述执行过程的处理,对过闸乘客识别为第一权重人脸,还是未经前述所进行的多重递进选择而直接定位一人脸,都将进行人脸的发起识别,以确认该人脸是否已经被前续乘客产生当前行程,即在人脸的发起识别中能够匹配到当前行程,此时,过闸乘客的人脸由于被误识别为前续乘客的人脸,且无感知,导致过闸乘客无法在站点通行。
基于此,在检测得到多张人脸的多人脸过闸中,对基于前述执行过程为过闸乘客所定位第一权重人脸,或者基于其他执行过程为过闸乘客识别的人脸,都可通过执行下述步骤来对发生的错进、错出实现高容差的人脸过闸处理。
应当明确指出的,对于闸机行进通道上乘客的通行而言,当前过闸乘客即为过闸乘客,而在此之前过闸的乘客相对当前过闸乘客为前续过闸乘客。
所发生的错进,是指前续过闸乘客被误识别为过闸乘客的人脸进站。前续过闸乘客使用未过闸乘客人脸过闸进站所发生的错进,使得前续过闸乘客的人脸无进站行程,过闸乘客(即前续过闸乘客过闸时的未过闸乘客)的人脸过闸中由于其人脸已有进站行程,闸机认为其已经进站而不被放行进站。
由此,请参阅图13,图13示出了本申请在另一个实施例提供的站点通行中的多人脸过闸处理方法的流程图。
在步骤S210之后,本申请在另一个实施例还提供的一种站点通行中的多人脸过闸处理方法,还包括:
步骤S610,对过闸乘客的人脸过闸进站,通过人脸的发起识别匹配人脸的进站行程;
步骤S620,若人脸已有进站行程,则对过闸乘客的人脸过闸放行,并通过人脸检测所得多张人脸构建错进的预扣费人脸池,人脸检测所得多张人脸包括当前过闸进站的人脸;
步骤S630,对误识别为人脸无进站行程的前续过闸乘客,通过错进的预扣费人脸池完成过闸出站时的通行扣费。
下面对这些步骤进行详细阐述。
在步骤S610中,首先应当说明的是,多人脸过闸进站中,即进站闸机所对应的人脸识别设备感知到人脸过闸行为,且检测到多张人脸场景下,发起识别的人脸,都将发起进行该人脸的进站行程匹配。
响应于人脸的发起识别,在识别到所发起识别人脸的人脸信息之后,便基于人脸信息匹配行程。
对乘客发生的进站行程和出站行程,都按照设定时长,例如最长单程处理时长进行缓存,且通过乘客的人脸信息进行标示,以此来存储乘客当前行程,便于根据行程确定乘客当前是否已经进站,和/或是否已经出站。
具体的,以人脸信息为索引缓存发生的行程,且在缓存时间长度达到设定时长时清除该条行程的缓存,以避免影响乘客的站点通行。
对多张人脸中的一人脸发起识别之时,无论该人脸是第一权重人脸,还是其它方式定位所得人脸,都将在人脸识别的进行中根据识别人脸所得人脸信息执行进站行程的匹配。
由此,可以理解的,对于本申请实施例步骤S610,其可在步骤S210确认为多张人脸场景下,随着人脸识别的发起来执行步骤S610;除此之外,该步骤S610也可在步骤S230中执行。
随着步骤S220为过闸乘客定位第一权重人脸,在此对第一权重人脸匹配到进站行程,即第一权重人脸已有进站行程时,将通过步骤S610至步骤S630的执行,完成过闸乘客的进站通行,以及误识别为第一权重人脸无进站行程的前续过闸乘客在过闸出站时的通行扣费。
通过人脸的发起识别,识别所得第一权重人脸,即根据其识别所得人脸信息匹配到了进站行程,则对于第一权重人脸的人脸过闸而言,已经过闸进站即如步骤S610通过第一权重人脸的发起识别匹配第一权重人脸的进站行程。
通过为过闸乘客的人脸过闸进站进行该人脸的进站行程匹配,在步骤S620的执行中,对匹配到进站行程的人脸,将过闸放行,且由步骤S210所同时感知到的多张人脸构建错进的预扣费人脸池。
过闸乘客的人脸过闸进站中,该人脸已有进站行程,说明多人脸过闸中存在前续过闸乘客错进,这一前续过闸乘客存在进站行程的缺失。
由多张人脸所构建错进的预扣费人脸池,用于追溯缺失进站行程的前续过闸乘客,以保证前续过闸乘客在站点的正常通行。
随着过闸乘客的人脸匹配到进站行程,即可发现当前进行多人脸过闸中的前续过闸乘客使用错误的人脸过闸进站。过闸乘客的人脸过闸中自身人脸再次使用,此时,仍然将过闸乘客放行,同时应用包括过闸乘客的人脸在内的多张人脸构建错进的预扣费人脸池。
例,有A,B,C,……,X若干乘客进站,A被误识别为X后进站。当X进站时,发现已有进站行程,说明在此之前的某一前续过闸乘客未正确进站(但未可知该前续过闸乘客为A),使用X的人脸过闸进站。
此时,需要将从A到X的人脸信息和行程所相关的信息(如进站名称、闸机标识、时间,以指示进站行程)上传,以在服务端通过从A到X的人脸信息和行程所相关的信息的存储构建得到错进的预扣费人脸池。
在步骤S630中,人脸被误识别而无进站行程的前续过闸乘客,通过所构建错进的预扣费人脸池确定,且以过闸乘客的进站行程作为前续过闸乘客的行程,如,前述所列举的A即为前续过闸乘客,通过错进的预扣费人脸池确定得到,且将A的行程配置为X的进站行程,进而用于过闸出站时的通行扣费。
还请参阅图14,图14根据图13对应实施例示出了通过人脸检测所得多张人脸构建错进的预扣费人脸池步骤的方法流程图。
本申请实施例提供的通过人脸检测所得多张人脸构建错进的预扣费人脸池的步骤S620,包括:
步骤S621,从人脸检测所得多张人脸提取人脸;
步骤S622,将所提取人脸的人脸信息以及进站行程存储于错进的预扣费人脸池,人脸信息标识对应的人脸。
下面对此二个步骤进行详细阐述。
在步骤S621中,多人脸过闸将同时检测到多张人脸,即一过闸乘客以及其后跟随的几位乘客的人脸,因此,对所得多张人脸进行人脸图片的提取。
应当理解,所进行的人脸提取,包括了人脸轮廓区域提取以及相应的图片截取过程。
在步骤S622中,多人脸过闸中,随着每一人脸的过闸进站,都能够获得相应的进站行程,以及人脸信息。其中,进站行程,即为行程相关的信息,具体包括进站名称、闸机标识和时间等信息。
将人脸信息以进站行程上传服务端进行二者的关联存储,以此来构建错进的预扣费人脸池。
还请参阅图15,图15根据图13对应实施例示出了对误识别人脸无进站行程的前续过闸乘客,通过错进的预扣费人脸池完成过闸出站时的通行扣费步骤的方法流程图。
本申请实施例提供的对误识别人脸无进站行程的前续过闸乘客,通过错进的预扣费人脸池完成过闸出站时的通行扣费的步骤S630,包括:
步骤S631,对前续过闸乘客的人脸过闸出站,通过人脸的发起识别匹配人脸的进站行程和出站行程;
步骤S632,若人脸无进站行程和出站行程,以当前所进行的人脸过闸出站生成出站行程,并在错进的预扣费人脸池匹配行程获得该人脸的进站行程;
步骤S633,按照进站行程和出站行程执行当前人脸过闸出站的通行扣费。
下面对这些步骤进行详细阐述。
在步骤S631中,随着前续过闸乘客在一站点发起人脸过闸出站,也将发起前续过闸乘客的人脸识别,进而基于前续过闸乘客的人脸识别所得人脸信息匹配人脸的进站行程和出站行程。
应当进一步明确的,通过人脸识别的发起,正如前述所描述的,将对所确定的人脸识别其人脸信息,匹配行程进而对无行程的人脸分配过闸权限。进站匹配进站行程,出站匹配进站和出站行程。
在步骤S632中,正常情况下,人脸过闸出站的行程匹配应当匹配到进站行程,未匹配到出站行程,此时,以当前所进行的人脸过闸出站生成出站行程,进而以所得进站行程和出站行程通知扣费。
在人脸过闸进站误将人脸识别为在后跟随过闸的人脸时,会在人脸过闸出站的行程匹配中既没有匹配到进站行程,也没有匹配到出站行程。此时,仍然以当前所进行的人脸过闸出站生成出站行程,且在所构建错进的预扣费人脸池匹配行程获得人脸的进站行程。
进一步说明的,为误识别人脸的过闸乘客其错进的预扣费人脸池构建过程中,误识别人脸的过闸乘客相对所误识别人脸的真实乘客而言为前续过闸乘客。错进的预扣费人脸池构建过程将在所误识别人脸的乘客过闸进站匹配到进站行程感知到前续过闸乘客的人脸误识别之时发起执行,以为前续过闸乘客后续的人脸过闸出站找寻缺失的进站行程。
在所构建错进的预扣费人脸池匹配行程的执行过程包括:对前续过闸乘客,在错进的预扣费人脸池匹配其多人脸过闸中其他人脸的进站行程,以匹配所得进站行程为前续过闸乘客人脸的进站行程。
借助于多人脸过闸时其它人脸的进站行程,为前续过闸乘客准确确定进站行程,进而使得前续过闸乘客能够顺利出站。
在步骤S633中,对前续过闸乘客的人脸过闸出站,基于所得进站行程和出站行程执行通行扣费,具体而言,一方面控制闸机开闸放行,另一方面则按照进站行程和出站行程发起乘车支付。
本申请的另一实施例中,对于步骤S230发起的人脸识别,基于图13对应实施例的方法实现,还提供了步骤S230对所识别人脸已有进站行程时的处理流程。
对于步骤S230发起的人脸识别,所识别到相应人脸信息的人脸,即第一权重人脸,将匹配其进站行程,如果该人脸未错误进站,则该人脸无进站行程,至此,将以当前进站为进站行程且获得过闸权限。此为进站的正常情况。
但如果第一权重人脸已经被前续过闸乘客使用,前续过闸乘客错误进站,将会在所进行的人脸识别中匹配到进站行程,即第一权重人脸已有进站行程,至此,仍然对第一权重人脸分配过闸权限,且通过错进的预扣费人脸池的构建保障错进站的前续过闸乘客在过闸出站时的通行扣费。
请参阅图16,图16是根据图2对应实施例示出的对通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限步骤的方法流程图。
本申请实施例提供的通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限的步骤S230,包括:
步骤S701,接收第一权重人脸的人脸信息和行程信息,行程信息为进站行程;
步骤S702,若对行程信息通过行程匹配确认第一权重人脸已有进站行程,则对第一权重人脸分配过闸权限,并通过人脸检测所得多张人脸构建错进的预扣费人脸池,人脸检测所得多张人脸包括第一权重人脸;
步骤S703,对误识别为第一权重人脸无进站行程的前续过闸乘客,通过错进的预扣费人脸池完成过闸出站时的通行扣费。
下面对这些步骤进行详细阐述。
在步骤S701中,对第一权重人脸和备用人脸所发起的人脸识别,随着对第一权重人脸和备用人脸识别到其人脸信息,此时,将获取该第一权重人脸的人脸信息,以及行程信息,行程信息指示了第一权重人脸当前所发起的行程。
在步骤S702中,由行程信息指示的进站行程发起,为第一权重人脸匹配进站行程。具体而言,根据第一权重人脸的人脸信息对以人脸信息为索引关联存储的进站行程进行查找匹配,以为第一权重人脸确认是否存储其人脸信息对应的进站行程。
如果第一权重人脸已有进站行程,则一方面仍然对其分配过闸权限,使得过闸乘客不受前续过闸乘客错误进站的影响,能够过闸进站;另一方面则对多人脸过闸中同时被感知到的多张人脸构建错进的预扣费人脸池。
在步骤S703中,应当理解,随着过闸乘客人脸过闸的进行,而发现这一过闸乘客的前续过闸乘客被误识别为第一权重人脸过闸,第一权重人脸实际上是这一过闸乘客的人脸。前续过闸乘客是相对过闸乘客而言的,但前续过闸乘客和过闸乘客都参与了一多人脸过闸,换言之,该次多人脸过闸将同时检测到前续过闸乘客和过闸乘客。多人脸过闸存在着几个乘客连续不断地过闸,对于过闸乘客,即当前正在过闸的乘客而言,前续过闸乘客即为在此之前过闸的某一乘客。
前续过闸乘客误用第一权重人脸过闸进站,后续过闸进站的过闸乘客保持其第一权重人脸的既有进站行程且获得通行。已经进站的前续过闸乘客并无进站行程,因此需要通过错进的预扣费人脸池找回进站行程,以此方能够完成过闸出站时的通行扣费。
与过闸进站相对应的,本申请另一个实施例还提供了识别为后续过闸乘客人脸导致错用人脸过闸出站的高容差的人脸过闸处理方法。
所发生的错出站,是指前续过闸乘客被误识别为后面某一过闸乘客的人脸,进而使用该人脸过闸出站。这将使得所发起的出站扣费是对后面一过闸乘客进行的,而前续过闸乘客虽已出站,但无出站行程,也未扣费。
由此,请参阅图17,图17示出了本申请在另一个实施例提供的站点通行中的多人脸过闸处理方法的流程图。
在步骤S210之后,本申请在另一个实施例还提供的一种站点通行中的多人脸过闸处理方法,还包括:
步骤S810,对过闸乘客的人脸过闸出站,通过人脸的发起识别匹配人脸的出站行程;
步骤S820,若人脸已有出站行程,对过闸乘客的人脸过闸放行,且对该人脸首次过闸出站至当前过闸出站的中间过闸乘客的人脸,通过获取相应人脸信息构建错出站的预扣费人脸池;
步骤S830,对错出站的预扣费人脸池中的人脸信息,在达到最长单程处理时长之时进行人脸行程查询;
步骤S840,配置查询无人脸行程的人脸信息为首次过闸出站的前续过闸乘客;
步骤S850,为前续过闸乘客按照出站行程匹配行程,并发起扣费。
下面对这些步骤进行详细阐述。
在步骤S810中,多人脸过闸出站中检测到多张人脸。对于发起识别的人脸,识别得到相应的人脸信息之后,都会根据人脸信息进行每一人脸的出站行程匹配。
具体的,人脸识别平台响应于人脸的发起识别,识别到所发起识别每一人脸的人脸信息,进而在用户终端设备和人脸交易管理平台控制下基于人脸信息为人脸匹配行程。
根据识别每一人脸所得人脸信息,在以人脸信息为索引的行程信息存储中查找匹配出站行程。
在步骤S820中,如果查找匹配到出站行程,则确认所识别的人脸已有出站行程,人脸已有出站行程意味着该人脸对应的乘客已经出站,此为前续过闸乘客的错出站造成的。
因此,需要对发生于前续过闸乘客的错出站予以处理。一方面对过闸乘客的人脸过闸出站放行且不再扣费,以保障过闸乘客的顺畅通行,避免受到前续过闸乘客的影响,也将提升了人脸过闸出站的可靠性。
另一方面则需要确定哪一乘客为错出站的前续过闸乘客,进而对该乘客正确扣费,保障地铁业主资金不受损失,且也使得该乘客在后续能够正常进行站点通行。
具体的,对于过闸乘客被前续过闸乘客误使用的人脸,查找该人脸被首次使用于过闸出站至当前过闸出站之间所检测得到的多张人脸,以对其提取相应人脸信息,以及出站行程构建错出站的预扣费人脸池。在具体实现中,可直接提取该次多人脸过闸涉及的多张人脸,以各自对应的人脸信息,以及存在的出站行程一起构建错出站的预扣费人脸池。当然,对于无出站行程的人脸信息,也存储于所构建的错出站的预扣费人脸池中。
被误使用的人脸,其首次使用于过闸出站至当前再次用于过闸出站的中间过程,存在的中间过闸乘客必然有其一是误使用人脸的前续过闸乘客,且这些中间过闸乘客也必然完成了人脸识别和过闸出站,因此对中间过闸乘客的人脸,提取其人脸信息,以及发生的出站行程(如果人脸信息有对应的出站行程)构建错出站的预扣费人脸池。其中,以人脸信息为索引存储的出站行程,包括了出站名称、闸机标识以及时间等信息。
错出站的预扣费人脸池被部署于服务端,其为多人脸过闸出站的进行存储了所涉及多张人脸的人脸信息以及出站行程,进而能够以此为基础准确定位前续过闸乘客,获得其出站行程。
在步骤S830中,错出站的预扣费人脸池,其所进行的存储是按照一设定时长更新处理的,以此来从中确定前续过闸乘客的人脸信息。
具体的,多人脸过闸所得多张人脸中对每一人脸信息及其行程的存储都有着相应的时间戳,此时,可根据时间戳确认该存储的人脸信息达到最长单程处理时长时,对该人脸信息查询人脸行程,以确认该人脸信息是否存在相应的出站行程。
在该人脸信息未能查询到相应的出站行程时,即可确定该人脸信息对应的乘客即为误使用人脸首次过闸出站的前续过闸乘客,即如步骤S840。
在步骤S850中,前续过闸乘客与当前过闸乘客二者是所发生多人脸过闸出站中的二位乘客。所进行的多人脸过闸出站中,在同一闸机行进通道,前续过闸乘客在前过闸出站,当前过闸乘客则相对前续过闸乘客在后过闸出站。虽有一前一后,但前续过闸乘客、当前过闸乘客以及其他几位乘客在由远及近走向闸机行进通道之时,被人脸识别设备感知检测到其各自对应的多张人脸,进而归属于同一多人脸过闸过程。
基于前续过闸乘客,以及被前续过闸乘客所误识别的当前过闸乘客共参与的多人脸过闸出站,二人的出站行程相同,查询无人脸行程的人脸信息即标示了由于误识别而无人过闸出站行程的前续过闸乘客,进而以当前过闸乘客的出站行程为自身行程。
由此,为缺失出站行程的前续过闸乘客准确匹配了出站行程,基于匹配所得正常扣费。
本申请的另一实施例中,对于步骤S230发起的人脸识别,基于图17对应实施例的方法实现,还提供了步骤S230对所识别人脸已有出站行程时的处理流程。
对于步骤S230发起的人脸识别,所识别到相应人脸信息的人脸,即第一权重人脸,将匹配其出站行程,如果第一权重人脸未被前续过闸乘客误用而错误出站,必然导致第一权重人脸能够匹配到出站行程,即第一权重人脸已有出站行程。
在正常情况下,第一权重人脸未被前续过闸乘客所误用出站,则在第一权重人脸的行程匹配中,第一权重人脸是没有出站行程的,至此,将以当前出站为出站行程且获得出站放行且发起扣款。
但是在对前续过闸乘客误识别为第一权重人脸之时,前续过闸乘客顺利过闸出站且对第一权重人脸的过闸乘客,即相对于前续过闸乘客在后过闸的乘客,按照第一权重人脸匹配的进站行程和当前产生的出站行程发起扣费。
此时,对于被发起扣费的过闸乘客而言,其仍在站点内尚未出站但被发起扣费;对于已经出站的前续过闸乘客而言,其名下只有进站行程无出站行程,故需要通过本申请实施例的执行,追溯前续过闸乘客实施扣费,且保障当前过闸乘客的出站通行。
请参阅图18,图18是根据图2对应实施例示出的对通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限步骤的方法流程图。
本申请实施例提供的通过第一权重人脸和备用人脸的发起识别,获得识别过闸乘客为第一权重人脸的过闸权限的步骤S230,包括:
步骤S901,接收第一权重人脸的人脸信息和行程信息,行程信息为出站行程;
步骤S902,若对行程信息通过行程匹配确认第一权重人脸已有出站行程,对人脸过闸放行,且对人脸首次过闸出站至当前过闸出站的中间过闸客的人脸,通过获取相应人脸信息构建错出站的预扣费人脸池;
步骤S903,对错出站的预扣费人脸池中的人脸信息,在达到最长单程处理时长之时进行人脸行程查询;
步骤S904,配置查询无人脸行程的人脸信息为首次过闸出站的前续过闸乘客;
步骤S905,为前续过闸乘客按照出站行程匹配行程,并发起扣费。
下面对这些步骤进行详细阐述。
在将多人脸过闸中一过闸乘客定位为第一权重人脸,且有着相应的备用人脸之时,将随着人脸识别进行中人脸信息的获得,从执行人脸识别的进程接收第一权重人脸的人脸信息和行程信息,以用于对人脸信息指示的人脸按照行程信息指示的出站行程进行行程匹配。
如果对人脸信息进行的出站行程匹配中匹配到了出站行程,则说明第一权重人脸已被误识别进而用于前续过闸乘客的错误出站。
此时,一方面对当前过闸的人脸基于其产生的进站行程和出站行程放行出站,另一方面也将对当前过闸的人脸撤销在前由于前续过闸乘客错误出站产生的误扣费。
除此之外,对过闸乘客所参与的多人脸过闸出站,同步进行错出站的预扣费人脸池构建,获得存储了该次多人脸过闸出站所对应多张人脸的人脸信息和出站行程。
具体的,于服务端独立设置一段存储区域,以在该存在区域存储一次多人脸过闸出站所涉及多张人脸的人脸信息和出站行程,进而在存储的时间达到最长单程处理时长时从中查询无出站行程的人脸信息,确定无出站行程的人脸信息标示误使用第一权重人脸首次过闸出站的前续过闸乘客。
以此为基础方能够对误使用第一权重人脸首次过闸出站的前续过闸乘客修正错误出站,正常扣费,也保障了第一权重人脸被二次使用的过闸乘客能够顺畅过闸出站且由此而导致的误扣费被修复,为站点中的人脸过闸支付通行提供了高可靠的错误处理机制。
通过如上所述的实施例,为站点多人脸过闸通行所发生的错误进站以及错误出站分别提供了相应的错误处理机制,由此也将使得一前续过闸乘客在一次站点通行过程中发生错误进站,又发生错出站之时,亦可通过如上所述的错误处理机制保障多人脸过闸的站点通行。
下面结合具体的示例,阐述如上所述的错误处理机制。
错误情况一:前续过闸乘客在一站点错误进站,到达另一站点时正确出站。
请参阅图19,图19是本申请一个实施例中错进正出情况下的多位乘客走向闸机的具体示例图。
二个闸机之间形成行进通道,人脸识别设备(人脸识别PAD)装设于闸机上,以对闸机行进通道捕捉人脸实现人脸过闸。
A乘客在前,B乘客、C乘客以及X乘客在后跟随,由远及近的走向闸机行进通道。
此时,A乘客所发起的人脸过闸中,同时捕捉到X乘客的人脸,进而A乘客进站被误识别为X乘客,导致A乘客进站;
继续参阅图20,图20是图19对应实施例中X乘客人脸过闸进站的具体示例图。
随着A乘客、B乘客和C乘客进站,X乘客最后进站,当X乘客进站时,发现X乘客已有进站行程,此时仍将X乘客放行,同时将从A乘客到X乘客的人脸信息和指示为进站行程的行程信息(站点名称、闸机标识以及时间等)上传云端;
部署于云端的服务端为此单独设置一段存储区域,以用于存储错进的预扣费人脸池,即存储多人脸过闸所涉及A乘客到X乘客的人脸信息和进站行程。
继续参阅图21,图21是图20对应实施例中A乘客人脸过闸出站的具体示意图。当A乘客和X乘客正确出站时,发现A乘客无进站行程,但A乘客,即其人脸信息在错进的预扣费人脸池,从而在错进的预扣费人脸池中完成行程匹配,进而完成A乘客的正常通行扣费,而X乘客正常出站。
A乘客在错进的预扣费人脸池中完成行程匹配,是借助于多人脸信息的进站行程实现的。无论B乘客、C乘客还是X乘客,都是与A乘客多人脸过闸的乘客,因此,匹配B乘客、C乘客还是X乘客的进站行程即可获得A乘客的进站行程。
错误情况二,前续过闸乘客在一站点正确进站,到达另一站点时错误出站。
请参阅图22,图22是本申请一个实施例中正进错出情况下的多位乘客走向闸机的具体示例图。
A乘客在前,B乘客、C乘客以及Y乘客在后跟随,由远及近的走向闸机行进通道以过闸出站。
此时,A乘客发起的人脸过闸中,同时捕捉到Y乘客的人脸,进而A乘客出站时被误识别为Y乘客,导致A乘客出站;
继续参阅图23,图23是图22对应实施例中Y乘客人脸过闸出站的具体示例图。
随着A乘客、B乘客和C乘客出站,Y乘客最后出站。当Y乘客出站时,发现Y乘客已经有出站行程,此时仍然将Y乘客放行,但人脸识别PAD此次多人脸过闸的人脸信息,即A乘客、B乘客、C乘客和Y乘客的人脸信息,及出站行程(如果有)上传云端以构建错出站的预扣费人脸池。
以Y乘客第一次出站时的人脸信息到Y乘客出站时的中间过闸乘客全部记录来构建错出站的预扣费人脸池。部署于云端的服务端为此单独设置一段存储区域,以用于存储人脸信息和出站行程,完成多人脸过闸错出站的预扣费人脸池构建。
多人脸过闸错出站的预扣费人脸池,根据地铁的最长单程时长进行更新处理,当达到最长单程时长时进行一次人脸行程查询;
若错出站的A乘客只有进站行程,无出站行程之即可完成行程匹配,从而借助于Y乘客的出站行程找到A乘客的出站行程,获得完整行程从而完成正常扣费。
错误情况三,前续过闸乘客在一站点错误进站,到达另一站点时错误出站。
如图19和图20所示出的,前续过闸乘客,即A乘客在一站点被误认为X乘客而错误进站,在X乘客进站时由于其人脸已被使用而发现A乘客错进,此时对多人脸过闸的多张人脸构建错进的预扣费人脸池。
在错进的预扣费人脸池参考多人脸过闸进站的其他乘客获得A乘客的进站行程。
如图22和图23所示出的,前续过闸乘客,即A乘客在另一站点被误认为Y乘客,同样将多人脸过闸的多张人脸其人脸信息和出站行程(如果有)构建错出站的预扣费人脸池。
当错出站的预扣费人脸池达到最长单程处理时长时进行更新处理获得A乘客的出站行程,完成正常扣费。
至此,在多人脸过闸进站和出站中为所使用的人脸出错提供自动的错误处理机制,对于多人脸过闸,特别是多重递进选择之后定位的第一权重人脸仍然出错之时,提供一道可拦截错误的防线,进而在无感使用人脸过闸支付中增强安全性的同时,保障了资金安全。
下面结合一具体的系统拓扑结构,阐述如上所述通过多重递进选择实现的多人脸过闸定位以及在预扣费人脸池作用下的错误处理机制。
参阅图24,图24是本申请一个实施例中的系统拓扑结构图。该系统拓扑包括部署于闸机的人脸识别设备、人脸识别平台,以及人脸交易管理平台。
多人脸过闸中,一过闸乘客进行的人脸过闸被人脸识别设备捕捉到多乘客,此时,检测得到的多张人脸被上传到人脸识别平台,以通过人脸识别平台识别人脸获得过闸权限,进而人脸识别设备向闸机下达开闸请求。
在此过程中,人脸识别平台为过闸乘客进行的过闸出站向人脸交易管理平台发起扣费,以完成乘车交易。
具体的,参阅图25,图25是根据图24对应实施例的系统拓扑示出的人脸识别设备对多人脸实施多重递进选择以定位人脸的详细流程图。
过闸乘客站定于人脸识别设备面前,后方多乘客人脸出现且与过闸乘客一起被人脸识别设备所采集进而检测到多张人脸。
人脸识别设备对检测到的多张人脸,正如图25所示出的,执行多重递进选择。具体的,对检测到的多张人脸,首先检测多人脸框像素大小,此过程将通过进行的人脸轮廓区域提取以及该人脸轮廓区域所映射人脸框的像素大小检测实现。
对多乘客人脸像素大小,即人脸框像素大小只有一位满足(不小于)最小人脸框像素阈值时,该满足最小人脸框像素阈值的人脸框即为第一权重人脸。换言之,为过闸乘客在多张人脸定位第一权重人脸,将第一权重人脸识别为过闸乘客的人脸。
在有多张人脸满足最小人脸框像素阈值时,对多位乘客人脸框像素大小进行排序,以确定最大人脸框像素和第二人脸框像素,即像素最大的二个人脸框,并对二个人脸框取差值。
至此,判断所得差值是否满足(不小于)最小差值,如果所得差值大于或等于最小差值,则说明二个人脸相差较大,因此,取最大人脸框像素对应的人脸为第一权重人脸,另一人脸为备用人脸。
如果所得差值小于最小差值,则说明二个人脸相当,因此,需要进一步执行人脸选择。
在所进一步执行的人脸选择中,对二张人脸在缓存的视频中进行截图分析,对二张人脸都获取其最大人脸框(最大人脸轮廓区域)和第二人脸框(最小人脸轮廓区域),对乘客计算其最大和第二人脸框的人脸框增长率C1和人脸框相对中心点的偏差C2,对增长率C1和图像中心偏差C2打分后进行权重相加,获得人脸的综合权重分数。
根据综合权重分数的大小对二张人脸确定第一权重人脸和备用人脸。
继续参阅图26,图26示出了根据图24对应实施例的系统拓扑示出的交互示意图。
正如图26所示出的,在经由图25为过闸乘客获得第一权重人脸和备用人脸之后,上传第一权重人脸和备用人脸至人脸识别平台。
人脸识别平台对第一权重人脸和备用人脸进行识别比对,以向人脸识别设备返回特征ID,即人脸信息。
人脸识别设备将接收人脸识别平台返回的结果,如人脸识别平台长时间未返回结果,则说明过闸乘客人脸过闸的人脸识别失败,需要返回重新获取第一权重人脸和备用人脸。
人脸识别设备接收人脸识别平台结果之后,确认过闸乘客的人脸过闸识别比对成功,此时将向人脸交易管理平台请求过闸权限。
具体的,向人脸交易管理平台上传第一权重人脸的交易信息,该交易信息包括人脸信息以及实现乘客交易所相关的信息,除此之外,同步上传备用人脸的特征ID信息,即人脸信息。
人脸交易管理平台将在第一权重人脸具备过闸条件情况下返回过闸权限。
由此人脸识别设备即可向闸机发送指令以控制闸机开门。
还请继续参阅图27,图27是图26对应实施例示出的第一权重误扣费处理流程示意图。
在拥有第一权重人脸的真实乘客,即第一权重乘客发现自己并未过闸但发生了过闸扣费,即误扣费,则通过手持的用户终端反馈异议,如对所下发的过闸扣费通知发起异议,或者通过预留电话发起异议,此时,后端所配置的客服便查询人脸交易管理平台,以确认交易判断是否误扣,如果确认发生误扣费,则向第一权重乘客退款,对备用权重的乘客发起扣款。
至此,应当再次补充说明的,在人脸交易管理平台作用下,对第一权重人脸匹配行程,以在确认其未匹配到相应行程之时,满足过闸条件。
但是,如果匹配到相应行程,则说明第一权重人脸被前续过闸乘客所误识别,因此需要通过构建错进的预扣费池,或者错出站的预扣费池来处理。
由此,通过如上所述的方法实现,得以在多人脸过闸中解决易识别错误且难以追溯的问题,一方面使得人脸过闸无需对乘客有诸多要求,如很近距离识别,提升乘客体验,另一方面也增强了多人脸过闸出错的错误处理能力,在可追溯正确人脸的实现下保证资金闭环,地铁业主无损失。
根据本申请的一个实施例,还提供了一种站点通行中的多人脸过闸处理系统。其中,该站点通行中的多人脸过闸处理系统,包括:人脸识别设备、人脸识别平台、人脸交易管理平台以及用户终端。
所述人脸识别设备被配置执行:
感知闸机的人脸过闸行为,为所述人脸过闸行为进行人脸检测得到多张人脸;
根据人脸检测所得人脸及所述人脸对应的人脸位置进行多重递进选择,从所述多张人脸为所述过闸乘客获得第一权重人脸和备用人脸;
通过所述第一权重人脸和备用人脸向所述人脸识别平台的发起识别,从所述人脸交易管理平台获得识别所述过闸乘客为第一权重人脸的过闸权限;
所述人脸识别设备根据所述过闸权限向闸机传送开闸指令,且为所述过闸乘客的人脸过闸向各方同步所述第一权重人脸的人脸过闸记录以及备用人脸;
所述人脸交易管理平台通过所述用户终端上人脸过闸记录异议反馈的获得,确定所述过闸乘客误识别为第一权重人脸;
所述人脸交易管理平台以所述备用人脸修正所述过闸乘客过闸发生的人脸误识别。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中,还提供了一种计算机程序介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行上述方法实施例部分描述的方法。
根据本申请的一个实施例,还提供了一种用于实现上述方法实施例中的方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由所附的权利要求指出。
Claims (11)
1.一种站点通行中的多人脸过闸处理方法,其特征在于,所述方法包括:
感知闸机的人脸过闸行为,为所述人脸过闸行为进行人脸检测得到多张人脸;
根据人脸检测所得人脸及所述人脸对应的人脸位置进行多重递进选择,从所述多张人脸为过闸乘客获得第一权重人脸和备用人脸,所述多重递进选择是通过人脸轮廓区域的大小、人脸在过闸行进路程上的动态变化以及人脸位置的偏差所构建的多重选择维度来在多张人脸中实施的递进选择过程;
通过所述第一权重人脸和备用人脸的发起识别,获得识别所述过闸乘客为第一权重人脸的过闸权限;
根据所述过闸权限向闸机传送开闸指令,且为所述过闸乘客的人脸过闸向各方同步所述第一权重人脸的人脸过闸记录以及备用人脸;
通过所述人脸过闸记录异议反馈的获得,确定所述过闸乘客误识别为第一权重人脸;
以所述备用人脸修正所述过闸乘客过闸发生的人脸误识别。
2.根据权利要求1所述的方法,其特征在于,为所述闸机的行进通道部署人脸识别设备,所述感知闸机的人脸过闸行为,为所述人脸过闸行为进行人脸检测得到多张人脸包括:
所述人脸识别设备对由远及近走向所述行进通道的过闸乘客进行人脸采集并检测人脸,直至检测采集所得人脸达到最小人脸阈值;
待采集所得人脸达到最小人脸阈值时感知到发起的人脸过闸行为;
对所发起的人脸过闸行为获取多张人脸。
3.根据权利要求1所述的方法,其特征在于,所述人脸检测得到多张人脸的数量为二张以上,所述根据人脸检测所得人脸及所述人脸对应的人脸位置进行多重递进选择,从所述多张人脸获得所述过闸乘客的第一权重人脸和备用人脸,包括:
对人脸检测所得多张人脸都提取人脸轮廓区域,且从中确定满足最小人脸框像素阈值的人脸轮廓区域;
适配满足所述最小人脸框像素阈值的人脸轮廓区域,从对应于所述人脸轮廓区域的人脸中动态选择第一权重人脸和备用人脸。
4.根据权利要求3所述的方法,其特征在于,所述适配满足所述最小人脸框像素阈值的人脸轮廓区域,从对应于所述人脸轮廓区域的人脸中动态选择第一权重人脸和备用人脸,包括:
确定人脸轮廓区域满足所述最小人脸框像素阈值的人脸数量;
如果所述人脸数量不为1,根据对应的人脸轮廓区域所占面积从所述多张人脸确定所占面积最大的二张人脸;
根据所确定二张人脸在面积上的差值,确定一人脸为第一权重人脸,另一人脸为备用人脸。
5.根据权利要求4所述的方法,其特征在于,所述适配满足所述最小人脸框像素阈值的人脸轮廓区域,从对应于所述人脸轮廓区域的人脸中动态选择第一权重人脸和备用人脸,还包括:
如果所述人脸数量为1,以对应的人脸区域满足所述最小人脸框像素阈值的人脸为第一权重人脸。
6.根据权利要求4所述的方法,其特征在于,所述根据对应的人脸轮廓区域所占面积从所述多张人脸确定所占面积最大的二个人脸,包括:
按照人脸轮廓区域所占面积的大小对人脸进行排序;
从排序所得人脸序列确定多张人脸中对应于最大面积人脸轮廓区域和第二面积人脸轮廓区域的二张人脸。
7.根据权利要求4所述的方法,其特征在于,所述根据所确定二张人脸在面积上的差值,确定一人脸为第一权重人脸,另一人脸为备用人脸,包括:
进行对应于最大面积人脸轮廓区域和第二面积人脸轮廓区域的二张人脸之间所占面积的差值运算;
根据运算所得差值判断所述二张人脸是否大小相当,如果判断为否,则
确定对应于最大面积人脸轮廓区域的人脸为第一权重人脸,对应于第二面积人脸轮廓区域的人脸为备用人脸。
8.根据权利要求7所述的方法,其特征在于,所述根据所确定二张人脸在面积上的差值,确定一人脸为第一权重人脸,另一人脸为备用人脸,还包括:
如果根据运算所得差值判断得到二张人脸大小相当,调取所述过闸乘客在过闸行进路程上采集所得人脸数据;
通过对所述人脸数据进行多人脸追踪获得每一人脸由远及近的人脸图片;
根据每一人脸由远及近的人脸图片中所述人脸的动态变化以及所述人脸在人脸检测所得人脸位置,对二张人脸确定第一权重人脸和备用人脸。
9.根据权利要求8所述的方法,其特征在于,所述根据每一人脸由远及近的人脸图片中所述人脸的动态变化以及所述人脸在人脸检测所得人脸位置,对二个人脸确定第一权重人脸和备用人脸,包括:
对每一人脸由远及近的人脸图片提取所述人脸对应的最小人脸轮廓区域和最大人脸轮廓区域;
对所述最小人脸轮廓区域和最大人脸轮廓区域运算所对应人脸的增长率来表征所述人脸的动态变化;
根据所述增长率以及所述人脸在人脸检测所得人脸位置运算所述人脸的综合权重分数;
根据所述综合权重分数的大小对二个人脸确定第一权重人脸和备用人脸。
10.一种站点通行中的多人脸过闸处理系统,其特征在于,所述系统包括部署的人脸识别设备、人脸识别平台、人脸交易管理平台以及用户终端;
所述人脸识别设备被配置执行:
感知闸机的人脸过闸行为,为所述人脸过闸行为进行人脸检测得到多张人脸;
根据人脸检测所得人脸及所述人脸对应的人脸位置进行多重递进选择,从所述多张人脸为过闸乘客获得第一权重人脸和备用人脸,所述多重递进选择是通过人脸轮廓区域的大小、人脸在过闸行进路程上的动态变化以及人脸位置的偏差所构建的多重选择维度来在多张人脸中实施的递进选择过程;
通过所述第一权重人脸和备用人脸向所述人脸识别平台的发起识别,从所述人脸交易管理平台获得识别所述过闸乘客为第一权重人脸的过闸权限;
所述人脸识别设备根据所述过闸权限向闸机传送开闸指令,且为所述过闸乘客的人脸过闸向各方同步所述第一权重人脸的人脸过闸记录以及备用人脸;
所述人脸交易管理平台通过所述用户终端上人脸过闸记录异议反馈的获得,确定所述过闸乘客误识别为第一权重人脸;
所述人脸交易管理平台以所述备用人脸修正所述过闸乘客过闸发生的人脸误识别。
11.一种计算机程序介质,其上存储有计算机可读指令,其特征在于,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1-9中的任意一个所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311335427.2A CN117079378B (zh) | 2023-10-16 | 2023-10-16 | 站点通行中多人脸过闸处理方法和系统、计算机程序介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311335427.2A CN117079378B (zh) | 2023-10-16 | 2023-10-16 | 站点通行中多人脸过闸处理方法和系统、计算机程序介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117079378A CN117079378A (zh) | 2023-11-17 |
CN117079378B true CN117079378B (zh) | 2024-01-09 |
Family
ID=88708403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311335427.2A Active CN117079378B (zh) | 2023-10-16 | 2023-10-16 | 站点通行中多人脸过闸处理方法和系统、计算机程序介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117079378B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948586A (zh) * | 2019-03-29 | 2019-06-28 | 北京三快在线科技有限公司 | 人脸验证的方法、装置、设备及存储介质 |
CN110008673A (zh) * | 2019-03-06 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种基于人脸识别的身份鉴权方法和装置 |
CN111369727A (zh) * | 2020-02-20 | 2020-07-03 | 上海商汤智能科技有限公司 | 通行控制方法和装置 |
CN112215084A (zh) * | 2020-09-17 | 2021-01-12 | 中国银联股份有限公司 | 识别对象确定方法、装置、设备及存储介质 |
CN112560775A (zh) * | 2020-12-25 | 2021-03-26 | 深圳市商汤科技有限公司 | 一种开关控制方法、装置、计算机设备及存储介质 |
CN112580553A (zh) * | 2020-12-25 | 2021-03-30 | 深圳市商汤科技有限公司 | 开关控制方法、装置、计算机设备及存储介质 |
CN112733650A (zh) * | 2020-12-29 | 2021-04-30 | 深圳云天励飞技术股份有限公司 | 目标人脸检测方法、装置、终端设备及存储介质 |
CN113326730A (zh) * | 2021-04-20 | 2021-08-31 | 深圳市莱尚科技有限公司 | 室内老年人安全监护方法、系统、电子设备及介质 |
CN114817891A (zh) * | 2022-06-28 | 2022-07-29 | 四川爱信诺航天信息有限公司 | 一种行程管理方法、管理系统及相关设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10043184B2 (en) * | 2014-05-30 | 2018-08-07 | Paypal, Inc. | Systems and methods for implementing transactions based on facial recognition |
-
2023
- 2023-10-16 CN CN202311335427.2A patent/CN117079378B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008673A (zh) * | 2019-03-06 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种基于人脸识别的身份鉴权方法和装置 |
CN109948586A (zh) * | 2019-03-29 | 2019-06-28 | 北京三快在线科技有限公司 | 人脸验证的方法、装置、设备及存储介质 |
CN111369727A (zh) * | 2020-02-20 | 2020-07-03 | 上海商汤智能科技有限公司 | 通行控制方法和装置 |
CN112215084A (zh) * | 2020-09-17 | 2021-01-12 | 中国银联股份有限公司 | 识别对象确定方法、装置、设备及存储介质 |
CN112560775A (zh) * | 2020-12-25 | 2021-03-26 | 深圳市商汤科技有限公司 | 一种开关控制方法、装置、计算机设备及存储介质 |
CN112580553A (zh) * | 2020-12-25 | 2021-03-30 | 深圳市商汤科技有限公司 | 开关控制方法、装置、计算机设备及存储介质 |
CN112733650A (zh) * | 2020-12-29 | 2021-04-30 | 深圳云天励飞技术股份有限公司 | 目标人脸检测方法、装置、终端设备及存储介质 |
CN113326730A (zh) * | 2021-04-20 | 2021-08-31 | 深圳市莱尚科技有限公司 | 室内老年人安全监护方法、系统、电子设备及介质 |
CN114817891A (zh) * | 2022-06-28 | 2022-07-29 | 四川爱信诺航天信息有限公司 | 一种行程管理方法、管理系统及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117079378A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100831122B1 (ko) | 얼굴 인증 장치, 얼굴 인증 방법, 및 출입 관리 장치 | |
CN108389396B (zh) | 一种基于视频的车型匹配方法、装置和计费系统 | |
US11704782B2 (en) | Computerized image analysis for automatically determining wait times for a queue area | |
TW201629864A (zh) | 無線支付方法與裝置及交通工具乘坐費檢驗方法與系統 | |
CN112419733B (zh) | 一种用户不规范停车的检测方法、装置、设备和存储介质 | |
CN109858329A (zh) | 基于人脸识别的防尾随方法、装置、设备及存储介质 | |
CN111369727B (zh) | 通行控制方法和装置 | |
CN107833328B (zh) | 基于人脸识别的门禁验证方法及装置、计算设备 | |
KR20210149088A (ko) | 대상 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
KR101939350B1 (ko) | 무임 승차 감지 방법 및 장치 | |
CN112396709A (zh) | 基于超宽带通信的终端交互方法及装置、介质、电子设备 | |
KR102274728B1 (ko) | 영상 기반의 주정차 모션 식별 자율 주차정산 시스템 및 방법 | |
CN113055823A (zh) | 一种基于路侧停车管理共享单车的方法及装置 | |
CN111325559B (zh) | 应用于公交的支付控制方法及支付控制系统 | |
CN114049786A (zh) | 一种基于客流数据的实时公交调度发班方法、系统及设备 | |
CN110276617A (zh) | 无人便利店进门识别方法、装置、设备和存储介质 | |
CN112116811B (zh) | 一种进行乘车路径识别确定的方法及装置 | |
CN117079378B (zh) | 站点通行中多人脸过闸处理方法和系统、计算机程序介质 | |
CN111696360A (zh) | 一种停车监控方法、系统及摄像机 | |
CN117079379B (zh) | 轨道交通高容差人脸过闸方法和系统、计算机程序介质 | |
KR102551920B1 (ko) | 사용자가 원하는 위치의 주차장을 도착시간에 맞춰 빈자리를 예측하는 주차장 검출 시스템 | |
JP6558178B2 (ja) | 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム | |
CN113611025A (zh) | 一种新型轨道交通快速检人系统及方法 | |
CN113052100A (zh) | 通行识别方法及相关装置 | |
CN113963310A (zh) | 一种公交站的人流量检测方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |