CN111680649B - 用于检测在场人员的方法和装置以及数据处理设备 - Google Patents
用于检测在场人员的方法和装置以及数据处理设备 Download PDFInfo
- Publication number
- CN111680649B CN111680649B CN202010534454.2A CN202010534454A CN111680649B CN 111680649 B CN111680649 B CN 111680649B CN 202010534454 A CN202010534454 A CN 202010534454A CN 111680649 B CN111680649 B CN 111680649B
- Authority
- CN
- China
- Prior art keywords
- person
- head
- identity
- face recognition
- identities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 230000000977 initiatory effect Effects 0.000 claims abstract description 23
- 239000003795 chemical substances by application Substances 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 4
- 238000012552 review Methods 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 3
- 238000012360 testing method Methods 0.000 claims 1
- 230000001939 inductive effect Effects 0.000 abstract description 6
- 230000000295 complement effect Effects 0.000 abstract description 4
- 230000008093 supporting effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000005457 optimization Methods 0.000 description 8
- 230000000153 supplemental effect Effects 0.000 description 7
- 206010000117 Abnormal behaviour Diseases 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
- G06Q10/1091—Recording time for administrative or management purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种用于检测在场人员的方法、一种用于检测在场人员的装置以及一种数据处理设备。基于本申请,通过获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果,能够实现以人头位置定位在场人员的无感检测,并且,在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,通过发起对人脸识别失败的人头位置处的身份检测,能够实现以人头位置为定位目标的身份检测,从而,能够支持对无感检测中识别失败的人员身份的自动补检。
Description
技术领域
本申请涉及人员管理领域,特别涉及一种用于检测在场人员的方法、一种用于检测在场人员的装置、以及一种数据处理设备。
背景技术
在会议厅或学校教室等目标场景中,往往需要检测应到人员的在场情况,以实现对目标场景的人员管理。
对于在场情况的检测,可以采用在目标场景的入口处被人员感知的有感检测(例如指纹、人脸或门禁卡等检测方式),或者,也可以利用摄像机实现不被人员感知的无感检测。其中,无感检测需要从摄像机拍摄到的图像中检测人员特征。然而,若图像中未能呈现足够的人员特征,例如,由于人员的体态不当或人员之间的者当而导致人员特征未被拍摄到,则,容易导致实际在场的应到人员的人员身份不能被正确识别,此时,只能通过人工复核的方式实施补检。
发明内容
有鉴于此,本申请的各实施例分别提供了一种用于检测在场人员的方法、一种用于检测在场人员的装置、以及一种数据处理设备,能够支持对无感检测中识别失败的人员身份的自动补检。
在一个实施例中,提供了一种用于检测在场人员的方法,包括:获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果;在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,发起对人脸识别失败的人头位置处的身份检测;记录对人脸识别失败的人头位置处的身份检测结果。
可选地,发起对人脸识别失败的人头位置处的身份检测,包括:确定参考考勤记录中包括的目标场景内的应到人员的人员身份,并且,根据人脸识别结果确定成功识别出的人员身份;通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定未识别的人员身份;利用未识别的人员身份,确定人脸识别失败的人头位置处的人员身份。
可选地,确定参考考勤记录中包括的目标场景内的应到人员的人员身份,并且,根据人脸识别结果确定成功识别出的人员身份,包括:确定包围人脸识别失败的人头位置的搜索范围,其中,该搜索范围在目标场景的坐席行列方向上分别具有至少两行和至少两列的范围跨度;根据参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置,筛选出落入在搜索范围内的参考识别位置处的人员身份,并且根据人脸识别结果确定在搜索范围内人脸识别成功的人头位置处的人员身份;通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定未识别的人员身份,包括:将筛选出的落入在搜索范围内的参考识别位置处的人员身份与确定的落入在搜索范围内的人头位置处的人员身份进行比对,得到未识别的人员身份。
可选地,利用未识别的人员身份,确定人脸识别失败的人头位置处的人员身份,包括:在未识别的人员身份的数量多于人脸识别失败的人头位置的数量的情况下,从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中确定未识别的人员身份的参考识别位置,并且,通过对未识别的人员身份的参考识别位置与人脸识别失败的人头位置进行位置匹配,从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份。
在另一个实施例中,提供了一种用于检测在场人员的装置,包括:信息获取模块,用于获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果;失败补检模块,用于在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,发起对人脸识别失败的人头位置处的身份检测;结果记录模块,用于记录对人脸识别失败的人头位置处的身份检测结。
可选地,失败补检模块包括:身份识别子模块,用于根据参考考勤记录中包括的目标场景内的应到人员的人员身份,并且,根据人脸识别结果确定成功识别出的人员身份;身份比对子模块,用于通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定未识别的人员身份;身份确定子模块,用于利用未识别的人员身份,确定人脸识别失败的人头位置处的人员身份。
在另一个实施例中,提供了一种数据处理设备,包括:处理器,用于执行如前述实施例所述的方法。
在另一个实施例中,提供了一种非瞬时计算机可读存储介质,所述非瞬时计算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行如前述实施例所述的方法。
在另一个实施例中,提供了一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如前述实施例所述的方法。
基于上述各实施例,通过获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果,能够实现以人头位置定位在场人员的无感检测,并且,在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,通过发起对人脸识别失败的人头位置处的身份检测,能够实现以人头位置为定位目标的身份检测,从而,能够支持对无感检测中识别失败的人员身份的自动补检。
附图说明
以下附图仅对本申请做示意性说明和解释,并不限定本申请的范围:
图1为在目标场景中部署的检测系统的结构示意图;
图2为图1所示检测系统中的摄像机的巡航原理示意图;
图3为一个实施例用于检测在场人员的方法的示例性流程示意图;
图4为如图3所示方法应用于考勤管理的实例流程示意图;
图5为如图3所示方法应用于人员监测的实例流程示意图;
图6为如图3所示方法基于记录查询发起身份检测的第一优选流程示意图;
图7为基于如图6所示第一优化流程的第一位置匹配实例的示意图;
图8为基于如图6所示第一优化流程的第二位置匹配实例的示意图;
图9为基于如图6所示第一优化流程的第三位置匹配实例的示意图;
图10为基于如图6所示第一优化流程的第四位置匹配实例的示意图;
图11为如图3所示方法基于定点补拍发起身份检测的第二优选流程示意图;
图12为如图3所示方法基于记录查询发起身份检测的第三优选流程示意图;
图13为另一个实施例中用于检测在场人员的装置的示例性结构示意图;
图14为另一个实施例中的一种数据处理设备的示例性结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本申请作进一步详细说明。
图1为在目标场景中部署的检测系统的结构示意图。请参见图1,检测系统可以包括摄像机10和数据处理设备20。
摄像机10可以拍摄目标场景中的场景图像,并且,摄像机10可以对拍摄到的场景图像进行人头检测,以确定场景图像中的人头位置。其中,人头位置可以为人头在场景图像中的图像坐标。
若摄像机10的镜头视野足以覆盖目标场景的全部坐席,则摄像机10拍摄的场景图像可以为目标场景的场景全景图像。此时,人头位置P_glb可以为人头在场景全景图像中的图像坐标(x_glb,y_glb),并可以唯一标识对应的在场人员在目标场景中的全局位置。
若摄像机10的镜头视野不足以覆盖目标场景的全部坐席,则摄像机10拍摄的场景图像可以为用于拼合形成场景全景图像的场景局部图像(呈现目标场景中的一个局部区域)。
图2为图1所示检测系统中的摄像机的巡航原理示意图。请参见图2,以PTZ(仰角、方位角、变倍倍率)空间坐标系中的PTZ坐标为例,适用于PTZ坐标系的摄像机10的机芯100可旋转,其旋转坐标包括在水平方向上的角度坐标(Pan)和竖直方向上的角度坐标(Tile),相应地,这两个角度坐标可以简称为PT角度坐标;并且,机芯100中包括镜群组和图像传感器,摄像机的聚焦可以认为是调节镜群组相对于图像传感器的位置,以使镜群组的焦点落在图像传感器上,其中,焦点是指平行光线经镜群组中的镜头折射后汇聚的点,聚焦的调节可以确定改变机芯100视野的变倍倍率(Zoom)。
从而,场景局部图像i(i为大于等于1、且小于等于局部区域总数的正整数)可以认为是在PTZ坐标系中的指定坐标点(Pi,Ti,Zi)拍摄得到的,并且,该指定坐标点(Pi,Ti,Zi)可以被确定为预置点i。同理,拍摄局部图像j(j为大于等于1、小于等于局部区域总数、且不同于i的正整数)则可以在PTZ坐标系中另一坐标点(Pj,Tj,Zj)的预置点j拍摄得到。由此,通过在不同预置点i和j之间的切换,摄像机10可以拍摄到目标场景中的各局部区域的场景局部图像。
在场景图像为场景局部图像的情况下,人头位置P_area可以为人头在场景局部图像中的图像坐标(x_area,y_area),并且,若需要得到对应的在场人员在目标场景中的全局位置,则可以结合场景局部图像的位置范围,例如,通过场景局部图像的位置范围的边界值与图像坐标(x_area,y_area)的叠加偏移,可以得到人头在场景全景图像中的图像坐标(x_glb,y_glb),即,将标识局部位置的人头位置P_area转换为标识全局位置的人头位置P_glb。其中,为了区分不同的场景局部图像,摄像机10可以为场景局部图像分配对应的区域标识A_ID。
在识别出场景图像中的人头位置之后,摄像机10可以对场景图像中的各人头位置处进行人脸识别,或者,也可以由数据处理设备20对场景图像中的由摄像机10确定的人头位置处进行人脸识别。
若由摄像机10执行人脸识别,则:
摄像机10可以从场景图像中截取每个人头位置处的截图图像,并逐一对每个人头位置处截取的截图图像进行人脸识别,然后将各人头位置处的人脸识别结果传输至数据处理设备20;或者,
摄像机10可以在每个人头位置对应的PTZ坐标点拍摄抓拍图像,并逐一对每个人头位置处拍摄的抓拍图像进行人脸识别,然后将各人头位置处的人脸识别结果传输至数据处理设备20。
若由数据处理设备20执行人脸识别,则,摄像机10可以将确定的人头位置、以及每个人头位置处的截图图像或抓拍图像上报给数据处理设备20,由数据处理设备20从每个人头位置处的截图图像或抓拍图像进行人脸识别,从而得到各人头位置处的人脸识别结果。
在本申请的一个实施例中,也可以由摄像机10拍摄到场景全局图像或场景部分图像后,直接传输给数据处理设备20,由数据处理设备20进行分析确定场景图像中的人头位置,以及进行人脸识别得到人头位置处的人脸识别结果。
摄像机10或数据处理设备20在进行人脸识别时,可以利用人脸样本库中的样本图像。其中,人脸样本库中的样本图像可以包含目标场景的所有应到人员的人脸图像,并且,人脸样本库中的样本图像可以与应到人员的人员位置(例如指派坐席等)关联,或者也可以不与人员的人员位置关联。
在样本图像与应到人员的人员位置关联的情况下,在对每个人头位置处的截图图像或抓拍图像进行人脸识别时,都可以在人脸样本库中先查询与该人头位置匹配的人员位置所关联的样本图像,然后再利用查询到的样本图像进行人脸识别。
在样本图像与应到人员的人员位置不关联的情况下,在对每个人头位置处的截图图像或抓拍图像进行人脸识别时,可以利用人脸样本库中的任意样本图像进行人脸识别。
经过对各人头位置处的人脸识别,可以整合得到场景图像中的人头位置、以及人头位置处的人脸识别结果,例如表1a或表1b所示的信息表样式。
在表1a中,表示人脸识别成功的人脸识别结果中包含了识别出的人员身份(例如人员姓名或身份标识),表示人脸识别失败的人脸识别结果中包含了失败标记F(可能是由于在场人员在摄像机10拍摄时处于诸如趴卧、转体、仰望等不当坐姿而导致抓拍图像中未呈现足够的人脸特征等原因);
在表1b中,表示人脸识别成功的人脸识别结果中可以包括成功标记T、并且可以不包括识别出的人员身份,而表示人脸识别失败的人脸识别结果中仍包含失败标记F。
人头位置 | 识别结果 |
P_glb_1或P_area_1 | M_ID_1 |
P_glb_2或P_area_2 | F |
P_glb_3或P_area_3 | M_ID_3 |
…… | …… |
表1a
人头位置 | 识别结果 |
P_glb_1或P_area_1 | T |
P_glb_2或P_area_2 | F |
P_glb_3或P_area_3 | T |
…… | …… |
表1b
对于场景图像为场景局部图像的情况,人脸识别结果中还可以进一步包括场景局部图像的区域标识A_ID,相应地,场景图像中的人头位置、以及人头位置处的人脸识别结果可以进一步表示为如表2a或表2b所示的信息表样式。
表2a
表2b
图3为一个实施例用于检测在场人员的方法的示例性流程示意图。请参见图3,在该实施例中,用于检测在场人员的方法可以包括:
S310:获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果。其中,场景图像中的人头位置、以及人头位置处的人脸识别结果可以均来自于摄像机;也可以均由执行该方法的数据处理设备产生;也可以人头位置来自于摄像机、人脸识别结果由执行该方法的数据处理设备产生;还可以均来自于与摄像机和执行该方法的数据处理设备建立连接的其他数据处理设备,由该其他数据处理设备将人头位置和人脸识别结果发送给执行该方法的数据处理设备,本申请对如何获取到人头位置和人头位置处的人脸识别结果不作限定。
S330:在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,发起对人脸识别失败的人头位置处的身份检测。
S350:记录对人脸识别失败的人头位置处的身份检测结果。
其中,在确定出人脸识别失败的人头位置处的人员身份的情况下,记录的身份检测结果可以包括该人员身份;在人脸识别失败的人头位置处的人员身份检测失败的情况下,记录的身份检测结果可以包括表示检测失败的异常标记。较优地,在步骤S330中发起人脸识别失败的人头位置处的人员身份检测后,检测失败的情况下,可以继续发起对人脸识别失败的人头位置处的身份检测,直至确定出人脸识别失败的人头位置处的人员身份,再执行步骤S350,记录该人员身份。
在上述流程中,S330和S350可以不是必然执行的步骤,即,若不存在人脸识别失败的人脸识别结果,则可以在不执行S330和S350的情况下结束上述流程,但若存在人脸识别失败的人脸识别结果,则可以在S350之后结束上述流程。
基于上述流程,通过获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果,能够实现以人头位置定位在场人员的无感检测,并且,在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,通过发起对人脸识别失败的人头位置处的身份检测,能够实现以人头位置为定位目标的身份检测,从而,能够支持对无感检测中识别失败的人员身份的自动补检。
上述流程可以应用于考勤管理、或人员监测等应用场景,在不同的应用场景中,自动补检可以产生不同的效果。
图4为如图3所示方法应用于考勤管理的实例流程示意图。请参见图4,该方法在应用于考勤管理的情况下,可以包括如下步骤:
S410:获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果。其中,对步骤S410的具体说明可以详见S310,在此不再赘述。
S420:在任意人头位置处的人脸识别结果表示人脸识别成功的情况下,在当前考勤记录中录入包含该人头位置和/或在该人头位置处成功识别出的人员身份的签到信息。其中,签到信息中的人头位置,优选地确定为标识全局位置的人头位置P_glb。对于场景图像为场景局部图像的情况,需要进一步将标识局部位置的人头位置P_area转换为标识全局位置的人头位置P_glb。另外,录入的签到信息中可以进一步包括签到时间,签到时间可以确定为签到信息的录入时间。
S430:在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,发起对人脸识别失败的人头位置处的身份检测。
S450:在确定出人脸识别失败的人头位置处的人员身份的情况下,在当前考勤记录中补录包含该人头位置和/或在该人头位置处成功确定的人员身份的签到信息,以实现对人脸识别失败的人头位置处的身份检测结果的记录。例如,补录的签到信息中的人头位置,可以优选地确定为标识全局位置的人头位置P_glb。对于场景图像为场景局部图像的情况,需要进一步将标识局部位置的人头位置P_area转换为标识全局位置的人头位置P_glb。并且,补录的签到信息中可以进一步包括补签时间,补签时间可以确定为签到信息的补录时间。补录的签到信息中还可以进一步包括补签原因,补签原因可以为表示人脸识别失败的失败标记或描述字符。
在上述流程中,S430和S450可以不是必然执行的步骤,即,若不存在人脸识别失败的人脸识别结果,则在S420执行完毕后即可结束上述流程,但若存在人脸识别失败的人脸识别结果,则可以在S450之后结束上述流程。
基于上述流程,若由于在场人员在摄像机拍摄时处于诸如趴卧、转体、仰望等不当坐姿而导致该在场人员的人头位置处的人脸识别失败,则通过针对该人头位置发起的身份检测,就可以针对人脸识别失败所致的漏签实施自动补签。
图5为如图3所示方法应用于人员监测的实例流程示意图。请参见图5,该方法在应用于人员监测的情况下,可以包括如下步骤:
S510:获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果。其中,对步骤S510的具体说明可以详见S310,在此不再赘述。
S530:在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,发起对人脸识别失败的人头位置处的身份检测。
S550:在人脸识别失败的人头位置处的身份检测结果表示成功检测出人员身份的情况下,将该人头位置和/或在该人头位置处成功检测出的人员身份写入用于多媒体呈现的缓存中、或者录入异常行为记录中,以实现对人脸识别失败的人头位置处的身份检测结果的记录。
在上述流程中,S530和S550可以不是必然执行的步骤,即,若不存在人脸识别失败的人脸识别结果,则可以在不执行S530和S550的情况下结束上述流程,但若存在人脸识别失败的人脸识别结果,则可以在S550之后结束上述流程。
基于上述流程,若由于在场人员在摄像机拍摄时处于诸如趴卧、转体、仰望等不当坐姿而导致该在场人员的人头位置处的人脸识别失败,则可以在对人脸识别失败的人头位置处成功检测出人员身份后,将该成功检测出的人员身份写入用于多媒体呈现的缓存中,再通过多媒体呈现发起对在场人员的提醒(例如可以避免在场人员遗漏目标场景中的关键信息发布,还可以应用于课堂中让老师及时发现未认真听讲的学员)或询问(例如可以及时发现在场人员的突发病疾),或者,通过异常行为记录保存在场人员的异常行为(例如可以对在场人员遗漏关键信息的行为采取补救措施)。
无论上述方法应用在何种应用场景,在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,本申请实施例中提供了两种方式发起对人脸识别失败的人头位置处的身份检测,即,基于记录查询的身份检测、以及基于对人脸识别失败的人头位置处定点补拍的身份检测。这两种方式可以彼此独立,也可以组合。
图6为如图3所示方法基于记录查询发起身份检测的第一优选流程示意图。请参见图6,该方法的第一优选流程可以包括如下步骤:
S610:获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果。其中,对步骤S610的具体说明可以详见S310,在此不再赘述。
S631:在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,确定参考考勤记录中包括的目标场景内的应到人员的人员身份,并且,根据人脸识别结果确定成功识别出的人员身份。其中,参考考勤记录可以是预先录入的全勤记录,也可以是在执行当前流程前记录的历史全勤记录。并且,参考考勤记录中可以包括所有或部分应到人员的人员身份、以及每个应到人员的人员身份在目标场景中的参考识别位置,例如,参考考勤记录可以采用如表3所示的信息表样式。
参考识别位置 | 人员身份 |
P_glb_1’或P_area_1’ | M_ID_1 |
P_glb_2’或P_area_2’ | M_ID_2 |
P_glb_3’或P_area_3’ | M_ID_3 |
…… | …… |
表3
对于场景图像为场景局部图像的情况,参考考勤记录可以被拆分为对应不同局部区域的子记录,每份子记录中可以进一步包括对应的局部区域的场景局部图像的区域标识A_ID,例如表4所示的信息表样式。
表4
另外,若在本步骤之前,根据表示人脸识别成功的人脸识别结果(人脸识别结果中含有成功识别出的人员身份)在当前考勤记录中录入了对应的签到信息,则本步骤根据人脸识别结果确定的成功识别出的人员身份,既可以是直接从人脸识别结果中获取到的成功识别出的人员身份,或者也可以是从签到信息中获取到的成功识别出的人员身份的方式。因此,作为一种较优的方案,在步骤S610获取到的人脸识别结果中,表示人脸识别成功的人脸识别结果可以包括成功识别出的人员身份,例如前述的表1a或表2a所示的信息表样式。
若人脸识别结果中不包含成功识别出的人员身份,例如人脸识别结果采用前述的表1b和表2b所示的信息表格式,则本步骤根据人脸识别结果确定的成功识别出的人员身份,可以是从执行人脸识别的设备(摄像机或数据处理设备)查询获取到的成功识别出的人员身份。即,人脸识别结果中是否包含成功识别的人员信息,并不会影响本步骤根据人脸识别结果确定成功识别出的人员身份。
S633:通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定未识别的人员身份。这里,未识别的人员身份可以看作是应到人员的人员身份与成功识别出的人员身份的差集。其中,在本步骤之前已录入包含成功识别出的人员身份的签到信息的情况下,被看作是上述差集的未识别的人员身份可以通过参考考勤记录与当前考勤记录的人员身份比对来确定。
S635:利用未识别的人员身份,确定人脸识别失败的人头位置处的人员身份。
上述的S631、S633以及S635可以是如图3所示流程中的S330发起的对人脸识别失败的人头位置处的身份检测的一种优选方式。
S650:记录对人脸识别失败的人头位置处的身份检测结果。
在上述流程中,S631~S635和S650可以不是必然执行的步骤,即,若不存在人脸识别失败的人脸识别结果,则可以在不执行S631~S635和S650的情况下结束上述流程,但若存在人脸识别失败的人脸识别结果,则可以在S650之后结束上述流程。
上述流程中的S635可以利用人脸识别失败的人头位置与未识别的人员身份在参考考勤记录中对应的参考识别位置进行位置匹配来实现。
为了提高位置匹配的效率,可以采用范围检索比对的方式,即,先利用确定的搜索范围实现范围化的位置粗匹配,即,先通过S631和S633确定搜索范围内未识别的人员身份(搜索范围内的应到人员的人员身份与成功识别出的人员身份的差集),然后在搜索范围内实现位置精匹配,即,S635可以根据搜索范围内未识别的人员身份确定人脸识别失败的人头位置处的人员身份。
因此,优选地,S631可以包括:
确定包围人脸识别失败的人头位置的搜索范围,其中,该搜索范围在目标场景的坐席行列方向上分别具有至少两行和至少两列的范围跨度;例如,可以以人脸识别失败的人头位置为中心,确定圆形搜索范围,该圆形搜索范围的区域半径不小于坐席行列间隔;或者,可以确定以人脸识别失败的人头位置为定位基准,确定矩形搜索范围,该矩形搜索范围的长宽尺寸不小于坐席行列间隔的两倍。
根据参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置,筛选出落入在搜索范围内的参考识别位置处的人员身份,并且根据人脸识别结果确定落入在搜索范围内的人脸识别成功的人头位置处的人员身份。
相应地,S633可以包括:将筛选出的落入在搜索范围内的参考识别位置处的人员身份与确定的落入在搜索范围内的人头位置处的人员身份进行比对,得到搜索范围内的未识别的人员身份。从而,S635可以利用搜索范围内未识别的人员身份,确定人脸识别失败的人头位置处的人员身份。
无论是通过确定搜索范围来实现位置粗匹配,还是不使用搜索范围而直接进行全局范围的位置匹配,利用未识别的人员身份确定人脸识别失败的人头位置处的人员身份的原则都可以是相同的。
步骤S635得到的未识别的人员身份(参考考勤记录与当前考勤记录的人员身份的差集)可能存在两种情况:
情况1、相同范围内(目标场景的全局范围、或确定的搜索范围)的未识别的人员身份的数量与人脸识别失败的人头位置的数量相等,即,目标场景在该范围内的所有坐席都有在场人员,但其中一部分坐席的在场人员的人脸识别失败;
情况2、相同范围内(目标场景的全局范围、或确定的搜索范围)的未识别的人员身份的数量多于人脸识别失败的人头位置的数量,即,目标场景在该范围内出现了人员缺席的坐席(参考考勤记录中存在匹配该坐席的参考识别位置、但摄像机10未从场景图像中识别出匹配该坐席的人头位置),并且该范围内一部分坐席的在场人员的人脸识别失败。
对于情况1,S635可以包括:在未识别的人员身份的数量与人脸识别失败的人头位置的数量相等的情况下,将未识别的人员身份确定为人脸识别失败的人头位置处的人员身份。
图7为基于如图6所示第一优化流程的第一位置匹配实例的示意图。请参见图7,以人头位置P_h_2(其可以为标识局部位置的人头位置P_area或标识全局位置的人头位置P_glb)为人脸识别失败的人头位置为例:
首先,确包围该人头位置P_h_2的搜索范围700(图7中表示为以该人头位置P_h_2为中心的圆形搜索范围),其中,该搜索范围700在目标场景的坐席行列方向上分别具有至少两行和至少两列的范围跨度。
然后,根据当前人脸识别结果确定、或在当前考勤记录中搜索落入在搜索范围内的人头位置的人员身份,即,人头位置P_h_1的人员身份M_ID_1、人头位置P_h_3的人员身份M_ID_3以及人头位置P_h_4的人员身份M_ID_4;并且,在参考考勤记录中搜索落入在搜索范围内的参考识别位置的人员身份,即,参考识别位置P_ref_1的人员身份M_ID_1、参考识别位置P_ref_2的人员身份M_ID_2、参考识别位置P_ref_3的人员身份M_ID_3以及参考识别位置P_ref_4的人员身份M_ID_4。
此后,确定在参考考勤记录中的搜索结果相比于根据当前人脸识别结果确定的人员身份、或相比于在当前考勤记录中的搜索结果的人员身份差集,即,未识别的人员身份M_ID_2。
由于搜索范围700内未识别的人员身份M_ID_2的数量与搜索范围700内人脸识别失败的人头位置P_h_2的数量相等,即,数量均为一个,因此,可以将未识别的人员身份M_ID_2确定为人脸识别失败的人头位置P_h_2处的人员身份。
可以理解的是,即便不确定搜索范围700,只要全局范围内仅有一个未识别的人员身份M_ID_2、并且全局范围内也仅有一个人脸识别失败的人头位置P_h_2的,同样可以将未识别的人员身份M_ID_2确定为人脸识别失败的人头位置P_h_2处的人员身份。也就是,搜索范围700并不是必须确定的。
图8为基于如图6所示第一优化流程的第二位置匹配实例的示意图。请参见图8,以人脸识别失败的人头位置(可以为标识局部位置的人头位置P_area或标识全局位置的人头位置P_glb)包括人头位置P_h_1和人头位置P_h_2为例,在以人头位置P_h_2发起身份检测的情况下:
首先,确定包围该人头位置P_h_2的搜索范围800(图8中表示为以该人头位置P_h_2为中心的圆形搜索范围),其中,该搜索范围800在目标场景的坐席行列方向上分别具有至少两行和至少两列的范围跨度。
然后,根据当前人脸识别结果确定、或在当前考勤记录中搜索落入在搜索范围内的人头位置的人员身份,即,人头位置P_h_3的人员身份M_ID_3和人头位置P_h_4的人员身份M_ID_4;并且,在参考考勤记录中搜索落入在搜索范围内的参考识别位置的人员身份,即,参考识别位置P_ref_1的人员身份M_ID_1、参考识别位置P_ref_2的人员身份M_ID_2、参考识别位置P_ref_3的人员身份M_ID_3以及参考识别位置P_ref_4的人员身份M_ID_4。
此后,确定在参考考勤记录中的搜索结果相比于根据当前人脸识别结果确定的人员身份、或相比于在当前考勤记录中的搜索结果的人员身份差集,即,未识别的人员身份M_ID_1和人员身份M_ID_2。
虽然搜索范围800内未识别的人员身份M_ID_1和人员身份M_ID_2的数量为两个,多于发起身份检测的人头位置的数量(一个人头位置P_h_2),但通过搜索是否还有其他人脸识别失败的人头位置落入搜素范围800,可以确定人脸识别失败的另一人头位置P_h_1同时也落入在搜素范围800内,此时,搜索范围800内未识别的人员身份M_ID_1和人员身份M_ID_2的数量与搜索范围800内人脸识别失败的人头位置P_h_1和人头位置P_h_2的数量相等,即,数量均为两个,因此,可以将搜索范围800内未识别的人员身份M_ID_1和人员身份M_ID_2确定为人头位置P_h_1和人头位置P_h_2处的人员身份。
例如,可以根据人员身份M_ID_1的参考识别位置P_ref_1和人员身份M_ID_2的参考识别位置P_ref_2之间的相对位置关系、以及人脸识别失败的人头位置P_h_1和人头位置P_h_2之间的相对位置关系,将搜索范围800内未识别的人员身份M_ID_1确定为人头位置P_h_1处的人员身份、并将搜索范围800内未识别的人员身份M_ID_2确定为人头位置P_h_2处的人员身份。
可以理解的是,即便不确定搜索范围800,只要全局范围内仅有两个未识别的人员身份M_ID_1和人员身份M_ID_2、并且全局范围内也仅有两个人脸识别失败的人头位置P_h_1和P_h_2,同样可以将未识别的人员身份M_ID_1和人员身份M_ID_2确定为人头位置P_h_1和人头位置P_h_2处的人员身份。也就是,搜索范围700并不是必须确定的。
对于情况2,即,同一范围(全局范围或确定的搜索范围)内未识别的人员身份的数量多于人脸识别失败的人头位置,可能会发生人头位置在正确坐席(匹配的参考识别位置)和缺勤坐席(错位的参考识别位置)之间的定位混淆,因此,可以通过位置匹配,从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份。由此,如图6所示流程中的S635可以包括:
在未识别的人员身份的数量多于人脸识别失败的人头位置的数量的情况下,从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中,确定未识别的人员身份的参考识别位置;并且,
通过对未识别的人员身份的参考识别位置与人脸识别失败的人头位置进行位置匹配,从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份。
作为一种可选的方案,上述的位置匹配可以借助相对于基准位置的偏移距离来实现,例如:先确定未识别的人员身份的参考识别位置相对于至少两个第一基准位置的参考偏移距离、以及人脸识别失败的人头位置相对于至少两个第二基准位置的人头偏移距离,其中,至少两个第一基准位置对应的至少两个人员身份与至少两个第二基准位置对应的至少两个人员身份相同;然后,利用参考偏移距离和人头偏移距离,从未识别的人员身份的参考识别位置中选定与人脸识别失败的人头位置相匹配的参考识别位置;最后,将选定的参考识别位置处的人员身份确定为人脸识别失败的人头位置处的人员身份。
其中,利用参考偏移距离和人头偏移距离从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份,可以采用如下方式:
对参考偏移距离与人头偏移距离进行长度匹配;根据长度匹配的结果,确定与人脸识别失败的人头位置相匹配的参考识别位置,其中,确定的参考识别位置相对于每个第一基准位置的参考偏移距离,与人头位置相对于每个与第一基准位置对应的第二基准位置的人头偏移距离之间的长度误差,均在预设误差范围内;
或者,利用同一参考识别位置相对于不同第一基准位置的参考偏移距离之间的距离差,确定至少两个第一基准位置中与未识别的人员身份的参考识别位置最靠近的一个第一基准位置;利用同一人头位置相对于不同第二基准位置的人头偏移距离之间的距离差,确定至少两个第二基准位置中与人脸识别失败的人头位置最靠近的一个第二基准位置;根据确定的最靠近的第一基准位置和第二基准位置,确定与人脸识别失败的人头位置相匹配的参考识别位置,其中,确定的参考识别位置的最靠近的第一基准位置与人脸识别失败的人头位置的最靠近的第二基准位置的位置匹配。
其中,第一基准位置和第二基准位置可以是任意确定的位置,或者,也可以是从参考考勤记录中选定的参考识别位置和/或根据人脸识别结果确定的人头位置。例如,在执行位置匹配的情况下,可以进一步:
从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中,选取成功识别出的至少两个人员身份(可以认为是参考考勤记录和当前考勤记录中的人员身份交集)的参考识别位置作为至少两个第一基准位置,并且根据人脸识别结果选取至少两个成功识别出的人员身份的人头位置作为至少两个第二基准位置,此时,至少两个第一基准位置对应的至少两个人员身份与至少两个第二基准位置对应的至少两个人员身份相同,并且,至少两个第一基准位置和至少两个基准位置之间可能存在一定的偏差;或者,
从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中选取成功识别出的至少两个人员身份的参考识别位置作为至少两个第一基准位置和至少两个第二基准位置,此时,至少两个第一基准位置与至少两个第二基准位置可以是相同的一组位置;或者,
根据人脸识别结果选取至少两个成功识别出的人员身份的人头位置作为至少两个第一基准位置和至少两个第二基准位置,此时,至少两个第一基准位置与至少两个第二基准位置可以是相同的一组位置。
图9为基于如图6所示第一优化流程的第三位置匹配实例的示意图。请参见图9,以人头位置P_h_2(其可以为标识局部位置的人头位置P_area或标识全局位置的人头位置P_glb)为人脸识别失败的人头位置为例:
首先,确定包围该人头位置P_h_2的搜索范围900(图9中表示为以该人头位置P_h_2为中心的圆形搜索范围),其中,该搜索范围900在目标场景的坐席行列方向上分别具有至少两行和至少两列的范围跨度。
然后,根据当前人脸识别结果确定、或在当前考勤记录中搜索落入在搜索范围内的人头位置的人员身份,即,人头位置P_h_3的人员身份M_ID_3和人头位置P_h_4的人员身份M_ID_4;并且,在参考考勤记录中搜索落入在搜索范围内的参考识别位置的人员身份,即,参考识别位置P_ref_1的人员身份M_ID_1、参考识别位置P_ref_2的人员身份M_ID_2、参考识别位置P_ref_3的人员身份M_ID_3以及参考识别位置P_ref_4的人员身份M_ID_4。
此后,确定在参考考勤记录中的搜索结果相比于根据当前人脸识别结果确定的人员身份、或相比于在当前考勤记录中的搜索结果的人员身份差集,即,未识别的人员身份M_ID_1和人员身份M_ID_2。由此,搜索范围900内未识别的人员身份M_ID_1和人员身份M_ID_2的数量为两个,多于发起身份检测的人头位置的数量(一个人头位置P_h_2),并且,通过搜索是否还有其他人脸识别失败的人头位置落入搜素范围900,可以确定搜索范围900内仅有一个人头位置P_h_2的人脸识别失败,此时,需要执行通过位置匹配:
以至少两个第一基准位置与至少两个第二基准位置是相同的一组位置为例,先从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中,选取成功识别出的至少两个人员身份(优选地选取参考识别位置位于搜索范围900内的人员身份),即,人员身份M_ID_3和人员身份M_ID_4,并且将选取的至少两个人员身份M_ID_3的参考识别位置P_ref_3和人员身份M_ID_4的参考识别位置P_ref_4同时确定为第一基准位置和第二基准位置。
再确定未识别的人员身份M_ID_1的参考识别位置P_ref_1相对于至少两个基准位置P_ref_3和P_ref_4(第一基准位置)的参考偏移距离D13_ref和D14_ref、未识别的人员身份M_ID_2的参考识别位置P_ref_2相对于至少两个基准位置P_ref_3和P_ref_4(第一基准位置)的参考偏移距离D23_ref和D24_ref、以及人脸识别失败的人头位置P_h_2相对于至少两个基准位置P_ref_3和P_ref_4(第二基准位置)的人头偏移距离D23_head和D24_head。
然后,利用参考偏移距离D13_ref、D14_ref、D23_ref和D24_ref以及人头偏移距离D23_head和D24_head,从未识别的人员身份M_ID_1的参考识别位置P_ref_1和未识别的人员身份M_ID_2的参考识别位置P_ref_2中,选定与人脸识别失败的人头位置P_h_2相匹配的参考识别位置。
例如,对参考偏移距离D13_ref、D14_ref、D23_ref和D24_ref与人头偏移距离D23_head和D24_head进行长度匹配,即,参考偏移距离D13_ref和D23_ref与人头偏移距离D23_head之间的长度误差、以及参考偏移距离D14_ref和D24_ref与人头偏移距离D24_head之间的长度误差;根据长度匹配的结果确定与人脸识别失败的人头位置P_h_2相匹配的参考识别位置P_ref_2,其中,确定的参考识别位置P_ref_2相对于每个第一基准位置P_ref_3或P_ref_4的参考偏移距离D23_ref或D24_ref分别与人脸识别失败的人头位置P_h_2相对于相同人员身份的第二基准位置P_ref_3或P_ref_4的人头偏移距离D23_head或D24_head之间的长度误差均在预设误差范围内,即,|D23_ref-D23_head|以及|D24_ref-D24_head|均在预设误差范围内。
再例如,利用同一参考识别位置相对于不同基准位置的参考偏移距离之间的距离差,确定至少两个第一基准位置中与未识别的人员身份的参考识别位置最靠近的一个第一基准位置,即,未识别的人员身份M_ID_1的参考识别位置P_ref_1更靠近其中一个第一基准位置P_ref_3(参考偏移距离D13_ref小于D14_ref)、未识别的人员身份M_ID_2的参考识别位置P_ref_2更靠近另一个第一基准位置P_ref_4(参考偏移距离D24_ref小于D23_ref),并且,利用同一人头位置相对于不同第二基准位置的人头偏移距离之间的距离差,确定至少两个第二基准位置中与人脸识别失败的人头位置最靠近的一个第二基准位置,即,人脸识别失败的人头位置P_h_2更靠近其中要给第二基准位置P_ref_4(人头偏移距离D24_head小于D23_head);然后,根据确定的最靠近的第一基准位置和第二基准位置,确定与人脸识别失败的人头位置P_h_2相匹配的参考识别位置P_ref_2,其中,确定的参考识别位置P_ref_2的最靠近的第一基准位置P_ref_4与人脸识别失败的人头位置P_h_2的最靠近的第二基准位置P_ref_4相匹配(例如相同)。
最后,将选定的参考识别位置P_ref_2处的人员身份M_ID_2确定为人脸识别失败的人头位置P_h_2处的人员身份。
可以理解的是,搜索范围900可以缩小未识别的人员身份的参考识别位置的范围,由此可以提高位置匹配的效率,但即便不使用搜索范围900,同样可以通过利用参考偏移距离D13_ref、D14_ref、D23_ref和D24_ref以及人头偏移距离D23_head和D24_head,选定得到与人脸识别失败的人头位置P_h_2相匹配的参考识别位置P_ref_2。
图10为基于如图6所示第一优化流程的第四位置匹配实例的示意图。请参见图10,以人头位置P_h_2(其可以为标识局部位置的人头位置P_area或标识全局位置的人头位置P_glb)为人脸识别失败的人头位置为例:
首先,根据当前人脸识别结果确定、或在当前考勤记录中搜索所有人头位置的人员身份,图10中仅示出了其中一部分,例如,人头位置P_h_3的人员身份M_ID_3、人头位置P_h_4的人员身份M_ID_4以及人头位置P_h_5的人员身份M_ID_5;并且,在参考考勤记录中搜索所有参考识别位置的人员身份,图10中仅示出了其中一部分,例如,参考识别位置P_ref_1的人员身份M_ID_1、参考识别位置P_ref_2的人员身份M_ID_2、参考识别位置P_ref_3的人员身份M_ID_3、参考识别位置P_ref_4的人员身份M_ID_4、参考识别位置P_ref_5的人员身份M_ID_5、参考识别位置P_ref_6的人员身份M_ID_6。
此后,确定在参考考勤记录中的搜索结果相比于根据当前人脸识别结果确定的人员身份、或相比于在当前考勤记录中的搜索结果的人员身份差集,即,未识别的人员身份M_ID_1、人员身份M_ID_2以及人员身份M_ID_6。
由此,未识别的人员身份M_ID_1、人员身份M_ID_2以及人员身份M_ID_6的数量为三个,多于发起身份检测的人头位置的数量(一个人头位置P_h_2),并且,通过搜索是否还有其他人脸识别失败的人头位置,可以确定另一个人脸识别失败的人头位置P_h_6,此时,未识别的人员身份的数量仍然多于人脸识别失败的人头位置的数量,因而需要执行通过位置匹配:
仍以至少两个第一基准位置与至少两个第二基准位置是相同的一组位置为例,先从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中,选取成功识别出的三个人员身份,即,不在同一直线方向上排布的人员身份M_ID_3、人员身份M_ID_4以及人员身份M_ID_5,其中人员身份M_ID_3和人员身份M_ID_4沿行方向排布、人员身份M_ID_5和人员身份M_ID_4沿列方向排布,并且,将选取的三个人员身份M_ID_3的参考识别位置P_ref_3、人员身份M_ID_4的参考识别位置P_ref_4以及人员身份M_ID_5的参考识别位置P_ref_5同时确定为第一基准位置和第二基准位置。
再确定未识别的人员身份M_ID_1的参考识别位置P_ref_1相对于三个基准位置P_ref_3和P_ref_4以及P_ref_5(第一基准位置)的参考偏移距离D13_ref和D14_ref以及D15_ref、未识别的人员身份M_ID_2的参考识别位置P_ref_2相对于三个基准位置P_ref_3和P_ref_4以及P_ref_5(第一基准位置)的参考偏移距离D23_ref和D24_ref以及D25_ref、未识别的人员身份M_ID_6的参考识别位置P_ref_6相对于三个基准位置P_ref_3和P_ref_4以及P_ref_5(第一基准位置)的参考偏移距离D63_ref和D64_ref以及D65_ref、人脸识别失败的人头位置P_h_2相对于三个基准位置P_ref_3和P_ref_4以及P_ref_5(第二基准位置)的人头偏移距离D23_head和D24_head以及D25_head、以及另一人脸识别失败的人头位置P_h_6相对于三个基准位置P_ref_3和P_ref_4以及P_ref_5(第二基准位置)的人头偏移距离D63_head和D64_head以及D65_head。
然后,利用参考偏移距离D13_ref、D14_ref、D15_ref、D23_ref、D24_ref、D25_ref、D63_ref和D64_ref和D65_ref,以及,人头偏移距离D23_head、D24_head、D25_head、D63_head、D64_head、D65_head,从未识别的人员身份M_ID_1的参考识别位置P_ref_1、未识别的人员身份M_ID_2的参考识别位置P_ref_2以及未识别的人员身份M_ID_6的参考识别位置P_ref_6中,选定与人脸识别失败的人头位置P_h_2和P_h_6分别相匹配的参考识别位置。
例如,在利用长度匹配选定的情况下,根据长度匹配的结果确定与人脸识别失败的人头位置P_h_2相匹配的参考识别位置P_ref_2,其中,|D23_ref-D23_head|、|D24_ref-D24_head|、以及|D25_ref-D25_head|均在预设误差范围内;以及,确定与人脸识别失败的人头位置P_h_6相匹配的参考识别位置P_ref_6,其中,|D63_ref-D63_head|、|D64_ref-D64_head|、以及|D65_ref-D65_head|均在预设误差范围内。
再例如,在利用最靠近的第一基准位置和第二基准位置选定的情况下,第一基准位置和第二基准位置均可以为至少三个,并且,可以选定至少两个最靠近的第一基准位置和第二基准位置,从而,根据确定的最靠近的第一基准位置和第二基准位置,可以确定与人脸识别失败的人头位置P_h_2相匹配的参考识别位置P_ref_2,其中,确定的参考识别位置P_ref_2的最靠近的两个第一基准位置P_ref_3和P_ref_4与人脸识别失败的人头位置P_h_2的最靠近的两个第二基准位置P_ref_3和P_ref_4相同;以及,确定与人脸识别失败的人头位置P_h_6相匹配的参考识别位置P_ref_6,其中,确定的参考识别位置P_ref_6的最靠近的两个第一基准位置P_ref_4和P_ref_5与人脸识别失败的人头位置P_h_6的最靠近的两个第二基准位置P_ref_4和P_ref_5相匹配(例如相同)。
最后,将选定的参考识别位置P_ref_2处的人员身份M_ID_2确定为人脸识别失败的人头位置P_h_2处的人员身份、参考识别位置P_ref_6处的人员身份M_ID_6确定为人脸识别失败的人头位置P_h_6处的人员身份。
另外,摄像机10可以进一步将在场景图像中确定的人头位置的总数传输至数据处理设备20,通过将摄像机10上报的人头位置的总数与预设的全勤数量进行比对,可以判定出当前考勤记录中的签到信息的数量是否有可能达到全勤数量。在如图6所示流程应用在考勤管理的应用场景的情况下(即,进一步包括如图4所示流程中的S420、并且S650可以与如图4所示流程中的S450基本相同),若摄像机10上报的人头位置的总数等于预设的全勤数量,则在S610之后可以进一步包括;在当前考勤记录中的签到信息的数量达到预设的全勤数量的情况下,保存当前考勤记录作为参考考勤记录。
图11为如图3所示方法基于定点补拍发起身份检测的第二优选流程示意图。请参见图11,该方法的第二优选流程可以包括如下步骤:
S1110:获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果。其中,对步骤S1110的具体说明可以详见S310,在此不再赘述。
S1130:在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,产生以人脸识别失败的人头位置为目标的抓拍指令。
若人头位置P_glb为人头在场景全景图像中的图像坐标(x_glb,y_glb),则,步骤S1130产生的抓拍指令中可以携带场景全景图像中的图像坐标(x_glb,y_glb),相应地,摄像机10可以在重新拍摄场景全景图像后,将根据抓拍指令中的图像坐标(x_glb,y_glb)截取得到的截图图像作为抓拍图像,或者,摄像机10也可以根据图像坐标(x_glb,y_glb)计算对焦人头在PTZ坐标系中的坐标点、并利用坐标点拍摄得到抓拍图像。
若人头位置P_area为人头在场景局部图像中的图像坐标(x_area,y_area),则,步骤S1130产生的抓拍指令中可以携带人脸识别失败的人头位置P_area在场景局部图像中的图像坐标(x_area,y_area)、以及该人头位置P_area所属场景局部图像的预置点位(由摄像机10在传输人头位置时上报),相应地,摄像机10可以根据抓拍指令中的预置点位重新拍摄该人头位置P_area所属的场景局部图像、并将根据抓拍指令中的图像坐标(x_area,y_area)截取得到的截图图像作为抓拍图像,或者,摄像机10也可以根据图像坐标(x_area,y_area)计算对焦人头在PTZ坐标系中的坐标点、并利用坐标点调节预置点位后拍摄得到抓拍图像。
S1140:获取对响应于抓拍指令而拍摄到的抓拍图像的人脸识别结果,并且根据获取到的人脸识别结果确定对人脸识别失败的人头位置处的身份检测结果。
上述的S1130和S1140可以可以是如图3所示流程中的S330发起的对人脸识别失败的人头位置处的身份检测的一种替代方式(替代如图6所示流程中的S631、S633以及S635)。
S1150:记录对人脸识别失败的人头位置处的身份检测结果。
在上述流程中,S1130和S1150可以不是必然执行的步骤,即,若不存在人脸识别失败的人脸识别结果,则可以在不执行S1130和S1150的情况下结束上述流程,但若存在人脸识别失败的人脸识别结果,则可以在S1150之后结束上述流程。
如前文所述,基于记录查询的身份检测、以及基于对人脸识别失败的人头位置处定点补拍的身份检测可以组合,在组合时,能够以其中任意一个为主、另一个为辅。
例如,在以基于记录查询的身份检测为主、以基于对人脸识别失败的人头位置处定点补拍的身份检测为辅的情况下,若发起身份检测时尚未不存在参考考勤记录,则可以先使用基于对人脸识别失败的人头位置处定点补拍的身份检测,直至存在可以查询到的参考考勤记录,例如,在可查询的存储位置存入人工录入或其他任意方式生成的参考考勤记录,或者:如图11所示流程中的S1110之后,在任意人头位置处的人脸识别结果表示人脸识别成功的情况下,可以进一步在当前考勤记录中录入包含该人头位置和/或在该人头位置处成功识别出的人员身份的签到信息(关于签到信息的说明可以参见如图4所示流程的S420),并且如图11所示流程中的S1150可以在对任意人头位置处的抓拍图像的人脸识别结果表示人脸识别成功的情况下,在当前考勤记录中补录包含该人头位置和/或在该人头位置处成功识别出的人员身份的签到信息(关于补录的签到信息的说明可以参见如图4所示流程的S450),由此,在当前考勤记录中的签到信息的数量达到全勤数量时,即可将当前考勤记录作为参考考勤记录。
若原本可以查询到的参考考勤记录在发起身份检测之前丢失(例如由于人为误操作被删除、或更改访问路径),则可以暂时使用基于对人脸识别失败的人头位置处定点补拍的身份检测作为替代方式,直至参考考勤记录恢复可查询的状态。恢复参考考勤记录的方式,既可以采用在可查询的存储位置重新存入参考考勤记录的方式,或者,也可以通过前段所述的方式将签到信息的数量达到全勤数量的当前考勤记录作为参考考勤记录存入可查询的存储位置。
再例如,在以基于对人脸识别失败的人头位置处定点补拍的身份检测为主、以基于记录查询的身份检测为辅的情况下,若通过连续预设次数的定点补拍仍无法确定人脸识别失败的人头位置处的人员身份(该在场人员可能长时间处于诸如趴卧等不当坐姿、或有意图地遮挡其脸部),则可以启用基于记录查询的身份检测。
由于人脸识别失败与图像中是否呈现足够的人脸特征有关,而基于记录查询的身份检测不具有对图像的依赖性,因此,相比于与图像关联的定点抓拍,基于记录查询的身份检测能够更加有效地弥补由于图像中的人脸特征缺陷所导致的人脸识别失败。因此,优选地,以基于记录查询的身份检测为主、以基于对人脸识别失败的人头位置处定点补拍的身份检测为辅。
图12为如图3所示方法基于记录查询和定点补拍发起身份检测的第三优选流程示意图。请参见图12,该方法的第三优选流程可以包括如下步骤:
S1210:获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果。其中,对步骤S1210的具体说明可以详见S310,在此不再赘述。
S1230:在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,查询参考考勤记录,其中,若查询成功,则执行S1231~S1235,否则执行S1237~S1239。
S1231:在查询参考考勤记录成功的情况下,确定参考考勤记录中包括的目标场景内的应到人员的人员身份,并且,根据人脸识别结果确定成功识别出的人员身份。其中,参考考勤记录可以是预先录入的全勤记录,或者也可以是在执行当前流程之前记录的历史全勤记录。并且,参考考勤记录中可以包括所有应到人员的人员身份、以及每个应到人员的人员身份在目标场景中的参考识别位置。
S1233:通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定未识别的人员身份。
S1235:利用未识别的人员身份,确定人脸识别失败的人头位置处的人员身份。
S1237:在查询参考考勤记录失败的情况下,产生以人脸识别失败的人头位置为目标的抓拍指令。其中,本步骤产生的抓拍指令,可以与如图11所示的S1130基本相同。
S1239:获取对响应于抓拍指令而拍摄到的抓拍图像的人脸识别结果,并且根据获取到的人脸识别结果确定对人脸识别失败的人头位置处的身份检测结果。
S1250:记录对人脸识别失败的人头位置处的身份检测结果。
在上述流程中,S1230~S1239和S1250可以不是必然执行的步骤,即若不存在人脸识别失败的人脸识别结果,则可以在不执行S1230~S1239和S1250的情况下结束上述流程,但若存在人脸识别失败的人脸识别结果,则可以在执行S1230~S1235和S1250、或执行S1230和S1237~S1239及S1250后结束上述流程。
如前文所述,S1237可以是在例如尚不存在参考考勤记录、或存在的参考记录被误删除等情况下被触发的,若在上述流程中执行了S1230和S1237~S1239以及S1250之后,在可查询的存储位置重新存入了参考考勤记录,或者,通过将签到信息的数量达到全勤数量的当前考勤记录作为参考考勤记录存入可查询的存储位置,则,在下次执行上述流程时就有可能执行S1230~S1235和S1250。
图13为另一个实施例中用于检测在场人员的装置的示例性结构示意图。请参见图13,在该实施例中,用于检测在场人员的装置可以包括:
信息获取模块1310,用于获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果;
失败补检模块1320,用于在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,发起对人脸识别失败的人头位置处的身份检测;
结果记录模块1330,用于记录对人脸识别失败的人头位置处的身份检测结。
其中,失败补检模块1320和结果记录模块1330可以不是必然运行的模块,即,若不存在人脸识别失败的人脸识别结果,则可以在不运行失败补检模块1320和结果记录模块1330的情况下结束对在场人员的检测,但若存在人脸识别失败的人脸识别结果,则可以在运行失败补检模块1320和结果记录模块1330之后结束上述流程。
基于上述装置,通过获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果,能够实现以人头位置定位在场人员的无感检测,并且,在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,通过发起对人脸识别失败的人头位置处的身份检测,能够实现以人头位置为定位目标的身份检测,从而,能够支持对无感检测中识别失败的人员身份的自动补检。
在基于记录查询发起身份检测的情况下,失败补检模块1320可以包括:
身份识别子模块,用于确定参考考勤记录中包括的目标场景内的应到人员的人员身份,并且根据人脸识别结果确定成功识别出的人员身份;例如,身份识别子模块可以确定包围人脸识别失败的人头位置的搜索范围,该搜索范围在目标场景的坐席行列方向上分别具有至少两行和至少两列的范围跨度,并且,身份识别子模块可以从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中,筛选出落入在搜索范围内的参考识别位置处的人员身份,并且根据人脸识别结果确定落入在搜索范围内人脸识别成功的人头位置处的人员身份。
身份比对子模块,用于通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定未识别的人员身份,例如,在身份识别子模块确定搜索范围的情况下,身份比对子模块可以通过将筛选出的落入在搜索范围内的参考识别位置处的人员身份与确定的落入在搜索范围内的人头位置处的人员身份进行比对来得到未识别的人员身份。
身份确定子模块,用于利用未识别的人员身份,确定人脸识别失败的人头位置处的人员身份。其中,在未识别的人员身份的数量与人脸识别失败的人头位置的数量相等的情况下,身份确定子模块可以将未识别的人员身份确定为人脸识别失败的人头位置处的人员身份;在未识别的人员身份的数量多于人脸识别失败的人头位置的数量的情况下,身份确定子模块可以从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中确定未识别的人员身份的参考识别位置,并且,通过对未识别的人员身份的参考识别位置与人脸识别失败的人头位置进行位置匹配,从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份。
优选地,身份确定子模块可以确定未识别的人员身份的参考识别位置相对于至少两个第一基准位置的参考偏移距离、以及人脸识别失败的人头位置相对于至少两个第二基准位置的人头偏移距离,其中,至少两个第一基准位置对应的至少两个人员身份与至少两个第二基准位置对应的至少两个人员身份相同;利用参考偏移距离和人头偏移距离,从未识别的人员身份的参考识别位置中选定与人脸识别失败的人头位置相匹配的参考识别位置;将选定的参考识别位置处的人员身份确定为人脸识别失败的人头位置处的人员身份。其中,身份确定子模块可以进一步用于从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中选取成功识别出的至少两个人员身份的参考识别位置作为至少两个第一基准位置,并且根据人脸识别结果选取至少两个成功识别出的人员身份的人头位置作为至少两个第二基准位置;或者,从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中选取成功识别出的至少两个人员身份的参考识别位置作为至少两个第一基准位置和至少两个第二基准位置;或者,根据人脸识别结果选取至少两个成功识别出的人员身份的人头位置作为至少两个第一基准位置和至少两个第二基准位置。
例如,身份确定子模块利用参考偏移距离和人头偏移距离从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份,可以采用如下方式:
对参考偏移距离与人头偏移距离进行长度匹配;根据长度匹配的结果,确定与人脸识别失败的人头位置相匹配的参考识别位置,其中,确定的参考识别位置相对于每个第一基准位置的参考偏移距离与人头位置相对于每个与第一基准位置对应的第二基准位置的人头偏移距离之间的长度误差均在预设误差范围内;或者,
利用同一参考识别位置相对于不同第一基准位置的参考偏移距离之间的距离差,确定至少两个第一基准位置中与未识别的人员身份的参考识别位置最靠近的一个第一基准位置;利用同一人头位置相对于不同第二基准位置的人头偏移距离之间的距离差,确定至少两个第二基准位置中与人脸识别失败的人头位置最靠近的一个第二基准位置;根据确定的最靠近的第一基准位置和第二基准位置,确定与人脸识别失败的人头位置相匹配的参考识别位置,其中,确定的参考识别位置的最靠近的第一基准位置与人脸识别失败的人头位置的最靠近的第二基准位置的位置匹配。
在基于定点补拍发起身份检测的情况下,失败补检模块1320可以包括:抓拍触发子模块,用于在查询参考考勤记录失败的情况下,产生以人脸识别失败的人头位置为目标的抓拍指令。
在基于记录查询、并辅以定点补拍发起身份检测的情况下,失败补检模块1320可以进一步包括:记录查询子模块,用于在获取查询到的参考考勤记录中包括的目标场景内的应到人员的人员身份之前,查询参考考勤记录;抓拍触发子模块,用于在查询参考考勤记录失败的情况下,产生以人脸识别失败的人头位置为目标的抓拍指令。
在上述装置应用于考勤管理的情况下,结果记录模块1330在失败补检模块发起对人脸识别失败的人头位置处的身份检测之前,可以进一步用于在任意人头位置处的人脸识别结果表示人脸识别成功的情况下,在当前考勤记录中录入包含该人头位置和/或在该人头位置处成功识别出的人员身份的签到信息;并且,在确定出人脸识别失败的人头位置处的人员身份的情况下,结果记录模块1350可以通过在当前考勤记录中补录包含该人头位置和/或在该人头位置处成功确定的人员身份的签到信息,实现对人脸识别失败的人头位置处的身份检测结果的记录。
在上述装置应用于人员监测的情况下,结果记录模块1350可以通过将该人头位置和/或在该人头位置处成功检测出的人员身份写入用于多媒体呈现的缓存中、或录入异常行为记录中,实现对人脸识别失败的人头位置处的身份检测结果记录。
图14为另一个实施例中的一种数据处理设备的示例性结构示意图。请参见图14,图1中示出的数据处理设备20可以包括处理器1410,用于执行如前述实施例中所述的方法。并且,该数据处理设备20还可以包括:通信模组1420,用于与部署在目标场景的摄像机10通信连接(有线或无线方式);非瞬时计算机可读存储介质1430,该非瞬时计算机可读存储介质1430可以存储指令,其中一部分指令在由处理器1410执行时使得处理器1410执行如前述实施例中所述的方法。
在由数据处理设备20执行人脸识别的情况下,该数据处理设备20还可以进一步包括:用于人脸识别的智能芯片1440,该智能芯片1440的处理性能高于处理器1410。相应地,非瞬时计算机可读存储介质1430中还有一部分指令在由智能芯片1440执行时可以使得智能芯片1440执行人脸识别。
另外,该数据处理设备20还可以进一步包括:磁盘介质1450,可以用于存储参考考勤记录和当前考勤记录、和/或异常行为记录、和/或用于存储供智能芯片1440进行人脸识别的人脸样本库;缓存介质1460,至少可以用于在人脸识别失败的人头位置处的身份检测结果表示成功检测出人员身份的情况下,写入该人头位置和/或在该人头位置处成功检测出的人员身份,以供多媒体呈现。
在另一个实施例中还提供了一种非瞬时计算机可读存储介质,该非瞬时计算机可读存储介质可以存储指令,其中一部分指令在由处理器(例如图14中所示的处理器1410或其他任意处理器)执行时使处理器执行如前述实施例中所述的方法。
在又一个实施例中还提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,可以使得计算机执行如前述实施例所述的方法。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (14)
1.一种用于检测在场人员的方法,其特征在于,包括:
获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果,人头位置是通过对场景图像进行人头检测确定得到的;
在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,发起对人脸识别失败的人头位置处的身份检测;
记录对人脸识别失败的人头位置处的身份检测结果;
其中,发起对人脸识别失败的人头位置处的身份检测,包括:
确定参考考勤记录中包括的目标场景内的应到人员的人员身份,并且,根据人脸识别结果确定成功识别出的人员身份;
通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定目标场景内的未识别的人员身份;
基于人脸识别失败的人头位置与未识别的人员身份在参考考勤记录中对应的参考识别位置的位置匹配,确定人脸识别失败的人头位置处的人员身份。
2.根据权利要求1所述的方法,其特征在于,
确定参考考勤记录中包括的目标场景内的应到人员的人员身份,并且,根据人脸识别结果确定成功识别出的人员身份,包括:确定包围人脸识别失败的人头位置的搜索范围,其中,该搜索范围在目标场景的坐席行列方向上分别具有至少两行和至少两列的范围跨度;根据参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置,筛选出落入在搜索范围内的参考识别位置处的人员身份,并且根据人脸识别结果确定落入在搜索范围内人脸识别成功的人头位置处的人员身份;
通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定未识别的人员身份,包括:将筛选出的落入在搜索范围内的参考识别位置处的人员身份与确定的落入在搜索范围内的人头位置处的人员身份进行比对,得到未识别的人员身份。
3.根据权利要求1所述的方法,其特征在于,基于人脸识别失败的人头位置与未识别的人员身份在参考考勤记录中对应的参考识别位置的位置匹配,确定人脸识别失败的人头位置处的人员身份,包括:
在未识别的人员身份的数量多于人脸识别失败的人头位置的数量的情况下,从参考考勤记录包括的应到人员的人员身份在目标场景内的参考识别位置中确定未识别的人员身份的参考识别位置,并且,通过对未识别的人员身份的参考识别位置与人脸识别失败的人头位置进行位置匹配,从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份。
4.根据权利要求3所述的方法,其特征在于,通过对未识别的人员身份的参考识别位置与人脸识别失败的人头位置进行位置匹配,从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份,包括:
确定未识别的人员身份的参考识别位置相对于至少两个第一基准位置的参考偏移距离、以及人脸识别失败的人头位置相对于至少两个第二基准位置的人头偏移距离,其中,至少两个第一基准位置对应的至少两个人员身份与至少两个第二基准位置对应的至少两个人员身份相同;
利用参考偏移距离和人头偏移距离,从未识别的人员身份的参考识别位置中选定与人脸识别失败的人头位置相匹配的参考识别位置;
将选定的参考识别位置处的人员身份确定为人脸识别失败的人头位置处的人员身份。
5.根据权利要求1所述的方法,其特征在于,
确定参考考勤记录中包括的目标场景内的应到人员的人员身份之前,发起对人脸识别失败的人头位置处的身份检测进一步包括:查询参考考勤记录;
在查询参考考勤记录之后,发起对人脸识别失败的人头位置处的身份检测进一步包括:在查询参考考勤记录失败的情况下,产生以人脸识别失败的人头位置为目标的抓拍指令。
6.根据权利要求1所述的方法,其特征在于,
该方法还包括:在任意人头位置处的人脸识别结果表示人脸识别成功的情况下,在当前考勤记录中录入包含该人头位置和/或在该人头位置处成功识别出的人员身份的签到信息;
记录对人脸识别失败的人头位置处的身份检测结果,包括:在确定出人脸识别失败的人头位置处的人员身份的情况下,在当前考勤记录中补录包含该人头位置和/或在该人头位置处成功确定的人员身份的签到信息。
7.一种用于检测在场人员的装置,其特征在于,包括:
信息获取模块,用于获取目标场景的场景图像中的人头位置、以及人头位置处的人脸识别结果,人头位置是通过对场景图像进行人头检测确定得到的;
失败补检模块,用于在任意人头位置处的人脸识别结果表示人脸识别失败的情况下,发起对人脸识别失败的人头位置处的身份检测;
结果记录模块,用于记录对人脸识别失败的人头位置处的身份检测结果;
其中,失败补检模块包括:
身份识别子模块,用于确定参考考勤记录中包括的目标场景内的应到人员的人员身份,并且,根据人脸识别结果确定成功识别出的人员身份;
身份比对子模块,用于通过将应到人员的人员身份与成功识别出的人员身份进行比对,确定目标场景内的未识别的人员身份;
身份确定子模块,用于基于人脸识别失败的人头位置与未识别的人员身份在参考考勤记录中对应的参考识别位置的位置匹配,确定人脸识别失败的人头位置处的人员身份。
8.根据权利要求7所述的装置,其特征在于,身份识别子模块进一步用于确定包围人脸识别失败的人头位置的搜索范围,其中,该搜索范围在目标场景的坐席行列方向上分别具有至少两行和至少两列的范围跨度;根据参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置,筛选出落入在搜索范围内的参考识别位置处的人员身份,并且根据人脸识别结果确定落入在搜索范围内人脸识别成功的人头位置处的人员身份,以供身份比对子模块将筛选出的落入在搜索范围内的参考识别位置处的人员身份与确定的落入在搜索范围内的人头位置处的人员身份进行比对,得到未识别的人员身份。
9.根据权利要求7所述的装置,其特征在于,在未识别的人员身份的数量多于人脸识别失败的人头位置的数量的情况下,身份确定子模块以如下方式确定人脸识别失败的人头位置处的人员身份:
从参考考勤记录进一步包括的应到人员的人员身份在目标场景内的参考识别位置中确定未识别的人员身份的参考识别位置,并且,通过对未识别的人员身份的参考识别位置与人脸识别失败的人头位置进行位置匹配,从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份。
10.根据权利要求9所述的装置,其特征在于,身份确定子模块以如下方式从未识别的人员身份中选定人脸识别失败的人头位置处的人员身份,包括:
确定未识别的人员身份的参考识别位置相对于至少两个第一基准位置的参考偏移距离、以及人脸识别失败的人头位置相对于至少两个第二基准位置的人头偏移距离,其中,至少两个第一基准位置对应的至少两个人员身份与至少两个第二基准位置对应的至少两个人员身份相同;
利用参考偏移距离和人头偏移距离,从未识别的人员身份的参考识别位置中选定与人脸识别失败的人头位置相匹配的参考识别位置;
将选定的参考识别位置处的人员身份确定为人脸识别失败的人头位置处的人员身份。
11.根据权利要求7所述的装置,其特征在于,
失败补检模块进一步包括:
记录查询子模块,用于在获取查询到的参考考勤记录中包括的目标场景内的应到人员的人员身份之前,查询参考考勤记录;抓拍触发子模块,用于在查询参考考勤记录失败的情况下,产生以人脸识别失败的人头位置为目标的抓拍指令记录查询子模块,用于查询参考考勤记录,其中,根据参考考勤记录包括目标场景内的应到人员的人员身份、以及各应到人员的人员身份在目标场景内的参考识别位置,筛选出落入在搜索范围内的参考识别位置处的人员身份,是由身份识别子模块在记录查询子模块成功查询到参考考勤记录之后执行的;
抓拍触发子模块,用于在查询参考考勤记录失败的情况下,产生以人脸识别失败的人头位置为目标的抓拍指令。
12.根据权利要求7所述的装置,其特征在于,
结果记录模块在失败补检模块发起对人脸识别失败的人头位置处的身份检测之前,进一步用于在任意人头位置处的人脸识别结果表示人脸识别成功的情况下,在当前考勤记录中录入包含该人头位置和/或在该人头位置处成功识别出的人员身份的签到信息;
并且,在确定出人脸识别失败的人头位置处的人员身份的情况下,结果记录模块通过在当前考勤记录中补录包含该人头位置和/或在该人头位置处成功确定的人员身份的签到信息,实现对人脸识别失败的人头位置处的身份检测结果的记录。
13.一种数据处理设备,其特征在于,包括:
处理器,用于执行如权利要求1至6中任一项所述的方法。
14.一种非瞬时计算机可读存储介质,所述非瞬时计算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010534454.2A CN111680649B (zh) | 2020-06-12 | 2020-06-12 | 用于检测在场人员的方法和装置以及数据处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010534454.2A CN111680649B (zh) | 2020-06-12 | 2020-06-12 | 用于检测在场人员的方法和装置以及数据处理设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111680649A CN111680649A (zh) | 2020-09-18 |
CN111680649B true CN111680649B (zh) | 2023-10-24 |
Family
ID=72454695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010534454.2A Active CN111680649B (zh) | 2020-06-12 | 2020-06-12 | 用于检测在场人员的方法和装置以及数据处理设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111680649B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011193392A (ja) * | 2010-03-16 | 2011-09-29 | Ricoh Co Ltd | ビデオ会議装置 |
CN107679514A (zh) * | 2017-10-20 | 2018-02-09 | 维沃移动通信有限公司 | 一种人脸识别方法及电子设备 |
CN108765610A (zh) * | 2018-05-14 | 2018-11-06 | 北京洛斯达数字遥感技术有限公司 | 用于输电线路工程现场的考勤管理方法 |
CN108830180A (zh) * | 2018-05-25 | 2018-11-16 | 讯飞幻境(北京)科技有限公司 | 电子考勤方法、装置及电子设备 |
CN108876276A (zh) * | 2017-06-02 | 2018-11-23 | 北京旷视科技有限公司 | 基于人脸识别的自动考勤方法及装置 |
WO2019096008A1 (zh) * | 2017-11-20 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 身份识别方法、计算机设备及存储介质 |
CN110211251A (zh) * | 2019-04-26 | 2019-09-06 | 珠海格力电器股份有限公司 | 一种人脸识别方法、装置、存储介质及人脸识别终端 |
CN110443198A (zh) * | 2019-08-06 | 2019-11-12 | 中国工商银行股份有限公司 | 基于人脸识别的身份识别方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9123031B2 (en) * | 2013-04-26 | 2015-09-01 | Airwatch Llc | Attendance tracking via device presence |
TWI563463B (en) * | 2014-05-26 | 2016-12-21 | Mitake Information Corp | System and method of mobile check-in and a cloud system thereof |
WO2018215829A1 (en) * | 2017-05-22 | 2018-11-29 | Creavision Technologies Ltd. | Systems and methods for user detection, identification, and localization with in a defined space |
-
2020
- 2020-06-12 CN CN202010534454.2A patent/CN111680649B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011193392A (ja) * | 2010-03-16 | 2011-09-29 | Ricoh Co Ltd | ビデオ会議装置 |
CN108876276A (zh) * | 2017-06-02 | 2018-11-23 | 北京旷视科技有限公司 | 基于人脸识别的自动考勤方法及装置 |
CN107679514A (zh) * | 2017-10-20 | 2018-02-09 | 维沃移动通信有限公司 | 一种人脸识别方法及电子设备 |
WO2019096008A1 (zh) * | 2017-11-20 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 身份识别方法、计算机设备及存储介质 |
CN108765610A (zh) * | 2018-05-14 | 2018-11-06 | 北京洛斯达数字遥感技术有限公司 | 用于输电线路工程现场的考勤管理方法 |
CN108830180A (zh) * | 2018-05-25 | 2018-11-16 | 讯飞幻境(北京)科技有限公司 | 电子考勤方法、装置及电子设备 |
CN110211251A (zh) * | 2019-04-26 | 2019-09-06 | 珠海格力电器股份有限公司 | 一种人脸识别方法、装置、存储介质及人脸识别终端 |
CN110443198A (zh) * | 2019-08-06 | 2019-11-12 | 中国工商银行股份有限公司 | 基于人脸识别的身份识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111680649A (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11321947B2 (en) | Information processing apparatus, information processing method, and information processing program | |
CN109886078B (zh) | 目标对象的检索定位方法和装置 | |
JP5255595B2 (ja) | 端末位置特定システム、及び端末位置特定方法 | |
US20090040302A1 (en) | Automated surveillance system | |
US20070228159A1 (en) | Inquiry system, imaging device, inquiry device, information processing method, and program thereof | |
WO2006054598A1 (ja) | 顔特徴照合装置、顔特徴照合方法、及びプログラム | |
US8687853B2 (en) | Method, system and computer-readable recording medium for providing service using electronic map | |
US10999556B2 (en) | System and method of video capture and search optimization | |
JP2006330908A (ja) | 位置記録装置及び位置記録方法 | |
CN105898107A (zh) | 一种目标物体抓拍方法及系统 | |
JP2007328572A (ja) | 顔認証装置および顔認証方法 | |
CN111159459B (zh) | 地标定位方法、装置、计算机设备以及存储介质 | |
KR102028319B1 (ko) | 연관 영상 제공장치 및 방법 | |
US11100656B2 (en) | Methods circuits devices systems and functionally associated machine executable instructions for image acquisition identification localization and subject tracking | |
CN111680649B (zh) | 用于检测在场人员的方法和装置以及数据处理设备 | |
KR101990823B1 (ko) | 얼굴정보를 이용한 위치 추정 및 신원 관리 방법, 프로그램 및 장치 | |
JP2020071511A (ja) | 在庫管理装置、及び、プログラム | |
KR101775153B1 (ko) | 표적 훈련 시스템 및 이를 이용한 표적 훈련 분석 방법 | |
US20110149089A1 (en) | System and method for generating an image appended with landscape information | |
JP2007316876A (ja) | 文書検索プログラム | |
CN112131915A (zh) | 人脸考勤系统以及摄像机和码流设备 | |
JP7102383B2 (ja) | 路面画像管理システム及びその路面画像管理方法 | |
US11967107B2 (en) | Information processing apparatus and method of estimating position and orientation of image capturing apparatus | |
JPWO2008149507A1 (ja) | 対象同定装置、データ処理方法、コンピュータプログラム | |
CN109492513A (zh) | 光场监控的人脸空间去重方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |