CN113111846A - 基于人脸识别的就诊方法、装置、设备及存储介质 - Google Patents
基于人脸识别的就诊方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113111846A CN113111846A CN202110476686.1A CN202110476686A CN113111846A CN 113111846 A CN113111846 A CN 113111846A CN 202110476686 A CN202110476686 A CN 202110476686A CN 113111846 A CN113111846 A CN 113111846A
- Authority
- CN
- China
- Prior art keywords
- verified
- information
- image
- living body
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000001514 detection method Methods 0.000 claims abstract description 121
- 238000011282 treatment Methods 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012795 verification Methods 0.000 claims description 91
- 230000004044 response Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 description 33
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000032625 disorder of ear Diseases 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011277 treatment modality Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请实施例提供一种基于人脸识别的就诊方法、装置、设备及存储介质,其中,获取画面内容包括待验证对象的人脸图像;基于所述人脸图像,对所述待验证对象进行活体检测和身份识别;响应于所述待验证对象通过所述活体检测和身份识别,确定所述待验证对象为就诊对象或所述就诊对象的关联对象;基于所述就诊对象的身份信息,确定所述就诊对象的待就诊业务;对所述待就诊业务进行处理,得到处理结果。
Description
技术领域
本申请实施例涉及人脸识别技术领域领域,涉及但不限于一种基于人脸识别的就诊方法、装置、设备及存储介质。
背景技术
在相关技术中,在使用挂号机时,需要使用就诊卡(比如,磁条卡、芯片卡或同时具备词条和芯片的混合卡)插入挂号机的读卡器中,再通过密码键盘输入业务办理密码,医院后台系统对客户信息验证通过后,返回相应信息,从而基于人机交互完成交易。这样,使用卡片和密码进行交易身份验证,用户挂号时需要较多的卡、证和其他单据,验密安全性和交易便捷性较差。
发明内容
本申请实施例提供一种基于人脸识别的就诊技术方案。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种基于人脸识别的就诊方法,所述方法包括:
获取画面内容包括待验证对象的人脸图像;基于所述人脸图像,对所述待验证对象进行活体检测和身份识别;响应于所述待验证对象通过所述活体检测和身份识别,确定所述待验证对象为就诊对象或所述就诊对象的关联对象;基于所述就诊对象的身份信息,确定所述就诊对象的待就诊业务;对所述待就诊业务进行处理,得到处理结果。
本申请实施例提供一种基于人脸识别的就诊装置,所述装置包括:
第一获取模块,用于获取画面内容包括待验证对象的人脸图像;第一核验模块,用于基于所述人脸图像,对所述待验证对象进行活体检测和身份识别;第一确定模块,用于响应于所述待验证对象通过所述活体检测和身份识别,确定所述待验证对象为就诊对象;第二确定模块,用于基于所述就诊对象的身份信息,确定所述就诊对象的待就诊业务;第一处理模块,用于对所述待就诊业务进行处理,得到处理结果。
对应地,本申请实施例提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现上述所述的方法步骤。
本申请实施例提供一种基于人脸识别的就诊设备,所述基于人脸识别的就诊设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时能够实现上述方法的步骤。
本申请实施例提供一种基于人脸识别的就诊方法、装置、设备及存储介质,通过获取包含待验证对象的人脸图像,对该待验证对象进行活体检测和身份识别;如果通过活体检测且通过身份识别,那么说明该待验证对象是身份合法的就诊对象;如此通过人脸识别实现对待验证对象的身份验证,能够提升对待验证对象的身份进行核验的效率;并且通过分析该就诊对象的身份信息,可确定出需要处理的就诊业务,从而方便就诊对象操作,能够提升就诊效率。
附图说明
图1为本申请实施例基于人脸识别的就诊方法的实现流程示意图;
图2为本申请实施例提供的基于人脸识别的就诊方法的另一实现流程示意图;
图3为本申请实施例提供的基于人脸识别的就诊方法的实现流程示意图;
图4为本申请实施例提供的基于人脸识别的就诊方法的应用场景示意图;
图5为本申请实施例基于人脸识别的就诊装置的结构组成示意图;
图6为本申请实施例基于人脸识别的就诊设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)活体检测,在一些身份验证场景确定对象真实生理特征的方法,在人脸识别应用中,活体检测能通过眨眼、张嘴、摇头、点头等组合动作,使用人脸关键点定位和人脸追踪等技术,验证用户是否为真实活体本人操作。
2)双目摄像头,包括两个摄像头,两个摄像头可分别用于采集同类型或不同类型的图像。在两个摄像头用于采集同类型图像的情况下,一个摄像头采集彩色图像,另一个摄像头采集近红外图像,或是两个摄像头还可以分别用于采集其他类型的图像,在此不予限定。双目摄像头可根据采集到的一组或多组图像进行人脸识别,即对捕获到的人脸进行识别。比如,可针对眼耳鼻等一些关键特征点进行精确识别定位,并得到各种不同关键特征点之间的距离诸如瞳距、眼睛到嘴或者眼睛到耳的距离等空间信息,从而基于得到的上述空间信息实现活体检测、身份识别等过程,可有效抵御图像、视频等欺诈。
3)人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像序列或视频流,并自动检测图像序列或视频流实现跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术,通常也叫做人像识别、面部识别等。
下面说明本申请实施例提供的基于人脸识别的就诊系统的示例性应用,其中,本申请实施例提供的系统中的电子设备可以实施为具有图像采集功能的笔记本电脑、平板电脑、台式计算机、移动终端(例如,个人数字助理,专用消息设备、前台设备、桌面式人员身份核验终端、手持式人员身份核验终端)等各种类型的就诊设备。
下面,将说明基于人脸识别的就诊的系统实施为就诊设备时示例性应用。
图1为本申请实施例基于人脸识别的就诊方法的实现流程示意图,如图1所示,结合如图1所示步骤进行说明:
步骤S101,获取画面内容包括待验证对象的人脸图像。
待验证对象可以是在医院场景下任意需要进行身份识别的对象,比如,医院的病患、医生、护士、病患家属、医药代表或者其他在医院活动的人。待验证对象还可能是非活体对象,比如,照片中的病患或者病患的身份证。人脸图像为采集的待验证对象的人脸的图像。在一些可能的实现方式中,人脸图像可以是不止包括待验证对象人脸的图像,还可以是包括人脸以及身体其他区域的图像。
在一些可能的实现方式中,采用双目模组对待验证对象进行图像采集,以便于对该待验证对象进行活体检测和身份识别,即步骤101可以通过以下步骤实现:
首先,获取在同一时刻采集的画面内容包括待验证对象的近红外图像,以及画面内容包括待验证对象的彩色图像。然后,将近红外图像和彩色图像,作为人脸图像。
人脸图像可以是通过采用具有双目模组的摄像头进行采集的图像,包括:近红外图像和彩色图像,其中,近红外图像用于检测该待验证对象是否为活体,彩色图像用于对图像中的待验证对象进行身份识别。其中,彩色图像可以是红绿蓝(Red Green Blue,RGB)图像,还可以是其他色彩空间下的图像。比如,YCbCr图像或YUV图像等。其中,YCbCr颜色空间中的Y是亮度通道,Cb是蓝色分量,Cr是红色分量,YUV颜色空间中,Y表示明亮度(Luminance、Luma),也就是灰阶值,U、V表示色度(Chrominance或Chroma),描述的是色调和饱和度。YUV是模拟信号,而YCbCr是数字信号。近红外图像和彩色图像,可以是通过双目模组拍摄的基于人脸识别的进行就诊的对象的视频,通过该视频中的近红外图像,检测该对象的材质,以降低视频、图片、面具或头套类型的攻击,完成活体检测;通过对视频中的彩色图像进行关键点检测,完成对待验证对象的身份信息的识别,能够实现一人一号的实名制挂号。
在一些实施例中,人脸图像还可以是通过采用具有单目模组的摄像头采集得到的图像,当然也可以采用具有活体识别能力的其他类型摄像头采集得到人脸图像。
以就诊设备为挂号机为例,该挂号机具有双目模组的摄像头,在一个例子中(例1),当有人需要进行挂号时,双目模组的摄像头对挂号者进行图像采集,以采集得到至少包括该挂号者的面部的人脸图像,还可以是采集包括该挂号者的面部以及躯体的人脸图像,以便于通过该人脸图像对挂号者进行活体检测和身份识别。在另一例子中(例2),当其他人员拿病患的身份证在该挂号机前进行挂号时,双目模组的摄像头对该身份证上的病患进行图像采集,得到该病患的人脸图像。
步骤S102,基于人脸图像,对待验证对象进行活体检测和身份识别。
在一些实施例中,该人脸图像包括近红外图像和RGB图像,通过双目摄像头中的近红外摄像头采集待验证对象的近红外图像,通过双目摄像头中的RGB摄像头采集待验证对象的RGB图像。在一个具体例子中,假设在医院系统的挂号场景下,通过采集待验证对象的近红外图像,判断待验证对象是否为活体,如果待验证对象是活体,那么说明不是倒票人员利用假证或他人身份证进行挂号的违规操作。当判断待验证对象为活体之后,通过待验证对象的RGB图像对待待验证对象的身份信息进行识别,以判断待验证对象是否为身份合法的病患,即是否为就诊对象。在例1中,通过该人脸图像中的近红外图像对挂号者进行近红外检测,以确定挂号者是否为活体,那么得到的活体检测结果为挂号者是活体,即该待验证对象通过活体检测;然后,继续对该挂号者进行身份识别。在例2中,由于是其他人员(比如,倒票人群)拿病患的身份证进行挂号的,那么采集的近红外图像是针对身份证进行采集的,所以得到的活体检测结果为待验证对象为非活体,那么就无需在继续对该待验证对象进行身份识别。如此,实现了人票一致的挂号方式,能够减少倒票人员倒卖挂号票的现象。
步骤S103,响应于待验证对象通过活体检测和身份识别,确定待验证对象为就诊对象或所述就诊对象的关联对象。
在一些实施例中,通过采用双目摄像头采集的近红外图像判断待验证对象是否为活体;如果待验证对象是活体,说明待验证对象通过活体检测,那么基于采集的RGB图像对该待验证对象进行身份识别,判断待验证对象的身份信息是否包含在预设图像库中,该预设图像库用于存储已经注册过的对象与该对象的人脸图像,即用于存储携带已注册的对象的身份信息的人脸图像。如果待验证对象的身份信息包含在预设图像库中,说明该待验证对象是已经注册过的对象,比如,是已经在这所医院进行就诊过的病患或者是已经基于身份信息和人脸图像注册成功的对象。如果待验证对象的身份信息未包含于预设图像库中,那么进一步判断该待验证对象相关联的就诊对象,并检测该就诊对象是否包含在预设图像库中;如果该就诊对象包含在预设图像库中,那么将该待验证对象确定为就诊对象的关联对象。这样,将该待验证对象确定为就诊对象或就诊对象的关联对象,实现了实名制就诊。
在例1中,如果该挂号者已经是这所医院的病患,即是已注册的对象,那么该挂号者通过活体检测之后,无需进行再次注册,通过基于该挂号者的RGB图像,查找预设图像库中是否存在与该挂号者的RGB图像相识度较高的图像,如果存在,即该挂号者通过身份识别,确定该挂号者为就诊对象。如果该挂号者是首次在这所医院就诊,即是未注册的对象,那么该挂号者通过活体检测之后,需要先进行注册;比如,将该挂号者的身份证与注册信息进行绑定,通过判断该身份证是否为合法身份证,以及该身份证与挂号者的匹配度是否够高,如果该身份证是合法身份证,且该身份证与挂号者的匹配度较高,那么确定该挂号者为就诊对象。基于此,更新预设图像库,以便于下次可以通过更新的预设图像库对该挂号者进行身份识别。
如果该待验证对象为就诊对象的关联对象,通过对该关联对象进行活体检测和身份识别,自动完整该关联对象能够办理的缴费业务或者取药业务等;从而能够提高就诊业务办理的速度和安全性。
步骤S104,基于就诊对象的身份信息,确定就诊对象的待就诊业务。
如果该就诊对象不是首次就诊,那么将在预设图像库中匹配到的与就诊对象相匹配的图像上携带的身份信息,作为该就诊对象的身份信息。身份信息至少包括:就诊对象的姓名、身份标识(比如,身份证号或护照等)、家庭住址和年龄等。待就诊业务包括整个就诊流程中的业务,比如,挂号业务、缴费业务、住院通行业务、复查业务或查看诊疗记录业务等。就诊对象的身份信息与该就诊对象的流程已进行绑定,通过分析就诊对象的身份信息可确定该就诊对象目前所处的就诊阶段,即可确定就诊对象的待就诊业务。
在一个具体例子中,如果按照就诊对象的身份信息与就诊流程的对应关系,确定出就诊对象当前处于挂号阶段,那么待就诊业务即为就诊对象挂号。如果按照就诊对象的身份信息与就诊流程的对应关系,确定出就诊对象当前处于住院阶段,那么待就诊业务即为通过对就诊对象进行身份识别,允许就诊对象进入住院部。如果按照就诊对象的身份信息与就诊流程的对应关系,确定出就诊对象处于复查阶段,那么可以通过对就诊对象进行身份识别后,基于该就诊对象的身份信息查看该就诊对象的诊疗记录,以便于进行有针对性的复查。
步骤S105,对待就诊业务进行处理,得到处理结果。
通过分析就诊对象的待就诊业务之后,可以根据待就诊业务的类型,对该待就诊业务进行处理。其中,待就诊业务的类型包括:缴费类型(比如,挂号缴费和医药费缴费等)或信息输出类型(比如,诊疗记录单或者挂号单据等)等。对于缴费类型的待就诊业务,则将携带缴费信息的图像输出给客户端,以使客户端基于该图像完成缴费;对于信息输出类型的待就诊业务,则将携带需要输出的信息的图像或者以文本形式,输出为客户端,以供就诊对象查阅。如此,针对不同类型的待就诊业务,采用不同的方式进行处理,从而能够提高就诊效率。
在本申请实施例中,通过人脸识别实现对待验证对象的身份验证,能够提升对待验证对象的身份进行核验的效率,且通过分析该就诊对象的身份信息,可确定出需要处理的就诊业务,既方便用户操作,还能够提升就诊效率。
为进一步提高对待验证对象身份的识别准确度,在步骤S104之后,还包括以下过程:
第一步,确定待就诊业务的业务类型。
在一些实施例中,待就诊业务的业务类型至少包括:挂号类和缴费类。
第二步,确定与业务类型相匹配的核验信息。
在一些实施例中,确定与业务类型相匹配的核验信息之后,输出提示信息,以提示就诊对象按照该核验信息进行再次核验;比如,将提示信息显示在就诊设备的显示界面上,或者将提示信息发送者就诊对象的终端。与业务类型相匹配的核验信息用于表征针对该待就诊业务,需要对就诊对象进行核验的条件,比如,与挂号类待就诊业务相匹配的核验信息包括:就诊对象的身份证明证件(身份证或者护照等)或就诊对象的病例证明等。与缴费类待就诊业务相匹配的核验信息包括:就诊对象的银行卡验证信息(比如,手机验证码或者银行卡密码等)。
第三步,响应于就诊对象满足核验信息,对待就诊业务进行处理,得到处理结果。
就诊对象满足核验信息表明就诊对象能够提供满足核验信息的素材;比如,以待就诊业务为挂号类待就诊业务为例,如果就诊对象能够提供合法的身份证,那么确定就诊对象通过核验。以待就诊业务为缴费类待就诊业务为例,如果就诊对象能够提供有效的短信验证码,那么确定就诊对象通过核验。这样,在就诊对象通过再次核验之后,对待就诊业务进行处理,从而能够提高业务处理的安全性。
在其他实施例中,如果就诊对象不满足核验信息,比如,针对缴费类待就诊业务,就诊对象不能够提供有效的验证码等验证类信息,那么确定该就诊对象未通过核验,输出核验未通过信息,并对该就诊对象的身份进行记录,如果该就诊对象出现不同日期的多次核验未通过的情况,那么将该就诊对象的身份信息存储在黑名单中。
对于人脸比对成功的就诊对象,按照待就诊业务的类型进行下一步的核验,在核验通过的情况下,对待就诊业务进行处理,从而能够进一步的提高待验证对象身份核验的准确性。
在采用双目模组摄像头对待验证对象进行图像采集之后,先通过近红外图像进行活体检测,再对待验证对象的身份信息进行识别,即步骤S102,可以通过以下步骤实现,该方法应用于就诊设备,如图2所示,图2为本申请实施例提供的基于人脸识别的就诊方法的另一实现流程示意图,结合图1和2所示的步骤进行以下说明:
步骤S201,基于近红外图像,对待验证对象进行活体检测,得到活体检测结果。
通过双目模组摄像头中的近红外摄像头采集待验证对象的近红外图像,利用人脸肤质的成像与非人脸材质成像特性不同的原理,检测待验证对象的材质,以完成对待验证对象的活体检测。比如,通过对近红外图像中的待验证对象的人脸进行关键点检测,以判断待验证对象是否为活体。
在一些可能的实现方式中,在活体检测结果表征所验证对象为活体的情况下,确定待验证对象通过活体检测。
在一个具体例子中,如果待验证对象是图片或面具,那么通过近红外摄像头分辨出图片和面具的材质与人脸肤质不同,那么确定该待验证对象不是活体对象,说明该待验证对象未通过活体检测。如果待验证对象是人,那么通过近红外摄像头通过分析采集的近红外图像的人脸肤质,确定待验证对象是活体,即说明待验证对象通过活体检测,可进入下一步的身份识别。
步骤S202,在活体检测结果表征待验证对象为活体的情况下,基于彩色图像,对待验证对象进行身份识别。
对待验证对象进行活体检测后,如果检测结果表明待验证对象为活体,那么继续对待验证对象的身份信息进行验证。通过对彩色图像进行特征提取,基于提取的人脸特征,在预设图像库中查找是否与该人脸特征的匹配度较高的预设图像,即在预设图像库中查找与该彩色图像相似度较高的图像,如果能够在预设图像库中查找与该彩色图像相似度较高的图像,那么确定待验证对象通过身份识别,即该待验证对象的身份是合法的,且是已经在该医院注册过的对象。
在一些可能的实现方式中,在对待验证对象进行身份识别的识别结果表征待验证对象的身份信息包含于预设图像库的情况下,确定待验证对象通过身份识别,并确定待验证对象为就诊对象。
预设图像库用于存储包含已核验就诊对象的人脸信息的已核验彩色图像,且已核验彩色图像携带已核验就诊对象的身份信息。如果在预设图像库中查找到待验证对象匹配的预设图像,那么说明待验证对象的身份信息包含于预设图像库,即该待验证对象是已经验证合法的对象,所以将该待验证对象确定为就诊对象。如果在预设图像库中未查找到待验证对象匹配的预设图像,那么说明待验证对象的身份信息未包含于预设图像库,即该待验证对象不是已经验证合法的对象,可对该待验证对象进行二次验证,并向客户端反馈身份识别未通过的提醒信息。
在一个具体例子中,以就诊设备为挂号机为例,该挂号机具有双目模组的摄像头,如果该双目模组摄像头包括:近红外摄像头和RGB摄像头。通过该双目模组的摄像头中的近红外摄像头对待验证对象进行活体检测通过后,基于该RGB摄像头采集待验证对象的RGB图像,通过对RGB图像进行特征提取,基于提取的特征对待验证对象的身份信息进行识别。挂号机的预设图像库即为已经在该挂号机所属医院进行注册过的对象的人脸图像,而且这些人脸图像与已注册过的对象的身份信息是绑定的,该人脸图像可以是包括已注册过的对象的人脸的全身图像,也可以是仅包括已注册过的对象的人脸的图像等。通过在这样的预设图像库中查找与待验证对象的人脸图像相似度较高的图像,实现对待验证对象的身份核验。
上述步骤S201和步骤S202提供了一种实现“基于人脸图像,对所述待验证对象进行活体检测和身份识别”的方式,在该方式中通过采用双目模组的摄像头对待验证对象进行图像采集,在对待验证对象进行活体检测通过之后,核验待验证对象的身份信息,能够使得待验证对象是活体,减少利用视频、图片或面具等进行预约就诊的现象。
在另一些可能的实现方式中,通过以下过程判断该待验证对象是否为就诊对象的关联对象,步骤如下:
第一步,在所述待验证对象通过活体检测且预设图像库中不存在所述待验证对象的身份信息的情况下,基于所述身份信息,确定与所述待验证对象相关联的候选就诊对象。
如果待验证对象的身份信息未包含于预设图像库中,说明该待验证对象不是已经进行人脸信息核验通过的就诊患者,进一步判断该待验证对象是否具有相关联的候选就诊对象。该候选就诊对象可能是包含在预设图像库中已经进行注册的就诊对象,还有可能是未进行注册的其他就诊对象。通过分析待验证对象的身份信息,可以确定该身份信息是否有相关联的就诊对象,即候选就诊对象。比如,待验证对象为病患家属,那么通过分析待验证对象的身份信息,可以确定出其相关联的病患;或者,该待验证对象为医护人员,通过分析医护人员的姓名和所在科室等个人身份信息,确定该医护人员待看诊的病患或者已看诊的病患,该病患即为候选就诊对象。
第二步,在所述预设图像库中存在所述候选就诊对象的身份信息的情况下,确定所述待验证对象为所述候选就诊对象的关联对象。
如果在预设图像库中查找到与候选就诊对象的身份信息相匹配的图像,那么说明候选就诊对象的身份信息包含于预设图像库,即该候选就诊对象是已经验证合法的对象,所以将该候选就诊对象确定为就诊对象;并将待验证对象确定为该就诊对象的关联对象。如此,通过分析待验证对象相关联的候选就诊对象包含于预设图像库中,确定该待验证对象为就诊对象的关联对象,从而既能够提高就诊对象身份的安全性,还便于关联对象对就诊业务进行操作。
在一些可能的实现方式中,在该关联对象为医护人员,且在存在多个看诊患者的情况下,可以根据该医护人员要进行的业务类型,确定在显示界面上呈现哪些病患的信息。在一个具体例子中,如果医护人员是体检医生,需要打印进行体检的人员信息,那么在显示界面上呈现一天内需要该医生进行体检的多个人员信息,以使该人员在显示界面上选择同一时段需要进行体检的人员信息进行打印等。即,可以将这多个患者的信息均呈现于操作界面,以使医护人员手动选择要操作的病患的信息。还可以是,确定当前时刻该医护人员看诊的病患,将该医护人员作为该病患的关联对象。在一个具体例子中,如果医护人员要打印病患的检查单,那么将当前时刻正在看诊的病患作为与该医护人员相关联的就诊对象;将该病患的检查单呈现在操作界面上,以使医护人员打印该病患的检查单。
如果对待验证对象未通过首次活体检测,那么对该待验证对象进行二次活体检测,以提高活体检测的准确度,可以通过以下过程实现:
第一步,在活体检测结果表征待验证对象为非活体的情况下,确定所述待验证对象的面部状态。
如果活体检测结果表明待验证对象为非活体,分析待验证对象的面部状态;该面部状态包括:待验证对象的面部区域的清晰度状态以及遮挡状态;如果待验证对象的面部清晰度不足,也会使得待验证对象不通过活体检测,或者,如果待验证对象的面部被遮挡,也会使得待验证对象不通过活体检测,或者,如果待验证对象为是倒票人员所持的病患的身份证,那么该身份证上的病患是不能通过活体检测的。比如,待验证对象是倒票人员拿病患的身份证进行挂号,采集的该身份证上的人脸图像,那么活体检测结果为待验证对象为非活体。这种情况下,基于该待验证对象当前的面部状态,输出提示信息。在一些可能的实现方式中,如果待验证对象虽然是活体,但是遮挡了面部,那么提示待验证对象去除遮挡;如果待验证对象不是活体(如,图片),那么提示拿活体对象进行验证。为提高活体检测的准确度,对待验证图像进行二次检测,可以是基于已采集的近红外图像重新进行活体检测,还可以是重新采集待验证对象的近红外图像,通过二次采集的近红外图像进行活体检测。
在一个具体例子中,如果待验证对象为普通病患,但是由于该病患戴了口罩,那么首次进行活体检测的时候,会检测失败,并输出提示该病患取下口罩的提示信息,进行二次近红外图像采集,最后,通过二次近红外采集的图像对该病患进行活体检测。
第二步,基于面部状态,生成并输出调整提示信息,以提示待验证对象调整所述面部状态,得到已调整面部状态。
通过对当前的面部状态进行分析,生成并输出提示对象对面部状态进行调整的提示信息,从而得到已调整面部状态。比如,当前的面部状态处于遮挡状态,通过确定遮挡位置,输出提示信息,以提示待验证对象对该遮挡位置进行调整,即去掉遮挡,从而得到未遮挡的面部状态,即已调整面部状态。
第三步,确定与已调整面部状态相匹配的目标近红外图像。
与已调整面部状态相匹配的目标近红外图像可以是第一次进行活体检测时采集到的近红外图像,还可以是重新采集的近红外图像。在一些可能的实现方式中,确定待验证对象的面部状态之后,生成并输出提示信息,以提示待验证对象对当前的面部状态进行调整。在一个具体例子中,如果待验证对象是病患的身份证件,那么在首次进行活体检测之后,该待验证对象未通过活体检测;在显示界面上输出提示信息;由于该身份证件上的病患的面部状态显示是不会发生变化的,所以继续基于上次采集的近红外图像进行二次活体检测,得到更新的活体检测结果。
如果检测到待验证对象的面部状态发生变化,则进行二次近红外图像采集,将重新采集的近红外图像作为目标近红外图像。如果未检测到待验证对象的面部状态发生变化,则不对待验证对象进行二次采集,将已经采集到的近红外图像作为目标近红外图像。在一个具体例子中,如果待验证对象是病患本人,但是面部有遮挡或者第一次进行近红外图像采集时采集的图像不够清晰,那么在首次进行活体检测之后,该待验证对象未通过活体检测;在显示界面上显示提示信息或者向该待验证对象的客户端输出提示信息;如果检测到该待验证对象调整了面部状态(比如,去除遮挡),那么对该待验证对象重新进行近红外图像采集,基于基于重新采集的近红外图像,对待验证对象进行活体检测,得到更新的活体检测结果。
第四步,基于目标近红外图像,对待验证对象进行活体检测,得到更新的活体检测结果。
当检测到待验证对象进行面部状态调整之后,再次采集已调整面部状态的近红外图像,即目标近红外图像,通过对该目标近红外图像进行分析,以实现对待验证对象进行二次活体检测,从而得到更新的活体检测结果。
第五步,在更新的活体检测结果表征待验证对象为非活体的情况下,生成并输出验证失败信息。
基于目标近红外图像对待验证图像进行二次活体检测之后,如果二次活体检测仍然未通过,那么确定该待验证对象认证失败,生成并输出验证失败信息,该验证失败信息可以是输出在就诊设备的显示界面上,还可以是发送至客户端;如果待验证对象通过账号密码的方式登陆该就诊设备,那么将该验证失败信息反馈至该账号绑定的客户端上,如果是待验证对象未登陆该就诊设备,那么将验证失败信息显示在就诊设备的显示界面上。
如果在不同时间点,待验证对象为通过活体检测的次数大于预设次数阈值(比如,10次),那么将该待验证对象放在黑名单中,并且当下一次该待验证对象出现时,该就诊设备输出告警信息,以提示医院管理人员有异常人员出现。或者,如果待验证对象的行为异常,比如,四处为其他病患推荐药品,那么说明该待验证对象可能是医药代表,将该医药代表的彩色图像放在黑名单图像库中,并且当下一次该待验证对象出现时,该就诊设备输出告警信息,以提示医院管理人员有异常人员出现。如此,通过对异常人员的识别,可有效净化就诊环境。
为提高验证的准确率,对待验证对象进行身份识别之前,可以先判断该待验证对象是否为已注册的对象,如果是已注册的对象,即可通过该对象的彩色图像进行身份识别。即在步骤S201之后,还包括以下步骤:
步骤S211,在活体检测结果表征待验证对象为活体的情况下,接收输入的登陆请求。
如果待验证对象为活体,那么呈现登陆界面,以使待验证对象进行登陆。在一些可能的实现方式中,待验证对象在诊疗设备的显示界面上通过手动输入账号和密码的方式进行登陆,或,通过对待验证对象进行人脸识别的方式进行登陆,或者,通过待验证对象的终端向诊疗设备发送的登陆请求。
步骤S212,响应于登陆请求,在账号数据库中查找与登陆请求相匹配的目标账号。
账号数据库用于存储绑定已注册就诊对象的账号,将账号与已注册对象的身份信息进行一一绑定,其中,已注册就诊对象为在该诊疗设备上已经进行实名注册的用户。换言之,对于每一注册的对象,均将该对象的身份信息与注册的账号进行绑定,并按照该绑定关系将身份信息和账号存储在账号数据库中。这样,在接收到登陆请求之后,诊疗设备在该账号数据库中查找与登陆请求相匹配的目标账号。通过在确定待验证对象为活体的情况下,接收输入的登陆请求,并在数据库中查找是否存在该登陆请求的账号,即是否存在目标账号。在一个具体例子中,如果待验证对象为普通病患,且已进行注册,即是所就诊医院的已有病患,说明账号数据库中已经存储了该病患的身份信息和注册的账号,那么基于输入的登陆请求中携带的该病患的账号,或者该病患的身份信息,即可在账号数据库中查找到该病患已注册的目标账号。
如果待验证对象为首次来此医院进行就诊,即未进行注册过,那么在该就诊设备的显示界面上输出提示待验证对象进行注册的提示信息,以使待验证对象基于身份证件和RGB图像进行注册;并且在注册成功之后,将该待验证对象的RGB图像的图像特征和身份信息进行绑定,存储在账号数据库中,以实现对账号数据库的更新。
步骤S213,响应于在账号数据库中查找到目标账号,基于彩色图像,对待验证对象进行身份识别。
如果在账号数据库中查找到目标账号,说明该待验证对象是已经在该就诊设备上进行注册过的用户,那么可直接通过对该待验证对象的彩色图像,对待验证对象进行身份识别。在一些可能的实现方式中,确定待验证对象是已注册的对象之后,通过对彩色图像进行特征提取和关键点检测,在预测图像库中查找是否存在与彩色图像相似度较高的图像,从而确定待验证对象身份的合法性。如此,通过先判断待验证对象是否为已注册过的对象,在确定待验证对象是已注册过的对象之后,再对待验证对象的身份信息进行识别。
上述步骤S211至步骤S213提供了一种实现“在所述活体检测结果表征所述待验证对象为活体的情况下,基于所述彩色图像,对所述待验证对象进行身份识别”的方式,在该方式中,如果检测到待验证对象为活体,接收收入的登陆请求,并通过在账号数据库中查找与该登陆请求匹配的账号,来确定待验证对象是否已经进行注册,针对已注册的对象进行身份识别;从而能够提高身份识别的准确度,防止倒票人群利用假证或他人身份证进行就诊的违规操作。
在步骤S212之后,如果在账号数据库中未能查找到与登陆请求相匹配的目标账号,则执行步骤S214。
步骤S214,响应于在账号数据库中未查找到目标账号,生成并输出提示信息。
如果在账号数据库中未查找到目标账号,说明该对象可能是未进行注册,或者是账号输入错误,或者是输入的账号信息与身份信息不符等。在这种情况下,生成并输出提示信息,以提示该待验证对象进行注册操作,或者是进行重新输入账号等。
步骤S215,响应于输入的身份信息,确定身份信息与待验证对象的彩色图像的相似度。
在诊疗设备的显示界面上输出提示信息,该提示信息可以是提示待验证对象进行注册的信息,还可以是提示待验证对象登陆失败的信息。基于该提示信息,待验证对象可以重新进行登陆,还可以是进行账号注册。输出提示信息之后,接收待验证对象在诊疗设备上输入的身份信息,该身份信息可以是在诊疗设备的显示界面上输入的能够证明用户待验证对象的身份的信息,比如,输入身份证号或者护照号等;还可以是通过诊疗设备的摄像头采集表征用户身份信息的图片,比如,通过诊疗设备的摄像头采集待验证对象提供的身份证或者护照等证件,以获取待验证对象的身份信息。在获取待验证对象的身份信息之后,将该身份信息中携带的人脸特征与采集的待验证对象的彩色图像中的人脸特征进行比对,确定二者的相似度。
在一个具体例子中,以诊疗设备为具有双目摄像头的挂号机为例,如果待验证对象为首次就诊的普通病患,那么首先在挂号机的显示界面上输出提示注册的提示信息,通过挂号机的双目摄像头采集该病患提供的身份证,即可获取该病患的身份信息,比如,身份证号、姓名、年龄、性别、和该身份证号对应的人脸图像等;基于此,将该身份信息与通过挂号机的双目摄像头采集该病患的RGB图像进行人脸比对,以确定该病患提供的身份信息与采集的人脸图像是否相似度较高。
步骤S216,在相似度大于预设相似度阈值的情况下,将输入的注册信息和身份信息进行绑定,得到绑定结果。
如果待验证对象的输入的身份信息中的人脸图像与采集到的该待验证对象实际的彩色图像的相似度较高,说明人证合一;那么首先在显示界面上输出注册界面,以使待验证对象输出注册信息,包括:当前症状和历史疾病等健康情况;然后,将待验证对象输入的注册信息与该待验证对象的身份信息进行绑定,得到绑定结果。
步骤S217,将绑定结果,加入账号数据库。
对于每一个首次进行注册的对象,如果该对象输入的身份信息与诊疗设备采集的人脸图像相似度足够高,那么将其输入的注册信息和身份信息进行绑定,并加入到账号数据库中,以便于该对象下次可直接进行登陆。
如果在账号数据库中未查找到该待验证对象所匹配的目标账号,说明该待验证对象为未注册对象,输出提示待验证对象进行注册的提示信息,从而实现实名制就诊。
对于首次进行注册的对象,将其绑定结果,加入账号数据库之后,为便于该对象下次就诊时能够快速通过身份识别,将该对象的彩色图像和绑定结果建立对应关系之后,存储在预设图像库中,在步骤S217之后,还包括以下步骤:
步骤S218,确定绑定结果和待验证对象的彩色图像之间的对应关系。
将进行首次注册的待验证对象的身份信息和注册信息进行绑定之后,建立绑定结果与采集的待验证对象的彩色图像之间的对应关系。在一些可能的实现方式中,可以通过RGB摄像头采集待验证对象的全身图像,将该全身图像作为与绑定结果建立对应关系的彩色图像。还可以是通过RGB摄像头采集待验证对象仅包括人脸区域的图像,作为与绑定结果建立对应关系的彩色图像。
步骤S219,按照对应关系,将绑定结果和待验证对象的彩色图像,存储在预设图像库中,得到更新的预设图像库。
按照建立的绑定结果和待验证对象的彩色图像之间的对应关系,将该绑定结果与对应的彩色图像,存储在预设图像库中,从而可更新预设图像库。在一个具体例子中,彩色图像为采集的待验证图像的全身图像,那么按照该全身图像与绑定结果之间的对应关系,将该全身图像和绑定结果存在在预设图像库中,以得到更新的预设图像库。如此,能够提高对该对象下次就诊时进行身份识别的效率,以简化就诊流程,方便就诊对象操作。
如果判断得知待验证对象为已注册的对象,那么从多帧彩色图像中选择清晰度较大的一帧彩色图像,与预设图像库中的图像进行人脸比对,即步骤S213可以通过以下过程实现:
步骤S231,响应于在账号数据库中查找到目标账号,在至少两帧彩色图像中,确定清晰度大于或等于清晰度阈值的第一目标彩色图像。
彩色图像可以为多帧图像,比如,彩色图像为利用双目模组摄像头采集到的待验证对象的视频。如果在账号数据库中查找到目标账号,说明该待验证对象为在该就诊设备上已经注册过的对象,那么在采集的视频中,选择一帧或多帧清晰度较高的彩色图像,即第一目标彩色图像。
在一个具体例子中,以就诊设备为安装有双目摄像头的挂号机为例(例3),对于在挂号机前进行挂号的普通病患,通过双目摄像头获取该病患的视频,如果该病患为已经在挂号机上注册过的用户,那么在采集的视频中,选择一帧(两帧或三帧等)清晰度较高的RGB图像,上传至挂号机后台服务器,以便于后台服务器基于上传的RGB图像对该病患进行身份识别。
步骤S232,对第一目标彩色图像进行特征提取,得到待验证对象的目标人脸特征。
采用卷积神经网络对第一目标彩色图像进行特征提取,以提取到该图像中包含的待验证对象的人脸特征,即得到目标人脸特征。在例3中,针对从采集的视频中选择的一帧或多帧清晰度较高的RGB图像,进行特征提取,得到该病患的人脸特征,即目标人脸特征。如此,通过对高清晰度的彩色图像进行特征提取,以识别病患身份,能够提高所提取的人脸特征的准确度以及身份识别的准确度。
步骤S233,基于目标人脸特征,对待验证对象进行身份识别。
从清晰度较高的彩色图像中提取目标人脸特征,通过对该目标人脸特征在预设图像库中查找相似度较高的预设图像,如果能够查找相似度较高的预设图像,那么说明待验证对象通过身份核验,即待验证对象的身份合法。在例3中,通过分析该病患的人脸特征,如果能够在预设图像库中查找到与该病患的人脸特征相似度较高的预设图像,那么说明该病患通过身份核验,并在该挂号机的显示界面上显示挂号成功的信息,以及将挂号信息显示在显示界面上,或者将挂号信息发送给客户端。
在一些可能的实现方式中,步骤S233可以通过以下过程实现:
首先,在预设图像库中,查找与目标人脸特征相匹配的第一预设图像。
由于预设图像库中的预设图像为已注册的对象的人脸图像,且每一已注册的对象的人脸图像均绑定了该对象的身份信息。针对清晰度较高的彩色图像进行特征提取之后,按照提取的目标人脸特征,在预设图像库中查找,所绑定的人脸特征与该目标人脸特征相似度大于一定相似度阈值的预设图像,即第一预设图像。
然后,响应于在预设图像库中查找到第一预设图像,确定待验证对象通过身份识别。
如果能够在预设图像库中查找到与目标人脸特征相似度较高的预设图像,即即在预设图像库中未查到第一预设图像,那么说明该待验证对象是已注册过的对象,且所登陆的账号为本人账号,进而说明该待验证对象身份合法,即通过身份核验。
在其他实施例中,该待验证对象通过身份核验之后,生成并输出核验成功信息,并且将该信息呈现在就诊设备的显示界面上,以及发送至客户端,以使该待验证对象可以及时查看;并且基于该待验证对象当前所处的就诊阶段,输出下一阶段的待执行信息。其中,待执行信息可以理解为是提示当前所处阶段需要进行的下一步操作的提示信息或者操作指示信息。
在一个具体例子中,以就诊设备为挂号机为例,如果待验证对象为在挂号机前进行挂号的普通病患,那么在进行身份核验通过之后,在挂号机的显示界面上显示身份核验成功信息;由于当前阶段为挂号阶段,那么在身份核验通过后在显示界面上显示挂号支付界面(比如,挂号支付的二维码),或者将挂号支付信息(比如,挂号支付的网页链接)发送给客户端,以使客户端完成挂号支付;当客户端完成挂号支付之后,将挂号成功信息以及挂号信息(包括:挂号科室、挂号医生和就诊时间等)显示挂号机的显示界面上,并且将挂号成功信息和挂号信息输出至客户端,以使待验证对象基于该挂号信息进行排队候诊。
在本申请实施例中,针对已经注册过的对象,进行身份识别,能够减少盗用已注册对象的注册信息的现象发生,从而提高用户的信息安全性。
如果判断得知待验证对象为未注册的对象,那么从多帧彩色图像中选择清晰度大于第一目标彩色图像的第二目标彩色图像,与预设图像库中的图像进行二次人脸比对,以进行二次身份识别,可以通过以下过程实现:
第一步,响应于在预设图像库中未查找到第一预设图像,在至少两帧彩色图像中,确定清晰度大于第一目标彩色图像的第二目标彩色图像。
如果在预设图像库中未查找到与目标人脸特征相匹配的第一预设图像,说明该待验证对象所登陆的注册账号绑定的人脸图像与该待验证对象的人脸图像不符,比如,该待验证对象盗用他人账号登陆,还有可能是第一目标彩色图像的清晰度不够,导致无法匹配到相似度较高的预设图像。所以,为提高身份核验的准确度,在这多帧彩色图像中,重新选择一帧清晰度更高的彩色图像,作为待比对的图像,即第二目标彩色图像。在一些可能的实现方式中,第二目标彩色图像的清晰度大于第一目标彩色图像,或者,将这多帧彩色图像中清晰度最高的彩色图像作为第二目标彩色图像。
第二步,对第二目标彩色图像进行特征提取,得到待验证对象的更新人脸特征。
采用卷积神经网络对清晰度更高的第二目标彩色图像进行特征提取,以提取到该图像中包含的待验证对象的人脸特征,即得到目标人脸特征。在例3中,从采集的视频中重新选择的一帧清晰度最高的RGB图像作为第二目标彩色图像,对第二目标彩色图像进行特征提取,得到该病患的人脸特征,即更新人脸特征。如此,通过对高清晰度最高的彩色图像进行特征提取,以识别对象身份,能够提高所提取的人脸特征的准确度。
第三步,在预设图像库中,查找与更新人脸特征相匹配的第二预设图像。
对清晰度最高的彩色图像进行特征提取之后,按照提取的更新人脸特征,在预设图像库中查找,绑定的人脸特征与该更新人脸特征相似度大于一定相似度阈值的预设图像,即得到第二预设图像。
如果第一预设图像已经是这多帧彩色图像中清晰度最高的图像,即第二预设图像与第一预设图像相同,那么基于第一预设图像进行二次身份识别。
第四步,响应于在预设图像库中未查找到所述第二预设图像,生成并输出验证失败信息。
如果在预设图像库中再次未能查找到与目标人脸特征相似度较高的预设图像,即在预设图像库中再次未查到第二预设图像,那么说明该待验证对象是未注册过的对象,或所登陆的账号为非本人账号,进而说明该待验证对象未通过身份核验。在两次身份核验均未通过的情况下,生成并输出验证失败信息,可以是将该验证失败信息以文字或者语音的方式呈现在就诊设备的显示界面上,还可以是将验证失败信息发送至该待验证对象所登陆的账号所属的终端,以提醒该账号的所有者有人盗用其账号。
对于二次身份识别均未通过的待验证对象,可以将采集到的该待验证对象的人脸图像存储在黑名单图像库中,当该待验证对象再次出现时,及时发出告警信息,以提示医院管理人员作出防备;如此,能够减少倒票现象。
如果对待验证对象进行首次身份核验未通过,可对待验证对象进行再次核验,以提高对待验证对象进行身份识别的准确度。
对待验证对象进行活体检测和身份识别之后,如果待验证对象通过活体检测和身份识别,那么通过分析该病患的就诊阶段,得知当前需要处理的待就诊业务,即步骤S104可以通过以下步骤实现:
步骤S141,获取与就诊对象的目标人脸特征相匹配的第一预设图像。
基于目标人脸特征,在预设图像库中,获取具有的图像特征与该目标人脸特征相似度较高的第一预设图像。
步骤S142,将第一预设图像对应的身份信息,确定为就诊对象的身份信息。
预设图像库中的每一预设图像均携带一个已核验通过的对象的身份信息,该核验通过的对象为预设图像画面上包括的对象。这样,在预设图像库中查找到第一预设图像之后,即可获取该第一预设图像包括的对象的身份信息,将这一身份信息确定为就诊对象的身份信息。
步骤S143,基于就诊对象的身份信息,确定就诊对象所处的就诊阶段。
通过分析就诊对象的身份信息,确定该就诊对象的就诊记录,即可或者该就诊对象当前所处的就诊阶段。比如,就诊对象患有轻度耳疾,那么其就诊流程为挂号、诊断、缴费、取药和治疗,整个诊断过程中的诊断记录会和就诊对象的身份信息绑定在一起,进行存储;这样,通过就诊对象的身份信息即可查找该就诊对象当前所处的就诊阶段;其中,就诊阶段包括:挂号阶段、领取缴费单阶段、住院阶段和治疗阶段等。
步骤S144,基于就诊阶段,确定待就诊业务。
通过分析就诊对象当前所在的就诊阶段,即可获知在该就诊阶段所存在的就诊业务,即待就诊业务;比如,如果就诊阶段为挂号阶段,那么待就诊业务为挂号业务以及缴费业务;如果就诊阶段为领取缴费单阶段,那么待处理业务为缴费业务;如果就诊阶段为住院阶段或治疗阶段,那么待处理业务为病患身份管理业务;比如,判断对象身份是否为住院系统中已经登记住院的病患,或者基于该病患的身份信息获知其治疗的具体细节(如,治疗疗程、治疗方式和治疗时长等)。
在一些可能的实现方式中,在就诊阶段为初始阶段的情况下,确定待就诊业务为挂号业务,那么对待就诊业务进行处理,得到处理结果,可以通过以下过程实现:
第一步,基于就诊对象的身份信息,确定就诊对象的挂号请求信息。
如果就诊阶段为初始阶段,即说明是挂号阶段,由于该就诊对象的身份信息已经通过身份核验,那么通过该就诊对象的身份信息即可获知该就诊对象当前正在进行挂号,可获取该就诊对象的挂号请求信息;其中,预约挂号信息包括:预约挂号科室、预约挂号医生和预约就诊时间等。
第二步,基于预约挂号信息,生成并输出第一支付指示信息。
通过分析就诊对象的预约挂号信息,结合医院当前的挂号资源,如果医院当前的挂号资源能够满足就诊对象的预约挂号信息,生成并输出第一支付指示信息;其中,第一支付指示信息为指示就诊对象对挂号单进行支付的信息,比如,在挂号机的显示界面上支付二维码,或者向就诊对象的终端发送支付链接。
如果医院当前的挂号资源能够满足就诊对象的预约挂号信息,生成并输出挂号失败信息,并将医院当前的挂号资源输出在挂号机的显示界面上或者输出至就诊对象的终端上,以使就诊对象调整预约挂号信息。比如,就诊对象的预约挂号信息中预约的医生在其所选择的预约时间段内已经没有号,那么将在该预约时间段内该科室的,其他有号的医生推荐给就诊对象,以使就诊对象选择其他医生,并且在就诊对象选择其他医生完成之后,输出第一支付指示信息。
第三步,响应于接收到满足第一支付指示信息的虚拟资源,生成并输出挂号凭证信息,以提示就诊对象基于所述挂号凭证信息进行候诊。
满足第一支付指示信息的虚拟资源可以理解为是,和该第一支付指示信息所指示支付的金额匹配的资源。在一些可能的实现方式中,如果就诊对象的终端针对第一支付指示信息进行响应,比如,第一支付指示信息为支付二维码,就诊对象的终端通过扫描该支付二维码完成对第一支付指示信息的响应,这时,生成并输出挂号凭证信息,以提示就诊对象基于挂号凭证信息进行排队候诊。其中,挂号凭证信息包括:挂号医生、挂号科室、挂号时间段和就诊序号等。在接收到满足第一支付指示信息的虚拟资源之后,将挂号凭证信息显示在挂号机的显示界面上,或者基于该信息打印凭条,或者将该挂号凭证信息输出至就诊对象的终端。
在本申请实施例中,将人脸识别技术与自助挂号相结合,通过人脸识别可自助进行挂号,方便快捷。
在其他实施例中,如果就诊对象为针对第一支付信息进行响应,即未完成缴费,那么在挂号机的显示界面上输出挂号失败信息,或者将挂号失败信息反馈至就诊对象的终端。
在一些可能的实现方式中,在就诊阶段为领取缴费单阶段的情况下,确定待就诊业务为缴费业务,那么对待就诊业务进行处理,得到处理结果,可以通过以下过程实现:
第一步,基于就诊对象的身份信息,确定就诊对象的医药费信息。
如果就诊阶段为领取缴费单阶段,即说明是已经完成挂号以及就诊,目前需要进行的业务为缴费业务,由于该就诊对象的身份信息已经通过身份核验,那么通过该就诊对象的身份信息即可获知该就诊对象当前正在进行缴费,可获取该就诊对象的医药费信息;其中,医药费信息包括:药品以及对应的费用、治疗方式以及对应的费用等。
第二步,生成并输出包含医药费信息的第二支付指示信息。
通过分析就诊对象的医药费信息,生成并输出第二支付指示信息;其中,第二支付指示信息为指示就诊对象对缴费单进行支付的信息,比如,在就诊设备上显示支付二维码,或者向就诊对象的终端发送支付链接。
第三步,响应于接收到满足所述第二支付指示信息的虚拟资源,生成并输出缴费完成信息,以提示就诊对象已完成缴费。
满足第二支付指示信息的虚拟资源可以理解为是,和该第二支付指示信息所指示支付的金额匹配的资源。在一些可能的实现方式中,如果就诊对象的终端针对第二支付指示信息进行响应,比如,第二支付指示信息为支付二维码,就诊对象的终端通过扫描该支付二维码完成对第二支付指示信息的响应,这时,生成并输出缴费凭证信息,以提示提示就诊对象已完成缴费,可进入下一就诊阶段。其中,缴费凭证信息包括:缴费金额、缴费项目等。在接收到满足第二支付指示信息的虚拟资源之后,将缴费凭证信息显示在就诊设备的显示界面上,或者基于该信息打印凭条,或者将该缴费凭证信息输出至就诊对象的终端。
将人脸识别技术与缴费系统相结合,通过人脸识别可自助进行缴费,能够降低支付风险,提升交易效率。
在一些可能的实现方式中,在就诊阶段为住院阶段或治疗阶段的情况下,确定待就诊业务为就诊对象身份管理业务,那么对待就诊业务进行处理,得到处理结果,可以通过以下过程实现:
如果就诊阶段为住院阶段,那么首先,获取住院部的病患身份数据库;然后,在该病患身份数据库中查找是否存在与该就诊对象匹配的病患身份;最后,如果病患身份数据库存在与该就诊对象匹配的病患身份,确定该就诊对象是住院部正在住院的病患,那么当就诊对象进入住院部时,住院部的门禁系统不发出告警信息;如果病患身份数据库不存在与该就诊对象匹配的病患身份,确定该就诊对象不是住院部正在住院的病患,那么当就诊对象进入住院部时,住院部的门禁系统发出告警信息。
如果就诊阶段为治疗阶段,那么首先,获取治疗室的病患身份数据库;然后,在该治疗室的病患身份数据库中查找是否存在与该就诊对象匹配的病患身份;最后,如果治疗室的病患身份数据库存在与该就诊对象匹配的病患身份,确定该就诊对象是在治疗室进行治疗的病患,那么当就诊对象进入治疗室时,治疗室的门禁系统不发出告警信息;如果治疗室的病患身份数据库不存在与该就诊对象匹配的病患身份,确定该就诊对象不是在治疗室进行治疗的病患,那么当就诊对象进入治疗室时,治疗室的门禁系统发出告警信息。
将生物识别技术与医院重要区域的门禁系统相结合,通过人脸识别可自动对非法闯入的人员进行告警,以提高就医环境的安全性。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用,以基于双目模组,实现人脸识别的挂号机为例,进行说明。
双目模组摄像头由一个近红外摄像头和一个RGB摄像头组成;近红外摄像头利用人脸肤质的成像与非人脸材质成像特性不同的原理,检测被拍摄对象的材质,以减少视频、图片、面具、头套类型攻击,从而完成本地活体检测。RGB摄像头拍摄彩色人脸图片,结合近红外摄像头灰度图片进行成像的相关性分析,同时上传后台服务器进行做特征提取、1比1人脸比对或1比n身份核验等操作。
将基于双目模组生物识别技术与自助挂号机结合,在挂号机上,增加人脸识别和人像比对等身份核验功能,可以有效减少挂号过程中所需的物理介质和验密流程,从而能够简化支付流程、提升身份核验效率和准确度、积累和同步病患就医信息;并且活体检测与人脸比对功能结合,可有效地遏制“黄牛”倒号现象,净化就医环境。此外,也可以将把人脸识别挂号和支付功能应用到医院各个科室,实现全流程覆盖,患者在就医各个环节都可通过刷脸完成身份验证和支付,使就医流程更安全便捷。
在相关技术中,大部分的挂号机在使用时,使用就诊卡(磁条卡或IC芯片卡,或磁条和芯片功能均有的混合卡)插入挂号机的读卡器中,再通过密码键盘输入业务办理密码,医院后台系统通过客户信息验证后,返回相应信息;从而进行人机交互交易。这种方式仅使用卡片和密码进行交易身份验证,用户挂号时需要较多的卡、证和其他单据,存在卡片复制、卡片遗失、密码被盗、密码遗忘等风险,验密安全性和交易便捷性较差。
基于此,本申请实施例提供一种基于人脸识别的就诊方法,在该方法中,基于双目立体相机模组的挂号机身份核验系统,以人脸识别和深度学习算法为技术基础、集成安全芯片增强支付可靠性,从而能够提升核验效率;通过人脸检测、人脸比对以及活体检测等业务,能够提升交易适用性、提升交易效率和安全性能。
在一些实施例中,采用集成双目模组的挂号机,实现挂号业务的流程如下:
第一步,用户选择挂号科室、挂号医生、就诊时间之后,进入支付阶段的身份核验和验密流程。
第二步,对于未在挂号机所属医院注册过的用户,需要进入注册和信息绑定流程:比如,首先,用户通过机具扫描身份信息,上传至医院后台服务器;然后。通过双目摄像头录入人脸信息,纳入医院后台特征数据库或上传云端数据库。
第三步,对于已在挂号机所属医院注册过的用户,在身份核验和验密流程中,进行活体检测和人脸比对。
在一些实施例中,活体检测和1比n人脸比对过程如图3所示,图3为本申请实施例提供的基于人脸识别的就诊方法的实现流程示意图,结合图3进行以下说明:
步骤S301,进入身份核验。
接收身份核验请求,进入身份核验界面。
步骤S302,视频拍摄。
可以参考前文步骤S101描述的方法,利用桌面式人员身份核验终端对用户进行视频拍摄,以采集用户身份识别的人脸图像。比如,采用双目摄像头摄取用户视频。
步骤S303,活体检测。
基于双目摄像头中近红外摄像头采集的用户视频进行活体检测。
步骤S304,本地/云端人脸比对。
步骤S305,完成身份核验。
步骤S306,退出交易。
如图4所示,图4为本申请实施例提供的基于人脸识别的就诊方法的应用场景示意图,其中,挂号机401为具有双目摄像头的挂号机,通过双目摄像头采集待验证对象402的用户视频,进行人脸关键点检测和活体检测。在检测成功的情况下,从用户视频中选择最清晰的一帧图片,上传至医院后台服务器;并将该图片的特征值与后台图片或云端图片(用户身份信息)进行比对。如图4所示,将挂号机401的显示界面上显示的人脸图像403与后台存储的用户身份信息进行比对,以实现对待验证对象402的身份识别。
第四步,身份核验通过后,完成挂号支付,并打印挂号信息,或将挂号信息同步推送至用户手机;同时将挂号信息发送至医院运营管理后台,以提醒用户排队候诊。
在本申请实施例中,通过在挂号机上增加活体检测功能,实行实名制挂号,能够防止倒票人群利用假证机票他人证件进行挂号的违规操作,并减少用户需要携带的物理核验和支付介质,进而方便用户操作以及提升挂号效率。
本申请实施例提供一种基于人脸识别的就诊装置,图5为本申请实施例基于人脸识别的就诊装置的结构组成示意图,如图5所示,所述基于人脸识别的就诊装置500包括:
第一获取模块501,用于获取画面内容包括待验证对象的人脸图像。
第一核验模块502,用于基于所述人脸图像,对所述待验证对象进行活体检测和身份识别。
第一确定模块503,用于响应于所述待验证对象通过所述活体检测和身份识别,确定所述待验证对象为就诊对象或所述就诊对象的关联对象。
第二确定模块504,用于基于所述就诊对象的身份信息,确定所述就诊对象的待就诊业务。
第一处理模块505,用于对所述待就诊业务进行处理,得到处理结果。
在上述装置中,所述第一获取模块501,包括:第一获取子模块,用于获取同一时刻采集的画面内容包括所述待验证对象的近红外图像,以及画面内容包括所述待验证对象的彩色图像;以及,第一确定子模块,用于将所述近红外图像和所述彩色图像,作为所述人脸图像。
在上述装置中,所述第一核验模块502,包括:第一检测子模块,用于基于所述近红外图像,对所述待验证对象进行活体检测,得到活体检测结果;以及,第一识别子模块,用于在所述活体检测结果表征所述待验证对象为活体的情况下,基于所述彩色图像,对所述待验证对象进行身份识别。
在上述装置中,所述第一确定模块503,包括:第二确定子模块,用于在所述活体检测结果表征所述待验证对象为活体的情况下,确定所述待验证对象通过所述活体检测;以及,第三确定子模块,用于在对所述待验证对象进行身份识别的识别结果表征所述待验证对象的身份信息包含于预设图像库的情况下,确定所述待验证对象通过所述身份识别,并确定所述待验证对象为所述就诊对象;其中,所述预设图像库用于存储包含已核验就诊对象的人脸信息的已核验彩色图像,且所述已核验彩色图像携带所述已核验就诊对象的身份信息。
在上述装置中,第一确定模块503,还用于:在在所述待验证对象通过活体检测且预设图像库中不存在所述待验证对象的身份信息的情况下,基于所述身份信息,确定与所述待验证对象相关联的候选就诊对象;在所述预设图像库中存在所述候选就诊对象的身份信息的情况下,确定所述待验证对象为所述候选就诊对象的关联对象。
在上述装置中,还包括:业务类型确定模块,用于确定所述待就诊业务的业务类型。核验信息确定模块,用于确定与所述业务类型相匹配的核验信息。业务处理模块,用于响应于所述就诊对象满足所述核验信息,对所述待就诊业务进行处理,得到处理结果。
在上述装置中,还包括:第三确定模块,用于在所述活体检测结果表征所述待验证对象为非活体的情况下,确定所述待验证对象的面部状态;并基于所述面部状态,生成并输出调整提示信息,以提示所述待验证对象调整所述面部状态,得到已调整面部状态;第四确定模块,用于确定与所述已调整面部状态相匹配的目标近红外图像;第一检测模块,用于基于所述目标近红外图像,对所述待验证对象进行活体检测,得到更新的活体检测结果;以及,第一生成模块,用于在所述更新的活体检测结果表征所述待验证对象为非活体的情况下,生成并输出验证失败信息。
在上述装置中,所述第一识别子模块,包括:第一接收单元,用于在所述活体检测结果表征所述待验证对象为活体的情况下,接收输入的登陆请求;第一查找单元,用于响应于所述登陆请求,在账号数据库中查找与所述登陆请求相匹配的目标账号;其中,所述账号数据库用于存储绑定已注册就诊对象的账号;以及,第一识别单元,用于响应于在所述账号数据库中查找到所述目标账号,基于所述彩色图像,对所述待验证对象进行身份识别。
在上述装置中,所述彩色图像为至少两帧,所述第一识别单元,包括:第一确定子单元,用于响应于在所述账号数据库中查找到所述目标账号,在至少两帧所述彩色图像中,确定清晰度大于或等于清晰度阈值的第一目标彩色图像;第一提取子单元,用于对所述第一目标彩色图像进行特征提取,得到所述待验证对象的目标人脸特征;以及,第一识别子单元,用于基于目标人脸特征,对所述待验证对象进行身份识别。
在上述装置中,所述第一识别子单元,还用于:在预设图像库中,查找与所述目标人脸特征相匹配的第一预设图像;响应于在所述预设图像库中查找到所述第一预设图像,确定所述待验证对象通过身份识别。
在上述装置中,所述装置还包括:第五确定模块,用于响应于在所述预设图像库中未查找到所述第一预设图像,在至少两帧所述彩色图像中,确定清晰度大于所述第一目标彩色图像的第二目标彩色图像;第一提取模块,用于对所述第二目标彩色图像进行特征提取,得到所述待验证对象的更新人脸特征;第一查找模块,用于在所述预设图像库中,查找与所述更新人脸特征相匹配的第二预设图像;以及,第一生成模块,用于响应于在所述预设图像库中未查找到所述第二预设图像,生成并输出验证失败信息。
在上述装置中,还包括:第二生成模块,用于响应于在所述账号数据库中未查找到所述目标账号,生成并输出提示信息,以提示所述待验证对象进行注册操作;第六确定模块,用于响应于输入的身份信息,确定所述身份信息与所述待验证对象的彩色图像的相似度;第一绑定模块,用于在所述相似度大于预设相似度阈值的情况下,将输入的注册信息和所述身份信息进行绑定,得到绑定结果;以及,第一加入模块,用于将所述绑定结果,加入所述账号数据库。
在上述装置中,还包括:第七确定模块,用于确定所述绑定结果和所述待验证对象的彩色图像之间的对应关系;以及,第一存储模块,用于按照所述对应关系,将所述绑定结果和所述待验证对象的彩色图像,存储在预设图像库中,得到更新的预设图像库。
在上述装置中,所述第二确定模块504,包括:第二获取子模块,用于获取与所述就诊对象的目标人脸特征相匹配的第一预设图像;第四确定子模块,用于将所述第一预设图像对应的身份信息,确定为所述就诊对象的身份信息;第五确定子模块,用于基于所述就诊对象的身份信息,确定所述就诊对象所处的就诊阶段;以及,第六确定子模块,用于基于所述就诊阶段,确定所述待就诊业务。
在上述装置中,所述第六确定子模块,还用于:在所述就诊阶段为初始阶段的情况下,确定所述待就诊业务为挂号业务。对应地,所述第一处理模块,包括:第七确定子模块,用于基于所述就诊对象的身份信息,确定所述就诊对象的预约挂号信息;第一生成子模块,用于基于所述预约挂号信息,生成并输出第一支付指示信息;以及,第二生成子模块,用于响应于接收到满足所述第一支付指示信息的虚拟资源,生成并输出挂号凭证信息,以提示所述就诊对象基于所述挂号凭证信息进行候诊。
在上述装置中,所述第六确定子模块,还用于:在所述就诊阶段为领取缴费单阶段的情况下,确定所述待就诊业务为缴费业务。对应地,所述第一处理模块505,包括:第八确定子模块,用于基于所述就诊对象的身份信息,确定所述就诊对象的医药费信息;第三生成子模块,用于生成并输出包含所述医药费信息的第二支付指示信息;以及,第四生成子模块,用于响应于接收到满足所述第二支付指示信息的虚拟资源,生成并输出缴费完成信息,以提示所述就诊对象已完成缴费。
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的基于人脸识别的就诊方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台基于人脸识别的就诊设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、运动硬盘、只读存储器(ReadOnly Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令被执行后,能够实现本申请实施例提供的基于人脸识别的就诊方法中的步骤。
相应的,本申请实施例再提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,所述该计算机可执行指令被处理器执行时实现上述实施例提供的基于人脸识别的就诊方法的步骤。
相应的,本申请实施例提供一种基于人脸识别的就诊设备,图6为本申请实施例基于人脸识别的就诊设备的组成结构示意图,如图6所示,所述基于人脸识别的就诊设备600包括:一个处理器601、至少一个通信总线、通信接口602、至少一个外部通信接口和存储器603。其中,通信接口602配置为实现这些组件之间的连接通信。其中,通信接口602可以包括显示屏,外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器601,配置为执行存储器中图像处理程序,以实现上述实施例提供的基于人脸识别的就诊方法的步骤。
以上基于人脸识别的就诊装置、基于人脸识别的就诊设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同相应方法实施例相似的技术描述和有益效果,限于篇幅,可案件上述方法实施例的记载,故在此不再赘述。对于本申请基于人脸识别的就诊装置、基于人脸识别的就诊设备和存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ReadOnly Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台基于人脸识别的就诊设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (19)
1.一种基于人脸识别的就诊方法,其特征在于,所述方法包括:
获取画面内容包括待验证对象的人脸图像;
基于所述人脸图像,对所述待验证对象进行活体检测和身份识别;
响应于所述待验证对象通过所述活体检测和身份识别,确定所述待验证对象为就诊对象或所述就诊对象的关联对象;
基于所述就诊对象的身份信息,确定所述就诊对象的待就诊业务;
对所述待就诊业务进行处理,得到处理结果。
2.根据权利要求1所述的方法,其特征在于,所述获取画面内容包括待验证对象的人脸图像,包括:
获取同一时刻采集的画面内容包括所述待验证对象的近红外图像,以及画面内容包括所述待验证对象的彩色图像;
将所述近红外图像和所述彩色图像,作为所述人脸图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述人脸图像,对所述待验证对象进行活体检测和身份识别,包括:
基于所述近红外图像,对所述待验证对象进行活体检测,得到活体检测结果;
在所述活体检测结果表征所述待验证对象为活体的情况下,基于所述彩色图像,对所述待验证对象进行身份识别。
4.根据权利要求3所述的方法,其特征在于,所述响应于所述待验证对象通过所述活体检测和身份识别,确定所述待验证对象为就诊对象,包括:
在所述活体检测结果表征所述待验证对象为活体的情况下,确定所述待验证对象通过所述活体检测;
在对所述待验证对象进行身份识别的识别结果表征所述待验证对象的身份信息包含于预设图像库的情况下,确定所述待验证对象通过所述身份识别,并确定所述待验证对象为所述就诊对象;其中,所述预设图像库用于存储包含已核验就诊对象的人脸信息的已核验彩色图像,且所述已核验彩色图像携带所述已核验就诊对象的身份信息。
5.根据权利要求3或4所述的方法,其特征在于,所述响应于所述待验证对象通过所述活体检测和身份识别,确定所述待验证对象为所述就诊对象的关联对象,包括:
在所述待验证对象通过活体检测且预设图像库中不存在所述待验证对象的身份信息的情况下,基于所述身份信息,确定与所述待验证对象相关联的候选就诊对象;
在所述预设图像库中存在所述候选就诊对象的身份信息的情况下,确定所述待验证对象为所述候选就诊对象的关联对象。
6.根据权利要求3至5任一项所述的方法,其特征在于,所述基于所述就诊对象的身份信息,确定所述就诊对象的待就诊业务之后,所述方法还包括:
确定所述待就诊业务的业务类型;
确定与所述业务类型相匹配的核验信息;
响应于所述就诊对象满足所述核验信息,对所述待就诊业务进行处理,得到处理结果。
7.根据权利要求3至6任一项所述的方法,其特征在于,所述基于所述近红外图像,对所述待验证对象进行活体检测,得到活体检测结果之后,所述方法还包括:
在所述活体检测结果表征所述待验证对象为非活体的情况下,确定所述待验证对象的面部状态;
基于所述面部状态,生成并输出调整提示信息,以提示所述待验证对象调整所述面部状态,得到已调整面部状态;
确定与所述已调整面部状态相匹配的目标近红外图像;
基于所述目标近红外图像,对所述待验证对象进行活体检测,得到更新的活体检测结果;
在所述更新的活体检测结果表征所述待验证对象为非活体的情况下,生成并输出验证失败信息。
8.根据权利要求3至7任一项所述的方法,其特征在于,所述在所述活体检测结果表征所述待验证对象为活体的情况下,基于所述彩色图像,对所述待验证对象进行身份识别,包括:
在所述活体检测结果表征所述待验证对象为活体的情况下,接收输入的登陆请求;
响应于所述登陆请求,在账号数据库中查找与所述登陆请求相匹配的目标账号;其中,所述账号数据库用于存储绑定已注册就诊对象的账号;
响应于在所述账号数据库中查找到所述目标账号,基于所述彩色图像,对所述待验证对象进行身份识别。
9.根据权利要求8所述的方法,其特征在于,所述彩色图像为至少两帧,所述响应于在所述账号数据库中查找到所述目标账号,基于所述彩色图像,对所述待验证对象进行身份识别,包括:
响应于在所述账号数据库中查找到所述目标账号,在至少两帧所述彩色图像中,确定清晰度大于或等于清晰度阈值的第一目标彩色图像;
对所述第一目标彩色图像进行特征提取,得到所述待验证对象的目标人脸特征;
基于目标人脸特征,对所述待验证对象进行身份识别。
10.根据权利要求9所述的方法,其特征在于,所述基于目标人脸特征,对所述待验证对象进行身份识别,包括:
在预设图像库中,查找与所述目标人脸特征相匹配的第一预设图像;
响应于在所述预设图像库中查找到所述第一预设图像,确定所述待验证对象通过身份识别。
11.根据权利要求10所述的方法,其特征在于,所述在预设图像库中,查找与所述目标人脸特征相匹配的第一预设图像之后,所述方法还包括:
响应于在所述预设图像库中未查找到所述第一预设图像,在至少两帧所述彩色图像中,确定清晰度大于所述第一目标彩色图像的第二目标彩色图像;
对所述第二目标彩色图像进行特征提取,得到所述待验证对象的更新人脸特征;
在所述预设图像库中,查找与所述更新人脸特征相匹配的第二预设图像;
响应于在所述预设图像库中未查找到所述第二预设图像,生成并输出验证失败信息。
12.根据权利要求8至11任一项所述的方法,其特征在于,所述响应于所述登陆请求,在账号数据库中查找与所述登陆请求相匹配的目标账号之后,所述方法还包括:
响应于在所述账号数据库中未查找到所述目标账号,生成并输出提示信息,以提示所述待验证对象进行注册操作;
响应于输入的身份信息,确定所述身份信息与所述待验证对象的彩色图像的相似度;
在所述相似度大于预设相似度阈值的情况下,将输入的注册信息和所述身份信息进行绑定,得到绑定结果;
将所述绑定结果,加入所述账号数据库。
13.根据权利要求12所述的方法,其特征在于,所述将所述绑定结果,加入所述账号数据库之后,所述方法还包括:
确定所述绑定结果和所述待验证对象的彩色图像之间的对应关系;
按照所述对应关系,将所述绑定结果和所述待验证对象的彩色图像,存储在预设图像库中,得到更新的预设图像库。
14.根据权利要求1至13任一项所述的方法,其特征在于,所述基于所述就诊对象的身份信息,确定所述就诊对象的待就诊业务,包括:
获取与所述就诊对象的目标人脸特征相匹配的第一预设图像;
将所述第一预设图像对应的身份信息,确定为所述就诊对象的身份信息;
基于所述就诊对象的身份信息,确定所述就诊对象所处的就诊阶段;
基于所述就诊阶段,确定所述待就诊业务。
15.根据权利要求14所述的方法,其特征在于,所述基于所述就诊阶段,确定所述待就诊业务,包括:
在所述就诊阶段为初始阶段的情况下,确定所述待就诊业务为挂号业务;
对应地,所述对所述待就诊业务进行处理,得到处理结果,包括:
基于所述就诊对象的身份信息,确定所述就诊对象的预约挂号信息;
基于所述预约挂号信息,生成并输出第一支付指示信息;
响应于接收到满足所述第一支付指示信息的虚拟资源,生成并输出挂号凭证信息,以提示所述就诊对象基于所述挂号凭证信息进行候诊。
16.根据权利要求14或15所述的方法,其特征在于,所述基于所述就诊阶段,确定所述待就诊业务,包括:
在所述就诊阶段为领取缴费单阶段的情况下,确定所述待就诊业务为缴费业务;
对应地,所述对所述待就诊业务进行处理,得到处理结果,包括:
基于所述就诊对象的身份信息,确定所述就诊对象的医药费信息;
生成并输出包含所述医药费信息的第二支付指示信息;
响应于接收到满足所述第二支付指示信息的虚拟资源,生成并输出缴费完成信息。
17.一种基于人脸识别的就诊装置,其特征在于,所述装置包括:
第一获取模块,用于获取画面内容包括待验证对象的人脸图像;
第一核验模块,用于基于所述人脸图像,对所述待验证对象进行活体检测和身份识别;
第一确定模块,用于响应于所述待验证对象通过所述活体检测和身份识别,确定所述待验证对象为就诊对象或所述就诊对象的关联对象;
第二确定模块,用于基于所述就诊对象的身份信息,确定所述就诊对象的待就诊业务;
第一处理模块,用于对所述待就诊业务进行处理,得到处理结果。
18.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现权利要求1至16任一项所述的方法步骤。
19.一种基于人脸识别的就诊设备,其特征在于,所述基于人脸识别的就诊设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时能够实现权利要求1至16任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110476686.1A CN113111846A (zh) | 2021-04-29 | 2021-04-29 | 基于人脸识别的就诊方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110476686.1A CN113111846A (zh) | 2021-04-29 | 2021-04-29 | 基于人脸识别的就诊方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113111846A true CN113111846A (zh) | 2021-07-13 |
Family
ID=76720548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110476686.1A Pending CN113111846A (zh) | 2021-04-29 | 2021-04-29 | 基于人脸识别的就诊方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111846A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688371A (zh) * | 2021-08-26 | 2021-11-23 | 平安国际智慧城市科技股份有限公司 | 账户信息的校验方法、装置、设备及存储介质 |
CN115497615A (zh) * | 2022-10-24 | 2022-12-20 | 王征 | 一种远程医疗方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105681316A (zh) * | 2016-02-02 | 2016-06-15 | 腾讯科技(深圳)有限公司 | 身份验证方法和装置 |
CN108875546A (zh) * | 2018-04-13 | 2018-11-23 | 北京旷视科技有限公司 | 人脸身份验证方法、系统及存储介质 |
CN109192286A (zh) * | 2018-08-16 | 2019-01-11 | 北京金山安全软件有限公司 | 一种自动化分诊方法、装置及电子设备 |
CN109509104A (zh) * | 2018-10-27 | 2019-03-22 | 平安医疗健康管理股份有限公司 | 基于人脸识别的身份认证方法、装置、服务器及介质 |
CN110223762A (zh) * | 2019-04-25 | 2019-09-10 | 深圳壹账通智能科技有限公司 | 一种基于人脸识别的就诊业务处理方法及其装置 |
CN110309930A (zh) * | 2019-05-22 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 基于人脸识别的预约就诊方法、装置、设备及存储介质 |
CN110363067A (zh) * | 2019-05-24 | 2019-10-22 | 深圳壹账通智能科技有限公司 | 身份验证方法及装置、电子设备和存储介质 |
CN110532744A (zh) * | 2019-07-22 | 2019-12-03 | 平安科技(深圳)有限公司 | 人脸登录方法、装置、计算机设备及存储介质 |
CN110599678A (zh) * | 2019-08-14 | 2019-12-20 | 平安科技(深圳)有限公司 | 安全支付方法、装置、计算机设备和存储介质 |
CN110751025A (zh) * | 2019-09-06 | 2020-02-04 | 平安普惠企业管理有限公司 | 基于人脸识别的业务办理方法、装置、设备及介质 |
CN110765434A (zh) * | 2019-10-23 | 2020-02-07 | 上海商汤智能科技有限公司 | 身份验证方法、装置、电子设备和存储介质 |
CN111986794A (zh) * | 2020-09-03 | 2020-11-24 | 平安国际智慧城市科技股份有限公司 | 基于人脸识别的防冒挂号方法、装置、计算机设备及介质 |
CN112530560A (zh) * | 2020-11-30 | 2021-03-19 | 上海千健医药科技有限公司 | 一种人脸识别就诊系统及就诊方法 |
-
2021
- 2021-04-29 CN CN202110476686.1A patent/CN113111846A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105681316A (zh) * | 2016-02-02 | 2016-06-15 | 腾讯科技(深圳)有限公司 | 身份验证方法和装置 |
CN108875546A (zh) * | 2018-04-13 | 2018-11-23 | 北京旷视科技有限公司 | 人脸身份验证方法、系统及存储介质 |
CN109192286A (zh) * | 2018-08-16 | 2019-01-11 | 北京金山安全软件有限公司 | 一种自动化分诊方法、装置及电子设备 |
CN109509104A (zh) * | 2018-10-27 | 2019-03-22 | 平安医疗健康管理股份有限公司 | 基于人脸识别的身份认证方法、装置、服务器及介质 |
CN110223762A (zh) * | 2019-04-25 | 2019-09-10 | 深圳壹账通智能科技有限公司 | 一种基于人脸识别的就诊业务处理方法及其装置 |
CN110309930A (zh) * | 2019-05-22 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 基于人脸识别的预约就诊方法、装置、设备及存储介质 |
CN110363067A (zh) * | 2019-05-24 | 2019-10-22 | 深圳壹账通智能科技有限公司 | 身份验证方法及装置、电子设备和存储介质 |
CN110532744A (zh) * | 2019-07-22 | 2019-12-03 | 平安科技(深圳)有限公司 | 人脸登录方法、装置、计算机设备及存储介质 |
CN110599678A (zh) * | 2019-08-14 | 2019-12-20 | 平安科技(深圳)有限公司 | 安全支付方法、装置、计算机设备和存储介质 |
CN110751025A (zh) * | 2019-09-06 | 2020-02-04 | 平安普惠企业管理有限公司 | 基于人脸识别的业务办理方法、装置、设备及介质 |
CN110765434A (zh) * | 2019-10-23 | 2020-02-07 | 上海商汤智能科技有限公司 | 身份验证方法、装置、电子设备和存储介质 |
CN111986794A (zh) * | 2020-09-03 | 2020-11-24 | 平安国际智慧城市科技股份有限公司 | 基于人脸识别的防冒挂号方法、装置、计算机设备及介质 |
CN112530560A (zh) * | 2020-11-30 | 2021-03-19 | 上海千健医药科技有限公司 | 一种人脸识别就诊系统及就诊方法 |
Non-Patent Citations (3)
Title |
---|
编辑:李娜: "天津市儿童医院智慧门诊升级 改善群众就医感受", 《天津北方网》,原文链接:HTTP://HEALTH.ENORTH.COM.CN/SYSTEM/2018/05/30/035601576.SHTML?_OID=OX6RO0EAECC3GPD8VGPVTT_J_IQ8&_L=1&_C=&USERID=NULL&JSONURL=NULL&SOURCEAPPID=1CA8397A-4B14-467C-AFD7-F707F1921474&NEWSID=NULL&APPID=NULL&STATE=, 30 May 2018 (2018-05-30), pages 1 - 4 * |
赵红主编: "《中国医院管理安全精选》", 30 April 2019, 中译出版社, pages: 121 - 122 * |
郑宏达 等: "《人工智能视频分析 智能终端的崛起》", vol. 1, 31 August 2017, 浙江工商大学出版社, pages: 70 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688371A (zh) * | 2021-08-26 | 2021-11-23 | 平安国际智慧城市科技股份有限公司 | 账户信息的校验方法、装置、设备及存储介质 |
CN115497615A (zh) * | 2022-10-24 | 2022-12-20 | 王征 | 一种远程医疗方法及系统 |
CN115497615B (zh) * | 2022-10-24 | 2023-09-01 | 北京亿家老小科技有限公司 | 一种远程医疗方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11321983B2 (en) | System and method for identifying and verifying one or more individuals using facial recognition | |
JP6550460B2 (ja) | 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証 | |
US8558663B2 (en) | Integration of facial recognition into cross channel authentication | |
JP4862447B2 (ja) | 顔認識システム | |
CN106850648B (zh) | 身份验证方法、客户端和服务平台 | |
US20150186708A1 (en) | Biometric identification system | |
US20030163708A1 (en) | Method and system for detecting and eliminating fraud | |
JP2002251380A (ja) | 利用者照合システム | |
EP3594916A1 (en) | Atm with biometric security | |
CN112424791A (zh) | 信息处理装置、信息处理方法和信息处理程序 | |
CN108959884B (zh) | 人证核验装置和方法 | |
EP3807794B1 (en) | Age verification | |
CN113111846A (zh) | 基于人脸识别的就诊方法、装置、设备及存储介质 | |
JP2014191416A (ja) | サービス利用者確認装置 | |
CN113177480A (zh) | 基于人脸识别的金融业务处理方法、装置、设备及介质 | |
JP2014071610A (ja) | データ処理装置、名寄せ処理方法及びコンピュータプログラム | |
JP5423740B2 (ja) | 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム | |
KR101334744B1 (ko) | 무인대출 처리방법 | |
CN108647650B (zh) | 一种基于角膜反射和光学编码的人脸活体检测方法及系统 | |
JP5621534B2 (ja) | 出入管理システム及び個人識別データ読取装置 | |
CN110570942A (zh) | 一种智能就医方法及相应的装置 | |
JP7062249B1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN109871722A (zh) | 基于光学图形码的身份验证方法、系统、终端及存储介质 | |
CN108875472A (zh) | 图像采集装置及基于该图像采集装置的人脸身份验证方法 | |
CN114724071A (zh) | 信息检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |