CN117197903A - 活体检测方法及装置 - Google Patents

活体检测方法及装置 Download PDF

Info

Publication number
CN117197903A
CN117197903A CN202210603474.XA CN202210603474A CN117197903A CN 117197903 A CN117197903 A CN 117197903A CN 202210603474 A CN202210603474 A CN 202210603474A CN 117197903 A CN117197903 A CN 117197903A
Authority
CN
China
Prior art keywords
living body
image
detection result
body detection
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210603474.XA
Other languages
English (en)
Inventor
孔志飞
曾定衡
周迅溢
王洪斌
吴海英
蒋宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Consumer Finance Co Ltd
Original Assignee
Mashang Consumer Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Consumer Finance Co Ltd filed Critical Mashang Consumer Finance Co Ltd
Priority to CN202210603474.XA priority Critical patent/CN117197903A/zh
Publication of CN117197903A publication Critical patent/CN117197903A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提供一种活体检测方法及装置,应用于图像识别技术领域,该方法包括:获取包含待检测对象的视频数据,视频数据中包含有交替闭合左眼或右眼的人脸;提取视频数据中人眼对应的第一标签序列,第一标签序列用于表征人脸图像中左眼或右眼的闭合顺序;提取视频数据中人脸对应的多帧目标图像;根据第一标签序列和多帧目标图像,确定待检测对象的活体检测结果。通过该方式,由于屏幕翻拍或具有眨眼功能的3D头模无法实时改变闭眼顺序和人脸纹理,因此,通过指示闭眼顺序的第一标签序列和人脸对应的多帧目标图像来进行活体识别,可以提高对屏幕翻拍或具有眨眼功能的3D头模生成的假体的防御能力,从而提高了活体识别的准确率。

Description

活体检测方法及装置
技术领域
本申请实施例涉及图像识别技术领域,尤其涉及一种活体检测方法及装置。
背景技术
人脸识别是一种基于人的脸部特征信息进行身份识别的图像识别技术。在人脸识别过程中,通过活体检测技术可以确定待检测的对象的真实生理特征,从而验证待检测的对象是否为真实的活体本人操作。
现有技术中,活体检测技术可以通过眨眼、张嘴、摇头、点头等组合动作来实现。其中,通过眨眼实现的活体检测主要通过检测左右双眼的眨眼同步性和人眼的目光角度,来判断是否为活体。
然而,现有的通过眨眼实现的活体检测,往往无法有效的识别出屏幕翻拍和具有眨眼功能的3D头模,从而导致活体检测的准确率较低。
发明内容
本申请实施例提供一种活体检测方法及装置,以克服现有技术中活体检测的准确率较低的技术问题。
第一方面,本申请实施例提供一种活体检测方法,所述方法包括:
获取包含待检测对象的视频数据,所述视频数据中包含有交替闭合左眼或右眼的人脸;
提取所述视频数据中人眼对应的第一标签序列,所述第一标签序列用于表征所述人脸图像中左眼或右眼的闭合顺序;
提取所述视频数据中人脸对应的多帧目标图像;
根据所述第一标签序列和所述多帧目标图像,确定所述待检测对象的活体检测结果。
一种可选的实施方式中,所述根据所述第一标签序列和所述多帧目标图像,确定所述待检测对象的活体检测结果,包括:
根据所述第一标签序列和标准标签序列,确定所述待检测对象的第一活体检测结果,所述标准标签序列用于表征检测对象的活体检测结果为活体的情况下,所述检测对象的左眼或右眼的预设闭合顺序;
分别对所述多帧目标图像进行人脸纹理检测,确定所述待检测对象的第二活体检测结果;
根据所述第一活体检测结果和所述第二活体检测结果,确定所述待检测对象的活体检测结果。
一种可选的实施方式中,所述分别对所述多帧目标图像进行人脸纹理检测,确定所述待检测对象的第二活体检测结果,包括:
使用纹理检测模型分别对所述多帧目标图像进行人脸纹理检测,得到所述多帧目标图像分别对应的人脸纹理检测结果;
根据目标人脸纹理检测结果的数量,确定所述第二活体检测结果,其中,所述目标人脸纹理结果为表征所述待检测对象的活体检测结果为活体的人脸纹理检测结果。
一种可选的实施方式中,所述纹理检测模型包括灵敏度识别层、遮挡层和检测层,所述使用纹理检测模型分别对所述多帧目标图像进行人脸纹理检测,确定所述多帧目标图像分别对应的人脸纹理检测结果,包括:
所述灵敏度识别层用于对目标图像中的各个区域的灵敏度进行识别,得到所述目标图像中的敏感区域,所述灵敏度用于表征所述目标图像中的各个区域对所述人脸纹理检测结果的影响程度;
所述遮挡层用于遮挡所述目标图像中的敏感区域,得到包含遮挡所述敏感区域的目标图像;
所述检测层用于检测所述包含遮挡所述敏感区域的目标图像的人脸纹理特征,得到所述目标图像对应的人脸纹理检测结果。
一种可选的实施方式中,所述人脸纹理检测结果包括第一特征向量和第二特征向量,所述方法包括:
根据所述第一特征向量和所述第二特征向量之间的差值确定所述人脸纹理检测结果,其中,所述第一特征向量用于表征所述目标图像中人脸纹理的真实程度,所述第二特征向量用于表征所述目标图像中人脸纹理的虚假程度。
一种可选的实施方式中,所述提取所述视频数据中人眼对应的第一标签序列,包括:
通过逐帧对所述视频数据中的人眼区域进行关键点提取,生成所述视频数据对应的人眼区域的图像序列;
分别识别所述图像序列中的每一帧图像的人眼闭合状态,得到所述每一帧图像的人眼闭合状态对应的标签,所述人眼闭合状态用于指示左眼闭合或右眼闭合;
根据所述每一帧图像的人眼闭合状态对应的标签,确定所述第一标签序列。
一种可选的实施方式中,所述方法包括:所述每一帧图像对应有一个图像特征,所述图像特征包括尺寸特征、通道数特征和时间特征;其中,所述通道数特征用于表征所述每一帧图像的颜色通道数,所述时间特征用于表征所述每一帧图像在所述视频数据中的时间。
第二方面,本申请实施例提供一种活体检测装置,所述装置包括:
获取模块,用于获取包含待检测对象的视频数据,所述视频数据中包含有交替闭合左眼或右眼的人脸;
提取模块,用于提取所述视频数据中人眼对应的第一标签序列,所述第一标签序列用于表征所述人脸图像中左眼或右眼的闭合顺序;提取所述视频数据中人脸对应的多帧目标图像;
确定模块,用于根据所述第一标签序列和所述多帧目标图像,确定所述待检测对象的活体检测结果。
一种可选的实施方式中,所述确定模块,具体用于根据所述第一标签序列和标准标签序列,确定所述待检测对象的第一活体检测结果,所述标准标签序列用于表征检测对象的活体检测结果为活体的情况下,所述检测对象的左眼或右眼的预设闭合顺序;分别对所述多帧目标图像进行人脸纹理检测,确定所述待检测对象的第二活体检测结果;根据所述第一活体检测结果和所述第二活体检测结果,确定所述待检测对象的活体检测结果。
一种可选的实施方式中,所述确定模块,具体用于使用纹理检测模型分别对所述多帧目标图像进行人脸纹理检测,得到所述多帧目标图像分别对应的人脸纹理检测结果;根据目标人脸纹理检测结果的数量,确定所述第二活体检测结果,其中,所述目标人脸纹理结果为表征所述待检测对象的活体检测结果为活体的人脸纹理检测结果。
一种可选的实施方式中,所述纹理检测模型包括灵敏度识别层、遮挡层和检测层;
所述灵敏度识别层用于对目标图像中的各个区域的灵敏度进行识别,得到所述目标图像中的敏感区域,所述灵敏度用于表征所述目标图像中的各个区域对所述人脸纹理检测结果的影响程度;
所述遮挡层用于遮挡所述目标图像中的敏感区域,得到包含遮挡所述敏感区域的目标图像;
所述检测层用于检测所述包含遮挡所述敏感区域的目标图像的人脸纹理特征,得到所述目标图像对应的人脸纹理检测结果。
一种可选的实施方式中,所述人脸纹理检测结果包括第一特征向量和第二特征向量,所述确定模块,还用于根据所述第一特征向量和所述第二特征向量之间的差值确定所述人脸纹理检测结果,其中,所述第一特征向量用于表征所述目标图像中人脸纹理的真实程度,所述第二特征向量用于表征所述目标图像中人脸纹理的虚假程度。
一种可选的实施方式中,所述提取模块,具体用于通过逐帧对所述视频数据中的人眼区域进行关键点提取,生成所述视频数据对应的人眼区域的图像序列;分别识别所述图像序列中的每一帧图像的人眼闭合状态,得到所述每一帧图像的人眼闭合状态对应的标签,所述人眼闭合状态用于指示左眼闭合或右眼闭合;根据所述每一帧图像的人眼闭合状态对应的标签,确定所述第一标签序列。
一种可选的实施方式中,所述每一帧图像对应有一个图像特征,所述图像特征包括尺寸特征、通道数特征和时间特征;其中,所述通道数特征用于表征所述每一帧图像的颜色通道数,所述时间特征用于表征所述每一帧图像在所述视频数据中的时间。
第三方面,本申请实施例提供一种计算机设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的活体检测方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的体检测方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现第一方面以及第一方面各种可能的设计所述的体检测方法。
本实施例提供的一种活体检测方法及装置,首先获取包含待检测对象的视频数据,该视频数据中包含有交替闭合左眼或右眼的人脸。随后,提取视频数据中人眼对应的第一标签序列,该第一标签序列用于表征人脸图像中左眼或右眼的闭合顺序。最后,提取视频数据中人脸对应的多帧目标图像,并根据第一标签序列和多帧目标图像,确定待检测对象的活体检测结果。通过该方式,由于屏幕翻拍或具有眨眼功能的3D头模无法实时改变闭眼顺序和人脸纹理,因此,通过指示闭眼顺序的第一标签序列和人脸对应的多帧目标图像来进行活体识别,可以提高对屏幕翻拍或具有眨眼功能的3D头模生成的假体的防御能力,从而提高了活体识别的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有的一种眨眼活体检测方法的流程示意图;
图2为本申请实施例提供的一种活体检测方法的实施环境的示意图;
图3为本申请实施例提供的一种活体检测方法的流程示意图;
图4为本申请实施例提供的一种眨眼动作的示意图;
图5为本申请实施例提供的一种神经网络模型的结构示意图;
图6为本申请实施例提供的一种纹理检测模型进行人脸纹理检测的流程示意图;
图7为本申请实施例提供的一种活体检测装置的结构框图;
图8为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例,然而应当理解的是,本申请可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是,本申请的附图及实施例仅用于示例性作用,并非用于限制本申请的保护范围。
应当理解,本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
人脸识别是一种基于人的脸部特征信息进行身份识别的图像识别技术。在人脸识别过程中,通过活体检测技术可以确定待检测的对象的真实生理特征,从而验证待检测的对象是否为真实的活体本人操作。现有技术中,活体检测技术可以通过眨眼、张嘴、摇头、点头等组合动作来实现。
其中,通过眨眼实现的活体检测主要通过检测左右双眼的眨眼同步性和人眼的目光角度,来判断是否为活体。示例性的,图1为现有的一种眨眼活体检测方法的流程示意图。如图1所示,现有的眨眼活体检测方法可以包括S101-S104:
S101、获取待检测对象的眨眼视频。
S102、逐帧提取待检测的眨眼视频中的人脸检测点,获取眨眼视频中的每帧眼部区域的图像。
S103、对眨眼视频中的每帧眼部区域的图像进行眨眼检测,确定眨眼检测结果。其中,眨眼检测的方式可以包括检测左右双眼的眨眼同步性和人眼的目光角度。
S104、根据眨眼检测结果识别眨眼视频中的对象是否为活体。
然而,由于屏幕翻拍和具有眨眼功能的3D头模生成的假体,可以提前模拟特定的目光角度并进行左右双眼的同步眨眼。因此,仅仅通过眨眼检测无法有效防御屏幕翻拍和具有眨眼功能的3D头模生成的假体,从而导致活体检测的准确率较低。
针对上述技术问题,本申请旨在:提取眨眼视频中表征人脸的左眼或右眼的闭合顺序的第一标签序列,以及,提取眨眼视频中人脸对应的多帧目标图像。随后,通过第一标签序列指示的左眼或右眼的闭合顺序,以及目标图像中的人脸纹理来进行活体检测。由于屏幕翻拍或具有眨眼功能的3D头模无法实时改变闭眼顺序和人脸纹理,因此,通过指示闭眼顺序的第一标签序列和人脸对应的多帧目标图像来进行活体识别,可以提高对假体的防御能力,从而提高了活体识别的准确率。
下面对于本申请提供的活体检测方法的应用场景进行说明。
在一种活体检测方法中,本实施例提供的活体检测方法,可以应用在登录验证场景中。当用户在某应用中登录账号时,可以在确认用户输入的账号和密码无误后进行人脸检测,从而确保执行该登录操作的对象为用户本人。在进行人脸检测的过程中,可以指示用户依次闭合左眼或右眼来进行活体检测,从而避免其他人采用屏幕翻拍等方式假冒用户本人登录账号,提高了账号的安全性。
在另一种活体检测方法中,本实施例提供的活体检测方法,可以应用在用户在线验证的场景中。例如,在网络教学等应用中,当检测到被教学者的画面长时间未改变时,可以通过指示用户依次闭合左眼或右眼来进行活体检测,从而验证被教学者是否在线。
需要说明的是,上述两种应用场景并不构成对本申请的限制,本申请提供的活体检测方法可以应用于任何进行活体检测的场景中。
图2为本申请实施例提供的一种活体检测方法的实施环境的示意图。如图2所示,该活体检测方法的实施环境可以包括终端设备201,或者终端设备201和服务器202。终端设备201可以通过无线或有线网络与服务器202连接。
当需要对用户进行活体检测时,终端设备201可以采集待检测对象的眨眼视频。随后,可以由终端设备201对眨眼视频进行处理,来确定待检测对象是否为活体。或者,终端设备201也可以与服务器202交互,由服务器202提供数据服务来对眨眼视频进行处理,确定待检测对象是否为活体。
其中,终端设备201可以为平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、智慧家庭(smart home)中的无线终端等。本申请实施例中,用于实现终端的功能的装置可以是终端,也可以是能够支持终端实现该功能的装置,例如芯片系统,该装置可以被安装在终端中。本申请实施例中,芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。
服务器202可以是但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。其中,云计算是分布式计算的一种,由一群松散耦合的计算机组成的一个超级虚拟计算机。
可以理解,上述活体检测方法可以通过本申请实施例提供的活体检测装置实现,活体检测装置可以是某个设备的部分或全部,例如为服务器或服务器的芯片。
下面以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
参考图3,图3为本申请实施例提供的一种活体检测方法的流程示意图。本实施例的执行主体为服务器,本实施例涉及的是如何进行活体检测的过程。该活体检测方法包括:
S301:获取包含待检测对象的视频数据,视频数据中包含有交替闭合左眼或右眼的人脸。
在本申请中,当需要进行人脸检测时,可以相应的进行活体检测,从而判断人脸检测的待检测对象是否为活体。
在一些实施例中,服务器可以向终端设备发送活体检测指令,该活体检测指令中包含有待检测的对象需要完成的活体检测动作。随后,终端设备显示待检测的对象需要完成的活体检测动作,并拍摄待检测的对象完成活体检测动作时的视频。最后,终端设备可以将待检测的对象完成活体检测动作时的视频数据发送给服务器,以便服务器判断待检对象是否为活体。
应理解,在本申请实施例中,上述活体检测动作可以为一连串闭合左眼或右眼的眨眼动作。相应的,终端设备向服务器发送的待检测的对象完成活体检测动作时的视频数据,可以为待检测的对象的眨眼视频。其中,眨眼视频中可以包含有交替闭合左眼或右眼的人脸。
本申请实施例对于上述眨眼动作中闭合左眼或右眼的顺序不作限制,可以由服务器随机确定。示例性的,图4为本申请实施例提供的一种眨眼动作的示意图。如图4所示,在进行活体检测时,可以首先指示待检测的对象面向终端设备的屏幕并张开双眼。随后,可以指示待检测的对象依次进行四次眨眼,上述四次眨眼动作按照顺序依次为闭合左眼、闭合右眼、闭合左眼、闭合右眼四个动作。
需要说明的是,本申请实施例对于每次眨眼时眼睛的闭合时长不作限制,不同眨眼动作时眼睛的闭合时长可以相同,也可以不同。示例性的,上述四次眨眼动作按照顺序依次可以为闭合左眼1秒、闭合右眼2秒、闭合左眼2秒、闭合右眼1秒。其中,每次眨眼时眼睛的闭合时长也可以作为活体检测的辅助识别信息。
在本申请中,通过服务器来指示左眼或右眼进行眨眼动作并为不同的眨眼动作设置不同的眼睛闭合时长,从而可以规避屏幕翻拍或3D头模伪造的眨眼,从而提高识别准确率。
S302:提取视频数据中人眼对应的第一标签序列,该第一标签序列用于表征人脸图像中左眼或右眼的闭合顺序。
在本步骤中,当服务器获取到包含待检测对象的视频数据后,可以进一步从视频数据中提取第一标签序列。
在一些实施例中,第一标签序列可以包括视频数据中待检测的对象闭合左眼或右眼时人眼的闭合状态的标签信息,不同的人眼的闭合状态对应的标签信息不同。在第一标签序列中人眼的闭合状态的标签信息可以按照对应的闭合顺序进行排序。
应理解,本申请实施例对于上述人眼的闭合状态的标签信息的表示形式不作限制,在一些实施例中,标签信息可以为位图信息。
需要说明的是,本申请实施例对于如何从视频数据中提取第一标签序列不作限制,在一些实施例中,服务器可以先逐帧对眨眼视频中的人眼区域进行关键点提取,生成视频数据对应的人眼区域的图像序列。随后,服务器可以分别识别图像序列中的每一帧图像的人眼闭合状态,得到每一帧图像的人眼闭合状态对应的标签。最后,服务器可以根据每一帧图像的人眼闭合状态对应的标签,确定第一标签序列。
应理解,通过识别人眼区域的关键点,可以从视频数据中逐帧定位出人眼区域,进而将视频数据中每一帧图像的人眼区域组成人眼区域的图像序列。
本申请实施例对于人脸眼部的关键点不作限制,可以根据实际情况具体设置。示例性的,可以为眼角、瞳孔、鼻尖等具备关键特征的位置上的点。
应理解,本申请实施例对于如何检测人眼闭合状态也不作限制,可以使用常用的图像检测算法。
在一些实施例中,人眼闭合状态和标签之间的对应关系可以由服务器定义。示例性的,可以将闭合左眼的标签信息定义为0,将闭合右眼的标签信息定义为1。则相应的,若眨眼动作依次包含有闭合左眼、闭合右眼、闭合左眼、闭合右眼四个动作,则眨眼标签序列可以为“0101”。
在一些实施例中,每一帧图像对应有一个图像特征,图像特征包括尺寸特征、通道数特征和时间特征等。上述通道数特征用于表征每一帧图像的颜色通道数,上述时间特征用于表征每一帧图像在视频数据中的时间。相应的,上述图像,可以作为人眼区域的图像序列中每一帧图像的标识。
示例性的,可以通过批量大小、时间、高度、宽度和通道数来组成图像序列中每一帧图像的标识b×t×h×w×c(其中,b、t、h、w、c可以基于不同帧图像进行不同的取值,例如,1×100×112×224×3)。
其中,b为批量大小,t为时间,h为高度,w为宽度,c为通道数。
应理解,本申请实施例对于如何对人眼区域的图像序列中每一帧图像进行特征提取也不作限制,在一些实施例中,可以通过神经网络模型来实现。
示例性的,如图5所示,图5为本申请实施例提供的一种神经网络模型的结构示意图。该神经网络模型包括3D卷积神经网络(3DCNN)层、残差网络18(resnet18)层和转化(transformer)层。该神经网络模型接收到输入的人眼区域的图像序列后,可以通过3DCNN层提取图像序列中的每一帧图像的时间特征,通过resnet18层提取图像序列中的每一帧图像的尺寸特征、通道数特征。随后,transformer层基于时间特征、尺寸特征和通道数特征,形成每一帧图像的图像特征。
S303:提取视频数据中人脸对应的多帧目标图像。
在本步骤中,当服务器获取到包含待检测的对象的视频数据后,可以从视频数据中提取多帧目标图像,进而基于多帧目标图像中的人脸纹理信息来进行活体检测。
应理解,本申请实施例涉及的目标图像为包含有闭合左眼或右眼时的人脸的纹理信息的图像。
需要说明的是,本申请实施例对于目标图像的数量不作限制,在一些实施例中,当视频数据中的待检测的对象发生一次眨眼行为时,服务器提取该眨眼行为中的一帧图像作为目标图像。示例性的,若待检测对象在视频数据中发生四次眨眼行为,则相应的,服务器可以提取四帧目标图像。
需要说明的是,本申请实施例对于如何提取多帧目标图像也不做限制,在一些实施例中,在检测到待检测的对象发生眨眼行为时,可以通过人脸关键点检测获取人脸区域的图像作为目标图像。
需要说明的是,步骤S303可以在步骤S202之后执行,也可以在步骤S302之前执行,还可以与步骤S302同时执行,本申请实施例对此不作限制。
S304:根据第一标签序列所述多帧目标图像,确定待检测对象的活体检测结果。
在本步骤中,当服务器从视频数据中提取第一标签序列和多帧目标图像后,可以根据第一标签序列和多帧目标图像,确定待检测的对象的活体检测结果。
应理解,本申请实施例对于如何根据第一标签序列和多帧目标图像确定待检测的活体检测结果,也不作限制。在一些实施例中,服务器可以先根据第一标签序列和标准标签序列,确定待检测对象的第一活体检测结果。随后,服务器可以分别对多帧目标图像进行人脸纹理检测,确定待检测对象的第二活体检测结果。最后,服务器可以根据第一活体检测结果和第二活体检测结果,确定待检测对象的活体检测结果。
其中,标准标签序列用于表征检测对象的活体检测结果为活体的情况下,检测对象的左眼或右眼的预设闭合顺序。
针对第一活体检测结果,在一些实施例中,服务器可以通过比较第一标签序列和标准标签序列是否一致来确定。若第一标签序列和标准标签序列一致,则确定第一活体检测结果指示待检测的对象为活体。若第一标签序列和标准标签序列不一致,则确定第一初步活体检测结果指示待检测的对象为假体。
示例性的,若服务器指示用户进行的眨眼动作依次为闭合左眼、闭合右眼、闭合左眼、闭合右眼,则相应的标准标签序列为0101。若第一标签序列为0101,则第一活体检测结果指示待检测的对象为活体。若眨眼标签序列不为0101,则第一活体检测结果指示待检测的对象为假体。
在本申请中,通过比较第一标签序列和标准标签序列是否一致,来确定待检测的对象的活体检测结果。若第一标签序列和标准标签序列一致,则活体检测结果指示待检测对象为活体,若第一标签序列和标准标签序列不一致,则活体检测结果指示待检测对象为假体。
通过该方式,可以使服务器灵活设置指示用户进行的眨眼动作,避免误识别屏幕翻拍和具有眨眼功能的3D头模生成的假体,从而提高了活体检测的准确率。
针对第二活体检测结果,在一些实施例中,服务器可以先使用纹理检测模型分别对多帧目标图像进行人脸纹理检测,得到多帧目标图像分别对应的人脸纹理检测结果。随后,服务器再根据目标人脸纹理检测结果的数量,确定第二活体检测结果。其中,目标人脸纹理结果为表征待检测对象的活体检测结果为活体的人脸纹理检测结果。
应理解,本申请实施例对于纹理检测模型的网络结构不作限制,在一些实施例中,该纹理检测模型的主干(backbone)可以采用resnet18的网络结构。
示例性的,上述纹理检测模型的结构(例如,resnet18),可以包括灵敏度识别层、遮挡层和检测层。
其中,灵敏度识别层用于对目标图像中的各个区域的灵敏度进行识别,得到目标图像中的敏感区域,该灵敏度用于表征目标图像中的各个区域对人脸纹理检测结果的影响程度。遮挡层用于遮挡目标图像中的敏感区域,得到包含遮挡敏感区域的目标图像。检测层用于检测包含遮挡敏感区域的目标图像的人脸纹理特征,得到目标图像对应的人脸纹理检测结果。
在一些实施例中,上述纹理检测模型可以为代表性伪造挖掘(RepresentativeForgery Mining,RFM)算法模型。RFM算法模型是一种基于注意力的数据增强方法,通常包括伪造注意力图(Forgery Attention Map,FAM)和可疑伪迹擦除(Suspicious ForgeriesErasing,SFE)算法。RFM算法模型在训练期间,使用RFM的每个迭代只需要向前和向后传播两次。
在本申请中,通过RFM算法模型,可以对脸部的纹理信息进行有效学习,从而得到每一帧目标图像分别对应的人脸纹理检测结果。
应理解,本申请实施例对于人脸纹理检测结果的类型不作限制,在一些实施例中,人脸纹理检测结果可以为一个二分类的预测结果。若检测出目标图像中的人脸纹理真实,则人脸纹理检测结果可以指示目标图像中的待检测为活体。若,检测出目标图像中的人脸纹理虚假,则人脸纹理检测结果可以指示目标图像中的待检测为假体。
需要说明的是,每一帧目标图像均对应有一个人脸纹理检测结果。
在一些实施例中,当目标人脸纹理检测结果的数量大于或等于预设阈值时,则可以确定第二活体检测结果指示待检测的对象为活体。相应的,当目标人脸纹理检测结果的数量小于预设阈值时,则可以确定第二活体检测结果指示待检测的对象为假体。
应理解,本申请实施例对于如何设定预设阈值也不作限制,在一些实施例中,可以根据视频数据中提取到的目标图像的数量的百分比来确定,该百分比可以根据实际情况具体设置,例如,60%、80%等。
示例性的,若视频数据中提取出来5帧目标图像且预设阈值设定为目标图像的数量的60%,则可以确定预设阈值为3。
示例性的,服务器从视频数据中获取了4帧目标图像,数量阈值为3,则当存在3个或3个以上的目标人脸纹理结果,则可以确定该待检测的对象为活体。
应理解,本申请实施例对于根据第一活体检测结果和初步活体检测结果,确定待检测对象的活体检测结果也不做限制。在一些实施例中,若第一活体检测结果和初步活体检测结果均指示待检测对象为活体,则服务器确定待检测对象为活体。若初步活体检测结果或初步活体检测结果指示待检测对象为假体,则服务器确定指示待检测对象为假体。
本实施例提供的活体检测方法,首先获取待检测的对象的眨眼视频,该眨眼视频中包含有依次闭合左眼或右眼的人脸。其次,从眨眼视频中提取眨眼标签序列,该眨眼标签序列用于表征眨眼视频中的人脸的左眼或右眼的闭合顺序。再次,从眨眼视频中提取多帧目标图像,多帧目标图像中分别包含有闭合左眼或右眼时的人脸的纹理信息。最后,根据眨眼标签序列和多帧目标图像,确定待检测的对象是否为活体。通过该方式,由于在进行活体检测时考虑了眨眼标签序列和人脸的纹理信息,从而可以避免屏幕翻拍或屏幕翻拍导致的误识别,提高了活体识别的准确率。
在上述实施例的基础上,下面对于纹理检测模型如何进行人脸纹理检测进行具体说明。图6为本申请实施例提供的一种纹理检测模型进行人脸纹理检测的流程示意图。该纹理检测模型可以通过以下步骤进行人脸纹理检测包括:
S401:通过灵敏度识别层对目标图像中的各个区域的灵敏度进行识别,得到目标图像中的敏感区域。
其中,该灵敏度用于表征目标图像中的各个区域对人脸纹理检测结果的影响程度。
示例性的,在灵敏度识别层中,可以使用FAM确定目标图像中的各个区域的灵敏度,随后,基于灵敏度的高度,再从目标图像中的各个区域中精确定位敏感区域。
应理解,上述敏感区域可以为一个区域,例如,目标图像中灵敏度最高的区域。上述敏感区域可以为多个区域,例如,在将目标图像中各个区域的灵敏度按照从高到低的顺序排序后,选取排序最高的N个区域作为敏感区域。
在一些实施例中,上述目标图像中各个区域的坐标的FAM的值,可以作为目标图像中各个区域的敏感度。通过对各个区域的坐标的FAM的值的排序,可以确定出敏感区域。若敏感区域为一个,则可以从降序排列的坐标的FAM的值中选择排序最高的FAM的值对应的区域作为敏感区域。若敏感区域为N(N为整数且大于1)个,则可以从降序排列的坐标的FAM的值中选择排序最高的N个FAM的值对应的区域分别作为敏感区域。应理解,本申请实施例对于如何确定敏感度也不作限制。示例性的,每个区域对于人脸纹理检测结果的影响可以通过和/>来表示,相应的,/>和/>之间的最大绝对差被视为FAM,即上述灵敏度。通过FAM可以简单地表示对应区域的扰动对人脸纹理检测结果的影响。因此,FAM图(Map1)可以表示为公式(1):
其中,max函数用于计算最大值沿轴通道,abs函数用于获取每个像素的绝对值,用于表示目标图像中的区域对于人脸纹理检测结果为活体的影响程度,/>用于表示目标图像中的区域对于人脸纹理检测结果为假体的影响程度。
S402:通过遮挡层遮挡目标图像中的敏感区域,得到包含遮挡敏感区域的目标图像。
应理解,本申请实施例对于遮挡层如何遮挡敏感区域不作限制,在一些实施例中,可以通过SFE算法确定敏感区域的遮挡层,从而使用遮挡层对敏感区域进行遮挡。
示例性的,当确定出敏感区域后,可以进一步获取敏感区域中的像素点。随后,可以将各个像素点作为敏感区域的锚点,通过SFE算法使用随机整数来将各个像素点组成一个矩形块,并使用该矩形块作为上述遮挡层对目标图像进行遮挡。若该遮挡层未完全遮挡所有敏感区域的锚点,则基于未被遮挡的敏感区域的锚点,再次使用SFE算法生成新的矩形块作为新的遮挡层,并使用新的遮挡层再次对敏感区域进行遮挡。最后,重复上述遮挡过程,直到每个敏感区域均被遮挡。需要说明的是,本申请实施例中对于上述矩形块的大小不作限制,在一些实施例中,上述矩形块的大小可以基于目标图像的大小确定。
示例性的,若目标图像的大小为H×W,矩形块的大小则小于He×We。其中,He≤H,We≤W,H为目标图像的高度,W为目标图像的宽度,He为矩形块的高度的上限值,We为矩形块的宽度的上限值。
应理解,本申请实施例对于He和We不作限制,在一些实施例中,可以基于H的预设的百分比和确定He,基于W的预设的百分比确定We。上述预设的百分比可以根据实际情况具体设置,例如60%、70%。
S403:通过检测层检测包含遮挡敏感区域的目标图像的人脸纹理特征,得到目标图像对应的人脸纹理检测结果。
应理解,本申请实施例对于如何识别遮挡敏感区域的目标图像的人脸纹理特征不作限制,可以使用常用的图像检测模型。
在一些实施例中,人脸纹理检测结果包括第一特征向量和第二特征向量。相应的,可以根据第一特征向量和第二特征向量之间的差值确定人脸纹理检测结果。
其中,第一特征向量用于表征目标图像中人脸纹理的真实程度,第二特征向量用于表征目标图像中人脸纹理的虚假程度。
在本申请实施例中,通过对目标图像进行人脸纹理检测时,遮挡掉目标图像中的敏感度区域,从而可以防御通过模拟特定的敏感度区域生成的假体,从而提高了活体检测的准确率。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
对应于上文实施例的活体检测方法,图7为本申请实施例提供的一种活体检测装置的结构框图。为了便于说明,仅示出了与本申请实施例相关的部分。参照图7,该活体检测装置500包括:获取模块501、提取模块502、和确定模块503。
获取模块501,用于获取包含待检测对象的视频数据,视频数据中包含有交替闭合左眼或右眼的人脸;
提取模块502,用于提取视频数据中人眼对应的第一标签序列,第一标签序列用于表征人脸图像中左眼或右眼的闭合顺序;提取视频数据中人脸对应的多帧目标图像;
确定模块503,用于根据第一标签序列和多帧目标图像,确定待检测对象的活体检测结果。
一种可选的实施方式中,确定模块503,具体用于根据第一标签序列和标准标签序列,确定待检测对象的第一活体检测结果,标准标签序列用于表征检测对象的活体检测结果为活体的情况下,检测对象的左眼或右眼的预设闭合顺序;分别对多帧目标图像进行人脸纹理检测,确定待检测对象的第二活体检测结果;根据第一活体检测结果和第二活体检测结果,确定待检测对象的活体检测结果。
一种可选的实施方式中,确定模块503,具体用于使用纹理检测模型分别对多帧目标图像进行人脸纹理检测,得到多帧目标图像分别对应的人脸纹理检测结果;根据目标人脸纹理检测结果的数量,确定第二活体检测结果,其中,目标人脸纹理结果为表征待检测对象的活体检测结果为活体的人脸纹理检测结果。
一种可选的实施方式中,纹理检测模型包括灵敏度识别层、遮挡层和检测层;
灵敏度识别层用于对目标图像中的各个区域的灵敏度进行识别,得到目标图像中的敏感区域,灵敏度用于表征目标图像中的各个区域对人脸纹理检测结果的影响程度;
遮挡层用于遮挡目标图像中的敏感区域,得到包含遮挡敏感区域的目标图像;
检测层用于检测包含遮挡敏感区域的目标图像的人脸纹理特征,得到目标图像对应的人脸纹理检测结果。
一种可选的实施方式中,人脸纹理检测结果包括第一特征向量和第二特征向量,确定模块,还用于根据第一特征向量和第二特征向量之间的差值确定人脸纹理检测结果,其中,第一特征向量用于表征目标图像中人脸纹理的真实程度,第二特征向量用于表征目标图像中人脸纹理的虚假程度。
一种可选的实施方式中,提取模块502,具体用于通过逐帧对视频数据中的人眼区域进行关键点提取,生成视频数据对应的人眼区域的图像序列;分别识别图像序列中的每一帧图像的人眼闭合状态,得到每一帧图像的人眼闭合状态对应的标签,人眼闭合状态用于指示左眼闭合或右眼闭合;根据每一帧图像的人眼闭合状态对应的标签,确定第一标签序列。
一种可选的实施方式中,每一帧图像对应有一个图像特征,图像特征包括尺寸特征、通道数特征和时间特征;其中,通道数特征用于表征每一帧图像的颜色通道数,时间特征用于表征每一帧图像在视频数据中的时间。
本实施例提供的活体检测装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
图8为本申请实施例提供的一种计算机设备的结构示意图。如图8示,该计算机设备可以包括:多个处理器601和存储器602。图8的是以一个处理器为例的计算机设备。
存储器602,用于存放程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。
存储器602可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如多个磁盘存储器。
处理器601用于执行存储器602存储的计算机执行指令,以实现上述活体检测方法。
其中,处理器601可能是一个处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的,在具体实现上,如果通信接口、存储器602和处理器601独立实现,则通信接口、存储器602和处理器601可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果通信接口、存储器602和处理器601集成在一块芯片上实现,则通信接口、存储器602和处理器601可以通过内部接口完成通信。
本申请实施例还提供了一种芯片,包括处理器和接口。其中接口用于输入输出处理器所处理的数据或指令。处理器用于执行以上方法实施例中提供的活体检测方法。该芯片可以应用于活体检测装置中。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质,具体的,该计算机可读存储介质中存储有程序信息,程序信息用于上述活体检测方法。
本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上述的活体检测方法。
本申请还提供了一种计算机程序,计算机程序使得计算机执行上述的活体检测方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种活体检测方法,其特征在于,所述方法包括:
获取包含待检测对象的视频数据,所述视频数据中包含有交替闭合左眼或右眼的人脸;
提取所述视频数据中人眼对应的第一标签序列,所述第一标签序列用于表征所述人脸图像中左眼或右眼的闭合顺序;
提取所述视频数据中人脸对应的多帧目标图像;
根据所述第一标签序列和所述多帧目标图像,确定所述待检测对象的活体检测结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一标签序列和所述多帧目标图像,确定所述待检测对象的活体检测结果,包括:
根据所述第一标签序列和标准标签序列,确定所述待检测对象的第一活体检测结果,所述标准标签序列用于表征检测对象的活体检测结果为活体的情况下,所述检测对象的左眼或右眼的预设闭合顺序;
分别对所述多帧目标图像进行人脸纹理检测,确定所述待检测对象的第二活体检测结果;
根据所述第一活体检测结果和所述第二活体检测结果,确定所述待检测对象的活体检测结果。
3.根据权利要求2所述的方法,其特征在于,所述分别对所述多帧目标图像进行人脸纹理检测,确定所述待检测对象的第二活体检测结果,包括:
使用纹理检测模型分别对所述多帧目标图像进行人脸纹理检测,得到所述多帧目标图像分别对应的人脸纹理检测结果;
根据目标人脸纹理检测结果的数量,确定所述第二活体检测结果,其中,所述目标人脸纹理结果为表征所述待检测对象的活体检测结果为活体的人脸纹理检测结果。
4.根据权利要求3所述的方法,其特征在于,所述纹理检测模型包括灵敏度识别层、遮挡层和检测层,所述使用纹理检测模型分别对所述多帧目标图像进行人脸纹理检测,确定所述多帧目标图像分别对应的人脸纹理检测结果,包括:
所述灵敏度识别层用于对目标图像中的各个区域的灵敏度进行识别,得到所述目标图像中的敏感区域,所述灵敏度用于表征所述目标图像中的各个区域对所述人脸纹理检测结果的影响程度;
所述遮挡层用于遮挡所述目标图像中的敏感区域,得到包含遮挡所述敏感区域的目标图像;
所述检测层用于检测所述包含遮挡所述敏感区域的目标图像的人脸纹理特征,得到所述目标图像对应的人脸纹理检测结果。
5.根据权利要求3或4所述的方法,其特征在于,所述人脸纹理检测结果包括第一特征向量和第二特征向量,所述方法包括:
根据所述第一特征向量和所述第二特征向量之间的差值确定所述人脸纹理检测结果,其中,所述第一特征向量用于表征所述目标图像中人脸纹理的真实程度,所述第二特征向量用于表征所述目标图像中人脸纹理的虚假程度。
6.根据权利要求1所述的方法,其特征在于,所述提取所述视频数据中人眼对应的第一标签序列,包括:
通过逐帧对所述视频数据中的人眼区域进行关键点提取,生成所述视频数据对应的人眼区域的图像序列;
分别识别所述图像序列中的每一帧图像的人眼闭合状态,得到所述每一帧图像的人眼闭合状态对应的标签,所述人眼闭合状态用于指示左眼闭合或右眼闭合;
根据所述每一帧图像的人眼闭合状态对应的标签,确定所述第一标签序列。
7.根据权利要求6所述的方法,其特性在于,所述方法包括:所述每一帧图像对应有一个图像特征,所述图像特征包括尺寸特征、通道数特征和时间特征;其中,所述通道数特征用于表征所述每一帧图像的颜色通道数,所述时间特征用于表征所述每一帧图像在所述视频数据中的时间。
8.一种活体检测装置,其特征在于,所述装置包括:
获取模块,用于获取包含待检测对象的视频数据,所述视频数据中包含有交替闭合左眼或右眼的人脸;
提取模块,用于提取所述视频数据中人眼对应的第一标签序列,所述第一标签序列用于表征所述人脸图像中左眼或右眼的闭合顺序;提取所述视频数据中人脸对应的多帧目标图像;
确定模块,用于根据所述第一标签序列和所述多帧目标图像,确定所述待检测对象的活体检测结果。
9.一种计算机设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至7任一项所述的方法。
11.一种计算机程序产品,包括计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1至7任一项所述的方法。
CN202210603474.XA 2022-05-30 2022-05-30 活体检测方法及装置 Pending CN117197903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210603474.XA CN117197903A (zh) 2022-05-30 2022-05-30 活体检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210603474.XA CN117197903A (zh) 2022-05-30 2022-05-30 活体检测方法及装置

Publications (1)

Publication Number Publication Date
CN117197903A true CN117197903A (zh) 2023-12-08

Family

ID=88994733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210603474.XA Pending CN117197903A (zh) 2022-05-30 2022-05-30 活体检测方法及装置

Country Status (1)

Country Link
CN (1) CN117197903A (zh)

Similar Documents

Publication Publication Date Title
US11936647B2 (en) Identity verification method and apparatus, storage medium, and computer device
CN108664782B (zh) 面部验证方法和设备
CN106897658B (zh) 人脸活体的鉴别方法和装置
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
CN108140123A (zh) 人脸活体检测方法、电子设备和计算机程序产品
CN104966070B (zh) 基于人脸识别的活体检测方法和装置
CN105518710B (zh) 视频检测方法、视频检测系统以及计算机程序产品
CN117992939A (zh) 脸部验证方法、设备以及计算设备
CN109766785B (zh) 一种人脸的活体检测方法及装置
CN109886697A (zh) 基于表情组别的操作确定方法、装置及电子设备
CN111611873A (zh) 人脸替换检测方法及装置、电子设备、计算机存储介质
CN109919754A (zh) 一种数据获取方法、装置、终端及存储介质
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
CN112883918B (zh) 人脸检测方法、装置、终端设备及计算机可读存储介质
EP3944188A1 (en) Image processing device, image processing method, and recording medium in which program is stored
CN111325175A (zh) 活体检测方法、装置、电子设备及存储介质
CN110688878A (zh) 活体识别检测方法、装置、介质及电子设备
Fang et al. Fairness in face presentation attack detection
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
WO2024169261A1 (zh) 图像处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品
CN112600886B (zh) 端云结合的隐私保护方法、装置以及设备
CN111783677B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN110909704A (zh) 一种活体检测方法、装置、电子设备及存储介质
US20230259599A1 (en) Authentication device, authentication method, and computer readable medium
CN112084915A (zh) 模型训练方法、活体检测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination