CN110889312A - 活体检测方法和装置、电子设备、计算机可读存储介质 - Google Patents

活体检测方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110889312A
CN110889312A CN201811046177.XA CN201811046177A CN110889312A CN 110889312 A CN110889312 A CN 110889312A CN 201811046177 A CN201811046177 A CN 201811046177A CN 110889312 A CN110889312 A CN 110889312A
Authority
CN
China
Prior art keywords
image
modality
living body
sample
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811046177.XA
Other languages
English (en)
Other versions
CN110889312B (zh
Inventor
暴天鹏
吴立威
张瑞
杨凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811046177.XA priority Critical patent/CN110889312B/zh
Priority to JP2020517441A priority patent/JP6975848B2/ja
Priority to PCT/CN2019/083639 priority patent/WO2020048140A1/zh
Priority to US16/649,748 priority patent/US11222222B2/en
Priority to SG11202003136QA priority patent/SG11202003136QA/en
Priority to KR1020207009471A priority patent/KR102324697B1/ko
Publication of CN110889312A publication Critical patent/CN110889312A/zh
Application granted granted Critical
Publication of CN110889312B publication Critical patent/CN110889312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Abstract

本申请实施例公开了一种活体检测方法和装置、电子设备、计算机可读存储介质，其中方法包括：对采集到的图像进行特征提取，获得图像特征；基于所述图像特征确定所述图像的模态分类结果，所述模态分类结果指示所述图像对应至少一个模态中的目标模态；基于所述图像的模态分类结果，确定所述图像中的目标对象是否为活体；通过对图像的模态进行预测，并结合模态分类结果判断目标对象是否为活体，提高了活体检测对不同模态的兼容性，使检测结果更准确。

Description

活体检测方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及计算机视觉技术，尤其是一种活体检测方法和装置、电子设备、计算机可读存储介质。
背景技术
随着人工智能技术的快速发展和广泛应用，安全性问题越来越受到社会大众的重视。在人脸识别技术用于各种身份认证的落地场景中，人脸防伪都是不可或缺的一环。人脸防伪，又称为活体检测，是用于区分摄像头前的人脸是来自于活体还是纸质照片/屏幕照片/面具等假人的一种技术。
发明内容
本申请实施例提供了一种活体检测技术。
根据本申请实施例的一个方面，提供的一种活体检测方法，包括：
对采集到的图像进行特征提取，获得图像特征；
基于所述图像特征确定所述图像的模态分类结果，所述模态分类结果指示所述图像对应至少一个模态中的目标模态；
基于所述图像的模态分类结果，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一方法实施例中，所述基于所述图像特征确定所述图像的模态分类结果，包括：
基于所述图像特征进行分类处理，获得所述图像属于至少一个模态中每个模态的分类概率；
基于所述至少一个模态中每个模态的分类概率，确定所述图像的模态分类结果。
可选地，在本发明上述任一方法实施例中，所述基于所述图像的模态分类结果，确定所述图像中的目标对象是否为活体，包括：
基于所述图像的模态分类结果和所述图像特征，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一方法实施例中，所述基于所述图像的模态分类结果和所述图像特征，确定所述图像中的目标对象是否为活体，包括：
将所述图像特征与所述图像的模态分类结果进行合并，获得合并结果；
基于所述合并结果，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一方法实施例中，所述基于所述图像的模态分类结果和所述图像特征，确定所述图像中的目标对象是否为活体，包括：
基于所述图像特征获得所述至少一个模态中每个模态对应的真伪概率；
基于所述模态分类结果和所述至少一个模态中每个模态对应的真伪概率，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一方法实施例中，所述模态分类结果包括所述图像属于所述至少一个模态中每个模态的分类概率；
所述基于所述模态分类概率结果和所述至少一个模态中每个模态对应的真伪概率，确定所述目标图像中的目标对象是否为活体，包括：
以所述至少一个模态中每个模态的分类概率作为所述模态对应的权值，对所述至少一个模态中每个模态的真伪概率进行加权求和，获得目标真伪概率；
基于所述目标真伪概率，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一方法实施例中，所述基于所述模态分类概率结果和所述至少一个模态中每个模态对应的真伪概率，确定所述图像中的目标对象是否为活体，包括：
基于所述模态分类结果中包括的至少一个模态中每个模态对应的分类概率，从所述至少一个真伪概率中确定目标真伪概率；
基于所述目标真伪概率，确定所述目标图像中的目标对象是否为活体。
可选地，在本发明上述任一方法实施例中，所述基于所述模态分类结果中包括的至少一个模态中每个模态对应的分类概率，从所述至少一个真伪概率中确定目标真伪概率，包括：
响应于所述模态分类结果中的至少一个分类概率中存在大于或等于预设概率的分类概率；
将所述大于或等于预设概率的分类概率对应的模态确定为目标模态，将所述目标模态的真伪概率确定为所述目标真伪概率。
可选地，在本发明上述任一方法实施例中，所述对采集到的图像进行特征提取，获得图像特征之前，还包括：
通过双通摄像头对目标进行图像采集，获得所述目标图像。
可选地，在本发明上述任一方法实施例中，所述至少一种模态包括：双通模态和RGB模态。
可选地，在本发明上述任一方法实施例中，所述方法利用活体检测网络实现；
所述对采集到的图像进行特征提取，获得图像特征之前，还包括：
基于样本数据集训练所述活体检测网络，所述样本数据集包括至少两种模态的样本图像。
根据本申请实施例的另一个方面，提供的一种活体检测方法，包括：
获取第一模态的图像；
通过活体检测网络对所述图像进行活体检测，确定所述图像中的目标对象是否为活体，其中，所述活体检测网络是基于样本图像集对初始活体检测网络进行训练得到的，所述样本图像集包括所述第一模态的样本图像和第二模态的样本图像。
可选地，在本发明上述任一方法实施例中，所述通过活体检测网络对所述图像进行活体检测，确定所述图像中的目标对象是否为活体，包括：
对所述图像对特征提取，获得图像特征；
基于所述图像特征，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一方法实施例中，基于所述样本图像集训练所述初始活体检测网络，包括：
对所述样本图像进行特征提取，获得样本特征；
基于所述样本特征确定所述样本图像的样本模态分类结果，所述样本模态分类结果指示所述样本图像对应至少一个模态中的样本模态；
基于所述样本模态分类结果，确定所述样本图像的预测真伪结果；
基于所述预测真伪结果和所述样本图像的标注真伪信息训练所述初始活体检测网络。
可选地，在本发明上述任一方法实施例中，所述基于所述样本特征确定所述样本图像的样本模态分类结果，包括：
基于所述样本特征进行分类处理，获得所述样本图像属于所述第一模态的分类概率和属于所述第二模态的分类概率；
基于属于所述第一模态的分类概率和属于所述第二模态的分类概率，确定所述样本图像的样本模态分类结果。
可选地，在本发明上述任一方法实施例中，所述基于所述样本模态分类结果，确定所述样本图像的预测真伪结果，包括：
基于所述样本模态分类结果和所述样本特征，确定所述样本图像的预测真伪结果。
可选地，在本发明上述任一方法实施例中，所述基于所述样本模态分类结果和所述样本特征，确定所述样本图像的预测真伪结果，包括：
将所述样本特征与所述样本图像的样本模态分类结果进行合并，获得样本合并结果；
基于所述样本合并结果，确定所述样本图像的预测真伪结果。
可选地，在本发明上述任一方法实施例中，近红外摄像头采集到的图像属于第一模态，所述第二模态为RGB模态。
根据本申请实施例的另一个方面，提供的一种活体检测装置，包括：
特征提取单元，用于对采集到的图像进行特征提取，获得图像特征；
模态分类单元，用于基于所述图像特征确定所述图像的模态分类结果，所述模态分类结果指示所述图像对应至少一个模态中的目标模态；
活体检测单元，用于基于所述图像的模态分类结果，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一装置实施例中，所述模态分类单元，具体用于基于所述图像特征进行分类处理，获得所述图像属于至少一个模态中每个模态的分类概率；基于所述至少一个模态中每个模态的分类概率，确定所述图像的模态分类结果。
可选地，在本发明上述任一装置实施例中，所述活体检测单元，具体用于基于所述图像的模态分类结果和所述图像特征，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一装置实施例中，所述活体检测单元，用于将所述图像特征与所述图像的模态分类结果进行合并，获得合并结果；基于所述合并结果，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一装置实施例中，所述活体检测单元，包括：
真伪概率模块，用于基于所述图像特征获得所述至少一个模态中每个模态对应的真伪概率；
活体确定模块，用于基于所述模态分类结果和所述至少一个模态中每个模态对应的真伪概率，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一装置实施例中，所述模态分类结果包括所述图像属于所述至少一个模态中每个模态的分类概率；
所述活体确定模块，具体用于以所述至少一个模态中每个模态的分类概率作为所述模态对应的权值，对所述至少一个模态中每个模态的真伪概率进行加权求和，获得目标真伪概率；基于所述目标真伪概率，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一装置实施例中，所述活体确定模块在基于所述模态分类概率结果和所述至少一个模态中每个模态对应的真伪概率，确定所述图像中的目标对象是否为活体时，用于基于所述模态分类结果中包括的至少一个模态中每个模态对应的分类概率，从所述至少一个真伪概率中确定目标真伪概率；基于所述目标真伪概率，确定所述目标图像中的目标对象是否为活体。
可选地，在本发明上述任一装置实施例中，所述活体确定模块在基于所述模态分类结果中包括的至少一个模态中每个模态对应的分类概率，从所述至少一个真伪概率中确定目标真伪概率时，用于响应于所述模态分类结果中的至少一个分类概率中存在大于或等于预设概率的分类概率；将所述大于或等于预设概率的分类概率对应的模态确定为目标模态，将所述目标模态的真伪概率确定为所述目标真伪概率。
可选地，在本发明上述任一装置实施例中，所述装置还包括：
图像采集单元，用于通过双通摄像头对目标进行图像采集，获得所述目标图像。
可选地，在本发明上述任一装置实施例中，所述至少一种模态包括：双通模态和RGB模态。
可选地，在本发明上述任一装置实施例中，所述装置利用活体检测网络实现；
所述装置还包括：
网络训练单元，用于基于样本数据集训练所述活体检测网络，所述样本数据集包括至少两种模态的样本图像。
根据本申请实施例的另一个方面，提供的一种活体检测装置，包括：
图像获取单元，用于获取第一模态的图像；
目标检测单元，用于通过活体检测网络对所述图像进行活体检测，确定所述图像中的目标对象是否为活体，其中，所述活体检测网络是基于样本图像集对初始活体检测网络进行训练得到的，所述样本图像集包括所述第一模态的样本图像和第二模态的样本图像。
可选地，在本发明上述任一装置实施例中，所述目标检测单元，具体用于对所述图像对特征提取，获得图像特征；基于所述图像特征，确定所述图像中的目标对象是否为活体。
可选地，在本发明上述任一装置实施例中，所述装置还包括：
检测网络训练单元，用于对所述样本图像进行特征提取，获得样本特征；基于所述样本特征确定所述样本图像的样本模态分类结果，所述样本模态分类结果指示所述样本图像对应至少一个模态中的样本模态；基于所述样本模态分类结果，确定所述样本图像的预测真伪结果；基于所述预测真伪结果和所述样本图像的标注真伪信息训练所述初始活体检测网络。
可选地，在本发明上述任一装置实施例中，所述检测网络训练单元在基于所述样本特征确定所述样本图像的样本模态分类结果时，用于基于所述样本特征进行分类处理，获得所述样本图像属于所述第一模态的分类概率和属于所述第二模态的分类概率；基于属于所述第一模态的分类概率和属于所述第二模态的分类概率，确定所述样本图像的样本模态分类结果。
可选地，在本发明上述任一装置实施例中，所述检测网络训练单元在基于所述样本模态分类结果，确定所述样本图像的预测真伪结果时，用于基于所述样本模态分类结果和所述样本特征，确定所述样本图像的预测真伪结果。
可选地，在本发明上述任一装置实施例中，所述检测网络训练单元在基于所述样本模态分类结果和所述样本特征，确定所述样本图像的预测真伪结果时，用于将所述样本特征与所述样本图像的样本模态分类结果进行合并，获得样本合并结果；基于所述样本合并结果，确定所述样本图像的预测真伪结果。
可选地，在本发明上述任一装置实施例中，近红外摄像头采集到的图像属于第一模态，所述第二模态为RGB模态。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的活体检测装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述活体检测方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述活体检测方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述活体检测方法的指令。
根据本申请实施例的再一个方面，提供的另一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的活体检测方法的操作。
在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。
根据本申请实施例还提供了另一种活体检测方法和装置、电子设备、计算机存储介质、计算机程序产品，其中，对采集到的图像进行特征提取，获得图像特征；基于图像特征确定图像的模态分类结果，模态分类结果指示图像对应至少一个模态中的目标模态；基于图像的模态分类结果，确定图像中的目标对象是否为活体。
基于本申请上述实施例提供的一种活体检测方法和装置、电子设备、计算机可读存储介质，对采集到的图像进行特征提取，获得图像特征；基于图像特征确定图像的模态分类结果，模态分类结果指示图像对应至少一个模态中的目标模态；基于图像的模态分类结果，确定图像中的目标对象是否为活体；通过对图像的模态进行预测，并结合模态分类结果判断目标对象是否为活体，提高了活体检测对不同模态的兼容性，使检测结果更准确。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请活体检测方法一个实施例的流程图。
图2为本申请活体检测方法一个示例中活体检测网络训练过程的流程示意图。
图3为本申请活体检测方法另一示例中活体检测网络的结构示意图。
图4为本申请实施例活体检测装置的一个结构示意图。
图5为本申请活体检测方法一个实施例的流程图。
图6为本申请实施例活体检测装置的一个结构示意图。
图7为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
现有技术中，从传感器的角度进行区分，摄像头主要包括单目摄像头和双目摄像头。
单目摄像头可以包括但不限于：RGB摄像头、近红外摄像头和双通摄像头；其中，双通摄像头可以同时通过可见光波段和近红外波段的光线，最后叠加成像。可将包括近红外摄像头和双通摄像头在内的所有非RGB摄像头统称为新型单目摄像头。近红外摄像头和双通摄像头都配有主动光源，在暗光下都可以通过主动打光获取清晰的图像，解决了普通RGB摄像头在暗光下成像差的问题。但两者也有重要区别：近红外摄像头每次使用时都需要发射主动光线，双通摄像头则可以根据需要控制主动光源是否打开，通常出于节省功耗的考虑，双通摄像头只有在暗光条件下(外部光照强度低于光照强度阈值时)才会开启主动光源。
由于硬件成像原理不同，无论是近红外图像，还是主动光源开启下的双通图像，都与RGB图像有很大差异(主动光源关闭下的双通图像与RGB图像无明显差异)。本申请将不同成像原理得到的数据称为不同“模态”(modal)。
本公开实施例可以应用于双通摄像头采集的图像，其中，通过双通摄像头获得的目标图像对应两种模态，即双通模态和RGB模态，其中，双通摄像头的主动光源打开时采集到的图像属于双通模态，主动光源关闭时采集到的图像属于RGB模态。或者，本公开实施例也可以应用于其他类型的新型单目摄像头采集到的图像，本公开实施例对此不做限定。
图1为本申请活体检测方法一个实施例的流程图。如图1所示，该实施例方法包括：
步骤110，对采集到的图像进行特征提取，获得图像特征。
在一个或多个可选的实施例中，可通过双通摄像头或其他类型的新型单目摄像头进行图像采集，获得图像，其中，该图像中可以包括目标对象，可以检测该目标对象是否为活体，例如检测该目标对象是否为真正的人脸，以防止伪造人脸现象的发生。
可选地，对目标图像进行特征提取可以通过深度神经网络或者其他类型的机器学习算法实现，本公开实施例对特征提取的具体实现不做限定。
步骤120，基于图像特征确定图像的模态分类结果。
其中，模态分类结果指示图像对应至少一种模态中的目标模态。在一些可能的实现方式中，该至少一个模态可以是预设的多个模态，模态分类结果指示图像属于该多个模态中的哪个模态。
在步骤120中，可以通过多种方式确定图像的模态分类结果。在一个或多个可选的实施例中，基于图像特征进行分类处理，获得图像属于至少一个模态中每个模态的分类概率，并基于至少一个模态中每个模态的分类概率，确定图像的模态分类结果。
具体地，可以基于图像特征获得每个模态的分类概率，其中，模态的分类概率表示该图像属于该模态的概率，例如：至少一个模态可以指两种模态，即模态1和模态2，并且基于图像特征获得两个分类概率，其中，模态1的分类概率为0.9，模态2的分类概率为0.5，此时，可以基于模态1的分类概率和模态2的分类概率确定图像所属的模态。在一个例子中，预先设定阈值，并且将达到该阈值的分类概率所对应的模态确定为图像所属的模态，例如，设定阈值为0.8，此时，模态1的分类概率0.9大于阈值而模态2的分类概率小于阈值，则可以将模态1作为图像所属的模态，即目标模态。在另一个例子中，可以将两个分类概率中的最大数值对应的模态确定为图像所属的模态。等等，本公开实施例对基于至少一个分类概率中每个分类概率确定目标模态的具体实现不作限定。
在另一些可选实施例中，可以直接将这两个分类概率作为模态分类结果，即模态分类结果包括至少一个模态中每个模态对应的分类概率。此时，可选地，可以基于模态分类结果中每个模态对应的分类概率，确定图像中目标对象的活体检测结果，例如，将每个模态对应的分类概率作为该模态的权重，得到活体检测结果，但本公开实施例对此不做限定。
可选地，本实施例可通过模态分类器基于图像特征对图像进行分类处理，以获得准确的模态分类结果，模态分类器可以是一种分类网络，该分类网络可以以图像特征为输入，输出至少一个模态中每个模态的分类概率或者图像的模态分类结果，本公开实施例对此不做限定。
步骤130，基于图像的模态分类结果，确定图像中的目标对象是否为活体。
在本公开实施例中，基于图像所属的模态确定图像的活体检测结果，有利于对不同模态的图像做更针对性的检测，从而提高活体检测准确度。
基于本申请上述实施例提供的一种活体检测方法，对采集到的图像进行特征提取，获得图像特征；基于图像特征确定图像的模态分类结果，模态分类结果指示图像对应至少一个模态中的目标模态；基于图像的模态分类结果，确定图像中的目标对象是否为活体；通过对图像的模态进行预测，并结合模态分类结果判断目标对象是否为活体，提高了活体检测对不同模态的兼容性，使检测结果更准确。
在一个或多个可选的实施例中，步骤130可以包括：
基于图像的模态分类结果和图像特征，确定图像中的目标对象是否为活体。
此时，在确定目标对象是否为活体时，不仅基于模态分类结果，还结合图像特征，模态分类结果是基于图像特征获得的当前图像属于哪个模态的结果，而图像特征表征图像的特征，结合图像特征和模态分类结果得到的活体检测结果更准确。
可选地，基于图像的模态分类结果和图像特征，确定图像中的目标对象是否为活体，包括：
将图像特征与图像的模态分类结果进行合并，获得合并结果；
基于合并结果，确定目标图像中的目标对象是否为活体。
可选地，合并可以是将模态分类结果与图像特征进行融合或连接，例如，将模态分类结果与图像特征在维度上进行叠加，或者可以将图像特征和模态分类结果进行逐元素相加，或者是其他类型的合并，本公开实施例对此不做限定。
可选地，可以将合并结果输入真伪分类器，其中，可选地，真伪分类器基于合并结果获得分类概率向量，分类概率向量可以包括两个值，其中一个值表示目标为活体的概率，另一个值表示目标不是活体的概率，根据这两个值确定活体检测结果。在一个例子中，通过比较这两个值确定活体检测结果，例如，如果是活体的概率大于不是活体的概率，则可以确定该目标对象为活体，再例如，如果不是活体的概率大于是活体的概率，则可以确定该目标对象不是活体。在另一个例子中，通过比较概率和预设阈值来确定目标对象是否为活体，例如：如果是活体的概率大于预设阈值，则确定目标对象为活体，等等，本公开实施例对此不做限定。
在一些可选的实施例中，模态分类结果包括目标模态的标识信息，相应地，基于图像的模态分类结果和图像特征，确定图像中的目标对象是否为活体，包括：
基于目标模态对图像特征进行处理，得到目标模态对应的真伪概率；
基于目标模态对应的真伪概率，确定图像中的目标对象是否为活体。
此时，可以基于目标模态的不同对图像特征进行不同的处理，例如，利用不同的真伪分类器对不同模态的图像特征进行处理，其中，不同的真伪分类器对应于不同的网络参数，或者利用不同的真伪分类算法或不同的算法参数对不同模态的图像特征进行处理，得到真伪分类概率，但本公开实施例对此不做限定。
在另一些可选的实施例中，基于图像的模态分类结果和图像特征，确定图像中的目标对象是否为活体，包括：
基于图像特征获得至少一个模态中每个模态对应的真伪概率；
基于模态分类结果和至少一个模态中每个模态对应的真伪概率，确定图像中的目标对象是否为活体。
本实施例中，分别获得每种模态对应的真伪概率，再结合不同模态对应的真伪概率以及模态分类结果，确定该图像中的目标对象是否为活体，从而提高活体检测的准确性。
可选地，如果通过真伪分类器对图像特征进行处理获得真伪概率，在一些可能的实现方式中，真伪分类器中可以包括分别对不同模态进行处理的至少一个子分类器，可选地，通过真伪分类器中的至少一个子分类器对图像特征进行分类处理，获得至少一个真伪概率。然后，结合模态分类器得到的模态分类结果和真伪分类器得到的真伪概率，确定目标对象是否为活体。
在另一些可选的实施例中，模态分类结果包括图像属于至少一个模态中每个模态的分类概率；
相应地，基于模态分类结果和至少一个模态中每个模态对应的真伪概率，确定图像中的目标对象是否为活体，包括：
以至少一个模态中每个模态的分类概率作为模态对应的权值，对至少一个模态中每个模态的真伪概率进行加权求和，获得目标真伪概率；
基于目标真伪概率，确定图像中的目标对象是否为活体。
本实施例利用每个模态对应的分类概率作为权值对每个模态对应的真伪概率进行软加权(即加权求和)，并以软加权的结果作为目标对象是否为活体的概率向量，可选地，还可以对软加权的结果进行归一化，以使输出的概率向量中两个值的和为1，但本公开实施例不限于此。
在另一些可选的实施例中，基于模态分类结果和至少一个模态中每个模态对应的真伪概率，确定图像中的目标对象是否为活体，可以包括：
基于模态分类结果中包括的至少一个模态中每个模态对应的分类概率，从至少一个真伪概率中确定目标真伪概率，并基于目标真伪概率，确定目标图像中的目标对象是否为活体。
可选地，可以基于模态分类结果中的至少一个分类概率，从至少一个模态中确定目标模态，并将目标模态的真伪概率确定为目标真伪概率。例如，响应于至少一个分类概率中存在大于或等于预设概率的分类概率，将大于或等于预设概率的分类概率对应的模态确定为目标模态，但本公开实施例不限于此。
为了确定图像对应的模态，可将至少一个分类概率分别与预设概率进行比较，将大于或等于预设概率的分类概率对应的模态确定为目标模态，还可以将至少一个分类概率按大小排序，将最大的分类概率确定为目标模态，本实施例不限制具体确定目标模态的方式。
本实施例基于至少一个模态的分类概率从至少一个模态对应的真伪概率确定一个真伪概率作为图像对应的目标真伪概率，其中，从至少一个模态的分类概率中确定的一个模态为该图像的模态，基于该模态即可获得其对应的真伪概率，这种方式可以对只有一种模态的单目摄像头获得的目标图像进行处理，也可以对包括多种模态的单目摄像头获得的目标图像进行处理，作为软加权的一种特殊形式。
在一个或多个可选的实施例中，本实施例方法利用活体检测网络实现；
步骤110之前，还可以包括：
基于样本数据集训练活体检测网络。
其中，样本数据集包括至少两种模态的样本图像，样本图像具有标注真伪信息，标注真伪信息表示样本图像中的目标对象是否为活体。
为了实现获得更好的活体检测，需要对活体检测网络进行训练，由于需要对不同模态进行分类，因此，样本数据集中包括至少两种模态的样本图像，以实现对网络中的模态分类器进行训练。
可选地，活体检测网络可以包括深度神经网络、模态分类器和真伪分类器；
基于样本数据集训练活体检测网络，包括：
基于深度神经网络对样本数据集中的每个样本图像进行特征提取，获得至少两个样本特征；
基于模态分类器分别对至少两个样本特征进行处理，获得至少两个样本模态分类结果；
利用真伪分类器，基于至少两个样本模态分类结果和至少两个样本特征，分别获得样本数据集中的每个样本图像的预测真伪结果；
基于预测真伪结果和标注真伪信息训练活体检测网络。
本实施例中，通过参数共享的深度神经网络对所有样本图像进行特征提取，通过模态分类器基于特征获得不同的模态分类结果，通过真伪分类器预测样本图像的真伪结果，实现对深度神经网络、模态分类器和真伪分类器的训练。
图2为本申请活体检测方法一个示例中活体检测网络训练过程的流程示意图。如图2所示，该活体检测网络包括深度神经网络、模态分类器和真伪分类器，假设模态1数据是双通摄像头获得的双通模态的图像，模态2数据是双通摄像头获得的RGB模态的图像。模态1数据和模态2数据经过训练后的权值共享的深度神经网络后，会得到各自的特征向量。两类特征向量除了包含相似的伪造线索信息，也隐含了各自模态的特有信息。例如：双通模态的图像会明显偏红。利用模态1数据和模态2数据的特征向量，经过模态分类器获得样本模态分类结果，再将样本模态分类结果和特征向量输入到真伪分类器，经过真伪分类器获得预测真伪结果(即：判断样本图像是否包含伪造特征)，基于预测真伪结果和标注真伪信息可确定损失，基于确定的损失实现训练真伪分类器、模态分类器和权值共享的深度神经网络。
图3为本申请活体检测方法另一示例中活体检测网络的结构示意图。如图3所示，本实施例中经过训练的活体检测网络在应用过程中，活体检测网络包括权值共享的深度神经网络、模态分类器和真伪分类器；图像输入到权值共享的深度神经网络，获得图像对应的图像特征，图像特征输入到模态分类器中获得模态分类结果，基于模态分类结果和图像特征经过真伪分类器的处理，即可获得目标对象是否为活体的判别结果。
双通摄像头在外置光源打开和关闭时得到的是两种模态的图像，算法使用阶段两种模态都可能出现。
基于上述实施例提供的活体检测方法可实现多模态人脸防伪方法，该方法在使用阶段可以融合模态分类器的输出，得到更高的精度。换言之，多模态人脸防伪方法的真伪分类器的输入包括多个真伪概率中的某一个真伪概率(可以表示为向量形式)以及其对应的模态分类结果，真伪分类器的输出数据是包含伪造特征的概率，基于包含伪造特征的概率可确定采集的人脸是否为活体。具体的实现方式包括但不限于：1.将模态数据对应的真伪概率和预测的模态分类结果合并为新的特征向量；2.将模态数据对应的真伪概率按照各种可能的模态分别进行概率预测，并利用预测的模态分类结果对概率进行软加权；3.将模态数据对应的真伪概率按照各种可能的模态分别进行概率预测，并利用预测的模态分类结果对概率进行硬加权(即直接选择预测的模态编号对应的概率作为最终的判定，用于判断模态数据是否包含伪造信息)。
本申请实施例针对双通单目摄像头在外置光源打开和关闭时成像差异大的特殊性，提出了模态分类器，用于解决算法使用时两种不同模态数据差异大，无法使用统一阈值的问题。本申请给出了多种真伪分类器的实现方式，充分利用模态分类器的输出信息。现有技术中的真伪分类器只是简单将特征作为输入，不考虑模态相关信息。
利用权值共享的深度神经网络，可以充分利用不同模态的数据，得到泛化能力更强的算法。
利用模态分类器，可以对数据的模态进行预测，并作为真伪分类器的额外输入，解决了真伪分类器对两种模态数据的兼容性问题。
在具体应用中，可以将本申请中多模态方法用于含有双通单目摄像头的手机的人脸解锁产品中。可以将本申请中的多模态人脸防伪方法用于含有双通摄像头或其它多模态单目摄像头的定制设备中，用于人脸防伪。本申请中的模态分类器还可以用于预测外置光源是否打开，这种信息可以提供给外部，对于拍照功能和外置光源同步没有做好的硬件可以有额外帮助。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本申请实施例活体检测装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图4所示，该实施例的装置包括：
特征提取单元41，用于对采集到的图像进行特征提取，获得图像特征。
在一个或多个可选的实施例中，可通过双通摄像头或其他类型的新型单目摄像头进行图像采集，获得图像，其中，该图像中可以包括目标对象，可以检测该目标对象是否为活体，例如检测该目标对象是否为真正的人脸，以防止伪造人脸现象的发生。
模态分类单元42，用于基于图像特征确定图像的模态分类结果。
其中，模态分类结果指示图像对应至少一个模态中的目标模态。在一些可能的实现方式中，该至少一个模态可以是预设的多个模态，模态分类结果指示图像属于该多个模态中的哪个模态。
活体检测单元43，用于基于图像的模态分类结果，确定图像中的目标对象是否为活体。
基于本申请上述实施例提供的一种活体检测装置，对采集到的图像进行特征提取，获得图像特征；基于图像特征确定图像的模态分类结果，模态分类结果指示图像对应至少一个模态中的目标模态；基于图像的模态分类结果，确定图像中的目标对象是否为活体；通过对图像的模态进行预测，并结合模态分类结果判断目标对象是否为活体，提高了活体检测对不同模态的兼容性，使检测结果更准确。
在一个或多个可选的实施例中，模态分类单元42，具体用于基于图像特征进行分类处理，获得图像属于至少一个模态中每个模态的分类概率；基于至少一个模态中每个模态的分类概率，确定图像的模态分类结果。
具体地，可以基于图像特征获得每个模态的分类概率，其中，模态的分类概率表示该图像属于该模态的概率，例如：至少一个模态可以指两种模态，即模态1和模态2，并且基于图像特征获得两个分类概率，其中，模态1的分类概率为0.9，模态2的分类概率为0.5，此时，可以基于模态1的分类概率和模态2的分类概率确定图像所属的模态。在一个例子中，预先设定阈值，并且将达到该阈值的分类概率所对应的模态确定为图像所属的模态，例如，设定阈值为0.8，此时，模态1的分类概率0.9大于阈值而模态2的分类概率小于阈值，则可以将模态1作为图像所属的模态，即目标模态。在另一个例子中，可以将两个分类概率中的最大数值对应的模态确定为图像所属的模态。等等，本公开实施例对基于至少一个分类概率中每个分类概率确定目标模态的具体实现不作限定。
在另一些可选实施例中，可以直接将这两个分类概率作为模态分类结果，即模态分类结果包括至少一个模态中每个模态对应的分类概率。此时，可选地，可以基于模态分类结果中每个模态对应的分类概率，确定图像中目标对象的活体检测结果，例如，将每个模态对应的分类概率作为该模态的权重，得到活体检测结果，但本公开实施例对此不做限定。
在一个或多个可选的实施例中，活体检测单元43，具体用于基于图像的模态分类结果和图像特征，确定图像中的目标对象是否为活体。
此时，在确定目标对象是否为活体时，不仅基于模态分类结果，还结合图像特征，模态分类结果是基于图像特征获得的当前图像属于哪个模态的结果，而图像特征表征图像的特征，结合图像特征和模态分类结果得到的活体检测结果更准确。
可选地，在一个可选实施例中，活体检测单元43，用于将图像特征与图像的模态分类结果进行合并，获得合并结果；基于合并结果，确定图像中的目标对象是否为活体。
可选地，在另一个可选实施例中，活体检测单元43，包括：
真伪概率模块，用于基于图像特征获得至少一个模态中每个模态对应的真伪概率；
活体确定模块，用于基于模态分类结果和至少一个模态中每个模态对应的真伪概率，确定图像中的目标对象是否为活体。
可选地，模态分类结果包括图像属于至少一个模态中每个模态的分类概率；
活体确定模块，具体用于以至少一个模态中每个模态的分类概率作为模态对应的权值，对至少一个模态中每个模态的真伪概率进行加权求和，获得目标真伪概率；基于目标真伪概率，确定图像中的目标对象是否为活体。
可选地，活体确定模块在基于模态分类概率结果和至少一个模态中每个模态对应的真伪概率，确定图像中的目标对象是否为活体时，用于基于模态分类结果中包括的至少一个模态中每个模态对应的分类概率，从至少一个真伪概率中确定目标真伪概率；基于目标真伪概率，确定目标图像中的目标对象是否为活体。
可选地，活体确定模块在基于模态分类结果中包括的至少一个模态中每个模态对应的分类概率，从至少一个真伪概率中确定目标真伪概率时，用于响应于模态分类结果中的至少一个分类概率中存在大于或等于预设概率的分类概率；将大于或等于预设概率的分类概率对应的模态确定为目标模态，将目标模态的真伪概率确定为目标真伪概率。
可选地，本实施例装置还可以包括：
图像采集单元，用于通过双通摄像头对目标进行图像采集，获得目标图像。
可选地，至少一种模态包括：双通模态和RGB模态。
在一个或多个可选的实施例中，本实施例装置利用活体检测网络实现；
本实施例装置还可以包括：
网络训练单元，用于基于样本数据集训练活体检测网络。
其中，样本数据集包括至少两种模态的样本图像，样本图像具有标注真伪信息，标注真伪信息表示样本图像中的目标对象是否为活体。
为了实现获得更好的活体检测，需要对活体检测网络进行训练，由于需要对不同模态进行分类，因此，样本数据集中包括至少两种模态的样本图像，以实现对网络中的模态分类器进行训练。
图5为本申请活体检测方法一个实施例的流程图。如图5所示，该实施例方法包括：
步骤510，获取第一模态的图像。
可选地，通过近红外摄像头或者其他类型的新型单目摄像头(即非RGB摄像头)采集目标对象的图像。此时，虽然解决了传统RGB摄像头暗光下成像质量差的问题，但是近红外摄像头等新型单目摄像头采集到的图像相比于RGB摄像头采集的图像更难获取。新型单目摄像头采集到的图像数据(例如近红外数据)网上资源极少，通过新型单目摄像头采集的数据无论是数量还是多样性都远不及RGB数据。目前实用的活体技术都是基于深度学习实现的，数据的数量和多样性对算法的泛化能力有重要影响。因此，本公开实施例中用于活体检测的神经网络在训练过中，结合RGB数据对该神经神经网络进行跨模态训练，能够避免由于训练数据的不足而导致模型性能较差的问题。
步骤520，通过活体检测网络对所图像进行活体检测，确定图像中的目标对象是否为活体。
其中，活体检测网络是基于样本图像集对初始活体检测网络进行训练得到的，样本图像集包括第一模态的样本图像和第二模态的样本图像。
在本公开实施例中，活体检测网络用于检测第一模态的图像中包括的目标对象是否为活体，而该活体检测网络的训练样本集包括第一模态的样本图像以及不同于第一模态的第二模态的样本图像，其中，可选地，该第二模态的样本图像的数量可以等于或大于第一模态的样本图像的数量，通过跨模态训练的神经网络实现对第一模态的图像的活体检测。
在本公开实施例中，活体检测网络可以通过多种方式实现对第一模态的图像的活体检测。在一种可能的实现方式中，活体检测网络对图像对特征提取，获得图像特征，并基于图像特征，确定图像中的目标对象是否为活体。
在一个或多个可选的实施例中，新型单目摄像头采集到的图像属于第一模态，例如近红外摄像头采集到的图像属于第一模态，第二模态为RGB模态，即RGB摄像头采集到的图像属于第二模态。在训练过程中，可以将红外摄像头采集到的图像作为第一模态数据，RGB数据作为第二模态数据，第一模态数据和第二模态数据虽然在视觉上差异较大，但其中包含的一些伪造活体的线索具有相似性。例如：纸质照片会在图像中漏出明显边缘，屏幕照片会由于反光出现一个局部区域的高亮等。通过参数共享的深度学习网络和不同模态数据的学习任务，可以将不同模态间的相似线索学习到。这里第一模态数据提供了第一模态下特有的伪造线索，而第二模态数据提供了多样的通用伪造线索。不同模态数据共同作用可以使得最终深度学习网络既能学习到第一模态特有的伪造信息，又见到过多种多样的通用伪造线索，不至于过拟合导致算法泛化能力变弱。
在本公开实施例中，通过结合第二模态的图像对活体检测网络进行训练，防止了由于第一模态的图像数量过少而导致的训练过程的过拟合现象，使训练后的活体检测网络能更准确的判断第一模态的图像的目标对象是否为活体。
在一个或多个可选的实施例中，基于样本图像集训练初始活体检测网络，包括：
对样本图像进行特征提取，获得样本特征；
基于样本特征确定样本图像的样本模态分类结果，样本模态分类结果指示样本图像对应至少一个模态中的样本模态；
基于样本模态分类结果，确定样本图像的预测真伪结果；
基于预测真伪结果和样本图像的标注真伪信息训练初始活体检测网络。
本实施例中活体检测网络是基于初始活体检测网络经过训练获得的，在训练过程中，由于样板图图像包括两种模态，因此，需要结合样本模态分类结果确定样本图像的预测真伪结果，在完成训练后，将初始活体检测网络中的模态分类的部分(例如：模态分类器)去除，即为本申请实现活体检测的活体检测网络。
可选地，基于样本特征确定样本图像的样本模态分类结果，包括：
基于样本特征进行分类处理，获得样本图像属于第一模态的分类概率和属于第二模态的分类概率；
基于属于第一模态的分类概率和属于第二模态的分类概率，确定样本图像的样本模态分类结果。
具体地，可以基于样本特征获得每个模态的分类概率，其中，模态的分类概率表示该样本图像属于该模态的概率，例如：至少一个模态可以指两种模态，即第一模态和第二模态，并且基于样本特征获得两个分类概率，其中，第一模态的分类概率为0.9，第二模态的分类概率为0.5，此时，可以基于第一模态的分类概率和第二模态的分类概率确定样本图像所属的模态。在一个例子中，预先设定阈值，并且将达到该阈值的分类概率所对应的模态确定为样本图像所属的模态，例如，设定阈值为0.8，此时，第一模态的分类概率0.9大于阈值而第二模态的分类概率小于阈值，则可以将第一模态作为样本图像所属的模态，即目标模态。在另一个例子中，可以将两个分类概率中的最大数值对应的模态确定为样本图像所属的模态。等等，本公开实施例对基于至少一个分类概率中每个分类概率确定目标模态的具体实现不作限定。
在另一些可选实施例中，可以直接将这两个分类概率作为样本模态分类结果，即样本模态分类结果包括至少一个模态中每个模态对应的分类概率。此时，可选地，可以基于样本模态分类结果中每个模态对应的分类概率，确定样本图像中目标对象的预测真伪结果，例如，将每个模态对应的分类概率作为该模态的权重，得到预测真伪结果，但本公开实施例对此不做限定。
可选地，本实施例可通过模态分类器基于样本特征对样本图像进行分类处理，以获得准确的模态分类结果，模态分类器可以是一种分类网络，该分类网络可以以样本特征为输入，输出至少一个模态中每个模态的分类概率或者样本图像的样本模态分类结果，本公开实施例对此不做限定。
可选地，基于样本模态分类结果，确定样本图像的预测真伪结果，包括：
基于样本模态分类结果和样本特征，确定样本图像的预测真伪结果。
本实施例中指出，在确定样本图像中目标对象是否为活体时，不仅基于样本模态分类结果，还结合样本特征，样本模态分类结果是基于样本特征获得的当前样本图像属于哪个模态的结果，而样本特征表征样本图像的特征，结合样本特征和样本模态分类结果得到的预测真伪结果更准确。
可选地，基于样本模态分类结果和样本特征，确定样本图像的预测真伪结果，包括：
将样本特征与样本图像的样本模态分类结果进行合并，获得样本合并结果；
基于样本合并结果，确定样本图像的预测真伪结果。
可选地，合并可以是将样本模态分类结果与样本特征进行融合或连接，例如，将样本模态分类结果与样本特征在维度上进行叠加，或者可以将样本特征和样本模态分类结果进行逐元素相加，或者是其他类型的合并，本公开实施例对此不做限定。
可选地，可以将样本合并结果输入真伪分类器，其中，可选地，真伪分类器基于样本合并结果获得分类概率向量，分类概率向量可以包括两个值，其中一个值表示目标为活体的概率，另一个值表示目标不是活体的概率，根据这两个值确定预测真伪结果。在一个例子中，通过比较这两个值确定预测真伪结果，例如，如果是活体的概率大于不是活体的概率，则可以预测该目标对象为活体，再例如，如果不是活体的概率大于是活体的概率，则可以预测该目标对象不是活体。在另一个例子中，通过比较概率和预设阈值来确定目标对象是否为活体，例如：如果是活体的概率大于预设阈值，则预测目标对象为活体，等等，本公开实施例对此不做限定。
本实施例一个可选示例中，由于第一模态数据的获取方式很单一，因此得到的人脸数据往往在数量上和多样性上无法达到深度学习算法的需求。仅仅使用第一模态数据进行算法的学习很容易造成过拟合。而第二模态数据获取方式多样，可以自行采集，从学术界标准数据集获取，或者从网络上爬取等，最终得到的数据数量和多样性都远远超过第一模态数据。
在具体应用中，可以将本申请中跨模态方法用于含有近红外单目摄像头的手机的人脸解锁产品中。还可以将本申请中的跨模态人脸防伪方法用于含有近红外摄像头的定制设备中，用于人脸防伪。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本申请实施例活体检测装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图6所示，该实施例的装置包括：
图像获取单元61，用于获取第一模态的图像。
目标检测单元62，用于通过活体检测网络对图像进行活体检测，确定图像中的目标对象是否为活体。
其中，活体检测网络是基于样本图像集对初始活体检测网络进行训练得到的，样本图像集包括第一模态的样本图像和第二模态的样本图像。
在一个或多个可选的实施例中，新型单目摄像头采集到的图像属于第一模态，例如近红外摄像头采集到的图像属于第一模态，第二模态为RGB模态，即RGB摄像头采集到的图像属于第二模态。在训练过程中，可以将红外摄像头采集到的图像作为第一模态数据，RGB数据作为第二模态数据，第一模态数据和第二模态数据虽然在视觉上差异较大，但其中包含的一些伪造活体的线索具有相似性。例如：纸质照片会在图像中漏出明显边缘，屏幕照片会由于反光出现一个局部区域的高亮等。通过参数共享的深度学习网络和不同模态数据的学习任务，可以将不同模态间的相似线索学习到。这里第一模态数据提供了第一模态下特有的伪造线索，而第二模态数据提供了多样的通用伪造线索。不同模态数据共同作用可以使得最终深度学习网络既能学习到第一模态特有的伪造信息，又见到过多种多样的通用伪造线索，不至于过拟合导致算法泛化能力变弱。
在本公开实施例中，通过结合第二模态的图像对活体检测网络进行训练，防止了由于第一模态的图像过少而导致的训练过程的过拟合现象，使训练后的活体检测网络能更准确的判断第一模态的图像的目标对象是否为活体。
可选地，目标检测单元62，具体用于对图像对特征提取，获得图像特征；基于图像特征，确定图像中的目标对象是否为活体。
在一个或多个可选的实施例中，本实施例装置还可以包括：
检测网络训练单元，用于对样本图像进行特征提取，获得样本特征；基于样本特征确定样本图像的样本模态分类结果，样本模态分类结果指示样本图像对应至少一个模态中的样本模态；基于样本模态分类结果，确定样本图像的预测真伪结果；基于预测真伪结果和样本图像的标注真伪信息训练初始活体检测网络。
本实施例中活体检测网络是基于初始活体检测网络经过训练获得的，在训练过程中，由于样板图图像包括两种模态，因此，需要结合样本模态分类结果确定样本图像的预测真伪结果，在完成训练后，将初始活体检测网络中的模态分类的部分(例如：模态分类器)去除，即为本申请实现活体检测的活体检测网络。
可选地，检测网络训练单元在基于样本特征确定样本图像的样本模态分类结果时，用于基于样本特征进行分类处理，获得样本图像属于第一模态的分类概率和属于第二模态的分类概率；基于属于第一模态的分类概率和属于第二模态的分类概率，确定样本图像的样本模态分类结果。
可选地，检测网络训练单元在基于样本模态分类结果，确定样本图像的预测真伪结果时，用于基于样本模态分类结果和样本特征，确定样本图像的预测真伪结果。
可选地，检测网络训练单元在基于样本模态分类结果和样本特征，确定样本图像的预测真伪结果时，用于将样本特征与样本图像的样本模态分类结果进行合并，获得样本合并结果；基于样本合并结果，确定样本图像的预测真伪结果。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一实施例的活体检测装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与存储器通信以执行可执行指令从而完成如上任意一实施例活体检测方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，指令被执行时执行如上任意一实施例活体检测方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任意一实施例活体检测方法的指令。
根据本申请实施例的再一个方面，提供的另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一可能的实现方式中的活体检测方法的操作。
在一个或多个可选实施方式中，本申请实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一可能的实现方式中的活体检测方法的操作。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
根据本申请实施例还提供了活体检测方法和装置、电子设备、计算机存储介质、计算机程序产品，其中，对采集到的图像进行特征提取，获得图像特征；基于图像特征确定图像的模态分类结果，模态分类结果指示图像对应至少一个模态中的目标模态；基于图像的模态分类结果，确定图像中的目标对象是否为活体。
在一些实施例中，该图像处理指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像处理，相应地，响应于接收到调用指令，第二装置可以执行上述图像处理方法中的任意实施例中的步骤和/或流程。
应理解，本申请实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本申请实施例的限定。
还应理解，在本申请中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本申请中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本申请对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图7，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备700的结构示意图：如图7所示，电子设备700包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)701，和/或一个或多个图像处理器(GPU)713等，处理器可以根据存储在只读存储器(ROM)702中的可执行指令或者从存储部分708加载到随机访问存储器(RAM)703中的可执行指令而执行各种适当的动作和处理。通信部712可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器702和/或随机访问存储器703中通信以执行可执行指令，通过总线704与通信部712相连、并经通信部712与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，对采集到的图像进行特征提取，获得图像特征；基于图像特征确定图像的模态分类结果，模态分类结果指示图像对应至少一个模态中的目标模态；基于图像的模态分类结果，确定图像中的目标对象是否为活体。
此外，在RAM 703中，还可存储有装置操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。在有RAM703的情况下，ROM702为可选模块。RAM703存储可执行指令，或在运行时向ROM702中写入可执行指令，可执行指令使中央处理单元701执行上述通信方法对应的操作。输入/输出(I/O)接口705也连接至总线704。通信部712可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
需要说明的，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU713和CPU701可分离设置或者可将GPU713集成在CPU701上，通信部可分离设置，也可集成设置在CPU701或GPU713上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对采集到的图像进行特征提取，获得图像特征；基于图像特征确定图像的模态分类结果，模态分类结果指示图像对应至少一个模态中的目标模态；基于图像的模态分类结果，确定图像中的目标对象是否为活体。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能的操作。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种活体检测方法，其特征在于，包括：
对采集到的图像进行特征提取，获得图像特征；
基于所述图像特征确定所述图像的模态分类结果，所述模态分类结果指示所述图像对应至少一个模态中的目标模态；
基于所述图像的模态分类结果，确定所述图像中的目标对象是否为活体。
2.根据权利要求1所述的方法，其特征在于，所述基于所述图像特征确定所述图像的模态分类结果，包括：
基于所述图像特征进行分类处理，获得所述图像属于至少一个模态中每个模态的分类概率；
基于所述至少一个模态中每个模态的分类概率，确定所述图像的模态分类结果。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述图像的模态分类结果，确定所述图像中的目标对象是否为活体，包括：
基于所述图像的模态分类结果和所述图像特征，确定所述图像中的目标对象是否为活体。
4.一种活体检测方法，其特征在于，包括：
获取第一模态的图像；
通过活体检测网络对所述图像进行活体检测，确定所述图像中的目标对象是否为活体，其中，所述活体检测网络是基于样本图像集对初始活体检测网络进行训练得到的，所述样本图像集包括所述第一模态的样本图像和第二模态的样本图像。
5.一种活体检测装置，其特征在于，包括：
特征提取单元，用于对采集到的图像进行特征提取，获得图像特征；
模态分类单元，用于基于所述图像特征确定所述图像的模态分类结果，所述模态分类结果指示所述图像对应至少一个模态中的目标模态；
活体检测单元，用于基于所述图像的模态分类结果，确定所述图像中的目标对象是否为活体。
6.一种活体检测装置，其特征在于，包括：
图像获取单元，用于获取第一模态的图像；
目标检测单元，用于通过活体检测网络对所述图像进行活体检测，确定所述图像中的目标对象是否为活体，其中，所述活体检测网络是基于样本图像集对初始活体检测网络进行训练得到的，所述样本图像集包括所述第一模态的样本图像和第二模态的样本图像。
7.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求5所述的活体检测装置或权利要求6所述的活体检测装置。
8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至3任意一项所述活体检测方法或权利要求4所述活体检测方法的操作。
9.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至3任意一项所述活体检测方法或权利要求4所述活体检测方法的操作。
10.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至3任意一项所述活体检测方法或权利要求4所述活体检测方法的指令。
CN201811046177.XA 2018-09-07 2018-09-07 活体检测方法和装置、电子设备、计算机可读存储介质 Active CN110889312B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811046177.XA CN110889312B (zh) 2018-09-07 2018-09-07 活体检测方法和装置、电子设备、计算机可读存储介质
JP2020517441A JP6975848B2 (ja) 2018-09-07 2019-04-22 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体
PCT/CN2019/083639 WO2020048140A1 (zh) 2018-09-07 2019-04-22 活体检测方法和装置、电子设备、计算机可读存储介质
US16/649,748 US11222222B2 (en) 2018-09-07 2019-04-22 Methods and apparatuses for liveness detection, electronic devices, and computer readable storage media
SG11202003136QA SG11202003136QA (en) 2018-09-07 2019-04-22 Methods and apparatuses for liveness detection, electronic devices, and computer readable storage media
KR1020207009471A KR102324697B1 (ko) 2018-09-07 2019-04-22 생체 검출 방법 및 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811046177.XA CN110889312B (zh) 2018-09-07 2018-09-07 活体检测方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110889312A true CN110889312A (zh) 2020-03-17
CN110889312B CN110889312B (zh) 2022-09-02

Family

ID=69722987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811046177.XA Active CN110889312B (zh) 2018-09-07 2018-09-07 活体检测方法和装置、电子设备、计算机可读存储介质

Country Status (6)

Country Link
US (1) US11222222B2 (zh)
JP (1) JP6975848B2 (zh)
KR (1) KR102324697B1 (zh)
CN (1) CN110889312B (zh)
SG (1) SG11202003136QA (zh)
WO (1) WO2020048140A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364825A (zh) * 2020-11-30 2021-02-12 支付宝(杭州)信息技术有限公司 用于人脸识别的方法、装置和计算机可读存储介质
CN113469085A (zh) * 2021-07-08 2021-10-01 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113627263A (zh) * 2021-07-13 2021-11-09 支付宝(杭州)信息技术有限公司 一种基于人脸检测的曝光方法、装置以及设备
CN113642639A (zh) * 2021-08-12 2021-11-12 云知声智能科技股份有限公司 活体检测方法、装置、设备和存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
CN111597918A (zh) * 2020-04-26 2020-08-28 北京金山云网络技术有限公司 人脸活体检测模型的训练、检测方法、装置及电子设备
JP7441312B2 (ja) 2020-06-11 2024-02-29 富士フイルム株式会社 学習装置、学習方法、及びプログラム
CN113052142A (zh) * 2021-04-26 2021-06-29 的卢技术有限公司 一种基于多模态数据的静默活体检测方法
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
US11967184B2 (en) * 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
US11636700B2 (en) 2021-05-21 2023-04-25 Ford Global Technologies, Llc Camera identification
CN114419741B (zh) * 2022-03-15 2022-07-19 深圳市一心视觉科技有限公司 活体检测方法、活体检测装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299530A1 (en) * 2009-02-26 2010-11-25 Bell Robert E User authentication system and method
CN104077597A (zh) * 2014-06-25 2014-10-01 小米科技有限责任公司 图像分类方法及装置
CN106127159A (zh) * 2016-06-28 2016-11-16 电子科技大学 一种基于卷积神经网络的性别识别方法
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN108171250A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN108399401A (zh) * 2018-03-27 2018-08-14 百度在线网络技术（北京）有限公司 用于检测人脸图像的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2569440A1 (en) 2004-06-01 2006-09-08 Lumidigm, Inc. Multispectral imaging biometrics
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
JP5121506B2 (ja) * 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP6222948B2 (ja) 2013-03-14 2017-11-01 セコム株式会社 特徴点抽出装置
KR102483642B1 (ko) * 2016-08-23 2023-01-02 삼성전자주식회사 라이브니스 검사 방법 및 장치
US11023757B2 (en) * 2018-02-14 2021-06-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness verification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299530A1 (en) * 2009-02-26 2010-11-25 Bell Robert E User authentication system and method
CN104077597A (zh) * 2014-06-25 2014-10-01 小米科技有限责任公司 图像分类方法及装置
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN106127159A (zh) * 2016-06-28 2016-11-16 电子科技大学 一种基于卷积神经网络的性别识别方法
CN108171250A (zh) * 2016-12-07 2018-06-15 北京三星通信技术研究有限公司 目标检测方法及装置
CN108399401A (zh) * 2018-03-27 2018-08-14 百度在线网络技术（北京）有限公司 用于检测人脸图像的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364825A (zh) * 2020-11-30 2021-02-12 支付宝(杭州)信息技术有限公司 用于人脸识别的方法、装置和计算机可读存储介质
CN113469085A (zh) * 2021-07-08 2021-10-01 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113469085B (zh) * 2021-07-08 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113627263A (zh) * 2021-07-13 2021-11-09 支付宝(杭州)信息技术有限公司 一种基于人脸检测的曝光方法、装置以及设备
CN113627263B (zh) * 2021-07-13 2023-11-17 支付宝(杭州)信息技术有限公司 一种基于人脸检测的曝光方法、装置以及设备
CN113642639A (zh) * 2021-08-12 2021-11-12 云知声智能科技股份有限公司 活体检测方法、装置、设备和存储介质
CN113642639B (zh) * 2021-08-12 2024-03-01 云知声智能科技股份有限公司 活体检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN110889312B (zh) 2022-09-02
KR20200050994A (ko) 2020-05-12
US20200410267A1 (en) 2020-12-31
US11222222B2 (en) 2022-01-11
KR102324697B1 (ko) 2021-11-10
WO2020048140A1 (zh) 2020-03-12
JP6975848B2 (ja) 2021-12-01
SG11202003136QA (en) 2020-05-28
JP2020535529A (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
CN110889312B (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
Shen et al. Domain-invariant interpretable fundus image quality assessment
CN111488756B (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
US8379961B2 (en) Mitotic figure detector and counter system and method for detecting and counting mitotic figures
JP6692049B2 (ja) 識別装置および識別方法
WO2019137178A1 (zh) 人脸活体检测
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
CN112381775B (zh) 一种图像篡改检测方法、终端设备及存储介质
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN110298297B (zh) 火焰识别方法和装置
US8295637B2 (en) Method of classifying red-eye objects using feature extraction and classifiers
JP2021101384A (ja) 画像処理装置、画像処理方法およびプログラム
CN113793336B (zh) 一种检测血细胞的方法、装置、设备及可读存储介质
CN104063709B (zh) 视线检测装置及方法、图像捕获装置及其控制方法
CN104854620A (zh) 图像处理装置、图像处理系统和程序
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
US20190147226A1 (en) Method, system and apparatus for matching a person in a first image to a person in a second image
Hebbale et al. Real time COVID-19 facemask detection using deep learning
KR101343623B1 (ko) 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치
KR101672814B1 (ko) 랜덤 포레스트를 이용한 성별인식 방법
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
JP2012234497A (ja) オブジェクト識別装置、オブジェクト識別方法、及びプログラム
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
Jelinek et al. Quality control and multi-lesion detection in automated retinopathy classification using a visual words dictionary

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant