CN111402027B - 身份识别方法、商品贷审核方法、装置及终端设备 - Google Patents

身份识别方法、商品贷审核方法、装置及终端设备 Download PDF

Info

Publication number
CN111402027B
CN111402027B CN201811532130.4A CN201811532130A CN111402027B CN 111402027 B CN111402027 B CN 111402027B CN 201811532130 A CN201811532130 A CN 201811532130A CN 111402027 B CN111402027 B CN 111402027B
Authority
CN
China
Prior art keywords
image
person
face
detected
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811532130.4A
Other languages
English (en)
Other versions
CN111402027A (zh
Inventor
黄茗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Xiaofei Finance Co Ltd
Original Assignee
Mashang Xiaofei Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Xiaofei Finance Co Ltd filed Critical Mashang Xiaofei Finance Co Ltd
Priority to CN201811532130.4A priority Critical patent/CN111402027B/zh
Publication of CN111402027A publication Critical patent/CN111402027A/zh
Application granted granted Critical
Publication of CN111402027B publication Critical patent/CN111402027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03Credit; Loans; Processing thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Technology Law (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供一种身份识别方法、商品贷审核方法、装置及终端设备,其中,所述身份识别方法包括:获取身份识别时拍摄的待检测图像;将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息;根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物;当所述目标人物中同时包括预设人物和待识别人物时,确定所述待检测图像对应的身份识别成功。本发明的实施例,可以在身份识别时,同时考虑预设人物和待识别人物,使得两者之间构成相互制约关系,避免通过单一人物的图像进行身份识别,解决防欺诈问题。

Description

身份识别方法、商品贷审核方法、装置及终端设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种身份识别方法、商品贷审核方法、装置及终端设备。
背景技术
随着时代的发展,大众消费理念的变化,越来越多的人在购买手机等电子产品时选择商品贷款的方式。当前商品贷的申请流程主要为:贷款申请人在商品贷申请过程中在交易商店拍照,以基于拍摄的照片即图像进行身份识别,并审核确认此次交易是否符合商品贷的申请规则,即确定该笔商品贷的确是该贷款申请人使用且确实是用来购买特定商品。
然而,上述针对单一人物的图像进行身份识别的方式,由于缺乏相互制约因素,往往容易出现仿造待识别图像,以套取现金的违法行为。
发明内容
本发明实施例提供一种身份识别方法、商品贷审核方法、装置及终端设备,以解决现有身份识别方式的防欺诈的问题。
第一方面,本发明实施例提供了一种商品贷审核方法,包括:
获取身份识别时拍摄的待检测图像;
将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息;
根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物;
当所述目标人物中同时包括预设人物和待识别人物时,确定所述待检测图像对应的身份识别成功。
第二方面,本发明实施例提供了一种商品贷审核装置,包括:
第一获取模块,用于获取身份识别时拍摄的待检测图像;
第一检测模块,用于将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息;
第二检测模块,用于根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物;
确定模块,用于当所述目标人物中同时包括预设人物和待识别人物时,确定所述待检测图像对应的身份识别成功。
第三方面,本发明实施例提供了一种商品贷审核方法,该商品贷审核方法可应用上述的身份识别方法进行商品贷申请过程中的身份识别,并在身份识别成功的情况下,确定对应的商品贷符合申请规则;所述预设人物为贷款办理人,所述待识别人物为贷款申请人。
第四方面,本发明实施例提供了一种终端设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述计算机程序被所述处理器执行时可实现上述身份识别方法的步骤,或者上述商品贷审核方法的步骤。
第五方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时可实现上述身份识别方法的步骤,或者上述商品贷审核方法的步骤。
本发明实施例中,通过将身份识别时拍摄的待检测图像输入到预先训练的图像检测模型中,对待检测图像中的人物进行检测,获得目标人物的位置信息,并根据目标人物的位置信息,检测目标人物中是否同时包括预设人物和待识别人物,并当目标人物中同时包括预设人物和待识别人物时,确定待检测图像对应的身份识别成功,由于在身份识别时,同时考虑预设人物和待识别人物,使得两者之间构成相互制约关系,避免通过单一人物的图像进行身份识别,从而解决防欺诈问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的身份识别方法的流程图;
图2为本发明实施例的商品贷审核方法的流程图;
图3为本发明实施例的身份识别装置的结构示意图;
图4为本发明实施例的终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先指出的是,本发明实施例的身份识别方法可适用于商品贷款场景,也可适用于银行贷款场景,或者某门禁通过时的身份识别场景等,本发明实施例不对此进行限制。
请参见图1,图1是本发明实施例提供的一种身份识别方法的流程图,该方法应用于终端设备,如图1所示,该方法可包括以下步骤:
步骤101:获取身份识别时拍摄的待检测图像。
其中,为了提高身份识别的准确率,上述待检测图像优选为实时拍摄的图像。
步骤102:将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息。
其中,上述对待检测图像中的人物进行检测可以理解为对待检测图像中的人物位置进行检测。上述目标人物是待检测图像中满足预设条件的人物。
步骤103:根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物。
其中,上述预设人物可以理解为参考人物或对照人物,用于与待识别人物构成相互制约关系,避免通过单一人物的图像进行身份识别,从而提高身份识别的准确率。
步骤104:当所述目标人物中同时包括预设人物和待识别人物时,确定所述待检测图像对应的身份识别成功。
本发明实施例的身份识别方法,通过将身份识别时拍摄的待检测图像输入到预先训练的图像检测模型中,对待检测图像中的人物进行检测,获得目标人物的位置信息,并根据目标人物的位置信息,检测目标人物中是否同时包括预设人物和待识别人物,并当目标人物中同时包括预设人物和待识别人物时,确定待检测图像对应的身份识别成功,可以在身份识别时,同时考虑预设人物和待识别人物,使得两者之间构成相互制约关系,避免通过单一人物的图像进行身份识别,从而防止欺诈。
本发明实施例中,可选的,对目标人物身份的识别可通过预先训练的身份识别模型实现。具体的,上述步骤103可包括:
根据目标人物的位置信息,在所述待检测图像中定位至少一个目标图像,每一个目标图像中包括一个目标人物;其中当所述待检测图像中包括多个目标人物时,可定位多个目标图像;
根据获取到的与待检测图像对应的身份信息,获取第一图像和第二图像;
将所述待检测图像和所述第一图像输入到预先训练的身份识别模型中,输出第一识别结果,和将所述待检测图像和所述第二图像输入到所述身份识别模型中,输出第二识别结果;
其中,所述第一识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第一图像中人物的第一概率值,所述第二识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第二图像中人物的第二概率值,所述第一图像中人物为所述预设人物,所述第二图像中人物为所述待识别人物;当所述第一概率值大于第一预设阈值,且所述第二概率值大于第二预设阈值时,确定所述目标人物中同时包括预设人物和待识别人物。
可以理解的,该第一预设阈值可基于实际情况预先设置,该第二预设阈值也可基于实际情况预先设置。上述与待检测图像对应的身份信息具体包括预设人物的身份信息和待识别人物的身份信息。该预设人物的身份信息可以由用户直接输入至对应的身份识别装置,也可以根据从待检测图像中检测到的预设证件中获取,包括但不限于预设人物的身份证号码和工作证号码等。该待识别人物的身份信息可以由用户直接输入至对应的身份识别装置,也可以根据从待检测图像中检测到的身份证件中获取,包括但不限于待识别人物的身份证号码、社保号码和护照号码等。
对于第一图像,可以一并与预设人物的身份信息预先存储,也可以根据预设人物的身份信息,从户籍查询系统或预设图像数据库等中查询得到。对于第二图像,可以根据待识别人物的身份信息,从户籍查询系统或预设图像数据库等中查询得到。
上述预先训练的身份识别模型可选为深度学习模型,对于目标人物身份的确定可借助深度学习模型的输出结果确定。
这样,通过预先训练的身份识别模型,可以准确确定出目标人物中是否同时包括预设人物和待识别人物,且提高识别效率。
本发明实施例中,可选的,为了提高检测精度,上述步骤102可包括:
将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中人物的人体和人脸分别进行类别检测和位置检测,得到检测结果;
基于预设条件和所述检测结果,确定所述目标人物的人体位置信息和人脸位置信息。
其中,对于同一个目标人物,根据人脸位置信息确定的人脸位置处于根据人体位置信息确定的人体位置的范围内。上述对待检测图像中人物的人体和人脸分别进行类别检测和位置检测可以理解为对待检测图像中人物的人体和人脸进行类别检测,和对待检测图像中人物的人体和人脸进行位置检测。上述检测结果具体为待检测图像中每个人物的人体类别概率、人脸类别概率、人体位置信息和人脸位置信息。
具体实现时,上述预设条件可以集成在图像检测模型中,对图像检测模型的输出结果进行限定,使得图像检测模型的输出结果为目标人物的相关位置信息,也可以设置在图像检测模型外,对图像检测模型的输出结果进行判定,以确定出符合要求的目标人物的相关位置信息。
进一步的,上述预设条件可选为:目标人物的人体类别概率大于第一阈值,且目标人物的人脸类别概率大于第二阈值。
其中,该第一阈值和第二阈值可以依据实际情况而定,可以相同,也可以不相同。例如在待检测图像的规格和质量都提高的情况下,该第一阈值和第二阈值可重新设定并增大,以有效区分目标人物和干扰项。
或者,上述预设条件可选为:目标人物的人体类别概率处于待检测图像中所有人物的人体类别概率从高到低排序的前第一预设位,且目标人物的人脸类别概率处于待检测图像中所有人物的人脸类别概率从高到低排序的前第二预设位。
其中,该第一预设位和第二预设位可以依据实际情况而定,可以相同,也可以不相同。可以理解的,此处于前预设位的预设条件比较适用于默认业务场景中仅有固定数量目标人物的情况,此默认业务场景的背景简单且干扰小。比如商品贷款场景下,目标人物仅有两个即贷款申请人和贷款办理人时,上述前第一预设位可设定为前2位,同时前第一预设位可设定为前2位。
需说明的是,上述目标人物的人体可选为全身或半身,而目标人物的人脸具体为整张人脸。
这样,结合人体检测和人脸检测来对待检测图像进行检测,可以排除因背景杂乱对目标人物检测所造成的影响,提高图像定位的准确率。
进一步的,上述步骤103可包括:
根据目标人物的人脸位置信息,在所述待检测图像中定位至少一个目标人脸图像,每一个目标人脸图像中包括一个目标人脸;
根据获取到的与所述待检测图像对应的身份信息,获取第一人脸图像和第二人脸图像;
将所述待检测图像和所述第一人脸图像输入到预先训练的身份识别模型中,输出第三识别结果,和将所述待检测图像和所述第二人脸图像输入到所述身份识别模型中,输出第四识别结果;
其中,所述第三识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第一人脸图像中人脸的第三概率值,所述第四识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第二人脸图像中人脸的第四概率值,所述第一人脸图像中人脸为所述预设人物的人脸,所述第二人脸图像中人脸为所述待识别人物的人脸;当所述第三概率值大于第三预设阈值,且所述第四概率值大于第四预设阈值时,确定所述目标人物中同时包括预设人物和待识别人物。
可以理解的,该第三预设阈值可基于实际情况预先设置,该第四预设阈值也可基于实际情况预先设置。上述与待检测图像对应的身份信息具体包括预设人物的身份信息和待识别人物的身份信息。该预设人物的身份信息可以由用户直接输入至对应的身份识别装置,也可以根据从待检测图像中检测到的预设证件中获取,包括但不限于预设人物的身份证号码和工作证号码等。该待识别人物的身份信息可以由用户直接输入至对应的身份识别装置,也可以根据从待检测图像中检测到的身份证件中获取,包括但不限于待识别人物的身份证号码、社保号码和护照号码等。
对于第一人脸图像,可以一并与预设人物的身份信息预先存储,也可以根据预设人物的身份信息,从户籍查询系统或预设人脸图像数据库等中查询得到。对于第二人脸图像,可以根据待识别人物的身份信息,从户籍查询系统或预设图像数据库等中查询得到。
上述预先训练的身份识别模型可选为深度学习模型,对于目标人物身份的确定可借助深度学习模型的输出结果确定。
这样,结合预先训练的身份识别模型以及人脸图像,可以准确确定出目标人物中是否同时包括预设人物和待识别人物,且提高识别效率。
本发明实施例中,考虑到准确性和速度两方面的因素,上述图像检测模型可选用端到端的即时模型。可选的,上述图像检测模型的网络架构可以采用Darknet框架。
优选的,上述Darknet框架可为Darknet-53框架。其中,Darknet-53框架从第0层一直到第74层,一共有53个卷积层,其余为残差层(即res层)。上述Darknet-53框架包括残差层,且在所述残差层中引入了Senet结构。
进一步的,上述Darknet-53框架的最后预设个数残差层中可引入了Senet结构,即在残差层中加入SE block。比如具体实现时,可在Darknet-53框架的最后四个残差层,即最后一部分卷积块的四个残差层中引入Senet结构。
这样,在残差层中引入Senet结构,根据损失学习特征权重,可以增大有效特征图(feature map)权重,增强特征响应,通过学习的方式自动获取到每个特征通道的重要程度,并依照这个重要程度去提升有用的特征和抑制对当前任务用处不大的特征,增强模型效果。
本发明实施例中,可选的,上述图像检测模型的训练损失函数可为对数损失函数(binary cross-entropy loss),其中的交并比(Intersection-over-Union,IOU)标准可定为0.75。IOU是目标检测中使用的一个概念,是指产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率,即它们的交集与并集的比值。
可选的,步骤101之前,所述方法还可包括:
获取图像训练集;
基于深度学习网络和所述图像训练集,训练得到所述图像检测模型。
其中,上述图像训练集中的图像样本基于训练需求被标注,比如当利用训练得到图像检测模型对待检测图像中人物的人体和人脸分别进行类别检测和位置检测时,该图像样本的标注信息至少包括:人体类别、人物的人体位置信息、人脸类别和人物的人脸位置信息。在训练过程中,当训练得到的图像检测模型达到饱和,即相应损失函数(损失值)小于预设阈值时,可确定训练结束。该深度学习网络比如可为卷积深度学习网络等。
这样,基于深度学习网络进行训练,可以学习到图像更高层更抽象的特征,避免干扰项影响,从而提高训练得到图像检测模型的检测精度。
此外,本发明实施例还提供了一种商品贷审核方法,该商品贷审核方法可应用上述的身份识别方法进行商品贷申请过程中的身份识别,并在身份识别成功的情况下,确定对应的商品贷符合申请规则,以进行放贷;所述预设人物为贷款办理人,所述待识别人物为贷款申请人。
具体的,请参见图2,图2是本发明实施例提供的一种商品贷审核方法的流程图,如图2所示,该方法可包括以下步骤:
步骤201:获取商品贷申请过程中拍摄的待检测图像。
可以理解的,为了减小商品贷可能存在的风险,上述待检测图像优先为实时拍摄的图像。比如具体实现时,上述待检测图像可由商品贷APP拍摄。
步骤202:将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息。
其中,上述对待检测图像中的人物进行检测可以理解为对待检测图像中的人物位置进行检测。上述目标人物是待检测图像中满足预设条件的人物。
步骤203:根据所述目标人物的位置信息,检测所述目标人物中是否同时包括贷款申请人和贷款办理人。
步骤204:当所述目标人物中同时包括贷款申请人和贷款办理人时,确定所述待检测图像对应的商品贷符合申请规则。
本发明实施例的商品贷审核方法,通过将商品贷申请过程中拍摄的待检测图像输入到预先训练的图像检测模型中,对待检测图像中的人物进行检测,获得目标人物的位置信息,并根据目标人物的位置信息,检测目标人物中是否同时包括贷款申请人和贷款办理人,并当目标人物中同时包括贷款申请人和贷款办理人时,确定待检测图像对应的商品贷符合申请规则,可以在商品贷申请过程中同时考虑贷款申请人和贷款办理人,使得两者之间构成约束关系,从而减小商品贷中存在的风险,防止套取现金的诈骗行为,提高商品贷审核的准确率和审核效率。
本发明实施例中,可选的,上述步骤203可包括:
根据目标人物的位置信息,在所述待检测图像中定位至少一个目标图像,每一个目标图像中包括一个目标人物;即当所述待检测图像中包括多个目标人物时,可定位出多个目标图像;
根据获取到的与所述待检测图像对应的身份信息,获取第一图像和第二图像;
将所述待检测图像和所述第一图像输入到预先训练的身份识别模型中,输出第一识别结果,和将所述待检测图像和所述第二图像输入到所述身份识别模型中,输出第二识别结果;
其中,所述第一识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第一图像中人物的第一概率值,所述第二识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第二图像中人物的第二概率值,所述第一图像中人物为所述贷款办理人,所述第二图像中人物为所述贷款申请人;当所述第一概率值大于第一预设阈值,且所述第二概率值大于第二预设阈值时,确定所述目标人物中同时包括贷款申请人和贷款办理人。
上述预先训练的身份识别模型可选为深度学习模型,对于目标人物身份的确定可借助深度学习模型的输出结果确定。
这样,通过预先训练的身份识别模型,可以准确确定出目标人物中是否同时包括贷款办理人和贷款申请人,且提高识别效率。
本发明实施例中,可选的,为了提高检测精度,上述步骤202可包括:
将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中人物的人体和人脸分别进行类别检测和位置检测,得到检测结果;
基于预设条件和所述检测结果,确定所述目标人物的人体位置信息和人脸位置信息。
其中,对于同一个目标人物,根据人脸位置信息确定的人脸位置处于根据人体位置信息确定的人体位置的范围内。上述对待检测图像中人物的人体和人脸分别进行类别检测和位置检测可以理解为对待检测图像中人物的人体和人脸进行类别检测,和对待检测图像中人物的人体和人脸进行位置检测。上述检测结果具体为待检测图像中每个人物的人体类别概率、人脸类别概率、人体位置信息和人脸位置信息。
具体实现时,上述预设条件可以集成在图像检测模型中,对图像检测模型的输出结果进行限定,使得图像检测模型的输出结果为目标人物的相关位置信息,也可以设置在图像检测模型外,对图像检测模型的输出结果进行判定,以确定出符合要求的目标人物的相关位置信息。
进一步的,上述预设条件可选为:目标人物的人体类别概率大于第一阈值,且目标人物的人脸类别概率大于第二阈值。
其中,该第一阈值和第二阈值可以依据实际情况而定,可以相同,也可以不相同。例如在待检测图像的规格和质量都提高的情况下,该第一阈值和第二阈值可重新设定并增大,以有效区分目标人物和干扰项。
或者,上述预设条件可选为:目标人物的人体类别概率处于待检测图像中所有人物的人体类别概率从高到低排序的前第一预设位,且目标人物的人脸类别概率处于待检测图像中所有人物的人脸类别概率从高到低排序的前第二预设位。
其中,该第一预设位和第二预设位可以依据实际情况而定,可以相同,也可以不相同。可以理解的,此处于前预设位的预设条件比较适用于默认业务场景中仅有固定数量目标人物的情况,此默认业务场景的背景简单且干扰小。比如商品贷款场景下,目标人物仅有两个即贷款申请人和贷款办理人时,上述前第一预设位可设定为前2位,同时前第一预设位可设定为前2位。
需说明的是,上述目标人物的人体可选为全身或半身,而目标人物的人脸具体为整张人脸。
这样,结合人体检测和人脸检测来对待检测图像进行检测,可以排除因背景杂乱对目标人物检测所造成的影响,提高检测的准确率。
进一步的,上述步骤203可包括:
根据目标人物的人脸位置信息,在所述待检测图像中定位至少一个目标人脸图像,每一个目标人脸图像中包括一个目标人脸;
根据获取到的与所述待检测图像对应的身份信息,获取第一人脸图像和第二人脸图像;
将所述待检测图像和所述第一人脸图像输入到预先训练的身份识别模型中,输出第三识别结果,和将所述待检测图像和所述第二人脸图像输入到所述身份识别模型中,输出第四识别结果;
其中,所述第三识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第一人脸图像中人脸的第三概率值,所述第四识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第二人脸图像中人脸的第四概率值,所述第一人脸图像中人脸为所述贷款办理人的人脸,所述第二人脸图像中人脸为所述贷款申请人的人脸;当所述第三概率值大于第三预设阈值,且所述第四概率值大于第四预设阈值时,确定所述目标人物中同时包括贷款申请人和贷款办理人。
上述预先训练的身份识别模型可选为深度学习模型,对于目标人物身份的确定可借助深度学习模型的输出结果确定。
这样,通过预先训练的身份识别模型进行识别,可以提高识别效率。
下面,以商品贷款场景为例,对本发明具体实例中的图像检测模型的训练过程进行说明。
本发明具体实例中,图像检测模型可基于目标检测网络YOLO v3实现,并对目标人物的人体和人脸进行精确定位,因此该图像检测模型的分类类别为两类,分别对应人体检测和人脸检测,而每一类输出可为(x,y,w,h,s),其中x和y表示中心坐标,w和h表示长和宽,s表示类别概率。
在对图像检测模型进行训练之前,可首先获取商品贷款场景下的图像训练集,该图像训练集中比如可包括20000余张图像样本,该图像样本为贷款申请人和贷款办理人的合照;然后对图像训练集中的图像样本进行标注,即对图像样本中的目标人物(贷款申请人和贷款办理人)分别进行标注,而标注内容可为包括:人体类别,人体定位框的左上角顶点坐标、高度和宽度(x1,y1,w1,h1),人脸类别,以及人脸定位框的左上角顶点坐标、高度和宽度(x2,y2,w2,h2)。在得到标注后的图像训练集后,再基于YOLO v3进行模型训练。
可以理解的,为了保证训练速度和增强模型效果,上述图像训练集中的图像样本需满足如下要求:图像样本中目标人物(贷款申请人和贷款办理人)的人体(全身或半身)高度至少大于40个像素并且小于整张图像样本的大小,且目标人物的人脸没有过分曝光及遮挡。
上述实施例对本发明的身份识别方法进行了说明,下面将结合实施例和附图对本发明的身份识别装置进行说明。
请参见图3,图3是本发明实施例提供的一种身份识别装置的结构示意图,该装置应用于终端设备,如图3所示,该装置可包括:
第一获取模块31,用于获取身份识别时拍摄的待检测图像;
第一检测模块32,用于将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息;
第二检测模块33,用于根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物;
确定模块34,用于当所述目标人物中同时包括预设人物和待识别人物时,确定所述待检测图像对应的身份识别成功。
本发明实施例的商身份识别装置,通过将身份识别时拍摄的待检测图像输入到预先训练的图像检测模型中,对待检测图像中的人物进行检测,获得目标人物的位置信息,并根据目标人物的位置信息,检测目标人物中是否同时包括预设人物和待识别人物,并当目标人物中同时包括预设人物和待识别人物时,确定待检测图像对应的身份识别成功,可以在身份识别时,同时考虑预设人物和待识别人物,使得两者之间构成相互制约关系,避免通过单一人物的图像进行身份识别,解决防欺诈的问题。
本发明实施例中,可选的,所述第一检测模块32可包括:
第一检测单元,用于将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中人物的人体和人脸分别进行类别检测和位置检测,得到检测结果;
确定单元,用于基于预设条件和所述检测结果,确定所述目标人物的人体位置信息和人脸位置信息;
其中,对于同一个目标人物,根据人脸位置信息确定的人脸位置处于根据人体位置信息确定的人体位置的范围内。
可选的,所述预设条件为:
目标人物的人体类别概率大于第一阈值,且目标人物的人脸类别概率大于第二阈值;
或者,目标人物的人体类别概率处于待检测图像中所有人物的人体类别概率从高到低排序的前第一预设位,且目标人物的人脸类别概率处于待检测图像中所有人物的人脸类别概率从高到低排序的前第二预设位。
可选的,所述第二检测模块33包括:
第一定位单元,用于根据所述目标人物的位置信息,在所述待检测图像中定位至少一个目标图像,每一个目标图像中包括一个目标人物;
第一获取单元,用于根据获取到的与所述待检测图像对应的身份信息,获取第一图像和第二图像;第二检测单元,用于将所述待检测图像和所述第一图像输入到预先训练的身份识别模型中,输出第一识别结果,和将所述待检测图像和所述第二图像输入到所述身份识别模型中,输出第二识别结果;
其中,所述第一识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第一图像中人物的第一概率值,所述第二识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第二图像中人物的第二概率值,所述第一图像中人物为所述预设人物,所述第二图像中人物为所述待识别人物;
当所述第一概率值大于第一预设阈值,且所述第二概率值大于第二预设阈值时,确定所述目标人物中同时包括预设人物和待识别人物。
可选的,所述第二检测模块33包括:
第二定位单元,用于根据所述目标人物的人脸位置信息,在所述待检测图像中定位至少一个目标人脸图像,每一个目标人脸图像中包括一个目标人脸;
第二获取单元,用于根据获取到的与所述待检测图像对应的身份信息,获取第一人脸图像和第二人脸图像;
第三检测单元,用于将所述待检测图像和所述第一人脸图像输入到预先训练的身份识别模型中,输出第三识别结果,和将所述待检测图像和所述第二人脸图像输入到所述身份识别模型中,输出第四识别结果;
其中,所述第三识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第一人脸图像中人脸的第三概率值,所述第四识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第二人脸图像中人脸的第四概率值,所述第一人脸图像中人脸为所述预设人物的人脸,所述第二人脸图像中人脸为所述待识别人物的人脸;
当所述第三概率值大于第三预设阈值,且所述第四概率值大于第四预设阈值时,确定所述目标人物中同时包括预设人物和待识别人物。
可选的,所述图像检测模型的网络架构采用Darknet-53框架。
可选的,所述Darknet-53框架包括残差层,且在所述残差层中引入了Senet结构。
可选的,所述图像检测模型的训练损失函数为对数损失函数。
可选的,所述装置还包括:
第二获取模块,用于获取图像训练集;
训练模块,用于基于深度学习网络和所述图像训练集,训练得到所述图像检测模型。
此外,本发明实施例还提供了一种终端设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述计算机程序被所述处理器执行时可实现上述身份识别方法实施例的各个过程,或者上述商品贷审核方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
具体的,参见图4所示,本发明实施例提供了一种终端设备,包括总线41、收发机42、天线43、总线接口44、处理器45和存储器46。
在本发明实施例中,所述终端设备还包括:存储在存储器46上并可在处理器45上运行的计算机程序。其中,所述计算机程序被处理器45执行时可实现上述身份识别方法实施例的各个过程,或者上述商品贷审核方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
在图4中,总线架构(用总线41来代表),总线41可以包括任意数量的互联的总线和桥,总线41将包括由处理器45代表的一个或多个处理器和存储器46代表的存储器的各种电路链接在一起。总线41还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口44在总线41和收发机42之间提供接口。收发机42可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器45处理的数据通过天线43在无线介质上进行传输,进一步,天线43还接收数据并将数据传送给处理器45。
处理器45负责管理总线41和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器46可以被用于存储处理器45在执行操作时所使用的数据。
可选的,处理器45可以是CPU、ASIC、FPGA或CPLD。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述商品贷审核方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种身份识别方法,其特征在于,包括:
获取身份识别时拍摄的待检测图像;
将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息;其中,所述目标人物为所述待检测图像中的满足预设条件的人物;
根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物;
当所述目标人物中同时包括预设人物和待识别人物时,确定所述待检测图像对应的身份识别成功;
其中,所述根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物,包括:
根据所述目标人物的位置信息,在所述待检测图像中定位至少一个目标图像,每一个目标图像中包括一个目标人物;
根据获取到的与所述待检测图像对应的身份信息,获取第一图像和第二图像;
将所述待检测图像和所述第一图像输入到预先训练的身份识别模型中,输出第一识别结果,和将所述待检测图像和所述第二图像输入到所述身份识别模型中,输出第二识别结果;
其中,所述第一识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第一图像中人物的第一概率值,所述第二识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第二图像中人物的第二概率值,所述第一图像中人物为所述预设人物,所述第二图像中人物为所述待识别人物;
当所述第一概率值大于第一预设阈值,且所述第二概率值大于第二预设阈值时,确定所述目标人物中同时包括预设人物和待识别人物;
或者,
所述目标人物的位置信息为所述目标人物的人脸位置信息;所述根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物,包括:
根据所述目标人物的人脸位置信息,在所述待检测图像中定位至少一个目标人脸图像,每一个目标人脸图像中包括一个目标人脸;
根据获取到的与所述待检测图像对应的身份信息,获取第一人脸图像和第二人脸图像;
将所述待检测图像和所述第一人脸图像输入到预先训练的身份识别模型中,输出第三识别结果,和将所述待检测图像和所述第二人脸图像输入到所述身份识别模型中,输出第四识别结果;
其中,所述第三识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第一人脸图像中人脸的第三概率值,所述第四识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第二人脸图像中人脸的第四概率值,所述第一人脸图像中人脸为所述预设人物的人脸,所述第二人脸图像中人脸为所述待识别人物的人脸;
当所述第三概率值大于第三预设阈值,且所述第四概率值大于第四预设阈值时,确定所述目标人物中同时包括预设人物和待识别人物。
2.根据权利要求1所述的方法,其特征在于,所述将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息,包括:
将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中人物的人体和人脸分别进行类别检测和位置检测,得到检测结果;
基于所述预设条件和所述检测结果,确定所述目标人物的人体位置信息和人脸位置信息;
其中,对于同一个目标人物,根据人脸位置信息确定的人脸位置处于根据人体位置信息确定的人体位置的范围内。
3.根据权利要求2所述的方法,其特征在于,所述预设条件为:
目标人物的人体类别概率大于第一阈值,且目标人物的人脸类别概率大于第二阈值;或者
目标人物的人体类别概率处于待检测图像中所有人物的人体类别概率从高到低排序的前第一预设位,且目标人物的人脸类别概率处于待检测图像中所有人物的人脸类别概率从高到低排序的前第二预设位。
4.根据权利要求1所述的方法,其特征在于,所述图像检测模型的网络架构采用Darknet-53框架,所述Darknet-53框架包括残差层,且在所述残差层中引入了Senet结构。
5.根据权利要求1所述的方法,其特征在于,所述图像检测模型的训练损失函数为对数损失函数。
6.一种商品贷审核方法,其特征在于,所述商品贷审核方法应用如权利要求1至5中任一项所述的身份识别方法进行商品贷申请过程中的身份识别,并在身份识别成功的情况下,确定对应的商品贷符合申请规则;所述预设人物为贷款办理人,所述待识别人物为贷款申请人。
7.一种身份识别装置,其特征在于,包括:
第一获取模块,用于获取身份识别时拍摄的待检测图像;
第一检测模块,用于将所述待检测图像输入到预先训练的图像检测模型中,对所述待检测图像中的人物进行检测,获得目标人物的位置信息;其中,所述目标人物为所述待检测图像中的满足预设条件的人物;
第二检测模块,用于根据所述目标人物的位置信息,检测所述目标人物中是否同时包括预设人物和待识别人物;
确定模块,用于当所述目标人物中同时包括预设人物和待识别人物时,确定所述待检测图像对应的身份识别成功;
其中,所述第二检测模块包括:
第一定位单元,用于根据所述目标人物的位置信息,在所述待检测图像中定位至少一个目标图像,每一个目标图像中包括一个目标人物;
第一获取单元,用于根据获取到的与所述待检测图像对应的身份信息,获取第一图像和第二图像;
第二检测单元,用于将所述待检测图像和所述第一图像输入到预先训练的身份识别模型中,输出第一识别结果,和将所述待检测图像和所述第二图像输入到所述身份识别模型中,输出第二识别结果;
其中,所述第一识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第一图像中人物的第一概率值,所述第二识别结果表示定位的所述至少一个目标图像的目标人物中存在所述第二图像中人物的第二概率值,所述第一图像中人物为所述预设人物,所述第二图像中人物为所述待识别人物;
当所述第一概率值大于第一预设阈值,且所述第二概率值大于第二预设阈值时,确定所述目标人物中同时包括预设人物和待识别人物;
或者,
所述目标人物的位置信息为所述目标人物的人脸位置信息;所述第二检测模块包括:
第二定位单元,用于根据所述目标人物的人脸位置信息,在所述待检测图像中定位至少一个目标人脸图像,每一个目标人脸图像中包括一个目标人脸;
第二获取单元,用于根据获取到的与所述待检测图像对应的身份信息,获取第一人脸图像和第二人脸图像;
第三检测单元,用于将所述待检测图像和所述第一人脸图像输入到预先训练的身份识别模型中,输出第三识别结果,和将所述待检测图像和所述第二人脸图像输入到所述身份识别模型中,输出第四识别结果;
其中,所述第三识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第一人脸图像中人脸的第三概率值,所述第四识别结果表示定位的所述至少一个目标人脸图像的目标人脸中存在所述第二人脸图像中人脸的第四概率值,所述第一人脸图像中人脸为所述预设人物的人脸,所述第二人脸图像中人脸为所述待识别人物的人脸;
当所述第三概率值大于第三预设阈值,且所述第四概率值大于第四预设阈值时,确定所述目标人物中同时包括预设人物和待识别人物。
8.一种终端设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的身份识别方法的步骤,或者如权利要求6所述的商品贷审核方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的身份识别方法的步骤,或者如权利要求6所述的商品贷审核方法的步骤。
CN201811532130.4A 2018-12-14 2018-12-14 身份识别方法、商品贷审核方法、装置及终端设备 Active CN111402027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811532130.4A CN111402027B (zh) 2018-12-14 2018-12-14 身份识别方法、商品贷审核方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811532130.4A CN111402027B (zh) 2018-12-14 2018-12-14 身份识别方法、商品贷审核方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN111402027A CN111402027A (zh) 2020-07-10
CN111402027B true CN111402027B (zh) 2021-05-07

Family

ID=71430098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811532130.4A Active CN111402027B (zh) 2018-12-14 2018-12-14 身份识别方法、商品贷审核方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN111402027B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215136B (zh) * 2020-10-10 2023-09-05 北京奇艺世纪科技有限公司 一种目标人物识别方法、装置、电子设备及存储介质
CN112836655B (zh) * 2021-02-07 2024-05-28 上海卓繁信息技术股份有限公司 一种识别违规动作者身份的方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN108389290A (zh) * 2018-02-22 2018-08-10 陈崇 一种基于物联网的智能家居控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285902A1 (en) * 2017-03-31 2018-10-04 Walmart Apollo, Llc System and method for data-driven insight into stocking out-of-stock shelves
CN108399375B (zh) * 2018-02-07 2020-10-13 厦门瑞为信息技术有限公司 一种基于联想记忆的身份识别方法
CN108596092B (zh) * 2018-04-24 2021-05-18 亮风台(上海)信息科技有限公司 手势识别方法、装置、设备和存储介质
CN108933929A (zh) * 2018-07-16 2018-12-04 北京奇虎科技有限公司 一种视频监测方法及安防侦测设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN108389290A (zh) * 2018-02-22 2018-08-10 陈崇 一种基于物联网的智能家居控制方法

Also Published As

Publication number Publication date
CN111402027A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN107292287B (zh) 人脸识别方法、装置、电子设备及存储介质
CN107563757B (zh) 数据风险识别的方法及装置
US20200005316A1 (en) Method and System for Determining Terminal Locations
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
CN112580707A (zh) 图像识别方法、装置、设备及存储介质
CN111811525B (zh) 一种基于遥感图像和浮动车轨迹的路网生成方法及系统
CN111402027B (zh) 身份识别方法、商品贷审核方法、装置及终端设备
CN111178146A (zh) 基于人脸特征识别主播的方法及装置
CN109102324B (zh) 模型训练方法、基于模型的红包物料铺设预测方法及装置
CN115600249A (zh) 基于区块链的元宇宙电商购物大数据安全保护方法及系统
CN110363206B (zh) 数据对象的聚类、数据处理及数据识别方法
CN110717484B (zh) 一种图像处理方法和系统
CN112149103A (zh) 基于电子订单处理的电商平台入侵检测方法及计算机设备
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
US10410095B2 (en) Method and system for identifying a payment card design
CN111062262B (zh) 发票识别方法以及发票识别装置
CN106204163B (zh) 一种用户属性特征的确定方法和装置
CN105512914B (zh) 一种信息处理方法及电子设备
CN116823428A (zh) 一种反欺诈检测方法、装置、设备及存储介质
CN111274471B (zh) 信息推送方法、装置、服务器及可读存储介质
CN111582873A (zh) 评估交互事件的方法及装置、电子设备、存储介质
CN115311022A (zh) 一种广告流量识别方法、装置及计算机可读存储介质
CN112200711B (zh) 一种水印分类模型的训练方法及系统
CN113111734B (zh) 一种水印分类模型训练方法及装置
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant