CN114398606B - 基于区块链的人脸验证方法、设备和计算机可读存储介质 - Google Patents

基于区块链的人脸验证方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN114398606B
CN114398606B CN202111177330.4A CN202111177330A CN114398606B CN 114398606 B CN114398606 B CN 114398606B CN 202111177330 A CN202111177330 A CN 202111177330A CN 114398606 B CN114398606 B CN 114398606B
Authority
CN
China
Prior art keywords
face
model
verification
slice
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111177330.4A
Other languages
English (en)
Other versions
CN114398606A (zh
Inventor
董喆
何双江
赵慧娟
闵潇潇
徐凤祥
靖娟
陈磊
王昭
单娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Fiberhome Information Integration Technologies Co ltd
Jianghan University
Original Assignee
Wuhan Fiberhome Information Integration Technologies Co ltd
Jianghan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Fiberhome Information Integration Technologies Co ltd, Jianghan University filed Critical Wuhan Fiberhome Information Integration Technologies Co ltd
Priority to CN202111177330.4A priority Critical patent/CN114398606B/zh
Publication of CN114398606A publication Critical patent/CN114398606A/zh
Application granted granted Critical
Publication of CN114398606B publication Critical patent/CN114398606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种基于区块链的人脸验证方法、设备和计算机可读存储介质，以防止数据的所属方被恶意攻破，导致关联系统也被攻破。所述方法包括：基于本地人脸切片数据库验证人脸验证请求包含的待验证人脸图片；若从本地人脸切片数据库检索到与待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成待选人脸切片模型的签名信息；向人脸模型使用方和人脸完整模型拥有方转发人脸验证请求；对待验证人脸图片进行验证，得到第一验证结果；对待验证人脸图片进行验证，得到第二验证结果；根据第一验证结果和第二验证结果，判断验证是否成功；若验证成功，则返回验证成功的结果；若验证失败，则发出警报信息。

Description

基于区块链的人脸验证方法、设备和计算机可读存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种基于区块链的人脸验证方法、设备和计算机可读存储介质。
背景技术
目前大量的管理系统都是通过人脸获得权限和数据。一方面人脸作为用户信息可以用于登录，另一方面人脸也可以作为案件的查询线索用于检索与案件相关的存证。目前部分关联部门之间的网络和系统大部分省市都已经具备互联互通的条件。各部门之间的身份相互认证是要解决的问题，同时基于人脸的案件存证检索也是也是非常关键的技术。然而，个别部门之间的数据具有很强的保密和隐私保护要求，敏感信息不能直接公开和共享，必须通过有效的技术手段进行处理。
发明内容
本申请提供一种基于区块链的人脸验证方法、设备和计算机可读存储介质，以防止数据的所属方被恶意攻破，导致关联系统也被攻破。
一方面，本申请提供了一种基于区块链的人脸验证方法，包括：
当收到用户的人脸验证请求时，基于本地人脸切片数据库验证所述人脸验证请求包含的待验证人脸图片，所述本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，所述人脸切片模型由人脸完整模型拥有方基于区块链向所述人脸模型使用方发布；
若从所述本地人脸切片数据库检索到与所述待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成所述待选人脸切片模型的签名信息，所述待选人脸切片模型为与所述待验证人脸图片匹配成功的人脸切片模型；
根据所述签名信息，向所述人脸模型使用方和所述人脸完整模型拥有方转发所述人脸验证请求；
基于所述人脸完整模型拥有方存储的人脸完整模型，对所述待验证人脸图片进行验证，得到第一验证结果；
基于所述人脸模型使用方的人脸切片模型，对所述待验证人脸图片进行验证，得到第二验证结果；
根据所述第一验证结果和第二验证结果，判断所述验证是否成功；
若验证成功，则返回所述验证成功的结果；
若验证失败，则发出警报信息。
另一方面，本申请提供了一种基于区块链的人脸验证系统，包括：
第一验证模块，用于当收到用户的人脸验证请求时，基于本地人脸切片数据库验证所述人脸验证请求包含的待验证人脸图片，所述本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，所述人脸切片模型由人脸完整模型拥有方基于区块链向所述人脸模型使用方发布；
生成模块，用于若从所述本地人脸切片数据库检索到与所述待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成所述待选人脸切片模型的签名信息，所述待选人脸切片模型为与所述待验证人脸图片匹配成功的人脸切片模型；
转发模块，用于根据所述签名信息，向所述人脸模型使用方和所述人脸完整模型拥有方转发所述人脸验证请求；
第二验证模块，用于基于所述人脸完整模型拥有方存储的人脸完整模型，对所述待验证人脸图片进行验证，得到第一验证结果；
第三验证模块，用于基于所述人脸模型使用方的人脸切片模型，对所述待验证人脸图片进行验证，得到第二验证结果；
判断模块，用于根据所述第一验证结果和第二验证结果，判断所述验证是否成功；
结果返回模块，用于若验证成功，则返回所述验证成功的结果；
警报模块，用于若验证失败，则发出警报信息。
第三方面，本申请提供了一种设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于区块链的人脸验证方法的技术方案的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于区块链的人脸验证方法的技术方案的步骤。
从上述本申请提供的技术方案可知，一方面，由于人脸图片和人脸切片模型是分离或分开存储在不同方，因此，即使单个节点被攻破，不至于使得整个区块链上的所有节点都被攻破，从而保证了系统的安全；另一方面，由于人脸切片模型由人脸完整模型拥有方基于区块链发布给各个人脸模型使用方，人脸验证最终是通过人脸完整模型拥有方和共识的人脸模型使用方一起完成，若任何一个人脸模型使用方(终端)被攻陷而绕开验证直接进入区块链，则会在区块链上记录登录信息，并通知其他人脸模型使用方共同验证，由于每个人脸模型使用方都至少拥有人脸切片模型(人脸完整模型拥有方存储有人脸完整模型)，则对被攻陷的人脸模型使用方发出请求以进一步认证身份认证，保障即使某个人脸模型使用方(终端)被攻陷的验证登录被攻破，在服务请求过程中服务方依然会进行验证，从而保证了数据的安全。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于区块链的人脸验证方法的流程图；
图2是本申请实施例提供的将人脸图片分割为16个区域的示意图；
图3是本申请实施例提供的基于区块链的人脸验证系统的结构示意图；
图4是本申请实施例提供的设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
目前大量的管理系统都是通过人脸获得权限和数据。人脸作为用户信息可以用于登录。目前部分关联部门之间的网络和系统大部分省市都已经具备互联互通的条件。个别部门间的身份相互认证是要解决的问题，同时基于人脸的案件存证检索也是也是非常关键的技术。然而，管理部门之间的数据具有很强的保密和隐私保护要求，敏感信息不能直接公开和共享，必须通过有效的技术手段进行处理。
区块链技术在大量的管理实践上均有效应用于隐私保护、数据保护等方面，被证明是实用性极强的技术手段。本申请主要通过区块链技术保护部分关联部门的数据，利用人脸身份的检索关联其在区块链的数据层、共识层和合约层进行扩展，以适应在部分关联部门共同协同的信息化场景下对保护隐私个人身份的条件下利用区块链技术去中心化的检测人脸身份。最后，在应用层分配应用权限满足应用系统的需求。
具体而言，本申请技术方案的场景是基于区块链身份保护的人脸验证，具体地，用户通过人脸进行本地身份认证，在系统安全性上可能存在一个问题。可能攻击者会绕开本地身份认证，直接进入系统。针对这种攻击保护，本申请的人脸验证小模型部署在终端(例如管理服务大厅终端机)。若终端被攻陷绕开验证直接进入区块链，则该登录会在区块链上被记录，并通知其他参与方共同验证，由于每个参与方都至少拥有人脸切片数据库(人脸完整模型拥有方，则拥有人脸完整模型)，会对终端服务发出的请求进一步身份认证，从而保障及时终端机的验证登录被攻破，在服务请求过程中服务方依然会进行验证，只有所有协同发的节点在区块链上都同意，则终端可以访问全部服务。
在本说明书中，为了便于描述，附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。
本申请首先将人脸分割，然后将人脸完整模型作为数据人脸完整模型拥有方的模型保存，并为其他各方随机人脸切片模型，分发给各方。将人脸切片模型放到区块链上，由区块链保证模型的不可篡改性，并记录每次模型被使用的日志，其次，为人脸模型数据设计合适的区块链数据层。在用户发起请求后，请求被发往业务起点节点，由该节点对人脸身份进行验证，同时通知给区块链上所有相关节点。由于相关节点都存储有人脸切片模型，根据该人脸切片模型的精度，总体上达成共识，设计共识层算法，从而判断识别给定的人脸图片的身份信息。根据上述身份认证的结果和协作各方应该承担的责任，系统自动生成智能合约，并发布到区块链合约层共享，当执行条件触发了智能合约，智能合约会根据条件通知到应用层。应用层受到智能合约的消息后，由各方应用根据智能合约的结果，分配用户权限或执行范围。具体地，本申请提出了一种基于区块链的人脸验证方法，如附图1所示，该方法主要包括步骤S101至S108，详述如下：
步骤S101：当收到用户的人脸验证请求时，基于本地人脸切片数据库验证人脸验证请求包含的待验证人脸图片，其中，本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，人脸切片模型由人脸完整模型拥有方基于区块链向人脸模型使用方发布。
在本申请实施例中，人脸切片模型由人脸完整模型拥有方基于区块链，事先向人脸模型发布，即，在基于本地人脸切片数据库验证所述人脸验证请求包含的待验证人脸图片之前，上述实施例的方法还包括：人脸完整模型拥有方基于区块链向人脸模型使用方发布人脸切片模型。具体地，人脸完整模型拥有方基于区块链向人脸模型使用方发布人脸切片模型可通过步骤S11至步骤S14实现，说明如下：
步骤S11：基于人脸完整模型拥有方的人脸图片库中人脸图片，生成人脸完整模型。
在本申请实施例中，人脸图片可以是224*224的RGB图片。可以采用深度神经网络作为骨干网络，生成人脸完整模型，并保存该人脸完整模型的超参数和分类结果标识等信息。
步骤S12：将人脸完整模型的签名信息上传至区块链平台，由区块链平台生成与人脸完整模型的签名信息对应的区块链。
人脸完整模型的签名信息即采用MD5等签名算法对人脸完整模型的超参数、版本等信息加密后生成的数字签名，然后，将人脸完整模型的签名信息和分类结果标识等上传至区块链平台，由区块链平台生成与人脸完整模型的签名信息对应的区块链，该区块链记录人脸完整模型的创建者和发布者即人脸完整模型拥有方。
步骤S13：基于人脸完整模型拥有方的人脸图片库中人脸图片，随机生成与人脸完整模型对应的多个人脸切片模型。
作为本申请一个实施例，基于人脸完整模型拥有方的人脸图片库中人脸图片，随机生成与人脸完整模型对应的多个人脸切片模型可以是：将人脸图片分割为n个区域，其中，n为大于12的整数；从n个区域中随机选择m个分割区域保留人脸图片的原样，清除n-m个区域的人脸图片的原样，随机生成一个人脸切片模型；以保留原样的区域对应为分量“1”，以清除原样的区域对应为分量“0”，为生成的一个人脸切片模型分配一个n维随机向量。上述实施例中，从n个区域中随机选择m个分割区域保留人脸图片的原样，清除n-m个区域的人脸图片的原样，随机生成一个人脸切片模型，具体是在保留m个区域的人脸图片的原样，清除n-m个区域的人脸图片的原样后，将这些保留了部分人脸图片原样和清除了部分人脸图片原样的人脸切片图片输入深度神经网络，由深度神经网络输出超参数，得到人脸切片模型。以将人脸图片分割为16个区域为例，如图2所示。例如，假设从16个区域中随机选择9个分割区域保留人脸图片的原样，清除16-9即7个区域的人脸图片的原样，保留和清除原样之后的人脸图片输入深度神经网络，生成一个人脸切片模型P1，即该人脸切片模型P1由9个保留原样的区域和7个清除原样的区域组成，以保留原样的区域即9个区域对应为分量“1”，以清除原样的区域即7个区域对应为分量“0”，从而为该人脸切片模型P1生成[0，1，0，1，1，1，0，1，1，1，0，1，0，0，1，0]的16维向量；又如，假设从16个区域中随机选择11个分割区域保留人脸图片的原样，清除16-11即5个区域的人脸图片的原样，保留和清除原样之后的人脸图片输入深度神经网络，生成一个人脸切片模型P2，即该人脸切片模型P2由11个保留原样的区域和5个清除原样的区域组成，以保留原样的区域即11个区域对应为分量“1”，以清除原样的区域即5个区域对应为分量“0”，从而为该人脸切片模型P2生成[1，1，0，1，0，1，1，1，1，0，0，1，1，1，1，0]的16维随机向量。
步骤S14：将多个人脸切片模型的每个人脸切片模型分别发布给多个人脸模型使用方的每一个人脸模型使用方。
人脸完整模型拥有方将多个人脸切片模型的每个人脸切片模型分别发布给多个人脸模型使用方的每一个人脸模型使用方(包括第二人脸模型使用方或第一人脸模型使用方)，实际是将每个人脸切片模型及其被分配的随机向量一起发布给每一个人脸模型使用方，即，人脸完整模型拥有方将每个人脸切片模型被分配的随机向量生成的数字签名等签名信息上传至区块链平台，区块链平台即为该人脸切片模型及其签名信息生成一个区块链，记录该人脸切片模型的创建者即人脸完整模型拥有方。每一个人脸模型使用方从区块链取得该人脸切片模型及其签名信息，保存该人脸切片模型以及为该人脸切片模型分配的随机向量等签名信息。此处，每一个人脸模型使用方还要执行的一个动作是向区块链平台记录各自收到人脸切片模型这一事件，同时，将根据该人脸切片模型的随机向量生成的数字签名作为交易信息上传至该区块链。
以上是人脸完整模型拥有方基于区块链向人脸模型使用方发布人脸切片模型的实现方案。
作为本申请一个实施例，基于本地人脸切片数据库验证人脸验证请求包含的待验证人脸图片可以是：将待验证人脸图片与本地人脸切片数据库存储的人脸切片模型匹配；对匹配时每个人脸切片模型的置信度进行升序排序；选择置信度中排序最高的人脸切片模型作为待选人脸切片模型。需要说明的是，置信度中排序最高的人脸切片模型，意味着待验证人脸图片与该人脸切片模型匹配成功，也意味着待验证人脸图片将与该人脸切片模型对应的人脸完整模型最匹配。
步骤S102：若从本地人脸切片数据库检索到与待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成该待选人脸切片模型的签名信息，其中，待选人脸切片模型为与待验证人脸图片匹配成功的人脸切片模型。
如前所述，人脸完整模型拥有方每生成一个人脸切片模型，即为该人脸切片模型生成一个随机向量后分配给该人脸切片模型。换言之，每一个人脸切片模型都对应唯一的一个随机向量。因此，从本地人脸切片数据库检索到与待验证人脸图片匹配的人脸切片模型后，可以基于待选人脸切片模型生成该待选人脸切片模型的签名信息。具体可以是使用加密算法，对与待选人脸切片模型匹配成功的待验证人脸图片的特征向量和为待选人脸切片模型分配的随机向量加密，生成待选人脸切片模型的签名信息。至于具体的加密算法，可以是MD5 等任何一种不可逆的加密算法，本申请对此不做限制。
步骤S103：根据基于待选人脸切片模型生成的签名信息，向人脸模型使用方和人脸完整模型拥有方转发人脸验证请求。
如前所述，由于每一个人脸切片模型的数字签名是基于为其分配的随机向量生成，并且，区块链平台为每一个人脸切片模型及其签名信息生成一个区块链，其记录了该人脸切片模型的创建者即人脸完整模型拥有方。因此，区块链平台根据基于待选人脸切片模型生成的签名信息，可以查询到该待选人脸切片模型的创建者即人脸完整模型拥有方，从而向人脸完整模型拥有方转发人脸验证请求。连同人脸验证请求一起转发的，还可以包括基于待选人脸切片模型生成的签名信息以及经步骤S101得到的与待验证人脸图片匹配的人脸切片模型。
步骤S104：基于人脸完整模型拥有方存储的人脸完整模型，对待验证人脸图片进行验证，得到第一验证结果。
人脸完整模型拥有方收到区块链平台转发的人脸验证请求后，基于人脸完整模型拥有方存储的人脸完整模型，对待验证人脸图片进行验证，具体的验证方法与前述实施例基于本地人脸切片数据库验证人脸验证请求包含的待验证人脸图片类似，所不同的是此次匹配的是人脸完整模型拥有方存储的人脸完整模型，而不再是人脸切片模型。具体地，步骤S104的实现可以是：基于人脸完整模型拥有方存储的人脸完整模型，对待验证人脸图片进行验证，得到第一验证得分Sw；读取人脸完整模型拥有方的置信度λw；求取Sw与λw的乘积Sw*λw，将 Sw*λw作为第一验证结果。需要说明的是，人脸完整模型拥有方的置信度λw是对人脸完整模型拥有方的各种行为，例如，将待验证人脸图片与人脸完整模型进行匹配，得到的一个匹配结果的真实性的评估值，或者，基于人脸完整模型的完备性得到的一个评估值。
步骤S105：基于人脸模型使用方的人脸切片模型，对待验证人脸图片进行验证，得到第二验证结果。
在本申请实施例中，人脸模型使用方可以包括多个人脸模型使用方，每个人脸模型使用方在收到区块链平台转发的人脸验证请求后，可以开始验证，得到一个验证得分。具体地，步骤S105的实现可以是：基于第i个人脸模型使用方存储的人脸切片模型，对待验证人脸图片进行验证，得到第i个人脸模型使用方的第一验证得分si；读取第i个人脸模型使用方的置信度λi；对n个中每一个人脸模型使用方的置信度λi与第一验证得分si求取乘积后，将n个乘积之和作为第二验证结果。需要说明的是，人脸模型使用方的置信度λi是对该人脸模型使用方的各种行为，例如，将待验证人脸图片与人脸切片模型进行匹配，得到的一个匹配结果的真实性的评估值，或者，基于人脸切片模型的完备性得到的一个评估值。原则上，一个眼睛、嘴巴等人脸的关键部位没有缺失的人脸切片模型被分配的人脸模型使用方，相对于一个眼睛、嘴巴等人脸的关键部位缺失的人脸切片模型被分配的人脸模型使用方，前者的置信度要高于后者的置信度。
步骤S106：根据第一验证结果和第二验证结果，判断验证是否成功。
具体地，可以比较第二验证结果score与λw＊Sw＊δ的大小，若score≥λw＊Sw＊δ，则确定验证成功。上述表达式λw＊Sw＊δ中，δ为共识系数，一般取值为0.9。
步骤S107：若验证成功，则返回验证成功的结果。
若验证成功，即，score≥λw＊Sw＊δ，则向人脸模型使用方返回“是”，即表示该待验证人脸图片是已上传至区块链上的某个人脸。
步骤S108：若验证失败，则发出警报信息。
若验证失败，则要么是终端遭到了非法攻击，要么是待验证人脸图片不属于已上传至区块链上的某个人脸，于是发出警报信息。
从上述附图1示例的基于区块链的人脸验证方法可知，一方面，由于人脸图片和人脸切片模型是分离或分开存储在不同方，因此，即使单个节点被攻破，不至于使得整个区块链上的所有节点都被攻破，从而保证了系统的安全；另一方面，由于人脸切片模型由人脸完整模型拥有方基于区块链发布给各个人脸模型使用方，人脸验证最终是通过人脸完整模型拥有方和共识的人脸模型使用方一起完成，若任何一个人脸模型使用方(终端)被攻陷而绕开验证直接进入区块链，则会在区块链上记录登录信息，并通知其他人脸模型使用方共同验证，由于每个人脸模型使用方都至少拥有人脸切片模型(人脸完整模型拥有方存储有人脸完整模型)，则对被攻陷的人脸模型使用方发出请求以进一步认证身份认证，保障即使某个人脸模型使用方(终端)被攻陷的验证登录被攻破，在服务请求过程中服务方依然会进行验证，从而保证了数据的安全。
请参阅附图3，是本申请实施例提供的一种基于区块链的人脸验证系统，可以包括第一验证模块301、生成模块302、转发模块303、第二验证模块304、第三验证模块305、判断模块306、结果返回模块307和警报模块308，详述如下：
第一验证模块301，用于当收到用户的人脸验证请求时，基于本地人脸切片数据库验证人脸验证请求包含的待验证人脸图片，其中，本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，人脸切片模型由人脸完整模型拥有方基于区块链向所述人脸模型使用方发布；
生成模块302，用于若从本地人脸切片数据库检索到与待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成待选人脸切片模型的签名信息，其中，待选人脸切片模型为与待验证人脸图片匹配成功的人脸切片模型；
转发模块303，用于根据待选人脸切片模型的签名信息，向人脸模型使用方和人脸完整模型拥有方转发人脸验证请求；
第二验证模块304，用于基于人脸完整模型拥有方存储的人脸完整模型，对待验证人脸图片进行验证，得到第一验证结果；
第三验证模块305，用于基于人脸模型使用方的人脸切片模型，对待验证人脸图片进行验证，得到第二验证结果；
判断模块306，用于根据第一验证结果和第二验证结果，判断验证是否成功；
结果返回模块307，用于若验证成功，则返回验证成功的结果；
警报模块308，用于若验证失败，则发出警报信息。
从以上技术方案的描述中可知，一方面，由于人脸图片和人脸切片模型是分离或分开存储在不同方，因此，即使单个节点被攻破，不至于使得整个区块链上的所有节点都被攻破，从而保证了系统的安全；另一方面，由于人脸切片模型由人脸完整模型拥有方基于区块链发布给各个人脸模型使用方，人脸验证最终是通过人脸完整模型拥有方和共识的人脸模型使用方一起完成，若任何一个人脸模型使用方(终端)被攻陷而绕开验证直接进入区块链，则会在区块链上记录登录信息，并通知其他人脸模型使用方共同验证，由于每个人脸模型使用方都至少拥有人脸切片模型(人脸完整模型拥有方存储有人脸完整模型)，则对被攻陷的人脸模型使用方发出请求以进一步认证身份认证，保障即使某个人脸模型使用方(终端)被攻陷的验证登录被攻破，在服务请求过程中服务方依然会进行验证，从而保证了数据的安全。
图4是本申请一实施例提供的设备的结构示意图。如图4所示，该实施例的设备4主要包括：处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42，例如基于区块链的人脸验证方法的程序。处理器40执行计算机程序42时实现上述基于区块链的人脸验证方法实施例中的步骤，例如图1所示的步骤S101至S108。或者，处理器40执行计算机程序42 时实现上述各装置实施例中各模块/单元的功能，例如图3所示第一验证模块 301、生成模块302、转发模块303、第二验证模块304、第三验证模块305、判断模块306、结果返回模块307和警报模块308的功能。
示例性地，基于区块链的人脸验证方法的计算机程序42主要包括：当收到用户的人脸验证请求时，基于本地人脸切片数据库验证人脸验证请求包含的待验证人脸图片，其中，本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，人脸切片模型由人脸完整模型拥有方基于区块链向所述人脸模型使用方发布；若从本地人脸切片数据库检索到与待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成待选人脸切片模型的签名信息，其中，待选人脸切片模型为与待验证人脸图片匹配成功的人脸切片模型；根据待选人脸切片模型的签名信息，向人脸模型使用方和人脸完整模型拥有方转发人脸验证请求；基于人脸完整模型拥有方存储的人脸完整模型，对待验证人脸图片进行验证，得到第一验证结果；基于人脸模型使用方的人脸切片模型，对待验证人脸图片进行验证，得到第二验证结果；根据第一验证结果和第二验证结果，判断验证是否成功；若验证成功，则返回验证成功的结果；若验证失败，则发出警报信息。计算机程序42可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器41中，并由处理器40执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序42在设备4中的执行过程。例如，计算机程序 42可以被分割成第一验证模块301、生成模块302、转发模块303、第二验证模块304、第三验证模块305、判断模块306、结果返回模块307和警报模块308 (虚拟装置中的模块)的功能，各模块具体功能如下：第一验证模块301，用于当收到用户的人脸验证请求时，基于本地人脸切片数据库验证人脸验证请求包含的待验证人脸图片，其中，本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，人脸切片模型由人脸完整模型拥有方基于区块链向所述人脸模型使用方发布；生成模块302，用于若从本地人脸切片数据库检索到与待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成待选人脸切片模型的签名信息，其中，待选人脸切片模型为与待验证人脸图片匹配成功的人脸切片模型；转发模块303，用于根据待选人脸切片模型的签名信息，向人脸模型使用方和人脸完整模型拥有方转发人脸验证请求；第二验证模块304，用于基于人脸完整模型拥有方存储的人脸完整模型，对待验证人脸图片进行验证，得到第一验证结果；第三验证模块305，用于基于人脸模型使用方的人脸切片模型，对待验证人脸图片进行验证，得到第二验证结果；判断模块306，用于根据第一验证结果和第二验证结果，判断验证是否成功；结果返回模块307，用于若验证成功，则返回验证成功的结果；警报模块308，用于若验证失败，则发出警报信息。
设备4可包括但不仅限于处理器40、存储器41。本领域技术人员可以理解，图4仅仅是设备4的示例，并不构成对设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器41可以是设备4的内部存储单元，例如设备4的硬盘或内存。存储器41也可以是设备4的外部存储设备，例如设备4上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器41还可以既包括设备4的内部存储单元也包括外部存储设备。存储器41用于存储计算机程序以及设备所需的其他程序和数据。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即，将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，基于区块链的人脸验证方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，收到用户的人脸验证请求时，基于本地人脸切片数据库验证人脸验证请求包含的待验证人脸图片，其中，本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，人脸切片模型由人脸完整模型拥有方基于区块链向所述人脸模型使用方发布；若从本地人脸切片数据库检索到与待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成待选人脸切片模型的签名信息，其中，待选人脸切片模型为与待验证人脸图片匹配成功的人脸切片模型；根据待选人脸切片模型的签名信息，向人脸模型使用方和人脸完整模型拥有方转发人脸验证请求；基于人脸完整模型拥有方存储的人脸完整模型，对待验证人脸图片进行验证，得到第一验证结果；基于人脸模型使用方的人脸切片模型，对待验证人脸图片进行验证，得到第二验证结果；根据第一验证结果和第二验证结果，判断验证是否成功；若验证成功，则返回验证成功的结果；若验证失败，则发出警报信息。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非临时性计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，非临时性计算机可读介质包含的内容可以根据管理管辖区内立法和专利实践的要求进行适当的增减，例如在某些管理管辖区，根据立法和专利实践，非临时性计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于区块链的人脸验证方法，其特征在于，所述方法包括：
当收到用户的人脸验证请求时，基于本地人脸切片数据库验证所述人脸验证请求包含的待验证人脸图片，所述本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，所述人脸切片模型由人脸完整模型拥有方基于区块链向所述人脸模型使用方发布；
若从所述本地人脸切片数据库检索到与所述待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成所述待选人脸切片模型的签名信息，所述待选人脸切片模型为与所述待验证人脸图片匹配成功的人脸切片模型；
根据所述签名信息，向所述人脸模型使用方和所述人脸完整模型拥有方转发所述人脸验证请求；
基于所述人脸完整模型拥有方存储的人脸完整模型，对所述待验证人脸图片进行验证，得到第一验证结果；
基于所述人脸模型使用方的人脸切片模型，对所述待验证人脸图片进行验证，得到第二验证结果；
根据所述第一验证结果和第二验证结果，判断所述验证是否成功；
若验证成功，则返回所述验证成功的结果；
若验证失败，则发出警报信息；
所述基于本地人脸切片数据库验证所述人脸验证请求包含的待验证人脸图片，包括：
将所述待验证人脸图片与所述本地人脸切片数据库存储的人脸切片模型匹配；
对所述匹配时每个人脸切片模型的置信度进行升序排序；
选择所述置信度中排序最高的人脸切片模型作为所述待选人脸切片模型；
所述基于待选人脸切片模型生成所述待选人脸切片模型的签名信息，包括：使用加密算法，对与所述待选人脸切片模型匹配成功的待验证人脸图片的特征向量和为所述待选人脸切片模型分配的随机向量加密，生成所述待选人脸切片模型的签名信息。
2.如权利要求1所述基于区块链的人脸验证方法，其特征在于，所述基于所述人脸完整模型拥有方存储的人脸完整模型，对所述待验证人脸图片进行验证，得到第一验证结果，包括：
基于所述人脸完整模型拥有方存储的人脸完整模型，对所述待验证人脸图片进行验证，得到第一验证得分Sw；
读取所述人脸完整模型拥有方的置信度λw；
求取所述Sw与所述λw的乘积Sw*λw，将所述Sw*λw作为所述第一验证结果。
3.如权利要求1所述基于区块链的人脸验证方法，其特征在于，所述基于所述人脸模型使用方的人脸切片模型，对所述待验证人脸图片进行验证，得到第二验证结果，包括：
基于第i个人脸模型使用方存储的人脸切片模型，对所述待验证人脸图片进行验证，得到所述第i个人脸模型使用方的第一验证得分si；
读取所述第i个人脸模型使用方的置信度λi；
对n个中每一个所述人脸模型使用方的置信度λi与第一验证得分si求取乘积后，将n个所述乘积之和作为所述第二验证结果。
4.如权利要求2或3所述基于区块链的人脸验证方法，其特征在于，所述根据所述第一验证结果和第二验证结果，判断所述验证是否成功，包括：
比较所述第二验证结果score与λw*Sw*δ的大小，所述δ为共识系数；
若score≥λw*Sw*δ，则确定验证成功。
5.如权利要求1至4任意一项所述基于区块链的人脸验证方法，其特征在于，所述基于本地人脸切片数据库验证所述人脸验证请求包含的待验证人脸图片之前，所述方法还包括：所述人脸完整模型拥有方基于区块链向所述人脸模型使用方发布所述人脸切片模型。
6.如权利要求5所述基于区块链的人脸验证方法，其特征在于，所述人脸完整模型拥有方基于区块链向所述人脸模型使用方发布所述人脸切片模型，包括：
基于所述人脸完整模型拥有方的人脸图片库中人脸图片，生成人脸完整模型；
将所述人脸完整模型的签名信息上传至区块链平台，由所述区块链平台生成与所述人脸完整模型的签名信息对应的区块链；
基于所述人脸完整模型拥有方的人脸图片库中人脸图片，随机生成与所述人脸完整模型对应的多个人脸切片模型；
将所述多个人脸切片模型的每个人脸切片模型分别发布给多个人脸模型使用方的每一个人脸模型使用方。
7.如权利要求6所述基于区块链的人脸验证方法，其特征在于，所述基于所述人脸完整模型拥有方的人脸图片库中人脸图片，随机生成与所述人脸完整模型对应的多个人脸切片模型，包括：
将所述人脸图片分割为n个区域，所述n为大于12的整数；
从所述n个区域中随机选择m个分割区域保留所述人脸图片的原样，清除所述n-m个区域的人脸图片的原样，随机生成一个人脸切片模型；
以所述保留原样的区域对应为分量“1”，以所述清除原样的区域对应为分量“0”，为所述生成的一个人脸切片模型分配一个n维随机向量。
8.一种基于区块链的人脸验证系统，其特征在于，所述系统包括：
第一验证模块，用于当收到用户的人脸验证请求时，基于本地人脸切片数据库验证所述人脸验证请求包含的待验证人脸图片，所述本地人脸切片数据库为人脸模型使用方在本地用于存储人脸切片模型的数据库，所述人脸切片模型由人脸完整模型拥有方基于区块链向所述人脸模型使用方发布；
生成模块，用于若从所述本地人脸切片数据库检索到与所述待验证人脸图片匹配的人脸切片模型，则基于待选人脸切片模型生成所述待选人脸切片模型的签名信息，所述待选人脸切片模型为与所述待验证人脸图片匹配成功的人脸切片模型；
转发模块，用于根据所述签名信息，向所述人脸模型使用方和所述人脸完整模型拥有方转发所述人脸验证请求；
第二验证模块，用于基于所述人脸完整模型拥有方存储的人脸完整模型，对所述待验证人脸图片进行验证，得到第一验证结果；
第三验证模块，用于基于所述人脸模型使用方的人脸切片模型，对所述待验证人脸图片进行验证，得到第二验证结果；
判断模块，用于根据所述第一验证结果和第二验证结果，判断所述验证是否成功；
结果返回模块，用于若验证成功，则返回所述验证成功的结果；
警报模块，用于若验证失败，则发出警报信息。
9.一种设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN202111177330.4A 2021-10-09 2021-10-09 基于区块链的人脸验证方法、设备和计算机可读存储介质 Active CN114398606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111177330.4A CN114398606B (zh) 2021-10-09 2021-10-09 基于区块链的人脸验证方法、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111177330.4A CN114398606B (zh) 2021-10-09 2021-10-09 基于区块链的人脸验证方法、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114398606A CN114398606A (zh) 2022-04-26
CN114398606B true CN114398606B (zh) 2024-05-03

Family

ID=81225904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111177330.4A Active CN114398606B (zh) 2021-10-09 2021-10-09 基于区块链的人脸验证方法、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114398606B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992728A (zh) * 2016-10-27 2018-05-04 腾讯科技（深圳）有限公司 人脸验证方法及装置
CN108683646A (zh) * 2018-04-28 2018-10-19 厦门美图之家科技有限公司 一种认证方法及计算设备
CN109815665A (zh) * 2018-12-25 2019-05-28 深圳供电局有限公司 身份认证方法及系统、电子设备、计算机可读存储介质
WO2019119396A1 (zh) * 2017-12-22 2019-06-27 中国科学院深圳先进技术研究院 人脸表情识别方法及装置
CN110795714A (zh) * 2019-09-10 2020-02-14 中国平安财产保险股份有限公司 一种身份验证方法、装置、计算机设备及存储介质
WO2020093634A1 (zh) * 2018-11-06 2020-05-14 平安科技（深圳）有限公司 基于人脸识别的照片添加方法、装置、终端及存储介质
CN111476081A (zh) * 2020-01-19 2020-07-31 天津大学 一种基于区块链和人脸识别的身份认证模型
CN111914231A (zh) * 2020-07-23 2020-11-10 中国联合网络通信集团有限公司 基于区块链的身份验证方法、系统、设备及存储介质
WO2021063037A1 (zh) * 2019-09-30 2021-04-08 华为技术有限公司 人口库分库方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992728A (zh) * 2016-10-27 2018-05-04 腾讯科技（深圳）有限公司 人脸验证方法及装置
WO2019119396A1 (zh) * 2017-12-22 2019-06-27 中国科学院深圳先进技术研究院 人脸表情识别方法及装置
CN108683646A (zh) * 2018-04-28 2018-10-19 厦门美图之家科技有限公司 一种认证方法及计算设备
WO2020093634A1 (zh) * 2018-11-06 2020-05-14 平安科技（深圳）有限公司 基于人脸识别的照片添加方法、装置、终端及存储介质
CN109815665A (zh) * 2018-12-25 2019-05-28 深圳供电局有限公司 身份认证方法及系统、电子设备、计算机可读存储介质
CN110795714A (zh) * 2019-09-10 2020-02-14 中国平安财产保险股份有限公司 一种身份验证方法、装置、计算机设备及存储介质
WO2021063037A1 (zh) * 2019-09-30 2021-04-08 华为技术有限公司 人口库分库方法和装置
CN111476081A (zh) * 2020-01-19 2020-07-31 天津大学 一种基于区块链和人脸识别的身份认证模型
CN111914231A (zh) * 2020-07-23 2020-11-10 中国联合网络通信集团有限公司 基于区块链的身份验证方法、系统、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于全同态加密的人脸特征密文认证系统;杨雄;张晓惠;;微电子学与计算机;20200905(09);全文 *
基于肤色和模板的人脸检测;艾海舟, 梁路宏, 徐光, 张钹;软件学报;20011223(12);全文 *

Also Published As

Publication number Publication date
CN114398606A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
KR102002509B1 (ko) 공증센터를 포함하는 프라이빗 블록체인 시스템 및 이의 공증방법
US20190311148A1 (en) System and method for secure storage of electronic material
WO2018187408A1 (en) System for recording ownership of digital works and providing backup copies
CN111797430B (zh) 数据校验方法、装置、服务器及存储介质
CN112507391A (zh) 基于区块链的电子签章方法、系统、装置及可读存储介质
CN112003888B (zh) 基于区块链的证件照管理方法、装置、设备及可读介质
US20220269754A1 (en) Decentralized system and method for asset registry and authentication
Zou et al. Blockchain-based photo forensics with permissible transformations
KR20200094956A (ko) 블록체인을 활용한 전자문서 서비스 플랫폼
CN112733169A (zh) 一种基于区块链的数据管理方法、系统及终端设备
CN115134069A (zh) 区块链编辑的方法和区块链节点
CN115694949A (zh) 一种基于区块链的隐私数据共享方法及系统
CN112685795B (zh) 数字存证创建方法、数字存证验证方法和数字存证系统
CN114398606B (zh) 基于区块链的人脸验证方法、设备和计算机可读存储介质
CN116777397A (zh) 基于区块链的电子单据管理方法、装置、终端及存储介质
CN116777576A (zh) 一种招投标数据共享方法、装置及存储介质
CN115967497A (zh) 一种电子投票验证方法、装置及电子投票系统
Nandakumar et al. Proving multimedia integrity using sanitizable signatures recorded on blockchain
CN114726609B (zh) 基于区块链的加密数据验证方法及其装置、电子设备
CN111078649A (zh) 基于区块链的云上文件存储方法、装置及电子设备
CN115664857A (zh) 一种网络信息安全的保护方法、系统、设备及存储介质
CN114036334B (zh) 基于区块链的人脸检索方法、设备和计算机可读存储介质
CN114297672A (zh) 一种防伪标签防伪验证方法、系统及存储介质
CN116910788B (zh) 一种业务数据的可搜索加密管理方法、装置及存储介质
Sahib et al. An Online E-voting System based on an Adaptive Ledger with Singular Value Decomposition Technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant