CN111274602A - 一种图像特征信息替换方法、装置、设备及介质 - Google Patents

一种图像特征信息替换方法、装置、设备及介质 Download PDF

Info

Publication number
CN111274602A
CN111274602A CN202010043232.0A CN202010043232A CN111274602A CN 111274602 A CN111274602 A CN 111274602A CN 202010043232 A CN202010043232 A CN 202010043232A CN 111274602 A CN111274602 A CN 111274602A
Authority
CN
China
Prior art keywords
image
information
acquiring
characteristic information
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010043232.0A
Other languages
English (en)
Other versions
CN111274602B (zh
Inventor
欧汉飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010043232.0A priority Critical patent/CN111274602B/zh
Publication of CN111274602A publication Critical patent/CN111274602A/zh
Application granted granted Critical
Publication of CN111274602B publication Critical patent/CN111274602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Bioethics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例所提供的图像特征信息替换方法,可用于计算机视觉技术(Computer Vision,CV),包括:获取第一图像,第一图像中记录有第一对象;获取第一预设图像信息,第一预设图像信息为预设的信息;根据第一预设图像信息和第一图像获取第二图像,其中,第二图像中记录有第一对象,第二图像的第二特征信息与第一图像的第一特征信息不同。本申请还提供一种装置、设备及介质,通过在第一图像中叠加第一预设图像信息,改变了第一图像的图像特征信息,使得第二图像中虽然记录有第一对象,但无法提取第一对象正确的图像特征信息,从而实现了图像文件对于图像识别算法的对抗,保护了用户隐私。

Description

一种图像特征信息替换方法、装置、设备及介质
技术领域
本发明涉及电子技术领域,更具体地说,涉及一种图像特征信息替换方法、装置、设备及介质。
背景技术
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
人脸识别技术在手机解锁、用户登录、支付及数据获取等对安全有需求的场景中应用越来越广泛。这就对用户的图像安全提出了很大的挑战,不法分子可能通过窃取用户的个人照片来提取用户的面部特征信息,从而通过这些面部特征信息破解用户的应用权限,获取用户隐私,给用户带来很大的安全隐患。
针对上述问题,现有技术中主要是在人脸识别过程中加入活体检测步骤来确保当前识别的人脸为用户本人的面部,然而,对于一些不具备活体检测功能的低成本面部识别技术而言,由于图像本身不具备对抗不法分子进行面部特征信息提取的能力,用户隐私安全面临威胁。
发明内容
有鉴于此,为解决上述问题,本发明提供的技术方案如下:
一种图像特征信息替换方法,包括:
获取第一图像,该第一图像中记录有第一对象;
获取第一预设图像信息,该第一预设图像信息为预设的信息;
根据该第一预设图像信息和该第一图像获取第二图像,其中,该第二图像中记录有该第一对象,该第二图像的第二特征信息与该第一图像的第一特征信息不同。
一种图像特征信息替换装置,包括:
第一获取单元,该第一获取单元用于获取第一图像,该第一图像中记录有第一对象;
第二获取单元,该第二获取单元用于获取第一预设图像信息,该第一预设图像信息为预设的信息;
第三获取单元,该第三获取单元用于根据该第二获取单元获取的该第一预设图像信息和该第一获取单元获取的该第一图像获取第二图像,其中,该第二图像中记录有该第一对象,该第二图像的第二特征信息与该第一图像的第一特征信息不同。
可选地,该第一预设图像信息包括图像噪点信息。
可选地,该装置还包括第四获取单元,该第四获取单元用于:
获取第三图像的第三特征信息,该第三图像中记录有第二对象,该第二对象与该第一对象为不同对象;
获取该第三特征信息与该第二特征信息的差值为目标差值;
该第三获取单元,用于:
根据该第一预设图像信息和该目标差值获取第二预设图像信息;
根据该第二预设图像信息和该第一图像获取该第二图像,以使该第二图像包含该第三特征信息。
可选地,该第四获取单元用于:
获取该第二特征信息与该第三特征信息的第一方差值;
通过至少两次迭代缩小该第一方差值;
若第N次迭代时该第二特征信息与该第三特征信息之间的第N方差值小于预设值时,获取该第N方差为该目标差值,其中,该N大于或等于2。
可选地,该第一获取单元还用于:获取该第二图像中记录的该第一对象的图像特征信息作为该第二特征信息;
则该第四获取单元还用于:
获取该第二对象的图像特征信息作为该第三特征信息。
可选地,该装置还包括处理单元,该处理单元用于:
对该第二对象进行缩放、拉伸或旋转中的至少一种操作,以使得该第二对象与该第一对象的大小相同,且该第二对象在该第三图像中的位置与该第一对象在该第二图像中的位置相同。
可选地,该第一对象与该第二对象为不同的人脸图像。
一种计算机设备所述计算机设备包括:交互装置、输入/输出(I/O)接口、处理器和存储器,该存储器中存储有程序指令;该交互装置用于获取用户输入的操作指令;该处理器用于执行存储器中存储的程序指令,执行如上述任意一项所述的方法。
一种计算机可读存储介质,包括指令,当该指令在计算机设备上运行时,使得该计算机设备执行如上述任意一项所述的方法。
本申请实施例所提供的图像特征信息替换方法,包括:获取第一图像,第一图像中记录有第一对象;获取第一预设图像信息,第一预设图像信息为预设的信息;根据第一预设图像信息和第一图像获取第二图像,其中,第二图像中记录有第一对象,第二图像的第二特征信息与第一图像的第一特征信息不同。通过在第一图像中叠加第一预设图像信息,改变了第一图像的图像特征信息,使得第二图像中虽然记录有第一对象,但无法提取第一对象正确的图像特征信息,从而实现了图像文件对于图像识别算法的对抗,保护了用户隐私。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为现有技术中人脸识别技术流程图;
图2为本申请实施例所提供的图像特征信息替换方法的一个实施例的流程图;
图3为本申请实施例所提供的图像特征信息替换方法的一个实施例的示意图;
图4为本申请实施例所提供的图像特征信息替换方法的另一个实施例的流程图;
图5为本申请实施例所提供的图像特征信息替换方法的另一个实施例的示意图;
图6为本申请实施例所提供的图像特征信息替换方法的另一个实施例的流程图;
图7为本申请实施例所提供的图像特征信息替换方法的另一个实施例的流程图;
图8为本申请实施例所提供的图像特征信息替换方法的另一个实施例的示意图;
图9为本申请实施例所提供的图像特征信息替换方法的另一个实施例的流程图;
图10为本申请实施例所提供的计算机设备的示意图;
图11为本申请实施例所提供的图像特征信息替换装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
人脸识别技术在手机解锁、用户登录、支付及数据获取等对安全有需求的场景中应用越来越广泛。如图1所示,当前技术中人脸识别技术主要通过以下步骤来实现。需要说明的是,下述步骤及本申请实施例所提供的其他步骤可以在终端中执行,例如智能手机、平脑电脑等,也可以在服务器中执行,对此本申请实施例并不进行限定。
101、获取待检测的人脸所在区域为人脸区域。
本步骤中,通过训练得到的人脸识别模型,首先获取图像中人脸所在的区域,并通过矩形框框选出图像中的各个人脸区域,获取这些框选区域的坐标信息。
102、对人脸区域进行人脸特征点检测。
本步骤中,在框选出的人脸区域中,通过特征点检测得到人脸中的各个特征点,记录这些特征点的信息,包括坐标信息等。
103、根据人脸特征点检测得到的特征点进行人脸对齐。
本步骤中,对于所记录的特征点,执行人脸对齐,从而找到与这些人脸相似的人脸。人脸对齐的具体步骤包括:预测关键点,计算人眼中心点、角度,对人脸的image进行resize对齐等。
104、根据人脸对齐结果执行人脸识别。
本步骤中,对候选人进行人脸检测、关键点提取、描述子生成后,把候选人描述子保存起来。然后对测试人脸进行人脸检测、关键点提取、描述子生成。最后求测试图像人脸描述子和候选人脸描述子之间的欧氏距离,距离最小者判定为同一个人。
可见,在上述一套人脸特征比对算法中,仅仅通过对包含有人脸的图像的照片进行识别,即可通过人脸特征比对的认证,这就对用户的图像安全提出了很大的挑战,不法分子可能通过窃取用户的个人照片来提取用户的面部特征信息,从而通过这些面部特征信息破解用户的应用权限,获取用户隐私,给用户带来很大的安全隐患。
针对上述问题,当前主要是在人脸识别过程中加入活体检测步骤来确保当前识别的人脸为用户本人的面部,然而,对于一些不具备活体检测功能的低成本面部识别技术而言,由于图像本身不具备对抗不法分子进行面部特征信息提取的能力,用户隐私安全面临威胁。
为了解决上述问题,本申请实施例提供一种图像特征信息替换方法,能够在图像中加入干扰信息,使得图像在图像识别的过程中无法被提取特征,实现了能够对抗人脸识别的算法,从而保护了用户的图像信息安全,防止通过图像窃取用户人脸特征信息的情况发生。
需要说明的是,本申请实施例所提供的方法可应用于各种对图像特征信息替换有需求的场景中,例如对抗人脸识别,对抗物体识别,视频反侦察等领域。为便于理解,本申请实施例的具体实施方式主要以对抗人脸识别为例进行说明,但不构成对本申请使用场景的限定。
以下结合附图,对本申请实施例所提供的图像特征信息替换方法进行详细说明。
请参阅图2,如图2所示,本申请实施例所提供的图像特征信息替换方法的实施例一包括以下步骤。
201、获取第一图像。
本实施例中,第一图像可以是通过用户的智能终端的摄像头拍摄得到的图像,该第一图像中记录有第一对象,如图3中的301所示,第一图像301中记录的第一对象可以为用户甲的头像。
202、获取第一预设图像信息。
本实施例中,第一预设图像信息为预设的信息,例如可以为预设在终端中的图像信息,如图3中的302所示,第一预设图像信息可以为图像噪点信息,可选地,第一预设图像信息还可以为其他能够对图像识别进行干扰的信息,例如网格信息等,对此本申请实施例并不进行限定。
203、根据第一预设图像信息和第一图像获取第二图像。
本实施例中,将第一预设图像信息与第一图像叠加,即可得到第二图像,第二图像中记录有第一对象,第二图像的第二特征信息与第一图像的第一特征信息不同。如图3所示,第一图像301与第一预设图像302叠加之后,实现了噪点信息与用户照片的叠加,得到了第二图像303,该第二图像303中同样记录有用户甲的头像,由于第一预设图像302中的噪点信息为细微的、人眼基本无法识别的噪点,从而对于用户而言,第二图像303与第一图像301所记录的内容并无变化,但是对于图像识别设备而言,由于噪点信息的干扰,第二图像303的图像特征信息发生了变化,无法再对其进行特征识别。
本申请实施例所提供的图像特征信息替换方法,包括:获取第一图像,第一图像中记录有第一对象;获取第一预设图像信息,第一预设图像信息为预设的信息;根据第一预设图像信息和第一图像获取第二图像,其中,第二图像中记录有第一对象,第二图像的第二特征信息与第一图像的第一特征信息不同。通过在第一图像中叠加第一预设图像信息,改变了第一图像的图像特征信息,使得第二图像中虽然记录有第一对象,但无法提取第一对象正确的图像特征信息,从而实现了图像文件对于图像识别算法的对抗,保护了用户隐私。
需要说明的是,在实际工作过程中,若对第二图像进行人脸特征检测,系统会提示无法检测到人脸特征信息,对于不法分子而言,当一张图片检测不到人脸特征信息时,就有可能去寻找其他可以检测到人脸特征信息的照片,直到找到为止。此时,若能够替换掉图像中人脸的特征信息,使得一张记录有第一对象人脸信息的图像,在执行特征检测时,能够被检测出第二对象的人脸特征信息,则这个图像对于不法分子而言会具有更大的迷惑性。同时,在执行人脸特征检测时,所识别到的人脸不是图像本身记录的人脸,而是用户指定的另一个人物的人脸,这种方案也具有一定的娱乐性,可用于一些游戏场景中。为便于理解,以下结合附图对此方案进行详细说明。
请参阅图4,如图4所示,本申请实施例所提供的图像特征信息替换方法的实施例二包括以下步骤。
步骤401至403可参阅上述步骤201至203,此处不再赘述。
404、获取第三图像的第三特征信息。
本实施例中,第三图像中记录有第二对象,第二对象与第一对象为不同对象。即用户甲预设的另一个指定人物,例如第三图像可以是一名公众人物乙的照片,则该第三图像中记录的第二对象为公众人物乙。
405、获取第三特征信息与第二特征信息的差值为目标差值。
本实施例中,第二特征信息是经过对抗处理后的第二图像的信息,第三特征信息为第三图像中关于乙的信息,由于两个图像内容不同,图像的特征信息之间会有偏差,这种偏差会在图像特征信息中体现出来,因此该目标差值就是第二图像和第三图像之间图像特征信息的偏差。
406、根据第一预设图像信息和目标差值获取第二预设图像信息。
本实施例中,第二预设图像信息可以等于第一预设图像信息和目标差值的加和。
407、根据第二预设图像信息和第一图像获取第二图像,以使第二图像包含第三特征信息。
本实施例中,如上所述,第一预设图像信息的作用是对第一图像的第一特征信息进行干扰,以实现对图像检测方法的对抗。由于第二预设图像信息是根据第一预设图像信息和目标差值获得的,因此,第二预设图像信息的特征信息中会体现第三特征信息,从而使得第二图像中包含第三特征信息。
本实施例中,如图5所示,第二图像501为第一对象(用户甲)的头像,即上述图3中303的图像,通过上述步骤406至407得到了第二预设图像信息502,将第二预设图像信息502加入第二图像501中。当通过人脸识别算法503进行识别时,由于第二预设图像信息502包括第二对象(公众人物乙)的人脸特征信息,最终识别的出的人脸图像504为第三图像的人脸,即公众人物乙,需要说明的是,上述第二预设图像信息502为上述步骤404至406中所得到的第二预设图像信息,上述人脸识别算法503可以是现有技术中的任意一种人脸识别算法,可选地,可以是如步骤101至104所述的人脸识别算法,对此,本申请实施例并不进行限定。
本申请实施例所提供的图像特征信息替换方法,能够替换掉图像中人脸的特征信息,使得一张记录有第一对象人脸信息的图像,在执行特征检测时,能够被检测出第二对象的人脸特征信息,则这个图像对于不法分子而言会具有更大的迷惑性。同时,在执行人脸特征检测时,所识别到的人脸不是图像本身记录的人脸,而是用户指定的另一个人物的人脸,这种方案也具有一定的娱乐性,可用于一些游戏场景中。
需要说明的是,上述步骤405中,获取目标差值的方式若是简单地做差,会具有较大的误差,通过计算第三特征信息与第二特征信息的方差,并反复迭代的方式,所得到的目标差值能够更平滑使第二预设图像信息更平滑地影响第二图像的特征信息。为便于理解,以下结合附图对此方案进行详细说明。
请参阅图6,如图6所示,本申请实施例所提供的图像特征信息替换方法的实施例三包括以下步骤。
步骤601至604可参阅上述步骤401至404,此处不再赘述。
605、获取第二特征信息与第三特征信息的第一方差值。
本实施例中,计算第一特征信息与第三特征信息的方差值,从而根据该第一方差值,获取第二图像与第三图像的特征信息之间的差值,其中,第二图像为经过对抗人脸识别处理后的第一图像。
606、通过至少两次迭代缩小第一方差值。
本实施例中,当第一方差值较大时,说明第二图像与第三图像之间的差异较大,通过迭代的方式逐渐缩小第一方差值,能够平滑地使第二图像与第三图像中的特征信息更加接近。
607、若第N次迭代时第二特征信息与第三特征信息之间的第N方差值小于预设值时,获取第N方差为目标差值。
本实施例中,N大于或等于2,即迭代次数至少为两次,经过多次迭代后,当第二特征信息与第三特征信息之间的方差小于预设值e时,说明第N方差所表现的第二特征信息与第三特征信息之间的特征区别收敛到了可接受范围内,即可获取该第N方差值作为目标差值。
后续步骤608至609可参阅上述步骤406至407,此处不再赘述。
本实施例中,通过计算获得第二特征信息与第三特征信息的第一方差值,之后对第二特征信息与第三特征信息的方差进行反复迭代,指导该方差预设的数值收敛,再根据迭代得到的目标差值调节第一预设图像信息得到第二预设图像信息,最后将第二预设信息加入第二图像中,所得到的第二图中即可具备第三图像的图像特征信息。通过计算方差并迭代的方式得到了更平滑的过度。
需要说明的是,在人脸识别领域中,对第二图像和第三图像进行特征提取时,并不需要对整幅图片进行特征提取,只需要选取感兴趣的区域即可,及人脸区域,因此,在获取图像的特征信息之前,需要对图像进行剪裁,得到仅包含人脸的图像后再执行后续的步骤。
为便于理解,以下结合附图对此方案进行详细说明。
请参阅图7,如图7所示,本申请实施例所提供的图像特征信息替换方法的实施例四包括以下步骤。
步骤701至703可参阅上述步骤201至203,此处不再赘述。
704、获取第二图像中记录的第一对象。
本实施例中,通过人脸识别算法,可以识别出第一对象在第二图像中的位置,从而获取到第二图像中记录的第一对象。
705、获取第二图像中第一对象的特征信息作为第二特征信息。
本实施例中,对于第二特征信息,只需要获取第二图像中人脸部分的即可,一方面可以节省算例资源,另一方面可以根据人脸区域进行更准确的特征替换。
706、获取第三图像中记录的第二对象。
本实施例中,通过人脸识别算法,可以识别出第二对象在第三图像中的位置,从而获取到第三图像中记录的第二对象。如图8中所示,对于一个第三图像801,通过人脸特征识别,即可识别出第二对象的面部特征点,得到802所示的图像,在经过提取,即可得到803中所示的,仅包含第二对象(人脸)的图像。
可选地,在获取到第二对象的图像后,可以对第二对象进行缩放、拉伸或旋转中的至少一种操作,以使得第二对象与第一对象的大小相同,且第二对象在第三图像中的位置与第一对象在第二图像中的位置相同。以人脸为例,需要通过上述方式将两个不同的人脸对齐,以方便后续的特征替换操作。
707、获取第二对象的图像特征信息作为第三特征信息。
本实施例中,只需要获取第三图像中人脸部分的即可,一方面可以节省算例资源,另一方面可以根据人脸区域进行更准确的特征替换。如图8所示,对于803的人脸图像,通过特征提取,得到第三特征信息804,该第三特征信息804可以是对803中的人脸图像进行特征点识别后,所得到的特征点信息。
最后,通过人脸识别算法805对第三特征信息804进行识别,所得到的结果作为人脸识别模型的学习素材,以使得机器能够学习到803的人脸图像。需要说明的是,上述人脸识别算法805可以是现有技术中的任意一种人脸识别算法,可选地,可以是如步骤101至104所述的人脸识别算法,对此,本申请实施例并不进行限定。
后续步骤708至712可参阅上述步骤605至609,此处不再赘述。
本实施例中,在图像特征信息替换方法的实现过程中,对各个图像的人脸区域进行剪裁,之后仅针对人脸区域进行后续的特征检测和特征信息替换,从而针对人脸检测的工作场景,实现了更精准的特征替换。
需要说明的是,本申请实施例所提供的方法,在具体实现过程中,主要通过以下几个模块来实现,包括:用户交互模块、人脸识别模块、预处理模块、对抗性内容生成模块、方差判断器及分类器,以下结合附图,说明上述模块在图像特征信息替换方法中的具体使用步骤。
请参阅图9,如图9所示,本申请实施例所提供的图像特征信息替换方法的实施例五包括以下步骤。
901、用户交互模块根据用户命令,触发图像特征信息替换方法。
本实施例中,用户交互模块用于进行用户交互,获取用户的触发指令。
可选地,除了通过用户交互模块根据用户命令触发后续方法之外,还可以通过自动的植入对抗算法来实现,例如,当用户拍摄一张照片的时候,通过自动植入对抗算法。在应用中自动开启后续算法。
902、人脸识别模块获取第一图像中的第一对象。
本实施例中,人脸识别模块通过人脸识别算法,获取到第一图像中记录的第一对象,例如,获取到第一图像中记录的人脸区域,并对第一图像进行剪裁,仅保留人脸部分A1。
903、对抗性内容生成模块对第一图像进行对抗性处理得到第二图像。
本实施例中,本步骤的具体实现方式如上述步骤202至203所述,通过在第一图像中加入第一预设图像信息G(A1),所得到的第二图像中无法通过图像识别算法识别到第一对象,从而使得第二图像A1+G(A1)具有对抗人脸识别算法的能力。
904、分类器在第二图像中获取第二特征信息。
本实施例中,第二图像为A1+G(A1),通过分类器进行特征提取,针对A1+G(A1)获取到第二特征信息B1。
在上述步骤902至904执行的过程中,同步执行下述步骤905至907。
905、人脸识别模块获取第三图像中记录的第二对象。
本实施例中,本步骤的具体实现方式可以如步骤706所述,此处不再赘述。
906、预处理模块对第二图像进行缩放、拉伸或旋转中的至少一种操作,以使得第二对象与第一对象的大小相同,且第二对象在第三图像中的位置与第一对象在第二图像中的位置相同。
本实施例中,本步骤的具体实现方式可详见步骤706的记载,此处不再赘述,步骤906执行完毕后得到第二对象A2。
907、分类器对第二对象进行特征提取,得到第三特征信息。
本实施例中,本步骤可参阅上步骤707,此处不再赘述。通过分类器的特征提取,从第二对象A2中提取出第三特征信息B2。
908、通过方差判断器获取第二特征信息与第三特征信息的目标差值。
本实施例中,对于第二特征信息B1和第三特征信息B2,通过步骤606至607所述的方式,得到了B1和B2的目标差值。
909、当目标差值小于预设值时,对抗性内容生成模块根据第一预设图像信息和目标差值获取第二预设图像信息。
本实施例中,对抗性生成模块基于目标差值生成新的第二预设图像信息,经过上述目标差值的迭代计算,该第二预设图像信息中包含了第三特征信息。
910、将第二预设图像信息加入第二图像中。
本实施例,将第二预设图像信息加入第二图像中从而使得第二图像具备第二对象的特征信息,在对第二图像执行特征检测时,能够检测出第二对象。
通过上述模块,实现了本申请实施例所提供的图像特征信息替换方法,包括:获取第一图像,第一图像中记录有第一对象;获取第一预设图像信息,第一预设图像信息为预设的信息;根据第一预设图像信息和第一图像获取第二图像,其中,第二图像中记录有第一对象,第二图像的第二特征信息与第一图像的第一特征信息不同。通过在第一图像中叠加第一预设图像信息,改变了第一图像的图像特征信息,使得第二图像中虽然记录有第一对象,但无法提取第一对象正确的图像特征信息,从而实现了图像文件对于图像识别算法的对抗,保护了用户隐私。
上述对本申请实施例提供的方案进行了介绍。可以理解的是,计算机设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
从硬件结构上来描述,上述方法可以由一个实体设备实现,也可以由多个实体设备共同实现,还可以是一个实体设备内的一个逻辑功能模块,本申请实施例对此不作具体限定。
例如,上述方法均可以通过图10中的计算机设备来实现。图10为本申请实施例提供的计算机设备的硬件结构示意图。该计算机设备包括至少一个处理器1001,通信线路1002,存储器1003以及至少一个通信接口1004。
处理器1001可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,服务器IC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路1002可包括一通路,在上述组件之间传送信息。
通信接口1004,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器1003可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically able programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路1002与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器1003用于存储执行本申请方案的计算机执行指令,并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的计算机执行指令,从而实现本申请上述实施例提供的方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,处理器1001可以包括一个或多个CPU,例如图10中的CPU1和CPU2。
在具体实现中,作为一种实施例,计算机设备可以包括多个处理器,例如图10中的处理器1001和处理器1007。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,计算机设备还可以包括输出设备1005和输入设备1006。输出设备1005和处理器1001通信,可以以多种方式来显示信息。例如,输出设备1005可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emittingdiode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备1006和处理器1001通信,可以以多种方式接收用户的输入。例如,输入设备1006可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的计算机设备可以是一个通用设备或者是一个专用设备。在具体实现中,计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑(personal digitalassistant,PDA)、移动手机、平板电脑、无线终端设备、嵌入式设备或有图10中类似结构的设备。本申请实施例不限定计算机设备的类型。
本申请实施例可以根据上述方法示例对存储设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
比如,以采用集成的方式划分各个功能单元的情况下,图11示出了一种图像特征信息替换装置的示意图。
如图11所示,本申请实施例提供的图像特征信息替换装置,包括:
第一获取单元1101,该第一获取单元1101用于获取第一图像,该第一图像中记录有第一对象;
第二获取单元1102,该第二获取单元1102用于获取第一预设图像信息,该第一预设图像信息为预设的信息;
第三获取单元1103,该第三获取单元1103用于根据该第二获取单元1102获取的该第一预设图像信息和该第一获取单元1101获取的该第一图像获取第二图像,其中,该第二图像中记录有该第一对象,该第二图像的第二特征信息与该第一图像的第一特征信息不同。
可选地,该第一预设图像信息包括图像噪点信息。
可选地,该装置还包括第四获取单元1104,该第四获取单元1104用于:
获取第三图像的第三特征信息,该第三图像中记录有第二对象,该第二对象与该第一对象为不同对象;
获取该第三特征信息与该第二特征信息的差值为目标差值;
该第三获取单元1103,用于:
根据该第一预设图像信息和该目标差值获取第二预设图像信息;
根据该第二预设图像信息和该第一图像获取该第二图像,以使该第二图像包含该第三特征信息。
可选地,该第四获取单元1104用于:
获取该第二特征信息与该第三特征信息的第一方差值;
通过至少两次迭代缩小该第一方差值;
若第N次迭代时该第二特征信息与该第三特征信息之间的第N方差值小于预设值时,获取该第N方差为该目标差值,其中,该N大于或等于2。
可选地,该第一获取单元1101还用于:获取该第二图像中记录的该第一对象的图像特征信息作为该第二特征信息;
则该第四获取单元1104还用于:
获取该第二对象的图像特征信息作为该第三特征信息。
可选地,该装置还包括处理单元1105,该处理单元1105用于:
对该第二对象进行缩放、拉伸或旋转中的至少一种操作,以使得该第二对象与该第一对象的大小相同,且该第二对象在该第三图像中的位置与该第一对象在该第二图像中的位置相同。
可选地,该第一对象与该第二对象为不同的人脸图像。
进一步的,本发明实施例还提供一种计算机存储介质,包括指令,当该指令在计算机设备上运行时,使得该计算机设备执行上述方法。
有关本申请实施例提供的计算机存储介质中存储的程序的详细描述可参照上述实施例,在此不做赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种图像特征信息替换方法,其特征在于,包括:
获取第一图像,所述第一图像中记录有第一对象;
获取第一预设图像信息,所述第一预设图像信息为预设的信息;
根据所述第一预设图像信息和所述第一图像获取第二图像,其中,所述第二图像中记录有所述第一对象,所述第二图像的第二特征信息与所述第一图像的第一特征信息不同。
2.根据权利要求1所述的方法,其特征在于,所述第一预设图像信息包括图像噪点信息。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第三图像的第三特征信息,所述第三图像中记录有第二对象,所述第二对象与所述第一对象为不同对象;
获取所述第三特征信息与所述第二特征信息的差值为目标差值;
所述根据所述第一预设图像信息和所述第一图像获取第二图像,包括
根据所述第一预设图像信息和所述目标差值获取第二预设图像信息;
根据所述第二预设图像信息和所述第一图像获取所述第二图像,以使所述第二图像包含所述第三特征信息。
4.根据权利要求3所述的方法,其特征在于,所述获取所述第三特征信息与所述第二特征信息的差值为目标差值,包括:
获取所述第二特征信息与所述第三特征信息的第一方差值;
通过至少两次迭代缩小所述第一方差值;
若第N次迭代时所述第二特征信息与所述第三特征信息之间的第N方差值小于预设值时,获取所述第N方差为所述目标差值,其中,所述N大于或等于2。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:获取所述第二图像中记录的所述第一对象的图像特征信息作为所述第二特征信息;
则所述获取第三图像的第三特征信息,包括:
获取所述第二对象的图像特征信息作为所述第三特征信息。
6.根据权利要求5所述的方法,其特征在于,所述获取所述第二对象的图像特征信息作为所述第三特征信息之前,还包括:
对所述第二对象进行缩放、拉伸或旋转中的至少一种操作,以使得所述第二对象与所述第一对象的大小相同,且所述第二对象在所述第三图像中的位置与所述第一对象在所述第二图像中的位置相同。
7.根据权利要求6所述的方法,其特征在于,所述第一对象与所述第二对象为不同的人脸图像。
8.一种图像特征信息替换装置,其特征在于,包括:
第一获取单元,所述第一获取单元用于获取第一图像,所述第一图像中记录有第一对象;
第二获取单元,所述第二获取单元用于获取第一预设图像信息,所述第一预设图像信息为预设的信息;
第三获取单元,所述第三获取单元用于根据所述第二获取单元获取的所述第一预设图像信息和所述第一获取单元获取的所述第一图像获取第二图像,其中,所述第二图像中记录有所述第一对象,所述第二图像的第二特征信息与所述第一图像的第一特征信息不同。
9.根据权利要求8所述的装置,其特征在于,所述第一预设图像信息包括图像噪点信息。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括第四获取单元,所述第四获取单元用于:
获取第三图像的第三特征信息,所述第三图像中记录有第二对象,所述第二对象与所述第一对象为不同对象;
获取所述第三特征信息与所述第二特征信息的差值为目标差值;
所述第三获取单元,用于:
根据所述第一预设图像信息和所述目标差值获取第二预设图像信息;
根据所述第二预设图像信息和所述第一图像获取所述第二图像,以使所述第二图像包含所述第三特征信息。
11.根据权利要求10所述的装置,其特征在于,所述第四获取单元用于:
获取所述第二特征信息与所述第三特征信息的第一方差值;
通过至少两次迭代缩小所述第一方差值;
若第N次迭代时所述第二特征信息与所述第三特征信息之间的第N方差值小于预设值时,获取所述第N方差为所述目标差值,其中,所述N大于或等于2。
12.根据权利要求10所述的装置,其特征在于,所述第一获取单元还用于:获取所述第二图像中记录的所述第一对象的图像特征信息作为所述第二特征信息;
则所述第四获取单元还用于:
获取所述第二对象的图像特征信息作为所述第三特征信息。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括处理单元,所述处理单元用于:
对所述第二对象进行缩放、拉伸或旋转中的至少一种操作,以使得所述第二对象与所述第一对象的大小相同,且所述第二对象在所述第三图像中的位置与所述第一对象在所述第二图像中的位置相同。
14.一种计算机设备,其特征在于,所述计算机设备包括:交互装置、输入/输出(I/O)接口、处理器和存储器,所述存储器中存储有程序指令;
所述交互装置用于获取用户输入的操作指令;
所述处理器用于执行存储器中存储的程序指令,执行如权利要求1-7中任意一项所述的方法。
15.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在计算机设备上运行时,使得所述计算机设备执行如权利要求1-7中任意一项所述的方法。
CN202010043232.0A 2020-01-15 2020-01-15 一种图像特征信息替换方法、装置、设备及介质 Active CN111274602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010043232.0A CN111274602B (zh) 2020-01-15 2020-01-15 一种图像特征信息替换方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010043232.0A CN111274602B (zh) 2020-01-15 2020-01-15 一种图像特征信息替换方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111274602A true CN111274602A (zh) 2020-06-12
CN111274602B CN111274602B (zh) 2022-11-18

Family

ID=71001064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010043232.0A Active CN111274602B (zh) 2020-01-15 2020-01-15 一种图像特征信息替换方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111274602B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021258284A1 (en) * 2020-06-23 2021-12-30 Alibaba Group Holding Limited Edge processing data de-identification
CN115272534A (zh) * 2022-07-29 2022-11-01 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051392A (zh) * 2006-04-04 2007-10-10 罗技欧洲公司 实时的自动面部特征替换
US20070236513A1 (en) * 2006-04-06 2007-10-11 Freemantlemedia Limited Image Blending System, Method and Video Generation System
US20090003708A1 (en) * 2003-06-26 2009-01-01 Fotonation Ireland Limited Modification of post-viewing parameters for digital images using image region or feature information
CN102567727A (zh) * 2010-12-13 2012-07-11 中兴通讯股份有限公司 一种背景目标替换方法和装置
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
US20140321703A1 (en) * 2013-04-24 2014-10-30 Morpho, Inc. Image compositing device and image compositing method
CN105184249A (zh) * 2015-08-28 2015-12-23 百度在线网络技术(北京)有限公司 用于人脸图像处理的方法和装置
CN105678724A (zh) * 2015-12-29 2016-06-15 北京奇艺世纪科技有限公司 图像的背景替换方法及装置
CN107798276A (zh) * 2016-09-05 2018-03-13 中兴通讯股份有限公司 一种人脸图像的年龄变换方法及装置
CN108154514A (zh) * 2017-12-06 2018-06-12 广东欧珀移动通信有限公司 图像处理方法、装置及设备
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN108229276A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 神经网络训练及图像处理方法、装置和电子设备
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN109753921A (zh) * 2018-12-29 2019-05-14 上海交通大学 一种人脸特征向量隐私保护识别方法
CN109785228A (zh) * 2018-12-29 2019-05-21 广州华多网络科技有限公司 图像处理方法、装置、存储介质和服务器

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003708A1 (en) * 2003-06-26 2009-01-01 Fotonation Ireland Limited Modification of post-viewing parameters for digital images using image region or feature information
CN101051392A (zh) * 2006-04-04 2007-10-10 罗技欧洲公司 实时的自动面部特征替换
US20070236513A1 (en) * 2006-04-06 2007-10-11 Freemantlemedia Limited Image Blending System, Method and Video Generation System
CN102567727A (zh) * 2010-12-13 2012-07-11 中兴通讯股份有限公司 一种背景目标替换方法和装置
US20140321703A1 (en) * 2013-04-24 2014-10-30 Morpho, Inc. Image compositing device and image compositing method
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
CN105184249A (zh) * 2015-08-28 2015-12-23 百度在线网络技术(北京)有限公司 用于人脸图像处理的方法和装置
CN105678724A (zh) * 2015-12-29 2016-06-15 北京奇艺世纪科技有限公司 图像的背景替换方法及装置
CN107798276A (zh) * 2016-09-05 2018-03-13 中兴通讯股份有限公司 一种人脸图像的年龄变换方法及装置
CN108229276A (zh) * 2017-03-31 2018-06-29 北京市商汤科技开发有限公司 神经网络训练及图像处理方法、装置和电子设备
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN108154514A (zh) * 2017-12-06 2018-06-12 广东欧珀移动通信有限公司 图像处理方法、装置及设备
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN109753921A (zh) * 2018-12-29 2019-05-14 上海交通大学 一种人脸特征向量隐私保护识别方法
CN109785228A (zh) * 2018-12-29 2019-05-21 广州华多网络科技有限公司 图像处理方法、装置、存储介质和服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李栋等: "基于Android的人眼不可见标记隐私保护机制", 《计算机应用与软件》 *
王振宇: "面向人脸识别的特征提取技术应用研究", 《中国博士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021258284A1 (en) * 2020-06-23 2021-12-30 Alibaba Group Holding Limited Edge processing data de-identification
CN115272534A (zh) * 2022-07-29 2022-11-01 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN115272534B (zh) * 2022-07-29 2024-02-02 中国电信股份有限公司 人脸图像保护方法、保护装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN111274602B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
US10438077B2 (en) Face liveness detection method, terminal, server and storage medium
US10817705B2 (en) Method, apparatus, and system for resource transfer
Xu et al. Virtual u: Defeating face liveness detection by building virtual models from your public photos
KR102173123B1 (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
CN108664364B (zh) 一种终端测试方法及装置
WO2020038140A1 (zh) 人脸识别方法及装置
CN108932456B (zh) 人脸识别方法、装置和系统及存储介质
AU2016201759B2 (en) Methods and Systems for Detecting User Head Motion During an Authentication Transaction
CN106845331B (zh) 一种图像处理方法及终端
US10395094B2 (en) Method and apparatus for detecting glasses in a face image
CN108985199A (zh) 商品取放操作的检测方法、装置及存储介质
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
CN111274602B (zh) 一种图像特征信息替换方法、装置、设备及介质
CN109635021A (zh) 一种基于人体检测的数据信息录入方法、装置及设备
CN110826610A (zh) 一种用于智能检测人员着装是否规范的方法与系统
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
CN110738078A (zh) 一种人脸识别方法及终端设备
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN109816628B (zh) 人脸评价方法及相关产品
CN109147001A (zh) 一种用于呈现虚拟指甲的方法与设备
CN112102404B (zh) 物体检测追踪方法、装置及头戴显示设备
CN110502961A (zh) 一种面部图像检测方法及装置
KR20200127928A (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US20240037995A1 (en) Detecting wrapped attacks on face recognition
CN115840931A (zh) 基于人脸滑屏互动的身份验证的方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024218

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant