CN106682632B - 用于处理人脸图像的方法和装置 - Google Patents
用于处理人脸图像的方法和装置 Download PDFInfo
- Publication number
- CN106682632B CN106682632B CN201611258315.1A CN201611258315A CN106682632B CN 106682632 B CN106682632 B CN 106682632B CN 201611258315 A CN201611258315 A CN 201611258315A CN 106682632 B CN106682632 B CN 106682632B
- Authority
- CN
- China
- Prior art keywords
- feature information
- face image
- facial
- processed
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本申请公开了用于处理人脸图像的方法和装置。该方法的一具体实施方式包括：获取待处理人脸图像；提取待处理人脸图像的至少一项面部特征信息，生成待处理人脸图像的面部特征信息集合；获取用户选中的面部部位标识；获取目标参考人脸图像的面部特征信息集合，并从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息；基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像。该实施方式提高了人脸图像的处理效果。
Description
技术领域
本申请涉及计算机技术领域，具体涉及图像处理技术领域，尤其涉及用于处理人脸图像的方法和装置。
背景技术
随着图像处理技术的快速发展，图像处理软件及设备越来越普及，使得人们可以更加便捷地对人脸图像进行美化处理。目前的图像处理软件及设备主要是通过对人脸图像中的各个面部部位进行定位，然后对人脸图像中的各个面部部位进行定向美化处理。
然而，现有的图像处理软件及设备一般只能对人脸图像中的各个面部部位进行定向处理，例如，眼睛放大、瘦脸、肤色美白、磨皮等，并且定向处理还会干扰人脸图像的背景，造成处理后的人脸图像不自然、不真实，人脸图像处理效果较差。
发明内容
本申请的目的在于提出一种改进的用于处理人脸图像的方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种用于处理人脸图像的方法，该方法包括：获取待处理人脸图像；提取待处理人脸图像的至少一项面部特征信息，生成待处理人脸图像的面部特征信息集合；获取用户选中的面部部位标识；获取目标参考人脸图像的面部特征信息集合，并从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息；基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像。
在一些实施例中，提取待处理人脸图像的至少一项面部特征信息，包括：对待处理人脸图像进行人脸识别，获取待处理人脸图像的至少一项面部特征信息。
在一些实施例中，获取目标参考人脸图像的面部特征信息集合，包括：对于参考人脸图像集合中的每一个参考人脸图像，获取该参考人脸图像的面部特征信息集合，将待处理人脸图像的面部特征信息集合与该参考人脸图像的面部特征信息集合进行相似度计算；从参考人脸图像集合中选取相似度大于预设阈值的参考人脸图像，将选取出的参考人脸图像的面部特征信息集合作为目标参考人脸图像的面部特征信息集合。
在一些实施例中，参考人脸图像集合是通过以下步骤生成的：对于素材图像集合中的每一个素材图像，对该素材图像进行深度学习，提取该素材图像上的各个面部部位的位置信息；基于位置信息，调整该素材图像上的各个面部部位的空间位置；通过插值算法填补所调整的空间位置区域，以生成参考人脸图像；基于所生成的参考人脸图像生成参考人脸图像集合。
在一些实施例中，基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像，包括：将待处理人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的面部特征信息删除，并与目标面部特征信息相融合，生成处理后的人脸图像。
在一些实施例中，基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像，包括：通过增强现实将待处理人脸图像的面部特征信息集合与目标面部特征信息进行融合，生成处理后的人脸图像。
在一些实施例中，该方法还包括：基于黄金比例脸对处理后的人脸图像中与用户选中的面部部位标识相对应的部位进行调整。
在一些实施例中，该方法还包括：对处理后的人脸图像中与用户选中的面部部位标识相对应的部位的结合位置进行柔化处理。
在一些实施例中，待处理人脸图像包括至少两张不同角度和/或不同表情的静态和/或动态人脸图像。
第二方面，本申请提供了一种用于处理人脸图像的装置，该装置包括：第一获取单元，配置用于获取待处理人脸图像；第一提取单元，配置用于提取待处理人脸图像的至少一项面部特征信息，生成待处理人脸图像的面部特征信息集合；第二获取单元，配置用于获取用户选中的面部部位标识；第二提取单元，配置用于获取目标参考人脸图像的面部特征信息集合，并从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息；生成单元，配置用于基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像。
在一些实施例中，第一提取单元进一步配置用于：对待处理人脸图像进行人脸识别，获取待处理人脸图像的至少一项面部特征信息。
在一些实施例中，第二提取单元包括：计算子单元，配置用于对于参考人脸图像集合中的每一个参考人脸图像，获取该参考人脸图像的面部特征信息集合，将待处理人脸图像的面部特征信息集合与该参考人脸图像的面部特征信息集合进行相似度计算；选取子单元，配置用于从参考人脸图像集合中选取相似度大于预设阈值的参考人脸图像，将选取出的参考人脸图像的面部特征信息集合作为目标参考人脸图像的面部特征信息集合。
在一些实施例中，第二提取单元还包括：第一生成子单元，配置用于对于素材图像集合中的每一个素材图像，对该素材图像进行深度学习，提取该素材图像上的各个面部部位的位置信息；基于位置信息，调整该素材图像上的各个面部部位的空间位置；通过插值算法填补所调整的空间位置区域，以生成参考人脸图像；第二生成子单元，配置用于基于所生成的参考人脸图像生成参考人脸图像集合。
在一些实施例中，生成单元进一步配置用于：将待处理人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的面部特征信息删除，并与目标面部特征信息相融合，生成处理后的人脸图像。
在一些实施例中，生成单元进一步配置用于：通过增强现实将待处理人脸图像的面部特征信息集合与目标面部特征信息进行融合，生成处理后的人脸图像。
在一些实施例中，该装置还包括：调整单元，配置用于基于黄金比例脸对处理后的人脸图像中与用户选中的面部部位标识相对应的部位进行调整。
在一些实施例中，该装置还包括：柔化单元，配置用于对处理后的人脸图像中与用户选中的面部部位标识相对应的部位的结合位置进行柔化处理。
在一些实施例中，待处理人脸图像包括至少两张不同角度和/或不同表情的静态和/或动态人脸图像。
本申请提供的用于处理人脸图像的方法和装置，首先获取待处理人脸图像的面部特征信息集合；然后获取目标参考人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的目标面部特征信息；最后基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像。从而使处理后的人脸图像更加自然、真实，提高了人脸图像的处理效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的用于处理人脸图像的方法的一个实施例的流程图；
图3是根据本申请的用于处理人脸图像的方法的一个应用场景的示意图；
图4是根据本申请的用于处理人脸图像的方法的又一个实施例的流程图；
图5是对图4的流程图中的获取目标参考人脸图像的面部特征信息集合的步骤的分解流程图；
图6是根据本申请的参考人脸图像集合的生成方法的一个实施例的流程图；
图7是根据本申请的用于处理人脸图像的装置的一个实施例的结构示意图；
图8是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于处理人脸图像的方法或用于处理人脸图像的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104，服务器105和数据库服务器106。网络104用以在终端设备101、102、103、服务器105和数据库服务器106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端设备101、102、103拍摄人脸图像，并通过网络104将拍摄的人脸图像发送至服务器105中。终端设备101、102、103可以是具有各种功能的终端设备，例如照相功能、摄像功能等。
终端设备101、102、103可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、相机、摄像机和摄像头等等。
数据库服务器106可以是存储目标参考人脸图像或目标参考人脸图像的面部特征信息集合的服务器。
服务器105可以是提供各种服务的服务器，例如服务器105可以对接收到的终端设备101、102、103发送的待处理人脸图像进行处理的后台图像处理服务器。后台图像处理服务器可以从数据库服务器106中获取目标参考人脸图像或目标参考人脸图像的面部特征信息集合，并对接收到的待处理人脸图像和目标参考人脸图像或目标参考人脸图像的面部特征信息集合等数据进行分析等处理，并输出处理结果(例如处理后的人脸图像)。
需要说明的是，本申请实施例所提供的用于处理人脸图像的方法一般由服务器105执行，相应地，用于处理人脸图像的装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络、服务器和数据库服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器和数据库服务器。在服务器105中存储有目标参考人脸图像或目标参考人脸图像的面部特征信息集合的情况下，系统架构100中可以不设置数据库服务器106。
继续参考图2，示出了根据本申请的用于处理人脸图像的方法的一个实施例的流程200。该用于处理人脸图像的方法，包括以下步骤：
步骤201，获取待处理人脸图像。
在本实施例中，用于处理人脸图像的方法运行于其上的电子设备(例如图1所示的服务器105)可以获取待处理人脸图像。其中，待处理人脸图像可以是通过手机、相机、摄像机或摄像头拍摄的静态或动态人脸图像。
在本实施例的一些可选的实现方式中，待处理人脸图像可以包括至少两张不同角度和/或不同表情的静态和/或动态人脸图像。作为示例，待处理人脸图像可以包括用户的正面人脸图像、仰面人脸图像、左45度人脸图像、右45度人脸图像、左90度人脸图像和右90度人脸图像。
步骤202，提取待处理人脸图像的至少一项面部特征信息，生成待处理人脸图像的面部特征信息集合。
在本实施例中，基于步骤201中获取的待处理人脸图像，电子设备(例如图1所示的服务器105)可以首先提取待处理人脸图像的至少一项面部特征信息；然后生成待处理人脸图像的面部特征信息集合。其中，面部特征信息可以包括脸型、五官的形状、位置及比例等等。面部特征信息集合可以由一项或多项面部特征信息构成。
在本实施例中，电子设备可以首先检测待处理人脸图像中的人脸的位置；然后对在待处理人脸图像中所检测到人脸位置所处的区域利用数学模型并结合图像处理技术进行图像分析，以提取待处理人脸图像的至少一项面部特征信息。
步骤203，获取用户选中的面部部位标识。
在本实施例中，电子设备(例如图1所示的服务器105)可以接收用户输入的面部部位标识。其中，面部部位标识可以是面部部位的名称。作为示例，面部部位标识可以是眼睛、鼻子、嘴巴、耳朵或眉毛。
步骤204，获取目标参考人脸图像的面部特征信息集合，并从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息。
在本实施例中，基于步骤203中获取的用户选中的面部部位的标识，电子设备(例如图1所示的服务器105)可以首先获取目标参考人脸图像的面部特征信息集合(其生成方法可以与待处理人脸图像的面部特征信息集合的生成方法相同)；然后从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息。其中，目标参考人脸图像可以是用户根据自己的需求或喜好选取的人脸图像，也可以是电子设备对待处理人脸图像进行分析后推荐的人脸图像。作为示例，用户选中了鼻子之后，又选取了某影视明星的人脸图像作为目标参考人脸图像，电子设备可以首先提取该影视明星的人脸图像的至少一项面部特征信息，生成该影视明星的人脸图像的面部特征信息集合，然后从该影视明星的人脸图像的面部特征信息集合中筛选出与鼻子相关的面部特征信息，作为目标面部特征信息。
需要说明的是，电子设备可以通过有线或无线的方式从与其通信连接的数据库服务器(例如图1所示的数据库服务器106)获取目标参考人脸图像或目标参考人脸图像的面部特征信息集合；还可以从本地获取目标参考人脸图像或目标参考人脸图像的面部特征信息集合。本实施例对目标参考人脸图像或目标参考人脸图像的面部特征信息集合的具体存储位置不进行限定。
步骤205，基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像。
在本实施例中，基于步骤202中生成的待处理人脸图像的面部特征信息集合和步骤204中提取的目标面部特征信息，电子设备(例如图1所示的服务器105)可以生成处理后的人脸图像。
在本实施例中，电子设备可以首先对待处理人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的面部特征信息和目标面部特征信息进行分析，生成新的与用户选中的面部部位标识相对应的面部特征信息，然后与删除了用户选中的面部部位标识相对应的面部特征信息的待处理人脸图像的面部特征信息集合合并；也可以用目标面部特征信息替换待处理人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的面部特征信息，以生成处理后的人脸图像。
在本实施例的一些可选的实现方式中，电子设备可以将待处理人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的面部特征信息删除，并与目标面部特征信息相融合，生成处理后的人脸图像。作为示例，电子设备可以首先将待处理人脸图像的面部特征信息集合中与鼻子相关的面部特征信息删除；然后与从目标参考人脸图像的面部特征信息集合中提取的与鼻子相关的面部特征信息进行合并；最后利用合并后的面部特征信息集合生成处理后的人脸图像。
继续参见图3，图3是根据本实施例的用于处理人脸图像的方法的一个示意性的应用场景300。在图3的应用场景中，首先，摄像机301可以为用户拍摄人脸图像302，其中，人脸图像302可以包括用户的正面人脸图像、仰面人脸图像、左45度人脸图像、右45度人脸图像、左90度人脸图像和右90度人脸图像；之后，图像处理服务器303可以从摄像机301的存储卡中获取人脸图像302，并提取人脸图像302的面部特征信息集合；而后，在用户选中鼻子和眼睛的情况下，图像处理服务器303可以获取某影视明星的人脸图像的面部特征信息集合，并从中筛选出与鼻子和眼睛相关的面部特征信息；然后，图像处理服务器303可以基于人脸图像302的面部特征信息集合与从该影视明星的人脸图像的面部特征信息集合中筛选出与鼻子和眼睛相关的面部特征信息对人脸图像302进行处理，生成处理后的用户的人脸图像；最后，在图像处理服务器303的显示屏上显示处理前后的用户的人脸图像的对比图，其中，对比图左侧为处理前的用户的正面人脸图像，右侧为处理后的用户的正面人脸图像。
本申请的实施例提供的用于处理人脸图像的方法，首先获取待处理人脸图像的面部特征信息集合；然后获取目标参考人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的目标面部特征信息；最后基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像。从而使处理后的人脸图像更加自然、真实，提高了人脸图像的处理效果。
进一步参考图4，其示出了用于处理人脸图像的方法的又一个实施例的流程400。该用于处理人脸图像的方法的流程400，包括以下步骤：
步骤401，获取待处理人脸图像。
在本实施例中，用于处理人脸图像的方法运行于其上的电子设备(例如图1所示的服务器105)可以获取待处理人脸图像。其中，待处理人脸图像可以是通过手机、相机、摄像机或摄像头拍摄的静态或动态人脸图像。
步骤402，对待处理人脸图像进行人脸识别，获取待处理人脸图像的至少一项面部特征信息，生成待处理人脸图像的面部特征信息集合。
在本实施例中，基于步骤401中获取的待处理人脸图像，电子设备(例如图1所示的服务器105)可以首先通过人脸识别技术提取待处理人脸图像的至少一项面部特征信息；然后生成待处理人脸图像的面部特征信息集合。
在本实施例中，人脸识别技术可以包括人脸检测技术、人脸图像预处理技术和人脸图像面部特征提取技术。作为示例，电子设备首先可以利用人脸检测技术准确地检测待处理人脸图像中的人脸的位置和大小；然后利用人脸图像预处理技术对待处理人脸图像中的人脸区域进行灰度校正、噪声过滤；最后利用人脸图像面部特征提取技术提取待处理人脸图像的至少一项面部特征信息。
在本实施例中，人脸图像面部特征提取的方法可以分为两大类：一种是基于知识的表征方法；另一种是基于代数特征或统计学习的表征方法。其中，基于知识的表征方法主要是根据人脸器官的形状描述以及人脸器官之间的距离特性来获得有助于人脸分类的特征数据。特征数据通常可以包括人脸器官间的欧氏距离、曲率和角度等。
步骤403，获取用户选中的面部部位标识。
在本实施例中，电子设备(例如图1所示的服务器105)可以接收用户输入的面部部位标识。其中，面部部位标识可以是面部部位的名称。作为示例，面部部位标识可以是眼睛、鼻子、嘴巴、耳朵或眉毛。
步骤404，获取目标参考人脸图像的面部特征信息集合，并从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息。
在本实施例中，基于步骤403中获取的用户选中的面部部位的标识，电子设备(例如图1所示的服务器105)可以首先获取目标参考人脸图像的面部特征信息集合(其生成方法可以与待处理人脸图像的面部特征信息集合的生成方法相同)；然后从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息。其中，目标参考人脸图像可以是用户根据自己的需求或喜好选取的人脸图像，也可以是电子设备对待处理人脸图像进行分析后推荐的人脸图像。
步骤405，通过增强现实将待处理人脸图像的面部特征信息集合与目标面部特征信息进行融合，生成处理后的人脸图像。
在本实施例中，基于步骤402中生成的待处理人脸图像的面部特征信息集合和步骤404中提取的目标面部特征信息，电子设备(例如图1所示的服务器105)可以采用AR(Augmented Reality，增强现实)技术生成处理后的人脸图像。其中，AR技术是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，AR技术可以将真实世界信息和虚拟世界信息“无缝”集成，把原本在现实世界的一定时间空间范围内很难体验到的实体信息，例如，视觉信息、声音、味道、触觉等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。
步骤406，基于黄金比例脸对处理后的人脸图像中与用户选中的面部部位标识相对应的部位进行调整。
在本实施例中，基于步骤405中生成的处理后的人脸图像，电子设备(例如图1所示的服务器105)可以利用黄金比例脸中界定的双眼、嘴巴、前额及下巴之间的最佳距离，对处理后的人脸图像中与用户选中的面部部位标识相对应的部位进行调整。作为示例，电子设备可以根据黄金比例脸中界定的双眼、嘴巴、前额及下巴之间的最佳距离，对处理后的人脸图像中的鼻子的大小以及位置进行相应地调整，以使处理后的人脸图像变得更加美观。
步骤407，对处理后的人脸图像中与用户选中的面部部位标识相对应的部位的结合位置进行柔化处理。
在本实施例中，基于步骤406中的处理后的人脸图像，电子设备(例如图1所示的服务器105)可以对处理后的人脸图像中与用户选中的面部部位标识相对应的部位的结合位置进行柔化处理。作为示例，电子设备可以对处理后的人脸图像中的鼻子与人脸的结合部位进行平滑处理，以使处理后的人脸图像变得更加自然。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于处理人脸图像的方法的流程400突出了步骤402和405，增加了步骤406和407。由此，本实施例描述的方案不仅将人脸识别技术与AR技术相结合，实现了处理后的人脸图像中各个面部部位的无缝结合，还增加了对处理后的人脸图像的进一步调整和柔化处理的过程，从而使处理后的人脸图像变得更加真实、自然和美观。
进一步参考图5，其示出了对图4的流程图中的获取目标参考人脸图像的面部特征信息集合的步骤的分解流程500。在图5中，将获取目标参考人脸图像的面部特征信息集合的步骤分解成如下的4个子步骤，即：步骤501、步骤502、步骤503和步骤504。
步骤501，对于参考人脸图像集合中的每一个参考人脸图像，获取该参考人脸图像的面部特征信息集合。
在本实施例中，对于参考人脸图像集合中的每一个参考人脸图像，电子设备(例如图1所示的服务器105)可以获取该参考人脸图像的面部特征信息集合(其生成方法可以与待处理人脸图像的面部特征信息集合的生成方法相同)。其中，参考人脸图像集合由一个或多个参考人脸图像构成。
需要说明的是，电子设备可以通过有线或无线的方式从与其通信连接的数据库服务器(例如图1所示的数据库服务器106)获取参考人脸图像或参考人脸图像的面部特征信息集合；还可以从本地获取参考人脸图像或参考人脸图像的面部特征信息集合。本实施例对参考人脸图像或参考人脸图像的面部特征信息集合的具体存储位置不进行限定。
步骤502，将待处理人脸图像的面部特征信息集合与该参考人脸图像的面部特征信息集合进行相似度计算。
在本实施例中，电子设备(例如图1所示的服务器105)可以将待处理人脸图像的面部特征信息集合与该参考人脸图像的面部特征信息集合进行相似度计算。其中，相似度计算方法可以是余弦相似度(cosine similarity)算法或最小哈希(MinHash)算法。最小哈希，是LSH(Locality Sensitive Hash，局部敏感哈希)的一种，可以用来快速估算两个集合的相似度。
步骤503，从参考人脸图像集合中选取相似度大于预设阈值的参考人脸图像。
在本实施例中，基于步骤502中的相似度计算结果，电子设备(例如图1所示的服务器105)可以从参考人脸图像集合中选取相似度大于预设阈值的参考人脸图像。其中，若相似度大于预设阈值的参考人脸图像的数量大于1，则用户可以根据自己的需求或喜好从中指定其中一个参考人脸图像，基于指定的参考人脸图像对待处理人脸图像进行处理，也可以基于选取出的参考人脸图像中的每一个参考人脸图像，依次对待处理人脸图像进行处理，生成多个处理后的人脸图像。
需要说明的是，预设阈值可以是系统默认设置的，也可以是用户根据自己的需求设置的，本实施例对预设阈值的设置方式不进行限定。
步骤504，将选取出的参考人脸图像的面部特征信息集合作为目标参考人脸图像的面部特征信息集合。
在本实施例中，基于步骤503中选取出的相似度大于预设阈值的参考人脸图像，电子设备(例如图1所示的服务器105)可以将选取出的参考人脸图像的面部特征信息集合作为目标参考人脸图像的面部特征信息集合。
进一步参考图6，其示出了参考人脸图像集合的生成方法的一个实施例的流程600。该参考人脸图像集合的生成方法的流程600，包括以下步骤：
步骤601，对于素材图像集合中的每一个素材图像，对该素材图像进行深度学习，提取该素材图像上的各个面部部位的位置信息。
在本实施例中，对于素材图像集合中的每一个素材图像，电子设备(例如图1所示的服务器105)可以对该素材图像进行深度学习，以提取该素材图像上的各个面部部位的位置信息。其中，素材图像可以是从现实生活中搜集到的、未经整理加工的图像。作为示例，素材图像可以是从现实生活中搜集到的人物图像。
在本实施例中，电子设备可以将素材图像集合中的每一个素材图像依次输入到人工神经网络中，经过人工神经网络的学习和分析，输出该素材图像上的各个面部部位的位置信息。其中，素材图像上的各个面部部位的位置信息可以包括各个面部部位在素材图像上所处的位置信息以及各个面部部位的相对位置信息。
需要说明的是，电子设备可以通过有线或无线的方式从与其通信连接的数据库服务器(例如图1所示的数据库服务器106)获取素材图像集合；还可以从本地获取素材图像集合。本实施例对素材图像集合的具体存储位置不进行限定。
步骤602，基于所位置信息，调整该素材图像上的各个面部部位的空间位置。
在本实施例中，基于步骤601中提取的该素材图像上的各个面部部位的位置信息，电子设备(例如图1所示的服务器105)可以调整该素材图像上的各个面部部位的空间位置。作为示例，电子设备可以整体拉伸该素材图像上的各个面部部位的空间位置，使该素材图像上的各个面部部位整体放大。
步骤603，通过插值算法填补所调整的空间位置区域，以生成参考人脸图像。
在本实施例中，基于步骤602中调整后的该素材图像，电子设备(例如图1所示的服务器105)可以采用插值算法填补所调整出的空间位置区域，以生成参考人脸图像。其中，插值算法又称为“重置样本”，是在不生成像素的情况下增加图像像素大小的一种方法，在周围像素色彩的基础上用数学公式计算丢失像素的色彩。简单来说，插值算法是根据中心像素点的颜色参数模拟出周边像素值的方法，采用插值算法来放大图像，使图像看上去会比较平滑、干净，并且不会增加图像信息。常用的差值算法包括最近像素插值(NearestNeighbour Interpolation)算法、双线性插值(Bilinear Interpolation)算法、双三次插值(Bicubic Interpolation)算法以及分形内插(Fractal Interpolation)算法等等。
步骤604，基于所生成的参考人脸图像生成参考人脸图像集合。
在本实施例中，基于步骤603中所生成的参考人脸图像，电子设备(例如图1所示的服务器105)可以生成参考人脸图像集合。其中，参考人脸图像集合可以由一个或多个参考人脸图像构成。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种用于处理人脸图像的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例中的用于处理人脸图像的装置700包括：第一获取单元701、第一提取单元702、第二获取单元703、第二提取单元704和生成单元705。其中，第二方面，本申请提供了一种用于处理人脸图像的装置，该装置包括：第一获取单元701，配置用于获取待处理人脸图像；第一提取单元702，配置用于提取待处理人脸图像的至少一项面部特征信息，生成待处理人脸图像的面部特征信息集合；第二获取单元703，配置用于获取用户选中的面部部位标识；第二提取单元704，配置用于获取目标参考人脸图像的面部特征信息集合，并从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息；生成单元705，配置用于基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像。
在本实施例中，用于处理人脸图像的装置700中：第一获取单元701、第一提取单元702、第二获取单元703、第二提取单元704和生成单元705的具体处理及其带来的有益效果可参看图2对应实施例中的步骤201、步骤202、步骤203、步骤204和步骤205的实现方式的相关描述，在此不再赘述。
在本实施例的一些可选的实现方式中，第一提取单元702进一步配置用于：对待处理人脸图像进行人脸识别，获取待处理人脸图像的至少一项面部特征信息。
在本实施例的一些可选的实现方式中，第二提取单元704包括：计算子单元，配置用于对于参考人脸图像集合中的每一个参考人脸图像，获取该参考人脸图像的面部特征信息集合，将待处理人脸图像的面部特征信息集合与该参考人脸图像的面部特征信息集合进行相似度计算；选取子单元，配置用于从参考人脸图像集合中选取相似度大于预设阈值的参考人脸图像，将选取出的参考人脸图像的面部特征信息集合作为目标参考人脸图像的面部特征信息集合。
在本实施例的一些可选的实现方式中，第二提取单元704还包括：第一生成子单元，配置用于对于素材图像集合中的每一个素材图像，对该素材图像进行深度学习，提取该素材图像上的各个面部部位的位置信息；基于位置信息，调整该素材图像上的各个面部部位的空间位置；通过插值算法填补所调整的空间位置区域，以生成参考人脸图像；第二生成子单元，配置用于基于所生成的参考人脸图像生成参考人脸图像集合。
在本实施例的一些可选的实现方式中，生成单元705进一步配置用于：将待处理人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的面部特征信息删除，并与目标面部特征信息相融合，生成处理后的人脸图像。
在本实施例的一些可选的实现方式中，生成单元705进一步配置用于：通过增强现实将待处理人脸图像的面部特征信息集合与目标面部特征信息进行融合，生成处理后的人脸图像。
在本实施例的一些可选的实现方式中，用于处理人脸图像的装置700还包括：调整单元，配置用于基于黄金比例脸对处理后的人脸图像中与用户选中的面部部位标识相对应的部位进行调整。
在本实施例的一些可选的实现方式中，用于处理人脸图像的装置700还包括：柔化单元，配置用于对处理后的人脸图像中与用户选中的面部部位标识相对应的部位的结合位置进行柔化处理。
在本实施例的一些可选的实现方式中，待处理人脸图像包括至少两张不同角度和/或不同表情的静态和/或动态人脸图像。
下面参考图8，其示出了适于用来实现本申请实施例的服务器的计算机系统800的结构示意图。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元、第一提取单元、第二获取单元、第二提取单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取待处理人脸图像的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当一个或者多个程序被一个设备执行时，使得设备：获取待处理人脸图像；提取待处理人脸图像的至少一项面部特征信息，生成待处理人脸图像的面部特征信息集合；获取用户选中的面部部位标识；获取目标参考人脸图像的面部特征信息集合，并从目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息；基于待处理人脸图像的面部特征信息集合与目标面部特征信息对待处理人脸图像进行处理，生成处理后的人脸图像。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (16)
1.一种用于处理人脸图像的方法，其特征在于，所述方法包括：
获取待处理人脸图像；
提取所述待处理人脸图像的至少一项面部特征信息，生成所述待处理人脸图像的面部特征信息集合；
获取用户选中的面部部位标识；
获取目标参考人脸图像的面部特征信息集合，并从所述目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息；
基于所述待处理人脸图像的面部特征信息集合与所述目标面部特征信息对所述待处理人脸图像进行处理，生成处理后的人脸图像；
其中，所述获取目标参考人脸图像的面部特征信息集合，包括：
对于参考人脸图像集合中的每一个参考人脸图像，获取该参考人脸图像的面部特征信息集合，将所述待处理人脸图像的面部特征信息集合与该参考人脸图像的面部特征信息集合进行相似度计算；
从所述参考人脸图像集合中选取相似度大于预设阈值的参考人脸图像，将选取出的参考人脸图像的面部特征信息集合作为目标参考人脸图像的面部特征信息集合。
2.根据权利要求1所述的方法，其特征在于，所述提取所述待处理人脸图像的至少一项面部特征信息，包括：
对所述待处理人脸图像进行人脸识别，获取所述待处理人脸图像的至少一项面部特征信息。
3.根据权利要求1所述的方法，其特征在于，所述参考人脸图像集合是通过以下步骤生成的：
对于素材图像集合中的每一个素材图像，对该素材图像进行深度学习，提取该素材图像上的各个面部部位的位置信息；基于所述位置信息，调整该素材图像上的各个面部部位的空间位置；通过插值算法填补所调整的空间位置区域，以生成参考人脸图像；
基于所生成的参考人脸图像生成参考人脸图像集合。
4.根据权利要求1所述的方法，其特征在于，所述基于所述待处理人脸图像的面部特征信息集合与所述目标面部特征信息对所述待处理人脸图像进行处理，生成处理后的人脸图像，包括：
将所述待处理人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的面部特征信息删除，并与所述目标面部特征信息相融合，生成处理后的人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述基于所述待处理人脸图像的面部特征信息集合与所述目标面部特征信息对所述待处理人脸图像进行处理，生成处理后的人脸图像，包括：
通过增强现实将所述待处理人脸图像的面部特征信息集合与所述目标面部特征信息进行融合，生成处理后的人脸图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于黄金比例脸对所述处理后的人脸图像中与用户选中的面部部位标识相对应的部位进行调整。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述处理后的人脸图像中与用户选中的面部部位标识相对应的部位的结合位置进行柔化处理。
8.根据权利要求1-7之一所述的方法，其特征在于，所述待处理人脸图像包括至少两张不同角度和/或不同表情的静态和/或动态人脸图像。
9.一种用于处理人脸图像的装置，其特征在于，所述装置包括：
第一获取单元，配置用于获取待处理人脸图像；
第一提取单元，配置用于提取所述待处理人脸图像的至少一项面部特征信息，生成所述待处理人脸图像的面部特征信息集合；
第二获取单元，配置用于获取用户选中的面部部位标识；
第二提取单元，配置用于获取目标参考人脸图像的面部特征信息集合，并从所述目标参考人脸图像的面部特征信息集合中提取与用户选中的面部部位标识相对应的面部特征信息，作为目标面部特征信息；
生成单元，配置用于基于所述待处理人脸图像的面部特征信息集合与所述目标面部特征信息对所述待处理人脸图像进行处理，生成处理后的人脸图像；
其中，所述第二提取单元包括：
计算子单元，配置用于对于参考人脸图像集合中的每一个参考人脸图像，获取该参考人脸图像的面部特征信息集合，将所述待处理人脸图像的面部特征信息集合与该参考人脸图像的面部特征信息集合进行相似度计算；
选取子单元，配置用于从所述参考人脸图像集合中选取相似度大于预设阈值的参考人脸图像，将选取出的参考人脸图像的面部特征信息集合作为目标参考人脸图像的面部特征信息集合。
10.根据权利要求9所述的装置，其特征在于，所述第一提取单元进一步配置用于：
对所述待处理人脸图像进行人脸识别，获取所述待处理人脸图像的至少一项面部特征信息。
11.根据权利要求9所述的装置，其特征在于，所述第二提取单元还包括：
第一生成子单元，配置用于对于素材图像集合中的每一个素材图像，对该素材图像进行深度学习，提取该素材图像上的各个面部部位的位置信息；基于所述位置信息，调整该素材图像上的各个面部部位的空间位置；通过插值算法填补所调整的空间位置区域，以生成参考人脸图像；
第二生成子单元，配置用于基于所生成的参考人脸图像生成参考人脸图像集合。
12.根据权利要求9所述的装置，其特征在于，所述生成单元进一步配置用于：
将所述待处理人脸图像的面部特征信息集合中与用户选中的面部部位标识相对应的面部特征信息删除，并与所述目标面部特征信息相融合，生成处理后的人脸图像。
13.根据权利要求9所述的装置，其特征在于，所述生成单元进一步配置用于：
通过增强现实将所述待处理人脸图像的面部特征信息集合与所述目标面部特征信息进行融合，生成处理后的人脸图像。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括：
调整单元，配置用于基于黄金比例脸对所述处理后的人脸图像中与用户选中的面部部位标识相对应的部位进行调整。
15.根据权利要求9所述的装置，其特征在于，所述装置还包括：
柔化单元，配置用于对所述处理后的人脸图像中与用户选中的面部部位标识相对应的部位的结合位置进行柔化处理。
16.根据权利要求9-15之一所述的装置，其特征在于，所述待处理人脸图像包括至少两张不同角度和/或不同表情的静态和/或动态人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611258315.1A CN106682632B (zh) | 2016-12-30 | 2016-12-30 | 用于处理人脸图像的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611258315.1A CN106682632B (zh) | 2016-12-30 | 2016-12-30 | 用于处理人脸图像的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106682632A CN106682632A (zh) | 2017-05-17 |
| CN106682632B true CN106682632B (zh) | 2020-07-28 |
Family
ID=58873529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611258315.1A Active CN106682632B (zh) | 2016-12-30 | 2016-12-30 | 用于处理人脸图像的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106682632B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107197161B (zh) * | 2017-06-30 | 2020-07-14 | 北京金山安全软件有限公司 | 一种图像数据处理方法、装置、电子设备以及存储介质 |
| CN109325988B (zh) * | 2017-07-31 | 2022-11-11 | 腾讯科技（深圳）有限公司 | 一种面部表情合成方法、装置及电子设备 |
| CN107730566A (zh) * | 2017-10-27 | 2018-02-23 | 朱秋华 | 一种生成表情的方法、装置、移动终端及存储介质 |
| CN110033291A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东金融科技控股有限公司 | 信息对象推送方法、装置和系统 |
| CN108446653B (zh) * | 2018-03-27 | 2022-08-16 | 百度在线网络技术（北京）有限公司 | 用于处理面部图像的方法和装置 |
| CN109198998A (zh) * | 2018-08-27 | 2019-01-15 | 微云（武汉）科技有限公司 | 一种智能电子镜及其显示方法 |
| CN109214352A (zh) * | 2018-09-26 | 2019-01-15 | 珠海横琴现联盛科技发展有限公司 | 基于2d摄像头三维成像技术的动态人脸检索识别方法 |
| CN111259696B (zh) * | 2018-11-30 | 2023-08-29 | 百度在线网络技术（北京）有限公司 | 用于显示图像的方法及装置 |
| CN109858364A (zh) * | 2018-12-28 | 2019-06-07 | 维沃移动通信有限公司 | 一种人脸图像的处理方法和移动终端 |
| CN109993807B (zh) * | 2019-02-21 | 2023-05-30 | 百度在线网络技术（北京）有限公司 | 头像生成方法、装置及存储介质 |
| CN110084193B (zh) * | 2019-04-26 | 2023-04-18 | 深圳市腾讯计算机系统有限公司 | 用于面部图像生成的数据处理方法、设备和介质 |
| CN112528078B (zh) * | 2020-12-16 | 2023-04-25 | 杭州海康威视数字技术股份有限公司 | 一种图像归档方法、装置及设备 |
| CN113613070B (zh) * | 2021-10-08 | 2022-01-18 | 北京奇艺世纪科技有限公司 | 一种人脸视频处理方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824269A (zh) * | 2012-11-16 | 2014-05-28 | 广州三星通信技术研究有限公司 | 人脸特效处理方法以及系统 |
| CN104915634A (zh) * | 2015-02-16 | 2015-09-16 | 百度在线网络技术（北京）有限公司 | 基于人脸识别技术的图像生成方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657974A (zh) * | 2013-11-25 | 2015-05-27 | 腾讯科技（上海）有限公司 | 一种图像处理方法及装置 |
| CN105184249B (zh) * | 2015-08-28 | 2017-07-18 | 百度在线网络技术（北京）有限公司 | 用于人脸图像处理的方法和装置 |
| CN105741229B (zh) * | 2016-02-01 | 2019-01-08 | 成都通甲优博科技有限责任公司 | 实现人脸图像快速融合的方法 |
-
2016
- 2016-12-30 CN CN201611258315.1A patent/CN106682632B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824269A (zh) * | 2012-11-16 | 2014-05-28 | 广州三星通信技术研究有限公司 | 人脸特效处理方法以及系统 |
| CN104915634A (zh) * | 2015-02-16 | 2015-09-16 | 百度在线网络技术（北京）有限公司 | 基于人脸识别技术的图像生成方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106682632A (zh) | 2017-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN110503703B (zh) | 用于生成图像的方法和装置 | |
| US11410457B2 (en) | Face reenactment | |
| CN111754415B (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
| CN104637035B (zh) | 生成卡通人脸图片的方法、装置及系统 | |
| KR101141643B1 (ko) | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| KR20190053602A (ko) | 얼굴 인증 방법 및 장치 | |
| CN112330527A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN111723707A (zh) | 一种基于视觉显著性的注视点估计方法及装置 | |
| CN113453027B (zh) | 直播视频、虚拟上妆的图像处理方法、装置及电子设备 | |
| CN114782864B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| CN110516598B (zh) | 用于生成图像的方法和装置 | |
| CN115147261A (zh) | 图像处理方法、装置、存储介质、设备及产品 | |
| CN110570383A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112669244A (zh) | 人脸图像增强方法、装置、计算机设备以及可读存储介质 | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| CN113538315B (zh) | 图像处理方法及装置 | |
| CN117218398A (zh) | 一种数据处理的方法以及相关装置 | |
| KR20230086999A (ko) | 가상 인물 콘텐츠 생성 프로그램을 기록한 기록매체 | |
| KR20230086998A (ko) | 얼굴 세그먼트 영역에 노이즈를 부가하여 가상 인물 콘텐츠를 생성하는 컴퓨터 프로그램 | |
| KR20230086996A (ko) | 노이즈 추가 프로세스를 수행하는 컴퓨터 프로그램 | |
| CN113920023A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| WO2024055379A1 (zh) | 基于角色化身模型的视频处理方法、系统及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |