CN112700362A - 一种图像处理方法、装置、电子设备和存储介质 - Google Patents

一种图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112700362A
CN112700362A CN202011579956.3A CN202011579956A CN112700362A CN 112700362 A CN112700362 A CN 112700362A CN 202011579956 A CN202011579956 A CN 202011579956A CN 112700362 A CN112700362 A CN 112700362A
Authority
CN
China
Prior art keywords
feature map
processed
point
result
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011579956.3A
Other languages
English (en)
Other versions
CN112700362B (zh
Inventor
陈昕
黄瀚贤
王华彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011579956.3A priority Critical patent/CN112700362B/zh
Publication of CN112700362A publication Critical patent/CN112700362A/zh
Application granted granted Critical
Publication of CN112700362B publication Critical patent/CN112700362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备和存储介质，涉及图像处理技术领域，以至少解决相关技术中深度可分离卷积模型处理图像的结果的精度较低的问题。该方法包括：获取待处理图像的待处理特征图；其中，待处理特征图的通道数为N，N为正整数；将待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图；其中，中间特征图的通道数为M，M＜N，M为正整数；对中间特征图进行逐点卷积处理，得到结果特征图；其中，结果特征图的通道数为M′，M′≥M，M′为正整数；根据结果特征图，确定待处理图像的处理结果。

Description

一种图像处理方法、装置、电子设备和存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
在计算机视觉领域，卷积神经网络(Convolutional Neural Networks，CNN)模型得到广泛使用。随着技术的发展，CNN模型的复杂度越来越高，对设备的计算能力的要求也越来越高。
对于计算能力不是特别高的设备而言，为了适应设备的计算能力，目前通常采用深度可分离卷积(depthwise separable convolution，DSC)模型实现对图像的处理。但是，深度可分离卷积模型处理图像的结果的精度较低。
发明内容
本公开提供一种图像处理方法、装置、电子设备和存储介质，以至少解决相关技术中深度可分离卷积模型处理图像的结果的精度较低的问题。
本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取待处理图像的待处理特征图。其中，待处理特征图的通道数为N，N为正整数。将待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图。其中，中间特征图的通道数为M，M＜N，M为正整数。对中间特征图进行逐点卷积处理，得到结果特征图。其中，结果特征图的通道数为M′，M′≥M，M′为正整数。根据结果特征图，确定待处理图像的处理结果。
在一种可实施的方式中，上述将待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图，具体可通过下述方式实现：将待处理特征图输入至预先训练好的神经网络模型，利用M个标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图。其中，标准卷积核的通道数为N，宽度为k，高度为k，k为正整数，第m个标准卷积核的第n个通道对应待处理特征图的第n个通道，第m个标准卷积核对应中间特征图的第m个通道，n∈[1，N]，m∈[1，M]。
在一种可实施的方式中，k等于3。
在一种可实施的方式中，M为2的整倍数。
在一种可实施的方式中，本公开实施例提供的图像处理方法，还包括：从X个寄存器中选择Y个寄存器，并将中间特征图存储到Y个寄存器中；其中，X和Y均为整数，X大于或等于Y，Y个寄存器中的每个寄存器存储中间特征图的一个通道。在此情况下，上述对中间特征图进行逐点卷积处理，得到结果特征图，具体可通过下述方式实现：从Y个寄存器中读取中间特征图，并对中间特征图进行逐点卷积处理，得到结果特征图。
在一种可实施的方式中，上述对中间特征图进行逐点卷积处理，得到结果特征图，具体可通过下述方式实现：利用M′个点卷积核对中间特征图进行逐点卷积处理，确定结果特征图。其中，点卷积核的通道数为M，宽度为1、高度为1，第m′个点卷积核的第m个通道对应中间特征图的第m个通道，第m′个点卷积核对应结果特征图的第m′个通道，m′∈[1，M′]，m∈[1，M]。
根据本公开实施例的第二方面，提供一种图像处理装置，包括获取单元和处理单元。
获取单元，被配置为获取待处理图像的待处理特征图；其中，待处理特征图的通道数为N，N为正整数。处理单元，被配置为将获取单元获取的待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图。其中，中间特征图的通道数为M，M＜N，M为正整数。处理单元，还被配置为对中间特征图进行逐点卷积处理，得到结果特征图。其中，结果特征图的通道数为M′，M′≥M，M′为正整数。处理单元，还被配置为根据结果特征图，确定待处理图像的处理结果。
在一种可实施的方式中，处理单元，具体被配置为将获取单元获取的待处理特征图输入至预先训练好的神经网络模型，利用M个标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图。其中，标准卷积核的通道数为N，宽度为k，高度为k，k为正整数，第m个标准卷积核的第n个通道对应待处理特征图的第n个通道，第m个标准卷积核对应中间特征图的第m个通道，n∈[1，N]，m∈[1，M]。
在一种可实施的方式中，k等于3。
在一种可实施的方式中，M为2的整倍数。
在一种可实施的方式中，处理单元，还被配置为从X个寄存器中选择Y个寄存器，并将中间特征图存储到Y个寄存器中；其中，X和Y均为整数，X大于或等于Y，Y个寄存器中的每个寄存器存储中间特征图的一个通道。处理单元，具体被配置为从Y个寄存器中读取中间特征图，并对中间特征图进行逐点卷积处理，得到结果特征图。
在一种可实施的方式中，处理单元，具体被配置为利用M′个点卷积核对中间特征图进行逐点卷积处理，确定结果特征图。其中，点卷积核的通道数为M，宽度为1、高度为1，第m′个点卷积核的第m个通道对应中间特征图的第m个通道，第m′个点卷积核对应结果特征图的第m′个通道，m′∈[1，M′]，m∈[1，M]。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现第一方面提供的图像处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由第三方面提供的电子设备的处理器执行时，使得电子设备能够执行第一方面提供的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面的设计方式所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
由上述可知，相比于利用深度可分离卷积模型对待处理图像进行深度卷积处理，本公开实施例利用标准卷积核对该待处理特征图进行标准卷积处理，可以提取到该待处理图像的更多特征，即本公开实施例得到的中间特征图中具备了该待处理图像的更多特征。因此在对中间特征图进行逐点卷积处理时，可以提高确定出待处理图像中预设对象的准确度。同时，由于标准卷积处理的运算量大于深度卷积处理的运算量，但是本公开实施例提供的图像处理方法通过降低中间特征图的通道数，即中间特征图的通道数小于待处理图像的通道数，从而可以降低标准卷积处理的计算量，因此可以实现在保证运算时间的情况下提高了处理结果的准确度，解决相关技术中深度可分离卷积模型处理图像的结果的准确度较低的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种实施环境的架构图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图之一。
图3是根据一示例性实施例示出的一种图像处理方法的流程图之二。
图4是根据一示例性实施例示出的一种图像处理方法的标准卷积的计算过程。
图5是根据一示例性实施例示出的一种图像处理方法的深度可分离卷积的计算过程。
图6是根据一示例性实施例示出的一种图像处理方法的神经网络模型的计算过程。
图7是根据一示例性实施例示出的一种图像处理方法的流程图之三。
图8是根据一示例性实施例示出的一种图像处理方法的流程图之四。
图9是根据一示例性实施例示出的一种电子设备的结构示意图之一。
图10是根据一示例性实施例示出的一种电子设备的结构示意图之二。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种实施环境的架构图，如图1所示，下述图像处理方法可以应用于该实施环境中。该实施环境包括电子设备01。
在一种可实施的方式中，电子设备01可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。电子设备01可以包括处理器、存储器以及网络接口等。
在一种可实施的方式中，电子设备01用于向用户提供语音和/或数据连通性服务。所述终端可以有不同的名称，例如用户设备(user equipment，UE)、接入终端、终端单元、终端站、移动站、移动台、远方站、远程终端、移动设备、无线通信设备、车辆用户设备、终端代理或终端装置等。可选的，所述终端可以为各种具有通信功能的手持设备、车载设备、可穿戴设备、计算机，本发明实施例对此不作任何限定。例如，手持设备可以是智能手机。车载设备可以是车载导航系统。可穿戴设备可以是智能手环。计算机可以是个人数字助理(personal digital assistant，PDA)电脑、平板型电脑以及膝上型电脑(laptopcomputer)。
在本公开中所用的一些术语具有其在业界普通和习惯的意义。另外，对一些术语在本说明书中出现时会加以解释。但理解在本文中特别使用的几个术语会有所帮助。
深度学习(deep learning)技术目前已经广泛应用在计算机视觉中，其分类、检测效果已经远远超过传统的方法，深度学习本质上是数据驱动的技术，一般来说，数据量越大，其泛化效果越好。
卷积是指图像中不同数据窗口的数据和卷积核(一个滤波矩阵)作内积的操作叫做卷积。其计算过程又称为滤波(filter)，本质是提取图像不同频段的特征。
卷积核也称为滤波器filter，带着一组固定权重的神经元，通常是n*m二维的矩阵，n和m也是神经元的感受野。n*m矩阵中存的是对感受野中数据处理的系数。一个卷积核的滤波可以用来提取特定的特征(例如可以提取物体轮廓、颜色深浅等)。
卷积层是由多个滤波器叠加形成的。
通道(chennel)可以理解为视角、角度。例如同样是提取边界特征的卷积核，可以按照R、G、B三种元素的角度提取边界，RGB在边界这个角度上有不同的表达；再比如需要检查一个人的机器学习能力，可以从特征工程、模型选择、参数调优等多个方面检测。
感受野(Receptive Field)是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。
寄存器的功能是存储二进制代码，它是由具有存储功能的触发器组合起来构成的。
内存是外存与CPU进行沟通的桥梁，计算机中所有程序的运行都在内存中进行。只要计算机开始运行，操作系统就会把需要运算的数据从内存调到CPU中进行运算。当运算完成，CPU将结果传送出来。
“VGG”代表了牛津大学的Oxford Visual Geometry Group。
cifar100数据集由10个类的60000个宽度为32，高度为32的彩色图像组成，每个类有6000个彩色图像。有50000个训练彩色图像和10000个测试彩色图像。数据集分为五个训练批次和一个测试批次，每个批次有10000个彩色图像。测试批次包含来自每个类别的恰好1000个随机选择的彩色图像。训练批次以随机顺序包含剩余彩色图像，但一些训练批次可能包含来自一个类别的彩色图像比另一个更多。总体来说，五个训练集之和包含来自每个类的5000张彩色图像。
深度可分离卷积由深度卷积(depthwise convolution)以及逐点卷积(pointwiseconvolution，即1*1的卷积核)组成。深度可分离卷积能够在按照深度方向进行卷积的同时，保持不同通道之间互相分离。在进行深度可分离卷积时，首先在每个通道上独立地进行深度卷积，从而增加了网络的宽度，使得提取的特征更加丰富，然后对深度卷积的结果进行逐点卷积，从而将深度卷积的多个通道映射到新的通道。但是，深度卷积牺牲了过多的模型预测准确度来换取在终端设备上的快速运行，这样会导致整个网络的准确度大幅下降，同时也增加了训练的难度。
为解决上述问题，本公开实施例提供的图像处理方法，通过将待处理图像的待处理特征图至预先训练好的神经网络模型，利用标准卷积核对待处理特征图进行标准卷积处理，从而可以提取到该待处理图像的更多特征。由于中间特征图中具备了该待处理图像的更多特征，因此在对中间特征图进行逐点卷积处理时，可以提高确定出待处理图像中预设对象的准确度。同时，由于标准卷积处理的运算量大于深度卷积处理的运算量，但是本公开实施例提供的图像处理方法通过降低中间特征图的通道数，即中间特征图的通道数小于待处理图像的通道数，从而可以降低标准卷积处理的计算量，因此可以实现在保证运算时间的情况下提高了处理结果的准确度，解决相关技术中深度可分离卷积模型处理图像的结果的准确度较低的问题，具体的实现过程如下：
本公开的实施例提供的图像处理方法的执行主体可以为上述的电子设备01。其中，电子设备01可以是终端，或者是服务器，也可以为服务器中能够实现该图像处理方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本公开的实施例不作限定。下面以执行主体为终端为例，对本公开的实施例提供的图像处理方法进行示例性的说明。
本领域技术人员应能理解上述电子设备01仅为举例，其他现有的或今后可能出现的电子设备如可适用于本公开，也应包含在本公开保护范围以内，并在此以引用方式包含于此。
本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。
下面结合各个附图对本公开实施例提供的图像处理方法进行示例性的说明。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，显示方法用于电子设备中，该方法包括以下S11-S14。
S11、电子设备获取待处理图像的待处理特征图。其中，待处理特征图的通道数为N，N为正整数。
在一种可实现的方式中，当待处理图像为灰度图片时，待处理特征图的通道数为1。当待处理图像为彩色图片时，待处理特征图的通道数为3。
S12、电子设备将待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图。其中，中间特征图的通道数为M，M＜N，M为正整数。
在一种可实现的方式中，将待处理特征图输入至预先训练好的神经网络模型后，将待处理特征图的第n个通道输入至第m个标准卷积核的第n个通道，进行标准卷积运算，从而得到一个计算结果；然后，将第m个标准卷积核的每个通道的计算结果相加得到中间特征图的第m个通道。最后，根据每个标准卷积核确定的中间特征图的每个通道，确定中间特征图。
S13、电子设备对中间特征图进行逐点卷积处理，得到结果特征图。其中，结果特征图的通道数为M′，M′≥M，M′为正整数。
在一种可实现的方式中，电子设备对中间特征图进行逐点卷积处理时，是将中间特征图的第m个通道输入至第m′个点卷积核的第m个通道，进行逐点卷积运算，从而得到一个计算结果；然后，将第m′个点卷积核的每个通道的计算结果相加得到结果特征图的第m个通道；最后，根据每个点卷积核确定的结果特征图的每个通道，确定结果特征图。
S14、电子设备根据结果特征图，确定待处理图像的处理结果。
在一种可实现的方式中，该处理结果可以是确定出待处理图像中预设对象。其中，当待处理图像为人物图像时，预设对象可以为该人物图像中的头发、眼镜、鼻子中的任一项。当待处理图像为风景图像时，预设对象可以为该风景图像中的树、花、房子中的任一项。
在一种可实现的方式中，该处理结果可以是确定待处理图像对应的分类。示例性的，当分类为人像和风景时，若确定结果特征图中包含人时，则确定待处理图像的对应的分类为人像。
上述对处理结果的描述仅为示例性描述，具体可根据实际需求确定待处理图像的处理结果，本公开对此不作具体限制。
由上述可知，相比于利用深度可分离卷积模型对待处理图像进行深度卷积处理，本公开实施例利用标准卷积核对该待处理特征图进行标准卷积处理，可以提取到该待处理图像的更多特征，即本公开实施例得到的中间特征图中具备了该待处理图像的更多特征。因此在对中间特征图进行逐点卷积处理时，可以提高确定出待处理图像中预设对象的准确度。同时，由于标准卷积处理的运算量大于深度卷积处理的运算量，但是本公开实施例提供的图像处理方法通过降低中间特征图的通道数，即中间特征图的通道数小于待处理图像的通道数，从而可以降低标准卷积处理的计算量，因此可以实现在保证运算时间的情况下提高了处理结果的准确度，解决相关技术中深度可分离卷积模型处理图像的结果的准确度较低的问题。
在一种可实施的方式中，结合图2，如图3所示，上述S23具体可通过下述S120实现。
S120、电子设备将待处理特征图输入至预先训练好的神经网络模型，利用M个标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图。其中，标准卷积核的通道数为N，宽度为k，高度为k，k为正整数，第m个标准卷积核的第n个通道对应待处理特征图的第n个通道，第m个标准卷积核对应中间特征图的第m个通道，n∈[1，N]，m∈[1，M]。
在一种可实现的方式中，如图4所示，输入的待处理特征图的通道数为N，中间特征图的通道数为M，当待处理特征图的宽度为W、高度为H，标准卷积核kernel的通道数为N，宽度为k，高度为k，则标准卷积处理使用的参数总量为HWNk2M。
由上述可知，通过本公开实施例提供的图像处理方法，处理待处理图像的待处理特征图时，利用M个标准卷积核对待处理特征图进行标准卷积处理，从而可以提取到该待处理特征图的更多特征。由于中间特征图中具备了该待处理特征图的更多特征，因此在对中间特征图进行逐点卷积处理时，可以提高处理结果的准确度。同时，本公开实施例提供的图像处理方法通过降低输出通道数，即中间特征图的通道数小于待处理特征图的通道数，从而可以降低标准卷积处理的计算量，因此可以实现在保证运算时间的情况下提高确定出待处理图像中预设对象的准确度，解决相关技术中深度可分离卷积模型处理图像的结果的准确度较低的问题。
在一种可实施的方式中，k等于3。
具体的，宽度和高度均为3的卷积核是最小的能够捕获像素八邻域信息的卷积核。同时，可以利用包含至少一个宽度和高度均为3的卷积核的卷积层来替代大尺寸的卷积层(如：包含2个宽度和高度均为3的卷积核的卷积层的感受野是5x5；包含3个宽度和高度均为3的卷积核的卷积层的感受野是7x7)使得感受野大小不变。此外，包含多个宽度和高度均为3的卷积核的卷积层比一个大尺寸卷积核的卷基层有更多的非线性(更多层的非线性函数)，使得判决函数更加具有判决性。另外，多个3x3的卷积层比一个大尺寸卷积核更少的参数。
上述对k＝3的描述仅为示例性描述，具体可根据实际需求设置k，本公开对此不作具体限制。
由上述可知，相比大尺寸的卷积核，宽度和高度均为3的卷积核可以在降低参数量的同时还可以保证处理结果的准确度。因此，本公开实施例通过使用宽度和高度均为3的卷积核，可以实现在保证运算时间的情况下提高了处理结果的准确度，解决相关技术中深度可分离卷积模型处理图像的结果的准确度较低的问题。
在一种可实施的方式中，M为2的整倍数。
在一种可实现的方式中，利用具备本公开实施例提供的图像处理方法的模块来替换标准卷积核模型中的若干模块，从而确定本公开实施例提供的图像处理方法最终确定的处理结果的精确度。
示例性的，以中间特征图的通道数M为8为例，标准VGG16网络在cifar100数据集上做分类任务的推理精度为71.9％。经过替换VGG16的第一个标准卷积模块为具备本公开实施例提供的图像处理方法的模块(中间特征图的通道数M为8)，可以得到精度72.25％。经过替换VGG16的前两个标准卷积模块为具备本公开实施例提供的图像处理方法的模块(M为8)，可以得到精度73.03％。
另外，标准残差网络(Residual Network,ResNet)18在cifar100数据集上做分类任务的推理精度为76.1％。经过替换ResNet18的第一个标准卷积模块为具备本公开实施例提供的图像处理方法的模块(中间特征图的通道数M为8)，可以得到精度76.75％。经过替换ResNet18的前两个标准卷积模块为具备本公开实施例提供的图像处理方法的模块(中间特征图的通道数M为8)，可以得到精度76.18％。
相比较之下，由深度可分离卷积构成的mobilenetV1在cifar100数据集上做分类任务的推理精度为67.06。因此，本公开实施例提供的图像处理方法最终确定的处理结果的精确度更高。
上述对中间特征图的通道数M为8仅为示例性描述，具体可根据实际需求设置中间特征图的通道数，本公开对此不作具体限制。
由上述可知，本公开实施例提供的图像处理方法，相较深度可分离卷积，本公开实施例提供的图像处理方法能更好地保证处理结果的精确度。同时，本公开实施例提供的图像处理方法通过降低中间特征图的通道数，即中间特征图的通道数小于待处理图像的通道数，从而可以降低标准卷积处理的计算量，因此可以实现在保证运算时间的情况下提高了处理结果的准确度，解决相关技术中深度可分离卷积模型处理图像的结果的准确度较低的问题。
在一种可实施的方式中，结合图2，如图3所示，本公开实施例提供的图像处理方法还包括S15，在此情况下，上述S13具体可通过下述S130实现。
S15、电子设备从X个寄存器中选择Y个寄存器，并将中间特征图存储到Y个寄存器中。其中，X和Y均为整数，X大于或等于Y，Y个寄存器中的每个寄存器存储中间特征图的一个通道。
在一种可实现的方式中，在计算机领域中寄存器是中央处理器(CentralProcessing Unit，CPU)内部的元件，拥有非常高的读写速度，所以在寄存器之间的数据传送非常快。因此，本公开实施例提供的图像处理方法通过将中间特征图存储至至少一个寄存器中，从而可以缩减中间特征图的读取时间。
示例性的，当寄存器的总数X大于中间特征图的通道数(由于每个寄存器存储中间特征图的一个通道，此处的中间特征图的通道数也等于Y)时，如寄存器的总数为8，而中间特征图的通道数为4时，从该8个寄存器中选择4个寄存器存储该中间特征图。当寄存器的总数等于中间特征图的通道数时，如寄存器的总数为8，而中间特征图的通道数为8时，则利用8个寄存器存储该中间特征图。
S130、电子设备从Y个寄存器中读取中间特征图，并对中间特征图进行逐点卷积处理，得到结果特征图。
如图5所示，输入的待处理特征图的通道数为N，中间特征图的通道数为M，当待处理特征图的宽度为W、高度为H，深度卷积核的通道数为N，宽度为k，高度为k，结果特征图的通道数为M′，宽度为W、高度为H，则深度可分离卷积中深度卷积处理使用的参数总量为HWk2M，深度可分离卷积中逐点卷积处理使用的参数总量为HWNM，这样整个深度可分离卷积的处理过程使用的参数总量为HWk2 M+HWNM。
如此相比于标准卷积处理来说，深度可分离卷积的参数总量为标准卷积处理的参数总量的
Figure BDA0002864155050000101
通常情况下，由于N远大于k2，因此深度可分离卷积的参数总量约为标准卷积处理的参数总量的
Figure BDA0002864155050000102
如图6所示，输入的待处理特征图的通道数为N，中间特征图的通道数为M，当待处理特征图的宽度为W、高度为H，标准卷积核kernel的通道数为N，宽度为k，高度为k，结果特征图的通道数为M′，宽度为W、高度为H，则本公开实施例提供的图像处理方法中，标准卷积处理使用的参数总量为HWNk2M；逐点卷积处理使用的参数总量为HWMM′。相比于深度可分离卷积的处理过程，本公开实施例提供的图像处理方法中使用的参数总量为深度可分离卷积处理的参数总量的
Figure BDA0002864155050000103
如k＝3，N＝16，M′＝16时，本公开实施例提供的图像处理方法中使用的参数总量为深度可分离卷积处理的参数数量的6.52倍，从而可以提高处理结果的精确度。
由上述可知，本公开实施例提供的图像处理方法采用标准卷积和逐点卷积对待处理特征图进行处理，而深度可分离卷积是采用深度卷积和逐点卷积对待处理特征图进行处理，当二者的逐点卷积的计算时间相同时，由于标准卷积的计算时间大于深度卷积的计算时间。但是，深度可分离卷积通常是将中间特征图存放在内存中，而本公开实施例提供的图像处理方法通过将中间特征图存储至寄存器中，由于内存离CPU比较远，而寄存器是CPU内部的元件，因此从寄存器中读取中间特征图的读取时间远小于从内存中读取中间特征图的读取时间。综上可知，本公开实施例提供的图像处理方法的运算时间(等于计算时间和读取时间之和)可以等于深度可分离卷积的运算时间，即本公开实施例提供的图像处理方法在保证运算时间的情况下提高了处理结果的准确度，解决相关技术中深度可分离卷积模型处理图像的结果的准确度较低的问题。
在一种可实施的方式中，结合图3，如图7所示，上述S130具体可通过下述S1300实现。
S1300、电子设备从Y个寄存器中读取中间特征图，并利用M′个点卷积核对中间特征图进行逐点卷积处理，确定结果特征图。其中，点卷积核的通道数为M，宽度为1、高度为1，第m′个点卷积核的第m个通道对应中间特征图的第m个通道，第m′个点卷积核对应结果特征图的第m′个通道，m′∈[1，M′]，m∈[1，M]。
由上述可知，本公开实施例提供的图像处理方法，通过将将中间特征图存储至寄存器中，并从寄存器中读取中间特征图，从而可以利用寄存器读取速度快的优势，缩短运算的时间，保证用户的体验。
在一种可实施的方式中，结合图2，如图8所示，上述S13具体可通过下述S131实现。
S131、电子设备利用M′个点卷积核对中间特征图进行逐点卷积处理，确定结果特征图。其中，点卷积核的通道数为M，宽度为1、高度为1，第m′个点卷积核的第m个通道对应中间特征图的第m个通道，第m′个点卷积核对中间特征图进行逐点卷积处理，确定结果特征图的第m′个通道，m′∈[1，M′]，m∈[1，M]。
由上述可知，相比于利用深度可分离卷积模型对待处理图像进行深度卷积处理，本公开实施例利用标准卷积核对该待处理特征图进行标准卷积处理，可以提取到该待处理图像的更多特征，即本公开实施例得到的中间特征图中具备了该待处理图像的更多特征。因此在对中间特征图进行逐点卷积处理时，可以提高确定出待处理图像中预设对象的准确度。
图9是根据一示例性实施例示出的一种电子设备01。参照图8，包括获取单元101和处理单元102。
获取单元101，被配置为获取待处理图像的待处理特征图。其中，待处理特征图的通道数为N，N为正整数。处理单元102，被配置为将获取单元101获取的待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图。其中，中间特征图的通道数为M，M＜N，M为正整数。处理单元102，还被配置为对中间特征图进行逐点卷积处理，得到结果特征图。其中，结果特征图的通道数为M′，M′≥M，M′为正整数。处理单元102，还被配置为根据结果特征图，确定待处理图像的处理结果。
在一种可实施的方式中，处理单元102，具体被配置为将获取单元101获取的待处理特征图输入至预先训练好的神经网络模型，利用M个标准卷积核对待处理特征图进行标准卷积处理，得到中间特征图；其中，标准卷积核的通道数为N，宽度为k，高度为k，k为正整数，第m个标准卷积核的第n个通道对应待处理特征图的第n个通道，第m个标准卷积核对应中间特征图的第m个通道，n∈[1，N]，m∈[1，M]。
在一种可实施的方式中，k等于3。
在一种可实施的方式中，M为2的整倍数。
在一种可实施的方式中，处理单元102，还被配置为从X个寄存器中选择Y个寄存器，并将中间特征图存储到Y个寄存器中。其中，X和Y均为整数，X大于或等于Y，Y个寄存器中的每个寄存器存储所述中间特征图的一个通道。处理单元102，具体被配置为从Y个寄存器中读取中间特征图，并对中间特征图进行逐点卷积处理，得到结果特征图。
在一种可实施的方式中，处理单元102，具体被配置为利用M′个点卷积核对中间特征图进行逐点卷积处理，确定结果特征图；其中，点卷积核的通道数为M，宽度为1、高度为1，第m′个点卷积核的第m个通道对应中间特征图的第m个通道，第m′个点卷积核对应结果特征图的第m′个通道，m′∈[1，M′]，m∈[1，M]。
当然，本公开的实施例提供的电子设备01包括但不限于上述模块，例如电子设备01还可以包括存储单元103。存储单元103可以用于存储该写电子设备01的程序代码，还可以用于存储写电子设备01在运行过程中生成的数据，如写请求中的数据等。
另外，上述实施例提供的电子设备01在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备01的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
图10为本发明实施例提供的一种电子设备01的结构示意图，如图10所示，该电子设备01可以包括：至少一个处理器51、存储器52、通信接口53和通信总线54。
下面结合图10对电子设备01的各个构成部件进行具体的介绍：
其中，处理器51是电子设备01的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器51是一个中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个DSP，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。
在具体的实现中，作为一种实施例，处理器51可以包括一个或多个CPU，例如图10中所示的CPU0和CPU1。且，作为一种实施例，电子设备01可以包括多个处理器，例如图10中所示的处理器51和处理器55。这些处理器中的每一个可以是一个单核处理器(Single-CPU)，也可以是一个多核处理器(Multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储器52可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器52可以是独立存在，通过通信总线54与处理器51相连接。存储器52也可以和处理器51集成在一起。
在具体的实现中，存储器52，用于存储本发明中的数据和执行本发明的软件程序。处理器51可以通过运行或执行存储在存储器52内的软件程序，以及调用存储在存储器52内的数据，执行空调器的各种功能。
通信接口53，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如无线接入网(Radio Access Network，RAN)，无线局域网(Wireless Local Area Networks，WLAN)、终端、云端等。通信接口53可以包括接收单元实现接收功能。
通信总线54，可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
作为一个示例，结合图9，电子设备01中的获取单元101实现的功能与图10中的通信接口53的功能相同，处理单元102实现的功能与图10中的处理器51的功能相同，存储单元103实现的功能与图10中的存储器52的功能相同。
本发明另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述方法实施例所示的方法。
在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。
在示例性实施例中，本公开实施例还提供了一种包括指令的存储介质，例如包括指令的存储器102，上述指令可由电子设备01的处理器101执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，本公开实施例还提供了一种包括一条或多条指令的计算机程序产品，该一条或多条指令可以由电子设备01的处理器101执行以完成上述方法。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本公开的实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何在本公开揭露的技术范围内的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像的待处理特征图；其中，所述待处理特征图的通道数为N，N为正整数；
将所述待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对所述待处理特征图进行标准卷积处理，得到中间特征图；其中，所述中间特征图的通道数为M，M＜N，M为正整数；
对所述中间特征图进行逐点卷积处理，得到结果特征图；其中，所述结果特征图的通道数为M′，M′≥M，M′为正整数；
根据所述结果特征图，确定所述待处理图像的处理结果。
2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对所述待处理特征图进行标准卷积处理，得到中间特征图，包括：
将所述待处理特征图输入至预先训练好的神经网络模型，利用M个标准卷积核对所述待处理特征图进行标准卷积处理，得到中间特征图；其中，所述标准卷积核的通道数为N，宽度为k，高度为k，k为正整数，第m个所述标准卷积核的第n个通道对应所述待处理特征图的第n个通道，第m个所述标准卷积核对应所述中间特征图的第m个通道，n∈[1，N]，m∈[1，M]。
3.根据权利要求2所述的图像处理方法，其特征在于，所述k等于3。
4.根据权利要求2所述的图像处理方法，其特征在于，所述M为2的整倍数。
5.根据权利要求1所述的图像处理方法，其特征在于，所述对所述中间特征图进行逐点卷积处理，得到结果特征图前，所述图像处理方法，还包括：
从X个寄存器中选择Y个寄存器，并将所述中间特征图存储到所述Y个寄存器中；其中，所述X和所述Y均为整数，所述X大于或等于所述Y，所述Y个寄存器中的每个寄存器存储所述中间特征图的一个通道；
所述对所述中间特征图进行逐点卷积处理，得到结果特征图，包括：
从所述Y个寄存器中读取所述中间特征图，并对所述中间特征图进行逐点卷积处理，得到结果特征图。
6.根据权利要求1或5所述的图像处理方法，其特征在于，所述对所述中间特征图进行逐点卷积处理，得到结果特征图，包括：
利用M′个点卷积核对所述中间特征图进行逐点卷积处理，确定结果特征图；其中，所述点卷积核的通道数为M，宽度为1、高度为1，第m′个所述点卷积核的第m个通道对应所述中间特征图的第m个通道，第m′个所述点卷积核对应所述结果特征图的第m′个通道，m′∈[1，M′]，m∈[1，M]。
7.一种图像处理装置，其特征在于，包括获取单元和处理单元；
所述获取单元，被配置为获取待处理图像的待处理特征图；其中，所述待处理特征图的通道数为N，N为正整数；
所述处理单元，被配置为将所述获取单元获取的所述待处理特征图输入至预先训练好的神经网络模型，利用标准卷积核对所述待处理特征图进行标准卷积处理，得到中间特征图；其中，所述中间特征图的通道数为M，M＜N，M为正整数；
所述处理单元，还被配置为对所述中间特征图进行逐点卷积处理，得到结果特征图；其中，所述结果特征图的通道数为M′，M′≥M，M′为正整数；
所述处理单元，还被配置为根据所述结果特征图，确定所述待处理图像的处理结果。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。
9.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。
10.一种计算机程序产品，其特征在于，包括，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至6中任一项所述的图像处理方法。
CN202011579956.3A 2020-12-28 2020-12-28 一种图像处理方法、装置、电子设备和存储介质 Active CN112700362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011579956.3A CN112700362B (zh) 2020-12-28 2020-12-28 一种图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011579956.3A CN112700362B (zh) 2020-12-28 2020-12-28 一种图像处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112700362A true CN112700362A (zh) 2021-04-23
CN112700362B CN112700362B (zh) 2023-07-25

Family

ID=75512818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011579956.3A Active CN112700362B (zh) 2020-12-28 2020-12-28 一种图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112700362B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137406A1 (en) * 2016-11-15 2018-05-17 Google Inc. Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs
CN109840584A (zh) * 2017-11-24 2019-06-04 腾讯科技（深圳）有限公司 卷积神经网络模型、数据处理方法及装置
CN110084181A (zh) * 2019-04-24 2019-08-02 哈尔滨工业大学 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法
CN110647893A (zh) * 2019-09-20 2020-01-03 北京地平线机器人技术研发有限公司 目标对象识别方法、装置、存储介质和设备
CN111797882A (zh) * 2019-07-30 2020-10-20 华为技术有限公司 图像分类方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137406A1 (en) * 2016-11-15 2018-05-17 Google Inc. Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs
CN109840584A (zh) * 2017-11-24 2019-06-04 腾讯科技（深圳）有限公司 卷积神经网络模型、数据处理方法及装置
CN110084181A (zh) * 2019-04-24 2019-08-02 哈尔滨工业大学 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法
CN111797882A (zh) * 2019-07-30 2020-10-20 华为技术有限公司 图像分类方法及装置
CN110647893A (zh) * 2019-09-20 2020-01-03 北京地平线机器人技术研发有限公司 目标对象识别方法、装置、存储介质和设备

Also Published As

Publication number Publication date
CN112700362B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111104962B (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
CN108205655B (zh) 一种关键点预测方法、装置、电子设备及存储介质
Sharma Information Measure Computation and its Impact in MI COCO Dataset
CN110288082B (zh) 卷积神经网络模型训练方法、装置和计算机可读存储介质
AU2017421316B2 (en) Systems and methods for verifying authenticity of ID photo
CN107818301A (zh) 更新生物特征模板的方法、装置和电子设备
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110211195B (zh) 生成图像集合的方法、装置、电子设备和计算机可读存储介质
JP2023501820A (ja) フェイスパーシング方法および関連デバイス
CN112419326A (zh) 图像分割数据处理方法、装置、设备及存储介质
CN112801888A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111598899A (zh) 图像处理方法、装置及计算机可读存储介质
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
CN113298931B (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
CN113628221A (zh) 图像处理方法、图像分割模型训练方法及相关装置
CN112749576A (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN115689947B (zh) 一种图像锐化的方法、系统、电子装置和存储介质
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN116229130A (zh) 模糊图像的类型识别方法、装置、计算机设备和存储介质
CN112700362A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN113591832B (zh) 图像处理模型的训练方法、文档图像处理方法及设备
CN115690845A (zh) 一种运动轨迹预测方法及装置
CN111429388A (zh) 一种图像处理方法、装置和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant