CN110689542A - 一种基于多级卷积神经网络的人像分割处理方法及装置 - Google Patents

一种基于多级卷积神经网络的人像分割处理方法及装置 Download PDF

Info

Publication number
CN110689542A
CN110689542A CN201810724647.7A CN201810724647A CN110689542A CN 110689542 A CN110689542 A CN 110689542A CN 201810724647 A CN201810724647 A CN 201810724647A CN 110689542 A CN110689542 A CN 110689542A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
segmentation
image
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810724647.7A
Other languages
English (en)
Inventor
胡事民
张松海
李瑞龙
董欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810724647.7A priority Critical patent/CN110689542A/zh
Publication of CN110689542A publication Critical patent/CN110689542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于多级卷积神经网络的人像分割处理方法及装置，所述方法包括：获取包含有待处理人像的图像；输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。所述装置执行上述方法。本发明实施例提供的基于多级卷积神经网络的人像分割处理方法及装置，通过将第一卷积神经网络和第二卷积神经网络串联成多级卷积神经网络，并输出待处理人像分割结果的优化处理结果，能够实时、准确和高效地进行人像分割。

Description

一种基于多级卷积神经网络的人像分割处理方法及装置
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种基于多级卷积神经网络的人像分割处理方法及装置。
背景技术
人像分割技术一向是学术界以及工业界中研究的热点话题，在在线教育、娱乐平台的视频直播、远程视频会议等方面具有广泛的应用。
现有技术中人像分割主要采用绿屏技术，但是，该技术需要专业的绿屏设备及环境，不利于普通用户的广泛使用。现有技术中人像分割还采用背景减除法，但是，该技术严重依赖人像和背景的色差，在颜色相近的区域会产生不稳定的分割结果。并且具有对环境的高度依赖性。现有技术还采用单一的神经网络进行人像分割，但是，过于简单的单一的神经网络具有较低的精度，会在分割时产生人像关键部位的缺失、不完整；而过于复杂的单一的神经网络虽然具有较高的精度，但是复杂性也较高，难以满足人像分割实时、高效的需求。
因此，如何避免上述缺陷，能够实时、准确和高效地进行人像分割，成为亟须解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于多级卷积神经网络的人像分割处理方法及装置。
第一方面，本发明实施例提供一种基于多级卷积神经网络的人像分割处理方法，所述方法包括：
获取包含有待处理人像的图像；
输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；
输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
第二方面，本发明实施例提供一种基于多级卷积神经网络的人像分割处理装置，所述装置包括：
获取单元，用于获取包含有待处理人像的图像；
分割单元，用于输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；
处理单元，用于输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
获取包含有待处理人像的图像；
输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；
输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
获取包含有待处理人像的图像；
输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；
输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
本发明实施例提供的基于多级卷积神经网络的人像分割处理方法及装置，通过将第一卷积神经网络和第二卷积神经网络串联成多级卷积神经网络，并输出待处理人像分割结果的优化处理结果，能够实时、准确和高效地进行人像分割。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于多级卷积神经网络的人像分割处理方法流程示意图；
图2(a)和(b)分别为本发明实施例人像分割前后的人像分割截图；
图3为本发明实施例基于多级卷积神经网络的人像分割处理装置结构示意图；
图4为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例基于多级卷积神经网络的人像分割处理方法流程示意图，如图1所示，本发明实施例提供的一种基于多级卷积神经网络的人像分割处理方法，包括以下步骤：
S101：获取包含有待处理人像的图像。
具体的，装置获取包含有待处理人像的图像。图像可以是从在线直播网站收集到的人像照片，对图像的获取方式不作具体限定。
S102：输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果。
具体的，装置输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果。该第一卷积神经网络需要预先进行训练，可以从不同的在线直播网站收集多张多角度多姿态的人像照片，逐像素标注人像照片中的人像区域，作为训练数据集，基于该训练数据集训练该第一卷积神经网络，该第一卷积神经网络可以理解为浅层卷积神经网络，可以包含5个卷积层、2个下采样层和2个全连接层。通过该训练数据集使得第一卷积神经网络学习其中的人像区域规律。
S103：输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
具体的，装置输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。该第二卷积神经网络也需要预先进行训练，具体可以参照上述第一卷积神经网络。该第二卷积神经网络可以理解为深层卷积神经网络，可以包含12个卷积层、2个下采样层和2个上采样层。通过对比第一卷积神经网络和第二卷积神经网络，第一卷积神经网络的卷积层数量少于第二卷积神经网络的卷积层数量、且第一卷积神经网络还包括2个全连接层，而第二卷积神经网络还包括2个上采样层。通过该训练数据集使得第二卷积神经网络进一步学习其中的人像区域规律。通过将第一卷积神经网络和第二卷积神经网络串联，以形成多级卷积神经网络(这里为两个卷积神经网络串联，为二级)，通过测试、优化第一卷积神经网络和第二卷积神经网络的参数(参数具体可以包括卷积层的数量、上采样层数量和全连接层数量等)不仅保证了人像分割的准确性，还保证了人像分割的实时高效性。优化处理结果可以包括逐像素的人像分割结果，不作具体限定。图2(a)和(b)分别为本发明实施例人像分割前后的人像分割截图，如图2(b)所示，图2(b)中的线条包围的区域即为逐像素的人像分割结果。
本发明实施例提供的基于多级卷积神经网络的人像分割处理方法，通过将第一卷积神经网络和第二卷积神经网络串联成多级卷积神经网络，并输出待处理人像分割结果的优化处理结果，能够实时、准确和高效地进行人像分割。
在上述实施例的基础上，所述第一卷积神经网络和所述第二卷积神经网络都包括有卷积层；相应的，所述第一卷积神经网络包括的卷积层数量少于所述第二卷积神经网络包括的卷积层数量。
具体的，装置中的所述第一卷积神经网络包括的卷积层数量少于所述第二卷积神经网络包括的卷积层数量。可参照上述实施例，不再赘述。
本发明实施例提供的基于多级卷积神经网络的人像分割处理方法，通过使第一卷积神经网络包括的卷积层数量少于第二卷积神经网络包括的卷积层数量，进一步能够实时、准确和高效地进行人像分割。
在上述实施例的基础上，所述第一卷积神经网络包括的卷积层数量和所述第二卷积神经网络包括的卷积层数量分别为5个和12个。
具体的，装置中的所述第一卷积神经网络包括的卷积层数量和所述第二卷积神经网络包括的卷积层数量分别为5个和12个。可参照上述实施例，不再赘述。
本发明实施例提供的基于多级卷积神经网络的人像分割处理方法，通过使第一卷积神经网络包括的卷积层数量和第二卷积神经网络包括的卷积层数量分别为5个和12个，能够进一步优化人像分割。
在上述实施例的基础上，所述第一卷积神经网络还包括2个全连接层。
具体的，装置中的所述第一卷积神经网络还包括2个全连接层。可参照上述实施例，不再赘述。
本发明实施例提供的基于多级卷积神经网络的人像分割处理方法，通过使第一卷积神经网络还包括2个全连接层，能够有效地对待处理人像进行初步人像分割。
在上述实施例的基础上，所述第二卷积神经网络还包括2个上采样层。
具体的，装置中的所述第二卷积神经网络还包括2个上采样层。可参照上述实施例，不再赘述。
本发明实施例提供的基于多级卷积神经网络的人像分割处理方法，通过使第二卷积神经网络还包括2个上采样层，能够有效地对分割结果进行优化。
在上述实施例的基础上，所述第一卷积神经网络和所述第二卷积神经网络都包括有下采样层，且下采样层的数量都为2个。
具体的，装置中的所述第一卷积神经网络和所述第二卷积神经网络都包括有下采样层，且下采样层的数量都为2个。可参照上述实施例，不再赘述。
本发明实施例提供的基于多级卷积神经网络的人像分割处理方法，通过使第一卷积神经网络和第二卷积神经网络都包括有下采样层，且下采样层的数量都为2个，进一步能够实时、准确和高效地进行人像分割。
在上述实施例的基础上，所述优化处理结果包括逐像素的人像分割结果。
具体的，装置中的所述优化处理结果包括逐像素的人像分割结果。可参照上述实施例，不再赘述。
本发明实施例提供的基于多级卷积神经网络的人像分割处理方法，能够获取到逐像素的人像分割结果。
图3为本发明实施例基于多级卷积神经网络的人像分割处理装置结构示意图，如图3所示，本发明实施例提供了一种基于多级卷积神经网络的人像分割处理装置，包括获取单元301、分割单元302和处理单元303，其中：
获取单元301用于获取包含有待处理人像的图像；分割单元302用于输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；处理单元303用于输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
具体的，获取单元301用于获取包含有待处理人像的图像；分割单元302用于输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；处理单元303用于输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
本发明实施例提供的基于多级卷积神经网络的人像分割处理装置，通过将第一卷积神经网络和第二卷积神经网络串联成多级卷积神经网络，并输出待处理人像分割结果的优化处理结果，能够实时、准确和高效地进行人像分割。
本发明实施例提供的基于多级卷积神经网络的人像分割处理装置具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图4为本发明实施例提供的电子设备实体结构示意图，如图4所示，所述电子设备包括：处理器(processor)401、存储器(memory)402和总线403；
其中，所述处理器401、存储器402通过总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取包含有待处理人像的图像；输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取包含有待处理人像的图像；输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取包含有待处理人像的图像；输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的各实施例技术方案的范围。

Claims (10)

1.一种基于多级卷积神经网络的人像分割处理方法，其特征在于，包括：
获取包含有待处理人像的图像；
输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；
输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
2.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络和所述第二卷积神经网络都包括有卷积层；相应的，所述第一卷积神经网络包括的卷积层数量少于所述第二卷积神经网络包括的卷积层数量。
3.根据权利要求2所述的方法，其特征在于，所述第一卷积神经网络包括的卷积层数量和所述第二卷积神经网络包括的卷积层数量分别为5个和12个。
4.根据权利要求1或2或3所述的方法，其特征在于，所述第一卷积神经网络还包括2个全连接层。
5.根据权利要求1或2或3所述的方法，其特征在于，所述第二卷积神经网络还包括2个上采样层。
6.根据权利要求1或2或3所述的方法，其特征在于，所述第一卷积神经网络和所述第二卷积神经网络都包括有下采样层，且下采样层的数量都为2个。
7.根据权利要求1或2或3所述的方法，其特征在于，所述优化处理结果包括逐像素的人像分割结果。
8.一种基于多级卷积神经网络的人像分割处理装置，其特征在于，包括：
获取单元，用于获取包含有待处理人像的图像；
分割单元，用于输入所述图像至第一卷积神经网络，以输出所述待处理人像的分割结果；
处理单元，用于输入所述分割结果和所述图像至第二卷积神经网络，以输出所述分割结果的优化处理结果。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，
其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201810724647.7A 2018-07-04 2018-07-04 一种基于多级卷积神经网络的人像分割处理方法及装置 Pending CN110689542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810724647.7A CN110689542A (zh) 2018-07-04 2018-07-04 一种基于多级卷积神经网络的人像分割处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810724647.7A CN110689542A (zh) 2018-07-04 2018-07-04 一种基于多级卷积神经网络的人像分割处理方法及装置

Publications (1)

Publication Number Publication Date
CN110689542A true CN110689542A (zh) 2020-01-14

Family

ID=69107270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810724647.7A Pending CN110689542A (zh) 2018-07-04 2018-07-04 一种基于多级卷积神经网络的人像分割处理方法及装置

Country Status (1)

Country Link
CN (1) CN110689542A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462133A (zh) * 2020-03-31 2020-07-28 厦门亿联网络技术股份有限公司 一种实时视频人像分割的系统、方法、存储介质和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463865A (zh) * 2014-12-05 2015-03-25 浙江大学 一种人像分割方法
CN106778705A (zh) * 2017-02-04 2017-05-31 中国科学院自动化研究所 一种行人个体分割方法及装置
CN108010031A (zh) * 2017-12-15 2018-05-08 厦门美图之家科技有限公司 一种人像分割方法及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463865A (zh) * 2014-12-05 2015-03-25 浙江大学 一种人像分割方法
CN106778705A (zh) * 2017-02-04 2017-05-31 中国科学院自动化研究所 一种行人个体分割方法及装置
CN108010031A (zh) * 2017-12-15 2018-05-08 厦门美图之家科技有限公司 一种人像分割方法及移动终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462133A (zh) * 2020-03-31 2020-07-28 厦门亿联网络技术股份有限公司 一种实时视频人像分割的系统、方法、存储介质和设备

Similar Documents

Publication Publication Date Title
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN109840477B (zh) 基于特征变换的受遮挡人脸识别方法及装置
CN108492294B (zh) 一种图像色彩和谐程度的评估方法及装置
CN110310229A (zh) 图像处理方法、图像处理装置、终端设备及可读存储介质
CA3069365A1 (en) Generation of point of interest copy
CN111275784B (zh) 生成图像的方法和装置
CN107277615B (zh) 直播风格化处理方法、装置、计算设备及存储介质
CN108921942B (zh) 对图像进行2d转制3d的方法及装置
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109948441B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN111144491B (zh) 图像处理方法、装置及电子系统
CN110457524B (zh) 模型生成方法、视频分类方法及装置
CN110659573A (zh) 一种人脸识别方法、装置、电子设备及存储介质
CN109523558A (zh) 一种人像分割方法及系统
JP6670698B2 (ja) 映像認識モデル学習装置、映像認識装置、方法、及びプログラム
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN108764248B (zh) 图像特征点的提取方法和装置
CN110689542A (zh) 一种基于多级卷积神经网络的人像分割处理方法及装置
CN114970666B (zh) 一种口语处理方法、装置、电子设备及存储介质
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质
CN113312445B (zh) 数据处理方法、模型构建方法、分类方法及计算设备
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114

RJ01 Rejection of invention patent application after publication