CN108765340B - 模糊图像处理方法、装置及终端设备 - Google Patents

模糊图像处理方法、装置及终端设备 Download PDF

Info

Publication number
CN108765340B
CN108765340B CN201810531713.9A CN201810531713A CN108765340B CN 108765340 B CN108765340 B CN 108765340B CN 201810531713 A CN201810531713 A CN 201810531713A CN 108765340 B CN108765340 B CN 108765340B
Authority
CN
China
Prior art keywords
network
image
cost function
generation network
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810531713.9A
Other languages
English (en)
Other versions
CN108765340A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201810531713.9A priority Critical patent/CN108765340B/zh
Publication of CN108765340A publication Critical patent/CN108765340A/zh
Application granted granted Critical
Publication of CN108765340B publication Critical patent/CN108765340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于图像处理技术领域,提供了模糊图像处理方法、装置及终端设备,包括:根据获取的生成网络、判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像;根据生成网络、判别网络以及预设的数据集建立判别网络的对抗代价函数;固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛;获取待处理模糊图像,将所述待处理模糊图像输入训练后的生成网络,输出与所述待处理模糊图像对应的清晰图像。通过上述方法能够使得处理后的图像更清晰。

Description

模糊图像处理方法、装置及终端设备
技术领域
本申请属于图像处理技术领域,尤其涉及模糊图像处理方法、图像处理装置、终端设备及计算机可读存储介质。
背景技术
在拍照过程中,由于退化因素的存在,例如亚采样、大气模糊(如雾霾)、成像模糊(如相机运动导致的模糊、成像传感器光学极限导致的模糊等)、几何运动、投影以及附加噪声(如成像传感器自身的噪声)等,会导致拍出来的图像出现模糊的情况。
为了改善上述退化因素对图像产生的影响,使图像尽量的清晰,可以通过图像插值、图像锐化等方法对图像进行处理。但是通常插值方法并不能恢复图像亚采样过程中丢失的高频信息,而图像锐化也仅能够增强图像中已有的高频部分,并不能补全图像丢失的部分。
发明内容
有鉴于此,本申请实施例提供了模糊图像处理方法、装置及终端设备,以解决现有技术难以有效消除图像的模糊的问题。
本申请实施例的第一方面提供了一种模糊图像处理方法,包括:
获取生成网络以及判别网络;
根据所述生成网络、所述判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像;
根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数;
固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛;
获取待处理模糊图像,将所述待处理模糊图像输入训练后的生成网络,输出与所述待处理模糊图像对应的清晰图像。
本申请实施例的第二方面提供了一种模糊图像处理装置,包括:
网络获取单元,用于获取生成网络以及判别网络;
重建代价函数建立单元,用于根据所述生成网络、所述判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像;
对抗代价函数建立单元,用于根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数;
生成网络及判别网络训练单元,用于固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛;
图像处理单元,用于获取待处理图像,将所述待处理图像输入训练后的生成网络,输出与所述待处理图像对应的清晰图像。
本申请实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如所述模糊图像处理方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如所述模糊图像处理方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:
由于重建代价函数以及对抗代价函数都是通过包括模糊图像的预设的数据集建立的,因此,根据该重建代价函数及该对抗代价函数训练得到的生成网络和判别网络能够将模糊图像处理为对应的清晰图像,并且,由于生成网络和判别网络是交替训练,直到判断出包括生成网络和判别网络的模型收敛后才停止训练,从而保证该生成网络输出的清晰图像为补全了该生成网络输入的图像丢失的部分或全部信息(如高频信息)的图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种模糊图像处理方法的流程图;
图2是本申请实施例提供的另一种模糊图像处理方法的流程图;
图3是本申请实施例提供的一种模糊图像处理装置的结构示意图;
图4是本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中,本申请实施例中描述的移动终端包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是,在某些实施例中,上述设备并非便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中,描述了包括显示器和触摸敏感表面的移动终端。然而,应当理解的是,移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
移动终端支持各种应用程序,例如以下中的一个或多个:绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样,终端的公共物理架构(例如,触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例一:
图1示出了本申请实施例提供的一种模糊图像处理方法的流程图,详述如下:
步骤S11,获取生成网络以及判别网络。
其中,生成网络是一个生成图像的网络。具体地,获取的生成网络可基于残差网络(Residual Network,ResNet)建立,为了便于优化及收敛,该ResNet至少具有2个残差块,优选地,该ResNet的残差块的数量为3。
其中,判别网络用于判别一张图像是不是“真实的”。它的输入参数是x,x代表一张图像,假设判别网络用“D”表示,则输出D(x)代表x为真实图像的概率,判别网络的输出结果如果为1,代表x是真实图像的概率为100%,而输出结果为0,代表x是真是图像的概率为0,该x不可能是真实的图像。具体地,所述判别网络可基于牛津大学的视觉几何组织(VisualGeometry Group,VGG)建立,基于VGG的判别网络对图片有更精确的估值以及更少的空间。
步骤S12,根据所述生成网络、所述判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像。
可选地,为了缩短生成网络训练的时间,上述模糊图像可通过对清晰图像处理得到,例如,通过在清晰图像上增加噪声、投影等处理得到该清晰图像对应的模糊图像。当图像包含的噪声越少,该图像对应的清晰度越高。其中,本实施例中的清晰图像是指噪声小于预设的噪声阈值的基准图像。
可选地,为了保证用于训练生成网络的数据集更接近实际情况,该预设的数据集为GOPRO数据集,该GOPRO数据集是由GOPRO相机真实拍摄的一组模糊图像和与该组模糊图像对应的清晰图像。
步骤S13,根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数。
该步骤中预设的数据集与步骤S12的相同,此处不再赘述。
步骤S14,固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛。
该步骤中,交替训练生成网络和判别网络,进而实现生成网络和判别网络的交替更新。具体地,当需要训练生成网络时,固定判别网络的参数,保持该判别网络的参数不变;当需要训练判别网络时,固定生成网络的参数,保持该生成网络的参数不变。其中,生成网络(或判别网络)的参数包括生成网络(或判别网络)的神经元之间的连接权重以及每个神经元本身的偏置等。
步骤S15,获取待处理模糊图像,将所述待处理模糊图像输入训练后的生成网络,输出与所述待处理模糊图像对应的清晰图像。
该步骤中,将待处理模糊图像输入训练后的生成网络后,该训练后的生成网络输出的图像即为该待处理模糊图像对应的清晰图像。
本申请实施例中,根据获取的生成网络、判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像,根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数,固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛,获取待处理图像,将所述待处理图像输入训练后的生成网络,输出与所述待处理图像对应的清晰图像。由于重建代价函数以及对抗代价函数都是通过包括模糊图像的预设的数据集建立的,因此,根据该重建代价函数及该对抗代价函数训练得到的生成网络和判别网络能够将模糊图像处理为对应的清晰图像,并且,由于生成网络和判别网络是交替训练,直到判断出包括生成网络和判别网络的模型收敛后才停止训练,从而保证该生成网络输出的清晰图像为补全了该生成网络输入的图像丢失的部分或全部信息(如高频信息)的图像。
实施例二:
图2示出了本申请实施例提供的另一种模糊图像处理方法的流程图,详述如下:
步骤S21,获取生成网络以及判别网络;
该步骤S21与实施例一的S11相同,此处不再赘述。
步骤S22,将预设的数据集的模糊图像输入所述生成网络,得到所述生成网络输出的生成图像;
该步骤中,将预设的数据集中多个模糊图像逐个输入所述生成网络,得到所述生成网络输出的生成图像。
步骤S23,将所述生成图像输入所述判别网络,根据所述判别网络的输出结果建立所述生成网络的重建代价函数。
该步骤中,计算所述生成网络的交叉熵损失函数,将该交叉熵损失函数作为该生成网络的重建代价函数。具体地,根据判别网络的输出结果计算所述生成网络的交叉熵损失函数,或者,根据判别网络的输出结果以及生成图像的标签计算所述生成网络的交叉熵损失函数。其中,生成图像的标签用于标识该生成图像是模糊图像还是清晰图像的概率。
步骤S24,根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数;
可选地,所述步骤S24包括:
将预设的数据集的模糊图像输入所述生成网络,得到所述生成网络输出的生成图像;将所述生成图像以及所述模糊图像对应的清晰图像输入所述判别网络,根据所述判别网络的输出结果建立所述判别网络的对抗代价函数。
上述步骤中,计算所述判别网络的交叉熵损失函数,将该交叉熵损失函数作为该判别网络的对抗代价函数。具体地,根据判别网络的输出结果计算所述判别网络的交叉熵损失函数,或者,根据判别网络的输出结果、生成图像的标签以及所述模糊图像对应的清晰图像的标签计算所述判别网络的交叉熵损失函数。其中,生成图像的标签(或模糊图像对应的清晰图像的标签)用于标识该生成图像(或模糊图像对应的清晰图像的标签)是模糊图像还是清晰图像的概率。
可选地,逐个将生成图像(或模糊图像对应的清晰图像)输入判别网络,得到该生成图像(或模糊图像对应的清晰图像)对应的输出结果。
可选地,由于随着每一次的迭代,生成网络的输出的生成图像是逐步变化的,相应的,判别网络能够有效识别的图像也集中在最近的生成网络的输出中。如果一幅一幅的输入,可能会导致判别网络遗忘图像的部分特征,因此,为了改善判别网络的能力,维持生成网络和判别网络的稳定性,可设置一个缓存来存储迭代中生成的图像,具体地,在所述得到所述生成网络输出的生成图像之后,包括:
缓存所述生成网络输出的生成图像;选择缓存的预设个数的生成图像同时输入所述判别网络,输出相同个数的判断结果。
步骤S25,固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛。
该步骤中,固定判别网络的参数以训练生成网络,实现生成网络的更新,再固定该更新后的生成网络的参数以训练判别网络,实现判别网络的更新,接着判断包括所述生成网络和所述判别网络的模型是否收敛,若没有收敛,继续固定该更新后的判别网络的参数,重复上述步骤,直到判断出包括所述生成网络和所述判别网络的模型收敛才停止生成网络和判别网络的训练。
可选地,所述固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,包括:
固定所述判别网络的参数,根据所述重建代价函数对所述生成网络的参数进行反向传播求偏导;根据反向传播求偏导的结果以及第一预设学习速率校正对应的生成网络的参数。
具体地,根据生成网络的目标输出(即与模糊图像对应的清晰图像)和实际输出(即根据所述模糊图像生成的所述生成图像)计算该生成网络的总误差,根据该生成网络的总误差分别对该生成网络的各个参数求偏导,以确定该各个参数对该生成网络的总误差产生了多少影响,再根据反向传播求偏导的结果以及第一预设学习速率校正对应的生成网络的参数。例如,假设w’为校正后的参数,w为校正前的参数,n为第一预设学习速率,-m为反向传播求偏导的结果(即生成网络的的总误差对w求偏导后得到的值),则w’=w-n*m。
其中,该第一预设学习速率的值大于0且小于1,优选地,该第一预设学习速率为0.5。
可选地,所述固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,包括:
固定所述生成网络的参数,根据所述对抗函数对所述判别网络的参数进行反向传播求偏导;根据反向传播求偏导的结果以及第二预设学习速率校正对应的判别网络的参数。
该步骤中,校正判别网络的参数与上述校正生成网络的参数类似,此处不再赘述。
其中,该第二学习速率的值大于0且小于1,优选地,该第一预设学习速率为0.5。
可选地,所述模糊图像处理方法通过以下方式判断包括所述生成网络和所述判别网络的模型是否收敛:
计算所述重建代价函数的梯度以及计算所述对抗代价函数的梯度;判断所述重建代价函数的梯度是否在下降且所述对抗代价函数的梯度是否也在下降;若所述重建代价函数的梯度在下降且所述对抗代价函数的梯度也在下降,则判断所述重建代价函数的梯度的下降值以及判断所述对抗代价函数的梯度的下降值是否都小于预设阈值,若所述重建代价函数的梯度的下降值以及判断所述对抗代价函数的梯度的下降值都小于预设阈值,则判定包括所述生成网络和所述判别网络的模型收敛。
该步骤中,预设阈值为接近于0的值,比如设置为0.00001等,当重建代价函数的梯度的下降值以及所述对抗代价函数的梯度的下降值都小于预设阈值时,判定重建代价函数的梯度以及对抗代价函数的梯度不再下降,即重建代价函数的梯度以及对抗代价函数的梯度都下降并达到平衡,则判定包括所述生成网络和所述判别网络的模型收敛,否则,判定包括所述生成网络和所述判别网络的模型没有收敛,继续训练上述的生成网络和判别网络。
可选地,当用户判断出生成网络输出的生成图像已符合要求,则提前停止对生成网络和判别网络的训练,以缩短训练时长,此时,所述模糊图像处理方法通过以下方式判断包括所述生成网络和所述判别网络的模型是否收敛:
判断是否接收到网络停止训练指令,若接收到网络停止训练指令,则判定包括所述生成网络和所述判别网络的模型收敛。
该步骤中,若在训练生成网络和判别网络的过程中,用户用肉眼判断出生成网络输出的生成图像已符合要求,则发出网络停止训练指令。可选地,该步骤也可以与上述的模型收敛判断步骤同时执行,例如,若所述重建代价函数的梯度在下降但所述对抗代价函数的梯度没有在下降,或者,若所述重建代价函数的梯度的下降值以及判断所述对抗代价函数的梯度的下降值没有都小于预设阈值,判断是否接收到网络停止训练指令,若接收到网络停止训练指令,则判定包括所述生成网络和所述判别网络的模型收敛。
步骤S26,获取待处理模糊图像,将所述待处理模糊图像输入训练后的生成网络,输出与所述待处理模糊图像对应的清晰图像。
可选地,在所述输出与所述待处理模糊图像对应的清晰图像之后,包括:
接收用户发送的反馈信息,所述反馈信息包括用户对输出的清晰图像是否满意的信息,若接收的反馈信息包括用户对输出的清晰图像不满意的信息,则存储该待识别模糊图像。当存储的待识别模糊图像的个数大于或等于预设的个数阈值时,识别存储的各个待处理模糊图像的前景目标,若所述各个待处理模糊图像的前景目标中,存在超过一半的前景目标的类别都相同,则将该前景目标的类别作为指定的前景目标类别,并针对该指定的前景目标类别训练新的生成网络和判别网络,当后续再接收到用户对输出的清晰图像不满意的信息时,识别对应的待处理模糊图像的前景目标的类别,若识别的前景目标的类别与指定的前景目标的类别相同,则采用该指定的前景目标的类别对应的生成网络处理该待处理模糊图像。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
实施例三:
图3示出了本申请实施例提供的一种模糊图像处理装置的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分:
该模糊图像处理装置包括:网络获取单元31、重建代价函数建立单元32、对抗代价函数建立单元33、生成网络及判别网络训练单元34、图像处理单元35。其中:
网络获取单元31,用于获取生成网络以及判别网络;
可选地,获取的生成网络可基于ResNet建立,为了便于优化及收敛,该ResNet至少具有2个残差块,优选地,该ResNet的残差块的数量为3。
可选地,判别网络可基于VGG建立,基于VGG的判别网络对图片有更精确的估值以及更少的空间。
重建代价函数建立单元32,用于根据所述生成网络、所述判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像;
可选地,为了缩短生成网络训练的时间,上述模糊图像可通过对清晰图像处理得到。
可选地,为了保证用于训练生成网络的数据集更接近实际情况,该预设的数据集为GOPRO数据集,该GOPRO数据集是由GOPRO相机真实拍摄的一组模糊图像和与该组模糊图像对应的清晰图像。
对抗代价函数建立单元33,用于根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数;
生成网络及判别网络训练单元34,用于固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛;
其中,生成网络(或判别网络)的参数包括生成网络(或判别网络)的神经元之间的连接权重以及每个神经元本身的偏置等。
图像处理单元35,用于获取待处理图像,将所述待处理图像输入训练后的生成网络,输出与所述待处理图像对应的清晰图像。
本申请实施例中,由于重建代价函数以及对抗代价函数都是通过包括模糊图像的预设的数据集建立的,因此,根据该重建代价函数及该对抗代价函数训练得到的生成网络和判别网络能够将模糊图像处理为对应的清晰图像,并且,由于生成网络和判别网络是交替训练,直到判断出包括生成网络和判别网络的模型收敛后才停止训练,从而保证该生成网络输出的清晰图像为补全了该生成网络输入的图像丢失的部分或全部信息(如高频信息)的图像。
可选地,所述重建代价函数建立单元32包括:
第一生成图像生成模块,用于将预设的数据集的模糊图像输入所述生成网络,得到所述生成网络输出的生成图像;
具体地,将预设的数据集中多个模糊图像逐个输入所述生成网络,得到所述生成网络输出的生成图像。
重建代价函数建立模块,用于将所述生成图像输入所述判别网络,根据所述判别网络的输出结果建立所述生成网络的重建代价函数。
具体地,,计算所述生成网络的交叉熵损失函数,将该交叉熵损失函数作为该生成网络的重建代价函数。具体地,根据判别网络的输出结果计算所述生成网络的交叉熵损失函数,或者,根据判别网络的输出结果以及生成图像的标签计算所述生成网络的交叉熵损失函数。其中,生成图像的标签用于标识该生成图像是模糊图像还是清晰图像的概率。
可选地,所述对抗代价函数建立单元33包括:
第二生成图像生成模块,用于将预设的数据集的模糊图像输入所述生成网络,得到所述生成网络输出的生成图像;
对抗代价函数建立模块,用于将所述生成图像以及所述模糊图像对应的清晰图像输入所述判别网络,根据所述判别网络的输出结果建立所述判别网络的对抗代价函数。
上述对抗代价函数建立模块中,计算所述判别网络的交叉熵损失函数,将该交叉熵损失函数作为该判别网络的对抗代价函数。具体地,根据判别网络的输出结果计算所述判别网络的交叉熵损失函数,或者,根据判别网络的输出结果、生成图像的标签以及所述模糊图像对应的清晰图像的标签计算所述判别网络的交叉熵损失函数。其中,生成图像的标签(或模糊图像对应的清晰图像的标签)用于标识该生成图像(或模糊图像对应的清晰图像的标签)是模糊图像还是清晰图像的概率。
可选地,上述对抗代价函数建立模块逐个将生成图像(或模糊图像对应的清晰图像)输入判别网络,得到该生成图像(或模糊图像对应的清晰图像)对应的输出结果。
可选地,由于随着每一次的迭代,生成网络的输出的生成图像是逐步变化的,相应的,判别网络能够有效识别的图像也集中在最近的生成网络的输出中。如果一幅一幅的输入,可能会导致判别网络遗忘图像的部分特征,因此,为了改善判别网络的能力,维持生成网络和判别网络的稳定性,可设置一个缓存来存储迭代中生成的图像,具体地,在所述得到所述生成网络输出的生成图像之后,包括:
生成图像缓存模块,用于缓存所述生成网络输出的生成图像;
上述对抗代价函数建立模块用于选择缓存的预设个数的生成图像以及所述模糊图像对应的清晰图像同时输入所述判别网络,输出相同个数的判断结果。
可选地,生成网络及判别网络训练单元34在固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络时,具体用于:
固定所述判别网络的参数,根据所述重建代价函数对所述生成网络的参数进行反向传播求偏导;
根据反向传播求偏导的结果以及第一预设学习速率校正对应的生成网络的参数。
具体地,根据生成网络的目标输出和实际输出计算该生成网络的总误差,根据该生成网络的总误差分别对该生成网络的各个参数求偏导,以确定该各个参数对该生成网络的总误差产生了多少影响,再根据反向传播求偏导的结果以及第一预设学习速率校正对应的生成网络的参数。
其中,该第一预设学习速率的值大于0且小于1,优选地,该第一预设学习速率为0.5。
可选地,所述生成网络及判别网络训练单元34在固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,具体用于:
固定所述生成网络的参数,根据所述对抗函数对所述判别网络的参数进行反向传播求偏导;
根据反向传播求偏导的结果以及第二预设学习速率校正对应的判别网络的参数。
其中,该第二学习速率的值大于0且小于1,优选地,该第一预设学习速率为0.5。
可选地,所述生成网络及判别网络训练单元34还用于:
计算所述重建代价函数的梯度以及计算所述对抗代价函数的梯度;
判断所述重建代价函数的梯度是否在下降且所述对抗代价函数的梯度是否也在下降;
若所述重建代价函数的梯度在下降且所述对抗代价函数的梯度也在下降,则判断所述重建代价函数的梯度的下降值以及判断所述对抗代价函数的梯度的下降值是否都小于预设阈值,若所述重建代价函数的梯度的下降值以及判断所述对抗代价函数的梯度的下降值都小于预设阈值,则判定包括所述生成网络和所述判别网络的模型收敛。
其中,预设阈值为接近于0的值,比如设置为0.00001等。
可选地,当用户判断出生成网络输出的生成图像已符合要求,则提前停止对生成网络和判别网络的训练,以缩短训练时长,此时所述生成网络及判别网络训练单元34还用于:
判断是否接收到网络停止训练指令,若接收到网络停止训练指令,则判定包括所述生成网络和所述判别网络的模型收敛。
可选地,所述模糊图像处理装置包括:
反馈信息接收单元,用于接收用户发送的反馈信息,所述反馈信息包括用户对输出的清晰图像是否满意的信息,若接收的反馈信息包括用户对输出的清晰图像不满意的信息,则存储该待识别模糊图像。
实施例四:
图4是本申请一实施例提供的终端设备的示意图。如图4所示,该实施例的终端设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个模糊图像处理方法实施例中的步骤,例如图1所示的步骤S11至S15。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块31至35的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。例如,所述计算机程序42可以被分割成网络获取单元31、重建代价函数建立单元32、对抗代价函数建立单元33、生成网络及判别网络训练单元34、图像处理单元35,各单元具体功能如下:
网络获取单元31,用于获取生成网络以及判别网络;
重建代价函数建立单元32,用于根据所述生成网络、所述判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像;
对抗代价函数建立单元33,用于根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数;
生成网络及判别网络训练单元34,用于固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛;
图像处理单元35,用于获取待处理图像,将所述待处理图像输入训练后的生成网络,输出与所述待处理图像对应的清晰图像。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是终端设备4的示例,并不构成对终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元,例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备,例如所述终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种模糊图像处理方法,其特征在于,包括:
获取生成网络以及判别网络;
根据所述生成网络、所述判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像;
根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数;
固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛;
获取待处理模糊图像,将所述待处理模糊图像输入训练后的生成网络,输出与所述待处理模糊图像对应的清晰图像;
在所述输出与所述待处理模糊图像对应的清晰图像之后,包括:
接收用户发送的反馈信息,所述反馈信息包括用户对输出的清晰图像是否满意的信息,若接收的反馈信息包括用户对输出的清晰图像不满意的信息,则存储该待处理模糊图像,当存储的待处理模糊图像的个数大于或等于预设的个数阈值时,识别存储的各个待处理模糊图像的前景目标,若所述各个待处理模糊图像的前景目标中,存在超过一半的前景目标的类别都相同,则将所述前景目标的类别作为指定的前景目标类别,并针对该指定的前景目标类别训练新的生成网络和判别网络,当后续再接收到用户对输出的清晰图像不满意的信息时,识别对应的待处理模糊图像的前景目标的类别,若识别的前景目标的类别与指定的前景目标的类别相同,则采用所述指定的前景目标的类别对应的生成网络处理所述待处理模糊图像。
2.根据权利要求1所述的模糊图像处理方法,其特征在于,所述根据所述生成网络、所述判别网络以及预设的数据集建立所述生成网络的重建代价函数,包括:
将预设的数据集的模糊图像输入所述生成网络,得到所述生成网络输出的生成图像;
将所述生成图像输入所述判别网络,根据所述判别网络的输出结果建立所述生成网络的重建代价函数。
3.根据权利要求1所述的模糊图像处理方法,其特征在于,所述根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数,包括:
将预设的数据集的模糊图像输入所述生成网络,得到所述生成网络输出的生成图像;
将所述生成图像以及所述模糊图像对应的清晰图像输入所述判别网络,根据所述判别网络的输出结果建立所述判别网络的对抗代价函数。
4.根据权利要求1至3任一项所述的模糊图像处理方法,其特征在于,所述固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,包括:
固定所述判别网络的参数,根据所述重建代价函数对所述生成网络的参数进行反向传播求偏导;
根据反向传播求偏导的结果以及第一预设学习速率校正对应的生成网络的参数。
5.根据权利要求1至3任一项所述的模糊图像处理方法,其特征在于,所述固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,包括:
固定所述生成网络的参数,根据所述对抗代价 函数对所述判别网络的参数进行反向传播求偏导;
根据反向传播求偏导的结果以及第二预设学习速率校正对应的判别网络的参数。
6.根据权利要求1所述的模糊图像处理方法,其特征在于,所述模糊图像处理方法还包括:
计算所述重建代价函数的梯度以及计算所述对抗代价函数的梯度;
判断所述重建代价函数的梯度是否在下降且所述对抗代价函数的梯度是否也在下降;
若所述重建代价函数的梯度在下降且所述对抗代价函数的梯度也在下降,则判断所述重建代价函数的梯度的下降值以及判断所述对抗代价函数的梯度的下降值是否都小于预设阈值,若所述重建代价函数的梯度的下降值以及判断所述对抗代价函数的梯度的下降值都小于预设阈值,则判定包括所述生成网络和所述判别网络的模型收敛。
7.根据权利要求1或6所述的模糊图像处理方法,其特征在于,所述模糊图像处理方法还包括:
判断是否接收到网络停止训练指令,若接收到网络停止训练指令,则判定包括所述生成网络和所述判别网络的模型收敛。
8.一种模糊图像处理装置,其特征在于,包括:
网络获取单元,用于获取生成网络以及判别网络;
重建代价函数建立单元,用于根据所述生成网络、所述判别网络以及预设的数据集建立所述生成网络的重建代价函数,所述预设的数据集包括模糊图像和与所述模糊图像对应的清晰图像;
对抗代价函数建立单元,用于根据所述生成网络、所述判别网络以及预设的数据集建立所述判别网络的对抗代价函数;
生成网络及判别网络训练单元,用于固定所述判别网络的参数,根据所述重建代价函数训练所述生成网络,以及,固定所述生成网络的参数,根据所述对抗代价函数训练所述判别网络,直到判断出包括所述生成网络和所述判别网络的模型收敛;
图像处理单元,用于获取待处理图像,将所述待处理图像输入训练后的生成网络,输出与所述待处理图像对应的清晰图像;
在所述输出与所述待处理模糊图像对应的清晰图像之后,包括:
接收用户发送的反馈信息,所述反馈信息包括用户对输出的清晰图像是否满意的信息,若接收的反馈信息包括用户对输出的清晰图像不满意的信息,则存储该待处理模糊图像,当存储的待处理模糊图像的个数大于或等于预设的个数阈值时,识别存储的各个待处理模糊图像的前景目标,若所述各个待处理模糊图像的前景目标中,存在超过一半的前景目标的类别都相同,则将所述前景目标的类别作为指定的前景目标类别,并针对该指定的前景目标类别训练新的生成网络和判别网络,当后续再接收到用户对输出的清晰图像不满意的信息时,识别对应的待处理模糊图像的前景目标的类别,若识别的前景目标的类别与指定的前景目标的类别相同,则采用所述指定的前景目标的类别对应的生成网络处理所述待处理模糊图像。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201810531713.9A 2018-05-29 2018-05-29 模糊图像处理方法、装置及终端设备 Active CN108765340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810531713.9A CN108765340B (zh) 2018-05-29 2018-05-29 模糊图像处理方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810531713.9A CN108765340B (zh) 2018-05-29 2018-05-29 模糊图像处理方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN108765340A CN108765340A (zh) 2018-11-06
CN108765340B true CN108765340B (zh) 2021-06-25

Family

ID=64003537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810531713.9A Active CN108765340B (zh) 2018-05-29 2018-05-29 模糊图像处理方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN108765340B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361934B (zh) * 2018-11-30 2021-10-08 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及存储介质
CN109978804B (zh) * 2019-03-08 2021-02-26 清华大学 基于深度学习的人眼视线矫正方法及系统
CN110135305B (zh) * 2019-04-30 2022-03-01 百度在线网络技术(北京)有限公司 用于疲劳度检测的方法、装置、设备和介质
CN110210535B (zh) * 2019-05-21 2021-09-10 北京市商汤科技开发有限公司 神经网络训练方法及装置以及图像处理方法及装置
CN110246216B (zh) * 2019-05-28 2023-02-28 中国科学院深圳先进技术研究院 脊柱模型生成方法、脊柱模型生成系统及终端
CN110189251B (zh) * 2019-06-04 2022-11-01 厦门美图之家科技有限公司 一种模糊图像生成方法及装置
CN110796584A (zh) * 2019-10-28 2020-02-14 国网内蒙古东部电力有限公司电力科学研究院 运动模糊图像建模方法、装置、存储介质及巡检机器人
CN112785507A (zh) * 2019-11-07 2021-05-11 上海耕岩智能科技有限公司 图像处理方法及装置、存储介质、终端
CN112488943B (zh) * 2020-12-02 2024-02-02 北京字跳网络技术有限公司 模型训练和图像去雾方法、装置、设备
CN116863016B (zh) * 2023-05-31 2024-10-18 北京长木谷医疗科技股份有限公司 基于深度学习生成对抗网络的医学图像重建方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095916A (zh) * 2015-08-28 2015-11-25 中国航天科工集团第三研究院第八三五七研究所 用于图像识别的多面体核组合支持向量机二阶锥规划方法
CN107767384B (zh) * 2017-11-03 2021-12-03 电子科技大学 一种基于对抗训练的图像语义分割方法
CN107944617A (zh) * 2017-11-20 2018-04-20 国网福建省电力有限公司 一种基于逻辑回归的疑似窃电主题影响因素权重优化方法
CN107993140A (zh) * 2017-11-22 2018-05-04 深圳市耐飞科技有限公司 一种个人信贷风险评估方法及系统
CN107945282B (zh) * 2017-12-05 2021-01-29 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN107798669B (zh) * 2017-12-08 2021-12-21 北京小米移动软件有限公司 图像去雾方法、装置及计算机可读存储介质
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN107977932B (zh) * 2017-12-28 2021-04-23 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法

Also Published As

Publication number Publication date
CN108765340A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108765340B (zh) 模糊图像处理方法、装置及终端设备
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
CN108921806B (zh) 一种图像处理方法、图像处理装置及终端设备
CN108564550B (zh) 图像处理方法、装置及终端设备
CN108961157B (zh) 图片处理方法、图片处理装置及终端设备
CN109345553B (zh) 一种手掌及其关键点检测方法、装置和终端设备
CN109739223B (zh) 机器人避障控制方法、装置、终端设备及存储介质
CN111489290B (zh) 一种人脸图像超分辨重建方法、装置及终端设备
CN109766925B (zh) 特征融合方法、装置、电子设备及存储介质
CN109118447B (zh) 一种图片处理方法、图片处理装置及终端设备
CN108961267B (zh) 图片处理方法、图片处理装置及终端设备
US20220130025A1 (en) Picture optimization method device, terminal and corresponding storage medium
WO2017114168A1 (en) Method and device for target detection
CN109063776B (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
CN111767750A (zh) 图像处理方法和装置
CN110288625B (zh) 用于处理图像的方法和装置
CN112732553A (zh) 图像测试方法、装置、电子设备及存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
CN108932703B (zh) 图片处理方法、图片处理装置及终端设备
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN111105440B (zh) 视频中目标物体的跟踪方法、装置、设备及存储介质
CN108776959B (zh) 图像处理方法、装置及终端设备
CN111861965B (zh) 图像逆光检测方法、图像逆光检测装置及终端设备
CN108932704B (zh) 图片处理方法、图片处理装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant