CN110111334A - 一种裂缝分割方法、装置、电子设备及存储介质 - Google Patents

一种裂缝分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110111334A
CN110111334A CN201910256537.7A CN201910256537A CN110111334A CN 110111334 A CN110111334 A CN 110111334A CN 201910256537 A CN201910256537 A CN 201910256537A CN 110111334 A CN110111334 A CN 110111334A
Authority
CN
China
Prior art keywords
image
crack
feature image
convolution
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910256537.7A
Other languages
English (en)
Other versions
CN110111334B (zh
Inventor
洪志友
任宇鹏
卢维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910256537.7A priority Critical patent/CN110111334B/zh
Publication of CN110111334A publication Critical patent/CN110111334A/zh
Application granted granted Critical
Publication of CN110111334B publication Critical patent/CN110111334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种裂缝分割方法、装置、电子设备及存储介质,所述方法包括:将图像输入预先训练完成的裂缝分割模型;基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。通过平均池化处理可以提取裂缝全局特征信息,通过最大池化处理可以保留裂缝边缘特征信息,通过空洞卷积处理可以提取裂缝局部的特征信息。三种处理方式相结合可以尽可能保留裂缝的特征信息,使得最终输出的裂缝分割图像更准确。

Description

一种裂缝分割方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种裂缝分割方法、装置、电子设备及存储介质。
背景技术
裂缝分割即对图片中的每个像素都做分类,将属于裂缝的像素标记出来。随着计算机视觉步入深度学习时代,全卷积神经网络(Fully Convolutional Networks,)FCN在分割任务上进行了开创性的工作。FCN先使用卷积神经网络提取图像特征,使用池化下采样在降低图像尺寸的同时增大感受野,然后进行上采样到原始图像尺寸进行预测。因此FCN分割有两个关键,一个是下采样池化增大感受野时减少信息损失,另一个是上采样扩大图像尺寸时准确预测像素输出。
现有技术中采用以DeepLab v3为代表的使用空洞卷积与金字塔池化的网络结构。该结构提取图像特征时抛弃了池化层使用空洞卷积进行下采样,在保证感受野的同时减少了位置信息的丢失。同时使用金字塔池化对特征进行不同规模的池化操作,并做上采样后拼接起来,以此来采集多尺度信息。
虽然DeepLab v3网络结构在一定程度上可以提高分割效果,但该网络结构使用的下采样和金字塔池化方式,使得特征图包含的裂缝特征很少。因此该网络结构在面对裂缝区域细长曲折,裂缝边缘较复杂的高精度数据集时,裂缝分割的效果仍有局限性,对定位精度仍有不足。
发明内容
本发明实施例提供了一种裂缝分割方法、装置、电子设备及存储介质,用以解决现有技术中裂缝分割不准确的问题。
本发明实施例提供了一种裂缝分割方法,所述方法包括:
将图像输入预先训练完成的裂缝分割模型;
基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
进一步地,所述对所述图像进行卷积处理和池化处理,得到第一特征图像包括:
对所述图像进行卷积处理、池化处理和空洞卷积处理,得到第一特征图像。
进一步地,对所述图像进行卷积处理和池化处理之后,将每个第二特征图像进行串行连接之前,所述方法还包括:
对所述图像进行卷积处理和池化处理后的第一特征图像进行解码处理,得到第四特征图像;对每个第二特征图像分别进行解码处理,得到每个第五特征图像;将所述第四特征图像和每个第五特征图像作为每个第二特征图像;其中,所述第四特征图像和每个第五特征图像的分辨率相同。
进一步地,所述对所述第三特征图像进行残差卷积处理,输出裂缝分割图像包括:
对所述第三特征图像进行卷积处理,得到第六特征图像;
将所述第三特征图像和所述第六特征图像进行融合,输出裂缝分割图像。
进一步地,输出裂缝分割图像之后,所述方法还包括:
对所述裂缝分割图像进行二值化处理。
进一步地,预先训练裂缝分割模型的过程包括:
将训练集中的每个裂缝图像输入裂缝分割模型,得到每个分割图像;根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差,经过预设的时间或预设的迭代次数后,将误差最小的模型作为训练完成的裂缝分割模型。
进一步地,所述根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差包括:
根据公式: 确定每个像素点的误差;根据所述每个像素点的误差,确定模型训练误差;
式中,pt为分割图像中像素点的像素值,所述像素值为未进行二值化的像素值,y为像素点的标注信息,当y=1时表明该像素点为背景像素点,当y=0时表明该像素点为裂缝像素点,α为加权常数。
本发明实施例提供了一种裂缝分割装置,所述装置包括:
输入模块,用于将图像输入预先训练完成的裂缝分割模型;
确定模块,用于基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
进一步地,所述确定模块,具体用于对所述图像进行卷积处理、池化处理和空洞卷积处理,得到第一特征图像。
进一步地,所述装置还包括:
第一处理模块,用于对所述图像进行卷积处理和池化处理后的第一特征图像进行解码处理,得到第四特征图像;对每个第二特征图像分别进行解码处理,得到每个第五特征图像;将所述第四特征图像和每个第五特征图像作为每个第二特征图像;其中,所述第四特征图像和每个第五特征图像的分辨率相同。
进一步地,所述确定模块,具体用于对所述第三特征图像进行卷积处理,得到第六特征图像;将所述第三特征图像和所述第六特征图像进行融合,输出裂缝分割图像。
进一步地,所述方法还包括:
第二处理模块,用于对所述裂缝分割图像进行二值化处理。
进一步地,所述装置还包括:
训练模块,用于将训练集中的每个裂缝图像输入裂缝分割模型,得到每个分割图像;根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差,经过预设的时间或预设的迭代次数后,将误差最小的模型作为训练完成的裂缝分割模型。
进一步地,所述训练模块,具体用于根据公式: 确定每个像素点的误差;根据所述每个像素点的误差,确定模型训练误差;式中,pt为分割图像中像素点的像素值,所述像素值为未进行二值化的像素值,y为像素点的标注信息,当y=1时表明该像素点为背景像素点,当y=0时表明该像素点为裂缝像素点,α为加权常数。
本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述方法步骤。
本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述方法步骤。
本发明实施例提供了一种裂缝分割方法、装置、电子设备及存储介质,所述方法包括:将图像输入预先训练完成的裂缝分割模型;基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
由于在本发明实施例中,对图像进行卷积处理和池化处理,得到第一特征图像之后,分别对第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像。通过平均池化处理可以提取裂缝全局特征信息,通过最大池化处理可以保留裂缝边缘特征信息,通过空洞卷积处理可以提取裂缝局部的特征信息。三种处理方式相结合可以尽可能保留裂缝的特征信息,使得最终输出的裂缝分割图像更准确,分割效果更好。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的裂缝分割过程示意图;
图2为本发明实施例提供的残差处理示意图;
图3为本发明实施例提供的裂缝分割模型结构示意图;
图4为本发明实施例提供的空间金字塔池化结构示意图;
图5为本发明实施例提供的多尺度空洞卷积结构示意图;
图6为本发明实施例提供的裂缝检测结果示意图;
图7为本发明实施例提供的裂缝分割装置结构示意图;
图8为本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的裂缝分割过程示意图,该过程包括以下步骤:
S101:将图像输入预先训练完成的裂缝分割模型。
S102:基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
本发明实施例提供的裂缝分割方法应用于电子设备,该电子设备可以是PC、平板电脑等设备。
图像采集设备采集到待裂缝分割的图像之后,将图像发送至电子设备,电子设备中保存有预先训练完成的裂缝分割模型,电子设备接收到待裂缝分割的图像后,将图像输入到预先训练完成的裂缝分割模型中,基于裂缝分割模型输出裂缝分割图像。
具体的,裂缝分割模型中包括卷积层和池化层,基于卷积层对图像进行卷积处理,然后再基于池化层对经过卷积处理的图像进行池化处理,得到第一特征图像。在本发明实施例中并不对卷积和池化处理的次数进行限定。可以是对图像进行一次卷积处理,然后进行一次池化处理,得到第一特征图像;也可以是对图像进行两次卷积处理,然后进行一次池化处理,得到第一特征图像;还可以是对图像进行两次卷积处理,然后进行一次池化处理,再进行两次卷积处理,然后进行一次池化处理,得到第一特征图像等等。
电子设备基于裂缝分割模型确定第一特征图像之后,再基于裂缝分割模型分别对第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像。其中,可以采用单一尺度对第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,较佳的,为了得到更多维的特征信息,可以采用多尺度对第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理。
例如,第一特征图像为64×64的特征图,首先对第一特征图像使用64×64平均池化核池化;同理对第一特征图像使用32×32平均池化核池化;同理对第一特征图像使用16×16平均池化核池化;同理对第一特征图像使用8×8平均池化核池化。与此类似,依次使用不同尺度的最大池化核对第一特征图像进行最大池化处理。采用多尺度对第一特征图像进行空洞卷积处理时,可以使用步长为2,膨胀系数分别为2、4、8、16对第一特征图像进行空洞卷积处理。在将得到的每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
其中,得到的每个第二特征图像进行串行连接后,得到一个第三特征图像。例如,得到两个第二特征图像512*512*3,其中,512*512为第二特征图像尺寸,3为第二特征图像的红R、绿G、蓝B三个通道。对两个第二特征图像进行串行连接时,可以基于RGB通道进行连接,得到的第三特征图像为512*512*6。然后对第三特征图像进行残差卷积处理,得到裂缝分割图像并输出。
由于在本发明实施例中,对图像进行卷积处理和池化处理,得到第一特征图像之后,分别对第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像。通过平均池化处理可以提取裂缝全局特征信息,通过最大池化处理可以保留裂缝边缘特征信息,通过空洞卷积处理可以提取裂缝局部的特征信息。三种处理方式相结合可以尽可能保留裂缝的特征信息,使得最终输出的裂缝分割图像更准确,分割效果更好。
为了使确定的第一特征图像中包含较多的特征信息,在本发明实施例中,所述对所述图像进行卷积处理和池化处理,得到第一特征图像包括:
对所述图像进行卷积处理、池化处理和空洞卷积处理,得到第一特征图像。
电子设备基于裂缝分割模型对图像进行卷积处理和池化处理之后,可以对卷积处理和池化处理后的图像再进行空洞卷积处理。在本发明实施例中,不对图像进行空洞卷积处理的次数进行限定,可以进行一次空洞卷积处理,得到第一特征图像,也可以进行两次、三次等空洞卷积处理得到第一特征图像。通过空洞卷积处理,可以提取裂缝更多的局部特征信息。
在本发明实施例中,为了进一步保留更多的特征信息,对所述图像进行卷积处理和池化处理之后,将每个第二特征图像进行串行连接之前,所述方法还包括:
对所述图像进行卷积处理和池化处理后的第一特征图像进行解码处理,得到第四特征图像;对每个第二特征图像分别进行解码处理,得到每个第五特征图像;将所述第四特征图像和每个第五特征图像作为每个第二特征图像;其中,所述第四特征图像和每个第五特征图像的分辨率相同。
由于对图像进行池化处理,会降低图像的分辨率,分辨率降低之后会大大的减少裂缝的特征信息。因此,在本发明实施例中,电子设备基于裂缝分割模型对图像进行卷积处理和池化处理得到第一特征图像之后,可以对第一特征图像进行解码处理,得到第四特征图像。并且,电子设备基于裂缝分割模型确定出每个第二特征图像之后,也需要对每个第二特征图像进行解码处理,得到每个第五特征图像。对图像进行解码的过程即为增加图像分辨率的过程,通过对图像进行解码处理,使得第四特征图像和每个第五特征图像的分辨率相同,并且进一步可以和原始的待裂缝分割图像的分辨率相同。然后将第四特征图像和每个第五特征图像作为每个第二特征图像进行后续确定分割图像的过程。
由于在本发明实施例中,电子设备基于裂缝分割模型对第一特征图像进行解码处理,得到第四特征图像;对每个第二特征图像分别进行解码处理,得到每个第五特征图像;将第四特征图像和每个第五特征图像作为每个第二特征图像进行后续确定分割图像的过程。从而不会降低第二特征图像的分辨率,进一步保留了更多的特征信息。
为了便于对裂缝特征进行提取,在本发明实施例中,所述对所述第三特征图像进行残差卷积处理,输出裂缝分割图像包括:
对所述第三特征图像进行卷积处理,得到第六特征图像;
将所述第三特征图像和所述第六特征图像进行融合,输出裂缝分割图像。
对第三特征图像进行残差卷积处理的过程具体为,首先对该第三特征图像进行卷积处理,得到该第三特征图像对应的第六特征图像。在本发明实施例中不对卷积处理的次数进行限定。较佳的,可以对第三特征图像进行两次卷积处理,如图2所示,第三特征图像为X,经过两次卷积处理conv1输出第六特征图像F(x),然后对第三特征图像和第六特征图像进行融合得到H(x)=X+F(x)。也就是得到裂缝分割图像并输出。
为了使确定的裂缝分割图像中的裂缝信息更明显,在本发明实施例中,输出裂缝分割图像之后,所述方法还包括:
对所述裂缝分割图像进行二值化处理。
电子设备中可以保存预设的像素阈值,根据该预设的像素阈值,将裂缝分割图像中的像素点的像素值进行分割。例如,将大于预设的像素阈值的像素点的像素值更新为255,将不大于预设的像素阈值的像素点的像素值更新为0。
下面通过一个详细的实施例对本发明实施例中的裂缝分割模型进行介绍。如图3所示,首先对待裂缝分割的图像进行编码处理,编码过程为输入图像—conv1—conv1—pool1—conv2—conv2—pool2—conv3—conv3—pool3—conv4—conv4—Atr_conv4—Atr_conv4—Atr_conv4—Atr_conv4。其中,conv为卷积处理,pool为池化处理,Atr_conv为空洞卷积处理。图像共经过8个3×3的卷积层、3个2×2的最大池化层和4个的3×3空洞卷积层,空洞卷积层的膨胀系数分别为2、2、4、4。其中卷积层和空洞卷积层输入图像和输出图像的分辨率不改变,池化层的输出图像为原始输入图像的分辨率的1/2。为了保证特征图像的分辨率,如图3所示,对第二次池化处理之后的特征图像进行解码处理upsampling,此时解码处理的放大倍数为4倍,对第三次池化处理之后的特征图像进行解码处理upsampling,此时解码处理的放大倍数为8倍。对空洞卷积处理后的特征图像分别进行不同尺度的平均池化加解码处理Averagepooling+upsampling、最大池化加解码处理maxpooling+upsampling和、空洞卷积加解码处理Atr_conv+upsampling。然后将第二次池化处理之后的特征图像进行解码处理后的特征图像、第三次池化处理之后的特征图像进行解码处理后的特征图像、平均池化加解码处理后的特征图像、最大池化加解码处理后的特征图像和空洞卷积加解码处理后的特征图像输入到残差卷积模块identity_Block,得到一个与输入图像相同分辨率的输出特征图像。
在解码过程中,将提取的特征图分别进行多尺度的池化操作和上采样操作。如下图4所示的空间金字塔池化结构示意图,以平均池化加上采样为例,经过编码输出大小为64×64的特征图。首先对编码的输出特征图使用64×64平均池化核池化,再上采样得到512×512的特征图;同理对编码输出特征图使用32×32平均池化核池化,再上采样得到512×512的特征图;同理对编码输出特征图使用16×16平均池化核池化,再上采样得到512×512的特征图;同理对编码输出特征图使用8×8平均池化核池化,再上采样得到512×512的特征图。与此类似,依次使用不同尺度的最大池化核对编码输出特征图进行池化和上采样得到特征输出。
同时,如图5所示的多尺度空洞卷积结构示意图,使用步长为2,膨胀系数为2、4、8、16的空洞卷积对特征输入进行卷积,再上采样得到512×512的特征图,最后将得到的全部上采样特征图串行连接。同时将编码过程中池化层之前的特征输出conv2和conv3上采样为512×512,即与原始图像和多尺度池化操作输出相同的尺寸,与全部的上采样特征图串行连接。最后将得到的上采样特征图经过残差卷积模块输出512×512×1的二值图像。
在本发明实施例中,预先训练裂缝分割模型的过程包括:
将训练集中的每个裂缝图像输入裂缝分割模型,得到每个分割图像;根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差,经过预设的时间或预设的迭代次数后,将误差最小的模型作为训练完成的裂缝分割模型。
电子设备中保存有训练集,训练集中为大量的待裂缝分割图像,以及待裂缝分割图像对应的标注图像;其中,标注图像中标注了裂缝像素点。电子设备将每个裂缝图像和每个裂缝图像对应的标注图像输入裂缝分割模型进行训练。
具体的,电子设备将每个裂缝图像输入裂缝分割模型,得到每个分割图像,然后根据裂缝图像对应的分割图像和标注图像,确定当前的模型训练误差。具体的,针对每组对应的标注图像和分割图像,识别该组两个图像中像素类型不同的像素点的数量,像素类型包括裂缝像素和背景像素。像素类型不同的像素点的数量与标注图像的像素点的总数量的比值作为该组图像的训练误差,然后确定每组图像的训练误差的平均值作为模型训练误差。电子设备经过预设的时间或预设的迭代次数后,将误差最小的模型作为训练完成的裂缝分割模型。
电子设备中还保存有测试集,在本发明实施例中,测试集用于检验训练所获得模型的精度,并用于模型筛选。
现有技术中,在裂缝数据集中,大多数都是简单易分的背景样本,这些简单易分的背景样本数量过多会对误差的计算起主要贡献作用,因此主导了梯度的更新方向,掩盖了重要信息。为了扩大难分像素对损失Loss函数的影响,同时扩大裂缝区域对Loss函数的影响,解决样本不均衡的问题。在本发明实施例中,所述根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差包括:
根据公式: 确定每个像素点的误差;根据所述每个像素点的误差,确定模型训练误差;
式中,pt为分割图像中像素点的像素值,所述像素值为未进行二值化的像素值,y为像素点的标注信息,当y=1时表明该像素点为背景像素点,当y=0时表明该像素点为裂缝像素点,α为加权常数。
根据上式确定每个像素点的误差后,可以将每个像素点的误差的平均值作为模型训练误差。
在本发明实施例中,α可以为0.25。由上式分析可知,通过在式子前加控制权α和(1-α)可以扩大裂缝像素对Loss函数的贡献,解决样本失衡的问题。同时当y=1时,表明该像素标签为背景,则pt越大说明该像素越易分,通过添加则pt越大,则对Loss的贡献越小;当y=0时,表明该像素标签为裂缝,则pt越小说明该像素越易分,通过添加则pt越小,则对Loss的贡献越小。通过这种设置可以扩大难分像素对Loss函数的影响,同时扩大裂缝区域对Loss函数的影响,解决样本不均衡的问题。
图6为采用本发明实施例提供的裂缝分割方法输出的裂缝检测结果示意图,如图6所示,本发明实施例对裂缝区域细长曲折,裂缝边缘较复杂的图像的分割效果依然很好。
图7为本发明实施例提供的裂缝分割装置结构示意图,所述装置包括:
输入模块71,用于将图像输入预先训练完成的裂缝分割模型;
确定模块72,用于基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
所述确定模块72,具体用于对所述图像进行卷积处理、池化处理和空洞卷积处理,得到第一特征图像。
所述装置还包括:
第一处理模块73,用于对所述图像进行卷积处理和池化处理后的第一特征图像进行解码处理,得到第四特征图像;对每个第二特征图像分别进行解码处理,得到每个第五特征图像;将所述第四特征图像和每个第五特征图像作为每个第二特征图像;其中,所述第四特征图像和每个第五特征图像的分辨率相同。
所述装置还包括:
所述确定模块72,具体用于对所述第三特征图像进行卷积处理,得到第六特征图像;将所述第三特征图像和所述第六特征图像进行融合,输出裂缝分割图像。
所述方法还包括:
第二处理模块74,用于对所述裂缝分割图像进行二值化处理。
所述装置还包括:
训练模块75,用于将训练集中的每个裂缝图像输入裂缝分割模型,得到每个分割图像;根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差,经过预设的时间或预设的迭代次数后,将误差最小的模型作为训练完成的裂缝分割模型。
所述训练模块75,具体用于根据公式:确定每个像素点的误差;根据所述每个像素点的误差,确定模型训练误差;式中,pt为分割图像中像素点的像素值,所述像素值为未进行二值化的像素值,y为像素点的标注信息,当y=1时表明该像素点为背景像素点,当y=0时表明该像素点为裂缝像素点,α为加权常数。
本发明实施例中还提供了一种电子设备,如图8所示,包括:处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信;
所述存储器803中存储有计算机程序,当所述程序被所述处理器801执行时,使得所述处理器801执行如下步骤:
将图像输入预先训练完成的裂缝分割模型;
基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
基于同一发明构思,本发明实施例中还提供了一种电子设备,由于上述电子设备解决问题的原理与裂缝分割方法相似,因此上述电子设备的实施可以参见方法的实施,重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口802用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时,实现将图像输入预先训练完成的裂缝分割模型;基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。由于在本发明实施例中,通过平均池化处理可以提取裂缝全局特征信息,通过最大池化处理可以保留裂缝边缘特征信息,通过空洞卷积处理可以提取裂缝局部的特征信息。三种处理方式相结合可以尽可能保留裂缝的特征信息,使得最终输出的裂缝分割图像更准确,分割效果更好。
本发明实施例还提供了一种计算机存储可读存储介质,所述计算机可读存储介质内存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行时实现如下步骤:
将图像输入预先训练完成的裂缝分割模型;
基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
基于同一发明构思,本发明实施例中还提供了一种计算机可读存储介质,由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与裂缝分割方法相似,因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施,重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序,计算机程序被处理器执行时实现将图像输入预先训练完成的裂缝分割模型;基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。由于在本发明实施例中,通过平均池化处理可以提取裂缝全局特征信息,通过最大池化处理可以保留裂缝边缘特征信息,通过空洞卷积处理可以提取裂缝局部的特征信息。三种处理方式相结合可以尽可能保留裂缝的特征信息,使得最终输出的裂缝分割图像更准确,分割效果更好。
本发明实施例提供了一种裂缝分割方法、装置、电子设备及存储介质,所述方法包括:将图像输入预先训练完成的裂缝分割模型;基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
由于在本发明实施例中,对图像进行卷积处理和池化处理,得到第一特征图像之后,分别对第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像。通过平均池化处理可以提取裂缝全局特征信息,通过最大池化处理可以保留裂缝边缘特征信息,通过空洞卷积处理可以提取裂缝局部的特征信息。三种处理方式相结合可以尽可能保留裂缝的特征信息,使得最终输出的裂缝分割图像更准确,分割效果更好。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种裂缝分割方法,其特征在于,所述方法包括:
将图像输入预先训练完成的裂缝分割模型;
基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
2.如权利要求1所述的方法,其特征在于,所述对所述图像进行卷积处理和池化处理,得到第一特征图像包括:
对所述图像进行卷积处理、池化处理和空洞卷积处理,得到第一特征图像。
3.如权利要求1所述的方法,其特征在于,对所述图像进行卷积处理和池化处理之后,将每个第二特征图像进行串行连接之前,所述方法还包括:
对所述图像进行卷积处理和池化处理后的第一特征图像进行解码处理,得到第四特征图像;对每个第二特征图像分别进行解码处理,得到每个第五特征图像;将所述第四特征图像和每个第五特征图像作为每个第二特征图像;其中,所述第四特征图像和每个第五特征图像的分辨率相同。
4.如权利要求1所述的方法,其特征在于,所述对所述第三特征图像进行残差卷积处理,输出裂缝分割图像包括:
对所述第三特征图像进行卷积处理,得到第六特征图像;
将所述第三特征图像和所述第六特征图像进行融合,输出裂缝分割图像。
5.如权利要求1所述的方法,其特征在于,输出裂缝分割图像之后,所述方法还包括:
对所述裂缝分割图像进行二值化处理。
6.如权利要求1所述的方法,其特征在于,预先训练裂缝分割模型的过程包括:
将训练集中的每个裂缝图像输入裂缝分割模型,得到每个分割图像;根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差,经过预设的时间或预设的迭代次数后,将误差最小的模型作为训练完成的裂缝分割模型。
7.如权利要求6所述的方法,其特征在于,所述根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差包括:
根据公式: 确定每个像素点的误差;根据所述每个像素点的误差,确定模型训练误差;
式中,pt为分割图像中像素点的像素值,所述像素值为未进行二值化的像素值,y为像素点的标注信息,当y=1时表明该像素点为背景像素点,当y=0时表明该像素点为裂缝像素点,α为加权常数。
8.一种裂缝分割装置,其特征在于,所述装置包括:
输入模块,用于将图像输入预先训练完成的裂缝分割模型;
确定模块,用于基于所述裂缝分割模型,对所述图像进行卷积处理和池化处理,得到第一特征图像;分别对所述第一特征图像进行平均池化处理、最大池化处理和空洞卷积处理,得到每个第二特征图像;将每个第二特征图像进行串行连接,得到第三特征图像,对所述第三特征图像进行残差卷积处理,输出裂缝分割图像。
9.如权利要求8所述的装置,其特征在于,所述确定模块,具体用于对所述图像进行卷积处理、池化处理和空洞卷积处理,得到第一特征图像。
10.如权利要求8所述的装置,其特征在于,所述装置还包括:
第一处理模块,用于对所述图像进行卷积处理和池化处理后的第一特征图像进行解码处理,得到第四特征图像;对每个第二特征图像分别进行解码处理,得到每个第五特征图像;将所述第四特征图像和每个第五特征图像作为每个第二特征图像;其中,所述第四特征图像和每个第五特征图像的分辨率相同。
11.如权利要求8所述的装置,其特征在于,所述确定模块,具体用于对所述第三特征图像进行卷积处理,得到第六特征图像;将所述第三特征图像和所述第六特征图像进行融合,输出裂缝分割图像。
12.如权利要求8所述的装置,其特征在于,所述方法还包括:
第二处理模块,用于对所述裂缝分割图像进行二值化处理。
13.如权利要求8所述的装置,其特征在于,所述装置还包括:
训练模块,用于将训练集中的每个裂缝图像输入裂缝分割模型,得到每个分割图像;根据所述每个分割图像和每个裂缝图像对应的标注图像,确定模型训练误差,经过预设的时间或预设的迭代次数后,将误差最小的模型作为训练完成的裂缝分割模型。
14.如权利要求13所述的装置,其特征在于,所述训练模块,具体用于根据公式: 确定每个像素点的误差;根据所述每个像素点的误差,确定模型训练误差;式中,pt为分割图像中像素点的像素值,所述像素值为未进行二值化的像素值,y为像素点的标注信息,当y=1时表明该像素点为背景像素点,当y=0时表明该像素点为裂缝像素点,α为加权常数。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一项所述的方法步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN201910256537.7A 2019-04-01 2019-04-01 一种裂缝分割方法、装置、电子设备及存储介质 Active CN110111334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910256537.7A CN110111334B (zh) 2019-04-01 2019-04-01 一种裂缝分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910256537.7A CN110111334B (zh) 2019-04-01 2019-04-01 一种裂缝分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110111334A true CN110111334A (zh) 2019-08-09
CN110111334B CN110111334B (zh) 2022-03-08

Family

ID=67484903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910256537.7A Active CN110111334B (zh) 2019-04-01 2019-04-01 一种裂缝分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110111334B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598714A (zh) * 2019-08-19 2019-12-20 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110751656A (zh) * 2019-09-24 2020-02-04 浙江大华技术股份有限公司 一种裂缝参数自动提取方法、装置及存储装置
CN111080641A (zh) * 2019-12-30 2020-04-28 上海商汤智能科技有限公司 裂缝检测方法、装置、计算机设备及存储介质
CN111311616A (zh) * 2020-02-13 2020-06-19 北京百度网讯科技有限公司 用于分割图像的方法和装置
CN111340085A (zh) * 2020-02-20 2020-06-26 深圳市商汤科技有限公司 数据处理方法及装置、处理器、电子设备、存储介质
CN111899263A (zh) * 2020-07-14 2020-11-06 深圳大学 图像分割方法、装置、计算机设备及存储介质
CN112115824A (zh) * 2020-09-07 2020-12-22 北京豆牛网络科技有限公司 果蔬检测方法、装置、电子设备以及计算机可读介质
CN112950652A (zh) * 2021-02-08 2021-06-11 深圳市优必选科技股份有限公司 机器人及其手部图像分割方法和装置
CN113506281A (zh) * 2021-07-23 2021-10-15 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法
CN114049356A (zh) * 2022-01-17 2022-02-15 湖南大学 一种结构表观裂缝检测方法、装置及系统
CN114331869A (zh) * 2021-12-01 2022-04-12 西南科技大学 一种坝面裂缝语义分割方法
CN112115824B (zh) * 2020-09-07 2024-06-11 北京豆牛网络科技有限公司 果蔬检测方法、装置、电子设备以及计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734211A (zh) * 2018-05-17 2018-11-02 腾讯科技(深圳)有限公司 图像处理的方法和装置
CN109360206A (zh) * 2018-09-08 2019-02-19 华中农业大学 基于深度学习的大田稻穗分割方法
CN109447247A (zh) * 2018-10-23 2019-03-08 北京旷视科技有限公司 获得卷积神经网络的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734211A (zh) * 2018-05-17 2018-11-02 腾讯科技(深圳)有限公司 图像处理的方法和装置
CN109360206A (zh) * 2018-09-08 2019-02-19 华中农业大学 基于深度学习的大田稻穗分割方法
CN109447247A (zh) * 2018-10-23 2019-03-08 北京旷视科技有限公司 获得卷积神经网络的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAO VU DUNG 等: "Autonomous concrete crack detection using deep fully convolutional neural network", 《AUTOMATION IN CONSTRUCTION》 *
周锦峰: "卷积神经网络在短文本情感多分类标注应用", 《计算机工程与应用》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598714A (zh) * 2019-08-19 2019-12-20 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110751656B (zh) * 2019-09-24 2022-11-22 浙江大华技术股份有限公司 一种裂缝参数自动提取方法、装置及存储装置
CN110751656A (zh) * 2019-09-24 2020-02-04 浙江大华技术股份有限公司 一种裂缝参数自动提取方法、装置及存储装置
CN111080641A (zh) * 2019-12-30 2020-04-28 上海商汤智能科技有限公司 裂缝检测方法、装置、计算机设备及存储介质
CN111311616A (zh) * 2020-02-13 2020-06-19 北京百度网讯科技有限公司 用于分割图像的方法和装置
CN111311616B (zh) * 2020-02-13 2023-04-07 北京百度网讯科技有限公司 用于分割图像的方法和装置
CN111340085A (zh) * 2020-02-20 2020-06-26 深圳市商汤科技有限公司 数据处理方法及装置、处理器、电子设备、存储介质
CN111340085B (zh) * 2020-02-20 2024-03-08 深圳市商汤科技有限公司 数据处理方法及装置、处理器、电子设备、存储介质
CN111899263B (zh) * 2020-07-14 2023-10-17 深圳大学 图像分割方法、装置、计算机设备及存储介质
CN111899263A (zh) * 2020-07-14 2020-11-06 深圳大学 图像分割方法、装置、计算机设备及存储介质
CN112115824A (zh) * 2020-09-07 2020-12-22 北京豆牛网络科技有限公司 果蔬检测方法、装置、电子设备以及计算机可读介质
CN112115824B (zh) * 2020-09-07 2024-06-11 北京豆牛网络科技有限公司 果蔬检测方法、装置、电子设备以及计算机可读介质
CN112950652A (zh) * 2021-02-08 2021-06-11 深圳市优必选科技股份有限公司 机器人及其手部图像分割方法和装置
CN112950652B (zh) * 2021-02-08 2024-01-19 深圳市优必选科技股份有限公司 机器人及其手部图像分割方法和装置
CN113506281A (zh) * 2021-07-23 2021-10-15 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法
CN113506281B (zh) * 2021-07-23 2024-02-27 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法
CN114331869A (zh) * 2021-12-01 2022-04-12 西南科技大学 一种坝面裂缝语义分割方法
CN114331869B (zh) * 2021-12-01 2022-08-19 西南科技大学 一种坝面裂缝语义分割方法
CN114049356A (zh) * 2022-01-17 2022-02-15 湖南大学 一种结构表观裂缝检测方法、装置及系统
CN114049356B (zh) * 2022-01-17 2022-04-12 湖南大学 一种结构表观裂缝检测方法、装置及系统

Also Published As

Publication number Publication date
CN110111334B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN110111334A (zh) 一种裂缝分割方法、装置、电子设备及存储介质
EP4044115A1 (en) Image processing method and apparatus based on artificial intelligence, and device and storage medium
CN109410219A (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN109145983A (zh) 一种基于轻量化网络的实时场景图像语义分割方法
CN109086722A (zh) 混合车牌识别方法、装置、电子设备
CN110175613A (zh) 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN112597985B (zh) 一种基于多尺度特征融合的人群计数方法
CN107679539B (zh) 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法
CN106779050A (zh) 一种卷积神经网络的优化方法和装置
CN109447963A (zh) 一种脑部影像识别的方法及装置
CN110223304A (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN109523546A (zh) 一种肺结节分析的方法及装置
CN114387512B (zh) 基于多尺度特征融合与增强的遥感影像建筑物提取方法
CN110457677A (zh) 实体关系识别方法及装置、存储介质、计算机设备
CN112348830B (zh) 基于改进3D U-Net的多器官分割方法
CN114463637A (zh) 一种基于深度学习的冬小麦遥感识别分析方法和系统
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN111444807A (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN114639102A (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN116342628B (zh) 病理图像分割方法、装置和计算机设备
CN114091648A (zh) 基于卷积神经网络的图像分类方法、装置及卷积神经网络
CN114141339B (zh) 膜性肾病的病理图像分类方法、装置、设备及存储介质
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant