CN108648172A - 一种基于3D-Unet的CT图肺结节检测系统 - Google Patents

一种基于3D-Unet的CT图肺结节检测系统 Download PDF

Info

Publication number
CN108648172A
CN108648172A CN201810287895.XA CN201810287895A CN108648172A CN 108648172 A CN108648172 A CN 108648172A CN 201810287895 A CN201810287895 A CN 201810287895A CN 108648172 A CN108648172 A CN 108648172A
Authority
CN
China
Prior art keywords
convolution
subelements
residual block
output end
connect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810287895.XA
Other languages
English (en)
Other versions
CN108648172B (zh
Inventor
臧宇航
朱安婕
郑德生
张雪
吉普照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yuan Shi Technology Co Ltd
Original Assignee
Sichuan Yuan Shi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yuan Shi Technology Co Ltd filed Critical Sichuan Yuan Shi Technology Co Ltd
Priority to CN201810287895.XA priority Critical patent/CN108648172B/zh
Publication of CN108648172A publication Critical patent/CN108648172A/zh
Application granted granted Critical
Publication of CN108648172B publication Critical patent/CN108648172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于3D‑Unet的CT图肺结节检测系统,包括顺次连接的CT图像输入与预处理模块、候选结节检测模块和误报消除模块;CT图像输入与预处理模块用于读取胸部CT图、获取CT图的间距和原点信息、以及对CT图进行肺容积分割;候选结节检测模块用于对预处理完成的图像输入到Unet网络并得到候选肺结节的位置,Unet网络包括十六个残差块、两个通路单元、四个最大池化单元、一个预备单元、一个概率性神经元失效单元、一个输出单元。本发明实现肺结节自动检测,解决了肺结节诊断中医生的工作量大、误诊几率高的问题,并且实现了3D‑Unet来检测肺结节,利用了CT图像中的更多的上下文的语义信息,检测准确率更高。

Description

一种基于3D-Unet的CT图肺结节检测系统
技术领域
本发明涉及一种基于3D-Unet的CT图肺结节检测系统。
背景技术
肺癌是发病率和死亡率增长最快,对人群健康和生命威胁最大的恶性肿瘤之一,其死亡率高达91.6%。肺结节是肺癌早期最常见的表现形式,对肺癌的检测最终归结于对肺结节的检测,CT影像检查则可直接显示和观察病变。
传统的肺结节检测方法是通过CT扫描,医生手动标注肺结节,其中CT的原理是断层扫描,病例一次检查产生的完整肺部CT影像常包含数百张,工作量的巨大增加,易引起医生的视觉疲劳致使误诊、漏诊等几率增高;同时由于肺部结构较复杂,肺结节在CT图像上的特征与肺部血管,支气管断面等表现相似,依据CT值不能进行有效区分,并且由于肺部结节位置分布比较随机,经常出现与肺腔膜、血管等粘连的情况,结节间形态上差异性也比较大,即便是经验丰富的放射科阅片医师也很难快速做出诊断。
现今深度学习方法在图像处理领域取得了巨大的成功,以深度学习为基础的系统在医学影像的识别与目标检测方面达到了极高的准确率,所以本系统引入卷积神经网络方法来协助医生有效检测病人的肺部结节,减少医生的工作量与误诊、漏诊的几率。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于3D-Unet的CT图肺结节检测系统,基于深度学习,根据病人的肺部CT图检测肺结节的系统,从而辅助医生的诊断。
本发明的目的是通过以下技术方案来实现的:一种基于3D-Unet的CT图肺结节检测系统,包括顺次连接的CT图像输入与预处理模块、候选结节检测模块和误报消除模块;
所述的CT图像输入与预处理模块用于读取胸部CT图、获取CT图的间距和原点信息、以及对CT图进行肺容积分割;所述的候选结节检测模块用于对预处理完成的图像输入到Unet网络并得到候选肺结节的位置;所述的误报消除模块用于将候选结节检测模块得到的位置图像输入到卷积神经网络中判断出候选区域是否为真的结节并输出概率;
其中,所述的Unet网络具体包括十六个残差块、两个通路单元、四个最大池化单元、一个预备单元、一个概率性神经元失效单元、一个输出单元;
所述的十六个残差块均包括第一3D卷积子单元、第一3D批量归一化子单元、第一ReLu子单元、第二3D卷积子单元、第二3D批量归一化子单元、第三3D卷积子单元、第三3D批量归一化子单元和第二ReLu子单元;其中,第一3D卷积子单元的输入端接收外部数据,两个输出端分别与第一3D批量归一化子单元和第二3D卷积子单元连接,第一3D批量归一化子单元的输出端与第一ReLu子单元连接,第一ReLu子单元的输出端与第三3D卷积子单元连接,第三3D卷积子单元的输出端与第三3D批量归一化子单元连接,第三3D批量归一化子单元的输出端与第二ReLu子单元的第一输入端连接,第二3D卷积子单元的输出端与第二3D批量归一化子单元连接,第二3D批量归一化子单元的输出端与第二ReLu子单元的第二输入端连接,第二ReLu子单元输出处理过后的数据;其中,第一残差块和第二残差块中的三个3D卷积子单元的卷积核个数均为32,第三残差块至第十三残差块中的三个3D卷积子单元的卷积核个数均为64,第十四残差块、第十五残差块和第十六残差块中的三个3D卷积子单元的卷积核个数均为128,并且所有残差块中第一3D卷积子单元、第二3D卷积子单元和第三3D卷积子单元的卷积核大小均为3、步长均为1、边界处理零填充为1;
所述的两个通路单元均顺次连接的包括3D卷积转置子单元、第四3D批量归一化子单元和第三ReLu子单元,3D卷积转置子单元的输入端接收外部数据,第三ReLu子单元的输出端输出处理过后的数据;其中3D卷积转置子单元的卷积核的大小为2、步长为2、卷积核的个数为64;
所述的四个最大池化单元的卷积核个数均为2、步长均为2;
所述的预备单元包括顺次连接的第四3D卷积子单元、第五3D批量归一化子单元、第四ReLu子单元、第五3D卷积子单元、第六3D批量归一化子单元和第五ReLu子单元,其中,第四3D卷积子单元的输入端接收外部数据,第五ReLu子单元的输出端输出处理过后的数据;所述的第四3D卷积子单元和第五3D卷积子单元的卷积核个数均为2、步长均为3、边界处理零填充为1;
所述的概率性神经元失效单元防止神经网络过拟合,具体操作为以一定概率使一些神经元失效;
所述的输出单元包括顺次连接的第六3D卷积子单元、第六ReLu子单元和第七3D卷积子单元,第六3D卷积子单元的输入端接收外部数据,第七3D卷积子单元的输出端输出处理过后的数据;其中,第六3D卷积子单元的卷积核个数为64、卷积核大小为1、步长为1,第七3D卷积子单元的卷积核个数为15、卷积核大小为1、步长为1;
其中,预备单元的输入端输入经过CT图像输入与预处理模块预处理过后的数据,预备单元的输出端与第一最大池化单元连接,第一最大池化单元的输出端与第一残差块连接,第一残差块的输出端与第二残差块连接,第二残差块的输出端与第二最大池化单元连接,第二最大池化单元的输出端与第三残差块连接,第三残差块的输出端与第四残差块连接,第四残差块的两个输出端分别与第十三残差块和第三最大池化单元连接,第三最大池化单元的输出端与第五残差块连接,第五残差块的输出端与第六残差块连接,第六残差块的输出端与第七残差块连接,第七残差块的两个分别输出端与第四最大池化单元和第十一残差块连接,第四最大池化单元的输出端与第八残差块连接,第八残差块的输出端与第九残差块连接,第九残差块的输出端与第十残差块连接,第十残差块的输出端与第一通路单元连接,第一通路单元的输出端也与第十一残差块连接,第十一残差块的输出端与第十二残差块连接,第十二残差块的输出端与第十三残差块连接,第十三残差块的输出端与第二通路单元连接,第二通路单元的输出端也与第十四残差块连接,第十四残差块的输出端与第十五残差块连接,第十五残差块的输出端与第十六残差块连接,第十六残差块的输出端与概率性神经元失效单元连接,概率性神经元失效单元的输出端与输出单元连接,输出单元的输出端向误报消除模块输出数据。
进一步地,所述的CT图像输入与预处理模块在读取胸部CT图后,将图像信息保存到numpy数组中。
进一步地,所述的对CT图肺容积分割包括:
(1)根据图形学对图像中的像素进行标注,使相邻的在同一区域的像素有相同的标记;在标注的过程中由于实际影像没有严格的区域划分,导致存在一些很小的区域,参考周围区域的标记将小区域融合进其他的面积较大的区域;
(2)保留左右肺叶,对外部的区域阈值填充:分别以阈值3和4产生两个掩膜,然后处理这两个掩膜,具体过程为:计算掩膜中的每个点的值的和,如果和大于零对掩膜进行形态学处理计算其凸包;接着如果凸包中的值之和大于1.5倍的原来掩膜中的值的和,就用形态学处理过后的掩膜替换掉原来的掩膜,否则认为这个掩膜刚好盖住肺部所述掩膜不变;对于掩膜之外的区域,即肺部外的区域用170的阈值进行填充,掩膜内不属于肺部的区域也使用170的阈值进行填充;
(3)进行数据重采样,先获得DICOM格式数据的坐标中心、像素间距,再通过插值把图像的分辨率统一起来,即将原始图像转换为1mm*1mm*1mm的分辨率;在转换分辨率的时候使用最临近插值法;
(4)按uint8类型、灰度图重新保存图片;
(5)将CT图从世界坐标转换成体素坐标,保存原来的坐标信息。进行世界坐标转化的同时,还需要根据肺部区域,将用于训练神经网络的标注数据也转换成体素坐标;其中,转换坐标的时候使用了开始读取的间距和坐标原点的信息。
进一步地,所述的一定概率为0.1。
进一步地,所述的误报消除模型使用Resnet34网络。
进一步地,在训练候选结节检测模块的神经网络的过程中,包括小肺结节增强单元:用于训练的数据中每个病人的CT图都是有医生的标记的,标记包括结节的位置、直径;在进入候选结节检测模块训练之前,将预处理之后的图像按照肺结节的正例中不同大小的肺结节按照比例通过翻转、旋转、交换空间位置这些手段,使大小肺结节的比例接近相同。
本发明的有益效果是:
(1)本发明实现了肺结节自动检测,解决了肺结节诊断中医生的工作量大、误诊几率高的问题,并且实现了3D-Unet来检测肺结节,利用了CT图像中的更多的上下文的语义信息,检测准确率更高。
(2)在预处理过程中,采用掩膜值计算的方式,能更好得找到刚好覆盖住肺部的掩膜,这样在检测肺结节的时候图像中干扰的地方更少。
(3)在训练候选结节检测模块的神经网络之前我们会将预处理之后的图像按照肺结节的正例中不同大小的肺结节按照比例通过翻转、旋转、交换空间位置这些手段使他们的比例接近相同,这样可以提高对不同尺寸肺结节的识别率,对小结节的识别效果更好。
附图说明
图1为本发明结构方框图;
图2为本发明Unet网络结构示意图;
图3为残差块结构示意图;
图4为通路单元结构示意图;
图5为预备单元结构示意图;
图6为输出单元结构示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案:
如图1所示,一种基于3D-Unet的CT图肺结节检测系统,包括顺次连接的CT图像输入与预处理模块、候选结节检测模块和误报消除模块。
其中,由于CT图拍摄的时候会将机器的边缘部分也拍进去或者会将病人的骨头也拍进去,这样对于神经网络来说是噪音,不利于处理,所以预处理就是尽可能地将肺部保留下来,同时将一些无关的东西去掉。
具体地,所述的CT图像输入与预处理模块用于读取格式为DICOM的胸部CT图并将图像信息保存到numpy数组中、获取CT图的间距和原点信息、以及对CT图进行肺容积分割。
其中,numpy是python用于科学计算的一个包,它的性能更好,支持对矩阵的多种操作,所以在本实施例中使用numpy。
而在本实施例中,所述的对CT图肺容积分割包括:
(1)根据图形学对图像中的像素进行标注,使相邻的在同一区域的像素有相同的标记(label)。在标注的过程中由于实际影像没有严格的区域划分,导致存在一些很小的区域,参考周围区域的标记将小区域融合进其他的面积较大的区域。
(2)保留左右肺叶,对外部的区域阈值填充:分别以阈值3和4产生两个掩膜,然后处理这两个掩膜,具体过程为:计算掩膜中的每个点的值的和,如果和大于零对掩膜进行形态学处理计算其凸包;接着如果凸包中的值之和大于1.5倍的原来掩膜中的值的和,就用形态学处理过后的掩膜替换掉原来的掩膜,否则认为这个掩膜刚好盖住肺部所述掩膜不变;对于掩膜之外的区域,即肺部外的区域用170的阈值进行填充,掩膜内不属于肺部的区域(比如属于骨头的区域)也使用170的阈值进行填充。本步骤的效果在于:能更好得找到刚好覆盖住肺部的掩膜,这样在检测肺结节的时候图像中干扰的地方更少。
(3)进行数据重采样,先获得DICOM格式数据的坐标中心(orgion)、像素间距(spacing),再通过插值把图像的分辨率统一起来,即将原始图像转换为1mm*1mm*1mm的分辨率;在转换分辨率的时候使用最临近插值法。
(4)按uint8类型、灰度图重新保存图片。
(5)将CT图从世界坐标(World Coordinate)转换成体素坐标(VoxelCoordinate),保存原来的坐标信息。进行世界坐标转化的同时,还需要根据肺部区域,将用于训练神经网络的标注数据(ground truth)也转换成体素坐标。由于在CT图扫描的时候是世界坐标,这个坐标是以CT机的扫描的中心作为图片的坐标中心,但是这样就不利于计算机处理(不利于转换成数组的格式进行各种形态学、分割肺部的处理),所以就需要转换成计算机中表示3D的体素坐标。转换坐标的时候使用了开始读取的间距和坐标原点的信息。
更优地,在本实施例中,对于后续候选结节检测模块,在训练该候选结节检测模块的神经网络之前,我们会将预处理之后的图像按照肺结节的正例中不同大小的肺结节按照比例通过翻转、旋转、交换空间位置这些手段使他们的比例接近相同,这样可以提高对不同尺寸肺结节的识别率,对小结节的识别效果更好。例如大结节占70%,小结节占30%,那么使用这样的数据进行训练对小结节的识别率就较低,所以通过翻转、旋转等手段将小结节的数量提高上去达到1:1,那么效果更好。
假设用于训练神经网络的数据中直径大于3mm的结节占70%,直径小于3mm的结节占30%。那么使用原始数据训练出来的模型对于大的结节更加敏感,而对于小结节因为数据比较少所以不是那么敏感,可能会诊断不出来小型的结节。那么这个时候就可以通过翻转、旋转、剪切等手段进行增强。
用于训练的数据中每个病人的CT图都是有医生的标记的,标记包括结节的位置、直径。增强小结节的时候,先从全部训练图像数据中获取包含小结节的图像数据,然后进行翻转(左右翻转、上下翻转),这样就得到了新的包含小结节的图像数据。或者是对图像数据进行旋转等操作,最终使得大结节和小结节之间的比例平衡。之后对候选结节检测模块中的神经网络进行训练。
在本实施例中,所述的候选结节检测模块用于对预处理完成的图像输入到Unet网络并得到候选肺结节的位置。在本实施例中采用3D卷积,这将聚合更多的语义信息。相比2D的Unet,每一次利用CT图进行诊断将能利用更多的CT图的上下的空间位置信息,诊断结果比2Dunet效果要好。
具体地,如图2所示,所述的Unet网络具体包括十六个残差块、两个通路单元(path)、四个最大池化单元、一个预备单元、一个概率性神经元失效单元(dropout)、一个输出单元(output);
残差块的结构在本发明的神经网络的多处都会被应用到,除了卷积核的个数不同之外其余的部分全都相同。具体地,如图3所示,所述的十六个残差块均包括第一3D卷积子单元、第一3D批量归一化子单元、第一ReLu子单元、第二3D卷积子单元、第二3D批量归一化子单元、第三3D卷积子单元、第三3D批量归一化子单元和第二ReLu子单元;其中,第一3D卷积子单元的输入端接收外部数据,两个输出端分别与第一3D批量归一化子单元和第二3D卷积子单元连接,第一3D批量归一化子单元的输出端与第一ReLu子单元连接,第一ReLu子单元的输出端与第三3D卷积子单元连接,第三3D卷积子单元的输出端与第三3D批量归一化子单元连接,第三3D批量归一化子单元的输出端与第二ReLu子单元的第一输入端连接,第二3D卷积子单元的输出端与第二3D批量归一化子单元连接,第二3D批量归一化子单元的输出端与第二ReLu子单元的第二输入端连接,第二ReLu子单元输出处理过后的数据;其中,第一残差块和第二残差块中的三个3D卷积子单元的卷积核个数均为32,第三残差块至第十三残差块中的三个3D卷积子单元的卷积核个数均为64,第十四残差块、第十五残差块和第十六残差块中的三个3D卷积子单元的卷积核个数均为128,并且所有残差块中第一3D卷积子单元、第二3D卷积子单元和第三3D卷积子单元的卷积核大小均为3、步长均为1、边界处理零填充为1,ReLu子单元的表达式为f(x)=max(0,x)。
如图4所示,所述的两个通路单元均顺次连接的包括3D卷积转置子单元、第四3D批量归一化子单元和第三ReLu子单元,3D卷积转置子单元的输入端接收外部数据,第三ReLu子单元的输出端输出处理过后的数据;其中3D卷积转置子单元的卷积核的大小为2、步长为2、卷积核的个数为64;ReLu子单元的表达式为f(x)=max(0,x)。
所述的四个最大池化单元的卷积核个数均为2、步长均为2;
如图5所示,所述的预备单元包括顺次连接的第四3D卷积子单元、第五3D批量归一化子单元、第四ReLu子单元、第五3D卷积子单元、第六3D批量归一化子单元和第五ReLu子单元,其中,第四3D卷积子单元的输入端接收外部数据,第五ReLu子单元的输出端输出处理过后的数据;所述的第四3D卷积子单元和第五3D卷积子单元的卷积核个数均为2、步长均为3、边界处理零填充为1;ReLu子单元的表达式为f(x)=max(0,x)。
所述的概率性神经元失效单元防止神经网络过拟合,具体操作为以一定概率使一些神经元失效;更优地,在本实施例中,所述的一定概率为0.1。在训练的时候会按照0.1的概率让前面那一层的神经元失效,这样可以有效防止过拟合,最终的检测结果更好。
如图6所示,所述的输出单元包括顺次连接的第六3D卷积子单元、第六ReLu子单元和第七3D卷积子单元,第六3D卷积子单元的输入端接收外部数据,第七3D卷积子单元的输出端输出处理过后的数据;其中,第六3D卷积子单元的卷积核个数为64、卷积核大小为1、步长为1,第七3D卷积子单元的卷积核个数为15、卷积核大小为1、步长为1;;ReLu子单元的表达式为f(x)=max(0,x)。
其中,如图2所示,预备单元的输入端输入经过CT图像输入与预处理模块预处理过后的数据,预备单元的输出端与第一最大池化单元连接,第一最大池化单元的输出端与第一残差块连接,第一残差块的输出端与第二残差块连接,第二残差块的输出端与第二最大池化单元连接,第二最大池化单元的输出端与第三残差块连接,第三残差块的输出端与第四残差块连接,第四残差块的两个输出端分别与第十三残差块和第三最大池化单元连接,第三最大池化单元的输出端与第五残差块连接,第五残差块的输出端与第六残差块连接,第六残差块的输出端与第七残差块连接,第七残差块的两个分别输出端与第四最大池化单元和第十一残差块连接,第四最大池化单元的输出端与第八残差块连接,第八残差块的输出端与第九残差块连接,第九残差块的输出端与第十残差块连接,第十残差块的输出端与第一通路单元连接,第一通路单元的输出端也与第十一残差块连接,第十一残差块的输出端与第十二残差块连接,第十二残差块的输出端与第十三残差块连接,第十三残差块的输出端与第二通路单元连接,第二通路单元的输出端也与第十四残差块连接,第十四残差块的输出端与第十五残差块连接,第十五残差块的输出端与第十六残差块连接,第十六残差块的输出端与概率性神经元失效单元连接,概率性神经元失效单元的输出端与输出单元连接,输出单元的输出端向误报消除模块输出数据。
其中,本模型在训练的时候使用了多任务损失,进行一次训练进行反向传播的损失不仅包括预测出来的位置和真实位置之间的偏差计算出来的损失,也包含预测出来的这个位置是否包含结节与真实的情况进行计算损失。
多损失是训练时神经网络模型最终输出的值(即预测出来的结节的位置、直径、概率)和真实值(医生的标注)之间通过一些函数计算出的用于反向传播的值。这里的多任务损失是训练时网络输出的结节的位置、直径与真实值计算一个损失;输出的这个位置含结节的概率又和真实的标记计算一个损失。
这里用于计算位置、直径损失的函数是SmoothL1Loss,x为神经网络输出的值,t是真实值,下同:
而计算概率损失的是BCELoss(Binary Cross Entropy Loss):
BCELoss(x,t)=-[t*logx+(1-t)*log(1-x)]
另外,本实施例中的Unet网络中,从左边的网络得到输出,然后输入右边的网络中(第十一残差块和第十四残差块),这样是为了聚合不同层级的语义信息,能够加强不同层级的特征(feature map)上的信息。可以认为本发明中每个最大采样将特征图(featuremap)的边长减半,这样是为了得到高层次的语义信息(Semantic information)。聚合语义信息是整个网络的模型结构的优势。
所述的误报消除模块用于将候选结节检测模块得到的位置图像输入到卷积神经网络中判断出候选区域是否为真的结节并输出概率;
其中,输入是经过预处理之后的小块3d图像,这些图像也是经过候选结节检测模块标定的候选肺结节区域,而输出这个小块图像是真的肺结节或者是误报。误报消除模块使用Resnet34网络。
本发明是通过实施例来描述的,但并不对本发明构成限制,参照本发明的描述,所公开的实施例的其他变化,如对于本领域的专业人士是容易想到的,这样的变化应该属于本发明权利要求限定的范围之内。

Claims (6)

1.一种基于3D-Unet的CT图肺结节检测系统,包括顺次连接的CT图像输入与预处理模块、候选结节检测模块和误报消除模块;
其特征在于:所述的CT图像输入与预处理模块用于读取胸部CT图、获取CT图的间距和原点信息、以及对CT图进行肺容积分割;所述的候选结节检测模块用于对预处理完成的图像输入到Unet网络并得到候选肺结节的位置;所述的误报消除模块用于将候选结节检测模块得到的位置图像输入到卷积神经网络中判断出候选区域是否为真的结节并输出概率;
其中,所述的Unet网络具体包括十六个残差块、两个通路单元、四个最大池化单元、一个预备单元、一个概率性神经元失效单元、一个输出单元;
所述的十六个残差块均包括第一3D卷积子单元、第一3D批量归一化子单元、第一ReLu子单元、第二3D卷积子单元、第二3D批量归一化子单元、第三3D卷积子单元、第三3D批量归一化子单元和第二ReLu子单元;其中,第一3D卷积子单元的输入端接收外部数据,两个输出端分别与第一3D批量归一化子单元和第二3D卷积子单元连接,第一3D批量归一化子单元的输出端与第一ReLu子单元连接,第一ReLu子单元的输出端与第三3D卷积子单元连接,第三3D卷积子单元的输出端与第三3D批量归一化子单元连接,第三3D批量归一化子单元的输出端与第二ReLu子单元的第一输入端连接,第二3D卷积子单元的输出端与第二3D批量归一化子单元连接,第二3D批量归一化子单元的输出端与第二ReLu子单元的第二输入端连接,第二ReLu子单元输出处理过后的数据;其中,第一残差块和第二残差块中的三个3D卷积子单元的卷积核个数均为32,第三残差块至第十三残差块中的三个3D卷积子单元的卷积核个数均为64,第十四残差块、第十五残差块和第十六残差块中的三个3D卷积子单元的卷积核个数均为128,并且所有残差块中第一3D卷积子单元、第二3D卷积子单元和第三3D卷积子单元的卷积核大小均为3、步长均为1、边界处理零填充为1;
所述的两个通路单元均顺次连接的包括3D卷积转置子单元、第四3D批量归一化子单元和第三ReLu子单元,3D卷积转置子单元的输入端接收外部数据,第三ReLu子单元的输出端输出处理过后的数据;其中3D卷积转置子单元的卷积核的大小为2、步长为2、卷积核的个数为64;
所述的四个最大池化单元的卷积核个数均为2、步长均为2;
所述的预备单元包括顺次连接的第四3D卷积子单元、第五3D批量归一化子单元、第四ReLu子单元、第五3D卷积子单元、第六3D批量归一化子单元和第五ReLu子单元,其中,第四3D卷积子单元的输入端接收外部数据,第五ReLu子单元的输出端输出处理过后的数据;所述的第四3D卷积子单元和第五3D卷积子单元的卷积核个数均为2、步长均为3、边界处理零填充为1;
所述的概率性神经元失效单元防止神经网络过拟合,具体操作为以一定概率使一些神经元失效;
所述的输出单元包括顺次连接的第六3D卷积子单元、第六ReLu子单元和第七3D卷积子单元,第六3D卷积子单元的输入端接收外部数据,第七3D卷积子单元的输出端输出处理过后的数据;其中,第六3D卷积子单元的卷积核个数为64、卷积核大小为1、步长为1,第七3D卷积子单元的卷积核个数为15、卷积核大小为1、步长为1;
其中,预备单元的输入端输入经过CT图像输入与预处理模块预处理过后的数据,预备单元的输出端与第一最大池化单元连接,第一最大池化单元的输出端与第一残差块连接,第一残差块的输出端与第二残差块连接,第二残差块的输出端与第二最大池化单元连接,第二最大池化单元的输出端与第三残差块连接,第三残差块的输出端与第四残差块连接,第四残差块的两个输出端分别与第十三残差块和第三最大池化单元连接,第三最大池化单元的输出端与第五残差块连接,第五残差块的输出端与第六残差块连接,第六残差块的输出端与第七残差块连接,第七残差块的两个分别输出端与第四最大池化单元和第十一残差块连接,第四最大池化单元的输出端与第八残差块连接,第八残差块的输出端与第九残差块连接,第九残差块的输出端与第十残差块连接,第十残差块的输出端与第一通路单元连接,第一通路单元的输出端也与第十一残差块连接,第十一残差块的输出端与第十二残差块连接,第十二残差块的输出端与第十三残差块连接,第十三残差块的输出端与第二通路单元连接,第二通路单元的输出端也与第十四残差块连接,第十四残差块的输出端与第十五残差块连接,第十五残差块的输出端与第十六残差块连接,第十六残差块的输出端与概率性神经元失效单元连接,概率性神经元失效单元的输出端与输出单元连接,输出单元的输出端向误报消除模块输出数据。
2.根据权利要求1所述的一种基于3D-Unet的CT图肺结节检测系统,其特征在于:所述的CT图像输入与预处理模块在读取胸部CT图后,将图像信息保存到numpy数组中。
3.根据权利要求1所述的一种基于3D-Unet的CT图肺结节检测系统,其特征在于:所述的对CT图肺容积分割包括:
(1)根据图形学对图像中的像素进行标注,使相邻的在同一区域的像素有相同的标记;在标注的过程中由于实际影像没有严格的区域划分,导致存在一些很小的区域,参考周围区域的标记将小区域融合进其他的面积较大的区域;
(2)保留左右肺叶,对外部的区域阈值填充:分别以阈值3和4产生两个掩膜,然后处理这两个掩膜,具体过程为:计算掩膜中的每个点的值的和,如果和大于零对掩膜进行形态学处理计算其凸包;接着如果凸包中的值之和大于1.5倍的原来掩膜中的值的和,就用形态学处理过后的掩膜替换掉原来的掩膜,否则认为这个掩膜刚好盖住肺部所述掩膜不变;对于掩膜之外的区域,即肺部外的区域用170的阈值进行填充,掩膜内不属于肺部的区域也使用170的阈值进行填充;
(3)进行数据重采样,先获得DICOM格式数据的坐标中心、像素间距,再通过插值把图像的分辨率统一起来,即将原始图像转换为1mm*1mm*1mm的分辨率;在转换分辨率的时候使用最临近插值法;
(4)按uint8类型、灰度图重新保存图片;
(5)将CT图从世界坐标转换成体素坐标,保存原来的坐标信息。进行世界坐标转化的同时,还需要根据肺部区域,将用于训练神经网络的标注数据也转换成体素坐标;其中,转换坐标的时候使用了开始读取的间距和坐标原点的信息。
4.根据权利要求1所述的一种基于3D-Unet的CT图肺结节检测系统,其特征在于:所述的一定概率为0.1。
5.根据权利要求1所述的一种基于3D-Unet的CT图肺结节检测系统,其特征在于:所述的误报消除模型使用Resnet34网络。
6.根据权利要求1所述的一种基于3D-Unet的CT图肺结节检测系统,其特征在于:在训练候选结节检测模块的神经网络的过程中,包括小肺结节增强单元:用于训练的数据中每个病人的CT图都是有医生的标记的,标记包括结节的位置、直径;在进入候选结节检测模块训练之前,将预处理之后的图像按照肺结节的正例中不同大小的肺结节按照比例通过翻转、旋转、交换空间位置这些手段,使大小肺结节的比例接近相同。
CN201810287895.XA 2018-03-30 2018-03-30 一种基于3D-Unet的CT图肺结节检测系统 Active CN108648172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810287895.XA CN108648172B (zh) 2018-03-30 2018-03-30 一种基于3D-Unet的CT图肺结节检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810287895.XA CN108648172B (zh) 2018-03-30 2018-03-30 一种基于3D-Unet的CT图肺结节检测系统

Publications (2)

Publication Number Publication Date
CN108648172A true CN108648172A (zh) 2018-10-12
CN108648172B CN108648172B (zh) 2021-08-03

Family

ID=63745406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810287895.XA Active CN108648172B (zh) 2018-03-30 2018-03-30 一种基于3D-Unet的CT图肺结节检测系统

Country Status (1)

Country Link
CN (1) CN108648172B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109447960A (zh) * 2018-10-18 2019-03-08 神州数码医疗科技股份有限公司 一种对象识别方法和装置
CN109523546A (zh) * 2018-12-21 2019-03-26 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109685807A (zh) * 2018-11-16 2019-04-26 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于深度学习的下肢深静脉血栓自动分割方法及系统
CN109711315A (zh) * 2018-12-21 2019-05-03 四川大学华西医院 一种肺结节分析的方法及装置
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN109727251A (zh) * 2018-12-29 2019-05-07 上海联影智能医疗科技有限公司 一种定量肺部病症分割的系统、方法和设备
CN109785963A (zh) * 2019-01-16 2019-05-21 成都蓝景信息技术有限公司 基于深度学习技术的肺结节筛查算法
CN109801262A (zh) * 2018-12-21 2019-05-24 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109801264A (zh) * 2018-12-21 2019-05-24 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109801263A (zh) * 2018-12-21 2019-05-24 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109886307A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像检测方法及系统
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN109949318A (zh) * 2019-03-07 2019-06-28 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CN110246145A (zh) * 2019-06-21 2019-09-17 福州大学 一种腹部ct图像的分割方法
CN110400295A (zh) * 2019-07-19 2019-11-01 杭州依图医疗技术有限公司 一种肺结节相对位置确定的方法及装置
CN110458801A (zh) * 2019-06-24 2019-11-15 深圳市未来媒体技术研究院 一种3d双路径神经网络及基于该网络的肺部结节检测方法
CN110458097A (zh) * 2019-08-09 2019-11-15 软通动力信息技术有限公司 一种人脸图片识别方法、装置、电子设备及存储介质
CN110599467A (zh) * 2019-08-29 2019-12-20 上海联影智能医疗科技有限公司 非限束器区域检测方法、装置、计算机设备和存储介质
CN110634132A (zh) * 2019-08-30 2019-12-31 浙江大学 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法
CN110717913A (zh) * 2019-09-06 2020-01-21 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
CN110728675A (zh) * 2019-10-22 2020-01-24 慧影医疗科技(北京)有限公司 肺结节分析装置、模型训练方法、装置及分析设备
CN111091564A (zh) * 2019-12-25 2020-05-01 金华市中心医院 一种基于3DUnet的肺结节大小检测系统
CN111242926A (zh) * 2020-01-13 2020-06-05 北京妙医佳健康科技集团有限公司 病灶检测方法、装置及电子设备
CN111340827A (zh) * 2020-05-18 2020-06-26 天津精诊医疗科技有限公司 一种肺部ct影像数据处理分析方法及系统
CN112349429A (zh) * 2020-12-01 2021-02-09 苏州体素信息科技有限公司 疾病预测方法、疾病预测模型训练方法及装置、存储介质
CN113012050A (zh) * 2019-12-18 2021-06-22 武汉Tcl集团工业研究院有限公司 一种图像处理方法及装置
CN113657558A (zh) * 2021-10-18 2021-11-16 广东航宇卫星科技有限公司 一种针对骶髂关节ct图像的分类评级方法及装置
US11436720B2 (en) 2018-12-28 2022-09-06 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating image metric

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310457A (zh) * 2013-06-18 2013-09-18 哈尔滨工程大学 一种基于抛物线修正凸包的肺实质分割方法
US20170039711A1 (en) * 2015-08-07 2017-02-09 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting central pulmonary embolism in ct pulmonary angiography images
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN106802149A (zh) * 2016-11-29 2017-06-06 南京航空航天大学 基于高维组合特征的快速序列图像匹配导航方法
CN106997594A (zh) * 2016-01-26 2017-08-01 上海联影医疗科技有限公司 一种眼部组织的定位方法及装置
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107274442A (zh) * 2017-07-04 2017-10-20 北京云测信息技术有限公司 一种图像识别方法和装置
CN107358613A (zh) * 2017-08-15 2017-11-17 上海斐讯数据通信技术有限公司 肺部区域分割方法及其系统
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN107644225A (zh) * 2017-10-31 2018-01-30 北京青燕祥云科技有限公司 肺部病灶识别方法、装置和实现装置
CN107680088A (zh) * 2017-09-30 2018-02-09 百度在线网络技术(北京)有限公司 用于分析医学影像的方法和装置
CN107767362A (zh) * 2017-09-01 2018-03-06 苏州侠洛信息科技有限公司 一种基于深度学习的肺癌早筛装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310457A (zh) * 2013-06-18 2013-09-18 哈尔滨工程大学 一种基于抛物线修正凸包的肺实质分割方法
US20170039711A1 (en) * 2015-08-07 2017-02-09 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting central pulmonary embolism in ct pulmonary angiography images
CN106997594A (zh) * 2016-01-26 2017-08-01 上海联影医疗科技有限公司 一种眼部组织的定位方法及装置
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法
CN106802149A (zh) * 2016-11-29 2017-06-06 南京航空航天大学 基于高维组合特征的快速序列图像匹配导航方法
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107274442A (zh) * 2017-07-04 2017-10-20 北京云测信息技术有限公司 一种图像识别方法和装置
CN107358613A (zh) * 2017-08-15 2017-11-17 上海斐讯数据通信技术有限公司 肺部区域分割方法及其系统
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN107767362A (zh) * 2017-09-01 2018-03-06 苏州侠洛信息科技有限公司 一种基于深度学习的肺癌早筛装置
CN107680088A (zh) * 2017-09-30 2018-02-09 百度在线网络技术(北京)有限公司 用于分析医学影像的方法和装置
CN107644225A (zh) * 2017-10-31 2018-01-30 北京青燕祥云科技有限公司 肺部病灶识别方法、装置和实现装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FANGZHOU LIAO等: "Evaluate the Malignancy of Pulmonary Nodules Using the 3D Deep Leaky Noisy-or Network", 《ARXIV:1711.08324V1》 *
WEI YANG等: "Improving Low-Dose CT Image Using Residual Convolutional Network", 《IEEE ACCESS》 *
朱翔宇: "基于卷积神经网络的肺部结节检测系统研制", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李金等: "基于改进凸包算法的肺实质分割研究", 《中国生物医学工程学报》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447960A (zh) * 2018-10-18 2019-03-08 神州数码医疗科技股份有限公司 一种对象识别方法和装置
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN109685807A (zh) * 2018-11-16 2019-04-26 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于深度学习的下肢深静脉血栓自动分割方法及系统
CN109801262A (zh) * 2018-12-21 2019-05-24 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109523546A (zh) * 2018-12-21 2019-03-26 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109801264A (zh) * 2018-12-21 2019-05-24 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109801263A (zh) * 2018-12-21 2019-05-24 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109711315A (zh) * 2018-12-21 2019-05-03 四川大学华西医院 一种肺结节分析的方法及装置
US11436720B2 (en) 2018-12-28 2022-09-06 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating image metric
CN109727251A (zh) * 2018-12-29 2019-05-07 上海联影智能医疗科技有限公司 一种定量肺部病症分割的系统、方法和设备
CN109785963A (zh) * 2019-01-16 2019-05-21 成都蓝景信息技术有限公司 基于深度学习技术的肺结节筛查算法
CN109886307A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像检测方法及系统
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN109949318A (zh) * 2019-03-07 2019-06-28 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CN109949318B (zh) * 2019-03-07 2023-11-14 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CN110246145A (zh) * 2019-06-21 2019-09-17 福州大学 一种腹部ct图像的分割方法
CN110246145B (zh) * 2019-06-21 2023-02-21 福州大学 一种腹部ct图像的分割方法
CN110458801A (zh) * 2019-06-24 2019-11-15 深圳市未来媒体技术研究院 一种3d双路径神经网络及基于该网络的肺部结节检测方法
CN110400295A (zh) * 2019-07-19 2019-11-01 杭州依图医疗技术有限公司 一种肺结节相对位置确定的方法及装置
CN110458097A (zh) * 2019-08-09 2019-11-15 软通动力信息技术有限公司 一种人脸图片识别方法、装置、电子设备及存储介质
CN110599467A (zh) * 2019-08-29 2019-12-20 上海联影智能医疗科技有限公司 非限束器区域检测方法、装置、计算机设备和存储介质
CN110634132A (zh) * 2019-08-30 2019-12-31 浙江大学 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法
CN110717913B (zh) * 2019-09-06 2022-04-22 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
CN110717913A (zh) * 2019-09-06 2020-01-21 浪潮电子信息产业股份有限公司 一种图像分割方法及装置
CN110728675A (zh) * 2019-10-22 2020-01-24 慧影医疗科技(北京)有限公司 肺结节分析装置、模型训练方法、装置及分析设备
CN113012050B (zh) * 2019-12-18 2024-05-24 武汉Tcl集团工业研究院有限公司 一种图像处理方法及装置
CN113012050A (zh) * 2019-12-18 2021-06-22 武汉Tcl集团工业研究院有限公司 一种图像处理方法及装置
CN111091564A (zh) * 2019-12-25 2020-05-01 金华市中心医院 一种基于3DUnet的肺结节大小检测系统
CN111091564B (zh) * 2019-12-25 2024-04-26 金华市中心医院 一种基于3DUnet的肺结节大小检测系统
CN111242926A (zh) * 2020-01-13 2020-06-05 北京妙医佳健康科技集团有限公司 病灶检测方法、装置及电子设备
CN111340827A (zh) * 2020-05-18 2020-06-26 天津精诊医疗科技有限公司 一种肺部ct影像数据处理分析方法及系统
CN112349429A (zh) * 2020-12-01 2021-02-09 苏州体素信息科技有限公司 疾病预测方法、疾病预测模型训练方法及装置、存储介质
CN113657558A (zh) * 2021-10-18 2021-11-16 广东航宇卫星科技有限公司 一种针对骶髂关节ct图像的分类评级方法及装置

Also Published As

Publication number Publication date
CN108648172B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN108648172A (zh) 一种基于3D-Unet的CT图肺结节检测系统
CN108022238B (zh) 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN108537784B (zh) 一种基于深度学习的ct图肺结节检测方法
CN108615237A (zh) 一种肺部图像处理方法及图像处理设备
US8218849B2 (en) Method and system for automatic landmark detection using discriminative joint context
CN110807788A (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN109492547B (zh) 一种结节识别方法、装置和存储介质
CN112258530A (zh) 基于神经网络的计算机辅助肺结节自动分割方法
CN108629784A (zh) 一种基于深度学习的ct图像颅内血管分割方法及系统
Li et al. Lung nodule detection with deep learning in 3D thoracic MR images
CN110458830A (zh) 图像处理方法、装置、服务器及存储介质
CN112750117B (zh) 一种基于卷积神经网络的血液细胞图像检测与计数方法
KR102015224B1 (ko) 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN110458801A (zh) 一种3d双路径神经网络及基于该网络的肺部结节检测方法
WO2021183765A1 (en) Automated detection of tumors based on image processing
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
Yuan et al. Pulmonary nodule detection using 3-d residual u-net oriented context-guided attention and multi-branch classification network
CN112669319B (zh) 一种多视角多尺度淋巴结假阳性抑制建模方法
WO2020263002A1 (ko) 혈관 세그멘테이션 방법
CN109410170A (zh) 图像数据处理方法、装置及设备
CN113393445B (zh) 乳腺癌影像确定方法及系统
CN115619706A (zh) 一种基于深度学习的肺结节检测方法
CN115661100A (zh) 一种正电子发射计算机断层显像病灶检测方法和系统
Kothala et al. An improved mosaic method for the localization of intracranial hemorrhages through bounding box

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant