CN113409319A - 肋骨骨折检测模型训练系统、方法、检测系统和检测方法 - Google Patents
肋骨骨折检测模型训练系统、方法、检测系统和检测方法 Download PDFInfo
- Publication number
- CN113409319A CN113409319A CN202110957433.6A CN202110957433A CN113409319A CN 113409319 A CN113409319 A CN 113409319A CN 202110957433 A CN202110957433 A CN 202110957433A CN 113409319 A CN113409319 A CN 113409319A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- rib
- encoder
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 208000027790 Rib fracture Diseases 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 25
- 206010017076 Fracture Diseases 0.000 claims abstract description 19
- 208000010392 Bone Fractures Diseases 0.000 claims abstract description 18
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 40
- 230000011218 segmentation Effects 0.000 claims description 36
- 238000007781 pre-processing Methods 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 20
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims description 15
- 238000012805 post-processing Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000008961 swelling Effects 0.000 claims 7
- 230000035945 sensitivity Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 208000014674 injury Diseases 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 206010020100 Hip fracture Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 230000008733 trauma Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013211 curve analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000008736 traumatic injury Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种肋骨骨折检测模型训练系统、方法、检测系统和检测方法,属于人工智能技术领域。本发明通过采集多个包含肋骨的CT图像,由专家在CT图像上标注肋骨骨折的区域;提取CT图像中的骨骼区域作为目标区域,在目标区域中对CT图像进行采样,得到3D局部CT图像;采用3D DeepLab网络架构模块,使用若干个阳性和若干个阴性样本对模型进行训练,构建了一种新的基于高分辨率3D ResNet‑HR的肋骨骨折检测模型,将获得的检测模型用于肋骨骨折的检测,可以获得良好的预期性能。采用本发明所得到的检测模型用于肋骨骨折检测系统,与人工观察相比,速度提高了15倍以上,较好地解决了现有肋骨骨折检测技术的敏感性和特异性较差的技术问题。
Description
技术领域
本发明涉及一种对骨折进行检测的技术,具体涉及一种基于深度学习对肋骨CT图像的骨折进行自动检测的模型的训练系统、训练方法、利用该模型进行检测的系统和检测方法,属于人工智能技术领域。
背景技术
肋骨骨折的诊断是重要且复杂的临床实践,法医鉴定和多项业务的日常任务场景(例如保险索赔)都需要精准地进行诊断。但是,现有技术很少有就此调查自动机器学习技术劳动密集型任务。
而众所周知,肋骨骨折伴随着明显的发病率和死亡率,胸部外伤占全部外伤的10%至15%创伤性损伤。常规胸部CT是胸外伤检查的主要选择,其以揭示隐匿性骨折及与骨折相关的并发症位置为优势。但是,在CT成像中肋骨骨折的检测在三个方面都具有挑战性:第一,肋骨在大量的CT部分之中具有复杂的几何形状;第二,骨折可能不起眼,尤其是在没有脱位的情况下存在,或断裂方向平行于正常观察部位;第三,必须有大量的CT切片按肋骨和肋骨顺序评估,这个过程是繁琐且劳动强度非常大。这些挑战促使结合了现代人工智能技术的自动机器的发展从而用以检测肋骨骨折。
新兴的深度学习技术在医学图像计算研究方面一直占据主导地位。目前将深度学习技术用于骨骼的骨折检测已有相关报道。例如,公开号为CN109859233A的中国专利申请,其公开了一种图像处理、模型的训练方法及系统,其是包括获取待检测图像;将所述待检测图像输入神经网络模型进行处理,得到骨骼分割结果、骨骼中心线分割结果和骨骼骨折检测结果,其中的神经网络模型是基于训练图像进行机器训练学习确定的,但是该技术是针对所有骨骼,并没有针对肋骨这一个特定的肋骨类型。再如,由Cheng Chi-Tung等发表的Application of a deep learning algorithm for detection and visualization ofhip fractures on plain pelvic radiographs的学术论文,该论文应用深度学习算法对髋部骨折进行检测和可视化,采用2012年1月至2017年12月25502例肢体X线片对DCNN进行预训练,在2008年8月至2016年期间,用3605枚PXRs进行了在训练,该算法识别髋部骨折的准确率为91%,灵敏度为98%,假阴性率为2%。但是该论文涉及的是针对髋部骨折检测的深度学习算法。
在现有技术中,较少涉及肋骨骨折的自动检测研究。例如Samuel Gunz等的研究“Automated rib fracture detection of postmortem computed tomography imagesusing machine learning techniques”,开发了基于2D肋骨展开工具和二维CNN的投影的半自动方法从而来进行分类是否存在肋骨骨折。从根本上讲,该肋骨展开工具的敏感性和特异性并不令人满意,导致其在现实世界中性能有限并且适用性不佳。除此之外,二维图像分类解决方案过度简化了此问题,缺乏肋骨骨折的定位和计数能力。
因此,基于上述技术问题与缺陷,当前所面临的对肋骨CT图像的骨折位置进行自动检测的现实环境,亟待一种能够针对肋骨CT图像自动检测肋骨骨折的系统,以实现更快检测肋骨骨折,以及对肋骨骨折的定位和计数更加精准,从而加快读片时间,降低漏诊概率。
发明内容
本发明提出了一种肋骨骨折检测模型训练系统、方法、检测系统和检测方法,用于解决现有技术中基于2D的半自动肋骨展开工具和二维CNN的投影进行分类是否存在肋骨骨折检测的方法中存在的敏感性和特异性较差的技术问题。
为实现上述目的,本发明由经验丰富的放射科医生划定肋骨骨折的边缘,进行深度学习的训练和评估;构建了一种新的基于高分辨率3D ResNet(命名为3D ResNet-HR)的3D Deeplab模型,获得了良好的预期性能。本发明所提出的肋骨骨折检测系统与人工观察相比,速度提高了15倍以上,较好地解决了现有肋骨骨折检测技术的敏感性和特异性较差的技术问题。具体而言,本发明采用如下技术方案:
本发明第一方面,提出了一种肋骨骨折检测模型训练系统,包括以下模块:
数据采集和标注模块:采集多个包含肋骨的CT图像,由专家在CT图像上标注肋骨骨折的区域作为专家标注;
预处理模块:通过阈值化对包含肋骨的CT图像进行预处理,提取CT图像的骨骼区域作为目标区域;在目标区域中对CT图像进行采样,得到3D局部CT图像;所述采样方式可以为本领域常用的方式,如用滑动窗口的方式以一定的滑动窗口大小和步长对CT图像进行采样,在输出对肋骨骨折区域的分割结果时,多个滑动窗口的重叠部分保留最大输出概率值;
3D Deeplab网络架构模块:3D Deeplab网络架构模块使用预处理模块采样得到的图像作为输入,逐个进行骨折区域分割,从而得到对完整CT图像的分割结果。所述3DDeepLab网络架构模块包含编码器和解码器两个部分,首先,来自预处理模块采样得到的图像作为输入逐个经过编码器,得到具有高层次语义的输出特征,然后再经过解码器,输出对肋骨骨折区域的分割结果;3D DeepLab网络架构模块的编码器使用3D ResNet-HR,所述3DResNet-HR结构以下式表述:
其中,X input 代表编码器的输入, X intermediate 代表编码器的中间结果, X output 代表编码器的输出,stride=1表示卷积层或最大池化层的步长为1,kernel=7表示卷积层的卷积核大小为7,dilation=2表示卷积层的膨胀率为2;N为模型中ConvBlock的数量,ConvBlock为编码器中的卷积模块,任意的一个ConvBlock由两个连续的ConvLayer和一个最大池化层依次拼接而成,其中ConvLayer由一个卷积层、一个归一化层和一个非线性激活函数依次拼接而成;
模型训练模块:使用若干个阳性和若干个阴性样本对模型进行训练,一个所述阳性样本是一个包含专家标注在内的随机中心剪裁,一个所述阴性样本是无骨折的肋骨区域或非肋骨的骨骼区域的剪裁。优选阳性样本与阴性样本的数量比例为1:1。
进一步地,所述3D Deeplab网络架构模块使用扩张空间金字塔池化层(ASPP)的3D变种(即3D ASPP)作为编码器的输出特征,所述3D ASPP模块由一个1×1×1的3D卷积层、一个3×3×3的3D卷积层、一个膨胀率为2的3×3×3的3D膨胀卷积层、一个膨胀率为3的3×3×3的3D膨胀卷积层、一个膨胀率为4的3×3×3的3D膨胀卷积层和一个全局池化层组成。
进一步地,在3D Deeplab网络架构模块与模型训练模块之间,还包括后处理模块,所述后处理模块对所述3D Deeplab网络架构模块输出的分割结果进行后处理,去除体积小于200个体素单位的连通区域以及存在于人体脊柱区域中的分割结果。优选去除体积小于100个体素单位。
进一步地,所述3D Deeplab网络架构模块中编码器以QSwish函数为激活函数,所述QSwish的公式如下:
其中,x表示QSwish函数的输入。
进一步地,在模型训练模块中,所述阳性和阴性样本具有随机y/z平面翻转数据增强,用于训练3D DeepLab的损失函数如下式所示:
进一步地,在所述模型训练模块之后,还包括模型验证模块,本发明中,可以使用多种不同的评估方式来评估本系统,如无限制受试者工作特征曲线(Free-ResponseReceiver Operating Characteristics Curve,FROC Curve)、Dice相似系数(DiceSimilarity Coefficient)或IoU系数(Intersection over Union)等本领域常用的评估方式。
本发明的第二方面,提出了一种CT图像肋骨骨折检测系统,所述系统包括数据采集模块、预处理模块和检测模块;所述数据采集模块采集包含肋骨的CT图像;所述预处理模块提取CT图像中的骨骼区域作为目标区域,在目标区域中对CT图像进行采样,得到3D局部CT图像;所述检测模块包含所述模型训练系统得到的模型;所述检测模块以预处理模块采样得到的3D局部CT图像依次作为模型输入,输出对肋骨骨折区域的分割结果。本领域技术人员可以理解,本检测系统中,在所述检测模块中所使用的模型包含训练、验证过的任一种模型。所述预处理模块中的采样方式可以为本领域常用的方式,如用滑动窗口的方式以一定的滑动窗口大小和步长对CT图像进行采样,在输出对肋骨骨折区域的分割结果时,多个滑动窗口的重叠部分保留最大输出概率值。
本发明的第三方面,提出了一种CT图像肋骨骨折模型训练方法,包括以下步骤:
S1:采集多个包含肋骨的CT图像,由专家在CT图像上标注肋骨骨折的区域;
S2:通过阈值化对包含肋骨的CT图像进行预处理,提取CT图像的骨骼区域作为目标区域;在目标区域中对CT图像进行采样,得到3D局部CT图像;所述采样方式可以为本领域常用的方式,如用滑动窗口的方式以一定的滑动窗口大小和步长对CT图像进行采样,在输出对肋骨骨折区域的分割结果时,多个滑动窗口的重叠部分保留最大输出概率值;
S3:将S2中采样得到的图像作为输入逐个经过编码器,得到输出特征,然后再经过解码器,输出对肋骨骨折区域的分割结果;所述编码器使用3D ResNet-HR,所述3D ResNet-HR结构采用以下公式表述:
其中,X input 代表编码器的输入, X intermediate 代表编码器的中间结果, X output 代表编码器的输出,stride=1表示卷积层或最大池化层的步长为1,kernel=7表示卷积层的卷积核大小为7,dilation=2表示卷积层的膨胀率为2;N为模型中ConvBlock的数量,ConvBlock为编码器中的卷积模块,任意的一个ConvBlock由两个连续的ConvLayer和一个最大池化层依次拼接而成,其中ConvLayer由一个卷积层、一个归一化层和一个非线性激活函数依次拼接而成;
S4:使用若干个阳性和若干个阴性样本对模型进行训练,一个所述阳性样本是一个包含专家标注在内的随机中心剪裁,一个所述阴性样本是无骨折的肋骨区域或非肋骨的骨骼区域的剪裁。优选阳性样本与阴性样本的数量比例为1:1。
进一步地,所述编码器以扩张空间金字塔池化层(ASPP)的3D变种——3D ASPP作为输出特征,所述3D ASPP由一个1×1×1的3D卷积层、一个3×3×3的3D卷积层、一个膨胀率为2的3×3×3的3D膨胀卷积层、一个膨胀率为3的3×3×3的3D膨胀卷积层、一个膨胀率为4的3×3×3的3D膨胀卷积层和一个全局池化层组成。
进一步地,在S3与S4之间,还包括后处理步骤,所述后处理步骤对所述S2输出的分割结果进行后处理,去除体积小于200个体素单位的连通区域以及存在于人体脊柱区域中的分割结果。优选去除体积小于100个体素单位。
进一步地,所述编码器的激活函数均为QSwish函数,所述QSwish函数的公式如下:
其中,x表示QSwish函数的输入。
进一步地,所述S4中,所述阳性和阴性样本具有随机y/z平面翻转数据增强,用于训练3D DeepLab网络的损失函数如下式所示:
进一步地,在所述S4之后,还包括模型验证步骤,本发明中,可以使用多种不同的评估方式来评估本系统,如无限制受试者工作特征曲线(Free-Response ReceiverOperating Characteristics Curve,FROC Curve)、Dice相似系数(Dice SimilarityCoefficient)或IoU系数(Intersection over Union)等本领域常用的评估方式。
本发明的第四方面,提供了一种CT图像肋骨骨折检测方法,包括数据采集步骤、预处理步骤和检测步骤;所述数据采集步骤采集包含肋骨的CT图像;所述预处理步骤提取CT图像中的骨骼区域作为目标区域,在目标区域中对CT图像进行采样,得到3D局部CT图像;所述检测步骤包含所述模型训练方法得到的模型,所述检测步骤以预处理步骤采样得到的3D局部CT图像依次作为模型输入,输出对肋骨骨折区域的分割结果。本领域技术人员可以理解,本检测方法中,在所述检测步骤中所采用的模型包含训练、验证过的任一种模型。所述预处理步骤中的采样方式可以为本领域常用的方式,如用滑动窗口的方式以一定的滑动窗口大小和步长对CT图像进行采样,在输出对肋骨骨折区域的分割结果时,多个滑动窗口的重叠部分保留最大输出概率值。
对比于现有技术而言,本发明的有益效果在于:
(1)本发明是第一次基于大规模的数据集,利用3D深度学习技术,对于肋骨CT图像获取肋骨骨折自动检测的应用;
(2)本发明将狭长的3D物体目标检测问题作为3D分割问题,同时开发了基于3DResNet-HR的3D DeepLab网络,从而为这一具有挑战性的任务进行建模;
(3)通过本发明得到的系统获得了预期的性能,灵敏度达到88.9%,每次扫描的平均假阳性率≤6。
附图说明
图1为标注说明,上:三种视图(轴状Axial,冠状Coronal和矢状Saggital)的肋骨骨折的专家标注,下:三个视图的纵横比的直方图;
图2为通过CT扫描检测肋骨骨折的流程图,以滑动窗口的方式利用3D DeepLab来分割骨折区域;
图3为3D DeepLab网络架构;
图4为模型性能的FROC分析,横轴为每个CT图像平均的假阳性数目,纵轴为灵敏度;右下角的图例中:HR_From_Scratch代表使用高分辨率的3D DeepLab,从头开始训练模型;HR_Pretrain_23代表使用高分辨率的3D DeepLab,在23个数据集上预训练模型;HR_Pretrain_8代表使用高分辨率的3D DeepLab,在8个数据集上预训练模型;LR_From_Scratch代表低分辨率的3D DeepLab,从头开始训练模型;LR__Pretrain_23代表使用低分辨率的3D DeepLab,在23个数据集上预训练模型;LR_Pretrain_8代表使用低分辨率的3DDeepLab,在8个数据集上预训练模型;
图5为QSwish函数的曲线以及其与Swish函数曲线的对照;
图6为模型输出的对肋骨骨折区域的分割结果。
具体实施方式
下面将结合本发明的附图对本发明的具体实施方式做具体的阐述与说明。
如图1所示,正常肋骨和骨折肋骨均为狭长的3D物体,正常肋骨和骨折肋骨的几何形状呈现多样性,因而传统的针对大物体的目标检测方法并不适用。为此,本发明将此问题形式化为3D分割任务。通过利用视觉理解方面的最新进展,本发明开发了基于高分辨率3DResNet的3D DeepLab,命名为3D ResNet-HR,对这个具有挑战性的分割任务进行建模。在数据集的构建上,以经验丰富的放射科医生作为专家,划定肋骨骨折体素水平的边界,采用356名患者/1773例肋骨骨折的数据作为训练集和验证集以训练获得检测模型;该检测模型在另外的89例/434肋骨骨折的测试集上表现出良好的预期性能。
数据采集和标注模块:
自建数据集(名为HdH-RibFrac数据集)是由上海市司法鉴定中心的合作医院——华东医院合作收集而来的。来自在2018年的445位患者的2207处肋骨骨折(男性265位,女性180位,平均年龄为55岁)被纳入本发明的检测模型训练、验证和测试;每个病人被诊断出至少有一根肋骨骨折。
由经验丰富的放射科医生在CT图像上标注肋骨骨折的边界,产生的体素水平标注包括尽可能多的骨折损伤区域。
在一个实施例中,HdH-RibFrac数据集进一步被划分为:(a)HdH-RibFrac训练集(80%的患者,来自356位患者的1773处肋骨骨折),用于训练和调整深度学习模型;(b)HdH-RibFrac测试数据集(20%患者,来自89例患者的434处肋骨骨折),用于评估模型性能。在另一个实施例中,自建数据集可以只包含训练数据,通过训练数据对模型进行训练,得到训练模型。
预处理模块:
为了加快在整个CT量中滑动窗口检测的速度,通过阈值化、开操作以及闭操作提取患者身体骨骼区域作为目标区域,过滤不含骨折的肋骨区域及非肋骨的骨骼区域。在目标区域中用滑动窗口的方式以滑动窗口大小为96×96×96、滑动窗口步长为48对CT图像进行采样,得到大小固定为96×96×96的3D局部CT图像;在另一个实施例中,滑动窗口大小为112×112×112滑动窗口步长为56。此处滑动窗口的大小可以根据CT图像大小、硬件储存容量和计算速度做相应调整。
3D DeepLab网络架构模块:
为了捕捉局部和全局的上下文信息(context),本发明在DeepLab v3+(参见文献1:Liang-Chieh Chen等,Encoder-Decoder with Atrous Separable Convolution forSemantic Image Segmentation,Computer Vision – ECCV 2018,833-851)的基础上提出了3D DeepLab,如图3所示。
本发明所述3D DeepLab网络架构模块包含编码器和解码器两个部分,预处理模块采样得到的图像作为输入逐个经过编码器,得到具有高层次语义的输出特征,然后再经过解码器(可参见文献1中对解码器的描述),输出对肋骨骨折区域的分割结果;所述3DDeepLab网络架构模块的编码器使用3D ResNet-HR,3D ResNet-HR结构采用以下公式表述:
其中,X input 代表编码器的输入, X intermediate 代表编码器的中间结果, X output 代表编码器的输出,stride=1表示卷积层或最大池化层的步长为1,kernel=7表示卷积层的卷积核大小为7,dilation=2表示卷积层的膨胀率为2;N为模型中ConvBlock的数量,ConvBlock为编码器中的卷积模块,任意的一个ConvBlock由两个连续的ConvLayer和一个最大池化层依次拼接而成,其中ConvLayer由一个卷积层、一个归一化层和一个非线性激活函数依次拼接而成;
本发明提出的3D ResNet-HR与现有2D ResNet18(He Kaiming等,Deep ResidualLearning for Image Recognition, 2016 IEEE Conference on Computer Vision andPattern Recognition (CVPR) (2016): 770-778)的3D版本(即与2D ResNet18保持相同架构的3D版本(本发明中将其命名为3D ResNet-LR):将2D卷积替换成3D卷积,2D池化层替换成3D池化层,并且将2D的批正规化层替换成3D的批正规化层)相比,本发明所提出的3DResNet-HR的初始特征图的分辨率是该3D ResNet-LR的4倍。本发明所采用的3D ResNet-HR网络可以使神经网络在浅层内保持较高的分辨率细节。
在一个实施例中,为了扩大接收范围,本发明进一步使用扩张空间金字塔池化层(ASPP)的3D变种接收3D DeepLab中编码器的输出特征,被称为3D ASPP模块。3D ASPP模块由一个1×1×1的3D卷积层,一个3×3×3的3D卷积层,一个3×3×3的3D膨胀卷积层(膨胀率为2),一个3×3×3的3D膨胀卷积层(膨胀率为3),一个3×3×3的3D膨胀卷积层(膨胀率为4)和一个全局池化层组成,这种设计可以有效地捕捉CT图像中的局部信息和全局信息。通过本发明开发的所述3D ASPP模块,可以逐步地上采样特征图并且输出与输入大小相同的分割结果。在另外的实施例中,还可以采用连续的卷积层作为3D DeepLab中编码器的输出特征。
在一个实施例中,为了提升模型的运行速度,本发明的3D DeepLab网络架构模块中的编码器的激活函数均使用QSwish函数。QSwish函数改进自Swish函数,将Swish函数的连续非线性改为多段函数,与Swish函数相比减少了50%左右的计算时间,显著提升了运行效率,本发明所提出的QSwish函数实现了在减小计算量的情况下尽量拟合了Swish函数,如图5所示。QSwish的公式如下:
其中,x为编码器的输入。
在另外的实施例中,采用了ReLU或Swish激活函数。下表1是在3D DeepLab网络架构模块中使用三种不同的激活函数,ReLU、Swish和QSwish的敏感度。
表1 ReLU、Swish和QSwish激活函数的敏感度
激活函数 | FP/s=2 | FP/s=4 | FP/s=6 | 平均敏感度[FP/s=2,4,6] | 运行时间 |
ReLU | 82.5% | 84.9% | 86.1% | 84.5% | 86微秒 |
Swish | 84.3% | 87.7% | 88.8% | 86.9% | 285微秒 |
QSwish | 84.1% | 87.8% | 88.9% | 86.9% | 106微秒 |
后处理模块:
在一个实施例中,对3D DeepLab网络架构模块所输出的分割结果进行后处理,即去除了体积较小(体素数量<200)的连接部分,以及存在于人体脊柱区域中的分割结果;在另一个实施例中,去除了体素数量<100的连接部分以及存在于人体脊柱区域中的分割结果;在另外的实施例中,没有使用后处理模块。
模型训练模块:
本发明使用若干个阳性和若干个阴性样本对模型进行训练,具体为:一个阳性样本是一个包含专家标注在内的随机中心剪裁,而一个阴性样本是除骨折区域之外其他骨骼区域(例如肋骨和脊柱)的剪裁,在一个实施例中,每个样本体积大小为96×96×96,在训练过程中,每批包括12个阳性和12个阴性样本,具有随机y/z平面翻转数据增强。用于训练3DDeepLab的损失函数如下式所示:
使用Adam优化器的单周期训练策略(one-cycle)用于训练模型。模型的学习率从α=1×10−5并且在第一个训练周期(epoch)结束的时候线性增加到0.1;然后在50个训练周期内保持0.1,在另30个训练周期保持在1×10−3。
模型验证模块:
FROC(Free-Response ROC)分析,作为一种平衡了敏感度和误报率被广泛使用的评估方法,在本发明中被用来评估本发明的肋骨骨折检测模型。
在一个实施例中,首先筛选出后处理模块中去除了体素数量<100的连接部分以及存在于人体脊柱区域中的分割结果中骨折概率大于0.1的连通区域,每个连通区域都被视为检测建议,根据连通区域内的平均概率作为这个连通分量的预测概率。在另一个实施例中,由于没有后处理模块,因此筛选出训练后的3D DeepLab模型输出的分割结果中骨折概率大于0.1的连通区域,每个连通区域都被视为检测建议,根据连通区域内的平均概率作为这个连通分量的检测概率。
对于细长物体,真实有效值和检测值之间的交并比(IoU)往往比较低。如果检测建议与某个专家真实标注的IoU>0.2,则该检测建议被认为是一个“命中”,即真阳性(Truepositive, TP)。
使用FROC曲线分析进行模型性能评估。FROC曲线分析是通过改变输出概率的阈值,得到不同平均假阳性(FP/s)水平下的灵敏度(Sensitivity)。给定一个输出概率的阈值,能够计算真阳性(TP)、假阳性(FP)和假阴性(FN),从而计算平均假阳性和灵敏度:
Sensitivity = TP / (TP + FN)
FP/s = FP / Num
其中Num代表用于模型性能评估的数据集大小。
在本发明提出的具有3D ResNet-HR/LR编码器的3D DeepLab-HR/LR这两种变体中,编码器权重可以从头开始初始化,也可以基于8或23个医学数据集预先训练(SihongChen, Kai Ma, Yefeng Zheng. Med3D: Transfer Learning for 3D Medical ImageAnalysis. https://arxiv.org/abs/1904.00625)。对于从头开始训练的模型,所有权重是通过“He Uniform”方法随机地被初始化。为了验证3D ASPP模块的有效性,具有3D ResNet-LR编码器的3D FCN(Long, J.等. Fully convolutional networks for semanticsegmentation. 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR) (2015): 3431-3440.)从头开始被训练。所有模型都在HdH-RibFrac数据集上进行了训练和调整,其中来自334位患者的1671处肋骨骨折被随机选择用于训练,其余的来自22位患者102处肋骨骨折被用于选择最佳模型快照。
基于HdH-RibFrac测试数据集(来自89位患者的434处肋骨骨折)上的模型性能被报告在表2和图4中,最佳模型——从头开始训练的3D DeepLab-HR(HR_From_Scrach)可达到最大88.9%的灵敏度,以及每次扫描的平均误报率FP/S≤6。
如预期地,3D DeepLab超越了3D FCN。此外,高分辨率的变量明显优于低分辨率,这表明推迟后采样的阶段在这个问题上的重要性。值得注意的是,在本发明中,即使始终对23个数据集进行预训练胜过8个数据集,两者均不及从零开始训练。我们推测,预训练数据集主要在器官(而非骨骼)分割任务上,这样任务的数据分布(例如HU强度,解剖结构)明显不同于肋骨骨折的检测。
未经繁重的工程优化,本发明所提出的方法在HdH-RibFrac测试数据集中,每次CT扫描运行59.3秒。 推理时间包括由利用了单个GTX 1080Ti GPU的Python 3.7.3和PyTorch1.0.1测量得出的预处理/后处理时间。相比较而言,经验丰富的放射科医生至少需要15分钟才能进行准确检测和诊断肋骨骨折。本发明所提出的方法与人工观察相比,速度提高了15倍以上。
表2 通过改变FP / s阈值的敏感性
表2说明:“ HR / LR”:高/低分辨率。“ TFS”:从头开始训练,“ P8 / P23”:预先训练有8/23个医疗数据集。
对于另外的待检测肋骨骨折的病例,拍摄CT图像,进行预处理后,作为训练过或验证过的检测模型的输入,由检测模型输出检测结果,即得到肋骨骨折的检测结果,如图6所示,其中 3处阴影部分为检测到的肋骨骨折区域。
本发明通过将问题表述为3D分割,并且基于3D DeepLab从而实现了在大规模数据集合中有良好的表现。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种肋骨骨折检测模型训练系统,包括以下模块:
数据采集和标注模块:采集多个包含肋骨的CT图像,由专家在CT图像上标注肋骨骨折的区域;
预处理模块:提取CT图像中的骨骼区域作为目标区域,在目标区域中对CT图像进行采样,得到3D局部CT图像;
3D DeepLab网络架构模块:预处理模块采样得到的图像作为输入逐个经过编码器,得到输出特征,然后再经过解码器,输出对肋骨骨折区域的分割结果;所述编码器使用3DResNet-HR,所述3D ResNet-HR结构由以下公式表述:
其中,X input 代表编码器的输入, X intermediate 代表编码器的中间结果, X output 代表编码器的输出,stride=1表示卷积层或最大池化层的步长为1,kernel=7表示卷积层的卷积核大小为7,dilation=2表示卷积层的膨胀率为2;N为模型中ConvBlock的数量,ConvBlock为编码器中的卷积模块,任意的一个ConvBlock由两个连续的ConvLayer和一个最大池化层依次拼接而成,其中ConvLayer由一个卷积层、一个归一化层和一个非线性激活函数依次拼接而成;
模型训练模块:使用若干个阳性和若干个阴性样本对模型进行训练,一个所述阳性样本是一个包含专家标注在内的随机中心剪裁,一个所述阴性样本是无骨折的肋骨区域或非肋骨的骨骼区域的剪裁。
2.如权利要求1所述的模型训练系统,其特征在于:所述3D DeepLab网络架构模块使用3D ASPP作为编码器的输出特征,所述3D ASPP由一个1×1×1的3D卷积层、一个3×3×3的3D卷积层、一个膨胀率为2的3×3×3的3D膨胀卷积层、一个膨胀率为3的3×3×3的3D膨胀卷积层、一个膨胀率为4的3×3×3的3D膨胀卷积层和一个全局池化层组成。
3.如权利要求1所述的模型训练系统,其特征在于,在3D Deeplab网络架构模块与模型训练模块之间,还包括后处理模块,所述后处理模块对所述3D Deeplab网络架构模块输出的分割结果进行后处理,去除体积小于200个体素单位的连通区域以及存在于人体脊柱区域中的分割结果。
5.一种肋骨骨折检测系统,其特征在于,包括数据采集模块、预处理模块和检测模块;所述数据采集模块采集包含肋骨的CT图像;所述预处理模块提取CT图像中的骨骼区域作为目标区域,在目标区域中对CT图像进行采样,得到3D局部CT图像;所述检测模块包含根据权利要求1-4任一项所述模型训练系统得到的模型,所述检测模块以预处理模块采样得到的3D局部CT图像依次作为模型输入,输出对肋骨骨折区域的分割结果。
6.一种肋骨骨折检测模型训练方法,包括以下步骤:
S1:采集多个包含肋骨的CT图像,由专家在CT图像上标注肋骨骨折的区域;
S2:提取CT图像中的骨骼区域作为目标区域,在目标区域中对CT图像进行采样,得到3D局部CT图像;
S3:将S2中采样得到的图像作为输入逐个经过编码器,得到输出特征,然后再经过解码器,输出对肋骨骨折区域的分割结果;所述编码器使用3D ResNet-HR,所述3D ResNet-HR结构由以下公式表述:
其中,X input 代表编码器的输入, X intermediate 代表编码器的中间结果, X output 代表编码器的输出,stride=1表示卷积层或最大池化层的步长为1,kernel=7表示卷积层的卷积核大小为7,dilation=2表示卷积层的膨胀率为2;N为模型中ConvBlock的数量,ConvBlock为编码器中的卷积模块,任意的一个ConvBlock由两个连续的ConvLayer和一个最大池化层依次拼接而成,其中ConvLayer由一个卷积层、一个归一化层和一个非线性激活函数依次拼接而成;
S4:使用若干个阳性和若干个阴性样本对模型进行训练,一个所述阳性样本是一个包含专家标注在内的随机中心剪裁,一个所述阴性样本是无骨折的肋骨区域或非肋骨的骨骼区域的剪裁。
7.如权利要求6所述的模型训练方法,其特征在于:所述编码器以3D ASPP作为输出特征,所述3D ASPP由一个1×1×1的3D卷积层、一个3×3×3的3D卷积层、一个膨胀率为2的3×3×3的3D膨胀卷积层、一个膨胀率为3的3×3×3的3D膨胀卷积层、一个膨胀率为4的3×3×3的3D膨胀卷积层和一个全局池化层组成。
8.如权利要求6所述的模型训练方法,其特征在于,在S3与S4之间,还包括后处理步骤,所述后处理步骤对所述S2输出的分割结果进行后处理,去除体积小于200个体素单位的连通区域以及存在于人体脊柱区域中的分割结果。
10.一种肋骨骨折检测方法,其特征在于,包括数据采集步骤、预处理步骤和检测步骤;所述数据采集步骤采集包含肋骨的CT图像;所述预处理步骤提取CT图像中的骨骼区域作为目标区域,在目标区域中对CT图像进行采样,得到3D局部CT图像;所述检测步骤包含根据权利要求6-9任一项所述模型训练方法得到的模型,所述检测步骤以预处理步骤采样得到的3D局部CT图像依次作为模型输入,输出对肋骨骨折区域的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957433.6A CN113409319A (zh) | 2021-08-17 | 2021-08-17 | 肋骨骨折检测模型训练系统、方法、检测系统和检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957433.6A CN113409319A (zh) | 2021-08-17 | 2021-08-17 | 肋骨骨折检测模型训练系统、方法、检测系统和检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113409319A true CN113409319A (zh) | 2021-09-17 |
Family
ID=77689036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110957433.6A Pending CN113409319A (zh) | 2021-08-17 | 2021-08-17 | 肋骨骨折检测模型训练系统、方法、检测系统和检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113409319A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114939988A (zh) * | 2022-05-20 | 2022-08-26 | 常州大学 | 基于ai的踝骨骨折检测与三维重建方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458249A (zh) * | 2019-10-10 | 2019-11-15 | 点内(上海)生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类系统 |
CN112085668A (zh) * | 2020-08-14 | 2020-12-15 | 深圳大学 | 一种基于区域自适应自监督学习的图像色调映射的方法 |
CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
CN112287802A (zh) * | 2020-10-26 | 2021-01-29 | 汇纳科技股份有限公司 | 人脸图像检测方法、系统、存储介质及设备 |
CN112686856A (zh) * | 2020-12-29 | 2021-04-20 | 杭州优视泰信息技术有限公司 | 一种基于深度学习的实时肠镜息肉检测装置 |
CN112785551A (zh) * | 2020-12-30 | 2021-05-11 | 杭州电子科技大学 | 一种基于深度学习的冠状动脉分割方法 |
CN113066074A (zh) * | 2021-04-10 | 2021-07-02 | 浙江科技学院 | 一种基于双目视差偏移融合的视觉显著性预测方法 |
CN113128476A (zh) * | 2021-05-17 | 2021-07-16 | 广西师范大学 | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 |
-
2021
- 2021-08-17 CN CN202110957433.6A patent/CN113409319A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458249A (zh) * | 2019-10-10 | 2019-11-15 | 点内(上海)生物科技有限公司 | 一种基于深度学习与概率影像组学的病灶分类系统 |
CN112085668A (zh) * | 2020-08-14 | 2020-12-15 | 深圳大学 | 一种基于区域自适应自监督学习的图像色调映射的方法 |
CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
CN112287802A (zh) * | 2020-10-26 | 2021-01-29 | 汇纳科技股份有限公司 | 人脸图像检测方法、系统、存储介质及设备 |
CN112686856A (zh) * | 2020-12-29 | 2021-04-20 | 杭州优视泰信息技术有限公司 | 一种基于深度学习的实时肠镜息肉检测装置 |
CN112785551A (zh) * | 2020-12-30 | 2021-05-11 | 杭州电子科技大学 | 一种基于深度学习的冠状动脉分割方法 |
CN113066074A (zh) * | 2021-04-10 | 2021-07-02 | 浙江科技学院 | 一种基于双目视差偏移融合的视觉显著性预测方法 |
CN113128476A (zh) * | 2021-05-17 | 2021-07-16 | 广西师范大学 | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 |
Non-Patent Citations (1)
Title |
---|
洪敏杰: "基于深度学习的胸腔医学影像辅助诊断算法设计与应用", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114939988A (zh) * | 2022-05-20 | 2022-08-26 | 常州大学 | 基于ai的踝骨骨折检测与三维重建方法 |
CN114939988B (zh) * | 2022-05-20 | 2023-09-22 | 常州大学 | 基于ai的踝骨骨折检测与三维重建方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111539930B (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
CN111932559B (zh) | 基于深度学习的新冠肺炎肺部病灶区域分割系统 | |
CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
CN111340827A (zh) | 一种肺部ct影像数据处理分析方法及系统 | |
CN111192248B (zh) | 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法 | |
CN111667456A (zh) | 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 | |
CN112784856A (zh) | 胸部x射线图像的通道注意力特征提取方法和识别方法 | |
CN105976393A (zh) | 大脑局灶性病变自动探测方法及装置 | |
CN115880266B (zh) | 一种基于深度学习的肠道息肉检测系统和方法 | |
Lyu et al. | Ultrasound volume projection image quality selection by ranking from convolutional RankNet | |
CN113420793A (zh) | 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法 | |
Ananth et al. | An Advanced Low-cost Blood Cancer Detection System. | |
CN113409319A (zh) | 肋骨骨折检测模型训练系统、方法、检测系统和检测方法 | |
CN113469942B (zh) | 一种ct图像病变检测方法 | |
CN112784924B (zh) | 基于分组聚合深度学习模型的肋骨骨折ct图像分类方法 | |
Tuan et al. | The improved faster r-cnn for detecting small facial landmarks on vietnamese human face based on clinical diagnosis | |
CN112529900B (zh) | 匹配乳腺图像中roi的方法、装置、终端与存储介质 | |
CN102201038B (zh) | 脑瘤p53蛋白表达检测方法 | |
Sha et al. | The improved faster-RCNN for spinal fracture lesions detection | |
Dharmani et al. | Deep Learning for Knee Osteoarthritis Severity Stage Detection using X-Ray Images | |
Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
KR102384083B1 (ko) | 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법 | |
CN112184664B (zh) | 一种椎骨检测方法及计算机设备 | |
Sadique et al. | Brain Tumor Segmentation and Evaluation Empowered with Deep Learning | |
CN113435491A (zh) | 医学图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210917 |
|
RJ01 | Rejection of invention patent application after publication |