CN110619635A - 基于深度学习的肝细胞癌磁共振图像分割系统和方法 - Google Patents
基于深度学习的肝细胞癌磁共振图像分割系统和方法 Download PDFInfo
- Publication number
- CN110619635A CN110619635A CN201910676893.4A CN201910676893A CN110619635A CN 110619635 A CN110619635 A CN 110619635A CN 201910676893 A CN201910676893 A CN 201910676893A CN 110619635 A CN110619635 A CN 110619635A
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- sequence
- resonance imaging
- image
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010073071 hepatocellular carcinoma Diseases 0.000 title claims abstract description 73
- 231100000844 hepatocellular carcinoma Toxicity 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000003709 image segmentation Methods 0.000 title claims abstract description 29
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 161
- 230000011218 segmentation Effects 0.000 claims abstract description 111
- 230000004927 fusion Effects 0.000 claims abstract description 68
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 58
- 108091006146 Channels Proteins 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 40
- 210000004185 liver Anatomy 0.000 claims description 30
- 210000003240 portal vein Anatomy 0.000 claims description 20
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 210000000232 gallbladder Anatomy 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 230000003902 lesion Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 7
- 201000011510 cancer Diseases 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010006895 Cachexia Diseases 0.000 description 1
- 206010019705 Hepatic pain Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 208000026500 emaciation Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的肝细胞癌磁共振图像分割系统和方法，该方法包括：获取肝细胞癌肿瘤患者的多序列磁共振成像图像；将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图；所述深度融合网络模型包括深度卷积网络模块和多序列融合模块，所述深度卷积网络模块划分为多个序列通道，所述多序列融合模块用于融合所有序列通道处理多序列磁共振成像图像的处理结果。本发明通过深度融合网络模型来对多序列磁共振成像图像进行病灶分割，能够获得较好的分割效果，并且分割更加准确。本发明作为基于深度学习的肝细胞癌磁共振图像分割系统和方法可广泛应用于医学图像处理领域。
Description
技术领域
本发明涉及医学图像处理领域，尤其涉及基于深度学习的肝细胞癌磁共振图像分割系统和方法。
背景技术
肝细胞癌是恶性程度极高、预后极差的恶性肿瘤，其病死率在我国恶性肿瘤中居第二位，全球的肝细胞癌患者约有一半在我国。肝细胞癌的初期症状并不明显，晚期有肝痛、消瘦、乏力等症状且因癌细胞扩散而治愈率较低。因此，提高初期诊断和治疗水平对延长肝细胞癌患者的生存期起着至关重要的作用。国内肝细胞癌的MRI(磁共振成像)图像在医院放射科图像的占比很高，高质量的MRI影像有助于医生精确地分割出肿瘤边界，判断目标区域肿瘤的体积和具体边界、是否出现癌细胞扩散等初期肝细胞癌临床诊断的问题，同时肿瘤勾画边界还可以被用于3D图像重建，以达到手术模拟，规避风险的目的。传统的手动勾画方式严重依赖于医生的临床经验，不同经验的医生勾画的肿瘤边界不尽相同，可重复性差；并且，勾画肿瘤也是一项劳动密集型的任务，给医生添加了沉重的负担。
当前基于深度学习的肝细胞癌分割方法主要是基于CT(计算机断层扫描)图像的，少数肝细胞癌分割方法是基于单序列MRI图像的。基于CT图像的分割方法有采用两个级联式全卷积网络对肝细胞癌肿瘤进行分割。首先使用一个FCN(全卷积网络)网络进行肝分割，再基于肝的分割结果从原始图像中提取ROI(感兴趣区域)以滤除大部分背景信息；接着将提取肝ROI的局部图像输入进第二个全卷积网络进行肿瘤分割；最后，使用三维条件随机场微调肿瘤边界。该方法在肝分割上能达到87％的准确率，但是存在的不足之处为：1、肝的分割情况严重影响肿瘤识别，漏分割会造成靠近肝边界的肿瘤信息丢失，错分割会引入背景信息作为干扰；2、两个网络级联后同时训练，使得分割为肝的组织又要反向传回肿瘤的信息，即同一块区域同时给予了两种信号作为监督，会造成信息紊乱。基于单序列MRI图像的分割方法使用弥散加权MRI图像对齐方法进行测试，但测试的图像质量不高，肿瘤边界模糊，不利于准确的肿瘤边界分割；而这些原因可能导致该方法在MRI上肝细胞癌肿瘤分割的DSC(Dice 相似系数)仅能达到67.9％。因此，现有技术存在分割准确度较低和分割效果较差的问题。
发明内容
为了解决上述技术问题，本发明实施例的目的是提供一种基于深度学习的肝细胞癌磁共振图像分割系统和方法。
一方面，本发明实施例提供了基于深度学习的肝细胞癌磁共振图像分割方法，包括以下步骤：
获取肝细胞癌肿瘤患者的多序列磁共振成像图像；
将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图；所述深度融合网络模型包括深度卷积网络模块和多序列融合模块，所述深度卷积网络模块划分为多个序列通道，其中每个序列通道均用于处理所述多序列磁共振成像图像中的一个序列的磁共振成像图像，所述多序列融合模块用于融合所有序列通道处理多序列磁共振成像图像的处理结果。
进一步，所述获取肝细胞癌肿瘤患者的多序列磁共振成像图像这一步骤，其具体包括：
获取肝细胞癌肿瘤患者的肝胆特异期磁共振成像图像和门静脉期磁共振成像图像；
将获取的门静脉期磁共振成像图像配准至肝胆特异期磁共振成像图像，从而得到配准后的磁共振成像图像；
对得到的配准后的磁共振成像图像和肝胆特异期磁共振成像图像进行肝细胞癌肿瘤的感兴趣区域提取。
进一步，所述将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图这一步骤，其具体包括：
将多序列磁共振成像图像输入至深度卷积网络模块中，得到不同序列的磁共振成像图像对应的序列分割得分图；
将得到的各序列分割得分图输入至多序列融合模块中，从而获得病灶分割结果图。
进一步，所述深度融合网络模型为预先训练好的深度融合网络模型，所述预先训练好的深度融合网络模型的训练步骤具体包括：
获取若干个肝细胞癌肿瘤患者的多序列磁共振成像图像和多序列磁共振成像图像对应的金标准图；
将获取的多序列磁共振成像图像输入深度卷积网络模块进行第一训练，从而得到磁共振成像图像对应的第一序列分割得分图；
根据得到的第一序列分割得分图和所述金标准图对深度卷积网络模块的网络权重做调整直至深度卷积网络模块训练结束；
将训练结束时的深度卷积网络模块的网络权重作为初始网络权重输入至深度融合网络模型中，并将获取的多序列磁共振成像图像输入深度融合网络模型进行第二训练，从而得到第二序列分割得分图；
根据得到的第二序列分割得分图和所述金标准图对深度融合网络模型的网络权重做调整。
进一步，所述将获取的多序列磁共振成像图像输入深度卷积网络模块进行第一训练，从而得到磁共振成像图像对应的第一序列分割得分图这一步骤，其具体包括：
将获取的磁共振成像图像输入深度卷积网络中进行特征提取，从而获得特征图；
将获得的特征图进行得分图重建后得到第一序列分割得分图。
进一步，所述将获取的磁共振成像图像输入深度卷积网络中进行特征提取，从而获得特征图这一步骤，其具体包括：
将获取的磁共振成像图像输入由第1至第N个下采样模块依次连接所组成的下采样块中，得到磁共振成像图像对应的第1至第N个特征图；其中每个下采样块均包括2个卷积层、批正则化层、线性矫正单元和最大池化层，N为正整数；
将第N个特征图经过三个卷积核后获得最终的特征图。
进一步，所述将获得的特征图进行得分图重建后得到第一序列分割得分图这一步骤，其具体为：
将获得的特征图输入由第1至第N个反卷积模块依次连接所组成的反卷积块中得到序列分割得分图；其中每个反卷积块均包括反卷积层、连接层和2个卷积层；其中第1至第N个连接层输入端分别与得到的第N至第1个特征图对应连接。
另一方面，本发明实施例还提供了基于深度学习的肝细胞癌磁共振图像分割系统，包括：
图像获取模块，用于获取肝细胞癌肿瘤患者的多序列磁共振成像图像；
模型分割模块，用于将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图；所述深度融合网络模型包括深度卷积网络模块和多序列融合模块，所述深度卷积网络模块划分为多个序列通道，其中每个序列通道均用于处理所述多序列磁共振成像图像中的一个序列的磁共振成像图像，所述多序列融合模块用于融合所有序列通道处理多序列磁共振成像图像的处理结果。
进一步，所述图像获取模块具体包括：
获取单元，用于获取肝细胞癌肿瘤患者的肝胆特异期磁共振成像图像和门静脉期磁共振成像图像；
配准单元，用于将获取的门静脉期磁共振成像图像配准至肝胆特异期磁共振成像图像，从而得到配准后的磁共振成像图像；
感兴趣区域提取单元，用于对得到的配准后的磁共振成像图像和肝胆特异期磁共振成像图像进行肝细胞癌肿瘤的感兴趣区域提取。
另一方面，本发明实施例还提供了基于深度学习的肝细胞癌磁共振图像分割系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述基于深度学习的肝细胞癌磁共振图像分割方法。
另一方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述基于深度学习的肝细胞癌磁共振图像分割方法。
本发明的有益效果是：本发明实施例通过获取肝细胞癌肿瘤患者的多序列磁共振成像图像，并将多序列磁共振成像图像输入至深度融合网络模型中来获得病灶分割结果图，本发明实施例提供的深度融合网络模型可以通过具有多个序列通道的深度卷积网络模块对多序列磁共振成像图像进行分别分割，再根据多序列融合模块来对不同序列的分割结果图来进行融合，从而获得病灶分割结果图，大大提高了分割的准确度和分割效果。
附图说明
图1是本发明实施例基于深度学习的肝细胞癌磁共振图像分割方法的步骤流程图；
图2是本发明实施例的深度融合网络模型的网络结构图；
图3是本发明实施例的深度卷积网络模块的网络结构图；
图4是本发明实施例的肿瘤金标准；
图5是本发明实施例中深度卷积网络模块的分割结果图；
图6是本发明实施例中多序列分割网络模型的分割结果图；
图7是本发明实施例中深度融合网络模型的分割结果图；
图8是本发明实施例基于深度学习的肝细胞癌磁共振图像分割系统的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示，本发明实施例提供了基于深度学习的肝细胞癌磁共振图像分割方法，该方法包括以下步骤：
S101、获取肝细胞癌肿瘤患者的多序列磁共振成像图像；
具体地，所述肝细胞癌肿瘤患者的多序列磁共振成像图像可采用肝细胞癌肿瘤患者肝胆特异期和门静脉期的磁共振成像图像，有利于更好地分割肿瘤区域。
S102、将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图；所述深度融合网络模型包括深度卷积网络模块和多序列融合模块，所述深度卷积网络模块划分为多个序列通道，其中每个序列通道均用于处理所述多序列磁共振成像图像中的一个序列的磁共振成像图像，所述多序列融合模块用于将所有序列通道处理多序列磁共振成像图像的处理结果融合起来，生成最终的病灶分割结果图；
具体地，所述深度卷积网络模块划分的多个序列通道均与获取的多序列磁共振成像图像一一对应，包括用于处理肝胆特异期磁共振成像图像的第一序列通道和用于处理门静脉期磁共振成像图像的第二序列通道等，所述多序列融合模块用于将肝胆特异期磁共振成像图像和门静脉期磁共振成像图像分别分割后的分割结果图融合成一张病灶分割结果图。
由上述可得，通过使用本发明实施例的方法，可以对多序列磁共振成像图像进行分别分割后融合，从而使得肝细胞癌肿瘤的分割能达到非常高的准确率和分割效果。
进一步作为本方法的优选实施例，所述获取肝细胞癌肿瘤患者的多序列磁共振成像图像这一步骤S101，其具体包括：
S1011、获取肝细胞癌肿瘤患者的肝胆特异期磁共振成像图像和门静脉期磁共振成像图像；
S1012、将获取的门静脉期磁共振成像图像配准至肝胆特异期磁共振成像图像，从而得到配准后的磁共振成像图像；
具体地，采用基于互信息的B样条非刚体变换配准算法将门静脉期磁共振成像图像配准至肝胆特异期磁共振成像图像上，使这两个序列的图像空间对齐。
S1013、对得到的配准后的磁共振成像图像和肝胆特异期磁共振成像图像进行肝细胞癌肿瘤的感兴趣区域提取。
具体地，由放射科医生在配准后的磁共振成像图像和肝胆特异期磁共振成像图像上对肝细胞癌病灶进行大致定位并在三维坐标轴的x-y、x-z和y-z平面分别拉取一个矩形框，选取三个框交集的三维区域为感兴趣区域(Region of Interest，ROI)，其中，门静脉期磁共振成像图像、配准后的磁共振成像图像、肝胆特异期磁共振成像图像、选取感兴趣区域后的图像均缩放至标准大小(标准大小可为：256*256*N1，其中N1为被提取的层数)，由于磁共振成像图像不仅仅包含肿瘤区域，还包括很多其他干扰信息，因此提取感兴趣区域可以更大地排除冗余信息的干扰，准确分割病灶边界。此外，深度学习作为一种数据驱动的算法往往需要海量的数据来完成训练阶段对图像本质的学习。获取海量数据在医学图像分析中往往是较为困难的，少量的训练数据更可能会造成网络模型产生过拟合。因此本实施例对已有数据采取了图像扩增手段获取更多的训练数据。通过调整对比度、添加噪音、旋转以及平移等操作，能够获得600倍于原始数据量(二维)的数据，达到训练网络并使其收敛的数据量要求。
进一步作为本方法的优选实施例，所述将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图这一步骤S102，其具体包括：
S1021、将多序列磁共振成像图像输入至深度卷积网络模块中，得到不同序列的磁共振成像图像对应的序列分割得分图；
具体地，所述深度卷积网络模块为预先训练好的深度学习卷积神经网络，所述深度学习卷积神经网络划分出多个序列通道，用于一对一地对不同序列的磁共振成像图像进行分割处理，不同序列通道输出不同序列的磁共振成像图像对应的序列分割得分图。
S1022、将得到的各序列分割得分图输入至多序列融合模块中，从而获得病灶分割结果图；
具体地，如图2所示，所述多序列融合模块通过卷积层融合多个输入的序列分割得分图，能够有效识别不同序列中被错误分割的假阳区域或漏分割区域，最后结合不同序列的分割信息输出最终的病灶分割结果图，本实施例采用先对不同序列分割，后将不同序列的分割结果融合起来这一方式来对肝细胞癌肿瘤进行分割，相较于现有技术的只对单一序列的磁共振成像图像进行分割过程来说，分割更加精确。
进一步作为本方法的优选实施例，所述深度融合网络模型为预先训练好的深度融合网络模型，所述预先训练好的深度融合网络模型的训练步骤具体包括：
S201、获取若干个肝细胞癌肿瘤患者的多序列磁共振成像图像和多序列磁共振成像图像对应的金标准图；
具体地，所述金标准图为由专家勾画的肿瘤金标准区域，用于对分割结果进行结果分析和准确度判断。
S202、将获取的多序列磁共振成像图像输入深度卷积网络模块进行第一训练，从而得到磁共振成像图像对应的第一序列分割得分图；
具体地，所述第一训练是对深度卷积网络模块的不同序列通道做的训练，每个通道都是分开训练的。所述第一训练具体为：设置深度卷积网络的初始权重，将未扩增的训练数据用于训练深度卷积网络的特征提取阶段；接着再将未扩增的训练数据用于训练整个深度卷积网络；最后将扩增后的训练数据用于训练整个深度卷积网络以微调各部分的网络权重，所述第一序列分割得分图为各个子序列的训练之后得到的分割结果图。
S203、根据得到的第一序列分割得分图和所述金标准图对深度卷积网络模块的网络权重做调整直至深度卷积网络模块训练结束；
具体地，迭代进行第一训练，每迭代一次训练完都会根据训练结果对网络权重做调整，直到分割结果图和所述金标准图的对比评估满足标准。所述对比评估的方法主要是：使用测试数据对网络模型进行测试得到网络的分割结果。所述网络的分割结果是一张分割得分图，图中数据分布在[0,1]之间，分割得分图某个像素点的数值代表分割结果为肿瘤的概率，数值越接近1说明可能性越大。在设定一个阈值(如75％)之后，在结果图中高于阈值的点为属于病灶区域，低于阈值的点为属于非病灶区域。本方法实施例使用戴斯相似系数DSC、精确度Precision和敏感度sensitivity对模型的分割能力进行评估。本实施例通过对比每张分割图与金标准中每个像素点的一致性，计算得到评价指标的四个基本值，如表1所示：
表1
其中，TP、TN、FP和FN分别为真阳性、真阴性、假阳性、假阴性。而戴斯相似系数DSC、精确度Precision和敏感度sensitivity的定义如下列公式所示：
S204、将训练结束时的深度卷积网络模块的网络权重作为初始网络权重输入至深度融合网络模型中，并将获取的多序列磁共振成像图像输入深度融合网络模型进行第二训练，从而得到第二序列分割得分图；
具体地，将执行步骤S202和步骤203迭代训练调整完成的深度卷积网络模块的网络权重提取出来，作为深度融合网络模型的初始网络权重，所述第二训练的训练策略与所述第一训练一致，所述第二序列分割得分图为在训练好的子序列网络的基础上对整个融合网络进行进一步的训练之后得到的分割结果图。
S205、根据得到的第二序列分割得分图和所述金标准图对深度融合网络模型的网络权重做调整；
具体地，对深度融合网络模型的分割结果的评估方法与步骤S203一致，深度卷积网络模块的不同序列通道分别对单个序列的MRI图像(如肝胆特异期磁共振成像图像和门静脉期磁共振成像图像)进行分割，深度卷积网络模块的不同序列通道输出的预测概率图进一步作为融合模块的输入。本实施例的深度融合网络H(P,W)可以用公式表示为：公式中：Pi和o(Pi)指第i个子网络的输入和输出， f代表对应关系，Wi指全卷积网络中对应第i条子网络支路的权重，Pout指融合网络的映射关系。训练深度融合网络模型的时候，多个深度卷积网络模型的不同序列通道的网络权重也需要微调，因此，本实施例总损失函数L(G,P；α)实际上由两部分组成，如下式所示：公式中：指第i个子网络的损失，αi是每个子网络的损失权重，Pout指融合网络的输出，LDFN(G,Pout)是深度融合网络模型最后一层计算预测结果与金标准间偏离的度量。本实施例通过先训练深度卷积网络模块后训练深度融合网络模型的训练方法，能够大大提高训练的效果，满足多序列网络模型的训练需要，并且能够快速有效地完成网络训练。
进一步作为本方法的优选实施例，所述将获取的多序列磁共振成像图像输入深度卷积网络模块进行第一训练，从而得到磁共振成像图像对应的第一序列分割得分图这一步骤S202，其具体包括：
S2021、将获取的磁共振成像图像输入深度卷积网络中进行特征提取，从而获得特征图；
S2022、将获得的特征图进行得分图重建后得到第一序列分割得分图；
具体地，将所有的特征图进行融合在一起，并进行扩大后，即可获得所需要的分割结果图，采用特征提取后得分图重建的方式，可以有效地过滤掉冗余的信息，直接将肿瘤分割出来。
进一步作为本方法的优选实施例，所述将获取的磁共振成像图像输入深度卷积网络中进行特征提取，从而获得特征图这一步骤S2021，其具体包括：
S20211、将获取的磁共振成像图像输入由第1至第N个下采样模块依次连接所组成的下采样块中，得到磁共振成像图像对应的第1至第N个特征图；其中每个下采样块均包括2个卷积层、批正则化层、线性矫正单元和最大池化层，N为正整数；
具体地，如图3所示，本实施例设计使用4个下采样模块，所述下采样模块用于减少网络参数数量，每个下采样模块包含两个卷积层、一个批正则化层(BatchNormalization)、一个线性矫正单元(ReLU)以及一个2×2大小的最大池化层，所述批正则化层用于防止网络模型出现过拟合，所述线性矫正单元用于增加网络模型的非线性，提高网络模型的学习能力，所述最大池化层用于进行下采样以减少网络参数数量。磁共振成像图像每通过一层最大池化层之后的特征图长和宽都会相应减少一半，使得下一层的每个神经元的相对局部感受野变大，并使得下一个卷积层的神经元能够提取到更全局的特征。在经过四次最大池化层的池化之后，特征图的大小缩小为16×16。
S20212、将第N个特征图经过三个卷积核后获得最终的特征图；
具体地，本实施例对步骤S20211生成的特征图使用三个1×1的卷积核进行特征编码，从而获得得分图。通过本实施例的网络结构，可以使得训练更加快速，提高了网络学习的效率。
进一步作为本方法的优选实施例，所述将获得的特征图进行得分图重建后得到第一序列分割得分图这一步骤S2022，其具体为：
S20221、将获得的特征图输入由第1至第N个反卷积模块依次连接所组成的反卷积块中得到序列分割得分图；其中每个反卷积块均包括反卷积层、连接层和2个卷积层；其中第1 至第N个连接层输入端分别与得到的第N至第1个特征图对应连接；
具体地，如图3所示，本实施例使用4个反卷积模块对得分图的特征向量进行重建。每一个反卷积模块包含一个2×2大小的反卷积层、一个连接层(concatenate layer)以及两个卷积层，每一个反卷积层都将原先得分图的通道数减半。在反卷积过程中本实施例采用的双线性的插值方式会使得扩大之后的图像丢失许多细节上的信息，降低图像的分辨率。因此，在反卷积层之后，本实施例需要通过连接层将每一个下采样层对应的卷积层输出的特征图输入到反卷积层进行像素融合。此外，本实施例选择Dice损失函数(Dice loss)作为损失函数层 (loss function)，Dice loss易于理解，执行简单，是一种较好的相似性度量标准。基于对预测结果与金标准之间的损失函数计算，反向传播算法会不断回传到网络初端并调整网络参数，最终达到优化网络的目的。
对于单序列分割网络，本方法实施例基于肝胆特异期磁共振成像图像训练了深度卷积网络模型；基于肝胆特异期磁共振成像图像和门静脉期磁共振成像图像训练了多序列分割网络模型，以及基于提取感兴趣区域的肝胆特异期磁共振成像图像和提取感兴趣区域的门静脉期磁共振成像图像训练了深度融合网络模型。该模型训练完后测试结果如下：
深度卷积网络模型、多序列分割网络模型和深度融合网络模型对于一个患者的肿瘤slice 分割时间均为24ms，对于一个包含大约50张肿瘤二维图像的MRI的分割时间约为1.21s。当前在51位患者的多序列肝细胞癌图像上进行留一交叉验证法的结果为：深度卷积网络模型对肝胆特异期磁共振成像图像的分割结果的平均DSC为0.69，标准差为0.20，范围0.01～0.90，中位数为0.72；多序列分割网络模型对肝胆特异期磁共振成像图像和门静脉期磁共振成像图像的分割结果的平均DSC为0.74，标准差为0.21，范围0.08～0.96，中位数为0.77；深度融合网络模型的分割结果平均DSC为0.83，标准差为0.13，范围0.42～0.96，中位数为0.88。
如图4、图5、图6和图7所示，结合经验丰富的放射科预画框之后对肿瘤进行多序列分割得到的肿瘤分割结果与金标准相近。在这个实例中，多序列分割网络模型和深度融合网络模型对肿瘤分割的准确率分别为0.86和0.92。其中，图4为经验丰富的放射科医生勾画的肿瘤金标准，图5为深度卷积网络模型的分割结果，图6为多序列分割网络模型的分割结果，图7为深度融合网络模型的分割结果。
如图8所示，本发明实施例还提供了基于深度学习的肝细胞癌磁共振图像分割系统，包括：
图像获取模块，用于获取肝细胞癌肿瘤患者的多序列磁共振成像图像；
模型分割模块，用于将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图；所述深度融合网络模型包括深度卷积网络模块和多序列融合模块，所述深度卷积网络模块划分为多个序列通道，其中每个序列通道均用于处理所述多序列磁共振成像图像中的一个序列的磁共振成像图像，所述多序列融合模块用于融合所有序列通道处理多序列磁共振成像图像的处理结果。
进一步作为优选的实施方式，所述图像获取模块具体包括：
获取单元，用于获取肝细胞癌肿瘤患者的肝胆特异期磁共振成像图像和门静脉期磁共振成像图像；
配准单元，用于将获取的门静脉期磁共振成像图像配准至肝胆特异期磁共振成像图像，从而得到配准后的磁共振成像图像；
感兴趣区域提取单元，用于对得到的配准后的磁共振成像图像和肝胆特异期磁共振成像图像进行肝细胞癌肿瘤的感兴趣区域提取。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种基于深度学习的肝细胞癌磁共振图像分割系统，该系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述基于深度学习的肝细胞癌磁共振图像分割方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
此外，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述基于深度学习的肝细胞癌磁共振图像分割方法。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.基于深度学习的肝细胞癌磁共振图像分割方法，其特征在于：包括以下步骤：
获取肝细胞癌肿瘤患者的多序列磁共振成像图像；
将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图；所述深度融合网络模型包括深度卷积网络模块和多序列融合模块，所述深度卷积网络模块划分为多个序列通道，其中每个序列通道均用于处理所述多序列磁共振成像图像中的一个序列的磁共振成像图像，所述多序列融合模块用于融合所有序列通道处理多序列磁共振成像图像的处理结果。
2.根据权利要求1所述的基于深度学习的肝细胞癌磁共振图像分割方法，其特征在于：所述获取肝细胞癌肿瘤患者的多序列磁共振成像图像这一步骤，其具体包括：
获取肝细胞癌肿瘤患者的肝胆特异期磁共振成像图像和门静脉期磁共振成像图像；
将获取的门静脉期磁共振成像图像配准至肝胆特异期磁共振成像图像，从而得到配准后的磁共振成像图像；
对得到的配准后的磁共振成像图像和肝胆特异期磁共振成像图像进行肝细胞癌肿瘤的感兴趣区域提取。
3.根据权利要求1所述的基于深度学习的肝细胞癌磁共振图像分割方法，其特征在于：所述将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图这一步骤，其具体包括：
将多序列磁共振成像图像输入至深度卷积网络模块中，得到不同序列的磁共振成像图像对应的序列分割得分图；
将得到的各序列分割得分图输入至多序列融合模块中，从而获得病灶分割结果图。
4.根据权利要求1所述的基于深度学习的肝细胞癌磁共振图像分割方法，其特征在于：所述深度融合网络模型为预先训练好的深度融合网络模型，所述预先训练好的深度融合网络模型的训练步骤具体包括：
获取若干个肝细胞癌肿瘤患者的多序列磁共振成像图像和多序列磁共振成像图像对应的金标准图；
将获取的多序列磁共振成像图像输入深度卷积网络模块进行第一训练，从而得到磁共振成像图像对应的第一序列分割得分图；
根据得到的第一序列分割得分图和所述金标准图对深度卷积网络模块的网络权重做调整直至深度卷积网络模块训练结束；
将训练结束时的深度卷积网络模块的网络权重作为初始网络权重输入至深度融合网络模型中，并将获取的多序列磁共振成像图像输入深度融合网络模型进行第二训练，从而得到第二序列分割得分图；
根据得到的第二序列分割得分图和所述金标准图对深度融合网络模型的网络权重做调整。
5.根据权利要求4所述的基于深度学习的肝细胞癌磁共振图像分割方法，其特征在于：所述将获取的多序列磁共振成像图像输入深度卷积网络模块进行第一训练，从而得到磁共振成像图像对应的第一序列分割得分图这一步骤，其具体包括：
将获取的磁共振成像图像输入深度卷积网络中进行特征提取，从而获得特征图；
将获得的特征图进行得分图重建后得到第一序列分割得分图。
6.根据权利要求5所述的基于深度学习的肝细胞癌磁共振图像分割方法，其特征在于：所述将获取的磁共振成像图像输入深度卷积网络中进行特征提取，从而获得特征图这一步骤，其具体包括：
将获取的磁共振成像图像输入由第1至第N个下采样模块依次连接所组成的下采样块中，得到磁共振成像图像对应的第1至第N个特征图；其中每个下采样块均包括2个卷积层、批正则化层、线性矫正单元和最大池化层，N为正整数；
将第N个特征图经过三个卷积核后获得最终的特征图。
7.根据权利要求6所述的基于深度学习的肝细胞癌磁共振图像分割方法，其特征在于：所述将获得的特征图进行得分图重建后得到第一序列分割得分图这一步骤，其具体为：
将获得的特征图输入由第1至第N个反卷积模块依次连接所组成的反卷积块中得到序列分割得分图；其中每个反卷积块均包括反卷积层、连接层和2个卷积层；其中第1至第N个连接层输入端分别与得到的第N至第1个特征图对应连接。
8.基于深度学习的肝细胞癌磁共振图像分割系统，其特征在于：包括：
图像获取模块，用于获取肝细胞癌肿瘤患者的多序列磁共振成像图像；
模型分割模块，用于将获取的多序列磁共振成像图像输入至深度融合网络模型中，从而获得病灶分割结果图；所述深度融合网络模型包括深度卷积网络模块和多序列融合模块，所述深度卷积网络模块划分为多个序列通道，其中每个序列通道均用于处理所述多序列磁共振成像图像中的一个序列的磁共振成像图像，所述多序列融合模块用于融合所有序列通道处理多序列磁共振成像图像的处理结果。
9.根据权利要求8所述的基于深度学习的肝细胞癌磁共振图像分割系统，其特征在于：所述图像获取模块具体包括：
获取单元，用于获取肝细胞癌肿瘤患者的肝胆特异期磁共振成像图像和门静脉期磁共振成像图像；
配准单元，用于将获取的门静脉期磁共振成像图像配准至肝胆特异期磁共振成像图像，从而得到配准后的磁共振成像图像；
感兴趣区域提取单元，用于对得到的配准后的磁共振成像图像和肝胆特异期磁共振成像图像进行肝细胞癌肿瘤的感兴趣区域提取。
10.基于深度学习的肝细胞癌磁共振图像分割系统，其特征在于：包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的基于深度学习的肝细胞癌磁共振图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910676893.4A CN110619635B (zh) | 2019-07-25 | 2019-07-25 | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910676893.4A CN110619635B (zh) | 2019-07-25 | 2019-07-25 | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619635A true CN110619635A (zh) | 2019-12-27 |
| CN110619635B CN110619635B (zh) | 2022-05-31 |
Family
ID=68921475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910676893.4A Active CN110619635B (zh) | 2019-07-25 | 2019-07-25 | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619635B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112071421A (zh) * | 2020-09-01 | 2020-12-11 | 深圳高性能医疗器械国家研究院有限公司 | 一种深度学习预估方法及其应用 |
| CN112561868A (zh) * | 2020-12-09 | 2021-03-26 | 深圳大学 | 一种基于多视角级联深度学习网络的脑血管分割方法 |
| CN112802046A (zh) * | 2021-01-28 | 2021-05-14 | 华南理工大学 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
| CN113554728A (zh) * | 2021-06-21 | 2021-10-26 | 复旦大学 | 基于半监督的从多序列3t到7t磁共振图像的生成方法 |
| CN114742766A (zh) * | 2022-03-15 | 2022-07-12 | 清华大学 | 高适应性的细胞微结构尺寸计算系统和方法 |
| CN115330949A (zh) * | 2022-08-16 | 2022-11-11 | 中山大学附属第一医院 | 一种肝细胞癌侵袭边缘预测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257134A (zh) * | 2017-12-21 | 2018-07-06 | 深圳大学 | 基于深度学习的鼻咽癌病灶自动分割方法和系统 |
| CN108447063A (zh) * | 2017-12-15 | 2018-08-24 | 浙江中医药大学 | 脑胶质母细胞瘤的多模态核磁共振图像分割方法 |
| CN109646089A (zh) * | 2019-01-15 | 2019-04-19 | 浙江大学 | 一种基于多模式医学融合图像的脊柱脊髓体表穿刺入路点智能定位系统及方法 |
| CN109961443A (zh) * | 2019-03-25 | 2019-07-02 | 北京理工大学 | 基于多期ct影像引导的肝脏肿瘤分割方法及装置 |
-
2019
- 2019-07-25 CN CN201910676893.4A patent/CN110619635B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447063A (zh) * | 2017-12-15 | 2018-08-24 | 浙江中医药大学 | 脑胶质母细胞瘤的多模态核磁共振图像分割方法 |
| CN108257134A (zh) * | 2017-12-21 | 2018-07-06 | 深圳大学 | 基于深度学习的鼻咽癌病灶自动分割方法和系统 |
| CN109646089A (zh) * | 2019-01-15 | 2019-04-19 | 浙江大学 | 一种基于多模式医学融合图像的脊柱脊髓体表穿刺入路点智能定位系统及方法 |
| CN109961443A (zh) * | 2019-03-25 | 2019-07-02 | 北京理工大学 | 基于多期ct影像引导的肝脏肿瘤分割方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 董永峰 等: "基于多尺度特征提取和全连接条件随机场的图像语义分割方法", 《激光与光电子学进展》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112071421A (zh) * | 2020-09-01 | 2020-12-11 | 深圳高性能医疗器械国家研究院有限公司 | 一种深度学习预估方法及其应用 |
| CN112561868A (zh) * | 2020-12-09 | 2021-03-26 | 深圳大学 | 一种基于多视角级联深度学习网络的脑血管分割方法 |
| CN112561868B (zh) * | 2020-12-09 | 2021-12-07 | 深圳大学 | 一种基于多视角级联深度学习网络的脑血管分割方法 |
| CN112802046A (zh) * | 2021-01-28 | 2021-05-14 | 华南理工大学 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
| CN112802046B (zh) * | 2021-01-28 | 2022-06-14 | 华南理工大学 | 基于深度学习从多序列mr中生成伪ct的影像生成系统 |
| CN113554728A (zh) * | 2021-06-21 | 2021-10-26 | 复旦大学 | 基于半监督的从多序列3t到7t磁共振图像的生成方法 |
| CN113554728B (zh) * | 2021-06-21 | 2022-04-12 | 复旦大学 | 基于半监督的从多序列3t到7t磁共振图像的生成方法 |
| CN114742766A (zh) * | 2022-03-15 | 2022-07-12 | 清华大学 | 高适应性的细胞微结构尺寸计算系统和方法 |
| CN115330949A (zh) * | 2022-08-16 | 2022-11-11 | 中山大学附属第一医院 | 一种肝细胞癌侵袭边缘预测方法及系统 |
| CN115330949B (zh) * | 2022-08-16 | 2024-04-05 | 中山大学附属第一医院 | 一种肝细胞癌侵袭边缘预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619635B (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| US10489908B2 (en) | Deep convolutional encoder-decoder for prostate cancer detection and classification | |
| US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
| CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
| CN109035261B (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN109949318B (zh) | 基于多模态影像的全卷积神经网络癫痫病灶分割方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN110910405A (zh) | 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 | |
| CN113034507A (zh) | 基于ccta影像的冠状动脉三维分割方法 | |
| US20210020304A1 (en) | Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data | |
| CN111340825A (zh) | 一种纵膈淋巴结分割模型的生成方法及系统 | |
| CN111798410A (zh) | 基于深度学习模型的癌细胞病理分级方法、装置、设备和介质 | |
| CN114202524A (zh) | 多模态医学图像的性能评价方法与系统 | |
| US20240169544A1 (en) | Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| CN116091466A (zh) | 图像分析方法、计算机设备和存储介质 | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN113192031A (zh) | 血管分析方法、装置、计算机设备和存储介质 | |
| CN113838105A (zh) | 基于深度学习的弥散微循环模型驱动参数估计方法、装置及介质 | |
| CN113052840A (zh) | 一种基于低信噪比pet图像的处理方法 | |
| CN113066145B (zh) | 基于深度学习的快速全身弥散加权成像方法及相关设备 | |
| Lewis et al. | Quantifying the importance of spatial anatomical context in cadaveric, non-contrast enhanced organ segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518060 508, A2 floor, medical department, Xili campus, Shenzhen University, Xueyuan Avenue, Nanshan District, Shenzhen City, Guangdong Province Applicant after: SHENZHEN University Applicant after: The First Affiliated Hospital,Sun Yat-sen University Address before: 518060 Nanhai Road, Guangdong, Shenzhen, No. 3688, No. Applicant before: SHENZHEN University Applicant before: The First Affiliated Hospital,Sun Yat-sen University |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |