CN115954106B - 基于计算机辅助模拟的肿瘤模型优化系统 - Google Patents
基于计算机辅助模拟的肿瘤模型优化系统 Download PDFInfo
- Publication number
- CN115954106B CN115954106B CN202310246240.9A CN202310246240A CN115954106B CN 115954106 B CN115954106 B CN 115954106B CN 202310246240 A CN202310246240 A CN 202310246240A CN 115954106 B CN115954106 B CN 115954106B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- tumor
- positions
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 202
- 238000004088 simulation Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 118
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 63
- 239000013598 vector Substances 0.000 claims description 15
- 238000001574 biopsy Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 3
- 238000002347 injection Methods 0.000 claims 1
- 239000007924 injection Substances 0.000 claims 1
- 238000001356 surgical procedure Methods 0.000 abstract description 18
- 230000008859 change Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 30
- 238000001514 detection method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 16
- 238000005094 computer simulation Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000001788 irregular Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 201000003144 pneumothorax Diseases 0.000 description 2
- 231100000588 tumorigenic Toxicity 0.000 description 2
- 230000000381 tumorigenic effect Effects 0.000 description 2
- 206010008479 Chest Pain Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 241000669618 Nothes Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及计算机辅助外科学领域，提出了基于计算机辅助模拟的肿瘤模型优化系统，包括：获取CT图像；根据第一分割模型训练得到的立体肿瘤信息与人工标注的立体肿瘤信息之间的差异，获取每层CT图像的整体关注程度，根据相同位置在不同层CT图像中的分布特征，分配整体关注程度得到第一关注程度；根据每层CT图像每个位置的局部变化特征，获取第二关注程度；根据第一关注程度及第二关注程度构建第二分割模型，完成肿瘤区域的分割；根据分割到的肿瘤区域进行肿瘤模型的三维重建。本发明旨在解决现有的肿瘤智能分割图像存在过分割或欠分割而导致肿瘤三维重建模型精确度不足导致肿瘤穿刺不准确的问题。
Description
技术领域
本发明涉及计算机辅助外科学领域，具体涉及基于计算机辅助模拟的肿瘤模型优化系统。
背景技术
现有的计算机辅助外科学是利用计算机将外科手术过程模拟模型化，其在外科手术领域具有巨大的前景应用；例如对于恶性肿瘤的穿刺活检是肿瘤外科手术的重要部分，而针对内脏的穿刺活检取样对于穿刺技术有非常严格的要求，譬如肺部肿瘤穿刺活检稍有不慎极易造成气胸，气胸会引起患者严重的胸痛和呼吸困难，还会伴随着咳嗽等，若不能及时有效的进行控制和治疗极易引发严重后果；穿刺的偏差或导致取样不能，或导致脏器损伤，或引发其他并发症，因此需要对肿瘤进行准确的定位及区域分割，以便于辅助肿瘤外科手术的顺利进行。首先利用计算机断层扫描，即CT技术可以对器官切片扫描从而准确判断肿瘤发生位置，然后根据肿瘤发生位置进行手术的规划实施；以往CT技术获得的CT图像需要人为的判断肿瘤区域或肿瘤发生位置，但是现如今的计算机辅助外科学将肿瘤分割定位过程进行模型化，获得肿瘤区域以及对肿瘤区域进行三维重建，实现判断肿瘤发生位置及肿瘤区域分割的目的，进而达到有效取样并避免不必要的并发症的产生，从而大大提高对于肿瘤进行穿刺活检手术的成功率。
然而现有计算机辅助外科学将肿瘤分割定位过程进行模拟模型化时，是通过构建的分割模型对CT图像进行整体建模分析来获得分割结果，而不考虑CT图像中某些位置更能反映与肿瘤区域分割相关的特征，进而导致肿瘤分割过程进行模拟模型化时出现过拟合或欠拟合的现象，即无法获取到具有足够准确程度的分割模型；因此需要在现有计算机辅助外科学的基础上进一步将肿瘤分割中模拟模型化的过程进行改进和优化，从而得到准确的三维肿瘤模型，进而提高对于肿瘤进行穿刺活检的采样准确性。
发明内容
本发明提供基于计算机辅助模拟的肿瘤模型优化系统，以解决现有的肿瘤智能分割图像存在过分割或欠分割而导致肿瘤三维重建模型精确度不足的问题，所采用的技术方案具体如下：
本发明一个实施例提供了基于计算机辅助模拟的肿瘤模型优化系统，该系统包括：
移动平扫单元，通过CT仪对患者的肿瘤发生区域进行移动平扫获取患者的CT图像；
三维重建单元：扫描图像采集模块，获取若干患者的CT图像数据集；
肿瘤区域分割模块：构建并训练第一分割模型，利用第一分割模型获取任意一个患者的任意一层CT图像的肿瘤区域，根据所述肿瘤区域与人工标注的肿瘤区域分别对应获取训练得到的立体肿瘤信息以及人工标注的立体肿瘤信息，根据立体肿瘤信息之间的差异获取每层CT图像的整体关注程度，根据相同位置在不同层CT图像的分布特征获取每层CT图像每个位置的分配权重，根据分配权重及整体关注程度得到每层CT图像每个位置的第一关注程度；
以任意一个患者的任意一层CT图像中任意一个位置为中心构建预设窗口，根据窗口内任意方向上各位置之间的灰度差异，获取窗口内任意方向最终延伸得到的若干位置以及窗口内任意方向划分的两个区域，根据最终延伸得到的若干位置及两个区域获取任意一层CT图像中任意一个位置的局部不规则度；根据同一层CT图像内所有位置的局部不规则度获取同一层CT图像内每个位置的分布密度程度，根据局部不规则度及分布密度程度获取每层CT图像每个位置的第二关注程度；
根据第一关注程度及第二关注程度构建第二分割模型的自适应损失函数，将每层CT图像输入到第二分割模型中，输出得到每层CT图像的肿瘤区域分割结果；
三维模型重建模块，根据每层CT图像的分割区域进行肿瘤模型的三维重建；
可视化单元，将三维重建后的肿瘤模型进行可视化；
穿刺执行单元，根据肿瘤的三维模型进行肿瘤的穿刺活检。
可选的，所述获取训练得到的立体肿瘤信息以及人工标注的立体肿瘤信息，包括的具体方法为：
对于任意一个患者的每层CT图像，根据人工标注的肿瘤区域进行区域分割，将该层CT图像与层数小于该层层数的所有CT图像人工标注的肿瘤区域进行三维重建，作为该层CT图像人工标注的立体肿瘤信息；
根据自动分割的肿瘤区域进行区域分割，将该层CT图像与层数小于该层层数的所有CT图像自动分割的肿瘤区域进行三维重建，作为该层CT图像训练得到的立体肿瘤信息。
可选的，所述根据立体肿瘤信息之间的差异获取每层CT图像的整体关注程度，包括的具体方法为：
其中，表示任意一个患者的第层CT图像的整体关注程度，表示得到的傅里叶描述向量的维数，表示第层CT图像训练得到的立体肿瘤信息的傅里叶描述向量中第维的值，表示第层CT图像人工标注得到的立体肿瘤信息的傅里叶描述向量中第维的值；表示两个值的差异。
可选的，所述根据相同位置在不同层CT图像的分布特征获取每层CT图像每个位置的分配权重，包括的具体方法为：
其中，表示任意一个患者的第层CT图像的第个位置的分配程度，表示第个位置在第层之前层的CT图像中被人工标注为肿瘤区域的次数，表示第层之前层的CT图像层数，表示第层之前层的CT图像中第层CT图像中第个位置与肿瘤区域边缘点的最短欧式距离；
将第层CT图像中所有位置的分配程度进行归一化，归一化的值作为每个位置的分配权重。
可选的，所述获取窗口内任意方向最终延伸得到的若干位置，包括的具体方法为：
判断窗口内同一方向内三个位置之间的灰度差异均小于灰度差异阈值，则继续以当前窗口内同一方向下除中心位置外的其他两个位置建立窗口，并继续判断新的窗口内同一方向下三个位置之间的灰度差异是否均小于灰度差异阈值，以此类推进行同一方向的处理，直到同一方向延伸下出现灰度差异大于等于灰度差异阈值而停止，获取窗口内同一方向下最终延伸得到的位置。
可选的，所述获取任意一层CT图像中任意一个位置的局部不规则度，包括的具体方法为：
其中，表示任意一个患者的任意一层CT图像的第个位置的局部不规则度，表示窗口内的方向数量，表示对于第个位置为中心的窗口中第个方向下最终延伸得到的位置的灰度均值，表示该窗口内第个方向划分的第一个区域的灰度均值，表示该窗口内第个方向划分的第二个区域的灰度均值。
可选的，所述根据同一层CT图像内所有位置的局部不规则度获取同一层CT图像内每个位置的分布密度程度，包括的具体方法为：
对任意一层CT图像内的所有局部不规则度进行归一化处理，将该层CT图像中归一化的局部不规则度大于局部不规则阈值的位置进行首尾相连获取若干区域；所述首尾相连的具体方法为将每个满足阈值条件的位置与距离最近的满足阈值条件的进行连接，若已经连接则与未连接的满足阈值条件的距离最近位置进行连接，且每个位置最多与其他两个位置进行连接，则得到若干闭合区域以及可能存在的未闭合区域或孤立位置；
对于不满足阈值条件的位置，设置其分布密度程度为第一预设值；对于满足阈值条件但不存在于闭合区域中的位置，设置其分布密度程度为第二预设值；对于闭合区域内的满足阈值条件的位置，获取其所在闭合区域内所有位置的灰度值，得到每个灰度值对应的位置数量，计算位置数量不为0的所有位置数量的方差，将方差作为该闭合区域内满足阈值条件的位置的分布密度差异；获取任意一层CT图像中所有闭合区域内满足阈值条件的位置的分布密度差异，对这些分布密度差异进行归一化处理，归一化值域范围为大于等于第二预设值而小于等于第三预设值，将归一化结果作为这些位置的分布密度程度。
可选的，所述根据第一关注程度及第二关注程度构建第二分割模型的自适应损失函数，包括的具体方法为：
其中，表示对于任意一个患者的第层CT图像的自适应损失函数，表示该层CT图像中第个位置的第一关注程度，表示该层CT图像中第个位置的第二关注程度，表示该层CT图像中第个位置的人工标注值，表示该层CT图像中第个位置的第二分割模型自动分割得到的预测值。
可选的，所述人工标注是指由多名专业医师共同决策完成对每张CT图像的标注。
本发明的有益效果是：根据病人的肿瘤的立体信息特征，通过计算分割模型训练得到的立体肿瘤信息，与人工标注得到的立体肿瘤信息之间的差异，来获取每层CT图像的整体关注程度；通过相同位置在不同层CT图像中的分布表现，对整体关注程度进行分配获取每层CT图像每个位置的第一关注程度；减少了分割模型训练过程中网络对每层CT图像的学习能力不同的缺点；使得训练的分割模型结果更加准确。
通过分析每层CT图像中每个位置的局部变化特征，得到每层CT图像每个位置的第二关注程度，来表征每层CT图像每个位置在构建损失函数过程中，对训练过程预测误差的允许程度；使得分割模型在训练过程中，针对不同位置的局部变化特征可以进行不同程度的学习，避免获取到的肿瘤区域CT图像出现过分割或欠分割的缺点；使得分割出来的肿瘤图像准确性更高，进而提高肿瘤三维重建模型的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的基于计算机辅助模拟的肿瘤模型优化系统结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明一个实施例所提供的基于计算机辅助模拟的肿瘤模型优化系统结构框图。
对于人体脏器肿瘤检查，通常通过检测设备获取若干组检测数据，如利用CT扫描仪获得多层CT图像，医生根据检测数据判断病灶区域并进一步分割；现有计算机辅助外科学将肿瘤分割过程进行模拟模型化时，通过构建的分割模型对CT图像进行整体建模分析来获得分割结果，而不考虑CT图像中某些位置更能反映与肿瘤区域分割相关的特征，进而导致肿瘤分割过程进行模拟模型化时出现过拟合或欠拟合的现象，即无法获取到具有足够准确程度的分割模型；因此需要在现有计算机辅助外科学的基础上进一步将肿瘤分割中模拟模型化的过程进行改进和优化，从而得到准确的三维肿瘤模型，进而提高对于肿瘤进行穿刺活检的采样准确性。本实施例提出了基于计算机辅助模拟的肿瘤模型优化系统解决该问题：
移动平扫单元S001，通过CT仪对患者的肿瘤发生区域进行移动平扫获取患者的CT图像。
本实施例通过移动平扫单元来获取CT图像，该单元主要包括64排多层螺旋CT仪来对肿瘤发生区域进行移动平扫，并根据实际情况设置仪器参数。
本实施例中CT仪参数可在如下参考范围内进行设置：扫描参数中管电压设置100-120kV，参考管电流量设置220-300mAs或采用自动管电流技术；转速设置0.5-0.6s/r，显示野设置32-40cm；采集方式为容积采集，采集层厚设置为5mm，采集间隔设置为5mm；常规重建1-1.25mm的薄层CT图像，重建算法采用标准或软组织重建算法，并适当调节窗宽和窗位，窗宽设置250-350HU，窗位设置35-45HU；按照参考范围进行参数设置，患者需要禁食准备并采用仰卧体位进行扫描，通过CT仪的断层平扫及直线移动进而得到患者的CT图像。
三维重建单元S002，该单元包括：
扫描图像采集模块S101，获取若干患者的若干层CT图像作为检测数据，并组成数据集。
通过移动平扫单元采集大量患者的多层CT图像，将每层CT图像都作为一组检测数据，将人工标注出每组检测数据中的肿瘤区域；将所有患者的所有组检测数据组成数据集。
肿瘤区域分割模块S102，包括的具体方法为：
将现有计算机辅助外科学将肿瘤分割过程进行模拟模型化时构建的分割模型记为第一分割模型，利用数据集对第一分割模型进行训练；训练后的第一分割模型对每组输入的检测数据输出相应的待分割区域，根据待分割区域和预分割区域获取每组检测数据的整体关注程度，其中预分割区域就是每组输入的检测数据标注出的肿瘤区域；所述的整体关注程度表示一组检测数据需要额外关注的程度，整体关注程度越大，即预分割区域与待分割区域差异越大，越需要关注该组检测数据来提高分割模型的准确性。
进一步的，由于每组检测数据中包含若干数据，每个数据反映的是内脏器官中不同位置的脏器健康状况表现，而每组检测数据中数据的排列固定；则根据相同位置的数据在不同组检测数据中与组内其他数据之间的关系，获取每组检测数据中每个数据的第一关注程度；第一关注程度可以表征每组检测数据中每个数据所能够反映的特征程度，第一关注程度越大的数据，特征表现就越强，那么在肿瘤分割过程中进行模拟模型化时应该更多地关注该特征。
进一步的，根据任意一个数据在所属的一组检测数据中局部范围内的数据变化，获取每组检测数据中每个数据的局部不规则度；根据同一组检测数据中每个数据的局部不规则度及数据的数值关系，获取每个数据的分布密度程度，再通过局部不规则度及分布密度程度，获取每个数据的第二关注程度；第二关注程度通过数据的局部不规则度及分布密度程度获取，数据越不规则，则为特征数据的可能性越大，那么在肿瘤分割过程中进行模拟模型化时也应该更多地关注该特征数据。
通过第一关注程度及第二关注程度对第一分割模型的基础上进行优化训练最终得到第二分割模型；得到第二分割模型的过程就是在现有计算机辅助外科学的基础上进一步将肿瘤分割中模拟模型化过程进行改进和优化，保证获得的第二分割模型能够考虑到CT图像中某些位置更能反映与肿瘤区域分割相关的特征，进而避免肿瘤分割过程进行模拟模型化时出现过拟合或欠拟合的现象。
三维模型重建模块S103，根据每组检测数据的分割区域进行肿瘤模型的三维重建。
患者进行肿瘤相关外科手术时，通过检测设备获取患者的多组检测数据，输入到训练后的第一分割模型中获取待分割区域，进而得到第一关注程度及第二关注程度，再输入到训练好的第二分割模型中获取对于每组检测数据的分割区域；对患者的多组检测数据中的分割区域通过三维重建技术，得到了患者三维重建后的肿瘤模型。
至此，通过对现有的肿瘤分割模型进行改进优化，根据移动平扫单元得到患者的CT图像，通过改进后的第二分割模型得到患者三维重建后的肿瘤模型，使得肿瘤模型不会因为过拟合或欠拟合而导致后续肿瘤相关的穿刺活检采样出现误差，提高穿刺活检手术的成功率。
可视化单元S003，将三维重建后的肿瘤模型进行可视化。
医生对患者进行肿瘤相关外科手术时，检测设备实时展示该患者的肿瘤三维模型，以此来进行肿瘤外科手术的实施规划。
穿刺执行单元S004，根据肿瘤的三维模型进行肿瘤的穿刺活检。
本实施例中，所述穿刺执行单元包括用于将取样穿刺针道转换成可执行带空间坐标信息的数据解析模块，所述数据解析模块包括将取样穿刺针道解析为带空间坐标信息和空间方位的坐标解析小组，所述带空间坐标信息和空间方位的信息为在空间坐标范围内的空间矢量；以及用于将空间矢量与引导穿刺系统可执行范围进行对比的判别执行小组；若判别执行小组判别的结果为“是”，则数据解析模块将空间矢量数据发送至穿刺执行单元执行引导；若判别执行模块判别的结果为“否”，则数据解析模块将空间矢量数据反馈至三维重建单元，停止执行。
本实施例中，所述穿刺执行单元包括由多轴转动连接组成的万向转动机构以控制所述穿刺套管所在方向与空间矢量一致。
进一步的，本实施例对基于计算机辅助模拟的肿瘤模型优化系统中的三维重建单元进行具体叙述，该单元包括：
扫描图像采集模块S101，获取若干患者的若干层CT图像，并组成数据集。
本实施例采集大量患者的多层CT图像，由专业医师人工标注每张CT图像中的肿瘤区域，即每张CT图像对应一个标注的肿瘤区域，采集得到的所有CT图像构成数据集，用于后续对分割模型进行训练；需要说明的是，人工标注是由多位专业医师共同对CT图像进行肿瘤区域分析和判断，将分析得到的肿瘤区域进行标注，避免由于单个医师对肿瘤区域的误判造成标注结果不正确的情况；具体的，多位专业医师共同决策出CT图像上哪些像素点是肿瘤，哪些像素点不是肿瘤，将CT图像中存在肿瘤的像素点标注成1，不存在肿瘤的像素点标注成0；标注成1的所有像素点构成的区域就是人工标注的肿瘤区域。将标注完成的CT图像放入到数据集中，数据集中肿瘤区域标注完成的CT图像不会再进行标注。
肿瘤区域分割模块S102：
（1）根据第一分割模型训练得到的立体肿瘤信息与人工标注的立体肿瘤信息之间的差异，获取每层CT图像的整体关注程度，根据相同位置在不同层CT图像中的分布特征，分配整体关注程度得到每层CT图像每个位置的第一关注程度。
需要说明的是，在分割模型学习过程中，由于病人的每层CT图像存在部分差异，造成了分割模型对于病人中每层CT图像的学习能力不同；因此在分割模型训练过程中，需要根据病人的立体肿瘤信息特征，通过计算分割模型训练得到的立体肿瘤信息与标注的立体肿瘤信息之间的差异，获取病人每层CT图像的整体关注程度；其中当前层病人CT图像的整体关注程度越大，则对应的在分割模型训练过程中构建自适应的损失函数时，需要使得损失函数收敛过程中，减少分割模型对于肿瘤区域分割学习过程中肿瘤边缘信息的误差，即需要更准确的学习该层CT图像的肿瘤边缘信息。
具体的，将现有计算机辅助外科学将肿瘤分割过程进行模拟模型化时构建的分割模型记为第一分割模型，通常的分割模型包括神经网络模型以及机器学习模型等，本实施例中的第一分割模型采用一个现有的CNN神经网络结构，例如MaskRCNN网络、DeepLabV3网络等；随机初始化第一分割模型中的参数，使用训练集进行分割模型训练，训练集即为采集到的大量患者的若干层CT图像组成的数据集，并由专业医师人工标注每张CT图像中的肿瘤区域；输入方式采用同一患者的每层CT图像依次输入，损失函数采用传统的均方根误差函数，输出得到每个患者的每层CT图像中自动分割得到的肿瘤区域；利用训练集并使用均方根误差损失函数训练第一分割模型，获取训练好的第一分割模型。
进一步的，对同一患者的若干层CT图像，根据人工标注的肿瘤区域进行区域分割，并采用面绘制的移动立方体方法和体绘制的光线投射方法对分割后的肿瘤区域进行三维重建，得到重建后的人工标注的立体肿瘤信息；按照相同方法对第一分割模型自动分割得到的肿瘤区域进行三维重建，得到重建后的第一分割模型训练得到的立体肿瘤信息。
进一步需要说明的是，人工标注和训练得到的立体肿瘤信息之间存在差异，通过差异表现来判断每层CT图像的整体关注程度，即学习过程中的边缘信息允许误差大小；计算每一层与之前所有层构成的立体肿瘤信息之间的差异，确保两个立体肿瘤信息之间层数相同，进而得到可以表征每层CT图像在训练学习过程的边缘信息允许误差的整体关注程度。
具体的，根据基于视觉的集合相似比较算法，采用Ohbuchi算法得到每个三维重建后的立体肿瘤的傅里叶描述子组合生成傅里叶描述向量；对于数据集中任意一个患者的每层CT图像，将该层CT图像与层数小于该层层数的所有CT图像中的肿瘤区域进行三维重建，作为该层的立体肿瘤信息；例如对于第一层CT图像经过第一分割模型输出得到的第一层的肿瘤区域，由于第一层CT图像无法构成立体肿瘤，因此仅将第一层CT图像自动分割的肿瘤区域与人工标注的第一层CT图像肿瘤区域进行CT图像比较即可；对于第二层CT图像自动分割的肿瘤区域与人工标注的第二层CT图像肿瘤区域，与其对应的第一层CT图像的肿瘤区域进行三维重建获取第二层的立体肿瘤信息；其中Ohbuchi算法为公知技术，本实施例不再赘述。
以数据集中任意一个患者的第层CT图像为例，获取该层CT图像的整体关注程度的计算方法为：
其中，表示根据Ohbuchi算法计算的得到的傅里叶描述向量的维数，表示第层CT图像训练得到的立体肿瘤信息的傅里叶描述向量中第维的值，表示第层CT图像人工标注得到的立体肿瘤信息的傅里叶描述向量中第维的值；表示两个值的差异，通过差值绝对值得到；按照上述方法获取该患者的所有层CT图像的整体关注程度，并进行线性归一化处理，该患者的第层CT图像的整体关注程度归一化的值记为。
进一步需要说明的是，由于CT图像是通过断层扫描得到，因此每层CT图像中的相同位置均具有纵向关联性，则相同位置在不同层CT图像中被标记为肿瘤区域的次数越多，分割模型学习过程对于该位置的关注程度应越大；同时由于每层CT图像具有整体关注程度，因此根据每层CT图像中每个位置与肿瘤区域边缘点的距离，通过整体关注程度对每层CT图像中的每个位置进行关注程度分配，得到每层CT图像每个位置的第一关注程度。
具体的，以数据集中任意一个患者的第层CT图像的第个位置为例，该位置的分配程度的具体计算方法为：
其中，表示第个位置在第层之前层的CT图像中被人工标注为肿瘤区域的次数，表示第层之前层的CT图像层数，表示第层之前层的CT图像中第层CT图像中第个位置与肿瘤区域边缘点的最短欧式距离；所述最短欧式距离的计算方法即为获取该层CT图像中该位置与所有边缘点的欧式距离，最小的欧式距离即为最短欧式距离，所述边缘点即为人工标注的肿瘤区域的边缘上的位置；按照上述方法获取该患者的第层CT图像中每个位置的分配程度，将所有分配程度通过softmax函数进行归一化处理，记为该患者第层CT图像中每个位置的分配权重，第层CT图像中第个位置的分配权重记为。
进一步的，根据分配权重及整体关注程度获取每层CT图像中每个位置的第一关注程度，以数据集中任意一个患者的第层CT图像中第个位置为例，该位置的第一关注程度的计算方法为：
其中，表示该患者的第层CT图像中第个位置的分配权重，表示该患者的第层CT图像的整体关注程度归一化的值；按照上述方法获取任意一个患者的所有层CT图像中每个位置的第一关注程度；任意一层CT图像中任意一个位置的第一关注程度越大，在分割模型训练学习过程对于该位置的允许误差越小，自适应损失函数构建过程中越应该考虑该位置。
至此，获取到了每层CT图像中每个位置的第一关注程度，用于后续自适应损失函数的构建，以提高肿瘤区域分割的准确性。
（2）根据每层CT图像每个位置的局部变化特征，获取每层CT图像每个位置的第二关注程度。
需要说明的是，第一关注程度表征肿瘤的立体信息，相较于整体来进行局部位置的训练学习过程的提高；而实际CT扫描中，由于受到造影剂的影响，同时肿瘤区域边缘存在毛刺，则肿瘤区域密度分布不均且边缘区域通常呈不规则分布，而越不规则的边缘区域越需要更小的允许误差，从而提高肿瘤区域分割的准确性；因此需要分析每个位置的局部变化特征，以此来表征不规则边缘区域需要更小的允许误差。
具体的，以任意一个患者的任意一层CT图像为例，将该层CT图像中每个位置作为窗口中心位置进行局部变化特征分析，将窗口内的位置以中心位置分为四个方向，即窗口内的第二行、第二列、正对角线以及反对角线四个方向，每个方向包括中心位置共有三个位置；给出灰度差异阈值，本实施例采用灰度差异阈值为3进行计算，若任意一个窗口内同一方向内三个位置之间的灰度差异均小于灰度差异阈值，所述灰度差异即为两个位置之间的灰度值差值的绝对值；则继续以当前窗口内该方向下除中心位置外的其他两个位置建立窗口，并继续判断新的窗口内该方向下三个位置之间的灰度差异是否均小于灰度差异阈值，以此类推进行该方向的处理，直到该方向延伸下出现灰度差异大于等于灰度差异阈值而停止，获取对于任意一个窗口该方向下最终延伸得到的位置；需要说明的是，最终延伸得到的位置包括停止时不满足小于灰度差异阈值的若干位置。
进一步的，对于任意一个窗口内某个方向进行延伸处理分析时，该方向会将窗口内的位置划分为两个区域，分别计算窗口内两个区域内的灰度值均值；需要说明的是，两个区域内的位置不包括划分方向上的三个位置，即窗口内划分方向上有三个位置，两个区域内各有三个位置。
进一步的，以数据集中任意一个患者的任意一层CT图像的第个位置为例，以该位置为窗口中心位置进行计算，获取该位置的局部不规则度的计算方法为：
其中，表示窗口内的方向数量，本实施例中，表示对于第个位置为中心的窗口中第个方向下最终延伸得到的位置的灰度均值，表示该窗口内第个方向划分的第一个区域的灰度均值，表示该窗口内第个方向划分的第二个区域的灰度均值；相同窗口内不同方向延伸下的灰度均值差异越大，该位置沿不同方向的灰度分布差异越大，该位置的毛刺或分节特征较为明显，局部不规则度越大；窗口内某个方向划分两侧区域的灰度均值差异越大，该方向作为边缘分割肿瘤区域与正常区域的能力越强，毛刺边缘可能性越大，该位置的局部不规则度越大。
进一步的，按照上述方法获取数据集中任意一层CT图像中所有位置的局部不规则度；对所有局部不规则度进行线性归一化处理，给出局部不规则阈值，本实施例局部不规则阈值采用0.65进行计算，将该层CT图像中归一化的局部不规则度大于局部不规则阈值的位置进行首尾相连获取若干区域；所述首尾相连的具体方法为将每个满足阈值条件的位置与距离最近的满足阈值条件的进行连接，若已经连接则与未连接的满足阈值条件的距离最近位置进行连接，且每个位置最多与其他两个位置进行连接，则得到若干闭合区域以及可能存在的未闭合区域或孤立位置。
进一步的，对于不满足阈值条件的位置，其分布密度程度设置为0，即其属于肿瘤区域边缘的可能性很小；对于满足阈值条件但不存在于闭合区域中的位置，本实施例设置其分布密度程度为0.2，由于其无法闭合，为边缘的可能性较小；对于闭合区域内的满足阈值条件的位置，获取其所在闭合区域内所有位置的灰度值，得到每个灰度值对应的位置数量，计算位置数量不为0的所有位置数量的方差，将方差作为该闭合区域内满足阈值条件的位置的分布密度差异，则同一闭合区域内所有满足阈值条件的位置的分布密度差异相等；按照上述方法获取任意一层CT图像中所有闭合区域内满足阈值条件的位置的分布密度差异，对这些分布密度差异进行线性归一化处理，归一化值域为，将归一化结果作为这些位置的分布密度程度；按照上述方法得到任意一层CT图像中所有位置的分布密度程度，第个位置的分布密度程度记为；分布密度程度越大，表明该位置的局部不规则度很大，且形成一个闭合区域，闭合区域内灰度级分布较多，则该位置越有可能为肿瘤边缘区域，对于训练学习过程的允许误差越小。
进一步的，以数据集中任意一个患者的任意一层CT图像中第个位置为例，获取该位置的第二关注程度的计算方法为：
其中，表示第个位置的局部不规则度，表示第个位置的分布密度程度；局部不规则度和分布密度程度均表征该位置为肿瘤区域边缘的可能性，越大则边缘可能性越大，允许误差就越小，第二关注程度越大。
至此，获取到了数据集中每张CT图像中每个位置的第一关注程度及第二关注程度，为后续肿瘤区域的分割提供自适应的参考。
（3）根据第一关注程度和第二关注程度以及第一分割模型构建第二分割模型，并得到训练好的第二分割模型，完成肿瘤区域的分割。
需要说明的是，获取到训练集中每层CT图像每个位置的第一关注程度及第二关注程度，需要根据两个关注程度来自适应构建损失函数，以使得分割模型对于不同位置有不同精确程度，即允许误差的训练及学习，从而使得到的肿瘤区域分割结果更加准确，避免过分割或欠分割情况的出现。
具体的，利用与第一分割模型相同的结构构建第二分割模型，随机初始化第二分割模型中的参数，自适应的损失函数构建方法如下：
其中，表示对于任意一个患者的第层CT图像的自适应损失函数，表示该层CT图像中第个位置的第一关注程度，表示该层CT图像中第个位置的第二关注程度，表示该层CT图像中第个位置的人工标注值，表示该层CT图像中第个位置的第二分割模型自动分割得到的预测值；第一关注程度与第二关注程度越大，第个位置处于边缘区域可能性越大，允许误差越小；人工标注和预测值均为二值标注，则两者相同则该位置结果为0，无需额外关注，两者不同则表明训练出现错误，需要注意关注程度来提高分割准确性。
进一步的，对于第二分割模型的输入仍采用训练集对其进行训练，训练集中包括大量患者的CT图像数据集，人工标注每张CT图像中的肿瘤区域，采用同一患者的每层CT图像依次输入，对第二分割模型进行训练，输出得到每层CT图像的肿瘤区域分割结果；利用训练集使用自适应的损失函数，得到训练好的第二分割模型。
当有新患者的CT图像需要进行肿瘤区域分割时，首先将该患者的所有CT图像输入到训练好的第一分割模型中，根据输出结果获取对于每层CT图像每个位置的第一关注程度及第二关注程度，并根据第一关注程度及第二关注程度再输入到训练好的第二分割模型中，第二分割模型的输出结果即为该患者的CT图像分割到的肿瘤区域。
三维模型重建模块S103，根据每层CT图像的分割区域进行肿瘤模型的三维重建。
患者进行肿瘤相关外科手术时，通过CT仪移动平扫获取患者的多层CT图像，输入到训练后的第一分割模型中获取待分割区域，进而得到第一关注程度及第二关注程度，再输入到训练好的第二分割模型中获取对于每层CT图像的分割区域；对患者的多层CY图像中的分割区域通过三维重建技术，得到了患者三维重建后的肿瘤模型；其中三维重建技术通过现有的CT仪的显示装置即可完成，为现有技术及装置，本实施例不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.基于计算机辅助模拟的肿瘤模型优化系统，其特征在于，该系统包括：
移动平扫单元，通过CT仪对患者的肿瘤发生区域进行移动平扫获取患者的CT图像；
三维重建单元，包括：扫描图像采集模块，获取若干患者的CT图像数据集；
肿瘤区域分割模块：构建并训练第一分割模型，利用第一分割模型获取任意一个患者的任意一层CT图像的肿瘤区域，根据所述肿瘤区域与人工标注的肿瘤区域分别对应获取训练得到的立体肿瘤信息以及人工标注的立体肿瘤信息，根据立体肿瘤信息之间的差异获取每层CT图像的整体关注程度，根据相同位置在不同层CT图像的分布特征获取每层CT图像每个位置的分配权重，根据分配权重及整体关注程度得到每层CT图像每个位置的第一关注程度；
以任意一个患者的任意一层CT图像中任意一个位置为中心构建预设窗口，根据窗口内任意方向上各位置之间的灰度差异，获取窗口内任意方向最终延伸得到的若干位置以及窗口内任意方向划分的两个区域，根据最终延伸得到的若干位置及两个区域获取任意一层CT图像中任意一个位置的局部不规则度；根据同一层CT图像内所有位置的局部不规则度获取同一层CT图像内每个位置的分布密度程度，根据局部不规则度及分布密度程度获取每层CT图像每个位置的第二关注程度；
根据第一关注程度及第二关注程度构建第二分割模型的自适应损失函数，将每层CT图像输入到第二分割模型中，输出得到每层CT图像的肿瘤区域分割结果；
三维模型重建模块，根据每层CT图像的分割区域进行肿瘤模型的三维重建；
可视化单元，将三维重建后的肿瘤模型进行可视化；
穿刺执行单元，根据肿瘤的三维模型进行肿瘤的穿刺活检；
所述根据立体肿瘤信息之间的差异获取每层CT图像的整体关注程度，包括的具体方法为：
其中，表示任意一个患者的第层CT图像的整体关注程度，表示得到的傅里叶描述向量的维数，表示第层CT图像训练得到的立体肿瘤信息的傅里叶描述向量中第维的值，表示第层CT图像人工标注得到的立体肿瘤信息的傅里叶描述向量中第维的值；表示两个值的差异；
所述获取任意一层CT图像中任意一个位置的局部不规则度，包括的具体方法为：
其中，表示任意一个患者的任意一层CT图像的第个位置的局部不规则度，表示窗口内的方向数量，表示对于第个位置为中心的窗口中第个方向下最终延伸得到的位置的灰度均值，表示该窗口内第个方向划分的第一个区域的灰度均值，表示该窗口内第个方向划分的第二个区域的灰度均值；
所述根据同一层CT图像内所有位置的局部不规则度获取同一层CT图像内每个位置的分布密度程度，包括的具体方法为：
对任意一层CT图像内的所有局部不规则度进行归一化处理，将该层CT图像中归一化的局部不规则度大于局部不规则阈值的位置进行首尾相连获取若干区域；所述首尾相连的具体方法为将每个满足阈值条件的位置与距离最近的满足阈值条件的进行连接，若已经连接则与未连接的满足阈值条件的距离最近位置进行连接，且每个位置最多与其他两个位置进行连接，则得到若干闭合区域以及可能存在的未闭合区域或孤立位置；
对于不满足阈值条件的位置，设置其分布密度程度为第一预设值；对于满足阈值条件但不存在于闭合区域中的位置，设置其分布密度程度为第二预设值；对于闭合区域内的满足阈值条件的位置，获取其所在闭合区域内所有位置的灰度值，得到每个灰度值对应的位置数量，计算位置数量不为0的所有位置数量的方差，将方差作为该闭合区域内满足阈值条件的位置的分布密度差异；获取任意一层CT图像中所有闭合区域内满足阈值条件的位置的分布密度差异，对这些分布密度差异进行归一化处理，归一化值域范围为大于等于第二预设值而小于等于第三预设值，将归一化结果作为这些位置的分布密度程度。
2.根据权利要求1所述的基于计算机辅助模拟的肿瘤模型优化系统，其特征在于，所述获取训练得到的立体肿瘤信息以及人工标注的立体肿瘤信息，包括的具体方法为：
对于任意一个患者的每层CT图像，根据人工标注的肿瘤区域进行区域分割，将该层CT图像与层数小于该层层数的所有CT图像人工标注的肿瘤区域进行三维重建，作为该层CT图像人工标注的立体肿瘤信息；
根据自动分割的肿瘤区域进行区域分割，将该层CT图像与层数小于该层层数的所有CT图像自动分割的肿瘤区域进行三维重建，作为该层CT图像训练得到的立体肿瘤信息。
3.根据权利要求1所述的基于计算机辅助模拟的肿瘤模型优化系统，其特征在于，所述根据相同位置在不同层CT图像的分布特征获取每层CT图像每个位置的分配权重，包括的具体方法为：
其中，表示任意一个患者的第层CT图像的第个位置的分配程度，表示第个位置在第层之前层的CT图像中被人工标注为肿瘤区域的次数，表示第层之前层的CT图像层数，表示第层之前层的CT图像中第层CT图像中第个位置与肿瘤区域边缘点的最短欧式距离；
将第层CT图像中所有位置的分配程度进行归一化，归一化的值作为每个位置的分配权重。
4.根据权利要求1所述的基于计算机辅助模拟的肿瘤模型优化系统，其特征在于，所述获取窗口内任意方向最终延伸得到的若干位置，包括的具体方法为：
判断窗口内同一方向内三个位置之间的灰度差异均小于灰度差异阈值，则继续以当前窗口内同一方向下除中心位置外的其他两个位置建立窗口，并继续判断新的窗口内同一方向下三个位置之间的灰度差异是否均小于灰度差异阈值，以此类推进行同一方向的处理，直到同一方向延伸下出现灰度差异大于等于灰度差异阈值而停止，获取窗口内同一方向下最终延伸得到的位置。
5.根据权利要求1所述的基于计算机辅助模拟的肿瘤模型优化系统，其特征在于，所述根据第一关注程度及第二关注程度构建第二分割模型的自适应损失函数，包括的具体方法为：
其中，表示对于任意一个患者的第层CT图像的自适应损失函数，表示该层CT图像中第个位置的第一关注程度，表示该层CT图像中第个位置的第二关注程度，表示该层CT图像中第个位置的人工标注值，表示该层CT图像中第个位置的第二分割模型自动分割得到的预测值。
6.根据权利要求1所述的基于计算机辅助模拟的肿瘤模型优化系统，其特征在于，所述人工标注是指由多名专业医师共同决策完成对每张CT图像的标注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310246240.9A CN115954106B (zh) | 2023-03-15 | 2023-03-15 | 基于计算机辅助模拟的肿瘤模型优化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310246240.9A CN115954106B (zh) | 2023-03-15 | 2023-03-15 | 基于计算机辅助模拟的肿瘤模型优化系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115954106A CN115954106A (zh) | 2023-04-11 |
| CN115954106B true CN115954106B (zh) | 2023-05-12 |
Family
ID=85893093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310246240.9A Active CN115954106B (zh) | 2023-03-15 | 2023-03-15 | 基于计算机辅助模拟的肿瘤模型优化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115954106B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109259806A (zh) * | 2017-07-17 | 2019-01-25 | 云南师范大学 | 一种用于图像引导的肿瘤精准穿刺活检的方法 |
| CN110738701A (zh) * | 2019-10-23 | 2020-01-31 | 左丙丽 | 一种肿瘤三维定位系统 |
| CN114663431A (zh) * | 2022-05-19 | 2022-06-24 | 浙江大学 | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882051A (zh) * | 2022-04-25 | 2022-08-09 | 大连理工大学 | 一种基于多模态影像的盆腔骨肿瘤的自动分割及三维重建方法 |
| CN115131369A (zh) * | 2022-06-15 | 2022-09-30 | 南京邮电大学 | 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法 |
| CN115496771A (zh) * | 2022-09-22 | 2022-12-20 | 安徽医科大学 | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 |
| CN115578404B (zh) * | 2022-11-14 | 2023-03-31 | 南昌航空大学 | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 |
-
2023
- 2023-03-15 CN CN202310246240.9A patent/CN115954106B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109259806A (zh) * | 2017-07-17 | 2019-01-25 | 云南师范大学 | 一种用于图像引导的肿瘤精准穿刺活检的方法 |
| CN110738701A (zh) * | 2019-10-23 | 2020-01-31 | 左丙丽 | 一种肿瘤三维定位系统 |
| CN114663431A (zh) * | 2022-05-19 | 2022-06-24 | 浙江大学 | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115954106A (zh) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2914387T3 (es) | Estudio inmediato | |
| El-Baz et al. | Appearance analysis for diagnosing malignant lung nodules | |
| CN109859184B (zh) | 一种连续扫描乳腺超声图像的实时检测与决策融合方法 | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| US20230177696A1 (en) | Method and system for generating guide information, and computer-readable storage medium | |
| El-Baz et al. | A new CAD system for early diagnosis of detected lung nodules | |
| CN109801272A (zh) | 肝脏肿瘤自动分割定位方法、系统及存储介质 | |
| CN109801276B (zh) | 一种计算心胸比的方法及装置 | |
| CN113327225B (zh) | 用于提供气道信息的方法 | |
| CN112885453A (zh) | 用于标识后续医学图像中的病理变化的方法和系统 | |
| CN111340825A (zh) | 一种纵膈淋巴结分割模型的生成方法及系统 | |
| Zhou et al. | Detection and semiquantitative analysis of cardiomegaly, pneumothorax, and pleural effusion on chest radiographs | |
| Prezioso et al. | Predictive medicine for salivary gland tumours identification through deep learning | |
| Song et al. | Medical ultrasound image quality assessment for autonomous robotic screening | |
| Fontanella et al. | Diffusion models for counterfactual generation and anomaly detection in brain images | |
| CN115954106B (zh) | 基于计算机辅助模拟的肿瘤模型优化系统 | |
| CN116797612A (zh) | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 | |
| CN117115437A (zh) | 一种基于区域的多指标多器官医学图像分割模型评估系统 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Malinda et al. | Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks | |
| CN116092643A (zh) | 一种基于医疗影像的交互式半自动标注方法 | |
| Mousavi Moghaddam et al. | Lung parenchyma segmentation from CT images with a fully automatic method | |
| Li et al. | Segmentation evaluation with sparse ground truth data: Simulating true segmentations as perfect/imperfect as those generated by humans | |
| CN113128599A (zh) | 一种基于机器学习的头颈肿瘤远端转移预测方法 | |
| Ding et al. | Research on Spinal Canal GenerationMethod based on Vertebral Foramina Inpainting of Spinal CT Images by using BEGAN. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |