CN111598948B - 基于深度学习的ct影像椎弓根植钉通道规划方法和系统 - Google Patents
基于深度学习的ct影像椎弓根植钉通道规划方法和系统 Download PDFInfo
- Publication number
- CN111598948B CN111598948B CN202010260775.8A CN202010260775A CN111598948B CN 111598948 B CN111598948 B CN 111598948B CN 202010260775 A CN202010260775 A CN 202010260775A CN 111598948 B CN111598948 B CN 111598948B
- Authority
- CN
- China
- Prior art keywords
- data set
- image
- network
- training
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002513 implantation Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 238000012795 verification Methods 0.000 claims abstract description 15
- 238000000513 principal component analysis Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 239000011229 interlayer Substances 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 30
- 239000010410 layer Substances 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000984642 Cura Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度学习的CT影像椎弓根植钉通道规划方法和系统，收集脊椎的CT影像数据，标注CT影像数据中椎弓根植钉通道的关键点位置，将CT影像数据拆分成训练数据集、验证数据集、测试数据集；对CT影像数据中三维的层间距进行修订，对修订后数据进行归一化，对关键点位置建立主成分分析；构建关键点位置识别网络模型，识别网络模型后接回归任务和分类任务，并通过多任务学习分别计算初始化点到目标点的距离和方向；采用Tensorflow搭建识别网络模型，利用训练数据集和测试数据集进行训练调参，利用验证数据集进行测试，将通过测试的识别网络模型部署在以Docker为容器的微服务云端。通过采用构建深度神经网络自动在CT影像上定位植钉通道关键点，从而实现了椎弓根植钉通道的自动规划。
Description
技术领域
本发明涉及医学影像技术领域，具体地，涉及一种基于深度学习的CT影像椎弓根植钉通道规划方法和系统，尤其是涉及一种基于深度学习的CT影像椎弓根植钉通道自动规划方法。
背景技术
目前存在的一些椎弓根植钉规划方法，大都在X射线成像或者CT影像的横切面等二维成像上采用一些形态学处理，阈值提取等简单的图像技术实现的算法，存在精度差，泛化能力差，对CT成像的成像规格和质量要求很高等问题，并不能给医生做植钉规划提供有效的帮助，而且也不是真正意义上的自动化流程，无法与植钉手术机器人达成很好的配合。
如现有技术中(2018年05月的期刊“集成技术”第7卷第43页公开了“基于机器学习的机器人辅助椎弓根植钉规划”)的这种基于二维切面上进行图像形态学处理寻找中心线等方法，其虽然能在一些正常的脊椎上实现粗糙的自动规划效果，但是根本无法应对CT影像中脊椎侧弯，倾斜等临床中常见的现象，导致算法精度极差，甚至失效。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的CT影像椎弓根植钉通道规划方法和系统。
根据本发明提供的一种基于深度学习的CT影像椎弓根植钉通道规划方法，包括：
影像收集步骤：收集脊椎的CT影像数据，标注CT影像数据中椎弓根植钉通道的关键点位置，将CT影像数据拆分成训练数据集、验证数据集、测试数据集；
预处理步骤：对CT影像数据中三维的层间距进行修订，对修订后数据进行归一化，对关键点位置建立主成分分析；
网络构建步骤：构建关键点位置识别网络模型，识别网络模型后接回归任务和分类任务，并通过多任务学习分别计算初始化点到目标点的距离和方向；
部署步骤：采用Tensorflow搭建识别网络模型，利用训练数据集和测试数据集进行训练调参，利用验证数据集进行测试，将通过测试的识别网络模型部署在以Docker为容器的微服务云端。
优选地，所述预处理步骤包括：
重采样步骤：将对CT影像数据中三维的层间距改成1mm，并进行归一化处理；
修订步骤：对CT影像数据修订为以围绕关键点位置的冠状面、矢状面和横断面构成的2.5D数据结构；
降维步骤：以X＝(x1,y1,z1,…,xnl,ynl,znl)T表示所有nl个三维关键点位置，对于一组训练数据X,对其使用主成分分析模型把X变换到低维度空间，其中原始空间和降维后的低维度空间之间的变换表示为
其中是整个训练数据集的均值，b是一个nb个元素的向量，其中nb＜3nl,矩阵W的列为nb个特征向量，矩阵W表示神经网络中的权重，nb表示数据三位关键点的总数，下标b表示一个临时变量。
优选地，所述网络构建步骤包括：
模型搭建步骤：构建关键点位置的7层深度卷积神经网络作为识别网络模型，每一层后接ReLU激活函数和Max-Pooling层，其中网络层被任务分支所共享，每个任务分支各由3层全连接层构成负责学习特定的任务；
构建函数步骤：对于一个CT影像数据V和它的标注关键点xGT，一个训练的采样表示为(I(V,x,s),dGT,PGT),其中x是一个从CT影像V中随机采样的位置点，I(V,x,s)是对应的2.5D立体数据结构，则移动到标注关键点的位移向量表示为dGT＝xGT-x，深度卷积神经网络的损失函数L表示为：
其中，为回归任务的欧式距离损失，/>为分类任务的交叉熵损失，α是用来调节两者比重的参数，nbatch表示一个batch中训练样本的个数，dn和/>分别表示对于第n个样本网络输出的对于回归任务和分类任务的预测，n0表示CT数据中关键点的数量，/>表示第n个样本对于回归任务的真实值；
迭代步骤：对于一个CT影像数据，初始化多个随机的采样点，对于每一个采样点提取围绕这个采样点的2.5D立体数据结构输入到深度卷积网络中，根据其输出的结果和特定的更新规则移动采样点，重新输入深度卷积网络中预测，依此迭代直到没有显著地改变后停止，对多个采样点最后的位置求平均值作为最后的预测。
优选地，所述训练数据集、验证数据集和测试数据集的数据比例为8：1：1。
优选地，所述任务分支包括回归任务分支和分类任务分支，所述回归任务分支估算当前初始化点到目标关键点的距离，所述分类任务分支估算当前初始化点到目标关键点的方向。
根据本发明提供的一种基于深度学习的CT影像椎弓根植钉通道规划系统，包括：
影像收集模块：收集脊椎的CT影像数据，标注CT影像数据中椎弓根植钉通道的关键点位置，将CT影像数据拆分成训练数据集、验证数据集、测试数据集；
预处理模块：对CT影像数据中三维的层间距进行修订，对修订后数据进行归一化，对关键点位置建立主成分分析；
网络构建模块：构建关键点位置识别网络模型，识别网络模型后接回归任务和分类任务，并通过多任务学习分别计算初始化点到目标点的距离和方向；
部署模块：采用Tensorflow搭建识别网络模型，利用训练数据集和测试数据集进行训练调参，利用验证数据集进行测试，将通过测试的识别网络模型部署在以Docker为容器的微服务云端。
与现有技术相比，本发明具有如下的有益效果：
1、通过采用构建深度神经网络自动在CT影像上定位植钉通道关键点的方法，从而实现了椎弓根植钉通道的自动规划。
2、通过采用主成分分析对关键点之间的解剖学关系建模，从而实现了同时对多个植钉通道关键点定位。
3、通过采用多个随机采样点求平均和多次迭代逼近的方法，从而提高了深度卷积神经网络模型整体的精度和泛化能力。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的处理流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明使用了关键点定位的方式来实现弓根植钉通道的自动规划，采用深度卷积神经模型实现对CT影像数据上的弓根植钉通道关键点的识别，并且通过主成分分析的方法对关键点之间的解剖学关系建模，扩展原有的深度卷积神经模型，使其能同时对多个关键点定位。采用了由围绕关键点的冠状面、矢状面和横断面构成的2.5D数据结构进行模型研发，大大降低了三维医学影像深度学习算法对计算力的依赖。并且本发明使用了回归和分类的多任务学习和迭代逼近方法大幅度提高了关键点定位的精度，从而精准地实现椎弓根植钉通道的自动规划。
具体实施通过以下步骤进行：
步骤1：由于并没有公开的椎弓根CT影像数据集，从医院收集1000套脊椎的CT影像数据，并由影像学的专业人士对CT影像中椎弓根植钉通道的关键点位置进行标注，并把这1000套分隔成800套训练数据、100套验证数据、100套测试数据的数据集。训练数据集用于训练整个网络；验证数据集为了方便调整神经网络的超参数，在训练过程验证整个网络的准确性，且在训练过程中会被不断使用；测试数据集用于最终验证整个网络的准确性，在训练过程中不会被使用，只用于确认最终的网络准确性；
步骤2：对所有数据进行预处理操作，具体为首先对数据进行重采样操作，把CT数据3个维度的层间距都设为1mm，然后对数据进行归一化。由于3D CT影像数据的深度学习运算对计算力的需求很大，因此通过对3D CT影像的2.5D数据结构采样，大大减少其对计算力的依赖。然后，对于所有的三维关键点通过建立主成分分析模型，以限制三维关键点之间的空间解剖结构。
其中，所述步骤2包括如下步骤：
步骤2.1：由于数据集是收集的，所以存在CT影像数据间的层间距不同，通过采用重采样的方法把CT影像数据3个维度的层间距都改成1mm。并且为了数据处理的方便和程序运行时加快收敛，对数据进行了归一化操作。所述归一化初始是对数据进行统计后，得出最大值max和最小值min，让影像数据的CT值等于(原始CT值-min)/(max-min)。
步骤2.2：由于3D CT影像数据的深度学习运算对计算力的需求很大，目前硬件没有足够的显存能支撑一整个CT影像数据的运算，因此采用了围绕关键点的冠状面、矢状面和横断面构成的2.5D数据结构对3D CT影像数据进行采样，大大减少深度卷积神经网络模型对计算力的依赖。
步骤2.3：以X＝(x1,y1,z1,…,xnl,ynl,znl)T表示所有nl个三维关键点，对于一组训练数据X,对其使用主成分分析模型把X变换到更低的维度空间。其中原始空间和降维后的空间之间的变换可以表示为
其中是整个训练集的均值，b是一个nb个元素的向量，其中nb＜3nl,矩阵W的列为nb个特征向量，矩阵W表示神经网络中的权重，nb表示数据三位关键点的总数，下标b表示一个临时变量。
步骤3：本发明中设计的椎弓根植钉通道关键点位置识别网络，为7层的深度卷积神经网络，后接回归任务和分类任务两个分支。通过多任务学习分别计算当前初始化点到目标点的距离和方向。并且本发明采用了迭代逼近的方法，初始化采样点后提取2.5D数据后输入网络，根据制定的更新规则迭代预测直到没有显著地改变后停止，作为最后的预测。
其中，所述步骤3包括如下步骤：
步骤3.1：本发明中设计的椎弓根植钉通道关键点位置识别网络，为7层的深度卷积神经网络，每一层后接ReLU激活函数和Max-Pooling层，这些网络层被后面的任务分支所共享，每个任务分支各由3层全连接层构成负责学习特定的任务。回归任务分支负责估算当前初始化点到目标关键点的距离，分类任务分支负责估算当前初始化点到目标关键点的方向。特别地，我们把方向分为6个离散方向：沿着各个坐标轴的正负方向，用c表示分类的标签，其中用P表示分类任务的输出，P为6个元素的向量分别表示在各个方向的移动的概率，/>其中/>
步骤3.2:对于一个CT影像数据V和它的标注关键点xGT，一个训练的采样可以表示为(I(V,x,s),dGT,PGT),其中x是一个从CT影像V中随机采样的位置点，I(V,x,s)是对应的2.5D数据结构，则移动到标注关键点的位移向量可以表示为dGT＝xGT-x。因此这个深度卷积神经网络的损失函数可以表示为：
其中，第一项为回归任务的欧式距离损失，第二项为分类任务的交叉熵损失，α是用来调节两者比重的参数，nbatch表示一个batch中训练样本的个数，dn和分别表示对于第n个样本网络输出的对于回归和分类任务的预测。
步骤3.3:本发明采用了迭代逼近的方法，对于一个CT影像数据，在其中初始化19个随机的采样点，对于每一个采样点提取围绕这个采样点的2.5D数据结构输入到上述的深度卷积网络中，根据其输出的结果和特定的更新规则移动采样点，重新输入网络中预测，依此迭代直到没有显著地改变后停止，对19个采样点最后的位置求平均值作为最后的预测。
步骤4:在Tensorflow上搭建上述的网络模型，并进行训练调参。实验硬件：本实验采用了配置为英伟达Tesla Titan Xp GPU,显存为12GB,英特尔i7-7700 CPU，64GB内存的工作站。实验软件：操作系统为乌班图16.04LTS 64位版，深度学习库为Tensorflow 1.8.0版本，加速工具使用了英伟达的cuda9.0和cuDNN7.1。在测试集上测得该模型误差的均值为2.2mm，误差的标准差为1.1mm。模型的部署采用以Docker为容器的微服务云端部署框架，配合影像工作站的客户端，可以实现对椎弓根植钉通道的自动规划。医生植钉规划时，本发明能给出精确的参考建议，使得植钉规划更精准更高效，配合植钉手术机器人，可以大幅提升椎弓根植钉手术的自动化程度。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种基于深度学习的CT影像椎弓根植钉通道规划方法，其特征在于，包括：
影像收集步骤：收集脊椎的CT影像数据，标注CT影像数据中椎弓根植钉通道的关键点位置，将CT影像数据拆分成训练数据集、验证数据集、测试数据集；
训练数据集用于训练整个网络；验证数据集为了方便调整神经网络的超参数，在训练过程验证整个网络的准确性，且在训练过程中会被不断使用；测试数据集用于最终验证整个网络的准确性，在训练过程中不会被使用，只用于确认最终的网络准确性；
预处理步骤：对CT影像数据中三维的层间距进行修订，对修订后数据进行归一化，对关键点位置建立主成分分析；
网络构建步骤：构建关键点位置识别网络模型，识别网络模型后接回归任务和分类任务，并通过多任务学习分别计算初始化点到目标点的距离和方向；
部署步骤：采用Tensorflow搭建识别网络模型，利用训练数据集和测试数据集进行训练调参，利用验证数据集进行测试，将通过测试的识别网络模型部署在以Docker为容器的微服务云端；
所述预处理步骤包括：修订步骤：对CT影像数据修订为以围绕关键点位置的冠状面、矢状面和横断面构成的2.5D数据结构；
所述网络构建步骤包括：
模型搭建步骤：构建关键点位置的7层深度卷积神经网络作为识别网络模型，每一层后接ReLU激活函数和Max-Pooling层，其中网络层被任务分支所共享，每个任务分支各由3层全连接层构成负责学习特定的任务；
构建函数步骤：对于一个CT影像数据V和它的标注关键点xGT，一个训练的采样表示为(I(V,x,s),dGT,PGT),其中x是一个从CT影像V中随机采样的位置点，I(V,x,s)是对应的2.5D立体数据结构，则移动到标注关键点的位移向量表示为dGT＝xGT-x，深度卷积神经网络的损失函数L表示为：
其中，为回归任务的欧式距离损失，/>为分类任务的交叉熵损失，α是用来调节两者比重的参数，nbatch表示一个batch中训练样本的个数，dn和/>分别表示对于第n个样本网络输出的对于回归任务和分类任务的预测，n0表示CT数据中关键点的数量，/>表示第n个样本对于回归任务的真实值；
迭代步骤：对于一个CT影像数据，初始化多个随机的采样点，对于每一个采样点提取围绕这个采样点的2.5D立体数据结构输入到深度卷积网络中，根据其输出的结果和特定的更新规则移动采样点，重新输入深度卷积网络中预测，依此迭代直到没有显著地改变后停止，对多个采样点最后的位置求平均值作为最后的预测。
2.根据权利要求1所述的基于深度学习的CT影像椎弓根植钉通道规划方法，其特征在于，所述预处理步骤包括：
重采样步骤：将对CT影像数据中三维的层间距改成1mm，并进行归一化处理；
降维步骤：以X＝(x1,y1,z1,…,xnl,ynl,znl)T表示所有nl个三维关键点位置，对于一组训练数据X,对其使用主成分分析模型把X变换到低维度空间，其中原始空间和降维后的低维度空间之间的变换表示为
其中是整个训练数据集的均值，b是一个nb个元素的向量，其中nb<3nl,矩阵W的列为nb个特征向量，矩阵W表示神经网络中的权重，nb表示数据三位关键点的总数，下标b表示一个临时变量。
3.根据权利要求1所述的基于深度学习的CT影像椎弓根植钉通道规划方法，其特征在于，所述训练数据集、验证数据集和测试数据集的数据比例为8：1：1。
4.根据权利要求1所述的基于深度学习的CT影像椎弓根植钉通道自动规划方法，其特征在于，所述任务分支包括回归任务分支和分类任务分支，所述回归任务分支估算当前初始化点到目标关键点的距离，所述分类任务分支估算当前初始化点到目标关键点的方向。
5.一种基于深度学习的CT影像椎弓根植钉通道规划系统，其特征在于，包括：
影像收集模块：收集脊椎的CT影像数据，标注CT影像数据中椎弓根植钉通道的关键点位置，将CT影像数据拆分成训练数据集、验证数据集、测试数据集；
训练数据集用于训练整个网络；验证数据集为了方便调整神经网络的超参数，在训练过程验证整个网络的准确性，且在训练过程中会被不断使用；测试数据集用于最终验证整个网络的准确性，在训练过程中不会被使用，只用于确认最终的网络准确性；
预处理模块：对CT影像数据中三维的层间距进行修订，对修订后数据进行归一化，对关键点位置建立主成分分析；
网络构建模块：构建关键点位置识别网络模型，识别网络模型后接回归任务和分类任务，并通过多任务学习分别计算初始化点到目标点的距离和方向；
部署模块：采用Tensorflow搭建识别网络模型，利用训练数据集和测试数据集进行训练调参，利用验证数据集进行测试，将通过测试的识别网络模型部署在以Docker为容器的微服务云端；
所述预处理模块包括：修订模块：对CT影像数据修订为以围绕关键点位置的冠状面、矢状面和横断面构成的2.5D数据结构；
所述网络构建模块包括：
模型搭建模块：构建关键点位置的7层深度卷积神经网络作为识别网络模型，每一层后接ReLU激活函数和Max-Pooling层，其中网络层被任务分支所共享，每个任务分支各由3层全连接层构成负责学习特定的任务；
构建函数模块：对于一个CT影像数据V和它的标注关键点xGT，一个训练的采样表示为(I(V,x,s),dGT,PGT),其中x是一个从CT影像V中随机采样的位置点，I(V,x,s)是对应的2.5D立体数据结构，则移动到标注关键点的位移向量表示为dGT＝xGT-x，深度卷积神经网络的损失函数L表示为：
其中，为回归任务的欧式距离损失，/>为分类任务的交叉熵损失，α是用来调节两者比重的参数，nbatch表示一个batch中训练样本的个数，dn和/>分别表示对于第n个样本网络输出的对于回归任务和分类任务的预测，n0表示CT数据中关键点的数量，/>表示第n个样本对于回归任务的真实值；
迭代模块：对于一个CT影像数据，初始化多个随机的采样点，对于每一个采样点提取围绕这个采样点的2.5D立体数据结构输入到深度卷积网络中，根据其输出的结果和特定的更新规则移动采样点，重新输入深度卷积网络中预测，依此迭代直到没有显著地改变后停止，对多个采样点最后的位置求平均值作为最后的预测。
6.根据权利要求5所述的基于深度学习的CT影像椎弓根植钉通道规划系统，其特征在于，所述预处理模块包括：
重采样模块：将对CT影像数据中三维的层间距改成1mm，并进行归一化处理；
降维模块：以X＝(x1，y1，z1,…,xnl，ynl，znl)T表示所有nl个三维关键点位置，对于一组训练数据X,对其使用主成分分析模型把X变换到低维度空间，其中原始空间和降维后的低维度空间之间的变换表示为
其中是整个训练数据集的均值，b是一个nb个元素的向量，其中nb<3nl,矩阵W的列为nb个特征向量，矩阵W表示神经网络中的权重，nb表示数据三位关键点的总数，下标b表示一个临时变量。
7.根据权利要求5所述的基于深度学习的CT影像椎弓根植钉通道规划系统，其特征在于，所述训练数据集、验证数据集和测试数据集的数据比例为8：1：1。
8.根据权利要求5所述的基于深度学习的CT影像椎弓根植钉通道规划系统，其特征在于，所述任务分支包括回归任务分支和分类任务分支，所述回归任务分支估算当前初始化点到目标关键点的距离，所述分类任务分支估算当前初始化点到目标关键点的方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010260775.8A CN111598948B (zh) | 2020-04-03 | 2020-04-03 | 基于深度学习的ct影像椎弓根植钉通道规划方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010260775.8A CN111598948B (zh) | 2020-04-03 | 2020-04-03 | 基于深度学习的ct影像椎弓根植钉通道规划方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598948A CN111598948A (zh) | 2020-08-28 |
| CN111598948B true CN111598948B (zh) | 2024-02-20 |
Family
ID=72187322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010260775.8A Active CN111598948B (zh) | 2020-04-03 | 2020-04-03 | 基于深度学习的ct影像椎弓根植钉通道规划方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598948B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781496B (zh) * | 2021-08-06 | 2024-02-27 | 北京天智航医疗科技股份有限公司 | 基于cbct脊椎图像的椎弓根螺钉通道自动规划系统和方法 |
| CN114305391B (zh) * | 2021-11-04 | 2024-07-19 | 上海市儿童医院 | 一种深度学习对尿道下裂阴茎弯曲度的测量方法 |
| CN114358388B (zh) * | 2021-12-13 | 2024-10-15 | 中国科学院深圳先进技术研究院 | 一种椎弓根螺钉置入手术路径规划方法、装置及设备 |
| CN114288018A (zh) * | 2022-01-04 | 2022-04-08 | 青岛大学附属医院 | 一种机器人辅助镜下融合技术方法 |
| CN116211458B (zh) * | 2022-12-12 | 2023-10-03 | 高峰医疗器械(无锡)有限公司 | 种植体规划方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019169816A1 (zh) * | 2018-03-09 | 2019-09-12 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
| CN110738681A (zh) * | 2019-10-11 | 2020-01-31 | 北京航空航天大学 | 一种基于深度学习网络的椎弓根钉手术路径自动规划方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10747989B2 (en) * | 2018-08-21 | 2020-08-18 | Software Ag | Systems and/or methods for accelerating facial feature vector matching with supervised machine learning |
-
2020
- 2020-04-03 CN CN202010260775.8A patent/CN111598948B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019169816A1 (zh) * | 2018-03-09 | 2019-09-12 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
| CN110738681A (zh) * | 2019-10-11 | 2020-01-31 | 北京航空航天大学 | 一种基于深度学习网络的椎弓根钉手术路径自动规划方法 |
Non-Patent Citations (1)
| Title |
|---|
| 苏全健 ; 孙宇 ; 齐晓志 ; .基于机器学习的机器人辅助椎弓根植钉规划.集成技术.2018,(03),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598948A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598948B (zh) | 基于深度学习的ct影像椎弓根植钉通道规划方法和系统 | |
| US10366491B2 (en) | Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes | |
| Wang et al. | Automatic analysis of lateral cephalograms based on multiresolution decision tree regression voting | |
| JP6325322B2 (ja) | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム | |
| Polly et al. | Patterns and processes in morphospace: geometric morphometrics of three-dimensional objects | |
| KR20170089745A (ko) | 특징점 포지셔닝 방법 및 장치 | |
| EP2216726A2 (en) | System and method for prototyping by learning from examples | |
| CN114792326A (zh) | 一种基于结构光的手术导航点云分割与配准方法 | |
| CN114187293B (zh) | 基于注意力机制和集成配准的口腔腭部软硬组织分割方法 | |
| WO2022178997A1 (zh) | 医学影像配准方法、装置、计算机设备及存储介质 | |
| CN115661509A (zh) | 基于三维点云icp配准算法的手术器械识别分类方法 | |
| Abbas et al. | Lower leg bone fracture detection and classification using faster RCNN for X-rays images | |
| CN111080658A (zh) | 基于可形变配准和dcnn的宫颈mri图像分割方法 | |
| Madsen et al. | Probabilistic joint face-skull modelling for facial reconstruction | |
| CN115272429A (zh) | 基于特征点的图像配准方法、系统和计算机可读存储介质 | |
| CN113706514B (zh) | 基于模板图像的病灶定位方法、装置、设备及存储介质 | |
| CN109035311B (zh) | 一种弯骨骨折自动配准及内固定钢板预弯建模方法 | |
| Neumann | Graphical Gaussian shape models and their application to image segmentation | |
| CN107341189A (zh) | 一种辅助人工对图像进行筛查、分类和存储的方法及系统 | |
| CN102855666A (zh) | 基于层次化回归模型的颅面重构方法 | |
| CN114240844B (zh) | 一种医学图像中无监督的关键点定位和目标检测方法 | |
| CN112581513B (zh) | 锥束计算机断层扫描图像特征提取与对应方法 | |
| CN114141337A (zh) | 一种图像自动标注模型构建方法、系统及应用 | |
| CN112991522A (zh) | 一种个性化二尖瓣自动建模方法、系统及设备 | |
| CN115316984B (zh) | 一种手关节活动度测量轴心位点定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |