CN111640127A - 一种用于骨科的精准临床诊断导航方法 - Google Patents
一种用于骨科的精准临床诊断导航方法 Download PDFInfo
- Publication number
- CN111640127A CN111640127A CN202010478334.5A CN202010478334A CN111640127A CN 111640127 A CN111640127 A CN 111640127A CN 202010478334 A CN202010478334 A CN 202010478334A CN 111640127 A CN111640127 A CN 111640127A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- image area
- layer
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003759 clinical diagnosis Methods 0.000 title claims abstract description 16
- 230000000399 orthopedic effect Effects 0.000 title claims abstract description 16
- 238000011176 pooling Methods 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000001356 surgical procedure Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 34
- 238000003745 diagnosis Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 210000004204 blood vessel Anatomy 0.000 description 8
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Robotics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于骨科的精准临床诊断导航方法，包括以下步骤：获取目标可疑患者的医学影像，从所述医学影像中提取出目标图像区域；通过使用函数模板对步骤S1中的目标图像区域进行高度概括，然后使用函数对高度概括后的目标图像区域进行滑动窗口匹配，当匹配度满足要求时则匹配成功，获得目标匹配图像。本发明通过构建病灶诊断深度学习框架，针对医学影像扫描特性，采用三维卷积神经网络，建立医学影像人工智能模型，可实现病灶的快速定位和分割；从而避免了人工诊断的强烈主观意识，以及判断时容易出现的人工失误。
Description
技术领域
本发明属于医学影像诊断辅助技术领域，具体涉及一种用于骨科的精准临床诊断导航方法。
背景技术
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向：医学成像系统和医学图像处理。前者是指图像行成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。作为一门科学，医学影像属于生物影像，并包含影像诊断学、放射学、内视镜、医疗用热影像技术、医学摄影和显微镜。另外，包括脑波图和脑磁造影等技术，虽然重点在于测量和记录，没有影像呈显，但因所产生的数据俱有定位特性(即含有位置信息)，可被看作是另外一种形式的医学影像。
然后，在现有技术中，对于医学影像的应用还相当粗糙；小型医院对于医学影像的态度是直接弃用，因为成本相对较高，能看懂医学影像的医生属于高端人才，这些高端人才的缺口较大；大型医院对于医学影像的态度是医生通过肉眼对医学影像进行观察，然后根据观察结果做出判断时，主观意思较为强烈，由于很多相似疾病的医学影像相差不大，医生在做出判断时容易出现人工失误。
发明内容
本发明目的在于提供一种用于骨科的精准临床诊断导航方法，用于解决上述现有技术中存在的技术问题之一，如：在现有技术中，对于医学影像的应用还相当粗糙；小型医院对于医学影像的态度是直接弃用，因为成本相对较高，能看懂医学影像的医生属于高端人才，这些高端人才的缺口较大；大型医院对于医学影像的态度是医生通过肉眼对医学影像进行观察，然后根据观察结果做出判断时，主观意思较为强烈，由于很多相似疾病的医学影像相差不大，医生在做出判断时容易出现人工失误。
为实现上述目的，本发明的技术方案是：
一种用于骨科的精准临床诊断导航方法，包括以下步骤：
步骤一、采用高精度红外摄像机对患者手术部位和对应手术器械进行精准定位跟踪，获得相应的患者手术部位的医学影像和对应手术器械的医学影像；
步骤二、对步骤一中患者手术部位的医学影像和对应手术器械的医学影像进行医学影像辅助分析，得到患者手术部位的具体病灶定位信息，以及对应手术器械的形状、位置和运动轨迹信息；
步骤三、将步骤二中的具体病灶定位信息，以及对应手术器械的形状、位置和运动轨迹信息进行三维重建，从而得到重建后的三维图像和手术规划路径，将所述三维图像与手术规划路径进行动态配准，进而得到三维导航图像。
优选的，所述医学影像辅助分析具体如下：
S1：获取目标可疑患者的医学影像，从所述医学影像中提取出目标图像区域；
S2：通过使用函数模板对步骤S1中的目标图像区域进行高度概括，然后使用函数对高度概括后的目标图像区域进行滑动窗口匹配，当匹配度满足要求时则匹配成功，获得目标匹配图像；
S3：在步骤S2的基础上，将所述目标匹配图像的历史数据分为训练样本图像和测试图像，其中，对所述训练样本图像依次进行：样本标定、数据标准化处理、特征选择和提取、模型训练，从而得到权值模型；对所述测试图像进行特征选择和提取，从而输入到所述权值模型中进行测试，所述权值模型经过上述测试得到优化权值模型，所述目标匹配图像的实时数据输入到所述优化权值模型中，得到目标特征分割图像；
S4、在步骤S3的基础上，将所述目标特征分割图像输入至筛选识别模型中，完成患者医学影像的分类和患者病灶的定位。
优选的，步骤S1中从所述医学影像中提取出目标图像区域采用阈值分割法，其具体步骤如下：
设目标可疑患者的医学影像为f(x，y)，经过阈值分割处理后的图像为g(x，y)，则目标图像区域的计算公式如下，
其中，T是阈值分割设定的阈值，该分段函数将f(x，y)＞T的部分划分成目标图像区域，将f(x，y)≤T的部分划分为背景图像区域，采用设定全局阈值或自适应阈值的方式将图像分为背景图像区域和目标图像区域，其中的全局阈值或自适应阈值可适配设置。
优选的，步骤S1中全局阈值或自适应阈值可适配设置，其中可适配设置采用最大类间方差法，即通过最大类间方差法来自适应的计算出最佳阈值，其具体步骤如下：
定义目标图像区域和背景图像区域的阈值为T，背景图像区域所占像素点与医学图像总像素点数的比值为w0，目标图像区域所占像素点与医学图像总像素点数的比值为w1，背景图像区域灰度均值为u0，目标图像区域灰度均值为u1，背景图像区域和目标图像区域的方差为g，则：
u＝w0×u0+w1×u1
g＝w0×(u0-u)2+w1×(u1-u)2；
联合该两式可得：
g＝w0×w1+w0×(u0-u1)2；
其中，当g取到最大值时，目标图像区域和背景图像区域的阈值T即为最佳阈值。
优选的，在步骤S2中，将高斯函数作为函数模板，用高斯函数来拟合MAs在灰度值上的分布特征，其中采用的高斯函数模板为：
在采用滑动窗口进行函数模板匹配过程中，通过计算滑动窗口对应的子图像和函数模板之间的相关系数来评价匹配度，相关系数计算公式为：
其中，
表示子图像A的灰度均值，
表示函数模板B的灰度均值，通过相关系数CAB(x，y)作为评判标准来评判匹配是否成功。
优选的，在步骤S3中还包括以下步骤，采用U-net网络模型，U-net网络模型的前半U状结构构成也是不断地卷积操作提取特征，池化操作压缩特征，使得输入图像进行不同层次的特征提取，即前半部分采用VGGNet-16的框架结构；U-net网络模型的前半U状结构构成是反卷积层，通过反卷积运算对特征图进行上采样操作，使得对其尺寸大小的还原；
其中，在反卷积的操作中，U-net网络模型还将前半部分网络结构每层处理得到的特征图进行复制操作，将其复制到当前特征图一起的通道中，然后实行通道剪裁，将浅层的特征传递到深层次的网络中。
优选的，U-net网络模型的的具体参数如下：
U-net网络模型的前半部分采用2个3*3大小的卷积层和1个2*2大小的池化层，激活函数选用ReLU函数，池化操作选用最大池化，然后不断重复卷积和池化操作；
U-net网络模型的后半部分采用1个2*2大小的反卷积层和2个3*3大小的卷积层，采用反卷积层对特征图进行还原，同时在反卷积的过程中使用特征图的维数减半，然后复制前半部分的特征图整合在一起后再进行卷积操作，并不断重复反卷积和卷积操作，在最后使用1个1*1大小的卷积层对特征图进行映射处理后输出。
优选的，步骤S4中筛选识别模型采用Fast-RCNN模型，其训练过程如下：
(1)特征提取；Fast-RCNN模型在特征提取阶段对整张图片进行特征提取；
(2)统一向量维度；Fast-RCNN模型将提取的候选区域映射到原图生成的特征图中，并在后面加入池化层，执行ROI Pooling操作，并且Fast-RCNN模型的最后一层池化层使用7*7的向量进行采样，针对每个候选区域生成固定大小维度的向量；
(3)分类和目标检测；Fast-RCNN模型将ROI Pooling层的结果输入全连接层生成用于任务损失计算的特征，然后在同一层使用Softmax进行目标物体分类和Bounding BoxRegressor边框回归操作，并同时进行分类和边框回归操作。
优选的，步骤S4中Fast-RCNN模型的具体识别过程如下：
(1)特征提取；Fast-RCNN模型使用整张图片作为卷积处理的输入，进行多层卷积处理；
(2)统一向量维度；Fast-RCNN模型在卷积层的最后一层，把得到的Feature Map映射到每个候选区域上，相当于将候选区域映射到原图中，并在最后加入一层ROIPooling将候选区域转化为统一大小维度的向量，然后进行全连接操作；
(3)损失计算函数；在全连接之后，Fast-RCNN模型不需要进行SVM分类器训练，而是直接使用多任务损失计算函数，得到每个候选区域中目标物体属于每个类别的得分和候选区域的回归参数，并连接到Softmax层和Bounding Box回归层；
(4)参数优化；在参数微调阶段，提出分层次随机梯度下降方法，从N张图片中取出R个候选区域代替从R张图片中各取一个候选区域，使得提速R/N倍；
(5)检测与识别；Fast-RCNN模型直接在全连接层后针对每个Region Proposal中单个目标计算得到其概率值，以及边框回归相对于对象中心的偏移宽高，然后利用多任务损失函数将分类损失与目标定位损失相结合确定最后结果。
与现有技术相比，本发明所具有的有益效果为：
本方案通过构建病灶诊断深度学习框架，针对医学影像扫描特性，采用三维卷积神经网络，建立医学影像人工智能模型，可实现病灶的快速定位和分割；从而避免了人工诊断的强烈主观意识，以及判断时容易出现的人工失误。
本方案可全方位、全角度的进行实时追踪与手术，手术过程更加轻松和快速，有利于医生更迅速、更顺利的完成手术，与现代化的骨科手术结合更加紧密。节省了医生的手术时间，缩短了手术过程，也防止医生在手术时不小心碰到或撞到而影响手术质量，有利于提高智能化程度，提高使用质量，进而降低维护成本，延长使用寿命，能更加安全、准确、高效的辅助导航医生完成手术。
附图说明
图1是本发明具体实施方式的医学影像辅助分析步骤示意图。
图2是本发明具体实施方式的眼底血管分割流程示意图。
图3是本发明具体实施方式的Fast-RCNN模型的具体识别过程示意图。
图4是本发明具体实施方式的Fast-RCNN模型结构示意图。
图5是本发明具体实施方式的步骤流程示意图。
具体实施方式
下面结合本发明的附图1-5，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1和图5所示，一种用于骨科的精准临床诊断导航方法，包括以下步骤：
步骤一、采用高精度红外摄像机对患者手术部位和对应手术器械进行精准定位跟踪，获得相应的患者手术部位的医学影像和对应手术器械的医学影像；
步骤二、对步骤一中患者手术部位的医学影像和对应手术器械的医学影像进行医学影像辅助分析，得到患者手术部位的具体病灶定位信息，以及对应手术器械的形状、位置和运动轨迹信息；
步骤三、将步骤二中的具体病灶定位信息，以及对应手术器械的形状、位置和运动轨迹信息进行三维重建，从而得到重建后的三维图像和手术规划路径，将所述三维图像与手术规划路径进行动态配准，进而得到三维导航图像。
优选的，所述医学影像辅助分析具体如下：
优选的，步骤S1中从所述医学影像中提取出目标图像区域采用阈值分割法，其具体步骤如下：
设目标可疑患者的医学影像为f(x，y)，经过阈值分割处理后的图像为g(x，y)，则目标图像区域的计算公式如下，
其中，T是阈值分割设定的阈值，该分段函数将f(x，y)＞t的部分划分成目标图像区域，将f(x，y)≤T的部分划分为背景图像区域，采用设定全局阈值或自适应阈值的方式将图像分为背景图像区域和目标图像区域，其中的全局阈值或自适应阈值可适配设置。
优选的，步骤S1中全局阈值或自适应阈值可适配设置，其中可适配设置采用最大类间方差法，即通过最大类间方差法来自适应的计算出最佳阈值，其具体步骤如下：
定义目标图像区域和背景图像区域的阈值为T，背景图像区域所占像素点与医学图像总像素点数的比值为w0，目标图像区域所占像素点与医学图像总像素点数的比值为w1，背景图像区域灰度均值为u0，目标图像区域灰度均值为u1，背景图像区域和目标图像区域的方差为g，则：
u＝w0×u0+w1×u1
g＝w0×(u0-u)2+w1×(u1-u)2；
联合该两式可得：
g＝w0×w1+w0×(u0-u1)2；
其中，当g取到最大值时，目标图像区域和背景图像区域的阈值T即为最佳阈值。
优选的，在步骤S2中，将高斯函数作为函数模板，用高斯函数来拟合MAs在灰度值上的分布特征，其中采用的高斯函数模板为：
在采用滑动窗口进行函数模板匹配过程中，通过计算滑动窗口对应的子图像和函数模板之间的相关系数来评价匹配度，相关系数计算公式为：
其中，
表示子图像A的灰度均值，
表示函数模板B的灰度均值，通过相关系数CAB(x，y)作为评判标准来评判匹配是否成功。
优选的，在步骤S3中还包括以下步骤，采用U-net网络模型，U-net网络模型的前半U状结构构成也是不断地卷积操作提取特征，池化操作压缩特征，使得输入图像进行不同层次的特征提取，即前半部分采用VGGNet-16的框架结构；U-net网络模型的前半U状结构构成是反卷积层，通过反卷积运算对特征图进行上采样操作，使得对其尺寸大小的还原；
其中，在反卷积的操作中，U-net网络模型还将前半部分网络结构每层处理得到的特征图进行复制操作，将其复制到当前特征图一起的通道中，然后实行通道剪裁，将浅层的特征传递到深层次的网络中。
优选的，U-net网络模型的的具体参数如下：
U-net网络模型的前半部分采用2个3*3大小的卷积层和1个2*2大小的池化层，激活函数选用ReLU函数，池化操作选用最大池化，然后不断重复卷积和池化操作；
U-net网络模型的后半部分采用1个2*2大小的反卷积层和2个3*3大小的卷积层，采用反卷积层对特征图进行还原，同时在反卷积的过程中使用特征图的维数减半，然后复制前半部分的特征图整合在一起后再进行卷积操作，并不断重复反卷积和卷积操作，在最后使用1个1*1大小的卷积层对特征图进行映射处理后输出。
具体的，如图2所示，以眼底血管分割为例；在眼底血管的分割上使用认可度较高的DRIVE数据库，它是在2004年由荷兰的DR筛查工作得到的数据库，该库里面公布了40幅图像，且都具有专家手动分割的血管图像。使用基于U-net模型的血管分割算法对眼底血管进行分割，将DRIVE数据库中前20张眼底图像和专家标记的血管图像作为训练样本，将另外的20张眼底图像和专家标记的血管图像作为测试数据集，具体流程如图2所示，针对该分割流程做介绍。
如图4所示，Fast-RCNN模型整体框架如图4所示，Fast-RCNN模型的输入除了一整张图像外，还包括Edge Boxes处理得到的一系列候选区域。该网络首先对整张图像进行多次卷积和池化处理，可以得到一个特征图，接着对于每个Region Proposal提取它的特征向量。每个特征向量输入到全连接层中经过处理后进入到两个分支，一个是产生概率估计的分类层，另一个是产生修正坐标的定位层。这两个层的输出正好能满足检测任务中的分类和定位子任务，而且并行连接在网络末端，保证了两个任务的同时进行。
这里需要注意的是ROI池化层是首次在Fast-RCNN中出现，它用Max Pooling将ROI区域中的特征变换成某种尺寸的特征图，如5*5或7*7。因为目标区域的尺寸不固定，所在ROI的池化窗口尺寸也是不固定的，两者对应上最后才能得到固定尺寸的特征图。ROI池化层相比于SPP池化层，只是在层数上变成了一层，功能并没有发生变化。
Fast-RCNN模型的特点是多任务损失函数并行，分类层会输出离散的概率分布为p＝(p0，p1，…，pK)，一共是K+1个概率，分别是K类目标加上背景。通常p是由Softmax计算得到的。
Fast-RCNN模型的这种多任务损失函数为网络训练带来了便利，主要表现在分类和定位两大功能无需分步训练，也无需遵循先后训练的顺序，最为关键的是不用为分类器保存所有运算结果，这样可以节省大量存储空间。Fast-RCNN模型存在的缺点就是候选区域的获取仍然需要单独进行，在使用时还是会带来不便。
Fast-RCNN模型使用整张图片进行卷积处理，在训练阶段时间提高了18倍多，从22小时减少到1.2个小时。检测的速度如果在全连接层使用SVD普遍提高了150-213倍之间，在不计算候选区域生成时间每张图片检测从9.8s降低到0.1s。另外使用多任务损失联合计算方式在一定程度上提高了精确率，并且使用Softmax方法进行分类比SVM效果要好一些。Fast-RCNN模型中也尝试着提取更多的候选区域来提高精确度，结果证明候选区域的数量不是越多越好。
优选的，步骤S4中筛选识别模型采用Fast-RCNN模型，其训练过程如下：
(1)特征提取；Fast-RCNN模型在特征提取阶段对整张图片进行特征提取；
(2)统一向量维度；Fast-RCNN模型将提取的候选区域映射到原图生成的特征图中，并在后面加入池化层，执行ROI Pooling操作，并且Fast-RCNN模型的最后一层池化层使用7*7的向量进行采样，针对每个候选区域生成固定大小维度的向量；
(3)分类和目标检测；Fast-RCNN模型将ROI Pooling层的结果输入全连接层生成用于任务损失计算的特征，然后在同一层使用Softmax进行目标物体分类和Bounding BoxRegressor边框回归操作，并同时进行分类和边框回归操作。
如图3所示，优选的，步骤S4中Fast-RCNN模型的具体识别过程如下：
(1)特征提取；Fast-RCNN模型使用整张图片作为卷积处理的输入，进行多层卷积处理；
(2)统一向量维度；Fast-RCNN模型在卷积层的最后一层，把得到的Feature Map映射到每个候选区域上，相当于将候选区域映射到原图中，并在最后加入一层ROIPooling将候选区域转化为统一大小维度的向量，然后进行全连接操作；
(3)损失计算函数；在全连接之后，Fast-RCNN模型不需要进行SVM分类器训练，而是直接使用多任务损失计算函数，得到每个候选区域中目标物体属于每个类别的得分和候选区域的回归参数，并连接到Softmax层和Bounding Box回归层；
(4)参数优化；在参数微调阶段，提出分层次随机梯度下降方法，从N张图片中取出R个候选区域代替从R张图片中各取一个候选区域，使得提速R/N倍；
(5)检测与识别；Fast-RCNN模型直接在全连接层后针对每个Region Proposal中单个目标计算得到其概率值，以及边框回归相对于对象中心的偏移宽高，然后利用多任务损失函数将分类损失与目标定位损失相结合确定最后结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (9)
1.一种用于骨科的精准临床诊断导航方法，其特征在于，包括以下步骤：
步骤一、采用高精度红外摄像机对患者手术部位和对应手术器械进行精准定位跟踪，获得相应的患者手术部位的医学影像和对应手术器械的医学影像；
步骤二、对步骤一中患者手术部位的医学影像和对应手术器械的医学影像进行医学影像辅助分析，得到患者手术部位的具体病灶定位信息，以及对应手术器械的形状、位置和运动轨迹信息；
步骤三、将步骤二中的具体病灶定位信息，以及对应手术器械的形状、位置和运动轨迹信息进行三维重建，从而得到重建后的三维图像和手术规划路径，将所述三维图像与手术规划路径进行动态配准，进而得到三维导航图像。
2.如权利要求1所述的一种用于骨科的精准临床诊断导航方法，其特征在于，所述医学影像辅助分析具体如下：
S1：获取目标可疑患者手术位置的医学影像，从所述医学影像中提取出目标图像区域；
S2：通过使用函数模板对步骤S1中的目标图像区域进行高度概括，然后使用函数对高度概括后的目标图像区域进行滑动窗口匹配，当匹配度满足要求时则匹配成功，获得目标匹配图像；
S3：在步骤S2的基础上，将所述目标匹配图像的历史数据分为训练样本图像和测试图像，其中，对所述训练样本图像依次进行：样本标定、数据标准化处理、特征选择和提取、模型训练，从而得到权值模型；对所述测试图像进行特征选择和提取，从而输入到所述权值模型中进行测试，所述权值模型经过上述测试得到优化权值模型，所述目标匹配图像的实时数据输入到所述优化权值模型中，得到目标特征分割图像；
S4、在步骤S3的基础上，将所述目标特征分割图像输入至筛选识别模型中，完成患者医学影像的分类和患者病灶的定位。
3.如权利要求2所述的一种用于骨科的精准临床诊断导航方法，其特征在于，步骤S1中从所述医学影像中提取出目标图像区域采用阈值分割法，其具体步骤如下：
设目标可疑患者的医学影像为f(x，y)，经过阈值分割处理后的图像为g(x，y)，则目标图像区域的计算公式如下，
其中，T是阈值分割设定的阈值，该分段函数将f(x，y)＞T的部分划分成目标图像区域，将f(x，y)≤T的部分划分为背景图像区域，采用设定全局阈值或自适应阈值的方式将图像分为背景图像区域和目标图像区域，其中的全局阈值或自适应阈值可适配设置。
4.如权利要求3所述的一种用于骨科的精准临床诊断导航方法，其特征在于，步骤S1中全局阈值或自适应阈值可适配设置，其中可适配设置采用最大类间方差法，即通过最大类间方差法来自适应的计算出最佳阈值，其具体步骤如下：
定义目标图像区域和背景图像区域的阈值为T，背景图像区域所占像素点与医学图像总像素点数的比值为w0，目标图像区域所占像素点与医学图像总像素点数的比值为w1，背景图像区域灰度均值为u0，目标图像区域灰度均值为u1，背景图像区域和目标图像区域的方差为g，则：
u＝w0×u0+w1×u1
g＝w0×(u0-u)2+w1×(u1-u)2；
联合该两式可得：
g＝w0×w1+w0×(u0-u1)2；
其中，当g取到最大值时，目标图像区域和背景图像区域的阈值T即为最佳阈值。
5.如权利要求4所述的一种用于骨科的精准临床诊断导航方法，其特征在于，在步骤S2中，将高斯函数作为函数模板，用高斯函数来拟合MAs在灰度值上的分布特征，其中采用的高斯函数模板为：
在采用滑动窗口进行函数模板匹配过程中，通过计算滑动窗口对应的子图像和函数模板之间的相关系数来评价匹配度，相关系数计算公式为：
其中，
表示子图像A的灰度均值，
表示函数模板B的灰度均值，通过相关系数CAB(x，y)作为评判标准来评判匹配是否成功。
6.如权利要求2所述的一种用于骨科的精准临床诊断导航方法，其特征在于，在步骤S3中还包括以下步骤，采用U-net网络模型，U-net网络模型的前半U状结构构成也是不断地卷积操作提取特征，池化操作压缩特征，使得输入图像进行不同层次的特征提取，即前半部分采用VGGNet-16的框架结构；U-net网络模型的前半U状结构构成是反卷积层，通过反卷积运算对特征图进行上采样操作，使得对其尺寸大小的还原；
其中，在反卷积的操作中，U-net网络模型还将前半部分网络结构每层处理得到的特征图进行复制操作，将其复制到当前特征图一起的通道中，然后实行通道剪裁，将浅层的特征传递到深层次的网络中。
7.如权利要求6所述的一种用于骨科的精准临床诊断导航方法，其特征在于，U-net网络模型的的具体参数如下：
U-net网络模型的前半部分采用2个3*3大小的卷积层和1个2*2大小的池化层，激活函数选用ReLU函数，池化操作选用最大池化，然后不断重复卷积和池化操作；
U-net网络模型的后半部分采用1个2*2大小的反卷积层和2个3*3大小的卷积层，采用反卷积层对特征图进行还原，同时在反卷积的过程中使用特征图的维数减半，然后复制前半部分的特征图整合在一起后再进行卷积操作，并不断重复反卷积和卷积操作，在最后使用1个1*1大小的卷积层对特征图进行映射处理后输出。
8.如权利要求2所述的一种用于骨科的精准临床诊断导航方法，其特征在于，步骤S4中筛选识别模型采用Fast-RCNN模型，其训练过程如下：
(1)特征提取；Fast-RCNN模型在特征提取阶段对整张图片进行特征提取；
(2)统一向量维度；Fast-RCNN模型将提取的候选区域映射到原图生成的特征图中，并在后面加入池化层，执行ROI Pooling操作，并且Fast-RCNN模型的最后一层池化层使用7*7的向量进行采样，针对每个候选区域生成固定大小维度的向量；
(3)分类和目标检测；Fast-RCNN模型将ROI Pooling层的结果输入全连接层生成用于任务损失计算的特征，然后在同一层使用Softmax进行目标物体分类和Bounding BoxRegressor边框回归操作，并同时进行分类和边框回归操作。
9.如权利要求8所述的一种用于骨科的精准临床诊断导航方法，其特征在于，步骤S4中Fast-RCNN模型的具体识别过程如下：
(1)特征提取；Fast-RCNN模型使用整张图片作为卷积处理的输入，进行多层卷积处理；
(2)统一向量维度；Fast-RCNN模型在卷积层的最后一层，把得到的Feature Map映射到每个候选区域上，相当于将候选区域映射到原图中，并在最后加入一层ROI Pooling将候选区域转化为统一大小维度的向量，然后进行全连接操作；
(3)损失计算函数；在全连接之后，Fast-RCNN模型不需要进行SVM分类器训练，而是直接使用多任务损失计算函数，得到每个候选区域中目标物体属于每个类别的得分和候选区域的回归参数，并连接到Softmax层和Bounding Box回归层；
(4)参数优化；在参数微调阶段，提出分层次随机梯度下降方法，从N张图片中取出R个候选区域代替从R张图片中各取一个候选区域，使得提速R/N倍；
(5)检测与识别；Fast-RCNN模型直接在全连接层后针对每个Region Proposal中单个目标计算得到其概率值，以及边框回归相对于对象中心的偏移宽高，然后利用多任务损失函数将分类损失与目标定位损失相结合确定最后结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010478334.5A CN111640127B (zh) | 2020-05-29 | 2020-05-29 | 一种用于骨科的精准临床诊断导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010478334.5A CN111640127B (zh) | 2020-05-29 | 2020-05-29 | 一种用于骨科的精准临床诊断导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111640127A true CN111640127A (zh) | 2020-09-08 |
| CN111640127B CN111640127B (zh) | 2023-08-22 |
Family
ID=72329595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010478334.5A Active CN111640127B (zh) | 2020-05-29 | 2020-05-29 | 一种用于骨科的精准临床诊断导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640127B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011418A (zh) * | 2021-02-09 | 2021-06-22 | 杭州海康慧影科技有限公司 | 确定图像中待处理区域的方法、装置、设备 |
| CN115486939A (zh) * | 2022-08-31 | 2022-12-20 | 北京长木谷医疗科技有限公司 | 骨科机手术器人智能感知解剖结构的方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120076387A1 (en) * | 2009-06-12 | 2012-03-29 | Qingmao Hu | Method and system for obtaining brain characteristic parameters, thrombolysis decision guideline system and method thereof |
| CN204909663U (zh) * | 2015-09-10 | 2015-12-30 | 浙江科惠医疗器械股份有限公司 | 一种基于图像的外科手术导航系统 |
| CN109461495A (zh) * | 2018-11-01 | 2019-03-12 | 腾讯科技（深圳）有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
| CN109741316A (zh) * | 2018-12-29 | 2019-05-10 | 成都金盘电子科大多媒体技术有限公司 | 医学影像智能评片系统 |
| CN111127467A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 图像量化方法、计算机设备和存储介质 |
-
2020
- 2020-05-29 CN CN202010478334.5A patent/CN111640127B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120076387A1 (en) * | 2009-06-12 | 2012-03-29 | Qingmao Hu | Method and system for obtaining brain characteristic parameters, thrombolysis decision guideline system and method thereof |
| CN204909663U (zh) * | 2015-09-10 | 2015-12-30 | 浙江科惠医疗器械股份有限公司 | 一种基于图像的外科手术导航系统 |
| CN109461495A (zh) * | 2018-11-01 | 2019-03-12 | 腾讯科技（深圳）有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
| CN109741316A (zh) * | 2018-12-29 | 2019-05-10 | 成都金盘电子科大多媒体技术有限公司 | 医学影像智能评片系统 |
| CN111127467A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 图像量化方法、计算机设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| LI LING-LING等: "Man-made Object Extraction from the Remote Sensing Image Based on Sliding Windows", 《 JOURNAL OF XIAMEN UNIVERSITY (NATURAL SCIENCE)》, vol. 53, no. 6, pages 792 - 796 * |
| WEIWEI LIE等: "Obstetric Imaging Diagnostic Platform Based on Cloud Computing Technology Under the Background of Smart Medical Big Data and Deep Learning", 《 IEEE ACCESS》, vol. 8, no. 1, pages 78265 - 78278, XP011786367, DOI: 10.1109/ACCESS.2020.2988563 * |
| 张迪飞等: "基于SVM分类的红外舰船目标识别", 《红外与激光工程》, vol. 45, no. 1, pages 179 - 184 * |
| 王继元: "基于深度学习的正位DR胸片质控体系", pages 076 - 14 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011418A (zh) * | 2021-02-09 | 2021-06-22 | 杭州海康慧影科技有限公司 | 确定图像中待处理区域的方法、装置、设备 |
| CN113011418B (zh) * | 2021-02-09 | 2024-02-23 | 杭州海康慧影科技有限公司 | 确定图像中待处理区域的方法、装置、设备 |
| CN115486939A (zh) * | 2022-08-31 | 2022-12-20 | 北京长木谷医疗科技有限公司 | 骨科机手术器人智能感知解剖结构的方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111640127B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539930B (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| CN113506334B (zh) | 基于深度学习的多模态医学图像融合方法及系统 | |
| CN110047082B (zh) | 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 | |
| EP3046478B1 (en) | Image analysis techniques for diagnosing diseases | |
| US20200367853A1 (en) | Apparatus for ai-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same | |
| CN111667467B (zh) | 基于聚类算法的下肢血管钙化指数多参数累积计算方法 | |
| CN108618749B (zh) | 基于便携式数字化眼底照相机的视网膜血管三维重建方法 | |
| CN108309334B (zh) | 一种脊柱x线影像的数据处理方法 | |
| WO2024001140A1 (zh) | 一种椎体亚区域分割方法、装置及存储介质 | |
| CN111640127B (zh) | 一种用于骨科的精准临床诊断导航方法 | |
| CN112750531A (zh) | 一种中医自动化望诊系统、方法、设备和介质 | |
| CN111080676B (zh) | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| CN114972266A (zh) | 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法 | |
| CN112741651B (zh) | 一种内窥镜超声影像的处理方法及系统 | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| CN116935009B (zh) | 基于历史数据分析进行预测的手术导航系统 | |
| CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 | |
| CN116864109B (zh) | 一种医学影像人工智能辅助诊断系统 | |
| CN111466952B (zh) | 一种超声内镜与ct三维图像实时转化方法和系统 | |
| CN109816665B (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| CN110428392A (zh) | 一种基于字典学习和低秩表示的医学图像融合方法 | |
| Smith et al. | Detection of fracture and quantitative assessment of displacement measures in pelvic X-RAY images | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| JP6501569B2 (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |