CN116363332A - 基于医学图像分割和特征匹配的前列腺超声矫正方法 - Google Patents
基于医学图像分割和特征匹配的前列腺超声矫正方法 Download PDFInfo
- Publication number
- CN116363332A CN116363332A CN202310081956.8A CN202310081956A CN116363332A CN 116363332 A CN116363332 A CN 116363332A CN 202310081956 A CN202310081956 A CN 202310081956A CN 116363332 A CN116363332 A CN 116363332A
- Authority
- CN
- China
- Prior art keywords
- prostate
- image
- ultrasonic
- neural network
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 210000002307 prostate Anatomy 0.000 title claims abstract description 56
- 238000012937 correction Methods 0.000 title claims abstract description 36
- 238000003709 image segmentation Methods 0.000 title claims abstract description 27
- 238000003062 neural network model Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000002604 ultrasonography Methods 0.000 claims description 22
- 238000013519 translation Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及智慧医疗技术领域,尤其涉及一种基于医学图像分割和特征匹配的前列腺超声矫正方法,包括以下步骤:S1、获取前列腺的超声图像信息,并对所述超声图像信息进行预处理,所述超声图像信息包括图像信息和位置深度信息;S2、构建用于医学图像分割的神经网络模型;S3、在所述神经网络模型的基础上,加入多任务学习方法,对所述神经网络模型进行训练,并将所述超声图像信息输入所述神经网络模型,获取超声分割图像;S4、基于对极几何约束法对所述超声分割图像进行矫正,得到矫正图像;S5、利用所述矫正图像和所述位置深度信息进行三维重建,输出得到超声矫正结果。本发明相比现有技术使用时间更少,三维重建效果更加直观。
Description
技术领域
本发明涉及智慧医疗技术领域,尤其涉及一种基于医学图像分割和特征匹配的前列腺超声矫正方法。
背景技术
近年来,前列腺癌的发病率持续升高,成为威胁老年男性健康的重要疾病,因此,对于前期检查来说,前列腺的准确诊断尤为重要。对于这种高发性的癌症,医疗领域比较常用的检查方法是使用超声检查等手段进行判断,传统超声图像是二维的,人体组织是三维的,所以,临床医生需要自己按照经验整合多个二维断面图像,以重构出组织的三维结构。而在当下,三维重建技术随着技术的发展和操作较为简便的软件不断开发问世,在临床上的应用越来越广泛,在三维重建技术的帮助下,术前对前列腺的解剖形态结构和清晰的认知,能够帮助筛选合适的患者接受手术治疗。
现有技术中,实现三维重建的主要方法,分为深度图像获取、预处理、点云计算、点云匹配、数据融合、表面生成等步骤。但目前的三维重建技术的缺点主要为动态性能较差、抗干扰能力弱等,具体表现为在前列腺的超声图像的采集过程中,由于目标器官本身不是完全静止的,使得采集过程中不可避免地会出现因为超声成像中器官位移而产生的失真,同时,超声图像采集使用的探测仪器也会因为人为运动,同样会造成失真。因此现有的三维重建技术得到的图像结果并不正确,从而需要多次采样,不断地调整探头才能采样到足够的信息,同时,整个过程处理时间长,诊断结果取决于医生的扫描水平与诊断经验,更加不利于医生做出正确的诊断。因此,探索和研究一种新的图像诊断方法是亟有必要的。
发明内容
本发明旨在解决现有技术在医学三维重建的过程中耗时长、失真率高的技术问题。
为解决上述技术问题,具体的,本发明实施例提供一种基于医学图像分割和特征匹配的前列腺超声矫正方法,所述前列腺超声矫正方法,包括以下步骤:
S1、获取前列腺的超声图像信息,并对所述超声图像信息进行预处理,所述超声图像信息包括图像信息和位置深度信息;
S2、构建用于医学图像分割的神经网络模型;
S3、在所述神经网络模型的基础上,加入多任务学习方法,对所述神经网络模型进行训练,并将所述超声图像信息输入所述神经网络模型,获取超声分割图像;
S4、基于对极几何约束法对所述超声分割图像进行矫正,得到矫正图像;
S5、利用所述矫正图像和所述位置深度信息进行三维重建,输出得到超声矫正结果。
更进一步地,步骤S1中,对所述超声图像信息进行预处理的方法具体为:
使用拉普拉斯算子法对所述图像信息进行增强处理。
更进一步地,步骤S2中,所述神经网络模型基于3D-Unet模型,所述3D-Unet模型包括含有下采样层的特征提取网络和包含上采样层的特征融合网络,所述3D-Unet模型满足:
S1=W×x+b;
X=ReLU(S3);
其中,x为全连接层的输入层,X为输出层,权重参数和偏差参数分别为W和b,激活函数为ReLU函数,μ为小批量均值,σ2为方差,γ为拉伸参数,β为偏移参数,S1、S2、S3均为中间变量。
更进一步地,步骤S3中,在所述神经网络模型的基础上,加入多任务学习方法的步骤,具体为:
在所述3D-Unet模型后增加前列腺轮廓输出层和目标病灶输出层,所述前列腺轮廓输出层和所述目标病灶输出层使用相同的所述特征提取网络和所述特征融合网络,并使用不同的输出层。
更进一步地,定义所述图像信息为P,所述位置深度信息D,所述前列腺轮廓输出层的输出为POL,所述目标病灶输出层的输出为PFZ,所述前列腺轮廓输出层的输出和所述目标病灶输出层的输出的并集总轮廓为Pseg,步骤S4具体为:
获取第a帧以及第a+1帧对应的前列腺轮廓的相似特征像素点p1、p2;
基于所述对极几何约束法表示所述像素点的位置,且满足:
S1p1=KP;
s2p2=K(RP+t);
其中,R为旋转矩阵,t为平移向量;
基于简化的所述对极几何约束法构建关系式:
其中,E为本质矩阵,F为基本矩阵,K为相机内参,x1和x2分别是所述像素点在归一化平面上的坐标;
基于RANSAC算法计算最优匹配点,并基于所述对极几何约束法求解所述本质矩阵E和所述基本矩阵F,以及所述旋转矩阵R和所述平移向量t,并基于所述旋转矩阵R和所述平移向量t将所述并集总轮廓为Pseg的坐标进行矫正,得到具有矫正坐标的所述矫正图像Pseg_cor。
更进一步地,步骤S5具体为:
基于四阶贝塞尔曲线插值算法对所述矫正图像Pseg_cor进行处理,调整所述矫正图像Pseg_cor的三维空间坐标;
采用距离加权算法对所述矫正图像Pseg_cor中的重叠像素进行像素平滑处理,并输出完成平滑处理的所述超声矫正结果。
本发明所达到的有益效果:
一、基于本发明提供的基于医学图像分割和特征匹配的前列腺超声矫正方法,在超声图像进行特征提取前基于拉普拉斯算子增强法进行预处理,可以消除不同超声仪器和超声采样方法对分割算法造成的影响,提高系统的准确性;
二、采用了矫正算法,增加了系统整体的稳定性和准确性,减小了超声检测过程中的造成的误差,增强了抗干扰能力;
三、在三维重建的插值算法中使用了四阶贝塞尔曲线插值法,能够提高重建精度;
四、基于多任务学习的网络结构,能够在同一重建过程中同时重建出前列腺及其病灶,相比现有技术使用时间更少,三维重建效果更加直观。
附图说明
图1是本发明实施例提供的基于医学图像分割和特征匹配的前列腺超声矫正方法的步骤流程图;
图2是本发明实施例提供的神经网络模型结构示意图;
图3是本发明实施例提供的前列腺轮廓输出层和目标病灶输出层的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参照图1,图1是本发明实施例提供的基于医学图像分割和特征匹配的前列腺超声矫正方法的步骤流程图,所述前列腺超声矫正方法,包括以下步骤:
S1、获取前列腺的超声图像信息,并对所述超声图像信息进行预处理,所述超声图像信息包括图像信息和位置深度信息。
更进一步地,步骤S1中,对所述超声图像信息进行预处理的方法具体为:
使用拉普拉斯算子法对所述图像信息进行增强处理。
具体的,对于获取的n张超声图像信息,拉普拉斯算子法的原理描述如下:
以x表示邻域中心像素灰度,y表示平均灰度,当x高于y时,提高中心像素灰度;当x低于y时,降低中心像素灰度。
一个二维图像函数f(x,y)的拉普拉斯算子定义为:
基于上式,任意阶微分都是线性操作,因此拉普拉斯变换也是一个线性算子,在x方向和y方向分别有上有:
遵循以上三个公式,两个变量的离散拉普拉斯算子可以表示为:
拉普拉斯算子是一种微分算子,其表达的是图像中灰度的突变,其并不强调灰度极缓慢变化的区域,将产生的浅灰色边线和突变点叠加到暗色背景中,并将原图像和拉普拉斯图像叠加在一起,可以复原背景特征并保持拉普拉斯锐化处理的效果。
使用拉普拉斯对图像增强后图像函数g(x,y)的基本方法可表示为下式:
其中,当模板中心系数为负数时,c=-1;反之,模板中心系数为正时,c=1。
本发明实施例使用拉普拉斯算子增强算法,可以提高图像的清晰度,丰富图像细节。
S2、构建用于医学图像分割的神经网络模型。
更进一步地,步骤S2中,所述神经网络模型基于3D-Unet模型,所述3D-Unet模型包括含有下采样层的特征提取网络和包含上采样层的特征融合网络,所述3D-Unet模型满足:
S1=W×x+b;
X=ReLU(S3);
其中,x为全连接层的输入层,X为输出层,权重参数和偏差参数分别为W和b,激活函数为ReLU函数,μ为小批量均值,σ2为方差,γ为拉伸参数,β为偏移参数,S1、S2、S3均为中间变量。
具体的,本发明实施例构建的所述神经网络模型结构如图2所示,其主要分为左右结构,左为主干特征提取网络。右为加强特征融合网络,初试图像P从左输入,最后在通过单卷积conv输出得到的目标图像。
所述神经网络模型的整体上下分为四层网络结构,3个向下采样层作为编码器,3个上采样层组成编码器。其中,编码器由改进卷积层Conv+BN、ReLU激活函数、最大池化层Max_pool组成,解码器由反卷积层Up-conv组成。使用上采样产生的特真图与左侧特征图进行Concat操作,最后再经过两次卷积操作,生成特征图。
在本发明实施例中,通过改进卷积层,使其结构为Conv+BN+ReLU,在卷积层Conv后加入了批量标准化来处理特征分布漂移问题,对神经元输入数据进行归一化处理,对数据进行了变换重构,增强深度学习网络的表达能力。
S3、在所述神经网络模型的基础上,加入多任务学习方法,对所述神经网络模型进行训练,并将所述超声图像信息输入所述神经网络模型,获取超声分割图像。
更进一步地,步骤S3中,在所述神经网络模型的基础上,加入多任务学习方法的步骤,具体为:
在所述3D-Unet模型后增加前列腺轮廓输出层和目标病灶输出层,所述前列腺轮廓输出层和所述目标病灶输出层使用相同的所述特征提取网络和所述特征融合网络,并使用不同的输出层。
具体的,所述前列腺轮廓输出层和所述目标病灶输出层的结构如图3所示。
S4、基于对极几何约束法对所述超声分割图像进行矫正,得到矫正图像。
更进一步地,定义所述图像信息为P,所述位置深度信息D,所述前列腺轮廓输出层的输出为POL,所述目标病灶输出层的输出为PFZ,所述前列腺轮廓输出层的输出和所述目标病灶输出层的输出的并集总轮廓为Pseg,步骤S4具体为:
获取第a帧以及第a+1帧对应的前列腺轮廓的相似特征像素点p1、p2;
基于所述对极几何约束法表示所述像素点的位置,且满足:
s1p1=KP;
s2p2=K(RP+t);
其中,R为旋转矩阵,t为平移向量;
基于简化的所述对极几何约束法构建关系式:
其中,E为本质矩阵,F为基本矩阵,K为相机内参,x1和x2分别是所述像素点在归一化平面上的坐标;
基于RANSAC算法计算最优匹配点,并基于所述对极几何约束法求解所述本质矩阵E和所述基本矩阵F,以及所述旋转矩阵R和所述平移向量t,并基于所述旋转矩阵R和所述平移向量t将所述并集总轮廓为Pseg的坐标进行矫正,得到具有矫正坐标的所述矫正图像Pseg_cor。
S5、利用所述矫正图像和所述位置深度信息进行三维重建,输出得到超声矫正结果。
更进一步地,步骤S5具体为:
基于四阶贝塞尔曲线插值算法对所述矫正图像Pseg_cor进行处理,调整所述矫正图像Pseg_cor的三维空间坐标;
采用距离加权算法对所述矫正图像Pseg_cor中的重叠像素进行像素平滑处理,并输出完成平滑处理的所述超声矫正结果。
具体的,四阶贝塞尔曲线插值算法表示如下:
P(t)=P0(1-t)4+4P1t(1-t)3+6P2t2(1-t)2+4P3t3(1-t)+P4t4;
V(t)=V0(1-t)4+4V1t(1-t)3+6V2t2(1-t)2+4V3t3(1-t)+V4t4;
其中,P(t)对应插值体素,P可以表示为4×1的向量,即P=[X,Y,Z,V],[X,Y,Z]表示二维超声图像上像素点的三维空间坐标,V(t)对应P(t)的像素值,t对应插值体素P(t)相距P0的距离、与P0相距P4的距离归一化结果,Z对应P(t)的z方向坐标值。
通过以上内容,可以完成一个窗口内的像素遍历,对于两图像重叠部分的像素值计算,为了避免其重叠部分和非重叠部分不平滑问题,本发明实施例采用距离加权算法来确定重叠部分的像素值。
其中,V表示重叠部分中体素的像素值,Vpre表示前一个窗口所计算得到的像素值,Vcur表示当前窗口所计算得到的像素值,d1表示当前体素距离重叠部分第一帧图像的距离,d2表示当前体素距离重叠部分第二帧图像的距离。
本发明所达到的有益效果:
一、基于本发明提供的基于医学图像分割和特征匹配的前列腺超声矫正方法,在超声图像进行特征提取前基于拉普拉斯算子增强法进行预处理,可以消除不同超声仪器和超声采样方法对分割算法造成的影响,提高系统的准确性;
二、采用了矫正算法,增加了系统整体的稳定性和准确性,减小了超声检测过程中的造成的误差,增强了抗干扰能力;
三、在三维重建的插值算法中使用了四阶贝塞尔曲线插值法,能够提高重建精度;
四、基于多任务学习的网络结构,能够在同一重建过程中同时重建出前列腺及其病灶,相比现有技术使用时间更少,三维重建效果更加直观。
本发明实施例还提供一种基于医学图像分割和特征匹配的前列腺超声矫正系统,包括:
预处理模块,用于获取前列腺的超声图像信息,并对所述超声图像信息进行预处理,所述超声图像信息包括图像信息和位置深度信息;
网络构建模块,用于构建用于医学图像分割的神经网络模型;
多任务学习模块,用于在所述神经网络模型的基础上,加入多任务学习方法,对所述神经网络模型进行训练,并将所述超声图像信息输入所述神经网络模型,获取超声分割图像;
矫正模块,用于基于对极几何约束法对所述超声分割图像进行矫正,得到矫正图像;
重建模块,用于利用所述矫正图像和所述位置深度信息进行三维重建,输出得到超声矫正结果。
所述基于医学图像分割和特征匹配的前列腺超声矫正系统能够实现如上述实施例中的基于医学图像分割和特征匹配的前列腺超声矫正方法中的步骤,且能实现同样的技术效果,参上述实施例中的描述,此处不再赘述。
本发明实施例还提供一种计算机设备,所述计算机设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序。
所述处理器调用所述存储器存储的计算机程序,执行本发明实施例提供的基于医学图像分割和特征匹配的前列腺超声矫正方法中的步骤,请结合图1,具体包括:
S1、获取前列腺的超声图像信息,并对所述超声图像信息进行预处理,所述超声图像信息包括图像信息和位置深度信息;
S2、构建用于医学图像分割的神经网络模型;
S3、在所述神经网络模型的基础上,加入多任务学习方法,对所述神经网络模型进行训练,并将所述超声图像信息输入所述神经网络模型,获取超声分割图像;
S4、基于对极几何约束法对所述超声分割图像进行矫正,得到矫正图像;
S5、利用所述矫正图像和所述位置深度信息进行三维重建,输出得到超声矫正结果。
更进一步地,步骤S1中,对所述超声图像信息进行预处理的方法具体为:
使用拉普拉斯算子法对所述图像信息进行增强处理。
更进一步地,步骤S2中,所述神经网络模型基于3D-Unet模型,所述3D-Unet模型包括含有下采样层的特征提取网络和包含上采样层的特征融合网络,所述3D-Unet模型满足:
S1=W×x+b;
X=ReLU(S3);
其中,x为全连接层的输入层,X为输出层,权重参数和偏差参数分别为W和b,激活函数为ReLU函数,μ为小批量均值,σ2为方差,γ为拉伸参数,β为偏移参数,S1、S2、S3均为中间变量。
更进一步地,步骤S3中,在所述神经网络模型的基础上,加入多任务学习方法的步骤,具体为:
在所述3D-Unet模型后增加前列腺轮廓输出层和目标病灶输出层,所述前列腺轮廓输出层和所述目标病灶输出层使用相同的所述特征提取网络和所述特征融合网络,并使用不同的输出层。
更进一步地,定义所述图像信息为P,所述位置深度信息D,所述前列腺轮廓输出层的输出为POL,所述目标病灶输出层的输出为PFZ,所述前列腺轮廓输出层的输出和所述目标病灶输出层的输出的并集总轮廓为Pseg,步骤S4具体为:
获取第a帧以及第a+1帧对应的前列腺轮廓的相似特征像素点p1、p2;
基于所述对极几何约束法表示所述像素点的位置,且满足:
s1p1=KP;
s2p2=K(RP+t);
其中,R为旋转矩阵,t为平移向量;
基于简化的所述对极几何约束法构建关系式:
其中,E为本质矩阵,F为基本矩阵,K为相机内参,x1和x2分别是所述像素点在归一化平面上的坐标;
基于RANSAC算法计算最优匹配点,并基于所述对极几何约束法求解所述本质矩阵E和所述基本矩阵F,以及所述旋转矩阵R和所述平移向量t,并基于所述旋转矩阵R和所述平移向量t将所述并集总轮廓为Pseg的坐标进行矫正,得到具有矫正坐标的所述矫正图像Pseg_cor。
更进一步地,步骤S5具体为:
基于四阶贝塞尔曲线插值算法对所述矫正图像Pseg_cor进行处理,调整所述矫正图像Pseg_cor的三维空间坐标;
采用距离加权算法对所述矫正图像Pseg_cor中的重叠像素进行像素平滑处理,并输出完成平滑处理的所述超声矫正结果。
本发明实施例提供的计算机设备能够实现如上述实施例中的基于医学图像分割和特征匹配的前列腺超声矫正方法中的步骤,且能实现同样的技术效果,参上述实施例中的描述,此处不再赘述。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的基于医学图像分割和特征匹配的前列腺超声矫正方法中的各个过程及步骤,且能实现相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,简称RAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,所揭露的仅为本发明较佳实施例而已,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式用等同变化,均属于本发明的保护之内。
Claims (6)
1.一种基于医学图像分割和特征匹配的前列腺超声矫正方法,其特征在于,所述前列腺超声矫正方法,包括以下步骤:
S1、获取前列腺的超声图像信息,并对所述超声图像信息进行预处理,所述超声图像信息包括图像信息和位置深度信息;
S2、构建用于医学图像分割的神经网络模型;
S3、在所述神经网络模型的基础上,加入多任务学习方法,对所述神经网络模型进行训练,并将所述超声图像信息输入所述神经网络模型,获取超声分割图像;
S4、基于对极几何约束法对所述超声分割图像进行矫正,得到矫正图像;
S5、利用所述矫正图像和所述位置深度信息进行三维重建,输出得到超声矫正结果。
2.如权利要求1所述的基于医学图像分割和特征匹配的前列腺超声矫正方法,其特征在于,步骤S1中,对所述超声图像信息进行预处理的方法具体为:
使用拉普拉斯算子法对所述图像信息进行增强处理。
4.如权利要求3所述的基于医学图像分割和特征匹配的前列腺超声矫正方法,其特征在于,步骤S3中,在所述神经网络模型的基础上,加入多任务学习方法的步骤,具体为:
在所述3D-Unet模型后增加前列腺轮廓输出层和目标病灶输出层,所述前列腺轮廓输出层和所述目标病灶输出层使用相同的所述特征提取网络和所述特征融合网络,并使用不同的输出层。
5.如权利要求4所述的基于医学图像分割和特征匹配的前列腺超声矫正方法,其特征在于,定义所述图像信息为P,所述位置深度信息D,所述前列腺轮廓输出层的输出为POL,所述目标病灶输出层的输出为PFZ,所述前列腺轮廓输出层的输出和所述目标病灶输出层的输出的并集总轮廓为Pseg,步骤S4具体为:
获取第a帧以及第a+1帧对应的前列腺轮廓的相似特征像素点p1、p2;
基于所述对极几何约束法表示所述像素点的位置,且满足:
s1p1=KP;
s2p2=K(RP+t);
其中,R为旋转矩阵,t为平移向量;
基于简化的所述对极几何约束法构建关系式:
其中,E为本质矩阵,F为基本矩阵,K为相机内参,x1和x2分别是所述像素点在归一化平面上的坐标;
基于RANSAC算法计算最优匹配点,并基于所述对极几何约束法求解所述本质矩阵E和所述基本矩阵F,以及所述旋转矩阵R和所述平移向量t,并基于所述旋转矩阵R和所述平移向量t将所述并集总轮廓为Pseg的坐标进行矫正,得到具有矫正坐标的所述矫正图像Pseg_cor。
6.如权利要求5所述的基于医学图像分割和特征匹配的前列腺超声矫正方法,其特征在于,步骤S5具体为:
基于四阶贝塞尔曲线插值算法对所述矫正图像Pseg_cor进行处理,调整所述矫正图像Pseg_cor的三维空间坐标;
采用距离加权算法对所述矫正图像Pseg_cor中的重叠像素进行像素平滑处理,并输出完成平滑处理的所述超声矫正结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310081956.8A CN116363332A (zh) | 2023-01-17 | 2023-01-17 | 基于医学图像分割和特征匹配的前列腺超声矫正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310081956.8A CN116363332A (zh) | 2023-01-17 | 2023-01-17 | 基于医学图像分割和特征匹配的前列腺超声矫正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116363332A true CN116363332A (zh) | 2023-06-30 |
Family
ID=86930873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310081956.8A Pending CN116363332A (zh) | 2023-01-17 | 2023-01-17 | 基于医学图像分割和特征匹配的前列腺超声矫正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363332A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173391A (zh) * | 2023-11-02 | 2023-12-05 | 广东省建筑设计研究院有限公司 | 一种基于深度学习和多视几何的倾斜图像矫正方法及系统 |
-
2023
- 2023-01-17 CN CN202310081956.8A patent/CN116363332A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173391A (zh) * | 2023-11-02 | 2023-12-05 | 广东省建筑设计研究院有限公司 | 一种基于深度学习和多视几何的倾斜图像矫正方法及系统 |
CN117173391B (zh) * | 2023-11-02 | 2024-03-19 | 广东省建筑设计研究院有限公司 | 一种基于深度学习和多视几何的倾斜图像矫正方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kuanar et al. | Low dose abdominal CT image reconstruction: an unsupervised learning based approach | |
CN114119549B (zh) | 一种多模态医学图像三维点云配准优化方法 | |
CN107403201A (zh) | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 | |
JP2023550844A (ja) | 深層形状学習に基づく肝臓ct自動分割方法 | |
WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
WO2017036231A1 (zh) | 从光学相干断层图像获取视网膜结构的方法及其系统 | |
Zheng et al. | Sequential reconstruction of vessel skeletons from X-ray coronary angiographic sequences | |
CN113570627B (zh) | 深度学习分割网络的训练方法及医学图像分割方法 | |
CN111091616A (zh) | 一种三维超声图像的重建方法及装置 | |
CN109215035B (zh) | 一种基于深度学习的脑部mri海马体三维分割方法 | |
CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
CN112102428B (zh) | Ct锥形束扫描图像重建方法、扫描系统及存储介质 | |
US11984218B2 (en) | Apparatus, method, and non-transitory computer-readable storage medium for enhancing computed tomography image resolution | |
CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及系统 | |
He et al. | Downsampled imaging geometric modeling for accurate CT reconstruction via deep learning | |
CN116363332A (zh) | 基于医学图像分割和特征匹配的前列腺超声矫正方法 | |
EP2498222B1 (en) | Method and system for regression-based 4D mitral valve segmentation from 2D+T magnetic resonance imaging slices | |
CN116309806A (zh) | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 | |
Hao et al. | Magnetic resonance image segmentation based on multi-scale convolutional neural network | |
CN113344876B (zh) | 一种ct和cbct间可变形配准方法 | |
CN117876261A (zh) | 一种基于深度学习的cbct散射校正成像方法 | |
CN117115355A (zh) | 三维超声建模方法、系统、电子设备和可读存储介质 | |
CN109685803B (zh) | 一种左心室图像分割方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |