CN112102337A - 一种超声成像下的骨骼表面分割方法 - Google Patents

一种超声成像下的骨骼表面分割方法 Download PDF

Info

Publication number
CN112102337A
CN112102337A CN202010973639.3A CN202010973639A CN112102337A CN 112102337 A CN112102337 A CN 112102337A CN 202010973639 A CN202010973639 A CN 202010973639A CN 112102337 A CN112102337 A CN 112102337A
Authority
CN
China
Prior art keywords
image
ultrasonic
bone surface
bone
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010973639.3A
Other languages
English (en)
Inventor
栾宽
李泽钰
李金�
刘小龙
周洋
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202010973639.3A priority Critical patent/CN112102337A/zh
Publication of CN112102337A publication Critical patent/CN112102337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Abstract

本发明提供一种超声成像下的骨骼表面分割方法,其特征是,使用python语言实现,使用超声探头来获取骨骼表面的超声图片,并对获取到的图像进行清洗;对原始超声图像进行中心裁剪得到288*320大小的超声成像区域,去除掉了无用的区域;对骨骼超声图像进行标记制作掩码标注图像,从而制作数据集;利用图像增强技术,对步骤3中得到的数据集进行增强处理,并丰富数据内容,扩充样本数量;将数据集随机的等分为五份;搭建神经网络模型,整体由两大模块组成,编码模块以及解码模块;利用步骤5中得到的五份数据集,对网络模型进行五折交叉验证训练。本发明借助普通摄像头就可集成到通用的计算机辅助系统中,无需额外设备,适合医院和家庭使用。

Description

一种超声成像下的骨骼表面分割方法
技术领域
本发明涉及一种骨骼表面分割方法,尤其涉及一种超声成像下的骨骼表面分割方法,属于计算机辅助手术导航系统计算机视觉领域。
背景技术
骨折是临床上一种常见的外科疾病,严重影响着人们的健康和生活。随着户外运动种类增加,运动型的创伤越来越多,同时交通事故发生率的升高也使骨折患者逐渐增多。
骨科手术是治疗骨折的一种重要解决方案,在术中采用高精度的术中导航技术对手术加以引导,是减少骨折患者术后恢复后遗症的一个关键。针对骨折患处的成像及定位,计算机辅助骨科手术系统(CAOS)是一种有效的辅助手段,而成像则是CAOS系统中最重要的一部分。目前CAOS所采用的术中成像方式是2d/3d萤光透视。这其中2d荧光透视所能给医生提供的患处三维信息十分有限,这就需要医生在术中对骨折患处从不同角度进行多次成像,以获取患处的结构及位置信息从而规划后续整复步骤;而新型的3d荧光成像可以很好的解决这一问题,但其成本是2d荧光成像的两倍,且未被广泛应用。另外这两种透视成像方式自身都带有电离辐射,这将给医生团队及患者的健康造成伤害。
而超声成像则可以为CAOS提供一种实时、无辐射的成像方式来替代术中透视成像方式,且已经有一些研究尝试将超声纳入到CAOS系统中。现在主流的方法是使用术中超声图像与术前CT/MRI的高精度三维图像进行配准。但超声图像的低信噪比,伪影,散斑严重,对比度低,解读困难等问题使从超声图像中精准的分割出骨骼变得尤为困难,这严重制约了其在CAOS系统中的应用及发展。因此如何精准实时地将超声图像中的骨骼分割提取出来,成为了US成像应用于CAOS系统的关键技术(突破口)之一。
早期的超声图像下的骨骼边缘分割方法的研究主要基于图像形态学、强度、相位特征等方法的启发式函数的方法,然而这种方法的鲁棒性较差,且单位处理时间长;后续出现了借助机器学习的分割方法(如随机森林的方法),这类方法在分割精度上相较于传统启发式的处理方式在精度上有较大提升,然而机器学习方法往往需要额外的先验知识及良好的特征工程来达到较好的精度。
近年来基于卷积神经网络(CNN)的方法陆续被提出,这类方法相较于之前的方法在准确度、速度及泛化能力等方面均有显著的提升。然而现有基于卷积神经网络的方法,基本都需要先对超声图像进行不同程度的预处理,而这一过程平均需要1~2秒/张的时间,经过预处理之后再进行分割,这导致算法的性能难以满足CAOS系统中对于成像系统的实时性的要求。
发明内容
本发明要实现的目的是,实现对超声成像下的骨骼表面进行实时分割的功能,本发明对超声成像的特征及基于卷积神经网络的图像分割算法进行了深入研究,提出了一种超声成像下的骨骼表面分割方法。
本发明的目的是这样实现的:
一种超声成像下的骨骼表面分割方法,其特征是,使用python语言实现,包括如下步骤:
步骤1:使用超声探头来获取骨骼表面的超声图片,并对获取到的图像进行清洗;
步骤2:对原始超声图像进行中心裁剪得到288*320大小的超声成像区域,去除掉了无用的区域;
步骤3:对骨骼超声图像进行标记制作掩码标注图像,从而制作数据集;
步骤4:利用图像增强技术,对步骤3中得到的数据集进行增强处理,并丰富数据内容,扩充样本数量;
步骤5:将数据集随机的等分为五份;
步骤6:搭建神经网络模型,整体由两大模块组成,编码模块以及解码模块;
步骤7:利用步骤5中得到的五份数据集,对网络模型进行五折交叉验证训练。
本发明还包括这样一些特征:
所述步骤4具体为:
步骤4.1:对原始超声图像进行随机失真处理;
步骤4.2:对原始超声图像及掩码标注图像进行X轴方向的镜像翻转处理;
步骤4.3:对原始超声图像及掩码标注图像进行中心旋转,角度为±15度;
所述步骤6具体为:为了缓解标注样本时的标注差异对网络性能带来的影响,引入实例归一化;
所述步骤7具体为:
步骤7.1:为了促进网络的收敛,对输入数据进行归一化处理;
步骤7.2:为了增强模型的泛化能力,在训练中随机改变原始超声图像的亮度、对比度、饱和度和色度;
步骤7.3:为了缓解该任务中存在的类别不均衡问题,可以采用焦点损失和类别平衡损失函数的二元加权交叉熵。
与现有技术相比,本发明的有益效果是:
与使用虚拟现实技术方法相比较,本发明借助普通摄像头就可集成到通用的计算机辅助系统中,无需额外设备,适合医院和家庭使用。
与同类基于深度学习的算法相比,本算法实现了无需预处理就可得到精准的分割结果,这极大的提高了算法的实时性。此外,在实现了高速分割的同时,还实现了较高的精度。
附图说明
图1为本发明所涉及方法的流程图;
图2为本发明设计的语义分割网络结构图;
图3为本发明所涉及的squeeze-and-excitation块网络原理图;
图4为本发明所设计的倒残差块网络原理图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
本发明提出了一个端到端的网路(BoneNet),用于实时分割美国下方的骨骼表面。BoneNet扩展了标准的U-net网络,增加了一个新的特征提取组件——Squeeze-and-Excitation残差块,以此实现稳健的特征学习。同时,为了缓解超声图像中骨骼表面分割任务中前景背景类高度不平衡的挑战,我们在训练的过程中采用了新的损失函数策略。此外,还引入了深度可分卷积,以降低网络参数和计算成本,保证实时性。该算法实现了以原始的US图像作为输入而不需要进行任何的预处理,就可实现对超声图像中的骨表面的分割。
本发明要实现的目的是,实现对超声成像下的骨骼表面进行实时分割的功能,本发明对超声成像的特征及基于卷积神经网络的图像分割算法进行了深入研究,提出了一个端到端的超声图像下骨骼表面分割网络。
由于超声成像自身的劣势(高噪声,伪影等),常常需要预处理来缓解这一影响。我们为了极大程度的避免预处理,采用squeeze-and-excitation模块,来提高特征提取模块的特征表征能力。
针对超声图像下的骨骼表面样本不均衡问题,我们引入了焦点损失和类平衡损失函数的二元加权交叉熵。
针对“超声下骨骼数据集”中可能存在的标注差异化问题,我们采用实例归一化,来缓解由于数据集所带来的影响。
本方法是基于卷积神经网络来实现对超声图像下的骨骼表明进行分割提取,以下将结合具体的实施例对本发明进一步详细说明实施方法如下:
1.硬件配置环境
本发明使用的硬件包括:(1)一台带有图像处理卡(2080Ti)的计算机,(2)迈瑞,DP10便携式超声成像仪。
2.软件配置环境
Python,Pytorch,openCV
3.如图1所示,本发明提出一种基于深度学习的超声图像下骨骼表明分割方法,具体包括以下步骤:
步骤1:使用超声探头来获取骨骼表面的超声图片,并对获取到的图像进行清洗(例如删除成像质量较差的图片)。
步骤2:对原始超声图像进行中心裁剪得到288*320大小的超声成像区域,去除掉了无用的区域。
步骤3:对骨骼超声图像进行标记制作掩码标注图像,从而制作数据集。
步骤4:利用图像增强技术,对步骤3中得到的数据集进行增强处理,并丰富数据内容,扩充样本数量。
步骤4.1:以0.3的概率,对原始超声图像进行随机失真处理。
步骤4.2:以0.5的概率,对原始超声图像及掩码标注图像进行X轴方向的镜像翻转处理。
步骤4.3:以0.3的概率,对原始超声图像及掩码标注图像进行中心旋转,角度为±15度。
步骤5:将数据集随机的等分为五份。
步骤6:搭建神经网络模型如图2所示,整体由两大模块组成,编码模块以及解码模块。在编码阶段使用如图3所示模块(突出有效特征),另外模型的底部使用如图4所示的倒残差块(为了减少参数数量)。
步骤6.1:为了缓解标注样本时的标注差异对网络性能带来的影响,引入实例归一化。
步骤7:利用步骤5中得到的五份数据集,对网络模型进行五折交叉验证训练。
步骤7.1:为了促进网络的收敛,对输入数据进行归一化处理。
步骤7.2:为了增强模型的泛化能力,在训练中随机改变原始超声图像的亮度、对比度、饱和度和色度。
步骤7.3:为了缓解该任务中存在的类别不均衡问题,可以采用焦点损失和类别平衡损失函数的二元加权交叉熵。
以上实施例仅为本发明的示例性实施例,不用于限制本发明。

Claims (4)

1.一种超声成像下的骨骼表面分割方法,其特征是,使用python语言实现,包括如下步骤:
步骤1:使用超声探头来获取骨骼表面的超声图片,并对获取到的图像进行清洗;
步骤2:对原始超声图像进行中心裁剪得到288*320大小的超声成像区域,去除掉了无用的区域;
步骤3:对骨骼超声图像进行标记制作掩码标注图像,从而制作数据集;
步骤4:利用图像增强技术,对步骤3中得到的数据集进行增强处理,并丰富数据内容,扩充样本数量;
步骤5:将数据集随机的等分为五份;
步骤6:搭建神经网络模型,整体由两大模块组成,编码模块以及解码模块;
步骤7:利用步骤5中得到的五份数据集,对网络模型进行五折交叉验证训练。
2.根据权利要求1所述超声成像下的骨骼表面分割方法,其特征是,所述步骤4具体为:
步骤4.1:对原始超声图像进行随机失真处理;
步骤4.2:对原始超声图像及掩码标注图像进行X轴方向的镜像翻转处理;
步骤4.3:对原始超声图像及掩码标注图像进行中心旋转,角度为±15度。
3.根据权利要求1所述超声成像下的骨骼表面分割方法,其特征是,所述步骤6具体为:为了缓解标注样本时的标注差异对网络性能带来的影响,引入实例归一化。
4.根据权利要求1所述超声成像下的骨骼表面分割方法,其特征是,所述步骤7具体为:
步骤7.1:为了促进网络的收敛,对输入数据进行归一化处理;
步骤7.2:为了增强模型的泛化能力,在训练中随机改变原始超声图像的亮度、对比度、饱和度和色度;
步骤7.3:为了缓解该任务中存在的类别不均衡问题,可以采用焦点损失和类别平衡损失函数的二元加权交叉熵。
CN202010973639.3A 2020-09-16 2020-09-16 一种超声成像下的骨骼表面分割方法 Pending CN112102337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010973639.3A CN112102337A (zh) 2020-09-16 2020-09-16 一种超声成像下的骨骼表面分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973639.3A CN112102337A (zh) 2020-09-16 2020-09-16 一种超声成像下的骨骼表面分割方法

Publications (1)

Publication Number Publication Date
CN112102337A true CN112102337A (zh) 2020-12-18

Family

ID=73760177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973639.3A Pending CN112102337A (zh) 2020-09-16 2020-09-16 一种超声成像下的骨骼表面分割方法

Country Status (1)

Country Link
CN (1) CN112102337A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505845A (zh) * 2021-07-23 2021-10-15 黑龙江省博雅智睿科技发展有限责任公司 一种基于语言的深度学习训练集图像生成方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217567A1 (en) * 2013-07-26 2016-07-28 Brainlab Ag Multi-modal segmentatin of image data
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN109345508A (zh) * 2018-08-31 2019-02-15 北京航空航天大学 一种基于两阶段神经网络的骨龄评价方法
US20190105009A1 (en) * 2017-10-10 2019-04-11 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
CN110337669A (zh) * 2017-01-27 2019-10-15 爱克发医疗保健公司 多类图像分割方法
EP3611699A1 (en) * 2018-08-14 2020-02-19 Siemens Healthcare GmbH Image segmentation using deep learning techniques
CN110853038A (zh) * 2019-10-15 2020-02-28 哈尔滨工程大学 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
CN111126424A (zh) * 2018-11-01 2020-05-08 南京大学 一种基于卷积神经网络的超声图像分类方法
CN111145181A (zh) * 2019-12-25 2020-05-12 华侨大学 一种基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN111210435A (zh) * 2019-12-24 2020-05-29 重庆邮电大学 一种基于局部和全局特征增强模块的图像语义分割方法
US20200184647A1 (en) * 2017-06-08 2020-06-11 The United States Of America, As Represented By The Secretary Department Of Health And Human Service Progressive and multi-path holistically nested networks for segmentation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217567A1 (en) * 2013-07-26 2016-07-28 Brainlab Ag Multi-modal segmentatin of image data
CN106157307A (zh) * 2016-06-27 2016-11-23 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN110337669A (zh) * 2017-01-27 2019-10-15 爱克发医疗保健公司 多类图像分割方法
US20200184647A1 (en) * 2017-06-08 2020-06-11 The United States Of America, As Represented By The Secretary Department Of Health And Human Service Progressive and multi-path holistically nested networks for segmentation
US20190105009A1 (en) * 2017-10-10 2019-04-11 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
EP3611699A1 (en) * 2018-08-14 2020-02-19 Siemens Healthcare GmbH Image segmentation using deep learning techniques
CN109345508A (zh) * 2018-08-31 2019-02-15 北京航空航天大学 一种基于两阶段神经网络的骨龄评价方法
CN111126424A (zh) * 2018-11-01 2020-05-08 南京大学 一种基于卷积神经网络的超声图像分类方法
CN110853038A (zh) * 2019-10-15 2020-02-28 哈尔滨工程大学 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
CN111210435A (zh) * 2019-12-24 2020-05-29 重庆邮电大学 一种基于局部和全局特征增强模块的图像语义分割方法
CN111145181A (zh) * 2019-12-25 2020-05-12 华侨大学 一种基于多视角分离卷积神经网络的骨骼ct图像三维分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘博: "基于深度卷积神经网络的肝图像分割方法研究", 《医药卫生科技辑》, no. 2, pages 072 - 569 *
田宝园;程怿;蔡叶华;陈可;施俊;徐树公;张麒;: "基于改进U- Net深度网络的超声正中神经图像分割", 自动化仪表, no. 08, pages 39 - 44 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505845A (zh) * 2021-07-23 2021-10-15 黑龙江省博雅智睿科技发展有限责任公司 一种基于语言的深度学习训练集图像生成方法

Similar Documents

Publication Publication Date Title
Hetherington et al. SLIDE: automatic spine level identification system using a deep convolutional neural network
US9547940B1 (en) Systems and methods for providing augmented reality in minimally invasive surgery
US8711178B2 (en) System and method for generating profile morphing using cephalometric tracing data
EP1398722A3 (en) Computer aided processing of medical images
WO2021218293A1 (zh) 图像处理方法、装置、电子设备和存储介质
CN1912927A (zh) 肺部ct图像病灶半自动分割方法
CN104254874A (zh) 用于辅助2d-3d图像配准的方法及系统
WO2020238043A1 (zh) 基于UNet网络的肺叶分割方法、装置及计算机可读存储介质
CN112634283A (zh) 使用小样本图像训练的髋关节分割模型建立方法及其应用
CN110956633A (zh) 一种基于虚拟立体定位像的快速ct扫描方法及系统
Fischer et al. Occlusion handling for medical augmented reality using a volumetric phantom model
JP7329603B2 (ja) 画像整復に基づく仮想の内固定具の生成方法及び装置
Patias Medical imaging challenges photogrammetry
CN112102337A (zh) 一种超声成像下的骨骼表面分割方法
Gao et al. Dynamic searching and classification for highlight removal on endoscopic image
Mwikirize et al. Single shot needle tip localization in 2d ultrasound
Mondal et al. Automatic craniofacial structure detection on cephalometric images
Song et al. An efficient deep learning based coarse-to-fine cephalometric landmark detection method
Ruppertshofen et al. Discriminative generalized Hough transform for object localization in medical images
Banumathi et al. Diagnosis of dental deformities in cephalometry images using support vector machine
CN116309647B (zh) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
CN116580033A (zh) 一种基于图像块相似性匹配的多模态医学图像配准方法
ROMENY et al. Advances in three-dimensional diagnostic radiology
Chavan et al. Multimodality medical image fusion using M-band wavelet and Daubechies complex wavelet transform for radiation therapy
Umadevi et al. Bone structure and diaphysis extraction algorithm for X-ray images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination