CN109727240A - 一种三维超声图像的遮挡组织剥离方法及相关装置 - Google Patents

一种三维超声图像的遮挡组织剥离方法及相关装置 Download PDF

Info

Publication number
CN109727240A
CN109727240A CN201811612549.0A CN201811612549A CN109727240A CN 109727240 A CN109727240 A CN 109727240A CN 201811612549 A CN201811612549 A CN 201811612549A CN 109727240 A CN109727240 A CN 109727240A
Authority
CN
China
Prior art keywords
slice
key point
standard
cross
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811612549.0A
Other languages
English (en)
Other versions
CN109727240B (zh
Inventor
姜文
王雅儒
刘旭江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonoscape Medical Corp
Original Assignee
Sonoscape Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonoscape Medical Corp filed Critical Sonoscape Medical Corp
Priority to CN201811612549.0A priority Critical patent/CN109727240B/zh
Publication of CN109727240A publication Critical patent/CN109727240A/zh
Application granted granted Critical
Publication of CN109727240B publication Critical patent/CN109727240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请公开了一种三维超声图像的遮挡组织剥离方法,包括:对三维超声图像从矢状面方向进行切分处理,得到多个切片;采用卷积神经网络对所述多个标准切片进行轮廓关键点识别,得到标准切片的关键点;根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定非标准切片中对应位置的关键点;将切片的关键点进行连接,得到轮廓边界;根据所有所述轮廓边界对对应的切片进行裁剪得到多个裁剪后的切片,并进行合成,得到目标三维超声图像。通过标准切片可以确定非标准切片的关键点,以实现对非标准切片进行剪裁。本申请还提供一种遮挡组织剥离系统、超声检测装置以及计算机可读存储介质,具有以上有益效果。

Description

一种三维超声图像的遮挡组织剥离方法及相关装置
技术领域
本申请涉及超声图像处理技术,特别涉及一种三维超声图像的遮挡组织剥离方法、遮挡组织剥离系统、超声检测装置以及计算机可读存储介质。
背景技术
随着超声波影像技术的不断发展,可以通过超声检查获取到检查目标的三维图像,但是由于检查目标周围可能存在其他可被超声检测到的遮挡物,对检查目标造成遮挡,影响检查目标的三维图像的精确程度。例如,在产科的超声检查中,需要对胎儿面部进行三维可视化,但是在得到的三维超声图像中,胎儿的面部前方很有可能被胎盘、手臂、子宫壁等人体组织所遮挡,对胎儿面部显示带来困难。
因此,现有技术中通常需要手动画出或者自动检测出一条弧线,将其作为分割线,在三维超声图像中将遮挡组织去除。例如,在超声波检测设备上通常采用交互的容积裁剪方法,以便检查人员可以采用该方法手动对遮挡物部位进行裁剪;或者采用目标检测算法检测出检查目标的轮廓边界,并利用该轮廓边界将检查目标的外部区域与遮挡组织进行分割;或者采用语义分割算法在像素级别上区分目标部区域和非目标区域。
但是,通过手动剪裁的方法过于依赖个人经验,并且操作繁琐,容易出现误操作的情况。进一步的,虽然目标检测算法和语义分割算法对目标区域的标准切片可以进行精确的分割,但是三维图像数据还会出现很多非标准切片,这些非标准切片丢失了很多检查目标的轮廓信息,无法进行精确的分割,进而无法有效的对遮挡组织进行分割。
因此,如何提供一种有效的遮挡组织剥离方法是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种三维超声图像的遮挡组织剥离方法、遮挡组织剥离系统、超声检测装置以及计算机可读存储介质,通过获取的标准切片的关键点拟合出横断面曲线,通过横断面曲线确定非标准切片的关键点,使得可以对非标准切片进行裁剪,提供了一种有效的遮挡组织剥离方法。
为解决上述技术问题,本申请提供一种三维超声图像的遮挡组织剥离方法,包括:
对三维超声图像从矢状面方向进行切分处理,得到多个切片;其中,所述多个切片包括多个标准切片和多个非标准切片;其中,所述标准切片为包含目标物体区域的切片,所述非标准切片为不包含目标物体区域的切片;
采用卷积神经网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点;将每个标准切片的关键点进行连接,得到每个标准切片对应的轮廓边界;
根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点;将每个非标准切片的关键点进行连接,得到每个非标准切片对应的轮廓边界;
根据所有所述轮廓边界对对应的切片进行裁剪得到多个裁剪后的切片,将所述多个裁剪后的切片进行合成,得到目标三维超声图像。
可选的,采用卷积神经网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点,包括:
采用堆叠沙漏网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点。
可选的,所述堆叠沙漏网络为将原始堆叠沙漏网络中的卷积层和残差层的通道数量减半得到的。
可选的,所述卷积神经网络的训练过程,包括:
对训练样本中的每个切片标注轮廓关键点坐标;
根据概率分布模型对每个切片的轮廓关键点坐标生成关键点热力图;
将所有所述关键点热力图作为样本标签,对初始卷积神经网络进行训练,得到所述卷积神经网络。
可选的,根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点,包括:
根据各标准切片中相同的关键点的位置和对应的帧数进行横断面曲线拟合,得到多个横断面曲线函数;
根据各横断面曲线函数和各非标准切片的帧数进行计算,得到每个非标准切片对应的关键点。
可选的,根据各标准切片中相同的关键点的位置和对应的帧数进行横断面曲线拟合,得到多个横断面曲线函数,包括:
根据各标准切片中相同的关键点的位置和对应的帧数进行二次横断面曲线拟合,得到所述多个横断面曲线函数。
可选的,根据各标准切片中相同的关键点的位置和对应的帧数进行横断面曲线拟合,得到多个横断面曲线函数,包括:
根据各标准切片中相同的关键点的位置和对应的帧数进行三次横断面曲线拟合,得到所述多个横断面曲线函数。
本申请还提供一种三维超声图像的遮挡组织剥离系统,包括:
三维切分模块,用于对三维超声图像从矢状面方向进行切分处理,得到多个切片;
标准切片检测模块,采用卷积神经网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点;将每个标准切片的关键点进行连接,得到每个标准切片对应的轮廓边界;
非标准切片检测模块,用于根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点;将每个非标准切片的关键点进行连接,得到每个非标准切片对应的轮廓边界;
裁剪合成模块,用于根据所有所述轮廓边界对对应的切片进行裁剪得到多个裁剪后的切片,将所述多个裁剪后的切片进行合成,得到目标三维超声图像。
本申请还提供一种超声检测装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的遮挡组织剥离方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的遮挡组织剥离方法的步骤。
本申请所提供的一种三维超声图像的遮挡组织剥离方法,包括:对三维超声图像从矢状面方向进行切分处理,得到多个切片;其中,所述多个切片包括多个标准切片和多个非标准切片;其中,所述标准切片为包含目标物体区域的切片,所述非标准切片为不包含目标物体区域的切片;采用卷积神经网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点;将每个标准切片的关键点进行连接,得到每个标准切片对应的轮廓边界;根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点;将每个非标准切片的关键点进行连接,得到每个非标准切片对应的轮廓边界;根据所有所述轮廓边界对对应的切片进行裁剪得到多个裁剪后的切片,将所述多个裁剪后的切片进行合成,得到目标三维超声图像。
通过从三维图像中的标准切片拟合出的横断面曲线,确定非标准切片中的关键点的位置,使得可以从非标准切片中提取出轮廓边界,进而也就可以对非标准切片进行相应的裁剪处理,实现了对非标准切片的精确分割,有效的对三维图像中的遮挡组织进行剥离处理,由于对非标准切片也进行了处理,提供了一种有效的三维图像的遮挡组织剥离方法。
本申请还提供一种三维超声图像的遮挡组织剥离系统、超声检测装置以及计算机可读存储介质,具有以上有益效果,在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种三维超声图像的遮挡组织剥离方法的流程图;
图2为本申请实施例所提供的遮挡组织剥离方法中的曲线拟合过程的流程图;
图3为本申请实施例中横断面曲线的示意图;
图4为本申请实施例提供的一种三维超声图像的遮挡组织剥离系统的结构示意图。
具体实施方式
本申请的核心是提供一种三维超声图像的遮挡组织剥离方法、遮挡组织剥离系统、超声检测装置以及计算机可读存储介质,通过获取的标准切片的关键点拟合出横断面曲线,通过横断面曲线确定非标准切片的关键点,使得可以对非标准切片进行裁剪,提供了一种有效的遮挡组织剥离方法。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,现有技术中通常需要手动画出或者自动检测出一条弧线,将其作为分割线,在三维超声图像中将遮挡组织去除。例如,在超声波检测设备上通常采用交互的容积裁剪方法,以便检查人员可以采用该方法手动对遮挡物部位进行裁剪;或者采用目标检测算法检测出检查目标的轮廓边界,并利用该轮廓边界将检查目标的外部区域与遮挡组织进行分割;或者采用语义分割算法在像素级别上区目标部区域和非目标区域。但是,通过手动剪裁的方法过于依赖个人经验,并且操作繁琐,容易出现误操作的情况。进一步的,虽然目标检测算法和语义分割算法对目标区域的标准切片可以进行精确的分割,但是三维图像数据还会出现很多非标准切片,这些非标准切片丢失了很多检查目标的轮廓信息,无法进行精确的分割,进而无法有效的对遮挡组织进行分割。
因此,本申请提供一种三维超声图像的遮挡组织剥离方法,通过从三维图像中的标准切片拟合出的横断面曲线,确定非标准切片中的关键点的位置,使得可以从非标准切片中提取出轮廓边界,进而也就可以对非标准切片进行相应的裁剪处理,实现了对非标准切片的精确分割,有效的对三维图像中的遮挡组织进行剥离处理,由于对非标准切片也进行了处理,提供了一种有效的三维图像的遮挡组织剥离方法。
请参考图1,图1为本申请实施例所提供的一种三维超声图像的遮挡组织剥离方法的流程图。
本实施例中,该方法可以包括:
S101,对三维超声图像从矢状面方向进行切分处理,得到多个切片;其中,多个切片包括多个标准切片和多个非标准切片。
其中,标准切片为包含目标物体区域的切片,非标准切片为不包含目标物体区域的切片,或者是包含目标物体区域的特征不明显的切片;例如,当应用在胎儿头部检测时,标准切片就是包含胎儿头部区域的切片,非标准切片就是不包含胎儿头部区域的切片,或者是包含的胎儿头部区域的特征不明显的切片。
本步骤旨在将三维超声图像进行切分得到多个切片,也就是得到多个标准切片和多个非标准切片。
S102,采用卷积神经网络对多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点;将每个标准切片的关键点进行连接,得到每个标准切片对应的轮廓边界。
本步骤旨在对标准切片进行关键点识别,得到每个标准切片对应的关键点。再将关键点进行连接就可以得到每个标准切片对应的轮廓边界。
其中,进行轮廓关键点识别的方法可以采用现有技术提供的任意一种轮廓关键点识别方法,也可以采用堆叠沙漏网络对标准切片进行识别,还可以采用MTCNN(Multi-taskCascaded Convolutional Networks)、DAN(Divers Alert Network)等人脸关键点检测算法,可见,本步骤中进行关键点检测的方法并不唯一,在此不做具体限定。可以根据实际情况的需要选择合适的关键点识别方法。
其中,一般的面部轮廓关键点包括下巴、嘴巴、鼻尖、眼窝以及额头。当然如果有需要还可以增加其他的关键点,或者根据需要减少关键点,均可以根据实际情况做设定,在此不做具体限定。
可选的,本步骤可以包括:
采用堆叠沙漏网络对多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点。
本可选方案主要是通过堆叠沙漏网络进行轮廓关键点识别,可以识别出更加精确的关键点。
可选的,上一可选方案中的堆叠沙漏网络为将原始堆叠沙漏网络中的卷积层和残差层的通道数量减半得到的。
也就是将原始堆叠沙漏网络中卷积层和残差层的通道数量减少为原通道数量的一半,得到的网络就是本可选方案中的堆叠沙漏网络。
需要说明的是,一般的原始堆叠沙漏网络依次由一个卷积层、一个批量规范化层、一个残差层、一个下采样层、三个残差层、一个4阶Hourglass层、两个线性回归层、一个卷积层组成。本可选方案中通道数量减半的就是其中的卷积层和残差层。通过通道数量减半可以提高进行面部关键点识别的速度,进而提高本实施例中的进行遮挡物剥离的效率。
S103,根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点;将每个非标准切片的关键点进行连接,得到每个非标准切片对应的轮廓边界。
在步骤S102的基础上,本步骤旨在根据标准切片的关键点拟合出横断面曲线,然后再根据横断面曲线确定非标准切片中的关键点。
针对标准切片与非标准切片上相同的关键点,在矢状面方向上其横坐标相同,而纵坐标是随一定规律变化的,该变化规律可以根据已知的标准切片上的关键点坐标进行确定,也就是根据该标准切片上的关键点坐标拟合出横断面曲线,然后再确定出非标准切片中的相同位置的关键点。也就是实现了在非标准切片中确定出对应的关键点,以便也可以对非标准切片进行相应的裁剪处理,以便可以去除遮挡组织。
S104,根据所有轮廓边界对对应的切片进行裁剪得到多个裁剪后的切片,将多个裁剪后的切片进行合成,得到目标三维超声图像。
在S103的基础上,本步骤旨在根据每个切片的轮廓边界进行裁剪得到裁剪后切片,再进行合成得到目标三维超声图像,也就是对三维超声图像中的遮挡组织进行了去除。
可选的,本实施例中的卷积神经网络的训练过程,可以包括:
步骤1,对训练样本中的每个切片标注轮廓关键点坐标;
步骤2,根据概率分布模型对每个切片的轮廓关键点坐标生成关键点热力图;
步骤3,将所有关键点热力图作为样本标签,对初始卷积神经网络进行训练,得到卷积神经网络。
本可选方案主要是介绍一种卷积神经网络的训练过程。其中,先对训练样本中的每个切片进行关键点坐标标注,然后根据概率分布模型对每个关键点坐标生成热力图,得到关键点热力图,再作为样本标签进行网络训练,得到卷积神经网络。
综上,本实施例通过从三维图像中的标准切片拟合出的横断面曲线,确定非标准切片中的关键点的位置,使得可以从非标准切片中提取出轮廓边界,进而也就可以对非标准切片进行相应的裁剪处理,实现了对非标准切片的精确分割,有效的对三维图像中的遮挡组织进行剥离处理,由于对非标准切片也进行了处理,提供了一种有效的三维图像的遮挡组织剥离方法。
在上一实施例的基础上,本实施例主要是对如何进行横断面曲线拟合做一个具体说明。其他部分与上一实施例大体相同,相同部分可以参考上一实施例,在此不做赘述。
请参考图2,图2为本申请实施例所提供的遮挡组织剥离方法中的曲线拟合过程的流程图。
本实施例中,该拟合过程可以包括:
S201,根据各标准切片中相同的关键点的位置和对应的帧数进行横断面曲线拟合,得到多个横断面曲线函数。
本步骤旨在根据相同关键点的位置,也就是相同关键点的坐标和对应的帧数进行横断面曲线拟合,得到多个横断面曲线函数。
其中,横断面曲线函数也就是关键点纵坐标随帧数变化的规律。
S202,对各横断面曲线函数和各非标准切片的帧数进行计算,得到每个非标准切片对应的关键点。
在S201的基础上,本步骤旨在对横断面曲线函数与非标准切片的帧数之间进行计算,得到每个非标准切片的关键点位置,也就是每个关键点的纵坐标。
可选的,本实施例中S201可以包括:
根据各标准切片中相同的关键点的位置和对应的帧数进行二次横断面曲线拟合,得到多个横断面曲线函数。
本可选方案中主要是采用二次曲线进行拟合。本可选方案中的拟合方法可以以更快的速度和更好的拟合程度,拟合得到横断面曲线函数。
可选的,本实施例中S201还可以包括:
根据各标准切片中相同的关键点的位置和对应的帧数进行三次横断面曲线拟合,得到多个横断面曲线函数。
本可选方案中主要是采用三次曲线进行拟合。针对沟壑较多的横断面可以采用三次曲线进行拟合,以便提高曲线拟合精度,得到更加准确的非标准切片的关键点坐标。
本实施例通过标准切片上的关键点位置进行拟合,得到多个横断面曲线,进而可以根据横断面曲线的函数确定出非标准切片上的关键点的位置,以便可以根据非标准切片上的关键点对非标准切片进行裁剪,对遮挡组织进行剥离。
在以上所有实施例的基础上,本实施例提供一种更加具体的遮挡组织剥离方法。本实施例主要是应用在胎儿的头部的三维超声图像,对胎儿面部前的遮挡组织进行剥离,以便得到清晰完整的胎儿面部的三维图像。
本实施例中,以一个完整的胎儿体数据为例,从矢状面方向对其进行切片处理,得到一系列切片。首先需检测每帧切片的面部轮廓边界,并以该边界作为分割线,将胎儿面部区域与遮挡组织区域分割开,实现对该帧切片的裁剪。然后将裁剪后的所有帧的切片合成体数据并显示,得到遮挡组织剥离后的三维胎儿超声图像。
该方法的难点是如何找到各帧切片的面部轮廓边界。因为,所有帧切片可分为两类——包含胎儿头部区域的标准切片、不包含胎儿头部区域的非标准切片。标准切片中胎儿面部轮廓特征明显,较容易被检测;非标准切片中面部轮廓不全或者丢失,无法根据切片信息直接检测轮廓边界。
因此,本方案可以采用如下策略:针对标准切片,采用Stacked-Hourglass网络进行检测面部轮廓边界,Stacked-Hourglass网络中文名为“堆积沙漏网络”;针对非标准切片,采用二次曲线拟合方法,确定出面部轮廓边界。
其中,本实施例选定胎儿面部轮廓上5个固定的关键点(下巴、嘴巴、鼻尖、眼窝和额头),若每帧切面能够检测出这5个关键点坐标,连接相邻两个关键点后形成曲线,该曲线可作为最终的面部轮廓边界。因此,检测切片中面部轮廓边界问题,转变为检测5个固定关键点问题。当然,可增加待检测关键点的数量,使得面部轮廓边界更平滑,可以根据实际需要确定关键点的数量。
其中,针对标准切片,采用Stacked-Hourglass网络检测面部轮廓关键点。该Stacked-Hourglass于2016年被提出,最先用于解决人体姿态分析问题,具有思路明晰、简洁高效等优点。本实施例对原始Stacked-Hourglass的结构进行改进,将其应用于检测胎儿面部轮廓关键点的任务。改进后的网络结构,整个网络以一张尺寸H*W*1的切片图像作为输入,依次经过一个卷积层、一个批量规范化层、一个残差层、一个下采样层、三个残差层、一个4阶Hourglass层、两个线性回归层、一个卷积层,最终输出尺寸为H/2*W/2*5的关键点热力图。在训练过程中,预先整理了2000张标准切片作为训练样本,标注了各切片中5个面部轮廓关键点坐标,然后通过概率分布的方法生成对应的关键点热力图,并将关键点热力图作为标签对Stacked-Hourglass网络进行训练。
其中,针对非标准切片,采用二次曲线拟合的方法估计出面部轮廓关键点。
具体的,以额头关键点为例进行说明,在所有切片中(包括标准切片和非标准切片),额头关键点的横坐标值x固定;而纵坐标值yn会随着切片的帧数n变化而变化,并且yn与n的分布近似为“二次曲线”。因此首先在标准切片中,利用Stacked-Hourglass网络计算出额头关键点的纵坐标,即得到一系列yn与n;然后,通过曲线拟合方法,得到二者关系的曲线函数表达式;最后,在非标准切片中,将该切片所处的帧数n带入曲线函数表达式中,即可得到对应的横坐标值。为此,基于上述方法,可以得到所有切片中的面部轮廓关键点。
为了便于描述,以5个面部轮廓关键点中的额头关键点为例。对于该额头关键点,利用Stacked-Hourglass网络检测出该点在各标准切片中的坐标位置;由于无法直接计算该点在非标准切片中的坐标位置,暂定该点在非标准切片中的纵坐标值均为0。因此,该关键点坐标表示为:
其中,x表示横坐标,由于该关键点在矢状面中的横坐标值固定,因此各帧切片中x近似相等;yn表示纵坐标,在标准切片中会随帧数变化而变化,而在非标准切片中值为0;n表示帧数。依据上述规则,将该关键点在全部切片(包含非标准切片和标准切片)中的纵坐标值与帧数的分布用坐标分布图进行说明。
例如,该拟合的曲线函数可以为:
yn=0.006*n2-1.287*n+111.09;
请参考图3,图3为本申请实施例中的坐标分布图。其中,横轴为帧数n,纵轴为该点在切片中的纵坐标值。不难发现,当yn不等于0时,yn与n的分布近似为“二次曲线”分布,利用一系列坐标值(x,yn)进行二次曲线拟合,可得到纵坐标yn与帧数n的分布函数。基于该分布函数,将非标准切片对应的帧数n作为输入,可估计出对应的关键点纵坐标yn。至此,可求出该关键点在非标准切片中的坐标位置。其中,实线为yn与n的真实分布,虚线为拟合后的曲线
进一步,从横断面方向对胎儿体数据进行切片处理,找到额头关键点所在的单帧切片。可见,横断面单帧切片中的额头轮廓轨迹呈弧形,可用一条“二次曲线”进行拟合,而拟合后的曲线与之前通过矢状面切片中关键点纵坐标值拟合的曲线,在理论上是同一条。原因是,横断面单帧切片中额头轮廓轨迹上的离散点与矢状面切片中额头关键点是一一对应的关系。
同理,切片中下巴、嘴巴、鼻尖、眼窝等其他4个面部轮廓关键点均可用上述二次曲线拟合的方法计算,然后这5个关键点两两相连得到面部轮廓边界,以该边界作为分割线对切片进行裁剪,最后将裁剪的切片合成体数据并显示,得到最终的遮挡组织剥离后的三维胎儿超声图像。
综上,本申请实施例提供了一种三维超声图像的遮挡组织剥离方法,可以通过从三维图像中的标准切片拟合出的横断面曲线,确定非标准切片中的关键点的位置,使得可以从非标准切片中提取出轮廓边界,进而也就可以对非标准切片进行相应的裁剪处理,实现了对非标准切片的精确分割,有效的对三维图像中的遮挡组织进行剥离处理,由于对非标准切片也进行了处理,提供了一种有效的三维图像的遮挡组织剥离方法。
下面对本申请实施例提供的一种三维超声图像的遮挡组织剥离系统进行介绍,下文描述的一种三维超声图像的遮挡组织剥离系统与上文描述的一种三维超声图像的遮挡组织剥离方法可相互对应参照。
请参考图4,图4为本申请实施例提供的一种三维超声图像的遮挡组织剥离系统的结构示意图。
本实施例中,该系统可以包括:
三维切分模块100,用于对三维超声图像从矢状面方向进行切分处理,得到多个切片;
标准切片检测模块200,采用卷积神经网络对多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点;将每个标准切片的关键点进行连接,得到每个标准切片对应的轮廓边界;
非标准切片检测模块300,用于根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点;将每个非标准切片的关键点进行连接,得到每个非标准切片对应的轮廓边界;
裁剪合成模块400,用于根据所有轮廓边界对对应的切片进行裁剪得到多个裁剪后的切片,将多个裁剪后的切片进行合成,得到目标三维超声图像。
本申请实施例还提供一种超声检测装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如以上实施例所述的遮挡组织剥离方法的步骤。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如以上实施例所述的遮挡组织剥离方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种三维超声图像的遮挡组织剥离方法、遮挡组织剥离系统、超声检测装置以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种三维超声图像的遮挡组织剥离方法,其特征在于,包括:
对三维超声图像从矢状面方向进行切分处理,得到多个切片;其中,所述多个切片包括多个标准切片和多个非标准切片;其中,所述标准切片为包含目标物体区域的切片,所述非标准切片为不包含目标物体区域的切片;
采用卷积神经网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点;将每个标准切片的关键点进行连接,得到每个标准切片对应的轮廓边界;
根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点;将每个非标准切片的关键点进行连接,得到每个非标准切片对应的轮廓边界;
根据所有所述轮廓边界对对应的切片进行裁剪得到多个裁剪后的切片,将所述多个裁剪后的切片进行合成,得到目标三维超声图像。
2.根据权利要求1所述的遮挡组织剥离方法,其特征在于,采用卷积神经网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点,包括:
采用堆叠沙漏网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点。
3.根据权利要求2所述的遮挡组织剥离方法,其特征在于,所述堆叠沙漏网络为将原始堆叠沙漏网络中的卷积层和残差层的通道数量减半得到的。
4.根据权利要求1所述的遮挡组织剥离方法,其特征在于,所述卷积神经网络的训练过程,包括:
对训练样本中的每个切片标注轮廓关键点坐标;
根据概率分布模型对每个切片的轮廓关键点坐标生成关键点热力图;
将所有所述关键点热力图作为样本标签,对初始卷积神经网络进行训练,得到所述卷积神经网络。
5.根据权利要求1至4任一项所述的遮挡组织剥离方法,其特征在于,根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点,包括:
根据各标准切片中相同的关键点的位置和对应的帧数进行横断面曲线拟合,得到多个横断面曲线函数;
根据各横断面曲线函数和各非标准切片的帧数进行计算,得到每个非标准切片对应的关键点。
6.根据权利要求5所述的遮挡组织剥离方法,其特征在于,根据各标准切片中相同的关键点的位置和对应的帧数进行横断面曲线拟合,得到多个横断面曲线函数,包括:
根据各标准切片中相同的关键点的位置和对应的帧数进行二次横断面曲线拟合,得到所述多个横断面曲线函数。
7.根据权利要求5所述的遮挡组织剥离方法,其特征在于,根据各标准切片中相同的关键点的位置和对应的帧数进行横断面曲线拟合,得到多个横断面曲线函数,包括:
根据各标准切片中相同的关键点的位置和对应的帧数进行三次横断面曲线拟合,得到所述多个横断面曲线函数。
8.一种三维超声图像的遮挡组织剥离系统,其特征在于,包括:
三维切分模块,用于对三维超声图像从矢状面方向进行切分处理,得到多个切片;
标准切片检测模块,采用卷积神经网络对所述多个标准切片进行轮廓关键点识别,得到每个标准切片对应的关键点;将每个标准切片的关键点进行连接,得到每个标准切片对应的轮廓边界;
非标准切片检测模块,用于根据各标准切片中相同的关键点拟合出各关键点所在的横断面曲线,根据各横断面曲线确定每个非标准切片中对应位置的关键点;将每个非标准切片的关键点进行连接,得到每个非标准切片对应的轮廓边界;
裁剪合成模块,用于根据所有所述轮廓边界对对应的切片进行裁剪得到多个裁剪后的切片,将所述多个裁剪后的切片进行合成,得到目标三维超声图像。
9.一种超声检测装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的遮挡组织剥离方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的遮挡组织剥离方法的步骤。
CN201811612549.0A 2018-12-27 2018-12-27 一种三维超声图像的遮挡组织剥离方法及相关装置 Active CN109727240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811612549.0A CN109727240B (zh) 2018-12-27 2018-12-27 一种三维超声图像的遮挡组织剥离方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811612549.0A CN109727240B (zh) 2018-12-27 2018-12-27 一种三维超声图像的遮挡组织剥离方法及相关装置

Publications (2)

Publication Number Publication Date
CN109727240A true CN109727240A (zh) 2019-05-07
CN109727240B CN109727240B (zh) 2021-01-19

Family

ID=66297325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811612549.0A Active CN109727240B (zh) 2018-12-27 2018-12-27 一种三维超声图像的遮挡组织剥离方法及相关装置

Country Status (1)

Country Link
CN (1) CN109727240B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334679A (zh) * 2019-07-11 2019-10-15 厦门美图之家科技有限公司 人脸点处理方法及装置
CN110598675A (zh) * 2019-09-24 2019-12-20 深圳度影医疗科技有限公司 一种超声胎儿姿态的识别方法、存储介质及电子设备
CN111507248A (zh) * 2020-04-16 2020-08-07 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其系统
CN111583204A (zh) * 2020-04-27 2020-08-25 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN113796952A (zh) * 2021-11-18 2021-12-17 北京智愈医疗科技有限公司 一种组织切除系统及其切割参数确定方法
CN116687442A (zh) * 2023-08-08 2023-09-05 汕头市超声仪器研究所股份有限公司 一种基于三维容积数据的胎儿脸部成像方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090030314A1 (en) * 2007-07-23 2009-01-29 Sotaro Kawae Ultrasonic imaging apparatus and image processing apparatus
CN101488233A (zh) * 2009-03-02 2009-07-22 浙江工业大学 一种面向医学数据的分层剥离体绘制方法及其系统
CN103914697A (zh) * 2012-12-29 2014-07-09 上海联影医疗科技有限公司 一种乳房三维图像感兴趣区域的提取方法
WO2015035462A1 (en) * 2013-09-12 2015-03-19 Reservoir Rock Technologies Pvt Ltd Point feature based 2d-3d registration
CN106408648A (zh) * 2015-08-03 2017-02-15 青岛海信医疗设备股份有限公司 一种医学组织的切片图像三维重建的方法及设备
CN106725593A (zh) * 2016-11-22 2017-05-31 深圳开立生物医疗科技股份有限公司 超声三维胎儿面部轮廓图像处理方法系统
CN108133512A (zh) * 2017-12-20 2018-06-08 肖连祥 基于磁共振扫描的胎儿体表结构可视化三维成像方法
CN108205654A (zh) * 2017-09-30 2018-06-26 北京市商汤科技开发有限公司 一种基于视频的动作检测方法及装置
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪(厦门)医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN108694369A (zh) * 2017-04-07 2018-10-23 奥多比公司 基于图形图像来预测多个姿势
CN109063695A (zh) * 2018-09-18 2018-12-21 图普科技(广州)有限公司 一种人脸关键点检测方法、装置及其计算机存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090030314A1 (en) * 2007-07-23 2009-01-29 Sotaro Kawae Ultrasonic imaging apparatus and image processing apparatus
CN101488233A (zh) * 2009-03-02 2009-07-22 浙江工业大学 一种面向医学数据的分层剥离体绘制方法及其系统
CN103914697A (zh) * 2012-12-29 2014-07-09 上海联影医疗科技有限公司 一种乳房三维图像感兴趣区域的提取方法
WO2015035462A1 (en) * 2013-09-12 2015-03-19 Reservoir Rock Technologies Pvt Ltd Point feature based 2d-3d registration
CN106408648A (zh) * 2015-08-03 2017-02-15 青岛海信医疗设备股份有限公司 一种医学组织的切片图像三维重建的方法及设备
CN106725593A (zh) * 2016-11-22 2017-05-31 深圳开立生物医疗科技股份有限公司 超声三维胎儿面部轮廓图像处理方法系统
CN108694369A (zh) * 2017-04-07 2018-10-23 奥多比公司 基于图形图像来预测多个姿势
CN108205654A (zh) * 2017-09-30 2018-06-26 北京市商汤科技开发有限公司 一种基于视频的动作检测方法及装置
CN108133512A (zh) * 2017-12-20 2018-06-08 肖连祥 基于磁共振扫描的胎儿体表结构可视化三维成像方法
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪(厦门)医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN109063695A (zh) * 2018-09-18 2018-12-21 图普科技(广州)有限公司 一种人脸关键点检测方法、装置及其计算机存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SOWELL R T ET AL.: ""An interactive tool for fitting surfaces to volume data"", 《INTERNATIONAL CONFERENCE ON COMPUTER GRAPHICS&INTERACTIVE TECHNIQUES》 *
官斌等: ""距离选通切片图像高精度三维重构方法"", 《光学与光电技术》 *
李莎: ""单幅人体切片图像的多轮廓二维重构算法研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334679A (zh) * 2019-07-11 2019-10-15 厦门美图之家科技有限公司 人脸点处理方法及装置
CN110334679B (zh) * 2019-07-11 2021-11-26 厦门美图之家科技有限公司 人脸点处理方法及装置
CN110598675A (zh) * 2019-09-24 2019-12-20 深圳度影医疗科技有限公司 一种超声胎儿姿态的识别方法、存储介质及电子设备
CN111507248A (zh) * 2020-04-16 2020-08-07 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其系统
CN111507248B (zh) * 2020-04-16 2023-05-26 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其系统
CN111583204A (zh) * 2020-04-27 2020-08-25 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN111583204B (zh) * 2020-04-27 2022-10-14 天津大学 基于网络模型的二维序列磁共振图像的器官定位方法
CN113796952A (zh) * 2021-11-18 2021-12-17 北京智愈医疗科技有限公司 一种组织切除系统及其切割参数确定方法
CN116687442A (zh) * 2023-08-08 2023-09-05 汕头市超声仪器研究所股份有限公司 一种基于三维容积数据的胎儿脸部成像方法

Also Published As

Publication number Publication date
CN109727240B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN109727240A (zh) 一种三维超声图像的遮挡组织剥离方法及相关装置
WO2019062835A1 (zh) 超声图像处理方法及系统、超声诊断设备
CN106725593B (zh) 超声三维胎儿面部轮廓图像处理方法系统
CN106408576B (zh) 基于三维超声图像的感兴趣区域的自动分割方法及系统
CN111368586B (zh) 超声成像方法及系统
CN112184656B (zh) 基于超声动态图像的胎儿切面的确定方法及装置
EP2433569A1 (en) 3-dimensional (3D) ultrasound system using image filtering and method for operating 3D ultrasound system
CN107067398A (zh) 用于三维医学模型中缺失血管的补全方法及装置
CN107169975B (zh) 超声图像的分析方法及装置
CN110021053A (zh) 一种基于坐标转换的图像定位方法、装置、存储介质及设备
CN103065353A (zh) 三维模型特征提取方法和系统、三维模型检索方法和系统
CN113241155B (zh) 一种头颅侧位片中标志点的获取方法及系统
CN103927747A (zh) 一种基于人脸生物特征的面匹配空间注册方法
CN113392681A (zh) 人体跌倒检测方法、装置及终端设备
CN114627067A (zh) 一种基于图像处理的伤口面积测量及辅助诊疗方法
CN108124489A (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN114224484B (zh) 颅内动脉瘤的表面区域定位方法、装置、计算机设备和存储介质
US6434260B1 (en) Facial imaging in utero
CN106373138A (zh) 用于提取牙弓曲线的图像处理方法和装置
CN105224957B (zh) 一种基于单样本的图像识别的方法及系统
CN104239874B (zh) 一种器官血管识别方法及装置
CN110443765A (zh) 图像处理方法、装置及电子设备
CN110544292A (zh) 一种基于三维网格的模型裁剪方法、系统及电子设备
CN106096597B (zh) 一种人脸识别方法和装置
CN109961682A (zh) 虚拟整形手术训练装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant