CN110738702A - 一种三维超声图像的处理方法、装置、设备及存储介质 - Google Patents

一种三维超声图像的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110738702A
CN110738702A CN201910877210.1A CN201910877210A CN110738702A CN 110738702 A CN110738702 A CN 110738702A CN 201910877210 A CN201910877210 A CN 201910877210A CN 110738702 A CN110738702 A CN 110738702A
Authority
CN
China
Prior art keywords
femoral
image
fetus
dimensional
dimensional ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910877210.1A
Other languages
English (en)
Other versions
CN110738702B (zh
Inventor
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Duying Medical Technology Co Ltd
Original Assignee
Shenzhen Duying Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Duying Medical Technology Co Ltd filed Critical Shenzhen Duying Medical Technology Co Ltd
Publication of CN110738702A publication Critical patent/CN110738702A/zh
Application granted granted Critical
Publication of CN110738702B publication Critical patent/CN110738702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及三维超声领域，尤其涉及一种三维超声图像的处理方法、装置、设备及存储介质，所述方法包括：获取待识别的胎儿三维超声图像；利用多任务深度神经网络模型对胎儿三维超声图像进行分割和定位，得到胎儿的股容积参数和和解剖结构点位置；通过计算得到胎儿的股容积数据和股骨长数据并输出。本发明通过深度学习的多任务学习方法对胎儿的三维超声图像进行分析，可以同时获得胎儿股容积和定位出股骨两端解剖结构点，精确预测胎儿的重量，采用多任务深度神经网络模型对股容积图像进行分割，提高股容积的预测精度，通过对股骨端点的精准定位，能够准确测量胎儿股骨长。

Description

一种三维超声图像的处理方法、装置、设备及存储介质
技术领域
本发明涉及三维超声领域，尤其涉及一种三维超声图像的处理方法、装置、设备及存储介质。
背景技术
胎儿的体重估计和股骨长度检测是产前检查中十分重要一份数据，准确检测出胎儿的发育状况，有助于减少出生缺陷，并根据胎儿发育状况提供合适的产前监护。
现有的预估胎儿重量的方法中，都是通过测量胎儿的双顶径、头围等生物参数来估计胎儿的体重，但是大量临床数据表明，该方法测出的胎儿体重与实际体重有15％的误差，并且上述方法只能预估出胎儿的体重，无法测得胎儿的股骨长度，而胎儿的股骨长度也是产前检查中较为重要的数据。
由此可见，现有的测量胎儿体重和股骨长度的方法存在较多不足，急需改进。
发明内容
基于此，有必要针对上述的问题，提供一种三维超声图像的处理方法、装置、设备及存储介质。
在其中一个实施例中，本发明提供了一种三维超声图像的处理方法，所述方法包括如下步骤：
获取待处理的胎儿三维超声图像；
利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据；
输出所述股容积数据和股骨长数据。
在其中一个实施例中，本发明提供了一种，三维超声图像的处理装置，所述装置包括：
图像获取单元，所述图像获取单元用于获取待处理的胎儿三维超声图像；
图像处理单元，所述图像处理单元用于利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据；
结果输出单元，所述结果输出单元用于输出所述股容积数据和股骨长数据。
在其中一个实施例中，本发明还提供一种计算机设备，所述设备包括：存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述实施例所述三维超声图像的处理方法。
在其中一个实施例中，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述实施例所述三维超声图像的处理方法。
本发明实施例中的一张三维超声图像处理方法、装置、计算机设备和存储介质，通过深度学习的多任务学习方法对胎儿的三维超声图像进行分析，能够同时得到胎儿的股容积数据和股骨长数据，精确预测胎儿的重量，采用多任务深度神经网络模型对股容积图像进行分割，提高股容积的预测精度，通过对股骨端点的精准定位，能够准确测量胎儿股骨长。
附图说明
图1为一个实施例中提供的一种三维图像超声处理方法的应用环境图；
图2为一个实施例中提供的一种三维图像超声处理方法的流程图；
图3为一个实施例中提供的一种多任务深度神经网络模型识别三维超声图像的示意图；
图4为一个实施例中提供的一种三维图像超声处理装置的结构示意图；
图5为一个实施例中提供的一种计算机设备的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx单元称为第二xx单元，且类似地，可将第二xx单元称为第一xx单元。
图1为一个实施例中提供的三维超声图像处理方法的应用环境图，如图1所示，在该应用环境中，包括三维超声图像获取装置110、计算机设备120。
三维超声图像获取装置110可以选用医用三维超声成像装置。
计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN(Content DeliveryNetwork，内容分发网络)等基础云计算服务的云服务器。
图2示出了适于本发明实施例的一种三维超声图像的处理方法的步骤图，下面以所述计算机设备120为主体，对所述方法做详细说明。
在步骤S201中，获取待处理的胎儿三维超声图像。
在本发明实施例中，胎儿三维超声图像中应该至少包含完整、清晰的胎儿三维超声图像，以便于识别，获取的方式可以是直接接受三维成像系统发送的胎儿三维超声图像，也可以是通过读取存储介质中存储的胎儿三维超声图像，还可以是通过接收互联网中发送的胎儿三维超声图像，具体获取方式，本发明不做具体限制。
本发明实施例通过获取清晰、完整的胎儿三维超声图像，便于后期对所述三维超声图像进行定量分析，预测胎儿体重。
在步骤S202中，利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据。
在本发明实施例中，所述多任务深度神经网络模型通过数据集对卷积神经网络模型训练而成，对胎儿的股容积图像进行分割和股骨解剖结构点定位，股容积是指胎儿腿部容积的大小，股骨解剖结构点定位是指胎儿的股骨两端进行定位，多任务深度神经网络模型可以协同分割胎儿股容积图像和定位出胎儿的股骨两端解剖结构点。
作为本发明一种实施例，所述多任务深度神经网络模型是采用数据集对用于胎儿股容积数据和股骨长数据的卷积神经网络模型进行训练得到的，在数据集对所述卷积神经网络模型进行训练之前，先对所述训练集进行预处理，已得到更多的训练模型，具体处理方式有镜像、拉伸、旋转等操作，将一个三维超声图像变成多个数据，对所述卷积神经网络模型进行训练；作为本发明一种优选的实施例，多任务深度神经网络模型分3个部分，一个是公共支路，一个分割支路、以及一个定位支路，对三维超声图像进行识别时，公共支路用于对所述图像先进行公共特征图提取操作，然后分割支路与定位支路可以提取各自任务的特征同时对这些特征图进行识别，得到图像中胎儿的股骨容积数据和股骨长数据。
本发明实施通过神经网络模型对胎儿的三维超声图像自动化分析，同时完成对胎儿股容积的测量和胎儿股骨长的测量，效率快且精度高。
在步骤S203中，输出所述股容积数据和股骨长数据。
在本发明实施中，多任务深度神经网络模型通过对待识别的胎儿的三维超声图像进行识别，得到股容积数据和股骨长数据后，将所述股容积数据和股骨长数据进行输出，便于医务人员查看。
作为本发明一种实施例，具体输出股容积数据和股骨长数据的方式可以是通过显示屏输出，或者通过播音装置输出，也可以是通过三维立体的全息投影的方式输出，当然，在没有即时输出装置时，也可以通过数据传输接口将所述股容积数据和股骨长数据传输至其他设备或者存储介质中，便于后期查看，亦或是输出至互联网中，进行云存储，以上的输出方式都是可以选择的。
本发明实施例通过将得到的股容积数据和股骨长数据通过即时显示装置进行输出，便于医务人员即时了解情况，在没有即时显示设备的情况下，通过存储介质或者互联网的存储功能将所述股容积数据和股骨长数据进行存储，便于后期查看，方便快捷。
本发明实施例通过深度学习的多任务学习方法对胎儿的三维超声图像进行分析，能够同时得到胎儿的股容积数据和股骨长数据，精确预测胎儿的重量，采用多任务深度神经网络模型对股容积图像进行分割，提高股容积的预测精度，通过对股骨端点的精准定位，能够准确测量胎儿股骨长。
本发明实施例提供的一种三维超声图像的处理方法中，
所述利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据之前，还包括：
将所述待识别的胎儿三维超声图像进行镜像、旋转、拉伸操作，以对所述三维超声图像进行数据增强；
通过所述多任务深度神经网络模型的公共支路对增强后的所述三维图像进行处理，以提取出特征区域，其中，所述特征区域至少包含所述胎儿的股骨图像图3示出了适于本发明实施例的一种深度网络模型识别三维超声图像的示意图，详述如下：
在本发明实施例中，所述多任务深度神经网络模型由公共支路、分割支路以及定位支路构成，通过多任务深度神经网络模型对胎儿的三维超声图像进行处理，最终获得三维超声图像的股容积数据和股骨长数据。
作为本发明一种实施例，多任务深度神经网络模型对所述三维超声图像进进行协同分割与定位，对数据做数据增强处理，具体增强方式包括镜像，具体镜像方向有前后、左右、上下三个方向，以及对所述图像进行-30度至30度的随机旋转，得到多个新的数据，然后将所述新的数据输入到所述多任务深度神经网络模型中，最后预测获得股容积数据和股骨长数据。作为本发明一种优选的实施例，如图3所示，胎儿的三维超声图像为A1，多任务深度神经网络模型对所述三维超声图像的操作为C1-C9，将三维超声图像的感兴趣区域输入后，先对所述感应区域图像进行卷积操作，得到16通道的特征图C1，然后对特征图C1再进行卷积操作，得到32通道的特征图C2，然后经过池化层对所述特征图C2操作，得到通道数为32的特征图C3，继续对C3进行卷积操作，得到通道数为32的特征图C4，对C4进行卷积操作，得到通道数为32的特征图C5，然后对C5进行最大池化操作，得到通道数为32的特征图C6，对C6进行卷积得到通道数为32的特征图C7，在对C7进行卷积操作得到通道数为64的特征图C8，对C8进行卷积操作得到通道数为64的特征图C9，经过上述操作，待识别的胎儿三维超声图像已经被提取出通道数为64的特征图C9。接下来，特征图C9会分别被分割支路和定位支路进行识别，得到图像中的股骨容积数据和股骨长数据，其中，分割支路由9层构成，对特征图C9进行一次卷积操作后，将其与特征图C5进行通道融合，得到通道数为80的特整图T1，对特征图T1进行卷积操作得到通道数为32的特整图T2，对T2进行卷积操作得到通道数为32的T3，然后将T3进行卷积操作后与定位通道中的特征图L7进行通道融合，得到通道数为64的特征图T4，对T4进行反卷积操作，然后将其与特征图C2进行通道融合，得到通道数为64的特征图T5，对T5进行卷积操作得到通道数为32的特征图T6，对T6进行卷积操作得到通道数为32的特征图T7，对T7进行卷积操作，得到通道数为32的特征图T8，然后对T8进行卷积操作得到通道数为2的特征图T9，T9通过softmax分类器后，即可得到股容积模型，并对股容积模型进行容积计算即可得到股容积数据。同样的，定位支路由13层构成，将特征图C9进行卷积操作后，将其与特征图C7进行通道融合得到通道数为96的特征图L1，对L1进行卷积操作后得到通道数为32的特征图L2，对L2进行卷积操作后得到通道数为32的特征图L3，对L3进行反卷积后得到通道数为32的特征图L4，对L4进行卷积操作后再与特征图T2进行通道融合得到通道数为64的特征图L5，对L5进行卷积操作后得到通道数为32的特征图L6，对L6进行卷积操作后得到通道数为32的特征图L7，对L7进行反卷积后得到通道数为32的特征图L8，对L8进行卷积操作后再与特征图T6进行通道融合得到通道数为64的特征图L9，对L9进行卷积操作后得到通道数为32的特征图L10，对L10进行卷积操作后得到通道数为32的特征图L11，对L11进行卷积操作后得到通道数为32的特征图L12，对L12进行卷积操作后得到通道数为2的特征图的L13，将L13的识别结果输出即可得到股骨的端点位置，然后对端点位置筒欧氏距离和中心距离损失函数进行约束，已得到最准确的股骨长数据。
本发明实施例通过深度神经对待识别的三维超声图像进行协同分割与定位通过分割支路和定位支路分别对容积数据进行分割与定位，得到图像中胎儿的股容积数据和股骨长数据，识别精度高，且效率高。
本发明实施例提供的一种三维超声图像的处理方法中，所述利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据之前，还包括：
将所述待识别的胎儿三维超声图像进行镜像、旋转、拉伸操作，以对所述三维超声图像进行数据增强；
通过所述多任务深度神经网络模型的公共支路对增强后的所述三维图像进行处理，以提取出公共特征，
在本发明实施例中，胎儿的三维超声图像是一段连续的三维图像，可以对其进行分割，并对分割后的图像进行增强操作，形成多个数据，便于后续对多个数据进行识别，增加识别精度；。
本发明实施例提供的有种三维超声图像的处理方法中，还包括：所述通过所述多任务深度神经网络模型的分割支路对所述三维超声图像进行分割，得到所述三维超声图像中胎儿的股容积，以得到所述股容积数据，包括：
对所述图像进行特征图提取操作，得到公共特征；
将所述公共特征进行多次卷积操作和通道融合操作，得到股骨容积特征图；
利用分类器对所述股骨容积特征图进行像素级的分类，以得到所述股容积分割后的图像。
作为本发明一种实施例，对特征图C9进行一次卷积操作后，将其与特征图C5进行通道融合，得到通道数为80的特整图T1，对特征图T1进行卷积操作得到通道数为32的特整图T2，对T2进行卷积操作得到通道数为32的T3，然后将T3进行卷积操作后与定位通道中的特征图L7进行通道融合，得到通道数为64的特征图T4，对T4进行反卷积操作，然后将其与特征图C2进行通道融合，得到通道数为64的特征图T5，对T5进行卷积操作得到通道数为32的特征图T6，对T6进行卷积操作得到通道数为32的特征图T7，对T7进行卷积操作，得到通道数为32的特征图C8，然后对T8进行卷积操作得到通道数为2的特征图T9，T9通过softmax分类器后，通过分类器输出的值确定所述特征图所代表的位置，即可得到股容积模型V1，并对股容积模型V1进行容积计算即可得到股容积数据。具体的，所述分类器输出值在0～1之间，属于股骨上的点的阈值为0.5，及当分类器的输出值小于0.5时，该特征图所代表的像素点即为背景点，当所述分类器的输出中大于等于0.5时，所述特征图代表的像素点即为股骨上的点，依此对所有像素点的特征图进行识别，即可得到股骨模型，然后对模型进行容积计算，得到待识别的胎儿三维超声图像中胎儿的股容积数据。其中，损失函数为：
Figure BDA0002204687420000091
其中，y为真实标签，为预测结果。
本发明实施例通过分割支路对所述三维图像进行分割处理识别，通过多层结构进行特征图提起，最终得到两通道的特征图，并根据所述两通道的特征图的输出结构得到所述股骨容积模型，通过容积计算，得到图像中胎儿的股容积数据，识别结果准确。
本发明实施例提供的一种三维超声图像的处理方法中，还包括：所述通过所述多任务深度神经网络模型的定位支路对所述三维超声图像中胎儿的股骨端点进行定位，以得到所述股骨长数据，包括：
将所述公共特征进行多次卷积操作和通道融合操作，得到股骨长特征图；
对所述股骨长特征图进行欧式距离变换，以得到所述三维超声图像中的胎儿的股骨长数据。
作为本发明一种实施例，定位支路由13层构成，将特征图C9进行卷积操作后，将其与特征图C7进行通道融合得到通道数为96的特征图L1，对L1进行卷积操作后得到通道数为32的特征图L2，对L2进行卷积操作后得到通道数为32的特征图L3，对L3进行反卷积后得到通道数为32的特征图L4，对L4进行卷积操作后再与特征图T2进行通道融合得到通道数为64的特征图L5，对L5进行卷积操作后得到通道数为32的特征图L6，对L6进行卷积操作后得到通道数为32的特征图L7，对L7进行反卷积后得到通道数为32的特征图L8，对L8进行卷积操作后再与特征图T6进行通道融合得到通道数为64的特征图L9，对L9进行卷积操作后得到通道数为32的特征图L10，对L10进行卷积操作后得到通道数为32的特征图L11，对L11进行卷积操作后得到通道数为32的特征图L12，对L12进行卷积操作后得到通道数为2的特征图的L13，将L13的识别结果输出即可得到股骨的端点位置W1和W2，然后对端点位置筒欧氏距离和中心距离损失函数进行约束，已得到最准确的股骨长数据。
本发明实施例通过定位支路对图像进行定位识别，通过多层结构进行特征图提取，最终得到两个通道的特征图，根据所述两个通道的特征图的输出结果得到股骨端点的位置，通过欧式距离和损失函数对股骨端点的距离进行约束，得到最终的股骨长度，识别精度高。
本发明实施例提供的一种三维超声图像的处理方法中，所述分割支路在对所述公共特征进行通道融合操作时，选用所述定位支路中的所述公共特征进行通道融合；所述定位支路在对所述公共特征进行通道融合时，选用所述分割支路中的所述公共特征进行通道融合；所述分割支路对所述公共特征至少进行一次通道融合操作，所述定位支路对所述公共特征进行至少两次通道融合操作。
在本发明实施例中，如图3所示，对特征图C9进行一次卷积操作后，将其与特征图C5进行通道融合，将T3进行卷积操作后与定位通道中的特征图L7进行通道融合，得到通道数为64的特征图T4，对T4进行反卷积操作，然后将其与特征图C2进行通道融合，得到通道数为64的特征图T5，将特征图C9进行卷积操作后，将其与特征图C7进行通道融合得到通道数为96的特征图L1，对L4进行卷积操作后再与特征图T2进行通道融合得到通道数为64的特征图L5，对L8进行卷积操作后再与特征图T6进行通道融合得到通道数为64的特征图L9。上述操作均未本发明中涉及到的通道融合操作。
本发明实施例通分割支路与定位支路之间的交叉融合，提高多任务深度神经网络模型对所述股容积和股骨长的识别精度。
图4示出了适于本发明实施例的一种三维超声图像处理装置，详述如下：
图像获取单元410，所述图像获取单元410用于获取待识别的胎儿三维超声图像。
在本发明实施例中，胎儿三维超声图像中应该至少包含完整、清晰的胎儿三维超声图像，以便于识别，获取的方式可以是直接接受三维成像系统发送的胎儿三维超声图像，也可以是通过读取存储介质中存储的胎儿三维超声图像，还可以是通过接收互联网中发送的胎儿三维超声图像，具体获取方式，本发明不做具体限制。
本发明实施例通过获取清晰、完整的胎儿三维超声图像，便于后期对所述三维超声图像的识别，预测胎儿的体重。
图像处理单元420，所述图像处理单元420用于利用多任务深度神经网络模型对所述待识别的胎儿三维超声图像进行识别，得到所述三维超声图像中胎儿的股容积数据和股骨长数据。
在本发明实施例中，所述多任务深度神经网络模型通过数据集对卷积神经网络模型训练而成，用于识别所述待识别的胎儿三维超声图像中胎儿的股容积数据和股骨长数据，股容积数据是指胎儿股骨的容积大小及形状，股骨长数据是指胎儿的股骨的长度。多任务深度神经网络模型对所述待识别的胎儿三维超声图像进行识别后，能够同时得出所述图像中的胎儿的股容积数据和股骨长数据。
作为本发明一种实施例，所述多任务深度神经网络模型是采用数据集对用于识别胎儿股容积数据和股骨长数据的卷积神经网络模型进行训练得到的，在数据集对所述卷积神经网络模型进行训练之前，先对所述训练集进行预处理，已得到更多的训练模型，具体处理方式有镜像、拉伸、旋转等操作，将一个三维超声图像变成多个数据，对所述卷积神经网络模型进行训练；作为本发明一种优选的实施例，多任务深度神经网络模型分3个部分，一个是公共支路，一个分割支路、以及一个定位支路，对三维超声图像进行识别时，公共支路用于对所述图像先进行特征图提取操作，然后分割支路与定位支路同时对这些特征图进行识别，得到图像中胎儿的股骨容积数据和股骨长数据。
本发明实施通过神经网络模型对待识别的胎儿的三维超声图像进行识别，同时完成对胎儿股容积的测量和胎儿股骨长的测量，效率快且精度高。
结果输出单元430，所述结果输出单元430用于输出所述股容积数据和股骨长数据。
在本发明实施中，多任务深度神经网络模型通过对待识别的胎儿的三维超声图像进行识别，得到股容积数据和股骨长数据后，将所述股容积数据和股骨长数据进行输出，便于医务人员查看。
作为本发明一种实施例，具体输出股容积数据和股骨长数据的方式可以是通过显示屏输出，或者通过播音装置输出，也可以是通过三维立体的全息投影的方式输出，当然，在没有即时输出装置时，也可以通过数据传输接口将所述股容积数据和股骨长数据传输至其他设备或者存储介质中，便于后期查看，亦或是输出至互联网中，进行云存储，以上的输出方式都是可以选择的。
本发明实施例通过将得到的股容积数据和股骨长数据通过即时显示装置进行输出，便于医务人员即时了解情况，在没有即时显示设备的情况下，通过存储介质或者互联网的存储功能将所述股容积数据和股骨长数据进行存储，便于后期查看，方便快捷。
本发明实施例通过深度学习的多任务学习方法对胎儿的三维超声图像进行分析，能够同时得到胎儿的股容积数据和股骨长数据，精确预测胎儿的重量，采用多任务深度神经网络模型对股容积图像进行分割，提高股容积的预测精度，通过对股骨端点的精准定位，能够准确测量胎儿股骨长。
图5示出了适于本发明实施例提供的一种计算机设备的结构框图，包括存储器501、处理器502、通信模块503和用户接口504。
存储器501中存储有操作系统505，用于处理各种基本系统服务和用于执行硬件相关任务的程序；还存储有应用软件506，用于实现本发明实施例中的三维超声图像的处理方法的各个步骤。
在本发明实施例中，存储器501可以是高速随机存取存储器，诸如DRAM、SRAM、DDR、RAM、或者其他随机存取固态存储设备，或者非易失性存储器，诸如一个或多个硬盘存储设备、光盘存储设备、内存设备等。
在本发明实施例中，处理器502可通过通信模块503接收和发送数据以实现区块链网络通信或者本地通信。
用户接口504可以包括一个或多个输入设备507，比如键盘、鼠标、触屏显示器，用户接口504还可以包括一个或者多个输出设备508，比如显示器、扩音器等。
另外，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述三维超声图像的处理方法的步骤。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维超声图像的处理方法，其特征在于，所述方法包括：
获取待处理的胎儿三维超声图像；
利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据；
输出所述股容积数据和股骨长数据。
2.根据权利要求1所述的方法，其特征在于，所述利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据之前，还包括：
将所述待识别的胎儿三维超声图像进行镜像、旋转、拉伸操作，以对所述三维超声图像进行数据增强；
通过所述多任务深度神经网络模型的公共支路对增强后的所述三维图像进行处理，以提取出公共特征，其中，所述特征区域至少包含所述胎儿的股骨图像。
3.根据权利要求1所述的方法，其特征在于，所述利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据，包括：
通过所述多任务深度神经网络模型的分割支路对所述三维超声图像进行分割，得到所述三维超声图像中胎儿的股容积，以得到所述股容积数据；
通过所述多任务深度神经网络模型的定位支路对所述三维超声图像中胎儿的股骨端点进行定位，以得到所述股骨长数据。
4.根据权利要求3所述的方法，其特征在于，所述通过所述多任务深度神经网络模型的分割支路对所述三维超声图像进行分割，得到所述三维超声图像中胎儿的股容积，以得到所述股容积数据，包括：
对所述输入图像进行特征图提取操作，得到两个任务的公共特征；
将所述公共特征进行多次卷积操作和通道融合操作，得到股骨容积特征图；
利用分类器对所述股骨容积特征图进行像素级别的分类，以得到所述股容积数据。
5.据权利要求3所述的方法，其特征在于，所述通过所述多任务深度神经网络模型的定位支路对所述三维超声图像中胎儿的股骨端点进行定位，以得到所述股骨长数据，包括：
将所述公共特征进行多次卷积操作和通道融合操作，得到股骨长特征图；
对所述股骨长特征图进行欧式距离变换，以得到所述三维超声图像中的胎儿的股骨长数据。
6.根据权利要求4和5所述的方法，其特征在于，所述分割支路在对所述公共特征进行通道融合操作时，选用所述定位支路中的所述公共特征进行通道融合；所述定位支路在对所述公共特征进行通道融合时，选用所述分割支路中的所述公共特征进行通道融合。
7.根据权利要求6所述的方法，其特征在于，所述分割支路对所述公共特征至少进行一次通道融合操作，所述定位支路对所述公共特征进行至少两次通道融合操作。
8.一种三维超声图像的处理装置，其特征在于，所述装置包括：
图像获取单元，所述图像获取单元用于获取待处理的胎儿三维超声图像；
图像处理单元，所述图像处理单元用于利用多任务深度神经网络模型对所述胎儿三维超声图像进行分割和定位，以得到所述三维超声图像中胎儿的股容积数据和股骨长数据；
结果输出单元，所述结果输出单元用于输出所述股容积数据和股骨长数据。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至7中任一项权利要求所述一种三维超声图像的处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至7中任一项权利要求所述一种三维超声图像的处理方法的步骤。
CN201910877210.1A 2019-05-22 2019-09-17 一种三维超声图像的处理方法、装置、设备及存储介质 Active CN110738702B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019104303627 2019-05-22
CN201910430362 2019-05-22

Publications (2)

Publication Number Publication Date
CN110738702A true CN110738702A (zh) 2020-01-31
CN110738702B CN110738702B (zh) 2022-04-19

Family

ID=69268005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910877210.1A Active CN110738702B (zh) 2019-05-22 2019-09-17 一种三维超声图像的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110738702B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932513A (zh) * 2020-08-07 2020-11-13 深圳市妇幼保健院 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统
CN112233084A (zh) * 2020-10-13 2021-01-15 深圳度影医疗科技有限公司 超声图像处理方法、设备及计算机可读存储介质
CN113855081A (zh) * 2021-10-25 2021-12-31 南方医科大学南方医院 孕37-42周预测足月新生儿出生体重的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176675A (zh) * 2006-11-10 2008-05-14 株式会社东芝 超声波诊断装置及超声波诊断方法
CN101474077A (zh) * 2008-12-30 2009-07-08 深圳市蓝韵实业有限公司 一种胎儿生长状况的监测方法
CN107766874A (zh) * 2017-09-07 2018-03-06 沈燕红 一种超声容积生物学参数的测量方法及测量系统
CN107822633A (zh) * 2017-09-26 2018-03-23 北京康萍科技有限公司 一种孕妇腹部分段阻抗测量方法以及胎儿体重估算方法
CN108109693A (zh) * 2017-12-19 2018-06-01 深圳京柏医疗科技股份有限公司 胎儿估重方法、装置、系统、存储介质和计算机设备
CN109671086A (zh) * 2018-12-19 2019-04-23 深圳大学 一种基于三维超声的胎儿头部全自动分割方法
CN109671073A (zh) * 2018-12-19 2019-04-23 深圳大学 胎儿股骨测量方法、装置、计算机设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101176675A (zh) * 2006-11-10 2008-05-14 株式会社东芝 超声波诊断装置及超声波诊断方法
CN101474077A (zh) * 2008-12-30 2009-07-08 深圳市蓝韵实业有限公司 一种胎儿生长状况的监测方法
CN107766874A (zh) * 2017-09-07 2018-03-06 沈燕红 一种超声容积生物学参数的测量方法及测量系统
CN107822633A (zh) * 2017-09-26 2018-03-23 北京康萍科技有限公司 一种孕妇腹部分段阻抗测量方法以及胎儿体重估算方法
CN108109693A (zh) * 2017-12-19 2018-06-01 深圳京柏医疗科技股份有限公司 胎儿估重方法、装置、系统、存储介质和计算机设备
CN109671086A (zh) * 2018-12-19 2019-04-23 深圳大学 一种基于三维超声的胎儿头部全自动分割方法
CN109671073A (zh) * 2018-12-19 2019-04-23 深圳大学 胎儿股骨测量方法、装置、计算机设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JINGCHUN CHENG ET AL: "SegFlow Joint Learning for Video Object Segmentation and Optical Flow", 《ARXIV:1709.06750V1 [CS.CV] 》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932513A (zh) * 2020-08-07 2020-11-13 深圳市妇幼保健院 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统
CN112233084A (zh) * 2020-10-13 2021-01-15 深圳度影医疗科技有限公司 超声图像处理方法、设备及计算机可读存储介质
CN112233084B (zh) * 2020-10-13 2022-02-08 深圳度影医疗科技有限公司 超声图像处理方法、设备及计算机可读存储介质
CN113855081A (zh) * 2021-10-25 2021-12-31 南方医科大学南方医院 孕37-42周预测足月新生儿出生体重的方法
CN113855081B (zh) * 2021-10-25 2023-06-30 南方医科大学南方医院 孕37-42周预测足月新生儿出生体重的方法

Also Published As

Publication number Publication date
CN110738702B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
US10810735B2 (en) Method and apparatus for analyzing medical image
US10178982B2 (en) System and methods for automated segmentation of individual skeletal bones in 3D anatomical images
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN110689038A (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN107851312B (zh) 用于在三维解剖图像中自动分割个别骨骼骨的系统及方法
US10846854B2 (en) Systems and methods for detecting cancer metastasis using a neural network
CN111862044A (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN110738702A (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN107993228B (zh) 一种基于心血管oct影像的易损斑块自动检测方法和装置
WO2019127102A1 (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN113344862B (zh) 缺陷检测方法、装置、电子设备及存储介质
CN110136153A (zh) 一种图像处理方法、设备及存储介质
JP2020171687A (ja) ３ｄ解剖学的ボリュームをその２ｄスライスの位置特定に基づいて処理するシステムおよび方法
CN108052909B (zh) 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN111292333A (zh) 用于分割图像的方法和装置
CN110991408B (zh) 基于深度学习方法分割脑白质高信号的方法和装置
CN115439453A (zh) 一种脊椎椎体定位方法、装置、电子设备及存储介质
CN113160199A (zh) 影像识别方法、装置、计算机设备和存储介质
CN117095177B (zh) 肾脏图像定位方法、装置和电子设备
JP6920376B2 (ja) ３ｄ解剖画像における個々の骨格の骨の自動化されたセグメンテーションのためのシステムおよび方法
CN117094976B (zh) 病灶漏检判断方法、装置和电子设备
CN113487575B (zh) 用于训练医学影像检测模型的方法及装置、设备、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant