CN111820948B - 胎儿生长参数测量方法、系统及超声设备 - Google Patents
胎儿生长参数测量方法、系统及超声设备 Download PDFInfo
- Publication number
- CN111820948B CN111820948B CN201910320623.XA CN201910320623A CN111820948B CN 111820948 B CN111820948 B CN 111820948B CN 201910320623 A CN201910320623 A CN 201910320623A CN 111820948 B CN111820948 B CN 111820948B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- layers
- ultrasonic image
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004578 fetal growth Effects 0.000 title claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 135
- 230000001537 neural effect Effects 0.000 claims abstract description 58
- 210000003754 fetus Anatomy 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000012010 growth Effects 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 230000001605 fetal effect Effects 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims description 90
- 238000001514 detection method Methods 0.000 claims description 79
- 238000013528 artificial neural network Methods 0.000 claims description 60
- 238000002604 ultrasonography Methods 0.000 claims description 54
- 230000011218 segmentation Effects 0.000 claims description 33
- 210000005036 nerve Anatomy 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000000691 measurement method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 210000000689 upper leg Anatomy 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 210000001015 abdomen Anatomy 0.000 description 9
- 238000002372 labelling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003187 abdominal effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035935 pregnancy Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009602 intrauterine growth Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003793 prenatal diagnosis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 231100000378 teratogenic Toxicity 0.000 description 1
- 230000003390 teratogenic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Pregnancy & Childbirth (AREA)
- Gynecology & Obstetrics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及超声图像处理技术领域，具体公开了一种胎儿生长参数测量方法。测量方法包括：获取胎儿至少一个部位的超声图像；根据卷积神经测量模型确定超声图像中待测量部位的分布区域，卷积神经测量模型通过卷积神经网络对已标记的不同胎儿部位的若干超声图像进行训练确定；突出显示待测量部位的分布区域轮廓并进行拟合；通过对待测量部位对应的拟合后的轮廓进行测量，获取不同待测量部位的生长参数。本发明了还提供了一种胎儿生长参数测量系统、超声设备及存储介质。本发明能够利用训练好的卷积神经测量模型自动测量不同胎儿部位的生长参数，提高了测量的准确度，提高了医生的工作效率。
Description
技术领域
本发明涉及超声图像处理技术领域，尤其是一种胎儿生长参数测量方法、系统、超声设备。
背景技术
随着产前超声诊断技术的不断发展，许多胎儿结构异常在产前得到发现。超声检查作为一项无创、无致畸、方便、快捷及安全的检查方法，在产前诊断与筛查胎儿畸形中发挥着重要的作用。B超作为一种监测胎儿宫内生长情况的重要手段之一，现已在临床中运用广泛，从二维超声直至目前所运用的四维超声，不论是在医师的操作技能上，还是在仪器的功能和分辨率上都有很大程度的提高。通过超声测量孕期胎儿的主要生长参数，包括双顶径、头围、腹围、股骨长的结果能协助医生在孕期诊断胎儿结构畸形等疾病，是孕期一个关键的检查项目。
目前胎儿超声图像主要生长参数例如双顶径、头围、腹围、股骨长，均以手动测量为主，依赖于医生的经验和操作手法，准确度和效率都很低。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种胎儿生长参数测量方法、系统及超声设备，以实现胎儿生长参数的自动测量，提高了测量的准确度和效率。
特别地，本发明提供了一种胎儿生长参数测量方法，包括：
获取胎儿至少一个部位的超声图像；
根据卷积神经测量模型确定超声图像中待测量部位的分布区域，卷积神经测量模型通过卷积神经网络对已标记的不同胎儿部位的若干超声图像进行训练确定；
突出显示待测量部位的分布区域轮廓并进行拟合；
通过对待测量部位对应的拟合后的轮廓进行测量，获取不同待测量部位的生长参数。
进一步地，所述超声图像为单帧超声图像或至少两帧超声图像。
进一步地，根据卷积神经测量模型确定超声图像中待测量部位的分布区域，包括：
对超声图像进行归一化，将超声图像固定到与卷积神经测量模型的输入层相适配的尺寸；
根据卷积神经测量模型计算超声图像中每个像素点为待测量部位的概率；
将超声图像中像素点概率超过预设概率的像素点确定为待测量部位。
进一步地，根据卷积神经测量模型确定超声图像中待测量部位的分布区域，包括：
对超声图像进行归一化，将超声图像固定到与测量模型的输入层相适配的尺寸；
通过卷积神经测量模型的检测网络检测出待测量部位的位置区域；
根据卷积神经测量模型的分割网络计算位置区域中每个像素点为待测量部位的概率；
将位置区域中像素点概率超过预设概率的像素点确定为待测量部位。
进一步地，突出显示待测量部位的分布区域轮廓并进行拟合，包括：
将经卷积神经测量模块确定待测量部位的分布区域的超声图像还原到初始超声图像的尺寸；
采用曲线对确定的待测量部位的分布区域的轮廓进行勾勒围合；
通过最小二乘法对勾勒的待测量部位的分布区域轮廓进行拟合。
进一步地，根据卷积神经测量模型计算超声图像中每个像素点为待测量部位的概率，包括：
将输入卷积神经测量模型输入层的超声图像经过若干卷积层和下采样层分别进行卷积操作和下采样操作获取第一特征；
将第一特征再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作获取第二特征；
输出层根据第二特征进行卷积计算出超声图像中每个像素点为待测量部位的概率。
进一步地，卷积神经测量模型的神经网络对超声图像进行卷积或采样处理时，从较浅卷积层复制特征到较深的卷积层，复制的特征和较深卷积层的特征对应像素相加后进入下一层卷积层。
进一步地，检测网络检测出待测量部位的位置区域由检测框标出。
进一步地，检测网络包括输入层、隐含层、输出层，检测网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接，
隐含层包括卷积层、最大池化层和结合层，首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与高级特征层之前的一层或数层隐含层相结合；
高级特征层与相结合的隐含层的输出图像的长和宽一致；
高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层，最后一个卷积层作为输出层。
进一步地，根据所述卷积神经测量模型的分割网络计算所述位置区域中每个像素点为待测量部位的概率；具体包括：
将由检测网络标出待测量部位位置区域超声图像经过若干卷积层和下采样层分别进行卷积操作和下采样操作获取第一特征；
将所述第一特征再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作获取第二特征；
输出层根据所述第二特征进行卷积计算出超声图像中每个像素点为待测量部位的概率。
进一步地，分割网络对超声图像进行卷积或采样处理时，从较浅卷积层复制特征到较深的卷积层，复制的特征和较深卷积层的特征对应像素相加后进入下一层卷积层。
进一步地，卷积神经测量模型的检测网络通过损失函数训练，缩小检测误差。
特别地，本发明还提供了一种胎儿生长参数测量系统，包括：
获取单元，获取单元用于获取胎儿至少一个部位的超声图像；
第一处理单元，第一处理单元根据卷积神经测量模型确定超声图像中待测量部位的分布区域，测量模型通过卷积神经网络对已标记的不同胎儿部位的若干超声图像进行训练确定；
第二处理单元，第二处理单元突出显示待测量部位的分布区域轮廓并进行拟合；
测量单元，测量单元通过对待测量部位对应的拟合后的轮廓进行测量，获取不同待测量部位的生长参数。
特别地，本发明还提供了一种超声设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现上述的胎儿超声图像生长参数测量的方法。
特别地，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述的胎儿生长参数测量方法的步骤。
本发明的优点是：本发明的胎儿生长参数测量方法能够通过训练后的卷积神经测量模型自动识别超声图像中胎儿的待测量部位，并自动测量胎儿的各项主要生长参数，测量结果相比于手动测量更准确，效率更高。
进一步地，本发明通过在处理胎儿超声图像之前先对超声图像进行归一化，将超声图像固定到与卷积神经测量模型的输入层相适配的尺寸，使得不同尺寸的超声图像都能进行处理，提高了适用性。
进一步地，本发明通过识别超声图像中每一个像素点为待测量部位的概率，提高了测量的精确度和准确性。
进一步地，本发明先通过卷积神经测量模型的检测网络检测出待测量部位的位置区域再根据卷积神经测量模型的分割网络计算位置区域中每个像素点为待测量部位的概率，提高了测量的精确度和准确度。
进一步地，本发明的胎儿生长参数测量系统能够通过训练后的卷积神经测量模型自动识别超声图像中胎儿的待测量部位，并自动测量胎儿的各项主要生长参数，测量结果相比于手动测量更准确，效率更高。
本发明的超声设备能够通过训练后的卷积神经测量模型自动测量胎儿不同部位的生长参数，测量的准确度高，提供了医生的工作效率。
附图说明
图1为本发明的测量方法流程图。
图2a为本发明的胎儿腹部的超声图像的标注示意图。
图2b为本发明的胎儿大腿处的超声图像的标注示意图。。
图2c为本发明的带有标注曲线的超声图像转化成模板示意图。
图3为本发明的卷积神经测量模型第一种结构示意图。
图4为本发明的卷积神经测量模型第二种结构中检测网络示意图。
图5为本发明的胎儿大腿处的标注框示意图。
图6为本发明的卷积神经测量模型第二种结构中分割网络示意图。
图7a和图7b分别为本发明中腹部和头部超声图像后处理示意图。
图8为本发明中大腿处超声图像后处理示意图。
图9为本发明中一实施例确定超声图像中待测量部位的分布区域的处理示意图。
图10为本发明中另一实施例确定超声图像中待测量部位的分布区域的处理示意图。
图11为本发明中勾勒待测量部位的分布区域轮廓并进行拟合的处理示意图。
图12为本发明胎儿生长参数测量系统结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
目前胎儿超声图像主要生长参数例如双顶径、头围、腹围、股骨长，均以手动测量为主，依赖于医生的经验和操作手法，准确度和效率都很低。
本发明的第一方面提供了一种胎儿生长参数测量系统，如图12所示，包括：获取单元、第一处理单元、第二处理单元和测量单元。获取单元用于获取胎儿至少一个部位的超声图像。第一处理单元根据卷积神经测量模型确定超声图像中待测量部位的分布区域，卷积神经测量模型通过卷积神经网络对已标记的不同胎儿部位的若干超声图像进行训练确定。第二处理单元突出显示待测量部位的分布区域轮廓并进行拟合。测量单元通过对待测量部位对应的拟合后的轮廓进行测量，获取不同待测量部位的生长参数。
本发明的胎儿生长参数测量系统能够对胎儿的超声图像进行分析处理，自动测量各待测量部位的参数；待测量部位包括胎儿的腹部、头部、大腿部等。提高了测量的准确度和精确度，提高了医生的工作效率。
本发明的获取单元为超声成像设备，即通过超声成像设备获取超声图像。超声成像设备至少包括换能器、超声主机、输入单元、控制单元、和存储器。超声成像设备可以包括显示屏，超声成像设备的显示屏可以为识别系统的显示器。换能器用于发射和接收超声波，换能器受发射脉冲的激励，向目标组织(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获得超声图像或者视频。换能器可以通过有线或无线的方式连接到超声主机。
输入单元用于输入操作人员的控制指令。输入单元可以为键盘、跟踪球、鼠标、触摸面板、手柄、拨盘、操纵杆以及脚踏开关中的至少一个。输入单元也可以输入非接触型信号，例如声音、手势、视线或脑波信号。
控制单元至少可以控制焦点信息、驱动频率信息、驱动电压信息以及成像模式等扫描信息。控制单元根据用户所需成像模式的不同，对信号进行不同的处理，获得不同模式的超声图像数据，然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像，如B图像，C图像，D图像，多普勒血流图像，包含组织弹性特性的弹性图像等等，或者其他类型的二维超声图像或三维超声图像。
需要理解的是，在一实施例中获取单元用于获取胎儿至少一个部位的超声图像可以为存储在存储介质中的超声图像，例如，云服务器，U盘或者硬盘等。
在一个实施例中，本发明训练后的卷积神经测量模型包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；卷积神经测量模型中的卷积层用于自动提取超声图像中的特征。更优地，卷积神经测量模型的神经网络每次对超声图像进行卷积或采样处理时，从较浅卷积层复制特征到较深的卷积层，复制的特征和较深卷积层的特征对应像素相加后进入下一层卷积层。
在另一个实施例中，卷积神经测量模型包括检测网络和分割网络。其中，检测网络包括输入层、隐含层、输出层，检测网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；隐含层包括卷积层、最大池化层和结合层；首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与该高级特征层之前的一层或数层隐含层相结合；该高级特征层与相结合的隐含层的输出图像的长和宽一致；该高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层，最后一个卷积层作为输出层。分割网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；更优地，分割网络对超声图像进行卷积或采样处理时，从较浅卷积层复制特征到较深的卷积层，复制的特征和较深卷积层的特征对应像素相加后进入下一层卷积层；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；卷积层用于自动提取超声图像中的特征。
本发明获取的不同胎位“部位”指胎儿的腹部，头部和大腿部。获取不同待测量部位的生长参数主要是双顶径参数、头围参数、腹围参数以及股骨长参数。“超声图像”为单帧超声图像或至少两帧超声图像，即单帧超声图像或者超声视频。
本文的卷积神经测量模型或单元包括(或者包含或者具有)其它元件以及那些元件。如本文中使用的术语“模块”意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)或处理器，例如CPU、GPU。单元可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此，作为示例，单元可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。
为了提高卷积神经测量模型识别测量的准确度和精度。本发明中“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。在一实施例中，本发明的第一处理单元包括：归一化单元、概率计算单元和确定单元。归一化单元单元用于对超声图像进行归一化，将超声图像固定到与卷积神经测量模型的输入层相适配的尺寸。概率计算单元用于根据卷积神经测量模型计算超声图像中每个像素点为待测量部位的概率。确定单元将超声图像中像素点概率超过预设概率的像素点确定为待测量部位。概率取值范围为0-1。优选地，预设概率为0.5。
本发明通过在处理胎儿超声图像之前先对超声图像进行归一化，将超声图像固定到与卷积神经测量模型的输入层相适配的尺寸，使得不同尺寸的超声图像都能进行处理，提高了适用性。本发明通过识别超声图像中每一个像素点为待测量部位的概率，提高了测量的精确度和准确性。
在另一实施例中，本发明的第一处理单元包括：归一化单元，第三处理单元、第四处理单元和第五处理单元。归一化单元用于对超声图像进行归一化，将超声图像固定到与测量模型的输入层相适配的尺寸。第三处理单元用于通过卷积神经测量模型的检测网络检测出待测量部位的位置区域；第四处理单元根据卷积神经测量模型的分割网络计算位置区域中每个像素点为待测量部位的概率；第五处理单元将位置区域中像素点概率超过预设概率的像素点确定为待测量部位。
本发明通过卷积神经测量模型的检测网络检测出待测量部位的位置区域，即先检测出待测量部位的大致位置区域，再通过第四处理单元计算位置区域中每个像素点为待测量部位的概率，提高了测量的精确度和准确度。
在一实施例中，第二处理单元突出显示待测量部位的分布区域轮廓并进行拟合。第二处理单元包括：还原单元、勾勒单元、拟合单元。还原单元将经卷积测量模块确定待测量部位的分布区域的超声图像还原到初始超声图像的尺寸。勾勒单元采用曲线对确定的待测量部位的分布区域的轮廓进行勾勒围合。拟合单元通过最小二乘法对勾勒的待测量部位的分布区域轮廓进行拟合。最后测量单元根据拟合后的轮廓测量不同测量部位的生长参数。
本发明在卷积测量模块确定待测量部位的分布区域利用线条进行围合，选择围合得到的可能部位中面积最大的部位，并对围合后的轮廓进行拟合，提高了本发明的准确度和精度。
本发明的第二个方面，提供了一种胎儿生长参数测量方法，如图1所示，包括步骤：
S100，获取胎儿至少一个部位的超声图像；获取胎儿不同部位的超声图像的方式可以通过超声成像设备实时获取胎儿的超声图像，也可以通过加载存储在存储介质中的超声图像进行自动识别测量。存储介质为磁存储介质，例如磁盘(如软盘)或磁带；光存储介质，如光盘，光带，或机器可读的条形码；固态电子存储装置，如随机存取存储器(RAM)或只读存储器(ROM)；也可以为存储在云服务器中的超声图像。
S200，根据卷积神经测量模型确定超声图像中待测量部位的分布区域，卷积神经测量模型通过卷积神经网络对已标记的不同胎儿部位的若干超声图像进行训练确定；
S300，突出显示待测量部位的分布区域轮廓并进行拟合；突出显示可以采用线条或曲线勾勒出待测量部位的轮廓，也可以高亮显示待显示测量部位的轮廓。
S400，通过对待测量部位对应的拟合后的轮廓进行测量，获取不同待测量部位的生长参数。
本发明的胎儿生长参数测量方法能够通过训练后的卷积神经测量模型自动识别超声图像中胎儿的待测量部位，并自动测量胎儿的各项主要生长参数，测量结果相比于手动测量更准确，效率更高。
为了提供测量的准确度，本发明对超声图像中每一个像素点是否为测量部位进行确定。如图9所示，具体地，步骤S200在根据卷积神经测量模型确定超声图像中待测量部位的分布区域时，具体包括包括：
S210，对超声图像进行归一化，将超声图像固定到与卷积神经测量模型的输入层相适配的尺寸；
S220，根据卷积神经测量模型计算超声图像中每个像素点为待测量部位的概率。具体为：将输入卷积神经测量模型输入层的超声图像经过若干卷积层和下采样层分别进行卷积操作和下采样操作获取第一特征；将第一特征再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作获取第二特征；输出层根据第二特征进行卷积计算出超声图像中每个像素点为待测量部位的概率。
例如，图3中，设置卷积神经测量模型的输入层尺寸为256*256*1，经过两个3*3的卷积操作分别得到两个256*256*16的特征，再经过下采样操作得到128*128*16的特征；再继续进行若干3*3卷积和下采样得到64*64*64的特征；再继续进行若干上采样和3*3卷积得到256*256*16的特征；最终输出层进行1*1卷积操作得到256*256*4的概率结果，概率的取值范围是0到1。
本发明的卷积神经测量模型的神经网络每次对超声图像进行卷积或采样处理时，从较浅卷积层复制特征到较深的卷积层，复制的特征和较深卷积层的特征对应像素相加后进入下一层卷积层。图3中的灰色长方形即表示图像经过每次卷积或者采样操作后提取到的特征，白色长方形表示从神经网络的较浅的卷积层复制特征到较深的卷积层层，复制的特征和较深的特征对应像素直接相加后进入下一层，这样将较浅的层的粗特征与较深的卷积层层的细特征结合计算，有利于将待测量部位从超声图像中分割出来，以作测量基础，提高测量的准确度和精确度。
S230，将超声图像中像素点概率超过预设概率的像素点确定为待测量部位。
在一实施例中将像素点概率超过0.5的像素点定义为待测量部位的像素点。
在另一实施例中，如图10所示，步骤S200根据卷积神经测量模型确定超声图像中待测量部位的分布区域，具体为：
S240，对超声图像进行归一化，将超声图像固定到与测量模型的输入层相适配的尺寸；
S250，通过卷积神经测量模型的检测网络检测出待测量部位的位置区域；
检测网络检测出待测量部位的位置区域由检测框标出。检测网络包括输入层、隐含层、输出层，检测网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接，隐含层包括卷积层、最大池化层和结合层，首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与高级特征层之前的一层或数层隐含层相结合；高级特征层与相结合的隐含层的输出图像的长和宽一致；高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层，最后一个卷积层作为输出层。
S260，根据卷积神经测量模型的分割网络计算位置区域中每个像素点为待测量部位的概率；
分割网络处理由检测网络标出待测量部位位置区域超声图像时，先经过若干卷积层和下采样层分别进行卷积操作和下采样操作获取第一特征；将所述第一特征再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作获取第二特征；输出层根据所述第二特征进行卷积计算出超声图像中每个像素点为待测量部位的概率。更优地，分割网络对超声图像进行卷积或采样处理时，从较浅卷积层复制特征到较深的卷积层，复制的特征和较深卷积层的特征对应像素相加后进入下一层卷积层。图6中的灰色长方形即表示图像经过每次卷积或者采样操作后提取到的特征，白色长方形表示从神经网络的较浅的卷积层复制特征到较深的卷积层层，复制的特征和较深的特征对应像素直接相加后进入下一层。
S270，将位置区域中像素点概率超过预设概率的像素点确定为待测量部位。
本发明的胎儿生长参数测量方法通过卷积神经测量模型的检测网络检测出待测量部位的位置区域，即先检测出待测量部位的大致位置区域，再通计算位置区域中每个像素点为待测量部位的概率，提高了测量的精确度和准确度。
确定好待测量部位的位置后需要将待测量部位从超声图像中分割出来进行计算，本发明采用线条勾勒出待测量部位的分布区域轮廓并进行拟合。如图11所示，具体为
S310，先将经卷积测量模块确定待测量部位的分布区域的超声图像还原到初始超声图像的尺寸；
S320，采用曲线对确定的待测量部位的分布区域的轮廓进行勾勒围合；
S330，通过最小二乘法对勾勒的待测量部位的分布区域轮廓进行拟合。
S400，通过对待测量部位对应的拟合后的轮廓进行测量，获取不同待测量部位的生长参数。
例如，如图7a、7b所示，胎儿的头围和腹围一般都为椭圆。找到围合部位的边缘上的N个点Pi(xi，yi)后进行椭圆拟合，椭圆拟合方法的原理为最小二乘法：
设椭圆一般方程为：x2+Axy+By2+Cx+Dy+E＝0
根据最小二乘原理，需要最小化的目标函数为：
即需使
解方程得到A，B，C，D，E的值
根据椭圆的几何知识，可以计算出椭圆的中心点坐标(x0，y0)，长短轴长度2a，2b和角度θ
在拟合得到椭圆后，即可根据椭圆的中心点，长短轴的长度和角度信息方便地计算出胎儿腹围、头围和双顶径；腹围、头围椭圆周长的计算公式为：
L＝2πb+4(a-b)
优选地，如图8，对大腿部超声图像后处理为：在经卷积神经测量模块确定待测量部位的分布区域的超声图像还原到初始超声图像的尺寸，选择面积最大的围合部位，依次做闭运算、均值滤波和骨架提取后即可方便测量出胎儿的股骨长；其中，股骨长通俗讲就是大腿骨长度，均值滤波的计算公式为：
其中，I_after表示均值滤波处理后的超声图像，I_afterxy表示图像中第x行第y列的像素；m和n分别表示滤波器窗口的长度和宽度；Sxy表示超声图像在滤波器窗口内的部分；I_beforexy表示待处理的超声图像中第x行第y列的像素。
可以理解是，本发明是基于卷积神经测量模型确定超声图像中待测量部位的分布区域。训练卷积神经测量模型是确保测量准确度和精度的重要组成。本发明采用卷积神经网络对已标记的不同胎儿部位的若干超声图像进行训练确定。包括以下步骤：
步骤S1，收集胎儿各测量部位的超声图像并对测量部位进行标注；
本实施例中优选的标注方法是用连续折线形成的闭合曲线标注出胎儿的各测量部位，如腹部，头部，大腿部。如图2a、图2b所示，分别是胎儿腹部和大腿处的超声图像的标注效果；对超声图像标注后，将每张带有标注曲线的超声图像转化为其对应的模板；模板跟超声图像尺寸相同，但数值不同，模板的转化方法为用非0数值填充超声图像中标注曲线及其以内的区域，用0填充超声图像中标注曲线以外的区域；例如，标注曲线及其以内区域的数值1表示是胎儿腹部，数值为2表示是胎儿头部，数值为3表示是胎儿大腿处，标注曲线以外区域的数值为0，一个例子如图2c所示。
步骤S2，基于收集到的超声图像及其标注，建立多种神经网络，训练得到卷积神经测量模型，选择最优卷积神经测量模型的参数；具体包括：
步骤S21，对收集的超声图像划分为训练集、验证集和测试集；对超声图像进行预处理：将超声图像固定到一定尺寸，并归一化同样尺寸的超声图像；
在收集的所有超声图像中随机选取3/5的图像作为训练集，基于这些图像的模板进行训练；随机选取1/5的图像作为验证集；剩余1/5的超声图像作为测试集使用；训练集超声图像用于训练神经网络模型；验证集超声图像用于验证神经网络的效果并帮助选择最优的神经网络模型参数；测试集超声图像用于测试神经网络模型的使用效果；当然随机选取的比例可以是3/5、1/5，1/5，也可以是其他的比例；
超声图像预处理：将超声图像固定到一定尺寸，并归一化同样尺寸的超声图像；如固定尺寸后的超声图像为256*256*3；256*256表示预处理后超声图像的长和宽，即256像素长，256像素宽，3表示RGB三通道；可选地，将超声图像固定到一定尺寸时，保持原始图像的长宽比例，或者改变原始图像的长宽比例；对超声图像进行归一化操作的具体处理方法为将超声图像中每个像素值减去图像像素的均值后除以图像像素的标准差，具体通过如下公式：
Image_norm＝(Image-μ)/σ
Image是256*256*3的超声图像，μ是Image中像素值的平均值，σ是Image中像素值的标准差，Image_norm是归一化后的超声图像。
由于超声图像预处理时超声图像的尺寸发生了变化，所有超声图像的模板也需要进行相应比例的改变；改变尺寸后的模板在训练神经网络时使用；
步骤S22，建立神经网络结构；
神经网络的结构包括两类：第一类卷积神经网络和第二类卷积神经网络；
对于第一类卷积神经网络，用于将胎儿各测量部位的训练集超声图像输入到同一个神经网络，以得到测量部位的预测结果；在训练过程中神经网络输出的预测结果越来越接近输入图像对应的模板，神经网络的损失函数即预测结果与模板的差异，训练过程中损失函数保持下降；
第一类卷积神经网络的输入是与该神经网络中输入层尺寸相同的超声图像；该神经网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；第一类卷积神经网络的卷积层用于自动提取超声图像中的特征；
如图3所示，设置神经网络的输入层尺寸为256*256*1，其中的“1”表示灰度图像；经过两个3*3的卷积操作分别得到两个256*256*16的特征，其中的“16”表示特征数；再经过下采样操作得到128*128*16的特征；再继续进行若干3*3卷积和下采样得到64*64*64的特征；再继续进行若干上采样和3*3卷积得到256*256*16的特征；灰色长方形表示超声图像经过每次卷积或者采样操作后提取到的特征，白色长方形表示从神经网络的较浅的层复制特征到较深的层，复制的特征和较深的层的特征对应像素直接相加后进入下一层，这样将较浅的层的粗特征与较深的层的细特征结合计算，有利于得到更好的分割结果；
优选的，第一类卷积神经网络的卷积选择适合扩张率的扩张卷积，以提高网络的感受野，提高网络预测准确率；如扩张率为2的扩张卷积即在3*3的普通卷积核的行和列中都插入0，得到5*5的扩张卷积核，这扩张卷积提高网络的感受野的同时能保证网络的参数量不变。
第二类卷积神经网络包括检测网络和分割网络；
图4显示了检测网络包括输入层、隐含层、输出层，检测网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；图4中共四列，分别表示隐含层各层的名称，每层的过滤器数量、每层的输入图像尺寸和输出图像尺寸；隐含层包括卷积层、最大池化层和结合层；首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与该高级特征层之前的一层或数层隐含层相结合；该高级特征层与相结合的隐含层的输出图像的长和宽必需相应一致；该高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层(最后一个卷积层为输出层)；
对于图4中的检测网络，先是5个卷积层和5个最大池化层交替连接；接着是连接若干个卷积层，本例选择连接了两个卷积层；随后再连接一个结合层(Route层)，用于将结合层之前相连接的高级特征层(图4中的第11层)与该高级特征层之前的一层或数层隐含层相结合，以使得高级特征层与低级细粒度特征结合；该高级特征层与相结合的隐含层的输出图像的长和宽必需相应一致；图4中将第11层和第9层(一个最大池化层)结合，也可以将第11层和第9层、第10层结合；该高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层；这样增加了神经网络对偏小的目标对象的检测效果；
对于检测网络，训练前将将大腿处的超声图像的标注曲线转化为标注框，图5展示了胎儿大腿处的标注框501；检测网络将超声图像作为输入，检测出超声图像中可能的测量部位，检测结果由检测框框出，检测网络的损失函数基于标注框和检测框的误差，卷积神经测量模型的检测网络通过损失函数训练，缩小检测误差，检测网络训练过程中损失函数越来越小，检测框越来越接近标注框；
损失函数的计算公式为：
其中，λ1-λ3表示各项误差在总的损失函数中占的比重，各项误差都选用平方误差的形式。
损失函数的第一项表示含有目标对象的检测框的概率预测的误差。其中，S2表示将超声图像划分成S×S个网格单元，如上述的13*13个单元；B表示每个网格单元设置多少个检测框；
表示第i个网格单元的第j个检测框是否含有目标检测对象，若检测框与标注框的交集较大，则认为检测框含有目标检测对象，
否则，认为检测框不含有目标检测对象，
表示检测网络对该网格单元当前的第j个检测框的预测概率；
第二项表示含有目标对象的检测框的位置和长宽的预测误差。其中xi，yi，hi，wi表示第i个网格单元的标注框的中心位置和长度、宽度信息，
表示预测的边界框相应的信息；
第三项是不含有目标对象的检测框的概率预测的误差，因为不含有目标对象的边界框占多数，所以λ3通常会设置得比λ1小，否则无法训练得到识别效果较好的网络。可选的，λ1＝5，λ2＝λ3＝1。
分割网络的输入是检测网络输出的检测框内的图像；分割网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；卷积层用于自动提取超声图像中的特征；可选地，第二部分分割网络的输入图像范围可以在检测框的基础上适当放大，例如上下左右分别扩张20个像素点；
第二类神经网络中的第二种，将腹部和头部的超声图像作为输入，包括与输入超声图像对应的各个分割网络，本例是两个分割网络；分割网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；卷积层用于自动提取超声图像中的特征；如图6所示；与图3的不同在于，因为分割网络预测的类别为2，即预测部位和非预测部位，所以分割网络的输出为256*256*2；白色长方形表示从神经网络的较浅的层复制特征到较深的层，复制的特征和较深的层的特征对应像素直接相加后进入下一层；
步骤S23，初始化神经网络：将神经网络的权重参数设置为0到1之间的随机数；
步骤S24，计算神经网络的损失函数；
以上涉及的检测网络的损失函数包括检测框位置和检测框的预测概率的损失；以上涉及的分割网络的损失函数选择像素级的交叉熵损失；计算公式为：
交叉熵损失是对超声图像中每个像素上的预测误差的总和；其中，x,y为分割网络的输入图像的长度和宽度，pij是超声图像中第i行第j列像素被分割网络预测的该像素为预测部位的概率，tij是超声图像中第i行第j列像素在超声图像模板中对应的数值，若该像素为预测部位，取值为1，否则，取值为0；分割网络输出的预测的概率与超声图像模板越接近，交叉熵损失函数越小；
步骤S25，训练神经网络以得到卷积神经测量模型；
随机选择训练集中的超声图像并对其进行随机的变换，然后输入神经网络，选择合适的训练迭代次数和批处理大小对神经网络进行训练；可选的，变换操作有旋转、缩放、裁剪、弹性形变等；优选的，本发明中只进行了随机旋转操作；
根据神经网络的损失函数更新神经网络的权重参数，更新神经网络的权重参数的机制使用自适应矩估计优化方法；
步骤S26，选择最优卷积神经测量模型的权重参数；
计算不同权重参数下的卷积神经测量模型在验证集上的预测结果，计算预测结果和标注转化得到的验证集图像模板之间的交并比，选择交并比最大情况下的权重参数作为最优参数；预测结果与图像模板的交并比即两者的交集除以两者的并集，记为IOU；计算公式为：
IOU＝(预测结果∩图形模板)/(预测结果∪图形模板)
IOU的可能取值范围为[0,1]
最后根据训练后的卷积神经测量模型确定超声图像中待测量部位的分布区域。本发明的胎儿生长参数测量方法能够通过训练后的卷积神经测量模型自动识别超声图像中胎儿的待测量部位，并自动测量胎儿的各项主要生长参数，测量结果相比于手动测量更准确，效率更高。
本发明的第三方面提供了一种超声设备，包括存储器和处理器。存储器用于存储计算机程序。处理器用于执行计算机程序以实现上述的胎儿超声图像生长参数测量的方法。本发明的超声设备能够通过训练后的卷积神经测量模型自动测量胎儿不同部位的生长参数，测量的准确度高，提供了医生的工作效率。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述的胎儿生长参数测量方法的步骤。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (11)
1.一种胎儿生长参数测量方法，其特征在于，包括：
获取胎儿至少一个部位的超声图像；
根据卷积神经测量模型确定所述超声图像中待测量部位的分布区域，所述卷积神经测量模型通过卷积神经网络对已标记的胎儿部位的若干超声图像进行训练确定；
突出显示待测量部位的分布区域轮廓并进行拟合；
通过对待测量部位对应的拟合后的轮廓进行测量，获取待测量部位的生长参数；
所述根据卷积神经测量模型确定所述超声图像中待测量部位的分布区域，包括：
对超声图像进行归一化，将超声图像固定到与所述卷积神经测量模型的输入层相适配的尺寸；
根据所述卷积神经测量模型计算所述超声图像中每个像素点为待测量部位的概率；
将超声图像中像素点概率超过预设概率的像素点确定为待测量部位；
所述根据所述卷积神经测量模型计算所述超声图像中每个像素点为待测量部位的概率，包括：
将输入卷积神经测量模型输入层的超声图像经过若干卷积层和下采样层分别进行卷积操作和下采样操作获取第一特征；
将所述第一特征再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作获取第二特征；
输出层根据所述第二特征进行卷积计算出超声图像中每个像素点为待测量部位的概率；
所述卷积神经测量模型通过卷积神经网络对已标记的胎儿部位的若干超声图像进行训练确定，具体包括：
收集胎儿各测量部位的超声图像并对测量部位进行标注；
基于收集到的超声图像及其标注，建立多种神经网络，训练得到卷积神经测量模型，选择最优卷积神经测量模型的参数；具体包括：
对收集的超声图像划分为训练集、验证集和测试集；对超声图像进行预处理：将超声图像固定到一定尺寸，并归一化同样尺寸的超声图像；
建立神经网络结构；神经网络的结构包括两类：第一类卷积神经网络和第二类卷积神经网络；
对于第一类卷积神经网络，用于将胎儿各测量部位的训练集超声图像输入到同一个神经网络，以得到测量部位的预测结果；第一类卷积神经网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；
第二类卷积神经网络包括检测网络和分割网络；检测网络包括输入层、隐含层、输出层，检测网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；隐含层包括卷积层、最大池化层和结合层；首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与该高级特征层之前的一层或数层隐含层相结合；检测网络损失函数包括三项，检测网络损失函数的第一项表示含有目标对象的检测框的概率预测的误差，第二项表示含有目标对象的检测框的位置和长宽的预测误差，第三项是不含有目标对象的检测框的概率预测的误差；分割网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；分割网络的损失函数选择像素级的交叉熵损失；
初始化神经网络：将神经网络的权重参数设置为0到1之间的随机数；
计算神经网络的损失函数；
训练神经网络以得到卷积神经测量模型；
选择最优卷积神经测量模型的权重参数。
2.如权利要求1所述的胎儿生长参数测量方法，其特征在于，所述根据卷积神经测量模型确定所述超声图像中待测量部位的分布区域，包括：
对超声图像进行归一化，将超声图像固定到与所述测量模型的输入层相适配的尺寸；
通过所述卷积神经测量模型的检测网络检测出待测量部位的位置区域；
根据所述卷积神经测量模型的分割网络计算所述位置区域中每个像素点为待测量部位的概率；
将位置区域中像素点概率超过预设概率的像素点确定为待测量部位。
3. 如权利要求1或2所述的胎儿生长参数测量方法，其特征在于， 所述突出显示待测量部位的分布区域轮廓并进行拟合，包括：
将经所述卷积神经测量模块确定待测量部位的分布区域的超声图像还原到初始超声图像的尺寸；
采用曲线对确定的待测量部位的分布区域的轮廓进行勾勒围合；
通过最小二乘法对勾勒的待测量部位的分布区域轮廓进行拟合。
4.如权利要求1所述的胎儿生长参数测量方法，其特征在于，所述卷积神经测量模型的神经网络对超声图像进行卷积或采样处理时，从较浅卷积层复制特征到较深的卷积层，复制的特征和较深卷积层的特征对应像素相加后进入下一层卷积层。
5.如权利要求2所述的胎儿生长参数测量方法，其特征在于，所述检测网络检测出待测量部位的位置区域由检测框标出。
6.如权利要求2或5所述的胎儿生长参数测量方法，其特征在于，所述检测网络包括输入层、隐含层、输出层，检测网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接，
所述隐含层包括卷积层、最大池化层和结合层，首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与所述高级特征层之前的一层或数层隐含层相结合；
所述高级特征层与相结合的隐含层的输出图像的长和宽一致；
所述高级特征层与之前的一层或数层隐含层相结合后一起输入到最后一个卷积层，最后一个卷积层作为输出层。
7.如权利要求2所述的胎儿生长参数测量方法，其特征在于，
根据所述卷积神经测量模型的分割网络计算所述位置区域中每个像素点为待测量部位的概率；具体包括：
将由检测网络标出待测量部位位置区域超声图像经过若干卷积层和下采样层分别进行卷积操作和下采样操作获取第一特征；
将所述第一特征再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作获取第二特征；
输出层根据所述第二特征进行卷积计算出超声图像中每个像素点为待测量部位的概率。
8.如权利要求2或5所述的胎儿生长参数测量方法，其特征在于，所述卷积神经测量模型的检测网络通过损失函数训练，缩小检测误差。
9.一种胎儿生长参数测量系统，其特征在于，包括：
获取单元，所述获取单元用于获取胎儿至少一个部位的超声图像；
第一处理单元，所述第一处理单元根据卷积神经测量模型确定所述超声图像中待测量部位的分布区域，所述测量模型通过卷积神经网络对已标记的不同胎儿部位的若干超声图像进行训练确定；
第二处理单元，所述第二处理单元突出显示待测量部位的分布区域轮廓并进行拟合；
测量单元，所述测量单元通过对待测量部位对应的拟合后的轮廓进行测量，获取不同待测量部位的生长参数；
所述根据卷积神经测量模型确定所述超声图像中待测量部位的分布区域，包括：
对超声图像进行归一化，将超声图像固定到与所述卷积神经测量模型的输入层相适配的尺寸；
根据所述卷积神经测量模型计算所述超声图像中每个像素点为待测量部位的概率；
将超声图像中像素点概率超过预设概率的像素点确定为待测量部位；
所述根据所述卷积神经测量模型计算所述超声图像中每个像素点为待测量部位的概率，包括：
将输入卷积神经测量模型输入层的超声图像经过若干卷积层和下采样层分别进行卷积操作和下采样操作获取第一特征；
将所述第一特征再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作获取第二特征；
输出层根据所述第二特征进行卷积计算出超声图像中每个像素点为待测量部位的概率；
所述卷积神经测量模型通过卷积神经网络对已标记的胎儿部位的若干超声图像进行训练确定，具体包括：
收集胎儿各测量部位的超声图像并对测量部位进行标注；
基于收集到的超声图像及其标注，建立多种神经网络，训练得到卷积神经测量模型，选择最优卷积神经测量模型的参数；具体包括：
对收集的超声图像划分为训练集、验证集和测试集；对超声图像进行预处理：将超声图像固定到一定尺寸，并归一化同样尺寸的超声图像；
建立神经网络结构；神经网络的结构包括两类：第一类卷积神经网络和第二类卷积神经网络；
对于第一类卷积神经网络，用于将胎儿各测量部位的训练集超声图像输入到同一个神经网络，以得到测量部位的预测结果；第一类卷积神经网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；
第二类卷积神经网络包括检测网络和分割网络；检测网络包括输入层、隐含层、输出层，检测网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；隐含层包括卷积层、最大池化层和结合层；首先是数个卷积层和数个最大池化层交替连接，然后再连接若干卷积层，随后再连接一个结合层，将结合层之前相连接的高级特征层与该高级特征层之前的一层或数层隐含层相结合；检测网络损失函数包括三项，检测网络损失函数的第一项表示含有目标对象的检测框的概率预测的误差，第二项表示含有目标对象的检测框的位置和长宽的预测误差，第三项是不含有目标对象的检测框的概率预测的误差；分割网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的超声图像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；分割网络的损失函数选择像素级的交叉熵损失；
初始化神经网络：将神经网络的权重参数设置为0到1之间的随机数；
计算神经网络的损失函数；
训练神经网络以得到卷积神经测量模型；
选择最优卷积神经测量模型的权重参数。
10.一种超声设备，其特征在于，包括:
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至8中任意一项所述的胎儿超声图像生长参数测量的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至8中任一项所述的胎儿生长参数测量方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910320623.XA CN111820948B (zh) | 2019-04-20 | 2019-04-20 | 胎儿生长参数测量方法、系统及超声设备 |
| PCT/CN2019/093711 WO2020215485A1 (zh) | 2019-04-20 | 2019-06-28 | 胎儿生长参数测量方法、系统及超声设备 |
| PCT/CN2019/093710 WO2020215484A1 (zh) | 2019-04-20 | 2019-06-28 | 胎儿颈部透明层厚度测量方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910320623.XA CN111820948B (zh) | 2019-04-20 | 2019-04-20 | 胎儿生长参数测量方法、系统及超声设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111820948A CN111820948A (zh) | 2020-10-27 |
| CN111820948B true CN111820948B (zh) | 2022-03-18 |
Family
ID=72911788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910320623.XA Active CN111820948B (zh) | 2019-04-20 | 2019-04-20 | 胎儿生长参数测量方法、系统及超声设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111820948B (zh) |
| WO (1) | WO2020215485A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112220497A (zh) * | 2020-11-11 | 2021-01-15 | 深圳开立生物医疗科技股份有限公司 | 一种超声成像显示方法及相关装置 |
| CN113033422A (zh) * | 2021-03-29 | 2021-06-25 | 中科万勋智能科技(苏州)有限公司 | 基于边缘计算的人脸检测方法、系统、设备和存储介质 |
| CN113487581A (zh) * | 2021-07-16 | 2021-10-08 | 武汉中旗生物医疗电子有限公司 | 胎儿头臀径自动测量方法、系统、设备及存储介质 |
| CN114073549A (zh) * | 2021-11-23 | 2022-02-22 | 南方科技大学医院 | 一种智能获取胎儿颜面部骨性结构参数的方法及终端设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102151149A (zh) * | 2010-12-24 | 2011-08-17 | 深圳市理邦精密仪器股份有限公司 | 一种胎儿超声图像自动测量方法及系统 |
| CN105662474A (zh) * | 2016-01-22 | 2016-06-15 | 飞依诺科技(苏州)有限公司 | 胎儿头围超声图像的自动检测方法及检测系统 |
| CN106408566A (zh) * | 2016-11-10 | 2017-02-15 | 深圳大学 | 一种胎儿超声图像质量控制方法及系统 |
| CN108186051A (zh) * | 2017-12-26 | 2018-06-22 | 珠海艾博罗生物技术股份有限公司 | 一种从超声图像中自动测量胎儿双顶径长度的图像处理方法及处理系统 |
| CN108378869A (zh) * | 2017-12-26 | 2018-08-10 | 珠海艾博罗生物技术股份有限公司 | 一种从超声图像中自动测量胎儿头围长度的图像处理方法及处理系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5984870A (en) * | 1997-07-25 | 1999-11-16 | Arch Development Corporation | Method and system for the automated analysis of lesions in ultrasound images |
| US7058210B2 (en) * | 2001-11-20 | 2006-06-06 | General Electric Company | Method and system for lung disease detection |
| CN100462054C (zh) * | 2007-07-06 | 2009-02-18 | 深圳市迈科龙电子有限公司 | 胎儿图像性别部位识别屏蔽方法 |
| CN103239249B (zh) * | 2013-04-19 | 2015-04-22 | 深圳大学 | 一种胎儿超声图像的测量方法 |
| CN106951928A (zh) * | 2017-04-05 | 2017-07-14 | 广东工业大学 | 一种甲状腺乳头状癌的超声图像识别方法及装置 |
-
2019
- 2019-04-20 CN CN201910320623.XA patent/CN111820948B/zh active Active
- 2019-06-28 WO PCT/CN2019/093711 patent/WO2020215485A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102151149A (zh) * | 2010-12-24 | 2011-08-17 | 深圳市理邦精密仪器股份有限公司 | 一种胎儿超声图像自动测量方法及系统 |
| CN105662474A (zh) * | 2016-01-22 | 2016-06-15 | 飞依诺科技(苏州)有限公司 | 胎儿头围超声图像的自动检测方法及检测系统 |
| CN106408566A (zh) * | 2016-11-10 | 2017-02-15 | 深圳大学 | 一种胎儿超声图像质量控制方法及系统 |
| CN108186051A (zh) * | 2017-12-26 | 2018-06-22 | 珠海艾博罗生物技术股份有限公司 | 一种从超声图像中自动测量胎儿双顶径长度的图像处理方法及处理系统 |
| CN108378869A (zh) * | 2017-12-26 | 2018-08-10 | 珠海艾博罗生物技术股份有限公司 | 一种从超声图像中自动测量胎儿头围长度的图像处理方法及处理系统 |
Non-Patent Citations (1)
| Title |
|---|
| "胎儿腹部超声图像自动质量控制与参数测量";吴凌云;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20170715;论文正文第8-42页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111820948A (zh) | 2020-10-27 |
| WO2020215485A1 (zh) | 2020-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111820948B (zh) | 胎儿生长参数测量方法、系统及超声设备 | |
| Sobhaninia et al. | Fetal ultrasound image segmentation for measuring biometric parameters using multi-task deep learning | |
| US11229419B2 (en) | Method for processing 3D image data and 3D ultrasonic imaging method and system | |
| JP6467041B2 (ja) | 超音波診断装置、及び画像処理方法 | |
| CN110325119B (zh) | 卵巢卵泡计数和大小确定 | |
| CN112469340A (zh) | 具有用于引导式肝成像的人工神经网络的超声系统 | |
| CN112384146B (zh) | 从若干超声图像识别最佳图像 | |
| US20200043602A1 (en) | Ultrasound clinical feature detection and associated devices, systems, and methods | |
| CN104143047B (zh) | 血管内超声灰阶图像的自动组织标定方法 | |
| DE102012108121A1 (de) | Verfahren und System für ultraschallgestützte automatische Erkennung, Quantifizierung und Nachverfolgung von Pathologien | |
| CN111683600B (zh) | 用于根据超声图像获得解剖测量的设备和方法 | |
| Wee et al. | Nuchal translucency marker detection based on artificial neural network and measurement via bidirectional iteration forward propagation | |
| CN110163907B (zh) | 胎儿颈部透明层厚度测量方法、设备及存储介质 | |
| Supriyanto et al. | Ultrasonic marker pattern recognition and measurement using artificial neural network | |
| US11484286B2 (en) | Ultrasound evaluation of anatomical features | |
| CN112168211B (zh) | 一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统 | |
| Aji et al. | Automatic measurement of fetal head circumference from 2-dimensional ultrasound | |
| US20220249060A1 (en) | Method for processing 3d image data and 3d ultrasonic imaging method and system | |
| WO2016049681A1 (en) | Ultrasound image processing system and method | |
| CN110930394B (zh) | 测量肌肉肌纤维束线斜率和羽状角的方法及终端设备 | |
| CN115035207A (zh) | 胎儿颅脑标准切面生成方法、装置和超声成像显示系统 | |
| JP2023552330A (ja) | 個人が１つ又は複数の病害を有する可能性を予測すること | |
| CN115813433A (zh) | 基于二维超声成像的卵泡测量方法和超声成像系统 | |
| CN113229850A (zh) | 超声盆底成像方法和超声成像系统 | |
| CN113939236B (zh) | 一种超声成像设备及其超声回波信号的处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |