CN110033020A - 基于深度学习的胎儿超声图像中标准切面图像识别方法及识别系统 - Google Patents

Abstract

本发明公开一种基于深度学习的胎儿超声切面图像中标准切面图像识别系统，其特征在于，包括图像采集模组、图像传输模组、图像识别模组及显示模组，所述图像采集模组对胎儿超声图像进行全扫描获得全扫描胎儿超声切面图像，所述图像传输模组通过无线或者有线方式传输全扫描胎儿超声切面图像至所述图像识别模组，所述图像识别模组基于Inception V3深度学习模型自动识别标准胎儿超声切面图像及基本标准胎儿超声切面图像，并由所述显示模组输出。本发明通过深度学习建立图像识别模组快速高效识别标准切面，提高效率和识别精度。同时，本发明还提供一种基于深度学习的胎儿超声切面图像中标准切面图像识别方法。

Description

基于深度学习的胎儿超声图像中标准切面图像识别方法及识 别系统

技术领域

本发明涉及图像识别技术领域，特别地，涉及一种基于深度学习的胎儿超声切面图像标准切面图像的识别方法和识别系统。

背景技术

熟悉正常胎儿解剖结构，有助于判断胎儿异常与否，所以如何精确测量胎儿的不同生命周期节点的结构、特定图像的参数以及对应特定图像参数的测量手段至关重要，诸如脑室、大脑半球、胸腔、心脏、脊柱、胃、肾和膀胱、脐带与腹壁附着部位以及肢体长骨如股骨、肱骨等结构及其参数、测量精度对判断胎儿是否正常发育是必不可少的。

现有技术中，有诸多描述胎儿正常生长参数和生长曲线图,最常用的有头臀长、双顶径、头围、小脑横径、腹围、股骨长、肱骨长、等。上述参数只有基于对应结构的标准切面图像的测量值，才能提供准确的胎龄与体重等，所以标准切面图像的识别是精确检测胎儿参数的前提，如果医师用于测量上述参数不是基于标准切面图像测量得到，则会大大影响检测结果的准确性，误导医师的判断。

那么如何快速准确找到用于胎儿检测的标准切面图像，业界有多种技术手段。现有技术主要通过超声检测手段来协助医师进行结构检查和参数数据测量，然而在该过程中，医师仅能基于自身的经验和主观判断来寻找标准切面图像，并无统一的标准检测方法，往往存在较大误差。

另一方面，随着人工神经网络的研究，深度学习的概念成为机器学习中对数据进行表征学习的有效手段，其可以在非监督式或者半监督式的特征学习和分层特征提取高效算法来替代手工获取特征并快速识别。

鉴于此，有必要提供一种基于深度学习的胎儿超声识别图像标准切面图像识别方法和系统，以克服现有技术中人工检测效率低及错误率高的缺陷。

发明内容

为了解决现有技术胎儿超声切面图像标准切面图像获取困难及检测效率低下的技术问题，本发明提供一种快速、精确获取胎儿超声切面图像标准切面图像、减少依赖人为经验判断的基于深度学习的胎儿超声切面图像中标准切面图像识别方法。

同时，本发明还提供一种采用上述基于深度学习的胎儿超声切面图像中标准切面图像识别方法的识别系统。

一种基于深度学习的胎儿超声切面图像中标准切面图像识别方法，包括如下步骤：构建模型：构建胎儿超声切面图像识别模型；采集数据：获取胎儿超声切面图像样本数据；模型训练：采集数据步骤获得的胎儿超声切面图像样本数据训练构建的模型；经上一步骤训练后的模型对实际样本进行标准切面图像识别，并输出识别结果。

在本发明所提供基于深度学习的胎儿超声切面图像中标准切面图像识别方法的一种较佳实施例中，所述步骤构建模型中的模型是通过深度学习模型Inception V3构建。

在本发明所提供基于深度学习的胎儿超声切面图像中标准切面图像识别方法的一种较佳实施例中，所述步骤构建模型中，还包括建立胎儿超声切面图像分类步骤，所述胎儿图像识别模型通过该分类标准对胎儿超声切面图像进行分类。

在本发明所提供基于深度学习的胎儿超声切面图像中标准切面图像识别方法的一种较佳实施例中，所述建立胎儿超声切面图像分类步骤包括第一层级分类及基于第一层级分类的第二层级分类，所述第二层级分类是第一层级分类的细化。

在本发明所提供基于深度学习的胎儿超声切面图像中标准切面图像识别方法的一种较佳实施例中，所述构建模型还包括使用SoftMax函数作用于训练样本数据的特征上，获得每一第二分类训练样本数据对应第二分类的置信度的步骤。

在本发明所提供基于深度学习的胎儿超声切面图像中标准切面图像识别方法的一种较佳实施例中，还包括依据获得的第一或者第二分类训练样本数据的置信度获取训练样本数据的第一或者第二层级标准超声切面图像、第一或者第二层级基本标准超声切面图像。

在本发明所提供基于深度学习的胎儿超声切面图像中标准切面图像识别方法的一种较佳实施例中，设定当所述第一或者第二分类超声切面图像的置信度值大于0.95，则记录该训练样本数据为第一或者第二分类标准超声切面图像；当所述第一或者第二分类超声切面图像的置信度值介于0.85至0.95之间，则记录该训练样本数据为第一或者第二分类基本标准超声切面图像；当所述第一或者第二分类超声切面图像的置信度值小于0.85，则忽略该超声切面图像。

在本发明所提供基于深度学习的胎儿超声切面图像中标准切面图像识别方法的一种较佳实施例中，步骤采集数据中采集的图像样本数据包括标准超声切面图像及基本标准超声切面图像训练样本，其获取步骤获取包括如下步骤：S221：提供来自医师临床诊断过程中确认的分类胎儿超声切面图像；步骤S222：对步骤S221提供的胎儿超声切面图像视频数据，拆分成多帧胎儿超声切面图像；步骤S223：使用标准工具，对步骤S222分割后的多帧胎儿超声切面图像标注；步骤S224：依据标注结果，对步骤S223标准后的多帧胎儿超声切面图像分类为标准胎儿超声切面图像、基本标准胎儿超声切面图像及非标准胎儿超声切面图像。

一种基于深度学习的胎儿超声切面图像中标准切面图像识别系统，包括图像采集模组、图像传输模组、图像识别模组及显示模组，所述图像采集模组对胎儿超声图像进行全扫描获得全扫描胎儿超声切面图像，所述图像传输模组通过无线或者有线方式传输全扫描胎儿超声切面图像至所述图像识别模组，所述图像识别模组基于InceptionV3深度学习模型自动识别标准胎儿超声切面图像及基本标准胎儿超声切面图像，并由所述显示模组输出。

在本发明所提供基于深度学习的胎儿超声切面图像中标准切面图像识别系统的一种较佳实施例中，当所述超声切面图像的置信度值大于0.95，则记录该切面图像为标准超声切面图像；当所述超声切面图像的置信度值介于0.85至0.95之间，则记录该切面图像为基本标准超声切面图像。

相较于现有技术，本发明提供的基于深度学习的胎儿超声切面图像中标准切面图像识别系统及识别方法有效快速识别标准切面，减少人工操作带来的错误，提高工作效率，降低成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是本发明一种基于深度学习的胎儿超声切面图像中标准切面图像识别系统框架图；

图2是一组胎儿超声连续切面图像；

图3是图1所示图像识别模型建立流程示意图；

图4是基于深度学习的胎儿超声切面图像中标准切面图像识别方法；

图5是标准超声切面图像及基本标准超声切面图像训练样本获取的流程图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请结合参阅图1，是本发明一种基于深度学习的胎儿超声切面图像中标准切面识别系统框架图。

所述基于深度学习的胎儿超声切面图像中标准切面识别系统10包括图像采集模组11、图像传输模组13、图像识别模组15及显示模组17。

所述图像采集模组11对孕妇胎儿进行超声扫描，获取胎儿超声切面图像的全扫描图像。在本实施方式中，所述图像采集模组11是超声探头，提供所述图像采集模组11在孕妇的腹部移动，同时超声信号进入孕妇的腹部，于腹腔内，所述超声信号从胎儿皮肤表面反射回来，再次被图像采集模组11接收，对接收到的超声反射信号处理以获得胎儿各器官的图像。所述胎儿超声切面图像的全扫描图像即通过所述图像采集模组11对孕妇胎儿的全角度连续扫描形成的所有连续切面图像的集合，其包括标准切面图像、基本标准切面图像及非标准切面图像。

请参阅图2，取所述图像采集模组11扫描后获得的一组胎儿超声连续图像，该组图像由七张连续分布的胎儿超声切面图像组成，分别为切面图像a1～a7。定义所述标准切面图像切面即对胎儿器官能够清晰判断和参数测量的最佳图像超声切面图像，如a7帧图像；定义所述基准标准切面图像即对胎儿器官能够基本判断和参数测量的切面图像，其精度低于所述标准切面图像，如a5帧图像及a6帧图像；定义所述非标准切面图像即对胎儿超声切面图像判断及参数测量不具有贡献的超声切面图像，如a1～a4帧画面。

在本实施方式中，所述图像采集模组11是超声探头分别从不同角度和维度连续扫描胎儿超声切面图像的全扫描图像。

所述图像传输模组13接收来自所述图像采集模组11所采集的胎儿超声切面图像的全扫描图像，并实时传输至所述图像识别模组15。在本实施方式中，所述图像传输模组13是有线传输。当然，作为上述实施方式的进一步改进，所述图像传输模组13还可以是通过红外、蓝牙、RFID等无线传输方式传输所述图像采集模组11所采集的胎儿超声切面图像的全扫描图像传输至所述图像识别模组15。

所述图像识别模组15是经由深度学习胎儿超声切面图像，并自动快速获取其中标准切面图像的深度学习模型，其接收经所述图像传输模组13传输的胎儿超声切面图像的全扫描切面图像，并从中快速识别获取标准切面图像或者基本标准切面图像。

在本实施方式中，所述图像识别模组15是基于Inception V3深度学习模型建立的胎儿超声切面图像识别模型，利用所述图像识别模组15的构建如图3所示，其包括如下步骤：

步骤S01，使用深度卷积神经网络作为特征提取工具构建分类器进行第一层级分类。

具体的，对图像采集模组11获取的胎儿超声切面图像的全扫描切面图像经第一层级分类后，依据特征分布分别定义为颅脑结构、心脏结构、泌尿生殖系统结构、腹部结构等第一分类集。

步骤S02，提供多帧第一分类集命名的训练样本数据，其中每一训练样本数据对应第一分类，使用SoftMax函数作用于训练样本数据的特征上，获得每一训练样本数据对应第一分类切面图像的置信度。

具体的，提供训练样本数据对应的超声切面图像输入到RPN(region proposalnetwork)子网络，RPN网络采取滑动anchor的方式，遍历第一分类标准超声切面图像、第一分类基本标准超声切面图像特征，anchor选取以特征图中每个点为中心的正方形，取1倍，2倍，4倍，三种缩放，和1:1，1:2，2:1三种长宽比的9个矩形框。RPN网络学习预测出每个框是不是某一切面图像类别的概率值，将概率值小于0.5的剔除，剩余的候选框，使用非极大值抑制的方式进一步筛选，遍历所有候选框，计算两两候选框之间重叠的面积，重叠面积比上两框面积和，若结果超过阈值0.8的，留下概率值更高的候选框，最后剩余的候选框即为RPN网络的输出。对特征提取器提取出的特征图，使用large separable conv卷积操作进一步提取特征，并减小特征维度。使用候选框截取上述特征图中对应区域，将截取区域输入到后面，分类出是否为某个第一分类的概率，回归出特征包围框。使用候选框截取上述特征图中对应区域,将截取区域特征输入到Mask分支，分类出前景和背景，即可完成对特征的分割操作。

步骤S03，依据步骤S02获得的第一分类训练样本数据的置信度获取训练样本数据的第一层级标准超声切面图像和第一层级基本标准超声切面图像。

具体的，设定超声切面图像置信度大于0.95的超声切面图像为标准切面图像，超声切面图像置信度介于0.85至0.95之间的超声切面图像为基本标准切面图像，超声切面图像置信度小于0.85的超声切面图像为非标准切面图像。提供涉及颅脑结构、心脏结构、泌尿生殖系统结构、腹部结构等第一分类图像的训练样本数据，使用SoftMax函数作用于上述第一分类超声切面图像，依据步骤S01定义的第一分类标准对应分类获得颅脑结构超声切面图像、心脏结构超声切面图像、泌尿生殖系统结构超声切面图像、腹部结构超声切面图像等，取得每一训练样本数据的置信度值，并判断：

当所述第一分类超声切面图像的置信度值大于0.95，则记录该训练样本数据为第一分类标准超声切面图像；

当所述第一分类超声切面图像的置信度值介于0.85至0.95之间，则记录该训练样本数据为第一分类基本标准超声切面图像；

当所述第一分类超声切面图像的置信度值小于0.85，则忽略该超声切面图像。

步骤S04，使用深度卷积神经网络作为特征提取工具构建分类器进行第二层级分类。

具体的，对第一层及分类后的其中任意一类第一分类标准超声切面图像、第一分类基本标准超声切面图像进行第二层级分类，获得多个第二层级分类集。如对第一分类集中的颅脑结构标准超声切面图像和基本标准超声切面图像依据第二层级分类标准，对应分类为脑室结构、大脑结构、脑桥、延髓、丘脑、第三脑室、中脑、小脑半球、小脑蚓部、第四脑室、颅后窝池等。

步骤S05，提供多帧第二分类集命名的训练样本数据，其中每一训练样本数据对应一第二分类，使用SoftMax函数作用于训练样本数据的特征上，获得每一第二分类训练样本数据对应第二分类的置信度。

具体的，提供训练样本数据对应的超声切面图像输入到RPN(region proposalnetwork)子网络，RPN网络采取滑动anchor的方式，遍历第一分类标准超声切面图像、第一分类基本标准超声切面图像特征，anchor选取以特征图中每个点为中心的正方形，取1倍，2倍，4倍，三种缩放，和1:1，1:2，2:1三种长宽比的9个矩形框。RPN网络学习预测出每个框是不是某个类别的概率值，将概率值小于0.5的剔除，剩余的候选框，使用非极大值抑制的方式进一步筛选，遍历所有候选框，计算两两候选框之间重叠的面积，重叠面积比上两框面积和，若结果超过阈值0.8的，留下概率值更高的候选框，最后剩余的候选框即为RPN网络的输出。对特征提取器提取出的特征图，使用large separable conv卷积操作进一步提取特征，并减小特征维度。使用候选框截取上述特征图中对应区域，将截取区域输入到后面，分类出是否为某个第一分类的概率，回归出特征包围框。使用候选框截取上述特征图中对应区域,将截取区域特征输入到Mask分支，分类出前景和背景，即可完成对特征的分割操作。

步骤S06，依据步骤S05获得的第二分类训练样本数据的置信度获取训练样本数据的第二层级标准超声切面图像和第二层级基本标准超声切面图像。

具体的，设定超声切面图像置信度大于0.95的超声切面图像为标准切面图像，超声切面图像置信度介于0.85至0.95之间的超声切面图像为基本标准切面图像，超声切面图像置信度小于0.85的超声切面图像为非标准切面图像。提供涉及颅脑结构、心脏结构、泌尿生殖系统结构、腹部结构等第二分类图像的训练样本数据，使用SoftMax函数作用于上述第二分类超声切面图像，依据步骤S01定义的第一分类标准对应分类获得颅脑结构超声切面图像、心脏结构超声切面图像、生殖系统结构超声切面图像、腹部结构超声切面图像等，取得每一训练样本数据的置信度值，并判断：

当所述第二分类超声切面图像的置信度值大于0.95，则记录该训练样本数据为第二分类标准超声切面图像；

当所述第二分类超声切面图像的置信度值介于0.85至0.95之间，则记录该训练样本数据为第二分类基本标准超声切面图像；

当所述第二分类超声切面图像的置信度值小于0.85，则忽略该超声切面图像。

如此，获得具有第一分类超声切面图像进行识别和第二超声切面图像进行识别的超声切面图像识别模组15。

请再次参阅图1，所述显示模组17对应同步显示经所述图像识别模组15分析过滤后获得的标准超声切面图像或/和基本标准超声切面图像，并输出。

请参阅图4，是采用本发明图1所示基于深度学习的胎儿超声切面图像中标准切面图像识别系统10对胎儿超声切面图像进行识别的方法流程示意图。所述基于深度学习的胎儿超声切面图像中标准切面图像识别方法包括如下步骤：

步骤S21：构建图像识别模组15模型；

在本实施方式中，于所述图像识别模组15内建立胎儿超声切面图像分类，其中所述分类按照胎儿不同周期和不同位置的器官结构对应分为多个分类层级，所述图像识别模组15对应识别第一分类标准超声切面图像或/和第一分类基本标准超声切面图像，所述图像识别子模组151对应识别第二分类标准超声切面图像或/和第二分类基本标准超声切面图像。所述第二分类标准超声切面图像或/和第二分类基本标准超声切面图像是第一分类标准超声切面图像或/和第一分类基本标准超声切面图像的细化分类。

当然的，根据实际结构分类需求及测量精度需求，所述胎儿超声分类还可以包括第三分类标准超声切面图像或/和第三分类基本标准超声切面图像，其中所述第三分类标准超声切面图像或/和第三分类基本标准超声切面图像是第二分类标准超声切面图像或/和第二分类基本标准超声切面图像的进一步细化分类。

对应的，所述图像识别模组15包括多个图像识别子模组151，每一图像识别子模组151对应识别第二分类标准超声切面图像或/和第二分类基本标准超声切面图像；进一步的，所述图像识别子模组151还可以包括多个图像识别次模组，每一图像识别次模组对应识别第三分类标准超声切面图像或/和第三分类基本标准超声切面图像，依次类推。

步骤S22：建立标准超声切面图像及基本标准超声切面图像训练样本，并对步骤S21构建的胎儿超声切面图像识别模型进行训练；

在该步骤中，所述标准超声切面图像及基本标准超声切面图像训练样本获取的步骤如图5所示，具体包括如下步骤：

步骤S221：提供来自医师临床诊断过程中确认的分类胎儿超声切面图像；

步骤S222：对步骤S221提供的胎儿超声切面图像视频数据，拆分成多帧胎儿超声切面图像；

步骤S223：使用标准工具，对步骤S222分割后的多帧胎儿超声切面图像标注；

步骤S224：依据标注结果，对步骤S223标准后的多帧胎儿超声切面图像分类为标准胎儿超声切面图像、基本标准胎儿超声切面图像及非标准胎儿超声切面图像。

如此获得标准超声切面图像及基本标准超声切面图像训练样本。

当对图像识别模组15进行训练时，首先，对获得标准超声切面图像及基本标准超声切面图像训练样本标注数据按8：2：1的比例分为训练集和验证集和测试集；然后，对训练集数据进行旋转，翻转进行数据增强。将训练集数据输入网络模型训练，接着，对产生的模型使用验证集数据进行评估验证，验证模型的精度，重复上述训练步骤。

步骤S23：所述数据采集模组11采集实际胎儿超声切面图像的全扫描图像；

步骤S24：所述图像传输模组13传输经步骤S23获取的实际胎儿超声切面图像的全扫描图像传输至所述步骤S21构建的图像识别模组15；

步骤S25：所述图像识别模组15接收实际胎儿超声切面图像的全扫描图像，并识别获得第一分类标准超声切面图像和第一分类基本标准超声切面图像；

步骤S26：所述图像识别子模组151接收步骤S25获得的第一分类标准超声切面图像和第一分类基本标准超声切面图像，并识别获得第二分类标准超声切面图像和第二分类基本标准超声切面图像。

步骤S27，所述显示模组17对应同步显示步骤S26获得的第二分类标准超声切面图像和第二分类基本标准超声切面图像，并输出。

在本发明的基于深度学习的胎儿超声切面图像中标准切面图像识别系统10中，其通过提供切面图像深度识别模型15，通过自动深度学习的方式自动快速筛选标准切面图像及基本标准切面图像，提供工作效率，减少人工识别的错误和提高识别精度，有助于快速精确判断切面图像特征。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于深度学习的胎儿超声切面图像中标准切面图像识别方法，包括如下步骤：

步骤S01，构建模型：构建胎儿超声切面图像识别模型；

步骤S02，采集数据：获取胎儿超声切面图像样本数据；

步骤S03，模型训练：以步骤S02获得的胎儿超声切面图像样本数据训练步骤S01构建的模型；

步骤S04，以步骤S03训练后的模型对实际胎儿超声切面图像进行标准切面图像识别，并输出识别结果。

2.如权利要求1所述的基于深度学习的胎儿超声切面图像中标准切面图像识别方法，其特征在于，步骤构建模型中的模型是通过深度学习模型Inception V3构建。

3.如权利要求2所述的基于深度学习的胎儿超声切面图像中标准切面图像识别方法，其特征在于，步骤构建模型中，还包括建立胎儿超声切面图像分类步骤，所述胎儿图像识别模型通过该分类标准对胎儿超声切面图像进行分类。

4.如权利要求3所述的基于深度学习的胎儿超声切面图像中标准切面图像识别方法，其特征在于，所述建立胎儿超声切面图像分类步骤包括第一层级分类及基于第一层级分类的第二层级分类，所述第二层级分类是第一层级分类的细化。

5.如权利要求4所述的基于深度学习的胎儿超声切面图像中标准切面图像识别方法，其特征在于，所述构建模型还包括使用SoftMax函数作用于训练样本数据的特征上，获得每一第二分类训练样本数据对应第二分类的置信度的步骤。

6.如权利要求5所述的基于深度学习的胎儿超声切面图像中标准切面图像识别方法，其特征在于，还包括依据获得的第一或者第二分类训练样本数据的置信度获取训练样本数据的第一或者第二层级标准超声切面图像、第一或者第二层级基本标准超声切面图像。

7.如权利要求6所述的基于深度学习的胎儿超声切面图像中标准切面图像识别方法，其特征在于，设定当所述第一或者第二分类超声切面图像的置信度值大于0.95，则记录该训练样本数据为第一或者第二分类标准超声切面图像；

当所述第一或者第二分类超声切面图像的置信度值介于0.85至0.95之间，则记录该训练样本数据为第一或者第二分类基本标准超声切面图像；

当所述第一或者第二分类超声切面图像的置信度值小于0.85，则忽略该超声切面图像。

8.如权利要求1所述的基于深度学习的胎儿超声切面图像中标准切面图像识别方法，其特征在于，步骤采集数据中采集的图像样本数据包括标准超声切面图像及基本标准超声切面图像训练样本，其获取步骤获取包括如下步骤：

步骤S221：提供来自医师临床诊断过程中确认的分类胎儿超声切面图像；

步骤S222：对步骤S221提供的胎儿超声切面图像视频数据，拆分成多帧胎儿超声切面图像；

步骤S223：使用标准工具，对步骤S222分割后的多帧胎儿超声切面图像标注；

步骤S224：依据标注结果，对步骤S223标准后的多帧胎儿超声切面图像分类为标准胎儿超声切面图像、基本标准胎儿超声切面图像及非标准胎儿超声切面图像。

9.一种基于深度学习的胎儿超声切面图像中标准切面图像识别系统，其特征在于，包括图像采集模组、图像传输模组、图像识别模组及显示模组，所述图像采集模组对胎儿超声图像进行全扫描获得全扫描胎儿超声切面图像，所述图像传输模组通过无线或者有线方式传输全扫描胎儿超声切面图像至所述图像识别模组，所述图像识别模组基于深度学习模型自动识别标准胎儿超声切面图像及基本标准胎儿超声切面图像，并由所述显示模组输出。

10.如权利要求9所述的基于深度学习的胎儿超声切面图像中标准切面图像识别系统，其特征在于，当所述超声切面图像的置信度值大于0.95，则记录该切面图像为标准超声切面图像；

当所述超声切面图像的置信度值介于0.85至0.95之间，则记录该切面图像为基本标准超声切面图像。