CN109620293A - 一种图像识别方法、装置以及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像识别方法、装置以及存储介质，其中，本申请实施例获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。该方案可以提高图像识别的效率和准确率。

Description

一种图像识别方法、装置以及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像识别方法、装置以及存储介质。

背景技术

根据相关心脏协会有关统计，心脏疾病在全球疾病死亡率中位居前列，是让人类惊恐的"死亡杀手"。早期筛查可以在初期提高诊断率，早诊断，早治疗能大大提高心脏疾病的康复几率。

目前常见的心脏疾病检测方式主要是利用超声心动图(简称M超)结合心电图的方式来检测心脏疾病。该方案具体包括：通过医生收到并确定心电图的心动周期，通过医生手动基于心动周期、识别并标注M超内心室壁内外层定位点，从而计算心脏病理信息。

由于目前心脏疾病检测方式依赖于医生，比如，需要医生确定心动周期、M超内心室壁内外层定位点，因此，会导致图像识别的效率和准确率较低。

发明内容

本申请实施例提供了一种图像识别方法、装置以及存储介质，可以提高图像识别效率和准确率。

第一方面，本申请实施例提供了一种图像识别方法，包括：

获取心脏的超声心动图像、以及所述心动周期区域参考尺寸信息；

根据心动周期检测网络模型和所述心动周期区域参考尺寸信息，对所述超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，所述区域信息包括区域位置信息；

从所述若干心动周期区域的区域位置信息中，确定目标区域位置信息；

根据所述目标区域位置信息从所述超声心动图像中提取待检测的心动周期区域图像；

采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

第二方面，本申请实施例提供了一种图像识别装置，包括：

获取模块，用于获取心脏的超声心动图像、以及所述心动周期区域参考尺寸信息；

心动周期检测模块，用于根据心动周期检测网络模型和所述心动周期区域参考尺寸信息，对所述超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，所述区域信息包括区域位置信息；

目标区域确定模块，用于从所述若干心动周期区域的区域位置信息中，确定目标区域位置信息；

提取模块，用于根据所述目标区域位置信息从所述超声心动图像中提取待检测的心动周期区域图像；

定位点检测模块，用于采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

第三方面，本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的图像识别方法。

本申请实施例公开了一种图像识别方法、装置以及存储介质，其中，本申请实施例获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息，由于方案采用心动周期检测网络模型对心动周期进行检测，又采用定位点检测网络模型对心室壁内外层定位点的位置信息进行检测，也即采用流式方案，无需依赖心电图进行心动周期的检测，也无需用过医生手动对心动周期以及心室壁内外层定位点进行标注，减少了医生工作量，也避免了由于医生经验不足等造成的标注不准确等情况，从而提高了图像识别的效率和准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像识别方法的应用场景示意图。

图2是本申请实施例提供的图像识别方法的第一流程示意图。

图3是本申请实施例提供的图像识别方法的第二流程示意图。

图4是本申请实施例提供的基于深度学习网络的心动周期检测模型示意图。

图5是本申请实施例提供的图像识别方法流程示意图。

图6是本申请实施例提供的标注的样本心动周期区域图像。

图7是本申请实施例提供的心动周期检测网络模型示意图。

图8是本申请实施例提供的定位点检测网络模型示意图。

图9是本申请实施例提供的图像识别装置的第一结构示意图。

图10是本申请实施例提供的图像识别装置的第二结构示意图。

图11是本申请实施例提供的图像识别装置的第三结构示意图。

图12是本申请实施例提供的图像识别装置的第四结构示意图。

图13是本申请实施例提供的图像识别装置的第五结构示意图。

图14是本申请实施例提供的网络设备的结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。

本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种图像识别方法，该图像识别方法的执行主体可以是本申请实施例提供的图像识别装置，或者集成了该图像识别装置的网络设备，其中该图像识别装置可以采用硬件或者软件的方式实现。其中，网络设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。

请参阅图1，图1是本申请实施例提供的图像识别方法的应用场景示意图，以图像识别装置集成在网络设备中为例，网络设备可以获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

请参阅图2，图2是本申请实施例提供的图像识别方法的第一流程示意图。本申请实施例提供的图像识别方法的具体流程可以如下：

201、获取心脏的超声心动图像、以及所述心动周期区域参考尺寸信息。

其中，超声心动图像是利用超声采集的心脏周期性活动的图像；比如可以为应用超声测距原理，使得脉冲超声波透过胸壁、软组织测量其下各心壁、心室及瓣膜等结构的周期性活动的图像，譬如，超声心动图像可以包括M型超声心动图像。

其中，超声心动图像包括各心脏结构相应的活动和时间之间的关系，如关系曲线；比如，在超声心动图像中，以时间作为横坐标，以二维超声胸骨旁左心长轴切面中二尖瓣前叶垂直线的M型超声心动图像信号作为纵坐标，通过时间的推移以及心脏的跳动，左心室进行收缩舒张，使得心室壁的位置产生变化。

其中，获取超声心动图像的方式可以有多种，比如，具体可以通过各超声图像采集设备(超声心动仪等)，对采集人体心脏进行图像采集，得到超声心动图像，进而提供给该图像识别装置，也即，图像识别装置具体可以接收超声图像采集设备发送的超声心动图像。

又比如，可以从本地或者外部数据库中获取超声心动图像，或者可以从网络中搜索超声心动图像等等。

在一实施例中，获取到超声心动图像后，为了避免机器或人工标记等的彩色图标影响后续检测，还可以对该超声心动图像进行预处理，比如，将超声心动图像转换成灰度超声心动图像，该灰度超声心动图像为用灰度表示的超声心动图像。由于一幅图像会受多因素的影响，为了能获得图像中包含的不受外界影响的恒定信息，可以对该灰度超声心动图像进行白化处理，得到白化处理后的灰度超声心动图像，将该白化处理后的灰度超声心动图像作为超声心动图像，进行以下步骤。通过对超声心动图像进行预处理，可以消除图像中无关的信息，增强信息的可检测性以及最大限度地简化数据，从而提高特征抽取、识别等的可靠性，方便对于超声心动图像的检测和提取。

其中，心动周期区域参考尺寸信息可以为用于心动周期检测的作为参考的心动周期区域的尺寸信息，比如，可以通过种子框来表示心动周期区域，用种子框的尺寸信息表示心动周期区域参考尺寸信息。

具体地，步骤“获取参考心动周期区域”可以包括：

获取所述样本超声心动图像中标注的样本心动周期区域的尺寸信息；

根据所述样本心动周期区域的尺寸信息构建所述参考心动周期区域。

其中，由于希望提取出超声心动图像中完整的心动周期，因此，需要对样本超声心动图像中样本心动周期区域尺寸进行提取，样本心动周期区域尺寸可以为医师所标注的样本心动周期区域的尺寸，或者也可以为通过其他方式获得的样本心动周期区域的尺寸。在传统技术中会利用目标检测算法，针对每个像素产生一定尺寸的种子区域，但是，如果种子区域的尺寸与检测目标的尺寸差异很大，会增加检测的难度，同时降低检测的效率，因此，本申请可以采用自适应种子区域的技术方案。

获取到样本超声心动图像中标注的样本心动周期区域的尺寸信息后，可以根据样本心动周期区域的尺寸信息构建参考心动周期区域，比如，可以获取多个样本心动周期区域长度尺寸和宽度尺寸的最大值、最小值以及均值，并根据获取到的最大值、最小值以及均值构建参考心动周期区域，比如，根据获取到的长度尺寸的最大值和宽度尺寸的最大值构建出最大区域，根据获取到的长度尺寸的最小值和宽度尺寸的最小值构建出最小区域，根据获取到的长度尺寸的均值和宽度尺寸的均值构建出平均区域，将最大区域、最小区域和平均区域作为参考心动周期区域。

202、根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息。

其中，心动周期检测网络模型为一种目标检测网络模型，可以在给定的图片中快速精确找到目标所在的位置，并进行标注，比如，心动周期检测网络模型可以为基于深度学习网络的目标检测网络模型，例如，心动周期检测模型可以为faster RCNN(regions withCNN)等等。

其中，心动周期检测网络模型的结构可以有多种，比如，以基于深度学习网络的心动周期检测模型为例，参考图4，心动周期检测模型可以包括卷积子网络、区域提取子网络和全连接层。

其中，卷积子网络包括至少一个卷积层，比如，卷积子网络可以包括多个卷积层。卷积层主要用于对输入的图像(比如超声心动图像)进行特征提取(即将原始数据映射到隐层特征空间)，其中，卷积核大小可以根据实际应用而定。

其中，区域提取子网络为一种区域候选网络，比如，区域提取子网络可以为RPN(region proposal network)等等。RPN的本质是基于滑窗的无类别检测器。

在一实施例中，心动周期检测网络模型还可以包括池化层，池化层可以对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度，另一方面进行特征压缩，提取主要特征，比如，池化层可以使用ROI Pooling(Region of interest)等等，将不同大小的输入映射到一个固定尺度的特征向量，从而减少工作量，提高效率。

其中，全连接层可以将学到的特征映射到样本标记空间，其在整个卷积神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定。

基于上述网络结构，步骤“根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息”可以包括：

通过所述卷积子网络对所述超声心动图像进行特征提取，得到特征图像；

根据所述区域提取子网络和所述心动周期区域参考尺寸信息对所述特征图像进行区域提取，得到候选区域；

在全连接层对所述候选区域进行分类，得到候选区域的分类结果；

根据所述候选区域的分类结果对所述候选区域进行调整，得到二次候选区域；

根据所述二次候选区域获取若干心动周期区域的区域信息。

其中，可以通过卷积子网络对超声心动图像进行多次卷积提取特征，得到特征图像，之后根据区域提取子网络和心动周期区域参考尺寸信息对特征图像进行区域提取，得到候选区域，在全连接层对候选区域进行分类，得到候选区域的分类结果，根据候选区域的分类结果对候选区域进行调整，比如，可以利用损失函数对候选区域进行调整，得到二次候选区域，根据二次候选区域获取若干心动周期区域的区域信息。还可以利用池化层将不同大小的输入映射到一个固定尺度的特征向量，以减少工作量。

本申请实施例中，心动周期检测网络模型可以为利用样本超声心动图像对该心动周期检测网络模型训练后的模型。图像识别方法还可以包括心动周期检测网络模型的训练过程；具体地，训练过程可以包括：

(1)获取样本超声心动图像。

其中，可以通过多个途径获取样本超声心动图像，比如，具体可以通过各超声图像采集设备(超声心动仪等)，对采集人体心脏进行图像采集，得到样本超声心动图像，进而提供给该图像识别装置，也即，图像识别装置具体可以接收超声图像采集设备发送的样本超声心动图像。

其中，样本超声心动图像可以包括由医师标注或者通过其他方式获取的样本心动周期区域。心动周期指从一次心跳的起始到下一次心跳的起始，心血管系统所经历的过程。样本心动周期区域是指在样本超声心动图像中，由医师标定或者通过其他方式获取到的一个心动周期，所在样本超声心动图像中的区域。

(2)训练心动周期检测网络模型。

其中，可以利用样本超声心动图像来训练心动周期检测网络模型，比如，可以将这些样本超声心动图像进行预处理后，添加至该心动周期检测网络模型中，然后，便可以根据这些样本超声心动图像对心动周期检测网络模型进行训练，得到训练后的心动周期检测网络模型，并将训练后的心动周期检测网络模型作为心动周期检测网络模型。

比如，在需要进行模型训练时，可以从这些样本超声心动图像中选择一张样本超声心动图像作为当前训练样本，然后，将该当前训练样本导入该心动周期检测网络模型中，得到当前训练样本对应的预测心动周期区域，获取当前训练样本对应的样本心动周期区域，并采用预设损失函数对该预测心动周期区域和样本心动周期区域进行收敛，以调整该心动周期检测网络模型中的各个参数至合适数值。再然后，可以返回执行从这些样本超声心动图像中选择一张样本超声心动图像作为当前训练样本的步骤，以对这些样本超声心动图像中的其他样本超声心动图像进行计算和收敛，直至这些样本超声心动图像均计算和收敛完毕，即可得到所需的心动周期检测网络模型。

203、从若干心动周期区域的区域位置信息中，确定目标区域位置信息。

其中，心动周期区域的区域信息包括区域位置信息和心动周期区域的概率等等。区域位置信息为在超声心动图像中，一个心动周期所在的区域位置信息。目标区域位置信息为从超声心动图像中提取待检测的心动周期区域图像，所依据的区域位置信息。

比如，通过上述得到的m个心动周期区域以及m个心动周期区域的区域信息，从m个心动周期区域中确定一个区域，作为目标区域，目标区域位置信息可以用于从超声心动图像中提取待检测的心动周期区域图像，其中，m为大于1的正整数。

在实际应用中，可以有多种方式来表征心动周期区域的位置信息，比如，在一实施例中，以利用不同位置的框表征心动周期区域的位置信息，此时，心动周期区域的区域位置信息即为框的位置信息。

例如，可以通过上述方式得到的m个不同位置的心动周期框(也即不同心动周期区域的位置信息)，从m个心动周期框中确定一个相应位置的框，作为目标框(即目标区域位置信息)，可以利用该目标框从超声心动图像中框定待检测的心动周期区域图像，并进行图像提取。

其中，区域位置信息可以包括区域的定位点(比如顶点)的位置信息，譬如，在区域为矩形区域时，可以采用左上顶点和右下顶点的位置信息作为区域位置信息。其中，位置信息可以包括坐标信息，比如，在建立了图像坐标系的情况下，区域位置信息即为区域的坐标信息如(x，y)的值。

其中，确定目标区域位置信息的方式可以有多种，又比如，在一实施例中，当区域信息还包括心动周期区域的概率时，可以基于概率确定目标区域位置信息。

具体地，步骤“从若干心动周期区域的区域位置信息中，确定目标区域位置信息”可以包括：

根据所述心动周期区域的概率从所述若干心动周期区域中，选取目标心动周期区域；

基于超声心动图像的尺寸，对目标心动周期区域的区域位置信息进行尺寸恢复，确定目标区域位置信息。

可以根据心动周期区域的概率从若干心动周期区域中，选取目标心动周期区域，比如，可以从m个心动周期区域中，选取概率最大的心动周期区域作为目标心动周期区域，之后基于超声心动图像的尺寸，对目标心动周期区域的区域位置信息进行尺寸恢复，从而确定目标区域位置信息。

在一实施例中，为了提高准确性，还可以对多个心动周期区域的区域进行过滤，比如，可以利用非极大值抑制的方法过滤去大部分冗余的心动周期区域。

204、根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像。

待检测的心动周期区域图像为根据目标区域位置信息在超声心动图像中截取的一个心动周期的图像。根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，比如，可以用框的形式代表区域，通过上述得到的目标框在超声心动图像中对待检测的心动周期区域图像进行框定，并根据目标框，将待检测的心动周期区域图像从超声心动图像中截取出来。

又比如，在建立了图像坐标系的情况下，当区域位置信息包括坐标信息时，可以基于目标区域坐标信息，利用预设形状对待检测的心动周期区域图像进行标定，并将待检测的心动周期区域图像从超声心动图像中截取出来。

其中，通过心动周期检测网络模型对心动周期进行检测，实现了仅使用超声心动图像，即可以自动化检测心动周期，免除了心电图的配合筛查，从而节约了人力成本、时间成本以及减少其他临床成像技术带来的工作量。

205、采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

其中，定位点检测网络模型可以为基于卷积网络的回归模型，比如，定位点检测网络模型可以为残差网络(ResNet 18)等等，其中，残差网络为一种深度卷积网络，它更容易优化，并且能够通过增加相当的深度来提高准确率。残差网络的核心是解决了增加深度带来的副作用，这样能够通过单纯地增加网络深度，来提高网络性能。

其中，定位点检测网络模型的结构可以有多种，比如，以基于卷积网络的回归模型为例，定位点检测网络模型可以包括卷积层和全连接层。

其中，卷积层主要用于对输入的图像(比如心动周期区域图像)进行特征提取(即将原始数据映射到隐层特征空间)，其中，卷积核大小可以根据实际应用而定。

全连接层可以将学到的特征映射到样本标记空间，其在整个卷积神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定。

基于上述网络结构，步骤“采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息”可以包括：

在卷积层对所述心动周期区域图像进行特征提取，得到特征区域图像；

在全连接层对所述特征区域图像进行分类，得到心室壁内外层定位点的位置信息。

其中，由于卷积层每个神经元的输入与前一层的局部接受域相连，因此可以通过卷积层对心动周期区域图像进行特征提取，得到特征区域图像，由于全连接层的每一个结点都与上一层的所有结点相连，因此可以用来把前边提取到的特征区域图像综合起来并进行分类，得到心室壁内外层定位点的位置信息。

具体地，步骤“在全连接层对所述特征区域图像进行分类，得到心室壁内外层定位点的位置信息”可以包括：

在全连接层对所述特征区域图像进行分类，得到心室壁内外层定位点在所述心动周期区域图像中的位置信息；

对所述心室壁内外层定位点在所述心动周期区域图像中的位置信息进行归一化，得到心室壁内外层定位点的归一化后位置信息；

根据所述超声心动图像和所述归一化后位置信息，获取心室壁内外层定位点在所述超声心动图像中的位置信息，得到心室壁内外层定位点的位置信息。

其中，可以在全连接层对特征区域图像进行分类，得到心室壁内外层定位点在心动周期区域图像中的位置信息，之后对心室壁内外层定位点在心动周期区域图像中的位置信息进行归一化，得到心室壁内外层定位点的归一化后位置信息，比如，可以利用sigmoid激活函数对心室壁内外层定位点在心动周期区域图像中的位置信息进行归一化，sigmoid激活函数为神经网络的阈值函数，可以将变量映射到0～1之间。最后，由于经过定位点检测网络模型后，图像尺寸会发生变化，因此可以根据超声心动图像和归一化后位置信息，获取心室壁内外层定位点在超声心动图像中的位置信息，从而得到心室壁内外层定位点的位置信息。

本申请实施例中，定位点检测网络模型可以为利用样本心动周期区域图像对该定位点检测网络模型训练后的模型。图像识别方法还可以包括定位点检测网络模型的训练过程；具体地，训练过程可以包括：

(1)获取样本心动周期区域图像及其对应的样本目标区域位置信息。

其中，可以通过多个途径获取样本心动周期区域图像，比如，具体可以通过各超声图像采集设备(超声心动仪等)，对采集人体心脏进行图像采集，得到样本超声心动图像，进而提供给该图像识别装置，也即，图像识别装置具体可以接收超声图像采集设备发送的样本超声心动图像。又比如，还可以将经过心动周期检测网络模型检测的图像，标注后作为样本心动周期区域图像。

其中，样本心动周期区域图像对应的样本目标区域位置信息，为样本心动周期区域图像中，一个心动周期所在的区域的位置信息。样本目标区域可以通过多种方式获取，比如，可以通过医师标注，或者通过心动周期检测网络模型检测等方式获取得到。

其中，样本心动周期区域图像可以包括由医师标注或者通过其他方式获取的样本心室壁内外层定位点的位置信息。心室壁内外层定位点为超声心动图像中心室壁内外层的定位点，比如，可以将舒张期心室壁上外径定位点、舒张期心室壁上内径定位点、舒张期心室壁下内径定位点、舒张期心室壁下外径定位点、收缩期心室壁上外径定位点、收缩期心室壁上内径定位点、收缩期心室壁下内径定位点、收缩期心室壁下外径定位点等作为心室壁内外层定位点，确定这些心室壁内外层定位点之后，可以根据公式计算射血分数以及判断心室壁厚度病变情况。

(2)对样本心动周期区域图像进行扩展采样。

为了增加数据多样性，保证模型鲁棒性，可以采用范围扩展采样，根据样本目标区域位置信息，在样本心动周期区域图像中确定采样条件区域，比如，可以将样本心动周期区域图像的两条对称轴作为采样条件区域的两条对称轴，选取样本心动周期区域图像长度尺寸的50％作为采样条件区域的长度尺寸，将样本心动周期区域图像宽度尺寸作为采样条件区域的宽度尺寸，构建采样条件区域。

构建采样条件区域后，可以根据样本目标区域位置信息确定相应尺寸的采样区域，比如，可以将样本目标区域的长度尺寸用a表示，将样本目标区域的宽度尺寸用b表示，则采样区域的长度尺寸可以为0.9a～1.1a范围内任意值，则采样区域的宽度尺寸可以为0.9b～1.1b范围内任意值，根据采样区域的长度尺寸和宽度尺寸构建采样区域。

构建采样区域后，可以根据采样条件区域和采样区域，在超声心动图像中对样本心动周期区域图像进行扩展采样，得到若干扩展采样后心动周期区域图像，比如，将采样区域两对称轴的交点作为采样区域的特征点，使得采样区域的特征点落在采样条件区域内进行扩展采样，得到若干扩展采样后心动周期区域图像。

又比如，在一实施例中，获得若干扩展采样后心动周期区域图像后，为了避免彩色图像影响后续的检测，因此可以将若干扩展采样后心动周期区域图像转换成采样灰度图，为了消除图像由于长宽比例变化产生的影响，对采样灰度图中所有点的坐标进行归一化处理，使得数据处理更加快捷方便，比如，可以在采样灰度图中建立一个坐标系，把每个点的横坐标和纵坐标都归一化到0～1的范围内，得到归一化后的扩展采样后心动周期区域图像，作为扩展采样后心动周期区域图像。

(3)训练定位点检测网络模型。

其中，可以利用这些扩展采样后心动周期区域图像来训练定位点检测网络模型，比如，可以将这些扩展采样后心动周期区域图像，添加至该定位点检测网络模型中，然后，便可以根据这些扩展采样后心动周期区域图像对定位点检测网络模型进行训练，得到训练后的定位点检测网络模型作为定位点检测网络模型。

比如，在需要进行模型训练时，可以从这些扩展采样后心动周期区域图像中选择一张扩展采样后心动周期区域图像作为当前训练样本，然后，将该当前训练样本导入该定位点检测网络模型中，得到当前训练样本对应的预测心室壁内外层定位点的位置信息，获取当前训练样本对应的样本心室壁内外层定位点的位置信息，并采用预设损失函数对该预测心室壁内外层定位点的位置信息和样本心室壁内外层定位点的位置信息进行收敛，以调整该定位点检测网络模型中的各个参数至合适数值。再然后，可以返回执行从这些扩展采样后心动周期区域图像中选择一张扩展采样后心动周期区域图像作为当前训练样本的步骤，以对这些扩展采样后心动周期区域图像中的其他扩展采样后心动周期区域图像进行计算和收敛，直至这些扩展采样后心动周期区域图像均计算和收敛完毕，即可得到所需的定位点检测网络模型。

其中，由于可以通过定位点检测网络模型，自动得到心室壁内外层定位点的位置信息，从而免除医师标注时间与精力，有效减少医生工作时间，同时，由于超声心动图像中特有的成像限制，超声心动图中存在较多的噪声和伪影，使得组织边缘模糊，内外壁定位点不明显；尤其当心脏充血时，心室壁内径边缘与血液混合，难以判断定位点的位置，对医师的技术和经历有更高要求，而采用定位点检测网络模型自动得到心室壁内外层定位点的位置信息，可以提高准确性。由于其检测的正确率高，还可以为基层医师提供参考，从而达到辅诊的效果，还可用于医疗培训教育以及医疗检索中。

在一实施例中，具体地，采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息之后，还可以包括：

根据所述心室壁内外层定位点的位置信息获取心脏病理信息。

其中，心脏病理信息为用于医生分析心脏疾病发生发展的过程和原因的信息，比如，心脏病理信息可以包括心室壁厚度、舒张期的心室容积、收缩期的心室容积、射血分数等等信息中至少一种。

其中，射血分数指每搏输出量占心室舒张末期容积量的百分比，正常值为50-70％，是判断心力衰竭类型的重要指征之一。

在一实施例中，当心脏病理信息包括射血分数时，可以基于心室壁内外层定位点的位置信息获取射血分数。具体地，步骤包括：

首先根据心室壁内外层定位点的位置信息获取心室壁的厚度，根据心室壁的厚度估算出的舒张末期和收缩末期的心室容积，例如，可以通过Teichholtz公式估算出左心室容积。然后，根据舒张末期和收缩末期的心室容积计算出射血分数。

请参阅图5，可以首先获取超声心动图像，之后通过心动周期检测网络模型检测出多个心动周期区域，之后可以使用非极大值抑制方法对多个心动周期区域进行过滤，从多个心动周期区域中确定目标区域，并根据目标区域从超声心动图像中，截取心动周期区域图像，之后利用定位点检测网络模型对心动周期区域图像进行检测，得到心室壁内外层定位点的位置信息，最后可以根据心室壁内外层定位点的位置信息获取心脏病理信息。

由上可知，本申请实施例获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。由于方案采用心动周期检测网络模型对心动周期进行检测，又采用定位点检测网络模型对心室壁内外层定位点的位置信息进行检测，也即采用流式方案，无需依赖心电图进行心动周期的检测，也无需用过医生手动对心动周期以及心室壁内外层定位点进行标注，减少了医生工作量，也避免了由于医生经验不足等造成的标注不准确等情况，从而提高了图像识别的效率和准确率。

此外，还可以临床上自动应用公式测量射血分数，由于正确率高，因此对基层医疗机构的医师具有指导作用，对资深医师具有参考作用，可以达到辅诊的效果。

根据上述实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该图像识别装置具体集成在网络设备中为例进行说明。

(一)模型的训练。

(1)心动周期检测网络模型的训练；

其中，心动周期检测网络模型为一种目标检测网络模型。对于心动周期检测网络模型进行训练，可以首先通过多个途径获取样本超声心动图像，比如，具体可以通过各超声图像采集设备(超声心动仪等)，对采集人体心脏进行图像采集，得到样本超声心动图像，进而提供给该图像识别装置。

请参阅图6，图6是本申请实施例提供的标注的样本心动周期区域图像。常规的超声心动图像如图6所示，图像下半部分的矩形框为超声心动周期信息，其中横轴为时间，纵轴为二维超声胸骨旁左心长轴切面中二尖瓣前叶垂直线的超声心动图像信号，通过时间的推移，心脏跳动，左心室收缩舒张使得心室壁位置产生变化。可以通过左心室壁的变化估算出射血分数。常规临床筛查操作中，可以使用超声心动图像记录1到3个心动周期，在超声心动图像中借助心电图确定一个完整的心动周期，在完整心动周期中记录心室壁内外层关键点，如图6中十字标记，从上到下，从左到右分别为舒张期心室壁上外径、舒张期心室壁上内径、舒张期心室壁下内径、舒张期心室壁下外径、收缩期心室壁上外径、收缩期心室壁上内径、收缩期心室壁下内径、收缩期心室壁下外径，确定这些心室壁内外层关键点位置之后，可以根据公式计算出射血分数以及判断心室壁厚度病变情况。

其中，样本超声心动图像可以包括医师标注的样本心动周期区域。样本心动周期区域是指在样本超声心动图像中，由医师或者通过其他方式标定一个心动周期所在样本超声心动图像中的区域，可以通过框的形式对心动周期进行标定，比如，图6中白框代表一个心动周期所在样本超声心动图像中的区域。

其中，可以利用这些样本超声心动图像来训练心动周期检测网络模型，比如，在需要进行模型训练时，可以从这些样本超声心动图像中选择一张样本超声心动图像作为当前训练样本，然后，将该当前训练样本导入该心动周期检测网络模型中，得到当前训练样本对应的预测心动周期区域，获取当前训练样本对应的样本心动周期区域，并采用预设损失函数对该预测心动周期区域和样本心动周期区域进行收敛，以调整该心动周期检测网络模型中的各个参数至合适数值。再然后，可以返回执行从这些样本超声心动图像中选择一张样本超声心动图像作为当前训练样本的步骤，以对这些样本超声心动图像中的其他样本超声心动图像进行计算和收敛，直至这些样本超声心动图像均计算和收敛完毕，即可得到所需的心动周期检测网络模型。

(2)定位点检测网络模型的训练；

其中，定位点检测网络模型可以为基于卷积网络的回归模型，对于定位点检测网络模型的训练，可以首先获取样本心动周期区域图像，获取样本心动周期区域图像的方式可以有多种，比如，具体可以由各超声图像采集设备(如超声心动仪等)来对样本心动周期区域图像进行获取，进而提供给该图像识别装置。

其中，该样本心动周期区域图像包括由医师标注的样本心室壁内外层定位点的位置信息。样本心动周期区域图像对应的样本目标区域位置信息，为在样本心动周期区域图像中，一个心动周期所在的位置信息。该样本目标区域位置信息可以通过心动周期检测网络检测得到，也可以通过其他方式，比如，人为标定得到。

为了增加数据多样性，保证模型鲁棒性，可以采用范围扩展采样，根据样本目标区域位置信息，在样本心动周期区域图像中确定采样条件区域。之后可以根据样本目标区域位置信息确定相应尺寸的采样区域。之后可以根据采样条件区域和采样区域，在超声心动图像中对样本心动周期区域图像进行扩展采样，得到若干扩展采样后心动周期区域图像。

获得若干扩展采样后心动周期区域图像后，为了避免彩色图像影响后续的检测，因此将若干扩展采样后心动周期区域图像转换成采样灰度图，为了消除图像由于长宽比例变化产生的影响，对采样灰度图中所有点的坐标进行归一化处理，使得数据处理更加快捷方便。

之后，可以利用这些扩展采样后心动周期区域图像来训练定位点检测网络模型，比如，可以从这些扩展采样后心动周期区域图像中选择一张扩展采样后心动周期区域图像作为当前训练样本，然后，将该当前训练样本导入该定位点检测网络模型中，得到当前训练样本对应的预测心室壁内外层定位点的位置信息，获取当前训练样本对应的样本心室壁内外层定位点的位置信息，并采用预设损失函数对该预测心室壁内外层定位点的位置信息和样本心室壁内外层定位点的位置信息进行收敛，以调整该定位点检测网络模型中的各个参数至合适数值。再然后，可以返回执行从这些扩展采样后心动周期区域图像中选择一张扩展采样后心动周期区域图像作为当前训练样本的步骤，以对这些扩展采样后心动周期区域图像中的其他扩展采样后心动周期区域图像进行计算和收敛，直至这些扩展采样后心动周期区域图像均计算和收敛完毕，即可得到所需的定位点检测网络模型。

(二)利用训练后的模型获取病理信息。

在对心动周期检测网络模型和定位点检测网络模型训练后，可以采用如图3所示的具体步骤获取病理信息，该图像识别方法的具体流程可以如下：

301、网络设备获取心脏的超声心动图像、以及心动周期区域参考尺寸信息。

其中，网络设备获取超声心动图像的方式可以有多种，比如，具体可以通过各超声图像采集设备，对采集人体心脏进行图像采集，得到超声心动图像，进而提供给该图像识别装置。又比如，网络设备可以从本地或者外部数据库中获取超声心动图像，或者可以从网络中搜索超声心动图像等等。

在一实施例中，网络设备获取到超声心动图像后，为了避免机器或人工标记等的彩色图标影响后续检测，还可以对该超声心动图像进行预处理。由于一幅图像会受多因素的影响，为了能获得图像中包含的不受外界影响的恒定信息，可以对该灰度超声心动图像进行白化处理。

其中，网络设备需要对样本超声心动图像中样本心动周期区域尺寸进行提取，获取到样本超声心动图像中标注的样本心动周期区域的尺寸信息后，可以根据样本心动周期区域的尺寸信息构建参考心动周期区域。

302、网络设备根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息。

具体地，心动周期检测网络模型的结构和训练可以参考上述实施例的描述。

比如，以种子框表示心动周期区域为例，以种子框的尺寸信息表示心动周期区域参考尺寸信息，可以参考图7，心动周期检测网络模型包括卷积子网络、区域提取子网络和全连接层，网络设备可以通过卷积子网络对超声心动图像进行多次卷积提取特征，得到特征图像，之后根据区域提取子网络和种子框尺寸信息对特征图像进行框的提取，得到候选框，在全连接层对候选框进行分类，得到候选框的分类结果，根据候选框的分类结果对候选框进行调整，比如，可以利用损失函数对候选框进行调整，得到二次候选框，根据二次候选框获取若干心动周期区域的区域信息。

303、网络设备从若干心动周期区域的区域位置信息中，确定目标区域位置信息。

比如，以框的形式表示周期区域为例，当区域信息还包括心动周期框的概率时，网络设备可以基于概率确定目标区域位置信息。

比如，网络设备可以从m个心动周期框中，选取概率最大的心动周期框作为目标心动周期框，之后基于超声心动图像的尺寸，对目标心动周期框的区域位置信息进行尺寸恢复，从而确定目标区域位置信息。

304、网络设备根据目标区域位置信息从所述超声心动图像中提取待检测的心动周期区域图像。

比如，可以用框的形式代表区域，网络设备可以通过上述得到的目标框，在超声心动图像中对待检测的心动周期区域图像进行框定，并根据目标框，将待检测的心动周期区域图像从超声心动图像中截取出来。

其中，网络设备通过心动周期检测网络模型对心动周期进行检测，实现了仅使用超声心动图像，即可以自动化检测心动周期，免除了心电图的配合筛查，从而节约了人力成本、时间成本以及减少其他临床成像技术带来的工作量。

305、网络设备采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

具体地，定位点检测网络模型的结构和训练可以参考上述实施例的描述。

比如，可以参考图8，定位点检测网络模型可以包括卷积层和全连接层。网络设备可以通过卷积层对心动周期区域图像进行特征提取，得到特征区域图像，之后通过全连接层对特征区域图像进行分类，得到心室壁内外层定位点在心动周期区域图像中的位置信息，之后利用sigmoid激活函数对心室壁内外层定位点在心动周期区域图像中的位置信息进行归一化。最后，由于经过定位点检测网络模型后，图像尺寸会发生变化，因此可以根据超声心动图像和归一化后位置信息，获取心室壁内外层定位点在超声心动图像中的位置信息，从而得到心室壁内外层定位点的位置信息。

其中，由于可以通过定位点检测网络模型，自动得到心室壁内外层定位点的位置信息，从而免除医师标注时间与精力，有效减少医生工作时间，同时，由于超声心动图像中特有的成像限制，超声心动图中存在较多的噪声和伪影，使得组织边缘模糊，内外壁定位点不明显；尤其当心脏充血时，心室壁内径边缘与血液混合，难以判断定位点的位置，对医师的技术和经历有更高要求，而采用定位点检测网络模型自动得到心室壁内外层定位点的位置信息，可以提高准确性。由于其检测的正确率高，还可以为基层医师提供参考，从而达到辅诊的效果，还可用于医疗培训教育以及医疗检索中。

在一实施例中，具体地，网络设备采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息之后，还可以包括：

网络设备根据所述心室壁内外层定位点的位置信息获取心脏病理信息。网络设备可以首先根据心室壁内外层定位点的位置信息获取心室壁的厚度，根据心室壁的厚度估算出的舒张末期和收缩末期的心室容积，最后，根据舒张末期和收缩末期的心室容积计算出射血分数。

由上可知，本申请实施例获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。由于方案采用心动周期检测网络模型对心动周期进行检测，又采用定位点检测网络模型对心室壁内外层定位点的位置信息进行检测，也即采用流式方案，无需依赖心电图进行心动周期的检测，也无需用过医生手动对心动周期以及心室壁内外层定位点进行标注，减少了医生工作量，也避免了由于医生经验不足等造成的标注不准确等情况，从而提高了图像识别的效率和准确率。

为了更好地实施以上方法，本申请实施例还提供一种图像识别装置，该图像识别具体可以集成在网络设备，比如终端或服务器等设备中。

例如，如图9所示，该图像识别装置可以包括获取模块91、心动周期检测模块92、目标区域确定模块93、提取模块94和定位点检测模块95，如下：

获取模块91，用于获取心脏的超声心动图像、以及所述心动周期区域参考尺寸信息；

心动周期检测模块92，用于根据心动周期检测网络模型和所述心动周期区域参考尺寸信息，对所述超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，所述区域信息包括区域位置信息；

目标区域确定模块93，用于从所述若干心动周期区域的区域位置信息中，确定目标区域位置信息；

提取模块94，用于根据所述目标区域位置信息从所述超声心动图像中提取待检测的心动周期区域图像；

定位点检测模块95，用于采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

在一实施例中，参考图10，所述获取模块91，可以包括：

图像获取子模块911，用于获取心脏的超声心动图像；

获取子模块912，用于获取所述样本超声心动图像中标注的样本心动周期区域的尺寸信息；

构建子模块913，用于根据所述样本心动周期区域的尺寸信息构建所述心动周期区域参考尺寸信息。

在一实施例中，参考图11，所述心动周期检测模块92，可以包括：

特征图像提取子模块921，用于通过所述卷积子网络对所述超声心动图像进行特征提取，得到特征图像；

候选区域提取子模块922，用于根据所述区域提取子网络和所述心动周期区域参考尺寸信息对所述特征图像进行区域提取，得到候选区域；

第一分类子模块923，用于在全连接层对所述候选区域进行分类，得到候选区域的分类结果；

调整子模块924，用于根据所述候选区域的分类结果对所述候选区域进行调整，得到二次候选区域；

区域信息获取子模块925，根据所述二次候选区域获取若干心动周期区域的区域信息。

在一实施例中，参考图12，所述目标区域确定模块93，可以包括：

选取子模块931，用于根据所述心动周期区域的概率从所述若干心动周期区域中，选取目标心动周期区域；

尺寸恢复子模块932，用于基于超声心动图像的尺寸，对目标心动周期区域的区域位置信息进行尺寸恢复，确定目标区域位置信息。

在一实施例中，参考图13，所述定位点检测模块95，可以包括：

特征提取子模块951，用于在卷积层对所述心动周期区域图像进行特征提取，得到特征区域图像；

第二分类子模块952，用于在全连接层对所述特征区域图像进行分类，得到心室壁内外层定位点的位置信息。

在一实施例中，第二分类子模块952可以具体用于：

在全连接层对所述特征区域图像进行分类，得到心室壁内外层定位点在所述心动周期区域图像中的位置信息；

对所述心室壁内外层定位点在所述心动周期区域图像中的位置信息进行归一化，得到心室壁内外层定位点的归一化后位置信息；

根据所述超声心动图像和所述归一化后位置信息，获取心室壁内外层定位点在所述超声心动图像中的位置信息，得到心室壁内外层定位点的位置信息。

在一实施例中，图像识别装置还可以包括：

样本获取子模块，用于获取样本心动周期区域图像及其对应的样本目标区域位置信息；

采样子模块，用于根据所述样本目标区域位置信息对所述样本心动周期区域图像进行扩展采样，得到若干扩展采样后心动周期区域图像；

训练子模块，用于根据所述若干扩展采样后心动周期区域图像对所述定位点检测网络模型进行训练，并对所述定位点检测网络模型进行更新。

在一实施例中，采样子模块可以具体用于：

根据所述样本目标区域位置信息，在所述样本心动周期区域图像中确定采样条件区域；

根据所述样本目标区域位置信息确定相应尺寸的采样区域；

根据所述采样条件区域和所述采样区域，在所述超声心动图像中对样本心动周期区域图像进行扩展采样，得到若干扩展采样后心动周期区域图像。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本申请实施例通过获取模块91获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，通过心动周期检测模块92根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，通过目标区域确定模块93从若干心动周期区域的区域位置信息中，确定目标区域位置信息，通过提取模块94根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，通过定位点检测模块95采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。由于方案采用心动周期检测网络模型对心动周期进行检测，又采用定位点检测网络模型对心室壁内外层定位点的位置信息进行检测，也即采用流式方案，无需依赖心电图进行心动周期的检测，也无需用过医生手动对心动周期以及心室壁内外层定位点进行标注，减少了医生工作量，也避免了由于医生经验不足等造成的标注不准确等情况，从而提高了图像识别的效率和准确率。

本申请实施例还提供一种网络设备，该网络设备可以为服务器或终端等设备，其集成了本申请实施例所提供的任一种图像识别装置。如图14所示，图14是本申请实施例提供的网络设备的结构示意图，具体来讲：

该网络设备可以包括一个或者一个以上处理核心的处理器141、一个或一个以上计算机可读存储介质的存储器142、电源143和输入单元144等部件。本领域技术人员可以理解，图14中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器141是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器142内的软件程序和/或模块，以及调用存储在存储器142内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器141可包括一个或多个处理核心；优选的，处理器141可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器141中。

存储器142可用于存储软件程序以及模块，处理器141通过运行存储在存储器142的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器142可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器142可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器142还可以包括存储器控制器，以提供处理器141对存储器142的访问。

网络设备还包括给各个部件供电的电源143，优选的，电源143可以通过电源管理系统与处理器141逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源143还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元144，该输入单元144可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器141会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器142中，并由处理器141来运行存储在存储器142中的应用程序，从而实现各种功能，如下：

获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

处理器141还可以运行存储在存储器142中的应用程序，从而实现如下功能：

获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本实施例的网络设备在需要进行图像识别时，可以获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息，该方案可以提高图像识别的效率和准确率。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像识别方法中的步骤。例如，该指令可以执行如下步骤：

获取心脏的超声心动图像、以及心动周期区域参考尺寸信息，根据心动周期检测网络模型和心动周期区域参考尺寸信息，对超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，从若干心动周期区域的区域位置信息中，确定目标区域位置信息，根据目标区域位置信息从超声心动图像中提取待检测的心动周期区域图像，采用定位点检测网络模型对心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像识别方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像识别方法、装置以及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像识别方法，其特征在于，包括：

获取心脏的超声心动图像、以及心动周期区域参考尺寸信息；

根据心动周期检测网络模型和所述心动周期区域参考尺寸信息，对所述超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，所述区域信息包括区域位置信息；

从所述若干心动周期区域的区域位置信息中，确定目标区域位置信息；

根据所述目标区域位置信息从所述超声心动图像中提取待检测的心动周期区域图像；

采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

2.根据权利要求1所述的图像识别方法，其特征在于，所述心动周期检测网络模型由已标注样本心动周期区域的样本超声心动图像训练而成；

获取心脏的超声心动图像、以及所述心动周期区域参考尺寸信息，包括：

获取心脏的超声心动图像；

获取所述样本超声心动图像中标注的样本心动周期区域的尺寸信息；

根据所述样本心动周期区域的尺寸信息构建所述心动周期区域参考尺寸信息。

3.根据权利要求1所述的图像识别方法，其特征在于，所述心动周期检测网络模型包括卷积子网络、区域提取子网络和全连接层；

根据心动周期检测网络模型和所述心动周期区域参考尺寸信息，对所述超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，包括：

通过所述卷积子网络对所述超声心动图像进行特征提取，得到特征图像；

根据所述区域提取子网络和所述心动周期区域参考尺寸信息对所述特征图像进行区域提取，得到候选区域；

在全连接层对所述候选区域进行分类，得到候选区域的分类结果；

根据所述候选区域的分类结果对所述候选区域进行调整，得到二次候选区域；

根据所述二次候选区域获取若干心动周期区域的区域信息。

4.根据权利要求1所述的图像识别方法，其特征在于，所述区域信息还包括心动周期区域的概率；

从所述若干心动周期区域的区域位置信息中，确定目标区域位置信息，包括：

根据所述心动周期区域的概率从所述若干心动周期区域中，选取目标心动周期区域；

基于超声心动图像的尺寸，对目标心动周期区域的区域位置信息进行尺寸恢复，确定目标区域位置信息。

5.根据权利要求1所述的图像识别方法，其特征在于，所述定位点检测网络模型包括卷积层和全连接层；

采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息，包括：

在卷积层对所述心动周期区域图像进行特征提取，得到特征区域图像；

在全连接层对所述特征区域图像进行分类，得到心室壁内外层定位点的位置信息。

6.根据权利要求5所述的图像识别方法，其特征在于，在全连接层对所述特征区域图像进行分类，得到心室壁内外层定位点的位置信息，包括：

在全连接层对所述特征区域图像进行分类，得到心室壁内外层定位点在所述心动周期区域图像中的位置信息；

对所述心室壁内外层定位点在所述心动周期区域图像中的位置信息进行归一化，得到心室壁内外层定位点的归一化后位置信息；

根据所述超声心动图像和所述归一化后位置信息，获取心室壁内外层定位点在所述超声心动图像中的位置信息，得到心室壁内外层定位点的位置信息。

7.根据权利要求1-6任一项所述的图像识别方法，其特征在于，所述方法还包括：

获取样本心动周期区域图像及其对应的样本目标区域位置信息；

根据所述样本目标区域位置信息对所述样本心动周期区域图像进行扩展采样，得到若干扩展采样后心动周期区域图像；

根据所述若干扩展采样后心动周期区域图像对所述定位点检测网络模型进行训练，并对所述定位点检测网络模型进行更新。

8.根据权利要求7所述的图像识别方法，其特征在于，根据所述样本目标区域位置信息对所述样本心动周期区域图像进行扩展采样，得到若干扩展采样后心动周期区域图像，包括：

根据所述样本目标区域位置信息，在所述样本心动周期区域图像中确定采样条件区域；

根据所述样本目标区域位置信息确定相应尺寸的采样区域；

根据所述采样条件区域和所述采样区域，在所述超声心动图像中对样本心动周期区域图像进行扩展采样，得到若干扩展采样后心动周期区域图像。

9.根据权利要求1所述的图像识别方法，其特征在于，采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息之后，还可以包括：

根据所述心室壁内外层定位点的位置信息获取心脏病理信息。

10.一种图像识别装置，其特征在于，包括：

获取模块，用于获取心脏的超声心动图像、以及所述心动周期区域参考尺寸信息；

心动周期检测模块，用于根据心动周期检测网络模型和所述心动周期区域参考尺寸信息，对所述超声心动图像进行心动周期检测，得到若干心动周期区域的区域信息，所述区域信息包括区域位置信息；

目标区域确定模块，用于从所述若干心动周期区域的区域位置信息中，确定目标区域位置信息；

提取模块，用于根据所述目标区域位置信息从所述超声心动图像中提取待检测的心动周期区域图像；

定位点检测模块，用于采用定位点检测网络模型对所述心动周期区域图像进行心室壁内外层定位点检测，得到心室壁内外层定位点的位置信息。

11.根据权利要求10所述的装置，其特征在于，所述心动周期检测模块包括特征图像提取子模块、候选区域提取子模块、第一分类子模块、调整子模块和区域信息获取子模块；

特征图像提取子模块，用于通过所述卷积子网络对所述超声心动图像进行特征提取，得到特征图像；

候选区域提取子模块，用于根据所述区域提取子网络和所述心动周期区域参考尺寸信息对所述特征图像进行区域提取，得到候选区域；

第一分类子模块，用于在全连接层对所述候选区域进行分类，得到候选区域的分类结果；

调整子模块，用于根据所述候选区域的分类结果对所述候选区域进行调整，得到二次候选区域；

区域信息获取子模块，根据所述二次候选区域获取若干心动周期区域的区域信息。

12.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至9任一项所述的图像识别方法。