CN115761381A - 超声心动图的分类方法、分类装置 - Google Patents

Abstract

本发明提供一种超声心动图的分类方法、分类装置，所述方法包括：S1，从超声心动图中随机选取连续的第一预设帧视频；S2，从第一预设帧视频中间隔选取第二预设帧视频作为输入视频；S3，将输入视频输入训练后的神经网络模型，以使神经网络模型根据输入视频输出对应的分类和每个分类的概率值，将概率值中最大值对应的分类作为预测结果；S4，重复步骤S3三次，获取三个预测结果；S5，对三个预测结果进行投票。本发明的神经网络模型的输入采用完整的心动周期中间隔选取多帧作为输入数据，既可以减少模型的训练数据量，又可以保证心脏收缩舒张过程能被捕捉学习，且可以提取视频中的时序信息进行后续的分类，识别分类性能突出，准确率高。

Description

超声心动图的分类方法、分类装置

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种超声心动图的分类方法和一种超声心动图的分类装置。

背景技术

心脏变化可以通过技术手段进行成像检，成像方式主要有磁共振成像、电子计算机断层扫描、超声成像。超声成像作为一种价格便宜，操作方便，无电离辐射，成像速度快的成像方式，应用较广。在超声成像中，探头放置的不同位置与不同角度能够扫描出不同的切面，每一种切面的心脏心态和包括的心脏结构点都不一致。而在心脏疾病的临床诊断中，心脏的各个结构点的准确定位是医生进行诊断和确定治疗方案的重要依据。所以临床要求要先对心脏的超声视图进行分类，再做进一步的定位。

相关技术中，一般采用2D（2维）卷积模型直接进行超声视图的分类。然而，由于心脏超声采集所获得的数据一般为视频形式，涉及到的医学图像信息较多，直接进行超声视图的分类，涉及到的样本数据量大，从而导致模型训练慢，并且，视频可看作一系列的帧，使用2D（2维）卷积只能获取帧的信息，而无法获取序列信息，从而导致模型的拟合能力差、分类准确性低。

发明内容

为解决上述技术问题，本发明的第一个目的在于提出一种超声心动图的分类方法。

本发明的第二个目的在于提出一种超声心动图的分类装置。

本发明采用的技术方案如下：

本发明第一方面的实施例提出了一种超声心动图的分类方法，包括以下步骤：步骤S1，获取待分类的超声心动图，从所述超声心动图中随机选取连续的第一预设帧视频，所述第一预设帧视频包括一个完整的心动周期；步骤S2，从所述第一预设帧视频中间隔选取第二预设帧视频作为输入视频，所述第二预设帧小于所述第一预设帧；步骤S3，将所述输入视频输入训练后的神经网络模型，以使所述神经网络模型根据所述输入视频输出所述输入视频对应的分类和每个分类的概率值，将所述概率值中最大值对应的分类作为预测结果，其中，所述分类包括m类，m为正整数，所述神经网络包括：串联的时空卷积模块、MLP（Multilayer Perceptron，多层感知机）和Focal Loss（一种处理样本分类不均衡的损失函数），所述Focal Loss的输出与所述时空卷积模块的输入相连；步骤S4，重复步骤S3三次，获取三个预测结果；步骤S5，对所述三个预测结果进行投票，将投票结果作为分类结果。

本发明上述提出的超声心动图的分类方法还可以具有如下附加技术特征：

根据本发明的一个实施例，采用以下方式训练所述神经网络模型：获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从所述第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，所述特征向量包括：图像信息和时序信息；将所述特征向量输入所述MLP，以通过MLP获取所述特征向量为m类目标视图的预测概率；将所述预测概率输入所述Focal Loss，以使所述FocalLoss根据所述预测概率和训练集标签进行反向传播。

根据本发明的一个实施例，所述时空卷积模块包括：VideoResNet（视频残差网络）框架。

根据本发明的一个实施例，所述MLP包括：相互串联的第一Linear（线性）层、第一LeakyRelu（一种激活函数）层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。

根据本发明的一个实施例，对所述三个预测结果进行投票，将投票结果作为分类结果，具体包括：如果三个预测结果相同，则将所述预测结果对应的分类作为分类结果；如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；如果三个预测结果均不相同，则将三个预测结果中概率值的最大值对应的分类作为分类结果。

本发明第二方面的实施例提出了一种超声心动图的分类装置，包括：第一获取模块，所述第一获取模块用于获取待分类的超声心动图，从所述超声心动图中随机选取连续的第一预设帧视频，所述第一预设帧视频包括一个完整的心动周期；第二获取模块，所述第二获取模块用于从所述第一预设帧视频中间隔选取第二预设帧视频作为输入视频，所述第二预设帧小于所述第一预设帧；预测模块，所述预测模块用于将所述输入视频输入训练后的神经网络模型，以使所述神经网络模型根据所述输入视频输出所述输入视频对应的分类和每个分类的概率值，将所述概率值中最大值对应的分类作为预测结果，所述预测模块还用于重复以上步骤三次，以获取三个预测结果，其中，所述分类包括m类，m为正整数，所述神经网络包括：串联的时空卷积模块、MLP和Focal Loss，所述Focal Loss的输出与所述时空卷积模块的输入相连；投票模块，所述投票模块用于对所述三个预测结果进行投票，将投票结果作为分类结果。

本发明上述提出的超声心动图的分类装置还可以具有如下附加技术特征：

根据本发明的一个实施例，采用以下方式训练所述神经网络模型：获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从所述第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，所述特征向量包括：图像信息和时序信息；将所述特征向量输入所述MLP，以通过MLP获取所述特征向量为m类目标视图的预测概率；将所述预测概率输入所述Focal Loss，以使所述FocalLoss根据所述预测概率和训练集标签进行反向传播。

根据本发明的一个实施例，所述残差神经网络模型的损失函数采用Focal Loss损失函数。

根据本发明的一个实施例，所述时空卷积模块包括：VideoResNet框架。

根据本发明的一个实施例，所述MLP包括：相互串联的第一Linear层、第一LeakyRelu层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。

根据本发明的一个实施例，所述投票模块具体用于：如果三个预测结果相同，则将所述预测结果对应的分类作为分类结果；如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；如果三个预测结果均不相同，则将三个预测结果中概率值的最大值对应的分类作为分类结果。

本发明的有益效果：

本发明的神经网络模型的输入采用完整的心动周期中间隔选取多帧作为输入数据，既可以减少模型的训练数据量，又可以保证心脏收缩舒张过程能被捕捉学习，且神经网络模型中采用时空卷积模块，可以提取视频中的时序信息进行后续的分类，时空分离性质更好、拟合能力更强，识别分类性能突出，准确率高，神经网络模型中使用Focal Loss根据视图样本比重进行平衡，可以加速模型收敛，提高模型识别的准确率。

附图说明

图1是根据本发明的一个实施例的超声心动图的分类方法的流程图；

图2是根据本发明的一个实施例的神经网络模型的结构示意图；

图3是根据本发明的一个实施例的MLP的结构示意图；

图4是根据本发明一个实施例的超声心动图的分类装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明的一个实施例的超声心动图的分类方法的流程图，如图1所示，该方法包括以下步骤：

步骤S1，获取待分类的超声心动图，从超声心动图中随机选取连续的第一预设帧视频，第一预设帧视频包括一个完整的心动周期。

步骤S2，从第一预设帧视频中间隔选取第二预设帧视频作为输入视频。第二预设帧小于第一预设帧，例如第一预设帧为60帧，第二预设帧为5~10帧。

具体地，超声心动图为视频形式，首先对128*128的待分类的超声心动图进行提取，随机截取60帧（能够包含整个心动周期），60帧中基本包括了该视图下一个完整的心动周期即心脏的收缩舒张过程，然后在60帧中间隔选取n帧（n为5~10）作为输入视频，既可以减少后续分类模型的工作量，又保证了心脏收缩舒张过程能被捕捉。

步骤S3，将输入视频输入训练后的神经网络模型，以使神经网络模型根据输入视频输出输入视频对应的分类和每个分类的概率值，将概率值中最大值对应的分类作为预测结果。其中，分类包括m类，m为正整数，神经网络包括：串联的时空卷积模块、MLP和FocalLoss，Focal Loss的输出与时空卷积模块的输入相连。

具体地，在计算机视觉领域针对图像分类一般使用2D卷积训练模型，由于心脏超声采集所获得的数据一般为视频形式，视频可看作一系列的帧，使用2D卷积只能获取帧的信息，而无法获取序列信息，且医学图像识别信息较多，需要网络具有出色的学习能力。为此，在本发明中，如图2所示，神经网络模型包括：时空卷积模块、MLP和Focal Loss，“R(2+1)D”的时空卷积模块用于对n*（128*128）的输入视频进行特征向量提取，特征向量包括图像信息和时序信息，即“R(2+1)D”的时空卷积模块可以提取输入视频中的时序信进行视图识别，且学习能力优于3D卷积，时空分离性质更好，拟合能力更强，在医学图像识别分类性能突出，准确率更高。MLP用于将提取到的特征向量转化为m维的预测值，得到当前视频是m类分类的概率值，举例而言，如果分类包括：m1、m2、m3、m4、m5、m6，MLP分别输出特征向量为m1-m6的概率值。Focal Loss可以平衡神经网络模型训练时的样本比重，聚焦难学习样本。

在本发明的一个实施例中，时空卷积模块可以包括：VideoResNet框架。

在本发明的一个实施例中，如图3所示，MLP包括：相互串联的第一Linear层、第一LeakyRelu层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。

步骤S4，重复步骤S3三次，获取三个预测结果。

步骤S5，对三个预测结果进行投票，将投票结果作为分类结果。

进一步地，根据本发明的一个实施例，对三个预测结果进行投票，将投票结果作为分类结果，具体包括：如果三个预测结果相同，则将预测结果对应的分类作为分类结果；如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；如果三个预测结果均不相同，则将三个预测结果中概率值的最大值对应的分类作为分类结果。

具体地，在神经网络模型输出m类中每个分类的概率值后，选取概率值最大的种类作为预测结果进行记录，心脏超声切面拥有15个标准视图，且切面之间可能仅仅只有角度的差别，对于专业医生来说，进行视图的识别也存在一定的难度，所以模型评估时经常会出现相似视图的混淆，并且在样本不均衡的情况下，会偏向混淆成大样本，因此本发明在模型分类完成后，重复进行三次分类，记录下三轮的预测结果。如果三个预测结果相同，则将预测结果的分类作为分类结果，如果三个预测结果的分类不同，则次数多的种类即为最终的分类结果，如果三轮轮次均为不同种类，则选择概率值最大的分类作为最终分类结果。由此，通过后处理进行多轮次预测投票，减少相似视图中的混淆情况，进而提高了视图分类的准确率。

在本发明的一个实施例中，采用以下方式训练神经网络模型：获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，特征向量包括：图像信息和时序信息；将特征向量输入MLP，以通过MLP获取特征向量为m类目标视图的预测概率；将预测概率输入Focal Loss，以使Focal Loss根据预测概率和训练集标签进行反向传播。

具体地，训练集中的超声心动图的样本包括标签（分类）。由于心脏超声心动图的采集不能完全保证每个视图的种类，所以存在着训练多种视图时，样本数量容易出现不均衡。而医学图像的分析识别是比较困难的，在样本极度不均衡的情况下，容易出现训练时难以收敛、识别准确率低的情况。本发明使用Focal Loss根据视图样本比重进行平衡，可以加速收敛，提高准确率。具体而言，首先根据每个样本的数量，设置loss_weights，假设每一种类的样本数量为num1…numm，那么将loss_weights设置为[num1/max(num),…,numm/max(num)]，将权重加入交叉熵计算中，使得模型训练过程中聚焦难分类样本，解决样本不均衡带来的模型训练问题。

综上，根据本发明实施例的超声心动图的分类方法，神经网络模型的输入采用完整的心动周期中间隔选取多帧作为输入数据，既可以减少模型的训练数据量，又可以保证心脏收缩舒张过程能被捕捉学习，且神经网络模型中采用时空卷积模块，可以提取视频中的时序信息进行后续的分类，时空分离性质更好、拟合能力更强，识别分类性能突出，准确率高，神经网络模型中使用Focal Loss根据视图样本比重进行平衡，可以加速模型收敛，提高模型识别的准确率。通过后处理进行多轮次预测投票，减少相似视图中的混淆情况，进而提高了视图分类的准确率。

与上述的超声心动图的分类方法相对应，本发明还提出一种超声心动图的分类装置。本发明的装置实施例与上述的方法实施例相对应，对于本发明的装置实施例中未披露的细节，可参照上述的方法实施例，本发明中不再进行赘述。

图4是根据本发明一个实施例的超声心动图的分类装置的方框示意图，如图4所示，该装置包括：第一获取模块1、第二获取模块2、预测模块3、和投票模块4。

其中，第一获取模块1用于获取待分类的超声心动图，从超声心动图中随机选取连续的第一预设帧视频，第一预设帧视频包括一个完整的心动周期；第二获取模块2用于从第一预设帧视频中间隔选取第二预设帧视频作为输入视频，第二预设帧小于第一预设帧；预测模块3用于将输入视频输入训练后的神经网络模型，以使神经网络模型根据输入视频输出输入视频对应的分类和每个分类的概率值，将概率值中最大值对应的分类作为预测结果，预测模块3还用于重复以上步骤三次，以获取三个预测结果，其中，分类包括m类，m为正整数，神经网络包括：串联的时空卷积模块、MLP和Focal Loss，Focal Loss的输出与时空卷积模块的输入相连；投票模块4用于对三个预测结果进行投票，将投票结果作为分类结果。

根据本发明的一个实施例，采用以下方式训练神经网络模型：获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，特征向量包括：图像信息和时序信息；将特征向量输入MLP，以通过MLP获取特征向量为m类目标视图的预测概率；将预测概率输入Focal Loss，以使Focal Loss根据预测概率和训练集标签进行反向传播。

根据本发明的一个实施例，残差神经网络模型的损失函数采用Focal Loss损失函数。

根据本发明的一个实施例，时空卷积模块包括：VideoResNet框架。

根据本发明的一个实施例，MLP包括：相互串联的第一Linear层、第一LeakyRelu层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。

根据本发明的一个实施例，投票模块具体用于：如果三个预测结果相同，则将预测结果对应的分类作为分类结果；如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；如果三个预测结果均不相同，则将三个预测结果中概率值的最大值对应的分类作为分类结果。

综上所述，根据本发明实施例的超声心动图的分类装置，神经网络模型的输入采用完整的心动周期中间隔选取多帧作为输入数据，既可以减少模型的训练数据量，又可以保证心脏收缩舒张过程能被捕捉学习，且神经网络模型中采用时空卷积模块，可以提取视频中的时序信息进行后续的分类，时空分离性质更好、拟合能力更强，识别分类性能突出，准确率高，神经网络模型中使用Focal Loss根据视图样本比重进行平衡，可以加速模型收敛，提高模型识别的准确率。通过后处理进行多轮次预测投票，减少相似视图中的混淆情况，进而提高了视图分类的准确率。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种超声心动图的分类方法，其特征在于，包括以下步骤：

步骤S1，获取待分类的超声心动图，从所述超声心动图中随机选取连续的第一预设帧视频，所述第一预设帧视频包括一个完整的心动周期；

步骤S2，从所述第一预设帧视频中间隔选取第二预设帧视频作为输入视频，所述第二预设帧小于所述第一预设帧；

步骤S3，将所述输入视频输入训练后的神经网络模型，以使所述神经网络模型根据所述输入视频输出所述输入视频对应的分类和每个分类的概率值，将所述概率值中最大值对应的分类作为预测结果，其中，所述分类包括m类，m为正整数，所述神经网络包括：串联的时空卷积模块、MLP和Focal Loss，所述Focal Loss的输出与所述时空卷积模块的输入相连；

步骤S4，重复步骤S3三次，获取三个预测结果；

步骤S5，对所述三个预测结果进行投票，将投票结果作为分类结果；

其中，所述时空卷积模块包括：VideoResNet框架，所述MLP包括：相互串联的第一Linear层、第一LeakyRelu层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。

2.根据权利要求1所述的超声心动图的分类方法，其特征在于，采用以下方式训练所述神经网络模型：

获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从所述第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，所述特征向量包括：图像信息和时序信息；

将所述特征向量输入所述MLP，以通过MLP获取所述特征向量为m类目标视图的预测概率；

将所述预测概率输入所述Focal Loss，以使所述Focal Loss根据所述预测概率和训练集标签进行反向传播。

3.根据权利要求1所述的超声心动图的分类方法，其特征在于，对所述三个预测结果进行投票，将投票结果作为分类结果，具体包括：

如果三个预测结果相同，则将所述预测结果对应的分类作为分类结果；

如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；

如果三个预测结果均不相同，则将三个预测结果中概率值的最大值对应的分类作为分类结果。

4.一种超声心动图的分类装置，其特征在于，包括：

第一获取模块，所述第一获取模块用于获取待分类的超声心动图，从所述超声心动图中随机选取连续的第一预设帧视频，所述第一预设帧视频包括一个完整的心动周期；

第二获取模块，所述第二获取模块用于从所述第一预设帧视频中间隔选取第二预设帧视频作为输入视频，所述第二预设帧小于所述第一预设帧；

预测模块，所述预测模块用于将所述输入视频输入训练后的神经网络模型，以使所述神经网络模型根据所述输入视频输出所述输入视频对应的分类和每个分类的概率值，将所述概率值中最大值对应的分类作为预测结果，所述预测模块还用于重复以上步骤三次，以获取三个预测结果，其中，所述分类包括m类，m为正整数，所述神经网络包括：串联的时空卷积模块、MLP和Focal Loss，所述Focal Loss的输出与所述时空卷积模块的输入相连；

投票模块，所述投票模块用于对所述三个预测结果进行投票，将投票结果作为分类结果；

其中，所述时空卷积模块包括：VideoResNet框架，所述MLP包括：相互串联的第一Linear层、第一LeakyRelu层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。

5.根据权利要求4所述的超声心动图的分类装置，其特征在于，采用以下方式训练所述神经网络模型：

获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从所述第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，所述特征向量包括：图像信息和时序信息；

将所述特征向量输入所述MLP，以通过MLP获取所述特征向量为m类目标视图的预测概率；

将所述预测概率输入所述Focal Loss，以使所述Focal Loss根据所述预测概率和训练集标签进行反向传播。

6.根据权利要求4所述的超声心动图的分类装置，其特征在于，所述投票模块具体用于：

如果三个预测结果相同，则将所述预测结果对应的分类作为分类结果；

如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；

如果三个预测结果均不相同，则将三个预测结果中概率值的最大值对应的分类作为分类结果。

Images