CN113554124A - 图像识别方法及装置、计算机可读存储介质及电子设备 - Google Patents

Abstract

本申请提供了一种图像识别方法及装置、计算机可读存储介质及电子设备，涉及图像处理技术领域。该图像识别方法包括：确定待识别图像序列中的M幅图像各自对应的类别预测向量；基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图；基于概率图，确定概率图对应的腐蚀图；基于腐蚀图，确定M幅图像各自对应的类别识别结果。本申请能够基于M幅图像各自对应的粗略类别预测结果，确定M幅图像各自对应的精确类别识别结果，进而实现了在保证识别时效性的前提下，提高识别精准度的目的。

Description

图像识别方法及装置、计算机可读存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像识别方法及装置、计算机可读存储介质及电子设备。

背景技术

通常情况下，三维医学图像序列包括多个部位。为了方便阅片人操作，需要确定三维医学图像序列中的图像各自所属的部位（即确定三维医学图像序列中的图像各自对应的类别），以便基于部位提取出该部位对应的图像。

然而，现有的部位识别方法，不能兼顾识别时效性和识别精准度，难以满足实际应用需求。

发明内容

为了解决上述技术问题，提出了本申请。本申请实施例提供了一种图像识别方法及装置、计算机可读存储介质及电子设备。

第一方面，本申请一实施例提供了一种图像识别方法，该图像识别方法包括：确定待识别图像序列中的M幅图像各自对应的类别预测向量，其中，M幅图像对应N个类别，类别预测向量与N个类别对应；基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图，其中，概率图用于表征M幅图像与N个类别之间的概率关系；基于概率图，确定概率图对应的腐蚀图；基于腐蚀图，确定M幅图像各自对应的类别识别结果。

结合第一方面，在第一方面的某些实现方式中，基于腐蚀图，确定M幅图像各自对应的类别识别结果，包括：基于腐蚀图，将M幅图像划分为P个第一类预测置信区和Q个第二类预测置信区；基于腐蚀图，确定P个第一类预测置信区中的图像对应的类别识别结果；基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果。

结合第一方面，在第一方面的某些实现方式中，基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果，包括：针对Q个第二类预测置信区中的每个第二类预测置信区，将与第二类预测置信区具备相邻关系的第一类预测置信区，作为第二类预测置信区对应的参考预测置信区；基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果。

结合第一方面，在第一方面的某些实现方式中，参考预测置信区的数量为一个。基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果，包括：确定参考预测置信区和第二类预测置信区之间的时序关联关系；基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果；基于第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果，依次确定第二类预测置信区中的时序逐渐远离参考预测置信区的图像对应的类别识别结果。

结合第一方面，在第一方面的某些实现方式中，基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果，包括：基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像的第一类别预测结果；基于时序关联关系，确定第二类预测置信区中的时序最靠近参考预测置信区的图像的第二类别预测结果；基于第一类别预测结果、第二类别预测结果和概率图，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果。

结合第一方面，在第一方面的某些实现方式中，基于第一类别预测结果、第二类别预测结果和概率图，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果，包括：基于概率图，确定第一类别预测结果对应的第一概率值；基于概率图，确定第二类别预测结果对应的第二概率值；将第一概率值和第二概率值中较大的概率值对应的类别预测结果，确定为第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果。

结合第一方面，在第一方面的某些实现方式中，基于时序关联关系，确定第二类预测置信区中的时序最靠近参考预测置信区的图像的第二类别预测结果，包括：若基于时序关联关系，确定第二类预测置信区在参考预测置信区之前，则基于N个类别之间的关联关系，将参考预测置信区中的图像对应的类别的上一类别确定为第二类别预测结果；若基于时序关联关系，确定第二类预测置信区在参考预测置信区之后，则基于N个类别之间的关联关系，将参考预测置信区中的图像对应的类别的下一类别确定为第二类别预测结果。

结合第一方面，在第一方面的某些实现方式中，参考预测置信区的数量为两个，分别为第S个第一类预测置信区和第S+1个第一类预测置信区。基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果，包括：利用N个类别之间的关联关系、第S个第一类预测置信区中的图像对应的类别识别结果以及第S+1个第一类预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果。

结合第一方面，在第一方面的某些实现方式中，利用N个类别之间的关联关系、第S个第一类预测置信区中的图像对应的类别识别结果以及第S+1个第一类预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果，包括：基于第S个第一类预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近第S个第一类预测置信区的图像对应的类别识别结果；基于第二类预测置信区中的时序最靠近第S个第一类预测置信区的图像对应的类别识别结果，以远离第S个第一类预测置信区的时序方向，逐帧确定第二类预测置信区中的图像对应的类别识别结果。若第二类预测置信区中的第H幅图像对应的类别识别结果与第S+1个第一类预测置信区中的图像对应的类别识别结果相同，则确定第H幅图像之后的图像对应的类别识别结果与第H幅图像对应的类别识别结果相同。

结合第一方面，在第一方面的某些实现方式中，基于概率图，确定概率图对应的腐蚀图，包括：基于概率图中的M幅图像各自对应的最大概率值，确定概率图对应的二值图。其中，在二值图中，M幅图像各自对应的最大概率值对应第一数值，M幅图像各自对应的非最大概率值对应第二数值；对二值图进行腐蚀操作，得到腐蚀图。

结合第一方面，在第一方面的某些实现方式中，确定待识别图像序列中的M幅图像各自对应的类别预测向量，包括：利用图像识别模型，基于M幅图像确定M幅图像各自对应的类别预测向量，其中，图像识别模型用于基于待识别图像，确定待识别图像对应的类别预测向量。

结合第一方面，在第一方面的某些实现方式中，类别预测向量的行数为1，列数为N。基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图，包括：拼接M幅图像各自对应的类别预测向量，得到M幅图像对应的概率矩阵，其中，概率矩阵的行数为M，列数为N；基于概率矩阵确定概率图。

第二方面，本申请一实施例提供了一种图像识别装置，该图像识别装置包括：第一确定模块，用于确定待识别图像序列中的M幅图像各自对应的类别预测向量，其中，M幅图像对应N个类别，类别预测向量与N个类别对应；第二确定模块，用于基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图，其中，概率图用于表征M幅图像与N个类别之间的概率关系；第三确定模块，用于基于概率图确定概率图对应的腐蚀图；第四确定模块，用于基于腐蚀图，确定M幅图像各自对应的类别识别结果。

第三方面，本申请一实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述第一方面提及的图像识别方法。

第四方面，本申请一实施例提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；该处理器用于执行上述第一方面提及的图像识别方法。

由于腐蚀图是在概率图的基础上进行腐蚀操作后得到的，而概率图又能够表征M幅图像与N个类别之间的概率关系，因此，与概率图相比，经腐蚀操作后得到的腐蚀图能够留存概率图中精准度较高的概率值，去掉概率图中精准度较低的概率值以及存在异常的概率值。也就是说，腐蚀图能够更精准地表征M幅图像各自与N个类别之间的关系。由此可见，本申请实施例能够基于M幅图像各自对应的粗略类别预测结果，确定M幅图像各自对应的精确类别识别结果，进而实现了提高识别精准度的目的。此外，与现有利用包含三维卷积的部位识别模型得到识别结果的方式相比，本申请实施例能够充分保证识别时效性。

附图说明

图1所示为本申请一实施例提供的图像识别方法的流程示意图。

图2所示为本申请一实施例提供的基于腐蚀图，确定M幅图像各自对应的类别识别结果的流程示意图。

图3a所示为本申请一实施例提供的概率图的数值形式示意图。

图3b所示为本申请一实施例提供的二值图的数值形式示意图。

图3c所示为本申请一实施例提供的腐蚀图的数值形式示意图。

图4所示为本申请一实施例提供的基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果的流程示意图。

图5所示为本申请一实施例提供的基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果的流程示意图。

图6所示为本申请一实施例提供的基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果的流程示意图。

图7所示为本申请一实施例提供的基于第一类别预测结果、第二类别预测结果和概率图，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果的流程示意图。

图8所示为本申请另一实施例提供的基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果的流程示意图。

图9所示为本申请一实施例提供的基于概率图确定概率图对应的腐蚀图的流程示意图。

图10所示为本申请一实施例提供的基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图的流程示意图。

图11所示为本申请一实施例提供的图像识别装置的结构示意图。

图12所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

众所周知，通常情况下，三维医学图像序列包括多个部位。比如，三维医学图像序列为整个人体的医学图像序列，共包括13个部位，分别为脑，脑鼻咽，鼻咽，鼻咽颈，颈，颈胸，胸，胸腹，腹，腹盆腔，盆腔，盆腔下肢和下肢。为了方便后续处理，需要确定三维医学图像序列中的图像各自所属的部位（即确定三维医学图像序列中的图像各自对应的类别），以便基于部位提取出该部位对应的图像。比如，方便阅片人基于划分好的部位图像进行后续的一些操作，比如品质控制（Quality Control，QC）等。

现有的部位识别模型能够解决如何从三维医学图像序列中，基于具体部位提取出该具体部位对应的图像的技术问题。具体地，现有的部位识别模型主要包括两种类型。第一种是，利用三维卷积对整个三维医学图像序列进行特征提取，以实现部位识别的目的。第二种是，利用二维卷积对三维医学图像序列中包含的二维图像进行单独识别，再拼接三维医学图像序列中包含的二维图像各自对应的识别结果，以得到最终的部位识别结果。然而，上述提及的第一种的缺陷包括，三维卷积的计算量非常大且内存占用非常多，进而严重影响部位识别的时效性。上述提及的第二种的缺陷包括，无法利用三维医学图像序列的时序信息和/或空间信息，进而导致识别效果较差。

为了解决上述技术问题，本申请实施例提供一种图像识别方法及装置、计算机可读存储介质及电子设备，以实现在保证识别时效性的同时，提高识别精准度的目的。需要注意的是，本申请实施例提供的方法不局限于医学场景中的三维医学图像序列，亦可以应用到自然场景中的视频数据，比如应用到视频场景中，以执行视频分类任务。下面结合图1至图10详细介绍本申请实施例提及的图像识别方法。

图1所示为本申请一实施例提供的图像识别方法的流程示意图。如图1所示，本申请实施例提供的图像识别方法包括如下步骤。

步骤S100，确定待识别图像序列中的M幅图像各自对应的类别预测向量。

示例性地，M幅图像对应N个类别，M和N均为大于1的正整数。M幅图像对应N个类别的含义是，待识别图像序列样本共涉及N个类别（比如N个部位类别），那么，M幅图像中的每幅图像均属于N个类别中的其中一个类别。

可以理解，M幅图像中的每幅图像均对应有一个类别预测向量。该类别预测向量与N个类别对应，表征的是针对该幅图像预测的分别属于N个类别的概率。举例说明，N=13，即共存在13个类别，那么，每幅图像对应的类别预测向量的行数为1，列数为13。

步骤S200，基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图。

概率图用于表征M幅图像与N个类别之间的概率关系。比如，基于M幅图像各自对应的类别预测向量，生成行数为M，列数为N的概率矩阵，该概率矩阵即为概率图的数值形式。其中，概率矩阵的每行均表征一幅图像的类别预测向量。

步骤S300，基于概率图，确定概率图对应的腐蚀图。

在一些实施例中，对概率图进行腐蚀操作，得到概率图对应的腐蚀图。在另外一些实施例中，先基于概率图生成概率图对应的二值图，然后对二值图进行腐蚀操作，以得到概率图对应的腐蚀图。

步骤S400，基于腐蚀图，确定M幅图像各自对应的类别识别结果。

示例性地，在实际应用过程中，首先确定待识别图像序列中的M幅图像各自对应的类别预测向量，然后基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图，继而基于概率图，确定概率图对应的腐蚀图，并基于腐蚀图，确定M幅图像各自对应的类别识别结果。

由于腐蚀图是在概率图的基础上进行腐蚀操作后得到的，而概率图又能够表征M幅图像与N个类别之间的概率关系，因此，与概率图相比，经腐蚀操作后得到的腐蚀图能够留存概率图中精准度较高的概率值，去掉概率图中精准度较低的概率值以及存在异常的概率值。也就是说，腐蚀图能够更精准地表征M幅图像各自与N个类别之间的关系。由此可见，本申请实施例能够基于M幅图像各自对应的粗略类别预测结果，确定M幅图像各自对应的精确类别识别结果，进而实现了提高识别精准度的目的。此外，与现有利用包含三维卷积的部位识别模型得到识别结果的方式相比，本申请实施例能够充分保证识别时效性。

图2所示为本申请一实施例提供的基于腐蚀图，确定M幅图像各自对应的类别识别结果的流程示意图。在图1所示实施例基础上延伸出图2所示实施例，下面着重叙述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。

如图2所示，在本申请实施例中，基于腐蚀图，确定M幅图像各自对应的类别识别结果步骤，包括如下步骤。

步骤S410，基于腐蚀图，将M幅图像划分为P个第一类预测置信区和Q个第二类预测置信区。其中，P和Q均为正整数。

可以理解，每个第一类预测置信区均对应有上述提及的M幅图像中的至少一幅图像，并且，每个第一类预测置信区对应的所有图像均应是连续的，即图像序列号是连续不间断的。示例性地，每个第一类预测置信区仅对应N个类别中的一个类别。同理，每个第二类预测置信区均对应有上述提及的M幅图像中的至少一幅图像，并且，每个第二类预测置信区对应的所有图像均应是连续的，即图像序列号是连续不间断的。示例性地，每个第二类预测置信区可对应N个类别中的至少一个类别。

示例性地，第一类预测置信区为符合预设预测条件的预测置信区，比如符合预设预测精准度的高置信区。对应地，第二类预测置信区为未符合预设预测条件的预测置信区，比如预测精准度较低的低置信区（又称非高置信区）。

步骤S420，基于腐蚀图，确定P个第一类预测置信区中的图像对应的类别识别结果。

示例性地，第一类预测置信区为高置信区。那么，第一类预测置信区中的图像对应的类别识别结果便可基于腐蚀图确定。

步骤S430，基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果。

由于M幅图像之间具备时序关联关系，那么，Q个第二类预测置信区和P个第一类预测置信区之间亦存在时序关联关系。因此，基于Q个第二类预测置信区和P个第一类预测置信区之间的时序关联关系，以及P个第一类预测置信区中的图像对应的类别识别结果，便可确定Q个第二类预测置信区中的图像对应的类别识别结果。

本申请实施例提供的图像识别方法，通过首先基于腐蚀图将M幅图像划分为P个第一类预测置信区和Q个第二类预测置信区，然后基于腐蚀图确定P个第一类预测置信区中的图像对应的类别识别结果，进而基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果的方式，实现了基于腐蚀图确定M幅图像各自对应的类别识别结果的目的。由此可见，本申请实施例能够充分利用腐蚀图中记载的概率值，对于高置信区中的图像，直接利用腐蚀图确定类别识别结果，对于非高置信区中的图像，借助时序关联关系和高置信区中的图像对应的类别识别确定其类别识别结果，从而实现了在保证识别精准度的同时，进一步降低计算量的目的。

下面结合图3a至图3c举例说明概率图、二值图和腐蚀图的含义。图3a所示为本申请一实施例提供的概率图的数值形式示意图。图3b所示为本申请一实施例提供的二值图的数值形式示意图。图3c所示为本申请一实施例提供的腐蚀图的数值形式示意图。

具体地，图3b所示为图3a所示的概率图对应的二值图，图3c所示为图3b所示的二值图对应的腐蚀图。本申请实施例共包括150幅图像，不过为了便于显示，仅在图3a中显示前30幅图像，并基于前30幅图像进行解释说明。对应地，共涉及13个类别，即N=13。

如图3a所示，每幅图像对应的行均记载了该幅图像分别为13个类别中的各个类别的概率值。先以图像1（即样本1）举例，图像1对应的类别2的概率值最大，为0.432。图像1对应的类别预测向量即为图像1对应的行中的所有概率值的组合，即图像1对应的类别预测向量的行数为1，列数为13。再以图像2举例，图像2对应的类别3的概率值最大，为0.280。图像2对应的类别预测向量即为图像2对应的行中的所有概率值的组合，即图像2对应的类别预测向量的行数为1，列数为13。

基于图3a所示的概率图，形成图3b所示的二值图。具体地，针对30幅图像中的每幅图像，将该幅图像对应的概率值最大的类别赋值为1，其余均为0，由此便生成了图3b所示的二值图。

基于图3b所示的二值图，形成图3c所示的腐蚀图。具体地，对图3b所示的二值图进行腐蚀操作，得到图3c所示的腐蚀图。基于腐蚀图，可确定3个第一类预测置信区（又称高置信区），即P=3，分别为第一类预测置信区F1至F3。第一类预测置信区F1中的图像包括图像4至图像7，对应类别3。第一类预测置信区F2中的图像包括图像15，对应类别4。第一类预测置信区F3中的图像包括图像19至图像30，对应类别5。同理，基于腐蚀图，可确定3个第二类预测置信区（又称非高置信区），即Q=3，分别为第二类预测置信区T1至T3。第二类预测置信区T1中的图像包括图像1至图像3，第二类预测置信区T2中的图像包括图像8至图像14，第二类预测置信区T3中的图像包括图像16至图像18。

基于二值图可知，图像12（即样本12）的类别被判定为类别3，但其实际类别应为类别4。因此，破坏了序列类别的单调不递减性质，为异常值。通过对二值图进行腐蚀操作，图像12（即样本12）被判定为低置信样本，因此其类别4的信息被抹去。通过对比二值图和腐蚀图可知，经过腐蚀操作后，相邻类别的交界处的类别预测概率被抹去，即抹去了一些精准度较差的预测概率。相邻类别的交界处在图像结构上既有上一个类别的特征，又有下一个类别的特征，因此通常预测精准度较差。由此亦可见，通过对二值图进行腐蚀操作，去除了精准度较差的预测概率，保留了精准度较好的预测概率。

图4所示为本申请一实施例提供的基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果的流程示意图。在图2所示实施例基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

如图4所示，在本申请实施例中，基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果步骤，包括如下步骤。

步骤S431，针对Q个第二类预测置信区中的每个第二类预测置信区，将与第二类预测置信区具备相邻关系的第一类预测置信区，作为第二类预测置信区对应的参考预测置信区。

可以理解，针对每个第二类预测置信区，均存在与该第二类预测置信区具备相邻关系的第一类预测置信区。与该第二类预测置信区具备相邻关系的第一类预测置信区的数量既可以是一个，也可以是两个。

步骤S432，基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果。

也就是说，针对Q个第二类预测置信区中的每个第二类预测置信区，均基于该第二类预测置信区对应的参考预测置信区确定该第二类预测置信区中的图像对应的类别识别结果。

本申请实施例提供的图像识别方法，通过针对Q个第二类预测置信区中的每个第二类预测置信区，将与第二类预测置信区具备相邻关系的第一类预测置信区，作为第二类预测置信区对应的参考预测置信区，进而基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果的方式，实现了基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果的目的。由于第二类预测置信区对应的参考预测置信区为与第二类预测置信区具备相邻关系的第一类预测置信区，而N个类别之间亦具备类别单调变化原则，因此，本申请实施例能够借助参考预测置信区更精准地确定第二类预测置信区中的图像对应的类别识别结果。

图5所示为本申请一实施例提供的基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果的流程示意图。在图4所示实施例基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

具体地，在本申请实施例中，第二类预测置信区对应的参考预测置信区的数量为一个。如图5所示，基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果步骤，包括如下步骤。

步骤S4321，确定参考预测置信区和第二类预测置信区之间的时序关联关系。

示例性地，时序关联关系需要依赖于N个类别的类别顺序确定。类别顺序包括正序和倒序。对应地，参考预测置信区和第二类预测置信区之间的时序关联关系包括，参考预测置信区在第二类预测置信区之前，以及参考预测置信区在第二类预测置信区之后。

在一些实施例中，参考预测置信区和第二类预测置信区之间的时序关联关系基于M幅图像之间的时序关联关系确定。如前所述，由于每个第一类预测置信区均是连续的，因此，参考预测置信区亦是连续的，又由于每个第二类预测置信区亦是连续的，那么，基于M幅图像之间的时序关联关系，便能确定参考预测置信区和第二类预测置信区之间的时序关联关系。

步骤S4322，基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果。

基于图3c举例，针对第二类预测置信区T1，其参考预测置信区即为第一类预测置信区F1，第二类预测置信区T1中的时序最靠近参考预测置信区的图像为图像3。

步骤S4323，基于第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果，依次确定第二类预测置信区中的时序逐渐远离参考预测置信区的图像对应的类别识别结果。

继续基于图3c举例，针对第二类预测置信区T1，步骤S4323中提及的依次确定第二类预测置信区中的时序逐渐远离参考预测置信区的图像对应的类别识别结果，便可理解为，依次确定图像2、图像1对应的类别识别结果。

由于第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果，与参考预测置信区中的图像对应的类别识别结果最为接近，因此，本申请实施例能够进一步提高所确定的第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果的精准度。此外，本申请实施例提及的基于第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果，依次确定第二类预测置信区中的时序逐渐远离参考预测置信区的图像对应的类别识别结果的方式，能够实现逐步基于当前图像对应的上一幅图像的精准识别结果确定当前图像对应的类别识别结果的目的，进而最终提高第二类预测置信区中的图像各自对应的类别识别结果。其中，当前图像对应的上一幅图像指的是，当前图像对应的、已确定完毕类别识别结果的前一幅图像，比如，在图3c中，若当前图像为图像2，那么，上一幅图像即为图像3。

图6所示为本申请一实施例提供的基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果的流程示意图。在图5所示实施例基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图5所示实施例的不同之处，相同之处不再赘述。

如图6所示，在本申请实施例中，基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果步骤，包括如下步骤。

步骤S43221，基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像的第一类别预测结果。

示例性地，将参考预测置信区中的图像对应的类别识别结果，直接作为第二类预测置信区中的时序最靠近参考预测置信区的图像的第一类别预测结果。

继续基于图3c举例，针对第二类预测置信区T1，由于第一类预测置信区F1的图像对应类别3（即参考预测置信区中的图像对应的类别识别结果为类别3），因此，第二类预测置信区T1中的时序最靠近参考预测置信区的图像3的第一类别预测结果为类别3。

步骤S43222，基于时序关联关系，确定第二类预测置信区中的时序最靠近参考预测置信区的图像的第二类别预测结果。

示例性地，若基于时序关联关系确定第二类预测置信区在参考预测置信区之前，则可基于N个类别之间的关联关系，将参考预测置信区中的图像对应的类别识别结果之前的类别作为步骤S43222中提及的第二类别预测结果。继续基于图3c举例，第二类预测置信区T1中的时序最靠近参考预测置信区的图像3的第二类别预测结果可以为类别2，也可以为类别2和类别1。可以理解，第二类别预测结果的数量不局限为一个，可以为多个。

步骤S43223，基于第一类别预测结果、第二类别预测结果和概率图，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果。

本申请实施例提供的图像识别方法，利用时序关联关系为第二类预测置信区中的时序最靠近参考预测置信区的图像确定了多个类别预测结果（包括第一类别预测结果和第二类别预测结果），进而结合概率图和多个类别预测结果，实现了进一步提高第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果的精准度的目的。也就是说，本申请实施例充分利用了M幅图像之间的时序关联关系。

下面基于图7进一步举例说明上述提及的步骤S43223的具体实现方式。图7所示为本申请一实施例提供的基于第一类别预测结果、第二类别预测结果和概率图，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果的流程示意图。如图7所示，在本申请实施例中，基于第一类别预测结果、第二类别预测结果和概率图，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果步骤，包括如下步骤。

步骤S510，基于概率图，确定第一类别预测结果对应的第一概率值。

步骤S520，基于概率图，确定第二类别预测结果对应的第二概率值。

步骤S530，将第一概率值和第二概率值中较大的概率值对应的类别预测结果，确定为第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果。

继续基于图3a和图3c举例，针对第二类预测置信区T1，第二类预测置信区T1中的时序最靠近参考预测置信区的图像3的第一类别预测结果为类别3，第二类别预测结果为类别2。那么，基于图3a可知，图像3对应类别3的概率值为0.493（即第一概率值为0.493），图像3对应类别2的概率值为0.077（即第二概率值为0.077）。那么，由于0.493大于0.077，因此，第二类预测置信区T1中的时序最靠近参考预测置信区的图像3的类别识别结果为类别3。

由于第一概率值和第二概率值中较大的概率值对应的类别预测结果更可能为真实的类别识别结果，因此，本申请实施例通过比对概率值的方式，能够挑选出准确几率更高的类别识别结果。

图8所示为本申请另一实施例提供的基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果的流程示意图。在图6所示实施例基础上延伸出图8所示实施例，下面着重叙述图8所示实施例与图6所示实施例的不同之处，相同之处不再赘述。

如图8所示，在本申请实施例中，基于时序关联关系，确定第二类预测置信区中的时序最靠近参考预测置信区的图像的第二类别预测结果步骤，包括如下步骤。

步骤S610，基于时序关联关系，判断第二类预测置信区在参考预测置信区之前还是之后。

示例性地，在实际应用过程中，若步骤S610的判断结果为之前，即，第二类预测置信区在参考预测置信区之前，则执行步骤S620。若步骤S610的判断结果为之后，即，第二类预测置信区在参考预测置信区之后，则执行步骤S630。

步骤S620，基于N个类别之间的关联关系，将参考预测置信区中的图像对应的类别的上一类别确定为第二类别预测结果。

步骤S630，基于N个类别之间的关联关系，将参考预测置信区中的图像对应的类别的下一类别确定为第二类别预测结果。

可以理解，步骤S620和步骤S630中提及的参考预测置信区中的图像对应的类别即为上述提及的参考预测置信区中的图像对应的类别识别结果。

由于N个类别之间是具备关联关系的，M幅图像符合类别单调变化原则。具体地，若按照类别从小到大的顺序（即正序），可将M幅图像各自对应的类别视为符合单调不递减变化原则，若按照类别从大到小的顺序（即倒序），可将M幅图像各自对应的类别视为符合单调不递增变化原则。那么，如前所述，第二类预测置信区在参考预测置信区之前还是之后、以及参考预测置信区中的图像对应的类别的上一类别和下一类别，均需要与类别顺序相关。

在本申请实施例中，所确定的第二类别预测结果均与参考预测置信区中的图像对应的类别紧密相关。如此设置，能够有效避免第二类别预测结果与真实的类别识别结果相差过大的情况，进而防止了异常值的出现。

结合图3c可知，通常情况下，多个第一类预测置信区和多个第二类预测置信区间隔排布。那么，由此可见，每个第二类预测置信区至少存在一个与该第二类预测置信区具备相邻关系的第一类预测置信区（即参考预测置信区）。

若参考预测置信区的数量为一个，那么，该第二类预测置信区即为所有预测置信区（包括第一类预测置信区和第二类预测置信区）中的第一个预测置信区，或最后一个预测置信区。这种情况下，可基于上述任一实施例提及的方式确定该第二类预测置信区中的图像对应的类别识别结果。

若参考预测置信区的数量为两个，该第二类预测置信区即可视为两个参考预测置信区之间的第二类预测置信区。那么，可将两个参考预测置信区中的任一参考预测置信区为基准，基于上述任一实施例提及的方式确定该第二类预测置信区中的图像对应的类别识别结果。此外，又可基于下述实施例确定该第二类预测置信区中的图像对应的类别识别结果。

具体地，在本申请一实施例中，两个参考预测置信区分别为第S个第一类预测置信区和第S+1个第一类预测置信区，其中，S为小于P的正整数。其中，基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果，包括：基于类别单调变化原则，利用N个类别之间的关联关系、第S个第一类预测置信区中的图像对应的类别识别结果以及第S+1个第一类预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果。

针对类别单调变化原则进行举例说明。例如，某图像序列包含20张图像，正确的部位类别识别编码为：1 1 1 2 2 2 2 2 3 3 3 4 4 4 4 4 4 5 5 5，满足单调不递减。不正确的部位识别结果为：1 1 1 2 2 5 2 2 3 3 3 4 4 4 4 4 4 5 5 5，其中，第6张图像的类别识别结果错误，进而使得图像6至7不满足单调不递减，此时需要将第6张图像的类别识别结果平滑为2。

也就是说，由于第二类预测置信区位于第S个第一类预测置信区和第S+1个第一类预测置信区之间，而第S个第一类预测置信区和第S+1个第一类预测置信区又均为高置信区，因此，基于类别单调变化原则可知，第二类预测置信区中的图像对应的类别识别结果只能在第S个第一类预测置信区中的图像对应的类别识别结果和第S+1个第一类预测置信区中的图像对应的类别识别结果对应的类别区间内。比如，第S个第一类预测置信区中的图像对应的类别识别结果为类别5，第S+1个第一类预测置信区中的图像对应的类别识别结果为类别7，则类别区间为类别5至类别7。由此可见，本申请实施例能够进一步简化计算步骤和计算流程，进而提高识别时效性。

进一步地，在一些实施例中，上述提及的利用N个类别之间的关联关系、第S个第一类预测置信区中的图像对应的类别识别结果以及第S+1个第一类预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果，包括：基于第S个第一类预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近第S个第一类预测置信区的图像对应的类别识别结果；基于第二类预测置信区中的时序最靠近第S个第一类预测置信区的图像对应的类别识别结果，以远离第S个第一类预测置信区的时序方向，逐帧确定第二类预测置信区中的图像对应的类别识别结果。若第二类预测置信区中的第H幅图像对应的类别识别结果与第S+1个第一类预测置信区中的图像对应的类别识别结果相同，则确定第H幅图像之后的图像对应的类别识别结果与第H幅图像对应的类别识别结果相同。可以理解，第H幅图像为第二类预测置信区中的非末位图像。

由此可见，本申请实施例能够在保证识别精准度的前提下，极大提高识别时效性。也就是说，本申请实施例通过对影像序列分类结果的初始识别结果的one-hot二值图进行腐蚀处理，将识别结果分为高置信区和低置信区，滤除了低置信的不连续的异常值，并利用两个连续的高置信区重新判定低置信区样本的类别，根据异常值的上下文关系为异常值分配符合规则的类别，同时不对原本识别正确的置信样本的类别判定造成影响，实现几乎无损的异常值平滑。

为了进一步说明第二类预测置信区中的图像对应的类别识别结果的示例性计算方式，下面具体举例说明。

第一，针对第一个高置信区之前的非高置信区做如下操作。

若第一个高置信区的第一个样本（即第一幅图像）为序列（即待识别图像序列）的第一个样本，略过。

若第一个高置信区的第一个样本不为序列的第一个样本，假设当前高置信区（即第一个高置信区）的类别为3，且第一个样本的序号为5，则对于第4个样本，取其第2类别和第3类别中的预测概率最大的类别作为第4个样本的类别。假设第4个样本的最大概率为类别3，则对第3个样本取其第2类别和第3类别中的预测概率最大的类别作为第3个样本的类别。假设第4个样本的最大概率为类别2，则对第3个样本取其第1类别和第2类别中的预测概率最大的类别作为第3个样本的类别。以此类推，以倒序的方式分别处理之后的样本2、样本1。

第二，针对最后一个高置信区之后的非高置信区做如下操作。

若最后一个高置信区的最后一个样本（即最后一幅图像）为序列（即待识别图像序列）的最后一个样本，略过。

若最后一个高置信区的最后一个样本不为序列的最后一个样本，假设当前高置信区（即最后一个高置信区）的类别为10，且最后一个样本的序号为100，则对于第101个样本，取其第10类别和第11类别中的预测概率最大的类别作为第101个样本的类别。假设第101个样本的最大概率为类别10，则对第102个样本取其第10类别和第11类别中的预测概率最大的类别作为第102个样本的类别。假设第101个样本的最大概率为类别11，则对第102个样本取其第11类别和第12类别中的预测概率最大的类别作为第102个样本的类别。以此类推，以正序的方式分别处理之后的样本103、样本104等。

第三，针对相邻的两个高置信区之间的非高置信区做如下操作。

假设两个高置信区的类别为类别5和类别7，那么，在两个高置信区之间的非高置信区中的图像的类别只能为类别5，6，7。按样本顺序，从类别为5的高置信区的最后一个样本的下一个样本开始，在类别5和类别6中选取最大的一个概率作为当前样本的概率。同理，当当前样本的最大概率类别为5，下一个样本的类别只能在类别5和类别6中选择。当当前样本类别为6，则下一个样本的类别只能在类别6和类别7之间选择。当当前样本被判定为类别7时，为确保序列的类别编码单调不递减，余下未判断的样本的类别则统一为类别7。可以理解，为每组相邻的两个高置信区之间的非高置信区均执行上述操作。

图9所示为本申请一实施例提供的基于概率图确定概率图对应的腐蚀图的流程示意图。在图1所示实施例基础上延伸出图9所示实施例，下面着重叙述图9所示实施例与图1所示实施例的不同之处，相同之处不再赘述。

如图9所示，在本申请实施例中，基于概率图，确定概率图对应的腐蚀图步骤，包括如下步骤。

步骤S310，基于概率图中的M幅图像各自对应的最大概率值，确定概率图对应的二值图。

示例性地，在二值图中，M幅图像各自对应的最大概率值对应第一数值，比如1，M幅图像各自对应的非最大概率值对应第二数值，比如0。

步骤S320，对二值图进行腐蚀操作，得到腐蚀图。

示例性地，待识别图像序列为医学图像序列，类别为部位类别，腐蚀操作的腐蚀结构元素尺寸为1*4。该尺寸能够保证每个部位对应的图像不会太少，从而保证识别精准度。

与直接对概率图进行腐蚀操作相比，本申请实施例能够进一步优化腐蚀图的精准程度，进而为最终提高所确定的M幅图像各自对应的类别识别结果的精准度提供了前提条件。

图10所示为本申请一实施例提供的基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图的流程示意图。在图1所示实施例基础上延伸出图10所示实施例，下面着重叙述图10所示实施例与图1所示实施例的不同之处，相同之处不再赘述。

如图10所示，在本申请实施例中，基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图步骤，包括如下步骤。

步骤S210，拼接M幅图像各自对应的类别预测向量，得到M幅图像对应的概率矩阵。

示例性地，类别预测向量的行数为1，列数为N。对应地，概率矩阵的行数为M，列数为N。

步骤S220，基于概率矩阵确定概率图。

示例性地，直接将概率矩阵确定为概率图的数值矩阵，进而确定概率图。

本申请实施例提供的图像识别方法，通过拼接M幅图像各自对应的类别预测向量，得到M幅图像对应的概率矩阵，进而基于概率矩阵确定概率图的方式，实现了基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图的目的。如此设置，能够使概率图包括M幅图像各自对应的类别预测向量中的所有信息，进而实现了以M幅图像各自对应的类别预测向量为基准，确定M幅图像各自对应的类别识别结果的目的。

在本申请一实施例中，上述提及的确定待识别图像序列中的M幅图像各自对应的类别预测向量，包括：利用图像识别模型，基于M幅图像确定M幅图像各自对应的类别预测向量。其中，图像识别模型用于基于待识别图像，确定待识别图像对应的类别预测向量。因M幅图像各自对应的类别预测向量是基于图像识别模型确定的，因此，基于上述实施例提及的图像识别方法，能够实现进一步优化图像识别模型的识别预测结果的目的。此外，上述实施例提及的图像识别方法亦能够为模型评估等操作提供评估基础。

示例性地，图像识别模型为多分类卷积神经网络模型。因多分类卷积神经网络模型可通过层级转移学习，保存推理并在后续层级上进行新的学习，且在使用模型之前无需单独进行特征提取，因此，更适用于本申请的图像处理场景。

在一些实施例中，图像识别模型即为上述提及的，利用二维卷积对三维医学图像序列中包含的二维图像进行单独识别，再拼接三维医学图像序列中包含的二维图像各自对应的识别结果，以得到最终的部位识别结果的模型。该类模型的有点在于识别时效性好，但是识别精准度不高，在此基础上，结合上述实施例提及的图像识别方法，能够进一步优化模型输出的部位识别结果，进而实现兼顾识别时效性和识别精准度的目的。

此外，在另外一些实施例中，M幅图像各自对应的类别预测向量亦可以采用时序分类的方式得到，本申请实施例对此不进行统一限定。

上文结合图1至图10，详细描述了本申请的方法实施例，下面结合图11和图12，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。

图11所示为本申请一实施例提供的图像识别装置的结构示意图。如图11所示，本申请实施例提供的图像识别装置包括第一确定模块100、第二确定模块200、第三确定模块300和第四确定模块400。

具体地，第一确定模块100用于确定待识别图像序列中的M幅图像各自对应的类别预测向量。第二确定模块200用于基于M幅图像各自对应的类别预测向量，确定M幅图像对应的概率图。第三确定模块300用于基于概率图，确定概率图对应的腐蚀图。第四确定模块400用于基于腐蚀图，确定M幅图像各自对应的类别识别结果。

在一些实施例中，第四确定模块400还用于，基于腐蚀图将M幅图像划分为P个第一类预测置信区和Q个第二类预测置信区，基于腐蚀图确定P个第一类预测置信区中的图像对应的类别识别结果，基于P个第一类预测置信区中的图像对应的类别识别结果，确定Q个第二类预测置信区中的图像对应的类别识别结果。

在一些实施例中，第四确定模块400还用于，针对Q个第二类预测置信区中的每个第二类预测置信区，将与第二类预测置信区具备相邻关系的第一类预测置信区，作为第二类预测置信区对应的参考预测置信区，基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的图像对应的类别识别结果。

在一些实施例中，第四确定模块400还用于，确定参考预测置信区和第二类预测置信区之间的时序关联关系，基于时序关联关系和参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果，基于第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果，依次确定第二类预测置信区中的时序逐渐远离参考预测置信区的图像对应的类别识别结果。

在一些实施例中，第四确定模块400还用于，基于参考预测置信区中的图像对应的类别识别结果，确定第二类预测置信区中的时序最靠近参考预测置信区的图像的第一类别预测结果，基于时序关联关系，确定第二类预测置信区中的时序最靠近参考预测置信区的图像的第二类别预测结果，基于第一类别预测结果、第二类别预测结果和概率图，确定第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果。

在一些实施例中，第四确定模块400还用于，基于概率图，确定第一类别预测结果对应的第一概率值，基于概率图，确定第二类别预测结果对应的第二概率值，将第一概率值和第二概率值中较大的概率值对应的类别预测结果，确定为第二类预测置信区中的时序最靠近参考预测置信区的图像对应的类别识别结果。

在一些实施例中，第四确定模块400还用于，基于时序关联关系，判断第二类预测置信区在参考预测置信区之前还是之后，若第二类预测置信区在参考预测置信区之前，基于N个类别之间的关联关系，将参考预测置信区中的图像对应的类别的上一类别确定为第二类别预测结果，若第二类预测置信区在参考预测置信区之后，基于N个类别之间的关联关系，将参考预测置信区中的图像对应的类别的下一类别确定为第二类别预测结果。

在一些实施例中，第三确定模块300还用于，基于概率图中的M幅图像各自对应的最大概率值，确定概率图对应的二值图，对二值图进行腐蚀操作，得到腐蚀图。

在一些实施例中，第二确定模块200还用于，拼接M幅图像各自对应的类别预测向量，得到M幅图像对应的概率矩阵，基于概率矩阵确定概率图。

下面，参考图12来描述根据本申请实施例的电子设备。图12所示为本申请一实施例提供的电子设备的结构示意图。

如图12所示，电子设备70包括一个或多个处理器710和存储器720。

处理器710可以是中央处理单元（Central Processing Unit，CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备70中的其他组件以执行期望的功能。

存储器720可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（Random Access Memory，RAM）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（Read-Only Memory，ROM）、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器710可以运行程序指令，以实现上文提及的本申请的各个实施例的图像识别方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如待识别图像序列等各种内容。

在一个示例中，电子设备70还可以包括：输入装置730和输出装置740，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置730可以包括例如键盘、鼠标等等。

该输出装置740可以向外部输出各种信息，包括类别识别结果等。该输出装置740可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图12中仅示出了该电子设备70中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本申请各种实施例的图像识别方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述描述的根据本申请各种实施例的图像识别方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read-OnlyMemory，EPROM或闪存）、光纤、便携式紧凑盘只读存储器（Compact Disc Read-OnlyMemory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (15)

1.一种图像识别方法，其特征在于，包括：

确定待识别图像序列中的M幅图像各自对应的类别预测向量，其中，所述M幅图像对应N个类别，所述类别预测向量与所述N个类别对应；

基于所述M幅图像各自对应的类别预测向量，确定所述M幅图像对应的概率图，其中，所述概率图用于表征所述M幅图像与所述N个类别之间的概率关系；

基于所述概率图，确定所述概率图对应的腐蚀图；

基于所述腐蚀图，确定所述M幅图像各自对应的类别识别结果。

2.根据权利要求1所述的图像识别方法，其特征在于，所述基于所述腐蚀图，确定所述M幅图像各自对应的类别识别结果，包括：

基于所述腐蚀图，将所述M幅图像划分为P个第一类预测置信区和Q个第二类预测置信区；

基于所述腐蚀图，确定所述P个第一类预测置信区中的图像对应的类别识别结果；

基于所述P个第一类预测置信区中的图像对应的类别识别结果，确定所述Q个第二类预测置信区中的图像对应的类别识别结果。

3.根据权利要求2所述的图像识别方法，其特征在于，所述基于所述P个第一类预测置信区中的图像对应的类别识别结果，确定所述Q个第二类预测置信区中的图像对应的类别识别结果，包括：

针对所述Q个第二类预测置信区中的每个第二类预测置信区，

将与所述第二类预测置信区具备相邻关系的第一类预测置信区，作为所述第二类预测置信区对应的参考预测置信区；

基于所述参考预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的图像对应的类别识别结果。

4.根据权利要求3所述的图像识别方法，其特征在于，所述参考预测置信区的数量为一个，所述基于所述参考预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的图像对应的类别识别结果，包括：

确定所述参考预测置信区和所述第二类预测置信区之间的时序关联关系；

基于所述时序关联关系和所述参考预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像对应的类别识别结果；

基于所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像对应的类别识别结果，依次确定所述第二类预测置信区中的时序逐渐远离所述参考预测置信区的图像对应的类别识别结果。

5.根据权利要求4所述的图像识别方法，其特征在于，所述基于所述时序关联关系和所述参考预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像对应的类别识别结果，包括：

基于所述参考预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像的第一类别预测结果；

基于所述时序关联关系，确定所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像的第二类别预测结果；

基于所述第一类别预测结果、所述第二类别预测结果和所述概率图，确定所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像对应的类别识别结果。

6.根据权利要求5所述的图像识别方法，其特征在于，所述基于所述第一类别预测结果、所述第二类别预测结果和所述概率图，确定所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像对应的类别识别结果，包括：

基于所述概率图，确定所述第一类别预测结果对应的第一概率值；

基于所述概率图，确定所述第二类别预测结果对应的第二概率值；

将所述第一概率值和所述第二概率值中较大的概率值对应的类别预测结果，确定为所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像对应的类别识别结果。

7.根据权利要求5所述的图像识别方法，其特征在于，所述基于所述时序关联关系，确定所述第二类预测置信区中的时序最靠近所述参考预测置信区的图像的第二类别预测结果，包括：

若基于所述时序关联关系，确定所述第二类预测置信区在所述参考预测置信区之前，则基于所述N个类别之间的关联关系，将所述参考预测置信区中的图像对应的类别的上一类别确定为所述第二类别预测结果；

若基于所述时序关联关系，确定所述第二类预测置信区在所述参考预测置信区之后，则基于所述N个类别之间的关联关系，将所述参考预测置信区中的图像对应的类别的下一类别确定为所述第二类别预测结果。

8.根据权利要求3所述的图像识别方法，其特征在于，所述参考预测置信区的数量为两个，分别为第S个第一类预测置信区和第S+1个第一类预测置信区，所述基于所述参考预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的图像对应的类别识别结果，包括：

利用所述N个类别之间的关联关系、所述第S个第一类预测置信区中的图像对应的类别识别结果以及所述第S+1个第一类预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的图像对应的类别识别结果。

9.根据权利要求8所述的图像识别方法，其特征在于，所述利用所述N个类别之间的关联关系、所述第S个第一类预测置信区中的图像对应的类别识别结果以及所述第S+1个第一类预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的图像对应的类别识别结果，包括：

基于所述第S个第一类预测置信区中的图像对应的类别识别结果，确定所述第二类预测置信区中的时序最靠近所述第S个第一类预测置信区的图像对应的类别识别结果；

基于所述第二类预测置信区中的时序最靠近所述第S个第一类预测置信区的图像对应的类别识别结果，以远离所述第S个第一类预测置信区的时序方向，逐帧确定所述第二类预测置信区中的图像对应的类别识别结果；

若所述第二类预测置信区中的第H幅图像对应的类别识别结果与所述第S+1个第一类预测置信区中的图像对应的类别识别结果相同，则确定所述第H幅图像之后的图像对应的类别识别结果与所述第H幅图像对应的类别识别结果相同。

10.根据权利要求1至9任一项所述的图像识别方法，其特征在于，所述基于所述概率图，确定所述概率图对应的腐蚀图，包括：

基于所述概率图中的所述M幅图像各自对应的最大概率值，确定所述概率图对应的二值图，其中，在所述二值图中，所述M幅图像各自对应的最大概率值对应第一数值，所述M幅图像各自对应的非最大概率值对应第二数值；

对所述二值图进行腐蚀操作，得到所述腐蚀图。

11.根据权利要求1至9任一项所述的图像识别方法，其特征在于，所述确定待识别图像序列中的M幅图像各自对应的类别预测向量，包括：

利用图像识别模型，基于所述M幅图像确定所述M幅图像各自对应的类别预测向量，其中，所述图像识别模型用于基于待识别图像，确定所述待识别图像对应的类别预测向量。

12.根据权利要求1至9任一项所述的图像识别方法，其特征在于，类别预测向量的行数为1，列数为N，所述基于所述M幅图像各自对应的类别预测向量，确定所述M幅图像对应的概率图，包括：

拼接所述M幅图像各自对应的类别预测向量，得到所述M幅图像对应的概率矩阵，其中，所述概率矩阵的行数为M，列数为N；

基于所述概率矩阵确定所述概率图。

13.一种图像识别装置，其特征在于，包括：

第一确定模块，用于确定待识别图像序列中的M幅图像各自对应的类别预测向量，其中，所述M幅图像对应N个类别，所述类别预测向量与所述N个类别对应；

第二确定模块，用于基于所述M幅图像各自对应的类别预测向量，确定所述M幅图像对应的概率图，其中，所述概率图用于表征所述M幅图像与所述N个类别之间的概率关系；

第三确定模块，用于基于所述概率图确定所述概率图对应的腐蚀图；

第四确定模块，用于基于所述腐蚀图，确定所述M幅图像各自对应的类别识别结果。

14.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至12任一项所述的方法。

15.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至12任一项所述的方法。

Images