CN115222939A - 一种图像识别方法、装置、设备以及存储介质 - Google Patents

Abstract

本公开提供了一种图像识别方法、装置、设备以及存储介质，涉及图像处理技术领域，尤其涉及计算机视觉技术领域。具体实现方案为：获取待识别图像；根据第一识别模型，对待识别图像中的目标物体进行识别，得到第一识别结果；根据第一识别结果，裁剪得到目标物体图像；根据第二识别模型，对目标物体图像中的黏连区域进行分割，得到第二识别结果。本公开提供的一种图像识别方法、装置、设备以及存储介质，可以提高图像识别的效率和准确率。

Description

一种图像识别方法、装置、设备以及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及计算机视觉技术领域的一种图像识别方法、装置、设备以及存储介质。

背景技术

随着人工智能技术的飞速发展，各行各业经常需要对图像进行识别，例如识别图像中的目标物体以及目标物体在图像中的位置信息等。现有技术一般采用人工方式或深度学习模型来进行图像识别。

发明内容

本公开提供了一种用于提高图像识别准确率的图像识别方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种图像识别方法，该方法包括：获取待识别图像；根据第一识别模型，对所述待识别图像中的目标物体进行识别，得到第一识别结果；根据所述第一识别结果，裁剪得到目标物体图像；根据第二识别模型，对所述目标物体图像中的黏连区域进行分割，得到第二识别结果。

根据本公开的另一方面，提供了一种图像识别装置，该装置包括：获取模块，用于获取待识别图像；识别模块，用于根据第一识别模型，对所述待识别图像中的目标物体进行识别，得到第一识别结果；裁剪模块，用于根据所述第一识别结果，裁剪得到目标物体图像；分割模块，用于根据第二识别模型，对所述目标物体图像中的黏连区域进行分割，得到第二识别结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开所述的方法。

本公开提供的一种图像识别方法、装置、设备以及存储介质，能够提高图像识别的效率和图像识别结果的准确率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是智能交通领域图像识别的应用场景示意图；

图2是根据本公开第一实施例的一种图像识别方法的流程示意图；

图3是根据本公开第二实施例的一种图像识别方法的流程示意图；

图4是根据本公开第三实施例的一种图像识别方法的流程示意图；

图5是根据本公开第七实施例的一种图像识别方法的流程示意图；

图6是根据本公开第七实施例的一种图像识别方法的应用场景示意图一；

图7是根据本公开第七实施例的一种图像识别方法的应用场景示意图二；

图8是根据本公开第八实施例的一种图像识别装置的结构示意图；

图9是用来实现本公开实施例的一种图像识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

随着人工智能技术的飞速发展，各行各业经常需要对图像中的目标物体进行识别，例如在智能交通领域中，经常需要识别采集到的道路图像中的各种交通标识符；在智能农业领域中，经常需要识别采集到的农场图像中的各种农作物；在智能医疗领域，经常需要识别采集到的医疗图像中的各种病变部位等。现有技术一般采用深度学习模型来进行图像识别，然而，若图像中有多个目标物体且多个目标物体有黏连的情况，一般的深度学习模型只能识别出目标物体的黏连区域，无法对目标物体的黏连区域进行分割，得到单独目标物体的识别结果。图1是智能交通领域图像识别的应用场景示意图，如图1所示，以智能交通领域为例，一般十字路口的斑马线可能会产生黏连，如图1中的斑马线a和斑马线b，如果采用一般的深度学习模型识别图1中的斑马线，最终只能得到斑马线a和斑马线b共同的黏连区域，而无法单独识别出斑马线a和斑马线b，如果想要得到单独的斑马线a和斑马线b，只能依靠人工分割斑马线a和斑马线b共同的黏连区域。

图2是根据本公开第一实施例的一种图像识别方法的流程示意图，如图2所示，该方法主要包括：

步骤S101，获取待识别图像。

在本实施例中，首先需要获取待识别图像，根据应用场景的不同，待识别图像可以为任何场景下的图像。例如，在智能交通领域中，待识别图像可以为道路俯瞰图；在智能农业领域中，待识别图像可以为农场监控图；在智能医疗领域，待识别图像可以为医疗影像图等，待识别图像还可以为其他类型图像，本公开不对待识别图像进行限定。

在一可实施方式中，待识别图像可以为基于点云数据生成的高精点云图，可以通过图像采集装置，如照相机、扫描仪等直接采集待识别图像，也可以先采集与应用场景相关的监控视频，然后将监控视频逐帧转换为待识别图像，本公开不限定待识别图像的获取方法。

步骤S102，根据第一识别模型，对待识别图像中的目标物体进行识别，得到第一识别结果。

在本实施例中，获取待识别图像之后，需要将待识别图像输入第一识别模型，对待识别图像中的目标物体进行识别，从而得到第一识别结果。具体地，第一识别结果可以包括目标物体的名称和目标物体的位置信息等。

在一可实施方式中，可以先获取训练集，训练集中包括已经标注了目标物体的样本图像，然后将训练集输入深度学习模型中进行训练，得到第一识别模型。具体地，深度学习模型可以为全卷积网络(FCN，Fully Convolutional Network)、Unet模型和Deeplab模型等，Unet模型和Deeplab模型都是基于FCN提出的语义分割模型。

步骤S103，根据第一识别结果，裁剪得到目标物体图像。

在本实施例中，得到第一识别结果之后，需要根据第一识别结果中目标物体的位置信息，从第一识别模型处理后的待识别图像中裁剪得到目标物体图像。

在一可实施方式中，可以先对第一识别模型处理后的待识别图像进行图像形态学操作，例如去除识别噪声等，然后再从第一识别模型处理后的待识别图像中裁剪得到目标物体图像。具体地，可以利用邻域平均法、中值滤波和低通滤波等方法去除识别噪声。

在一可实施方式中，因为第一识别模型对待识别图像进行较粗粒度的识别，所以第一识别结果可能不准确，例如第一识别结果中目标物体的位置信息对应的范围可能并未将目标物体全部包含，因此可以将第一识别结果中目标物体的位置信息对应的范围外扩，例如外扩50个像素范围，然后将外扩之后的范围裁剪出来作为目标物体图像，这样可以保证如果第一识别结果中目标物体的位置信息不准确，裁剪得到的目标物体图像仍然能够将目标物体全部包含。其中，外扩的像素范围可以根据实际应用场景进行预设，本公开不对其进行限定。

步骤S104，根据第二识别模型，对目标物体图像中的黏连区域进行分割，得到第二识别结果。

在本实施例中，裁剪得到目标物体图像之后，需要将目标物体图像输入第二识别模型，对目标物体图像中的黏连区域进行分割，得到第二识别结果。具体地，待识别图像中可能存在多个目标物体且多个目标物体可能存在黏连的情况，因此由第一识别模型得到的目标物体图像中也可能存在目标物体黏连的情况，第二识别模型就需要对目标物体图像中目标物体黏连的区域进行分割。

在一可实施方式中，可以利用已经分割好黏连区域的样本图像对深度学习模型进行训练，从而得到第二识别模型，其中，深度学习模型可以为FCN、Unet模型和Deeplab模型等，Unet模型和Deeplab模型都是基于FCN提出的语义分割模型。

在本公开第一实施例中，先根据第一识别模型，对待识别图像中的目标物体进行识别并裁剪，得到目标物体图像，然后再根据第二识别模型，对目标物体图像中的黏连区域进行分割，得到第二识别结果，这样得到的第二识别结果中就只包含单独的目标物体，提高了图像识别的准确率。另外，第二识别模型自动对黏连区域进行分割，提高了图像识别的效率。

图3是根据本公开第二实施例的一种图像识别方法的流程示意图，如图3所示，该方法通过以下方式得到第二识别模型：

步骤S201，获取第一训练样本集和第二训练样本集，第一训练样本集包括已经标注目标物体的第一样本图像，第二训练样本集包括已经分割黏连区域的第二样本图像。

在本实施例中，第二识别模型为双分支结构，第一分支用于精确识别目标物体图像中的目标物体，第二分支用于对目标物体图像中的黏连区域进行分割，因此首先需要获取第一训练样本集和第二训练样本集以用于训练第二识别模型。其中，第一训练样本集包括已经标注目标物体的第一样本图像，第一训练样本集用于训练第一分支；第二训练样本集包括已经分割黏连区域的第二样本图像，第二训练样本集用于训练第二分支。

在一可实施方式中，可以借助各种标注工具，如Labelimg或Labelme等，对第一样本图像中的目标物体进行标注，并对第二样本图像中的黏连区域进行分割，从而得到第一训练样本集和第二训练样本集。

步骤S202，根据高斯损失函数和第一训练样本集，对深度学习模型进行训练，得到第二识别模型的第一分支。

在本实施例中，可以直接将第一训练样本集输入深度学习模型中，并结合高斯损失函数对深度学习模型进行训练，将训练好的深度学习模型作为第二识别模型的第一分支。具体地，高斯损失函数为加强了目标物体外边缘权重的损失函数，训练时可以根据高斯损失函数对深度学习模型的参数进行调整，直到训练结果达到预设条件，高斯损失函数的使用可以进一步提高第一分支对目标物体的识别精度。

在一可实施方式中，深度学习模型可以为FCN、Unet模型和Deeplab模型等，Unet模型和Deeplab模型都是基于FCN提出的语义分割模型。

步骤S203，在第一分支的主干网络后添加分割头，得到第二识别模型的初始第二分支，分割头为深度学习模型中用于分割预测的部分。

在本实施例中，训练得到第一分支之后，还需要在第一分支的主干网络后添加分割头，得到第二识别模型的初始第二分支。具体地，第一分支由深度学习模型训练得到，而深度学习模型一般分为主干网络和分割头，主干网络为深度学习模型中用于特征提取的部分，分割头为深度学习模型中利用主干网络提取的特征进行分割预测的部分；在第一分支的主干网络后再添加分割头，相当于深度学习模型有两个分割头，这两个分割头相互并联，且共用深度学习模型的主干网络，新添加的分割头与深度学习模型的主干网络组成的分支即为第二识别模型的初始第二分支。

在一可实施方式中，一个分割头可能会包括卷积层和批量归一化层(BN，BatchNormalization)等，不同深度学习模型对应的分割头的组成可能不同。

步骤S204，根据第二训练样本集，对初始第二分支进行训练，得到第二识别模型的第二分支。

在本实施例中，得到第二识别模型的初始第二分支之后，需要将第二训练样本集输入至初始第二分支进行训练，从而得到第二识别模型的第二分支。

在一可实施方式中，在对初始第二分支进行训练之前，还需要将已经训练好的第一分支冻结，即第一分支不参与初始第二分支的训练，这样可以保证在利用第二训练样本集对初始第二分支进行训练时，第一分支的参数不会改变，从而影响第一分支对目标物体的识别效果。

在一可实施方式中，在对初始第二分支进行训练时，可以直接采用深度学习模型对应的损失函数来调整初始第二分支的参数，也可以利用高斯损失函数来调整初始第二分支对应的参数，从而提高第二分支对目标物体图像中的黏连区域进行分割的准确率。

在本公开第二实施例中，根据高斯损失函数和第一训练样本集，对深度学习模型进行训练，得到第二识别模型的第一分支；然后对第一分支进行改造，得到第二识别模型的初始第二分支；最后根据第二训练样本集对初始第二分支进行训练，得到第二识别模型的第二分支。这样得到的第二识别模型具有两个分支，第一分支用于精确识别目标物体图像中的目标物体，第二分支用于对目标物体图像中的黏连区域进行分割，可以避免图像识别结果中出现目标物体黏连的情况，而且结合高斯损失函数对第二识别模型进行训练，可以进一步提高识别结果的准确性。

图4是根据本公开第三实施例的一种图像识别方法的流程示意图，如图4所示，该方法通过以下方式得到高斯损失函数：

步骤S301，计算第一样本图像的每个目标物体对应的第一高斯矩阵。

在本实施例中，首先需要遍历第一样本图像中的每个目标物体，计算出每个目标物体对应的第一高斯矩阵。具体地，第一高斯矩阵为第一样本图像中每个像素点对应的权重值组成的矩阵，权重值可以由每个像素点到目标物体外边缘的最短像素距离和目标物体的外接矩形计算得到。

步骤S302，将多个第一高斯矩阵叠加，得到第二高斯矩阵。

在本实施例中，计算出第一样本图像的每个目标物体对应的第一高斯矩阵之后，还需要将得到的多个第一高斯矩阵叠加，从而得到第二高斯矩阵。具体地，可以直接将每个像素点在不同第一高斯矩阵中对应的权重值相加，从而得到第二高斯矩阵。

步骤S303，对第二高斯矩阵进行平移处理，得到高斯系数矩阵。

步骤S304，根据高斯系数矩阵，对深度学习模型对应的损失函数进行调整，得到高斯损失函数。

在本实施例中，还需要对第二高斯矩阵进行平移处理，得到高斯系数矩阵，然后根据高斯系数矩阵，对深度学习模型对应的损失函数进行调整，即将高斯系数矩阵与深度学习模型对应的损失函数相乘，从而得到高斯损失函数。

在一可实施方式中，由于权重值的取值为0到1，所以如果第一样本图像中只有一个目标物体，那么第一样本图像中无穷远处的像素点对应的权重值为0，则第二高斯矩阵中无穷远处的像素点对应的权重值就为0，如果直接将第二高斯矩阵与深度学习模型对应的损失函数相乘，则高斯损失函数中无穷远处的像素点对应的损失(loss)就为0；而在训练过程中，需要保证无穷远处的像素点对应的loss等于深度学习模型中的loss，这就需要第二高斯矩阵中无穷远处的像素点对应的权重值为1，因此需要对第二高斯矩阵进行平移处理，即对第二高斯矩阵中每个像素点对应的权重值加1，将第二高斯矩阵的权重值的取值从0到1之间平移至1到2之间，得到高斯系数矩阵，然后将高斯系数矩阵与深度学习模型对应的损失函数相乘，从而得到高斯损失函数。

在本公开第三实施例中，计算第一样本图像的每个目标物体对应的第一高斯矩阵，将多个第一高斯矩阵叠加，得到第二高斯矩阵；然后对第二高斯矩阵进行平移处理，得到高斯系数矩阵；最后根据高斯系数矩阵，对深度学习模型对应的损失函数进行调整，得到高斯损失函数。高斯损失函数强化了目标物体外边缘的权重，利用高斯损失函数训练第二识别模型，可以保证第二识别模型对目标物体图像中目标物体的识别准确性。

在本公开第四实施例中，步骤S301主要包括：

根据目标物体的外接矩形的最短边，计算目标物体的形状参数；根据第一样本图像中每个像素点到目标物体的外边缘的最短像素距离和形状参数，计算目标物体对应的第一高斯矩阵。

在本实施例中，首先需要根据目标物体的外接矩形的最短边，计算目标物体的形状参数，然后根据第一样本图像中每个像素点到目标物体的外边缘的最短像素距离和形状参数，计算目标物体对应的第一高斯矩阵。

在一可实施方式中，利用如下公式计算目标物体的形状参数：

其中，var为形状参数，w为外接矩形的宽，h为外接矩形的高，min(w,h)表示w和h之间的最小值，n为固定常数，α为调节系数。具体地，固定常数n的取值为大于等于1的任何自然数，固定常数n和调节系数α的值都可以根据实际情况自行设置，例如，将固定常数n的值设置为4，将调节系数α的值设置为0.54，则计算形状参数的公式为：var＝0.135×min(w,h)。

在一可实施方式中，可以调用OpenCV中的pointPolygonTest函数来获取第一样本图像中每个像素点到目标物体的外边缘的最短像素距离，OpenCV为一种开源的计算机视觉库。

在一可实施方式中，得到形状参数和最短像素距离之后，可以利用如下公式计算目标物体对应的第一高斯矩阵：

其中，map为第一高斯矩阵，dist为最短像素距离，var为形状参数。

在一可实施方式中，还可以利用如下公式计算目标物体对应的第一高斯矩阵：

其中，map为第一高斯矩阵，dist为最短像素距离。

在一可实施方式中，还可以利用如下公式计算目标物体对应的第一高斯矩阵：

其中，map为第一高斯矩阵，dist为最短像素距离，N为大于1的常数，r为距离阈值，N和r的取值可以根据实际情况进行设置。

在本公开第四和第五实施例中，首先根据目标物体的外接矩形的最短边，计算目标物体的形状参数，然后根据第一样本图像中每个像素点到目标物体的外边缘的最短像素距离和形状参数，计算目标物体对应的第一高斯矩阵，第一高斯矩阵为每个像素点分配对应的权重值，加强了目标物体外边缘处像素点的权重，进而可以提高利用高斯损失函数训练出的第二识别模型对目标物体识别的准确率。

在本公开第六实施例中，步骤S102主要包括：

根据第一识别模型，对待识别图像进行特征提取，得到待识别图像的特征图；根据特征图，对待识别图像中的目标物体进行识别，得到第一识别结果；第一识别结果包括目标物体在待识别图像中的位置信息；相应的，步骤S103主要包括：根据位置信息，裁剪得到目标物体图像。

在本实施例中，根据第一识别模型，对待识别图像进行识别，首先需要提取待识别图像的特征，得到待识别图像的特征图，然后根据特征图，对待识别图像中的目标物体进行识别，得到第一识别结果，第一识别结果中包括目标物体在待识别图像中的位置信息，可以根据位置信息，裁剪得到目标物体图像。

在一可实施方式中，第一识别模型可以将特征图分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，最终得到具有逐像素语义标注的分割图像，从而得到第一识别结果。

在一可实施方式中，可以直接裁剪位置信息对应的范围，从而得到目标物体图像，也可以先将位置信息对应的范围外扩，然后将外扩之后的范围裁剪出来作为目标物体图像。

在本公开第六实施例中，根据第一识别模型，提取出待识别图像的特征图，然后根据特征图，对待识别图像中的目标物体进行识别，得到第一识别结果，相当于对待识别图像进行较粗粒度的识别，以便后续第二识别模型可以直接根据目标物体图像进行识别和分割。

图5是根据本公开第七实施例的一种图像识别方法的流程示意图，如图5所示，步骤S104主要包括：

步骤S401，根据第一分支，对目标物体图像中的目标物体进行识别，得到目标图像。

在本实施例中，首先需要根据第二识别模型的第一分支，对目标物体图像中的目标物体进行识别，得到目标图像。具体地，在对第一分支的训练过程中结合了高斯损失函数，高斯损失函数加强了目标物体外边缘处像素点的权重，因此第一分支可以对目标物体图像进行高精度的识别，相较于第一识别模型，第一分支可以更细粒度的识别出目标物体，从而得到准确的目标图像。

步骤S402，根据第二分支，对目标物体图像中的黏连交界线进行识别，黏连交界线为分割黏连区域的交界线。

在本实施例中，还需要根据第二识别模型的第二分支，对目标物体图像中的黏连交界线进行识别，其中，黏连交界线为分割黏连区域的交界线。具体地，利用已经分割黏连区域的第二样本图像，即标注了黏连交界线的第二样本图像，对第二分支进行训练，因此第二分支可以识别出分割目标物体图像黏连区域的黏连交界线。

图6是根据本公开第七实施例的一种图像识别方法的应用场景示意图一，如图6所示，在智能交通领域中，一般十字路口的斑马线可能会产生黏连，如图6中的斑马线a和斑马线b，若将图6作为目标物体图像输入第二识别模型中，则第二识别模型的第二分支会对目标物体图像中的黏连交界线进行识别，例如，识别出图6中的黏连交界线c，黏连交界线c可以将斑马线a和斑马线b组成的黏连区域分割为单独的斑马线a和斑马线b。

步骤S403，根据目标图像和黏连交界线，生成第二识别结果。

在本实施例中，得到精确的目标图像和黏连交界线之后，将目标图像与黏连交界线结合，从而生成第二识别结果。

图7是根据本公开第七实施例的一种图像识别方法的应用场景示意图二，如图7所示，若第一分支识别出斑马线a和斑马线b组成的目标图像d，第二分支识别出黏连交界线c，目标图像d与黏连交界线c结合之后即可得到单独的斑马线a和单独的斑马线b，即第二识别结果。

在本公开第七实施例中，首先根据第二识别模型的第一分支，识别出目标物体的精确目标图像；然后根据第二识别模型的第二分支，识别出目标物体图像中的黏连交界线；最后将目标图像与黏连交界线结合，生成第二识别结果。如此，可以提高待识别图像识别结果的准确性；另外，不需要人工对黏连区域进行分割，可以提高对待识别图像的识别效率。

图8是根据本公开第八实施例的一种图像识别装置的结构示意图，如图8所示，该装置主要包括：

获取模块80，用于获取待识别图像；识别模块81，用于根据第一识别模型，对待识别图像中的目标物体进行识别，得到第一识别结果；裁剪模块82，用于根据第一识别结果，裁剪得到目标物体图像；分割模块83，用于根据第二识别模型，对目标物体图像中的黏连区域进行分割，得到第二识别结果。

在一可实施方式中，该装置还包括：

训练模块84，用于训练第二识别模型。具体地，训练模块84主要包括：获取子模块840，用于获取第一训练样本集和第二训练样本集，第一训练样本集包括已经标注目标物体的第一样本图像，第二训练样本集包括已经分割黏连区域的第二样本图像；第一训练子模块841，用于根据高斯损失函数和第一训练样本集，对深度学习模型进行训练，得到第二识别模型的第一分支；添加子模块842，用于在第一分支的主干网络后添加分割头，得到第二识别模型的初始第二分支，分割头为深度学习模型中用于分割预测的部分；第二训练子模块843，用于根据第二训练样本集，对初始第二分支进行训练，得到第二识别模型的第二分支。

在一可实施方式中，该装置还包括：

计算模块85，用于计算高斯损失函数。具体地，计算模块85主要包括：计算子模块850，用于计算第一样本图像的每个目标物体对应的第一高斯矩阵；叠加子模块851，用于将多个第一高斯矩阵叠加，得到第二高斯矩阵；平移子模块852，用于对第二高斯矩阵进行平移处理，得到高斯系数矩阵；调整子模块853，用于根据高斯系数矩阵，对深度学习模型对应的损失函数进行调整，得到高斯损失函数。

在一可实施方式中，计算子模块850主要包括：

第一计算单元8500，用于根据目标物体的外接矩形的最短边，计算目标物体的形状参数；第二计算单元，8501，用于根据第一样本图像中每个像素点到目标物体的外边缘的最短像素距离和形状参数，计算目标物体对应的第一高斯矩阵。

在一可实施方式中，第一计算单元8500利用如下公式计算目标物体的形状参数：

其中，var为形状参数，w为外接矩形的宽，h为外接矩形的高，min(w,h)表示w和h之间的最小值，n为固定常数，α为调节系数；第二计算单元8501利用如下公式计算目标物体对应的第一高斯矩阵：

其中，map为第一高斯矩阵，dist为最短像素距离，var为形状参数。

在一可实施方式中，识别模块81主要包括：

特征提取子模块810，用于根据第一识别模型，对待识别图像进行特征提取，得到待识别图像的特征图；第一识别子模块811，用于根据特征图，对待识别图像中的目标物体进行识别，得到第一识别结果；第一识别结果包括目标物体在待识别图像中的位置信息；相应的，裁剪模块82还用于根据位置信息，裁剪得到目标物体图像。

在一可实施方式中，分割模块83主要包括：

第二识别子模块830，用于根据第一分支，对目标物体图像中的目标物体进行识别，得到目标图像；第三识别子模块831，用于根据第二分支，对目标物体图像中的黏连交接线进行识别，黏连交界线为分割黏连区域的交界线；生成子模块832，用于根据目标图像和黏连交界线，生成第二识别结果。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如一种图像识别方法。例如，在一些实施例中，一种图像识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的一种图像识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种图像识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (11)

1.一种图像识别方法，包括：

获取待识别图像；

根据第一识别模型，对所述待识别图像中的目标物体进行识别，得到第一识别结果；

根据所述第一识别结果，裁剪得到目标物体图像；

根据第二识别模型，对所述目标物体图像中的黏连区域进行分割，得到第二识别结果。

2.根据权利要求1所述的方法，其中，通过以下方式得到所述第二识别模型：

获取第一训练样本集和第二训练样本集，所述第一训练样本集包括已经标注目标物体的第一样本图像，所述第二训练样本集包括已经分割黏连区域的第二样本图像；

根据高斯损失函数和所述第一训练样本集，对深度学习模型进行训练，得到所述第二识别模型的第一分支；

在所述第一分支的主干网络后添加分割头，得到所述第二识别模型的初始第二分支，所述分割头为所述深度学习模型中用于分割预测的部分；

根据所述第二训练样本集，对所述初始第二分支进行训练，得到所述第二识别模型的第二分支。

3.根据权利要求2所述的方法，其中，通过以下方式得到所述高斯损失函数：

计算所述第一样本图像的每个目标物体对应的第一高斯矩阵；

将多个所述第一高斯矩阵叠加，得到第二高斯矩阵；

对所述第二高斯矩阵进行平移处理，得到高斯系数矩阵；

根据所述高斯系数矩阵，对所述深度学习模型对应的损失函数进行调整，得到所述高斯损失函数。

4.根据权利要求3所述的方法，其中，所述计算所述第一样本图像的每个目标物体对应的第一高斯矩阵，包括：

根据所述目标物体的外接矩形的最短边，计算所述目标物体的形状参数；

根据所述第一样本图像中每个像素点到所述目标物体的外边缘的最短像素距离和所述形状参数，计算所述目标物体对应的第一高斯矩阵。

5.根据权利要求4所述的方法，其中，利用如下公式计算所述目标物体的形状参数：

其中，var为所述形状参数，w为所述外接矩形的宽，h为所述外接矩形的高，min(w,h)表示w和h之间的最小值，n为固定常数，α为调节系数；

以及，利用如下公式计算所述目标物体对应的第一高斯矩阵：

其中，map为所述第一高斯矩阵，dist为所述最短像素距离，var为所述形状参数。

6.根据权利要求1至5任一项所述的方法，其中，所述根据第一识别模型，对所述待识别图像中的目标物体进行识别，得到第一识别结果，包括：

根据所述第一识别模型，对所述待识别图像进行特征提取，得到所述待识别图像的特征图；

根据所述特征图，对所述待识别图像中的目标物体进行识别，得到所述第一识别结果；

所述第一识别结果包括所述目标物体在待识别图像中的位置信息；所述根据所述第一识别结果，裁剪得到目标物体图像，包括：根据所述位置信息，裁剪得到所述目标物体图像。

7.根据权利要求2所述的方法，其中，所述根据第二识别模型，对所述目标物体图像中的黏连区域进行分割，得到第二识别结果，包括：

根据所述第一分支，对所述目标物体图像中的目标物体进行识别，得到目标图像；

根据所述第二分支，对所述目标物体图像中的黏连交界线进行识别，所述黏连交界线为分割所述黏连区域的交界线；

根据所述目标图像和所述黏连交界线，生成所述第二识别结果。

8.一种图像识别装置，包括：

获取模块，用于获取待识别图像；

识别模块，用于根据第一识别模型，对所述待识别图像中的目标物体进行识别，得到第一识别结果；

裁剪模块，用于根据所述第一识别结果，裁剪得到目标物体图像；

分割模块，用于根据第二识别模型，对所述目标物体图像中的黏连区域进行分割，得到第二识别结果。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－7中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1－7中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1－7中任一项所述的方法。

Images