CN114511046A - 对象识别方法以及装置 - Google Patents

Abstract

本说明书实施例提供对象识别方法以及装置，其中所述对象识别方法包括：获取待识别图像，通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别图像的目标待识别区域，对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果，上述图像识别方法，有利于保证待识别图像中小目标对象的快速准确定位。

Description

对象识别方法以及装置

技术领域

本说明书实施例涉及计算机技术领域，特别涉及对象识别方法。

背景技术

废钢是非常重要的一种炼钢原料，其在降低能耗和成本等方面有着重要作用，在供给侧改革中具有重要意义，尤其在节能减排，调节生产，供应链安全等方面有着重要战略意义。但是，在废钢收取的过程中，有时会夹杂着一些危险品，例如：子弹、炮弹、煤气罐等密封密闭容器，如果无法及时发现，后面会造成严重的生产事故，因此，在废钢AI判级过程中，自动化地识别出危险品是十分必要的。

发明内容

有鉴于此，本说明书实施例提供了对象识别方法。本说明书一个或者多个实施例同时涉及对象识别装置，一种废钢中危废对象的识别方法，一种废钢中危废对象的识别装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了第一种对象识别方法，包括：

获取待识别图像；

通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像；

通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别图像的目标待识别区域；

对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果。

根据本说明书实施例的第二方面，提供了第一种对象识别装置，包括：

获取模块，被配置为获取待识别图像；

聚合模块，被配置为通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像；

分割模块，被配置为通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别图像的目标待识别区域；

识别模块，被配置为对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果。

根据本说明书实施例的第三方面，提供了第二种对象识别方法，包括：

响应于图像采集指令，通过图像采集组件采集待识别图像；

通过对象识别模型对所述待识别图像包含的待识别对象进行类型识别，生成对应的识别结果并展示，其中，所述对象识别模型包含路径聚合网络以及实例分割网络。

根据本说明书实施例的第四方面，提供了第二种对象识别装置，包括：

采集模块，被配置为响应于图像采集指令，通过图像采集组件采集待识别图像；

识别模块，被配置为通过对象识别模型对所述待识别图像包含的待识别对象进行类型识别，生成对应的识别结果并展示，其中，所述对象识别模型包含路径聚合网络以及实例分割网络。

根据本说明书实施例的第五方面，提供了一种废钢中危废对象的识别方法，包括：

获取待识别废钢图像；

通过路径聚合网络对所述待识别废钢图像的图像特征进行特征聚合处理，生成对应的特征图像；

通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别废钢图像的待识别区域；

对所述待识别区域的待识别危废对象进行类型识别，生成对应的识别结果。

根据本说明书实施例的第六方面，提供了一种废钢中危废对象的识别装置，包括：

获取模块，被配置为获取待识别废钢图像；

聚合模块，被配置为通过路径聚合网络对所述待识别废钢图像的图像特征进行特征聚合处理，生成对应的特征图像；

分割模块，被配置为通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别废钢图像的待识别区域；

识别模块，被配置为对所述待识别区域的待识别危废对象进行类型识别，生成对应的识别结果。

根据本说明书实施例的第七方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令实现任意一项所述对象识别方法或所述废钢中危废对象的识别方法的步骤。

根据本说明书实施例的第八方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述对象识别方法或所述废钢中危废对象的识别方法的步骤。

根据本说明书实施例的第九方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述任意一项所述对象识别方法或所述废钢中危废对象的识别方法的步骤。

本说明书一个实施例通过获取待识别图像，通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别图像的目标待识别区域，对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果。

本说明书实施例通过路径聚合网络对待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，以基于该特征图像进行待识别对象的识别，从而有利于提升对小目标对象的检测性能；另外，通过实例分割网络对特征图像进行图像分割，并基于分割结果确定待识别图像的目标待识别区域，对目标待识别区域的待识别对象进行类型识别，有利于保证待识别图像中小目标对象的快速准确定位，并有利于提高识别结果的准确性。

根据本说明书实施例的另一个方面，所述对所述目标待识别区域的待识别对象进行类型识别，包括：通过所述第二实例分割子网络对所述目标待识别区域的待识别对象进行类型识别。

上述图像识别方法中，通过第二实例分割子网络对待识别对象进行类型识别，有利于保证待识别图像中小目标对象的快速准确定位。

附图说明

图1是本说明书一个实施例提供的一种对象识别系统的架构图；

图2是本说明书一个实施例提供的第一种对象识别方法的流程图；

图3是本说明书一个实施例提供的一种对象识别方法的处理过程流程图；

图4是本说明书一个实施例提供的第一种对象识别装置的结构示意图；

图5是本说明书一个实施例提供的第二种对象识别方法的流程图；

图6是本说明书一个实施例提供的第二种对象识别装置的结构示意图；

图7是本说明书一个实施例提供的一种废钢中危废对象的识别方法的流程图；

图8是本说明书一个实施例提供的一种废钢中危废对象的识别装置的结构示意图；

图9是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本说明书中，提供了对象识别方法，本说明书同时涉及对象识别装置，一种废钢中危废对象的识别方法，一种废钢中危废对象的识别装置，一种计算设备，一种计算机可读存储介质，以及一种计算机程序，在下面的实施例中逐一进行详细说明。

图1示出了根据本说明书一个实施例提供的第一种对象识别系统的架构图，具体包括：

模型训练优化功能、危废检测功能模块、告警功能模块和数据归档功能模块。

其中，模型训练优化功能模块用于进行模型训练及模型优化，分为训练数据选择、模型训练、模型评估、模型优化和模型提取几个子模块。训练数据一方面来自存储模块中存储的真实数据；另外一方面来自数据回流，即对数据归档功能模块中，未识别到的危废物品进行学习。整个模型训练优化是基于云平台侧，满足快速实时部署的能力，同时可以保证模型算法的安全性。

危废检测功能模块，用于利用云平台训练完成下发后的模型进行危废物品的检测，支持小目标快速实时定位，支持摄像头捕获多图像批量检测及结果整合输出，支持危废检测多色彩绘图，方便快速提醒客户。模型可采用二阶段Mask RCNN算法进行危废物品的检测。

Mask-RCNN主要可分为两大部分，RPN（RegionProposalNetwork）和RCNN两大部分。RPN连接在主干网络BackBone之后提取出可能存在目标的Proposals，然后经过后续RCNN进一步的分类和位置优化，同时根据目标位置并基于FeatureMap提取出目标Mask，从而得到检测、分类和分割的结果。

针对小目标的检测即可采用PANet网络，PANet网络左半部分是一个标准的特征金字塔结构；右半部分是PANet独有的结构，通过将低层的一些基础信息向高层传播以帮助更好的进行分类和分割。

对于解决有些类别少的问题，采用数据生成及风格迁移的方法。本申请实施例采用实例模板融合算法，结合透视变换及基于“Reinhard”空间均值和标准差对齐的前背景融合算法，在生成高质量“真实”图片的同时，自动化地生成实例Bbox坐标及Mask Polygons信息。

告警功能模块，用于在当发现有检测到异物时，对用户进行告警显示，实时预览区会标明车斗内危废坐标，方便客户查看，同时该系统支持人工介入判断，对模型可能存在的误判情况进行修改，这部分的数据也会详细记录在数据归档功能模块中。

实时预览区展示了系统检测到密闭容器危废所做的报警，图示不同颜色的框即为检测到的不同类型危废。系统同时支持人工介入纠正（选择“正常”），同时系统界面右边当前报警信息，展示检测到的危废种类及个数。

数据归档功能模块，用于针对系统检测到的危废数据进行归档，一方面用于后期有异议的查看回溯；另一方面，针对系统未检测到的数据进行回流，作为模型训练优化功能模块数据输入的一部分，以此来不断优化算法模型性能，提升检测结果的准确性。

由于目前危废检测识别面临的痛点问题包括：目标较小、遮挡严重，获取真实数据难、不同钢厂变化差异大、标准不统一等情况，因此，本说明书实施例提供的对象识别系统具备数据可回流、可回溯的功能，满足系统算法快速迭代优化。

另外，本说明书实施例提供的是一个端到端的基于危废检测识别的告警及数据归档完成系统，包括：数据采集（原始数据输入、存疑未检测出的数据回流和数据可靠性生成）、模型训练（借助自研的模型训练框架大幅提升优化效率）、模型检测（针对小目标、遮挡、稀疏等痛点问题有较好解决）、实时报警（客户侧快速实时响应）和数据归档（方便数据回溯和有效数据利用，进一步提升模型精度）等模块，对于废钢AI定级项目当中，关键性的危废检测有着至关重要的作用。

本说明书实施例通过路径聚合网络对待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，以基于该特征图像进行危废物品的识别，从而有利于提升对小目标对象的检测性能；另外，通过实例分割网络对特征图像进行图像分割，并基于分割结果确定待识别图像的目标待识别区域，对目标待识别区域的危废物品进行类型识别，有利于保证待识别图像中小目标物品的快速准确定位，并有利于提高识别结果的准确性。

图2示出了根据本说明书一个实施例提供的第一种对象识别方法的流程图，具体包括以下步骤。

步骤202，获取待识别图像。

具体的，待识别图像，即包含待识别对象的图像，该待识别图像可通过图像采集设备，如配置有摄像头的智能手机或摄像机等设备进行拍摄获得。

实际应用中，该待识别图像可以是通过对废钢进行拍摄获得的图像，该待识别图像即可用于对废钢中的危废品（待识别对象）进行检测识别。

步骤204，通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像。

具体的，路径聚合网络，即PANet（Path Aggregation Network）网络。

本说明书实施例通过路径聚合网络对待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，以基于该特征图像进行待识别对象的识别，有利于保证待识别图像中小目标对象的快速准确定位。

具体实施时，路径聚合网络包含特征金字塔子网络及特征融合子网络；

相应的，通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，包括：

将所述待识别图像输入所述特征金字塔子网络进行处理，生成所述待识别图像的多个特征尺度的特征信息；

将所述多个特征尺度的特征信息输入所述特征融合子网络进行特征融合处理，生成对应的特征图像。

具体的，特征金字塔子网络，即FPN (Feature Pyramid Networks)，是一种特征提取网络，包括多层特征提取层，前一层特征提取层的输出数据即为后一层特征提取层的输入数据。特征融合子网络，即自底向上的特征融合网络，包含层特征融合层。

实际应用中，可以根据所需的特征信息的特征尺度和多个特征尺度的数目设置特征金字塔子网络的层数，而特征融合子网络的层数可与特征金字塔子网络的层数一致。例如，当需要4个不同特征尺度的特征信息时，可以在特征金字塔子网络中设置4层特征提取层，同时在特征融合子网络中设置4层特征融合层。不同特征尺度的特征信息对于图像细节纹理有较高的敏感度，可以有效提高网络的性能，提高了识别结果的准确性。

下面以设置4层特征提取层为例进行说明，特征金字塔子网络包括第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层。对于每个待识别图像，可以将该待识别图像输入第一特征提取层，得到输出的第一特征信息，将第一特征信息输入第二特征提取层，得到输出的第二特征信息，将第二特征信息输入第三特征提取层，得到输出的第三特征信息，将第三特征信息输入第四特征提取层，得到输出的第四特征信息。

其中，第四特征信息即为该待识别图像对应的第一个特征信息，该第一个特征信息是特征尺度较小的特征信息，然后对第四特征信息进行上采样处理，使得进行上采样处理后的第四特征信息的特征尺度与第三特征信息的特征尺度相同，将进行上采样处理后的第四特征信息与第三特征信息相加，从而得到待识别图像对应的第二个特征信息，第二个特征信息的特征尺度大于第一个特征信息的特征尺度。

同样的，再对第二个特征信息进行上采样处理，使进行上采样处理后的第二个特征信息的特征尺度与第二特征信息的特征尺度相同，将进行上采样处理后的第二个特征信息与第二特征信息相加，从而得到待识别图像对应的第三个特征信息，该第三个特征信息的特征尺度大于第二个特征信息的特征尺度，再使用同样的方式，对第三个特征信息进行上采样处理，再将上采样处理后的第三特征信息与第一特征信息相加，得到待识别图像对应的第四个特征信息，第四个特征信息的特征尺度大于第三个特征信息的特征尺度。至此，可以得到待识别图像对应的四个不同特征尺度的特征信息。

而特征融合子网络同样可包括第一特征融合层、第二特征融合层、第三特征融合层和第四特征融合层。对于每个待识别图像，可以将该待识别图像的第四个特征信息输入第一特征融合层，得到输出的第一特征图像，将第一特征图像和待识别图像的第三个特征信息输入第二特征融合层，得到输出的第二特征图像。其中，第二特征融合层先通过一个步长为2的3×3 卷积对第一特征图像进行降采样，再通过单位加的方式将第三个特征信息和降采样之后的第一特征图像进行特征融合。接着再使用一个 3×3 的卷积对特征进行融合，增加融合之后的特征的表征能力，最后使用Relu激活函数对特征进行非线性化，生成第二特征图像。接着将第二特征图像和待识别图像的第二个特征信息输入第三特征融合层，得到输出的第三特征图像，将第三特征图像和待识别图像的第一个特征信息输入第四特征融合层，得到输出的第四特征图像。其中，第三特征图像和第四特征图像的生成过程与第二特征图像类似，在此不再赘述。

在实际的对象识别过程中，在待识别对象的体积较小且稀疏，容易被遮挡导致识别难度增加的情况下，本说明书实施例采用路径聚合网络对包含待识别对象的待识别图像进行特征聚合处理，由于路径聚合网路提供了一个自顶向下和自底向上的双向融合骨干网络，增强了骨干网络的表征能力，使得该网络输出的特征图像融合了待识别对象的多尺度信息，从而有利于提升对小目标对象的检测性能。

步骤206，通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别图像的目标待识别区域。

具体的，实例分割网络，即可以是Mask-RCNN网络，一个实例分割（Instancesegmentation）算法，主要是在实例检测的基础上再进行分割。Mask RCNN网络可由ResNeXt+RPN+RoIAlign+Faster RCNN+FCN组成。实例，即待识别图像中包含的不同对象，例如行人、汽车、灭火器等。

本说明书实施例在生成待识别图像的特征图像后，即可通过实例分割网络对特征图像进行图像分割，以基于分割结果确定待识别区域，从而对待识别区域包含的待识别对象进行识别。

具体实施时，通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别图像的目标待识别区域，包括：

通过实例分割网络中的第一实例分割子网络对所述特征图像进行图像分割，生成第一分割结果，其中，所述第一分割结果包括候选待识别区域；

通过所述实例分割网络中的第二实例分割子网络，对所述候选待识别区域进行位置调整，并基于调整结果确定所述待识别图像的目标待识别区域。

具体的，第一实例分割子网络，即可以是RPN（Region Proposal Network），即区域建议网络；第二实例分割网络，即可是RoIAlign+Faster RCNN+FCN组成的网络。

将待识别图像的特征图像输入第一实例分割子网络后，由该第一实例分割子网络对特征图像进行图像分割，生成预设数量的候选待识别区域（ROI）。然后通过该第一实例分割子网络对候选待识别区域进行二值分类（前景或背景）和边框回归（Bounding-boxregression），过滤掉一部分候选待识别区域。其中，第一实例分割子网络的输出结果中包含各候选待识别区域的得分以及各候选待识别区域边界框的各顶点坐标。

接着，通过第二实例分割子网络对过滤后剩余的候选待识别区域进行ROI Align操作（即先将待识别图像和特征图像的像素对应起来，然后将特征图像和待识别图像中的实例特征对应起来），以实现对候选待识别区域进行位置调整，调整后待识别候选区域与待识别图像中的实例相对应。因此，可将进行位置调整后的候选待识别区域确定为待识别图像的目标待识别区域。通过这种方式确定目标待识别区域，有利于保证该目标待识别区域位置的准确性，从而有利于提高对象识别结果的准确性。

步骤208，对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果。

具体的，确定待识别图像的目标待识别区域后，即可对该目标待识别区域内的待识别对象进行识别，以生成对应的识别结果。

具体实施时，对所述目标待识别区域的待识别对象进行类型识别，具体可通过所述第二实例分割子网络对所述目标待识别区域的待识别对象进行类型识别。

具体的，通过第二实例分割子网络对候选待识别区域进行ROI Align操作，以确定待识别图像的目标待识别区域后，即可将携带目标待识别区域的待识别图像输入FasterRCNN做分类（classifier）和回归，即利用目标待识别区域的图像特征，计算目标待识别区域中待识别对象的类别，同时再次bounding box regression获得目标待识别区域的精确位置。

另外，对目标待识别区域中的待识别对象进行分类之后，还可通过FCN（FullyConvolution Network）对各目标待识别区域进行mask预测，以将预测结果和类型识别结果作为待识别对象的识别结果进行展示。

具体实施时，前述路径聚合网络及实例分割网络即共同组成对象识别模型，因此，在获取待识别图像后，将该待识别图像输入对象识别模型进行处理，即可获得该对象识别模型输出的该待识别图像中，待识别对象对应的类型识别结果。

为保证模型输出结果的准确性，在利用对象识别模型进行类型识别之前，需先对待训练的对象识别模型进行训练，具体通过以下方式实现：

获取训练数据，其中，所述训练数据包括包含待识别对象的训练图像；

根据所述训练数据，对待训练的对象识别模型进行训练，生成所述对象识别模型，其中，所述对象识别模型包含所述实例分割网络及所述路径聚合网络。

进一步的，根据所述训练数据，对待训练的对象识别模型进行训练，生成所述对象识别模型，包括：

通过所述路径聚合网络对所述训练图像的图像特征进行特征聚合处理，生成对应的初始特征图像；

通过所述实例分割网络对所述初始特征图像进行图像分割，并基于分割结果确定所述训练图像的待识别区域；

对所述待识别区域的待识别对象进行类型识别，并基于识别结果对所述路径聚合网络及所述实例分割网络的网络参数进行调整，生成所述对象识别模型。

具体的，由于对象识别模型可由路径聚合网络和实例分割网络组成，因此，对对象识别模型进行训练，即相当于对路径聚合网络和实例分割网络的网络参数进行调整，因此，在获取训练数据，即包含待识别对象的训练图像后，即可将训练图像输入路径聚合网络，由路径聚合网络对训练图像进行特征聚合处理，生成对应的初始特征图像，再将该初始特征图像输入实例分割网络，以通过实例分割网络对初始特征图像进行图像分割，并根据分割结果确定训练图像的待识别区域，然后对待识别区域的待识别对象进行类型识别，并基于识别结果对路径聚合网络和实例分割网络的网络参数进行调整，从而生成对象识别模型。

其中，通过路径聚合网络对训练图像的图像特征进行特征聚合处理的过程，与前述通过路径聚合网络对待识别图像的图像特征进行特征聚合处理的过程类似；而通过实例分割网络对初始特征图像进行图像分割的过程，与前述通过实例分割网络对特征图像进行图像分割的过程类似，在此不再赘述。

另外，获取训练数据，具体可获取参考图像及待处理图像；

对所述待处理图像进行实例提取，并基于图像融合算法对所述参考图像及实例提取结果进行融合处理；

将融合处理生成的图像作为训练数据。

具体的，由于通常对对象识别模型进行训练所使用的训练图像，均是通过对实际场景进行拍摄获得，但由于利用对象识别模型进行对象识别可以应用于多种不同的对象识别场景，而在部分对象识别场景中，由于其场景的特殊性，导致通过对实际场景进行拍摄获得大量的训练图像相对困难。因此，为保证模型训练结果的准确性，本说明书实施例中，用于训练对象识别模型的训练数据，即训练图像可包含两部分，第一部分即为对实际场景进行拍摄生成的真实图像，另一部分即可以是基于真实图像以及待处理图像进行图像合成得到的合成图像。

在进行图像合成的过程中，可将真实图像作为参考图像，然后对待处理图像进行实例提取，即进行对象提取，并基于图像融合算法将提取的实例与参考图像进行融合，从而得到合成图像。

其中，待处理图像即可以是按照实际的对象识别场景进行模拟生成的图像。图像融合算法包括但不限于前景融合算法、背景融合算法等。

例如，在废钢的危废物品检测场景中，若需对车辆的车斗内装载的废钢进行危废物品检测，则可将实际场景中真实拍摄的装载废钢的车辆图像作为参考图像，然后生成装载废钢以及危废物品的车辆模拟图像，接着将车辆模拟图像中车斗内的对象作为一个实例，与参考图像进行融合，生成与参考图像的风格一致的合成图像，以用于进行对象识别模型的训练。

或者，还可基于参考图像进行实例粘贴，以生成新的训练图像。

例如，在废钢的危废物品检测场景中，若需对车辆的车斗内装载的废钢进行危废物品检测，则可将实际场景中真实拍摄的装载废钢车辆的图像作为训练图像，但由于部分待识别对象在实际场景中出现的次数较少，或因其体积较小容易被遮挡，导致若仅基于拍摄的真实图像对对象识别模型进行训练，则可能存在该对象识别模型无法学习到这部分待识别对象的相关特征的情况。因此，为保证模型训练结果的准确性，本说明书实施例可在参考图像的基础上，粘贴其他待识别对象的实例图像，以生成新的图像，并用于进行模型训练。

本说明书实施例采用数据生成及风格迁移的方法，具体可采用实例模板融合算法，结合透视变换及基于“Reinhard”空间均值和标准差对齐的前背景融合算法，在生成高质量“真实”图片的同时，自动化地生成实例Bbox坐标及MaskPolygons信息，以解决因部分待识别对象在实际场景中的数量少或体积小，导致的模型学习结果不准确的问题，即有利于提高对象识别模型的训练结果的准确性。

除此之外，本说明书实施例还可将对象识别模型未识别或识别结果不准确的待识别图像，重新输入至该对象识别模型进行学习，以对对象识别模型进行优化，具体即判断所述识别结果是否准确；若否，则对所述识别结果进行调整，并基于所述待识别图像及调整结果对所述对象识别模型进行参数优化。

具体的，对象识别模型在输出待识别图像中待识别对象的类型识别结果后，可由用户判断该类型识别结果是否准确。在该类型识别结果与待识别对象的实际类型一致的情况下，即可确定识别结果准确；在该类型识别结果与待识别对象的实际类型不一致，或该类型识别结果并未包含待识别对象的类型，即对象识别模型未能成功识别待识别对象的类型，则确定该识别结果不准确。这种情况下，可直接将该待识别图像作为训练数据，重新输入对象识别模型进行学习，或可由用户对该待识别图像中待识别对象的类型进行标注，再将待识别图像和标注结果输入对象识别模型进行学习，以实现对对象识别模型的模型参数进行调整优化。

另外，在对象识别模型层面，还可以尝试使用其他的网络结构，例如：CascadeRCNN、HTC、Swing Transformer等。

本说明书实施例通过对难例样本的数据回流方案大幅提升优化模型精度。

具体实施时，生成对应的识别结果之后，还可在根据所述识别结果确定所述待识别对象属于目标类型对象的情况下，按照预设展示方式展示所述目标待识别区域，并基于所述识别结果进行告警处理。

具体的，对象识别模型在输出识别结果后，若根据识别结果确定该待识别对象属于目标类型对象，例如废钢中的某个待识别对象属于危废物品，则可对该待识别对象进行告警显示，并可在识别结果预览区展示待识别对象，具体可通过特殊颜色的矩形框框出该待识别对象，不同颜色的框即代表不同类型的待识别对象，还可标明该待识别对象在实际场景的坐标，方便用户查看。

本说明书一个实施例通过获取待识别图像，通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别图像的目标待识别区域，对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果。

本说明书实施例通过路径聚合网络对待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，以基于该特征图像进行待识别对象的识别，从而有利于提升对小目标对象的检测性能；另外，通过实例分割网络对特征图像进行图像分割，并基于分割结果确定待识别图像的目标待识别区域，对目标待识别区域的待识别对象进行类型识别，有利于保证待识别图像中小目标对象的快速准确定位，并有利于提高识别结果的准确性。

下述结合附图3，以本说明书提供的对象识别方法在废钢中危废物品识别的应用为例，对所述对象识别方法进行进一步说明。其中，图3示出了本说明书一个实施例提供的一种对象识别方法的处理过程流程图，具体包括以下步骤。

步骤302，获取训练数据，其中，所述训练数据包括包含废钢的训练图像。

步骤304，根据训练数据，对待训练的对象识别模型进行训练，生成对象识别模型，其中，对象识别模型包含实例分割网络及路径聚合网络。

步骤306，获取废钢图像。

步骤308，通过路径聚合网络对废钢图像的图像特征进行特征聚合处理，生成对应的特征图像。

步骤310，通过实例分割网络对特征图像进行图像分割，并基于分割结果确定废钢图像的目标待识别区域。

步骤312，对目标待识别区域的危废物品进行类型识别，生成对应的识别结果。

步骤314，判断识别结果是否准确。

若否，则执行步骤316；若是，则执行步骤318。

步骤316，对识别结果进行调整，并基于废钢图像及调整结果对对象识别模型进行参数优化。

步骤318，在根据识别结果确定危废物品属于目标类型物品的情况下，按照预设展示方式展示目标待识别区域，并基于识别结果进行告警处理。

本说明书实施例通过路径聚合网络对废钢图像的图像特征进行特征聚合处理，生成对应的特征图像，以基于该特征图像进行危废物品的识别，从而有利于提升对小目标危废物品的检测性能；另外，通过实例分割网络对特征图像进行图像分割，并基于分割结果确定废钢图像的目标待识别区域，对目标待识别区域的危废物品进行类型识别，有利于保证废钢图像中小目标危废物品的快速准确定位，并有利于提高识别结果的准确性。

与上述方法实施例相对应，本说明书还提供了第一种对象识别装置实施例，图4示出了本说明书一个实施例提供的第一种对象识别装置的结构示意图。如图4所示，该装置包括：

获取模块402，被配置为获取待识别图像；

聚合模块404，被配置为通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像；

分割模块406，被配置为通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别图像的目标待识别区域；

识别模块408，被配置为对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果。

可选地，所述路径聚合网络包含特征金字塔子网络及特征融合子网络；

相应的，所述聚合模块404，进一步被配置为：

将所述待识别图像输入所述特征金字塔子网络进行处理，生成所述待识别图像的多个特征尺度的特征信息；

将所述多个特征尺度的特征信息输入所述特征融合子网络进行特征融合处理，生成对应的特征图像。

可选地，所述分割模块406，进一步被配置为：

通过实例分割网络中的第一实例分割子网络对所述特征图像进行图像分割，生成第一分割结果，其中，所述第一分割结果包括候选待识别区域；

通过所述实例分割网络中的第二实例分割子网络，对所述候选待识别区域进行位置调整，并基于调整结果确定所述待识别图像的目标待识别区域。

可选地，所述识别模块408，进一步被配置为：

通过所述第二实例分割子网络对所述目标待识别区域的待识别对象进行类型识别。

可选地，所述对象识别装置，还包括训练模块，被配置为：

获取训练数据，其中，所述训练数据包括包含待识别对象的训练图像；

根据所述训练数据，对待训练的对象识别模型进行训练，生成所述对象识别模型，其中，所述对象识别模型包含所述实例分割网络及所述路径聚合网络。

可选地，所述训练模块，进一步被配置为：

通过所述路径聚合网络对所述训练图像的图像特征进行特征聚合处理，生成对应的初始特征图像；

通过所述实例分割网络对所述初始特征图像进行图像分割，并基于分割结果确定所述训练图像的待识别区域；

对所述待识别区域的待识别对象进行类型识别，并基于识别结果对所述路径聚合网络及所述实例分割网络的网络参数进行调整，生成所述对象识别模型。

可选地，所述对象识别装置，还包括判断模块，被配置为：

判断所述识别结果是否准确；

若所述判断模块的执行结果为否，则执行调整模块；

所述调整模块，被配置为对所述识别结果进行调整，并基于所述待识别图像及调整结果对所述对象识别模型进行参数优化。

可选地，所述训练模块，进一步被配置为：

获取参考图像及待处理图像；

对所述待处理图像进行实例提取，并基于图像融合算法对所述参考图像及实例提取结果进行融合处理；

将融合处理生成的图像作为训练数据。

可选地，所述对象识别装置，还包括告警模块，被配置为：

在根据所述识别结果确定所述待识别对象属于目标类型对象的情况下，按照预设展示方式展示所述目标待识别区域，并基于所述识别结果进行告警处理。

上述为本实施例的第一种对象识别装置的示意性方案。需要说明的是，该第一种对象识别装置的技术方案与上述的第一种对象识别方法的技术方案属于同一构思，第一种对象识别装置的技术方案未详细描述的细节内容，均可以参见上述第一种对象识别方法的技术方案的描述。

图5示出了根据本说明书一个实施例提供的第二种对象识别方法的流程图，具体包括以下步骤。

步骤502，响应于图像采集指令，通过图像采集组件采集待识别图像。

步骤504，通过对象识别模型对所述待识别图像包含的待识别对象进行类型识别，生成对应的识别结果并展示，其中，所述对象识别模型包含路径聚合网络以及实例分割网络。

本说明书实施例通过对象识别网络对待识别图像中的待识别对象进行类型识别，有利于保证待识别图像中小目标对象的快速准确定位，并有利于提高识别结果的准确性。

上述为本实施例的第二种对象识别方法的示意性方案。需要说明的是，该第二种对象识别方法的技术方案与上述的第一种对象识别方法的技术方案属于同一构思，第二种对象识别方法的技术方案未详细描述的细节内容，均可以参见上述第一种对象识别方法的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了第二种对象识别装置实施例，图6示出了本说明书一个实施例提供的第二种对象识别装置的结构示意图。如图6所示，该装置包括：

采集模块602，被配置为响应于图像采集指令，通过图像采集组件采集待识别图像；

识别模块604，被配置为通过对象识别模型对所述待识别图像包含的待识别对象进行类型识别，生成对应的识别结果并展示，其中，所述对象识别模型包含路径聚合网络以及实例分割网络。

上述为本实施例的第二种对象识别装置的示意性方案。需要说明的是，该第二种对象识别装置的技术方案与上述的第二种对象识别方法的技术方案属于同一构思，第二种对象识别装置的技术方案未详细描述的细节内容，均可以参见上述第二种对象识别方法的技术方案的描述。

图7示出了根据本说明书一个实施例提供的一种废钢中危废对象的识别方法的流程图，具体包括以下步骤。

步骤702，获取待识别废钢图像。

步骤704，通过路径聚合网络对所述待识别废钢图像的图像特征进行特征聚合处理，生成对应的特征图像。

步骤706，通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别废钢图像的待识别区域。

步骤708，对所述待识别区域的待识别危废对象进行类型识别，生成对应的识别结果。

本说明书实施例通过路径聚合网络对待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，以基于该特征图像进行危废物品的识别，从而有利于提升对小目标对象的检测性能；另外，通过实例分割网络对特征图像进行图像分割，并基于分割结果确定待识别图像的目标待识别区域，对目标待识别区域的危废物品进行类型识别，有利于保证待识别图像中小目标物品的快速准确定位，并有利于提高识别结果的准确性。

上述为本实施例的一种废钢中危废对象的识别方法的示意性方案。需要说明的是，该废钢中危废对象的识别方法的技术方案与上述的第一种对象识别方法的技术方案属于同一构思，废钢中危废对象的识别方法的技术方案未详细描述的细节内容，均可以参见上述第一种对象识别方法的技术方案的描述。

与上述方法实施例相对应，本说明书还提供了一种废钢中危废对象的识别装置实施例，图8示出了本说明书一个实施例提供的一种废钢中危废对象的识别装置的结构示意图。如图8所示，该装置包括：

获取模块802，被配置为获取待识别废钢图像；

聚合模块804，被配置为通过路径聚合网络对所述待识别废钢图像的图像特征进行特征聚合处理，生成对应的特征图像；

分割模块806，被配置为通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别废钢图像的待识别区域；

识别模块808，被配置为对所述待识别区域的待识别危废对象进行类型识别，生成对应的识别结果。

上述为本实施例的一种废钢中危废对象的识别装置的示意性方案。需要说明的是，该废钢中危废对象的识别装置的技术方案与上述的废钢中危废对象的识别方法的技术方案属于同一构思，废钢中危废对象的识别装置的技术方案未详细描述的细节内容，均可以参见上述废钢中危废对象的识别方法的技术方案的描述。

图9示出了根据本说明书一个实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接，数据库950用于保存数据。

计算设备900还包括接入设备940，接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网（PSTN）、局域网（LAN）、广域网（WAN）、个域网（PAN）或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC））中的一个或多个，诸如IEEE802.11无线局域网（WLAN）无线接口、全球微波互联接入（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC）接口，等等。

在本说明书的一个实施例中，计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图9所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备900可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备900还可以是移动式或静止式的服务器。

其中，处理器920用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述对象识别方法或废钢中危废对象的识别方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的对象识别方法或废钢中危废对象的识别方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述对象识别方法或废钢中危废对象的识别方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述对象识别方法或废钢中危废对象的识别方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的对象识别方法或废钢中危废对象的识别方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述对象识别方法或废钢中危废对象的识别方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述对象识别方法或废钢中危废对象的识别方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的对象识别方法或废钢中危废对象的识别方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述对象识别方法或废钢中危废对象的识别方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (12)

1.一种对象识别方法，包括：

获取待识别图像；

通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像；

通过实例分割网络中的第一实例分割子网络对所述特征图像进行图像分割，生成第一分割结果，其中，所述第一分割结果包括候选待识别区域；

通过所述实例分割网络中的第二实例分割子网络，对所述候选待识别区域进行位置调整，并基于调整结果确定所述待识别图像的目标待识别区域；

对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果。

2.根据权利要求1所述的对象识别方法，所述路径聚合网络包含特征金字塔子网络及特征融合子网络；

相应的，所述通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像，包括：

将所述待识别图像输入所述特征金字塔子网络进行处理，生成所述待识别图像的多个特征尺度的特征信息；

将所述多个特征尺度的特征信息输入所述特征融合子网络进行特征融合处理，生成对应的特征图像。

3.根据权利要求1所述的对象识别方法，还包括：

获取训练数据，其中，所述训练数据包括包含待识别对象的训练图像；

根据所述训练数据，对待训练的对象识别模型进行训练，生成所述对象识别模型，其中，所述对象识别模型包含所述实例分割网络及所述路径聚合网络。

4.根据权利要求3所述的对象识别方法，所述根据所述训练数据，对待训练的对象识别模型进行训练，生成所述对象识别模型，包括：

通过所述路径聚合网络对所述训练图像的图像特征进行特征聚合处理，生成对应的初始特征图像；

通过所述实例分割网络对所述初始特征图像进行图像分割，并基于分割结果确定所述训练图像的待识别区域；

对所述待识别区域的待识别对象进行类型识别，并基于识别结果对所述路径聚合网络及所述实例分割网络的网络参数进行调整，生成所述对象识别模型。

5.根据权利要求3所述的对象识别方法，还包括：

判断所述识别结果是否准确；

若否，则对所述识别结果进行调整，并基于所述待识别图像及调整结果对所述对象识别模型进行参数优化。

6.根据权利要求3所述的对象识别方法，所述获取训练数据包括：

获取参考图像及待处理图像；

对所述待处理图像进行实例提取，并基于图像融合算法对所述参考图像及实例提取结果进行融合处理；

将融合处理生成的图像作为训练数据。

7.根据权利要求1所述的对象识别方法，所述生成对应的识别结果之后，还包括：

在根据所述识别结果确定所述待识别对象属于目标类型对象的情况下，按照预设展示方式展示所述目标待识别区域，并基于所述识别结果进行告警处理。

8.一种对象识别方法，包括：

响应于图像采集指令，通过图像采集组件采集待识别图像；

通过对象识别模型对所述待识别图像包含的待识别对象进行类型识别，生成对应的识别结果并展示，其中，所述对象识别模型包含路径聚合网络以及实例分割网络。

9.一种废钢中危废对象的识别方法，包括：

获取待识别废钢图像；

通过路径聚合网络对所述待识别废钢图像的图像特征进行特征聚合处理，生成对应的特征图像；

通过实例分割网络对所述特征图像进行图像分割，并基于分割结果确定所述待识别废钢图像的待识别区域；

对所述待识别区域的待识别危废对象进行类型识别，生成对应的识别结果。

10.一种对象识别装置，包括：

获取模块，被配置为获取待识别图像；

聚合模块，被配置为通过路径聚合网络对所述待识别图像的图像特征进行特征聚合处理，生成对应的特征图像；

分割模块，被配置为通过实例分割网络中的第一实例分割子网络对所述特征图像进行图像分割，生成第一分割结果，其中，所述第一分割结果包括候选待识别区域，通过所述实例分割网络中的第二实例分割子网络，对所述候选待识别区域进行位置调整，并基于调整结果确定所述待识别图像的目标待识别区域；

识别模块，被配置为对所述目标待识别区域的待识别对象进行类型识别，生成对应的识别结果。

11.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述对象识别方法及权利要求9所述废钢中危废对象的识别方法的步骤。

12.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至8任意一项所述对象识别方法权利要求9所述废钢中危废对象的识别方法的步骤。

Images