CN113962274A - 一种异常识别方法、装置、电子设备及存储介质 - Google Patents

一种异常识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113962274A
CN113962274A CN202111368923.9A CN202111368923A CN113962274A CN 113962274 A CN113962274 A CN 113962274A CN 202111368923 A CN202111368923 A CN 202111368923A CN 113962274 A CN113962274 A CN 113962274A
Authority
CN
China
Prior art keywords
abnormal
image
pixel
point
severe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111368923.9A
Other languages
English (en)
Other versions
CN113962274B (zh
Inventor
郭双双
龚星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111368923.9A priority Critical patent/CN113962274B/zh
Publication of CN113962274A publication Critical patent/CN113962274A/zh
Application granted granted Critical
Publication of CN113962274B publication Critical patent/CN113962274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及数据处理技术领域，尤其涉及一种异常识别方法、装置、电子设备及存储介质，该方法为：获取目标对象的二维图像和深度图像，并基于所述二维图像和所述深度图像获得待识别图像，再提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，进而基于所述异常区域定位结果、所述异常程度分类结果，以及所述重度异常点定位结果，确定所述目标对象的异常情况。这样，提高了对于目标对象的异常情况的识别效率的同时，提高了异常识别的准确性和异常识别的精度，而且不仅能够保证对目标对象进行有效检测，还极大地降低了运维成本。

Description

一种异常识别方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种异常识别方法、装置、电子设备及存储介质。
背景技术
随着各方贸易往来的日益密切，物流运输行业迅速发展，这使得对于物流传输的实体介质可靠性的要求逐渐提高，因而相关的物流传输介质在使用前通常需要识别出异常情况，并进行针对性检修。
例如，识别集装箱表面的锈蚀区域，并进行针对性检修。
目前在对异常情况进行识别时，通常采用人工处理和机器处理的方式实现。在人工处理的过程中，通常依赖专门的检测人员，对物流传输介质进行异常检测，检测过程繁琐且耗时长，极易出现漏检的情况，且检测效率很低；在机器处理的过程中，通常通过对物流传输介质的二维图像进行检测，以识别出物流传输介质的异常情况，然而受拍摄角度和拍摄光线的影响，二维图像中通常包括各种噪声，极大的影响了识别的准确性，并降低了异常的检测效率。
发明内容
本申请实施例提供一种异常识别方法、装置、电子设备及存储介质，以解决现有技术下对于异常情况的检测效率低、准确率低的问题。
第一方面，提出一种异常识别方法，包括：
获取目标对象的二维图像和深度图像，并基于所述二维图像和所述深度图像获得待识别图像，其中，所述二维图像和所述深度图像中相同位置的像素点表征所述目标对象中的同一真实点；
提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果；
基于所述异常区域定位结果、所述异常程度分类结果，以及所述重度异常点定位结果，确定所述目标对象的异常情况。
第二方面，提出一种异常识别装置，包括：
获取单元，用于获取目标对象的二维图像和深度图像，并基于所述二维图像和所述深度图像获得待识别图像，其中，所述二维图像和所述深度图像中相同位置的像素点表征所述目标对象中的同一真实点；
提取单元，用于提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果；
确定单元，用于基于所述异常区域定位结果、所述异常程度分类结果，以及所述重度异常点定位结果，确定所述目标对象的异常情况。
可选的，所述基于所述二维图像和所述深度图像获得待识别图像时，所述获取单元用于：
基于所述二维图像中各个像素点的灰度信息，生成第一通道数据，并基于所述深度图像中各个像素点归一化处理后的深度信息，生成第二通道数据；
确定所述各个像素点对应的，归一化处理后的深度信息中的梯度信息，并基于各个梯度信息，生成第三通道数据；
基于所述第一通道数据、所述第二通道数据，以及所述第三通道数据，合成所述待识别图像。
可选的，所述提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果时，所述提取单元用于：
采用已训练的异常识别模型中的像素特征提取网络，提取所述待识别图像中各个像素点各自的像素特征，其中，所述异常识别模型中包括共享所述像素特征提取网络的异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型；
基于各个像素特征，通过所述异常区域定位子模型，获得所述待识别图像的异常区域定位结果，并通过所述异常程度分类子模型，获得所述待识别图像的异常程度分类结果，以及通过所述重度异常点定位子模型，获得所述待识别图像的重度异常点定位结果；
其中，所述异常识别模型的训练过程中，确定所述异常区域定位子模型、所述异常程度分类子模型，以及所述重度异常点定位子模型，分别对于待识别图像样本的预测结果，并基于各个预测结果各自与对应的标签之间的差异，调整相应的网络参数。
可选的，异常区域被设置为采用矩形框标识时，所述通过所述异常区域定位子模型，获得所述待识别图像的异常区域定位结果时，所述提取单元用于：
通过所述异常区域定位子模型，预测异常区域内的各个像素点分别移动至对应的异常区域中，一组对角顶点时的平移距离；
基于预测的平移距离，生成四通道的距离特征图，其中，一个通道中各个像素点的像素值，表征预测的异常区域中的各个像素点，向相应的异常区域中的同一个对角顶点平移时，在相同方向上的平移距离；
将所述四通道的距离特征图，作为获得的所述待识别图像的异常区域定位结果。
可选的，所述通过所述异常程度分类子模型，获得所述待识别图像的异常程度分类结果时，所述提取单元用于：
通过所述异常程度分类子模型，分别预测各个像素点对于各类预设的异常程度的匹配概率；
基于针对所述各个像素点预测的各类匹配概率，生成指定通道数的概率特征图，其中，所述指定通道数与异常程度分类总数相同，一个通道中各个像素点的像素值，表征预测的所述待识别图像中的各个像素点，与一类预设的异常程度的匹配概率；
将所述指定通道数的概率特征图，作为获得的所述待识别图像的异常程度分类结果。
可选的，所述通过所述重度异常点定位子模型，获得所述待识别图像的重度异常点定位结果时，所述提取单元用于：
通过所述重度异常点定位子模型，分别预测各个像素点与重度异常点之间的匹配概率；
将针对所述各个像素点分别预测的匹配概率，作为对应位置的像素点的像素值，并基于各个位置的像素点的像素值生成高斯热力图；
将所述高斯热力图，作为获得的所述待识别图像的重度异常点定位结果。
可选的，确定所述异常区域定位子模型、所述异常程度分类子模型，以及所述重度异常点定位子模型，分别对于待识别图像样本的预测结果，并基于各个预测结果各自与对应的标签之间的差异，调整相应的网络参数时，所述装置还包括训练单元，所述训练单元用于：
从训练样本集合中获取训练样本，其中，所述训练样本中包括待识别图像样本，以及针对所述待识别图像样本添加的异常区域定位标签、异常程度分类标签和重度异常点定位标签；
基于所述训练样本，以及所述异常区域定位子模型、所述异常程度分类子模型和所述重度异常点定位子模型各自基于训练样本的预测结果，计算所述异常区域定位子模型对应的第一损失，并计算所述异常程度分类子模型对应的第二损失，以及计算所述重度异常点定位子模型对应的第三损失；
基于所述第一损失，调整所述异常区域定位子模型中的网络参数，并基于所述第二损失，调整所述异常程度分类子模型中的网络参数，以及基于所述第三损失，调整所述重度异常点定位子模型中的网络参数，直至基于所述第一损失、第二损失，以及第三损失确定的总损失收敛。
可选的，所述基于所述训练样本以及各个子模型基于训练样本的预测结果，计算所述异常区域定位子模型对应的第一损失，并计算所述异常程度分类子模型对应的第二损失，以及计算所述重度异常点定位子模型对应的第三损失时，所述训练单元用于：
将所述待识别图像样本输入所述待训练的异常识别模型中，获得所述异常识别模型中的像素特征提取网络提取的各个像素点的像素特征；
计算所述异常区域定位子模型基于各个像素特征输出的异常区域定位预测结果，并基于所述异常区域定位预测结果与异常区域定位标签之间的差异，得到第一损失；
计算基于所述异常程度分类子模型基于所述各个像素特征输出的异常程度分类预测结果，并基于所述异常程度预测结果与异常程度分类标签之间的差异，得到第二损失；
计算基于所述重度异常点定位子模型基于所述各个像素特征输出的重度异常点定位预测结果，并基于所述重度异常点定位预测结果与重度异常点定位标签之间的差异，得到第三损失。
可选的，所述基于所述异常区域定位结果、所述异常程度分类结果，以及所述重度异常点定位结果，确定所述目标对象的异常情况时，所述确定单元用于：
根据所述异常区域定位结果，确定所述待识别图像中的异常区域，并根据所述异常程度分类结果，确定所述待识别图像中各个像素点各自的异常程度分类结果，以及根据所述重度异常点定位结果，确定所述待识别图像中的重度异常区域；
确定所述异常区域与所述重度异常区域之间的交集区域和非交集区域；
将所述交集区域内各个异常区域的异常程度确定为重度异常，以及将针对所述非交集区域内的各个异常区域，根据所述非交集区域内的各个异常区域中，各个像素点的异常程度分类结果，确定所述非交集区域内的各个异常区域各自对应的异常程度分类结果。
可选的，若待识别图像的异常程度分类结果为：包括异常程度分类总数个通道的概率特征图，且一个通道中各个像素点的像素值，表征预测的所述待识别图像中的各个像素点，与一类异常程度的匹配概率；
则所述根据所述非交集区域内的各个异常区域中，各个像素点的异常程度分类结果，确定所述非交集区域内的各个异常区域各自对应的异常程度分类结果时，所述确定单元用于：
在所述待识别图像对应的异常程度分类总数个通道的概率特征图中，将各个像素点各自对应的异常程度分类总数个匹配概率中，最大的匹配概率对应的异常程度分类，作为对应的像素点的异常程度分类结果；
确定所述非交集区域内的各个异常区域中，各个像素点各自对应的异常程度分类结果，并按照像素点对应的异常程度分类结果的强弱程度，对所述异常区域内的各个像素点进行排序，得到排序序列；
将所述排序序列中的中值像素点对应的异常程度分类结果，作为对应的异常区域的异常程度分类结果。
可选的，所述确定单元还用于：针对所述待识别图像中的重度异常区域，触发示警操作。
第三方面，提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中任一项所述的异常识别方法。
第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的异常识别方法。
第五方面，提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的异常识别方法。
本申请有益效果如下：
本申请实施例中，提出了一种异常识别方法、装置、电子设备及存储介质，在对目标对象的异常情况进行识别时，借助于目标对象的二位图像和深度图像，能够更好的在图像中记录目标对象的信息，为目标对象的异常情况的准确识别提供了依据，而且在异常识别过程中，从像素点的角度入手，基于待识别图像中各个像素点的像素特征，得到异常区域定位、异常程度分类，以及重度异常点定位三个维度上的结果，并协同利用三个维度的结果，确定待识别图像中目标对象的异常情况，提高了对于目标对象的异常情况的识别效率的同时，提高了异常识别的准确性和异常识别的精度，而且不仅能够保证对目标对象进行有效检测，还极大地降低了运维成本。
附图说明
图1为本申请实施例中可能的一种应用场景示意图；
图2为本申请实施例中异常识别模型的模型结构示意图；
图3a为本申请实施例中异常识别模型的训练流程示意图；
图3b为本申请实施例中处理设备获得的对象的二维图像示意图；
图3c为本申请实施例中处理设备获得的对象的深度图像示意图；
图3d为本申请实施例中计算损失值的流程示意图；
图3e为本申请实施例中预测的异常区域框与标注的异常区域框之间的位置示意图；
图4a为本申请实施例中异常识别过程中涉及到的步骤关系示意图；
图4b为本申请实施例中基于二维图像和深度图像生成待识别图像的示意图；
图4c为本公开实施例中确定各类结果的流程示意图；
图4d为本申请实施例中处理设备确定目标对象的异常情况的流程示意图；
图4e为本申请实施例中的高斯热力图示意图；
图5a为本申请实施例中对集装箱进行锈蚀程度识别的过程与相关技术下的实现过程的流程比对图；
图5b为本申请实施例中对集装箱的锈蚀程度进行识别的过程示意图；
图5c为本申请实施例中对锈蚀程度进行识别时的数据转换示意图；
图5d为本申请实施例中基于输入图像确定最终的锈蚀情况的示意图；
图5e为本申请实施例中基于第一个待识别图像得到的锈蚀情况示意图；
图5f为本申请实施例中基于第二个待识别图像得到的锈蚀情况示意图；
图5g为本申请实施例中基于第三个待识别图像得到的锈蚀情况示意图；
图5h为本申请实施例中基于第四个待识别图像得到的锈蚀情况示意图；
图5i为本申请实施例中基于第五个待识别图像得到的锈蚀情况示意图；
图6为本申请实施例中异常识别装置的逻辑结构示意图；
图7为应用本申请实施例的一种电子设备的一个硬件组成结构示意图；
图8为本申请实施例中的一个计算装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
高分辨率深度神经网络（HighResolution Net，HRNet）：是一类使用广泛的深度学习网络结构，HRNet通过重复使用自底向上和自顶向下的处理方式来获得输入数据的多尺度信息，本质上可以理解为一个特征编码器，能够应用于图像分类、目标检测、关键点检测、姿态估计，以及语义分割等任务的处理过程中，本申请实施例中，采用高分辨率网络的主体结构（HRNet Backbone），基于输入的图像进行像素特征提取，提取图像的多尺度的像素特征。
二维（two dimensional，2D）图像：也称平面图像，二维图像只有两个轴向，分别为X轴向和Y轴向，本申请实施例中，二维图像具体可以是普通相机拍摄的平面图像，或者，可以是线扫相机拍摄的平面图像，本申请的描述中，二维图像和红绿蓝（Red Green Blue，RGB）图像指代的含义相同。
深度图像：是指能够表征被拍摄物体距离相机远近的图像，深度图像中的每个像素点的灰度值可用于表征场景中某一点距离相机镜头的远近，本申请实施例中，深度图像具体可以是线扫三维（three dimensional，3D）相机拍摄的图像，或者，可以是普通3D相机拍摄的图像。
线扫成像：是指线扫相机的成像方式，具体是指线扫相机对物体成像时，在指定方向上进行物理运动，持续在像面上进行扫描形成一条线图像，或者，进行形成一幅二维影像的操作，进而将沿着物体运动的方向得到的各条线图像或者各幅二维影像，拼接为完整的图像。
相机对准：是指在至少两个相机之间进行的处理方式，进行相机对准的至少两个相机，能够拍摄出完全一致的图像，使得不同相机拍摄的不同图像中，相同位置的像素点对应真实世界中的同一个真实点，换言之，采用相同的构建坐标系的方式，在经过对准的不同相机拍摄的图像中建立坐标系后，真实世界中的一个真实点在不同图像中对应的坐标位置相同。
下面对本申请实施例的设计思想进行简要介绍：
相关技术下，随着各方贸易往来的日益密切，我国的物流运输行业迅速发展，对于物流传输的实体介质可靠性的要求逐渐提高，因而对物流传输的实体介质的异常识别显得尤为重要。
相关技术下，在对物流传输的实体介质进行异常识别时，可以采用人工检测，或者，机器检测的方式，检测物流传输的实体介质的异常情况。
以物流运输行业中一种至关重要的实体介质集装箱为例，对于存放在堆场的集装箱来说，在使用前必须针对集装箱经过严格的检修，在对集装箱进行异常识别时，可以通过验箱员对集装箱的锈蚀情况进行人工检验，或者，可以借助于复杂的处理算法，基于集装箱的二维图像检测锈蚀情况。
然而，对于人工检测的方式来说，整个检测过程繁琐，检验时间较长，同时存在很高的安全隐患，对于锈蚀程度的判定依赖于验箱员的主观意识，不利于在智能化时代下提升物流的流转效率。相关技术下提供的机器处理方式中，采用的技术方案较为复杂，且仅用到了二维图像信息，而且受限于拍摄场景的局限性和复杂性，无法避免出现拍摄到的集装箱二维图像质量欠佳的问题，使得二维图像中存在着形变、集装箱图片边缘较暗、受雨水滴痕和印刷字体等的干扰等问题，一方面无法保证机器检测的鲁棒性，另一方面无法保证对于集装箱锈蚀情况的检测效率和检测准确性。这样，无法保证对物流传输的实体介质进行有效检测，一旦存在对异常情况的漏检，不合格的实体介质将对物流业务带来极大的负面影响。
有鉴于此，本申请实施例中，提出了一种异常识别方法、装置、电子设备及存储介质，处理设备获取目标对象的二维图像和深度图像，其中，二维图像和深度图像中相同位置的像素点对应真实世界中的同一真实点，再获得包含二维图像和深度图像中的像素信息的待识别图像，然后基于从待识别图像中提取的各个像素点各自的像素特征，计算待识别图像中的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，其中，重度异常可以是异常程度分类中的一种，用以突出检测待识别图像中可能存在的重度异常情况。最后，基于确定的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，确定待识别图像所表征的目标对象的异常情况。
这样，在对目标对象的异常情况进行识别时，借助于目标对象的二位图像和深度图像，能够更好的在图像中记录目标对象的信息，为目标对象的异常情况的准确识别提供了依据，而且在异常识别过程中，从像素点的角度入手，基于待识别图像中各个像素点的像素特征，得到异常区域定位、异常程度分类，以及重度异常点定位三个维度上的结果，并协同利用三个维度的结果，确定待识别图像中目标对象的异常情况，提高了对于目标对象的异常情况的识别效率的同时，提高了异常识别的准确性和异常识别的精度，而且不仅能够保证对目标对象进行有效检测，还极大地降低了运维成本。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。
参阅图1所示，为本申请实施例中可能的一种应用场景示意图。该应用场景示意图中，包括第一图像采集设备110、第二图像采集设备120，以及处理设备130。
需要说明的是，当第一图像采集设备110和第二图像采集设备120为具有信息发送功能的图像采集设备时，第一图像采集设备110与处理设备130之间、第二图像采集设备120与处理设备130之间，可以通过有限网络或无线网络进行通信，当第一图像采集设备110或者第二图像采集设备120中为不具有信息发送功能的图像采集设备时，可以直接从图像采集设备的存储卡中导出采集的图像，并提供给处理设备130进行处理。
在本申请实施例中，第一图像采集设备110用于采集二维图像，具体可以是终端设备相机、二维线扫相机、能够拍摄二维图像的普通相机，能够拍摄二维视频的摄像头等图像采集设备；
第二图像采集设备120用于采集深度图像，具体可以是各类能够拍摄深度图像的三维相机、三维线扫相机、能够拍摄三维视频的摄像头等图像采集设备；
处理设备可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。也可以是终端设备，如个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居，以及车载终端等具有一定计算能力的计算机设备，或者，图像采集设备。
本申请提出的技术方案，可以在各样的应用场景中，基于设置的异常内容，实现异常识别，具体的，可以应用于物流传输领域，对物流传输的实体介质的锈蚀情况进行识别，或者，可以应用于医疗影像分析领域，对影像学图像中的病变情况进行识别，或者，可以应用于智能家居领域，对冰箱中食物的腐败情况进行识别，又或者，可以应用于生物研究领域，对生物的发育情况进行识别，还或者，可以应用于对物质的渐变情况进行识别的场景中，对物质的变化情况进行识别。
在本申请各样的应用场景中，第一图像采集设备110和第二图像采集设备120针对性采集的图像将发送至处理设备130，由处理设备130针对获得的目标对象的二维图像和深度图像，识别对目标对象的异常情况。
需要说明的是，在本申请一些可能的应用场景中，当采用异常识别模型对图像进行识别时，异常识别模型可以安装于处理设备130上，使得处理设备130可以直接采用异常识别模型对图像进行处理，其中，异常识别模型可以是处理设备130自行训练得到的，或者，可以由其他设备实现异常识别模型的训练后，提供给处理设备130的。
本申请另一些可能的应用场景中，处理设备130可以获取安装有异常识别模型的其他设备处理得到的识别结果，并基于获得的识别结果分析目标对象的异常情况。
本申请实施例中，处理设备基于目标对象的待识别图像，可以通过已训练的异常识别模型中的，异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型，获得待识别图像中目标对象的各个异常区域，各个异常区域各自对应的异常程度分类，以及获得目标对象的重度异常点定位结果。
下面首先结合附图，对异常识别模型的模型结构进行说明：
参阅图2所示，其为本申请实施例中异常识别模型的模型结构示意图，根据图2所示意的内容，异常识别模型中包括三个子模型，分别为异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型，且三个子模型共享像素特征提取网络。
本申请实施例中，像素特征提取网络具体可以是HRNet Backbone，或者，可以是U-NET网络，又或者，可以是Deeplab网络等。
以HRNet Backbone为例，高分辨率网络通过重复使用自底向上和自顶向下的处理方式，获得每张待识别图像的多尺度信息，有利于获得更加精确的像素级预测结果，具体的，HRNet Backbone中包括多个分支，在内部处理的过程中分支1的特征通过下采样操作后可以作为分支2的输入，分支2的特征经过上采样操作后又可作为分支1的输入。HRNetBackbone内部均衡地执行自底向上和自顶向下的处理过程，因而可以更好地融合多尺度信息，得到多尺度的像素特征。
异常区域定位子模型中除像素特征提取网络外的其他网络具体可以是卷积网络，当异常区域被设置为采用矩形框标识时，该卷积网络的形式具体可以是：Conv，1×1，4，stride1，其中，1×1表示卷积核的形式，4表示输出的异常区域定位结果是4通道的数据，stride1表征该卷积网络中的步长为1。
具体来说，就异常识别模型中的异常区域定位子模型而言，基于像素特征提取网络计算得到的多尺度特征，通过进行卷积计算，输出一个四通道的距离特征图，其中，四个通道的距离特征图中，各个通道中相同位置的像素点的像素值分别为：tl_x、tl_y、br_x，以及br_y，这四个通道的像素值分别表征异常区域框内的像素点距移动至该异常区域框的一组对角顶点时，需要沿x轴向和y轴向移动的距离。
特殊的，对于存在于异常区域框外的各个像素点来说，默认其在四个通道的像素值取值为0。
例如，针对待识别图像建立二维像素坐标系后，以一个像素点A为例，tl_x可以表示为像素点A运动至异常区域矩形框的左上端点时，需要沿x方向移动的距离，tl_y表示像素点A运动至异常区域矩形框的左上端点时，需要沿y方向移动的距离，br_x表示像素点A运动至异常区域矩形框的右下端点时，需要沿x方向移动的距离，br_y表示像素点A运动至异常区域矩形框的右下端点时，需要沿y方向移动的距离。基于这4个值，我们可以确定用于标注一个异常区域的矩形框的位置。
异常程度分类子模型中除像素特征提取网络外的其他网络具体可以是卷积网络，该卷积网络的形式具体可以是：Conv，1×1，N，stride1，其中，1×1表示卷积核的形式，N表示输出的异常程度分类结果是N通道的数据，N表征预设的异常程度分类的总类数，stride1表征该卷积网络中的步长为1。
具体而言，就异常识别模型中的异常程度分类子模型来讲，异常程度分类子模型可以基于HRNet Backbone计算得到的多尺度的像素特征，通过进行卷积运算，输出一个N通道的概率特征图，其中，N个通道的概率特征图中，各个通道相同位置的像素点的像素值，表征该像素点属于相应的一类异常程度分类的概率，预设的异常程度分类总数与概率特征图的通道数N取值相同。
例如，以对集装箱进行异常程度分类为例，假设预设有四类异常程度分类，分别为无锈蚀、轻度锈蚀、中度锈蚀，以及重度锈蚀，则对应的概率特征图中通道总数N的取值为4。
重度异常点定位子模型中除像素特征提取网络外的其他网络具体可以是卷积网络，该卷积网络的形式具体可以是：Conv，1×1，1，stride1，其中，1×1表示卷积核的形式，1表示输出的重度异常点定位结果是1通道的数据，stride1表征该卷积网络中的步长为1。
具体而言，就异常识别模型中的重度异常点定位子模型来说，重度异常点定位子模型可以基于HRNet Backbone计算得到的多尺度的像素特征，通过进行卷积运算，输出一个1通道的特征图，其中，特征图中像素点的像素值，表征对应的像素点为重度异常的概率大小。
本申请实施例中，重度异常点定位子模型的学习目标是一个以重度异常点真值为中心的高斯热力图，该高斯热力图在重度异常点处的像素值为1，周围区域像素点的像素值随着距离重度异常点的距离的增大而减小。在实际的处理过程中，我们求取特征图上所有的局部最大值，这些局部最大值对应的像素点即为重度异常点的中心，重度异常区域可由此像素点向外扩展得到。
需要说明的是，本申请实施例中异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型，可以是三个共享像素特征提取网络且独立的三个分支，三个分支的子模型的处理过程相互无干扰，三个分支可以同步进行训练。
特殊的，本申请可行的实现方案中，对于异常程度分类子模型的功能实现来说，可以先通过异常区域定位子模型得到异常区域，并将诸如ResNet18的分类网络作为异常程度分类子模型，针对得到的每一个异常区域进行分类。然而由于此方案来说，一方面对于异常程度分类子模型输入并非是端到端的过程，因而比较繁琐，另一方面，异常区域定位子模型得到的异常区域大小可能存在较大差异，而分类网络一般对输入数据的尺寸有固定限制，故需要将所有异常区域调整到统一大小，这极易引入多余噪声、损失有用信息，因而本申请将不对此种可能的模型结构进行具体说明。
参阅图3a所示，其为本申请实施例中异常识别模型的训练流程示意图，下面结合附图3a，对异常识别模型的训练过程进行说明：
步骤301：处理设备从训练样本集合中获取训练样本。
处理设备在对异常识别模型进行训练之前，首先需要构建相应的训练样本集合。
具体的，处理设备在构建训练样本集合的过程中，考虑到针对性进行异常识别的对象可能具有的异常情况，故针对性地获取各个对象的二维图像和深度图像，其中，对于一个对象的二维图像和深度图像而言，二维图像和深度图像中相同位置的像素点表征目标对象中的同一真实点。
例如，在对集装箱的锈蚀程度进行识别的应用场景下，参阅图3b和3c所示，图3b为本申请实施例中处理设备获得的对象的二维图像示意图，图3c为本申请实施例中处理设备获得的对象的深度图像示意图。在此场景下，处理设备针对性设置的异常程度分类可能包括以下四种，分别为：无锈蚀：集装箱表面干净，无任何锈蚀痕迹；轻度锈蚀：集装箱出现锈蚀痕迹，但表皮还保留；中度锈蚀：集装箱出现锈蚀痕迹，锈蚀区域无表皮，未发现绣破区域；重度锈蚀：出现锈蚀痕迹，锈蚀区域无表皮，且锈蚀区域内存在绣破。
处理设备获得各个对象的二维图像和深度图像后，分别基于一个二维图像和对应的一个深度图像，生成一个待识别图像样本。
需要说明的是，处理设备生成待识别图像时，利用二维图像和深度图像合成对应的一份三通道的待识别图像样本，具体的，将灰度化处理的二维图作为第一通道数据，将归一化处理的深度图像作为第二通道数据，以及将深度信息归一化后的梯度信息作为第三通道数据。
处理设备在基于二维图像和深度图像生成待识别图像样本的同时，在图像中标注异常区域，并为标注的异常区域添加异常区域定位标签和异常程度分类标签，以及针对图像中的重度异常点，添加对应的重度异常点定位标签。
需要说明的是，由于待识别图像是基于二维图像和深度图像生成的，故对于二维图像、深度图像，以及生成的待识别图像来说，图像的大小完全相同，而且不同图像中相同位置的像素点表征的是真实世界中的同一真实点。因此，为了便于操作，可以在二维图像中进行标注，进而确定待识别图像中对应标注的异常区域定位标签、异常程度分类标签和重度异常点定位标签。
进而处理设备将待识别图像，以及针对待识别图像标注的异常区域定位标签、异常程度分类标签和重度异常点定位标签，作为一条训练样本，并同理构建其他训练样本，最终生成训练样本集合。
这样，为异常识别模型构建的训练样本中，同时利用了二维图像和深度图像，同时表达对象的信息，不仅避免了仅适用二维图像带来的噪声干扰，而且能够借助于深度图像所传递的极其丰富的信息，在后续对异常识别模型进行训练的过程中，协助提升异常识别模型的训练效果。
步骤302：处理设备基于训练样本，以及异常区域定位子模型、异常程度分类子模型和重度异常点定位子模型各自基于训练样本的预测结果，计算异常区域定位子模型对应的第一损失，并计算异常程度分类子模型对应的第二损失，以及计算重度异常点定位子模型对应的第三损失。
具体的，在执行步骤302时，具体执行流程所示意的操作，参阅图3d所示，其为本申请实施例中计算损失值的流程示意图，下面结合附图3d，对计算各个子模型各自对应的损失的过程进行说明：
步骤3021：处理设备将待识别图像样本输入待训练的异常识别模型中，获得异常识别模型中的像素特征提取网络提取的各个像素点的像素特征。
处理设备获取训练样本后，将训练样本中的待识别图像样本输入异常识别模型中，其中，异常识别模型中包括共享像素特征提取网络的异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型。
具体的，处理设备通过异常识别模型中的像素特征提取网络，提取待识别图像中各个像素点的像素特征，进而通过异常识别模型中的异常区域定位子模型，基于获得的像素特征，得到对应的异常区域定位预测结果，并通过异常识别模型中的异常程度分类子模型，基于获得的像素特征，得到对应的异常程度分类预测结果，以及通过异常识别模型中的重度异常点定位子模型，基于获得的像素特征，得到对应的重度异常点定位预测结果，其中，获得的异常区域定位预测结果、异常程度分类预测结果，以及重度异常点定位预测结果，统称为基于训练样本得到的预测结果。
需要说明的是，本申请实施例中，预测结果的存在形式，与上述图2中对模型结构进行描述时的说明相同，即，异常区域定位预测结果为四通道的距离特征图、异常程度分类预测结果为N通道的概率特征图，以及重度异常点定位预测结果为1通道的高斯热力图。
步骤3022：处理设备计算异常区域定位子模型基于各个像素特征输出的异常区域定位预测结果，并基于异常区域定位预测结果与异常区域定位标签之间的差异，得到第一损失。
具体的，处理设备基于异常区域定位预测结果，与训练样本中对应的异常区域定位标签之间的差异，采用全量交并比（Complete Intersection Over Union，CIOU）损失函数，计算第一损失，其中，计算第一损失时使用的公式具体如下：
Figure 304966DEST_PATH_IMAGE001
其中，LK1表示针对第K个待识别图像样本得到的第一损失；N表示针对第K个待识别图像样本预测得到的异常区域的总数；A表示训练样本中针对第K个待识别图像样本标注的异常区域框，其中，标注的异常区域框由异常区域定位标签确定；B表示针对第K个待识别图像样本预测得到的异常区域框，其中，预测得到的异常区域框由异常区域定位预测结果确定；IOU()表示交并比计算函数；Actr表征标注的异常区域框的中心点，例如，在异常区域框为矩形的情况下，可以根据得到的四个顶点的坐标，确定异常区域框的中心点；Bctr表征预测的异常区域框的中心点；ρ代表计算两个异常区域框的中心点之间的欧式距离；c代表能够同时包含预测的异常区域框和标注的异常区域框的最小闭包区域的对角线距离；ϑ用于度量预测的异常区域框和标注的异常区域框的长宽比的相似性；α为自行配置的权重系数，如，取值为0.9。
在计算 ϑ时，具体可以采用以下公式：
Figure 760087DEST_PATH_IMAGE002
其中，wgt表征标注的异常区域框的长，hgt表征标注的异常区域框的宽，w表示预测的异常区域框的长，h表征预测的异常区域框的宽。
例如，参阅图3e所示，其为本申请实施例中预测的异常区域框与标注的异常区域 框之间的位置示意图，基于图3e所示意的内容，基于待识别图像中各个像素点，可以建立对 应的坐标系，进而可以确定图3e中预测的异常区域框的四个顶点坐标分别为：（X1，Y1）、 （X3，Y1）、（X1，Y2），以及（X3，Y2），那么可以确定预测的异常区域框的中心点坐标为
Figure 752314DEST_PATH_IMAGE003
，同理，可以确定标注的异常区域框的中心点坐标为
Figure 650999DEST_PATH_IMAGE004
。另外，在确定标注的异常区域框和预测的异常区域框的 相对位置后，可以确定将标注的异常区域框和预测的异常区域框包含在内的最小闭包区 域。
步骤3023：处理设备计算基于异常程度分类子模型基于各个像素特征输出的异常程度分类预测结果，并基于异常程度预测结果与异常程度分类标签之间的差异，得到第二损失。
具体的，处理设备基于异常程度分类预测结果，与训练样本中对应的异常程度分类标签之间的差异，采用交叉熵损失函数，计算第二损失，其中，计算第二损失时使用的公式具体如下：
Figure 361466DEST_PATH_IMAGE005
其中，LK2表示针对第K个待识别图像样本得到的第二损失；M表示第K个待识别图像 样本中包括的像素点总数；
Figure 357629DEST_PATH_IMAGE006
表征遍历每个像素点； Wxy表征位于坐标（x，y）处的像素 点的损失权重，其中，若该像素点为前景，则损失权重取值为1，否则，若该像素点为背景，则 损失权重取值为0.1，例如，对锈蚀区域进行识别的场景下，前景指代锈蚀区域，背景指代出 锈蚀区域外的其他区域；
Figure 469941DEST_PATH_IMAGE007
表征对各类异常程度分类下的损失进行求和，其中，异常程 度分类总数为c；Yxyc表征根据标注的异常程度分类标签确定的，位于（x，y）处的像素点属于 一类异常程度的概率；
Figure 273949DEST_PATH_IMAGE008
表征根据预测的异常程度分类预测结果确定的，（x，y）处的像 素点属于一类异常程度的概率。
步骤3024：处理设备计算基于重度异常点定位子模型基于各个像素特征输出的重度异常点定位预测结果，并基于重度异常点定位预测结果与重度异常点定位标签之间的差异，得到第三损失。
具体的，处理设备基于重度异常点定位预测结果，与训练样本中对应的重度异常 点定位标签之间的差异，采用难例挖掘损失，计算第三损失，其中，采用的损失函数为每个 像素点的交叉熵损失在线赋予一个权重，该权重取决于像素点对应的高斯热力图Yxy的值大 小和像素点被分为正例/负例的概率
Figure 471712DEST_PATH_IMAGE009
。计算第三损失时使用的公式具体如下：
Figure 268636DEST_PATH_IMAGE010
其中，LK3表示针对第K个待识别图像样本得到的第三损失；M表示第K个待识别图像 样本中包括的像素点总数；
Figure 235455DEST_PATH_IMAGE006
表征遍历每个像素点； Yxy表征根据标注的重度异常点 定位标签确定的，位于（x，y）处的像素点属于重度异常点的概率；
Figure 741523DEST_PATH_IMAGE009
表征根据预测的重 度异常点定位预测结果确定的，（x，y）处的像素点属于重度异常点的概率；α和β均为调制系 数，默认取值为：α=2，β=4。
需要说明的是，在步骤3022-3024所示意的过程中，处理设备基于获得的预测结果，采用相应的损失函数，计算各个子模型各自对应的损失值，其中，步骤3022-3024中任意一个步骤的执行相互独立，因此步骤3022-3024这三个步骤在操作上无必然的先后顺序，可以理解为3022-3024在并行同步进行。
这样 ，基于步骤3021-3024所示意的损失计算过程，能够基于配置的损失函数，针对性地确定异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型各自对应的损失，为后续对子模型进行网络参数调整提供了依据。
步骤303：处理设备基于第一损失，调整异常区域定位子模型中的网络参数，并基于第二损失，调整异常程度分类子模型中的网络参数，以及基于第三损失，调整重度异常点定位子模型中的网络参数，直至基于第一损失、第二损失，以及第三损失确定的总损失收敛。
具体的，处理设备计算得到第一损失、第二损失，以及第三损失后，基于第一损失，调整异常区域定位子模型的网络参数，并基于第二损失，调整异常程度分类子模型中的网络参数，以基于第三损失，调整重度异常定位子模型的网络参数。
进一步的，处理设备不断采用训练样本，对待识别模型进行训练的过程中，基于第一损失、第二损失，以及第三损失确定总损失，并根据各次训练过程中获得的各个总损失，判定异常识别模型的收敛情况，其中，当基于各个总损失，确定总损失连续低于设定值的次数高于预设的门限值时，则可以确定异常识别模型收敛。
这样，能够基于获得的损失，对异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型中的模型参数进行调整，同时，考虑到本申请提出的各子模型共用像素特征提取网络，故像素特征提取网络中的网络参数将基于第一损失、第二损失，以及第三损失进行分别调整，一定程度上体现了各个子模型相互之间的影响和协同作用。
另外，基于上述流程中示意的本申请提出的模型架构和模型训练过程可知，本申请提出了一种高效的网络结构，使得能够同时实现对异常区域的定位，对异常程度的分类，以及对重度异常点的定位，一个模型实现了多个任务，在减少了网路模型的占用空间的同时，还减少了冗余计算过程，能够加快模型的处理速度。与此同时，本申请采用的多任务学习的策略，有利于三种任务下的结果之间的相互借鉴、相互促进。
下面结合附图，对本申请实施例中异常识别的流程进行说明。
参阅图4a所示，其为本申请实施例中异常识别过程中涉及到的步骤关系示意图，下面结合附图4a对首先进行异常识别过程中的步骤关系进行说明：
参阅图4a所示，其为本申请实施例中进行异常识别的流程示意图，下面结合附图4a，对进行异常识别的流程进行具体说明。
步骤401：处理设备获取目标对象的二维图像和深度图像，并基于二维图像和深度图像获得待识别图像。
在实际的异常识别场景中，处理设备获取目标对象的二维图像和深度图像，基于二维图像和深度图像合成目标对象的待识别图像，其中，对于目标对象的二维图像和深度图像来说，相同位置的像素点表征目标对象中的同一真实点。
需要说明的是，本申请实施例中，在基于二维图像和深度图像，生成对应的待识别图像时，可以采用与生成训练样本中的待识别图像样本相同的生成方式，进行相应的处理。
具体的，处理设备基于二维图像中各个像素点的灰度信息，生成第一通道数据，并基于深度图像中各个像素点归一化处理后的深度信息，生成第二通道数据，再确定各个像素点对应的，归一化处理后的深度信息中的梯度信息，并基于各个梯度信息，生成第三通道数据。进而，处理设备基于第一通道数据、第二通道数据，以及第三通道数据，合成待识别图像。
例如，参阅图4b所示，其为本申请实施例中基于二维图像和深度图像生成待识别图像的示意图，根据图4b所示意的内容，处理设备获得二维图像和深度图像后，基于二维图像中各个像素点的灰度信息，生成第一通道数据，并基于各个像素点归一化处理后的深度信息，生成第二通道数据，以及基于深度信息归一化后的梯度信息，也即，归一化处理后的深度信息中的梯度信息，生成第三通道数据，进而基于第一通道数据、第二通道数据，以及第三通道数据，合成得到待识别图像。
这样，基于目标对象的二维图像和深度图像，生成的目标对象待识别图像，能够更精确的表达出目标对象上的异常情况，有助于后续针对目标对象的异常进行更准确的分析。
步骤402：处理设备提取待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果。
具体的，在执行步骤402时，处理设备可以具体通过执行下步骤，确定待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果。参阅图4c所示，其为本公开实施例中确定各类结果的流程示意图，下面结合图4c，对执行步骤402时可能执行的操作进行说明：
步骤4021：处理设备采用已训练的异常识别模型中的像素特征提取网络，提取待识别图像中各个像素点各自的像素特征。
具体的，处理设备可以将待识别图像输入已训练的异常识别模型中，借助于已训练的异常识别模型中的像素特征提取网络，提取待识别图像中各个像素点各自的像素特征，其中，异常识别模型中包括共享像素特征提取网络的异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型。
需要说明的是，异常识别模型的模型结果以及训练方式，已经在上述流程中进行详细说明，在此将不再赘述。
步骤4022：处理设备基于各个像素特征，通过异常区域定位子模型，获得待识别图像的异常区域定位结果，并通过异常程度分类子模型，获得待识别图像的异常程度分类结果，以及通过重度异常点定位子模型，获得待识别图像的重度异常点定位结果。
本申请实施例中，处理设备通过已训练的异常识别模型中的像素特征提取网络，得到待识别图像中各个像素点的像素特征后，继续借助于异常识别模型中的异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型，基于各个像素特征，分别得到对应的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，下面分别对异常识别模型中三个分支所得到的结果分别进行说明。
分支一、通过异常区域定位子模型，确定异常区域定位结果。
具体的，当异常区域被设置为采用矩形框标识时，通过异常识别模型中的异常区域定位子模型，获得待识别图像的异常定位结果的过程中，通过异常区域定位子模型，预测异常区域内的各个像素点分别移动至对应的异常区域中，一组对角顶点时的平移距离，再基于预测的平移距离，生成四通道的距离特征图，进而将四通道的距离特征图，作为获得的待识别图像的异常区域定位结果，其中，一个通道中各个像素点的像素值，表征预测的异常区域内的各个像素点，向相应的异常区域中的同一个对角顶点平移时，在相同方向上的平移距离。
需要说明的是，本申请可以根据实际的处理需要，配置异常区域中的对角定点，如，配置左上顶点和右下顶点作为一组对角顶点，配置左下顶点和右上顶点作为一组对角顶点。那么，对于配置的四通道的距离特征图来讲，相同位置的像素值表征的含义可能是，该位置的像素点移动至预测的异常区域中的左上顶点时，在X轴向和Y轴向移动的距离，以及该位置的像素点移动至预测的异常区域中的右下顶点时，在X轴向和Y轴向移动的距离，依次得到一个位置的像素点所对应的4个距离值，分别作为四个通道对应位置的像素点的像素值，其中，对角顶点是左下顶点和右上顶点时四通道的距离特征图的生成逻辑同理，在此将不再赘述。
另外，需要说明的是，本申请实施例中，处理设备异常区域定位子模型输出的异常区域定位结果中，仅异常区域内的像素点对应的四通道中的取值才有意义，异常区域外的像素点在四通道中的取值均为0。
这样，借助于异常识别模型中的异常区域定位子模型的处理，能够预测各个像素点相对于异常区域的位置，进而能够表达出待识别图像中存在的，各个异常区域的位置信息。
分支二、通过异常程度分类子模型，确定异常程度分类结果。
具体的，基于待识别图像中各个像素点的像素特征，处理设备通过异常程度分类子模型，分别预测各个像素点对于各类预设的异常程度的匹配概率，再基于针对各个像素点预测的各类匹配概率，生成指定通道数的概率特征图，然后将指定通道数的概率特征图，作为获得的待识别图像的异常程度分类结果，其中，指定通道数与异常程度分类总数相同，一个通道中各个像素点的像素值，表征预测的待识别图像中的各个像素点，与一类预设的异常程度的匹配概率。
需要说明的是，本申请实施例中，预先设置了可能存在的异常程度分类结果，进而异常程度分类子模型在基于各个像素点的像素特征计算异常程度分类结果时，针对各类可能存在的异常程度分类结果，设置包括对应的通道数目的概率特征图，使得概率特征图的每个通道，均能够表征像素点对于一类异常程度的匹配概率，其中，不同通道中相同位置的像素点的像素值，分别表征该像素点属于各类可能的异常程度的概率。
这样，借助于异常程度分类子模型，能够从像素点的角度，分别预测各个像素点与异常程度的匹配情况，进而能够获得像素级别的预测结果，提高了异常程度分类子模型的预测精度，一定程度上保证了异常程度分类子模型处理的准确性。
分支三、通过重度异常点定位子模型，确定重度异常点定位结果。
具体的，基于待识别图像中各个像素点的像素特征，处理设备通过重度异常点定位子模型，分别预测各个像素点与重度异常点之间的匹配概率，再将针对各个像素点分别预测的匹配概率，作为对应位置的像素点的像素值，并基于各个位置的像素点的像素值生成高斯热力图，进而将高斯热力图，作为获得的待识别图像的重度异常点定位结果。
需要说明的是，本申请实施例中，通过重度异常点定位子模型输出的一个通道的高斯热力图，能够确定待识别图像中存在的重度异常点，其中，高斯热力图中重度异常点的表现形式为，对应的归一化处理后的像素值为1，在高斯热力图中呈现白色，且高斯热力图中，局部像素值的最大值对应的像素点，为重度异常点，另外，基于重度异常点确定的重度异常区域，具体是指由重度异常点向外扩展所得到的区域。
这样，借助于重度异常点定位子模型，能够识别出待识别图像中的重度异常点，与此同时，重度异常点的确定为异常区域的漏识别提供了后备保障，使得待识别图像中的重度异常部分不被遗漏，保证了异常识别模型整体的识别效果。
需要说明的是，本申请实施例中，在异常识别模型的训练过程中，确定异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型，分别对于待识别图像样本的预测结果，并基于各个预测结果各自与对应的标签之间的差异，调整相应的网络参数，其中，异常识别模型的具体结构以及具体的训练过程已经在前述的流程中进行了详细说明，在此将不再赘述。
步骤403：处理设备基于异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，确定目标对象的异常情况。
具体的，本申请实施例中，在执行步骤403时，具体通过执行以下操作，实现对于目标对象的异常情况的确认。
参阅图4d所示，其为本申请实施例中处理设备确定目标对象的异常情况的流程示意图，下面结合附图4d，对本申请实施例中确定目标对象的异常情况的流程进行详细说明：
步骤4031：处理设备根据异常区域定位结果，确定待识别图像中的异常区域，并根据异常程度分类结果，确定待识别图像中各个像素点各自的异常程度分类结果，以及根据重度异常点定位结果，确定待识别图像中的重度异常区域。
需要说明的是，由于异常区域定位结果是异常区域定位子模型基于像素特征确定的，异常程度分类结果是异常程度分类子模型基于像素特征确定的，重度异常点定位结果是重度异常点定位子模型基于像素特征确定的，故对于在像素维度上进行处理，得到的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果来说，对应的各个特征图的大小相同，故不同特征图中相同位置的像素点，指代的是待识别图像中同一个像素点的特征。
基于此，处理设备可以根据异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，确定待识别图像中的各个异常区域，以及确定待识别图像中各个像素点各自的异常程度分类结果，同时，能够确定待识别图像中各个像素点属于重度异常点的概率，其中，像素点对应的异常程度分类结果的确定过程将在后续步骤4033的流程中进行详细说明，在此不再赘述。
需要说明的是，处理设备根据重度异常点定位结果，确定待识别图像中的重度异常区域，其中，在重度异常点定位结果为1个通道的高斯热力图的情况下，基于重度异常点确定的重度异常区域，具体是指由重度异常点向外扩展所得到的区域。
例如，参阅图4e所示，其为本申请实施例中的高斯热力图示意图，根据图4e所示意的内容，像素值为1的像素点为重度异常点，并基于重度异常点确定重度异常区域时，可以将高斯热力图中，围绕重度异常点且像素值高于设定阈值的各个像素点，作为重度异常区域中的像素点，如，设定阈值的取值为0.5，则重度异常点周围像素值不低于0.5的像素点，与重度异常点同属于重度异常区域内，如图4e中白色区域所示意的区域。
这样，借助于异常识别模型中的三个子模型，能够分别确定待识别图像中的异常区域、异常程度分类，以及重度异常点所对应的重度异常区域，相当于确定了待识别图像中需要进行着重关注的可能存在异常的部分。
步骤4032：处理设备确定异常区域与重度异常区域之间的交集区域和非交集区域。
具体的，本申请实施例中，处理设备可以根据实际情况确定异常区域与重度异常区域之间的交集区域和非交集区域。
在本申请可能的实施例中，可以将异常区域与重度异常区域之间的重合区域，确定为异常区域与重度异常区域之间的交集区域，并将与任一重度异常区域之间不存在任何共有部分的异常区域，确定为异常区域与重度异常区域之间的非交集区域，同理，将与任一异常区域之间不存在任何共有部分的重度异常区域，确定为异常区域与重度异常区域之间的非交集区域。
或者，可以在确定异常区域中包含重度异常点时，将包括重度异常点的异常区域确定为交集区域，将不包含重度异常点的异常区域确定为非交集区域。
本申请另一些可能的实施例中，可以将存在部分重合的异常区域与重度异常区域，统称为异常区域与重度异常区域之间的交集区域，将不存在任何重合的异常区域和重度异常区域，确定为异常区域与重度异常区域之间的非交集区域。
步骤4033：处理设备将交集区域内各个异常区域的异常程度确定为重度异常，以及针对非交集区域内的各个异常区域，根据非交集区域内的各个异常区域中，各个像素点的异常程度分类结果，确定非交集区域内的各个异常区域各自对应的异常程度分类结果。
在执行步骤4033时，针对异常区域与重度异常区域之间存在的交集区域，可以将交集区域内各个异常区域的异常程度直接确定为重度异常，另外，针对异常区域与重度异常区域之间存在的非交集区域，可以针对非交集区域内的各个异常区域中，各个像素点的异常程度分类结果，确定非交集区域内各个异常区域各自对应的异常程度分类结果。
本申请实施例中，若待识别图像的异常程度分类结果为，包括异常程度分类总数个通道的概率特征图，且一个通道中各个像素点的像素值，表征预测的待识别图像中的各个像素点，与一类异常程度的匹配概率，则根据异常区域内的各个像素点的异常程度分类结果，确定异常区域对应的异常程度分类结果时，根据异常区域内像素点的异常程度强弱的排序结果，确定异常区域对应的异常程度分类结果。
具体的，处理设备在待识别图像对应的异常程度分类总数个通道的概率特征图中，将各个像素点各自对应的异常程度分类总数个匹配概率中，最大的匹配概率对应的异常程度分类，作为对应的像素点的异常程度分类结果，然后，确定非交集区域内的各个异常区域中，各个像素点各自对应的异常程度分类结果，并按照像素点对应的异常程度分类结果的强弱程度，对异常区域内的各个像素点进行排序，得到排序序列，以及将排序序列中的中值像素点对应的异常程度分类结果，作为对应的异常区域的异常程度分类结果。
需要说明的是，异常程度分类结果的强弱程度，具体指代异常的严重程度，如，以集装箱的锈蚀程度为例，假设异常程度分类结果包括：无锈蚀、轻度锈蚀、中度锈蚀，以及重度锈蚀，那么异常程度由强到弱的排序结果为：重度锈蚀、中度锈蚀、轻度锈蚀，以及无锈蚀，该排序结果表征了锈蚀的严重程度由高到低的顺序。
另外，在确定异常区域内的异常程度分类时，还可以统计异常区域内，各类异常程度分类下的像素点总数，进而将对应的像素点总数最大的异常程度，确定为异常区域对应的异常程度。
这样，在确定异常区域对应的异常程度时，借助于不同子模型得到的异常区域定位结果和异常程度分类结果，能够在像素点层面上，基于异常区域内像素点的异常程度分类，确定异常区域对应的异常程度，从像素点的角度细化分析异常区域对应的异常程度，提高了对于异常区域的异常程度的判定精度。
与此同时，本申请提出的方案中，在确定异常区域与重度异常区域存在交集的情况下，不具体分析异常区域内的异常程度分类，而直接将异常区域确定为重度异常区域，对于异常区域与重度异常区域不存在交集的情况下，则具体分析异常区域内的异常程度分类结果，一定程度下简化了对于异常情况的识别过程。
进一步的，处理设备确定待识别图像中的各个区域，以及各个区域各自对应的异常程度分类结果后，可以根据实际的处理需要输出相应的信息，在可能的实施例中，可以针对待识别图像中的重度异常区域，触发示警操作，另外，在仅仅关注重度异常的情况下，那么可以只输出重度异常区域的信息，并根据实际处理需要可以针对重度异常区域进行示警，提醒相关人员的处理，或者，可以根据异常程度对应的严重情况，按照异常程度的严重强弱输出各种异常程度分类下的区域信息，又或者，可以选择性的过滤程度较轻的异常程度分类对应的区域信息。
这样，能够根据实际的处理需要，基于对待识别图像的异常识别结果，针对性的输出关注的信息，并能够在确定存在重度异常的区域时，及时示警，以使相关处理人员能够对及时处理异常。
下面结合附图，以采用异常识别模型对集装箱的锈蚀情况进行识别为例，对本申请实施例中所提出的异常识别方式进行详细说明：
参阅图5a所示，其为本申请实施例中对集装箱进行锈蚀程度识别的过程与相关技术下的实现过程的流程比对图，根据图5a所示意的内容可知，相关技术下，对集装箱进行锈蚀程度识别的过程包括：在货车装在集装箱进入堆场后，在指定区域卸下集装箱，进而人工环绕集装箱并观察锈蚀缺陷，进而直接拍照并标记锈蚀区域。
对比而言，本申请提出的技术方案中，在货车装在集装箱进入堆场后，对集装箱进行扫描成像，并将图像上传至处理设备，进而处理设备自动化检测锈蚀缺陷后，返回锈蚀程度识别结果。
这样，对比可知，相关技术下的业务流程主要依赖人工验箱，检测效率低，检测效果因人而异。而本申请提出的技术方案中，灵活应用了计算机视觉技术，可实现锈蚀缺陷的自动化检测，从而大幅节约运营成本，并能够更快、更准确地获取锈蚀程度识别结果。
参阅图5b所示，其为本申请实施例中对集装箱的锈蚀程度进行识别的过程示意图，下面结合附图5b，对识别集装箱的锈蚀程度的操作过程进行说明：
需要说明的是，在对集装箱的锈蚀情况进行识别的情况下，预先针对设置有四类锈蚀程度，分别为：无锈蚀：集装箱表面干净，无任何锈蚀痕迹；轻度锈蚀：集装箱出现锈蚀痕迹，但表皮还保留；中度锈蚀：集装箱出现锈蚀痕迹，锈蚀区域无表皮，未发现锈破区域；重度锈蚀：出现锈蚀痕迹，锈蚀区域无表皮，且锈蚀区域内存在锈破。
在具体的处理过程中，考虑到锈破较大的情况下，无法准确识别锈蚀区域，因而单独采用重度异常点定位子模型，针对性地对锈破情况进行识别，避免由于异常区域定位子模型的漏检测而造成不良后果。
在具体的识别过程中，处理设备首先获取集装箱的二维图像和深度图像，并基于集装箱的二维图像和深度图像，得到根据三通道数据合成的待识别图像，其中，待识别图像的生成过程已经在上述的流程中进行详细说明，在此不再赘述。
进一步的，处理设备可以将待识别图像输入已训练的异常识别模型，通过异常识别模型中的像素特征提取网络，提取待识别图像中各个像素点的像素特征，进而通过异常识别模型中，用于进行锈蚀区域定位的异常区域定位子模型，得到锈蚀区域定位结果，并通过异常识别模型中，用于进行锈蚀程度分类的异常程度分类子模型，得到锈蚀程度分类结果，以及通过异常识别模型中，用于进行锈破关键点定位的重度异常定位子模型，得到锈破关键点定位结果。进而基于锈蚀区域定位结果、锈蚀程度分类结果，以及锈破关键点定位结果，最终识别出锈蚀情况。
参阅图5c所示，其为本申请实施例中对锈蚀程度进行识别时的数据转换示意图，根据图5c所示意的内容，处理设备将三通道的待识别图像输入异常识别模型中，分别得到以四个通道组成的距离特征图表征的锈蚀区域定位结果，并得到以四个通道的概率特征图表征的锈蚀程度分类结果，以及得到以1个通道的高斯热力图表征的锈破关键点定位结果。
又例如，参阅图5d所示，其为本申请实施例中基于输入图像确定最终的锈蚀情况的示意图，根据图5d示意的内容可知，基于输入数据，可以识别出锈蚀区域定位结果和锈蚀程度分类结果所对应的图像形式，以及可以生成锈破关键点定位结果，其中，锈破关键点定位结果以图5d中示意的，锈破区域中心关键点的高斯热力图的灰度图表示，白色区域表示检测到的绣破区域，锈破区域为包含锈破关键点在内的区域，其中，锈破区域中心关键点即为锈破关键点。当实际的处理需求在于确定存在的锈破关键点时，则直接忽略对锈蚀区域的锈蚀程度判定，最终的结果中只需给出锈破关键点，或者，给出锈破区域对应的位置信息即可，无需再对锈蚀区域进行判定。
需要说明的是，本申请实施例中，无论是在基于重度异常点定位子模型确定重度异常点后，基于重度异常点确定的重度异常区域，还是，在异常区域定位子模型确和异常程度分类子模型，识别出异常区域定位结果和异常程度分类结果后，基于异常区域定位结果和异常程度分类结果，确定为重度异常的异常区域，可以统称为存在重度异常。
而且考虑到实际处理中，出现锈破则表明发生的严重的锈蚀，故直接输出锈破区域为重度异常区域即可，对于包含锈破区域的锈蚀区域来说，无需再判定该锈蚀区域内的锈蚀程度，可直接判定为重度异常。另外，如果仅需关注集装箱的锈破缺陷，那么可以只输出绣破区域的定位结果，如果需要针对重度锈蚀区域进行报警，也可以根据锈蚀程度等级输出重度锈蚀的区域信息，并适应性的在存在重度锈蚀时进行报警，或者，过滤中度或轻度的锈蚀情况。
又例如，参阅图5e-5i所示，图5e为本申请实施例中基于第一个待识别图像得到的锈蚀情况示意图；图5f为本申请实施例中基于第二个待识别图像得到的锈蚀情况示意图；图5g为本申请实施例中基于第三个待识别图像得到的锈蚀情况示意图；图5h为本申请实施例中基于第四个待识别图像得到的锈蚀情况示意图；图5i为本申请实施例中基于第五个待识别图像得到的锈蚀情况示意图；图5e-5i示意了采用集装箱不同位置的图像进行锈蚀程度识别时，得到的识别结果。
这样，本申请提出的技术方案中，能够结合锈蚀区域定位结果、锈蚀程度分类结果，以及锈破关键点定位结果这三者的信息，进而确定最终的锈蚀情况，一定程度上能够简化锈蚀区域内锈蚀程度的判定过程。
另外，集装箱作为一种广泛使用的标准化的运输工具，对集装箱的整理、统计、质量监控和缺陷检测等是非常重要的环节。智能化地实现对集装箱的进行锈蚀程度的识别，能够极大地提升处理效率，并能够降低人力成本。本申请提出的技术方案相当于提出了智能验箱方式，使得能够在集装箱锈蚀区域进行自动化检测和锈蚀程度分类。
再者，处理设备结合了深度学习技术和传统的图像处理技术对集装箱图片进行锈蚀区域自动化检测和锈蚀程度分类，相比传统的图像技术，本申请能够更鲁棒地应对复杂的实际业务场景，而且本申请在锈蚀程度识别过程中，使用高分辨率网络结构进行像素特征提取后，同时输出锈蚀区域的定位结果、锈蚀程度分类，以及绣破区域中心关键点结果，相当于采用了多任务学习的策略以协同利用三个维度的信息。另外，本申请可以同时考虑集装箱不同程度的锈蚀情况，不仅可以给出绣破区域信息，而且可以对重度锈蚀的情况给予及时报警，提高了在实际应用场景下的可扩展性。
基于同一发明构思，参阅图6所示，其为本申请实施例中异常识别装置的逻辑结构示意图，异常识别装置600中包括获取单元601、提取单元602，以及确定单元603，其中，
获取单元601，用于获取目标对象的二维图像和深度图像，并基于二维图像和深度图像获得待识别图像，其中，二维图像和深度图像中相同位置的像素点表征目标对象中的同一真实点；
提取单元602，用于提取待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果；
确定单元603，用于基于异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，确定目标对象的异常情况。
可选的，基于二维图像和深度图像获得待识别图像时，获取单元601用于：
基于二维图像中各个像素点的灰度信息，生成第一通道数据，并基于深度图像中各个像素点归一化处理后的深度信息，生成第二通道数据；
确定各个像素点对应的，归一化处理后的深度信息中的梯度信息，并基于各个梯度信息，生成第三通道数据；
基于第一通道数据、第二通道数据，以及第三通道数据，合成待识别图像。
可选的，提取待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果时，提取单元602用于：
采用已训练的异常识别模型中的像素特征提取网络，提取待识别图像中各个像素点各自的像素特征，其中，异常识别模型中包括共享像素特征提取网络的异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型；
基于各个像素特征，通过异常区域定位子模型，获得待识别图像的异常区域定位结果，并通过异常程度分类子模型，获得待识别图像的异常程度分类结果，以及通过重度异常点定位子模型，获得待识别图像的重度异常点定位结果；
其中，异常识别模型的训练过程中，确定异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型，分别对于待识别图像样本的预测结果，并基于各个预测结果各自与对应的标签之间的差异，调整相应的网络参数。
可选的，异常区域被设置为采用矩形框标识时，通过异常区域定位子模型，获得待识别图像的异常区域定位结果时，提取单元602用于：
通过异常区域定位子模型，预测异常区域内的各个像素点分别移动至对应的异常区域中，一组对角顶点时的平移距离；
基于预测的平移距离，生成四通道的距离特征图，其中，一个通道中各个像素点的像素值，表征预测的异常区域中的各个像素点，向相应的异常区域中的同一个对角顶点平移时，在相同方向上的平移距离；
将四通道的距离特征图，作为获得的待识别图像的异常区域定位结果。
可选的，通过异常程度分类子模型，获得待识别图像的异常程度分类结果时，提取单元602用于：
通过异常程度分类子模型，分别预测各个像素点对于各类预设的异常程度的匹配概率；
基于针对各个像素点预测的各类匹配概率，生成指定通道数的概率特征图，其中，指定通道数与异常程度分类总数相同，一个通道中各个像素点的像素值，表征预测的待识别图像中的各个像素点，与一类预设的异常程度的匹配概率；
将指定通道数的概率特征图，作为获得的待识别图像的异常程度分类结果。
可选的，通过重度异常点定位子模型，获得待识别图像的重度异常点定位结果时，提取单元602用于：
通过重度异常点定位子模型，分别预测各个像素点与重度异常点之间的匹配概率；
将针对各个像素点分别预测的匹配概率，作为对应位置的像素点的像素值，并基于各个位置的像素点的像素值生成高斯热力图；
将高斯热力图，作为获得的待识别图像的重度异常点定位结果。
可选的，确定异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型，分别对于待识别图像样本的预测结果，并基于各个预测结果各自与对应的标签之间的差异，调整相应的网络参数时，装置还包括训练单元604，训练单元604用于：
从训练样本集合中获取训练样本，其中，训练样本中包括待识别图像样本，以及针对待识别图像样本添加的异常区域定位标签、异常程度分类标签和重度异常点定位标签；
基于训练样本，以及异常区域定位子模型、异常程度分类子模型和重度异常点定位子模型各自基于训练样本的预测结果，计算异常区域定位子模型对应的第一损失，并计算异常程度分类子模型对应的第二损失，以及计算重度异常点定位子模型对应的第三损失；
基于第一损失，调整异常区域定位子模型中的网络参数，并基于第二损失，调整异常程度分类子模型中的网络参数，以及基于第三损失，调整重度异常点定位子模型中的网络参数，直至基于第一损失、第二损失，以及第三损失确定的总损失收敛。
可选的，基于训练样本以及各个子模型基于训练样本的预测结果，计算异常区域定位子模型对应的第一损失，并计算异常程度分类子模型对应的第二损失，以及计算重度异常点定位子模型对应的第三损失时，训练单元604用于：
将待识别图像样本输入待训练的异常识别模型中，获得异常识别模型中的像素特征提取网络提取的各个像素点的像素特征；
计算异常区域定位子模型基于各个像素特征输出的异常区域定位预测结果，并基于异常区域定位预测结果与异常区域定位标签之间的差异，得到第一损失；
计算基于异常程度分类子模型基于各个像素特征输出的异常程度分类预测结果，并基于异常程度预测结果与异常程度分类标签之间的差异，得到第二损失；
计算基于重度异常点定位子模型基于各个像素特征输出的重度异常点定位预测结果，并基于重度异常点定位预测结果与重度异常点定位标签之间的差异，得到第三损失。
可选的，基于异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，确定目标对象的异常情况时，确定单元603用于：
根据异常区域定位结果，确定待识别图像中的异常区域，并根据异常程度分类结果，确定待识别图像中各个像素点各自的异常程度分类结果，以及根据重度异常点定位结果，确定待识别图像中的重度异常区域；
确定异常区域与重度异常区域之间的交集区域和非交集区域；
将交集区域内各个异常区域的异常程度确定为重度异常，以及将针对非交集区域内的各个异常区域，根据非交集区域内的各个异常区域中，各个像素点的异常程度分类结果，确定非交集区域内的各个异常区域各自对应的异常程度分类结果。
可选的，若待识别图像的异常程度分类结果为：包括异常程度分类总数个通道的概率特征图，且一个通道中各个像素点的像素值，表征预测的待识别图像中的各个像素点，与一类异常程度的匹配概率；
则根据非交集区域内的各个异常区域中，各个像素点的异常程度分类结果，确定非交集区域内的各个异常区域各自对应的异常程度分类结果时，确定单元603用于：
在待识别图像对应的异常程度分类总数个通道的概率特征图中，将各个像素点各自对应的异常程度分类总数个匹配概率中，最大的匹配概率对应的异常程度分类，作为对应的像素点的异常程度分类结果；
确定非交集区域内的各个异常区域中，各个像素点各自对应的异常程度分类结果，并按照像素点对应的异常程度分类结果的强弱程度，对异常区域内的各个像素点进行排序，得到排序序列；
将排序序列中的中值像素点对应的异常程度分类结果，作为对应的异常区域的异常程度分类结果。
可选的，确定单元603还用于：针对待识别图像中的重度异常区域，触发示警操作。
在介绍了本申请示例性实施方式的异常识别方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备，参阅图7所示，其为应用本申请实施例的一种电子设备的一个硬件组成结构示意图，电子设备700可以至少包括处理器701、以及存储器702。其中，存储器702存储有程序代码，当程序代码被处理器701执行时，使得处理器701执行上述任意一种异常识别的步骤。
在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的异常识别的步骤。例如，处理器可以执行如图3a、图4a中所示的步骤。
下面参照图8来描述根据本申请的这种实施方式的计算装置800。如图8所示，其为本申请实施例中的一个计算装置的结构示意图，计算装置800以通用计算装置的形式表现。计算装置800的组件可以包括但不限于：上述至少一个处理单元801、上述至少一个存储单元802、连接不同系统组件（包括存储单元802和处理单元801）的总线803。
总线803表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元802可以包括易失性存储器形式的可读介质，例如随机存取存储器（RAM）8021和/或高速缓存存储单元8022，还可以进一步包括只读存储器（ROM）8023。
存储单元802还可以包括具有一组（至少一个）程序模块8024的程序/实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置800也可以与一个或多个外部设备804（例如键盘、指向设备等）通信，还可与一个或者多个使得对象能与计算装置800交互的设备通信，和/或与使得该计算装置800能与一个或多个其它计算装置进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口805进行。并且，计算装置800还可以通过网络适配器806与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器806通过总线803与用于计算装置800的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
与上述方法实施例基于同一发明构思，本申请提供的异常识别的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的异常识别方法中的步骤，例如，电子设备可以执行如图3a、图4a中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种异常识别方法，其特征在于，包括：
获取目标对象的二维图像和深度图像，并基于所述二维图像和所述深度图像获得待识别图像，其中，所述二维图像和所述深度图像中相同位置的像素点表征所述目标对象中的同一真实点；
提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果；
基于所述异常区域定位结果、所述异常程度分类结果，以及所述重度异常点定位结果，确定所述目标对象的异常情况。
2.如权利要求1所述的方法，其特征在于，所述基于所述二维图像和所述深度图像获得待识别图像，包括：
基于所述二维图像中各个像素点的灰度信息，生成第一通道数据，并基于所述深度图像中各个像素点归一化处理后的深度信息，生成第二通道数据；
确定所述各个像素点对应的，归一化处理后的深度信息中的梯度信息，并基于各个梯度信息，生成第三通道数据；
基于所述第一通道数据、所述第二通道数据，以及所述第三通道数据，合成所述待识别图像。
3.如权利要求1所述的方法，其特征在于，所述提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果，包括：
采用已训练的异常识别模型中的像素特征提取网络，提取所述待识别图像中各个像素点各自的像素特征，其中，所述异常识别模型中包括共享所述像素特征提取网络的异常区域定位子模型、异常程度分类子模型，以及重度异常点定位子模型；
基于各个像素特征，通过所述异常区域定位子模型，获得所述待识别图像的异常区域定位结果，并通过所述异常程度分类子模型，获得所述待识别图像的异常程度分类结果，以及通过所述重度异常点定位子模型，获得所述待识别图像的重度异常点定位结果；
其中，所述异常识别模型的训练过程中，确定所述异常区域定位子模型、所述异常程度分类子模型，以及所述重度异常点定位子模型，分别对于待识别图像样本的预测结果，并基于各个预测结果各自与对应的标签之间的差异，调整相应的网络参数。
4.如权利要求3所述的方法，其特征在于，异常区域被设置为采用矩形框标识时，所述通过所述异常区域定位子模型，获得所述待识别图像的异常区域定位结果，包括：
通过所述异常区域定位子模型，预测异常区域内的各个像素点分别移动至对应的异常区域中，一组对角顶点时的平移距离；
基于预测的平移距离，生成四通道的距离特征图，其中，一个通道中各个像素点的像素值，表征预测的异常区域中的各个像素点，向相应的异常区域中的同一个对角顶点平移时，在相同方向上的平移距离；
将所述四通道的距离特征图，作为获得的所述待识别图像的异常区域定位结果。
5.如权利要求3所述的方法，其特征在于，所述通过所述异常程度分类子模型，获得所述待识别图像的异常程度分类结果，包括：
通过所述异常程度分类子模型，分别预测各个像素点对于各类预设的异常程度的匹配概率；
基于针对所述各个像素点预测的各类匹配概率，生成指定通道数的概率特征图，其中，所述指定通道数与异常程度分类总数相同，一个通道中各个像素点的像素值，表征预测的所述待识别图像中的各个像素点，与一类预设的异常程度的匹配概率；
将所述指定通道数的概率特征图，作为获得的所述待识别图像的异常程度分类结果。
6.如权利要求3所述的方法，其特征在于，所述通过所述重度异常点定位子模型，获得所述待识别图像的重度异常点定位结果，包括：
通过所述重度异常点定位子模型，分别预测各个像素点与重度异常点之间的匹配概率；
将针对所述各个像素点分别预测的匹配概率，作为对应位置的像素点的像素值，并基于各个位置的像素点的像素值生成高斯热力图；
将所述高斯热力图，作为获得的所述待识别图像的重度异常点定位结果。
7.如权利要求3-6任一项所述的方法，其特征在于，确定所述异常区域定位子模型、所述异常程度分类子模型，以及所述重度异常点定位子模型，分别对于待识别图像样本的预测结果，并基于各个预测结果各自与对应的标签之间的差异，调整相应的网络参数，包括：
从训练样本集合中获取训练样本，其中，所述训练样本中包括待识别图像样本，以及针对所述待识别图像样本添加的异常区域定位标签、异常程度分类标签和重度异常点定位标签；
基于所述训练样本，以及所述异常区域定位子模型、所述异常程度分类子模型和所述重度异常点定位子模型各自基于训练样本的预测结果，计算所述异常区域定位子模型对应的第一损失，并计算所述异常程度分类子模型对应的第二损失，以及计算所述重度异常点定位子模型对应的第三损失；
基于所述第一损失，调整所述异常区域定位子模型中的网络参数，并基于所述第二损失，调整所述异常程度分类子模型中的网络参数，以及基于所述第三损失，调整所述重度异常点定位子模型中的网络参数，直至基于所述第一损失、第二损失，以及第三损失确定的总损失收敛。
8.如权利要求7所述的方法，其特征在于，所述基于所述训练样本以及各个子模型基于训练样本的预测结果，计算所述异常区域定位子模型对应的第一损失，并计算所述异常程度分类子模型对应的第二损失，以及计算所述重度异常点定位子模型对应的第三损失，包括：
将所述待识别图像样本输入待训练的异常识别模型中，获得所述异常识别模型中的像素特征提取网络提取的各个像素点的像素特征；
计算所述异常区域定位子模型基于各个像素特征输出的异常区域定位预测结果，并基于所述异常区域定位预测结果与异常区域定位标签之间的差异，得到第一损失；
计算基于所述异常程度分类子模型基于所述各个像素特征输出的异常程度分类预测结果，并基于所述异常程度预测结果与异常程度分类标签之间的差异，得到第二损失；
计算基于所述重度异常点定位子模型基于所述各个像素特征输出的重度异常点定位预测结果，并基于所述重度异常点定位预测结果与重度异常点定位标签之间的差异，得到第三损失。
9.如权利要求1-6任一项所述的方法，其特征在于，所述基于所述异常区域定位结果、所述异常程度分类结果，以及所述重度异常点定位结果，确定所述目标对象的异常情况，包括：
根据所述异常区域定位结果，确定所述待识别图像中的异常区域，并根据所述异常程度分类结果，确定所述待识别图像中各个像素点各自的异常程度分类结果，以及根据所述重度异常点定位结果，确定所述待识别图像中的重度异常区域；
确定所述异常区域与所述重度异常区域之间的交集区域和非交集区域；
将所述交集区域内各个异常区域的异常程度确定为重度异常，以及将针对所述非交集区域内的各个异常区域，根据所述非交集区域内的各个异常区域中，各个像素点的异常程度分类结果，确定所述非交集区域内的各个异常区域各自对应的异常程度分类结果。
10.如权利要求9所述的方法，其特征在于，若待识别图像的异常程度分类结果为：包括异常程度分类总数个通道的概率特征图，且一个通道中各个像素点的像素值，表征预测的所述待识别图像中的各个像素点，与一类异常程度的匹配概率；
则所述根据所述非交集区域内的各个异常区域中，各个像素点的异常程度分类结果，确定所述非交集区域内的各个异常区域各自对应的异常程度分类结果时，包括：
在所述待识别图像对应的异常程度分类总数个通道的概率特征图中，将各个像素点各自对应的异常程度分类总数个匹配概率中，最大的匹配概率对应的异常程度分类，作为对应的像素点的异常程度分类结果；
确定所述非交集区域内的各个异常区域中，各个像素点各自对应的异常程度分类结果，并按照像素点对应的异常程度分类结果的强弱程度，对所述异常区域内的各个像素点进行排序，得到排序序列；
将所述排序序列中的中值像素点对应的异常程度分类结果，作为对应的异常区域的异常程度分类结果。
11.如权利要求9所述的方法，其特征在于，还包括：针对所述待识别图像中的重度异常区域，触发示警操作。
12.一种异常识别装置，其特征在于，包括：
获取单元，用于获取目标对象的二维图像和深度图像，并基于所述二维图像和所述深度图像获得待识别图像，其中，所述二维图像和所述深度图像中相同位置的像素点表征所述目标对象中的同一真实点；
提取单元，用于提取所述待识别图像中各个像素点各自的像素特征，并基于获得的各个像素特征，分别获得所述待识别图像的异常区域定位结果、异常程度分类结果，以及重度异常点定位结果；
确定单元，用于基于所述异常区域定位结果、所述异常程度分类结果，以及所述重度异常点定位结果，确定所述目标对象的异常情况。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-11任一项所述的异常识别方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的异常识别方法。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的异常识别方法。
CN202111368923.9A 2021-11-18 2021-11-18 一种异常识别方法、装置、电子设备及存储介质 Active CN113962274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111368923.9A CN113962274B (zh) 2021-11-18 2021-11-18 一种异常识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111368923.9A CN113962274B (zh) 2021-11-18 2021-11-18 一种异常识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113962274A true CN113962274A (zh) 2022-01-21
CN113962274B CN113962274B (zh) 2022-03-08

Family

ID=79470957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111368923.9A Active CN113962274B (zh) 2021-11-18 2021-11-18 一种异常识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113962274B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782694A (zh) * 2022-06-21 2022-07-22 中国科学技术大学 无监督异常检测方法、系统、设备及存储介质
CN115661585A (zh) * 2022-12-07 2023-01-31 腾讯科技（深圳）有限公司 一种图像识别方法和相关装置
CN115835127A (zh) * 2022-11-24 2023-03-21 东土科技(宜昌)有限公司 化工厂内目标定位方法、装置、计算机设备和存储介质
CN116385807A (zh) * 2023-05-30 2023-07-04 南京信息工程大学 一种异常图像样本生成方法及装置
CN116912250A (zh) * 2023-09-13 2023-10-20 山东众成菌业股份有限公司 基于机器视觉的菌包生产质量检测方法
CN117853490A (zh) * 2024-03-06 2024-04-09 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法
CN117853490B (zh) * 2024-03-06 2024-05-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140063018A1 (en) * 2012-08-29 2014-03-06 JVC Kenwood Corporation Depth estimation device, depth estimation method, depth estimation program, image processing device, image processing method, and image processing program
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
US20200074622A1 (en) * 2018-08-30 2020-03-05 Topcon Corporation Multivariate and multi-resolution retinal image anomaly detection system
WO2020069049A1 (en) * 2018-09-25 2020-04-02 Matterport, Inc. Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
US20200111210A1 (en) * 2018-10-09 2020-04-09 General Electric Company System and method for assessing image quality
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及系统
CN111401387A (zh) * 2020-03-10 2020-07-10 腾讯科技（深圳）有限公司 异常样本构建方法、装置、计算机设备和存储介质
CN111476767A (zh) * 2020-04-02 2020-07-31 南昌工程学院 一种基于异源图像融合的高铁扣件缺陷识别方法
CN111862093A (zh) * 2020-08-06 2020-10-30 华中科技大学 一种基于图像识别的腐蚀等级信息处理方法及系统
US20210174476A1 (en) * 2019-12-06 2021-06-10 GE Precision Healthcare LLC Method and system for providing blur filtering to emphasize focal regions or depths in ultrasound image data
WO2021203863A1 (zh) * 2020-04-10 2021-10-14 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140063018A1 (en) * 2012-08-29 2014-03-06 JVC Kenwood Corporation Depth estimation device, depth estimation method, depth estimation program, image processing device, image processing method, and image processing program
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
US20200074622A1 (en) * 2018-08-30 2020-03-05 Topcon Corporation Multivariate and multi-resolution retinal image anomaly detection system
WO2020069049A1 (en) * 2018-09-25 2020-04-02 Matterport, Inc. Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
US20200111210A1 (en) * 2018-10-09 2020-04-09 General Electric Company System and method for assessing image quality
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及系统
US20210174476A1 (en) * 2019-12-06 2021-06-10 GE Precision Healthcare LLC Method and system for providing blur filtering to emphasize focal regions or depths in ultrasound image data
CN111401387A (zh) * 2020-03-10 2020-07-10 腾讯科技（深圳）有限公司 异常样本构建方法、装置、计算机设备和存储介质
CN111476767A (zh) * 2020-04-02 2020-07-31 南昌工程学院 一种基于异源图像融合的高铁扣件缺陷识别方法
WO2021203863A1 (zh) * 2020-04-10 2021-10-14 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN111862093A (zh) * 2020-08-06 2020-10-30 华中科技大学 一种基于图像识别的腐蚀等级信息处理方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782694A (zh) * 2022-06-21 2022-07-22 中国科学技术大学 无监督异常检测方法、系统、设备及存储介质
CN114782694B (zh) * 2022-06-21 2022-09-30 中国科学技术大学 无监督异常检测方法、系统、设备及存储介质
CN115835127A (zh) * 2022-11-24 2023-03-21 东土科技(宜昌)有限公司 化工厂内目标定位方法、装置、计算机设备和存储介质
CN115661585A (zh) * 2022-12-07 2023-01-31 腾讯科技（深圳）有限公司 一种图像识别方法和相关装置
CN115661585B (zh) * 2022-12-07 2023-03-10 腾讯科技（深圳）有限公司 一种图像识别方法和相关装置
CN116385807A (zh) * 2023-05-30 2023-07-04 南京信息工程大学 一种异常图像样本生成方法及装置
CN116385807B (zh) * 2023-05-30 2023-09-12 南京信息工程大学 一种异常图像样本生成方法及装置
CN116912250A (zh) * 2023-09-13 2023-10-20 山东众成菌业股份有限公司 基于机器视觉的菌包生产质量检测方法
CN116912250B (zh) * 2023-09-13 2023-11-28 山东众成菌业股份有限公司 基于机器视觉的菌包生产质量检测方法
CN117853490A (zh) * 2024-03-06 2024-04-09 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法
CN117853490B (zh) * 2024-03-06 2024-05-24 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、图像处理模型的训练方法

Also Published As

Publication number Publication date
CN113962274B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN113962274B (zh) 一种异常识别方法、装置、电子设备及存储介质
US11335092B2 (en) Item identification method, system and electronic device
Zhou et al. Robust vehicle detection in aerial images using bag-of-words and orientation aware scanning
US8509526B2 (en) Detection of objects in digital images
CN111652085B (zh) 基于2d与3d特征结合的物体识别方法
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
CN112633297B (zh) 目标对象的识别方法、装置、存储介质以及电子装置
AU2020272936B2 (en) Methods and systems for crack detection using a fully convolutional network
CN111079621B (zh) 检测对象的方法、装置、电子设备和存储介质
CN110751619A (zh) 一种绝缘子缺陷检测方法
Tiwari et al. A survey on shadow detection and removal in images and video sequences
CN111539320A (zh) 基于互相学习网络策略的多视角步态识别方法及系统
Gal Automatic obstacle detection for USV’s navigation using vision sensors
Podorozhniak et al. Usage of Mask R-CNN for automatic license plate recognition
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113591735A (zh) 一种基于深度学习的行人检测方法及系统
CN110969173A (zh) 目标分类方法及装置
CN115018886A (zh) 运动轨迹识别方法、装置、设备及介质
Yang et al. Locator slope calculation via deep representations based on monocular vision
Tian et al. Real-time vehicle detection under complex road conditions
CN113255549A (zh) 一种狼群围猎行为状态智能识别方法及系统
WO2021214540A1 (en) Robust camera localization based on a single color component image and multi-modal learning
Jelača et al. Real-time vehicle matching for multi-camera tunnel surveillance
Niblock et al. Fast model-based feature matching technique applied to airport lighting
Li Object detection and instance segmentation of cables

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065462

Country of ref document: HK