CN115146686A - 一种确定目标对象安装位置的方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种确定目标对象安装位置的方法、装置、设备及介质，包括：获得包含有第一目标对象和第二目标对象的图像集，根据图像集构建目标对象检测模型；根据目标对象检测模型，获得待检测图像中的第一目标对象和第二目标对象的交并比；根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。本申请通过目标对象检测模型获得待检测图像中的第一目标对象和第二目标对象的交并比，通过第一目标对象和第二目标对象的交并比确定第二目标对象在物理世界中位于非指定安装位置，不仅提升检测的准确度，而且还不用人为地自行检测，从而降低对防脱装置是否在指定安装位置的检测的投入成本。

Description

一种确定目标对象安装位置的方法、装置、设备及介质

相关申请的交叉引用

本申请要求享有于2021年08月03日提交的名称为“一种确定目标对象安装位置的方法、装置及电子设备”的中国专利申请202110886578.1的优先权，该申请的全部内容通过引用并入本文中。

背景技术

深度学习近年来发展迅猛，在国内外都引起了广泛的关注，随着深度学习技术的不断进步以及数据处理能力的不断提升，越来越多的深度学习算法被用在图像处理，计算机视觉领域。其中，目标检测作为计算机视觉的重要分支被广泛应用于安防、工业、无人驾驶等多个领域。例如在安防领域，在一些户外工地作业中，吊车被用来吊运大型重物。为了防止吊物从吊车的吊钩脱落，作业中的吊钩是必须安装防脱装置，从而可以有效避免意外的发生。

但是，随着对于吊车的使用，安装防脱装置可能出现老化继而自动脱离吊钩，或者是在作业中工作人员未在吊钩上安装防脱装置，这样就会发生意外。为避免此状况发生，所以需要对作业中的吊车是否安装防脱装置进行实时监测，从而降低意外发生的几率。现有对吊车的防脱装置的管理一般采取人工查看现场监控视频的方式，此种方式耗费大量的人力，而且由于视频数量多，人可能顾及不过来，从而降低了对防脱装置是否在指定安装位置的检测的准确度。

因此，如何降低对防脱装置是否在指定安装位置的检测的投入成本，且同时提升检测的准确度，成为本领域技术人员亟待解决的问题。

发明内容

本申请实施例提供一种确定目标对象安装位置的方法，以解决现有技术中如何降低对防脱装置是否在指定安装位置的检测的投入成本，且同时提升检测的准确度的问题。本申请实施例提供一种确定目标对象安装位置的装置。以及一种电子设备和一种计算机存储介质。

本申请实施例提供一种确定目标对象安装位置的方法，包括：

获得包含有第一目标对象和第二目标对象的图像集；

根据图像集构建目标对象检测模型；

根据目标对象检测模型，获得待检测图像中的第一目标对象和第二目标对象的交并比；

根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

可选的，根据目标对象检测模型，获得待检测图像中的第一目标对象和第二目标对象的交并比，包括：

获得包含有第一目标对象和第二目标对象的待检测图像组，待检测图像组包括按照预设时间间隔获得连续N帧待检测图像；

将同一待检测图像组中的待检测图像输入至目标对象检测模型中，获得每个待检测图像中的第一目标对象和/或第二目标对象；

获得每个待检测图像中的第一目标对象和第二目标对象的交并比。

可选的，获得每个待检测图像中的第一目标对象和第二目标对象的交并比，包括：

获得每个待检测图像中的第一目标对象对应的第一坐标值；

获得每个待检测图像中的第二目标对象对应的第二坐标值；

根据每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的第一目标对象和第二目标对象的交并比；

其中，第一坐标值和第二坐标值为非零值。

可选的，根据每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的第一目标对象和第二目标对象的交并比，包括：

获得同一待检测图像组中的第一帧待检测图像中的第一目标对象和第二目标对象的第一交并比；

获得同一待检测图像组中的第二帧待检测图像中的第一目标对象和第二目标对象的第二交并比；

获得同一待检测图像组中的第三帧待检测图像中的第一目标对象和第二目标对象的第三交并比；

以此类推，逐个获得同一待检测图像组中的每帧待检测图像中的第一目标对象和第二目标对象的对应的交并比。

可选的，根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置，包括：

根据第一交并比与预设阈值比较，若第一交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置；

根据第二交并比与预设阈值比较，若第二交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置；

根据第三交并比与预设阈值比较，若第三交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置；

以此类推，若同一待检测图像组中的每帧待检测图像中的第一目标对象和第二目标对象的对应的交并比均小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

可选的，获得每个待检测图像中的第一目标对象和第二目标对象的交并比，包括：

获得每个待检测图像中的第一目标对象对应的第一坐标值，其中，第一坐标值为非零值；

获得每个待检测图像中的第二目标对象对应的第二坐标值，其中，第二坐标值包括零值；

根据每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的第一目标对象和第二目标对象的交并比。

可选的，根据每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的第一目标对象和第二目标对象的交并比，包括：

获得同一待检测图像组中的第一帧待检测图像中的一个第一目标对象和未存在第二目标对象所对应的第一交并比，第一交并比为零；

获得同一待检测图像组中的第二帧待检测图像中的一个第一目标对象和一个第二目标对象的第二交并比；

获得同一待检测图像组中的第三帧待检测图像中的至少一个第一目标对象和至少一个第二目标对象的第三交并比；

其中，连续N帧待检测图像为连续三帧待检测图像。

可选的，获得同一待检测图像组中的第三帧待检测图像中的至少一个第一目标对象和至少一个第二目标对象的第三交并比，包括：

获得第三帧待检测图像中的两个第一目标对象和两个第二目标对象；

获得其中一个第一目标对象和其中一个第二目标对象的第四交并比，获得其中一个第一目标对象和另外一个第二目标对象的第五交并比，获得另外一个第一目标对象和其中一个第二目标对象的第六交并比，获得另外一个第一目标对象和另外一个第二目标对象的第七交并比；

将第四交并比、第五交并比、第六交并比和第七交并比作为第三交并比。

可选的，根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置，包括：

根据第一交并比为零，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置；

根据第二交并比与预设阈值比较，若第二交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置；

根据第三交并比与预设阈值比较，若第三交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

可选的，根据第三交并比与预设阈值比较，若第三交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置，包括：

根据第四交并比、第五交并比、第六交并比和第七交并比分别与预设阈值比较，若第四交并比、第五交并比、第六交并比和第七交并比均小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

可选的，获得包含有第一目标对象和第二目标对象的图像集，包括：

获得具有第一目标对象和第二目标对象的多个图像；

对多个图像进行预处理得到多个候选图像；

对多个候选图像进行标记以得到图像集。

可选的，对多个候选图像进行标记以得到图像集，包括：

对多个候选图像中的第一目标对象和第二目标对象的图像进行标记；

将完全是第一目标对象和第二目标对象的候选图像作为第一图像；将部分包含有第一目标对象和第二目标对象的候选图像作为第二图像；

将一部分第一图像和第二图像作为训练图像，将另一部分第一图像和第二图像作为测试图像，训练图像和测试图像形成图像集。

可选的，根据图像集构建目标对象检测模型，包括：

构建初始对象检测模型，将初始对象检测模型的参数初始化，并将图像集中的训练图像输入至初始对象检测模型中；

获得初始对象检测模型对训练图像的预测结果与标记的图像的损失值；

利用反向传播算法更新初始对象检测模型的参数；

再将图像集中的其它训练图像输入至初始对象检测模型中进行迭代训练，获得损失值最小时所更新的初始对象检测模型作为候选对象检测模型；

将图像集中的测试图像输入至候选对象检测模型中，获得候选对象检测模型对测试图像的测试结果与标记的图像的损失值；

将损失值与预设损失值比较，若损失值满足预设损失值，则将候选对象检测模型作为目标对象检测模型；反之，则继续将图像集中的其它训练图像输入至初始对象检测模型中进行迭代训练。

本申请实施例还提供一种确定目标对象安装位置的装置，包括：

图像集获得单元，用于获得包含有第一目标对象和第二目标对象的图像集；

目标对象检测模型构建单元，用于根据图像集构建目标对象检测模型；

交并比获得单元，用于根据目标对象检测模型，获得待检测图像中的第一目标对象和第二目标对象的交并比；

确定单元，用于根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

本申请实施例还提供一种电子设备，电子设备包括：处理器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行上述任意一项的方法。

本申请实施例还提供一种计算机存储介质，计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述任意一项的方法。

与现有技术相比，本申请具有以下优点:

本申请实施例提供一种确定目标对象安装位置的方法，包括：获得包含有第一目标对象和第二目标对象的图像集，根据图像集构建目标对象检测模型；根据目标对象检测模型，获得待检测图像中的第一目标对象和第二目标对象的交并比；根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。本申请实施例通过获得的图像集来构建目标对象检测模型，通过目标对象检测模型对待检测图像进行检测，以获得待检测图像中的第一目标对象和第二目标对象的交并比，通过第一目标对象和第二目标对象的交并比确定第二目标对象在物理世界中位于非指定安装位置，不仅提升检测的准确度，而且还不用人为地自行检测，从而降低对防脱装置是否在指定安装位置的检测的投入成本。

附图说明

图1为本申请第一实施例提供的确定目标对象安装位置的方法的流程图。

图2为本申请第一实施例提供的构建目标对象检测模型的流程图。

图3为本申请第一实施例提供的交并比的示意图。

图4为本申请第二实施例提供的确定目标对象安装位置的装置的示意图。

图5为本申请第三实施例提供的电子设备的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请实施例。但是本申请实施例能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请实施例内涵的情况下做类似推广，因此本申请实施例不受下面公开的具体实施的限制。

为了使本领域的技术人员更好的理解本申请方案，下面基于本申请提供的确定目标对象安装位置的方法对其实施例的具体应用场景进行详细描述，应用场景

本场景具体是检测吊车的防脱装置的场景，其中，防脱装置是用于防止吊车的吊钩脱落的。防脱装置相对吊钩安装在指定位置，以实现对吊钩的限定。在本场景中，主要是通过图像检测的方式自动检测防脱装置是否在指定安装位置。具体的，可通过监控摄像头获得作业中的吊钩和安装在指定安装位置的防脱装置的多个图像，并将该多个图像作为图像样本对目标对象检测模型进行迭代训练，以构建目标对象检测模型。当通过监控摄像头获得待检测图像时，可将待检测图像输入至目标对象检测模型中，从而可以确定待检测图像中的防脱装置图像对应在物理世界中是否位于指定安装位置。

以下将通过具体的实施例来阐述本申请的技术方案。

本申请第一实施例提供一种确定目标对象安装位置的方法，图1是本申请第一实施例提供的一种确定目标对象安装位置的方法的流程图。如图1所示，方法包括如下步骤。

S101，获得包含有第一目标对象和第二目标对象的图像集。

在本步骤中，第一目标对象是指第一目标对象图像，第二目标对象是指第二目标对象图像。且对应于上述场景，本步骤中的第一目标对象是指吊钩图像，第二目标对象是指防脱装置图像，对应的，含有第一目标对象和第二目标对象的图像是指含有吊钩图像和防脱装置图像的图像。本步骤所获得的包含有第一目标对象和第二目标对象的图像集是指同时包含有吊钩图像和防脱装置图像的多个图像的集合。例如，同时包含有第一目标对象和第二目标对象的第一张图像，例如，同时包含有第一目标对象和第二目标对象的第二张图像，同时包含有第一目标对象和第二目标对象的第三张图像等等，多张同时包含有第一目标对象和第二目标对象的图像构成图像集。

在本步骤中，获得包含有第一目标对象和第二目标对象的图像集，具体包括如下步骤：

步骤1，获得具有第一目标对象和第二目标对象的多个图像。可从网络上下载同时具有第一目标对象和第二目标对象的图像，还可以通过设置在不同环境位置下的监控摄像头获得同时具有第一目标对象和第二目标对象的图像。在获得具有第一目标对象和第二目标对象的图像后，则需要对图像进行处理，如步骤2所示。

步骤2，对多个图像进行预处理得到多个候选图像，具体的，在本步骤中，采用Mosaic数据增强的方式对多个图像至少进行如下操作：对多个图像进行随机翻转、随机缩放、随机裁剪，以获得多个初始图像，将多个初始图像进行随机拼接得到多个候选图像，该多个候选图像作为新的具有第一目标对象和第二目标对象的图像。在得到多个候选图像后，执行步骤3。

步骤3，对多个候选图像进行标记以得到图像集，具体的，对多个候选图像中的第一目标对象和第二目标对象的图像进行标记，将完全是第一目标对象和第二目标对象的候选图像作为第一图像，将部分包含有第一目标对象和第二目标对象的候选图像作为第二图像。将一部分第一图像和第二图像作为训练图像，将另一部分第一图像和第二图像作为测试图像，训练图像和测试图像形成图像集。

在获得图像集后，可通过图像集构建目标对象检测模型，具体详见S102。

S102，根据图像集构建目标对象检测模型。

在本步骤中，目标对象检测模型用于检测待检测图像，以获得具有第一目标对象和第二目标对象的目标图像，以及得到目标图像中的第一目标对象和第二目标对象的位置信息。其中，根据图像集构建目标对象检测模型具体包括如下步骤，详见图2，图2是本申请第一实施例提供的构建目标对象检测模型的流程图。

S1021，构建初始对象检测模型，将初始对象检测模型的参数初始化，并将图像集中的训练图像输入至初始对象检测模型中。

在本步骤中，初始对象检测模型是目标对象检测模型的初始模型，通过图像集中的训练图像对初始对象检测模型的参数不断的迭代训练，以得到目标对象检测模型。

S1022，获得初始对象检测模型对训练图像的预测结果与标记的图像的损失值。

本步骤包括，首先，通过初始对象检测模型获得训练图像中逐像素的吊钩图像和防脱装置图像的预测结果。具体的，将图像集的训练图像输入到初始对象检测模型中以得到训练图像的特征信息，根据特征信息得到训练图像中的图像类别，结合图像类别对特征信息进行上采样、下采样处理以及特征融合处理获得逐像素的吊钩图像和防脱装置图像的预测结果。

其中，在本步骤中，具体是通过Focus切片和特征提取网络提取图像的特征信息的。特征融合处理主要是通过特征融合网络完成的，特征融合网络主要采用了FPN(featurepyramid networks，特征金字塔网络)+PAN(Pyramid Attention Network for SemanticSegmentation，金字塔注意力模型)的网络结构。采用FPN+PAN的网络结构对特征信息进行上采样、下采样处理以及特征融合处理以得到逐像素的吊钩图像和防脱装置图像的预测结果。

具体的，FPN层采用了自顶向下的采样过程，将顶层的低分辨率特征通过上采样的方式提高分辨率，放大到和上一阶段特征相同的尺寸，然后再和上一阶段的特征进行相加合并。通过此操作，将含有较多语义信息的顶层特征与含有较多细节特征的低层特征整合到一起，提高了特征的表达能力。PAN层紧随FPN层之后，与FPN结构相反，PAN采用了自底向上的采样过程，将底层含有的特征信息传给高层的特征，在特征传播过程中采用下采样的方式，缩小到和上一阶段特征相同的尺寸。通过这样的结合，FPN自顶向下传递强语义特征，特征金字塔自底向上传递强定位特征，两个相互结合，对不同的特征进行整合操作以得到逐像素的吊钩图像和防脱装置图像的预测结果。

然后，将逐像素的吊钩图像和防脱装置图像的预测结果与训练图像中被标记框标记的吊钩图像和防脱装置图像的实际结果对比，计算预测结果与实际结果的损失值。具体的，将预测结果中的吊钩图像和防脱装置图像与实际结果中的吊钩图像和防脱装置图像对应，并以预测结果中的吊钩图像和防脱装置图像上的每个像素按照不同大小和长宽对应实际结果中的吊钩图像和防脱装置图像的网格区域，生成多尺度的先验框。而后，根据实际结果中的吊钩图像和防脱装置图像的大小和长宽和在同一网格区域内的先验框的大小和长宽进行筛选，得到正样本预测框。最后，根据正样本预测框和实际标注框的位置偏移进行损失计算，获得初始对象检测模型对训练图像的预测结果与标记的图像的损失值。

需要说明的是，在步骤中，获得的正样本预测框具体可以通过GIOU(GeneralizedIntersection over Union，边框预测的损失)Loss算法获得。GIOU的计算过程如下公式(1)和公式(2)所示：

其中，IOU(Intersection over Union，边框预测算法)表示A、B相交区域面积和A、B总共占据区域面积的比值，A表示正样本预测框，B表示先验框，A∩B表示正样本预测框和先验框相交重叠区域，A∪B表示正样本预测框和先验框总共占据的区域；C代表同时包围A与B的最小矩形框区域，C\A∪B表示C的区域除去A、B总共占据的区域所剩余的区域。

S1023，利用反向传播算法更新初始对象检测模型的参数。

S1024，再将图像集中的其它训练图像输入至初始对象检测模型中进行迭代训练，获得损失值最小时所更新的初始对象检测模型作为候选对象检测模型。

在本步骤中，可以通过多次迭代对初始对象检测模型进行训练，将损失值对应的初始对象检测模型作为候选对象检测模型。获得候选对象检测模型是为了进一步通过测试图像(下述内容)验证该模型是否可以获得具有第一目标对象和第二目标对象的目标图像，以及得到目标图像中的第一目标对象和第二目标对象的位置信息。详见S1205。

S1025，将图像集中的测试图像输入至候选对象检测模型中，获得候选对象检测模型对测试图像的测试结果与标记的图像的损失值。

首先，通过候选对象检测模型获得测试图像中逐像素的吊钩图像和防脱装置图像的预测结果。具体的，将图像集的测试图像输入到候选对象检测模型中以得到测试图像的特征信息，根据特征信息得到测试图像中的图像类别，结合图像类别对特征信息进行上采样、下采样处理以及特征融合处理获得逐像素的吊钩图像和防脱装置图像的预测结果。

然后，将逐像素的吊钩图像和防脱装置图像的预测结果与测试图像中被标记框标记的吊钩图像和防脱装置图像的实际结果对比，计算预测结果与实际结果的损失值。具体的，将预测结果中的吊钩图像和防脱装置图像与实际结果中的吊钩图像和防脱装置图像对应，并以预测结果中的吊钩图像和防脱装置图像上的每个像素按照不同大小和长宽对应实际结果中的吊钩图像和防脱装置图像的网格区域，生成多尺度的先验框。而后，根据实际结果中的吊钩图像和防脱装置图像的大小和长宽和在同一网格区域内的先验框的大小和长宽进行筛选，得到正样本预测框。最后，根据正样本预测框和实际标注框的位置偏移进行损失计算，获得初始对象检测模型对测试图像的预测结果与标记的图像的损失值。

S1026，将损失值与预设损失值比较，若损失值满足预设损失值，则将候选对象检测模型作为目标对象检测模型；反之，则继续将图像集中的其它训练图像输入至初始对象检测模型中进行迭代训练。

在获得初始对象检测模型对测试图像的预测结果与标记的图像的损失值后，将该损失值与预设损失值相比较，若损失值满足预设损失值，则将该候选对象检测模型作为目标对象检测模型。反之，则继续将图像集中的其它训练图像输入至初始对象检测模型中进行迭代训练，直到所获得的损失值满足预设损失值，继而将对应的候选对象检测模型作为目标对象检测模型。

S103，根据目标对象检测模型，获得待检测图像中的第一目标对象和第二目标对象的交并比。

在获得目标对象检测模型后，获得待检测图像，通过目标对象检测模型检测待检测图像以得到第二目标对象在物理世界中位于非指定安装位置。

具体的，在本步骤中，为了准确地获得第二目标对象在物理世界中位于非指定安装位置，则可以通过目标对象检测模型多检测一些待检测图像，即获得多个包含有第一目标对象和第二目标对象的待检测图像组，其中，每个待检测图像组包括多个按照预设时间间隔获得连续N帧待检测图像。在本申请第一实施例中，可以先以一组待检测图像组为检测对象进行检测，即将同一待检测图像组中的多个按照预设时间间隔获得连续N帧的待检测图像输入至目标对象检测模型中，分别获得每个待检测图像中的第一目标对象和/或第二目标对象，并通过目标对象检测模型获得每个待检测图像中的第一目标对象和第二目标对象的交并比。

其中，获得每个待检测图像中的第一目标对象和第二目标对象的交并比，包括：获得每个待检测图像中的第一目标对象对应的第一坐标值，以及获得每个待检测图像中的第二目标对象对应的第二坐标值，基于每个同一待检测图像具有的第一坐标值和第二坐标值，则可以根据第一坐标值和第二坐标值分别获得同一待检测图像中的第一目标对象和第二目标对象的交并比，即根据同一待检测图像具有的第一坐标值和第二坐标值获得同一待检测图像中的第一目标对象和第二目标对象的交并比。

在本申请第一实施例中，基于同一待检测图像组中包含有多帧的图像，则根据每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的第一目标对象和第二目标对象的交并比，包括：获得同一待检测图像组中的第一帧待检测图像中的第一目标对象和第二目标对象的第一交并比，获得同一待检测图像组中的第二帧待检测图像中的第一目标对象和第二目标对象的第二交并比，获得同一待检测图像组中的第三帧待检测图像中的第一目标对象和第二目标对象的第三交并比，以此类推，逐个获得同一待检测图像组中的每帧待检测图像中的第一目标对象和第二目标对象的对应的交并比。其中，在本申请第一实施例中，第一坐标值和第二坐标值为非零值。

在本申请第一实施例的其它方案中，获得每个待检测图像中的第一目标对象和第二目标对象的交并比还可以采用如下步骤获得，具体的，首先，获得每个待检测图像中的第一目标对象对应的第一坐标值，其中，第一坐标值为非零值。然后，获得每个待检测图像中的第二目标对象对应的第二坐标值，其中，第二坐标值包括零值。而后，根据每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的第一目标对象和第二目标对象的交并比。

在该方案中，根据每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的第一目标对象和第二目标对象的交并比，包括：首先。获得同一待检测图像组中的第一帧待检测图像中的一个第一目标对象和未存在第二目标对象所对应的第一交并比，第一交并比为零。然后，获得同一待检测图像组中的第二帧待检测图像中的一个第一目标对象和一个第二目标对象的第二交并比。而后，获得同一待检测图像组中的第三帧待检测图像中的至少一个第一目标对象和至少一个第二目标对象的第三交并比。在本方案中，连续N帧待检测图像可以为连续三帧待检测图像。

进一步的，获得同一待检测图像组中的第三帧待检测图像中的至少一个第一目标对象和至少一个第二目标对象的第三交并比，包括：获得第三帧待检测图像中的两个第一目标对象和两个第二目标对象，获得其中一个第一目标对象和其中一个第二目标对象的第四交并比，获得其中一个第一目标对象和另外一个第二目标对象的第五交并比，获得另外一个第一目标对象和其中一个第二目标对象的第六交并比，获得另外一个第一目标对象和另外一个第二目标对象的第七交并比，将第四交并比、第五交并比、第六交并比和第七交并比作为第三交并比。

举例说明，一组待检测图像N帧的结果，可使得检测结果更准确。具体的，假设N为3，即取3张图像作为一组待检测图像，3张图像分别记为第一图像、第二图像和第三图像。其中，在第一图像检测到一个吊钩目标，记为第一图像具有吊钩1，且未检测到防脱装置，则第一图像记为未安装防脱装置。第二图像检测到一个吊钩目标，记为第二图像具有吊钩1，且检测到一个防脱装置，记为第二图像具有防脱装置1，则计算第二图像吊钩1和第二图像防脱装置1的交并比。第三图像检测到2个吊钩目标，记为第三图像具有吊钩1，第三图像具有吊钩2，且检测到2个防脱装置，记为第三图像具有防脱装置1，第三图像具有防脱装置2。将第三图像中的吊钩和防脱装置都进行交并比，即，第三图像的吊钩1与第三图像的防脱装置1计算交并比得到交并比11，第三图像的吊钩1与第三图像的防脱装置2计算得到交并比12，第三图像的吊钩2与第三图像的防脱装置1计算得到交并比21，第三图像的吊钩2与第三图像的防脱装置2计算得到交并比22。

以上即为两种不同的获得每个待检测图像中的第一目标对象和第二目标对象的交并比的方法。但是在本申请第一实施例中，不论是哪种获得每个待检测图像中的第一目标对象和第二目标对象的交并比的方法，每个待检测图像中的第一目标对象和第二目标对象的交并比的计算过程如下，参见图3，图3是本申请第一实施例提供的交并比的示意图。

其中，在本申请第一实施例中，交并比的计算为交集比上并集，检测目标的坐标格式是(x1，y1，x2，y2)，(x1，y1)为左上角点坐标，(x2，y2)为右下角坐标，这样可以体现在待检测图像中的实际标注框的位置。假设第一目标对象(吊钩目标)的坐标为(x1，y1，x2，y2)，第二目标对象(防脱装置目标)的坐标为(m1，n1，m2，n2)，则吊钩和防脱装置的交集为：A&B＝(x2-m1)*(y2-n1)，并集为：A|B＝(m2-x1)*(n2-y1)，则交并比为：IOU＝(A&B)/(A|B)。

S104，根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

在获得每个待检测图像中的第一目标对象和第二目标对象的交并比后，可根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。其中，物理世界是指现实世界，待检测图像是基于现实世界的场景对应拍摄获取的，本申请通过待检测图像中的第二目标对象在待检测图像中与第一目标对象的交并比来确定第二目标对象的位置，从而可以对应获得第二目标对象在物理世界中是否位于非指定安装位置。其中，指定安装位置即为防脱装置相对吊钩安装在指定位置，以实现对吊钩的限定的位置。

在本申请第一实施例中，对应于其中一种获得每个待检测图像中的第一目标对象和第二目标对象的交并比的方法，则根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置，包括：根据第一交并比与预设阈值比较，若第一交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置，根据第二交并比与预设阈值比较，若第二交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。并且，根据第三交并比与预设阈值比较，若第三交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。以此类推，若同一待检测图像组中的每帧待检测图像中的第一目标对象和第二目标对象的对应的交并比均小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

在本申请第一实施例中，对应于另外一种获得每个待检测图像中的第一目标对象和第二目标对象的交并比的方法，则根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置，包括：第一种情况：根据第一交并比为零，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。第二种情况：根据第二交并比与预设阈值比较，若第二交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。第三种情况，根据第三交并比与预设阈值比较，若第三交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

需要说明的是，基于上述各个交并比是一组待检测图像中的，所以上述三种情况在一组待检测图像中只要有一种情况的交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

进一步的，在本申请第一实施例中，与第四交并比、第五交并比、第六交并比和第七交并比对应，上述根据第三交并比与预设阈值比较，若第三交并比小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置，包括：根据第四交并比、第五交并比、第六交并比和第七交并比分别与预设阈值比较，若第四交并比、第五交并比、第六交并比和第七交并比均小于预设阈值，则确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

举例说明，一组待检测图像N帧的结果，可使得检测结果更准确。具体的，假设N为3，即取3张图像作为一组待检测图像，3张图像分别记为第一图像、第二图像和第三图像。其中，在第一图像检测到一个吊钩目标，记为第一图像具有吊钩1，且未检测到防脱装置，则第一图像记为未安装防脱装置。第二图像检测到一个吊钩目标，记为第二图像具有吊钩1，且检测到一个防脱装置，记为第二图像具有防脱装置1，则计算第二图像吊钩1和第二图像防脱装置1的交并比。如果交并比小于0.05，则图2记为未安装防脱装置；第三图像检测到2个吊钩目标，记为第三图像具有吊钩1，第三图像具有吊钩2，且检测到2个防脱装置，记为第三图像具有防脱装置1，第三图像具有防脱装置2。将第三图像中的吊钩和防脱装置都进行交并比，即，第三图像的吊钩1与第三图像的防脱装置1计算交并比得到交并比11，第三图像的吊钩1与第三图像的防脱装置2计算得到交并比12，第三图像的吊钩2与第三图像的防脱装置1计算得到交并比21，第三图像的吊钩2与第三图像的防脱装置2计算得到交并比22。如果交并比11，12，21，22均小于0.05，则第三图像记为未安装防脱装置。根据上述交并比，针对该组待检测图像，第一图像、第二图像和第三图像均为未安装防脱装置，则该吊钩结果记为未安装防脱装置。如果上述N帧图像中出现一个或多个待检测图像中吊钩和防脱装置的交并比大于0.05，则该吊钩结果记为已安装防脱装置。

本申请第一实施例提供一种确定目标对象安装位置的方法，包括：获得包含有第一目标对象和第二目标对象的图像集，根据图像集构建目标对象检测模型；根据目标对象检测模型，获得待检测图像中的第一目标对象和第二目标对象的交并比；根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。本申请第一实施例通过获得的图像集来构建目标对象检测模型，通过目标对象检测模型对待检测图像进行检测，以获得待检测图像中的第一目标对象和第二目标对象的交并比，通过第一目标对象和第二目标对象的交并比确定第二目标对象在物理世界中位于非指定安装位置，不仅提升检测的准确度，而且还不用人为地自行检测，从而降低对防脱装置是否在指定安装位置的检测的投入成本。

另外，基于通过获得的图像集，构建了目标对象检测模型，该目标对象检测模型可应用于其他具有多尺度特征图的目标检测网络中，即本申请的目标对象检测模型对于目标对象的检测通用行较强。

在上述的第一实施例中，提供了一种确定目标对象安装位置的方法，与之相对应的，本申请提供一种确定目标对象安装位置的装置。如图4所示，其为本申请第二实施例的一种确定目标对象安装位置的装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。本申请第二实施例提供一种确定目标对象安装位置的装置，包括：图像集获得单元401，用于获得包含有第一目标对象和第二目标对象的图像集；目标对象检测模型构建单元402，用于根据图像集构建目标对象检测模型；交并比获得单元403，用于根据目标对象检测模型，获得待检测图像中的第一目标对象和第二目标对象的交并比；确定单元404，用于根据交并比与预设阈值比较，确定待检测图像中的第二目标对象在物理世界中位于非指定安装位置。

本申请第一实施例给出了一种确定目标对象安装位置的方法，本申请第三实施例给出了与第一实施例方法对应的电子设备。可参考图5所示，其示出了本实施例电子设备示意图。本申请第三实施例提供一种电子设备，包括：处理器501；存储器502，用于存储计算机程序，该计算机程序被处理器运行，执行上述本申请第一实施例提供的一种确定目标对象安装位置的方法。

本申请第四实施例给出了与第一实施例方法对应的计算机存储介质。本申请第四实施例提供一种计算机存储介质，计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述本申请第一实施例提供的一种确定目标对象安装位置的方法。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (16)

1.一种确定目标对象安装位置的方法，其特征在于，包括：

获得包含有第一目标对象和第二目标对象的图像集；

根据所述图像集构建目标对象检测模型；

根据所述目标对象检测模型，获得待检测图像中的所述第一目标对象和所述第二目标对象的交并比；

根据所述交并比与预设阈值比较，确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置。

2.根据权利要求1所述的确定目标对象安装位置的方法，其特征在于，所述根据所述目标对象检测模型，获得待检测图像中的所述第一目标对象和所述第二目标对象的交并比，包括：

获得包含有第一目标对象和第二目标对象的待检测图像组，所述待检测图像组包括按照预设时间间隔获得连续N帧待检测图像；

将同一待检测图像组中的待检测图像输入至所述目标对象检测模型中，获得每个待检测图像中的第一目标对象和/或第二目标对象；

获得每个待检测图像中的所述第一目标对象和第二目标对象的交并比。

3.根据权利要求2所述的确定目标对象安装位置的方法，其特征在于，所述获得每个待检测图像中的所述第一目标对象和第二目标对象的交并比，包括：

获得每个待检测图像中的所述第一目标对象对应的第一坐标值；

获得每个待检测图像中的所述第二目标对象对应的第二坐标值；

根据所述每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的所述第一目标对象和第二目标对象的交并比；

其中，所述第一坐标值和第二坐标值为非零值。

4.根据权利要求3所述的确定目标对象安装位置的方法，其特征在于，所述根据所述每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的所述第一目标对象和第二目标对象的交并比，包括：

获得同一待检测图像组中的第一帧待检测图像中的所述第一目标对象和第二目标对象的第一交并比；

获得同一待检测图像组中的第二帧待检测图像中的所述第一目标对象和第二目标对象的第二交并比；

获得同一待检测图像组中的第三帧待检测图像中的所述第一目标对象和第二目标对象的第三交并比；

以此类推，逐个获得同一待检测图像组中的每帧待检测图像中的所述第一目标对象和第二目标对象的对应的交并比。

5.根据权利要求4所述的确定目标对象安装位置的方法，其特征在于，所述根据所述交并比与预设阈值比较，确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置，包括：

根据所述第一交并比与预设阈值比较，若所述第一交并比小于所述预设阈值，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置；

根据所述第二交并比与预设阈值比较，若所述第二交并比小于所述预设阈值，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置；

根据所述第三交并比与预设阈值比较，若所述第三交并比小于所述预设阈值，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置；

以此类推，若同一待检测图像组中的每帧待检测图像中的所述第一目标对象和第二目标对象的对应的交并比均小于所述预设阈值，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置。

6.根据权利要求2所述的确定目标对象安装位置的方法，其特征在于，所述获得每个待检测图像中的所述第一目标对象和第二目标对象的交并比，包括：

获得每个待检测图像中的所述第一目标对象对应的第一坐标值，其中，所述第一坐标值为非零值；

获得每个待检测图像中的所述第二目标对象对应的第二坐标值，其中，所述第二坐标值包括零值；

根据所述每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的所述第一目标对象和第二目标对象的交并比。

7.根据权利要求6所述的确定目标对象安装位置的方法，其特征在于，所述根据所述每个待检测图像中的第一坐标值和第二坐标值分别获得同一待检测图像中的所述第一目标对象和第二目标对象的交并比，包括：

获得同一待检测图像组中的第一帧待检测图像中的一个所述第一目标对象和未存在所述第二目标对象所对应的第一交并比，所述第一交并比为零；

获得同一待检测图像组中的第二帧待检测图像中的一个所述第一目标对象和一个所述第二目标对象的第二交并比；

获得同一待检测图像组中的第三帧待检测图像中的至少一个所述第一目标对象和至少一个所述第二目标对象的第三交并比；

其中，所述连续N帧待检测图像为连续三帧待检测图像。

8.根据权利要求7所述的确定目标对象安装位置的方法，其特征在于，所述获得同一待检测图像组中的第三帧待检测图像中的至少一个所述第一目标对象和至少一个所述第二目标对象的第三交并比，包括：

获得所述第三帧待检测图像中的两个第一目标对象和两个第二目标对象；

获得其中一个第一目标对象和其中一个第二目标对象的第四交并比，获得所述其中一个第一目标对象和另外一个第二目标对象的第五交并比，获得另外一个第一目标对象和所述其中一个第二目标对象的第六交并比，获得另外一个第一目标对象和所述另外一个第二目标对象的第七交并比；

将所述第四交并比、第五交并比、第六交并比和第七交并比作为第三交并比。

9.根据权利要求8所述的确定目标对象安装位置的方法，其特征在于，所述根据所述交并比与预设阈值比较，确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置，包括：

根据所述第一交并比为零，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置；

根据所述第二交并比与预设阈值比较，若所述第二交并比小于所述预设阈值，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置；

根据所述第三交并比与预设阈值比较，若所述第三交并比小于所述预设阈值，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置。

10.根据权利要求9所述的确定目标对象安装位置的方法，其特征在于，所述根据所述第三交并比与预设阈值比较，若所述第三交并比小于所述预设阈值，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置，包括：

根据所述第四交并比、第五交并比、第六交并比和第七交并比分别与预设阈值比较，若所述第四交并比、第五交并比、第六交并比和第七交并比均小于所述预设阈值，则确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置。

11.根据权利要求1所述的确定目标对象安装位置的方法，其特征在于，所述获得包含有第一目标对象和第二目标对象的图像集，包括：

获得具有第一目标对象和第二目标对象的多个图像；

对所述多个图像进行预处理得到多个候选图像；

对所述多个候选图像进行标记以得到所述图像集。

12.根据权利要求11所述的确定目标对象安装位置的方法，其特征在于，所述对所述多个候选图像进行标记以得到所述图像集，包括：

对所述多个候选图像中的第一目标对象和第二目标对象的图像进行标记；

将完全是第一目标对象和第二目标对象的候选图像作为第一图像；将部分包含有第一目标对象和第二目标对象的候选图像作为第二图像；

将一部分所述第一图像和第二图像作为训练图像，将另一部分所述第一图像和第二图像作为测试图像，所述训练图像和测试图像形成所述图像集。

13.根据权利要求12所述的确定目标对象安装位置的方法，其特征在于，所述根据所述图像集构建目标对象检测模型，包括：

构建初始对象检测模型，将所述初始对象检测模型的参数初始化，并将所述图像集中的训练图像输入至所述初始对象检测模型中；

获得所述初始对象检测模型对所述训练图像的预测结果与标记的图像的损失值；

利用反向传播算法更新所述初始对象检测模型的参数；

再将所述图像集中的其它训练图像输入至所述初始对象检测模型中进行迭代训练，获得损失值最小时所更新的所述初始对象检测模型作为候选对象检测模型；

将所述图像集中的测试图像输入至所述候选对象检测模型中，获得所述候选对象检测模型对所述测试图像的测试结果与标记的图像的损失值；

将所述损失值与预设损失值比较，若所述损失值满足预设损失值，则将所述候选对象检测模型作为目标对象检测模型；反之，则继续将所述图像集中的其它训练图像输入至所述初始对象检测模型中进行迭代训练。

14.一种确定目标对象安装位置的装置，其特征在于，包括：

图像集获得单元，用于获得包含有第一目标对象和第二目标对象的图像集；

目标对象检测模型构建单元，用于根据所述图像集构建目标对象检测模型；

交并比获得单元，用于根据所述目标对象检测模型，获得待检测图像中的所述第一目标对象和所述第二目标对象的交并比；

确定单元，用于根据所述交并比与预设阈值比较，确定所述待检测图像中的所述第二目标对象在物理世界中位于非指定安装位置。

15.一种电子设备，其特征在于，所述电子设备包括：处理器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行权利要求1-13任意一项所述的方法。

16.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行权利要求1-13任意一项所述的方法。

Images