CN115861778A

CN115861778A - 预埋件的检测方法和装置、存储介质、电子装置

Info

Publication number: CN115861778A
Application number: CN202211415760.XA
Authority: CN
Inventors: 王凯耀; 冯文龙; 胡伟; 忠良
Original assignee: Suzhou Fangshi Technology Co ltd
Current assignee: Suzhou Fangshi Technology Co ltd
Priority date: 2022-11-11
Filing date: 2022-11-11
Publication date: 2023-03-28

Abstract

本申请公开了一种预埋件的检测方法和装置、存储介质、电子装置。其中，该方法包括：获取待检测的目标图像；利用神经网络模型对所述目标图像中的预埋件进行识别，可基于深度学习的目标检测算法，以卷积神经网络为主体模型，应用于建筑行业各类墙面的预埋件(电箱、开关等)检测，可搭载在建筑机器人及各类检测仪器中，对摄像头采集的图像进行目标定位及分类，可以解决相关技术中预埋件的检测效率较低的技术问题。

Description

预埋件的检测方法和装置、存储介质、电子装置

技术领域

本申请涉及图像处理领域，具体而言，涉及一种预埋件的检测方法和装置、存储介质、电子装置。

背景技术

随着经济飞速发展，作为基础产业的建筑业发展迅速，建筑市场的繁荣给众多建筑企业带来了机遇也带来了挑战，也为企业的建筑施工质量和效率提出了更高的要求。预埋件是现代建筑工程中应用非常广泛的一项技术，预埋件包括钢板、螺栓、接线盒、电箱、开关等结构件以及接线管、排水管等预埋管。需将预埋件放置在指定位置，预埋件的施工质量直接影响着建筑工程的施工进度和结构安全，因此要牢牢把控。

现阶段各种预埋件的位置检查均是由工人现场检查的，然而对于施工面积比较大的工程项目，预埋件数量多、位置分散，如接线盒、管等预埋件走线复杂，不易检查，因此人工检查耗时费力，效率低下，且于高层建筑施工工程而言，工人攀高存在危险。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种预埋件的检测方法和装置、存储介质、电子装置，以至少解决相关技术中预埋件的检测效率较低的技术问题。

根据本申请实施例的一个方面，提供了一种预埋件的检测方法，包括：获取待检测的目标图像；利用神经网络模型对所述目标图像中的预埋件进行识别。

可选地，利用神经网络模型对所述目标图像中的预埋件进行识别，包括：利用所述神经网络模型对所述目标图像进行多次下采样、上采样、特征融合、卷积处理，输出识别结果。

可选地，利用所述神经网络模型对所述目标图像进行多次下采样、上采样、特征融合、卷积处理，输出识别结果，包括：对所述目标图像进行7次下采样，其中，第1次是对所述目标图像进行下采样，第i次是对第(i-1)次下采样的结果进行下采样，i为2至7的正整数；对第7次下采样的结果进行上采样；将上采样结果与第6次下采样的结果进行特征融合；对特征融合结果进行卷积处理，输出所述识别结果。

可选地，将上采样的结果与第6次下采样的结果进行特征融合，包括：将大小为30×22×32的上采样结果与大小为30×22×16的第6次下采样的结果进行特征拼接，得到大小为30×22×48的特征融合结果。

可选地，对特征融合结果进行卷积处理，输出所述识别结果，神经网络的推理过程可视为将输入的尺寸为1920×1408的图片卷积成尺寸为30×22的网格，每个网格独立预测中心点落在网格中的物体的信息，5+C为预测的信息的长度，识别结果包括：对大小为30×22×48的特征融合结果进行卷积处理，得到大小为30×22×(5+C)的所述识别结果，所述识别结果包括以下多个部分：表示第j种预埋件类型是否存在的参数Cj，表示预埋件类型的识别置信度的参数confidence，表示预埋件的物体中心横坐标的参数x，表示预埋件的物体中心纵坐标的参数y，表示检测框宽度的参数w，表示检测框高度的参数h。

可选地，在利用神经网络模型对所述目标图像中的预埋件进行识别之前，所述方法还包括：按照如下方式进行前处理：加载神经网络模型及其初始权重，读预设格式的样本图像并将样本图像调整为灰度图，将灰度图的长宽尺寸调整为128的倍数且至少为640×640，对灰度图的像素值进行标准化，其中，样本图像具有标注是否存在预埋件的标注信息；使用所述样本图像对神经网络模型进行训练，以调整神经网络模型的权重，使得神经网络模型的识别准确度达到预设阈值。

可选地，在利用神经网络模型对所述目标图像中的预埋件进行识别之前，所述方法还包括：使用图像设备采集预埋件的原始图片，并进行目标标准框和类别的标记，然后将标有目标标准框和类别的原始图片存入数据集，其中，所述数据集用于对神经网络模型进行训练；将所有原始图片按照如下方式进行增强：生成大小与原始图片相同的图片模板，并将图片模板划分为四个区域，其中，任一区域的面积不少于原始图片的面积的1/16；从数据集中随机选取四张原始图片，其中，每张原始图片对应于所述图片模板中的一个区域；将选取的原始图片按照对应区域的位置和大小进行裁剪，并将裁剪得到的图像填充至所述图片模板，得到增强图片，并保存至所述数据集中。

根据本申请实施例的另一方面，还提供了一种预埋件的检测装置，包括：获取单元，用于获取待检测的目标图像；检测单元，用于利用神经网络模型对所述目标图像中的预埋件进行识别。

可选地，检测单元还用于：利用所述神经网络模型对所述目标图像进行多次下采样、上采样、特征融合、卷积处理，输出识别结果。

可选地，检测单元还用于：对所述目标图像进行7次下采样，其中，第1次是对所述目标图像进行下采样，第i次是对第(i-1)次下采样的结果进行下采样，i为2至7的正整数；对第7次下采样的结果进行上采样；将上采样结果与第6次下采样的结果进行特征融合；对特征融合结果进行卷积处理，输出所述识别结果。

可选地，检测单元还用于：将大小为30×22×32的上采样结果与大小为30×22×16的第6次下采样的结果进行特征拼接，得到大小为30×22×48的特征融合结果。

可选地，检测单元还用于：对大小为30×22×48的特征融合结果进行卷积处理，得到大小为30×22×(5+C)的所述识别结果，所述识别结果包括以下多个部分：表示第j种预埋件类型是否存在的参数Cj，表示预埋件类型的识别置信度的参数confidence，表示预埋件的物体中心横坐标的参数x，表示预埋件的物体中心纵坐标的参数y，表示检测框宽度的参数w，表示检测框高度的参数h。

可选地，所述装置还包括：预处理单元，用于：在利用神经网络模型对所述目标图像中的预埋件进行识别之前，按照如下方式进行前处理：加载神经网络模型及其初始权重，读预设格式的样本图像并将样本图像调整为灰度图，将灰度图的长宽尺寸调整为128的倍数且至少为640×640，对灰度图的像素值进行标准化，其中，样本图像具有标注是否存在预埋件的标注信息；使用所述样本图像对神经网络模型进行训练，以调整神经网络模型的权重，使得神经网络模型的识别准确度达到预设阈值。

可选地，预处理单元还用于：使用图像设备采集预埋件的原始图片，并进行目标标准框和类别的标记，然后将标有目标标准框和类别的原始图片存入数据集，其中，所述数据集用于对神经网络模型进行训练；将所有原始图片按照如下方式进行增强：生成大小与原始图片相同的图片模板，并将图片模板划分为四个区域，其中，任一区域的面积不少于原始图片的面积的1/16；从数据集中随机选取四张原始图片，其中，每张原始图片对应于所述图片模板中的一个区域；将选取的原始图片按照对应区域的位置和大小进行裁剪，并将裁剪得到的图像填充至所述图片模板，得到增强图片，并保存至所述数据集中。

根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法中任一实施例的步骤。

应用本发明的技术方案，获取待检测的目标图像；利用神经网络模型对所述目标图像中的预埋件进行识别，可基于深度学习的目标检测算法，以卷积神经网络为主体模型，应用于建筑行业各类墙面的预埋件(电箱、开关等)检测，可搭载在建筑机器人及各类检测仪器中，对摄像头采集的图像进行目标定位及分类，可以解决相关技术中预埋件的检测效率较低的技术问题。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本申请实施例的一种可选的预埋件的检测方法的流程图；

图2是根据本申请实施例的一种可选的图片模板的示意图；

图3是根据本申请实施例的一种可选的样本增强的示意图；

图4是根据本申请实施例的一种可选的神经网络结构的示意图；

图5是根据本申请实施例的一种可选的神经网络结构的示意图；

图6是根据本申请实施例的一种可选的预埋件检测结果的示意图；

图7是根据本申请实施例的一种可选的预埋件的检测装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一方面，提供了一种预埋件的检测方法的方法实施例。本申请实施例的预埋件的检测方法可以由服务器、终端来执行。其中，终端执行本申请实施例的预埋件的检测方法也可以是由安装在其上的客户端来执行。图1是根据本申请实施例的一种可选的预埋件的检测方法的流程图，如图1所示，该方法可以包括以下步骤：

步骤S102，获取待检测的目标图像。

步骤S104，利用神经网络模型对所述目标图像中的预埋件进行识别。

可选地，将上采样的结果与第6次下采样的结果进行特征融合，包括：将大小为30×22×32的上采样结果与大小为30×22×16(“×”为数学符号乘号)的第6次下采样的结果进行特征拼接，得到大小为30×22×48的特征融合结果。

可选地，对特征融合结果进行卷积处理，输出所述识别结果，包括：对大小为30×22×48的特征融合结果进行卷积处理，得到大小为30×22×(5+C)的所述识别结果，所述识别结果包括以下多个部分：表示第j种预埋件类型是否存在的参数Cj，表示预埋件类型的识别置信度的参数confidence，表示预埋件的物体中心横坐标的参数x，表示预埋件的物体中心纵坐标的参数y，表示检测框宽度的参数w，表示检测框高度的参数h。

通过上述步骤，获取待检测的目标图像；利用神经网络模型对所述目标图像中的预埋件进行识别，可基于深度学习的目标检测算法，以卷积神经网络为主体模型，应用于建筑行业各类墙面的预埋件(电箱、开关等)检测，可搭载在建筑机器人及各类检测仪器中，对摄像头采集的图像进行目标定位及分类，可以解决相关技术中预埋件的检测效率较低的技术问题。

作为一个可选的实施例，下文结合具体实施方式进一步详述本申请的技术方案：

本方案中，将待检测图片卷积为若干网格特征，预测每个网格内的目标信息，算法全流程包括：数据采集处理阶段、模型搭建训练阶段、模型预测阶段。

步骤1，数据采集处理阶段。

使用相机等设备采集预埋件图片，并进行目标标准框和类别的标记。由于初步采集的预埋件数据集中可用的特征图片较少，故进行了数据增强，本方法将四张任意大小的目标图片，经随机裁剪、随机缩放后拼接为一张图片，步骤如下：

步骤1.1，以原图尺寸为模板，所及划分四个区域(规定最小区域不小于原图的1/16)，如图2所示，模板的宽度为w个像素，高度为h个像素，重新划分为依次为如下大小的四个区域：w’×h’、w’×(h-h’)、(w-w’)×h’、(w-w’)×(h-h’)。

步骤1.2，从数据集中随机取四张图(不重复)，后按步骤1.1划分的面积进行裁剪并拼接，同时每张图片的原始标签对应改变，如图3所示。

步骤1.3，保留预埋件特征丰富的增强图片及其新标签。

步骤2，模型搭建训练阶段。

网络结构：神经网络结构及参数如图4和图5所示，图片数据首先经主干网络7次下采样，随后上采样进行特征融合，最后卷积输出32倍下采样的特征图。

在图4和图5中，

表示特征图跳跃相加，/>

表示特征图跳跃拼接，各种信息如表1所示。

表1

最后输出的尺寸(5+c)包含的信息为：x、y、w、h、confidence、C1、C2…Cn。

该输出代表该网格内的预测信息，其中x为物体中心横坐标(以该网格左上角为原点，并标准化)，y为物体中心纵坐标(以该网格左上角为原点，并标准化)，w为检测框宽度(标准化后取对数)，h为检测框高度(标准化后取对数)，confidence为该网格存在物体的置信度(概率)，c为预测的物体类别(不同格对应不同类别，存在该目标为1，不存在为0)。

损失函数：在训练过程中，本算法采用IoU(交并比)计算坐标损失，采用MSE(均值平方差)计算置信度损失，采用下述公式计算分类损失。公式如下：

其中，S_A表示预测框；S_B表示标准框；c_i表示预测置信度；

表示标准置信度；λ_noobj表示无目标预测框IoU误差的权重系数；/>

表示预测目标类别条件概率；/>

表示标准目标类别条件概率；/>

表示第i个网格的第j个预测框中的目标信息，存在目标为1，否则为0；/>

则取相反值。

模型预测阶段：

前处理：①加载神经网络模型及其权重；②读取bmp、png、jpg等格式的待检测图片或实时视频的单帧图片；③将图片(若为RGB图片)调整为灰度图，图片长宽尺寸(像素)调整为128的倍数，且至少为640×640(长宽可不一致)，像素值标准化。

模型推理：将处理后的图片数据喂入模型(可多张同时喂入)，经神经网络计算输出结果(30×22的网格)。

后处理：遍历每个网格，去除置信度较低的结果，对剩余结果进行NSM(非极大值抑制)去重。将去重后的结果(预测框)绘制在原图中并保存，如图6所示。

本方案通过极简的神经网络模型完成对建筑场景预埋件的目标检测。对(1920×1408)高分辨率图像，在具有AI加速模块的移动设备上的检测速度在60FPS以上，满足实时检测需求，同时检测精度mAP值在0.9以上。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

根据本申请实施例的另一个方面，还提供了一种用于实施上述预埋件的检测方法的预埋件的检测装置。图7是根据本申请实施例的一种可选的预埋件的检测装置的示意图，如图7所示，该装置可以包括：

获取单元71，用于获取待检测的目标图像；

检测单元73，用于利用神经网络模型对所述目标图像中的预埋件进行识别。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种预埋件的检测方法，其特征在于，包括：

获取待检测的目标图像；

利用神经网络模型对所述目标图像中的预埋件进行识别。

2.根据权利要求1所述的方法，其特征在于，利用神经网络模型对所述目标图像中的预埋件进行识别，包括：

利用所述神经网络模型对所述目标图像进行多次下采样、上采样、特征融合、卷积处理，输出识别结果。

3.根据权利要求2所述的方法，其特征在于，利用所述神经网络模型对所述目标图像进行多次下采样、上采样、特征融合、卷积处理，输出识别结果，包括：

对所述目标图像进行7次下采样，其中，第1次是对所述目标图像进行下采样，第i次是对第(i-1)次下采样的结果进行下采样，i为2至7的正整数；

对第7次下采样的结果进行上采样；

将上采样结果与第6次下采样的结果进行特征融合；

对特征融合结果进行卷积处理，输出所述识别结果。

4.根据权利要求3所述的方法，其特征在于，将上采样的结果与第6次下采样的结果进行特征融合，包括：

将大小为30×22×32的上采样结果与大小为30×22×16的第6次下采样的结果进行特征拼接，得到大小为30×22×48的特征融合结果。

5.根据权利要求3所述的方法，其特征在于，对特征融合结果进行卷积处理，输出所述识别结果，包括：

对大小为30×22×48的特征融合结果进行卷积处理，得到大小为30×22×(5+C)的所述识别结果，神经网络的推理过程表示将输入的尺寸为1920×1408的图片卷积成尺寸为30×22的网格，每个网格独立预测中心点落在网格中的物体的信息，(5+C)为预测的信息的长度，所述识别结果包括以下多个部分：

表示第j种预埋件类型是否存在的参数Cj，

表示预埋件类型的识别置信度的参数confidence，

表示预埋件的物体中心横坐标的参数x，

表示预埋件的物体中心纵坐标的参数y，

表示检测框宽度的参数w，

表示检测框高度的参数h。

6.根据权利要求1所述的方法，其特征在于，在利用神经网络模型对所述目标图像中的预埋件进行识别之前，所述方法还包括：

按照如下方式进行前处理：加载神经网络模型及其初始权重，读预设格式的样本图像并将样本图像调整为灰度图，将灰度图的长宽尺寸调整为128的倍数且至少为640×640，对灰度图的像素值进行标准化，其中，样本图像具有标注是否存在预埋件的标注信息；

使用所述样本图像对神经网络模型进行训练，以调整神经网络模型的权重，使得神经网络模型的识别准确度达到预设阈值。

7.根据权利要求1至6中任一项所述的方法，其特征在于，在利用神经网络模型对所述目标图像中的预埋件进行识别之前，所述方法还包括：

使用图像设备采集预埋件的原始图片，并进行目标标准框和类别的标记，然后将标有目标标准框和类别的原始图片存入数据集，其中，所述数据集用于对神经网络模型进行训练；

将所有原始图片按照如下方式进行增强：生成大小与原始图片相同的图片模板，并将图片模板划分为四个区域，其中，任一区域的面积不少于原始图片的面积的1/16；从数据集中随机选取四张原始图片，其中，每张原始图片对应于所述图片模板中的一个区域；将选取的原始图片按照对应区域的位置和大小进行裁剪，并将裁剪得到的图像填充至所述图片模板，得到增强图片，并保存至所述数据集中。

8.一种预埋件的检测装置，其特征在于，包括：

获取单元，用于获取待检测的目标图像；

检测单元，用于利用神经网络模型对所述目标图像中的预埋件进行识别。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至7任一项中所述的方法。