CN112036268B - 构件识别方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种构件识别方法及相关装置，应用于应用服务器，包括：在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像；将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别；显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。本申请实施例有利于准确识别出第一建筑构件图像中的每个构件以及每个构件的类别，抗干扰性强。

Description

构件识别方法及相关装置

技术领域

本申请涉及建筑图纸构件识别技术领域，具体涉及一种构件识别方法及相关装置。

背景技术

现有技术中，目前主流的目标检测算法包括多阶段的各种RCCN和单阶段的SSD、RetinaNet，且都是基于Author来做的，Author的本质是候选框，在设计了不同尺度和比例的候选框后，DNN学习如何将这些候选框进行分类，进一步确定是否包含目标物体以及目标物体的类别，但是基于Author会存在一些问题，首先大部分目标物体是不规则的，候选框会涵盖大量非目标物体的区域，从而引入较多的干扰，其次Author的设置需要手动去设计，对不同的数据集需要不同的世界，过程复杂，不符合DNN的思想，最后Author的匹配机制使得极端尺度的目标物体被匹配到的频率相对于大小适中的目标物体被匹配到的频率更低，DNN在学习的时候不太容易学习极端尺度的目标物体，导致检测误差较大。

发明内容

本申请实施例提供了一种构件识别方法及相关装置，有利于准确识别出第一建筑构件图像中的每个构件以及每个构件的类别，抗干扰性强。

第一方面，本申请实施例提供一种构件识别方法，其特征在于，应用于应用服务器，所述方法包括：

在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像；

将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别；

显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。

第二方面，本申请实施例提供一种构件识别装置，应用于应用服务器，所述构件识别装置包括检测单元、处理单元和显示单元，其中，

所述检测单元，用于在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像；

所述处理单元，用于将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别；

所述显示单元，用于显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。

第三方面，本申请实施例提供一种应用服务器，包括控制器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述控制器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，应用服务器首先在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像，其次，将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别，最后，显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。由于目标检测网络可以识别出第一建筑构件图像中的每个构件以及构件的类别，且分配的锚点在每个构件的中心位置上，没有尺寸框，有利于减少干扰。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种构件识别方法的流程示意图；

图2是本申请实施例提供的另一种构件识别方法的流程示意图；

图3是本申请实施例提供的一种应用服务器的结构示意图；

图4是本申请实施例提供的一种构件识别装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

应用服务器可以包括终端或者服务器，本申请实施例不做限定。终端包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或连接到无线调制解调器的其他处理的精度。用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为应用服务器。

下面对本申请实施例进行详细介绍。

目标检测主要是为了识别出图像中的物体，同时确定物体的类别和位置，传统的目标检测包括三个阶段，首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类，本申请主要针对第一建筑构件图像中的构件进行识别，为了克服现有技术的不足，本申请提供了一种基于CenterNet的建筑图像构件检测方法，CenterNet属于单阶段的目标检测模型，采用高斯图来表示目标，速度很快，主要步骤包括：输入图像，并对图像进行预处理操作；生成热点图，以预测关键点；用损失函数进行训练；输出目标检测结果。

本申请采用的目标检测到模型为CenterNe模型，本申请在使用目标检测模型之前，需要对目标检测模型进行训练，输入训练集中的多个建筑构件图像后，对建筑构件图像进行图像预处理，由于建筑图像可能有些线条颜色偏浅，有些线条颜色偏深，因此可以通过对建筑构件图像进行高通滤波，锐化处理，得到清晰度更高的建筑构建图像，有利于提高目标检测的准确性，再输入预处理后的建筑构件图象，进行FCN全卷积神经网络，得到热点图，热点图峰值高的地方即为预测关键点。其中，热点图是通过使用不同的标志将图像或者页面上的区域按照受关注程度的不同加以标注并呈现的一种分析手段，作用是用于预测关键点。Y_x,y,c＝1就是检测到物体的预测值，对于Y_x,y,c＝1，表示对于类别c在当前坐标(x，y)中检测到了这种类别的物体，而Y_x,y,c＝0表示坐标(x，y)中不存在类别c的物体。在训练过程中，对于每个标签图中的某一c类，需要将真实关键点p∈R²计算出来用于训练，训练的目的是找到一个函数来拟合现有的数据。

中心点的计算方式为

对于下采样后的坐标，设为

其中R为下采样因子，一般R为4，本申请中R数值为8，每隔8个点去一个采样点，因为建筑图像本身比较大，每一区域间隔很大，信息不会很集中，可以远一点再来取像素点，以便于加快运算速率，因此，计算出来的中心点是对应一个低分辨率的中心点。利用

来对图像进行标记，在下采样[128,128]的图像中将标签图真实关键点以

的形式，用一个高斯核

来将关键点分布到特征图上，其中δ_p是一个与目标大小(也就是W和H)相关的标准差，如果某一个类别的高斯分布发生了重叠，直接去掉元素间最大的即可。

对损失函数进行训练时，根据特点图得到的Y_x,y,c，进一步根据标签图得到中心点Y，接下来让损失函数最小，使得优化效果最好。

第一损失函数为总损失，计算公式如下：

L_det＝L_k+λ_sizeL_size+λ_offL_off

第二损失函数为中心损失，计算公式如下：

第三损失函数为中心偏移损失，计算公式如下：

第四损失函数尺寸框损失，计算公式如下：

当损失函数最小时，目标检测模型最优，在训练过程中不断减小损失函数，得到优化后得到的目标检测模型，从而可以通过目标检测模型得到第一建筑构件图像的目标检测结果。此外，目标检测模型可以使得输入的建筑构件图像的构件边缘清晰可见，且一般为规则形状，bbox坐标相对准确，在一般情况下会把λ_size设为0.1，本申请可以结合建筑构件图像的实际情况，可以把λ_size设为0.5，实验效果会更好，此外，中心偏移权重一般为1，本申请可以设置为2。在本申请中，目标检测结果的显示可以对构件图像中的多个构件进行锚点标记，且分配的放置在构件的某个具体位置，没有尺寸框，也不需要用户手动设置阈值来做前后景分类，由于每个构件仅仅只有一个锚点，因此不会用到NMS。

请参阅图1，图1是本申请实施例提供了一种构件识别方法的流程示意图，应用于应用服务器。如图所示，本构件识别方法包括：

S101，所述应用服务器在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像。

其中，建筑构件是指构成建筑的各个要素，建筑物当中的构件主要有：楼屋、墙体、柱子、基础等，第一建筑构件图像中包括建筑的房屋图像，以及组成房屋图像的多个构件，应用服务器在检测到针对第一建筑构件图像的目标检测请求时，需要确定第一建筑构件图像中每个构件所在的位置，以及每个构件的类别，此时，首先对第一建筑构件图像进行图像预处理，得到第二建筑构件图像，相比于第一建筑构件图像，第二建筑构件图像清晰度和识别度更好，可以帮助应用服务器更精准的识别出第一建筑构件图像中包括的多个构件，以及该多个构件的类别。

S102，所述应用服务器将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测模型，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别。

其中，将第二建筑构件图像输入训练后的目标检测模型后，目标检测模型便可进行构件识别，得到目标检测结果，目标检测结果包括第一建筑构件图像中的多个构件的位置信息，以及多个构件中每个构件对应的类别。

其中，目标检测模型为ChinaNet，ChinaNet不仅可以用于目标检测，还可以用于肢体识别或者3D目标检测等，ChinaNet结构优雅简单，可以直接检测出目标的中心点和大小，假设第一建筑构件图像Y∈R^W*H*c，W和H分别为第一建筑构件图像的宽和高，首先在预测的时候产生出关键点的人点图，Y∈

其中R为输出对应原图的步长，本申请中R数值为8，每隔8个点去一个采样点，C表示在目标检测中对应的检测点的数量，C的值为80则表示当前有80个类别。Y_x,y,c＝1，见识检测到一个物体的预测值，对于Y_x,y,c＝1，表示对于类别C在当前(x，y)坐标中检测到了这类的物体，Y_x,y,c＝0表示当前这个坐标点不存在类别C的物体。目标检测模型输出的目标检测结果包括第一建筑构件图像包括的多个构件的位置信息，以及多个构件对应的类别。

S103，所述应用服务器显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。

其中，应用服务器输出显示第一建筑构件图像以及第一建筑构件图像的目标检测结果，从而用户可以了解第一建筑构件图像包括的多个构件以及每个构件的类别，从而可以快速识别出每个构件以及构件的类别。

可以看出，本申请实施例中，应用服务器首先在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像，其次，将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别，最后，显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。由于目标检测网络可以识别出第一建筑构件图像中的每个构件以及构件的类别，且分配的锚点在每个构件的中心位置上，没有尺寸框，有利于减少干扰。

在一个可能的示例中，所述对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像，包括：计算所述第一建筑构件图像的清晰度；对所述第一建筑构件图像进行高通滤波处理，得到所述第二建筑构件图像，所述第二构件图像的清晰度大于所述第一建筑构件图像的清晰度。

其中，图像清晰度越高，识别精确度越高，特别是对于较小的构件，或者位置较集中的多个构件，如果图像清晰度不够高，可能难以识别出每个构件，导致识别出来的构件缺少。图像清晰度决定了一张图形传达的细节，通过确定第一建筑构件图像的清晰度后，可以对根据第一建筑构件图像进行清晰度的调整，调整图像清晰度的方法包括高通滤波处理，高通滤波属于频率域，保留高频抑制低频，是图像锐化的一种方式，通过对第一建筑构件图像进行锐化处理得到第二建筑构件图像，第二建筑图像的清晰度大于第一建筑构件图像的清晰度，在对第一建筑构件进行目标检测时，使用第二建筑构件图像进行目标识别。

可见，本示例中，在对第一建筑构件图像进行目标检测之前，先对第一建筑构件图像进行图像预处理，得到第二建筑构件图像，由于第二建筑构件图像的清晰度高于第一建筑构件图像的清晰度，因此更容易识别出每个构件的种类以及位置，提高目标检测结果的准确性。

在一个可能的示例中，所述位置信息包括所述每个构件在所述第一建筑构件图像中的中心点位置；所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果，包括：根据所述每个构件所属的类别，为不同类别的构件分配标记颜色；按照所述每个构件被分配到的标记颜色，以锚点的方式在所述每个构件的中心位置进行标记。

其中，根据每个构件对应的不同类别，为每个构件分配不同的标记颜色，从而，每个构件可以按照被分配到的标记颜色，以锚点的方式在构件的中心位置进行标记，不同类别的构件使用不同的颜色进行标记，锚点颜色即为标记颜色

可见，本示例中，采用不用颜色的锚点对不同种类的构件进行标记，在视觉上可以帮助用户清晰的了解哪些构件是相同的类别，哪些构件是不同的类别，同一类别的构件主要分布在哪些位置，使目标检测结果可视化。

在一个可能的示例中，所述按照所述每个构件被分配到的标记颜色，以锚点的方式在所述每个构件的中心位置进行标记，包括：在检测到所述第一建筑构件图像中包括相同构件时，确定所述相同构件的数量；对所述相同构件进行锚点标记时显示所述相同构件的数量。

其中，在对第一建筑构件图像进行目标检测后，若检测到同一构件的数量不止一个，即检测到第一建筑构件图像中包括相同的构件，则需要确定相同构件的数量，从而对该构件记性锚点标记时，可以在标记旁边显示该构件的数量。例如，针对构件A、构件B和构件C，检测到构件A有100个，构件B有80个，构件C有50个，则构件A用同一种颜色进行锚点标记，并且可以显示构件A的数量为100，构件B用同一种颜色进行锚点标记，并且显示构件B的数量，构件C用同一种颜色进行锚点标记，并且显示构件C的数量，其中，构件A.、构件B和构件C的标记颜色互不相同。

可见，本示例中，在对每个构件进行标记时还可以显示每个构件的数量，从而方便用户更直观的了解每个构件的使用情况。

在一个可能的示例中，所述对所述相同构件进行锚点标记时显示所述相同构件的数量之后，所述方法还包括：在检测到针对第一构件的第一预设操作时，保留所述第一构件的锚点标记，删除除所述第一构件之外的其他构件的锚点标记，所述第一构件包括至少一个构件。

其中，第一预设操作可以是单击或者双击第一构件的数量标记，从而应用服务器会在当前显示界面上只保留第一建筑构件图像中的至少一个第一构件的锚点标记，删除其他构件的锚点标记，例如，构件A有100个，构件A的锚点标记旁显示了构件A的数量100，用户可以通过单击或双击100，使得当前显示界面上只显示构件A的锚点标记，删除其他构件的锚点标记。

可见，本示例中，同一构件在第一建筑构架图像中可能会出现多次，通过第一预设操作，可以使显示界面上只保留某一种构件的显示标记，删除其它构件的显示标记，从而，用户可以更清晰直观的了解到该构件的分布情况。

在一个可能的示例中，所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果之后，所述方法还包括：在获取到针对所述第一建筑构件图像的第二预设操作时，关闭所述第一建筑构件图像的目标检测结果显示；在检测到针对所述第一建筑构件图像的第三预设操作时，恢复

其中，显示界面上输出了第一建筑构件图像以及第一建筑构件图像的目标检测结果，用户通过第二预设操作，可以关闭第一建筑构件图像的目标检测结果显示，此时显示界面更加干净和检测，用户也可以通过第三预设超市，使得显示界面恢复目标检测结果的显示，第二预设操作和第三预设操作可以是相同的操作，也可以是不同的操作，例如可以是点击构件或者构件的锚点。

可见，本示例中，用户可以通过第二预设操作关闭目标结果的显示，也可以通过第三预设操作开启目标结果的显示，从而可以帮助用户对比查看第一构件图像。

在一个可能的示例中，所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果之后，所述方法还包括：在检测到针对所述第二构件的锚点的移动操作时，确定所述移动操作的目标位置是否满足预设条件；若是，响应所述移动操作并将所述第二构件的锚点移动至所述目标位置。

其中，在检测到针对第二构件的锚点的移动操作时，需要检测移动操作的目标位置是否满足预设条件，如果满足则响应该移动操作，将第二构件的锚点移动到目标位置，如果不满足则不用响应移动操作。例如，当用户觉得第二构件的锚点位置不准确，不是在第二构件的中心位置时，用户可以移动该锚点，将该锚点移动到用户认为的目标位置，但是目标位置必须满足预设条件，即在目标检测网络识别到的第二构件的位置范围内，且目标位置没有其他构件的锚点。

可见，本示例中，当用户认为第二构件的锚点位置不准确时，可以通过移动的方式将第二构件的锚点移动到目标位置，只需要保证目标位置满足预设条件，即可更改第二构件的锚点位置，从而实现手动调整。

与所述图1所示的实施例一致的，请参阅图2，图2是本申请实施例提供的一种构件识别方法的流程示意图，应用于应用服务器。如图所示，本构件识别方法包括：

S201，所述应用服务器在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像。

S202，所述应用服务器将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别。

S203，所述应用服务器显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。

S204，所述应用服务器在检测到针对所述第二构件的锚点的移动操作时，确定所述移动操作的目标位置是否满足预设条件。

S205，所述应用服务器在检测到若是，响应所述移动操作并将所述第二构件的锚点移动至所述目标位置。

可以看出，本申请实施例中，应用服务器首先在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像，其次，将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别，最后，显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。由于目标检测网络可以识别出第一建筑构件图像中的每个构件以及构件的类别，且分配的锚点在每个构件的中心位置上，没有尺寸框，有利于减少干扰。

此外，当用户认为第二构件的锚点位置不准确时，可以通过移动的方式将第二构件的锚点移动到目标位置，只需要保证目标位置满足预设条件，即可更改第二构件的锚点位置，从而实现手动调整。

与所述图1、图2所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种应用服务器300的结构示意图，该应用服务器300运行有一个或多个应用程序和操作系统，如图所示，该应用服务器300包括处理器310、存储器320、通信接口330以及一个或多个程序321，其中，所述一个或多个程序321被存储在所述存储器320中，并且被配置由所述处理器310执行，所述一个或多个程序321包括用于执行以下步骤的指令；

在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像；

将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别；

显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。

可以看出，本申请实施例中，应用服务器首先在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像，其次，将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别，最后，显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。由于目标检测网络可以识别出第一建筑构件图像中的每个构件以及构件的类别，且分配的锚点在每个构件的中心位置上，没有尺寸框，有利于减少干扰。

在一个可能的示例中，在所述对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像方面，所述程序中的指令具体用于执行以下操作：计算所述第一建筑构件图像的清晰度；对所述第一建筑构件图像进行高通滤波处理，得到所述第二建筑构件图像，所述第二构件图像的清晰度大于所述第一建筑构件图像的清晰度。

在一个可能的示例中，所述位置信息包括所述每个构件在所述第一建筑构件图像中的中心点位置；在所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果方面，所述程序中的指令具体用于执行以下操作：根据所述每个构件所属的类别，为不同类别的构件分配标记颜色；按照所述每个构件被分配到的标记颜色，以锚点的方式在所述每个构件的中心位置进行标记。

在一个可能的示例中，在所述按照所述每个构件被分配到的标记颜色，以锚点的方式在所述每个构件的中心位置进行标记方面，所述程序中的指令具体用于执行以下操作：在检测到所述第一建筑构件图像中包括相同构件时，确定所述相同构件的数量；对所述相同构件进行锚点标记时显示所述相同构件的数量。

在一个可能的示例中，所述对所述相同构件进行锚点标记时显示所述相同构件的数量之后，所述程序中的指令具体用于执行以下操作：在检测到针对第一构件的第一预设操作时，保留所述第一构件的锚点标记，删除除所述第一构件之外的其他构件的锚点标记，所述第一构件包括至少一个构件。

在一个可能的示例中，所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果之后，所述程序中的指令具体用于执行以下操作：在获取到针对所述第一建筑构件图像的第二预设操作时，关闭所述第一建筑构件图像的目标检测结果显示；在检测到针对所述第一建筑构件图像的第三预设操作时，恢复所述第一建筑构件图像的目标检测结果显示。

在一个可能的示例中，所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果之后，所述程序中的指令具体用于执行以下操作：在检测到针对所述第二构件的锚点的移动操作时，确定所述移动操作的目标位置是否满足预设条件；若是，响应所述移动操作并将所述第二构件的锚点移动至所述目标位置。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，应用服务器为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对应用服务器进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图4是本申请实施例中所涉及的装置400的功能单元组成框图。该构件识别装置400应用于应用服务器，构件识别装置400包括检测单元401、处理单元402和显示单元403，其中：

所述检测单元401，用于在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像；

所述处理单元402，用于将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别；

所述显示单元403，用于显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。

可以看出，本申请实施例中，应用服务器首先在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像，其次，将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别，最后，显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果。由于目标检测网络可以识别出第一建筑构件图像中的每个构件以及构件的类别，且分配的锚点在每个构件的中心位置上，没有尺寸框，有利于减少干扰。

在一个可能的示例中，在所述对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像方面，所述检测单元401具体用于：计算所述第一建筑构件图像的清晰度；以及用于对所述第一建筑构件图像进行高通滤波处理，得到所述第二建筑构件图像，所述第二构件图像的清晰度大于所述第一建筑构件图像的清晰度。

在一个可能的示例中，所述位置信息包括所述每个构件在所述第一建筑构件图像中的中心点位置；在所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果方面，所述显示单元403具体用于：根据所述每个构件所属的类别，为不同类别的构件分配标记颜色；以及用于按照所述每个构件被分配到的标记颜色，以锚点的方式在所述每个构件的中心位置进行标记。

在一个可能的示例中，在所述按照所述每个构件被分配到的标记颜色，以锚点的方式在所述每个构件的中心位置进行标记方面，所述显示单元403具体用于：在检测到所述第一建筑构件图像中包括相同构件时，确定所述相同构件的数量；以及用于对所述相同构件进行锚点标记时显示所述相同构件的数量。

在一个可能的示例中，所述对所述相同构件进行锚点标记时显示所述相同构件的数量之后，所述处理单元402具体用于：在检测到针对第一构件的第一预设操作时，保留所述第一构件的锚点标记，删除除所述第一构件之外的其他构件的锚点标记，所述第一构件包括至少一个构件。

在一个可能的示例中，所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果之后，所述处理单元402具体用于：在获取到针对所述第一建筑构件图像的第二预设操作时，关闭所述第一建筑构件图像的目标检测结果显示；以及用于在检测到针对所述第一建筑构件图像的第三预设操作时，恢复所述第一建筑构件图像的目标检测结果显示。

在一个可能的示例中，所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果之后，所述处理单元402具体用于：在检测到针对所述第二构件的锚点的移动操作时，确定所述移动操作的目标位置是否满足预设条件；以及用于若是，响应所述移动操作并将所述第二构件的锚点移动至所述目标位置。

其中，所述应用服务器还可包括存储单元404，检测单元401和处理单元402可以是控制器或处理器，显示单元403可以是显示器，存储单元404可以是存储器。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个控制单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种构件识别方法，其特征在于，应用于应用服务器，所述方法包括：

在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像；

将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别；

显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果；

所述将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，包括：生成热点图，以预测关键点；用损失函数进行训练；输出目标检测结果；其中，在训练过程中，对于每个标签图中的某一c类，将真实关键点p∈R²计算出来用于训练，对损失函数进行训练时，根据特点图得到Y_x,y,c，根据标签图得到中心点

对于下采样后的坐标，设为

R为下采样因子，利用

对图像进行标记，W和H分别为所述第一建筑构件图像的宽和高，在下采样[128,128]的图像中将标签图真实关键点以

的形式，用高斯核

将关键点分布到特征图上，δ_p是与目标大小W和H相关的标准差。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像，包括：

计算所述第一建筑构件图像的清晰度；

对所述第一建筑构件图像进行高通滤波处理，得到所述第二建筑构件图像，所述第二建筑构件图像的清晰度大于所述第一建筑构件图像的清晰度。

3.根据权利要求1所述的方法，其特征在于，所述位置信息包括所述每个构件在所述第一建筑构件图像中的中心点位置；所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果，包括：

根据所述每个构件所属的类别，为不同类别的构件分配标记颜色；

按照所述每个构件被分配到的标记颜色，以锚点的方式在所述每个构件的中心位置进行标记。

4.根据权利要求3所述的方法，其特征在于，所述按照所述每个构件被分配到的标记颜色，以锚点的方式在所述每个构件的中心位置进行标记，包括：

在检测到所述第一建筑构件图像中包括相同构件时，确定所述相同构件的数量；

对所述相同构件进行锚点标记时显示所述相同构件的数量。

5.根据权利要求4所述的方法，其特征在于，所述对所述相同构件进行锚点标记时显示所述相同构件的数量之后，所述方法还包括：

在检测到针对第一构件的第一预设操作时，保留所述第一构件的锚点标记，删除除所述第一构件之外的其他构件的锚点标记，所述第一构件包括至少一个构件。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果之后，所述方法还包括：

在获取到针对所述第一建筑构件图像的第二预设操作时，关闭所述第一建筑构件图像的目标检测结果显示；

在检测到针对所述第一建筑构件图像的第三预设操作时，恢复所述第一建筑构件图像的目标检测结果显示。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果之后，所述方法还包括：

在检测到针对第二构件的锚点的移动操作时，确定所述移动操作的目标位置是否满足预设条件；

若是，响应所述移动操作并将所述第二构件的锚点移动至所述目标位置。

8.一种构件识别装置，其特征在于，应用于应用服务器，所述构件识别装置包括检测单元、处理单元和显示单元，其中，

所述检测单元，用于在检测到针对第一建筑构件图像的目标检测请求时，对所述第一建筑构件图像进行图像预处理得到第二建筑构件图像；

所述处理单元，用于将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，所述目标检测结果包括针对所述第一建筑构件图像检测到的多个构件的位置信息，以及所述多个构件中每个构件对应的类别；

所述显示单元，用于显示所述第一建筑构件图像以及所述第一建筑构件图像的目标检测结果；

所述将第二建筑构件图像输入训练后的目标检测模型，得到所述第一建筑构件图像的目标检测结果，包括：生成热点图，以预测关键点；用损失函数进行训练；输出目标检测结果；其中，在训练过程中，对于每个标签图中的某一c类，将真实关键点p∈R²计算出来用于训练，对损失函数进行训练时，根据特点图得到Y_x,y,c，根据标签图得到中心点

对于下采样后的坐标，设为

R为下采样因子，利用

对图像进行标记，W和H分别为所述第一建筑构件图像的宽和高，在下采样[128,128]的图像中将标签图真实关键点以

的形式，用高斯核

将关键点分布到特征图上，δ_p是与目标大小W和H相关的标准差。

9.一种应用服务器，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

Images