CN114743062A - 一种建筑特征的识别方法及装置 - Google Patents
一种建筑特征的识别方法及装置 Download PDFInfo
- Publication number
- CN114743062A CN114743062A CN202011557545.4A CN202011557545A CN114743062A CN 114743062 A CN114743062 A CN 114743062A CN 202011557545 A CN202011557545 A CN 202011557545A CN 114743062 A CN114743062 A CN 114743062A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- preset
- processing
- loss
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 119
- 238000012549 training Methods 0.000 claims abstract description 83
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000011176 pooling Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 83
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000002002 slurry Substances 0.000 claims description 3
- 238000005498 polishing Methods 0.000 abstract description 15
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 241000700647 Variola virus Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011440 grout Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种建筑特征的识别方法及装置，该建筑特征的识别方法包括：获取包括多个训练标签的天花样本点云图像；所述多个训练标签对应于建筑特征；对天花样本点云图像进行预处理，得到多个调整点云子图像；根据预设的多层感知机对多个调整点云子图像进行特征维度扩展，得到第一中间特征；根据多个训练标签、预设的最大池化层以及预设的全连接层对第一中间特征进行处理，得到第二中间特征；根据预设的损失函数组对第二中间特征进行损失处理，得到建筑特征识别结果。可见，实施这种实施方式，能够通过独特的人工智能方式识别建筑特征，从而提高了建筑特征的获取精度，进而有利于天花打磨路径的生成。
Description
技术领域
本申请涉及图像识别技术领域，具体而言，涉及一种建筑特征的识别方法及装置。
背景技术
目前，越来越多的机器人投入了工程使用，为人们带来了巨大的便利。其中，在建筑领域天花拼缝打磨机器人的投入使用，不仅给人们带来了巨大的便利，同时还避免了高度作业给人们带来的安全隐患。然而，在实践中发现，目前的天花拼缝打磨机器人通常是根据天花打磨路径进行拼缝打磨的，而天花打磨路径又是基于天花拼缝的位置进行生成的，因此如何提高天花拼缝的获取精度成为了本领域技术人员亟待解决的问题之一。
发明内容
本申请实施例的目的在于提供一种建筑特征的识别方法及装置，能够通过独特的人工智能方式识别建筑特征，从而能够提高建筑特征中天花拼缝的获取精度，进而有利于天花打磨路径的生成。
本申请实施例第一方面提供了一种建筑特征的识别方法，包括：
获取包括多个训练标签的天花样本点云图像；所述多个训练标签对应于建筑特征；
对所述天花样本点云图像进行预处理，得到多个调整点云子图像；
根据预设的多层感知机对所述多个调整点云子图像进行特征维度扩展，得到第一中间特征；
根据所述多个训练标签、预设的最大池化层以及预设的全连接层对所述第一中间特征进行处理，得到第二中间特征；
根据预设的损失函数组对所述第二中间特征进行损失处理，得到建筑特征识别结果。
在上述实现过程中，该种建筑特征的识别方法可以优先获取包括多个训练标签的天花样本点云图像；再对天花样本点云图像进行预处理，得到多个调整点云子图像；然后再根据预设的多层感知机对多个调整点云子图像进行特征维度扩展，得到第一中间特征；再根据多个训练标签、预设的最大池化层以及预设的全连接层对第一中间特征进行处理，得到第二中间特征；最后再根据预设的损失函数组对第二中间特征进行损失处理，得到建筑特征识别结果。可见，实施这种实施方式，能够通过的多层感知机、最大池化层、全连接层以及损失函数对输入的天花点云图像进行处理，得到建筑特征识别结果，从而使得该方法能够通过人工智能的方式获取到更加准确的建筑特征结果。
进一步地，所述方法还包括：
根据预设的建筑信息模型和所述建筑特征识别结果，生成天花打磨路径。
在上述实现过程中，该方法在获取到建筑特征结果之后，还可以根据预设的建筑信息模型和建筑特征识别结果，生成天花打磨路径。可见，实施这种实施方式，能够基于更加准确的建筑特征识别结果获取到更加准确的天花打磨路径，从而提高天花打磨的效率与效果。
进一步地，所述对所述天花样本点云图像进行预处理，得到多个调整点云子图像的步骤包括：
对所述天花样本点云图像进行平均划分，得到多个均分点云子图像；
根据预设的三维点云处理网络对所述多个均分点云子图像进行坐标对齐处理，并得到多个调整点云子图像。
在上述实现过程中，该方法在对天花样本点云图像进行预处理，得到多个调整点云子图像的过程中可以优先根据面积平分方式对天花样本点云图像进行平均划分，得到S*S个均分点云子图像，以使均分点云子图像能够构成网格式的图像；然后再根据预设的三维点云处理网络对多个均分点云子图像进行坐标对齐处理，并得到多个调整点云子图像。可见，实施这种实施方式，能够获取到多个均分点云子图像，并进一步通过对齐处理来保证多个均分点云子图像之间的数据对齐，从而得到可靠的调整点云子图像，有利于后续步骤的进行。
进一步地，所述根据预设的损失函数组对所述第二中间特征进行损失处理，得到建筑特征识别结果的步骤包括：
根据预设的坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数对所述第二中间特征进行四重损失处理，得到建筑特征识别结果。
在上述实现过程中，该方法在根据预设的损失函数组对第二中间特征进行损失处理，得到建筑特征识别结果的过程中，可以根据预设的坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数对第二中间特征进行四重损失处理，得到建筑特征识别结果。可见，实施这种实施方式，能够通过四个损失函数对第二中间特征进行四重损失处理，从而得到更加客观准确的建筑特征识别结果。
进一步地，所述第二中间特征包括与所述天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，且所述多个训练标签包括与所述天花样本点云图像中的多个拼缝一一对应的拼缝包围矩形，其中，所述根据预设的坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数对所述第二中间特征进行四重损失处理，得到建筑特征识别结果的步骤包括：
提取所述第二中间特征包括的每个调整点云子图像中心的中心横坐标和中心纵坐标、所述训练候选矩形的宽度和高度、每个调整点云子图像中预测拼缝类型对应的预测类型概率以及所述训练候选矩形的置信度；
根据预设的坐标预测损失函数对所述中心横坐标和所述中心纵坐标进行损失处理，得到第一损失处理结果；
根据预设的边界预测损失函数对所述宽度和所述高度进行损失处理，得到第二损失处理结果；
根据预设的类别预测损失函数对所述预测类型概率进行损失处理，得到第三损失处理结果；
根据预设的置信度预测损失函数对所述置信度进行损失处理，得到第四损失处理结果；
根据所述第一损失处理结果、第二损失处理结果、第三损失处理结果以及第四损失处理结果，生成建筑特征识别结果；其中，
所述置信度计算公式如下：
p＝(K∩G)/(K∪G)；
p用于表示置信度；
K用于表示所述训练候选矩形的面积；
G用于表示所述拼缝包围矩形的面积。
在上述实现过程中，该方法对第二中间特征中的四类特征数据进行了分别的损失处理，并根据其损失处理的结果得到建筑特征识别结果。可见，实施这种实施方式，能够细化使用损失函数进行四重损失处理的过程层，从而使得获取到的建筑特征识别结果的精度更高；同时，使用置信度和置信度损失函数可以使得天花识别结果更具有客观性。
进一步地，所述多个训练标签与所述天花样本点云图像中的多个建筑特征一一对应；其中，训练标签包括建筑特征中拼缝的拼缝类型以及拼缝包围矩形的两个对角坐标，所述建筑特征包括天花拼缝、龙骨、溢浆、错台以及凸点。
在上述实现过程中，该方法可以通过输入特定数量与样式的训练标签来完成输入图像的标注，从而能够根据该些标签进行训练与识别，进而提高整体人工智能识别处理的效果。
进一步地，所述第二中间特征包括与所述天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，并且所述第二中间特征的维度为S*S*(B*5+C)，其中，
S*S为所述多个调整点云子图像的个数；
B为每个调整点云子图像包括的训练候选矩形的个数；
C为每个调整点云子图像中预测拼缝类型对应的预测类型概率。
在上述实现过程中，该方法能够限定第二中间特征的输出维度，从而使得第二中间特征符合预设的规定，以使后续的损失处理更加准确，进而能够提高该方法实行过程中的标准化，提高建筑特征的识别效果。
本申请实施例第二方面提供了一种建筑特征的识别装置，所述建筑特征的识别装置包括：
获取单元，用于获取包括多个训练标签的天花样本点云图像；所述多个训练标签对应于建筑特征；
预处理单元，用于对所述天花样本点云图像进行预处理，得到多个调整点云子图像；
扩维单元，用于根据预设的多层感知机对所述多个调整点云子图像进行特征维度扩展，得到第一中间特征；
处理单元，用于根据所述多个训练标签、预设的最大池化层以及预设的全连接层对所述第一中间特征进行处理，得到第二中间特征；
损失单元，用于根据预设的损失函数组对所述第二中间特征进行损失处理，得到建筑特征识别结果。
在上述实现过程中，该建筑特征的识别装置可以通过获取单元来获取包括多个训练标签的天花样本点云图像；通过预处理单元对天花样本点云图像进行预处理，得到多个调整点云子图像；通过扩维单元来根据预设的多层感知机对多个调整点云子图像进行特征维度扩展，得到第一中间特征；通过处理单元来根据多个训练标签、预设的最大池化层以及预设的全连接层对第一中间特征进行处理，得到第二中间特征；通过损失单元来根据预设的损失函数组对第二中间特征进行损失处理，得到建筑特征识别结果。可见，实施这种实施方式，能够通过的多层感知机、最大池化层、全连接层以及损失函数对输入的天花点云图像进行处理，得到建筑特征识别结果，从而使得该方法能够通过人工智能的方式获取到更加准确的建筑特征结果。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的建筑特征的识别方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的建筑特征的识别方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种建筑特征的识别方法的流程示意图；
图2为本申请实施例提供的另一种建筑特征的识别方法的流程示意图；
图3为本申请实施例提供的一种建筑特征的识别装置的结构示意图；
图4为本申请实施例提供的另一种建筑特征的识别装置的结构示意图；
图5为本申请实施例提供的一种与置信度计算过程相对应的置信度分析图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供了一种建筑特征的识别方法的流程示意图。该方法可以应用于对建筑特征进行识别的场景当中，具体的，该方法可以应用于在对建筑特征打磨路径进行规划之前获取建筑特征的位置或类型的时候。其中，该建筑特征的识别方法包括：
S101、获取包括多个训练标签的天花样本点云图像；多个训练标签对应于建筑特征。
本实施例中，多个训练标签与天花样本点云图像中的多个拼缝一一对应；其中，训练标签包括其对应拼缝的拼缝类型以及拼缝包围矩形的两个对角坐标，拼缝类型包括龙骨类型、溢浆类型、错台类型以及凸点类型。
本实施例中，天花样本点云图像可以为人工标记训练标签后的天花点云拼缝图像，其中，上述训练标签是在天花点云拼缝图像的点云上标记的。
在本实施例中，训练标签包括该拼缝的拼缝类型、包围该拼缝的拼缝包围矩形两个对角坐标(x1、y1)和(x2、y2)。其中，该拼缝包围矩形是包围该拼缝的最小矩形。
S102、对天花样本点云图像进行预处理，得到多个调整点云子图像。
本实施例中，预处理可以包括对图像的去噪处理，也可以包括对图像的归一化处理。
在本实施例中，该预处理过程包括对图像的分解处理与对图像的归一化处理。
在本实施例中，上述分解处理为对天花样本电源图像进行面积均分处理，以使天花样本点云图像可以被均分为S*S个相同面积的子图像。
S103、根据预设的多层感知机对多个调整点云子图像进行特征维度扩展，得到第一中间特征。
本实施例中，多个调整点云子图像的数量拟设为n，且由于维数只有xyz三维，因此多个调整点云子图像的数据量为n*3。为了体现出更多的特征，该步骤对多个调整点云子图像进行特征维度扩展处理，以使原来3维的扩展到1024维。
本实施例中，该步骤是共享权值的多层感知机(shared mlp)。
S104、根据多个训练标签、预设的最大池化层以及预设的全连接层对第一中间特征进行处理，得到第二中间特征。
本实施例中，第一中间特征的特征量为n*1024，但是由于输入点云的顺序多种多样，所以该步骤为了通过一个不随点云输入顺序改变的特征向量来描述而使用最大池化层来提取每一维中最大的特征，从而得到一个大小为1x1024的第二中间特征，进而能够保证数据唯一并统一数据格式，同时也能够满足神经网络的训练要求。
本实施例中，第二中间特征包括与天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，并且第二中间特征的维度为S*S*(B*5+C)，其中，
S*S为多个调整点云子图像的个数；
B为每个调整点云子图像包括的训练候选矩形的个数；
C为每个调整点云子图像中预测拼缝类型对应的预测类型概率。
在本实施例中，第二中间特征的维度为S*S*(B*5+C)可以立即为第二中间特征的维度为S*S*(B*5+1)，其中，“1”代表的是C，即这一维度用于表示每个调整点云子图像中预测拼缝类型对应的预测类型概率。
在本实施例中，预测拼缝类型可以包括龙骨类型、溢浆类型、错台类型、凸点类型，C代表该训练候选矩形中拼缝对应的预测类型概率。
在本实施例中，“5”代表是x，y，w，h，p。其中，x、y代表每个调整点云子图像的中心坐标，w、h代表训练候选矩形的宽度和高度，p代表该训练候选矩形的置信度。
在本实施例中，x、y还可以代表对应的训练候选矩形的中心坐标。
S105、根据预设的损失函数组对第二中间特征进行损失处理，得到建筑特征识别结果。
本实施例中，建筑特征识别结果至少包括建筑特征的类型、建筑特征的位置(如坐标)。
本申请实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本申请实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的建筑特征的识别方法，能够优先获取包括多个训练标签的天花样本点云图像；再对天花样本点云图像进行预处理，得到多个调整点云子图像；然后再根据预设的多层感知机对多个调整点云子图像进行特征维度扩展，得到第一中间特征；再根据多个训练标签、预设的最大池化层以及预设的全连接层对第一中间特征进行处理，得到第二中间特征；最后再根据预设的损失函数组对第二中间特征进行损失处理，得到建筑特征识别结果。可见，实施这种实施方式，能够通过的多层感知机、最大池化层、全连接层以及损失函数对输入的天花点云图像进行处理，得到建筑特征识别结果，从而使得该方法能够通过人工智能的方式获取到更加准确的建筑特征结果。
实施例2
请参看图2，图2为本申请实施例提供的一种建筑特征的识别方法的流程示意图。如图2所示，其中，该建筑特征的识别方法包括：
S201、获取包括多个训练标签的天花样本点云图像；所述多个训练标签对应于建筑特征。
本实施例中，多个训练标签与天花样本点云图像中的多个拼缝一一对应；其中，训练标签包括其对应拼缝的拼缝类型以及拼缝包围矩形的两个对角坐标，建筑特征包括天花拼缝、龙骨、溢浆、错台以及凸点等等。
S202、对天花样本点云图像进行平均划分，得到多个均分点云子图像。
本实施例中，该方法可以毒地天花样本点云图像平均划分成S*S个均分点云子图像(该过程可以类似于YOLO算法的处理过程)。其中，每个均分点云子图像都能够检测图像中是否包括拼缝，以及均分点云子图像包括中拼缝的拼缝类型是什么。
S203、根据预设的三维点云处理网络对多个均分点云子图像进行坐标对齐处理，并得到多个调整点云子图像。
本实施例中，均分点云子图像在空间中经过一定的刚性变化(旋转或平移)可能会导致坐标发生变化；因此，为了保证均分点云子图像的旋转不变性，该方法使用T-Net网络(即三维点云处理网络)对均分点云子图像进行旋转处理，以使均分点云子图像处于最佳角度，从而保证数据对齐。
S204、根据预设的多层感知机对多个调整点云子图像进行特征维度扩展，得到第一中间特征。
S205、根据多个训练标签、预设的最大池化层以及预设的全连接层对第一中间特征进行处理，得到第二中间特征。
本实施例中，第二中间特征包括与天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，并且第二中间特征的维度为S*S*(B*5+C)，其中，
S*S为多个调整点云子图像的个数；
B为每个调整点云子图像包括的训练候选矩形的个数；
C为每个调整点云子图像中预测拼缝类型对应的预测类型概率。
S206、根据预设的坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数对第二中间特征进行四重损失处理，得到建筑特征识别结果。
作为一种可选的实施方式，第二中间特征包括与天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，且多个训练标签包括与天花样本点云图像中的多个拼缝一一对应的拼缝包围矩形，其中，根据预设的坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数对第二中间特征进行四重损失处理，得到建筑特征识别结果的步骤包括：
提取第二中间特征包括的每个调整点云子图像中心的中心横坐标和中心纵坐标、训练候选矩形的宽度和高度、每个调整点云子图像中预测拼缝类型对应的预测类型概率以及训练候选矩形的置信度；
根据预设的坐标预测损失函数对中心横坐标和中心纵坐标进行损失处理，得到第一损失处理结果；
根据预设的边界预测损失函数对宽度和高度进行损失处理，得到第二损失处理结果；
根据预设的类别预测损失函数对预测类型概率进行损失处理，得到第三损失处理结果；
根据预设的置信度预测损失函数对置信度进行损失处理，得到第四损失处理结果；
根据第一损失处理结果、第二损失处理结果、第三损失处理结果以及第四损失处理结果，生成建筑特征识别结果；其中，
置信度计算公式如下：
p＝(K∩G)/(K∪G)；
p用于表示置信度；
K用于表示训练候选矩形的面积；
G用于表示拼缝包围矩形的面积。
请参阅图5，图5是一种与上述置信度计算公式相对应的置信度分析图。其中，K用于表示训练候选矩形的面积，G用于表示拼缝包围矩形的面积，黑色部分用于表示(K∩G)。
本实施例中，在反向传播的过程中，该方法使用四个损失函数来修正神经网络中的参数。其中，该四个损失函数包括坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数。
在本实施例中，坐标预测损失函数用于根据拼缝包围矩形的中心坐标与训练候选矩形的中心坐标的差值的平方和进行损失计算处理。
在本实施例中，边界预测损失函数用于根据训练候选矩形的宽高进行损失计算处理。
在本实施例中，类别预测损失函数用于对预测拼缝类型和预测类型概率进行损失计算处理。
在本实施例中，置信度预测损失函数用于对置信度进行损失处理。
S207、根据预设的建筑信息模型和建筑特征识别结果，生成天花打磨路径。
本实施例中，在获取到建筑特征识别结果之后，该方法可以对建筑特征进行识别并分类标记得到带有拼缝类型以及拼缝位置坐标的json文件，然后再在预设的建筑信息模型(BIM模型)中输入该json文件，即可生成混凝土天花打磨机器人可用的天花打磨路径。
可见，实施本实施例所描述的建筑特征的识别方法，能够通过的多层感知机、最大池化层、全连接层以及损失函数对输入的天花点云图像进行处理，得到建筑特征识别结果，从而使得该方法能够通过人工智能的方式获取到更加准确的建筑特征结果。
实施例3
请参看图3，图3为本申请实施例提供的一种建筑特征的识别装置的结构示意图。如图3所示，该建筑特征的识别装置包括：
获取单元310，用于获取包括多个训练标签的天花样本点云图像；多个训练标签对应于建筑特征；
预处理单元320，用于对天花样本点云图像进行预处理，得到多个调整点云子图像；
扩维单元330，用于根据预设的多层感知机对多个调整点云子图像进行特征维度扩展，得到第一中间特征；
处理单元340，用于根据多个训练标签、预设的最大池化层以及预设的全连接层对第一中间特征进行处理，得到第二中间特征；
损失单元350，用于根据预设的损失函数组对第二中间特征进行损失处理，得到建筑特征识别结果。
本申请实施例中，对于建筑特征的识别装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的建筑特征的识别装置，能够通过的多层感知机、最大池化层、全连接层以及损失函数对输入的天花点云图像进行处理，得到建筑特征识别结果，从而使得该方法能够通过人工智能的方式获取到更加准确的建筑特征结果。
实施例4
请一并参阅图4，图4是本申请实施例提供的一种建筑特征的识别装置的结构示意图。其中，图4所示的建筑特征的识别装置是由图3所示的建筑特征的识别装置进行优化得到的。如图4所示，建筑特征的识别装置还可以包括：
生成单元360，用于根据预设的建筑信息模型和建筑特征识别结果，生成天花打磨路径。
作为一种可选的实施方式，预处理单元320包括：
第一子单元321，用于对天花样本点云图像进行平均划分，得到多个均分点云子图像；
第二子单元322，用于根据预设的三维点云处理网络对多个均分点云子图像进行坐标对齐处理，并得到多个调整点云子图像。
作为一种可选的实施方式，损失单元350具体用于根据预设的坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数对第二中间特征进行四重损失处理，得到建筑特征识别结果。
作为一种可选的实施方式，第二中间特征包括与天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，且多个训练标签包括与天花样本点云图像中的多个拼缝一一对应的拼缝包围矩形，其中，损失单元350包括：
第三子单元351，用于提取第二中间特征包括的每个调整点云子图像中心的中心横坐标和中心纵坐标、训练候选矩形的宽度和高度、每个调整点云子图像中预测拼缝类型对应的预测类型概率以及训练候选矩形的置信度；
第四子单元352，用于根据预设的坐标预测损失函数对中心横坐标和中心纵坐标进行损失处理，得到第一损失处理结果；
第五子单元353，用于根据预设的边界预测损失函数对宽度和高度进行损失处理，得到第二损失处理结果；
第六子单元354，用于根据预设的类别预测损失函数对预测类型概率进行损失处理，得到第三损失处理结果；
第七子单元355，用于根据预设的置信度预测损失函数对置信度进行损失处理，得到第四损失处理结果；
第八子单元356，用于根据第一损失处理结果、第二损失处理结果、第三损失处理结果以及第四损失处理结果，生成建筑特征识别结果；其中，
置信度计算公式如下：
p＝(K∩G)/(K∪G)；
p用于表示置信度；
K用于表示训练候选矩形的面积；
G用于表示拼缝包围矩形的面积。
作为一种可选的实施方式，多个训练标签与天花样本点云图像中的多个拼缝一一对应；其中，训练标签包括其对应拼缝的拼缝类型以及拼缝包围矩形的两个对角坐标，所述建筑特征包括天花拼缝、龙骨、溢浆、错台以及凸点。
作为一种可选的实施方式，第二中间特征包括与天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，并且第二中间特征的维度为S*S*(B*5+C)，其中，
S*S为多个调整点云子图像的个数；
B为每个调整点云子图像包括的训练候选矩形的个数；
C为每个调整点云子图像中预测拼缝类型对应的预测类型概率。
本申请实施例中，对于建筑特征的识别装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的建筑特征的识别装置，能够通过的多层感知机、最大池化层、全连接层以及损失函数对输入的天花点云图像进行处理，得到建筑特征识别结果，从而使得该方法能够通过人工智能的方式获取到更加准确的建筑特征结果。
本申请实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本申请实施例1或实施例2中任一项建筑特征的识别方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中任一项建筑特征的识别方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种建筑特征的识别方法，其特征在于，所述方法包括：
获取包括多个训练标签的天花样本点云图像；所述多个训练标签对应于建筑特征；
对所述天花样本点云图像进行预处理，得到多个调整点云子图像；
根据预设的多层感知机对所述多个调整点云子图像进行特征维度扩展，得到第一中间特征；
根据所述多个训练标签、预设的最大池化层以及预设的全连接层对所述第一中间特征进行处理，得到第二中间特征；
根据预设的损失函数组对所述第二中间特征进行损失处理，得到建筑特征识别结果。
2.根据权利要求1所述的建筑特征的识别方法，其特征在于，所述对所述天花样本点云图像进行预处理，得到多个调整点云子图像的步骤包括：
对所述天花样本点云图像进行平均划分，得到多个均分点云子图像；
根据预设的三维点云处理网络对所述多个均分点云子图像进行坐标对齐处理，并得到多个调整点云子图像。
3.根据权利要求1所述的建筑特征的识别方法，其特征在于，所述根据预设的损失函数组对所述第二中间特征进行损失处理，得到建筑特征识别结果的步骤包括：
根据预设的坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数对所述第二中间特征进行四重损失处理，得到建筑特征识别结果。
4.根据权利要求3所述的建筑特征的识别方法，其特征在于，所述第二中间特征包括与所述天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，且所述多个训练标签包括与所述天花样本点云图像中的多个拼缝一一对应的拼缝包围矩形，其中，所述根据预设的坐标预测损失函数、边界预测损失函数、类别预测损失函数以及置信度预测损失函数对所述第二中间特征进行四重损失处理，得到建筑特征识别结果的步骤包括：
提取所述第二中间特征包括的每个调整点云子图像中心的中心横坐标和中心纵坐标、所述训练候选矩形的宽度和高度、每个调整点云子图像中预测拼缝类型对应的预测类型概率以及所述训练候选矩形的置信度；
根据预设的坐标预测损失函数对所述中心横坐标和所述中心纵坐标进行损失处理，得到第一损失处理结果；
根据预设的边界预测损失函数对所述宽度和所述高度进行损失处理，得到第二损失处理结果；
根据预设的类别预测损失函数对所述预测类型概率进行损失处理，得到第三损失处理结果；
根据预设的置信度预测损失函数对所述置信度进行损失处理，得到第四损失处理结果；
根据所述第一损失处理结果、第二损失处理结果、第三损失处理结果以及第四损失处理结果，生成建筑特征识别结果；其中，
所述置信度计算公式如下：
p＝(K∩G)/(K∪G)；
p用于表示置信度；
K用于表示所述训练候选矩形的面积；
G用于表示所述拼缝包围矩形的面积。
5.根据权利要求1所述的建筑特征的识别方法，其特征在于，所述多个训练标签与所述天花样本点云图像中的多个拼缝一一对应；其中，训练标签包括其对应拼缝的拼缝类型以及拼缝包围矩形的两个对角坐标，所述建筑特征包括天花拼缝、龙骨、溢浆、错台以及凸点。
6.根据权利要求1所述的建筑特征的识别方法，其特征在于，所述第二中间特征包括与所述天花样本点云图像中的多个拼缝一一对应的多个训练候选矩形，并且所述第二中间特征的维度为S*S*(B*5+C)，其中，
S*S为所述多个调整点云子图像的个数；
B为每个调整点云子图像包括的训练候选矩形的个数；
C为每个调整点云子图像中预测拼缝类型对应的预测类型概率。
7.一种建筑特征的识别装置，其特征在于，所述建筑特征的识别装置包括：
获取单元，用于获取包括多个训练标签的天花样本点云图像；所述多个训练标签对应于建筑特征；
预处理单元，用于对所述天花样本点云图像进行预处理，得到多个调整点云子图像；
扩维单元，用于根据预设的多层感知机对所述多个调整点云子图像进行特征维度扩展，得到第一中间特征；
处理单元，用于根据所述多个训练标签、预设的最大池化层以及预设的全连接层对所述第一中间特征进行处理，得到第二中间特征；
损失单元，用于根据预设的损失函数组对所述第二中间特征进行损失处理，得到建筑特征识别结果。
8.根据权利要求7所述的建筑特征的识别装置，其特征在于，所述预处理单元包括：
第一子单元，用于对所述天花样本点云图像进行平均划分，得到多个均分点云子图像；
第二子单元，用于根据预设的三维点云处理网络对所述多个均分点云子图像进行坐标对齐处理，并得到多个调整点云子图像。
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至6中任一项所述的建筑特征的识别方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至6任一项所述的建筑特征的识别方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011557545.4A CN114743062A (zh) | 2020-12-24 | 2020-12-24 | 一种建筑特征的识别方法及装置 |
| PCT/CN2021/127004 WO2022134842A1 (zh) | 2020-12-24 | 2021-10-28 | 一种建筑特征的识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011557545.4A CN114743062A (zh) | 2020-12-24 | 2020-12-24 | 一种建筑特征的识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114743062A true CN114743062A (zh) | 2022-07-12 |
Family
ID=82157342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011557545.4A Pending CN114743062A (zh) | 2020-12-24 | 2020-12-24 | 一种建筑特征的识别方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114743062A (zh) |
| WO (1) | WO2022134842A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115293461B (zh) * | 2022-09-28 | 2022-12-16 | 四川中电启明星信息技术有限公司 | 建筑体供暖碳排放预测方法及系统 |
| CN115588083B (zh) * | 2022-11-25 | 2023-04-28 | 天津风霖物联网科技有限公司 | 一种基于bim技术的房屋安全监测系统及方法 |
| CN117036965B (zh) * | 2023-10-08 | 2024-01-05 | 四川正路建设工程检测咨询有限公司 | 桥梁维修设备控制方法、电子设备和计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110632608A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种基于激光点云的目标检测方法和装置 |
| CN111382796A (zh) * | 2020-03-09 | 2020-07-07 | 广东博智林机器人有限公司 | 图像特征的提取方法、装置、设备及存储介质 |
| CN111814245A (zh) * | 2020-09-02 | 2020-10-23 | 广东博智林机器人有限公司 | 天花拼缝布局的获取方法、装置、电子设备及存储介质 |
| CN111931790A (zh) * | 2020-08-10 | 2020-11-13 | 武汉慧通智云信息技术有限公司 | 一种激光点云提取方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650278B1 (en) * | 2017-07-21 | 2020-05-12 | Apple Inc. | Semantic labeling of point clouds using images |
| CN109447033A (zh) * | 2018-11-14 | 2019-03-08 | 北京信息科技大学 | 基于yolo的车辆前方障碍物检测方法 |
| CN110770791A (zh) * | 2018-11-22 | 2020-02-07 | 深圳市大疆创新科技有限公司 | 一种基于点云地图的图像边界获取方法、设备及飞行器 |
| CN111197979B (zh) * | 2019-06-20 | 2022-07-26 | 广东领慧建筑科技有限公司 | 一种基于点云数据分析的建筑检测方法及装置 |
| CN110490100A (zh) * | 2019-07-31 | 2019-11-22 | 中铁二院工程集团有限责任公司 | 基于深度学习的岩土自动识别定名方法及系统 |
| CN110889416B (zh) * | 2019-12-13 | 2023-04-18 | 南开大学 | 一种基于级联改良网络的显著性物体检测方法 |
-
2020
- 2020-12-24 CN CN202011557545.4A patent/CN114743062A/zh active Pending
-
2021
- 2021-10-28 WO PCT/CN2021/127004 patent/WO2022134842A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110632608A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种基于激光点云的目标检测方法和装置 |
| CN111382796A (zh) * | 2020-03-09 | 2020-07-07 | 广东博智林机器人有限公司 | 图像特征的提取方法、装置、设备及存储介质 |
| CN111931790A (zh) * | 2020-08-10 | 2020-11-13 | 武汉慧通智云信息技术有限公司 | 一种激光点云提取方法及装置 |
| CN111814245A (zh) * | 2020-09-02 | 2020-10-23 | 广东博智林机器人有限公司 | 天花拼缝布局的获取方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022134842A1 (zh) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114743062A (zh) | 一种建筑特征的识别方法及装置 | |
| Chen et al. | Principal axes descriptor for automated construction-equipment classification from point clouds | |
| US9349076B1 (en) | Template-based target object detection in an image | |
| US20120263352A1 (en) | Methods and systems for verifying automatic license plate recognition results | |
| CN110414502B (zh) | 图像处理方法及装置、电子设备和计算机可读介质 | |
| JP2010218051A (ja) | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム | |
| CN114359974B (zh) | 一种人体姿态的检测方法、设备及存储介质 | |
| CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| CN111859002B (zh) | 兴趣点名称生成方法及装置、电子设备和介质 | |
| CN115331263B (zh) | 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 | |
| JP2018055199A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN115908988A (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
| EP3410389A1 (en) | Image processing method and device | |
| CN115018910A (zh) | 点云数据中目标的检测方法、装置和计算机可读存储介质 | |
| JP2012123631A (ja) | 注目領域検出方法、注目領域検出装置、及びプログラム | |
| CN115409951B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Mohammed et al. | Artificial neural networks as decision-makers for stereo matching | |
| CN112597956A (zh) | 基于人体锚点集合与感知增强网络的多人姿态估计方法 | |
| CN117422851A (zh) | 虚拟换衣方法及其装置、电子设备 | |
| CN113505716B (zh) | 静脉识别模型的训练方法、静脉图像的识别方法及装置 | |
| CN112861678A (zh) | 一种图像识别方法及装置 | |
| El Sayed et al. | 3D face detection based on salient features extraction and skin colour detection using data mining | |
| CN111461130A (zh) | 一种高精度图像语义分割算法模型及分割方法 | |
| CN114419451B (zh) | 电梯内外识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40072662 Country of ref document: HK |