CN113627257A - 检测方法、检测系统、设备和存储介质 - Google Patents

检测方法、检测系统、设备和存储介质 Download PDF

Info

Publication number
CN113627257A
CN113627257A CN202110779605.5A CN202110779605A CN113627257A CN 113627257 A CN113627257 A CN 113627257A CN 202110779605 A CN202110779605 A CN 202110779605A CN 113627257 A CN113627257 A CN 113627257A
Authority
CN
China
Prior art keywords
detection
target
building
image
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110779605.5A
Other languages
English (en)
Inventor
崔淼
陈成才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoi Robot Technology Co Ltd
Original Assignee
Shanghai Xiaoi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoi Robot Technology Co Ltd filed Critical Shanghai Xiaoi Robot Technology Co Ltd
Priority to CN202110779605.5A priority Critical patent/CN113627257A/zh
Publication of CN113627257A publication Critical patent/CN113627257A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

一种检测方法、检测系统、设备和存储介质,方法包括:获取具有图框的待测建筑图纸;进行图框检测,获得具有图框的图框检测图像;进行第一空间分割,获得多个空间区域图像;对空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,第一目标图像中有目标建筑构件;利用第一目标图像进行尺寸检测,获得目标建筑构件的尺寸;对待测建筑图纸进行第一评估,判断目标建筑构件的尺寸是否符合尺寸规格。本发明通过先进行分割再进行目标检测的方式,有利于精确确定目标建筑构件的位置和轮廓,从而降低漏检的概率,并精准测得目标建筑构件的尺寸,进而提高检测精度;相应能够实现人工智能检测,降低对专业人员进行复审的需求,提高了检测流程速度。

Description

检测方法、检测系统、设备和存储介质
技术领域
本发明实施例涉及图像处理技术领域,尤其涉及一种检测方法、检测系统、设备和存储介质。
背景技术
随着检测技术的发展,越来越多的工业生产领域开始注重质量检测。建筑图纸的设计、审查是建筑项目开发流程中的重要环节,图纸的质量将直接影响到项目进度、项目成本和项目质量,因此,为了确保人们的安全,对建筑图纸的审核变得尤为重要。
为保证建筑图纸的质量,审图专家通常需要花费大量的精力来进行图纸审核,这相应对用于提升审图效率的工具提出了强烈的诉求。因此,基于人工智能的审图技术逐渐受到重视。
但是,相较于医疗、金融、家电产业而言,建筑图纸结合人工智能(AI)的技术起步较晚,导致检测精度和检测流程速度仍有待提高。
发明内容
本发明实施例解决的问题是提供一种检测方法、检测系统、设备和存储介质,提高检测精度和检测流程速度。
为解决上述问题,本发明实施例提供一种检测方法,包括:获取待测建筑图纸,所述待测建筑图纸具有图框;对所述待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像;对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像;对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件;利用所述第一目标图像,对所述目标建筑构件进行尺寸检测,获得所述目标建筑构件的尺寸;根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估,判断所述目标建筑构件的尺寸是否符合尺寸规格。
相应的,本发明实施例还提供一种检测系统,包括:图纸获取模块,用于获取待测建筑图纸,所述待测建筑图纸具有图框;图框检测模块,用于对所述待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像;第一空间分割模块,用于对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像;目标检测模块,用于对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件;第一尺寸检测模块,用于利用所述第一目标图像,对所述目标建筑构件进行尺寸检测,获得所述目标建筑构件的尺寸;第一评估模块,用于根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估,判断所述目标建筑构件的尺寸是否符合尺寸规格。
相应地,本发明实施例还提供一种设备,包括至少一个存储器和至少一个处理器,所述存储器存储有一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现本发明实施例所述的检测方法。
相应地,本发明实施例还提供一种存储介质,所述存储介质存储有一条或多条计算机指令,所述一条或多条计算机指令用于实现本发明实施例所述的检测方法。
与现有技术相比,本发明实施例的技术方案具有以下优点:
本发明实施例提供的检测方法中,对待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像后,先对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像,再对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件;其中,由于目标建筑构件较小,因此,与直接利用图框检测图像对所述目标建筑构件进行尺寸检测的方案相比,本发明实施例通过先进行分割、再进行目标检测的方式,有利于精确确定目标建筑构件的位置和轮廓,从而降低漏检的概率,并精准测得目标建筑构件的尺寸,进而提高检测精度;相应的,在检测过程中,能够实现人工智能检测,降低对专业人员进行复审的需求,从而提高了检测流程速度。
可选方案中,所述建筑构件类别为楼梯区域,所述检测方法还包括:利用所述第一目标图像,对所述待测建筑图纸中与所述第一目标图像相对应的区域进行第二空间分割,获得具有楼梯井的第二目标图像;与直接利用图框检测图像对楼梯井进行尺寸检测的方案相比,本发明实施例基于楼梯区域进一步进行空间分割,以分割出楼梯井,有利于精确确定楼梯井的位置和轮廓,从而降低漏检的概率,并精准测得楼梯井的尺寸,进而提高检测精度;相应的,在检测过程中,能够实现人工智能检测,降低对专业人员进行复审的需求,从而提高了检测流程速度。
附图说明
图1是本发明检测方法一实施例的流程示意图;
图2为图1中步骤S2提供的待测建筑图纸的示意图;
图3为图1中步骤S4的图框检测图像的示意图;
图4是图1中步骤S6的网络架构一实施例的示意图;
图5是本发明检测系统一实施例的功能框图;
图6是本发明一实施例所提供的设备的硬件结构图。
具体实施方式
由背景技术可知,基于人工智能的审图技术仍不是很成熟。
具体地,目前的检测方法主要是采用经典深度学习目标检测算法直接对建筑图纸进行检测。由于建筑构件比较复杂,且相对于整个建筑图纸,建筑构件的目标比较小,则容易产生漏检或者检测误差大的问题,从而导致基于人工智能的检测精度较低。
这相应导致在审图过程中,还需要专业的审图专家进行辅助检测,从而难以提高检测流程速度。
为了解决所述技术问题,本发明实施例提供一种检测方法,对待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像后,先对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像,再对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件;其中,由于目标建筑构件较小,因此,与直接利用图框检测图像对所述目标建筑构件进行尺寸检测的方案相比,本发明实施例通过先进行分割、再进行目标检测的方式,有利于精确确定目标建筑构件的位置和轮廓,从而降低漏检的概率,并精准测得目标建筑构件的尺寸,进而提高检测精度;相应的,在检测过程中,能够实现人工智能检测,降低对专业人员进行复审的需求,从而提高了检测流程速度。
参考图1,示出了本发明检测方法一实施例的流程示意图。所述检测方法包括以下基本步骤:
步骤S1:获取待测建筑图纸,所述待测建筑图纸具有图框;
步骤S2:对所述待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像;
步骤S3:对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像;
步骤S4:对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件;
步骤S5:利用所述第一目标图像,对所述目标建筑构件进行尺寸检测,获得所述目标建筑构件的尺寸;
步骤S6:根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估,判断所述目标建筑构件的尺寸是否符合尺寸规格。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
结合参考图2,图2为图1中步骤S2提供的待测建筑图纸的示意图,执行步骤S2,获取待测建筑图纸100,所述待测建筑图纸100具有图框20。
后续通过对所述待测建筑图纸100进行检测,从而检测所述待测建筑图纸100的质量。
本实施例中,所述检测方法为基于人工智能的检测方法,因此,所述检测方法采用训练好的机器学习模型进行检测。作为一种示例,所述机器学习模型为卷积神经网络(Convolutional Neural Networks,CNN)。
所述待测建筑图纸100为工程建筑图纸,用于建造目标建筑物;其中,目标建筑物可以是各种类型的建筑物,例如,桥梁、堤坝或住宅等。
本实施例中,所述待测建筑图纸100为住宅的建筑图纸。作为一种示例,所述待测建筑图纸100为CAD建筑图纸。
本实施例中,所述待测建筑图纸100具有图框(drawing frame)20。图框是指工程制图中图纸上限定绘图区域的线框,图纸上的图框通常采用粗实线表示。
结合参考图1,本实施例中,在获取所述待测建筑图纸100之前,所述检测方法还包括:执行步骤S1,提供原始建筑图纸,所述原始建筑图纸具有标记信息。
具体地,所述标记信息包括文字信息,所述文字信息包括楼层层数。
需要说明的是,所述标记信息还可以包括其他类型的信息,例如,辅助线等。
相应的,获取待测建筑图纸100的步骤包括:对所述原始建筑图纸进行图纸预处理,用于隐藏所述原始建筑图纸的标记信息。
通过先进行图纸预处理,隐藏所述原始建筑图纸的标记信息,获取不具有标记信息的待测建筑图纸100,从而去除干扰信息,进而有利于提高后续的检测精度。
相应的,隐藏标记信息后的原始建筑图纸用于作为待测建筑图纸100,所述原始建筑图纸和待测建筑图纸100中具有相同的建筑构件,所述原始建筑图纸和待测建筑图纸100的区别仅在于标记信息。
具体地,所述原始建筑图纸也为CAD建筑图纸,因此可以利用CAD软件,根据CAD建筑图纸的图层把标记信息隐藏。
本实施例中,所述检测方法还包括:执行步骤S3,对所述原始建筑图纸的文字信息进行文字特征提取,用于获取所述待测建筑图纸100的楼层层数。
后续在对所述待测建筑图纸100进行第一评估时,不同的楼层层数具有相对应的评估标准,因此,通过获取所述待测建筑图纸100的楼层层数,以便后续比较所述待测建筑图纸100的楼层层数与标准楼层层数,从而确定评估标准。
例如,当所述待测建筑图纸100的楼层层数小于标准楼层层数时,评估标准为判断目标建筑构件的尺寸是否符合第一尺寸规格,当所述待测建筑图纸100的楼层层数大于或等于标准楼层层数时,评估标准为判断目标建筑构件的尺寸是否符合第二尺寸规格。
具体地,采用自然语言处理技术,对所述原始建筑图纸的文字信息进行文字特征提取。
结合参考图3,图3为图1中步骤S4的图框检测图像的示意图,执行步骤S4,对所述待测建筑图纸100进行图框检测,获得具有所述图框20的图框检测图像30。
通过获得具有所述图框20的图框检测图像30,从而确定图框20的在所述待测建筑图纸100中的位置,进而为后续对所述待测建筑图纸100中与所述图框检测图像30相对应的区域进行第一空间分割做准备。
本实施例中,所述图框检测图像30指的是能够被卷积神经网络识别和处理的图像。
具体地,对所述待测建筑图纸100进行图框检测的步骤包括:对所述待测建筑图纸100进行第一卷积神经网络处理,获得所述图框20内部的基本特征,作为第一特征图。
通过获得所述图框20内部的基本特征(例如,几何特征、颜色特征、纹理特征等),从而为后续进一步提取更抽象、语义更强的高级别特征或细节特征做准备。
需要说明的是,所述图框检测图像30可以通过数据进行表示,具体地,所述图框检测图像30输入网络时的数据为像素值矩阵,矩阵的各元素为图像中代表不同灰度的像素值。因此,通过卷积神经网络可以对像素值矩阵中的特征(feature)进行提取和学习,从而获得所述图框20内部的基本特征。
所述第一卷积神经网络处理采用的网络为轻量级骨干网络,具体可以包括MobilenetV3网络或EfficientNetV2网络。
本实施例中,所述第一卷积神经网络处理采用的网络为MobilenetV3网络。
MobilenetV3网络是一种轻量级骨干网络,有利于在提高网络对图框检测图像30的处理速度的同时,提高网络的准确率。
具体地,MobileNetV3综合了三种模型的思想:MobileNetV1的深度可分离卷积(depthwise separable convolutions)、MobileNetV2的具有线性瓶颈的逆残差结构(theinverted residual with linear bottleneck)以及MnasNet的基于squeeze andexcitation结构的轻量级注意力模型(SE),并减掉了MobileNetV2中间的3x3卷积和1x1卷积,在减少计算量的同时确保网络的准确率,同时采用h-swish激活函数替代原来的swish函数,以减小计算量,且有效提高了网络的准确率。
对所述待测建筑图纸100进行图框检测的步骤还包括:在所述第一卷积神经网络处理后,对所述第一特征图进行第二卷积神经网络处理,获得所述图框内部的细节特征,所述第二卷积神经网络处理比所述第一卷积神经网络处理的层次浅。
浅层的卷积神经网络的感受野(receptive field)较小,细节比较丰富,且分辨率比较大。其中,感受野指的是卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。
因此,通过采用层次更浅的卷积神经网络进行第二卷积神经网络处理,第二卷积神经网络处理的感受野较小,因而能够获得更抽象、语义更强的高级别特征图,而且,像素值矩阵的每个像素点对应的感受野重叠区域较小,因而能够得到高分辨率的特征表示,因此,通过采用第二卷积神经网络处理,使得输出的特征图能够体现语义信息特征等细节特征。
本实施例中,所述第二卷积神经网络处理采用的网络为PANet网络(Pathaggregation network,路径聚合网络)。
PANet网络的主要网络架构是在FPN(Feature Pyramid Network,特征金字塔)的基础上,添加了Bottom-Up Path Augmentation(自底向上路径增强)、Adaptive FeaturePooling(自适应特征池)和Fully-Connected Fusion(全连接层融合)。
通过选用PANet网络,先自顶向下传达强语义特征,再自底向上传达强定位特征,从不同的主干层对不同的检测层进行参数聚合,从而通过反复提取特征,提高特征提取的能力。
因此,本实施例中,通过依次进行第一卷积神经网络处理和第二卷积神经网络处理,从而能够精确提取所述图框20中的小目标特征。例如,对于整个待测建筑图纸100而言,楼梯的目标较小。
对所述待测建筑图纸100进行图框检测的步骤还包括:对所述待测建筑图纸100进行第三卷积神经网络处理,获得所述图框20的边缘特征。
通过进行第三卷积神经网络处理,以增强图框的边缘特征,以便基于所述边缘特征确定所述图框20在所述待测建筑图纸100中的原始位置坐标,相应的,后续可以基于所述图框20在所述待测建筑图纸100中的原始位置坐标,对所述待测建筑图纸100进行裁剪,从而对所述待测建筑图纸100中与所述图框检测图像30所对应的区域进行第一空间分割,获得多个空间区域图像。
本实施例中,所述第三卷积神经网络处理采用的网络为SPPNet网络(spatialphramid pooling network,空间金字塔池化网络)。
SPPNet网络中,无需对候选区域(region of interest,ROI)进行变形缩放,而是采用不同尺寸的原始图像直接输入到卷积层,输出不同尺寸的特征图(feature map),并在特征图上找到与原始图片上的候选区域对应的映射块,输入SPP,从而得到相同尺度的向量,最后输入到全连接层(fully connected layers,FC)。因此,通过采用SPPNet网络,能够避免图像扭曲的问题,进而提高网络的精度。
而且,SPPNet网络引入空间金字塔池化层,只对原始图片提取一次特征,SPP放在卷积层之后,有效解决了卷积层的重复计算问题,相应节省了计算量,从而显著提高处理速度。
需要说明的是,在实际的检测过程中,可以在进行第一卷积神经网络处理和第二卷积神经网络处理之后,进行第三卷积神经网络处理;也可以在进行第三卷积神经网络处理之后,进行第一卷积神经网络处理。
继续参考图1,执行步骤S5,对所述待测建筑图纸100中与所述图框检测图像30相对应的区域进行第一空间分割,获得多个空间区域图像。
通过进行第一空间分割,为后续对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像做准备。
而且,通过对所述待测建筑图纸100中与所述图框检测图像30相对应的区域进行第一空间分割,使得所述空间区域图像为通过对原图(即待测建筑图纸100)获得的,从而提高了空间区域图像的分辨率,进而有利于提高后续的检测精度。
其中,由于目标建筑构件在待测建筑图纸100中的目标较小,因此,与直接利用图框检测图像对所述目标建筑构件进行尺寸检测的方案相比,本实施例通过先进行分割、再进行目标检测的方式,有利于精确确定目标建筑构件的位置和轮廓,从而降低漏检的概率,并精准测得目标建筑构件的尺寸,进而提高检测精度;相应的,在检测过程中,能够实现人工智能检测,降低对专业人员进行复审的需求,从而提高了检测流程速度。
本实施例中,采用实例分割(real-time instance segmentation)模型对所述待测建筑图纸100中与所述图框检测图像30相对应的区域进行第一空间分割。
实例分割包含目标检测(object detection)和语义分割(semanticsegmentation)的过程,机器模型自动采用目标检测方法从图像中框出不同实例,再用语义分割方法预测出图像的每一个像素点属于哪一类的标签,从而在语义分割的基础上,对属于相同类别的不同实例进行区分,进而有利于提高后续目标检测的准确度,相应提高对待测建筑图纸100的检测精度。
例如,所述待测建筑图纸100为住宅的建筑图纸,通过采用实例分割模型对所述待测建筑图纸100中与所述图框检测图像30相对应的区域进行第一空间分割,从而分割出不同类型的空间区域,例如,房间区域、楼梯区域等。
具体地,所述第一空间分割的步骤包括:利用残差网络提取所述图框检测图像的空间特征,作为第二特征图;对所述第二特征图添加空间注意力导向掩膜(spatialattention-guided mask,SAG-mask);对所述第二特征图添加空间注意力导向掩膜后,对所述第二特征图进行第四卷积神经网络处理,提取所述第二特征图的空间边界特征,获得多个边界框;进行所述第四卷积神经网络处理后,利用非极大值抑制(non-maximumsuppression,NMS)算法,去除冗余的边界框,保留剩余的边界框作为目标边界框。
本实施例中,利用残差网络(ResNet),提取图框20中的几何特征,从而获得所述图框检测图像的空间特征。
需要说明的是,特征的“级别”随着网络深度的加深而变高,网络的深度是实现较好处理效果的重要因素,但是,网络的层次越深,相应地,层间的梯度越容易发散,从而容易导致误差的产生。因此,本实施例通过采用残差网络,可以减小网络处理带来的误差,从而能够在加深网络深度的同时,确保网络的准确率,进而提高检测精度。
而且,本实施例中,在yolact算法的基础上,在实例分割模型中加入了SAG-mask。
传统的yolact算法建立在直接检测框的one-stage检测器(RetinaNet)上,没有候选步骤,然而,检测器严重依赖于预定义锚(anchor),该预定义anchor对超参数(例如,输入大小、纵横比、比例等)和不同的数据集敏感,而且,由于需要密集地放置锚框(anchor box)以提高召回率,因此过多的锚框会导致正/负样本的不平衡以及较高的计算成本。因此,本实施例通过在实例分割模型中加入了SAG-mask,从而在对实例分割模型进行训练的过程中,能够自动学习anchor的参数,进而减少超参数(hyper-parameter)调整的过程,以实现anchor-free的实例分割,相应提高了训练所述实例分割模型的速率。
通过对所述第二特征图进行第四卷积神经网络处理,提取所述第二特征图的空间边界特征,获得多个边界框,从而进一步提取不同空间的边界信息。
例如,通过采用实例分割模型对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割后,分割出不同类型的空间区域(例如,房间区域、楼梯区域等),则通过进行第四卷积神经网络处理,以提取各个空间区域之间的边界。
具体地,所述第四卷积神经网络处理采用的网络为特征金字塔网络(FeaturePyramid Network,FPN)。
FPN是为了自然地利用CNN层级特征的金字塔形式,同时生成在所有尺度上都具有丰富语义信息的特征金字塔。FPN能够融合具有高分辨率的浅层特征和具有丰富语义信息的深层特征,使得不同层次的特征增强,因而有利于获得明显且精准的边界框。
在所述第四卷积神经网络处理后,利用非极大值抑制算法,去除冗余的边界框,从而获得更精准的空间位置信息。在非极大值抑制算法中,搜索局部最大值,抑制极大值。按照阈值,通过遍历、排序等过滤掉重复的边界框。
相应的,去除冗余的边界框,保留剩余的边界框作为目标边界框后,能够获得目标边界框在所述图框检测图像30中的位置坐标。因此,将目标边界框的位置坐标映射至所述待测建筑图纸100中,获得目标边界框所在区域在所述待测建筑图纸100中的原始位置坐标后,对所述待测建筑图纸100中与目标边界框相对应的区域进行剪裁处理,从而裁剪出多个获得多个空间区域图像。
继续参考图1,执行步骤S6,对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件。
由前述记载可知,虽然目标建筑构件在待测建筑图纸100中的目标较小,但由于在目标检测之前先进行了第一空间分割,因此,易于精确识别出符合建筑构件类别的图像,且目标建筑构件的位置和轮廓更精准,这相应有利于后续精准测得目标建筑构件的尺寸,而且,漏检的概率较低;相应的,这减小了对专业审图专家的依赖性,能够实现基于人工智能的检测。
本实施例中,对所述空间区域图像进行目标检测的步骤中,所述建筑构件类别为楼梯区域,所述目标建筑构件为楼梯。
楼梯在整个待测建筑图纸100中目标较小,且楼梯的结构比较复杂,精准计算楼梯相关尺寸的难度更大,因此,通过本实施例的所述检测方法,有利于提高对楼梯的检测精度和检测流程速度。
具体地,对所述空间区域图像进行目标检测的过程中,从所述空间区域图像中检测出目标建筑构件后,提取目标建筑构件在所述空间区域图像中的坐标,将目标建筑构件所在区域的位置坐标映射至所述待测建筑图纸100中,获得目标建筑构件所在区域在所述待测建筑图纸100中的原始位置坐标,并基于所述原始位置坐标,对所述待测建筑图纸100中与目标建筑构件所在区域相对应的区域进行剪裁处理,从而获得符合建筑构件类别的第一目标图像。也就是说,第一目标图像是从待测图纸100中获得的图像。
与所述待测建筑图纸100相比,所述空间区域图像的分辨率更低,因此,通过将坐标映射到原图(也即待测建筑图纸100)中,并从原图中裁剪出第一目标图像,有利于提高第一目标图像的分辨率,从而有利于提高后续对所述目标建筑构件进行尺寸检测的精度。
本实施例中,对所述空间区域图像进行目标检测的步骤包括:对所述空间区域图像进行第五卷积神经网络处理,获得所述空间区域图像的基本特征,作为第三特征图。
通过对所述空间区域图像进行第五卷积神经网络处理,获得目标建筑构件的基本特征(例如,几何特征、颜色特征、纹理特征等),所述基本特征为低维特征,从而为后续进一步提取更高维的特征(也即细节特征)做准备。可以理解的是,低维特征指的是低“等级”的特征,高维特征相应指的是高“等级”的特征。
通过先提取基本特征,有利于减少细节信息(例如,较细的线条)的丢失。
所述第五卷积神经网络处理采用的网络为轻量级骨干网络,具体可以包括MobilenetV3网络或EfficientNetV2网络。
结合参考图4,图4是步骤S6的网络架构一实施例的示意图,本实施例中,所述第五卷积神经网络处理采用的网络包括EfficientNetV2网络。
EfficientNetV2网络为轻量级骨干网络,具有训练速度更快、参数更少、计算量更少的特性,是一种更小、更快的卷积神经网络,且可以自适应的随图像大小而调整正则化因子,因而有利于在提高网络对空间区域图像的处理速度的同时,提高了网络的准确率。
如图4所示,EfficientNetV2网络包括多层网络层(例如,Conv1 1/2、Fused-MBConv1、Fused-MBConv2、MBConv4、MBConv6、Convn-1和Convn),从而获得不同层的特征图。
对所述空间区域图像进行目标检测的步骤还包括:对所述第三特征图进行上采样融合处理,获得第四特征图。
通过进行上采样融合处理,从而在不同尺度提取像素矩阵里的特征,以获得多尺度信息,进而进一步降低空间区域图像中的信息发生丢失的概率。
具体地,在对所述第三特征图进行上采样融合处理时,采用对特征数据进行升维的处理方式。
本实施例中,所述上采样融合处理采用的网络包括FPN网络。通过采用FPN网络,能够融合不同尺度的特征。
例如,如图4中的up2过程所示,对EfficientNetV2网络中的Fused-MBConv1层、Fused-MBConv2层、MBConv4层和MBConv6层进行上采样融合,构成FPN网络结构。
FPN的输出层作为后续进行卷积操作的基础层。
相应的,进行所述上采样融合处理后,对所述空间区域图像进行目标检测的步骤还包括:采用空洞卷积(dilated convolution)网络对所述第四特征图进行卷积操作,获得第五特征图,所述第五特征图的感受野大于所述第四特征图的感受野。
通过增大网络感受野,让每个卷积输出都包含更大范围的信息,从而获得更大区域内的特征。例如,当所述建筑构件类别为楼梯区域,所述目标建筑构件为楼梯时,由于楼梯通常较长,因此,通过增大网络感受野,以提取长度更长的楼梯的特征,从而降低漏检的概率。
而且,本实施例采用空洞卷积网络进行卷积操作,在卷积图(convolution map)中注入空洞,从而实现增加网络感受野的效果,同时,能够减少信息丢失和分辨率的损失。
其中,相比于传统的卷积网络,空洞卷积网络多了一个超参数,称之为空洞率(dilation rate),空洞率指的是卷积核的间隔数量,例如,传统的卷积网络的空洞率为1。
本实施例中,所述卷积操作的次数为多次,且所述多次卷积操作采用的卷积层的空洞率均不相同。当设置不同的空洞率时,会获得不同的感受野,从而获取多尺度信息,更能真实地反映待测建筑图纸100中目标建筑构件的信息,进而进一步降低漏检的概率。
具体地,所述多次卷积操作采用的卷积层的卷积核尺寸均为3*3,且每一次卷积操作采用的卷积层的空洞率为6~32中的任意偶数。
需要说明的是,当空洞率过小时,则容易导致增大感受野的效果不佳,从而容易增大漏检的概率;当空洞率过大时,则容易导致感受野过大,从而容易引入背景等噪声信息,不利于检测精度和检测速度的提升。为此,每一次卷积操作采用的卷积层的空洞率为6~32中的任意偶数。
作为一种示例,所述卷积操作的次数为三次,所述三次卷积操作采用的卷积层的空洞率分别为6、12和18。通过采用空洞率分别为6、12和18的卷积层,进行三次卷积操作,从而在显著降低漏检概率的同时,提高检测精度。
对所述空间区域图像进行目标检测的步骤还包括:对所述第三特征图、第四特征图和第五特征图进行融合处理,获得第六特征图。
通过对网络得到的特征数据进行融合处理,有利于确保特征信息的不丢失,并为后续进一步提取更高维的细节特征做准备。
对所述空间区域图像进行目标检测的步骤还包括:进行所述融合处理后,对所述第六特征图进行第六卷积神经网络处理,获得所述第六特征图的细节特征,作为输出特征图,所述第六卷积神经网络处理比所述第五卷积神经网络处理的层次浅。
浅层的卷积神经网络的感受野较小,从而能够获得细节更丰富、分辨率更高的输出特征图。
本实施例中,所述第六卷积神经网络处理采用的网络包括SPPNet网络。
通过采用SPPNet网络,能够输出固定大小的特征图,而与输入的原始图像的尺寸无关,从而降低了对输入的原始图像的尺寸的要求,即提高了尺寸灵活性。
而且,通过选用SPPNet网络,能够提取小目标(例如,楼梯)以及多尺寸下的细节特征,从而进一步降低漏检的概率,并提高检测精度。
相应的,获得输出特征图后,提取目标建筑构在输出特征图中的位置坐标,将所述目标建筑构在输出特征图中的位置坐标映射至所述待测建筑图纸100中,获得所述目标建筑构在所述待测建筑图纸100中的原始位置坐标;根据所述目标建筑构在所述待测建筑图纸100中的原始位置坐标,对所述待测建筑图纸100进行裁剪处理,获得第一目标图像。
需要说明的是,对所述空间区域图像进行目标检测的步骤还可以包括:对所述第六卷积神经网络处理获得的特征图进行降维处理。
相应的,所述降维处理后的特征图作为所述输出特征图。
通过进行降维处理,从而有利于消除冗余信息,进而减少计算量,相应提高检测速度。
具体地,采用卷积核尺寸均为1*1的卷积网络进行降维处理。
继续参考图1,执行步骤S7,利用所述第一目标图像,对所述目标建筑构件进行尺寸检测,获得所述目标建筑构件的尺寸。
通过获得所述目标建筑构件的尺寸,从而为后续判断所述目标建筑构件的尺寸是否符合尺寸规格做准备。
本实施例中,所述目标建筑构件为楼梯,相应的,所述目标建筑构件的尺寸为所述楼梯的净宽。
需要说明的是,根据国家建筑规范的要求,楼梯梯段的净宽不应小于1米,对于不超过六层的住宅,一边设有栏杆的梯段的净宽不应小于1.1米。
本实施例中,采用形态学操作算法,对所述目标建筑构件进行尺寸检测。
具体地,在所述形态学操作算法中,通过依次进行边缘检测和直线分割检测(linesegment detector,LSD),从而计算获得所述目标建筑构件的尺寸。
本实施例中,通过对所述第一目标图像依次进行灰度处理和二值化处理,实现边缘检测,并获得后续进行直线检测所需的输入图。
在直线检测过程中,通过进行霍夫变换,输出直线分割结构,从而实现尺寸检测。
继续参考图1,执行步骤S8,根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估,判断所述目标建筑构件的尺寸是否符合尺寸规格。
根据国家建筑规范的规定,建筑图纸中各建筑构件具有相对应的尺寸规格。
本实施例中,所述目标建筑构件为楼梯,因此,根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估的步骤包括:比较所述待测建筑图纸的楼层层数与标准楼层层数;当所述待测建筑图纸的楼层层数小于或等于所述标准楼层层数时,判断所述目标建筑构件的尺寸是否符合第一尺寸规格;当所述待测建筑图纸的楼层层数大于所述标准楼层层数时,判断所述目标建筑构件的尺寸是否符合第二尺寸规格。
所述标准楼层层数和尺寸规格是由国家建筑规范进行规定的。具体地,所述标准楼层层数为六层,所述第一尺寸规格为1.1米,所述第二尺寸规格为1米。
因此,在所述待测建筑图纸的楼层层数小于或等于所述标准楼层层数的情况下,当所述目标建筑构件的尺寸小于1.1米时,则判断所述待测建筑图纸100中目标建筑构件的尺寸不合格,当所述目标建筑构件的尺寸大于或等于1.1米时,则判断所述待测建筑图纸100中目标建筑构件的尺寸合格。
相应的,在所述待测建筑图纸的楼层层数大于所述标准楼层层数的情况下,当所述目标建筑构件的尺寸小于1米时,则判断所述待测建筑图纸100中目标建筑构件的尺寸不合格,当所述目标建筑构件的尺寸大于或等于1米时,则判断所述待测建筑图纸100中目标建筑构件的尺寸合格。
继续参考图1,所述检测方法还包括:执行步骤S9,对所述待测建筑图纸100中与所述第一目标图像相对应的区域进行第二空间分割,获得具有楼梯井的第二目标图像。
楼梯井在待测建筑图纸100中的目标更小,因此,与直接利用图框检测图像对楼梯井进行尺寸检测的方案相比,本实施例通过基于楼梯区域进一步进行空间分割,以分割出楼梯井,有利于精确确定楼梯井的位置和轮廓,从而降低漏检的概率,并精准测得楼梯井的尺寸,进而提高检测精度;相应的,在检测过程中,能够实现人工智能检测,降低对专业人员进行复审的需求,从而提高了检测流程速度。
本实施例中,采用形态学模型,对所述待测建筑图纸中与所述第一目标图像相对应的区域进行第二空间分割,从而提高第二空间分割的处理速度。
具体地,对所述待测建筑图纸中与所述第一目标图像相对应的区域进行第二空间分割的步骤包括:对所述第一目标图像进行图像预处理,用于增强所述第一目标图像的特征信息;对所述第一目标图像进行图像处理后,提取楼梯井在所述第一目标图像中的位置坐标;将所述楼梯井在所述第一目标图像中的位置坐标映射至所述待测建筑图纸中,获得所述楼梯井在所述待测建筑图纸中的原始位置坐标;根据所述楼梯井在所述待测建筑图纸中的原始位置坐标,对所述图框检测图像进行裁剪处理,获得具有所述楼梯井的第二目标图像。
通过增强所述第一目标图像的特征信息,以强化第一目标图像上的特征信息,使得与楼梯井相关的特征信息更加显著化,从而有助于识别出楼梯井。
本实施例中,所述图像预处理包括依次进行的灰度处理、二值化处理、腐蚀(Dilation)处理和膨胀(Erosion)处理。
通过依次进行灰度处理、二值化处理、腐蚀处理和膨胀处理,有利于获得信噪比较高、且能反应真实图像信息的图像。
具体地,通过灰度处理和二值化处理后的样本图片进行训练,一方面数据量少,另一方面更能体现楼梯井的边缘信息,有利于实现楼梯井特征的学习。腐蚀处理能把噪声减弱从而凸显特征信息,膨胀处理可将图像特征的信息加强,因此,膨胀处理和腐蚀处理均可以起到强化图片的特征信息的作用。
对所述第一目标图像进行图像处理后,提取楼梯井在所述第一目标图像中的位置坐标,从而将所述楼梯井在所述第一目标图像中的位置坐标映射至所述待测建筑图纸中,进而从原图(也即待测建筑图纸100)中裁剪出楼梯井区域的图像作为第二目标图像。
与所述待测建筑图纸100相比,第一目标图像的分辨率更低,因此,通过将坐标映射到原图中,并从原图中裁剪出第一目标图像,有利于提高第二目标图像的分辨率,从而有利于提高后续对楼梯井进行尺寸检测的精度。
继续参考图1,所述检测方法还包括:执行步骤S10,利用所述第二目标图像,对所述楼梯井进行尺寸检测,获得所述楼梯井的净宽。
通过获得所述楼梯井的净宽,从而为后续判断所述楼梯井的尺寸是否符合尺寸规格做准备。
需要说明的是,楼梯井的尺寸规格是由国家建筑规范进行规定的。具体地,根据国家建筑规范的要求,楼梯井的净宽应当大于0.11米。
本实施例中,采用形态学操作算法,对所述目标建筑构件进行尺寸检测。
具体地,在所述形态学操作算法中,通过依次进行边缘检测和直线分割检测(linesegment detector,LSD),从而计算获得所述楼梯的净宽。
继续参考图1,所述检测方法还包括:执行步骤S11,根据所述楼梯井的净宽对所述待测建筑图纸进行第二评估,判断所述楼梯井的净宽是否符合尺寸规格。
具体地,当所述楼梯井的净宽大于0.11米时,则判断所述待测建筑图纸100需采用防止儿童攀滑的措施。
综上,本实施例的检测方法中,结合深度学习和形态学操作算法,计算楼梯和楼梯井的净宽,并将净宽与建筑规范进行对比,以实现对待测建筑图纸100的智能审核,从而有利于在不依赖其他专业设计工或专业审图专家进行复审的情况下,大大提高审图流程速度。
相应地,本发明还提供一种检测系统。图5是本发明检测系统一实施例的功能框图。
所述检测系统包括:图纸获取模块200,用于获取待测建筑图纸,所述待测建筑图纸具有图框;图框检测模块300,用于对所述待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像;第一空间分割模块310,用于对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像;目标检测模块320,用于对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件;第一尺寸检测模块330,用于利用所述第一目标图像,对所述目标建筑构件进行尺寸检测,获得所述目标建筑构件的尺寸;第一评估模块340,用于根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估,判断所述目标建筑构件的尺寸是否符合尺寸规格。
所述检测系统用于对待测建筑图纸进行检测,从而检测所述待测建筑图纸的质量。
作为一种示例,所述待测建筑图纸为CAD建筑图纸。
本实施例中,所述检测系统为基于人工智能的检测系统,因此,所述检测系统采用训练好的机器学习模型进行检测。作为一种示例,所述机器学习模型为卷积神经网络(CNN)。
所述待测建筑图纸为工程建筑图纸,用于建造目标建筑物;其中,目标建筑物可以是各种类型的建筑物,例如,桥梁、堤坝或住宅等。
因此,图纸获取模块200用于获取待测建筑图纸,从而利用所述检测系统对待测建筑图纸进行检测。
本实施例中,所述待测建筑图纸为住宅的建筑图纸。具体地,所述检测系统用于进行楼梯检测。
本实施例中,所述图纸获取模块200还用于提供原始建筑图纸,所述原始建筑图纸标记信息。
具体地,所述标记信息包括文字信息,所述文字信息包括楼层层数。
需要说明的是,所述标记信息还可以包括其他类型的信息,例如,辅助线等。
所述待测建筑图纸为将原始建筑图纸中的标记信息进行隐藏后获得的图纸,因此,所述原始建筑图纸和待测建筑图纸中具有相同的建筑构件,两者的区别仅在于标记信息。
相应的,所述待测建筑图纸为不具有标记信息的图纸,从而去除干扰信息,进而有利于提高对所述待测建筑图纸100的检测精度。
具体地,所述原始建筑图纸也为CAD建筑图纸,因此可以利用CAD软件,根据CAD建筑图纸的图层把标记信息隐藏。
相应的,本实施例中,所述检测系统还包括:文字特征提取模块400,用于对所述原始建筑图纸的文字信息进行文字特征提取,获取所述待测建筑图纸的楼层层数。
所述待测建筑图纸为将原始建筑图纸中的标记信息进行隐藏后获得的图纸,因此,对所述原始建筑图纸的文字信息进行文字特征提取后获得的楼层层数,即为所述待测建筑图纸的楼层层数。
后续在对所述待测建筑图纸进行第一评估时,不同的楼层层数具有相对应的评估标准,因此,通过获取所述待测建筑图纸的楼层层数,以便后续比较所述待测建筑图纸的楼层层数与标准楼层层数,从而确定评估标准。
例如,当所述待测建筑图纸的楼层层数小于标准楼层层数时,评估标准为判断目标建筑构件的尺寸是否符合第一尺寸规格,当所述待测建筑图纸的楼层层数大于或等于标准楼层层数时,评估标准为判断目标建筑构件的尺寸是否符合第二尺寸规格。
具体地,所述文字特征提取模块400采用自然语言处理技术,对所述原始建筑图纸的文字信息进行文字特征提取。
所述图框检测模块300用于对所述待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像。
通过获得具有所述图框的图框检测图像,从而确定图框的在所述待测建筑图纸中的位置,进而为后续将所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割做准备。
本实施例中,所述图框检测图像30指的是能够被卷积神经网络识别和处理的图像。
具体地,所述图框检测模块300包括第一特征提取单元、第二特征提取单元和第三特征提取单元。
所述第一特征提取单元用于对所述待测建筑图纸进行第一卷积神经网络处理,获得所述图框内部的基本特征,作为第一特征图。
通过获得所述图框内部的基本特征(例如,几何特征、颜色特征、纹理特征等),从而为后续进一步提取更抽象、语义更强的高级别特征或细节特征做准备。
需要说明的是,所述图框检测图像可以通过数据进行表示,具体地,所述图框检测图像输入网络时的数据为像素值矩阵,矩阵的各元素为图像中代表不同灰度的像素值。因此,通过卷积神经网络可以对像素值矩阵中的特征进行提取和学习,从而获得所述图框内部的基本特征。
所述第一特征提取单元采用的网络为轻量级骨干网络,具体可以包括MobilenetV3网络或EfficientNetV2网络。
本实施例中,所述第一特征提取单元采用的网络为MobilenetV3网络。MobilenetV3网络是一种轻量级骨干网络,有利于在提高网络对图框检测图像30的处理速度的同时,提高网络的准确率。
所述第二特征提取单元用于在所述第一卷积神经网络处理后,对所述第一特征图进行第二卷积神经网络处理,获得所述图框内部的细节特征,所述第二卷积神经网络处理比所述第一卷积神经网络处理的层次浅。
浅层的卷积神经网络的感受野较小,细节比较丰富,且分辨率比较大。其中,感受野指的是卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。
因此,通过采用层次更浅的卷积神经网络进行第二卷积神经网络处理,第二卷积神经网络处理的感受野较小,因而能够获得更抽象、语义更强的高级别特征图,而且,像素值矩阵的每个像素点对应的感受野重叠区域较小,因而能够得到高分辨率的特征表示,因此,通过采用第二卷积神经网络处理,使得输出的特征图能够体现语义信息特征等细节特征。
本实施例中,所述第二特征提取单元采用的网络为PANet网络(Path aggregationnetwork,路径聚合网络)。
通过选用PANet网络,先自顶向下传达强语义特征,再自底向上传达强定位特征,从不同的主干层对不同的检测层进行参数聚合,从而通过反复提取特征,提高特征提取的能力。
因此,本实施例中,通过所述第一特征提取单元和第二特征提取单元,从而能够精确提取所述图框中的小目标特征。例如,对于整个待测建筑图纸而言,楼梯的目标较小。
所述第三特征提取单元用于对所述待测建筑图纸进行第三卷积神经网络处理,获得所述图框的边缘特征。
通过所述第三特征提取单元,增强图框的边缘特征,以便基于所述边缘特征确定所述图框在所述待测建筑图纸中的位置坐标,相应的,后续可以基于所述图框在所述待测建筑图纸中的位置坐标,对所述待测建筑图纸进行裁剪,从而将所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像。
本实施例中,所述第三特征提取单元采用的网络为SPPNet网络(spatial phramidpooling network,空间金字塔池化网络)。通过采用SPPNet网络,能够避免图像扭曲的问题,从而提高网络的精度,而且,能够节省计算量,从而显著提高处理速度。
需要说明的是,在实际的检测过程中,可以在进行第一卷积神经网络处理和第二卷积神经网络处理之后,进行第三卷积神经网络处理;也可以在进行第三卷积神经网络处理之后,进行第一卷积神经网络处理。
所述第一空间分割模块310用于对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像。
通过进行第一空间分割,为后续对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像做准备。
其中,由于目标建筑构件在待测建筑图纸中的目标较小,因此,与直接利用图框检测图像对所述目标建筑构件进行尺寸检测的方案相比,本实施例通过先进行分割、再进行目标检测的方式,有利于精确确定目标建筑构件的位置和轮廓,从而降低漏检的概率,并精准测得目标建筑构件的尺寸,进而提高检测精度;相应的,在检测过程中,能够实现人工智能检测,降低对专业人员进行复审的需求,从而提高了检测流程速度。
本实施例中,所述第一空间分割模块310采用实例分割(real-time instancesegmentation)模型,从而在语义分割的基础上,对属于相同类别的不同实例进行区分,进而有利于提高后续目标检测的准确度,相应提高对待测建筑图纸的检测精度。
例如,所述待测建筑图纸为住宅的建筑图纸,通过采用实例分割模型对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,从而分割出不同类型的空间区域,例如,房间区域、楼梯区域等。
具体地,所述第一空间分割模块310包括第四特征提取单元、掩膜添加单元、第五特征提取单元和边框处理单元。
所述第四特征提取单元包括残差网络,用于提取所述图框检测图像的空间特征,作为第二特征图;所述掩膜添加单元用于对所述第二特征图添加空间注意力导向掩膜(spatial attention-guided mask,SAG-mask);所述第五特征提取单元用于在对所述第二特征图添加空间注意力导向掩膜后,对所述第二特征图进行第四卷积神经网络处理,提取所述第二特征图的空间边界特征,获得多个边界框;所述边框处理单元用于在进行所述第四卷积神经网络处理后,利用非极大值抑制(non-maximum suppression,NMS)算法,去除冗余的边界框,保留剩余的边界框作为目标边界框。
本实施例中,所述第四特征提取单元利用残差网络(ResNet),提取图框中的几何特征,从而获得所述图框检测图像的空间特征。
需要说明的是,特征的“级别”随着网络深度的加深而变高,网络的深度是实现较好处理效果的重要因素,但是,网络的层次越深,相应地,层间的梯度越容易发散,从而容易导致误差的产生。因此,本实施例通过采用残差网络,可以减小网络处理带来的误差,从而能够在加深网络深度的同时,确保网络的准确率,进而提高检测精度。
而且,本实施例中,所述第一空间分割模块310在yolact算法的基础上,在实例分割模型中加入了SAG-mask,从而在对实例分割模型进行训练的过程中,能够自动学习anchor的参数,进而减少超参数调整的过程,以实现anchor-free的实例分割,相应提高了训练所述实例分割模型的速度。
通过所述第五特征提取单元,对所述第二特征图进行第四卷积神经网络处理,提取所述第二特征图的空间边界特征,获得多个边界框,从而进一步提取不同空间的边界信息。
例如,通过采用实例分割模型对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割后,分割出不同类型的空间区域(例如,房间区域、楼梯区域等),则通过进行第四卷积神经网络处理,以提取各个空间区域之间的边界。
具体地,所述第四卷积神经网络处理采用的网络为特征金字塔网络(FeaturePyramid Network,FPN)。
FPN是为了自然地利用CNN层级特征的金字塔形式,同时生成在所有尺度上都具有丰富语义信息的特征金字塔。FPN能够融合具有高分辨率的浅层特征和具有丰富语义信息的深层特征,使得不同层次的特征增强,因而有利于获得明显且精准的边界框。
在所述第四卷积神经网络处理后,所述边框处理单元利用非极大值抑制算法,去除冗余的边界框,从而获得更精准的空间位置信息。在非极大值抑制算法中,搜索局部最大值,抑制极大值。按照阈值,通过遍历、排序等过滤掉重复的边界框。
相应的,去除冗余的边界框,保留剩余的边界框作为目标边界框后,相应能够获得目标边界框在所述图框检测图像中的位置坐标。因此,将目标边界框的位置坐标映射至所述待测建筑图纸中,获得目标边界框所在区域在所述待测建筑图纸中的原始位置坐标后,对所述待测建筑图纸中与目标边界框相对应的区域进行剪裁处理,从而裁剪出多个获得多个空间区域图像。
所述目标检测模块320用于对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件。
由前述记载可知,虽然目标建筑构件在待测建筑图纸中的目标较小,但由于在目标检测之前先进行了第一空间分割,因此,易于精确识别出符合建筑构件类别的图像,且目标建筑构件的位置和轮廓更精准,这相应有利于后续精准测得目标建筑构件的尺寸,而且,漏检的概率较低;相应的,这减小了对专业审图专家的依赖性,能够实现基于人工智能的检测。
本实施例中,所述建筑构件类别为楼梯区域,所述目标建筑构件为楼梯。楼梯在整个待测建筑图纸中目标较小,且楼梯的结构比较复杂,精准计算楼梯相关尺寸的难度更大,因此,通过本实施例的所述检测方法,有利于提高对楼梯的检测精度和检测流程速度。
具体地,采用所述目标检测模块320对所述空间区域图像进行目标检测的过程中,从所述空间区域图像中检测出目标建筑构件后,将目标建筑构件所在区域的位置坐标映射至所述待测建筑图纸中,获得目标建筑构件所在区域在所述待测建筑图纸中的原始位置坐标,并基于所述原始位置坐标,对所述待测建筑图纸中与目标建筑构件所在区域相对应的区域进行剪裁处理,从而获得符合建筑构件类别的第一目标图像。
与所述待测建筑图纸相比,所述空间区域图像的分辨率更低,因此,通过将坐标映射到原图(也即待测建筑图纸)中,并从原图中裁剪出第一目标图像,有利于提高第一目标图像的分辨率,从而有利于提高后续对所述目标建筑构件进行尺寸检测的精度。
本实施例中,所述目标检测模块320包括第六特征提取单元、上采样融合模块、空洞卷积模块、融合模块和第七特征提取单元。
所述第六特征提取单元用于对所述空间区域图像进行第五卷积神经网络处理,获得所述空间区域图像的基本特征,作为第三特征图。
通过对所述空间区域图像进行第五卷积神经网络处理,获得目标建筑构件的基本特征(例如,几何特征、颜色特征、纹理特征等),所述基本特征为低维特征,从而为后续进一步提取更高维的特征(也即细节特征)做准备。可以理解的是,低维特征指的是低“等级”的特征,高维特征相应指的是高“等级”的特征。
通过先提取基本特征,有利于减少细节信息(例如,较细的线条)的丢失。
所述第六特征提取单元采用的网络为轻量级骨干网络,具体可以包括MobilenetV3网络或EfficientNetV2网络。
结合参考图4,图4是网络架构一实施例的示意图,本实施例中,所述第六特征提取单元采用的网络包括EfficientNetV2网络。
EfficientNetV2网络为轻量级骨干网络,具有训练速度更快、参数更少、计算量更少的特性,是一种更小、更快的卷积神经网络,且可以自适应的随图像大小而调整正则化因子,因而有利于在提高网络对空间区域图像的处理速度的同时,提高了网络的准确率。
如图4所示,EfficientNetV2网络包括多层网络层(例如,Conv1 1/2、Fused-MBConv1、Fused-MBConv2、MBConv4、MBConv6、Convn-1和Convn),从而获得不同层的特征图。
所述上采样融合模块用于对所述第三特征图进行上采样融合处理,获得第四特征图。
通过进行上采样融合处理,从而在不同尺度提取像素矩阵里的特征,以获得多尺度信息,进而进一步降低空间区域图像中的信息发生丢失的概率。
具体地,在对所述第三特征图进行上采样融合处理时,采用对特征数据进行升维的处理方式。
本实施例中,所述上采样融合处理采用的网络包括FPN网络。通过采用FPN网络,能够融合不同尺度的特征。例如,如图4中的up2过程所示,对EfficientNetV2网络中的Fused-MBConv1层、Fused-MBConv2层、MBConv4层和MBConv6层进行上采样融合,构成FPN网络结构。
FPN的输出层作为后续进行卷积操作的基础层。
所述空洞卷积模块用于采用空洞卷积(dilated convolution)网络对所述第四特征图进行卷积操作,获得第五特征图,所述第五特征图的感受野大于所述第四特征图的感受野。
通过增大网络感受野,让每个卷积输出都包含更大范围的信息,从而获得更大区域内的特征。例如,当所述建筑构件类别为楼梯区域,所述目标建筑构件为楼梯时,由于楼梯通常较长,因此,通过增大网络感受野,以提取长度更长的楼梯的特征,从而降低漏检的概率。
而且,本实施例采用空洞卷积网络进行卷积操作,在卷积图(中注入空洞,从而实现增加网络感受野的效果,同时,能够减少信息丢失和分辨率的损失。其中,相比于传统的卷积网络,空洞卷积网络多了一个超参数,称之为空洞率,空洞率指的是卷积核的间隔数量,例如,传统的卷积网络的空洞率为1。
本实施例中,所述卷积操作的次数为多次,且所述多次卷积操作采用的卷积层的空洞率均不相同。当设置不同的空洞率时,会获得不同的感受野,从而获取多尺度信息,更能真实地反映待测建筑图纸100中目标建筑构件的信息,进而进一步降低漏检的概率。
具体地,所述多次卷积操作采用的卷积层的卷积核尺寸均为3*3,且每一次卷积操作采用的卷积层的空洞率为6~32中的任意偶数。
需要说明的是,当空洞率过小时,则容易导致增大感受野的效果不佳,从而容易增大漏检的概率;当空洞率过大时,则容易导致感受野过大,从而容易引入背景等噪声信息,不利于检测精度和检测速度的提升。为此,每一次卷积操作采用的卷积层的空洞率为6~32中的任意偶数。
作为一种示例,所述卷积操作的次数为三次,所述三次卷积操作采用的卷积层的空洞率分别为6、12和18。通过采用空洞率分别为6、12和18的卷积层,进行三次卷积操作,从而在显著降低漏检概率的同时,提高检测精度。
所述融合模块用于对所述第三特征图、第四特征图和第五特征图进行融合处理,获得第六特征图。
通过对网络得到的特征数据进行融合处理,有利于确保特征信息的不丢失,并为后续进一步提取更高维的细节特征做准备。
第七特征提取单元用于在进行所述融合处理后,对所述第六特征图进行第六卷积神经网络处理,获得所述第六特征图的细节特征,所述第六卷积神经网络处理比所述第五卷积神经网络处理的层次浅。
浅层的卷积神经网络的感受野较小,从而能够获得细节更丰富、分辨率更高的特征图。
本实施例中,所述第六卷积神经网络处理采用的网络包括SPPNet网络。
通过采用SPPNet网络,能够输出固定大小的特征图,而与输入的原始图像的尺寸无关,从而降低了对输入的原始图像的尺寸的要求,即提高了尺寸灵活性。而且,通过选用SPPNet网络,能够提取小目标(例如,楼梯)以及多尺寸下的细节特征,从而进一步降低漏检的概率,并提高检测精度。
本实施例中,所述目标检测模块320还包括降维处理模块,所述降维处理模块用于对所述第六卷积神经网络处理获得的特征图进行降维处理。
通过进行降维处理,从而有利于消除冗余信息,进而减少计算量,相应提高检测速度。具体地,采用卷积核尺寸均为1*1的卷积网络进行降维处理。
第一尺寸检测模块330用于利用所述第一目标图像,对所述目标建筑构件进行尺寸检测,获得所述目标建筑构件的尺寸。
通过获得所述目标建筑构件的尺寸,从而为后续判断所述目标建筑构件的尺寸是否符合尺寸规格做准备。
本实施例中,所述目标建筑构件为楼梯,相应的,所述目标建筑构件的尺寸为所述楼梯的净宽。
需要说明的是,根据国家建筑规范的要求,楼梯梯段的净宽不应小于1米,对于六层以及六层以下的住宅,一边设有栏杆的梯段的净宽不应小于1.1米。
本实施例中,第一尺寸检测模块330采用形态学操作算法,对所述目标建筑构件进行尺寸检测。
具体地,在所述形态学操作算法中,通过依次进行边缘检测和直线分割检测(linesegment detector,LSD),从而计算获得所述目标建筑构件的尺寸。
本实施例中,通过对所述第一目标图像依次进行灰度处理和二值化处理,实现边缘检测,并获得后续进行直线检测所需的输入图。
在直线检测过程中,进行霍夫变换,输出直线分割结构,从而实现尺寸检测。
所述第一评估模块340用于根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估,判断所述目标建筑构件的尺寸是否符合尺寸规格。
根据国家建筑规范的规定,建筑图纸中各建筑构件具有相对应的尺寸规格。
本实施例中,所述目标建筑构件为楼梯,因此,所述第一评估模块340包括第一比较单元和第一判断单元。
所述第一比较单元用于比较所述待测建筑图纸的楼层层数与标准楼层层数。
所述第一判断单元用于基于所述待测建筑图纸的楼层层数与标准楼层层数的比较结果,判断所述目标建筑构件的尺寸是否符合尺寸规格。具体地,当所述待测建筑图纸的楼层层数小于或等于所述标准楼层层数时,判断所述目标建筑构件的尺寸是否符合第一尺寸规格;当所述待测建筑图纸的楼层层数大于所述标准楼层层数时,判断所述目标建筑构件的尺寸是否符合第二尺寸规格。
所述标准楼层层数和尺寸规格是由国家建筑规范进行规定的。具体地,所述标准楼层层数为六层,所述第一尺寸规格为1.1米,所述第二尺寸规格为1米。
因此,在所述待测建筑图纸的楼层层数小于或等于所述标准楼层层数(也即六层)的情况下,当所述目标建筑构件的尺寸小于1.1米时,则判断所述待测建筑图纸100中目标建筑构件的尺寸不合格,当所述目标建筑构件的尺寸大于或等于1.1米时,则判断所述待测建筑图纸100中目标建筑构件的尺寸合格。
相应的,在所述待测建筑图纸的楼层层数大于所述标准楼层层数的情况下,当所述目标建筑构件的尺寸小于1米时,则判断所述待测建筑图纸100中目标建筑构件的尺寸不合格,当所述目标建筑构件的尺寸大于或等于1米时,则判断所述待测建筑图纸100中目标建筑构件的尺寸合格。
本实施例中,所述检测系统还包括:第二空间分割模块500、第二尺寸检测模块510和第二评估模块520。
所述第二空间分割模块500用于对所述待测建筑图纸中与所述第一目标图像相对应的区域进行第二空间分割,获得具有楼梯井的第二目标图像。
楼梯井在待测建筑图纸中的目标更小,因此,与直接利用图框检测图像对楼梯井进行尺寸检测的方案相比,本实施例通过基于楼梯区域进一步进行空间分割,以分割出楼梯井,有利于精确确定楼梯井的位置和轮廓,从而降低漏检的概率,并精准测得楼梯井的尺寸,进而提高检测精度;相应的,在检测过程中,能够实现人工智能检测,降低对专业人员进行复审的需求,从而提高了检测流程速度。
本实施例中,所述第二空间分割模块500采用形态学模型,对所述待测建筑图纸中与所述第一目标图像相对应的区域进行第二空间分割,从而提高第二空间分割的处理速度。
具体地,所述第二空间分割模块500包括图像预处理单元、坐标提取单元、坐标映射单元和裁剪单元。
所述图像预处理单元用于对所述第一目标图像进行图像预处理,用于增强所述第一目标图像的特征信息;所述坐标提取单元用于对所述第一目标图像进行图像处理后,提取楼梯井在所述第一目标图像中的位置坐标;所述坐标映射单元用于将所述楼梯井在所述第一目标图像中的位置坐标映射至所述待测建筑图纸中,获得所述楼梯井在所述待测建筑图纸中的原始位置坐标;所述裁剪单元用于根据所述楼梯井在所述待测建筑图纸中的原始位置坐标,对所述图框检测图像进行裁剪处理,获得具有所述楼梯井的第二目标图像。
通过增强所述第一目标图像的特征信息,以强化第一目标图像上的特征信息,使得与楼梯井相关的特征信息更加显著化,从而有助于识别出楼梯井。
本实施例中,所述图像预处理包括依次进行的灰度处理、二值化处理、腐蚀(Dilation)处理和膨胀(Erosion)处理。通过依次进行灰度处理、二值化处理、腐蚀处理和膨胀处理,有利于获得信噪比较高、且能反应真实图像信息的图像。。
具体地,通过灰度处理和二值化处理后的样本图片进行训练,一方面数据量少,另一方面更能体现楼梯井的边缘信息,有利于实现楼梯井特征的学习。腐蚀处理能把噪声减弱从而凸显特征信息,膨胀处理可将图像特征的信息加强,因此,膨胀处理和腐蚀处理均可以起到强化图片的特征信息的作用。
对所述第一目标图像进行图像处理后,提取楼梯井在所述第一目标图像中的位置坐标,从而将所述楼梯井在所述第一目标图像中的位置坐标映射至所述待测建筑图纸中,进而从原图(也即待测建筑图纸)中裁剪出楼梯井区域的图像作为第二目标图像。
与所述待测建筑图纸相比,第一目标图像的分辨率更低,因此,通过将坐标映射到原图中,并从原图中裁剪出第一目标图像,有利于提高第二目标图像的分辨率,从而有利于提高后续对楼梯井进行尺寸检测的精度。
所述第二尺寸检测模块510用于利用所述第二目标图像,对所述楼梯井进行尺寸检测,获得所述楼梯井的净宽。
通过获得所述楼梯井的净宽,从而为后续判断所述楼梯井的尺寸是否符合尺寸规格做准备。
需要说明的是,楼梯井的尺寸规格是由国家建筑规范进行规定的。具体地,根据国家建筑规范的要求,楼梯井的净宽应当大于0.11米。
本实施例中,所述第二尺寸检测模块510采用形态学操作算法,对所述目标建筑构件进行尺寸检测。
具体地,在所述形态学操作算法中,通过依次进行边缘检测和直线分割检测(linesegment detector,LSD),从而计算获得所述楼梯的净宽。
所述第二评估模块520用于根据所述楼梯井的净宽对所述待测建筑图纸进行第二评估,判断所述楼梯井的净宽是否符合尺寸规格。
具体地,当所述楼梯井的净宽大于0.11米时,则判断所述待测建筑图纸需采用防止儿童攀滑的措施。
综上,本实施例的检测系统中,结合深度学习和形态学操作算法,计算楼梯和楼梯井的净宽,并将净宽与建筑规范进行对比,以实现对待测建筑图纸的智能审核,从而有利于在不依赖其他专业设计工或专业审图专家进行复审的情况下,大大提高审图流程速度。
本发明实施例还提供一种设备,该设备可以通过装载程序形式的上述检测方法,以实现本发明实施例提供的检测方法。
结合参考图6,示出了本发明一实施例所提供的设备的硬件结构图。本实施例所述设备包括:至少一个处理器01、至少一个通信接口02、至少一个存储器03和至少一个通信总线04。
本实施例中,所述处理器01、通信接口02、存储器03和通信总线04的数量均为至少一个,且所述处理器01、通信接口02以及存储器03通过所述通信总线04完成相互间的通信。
所述通信接口02可以为用于进行网络通信的通信模块的接口,例如为GSM模块的接口。
所述处理器01可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本实施例所述检测方法的一个或多个集成电路。
所述存储器03可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
其中,所述存储器03存储有一条或多条计算机指令,所述一条或多条计算机指令被所述处理器01执行以实现本发明实施例提供的检测方法。
需要说明的是,上述的实现终端设备还可以包括与本发明实施例公开内容可能并不是必需的其他器件(未示出);鉴于这些其他器件对于理解本发明实施例公开内容可能并不是必需,本发明实施例对此不进行逐一介绍。
本发明实施例还提供一种存储介质,所述存储介质存储有一条或多条计算机指令,所述一条或多条计算机指令用于实现本发明实施例提供的检测方法。
本发明实施例所提供的检测方法中,通过先进行空间分割、再进行目标检测的方式,有利于精确确定目标建筑构件的位置和轮廓,从而降低漏检的概率,并精准测得目标建筑构件的尺寸,进而提高检测精度;相应的,在检测过程中,能够实现人工智能检测,降低对专业人员进行复审的需求,从而提高了检测流程速度。
上述本发明的实施方式是本发明的元件和特征的组合。除非另外提及,否则所述元件或特征可被视为选择性的。各个元件或特征可在不与其它元件或特征组合的情况下实践。另外,本发明的实施方式可通过组合部分元件和/或特征来构造。本发明的实施方式中所描述的操作顺序可重新排列。任一实施方式的一些构造可被包括在另一实施方式中,并且可用另一实施方式的对应构造代替。对于本领域技术人员而言明显的是,所附权利要求中彼此没有明确引用关系的权利要求可组合成本发明的实施方式,或者可在提交本申请之后的修改中作为新的权利要求包括。
本发明的实施方式可通过例如硬件、固件、软件或其组合的各种手段来实现。在硬件配置方式中,根据本发明示例性实施方式的方法可通过一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。
在固件或软件配置方式中,本发明的实施方式可以模块、过程、功能等形式实现。软件代码可存储在存储器单元中并由处理器执行。存储器单元位于处理器的内部或外部,并可经由各种己知手段向处理器发送数据以及从处理器接收数据。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是符合与本文所公开的原理和新颖特点相一致的最宽的范围。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种检测方法,其特征在于,包括:
获取待测建筑图纸,所述待测建筑图纸具有图框;
对所述待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像;
对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像;
对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件;
利用所述第一目标图像,对所述目标建筑构件进行尺寸检测,获得所述目标建筑构件的尺寸;
根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估,判断所述目标建筑构件的尺寸是否符合尺寸规格。
2.如权利要求1所述的检测方法,其特征在于,对所述空间区域图像进行目标检测的步骤中,所述建筑构件类别为楼梯区域,所述目标建筑构件为楼梯;
对所述目标建筑构件进行尺寸检测的步骤中,所述目标建筑构件的尺寸为所述楼梯的净宽;
所述检测方法还包括:对所述待测建筑图纸中与所述第一目标图像相对应的区域进行第二空间分割,获得具有楼梯井的第二目标图像;
利用所述第二目标图像,对所述楼梯井进行尺寸检测,获得所述楼梯井的净宽;
根据所述楼梯井的净宽对所述待测建筑图纸进行第二评估,判断所述楼梯井的净宽是否符合尺寸规格。
3.如权利要求1或2所述的检测方法,其特征在于,对所述待测建筑图纸进行图框检测的步骤包括:对所述待测建筑图纸进行第一卷积神经网络处理,获得所述图框内部的基本特征,作为第一特征图;
在所述第一卷积神经网络处理后,对所述第一特征图进行第二卷积神经网络处理,获得所述图框内部的细节特征,所述第二卷积神经网络处理比所述第一卷积神经网络处理的层次浅;
对所述待测建筑图纸进行第三卷积神经网络处理,获得所述图框的边缘特征。
4.如权利要求3所述的检测方法,其特征在于,所述第一卷积神经网络处理采用的网络为MobilenetV3网络或EfficientNetV2网络,所述第二卷积神经网络处理采用的网络为PANet网络,所述第三卷积神经网络处理采用的网络为SPPNet网络。
5.如权利要求1或2所述的检测方法,其特征在于,采用实例分割模型对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,所述第一空间分割的步骤包括:利用残差网络提取所述图框检测图像的空间特征,作为第二特征图;
对所述第二特征图添加空间注意力导向掩膜;
对所述第二特征图添加空间注意力导向掩膜后,对所述第二特征图进行第四卷积神经网络处理,提取所述第二特征图的空间边界特征,获得多个边界框;
进行所述第四卷积神经网络处理后,利用非极大值抑制算法,去除冗余的边界框,保留剩余的边界框作为目标边界框。
6.如权利要求5所述的检测方法,其特征在于,所述第四卷积神经网络处理采用的网络为特征金字塔网络。
7.如权利要求1所述的检测方法,其特征在于,对所述空间区域图像进行目标检测的步骤包括:对所述空间区域图像进行第五卷积神经网络处理,获得所述空间区域图像的基本特征,作为第三特征图;
对所述第三特征图进行上采样融合处理,获得第四特征图;
进行所述上采样融合处理后,采用空洞卷积网络对所述第四特征图进行卷积操作,获得第五特征图,所述第五特征图的感受野大于所述第四特征图的感受野;
对所述第三特征图、第四特征图和第五特征图进行融合处理,获得第六特征图;
进行所述融合处理后,对所述第六特征图进行第六卷积神经网络处理,获得所述第六特征图的细节特征,所述第六卷积神经网络处理比所述第五卷积神经网络处理的层次浅。
8.如权利要求7所述的检测方法,其特征在于,所述第五卷积神经网络处理采用的网络包括EfficientNetV2网络或MobilenetV3网络,所述上采样融合处理采用的网络包括FPN网络,所述第六卷积神经网络处理采用的网络包括SPPNet网络。
9.如权利要求7所述的检测方法,其特征在于,所述卷积操作的次数为多次,所述多次卷积操作采用的卷积层的卷积核尺寸均为3*3,每一次卷积操作采用的卷积层的空洞率为6~32中的任意偶数,且所述多次卷积操作采用的卷积层的空洞率均不相同。
10.如权利要求2所述的检测方法,其特征在于,对所述待测建筑图纸中与所述第一目标图像相对应的区域进行第二空间分割的步骤包括:对所述第一目标图像进行图像预处理,用于增强所述第一目标图像的特征信息;
对所述第一目标图像进行图像处理后,提取楼梯井在所述第一目标图像中的位置坐标;
将所述楼梯井在所述第一目标图像中的位置坐标映射至所述待测建筑图纸中,获得所述楼梯井在所述待测建筑图纸中的原始位置坐标;
根据所述楼梯井在所述待测建筑图纸中的原始位置坐标,对所述待测建筑图纸进行裁剪处理,获得具有所述楼梯井的第二目标图像。
11.如权利要求1所述的检测方法,其特征在于,获取所述待测建筑图纸之前,所述检测方法还包括:提供原始建筑图纸,所述原始建筑图纸具有标记信息,所述标记信息包括文字信息,所述文字信息包括楼层层数;
所述获取待测建筑图纸的步骤包括:对所述原始建筑图纸进行图纸预处理,用于隐藏所述原始建筑图纸的标记信息;
对所述待测建筑图纸进行图框检测之前,所述检测方法还包括:对所述原始建筑图纸的文字信息进行文字特征提取,用于获取所述待测建筑图纸的楼层层数。
12.如权利要求1或2所述的检测方法,其特征在于,采用形态学操作算法,进行所述尺寸检测。
13.一种检测系统,其特征在于,包括:
图纸获取模块,用于获取待测建筑图纸,所述待测建筑图纸具有图框;
图框检测模块,用于对所述待测建筑图纸进行图框检测,获得具有所述图框的图框检测图像;
第一空间分割模块,用于对所述待测建筑图纸中与所述图框检测图像相对应的区域进行第一空间分割,获得多个空间区域图像;
目标检测模块,用于对所述空间区域图像进行目标检测,获得符合建筑构件类别的第一目标图像,所述第一目标图像中具有目标建筑构件;
第一尺寸检测模块,用于利用所述第一目标图像,对所述目标建筑构件进行尺寸检测,获得所述目标建筑构件的尺寸;
第一评估模块,用于根据所述目标建筑构件的尺寸对所述待测建筑图纸进行第一评估,判断所述目标建筑构件的尺寸是否符合尺寸规格。
14.一种设备,其特征在于,包括至少一个存储器和至少一个处理器,所述存储器存储有一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现如权利要求1至12任一项所述的检测方法。
15.一种存储介质,其特征在于,所述存储介质存储有一条或多条计算机指令,所述一条或多条计算机指令用于实现如权利要求1至12任一项所述的检测方法。
CN202110779605.5A 2021-07-09 2021-07-09 检测方法、检测系统、设备和存储介质 Pending CN113627257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110779605.5A CN113627257A (zh) 2021-07-09 2021-07-09 检测方法、检测系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110779605.5A CN113627257A (zh) 2021-07-09 2021-07-09 检测方法、检测系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113627257A true CN113627257A (zh) 2021-11-09

Family

ID=78379356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110779605.5A Pending CN113627257A (zh) 2021-07-09 2021-07-09 检测方法、检测系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113627257A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299531A (zh) * 2021-12-28 2022-04-08 上海都市建筑设计有限公司 最短安全疏散距离的计算方法、装置、设备及存储介质
CN114494114A (zh) * 2021-12-20 2022-05-13 上海品览数据科技有限公司 一种基于深度学习的结构专业墙柱施工图中暗柱及其属性识别的方法
CN117711011A (zh) * 2024-02-06 2024-03-15 航天宏图信息技术股份有限公司 一种地图中交通建筑信息检验方法、装置、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494114A (zh) * 2021-12-20 2022-05-13 上海品览数据科技有限公司 一种基于深度学习的结构专业墙柱施工图中暗柱及其属性识别的方法
CN114299531A (zh) * 2021-12-28 2022-04-08 上海都市建筑设计有限公司 最短安全疏散距离的计算方法、装置、设备及存储介质
CN117711011A (zh) * 2024-02-06 2024-03-15 航天宏图信息技术股份有限公司 一种地图中交通建筑信息检验方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN113627257A (zh) 检测方法、检测系统、设备和存储介质
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN108898610A (zh) 一种基于mask-RCNN的物体轮廓提取方法
CN112183414A (zh) 一种基于混合空洞卷积的弱监督遥感目标检测方法
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN108171701A (zh) 基于u网络和对抗学习的显著性检测方法
CN107871316B (zh) 基于深度神经网络的x光片手骨兴趣区域自动提取方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN109376740A (zh) 一种基于视频的水尺读数检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN115841447A (zh) 一种磁瓦表面缺陷的检测方法
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN111709300A (zh) 基于视频图像的人群计数方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN106874913A (zh) 一种菜品检测方法
CN110909615A (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN112967249A (zh) 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
CN109543617A (zh) 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
CN109859199B (zh) 一种sd-oct图像的淡水无核珍珠质量检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination