CN116538953A - 一种立面目标智能检测方法、系统及可读存储介质 - Google Patents
一种立面目标智能检测方法、系统及可读存储介质 Download PDFInfo
- Publication number
- CN116538953A CN116538953A CN202310506663.XA CN202310506663A CN116538953A CN 116538953 A CN116538953 A CN 116538953A CN 202310506663 A CN202310506663 A CN 202310506663A CN 116538953 A CN116538953 A CN 116538953A
- Authority
- CN
- China
- Prior art keywords
- elevation
- target
- point
- building
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000013136 deep learning model Methods 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 6
- PCHPORCSPXIHLZ-UHFFFAOYSA-N diphenhydramine hydrochloride Chemical compound [Cl-].C=1C=CC=CC=1C(OCC[NH+](C)C)C1=CC=CC=C1 PCHPORCSPXIHLZ-UHFFFAOYSA-N 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供的一种立面目标智能检测方法、系统及可读存储介质，所述方法包括：获取对应目标建筑的建筑点云集，并基于建筑点云集生成建筑俯视轮廓图；基于建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；针对每一角点沿着多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；基于完整轮廓图，确定目标立面，并提取目标立面的立面点云集；基于立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到目标立面的立面成像图；将立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。该方法的实施能够提高立面目标检测精度。
Description
技术领域
本申请涉及建筑立面测量技术领域，具体而言，涉及一种立面目标智能检测方法、系统及可读存储介质。
背景技术
随着三维激光扫描技术的快速发展，激光扫描技术以其具有非接触测量、数据采样率高、高精度、高分辨率、全景化扫描等特点，在工程测量、文物保护、数字城市等多个领域得到了广泛的应用。目前，已有研究人员将其用于建筑立面测量领域，具体会通过获取反映建筑场景的全景化点云数据，并将其加载到CAD软件中人为进行立面绘图，以达到减少外业测绘时间，提高工作效率的效果。然而，由于人为主观因素的干扰，以及海量的点云数据同时也带来了庞大的工作量，若仍基于人机交互的方式进行测绘制图以及人为识别立面目标，会使得在影响立面成像效果的同时，降低立面目标检测精度，最终在无法满足建筑立面快速测绘制图的应用需求的情况下，影响技术发展。
发明内容
本申请实施例的目的在基于提供一种立面目标智能检测方法、系统及可读存储介质，能够提高立面目标检测精度果。
本申请实施例还提供了一种立面目标智能检测方法，所述方法包括：
S1、获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图；
S2、基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；
S3、针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；
S4、基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集；
S5、基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图；
S6、将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。
本申请还提供了一种立面目标智能检测系统，所述系统包括俯视轮廓处理模块、立面划分模块、立面成像模块以及立面目标检测模块，其中：
所述俯视轮廓处理模块，用于获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图；
所述俯视轮廓处理模块，还用于基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；
所述俯视轮廓处理模块，还用于针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；
所述立面划分模块，用于基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集；
所述立面成像模块，用于基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图；
所述立面目标检测模块，用于将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。
第三方面，本申请实施例还提供了一种可读存储介质，所述可读存储介质中包括立面目标智能检测方法程序，所述立面目标智能检测方法程序被处理器执行时，实现如上述任一项所述的一种立面目标智能检测方法的步骤。
由上可知，本申请实施例提供的一种立面目标智能检测方法、系统及可读存储介质，获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图；基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集；基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图；将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。当前一方面通过通过十字型算子进行角点检测，能够从图中识别到断点和拐点，之后，通过角点连接即可得到较为细致的轮廓图，为后续确定目标立面以及提高目标检测进度提供良好的数据基础。另一方面，通过分层投影的方式能进一步地保证三维物体内部信息的获取，为后续的立面成像提供了保障，提高了立面成像效果。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种立面目标智能检测方法的流程图；
图2为建筑俯视轮廓图；
图3为角点校测实施效果图；
图4为最终形成的完整轮廓图；
图5(a)为后视立面示意图
图5(b)为前视立面示意图；
图5(c)为左视立面示意图；
图5(d)为右视立面示意图；
图6为U型结构深度学习模型的模型结构示意图；
图7为检测框细化前后对比示意图；
图8为本申请实施例提供的一种立面目标智能检测系统的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种立面目标智能检测方法，其特征在于，所述方法包括：
步骤S1，获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图。
其中，所得的建筑俯视轮廓图可以参考图2。
具体的，所述基于所述建筑点云集生成建筑俯视轮廓图，包括：对所述建筑点云集中的所有点进行点云密度的关联俯视投影，得到目标俯视投影图。
在其中一个实施例中，若所述目标俯视投影图中还存在墙的厚度，还可以采用非极大值抑制方法，从所述目标俯视投影图中去除墙的厚度，得到建筑俯视轮廓图。
基于上述实施例，需要说明的是，为了使得梯度变化较小的边缘像素点也能被检测到，针对所述目标俯视投影图中的每一个像素点，本申请进行了非极大值的抑制判断处理，最终仅保留点云密度最大的位置。其中，非极大值的抑制判断处理可参考如下内容：
(1)采用非极大值抑制方法，从所述目标俯视投影图中沿着横向方向进行横向骨架点的提取；按序连接各所述横向骨架点，以确定横向骨架线；其中，横向骨架点相较于周围其余各像素点，其像素值取最大；具体在实施的时候，可以考虑通过一个竖向的矩形窗口获取周围其余各像素点，并进一步判断其像素值是否为其中的最大值。
(2)采用非极大值抑制方法，从所述目标俯视投影图中沿着纵向方向进行纵向骨架点的提取；按序连接各所述纵向骨架点，以确定纵向骨架线；其中，纵向骨架点相较于周围其余各像素点，其像素值取最大；具体在实施的时候，可以考虑通过一个横向的矩形窗口获取周围其余各像素点，并进一步判断其像素值是否为其中的最大值。。
(3)将所述横向骨架线、以及所述纵向骨架线进行拼接，得到去除墙的厚度的建筑俯视轮廓图(具体可参考图2)。
步骤S2，基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向。
需要说明的是，由于提取得到的俯视图骨架线会存在断点、弯折等情况。因此，为了进一步绘制得到完整轮廓图，需要先确定俯视图骨架线；之后，在所述俯视图骨架线中应用十字型算子(具体的实施效果可参考图3)，提取得到俯视图的角点(即为图3中示意的拐点和断点)；最后，通过对角点的连接来构成较为细致的俯视轮廓图(具体可参考图4)。
步骤S3，针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图。
需要说明的是，搜索过程中，本申请应用了方向搜索以及遗失点修复的角点连接算法，具体可参考后续实施例，当前不作过多说明。
步骤S4，基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集。
具体的，建筑俯视轮廓由多向线段构成(可参考图4进行理解)，其中，所述多向线段包括右向线段、左向线段、上向线段、下向线段。这四个线段分别对应了四个立面，分别为后视立面、前视立面、左视立面、右视立面。当前步骤所要做的就是在确定了后视立面、前视立面、左视立面、右视立面之后，提取各立面的立面点云集。
步骤S5，基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图。
具体的，在进行分层投影之前，本申请会设定目标建筑按高度划分为不同的层次；其中，针对每一个分层，将先从所述立面点云集中确定相应的成像点云子集，并对所述成像点云子集进行投影，得到分层投影图(具体在投影的时候，会将点云转换为像素点，并计算各像素点的像素值)。最终，将得到各所述分层投影图进行拼接，即可得到目标立面的立面成像图(形成的立面成像图可参考图5，图5中示意了各立面分别对应的成像图)。
步骤S6，将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。
具体的，所述U型结构深度学习模型的模型结构可参考图6，基于图6可以明确的是，所述U型结构深度学习模型包括两个卷积块，这2个卷积块之间存在着一个编码器和解码器。由于基于所述U型结构深度学习模型进行立面目标检测属于现有技术范畴，当前不进行过多说明。
由上可知，本申请公开的一种立面目标智能检测方法，获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图；基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集；基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图；将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。当前一方面通过通过十字型算子进行角点检测，能够从图中识别到断点和拐点，之后，通过角点连接即可得到较为细致的轮廓图，为后续确定目标立面以及提高目标检测进度提供良好的数据基础。另一方面，通过分层投影的方式能进一步地保证三维物体内部信息的获取，为后续的立面成像提供了保障，提高了立面成像效果。
在其中一个实施例中，所述建筑俯视轮廓图中包括多条骨架线，且各所述骨架线均由多个骨架点构成；步骤S2中，所述基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，包括：
步骤S21，遍历各所述骨架线上的骨架点。
步骤S22，遍历过程中，将当前遍历的骨架点作为所述十字型算子的中心。
步骤S23，在确定所述十字型算子仅有一条边与所述多条骨架线之间存在重合时，将当前遍历的骨架点作为断点。
步骤S24，在确定所述十字型算子有两条垂直的边与所述多条骨架线之间存在重合时，将当前遍历的骨架点作为高可信度拐点。
步骤S25，在确定所述十字型算子有三条边与所述多条骨架线之间存在重合时，将当前遍历的骨架点作为低可信度拐点。
基于步骤S21～步骤S25需要说明的是，角点检测遵照以下规则：
在将某个骨架点a作为十字型算子的中心时，由于所述十字型算子包括了4条边，当前会判断包含有骨架点a的所有骨架线A与十字型算子的4条边之间是否存在重合，其中：
①若确定所述十字型算子仅有一条边存在重合，则将骨架点a视为断点；
②若确定所述十字型算子有两条垂直的边存在重合，则将骨架点a视为高可信度拐点；
③若确定所述十字型算子有三条边存在重合，则将骨架点a视为低可信度拐点。
在其中一个实施例中，基于上述①～③检测到相应角点时，会进一步计算相应角点的重合度以及可行方向，其中，角点的重合度指的是所述十字型算子与骨架线重合的长度取值，可行方向指的是可以连接到下一个相邻角点的方向。
在其中一个实施例中，在执行步骤S3之前，所述方法还包括使用非极大值抑制算法，进行角点筛选，其中会：以所有拐点为中心，取半径为r的圆形区域，并去除所述圆形区域内所有的低可信度拐点以及断点；以高可信度拐点为中心，取半径为r的圆形区域，并检测所述圆形区域内是否存在其他的高可信度拐点，若存在，则保留重合度最高的高可信度拐点；以低可信度拐点为中心，取半径为r的圆形区域，并检测所述圆形区域内是否存在其他的低可信度拐点，若存在，则保留重合度最高的低可信度拐点；以断点为中心，取半径为r的圆形区域，并检测所述圆形区域内是否存在其他的断点，若存在，则保留重合度最高的断点。
由于，本本申请所公开的角点检测算法会在相邻的区域得到大量的角点，因此，本申请会考虑使用非极大值抑制算法，来对角点进行筛选，以便于提高后续的数据处理效率。
在其中一个实施例中，步骤S3中，所述针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，包括：
步骤S31，将任一高可信度拐点作为起点，在确定沿着相应可行方向搜索到可连接的第一相邻角点时，计算两点的坐标差值。
步骤S32，在确定所述坐标差值不小于预设的差值阈值时，以直线方式进行第一相邻角点的连接，并将所述第一相邻角点作为下一起点。
步骤S33，当确定所有可行方向内，搜索到的第一相邻角点均不满足步骤S32示意的判断条件时，进行差值阈值的扩大，直到搜索到可连接的第二相邻角点时，以直角方式进行第二相邻角点的连接，并将所述第二相邻角点作为下一起点。
基于步骤S31～步骤S32需要说明的是，考虑到部分拐点可能会丢失(如图4示意的红色标记点)，因此，在沿着搜索方向搜索角点时，本申请采用了两步法即：首先，严格沿着搜索方向对角点进行搜索，例如在沿着左向搜索下一角点时，当搜索点与当前起点在纵向的坐标差值不小于3时，则将搜索点视为可连接的角点(可选的，可采用直线方式进行角点连接)。但若该步没有成功搜索到可连接的角点时，则放宽纵向的坐标差值到7，再进行搜索。若成功搜索到可连接的角点，则以直角方式进行角点连接。
在进行角点搜索时，需要进一步说明的是：
1)本申请会挑选一个高可信度拐点作为起点，并任取其一个可行方向作为初始的探索方向。
2)判断当前的探索方向是否为该角点的可行方向，若是，则保持探索方向不变，否则，改变探索方向为当前角点的另一可行方向。若当前角点的所有可行方向均已进行了尝试，则执行4)中的内容。
3)从当前点出发沿探索方向寻找下一个角点，若找到下一角点，则调回到步骤2，直到寻找到的下一个角点为起始点。否则执行4)中的内容。
4)回退，探索方向、角点均还原到上一个步骤，即回到2)。
在其中一个实施例中，步骤S5中，所述基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图，包括：
步骤S51，将目标建筑按高度进行划分，并针对每个建筑分层，基于下述公式计算得到相应的投影分辨率res：
res＝resmin+index*scalegap；
其中，resmin表示最底层的分辨率，index表示分层层数，scalegap表示预设的每一分层分辨率的变化率。
具体的，考虑到提供的点云存在高度越高越稀疏的特点，这会降低建筑上方的目标轮廓的清晰度。为了改善这一情况，本申请采用了动态分辨率投影方法，通过预先将建筑按高度划分为不同的层次，且，不同层在投影时采用不同的投影分辨率(见上述公式)。
在其中一个实施例中，为提高数据处理效率，本申请会预先将建筑按高度进行均匀划分，所得的各建筑分层均具备同样的高度。在一个具体的实施案例中，结合实际应用，本申请会按照5m的标准进行划分，得到多个具备5m高度的建筑分层。
步骤S52，针对每个建筑分层，基于关联到的投影分辨率进行点云投影，得到相应的目标分层投影图。
其中，该步骤的具体实现方式可参考后续内容。
步骤S53，在确定各所述分层投影图的尺寸不一致时，将各所述分层投影图的尺寸调整到预设的目标尺寸。
需要说明的是，由于投影分辨率的不同，不同分层会投影得到不同尺寸的投影图像。当前实施例中，为了保持投影图像与真实点云坐标相对应，会将投影后得到的所有分层的投影图像的尺寸重新调整为预设的目标尺寸。在一个具体的实施例中，所述目标尺寸与位于最低层的投影图像尺寸相适应。
步骤S54，对各个具备相同尺寸的分层投影图进行拼接，得到所述目标立面的立面成像图。
具体的，拼接所得的立面成像图可参考图5，其中涵盖了各个立面的立面成像图。
在其中一个实施例中，步骤S52中，所述针对每个建筑分层，基于关联到的投影分辨率进行点云投影，得到相应的目标分层投影图，包括：
步骤S521，针对每个建筑分层，基于关联到的投影分辨率进行点云投影，得到初始分层投影图，所述初始分层投影图由多个网格构成。
步骤S522，基于下述公式，确定所述初始分层投影图中每一网格的像素值：
其中，代表每个网格中所有点云的反射强度的平均值，insmin，insmax为设定的参数。
步骤S523，基于所述每一网格的像素值，将各所述初始分层投影图转换为目标分层投影图。
基于步骤S521～步骤S523需要说明的是，点云投影得到立面图的过程就是将点云转换为像素并计算像素值的过程。与俯视图投影过程类型，针对每一个分层投影图，当前会先根据其所属的投影分辨率res进行网格划分(其中，每个网格分别对应一个像素)；之后，将筛选出的点云归属到对应位置的网格中，并通过步骤S522中示意的公式计算网格所取的像素值。最后，基于网格所取的像素值进行灰度图像转换，得到目标分层投影图。
在其中一个实施例中，步骤S6中，立面目标检测的过程中，所述方法包括：
步骤S61，在确定检测到立面目标时，确定所述立面目标所处的图像区域。
需要说明的是，为了得到检测框以及减少检测结果的出错率，本申请将进一步对基于深度学习算法检测到的结果进行后处理。
具体的，在基于深度学习算法检测到的结果的基础上，本申请会根据连通域计算算法，确定立面目标在图像上所属的区域，即确定所述立面目标所处的图像区域。
在其中一个实施例中，为了得到更加光滑的图像，提高深度学习检测的效率，在将所述立面成像图输入到训练好的U型结构深度学习模型之前，本申请还会将所述立面成像图的分辨率按固定规律进行降低处理。这一处理的原因，是考虑到建筑点云成像具有尺寸大、点稀疏的特点，这一特点会影响到检测效率、以及降低检测结果精准度。
在一个具体的实施例中，本申请会根据像素关系进行重采样的方式调整立面成像图的尺寸，也就是找到一种数学关系，建立起尺寸调整前的坐标(X,Y)与调整后的坐标(u,v)之间的对应关系。
步骤S62，生成所述图像区域的最小外接矩形，并计算所述图像区域的第一面积、以及所述最小外接矩形的第二面积。
具体的，最小外接矩形也被译为最小边界矩形，最小包含矩形，或最小外包矩形。在已知图像区域的各边长取值、以及最小外接矩形的各边长取值时，将进一步基于面积计算公式计算得到相应的第一面积、以及第二面积。
步骤S63，在确定所述第一面积与所述第二面积之间的比值小于预设阈值时，剔除所述立面目标。
具体的，确定所述第一面积与所述第二面积之间的比值，并将该比值与所述预设阈值进行比较，其中，在确定该比值小于所述预设阈值时，会认为当前检测到的立面目标无效，会进一步剔除所述立面目标。
步骤S64，在确定所述第一面积与所述第二面积之间的比值大于或等于预设阈值时，保留所述立面目标，并生成相应的目标检测框。
具体的，确定所述第一面积与所述第二面积之间的比值，并将该比值与所述预设阈值进行比较，其中，在确定该比值大于或等于所述预设阈值时，会认为当前检测到的立面目标有效，并进一步保留所述立面目标，以及生成相应的目标检测框。
在其中一个实施例中，检测到的有效的立面目标，将根据对应第一面积与第二面积之间的比值ε1与预设阈值ε2之间的间隔差距比例，区分为高可信度目标或低可信度目标。其中，高可信度目标可以认为间隔差距比例高于预设比例阈值，即ε1与ε2不接近。低可信度目标认为间隔差距比例低于预设比例阈值，即ε1与ε2较接近。
在又一个实施例中，针对所述低可信度目标生成的检测框将绘制在第一dwg文件中，针对所述高可信度目标生成的检测框将绘制在第二dwg文件，以便于后续能够能够作为不同的图层使用，便于进行区分。
在其中一个实施例中，步骤S64中，生成相应的目标检测框的过程中，所述方法包括：
步骤S641，生成初始目标检测框。
步骤S642，在所述初始目标检测框周围进行目标边沿的搜索，其中，所述目标边沿在周围预设范围内亮度变化最明显。
步骤S643，基于成功搜索到各个目标边沿，生成最终的目标检测框。
基于步骤S641～步骤S643需要说明的是，为了进一步提高检测框边缘的精度，本申请设计了基于平均梯度估计的检测框细化算法。经过分析，目标真实的边缘附近往往存在比较大的像素值变化，特别是窗户，由于其目标内部更暗，而目标外部较亮，存在一个亮度的变换。根据此特点，本申请考虑分别在检测框的上、下、左、右四个边缘的附近搜索亮度变化最明显的边缘位置。其中，每次将边缘移动一个像素位置时，并计算该位置与上一位置的亮度变化情况，并将亮度变化情况最明显的位置，定位为新的边缘位置。最终生成的目标检测框可以参考图7，图7中，绿色矩形框为细化前的，蓝色矩形框为细化后的，基于图7也可以看出本申请公开的基于平均梯度估计的检测框细化算法能够更好的框选出检测目标，相较于以往的方式，能够提高检测精度。
请参考图8，本申请公开的一种立面目标智能检测系统，所述系统包括俯视轮廓处理模块、立面划分模块、立面成像模块以及立面目标检测模块，其中：
所述俯视轮廓处理模块，用于获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图。
所述俯视轮廓处理模块，还用于基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向。
所述俯视轮廓处理模块，还用于针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图。
所述立面划分模块，用于基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集。
所述立面成像模块，用于基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图。
所述立面目标检测模块，用于将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。
在其中一个实施例中，该系统中的各模块还用于执行上述实施例的任一可选的实现方式中的方法。
由上可知，本申请公开的一种立面目标智能检测系统，获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图；基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集；基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图；将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。当前一方面通过通过十字型算子进行角点检测，能够从图中识别到断点和拐点，之后，通过角点连接即可得到较为细致的轮廓图，为后续确定目标立面以及提高目标检测进度提供良好的数据基础。另一方面，通过分层投影的方式能进一步地保证三维物体内部信息的获取，为后续的立面成像提供了保障，提高了立面成像效果。
本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
上述可读存储介质，获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图；基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集；基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图；将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。当前一方面通过通过十字型算子进行角点检测，能够从图中识别到断点和拐点，之后，通过角点连接即可得到较为细致的轮廓图，为后续确定目标立面以及提高目标检测进度提供良好的数据基础。另一方面，通过分层投影的方式能进一步地保证三维物体内部信息的获取，为后续的立面成像提供了保障，提高了立面成像效果。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种立面目标智能检测方法，其特征在于，所述方法包括：
S1、获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图；
S2、基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；
S3、针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；
S4、基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集；
S5、基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图；
S6、将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。
2.根据权利要求1所述的方法，其特征在于，所述建筑俯视轮廓图中包括多条骨架线，且各所述骨架线均由多个骨架点构成；步骤S2中，所述基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，包括
S21、遍历各所述骨架线上的骨架点；
S22、遍历过程中，将当前遍历的骨架点作为所述十字型算子的中心；
S23、在确定所述十字型算子仅有一条边与所述多条骨架线之间存在重合时，将当前遍历的骨架点作为断点；
S24、在确定所述十字型算子有两条垂直的边与所述多条骨架线之间存在重合时，将当前遍历的骨架点作为高可信度拐点；
S25、在确定所述十字型算子有三条边与所述多条骨架线之间存在重合时，将当前遍历的骨架点作为低可信度拐点。
3.根据权利要求2所述的方法，其特征在于，在执行步骤S3之前，所述方法还包括使用非极大值抑制算法，进行角点筛选，其中会：
以所有拐点为中心，取半径为r的圆形区域，并去除所述圆形区域内所有的低可信度拐点以及断点；
以高可信度拐点为中心，取半径为r的圆形区域，并检测所述圆形区域内是否存在其他的高可信度拐点，若存在，则保留重合度最高的高可信度拐点；
以低可信度拐点为中心，取半径为r的圆形区域，并检测所述圆形区域内是否存在其他的低可信度拐点，若存在，则保留重合度最高的低可信度拐点；
以断点为中心，取半径为r的圆形区域，并检测所述圆形区域内是否存在其他的断点，若存在，则保留重合度最高的断点。
4.根据权利要求2所述的方法，其特征在于，步骤S3中，所述针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，包括：
S31、将任一高可信度拐点作为起点，在确定沿着相应可行方向搜索到可连接的第一相邻角点时，计算两点的坐标差值；
S32、在确定所述坐标差值不小于预设的差值阈值时，以直线方式进行第一相邻角点的连接，并将所述第一相邻角点作为下一起点；
S33、当确定所有可行方向内，搜索到的第一相邻角点均不满足步骤S32示意的判断条件时，进行差值阈值的扩大，直到搜索到可连接的第二相邻角点时，以直角方式进行第二相邻角点的连接，并将所述第二相邻角点作为下一起点。
5.根据权利要求1所述的方法，其特征在于，步骤S5中，所述基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图，包括：
S51、将目标建筑按高度进行划分，并针对每个建筑分层，基于下述公式计算得到相应的投影分辨率res：
res＝resmin+index*scalegap；
其中，resmin表示最底层的分辨率，index表示分层层数，scalegap表示预设的每一分层分辨率的变化率；
S52、针对每个建筑分层，基于关联到的投影分辨率进行点云投影，得到相应的目标分层投影图；
S53、在确定各所述分层投影图的尺寸不一致时，将各所述分层投影图的尺寸调整到预设的目标尺寸；
S54、对各个具备相同尺寸的分层投影图进行拼接，得到所述目标立面的立面成像图。
6.根据权利要求5所述的方法，其特征在于，步骤S52中，所述针对每个建筑分层，基于关联到的投影分辨率进行点云投影，得到相应的目标分层投影图，包括：
S521、针对每个建筑分层，基于关联到的投影分辨率进行点云投影，得到初始分层投影图，所述初始分层投影图由多个网格构成；
S522、基于下述公式，确定所述初始分层投影图中每一网格的像素值：
其中，代表每个网格中所有点云的反射强度的平均值，insmin，insmax为设定的参数；
S523、基于所述每一网格的像素值，将各所述初始分层投影图转换为目标分层投影图。
7.根据权利要求1所述的方法，其特征在于，步骤S6中，立面目标检测的过程中，所述方法包括：
S61、在确定检测到立面目标时，确定所述立面目标所处的图像区域；
S62、生成所述图像区域的最小外接矩形，并计算所述图像区域的第一面积、以及所述最小外接矩形的第二面积；
S63、在确定所述第一面积与所述第二面积之间的比值小于预设阈值时，剔除所述立面目标；
S64、在确定所述第一面积与所述第二面积之间的比值大于或等于预设阈值时，保留所述立面目标，并生成相应的目标检测框。
8.根据权利要求7所述的方法，其特征在于，步骤S64中，生成相应的目标检测框的过程中，所述方法包括：
S641、生成初始目标检测框；
S642、在所述初始目标检测框周围进行目标边沿的搜索，其中，所述目标边沿在周围预设范围内亮度变化最明显；
S643、基于成功搜索到各个目标边沿，生成最终的目标检测框。
9.一种立面目标智能检测系统，其特征在于，所述系统包括俯视轮廓处理模块、立面划分模块、立面成像模块以及立面目标检测模块，其中：
所述俯视轮廓处理模块，用于获取对应目标建筑的建筑点云集，并基于所述建筑点云集生成建筑俯视轮廓图；
所述俯视轮廓处理模块，还用于基于所述建筑俯视轮廓图，通过十字型算子进行角点检测，其中，检测到的角点包括多条可行方向；
所述俯视轮廓处理模块，还用于针对每一角点沿着所述多条可行方向进行相邻角点的搜索、连接，并在确定完成角点连接时，输出完整轮廓图；
所述立面划分模块，用于基于完整轮廓图，确定目标立面，并提取所述目标立面的立面点云集；
所述立面成像模块，用于基于所述立面点云集进行分层投影，并对所得的多层投影图进行拼接，得到所述目标立面的立面成像图；
所述立面目标检测模块，用于将所述立面成像图输入到训练好的U型结构深度学习模型中，进行立面目标检测。
10.一种可读存储介质，其特征在于，所述可读存储介质中包括立面目标智能检测方法程序，所述立面目标智能检测方法程序被处理器执行时，实现如权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310506663.XA CN116538953B (zh) | 2023-05-08 | 2023-05-08 | 一种立面目标智能检测方法、系统及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310506663.XA CN116538953B (zh) | 2023-05-08 | 2023-05-08 | 一种立面目标智能检测方法、系统及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116538953A true CN116538953A (zh) | 2023-08-04 |
| CN116538953B CN116538953B (zh) | 2024-01-30 |
Family
ID=87451792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310506663.XA Active CN116538953B (zh) | 2023-05-08 | 2023-05-08 | 一种立面目标智能检测方法、系统及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116538953B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111854758A (zh) * | 2020-07-03 | 2020-10-30 | 湖北枫丹白露智慧标识科技有限公司 | 一种基于建筑楼cad图的室内导航地图转换方法及系统 |
| CN111915721A (zh) * | 2020-07-28 | 2020-11-10 | 广州中科智巡科技有限公司 | 一种基于激光点云的输电线路走廊建筑物平断面快速提取方法及系统 |
| CN112163251A (zh) * | 2020-08-24 | 2021-01-01 | 北京航空航天大学 | 建筑模型单体化方法、装置、存储介质及电子设备 |
| CN112489212A (zh) * | 2020-12-07 | 2021-03-12 | 武汉大学 | 一种基于多源遥感数据的建筑物智能化三维测图方法 |
| CN112595258A (zh) * | 2020-11-23 | 2021-04-02 | 扆亮海 | 基于地面激光点云的地物轮廓提取方法 |
| WO2021212875A1 (zh) * | 2020-04-21 | 2021-10-28 | 广东博智林机器人有限公司 | 地图生成方法、装置、存储介质及处理器 |
| CN113989379A (zh) * | 2021-10-02 | 2022-01-28 | 南京理工大学 | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 |
| CN114581760A (zh) * | 2022-05-06 | 2022-06-03 | 北京蒙帕信创科技有限公司 | 一种机房巡检的设备故障检测方法及系统 |
| CN114638805A (zh) * | 2022-03-21 | 2022-06-17 | 武汉纵横天地空间信息技术有限公司 | 一种轨道板裂缝检测方法、系统及存储介质 |
| CN114972621A (zh) * | 2021-12-06 | 2022-08-30 | 华北水利水电大学 | 一种三维建筑轮廓提取方法、装置、电子设备及存储介质 |
-
2023
- 2023-05-08 CN CN202310506663.XA patent/CN116538953B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021212875A1 (zh) * | 2020-04-21 | 2021-10-28 | 广东博智林机器人有限公司 | 地图生成方法、装置、存储介质及处理器 |
| CN111854758A (zh) * | 2020-07-03 | 2020-10-30 | 湖北枫丹白露智慧标识科技有限公司 | 一种基于建筑楼cad图的室内导航地图转换方法及系统 |
| CN111915721A (zh) * | 2020-07-28 | 2020-11-10 | 广州中科智巡科技有限公司 | 一种基于激光点云的输电线路走廊建筑物平断面快速提取方法及系统 |
| CN112163251A (zh) * | 2020-08-24 | 2021-01-01 | 北京航空航天大学 | 建筑模型单体化方法、装置、存储介质及电子设备 |
| CN112595258A (zh) * | 2020-11-23 | 2021-04-02 | 扆亮海 | 基于地面激光点云的地物轮廓提取方法 |
| CN112489212A (zh) * | 2020-12-07 | 2021-03-12 | 武汉大学 | 一种基于多源遥感数据的建筑物智能化三维测图方法 |
| CN113989379A (zh) * | 2021-10-02 | 2022-01-28 | 南京理工大学 | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 |
| CN114972621A (zh) * | 2021-12-06 | 2022-08-30 | 华北水利水电大学 | 一种三维建筑轮廓提取方法、装置、电子设备及存储介质 |
| CN114638805A (zh) * | 2022-03-21 | 2022-06-17 | 武汉纵横天地空间信息技术有限公司 | 一种轨道板裂缝检测方法、系统及存储介质 |
| CN114581760A (zh) * | 2022-05-06 | 2022-06-03 | 北京蒙帕信创科技有限公司 | 一种机房巡检的设备故障检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘宇;李晓天;付伟锋;孟妮娜;: "基于倾斜影像点云的建筑物提取算法研究", 河南科学, no. 09, pages 122 - 127 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116538953B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| CN112348815B (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
| US10798359B2 (en) | Generating hi-res dewarped book images | |
| CN110473221B (zh) | 一种目标物体自动扫描系统及方法 | |
| KR101032446B1 (ko) | 영상의 정점 검출 장치 및 방법 | |
| CN112771573A (zh) | 基于散斑图像的深度估计方法及装置、人脸识别系统 | |
| CN115564926B (zh) | 基于影像建筑物结构学习的三维面片模型构建方法 | |
| CN110634138A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| CN111899295A (zh) | 一种基于深度学习的单目场景深度预测方法 | |
| CN107862713A (zh) | 针对轮询会场的摄像机偏转实时检测预警方法及模块 | |
| US20240161397A1 (en) | Systems and methods for pitch determination | |
| CN114332233B (zh) | 一种激光slam回环检测方法和系统 | |
| CN112433641B (zh) | 一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法 | |
| CN116538953B (zh) | 一种立面目标智能检测方法、系统及可读存储介质 | |
| CN117115358A (zh) | 数字人自动建模方法及装置 | |
| Agouris et al. | Automation and digital photogrammetric workstations | |
| CN116363319A (zh) | 一种建筑物屋顶的建模方法、建模装置、设备及介质 | |
| Previtali et al. | Automatic façade segmentation for thermal retrofit | |
| CN115131459B (zh) | 平面布置图重建方法及装置 | |
| CN116721230A (zh) | 一种三维实景模型的构建方法、装置、设备及存储介质 | |
| CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
| CN116485636B (zh) | 一种点云立面成像方法、系统及可读存储介质 | |
| CN105930813B (zh) | 一种在任意自然场景下检测行文本的方法 | |
| AT&T | ||
| Zhang et al. | Building façade element extraction based on multidimensional virtual semantic feature map ensemble learning and hierarchical clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |