CN116778348B - 基于机器视觉的外墙脱落监测方法、装置、设备及介质 - Google Patents
基于机器视觉的外墙脱落监测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116778348B CN116778348B CN202311088760.8A CN202311088760A CN116778348B CN 116778348 B CN116778348 B CN 116778348B CN 202311088760 A CN202311088760 A CN 202311088760A CN 116778348 B CN116778348 B CN 116778348B
- Authority
- CN
- China
- Prior art keywords
- wall
- image
- crack
- target
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007547 defect Effects 0.000 claims abstract description 188
- 230000008859 change Effects 0.000 claims description 78
- 238000012549 training Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 17
- 238000005549 size reduction Methods 0.000 claims description 12
- 238000012806 monitoring device Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 39
- 230000009194 climbing Effects 0.000 abstract description 8
- 238000003062 neural network model Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005192 partition Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
本发明公开了基于机器视觉的外墙脱落监测方法、装置、设备及介质，包括对获取到的当前外墙图像基于外墙缺陷识别模型进行识别，得到外墙缺陷识别结果；若确定其为存在外墙缺陷，获取目标外墙区域及目标外墙区域图像；对目标外墙区域图像基于墙体裂缝识别模型进行识别，得到墙体裂缝识别结果；若确定其为存在内墙墙体裂缝，根据墙体裂缝识别结果对应确定确定外墙脱落风险等级，并将其发送至对应的监测终端。本发明实施例基于机器视觉获取当前外墙图像，基于神经网络模型对其进行缺陷识别和裂缝识别，并结合历史裂缝识别结果确定外墙脱落风险等级，无需采用爬墙设备进行真实墙面缺陷的检测，不仅提高了检测效率，而且提高了检测结果的准确率。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于机器视觉的外墙脱落监测方法、装置、设备及介质。
背景技术
建筑的外墙建筑物的外墙可以分为墙体结构层、找平层和饰面层这三个基本层次。常见的外墙缺陷主要有：（1）面砖饰面与找平层间的脱粘空鼓；（2）抹灰层与外墙主体基底的脱粘空鼓。基于上述外墙缺陷的检测，主要有基于爬墙机器人的检测。
如在申请号为201610481543 .9的专利中，公开了一种建筑物外墙空洞的检测方法，其包括：空中机器人接收检测指令；获取预置的检测路线，并沿着检测路线行走，检测路线包含待测外墙的若干检测点；敲击每个检测点；收集各个检测点的敲击声并发送给地面控制站。也即目前采用的实现成本较高的空中机器人爬墙分区域检测的方式，不仅需要精准规划空中机器人的行走路线，而且还要对空中机器人对每个检测点的敲击声进行准确采集后才能识别。若敲击声掺杂有其他干扰声音，易导致检测结果不准确。可见，目前基于空中机器人爬墙检测外墙缺陷的方式，不仅检测结果准确性低，而且实现成本高。
发明内容
本发明实施例提供了基于机器视觉的外墙脱落监测方法、装置、设备及介质，旨在解决现有技术中基于空中机器人爬墙检测外墙缺陷的方式，不仅检测结果准确性低，而且实现成本高的问题。
第一方面，本发明实施例提供了一种基于机器视觉的外墙脱落监测方法，其包括：
响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，所述高清图像采集装置设置于待监测外墙面顶端；
基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果；
若确定所述外墙缺陷识别结果为存在外墙缺陷，则获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像；
基于预先训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果；
若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸；
获取与所述目标外墙区域图像相应的历史外墙区域图像集，及与所述历史外墙区域图像集对应的裂缝历史真实尺寸序列；
基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端。
第二方面，本发明实施例还提供了一种基于机器视觉的外墙脱落监测装置，其包括：
当前外墙图像获取单元，用于响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，所述高清图像采集装置设置于待监测外墙面顶端；
外墙缺陷识别单元，用于基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果；
目标外墙区域定位单元，用于若确定所述外墙缺陷识别结果为存在外墙缺陷，则获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像；
墙体裂缝识别单元，用于基于预先训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果；
裂缝真实尺寸获取单元，用于若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸；
历史裂缝尺寸获取单元，用于获取与所述目标外墙区域图像相应的历史外墙区域图像集，及与所述历史外墙区域图像集对应的裂缝历史真实尺寸序列；
外墙脱落风险等级确定单元，用于基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述第一方面所述的方法。
本发明实施例提供了一种基于机器视觉的外墙脱落监测方法、装置、设备及介质，方法包括：响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，高清图像采集装置设置于待监测外墙面顶端；基于预先训练的外墙缺陷识别模型对当前外墙图像进行识别，得到外墙缺陷识别结果；若确定外墙缺陷识别结果为存在外墙缺陷，则获取当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与目标外墙区域对应的目标外墙区域图像；基于预先训练的墙体裂缝识别模型对目标外墙区域图像进行识别，得到墙体裂缝识别结果；若确定墙体裂缝识别结果为存在内墙墙体裂缝，则获取目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸；获取与目标外墙区域图像相应的历史外墙区域图像集，及与历史外墙区域图像集对应的裂缝历史真实尺寸序列；基于裂缝真实尺寸与裂缝历史真实尺寸序列确定裂缝变化速率，并以裂缝变化速率确定与当前外墙图像对应的外墙脱落风险等级，并将外墙脱落风险等级发送至对应的监测终端。本发明实施例可以基于机器视觉的方式获取当前外墙图像，基于神经网络模型对其进行缺陷识别和裂缝识别，并结合历史裂缝识别结果确定外墙脱落风险等级，无需采用爬墙设备进行真实墙面缺陷的检测，不仅提高了检测效率，而且提高了检测结果的准确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于机器视觉的外墙脱落监测方法的应用场景示意图；
图2为本发明实施例提供的基于机器视觉的外墙脱落监测方法的流程示意图；
图3为本发明实施例提供的基于机器视觉的外墙脱落监测装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请同时参考图1和图2，其中图1为本发明实施例基于机器视觉的外墙脱落监测方法的场景示意图，图2是本发明实施例提供的基于机器视觉的外墙脱落监测方法的流程示意图。如图1所示，本发明实施例提供的基于机器视觉的外墙脱落监测方法应用于服务器10中。
如图2所示，该方法包括以下步骤S110-S170。
S110、响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，所述高清图像采集装置设置于待监测外墙面顶端。
在本实施例中，是以服务器为执行主体描述技术方案。本申请中以设置于某一建筑多面外墙的其中一面外墙顶端的高清图像采集装置作为监测视频或监测图像获取装置并与服务器相交互来进行外墙脱落监测，当然其他面外墙顶端上设置的其他高清图像采集装置对其对准的外墙脱落进行监测的过程与前述高清图像采集装置进行外墙脱落监测的方式完全相同。
例如，以位于XX市XX区XX街道XX大楼A面外墙（该大楼还可能有B面外墙、C面外墙、D面外墙等）作为待监测外墙面为例，在A面外墙的最顶端上设置有对准A面外墙的高清图像采集装置M1。作为产生外墙脱落监测指令的第一实施例，可以在服务器中设置一个自动控制产生外墙脱落监测指令的指令产生周期，如指令产生周期等于0.5h、1h、2h、4h、24h等周期时长，当然指令产生周期等并不局限于上述具体的数值，可以根据用户的需求自定义设置。当然，作为产生外墙脱落监测指令的第二实施例，也可以由用户操作服务器的用户交互界面以产生外墙脱落监测指令，例如在服务器的显示器上能显示高清图像采集装置M1针对A面外墙的监测视频或周期采集的监测图像，此时在显示器上的某一区域还能设置一个外墙脱落监测虚拟按钮，当用户点击该外墙脱落监测虚拟按钮也能产生外墙脱落监测指令。作为产生外墙脱落监测指令的第三实施例，也可以是与服务器通讯连接的监测终端（其为安全监测人员使用的智能终端）选定操作与服务器所对应APP（及应用程序）上针对A面外墙的外墙脱落监测虚拟按钮，然后触发产生外墙脱落监测指令并发送至服务器，服务器在接收到外墙脱落监测指令后，即可进一步进行具体的外墙脱落监测。
在一实施例中，步骤S110之后还包括：
对所述当前外墙图像进行梯形畸变校正，以更新所述当前外墙图像。
在本实施例中，因外墙顶端的高清图像采集装置其不是完全正对外墙所拍摄得到图像，故为了提高后续图像识别的准确率，可以先对所述当前外墙图像进行梯形畸变校正，从而获取到更高图像质量的当前外墙图像。
其中，在确定了当前外墙图像存在梯形失真的情况下，可以获取所述高清图像采集装置对应的畸变参数，将当前外墙图像对应的真彩色图像转换为灰度图像二维矩阵，然后基于畸变参数对所述灰度图像二维矩阵进行逆变换，从而得到矫正后的图像矩阵及其对应的当前外墙图像。
在一实施例中，步骤S110之后还包括：
若检测到上传终端上传的与所述待监测外墙面对应的自助上传外墙图像，则保存所述自助上传外墙图像，并与所述当前外墙图像建立映射关系。
在本实施例中，除了可通过高清图像采集装置对待监测外墙面采集得到的当前外墙图像，还可由用户使用智能手机等智能终端、或者是用户使用无人机作为上传终端来对待监测外墙面进行拍照，从而获取另一视角的自助上传外墙图像。这一自助上传外墙图像并不作为优先等级最高的图像来进行外墙缺陷识别，而是先保存在服务器本地，还所述当前外墙图像建立映射关系（也即绑定关系）。之后若服务器确定当前外墙图像的清晰度低于预设清晰度阈值，则可以选定自助上传外墙图像作为所述当前外墙图像以进行后续的外墙缺陷识别。
S120、基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果。
在本实施例中，当服务器获取到了所述当前外墙图像后，还可以获取到本地预先存储且完成训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果。其中，外墙缺陷识别模型具体可采用残差网络模型（即ResNet模型）等神经网络模型，以用于对外墙图像是否存在外墙缺陷进行识别。服务器中在训练外墙缺陷识别模型时，先获取到训练集，且训练集中每一张外墙图片均对应标注了外墙缺陷的标注结果以及其他类型的标注结果；然后以训练集对初始模型进行训练，直至损失函数满足预设条件时则得到完成训练的所述外墙缺陷识别模型。
当然，为了提高所述外墙缺陷识别模型的识别准确度，在训练集中需要包括多张存在污渍的多张外墙图片，并对其标注污渍的标注结果。这样，基于外墙缺陷识别结果则可以初步确定当前外墙图像中是存在外墙缺陷或是其他识别结果。
在一实施例中，步骤S120之前还包括：
获取预先设置的图像划分策略，根据所述图像划分策略对所述当前外墙图像进行划分，得到外墙划分图像集；
其中，步骤S120具体包括：
根据所述外墙缺陷识别模型对所述外墙划分图像集中各外墙划分图像进行外墙缺陷识别，得到与各外墙划分图像分别对应的划分图像识别结果，以组成划分图像识别结果集；
若确定所述划分图像识别结果集中存在有至少一个划分图像识别结果为存在外墙缺陷，则以存在外墙缺陷作为所述外墙缺陷识别结果；
若确定所述划分图像识别结果集中各划分图像识别结果均为不存在外墙缺陷，则以不存在外墙缺陷作为所述外墙缺陷识别结果。
在本实施例中，为了更快且更准确的得到外墙缺陷识别结果，可以将基于高清图像采集装置采集到且经过梯形畸变校正的当前外墙图像进行分区划分，得到多个小尺寸的外墙划分图像从而组成外墙划分图像集。例如当前外墙图像对应的图像尺寸为M*N（表示横向为M像素，纵向为N像素），在图像划分策略中设置了目标划分数量如X1（X1为正整数，较佳的X1为偶数，且X1>2），此时可以将图像尺寸为M*N的当前外墙图像平均划分为X1张外墙划分图像。例如，在X1为偶数的前提下，每一张外墙划分图像的尺寸为（2M/X1）*（N/2）。
在划分得到了外墙划分图像集后，在由所述外墙缺陷识别模型对所述外墙划分图像集中各外墙划分图像进行外墙缺陷识别，得到与各外墙划分图像分别对应的划分图像识别结果。例如仍参考上述示例，外墙划分图像集中包括X1张外墙划分图像，基于所述外墙缺陷识别模型对这X1张外墙划分图像分别进行外墙缺陷识别，从而得到与这X1张外墙划分图像分别对应的划分图像识别结果，以X1个划分图像识别结果组成划分图像识别结果集。
因将大尺寸的原始图像划分为了多个小尺寸的划分图像之后再进行识别，最终综合所有划分图像的识别结果得到与当前外墙图像对应的外墙缺陷识别结果。例如，在X1个划分图像识别结果中，只要有1个划分图像识别结果是对应存在外墙缺陷，则以存在外墙缺陷作为所述外墙缺陷识别结果。在X1个划分图像识别结果中无任何划分图像识别结果是对应存在外墙缺陷，则以不存在外墙缺陷作为所述外墙缺陷识别结果。可见，基于这一分区域进行识别的方式，能更加快速的确定外墙缺陷识别结果。
更具体的，为了更准确的获知外墙划分图像集中存在外墙缺陷的外墙划分图像，在初始将当前外墙图像划分为X1张外墙划分图像时，按照原始的当前外墙图像中从左至右且从上至下的顺序，依次对X1张外墙划分图像进行编号，例如X1张外墙划分图像中的第1张外墙划分图像位于当前外墙图像的最左上角，第2张外墙划分图像位于第1张外墙划分图像的右侧且与第1张外墙划分图像相邻，依次类推，是能对X1张外墙划分图像中每一张外墙划分图像进行编号，使得X1张外墙划分图像中每一张外墙划分图像对应唯一一个图像编号。
S130、若确定所述外墙缺陷识别结果为存在外墙缺陷，则获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像。
在本实施例中，仍参考上述示例，若确定所述外墙缺陷识别结果为存在外墙缺陷，则表示XX市XX区XX街道XX大楼A面外墙上存在有外墙缺陷，而且有脱落的安全隐患。为了更加准确的识别外墙缺陷的风险等级，此时可以先获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像。也即从当前外墙图像中定位到存在外墙缺陷的目标外墙区域，然后根据该目标外墙区域在当前外墙图像中的具体位置提取到目标外墙区域图像。可见，采用上述方式，能有针对性的对存在外墙缺陷的目标外墙区域图像进一步进行图像识别，对于其他不存在外墙缺陷的区域图像则无需进行进一步进行图像识别，能有效减少图像识别区域，提高识别结果的获取效率。
在一实施例中，步骤S130包括：
获取所述划分图像识别结果集中为存在外墙缺陷的划分图像识别结果，并作为目标划分图像识别结果；
获取所述目标划分图像识别结果对应的外墙划分图像，并作为所述目标外墙区域图像；
获取所述目标外墙区域图像在所述当前外墙图像中的分布区域，以作为所述目标外墙区域。
在本实施例中，仍参考上述示例，在X1张外墙划分图像对应的X1个划分图像识别结果中，若至少有1个划分图像识别结果为存在外墙缺陷的划分图像识别结果，则可以对应获取到该划分图像识别结果对应的外墙划分图像（具体是获取到该划分图像识别结果对应的结果编号如3，则获取到与所述结果编号相等的图像编号3，以图像编号3对应获取到第3张外墙划分图像），并以该获取到的外墙划分图像作为所述目标外墙区域图像。因目标外墙区域图像在所述当前外墙图像中的分布区域也是已知的，故在确定了目标外墙区域图像后，也能快速定位到所述目标外墙区域。可见，基于上述方式，能快速筛选定位出当前外墙图像具体存在外墙缺陷的目标外墙区域及目标外墙区域图像。
S140、基于预先训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果。
在本实施例中，当服务器获取到了所述当前外墙图像后，还可以获取到本地预先存储且完成训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果。其中，墙体裂缝识别模型具体可采用目标检测模型（如YoLoV3目标检测模型、YoLoV5目标检测模型等），以用于对外墙区域图像是否存在墙体裂缝进行识别。服务器中在训练墙体裂缝识别模型时，先获取到另一训练集，且另一训练集中外墙区域图像均对应标注了外墙墙皮破损、内墙腔体裂缝等标注结果；然后以另一训练集对初始墙体裂缝识别模型进行训练，直至损失函数满足预设条件时则得到完成训练的所述墙体裂缝识别模型。
S150、若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸。
在本实施例中，若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则表示外墙缺陷具体为内墙墙体裂缝，由内墙墙体裂缝导致的外墙脱落风险更大，需要及时的对其进行处理以避免外墙脱落。基于墙体裂缝识别模型除了能识别出目标外墙区域图像存在的具体缺陷类型，还能定位出存在具体缺陷的区域并以矩形框的方式框选出该区域。这样，存在具体缺陷类型的矩形框的四个顶点坐标是已知的，此时可以基于存在具体缺陷类型的矩形框的高度来确定所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸。
在一实施例中，步骤S150包括：
获取所述目标外墙区域图像中存在内墙墙体裂缝的第一目标区域，及所述第一目标区域对应的第一矩形框；
获取所述第一矩形框的高度以作为裂缝图像尺寸；
获取所述目标外墙区域图像的像素参数以及所述高清图像采集装置的景深参数，基于所述像素参数和所述景深参数确定图像真实尺寸还原比例；
基于所述裂缝图像尺寸和所述图像真实尺寸还原比例，确定所述裂缝真实尺寸。
在本实施例中，基于墙体裂缝识别模型定位到目标外墙区域图像中存在内墙墙体裂缝的第一目标区域后，还可以同时获取到与所述第一目标区域对应的第一矩形框。因第一矩形框的四个顶点坐标是已知的，故可以基于第一矩形框的高度值作为与内墙墙体裂缝对应的裂缝图像尺寸。所获取到的裂缝图像尺寸是内墙墙体裂缝在图像上的尺寸，而并非其真实尺寸，需要进一步基于高清图像采集装置的景深参数和其拍照获所取图像的像素参数来确定图像真实尺寸还原比例。最后将所述裂缝图像尺寸乘以所述图像真实尺寸还原比例，得到的结果即为所述裂缝真实尺寸。可见，基于内墙墙体裂缝的真实尺寸还原，能得到更加准确的裂缝尺寸从而进一步确定外墙脱落风险等级。
S160、获取与所述目标外墙区域图像相应的历史外墙区域图像集，及与所述历史外墙区域图像集对应的裂缝历史真实尺寸序列。
在本实施例中，服务器中本轮是在接收到外墙脱落监测指令后，才进行本轮的外墙缺陷检测及外墙脱落风险评估。但在服务器中还可以存储前面多轮历史检测得到的裂缝历史真实尺寸，以及与所述目标外墙区域图像相应的历史外墙区域图像集。可以理解为服务器针对所述目标外墙区域图像对应的外墙区域，还存储了多张之前获取到的历史外墙区域图像，而且每一张历史外墙区域图像及每一历史外墙区域图像对应的裂缝历史真实尺寸获取时间都是已知的。基于时间的升序顺序将每一历史外墙区域图像对应的裂缝历史真实尺寸进行排序后，即可组成裂缝历史真实尺寸序列。在获取了裂缝历史真实尺寸序列，则可以与本轮获取到的裂缝真实尺寸相结合，进一步分析内墙裂缝的变化趋势。
S170、基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端。
在本实施例中，在服务器中已知了所述裂缝真实尺寸与所述裂缝历史真实尺寸序列，即可根据多个裂缝真实尺寸分析出裂缝变化趋势，从而基于裂缝变化趋势对应的裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，基于这一方式来更准确的评估外墙脱落风险等级。
在一实施例中，步骤S170包括：
将所述裂缝真实尺寸增加至所述裂缝历史真实尺寸序列的末位，以更新所述裂缝历史真实尺寸序列；
基于所述裂缝历史真实尺寸序列进行最小二乘拟合，得到裂缝尺寸变化曲线；
获取所述裂缝尺寸变化曲线的平均斜率以作为所述裂缝变化速率；
获取所述裂缝变化速率在多个预设的裂缝变化速率区间中所属的目标裂缝变化速率区间；
获取所述目标裂缝变化速率区间对应的目标外墙脱落风险等级作为与所述当前外墙图像对应的外墙脱落风险等级。
在本实施例中，基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率时，可以通过一下方式进行：基于裂缝历史真实尺寸序列对应的尺寸值及各尺寸值对应的获取时间点，以及所述裂缝真实尺寸的尺寸值及该尺寸值对应的获取时间点来拟合一条曲线，然后以曲线的平均斜率来确定裂缝变化速率。通过上述方式分析出了标外墙区域图像中内墙裂缝的裂缝变化速率，能更可观的确定外墙脱落风险等级。例如，在服务器中预设了多个外墙脱落风险等级如第1级别风险等级、第2级别风险等级、第3级别风险等级、……、第n级别风险等级等（其中风险等级级别数值越小，代表其风险等级越高，n是正整数）。而且针对上述每一级别风险等级均对应设置了一个裂缝变化速率区间，例如第1级别风险等级对应裂缝变化速率区间1、第2级别风险等级对应裂缝变化速率区间2、第3级别风险等级对应裂缝变化速率区间3、第3级别风险等级对应裂缝变化速率区间3、……、第n级别风险等级对应裂缝变化速率区间n。在确定了裂缝变化速率在上述多个裂缝变化速率区间所属于的目标裂缝变化速率区间后，即可以目标裂缝变化速率区间对应的外墙脱落风险等级作为与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端。
当检测终端接收到所述外墙脱落风险等级后，可以快速评估是否需要对外墙采取措施以避免其脱落从而造成危险。
可见，实施该方法的实施例，可以基于机器视觉的方式获取当前外墙图像，基于神经网络模型对其进行缺陷识别和裂缝识别，并结合历史裂缝识别结果确定外墙脱落风险等级，无需采用爬墙设备进行真实墙面缺陷的检测，不仅提高了检测效率，而且提高了检测结果的准确率。
图3是本发明实施例提供的一种基于机器视觉的外墙脱落监测装置的示意性框图。如图3所示，对应于以上基于机器视觉的外墙脱落监测方法，本发明还提供一种基于机器视觉的外墙脱落监测装置100。该基于机器视觉的外墙脱落监测装置100包括用于执行上述基于机器视觉的外墙脱落监测方法的单元。请参阅图3，该基于机器视觉的外墙脱落监测装置100包括：当前外墙图像获取单元110、外墙缺陷识别单元120、目标外墙区域定位单元130、墙体裂缝识别单元140、裂缝真实尺寸获取单元150、历史裂缝尺寸获取单元160及外墙脱落风险等级确定单元170。
当前外墙图像获取单元110，用于响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，所述高清图像采集装置设置于待监测外墙面顶端。
在本实施例中，是以服务器为执行主体描述技术方案。本申请中以设置于某一建筑多面外墙的其中一面外墙顶端的高清图像采集装置作为监测视频或监测图像获取装置并与服务器相交互来进行外墙脱落监测，当然其他面外墙顶端上设置的其他高清图像采集装置对其对准的外墙脱落进行监测的过程与前述高清图像采集装置进行外墙脱落监测的方式完全相同。
例如，以位于XX市XX区XX街道XX大楼A面外墙（该大楼还可能有B面外墙、C面外墙、D面外墙等）作为待监测外墙面为例，在A面外墙的最顶端上设置有对准A面外墙的高清图像采集装置M1。作为产生外墙脱落监测指令的第一实施例，可以在服务器中设置一个自动控制产生外墙脱落监测指令的指令产生周期，如指令产生周期等于0.5h、1h、2h、4h、24h等周期时长，当然指令产生周期等并不局限于上述具体的数值，可以根据用户的需求自定义设置。当然，作为产生外墙脱落监测指令的第二实施例，也可以由用户操作服务器的用户交互界面以产生外墙脱落监测指令，例如在服务器的显示器上能显示高清图像采集装置M1针对A面外墙的监测视频或周期采集的监测图像，此时在显示器上的某一区域还能设置一个外墙脱落监测虚拟按钮，当用户点击该外墙脱落监测虚拟按钮也能产生外墙脱落监测指令。作为产生外墙脱落监测指令的第三实施例，也可以是与服务器通讯连接的监测终端（其为安全监测人员使用的智能终端）选定操作与服务器所对应APP（及应用程序）上针对A面外墙的外墙脱落监测虚拟按钮，然后触发产生外墙脱落监测指令并发送至服务器，服务器在接收到外墙脱落监测指令后，即可进一步进行具体的外墙脱落监测。
在一实施例中，基于机器视觉的外墙脱落监测装置100还包括：
梯形畸变校正单元，用于对所述当前外墙图像进行梯形畸变校正，以更新所述当前外墙图像。
在本实施例中，因外墙顶端的高清图像采集装置其不是完全正对外墙所拍摄得到图像，故为了提高后续图像识别的准确率，可以先对所述当前外墙图像进行梯形畸变校正，从而获取到更高图像质量的当前外墙图像。
其中，在确定了当前外墙图像存在梯形失真的情况下，可以获取所述高清图像采集装置对应的畸变参数，将当前外墙图像对应的真彩色图像转换为灰度图像二维矩阵，然后基于畸变参数对所述灰度图像二维矩阵进行逆变换，从而得到矫正后的图像矩阵及其对应的当前外墙图像。
在一实施例中，基于机器视觉的外墙脱落监测装置100还包括：
自助上传单元，用于若检测到上传终端上传的与所述待监测外墙面对应的自助上传外墙图像，则保存所述自助上传外墙图像，并与所述当前外墙图像建立映射关系。
在本实施例中，除了可通过高清图像采集装置对待监测外墙面采集得到的当前外墙图像，还可由用户使用智能手机等智能终端、或者是用户使用无人机作为上传终端来对待监测外墙面进行拍照，从而获取另一视角的自助上传外墙图像。这一自助上传外墙图像并不作为优先等级最高的图像来进行外墙缺陷识别，而是先保存在服务器本地，还所述当前外墙图像建立映射关系（也即绑定关系）。之后若服务器确定当前外墙图像的清晰度低于预设清晰度阈值，则可以选定自助上传外墙图像作为所述当前外墙图像以进行后续的外墙缺陷识别。
外墙缺陷识别单元120，用于基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果。
在本实施例中，当服务器获取到了所述当前外墙图像后，还可以获取到本地预先存储且完成训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果。其中，外墙缺陷识别模型具体可采用残差网络模型（即ResNet模型）等神经网络模型，以用于对外墙图像是否存在外墙缺陷进行识别。服务器中在训练外墙缺陷识别模型时，先获取到训练集，且训练集中每一张外墙图片均对应标注了外墙缺陷的标注结果以及其他类型的标注结果；然后以训练集对初始模型进行训练，直至损失函数满足预设条件时则得到完成训练的所述外墙缺陷识别模型。
当然，为了提高所述外墙缺陷识别模型的识别准确度，在训练集中需要包括多张存在污渍的多张外墙图片，并对其标注污渍的标注结果。这样，基于外墙缺陷识别结果则可以初步确定当前外墙图像中是存在外墙缺陷或是其他识别结果。
在一实施例中，基于机器视觉的外墙脱落监测装置100还包括：
外墙图像划分单元，用于获取预先设置的图像划分策略，根据所述图像划分策略对所述当前外墙图像进行划分，得到外墙划分图像集；
其中，外墙缺陷识别单元120具体用于：
根据所述外墙缺陷识别模型对所述外墙划分图像集中各外墙划分图像进行外墙缺陷识别，得到与各外墙划分图像分别对应的划分图像识别结果，以组成划分图像识别结果集；
若确定所述划分图像识别结果集中存在有至少一个划分图像识别结果为存在外墙缺陷，则以存在外墙缺陷作为所述外墙缺陷识别结果；
若确定所述划分图像识别结果集中各划分图像识别结果均为不存在外墙缺陷，则以不存在外墙缺陷作为所述外墙缺陷识别结果。
在本实施例中，为了更快且更准确的得到外墙缺陷识别结果，可以将基于高清图像采集装置采集到且经过梯形畸变校正的当前外墙图像进行分区划分，得到多个小尺寸的外墙划分图像从而组成外墙划分图像集。例如当前外墙图像对应的图像尺寸为M*N（表示横向为M像素，纵向为N像素），在图像划分策略中设置了目标划分数量如X1（X1为正整数，较佳的X1为偶数，且X1>2），此时可以将图像尺寸为M*N的当前外墙图像平均划分为X1张外墙划分图像。例如，在X1为偶数的前提下，每一张外墙划分图像的尺寸为（2M/X1）*（N/2）。
在划分得到了外墙划分图像集后，在由所述外墙缺陷识别模型对所述外墙划分图像集中各外墙划分图像进行外墙缺陷识别，得到与各外墙划分图像分别对应的划分图像识别结果。例如仍参考上述示例，外墙划分图像集中包括X1张外墙划分图像，基于所述外墙缺陷识别模型对这X1张外墙划分图像分别进行外墙缺陷识别，从而得到与这X1张外墙划分图像分别对应的划分图像识别结果，以X1个划分图像识别结果组成划分图像识别结果集。
因将大尺寸的原始图像划分为了多个小尺寸的划分图像之后再进行识别，最终综合所有划分图像的识别结果得到与当前外墙图像对应的外墙缺陷识别结果。例如，在X1个划分图像识别结果中，只要有1个划分图像识别结果是对应存在外墙缺陷，则以存在外墙缺陷作为所述外墙缺陷识别结果。在X1个划分图像识别结果中无任何划分图像识别结果是对应存在外墙缺陷，则以不存在外墙缺陷作为所述外墙缺陷识别结果。可见，基于这一分区域进行识别的方式，能更加快速的确定外墙缺陷识别结果。
更具体的，为了更准确的获知外墙划分图像集中存在外墙缺陷的外墙划分图像，在初始将当前外墙图像划分为X1张外墙划分图像时，按照原始的当前外墙图像中从左至右且从上至下的顺序，依次对X1张外墙划分图像进行编号，例如X1张外墙划分图像中的第1张外墙划分图像位于当前外墙图像的最左上角，第2张外墙划分图像位于第1张外墙划分图像的右侧且与第1张外墙划分图像相邻，依次类推，是能对X1张外墙划分图像中每一张外墙划分图像进行编号，使得X1张外墙划分图像中每一张外墙划分图像对应唯一一个图像编号。
目标外墙区域定位单元130，用于若确定所述外墙缺陷识别结果为存在外墙缺陷，则获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像。
在本实施例中，仍参考上述示例，若确定所述外墙缺陷识别结果为存在外墙缺陷，则表示XX市XX区XX街道XX大楼A面外墙上存在有外墙缺陷，而且有脱落的安全隐患。为了更加准确的识别外墙缺陷的风险等级，此时可以先获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像。也即从当前外墙图像中定位到存在外墙缺陷的目标外墙区域，然后根据该目标外墙区域在当前外墙图像中的具体位置提取到目标外墙区域图像。可见，采用上述方式，能有针对性的对存在外墙缺陷的目标外墙区域图像进一步进行图像识别，对于其他不存在外墙缺陷的区域图像则无需进行进一步进行图像识别，能有效减少图像识别区域，提高识别结果的获取效率。
在一实施例中，目标外墙区域定位单元130具体用于：
获取所述划分图像识别结果集中为存在外墙缺陷的划分图像识别结果，并作为目标划分图像识别结果；
获取所述目标划分图像识别结果对应的外墙划分图像，并作为所述目标外墙区域图像；
获取所述目标外墙区域图像在所述当前外墙图像中的分布区域，以作为所述目标外墙区域。
在本实施例中，仍参考上述示例，在X1张外墙划分图像对应的X1个划分图像识别结果中，若至少有1个划分图像识别结果为存在外墙缺陷的划分图像识别结果，则可以对应获取到该划分图像识别结果对应的外墙划分图像（具体是获取到该划分图像识别结果对应的结果编号如3，则获取到与所述结果编号相等的图像编号3，以图像编号3对应获取到第3张外墙划分图像），并以该获取到的外墙划分图像作为所述目标外墙区域图像。因目标外墙区域图像在所述当前外墙图像中的分布区域也是已知的，故在确定了目标外墙区域图像后，也能快速定位到所述目标外墙区域。可见，基于上述方式，能快速筛选定位出当前外墙图像具体存在外墙缺陷的目标外墙区域及目标外墙区域图像。
墙体裂缝识别单元140，用于基于预先训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果。
在本实施例中，当服务器获取到了所述当前外墙图像后，还可以获取到本地预先存储且完成训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果。其中，墙体裂缝识别模型具体可采用目标检测模型（如YoLoV3目标检测模型、YoLoV5目标检测模型等），以用于对外墙区域图像是否存在墙体裂缝进行识别。服务器中在训练墙体裂缝识别模型时，先获取到另一训练集，且另一训练集中外墙区域图像均对应标注了外墙墙皮破损、内墙腔体裂缝等标注结果；然后以另一训练集对初始墙体裂缝识别模型进行训练，直至损失函数满足预设条件时则得到完成训练的所述墙体裂缝识别模型。
裂缝真实尺寸获取单元150，用于若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸。
在本实施例中，若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则表示外墙缺陷具体为内墙墙体裂缝，由内墙墙体裂缝导致的外墙脱落风险更大，需要及时的对其进行处理以避免外墙脱落。基于墙体裂缝识别模型除了能识别出目标外墙区域图像存在的具体缺陷类型，还能定位出存在具体缺陷的区域并以矩形框的方式框选出该区域。这样，存在具体缺陷类型的矩形框的四个顶点坐标是已知的，此时可以基于存在具体缺陷类型的矩形框的高度来确定所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸。
在一实施例中，裂缝真实尺寸获取单元150具体用于：
获取所述目标外墙区域图像中存在内墙墙体裂缝的第一目标区域，及所述第一目标区域对应的第一矩形框；
获取所述第一矩形框的高度以作为裂缝图像尺寸；
获取所述目标外墙区域图像的像素参数以及所述高清图像采集装置的景深参数，基于所述像素参数和所述景深参数确定图像真实尺寸还原比例；
基于所述裂缝图像尺寸和所述图像真实尺寸还原比例，确定所述裂缝真实尺寸。
在本实施例中，基于墙体裂缝识别模型定位到目标外墙区域图像中存在内墙墙体裂缝的第一目标区域后，还可以同时获取到与所述第一目标区域对应的第一矩形框。因第一矩形框的四个顶点坐标是已知的，故可以基于第一矩形框的高度值作为与内墙墙体裂缝对应的裂缝图像尺寸。所获取到的裂缝图像尺寸是内墙墙体裂缝在图像上的尺寸，而并非其真实尺寸，需要进一步基于高清图像采集装置的景深参数和其拍照获所取图像的像素参数来确定图像真实尺寸还原比例。最后将所述裂缝图像尺寸乘以所述图像真实尺寸还原比例，得到的结果即为所述裂缝真实尺寸。可见，基于内墙墙体裂缝的真实尺寸还原，能得到更加准确的裂缝尺寸从而进一步确定外墙脱落风险等级。
历史裂缝尺寸获取单元160，用于获取与所述目标外墙区域图像相应的历史外墙区域图像集，及与所述历史外墙区域图像集对应的裂缝历史真实尺寸序列。
在本实施例中，服务器中本轮是在接收到外墙脱落监测指令后，才进行本轮的外墙缺陷检测及外墙脱落风险评估。但在服务器中还可以存储前面多轮历史检测得到的裂缝历史真实尺寸，以及与所述目标外墙区域图像相应的历史外墙区域图像集。可以理解为服务器针对所述目标外墙区域图像对应的外墙区域，还存储了多张之前获取到的历史外墙区域图像，而且每一张历史外墙区域图像及每一历史外墙区域图像对应的裂缝历史真实尺寸获取时间都是已知的。基于时间的升序顺序将每一历史外墙区域图像对应的裂缝历史真实尺寸进行排序后，即可组成裂缝历史真实尺寸序列。在获取了裂缝历史真实尺寸序列，则可以与本轮获取到的裂缝真实尺寸相结合，进一步分析内墙裂缝的变化趋势。
外墙脱落风险等级确定单元170，用于基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端。
在本实施例中，在服务器中已知了所述裂缝真实尺寸与所述裂缝历史真实尺寸序列，即可根据多个裂缝真实尺寸分析出裂缝变化趋势，从而基于裂缝变化趋势对应的裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，基于这一方式来更准确的评估外墙脱落风险等级。
在一实施例中，外墙脱落风险等级确定单元170具体用于：
将所述裂缝真实尺寸增加至所述裂缝历史真实尺寸序列的末位，以更新所述裂缝历史真实尺寸序列；
基于所述裂缝历史真实尺寸序列进行最小二乘拟合，得到裂缝尺寸变化曲线；
获取所述裂缝尺寸变化曲线的平均斜率以作为所述裂缝变化速率；
获取所述裂缝变化速率在多个预设的裂缝变化速率区间中所属的目标裂缝变化速率区间；
获取所述目标裂缝变化速率区间对应的目标外墙脱落风险等级作为与所述当前外墙图像对应的外墙脱落风险等级。
在本实施例中，基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率时，可以通过一下方式进行：基于裂缝历史真实尺寸序列对应的尺寸值及各尺寸值对应的获取时间点，以及所述裂缝真实尺寸的尺寸值及该尺寸值对应的获取时间点来拟合一条曲线，然后以曲线的平均斜率来确定裂缝变化速率。通过上述方式分析出了标外墙区域图像中内墙裂缝的裂缝变化速率，能更可观的确定外墙脱落风险等级。例如，在服务器中预设了多个外墙脱落风险等级如第1级别风险等级、第2级别风险等级、第3级别风险等级、……、第n级别风险等级等（其中风险等级级别数值越小，代表其风险等级越高，n是正整数）。而且针对上述每一级别风险等级均对应设置了一个裂缝变化速率区间，例如第1级别风险等级对应裂缝变化速率区间1、第2级别风险等级对应裂缝变化速率区间2、第3级别风险等级对应裂缝变化速率区间3、第3级别风险等级对应裂缝变化速率区间3、……、第n级别风险等级对应裂缝变化速率区间n。在确定了裂缝变化速率在上述多个裂缝变化速率区间所属于的目标裂缝变化速率区间后，即可以目标裂缝变化速率区间对应的外墙脱落风险等级作为与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端。
当检测终端接收到所述外墙脱落风险等级后，可以快速评估是否需要对外墙采取措施以避免其脱落从而造成危险。
可见，实施该装置的实施例，可以基于机器视觉的方式获取当前外墙图像，并基于神经网络模型对其进行缺陷识别和裂缝识别，并结合历史裂缝识别结果确定外墙脱落风险等级，无需采用爬墙设备进行真实墙面缺陷的检测，不仅提高了检测效率，而且提高了检测结果的准确率。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于机器视觉的外墙脱落监测装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述基于机器视觉的外墙脱落监测装置可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本发明实施例提供的一种计算机设备的示意性框图。该计算机设备集成了本发明实施例所提供的任一种基于机器视觉的外墙脱落监测装置。
参阅图4，该计算机设备包括通过系统总线401连接的处理器402、存储器和网络接口405，其中，存储器可以包括存储介质403和内存储器404。
该存储介质403可存储操作系统4031和计算机程序4032。该计算机程序4032包括程序指令，该程序指令被执行时，可使得处理器402执行一种基于机器视觉的外墙脱落监测方法。
该处理器402用于提供计算和控制能力，以支撑整个计算机设备的运行。
该内存储器404为存储介质403中的计算机程序4032的运行提供环境，该计算机程序4032被处理器402执行时，可使得处理器402执行上述的基于机器视觉的外墙脱落监测方法。
该网络接口405用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器402用于运行存储在存储器中的计算机程序4032，以实现如下步骤：
响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，所述高清图像采集装置设置于待监测外墙面顶端；
基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果；
若确定所述外墙缺陷识别结果为存在外墙缺陷，则获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像；
基于预先训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果；
若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸；
获取与所述目标外墙区域图像相应的历史外墙区域图像集，及与所述历史外墙区域图像集对应的裂缝历史真实尺寸序列；
基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端。
应当理解，在本发明实施例中，处理器402可以是中央处理单元（CentralProcessing Unit，CPU），该处理器402还可以是其他通用处理器、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 （Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，所述高清图像采集装置设置于待监测外墙面顶端；
基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果；
若确定所述外墙缺陷识别结果为存在外墙缺陷，则获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像；
基于预先训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果；
若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸；
获取与所述目标外墙区域图像相应的历史外墙区域图像集，及与所述历史外墙区域图像集对应的裂缝历史真实尺寸序列；
基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于机器视觉的外墙脱落监测方法，其特征在于，包括：
响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，所述高清图像采集装置设置于待监测外墙面顶端；
基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果；
若确定所述外墙缺陷识别结果为存在外墙缺陷，则获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像；
基于预先训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果；
若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸；
获取与所述目标外墙区域图像相应的历史外墙区域图像集，及与所述历史外墙区域图像集对应的裂缝历史真实尺寸序列；
基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端；
在所述响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像的步骤之后，所述方法还包括：
若检测到上传终端上传的与所述待监测外墙面对应的自助上传外墙图像，则保存所述自助上传外墙图像，并与所述当前外墙图像建立映射关系；
其中，若确定当前外墙图像的清晰度低于预设清晰度阈值，则以选定自助上传外墙图像作为所述当前外墙图像；
所述外墙缺陷识别模型在预先训练时，获取包括有标注了外墙缺陷的标注结果和标注了污渍的标注结果的多张外墙图片作为训练集，以所述训练集对初始模型进行训练，直至损失函数满足预设条件时则得到所述外墙缺陷识别模型；
所述获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸，包括：
获取所述目标外墙区域图像中存在内墙墙体裂缝的第一目标区域，及所述第一目标区域对应的第一矩形框；
获取所述第一矩形框的高度以作为裂缝图像尺寸；
获取所述目标外墙区域图像的像素参数以及所述高清图像采集装置的景深参数，基于所述像素参数和所述景深参数确定图像真实尺寸还原比例；
基于所述裂缝图像尺寸和所述图像真实尺寸还原比例，确定所述裂缝真实尺寸；
所述基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，包括：
将所述裂缝真实尺寸增加至所述裂缝历史真实尺寸序列的末位，以更新所述裂缝历史真实尺寸序列；
基于所述裂缝历史真实尺寸序列进行最小二乘拟合，得到裂缝尺寸变化曲线；
获取所述裂缝尺寸变化曲线的平均斜率以作为所述裂缝变化速率；
获取所述裂缝变化速率在多个预设的裂缝变化速率区间中所属的目标裂缝变化速率区间；
获取所述目标裂缝变化速率区间对应的目标外墙脱落风险等级作为与所述当前外墙图像对应的外墙脱落风险等级。
2.根据权利要求1所述的方法，其特征在于，在所述响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像的步骤之后，所述方法还包括：
对所述当前外墙图像进行梯形畸变校正，以更新所述当前外墙图像。
3.根据权利要求2所述的方法，其特征在于，在所述基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果的步骤之前还包括：
获取预先设置的图像划分策略，根据所述图像划分策略对所述当前外墙图像进行划分，得到外墙划分图像集；
所述基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果，包括：
根据所述外墙缺陷识别模型对所述外墙划分图像集中各外墙划分图像进行外墙缺陷识别，得到与各外墙划分图像分别对应的划分图像识别结果，以组成划分图像识别结果集；
若确定所述划分图像识别结果集中存在有至少一个划分图像识别结果为存在外墙缺陷，则以存在外墙缺陷作为所述外墙缺陷识别结果；
若确定所述划分图像识别结果集中各划分图像识别结果均为不存在外墙缺陷，则以不存在外墙缺陷作为所述外墙缺陷识别结果。
4.根据权利要求3所述的方法，其特征在于，所述获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像，包括：
获取所述划分图像识别结果集中为存在外墙缺陷的划分图像识别结果，并作为目标划分图像识别结果；
获取所述目标划分图像识别结果对应的外墙划分图像，并作为所述目标外墙区域图像；
获取所述目标外墙区域图像在所述当前外墙图像中的分布区域，以作为所述目标外墙区域。
5.一种基于机器视觉的外墙脱落监测装置，其特征在于，包括：
当前外墙图像获取单元，用于响应于外墙脱落监测指令，获取由高清图像采集装置对待监测外墙面采集得到的当前外墙图像；其中，所述高清图像采集装置设置于待监测外墙面顶端；
外墙缺陷识别单元，用于基于预先训练的外墙缺陷识别模型对所述当前外墙图像进行识别，得到外墙缺陷识别结果；
目标外墙区域定位单元，用于若确定所述外墙缺陷识别结果为存在外墙缺陷，则获取所述当前外墙图像中存在外墙缺陷的目标外墙区域，并获取与所述目标外墙区域对应的目标外墙区域图像；
墙体裂缝识别单元，用于基于预先训练的墙体裂缝识别模型对所述目标外墙区域图像进行识别，得到墙体裂缝识别结果；
裂缝真实尺寸获取单元，用于若确定所述墙体裂缝识别结果为存在内墙墙体裂缝，则获取所述目标外墙区域图像中所存在内墙墙体裂缝的裂缝真实尺寸；
历史裂缝尺寸获取单元，用于获取与所述目标外墙区域图像相应的历史外墙区域图像集，及与所述历史外墙区域图像集对应的裂缝历史真实尺寸序列；
外墙脱落风险等级确定单元，用于基于所述裂缝真实尺寸与所述裂缝历史真实尺寸序列确定裂缝变化速率，并以所述裂缝变化速率确定与所述当前外墙图像对应的外墙脱落风险等级，并将所述外墙脱落风险等级发送至对应的监测终端；
所述基于机器视觉的外墙脱落监测装置还包括：
自助上传单元，用于若检测到上传终端上传的与所述待监测外墙面对应的自助上传外墙图像，则保存所述自助上传外墙图像，并与所述当前外墙图像建立映射关系；
其中，若确定当前外墙图像的清晰度低于预设清晰度阈值，则以选定自助上传外墙图像作为所述当前外墙图像；
所述外墙缺陷识别模型在预先训练时，获取包括有标注了外墙缺陷的标注结果和标注了污渍的标注结果的多张外墙图片作为训练集，以所述训练集对初始模型进行训练，直至损失函数满足预设条件时则得到所述外墙缺陷识别模型；
所述裂缝真实尺寸获取单元还用于：
获取所述目标外墙区域图像中存在内墙墙体裂缝的第一目标区域，及所述第一目标区域对应的第一矩形框；
获取所述第一矩形框的高度以作为裂缝图像尺寸；
获取所述目标外墙区域图像的像素参数以及所述高清图像采集装置的景深参数，基于所述像素参数和所述景深参数确定图像真实尺寸还原比例；
基于所述裂缝图像尺寸和所述图像真实尺寸还原比例，确定所述裂缝真实尺寸；
所述外墙脱落风险等级确定单元还用于：
将所述裂缝真实尺寸增加至所述裂缝历史真实尺寸序列的末位，以更新所述裂缝历史真实尺寸序列；
基于所述裂缝历史真实尺寸序列进行最小二乘拟合，得到裂缝尺寸变化曲线；
获取所述裂缝尺寸变化曲线的平均斜率以作为所述裂缝变化速率；
获取所述裂缝变化速率在多个预设的裂缝变化速率区间中所属的目标裂缝变化速率区间；
获取所述目标裂缝变化速率区间对应的目标外墙脱落风险等级作为与所述当前外墙图像对应的外墙脱落风险等级。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述的基于机器视觉的外墙脱落监测方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-4中任一项所述的基于机器视觉的外墙脱落监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311088760.8A CN116778348B (zh) | 2023-08-28 | 2023-08-28 | 基于机器视觉的外墙脱落监测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311088760.8A CN116778348B (zh) | 2023-08-28 | 2023-08-28 | 基于机器视觉的外墙脱落监测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116778348A CN116778348A (zh) | 2023-09-19 |
| CN116778348B true CN116778348B (zh) | 2023-12-01 |
Family
ID=87993559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311088760.8A Active CN116778348B (zh) | 2023-08-28 | 2023-08-28 | 基于机器视觉的外墙脱落监测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778348B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079221B (zh) * | 2023-10-13 | 2024-01-30 | 南方电网调峰调频发电有限公司工程建设管理分公司 | 抽蓄电站地下工程的施工安全监测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108195933A (zh) * | 2017-12-16 | 2018-06-22 | 商洛学院 | 一种检测建筑外墙质量缺陷的检测系统 |
| CN110765289A (zh) * | 2019-09-25 | 2020-02-07 | 南京理工大学 | 一种快速低成本获取建筑裂缝开度的方法 |
| CN210037627U (zh) * | 2019-03-01 | 2020-02-07 | 威海华菱光电股份有限公司 | 裂缝变化监测装置 |
| CN112815885A (zh) * | 2020-12-30 | 2021-05-18 | 广东百年基业水利水电建设有限公司 | 房屋墙体裂缝监测方法及系统 |
| CN114399665A (zh) * | 2022-01-12 | 2022-04-26 | 西安建筑科技大学 | 外墙外保温层缺陷类型识别方法、装置、设备及存储介质 |
| KR20220137236A (ko) * | 2021-04-02 | 2022-10-12 | 연세대학교 산학협력단 | 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치 |
| CN116220359A (zh) * | 2023-01-09 | 2023-06-06 | 苏州百联节能科技股份有限公司 | 一种保温墙的施工方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7385529B2 (ja) * | 2020-06-10 | 2023-11-22 | 日立造船株式会社 | 検査装置、検査方法、および検査プログラム |
-
2023
- 2023-08-28 CN CN202311088760.8A patent/CN116778348B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108195933A (zh) * | 2017-12-16 | 2018-06-22 | 商洛学院 | 一种检测建筑外墙质量缺陷的检测系统 |
| CN210037627U (zh) * | 2019-03-01 | 2020-02-07 | 威海华菱光电股份有限公司 | 裂缝变化监测装置 |
| CN110765289A (zh) * | 2019-09-25 | 2020-02-07 | 南京理工大学 | 一种快速低成本获取建筑裂缝开度的方法 |
| CN112815885A (zh) * | 2020-12-30 | 2021-05-18 | 广东百年基业水利水电建设有限公司 | 房屋墙体裂缝监测方法及系统 |
| KR20220137236A (ko) * | 2021-04-02 | 2022-10-12 | 연세대학교 산학협력단 | 사생활 침해를 방지하는 건물 외벽 하자 검출 방법 및 장치 |
| CN114399665A (zh) * | 2022-01-12 | 2022-04-26 | 西安建筑科技大学 | 外墙外保温层缺陷类型识别方法、装置、设备及存储介质 |
| CN116220359A (zh) * | 2023-01-09 | 2023-06-06 | 苏州百联节能科技股份有限公司 | 一种保温墙的施工方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于特征分布的建筑墙体裂缝图像识别方法;曹艳玲 等;沈阳工业大学学报;第40卷(第02期);第235-240页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116778348A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116778348B (zh) | 基于机器视觉的外墙脱落监测方法、装置、设备及介质 | |
| EP3163543B1 (en) | Alarming method and device | |
| EP3641298B1 (en) | Method and device for capturing target object and video monitoring device | |
| CN113580380B (zh) | 搅拌站智能卸料监控方法及系统 | |
| JP2009533924A (ja) | フレーム選択を用いるパノラマ画像の構成 | |
| CN107452028B (zh) | 一种确定目标图像位置信息的方法及装置 | |
| JP6493787B2 (ja) | 撮像装置、撮像方法及び撮像動作制御プログラム | |
| CN109800654B (zh) | 车载摄像头检测处理方法、装置及车辆 | |
| CN111083456A (zh) | 投影校正方法、装置、投影仪及可读存储介质 | |
| JP2003051017A (ja) | 白線検出装置 | |
| JP5183152B2 (ja) | 画像処理装置 | |
| WO2014030405A1 (ja) | 表示装置、表示方法、テレビジョン受信機及び表示制御装置 | |
| CN112967345A (zh) | 鱼眼相机的外参标定方法、装置以及系统 | |
| CN111047633B (zh) | 单目测距装置 | |
| US20230419500A1 (en) | Information processing device and information processing method | |
| CN113344906B (zh) | 车路协同中相机评估方法、装置、路侧设备和云控平台 | |
| JP6265602B2 (ja) | 監視カメラシステム、撮像装置及び撮像方法 | |
| JP6991045B2 (ja) | 画像処理装置、画像処理装置の制御方法 | |
| CN113888509A (zh) | 一种图像清晰度的评价方法、装置、设备及存储介质 | |
| CN104104902B (zh) | 云台方向故障检测方法及装置 | |
| CN112419950A (zh) | 显示装置的显示差异判定方法、系统及显示装置 | |
| JP5633733B2 (ja) | 暗領域ノイズ補正装置 | |
| JP7024658B2 (ja) | 処理装置 | |
| CN106462966B (zh) | 用于识别图像中的色块区的方法和图像处理装置 | |
| TW201342130A (zh) | 影像定位方法及使用該方法之互動影像系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |