CN113435508A - 玻璃幕墙开启窗开启状态检测方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了玻璃幕墙开启窗开启状态检测方法、装置、设备及介质。其中，该方法包括：获取图像采集设备拍摄的原始图像，并对原始图像进行校正，得到校正图像，原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像；将校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置；确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备。本发明实施例的技术方案，能够在大风天气来临时对开启窗开启状态进行检测，快速定位到处于开启状态的开启窗的位置。

Description

玻璃幕墙开启窗开启状态检测方法、装置、设备及介质

技术领域

本发明实施例涉及建筑设施安全检测领域，尤其涉及玻璃幕墙开启窗开启状态检测方法、装置、设备及介质。

背景技术

玻璃幕墙是现代高层建筑常用的建筑外围护结构或装饰结构，在发生大风甚至强台风天气时，如果玻璃幕墙开启窗未及时关闭，当风压超过开启窗开启时的最大载荷，连接开启窗的五金件极易发生瞬间损坏，造成开启窗的高空脱落，严重危害了人身安全和公共安全。因此，在大风甚至强台风天气对开启窗的开启状态进行检测，从而及时关闭开启窗是非常有必要的。

现有的玻璃幕墙开启窗的开闭(开启或关闭)状态检测方法为：在存在大风天气时，通过每扇开启窗所安装的传感器感知开启窗的开闭状态，并通过蜂窝移动通信的方式将开启窗的开闭状态信息推送到手机等终端设备进行警报。然而，对于超高层建筑而言，大量的传感器设备部署与维护的成本巨大，而且开启窗的频繁开闭容易造成传感器的损坏，导致传感数据的失准。或者通过人工巡查的方式对玻璃幕墙开启窗的开闭状态进行检测，从而进行管控，但是对于一幢几十层甚至上百层的高层建筑，依靠人工巡查的方式十分困难，而且管控的实时性也难以保证。

目前尚未有更好的玻璃幕墙开启窗开启状态检测方法。

发明内容

本发明实施例提供了一种玻璃幕墙开启窗开启状态检测方法、装置、设备及介质，能够对玻璃幕墙开启窗开启状态进行检测，快速定位到处于开启状态的开启窗的位置。

第一方面，本发明实施例提供了一种玻璃幕墙开启窗开启状态检测方法，该方法包括：

获取图像采集设备拍摄的原始图像，并对所述原始图像进行校正，得到校正图像，其中，所述原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像；

将所述校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据所述目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置；

确定与所述各目标开启窗的位置所对应的目标房间号，并将所述目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

第二方面，本发明实施例提供了一种玻璃幕墙开启窗开启状态检测装置，该装置包括：

校正模块，用于获取图像采集设备拍摄的原始图像，并对所述原始图像进行校正，得到校正图像，其中，所述原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像；

检测模块，用于将所述校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据所述目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置；

发送模块，用于确定与所述各目标开启窗的位置所对应的目标房间号，并将所述目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

第三方面，本发明实施例提供了一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的玻璃幕墙开启窗开启状态检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的玻璃幕墙开启窗开启状态检测方法。

本发明实施例提供了一种玻璃幕墙开启窗开启状态检测方法、装置、设备及介质，首先获取图像采集设备拍摄的原始图像，并对原始图像进行校正，得到校正图像，原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像，然后将校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置，最后确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备。通过上述方案，能够对玻璃幕墙开启窗开启状态进行检测，快速定位到处于开启状态的开启窗的位置。

附图说明

图1A为本发明实施例一提供的一种玻璃幕墙开启窗开启状态检测方法的流程图；

图1B为本发明实施例一提供的方法中开启窗检测结果图像的示意图；

图1C为本发明实施例一提供的方法中校正过程的示意图；

图1D为本发明实施例一提供的方法中选取预设个数的参考点的过程示意图；

图2为本发明实施例二提供的一种玻璃幕墙开启窗开启状态检测方法的流程图；

图3为本发明实施例三提供的一种玻璃幕墙开启窗开启状态检测装置的结构示意图；

图4为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1A为本发明实施例一提供的一种玻璃幕墙开启窗开启状态检测方法的流程图，本实施例可适用于对玻璃幕墙开启窗开启状态进行检测的情况。本实施例提供的玻璃幕墙开启窗开启状态检测方法可以由本发明实施例提供的玻璃幕墙开启窗开启状态检测装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的计算机设备中。

参见图1A，本实施例的方法包括但不限于如下步骤：

S110，获取图像采集设备拍摄的原始图像，并对原始图像进行校正，得到校正图像，其中，原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像。

其中，图像采集设备可以理解为固定在目标楼宇外某位置的具有图像采集功能的设备，例如，广角摄像头或者摄像机，该位置可以为距目标楼宇底部第一预设距离，目的为使得该广角摄像头能够拍摄到包括所有开启窗的目标玻璃幕墙外立面全景图像，第一预设距离可以预先设置好，也可以视具体情况而定，本发明实施例不做具体限制；图像采集设备还可以为多个摄像头或者多个摄像机，每个摄像头或者摄像机负责拍摄目标玻璃幕墙的一部分，所有摄像头或者所有摄像机拍摄的图像拼接起来为包括所有开启窗的目标玻璃幕墙外立面全景图像，本发明实施例对摄像头或者摄像机的部署位置不做具体限制。目标楼宇可以理解为目标玻璃幕墙所在的楼宇。目标玻璃幕墙可以理解为待检测的开启窗所属的玻璃幕墙。玻璃幕墙可以理解为支承结构体系相对主体结构有一定位移能力、不分担主体结构所受作用的建筑外围护结构或装饰结构，且玻璃幕墙中包括了多个开启窗，开启窗可以开启或关闭。

为了在大风甚至强台风天气对开启窗的开启状态进行检测，从而及时关闭开启窗，需要获取图像采集设备拍摄的原始图像，由于原始图像可能为部署于目标楼宇底部的广角摄像头或者摄像机拍摄的，目标楼宇的位置越高，物距越远，目标就越小，那么原始图像可能是畸变图像，因此需要对原始图像进行校正，具体可以为：将原始图像校正成正常比例的目标玻璃幕墙外立面图像，从而得到校正图像。其中，正常比例可以理解为未发生畸变或者失真的目标玻璃幕墙外立面图像所对应的比例。具体的校正方法可以有多种，例如，基于透视变换技术的畸变校正以及几何校正等，本发明实施例不做具体限制。

S120，将校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置。

其中，目标检测模型可以为Faster-区域卷积神经网络(Faster-RegionConvolutional Neural Networks，简称Faster-RCNN)或者YOLO等。目标开启窗可以理解为处于开启状态的开启窗。

在得到校正图像之后，将校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据目标检测模型的输出，即校正图像中哪些开启窗为开启状态，能够确定开启窗检测结果图像以及处于开启状态的各目标开启窗在校正图像中的具体位置，便于后续确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备。

示例性的，图1B为本发明实施例一提供的方法中开启窗检测结果图像的示意图，示例性的给出了一种实现方式，如图1B所示：

图1B中开启窗检测结果图像中，可以很明显的看出哪些是处于开启状态的各目标开启窗，能够方便后续管控人员的查看。

S130，确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备。

其中，目标房间号可以理解为与目标开启窗的位置所对应的房间在目标楼宇中对应的房间号，即：目标开启窗所属的房间号。管控人员可以理解为负责目标楼宇相关管理工作的人员。管控人员侧设备可以理解为管控人员所使用的设备，例如手机或者电脑等。

在得到了处于开启状态的各目标开启窗的位置之后，能够确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像通过有线或者无线等通信方式发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备，以使管控人员及时处置或者关闭处于开启状态的各目标开启窗。

本实施例提供的技术方案，首先获取图像采集设备拍摄的原始图像，并对原始图像进行校正，得到校正图像，原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像，然后将校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置，最后确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备。通过上述方案，能够在大风天气来临时对玻璃幕墙开启窗开启状态进行检测，快速定位到处于开启状态的开启窗的位置。并且，通过图像采集设备拍摄的原始图像就可进行后续的玻璃幕墙开启窗开启状态检测，相比于现有技术中对每个开启窗安装传感器的方式，能够减少设备的部署与维护成本。

在一些实施例中，所述对所述原始图像进行校正，得到校正图像，可以具体包括：在所述原始图像中选取预设个数的参考点以及确定与各参考点相对应的标准参考点；根据所述参考点的坐标以及所述标准参考点的坐标，确定从各参考点投影到对应的标准参考点的变换矩阵；基于所述变换矩阵对所述原始图像进行校正，得到校正图像。

其中，预设个数可以预先设置好，优选的，可以有4个预设个数的参考点，也可以视具体情况而定，本发明实施例不做具体限制。

具体的，为了对原始图像进行校正，在原始图像中选取预设个数的参考点，例如，可以在图像采集设备部署位置固定时，选取相对比较规则的点作为参考点，以及确定与各参考点相对应的标准参考点，其中，标准参考点可以人为确定，也可以按照目标楼宇的宽度和校正图像的宽度之间的比例关系以及目标楼宇的高度和校正图像的高度之间的比例关系进行确定，本发明实施例不做具体限制。在确定了参考点和对应的标准参考点之后，根据参考点的坐标以及标准参考点的坐标，能够确定从各参考点投影到对应的标准参考点的变换矩阵。通过变换矩阵能够将原始图像变换成正常比例的校正图像。

本发明实施例中，通过上述校正方法，将原始图像统一校正成正常比例的校正图像，便于后续通过校正图像中处于开启状态的各目标开启窗的位置确定对应的目标房间号；由于原始图像中有的开启窗尺寸较小，不利于后续目标检测模型的检测，通过校正还原了目标玻璃幕墙外立面的正常比例，间接放大了尺寸较小的开启窗的尺寸，突出了开启窗特征，有利于提高开启状态的各目标开启窗的识别准确性；防止因为图像的畸变导致后续目标检测模型的输出结果不准确，从而影响目标房间号的确定。

示例性的，图1C为本发明实施例一提供的方法中校正过程的示意图，示例性的给出了一种实现方式，如图1C所示：

图1C中左边的图为原始图像，右边的图为校正成正常比例的校正图像。从原始图像中选取了4个参考点，分别用A、B、C和D表示，A1、B1、C1和D1为对应的4个标准参考点，其中A1与A对应，B1与B对应，C1和C对应，D1和D对应。根据A、B、C和D的坐标以及A1、B1、C1和D1的坐标，能够确定从各参考点投影到对应的标准参考点的变换矩阵M，进而通过变换矩阵M能够将原始图像变换成正常比例的校正图像。

在一些实施例中，所述在所述原始图像中选取预设个数的参考点，可以具体包括：将所述原始图像输入至预先训练的语义分割模型中，得到与所述原始图像对应的二值化图像，其中，所述二值化图像中白色区域为所述目标玻璃幕墙外立面所形成的区域，黑色区域为背景区域；对所述二值化图像中的白色区域进行轮廓提取，得到所述白色区域对应的轮廓信息；提取所述轮廓信息中边缘直线的信息，并将所述边缘直线之间的交点作为在所述原始图像中选取的预设个数的参考点。

其中，语义分割模型可以为全卷积神经网络(Fully Convolutional Networks，简称FCN)、U-Net或者DeepLab等，本发明实施例不做具体限制。黑色区域可以理解为原始图像中不包含目标玻璃幕墙外立面的部分所形成的区域。

具体的，当图像采集设备出现轻微位置变化时，将原始图像输入至预先训练的语义分割模型中，能够得到与原始图像对应的二值化图像，对该二值化图像中的白色区域进行轮廓提取，例如Canny算子提取方法，还可以是其他提取方法，能够得到白色区域对应的轮廓信息。通过Hough变换方法可以提取轮廓信息中边缘直线的信息，也可以是其他变换方法，本发明实施例不做具体限制。最后将边缘直线之间的交点作为在原始图像中选取的预设个数的参考点。

示例性的，图1D为本发明实施例一提供的方法中选取预设个数的参考点的过程示意图，示例性的给出了一种实现方式，如图1D所示：

图1D中从左至右的第一个图为原始图像，第二个图为与原始图像对应的二值化图像，第三个图为轮廓提取后得到的图像，第四个图为提取轮廓信息中边缘直线的信息后得到的图像，第四个图中边缘直线之间的交点A2、B2、C2和D2即为在原始图像中选取的4个参考点。

本发明实施例中，通过上述基于深度学习语义分割的方法提取参考点可以在图像采集设备出现轻微位置变化时，仍能够稳定地提取参考点位置信息，同时能够有效排除非目标玻璃幕墙外立面的背景信息，提高后续处于开启状态的各目标开启窗的识别精度。

在一些实施例中，语义分割模型可以通过以下训练方式得到：

1、数据准备：采用图像采集设备从目标楼宇底部仰视拍摄目标玻璃幕墙外立面，得到全景图像数据，优选的，所采集的玻璃幕墙外立面全景图像应包括处于开启状态的开启窗，作为后续语义分割模型的训练数据样本；并且为了增加数据样本的多样性，可以采集不同时间段，各种不同光照条件下的全景图像数据。

对所采集的多个全景图像数据进行数据标注，例如，人为标注原始图像中的目标玻璃幕墙外立面所形成的区域和背景区域，并根据标注后的数据形成训练集和验证集，训练集作为训练样本，验证集作为验证样本。标注的图像可以为二值化的掩码图像，标注的图像中目标玻璃幕墙外立面所形成的区域对应的灰度值可以为255，背景区域对应的灰度值可以为0。

2、数据增强：在语义分割模型训练的过程中可以使用在线数据增强的方式，丰富训练数据样本。其中，数据增强的方式可以包括但不限于以下几种：尺度变化、随机遮挡、透视变换、随机旋转和水平翻转、加高斯噪声以及颜色变化等。

3、模型训练：在训练过程中，当训练集中包含的样本的训练结果与验证集中对应的样本之间的准确度达到预设阈值时，说明验证结果满足结束条件，此时结束训练，保存当前训练的参数作为语义分割模型的参数。其中，预设阈值可以预先设置好，例如90％，也可以视具体情况而定，本发明实施例不做具体限制。

本发明实施例中，通过上述训练方式得到语义分割模型，一方面可以提高模型识别结果的准确性，另一方面有利于后续得到较为准确的变换矩阵。

在一些实施例中，所述确定与所述各目标开启窗的位置所对应的目标房间号，可以具体包括：查询所述目标玻璃幕墙外立面所有开启窗的位置与房间号的预设对应关系；根据所述预设对应关系确定与所述各目标开启窗的位置所对应的目标房间号。

具体的，为了便于管控人员快速处理大风天气存在的开启窗开启现象，需要根据处于开启状态的各目标开启窗在校正图像中的位置找到所对应的房间号，因此，需要首先建立校正图像中所有开启窗的位置(包括所有开启与关闭状态的开启窗)与房间号的预设对应关系，然后查询目标玻璃幕墙外立面所有开启窗的位置与房间号的预设对应关系，根据该预设对应关系能够确定出与各目标开启窗的位置所对应的目标房间号。

本发明实施例中，通过上述查询方式，能够快速找到与各目标开启窗的位置所对应的目标房间号，从而使得管控人员及时做出反应，防止在大风甚至强台风天气时，因为开启窗未及时关闭，造成开启窗的高空脱落，危害人身安全和公共安全，造成不必要的损失。

实施例二

图2为本发明实施例二提供的一种玻璃幕墙开启窗开启状态检测方法的流程图。本发明实施例是在上述实施例的基础上进行优化。可选的，本实施例对将校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，以及确定开启窗检测结果图像和处于开启状态的各目标开启窗的位置的过程进行详细的解释说明。

参见图2，本实施例的方法包括但不限于如下步骤：

S210，获取图像采集设备拍摄的原始图像，并对原始图像进行校正，得到校正图像，其中，原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像。

S220，对校正图像按照预设尺寸的窗口以及预设步长进行扫描裁剪得到裁剪后的图像。

其中，所述预设尺寸和所述预设步长对应的数值均为开启窗最大边长的整数倍，所述预设步长对应的数值小于所述预设尺寸对应的数值。

具体的，由于目标楼宇对应的校正图像尺寸可能较大，如果直接将原尺寸的校正图像输入至目标检测模型进行检测，硬件条件可能难以支撑，而缩小图像的方式容易丢掉校正图像中的关键特征信息，对目标检测模型得精度有影响。因此，本发明实施例中通过对校正图像按照预设尺寸的窗口，例如n*n的窗口，以及预设步长进行扫描裁剪就能得到裁剪后的图像，便于后续将所有裁剪后的图像分别输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测。

本发明实施例中，上述裁剪方式不仅能够保证每个开启窗都能完整地被包含在裁剪后的图像中，而且能够缓解硬件的压力。

S230，将所有裁剪后的图像分别输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，得到每个裁剪后的图像所对应的第一开启窗检测结果图像以及每个裁剪后的图像中处于开启状态的各第一目标开启窗所对应的矩形检测框的第一位置坐标。

其中，第一开启窗检测结果图像可以理解为某裁剪后的图像中将处于开启状态的开启窗用矩形检测框进行标注所得到的图像。矩形检测框的尺寸可以为刚好框选开启窗的矩形框，例如，矩形检测框的尺寸可以略大于开启窗的尺寸，也可以略小于开启窗的尺寸。第一位置坐标可以为各第一目标开启窗所对应的矩形检测框的中心点位置坐标，也可以为其他顶点的位置坐标。在确定第一位置坐标时，原点可以选取相对应的某裁剪后的图像的左上角的顶点，也可以是其他的点，本发明实施例不做具体限制。

将所有裁剪后的图像分别输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，能够得到每个裁剪后的图像所对应的第一开启窗检测结果图像，以及通过建立坐标系，能够确定每个裁剪后的图像中处于开启状态的各第一目标开启窗所对应的矩形检测框的第一位置坐标，例如，各第一目标开启窗所对应的矩形检测框的中心点位置坐标，示例性的，可以用(cxi，cyi，wi，hi)表示某第一位置坐标，其中，cxi为该第一位置坐标的横坐标，cyi为该第一位置坐标的纵坐标，wi为与第一位置坐标对应的矩形检测框的宽度，hi为与第一位置坐标对应的矩形检测框的高度，便于后续基于每个裁剪后的图像相对于校正图像的位置，将所有第一开启窗检测结果图像映射至校正图像中，得到开启窗检测结果图像。

可选的，目标检测模型可以通过以下训练方式得到：

1、数据准备：对多个校正图像按照预设尺寸的窗口以及预设步长进行扫描裁剪得到裁剪后的图像；对各裁剪后的图像进行数据标注，标注结果可以为刚好框选开启窗的矩形框，矩形框可以用(cx，cy，w，h)表示，其中(cx，cy)是矩形框中心点坐标，cx为矩形框中心点横坐标，cy为矩形框中心点纵坐标，w为矩形框的宽度，h为矩形框的度高，将标注后的图像划分成训练集和验证集，训练集作为训练样本，验证集作为验证样本。

2、数据增强：在目标检测模型训练的过程中可以使用在线数据增强的方式，丰富训练数据样本。其中，数据增强的方式可以包括但不限于以下几种：尺度变化、透视变换、随机旋转和水平翻转、直方图均衡化、加高斯噪声、色调饱和度明度(Hue，Saturation，Value，简称HSV)空间颜色变换和随机遮挡等。

数据增强，一方面可以增加训练的数据量，提高模型的泛化能力。另一方面可以增加噪声数据，提升模型的鲁棒性。

3、模型训练：在训练过程中，当训练集中包含的样本的训练结果与验证集中对应的样本之间的准确度达到预设阈值时，说明验证结果满足结束条件，此时结束训练，保存当前训练的参数作为目标检测模型的参数。其中，预设阈值可以预先设置好，例如92％，也可以视具体情况而定，本发明实施例不做具体限制。

S240，基于每个裁剪后的图像相对于校正图像的位置，将所有第一开启窗检测结果图像映射至校正图像中，得到开启窗检测结果图像。

由于每个裁剪后的图像是对校正图像进行扫描裁剪得到，因此，基于每个裁剪后的图像相对于校正图像的位置，将所有第一开启窗检测结果图像映射至校正图像中，能够得到各第一开启窗检测结果图像分别对应的初始图像，将各初始图像按照相应的位置拼接起来，就能够得到开启窗检测结果图像。

S250，基于每个裁剪后的图像相对于校正图像的位置，将所有第一位置坐标的矩形检测框映射至校正图像中，得到矩形检测框在校正图像中的中心点位置坐标。

基于每个裁剪后的图像相对于校正图像的位置，将所有第一位置坐标的矩形检测框映射至校正图像中，能够得到矩形检测框在校正图像中的中心点位置坐标，例如，假设(cxi，cyi，wi，hi)表示某第一位置坐标，(cxj，cyj，wj，hj)则为该第一位置坐标映射在校正图像中的中心点位置坐标，cxj为该中心点位置的横坐标，cyj为该中心点位置的纵坐标，wj为与第一位置坐标对应的矩形检测框的宽度，hj为与第一位置坐标对应的矩形检测框的高度。

S260，根据中心点位置坐标确定各目标开启窗的位置。

在得到了所有第一位置坐标的矩形检测分别在校正图像中的中心点位置坐标之后，根据各中心点位置坐标可以确定出与各中心点位置坐标相对应的目标开启窗的位置，从而便于后续确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

可选的，在得到所述矩形检测框在所述校正图像中的中心点位置坐标之后，还可以具体包括：对所述中心点位置坐标进行验证，若所述中心点位置坐标对应的第一横坐标大于第二横坐标，且小于第三横坐标，所述中心点位置坐标对应的第一纵坐标大于第二纵坐标，且小于第三纵坐标，则说明验证结果为通过，其中，所述第二横坐标和所述第三横坐标从所述中心点位置坐标对应的目标开启窗在所述校正图像中的所有顶点对应的横坐标中选取，所述第二纵坐标和所述第三纵坐标从所述中心点位置坐标对应的目标开启窗在所述校正图像中的所有顶点对应的纵坐标中选取；在所述验证结果为通过时，获取与所述中心点位置坐标对应的目标开启窗所对应的目标房间号。

具体的，由于第二横坐标和第三横坐标从中心点位置坐标对应的目标开启窗在校正图像中的所有顶点对应的横坐标中选取，那么假设原点为校正图像左上角顶点，可以将目标开启窗在校正图像中的左上角顶点对应的横坐标确定为第二横坐标，假设用x1表示；可以将目标开启窗在校正图像中的右下角顶点对应的横坐标确定为第三横坐标，假设用x2表示。由于第二纵坐标和第三纵坐标从中心点位置坐标对应的目标开启窗在校正图像中的所有顶点对应的纵坐标中选取，那么假设原点为校正图像左上角顶点，可以将目标开启窗在校正图像中的左上角顶点对应的纵坐标确定为第二纵坐标，假设用y1表示；可以将目标开启窗在校正图像中的右下角顶点对应的纵坐标确定为第三纵坐标，假设用y2表示。

在得到矩形检测框在校正图像中的中心点位置坐标之后，对该中心点位置坐标进行验证，假设该中心点位置坐标为(cxj，cyj，wj，hj)，原点为校正图像左上角顶点，若该中心点位置坐标对应的第一横坐标cxj大于第二横坐标x1，且小于第三横坐标x2，即：x1<cxj<x2，中心点位置坐标对应的第一纵坐标cyj大于第二纵坐标y1，且小于第三纵坐标y2，即：y1<cyj<y2，则说明验证结果为通过。在验证结果为通过时，就获取与中心点位置坐标对应的目标开启窗所对应的目标房间号。

本发明实施例中，通过上述方法对中心点位置坐标进行验证，能够确保中心点位置坐标的准确性，避免出错，提高准确率。

优选的，在得到矩形检测框在校正图像中的中心点位置坐标之后，还可以将矩形检测框范围参数与对应的目标房间号直接进行绑定，从而能够更加迅速的确定目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备。

其中，矩形检测框范围参数可以用(x0，y0，x3，y3)表示，x0为矩形检测框左上角顶点的横坐标，y0为矩形检测框左上角顶点的纵坐标，x3为矩形检测框右下角顶点的横坐标，y3为矩形检测框右下角顶点的纵坐标。

S270，确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备。

本实施例提供的技术方案，首先获取图像采集设备拍摄的原始图像，并对原始图像进行校正，得到校正图像，接着对校正图像按照预设尺寸的窗口以及预设步长进行扫描裁剪得到裁剪后的图像，将所有裁剪后的图像分别输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，得到每个裁剪后的图像所对应的第一开启窗检测结果图像以及每个裁剪后的图像中处于开启状态的各第一目标开启窗所对应的矩形检测框的第一位置坐标，然后基于每个裁剪后的图像相对于校正图像的位置，将所有第一开启窗检测结果图像映射至校正图像中，得到开启窗检测结果图像，基于每个裁剪后的图像相对于校正图像的位置，将所有第一位置坐标的矩形检测框映射至校正图像中，得到矩形检测框在校正图像中的中心点位置坐标，根据中心点位置坐标确定各目标开启窗的位置，最后确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备，通过上述方案，对校正图像裁剪后再输入至预先训练的目标检测模型中进行检测，不仅能够保证每个开启窗都能完整地被包含在裁剪后的图像中，而且能够缓解硬件的压力，提高后续确定的各目标开启窗的位置的准确性，以及能够在大风天气来临时对开启窗开启状态进行检测，快速定位到处于开启状态的开启窗的位置。

实施例三

图3为本发明实施例三提供的一种玻璃幕墙开启窗开启状态检测装置的结构示意图，如图3所示，该装置可以包括：

校正模块310，用于获取图像采集设备拍摄的原始图像，并对所述原始图像进行校正，得到校正图像，其中，所述原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像；

检测模块320，用于将所述校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据所述目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置；

发送模块330，用于确定与所述各目标开启窗的位置所对应的目标房间号，并将所述目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

本实施例提供的技术方案，首先获取图像采集设备拍摄的原始图像，并对原始图像进行校正，得到校正图像，原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像，然后将校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置，最后确定与各目标开启窗的位置所对应的目标房间号，并将目标房间号和开启窗检测结果图像发送至与目标玻璃幕墙所在楼宇对应的管控人员侧设备。通过上述方案，能够在大风天气来临时对玻璃幕墙开启窗开启状态进行检测，快速定位到处于开启状态的开启窗的位置。

进一步的，上述校正模块310，可以包括：选取单元，用于获取图像采集设备拍摄的原始图像，并在所述原始图像中选取预设个数的参考点以及确定与各参考点相对应的标准参考点；第一确定单元，用于根据所述参考点的坐标以及所述标准参考点的坐标，确定从各参考点投影到对应的标准参考点的变换矩阵；第一校正单元，用于基于所述变换矩阵对所述原始图像进行校正，得到校正图像，其中，所述原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像。

进一步的，上述选取单元，可以具体用于：获取图像采集设备拍摄的原始图像，并将所述原始图像输入至预先训练的语义分割模型中，得到与所述原始图像对应的二值化图像，其中，所述二值化图像中白色区域为所述目标玻璃幕墙外立面所形成的区域，黑色区域为背景区域；对所述二值化图像中的白色区域进行轮廓提取，得到所述白色区域对应的轮廓信息；提取所述轮廓信息中边缘直线的信息，并将所述边缘直线之间的交点作为在所述原始图像中选取的预设个数的参考点以及确定与各参考点相对应的标准参考点。

进一步的，上述检测模块320，可以包括：第一检测单元和第二确定单元。

所述第一检测单元，可以具体用于：对所述校正图像按照预设尺寸的窗口以及预设步长进行扫描裁剪得到裁剪后的图像，其中，所述预设尺寸和所述预设步长对应的数值均为开启窗最大边长的整数倍，所述预设步长对应的数值小于所述预设尺寸对应的数值；将所有裁剪后的图像分别输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，得到每个裁剪后的图像所对应的第一开启窗检测结果图像以及每个裁剪后的图像中处于开启状态的各第一目标开启窗所对应的矩形检测框的第一位置坐标。

所述第二确定单元，可以具体用于：基于所述每个裁剪后的图像相对于所述校正图像的位置，将所有第一开启窗检测结果图像映射至所述校正图像中，得到开启窗检测结果图像；基于所述每个裁剪后的图像相对于所述校正图像的位置，将所有第一位置坐标的矩形检测框映射至所述校正图像中，得到所述矩形检测框在所述校正图像中的中心点位置坐标；根据所述中心点位置坐标确定所述各目标开启窗的位置。

进一步的，上述玻璃幕墙开启窗开启状态检测装置，还可以包括：验证模块，用于在得到所述矩形检测框在所述校正图像中的中心点位置坐标之后，对所述中心点位置坐标进行验证，若所述中心点位置坐标对应的第一横坐标大于第二横坐标，且小于第三横坐标，所述中心点位置坐标对应的第一纵坐标大于第二纵坐标，且小于第三纵坐标，则说明验证结果为通过，其中，所述第二横坐标和所述第三横坐标从所述中心点位置坐标对应的目标开启窗在所述校正图像中的所有顶点对应的横坐标中选取，所述第二纵坐标和所述第三纵坐标从所述中心点位置坐标对应的目标开启窗在所述校正图像中的所有顶点对应的纵坐标中选取；相应的，上述发送模块330，可以具体用于：在所述验证结果为通过时，获取与所述中心点位置坐标对应的目标开启窗所对应的目标房间号，并将所述目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

进一步的，上述发送模块330，还可以具体用于：查询所述目标玻璃幕墙外立面所有开启窗的位置与房间号的预设对应关系；根据所述预设对应关系确定与所述各目标开启窗的位置所对应的目标房间号，并将所述目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

本实施例提供的玻璃幕墙开启窗开启状态检测装置可适用于上述任意实施例提供的玻璃幕墙开启窗开启状态检测方法，具备相应的功能和有益效果。

实施例四

图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器410和存储装置420；计算机设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；计算机设备中的处理器410和存储装置420可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储装置420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的玻璃幕墙开启窗开启状态检测方法对应的模块(例如，用于玻璃幕墙开启窗开启状态检测装置中的校正模块310、检测模块320和发送模块330)。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的玻璃幕墙开启窗开启状态检测方法。

存储装置420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本实施例提供的一种计算机设备可用于执行上述任意实施例提供的玻璃幕墙开启窗开启状态检测方法，具备相应的功能和有益效果。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例中的玻璃幕墙开启窗开启状态检测方法，该方法具体包括：

获取图像采集设备拍摄的原始图像，并对所述原始图像进行校正，得到校正图像，其中，所述原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像；

将所述校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据所述目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置；

确定与所述各目标开启窗的位置所对应的目标房间号，并将所述目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的玻璃幕墙开启窗开启状态检测方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述玻璃幕墙开启窗开启状态检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种玻璃幕墙开启窗开启状态检测方法，其特征在于，包括：

获取图像采集设备拍摄的原始图像，并对所述原始图像进行校正，得到校正图像，其中，所述原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像；

将所述校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据所述目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置；

确定与所述各目标开启窗的位置所对应的目标房间号，并将所述目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行校正，得到校正图像，包括：

在所述原始图像中选取预设个数的参考点以及确定与各参考点相对应的标准参考点；

根据所述参考点的坐标以及所述标准参考点的坐标，确定从各参考点投影到对应的标准参考点的变换矩阵；

基于所述变换矩阵对所述原始图像进行校正，得到校正图像。

3.根据权利要求2所述的方法，其特征在于，所述在所述原始图像中选取预设个数的参考点，包括：

将所述原始图像输入至预先训练的语义分割模型中，得到与所述原始图像对应的二值化图像，其中，所述二值化图像中白色区域为所述目标玻璃幕墙外立面所形成的区域，黑色区域为背景区域；

对所述二值化图像中的白色区域进行轮廓提取，得到所述白色区域对应的轮廓信息；

提取所述轮廓信息中边缘直线的信息，并将所述边缘直线之间的交点作为在所述原始图像中选取的预设个数的参考点。

4.根据权利要求1所述的方法，其特征在于，所述将所述校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，包括：

对所述校正图像按照预设尺寸的窗口以及预设步长进行扫描裁剪得到裁剪后的图像，其中，所述预设尺寸和所述预设步长对应的数值均为开启窗最大边长的整数倍，所述预设步长对应的数值小于所述预设尺寸对应的数值；

将所有裁剪后的图像分别输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，得到每个裁剪后的图像所对应的第一开启窗检测结果图像以及每个裁剪后的图像中处于开启状态的各第一目标开启窗所对应的矩形检测框的第一位置坐标。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置，包括：

基于所述每个裁剪后的图像相对于所述校正图像的位置，将所有第一开启窗检测结果图像映射至所述校正图像中，得到开启窗检测结果图像；

基于所述每个裁剪后的图像相对于所述校正图像的位置，将所有第一位置坐标的矩形检测框映射至所述校正图像中，得到所述矩形检测框在所述校正图像中的中心点位置坐标；

根据所述中心点位置坐标确定所述各目标开启窗的位置。

6.根据权利要求5所述的方法，其特征在于，在得到所述矩形检测框在所述校正图像中的中心点位置坐标之后，还包括：

对所述中心点位置坐标进行验证，若所述中心点位置坐标对应的第一横坐标大于第二横坐标，且小于第三横坐标，所述中心点位置坐标对应的第一纵坐标大于第二纵坐标，且小于第三纵坐标，则说明验证结果为通过，其中，所述第二横坐标和所述第三横坐标从所述中心点位置坐标对应的目标开启窗在所述校正图像中的所有顶点对应的横坐标中选取，所述第二纵坐标和所述第三纵坐标从所述中心点位置坐标对应的目标开启窗在所述校正图像中的所有顶点对应的纵坐标中选取；

在所述验证结果为通过时，获取与所述中心点位置坐标对应的目标开启窗所对应的目标房间号。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述确定与所述各目标开启窗的位置所对应的目标房间号，包括：

查询所述目标玻璃幕墙外立面所有开启窗的位置与房间号的预设对应关系；

根据所述预设对应关系确定与所述各目标开启窗的位置所对应的目标房间号。

8.一种玻璃幕墙开启窗开启状态检测装置，其特征在于，包括：

校正模块，用于获取图像采集设备拍摄的原始图像，并对所述原始图像进行校正，得到校正图像，其中，所述原始图像为包括所有开启窗的目标玻璃幕墙外立面全景图像；

检测模块，用于将所述校正图像输入至预先训练的目标检测模型中对处于开启状态的开启窗进行检测，根据所述目标检测模型的输出确定开启窗检测结果图像以及处于开启状态的各目标开启窗的位置；

发送模块，用于确定与所述各目标开启窗的位置所对应的目标房间号，并将所述目标房间号和所述开启窗检测结果图像发送至与所述目标玻璃幕墙所在楼宇对应的管控人员侧设备。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images