CN114332741A - 一种面向建筑数字孪生的视频检测方法及系统 - Google Patents

Abstract

本申请提供了一种面向建筑数字孪生的视频检测方法及系统，该方法包括：对连续视频图像帧中的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；当检测到任意一帧待检测图像中出现第一实体对象时，则从该帧待检测图像中，获取第一实体对象所在的图像连通区域；将该图像连通区域输入直线检测模型中，得到该图像连通区域的直线检测结果；从直线检测结果中，确定平行于第一直角边方向的第一平行线和平行于第二直角边方向的第二平行线；根据第一平行线与第二平行线在该图像连通区域内形成的交点，确定第一实体对象的图像位置。这样，本申请在对具备拼接结构的实体对象进行视频检测时，可以提高实体位置定位精度。

Description

一种面向建筑数字孪生的视频检测方法及系统

技术领域

本申请涉及建筑数字孪生技术领域，具体而言，涉及一种面向建筑数字孪生的视频检测方法及系统。

背景技术

数字孪生是指充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。其中，建筑数字孪生是指在工程建设的应用场景中，为了更加直观清晰的展示目标实体建筑的空间布局结构，工程建设人员通常会在目标实体建筑建成之后，构建一个能够反映目标实体建筑的物理与功能特性的建筑信息模型，将构建的建筑信息模型作为目标实体建筑的数字孪生模型，以通过数字孪生模型来便捷性的管理目标实体建筑的过程。

基于此，在构建数字孪生模型/更新数字孪生模型时，常需要通过视频检测的方法，从实体建筑场景内连续拍摄到的图像中，确定每一个实体对象的类别以及各实体对象在图像中所在的实体位置，以通过相机内外参完成像素坐标系与虚拟空间世界坐标系（数字孪生模型内的位置坐标符合虚拟空间世界坐标系）之间的转换，从而实现实体对象在虚拟空间世界坐标系下的定位，以确定实体对象在数字孪生模型中映射的虚拟对象模型的真实位置。

在目前的视频检测方法中，对于诸如办公场景内常见的桌子等具备拼接结构的实体对象，常规目标检测算法只能预测出图像中桌子所在的大致矩形区域，不能准确地对桌子的具体位置进行精准定位；并且对大尺度目标（多张桌子拼接出的整排办公桌）可能出现重复检测的问题，从而导致对于具备拼接结构的实体对象进行视频检测时会出现实体数量检测结果的准确度较低以及实体位置定位精度较低的问题，进而，也间接造成构建/更新的数字孪生模型中的模型信息出现失真。

发明内容

有鉴于此，本申请的目的在于提供一种面向建筑数字孪生的视频检测方法及系统，以在对视频图像帧中具备拼接结构的实体对象进行图像目标检测时，提高实体位置定位精度，从而对拼接结构中包括的每个实体对象进行分割，间接提高实体数量检测结果的准确度，完成对现有视频检测方法的优化，有利于提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率。

第一方面，本申请实施例提供了一种面向建筑数字孪生的视频检测方法，所述视频检测方法用于对连续视频图像帧中出现的目标实体对象进行图像目标检测；其中，所述连续视频图像帧用于表征拍摄装置连续拍摄到的实体建筑场景内的多帧场景图像；所述目标实体对象至少包括：所述实体建筑场景内具有拼接结构的第一实体对象和/或在所述连续视频图像帧中处于静止状态的第二实体对象；所述视频检测方法包括：

获取所述连续视频图像帧，对所述连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；

当检测到任意一帧待检测图像中出现所述第一实体对象时，则从该帧待检测图像中，获取所述第一实体对象所在的图像连通区域，得到第一图像连通区域；

将所述第一图像连通区域输入预先训练好的直线检测模型中，得到所述第一图像连通区域的直线检测结果；其中，所述直线检测模型用于对不同实体对象在所述第一图像连通区域内显示出的图像边缘进行直线段检测；

从所述直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；其中，所述第一直角边方向与所述第二直角边方向互相垂直；所述第一直角边方向是根据所述第一实体对象在所述第一图像连通区域内显示出的图像边缘确定的；

根据所述第一平行线与所述第二平行线在所述第一图像连通区域内形成的交点，确定所述第一实体对象在所述第一图像连通区域内的图像位置。

在一种可选的实施方式中，在所述确定每一帧待检测图像中包括的实体对象类别之后，所述视频检测方法还包括：

从所述连续视频图像帧中，获取多组包括同一实体对象的相邻帧待检测图像；

当检测到所述相邻帧检测图像中出现所述第二实体对象时，从所述连续视频图像帧中，获取所述第二实体对象所在的每组相邻帧待检测图像作为目标检测图像帧组；

根据所述第二实体对象在第一待检测图像中的目标图像位置，将所述第二实体对象在每一所述目标检测图像帧组中的图像位置统一校正为所述目标图像位置；其中，所述第一待检测图像用于表征每一所述目标检测图像帧组中拍摄时间最早的待检测图像。

在一种可选的实施方式中，在所述连续视频图像帧的拍摄过程中，通过实体移动跟踪装置对所述实体建筑场景内的每一实体对象的位置变化进行跟踪检测，得到同一实体对象在所述连续视频图像帧中的真实位置变化结果；所述检测到所述相邻帧检测图像中出现所述第二实体对象，包括：

根据同一实体对象在每一帧待检测图像中对应的图像区域边界，确定同一实体对象在所述相邻帧待检测图像中的图像位置变化结果；

从所述真实位置变化结果中，获取同一实体对象在所述相邻帧待检测图像中的目标位置变化结果；

当检测到所述图像位置变化结果与所述目标位置变化结果之间的结果相似度不符合预先设置的实体运动条件时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象。

在一种可选的实施方式中，所述检测到所述相邻帧检测图像中出现所述第二实体对象，还包括：

根据同一实体对象在所述相邻帧待检测图像中对应的图像区域边界，对同一实体对象在所述相邻帧待检测图像中对应的图像区域进行帧间差分处理，得到每一实体对象在所述相邻帧待检测图像中对应的帧间差分处理结果；其中，所述帧间差分结果用于通过同一实体对象在所述相邻帧待检测图像中的图像亮度差异，来表征该实体对象在所述相邻帧待检测图像中处于运动状态/静止状态；

当检测到所述帧间差分结果表征该实体对象在所述相邻帧待检测图像中处于静止状态时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象，并确定该实体对象为所述第二实体对象。

在一种可选的实施方式中，所述视频检测方法还包括：

获取所述实体建筑场景在虚拟空间中映射的建筑信息模型；其中，所述建筑信息模型中虚拟对象模型的模型位置符合虚拟空间世界坐标系；

根据每一实体对象在每一帧待检测图像中的图像位置坐标，在像素坐标系与所述虚拟空间世界坐标系之间，对该图像位置坐标进行坐标转换，以坐标转换结果作为目标模型位置；其中，所述目标模型位置表征该实体对象在所述建筑信息模型中映射的目标虚拟对象的模型位置；

在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。

在一种可选的实施方式中，所述目标实体对象还包括：需要在方向上区分实体对象在所述实体建筑场景与所述建筑信息模型之间显示差异的第三实体对象；在所述确定每一帧待检测图像中包括的实体对象类别之后，所述视频检测方法还包括：

当检测到任意一帧待检测图像中出现所述第三实体对象时，对第二待检测图像进行二维目标检测，得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果；其中，所述第二待检测图像用于表征当前检测到所述第三实体对象的待检测图像；所述二维目标检测结果至少包括：所述第三实体对象在所述第二待检测图像中所在的二维图像区域边界框；

将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述第三实体对象在所述实体建筑场景内的实体位置与实体方向进行预测，得到所述第三实体对象在所述第二待检测图像中的三维位姿检测结果；

根据所述三维位姿检测结果，对所述第三实体对象在所述建筑信息模型中映射的虚拟对象模型进行同步更新。

在一种可选的实施方式中，在所述得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果之后，所述将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，还包括：

以所述二维图像区域边界框在所述第二待检测图像中的边界框中心点作为缩放基准点，按照多种预先设置的缩放倍率参数，分别对所述二维图像区域边界框内的图像区域进行缩放处理，得到所述第三实体对象的多张缩放处理图像；

将所述二维目标检测结果与所述多张缩放处理图像输入至预先训练好的图像特征提取模型中，通过所述图像特征提取模型，从所述二维目标检测结果中，提取置信度高于预设置信度阈值的目标图像特征；其中，所述多张缩放处理图像表征所述第三实体对象在不同缩放倍率参数下表现出的局部图像特征；所述多张缩放处理图像用于辅助所述图像特征提取模型对所述二维目标检测结果的多个图像特征提取结果进行置信度排序；

以所述目标图像特征作为角度校正数据，将所述角度校正数据、所述二维目标检测结果与所述相机内参矩阵输入至所述三维位姿检测模型中；其中，所述角度校正数据用于辅助所述三维位姿检测模型对所述第三实体对象在所述实体建筑场景内的实体方向预测结果进行校正。

第二方面，本申请实施例提供了一种面向建筑数字孪生的视频检测系统，所述视频检测系统至少包括终端设备以及一个拍摄装置，所述终端设备用于对连续视频图像帧中出现的目标实体对象进行图像目标检测；其中，所述连续视频图像帧用于表征所述拍摄装置连续拍摄到的实体建筑场景内的多帧场景图像；所述目标实体对象至少包括：所述实体建筑场景内具有拼接结构的第一实体对象和/或在所述连续视频图像帧中处于静止状态的第二实体对象；所述终端设备用于：

获取所述连续视频图像帧，对所述连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；

当检测到任意一帧待检测图像中出现所述第一实体对象时，则从该帧待检测图像中，获取所述第一实体对象所在的图像连通区域，得到第一图像连通区域；

将所述第一图像连通区域输入预先训练好的直线检测模型中，得到所述第一图像连通区域的直线检测结果；其中，所述直线检测模型用于对不同实体对象在所述第一图像连通区域内显示出的图像边缘进行直线段检测；

从所述直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；其中，所述第一直角边方向与所述第二直角边方向互相垂直；所述第一直角边方向是根据所述第一实体对象在所述第一图像连通区域内显示出的图像边缘确定的；

根据所述第一平行线与所述第二平行线在所述第一图像连通区域内形成的交点，确定所述第一实体对象在所述第一图像连通区域内的图像位置。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的视频检测方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的视频检测方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请实施例提供的一种面向建筑数字孪生的视频检测方法及系统，通过获取连续视频图像帧，对连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；当检测到任意一帧待检测图像中出现第一实体对象时，则从该帧待检测图像中，获取第一实体对象所在的图像连通区域，得到第一图像连通区域；将第一图像连通区域输入预先训练好的直线检测模型中，得到第一图像连通区域的直线检测结果；从直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；根据第一平行线与第二平行线在第一图像连通区域内形成的交点，确定第一实体对象在第一图像连通区域内的图像位置。

通过这种方式，本申请在对视频图像帧中具备拼接结构的实体对象进行图像目标检测时，提高实体位置定位精度，从而对拼接结构中包括的每个实体对象进行分割，间接提高实体数量检测结果的准确度，完成对现有视频检测方法的优化，有利于提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种面向建筑数字孪生的视频检测方法的流程示意图；

图2示出了本申请实施例所提供的一种面向建筑数字孪生的视频检测系统；

图3a示出了本申请实施例所提供的一种第一图像连通区域的区域示意图；

图3b示出了本申请实施例所提供的一种第一图像连通区域的直线检测结果的示意图；

图3c示出了本申请实施例所提供的一种直线检测结果经过平行线聚类处理之后得到的平行线聚类结果示意图；

图4示出了本申请实施例所提供的一种管理建筑信息模型的方法的流程示意图；

图5示出了本申请实施例所提供的一种针对第二实体对象的视频检测方法的流程示意图；

图6示出了本申请实施例所提供的一种基于实体移动跟踪装置，对相邻帧检测图像中是否出现第二实体对象进行检测的方法的流程示意图；

图7示出了本申请实施例所提供的一种更新建筑信息模型的方法的流程示意图；

图8示出了本申请实施例所提供的一种三维位姿检测结果中3D目标检测框的结构示意图；

图9示出了本申请实施例所提供的一种优化图像特征提取的方法的流程示意图；

图10为本申请实施例提供的一种计算机设备1000的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。 应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。 此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

在构建数字孪生模型/更新数字孪生模型的过程中，目前的视频检测方法，对于诸如办公场景内常见的桌子等具备拼接结构的实体对象，常规目标检测算法只能预测出图像中桌子所在的大致矩形区域，不能准确地对桌子的具体位置进行精准定位；并且对大尺度目标（多张桌子拼接出的整排办公桌）可能出现重复检测的问题，从而导致对于具备拼接结构的实体对象进行图像目标检测时会出现实体数量检测结果的准确度较低以及实体位置定位精度较低的问题，进而，也间接造成构建/更新的数字孪生模型中的模型信息出现失真。

基于此，本申请实施例提供了一种面向建筑数字孪生的视频检测方法及系统，通过获取连续视频图像帧，对连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；当检测到任意一帧待检测图像中出现第一实体对象时，则从该帧待检测图像中，获取第一实体对象所在的图像连通区域，得到第一图像连通区域；将第一图像连通区域输入预先训练好的直线检测模型中，得到第一图像连通区域的直线检测结果；从直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；根据第一平行线与第二平行线在第一图像连通区域内形成的交点，确定第一实体对象在第一图像连通区域内的图像位置。

通过这种方式，本申请在对视频图像帧中具备拼接结构的实体对象进行图像目标检测时，提高实体位置定位精度，从而对拼接结构中包括的每个实体对象进行分割，间接提高实体数量检测结果的准确度，完成对现有视频检测方法的优化，有利于提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率。

下面对本申请实施例提供的一种面向建筑数字孪生的视频检测方法及系统进行详细介绍。

参照图1所示，图1示出了本申请实施例所提供的一种面向建筑数字孪生的视频检测方法的流程示意图，其中，所述视频检测方法包括步骤S101-S105；具体的：

S101，获取所述连续视频图像帧，对所述连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别。

在本申请实施例中，所述视频检测方法可以运行于终端设备或者是服务器；其中，终端设备可以为本地终端设备，当实体定位方法运行于服务器时，该视频检测方法则可以基于云交互系统来实现与执行，其中，云交互系统至少包括服务器和客户端设备（也即终端设备）。

具体的，以应用于终端设备为例，当视频检测方法运行于终端设备上时，视频检测方法用于对连续视频图像帧中出现的目标实体对象进行图像目标检测，其中，所述连续视频图像帧用于表征拍摄装置连续拍摄到的实体建筑场景内的多帧场景图像；所述目标实体对象至少包括：所述实体建筑场景内具有拼接结构的第一实体对象和/或在所述连续视频图像帧中处于静止状态的第二实体对象。

基于此，在本申请实施例中，作为一可选实施例，终端设备可以位于如图2所示的视频检测系统中，参照图2所示，视频检测系统中至少包括终端设备200以及一个拍摄装置201，其中，拍摄装置201散布于目标实体建筑中，也即，拍摄装置201安装于目标实体建筑内的不同实体建筑场景中；拍摄装置201的数量不限。

具体的，每一个拍摄装置201与终端设备200之间可以通过有线网络/无线网络的方式，按照预先设定的通信协议（如RTSP（Real Time Streaming Protocol，实时流传输协议）协议等）进行数据传输与交互；在数据交互过程中，终端设备200可以控制每个拍摄装置201对安装位置处的实体建筑场景进行监控拍摄，并接收不同拍摄装置201反馈的监控视频数据（即连续视频图像帧），对连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，以便终端设备200可以对不同实体建筑场景内的场景信息变化（如室内装潢设计改变、房间内陈设布局变更、人员流动等）进行实时的监控。

这里，在步骤S101中，拍摄装置用于表征安装于实体建筑场景内的拍摄装置（如相机、监控摄像头等），其中，考虑到实体建筑场景的区域大小与拍摄装置的最大拍摄范围之间关系不定，因此，本申请实施例对于实体建筑场景内安装的拍摄装置的具体数量不进行具体限定。

基于此，在步骤S101中，实体建筑场景可以用于表征所述目标实体建筑内的一个实体建筑空间，例如，实体建筑场景可以是目标实体建筑中的一个房间A，也可以是一个拍摄装置在房间A中能够拍摄到的部分区域；对于实体建筑场景的区域大小，本申请实施例同样不作任何限定。

需要说明的是，在步骤S101中执行的实体对象检测方法，仅需要能够实现确定每一帧待检测图像中包括的实体对象类别的图像识别功能即可，在此基础上，步骤S101中执行的具体实体对象检测方法，可以是图像语义分割处理方法，也可以是2D（two-dimensional，二维）目标检测方法（如YOLOv5目标检测算法、YOLOv4目标检测算法等）；也即，步骤S101中执行的具体实体对象检测方法并不唯一，本申请实施例对此并不进行任何限定。

S102，当检测到任意一帧待检测图像中出现所述第一实体对象时，则从该帧待检测图像中，获取所述第一实体对象所在的图像连通区域，得到第一图像连通区域。

具体的，结合上述关于步骤S101中执行的具体实体对象检测方法的说明内容可知，在本申请实施例中，作为一可选实施例，步骤S101中执行的具体实体对象检测方法，可以是图像语义分割处理方法。

此时，步骤S101的执行相当于：对连续视频图像帧中包括的每一帧待检测图像进行图像语义分割，得到每一帧待检测图像的语义分割结果；其中，图像语义分割结果至少包括：每一个实体对象在所述待检测图像中的图像边界，以及每一个实体对象对应的实体类别标签。

这里，由于第一实体对象表征的是具备拼接结构的实体对象（如办公场景内常见的多张桌子拼接出的整排办公桌），因此，可以通过上述实体类别标签，从每一帧待检测图像的图像语义分割结果中，识别出第一实体对象所在的图像连通区域，得到第一图像连通区域。

示例性的说明，以第一实体对象是多张桌子拼接出的整排办公桌为例，图3a示出了本申请实施例所提供的一种第一图像连通区域的区域示意图；如图3a所示，通过对待检测图像a进行图像语义分割，得到待检测图像a的图像语义分割结果300；其中，图像语义分割结果300中包括：桌子a1的图像边界框301、桌子a2的图像边界框302、桌子a3的图像边界框303、桌子a4的图像边界框304、桌子a5的图像边界框305、桌子a6的图像边界框306；电脑b1的图像边界框307以及电脑b2的图像边界框308；从图像语义分割结果300中，可以确定桌子a1、桌子a2、桌子a3（即桌子a1-a3形成了一个拼接结构）共同组成一个图像连通域A1，桌子a4、桌子a5、桌子a6（即桌子a4-a6形成了另一个拼接结构）共同组成另一个图像连通域A2，此时，基于图像语义分割算法，可以将图像连通域A1所在的最小包围矩形作为桌子a1、桌子a2、桌子a3对应的第一图像连通区域310；将图像连通域A2所在的最小包围矩形作为桌子a4、桌子a5、桌子a6对应的第二图像连通区域320。

S103，将所述第一图像连通区域输入预先训练好的直线检测模型中，得到所述第一图像连通区域的直线检测结果。

这里，所述直线检测模型用于对不同实体对象在所述第一图像连通区域内显示出的图像边缘进行直线段检测，也即，直线检测模型本质上相当于先对所述第一图像连通区域内每一个实体对象的图像边缘进行边缘检测，确定组成每一个实体对象的图像边缘的多条边缘线段；再对确定出的每一条边缘线段进行直线检测，从中筛选出属于直线/近似可以拟合为直线的目标边缘线段，进而在第一图像连通区域内对筛选出的目标边缘线段进行线段标记，输出得到第一图像连通区域的直线检测结果。

具体的，在本申请实施例中，直线检测模型可以是基于Hough（霍夫）直线检测算法，通过深度学习的方式对神经网络模型进行训练得到的；也可以是基于LSD（LineSegment Detector，线段检测器）直线检测算法，通过深度学习的方式对神经网络模型进行训练得到的；对于直线检测模型的具体训练方式，本申请实施例不作任何限定。

示例性的说明，仍以第一实体对象是多张桌子拼接出的整排办公桌为例，图3b示出了本申请实施例所提供的一种第一图像连通区域的直线检测结果的示意图；其中，图3b的直线检测结果330是在图3a所示的图像语义分割结果300的基础上得到的，如图3b所示，在桌子a1、桌子a2、桌子a3对应的第一图像连通区域310内，对桌子a1、桌子a2、桌子a3以及电脑b1的图像边缘进行直线段检测；在桌子a4、桌子a5、桌子a6对应的第二图像连通区域320内，对桌子a1、桌子a2、桌子a3以及电脑b2的图像边缘进行直线段检测，得到如图3b所示的多条直线段。

S104，从所述直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线。

这里，所述第一直角边方向与所述第二直角边方向互相垂直；所述第一直角边方向是根据所述第一实体对象在所述第一图像连通区域内显示出的图像边缘确定的。

具体的，在本申请实施例中，作为一可选实施例，当检测到所述多个图像边缘直线段中位于同一方向上的直线段数量超过预设数量阈值（如超过3条）时，则可以对位于同一方向上的多条直线段进行平行线聚类处理，以得到更加连续且更加简洁的平行线聚类结果。

示例性的说明，如图3c所示，以第一实体对象为桌子a1、桌子a2、桌子a3拼接后形成的整排办公桌为例，图3c示出了本申请实施例所提供的一种直线检测结果经过平行线聚类处理之后得到的平行线聚类结果示意图；其中，图3c所示的平行线聚类结果是在图3b所示的直线检测结果330基础上得到的，在第一实体对象对应的第一图像连通区域310内，可以将第一直线段311所在的方向作为第一直角边方向，将第二直线段312所在的方向作为第二直角边方向，对平行于第一直角边方向的多条直线段进行平行线聚类处理，得到平行于第一直角边方向的第一平行线313；对平行于第二直角边方向的多条直线段进行平行线聚类处理，得到平行于第二直角边方向的第二平行线314。

S105，根据所述第一平行线与所述第二平行线在所述第一图像连通区域内形成的交点，确定所述第一实体对象在所述第一图像连通区域内的图像位置。

示例性的说明，如图3c所示，第一平行线313与第二平行线314均位于第一实体对象的图像边缘，且第一平行线313所在的第一直角边方向与第二平行线314所在的第二直角边方向互相垂直；基于此，第一平行线313与第二平行线314在第一图像连通区域310内形成的交点340即为第一实体对象在第一图像连通区域310内的一个边缘直角点（即四个桌角点中的一个）。

此时，与常规的实体对象检测方法（即步骤S101出现的图像语义分割处理方法、2D目标检测方法等）只能检测出第一实体对象所在的大致矩形区域（如图3c所示的第一图像连通区域310）不同的是，基于步骤S105中确定出的交点340以及相交于该点处的两条相交直线（即第一平行线313与第二平行线314），即可从第一图像连通区域310内，精准确定出第一实体对象的桌面具体位置（即第一实体对象在第一图像连通区域内的图像位置）。

这样，基于上述步骤S102- S105的实施，本申请在对图像中具备拼接结构的实体对象（即第一实体对象）进行图像目标检测时，可以提高实体位置定位精度，从而对拼接结构中包括的每个实体对象进行分割，间接提高实体数量检测结果的准确度，完成对现有视频检测方法的优化。

本申请实施例中，为了提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率，在一种可选的实施方案中，图4示出了本申请实施例所提供的一种管理建筑信息模型的方法的流程示意图，如图4所示，在执行步骤S105之后，该方法还包括S401-S403；具体的：

S401，获取所述实体建筑场景在虚拟空间中映射的建筑信息模型。

这里，所述建筑信息模型中虚拟对象模型的模型位置符合虚拟空间世界坐标系；也即，所述建筑信息模型相当于实体建筑场景在建筑数字孪生场景中的数字孪生模型。

需要说明的是，由于本申请实施例要解决的是对于目标实体对象的图像目标检测定位不准确的问题，并不涉及建筑信息模型的构建方法的改进，因此，对于建筑信息模型的具体构建方法，本申请实施例不作任何限定。

S402，根据每一实体对象在每一帧待检测图像中的图像位置坐标，在像素坐标系与所述虚拟空间世界坐标系之间，对该图像位置坐标进行坐标转换，以坐标转换结果作为目标模型位置。

S403，在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。

这里，所述目标模型位置表征该实体对象在所述建筑信息模型中映射的目标虚拟对象的模型位置。

这里，以上述步骤S402中实体对象在像素坐标系下的图像位置坐标（u，v）为例，利用拍摄装置的相机内参矩阵K，以及拍摄装置的相机外参（如拍摄装置的旋转矩阵R和平移向量t），则可以按照以下公式，以相机坐标系作为坐标转换的中转站（像素坐标系与虚拟空间世界坐标系之间的转换依赖于相机坐标系的中转），完成像素坐标（u，v，1）（即图像位置坐标）在像素坐标系与虚拟空间世界坐标系之间的转换，得到实体对象在虚拟空间世界坐标系下的真实位置坐标（X，Y，Z）（即目标模型位置），具体的：

；

；

；

其中，（

，

）是拍摄装置的相机主点；

是拍摄装置在像素坐标系的横坐标轴上的归一化焦距；

是拍摄装置在像素坐标系的纵坐标轴上的归一化焦距；

是拍摄装置的相机内参矩阵K的逆矩阵；

（x，y，z）是像素坐标（u，v，1）在相机坐标系下的位置坐标；

R是拍摄装置的旋转矩阵，t是拍摄装置的平移向量；

是拍摄装置的旋转矩阵R的逆矩阵。

需要说明的是，相机内参矩阵K属于相机内参，相机内参是相机硬件的固有属性，一般同一型号的相机内参一致。因此，相机内参矩阵可以直接根据拍摄装置的装置型号确定。

需要说明的是，旋转矩阵用于表征虚拟空间世界坐标系的坐标轴与相机坐标系的坐标轴之间的相对方向（与拍摄装置中相机转动的具体方向变化有关），平移向量用于表征空间原点（虚拟空间世界坐标系下的）在所述相机坐标系中的位置；对于上述旋转矩阵与平移向量的具体获取方法，本申请实施例不作任何限定。

除上述各步骤之外，在本申请实施例中，结合背景技术部分所描述的建筑数字孪生场景内容可知，本申请实施例提供的视频检测方法主要用于构建数字孪生模型/更新数字孪生模型的过程中，其中，上述步骤S102- S105的实施，能够在对图像中具备拼接结构的实体对象（即第一实体对象）进行图像目标检测时，可以提高实体位置定位精度，从而对拼接结构中包括的每个实体对象进行分割，间接提高实体数量检测结果的准确度，完成对现有视频检测方法的优化。

在本申请实施例中，在构建数字孪生模型/更新数字孪生模型的过程中，除上述第一实体对象的视频检测方法需要进行优化之外，以下2种类型实体对象的视频检测方法，也存在各自需要进行的优化空间，具体的：

类型1、对于步骤S101中提到的第二实体对象（即在所述连续视频图像帧中处于静止状态的实体对象）而言，常规的运动目标检测方法不能很好的区分同一个实体对象在相邻帧图像中出现的图像差异是由该实体对象处于运动状态而产生的真实图像差异/由于检测波动产生的图像识别误差，因此，常规的运动目标检测方法对于连续视频图像帧中处于静止状态的实体（即第二实体对象）的图像位置检测结果未必一直保持一致，可能会造成其他实体对象的图像目标检测结果产生更加剧烈的波动性变化，从而拉低不同类型实体对象的整体定位精度，进而导致实体建筑场景在建筑信息模型中的真实还原度降低，用户对于实体建筑场景的维护与管理效率也随之降低。

类型2、考虑到用户对于实体建筑场景内不同类型的实体对象可能具有不同的管理需求，例如，以实体建筑场景为会议室为例，用户对于会议室中座椅的摆放位置以及摆放方向都需要进行管理，但是对于会议室中的绿植、水杯等装饰物则只需要管理摆放位置即可。基于此，步骤S101中提到的目标实体对象还可以包括：需要在方向上区分实体对象在所述实体建筑场景与所述建筑信息模型之间显示差异的第三实体对象（相当于上述示例中的座椅）。

这里，通常情况下二维目标检测方法能够识别出第三实体对象在图像中的像素范围（如通过图像边界框进行圈出），但无法精确定位出第三实体对象的实体位置；而三维位姿检测方法（如3Dbox检测方法）虽然可以更好地预测出第三实体对象在图像中的位置与方向，但是三维位姿检测一般依赖于对二维目标检测结果进行图像特征提取，其中，图像特征提取的结果准确程度会直接影响三维位姿检测结果的准确度。因此，即使是在三维位姿检测的视频检测方法中，对于图像特征提取的方式仍然存在一定的优化空间。

针对上述类型1的具体实施过程，在一个可行的实施方案中，图5示出了本申请实施例所提供的一种针对第二实体对象的视频检测方法的流程示意图，如图5所示，在执行步骤S101之后，该方法还包括S501-S503；具体的：

S501，从所述连续视频图像帧中，获取多组包括同一实体对象的相邻帧待检测图像。

示例性的说明，若前帧待检测图像中包括实体对象x，后帧待检测图像帧也包括实体对象x，则确定获取该前帧待检测图像和后帧待检测图像作为上述相邻帧待检测图像。

S502，当检测到所述相邻帧检测图像中出现所述第二实体对象时，从所述连续视频图像帧中，获取所述第二实体对象所在的每组相邻帧待检测图像作为目标检测图像帧组。

在本申请实施例中，第二实体对象的图像目标检测结果出现偏差至少可以分为以2种情况，具体的：

情况一、图像中存在实体对象被其他实体对象的图像所遮挡的情况，此时，无法直接从图像数据中确定是否存在第二实体对象：

此时，作为一可选实施例，可以在所述连续视频图像帧的拍摄过程中，通过实体移动跟踪装置对所述实体建筑场景内的每一实体对象的位置变化进行跟踪检测（相当于视频检测系统中还可以包括多个实体移动跟踪装置），得到同一实体对象在所述连续视频图像帧中的真实位置变化结果；再根据同一实体对象在相邻帧待检测图像中检测出的图像位置变化结果，通过比较上述图像位置变化结果与上述真实位置变化结果之间的相似度，即可在同一实体对象在相邻帧待检测图像中检测出图像位置发生变化时，确定该变化的起因属于实体对象运动中产生的真实图像差异（即不需要进行视频检测抑制的）还是属于由于检测波动产生的图像识别误差（即实体对象实际处于静止状态）。

这样，本申请可以解决常规的运动目标检测方法无法对相邻图像帧中实体图像位置变化的起因（实体运动/检测波动）进行区分的问题，从而，本申请可以在区分出具体的变化起因之后，对需要进行检测波动抑制的待检测图像（即检测出第二实体对象的图像）进行相应的抑制处理（即步骤S503的执行），有利于提高不同类型实体对象的整体定位精度，进而提高实体建筑场景在建筑信息模型中的真实还原度，用户对于实体建筑场景的维护与管理效率也随之提高。

情况二、图像中不存在实体对象被其他实体对象的图像所遮挡的情况（即每一个实体对象的图像显示完整），可以直接从图像数据中确定是否存在第二实体对象。

此时，作为一可选实施例，可以按照如下所示的步骤a-步骤b，来直接从图像数据中确定第二实体对象的运动状态，具体的：

步骤a、根据同一实体对象在所述相邻帧待检测图像中对应的图像区域边界，对同一实体对象在所述相邻帧待检测图像中对应的图像区域进行帧间差分处理，得到每一实体对象在所述相邻帧待检测图像中对应的帧间差分处理结果。

这里，所述帧间差分结果用于通过同一实体对象在所述相邻帧待检测图像中的图像亮度差异，来表征该实体对象在所述相邻帧待检测图像中处于运动状态/静止状态。

具体的，帧间差分处理的步骤如下：

（1）、对相邻帧待检测图像中的前帧待检测图像以及后帧待检测图像分别进行灰度图转换，得到前帧待检测图像的第一灰度图以及后帧待检测图像的第二灰度图；其中，所述第一灰度图以及所述第二灰度图均为单通道的灰度图；

（2）、对所述第一灰度图以及所述第二灰度图进行高斯滤波处理以及降噪平滑处理，以对所述第一灰度图以及所述第二灰度图中的噪声干扰图像进行过滤（相当于减少无用处的背景图像的干扰）；

（3）、对上一步处理后的第一灰度图以及第二灰度图进行差分处理（即同一像素点在第二灰度图上的第二像素值与该像素点在第二灰度图上的第一像素值之间作差）得到差分结果图像；

（4）、基于预设的像素阈值，对差分结果图像进行二值化处理，得到帧间差分处理结果（即黑白图像）。

示例性的说明，以预设的像素阈值为30为例，针对差分结果图像中像素值高于30的第一像素点，将第一像素点的像素值配置为255（相当于亮度最大，等同于白色像素点）；针对差分结果图像中像素值低于或者等于30的第二像素点，将第二像素点的像素值配置为0（相当于亮度最小，等同于黑色像素点），将配置完成后的黑白图像作为帧间差分处理结果。

步骤b、当检测到所述帧间差分结果表征该实体对象在所述相邻帧待检测图像中处于静止状态时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象，并确定该实体对象为所述第二实体对象。

示例性的说明，以实体对象x所在的图像区域边界x1为例，基于步骤a中得到的帧间差分处理结果，从帧间差分处理结果中，获取图像区域边界x1对应的目标黑白图像；计算黑色像素点在所述目标黑白图像中的像素占比；当检测到黑色像素点在所述目标黑白图像中的像素占比高于预设的像素占比阈值时，则确定实体对象x属于第二实体对象（其中，理想情况下，处于静止状态的第二实体对象在目标黑白图像中将显示全黑图像）。

S503，根据所述第二实体对象在第一待检测图像中的目标图像位置，将所述第二实体对象在每一所述目标检测图像帧组中的图像位置统一校正为所述目标图像位置。

这里，所述第一待检测图像用于表征每一所述目标检测图像帧组中拍摄时间最早的待检测图像。

示例性的说明，以上述示例中的实体对象x为例，预设的像素占比阈值为80%，若检测到实体对象x在所述目标黑白图像中的像素占比为90%，则确定实体对象x在相邻帧检测图像中处于静止状态（即确定实体对象x属于第二实体对象），此时，根据实体对象x在前帧待检测图像中的目标图像位置x0，将实体对象x在后帧待检测图像中的图像位置x2直接统一校正为目标图像位置x0。

针对上述情况一下可选实施例的具体实施过程，在一个可行的实施方案中，图6示出了本申请实施例所提供的一种基于实体移动跟踪装置，对相邻帧检测图像中是否出现第二实体对象进行检测的方法的流程示意图，如图6所示，在执行步骤S502时，该方法还包括S601-S603；具体的：

S601，根据同一实体对象在每一帧待检测图像中对应的图像区域边界，确定同一实体对象在所述相邻帧待检测图像中的图像位置变化结果。

示例性的说明，以图像区域边界是以二维图像区域检测框的形式存在为例，在相邻帧待检测图像（前帧待检测图像P1和后帧待检测图像P2）中，若实体对象x在前帧待检测图像P1中对应的图像区域边界框是矩形边界框m1，在后帧待检测图像P2中对应的图像区域边界框是矩形边界框m2，则基于矩形边界框的4条边（L1-L4）在矩形边界框m1与矩形边界框m2之间的位移信息，以及前帧待检测图像P1和后帧待检测图像P2之间的拍摄时间间隔t1，可以计算出矩形边界框的4条边在前帧待检测图像P1和后帧待检测图像P2之间对应的4个移动速度参数，从而确定实体对象x在前帧待检测图像P1和后帧待检测图像P2之间的图像位置变化结果。

S602，从所述真实位置变化结果中，获取同一实体对象在所述相邻帧待检测图像中的目标位置变化结果。

具体的，若上述图像位置变化结果是以矩形边界框的4条边在前帧待检测图像P1和后帧待检测图像P2之间对应的4个移动速度参数进行表示，则此时，也可以从实体对象x对应的实体移动跟踪装置X处，直接获取实体移动跟踪装置X所记录下的实体对象x在前帧待检测图像P1和后帧待检测图像P2之间的拍摄时间间隔t1内的移动速度。

S603当检测到所述图像位置变化结果与所述目标位置变化结果之间的结果相似度不符合预先设置的实体运动条件时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象。

具体的，上述结果相似度的具体计算方式可以是基于马氏距离进行的相似度计算方式，也可以是基于余弦相似度进行的相似度计算方式；对此，本申请实施例不作任何限定。

在一种可选的实施方案中，针对上述类型2的具体实施过程，图7示出了本申请实施例所提供的一种更新建筑信息模型的方法的流程示意图，如图7所示，在执行步骤S101之后，该方法还包括S701-S703；具体的：

S701，当检测到任意一帧待检测图像中出现所述第三实体对象时，对第二待检测图像进行二维目标检测，得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果。

这里，所述第二待检测图像用于表征当前检测到所述第三实体对象的待检测图像；所述二维目标检测结果至少包括：所述第三实体对象在所述第二待检测图像中所在的二维图像区域边界框。

具体的，本申请实施例中，作为一可选实施例，可以利用YOLOv5目标检测算法来执行步骤S701，通过YOLOv5目标检测算法可以对第二待检测图像中包括的第三实体对象进行2D目标检测，从而，识别出每一第三实体对象的所属实体类别以及该第三实体对象在第二待检测图像中所在的图像区域（即所述二维图像区域边界框中圈出的图像区域）。

需要说明的是，目前能够实现上述2D目标检测功能的目标检测算法并不唯一，例如，除YOLOv5目标检测算法之外，也可使用YOLOv4目标检测算法、SSD（Single ShotMultiBox Detector，单激发多盒探测器）目标检测算法等来实现上述2D目标检测功能，对于具体的目标检测算法（即步骤S701中进行二维目标检测的具体底层技术工具），本申请实施例不作任何限定。

在本申请实施例中，上述第三实体对象所属的具体类别与实体建筑场景所属的具体建筑类型存在关联关系，也即，上述第三实体对象的实体类别范围本质上相当于在实体建筑场景内，可能出现所有的静态物体或者运动目标。

在一可选实施方式中，以实体建筑场景是会议室为例，则在步骤S601中，需要进行二维目标检测的第三实体对象可以包括但不限于：座椅、会议资料等用户对于摆放位置以及摆放方向都需要进行管理的实体对象。

在另一可选实施方式中，以实体建筑场景是酒店房间为例，则在步骤S701中，需要进行二维目标检测的第三实体对象可以包括但不限于：洗漱用品、房间床位、桌椅等用户对于摆放位置以及摆放方向都需要进行管理的实体对象。

基于上述2种不同类型的实体建筑场景，需要说明的是，考虑到不同类型的实体建筑场景内可能出现的第三实体对象的类别各不相同，因此，对于第三实体对象所属类别的具体数量以及具体类别范围，本申请实施例不作任何限定。

S702，将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述第三实体对象在所述实体建筑场景内的实体位置与实体方向进行预测，得到所述第三实体对象在所述第二待检测图像中的三维位姿检测结果。

具体的，本申请实施例中，作为一可选实施例，三维位姿检测模型可以是预先基于Total3DUnderstanding算法进行训练得到的3D（three-dimensional，三维）检测网络，此时，三维位姿检测模型可以对二维目标检测结果中检测出的每一个第三实体对象进行3Dbox检测，得到第三实体对象在待处理图像帧中的3D目标检测框。

这里，相机内参矩阵用于完成所述第三实体对象的位置坐标在像素坐标系与相机坐标系之间的转换；其中，相机内参矩阵属于相机内参，相机内参是相机硬件的固有属性，一般同一型号的相机内参一致。因此，相机内参矩阵可以直接根据拍摄装置的装置型号确定。

具体的，终端设备能够从图像数据中直接获取的位置数据是第三实体对象所在图像区域边界的像素点坐标（即第三实体对象在像素坐标系下的坐标），而在进行上述3Dbox检测时，通常情况下需要使用第三实体对象在相机坐标系下的坐标，因此，将相机内参矩阵输入三维位姿检测模型中，只是用于帮助三维位姿检测模型完成所述第三实体对象的位置坐标在像素坐标系与相机坐标系之间的转换，而并不涉及三维位姿检测模型针对上述实体位置与实体方向的具体预测过程。

需要说明的是，在二维目标检测结果中，图像区域边界框是以二维平面框架（如一个矩形框）的形式，圈出实体对象在待检测图像中所在的图像区域；而与二维目标检测结果中的图像区域边界框不同的是，在步骤S702的三维位姿检测结果中，上述3D目标检测框是以三维立方体框架的形式，圈出实体对象在待处理图像帧中所在的图像区域的。

S703，根据所述三维位姿检测结果，对所述第三实体对象在所述建筑信息模型中映射的虚拟对象模型进行同步更新。

具体的，以座椅为第三实体对象为例，图8示出了本申请实施例所提供的一种三维位姿检测结果中3D目标检测框的结构示意图；如图8所示，针对第三实体对象座椅n，3D目标检测框801是通过三维位姿检测模型，对座椅n在实体建筑场景内的实体位置与实体方向进行预测后得到的三维位姿检测结果，其中，白色箭头的指向用于表征座椅n在实体建筑场景内的实体方向（即座椅n在空间中的开口朝向）；也即，3D目标检测框701相当于第三实体对象座椅n在实体建筑场景内的实体位置和实体方向进行三维检测后的可视化标定结果。

此时，在得到三维位姿检测结果之后，可以根据相机坐标系与虚拟空间世界坐标系之间的坐标转换关系，将第三实体对象在三维位姿检测结果中显示的图像位置（相机坐标系下的）转换为虚拟空间世界坐标系下的模型位置；从而按照转换后的模型位置以及第三实体对象在三维位姿检测结果中显示的实体方向（如座椅的朝向），对第三实体对象在建筑信息模型中映射的虚拟对象模型进行同步更新。

针对上述步骤S702的具体实施过程，考虑到图像特征提取的结果准确程度会直接影响三维位姿检测结果的准确度，在一种可选的实施方案中，图9示出了本申请实施例所提供的一种优化图像特征提取的方法的流程示意图，如图9所示，在执行步骤S702之前（即执行步骤S701之后），该方法还包括S901-S903；具体的：

S901，以所述二维图像区域边界框在所述第二待检测图像中的边界框中心点作为缩放基准点，按照多种预先设置的缩放倍率参数，分别对所述二维图像区域边界框内的图像区域进行缩放处理，得到所述第三实体对象的多张缩放处理图像。

示例性的说明，以二维图像区域边界框的边界框中心为基准，将二维图像区域边界框的边界框长宽按照1.0、0.975、0.95、0.925、0.9、0.875、0.85的缩放倍率参数进行缩放，得到每一缩放倍率参数下对应的一张缩小处理图像以及一张放大处理图像（相当于共得到14张缩放处理图像）。

S902，将所述二维目标检测结果与所述多张缩放处理图像输入至预先训练好的图像特征提取模型中，通过所述图像特征提取模型，从所述二维目标检测结果中，提取置信度高于预设置信度阈值的目标图像特征。

这里，所述多张缩放处理图像表征所述第三实体对象在不同缩放倍率参数下表现出的局部图像特征；所述多张缩放处理图像用于辅助所述图像特征提取模型对所述二维目标检测结果的多个图像特征提取结果进行置信度排序。

S903，以所述目标图像特征作为角度校正数据，将所述角度校正数据、所述二维目标检测结果与所述相机内参矩阵输入至所述三维位姿检测模型中。

这里，所述角度校正数据用于辅助所述三维位姿检测模型对所述第三实体对象在所述实体建筑场景内的实体方向预测结果进行校正。

这样，通过步骤S901- S903的实施，有利于减轻三维位姿检测对二维目标检测结果中图像特征提取结果准确性的依赖，以在三维位姿检测的视频检测方法中，对于图像特征提取的方式进行优化。

基于同一发明构思，本申请实施例中还提供了与上述实施例中视频检测方法对应的视频检测系统，由于本申请实施例中的视频检测系统解决问题的原理与本申请上述实施例中的视频检测方法相似，因此，视频检测系统的实施可以参见前述视频检测方法的实施，重复之处不再赘述。

具体的，图2示出了本申请实施例所提供的一种面向建筑数字孪生的视频检测系统，参照图2所示的视频检测系统；所述视频检测系统至少包括终端设备200以及一个拍摄装置201，终端设备200用于对连续视频图像帧中出现的目标实体对象进行图像目标检测；其中，所述连续视频图像帧用于表征拍摄装置201连续拍摄到的实体建筑场景内的多帧场景图像；所述目标实体对象至少包括：所述实体建筑场景内具有拼接结构的第一实体对象和/或在所述连续视频图像帧中处于静止状态的第二实体对象；终端设备200用于：

获取所述连续视频图像帧，对所述连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；

当检测到任意一帧待检测图像中出现所述第一实体对象时，则从该帧待检测图像中，获取所述第一实体对象所在的图像连通区域，得到第一图像连通区域；

将所述第一图像连通区域输入预先训练好的直线检测模型中，得到所述第一图像连通区域的直线检测结果；其中，所述直线检测模型用于对不同实体对象在所述第一图像连通区域内显示出的图像边缘进行直线段检测；

从所述直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；其中，所述第一直角边方向与所述第二直角边方向互相垂直；所述第一直角边方向是根据所述第一实体对象在所述第一图像连通区域内显示出的图像边缘确定的；

根据所述第一平行线与所述第二平行线在所述第一图像连通区域内形成的交点，确定所述第一实体对象在所述第一图像连通区域内的图像位置。

在一种可选的实施方式中，在所述确定每一帧待检测图像中包括的实体对象类别之后，终端设备200还用于：

从所述连续视频图像帧中，获取多组包括同一实体对象的相邻帧待检测图像；

当检测到所述相邻帧检测图像中出现所述第二实体对象时，从所述连续视频图像帧中，获取所述第二实体对象所在的每组相邻帧待检测图像作为目标检测图像帧组；

根据所述第二实体对象在第一待检测图像中的目标图像位置，将所述第二实体对象在每一所述目标检测图像帧组中的图像位置统一校正为所述目标图像位置；其中，所述第一待检测图像用于表征每一所述目标检测图像帧组中拍摄时间最早的待检测图像。

在一种可选的实施方式中，所述视频检测系统还可以包括多个实体移动跟踪装置（图中未示出），在所述连续视频图像帧的拍摄过程中，通过所述实体移动跟踪装置对所述实体建筑场景内的每一实体对象的位置变化进行跟踪检测，得到同一实体对象在所述连续视频图像帧中的真实位置变化结果；在所述检测到所述相邻帧检测图像中出现所述第二实体对象时，终端设备200用于：

根据同一实体对象在每一帧待检测图像中对应的图像区域边界，确定同一实体对象在所述相邻帧待检测图像中的图像位置变化结果；

从所述真实位置变化结果中，获取同一实体对象在所述相邻帧待检测图像中的目标位置变化结果；

当检测到所述图像位置变化结果与所述目标位置变化结果之间的结果相似度不符合预先设置的实体运动条件时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象。

在一种可选的实施方式中，在所述检测到所述相邻帧检测图像中出现所述第二实体对象时，终端设备200用于：

根据同一实体对象在所述相邻帧待检测图像中对应的图像区域边界，对同一实体对象在所述相邻帧待检测图像中对应的图像区域进行帧间差分处理，得到每一实体对象在所述相邻帧待检测图像中对应的帧间差分处理结果；其中，所述帧间差分结果用于通过同一实体对象在所述相邻帧待检测图像中的图像亮度差异，来表征该实体对象在所述相邻帧待检测图像中处于运动状态/静止状态；

当检测到所述帧间差分结果表征该实体对象在所述相邻帧待检测图像中处于静止状态时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象，并确定该实体对象为所述第二实体对象。

在一种可选的实施方式中，终端设备200还用于：

获取所述实体建筑场景在虚拟空间中映射的建筑信息模型；其中，所述建筑信息模型中虚拟对象模型的模型位置符合虚拟空间世界坐标系；

根据每一实体对象在每一帧待检测图像中的图像位置坐标，在像素坐标系与所述虚拟空间世界坐标系之间，对该图像位置坐标进行坐标转换，以坐标转换结果作为目标模型位置；其中，所述目标模型位置表征该实体对象在所述建筑信息模型中映射的目标虚拟对象的模型位置；

在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。

在一种可选的实施方式中，所述目标实体对象还包括：需要在方向上区分实体对象在所述实体建筑场景与所述建筑信息模型之间显示差异的第三实体对象；在所述确定每一帧待检测图像中包括的实体对象类别之后，终端设备200还用于：

当检测到任意一帧待检测图像中出现所述第三实体对象时，对第二待检测图像进行二维目标检测，得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果；其中，所述第二待检测图像用于表征当前检测到所述第三实体对象的待检测图像；所述二维目标检测结果至少包括：所述第三实体对象在所述第二待检测图像中所在的二维图像区域边界框；

将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述第三实体对象在所述实体建筑场景内的实体位置与实体方向进行预测，得到所述第三实体对象在所述第二待检测图像中的三维位姿检测结果；

根据所述三维位姿检测结果，对所述第三实体对象在所述建筑信息模型中映射的虚拟对象模型进行同步更新。

在一种可选的实施方式中，在所述得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果之后，在所述将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中时，终端设备200还用于：

以所述二维图像区域边界框在所述第二待检测图像中的边界框中心点作为缩放基准点，按照多种预先设置的缩放倍率参数，分别对所述二维图像区域边界框内的图像区域进行缩放处理，得到所述第三实体对象的多张缩放处理图像；

将所述二维目标检测结果与所述多张缩放处理图像输入至预先训练好的图像特征提取模型中，通过所述图像特征提取模型，从所述二维目标检测结果中，提取置信度高于预设置信度阈值的目标图像特征；其中，所述多张缩放处理图像表征所述第三实体对象在不同缩放倍率参数下表现出的局部图像特征；所述多张缩放处理图像用于辅助所述图像特征提取模型对所述二维目标检测结果的多个图像特征提取结果进行置信度排序；

以所述目标图像特征作为角度校正数据，将所述角度校正数据、所述二维目标检测结果与所述相机内参矩阵输入至所述三维位姿检测模型中；其中，所述角度校正数据用于辅助所述三维位姿检测模型对所述第三实体对象在所述实体建筑场景内的实体方向预测结果进行校正。

如图10所示，本申请实施例提供了一种计算机设备1000，用于执行本申请中的视频检测方法，该设备包括存储器1001、处理器1002及存储在该存储器1001上并可在该处理器1002上运行的计算机程序，其中，上述处理器1002执行上述计算机程序时实现上述的视频检测方法的步骤；当计算机设备1000运行时，处理器1002与存储器1001之间通过总线通信。

具体地，上述存储器1001和处理器1002可以为通用的存储器和处理器，这里不做具体限定，当处理器1002运行存储器1001存储的计算机程序时，能够执行上述的视频检测方法。

对应于本申请中的视频检测方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的视频检测方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的视频检测方法。

在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种面向建筑数字孪生的视频检测方法，其特征在于，所述视频检测方法用于对连续视频图像帧中出现的目标实体对象进行图像目标检测；其中，所述连续视频图像帧用于表征拍摄装置连续拍摄到的实体建筑场景内的多帧场景图像；所述目标实体对象至少包括：所述实体建筑场景内具有拼接结构的第一实体对象和/或在所述连续视频图像帧中处于静止状态的第二实体对象；所述视频检测方法包括：

获取所述连续视频图像帧，对所述连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；

当检测到任意一帧待检测图像中出现所述第一实体对象时，则从该帧待检测图像中，获取所述第一实体对象所在的图像连通区域，得到第一图像连通区域；

将所述第一图像连通区域输入预先训练好的直线检测模型中，得到所述第一图像连通区域的直线检测结果；其中，所述直线检测模型用于对不同实体对象在所述第一图像连通区域内显示出的图像边缘进行直线段检测；

从所述直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；其中，所述第一直角边方向与所述第二直角边方向互相垂直；所述第一直角边方向是根据所述第一实体对象在所述第一图像连通区域内显示出的图像边缘确定的；

根据所述第一平行线与所述第二平行线在所述第一图像连通区域内形成的交点，确定所述第一实体对象在所述第一图像连通区域内的图像位置。

2.根据权利要求1所述的视频检测方法，其特征在于，在所述确定每一帧待检测图像中包括的实体对象类别之后，所述视频检测方法还包括：

从所述连续视频图像帧中，获取多组包括同一实体对象的相邻帧待检测图像；

当检测到所述相邻帧检测图像中出现所述第二实体对象时，从所述连续视频图像帧中，获取所述第二实体对象所在的每组相邻帧待检测图像作为目标检测图像帧组；

根据所述第二实体对象在第一待检测图像中的目标图像位置，将所述第二实体对象在每一所述目标检测图像帧组中的图像位置统一校正为所述目标图像位置；其中，所述第一待检测图像用于表征每一所述目标检测图像帧组中拍摄时间最早的待检测图像。

3.根据权利要求2所述的视频检测方法，其特征在于，在所述连续视频图像帧的拍摄过程中，通过实体移动跟踪装置对所述实体建筑场景内的每一实体对象的位置变化进行跟踪检测，得到同一实体对象在所述连续视频图像帧中的真实位置变化结果；所述检测到所述相邻帧检测图像中出现所述第二实体对象，包括：

根据同一实体对象在每一帧待检测图像中对应的图像区域边界，确定同一实体对象在所述相邻帧待检测图像中的图像位置变化结果；

从所述真实位置变化结果中，获取同一实体对象在所述相邻帧待检测图像中的目标位置变化结果；

当检测到所述图像位置变化结果与所述目标位置变化结果之间的结果相似度不符合预先设置的实体运动条件时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象。

4.根据权利要求2所述的视频检测方法，其特征在于，所述检测到所述相邻帧检测图像中出现所述第二实体对象，还包括：

根据同一实体对象在所述相邻帧待检测图像中对应的图像区域边界，对同一实体对象在所述相邻帧待检测图像中对应的图像区域进行帧间差分处理，得到每一实体对象在所述相邻帧待检测图像中对应的帧间差分处理结果；其中，所述帧间差分结果用于通过同一实体对象在所述相邻帧待检测图像中的图像亮度差异，来表征该实体对象在所述相邻帧待检测图像中处于运动状态/静止状态；

当检测到所述帧间差分结果表征该实体对象在所述相邻帧待检测图像中处于静止状态时，则确定检测到所述相邻帧检测图像中出现所述第二实体对象，并确定该实体对象为所述第二实体对象。

5.根据权利要求1所述的视频检测方法，其特征在于，所述视频检测方法还包括：

获取所述实体建筑场景在虚拟空间中映射的建筑信息模型；其中，所述建筑信息模型中虚拟对象模型的模型位置符合虚拟空间世界坐标系；

根据每一实体对象在每一帧待检测图像中的图像位置坐标，在像素坐标系与所述虚拟空间世界坐标系之间，对该图像位置坐标进行坐标转换，以坐标转换结果作为目标模型位置；其中，所述目标模型位置表征该实体对象在所述建筑信息模型中映射的目标虚拟对象的模型位置；

在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。

6.根据权利要求5所述的视频检测方法，其特征在于，所述目标实体对象还包括：需要在方向上区分实体对象在所述实体建筑场景与所述建筑信息模型之间显示差异的第三实体对象；在所述确定每一帧待检测图像中包括的实体对象类别之后，所述视频检测方法还包括：

当检测到任意一帧待检测图像中出现所述第三实体对象时，对第二待检测图像进行二维目标检测，得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果；其中，所述第二待检测图像用于表征当前检测到所述第三实体对象的待检测图像；所述二维目标检测结果至少包括：所述第三实体对象在所述第二待检测图像中所在的二维图像区域边界框；

将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述第三实体对象在所述实体建筑场景内的实体位置与实体方向进行预测，得到所述第三实体对象在所述第二待检测图像中的三维位姿检测结果；

根据所述三维位姿检测结果，对所述第三实体对象在所述建筑信息模型中映射的虚拟对象模型进行同步更新。

7.根据权利要求6所述的视频检测方法，其特征在于，在所述得到所述第三实体对象在所述第二待检测图像中的二维目标检测结果之后，所述将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，还包括：

以所述二维图像区域边界框在所述第二待检测图像中的边界框中心点作为缩放基准点，按照多种预先设置的缩放倍率参数，分别对所述二维图像区域边界框内的图像区域进行缩放处理，得到所述第三实体对象的多张缩放处理图像；

将所述二维目标检测结果与所述多张缩放处理图像输入至预先训练好的图像特征提取模型中，通过所述图像特征提取模型，从所述二维目标检测结果中，提取置信度高于预设置信度阈值的目标图像特征；其中，所述多张缩放处理图像表征所述第三实体对象在不同缩放倍率参数下表现出的局部图像特征；所述多张缩放处理图像用于辅助所述图像特征提取模型对所述二维目标检测结果的多个图像特征提取结果进行置信度排序；

以所述目标图像特征作为角度校正数据，将所述角度校正数据、所述二维目标检测结果与所述相机内参矩阵输入至所述三维位姿检测模型中；其中，所述角度校正数据用于辅助所述三维位姿检测模型对所述第三实体对象在所述实体建筑场景内的实体方向预测结果进行校正。

8.一种面向建筑数字孪生的视频检测系统，其特征在于，所述视频检测系统至少包括终端设备以及一个拍摄装置，所述终端设备用于对连续视频图像帧中出现的目标实体对象进行图像目标检测；其中，所述连续视频图像帧用于表征所述拍摄装置连续拍摄到的实体建筑场景内的多帧场景图像；所述目标实体对象至少包括：所述实体建筑场景内具有拼接结构的第一实体对象和/或在所述连续视频图像帧中处于静止状态的第二实体对象；所述终端设备用于：

获取所述连续视频图像帧，对所述连续视频图像帧中包括的每一帧待检测图像进行实体对象检测，确定每一帧待检测图像中包括的实体对象类别；

当检测到任意一帧待检测图像中出现所述第一实体对象时，则从该帧待检测图像中，获取所述第一实体对象所在的图像连通区域，得到第一图像连通区域；

将所述第一图像连通区域输入预先训练好的直线检测模型中，得到所述第一图像连通区域的直线检测结果；其中，所述直线检测模型用于对不同实体对象在所述第一图像连通区域内显示出的图像边缘进行直线段检测；

从所述直线检测结果包括的多个图像边缘直线段中，确定平行于第一直角边方向的第一平行线，以及平行于第二直角边方向的第二平行线；其中，所述第一直角边方向与所述第二直角边方向互相垂直；所述第一直角边方向是根据所述第一实体对象在所述第一图像连通区域内显示出的图像边缘确定的；

根据所述第一平行线与所述第二平行线在所述第一图像连通区域内形成的交点，确定所述第一实体对象在所述第一图像连通区域内的图像位置。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的视频检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的视频检测方法的步骤。

Images