CN114329747B - 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 - Google Patents
一种面向建筑数字孪生的虚实实体坐标映射方法及系统 Download PDFInfo
- Publication number
- CN114329747B CN114329747B CN202210217834.2A CN202210217834A CN114329747B CN 114329747 B CN114329747 B CN 114329747B CN 202210217834 A CN202210217834 A CN 202210217834A CN 114329747 B CN114329747 B CN 114329747B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- target
- plane
- intersection point
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本申请提供了一种面向建筑数字孪生的虚实实体坐标映射方法及系统，该方法包括：确定目标实体对象在像素坐标系下的位置坐标；当检测到目标实体对象位于空间参考平面之外时，从待处理图像帧中获取属于空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像；以第一平面图像、第二平面图像、目标空间平面与空间参考平面之间的真实空间高度来构建三维空间模型；根据第一位置坐标,从三维空间模型中分别获取上交点坐标和下交点坐标；在像素坐标系与虚拟空间世界坐标系之间，分别对上交点坐标和下交点坐标进行坐标转换，得到目标实体对象在模型中的真实坐标。这样，本申请可以提高对目标实体对象的定位准确度和实体建筑场景在模型中的写实度。
Description
技术领域
本申请涉及建筑数字孪生技术领域，具体而言，涉及一种面向建筑数字孪生的虚实实体坐标映射方法及系统。
背景技术
数字孪生是指充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。其中，建筑数字孪生是指在工程建设的应用场景中，为了更加直观清晰的展示目标实体建筑的空间布局结构，工程建设人员通常会在目标实体建筑建成之后，构建一个能够反映目标实体建筑的物理与功能特性的建筑信息模型，将构建的建筑信息模型作为目标实体建筑的数字孪生模型，以通过数字孪生模型来便捷性的管理目标实体建筑的过程。
基于此，在构建数字孪生模型/更新数字孪生模型时，常需要通过图像目标检测的方法，从建筑场景内拍摄到的图片中，获取每一个实体对象的类别和边界位置信息，通过相机内外参完成像素坐标系与虚拟空间世界坐标系（数字孪生模型内的位置坐标符合虚拟空间世界坐标系）之间的转换，从而实现实体对象在虚拟空间世界坐标系下的定位，以确定实体对象在数字孪生模型中映射的虚拟对象的真实位置。
在目前的图像目标检测方法中，相机外参标定结果用于完成位置坐标在相机坐标系与虚拟空间世界坐标系之间的坐标转换功能，但是，常规的相机外参标定结果仅适用于对地面上的实体对象进行定位，对于位于距离地面一定高度的其他平面上的实体对象则可能会被检测为是地面的纹理信息，导致图像检测过程中丢失了实体的空间体积信息，从而，造成对该类实体进行实体定位时会出现定位结果偏移，使得实体定位结果的准确度较低，构建/更新的数字孪生模型中的模型信息失真。
发明内容
有鉴于此，本申请的目的在于提供一种面向建筑数字孪生的虚实实体坐标映射方法及系统，通过实体建筑场景内采集到的图像数据，在虚拟空间世界坐标系下，对图像数据中出现的、在空间中具备一定高度的目标实体对象进行视觉定位，以提高对于目标实体对象的定位结果的准确度，有利于提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率。
第一方面，本申请实施例提供了一种面向建筑数字孪生的虚实实体坐标映射方法，所述虚实实体坐标映射方法用于在虚拟空间世界坐标系下，对待处理图像帧中出现的目标实体对象进行视觉定位，其中，所述待处理图像帧用于表征拍摄装置拍摄到的实体建筑场景内的场景图像；所述目标实体对象用于表征所述实体建筑场景内具有空间高度信息的实体对象；所述拍摄装置的相机外参适用于完成空间参考平面上的位置坐标在相机坐标系与所述虚拟空间世界坐标系之间的坐标转换，所述虚实实体坐标映射方法包括：
从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标；
当检测到所述目标实体对象位于所述空间参考平面之外时，从所述待处理图像帧中，获取属于所述空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像；其中，所述目标空间平面用于表征所述目标实体对象所在的空间平面；
以所述第一平面图像作为空间包围盒的下包围平面的平面贴图，以所述第二平面图像作为所述空间包围盒的上包围平面的平面贴图，以所述目标空间平面与所述空间参考平面之间的真实空间高度作为所述上包围平面与所述下包围平面之间的空间参考高度，构建得到所述空间包围盒在虚拟空间中映射的三维空间模型；
根据所述目标实体对象在像素坐标系下的第一位置坐标,从所述三维空间模型中，分别获取上交点坐标以及下交点坐标；其中，所述上交点坐标用于表征所述第一位置坐标与所述上包围平面在所述像素坐标系下的交点坐标；所述下交点坐标用于表征所述第一位置坐标与所述下包围平面在所述像素坐标系下的交点坐标；
在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
在一种可选的实施方式中，在所述确定所述目标实体对象在像素坐标系下的第一位置坐标之后，所述虚实实体坐标映射方法，还包括：
当检测到所述目标实体对象位于所述空间参考平面上时，在所述像素坐标系与所述虚拟空间世界坐标系之间，对所述第一位置坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
在一种可选的实施方式中，所述虚实实体坐标映射方法，还包括：
获取所述实体建筑场景在虚拟空间中映射的建筑信息模型；其中，所述建筑信息模型中虚拟对象模型的模型位置符合所述虚拟空间世界坐标系；
根据所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果，确定目标虚拟对象在所述建筑信息模型中的目标模型位置；其中，所述目标虚拟对象用于表征所述目标实体对象在所述虚拟空间中映射的虚拟对象模型；
在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。
在一种可选的实施方式中，所述从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标，包括：
当检测到所述目标实体对象属于第一实体对象时，对所述待处理图像帧进行二维目标检测，得到所述目标实体对象在所述待处理图像帧中的二维目标检测结果；其中，所述二维目标检测结果至少包括：所述目标实体对象的所属类别以及所述目标实体对象在所述待处理图像帧中所在的二维图像区域边界框；所述目标实体对象属于所述第一实体对象用于表征不需要在方向上区分所述目标实体对象在所述实体建筑场景与所述建筑信息模型之间的显示差异；
从组成所述二维图像区域边界框的多条边界框线中，确定与所述空间参考平面/所述目标空间平面相距最近的边界框线作为目标边界框线；
将所述目标边界框线的中心点坐标作为所述第一位置坐标。
在一种可选的实施方式中，所述从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标，还包括：
当检测到所述目标实体对象属于第二实体对象时，对所述待处理图像帧进行二维目标检测，得到所述目标实体对象在所述待处理图像帧中的二维目标检测结果；其中，所述目标实体对象属于所述第二实体对象用于表征需要在方向上区分所述目标实体对象在所述实体建筑场景与所述建筑信息模型之间的显示差异；
将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述目标实体对象在所述待处理图像帧中所在的外接立方体结构进行标定，得到第一外接立方体；其中，所述三维位姿检测模型用于对所述目标实体对象在所述实体建筑场景内的实体位置与实体方向进行预测；
从组成所述第一外接立方体的多个外接平面中，确定与所述空间参考平面/所述目标空间平面相距最近的外接平面作为目标外接平面；
将所述目标外接平面的平面中心点坐标作为所述第一位置坐标。
在一种可选的实施方式中，所述在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理，包括：
在所述像素坐标系与相机坐标系之间，利用所述拍摄装置的相机内参矩阵，分别对所述上交点坐标以及所述下交点坐标进行第一次坐标转换处理，得到第一上交点坐标以及第一下交点坐标；其中，所述第一上交点坐标用于表征所述上交点坐标在所述相机坐标系下的位置坐标；所述第一下交点坐标用于表征所述下交点坐标在所述相机坐标系下的位置坐标；
在所述相机坐标系与所述虚拟空间世界坐标系之间，利用所述拍摄装置的相机外参，分别对所述第一上交点坐标以及所述第一下交点坐标进行第二次坐标转换处理，得到第二上交点坐标以及第二下交点坐标；其中，所述第二上交点坐标用于表征所述上交点坐标在所述虚拟空间世界坐标系下的位置坐标；所述第二下交点坐标用于表征所述下交点坐标在所述虚拟空间世界坐标系下的位置坐标；
将所述第二上交点坐标以及所述第二下交点坐标作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
在一种可选的实施方式中，所述相机外参至少包括：旋转矩阵和平移向量；其中，所述旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与所述相机坐标系的坐标轴之间的相对方向，所述平移向量用于表征空间原点在所述相机坐标系中的位置。
第二方面，本申请实施例提供了一种面向建筑数字孪生的虚实实体坐标映射系统，所述虚实实体坐标映射系统至少包括终端设备以及一个拍摄装置，所述终端设备用于在虚拟空间世界坐标系下，对待处理图像帧中出现的目标实体对象进行视觉定位，其中，所述待处理图像帧用于表征所述拍摄装置拍摄到的实体建筑场景内的场景图像；所述目标实体对象用于表征所述实体建筑场景内具有空间高度信息的实体对象；所述拍摄装置的相机外参适用于完成空间参考平面上的位置坐标在相机坐标系与所述虚拟空间世界坐标系之间的坐标转换，所述终端设备用于：
从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标；
当检测到所述目标实体对象位于所述空间参考平面之外时，从所述待处理图像帧中，获取属于所述空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像；其中，所述目标空间平面用于表征所述目标实体对象所在的空间平面；
以所述第一平面图像作为空间包围盒的下包围平面的平面贴图，以所述第二平面图像作为所述空间包围盒的上包围平面的平面贴图，以所述目标空间平面与所述空间参考平面之间的真实空间高度作为所述上包围平面与所述下包围平面之间的空间参考高度，构建得到所述空间包围盒在虚拟空间中映射的三维空间模型；
根据所述目标实体对象在像素坐标系下的第一位置坐标,从所述三维空间模型中，分别获取上交点坐标以及下交点坐标；其中，所述上交点坐标用于表征所述第一位置坐标与所述上包围平面在所述像素坐标系下的交点坐标；所述下交点坐标用于表征所述第一位置坐标与所述下包围平面在所述像素坐标系下的交点坐标；
在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的虚实实体坐标映射方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的虚实实体坐标映射方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请实施例提供的一种面向建筑数字孪生的虚实实体坐标映射方法及系统，从目标实体对象在待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定目标实体对象在像素坐标系下的第一位置坐标；当检测到目标实体对象位于空间参考平面之外时，从待处理图像帧中，获取属于空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像；以第一平面图像作为空间包围盒的下包围平面的平面贴图，以第二平面图像作为空间包围盒的上包围平面的平面贴图，以目标空间平面与空间参考平面之间的真实空间高度作为上包围平面与下包围平面之间的空间参考高度，构建得到空间包围盒在虚拟空间中映射的三维空间模型；根据目标实体对象在像素坐标系下的第一位置坐标,从三维空间模型中，分别获取上交点坐标以及下交点坐标；在像素坐标系与虚拟空间世界坐标系之间，分别对上交点坐标以及下交点坐标进行坐标转换处理，将坐标转换处理的结果作为目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
通过这种方式，本申请通过实体建筑场景内采集到的图像数据，在虚拟空间世界坐标系下，对图像数据中出现的、在空间中具备一定高度的目标实体对象进行视觉定位，以提高对于目标实体对象的定位结果的准确度，有利于提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种面向建筑数字孪生的虚实实体坐标映射方法的流程示意图；
图2示出了本申请实施例所提供的一种面向建筑数字孪生的虚实实体坐标映射系统；
图3a示出了本申请实施例所提供的一种待处理图像帧的图像示意图；
图3b示出了本申请实施例所提供的一种空间包围盒的三维空间模型构建示意图；
图4示出了本申请实施例所提供的一种更新建筑信息模型的方法的流程示意图；
图5示出了本申请实施例所提供的一种建筑信息模型的结构示意图；
图6示出了本申请实施例所提供的一种二维目标检测的方法的流程示意图；
图7a示出了本申请实施例所提供的一种二维目标检测结果的结果示意图；
图7b示出了本申请实施例所提供的一种三维位姿检测结果的结果示意图；
图8示出了本申请实施例所提供的一种三维位姿检测的方法的流程示意图；
图9示出了本申请实施例所提供的一种坐标转换处理的方法的流程示意图；
图10为本申请实施例提供的一种计算机设备1000的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。 应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。 此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
在目前的图像目标检测方法中，相机外参标定结果用于完成位置坐标在相机坐标系与虚拟空间世界坐标系之间的坐标转换功能，但是，常规的相机外参标定结果仅适用于对地面上平面形状的实体对象进行定位，对于地面上的其他类型的实体则会被检测为是地面的纹理信息，导致图像检测过程中丢失了实体的空间体积信息，从而，造成对该类实体进行实体定位时会出现定位结果偏移，使得实体定位结果的准确度较低，构建/更新的数字孪生模型中的模型信息失真。
基于此，本申请实施例提供了一种面向建筑数字孪生的虚实实体坐标映射方法及系统，从目标实体对象在待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定目标实体对象在像素坐标系下的第一位置坐标；当检测到目标实体对象位于空间参考平面之外时，从待处理图像帧中，获取属于空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像；以第一平面图像作为空间包围盒的下包围平面的平面贴图，以第二平面图像作为空间包围盒的上包围平面的平面贴图，以目标空间平面与空间参考平面之间的真实空间高度作为上包围平面与下包围平面之间的空间参考高度，构建得到空间包围盒在虚拟空间中映射的三维空间模型；根据目标实体对象在像素坐标系下的第一位置坐标,从三维空间模型中，分别获取上交点坐标以及下交点坐标；在像素坐标系与虚拟空间世界坐标系之间，分别对上交点坐标以及下交点坐标进行坐标转换处理，将坐标转换处理的结果作为目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
通过这种方式，本申请通过实体建筑场景内采集到的图像数据，在虚拟空间世界坐标系下，对图像数据中出现的、在空间中具备一定高度的目标实体对象进行视觉定位，以提高对于目标实体对象的定位结果的准确度，有利于提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率。
下面对本申请实施例提供的一种面向建筑数字孪生的虚实实体坐标映射方法及系统进行详细介绍。
参照图1所示，图1示出了本申请实施例所提供的一种面向建筑数字孪生的虚实实体坐标映射方法的流程示意图，其中，所述虚实实体坐标映射方法包括步骤S101-S105；具体的：
S101，从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标。
在本申请实施例中，所述虚实实体坐标映射方法可以运行于终端设备或者是服务器；其中，终端设备可以为本地终端设备，当虚实实体坐标映射方法运行于服务器时，该虚实实体坐标映射方法则可以基于云交互系统来实现与执行，其中，云交互系统至少包括服务器和客户端设备（也即终端设备）。
具体的，以应用于终端设备为例，当虚实实体坐标映射方法运行于终端设备上时，虚实实体坐标映射方法用于在虚拟空间世界坐标系下，对待处理图像帧中出现的目标实体对象进行视觉定位。
这里，所述待处理图像帧用于表征拍摄装置拍摄到的实体建筑场景内的场景图像；所述目标实体对象用于表征所述实体建筑场景内具有空间高度信息的实体对象；所述拍摄装置的相机外参适用于完成空间参考平面上的位置坐标在相机坐标系与所述虚拟空间世界坐标系之间的坐标转换。
具体的，在本申请实施例中，所述相机外参至少包括：旋转矩阵和平移向量；其中，旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与所述相机坐标系的坐标轴之间的相对方向；平移向量用于表征空间原点在所述相机坐标系中的位置。
需要说明的是，旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与所述相机坐标系的坐标轴之间的相对方向（与拍摄装置中相机转动的具体方向变化有关），平移向量用于表征空间原点（虚拟空间世界坐标系下的）在所述相机坐标系中的位置；对于上述旋转矩阵与平移向量的具体获取方法，本申请实施例不作任何限定。
基于此，在本申请实施例中，作为一可选实施例，终端设备可以位于如图2所示的虚实实体坐标映射系统中，参照图2所示，虚实实体坐标映射系统中至少包括终端设备200以及一个拍摄装置201，其中，拍摄装置201散布于目标实体建筑中，也即，拍摄装置201安装于目标实体建筑内的不同实体建筑场景中；拍摄装置201的数量不限。
具体的，每一个拍摄装置201与终端设备200之间可以通过有线网络/无线网络的方式，按照预先设定的通信协议（如RTSP（Real Time Streaming Protocol，实时流传输协议）协议等）进行数据传输与交互；在数据交互过程中，终端设备200可以控制每个拍摄装置201对安装位置处的实体建筑场景进行监控拍摄，并接收不同拍摄装置201反馈的监控视频数据（即多个待处理图像帧组成的监控视频流），从监控数据中，获取每一帧图像作为待处理图像帧，以便终端设备200可以对不同实体建筑场景内的场景变化（如室内装潢设计改变、房间内陈设布局变更、人员流动等）进行实时的监控。
这里，在步骤S101中，拍摄装置用于表征安装于实体建筑场景内的拍摄装置（如相机、监控摄像头等），其中，考虑到实体建筑场景的区域大小与拍摄装置的最大拍摄范围之间关系不定，因此，本申请实施例对于实体建筑场景内安装的拍摄装置的具体数量不进行具体限定。
基于此，在步骤S101中，实体建筑场景可以用于表征所述目标实体建筑内的一个实体建筑空间，例如，实体建筑场景可以是目标实体建筑中的一个房间A，也可以是一个拍摄装置在房间A中能够拍摄到的部分区域；对于实体建筑场景的区域大小，本申请实施例同样不作任何限定。
S102，当检测到所述目标实体对象位于所述空间参考平面之外时，从所述待处理图像帧中，获取属于所述空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像。
具体的，结合背景技术部分的说明内容，在本申请实施例中，空间参考平面通常情况下可以默认为是实体建筑场景内的地面（相当于拍摄装置的相机外参标定结果与现有技术中常规的相机外参标定结果相同），除此之外，考虑到在一些具体应用场景下，相较于常规的相机外参标定方式，有可能会对拍摄装置的相机外参进行一系列的校正操作，此时，有可能会改变拍摄装置的相机外参所适用于的空间参考平面。
基于此，需要说明的是，由于相机外参是否进行校正并不属于本申请实施例所要限制的技术重点，因此，在本申请实施例中，空间参考平面所表征的具体平面是根据实际应用场景下拍摄装置的相机外参来确定的，本申请实施例对此并不进行任何限定（即并不限定空间参考平面一定是地面）。
这里，目标空间平面用于表征所述目标实体对象所在的空间平面，也即，在本申请实施例中，目标空间平面可能是空间参考平面，也可能是除空间参考平面之外的其他空间平面。
基于此，针对检测出的所有目标实体对象（即实体建筑场景内具有空间高度信息的实体对象），根据目标实体对象所在的目标空间平面是否等同于上述空间参考平面，本申请实施例提供了以下按照目标实体对象所在平面类型，分别执行不同虚实实体坐标映射方法的可选方案，具体的：
情况一、当检测到所述目标实体对象位于所述空间参考平面之外时：
此时，可以按照步骤S102- S105所示的方法，来在虚拟空间世界坐标系下对目标实体对象进行视觉定位，以解决现有技术中无法对位于空间参考平面（如地面）之外且具有空间高度信息（即具备空间体积信息）的实体对象进行准确定位的问题。
情况二、当检测到所述目标实体对象位于所述空间参考平面上时：
此时，由于拍摄装置的相机外参标定结果并不会对真实位于空间参考平面上的目标实体对象产生任何定位上的干扰，因此，作为一可选实施例，可以按照以下方式，来在虚拟空间世界坐标系下，对目标实体对象进行视觉定位；具体的：
在像素坐标系与虚拟空间世界坐标系之间，对所述第一位置坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
这里，以上述步骤S101中目标实体对象在像素坐标系下的第一位置坐标（u，v）为例，利用拍摄装置的相机内参矩阵K，以及拍摄装置的相机外参（如拍摄装置的旋转矩阵R和平移向量t），则可以按照以下公式，以相机坐标系作为坐标转换的中转站（像素坐标系与虚拟空间世界坐标系之间的转换依赖于相机坐标系的中转），完成像素坐标（u，v，1）（即第一位置坐标）在像素坐标系与虚拟空间世界坐标系之间的转换，得到目标实体对象在虚拟空间世界坐标系下的真实位置坐标（X，Y，Z）（即视觉定位结果），具体的：
其中，（
，
）是拍摄装置的相机主点；
（x，y，z）是像素坐标（u，v，1）在相机坐标系下的位置坐标；
R是拍摄装置的旋转矩阵，t是拍摄装置的平移向量；
需要说明的是，相机内参矩阵K属于相机内参，相机内参是相机硬件的固有属性，一般同一型号的相机内参一致。因此，相机内参矩阵可以直接根据拍摄装置的装置型号确定。
S103，以所述第一平面图像作为空间包围盒的下包围平面的平面贴图，以所述第二平面图像作为所述空间包围盒的上包围平面的平面贴图，以所述目标空间平面与所述空间参考平面之间的真实空间高度作为所述上包围平面与所述下包围平面之间的空间参考高度，构建得到所述空间包围盒在虚拟空间中映射的三维空间模型。
具体的，图3a示出了本申请实施例所提供的一种待处理图像帧的图像示意图；如图3a所示，以空间参考平面是地面为例，若步骤S102中检测到的目标实体对象是图3a中的绿植a，则由于绿植a位于桌面上（即位于地面之外的平面上），并不直接与地面相接触，因此，在执行上述步骤S102时，可以从待处理图像帧中，获取属于地面的第一平面图像301（即待处理图像帧中地面所在图像区域）以及属于桌面（即目标空间平面）的第二平面图像302（即待处理图像帧中桌面所在图像区域）。
具体的，图3b示出了本申请实施例所提供的一种空间包围盒的三维空间模型构建示意图；如图3b所示，在从图3a所示的待处理图像帧中，获取到属于地面的第一平面图像301以及属于桌面的第二平面图像302之后；若确定实体建筑场景内的桌子300的高度为70厘米，则可以确定空间包围盒中上包围平面与下包围平面之间的空间参考高度为70厘米，建立空间包围盒的三维空间模型303，其中，三维空间模型303的上包围平面304与下包围平面305之间的高度为70厘米，上包围平面304的平面贴图为第二平面图像302（图案未示出）下包围平面305的平面贴图为第一平面图像301（图案未示出）。
S104，根据所述目标实体对象在像素坐标系下的第一位置坐标,从所述三维空间模型中，分别获取上交点坐标以及下交点坐标。
这里，由于三维空间模型的上包围平面的平面贴图是目标空间平面的第二平面图像，因此，基于像素坐标系下的第一位置坐标，可以从三维空间模型的上包围平面中，确定与第一位置坐标对应像素信息相同的上交点坐标。
同样的，由于三维空间模型的下包围平面的平面贴图是空间参考平面的第一平面图像，因此，基于像素坐标系下的第一位置坐标，可以从三维空间模型的下包围平面中，确定与第一位置坐标对应像素信息相同的下交点坐标。
示例性的说明，仍以目标实体对象是图3a中的绿植a为例，在图3b所示的三维空间模型303中，从上包围平面304的平面贴图中，确定绿植a所在的像素坐标即为绿植a对应的上交点坐标；从下包围平面305的平面贴图中，确定绿植a所在的像素坐标即为绿植a对应的下交点坐标。
S105，在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
具体的，步骤S105中像素坐标系与虚拟空间世界坐标系之间的转换方法与上述步骤S102中情况二下的坐标转换方法相同，重复之处在此不再赘述。
在本申请实施例中，除上述步骤S101-S105之外，结合背景技术部分内容可知，在构建数字孪生模型/更新数字孪生模型时，提高目标实体对象在虚拟空间世界坐标系下的定位结果准确程度，有利于提高目标实体建筑在其对应的数据孪生模型中的真实还原度。
基于此，为了提高实体建筑场景在建筑信息模型中的真实还原度，从而提高用户对于实体建筑场景的维护与管理效率，在一种可选的实施方案中，图4示出了本申请实施例所提供的一种更新建筑信息模型的方法的流程示意图，如图4所示，在执行步骤S105之后，该方法还包括S401-S403；具体的：
S401，获取所述实体建筑场景在虚拟空间中映射的建筑信息模型。
这里，所述建筑信息模型中虚拟对象模型的模型位置符合所述虚拟空间世界坐标系，也即，所述建筑信息模型相当于实体建筑场景的数字孪生模型。
需要说明的是，由于本申请实施例要解决的是对于目标实体对象的视觉定位不准确的问题，并不涉及建筑信息模型的构建方法的改进，因此，对于建筑信息模型的具体构建方法，本申请实施例不作任何限定。
S402，根据所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果，确定目标虚拟对象在所述建筑信息模型中的目标模型位置。
这里，所述目标虚拟对象用于表征所述目标实体对象在所述虚拟空间中映射的虚拟对象模型。
示例性的说明，图5示出了本申请实施例所提供的一种建筑信息模型的结构示意图；如图5所示，仍以目标实体对象是图3a中的绿植a为例，则在执行步骤S105之后，则可以根据绿植a的下交点坐标在虚拟空间世界坐标系下的真实下交点坐标500，在真实下交点坐标500处放置绿植模型a1。
S403，在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。
示例性的说明，仍以图5为例，如图5所示，终端设备在真实下交点坐标500处，放置绿植模型a1时，可以根据绿植a的上交点坐标在虚拟空间世界坐标系下的真实上交点坐标501，以真实上交点坐标501作为绿植模型a1在建筑信息模型中的显示最高点，对原有的绿植模型a1进行位置和高度的更新，以使建筑信息模型与实体建筑场景在场景信息上保持同步，提高绿植a在建筑信息模型中的真实还原度。
下面针对上述各步骤在本申请实施例中的具体实施过程，分别进行详细说明：
针对上述步骤S102的具体实施过程，考虑到用户对于不同类别的目标实体对象可能具有不同的管理需求（如，用户对于有些类别的目标实体对象在建筑信息模型与实体建筑场景内的显示方向是否一致具有管理需求，对于其他类别的目标实体对象则只需要保持实体位置一致即可），因此，在本申请实施例中，还可以根据目标实体对象的具体类别，来确定使用二维目标检测结果还是三维位姿检测结果，来确定目标实体对象在像素坐标系下的第一位置坐标，具体的：
在一个可行的实施方案中，图6示出了本申请实施例所提供的一种二维目标检测的方法的流程示意图，如图6所示，在执行步骤S102时，该方法还包括S601-S603；具体的：
S601，当检测到所述目标实体对象属于第一实体对象时，对所述待处理图像帧进行二维目标检测，得到所述目标实体对象在所述待处理图像帧中的二维目标检测结果。
这里，所述二维目标检测结果至少包括：所述目标实体对象的所属类别以及所述目标实体对象在所述待处理图像帧中所在的二维图像区域边界框；所述目标实体对象属于所述第一实体对象用于表征不需要在方向上区分所述目标实体对象在所述实体建筑场景与所述建筑信息模型之间的显示差异。
具体的，本申请实施例中，作为一可选实施例，可以利用YOLOv5目标检测算法来执行步骤S601，通过YOLOv5目标检测算法可以对每一帧待处理图像帧中包括的目标实体对象进行2D（two-dimensional，二维）目标检测，从而，识别出每一目标实体对象的所属类别以及该目标实体对象在待处理图像帧中所在的图像区域（即所述图像区域边界框中圈出的图像区域）。
需要说明的是，目前能够实现上述2D目标检测功能的目标检测算法并不唯一，例如，除YOLOv5目标检测算法之外，也可使用YOLOv4目标检测算法、SSD（Single ShotMultiBox Detector，单激发多盒探测器）目标检测算法等来实现上述2D目标检测功能，对于具体的目标检测算法（即步骤S601中进行二维目标检测的具体底层技术工具），本申请实施例不作任何限定。
在本申请实施例中，上述目标实体对象所属的具体类别与实体建筑场景所属的具体建筑类型存在关联关系，也即，上述目标实体对象的实体类别范围本质上相当于在实体建筑场景内，可能出现所有的静态物体或者运动目标。
在一可选实施方式中，以实体建筑场景是办公类建筑场景为例，则在步骤S601中，需要进行二维目标检测的目标实体对象可以包括但不限于：办公桌、办公椅、办公用品（如电脑、笔筒、文件夹等）、桌面放置物（如绿植、水杯、纸巾盒等）以及办公人员；其中，办公人员既包括处于办公状态（如坐在电脑前进行办公）的人员，也包括处于非办公状态（如从工位上站起，无法明确处于办公状态）的人员；对于目标实体对象所属类别的具体数量以及具体类别范围，本申请实施例不作任何限定。
在另一可选实施方式中，以实体建筑场景是农场类建筑场景为例，则在步骤S102中，需要进行二维目标检测的目标实体对象可以包括但不限于：农场植物（如牧草、野花等）、农场动物（如牛、羊等）、农场工具（如农用车辆、铁铲等）以及农场人员；其中，农场人员既包括农场中的工作人员，也包括来农场参观的外来人员。
基于上述2种不同类型的实体建筑场景，需要说明的是，考虑到不同类型的实体建筑场景内可能出现的目标实体对象的类别各不相同，因此，对于目标实体对象所属类别的具体数量以及具体类别范围，本申请实施例不作任何限定。
S602，从组成所述二维图像区域边界框的多条边界框线中，确定与所述空间参考平面/所述目标空间平面相距最近的边界框线作为目标边界框线。
这里，上述步骤S602中具体是以空间参考平面/目标空间平面中哪一平面为准，取决于第一实体对象在实体建筑场景中所在的具体平面。
示例性的说明，如图7a所示，以目标实体对象是图3a中的绿植a为例，绿植a在实体建筑场景内所在的平面为桌面，此时，如图7a所示，从绿植a的第二图像区域边界框700中，确定与目标空间平面（即桌面）之间相距最近的底部边界框线701作为目标边界框线。
S603，将所述目标边界框线的中心点坐标作为所述第一位置坐标。
示例性的说明，如图7a所示，则以底部边界框线701的中心点坐标（相当于绿植a在桌面上的放置点）作为第一位置坐标。
在一个可行的实施方案中，图8示出了本申请实施例所提供的一种三维位姿检测的方法的流程示意图，如图8所示，在执行步骤S102时，该方法还包括S801-S804；具体的：
S801，当检测到所述目标实体对象属于第二实体对象时，对所述待处理图像帧进行二维目标检测，得到所述目标实体对象在所述待处理图像帧中的二维目标检测结果。
这里，所述目标实体对象属于所述第二实体对象用于表征需要在方向上区分所述目标实体对象在所述实体建筑场景与所述建筑信息模型之间的显示差异。
具体的，步骤S801中二维目标检测的执行方法与步骤S601相同，重复之处在此不再赘述。
S802，将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述目标实体对象在所述待处理图像帧中所在的外接立方体结构进行标定，得到第一外接立方体。
这里，所述三维位姿检测模型用于对所述目标实体对象在所述实体建筑场景内的实体位置与实体方向进行预测。
具体的，本申请实施例中，作为一可选实施例，三维位姿检测模型可以是预先基于Total3DUnderstanding算法进行训练得到的3D（three-dimensional，三维）检测网络，此时，三维位姿检测模型可以对二维目标检测结果中检测出的每一个目标实体对象进行3Dbox检测，得到目标实体对象在待处理图像帧中的3D目标检测框。
这里，相机内参矩阵用于完成所述目标实体对象的位置坐标在像素坐标系与相机坐标系之间的转换；其中，相机内参矩阵属于相机内参，相机内参是相机硬件的固有属性，一般同一型号的相机内参一致。因此，相机内参矩阵可以直接根据拍摄装置的装置型号确定。
具体的，终端设备能够从待处理图像帧中直接获取的数据是目标实体对象所在图像区域边界的像素点坐标（即目标实体对象在像素坐标系下的坐标），而在进行上述3Dbox检测时，通常情况下需要使用目标实体对象在相机坐标系下的坐标，因此，将相机内参矩阵输入三维位姿检测模型中，只是用于帮助三维位姿检测模型完成所述目标实体对象的位置坐标在像素坐标系与相机坐标系之间的转换，而并不涉及三维位姿检测模型针对上述实体位置与实体方向的具体预测过程。
需要说明的是，在二维目标检测结果中，图像区域边界框是以二维平面框架（如一个矩形框）的形式，圈出实体对象在待处理图像帧中所在的图像区域；而与二维目标检测结果中的图像区域边界框不同的是，在步骤S802的三维位姿检测结果中，上述3D目标检测框是以三维立方体框架的形式，圈出实体对象在待处理图像帧中所在的图像区域的。
示例性的说明，以图7a中的椅子b作为目标实体对象为例，如图7b所示，通过三维位姿检测模型，对椅子b在待处理图像帧中所在的外接立方体结构进行标定，即可得到如3D目标检测框所示的第一外接立方体702。
S803，从组成所述第一外接立方体的多个外接平面中，确定与所述空间参考平面/所述目标空间平面相距最近的外接平面作为目标外接平面。
示例性的说明，如图7b所示，由于椅子b位于地面（相当于空间参考平面）上，因此，可以从第一外接立方体702中，确定与地面相距最近的底部平面703作为上述目标外接平面。
S804，将所述目标外接平面的平面中心点坐标作为所述第一位置坐标。
示例性的说明，如图7b所示，则以底部平面703的中心点坐标（相当于椅子b在地面上的放置点）作为第一位置坐标。
针对上述步骤S105的具体实施过程，在一个可行的实施方案中，图9示出了本申请实施例所提供的一种坐标转换处理的方法的流程示意图，如图9所示，在执行步骤S105时，该方法还包括S901-S903；具体的：
S901，在所述像素坐标系与相机坐标系之间，利用所述拍摄装置的相机内参矩阵，分别对所述上交点坐标以及所述下交点坐标进行第一次坐标转换处理，得到第一上交点坐标以及第一下交点坐标。
这里，所述第一上交点坐标用于表征所述上交点坐标在所述相机坐标系下的位置坐标；所述第一下交点坐标用于表征所述下交点坐标在所述相机坐标系下的位置坐标。
S902，在所述相机坐标系与所述虚拟空间世界坐标系之间，利用所述拍摄装置的相机外参，分别对所述第一上交点坐标以及所述第一下交点坐标进行第二次坐标转换处理，得到第二上交点坐标以及第二下交点坐标。
这里，所述第二上交点坐标用于表征所述上交点坐标在所述虚拟空间世界坐标系下的位置坐标；所述第二下交点坐标用于表征所述下交点坐标在所述虚拟空间世界坐标系下的位置坐标。
S903，将所述第二上交点坐标以及所述第二下交点坐标作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
具体的，上述步骤S901-S903中，不同位置坐标在像素坐标系与相机坐标系之间的具体转换处理方法，与上述步骤S102中情况二下的坐标转换方法相同，重复之处在此不再赘述。
基于同一发明构思，本申请实施例中还提供了与上述实施例中虚实实体坐标映射方法对应的虚实实体坐标映射系统，由于本申请实施例中的虚实实体坐标映射系统解决问题的原理与本申请上述实施例中的虚实实体坐标映射方法相似，因此，虚实实体坐标映射系统的实施可以参见前述虚实实体坐标映射方法的实施，重复之处不再赘述。
具体的，图2示出了本申请实施例所提供的一种面向建筑数字孪生的虚实实体坐标映射系统，参照图2所示的虚实实体坐标映射系统；所述虚实实体坐标映射系统至少包括终端设备200以及一个拍摄装置201，终端设备200用于在虚拟空间世界坐标系下，对待处理图像帧中出现的目标实体对象进行视觉定位，其中，所述待处理图像帧用于表征拍摄装置201拍摄到的实体建筑场景内的场景图像；所述目标实体对象用于表征所述实体建筑场景内具有空间高度信息的实体对象；拍摄装置201的相机外参适用于完成空间参考平面上的位置坐标在相机坐标系与所述虚拟空间世界坐标系之间的坐标转换，终端设备200用于：
从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标；
当检测到所述目标实体对象位于所述空间参考平面之外时，从所述待处理图像帧中，获取属于所述空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像；其中，所述目标空间平面用于表征所述目标实体对象所在的空间平面；
以所述第一平面图像作为空间包围盒的下包围平面的平面贴图，以所述第二平面图像作为所述空间包围盒的上包围平面的平面贴图，以所述目标空间平面与所述空间参考平面之间的真实空间高度作为所述上包围平面与所述下包围平面之间的空间参考高度，构建得到所述空间包围盒在虚拟空间中映射的三维空间模型；
根据所述目标实体对象在像素坐标系下的第一位置坐标,从所述三维空间模型中，分别获取上交点坐标以及下交点坐标；其中，所述上交点坐标用于表征所述第一位置坐标与所述上包围平面在所述像素坐标系下的交点坐标；所述下交点坐标用于表征所述第一位置坐标与所述下包围平面在所述像素坐标系下的交点坐标；
在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
在一种可选的实施方式中，在所述确定所述目标实体对象在像素坐标系下的第一位置坐标之后，终端设备200还用于：
当检测到所述目标实体对象位于所述空间参考平面上时，在所述像素坐标系与所述虚拟空间世界坐标系之间，对所述第一位置坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
在一种可选的实施方式中，终端设备200还用于：
获取所述实体建筑场景在虚拟空间中映射的建筑信息模型；其中，所述建筑信息模型中虚拟对象模型的模型位置符合所述虚拟空间世界坐标系；
根据所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果，确定目标虚拟对象在所述建筑信息模型中的目标模型位置；其中，所述目标虚拟对象用于表征所述目标实体对象在所述虚拟空间中映射的虚拟对象模型；
在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。
在一种可选的实施方式中，在所述从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标时，终端设备200用于：
当检测到所述目标实体对象属于第一实体对象时，对所述待处理图像帧进行二维目标检测，得到所述目标实体对象在所述待处理图像帧中的二维目标检测结果；其中，所述二维目标检测结果至少包括：所述目标实体对象的所属类别以及所述目标实体对象在所述待处理图像帧中所在的二维图像区域边界框；所述目标实体对象属于所述第一实体对象用于表征不需要在方向上区分所述目标实体对象在所述实体建筑场景与所述建筑信息模型之间的显示差异；
从组成所述二维图像区域边界框的多条边界框线中，确定与所述空间参考平面/所述目标空间平面相距最近的边界框线作为目标边界框线；
将所述目标边界框线的中心点坐标作为所述第一位置坐标。
在一种可选的实施方式中，在所述从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标时，终端设备200还用于：
当检测到所述目标实体对象属于第二实体对象时，对所述待处理图像帧进行二维目标检测，得到所述目标实体对象在所述待处理图像帧中的二维目标检测结果；其中，所述目标实体对象属于所述第二实体对象用于表征需要在方向上区分所述目标实体对象在所述实体建筑场景与所述建筑信息模型之间的显示差异；
将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述目标实体对象在所述待处理图像帧中所在的外接立方体结构进行标定，得到第一外接立方体；其中，所述三维位姿检测模型用于对所述目标实体对象在所述实体建筑场景内的实体位置与实体方向进行预测；
从组成所述第一外接立方体的多个外接平面中，确定与所述空间参考平面/所述目标空间平面相距最近的外接平面作为目标外接平面；
将所述目标外接平面的平面中心点坐标作为所述第一位置坐标。
在一种可选的实施方式中，在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理时，终端设备200用于：
在所述像素坐标系与相机坐标系之间，利用所述拍摄装置的相机内参矩阵，分别对所述上交点坐标以及所述下交点坐标进行第一次坐标转换处理，得到第一上交点坐标以及第一下交点坐标；其中，所述第一上交点坐标用于表征所述上交点坐标在所述相机坐标系下的位置坐标；所述第一下交点坐标用于表征所述下交点坐标在所述相机坐标系下的位置坐标；
在所述相机坐标系与所述虚拟空间世界坐标系之间，利用所述拍摄装置的相机外参，分别对所述第一上交点坐标以及所述第一下交点坐标进行第二次坐标转换处理，得到第二上交点坐标以及第二下交点坐标；其中，所述第二上交点坐标用于表征所述上交点坐标在所述虚拟空间世界坐标系下的位置坐标；所述第二下交点坐标用于表征所述下交点坐标在所述虚拟空间世界坐标系下的位置坐标；
将所述第二上交点坐标以及所述第二下交点坐标作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
在一种可选的实施方式中，所述相机外参至少包括：旋转矩阵和平移向量；其中，所述旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与所述相机坐标系的坐标轴之间的相对方向，所述平移向量用于表征空间原点在所述相机坐标系中的位置。
如图10所示，本申请实施例提供了一种计算机设备1000，用于执行本申请中的虚实实体坐标映射方法，该设备包括存储器1001、处理器1002及存储在该存储器1001上并可在该处理器1002上运行的计算机程序，其中，上述处理器1002执行上述计算机程序时实现上述的虚实实体坐标映射方法的步骤；当计算机设备1000运行时，处理器1002与存储器1001之间通过总线通信。
具体地，上述存储器1001和处理器1002可以为通用的存储器和处理器，这里不做具体限定，当处理器1002运行存储器1001存储的计算机程序时，能够执行上述的虚实实体坐标映射方法。
对应于本申请中的虚实实体坐标映射方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的虚实实体坐标映射方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的虚实实体坐标映射方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种面向建筑数字孪生的虚实实体坐标映射方法，其特征在于，所述虚实实体坐标映射方法用于在虚拟空间世界坐标系下，对待处理图像帧中出现的目标实体对象进行视觉定位，其中，所述待处理图像帧用于表征拍摄装置拍摄到的实体建筑场景内的场景图像；所述目标实体对象用于表征所述实体建筑场景内具有空间高度信息的实体对象；所述拍摄装置的相机外参适用于完成空间参考平面上的位置坐标在相机坐标系与所述虚拟空间世界坐标系之间的坐标转换，所述虚实实体坐标映射方法包括：
从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标；
当检测到所述目标实体对象位于所述空间参考平面之外时，从所述待处理图像帧中，获取属于所述空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像；其中，所述目标空间平面用于表征所述目标实体对象所在的空间平面；
以所述第一平面图像作为空间包围盒的下包围平面的平面贴图，以所述第二平面图像作为所述空间包围盒的上包围平面的平面贴图，以所述目标空间平面与所述空间参考平面之间的真实空间高度作为所述上包围平面与所述下包围平面之间的空间参考高度，构建得到所述空间包围盒在虚拟空间中映射的三维空间模型；
根据所述目标实体对象在像素坐标系下的第一位置坐标,从所述三维空间模型中，分别获取上交点坐标以及下交点坐标；其中，所述上交点坐标用于表征所述第一位置坐标与所述上包围平面在所述像素坐标系下的交点坐标；所述下交点坐标用于表征所述第一位置坐标与所述下包围平面在所述像素坐标系下的交点坐标；
在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
2.根据权利要求1所述的虚实实体坐标映射方法，其特征在于，在所述确定所述目标实体对象在像素坐标系下的第一位置坐标之后，所述虚实实体坐标映射方法，还包括：
当检测到所述目标实体对象位于所述空间参考平面上时，在所述像素坐标系与所述虚拟空间世界坐标系之间，对所述第一位置坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
3.根据权利要求1所述的虚实实体坐标映射方法，其特征在于，所述虚实实体坐标映射方法，还包括：
获取所述实体建筑场景在虚拟空间中映射的建筑信息模型；其中，所述建筑信息模型中虚拟对象模型的模型位置符合所述虚拟空间世界坐标系；
根据所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果，确定目标虚拟对象在所述建筑信息模型中的目标模型位置；其中，所述目标虚拟对象用于表征所述目标实体对象在所述虚拟空间中映射的虚拟对象模型；
在所述建筑信息模型内的所述目标模型位置处，放置所述目标虚拟对象，以使所述建筑信息模型与所述实体建筑场景在场景信息上保持同步。
4.根据权利要求3所述的虚实实体坐标映射方法，其特征在于，所述从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标，包括：
当检测到所述目标实体对象属于第一实体对象时，对所述待处理图像帧进行二维目标检测，得到所述目标实体对象在所述待处理图像帧中的二维目标检测结果；其中，所述二维目标检测结果至少包括：所述目标实体对象的所属类别以及所述目标实体对象在所述待处理图像帧中所在的二维图像区域边界框；所述目标实体对象属于所述第一实体对象用于表征不需要在方向上区分所述目标实体对象在所述实体建筑场景与所述建筑信息模型之间的显示差异；
从组成所述二维图像区域边界框的多条边界框线中，确定与所述空间参考平面/所述目标空间平面相距最近的边界框线作为目标边界框线；
将所述目标边界框线的中心点坐标作为所述第一位置坐标。
5.根据权利要求4所述的虚实实体坐标映射方法，其特征在于，所述从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标，还包括：
当检测到所述目标实体对象属于第二实体对象时，对所述待处理图像帧进行二维目标检测，得到所述目标实体对象在所述待处理图像帧中的二维目标检测结果；其中，所述目标实体对象属于所述第二实体对象用于表征需要在方向上区分所述目标实体对象在所述实体建筑场景与所述建筑信息模型之间的显示差异；
将所述二维目标检测结果与所述拍摄装置的相机内参矩阵输入至预先训练好的三维位姿检测模型中，通过所述三维位姿检测模型，对所述目标实体对象在所述待处理图像帧中所在的外接立方体结构进行标定，得到第一外接立方体；其中，所述三维位姿检测模型用于对所述目标实体对象在所述实体建筑场景内的实体位置与实体方向进行预测；
从组成所述第一外接立方体的多个外接平面中，确定与所述空间参考平面/所述目标空间平面相距最近的外接平面作为目标外接平面；
将所述目标外接平面的平面中心点坐标作为所述第一位置坐标。
6.根据权利要求1所述的虚实实体坐标映射方法，其特征在于，所述在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理，包括：
在所述像素坐标系与相机坐标系之间，利用所述拍摄装置的相机内参矩阵，分别对所述上交点坐标以及所述下交点坐标进行第一次坐标转换处理，得到第一上交点坐标以及第一下交点坐标；其中，所述第一上交点坐标用于表征所述上交点坐标在所述相机坐标系下的位置坐标；所述第一下交点坐标用于表征所述下交点坐标在所述相机坐标系下的位置坐标；
在所述相机坐标系与所述虚拟空间世界坐标系之间，利用所述拍摄装置的相机外参，分别对所述第一上交点坐标以及所述第一下交点坐标进行第二次坐标转换处理，得到第二上交点坐标以及第二下交点坐标；其中，所述第二上交点坐标用于表征所述上交点坐标在所述虚拟空间世界坐标系下的位置坐标；所述第二下交点坐标用于表征所述下交点坐标在所述虚拟空间世界坐标系下的位置坐标；
将所述第二上交点坐标以及所述第二下交点坐标作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
7.根据权利要求1所述的虚实实体坐标映射方法，其特征在于，所述相机外参至少包括：旋转矩阵和平移向量；其中，所述旋转矩阵用于表征所述虚拟空间世界坐标系的坐标轴与所述相机坐标系的坐标轴之间的相对方向，所述平移向量用于表征空间原点在所述相机坐标系中的位置。
8.一种面向建筑数字孪生的虚实实体坐标映射系统，其特征在于，所述虚实实体坐标映射系统至少包括终端设备以及一个拍摄装置，所述终端设备用于在虚拟空间世界坐标系下，对待处理图像帧中出现的目标实体对象进行视觉定位，其中，所述待处理图像帧用于表征所述拍摄装置拍摄到的实体建筑场景内的场景图像；所述目标实体对象用于表征所述实体建筑场景内具有空间高度信息的实体对象；所述拍摄装置的相机外参适用于完成空间参考平面上的位置坐标在相机坐标系与所述虚拟空间世界坐标系之间的坐标转换，所述终端设备用于：
从所述目标实体对象在所述待处理图像帧中的二维目标检测结果/三维位姿检测结果中，确定所述目标实体对象在像素坐标系下的第一位置坐标；
当检测到所述目标实体对象位于所述空间参考平面之外时，从所述待处理图像帧中，获取属于所述空间参考平面的第一平面图像以及属于目标空间平面的第二平面图像；其中，所述目标空间平面用于表征所述目标实体对象所在的空间平面；
以所述第一平面图像作为空间包围盒的下包围平面的平面贴图，以所述第二平面图像作为所述空间包围盒的上包围平面的平面贴图，以所述目标空间平面与所述空间参考平面之间的真实空间高度作为所述上包围平面与所述下包围平面之间的空间参考高度，构建得到所述空间包围盒在虚拟空间中映射的三维空间模型；
根据所述目标实体对象在像素坐标系下的第一位置坐标,从所述三维空间模型中，分别获取上交点坐标以及下交点坐标；其中，所述上交点坐标用于表征所述第一位置坐标与所述上包围平面在所述像素坐标系下的交点坐标；所述下交点坐标用于表征所述第一位置坐标与所述下包围平面在所述像素坐标系下的交点坐标；
在所述像素坐标系与所述虚拟空间世界坐标系之间，分别对所述上交点坐标以及所述下交点坐标进行坐标转换处理，将坐标转换处理的结果作为所述目标实体对象在所述虚拟空间世界坐标系下的视觉定位结果。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的虚实实体坐标映射方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的虚实实体坐标映射方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210217834.2A CN114329747B (zh) | 2022-03-08 | 2022-03-08 | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210217834.2A CN114329747B (zh) | 2022-03-08 | 2022-03-08 | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114329747A CN114329747A (zh) | 2022-04-12 |
| CN114329747B true CN114329747B (zh) | 2022-05-10 |
Family
ID=81030361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210217834.2A Active CN114329747B (zh) | 2022-03-08 | 2022-03-08 | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114329747B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820979B (zh) * | 2022-04-22 | 2023-03-24 | 如你所视(北京)科技有限公司 | 三维网格模型的处理方法、装置和存储介质 |
| CN116734727A (zh) * | 2022-10-08 | 2023-09-12 | 荣耀终端有限公司 | 定位方法及装置 |
| CN115810100B (zh) * | 2023-02-06 | 2023-05-05 | 阿里巴巴（中国）有限公司 | 确定物体放置平面的方法、设备、存储介质 |
| CN115849202B (zh) * | 2023-02-23 | 2023-05-16 | 河南核工旭东电气有限公司 | 基于数字孪生技术的智能起重机操作目标识别方法 |
| CN116399306B (zh) * | 2023-03-27 | 2024-01-23 | 武汉市云宇智能科技有限责任公司 | 一种基于视觉识别的跟踪测量方法、装置、设备及介质 |
| CN116030202B (zh) * | 2023-03-29 | 2023-08-01 | 四川弘和数智集团有限公司 | 一种三维图像重建方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112015275A (zh) * | 2020-08-29 | 2020-12-01 | 南京翱翔智能制造科技有限公司 | 基于数字孪生ar交互方法和系统 |
| CN112749244A (zh) * | 2020-12-30 | 2021-05-04 | 苏州美房云客软件科技股份有限公司 | 基于虚幻引擎的数字孪生城市空间坐标系实现方法、装置及存储介质 |
| CN112905831A (zh) * | 2021-04-02 | 2021-06-04 | 上海国际汽车城（集团）有限公司 | 物体在虚拟场景中的坐标获取方法、系统及电子设备 |
| CN113485392A (zh) * | 2021-06-17 | 2021-10-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102366293B1 (ko) * | 2019-12-31 | 2022-02-22 | 주식회사 버넥트 | 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법 |
-
2022
- 2022-03-08 CN CN202210217834.2A patent/CN114329747B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112015275A (zh) * | 2020-08-29 | 2020-12-01 | 南京翱翔智能制造科技有限公司 | 基于数字孪生ar交互方法和系统 |
| CN112749244A (zh) * | 2020-12-30 | 2021-05-04 | 苏州美房云客软件科技股份有限公司 | 基于虚幻引擎的数字孪生城市空间坐标系实现方法、装置及存储介质 |
| CN112905831A (zh) * | 2021-04-02 | 2021-06-04 | 上海国际汽车城（集团）有限公司 | 物体在虚拟场景中的坐标获取方法、系统及电子设备 |
| CN113485392A (zh) * | 2021-06-17 | 2021-10-08 | 广东工业大学 | 基于数字孪生的虚拟现实交互方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于数字孪生技术的五轴联动坐标转换;秦秀等;《工具技术》;20200914(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114329747A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114329747B (zh) | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 | |
| CN114155299B (zh) | 一种建筑数字孪生构建方法及系统 | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN109348119B (zh) | 一种全景监控系统 | |
| AU2011312140B2 (en) | Rapid 3D modeling | |
| JP6560480B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| CN105191287B (zh) | 替换视频流中的对象的方法及计算机程序 | |
| US20160249041A1 (en) | Method for 3d scene structure modeling and camera registration from single image | |
| JP6310149B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| KR20040043280A (ko) | 가상 현실 구현 시스템 및 방법 | |
| KR20060113514A (ko) | 화상 처리 장치 및 화상 처리 방법, 프로그램, 및 기록매체 | |
| US9551579B1 (en) | Automatic connection of images using visual features | |
| JP2014112055A (ja) | カメラ姿勢の推定方法およびカメラ姿勢の推定システム | |
| JP7342366B2 (ja) | アバター生成システム、アバター生成方法、およびプログラム | |
| WO2023029969A1 (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 | |
| CN114863061A (zh) | 一种远程监护医学图像处理的三维重建方法及系统 | |
| CN112802208B (zh) | 一种航站楼内三维可视化方法及装置 | |
| Petkov et al. | Interactive visibility retargeting in vr using conformal visualization | |
| CN116069206A (zh) | 基于数字孪生的可视化猪场管理方法、系统及存储介质 | |
| CN114663324A (zh) | 一种bim模型与gis信息的融合显示方法及相关组件 | |
| CN113468250A (zh) | 热力图生成方法、装置、设备及存储介质 | |
| CN106991643B (zh) | 一种低资源消耗的实时核线方法和实时核线系统 | |
| JP2016004466A (ja) | 情報生成装置及び方法、端末装置、コンピュータプログラム並びに記録媒体 | |
| KR102545445B1 (ko) | 유니티(unity) 엔진을 이용한 3차원 지구 XR 가시화 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |