CN117793497A - 一种ar连接虚拟实景的系统及方法 - Google Patents

Abstract

本申请涉及数字孪生技术领域，具体为一种AR连接虚拟实景的系统及方法。该系统应用于物理空间，以及与物理空间关联的空间数字孪生系统，所述空间数字孪生系统输出数字孪生信息，该系统具体包括摄像头组和图像采集模块。系统包括虚拟数据绘制模块、AR场景同步模块、更新模块、匹配融合模块和AR显示模块，其中以上软件模块基于AR连接虚拟实景的方法得到关于物理场景相关联的AR场景。本申请实施例提供的技术方案中，实现了语义化空间场景的构建，用户可以通过该系统更加直观地理解和管理数字化信息，从而大大提高工作效率。此外，该系统还具备智能化的场景管理功能，能够根据用户的需求和习惯，自动化地调整场景，提供更加智慧化的服务。

Description

一种AR连接虚拟实景的系统及方法

技术领域

本申请涉及数字孪生技术领域，为一种增强现实显示方法，具体为一种AR连接虚拟实景的系统及方法。

背景技术

数字孪生技术在各个行业具有广泛的应用，其中之一就是数字孪生视频打标签技术。数字孪生视频打标签技术通过对视频内容进行分析和理解，为视频数据附加标签和元数据，以便于后续的管理、搜索和分析。

这项技术背后涉及到多个关键技术和方法，例如绘制画板fabric、视频播放插件mp4box、推流服务zlmediakit、三维引擎threejs、球坐标空间系转换算法(PTZ、FOV、向量)等。通过视频AR技术，可以将实际物品的信息数字化，并在虚拟环境中进行操作和分析，将虚拟信息与实际视频进行叠加，从而实现虚实融合的效果。

普通视频只能做页面叠加或者信息标注，无法适配球机的标注，而视频AR打标签技术可以结合数字孪生场景，实现一标一物、标签跟随效果，可应用于视频监控和安防领域。通过实时分析视频内容，标记出异常事件、行为和物体，实现智能监控和预警功能，可以通过对视频进行标签和元数据的管理，可以提高视频内容的分类、组织和管理效率。这对于大规模视频资料库的管理和维护非常重要，同时也可以视频进行标签和元数据的分析，可以从视频中提取有价值的信息和洞察。

发明内容

为了解决现有技术中存在的，本申请实施例提供一种AR连接虚拟实景的系统及方法，实现了语义化空间场景的构建，并且用户可以通过该系统更加直观地理解和管理数字化信息，从而大大提高工作效率。

为了达到上述目的，本申请实施例采用的技术方案如下：

第一方面，提供一种AR连接虚拟实景的系统，包括物理空间和与所述物理空间关联的空间数字孪生系统，所述空间数字孪生系统输出数字孪生信息，还包括如下模块：摄像头组，固定于所述物理空间内，用于采集物理空间内当前状态的视频图像；图像采集模块，用于采集用户选择的摄像头所拍摄的所述物理空间内视频图像形成流视频数据；虚拟数据绘制模块，用于对图文、视频、音频和文件点、线和面的方式进行标记标签，并通过fabric绘制虚拟数据；AR场景同步模块，用于将所述流视频数据和所述虚拟数据进行同步生成AR场景，并根据所述摄像头组中的球机当前的视场角度和云台俯仰角、水平旋转角度进行全局球坐标计算，并基于所述全局球坐标将屏幕坐标转换为空间坐标，并基于所述空间坐标对所述虚拟数据进行标注得到初步AR场景；更新模块，获取用户在所述初步AR场景的交互产生的场景更新数据，并基于所述场景更新数据进行坐标系转换得到本地坐标系，将所述本地坐标系与全局坐标系进行转换得到更新后的空间坐标，并基于所述场景更新数据更新绘制到虚拟场景；匹配融合模块，获取所述摄像头组的地理坐标信息，并将所述虚拟场景渲染至三维地图上从而实现视频与所述虚拟场景的融合，得到融合图像；AR显示模块，通过获取所述三维地图的经纬度、指北点信息，计算出所述摄像头组的朝向和可视域，基于所述可视域与虚拟数据进行匹配，将匹配的虚拟数据同步回AR场景进行显示。

进一步的，所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向。

进一步的，所述图像采集模块还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态。

进一步的，所述设备识别模块获取到所述图像传感器的位置和姿态，将该些信息发送至所述虚拟数据绘制模块。

进一步的，所述并根据所述摄像头组中的球机当前的视场角度和云台俯仰角、水平旋转角度进行全局球坐标计算，并基于所述全局球坐标将屏幕坐标转换为空间坐标，包括：

获取所述球机的云台俯仰角和所述球机当前的视场角度所对应的云台坐标和球机坐标，并基于全局坐标系对所述云台坐标和所述球机坐标进行转换，得到全局坐标系下的全局云台坐标和全局球机坐标；获取当前位置的所述屏幕坐标，并基于所述全局坐标系对所述屏幕坐标进行转换，得到所诉空间坐标。

进一步的，所述并基于所述场景更新数据进行坐标系转换得到本地坐标系，将所述本地坐标系与全局坐标系进行转换得到更新后的空间坐标，包括：获取所述球机当前的视场角度、水平旋转角度、视野水平和垂直角度，利用Three.js三维向量进行本地坐标系的转换，将所述全局坐标系与素数本地坐标系相连接，实现空间坐标系的转换。

进一步的，获取所述摄像头组的地理坐标信息，并将所述虚拟场景渲染至三维地图上从而实现视频与所述虚拟场景的融合，得到融合图像，包括：同步所述球机当前的视场角度、水平旋转角度、视野水平和垂直角度，并基于设置的坐标基点以及指北点将所述视场角度、所述水平旋转角度、所述视野水平和所述垂直角度转化为经纬度、倾斜角、可视域范围，根据所述经纬度、所述倾斜角、所述可视域范围将所述虚拟场景渲染至三维地图得到融合图像。

进一步的，所述通过获取所述三维地图的经纬度、指北点信息，计算出所述摄像头组的朝向和可视域，包括：

获取当前点位的本地摄像头组坐标以及全局摄像头组坐标，将所述本地摄像头组坐标和所述全局摄像头组坐标进行相减，并基于所述全局坐标系进行视角加减得到所述摄像头组的视锥体，所述视锥体包括所述摄像头组的朝向和可视域。

进一步的，所述虚拟数据基于屏幕进行展示，基于所述可视域与虚拟数据进行匹配，包括：将所述三维地图转为屏幕信息进行展示；具体包括：获取所述屏幕坐标，并将所述屏幕坐标转为三维坐标，所述屏幕坐标包括近点坐标、远点坐标和图元深度值；将所述近点坐标、所述远点坐标和所述图元深度值基于距离向量进行想成得到四维向量；并将所述四维向量基于线性变换得到世界坐标；基于所述世界坐标将所述可视域与所述虚拟数据进行匹配。

第二方面，提供一种AR连接虚拟实景的方法，所述方法包括：绘制虚拟数据，对采集到的图文、视频、音频和文件点、线和面的方式进行标记标签，并通过fabric绘制虚拟数据；将摄像头组采集到的流视频数据和所述虚拟数据进行同步生成AR场景，并根据所述摄像头组中的球机当前的视场角度和云台俯仰角、水平旋转角度进行全局球坐标计算，并基于所述全局球坐标将屏幕坐标转换为空间坐标，并基于所述空间坐标对所述虚拟数据进行标注得到初步AR场景；获取用户在所述初步AR场景的交互产生的场景更新数据，并基于所述场景更新数据进行坐标系转换得到本地坐标系，将所述本地坐标系与全局坐标系进行转换得到更新后的空间坐标，并基于所述场景更新数据更新绘制到虚拟场景；获取所述摄像头组的地理坐标信息，并将所述虚拟场景渲染至三维地图上从而实现视频与所述虚拟场景的融合，得到融合图像；通过获取所述三维地图的经纬度、指北点信息，计算出所述摄像头组的朝向和可视域，基于所述可视域与虚拟数据进行匹配，将匹配的虚拟数据同步回AR场景进行显示。

第三方面，提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的方法。

本申请实施例提供的技术方案中，实现了语义化空间场景的构建，用户可以通过该系统更加直观地理解和管理数字化信息，从而大大提高工作效率。此外，该系统还具备智能化的场景管理功能，能够根据用户的需求和习惯，自动化地调整场景，提供更加智慧化的服务。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。

图1是本申请实施例提供的AR连接虚拟实景的系统结构示意图。

图2是本申请实施例提供的AR连接虚拟实景的方法流程示意图。

图3是本申请实施例提供的穿刺设备引导设备结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。

本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

(1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

(2)基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

数字孪生技术在各个行业具有广泛的应用，其中之一就是数字孪生视频打标签技术。数字孪生视频打标签技术通过对视频内容进行分析和理解，为视频数据附加标签和元数据，以便于后续的管理、搜索和分析。

这项技术背后涉及到多个关键技术和方法，例如绘制画板fabric、视频播放插件mp4box、推流服务zlmediakit、三维引擎threejs、球坐标空间系转换算法(PTZ、FOV、向量)等。通过视频AR技术，可以将实际物品的信息数字化，并在虚拟环境中进行操作和分析，将虚拟信息与实际视频进行叠加，从而实现虚实融合的效果。

普通视频只能做页面叠加或者信息标注，无法适配球机的标注，而视频AR打标签技术可以结合数字孪生场景，实现一标一物、标签跟随效果，可应用于视频监控和安防领域。通过实时分析视频内容，标记出异常事件、行为和物体，实现智能监控和预警功能，可以通过对视频进行标签和元数据的管理，可以提高视频内容的分类、组织和管理效率。这对于大规模视频资料库的管理和维护非常重要，同时也可以视频进行标签和元数据的分析，可以从视频中提取有价值的信息和洞察。

为了解决以上的技术问题，需要提供一种跨引擎的流视频AR场景生成系统，针对此系统请参阅图1，该系统应用于物理空间，以及与物理空间关联的空间数字孪生系统，所述空间数字孪生系统输出数字孪生信息，该系统具体包括摄像头组，其中摄像头组固定在物理空间内，用于采集物理空间内当前状态的视频图像。图像采集模块，用于采集用户选择的摄像头所拍摄的所述物理空间内视频图像形成流视频数据。

其中摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向。

其中图像采集模块还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态。

具体的，针对于图像采集模块负责集成各种摄像头的兼容，可使用28181国标、SDK、ONVIF、1400标准、RTSP协议实现视频接入，把云台数据统一转换成AR场景统一数据，同时，我们支持不同类型的摄像机，如球机、IPC和NVR等，以满足不同场景和需求的视频监控要求。

以上两个模块为硬件模块，在此系统中还包括多个软件模块，其中多个软件模块包括虚拟数据绘制模块、AR场景同步模块、更新模块、匹配融合模块和AR显示模块，其中以上软件模块基于AR连接虚拟实景的方法得到关于物理场景相关联的AR场景。

具体的，针对于AR连接虚拟实景的方法，包括两个阶段，第一个阶段为准备阶段，第二个阶段为运行循环阶段，第三个阶段为场景显示阶段，针对于以上三个阶段具体参阅图2，包括以下步骤：

准备阶段：

步骤S210.绘制虚拟数据。

针对于本申请实施例，通过系统中的摄像头组和图像采集模块获取到用户选择的图文、视频、音频和文件，通过点、线和面的方式进行标记标签，并通过fabric绘制虚拟数据。

具体的，针对于本申请实施例中的标记标签可根据用户的选择进行设置，其中设置包括功能设置和样式属性设置。

在本申请实施例中，虚拟数据为虚拟三维模型，其中关于虚拟三维模型通过使用代理形状体来构建，其中个代理形状代表物理空间内的空间形状和多个特征物的位置。并且，针对于虚拟三维模型并过点、线和面的方式进行标注得到具有特征信息的虚拟三维模型即虚拟数据。

步骤S220.将摄像头组采集到的流视频数据和所述虚拟数据进行同步生成AR场景，并根据所述摄像头组中的球机当前的位置信息计算全局球坐标，并基于所述全局球坐标将屏幕坐标转换为空间坐标，并基于所述空间坐标对所述虚拟数据进行标注得到初步AR场景。

在本申请实施例中，针对于所述摄像头组中的球机当前的位置信息包括球机当前的视场角度和云台俯仰角、水平旋转角度，通过以上角度实现对于全局球坐标的获得，并基于所述全局球坐标将屏幕坐标转换成空间坐标，并基于所述空间坐标对虚拟数据进行标注得到初步AR场景。

在本申请实施例中，针对于空间坐标的获取包括以下步骤：

获取当前球机的云台俯仰角和当前球机的视场角度，其中针对于当前球机的云台俯仰角为：当前球机的视场角度为：其中针对于本地位置为：Local_pos本地位置/>针对于位置旋转包括以下计算机处理过程：

对于z轴旋转：local_pos.applyAxisAngle(new THREE.Vector3(0,0,1),-current_ptz_r.z)；y轴旋转：local_pos.applyAxisAngle(newTHREE.Vector3(0,1,0),-current_ptz_r.y)。

其中，针对于本地坐标为：

其中，Height:为视频高度，Width为视频宽度，Pixel_coord为平面坐标。

具体的，针对于平面坐标为：

运行循环阶段：

步骤S230.获取用户在所述初步AR场景的交互产生的场景更新数据，并基于所述场景更新数据进行坐标系转换得到本地坐标系，将所述本地坐标系与全局坐标系进行转换得到更新后的空间坐标，并基于所述场景更新数据更新绘制到虚拟场景。

场景显示阶段：

步骤S240.获取所述摄像头组的地理坐标信息，并将所述虚拟场景渲染至三维地图上从而实现视频与所述虚拟场景的融合，得到融合图像。

在本申请实施例中，处理过程具体位置同步所述球机当前的视场角度、水平旋转角度、视野水平和垂直角度，并基于设置的坐标基点以及指北点将所述视场角度、所述水平旋转角度、所述视野水平和所述垂直角度转化为经纬度、倾斜角、可视域范围，根据所述经纬度、所述倾斜角、所述可视域范围将所述虚拟场景渲染至三维地图得到融合图像。

具体的，针对于融合图像的获得通过同步所述球机当前的视场角度、水平旋转角度、视野水平和垂直角度，并基于设置的坐标基点以及指北点将所述视场角度、所述水平旋转角度、所述视野水平和所述垂直角度转化为经纬度、倾斜角、可视域范围，根据所述经纬度、所述倾斜角、所述可视域范围将所述虚拟场景渲染至三维地图得到融合图像。

在本申请实施例中，针对于像头组的朝向和可视域，包括：获取当前点位的本地摄像头组坐标以及全局摄像头组坐标，将所述本地摄像头组坐标和所述全局摄像头组坐标进行相减，并基于所述全局坐标系进行视角加减得到所述摄像头组的视锥体，所述视锥体包括所述摄像头组的朝向和可视域。

步骤S250.通过获取所述三维地图的经纬度、指北点信息，计算出所述摄像头组的朝向和可视域，基于所述可视域与虚拟数据进行匹配，将匹配的虚拟数据同步回AR场景进行显示。

具体的，针对于显示通过屏幕进行，则针对于虚拟市局的同步是将三维地图转为屏幕信息进行展示，具体的：获取所述屏幕坐标，并将所述屏幕坐标转为三维坐标，所述屏幕坐标包括近点坐标、远点坐标和图元深度值；将所述近点坐标、所述远点坐标和所述图元深度值基于距离向量进行想成得到四维向量；并将所述四维向量基于线性变换得到世界坐标；基于所述世界坐标将所述可视域与所述虚拟数据进行匹配。

在本申请实施例中，针对于距离基于下式表示：

distance＝(far*(1.0-near/(depth+near)))/(far-near)；其中，Near表示近点，Far表示远点，Depth表示图元深度值。

其中，针对于四维向量基于下式表示：

ndc.x＝((Pixel_coord.x-viewport.x)/viewport.width)*2.0-1.0；

ndc.y＝((Pixel_coord.y-viewport.y)/viewport.height)*2.0-1.0；

ndc.z＝depth1*2.0-1.0；

ndc.w＝1.0。

通过线性变换世界坐标可以以计算机进行如下表示：

newCesium.Matrix4.multiplyByVector(相机坐标，ndc，new Cesium.Cartesian4())。

基于下式计算中心点：Cesium.Cartesian3.multiplyByScalar(worldCoords,w,worldCoords)。

得到进行展示的地图坐标为：

{x:worldCoords.x,y:worldCoords.y,z:worldCoords.z}。

参阅图3，还可以将上述方法集成于提供的跨引擎的流视频AR场景生成设备300中，针对于设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器301和存储器302，存储器302中可以存储有一个或一个以上存储应用程序或数据。其中，存储器302可以是短暂存储或持久存储。存储在存储器302的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括穿刺设备引导设备中的一系列计算机可执行指令。更进一步地，处理器301可以设置为与存储器302通信，穿刺设备引导设备上执行存储器302中的一系列计算机可执行指令。穿刺设备引导设备还可以包括一个或一个以上电源303，一个或一个以上有线或无线网络接口304，一个或一个以上输入/输出接口305，一个或一个以上键盘306等。

在一个具体的实施例中，跨引擎的流视频AR场景生成设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对跨引擎的流视频AR场景生成设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

绘制虚拟数据；

将摄像头组采集到的流视频数据和所述虚拟数据进行同步生成AR场景，并根据所述摄像头组中的球机当前的位置信息计算全局球坐标，并基于所述全局球坐标将屏幕坐标转换为空间坐标，并基于所述空间坐标对所述虚拟数据进行标注得到初步AR场景；

获取用户在所述初步AR场景的交互产生的场景更新数据，并基于所述场景更新数据进行坐标系转换得到本地坐标系，将所述本地坐标系与全局坐标系进行转换得到更新后的空间坐标，并基于所述场景更新数据更新绘制到虚拟场景；

获取所述摄像头组的地理坐标信息，并将所述虚拟场景渲染至三维地图上从而实现视频与所述虚拟场景的融合，得到融合图像；

通过获取所述三维地图的经纬度、指北点信息，计算出所述摄像头组的朝向和可视域，基于所述可视域与虚拟数据进行匹配，将匹配的虚拟数据同步回AR场景进行显示。

下面对处理器的各个构成部件进行具体的介绍：

其中，在本实施例中，处理器是特定集成电路(application specificintegrated circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)。

可选地，处理器可以通过运行或执行存储在存储器内的软件程序，以及调用存储在存储器内的数据，执行各种功能，例如执行上述图1所示的方法。

在具体的实现中，作为一种实施例，处理器可以包括一个或多个微处理器。

其中，所述存储器用于存储执行本申请方案的软件程序，并由处理器来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。

可选地，存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以和处理器集成在一起，也可以独立存在，并通过处理器的接口电路与处理单元进行耦合，本申请实施例对此不作具体限定。

需要说明的是，在本实施例中示出的处理器的结构并不构成对该装置的限定，实际的装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

此外，处理器的技术效果可以参考上述方法实施例所述的方法的技术效果，此处不再赘述。

应理解，在本申请实施例中的处理器可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

上述实施例，可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种AR连接虚拟实景的系统，其特征在于，包括物理空间和与所述物理空间关联的空间数字孪生系统，所述空间数字孪生系统输出数字孪生信息，还包括以下模块：

摄像头组，固定于所述物理空间内，用于采集物理空间内当前状态的视频图像；

图像采集模块，用于采集用户选择的摄像头所拍摄的所述物理空间内视频图像形成流视频数据；

虚拟数据绘制模块，用于对图文、视频、音频和文件点、线和面的方式进行标记标签，并通过fabric绘制虚拟数据；

AR场景同步模块，用于将所述流视频数据和所述虚拟数据进行同步生成AR场景，并根据所述摄像头组中的球机当前的视场角度和云台俯仰角、水平旋转角度进行全局球坐标计算，并基于所述全局球坐标将屏幕坐标转换为空间坐标，并基于所述空间坐标对所述虚拟数据进行标注得到初步AR场景；

更新模块，获取用户在所述初步AR场景的交互产生的场景更新数据，并基于所述场景更新数据进行坐标系转换得到本地坐标系，将所述本地坐标系与全局坐标系进行转换得到更新后的空间坐标，并基于所述场景更新数据更新绘制到虚拟场景；

匹配融合模块，获取所述摄像头组的地理坐标信息，并将所述虚拟场景渲染至三维地图上从而实现视频与所述虚拟场景的融合，得到融合图像；

AR显示模块，通过获取所述三维地图的经纬度、指北点信息，计算出所述摄像头组的朝向和可视域，基于所述可视域与虚拟数据进行匹配，将匹配的虚拟数据同步回AR场景进行显示。

2.根据权利要求1所述的AR连接虚拟实景的系统，其特征在于，所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向。

3.根据权利要求2所述的AR连接虚拟实景的系统，其特征在于，所述图像采集模块还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态。

4.根据权利要求2所述的AR连接虚拟实景的系统，其特征在于，所述设备识别模块获取到所述图像传感器的位置和姿态，将该些信息发送至所述虚拟数据绘制模块。

5.根据权利要求1所述的AR连接虚拟实景的系统，其特征在于，所述并根据所述摄像头组中的球机当前的视场角度和云台俯仰角、水平旋转角度进行全局球坐标计算，并基于所述全局球坐标将屏幕坐标转换为空间坐标，包括：

获取所述球机的云台俯仰角和所述球机当前的视场角度所对应的云台坐标和球机坐标，并基于全局坐标系对所述云台坐标和所述球机坐标进行转换，得到全局坐标系下的全局云台坐标和全局球机坐标；获取当前位置的所述屏幕坐标，并基于所述全局坐标系对所述屏幕坐标进行转换，得到所述空间坐标。

6.根据权利要求1所述的AR连接虚拟实景的系统，其特征在于，所述并基于所述场景更新数据进行坐标系转换得到本地坐标系，将所述本地坐标系与全局坐标系进行转换得到更新后的空间坐标，包括：

获取所述球机当前的视场角度、水平旋转角度、视野水平和垂直角度，利用Three.js三维向量进行本地坐标系的转换，将所述全局坐标系与所述本地坐标系相连接，实现空间坐标系的转换。

7.根据权利要求1所述的AR连接虚拟实景的系统，其特征在于，获取所述摄像头组的地理坐标信息，并将所述虚拟场景渲染至三维地图上从而实现视频与所述虚拟场景的融合，得到融合图像，包括：

同步所述球机当前的视场角度、水平旋转角度、视野水平和垂直角度，并基于设置的坐标基点以及指北点将所述视场角度、所述水平旋转角度、所述视野水平和所述垂直角度转化为经纬度、倾斜角、可视域范围，根据所述经纬度、所述倾斜角、所述可视域范围将所述虚拟场景渲染至三维地图得到融合图像。

8.根据权利要求7所述的AR连接虚拟实景的系统，其特征在于，所述通过获取所述三维地图的经纬度、指北点信息，计算出所述摄像头组的朝向和可视域，包括：获取当前点位的本地摄像头组坐标以及全局摄像头组坐标，将所述本地摄像头组坐标和所述全局摄像头组坐标进行相减，并基于所述全局坐标系进行视角加减得到所述摄像头组的视锥体，所述视锥体包括所述摄像头组的朝向和可视域。

9.根据权利要求8所述的AR连接虚拟实景的系统，其特征在于，所述虚拟数据基于屏幕进行展示，基于所述可视域与虚拟数据进行匹配，包括：将所述三维地图转为屏幕信息进行展示；具体包括：获取所述屏幕坐标，并将所述屏幕坐标转为三维坐标，所述屏幕坐标包括近点坐标、远点坐标和图元深度值；将所述近点坐标、所述远点坐标和所述图元深度值基于距离向量进行想成得到四维向量；并将所述四维向量基于线性变换得到世界坐标；基于所述世界坐标将所述可视域与所述虚拟数据进行匹配。

10.一种AR连接虚拟实景的方法，其特征在于，所述方法包括：

绘制虚拟数据，对采集到的图文、视频、音频和文件通过点、线和面的方式进行标记标签，并通过fabric绘制虚拟数据；

将摄像头组采集到的流视频数据和所述虚拟数据进行同步生成AR场景，并根据所述摄像头组中的球机当前的视场角度和云台俯仰角、水平旋转角度进行全局球坐标计算，并基于所述全局球坐标将屏幕坐标转换为空间坐标，并基于所述空间坐标对所述虚拟数据进行标注得到初步AR场景；

获取用户在所述初步AR场景的交互产生的场景更新数据，并基于所述场景更新数据进行坐标系转换得到本地坐标系，将所述本地坐标系与全局坐标系进行转换得到更新后的空间坐标，并基于所述场景更新数据更新绘制到虚拟场景；

获取所述摄像头组的地理坐标信息，并将所述虚拟场景渲染至三维地图上从而实现视频与所述虚拟场景的融合，得到融合图像；

通过获取所述三维地图的经纬度、指北点信息，计算出所述摄像头组的朝向和可视域，基于所述可视域与虚拟数据进行匹配，将匹配的虚拟数据同步回AR场景进行显示。