CN114565849B - 一种基于数字孪生的资产ai识别与定位方法和系统 - Google Patents

Abstract

本发明公开了一种基于数字孪生的资产AI识别与定位方法和系统，该方法利用AI中的图像识别技术能够自动获取360度实景图像中对应的多个资产名称，并且提供了交互界面，只需要在显示的多个资产名称中通过鼠标或者触屏方式触发任一资产名称即可将该资产名称与相应的360度实景图像绑定；在后续输入该资产名称时，会自动切换至与所述资产名称绑定的360度实景图像对应的视角以便用户查看该三维资产模型(即资产标记)，提高查看资产实际数据的效率。通过本发明提供的一种基于数字孪生的资产AI识别与定位方法和系统，能够便于用户将360度实景照片与三维资产模型进行比对，便于将资产的实际数据与预设的数据进行比较，准确获知资产变动的情况。

Description

一种基于数字孪生的资产AI识别与定位方法和系统

技术领域

本发明涉及建筑工程监管领域，特别涉及一种基于数字孪生的资产AI识别与定位方法和系统。

背景技术

为了实现远程的资产管理，本申请人在先申请的中国专利(申请公布号为CN114048541A)公开了一种基于数字孪生的资产空间标记方法及系统，提高了远程资产管理的效率，降低了远程资产管理的成本。但是上述在先申请仍然未能解决现有技术中其他的一些问题：

1.基于BIM的资产管理方法主要是利用BIM模型的空间特性标记出资产的位置，具体为通过鼠标选取BIM模型空间中的一个构件或一个位置来摆放资产标记，使标记成为BIM模型的一部分，此时标记已经具备了BIM模型坐标系的三维坐标，从不同角度浏览BIM模型都可以看到此资产标记，从而达到管理效果。然而在为每个资产标记进行资产命名时都是要依靠人工识别资产的名称并手动输入，效率低下。

2.当用户想要具体查看A资产的实际数据(如A资产的余量和位置等数据)时，需要通过鼠标手动在BIM模型空间的各个视角中切换，直到切换至通过显示屏显示能够看到A资产对应的资产标记视角时，用户才能够根据此时显示在显示屏上A资产的实景照片来查看A资产的实际数据。这种通过人工手动查找某个资产在BIM模型空间中对应视角的方式效率低下。

针对上述存在的不足，本申请人基于在先申请提出了本申请。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于数字孪生的资产AI识别与定位方法和系统，能够在拍摄实景照片时通过AI自动识别并得到资产名称，并提供便捷的交互方式录入资产名称，提高资产名称录入的效率；并在用户查看资产实际数据时，响应于用户输入的资产名称自动将视角切换至资产对应的三维资产模型所在的视角，提高查看资产实际数据的效率。

第一方面，本发明提供一种基于数字孪生的资产AI识别与定位方法，所述方法包括：

获取360度实景图像数据；所述360度实景图像数据包括360度实景视频和360度实景照片；其中，所述360度实景照片由工作人员携带360度相机在资产现场各关注点处朝向固定方向拍摄得到，所述360度实景视频由工作人员携带360度相机在资产现场各关注点之间行走时拍摄得到；

将360度实景照片与预设的三维资产模型进行对齐；

建立对齐好的360度实景照片与三维资产模型的联动关系，使得360度实景图像数据与三维资产模型的视角保持一致；

利用图像识别算法获取各360度实景图像中对应的多个资产名称并显示所述多个资产名称；

响应于工作人员对多个资产名称中任一资产名称的触发操作，将所述任一资产名称与相应的360度实景图像绑定；

在建立对齐好的360度实景照片与三维资产模型的联动关系之后，响应于工作人员输入的资产名称，切换至与所述资产名称绑定的360度实景图像对应的视角，以便在同一视角下，将360度实景照片与三维资产模型进行比对，实现资产管理。

第二方面，本发明提供一种基于数字孪生的资产AI识别与定位系统，所述系统包括：

采集模块，用于获取360度实景图像数据；所述360度实景图像数据包括360度实景视频和360度实景照片；其中，所述360度实景照片由工作人员携带360度相机在资产现场各关注点处朝向固定方向拍摄得到，所述360度实景视频由工作人员携带360度相机在资产现场各关注点之间行走时拍摄得到；

对齐模块，用于将360度实景照片与预设的三维资产模型进行对齐；

联动模块，用于建立对齐好的360度实景照片与三维资产模型的联动关系，使得360度实景图像数据与三维资产模型的视角保持一致；

AI识别模块，用于利用图像识别算法获取各360度实景图像中对应的多个资产名称并显示所述多个资产名称；

绑定模块，用于响应于工作人员对多个资产名称中任一资产名称的触发操作，将所述任一资产名称与相应的360度实景图像绑定；

定位模块，用于在建立对齐好的360度实景照片与三维资产模型的联动关系之后，响应于工作人员输入的资产名称，切换至与所述资产名称绑定的360度实景图像对应的视角，以便在同一视角下，将360度实景照片与三维资产模型进行比对，实现资产管理。

1.相较于现有技术中为每个资产标记(即三维资产模型)进行资产命名时都是要依靠人工识别资产的名称并手动输入，效率低下的问题，本发明提供的一种基于数字孪生的资产AI识别与定位方法和系统，利用AI中的图像识别技术能够自动获取360度实景图像中对应的多个资产名称，并且提供了交互界面，工作人员只需要在显示的多个资产名称中通过鼠标或者触屏方式触发任一资产名称即可将该资产名称与相应的360度实景图像绑定；在后续输入该资产名称时，会自动切换至与所述资产名称绑定的360度实景图像对应的视角以便用户查看该三维资产模型(即资产标记)。既解决了人工识别以及手动输入资产名称效率低下的问题，也提高查看资产实际数据的效率。通过本发明提供的一种基于数字孪生的资产AI识别与定位方法和系统，能够便于用户将360度实景照片与三维资产模型进行比对，便于将资产的实际数据与预设的数据进行比较，准确获知资产变动的情况。

2.相较于现有技术中从360度实景视频中提取关键帧作为客户关注点对应的照片而导致的清晰度无法满足要求的现有技术，本发明提供的一种基于数字孪生的资产AI识别与定位方法和系统，该方法中在客户关注点处进行拍照获取能够满足清晰度要求的360度实景照片，当工作人员佩戴安全头盔在资产现场各关注点之间行走时从拍摄360度实景照片切换至拍摄360度实景视频，能够为后续利用ORB(Oriented FAST and Rotated BRIEF)特征点检测算法推算相邻两张360度实景照片之间的相机在世界坐标系里的位置提供充足的相同特征点，提升推算出的相机位置的精度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明进一步地说明；

图1为一个实施例中一种基于数字孪生的资产AI识别与定位系统的结构框图。

图2为一个实施例中一种基于数字孪生的资产AI识别与定位方法的流程示意图。

图3为一个实施例中一种基于数字孪生的资产AI识别与定位方法的流程示意图。

图4为一个实施例中一种基于数字孪生的资产AI识别与定位方法的流程示意图。

图5为一个实施例中一种基于数字孪生的资产AI识别与定位方法的流程示意图。

图6为一个实施例中一种基于数字孪生的资产AI识别与定位方法的流程示意图。

图7为一个实施例中计算机设备的结构框图。

附图标记：

110、终端；111、照片拍摄切换模块；112、盘点待机切换模块；113、视频拍摄切换模块；120、服务器；121、采集模块；122、对齐模块；123、联动模块；124、AI识别模块；125、绑定模块；126、定位模块。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

图1为一个实施例中一种基于数字孪生的资产AI识别与定位系统的结构框图。参照图1，该基于数字孪生的资产AI识别与定位方法应用于基于数字孪生的资产AI识别与定位系统。该基于数字孪生的资产AI识别与定位系统包括通过网络连接的终端110和服务器120。终端110具体可以是360度相机或者集成有360度相机的其他电子设备，例如终端110具体可以是移动终端110，移动终端110具体可以是集成360度相机的手机、平板电脑等。服务器120可以用独立的服务器120或者是多个服务器120组成的服务器集群来实现。

需要说明的是，本发明是基于本申请人在先申请的中国专利(申请公布号为CN112581618A)，专利名称为一种建筑工程行业的三维资产模型与实景比对方法及系统以及本申请人在先申请的中国专利(申请公布号为CN114048541A)公开了一种基于数字孪生的资产空间标记方法及系统二者所做出的改进方案。

实施例1：

如图2所示，在一个实施例中，一种基于数字孪生的资产AI识别与定位方法，所述方法包括：

步骤S202：服务器120获取360度实景图像数据；所述360度实景图像数据包括360度实景视频和360度实景照片；其中，所述360度实景照片由工作人员携带360度相机在资产现场各关注点处朝向固定方向拍摄得到，所述360度实景视频由工作人员携带360度相机在资产现场各关注点之间行走时拍摄得到；

可以理解的是，360度相机在拍摄到360度实景图像数据之后会通过网络将360度实景图像数据传输给服务器120，服务器120将这些360度实景图像数据保存至本地的存储中，在需要的时候服务器120可以从本地的存储中获取这些360度实景图像数据来执行本实施例的方法。

步骤S204：服务器120将360度实景照片与预设的三维资产模型进行对齐。

作为一个示例，三维资产模型可以采用BIM模型。

如图3所示，所述将360度实景照片与预设的三维资产模型进行对齐，包括：

步骤S2041：服务器120以拍摄第一张360度实景照片时相机的世界坐标为原点，根据360度实景图像数据计算出拍摄其他360度实景照片时相机对应的世界坐标。

如图4所示，具体的，所述以拍摄第一张360度实景照片时相机的世界坐标为原点，根据360度实景图像数据计算出拍摄其他360度实景照片时相机对应的世界坐标，包括：

步骤A：服务器120将拍摄第一张360度实景照片时相机所对应的关注点和其相邻的关注点之间拍摄得到的360度实景视频拆分得到的多张视频帧照片和在这两个关注点拍摄得到的360度实景照片作为一组照片数据集。

举例来说，若拍摄第一张360度实景照片时相机处于E点，拍摄时间为14:25:42；拍摄第二张360度实景照片时相机处于F点，拍摄时间为14:25:53；则工作人员从E点走向F点过程中拍摄的360度实景视频对应的时间为14:25:43至14:25:52，视频长度为10秒；360度实景视频的帧率为每秒30帧，由于1秒等于1000毫秒，所以拍摄360度实景视频的过程中每约33毫秒形成一张视频帧照片，则总共可以拆分得到300张视频帧照片，则此时一组照片数据集共计302张照片。

步骤B：服务器120按照一组照片数据集中各照片的拍摄时间顺序，依次计算各照片对应的相机位置的变化，直至得到第一张360度实景照片相邻的关注点相机对应的世界坐标。

步骤C：服务器120根据上述步骤A至步骤B，依次计算出拍摄其他360度实景照片时相机对应的世界坐标。

可以理解的是，在标定360度相机之后，可以获得360度相机拍摄的照片与世界坐标系的映射关系，而当同一个360度相机对世界坐标系中相同物体在不同位置和不同角度拍摄得到两张照片时，可以采用ORB(Oriented FAST and Rotated BRIEF)特征点检测算法提取360度实景视频中每一帧图片的特征点，然后跟踪相同特征点在每一帧图片中的位移变化，从而反推出两次拍照时相机位置之间的世界坐标系的位移和角度变化，从而确定出每一帧图片中相机在世界坐标系里的位置和姿态。如何根据照片确定相机在实际坐标系中的位置变化，具体可以调用OpenCV中提供的cv2.findEssentialMat()函数和cv2.recoverPose()函数实现，此处不再赘述。

由于利用ORB(Oriented FAST and Rotated BRIEF)特征点检测算法提取360度实景视频中每一帧图片的特征点，然后跟踪相同特征点在每一帧图片中的位移变化，从而推算出每一帧图片中相机在世界坐标系里的位置和姿态时，要求相邻两帧图片之间具有足够多的相同特征点，若是两个相邻帧相同特征点太少，会导致该算法精度不高甚至计算失败。本发明中，由于工作人员在相邻两个关注点之间行走时，会拍摄两个关注点之间的360度实景视频，从而获得多帧具有足够多相同特征点的相邻帧，保证无论两个相邻关注点之间的距离相隔多远，都能够通过上述算法推算两个相邻关注点的位置。同时，由于可以不限定相邻关注点之间的距离，所以可以无需提前规划好工作人员拍照的路径，可以在拍摄照片过程中根据客户临时需求增加关注点而不影响其他已拍摄或未拍摄的关注点对应的360度实景照片。同时也便于工作人员根据现场具体施工情况选择最合适的拍摄照片的路线。

步骤S2042：服务器120根据至少三组预设对应坐标点对确定世界坐标与三维资产模型的三维坐标之间的第一映射关系。

可以理解的是，可以在三维资产模型中选择三个门洞处的点，分别是O点、P点和Q点，从三维资产模型中可以得到这三个点的三维坐标。由于无论资产现场具体的建筑结构如何，当工作人员到达现场时，都可以很容易准确的找到这三个门洞点O‘点、P’点和Q’点，并将这三个门洞点作为关注点(即在这三个门洞点进行利用360度相机拍摄360度实景照片)。经过上述步骤S2041可以确定这三个门洞点O‘点、P’点和Q’点对应的世界坐标，从而将O‘点和O点、P’点和P点、Q’点和Q点三组预设对应坐标点用于确定世界坐标与三维资产模型的三维坐标之间的第一映射关系，建立两个坐标系映射关系的方法属于现有技术此处不再赘述。需要说明的是，当建立起世界坐标与三维资产模型的三维坐标之间的第一映射关系之后，就可以确保其他所有关注点在三维资产模型中的相对位置都是准确的，也无需对于每一张照片都需要人工去靠直觉分别选取6个二维坐标和6个三维坐标来推算出在三维资产模型中看到与360度实景照片相同视角的相机位置和姿态，加快了数据处理效率。

步骤S2043：服务器120根据所述固定方向和所述第一映射关系确定在三维资产模型中看到与各张360度实景照片相同视角的相机位置和姿态，以实现各张360度实景照片与预设的三维资产模型进行对齐。

本实施例中，由于每一张360度实景照片都是工作人员朝着固定方向拍摄的，例如360度实景照片由工作人员佩戴安全头盔在资产现场各关注点处朝向固定方向拍摄得到，即各张360度实景照片的姿态都是固定的，所以可以预先根据该固定方向设置好三维资产模型的视角，并且一旦三维资产模型的视角调节好之后，后续无需调整，进一步加快数据处理速度。

相较于现有技术中，需要由人工靠直觉分别选取6个二维坐标和6个三维坐标来推算出在三维资产模型中看到与360度实景照片相同视角的相机位置和姿态，而导致的工作量大、对齐精度低的问题。本发明通过在资产现场和三维资产模型中指定至少三组能够准确定位的标记点(例如，门洞处、立柱处等标记点)，并利用这三组能够准确定位的标记点建立了世界坐标与三维资产模型的三维坐标之间的第一映射关系，又由于在世界坐标系中各相机之间的位置能够通过ORB(Oriented FAST and Rotated BRIEF)特征点检测算法准确推算出来，所以只要三组标记点定位足够精确，就能够确保客户在三维资产模型中指定的关注点的位置以及各关注点之间的位置关系能够在三维资产模型中准确的体现出来。

步骤S206：服务器120建立对齐好的360度实景照片与三维资产模型的联动关系，使得360度实景图像数据与三维资产模型的视角保持一致。

可以理解的是的是，该步骤具体实施方式可以参照本申请人在先申请的中国专利(申请公布号为CN112581618A)，此处不再赘述。

步骤S208：服务器120利用图像识别算法获取各360度实景图像中对应的多个资产名称并显示所述多个资产名称。

本实施例中，采用的图像识别算法识别360度实景图像中各资产的名称的算法属于现有技术，此处不再赘述。其中，由于拍摄得到的是360度实景图像，必然会出现多个资产，在识别出多个资产名称之后，在操作界面上显示多个控件，每个控件上显示对应的资产名称，提供交互功能，给用户选择。

步骤S210：服务器120响应于工作人员对多个资产名称中任一资产名称的触发操作，将所述任一资产名称与相应的360度实景图像绑定。

当工作人员通过触摸或者鼠标点击对应控件的时候，则判定工作人员为当前的360度实景图像绑定的名称为控件上显示的资产名称。工作人员在确定各360度实景图像对应的资产名称时，可以根据该360度实景图像拍摄的顺序来确定其对应的资产名称。例如，提前规划好工作人员在资产现场拍摄照片的顺序，即工作人员在各关注点之间移动的顺序，而每个关注点对应着相应的资产，根据拍摄照片的时间顺序可以确定该360度实景图像拍摄的顺序来确定其对应的资产名称，用户无需手动输入资产名称对应的文字，通过AI识别以及控件交互功能，提高了录入资产名称的效率。

步骤S212：服务器120在建立对齐好的360度实景照片与三维资产模型的联动关系之后，响应于工作人员输入的资产名称，切换至与所述资产名称绑定的360度实景图像对应的视角，以便在同一视角下，将360度实景照片与三维资产模型进行比对，实现资产管理。

具体的，为了方便用户分析，该方法提供了三种视图模式：分屏、混合、重叠。分屏即把屏幕分成左右两边，每一边都是完整场景。整体看上去是两个一样的场景。混合即把屏幕分成左右两边，一边是三维资产模型，一边是360度实景视频，整体看上去是一个场景。重叠即把360度实景视频与三维资产模型重叠在一起，可以通过改变透明度来改变重叠效果，透明度为0时只看见360度实景视频，透明度为100时只看见三维资产模型。若透明度为50时则能看见360度实景视频与三维资产模型重叠的效果。

相较于现有技术中为每个资产标记(即三维资产模型)进行资产命名时都是要依靠人工识别资产的名称并手动输入，效率低下的问题，本发明提供的一种基于数字孪生的资产AI识别与定位方法和系统，利用AI中的图像识别技术能够自动获取360度实景图像中对应的多个资产名称，并且提供了交互界面，工作人员只需要在显示的多个资产名称中通过鼠标或者触屏方式触发任一资产名称即可将该资产名称与相应的360度实景图像绑定；在后续输入该资产名称时，会自动切换至与所述资产名称绑定的360度实景图像对应的视角以便用户查看该三维资产模型(即资产标记)。既解决了人工识别以及手动输入资产名称效率低下的问题，也提高查看资产实际数据的效率。通过本发明提供的一种基于数字孪生的资产AI识别与定位方法和系统，能够便于用户将360度实景照片与三维资产模型进行比对，便于将资产的实际数据与预设的数据进行比较，准确获知资产变动的情况。

相较于现有技术中从360度实景视频中提取关键帧作为客户关注点对应的照片而导致的清晰度无法满足要求的现有技术，本发明提供的一种基于数字孪生的资产AI识别与定位方法和系统，该方法中在客户关注点处进行拍照获取能够满足清晰度要求的360度实景照片，当工作人员佩戴安全头盔在资产现场各关注点之间行走时从拍摄360度实景照片切换至拍摄360度实景视频，能够为后续利用ORB(Oriented FAST and Rotated BRIEF)特征点检测算法推算相邻两张360度实景照片之间的相机在世界坐标系里的位置提供充足的相同特征点，提升推算出的相机位置的精度。

如图5所示，在一个实施例中，在所述获取360度实景图像数据之前，所述方法还包括：

步骤S302：服务器120获取与预设的三维资产模型对应的二维CAD图纸。

步骤S304：服务器120将二维CAD图纸与三维资产模型进行坐标匹配，确定二维CAD图纸上任意坐标与三维资产模型中的地面三维坐标之间的第二映射关系。

步骤S306：服务器120在所述二维CAD图纸上标注出各所述关注点。

本发明中，相较于直接在三维资产模型中查看需要拍摄360度实景照片的关注点的位置，由于可以将三维资产模型中需要拍摄360度实景照片的关注点标注在二维CAD图纸上，便于工作人员使用手机在资产现场查看需要拍照的关注点。

在一个实施例中，所述方法还包括：

将所述二维CAD图纸进行数据转换处理和存储，以便能够通过Web浏览器进行浏览。

将所述三维资产模型进行轻量化处理和存储，以便能够通过Web浏览器进行浏览。

本发明中，由于工作人员需要到资产现场拍摄照片和视频，所以需要利用随身携带的终端110查看二维CAD图纸和三维资产模型，将二者转换处理为能够通过Web浏览器进行浏览的格式，极大的方便了工作人员现场的操作。

如图6所示，在一个实施例中，所述360度相机包括惯性测量单元，所述方法还包括：

步骤S402：360度相机检测到按钮被触发时，从360度实景视频拍摄模式切换至360度实景照片拍摄模式。

本实施例中，按钮可以是硬件或者软件按钮，按钮可以集成在相机上或者通过信号线与相机连接，此处不做限定。

步骤S404：当在关注点处的360度相机在360度实景照片拍摄模式下朝向固定方向拍摄得到对应的360度实景照片后，360度相机检测到工作人员对手持盘点终端输入盘点开始信号时，从360度实景照片拍摄模式切换至盘点待机模式，并根据惯性测量单元提供的数据确定360度相机当前的第一姿态。

惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

步骤S406：360度相机检测到工作人员对手持盘点终端输入盘点结束信号后，根据惯性测量单元提供的数据检测到360度相机处于第一姿态时，从盘点待机模式切换至360度实景视频拍摄模式。

在具体的应用场景中，各资产都是划定相应的区域来放置的，在第一次将360度实景照片与预设的三维资产模型进行对齐时，还无法在资产现场准确确定各关注点的位置，因此需要利用门洞点确定关注点的位置，完成第一次对齐之后，即可获得资产现场准确的关注点坐标，为了便于后续准确确定各关注点的位置，本实施例中，在各资产对应的区域出均预先用相应的图标在地面上标记了关注点对应的位置，例如可以采用在地面上画出白色圆点的方式得当关注点对应的图标，工作人员只需要去到所有的白色圆点位置拍摄对应的360度实景照片即可。进一步的，由于各关注点均位于相应的资产放置区域，方便工作人员进行盘点。工作人员在定期盘点资产的时候对资产现场进行360度实景照片和视频的拍摄。具体的，工作人员携带手持盘点终端到达资产现场对各资产进行盘点，手持盘点终端具有扫描功能，扫描功能用于扫描印刷在资产上的二维码确定资产放置位置是否正确。手持盘点终端还具有显示屏，用于在扫描之后显示相应资产的信息，也可以用于显示资产现场各资产的位置图。本实施例中，手持盘点终端与360度相机可以通过蓝牙或者wifi或者ZigBee等形式进行无线通信连接，当工作人员在手持盘点终端上输入相应信号时，360度相机能够及时检测到，从而控制360度相机各模式的切换时机。例如，在一个示例中，手持盘点终端上设置有两个硬件功能按键(盘点开始功能按键和盘点结束功能按键)，当工作人员按下盘点开始功能按键时，控制手持盘点终端显示屏亮起，此时360度相机检测到盘点开始信号；当工作人员按下盘点结束功能按键时，控制手持盘点终端显示屏熄灭，此时360度相机检测到盘点结束信号。

可以理解的是，工作人员从上一个关注点行走到当前关注点的过程中，360度相机在360度实景视频拍摄模式拍摄360度实景视频，当工作人员到达当前关注点时，工作人员触发按钮使得360度相机从360度实景视频拍摄模式切换至360度实景照片拍摄模式，以便工作人员通过360度相机在当前关注点处朝向固定方向拍摄得到相应的360度实景照片。工作人员在完成该关注点的照片拍摄任务之后，还需要执行该区域的资产盘点任务，由于在进行资产盘点时，工作人员可能需要在某个位置长时间停留、或者对逐个资产进行细节的观察，显然这些数据并不是数字孪生想要的，而且过长的盘点时间进行视频拍摄会会占用大量的存储空间，可能导致360度相机无法完成本次拍摄任务，所以当在关注点处的360度相机在360度实景照片拍摄模式下朝向固定方向拍摄得到对应的360度实景照片后，360度相机检测到工作人员对手持盘点终端输入盘点开始信号时，从360度实景照片拍摄模式切换至盘点待机模式，在盘点待机模式下，360度相机不用进行拍照和录视频，既能节省存储空间也能省电。同时，由于在360度实景视频拍摄模式、盘点待机模式和360度实景照片拍摄模式三个模式之间进行切换时，可能会由于工作人员忘记及时切换相应的模式而导致当前360度实景照片和在其之前拍摄的360度实景视频的最后一帧和在其之后拍摄的360度实景视频的第一帧之间的一致性差。本发明为了解决这个问题，还需要根据惯性测量单元提供的数据确定360度相机当前的第一姿态，以便后续在盘点完成后，360度相机检测到工作人员对手持盘点终端输入盘点结束信号后，根据惯性测量单元提供的数据检测到360度相机处于第一姿态时，从盘点待机模式切换至360度实景视频拍摄模式。即本实施例中，工作人员回到该关注点时，能够根据360度相机的语音指示将360度相机调整第一姿态。考虑到工作人员携带手持盘点终端进行资产盘点时，必然会使用的交互操作(即触发盘点开始功能按键和盘点结束功能按键)来作为本实施例中的模式切换触发信号，简化了工作人员对于模式切换的操作。同时，由于在盘点完成之后，还需要保证得到与在当前关注点拍摄的360度实景照片视角一致的360度实景视频(视角一致才能够保证相邻照片之间存在足够多的相同特征点，一致性好就意味着与360度实景照片相邻前后两帧具有更多的相同特征点，能够保证通过ORB(Oriented FAST and Rotated BRIEF)特征点检测算法来计算各相机位置的精度。

在一个示例中，在到达各关注点之后，当相机还可以根据惯性测量单元提供的数据来识别当前相机的姿态，当姿态与其他关注点不是朝向同一方向时，可以发出提示信息，引导用户调整身体朝向，从而将相机调整至与其他的关注点相同朝向，保证各关注点拍摄的照片角度一致。

实施例2：

为了便于理解本发明，以下提供一个优选的实施例对本发明的一种基于数字孪生的资产AI识别与定位系统完整流程进行说明：

1)上传资产对应的CAD图纸，把CAD图纸进行数据转换处理和存储，使可以通过Web浏览器进行浏览。

2)上传资产对应的BIM模型，把BIM模型进行轻量化处理和存储，使可以通过Web浏览器进行浏览。

3)把CAD图纸和BIM模型进行坐标匹配，具体为通过n(n≥3)个对应点坐标(x,y)计算出CAD坐标系到BIM坐标系的转换矩阵，则以后所有CAD图上的任意坐标都可以通过转换矩阵计算出BIM模型对应的地面坐标。

4)根据业务需要，在CAD图纸上规划并标注出需要拍照的地点，最终形成树状结构数据，层级为区域-栋-层-点，存储在数据库中，提供给手机App使用，主要为了方便拍摄人员根据预先设定的位置和拍摄顺序进行拍照。如果这里直接使用BIM模型进行位置标注，现场拍摄人员操作会比较麻烦，毕竟现场操作3D的复杂性比2D要大很多。

5)拍摄人员带着安全帽到现场进行拍摄可以把全景相机(即360度相机)固定在安全帽上，也可以将全景相机固定在三角架上进行拍摄，具体的方式由工作人员根据具体需求进行选择，此处不作限定。准备好全景相机之后，工作人员登录手机App并连接全景相机，进入到对应的项目空间，自动获取到预先规划的拍照点数据(区域-栋-层-点)，选择某一层启动拍摄向导，然后根据App的语音提示和手机屏幕显示的拍照点地图位置完成拍照流程。从一个拍照点走到另一个拍照点的过程，App会自动使用全景录影记录视频数据。所有拍摄完毕后，App自动上传全景照片和视频到服务器120。

6)服务器120获得所有全景照片和视频后，通过运算得到每一张照片在拍照坐标系(即世界坐标系)的世界坐标(x,y,z)。具体为：把每段全景视频分拆成多张照片(取决于视频的FPS，一般为30或25)，每两张照片通过特征点算法找到相同的特征点，计算这些特征点的位移推算出两次拍照相机位置的变化得到相对坐标，最后以第一张照片为原点，计算出所有照片的世界坐标。本实施例中不直接使用全景照片进行计算的原因是：如果两张照片相隔太远则找不到足够的特征点进行运算，而客户关注的拍照点一般都相隔比较远，因此我们通过全景视频连接两个拍照点，把视频分拆成多张照片进行运算，这样参与运算的两张照片距离很短，有足够的特征点进行运算，并且更加精确。本实施例中不直接拍摄视频，而需要视频加上拍照的原因是通过视频导出的照片质量没有拍照的照片好，客户对照片的色彩还原和细致程度有较高的要求。

7)把拍照坐标系与CAD坐标系进行匹配，具体为通过n(n≥3)个对应点坐标(x,y)计算出拍照坐标系到CAD坐标系的转换矩阵，然后计算出所有拍照点在CAD中的坐标，再通过CAD到BIM的转换矩阵，计算得到拍照点在BIM中的地面坐标，最后根据拍照坐标系中的z值的单位为米，换算为BIM模型中的单位，最终得到每张照片在BIM模型中的坐标(x,y,z)，生成数字孪生模型；本实施例中不直接把拍照坐标系与BIM坐标系进行匹配的原因是在3D上进行操作始终对用户的要求较高，特别是这种对齐的工作，因此在2D上操作会降低很多门槛，让一个普通文员都可以胜任。这也是另一个需要引入CAD的原因。

8)工作人员通过数字孪生的模型，对资产进行测量。进入实景模式，通过CAD图纸上的标记点或树形结构的拍摄点自由切换到不同的地点和视角，也可以直接在全景图展示中漫游。如想对比设计数据，可以切换到混合模式或叠加模式来发现是否符合设计的规定。发现需要记录的问题可在全景图或BIM模型上创建标注点，并填写对应的表单进行记录。

9)复检人员重复(8)的操作，查缺补漏。

10)管理人员查看检测数据，使用纯虚拟模式，可直观看到整个建筑中所有监测数据的空间位置和状态，进入某个监测记录，可指派后续处理人员，相关人员将收到新任务提醒，形式可以是Email、短信、App推送等等。

11)后续处理人员收到新任务，通过数字孪生模型，得知具体需要处理的位置，到达需要的条件，处理需要的工具等等，为出发前做好更充分准备。

12)后续处理人员完成任务后，拍照记录完成情况并更新任务状态。管理人员马上收到任务更新通知，点击可查看具体完成情况。

13)随着时间的推移，周期性的拍摄让规划好的每个拍照点都存在多张全景照片，记录了资产从无到有的所有关键时刻。管理人员可根据需要查阅或对比不同时间点的数据，实现监测问题的追溯需求。

综上，本实施例至少具有下有益效果：

1)现场数据采集时，使用360全景照片拍摄代替普通照片拍摄。这样做不但记录了全方位的数据，而且只需稍作培训的普通人员即可完成拍摄。因此领域专家不需要到现场即能远程监测；

2)在现场数据上传到服务器120时，不单纯只是存储数据，而是把所有360全景照片和相关的CAD二维图纸以及BIM三维资产模型建立关联，产生数字孪生模型(虚拟和现实的三维空间完全重叠)；

3)在监测人员进行监测时，从现场监测改为远程监测，利用数字孪生模型，可以身在远处但如亲临其境地在现实世界漫游，可快速切换到资产不同位置的视角，360度查看该视角下的所有现场细节，另外借助数字孪生模型的设计数据，可以很方便把现实与设计进行对比，使用左右对比、混合对比和重叠对比三种模式，快速定位问题。最后通过在数字孪生模型上建立空间标记点，配合表单的填写进行记录。

4)管理人员在查看监测数据时，不再查看碎片化的列表数据，改为直接在数字孪生模型上更直观地看到所有监测数据的空间分布情况、后续跟进状态等，自由切换在现实模式和虚拟模式，现实模式中还可以对比不同拍摄时间的现场变化。

5)后续跟进人员在接到跟进任务时，不再通过平面照片来了解现场情况，改为在数字孪生模型上查看任务。这样能更充分了解现场情况，做好任务执行的前期准备。

实施例3：

如图1所示，在一个实施例中，还提供了一种基于数字孪生的资产AI识别与定位系统，所述系统包括：

采集模块121，用于获取360度实景图像数据；所述360度实景图像数据包括360度实景视频和360度实景照片；其中，所述360度实景照片由工作人员携带360度相机在资产现场各关注点处朝向固定方向拍摄得到，所述360度实景视频由工作人员携带360度相机在资产现场各关注点之间行走时拍摄得到；

对齐模块122，用于将360度实景照片与预设的三维资产模型进行对齐；

联动模块123，用于建立对齐好的360度实景照片与三维资产模型的联动关系，使得360度实景图像数据与三维资产模型的视角保持一致；

AI识别模块123，用于利用图像识别算法获取各360度实景图像中对应的多个资产名称并显示所述多个资产名称；

绑定模块125，用于响应于工作人员对多个资产名称中任一资产名称的触发操作，将所述任一资产名称与相应的360度实景图像绑定；

定位模块126，用于在建立对齐好的360度实景照片与三维资产模型的联动关系之后，响应于工作人员输入的资产名称，切换至与所述资产名称绑定的360度实景图像对应的视角，以便在同一视角下，将360度实景照片与三维资产模型进行比对，实现资产管理。

在一个实施例中，所述对齐模块122包括：

世界坐标计算单元，用于以拍摄第一张360度实景照片时相机的世界坐标为原点，根据360度实景图像数据计算出拍摄其他360度实景照片时相机对应的世界坐标；

第一映射关系确定单元，用于根据至少三组预设对应坐标点对确定世界坐标与三维资产模型的三维坐标之间的第一映射关系；

对齐单元，用于根据所述固定方向和所述第一映射关系确定在三维资产模型中看到与各张360度实景照片相同视角的相机位置和姿态，以实现各张360度实景照片与预设的三维资产模型进行对齐。

在一个实施例中，所述世界坐标计算单元，包括：

照片数据集生成子单元，用于将拍摄第一张360度实景照片时相机所对应的关注点和其相邻的关注点之间拍摄得到的360度实景视频拆分得到的多张视频帧照片和在这两个关注点拍摄得到的360度实景照片作为一组照片数据集；

世界坐标计算子单元，用于按照一组照片数据集中各照片的拍摄时间顺序，依次计算各照片对应的相机位置的变化，直至得到第一张360度实景照片相邻的关注点相机对应的世界坐标；

循环子单元，用于根据上述步骤A至步骤B，依次计算出拍摄其他360度实景照片时相机对应的世界坐标。

在一个实施例中，所述系统还包括360度相机，所述360度相机包括惯性测量单元，所述360度相机还包括：

照片拍摄切换模块111，用于在检测到按钮被触发时，从360度实景视频拍摄模式切换至360度实景照片拍摄模式；

盘点待机切换模块112，用于当在关注点处的360度相机在360度实景照片拍摄模式下朝向固定方向拍摄得到对应的360度实景照片后，检测到工作人员对手持盘点终端输入盘点开始信号时，从360度实景照片拍摄模式切换至盘点待机模式，并根据惯性测量单元提供的数据确定360度相机当前的第一姿态；

视频拍摄切换模块113，用于在检测到工作人员对手持盘点终端输入盘点结束信号后，根据惯性测量单元提供的数据检测到360度相机处于第一姿态时，从盘点待机模式切换至360度实景视频拍摄模式。

可以理解的是，本发明的系统实施例与实施例1中的方法实施例基于相同的发明构思，此处不再赘述。

图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于数字孪生的资产AI识别与定位方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于数字孪生的资产AI识别与定位方法。本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的基于数字孪生的资产AI识别与定位系统可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于数字孪生的资产AI识别与定位系统的各个程序模块，比如，图1所示的采集模块121、对齐模块122、联动模块123和比对模块124。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的基于数字孪生的资产AI识别与定位方法中的步骤。

例如，图7所示的计算机设备可以通过如图1所示的基于数字孪生的资产AI识别与定位系统中的采集模块121执行获360度实景图像数据的步骤。通过对齐模块122执行将360度实景照片与预设的三维资产模型进行对齐的步骤。通过联动模块123执行建立对齐好的360度实景照片与三维资产模型的联动关系，使得360度实景图像数据与三维资产模型的视角保持一致的步骤。通过AI识别模块124，执行利用图像识别算法获取各360度实景图像中对应的多个资产名称并显示所述多个资产名称的步骤。通过绑定模块125，执行响应于工作人员对多个资产名称中任一资产名称的触发操作，将所述任一资产名称与相应的360度实景图像绑定的步骤。通过定位模块126，执行在建立对齐好的360度实景照片与三维资产模型的联动关系之后，响应于工作人员输入的资产名称，切换至与所述资产名称绑定的360度实景图像对应的视角的步骤；以便在同一视角下，将360度实景照片与三维资产模型进行比对，实现资产管理。

在一个实施例中，提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行上述基于数字孪生的资产AI识别与定位方法的步骤。此处基于数字孪生的资产AI识别与定位方法的步骤可以是上述各个实施例的基于数字孪生的资产AI识别与定位方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于数字孪生的资产AI识别与定位方法的步骤。此处基于数字孪生的资产AI识别与定位方法的步骤可以是上述各个实施例的基于数字孪生的资产AI识别与定位方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRA)、存储器总线(Rambus)直接RAM(RDRA)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种基于数字孪生的资产AI识别与定位方法，其特征在于，所述方法包括：

获取360度实景图像数据；所述360度实景图像数据包括360度实景视频和360度实景照片；其中，所述360度实景照片由工作人员携带360度相机在资产现场各关注点处朝向固定方向拍摄得到，所述360度实景视频由工作人员携带360度相机在资产现场各关注点之间行走时拍摄得到；

将360度实景照片与预设的三维资产模型进行对齐；

建立对齐好的360度实景照片与三维资产模型的联动关系，使得360度实景图像数据与三维资产模型的视角保持一致；

利用图像识别算法获取各360度实景图像中对应的多个资产名称并显示所述多个资产名称；

响应于工作人员对多个资产名称中任一资产名称的触发操作，将所述任一资产名称与相应的360度实景图像绑定；

在建立对齐好的360度实景照片与三维资产模型的联动关系之后，响应于工作人员输入的资产名称，切换至与所述资产名称绑定的360度实景图像对应的视角，以便在同一视角下，将360度实景照片与三维资产模型进行比对，实现资产管理。

2.根据权利要求1所述的一种基于数字孪生的资产AI识别与定位方法，其特征在于，所述将360度实景照片与预设的三维资产模型进行对齐，包括：

以拍摄第一张360度实景照片时相机的世界坐标为原点，根据360度实景图像数据计算出拍摄其他360度实景照片时相机对应的世界坐标；

根据至少三组预设对应坐标点对确定世界坐标与三维资产模型的三维坐标之间的第一映射关系；

根据所述固定方向和所述第一映射关系确定在三维资产模型中看到与各张360度实景照片相同视角的相机位置和姿态，以实现各张360度实景照片与预设的三维资产模型进行对齐。

3.根据权利要求2所述的一种基于数字孪生的资产AI识别与定位方法，其特征在于，所述以拍摄第一张360度实景照片时相机的世界坐标为原点，根据360度实景图像数据计算出拍摄其他360度实景照片时相机对应的世界坐标，包括：

步骤A：将拍摄第一张360度实景照片时相机所对应的关注点和其相邻的关注点之间拍摄得到的360度实景视频拆分得到的多张视频帧照片和在这两个关注点拍摄得到的360度实景照片作为一组照片数据集；

步骤B：按照一组照片数据集中各照片的拍摄时间顺序，依次计算各照片对应的相机位置的变化，直至得到第一张360度实景照片相邻的关注点相机对应的世界坐标；

步骤C：根据上述步骤A至步骤B，依次计算出拍摄其他360度实景照片时相机对应的世界坐标。

4.根据权利要求1所述的一种基于数字孪生的资产AI识别与定位方法，其特征在于，在所述获取360度实景图像数据之前，所述方法还包括：

获取与预设的三维资产模型对应的二维CAD图纸；

将二维CAD图纸与三维资产模型进行坐标匹配，确定二维CAD图纸上任意坐标与三维资产模型中的地面三维坐标之间的第二映射关系；

在所述二维CAD图纸上标注出各所述关注点。

5.根据权利要求4所述的一种基于数字孪生的资产AI识别与定位方法，其特征在于，所述方法还包括：

将所述二维CAD图纸进行数据转换处理和存储，以便能够通过Web浏览器进行浏览；

将所述三维资产模型进行轻量化处理和存储，以便能够通过Web浏览器进行浏览。

6.根据权利要求1所述的一种基于数字孪生的资产AI识别与定位方法，其特征在于，所述360度相机包括惯性测量单元，所述方法还包括：

360度相机检测到按钮被触发时，从360度实景视频拍摄模式切换至360度实景照片拍摄模式；

当在关注点处的360度相机在360度实景照片拍摄模式下朝向固定方向拍摄得到对应的360度实景照片后，360度相机检测到工作人员对手持盘点终端输入盘点开始信号时，从360度实景照片拍摄模式切换至盘点待机模式，并根据惯性测量单元提供的数据确定360度相机当前的第一姿态；

360度相机检测到工作人员对手持盘点终端输入盘点结束信号后，根据惯性测量单元提供的数据检测到360度相机处于第一姿态时，从盘点待机模式切换至360度实景视频拍摄模式。

7.一种基于数字孪生的资产AI识别与定位系统，其特征在于，所述系统包括：

采集模块，用于获取360度实景图像数据；所述360度实景图像数据包括360度实景视频和360度实景照片；其中，所述360度实景照片由工作人员携带360度相机在资产现场各关注点处朝向固定方向拍摄得到，所述360度实景视频由工作人员携带360度相机在资产现场各关注点之间行走时拍摄得到；

对齐模块，用于将360度实景照片与预设的三维资产模型进行对齐；

联动模块，用于建立对齐好的360度实景照片与三维资产模型的联动关系，使得360度实景图像数据与三维资产模型的视角保持一致；

AI识别模块，用于利用图像识别算法获取各360度实景图像中对应的多个资产名称并显示所述多个资产名称；

绑定模块，用于响应于工作人员对多个资产名称中任一资产名称的触发操作，将所述任一资产名称与相应的360度实景图像绑定；

定位模块，用于在建立对齐好的360度实景照片与三维资产模型的联动关系之后，响应于工作人员输入的资产名称，切换至与所述资产名称绑定的360度实景图像对应的视角，以便在同一视角下，将360度实景照片与三维资产模型进行比对，实现资产管理。

8.根据权利要求7所述的一种基于数字孪生的资产AI识别与定位系统，其特征在于，所述对齐模块包括：

世界坐标计算单元，用于以拍摄第一张360度实景照片时相机的世界坐标为原点，根据360度实景图像数据计算出拍摄其他360度实景照片时相机对应的世界坐标；

第一映射关系确定单元，用于根据至少三组预设对应坐标点对确定世界坐标与三维资产模型的三维坐标之间的第一映射关系；

对齐单元，用于根据所述固定方向和所述第一映射关系确定在三维资产模型中看到与各张360度实景照片相同视角的相机位置和姿态，以实现各张360度实景照片与预设的三维资产模型进行对齐。

9.根据权利要求8所述的一种基于数字孪生的资产AI识别与定位系统，其特征在于，所述世界坐标计算单元，包括：

照片数据集生成子单元，用于将拍摄第一张360度实景照片时相机所对应的关注点和其相邻的关注点之间拍摄得到的360度实景视频拆分得到的多张视频帧照片和在这两个关注点拍摄得到的360度实景照片作为一组照片数据集；

世界坐标计算子单元，用于按照一组照片数据集中各照片的拍摄时间顺序，依次计算各照片对应的相机位置的变化，直至得到第一张360度实景照片相邻的关注点相机对应的世界坐标；

循环子单元，用于根据上述步骤A至步骤B，依次计算出拍摄其他360度实景照片时相机对应的世界坐标。

10.根据权利要求7所述的一种基于数字孪生的资产AI识别与定位系统，其特征在于，所述系统还包括360度相机，所述360度相机包括惯性测量单元，所述360度相机还包括：

照片拍摄切换模块，用于在检测到按钮被触发时，从360度实景视频拍摄模式切换至360度实景照片拍摄模式；

盘点待机切换模块，用于当在关注点处的360度相机在360度实景照片拍摄模式下朝向固定方向拍摄得到对应的360度实景照片后，检测到工作人员对手持盘点终端输入盘点开始信号时，从360度实景照片拍摄模式切换至盘点待机模式，并根据惯性测量单元提供的数据确定360度相机当前的第一姿态；

视频拍摄切换模块，用于在检测到工作人员对手持盘点终端输入盘点结束信号后，根据惯性测量单元提供的数据检测到360度相机处于第一姿态时，从盘点待机模式切换至360度实景视频拍摄模式。

Images