CN111083438B

CN111083438B - 基于视频融合的无人巡检方法、系统、装置和存储介质

Info

Publication number: CN111083438B
Application number: CN201911225815.9A
Authority: CN
Inventors: 李新福
Original assignee: Guangdong Kangyun Technology Co ltd
Current assignee: Guangdong Kangyun Technology Co ltd
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2021-05-25
Anticipated expiration: 2039-12-04
Also published as: CN111083438A

Abstract

本发明公开了一种基于视频融合的无人巡检方法、系统、装置和存储介质，所述方法包括建立场景的三维模型，采集场景的固定视频数据和/或移动视频数据并通过5G进行上传，采用纹理映射技术，将固定视频数据和/或移动视频数据与三维模型进行融合，播放融合所得的三维画面，以及根据三维画面生成巡检报告等步骤。服务器通过使用固定采集模块和巡检机器人模块等自动设备来采集固定视频数据和移动视频数据，并将其融合到场景的三维模型中，所得的三维画面可以直观地显示出场景全景以及设备和设备部件等局部细节的视觉效果，使得分析人员无需到达场景现场也能够身临其境，获知场景的生产情况，达到良好的巡视效果。本发明广泛应用于巡检技术领域。

Description

基于视频融合的无人巡检方法、系统、装置和存储介质

技术领域

本发明涉及巡检技术领域，尤其是一种基于视频融合的无人巡检方法、系统、装置和存储介质。

背景技术

在工厂、建筑工地等场景，为了保证生产质量，需要进行巡检。现有技术是安排专门人员进行人工巡检，并对场景现场情况进行记录。但是，人工巡检的出错率高、覆盖率低，而且由于人工深度参与，其可信度有时也未能令人满意。一些现有技术让巡检人员携带录像机等设备来记录场景现场情况，然后将录制的资料交由另外的分析人员进行分析评价，这虽然可以降低出错率，但是存在时效性低的特点，而且分析人员进行分析评价所依赖的资料是由巡检人员提供的，仍然存在覆盖率和可信度等方面的缺点。

发明内容

针对上述至少一个技术问题，本发明的目的在于提供一种基于视频融合的无人巡检方法、系统、装置和存储介质。

一方面，本发明实施例包括一种基于视频融合的无人巡检方法，包括以下步骤：

建立场景的三维模型；

采集场景的固定视频数据和/或移动视频数据并通过5G进行上传；所述固定视频数据和移动视频数据是由摄像头对准预设的点、线、面或区域拍摄得到的，或者是由摄像头进行360°全景拍摄得到的；

采用纹理映射技术，将所述固定视频数据和/或移动视频数据与所述三维模型进行融合；

播放融合所得的三维画面；

根据所述三维画面生成巡检报告。

进一步地，所述建立场景的三维模型这一步骤，具体包括：

持续扫描场景的三维数据；

对持续扫描所得的三维数据按照扫描时间轴进行记录；

计算出各时刻扫描所得的三维数据的质量评分；

根据各所述质量评分，选择出最优的三维数据；

根据所述最优的三维数据生成并存储三维模型。

进一步地，所述采集场景的固定视频数据和/或移动视频数据并通过5G进行上传这一步骤，具体包括：

确定所要采集的全景视频的视角范围；

采集场景的固定视频数据，计算出所述固定视频数据覆盖的视角范围；

根据所述全景视频的视角范围和所述固定视频数据的视角范围，计算出所要采集的移动视频数据的视角范围；

按照计算所得的视角范围采集移动视频数据。

进一步地，所述采用纹理映射技术，将所述固定视频数据和/或移动视频数据与所述三维模型进行融合这一步骤，具体包括：

对固定视频数据和移动视频数据进行相互的几何校正；

将经过校正的所述固定视频数据和移动视频数据与所述三维模型进行拼接融合。

进一步地，所述对固定视频数据和移动视频数据进行相互的几何校正这一步骤，具体包括：

获取所述固定视频数据的第一几何校正结果；

将所述第一几何校正结果与所述移动视频数据进行拼接融合，计算第一拼接误差；

获取所述移动视频数据的第二几何校正结果；

将所述第二几何校正结果与所述固定视频数据进行拼接融合，计算第二拼接误差；

在所述第一拼接误差小于所述第二拼接误差的情况下，以所述第一几何校正结果作为对所述固定视频数据的最终几何校正结果，以所述移动视频数据与所述第二几何校正结果的平均值作为对所述移动视频数据的最终几何校正结果；

在所述第二拼接误差小于所述第一拼接误差的情况下，以所述固定视频数据与所述第一几何校正结果的平均值作为对所述固定视频数据的最终几何校正结果，以所述第二几何校正结果作为对所述移动视频数据的最终几何校正结果。

进一步地，所述播放融合所得的三维画面这一步骤，具体包括：

生成多个播放窗口；

将所述三维画面分解成多个部分，各部分分别与各所述固定视频数据和移动视频数据对应；

将所述三维画面的各部分分别在一个所述播放窗口中进行播放。

进一步地，所述建立场景的三维模型这一步骤与所述采集场景的固定视频数据和/或移动视频数据并通过5G进行上传这一步骤是同步进行的。

另一方面，本发明实施例还包括一种基于视频融合的无人巡检系统，包括：

固定采集模块，用于采集场景的固定视频数据；所述固定视频数据和移动视频数据是由摄像头对准预设的点、线、面或区域拍摄得到的，或者是由摄像头进行360°全景拍摄得到的；

巡检机器人模块，用于采集场景的移动视频数据；

处理模块，通过5G与分别所述固定采集模块和巡检机器人模块连接，用于建立场景的三维模型，采用纹理映射技术将所述固定视频数据和/或移动视频数据与所述三维模型进行融合，以及播放融合所得的三维画面。

另一方面，本发明实施例还包括一种基于视频融合的无人巡检装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现实施例所述的无人巡检方法。

另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行实施例所述的无人巡检方法

本发明的有益效果是：通过使用固定采集模块和巡检机器人模块等自动设备来采集固定视频数据和移动视频数据，并将其融合到场景的三维模型中，所得的三维画面可以直观地显示出场景全景以及设备和设备部件等局部细节的视觉效果，向观看三维画面的分析人员提供三维沉浸式漫游体验，使得分析人员无需到达场景现场也能够身临其境，获知场景的现场情况，达到良好的巡视效果；避免人工到达场景进行巡检的过程中，由于人工深度参与带来的出错率高、覆盖率低以及可信度低等情况发生，从而提高巡检质量；所述三维画面可以实时播放，也可以存储起来之后进行回放，可以实现实时监测以及事后追踪和调查等功能。

附图说明

图1为实施例中所述无人巡检方法的流程图。

具体实施方式

参照图1，本发明实施例提供了一种基于视频融合的无人巡检方法，包括以下步骤S1-S5：

S1.建立场景的三维模型；

S2.采集场景的固定视频数据和/或移动视频数据并通过5G进行上传；所述固定视频数据和移动视频数据是由摄像头对准预设的点、线、面或区域拍摄得到的，或者是由摄像头进行360°全景拍摄得到的；

S3.采用纹理映射技术，将所述固定视频数据和/或移动视频数据与所述三维模型进行融合；

S4.播放融合所得的三维画面；

S5.根据所述三维画面生成巡检报告。

执行步骤S1时，对场景进行扫描，获得三维数据，并利用三维数据生成三维模型。

执行步骤S2时，使用一个或多个固定采集模块来采集场景的固定视频数据，这些固定采集模块分别固定在场景某处，它们所采集的固定视频数据具有固定的视角范围；使用一个或多个巡检机器人模块来采集场景的移动视频数据，这些巡检机器人模块可在场景不同地方移动，每个巡检机器人模块所采集的移动视频数据的视角范围是可变的。当使用足够多的固定采集模块和巡检机器人模块，或者合理设计巡检机器人的巡检路线以使其覆盖率达到较高水平，可以使得拍摄所得的固定视频数据和移动视频数据覆盖整个场景。所拍摄的固定视频数据和移动视频数据可以是户外的或户内的，具体可以是针对工厂流水线全景、流水线上的某个生产设备或者生产设备上的某个仪表等进行采集。

固定视频数据和移动视频数据对准预设的点、线、面或区域决定了其视野范围。例如固定视频数据是对准某个区域时，如果该区域内有一条流水线，则其视野内则呈现出这个流水线的工作景象；固定视频数据是对准某个面时，如果该区域内有一个仪器设备，则其视野内则呈现出这个仪器设备的整体工作景象；固定视频数据是对准某条线时，如果该区域内有一个仪器设备，并且所对准的线是这个仪器设备的刻度，则其视野内则呈现出这个仪器设备的指针读数；固定视频数据是对准某个点时，如果该区域内有一个仪器设备，并且所对准的点是一个指示灯，则其视野内则呈现出这个指示灯的指示情况。

摄像头还可以通过持续进行360°旋转的方式，以拍摄全景的固定视频数据和移动视频数据。这样，固定视频数据和移动视频数据所展示的内容中，其视野就不局限于某个点、线、面或区域，用户可以选择切换固定视频数据和移动视频数据的展示视野，从而观看其中某个点、线、面或区域的内容。

通过采集固定视频数据和移动视频数据，可以详尽地展示场景的内容，将场景的细节收揽其中，根据需要，对固定视频数据和移动视频数据所展示的全景或具体的点、线、面或区域进行切换，据此生成的巡检报告可分别从宏观和微观的角度来展示出场景的工作环境，以及仪器设备的工作情况。

固定采集模块和巡检机器人模块通过5G等方式，将采集得到的固定视频数据和移动视频数据上传到服务器中。

所述步骤S1与步骤S2既可以是同步进行的，也就是每次执行步骤S2前都先执行步骤S1以获得三维模型，本次执行步骤S2时所得的固定视频数据和移动视频数据与本次执行步骤S1时所得的三维模型配套，以供步骤S3进行处理，这样，最后所得的三维画面能够反映出场景的实时三维模型；也可以是先执行步骤S1获得三维模型，并且只执行一次步骤S1，然后在每次执行步骤S2和步骤S3时都使用这一次执行步骤S1所得的三维模型，这样的好处是利用了场景的三维模型一般不会发生改变的特点，避免每次执行无人巡检都获取新的三维模型，从而减少数据处理量，减少对计算机资源的耗用，提高无人巡检的效率，降低无人巡检的成本。

由服务器执行步骤S3。执行步骤S3时，使用Video Texture纹理映射技术将所述固定视频数据和/或移动视频数据融合到所述三维模型中，得到三维画面。服务器将三维画面设定为可读状态，分析人员可以使用投影仪等装置，从服务器中读取出三维画面进行播放，然后根据三维画面中所展示的工厂等场景的状况，对生产情况进行分析和评价，实现巡视的效果。

执行步骤S5，利用图像识别技术对三维画面进行分析，识别出三维画面所包括的仪器设备工作状态等内容，从而输出巡检报告。所述巡检报告记录有场景内各对象的基础信息和工作状态信息，所述基础信息包括设备的名称、型号及工作阈值参数等，所述工作状态信息包括工作时的状态信息或故障信息，比如上电信息和温度信息等。

所述基于视频融合的无人巡检方法具有以下优点：

通过使用固定采集模块和巡检机器人模块等自动设备来采集固定视频数据和移动视频数据，并将其融合到场景的三维模型中，所得的三维画面可以直观地显示出场景全景以及设备和设备部件等局部细节的视觉效果，所得到的三维画面还可以通过VR等技术进行展示，向观看三维画面的分析人员提供三维沉浸式漫游体验，使得分析人员无需到达场景现场也能够身临其境，获知场景的生产情况，达到良好的巡视效果；

避免人工到达场景进行巡检的过程中，由于人工深度参与带来的出错率高、覆盖率低以及可信度低等情况发生，从而提高巡检质量；

所述三维画面可以实时播放，也可以存储起来之后进行回放，可以实现实时监测以及事后追踪和调查等功能。

进一步作为优选的实施方式，所述步骤S1由以下步骤S101-S105组成：

S101.持续扫描场景的三维数据；

S102.对持续扫描所得的三维数据按照扫描时间轴进行记录；

S103.计算出各时刻扫描所得的三维数据的质量评分；

S104.根据各所述质量评分，选择出最优的三维数据；

S105.根据所述最优的三维数据生成并存储三维模型。

步骤S102中，扫描仪在持续的一段时间内的不同时刻采集多组三维数据，按照扫描采集的时点所形成的时间轴，将这些三维数据记录下来。

步骤S103中，使用长度差值、距离偏移、角度偏移等基元线评价指标，或者边数累积差值、面积差值基元面评价指标中的一个或多个来作为三维数据的质量评分，从而对各时刻扫描所得的三维数据进行质量评价。根据质量评分，可以各所述三维数据中选择出最优的三维数据，从而生成出三维模型并进行存储。

通过执行步骤S101-S105，可以提高三维模型的质量，从而提高巡检工作的质量。

进一步作为优选的实施方式，所述步骤S2由以下步骤S201-S204组成：

S201.确定所要采集的全景视频的视角范围；

S202.采集场景的固定视频数据，计算出所述固定视频数据覆盖的视角范围；

S203.根据所述全景视频的视角范围和所述固定视频数据的视角范围，计算出所要采集的移动视频数据的视角范围；具体地，首先分析所述全景视频的视角范围和所述固定视频数据的视角范围的重合部分，全景视频中的视角范围中未重合部分就是所要采集的移动视频数据的视角范围；

S204.按照计算所得的视角范围采集移动视频数据；具体地，根据所要采集的移动视频数据的视角范围，控制巡检机器人模块移动到相应位置进行移动视频数据的采集。

通过执行步骤S201-S204，可以使得固定视频数据和移动视频数据组合起来能够覆盖场景的全景，从而实现无缝的巡检。

进一步作为优选的实施方式，所述步骤S3由以下步骤S301-S302组成：

S301.对固定视频数据和移动视频数据进行相互的几何校正；

S302.将经过校正的所述固定视频数据和移动视频数据与所述三维模型进行拼接融合；

其中所述步骤S301由以下步骤S30101-S30106组成：

S30101.获取所述固定视频数据的第一几何校正结果；

S30102.将所述第一几何校正结果与所述移动视频数据进行拼接融合，计算第一拼接误差；

S30103.获取所述移动视频数据的第二几何校正结果；

S30104.将所述第二几何校正结果与所述固定视频数据进行拼接融合，计算第二拼接误差；

S30105.在所述第一拼接误差小于所述第二拼接误差的情况下，以所述第一几何校正结果作为对所述固定视频数据的最终几何校正结果，以所述移动视频数据与所述第二几何校正结果的平均值作为对所述移动视频数据的最终几何校正结果；

S30106.在所述第二拼接误差小于所述第一拼接误差的情况下，以所述固定视频数据与所述第一几何校正结果的平均值作为对所述固定视频数据的最终几何校正结果，以所述第二几何校正结果作为对所述移动视频数据的最终几何校正结果。

首先，使用投影变换和灰度重采样等几何校正算法分别对固定视频数据和移动视频数据进行初步的校正处理，其中针对固定视频数据进行校正处理所得的结果为第一几何校正结果，针对移动视频数据进行校正处理所得的结果为第二几何校正结果。

步骤S30102中，使用尺度不变特征变换(SIFT)的图像拼接算法，将所述第一几何校正结果与所述移动视频数据进行拼接融合，获取该算法所输出的第一拼接误差；步骤S30104中，同样是使用尺度不变特征变换的图像拼接算法，将所述第二几何校正结果与所述固定视频数据进行拼接融合，计算第二拼接误差。

将所述第一拼接误差和所述第二拼接误差进行比较，一般会出现两种情况，即所述第一拼接误差小于所述第二拼接误差，或者所述第二拼接误差小于所述第一拼接误差。

在所述第一拼接误差小于所述第二拼接误差的情况下，执行步骤S30105，以所述第一几何校正结果作为对所述固定视频数据的最终几何校正结果，以所述移动视频数据与所述第二几何校正结果的平均值作为对所述移动视频数据的最终几何校正结果，然后输出所述固定视频数据的最终几何校正结果，以及所述移动视频数据的最终几何校正结果，供步骤S302进行处理。

在所述第二拼接误差小于所述第一拼接误差的情况下，执行步骤S30106，以所述固定视频数据与所述第一几何校正结果的平均值作为对所述固定视频数据的最终几何校正结果，以所述第二几何校正结果作为对所述移动视频数据的最终几何校正结果，然后输出所述固定视频数据的最终几何校正结果，以及所述移动视频数据的最终几何校正结果，供步骤S302进行处理。步骤S302中，可以仍然选择使用尺度不变特征变换的图像拼接算法来进行拼接融合，或者可以选择其他算法来进行拼接融合。

步骤S30101-S30106的原理是：所计算出的第一拼接误差反映出第一几何校正结果与移动视频数据的拼接融合质量，所计算出的第二拼接误差反映出第二几何校正结果与固定视频数据的拼接融合质量，进一步反映出第一几何校正结果和第二几何校正结果本身的校正质量。考虑第一拼接误差和第二拼接误差当中的最小者，可以从第一几何校正结果和第二几何校正结果中选择出校正质量最高的那一个作为最终校正结果，而对于校正质量较低的那一个，则将其与校正前的固定视频数据或移动视频数据进行平均作为最终校正结果，则可以减轻拼接误差带来的影响，从而提高步骤S302中进行拼接融合的精度，改善最终所得的三维画面的视觉效果。

进一步作为优选的实施方式，所述步骤S4由以下步骤S401-S403组成：

S401.生成多个播放窗口；

S402.将所述三维画面分解成多个部分，各部分分别与各所述固定视频数据和移动视频数据对应；

S403将所述三维画面的各部分分别在一个所述播放窗口中进行播放。

当使用单个屏幕来播放三维画面时，可以将该屏幕分为多个部分，每个部分分别作为一个播放窗口。当使用多个屏幕来播放三维画面时，每个屏幕分别作为一个播放窗口。

在执行步骤S401-S403之后，每个播放窗口所播放的三维画面分别来自一个固定视频数据或一个移动视频数据，这方便在执行巡检工作时，对通过巡检发现的问题进行及时的定位和追踪，从而快速确定哪个生产线、哪个设备或者设备上的哪个部件存在问题，提高巡检的效率和质量。

所述无人巡检方法可以使用无人巡检系统来执行。所述无人巡检系统包括：

固定采集模块，用于采集场景的固定视频数据；

巡检机器人模块，用于采集场景的移动视频数据；

所述固定采集模块和巡检机器人模块上都设有摄像单元和通信单元。所述处理模块是服务器，它预存了场景的三维模型，并且被写入了用于执行步骤S1-S4的计算机程序，因此处理模块可以从固定采集模块和巡检机器人模块处获取固定视频数据和移动视频数据，从而将固定视频数据和移动视频数据拼接融合到场景的三维模型中，输出或显示三维画面。

所述无人巡检方法可以使用无人巡检装置来执行。所述无人巡检装置包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述无人巡检方法。

可以编写用于执行所述无人巡检方法各步骤的计算机程序，并将计算机程序存储到存储介质中。当存储介质中的计算机程序被读取出来并执行时，便可以执行所述无人巡检方法。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims

1.一种基于视频融合的无人巡检方法，其特征在于，包括以下步骤：

建立场景的三维模型；

播放融合所得的三维画面；

根据所述三维画面生成巡检报告；

将所述固定视频数据和/或移动视频数据与所述三维模型进行融合这一步骤，具体包括：

对固定视频数据和移动视频数据进行相互的几何校正；

将经过校正的所述固定视频数据和移动视频数据与所述三维模型进行拼接融合；

所述对固定视频数据和移动视频数据进行相互的几何校正这一步骤，具体包括：

获取所述固定视频数据的第一几何校正结果；

获取所述移动视频数据的第二几何校正结果；

2.根据权利要求1所述的无人巡检方法，其特征在于，所述建立场景的三维模型这一步骤，具体包括：

持续扫描场景的三维数据；

对持续扫描所得的三维数据按照扫描时间轴进行记录；

计算出各时刻扫描所得的三维数据的质量评分；

根据各所述质量评分，选择出最优的三维数据；

根据所述最优的三维数据生成并存储三维模型。

3.根据权利要求1所述的无人巡检方法，其特征在于，所述采集场景的固定视频数据和/或移动视频数据并通过5G进行上传这一步骤，具体包括：

确定所要采集的全景视频的视角范围；

按照计算所得的视角范围采集移动视频数据。

4.根据权利要求1所述的无人巡检方法，其特征在于，所述播放融合所得的三维画面这一步骤，具体包括：

生成多个播放窗口；

5.根据权利要求1-4任一项所述的无人巡检方法，其特征在于，所述建立场景的三维模型这一步骤与所述采集场景的固定视频数据和/或移动视频数据并通过5G进行上传这一步骤是同步进行的。

6.一种基于视频融合的无人巡检系统，其特征在于，包括：

巡检机器人模块，用于采集场景的移动视频数据；

处理模块，通过5G与分别所述固定采集模块和巡检机器人模块连接，用于建立场景的三维模型，采用纹理映射技术将所述固定视频数据和/或移动视频数据与所述三维模型进行融合，以及播放融合所得的三维画面；

将所述固定视频数据和/或移动视频数据与所述三维模型进行融合，具体包括：

对固定视频数据和移动视频数据进行相互的几何校正；

所述对固定视频数据和移动视频数据进行相互的几何校正，具体包括：

获取所述固定视频数据的第一几何校正结果；

获取所述移动视频数据的第二几何校正结果；

7.一种基于视频融合的无人巡检装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-5任一项所述的无人巡检方法。

8.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-5任一项所述的无人巡检方法。