CN117425000A - 基于全景摄像的沉浸式视频巡检监测系统 - Google Patents

Abstract

本发明属于巡检领域，公开了基于全景摄像的沉浸式视频巡检监测系统，包括全景视频生成模块，全景视频生成模块包括加速度传感器、全景相机和上位机；加速度传感器用于获取全景相机对巡检区域进行拍摄时的加速度数据；全景相机用于对巡检区域进行拍摄，获得多个拍摄角度的巡检视频；上位机用于基于加速度数据对各个拍摄角度的巡检视频进行拼接，得到全景视频。本发明采用全景摄像的技术进行巡检时，并不是像现有技术那样，采用单一的拼接算法来生成全景视频帧，而是通过基于全景相机的加速度数据来选择相应的全景视频帧的生成方案，这样，便能够避免对所有的像素点进行特征匹配，从而有效地提高了获得巡检的全景视频的效率。

Description

基于全景摄像的沉浸式视频巡检监测系统

技术领域

本发明涉及巡检领域，尤其涉及基于全景摄像的沉浸式视频巡检监测系统。

背景技术

全景视频巡检是一种利用全景摄像机采集视频，能够全面记录和显示巡检现场情况的方法。该方法通过将多个摄像头的视角整合在一起，从而提供360度全景图像，使巡检人员能够从不同的方向和角度观察和评估巡检现场情况。

全景相机一般包括多个摄像头，而为了提高拍摄的质量，通常会为摄像头设置相应的机械防抖装置，这也就使得，全景相机发生抖动时，不同方向的摄像头的主光轴直线的相对位置关系相较于静止状态而言，发生了变化。因此，对全景相机拍摄所得到的视频进行拼接时，不能够仅依据事先确定好的映射关系来直接将视频画面中的像素点填充至全景画面模板中。因为抖动时，全景相机的各个镜头之间的位置关系发生了变化。因此，现有的全景摄像的巡检技术(例如公开号为CN111861866A的专利)一般都是需要对进行拼接的两个镜头的画面进行特征匹配、图像配准等步骤才能够得到最终的全景画面。

显然，这种处理方式，由于需要对画面中所有的像素点特征匹配，导致最终形成全景画面所需要消耗的时间过长，因此如何提高采用全景摄像的方式进行巡检时的获得全景视频的效率便成为需要解决的技术问题。

发明内容

本发明的目的在于公开基于全景摄像的沉浸式视频巡检监测系统，解决背景技术中提出的问题。

为了达到上述目的，本发明提供如下技术方案：

本发明提供了基于全景摄像的沉浸式视频巡检监测系统，包括全景视频生成模块，全景视频生成模块包括加速度传感器、全景相机和上位机；

加速度传感器用于获取全景相机对巡检区域进行拍摄时的加速度数据；

全景相机用于对巡检区域进行拍摄，获得多个拍摄角度的巡检视频；

上位机用于基于加速度数据对各个拍摄角度的巡检视频进行拼接，得到全景视频，包括：

获取各个巡检视频中属于拍摄时刻t的视频帧，t∈[tstart,tend]，tstart和tend分别表示巡检视频的起始时刻和结束时刻；

对所有的视频帧进行拼接，得到拍摄时刻为t的全景视频帧；

由所有拍摄时刻的全景视频帧组成全景巡检视频；

其中，对所有的视频帧进行拼接，得到拍摄时刻为t的全景视频帧，包括：

基于拍摄时刻t的加速度数据判断全景相机是否发生抖动，若是，则选择预设的第一生成方案获取t时刻的全景视频帧，若否，则选择预设的第二生成方案获取t时刻的全景视频帧。

可选的，还包括全景视频展示模块；

全景视频展示模块用于向巡检人员显示全景巡检视频。

可选的，加速度数据包括x轴加速度、y轴加速度和z轴加速度。

可选的，拍摄时刻t的加速度数据判断全景相机是否发生抖动，包括：

判断拍摄时刻t的加速度数据是否满足如下任意一个不等式，若是，则表示全景相机发生抖动：

不等式一：accel_x,t≥accel_thre；

不等式二：accel_y,t≥accel_thre；

不等式三：accel_z,t≥accel_thre；

其中，accel_x,t、accel_y,t、accel_z,t分别表示拍摄时刻t的x轴加速度、y轴加速度和z轴加速度，accel_thre表示预设的加速度阈值。

可选的，全景相机的任意两个相邻的摄像头所拍摄的画面之间的重叠率大于预设的重叠率阈值。

可选的，预设的第二生成方案包括：

获取全景视频帧模板；

获取各个拍摄角度所得到的视频帧中的像素点的位置映射关系；

基于位置映射关系，将各个拍摄角度所得到的视频帧中的像素点填入到所述全景视频帧模板中，得到全景视频帧：

对于全景视频帧模板中的像素点a，根据位置映射关系判断像素点a在所有的视频帧中所对应的像素点的数量是否为1，若是，则直接将视频帧中对应的像素点的像素值填充到全景视频帧模板中，若否，则获取像素点a在所有的视频帧中所对应的像素点的集合b，使用加权融合算法对集合b进行计算，得到像素点a的像素值。

可选的，使用加权融合算法对集合b进行计算，得到像素点a的像素值，包括：

使用如下公式计算像素点a的像素值：

pixel_a表示像素点a的像素值，num_b表示集合b中的像素点的数量，pixel_i表示集合b中的像素点i的像素值。

可选的，预设的第一生成方案包括：

第一步，将所有的拍摄角度的视频帧保存到视频帧集合；

第二步，从视频帧集合中随机选择一张视频帧作为参考图像，从视频帧集合中任意选择一张与参考图像存在重叠区域的视频帧作为待配准图像，将参考图像与待配准图像从视频帧集合中删除；

第三步，基于全景相机在参考图像的拍摄时刻的加速度确定参考图像与待配准图像中的特征点提取区域；

第四步，对特征点提取区域进行特征点的提取与匹配；

第五步，基于匹配结果对参考图像与待配准图像进行拼接处理，得到拼接图像；

第六步，判断视频帧集合中是否依然存在视频帧，若是，则将拼接图像作为新的参考图像，进入第二步；若否，则将得到的拼接图像作为最终的全景视频帧。

有益效果：

本发明采用全景摄像的技术进行巡检时，并不是像现有技术那样，采用单一的拼接算法来生成全景视频帧，而是通过基于全景相机的加速度数据来选择相应的全景视频帧的生成方案，这样，便能够避免对所有的像素点进行特征匹配，从而有效地提高了获得巡检的全景视频的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于全景摄像的沉浸式视频巡检监测系统的一种示意图。

图2为本发明的基于全景摄像的沉浸式视频巡检监测系统的另一种示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示的一种实施例，本发明提供了基于全景摄像的沉浸式视频巡检监测系统，包括全景视频生成模块，全景视频生成模块包括加速度传感器、全景相机和上位机；

加速度传感器用于获取全景相机对巡检区域进行拍摄时的加速度数据；

全景相机用于对巡检区域进行拍摄，获得多个拍摄角度的巡检视频；

上位机用于基于加速度数据对各个拍摄角度的巡检视频进行拼接，得到全景视频，包括：

获取各个巡检视频中属于拍摄时刻t的视频帧，t∈[tstart,tend]，tstart和tend分别表示巡检视频的起始时刻和结束时刻；

对所有的视频帧进行拼接，得到拍摄时刻为t的全景视频帧；

由所有拍摄时刻的全景视频帧组成全景巡检视频；

其中，对所有的视频帧进行拼接，得到拍摄时刻为t的全景视频帧，包括：

基于拍摄时刻t的加速度数据判断全景相机是否发生抖动，若是，则选择预设的第一生成方案获取t时刻的全景视频帧，若否，则选择预设的第二生成方案获取t时刻的全景视频帧。

在上述技术方案中，本发明基于全景相机的加速度数据来选择相应的全景视频帧的生成方案，避免了对所有的像素点进行特征匹配，从而有效地提高了获得巡检的全景视频的效率。

示例性的，若全景相机具有4个摄像头，当任意一个摄像头朝向正北方向时，另外的3个摄像头则分别朝向正东、正南、正西方向。也就是相邻的两个摄像头之间的拍摄方向所形成的角度为90度。

进一步的，加速度传感器既可以是全景相机内置的加速度传感器，也可以是外置的，处于全景相机的外部且与全景相机固定连接的加速度传感器。

可选的，如图2所示，还包括全景视频展示模块；

全景视频展示模块用于向巡检人员显示全景巡检视频。

为了获得沉浸式的巡检体验，全景视频展示模块可以是虚拟现实头盔。

进一步的，全景视频展示模块还可以是各种电子设备的显示屏。这里的电子设备包括电脑、平板、智能手机等。

可选的，加速度数据包括x轴加速度、y轴加速度和z轴加速度。

进一步的，加速度传感器会记录下同一时刻的各个坐标轴的加速度。

可选的，拍摄时刻t的加速度数据判断全景相机是否发生抖动，包括：

判断拍摄时刻t的加速度数据是否满足如下任意一个不等式，若是，则表示全景相机发生抖动：

不等式一：accel_x,t≥accel_thre；

不等式二：accel_y,t≥accel_thre；

不等式三：accel_z,t≥accel_thre；

其中，accel_x,t、accel_y,t、accel_z,t分别表示拍摄时刻t的x轴加速度、y轴加速度和z轴加速度，accel_thre表示预设的加速度阈值。

预设的加速度阈值可以是1m/s²。

可选的，全景相机的任意两个相邻的摄像头所拍摄的画面之间的重叠率大于预设的重叠率阈值。

这里的相邻指的是拍摄角度相邻，例如，若摄像头camera1、camera2、camera3、camera4沿着水平方向均匀分布，则拍摄角度为分别为0°、90°、180°、270°。则camera1分别与camera2、camera4相邻，camera2分别与camera1、camera3相邻，以此类推。

为了能够进行图像拼接，相邻的摄像头所拍摄的画面之间存在重叠。

进一步的，重叠率阈值为30％。

可选的，预设的第二生成方案包括：

获取全景视频帧模板；

获取各个拍摄角度所得到的视频帧中的像素点的位置映射关系；

基于位置映射关系，将各个拍摄角度所得到的视频帧中的像素点填入到所述全景视频帧模板中，得到全景视频帧：

对于全景视频帧模板中的像素点a，根据位置映射关系判断像素点a在所有的视频帧中所对应的像素点的数量是否为1，若是，则直接将视频帧中对应的像素点的像素值填充到全景视频帧模板中，若否，则获取像素点a在所有的视频帧中所对应的像素点的集合b，使用加权融合算法对集合b进行计算，得到像素点a的像素值。

示例性的，对于全景视频帧模板中的像素点a，若在视频帧e和视频帧f中均有与像素点a表示同一事物的像素点，则需要将视频帧e和视频帧f中与与像素点a表示同一事物的像素点保存到集合b。

全景视频帧模板为一张分辨率与全景视频帧相同的，像素点全都是白色的图像。

位置映射关系指的是视频帧的像素点在全景视频帧模板中所对应的像素点。

位置映射关系的获取过程为：

使用全景相机对任意一个巡检场景进行拍摄，得到多张不同的拍摄角度的图像；

采用手动拼接的方式对所有获得的图像进行拼接，得到映射图像；

分别确定映射图像中的每个像素点在所述不同的拍摄角度的图像中所对应的像素点，从而得到位置映射关系。由于全景相机的相邻的镜头之间存在重叠的画面，因此，在映射图像中，同一个位置的像素点可能对应着不止一张图像中的像素点。

在手动拼接时，将属于同一个物体的同一个位置的像素点进行重叠，从而得到拼接的结果。

进一步的，在进行手动拼接之前，还可以对图像进行畸变矫正，从而能够更加准确地手动拼接得到的映射图像。

进一步的，像素值是随着颜色模型的变化而变化的，例如，若当前的视频帧的颜色模型为RGB模型，则像素值包括了红色通道值、蓝色通道值和绿色通道值。

可选的，使用加权融合算法对集合b进行计算，得到像素点a的像素值，包括：

使用如下公式计算像素点a的像素值：

pixel_a表示像素点a的像素值，num_b表示集合b中的像素点的数量，pixel_i表示集合b中的像素点i的像素值。

使用加权融合的方式，能够使得最终得到的图像中，颜色过度更加自然。

进一步的，当像素点具有多个颜色通道的值时，则分别对每个颜色通道的值进行加权融合，最后将的颜色通道的值在对应的颜色模型中进行显示，实现加权融合计算。

可选的，预设的第一生成方案包括：

第一步，将所有的拍摄角度的视频帧保存到视频帧集合；

第二步，从视频帧集合中随机选择一张视频帧作为参考图像，从视频帧集合中任意选择一张与参考图像存在重叠区域的视频帧作为待配准图像，将参考图像与待配准图像从视频帧集合中删除；

第三步，基于全景相机在参考图像的拍摄时刻的加速度确定参考图像与待配准图像中的特征点提取区域；

第四步，对特征点提取区域进行特征点的提取与匹配；

第五步，基于匹配结果对参考图像与待配准图像进行拼接处理，得到拼接图像；

第六步，判断视频帧集合中是否依然存在视频帧，若是，则将拼接图像作为新的参考图像，进入第二步；若否，则将得到的拼接图像作为最终的全景视频帧。

在上述拼接过程中，特征点提取区域并不是整张视频帧，而仅仅是基于加速度所确定的部分区域，这样便能够避免对所有的像素点进行特征点的计算，从而降低了计算量，提高了得到全景巡检视频的速度。

由于全景相机的各个摄像头之间的位置关系是相对固定的，也就是说，即使在拍摄过程中发生了抖动，摄像头通过机械防抖的方式来抵消抖动，但是所拍摄得到的画面中，相邻的摄像头的重叠率只会在静止时拍摄的重叠率的附近变化，因此，本发明利用这一特点，仅对部分的像素点进行特征点的获取，也能得到足够准确的图像配准结果。

示例性的，假设重叠率为30％，当发生抖动时，实际的重叠率可能变为29.5％或30.5％，这是由于不同位置的摄像头在不同的位置上受到的加速度不同的，摄像头进行机械防抖时，运动的幅度不同所导致的变化。

可选的，基于全景相机在参考图像的拍摄时刻的加速度确定参考图像与待配准图像中的特征点提取区域，包括：

基于全景相机的相邻的摄像头所拍摄的画面的重叠率获取参考图像中与待配准图像的重合区域A；

基于全景相机的相邻的摄像头所拍摄的画面的重叠率获取待配准图像中与参考图像的重合区域B；

基于加速度对A进行裁剪，得到第一特征点提取区域；

基于加速度对B进行裁剪，得到第二特征点提取区域。

示例性的，基于全景相机的相邻的摄像头所拍摄的画面的重叠率获取参考图像中与待配准图像的重合区域，包括：

当重叠率是30％时，且参考图像中仅包括一张视频帧时，将该视频帧作为计算帧，进入如下计算：

计算帧中有30％的区域与待配准图像重叠；

假计算帧与待配准图像之间是在x轴的方向上存在重叠；

将计算帧中的每一列从左到右进行编号，将总的列数表示为L；

假设计算帧的右侧与待配准图像重叠，则将计算帧中列数处于区间[0.7L，L]的列作为重叠区域；

若参考图像中包括了至少两张视频帧，则将最新加入参考图像的视频帧作为计算帧，重复上述计算过程，得到重合区域。

采用相同的原理，可以获得重合区域B。

可选的，基于加速度对A进行裁剪，得到第一特征点提取区域，包括：

用u表示加速度数据中最大的加速度，用lineA表示A的列数，

若参考图像的右侧与待配准图像重叠：

用[s,s+lineA]表示A在参考图像中的对应的列数区间，s＝totalline-lineA；totalline表示参考图像的总列数；

则对A进行裁剪后，第一特征点提取区域的列数为：

其中，firfealin表示第一特征点提取区域的列数，

则第一特征点提取区域在参考图像中对应的列数区间为[totalline-firfealin,totalline]；

若参考图像的左侧与待配准图像重叠：

用[1,lineA]表示A在参考图像中的对应的列数区间，则对A进行裁剪后，第一特征点提取区域的列数为：

其中，firfealin表示第一特征点提取区域的列数，

则第一特征点提取区域在参考图像中对应的列数区间为[1,firfealin]。

第一特征点提取区域的大小是随着加速度的不同而不同的，加速度越大，表示抖动越剧烈，因此，第一特征点提取区域也越大，为特征点匹配提供更多的像素点，从而保证了匹配结果的准确性。

而当加速度比较小时，表示抖动得不是很剧烈，因此，只需要较少的像素点便能够得到足够转的特征点匹配结果，因此本发明通过减少第一特征点提取区域的数量，从而加快了特征点匹配的速度，有利于更快地进行图像拼接，获得全景视频帧。

采用相同的原理，可以获得第二特征点提取区域。

具体的，若待配准图像的左侧与参考图像重叠，则第二特征点提取区域在待配准图像中的列数的范围为[0,firfealin]；

若待配准图像的右侧与参考图像重叠，则第二特征点提取区域在待配准图像中的列数的范围为[wtolin-firfealin,wtolin],wtolin为待配准图像的总列数。

可选的，对特征点提取区域进行特征点的提取与匹配，包括：

使用特征点提取算法分别获取第一特征点提取区域和第二特征点提取区域中的特征点的集合feapixA和feapixB；

对feapixA和feapixB中的特征点进行匹配，获得匹配结果。

进一步的，特征点提取算法可以是SIFT算法。

可选的，基于匹配结果对参考图像与待配准图像进行拼接处理，得到拼接图像，包括：

将匹配结果、参考图像和配准图像输入到ransac算法中进行拼接处理，得到拼接图像。

匹配结果包括多个特征点匹配对。

在本发明中，当没有发生抖动时，本发明直接利用事先存储好的位置映射关系来得到全景视频帧，并不涉及特征点匹配、图像配准等计算，因此，能够更快地得到拼接结果；

而在发生抖动时，本发明利用全景相机的摄像头之间的位置关系的稳定性，仅对参考图像和待配准图像中的部分像素点进行图像的配准计算，在保证了获得准确的配准结果的同时，避免了对所有的像素点进行配准，从而保证了计算的效率。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.基于全景摄像的沉浸式视频巡检监测系统，其特征在于，包括全景视频生成模块，全景视频生成模块包括加速度传感器、全景相机和上位机；

加速度传感器用于获取全景相机对巡检区域进行拍摄时的加速度数据；

全景相机用于对巡检区域进行拍摄，获得多个拍摄角度的巡检视频；

上位机用于基于加速度数据对各个拍摄角度的巡检视频进行拼接，得到全景视频，包括：

获取各个巡检视频中属于拍摄时刻t的视频帧，t∈[tstart,tend]，tstart和tend分别表示巡检视频的起始时刻和结束时刻；

对所有的视频帧进行拼接，得到拍摄时刻为t的全景视频帧；

由所有拍摄时刻的全景视频帧组成全景巡检视频；

其中，对所有的视频帧进行拼接，得到拍摄时刻为t的全景视频帧，包括：

基于拍摄时刻t的加速度数据判断全景相机是否发生抖动，若是，则选择预设的第一生成方案获取t时刻的全景视频帧，若否，则选择预设的第二生成方案获取t时刻的全景视频帧。

2.根据权利要求1所述的基于全景摄像的沉浸式视频巡检监测系统，其特征在于，还包括全景视频展示模块；

全景视频展示模块用于向巡检人员显示全景巡检视频。

3.根据权利要求1所述的基于全景摄像的沉浸式视频巡检监测系统，其特征在于，加速度数据包括x轴加速度、y轴加速度和z轴加速度。

4.根据权利要求3所述的基于全景摄像的沉浸式视频巡检监测系统，其特征在于，拍摄时刻t的加速度数据判断全景相机是否发生抖动，包括：

判断拍摄时刻t的加速度数据是否满足如下任意一个不等式，若是，则表示全景相机发生抖动：

不等式一：accel_x,t≥accel_thre；

不等式二：accel_y,t≥accel_thre；

不等式三：accel_z,t≥accel_thre；

其中，accel_x,t、accel_y,t、accel_z,t分别表示拍摄时刻t的x轴加速度、y轴加速度和z轴加速度，accel_thre表示预设的加速度阈值。

5.根据权利要求1所述的基于全景摄像的沉浸式视频巡检监测系统，其特征在于，全景相机的任意两个相邻的摄像头所拍摄的画面之间的重叠率大于预设的重叠率阈值。

6.根据权利要求1所述的基于全景摄像的沉浸式视频巡检监测系统，其特征在于，预设的第二生成方案包括：

获取全景视频帧模板；

获取各个拍摄角度所得到的视频帧中的像素点的位置映射关系；

基于位置映射关系，将各个拍摄角度所得到的视频帧中的像素点填入到所述全景视频帧模板中，得到全景视频帧：

对于全景视频帧模板中的像素点a，根据位置映射关系判断像素点a在所有的视频帧中所对应的像素点的数量是否为1，若是，则直接将视频帧中对应的像素点的像素值填充到全景视频帧模板中，若否，则获取像素点a在所有的视频帧中所对应的像素点的集合b，使用加权融合算法对集合b进行计算，得到像素点a的像素值。

7.根据权利要求6所述的基于全景摄像的沉浸式视频巡检监测系统，其特征在于，使用加权融合算法对集合b进行计算，得到像素点a的像素值，包括：

使用如下公式计算像素点a的像素值：

pixel_a表示像素点a的像素值，num_b表示集合b中的像素点的数量，pixel_i表示集合b中的像素点i的像素值。

8.根据权利要求1所述的基于全景摄像的沉浸式视频巡检监测系统，其特征在于，预设的第一生成方案包括：

第一步，将所有的拍摄角度的视频帧保存到视频帧集合；

第二步，从视频帧集合中随机选择一张视频帧作为参考图像，从视频帧集合中任意选择一张与参考图像存在重叠区域的视频帧作为待配准图像，将参考图像与待配准图像从视频帧集合中删除；

第三步，基于全景相机在参考图像的拍摄时刻的加速度确定参考图像与待配准图像中的特征点提取区域；

第四步，对特征点提取区域进行特征点的提取与匹配；

第五步，基于匹配结果对参考图像与待配准图像进行拼接处理，得到拼接图像；

第六步，判断视频帧集合中是否依然存在视频帧，若是，则将拼接图像作为新的参考图像，进入第二步；若否，则将得到的拼接图像作为最终的全景视频帧。