CN109167924A - 基于混合相机的视频成像方法、系统、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种基于混合相机的视频成像方法、系统、设备及存储介质，该方法包括：获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。本发明实施例的技术方案实现了通过将窄视场相机与宽视场相机分别拍摄到的高分辨率图像以及低分辨率图像结合在一起并采用一系列算法对其进行处理得到了十亿像素级分辨率的视频图像，提高了视频图像的分辨率以及光谱维度的技术效果。

Description

基于混合相机的视频成像方法、系统、设备及存储介质

技术领域

本发明实施例涉及图像识别技术领域，尤其涉及一种基于混合相机的视频成像反方、系统、设备及存储介质。

背景技术

随着现有的计算摄像学、相机产业及人工智能产业技术的发展，计算机视觉领域在视频采集、视频目标跟踪、实时视频识别上都取得了性能突破和数据规模的重大突破，即现有的视频识别技术的识别准确度可以超过人眼。为了进一步的实现效果更好的现代人工智能算法以及帮助相关领域的研究，同时在高清监控、遥感识别乃至军事应用中达到更为出色的视频识别效果，如何有效提高当前视频在信息空间的维度，则成为了一个势必要解决的关键问题。

为了提高图像的分辨率，常见的做法是通过增加大量的图像感器数量来实现图像分辨率的提高。目前已经存在基于参考图像的相机阵列用于实现分辨率提高的系统，并被用于安防、便携高分辨视频采集等领域。然而，无论是视角更大的环形超高分辨成像系统，亦或是便携版的双相机高分辨成像系统，其所成的像的信息维度均为与人眼类似的RGB(红绿蓝，Red、Green、Blue，为人眼所能捕获的三原色，下同)三维信息，所拍摄到的光线在光谱层面的更高维度的信息无法被当前系统所捕获。

近些年来，虽然超分辨率算法、高光谱相机以及基于高光谱图像的人工智能技术已经逐渐趋于成熟，但是在现有的高分辨率的视频采集系统的基础上，仍然没有解决在像素级别上增加更高维度的信息量，视频图像分辨率低的技术问题。

发明内容

本发明实施例提供一种基于混合相机的视频成像方法、系统、设备及存储介质，以实现提高视频图像分辨率的技术效果。

第一方面，本发明提供了一种基于混合相机的视频成像方法，该方法包括：

获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；

通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；

将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；

通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。

第二方面，本发明提供了一种基于混合相机阵列的视频成像系统，该系统包括：

获取图像模块，用于获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；

图像拼接处理模块，用于通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；

图像融合处理模块，用于将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；

视频图像处理模块，用于通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。

第三方面，本发明还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的基于混合相机的视频成像方法。

第四方面，本发明还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的基于混合相机的视频成像方法。

本发明实施例的技术方案获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像，通过对各低分辨率图像进行拼接处理，得到低分辨率环形图像，将低分辨率环形图像与高分辨率图像融合处理，确定为高分辨率环形图像，通过对各高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像，解决了现有技术中不论采用的是高分辨率成像系统，或者是双相机高分辨率成像系统拍摄的图像，均为与人眼捕捉到的三原色类似，不能获取到更高维度的图像信息，即图像的分辨率不高的技术问题，实现了通过将窄视场相机拍摄到的高分辨率图像与宽视场相机拍摄到的低分辨率图像结合在一起，并采用一系列算法对其进行处理得到的视频图像，提高了视频图像的分辨率以及光谱维度的技术效果，并且在实际应用的过程中宽视场相机与窄视场相机可以直接摆放在所要拍摄的视频环境中，不需要复杂的安装，节省成本的技术效果。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1为本发明实施例一所提供的一种基于混合相机的视频成像方法；

图2为本发明实施例一所提供的混合相机的摆放位置；

图3为本发明实施例二所提供的一种基于混合相机的视频成像方法；

图4为本发明实施例三所提供的一种基于混合相机阵列的视频成像系统；

图5为本发明实施例四所提供的一种设备结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一所提供的一种基于混合相机的视频成像方法流程示意图，该方法可以由基于混合相机阵列的视频成像系统来执行，该系统可以通过软件和/或硬件的形式实现。

如图1所述，本实施例的方法包括：

S110、获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像。

其中，宽视场相机可以理解为短焦镜头的相机，该相机的镜头光圈较大、拍摄的图像画质较好，但是当拍摄远处细小的物体时，拍摄的图像不清楚的相机，也就是说宽视场相机可以拍摄近景图像，拍摄的图像分辨率相对来说较低但是拍摄的图像视野较广。窄视场相机可以理解为长焦镜头的相机，相机的镜头光圈较小，可以拍清楚较远的物体相机，当拍摄近景图像时拍摄的图像效果没有宽视场相机拍摄的效果好，即能够将远处的某一场景或者物体拍摄清楚的相机。需要说明的是，本发明实施例技术方案中提出的宽视场相机和窄视场相机是相对而言的，那么相对应的低分辨率图像与高分辨率图像也是相对而言的。

至少三幅低分辨率图像的数量可以是两张或者多张，可以根据宽视场相机的数量来确定，这是因为至少三幅低分辨率图像由至少三个宽视场相机分别拍摄。示例性的，若宽视场相机的数量为3个，至少三幅低分辨率图像可以是三个宽视场相机在同一时刻拍摄的低分辨率图像。为了确保能够获取到窄视场相机与宽视场相机所处整个环境的视频图像，各宽视场相机的在同一时刻拍摄的低分辨率图像，组合起来可以覆盖360度场景，以及每相邻两个宽视场相机之间拍摄的区域存在重叠，这样设置的好处在于在对低分辨率图像进行处理时不会漏掉其中的某一个场景。也就是说至少三幅低分辨率图像由至少三个宽视场相机分别拍摄，每相邻两个宽视场相机之间拍摄的区域存在重叠，且各宽视场相机在同一时间拍摄的低分辨率图像组合在一起覆盖设定角度，即覆盖360度的环形图像。

其中，至少三个宽视场相机的数量可以是三个或者多个，用户可以根据实际情况进行设置，可以将至少三个宽视场相机放置在用户所要拍摄视频图像的环境中，也就是说宽视场相机的设置，可以根据实际情况选择设置的位置，在满足一定条件的情况下，具有很大的自由性，即相机的设置非结构化。可选的，参见图2，在所要拍摄视频图像的环境中设置一个圆盘底座，即圆台201，将至少三个宽视场相机，可选，五个宽视场相机202放置在圆台201上。为了保证拍摄图像的稳定性，圆台201可以选用不易振动、不易变形的材料，同时为了确保每相邻两个宽视场相机202之间的距离，底座不易过大。进一步的，宽视场相机202的镜头拍摄度数是不尽相同的。可选的，相机镜头的拍摄度数可以是60度、90度或者120度等，当相机镜头拍摄拍摄度数较高或者较低时都有可能引起图像的畸变。为了避免图像的畸变，宽视场相机202的镜头拍摄度数可以是90度。若宽视场相机的镜头拍摄度数为90度，为了保证各宽视场相机202在同一时刻拍摄的低分辨率图像组合在一起可以覆盖360度全景图像，并且相邻的两个宽视场相机202拍摄的图像存在重合区域，宽视场相机202的数量可以是至少5个。每个宽视场相机202可以以圆台201的中心为圆心，镜头往半径延伸的摆放来拍摄低分辨率图像。

需要说明的是，每个宽视场相机的参数相同、型号相同，也就是说每个宽视场相机是相同的。

继续参见图2，在圆台201的上表面还设置了云台203，且云台203可以放置在圆台201的中心位置处，即圆台201上表面的圆心处，云台203自身具有一定的高度，并且云台203是可以旋转，以及在竖直方向上可以调节高度。窄视场相机204可以设置在云台203上，即窄视场相机204摆放在圆台201的中心位置处，且在竖直方向上的高度高于宽视场相机202。

为了避免在窄视场相机204拍摄高分辨率图像时被宽视场相机202遮挡视线，云台203自身具有一定的高度，也就是说设置在云台203上的窄视场相机204与设置在圆台201上的宽视场相机202在竖直方向上具有一定的高度差，当然宽视场相机202与窄视场相机204竖直方向上的距离差也不能过大，这样设置的好处在于窄视场相机204在转动拍摄图像的过程中可以拍摄360度范围内的高分辨率图像，并且与宽视场相机202水平方向上的距离尽可能近可以降低宽视场相机202和窄视场相机204视角差带来的负面影响。

S120、通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像。

其中，低分辨率环形图像可以是理解，将各宽视场相机在同时一刻拍摄的低分辨率图像进行拼接处理后得到的一幅图像。由于宽视场相机中每相邻两个相机拍摄的图像具有一定的重合区域，并且各宽视场相机拍摄的图像拼接在一起可以得到360度全景图像，所以低分辨率环形图像是覆盖360度的环形全景图像。

为了得到低分辨率环形图像，可以对至少三个宽视场相机分别拍摄至少一幅低分辨率图像进行拼接处理，具体可以是根据预先存储的相机矩阵对至少三幅低分辨率图像进行拼接处理，也即是根据预先计算得到的至少三幅低分辨率图像进行拼接处理时重合区域的像素点，以及宽视场相机的摆放位置，得到低分辨率环形图像。

具体可以是：获取至少三个宽视场相机分别拍摄的至少三幅低分辨预览图像；采用环形拼接算法对至少三幅低分辨图像进行拼接处理，并从拼接图像中识别相邻宽视场相机的拍摄重合范围；根据各宽视场相机的相机位置和拍摄重合范围确定相机矩阵，并存储，其中，相机矩阵用于对各低分辨率图像进行拼接处理，得到低分辨率环形图像。

可以理解为在获取至少三幅低分辨率图像以及高分辨率图像之前，可以先摆放至少一个宽视场相机，以确保各宽视场相机拍摄的图像组合在一起可以覆盖设定角度的环形全景图像。再对至少一个宽视场相机分别拍摄至少一幅低分辨率预览图像进行处理，确定各宽视场相机中相邻两个宽视场相机在同一时刻拍摄的低分辨率图像之间的重合区域以及计算得到各相机的摆放位置，并将其存储在计算机中。当对至少一幅低分辨率图像进行拼接处理时可以采用预先存储的相机矩阵进行拼接处理，得到低分辨率环形图像。

当然，在实际应用的过程中，也可以在各宽视场相机在同一时刻分别拍摄一幅低分辨率图像时，采用环形拼接算法对至少三幅低分辨率图像进行拼接处理确定拼接处理时的相机矩阵，即确定至少三幅低分辨率图像进行拼接时的重合像素点以及各宽视场相机的摆放位置，用户在实际应用的过程中用户可以根据实际情况进行设置。

S130、将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像。

将所述低分辨率图像与高分辨率图像融合处理时，为了提高制备视频图像的分辨率可以先根据低分辨率环形图像与高分辨率图像之间的可比拟性，确定高分辨率图像在低分辨率环形图像中的相似区块，也就是说可以将环形低分辨率图像切割为至少一个区域，确定高分辨率图像在分割的哪一个区域中。若确定了相似区块，可以采用高分辨率恢复与匹配算法，将高分辨率图像融合到低分辨率环形图像中，得到高分辨率环形图像。

在对低分辨率图像与高分辨率图像进行融合处理得到高分辨率环形图像时，计算机内可以存储的程序代码用来判断待生成的当前帧图像是否为第一帧图像，若待生成的当前帧图像为视频图像中的第一帧图像，则将低分辨率环形图像与高分辨率图像融合处理为高分辨率环形图像；若待生成的当前帧图像不为视频图像中的第一帧图像，则将低分率环形图像、高分辨率图像以及当前帧图像之前至少两个前帧图像结合在一起，确定高分辨率环形图像；其中，前帧图像中的一帧与当前帧图像相连续。

其中，待生成的当前帧图像可以理解为低分辨率环形图像与高分辨率图像进行融合后得到的当前高分辨率环形图像。若待生成的当前帧图像为第一帧图像，则可以根据高分辨率图像与环形低分辨率图像之间的可比拟性，确定高分辨图像在环形低分辨图像上的相似区块，将高分辨率图像融合到环形低分辨率图像上，得到高分辨率环形图像；若待生成的当前帧图像不为第一帧图像，则可以根据低分辨率环形图像、高分辨率图像以及当前帧图像之前连续的至少两个前帧图像结合在一起确定高分辨率环形图像。

其中，当前帧图像之前连续的至少两个前帧图像可以理解为，与当前帧图像相连续的前帧图像。至少两帧图像可以理解为，两帧图像、三帧图像等，用户可以根据在处理图像时的具体需求对计算机内的程序代码进行设置。可以根据，当前形成的低分辨率环形图像，以及待生成的当前帧图像之前至少连续的两帧图像，确定高分辨率图像在低分辨率图像上的相似区块，这样设置的好处在于避免了若宽视场相机和窄视场相机拍摄的图像特别相近时，直接根据高分辨率图像确定在低分辨率环形图像中的位置时不准确的技术问题。

若待生成的当前帧图像不为视频图像中的第一帧图像，处理方法具体可以是：确定高分辨率图像在低分率环形图像中的至少两个候选融合位置；将高分辨率图像在至少两个前帧图像中进行位置识别，根据识别结果对至少两个候选融合位置进行筛选，以确定目标融合位置；根据目标融合位置，将高分辨率图像与低分率环形图像进行融合处理，确定高分辨率环形图像。

可以理解为，确定高分辨率图像在低分辨率环形图像中的至少两个候选融合位置，也就是在低分辨率环形图像上确定至少两个融合位置来融合高分辨率图像；为了确定融合高分辨率图像的目标融合区位置可以再根据待生成的当前帧图像之前的两帧图像筛选高分辨率图像在低分辨率环形图像上的融合位置，并将最终筛选到的融合位置作为目标融合位置；若没有确定目标融合位置，则可以再获取前三帧图像进行处理确定高分辨率图像的融合位置，直至筛选出高分辨率图像在环形低分辨率图像中的目标融合位置。根据目标融合位置并采用高分辨率回复与匹配算法，将高分辨率图像融合到低分辨率环形图像的相似区块，即目标融合位置处，得到高分辨率环形图像。

在上述技术方案的基础上，得到的高分辨率环形图像的分辨率较高并且光谱的维度较广，示例性的，若高分辨率环形图像中的某一个场景为一片树叶，颜色为绿色，采用现有技术中的相机拍摄到的图像可能就是接近绿色，但是采用本发明实施例技术方案，通过将宽视场相机和窄视场相机拍摄的图像组合在一起进行处理可以是得到的高分辨率环形图像达到十亿像素级别的分辨率，即最终得到的图像光谱维度更广分辨率更高，更接近图像的真实颜色。

S140、通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。

将得到的高分辨率环形图像进行编码整合处理，也就是利用现有的视频编码算法将得到的高分辨率环形进行处理，得到高分辨率视频图像。将十亿像素级别分辨率的图像进行编码整合可以得到十亿像素级分辨率的视频图像。

本发明实施例的技术方案获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像，通过对各低分辨率图像进行拼接处理，得到低分辨率环形图像，将低分辨率环形图像与高分辨率图像融合处理，确定为高分辨率环形图像，通过对各高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像，解决了现有技术中不论采用的是高分辨率成像系统或者是双相机高分辨率成像系统拍摄的图像均为与人眼捕捉到的三原色类似，不能获取到更高维度的图像信息，即图像的分辨率不高的技术问题，实现了通过将窄视场相机与宽视场相机拍摄到的高分辨率图像以及低分辨率图像结合在一起并采用一系列算法对其进行处理得到了十亿像素级分辨率的视频图像，提高了视频图像的分辨率以及光谱维度的技术效果，并且在实际应用的过程中宽视场相机与窄视场相机可以直接摆放在所要拍摄的视频环境中，不需要复杂的安装、通用性比较强，节省成本的技术效果。

在上述技术方案的基础上，在将低分辨率环形图像与高分辨率环形图像融合处理，确定为高分辨率环形图像之后，还包括：根据高分辨率环形图像确定当前帧图像；采用权值算法对低分辨率环形图像以及当前帧图像进行处理，确定拍摄下一个高分辨图像的兴趣权值，根据兴趣权值产生第一控制信号；根据第一控制信号调节拍摄下一个高分辨率图像的高度和角度；其中，拍摄高分辨率图像的相机设置在云台上；云台是根据第一控制信息调节云台的高度及与水平面之间的夹角。

具体的，对高分辨率环形图像进行处理就可以得到与高分辨率环形图像相对应的当前帧图像，可选的，采用视频编码算法对高分辨率环形图像处理。当然在确定了当前帧图像之后还需要确定下一帧图像，也就是还需要获取低分辨率图像和高分辨率图像。其中，在拍摄图像的过程中宽视场相机拍摄低分辨率图像的位置是不发生变化的，窄视场相机拍摄高分辨率图像的位置以及拍摄角度是根据对整幅图像的兴趣权值决定的。

其中，兴趣权值包括贡献权值和代价权值。兴趣权值反映了低分辨率环形图像的各个区域对高分辨率图像的需求，可以理解为低分辨率图像中需要哪一个区域更加清楚。代价权值表示窄视场相机在拍摄高分辨率图像时从当前位置转动到拍摄下一张高分辨率图像的位置时的所要消耗的代价。根据兴趣权值可以确定拍摄下一张高分辨率图像的最优位置，拍摄下一张高分辨率图像的窄视场相机最优位置可以是:

其中，λgain表示贡献权值在兴趣权值中所占的权重，λcost表示代价权值在兴趣权值中所占的权重，表示最终得到的最优拍摄位置参数。表示贡献权值；表示代价权值。

贡献权值的大小取决于现有的单张图像超分辨率算法对于超分辨图像的需求程度、现有的高光谱图像深度学习识别算法对于低分辨率环形图像兴趣区域的需求程度、前向帧图像对于高分辨率环形图像的需求来综合决定；代价权值的大小是由窄视场相机在拍摄不同高分辨率图像时窄视场相机方位移动损耗、邻域高频信息损失以及当前拍摄方位距离下一次拍摄时移动的距离等决定。

通过对低分辨率环形图像、当前帧图像以及当前帧的前帧图像进行处理可以确定拍摄下一个高分辨率图像的兴趣权值，计算机内预先存储的程序代码或者预先存储的程序可以根据拍摄下一张高分辨率图像的兴趣权值产生第一控制信号。其中，第一控制信号可以是调节拍摄下一张高分辨率图像的高度和角度的信号。

需要说明的是，窄视场相机可以设置在云台上，云台的高度以及与水平面之间的夹角是可以调节的。云台可以与计算机无线通信或者电连接，可以接收计算机发出的第一控制信号，并根据第一控制信号调节云台的高度以及与水平面之间的夹角。由于窄视场相机设置的云台上，因此当云台根据第一控制信号调节其高度与水平面之间的夹角时，相应的设置在云台上的窄视场相机可以根据云台的旋转以及高度调节调节拍摄下一张高分辨率图像的高度和角度。

实施例二

作为上述实施例的一优选实施例，图3为本发明实施例二所提供的一种基于混合相机的视频成像方法，所述方法包括：

S301、基于至少三个宽视场相机分别获取至少三幅低分辨预览图像。

至少三个宽视场相机可以是三个或者多个，可选的，五个宽视场相机，每个相机的镜头拍摄度数为90度。在对宽视场相机拍摄的低分辨率图像进行处理之前可以先通过五个宽视场相机分辨拍摄一幅低分辨率预览图像。需要说明的是，在对基于宽视场相机拍摄低分辨率图像并对其进行处理之前，可以先对宽视场相机进行参数调节和设置，可选的，调节宽视场相机的参数可以是调节宽视场相机的性能参数，调节摆放位置可以是各个宽视场相机放置在同一水平面上，可选的，参见图2，圆台201上，并且同一时刻各个宽视场相机拍摄的图像组合在一起可以覆盖360度，同时每相邻两个宽视场相机拍摄的低分辨率图像之间存在重叠的区域，好处在于，预先对宽视场相机进行调节，以确保最终得到的视频图像满足用户的需求。

S302、采用环形拼接算法对所述至少三幅低分辨率图像进行环形拼接处理，从拼接图像中确定相邻宽视场相机的拍摄重合范围，根据各宽视场相机的相机位置和拍摄重合范围确定相机矩阵，并存储。

在获取到低分辨率预览图像之后可以采用环形拼接算法对低分辨图像进行处理。可以从拼接图像中确定每相邻两个宽视场相机拍摄图像重合范围内的像素点，进而根据重合范围内的像素点以及各宽视场相机的位置确定相机矩阵。可以将所述相机矩阵存储到计算中，以便对低分辨率图像进行处理时可以直接调用。

S303、宽视场相机拍摄到低分辨率图像时，可以采用预先存储的相机矩阵对低分辨率图像进行处理，得到低分辨率环形图像。

预处理完成之后，若宽视场相机拍摄到低分辨图像，计算机可以获取低分辨率图像，并调用预先存储的相机矩阵对低分辨率图像进行拼接处理，得到拼接后的低分辨率环形图像，由于各宽视场相机在同一时刻拍摄的图像组合在一起是可以覆盖360度的环形全景图像，因此拼接后的低分辨率环形图像也是可以覆盖360度的全图像。

S304、基于窄视场相机拍摄高分辨率图像。

需要说明的是，窄视场相机可以固定设置在云台上，云台是可以发生旋转、调节与水平面之间的夹角的，因此当云台在发生旋转以及调节与水平面之间的夹角时，可以带动窄视场相机的位置发生变化。

在宽视场相机拍摄低分辨率图像的同时窄视场相机也在拍摄高分辨率图像，若窄视场相机拍摄的高分辨率图像为第一张高分辨率图像，则计算机可以获取高分辨率图像；若窄视场相机拍摄的高分辨率图像不为第一张高分辨率图像，此时拍摄高分辨率图像的高度和与水平面之间的夹角可以结合待生成的当前帧图像的前帧图像的反馈数据以及低分辨率环形图像确定拍摄高分辨率图像的兴趣权值，也就是窄视场相机拍摄低分辨率图像时的高度、仰角或者俯角。

需要说明的是，确定拍摄高分辨率图像的兴趣权值可以由计算机进行处理。当确定兴趣权值之后，会产生与兴趣权值相对应的第一控制信号，并将第一控制信号发送至云台，云台接收第一控制信号，调节云台的高度以及与水平面之间的夹角，从而使窄视场相机拍摄高分辨率图像。

S305、判断待生成的当前帧图像是否为第一帧图像，若是，则执行S306；若否，则执行S307。

待生成的当前帧图像可以理解为高分辨率图像与低分辨率环形图像融合后的图像。判断待生成的当前帧图像是否为第一帧图像，若是第一帧图像则可以直接对高分辨率图像与低分辨率环形图像进行融合，也就是执行S306；若不是第一帧图像，则需要结合当前帧图像之前的前帧图像、高分辨率图像以低分辨率环形图像来确定高分辨率图像在环形低分辨率图像上的目标融合位置，并对其进行融合S307。

S306、采用高分辨率恢复与匹配算法对低分辨率环形图像与基于窄视场相机拍摄的高分辨率图像融合处理，得到高分辨率环形图像。

在采用高分辨率恢复与匹配算法之前可以根据高分辨率图像与低分辨率环形图像的可比比拟性确定高分辨率图像在低分辨率环形图像上的相似区块，也就是高分辨率图像融合到低分辨率环形图像上的目标融合位置。再采用高分辨率恢复与匹配算法将高分辨率图像融合到低分辨率环形图像中，得到高分辨率环形图像。

S307、采用高分辨率恢复与匹配算法对待生成的当前帧图像的前帧图像、高分辨率图像以及低分辨率环形图像进行融合处理，得到高分辨率环形图像。

若待生成的当前帧图像不为第一帧图像，则可以根据低分辨率环形图像与高分辨率图像之间的可比拟性，即相似性，确定出至少两个候选融合位置；再获取待生成的当前帧图像前至少两个前帧图像，并将高分辨率图像在至少两个前帧图像中进行位置识别，若是确定了目标融合位置，则可以根据高分辨率恢复与匹配算法将高分辨率图像融合到低分辨率环形图像中；若依然没有确定目标融合位置，则可以根据待生成当前帧图像的前三帧图像来确定目标图像的融合位置，直至确定出高分辨率图像在低分辨率环形图像中的目标融合位置。若确定了高分辨率图像在低分辨率环形图像上的融合位置可以采用高分辨率恢复与匹配算法得到高分辨环形图像。其中，高分辨率恢复与匹配算法是2017年Haitian Zheng等人提出的基于深度卷积神经网络的CC-Net+SS-Net模式图像融合恢复算法。

S308、采用视频编码算法对高分辨率环形图像进行处理，得到高分辨率视频图像。

具体可以是，可以将得到的高分辨率环形图像进行缓存与压缩，利用现有的视频编码算法将高分辨率环形图像处理得到高分辨率视频图像。其中，需要说明的是，在基于混合相机的视频成像方法中，会利用到当前帧图像的前一帧图像或者前几帧图像，因此可以将每一帧图像返回至S304和S307。

本发明实施例的技术方案获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像，通过对各低分辨率图像进行拼接处理，得到低分辨率环形图像，将低分辨率环形图像与高分辨率图像融合处理，确定为高分辨率环形图像，通过对各高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像，解决了现有技术中不论采用的是高分辨率成像系统或者是双相机高分辨率成像系统拍摄的图像均为与人眼捕捉到的三原色类似，不能获取到更高维度的图像信息，即图像的分辨率不高的技术问题，实现了通过将窄视场相机与宽视场相机拍摄到的高分辨率图像以及低分辨率图像结合在一起并采用一系列算法对其进行处理得到了十亿像素级分辨率的视频图像，提高了视频图像的分辨率以及光谱维度的技术效果，并且在实际应用的过程中宽视场相机与窄视场相机可以直接摆放在所要拍摄的视频环境中，不需要复杂的安装、通用性比较强，节省成本的技术效果。

实施例三

图4为本发明实施例三提供的一种基于混合相机阵列的视频成像系统结构示意图，该系统包括：获取图像模块410、图像拼接处理模块420、图像融合处理模块430以及视频图像处理模块440。

其中，获取图像模块410，用于获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；图像拼接处理模块420，用于通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；图像融合处理模块430，用于将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；视频图像处理模块440，用于通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。

在上述技术方案的基础上，所述低分辨率环形图像是覆盖360度的环形全景图像。

在上述各技术方案的基础上，所述至少三幅低分辨率图像由至少三个宽视场相机分别拍摄，每相邻两个宽视场相机之间拍摄的区域存在重叠，且各宽视场相机在同一时间拍摄的低分辨率图像组合在一起覆盖设定角度的环形图像。

在上述各技术方案的基础上，所述系统该包括：预处理模块，用于获取至少三个宽视场相机分别拍摄的至少两幅低分辨预览图像；环形拼接算法模块，用于采用环形拼接算法对至少两幅低分辨图像进行拼接处理，并从拼接图像中识别相邻宽视场相机的拍摄重合范围；相机矩阵确定模块，用于根据各宽视场相机的相机位置和拍摄重合范围确定相机矩阵，并存储，其中，所述相机矩阵用于对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像。

在上述各技术方案的基础上，所述图像融合处理模块还用于若待生成的当前帧图像为视频图像中的第一帧图像，则将所述低分辨率环形图像与所述高分辨率图像融合处理为高分辨率环形图像，将所述高分辨率环形图像作为所述待生成的当前帧图像；若待生成的当前帧图像不为视频图像中的第一帧图像，则将所述低分率环形图像、所述高分辨率图像以及当前帧图像之前连续的至少两个前帧图像结合在一起，确定高分辨率环形图像，将所述高分辨率环形图像作为所述待生成的当前帧图像；其中，所述前帧图像中的一帧与所述当前帧图像相连续。

在上述各技术方案的基础上，所述图像融合处理模块，还用于：确定所述高分辨率图像在所述低分率环形图像中的至少两个候选融合位置；将所述高分辨率图像在所述至少两个前帧图像中进行位置识别，根据识别结果对所述至少两个候选融合位置进行筛选，以确定目标融合位置；根据所述目标融合位置，将所述高分辨率图像与所述低分率环形图像进行融合处理，确定高分辨率环形图像。

在上述各技术方案的基础上，在所述图像融合处理模块，用于将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像之后，所述系统还包括：兴趣权值确定模块；所述兴趣权值确定模块包括当前帧图像确定单元、兴趣权值确定单元以及调节单元；当前帧图像确定单元用于根据所述高分辨率高光谱环形图像确定当前帧图像；兴趣权值确定单元，用于采用权值算法对所述低分辨率环形图像以及所述当前帧图像进行处理，确定拍摄下一个高分辨图像的兴趣权值，根据所述兴趣权值产生第一控制信号；调节单元，用于根据所述第一控制信号调节拍摄下一个高分辨率图像的高度和角度；其中，拍摄所述高分辨率图像的相机设置在云台上；所述云台是根据所述第一控制信息调节所述云台的高度及与水平面之间的夹角。

在上述各技术方案的基础上，所述图像融合处理模块，还用于基于所述低分率环形图像与所述高分辨图像之间的可比拟性，确定所述高分辨率图像在所述低分辨率环形图像中的相似区块；采用高分辨率恢复与匹配算法，将所述高分辨率图像融合到所述低分辨率环形图像的相似区块中，得到高分辨率环形图像。

本发明实施例的技术方案获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像，通过对各低分辨率图像进行拼接处理，得到低分辨率环形图像，将低分辨率环形图像与高分辨率图像融合处理，确定为高分辨率环形图像，通过对各高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像，解决了现有技术中不论采用的是高分辨率成像系统或者是双相机高分辨率成像系统拍摄的图像均为与人眼捕捉到的三原色类似，不能获取到更高维度的图像信息，即图像的分辨率不高的技术问题，实现了通过将窄视场相机与宽视场相机拍摄到的高分辨率图像以及低分辨率图像结合在一起并采用一系列算法对其进行处理得到了十亿像素级分辨率的视频图像，提高了视频图像的分辨率以及光谱维度的技术效果，并且在实际应用的过程中宽视场相机与窄视场相机可以直接摆放在所要拍摄的视频环境中，不需要复杂的安装、通用性比较强，节省成本的技术效果。本发明实施例所提供的基于混合相机阵列的视频成像系统可执行本发明任意实施例所提供的基于混合相机的视频成像方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述系统所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

实施例四

图5为本发明实施例四提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施例实施方式的示例性设备50的框图。图5显示的设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，设备50以通用计算设备的形式表现。设备50的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。该设备50优选是设置有至少三个宽视场相机和窄视场相机，且优选设置在圆台上，例如图2所示的结构。

总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备50访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器505。设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。

设备50也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该设备50交互的设备通信，和/或与使得该设备50能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，设备50还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器512通过总线503与设备50的其它模块通信。应当明白，尽管图5中未示出，可以结合设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于混合相机的视频成像方法。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行基于混合相机的视频成像方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种基于混合相机的视频成像方法，其特征在于，包括：

获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；

通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；

将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；

通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。

2.根据权利要求1所述的方法，其特征在于，所述低分辨率环形图像是覆盖360度的环形全景图像。

3.根据权利要求1所述的方法，其特征在于，所述至少三幅低分辨率图像由至少三个宽视场相机分别拍摄，每相邻两个宽视场相机之间拍摄的区域存在重叠，且各宽视场相机在同一时间拍摄的低分辨率图像组合在一起覆盖设定角度的环形图像。

4.根据权利要求3所述的方法，其特征在于，还包括：

获取至少三个宽视场相机分别拍摄的至少三幅低分辨预览图像；

采用环形拼接算法对至少三幅低分辨图像进行拼接处理，并从拼接图像中识别相邻宽视场相机的拍摄重合范围；

根据各宽视场相机的相机位置和拍摄重合范围确定相机矩阵，并存储，其中，所述相机矩阵用于对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像。

5.根据权利要求1所述的方法，其特征在于，将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像，包括：

若待生成的当前帧图像为视频图像中的第一帧图像，则将所述低分辨率环形图像与所述高分辨率图像融合处理为高分辨率环形图像，将所述高分辨率环形图像作为所述待生成的当前帧图像；

若待生成的当前帧图像不为视频图像中的第一帧图像，则将所述低分率环形图像、所述高分辨率图像以及当前帧图像之前连续的至少两个前帧图像结合在一起，确定高分辨率环形图像，将所述高分辨率环形图像作为所述待生成的当前帧图像；

其中，所述前帧图像中的一帧与所述当前帧图像相连续。

6.根据权利要求5所述的方法，其特征在于，将所述低分率环形图像、所述高分辨率图像以及当前帧图像之前至少两个前帧图像结合在一起，确定高分辨率环形图像包括：

确定所述高分辨率图像在所述低分率环形图像中的至少两个候选融合位置；

将所述高分辨率图像在所述至少两个前帧图像中进行位置识别，根据识别结果对所述至少两个候选融合位置进行筛选，以确定目标融合位置；

根据所述目标融合位置，将所述高分辨率图像与所述低分率环形图像进行融合处理，确定高分辨率环形图像。

7.根据权利要求1所述的方法，其特征在于，将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像之后，还包括：

根据所述高分辨率高光谱环形图像确定当前帧图像；

采用权值算法对所述低分辨率环形图像以及所述当前帧图像进行处理，确定拍摄下一个高分辨图像的兴趣权值，根据所述兴趣权值产生第一控制信号；

根据所述第一控制信号调节拍摄下一个高分辨率图像的高度和角度；

其中，拍摄所述高分辨率图像的相机设置在云台上；所述云台是根据所述第一控制信息调节所述云台的高度及与水平面之间的夹角。

8.根据权利要求1所述的方法，其特征在于，将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像包括：

基于所述低分率环形图像与所述高分辨图像之间的可比拟性，确定所述高分辨率图像在所述低分辨率环形图像中的相似区块；

采用高分辨率恢复与匹配算法，将所述高分辨率图像融合到所述低分辨率环形图像的相似区块中，得到高分辨率环形图像。

9.一种基于混合相机阵列的视频成像系统，其特征在于，包括：

获取图像模块，用于获取通过宽视场相机拍摄的至少三幅低分辨率图像，以及获取通过窄视场相机拍摄的高分辨率图像；

图像拼接处理模块，用于通过对各所述低分辨率图像进行拼接处理，得到低分辨率环形图像；

图像融合处理模块，用于将所述低分辨率环形图像与所述高分辨率图像融合处理，确定为高分辨率环形图像；

视频图像处理模块，用于通过对各所述高分辨率环形图像进行编码整合处理，得到高分辨率的视频图像。

10.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的基于混合相机的视频成像方法。

11.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的基于混合相机的视频成像方法。