CN114222063A

CN114222063A - 亿级像素的图片与视频数据的处理方法和装置

Info

Publication number: CN114222063A
Application number: CN202111537096.1A
Authority: CN
Inventors: 袁潮; 温建伟; 邓迪旻
Original assignee: Beijing Zhuohe Technology Co Ltd
Current assignee: Beijing Zhuohe Technology Co Ltd
Priority date: 2021-12-16
Filing date: 2021-12-16
Publication date: 2022-03-22
Anticipated expiration: 2041-12-16
Also published as: CN114222063B

Abstract

本发明提出亿级像素的图片与视频数据的处理方法和装置，属于图像处理技术领域。图片处理方法包括：通过多个传感器阵列获得多组图片数据；识别多组图片数据中的多个重叠区域；至少两个传感器阵列针对同一个重叠区域产生两组图片数据；基于至少两个传感器阵列的位置信息和分辨率信息，确定重叠区域的目标图片数据；基于目标数据和所述多组图片数据，执行亿级像素的图像超分辨率重构。图片处理装置包括多个传感器阵列，多个传感器阵列在水平方向上分别拍摄不同角度的图片数据后，用于实现所述的图片处理方法。本发明还提出对应的视频处理装置与视频处理方法。本发明可以在确保图片或者视频显示质量的前提下，降低数据存储与处理复杂度。

Description

亿级像素的图片与视频数据的处理方法和装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种亿级像素的图片与视频数据的处理方法和装置、实现所述方法的计算机终端设备以及存储介质。

背景技术

2012 年，美国 Duke 大学成功研发出一款名为 Aware-2 的超高速相机，这款相机的特点在于它的超高像素，10 亿像素的相机在当时是独一无二的，该仿生眼系统采用高分辨率的相机并行排列组成，在结构上采取曲面结构的方式，利用 98 个千万像素的相机拍摄到的 98 个千万级像素图片组合成亿级像素的图片，再利用后端的计算机处理这些图片，最终完成拼接，构成 10 亿像素的图像。虽然该相机能够拍摄10亿级像素的静态图片或视频图像，且清晰度比完美视力的人眼所能看到的图像要清晰５倍，但是由于像素级别非常高，用它来拍摄一张图片并把数据存在磁盘上就需要18s，后端的计算机处理这些图片的时间则更长，并且体积笨重，需要配置更多的存储设备。

现有技术中，通常多目宽视场相机阵列拼接形成全景图像，或者采用单目鱼眼相机执行全景合成以获得高像素图像。例如，中国发明专利公开CN110830702A提出一种亿级像素阵列摄像装置及其摄像方法，以提高工业相机的分辨率，该摄像装置包括成像模块，用于获取待拍摄对象的光学信息，根据光学信息得到成像光子信息；传感器控制模块，用于对成像光子信息进行预处理，得到电子图像信号；采集模块，用于实时采集电子图像信号并进行编码处理后通过传输模块发送至处理模块；传输模块，用于将编码处理后的电子图像信号转换为光纤信号传输至处理模块；处理模块，用于接收光纤信号并进行处理以生成图像。

然而，现有技术中，为了确保相邻镜头视频画面间有足够的特征用以拼接融合，需要存储大量的重复像素特征以备后续的融合与重构；同时，现有这种相机的像素数通常不超过3400万，通常有很大的画面畸变。随着亿级像素图像传感器甚至更高分辨率的图像传感器的使用和组合，将导致极大的硬件存储和处理成本，按照现有的处理方式，画面畸变将更为严重。

发明内容

为解决上述技术问题，本发明提出一种亿级像素的图片与视频数据的处理方法和装置、实现所述方法的计算机终端设备以及存储介质。

在本发明的第一个方面，提出一种亿级像素的图片处理方法，所述方法的主要实现步骤如下：

通过多个传感器阵列获得多组图片数据；

识别所述多组图片数据中的多个重叠区域；至少两个传感器阵列针对同一个重叠区域产生两组图片数据；

作为本发明的第一个改进，基于所述至少两个传感器阵列的位置信息和分辨率信息，确定所述重叠区域的目标图片数据；

基于所述目标图片数据和所述多组图片数据，执行亿级像素的图像超分辨率重构。

作为上述改进的具体技术手段，所述基于所述至少两个传感器阵列的位置信息和分辨率信息，确定所述重叠区域的目标图片数据，具体包括：

确定所述至少两个传感器阵列的位置优先级和分辨率优先级；

基于所述位置优先级，和/或，分辨率优先级，确定所述重叠区域的目标图片数据。

所述位置优先级包括：针对同一个目标区域，越靠近目标区域的中间，位置优先级越低，越接近目标区域的两端，则位置优先级越高；

所述分辨率优先级包括：分辨率越高，优先级越高。

在该技术方案中，在分辨率的优先级差别不超过预定阈值的情况下，位置优先级的重要性高于分辨率优先级。

也就是说，在分辨率相差不大的情况下，优先考虑位置优先级。

由于全景图像的画面畸变通常产生于画面两端，上述处理方式可避免畸变在高分辨率像素场景下进一步扩大。

为实现第一个方面所述的方法，在本发明的第二个方面，提出一种亿级像素的图片处理装置，所述图片处理装置包括多个传感器阵列，所述多个传感器阵列在水平方向上分别拍摄不同角度的图片数据后，用于第一个方面所述的一种亿级像素的图片处理方法。

前述第一个方面和所述第二个方面的技术方案实现了对亿级像素图片的处理。作为进一步的改进，本发明还提出针对亿级像素视频的处理方法和装置。

在本发明的第三个方面，提出一种亿级像素的视频处理方法，所述方法包括通过视频采集装置获得多个不同角度的视频数据后，针对相邻两个角度的视频数据获得多个图片帧数据，针对所述多个图片帧数据，执行第一个方面所述的一种亿级像素的图片处理方法。

在本发明的第四个方面，提出一种亿级像素的视频处理装置，所述视频处理装置包括视频采集装置和视频帧分离装置，所述视频采集装置用于采集多个不同角度的视频数据，所述视频帧分离装置用于对相邻两个角度的视频数据执行帧分离获得多个图片帧数据，针对所述多个图片帧数据，执行第一个方面所述的一种亿级像素的图片处理方法；或者，实现第三个方面所述的亿级像素的视频处理方法。

需要指出的是，在上述第三个方面或者第四个方面所述的技术方案中，针对视频帧，处理的是多个不同角度的视频数据中获得的多个图片帧数据，也就是说，多个图片帧数据至少具有多个不同角度，而不是对所有视频帧进行处理，相对于现有技术，进一步降低了数据存储量和处理量。

在本发明的第五个方面，提供一种终端设备，例如可以是数据交互设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序可以是数据交互程序，所述处理器执行所述计算机程序时，实现上述第三个方面所述方法的全部或者部分步骤。

在本发明第六个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述第三个方面所述方法的全部或者部分步骤。

针对亿级像素的图像采集设备获取的图像像素数据，本发明通过位置优先或者分辨率优先的方式，避免了数据的重复存储；同时，位于位置优先级更重要的方式，避免了现有技术中全景图像融合时产生的两端失真现象。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种亿级像素的图片处理方法的流程示意图；

图2是图1所述方法通过计算机流程语言实现的伪代码流程图；

图3是图1所述方法中多个传感器阵列产生的重叠区域的示意图；

图4是本发明一个实施例的一种亿级像素的图片处理装置的结构示意图；

图5是图4所述图片处理装置使用的相机的外观示意图；

图6是本发明一个实施例的一种亿级像素的视频处理方法的流程示意图；

图7是本发明一个实施例的一种亿级像素的视频处理装置的结构示意图；

图8是实现图1、图2或图6所述方法的全部或者部分步骤的计算机设备的结构图；

图9（A）、图9（B）是现有技术的全景效果图与本发明技术方案的实现效果对比图。

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

首先，介绍本发明的各个实施例的部分术语含义以及数学符号表达含义。

阵列：是将多个元器件按照一定的形状或者规则排布在一起形成的元件阵列。

本发明中，每个传感器阵列，就是将多个图像采集元件（例如感光芯片）按照一定的规则排布形成图像传感器阵列，通过多个图像采集元件可以提高图像采集的像素数，在本发明中，结合上下文，某些情况下像素数目可以等同于分辨率；

向上取整与向下取整：

在本发明的各个实施例中，

表示向下取整；

表示向上取整。

举例来说，

，

；

。

在此基础上，介绍本发明的各个不同实施例。

参见图1，示出一种亿级像素的图片处理方法，其特征在于，所述方法包括：

通过多个传感器阵列获得多组图片数据；

基于所述至少两个传感器阵列的位置信息和分辨率信息，确定所述重叠区域的目标图片数据；

图1所述方法中，所述多个传感器阵列为图像采集传感器，至少一个图像传感器的分辨率大于1亿；

优选的，所述多个传感器阵列的分辨率均大于1亿。

作为更具体的例子，每个传感器阵列均为亿级像素宽视场摄像机，相机视场角可达到180°-360°，且相机的像素数达到1亿以上，且可根据需要扩展至更高分辨率。

所述基于所述至少两个传感器阵列的位置信息和分辨率信息，确定所述重叠区域的目标图片数据，具体包括：

所述分辨率优先级包括：分辨率越高，优先级越高。

图1所述方法可以通过图像编程方式，通过计算机程序指令的形式自动化的实现。

优选的，为更好的描述图1的具体实现方式，采用特征参数的方式进一步描述如下，图1所述方法包括如下步骤：

所述方法包括：

S1：通过多个传感器阵列获得多组图片数据；

S2：识别所述多组图片数据中的多个重叠区域；至少两个传感器阵列针对同一个重叠区域产生两组图片数据；

S3：基于所述至少两个传感器阵列的位置信息和分辨率信息，确定所述重叠区域的目标图片数据；

S4：基于所述目标图片数据和所述多组图片数据，执行亿级像素的图像超分辨率重构。

其中，所述步骤S1具体包括：

通过N个传感器阵列A₁、A₂、…、A_N获得N组图片数据集IMG₁、IMG₂、…、IMG_N；

所述步骤S2具体包括：

识别出传感器阵列A_i产生的图片数据集IMG_i与传感器阵列A_j产生的图片数据集IMG_j的至少一个重叠区域Q；

其中，传感器阵列A_i和传感器阵列A_j为N个传感器阵列A₁、A₂、…、A_N中的任意两个传感器，并且传感器阵列A_i和传感器阵列A_j存在相同的图像采集区域。

所述步骤S3包括：

确定所述传感器阵列A_i针对所述重叠区域Q产生的图片数据集Q_i以及所述传感器阵列A_j针对所述重叠区域Q产生的图片数据集Q_j；

将所述图片数据集Q_i或者图片数据集Q_j之一作为所述重叠区域Q的目标图片数据集Q_v；

所述步骤S4包括：

获取待处理的亿级像素图像；所述待处理的亿级像素图像包括所述目标图片数据和所述多组图片数据的部分子集数据；

将所述待处理亿级像素图像输入超分辨率重构模型，利用所述超分辨率重构模型的特征提取网络对所述待处理亿级像素图像进行多尺度特征提取及扩展图像通道，得到重建特征图；

利用所述超分辨率重构模型的子像素卷积层对所述重建特征图进行放大，得到超分辨率的十亿级像素重构图像。

为更好的描述图1的具体实现方式，接下来参见图2。图2是图1所述方法通过计算机流程语言实现的伪代码流程图。

在图2中，示意性的示出，所述图片处理方法包括如下步骤（图2中未示出步骤标号1-6）：

1-确定传感器阵列A_i产生的图片数据集IMG_i；

2-确定传感器阵列A_j产生的图片数据集IMG_j；

可以理解，“1-确定传感器阵列A_i产生的图片数据集IMG_i”以及“2-确定传感器阵列A_j产生的图片数据集IMG_j”这两条伪代码可以并行执行；

3-识别出传感器阵列A_i产生的图片数据集IMG_i与传感器阵列A_j产生的图片数据集IMG_j的至少一个重叠区域Q；

4-确定所述传感器阵列A_i针对所述重叠区域Q产生的图片数据集Q_i；

5-确定所述传感器阵列A_j针对所述重叠区域Q产生的图片数据集Q_j；

可以理解，“4-确定所述传感器阵列A_i针对所述重叠区域Q产生的图片数据集Q”以及“5-确定所述传感器阵列A_j针对所述重叠区域Q产生的图片数据集Q_j”这两条伪代码可以并行执行；

6-执行亿级像素的图像超分辨率重构。

图3是图1所述方法中多个传感器阵列产生的重叠区域的示意图。

作为图3的更具体的实现例子，所述N个传感器阵列A₁、A₂、…、A_N在水平方向上分别拍摄不同角度的图片数据。

如前所述，每个传感器阵列均为亿级像素宽视场摄像机，相机视场角可达到180°-360°，且相机的像素数达到1亿以上，且可根据需要扩展至更高分辨率。

在硬件上，传感器阵列构成的相机由多个镜头组成，各镜头拍摄的视频画面在垂直方向上一致，在水平方向上分别拍摄不同角度，各相机拍摄画面有一定重叠区，确保相邻镜头视频画面间有足够的特征用以拼接融合。

在一个实施例中，所述将所述图片数据集Q_i或者图片数据集Q_j之一作为所述重叠区域Q的目标图片数据集Q_v，具体包括：

若所述传感器阵列A_i的分辨率大于所述传感器阵列A_j的分辨率，则将所述图片数据集Q_i作为所述重叠区域Q的目标图片数据集Q_v。

在另一个实施例中，所述N个传感器阵列A₁、A₂、…、A_N在水平方向上分别拍摄不同角度的图片数据；

所述将所述图片数据集Q_i或者图片数据集Q_j之一作为所述重叠区域Q的目标图片数据集，具体包括：

若所述

或者

，则将所述图片数据集Q_i作为所述重叠区域Q的目标图片数据集Q_v。

作为进一步的优选，针对上述集合，定义如下参数：

所述

，

，

定义集合

，其中，

，

，

，

；其中，

为空集；即集合

为全集

的余集，集合

为全集

的余集。

则所述基于所述目标图片数据和所述多组图片数据，执行亿级像素的图像超分辨率重构，具体包括：

若所述图片数据集Q_i作为所述重叠区域Q的目标图片数据集Q_v，

则基于图片数据集IMG_i和集合

执行图片数据集IMG_i与图片数据集IMG_j之间的亿级像素的图像超分辨率重构，所述重构包括图像融合过程与分辨率扩增过程。

若所述图片数据集Q_j作为所述重叠区域Q的目标图片数据集Q_v，

则基于图片数据集IMG_j和集合

执行图片数据集IMG_i与图片数据集IMG_j之间的亿级像素的图像超分辨率重构；所述重构包括图像融合过程与分辨率扩增过程。

可见，通过位置优先或者分辨率优先的方式，避免了数据的重复存储；同时，位于位置优先级更重要的方式，避免了现有技术中全景图像融合时产生的两端失真现象。

在上述实施例中，作为优选，N为大于1的整数，例如，N=10。

接下来参见图4，图4示出一种亿级像素的图片处理装置，所述图片处理装置包括多个传感器阵列，所述多个传感器阵列在水平方向上分别拍摄不同角度的图片数据后，用于实现图1所述的一种亿级像素的图片处理方法。

在具体结构上，参见图5所示的外观示意图，每个传感器阵列构成的相机整体由一个底面腔体、内部用于固定法兰等部件的支撑架和上盖组成。底面腔体前部使用圆弧形设计，根据镜头数量留有圆形孔，孔的直径根据不同镜头视野范围确定，视野范围越大，孔的直接越大。孔的外侧有平台，用于粘贴玻璃，玻璃外侧用圆环固定。

图6是本发明一个实施例的一种亿级像素的视频处理方法的流程示意图。

图6示出一种亿级像素的视频处理方法，所述方法包括通过视频采集装置获得多个不同角度的视频数据后，针对相邻两个角度的视频数据获得多个图片帧数据，针对所述多个图片帧数据，执行前述的一种亿级像素的图片处理方法。

图7是本发明一个实施例的一种亿级像素的视频处理装置的结构示意图。

图7中，一种亿级像素的视频处理装置包括视频采集装置和视频帧分离装置，所述视频采集装置用于采集多个不同角度的视频数据，

所述视频帧分离装置用于对相邻两个角度的视频数据执行帧分离获得多个图片帧数据，针对所述多个图片帧数据，执行前述的一种亿级像素的图片处理方法；或者，实现前述的亿级像素的视频处理方法。

需要指出的是，在图6或图7的实施例中，针对视频帧，处理的是多个不同角度的视频数据中获得的多个图片帧数据，也就是说，多个图片帧数据至少具有多个不同角度，而不是对所有视频帧进行处理，相对于现有技术，进一步降低了数据存储量和处理量。

需要指出的是，图1、图2或图6所述方法、流程，均可以通过计算机程序指令自动化的实现。因此，参见图8提供一种电子计算机设备，该电子设备可以是数据交互设备，包括总线、处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。

该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现前述方法实例的步骤。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

图9（A）给出了现有技术的鱼眼摄像头的全景效果图和图9（B）给出了本发明技术方案实现的十亿级像素的全景重构场景图。

可以看到，图9（A）采用的鱼眼相机，分辨率低，而且画面畸变非常严重；图9（B）则在实现较大全景视野范围的同时，图像变形幅度非常小，为肉眼可接受的程度。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。