CN110139045A - 一种亿级像素视频采集、处理、展示方法，装置及系统 - Google Patents

Abstract

本发明提供了一种亿级像素视频采集、处理、展示方法，装置及系统，其中方法包括：将获取的目标场景的全局图像分割为n个子图像；基于所述n个子图像，采集与所述n个子图像中的场景一一对应的n个局部图像；将所述n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；将n个细节图像输出。通过本发明所提供的系统，可以实现亿级甚至十亿级以上像素视频的采集和实时播放。

Description

一种亿级像素视频采集、处理、展示方法，装置及系统

技术领域

本发明涉及图像领域，尤其涉及一种亿级像素视频的采集，处理，展示。

背景技术

现有技术中，受CMOS加工工艺影响，帧频不低于25帧的超高分辨率CMOS加工特别复杂，成品率极低，亿级像素视频成像CMOS在现有技术条件下无法生产。视频采集采用单CMOS方式，商用级别最大为4K，即3840*2160，约八百万像素；实验室级别最大为8K，即7680*4320，约三千二百万像素。视频拼接采用芯片硬件拼接实现，现有技术条件下，最大可实现4路4K视频拼接，无法扩展。

在视频展示方面，如LED展示墙，集成电视墙等，可以通过拼接处理器对视频进行分割，将分割后的视频输出到展示设备，但拼接处理器的输入源需要是一个完整的图像信号，而且拼接处理器并不能对亿级像素的源图像进行实时处理。

发明内容

为了解决上面描述的问题，本发明提供一种亿级像素视频采集、处理、展示方法，装置及系统，包括：

一种亿级像素视频采集、处理、展示方法，包括：

将获取的目标场景的全局图像分割为n个子图像；

基于n个子图像，采集与n个子图像中的场景一一对应的n个局部图像；

将n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；

将n个细节图像输出。

n个子图像大小相同。

将n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像包括：

提取所述子图像特征块及子图像颜色特征；

对子图像中场景对应的局部图像进行网格化，得到局部图像网格，以子图像特征块为参考，对局部图像网格进行裁剪、平移、旋转、拉伸处理，得到局部图像网格矩阵；

提取局部图像颜色特征，基于子图像颜色特征计算差值得到偏色矩阵；

将网格矩阵应用到局部图像，得到与对应子图像内容一致的局部图像；

将偏色矩阵应用到与对应子图像内容一致的局部图像，得到与对应子图像内容及色调一致的细节图像。

将n个细节图像输出包括，将n个细节图像输出到n个显示设备，n个显示设备按n个子图像顺序排列。

一种亿级像素视频采集、处理、展示装置，包括：

全局图像分割模块：用于将获取的目标场景的全局图像分割为n个子图像；

局部图像采集模块：用于采集与n个子图像中的场景一一对应的n个局部图像；

图像处理模块：将n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；；

图像输出模块：用于将n个细节图像输出。

n个子图像大小相同。

图像处理模块包括：

提取子图像特征块及子图像颜色特征；

对子图像中场景对应的局部图像进行网格化，得到局部图像网格，以所述子图像特征块为参考，对局部图像网格进行裁剪、平移、旋转、拉伸处理，得到局部图像网格矩阵；

提取局部图像颜色特征，基于子图像颜色特征计算差值得到偏色矩阵；

将网格矩阵应用到局部图像，得到与对应子图像内容一致的局部图像；

将偏色矩阵应用到与对应子图像内容一致的局部图像，得到与对应子图像内容及色调一致的细节图像。

图像输出模块包括n个显示设备，n个显示器按所述n个子图像顺序排列。

一种亿级像素视频采集、处理、展示系统，包括：全局图像采集设备，处理器，局部图像采集设备，显示设备；

全局图像采集设备用于获取目标场景的全局图像；

处理器：将获取的目标场景的全局图像分割为n个子图像；

局部图像采集设备，基于n个子图像，采集与n个子图像中的场景一一对应的n个局部图像；

处理器将n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；

将n个细节图像输出；

显示设备：接收处理器输出的n个细节图像，并将n个细节图像按n个子图像的排列顺序进行显示。

通过本发明所述的方法，装置及系统，可以实现亿级甚至十亿级以上像素视频的采集和展示，并支持实时播放，另外，本发明所述系统可以自由扩展，满足更高像素图像的采集和展示需求，扩展性好，成本低。

附图说明

并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。

图1为根据一示例性实施例示出一种亿级像素视频采集、处理、展示方法的流程图；

图2为根据一示例性实施例示出的全局图像示意图；

图3为根据一示例性实施例示出的局部图像示意图；

图4为根据一示例性实施例示出的细节图像示意图；

图5为根据一示例性实施例示出的高分辨率图像展示示意图；

图6为根据一示例性实施例示出一种亿级像素视频采集、处理、展示装置的结构图；

图7为根据一示例性实施例示出一种亿级像素视频采集、处理、展示系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是一种亿级像素视频采集、处理、展示方法的流程图，如图1所示，亿级像素视频采集、处理、展示方法，包括：

步骤101，将获取的目标场景的全局图像分割为n个子图像；在实际应用中，可以使用焦距较短全局相机，获取更大的视角内的场景的全局图像。但全局图像的分辨率较低。

步骤102，基于n个子图像，n个细节相机分别采集与n个子图像中的场景一一对应的n个局部图像；为了获取高分辨率的图像，采用的细节相机为长焦距相机，可以获取更细节的图像信息，细节相机按子图像中的场景进行采集，且细节相机所采集的场景应包括子图像中的全部场景，并大于子图像中的场景，避免在后期展示的时候出现图像缺失；

步骤S103,将n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；对细节相机采集到的局部图像进行编辑，使局部图像中的场景和该场景对应的子图像中的场景内容一致，局部图像和子图像的色调一致；

步骤S104，将n个细节图像输出。通过步骤S103，得到n个与对应的子图像内容一致，色调一致的细节图像，将n个细节图像输出到n个显示设备，一个细节图像对应一个显示设备，只要n个显示设备的排列顺序和对应的n个子图像的排列顺序一致，且占全局图像的比例一致，就可以输出和全局图像内容一致，色调一致的高分辨率的图像。

为了简化图像采集，处理和展示过程，在对全局图像分割时，采用等比例分割，使n个子图像大小相同。这样就可以采用相同的细节相机和相同的显示设备进行视频的采集和展示，使整个系统更容易布置和操作。

其中，在步骤S103中，将n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像包括：

提取子图像特征块及子图像颜色特征；

对子图像中场景对应的局部图像进行网格化，得到局部图像网格，以子图像特征块为参考，对局部图像网格进行裁剪、平移、旋转、拉伸处理，得到局部图像网格矩阵；

提取局部图像颜色特征，基于子图像颜色特征计算差值得到偏色矩阵；

将网格矩阵应用到局部图像，得到与对应子图像内容一致的局部图像；

将偏色矩阵应用到与对应子图像内容一致的局部图像，得到与对应子图像内容及色调一致的细节图像。

这样就得到了和子图像显示内容一致，色调一致的局部图像，但局部图像拥有更高的分辨率，而且各个局部图像可以完好的拼接，不会出现图像缺失和图像重叠现象。只要将n个局部图像按对应子图像的顺序排列，就可以组成一幅与原图像内容一致，色调一致，但分辨率更高的全局细节图像。

在本申请中，不需要对上述n个细节图像进行合成处理，而是将n个细节图像输出到n个显示设备，也是就说，一台细节摄像机对应一台显示设备，将n个细节摄像机获取的图像，按子图像的内容和色调进行调整后，直接通过显示设备输出到n个显示设备，n个显示设备按n个子图像顺序排列，就可以在输出端组合出高分辨率的图像。

通过以上描述，本申请中的亿级像素视频的采集，处理，展示方法，中间过程中的图像处理，只是基于单个细节相机的图像进行处理，不需要如图像合成中的大量的数据处理，可以实现实时的图像传输，同时，采用常规设备即可实现亿级像素视频的实时采集和播放；进一步地，通过简单地增加设备的数量，实现更高像素的视频采集和播放，可自由扩展至十亿级像素，扩展性非常好，并且成本较低。

举例说明：

全局图像如图2所示，将全局图像进行等比例分割，如图2中白色线条所示，将全局图像分割成2*2共4个子图像，以左上角第一个子图像为例，获取该子图像中的场景对应的局部图像，白色线框内为子图像所包含的场景，局部图像基于子图像，其包含的场景应该包括子图像中的全部场景并大于子图像中的场景，如图2中黑色线框中的场景，得到如图3所示的局部图像。这样相邻的局部图像之间会有重叠的区域，需要对局部图像进行编辑，将局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像，也就是图3中白色线框中的部分，是与图1中左上角的子图像内容一致，色调一致，但分辨率更高的细节图像，如图4所示；用同样的方法，对全局图像中的所有子图像对应的局部图像进行编辑，得到4个和对应子图像显示内容和色调一致的细节图像，将4个细节图像以和子图像相同的顺序输出到4个显示设备，得到和全局图像一致但分辨率更高的图像，如图5所示。

图6为一种亿级像素视频采集、处理、展示装置的结构图，如图6所示，亿级像素视频采集、处理、展示装置包括：

全局图像分割模块601：用于将获取的目标场景的全局图像分割为n个子图像；

局部图像采集模块602：用于采集与所述n个子图像中的场景一一对应的n个局部图像；

图像处理模块603：将所述n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；；

图像输出模块604：用于将n个细节图像输出。

其中，全局图像分割模块601将全局图像分割成的n个子图像大小相同。

图像处理模块603包括：

提取所述子图像特征块及子图像颜色特征；

对所述子图像中场景对应的局部图像进行网格化，得到所述局部图像网格，以所述子图像特征块为参考，对所述局部图像网格进行裁剪、平移、旋转、拉伸处理，得到局部图像网格矩阵；

提取局部图像颜色特征，基于所述子图像颜色特征计算差值得到偏色矩阵；

将所述网格矩阵应用到局部图像，得到与对应子图像内容一致的局部图像；

将所述偏色矩阵应用到所述与对应子图像内容一致的局部图像，得到与所述对应子图像内容及色调一致的细节图像。

图像输出模块包括n个显示设备，所述n个显示器按所述n个子图像顺序排列。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7为一种亿级像素视频采集、处理、展示系统的示意图，如图7所示，亿级像素视频采集、处理、展示系统包括包括：全局图像采集设备701，处理器700，局部图像采集设备702，显示设备703；

全局图像采集设备用于获取目标场景的全局图像；

处理器：将获取的目标场景的全局图像分割为n个子图像；

局部图像采集设备，基于所述n个子图像，采集与所述n个子图像中的场景一一对应的n个局部图像；

处理器将所述n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；

将n个细节图像输出；

显示设备：接收处理器输出的n个细节图像，并将所述n个细节图像按n个子图像的排列顺序进行显示。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明的意图也包含这些改动和变型在内。

Claims (9)

1.一种亿级像素视频采集、处理、展示方法，包括：

将获取的目标场景的全局图像分割为n个子图像；

基于所述n个子图像，采集与所述n个子图像中的场景一一对应的n个局部图像；

将所述n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；

将n个细节图像输出。

2.如权利要求1所述的亿级像素视频采集、处理、展示方法，其特征在于，所述n个子图像大小相同。

3.如权利要求1所述的亿级像素视频采集、处理、展示方法，其特征在于，所述将所述n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像包括：

提取所述子图像特征块及子图像颜色特征；

对所述子图像中场景对应的局部图像进行网格化，得到所述局部图像网格，以所述子图像特征块为参考，对所述局部图像网格进行裁剪、平移、旋转、拉伸处理，得到局部图像网格矩阵；

提取局部图像颜色特征，基于所述子图像颜色特征计算差值得到偏色矩阵；

将所述网格矩阵应用到局部图像，得到与对应子图像内容一致的局部图像；

将所述偏色矩阵应用到所述与对应子图像内容一致的局部图像，得到与所述对应子图像内容及色调一致的细节图像。

4.如权利要求1所述的亿级像素视频采集、处理、展示方法，其特征在于，所述将所述n个细节图像输出包括，将所述n个细节图像输出到n个显示设备，所述n个显示设备按所述n个子图像顺序排列。

5.一种亿级像素视频采集、处理、展示装置，包括：

全局图像分割模块：用于将获取的目标场景的全局图像分割为n个子图像；

局部图像采集模块：用于采集与所述n个子图像中的场景一一对应的n个局部图像；

图像处理模块：将所述n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；；

图像输出模块：用于将n个细节图像输出。

6.如权利要求5所述的亿级像素视频采集、处理、展示装置，其特征在于，所述n个子图像大小相同。

7.如权利要求5所述的亿级像素视频采集、处理、展示装置，其特征在于，所述图像处理模块包括：

提取所述子图像特征块及子图像颜色特征；

对所述子图像中场景对应的局部图像进行网格化，得到所述局部图像网格，以所述子图像特征块为参考，对所述局部图像网格进行裁剪、平移、旋转、拉伸处理，得到局部图像网格矩阵；

提取局部图像颜色特征，基于所述子图像颜色特征计算差值得到偏色矩阵；

将所述网格矩阵应用到局部图像，得到与对应子图像内容一致的局部图像；

将所述偏色矩阵应用到所述与对应子图像内容一致的局部图像，得到与所述对应子图像内容及色调一致的细节图像。

8.如权利要求5所述的亿级像素视频采集、处理、展示装置，其特征在于，所述图像输出模块包括n个显示设备，所述n个显示器按所述n个子图像顺序排列。

9.一种亿级像素视频采集、处理、展示系统，其特征在于，包括：全局图像采集设备，处理器，局部图像采集设备，显示设备；

全局图像采集设备用于获取目标场景的全局图像；

处理器：将获取的目标场景的全局图像分割为n个子图像；

局部图像采集设备，基于所述n个子图像，采集与所述n个子图像中的场景一一对应的n个局部图像；

处理器将所述n个局部图像中的每一个局部图像编辑为与该局部图像中的场景所对应的子图像内容及色调一致的细节图像；

将n个细节图像输出；

显示设备：接收处理器输出的n个细节图像，并将所述n个细节图像按n个子图像的排列顺序进行显示。