CN109905632A - 一种超高清阵列分布式显示系统及其显示方法 - Google Patents

Abstract

本发明所涉及的一种超高清阵列分布式显示系统，包括阵列相机和显示阵列，所述阵列相机包含若干微相机，所述显示阵列设有与微相机对应的显示单元，所述微相机后端设有图像处理单元，所述显示单元前端设有解码处理单元，每个微相机的数据信号通过平行的单通道传输到对应的显示单元，由此构成分布式显示系统。

Description

一种超高清阵列分布式显示系统及其显示方法

技术领域

本发明涉及成像及显示技术领域，尤其是一种超高清阵列分布式显示系统及其显示方法。

背景技术

在显示技术领域，为了实现更大尺寸以及更大分辨率的显示系统，通常会采用阵列显示技术，即将多块显示屏采用阵列式布置。每块显示屏可以单独接收并显示视频流信息，或者经过中心处理单元拼接处理后由多块显示屏接收并显示同一视频流信息。显示屏作为图像采集生成的相机和作为图像显示的显示屏都有各自的分辨率，例如4K，HD或者SD等等，在理想状态下，如图1所示，相机和显示屏的分辨率刚好相同，相机和显示屏的像素点都一一对应，此时相机生成的图像可以直接映射到显示屏上。但是，如果相机和显示屏的分辨率不同，相机的视频流就需要降低采样率，增加采样率，或者进行裁剪处理，以适配显示屏的分辨率，如图2所示，多路的视频流信息被传输到中心处理单元，然后进行渲染和拼接，处理后的视频再映射到显示终端，显示终端可以是一路或者多路。通过中心处理单元对视频的转换处理，可以解决相机采样生成的图像与显示屏分辨率不一致的问题，尤其是显示屏分辨率低于相机分辨率的显示设备。

但随着阵列式相机的出现，由单主机，即单个中心处理单元进行视频转换的处理方式遇到了瓶颈。由于阵列式相机采用多个小镜头来代替单个大镜头，采取类似昆虫复眼的原理，相比于传统相机，阵列式相机拍摄的视野更大，像素更高。若需要将超高像素相机的图像映射到与其像素接近的超高像素显示装置中，就需要用到阵列显示技术，将多个像素较低的显示装置拼接成一个超高像素的显示系统。此时，若继续采用单主机对阵列相机采集的高清视频转换，需要更多高性能的图形处理单元来同步工作，同时，更大的数据流量也会增加数据传输的硬件成本。因此，单主机设计会增加设计难度，而且其应用也会收到硬件性能以及造价的限制。

此外，阵列显示技术的应用主要是实现大尺寸的显示系统，但是一般这些显示系统都只能从比较远的距离进行观测。电视电影工程协会推荐的参数是一个显示设备能够覆盖观察者30的视野，也就是说一个32寸的显示器的最佳观测距离是1.4米，64寸的显示器的最佳观测距离是2.8米，以此类推。因此，如果要在10米的距离进行观测，我们就需要9台64寸的显示器组成3x3的阵列，或者36台32寸的显示器组成6x6的阵列。

另外一个比较重要的参数是观测的最近点距离。从10m的距离观测一个32寸的屏幕，屏本身的总像素数可能会远远超过实际有效的像素数。人眼的视觉分辨率大概是300，相应的在1的距离上的空间分辨率如下是，10m距离的空间分辨率是。一个32寸的4K显示器的像素点距是0.2，因此人在1.4m的距离观测的时候，屏对人眼可以分辨的最小结构以2倍的倍数进行了过采样。如果观察者距离屏幕的距离大于0.7，观察者不会注意到分辨率的变化。但是由于超高像素的图像还没有普及，所以比较普遍的阵列显示墙的总分辨率会在4K左右，其适用的观测距离也比较远。

发明内容

本发明所要解决的技术问题克服现有技术的不足，提供一种超高清阵列分布式显示系统及其显示方法，分布式的设计架构能将系统的功耗降低，避免全局的数据传输以及拼接，使得超高清阵列分布式系统的应用更加广泛。

本发明提供的技术方案如下：

一种超高清阵列分布式显示系统，包括阵列相机和显示阵列，所述阵列相机包含若干微相机，所述显示阵列设有与微相机对应的显示单元，所述微相机后端设有图像处理单元，所述显示单元前端设有解码处理单元，每个微相机的数据信号通过平行的单通道传输到对应的显示单元，由此构成分布式显示系统。

所述微相机采用不同焦距的镜头。

所述显示阵列采用不同尺寸的显示单元，且位于显示阵列边缘的显示单元的尺寸大于显示阵列中心区域的显示单元。

一种超高清阵列分布式显示方法，具体步骤如下：

S01、使用阵列相机拍摄图像，得到每个微相机的图像数据信息；

S02、图像处理单元将相邻微相机的图像之间进行拼接处理，然后将图像信息发送至解码处理单元；

S03、解码处理单元接收对应微相机的图像处理单元发送的图像信息，并以相邻显示单元为边界经过变形匹配后进行二次拼接处理；然后将图像信息映射在对应的显示单元上。

具体的，在步骤S02中，所述拼接处理具体方式为将每个微相机子视场的重叠区域进行变形处理，从而实现将相邻图像的共同的特征点重合。

进一步的，每个图像的形变方式都是通过图像变换计算得到的，例如仿射变换能等价作用于交叠区域的两个部分。然后通过对限定区域函数进行变换区域限定，然后对限定区域的重合图像进行额外的变换，距离重合区域较远的的非重合区域所受到的影响就会被减少。因此，假如一个图像中有多个重合区域，这些区域都可以互不影响地进行变换。在图像合成的过程中，重合部分的图像可以通过迭代算法进行持续的变换优化，从而改善图像拼接的效果。变换中我们用到了“区域限定函数”，因此拼接的图像可以以视频的码率进行。这个限定的区域可能包含多个图像的重合像素，或者仅仅用一个微相机图像的重叠区域来标定多个相机的重合区域。

具体的，在步骤S03中，以每个微相机图像之间的重合以及其中的特征点，并以相邻显示单元的边界作为特征线，对微相机图像进行逐帧拼接，对图像经过仿射变换，确保相机图像在边界之间的过渡平滑，保证相机的图像精准的投射到对应的显示单元。

进一步的，在步骤S03中，根据显示单元之间的间隙以及位置关系，还可以将微相机的图像进行位移来适应显示单元。

附图说明

图1是现有技术1的系统示意图

图2是现有技术2的系统示意图

图3是本发明的系统示意图

图4是放大效应示意图

图5是显示视场示意图

图6是显示单元图像拼接示意图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

一种超高清阵列分布式显示系统，包括阵列相机和显示阵列，所述阵列相机包含若干微相机，所述显示阵列设有与微相机对应的显示单元，所述微相机后端设有图像处理单元，所述显示单元前端设有解码处理单元，每个微相机的数据信号通过平行的单通道传输到对应的显示单元，由此构成分布式显示系统。

所述微相机采用不同焦距的镜头。

所述显示阵列采用不同尺寸的显示单元，且位于显示阵列边缘的显示单元的尺寸大于显示阵列中心区域的显示单元。

比较特殊的情况下，我们还需要将超高像素相机的图像映射到与其像素数接近的超高像素阵列显示装置中。但是由于还不存在像素素超过1亿的单个相机单元，所以适配的超过1亿像素的显示单元还不存在。在现有的硬件基础之上，要设计这样一个超高清显示系统，就需要用到阵列显示技术，将很多个像素较低的显示装置拼接成为一个超亿级像素的显示系统。如图3所示，我们将这个系统称为“放大视窗”。在这个系统，一系列的阵列微相机的实时视频被映射到像素数相近的阵列显示设备上，然后当观察者接近这个显示系统的过程中，就可以出现一个放大效应。

在上图的架构中，阵列相机的视频流被直接传输到阵列显示中。每一个微相机的视场被分配到不同的角度上以组成一个更大的视场。由于采用了分布式的处理方式，因此在每个微相机的后端是本地图像处理单元，相对应的是在每个显示单元之前都有一个解码/处理单元。比较理想的情况下，相机的视频传输协议是网络传输协议，比如RTSP协议。每个相机的信号通过平行的单通道传输到对应的显示单元。

上述的单主机的架构与“放大视窗”的架构相比，单主机设计会增加设计上的难度，而且会受到硬件以及造价的限制。例如，对于单主机系统，要支持阵列显示就需要多个高性能的图形处理单元来同步工作。同时，作为数据集散单元的主机来说，很大的数据流量也会增加传输的硬件成本。“放大视窗”的架构可以避免全局的数据传输以及拼接，从而解决了硬件上的限制。同时，分布式的设计架构能将系统的功耗降低，受到的尺度限制也比集中式的显示技术小，这样的架构比集中式的应用更多也更广。

在“放大视窗”的架构中，要达到预期的效果，相机阵列以及显示设备的结构、图像“全景球面”映射、拼接以及渲染软件都需要很精密的设计。这里“全景球面”代指阵列相机的视野，通过多种方式将一个球面视野映射到平面的显示设备中。观察者对大型的显示墙的观察的方式相对于传统的单个小型显示器有很大区别。如图4所示，观察者从距离d透过窗户观察外边的场景，距离窗外的场景的距离是z，场景的缩放比例是z/(z-d)，近似为(1-d/z)。当观察者和窗户的距离变化了δd，因为z＞＞d，而且z＞＞δd，所以这个缩放效应非常不明显。假如我们将这个窗户换成一个阵列显示或一个显示系统，观察者在靠近或远离的时候，这个缩放效应会变得非常明显。而且，如果显示系统可以将拍摄的场景缩放到通过实际的窗户站在距离d观测的尺寸，当观察者的距离变化为δd的时候，角放大比例就是d/(d+δd)。但是在实际情况中，观察者距离屏幕的距离有一个最小值d_min，相应最大的放大比例是d/d_min。例如，当d＝10m，d_min＝0.5m，观察者可以通过接近屏幕可以产生的放大效应是在20x。

由于显示阵列是一个平面，而观察者的不同视角组成的面是一个球面，将球面图像映射到平面的显示系统中也需要对图像进行合理的变换。如图5所示，要实现“放大视窗”效应，我们的方案是根据阵列相机的方位来优化计算出一个最佳观测点(在阵列显示系统中分线上并且距离屏d的位置)。阵列相机的架设点可以在屏幕的背后，或者架设在很远的距离，以阵列显示系统作为一个虚拟窗口。

当观察者从屏的中心移到边缘的时候，观察的视角就变的非常倾斜。因此在这个过程中，我们可以适当减小边缘相机的视场角，这样能在保持显示器的显示像素数不变的情况下适配微相机的视场。具体的实现方式可以是通过改变镜头的焦距来改变微相机的视场角。同时这样的方式会使得显示器边缘的放大倍数比显示系统中心区域的放大倍数更高。如图5所示，为了保证在观察者靠近显示系统的过程中，每个部分的放大效应相近，边缘的显示单元需要有更大的面积。

一种超高清阵列分布式显示方法，具体步骤如下：

S01、使用阵列相机拍摄图像，得到每个微相机的图像数据信息；

S02、图像处理单元将相邻微相机的图像之间进行拼接处理，然后将图像信息发送至解码处理单元；

S03、解码处理单元接收对应微相机的图像处理单元发送的图像信息，并以相邻显示单元为边界经过变形匹配后进行二次拼接处理；然后将图像信息映射在对应的显示单元上。

具体的，在步骤S02中，所述拼接处理具体方式为将每个微相机子视场的重叠区域进行变形处理，从而实现将相邻图像的共同的特征点重合。

进一步的，每个图像的形变方式都是通过图像变换计算得到的，例如仿射变换能等价作用于交叠区域的两个部分。然后通过对限定区域函数进行变换区域限定，然后对限定区域的重合图像进行额外的变换，距离重合区域较远的的非重合区域所受到的影响就会被减少。因此，假如一个图像中有多个重合区域，这些区域都可以互不影响地进行变换。在图像合成的过程中，重合部分的图像可以通过迭代算法进行持续的变换优化，从而改善图像拼接的效果。变换中我们用到了“区域限定函数”，因此拼接的图像可以以视频的码率进行。这个限定的区域可能包含多个图像的重合像素，或者仅仅用一个微相机图像的重叠区域来标定多个相机的重合区域。

具体的，在步骤S03中，以每个微相机图像之间的重合以及其中的特征点，并以相邻显示单元的边界作为特征线，对微相机图像进行逐帧拼接，对图像经过仿射变换，确保相机图像在边界之间的过渡平滑，保证相机的图像精准的投射到对应的显示单元。

如图6所示，其中红色的部分是单个相机的视场。与阵列相机拼接过程相似，利用每个相机图像之间的重合以及其中的特征点，我们可以对相机图像进行逐帧拼接。相邻相机之间的边界现在变成了显示单元的边界，我们称这个边界为特征线。微相机的图像也经过仿射变换，确保相机在边界之间的过渡比较平滑。这样的流程能保证相机的图像精准地投射到显示系统中，阵列显示系统如图6中的黑色部分所示。

进一步的，在步骤S03中，根据显示单元之间的间隙以及位置关系，还可以将微相机的图像进行位移来适应显示单元。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种超高清阵列分布式显示系统，包括阵列相机和显示阵列，所述阵列相机包含若干微相机，所述显示阵列设有与微相机对应的显示单元，所述微相机后端设有图像处理单元，所述显示单元前端设有解码处理单元，每个微相机的数据信号通过平行的单通道传输到对应的显示单元，由此构成分布式显示系统。

2.如权利要求1所述的一种超高清阵列分布式显示系统，其特征在于：所述微相机采用不同焦距的镜头。

3.如权利要求1所述的一种超高清阵列分布式显示系统，其特征在于：所述显示阵列采用不同尺寸的显示单元，且位于显示阵列边缘的显示单元的尺寸大于显示阵列中心区域的显示单元。

4.一种超高清阵列分布式显示方法，具体步骤如下：

S01、使用阵列相机拍摄图像，得到每个微相机的图像数据信息；

S02、图像处理单元将相邻微相机的图像之间进行拼接处理，然后将图像信息发送至解码处理单元；

S03、解码处理单元接收对应微相机的图像处理单元发送的图像信息，并以相邻显示单元为边界经过变形匹配后进行二次拼接处理；然后将图像信息映射在对应的显示单元上。

5.如权利要求4所述的一种超高清阵列分布式显示系统，其特征在于：在步骤S02中，所述拼接处理具体方式为将每个微相机子视场的重叠区域进行变形处理，从而实现将相邻图像的共同的特征点重合。

6.如权利要求5所述的一种超高清阵列分布式显示系统，其特征在于：每个图像的形变方式都是通过图像变换计算得到的，例如仿射变换能等价作用于交叠区域的两个部分。然后通过对限定区域函数进行变换区域限定，然后对限定区域的重合图像进行额外的变换，距离重合区域较远的的非重合区域所受到的影响就会被减少。因此，假如一个图像中有多个重合区域，这些区域都可以互不影响地进行变换。在图像合成的过程中，重合部分的图像可以通过迭代算法进行持续的变换优化，从而改善图像拼接的效果。变换中我们用到了“区域限定函数”，因此拼接的图像可以以视频的码率进行。这个限定的区域可能包含多个图像的重合像素，或者仅仅用一个微相机图像的重叠区域来标定多个相机的重合区域。

7.如权利要求4所述的一种超高清阵列分布式显示系统，其特征在于：在步骤S03中，以每个微相机图像之间的重合以及其中的特征点，并以相邻显示单元的边界作为特征线，对微相机图像进行逐帧拼接，对图像经过仿射变换，确保相机图像在边界之间的过渡平滑，保证相机的图像精准的投射到对应的显示单元。

8.如权利要求6所述的一种超高清阵列分布式显示系统，其特征在于：在步骤S03中，根据显示单元之间的间隙以及位置关系，还可以将微相机的图像进行位移来适应显示单元。