CN112363682B - 一种拼接显示屏图像显示处理方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种拼接显示屏图像显示处理方法、装置、系统及计算机可读存储介质，所述处理方法包括：获取每一拼接屏中灯点在显示空间中以观测模型建立的坐标系中的空间坐标；获取生成所述图像的成像相机模型数据，以及所述图像像素点在成像空间中以成像相机模型建立的坐标系中的像素坐标；建立像素坐标与空间坐标的映射模型；当接收到所述图像时，依据所述映射模型以及每一图像像素点的像素数据计算灯点的像素数据。由于建立了像素坐标与空间坐标的映射模型，当需要将图像通过拼接显示屏进行显示时，可以通过像素坐标的像素数据计算出拼接显示屏中对应灯点的像素数据，实现了对拼接显示屏中每一灯点的像素校正。

Description

一种拼接显示屏图像显示处理方法、装置、系统及计算机可读 存储介质

技术领域

本申请涉及拼接屏图像处理技术领域，尤其是涉及一种拼接显示屏图像显示处理方法、装置、系统及计算机可读存储介质。

背景技术

作为一种新型的传媒工具-LED显示屏，其技术发展已经非常成熟，在各个领域都有广泛的应用，基于不同应用场景，LED显示屏的形状及结构也愈发的趋于多样化，其中球形屏就是一个明显的例子。

例如在飞行模拟训练过程中，将一个模拟座椅设置在一个球形结构内部，球形结构内壁贴附LED显示屏，从而组成一个球形的屏幕，在球形的屏幕上显示模拟的飞行环境，从而起到对坐在模拟座椅上人员的飞行训练作用。

但是，一般的球形显示屏多采用若干梯形显示屏拼接组合形成一个完整的球形显示屏，拼接过程中多个梯形显示屏组成一个环状显示区域，多个环状显示区域相互拼接形成球形显示区域。拼接组成球形显示屏的梯形显示屏依据环状显示区域的数量需要有多种，而且大小不一。然而，一方面，多种大小不一的梯形显示屏增加了制作显示屏的模具消耗；另一方面，相邻的梯形显示屏之间都会有拼接缝，在图像显示过程中，两个大的梯形显示屏之间的拼接缝并不明显，但是小的梯形显示屏之间的拼接缝就会导致显示屏图像的显示效果受到影响。

为了解决上述技术问题，本领域技术人员想到了将戈德堡球形拼接方式应用到球形显示屏的拼接上，以降低球形显示屏中拼接缝对显示图像的影响，即通过多片五边形显示屏以及多片六边形显示屏拼接成一个球形的显示屏。

然而，这种球形显示屏的结构却因为使用上存在严重问题而并未被采用。原因如下：

在制作LED PCB板时，必须使用LED的控制芯片，目前的控制芯片只支持矩形阵列的灯点布局，如果PCB不是矩形的，也要用一个矩形的包络区域与之对应，这个控制芯片才能正常工作。为了满足控制芯片的这一要求，以前在设计led球幕时采用的是梯形的PCB板方案，即制作梯形显示屏。梯形的PCB板灯点对应着其矩形的包络区域中的像素，从像素坐标上来看，其所形成的梯形显示屏中的像素坐标对应显示其矩形包络区域中每一个点需要显示的图像，使得梯形显示屏拼接而成的球形显示屏仍是一个完整的、连续的图像，只需要再采用普通的图像几何校正方法校正整体图像即可。

如果采用五边形与六边形拼接的方式组成球形显示屏，由于五边形或六边形在对应矩形的包络区域后，其拼接球形显示屏过程中需要旋转五边形或六边形的显示屏的角度，使得相邻的五边形或六边形的显示屏所显示的图像不能拼接成连续的图像，在将图像输入到球形显示屏显示时，球形显示屏显示的图像是一个混乱的图像。

为此，本领域技术人员亟需要一种球形显示屏的显示方法，且球形显示屏是五边形显示屏与六边形显示屏拼接而成的。

发明内容

为了实现多种多屏拼接屏的图像显示，本申请提供了一种拼接显示屏图像显示处理方法、装置、系统及计算机可读存储介质。

第一方面，本申请提供一种拼接显示屏图像显示处理方法，所述拼接显示屏由多块拼接屏拼接而成，所述处理方法包括：

获取每一拼接屏中灯点在显示空间中以观测模型建立的坐标系中的空间坐标；

获取生成所述图像的成像相机模型数据，以及所述图像像素点在成像空间中以成像相机模型建立的坐标系中的像素坐标；

利用差值算法，建立像素坐标与空间坐标的映射模型；

当接收到所述图像时，依据所述映射模型以及每一图像像素点的像素数据计算灯点的像素数据。

通过采用上述技术方案，由于建立了像素坐标与空间坐标的映射模型，当需要将图像通过拼接显示屏进行显示时，可以通过像素坐标的像素数据计算出拼接显示屏中对应灯点的像素数据，实现了对拼接显示屏中每一灯点的像素校正。在拼接显示屏拼接过程中，即使拼接屏的空间位置旋转变化，也不会影响到拼接显示屏对图像的整体显示效果。从而实现了多种多屏拼接屏的图像显示。

在一较佳示例中，所述拼接屏为五边形屏或六边形屏，所述拼接显示屏为多个五边形屏和六边形屏以戈德堡多面体的拼接方式拼接而成的球形屏。

通过采用上述技术方案，球形屏作为一种常用的曲面屏，特别是在虚拟环境显示应用过程中，受限于显示屏的组装方式以及整体画面显示的要求，通过五边形屏和六边形屏拼接成球状的方式实现困难，本方案的设计实现了五边形屏和六边形屏拼接成戈德堡球形屏的完整图像显示目的。

在一较佳示例中，所述成像相机模型数据包括图像生成过程中的相机镜头参数和相机法线参数。

在一较佳示例中，所述拼接显示屏对应有一个或多个成像相机模型，并在计算每一灯点的像素数据后，依据所述相机模型对应输出一个或多个视频流。

通过采用上述技术方案，将一个或多个视频流通过拼接显示屏进行显示，增加了拼接显示屏的图像输入通道，使得拼接显示屏的显示画面更加准确和清晰。

第二方面，本申请还提供一种拼接显示屏图像显示处理装置，所述拼接显示屏由多块拼接屏拼接而成，所述处理装置包括：

数据获取模块，用于获取每一拼接屏中灯点在显示空间中以观测模型建立的坐标系中的空间坐标、所述图像的成像相机模型数据以及图像像素点在成像空间中以成像相机模型建立的坐标系中的像素坐标；

数据计算模块，用于利用差值算法，建立像素坐标与空间坐标的映射模型；

图像接收模块，用于接收所述图像；

数据处理模块，用于依据映射模型以及每一图像像素点的像素数据计算灯点的像素数据。

在一较佳示例中，所述拼接屏为五边形屏或六边形屏，所述拼接显示屏为多个五边形屏和六边形屏以戈德堡多面体的拼接方式拼接而成的球形屏。

在一较佳示例中，所述成像模型数据包括所述数据获取模块获取的所述图像生成过程中的相机镜头参数和相机法线参数。

在一较佳示例中，所述拼接显示屏对应有一个或多个成像相机模型，所述数据处理模块在计算每一灯点的像素数据时，依据所述相机模型对应输出一个或多个视频流。

第三方面，本申请还提供一种拼接显示屏图像显示处理系统，包括：

一个或多个存储器，用于存储指令；

一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如权利要求1-4中任一项所述的方法。

第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质包括：

程序，当所述程序被处理器运行时，如权利要求1-4任一项所述的拼接显示屏图像显示处理方法被执行。

附图说明

图1是相机成像技术原理图。

图2是显示屏拼接显示技术原理图。

图3是本申请中拼接显示屏结构示意图。

图4是本申请中拼接显示屏图像显示处理方法流程图。

图5是本申请中获取灯点空间坐标的方法流程图。

图6是像素坐标与空间坐标的映射模型示意图。

图7是本申请中拼接显示屏图像显示处理装置系统图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

为了更方便的理解本申请的技术方案，首先对相机成像技术以及显示屏图像显示技术原理进行说明：

参照图1，M是相机的成像窗口，O为相机光线的汇聚点，A为窗口M的中心，C为窗口上任一点。射线OA称为相机的法线方向，OA的距离称为相机镜头的焦距，需要说明的是，此处所述的相机可以为真实的相机，也可以是虚拟的相机。法线方向决定了相机向哪里拍摄，焦距决定了拍摄的范围，则OA的距离越短，相机的拍摄范围越广，OA距离短的镜头称为短焦镜头或广焦镜头。成像窗口M上的任一点C可以被认为是法线OA依次旋转角度AOB和角度BOC后与成相窗口M相交的点，射线OC无限延伸，与真实空间或虚拟空间中的物体相交，交点处的物体的颜色即是C点的颜色。按此方法可以得到M中所有点的颜色及坐标，从而生成一张完整的图像。以下描述中，称相机拍摄图像过程中所在的空间为成像空间，在成像空间中，相机自身的参数，包括相机的焦距数据以及法线方向数据，组合命名为成像相机模型数据。

参照图2，显示屏的图像显示都是利用计算机控制的，特别是对于多屏拼接显示的方式而言，每一屏幕的显示图像都是计算机分配的。图2中示意了四个屏幕显示的状态图，包括状态图a、状态图b、状态图c和状态图d，其中数组“1234567890”为计算机图像中的部分图像。状态图a为初始状态下屏幕A和屏幕B与计算机图像的对应关系，屏幕A和屏幕B均为矩形的标准屏幕；状态图b为屏幕A和屏幕B拼接后所显示的图像，可以看出，由于屏幕A和屏幕B为矩形的标准屏幕，在计算机为每一屏幕分配显示图像后，由于屏幕A和屏幕B在与计算机图像进行关系对应时，其相对位置即屏幕A和屏幕B的实际拼接方式相同，使得屏幕A和屏幕B显示的数组“1234567890”未发生形变。

状态图c为初始状态下屏幕C和屏幕D与计算机图像的对应关系，屏幕C和屏幕D均为正六边形的异形屏幕；状态图d为屏幕C和屏幕D实际拼接后所显示的图像，可以看出，由于屏幕C和屏幕D为六边形的异形屏，在计算机为每一屏幕分配显示图像后，由于屏幕C和屏幕D在与计算机图像进行关系对应时，其相对位置与屏幕C和屏幕D实际拼接时的角度不同，使得屏幕C和屏幕D显示的数组“1234567890”发生形变。

本申请旨在为实现多块异形屏拼接显示合格图像以避免拼接显示屏显示的图像发生形变而提出的一种拼接显示屏图像显示处理方法，以下对所述处理方法进行进一步的描述。

参照图3，一种拼接显示屏图像显示处理方法，所述拼接显示屏由多块拼接屏拼接而成。拼接所用的拼接屏可以是各种形状的平面显示屏，且各拼接屏之间应为紧凑的相互抵接，并仅留有拼接屏拼接的线型缝隙，使得拼接屏的显示部分能够拼接成一个完整图像，为了提高拼接显示屏的显示效果，可适应性的调整显示屏的形状和拼接方式，以降低拼接屏拼接缝对拼接显示屏整体显示效果的影响。

为了能够清楚的对本申请进行详细的描述，以下仅以拼接屏为五边形屏和六边形屏，且拼接屏以戈德堡多面体的拼接方式拼接成的拼接显示屏进行描述，即拼接显示屏为球形屏。具体的，球形屏为设置在一个球形环境内壁的屏幕，五边形屏和六边形屏的拼接方式使得球形屏中的拼接缝分布均匀，从而降低了拼接显示屏中拼接缝对显示图像显示效果的影响。需要说明的是，五边形屏和六边形屏以及其所组装而成的球形屏并非是对本申请的唯一限定，而是为了描述本申请实施例方案进行的示意性说明。

参照图4，所述的拼接显示屏图像显示处理方法包括：

步骤S101：获取每一拼接屏中灯点在显示空间中以观测模型建立的坐标系中的空间坐标；

步骤S102：获取生成所述图像的成像相机模型数据，以及所述图像像素点在成像空间中以成像相机模型建立的坐标系中的像素坐标；

步骤S103：利用差值算法，建立像素坐标与空间坐标的映射模型；

步骤S104：当接收到所述图像时，依据所述映射模型以及每一图像像素点的像素数据计算灯点的像素数据。

在对拼接显示屏进行组装之前，首先需要通过对组成拼接显示屏的各拼接屏样式以及拼接屏的拼接方式进行计算，如利用戈德堡多面体设计的组装方式设计一个球形屏的组装方式时，组装成拼接显示屏的各拼接屏相对位置以及样式就可以确定。在各拼接屏设计完成后，再利用设计过程中生成的各拼接屏的样式进行生产制作，最终拼接成球形屏。其中，组成的球形屏作为一个图像展示屏幕，可以设定其观测位置，如在飞行驾驶模拟训练器中，就是在球形的显示屏内设置一个模拟驾驶舱，则模拟驾驶舱所在位置即为球形屏的观测位置。利用观测位置建立观测模型，球形屏显示所在空间为显示空间，于是，在每一拼接屏位置以及拼接方式确定之后，即可获知每一拼接屏中灯点在显示空间中以观测模型建立的坐标系中的空间坐标。

参照图5,空间坐标依据观测模型的设定方式可以有多种表现形式，如利用三维像素坐标（X,Y,Z）的方式进行表示，也可以利用观测拼接显示屏时的观测向量来表示。本实施例中，优选的，观测模型以观测每一灯点的方向向量表示每一灯点的空间坐标，具体如下：

步骤S101-1：以观测位置设定一个观测法线，观测法线可以是对应连接观测位置与拼接显示屏上任意点的方向向量。本实施例中，观测法线优选为由观测位置射出的经过拼接显示屏屏幕中心点的射线，则观测法线对应了一个选定的方向向量。

步骤S101-2：利用观测法线生成拼接屏中每一灯点以空间方向向量表示的空间坐标。

图像像素点在成像空间中以成像相机模型建立的坐标系中的像素坐标即为计算机生成图像中相应像素在图像中的位置。在获取到成像相机模型数据后，利用生成图像过程中的成像相机模型数据计算图像中每一像素点的像素坐标。

参照图6，四个点E、F、G和H为图像中四个像素点，点P为灯点。在获知像素坐标与空间坐标后，由于像素坐标与空间坐标并非为一一对应的关系，这就不能够直接将某一像素点的像素值直接赋值给一个灯点。在一个示例中，利用四个点E、F、G和H的像素坐标的值与点P的空间坐标的值计算四个点E、F、G和H的像素坐标值与点P的空间坐标值之间的差值变换关系，从而确定依据四个点E、F、G和H的像素值计算点P的像素值的差值算法。据此生成的计算每一灯点像素值的差值算法，即为所述的映射模型。

当然，在其他示例中，也可以利用八个像素点的像素坐标或十六个像素点的像素坐标生成计算每一灯点像素值的差值算法，在此不做唯一限定。

生成的计算每一灯点像素值的差值算法后，当接收到计算机输出的图像时，依据映射模型以及每一图像像素点的像素数据计算灯点的像素数据。

进一步的，一个拼接显示屏上显示的图像可以是一个视频流对应的图像，也可以是多个视频流同步显示对应的图像，每一个视频流都可以对应一个相应的成像相机模型，在计算灯点像素数据时，依据成像相机模型对应的像素点像素值计算相应灯点的像素数据，从而将对应同一成像相机模型的灯点像素数据共同输出为一个视频流。

参照图7，在另一个示例中，本申请还公开了一种拼接显示屏图像显示处理装置，所述处理装置包括：

数据获取模块，用于获取每一拼接屏中灯点在显示空间中以观测模型建立的坐标系中的空间坐标、所述图像的成像相机模型数据以及图像像素点在成像空间中以成像相机模型建立的坐标系中的像素坐标；

数据计算模块，用于利用差值算法，建立空间坐标与像素坐标的映射模型；

图像接收模块，用于接收所述图像；

数据处理模块，用于依据映射模型以及每一图像像素点的像素数据计算灯点的像素数据；

图像输出模块，将对应同一成像相机模型的像素数据整合成视频流输出至拼接屏显示模块。

当需要通过所述处理装置在拼接显示屏上播放所述图像时，只需将图像输入到图像接收模块，数据处理模块依据映射模型以及所述图像中每一像素点的像素值计算每一灯点的像素值，从而实现了对灯点的逐一校正，保障了拼接显示屏显示图像的完整性。

当输入的图像是由多个成像相机模型生产的，则利用数据处理模块依据每一成像相机模型生成对应的视频流至拼接显示屏。

所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法示例中的对应过程，在此不再赘述。

本申请实施例还公开了一种拼接显示屏图像显示处理系统，该系统主要由一个或多个存储器和一个或多个处理器组成：

存储器用于存储指令；

处理器，用于从存储器中调用并运行指令，执行如上述内容中所述的拼接显示屏图像显示处理方法。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

非易失性存储器可以是ROM、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。

易失性存储器可以是RAM，其用作外部高速缓存。RAM有多种不同的类型，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、四倍数据速率静态随机存取存储器（Quad DataRateStatic Random Access Memory，QDR）、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器。

上述任一处提到的处理器，可以是一个或多个FPGA（Field Programmable GateArray），CPU，微处理器，ASIC，或一个或多个用于控制上述的反馈信息传输的方法的程序执行的集成电路。该处理单元和该存储单元可以解耦，分别设置在不同的物理设备上，通过有线或者无线的方式连接来实现该处理单元和该存储单元的各自的功能，以支持该系统芯片实现上述实施例中的各种功能。或者，该处理单元和该存储器也可以耦合在同一个设备上。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是专门设计的硬件设备、个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种拼接显示屏图像显示处理方法，所述拼接显示屏由多块拼接屏拼接而成，其特征在于，所述处理方法包括：

获取每一拼接屏中灯点在显示空间中以观测模型建立的坐标系中的空间坐标；

获取生成所述图像的成像相机模型数据，以及图像像素点在成像空间中以成像相机模型建立的坐标系中的像素坐标；

利用差值算法，建立像素坐标与空间坐标的映射模型，其中，所述差值算法被配置为根据所述像素坐标和所述空间坐标确定灯点的像素值，像素坐标与空间坐标非一一对应；

当接收到所述图像时，依据所述映射模型以及每一图像像素点的像素数据计算灯点的像素数据。

2.根据权利要求1所述的一种拼接显示屏图像显示处理方法，其特征在于：所述拼接屏为五边形屏或六边形屏，所述拼接显示屏为多个五边形屏和六边形屏以戈德堡多面体的拼接方式拼接而成的球形屏。

3.根据权利要求1所述的一种拼接显示屏图像显示处理方法，其特征在于，所述成像相机模型数据包括图像生成过程中的相机镜头参数和相机法线参数。

4.根据权利要求1所述的一种拼接显示屏图像显示处理方法，其特征在于：所述拼接显示屏对应有一个或多个成像相机模型，并在计算每一灯点的像素数据后，依据所述相机模型对应输出一个或多个视频流。

5.一种拼接显示屏图像显示处理装置，所述拼接显示屏由多块拼接屏拼接而成，其特征在于，所述处理装置包括：

数据获取模块，用于获取每一拼接屏中灯点在显示空间中以观测模型建立的坐标系中的空间坐标、所述图像的成像相机模型数据以及图像像素点在成像空间中以成像相机模型建立的坐标系中的像素坐标；

数据计算模块，用于利用差值算法，建立像素坐标与空间坐标的映射模型，其中，所述差值算法被配置为根据所述像素坐标和所述空间坐标确定灯点的像素值，像素坐标与空间坐标非一一对应；

图像接收模块，用于接收所述图像；

数据处理模块，用于依据映射模型以及每一图像像素点的像素数据计算灯点的像素数据。

6.根据权利要求5所述的一种拼接显示屏图像显示处理装置，其特征在于，所述拼接屏为五边形屏或六边形屏，所述拼接显示屏为多个五边形屏和六边形屏以戈德堡多面体的拼接方式拼接而成。

7.根据权利要求5所述的一种拼接显示屏图像显示处理装置，其特征在于，所述成像相机模型数据包括所述数据获取模块获取的所述图像生成过程中的相机镜头参数和相机法线参数。

8.根据权利要求5所述的一种拼接显示屏图像显示处理装置，其特征在于，所述拼接显示屏对应一个或多个成像相机模型，所述数据处理模块在计算每一灯点的像素数据后，依据所述相机模型对应输出一个或多个视频流。

9.一种拼接显示屏图像显示处理系统，其特征在于，包括：一个或多个存储器，用于存储指令；

一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：程序，当所述程序被处理器运行时，如权利要求1-4任一项所述的拼接显示屏图像显示处理方法被执行。