CN113596348A - 图像处理方法及设备 - Google Patents

Abstract

本申请公开了一种图像处理方法及设备。用于解决基于多输入信号显示不能同步的问题。本申请实施例中，基于多路输入信号在时序上的相对位置关系，以在时序上排序最后的一路输入信号作为第一参考信号，并以该第一参考信号为基准，将其他输入信号进行缓存，在输出第一参考信号的同时，将其他输入信号进行同步输出；从而实现了多输入信号在显示端的同步。

Description

图像处理方法及设备

技术领域

本申请涉及基准监视器技术领域，尤其涉及一种图像处理方法及设备。

背景技术

与常见的家用显示器不同，基准级广播监视器对亮度、对比度、色域、产品信赖性等要求极为苛刻，是专业人士衡量、评判、决策图像的依据。因此，基准级广播监视器在业内也被视为影像画质领域的〞米原器″，是一杆画质标尺。相关技术中的4K基准监视器支持全屏范围高达1000尼特的亮度，不低于100000∶1的对比度，能够完美还原4K和高动态范围(HDR)的视频信号内容。

广播电视的监视器对数据信号的数据延迟有很高的要求，尤其是在直播以及在高速运动的体育赛事中。当多路信号在一个屏幕上进行显示时，所有信号必须被统一到一个时序进行显示，传统的做法是采用存储器对所有输入数据进行侦缓存，通过点阵组合的方式对数据进行拼接对齐，该方法的优点是实现简单。缺点是输入到输出数据延迟大，占用存储空间较大。

发明内容

本申请的目的是提供一种图像处理方法及设备，用于解决基于多输入信号显示不能同步的问题。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：

确定多路输入信号在时序上的相对位置关系；

基于所述相对位置关系，选择在时序上排序最后的一路输入信号作为第一参考信号；

以所述第一参考信号为基准，确定其他各路输入信号与所述第一参考信号帧对齐时，其他各路输入信号的数据缓存量；

基于其他各路输入信号的数据缓存量，缓存其他各路输入信号；

输出所述第一参考信号的同时，读取缓存的其他各路输入信号并与所述第一参考信号同步输出。

在一个实施例中，所述确定每路所述输入信号在时序上的相对位置关系，包括：

从所述多路输入信号中随机选取一路输入信号作为第二参考信号；

获取所述第二参考信号的场同步信号中的第一个上升沿对应的时钟作为对齐时间；

根据每路输入信号的有效数据的起始位置与所述对齐时间之间的第一时间差确定所述相对位置关系。

在一个实施例中，所述根据每路输入信号的有效数据的起始位置与所述对齐时间之间的第一时间差确定所述相对位置关系，包括：

确定每路所述输入信号的有效数据的起始位置与所述对齐时间的第一时间差，得到各路所述输入信号对应的第一时间差；

所述多路输入信号两两组成信号对，针对任一信号对分别执行：确定所述信号对中两路输入信号分别对应的第一时间差之间的差值；并根据所述差值与第一预设值的比较结果确定所述信号对中两路输入信号的时序位置关系；

基于各信号对中两路输入信号的时序位置关系，确定所述多路信号在时序上的所述相对位置关系。

在一个实施例中，所述根据所述差值与第一预设值的比较结果确定所述信号对中两路输入信号的时序位置关系，包括：

若所述差值大于所述第一预设值，则所述第一时间差大的一路输入信号的时序位置在所述第一时间差小的一路输入信号之前；

若所述差值小于所述第一预设值，则所述第一时间差大的一路输入信号的时序位置在所述第一时间差小的一路输入信号之后；

若所述差值等于所述第一预设值，则所述两路输入信号的时序位置相同。

在一个实施例中，所述以所述第一参考信号为基准，确定其他各路输入信号与所述第一参考信号帧对齐时，其他各路输入信号的数据缓存量，包括：

分别确定其他各路输入信号与所述第一参考信号的有效数据的起始位置之间的第二时间差；

针对其他各路输入信号中的每路输入信号，若第二时间差大于所述第一预设值，则所述输入信号的缓存量为指定时长内的数据量，所述指定时长为所述第二时间差与第二预设值的总和；

若第二时间差小于或等于所述第一预设值，则所述输入信号的缓存量为所述第二时间差内的数据量。

在一个实施例中，所述第二预设值为数据有效长度和消隐区长度的总和。

在一个实施例中，所述第一预设值为数据有效长度和消隐区长度的均值。

在一个实施例中，所述输出所述第一参考信号的同时，读取缓存的其他各路输入信号并与所述第一参考信号同步输出，包括：

接收所述第一参考信号并从缓存中读取其他各路输入信号；

基于所述第一参考信号和其他各路输入信号各自的预设坐标参数，确定所述第一参考信号和其他各路输入信号的显示位置；

根据所述显示位置显示所述第一参考信号和其他各路输入信号。

在一个实施例中，所述确定多路输入信号在时序上的相对位置关系之前，所述方法还包括：

提取所述多路输入信号中各路输入信号的信号信息；

基于各路输入信号的信号信息确定各路输入信号的缩放比例；

基于各路输入信号的缩放比例对各路输入信号进行缩放处理。

第二方面本申请还提供了一种图像处理设备，所述设备包括控制器、第一存储器第二存储器：

所述第一存储器，用于存储可被所述控制器执行的计算机程序；

所述第二存储器，用于缓存输入信号；

所述控制器与所述第一存储器和所述第二存储器连接，被配置为执行基于所述相对位置关系，选择在时序上排序最后的一路输入信号作为第一参考信号；

以所述第一参考信号为基准，确定其他各路输入信号与所述第一参考信号帧对齐时，其他各路输入信号的数据缓存量；

基于其他各路输入信号的数据缓存量，缓存其他各路输入信号；

输出所述第一参考信号的同时，读取缓存的其他各路输入信号并与所述第一参考信号同步输出。

在一个实施例中，所述处理器执行确定每路所述输入信号在时序上的相对位置关系时，被配置为：

从所述多路输入信号中随机选取一路输入信号作为第二参考信号；

获取所述第二参考信号的场同步信号中的第一个上升沿对应的时钟作为对齐时间；

根据每路输入信号的有效数据的起始位置与所述对齐时间之间的第一时间差确定所述相对位置关系。

在一个实施例中，所述处理器执行根据每路输入信号的有效数据的起始位置与所述对齐时间之间的第一时间差确定所述相对位置关系时，被配置为：

确定每路所述输入信号的有效数据的起始位置与所述对齐时间的第一时间差，得到各路所述输入信号对应的第一时间差；

所述多路输入信号两两组成信号对，针对任一信号对分别执行：确定所述信号对中两路输入信号分别对应的第一时间差之间的差值；并根据所述差值与第一预设值的比较结果确定所述信号对中两路输入信号的时序位置关系；

基于各信号对中两路输入信号的时序位置关系，确定所述多路信号在时序上的所述相对位置关系。

在一个实施例中，所述处理器执行根据所述差值与第一预设值的比较结果确定所述信号对中两路输入信号的时序位置关系时，被配置为：

若所述差值大于所述第一预设值，则所述第一时间差大的一路输入信号的时序位置在所述第一时间差小的一路输入信号之前；

若所述差值小于所述第一预设值，则所述第一时间差大的一路输入信号的时序位置在所述第一时间差小的一路输入信号之后；

若所述差值等于所述第一预设值，则所述两路输入信号的时序位置相同。

在一个实施例中，所述处理器执行以所述第一参考信号为基准，确定其他各路输入信号与所述第一参考信号帧对齐时，其他各路输入信号的数据缓存量时，被配置为：

分别确定其他各路输入信号与所述第一参考信号的有效数据的起始位置之间的第二时间差；

针对其他各路输入信号中的每路输入信号，若第二时间差大于所述第一预设值，则所述输入信号的缓存量为指定时长内的数据量，所述指定时长为所述第二时间差与第二预设值的总和；

若第二时间差小于或等于所述第一预设值，则所述输入信号的缓存量为所述第二时间差内的数据量。

在一个实施例中，所述第二预设值为数据有效长度和消隐区长度的总和。

在一个实施例中，所述第一预设值为数据有效长度和消隐区长度的均值。

在一个实施例中，所述处理器执行输出所述第一参考信号的同时，读取缓存的其他各路输入信号并与所述第一参考信号同步输出时，被配置为：

接收所述第一参考信号并从缓存中读取其他各路输入信号；

基于所述第一参考信号和其他各路输入信号各自的预设坐标参数，确定所述第一参考信号和其他各路输入信号的显示位置；

根据所述显示位置显示所述第一参考信号和其他各路输入信号。

在一个实施例中，所述处理器执行确定多路输入信号在时序上的相对位置关系之前，所述处理器还被配置为：

提取所述多路输入信号中各路输入信号的信号信息；

基于各路输入信号的信号信息确定各路输入信号的缩放比例；

基于各路输入信号的缩放比例对各路输入信号进行缩放处理。

本申请实施例中，基于多路输入信号在时序上的相对位置关系，以在时序上排序最后的一路输入信号作为第一参考信号，并以该第一参考信号为基准，将其他输入信号进行缓存，在输出第一参考信号的同时，将其他输入信号进行同步输出；从而实现了多输入信号在显示端的同步。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像处理方法的应用场景图；

图2为本申请实施例提供的图像处理方法的整体流程图；

图3为本申请实施例提供的图像处理方法的确定相对位置关系的流程图；

图4A为本申请实施例提供的图像处理方法的确定多路输入信号的相对位置关系的流程图；

图4B为本申请实施例提供的图像处理方法的两路输入信号的时序位置关系的示意图；

图4C为本申请实施例提供的图像处理方法的两路输入信号的时序位置关系的示意图；

图4D为本申请实施例提供的图像处理方法的两路输入信号的时序位置关系的示意图；

图4E为本申请实施例提供的图像处理方法的两路输入信号的时序位置关系的示意图；

图5为本申请实施例提供的图像处理方法的对各路输入信号进行同步输出的流程图；

图6为本申请实施例提供的图像处理装置示意图；

图7为本申请实施例提供的图像处理方法的数据缓存模块与数据对齐模块的具体交互过程的示意图；

图8为本申请实施例提供的图像处理方法的显示示意图；

图9为本申请实施例提供的图像处理方法的显示示意图；

图10为本申请实施例提供的图像处理方法的显示示意图；

图11为本申请实施例提供的图像处理方法的显示示意图；

图12为本申请实施例提供的图像处理方法的显示示意图。

具体实施方式

为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本申请的说明书和权利要求书的术语″第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

发明人研究发现，与常见的家用显示器不同，基准级广播监视器对亮度、对比度、色域、产品信赖性等要求极为苛刻，是专业人士衡量、评判、决策图像的依据。因此，基准级广播监视器在业内也被视为影像画质领域的〞米原器″，是一杆画质标尺。相关技术中的4K基准监视器支持全屏范围高达1000尼特的亮度，不低于100000∶1的对比度，能够完美还原4K和高动态范围(HDR)的视频信号内容。

发明人研究发现，基准监视器采用″现场可编程门阵列(Field ProgrammableGate Array，FPGA)+系统级芯片(System on Chip，SOC)+显示屏″的硬件系统架构，支持多种高动态范围(High Dynamic Range，HDR)标准，例如：HDR10，混合对数伽马(Hybrid LogGamma，HLG)标准，标准动态范围(Standard Dynamic Range，SDR)等。基于国内广电系统的实际工作场景，监视器在输入/输出接口等方面进行了优化升级，接口种类更多，设备兼容性更强，可支持更多场景，在用户体验上优于竞品，后发优势明显。基于众多的输入接口，提出了灵活的显示方案，可以满足用户更多的应用场景，增加用户体验。

有鉴于此，本申请提出了一种图像处理的方法、装置、电子设备和存储介质，用于解决上述问题。本申请的发明构思可概括为：基于多路输入信号在时序上的相对位置关系，以在时序上排序最后的一路输入信号作为第一参考信号，并以该第一参考信号为基准，将其他输入信号进行缓存，在输出第一参考信号的同时，将其他输入信号进行同步输出。

下面结合附图对本申请提供的一种图像处理方法进行详细说明。

如图1所示，为本申请实施例中的图像处理的方法的应用场景图。图中包括：终端设网络10、服务器20、存储器30、终端设备40；

其中，服务器20获取多路输入信号并对获取的多路输入信号进行处理，首先确定多路输入信号在时序上的相对位置关系；然后基于相对位置关系，选择在时序上排序最后的一路输入信号作为第一参考信号；基于其他各路输入信号的数据缓存量，将其他各路输入信号缓存到存储器中；输出所述第一参考信号的同时，从存储器30中读取缓存的其他各路输入信号并与所述第一参考信号通过网络10同步输出给终端设备40，由终端设备进行显示。

本申请中的描述中仅就单个服务器或终端设备加以详述，但是本领域技术人员应当理解的是，示出的终端设备40、服务器20和存储器30旨在表示本申请的技术方案涉及的终端设备、服务器以及存储器的操作。对单个服务器和存储器加以详述至少为了说明方便，而非暗示对终端设备和服务器的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本申请的示例实施例的底层概念。另外，虽然为了方便说明而在图1中示出了从存储器30到服务器20的双向箭头，但本领域技术人员可以理解的是，上述信号的输入输出也是需要通过网络10实现的。

需要说明的是，本申请实施例中的存储器例如可以是缓存系统、也可以是硬盘存储、内存存储等等。此外，本申请提出的图像处理方法不仅适用于图1所示的应用场景，还适用于任何有图像处理需求的装置。

如图2所示，为本申请实施例提供的图像处理方法的整体流程图，其中：

在步骤201中：确定多路输入信号在时序上的相对位置关系；

在一些实施例中，为了直观的判定多路输入信号在时序上的相对位置关系，在本申请实施例中，确定多路输入信号在时序上的相对位置关系具体可实施为如图3所示的步骤：

在步骤301中：从多路输入信号中随机选取一路输入信号作为第二参考信号；

在步骤302中：获取第二参考信号的场同步信号中的第一个上升沿对应的时钟作为对齐时间；

在本申请实施例中，输入信号为视频图形阵列(Video Graphics Array，VGA)信号，其中输入信号中包含：场同步信号(Ver Sync，VS)、行同步信号(Hor Sync，HS)、数据使能信号(Data Enable，DE)，有效数据(data)；所以，为了确定相对位置关系，一些实施例中以第二参考信号的VS信号的第一个上升沿对应的时钟作为对齐时间。

在步骤303中：根据每路输入信号的有效数据的起始位置与对齐时间之间的第一时间差确定相对位置关系。

在本申请实施例中，为了精准的确定多路输入信号的相对位置关系，可实施为如图4A所示的步骤：

在步骤401中：确定每路输入信号的有效数据的起始位置与对齐时间的第一时间差，得到各路输入信号对应的第一时间差；即每路输入信号的data与第二参考信号的VS信号的第一个上升沿在时序上的时间差。

在步骤402中：多路输入信号两两组成信号对，针对任一信号对分别执行：确定信号对中两路输入信号分别对应的第一时间差之间的差值；并根据差值与第一预设值的比较结果确定信号对中两路输入信号的时序位置关系；

在一个实施例中，例如：有4路输入信号A、B、C、D；两两组成信号对即AB、BC、CD、AC、AD、BD。每个信号对中两路输入信号两两进行比较，最后可得到4路信号在时序上的相对位置关系。

在一个实施例中，以l1、l2表示任一信号对中的两路信号，且l1的第一时间差小于l2的第一时间差；以L表示数据有效长度，以Lb表示消隐区长度；第一预设值为数据有效长度L和消隐区长度Lb的均值，即(L+Lb)/2。

比较结果可以为以下三种情况：

1、若差值大于第一预设值，则第一时间差大的一路输入信号(l2)的时序位置在第一时间差小的一路输入信号(l1)之前；即|l1-l2|＞(L+Lb)/2，则l2的时序位置在l1的之前；

2、若差值小于第一预设值，则第一时间差大的一路输入信号(l2)的时序位置在第一时间差小的一路输入信号(l1)之后；即|l1-l2|＜(L+Lb)/2，则l2的时序位置在l1的之后；

3、若差值等于第一预设值，则两路输入信号的时序位置相同；即|l1-l2|＝(L+Lb)/2，则l1的时序位置与l2的时序位置相同。

在步骤403中：基于各信号对中两路输入信号的时序位置关系，确定多路信号在时序上的相对位置关系。

下面结合时序图对上述三种结果进行举例说明：

选取任一信号对，其中包含第一路信号：VS1，HS1，DE1，data1；第二路信号：VS2，HS2，DE2，data2；

以第一路信号作为第二参考信号，Clock为时钟，VS1_in为第一路信号的VS，DE1_in为第一路信号的DE；data1_in为第一路信号的data；VS2_in为第二路信号的VS，DE2_in为第二路信号的DE；data2_in为第二路信号的data；VS_out为信号对输出时的VS，DE1_out为信号对输出时的DE；data1_out为第一路信号输出时的data，data2_out为第二路信号输出时的data。

如图4B所示，示例1：

1)确定数据有效长度L＝14，消隐区长度Lb＝6；

2)确定VS1_in上升沿到第一路信号的有效数据起始位置的时间差l1＝3，以及VS1_in上升沿到第二路信号的有效数据起始位置的时间差l2＝1；

3)确定第一路信号与第二路信号对应的l1和l2之间的差值为2；

4)确定第一预设值为数据有效长度L和消隐区长度Lb的均值，即(L+Lb)/2＝(14+6)/2＝10；

5)确定l1-l2＜第一预设值；

由此，可以确定第一路信号在时序上在第二路信号之后，所以第一路信号为第一参考信号。

如图4C所示，示例2：

1)确定数据有效长度L＝14，消隐区长度Lb＝6；

2)确定VS1_in上升沿到第一路信号的有效数据起始位置的时间差l1＝3，以及VS1_in上升沿到第二路信号的有效数据起始位置的时间差l2＝6；

3)确定第一路信号与第二路信号对应的l1和l2之间的差值为3；

4)确定第一预设值为数据有效长度L和消隐区长度Lb的均值，即(L+Lb)/2＝(14+6)/2＝10；

5)确定l2-l1＜第一预设值；

由此，可以确定第二路信号在时序上在第一路信号之后，所以第二路信号为第一参考信号。

如图4D所示，示例3：

1)确定数据有效长度L＝14，消隐区长度Lb＝6；

2)确定VS1_in上升沿到第一路信号的有效数据起始位置的时间差l1＝3，以及VS1_in上升沿到第二路信号的有效数据起始位置的时间差l2＝15；

3)确定第一路信号与第二路信号对应的l1和l2之间的差值为12；

4)确定第一预设值为数据有效长度L和消隐区长度Lb的均值，即(L+Lb)/2＝(14+6)/2＝10；

5)确定l2-l1＞第一预设值；

由此，可以确定第二路信号在时序上在第一路信号之前，所以第一路信号为第一参考信号。

如图4E所示，示例4：

1)确定数据有效长度L＝14，消隐区长度Lb＝6；

2)确定VS1_in上升沿到第一路信号的有效数据起始位置的时间差l1＝3，以及VS1_in上升沿到第二路信号的有效数据起始位置的时间差l2＝13；

3)确定第一路信号与第二路信号对应的l1和l2之间的差值为10；

4)确定第一预设值为数据有效长度L和消隐区长度Lb的均值，即(L+Lb)/2＝(14+6)/2＝10；

5)确定l2-l1＝第一预设值；

由此，可以在第一路信号和第二路信号中任选一路信号为第一参考信号。

在步骤202中：基于相对位置关系，选择在时序上排序最后的一路输入信号作为第一参考信号；

在步骤203中：以第一参考信号为基准，确定其他各路输入信号与第一参考信号帧对齐时，其他各路输入信号的数据缓存量；

在一个实施例中，确定第一参考信号之后，为了保证在显示端显示的同步，所以要将在第一参考信号之前到达的信号进行缓存，然后第一参考信号到达之后再进行同步显示；在本申请实施例中，具体可实施为：首先分别确定其他各路输入信号与第一参考信号的有效数据的起始位置之间的第二时间差；针对其他各路输入信号中的每路输入信号，若第二时间差大于所述第一预设值，则输入信号的缓存量为指定时长内的数据量，指定时长为第二时间差与第二预设值的总和；其中，第二预设值为数据有效长度和消隐区长度的总和。

若第二时间差小于或等于所述第一预设值，则该输入信号的缓存量为第二时间差内缓存的数据量。

在一个实施例中，继续以上述示例进行说明：

在示例1中，第一参考信号(第一路信号)的有效数据的起始位置在输入信号(第二路信号)的有效数据的起始位置之后，第二时间差小于第一预设值，第二路信号缓存量为11-12＝2内缓存的数据量；

在示例2中，第一参考信号(第二路信号)的有效数据的起始位置在输入信号(第一路信号)的有效数据的起始位置之后，第二时间差小于第一预设值，第一路信号缓存量为l2-l1＝3内缓存的数据量；

在示例3中，第一参考信号(第一路信号)的有效数据的起始位置在输入信号(第二路信号)的有效数据的起始位置之前，第二时间差大于第一预设值，则第二路信号的缓存量为第二时间差与第二预设值的总和即l1-l2+L+Lb＝8内缓存的数据量；

在示例4中，假设第一参考信号(第二路信号)的有效数据的起始位置在输入信号(第一路信号)的有效数据的起始位置之前，第二时间差等于第一预设值，则第二路信号的缓存量为第二时间差与第二预设值的总和即l2-l1＝10内缓存的数据量。

在步骤204中：基于其他各路输入信号的数据缓存量，缓存其他各路输入信号；

本申请实施例通过基于其他各路输入信号的数据缓存量，仅缓存其他路数据与第一参考信号同步输出之前到达的数据，大大减少了缓存量，减少了对空间的占用；由于在数据传输过程中的缓存量确定延迟的大小，本申请实施例中通过上述方法减少缓存量，从而实现了相对较小的延迟。

在步骤205中：输出第一参考信号的同时，读取缓存的其他各路输入信号并与第一参考信号同步输出。

在一个实施例中，对各路输入信号进行同步输出时可实施为如图5所示的步骤：

在步骤501中：接收第一参考信号并从缓存中读取其他各路输入信号；

在本申请实施例中，为了合理布局各路输入信号显示时的画面，需要确定各路信号在显示时的位置，因此在步骤502中：基于第一参考信号和其他各路输入信号各自的预设坐标参数，确定第一参考信号和其他各路输入信号的显示位置；

在步骤503中：根据显示位置显示第一参考信号和其他各路输入信号。

在本申请实施例中，为了使得在显示端显示多路信号时流畅且灵活，在对各路信号进行同步处理之前需要提取多路输入信号中各路输入信号的信号信息；基于各路输入信号的信号信息确定各路输入信号的缩放比例；基于各路输入信号的缩放比例对各路输入信号进行缩放处理。

在介绍了本申请实施例提供的图像处理方法之后，下面结合附图对本申请实施例提供的图像处理装置进行说明：

如图6所示，图中包括：FPGA、微控制单元((Microcontroller Unit，MCU)、SOC；其中：

SOC，被配置将预设参数发送给MCU，并通过MCU与FPGA进行交互；

MCU，被配置为收集FPGA传输过来的各路输入信号的图像信息，包括但不限于：分辨率，视频类型，有效的输入信号个数等。MCU根据收集到的各路输入信号的图像信息和预设的图像布局，计算出各路输入信号的缩放比例，然后将缩放比例传输给FPGA。在FPGA进行图像重构处理时，MCU会将所需要显示的各路输入信号的图像坐标发送给FPGA，使FPGA确定各个输入信号对应的图像的摆放位置。SOC与FPGA通过MCU进行通信，SOC将设定的参数传输给MCU，MCU再将参数发送到FPGA内部模块。

FPGA中设置有信息提取模块、缩放模块、数据缓存模块、数据对齐模块、图像重构模块、参数存储模块、参数调用模块、功能模块；其中，功能模块中设置有HDR、HLG、SDR；

信息提取模块，被配置为采集输入信号的图像信息；其中采集输入信号的图像信息时主要包括：采集输入视频的分辨率、输入信号的总路数，视频的类型，信号类型。

为了精确测量出输入视频的有效像素点所以信息提取模块需要采集输入视频信号的分辨率，即：水平方向像素点数，垂直方向像素点数。

信息提取模块，还被配置为实时监测输入信号的路数，根据预设参数自动调整输入信号的布局情况。检测视频的类型(例如高动态范围图像(High-Dynamic Range，HDR)，SDR、HLG类型)协助功能模块对不同类型的输入信号进行不同的处理。检测信号类型(颜色系统(RGB)或颜色编码(YUV(YCbCr)))，协助后续各个模块对输入信号进行准确的转换处理。

MCU通过比较采集的视频信号的分辨率与预设的分辨率，从而计算出缩放比例系数，并将该系数发送至FPGA中的缩放模块；

缩放模块，被配置为接收缩放比例系数，将各路输入信号缩放至指定的大小。

数据缓存模块与数据对齐模块的具体交互过程如图7所示(以有两路输入信号为例进行说明)：

时序统计模块，被配置为检测两路时序的具体参数即数据有效长度和消隐区长度以及各路信号到VS的第一个上升沿的时钟；

时序计算比对模块，被配置为根据比对时序检测模块检测出来的各个参数，定位出两路信号输入的相对位置，从而确定出第一参考信号。

时序选择模块，被配置为根据时序计算比对模块选择第一参考信号。

数据存储控制模块，被配置为以第一参考信号为基准，确定其他各路输入信号与第一参考信号帧对齐时，其他各路输入信号的数据缓存量，并缓存到存储器中。

数据对齐输出模块，被配置输出第一参考信号的同时，读取缓存的其他各路输入信号并与第一参考信号同步输出。

FPGA中的图像重构模块，被配置为将接收到的图像根据预设布局重新组合成一幅完整的图像。MCU会发送每一路信号的位置坐标，图像重构模块会根据位置坐标把每一路图像摆放到不同的位置，最终拼接成一幅完整的图像。

功能模块，被配置为完整的图像依次经过HDR，HLG，SDR等功能模块，根据坐标参数和功能参数对图像中不同输入进行相应的处理。

参数存储模块，被配置为存放所需要的功能参数及坐标参数等。

参数调用模块，被配置为根据不同功能的模块可以调用不同的参数，保证功能模块正常工作。

综上，FPGA工作的整体流程为接收外部播放设备的信号，对各路输入信号进行采集，并将采集的信号信息发送给MCU。MCU根据输入信号图像参数和预设的显示布局参数，计算出图像缩放模块的缩放参数。缩放模块接收到各输入的缩放参数，对输入图像进行相应比例的缩放。经过缩放的数据经过图像缓存模块处理，存储到外部存储器。根据需要，图像缓存模块再从存储器中读取所需数据。在数据对齐模块，将不同步调的信号进行帧同步。帧起始位置一致的各路信号，根据输入的信号数量，预设的图像坐标参数，以及选择显示的图像。在画面上自动布局显示，重新构造出一幅完整的画面；

完整的图像依次经过功能模块内部的HDR，HLG，SDR模块。根据预设的坐标信息每一个功能模块只对图像中的特定区域进行相应的处理。经过所有功能模块处理后，不同的区域会调用不同的参数，显示不同的效果。最终，一起呈现在显示屏端。

下面为本申请实施例提供的不同显示结果的示意图：

如图8所示：检测到只有一路信号时，根据设定，图像可以进行全屏显示或者局部显示。

如图9所示：当检测到两路信号时，根据设定，两路图像可以在不同位置进行显示，或叠加显示。当需要对比图像局部效果时，可以截取每一路图像中特定的部分，例如，两路图像只选取图像的左边1/2图像，或右边的1/2进行显示。在显示效果调试中，会重点关注图像的某一部分细节，而不是整幅图像，该示例可以凸显局部图像的调试效果，提高对比效果，加快调试进度。

如图10所示：当三路信号输入时，可以选取三路信号的相同部分进行显示，提升局部调试的对比效果。或者，当播放视频时，可以设置整幅图像的动态扫描显示，扫描的速度可以根据需要进行设定。例如，在3S内，信号1的整幅图像，会自上而下，滚动显示在屏幕的上面1/3的画面中。该示例，可以有效避免图像缩放造成的像素损失，更加全面真实的显示原始图像的效果差异。

如图11所示：当检测到四路信号输入时，会自动选择一种预设的布局，进行显示。同理，当多路信号输入时，可以根据预设和输入的信号数量，选择一种预设的方式，自适应显示，而不用每一次更换信号都去调试设定，方便用户的使用。相关技术中，部分产品只支持图11中左图的四等分显示模式。

如图12所示：当N路信号输入时，如何选择出自己需要的信号源。传统的方法：查找播放设备的连接线路，确定输入接口的位号，调出菜单的输入设置，设定输入接口，显示需要的信号源。本申请实施例中，采用了可视化信号选择模式，将所有的画面全部显示在画面中，方便用户选择，提高了用户体验。

在介绍了本申请实施例提供的图像处理方法之后，基于相同的发明构思，下面对本申请实施例提供的图像处理设备进行说明：

本申请实施例提供的图像处理设备包括控制器、第一存储器第二存储器：

第一存储器，用于存储可被所述控制器执行的计算机程序；在本申请实施例中，为了防止计算机程序丢失，所以第一存储器采用非易失性存储器；第二存储器，用于缓存输入信号；在本申请实施例中，由于输入信号容易恢复，所以第二存储器采用易失性存储器；需要知道的是，其他存储器也适用于本申请。

所述控制器包括FPGA和MOC；其中，FPGA被配置为执行确定多路输入信号在时序上的相对位置关系；

基于所述相对位置关系，选择在时序上排序最后的一路输入信号作为第一参考信号；

以所述第一参考信号为基准，确定其他各路输入信号与所述第一参考信号帧对齐时，其他各路输入信号的数据缓存量；

基于其他各路输入信号的数据缓存量，缓存其他各路输入信号；

输出所述第一参考信号的同时，读取缓存的其他各路输入信号并与所述第一参考信号同步输出。

在一个实施例中，所述确定每路所述输入信号在时序上的相对位置关系，包括：

从所述多路输入信号中随机选取一路输入信号作为第二参考信号；

获取所述第二参考信号的场同步信号中的第一个上升沿对应的时钟作为对齐时间；

根据每路输入信号的有效数据的起始位置与所述对齐时间之间的第一时间差确定所述相对位置关系。

在一个实施例中，所述根据每路输入信号的有效数据的起始位置与所述对齐时间之间的第一时间差确定所述相对位置关系，包括：

确定每路所述输入信号的有效数据的起始位置与所述对齐时间的第一时间差，得到各路所述输入信号对应的第一时间差；

所述多路输入信号两两组成信号对，针对任一信号对分别执行：确定所述信号对中两路输入信号分别对应的第一时间差之间的差值；并根据所述差值与第一预设值的比较结果确定所述信号对中两路输入信号的时序位置关系；

基于各信号对中两路输入信号的时序位置关系，确定所述多路信号在时序上的所述相对位置关系。

在一个实施例中，所述根据所述差值与第一预设值的比较结果确定所述信号对中两路输入信号的时序位置关系，包括：

若所述差值大于所述第一预设值，则所述第一时间差大的一路输入信号的时序位置在所述第一时间差小的一路输入信号之前；

若所述差值小于所述第一预设值，则所述第一时间差大的一路输入信号的时序位置在所述第一时间差小的一路输入信号之后；

若所述差值小于所述第一预设值，则所述两路输入信号的时序位置相同。

在一个实施例中，所述以所述第一参考信号为基准，确定其他各路输入信号与所述第一参考信号帧对齐时，其他各路输入信号的数据缓存量，包括：

分别确定其他各路输入信号与所述第一参考信号的有效数据的起始位置之间的第二时间差；

针对其他各路输入信号中的每路输入信号，若所述第一参考信号的有效数据的起始位置在所述输入信号的有效数据的起始位置之前，则所述输入信号的缓存量为指定时长内的数据量，所述指定时长为所述第二时间差与第二预设值的总和。

在一个实施例中，所述第二预设值为数据有效长度和消隐区长度的总和。

在一个实施例中，所述第一预设值为数据有效长度和消隐区长度的均值。

在一个实施例中，所述输出所述第一参考信号的同时，读取缓存的其他各路输入信号并与所述第一参考信号同步输出，包括：

接收所述第一参考信号并从缓存中读取其他各路输入信号；

基于所述第一参考信号和其他各路输入信号各自的预设坐标参数，确定所述第一参考信号和其他各路输入信号的显示位置；

根据所述显示位置显示所述第一参考信号和其他各路输入信号。

MOC被配置为执行，在确定多路输入信号在时序上的相对位置关系之前，提取所述多路输入信号中各路输入信号的信号信息；

基于各路输入信号的信号信息确定各路输入信号的缩放比例；

基于各路输入信号的缩放比例对各路输入信号进行缩放处理。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

确定多路输入信号在时序上的相对位置关系；

基于所述相对位置关系，选择在时序上排序最后的一路输入信号作为第一参考信号；

以所述第一参考信号为基准，确定其他各路输入信号与所述第一参考信号帧对齐时，其他各路输入信号的数据缓存量；

基于其他各路输入信号的数据缓存量，缓存其他各路输入信号；

输出所述第一参考信号的同时，读取缓存的其他各路输入信号并与所述第一参考信号同步输出。

2.根据权利要求1所述的方法，其特征在于，所述确定每路所述输入信号在时序上的相对位置关系，包括：

从所述多路输入信号中随机选取一路输入信号作为第二参考信号；

获取所述第二参考信号的场同步信号中的第一个上升沿对应的时钟作为对齐时间；

根据每路输入信号的有效数据的起始位置与所述对齐时间之间的第一时间差确定所述相对位置关系。

3.根据权利要2所述的方法，其特征在于，所述根据每路输入信号的有效数据的起始位置与所述对齐时间之间的第一时间差确定所述相对位置关系，包括：

确定每路所述输入信号的有效数据的起始位置与所述对齐时间的第一时间差，得到各路所述输入信号对应的第一时间差；

所述多路输入信号两两组成信号对，针对任一信号对分别执行：确定所述信号对中两路输入信号分别对应的第一时间差之间的差值；并根据所述差值与第一预设值的比较结果确定所述信号对中两路输入信号的时序位置关系；

基于各信号对中两路输入信号的时序位置关系，确定所述多路信号在时序上的所述相对位置关系。

4.根据权利要求3所述的方法，其特征在于，所述根据所述差值与第一预设值的比较结果确定所述信号对中两路输入信号的时序位置关系，包括：

若所述差值大于所述第一预设值，则所述第一时间差大的一路输入信号的时序位置在所述第一时间差小的一路输入信号之前；

若所述差值小于所述第一预设值，则所述第一时间差大的一路输入信号的时序位置在所述第一时间差小的一路输入信号之后；

若所述差值等于所述第一预设值，则所述两路输入信号的时序位置相同。

5.根据权利要求1-4中任一所述的方法，其特征在于，所述以所述第一参考信号为基准，确定其他各路输入信号与所述第一参考信号帧对齐时，其他各路输入信号的数据缓存量，包括：

分别确定其他各路输入信号与所述第一参考信号的有效数据的起始位置之间的第二时间差；

针对其他各路输入信号中的每路输入信号，若第二时间差大于所述第一预设值，则所述输入信号的缓存量为指定时长内的数据量，所述指定时长为所述第二时间差与第二预设值的总和；

若第二时间差小于或等于所述第一预设值，则所述输入信号的缓存量为所述第二时间差内的数据量。

6.根据权利要求5所述的方法，其特征在于，所述第二预设值为数据有效长度和消隐区长度的总和。

7.根据权利要求3或4所述的方法，其特征在于，所述第一预设值为数据有效长度和消隐区长度的均值。

8.根据权利要求1所述的方法，其特征在于，所述输出所述第一参考信号的同时，读取缓存的其他各路输入信号并与所述第一参考信号同步输出，包括：

接收所述第一参考信号并从缓存中读取其他各路输入信号；

基于所述第一参考信号和其他各路输入信号各自的预设坐标参数，确定所述第一参考信号和其他各路输入信号的显示位置；

根据所述显示位置显示所述第一参考信号和其他各路输入信号。

9.根据权利要求1所述的方法，其特征在于，所述确定多路输入信号在时序上的相对位置关系之前，所述方法还包括：

提取所述多路输入信号中各路输入信号的信号信息；

基于各路输入信号的信号信息确定各路输入信号的缩放比例；

基于各路输入信号的缩放比例对各路输入信号进行缩放处理。

10.一种图像处理设备，其特征在于，所述设备包括控制器、第一存储器第二存储器：

所述第一存储器，用于存储可被所述控制器执行的计算机程序；

所述第二存储器，用于缓存输入信号；

所述控制器与所述第一存储器和所述第二存储器连接，被配置为执行如权利要求1-9中任一所述的方法。

Images