CN114339379B - 多窗口超低延迟视频信号处理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种多窗口超低延迟视频信号处理方法、装置、设备及介质，其中方法包括:接收多路视频信号，并对其进行统一解码；对统一解码后的多路视频信号进行视频信号整合，以得到总视频信号；对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中；通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据；将第一线程和第二线程读取的图像数据进行信号同步处理；对信号同步处理后的图像数据发送至显示界面进行同步显示。本发明缩短了多路视频源到同屏多窗口显示的时间差，极大便利特殊应用的使用场合，而且实现了输出在多窗口同屏显示的视频信号同步的目的。

Description

多窗口超低延迟视频信号处理方法、装置、设备及介质

技术领域

本发明涉及图像数据处理，更具体地说是一种多窗口超低延迟视频信号处理方法、装置、设备及介质。

背景技术

目前，医疗视频处理系统的视频传输同步技术主要有两种处理方法：一种是采用输出奇偶帧两路视频信号，去驱动显示器；另一种使用两级的信号处理模块，在输出视频信号处理模块使用DDR缓存器作帧频同步处理，输出左右两路同步的信号，去驱动显示器。而这两种方法都均有缺陷，无法满足临床诊断对手术室视频信号显示的要求。

第一种方式采用输出奇偶帧两路视频信号驱动显示的方法是：第一级视频信号处理模块产生4K@30Hz的奇偶帧两路视频信号，输出到显示器，第二级通过显示器的视频处理模块将数据重新排列处理，合成为4K@60Hz的视频信号，由于这种显示屏灰阶度通常较差，只能作为显示一般图像信号使用，但作为临床诊断显示根本无法满足需求使用，同时在显示器的视频处理模块上需要使用DDR作为帧缓存器，这样又增加了信号的延迟时间，所以，这种方案根本无法满足手术室临床诊断对视频处理设备的需求。

第二种方式是：利用两级视频处理来实现视频信号的帧频同步输出，第一级采用专用视频处理芯片处理，第二级采用FGPA进行视频信号作视频信号同步处理，由于这种方法是两级视频处理都必需使用到DDR存储器，使得叠加的延迟时间很高，延迟时间大于2帧以上，而临床诊断手术往往对设备的实时性要求很高，否则就会出现实时的手术与视频处理后的手术视频出现段差，加大手术的风险。

因此，以上的视频处理方案很难满足临床手术诊断的需求。

发明内容

本发明的目的在于克服现有技术的不足，提供多窗口超低延迟视频信号处理方法、装置、设备及介质。

为实现上述目的，本发明采用以下技术方案：

第一方面，多窗口超低延迟视频信号处理方法，所述方法包括：

接收多路视频信号，并对其进行统一解码；

对统一解码后的多路视频信号进行视频信号整合，以得到总视频信号；

对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中；

通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据；

将第一线程和第二线程读取的图像数据进行信号同步处理；

对信号同步处理后的图像数据发送至显示界面进行同步显示。

其进一步技术方案为：所述的对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中，具体包括：

将同一帧图像划分为第一部分帧和第二部分帧；

将不同帧图像的第一部分帧通过第一线程存储于第一存储器和第二存储器中第一存储区域；

将不同帧图像的第二部分帧通过第二线程存储于第一存储器和第二存储器中第二存储区域。

其进一步技术方案为：所述的将第一线程和第二线程读取的图像数据进行信号同步处理，具体包括：

获取第一部分帧的时间戳；

根据第一部分帧的时间戳查找对应的帧图像的第二部分帧的时间戳；

根据第一部分帧的时间戳和第二部分帧的时间戳以合成两者所对应的帧图像。

其进一步技术方案为：所述方法还包括：

设定多路视频信号在显示界面的显示区域坐标。

第二方面，多窗口超低延迟视频信号处理装置，所述装置包括信号接收单元、图像数据处理单元、数据存储单元、读取单元、信号同步处理单元和显示单元；

所述信号接收单元，用于接收多路视频信号，并对其进行统一解码；

所述图像数据处理单元，用于对统一解码后的多路视频信号进行视频信号整合，以得到总视频信号；

所述数据存储单元，用于对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中；

所述读取单元，用于通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据；

所述信号同步处理单元，用于将第一线程和第二线程读取的图像数据进行信号同步处理；

所述显示单元，用于对信号同步处理后的图像数据发送至显示界面进行同步显示。

其进一步技术方案为：所述数据存储单元包括划分模块、第一存储模块和第二存储模块；

所述划分模块，用于将同一帧图像划分为第一部分帧和第二部分帧；

所述第一存储模块，用于将不同帧图像的第一部分帧通过第一线程存储于第一存储器和第二存储器中第一存储区域；

所述第二存储模块，用于将不同帧图像的第二部分帧通过第二线程存储于第一存储器和第二存储器中第二存储区域。

其进一步技术方案为：所述信号同步处理单元包括获取模块、查找模块和合成模块；

所述获取模块，用于获取第一部分帧的时间戳；

所述查找模块，用于根据第一部分帧的时间戳查找对应的帧图像的第二部分帧的时间戳；

所述合成模块，用于根据第一部分帧的时间戳和第二部分帧的时间戳以合成两者所对应的帧图像。

其进一步技术方案为：所述装置还包括设定模块；

所述设定模块，用于设定多路视频信号在显示界面的显示区域坐标。

第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的方法步骤。

第四方面，一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如上述的方法步骤。

本发明与现有技术相比的有益效果是：本发明通过采用两个线程的方式对混合整合后的多路视频信号进行数据图像处理，缩短了多路视频源到同屏多窗口显示的时间差，极大便利特殊应用的使用场合，如DSA临床手术诊断视频信号处理，军工声呐视频信号处理，相控阵雷达视频信号处理等，而且实现了输出在多窗口同屏显示的视频信号同步的目的。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具体实施例提供的多窗口超低延迟视频信号处理方法、的流程图；

图2为本发明具体实施例提供的多窗口超低延迟视频信号处理装置的示意性框图；

图3为本发明具体实施例提供一种计算机设备的示意性框图。

具体实施方式

为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本发明意在克服在多路视频信号输入同屏多窗口显示视频处理时延长的问题，缩短多路视频源到同屏多窗口显示的时间差，极大便利特殊应用的使用场合。下面通过具体实施例来介绍本发明。

如图1所示，一种多窗口超低延迟视频信号处理方法，包括以下步骤：S10、S20、S30、S40、S50和S60。

S10、接收多路视频信号，并对其进行统一解码。

本发明旨在针对多种视频信号的场景而言的，不是针对单路视频信号的场景。视频信号的路数可根据实际情况而定。对于接收到多路视频信号，进行统一解码处理，统一将视频信号的数据转换为TTL电平(或LVDS电平)等格式。

S20、对统一解码后的多路视频信号进行视频信号整合，以得到总视频信号。

视频信号整合就是将多路视频信号整合成一个总的视频信号。

在一些实施例中，进行统一解码后还需设定多路视频信号在显示界面的显示区域坐标。

具体地，对输入视频信号的TTL电平或LVDS电平，先将其数据转换为RGB数据，根据总线控制的指令对每一路信号进行各种数据缩放、叠加、截切和拼接等处理，每一路接收的信号拼接处理后对应为一个在显示界面的显示区域，即经过处理后可得知对应路的信号在显示界面的显示区域的坐标，例如：假设有四路信号输入，A路信号的分辨率为3*3，需要放大到6*6，B路信号的信号的分辨率为9*9，需要压缩到6*6，C路和D路信号均为6*6，对应A、B、C、D四路信号所对应到显示界面的显示区域的原点坐标X,Y为：A(0，0)、B(0，6)、C(6，0)，D(0，6)。

S30、对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中。

步骤S30具体包括以下步骤：

S301、将同一帧图像划分为第一部分帧和第二部分帧；

S302、将不同帧图像的第一部分帧通过第一线程存储于第一存储器和第二存储器中第一存储区域；

S303、将不同帧图像的第二部分帧通过第二线程存储于第一存储器和第二存储器中第二存储区域。

假如显示界面需要输出3840*2160@60Hz分辨率的图像，但是由于数据量太大，在传输过程中受接口的带宽限制，单路传输视频的带宽接口不能超过5M@60Hz的分辨率，所以需要将它分成两路4M@60Hz的分辨率进行传输，为了在显示界面能直接以点对点的方式显示，在后级处理中不再使用缓存处理，最大限度减小图像处理的延迟时间，对应的帧图像需要两个线程1920*2160@60Hz进行存储。

具体地，以帧为单位，当发送过来第一帧图像时，首先将第一帧图像划分为第一部分帧1920*2160，第二部分帧为1920*2160，第一帧图像的第一部分帧1920*2160通过第一线程存储在第一存储器的第一存储区域，第一帧图像的第二部分帧1920*2160通过第二线程存储在第一存储器的第二存储区域，此时就完成了第一帧图像分别采用不同线程的存储。

当发送过来第二帧图像时，首先将第二帧图像划分为第一部分帧1920*2160，第二部分帧为1920*2160，第二帧图像的第一部分帧1920*2160通过第一线程存储在第二存储器的第一存储区域，第二帧图像的第二部分帧1920*2160通过第二线程存储在第二存储器的第二存储区域，此时就完成了第二帧图像分别采用不同线程的存储。

当发送过来第三帧图像时，首先将第三帧图像划分为第一部分帧1920*2160，第二部分帧为1920*2160，第三帧图像的第一部分帧1920*2160通过第一线程存储在第一存储器的第一存储区域，第三帧图像的第二部分帧1920*2160通过第二线程存储在第一存储器的第二存储区域，此时就完成了第三帧图像分别采用不同线程的存储。

当发送过来第四帧图像时，首先将第四帧图像划分为第一部分帧1920*2160，第二部分帧为1920*2160，第四帧图像的第一部分帧1920*2160通过第一线程存储在第二存储器的第一存储区域，第四帧图像的第二部分帧1920*2160通过第二线程存储在第二存储器的第二存储区域，此时就完成了第二帧图像分别采用不同线程的存储。

以此类推，从上面的存储规律可以发现，相邻的两帧图像是存储于不同存储器中的，而同一帧图像中的两个部分是存储于同一存储器的不同存储区域的。

需要说明的是，同一帧图像的划分可以是等分也可以是不等分，例如，本实施例中，同一帧图像是等分的，即第一部分帧1920*2160和第二部分帧1920*2160是相等的，在其它实施例中，第一部分帧和第二部分帧是不相等。

S40、通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据。

向存储器中存入数据即为写数据操作，假如当第一帧图像完成写数据操作后，总线控制立即启动对读数据的操作，即对第一存储器中存储的图像数据进行读取，当然，读取的方式也是采用第一线程和第二线程来读取，即第一线程读取存储于第一存储器的第一存储区域的图像数据，第二线程读取存储于第一存储器的第二存储区域的图像数据。

当在读取第一存储器的图像数据同时，则在对第二帧图像进行写数据操作。总体而言，当执行从第一存储器读数据操作时，同步执行向第二存储器写数据操作；当执行向第一存储器写数据操作时，同步执行从第二存储器读数据操作，实现第一存储器和第二存储器的读写的乒乓切换操作。

S50、将第一线程和第二线程读取的图像数据进行信号同步处理。

由于同一帧图像是通过两个线程来进行写入和读取的，因此为了保证两个线程的信号同步，需要进行信号同步处理。

具体地，步骤S50包括以下步骤：

S501、获取第一部分帧的时间戳。

S502、根据第一部分帧的时间戳查找对应的帧图像的第二部分帧的时间戳。

S503、根据第一部分帧的时间戳和第二部分帧的时间戳以合成两者所对应的帧图像。

在对同一帧图像进行划分的时候，需要设定时间戳，从而能够方便同一帧图像进行信号不同。

S60、对信号同步处理后的图像数据发送至显示界面进行同步显示。

由于进行统一解码后设定了多路视频信号在显示界面的显示区域坐标。因此信号同步后，可直接将对应某一路的视频信号根据显示区域坐标在显示界面的对应区域显示即可。

本发明由于在显示界面能直接以点对点的方式显示，在后级处理中不再使用缓存处理，最大限度减小图像处理的延迟时间，缩短了多路视频源到同屏多窗口显示的时间差，极大便利特殊应用的使用场合，如DSA临床手术诊断视频信号处理，军工声呐视频信号处理，相控阵雷达视频信号处理等，而且实现了输出在多窗口同屏显示的视频信号同步的目的。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上述的一种窗口超低延迟视频信号处理方法，本发明具体实施例还提供了一种窗口超低延迟视频信号处理装置。

如图2所示，窗口超低延迟视频信号处理装置100，包括信号接收单元110、图像数据处理单元120、数据存储单元130、读取单元140、信号同步处理单元150和显示单元160。

信号接收单元110，用于接收多路视频信号，并对其进行统一解码。

本发明旨在针对多种视频信号的场景而言的，不是针对单路视频信号的场景。视频信号的路数可根据实际情况而定。对于接收到多路视频信号，进行统一解码处理，统一将视频信号的数据转换为TTL电平(或LVDS电平)等格式。

图像数据处理单元120，用于对统一解码后的多路视频信号进行视频信号整合，以得到总视频信号。

视频信号整合就是将多路视频信号整合成一个总的视频信号。

在一些实施例中，装置还包括设定模块；用于设定多路视频信号在显示界面的显示区域坐标。

进行统一解码后还需设定多路视频信号在显示界面的显示区域坐标。

具体地，对输入视频信号的TTL电平或LVDS电平，先将其数据转换为RGB数据，根据总线控制的指令对每一路信号进行各种数据缩放、叠加、截切和拼接等处理，每一路接收的信号拼接处理后对应为一个在显示界面的显示区域，即经过处理后可得知对应路的信号在显示界面的显示区域的坐标，例如：假设有四路信号输入，A路信号的分辨率为3*3，需要放大到6*6，B路信号的信号的分辨率为9*9，需要压缩到6*6，C路和D路信号均为6*6，对应A、B、C、D四路信号所对应到显示界面的显示区域的原点坐标X,Y为：A(0，0)、B(0，6)、C(6，0)，D(0，6)。

数据存储单元130，用于对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中。

数据存储单元130包括划分模块、第一存储模块和第二存储模块。

划分模块，用于将同一帧图像划分为第一部分帧和第二部分帧。

第一存储模块，用于将不同帧图像的第一部分帧通过第一线程存储于第一存储器和第二存储器中第一存储区域。

第二存储模块，用于将不同帧图像的第二部分帧通过第二线程存储于第一存储器和第二存储器中第二存储区域。

假如显示界面需要输出3840*2160@60Hz分辨率的图像，但是由于数据量太大，在传输过程中受接口的带宽限制，单路传输视频的带宽接口不能超过5M@60Hz的分辨率，所以需要将它分成两路4M@60Hz的分辨率进行传输，为了在显示界面能直接以点对点的方式显示，在后级处理中不再使用缓存处理，最大限度减小图像处理的延迟时间，对应的帧图像需要两个线程1920*2160@60Hz进行存储。

具体地，以帧为单位，当发送过来第一帧图像时，首先将第一帧图像划分为第一部分帧1920*2160，第二部分帧为1920*2160，第一帧图像的第一部分帧1920*2160通过第一线程存储在第一存储器的第一存储区域，第一帧图像的第二部分帧1920*2160通过第二线程存储在第一存储器的第二存储区域，此时就完成了第一帧图像分别采用不同线程的存储。

当发送过来第二帧图像时，首先将第二帧图像划分为第一部分帧1920*2160，第二部分帧为1920*2160，第二帧图像的第一部分帧1920*2160通过第一线程存储在第二存储器的第一存储区域，第二帧图像的第二部分帧1920*2160通过第二线程存储在第二存储器的第二存储区域，此时就完成了第二帧图像分别采用不同线程的存储。

当发送过来第三帧图像时，首先将第三帧图像划分为第一部分帧1920*2160，第二部分帧为1920*2160，第三帧图像的第一部分帧1920*2160通过第一线程存储在第一存储器的第一存储区域，第三帧图像的第二部分帧1920*2160通过第二线程存储在第一存储器的第二存储区域，此时就完成了第三帧图像分别采用不同线程的存储。

当发送过来第四帧图像时，首先将第四帧图像划分为第一部分帧1920*2160，第二部分帧为1920*2160，第四帧图像的第一部分帧1920*2160通过第一线程存储在第二存储器的第一存储区域，第四帧图像的第二部分帧1920*2160通过第二线程存储在第二存储器的第二存储区域，此时就完成了第二帧图像分别采用不同线程的存储。

以此类推，从上面的存储规律可以发现，相邻的两帧图像是存储于不同存储器中的，而同一帧图像中的两个部分是存储于同一存储器的不同存储区域的。

需要说明的是，同一帧图像的划分可以是等分也可以是不等分，例如，本实施例中，同一帧图像是等分的，即第一部分帧1920*2160和第二部分帧1920*2160是相等的，在其它实施例中，第一部分帧和第二部分帧是不相等。

读取单元140，用于通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据。

向存储器中存入数据即为写数据操作，假如当第一帧图像完成写数据操作后，总线控制立即启动对读数据的操作，即对第一存储器中存储的图像数据进行读取，当然，读取的方式也是采用第一线程和第二线程来读取，即第一线程读取存储于第一存储器的第一存储区域的图像数据，第二线程读取存储于第一存储器的第二存储区域的图像数据。

当在读取第一存储器的图像数据同时，则在对第二帧图像进行写数据操作。总体而言，当执行从第一存储器读数据操作时，同步执行向第二存储器写数据操作；当执行向第一存储器写数据操作时，同步执行从第二存储器读数据操作，实现第一存储器和第二存储器的读写的乒乓切换操作。

信号同步处理单元150，用于将第一线程和第二线程读取的图像数据进行信号同步处理。

由于同一帧图像是通过两个线程来进行写入和读取的，因此为了保证两个线程的信号同步，需要进行信号同步处理。

信号同步处理单元150包括获取模块、查找模块和合成模块。

获取模块，用于获取第一部分帧的时间戳。

查找模块，用于根据第一部分帧的时间戳查找对应的帧图像的第二部分帧的时间戳。

合成模块，用于根据第一部分帧的时间戳和第二部分帧的时间戳以合成两者所对应的帧图像。

在对同一帧图像进行划分的时候，需要设定时间戳，从而能够方便同一帧图像进行信号不同。

显示单元160，用于对信号同步处理后的图像数据发送至显示界面进行同步显示。

由于进行统一解码后设定了多路视频信号在显示界面的显示区域坐标。因此信号同步后，可直接将对应某一路的视频信号根据显示区域坐标在显示界面的对应区域显示即可。

如图3所示，本发明具体实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的多窗口超低延迟视频信号处理方法步骤。

该计算机设备700可以是终端或服务器。该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。

该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种多窗口超低延迟视频信号处理方法。

该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。

该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种多窗口超低延迟视频信号处理方法。

该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现以下步骤：

接收多路视频信号，并对其进行统一解码；

对统一解码后的多路视频信号进行视频信号整合，以得到总视频信号；

对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中；

通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据；

将第一线程和第二线程读取的图像数据进行信号同步处理；

对信号同步处理后的图像数据发送至显示界面进行同步显示。

其进一步技术方案为：所述的对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中，具体包括：

将同一帧图像划分为第一部分帧和第二部分帧；

将不同帧图像的第一部分帧通过第一线程存储于第一存储器和第二存储器中第一存储区域；

将不同帧图像的第二部分帧通过第二线程存储于第一存储器和第二存储器中第二存储区域。

其进一步技术方案为：所述的将第一线程和第二线程读取的图像数据进行信号同步处理，具体包括：

获取第一部分帧的时间戳；

根据第一部分帧的时间戳查找对应的帧图像的第二部分帧的时间戳；

根据第一部分帧的时间戳和第二部分帧的时间戳以合成两者所对应的帧图像。

其进一步技术方案为：所述方法还包括：

设定多路视频信号在显示界面的显示区域坐标。

应当理解，在本申请实施例中，处理器720可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器720还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域技术人员可以理解，图3中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明中各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.多窗口超低延迟视频信号处理方法，其特征在于，所述方法包括：

接收多路视频信号，并对其进行统一解码；

对统一解码后的多路视频信号进行视频信号整合，以得到总视频信号；

对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中；

通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据；

将第一线程和第二线程读取的图像数据进行信号同步处理；

对信号同步处理后的图像数据发送至显示界面进行同步显示；

所述的对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中，具体包括：

将同一帧图像划分为第一部分帧和第二部分帧；

将不同帧图像的第一部分帧通过第一线程存储于第一存储器和第二存储器中第一存储区域；

将不同帧图像的第二部分帧通过第二线程存储于第一存储器和第二存储器中第二存储区域；

所述通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据，具体包括：第一线程读取存储于第一存储器的第一存储区域的图像数据，第二线程读取存储于第一存储器的第二存储区域的图像数据，或者，第一线程读取存储于第二存储器的第一存储区域的图像数据，第二线程读取存储于第二存储器的第二存储区域的图像数据。

2.根据权利要求1所述的多窗口超低延迟视频信号处理方法，其特征在于，所述的将第一线程和第二线程读取的图像数据进行信号同步处理，具体包括：

获取第一部分帧的时间戳；

根据第一部分帧的时间戳查找对应的帧图像的第二部分帧的时间戳；

根据第一部分帧的时间戳和第二部分帧的时间戳以合成两者所对应的帧图像。

3.根据权利要求1所述的多窗口超低延迟视频信号处理方法，其特征在于，所述方法还包括：

设定多路视频信号在显示界面的显示区域坐标。

4.多窗口超低延迟视频信号处理装置，其特征在于，所述装置包括信号接收单元、图像数据处理单元、数据存储单元、读取单元、信号同步处理单元和显示单元；

所述信号接收单元，用于接收多路视频信号，并对其进行统一解码；

所述图像数据处理单元，用于对统一解码后的多路视频信号进行视频信号整合，以得到总视频信号；

所述数据存储单元，用于对总视频信号中的每一帧图像通过第一线程和第二线程交替存储于第一存储器和第二存储器中；

所述读取单元，用于通过第一线程和第二线程读取第一存储器和第二存储器中的图像数据；

所述信号同步处理单元，用于将第一线程和第二线程读取的图像数据进行信号同步处理；

所述显示单元，用于对信号同步处理后的图像数据发送至显示界面进行同步显示；

所述数据存储单元包括划分模块、第一存储模块和第二存储模块；

所述划分模块，用于将同一帧图像划分为第一部分帧和第二部分帧；

所述第一存储模块，用于将不同帧图像的第一部分帧通过第一线程存储于第一存储器和第二存储器中第一存储区域；

所述第二存储模块，用于将不同帧图像的第二部分帧通过第二线程存储于第一存储器和第二存储器中第二存储区域；

所述读取单元具体用于第一线程读取存储于第一存储器的第一存储区域的图像数据，第二线程读取存储于第一存储器的第二存储区域的图像数据，或者，第一线程读取存储于第二存储器的第一存储区域的图像数据，第二线程读取存储于第二存储器的第二存储区域的图像数据。

5.根据权利要求4所述的多窗口超低延迟视频信号处理装置，其特征在于，所述信号同步处理单元包括获取模块、查找模块和合成模块；

所述获取模块，用于获取第一部分帧的时间戳；

所述查找模块，用于根据第一部分帧的时间戳查找对应的帧图像的第二部分帧的时间戳；

所述合成模块，用于根据第一部分帧的时间戳和第二部分帧的时间戳以合成两者所对应的帧图像。

6.根据权利要求4所述的多窗口超低延迟视频信号处理装置，其特征在于，所述装置还包括设定模块；

所述设定模块，用于设定多路视频信号在显示界面的显示区域坐标。

7.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～3中任意一项所述的方法步骤。

8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如权利要求1～3任意一项所述的方法步骤。