CN104270578A - 基于网络传输的多路视频画面的处理方法和系统 - Google Patents

Abstract

本发明提出了一种基于网络传输的多路视频画面处理系统，包括信号发送装置、信号接收装置以及控制器和多个显示器。该信号发送装置用于接收多路视频信号并输出目标视频信号和控制命令，信号接收装置用于接收目标视频信号和控制命令并处理成待显示的视频画面。将多路视频信号转化为单一的视频信号并在同一网路中传输，本发明可以解决多路视频的时序网络传输的问题。视频信号与控制命令同时传输，可以实时发出显示命令，例如局部放大、任意路拼接等。

Description

基于网络传输的多路视频画面的处理方法和系统

技术领域

本发明涉及多路视频画面的分割、拼接技术，尤其涉及基于网络传输的多路视频画面处理方法和系统。

背景技术

在道路交通监控，大屏广告播放等场所，由于视频源与显示端距离远，且要求同时显示多路信号，需要对信号进行前期处理。201410117927.3公开了一种多路视频监控图像数据处理方法，实时获取多路视频监控系统中的每路图像数据，然后将当前获取的各路图像拼接成一幅图像，然后将拼接成的图像再进行压缩处理。从而压缩后所占用磁盘的空间相比于多个视频图像单独压缩后再存储所占用的磁盘空间更小。该案无法根据需要更换显示方式。201210563875.3涉及一种超高清多屏图像处理系统，包括信号发生装置和信号发送装置。信号发送装置分别与信号发生装置和系统外部的至少两个显示屏进行通信。信号发生装置用于接收系统外部发送来的超高清信号源，并将信号源分割为与外部显示屏数目相等的多路分割信号传输至信号发送装置。信号发送装置用于接收至少两路分割信号，并将每路分割信号发送至该路分割信号对应的显示屏。显示屏用于接收分割信号并拼接显示分割信号的内容。该案虽然可以将信号分割为多个显示单元进行显示，但是分割方式是唯一的，系统实时提供控制命令。因此有必要提供一种多路视频画面处理方法和系统，对视频进行前期处理，满足单通道传输需要，同时可以根据需要选择不同的显示方式，例如任意单路局部放大，任意单路信号切换，任意多路拼接。

发明内容

本发明要解决的技术问题是提供一种基于网络传输的多路视频画面处理方法和系统，用于解决多视频信号的网络传输和切割拼接。

一种基于网络传输的多路视频画面处理系统，其特征在于包括：

一信号发送装置，用于接收多路视频信号并输出目标视频信号和控制命令，该信号发送装置包括存储单元、压缩单元、分配单元以及发送单元，

一信号接收装置，用于接收目标视频信号和控制命令并处理成待显示的视频画面，该信号接收装置包括分解单元、解压单元、处理单元以及输出单元，

以及一控制器和多个显示器，其中，

所述控制器提供多路视频分配信号，所述压缩单元用于压缩所述多路视频信号，所述存储单元用于存储多路视频信号，所述分配单元用于在同一时序读取多路视频信号生成目标视频，所述发送单元用于在同一信号通道中发送该目标视频和控制命令，所述分解单元用于分解目标视频信号和控制命令，所述解压单元用于解压所述目标视频信号，所述处理单元用于根据控制命令处理所述目标视频信号并生成视频画面，所述输出单元将视频画面发送至多个显示器，所述显示器输出视频画面。

在本发明的多路视频画面处理系统中，所述控制器为PC。

在本发明的多路视频画面处理系统中，控制命令在帧同步的高电平段传输，视频信号在帧同步的低电平段传输。

一种基于网络传输的多路视频画面处理方法，其特征在于，包括以下步骤：

接收多路视频信号，将其压缩后存储，在同一时序读取多路视频信号，拼接为目标视频同时生成控制命令，

在同一信道中输出目标视频和控制命令，

将目标视频和控制命令分开，根据控制命令处理所述目标视频信号并生成视频画面，显示该视频画面。

在本发明的多路视频画面处理方法中，采用基于边缘插值的缩放算法降低多路视频信号的分辨率，再采用JPEG压缩标准压缩多路视频信号。

在本发明的多路视频画面处理方法中，所述缩放算法为：

$N_2=\left\{\begin{array}{cc}{\∫}_0+\mathrm{\Δ}{\∫}_{0}t+\frac{{\mathrm{\Δ}}^2{\∫}_0}{2!}t(t-1)& \left|{\mathrm{\Δ}}^2{\∫}_0\right|\≤\left|{\mathrm{\Δ}}^2{\∫}_1\right|\\ \∫1+\mathrm{\Δ}{\∫}_1(t-1)+\frac{{\mathrm{\Δ}}^2{\∫}_1}{2!}(t-1)(t-2)& \left|{\mathrm{\Δ}}^2{\∫}_0\right|>\left|{\mathrm{\Δ}}^2{\∫}_1\right|\end{array}\right.,$

其中，Δf_i＝f_i+1-f_i i＝0,1。

在本发明的多路视频画面处理方法中，采用JPEG压缩标准解压目标视频信号，根据控制命令将其分割为多路视频信号，再采用双三次插值算法放大。

在本发明的多路视频画面处理方法中，所述双三次插值算法为：

$u\left(s\right)=\left\{\begin{array}{cc}\frac{3}{2}|s{|}^3-\frac{5}{2}|s{|}^2+1& 0<\left|s\right|<1\\ -\frac{1}{2}|{s|}^3+\frac{5}{2}|{s|}^2-4\left|s\right|+2& 1<\left|s\right|<2\\ 0& 2<\left|s\right|\end{array}\right.,$

其中，S为目标像素点与源像素点的距离。

在本发明的多路视频画面处理方法中，所述控制命令至少包括多路视频信号分解命令，其来源于多路视频信号的拼接过程；所述处理过程至少包括将目标视频分割为多路视频。

在本发明的多路视频画面处理方法中，所述处理过程还包括将多路视频拼接成一视频画面，显示在一个或多个显示屏上。

实施本发明的多路视频画面处理系统和方法，具有以下有益效果：本发明将多路视频信号转化为单一的视频信号，在同一网路中传输，可以解决多路视频的时序网络传输的问题。视频信号与控制命令同时传输，可以实时发出显示命令，例如局部放大、任意路拼接等。同时，控制命令和视频信号在不同电平段传输，防止信号冲突。显示终端可以全局显示和局部显示，对安装人员要求不高。

附图说明

图1为本发明的多路视频画面处理系统的示意图；

图2为图1的信号发送装置的示意图；

图3为图1的信号接收装置的示意图；

图4为本发明的控制命令与视频信号的传输示意图；

图5为本发明多视频信号在多个显示器上显示的示意图；

图6为在不同的控制命令下，图5的一种显示结果；

图7为在不同的控制命令下，图5的另一种显示结果；

图8为图2的信号发送装置的视频压缩流程图；

图9为图3的信号接收装置的视频解压流程图。

具体实施方式

下面结合附图对本发明的多路视频画面处理系统作进一步描述。

如图1至3所示的本发明的这种基于网络传输的多路视频画面处理系统，包括：信号发送装置、信号接收装置以及控制器和多个显示器。该信号发送装置用于接收多路视频信号并输出目标视频信号和控制命令，信号接收装置用于接收目标视频信号和控制命令并处理成待显示的视频画面。

该信号发送装置包括存储单元、压缩单元、分配单元以及发送单元。所述压缩单元用于压缩所述多路视频信号，所述存储单元用于存储多路视频信号。所述控制器提供多路视频分配信号。所述分配单元用于在同一时序读取多路视频信号生成目标视频，所述发送单元用于在同一信号通道中发送该目标视频和控制命令。

该信号接收装置包括分解单元、解压单元、处理单元以及输出单元。所述分解单元用于分解目标视频信号和控制命令，所述解压单元用于解压所述目标视频信号，所述处理单元用于根据控制命令处理所述目标视频信号并生成视频画面，所述输出单元将视频画面发送至多个显示器，所述显示器输出视频画面。

所述控制器为PC。如图4，控制命令在帧同步的高电平段传输，视频信号在帧同步的低电平段传输。基于控制命令可以实现4个输出口一一对应输入口的4个视频信号输出，解决多视频信号网络传输的问题。也可以实现4个输出口输出4路拼接屏显示信号，视频的排列方式按照分割发送装置确定的排列方式，如图5至7。

本发明的这种基于网络传输的多路视频画面处理方法，包括以下步骤：

接收多路视频信号，将其压缩后存储，采用基于边缘插值的缩放算法降低多路视频信号的分辨率，再采用JPEG压缩标准压缩多路视频信号，所述缩放算法为： $N_2=\left\{\begin{array}{cc}{\&Integral;}_0+\mathrm{\&Delta;}{\&Integral;}_{0}t+\frac{{\mathrm{\&Delta;}}^2{\&Integral;}_0}{2!}t(t-1)& \left|{\mathrm{\&Delta;}}^2{\&Integral;}_0\right|\&le;\left|{\mathrm{\&Delta;}}^2{\&Integral;}_1\right|\\ \&Integral;1+\mathrm{\&Delta;}{\&Integral;}_1(t-1)+\frac{{\mathrm{\&Delta;}}^2{\&Integral;}_1}{2!}(t-1)(t-2)& \left|{\mathrm{\&Delta;}}^2{\&Integral;}_0\right|>\left|{\mathrm{\&Delta;}}^2{\&Integral;}_1\right|\end{array}\right.,$ 其中，Δf_i＝f_i+1-f_i i＝0,1。

在同一时序读取多路视频信号，拼接为目标视频同时生成控制命令。所述控制命令至少包括多路视频信号分解命令，其来源于多路视频信号的拼接过程；所述处理过程至少包括将目标视频分割为多路视频。

在同一信道中输出目标视频和控制命令。信道例如是超五类网线。

将目标视频和控制命令分开，采用JPEG压缩标准解压目标视频信号，根据控制命令将其分割为多路视频信号，再采用双三次插值算法放大。所述双三次插值算法为： $u\left(s\right)=\left\{\begin{array}{cc}\frac{3}{2}|s{|}^3-\frac{5}{2}|s{|}^2+1& 0<\left|s\right|<1\\ -\frac{1}{2}|{s|}^3+\frac{5}{2}|{s|}^2-4\left|s\right|+2& 1<\left|s\right|<2\\ 0& 2<\left|s\right|\end{array}\right.,$ 其中，S为目标像素点与源像素点的距离。

根据控制命令处理所述目标视频信号并生成视频画面，显示该视频画面。具体而言，可以进行如下处理：目标视频信号与显示屏一一对应的显示；将多路视频拼接成一视频画面，显示在一个或多个显示屏上；仅输出任意各目标视频信号，将其放大显示在多个显示屏上。

假如控制信号要求4个1920X1080分辨率的视频信号都只占输出分辨率的四分之一，其工作流程为：分割发送装置将每个输入视频信号行和列都缩小一半变成960X540分辨率存入外部存储器，在同一个1920X1080/60Hz时序下分别读出4个外部存储器的内容合成为1920X1080/60Hz信号，这样就完成4输入信号的分割，具体排列方式如图6所示。

缩小算法采用基于边缘插值的缩放算法，解决低阶算法的“马赛克”现象和高阶算法的“振铃”效应导致图像边界模糊。基于边缘插值的缩放算法公式： $N_2=\left\{\begin{array}{cc}{\&Integral;}_0+\mathrm{\&Delta;}{\&Integral;}_{0}t+\frac{{\mathrm{\&Delta;}}^2{\&Integral;}_0}{2!}t(t-1)& \left|{\mathrm{\&Delta;}}^2{\&Integral;}_0\right|\&le;\left|{\mathrm{\&Delta;}}^2{\&Integral;}_1\right|\\ \&Integral;1+\mathrm{\&Delta;}{\&Integral;}_1(t-1)+\frac{{\mathrm{\&Delta;}}^2{\&Integral;}_1}{2!}(t-1)(t-2)& \left|{\mathrm{\&Delta;}}^2{\&Integral;}_0\right|>\left|{\mathrm{\&Delta;}}^2{\&Integral;}_1\right|\end{array}\right.,$ 其中，Δf_i＝f_i+1-f_i i＝0,1。f_i为源像素点，t为目标像素点N与源像素点f₀的距离。

分割好的视频信号采用JPEG压缩标准，具体压缩流程如图8所示。8X8的DCT变换公式：

$F(u,v)=\frac{1}{4}C\left(u\right)C\left(v\right)[\underset{x=0}{\overset{7}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{7}{\mathrm{\&Sigma;}}}f(x,y)\&CenterDot;\cos \frac{(2x+1)\mathrm{u\&pi;}}{16}\&CenterDot;\cos \frac{(2v+1)\mathrm{v\&pi;}}{16}]$ 其中，x,y,u,v＝0,1…,7；

先将控制命令和视频压缩码流分开，然后采用JPEG标准解压视频压缩码流，主要操作可以由FPGA完成。具体解压流程如图9。

将解压后的YUV数据根据控制命令进行区域切割，采用双三次插值算法放大，就可以实现拼接。公式如下： $u\left(s\right)=\left\{\begin{array}{cc}\frac{3}{2}|s{|}^3-\frac{5}{2}|s{|}^2+1& 0<\left|s\right|<1\\ -\frac{1}{2}|{s|}^3+\frac{5}{2}|{s|}^2-4\left|s\right|+2& 1<\left|s\right|<2\\ 0& 2<\left|s\right|\end{array}\right.,$ S为目标像素点与源像素点的距离。

该算法利用待采样点周围16个点的灰度值作三次插值，不仅考虑到4个直接相邻点的灰度影响，而且考虑到各邻点间灰度值变化率的影响。三次运算可以得到更接近高分辨率图像的放大效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于网络传输的多路视频画面处理系统，其特征在于包括：

一信号发送装置，用于接收多路视频信号并输出目标视频信号和控制命令，该信号发送装置包括存储单元、压缩单元、分配单元以及发送单元，

一信号接收装置，用于接收目标视频信号和控制命令并处理成待显示的视频画面，该信号接收装置包括分解单元、解压单元、处理单元以及输出单元，

以及一控制器和多个显示器，其中，

所述控制器提供多路视频分配信号，所述压缩单元用于压缩所述多路视频信号，所述存储单元用于存储多路视频信号，所述分配单元用于在同一时序读取多路视频信号生成目标视频，所述发送单元用于在同一信号通道中发送该目标视频和控制命令，所述分解单元用于分解目标视频信号和控制命令，所述解压单元用于解压所述目标视频信号，所述处理单元用于根据控制命令处理所述目标视频信号并生成视频画面，所述输出单元将视频画面发送至多个显示器，所述显示器输出视频画面。

2.根据权利要求1所述的多路视频画面处理系统，其特征在于，所述控制器为PC。

3.根据权利要求1所述的多路视频画面处理系统，其特征在于，控制命令在帧同步的高电平段传输，视频信号在帧同步的低电平段传输。

4.一种基于网络传输的多路视频画面处理方法，其特征在于，包括以下步骤：

接收多路视频信号，将其压缩后存储，在同一时序读取多路视频信号，拼接为目标视频同时生成控制命令，

在同一信道中输出目标视频和控制命令，

将目标视频和控制命令分开，根据控制命令处理所述目标视频信号并生成视频画面，显示该视频画面。

5.根据权利要求4所示的多路视频画面处理方法，其特征在于，采用基于边缘插值的缩放算法降低多路视频信号的分辨率，再采用JPEG压缩标准压缩多路视频信号。

6.根据权利要求5所示的多路视频画面处理方法，其特征在于，所述缩放算法为：

$N_2=\left\{\begin{array}{cc}{\&Integral;}_0+\mathrm{\&Delta;}{\&Integral;}_{0}t+\frac{{\mathrm{\&Delta;}}^2{\&Integral;}_0}{2!}t(t-1)& \left|{\mathrm{\&Delta;}}^2{\&Integral;}_0\right|\&le;\left|{\mathrm{\&Delta;}}^2{\&Integral;}_1\right|\\ \&Integral;1+\mathrm{\&Delta;}{\&Integral;}_1(t-1)+\frac{{\mathrm{\&Delta;}}^2{\&Integral;}_1}{2!}(t-1)(t-2)& \left|{\mathrm{\&Delta;}}^2{\&Integral;}_0\right|>\left|{\mathrm{\&Delta;}}^2{\&Integral;}_1\right|\end{array}\right.,$

其中，Δf_i＝f_i+1-f_i i＝0,1。

7.根据权利要求4所示的多路视频画面处理方法，其特征在于，采用JPEG压缩标准解压目标视频信号，根据控制命令将其分割为多路视频信号，再采用双三次插值算法放大。

8.根据权利要求7所示的多路视频画面处理方法，其特征在于，所述双三次插值算法为：

$u\left(s\right)=\left\{\begin{array}{cc}\frac{3}{2}|s{|}^3-\frac{5}{2}|s{|}^2+1& 0<\left|s\right|<1\\ -\frac{1}{2}|{s|}^3+\frac{5}{2}|{s|}^2-4\left|s\right|+2& 1<\left|s\right|<2\\ 0& 2<\left|s\right|\end{array}\right.,$

其中，S为目标像素点与源像素点的距离。

9.根据权利要求4所示的多路视频画面处理方法，其特征在于，所述控制命令至少包括多路视频信号分解命令，其来源于多路视频信号的拼接过程；所述处理过程至少包括将目标视频分割为多路视频。

10.根据权利要求4所示的多路视频画面处理方法，其特征在于，所述处理过程还包括将多路视频拼接成一视频画面，显示在一个或多个显示屏上。