CN103702110A - 一种多路视频信号质量监测设备 - Google Patents

Abstract

本发明公开了一种多路视频信号质量监测设备，包括：视频解码单元解码视频数据，得到单帧图像序列和每帧图像的特征值；信号模式识别单元识别单帧图像序列中特征值大于阈值的单帧图像；输出图像单元接收该单帧图像并获取单帧图像序列；若单帧图像序列包含该单帧图像，则图像输出单元在单帧图像序列中标识出单帧图像的信号质量信息并降低单帧图像序列的分辨率，将携带信号质量信息的单帧图像序列发送给对应的主机模块；主机模块将单帧图像序列拼接成多画面视频数据并显示。本发明有效地解决了对大量路数的视频数据进行并行处理的问题。通过一个或多个DSP处理模块并行处理多路视频数据，从而提升了数据处理能力，提高了实时性、降低了能耗和体积。

Description

一种多路视频信号质量监测设备

技术领域

本发明涉及视频处理技术领域，特别是涉及一种多路视频信号质量监测设备。

背景技术

现有的多路视频信号质量监测方式是使用服务器作为视频信号质量监测设备，并配合操作系统和应用软件，对多路视频的并行解码和视频信号质量分析，以实现对每路视频信号质量的监测。但是，由于服务器通常需要配置多个多核心CPU，才能通过应用软件实现对多路视频的并行处理。然而，在现有技术中，单台服务器可以并行处理的视频路数一般为20路标清视频。随着视频的网络传输应用普及，需要并行监测视频信号质量的视频路数往往达到几百或上千路。单纯依靠提高现有服务器的硬件配置和数量已经很难满足视频信号质量监测业务的需求，更无法应对不断增长的视频信号质量监测设备扩容的要求。

发明内容

本发明要解决的技术问题是将视频信号质量监测与高密度信号处理思想相结合，提供一种多路视频信号质量监测设备，在通用模块化DSP硬件基础上，通过专用数字信号处理技术来实现高密度、小体积、低功耗的视频信号质量监测，从而实现在有限机房空间内对任意多路视频信号质量的实时监测，用以解决现有技术无法对大量路数的视频进行并行处理的问题。

为解决上述技术问题，本发明提供一种多路视频信号质量监测设备。

所述设备包括一个或多个数字信号处理器，一个或多个主机模块，其中：每个数字信号处理器通过网络接口接收视频数据，其中所述数字信号处理器包括输入数据缓冲区、输出图像缓冲区、视频解码单元、信号模式识别单元，图像输出单元；所述视频解码单元解码所述数字信号处理器缓存于所述输入数据缓冲区的所述视频数据，以得到单帧图像序列和每帧图像的特征值，并缓存于所述输出图像缓冲区；所述信号模式识别单元识别缓存于所述输出图像缓冲区中的所述单帧图像序列中具有特定信号模式的单帧图像，并将所述单帧图像发送给所述输出图像单元；所述输出图像单元接收所述信号识别单元识别出的所述单帧图像以及获取所述输出图像缓冲区中的所述单帧图像序列；若所述单帧图像序列包含所述具有特定信号模式的单帧图像，则所述图像输出单元在所述单帧图像序列中标识出所述单帧图像的信号质量信息，并降低所述单帧图像序列的分辨率，以及将携带信号质量信息的所述单帧图像序列发送给所属数字信号处理器对应的主机模块；所述主机模块接收来自一个或多个图像输出单元的携带有信号质量信息的单帧图像序列，以拼接成携带有信号质量信息的视频数据并进行显示。

其中，还可以包括：若所述单帧图像序列不包含所述具有特定信号模式的单帧图像，则所述图像输出单元降低所述单帧图像序列的分辨率，以及将单帧图像序列发送给所属数字信号处理器对应的主机模块；所述主机模块接收来自一个或多个图像输出单元的单帧图像序列，以拼接成视频数据并进行显示。

其中，所述数字信号处理器与主机模块的对应关系是通过主机模块来配置的；所述主机模块配置所述一个或多个所述数字信号处理器的源网络地址和目的网络地址；其中，所述源网络地址为视频数据来源的网络地址，所述目的网络地址为所述主机模块的网络地址；所述数字信号处理器接收与其具有相同源网络地址的视频数据。

其中，所述主机模块还包括两台显示器，其中一台显示器用于显示所述视频数据和携带有信号质量信息的视频数据，另一台显示器用于显示所述携带有信号质量信息的视频数据。

其中，所述信号模式识别单元计算所述单帧图像序列中的单帧图像的特征值与预存特定信号模式所对应的特征值的匹配度，并确定所述匹配度大于匹配度阈值、且持续时间大于时间阈值的单帧图像，以作为具有特定信号模式的单帧图像。

其中，所述特征值至少包括：灰度值、亮度值、色度值、时间值；所述特定信号模式至少包括：黑场、彩条、静帧。

本发明有益效果如下：

本发明通过一个或多个DSP处理模块来并行处理多路视频数据，从而提升了视频信号质量监测设备单位体积处理多路视频数据的能力，提高了处理多路视频数据的时效，并且降低了并行处理多路视频数据的能耗。

本发明对多路视频数据进行拼接显示，降低了主机的能耗，提升用户体验效果。

附图说明

图1是根据本发明一实施例的多路视频信号质量监测设备的结构示意图；

图2是根据本发明一实施例的DSP处理模块示意图；

图3是根据本发明一实施例的DSP处理器功能示意图；

图4是根据本发明一实施例的主机的画面拼接显示示意图。

具体实施方式

为了解决现有技术无法对大量的视频进行并行处理的问题，本发明提供了一种多路视频信号质量监测设备，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

如图1所示，图1是根据本发明一实施例的多路视频信号质量监测设备的结构示意图。

设备包括：机箱，一个或多个DSP（DigitalSignalProcessing，数字信号处理器）处理模块、一个或多个主机。其中，DSP处理模块和主机可以置于机箱中。DSP处理模块和主机均可以是标准尺寸的插箱式模块，即DSP处理模块和主机模块。例如：该标准尺寸的插箱式模块高为8U，进一步地，机箱可以是14U标准19寸上架机箱，含有信号背板和信号面板。背板可以选用cPCI-E总线或具有同等级数据速度的总线。面板可以采用网络接口。单个14U机箱内部可布置12块DSP处理模块或主机模块。

在该设备中，DSP处理模块用于对接收到的视频数据流进行数据解码和数据处理，并将数据处理结果发送给主机模块。其中，数据处理可以包括对视频数据流进行信号质量分析、降低视频数据分辨率等操作，DSP处理模块可以将低分辨率图像通过网络接口或背板总线发送给主机模块，该低分辨路图像可以携带信号质量信息。

在该设备中，主机（主机模块）可以用于接收来自DSP处理模块的信号质量信息和低分辨率图像，拼接成视频数据并输出视频数据到多画面拼接显示模块和报警画面拼接显示模块，以进行多画面显示和报警画面显示。

具体而言，针对DSP处理模块而言，每个DSP处理模块包括一个或多个DSP处理器。DSP处理器可以用于对接收到的视频数据流解码和处理，例如对视频数据流进行解包、校验并存储到缓冲区、降低图像分辨率等等。例如：参考图2，图2是根据本发明一实施例的DSP处理模块示意图。DSP处理模块提供了20个DSP处理器和一个千兆以太网交换器(GbE网络交换)。每个DSP处理器可以通过其以太网接口与交换器相连。通过交换器将外部的视频数据流转发到目的DSP处理器。同样的，DSP处理器的处理结果，如：降分辨率的图像及信号质量信息，可以通过交换器转发到主机模块。每个DSP处理器外接独立的大容量内存（RAM）。将DSP处理器与其外接的大容量内存作为一个组合，并基于该大容量内存，DSP处理器可以并行处理2路视频流数据。进而，单DSP处理模块可处理40路视频。

进一步地，主机（主机模块）可以用于通过网络接口或背板总线对每个DSP处理器进行配置。配置的内容包括每个DSP处理器所处理视频的源网络地址、目的网络地址以及输出图像降低的分辨率。配置的源网络地址可以是一个组播地址，该组播地址对应一个或多个源数据端，该源数据端即视频数据的来源端。当视频数据采用组播方式传送时，DSP处理器可以根据配置的组播地址读取到视频数据并对该视频数据进行处理。源数据端也可以采用主动发送视频数据到各个DSP处理器的方式，这时各DSP处理器的源网络地址不起作用。进一步地，在主动发送视频数据的时，可以采用用户数据包协议（User DatagramProtocol，UDP）方式发送。配置的目的网络地址对应于主机模块，以便DSP处理器将处理后的数据发送到其目的网络地址对应的主机模块。配置DSP处理器需要降低图片的分辨率的范围从QCIF（QCIF=176*144像素）到原视频中的图像的分辨率。

进一步地，DSP处理器与主机模块可以为一对一关系，也可以为多对一关系。DSP处理器与主机模块的对应关系是通过主机模块来配置的。主机模块配置一个或多个DSP处理器的目的网络地址。其中，目的网络地址为主机模块的网络地址。DSP处理器可以将携带有信号质量信息的单帧图像序列发送至与该DSP处理器的目的网络地址对应的主机模块。

针对DSP处理器的处理过程，可以根据图3所示来进行说明，图3是根据本发明一实施例的DSP处理器功能示意图。

数字信号处理器包括输入数据缓冲区、输出图像缓冲区、视频解码单元、信号模式识别单元，图像输出单元。

具体而言，每个DSP处理器可以包括一个或多个核心；该一个或多个核心可以共享该DSP处理器所拥有的大容量内存空间。

以下以三个核心为例，如：第一核心（core1）、第二核心（core2）和第三核心（core3）来对DSP处理器进行说明，但本发明DSP处理器中的核心数量不限于此。

DSP处理器接收到的2路视频数据流（v1和v2）的解码和处理任务可以被分配到三个核心并行执行，并且三个核心可以通过共享的大容量RAM进行数据交换。进一步地，大容量RAM可以划分出一个或多个独立空间，独立空间可以用作2路视频数据流v1和v2的输入数据缓冲区和输出图像缓冲区。例如，可以在大容量RAM中划分出4个独立空间，包括输入数据缓冲区R1、输入数据缓冲区R2、输出图像缓冲区T1、输出图像缓冲区T2。进一步地，可以在核心中划分出视频解码单元和信号模式识别单元。视频解码单元可以用于对视频数据流进行解码。信号模式识别单元可以用于在视频数据流中的图像特征值中识别出表示特定信号模式的特征值。其中，图像特征值至少包括：灰度值、亮度值，色度值、时间值等，特定信号模式至少包括“黑场”、“彩条”及“静帧”等。进一步地，core1可以包括针对视频数据流v1的视频解码单元D1和信号模式识别单元S1，D1和S1可以使用R1和T1内存空间进行数据交换。同样core2可以包括针对视频数据流v2的视频解码单元D2和信号模式识别单元S2，D2和S2可以使用R2和T2内存空间进行数据交互。

总体而言，每个数字信号处理器通过网络接口接收视频数据并缓存于输入数据缓冲区。视频解码单元解码数字信号处理器缓存于输入数据缓冲区的视频数据，以得到单帧图像序列和每帧图像的特征值并缓存于输出图像缓冲区。信号模式识别单元识别缓存于输出图像缓冲区中的单帧图像序列中具有特定信号模式的单帧图像，并将单帧图像发送给输出图像单元。其中，该单帧图像中包含表示特定图形模式的特征值。进一步地，信号模式识别单元可以通过预设的时间阈值和匹配度阈值来识别表示特定信号模式的特征值。可以预存特定信号模式对应的特征值，信号模式识别单元计算单帧图像的特征值与预存特定信号模式所对应的特征值的匹配度，确定匹配度大于匹配度阈值、且持续时间大于时间阈值的单帧图像，以作为具有特定信号模式的单帧图像。输出图像单元接收信号识别单元识别出的单帧图像以及获取输出图像缓冲区中的单帧图像序列。若单帧图像序列包含具有特定信号模式的单帧图像，则图像输出单元在单帧图像序列中标识出单帧图像的信号质量信息，并降低单帧图像序列的分辨率，以及将携带信号质量信息的单帧图像序列发送给所属数字信号处理器对应的主机模块。若单帧图像序列不包含具有特定信号模式的单帧图像，则图像输出单元降低单帧图像序列的分辨率，以及将单帧图像序列发送给所属数字信号处理器对应的主机模块。

具体而言，每路视频数据流所来源的网络地址，即接收到该视频数据流的DSP处理器的源网络地址可以预先与输入数据缓冲区、输出图像缓冲区、视频解码单元和信号模式识别单元进行对应，以使视频数据可以进入对应的输入数据缓冲区、输出图像缓冲区、视频解码单元和信号模式识别单元。

输入数据缓冲区在接收到一定数量的视频数据后，视频解码单元将输入数据缓冲区中的视频数据进行解码，成为单帧图像序列并存储到输出图像缓冲区。其中，该一定数量的视频数据可以是10帧。进一步地，在视频解码单元的解码过程中可计算出每单帧图像的灰度值、亮度值，色度值、时间值等信息，并且可以将该帧图像的灰度值、亮度值，色度值、时间值等信息保存为该帧图像的特征值供信号模式识别单元在信号模式识别时调用。视频解码单元可以支持一种或多种视频编码格式，如MPEG-2、H.264等，并可通过更新固件程序的方式来支持其它格式。

信号模式识别单元对解码后的单帧图像序列进行实时图像识别。调用输出缓冲区中的单帧图像的特征值，通过图像匹配的方式判断单帧图像图像的“黑场”、“彩条”及“静帧”等信号模式。具体而言，图像匹配的方式可以是计算当前帧图像与预存的“黑场”或“彩条”或“静帧”图像的匹配度，当该匹配度大于预设的匹配度阈值时，则认为当前帧图像可能是“黑场”或“彩条”或“静帧”。记录首次出现可能是“黑场”或“彩条”或“静帧”的当前帧图像的位置以及首次出现时间，当视频数据中处于该当前帧图像所在位置的图像持续出现“黑场”或“彩条”或“静帧”时，且持续时间大于预设的时间阈值，则说明该位置出现“黑场”或“彩条”或“静帧”，则可以通过网络向主机告警，否则保存该帧图像的匹配结果并刷新该位置图像的时间，如时间归零。进一步地，在计算图像匹配度时，可以通过将当前帧图像的特征值与预存的图像的特征值进行比较的方式来获得“黑场”、“彩条”图像的匹配度。通过计算当前帧的特征值与已存储的前一帧图像的特征值是否相等来获得“静帧”图像的匹配度。

对于经过数据处理的图像，core3可以作为图像输出单元，将单帧图像序列发送至主机模块。图像输出单元core3可以分别在输出图像缓冲区T1和T2中读取单帧图像序列，以分别完成对2路单帧图像序列的降分辨率采样和信号质量信息添加并对低分辨率图像进行重编码。具体而言，图像输出单元可以将视频图像采用抽取或插值算法降低分辨率形成用于显示的图像，降低分辨率后的图像大小仍为8*8的整倍数。根据信号模式识别单元的处理结果，还可以在该图像上添加用户可见的告警文字作为信号质量标记，如“黑场”等，再与信号质量信息一同经网络发送到主机。重编码可以采用技术即运动静止图像（或逐帧）压缩技术（Motion-Join Photographic Experts Group，M-JPEG），即M-JPEG格式仅对帧内数据进行压缩，且压缩方式只有在图像分辨率超过CIF（352*288像素）时才使用，因为单路视频数据率超过30.4Mbps时，若不压缩视频数据将影响网络传输效率。视频数据率等于一个彩色像素的比特数、分辨率和每秒传输的帧数的乘积，在传输视频数据时，每秒传输25帧，一个彩色像素为1.5字节，那么30.4Mbps=1.5*8*352*288*25。进一步地，对于分辨率超过CIF的输出图像，由图像输出单元重新编码为压缩格式再发送到主机，主机将对压缩格式的图像解码后再拼接。

三个核心与主机之间的网络连接为双向数据流。主机通过网络向三个核心发送解码、降分辨率、信号质量报警门限等配置参数。core1、core2、core3可以向主机模块返回配置参数生效的信息，并且core3还可以将降低分辨率后的图像，以及视频信号质量信息通过网络接口或背板总线向主机发送。

通过将视频解码、处理、重采样和压缩等任务分配到三个核心并行执行，提高了DSP处理器处理任务的实时性，使得多路视频信号同时处理时仍能够保证信号质量报警准确性及视频切换的流畅性。

图4是根据本发明一实施例的主机的画面拼接显示示意图。

主机模块接收来自一个或多个图像输出单元的携带有信号质量信息的单帧图像序列，以拼接成携带有信号质量信息的多画面视频数据并进行显示。并且主机模块接收来自一个或多个图像输出单元的单帧图像序列，以拼接成多画面视频数据并进行显示。也即是说，主机模块通过网络接口或背板总线接收来自不同DSP处理器的图像输出单元的图像，并负责组合这些图像，即重新拼接图像，在显示器中直接进行多画面显示。其中，每个画面来自同一个源网络地址，并且在包含信号质量信息的视频数据中可以显示出报警文字。

主机模块还包括两台显示器，其中一台显示器用于显示视频数据和携带有信号质量信息的视频数据，另一台显示器用于显示携带有信号质量信息的视频数据。具体而言，在该主机模块中可以运行嵌入式操作系统和多画面信号质量监看软件。多画面信号质量监看软件包括多画面拼接显示模块和报警画面拼接显示模块。单台主机配置VGA1和VGA2这2个视频接口，分别用来连接2台显示器，2台显示器分别由多画面拼接显示模块（VGA1）和报警画面拼接显示模块（VGA2）控制多画面显示器和报警画面显示器。多画面显示器用于显示不同源网络地址的视频数据。报警画面显示器用于显示不同源网络地址的视频数据，该视频数据中的图像上标识有告警文字，如“黑场”。

多画面拼接显示模块可以对显示器的显示区域的画面数量进行配置，例如，可以将显示器的显示区域划分为40～60个小画面，将主机模块从网络接口或背板总线接收的来自一个或多个DSP处理器的图像在显示内存中拼接为全屏尺寸进行显示。报警画面拼接显示模块将显示区域划分为一个或多个较大尺寸画面，将主机模块从网络接口或背板总线接收的来自同一个源网络地址的携带有信号质量信息的图像拼接并显示。

由于主机仅需要从网络接口或背板总线读取图像数据并拼接显示，不需要处理大容量视频数据的解码和图像分析，因此仅用一台低功耗单板主机模块即可实现2个大屏幕拼接显示，显示内容均直接来自于DSP处理模块，能够保证流畅的视频画面和快速的显示切换。

上述方法中主机只需要对较低分辨率的视频图像进行解码、拼接和显示，只需要较低配置的低功耗计算机即可实现多路视频显示，单台主机可支持50路以上的画面拼接显示。当需要进行报警画面放大显示时，主机通过网络配置该路DSP的输出单元将输出如想分辨率调整放大，同时主机端调整显示画面的分配，这一过程只涉及改变DSP编码量和主机显示输出调整，都能够实时完成。通过本方法的切换延时极小，能够实现流畅的监看功能，用户体验较好。

上述方法中DSP模块包含20个三核心DSP处理器，能够处理40路标清视频的解码和信号质量检测，尺寸为355(H)*35(W)*280(D)，单位为mm，主机可选择同样尺寸的模块化嵌入式单板计算机。如果使用六核心（或以上）DSP处理器，单DSP模块在尺寸不变的同时将可处理至少80路标清视频，功耗仍可控制在200W以内提高了视频信号质量监测设备单位体积的处理能力，且所占用的体积较小，能耗较低。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (6)

1.一种多路视频信号质量监测设备，其特征在于，所述设备包括一个或多个数字信号处理器，一个或多个主机模块，其中：

每个数字信号处理器通过网络接口接收视频数据，其中所述数字信号处理器包括输入数据缓冲区、输出图像缓冲区、视频解码单元、信号模式识别单元，图像输出单元；

所述视频解码单元解码所述数字信号处理器缓存于所述输入数据缓冲区的所述视频数据，以得到单帧图像序列和每帧图像的特征值，并缓存于所述输出图像缓冲区；

所述信号模式识别单元识别缓存于所述输出图像缓冲区中的所述单帧图像序列中具有特定信号模式的单帧图像，并将所述单帧图像发送给所述输出图像单元；

所述输出图像单元接收所述信号识别单元识别出的所述单帧图像以及获取所述输出图像缓冲区中的所述单帧图像序列；

若所述单帧图像序列包含所述具有特定信号模式的单帧图像，则所述图像输出单元在所述单帧图像序列中标识出所述单帧图像的信号质量信息，并降低所述单帧图像序列的分辨率，以及将携带信号质量信息的所述单帧图像序列发送给所述数字信号处理器对应的主机模块；

所述主机模块接收来自一个或多个图像输出单元的携带有信号质量信息的单帧图像序列，以拼接成携带有信号质量信息的多画面视频数据并进行显示。

2.根据权利要求1所述的设备，其特征在于，还包括：

若所述单帧图像序列不包含所述具有特定信号模式的单帧图像，则所述图像输出单元降低所述单帧图像序列的分辨率，以及将单帧图像序列发送给所述数字信号处理器对应的主机模块；

所述主机模块接收来自一个或多个图像输出单元的单帧图像序列，以拼接成多画面视频数据并进行显示。

3.根据权利要求1或2所述的设备，其特征在于：

所述数字信号处理器与主机模块的对应关系是通过主机模块来配置的；

所述主机模块配置所述一个或多个所述数字信号处理器的源网络地址和目的网络地址；其中，所述源网络地址为视频数据来源的网络地址，所述目的网络地址为所述主机模块的网络地址；所述数字信号处理器接收与其具有相同源网络地址的视频数据。

4.根据权利要求1或2所述的设备，其特征在于，所述主机模块还包括两台显示器，其中一台显示器用于显示所述视频数据和携带有信号质量信息的视频数据，另一台显示器用于显示所述携带有信号质量信息的视频数据。

5.根据权利要求1所述的设备，其特征在于：

所述信号模式识别单元计算所述单帧图像序列中的单帧图像的特征值与预存特定信号模式所对应的特征值的匹配度，并确定所述匹配度大于匹配度阈值、且持续时间大于时间阈值的单帧图像，以作为具有特定信号模式的单帧图像。

6.根据权利要求1、2、5所述的设备，其特征在于：

所述特征值至少包括：灰度值、亮度值、色度值、时间值；

所述特定信号模式至少包括：黑场、彩条、静帧。

Images