CN109982117B

CN109982117B - 视频流数据的中继处理方法、装置、存储介质及网络设备

Info

Publication number: CN109982117B
Application number: CN201910201007.2A
Authority: CN
Inventors: 李善玺; 周庆国; 雍宾宾; 周睿; 吕清泉; 汪俊琼
Original assignee: Lanzhou University
Current assignee: Lanzhou University
Priority date: 2019-03-15
Filing date: 2019-03-15
Publication date: 2021-06-04
Anticipated expiration: 2039-03-15
Also published as: CN109982117A

Abstract

一种视频流数据的中继处理方法、装置、存储介质及网络设备，所述方法包括：接收原始视频流数据，所述原始视频流数据包括报头信息，所述报头信息包含目的端地址信息；复制所述原始视频流数据，以得到至少一路复制视频流数据；修改各个复制视频流数据中的目的端地址信息，以使每一复制视频流数据中的目的端地址信息指向对应的目的端；将所述原始视频流数据和所述至少一路复制视频流数据发送出去。本发明实施例的方案，能够高效地将视频流数据分发至多个不同的接收设备。

Description

视频流数据的中继处理方法、装置、存储介质及网络设备

技术领域

本发明涉及视频处理技术，具体地涉及一种视频流数据的中继处理方法、装置、存储介质及网络设备。

背景技术

视频流数据的传输广泛地应用于各种视频技术场景中，例如视频会议、视频广播、在线流媒体点播等等。

现有技术中，往往采用用户数据报协议(User Datagram Protocol，UDP)来发送视频流数据。UDP协议从问世至今已经被使用了很多年，虽然其最初的光彩已经被一些类似协议所掩盖，但是即使在今天，UDP协议仍然不失为一项非常实用和高可行性的网络传输层协议。

但是，在采用诸如UDP等协议来进行视频发送时，无法高效地视频流数据分发至多个接收设备，尤其是在跨网络分发的场景下。

发明内容

本发明的实施例提供了一种视频流数据的中继处理方法、装置、存储介质及网络设备，能够高效地将视频流数据分发至多个不同的接收设备。

为了解决上述问题，本发明实施例提供了一种视频流数据的中继处理方法，包括：

接收原始视频流数据，所述原始视频流数据包括报头信息，所述报头信息包含目的端地址信息；

复制所述原始视频流数据，以得到至少一路复制视频流数据；

修改各个复制视频流数据中的目的端地址信息，以使每一复制视频流数据中的目的端地址信息指向对应的目的端；

将所述原始视频流数据和所述至少一路复制视频流数据发送出去。

根据本发明的一个实施例，所述报头信息还包含发送端地址信息，复制所述原始视频流数据，以得到至少一路复制视频流数据包括：

提取所述原始视频流数据中的发送端地址信息；

当所述发送端地址信息指向预设发送端时，复制所述原始视频流数据。

根据本发明的一个实施例，复制所述原始视频流数据，以得到至少一路复制视频流数据还包括：当所述发送端地址信息指向所述预设发送端以外的其他发送端时，不对所述原始视频流数据进行复制，并将所述原始视频流数据发送出去。

根据本发明的一个实施例，基于RTP协议接收所述原始视频流数据，所述方法还包括：

在接收所述原始视频流数据的过程中，判断是否发生数据丢包；

如果判断结果为发生数据丢包，则生成基于RTCP协议的重发协商指令并反馈至发出所述原始视频流数据的发送端，以使所述发送端生成并发送参考视频帧。

根据本发明的一个实施例，所述方法还包括：如果在预设时间内未收到所述发送端发送的参考视频帧，那么丢弃接收到的前一参考视频帧之后的全部差异视频帧，直至重新接收到下一参考视频帧。

根据本发明的一个实施例，所述原始视频流数据来自广域网，所述原始视频流数据的目的端和所述至少一路复制视频流数据各自对应的目的端位于同一局域网内。

根据本发明的一个实施例，所述目的端地址信息包括：目的端的MAC地址和/或IP地址。

为了解决上述问题，本发明实施例还提供了一种视频流数据的中继处理装置，包括：

接收模块，配置为接收原始视频流数据，所述原始视频流数据包括报头信息，所述报头信息包含目的端地址信息；

复制模块，配置为复制所述原始视频流数据，以得到至少一路复制视频流数据；

修改模块，配置为修改各个复制视频流数据中的目的端地址信息，以使每一复制视频流数据中的目的端地址信息指向对应的目的端；

发送模块，配置为将所述原始视频流数据和所述至少一路复制视频流数据发送出去。

本发明实施例还提供了一种网络设备，包括处理器和存储器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一项所述方法的步骤。

本发明实施例还提供了一种存储介质，其上存储有计算机指令，所述计算机指令被运行时执行上述任一项所述方法的步骤。

与现有技术相比，本发明的技术方案至少具有如下有益效果：

本发明实施例中，在接收到原始视频流数据后，复制得到至少一路复制视频流数据，将各个复制视频流数据中的目的端地址信息修改为对应的目的端的地址信息，然后将原始视频流数据和修改后的各个复制视频流数据发送出去。由此，可以将同样的视频流数据高效地发送至多个目的端，而无需占用额外的带宽。而且，即便是发送端和目的端处于不同的网络中时，也可以进行高效的分发。

进一步地，在本发明一个实施例中，还可以对原始视频流数据中的发送端地址信息进行判断，当发送端为预设发送端时，复制原始视频流数据并修改其中的目的端地址信息，而当发送端不是预设发送端时，则不进行复制，直接将原始视频流数据发送出去。由此可以实现对特定的发送端的监控，当监测到预设发送端发出的原始视频流数据时，可以在正常发送该原始视频流数据的同时，通过复制视频流数据和修改目的端地址信息，将同样的视频内容转发至预设目的端，从而使得预设目的端可以监控预设发送端的视频内容。

进一步地，在采用RTP协议接收原始视频流数据时，如果发生数据丢包，可以将基于RTCP协议生成的重发协商指令发送至原始视频流数据的发送端，以指示发送端生成并发送参考视频帧，如果在预设时间内未收到所述发送端发送的参考视频帧，那么丢弃接收到的前一参考视频帧之后的全部差异视频帧，直至重新接收到下一参考视频帧。采用这样的方案，在使用RTP协议发送和接收变换视频数据时，也能够尽快地对丢包问题进行响应，避免或减轻丢包导致的视频质量下降，有利于提高服务质量。

附图说明

图1是本发明实施例的一种视频流数据的中继处理方法的流程示意图；

图2是本发明实施例的一种视频流数据的中继处理方法的应用场景示意图；

图3是本发明实施例的一种视频流数据的中继处理装置的结构示意图。

具体实施方式

本申请发明人发现，现有技术在将视频流数据发送至多个目的端时，往往是每个目的端分别发送独立的视频流数据，这样会占用更多的带宽，效率低下。而且，当发送端与多个目的端跨网络分布时，例如多个目的端都位于内网(相对于发送端所处的外网而言，例如可以是局域网)时，由于各个目的端的IP地址是内网地址，而对外则共用同一外网IP地址，这会使得视频流数据的分发更加困难。

本申请实施例中，在分发视频流数据时，发送端可以将一路原始视频流数据发送至网络设备，由网络设备进行复制并修改其中的目的端地址信息，从而可以将同样的视频内容分发至多个目的端。在优选实施例中，由于发送端和网络设备之间仅需要一路原始视频流数据，因而可以降低带宽的占用，使得视频流数据的分发更加高效。当需要跨网络分发视频数据时，可以将复制得到的复制视频流数据的目的端地址信息修改为内网中的各个目的端的地址，从而使得跨网络分发变得更加简单。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

以下参考附图详细描述本发明的各个示例性实施例。附图中的流程图和框图示出了根据本发明的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者他们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。还应当注意，流程图中各个步骤的序号并不代表对各个步骤的执行顺序的限定。

本文所使用的术语“包含”、“包括”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”，表示还可以包括其他内容。在本公开内容中，术语“基于”是“至少部分地基于”；术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。

参考图1，图1示出了一种视频流数据的中继处理方法，该方法可以由网络设备执行。该网络设备可以是交换机或者其他各种适当的网络设备。具体而言，该方法可以包括如下步骤：

步骤S11，接收原始视频流数据，所述原始视频流数据包括报头信息，所述报头信息包含目的端地址信息；

步骤S12，复制所述原始视频流数据，以得到至少一路复制视频流数据；

步骤S13，修改各个复制视频流数据中的目的端地址信息，以使每一复制视频流数据中的目的端地址信息指向对应的目的端；

步骤S14，将所述原始视频流数据和所述至少一路复制视频流数据发送出去。

其中，该原始视频流数据可以由发送端发出，该发送端例如可以是视频广播服务器、视频发送终端等等。在一个非限制性的例子中，该发送端可以处于广域网(WLAN)的网段中。

原始视频流数据中可以包括报头信息，该报头信息包含目的端地址信息。该目的端地址信息可以是目的端的MAC地址或IP地址，或者MAC地址和IP地址的组合。该报头信息中还可以包括发送端地址信息。该发送端地址信息可以是发送端的MAC地址或IP地址，或者MAC地址和IP地址的组合。

除了报头信息以外，该原始视频流数据中还包括视频内容数据，该视频内容数据在被解码后可以得到相应的视频图像。

在一个非限制性的例子中，发送端可以采用UDP协议发出原始视频流数据。在UDP协议中，报头信息位于每一数据包的前8个字节，而数据包的其他字节用于承载具体的视频内容数据。

在步骤S12中，可以对接收到的原始视频流数据中的发送端地址信息进行提取和判断。当提取得到的发送端地址信息为预设发送端的地址时，对该原始视频流数据进行复制并执行后续的步骤；否则，不对该原始视频流数据进行复制，直接将该原始视频流数据发送出去。由此，可以仅对特定的发送端发出的原始视频流数据进行复制，并通过修改目的端地址而将同样的视频内容数据转发至预设的其他目的端，从而使得该其他目的端可以同步播放原始目的端相同的视频内容，实现视频监控或者其他类似的功能。

在对原始视频数据进行复制时，复制的数量可以是任意适当的数量。例如，在一个非限制性的例子中，网络设备可以提前获知，除了原始视频流数据针对的原始目的端之外，还需要将同样的视频内容数据发送至哪些其他目的端。由此，复制得到的复制视频流数据的数量就等于其他目的端的数量。这些其他目的端和原始目的端可以处于同一局域网内，当然，也可以处于不同的局域网内。

在步骤S13中，对于每一路复制视频流数据，可以检索确定其中的目的端地址信息。在找到后，可以将目的端地址信息修改成对应的其他目的端的地址。例如，可以将第一路复制视频流数据中的目的端地址修改为第一其他目的端的地址，将第二路复制视频流数据中的目的端地址修改为第二其他目的端的的地址，以此类推。

在步骤S14中，可以将原始视频流数据和修改后的复制视频流数据发送出去。原始视频流数据和复制视频流数据的最终接收端取决于各自包含的目的端地址信息。

具体而言，原始视频流数据中的目的端地址信息为原始目的端的地址，因此，原始视频流数据将被发送至原始目的端。而每一复制视频流数据中的目的端地址信息为对应的其他目的端的地址，因此，每一复制视频流数据将被发送至对个的各个其他目的端。例如，第一路复制视频流数据将被发送至第一其他目的端，第二路复制视频流数据将被发送至第二其他目的端，以此类推。

参考图2，图2示出了本发明实施例的视频流数据的中继处理方法的一个典型应用场景，下面将通过不同的例子对该场景进行详细描述。

第一个例子

在第一个例子中，发送端21需要将相同的视频内容数据发送至多个目的端，包括原始目的端23以及至少一个其他目的端24。其中，该发送端21例如可以是视频服务器或者其他适当的视频发送终端或服务器。发送端21可以处于广域网的网段中，也即处于外网。原始目的端23和其他目的端24可以是智能手机、平板电脑、个人计算机(PC)等各种适当的终端设备。原始目的端23和其他目的端24可以处于同一局域网的网段内，也即处于内网。

原始目的端23、各个其他目的端24经由网络设备22接入外网。该网络设备22例如可以是交换机等设备。

首先，发送端21发出一路原始视频流数据，该原始视频流数据包括报头信息和视频内容数据。该原始视频流数据的报头信息中，目的端地址信息为原始目的端23的地址，具体可以是原始目的端23的MAC地址和IP地址。更具体而言，原始目的端23的IP地址可以是网络设备22的外网IP地址。此外，发送端21还通知网络设备22，要将相同的视频内容数据分发至各个其他目的端24。例如，可以向网络设备22发送通知信息至网络设备22，以告知各个其他目的端24的相关信息。该通知信息可以和原始视频流数据一并发送，或者，该通知信息也可以独立于原始视频流数据发送，并通过标识信息等进行匹配，以便网络设备22能够识别。

网络设备22在接收到原始视频流数据后，对该原始视频流数据进行复制，以得到至少一路复制视频流数据。复制得到的复制视频流数据的数量与其他目的端24的数量相同。

之后，网络设备22对各个复制视频流数据中的目的端地址信息进行修改，以使得修改后的目的端地址信息分别指向各个其他目的端24。例如，将第一路复制视频流数据中的目的端地址信息修改为其中一个其他目的端24的MAC地址和IP地址(例如，内网IP地址)，将第二路复制视频流数据中的目的端地址信息修改为另一个其他目的端24的MAC地址和IP地址(例如，内网IP地址)，由此类推。

之后，网络设备22将修改后的复制视频流数据和原始视频流数据一并发送出去。由于原始视频流数据的目的端地址信息指向的是原始目的端23，因此，原始视频流数据将被传送至原始目的端23。由于各个复制视频流数据的目的端地址信息指向的是对应的其他目的端24，因此，每一复制视频流数据被传送至对应的其他目的端24。例如，网络设备22可以具有输入端口，该输入端口与发送端21耦接；网络设备22还可以具有输出端口，每个输出端口可以分别和原始目的端23以及其他目的端24耦接。由此，网络设备22通过输入端口接收原始视频流数据，通过其中一个输出端口将原始视频流数据发送至原始目的端23，并通过其他的输出端口将复制视频流数据发送至各个其他目的端24。

采用上述方案，发送端21仅需要发送一路原始视频流数据至网络设备22，就可以使得原始目的端23和多个其他目的端24都能够接收到同样的视频内容数据。由此，发送端21在发送数据时需要占用的网络带宽将大大减小，整个发送过程更加高效。

优选地，网络设备22在接收原始视频流数据的过程中，可以判断是否发生丢包。例如当发送端21采用RTP协议发送原始视频流数据时，可以根据RTP协议自带的发送序号判断是否有发生丢包。当判断结果为未发生丢包时，正常接收和处理。当判断结果为发生丢包时，则发送重发协商指令至发送端21，并进入等待状态。该重发协商指令可以是基于RTCP协议扩展得到。

发送端21在接收到重发协商指令后，立即或者尽快生成参考视频帧(例如I帧)并发出。网络设备22在收到发送端21发出的参考视频帧后，继续进行后续的处理。网络设备22如果在等待超过预设时间后，仍未收到发送端21发出的参考视频帧，则丢弃接收到的前一参考视频帧之后的全部差异视频帧(例如P帧)，直至重新接收到下一个参考视频帧(例如I帧)，再进行后续的常规处理。其中，该预设时间可以是各种适当的数值，通常不超过500ms，优选400ms。

具体而言，在诸如H.264之类的编码协议中，视频数据通常包括多个视频帧，分别是I帧和P帧，其中，I帧包含了当前视频帧中较为完整的信息，P帧则包含了当前视频帧与前一I帧或者在先其他P帧的差异信息。当发生丢包时，无论丢掉的是I帧还是P帧，都会导致后续的P帧无法正常解码。而在上述优选实施例中，在发生丢包时，网络设备22指示发送端21立即或者尽快生成I帧，从而能够尽快恢复视频的正常解码。

由上，现有技术中，RTP协议并没有为实时服务提供预留资源的功能，也不保证服务质量(QoS)。而上述优选实施例中，基于RTCP协议扩展得到重发协商指令，从而使得RTP协议以及更下层的UDP协议在一定程度上也能支持OoS保障机制。

需要说明的是，虽然上述第一个例子中的原始目的端23和其他目的端24处于同一局域网网段，但并不限于此，例如，原始目的端23和其他目的端24也可以处于不同的局域网网段。

第二个例子

在第二个例子中，发送端21需要将视频内容数据发送至原始目的端23。其中，该发送端21例如可以是视频服务器或者其他适当的视频发送终端或服务器。发送端21可以处于广域网的网段中，也即处于外网。原始目的端23可以处于局域网的网段内，也即处于内网。

原始目的端23经由网络设备22接入外网，该网络设备22例如可以是交换机等设备。该网络设备22可以配置有视频监控功能，也即，针对发送端21发出的数据进行监控。

首先，发送端21发出原始视频流数据，该原始视频流数据包括报头信息和视频内容数据。该原始视频流数据的报头信息中，目的端地址信息为原始目的端23的地址，具体可以是原始目的端23的MAC地址和IP地址。更具体而言，原始目的端23的IP地址可以是网络设备22的外网IP地址。

在接收到原始视频流数据后，提取其中的发送端地址信息并进行判断。由于此时的发送端地址信息指向的是预先配置的发送端21，因此对该原始视频流数据进行复制，以得到复制视频流数据。当然，如果网络设备22检测到的发送端地址信息与发送端21的地址信息不匹配，则不进行复制而直接发送出去。

之后，网络设备22对复制视频流数据的目的端地址信息进行修改，修改后的目的端地址信息指向其中一个其他目的端24。例如，修改后的目的端地址信息可以是其他目的端24的MAC地址和内网IP地址。该其他目的端24是预先设置的，例如可以是专门用于监控的设备。

之后，网络设备22将原始视频流数据和修改后的复制视频流数据一并发送出去。由于原始视频流数据的目的端地址信息指向的是原始目的端23，因此，原始视频流数据将被传送至原始目的端23。由于复制视频流数据的目的端地址信息指向的是预先配置的其他目的端24，因此，该复制视频流数据被传送至预先配置的其他目的端24。

采用上述方案，发送端21可以采用正常的方式将原始视频流数据发送至原始目的端23，在此过程中，预先配置的其他目的端24可以接收到相同的视频内容数据，而不影响和干扰原始目的端23的数据接收过程。由此，可以简单高效地实现视频监控功能。

需要说明的是，虽然在以上描述中，网络设备22被配置为仅针对发送端21发出的原始视频流数据进行监控，但并不限于此。例如，网络设备22可以针对所有接收到的原始视频流数据进行监控，而不限定其来源。也即，网络设备22只要接收到原始视频数据，就复制得到复制视频流数据，并通过修改目的端地址分发至预先配置的其他目的端24，从而实现无差别的监控功能。

此外，网络设备22在接收原始视频流数据过程中，也可以判断是否发生丢包并对丢包进行响应，以改善服务质量。相关内容请参见第一个例子的相关描述，这里不再重复。

参考图3，图3示出了本实施例的一种视频流数据的中继处理装置300，包括：接收模块31，配置为接收原始视频流数据，所述原始视频流数据包括报头信息，所述报头信息包含目的端地址信息；复制模块32，配置为复制所述原始视频流数据，以得到至少一路复制视频流数据；修改模块33，配置为修改各个复制视频流数据中的目的端地址信息，以使每一复制视频流数据中的目的端地址信息指向对应的目的端；发送模块34，配置为将所述原始视频流数据和所述至少一路复制视频流数据发送出去。

该中继处理装置300可以适用于网络设备，例如可以内置或外接于诸如交换机等网络设备。更具体地，该中继处理装置300可以采用软件实现，也可以采用硬件实现，或者也可以采用软硬结合的方式实现。

关于该中继处理装置300的更多具体信息，可以参见图1、图2及其文字描述，这里不再赘述。

此外，本发明实施例还提供一种网络设备，包括处理器和存储器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行图1所示方法的各个步骤。该网络设备可以是交换机，或者其他可以将内网设备接入外网的设备。该网络设备还可以包括：输入端口，用于接收发送端发出的原始视频流数据；输出端口，用于将原始视频流数据和各个复制视频流数据输出至相应的目的端。

进一步地，本发明实施例还公开一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行图1所示实施例中所述的方法中的各个步骤。优选地，所述存储介质可以包括诸如非挥发性(Non-Volatile)存储器或者非瞬态(Non-Transitory)存储器等计算机可读存储介质。所述存储介质可以包括ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims

1.一种视频流数据的中继处理方法，其特征在于，包括：

将所述原始视频流数据和所述至少一路复制视频流数据发送出去；

其中，所述报头信息还包含发送端地址信息，复制所述原始视频流数据，以得到至少一路复制视频流数据包括：

提取所述原始视频流数据中的发送端地址信息；

2.如权利要求1所述的视频流数据的中继处理方法，其特征在于，复制所述原始视频流数据，以得到至少一路复制视频流数据还包括：

当所述发送端地址信息指向所述预设发送端以外的其他发送端时，不对所述原始视频流数据进行复制，并将所述原始视频流数据发送出去。

3.如权利要求1所述的视频流数据的中继处理方法，其特征在于，基于RTP协议接收所述原始视频流数据，所述方法还包括：

4.如权利要求1所述的视频流数据的中继处理方法，其特征在于，还包括：

如果在预设时间内未收到所述发送端发送的参考视频帧，那么丢弃接收到的前一参考视频帧之后的全部差异视频帧，直至重新接收到下一参考视频帧。

5.如权利要求1所述的视频流数据的中继处理方法，其特征在于，所述原始视频流数据来自广域网，所述原始视频流数据的目的端和所述至少一路复制视频流数据各自对应的目的端位于同一局域网内。

6.如权利要求1至5任一项所述的视频流数据的中继处理方法，其特征在于，所述目的端地址信息包括：目的端的MAC地址和/或IP地址。

7.一种视频流数据的中继处理装置，其特征在于，包括：

发送模块，配置为将所述原始视频流数据和所述至少一路复制视频流数据发送出去；

其中，所述复制模块配置为提取所述原始视频流数据中的发送端地址信息，当所述发送端地址信息指向预设发送端时，复制所述原始视频流数据。

8.一种网络设备，其特征在于，包括处理器和存储器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行权利要求1至6任一项所述方法的步骤。

9.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被运行时执行权利要求1至6任一项所述方法的步骤。