CN113068001B - 基于级联摄像机的数据处理方法、装置、设备和介质 - Google Patents

Abstract

本发明实施例公开了一种基于级联摄像机的数据处理方法、装置、设备和介质。其中方法包括：获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，视频码流中包括至少两个画面组；确定至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，第一画面组与第二画面组相邻，且第二画面组位于第一画面组之后；若确定时间间隔满足预设条件，则调整第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。本发明实施例确保视频数据中画面组的帧内编码图像帧不丢失，使得显示的视频图像更流畅清晰，从而提升了视频图像显示的流畅度和清晰度，改善了视频图像的质量。

Description

基于级联摄像机的数据处理方法、装置、设备和介质

技术领域

本发明实施例涉及监控技术领域，尤其涉及一种基于级联摄像机的数据处理方法、装置、设备和介质。

背景技术

现如今，摄像机被广泛应用到级联环境中，以构成不同形式的拓扑结构，将任一摄像机作为主摄像机，其他摄像机作为从摄像机，实现从摄像机将采集的视频数据发送至主摄像机，然后主摄像机将从摄像机和自身采集的视频数据发送至终端设备，其中摄像机为具有无线通信功能的设备，例如网络摄像机等。

在实际使用过程中，由于摄像机自身性能及级联环境的影响，使得发送至终端设备的视频数据中任意画面组(Group of Pictures，简称：GOP)的帧内编码图像帧(Intra-coded picture，简称：I帧)被丢弃，使得基于丢弃的I帧重构完整的前向预测编码图像帧(Predictive-coded Picture，简称：P帧)和/或双向预测编码图像帧(Bidirectionallypredicted picture，简称：B帧)无法正常解码，导致显示的视频图像出现卡顿、模糊等现象，降低了视频图像质量。

发明内容

本发明实施例提供一种基于级联摄像机的数据处理方法、装置、设备和介质，确保视频数据中画面组的帧内编码图像帧不丢失，使得显示的视频图像更流畅清晰，从而提升了视频图像显示的流畅度和清晰度，改善了视频图像的质量。

第一方面，本发明实施例提供了一种基于级联摄像机的数据处理方法，该方法包括：

获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组；

确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后；

若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。

第二方面，本发明实施例还提供了一种基于级联摄像机的数据处理装置，该装置包括：

获取模块，用于获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组；

确定模块，用于确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后；

调整模块，用于若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面实施例所述的基于级联摄像机的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时以实现本发明第一方面实施例所述的基于级联摄像机的数据处理方法。

本发明实施例公开的技术方案，具有如下有益效果：

通过获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，以确定该视频码流中至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，并在确定时间间隔满足预设条件时，调整第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。由此，通过调整画面组的帧内编码图像帧的发送时刻，以使视频数据中画面组的帧内编码图像帧分布更均匀，避免了在一个时间段内有多个帧内编码图像帧被发送而导致部分帧内编码帧图像丢失，使得显示的视频图像更流畅清晰，从而提升了视频图像显示的流畅度和清晰度，改善了视频图像的质量。

附图说明

图1是本发明实施例提供的一种应用场景示意图；

图2是本发明实施例提供的一种在当前级联场景中选择主摄像机的示意图；

图3是本发明实施例提供的一种基于级联摄像机的数据处理方法的流程示意图；

图4是本发明实施例提供的一种为当前级联环境中所有摄像机分配码率的流程示意图；

图5是本发明实施例提供的另一种基于级联摄像机的数据处理方法的流程示意图；

图6是本发明实施例提供的一种基于级联摄像机的数据处理装置的结构示意图；

图7是本发明实施例提供的另一种基于级联摄像机的数据处理装置的结构示意图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

本发明实施例针对相关技术中，由于摄像机自身性能及级联环境的影响，使得发送至终端设备的视频数据中任意画面组(Group of Pictures，简称：GOP)的帧内编码图像帧(Intra-coded picture，简称：I帧)被丢弃，使得基于丢弃的I帧才能重构完整的前向预测编码图像帧(Predictive-coded Picture，简称：P帧)和/或双向预测编码图像帧(Bidirectionally predicted picture，简称：B帧)无法正常解码，导致显示的视频图像出现卡顿、模糊等线性，降低了视频图像质量的问题，提出一种基于级联摄像机的数据处理方法。

本发明实施例，通过获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，以确定该视频码流中相邻画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，并将该时间间隔与预设条件进行比较，若确定该时间间隔满足预设条件时，则调整第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。由此，通过调整画面组的帧内编码图像帧的发送时刻，以使视频数据中画面组的帧内编码图像帧分布更均匀，避免了在一个时间段内有多个帧内编码图像帧被发送而导致部分帧内编码帧图像丢失，使得显示的视频图像更流畅清晰，从而提升了视频图像显示的流畅度和清晰度，改善了视频图像的质量。

为了更清楚的说明本发明实施例，首先结合图1对本发明实施例的应用场景进行说明。

示例应用场景为无线级联监控场景，该场景中包括至少两个摄像机110和终端设备120，至少两个摄像机110与终端设备120通过局域网建立连接。其中至少两个摄像机可为网络摄像机(IP CAMERA，简称：IPC)，以通过IPC采集不同监控区域的视频数据，并且至少两个摄像机以以太网接口接入无线级联监控场景中，以构成不同形式的拓扑结构，例如树形结构、星型结构等。本实施例以树形结构为例进行说明。在形成树形结构之后，可将根节点的摄像机作为主摄像机，叶子节点和中间节点的摄像机作为从摄像机。从而通过主摄像机接收从摄像机发送的视频数据，以对从摄像机发送的视频数据进行处理，并将处理后的视频数据发送至终端设备120进行显示。另外，主摄像机还处理自身的视频数据，并将处理后的视频数据发送至终端设备进行显示。

其中，对视频数据进行处理是指对画面组中帧内编码图像帧的发送时刻进行调整，以使相邻画面组中的帧内编码图像帧之间的时间间隔达到预设要求，确保每个画面组中的帧内编码图像帧不出现丢失的情况，为后续显示高质量视频图像提供有利条件。

终端设备120可以为网络硬盘录像机(Network Video Recorder，简称：NVR)或者其他设备，其中其他设备是指具有显示功能的设备，例如电脑、智能手机等。也就是说，通过终端设备可显示至少两个摄像机采集的视频图像。

其中，当终端设备120为其他设备时，该无线级联监控场景还可包括至少一个网关设备，以通过至少一个网关设备将至少两个摄像机110和其他设备进行连接，以通过其他设备显示至少两个摄像机采集的视频图像。

值得注意的是，在无线环境下摄像机的工作方式为半双工且采用时间片的抢占机制，因此在该场景中，一个时间段内主摄像机或者从摄像机只能执行发送数据操作和接收数据操作中的任意一个。也就是说，一个时间段内只有一个从摄像机能够正常向主摄像机发送视频数据。

举例说明，如图2所示，若当前无线级联监控场景中包括5个网络摄像机，分别为网络摄像机IPC111、IPC112、IPC113、IPC114及IPC115，且IPC111一端与NVR120连接，另一端与IPC112的一端和IPC113连接，IP112的另一端与IPC114的一端连接，IPC114的另一端与IPC115连接，那么可将IPC111作为主摄像机，将IPC112、IPC113、IPC114及IPC115作为从摄像机，从而IPC111在不同时间段可接收上述4个从摄像机分别发送的视频数据，以对接收到的视频数据进行处理，并将处理后的视频数据发送给NVR120进行显示，使得显示的视频图像更流畅、清晰，有效提升视频图像质量。

其中，从摄像机IPC112在未向主摄像机IPC111发送视频数据时，能够接收从摄像机IPC114发送的视频数据；同理，当从摄像机IPC114未向从摄像机IPC112发送视频数据时，从摄像机IPC114能够接收从摄像机IPC115发送的视频数据，此时从摄像机IPC112还能够向主摄像机IPC111发送视频数据，当然从摄像机IPC112也可以不执行视频数据发送操作，此处不做具体限定。

下面参考附图对本发明实施例的基于级联摄像机的数据处理方法、装置、设备和介质进行描述。

图3是本发明实施例提供的一种基于级联摄像机的数据处理方法的流程示意图，本实施例可适用于对视频数据中画面组的帧内编码图像帧的发送时刻进行调整的情况，该方法可以由基于级联摄像机的数据处理装置来执行，该基于级联摄像机的数据处理装置可由硬件和/或软件组成，并可集成于电子设备中，本实施例中电子设备优选为摄像机，此处摄像机具体是指拓扑结构中的主摄像机。该基于级联摄像机的数据处理方法具体包括如下：

S301，获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组。

在本发明实施例中，画面组(GOP)是一组连续的画面，由一张帧内编码图像帧(I帧)和数张前向预测编码图像帧(P帧)和/或双向预测编码图像帧(B帧)组成。

其中，I帧为一个完整的画面，P帧和B帧为记录相对于I帧的变化信息，即解码时I帧可重构完成图像，而P帧和B帧需要依靠I帧才能重构完整的P帧图像和B帧图像。

基于前述对本发明应用场景的说明可知，本发明实施例可将当前级联环境中与终端设备连接的一个摄像机作为主摄像机，通过该主摄像机在不同时间段获取从摄像机基于预先分配的码率发送的视频码流(视频数据)，以对视频码流进行处理。

具体的，在执行步骤S301之前，本发明实施例可先为当前级联环境中的所有摄像机分配对应的码率，具体可以是指主摄像机为从摄像机和自身分配合适的码率，以使主摄像机和从摄像机基于分配的码率向各自的上级设备发送视频码流，以使当前级联环境中所有摄像机输出的视频码流尽可能的接近原始视频数据，减少失真。

其中，若摄像机为主摄像机，则基于分配的码率将处理结果(处理后的视频数据)发送至终端设备；若摄像机为从摄像机，则基于分配的码率可将各自的视频码流发送至主摄像机，其中若任意从摄像机具有上一级从摄像机时，则可基于分配的码率，先将各自的视频码流发送给上一级从摄像机，以使上一级从摄像机对接收到的视频码流进行处理，然后将处理后的视频码流基于分配的码率发送给主摄像机。需要说明的是，上一级从摄像机对接收到的视频码流进行处理方式与主摄像机处理方式实现原理相同或类似，具体参见主摄像机对视频码率的处理方式。

具体实现时，如图4所示，可通过如下步骤为当前级联环境中所有摄像机分配合适的码率：

S401，获取当前无线级联环境中至少两个摄像机的参数信息及设备能力。

其中，至少两个摄像机具体是指主摄像机自身和多个从摄像机。

其中，所述设备能力包括以下至少一项：编码能力、分辨率、帧率和wifi模块的硬件能力；

所述参数信息包括以下至少一项：与任意摄像机的连接关系，以及当前信道质量、带宽、部署位置、发包成功率和协商速率值。

需要说明的是，由于在无线网络中wifi工作模式有多种，且每种wifi工作模式下的摄像机的带宽和协商速率值是不同的，因此本实施例中，获取至少两个摄像机的参数信息中带宽和协商速率值时，具体基于摄像机当前所处wifi工作模式来获取。

示例性的，本实施例获取当前级联环境中至少两个摄像机的参数信息及设备能力，可通过以下方式实现：

方式一：向当前级联环境中至少两个摄像机发送信息获取指令，以获取至少两个摄像机的参数信息及设备能力。

例如，若主摄像机为IPC1，从摄像机为IPC2、IPC3和IPC4，则IPC1可分别向IPC2、IPC3和IPC4发送信息获取指令，以使IPC2、IPC3和IPC4将各自的设备能力以及参数信息反馈给IPC1，同时IPC1还获取自身的设备能力以及参数信息。

方式二：接收当前级联环境中至少两个摄像机发送的各自设备能力及参数信息。

其中，从摄像机可定期将自己的设备能力及参数信息主动发送至主摄像机。同样的，主摄像自身也可实时获取自身的设备能力及参数信息，以使主摄像机基于获取的设备能力及参数信息为从摄像机和自身分配合适的码率

需要说明的是，上述两种方式仅为对本发明实施例的示例性说明，不作为对本发明实施例的具体限制。

S402，根据所述当前级联环境中至少两个摄像机的参数信息及设备能力，为每个摄像机进行码率分配操作。

可选的，获取到当前级联环境中至少两个摄像机的参数信息及设备能力之后，本发明实施例主摄像机即可根据获取的参数信息及设备能力，利用现有计算方式，为自己和每个从摄像机分配对应的一个码率，以使当前级联环境中所有摄像机基于分配的码率，将采集的视频数据发送给上级设备。

其中，本发明实施例为每个摄像机分配对应码率操作时是实时执行的，以便于及时知晓当前级联环境中是否有新增摄像机或者摄像机撤销的情况，进而根据最新获取的所有摄像机的参数信息及设备能力，及时对每个摄像机分配的码率进行适应性调整，以满足摄像机的正常业务操作。

在实际应用中，用户对当前级联环境中不同摄像机采集的视频图像显示有不同需求，例如需要重点查看主摄像机IPC1采集的视频图像，则本发明实施例还可根据用户从当前级联环境中选择的一个或多个目标摄像机，调整目标摄像机和非目标摄像机的码率，以确保目标摄像机采集的视频数据在后续显示时，显示的视频图像质量最佳。

也就是说，本发明实施例根据当前级联环境中至少两个摄像机的参数信息及设备能力，为每个摄像机进行码率分配操作之后，还包括：

若确定用户从至少两个摄像机中选取目标摄像机时，则对目标摄像机及非目标摄像机分配的码率进行调整。其中，对目标摄像机及非目标摄像机分配的码率进行调整，包括：调整目标摄像机的码率占比高于非目标摄像机的码率占比。

在本发明的另一实施例中，对目标摄像机及非目标摄像机分配的码率进行调整之后，还可根据目标摄像机及非目标摄像机的参数信息中的当前信道质量，调整目标摄像机及非目标摄像机的分辨率；若非目标摄像机的分辨率或者码率已经调整至最低值时，则降低目标摄像机的码率或者分辨率。

进一步的，对当前级联环境中每个摄像机分配对应码率之后，本发明实施例中除主摄像机之外的任一从摄像机，可基于无线环境下摄像机的工作方式半双工且采用时间片的抢占机制，按照预先分配的码率向主摄像机发送视频码流。

其中，若从摄像机为位于中间节点的摄像机，则该从摄像机与主摄像机之间可包括多个信道，从而当上述从摄像机向主摄像机发送视频码流时，还可实时检测自身当前使用的信道质量，若确定当前使用的信道质量无法满足将视频码流正常发送至主摄像机时，则获取其他信道的质量，并从其他信道中选择质量最佳信道，以通过质量最佳的信道将视频码流发送至主摄像机。

S302，确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后。

可选的，可首先确定相邻第一画面组和第二画面组的I帧发送时刻，然后将第一画面组的I帧发送时刻与第二画面组中I帧发送时刻进行作差，得到第一画面组和第二画面组各自I帧之间的时间间隔。

其中，I帧发送时刻可为主摄像机接收到I帧时的接收时间。

S303，若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。

S304,若确定所述时间间隔不满足预设条件，则不作处理。

在本发明实施例中，预设条件是指时间间隔不等于预设时间间隔。其中预设时间间隔可根据实际应用场景进行设置，例如40毫秒(ms)等，此处不做具体限定。

其中，处理结果是指处理后的视频数据。

具体的，当确定时间间隔不等于预设时间间隔时，可根据第一画面组和第二画面组的I帧之间的时间间隔与预设时间间隔之间的差值，调整第二画面组的帧内编码图像帧的发送时刻。

具体实现时，若确定第一画面组和第二画面组的I帧之间的时间间隔大于预设时间间隔，则通过删减第一画面组中的前向预测编码图像帧和/或双向预测编码图像帧，以减小第一画面组和第二画面组的I帧之间的时间间隔，使减少后的时间间隔等于预设时间间隔，此时第二画面组的I帧的发送时刻相对于初始发送时刻要提前。

若确定第一画面组和第二画面组的I帧之间的时间间隔小于预设时间间隔，则通过在第一画面组中添加前向预测编码图像帧和/或双向预测编码图像帧，以增大第一画面组和第二画面组的I帧之间的时间间隔，使增大后的时间间隔等于预设时间间隔，此时第二画面组的I帧的发送时刻相对于初始发送时刻要晚。

也就是说，只要确定第一画面组和第二画面组中I帧之间的时间间隔不等于预设时间间隔，就调整第二画面的I帧的发送时刻，以使第一画面组和第二画面组中I帧之间的时间间隔等于预设时间间隔。

即，调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理后的视频码流，包括：

在所述第一画面组中添加前向预测编码图像帧和/或双向预测编码图像帧，以调整所述第二画面组的帧内编码图像帧的发送时刻；或者，

删减所述第一画面组中前向预测编码帧和/或双向预测编码图像帧，以调整所述第二画面组的帧内编码图像帧的发送时刻。

可以理解的是，本实施例中前向预测编码图像帧和/或双向预测编码图像帧包括：可以是前向预测编码图像帧；也可以是双向预测编码图像帧；还可以是前向预测编码图像帧和双向预测编码图像帧，本实施例对此不做具体限定。

也就是说，当确定第一画面组和第二画面组的I帧之间的时间间隔不等于预设时间间隔时，则说明需要调整第二画面组的I帧的发送时刻，以使调整后的第二画面组的I帧与第一画面组的I帧之间的时间间隔等于预设时间间隔，以确保摄像机采集的视频数据中不同画面组的I帧能够被均匀分布在不同时间点，避免将多个I帧在一个时间段内被发送而导致部分I帧丢失，使得最终显示的视频图像能够基于各个画面帧中的I帧得到完整的P帧和B帧，从而保证视频图像在显示时能够不卡顿，且更清晰。

本发明实施例提供的基于级联摄像机的数据处理方法，通过获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，以确定该视频码流中至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，并在确定时间间隔满足预设条件时，则调整第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。由此，通过调整画面组的帧内编码图像帧的发送时刻，以使视频数据中画面组的帧内编码图像帧分布更均匀，避免了在一个时间段内有多个帧内编码图像帧被发送而导致部分帧内编码帧图像丢失，使得显示的视频图像更流畅清晰，从而提升了视频图像显示的流畅度和清晰度，改善了视频图像的质量。

通过上述分析可知，本发明实施例确定至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔满足预设条件时，调整第二画面图像组的帧内编码图像帧的发送时刻，以得到处理结果。

在具体实现过程中，在得到处理结果之后，本发明实施例还可将处理结果发送给当前级联环境中的终端设备，以通过终端设备进行显示。下面结合图5，对本发明实施例的基于级联摄像机的数据处理方法的上述情况进行说明。

图5是本发明实施例提供的另一种基于级联摄像机的数据处理方法的流程示意图。如图5所示，该方法具体包括如下：

S501，获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组。

S502，确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后。

S503，若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。

S504，基于预先分配的码率，将处理结果发送给终端设备进行显示。

在本发明实施例中，终端设备可以为NVR或者其他具有显示功能的设备，此处对其不做限定。

示例性的，若终端设备为NVR则主摄像机将处理结果，基于预先分配的码率发送给NVR，以使与NVR连接的显示器对上述处理结果进行显示。

若终端设备为其他具有显示功能的设备时，则主摄像机先将处理结果发送至网关设备，例如路由器，以通过网关设备再将处理结果发送至对应的具有显示功能的设备进行显示。

其中，在本发明实施例中主摄像机可一次仅发送对一个从摄像机处理后的视频数据，也可以是对所有从摄像机发送的视频数据全部处理，并进行汇总之后一起发送，本发明实施例对其不做具体限定。

需要说明的是，本发明另一实现情形，在确定第一画面组和第二画面组的帧内编码图像帧之间的时间间隔不满足预设条件时，可直接将该视频码流按照预先分配的码率发送给终端设备，以使终端设备进行显示。即，当任意视频码流中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔等于预设时间间隔时，无需对该视频码流进行处理，即可发送给终端设备进行显示操作。

由于无线环境是采用时间分配的抢占机制，因此当主摄像机将处理结果发送至终端设备时，若确定当前网络出现拥塞，即当前有其他级联场景中的主摄像机向终端设备发送处理结果时，主摄像机可基于当前网络状态，降低处理结果的发送速率或者码率，以按照降低后的发送速率或者码率，将处理结果发送给终端设备进行显示，使得终端设备始终能够匀速的获取主摄像机发送的处理处理结果，以确保显示的视频图像流畅且清晰。其中，可按照预设算法或规则，降低处理结果的发送速率或者码率，此处对其不做具体限定。

或者，当确定当前网络出现拥塞时，可能出现处理结果中相邻画面组中上一画面组的帧内编码图像帧还未发送成功，但达到了下一画面组中的帧内编码图像帧的发送时刻，即相邻画面组中上一画面组的帧内编码帧图像与下一画面组的帧内编码帧图像之间的时间间隔小于预设时间间隔。

此时，为了避免相邻画面组中下一画面组中的帧内编码图像帧被丢弃，可基于相邻画面组中上一画面组的帧内编码图像帧与下一画面组的帧内编码图像帧之间的当前时间间隔，在相邻画面组中上一画面组中添加前向预测编码图像帧和/或双向预测编码图像帧，以调整相邻画面组中下一画面组的帧内编码图像帧的发送时刻。

即，本发明实施例，所述将处理结果发送给终端进行显示，具体包括：

若当前网络出现拥塞，则调整所述处理结果中的相邻画面组中下一画面组的帧内编码图像帧的发送时刻，得到新的处理结果；

按照预设分配的码率，将所述新的处理结果发送给终端设备进行显示。

进一步的，本发明实施例按照调整后的发送速率或者码率，将处理结果发送给终端设备进行显示时，若主摄像机当前信道质量仍无法满足将处理结果均匀的发送至终端设备时，则触发信道检测，以检测与终端设备连接的多个信道的当前质量，并从多个信号中选择质量最佳的一个信道，将主摄像机与终端设备当前建立连接的信道切换成上述质量最佳的信道，以将处理结果通过质量最佳的信道发送给终端设备进行显示。

本发明实施例提供的基于级联摄像机的数据处理方法，通过将处理结果发送给终端设备，以使终端设备进行显示，使得终端设备显示的视频图像更流畅，且更清晰。此外，当处理结果发送时网络出现拥塞，通过调整处理结果发送的速率或码率；或者，调整处理结果中相邻画面组中下一画面组的帧内编码图像帧的发送时刻，以使处理结果中的帧内编码图像帧发送情况始终能够保持均匀，出现被丢失的情况，不仅能够保证视频图像的质量，还能更好的抵抗网络的波动造成的不利影响。

图6是本发明实施例提供的一种基于级联摄像机的数据处理装置的结构示意图。如图6所示，本发明实施例基于级联摄像机的数据处理装置包括：获取模块610、确定模块620和调整模块630。

其中，获取模块610，用于获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组；

确定模块620，用于确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后；

调整模块630，用于若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。

作为本发明实施例的一种可选的实现方式，调整模块630，具体用于：

在所述第一画面组中添加前向预测编码图像帧和/或双向预测编码图像帧，以调整所述第二画面组的帧内编码图像帧的发送时刻；或者，

删减所述第一画面组中前向预测编码帧和/或双向预测编码图像帧，以调整所述第二画面组的帧内编码图像帧的发送时刻。

作为本发明实施例的一种可选的实现方式，所述装置还包括：第二获取模块和码率分配模块。

其中，第二获取模块，用于获取当前级联环境中至少两个摄像机的参数信息及设备能力；

码率分配模块，用于根据所述当前级联环境中至少两个摄像机的参数信息及设备能力，为每个摄像机进行码率分配操作。

作为本发明实施例的一种可选的实现方式，所述装置还包括：码率调整模块。

其中，码率调整模块，用于若确定用户从至少两个摄像机中选取目标摄像机时，则对所述目标摄像机及非目标摄像机的码率进行调整。

作为本发明实施例的一种可选的实现方式，所述设备能力包括以下至少一项：编码能力、分辨率、帧率和wifi模块的硬件能力；

所述参数信息包括以下至少一项：与任意摄像机的连接关系，以及当前信道质量、带宽、部署位置、发包成功率和协商速率值。

需要说明的是，前述对基于级联摄像机的数据处理方法实施例的解释说明也适用于该实施例的基于级联摄像机的数据处理装置，其实现原理类似，此处不再赘述。

本发明实施例提供的基于级联摄像机的数据处理装置，通过获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，以确定该视频码流中至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，并在确定时间间隔满足预设条件时，则调整第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。由此，通过调整画面组的帧内编码图像帧的发送时刻，以使视频数据中画面组的帧内编码图像帧分布更均匀，避免了在一个时间段内有多个帧内编码图像帧被发送而导致部分帧内编码帧图像丢失，使得显示的视频图像更流畅清晰，从而提升了视频图像显示的流畅度和清晰度，改善了视频图像的质量。

图7是本发明实施例提供的另一种基于级联摄像机的数据处理装置的结构示意图。如图7所示，获取模块610、确定模块620、调整模块630及发送模块640。

其中，获取模块610，用于获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组；

确定模块620，用于确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后；

调整模块630，用于若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。

发送模块640，用于基于预先分配的码率，将处理结果发送给终端设备进行显示。

作为本发明实施例的一种可选的实现方式，发送模块640，具体用于：

若当前网络出现拥塞，则降低所述处理结果的发送速率或者码率；

按照降低后的发送速率或者码率，将所述处理结果发送给终端设备进行显示。

作为本发明实施例的一种可选的实现方式，发送模块640，具体用于：

若当前网络出现拥塞，则调整所述处理结果中的相邻画面组中下一画面组的帧内编码图像帧的发送时刻，得到新的处理结果；

按照预设分配的码率，将所述新的处理结果发送给终端设备进行显示。

需要说明的是，前述对基于级联摄像机的数据处理方法实施例的解释说明也适用于该实施例的基于级联摄像机的数据处理装置，其实现原理类似，此处不再赘述。

本发明实施例提供的基于级联摄像机的数据处理装置，通过将处理结果发送给终端设备，以使终端设备进行显示，使得终端设备显示的视频图像更流畅，且更清晰。此外，当处理结果发送时网络出现拥塞，通过调整处理结果发送的速率或码率；或者，调整处理结果中相邻画面组中下一画面组的帧内编码图像帧的发送时刻，以使处理结果中的帧内编码图像帧发送情况始终能够保持均匀，出现被丢失的情况，不仅能够保证视频图像的质量，还能更好的抵抗网络的波动造成的不利影响。

图8是本发明实施例提供的一种电子设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性电子设备800的框图。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：一个或者多个处理器或者处理单元810，系统存储器820，连接不同系统组件(包括系统存储器820和处理单元810)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备800典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备800访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器820可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备800可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器820可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器820中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备800也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备800还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元810通过运行存储在系统存储器820中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于级联摄像机的数据处理方法，包括：

获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组；

确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后；

若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。

需要说明的是，前述对基于级联摄像机的数据处理方法实施例的解释说明也适用于该实施例的电子设备，其实现原理类似，此处不再赘述。

本发明实施例提供的电子设备，通过获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，以确定该视频码流中至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，并在确定时间间隔满足预设条件时，则调整第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。由此，通过调整画面组的帧内编码图像帧的发送时刻，以使视频数据中画面组的帧内编码图像帧分布更均匀，避免了在一个时间段内有多个帧内编码图像帧被发送而导致部分帧内编码帧图像丢失，使得显示的视频图像更流畅清晰，从而提升了视频图像显示的流畅度和清晰度，改善了视频图像的质量。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的基于级联摄像机的数据处理方法，包括：

获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组；

确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后；

若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种基于级联摄像机的数据处理方法，其特征在于，包括：

获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组；

确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后；

若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果；

其中，若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果，包括：当确定所述时间间隔不等于预设时间间隔时，根据所述第一画面组和所述第二画面组的I帧之间的所述时间间隔与所述预设时间间隔之间的差值，调整所述第二画面组的帧内编码图像帧的发送时刻。

2.根据权利要求1所述的方法，其特征在于，所述调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果，还包括：

在所述第一画面组中添加前向预测编码图像帧和/或双向预测编码图像帧，以调整所述第二画面组的帧内编码图像帧的发送时刻；或者，

删减所述第一画面组中前向预测编码帧和/或双向预测编码图像帧，以调整所述第二画面组的帧内编码图像帧的发送时刻。

3.根据权利要求1所述的方法，其特征在于，所述获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流之前，还包括：

获取当前级联环境中至少两个摄像机的参数信息及设备能力；

根据所述当前级联环境中至少两个摄像机的参数信息及设备能力，为每个摄像机进行码率分配操作。

4.根据权利要求3所述的方法，其特征在于，所述根据所述当前级联环境中至少两个摄像机的参数信息及设备能力，为每个摄像机进行码率分配操作之后，还包括：

若确定用户从至少两个摄像机中选取目标摄像机时，则对所述目标摄像机及非目标摄像机的码率进行调整。

5.根据权利要求3所述的方法，其特征在于，所述设备能力包括以下至少一项：编码能力、分辨率、帧率和wifi模块的硬件能力；

所述参数信息包括以下至少一项：与任意摄像机的连接关系，以及当前信道质量、带宽、部署位置、发包成功率和协商速率值。

6.根据权利要求1所述的方法，其特征在于，所述调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果之后，还包括：

基于预先分配的码率，将所述处理结果发送给终端设备进行显示。

7.根据权利要求6所述的方法，其特征在于，所述将处理结果发送给终端设备进行显示，具体包括：

若当前网络出现拥塞，则降低所述处理结果的发送速率或者码率；

按照降低后的发送速率或者码率，将所述处理结果发送给终端设备进行显示。

8.根据权利要求6所述的方法，其特征在于，所述将处理结果发送给终端进行显示，具体包括：

若当前网络出现拥塞，则调整所述处理结果中的相邻画面组中下一画面组的帧内编码图像帧的发送时刻，得到新的处理结果；

按照预设分配的码率，将所述新的处理结果发送给终端设备进行显示。

9.一种基于级联摄像机的数据处理装置，其特征在于，包括：

获取模块，用于获取当前级联环境中任一摄像机，基于预先分配的码率发送的视频码流，所述视频码流中包括至少两个画面组；

确定模块，用于确定所述至少两个画面组中第一画面组和第二画面组的帧内编码图像帧之间的时间间隔，其中，所述第一画面组与第二画面组相邻，且所述第二画面组位于所述第一画面组之后；

调整模块，用于若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果；

其中，若确定所述时间间隔满足预设条件，则调整所述第二画面组的帧内编码图像帧的发送时刻，以得到处理结果，包括：当确定所述时间间隔不等于预设时间间隔时，根据所述第一画面组和所述第二画面组的I帧之间的所述时间间隔与所述预设时间间隔之间的差值，调整所述第二画面组的帧内编码图像帧的发送时刻。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的基于级联摄像机的数据处理方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的基于级联摄像机的数据处理方法。

Images