CN105898343B - 一种视频直播、终端的视频直播方法和装置 - Google Patents

Abstract

本申请实施例提供了一种视频直播方法，包括：采集视频帧图像，并直播所述视频帧图像；当超过预设时间间隔未采集到视频帧图像时，获取预测图像进行直播；其中，所述预测图像通过如下方式生成：获取在当前时间之前采集的视频帧图像中的背景图像以及物体轮廓图像，所述物体轮廓图像具有对应的坐标信息；采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。本申请实施例通过在服务器离线或服务器中的视频帧图像丢失时，采用之前获取的视频帧图像生成预测图像，并采用预测图像进行直播。使得直播画面看上去仍然是连贯变化的图像，避免了出现画面跳变的情况，保证了用户的观看感受。

Description

一种视频直播、终端的视频直播方法和装置

技术领域

本申请涉及视频直播技术领域，特别是涉及一种视频直播方法、一种终端的视频直播方法、一种视频直播装置和一种终端的视频直播装置。

背景技术

目前视频直播一般通过摄像头、服务器、播放盒子来实现。摄像头采集视频帧图像，然后视频帧图像以视频流格式发送到服务器，服务器将视频流转发到各个播放盒子，播放盒子依据视频流进行直播。

当服务器离线或服务器中的视频帧图像丢失时，播放盒子的直播画面将会停止或显示特定的离线图像。当视频帧图像接收恢复后，直播画面会从停止时的图像或特定的离线图像，变为恢复后的视频帧图像。若图像丢失时间较短，直播画面将出现跳变的情况，降低用户的观看体验。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频直播方法、一种终端的视频直播方法、一种视频直播装置和一种终端的视频直播装置。

为了解决上述问题，本申请实施例公开了一种视频直播方法，包括：

采集视频帧图像，并直播所述视频帧图像；

当超过预设时间间隔未采集到视频帧图像时，获取预测图像进行直播；其中，所述预测图像通过如下方式生成：

获取在当前时间之前采集的视频帧图像中的背景图像以及物体轮廓图像，所述物体轮廓图像具有对应的坐标信息；

采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

优选的，所述采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像的步骤包括：

采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离；

采用所述各个物体轮廓图像，生成预测轮廓图像；

采用所述预测移动方向、所述预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的坐标信息，生成预测坐标信息；

采用所述预测轮廓图像，按所述预测坐标信息，叠加到当前时间之前的最后一帧的视频帧图像的背景图像中，得到预测图像。

优选的，所述采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离的步骤包括：

采用所述各个物体轮廓图像的坐标，计算各个物体轮廓图像的移动方向和移动距离；

将各个物体轮廓图像的移动方向，按时间顺序所形成的序列作为基准方向序列；

将按时间顺序从后往前算起的，预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列；

确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列；

若是，则将所述基准方向序列中的，目标方向序列之后的下一个移动方向作为预测移动方向；

将预测移动方向对应的物体轮廓图像的移动距离作为预测移动距离。

优选的，所述采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离的步骤还包括：

若所述基准方向序列中不存在目标方向序列，则将当前候选方向序列中顺序最前的移动方向移除，生成新的候选方向序列；

返回所述确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列的步骤。

优选的，所述采用所述各个物体轮廓图像，生成预测轮廓图像的步骤包括：

确定所述各个物体轮廓图像的物体形态信息；

将各个物体轮廓图像的物体形态信息，按时间顺序所形成的序列作为基准形态序列；

将按时间顺序从后往前算起的，数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列；

确定所述基准形态序列中是否存在与所述候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的目标形态序列；

若是，则将所述基准形态序列中的，目标形态序列之后的下一个物体形态信息作为预测物体形态信息；

将所述预测物体形态信息对应的物体轮廓图像作为预测轮廓图像。

同时，本申请还公开了一种终端的视频直播方法，包括：

所述终端接收服务器发送的视频帧图像，并直播所述视频帧图像；所述视频帧图像由图像采集设备采集，并发送至服务器；

当超过预设时间间隔未接收到视频帧图像时，所述终端生成预测图像进行直播；其中，所述预测图像通过如下方式生成：

所述终端获取在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

所述终端采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

优选的，所述终端获取在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息的步骤包括：

所述终端接收所述服务器发送的在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

或，

所述终端从接收到的视频帧图像中，提取所述背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息。

同时，本申请还公开了一种视频直播装置，包括：

采集直播模块，用于采集视频帧图像，并直播所述视频帧图像；

预测直播模块，用于当超过预设时间间隔未采集到视频帧图像时，获取预测图像进行直播；其中，所述预测图像通过如下模块生成：

信息获取模块，用于获取在当前时间之前采集的视频帧图像中的背景图像以及物体轮廓图像，所述物体轮廓图像具有对应的坐标信息；

图像生成模块，用于采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

优选的，所述图像生成模块进一步包括：

移动预测子模块，用于采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离；

轮廓预测子模块，用于采用所述各个物体轮廓图像，生成预测轮廓图像；

坐标预测子模块，用于采用所述预测移动方向、所述预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的坐标信息，生成预测坐标信息；

叠加子模块，用于采用所述预测轮廓图像，按所述预测坐标信息，叠加到当前时间之前的最后一帧的视频帧图像的背景图像中，得到预测图像。

优选的，所述移动预测子模块进一步包括：

方向距离计算子模块，用于采用所述各个物体轮廓图像的坐标，计算各个物体轮廓图像的移动方向和移动距离；

基准方向序列生成子模块，用于将各个物体轮廓图像的移动方向，按时间顺序所形成的序列作为基准方向序列；

候选方向序列生成子模块，用于将按时间顺序从后往前算起的，预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列；

目标方向序列确定子模块，用于确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列；

预测移动方向生成子模块，用于若基准方向序列中存在目标方向序列，则将所述基准方向序列中的，目标方向序列之后的下一个移动方向作为预测移动方向；

预测移动距离生成子模块，用于将预测移动方向对应的物体轮廓图像的移动距离作为预测移动距离。

优选的，所述移动预测子模块还进一步包括：

候选方向序列调整子模块，用于若所述基准方向序列中不存在目标方向序列，则将当前候选方向序列中顺序最前的移动方向移除，生成新的候选方向序列；

返回子模块，用于返回所述确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列的步骤。

优选的，所述轮廓预测子模块进一步包括：

形态信息确定子模块，用于确定所述各个物体轮廓图像的物体形态信息；

基准形态序列生成子模块，用于将各个物体轮廓图像的物体形态信息，按时间顺序所形成的序列作为基准形态序列；

候选形态序列生成子模块，用于将按时间顺序从后往前算起的，数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列；

目标形态序列确定子模块，用于确定所述基准形态序列中是否存在与所述候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的目标形态序列；

预测形态信息生成子模块，用于若基准形态序列中存在目标形态序列，则将所述基准形态序列中的，目标形态序列之后的下一个物体形态信息作为预测物体形态信息；

预测轮廓图像生成子模块，用于将所述预测物体形态信息对应的物体轮廓图像作为预测轮廓图像。

同时，本申请还公开了一种终端的视频直播装置，包括：

位于所述终端的终端接收直播模块，用于接收服务器发送的视频帧图像，并直播所述视频帧图像；所述视频帧图像由图像采集设备采集，并发送至服务器；

位于所述终端的终端预测直播模块，用于当超过预设时间间隔未接收到视频帧图像时，生成预测图像进行直播；其中，所述预测图像通过如下模块生成：

位于所述终端的终端信息获取模块，用于获取在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

位于所述终端的终端图像生成模块，用于采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

优选的，所述终端信息获取模块进一步包括：

位于所述终端的终端信息接收模块，用于接收所述服务器发送的在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

或，

位于所述终端的终端信息提取模块，用于从接收到的视频帧图像中，提取所述背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息。

本申请实施例包括以下优点：

本申请实施例通过在服务器离线或服务器中的视频帧图像丢失时，采用之前获取的视频帧图像生成预测图像，并采用预测图像进行直播。使得直播画面看上去仍然是连贯变化的图像，避免了出现画面跳变的情况，保证了用户的观看感受。

附图说明

图1是本申请的一种视频直播方法实施例的步骤流程图；

图2是本申请的一种终端的视频直播方法实施例的步骤流程图；

图3是本申请的一种视频直播装置实施例的结构框图；

图4是本申请的一种终端的视频直播装置实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

本申请实施例的核心构思之一在于，通过在服务器离线或服务器中的视频帧图像丢失时，采用之前获取的视频帧图像生成预测图像，并采用预测图像进行直播。

参照图1，示出了本申请的一种视频直播方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，采集视频帧图像，并直播所述视频帧图像；

由摄像头或网络枪等图像采集设备采集视频帧图像，将采集的视频帧图像上传到服务器，由服务器将视频帧图像发送到各个播放盒子进行直播。

步骤102，当超过预设时间间隔未采集到视频帧图像时，获取预测图像进行直播；

当服务器离线或服务器中的视频帧图像丢失，使得播放盒子未能在预设的时间间隔内获取到视频帧图像时，在播放盒子中生成预测图像进行播放。

其中，所述预测图像通过如下方式生成：

a、获取在当前时间之前采集的视频帧图像中的背景图像以及物体轮廓图像，所述物体轮廓图像具有对应的坐标信息；

b、采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

预测图像由服务器离线或服务器中的视频帧图像丢失之前的视频帧图像生成。从之前的多帧视频帧图像中提取背景图像，以及特定物体的轮廓图像，按特定算法计算生成预测图像。

例如，在教学视频直播中，当服务器离线或服务器中的视频帧图像丢失时，从之前的视频帧图像中，提取教室的背景图像，以及教师的轮廓图像；根据特定算法预测教师可能移动的位置，然后将教师的轮廓图像叠加到教室的背景图像中预测的位置上，生成预测图像。

当视频帧图像接收恢复后，直播画面看上去仍然是连贯变化的图像，避免了出现画面跳变的情况，保证了用户的观看感受。

作为本申请实施例的一种优选示例，所述采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像的步骤可以包括如下子步骤：

子步骤S11，采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离；

采用之前的多帧视频帧图像的轮廓图像的边界坐标，生成预测移动方向和预测移动距离。

进一步的，所述子步骤S11可以进一步包括如下子步骤：

子步骤SS111，采用所述各个物体轮廓图像的坐标，计算各个物体轮廓图像的移动方向和移动距离；

具体的，可以根据物体的形态选取物体轮廓图像的边界坐标中的一个特定坐标来，计算视频帧图像中物体轮廓图像相对之前的一帧视频帧图像中物体轮廓图像的移动方向和移动距离。

例如，假设物体轮廓图像为行走中的人的轮廓图像，人体轮廓图像的各个边界坐标的最高点为人的头部的坐标点，通过比较相邻的视频帧图像中，人体轮廓图像的最高点的横坐标和纵坐标，可以确定，人体轮廓图像在水平方向和垂直方向上的移动方向和移动距离。例如，两帧图像中的人体轮廓图像的最高点坐标分别为(x1，y1)、(x2，y2)。若x1>x2，则认为第2帧图像中的人体轮廓图像的水平的移动方向为左。若y1>y2，则认为第2帧图像中的人体轮廓图像的垂直的移动方向为下。

子步骤SS112，将各个物体轮廓图像的移动方向，按时间顺序所形成的序列作为基准方向序列；

将在水平方向和垂直方向上的移动方向，按时间顺序(视频帧顺序)存储在队列中，将队列中移动方向形成的序列作为基准方向序列。

基准方向序列包括，水平方向基准方向序列和垂直方向基准方向序列。

例如，水平向左的移动方向记为L，水平向左的移动方向记为R。连续6帧的视频帧图像的物体轮廓图像的移动方向分别为L、L、L、R、R、R，那么水平方向基准序列可以表示为：LLLRRR。

垂直向上的移动方向记为U，垂直向下的移动方向记为D。水平方向基准序列可以表示为：UUUDDD。

子步骤SS113，将按时间顺序从后往前算起的，预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列；

在基准方向序列中，将按时间顺序(视频帧顺序)，从后往前算起的、预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列。

例如，水平方向基准方向序列为：LRRLRRLLRLR。将最后的3帧视频帧图像的物体轮廓图像的移动方向所形成的序列RLR作为候选方向序列。

子步骤SS114，确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列；

确定基准方向序列中是否存在与候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的序列，若是则将该序列作为目标方向序列。

如果基准方向序列中同时存在多个与候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的序列，那么以时间顺序较后的序列，作为目标方向序列。

例如，水平方向基准方向序列为：LRRLRRLLRLR，候选方向序列为RLR，水平方向基准方向序列中的第3-5帧的视频帧图像的物体轮廓图像的移动方向组成的序列也为RLR，那么将第3-5帧的视频帧图像的物体轮廓图像的移动方向组成的序列作为目标方向序列。

子步骤SS115，若是，则将所述基准方向序列中的，目标方向序列之后的下一个移动方向作为预测移动方向；

目标方向序列为第3-5帧的视频帧图像的物体轮廓图像的移动方向，将第6帧视频帧图像的物体轮廓图像的移动方向作为预测移动方向。

子步骤SS116，将预测移动方向对应的物体轮廓图像的移动距离作为预测移动距离。

预测移动方向是第6帧的视频帧图像的物体轮廓图像的移动方向，将第6帧视频帧图像的物体轮廓图像的移动距离，作为预测移动距离。

作为本申请实施例的一种优选示例，所述子步骤S11还可以进一步包括如下子步骤：

子步骤SS117，若所述基准方向序列中不存在目标方向序列，则将当前候选方向序列中顺序最前的移动方向移除，生成新的候选方向序列；

例如，若在以基准方向序列中最后的3个移动方向作为候选方向序列时，基准方向序列中不存在目标序列，则将候选方向序列中最前的序列移动，即将基准方向序列中最后的2个移动方向作为新的候选方向序列。

子步骤SS118，返回所述确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列的步骤。

在生成新的候选方向序列后，重新确定基准方向序列中是否有目标方向序列。

子步骤S12，采用所述各个物体轮廓图像，生成预测轮廓图像；

采用之前的多帧视频帧图像的轮廓图像，生成预测轮廓图像。

进一步的，所述子步骤S12可以进一步包括如下子步骤：

子步骤SS121，确定所述各个物体轮廓图像的物体形态信息；

物体轮廓图像的物体形态信息，可以是表征物体的动作或结构的信息。例如，对于行走中的人体，左脚在前，右脚在后的形态即为物体形态信息。

子步骤SS122，将各个物体轮廓图像的物体形态信息，按时间顺序所形成的序列作为基准形态序列；

以行走中的人体，左、右脚形态作为物体形态信息，左脚在前，右脚在后记为l，右脚在前，左脚在后记为r。

连续6帧的视频帧图像的物体轮廓图像的物体形态信息分别为l、l、l、r、r、r，那么基准形态序列可以表示为：lllrrr。

子步骤SS123，将按时间顺序从后往前算起的，数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列；

在基准形态序列中，将按时间顺序(视频帧顺序)，从后往前算起的、数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列。

假如，当前目标方向序列中包含的移动方向的个数为3，那么在基准形态序列中将最后的3帧视频帧图像的物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列。

例如，候选形态序列为：llrrllrrllrr，那么将最后的3帧视频帧图像的物体轮廓图像的物体形态信息所形成的序列lrr作为候选形态序列。

子步骤SS124，确定所述基准形态序列中是否存在与所述候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的目标形态序列；

确定基准形态序列中是否存在与候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的序列，若是则将该序列作为目标形态序列。

如果基准形态序列中中同时存在多个与候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的序列，那么以时间顺序较后的序列，作为目标形态序列。

例如，水平方向基准方向序列为：llrrllrrllrr，候选方向序列为lrr，基准形态序列中的第2-4帧和第6-8帧的视频帧图像的物体轮廓图像的移动方向组成的序列也为lrr，此时以在后的满足条件的序列作为目标形态序列，即以第6-8帧的序列作为目标形态序列。

子步骤SS125，若是，则将所述基准形态序列中的，目标形态序列之后的下一个物体形态信息作为预测物体形态信息；

目标形态序列为第6-8帧的视频帧图像的物体轮廓图像的物体形态信息，将第9帧视频帧图像的物体轮廓图像的物体形态信息作为预测物体形态信息。

子步骤SS126，将所述预测物体形态信息对应的物体轮廓图像作为预测轮廓图像。

预测物体形态信息是第9帧的视频帧图像的物体轮廓图像的物体形态信息，将第9帧视频帧图像的物体轮廓图像作为预测轮廓图像。

子步骤S13，采用所述预测移动方向、所述预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的坐标信息，生成预测坐标信息；

根据预测移动方向和预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的边界坐标，生成预测坐标。

子步骤S14，采用所述预测轮廓图像，按所述预测坐标信息，叠加到当前时间之前的最后一帧的视频帧图像的背景图像中，得到预测图像。

将预测轮廓图像，叠加到当前时间之前的最后一帧的视频帧图像的背景图像的预测坐标上并进行渲染，得到预测图像。

参照图2，示出了本申请的一种终端的视频直播方法实施例的步骤流程图，具体可以包括如下步骤：

步骤201，所述终端接收服务器发送的视频帧图像，并直播所述视频帧图像；所述视频帧图像由图像采集设备采集，并发送至服务器；

终端(例如播放盒子)，按一定时间间隔接收服务器发送的视频帧图像进行直播。所述视频帧图像由图像采集设备(例如摄像头、网络枪)采集，并发送至服务器。

步骤202，当超过预设时间间隔未接收到视频帧图像时，所述终端生成预测图像进行直播；

终端中可以设置有定时器，定时器的计数间隔设置为接收视频帧图像的间隔，当到达定时器的下一次计数时，未能接收到视频帧图像，则认为服务器离线或服务器中的视频帧图像丢失。

其中，所述预测图像通过如下方式生成：

A、所述终端获取在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

B、所述终端采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

作为本申请实施例的一种优选示例，所述终端获取在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息的步骤包括：

所述终端接收所述服务器发送的在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

或，

所述终端从接收到的视频帧图像中，提取所述背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息。

作为本申请实施例的一种优选示例，所述终端采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像的步骤具体可以包括如下子步骤：

子步骤S21，所述终端采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离；

具体的，所述子步骤S21可以进一步包括如下子步骤：

子步骤SS211，所述终端采用所述各个物体轮廓图像的坐标，计算各个物体轮廓图像的移动方向和移动距离；

子步骤SS212，所述终端将各个物体轮廓图像的移动方向，按时间顺序所形成的序列作为基准方向序列；

子步骤SS213，所述终端将按时间顺序从后往前算起的，预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列；

子步骤SS214，所述终端确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列；

子步骤SS215，若是，则所述终端将所述基准方向序列中的，目标方向序列之后的下一个移动方向作为预测移动方向；

子步骤SS216，所述终端将预测移动方向对应的物体轮廓图像的移动距离作为预测移动距离。

作为本申请实施例的一种优选示例，所述子步骤S21还可以进一步包括如下子步骤：

子步骤SS217，若所述基准方向序列中不存在目标方向序列，则所述终端将当前候选方向序列中顺序最前的移动方向移除，生成新的候选方向序列；

子步骤SS218，返回所述确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列的步骤。

子步骤S22，所述终端采用所述各个物体轮廓图像，生成预测轮廓图像；

具体的所述子步骤S22可以进一步包括如下子步骤：

子步骤SS221，所述终端确定所述各个物体轮廓图像的物体形态信息；

子步骤SS222，所述终端将各个物体轮廓图像的物体形态信息，按时间顺序所形成的序列作为基准形态序列；

子步骤SS223，所述终端将按时间顺序从后往前算起的，数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列；

子步骤SS224，所述终端确定所述基准形态序列中是否存在与所述候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的目标形态序列；

子步骤SS225，若是，则所述终端将所述基准形态序列中的，目标形态序列之后的下一个物体形态信息作为预测物体形态信息；

子步骤SS226，所述终端将所述预测物体形态信息对应的物体轮廓图像作为预测轮廓图像。

子步骤S23，所述终端采用所述预测移动方向、所述预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的坐标信息，生成预测坐标信息；

子步骤S24，所述终端采用所述预测轮廓图像，按所述预测坐标信息，叠加到当前时间之前的最后一帧的视频帧图像的背景图像中，得到预测图像。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

参照图3，示出了本申请的一种视频直播装置实施例的结构框图，具体可以包括如下模块：

采集直播模块31，用于采集视频帧图像，并直播所述视频帧图像；

预测直播模块32，用于当超过预设时间间隔未采集到视频帧图像时，获取预测图像进行直播；其中，所述预测图像通过如下模块生成：

信息获取模块33，用于获取在当前时间之前采集的视频帧图像中的背景图像以及物体轮廓图像，所述物体轮廓图像具有对应的坐标信息；

图像生成模块34，用于采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

作为本申请实施例的一种优选示例，所述图像生成模块可以进一步包括：

移动预测子模块，用于采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离；

轮廓预测子模块，用于采用所述各个物体轮廓图像，生成预测轮廓图像；

坐标预测子模块，用于采用所述预测移动方向、所述预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的坐标信息，生成预测坐标信息；

叠加子模块，用于采用所述预测轮廓图像，按所述预测坐标信息，叠加到当前时间之前的最后一帧的视频帧图像的背景图像中，得到预测图像。

作为本申请实施例的一种优选示例，所述移动预测子模块可以进一步包括：

方向距离计算子模块，用于采用所述各个物体轮廓图像的坐标，计算各个物体轮廓图像的移动方向和移动距离；

基准方向序列生成子模块，用于将各个物体轮廓图像的移动方向，按时间顺序所形成的序列作为基准方向序列；

候选方向序列生成子模块，用于将按时间顺序从后往前算起的，预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列；

目标方向序列确定子模块，用于确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列；

预测移动方向生成子模块，用于若基准方向序列中存在目标方向序列，则将所述基准方向序列中的，目标方向序列之后的下一个移动方向作为预测移动方向；

预测移动距离生成子模块，用于将预测移动方向对应的物体轮廓图像的移动距离作为预测移动距离。

作为本申请实施例的一种优选示例，所述移动预测子模块还可以进一步包括：

候选方向序列调整子模块，用于若所述基准方向序列中不存在目标方向序列，则将当前候选方向序列中顺序最前的移动方向移除，生成新的候选方向序列；

返回子模块，用于返回所述确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列的步骤。

作为本申请实施例的一种优选示例，所述轮廓预测子模块可以进一步包括：

形态信息确定子模块，用于确定所述各个物体轮廓图像的物体形态信息；

基准形态序列生成子模块，用于将各个物体轮廓图像的物体形态信息，按时间顺序所形成的序列作为基准形态序列；

候选形态序列生成子模块，用于将按时间顺序从后往前算起的，数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列；

目标形态序列确定子模块，用于确定所述基准形态序列中是否存在与所述候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的目标形态序列；

预测形态信息生成子模块，用于若基准形态序列中存在目标形态序列，则将所述基准形态序列中的，目标形态序列之后的下一个物体形态信息作为预测物体形态信息；

预测轮廓图像生成子模块，用于将所述预测物体形态信息对应的物体轮廓图像作为预测轮廓图像。

参照图4，示出了本申请的一种终端的视频直播装置实施例的结构框图，具体可以包括如下模块：

位于所述终端的终端接收直播模块41，用于接收服务器发送的视频帧图像，并直播所述视频帧图像；所述视频帧图像由图像采集设备采集，并发送至服务器；

位于所述终端的终端预测直播模块42，用于当超过预设时间间隔未接收到视频帧图像时，生成预测图像进行直播；其中，所述预测图像通过如下模块生成：

位于所述终端的终端信息获取模块43，用于获取在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

位于所述终端的终端图像生成模块44，用于采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

作为本申请实施例的一种优选示例，所述终端信息获取模块可以进一步包括：

位于所述终端的终端信息接收模块，用于接收所述服务器发送的在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

或，

位于所述终端的终端信息提取模块，用于从接收到的视频帧图像中，提取所述背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息。

作为本申请实施例的一种优选示例，所述终端图像生成模块44可以进一步包括如下子模块：

位于所述终端的终端移动预测子模块，用于采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离；

位于所述终端的终端轮廓预测子模块，用于采用所述各个物体轮廓图像，生成预测轮廓图像；

位于所述终端的终端坐标预测子模块，用于采用所述预测移动方向、所述预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的坐标信息，生成预测坐标信息；

位于所述终端的终端叠加子模块，用于采用所述预测轮廓图像，按所述预测坐标信息，叠加到当前时间之前的最后一帧的视频帧图像的背景图像中，得到预测图像。

作为本申请实施例的一种优选示例，所述终端移动预测子模块可以进一步包括如下子模块：

位于所述终端的终端方向距离计算子模块，用于采用所述各个物体轮廓图像的坐标，计算各个物体轮廓图像的移动方向和移动距离；

位于所述终端的终端基准方向序列生成子模块，用于将各个物体轮廓图像的移动方向，按时间顺序所形成的序列作为基准方向序列；

位于所述终端的终端候选方向序列生成子模块，用于将按时间顺序从后往前算起的，预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列；

位于所述终端的终端目标方向序列确定子模块，用于确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列；

位于所述终端的终端预测移动方向生成子模块，用于若基准方向序列中存在目标方向序列，则将所述基准方向序列中的，目标方向序列之后的下一个移动方向作为预测移动方向；

位于所述终端的终端预测移动距离生成子模块，用于将预测移动方向对应的物体轮廓图像的移动距离作为预测移动距离。

作为本申请实施例的一种优选示例，所述移动预测子模块还可以进一步包括：

位于所述终端的终端候选方向序列调整子模块，用于若所述基准方向序列中不存在目标方向序列，则将当前候选方向序列中顺序最前的移动方向移除，生成新的候选方向序列；

位于所述终端的终端返回子模块，用于返回所述确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列的步骤。

作为本申请实施例的一种优选示例，所述终端轮廓预测子模块进可以一步包括：

位于所述终端的终端形态信息确定子模块，用于确定所述各个物体轮廓图像的物体形态信息；

位于所述终端的终端基准形态序列生成子模块，用于将各个物体轮廓图像的物体形态信息，按时间顺序所形成的序列作为基准形态序列；

位于所述终端的终端候选形态序列生成子模块，用于将按时间顺序从后往前算起的，数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列；

位于所述终端的终端目标形态序列确定子模块，用于确定所述基准形态序列中是否存在与所述候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的目标形态序列；

位于所述终端的终端预测形态信息生成子模块，用于若基准形态序列中存在目标形态序列，则将所述基准形态序列中的，目标形态序列之后的下一个物体形态信息作为预测物体形态信息；

位于所述终端的终端预测轮廓图像生成子模块，用于将所述预测物体形态信息对应的物体轮廓图像作为预测轮廓图像。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种视频直播方法、一种终端的视频直播方法、一种视频直播装置和一种终端的视频直播装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种视频直播方法，其特征在于，包括：

采集视频帧图像，并直播所述视频帧图像；

当超过预设时间间隔未采集到视频帧图像时，获取预测图像进行直播；其中，所述预测图像通过如下方式生成：

获取在当前时间之前采集的视频帧图像中的背景图像以及物体轮廓图像，所述物体轮廓图像具有对应的坐标信息；

采用各个物体轮廓图像的坐标，计算各个物体轮廓图像的移动方向和移动距离；

将各个物体轮廓图像的移动方向，按时间顺序所形成的序列作为基准方向序列；

将按时间顺序从后往前算起的，预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列；

确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列；

若是，则将所述基准方向序列中的，目标方向序列之后的下一个移动方向作为预测移动方向；

将预测移动方向对应的物体轮廓图像的移动距离作为预测移动距离；

采用所述各个物体轮廓图像，生成预测轮廓图像；

采用所述预测移动方向、所述预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的坐标信息，生成预测坐标信息；

采用所述预测轮廓图像，按所述预测坐标信息，叠加到当前时间之前的最后一帧的视频帧图像的背景图像中，得到预测图像。

2.根据权利要求1所述的方法，其特征在于，所述采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离的步骤还包括：

若所述基准方向序列中不存在目标方向序列，则将当前候选方向序列中顺序最前的移动方向移除，生成新的候选方向序列；

返回所述确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列的步骤。

3.根据权利要求1或2所述的方法，其特征在于，所述采用所述各个物体轮廓图像，生成预测轮廓图像的步骤包括：

确定所述各个物体轮廓图像的物体形态信息；

将各个物体轮廓图像的物体形态信息，按时间顺序所形成的序列作为基准形态序列；

将按时间顺序从后往前算起的，数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列；

确定所述基准形态序列中是否存在与所述候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的目标形态序列；

若是，则将所述基准形态序列中的，目标形态序列之后的下一个物体形态信息作为预测物体形态信息；

将所述预测物体形态信息对应的物体轮廓图像作为预测轮廓图像。

4.一种终端的视频直播方法，其特征在于，包括：

所述终端接收服务器发送的视频帧图像，并直播所述视频帧图像；所述视频帧图像由图像采集设备采集，并发送至服务器；

当超过预设时间间隔未接收到视频帧图像时，所述终端生成预测图像进行直播；其中，所述预测图像通过如下方式生成：

所述终端接收所述服务器发送的在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

或，

所述终端从接收到的视频帧图像中，提取所述背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

所述终端采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像。

5.一种视频直播装置，其特征在于，包括：

采集直播模块，用于采集视频帧图像，并直播所述视频帧图像；

预测直播模块，用于当超过预设时间间隔未采集到视频帧图像时，获取预测图像进行直播；其中，所述预测图像通过如下模块生成：

信息获取模块，用于获取在当前时间之前采集的视频帧图像中的背景图像以及物体轮廓图像，所述物体轮廓图像具有对应的坐标信息；

图像生成模块，用于采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像；

其中，所述图像生成模块进一步包括：

移动预测子模块，用于采用各个物体轮廓图像的坐标信息，生成预测移动方向和预测移动距离；

轮廓预测子模块，用于采用所述各个物体轮廓图像，生成预测轮廓图像；

坐标预测子模块，用于采用所述预测移动方向、所述预测移动距离，以及当前时间之前采集的最后一帧的视频帧图像的物体轮廓图像的坐标信息，生成预测坐标信息；

叠加子模块，用于采用所述预测轮廓图像，按所述预测坐标信息，叠加到当前时间之前的最后一帧的视频帧图像的背景图像中，得到预测图像；

所述移动预测子模块进一步包括：

方向距离计算子模块，用于采用所述各个物体轮廓图像的坐标，计算各个物体轮廓图像的移动方向和移动距离；

基准方向序列生成子模块，用于将各个物体轮廓图像的移动方向，按时间顺序所形成的序列作为基准方向序列；

候选方向序列生成子模块，用于将按时间顺序从后往前算起的，预设个数的视频帧图像的物体轮廓图像的移动方向所形成的序列，作为候选方向序列；

目标方向序列确定子模块，用于确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列；

预测移动方向生成子模块，用于若基准方向序列中存在目标方向序列，则将所述基准方向序列中的，目标方向序列之后的下一个移动方向作为预测移动方向；

预测移动距离生成子模块，用于将预测移动方向对应的物体轮廓图像的移动距离作为预测移动距离。

6.根据权利要求5所述的装置，其特征在于，所述移动预测子模块还进一步包括：

候选方向序列调整子模块，用于若所述基准方向序列中不存在目标方向序列，则将当前候选方向序列中顺序最前的移动方向移除，生成新的候选方向序列；

返回子模块，用于返回所述确定所述基准方向序列中是否存在与所述候选方向序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的移动方向的目标方向序列的步骤。

7.根据权利要求5或6所述的装置，其特征在于，所述轮廓预测子模块进一步包括：

形态信息确定子模块，用于确定所述各个物体轮廓图像的物体形态信息；

基准形态序列生成子模块，用于将各个物体轮廓图像的物体形态信息，按时间顺序所形成的序列作为基准形态序列；

候选形态序列生成子模块，用于将按时间顺序从后往前算起的，数目与所述目标方向序列中包含的移动方向的个数相同的，物体轮廓图像的物体形态信息所形成的序列，作为候选形态序列；

目标形态序列确定子模块，用于确定所述基准形态序列中是否存在与所述候选形态序列相同的，并且不包含最后一帧的视频帧图像的物体轮廓图像的物体形态信息的目标形态序列；

预测形态信息生成子模块，用于若基准形态序列中存在目标形态序列，则将所述基准形态序列中的，目标形态序列之后的下一个物体形态信息作为预测物体形态信息；

预测轮廓图像生成子模块，用于将所述预测物体形态信息对应的物体轮廓图像作为预测轮廓图像。

8.一种终端的视频直播装置，其特征在于，包括：

位于所述终端的终端接收直播模块，用于接收服务器发送的视频帧图像，并直播所述视频帧图像；所述视频帧图像由图像采集设备采集，并发送至服务器；

位于所述终端的终端预测直播模块，用于当超过预设时间间隔未接收到视频帧图像时，生成预测图像进行直播；其中，所述预测图像通过如下模块生成：

位于所述终端的终端信息获取模块，用于获取在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

位于所述终端的终端图像生成模块，用于采用所述背景图像，物体轮廓图像，以及物体轮廓图像的坐标信息，生成预测图像；

其中，所述终端信息获取模块进一步包括：

位于所述终端的终端信息接收模块，用于接收所述服务器发送的在当前时间之前采集的视频帧图像中的背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息；

或，

位于所述终端的终端信息提取模块，用于从接收到的视频帧图像中，提取所述背景图像、物体轮廓图像，以及所述物体轮廓图像对应的坐标信息。