CN108924485A - 客户端实时视频流中断处理方法及系统、监控系统 - Google Patents

Abstract

本发明涉及视频监控领域，公开了一种客户端实时视频流中断处理方法及系统、监控系统，方法包括：S10：接收视频传输中断报警信号，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流；S20：视频传输恢复后，传输所述离线视频流。本发明能够帮助视频流中断恢复过程减少数据丢失，减小中断处理过程内存压力，降低计算量以及加快视频传输恢复后的视频流重传输效率，有利于实现不增加硬件配置，成本节约的中断处理。

Description

客户端实时视频流中断处理方法及系统、监控系统

技术领域

本发明涉及视频监控技术领域，尤其涉及客户端实时视频流中断处理方法及系统、监控系统。

背景技术

智能家居中视频监控系统通常将传感器与光纤、有线或无线网络(互联网接入)连接，并将感兴趣的数据发送给管理者。传感器可以触发视频监控摄像头的启动，并将入侵信息记录到智能家居系统。如Raspberry Pi嵌入式计算机和Arduino传感器等开放硬件部署的低成本的视频监控系统中，当Arduino 传感器检测到小偷，一个相机将开始在RaspberryPi中录制视频。同时，Raspberry Pi将发送即时消息或电子邮件给订阅的管理者(例如智能家居的主人)。当收到这些消息时，管理者便可以开始接收实时视频。

现有的视频监控系统中，移动管理者通过客户端的无线通信完成视频读取时通常会遭受断断续续的服务中断。视频流服务中断的原因众多。其中的一些原因如下：1、LTE的覆盖不足(特别是在偏远山区)；2、无线网络的覆盖范围和无线信道干扰，延长了WiFi终端的通道；3、无线网络和LTE网络传输协议的低效行为；4、视频服务器的低效行为；5、视频客户的低效行为。

上述原因的不良影响都会使得视频监控系统服务质量大大降低，因为视频会话视频帧传输占用着无线信道，智能手机就不能接收其他数据，还阻碍了其他WiFi终端对信道的访问，降低了有效带宽；但如果通过关闭视频会话来减少信道占用，后期恢复时视频服务器也必须重新启动视频会话，从头开始下载视频，在连续几次中断的情况下重新启动视频会话过程会极大地降低用户体验质量；更糟糕的是，若是服务中断过程中丢失了非常有价值的图像视频，则不利于家居安全有效管理，大大影响视频监控系统设置目的的实现。

目前，为了减轻视频中断过程上述存在的负面影响，有的视频监控系统采用自适应视频流算法来解决，一般将自适应视频流算法区分为下面三类：

(1)基于对传输速率的调节。根据视频下载速度,动态调节视频的编码速率,以提供最高质量、最平滑的视频演播。

(2)基于自适应视频缓冲器。通过寻求缓冲区的占用与所选择的视频比特率和可用带宽之间的关系。由于计算大，实时视频的等待时间会增加，所以这个方案是有限的。

(3)基于QoS(服务质量)参数的预测。它优化了诸如马尔可夫链之类的控制模型中的资源和相关变量的分配。

但上述算法大多需要以不同的比特率保存视频内容的多个副本，容易在视频服务器上产生巨大的存储负载；且视频分析转码过程经济成本高，计算量大，容易造成时延，难以应用于实时视频流服务。除此之外，上述算法并不能有效解决视频服务器视频会话关闭，使得会话重连时客户端必须从头开始下载视频，大大影响视频流实时监控和视频体验质量的问题。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种能够帮助实时视频流中断恢复过程减少数据丢失，减小内存压力，降低计算量，提高视频传输恢复后传输效率的客户端实时视频流中断处理方法及系统、监控系统。

为了实现上述目的，本发明采用的技术方案为：

一种监控系统中客户端实时视频流中断处理方法，包括以下步骤：

S10：接收视频传输中断报警信号，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流；

S20：视频传输恢复后，传输所述离线视频流。

上述步骤中，通过设置接收到视频传输中断报警信号后，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流的方式，实现实时视频流传输中断过程中产生的丢失数据的保存，有利于减少数据丢失；相比原始方法中采用保存多个不同比特率视频内容副本以便后续从头传输视频内容以及降低视频传输中断风险的处理方式，有利于降低视频服务器内存存储压力和计算量；设置在视频传输恢复后，直接将所述离线视频流传输，实现了视频流的继续传输而不是从头传输，大大提高了视频传输恢复后的视频传输效率，有利于减少视频传输内容的时延，帮助使用者节约客户端视频观看的时间成本、提高体验质量以及尽早及时的发现家居异常(例如小偷进入等)。

进一步地，所述步骤S10包括以下步骤：

S101：接收视频传输中断报警信号；

S102：确认视频传输是否中断，若中断，则注册视频传输中断前传输至客户端的最后一帧视频帧并以所述最后一帧视频帧为起始帧开始记录视频流；

S103：确认视频传输是否可恢复，若可恢复，则结束视频流的记录形成所述离线视频流。

进一步地，所述步骤S10包括以下步骤：

S111：接收视频传输中断报警信号；

S112：确认视频传输是否中断，若中断，则开始计时，并以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；

S113：在所述计时小于等于预设时间阈值的时间内，确认视频传输是否可恢复，若可恢复，则结束视频流的记录形成所述离线视频流；若不可恢复，则在所述计时大于预设时间阈值时，结束视频流的记录形成所述离线视频流。

进一步地，确认视频传输可恢复后还包括发送重启传输信号至视频服务器。

进一步地，通过检查客户端与视频服务器之间传输信道传输状态的方式确认视频传输是否中断以及确认视频传输是否可恢复。

一种监控系统中客户端实时视频流中断处理系统，包括：

响应记录模块，用于接收客户端发送的视频传输中断报警信号，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流；

传输模块，用于视频传输恢复后，传输所述离线视频流。

进一步地，所述响应记录模块包括：

接收单元，用于接收客户端发送的视频传输中断报警信号；

中断确认单元，用于确认视频传输是否中断；

恢复确认单元，用于确认视频传输是否可恢复；

记录单元，用于所述中断确认单元确认视频传输中断时，注册视频传输中断前传输至客户端的最后一帧视频帧并以所述最后一帧视频帧为起始帧开始记录视频流；所述恢复确认单元确认视频传输可恢复时，结束视频流的记录形成所述离线视频流。

进一步地，所述响应记录模块包括：

接收单元，用于接收客户端发送的视频传输中断报警信号；

中断确认单元，用于所述接收单元接收到视频传输中断报警信号后确认视频传输是否中断；

计时单元，用于在所述中断确认单元确认视频传输中断后开始计时；

恢复确认单元，用于在所述计时单元计时时间小于等于预设时间阈值的时间内，确认视频传输是否可恢复；

记录单元，用于所述中断确认单元确认视频传输中断时，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；以及所述恢复确认单元确认视频传输可恢复时或所述计时单元计时时间大于预设时间阈值时，结束视频流的记录形成所述离线视频流。

进一步地，所述响应记录模块还包括发送单元，用于在所述恢复确认单元确认视频传输可恢复后发送重启传输信号至视频服务器。

一种监控系统，包括传感器，报警处理器，摄像机，视频服务器以及客户端，还包括传输代理和记录代理；

所述传感器用于发送感测数据至所述报警处理器；

所述报警处理器处理分析所述感测数据，判断是否启动所述摄像机工作和是否向客户端发送即时消息或电子邮件；

所述摄像机用于拍摄视频并将所述视频储存入所述视频服务器；

所述客户端用于利用所述即时消息或电子邮件向所述视频服务器获取视频；

所述传输代理包括：

接收单元，用于接收所述客户端发送的视频传输中断报警信号；

中断确认单元，用于所述接收单元接收到视频传输中断报警信号后确认视频传输是否中断；

计时单元，用于在所述中断确认单元确认视频传输中断后开始计时；

恢复确认单元，用于在所述计时单元计时时间小于等于预设时间阈值的时间内，确认视频传输是否可恢复；

发送单元，用于在所述恢复确认单元确认视频传输可恢复后发送重启传输信号至所述视频服务器；

所述记录代理包括：

记录单元，用于所述中断确认单元确认视频传输中断时，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；以及所述恢复确认单元确认视频传输可恢复时或所述计时单元计时时间大于预设时间阈值时，结束视频流的记录形成所述离线视频流。

采用上述技术方案后，本发明的有益效果是：

(1)通过以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流；实现实时视频流传输中断过程中产生的丢失数据的保存，有利于减少数据丢失；相比原始方法中采用保存多个不同比特率视频内容副本以便后续从头传输视频内容以及降低视频传输中断风险的处理方式，有利于降低视频服务器内存存储压力和计算量；

(2)通过设置在视频传输恢复后，直接将所述离线视频流传输，实现了视频传输恢复后视频流的继续传输而不是从头传输，快速的恢复到之前视频流的断点，大大提高了视频传输恢复后的视频传输效率，有利于减少视频传输内容对应现场实际发生内容的时延，使得视频仍然能够相对实时的发送到客户端，保障画面同步性，帮助使用者节约客户端视频观看的时间成本、提高体验质量以及尽早及时的发现家居等应用环境的异常；

(3)通过设置先确认视频传输是否中断,待确认中断后，再以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；有利于确保中断信息准确性，减少不必要的视频记录过程和内存占用；

(4)通过设置确认视频传输中断后，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流的同时也开始计时，以便在计时时间超过预设时间阈值时，不论视频传输是否可恢复，都结束视频流记录的这个过程，保障部分有价值视频流获取的同时避免视频流大量储存，有助于减轻内存压力，也有利于后续减少客户端播放所述离线视频流导致的时延；

(5)通过设置传输代理包括接收单元、中断确认单元、计时单元、恢复确认单元以及发送单元，记录代理包括纪录单元，有助于在不增加硬件配置成本的前提下，实现采用软件代理模式帮助不同客户终端和不同操作系统减轻实时视频流传输中断带来的不利影响。

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，附图如下：

图1为本发明实施例1提供的一种监控系统中客户端实时视频流中断处理方法流程图；

图2为本发明实施例2提供的一种监控系统中客户端实时视频流中断处理方法流程图；

图3为本发明实施例3提供的一种监控系统中客户端实时视频流中断处理方法流程图；

图4为本发明实施例4提供的一种监控系统中客户端实时视频流中断处理系统框图；

图5为本发明实施例4提供的一种监控系统中客户端实时视频流中断处理系统中响应记录模块框图；

图6为本发明实施例5提供的一种监控系统中客户端实时视频流中断处理系统框图；

图7为本发明实施例6提供的一种监控系统的传输代理和记录代理的工作序列图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

伴随着物联网(IoT)的兴起，出现了众多的智能项目；如智能汽车、智能家居、智慧城市等等，尤其是低成本无线传感器网络(WSNs)和嵌入式计算机的使用，使得智能家居中的廉价视频监控系统得以实现。互联网视频监控是一种实时服务，适用于各种不同的环境，如水下，智慧城市，以及周围环境，用以辅助生活。其中，智能家居视频监控的一个重要目的是协助主人远程管控确保家居安全。

现有的智能家居视频监控系统中，移动管理者(如家居主人)通过客户端的无线通信完成视频读取时通常会出现断断续续的服务中断的情况，当出现视频中断，如何以最短的时间恢复视频显得非常重要。对于视频采集、传输和处理，目前主流的方案之一就是自适应视频流算法的运用，一般地将自适应视频流算法区分为下面三类：(1)基于对传输速率的调节；(2)基于自适应视频缓冲器；(3)基于QoS(服务质量)参数的预测；上述三类处理办法都有各自的优缺点，但没有一个能够解决视频传输中断视频会话关闭，客户端重启视频会话时必须从头开始下载视频的问题。

也有的视频监控系统中通过在微处理器和可编程逻辑器件等平台上，实现H.264(一种的活动图象和声音的压缩标准)等视频压缩算法对视频进行压缩，把压缩后的数据进行传输、接收、解码回放。这种方案涉及到视频采集、视频数据传输和视频处理中的同步检测处理问题，传统的方法都是在微处理器中对接收到的视频数据进行实时同步检测，以判断是否同步。该方法一是占用了大量的微处理器资源，二是计算量大增加的远程视频监控系统的处理时延，不利于系统实时性要求，而采取改进的办法通常是更换微处理器来对硬件进行升级，同时进行代码平台移植，以高性能的硬件平台来换取架构的不足，这无疑增加了人力成本和硬件成本。

为了解决上述存在的视频传输中断带来的不利影响，本发明提出一种能够帮助实时视频流中断恢复过程减少数据丢失，减小内存压力，降低计算量，提高视频传输恢复后传输效率，且不增加硬件成本的客户端实时视频流中断处理方法及系统、监控系统。

实施例1

本实施例提供一种监控系统中客户端实时视频流中断处理方法，如图1所示，包括以下步骤：

S10：接收视频传输中断报警信号，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流；

本实施例的方法应用于互联网视频监控中，例如智能家居安防视频监控系统中，该监控系统中客户端实时视频流的获取是通过点击即时消息或电子邮件文本中包含的一个链接(包含相应视频服务器的互联网协议地址)来实现，如果客户端在刚收到即时消息或电子邮件时立马接收视频，则视频将实时传送。若视频服务器完成该视频录制，客户端也可以在需要时启动视频流会话按需获取视频流。

然而实际运用中，客户端与视频服务器视频传输过程由于众多原因会出现断断续续的视频传输中断的情况，特别是，实时视频流传输过程中，若不能相对同步及时的查看视频，容易造成有价值视频内容查看不及时，导致相应的财产损失，例如不能第一时间发现小偷入侵，产生的经济损失。

一般情况下，客户端视频传输中断后，为了告知视频服务器等相关处理模块客户端视频传输中断，相应客户端会发送视频传输中断报警信号，故本步骤基于上述技术基础，直接设置一响应记录模块接收客户端的视频传输中断报警信号，并在接收报警信号后从视频传输中断前传输至客户端的最后一组预设帧数的视频帧(没有被客户端播放的一组视频帧)开始记录视频流直至确认视频传输可恢复时结束视频流记录形成离线视频流；其中，优选预设帧数为一帧，即获取视频传输中断前传输至客户端的最后一帧视频帧，并以此为离线视频流的起始帧开始记录后续的视频，待后期查看传输通道传输状态，判断视频传输可恢复时结束视频流记录形成离线视频流；具体地，视频传输中断前传输至客户端的最后一帧视频帧可由客户端记录并随视频传输中断报警信号一起向响应记录模块发送的方式简单快速准确的获取；

通过本步骤的设置，能够帮助保存视频传输中断后恢复前产生的视频流，避免实时视频内容缺失导致的有价值信息丢失现象，以便传输恢复后快速的响应恢复，实现实时视频流的快速传输，且此过程不涉及大量的计算，也更进一步地减少了视频服务器处理延时；相比原始方法中采用保存多个不同比特率视频内容副本以便后续从头传输视频内容以及降低视频传输中断风险的处理方式，也不会增加内存压力。

S20：视频传输恢复后，传输所述离线视频流。

本步骤中，视频传输恢复后指的是客户端与视频服务器之间可再次进行视频传输时，传输模块首先传输所述离线视频流至客户端供客户端播放，然后再进行视频传输恢复后的新视频流的播放；本步骤实现了视频传输恢复后视频流的继续传输而不是从头传输，可快速的恢复到之前视频流的断点，大大提高了视频传输恢复后的视频传输效率，有利于减少视频传输内容对应现场实际发生内容的时延，使得视频仍然能够相对实时的发送到客户端，保障画面同步性；

相比现有方法中仅能重启视频会话，从头下载视频流的方式，有利于帮助使用者节约客户端视频观看的时间成本、提高体验质量以及尽早及时的发现家居等应用环境的异常(例如小偷入侵)。

实施例2

如图2所示，本实施例与之前实施例的区别在于，本实施例提供一种更加详细的监控系统中客户端实时视频流中断处理方法，所述步骤S10包括以下步骤：

S101：接收视频传输中断报警信号；

S102：确认视频传输是否中断，若中断，则注册视频传输中断前传输至客户端的最后一帧视频帧并以所述最后一帧视频帧为起始帧开始记录视频流；

S103：确认视频传输是否可恢复，若可恢复，则结束视频流的记录形成所述离线视频流。

本实施例中，接收客户端发送的视频传输中断报警信号后，并不是第一时间就开始离线视频流的形成过程，而是先确认客户端发送的视频传输中断报警信号是否为准确报警，即首先向视频服务器确认确实出现了中断，然后注册视频传输中断前传输至客户端的最后一帧视频帧并以所述最后一帧视频帧为起始帧开始记录视频流；其中注册视频传输中断前传输至客户端的最后一帧视频帧的方式可以是向客户端请求获得也可以是由视频服务器处理获得；上述过程有利于确保中断信息的准确性，减少不必要的视频记录过程和内存占用；

视频流记录开始后，实时或定时确认客户端与视频服务器之间的传输信道是否空闲是否可重新建立通信，即为确认视频传输是否可恢复，一旦查看到视频传输可恢复，则停止视频流记录过程。

实施例3

如图3所示，本实施例与实施例2的区别在于，本实施例提供一种监控系统中客户端实时视频流中断处理方法，有助于进一步减轻内存压力，减少传输时延；

所述步骤S10包括以下步骤：

S111：接收视频传输中断报警信号；

S112：确认视频传输是否中断，若中断，则开始计时，并以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；

S113：在所述计时小于等于预设时间阈值的时间内，确认视频传输是否可恢复，若可恢复，则结束视频流的记录形成所述离线视频流；若不可恢复，则在所述计时大于预设时间阈值时，结束视频流的记录形成所述离线视频流。

与实施例2相比，本实施例增加了计时步骤，确认视频传输中断开始记录视频流的同时开始计时，也就是相当于记录中断的时长；视频流记录开始后，也并不是永久性的执行实时或定时确认客户端与视频服务器之间的传输信道是否空闲是否可重新建立通信直至视频传输可恢复，而是仅在该计时时长即视频传输中断时长小于等于预设时间阈值(例如10分钟，足够监控小偷入侵前期的视频画面)的时间内执行，然后在视频传输可恢复和计时时长大于预设时间阈值两个条件中，满足任一一项时，即刻结束视频流的记录形成所述离线视频流。

由上可知，若预设时间阈值内，未出现视频传输可恢复的检测信息，则在计时时长超过预设时间阈值后，同样也结束视频流的记录，即最长仅保存预设时间阈值这段时间内对应的的离线视频流，有利于把控离线视频流内存的使用，帮助减轻储存压力，也有利于后续加快离线视频流传输，减少客户端接收播放所述离线视频流导致的时延，使得视频仍然可以实时地发送给客户端；此外，设置该计时管控过程还有利于避免视频传输长期未恢复而连续重复进行视频传输是否可恢复确认导致的资源浪费，有利于节约经济成本。

优选地，通过检查客户端与视频服务器之间传输信道传输状态的方式确认视频传输是否中断以及确认视频传输是否可恢复。

确认视频传输可恢复后还包括发送重启传输信号至视频服务器。确认视频传输可恢复仅表示客户端与视频服务器之间传输信道空闲，可用于建立通信，实现视频传输，并不是客户端与视频服务器之间已经建立传输关系，因此需要发送单元先向视频服务器发送一个要求它重启与客户端之间的传输的重启传输信号，才能完成传输关系建立，视频传输恢复，后续就可通过建立的这段传输关系传输所述离线视频流。

综上，本实施例运用Web实时通信(WebRTC)框架，来实现Web浏览器系统之间实时视频流服务的恢复；能够支持Web浏览器和视频服务器之间的实时通信。有利于自发实现重连WebRTC(ARW)过程，也为进一步使用WebRTC的工具从WiFi信道获得QoS跟踪来较好的管理视频中断提供了前提条件。

实施例4

如图4所示，本实施例提供一种监控系统中客户端实时视频流中断处理系统，包括：

响应记录模块100，用于接收客户端发送的视频传输中断报警信号，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流；

传输模块200，用于视频传输恢复后，传输所述离线视频流。

进一步地，如图5所示，所述响应记录模块100包括：

接收单元110，用于接收客户端发送的视频传输中断报警信号；

中断确认单元120，用于确认视频传输是否中断；

恢复确认单元130，用于确认视频传输是否可恢复；

记录单元140，用于所述中断确认单元120确认视频传输中断时，注册视频传输中断前传输至客户端的最后一帧视频帧并以所述最后一帧视频帧为起始帧开始记录视频流；所述恢复确认单元确认视频传输可恢复时，结束视频流的记录形成所述离线视频流。

本实施例通过简单的方式保存下视频传输中断后客户端与视频服务器之间传输丢失的视频数据，待视频传输恢复，能够实现快速的响应，从中断前最后一帧视频开始继续传输，减少实时视频流的时延，能够避免从头下载视频导致的视频观看同步度低，有价值信息获取不及时，时间成本浪费等不利影响，且对硬件配置要求不高，不需要很大的计算量，储存压力也相对较小；相比现有方法中采用保存多个不同比特率视频内容副本以便后续从头传输视频内容以及降低视频传输中断风险的处理方式，更是进一步地降低了视频服务器内存存储压力和计算量。

实施例5

如图6所示，本实施例与实施例4的区别在于，本实施例提供一种监控系统中客户端实时视频流中断处理系统，所述响应记录模块100包括：

接收单元110，用于接收客户端发送的视频传输中断报警信号；

中断确认单元120，用于所述接收单元110接收到视频传输中断报警信号后确认视频传输是否中断；

计时单元150，用于在所述中断确认单元120确认视频传输中断后开始计时；

恢复确认单元130，用于在所述计时单元150计时时间小于等于预设时间阈值的时间内，自动自发的确认视频传输是否可恢复；

记录单元140，用于所述中断确认单元120确认视频传输中断时，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；以及所述恢复确认单元130确认视频传输可恢复时或所述计时单元150计时时间大于预设时间阈值时，结束视频流的记录形成所述离线视频流。

进一步地，所述响应记录模块100还包括发送单元160，用于在所述恢复确认单元130确认视频传输可恢复后发送重启传输信号至视频服务器。能够帮助实现自动重新建立传输关系，有利于提高视频传输恢复的响应速度。

本实施例除了具备实施例4中提到的效果外，还通过设置计时单元150和发送单元160进一步完善了视频传输恢复前的准备工作；其中，恢复确认单元130在所述计时单元150计时时间小于等于预设时间阈值的时间内，确认视频传输是否可恢复而不是随时随地长期的确认，有利于在预设时间阈值内提前结束离线视频流的形成，减少离线视频流长度，加快后续离线视频流传输，减少不必要资源浪费，使得本方案更加适用于实时视频流传输中断后的处理；发送单元160在恢复确认单元130确认视频传输可恢复后发送重启传输信号至视频服务器，告知服务器可以开始建立通信，实现了中断后视频传输的自动恢复，有效的保障离线视频较为实时的传输，同样具有使得本方案更加适合实时视频流传输保障。

实施例6

本实施例提供一种监控系统，包括传感器，报警处理器，摄像机，视频服务器以及客户端，还包括传输代理和记录代理；

所述传感器用于发送感测数据至所述报警处理器；传感器设置在家居环境中，例如可用于感知人员的入侵，当感测到这些数据时，就会向报警处理器发送；

所述报警处理器处理分析所述感测数据，判断是否启动所述摄像机工作和是否向客户端发送即时消息或电子邮件；具体地，报警处理器根据感测数据判断启动所述摄像机工作的同时会向客户端发送即时消息或电子邮件；从而确保客户端能够及时的获取有效情报，实现家居管理；

所述摄像机用于拍摄视频并将所述视频储存入所述视频服务器；

所述客户端用于利用所述即时消息或电子邮件向所述视频服务器获取视频；当客户端在刚收到即时消息或电子邮件，通过点击即时消息或电子邮件中的一个网络连接，即可与摄像机将视频存入视频服务器的过程同步，从视频服务器中获取实时的视频数据；

所述传输代理包括：

接收单元110，用于接收所述客户端发送的视频传输中断报警信号；

中断确认单元120，用于所述接收单元110接收到视频传输中断报警信号后确认视频传输是否中断；

计时单元150，用于在所述中断确认单元120确认视频传输中断后开始计时；

恢复确认单元130，用于在所述计时单元150计时时间小于等于预设时间阈值的时间内，确认视频传输是否可恢复；

发送单元160，用于在所述恢复确认单元130确认视频传输可恢复后发送重启传输信号至所述视频服务器；

所述记录代理包括：

记录单元140，用于所述中断确认单元120确认视频传输中断时，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；以及所述恢复确认单元130确认视频传输可恢复时或所述计时单元150计时时间大于预设时间阈值时，结束视频流的记录形成所述离线视频流。

此外，记录代理中还包括传输模块200，待所述视频服务器与客户端之间的传输回复后，向客户端发送离线视频流。

具体地，本实施例传输代理和记录代理的工作序列图参见图7。

本实施例中，将接收单元110、中断确认单元120、计时单元150、恢复确认单元130以及发送单元160集成于传输代理，将记录单元140设于记录代理独立区分开，有利于明确的、有序的分工视频中断后的恢复前准备，有利于中断后的自动重连，视频流传输的快速恢复，也方便后期故障排查；有利于使用WebRTC的工具从传输信道获得QoS跟踪来较好的管理视频中断，帮助实时视频流的高效恢复。综上，实现了软件代理模式的运用，在不增加视频服务器数据处理、信息交互过程，不增加额外硬件配置的基础上，就能很好的解决视频中断问题，保障视频流实时传输。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种监控系统中客户端实时视频流中断处理方法，其特征在于，包括以下步骤：

S10：接收视频传输中断报警信号，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流；

S20：视频传输恢复后，传输所述离线视频流。

2.根据权利要求1所述的一种监控系统中客户端实时视频流中断处理方法，其特征在于，所述步骤S10包括以下步骤：

S101：接收视频传输中断报警信号；

S102：确认视频传输是否中断，若中断，则注册视频传输中断前传输至客户端的最后一帧视频帧并以所述最后一帧视频帧为起始帧开始记录视频流；

S103：确认视频传输是否可恢复，若可恢复，则结束视频流的记录形成所述离线视频流。

3.根据权利要求1所述的一种监控系统中客户端实时视频流中断处理方法，其特征在于，所述步骤S10包括以下步骤：

S111：接收视频传输中断报警信号；

S112：确认视频传输是否中断，若中断，则开始计时，并以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；

S113：在所述计时小于等于预设时间阈值的时间内，确认视频传输是否可恢复，若可恢复，则结束视频流的记录形成所述离线视频流；若不可恢复，则在所述计时大于预设时间阈值时，结束视频流的记录形成所述离线视频流。

4.根据权利要求2或3所述的一种监控系统中客户端实时视频流中断处理方法，其特征在于，确认视频传输可恢复后还包括发送重启传输信号至视频服务器。

5.根据权利要求2或3所述的一种监控系统中客户端实时视频流中断处理方法，其特征在于，通过检查客户端与视频服务器之间传输信道传输状态的方式确认视频传输是否中断以及确认视频传输是否可恢复。

6.一种监控系统中客户端实时视频流中断处理系统，其特征在于，包括：

响应记录模块，用于接收客户端发送的视频传输中断报警信号，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧，以确认视频传输可恢复时的视频帧为结束帧，记录从所述起始帧到所述结束帧的视频流形成离线视频流；

传输模块，用于视频传输恢复后，传输所述离线视频流。

7.根据权利要求6所述的一种监控系统中客户端实时视频流中断处理系统，其特征在于，所述响应记录模块包括：

接收单元，用于接收客户端发送的视频传输中断报警信号；

中断确认单元，用于确认视频传输是否中断；

恢复确认单元，用于确认视频传输是否可恢复；

记录单元，用于所述中断确认单元确认视频传输中断时，注册视频传输中断前传输至客户端的最后一帧视频帧并以所述最后一帧视频帧为起始帧开始记录视频流；所述恢复确认单元确认视频传输可恢复时，结束视频流的记录形成所述离线视频流。

8.根据权利要求6所述的一种监控系统中客户端实时视频流中断处理系统，其特征在于，所述响应记录模块包括：

接收单元，用于接收客户端发送的视频传输中断报警信号；

中断确认单元，用于所述接收单元接收到视频传输中断报警信号后确认视频传输是否中断；

计时单元，用于在所述中断确认单元确认视频传输中断后开始计时；

恢复确认单元，用于在所述计时单元计时时间小于等于预设时间阈值的时间内，确认视频传输是否可恢复；

记录单元，用于所述中断确认单元确认视频传输中断时，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；以及所述恢复确认单元确认视频传输可恢复时或所述计时单元计时时间大于预设时间阈值时，结束视频流的记录形成所述离线视频流。

9.根据权利要求7或8所述的一种监控系统中客户端实时视频流中断处理系统，其特征在于，所述响应记录模块还包括发送单元，用于在所述恢复确认单元确认视频传输可恢复后发送重启传输信号至视频服务器。

10.一种监控系统，包括传感器，报警处理器，摄像机，视频服务器以及客户端，其特征在于，还包括传输代理和记录代理；

所述传感器用于发送感测数据至所述报警处理器；

所述报警处理器处理分析所述感测数据，判断是否启动所述摄像机工作和是否向客户端发送即时消息或电子邮件；

所述摄像机用于拍摄视频并将所述视频储存入所述视频服务器；

所述客户端用于利用所述即时消息或电子邮件向所述视频服务器获取视频；

所述传输代理包括：

接收单元，用于接收所述客户端发送的视频传输中断报警信号；

中断确认单元，用于所述接收单元接收到视频传输中断报警信号后确认视频传输是否中断；

计时单元，用于在所述中断确认单元确认视频传输中断后开始计时；

恢复确认单元，用于在所述计时单元计时时间小于等于预设时间阈值的时间内，确认视频传输是否可恢复；

发送单元，用于在所述恢复确认单元确认视频传输可恢复后发送重启传输信号至所述视频服务器；

所述记录代理包括：

记录单元，用于所述中断确认单元确认视频传输中断时，以视频传输中断前传输至客户端的最后一帧视频帧为起始帧开始记录视频流；以及所述恢复确认单元确认视频传输可恢复时或所述计时单元计时时间大于预设时间阈值时，结束视频流的记录形成所述离线视频流。