CN102158740A - 一种多媒体播放本地监控的方法 - Google Patents

Abstract

本发明涉及数字多媒体播放监控技术领域，提供了一种多媒体播放本地监控的方法，所述方法包括如下步骤：步骤S1，当播放终端接入到播控网络后，播放终端和监播服务器之间通过TCP协议建立心跳连接；步骤S2，在心跳周期内，播放终端和监播服务器互相传送播控信息和控制命令；步骤S3，监播服务器分类监控播放终端画面上的各个节目区域，监控文字和图片播出信息，实时显示在监播界面上。本发明解决了现有技术对多媒体播放进行监控时监播建设成本高、监播带宽占用高、不能实现实时抽样检测、不能对文字、图片、视频等分开监控的问题。

Description

一种多媒体播放本地监控的方法

技术领域

本发明涉及数字多媒体播放监控技术领域，特别是一种数字多媒体播放内容本地实时监控方法，实现对终端多种媒体的播放效果、播放状态的实时监控，精确同步智能监控多媒体终端的播放质量。

背景技术

随着国家三网融合的推进，以及数字媒体信息发布系统在分众广告播放、多媒体信息公告、企业电视台、远程培训、文化建设、形象宣传等诸多应用领域的广泛应用，越来越多的媒体使用者迫切需要了解通过数字媒体发布系统播放内容的效果和质量，监控播放终端是否按质量、按次数、按时间播放了信息。由于数字媒体播放终端有着点多、面广、距离远的分布特点，媒体使用者自身对其终端的管理非常困难。现有技术有以下几种典型解决方案：

(1)基于数字水印、音频、图像识别的广告监控方法

该方法针对原始视频进行了数字水印的添加，终端对视频进行校验，确保了视频源的防篡改，保证了视频播放的质量，能对电视广告信息进行监播，不能扩展到数字媒体终端上。资料来源：朱晓冬、王善辉、陈英，《基于数字水印的广告监控解决方案》，《计算机工程与应用》，2007年第18期；于立洋、刘胜辉，《基于图像识别技术的电视广告监播系统》，《黑龙江科技信息》，2007年3期；陈海东、葛姚，《基于语音识别的计算机广告自动监播系统》，《电脑开发与应用》，2007年4期。

(2)摄像头旁路监控方案

专利申请号为200820030490.X的发明专利，公开了一种广告灯牌监控报警系统，该发明通过在播放终端前安装监控摄像头，实时采集终端播放影像，监控终端播放效果。该发明相当于在数字媒体发布和管理平台外，增加了另外一套摄像视频采集监控系统，成本较高，不易于管理和维护。

(3)录像监播系统

该系统采用音视频采集卡获取音视频播出信号，以流媒体的方式将数据采集到数据库中，辅以结构化的查询方式对数据库进行查询，回放和再现播放内容。该方案属于非实时监播，管理节点集中，通过在中心节点录像监播，使用软件进行信息化管理。资料来源：王程，《南京电视台广告监播系统浅析》，《现代电视技术》，2005年第4期；徐晓东，《遵义电视台监播系统方案设计》，《现代电视技术》，2008年第4期。

(4)终端编码实时回传服务器方案

该方案在播放终端集成音视频编码器，将播放的信息实时压缩回传到监播服务器，在监播服务器上对各个终端内容进行管理。这种方式能够实时查看各个播放终端的播放内容，但终端播放器需要集成编码器，成本较高，同时，回传的视频如果保证了质量就会占用至少1M带宽，否则只能缩小视频牺牲视频质量。

现有技术存在以下问题：

1、监播的建设成本过高，重复建设。现有技术均需要在现有数字媒体发布播放系统的基础上增加硬件设备，如摄像头、音视频采集卡等，未能充分利用已有数字媒体信息发布系统本身的硬件设备。

2、监播的带宽占用过高。采用终端视频采集后，通过网络回传的方法会占用宝贵的下发播出带宽。

3、现有技术采用传统全程录播监控，不能实现实时抽样检测。监播的使用对象和监播的目的用途在当前已经发生变化，传统的监播手段和技术方案不适用于现有客户需求。传统中，监播主要用于广播、电视台等影视制作播出单位，监播的主要目的在于掌握节目播出情况以及风险防范责任分担，需要不间断的进行录像监播；而现在监播则大量应用于设备监控、广告投放质量分析、实时抽样检测等，采用传统方法造成大量资源的浪费。

4、过于侧重视频流整体的处理，对视频流中的各个组成部分，如视频、字幕、台标等不能识别和分开监控。

发明内容

本发明的目的在于解决上述技术问题，提供一种多媒体播放本地监控的方法，以解决现有技术对多媒体播放进行监控时监播建设成本高、监播带宽占用高、不能实现实时抽样检测、不能对文字、图片、视频等分开监控的问题。

为了解决上述技术问题，根据本发明提供的具体实施例，本发明公布了如下技术方案：

一种多媒体播放本地监控的方法，包括如下步骤：

步骤S1，当播放终端接入到播控网络后，播放终端和监播服务器之间通过TCP协议建立心跳连接；

步骤S2，在心跳周期内，播放终端和监播服务器互相传送播控信息和控制命令；

步骤S3，监播服务器分类监控播放终端画面上的各个节目区域，监控文字和图片播出信息，实时显示在监播界面上。

进一步的，上述步骤S2进一步包括：

步骤S201，当播放终端接入播控网络后，在心跳周期内，主动向监播服务器发送心跳信息，用于报告播放终端当前的状态，确认连接；

步骤S202，当监播服务器接收到心跳信息后，自动更新服务端存储的播放终端信息，并将其状态标识为active；

步骤S203，如果监播服务器连续2个周期没有收到心跳消息，则在服务器端将该终端标记为失去连接，并记录最后的心跳信息。

进一步的，上述心跳周期为60秒。

进一步的，上述心跳信息进一步包括播放终端状态信息、播放终端IP地址、当前播放素材的节目序号、播放素材的播放时刻、播放区域坐标、播放时长信息。

进一步的，上述播放终端信息进一步包括心跳时间信息、素材列表、节目列表、延时、播出任务、音量、播出状态、IP信息。

进一步的，当播放终端与监播服务器失去连接后，播放终端在心跳周期内向监播服务器发送一次心跳信息，重新建立连接。

进一步的，上述多媒体播放的本地监控方法进一步包括：

步骤S4，监播服务器通过向播放终端发送终端截屏指令，获取播放终端的视频信息。

进一步的，上述多媒体播放的本地监控方法进一步包括：

步骤S401，监播服务器向播放终端发送终端截屏命令；

步骤S402，播放终端收到截屏命令后，获取当前屏幕播放的信息，并压缩成jpg格式的图片；

步骤S403，播控终端查看当前播出任务是否有视频节目，如果有则获取视频节目的当前播放时间、视频区域坐标，长宽值；如果当前播出任务视频节目上面叠加一个或多个图片或字幕区，获取这一个或多个图片或字幕区与视频区的重合部分坐标值和长宽值，并将获取到的信息传到监播服务器。

进一步的，上述多媒体播放的本地监控方法进一步包括：

S404，当监播服务器接收到截屏信息后，如果检测到其中包含了视频播放内容，则根据截屏时刻，视频播放的时间到素材服务器上获取相应的视频帧图；同时，进一步检测该视频区域上是否叠加了文字、图片等区域，如果有叠加，则根据叠加区域信息，在截屏信息中计算出叠加重合的区域，保存在内存中或者保存成文件；然后先将视频帧图贴到播放终端截图上，再将叠加重合区域的图片贴上；如果没有叠加重合区域，则直接将视频帧图根据区域信息贴到截图上。

进一步的，上述多媒体播放的本地监控方法进一步包括：

监播服务器向播放终端发送建立连接命令，控制播放器和监播服务器之间各类参数的一致，保持同步；

监播服务器通过socket指令实现各个播放终端的播放、开机、关机、重启、休眠和唤醒。

与现有技术相比，本发明具有如下优点：

(1)本发明可以实现对文字、图片、视频分开监播，并有效减少播放终端CPU负载和对网络带宽的占用。基于本发明实现的数字多媒体播放本地监播系统，在已有数字媒体播控平台上，采用播放终端与监播服务器镜像和时钟同步的方法，将视频流中的音频、视频、文字、图片等播放内容分开监播，在带宽紧张的情况下，可只监播文字、图片等信息，也可通过截屏的方式监播屏幕播出的视频和画面效果；通过这种方式，最大限度的减少播放终端的CPU负载和网络带宽的占用，能够在本地通过浏览器同步实时查看各个终端播放的信息，并可使用视频截帧的方式，将图像等数据及时传输到监控数据库中。通过本发明，用户可以以较少的带宽、较快的传输速度、较小的终端CPU负载，监控到和播放终端界面较一致的画面。

(2)本发明通过Soket指令可以实现本地操作各个播放终端的播放、开机、关机、重启、休眠和唤醒；

(3)相对现有技术，本发明具有客户端移动性强、使用便利灵活，监控领域易扩大等特点。监播服务器借助网络心跳对播放终端进行监控管理控制，以监播服务器为控制中心，运用播出任务、文件列表、运行状态属性和参数的修改保存等，与配有网络IP的播放终端连通组合，通过当前节目信息、视频截帧和播放内容完成监播中心的实时有效监测控制与管理。

附图说明

图1本发明方法示意图

图2本发明监播服务器和终端之间的系统结构图；

图3终端视频截屏流程图

具体实施方式

为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

由于播控网络所在的广域网环境不稳定性，播控终端和服务器间无法确定连接的状态，所以当播放终端接入播控网络后，会和监播服务器之间使用TCP协议构建点对点通道，播放终端在心跳周期内(在优选的实施例中周期为一分钟，可定制)向监播管理服务器报告自己的信息，称之为心跳，心跳信息包括IP地址、当前播放素材、播放区域坐标、播放时长、时间标记等等，以检测终端和监播服务器双方在无会话状态下的网络连接情况，并判断是否发生系统错误和失去连接以做出适当的反应。本发明中每隔60s时间向服务器发送一个次数的心跳信息，如果服务器两分钟没有接受到心跳信息，服务器就认为该广角视频播放器失去联系。

如图1所示，当播控终端接入到播控网络中后，会以60秒为一个周期，主动向监播服务器发送一个心跳数据包，用于报告播控终端当前的状态，确认连接。监播服务器接收到心跳报告后，会自动更新服务端存储的播放终端信息，包括心跳时间、素材列表、节目列表、延时、播出任务、音量、播出状态、IP信息，并将其状态标识为active；如果监播服务器连续2个周期，也就是2分钟，没有收到心跳消息，则在服务器端将该终端标记为失去连接，并记录最后的心跳连接时间。

在心跳连接正常的时间内，监播服务器会显示正在监播的终端画面上的文字、图片信息，包括位置、区域大小等。

监播服务器不但可以周期获取终端播放器的状态，还可以通过该连接，向终端播放器下发命令，要求建立一个命令连接，通过该连接，可以控制播放器和监播服务器之间各类参数的一致，保持同步。

监播服务器还可以通过socket指令实现各个播放终端的播放、开机、关机、重启、休眠和唤醒。

如果管理员想了解终端画面上正在播放的视频信息，则需要下发给终端截屏指令，如图3所示。播放终端接收到截屏指令后，会执行如图2所示的顺序流程：

播放终端得到监播服务器发送的截屏请求后，播控终端将当前屏幕播放的信息获取并压缩成jpg格式的图片，同时，播控终端查看当前播出任务是否有视频节目，有则获取视频节目的当前播放时间和视频区域坐标，长宽值；如果当前播出任务视频节目上面叠加一个或多个图片或字幕区，获取这一个或多个图片或字幕区与视频区的重合部分坐标值和长宽值，并将获取到的信息传到服务器。

当监播服务器接收到截屏信息后，如果其中包含播放的视频信息，则根据视频播放时间到素材服务器上获取相应视频的截图；如果重合区域信息存在，则先根据重合区域信息从截屏图片中抠出重合区域图片，保存在内存中或者保存成文件，根据视频区域信息将视频截图贴到截图上之后，再将重合区域图片原位置贴回到截图上；如果重合区域不存在，直接将视频截图根据区域信息贴到截图上，该区域信息结构如下：

区域信息结构定义如下：

filename 本区域正在播放的视频文件名

videotime本区域正在播放的视频时间节点

rects[0] 本区域视频坐标信息

rects    本区域与其他区域重合的区域位置坐标信息

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种多媒体播放本地监控的方法，其特征在于，所述方法包括如下步骤：

步骤S1，当播放终端接入到播控网络后，播放终端和监播服务器之间通过TCP协议建立心跳连接；

步骤S2，在心跳周期内，播放终端和监播服务器互相传送播控信息和控制命令；

步骤S3，监播服务器分类监控播放终端画面上的各个节目区域，监控文字和图片播出信息，实时显示在监播界面上。

2.根据权利要求1所述的多媒体播放本地监控的方法，其特征在于，所述步骤S2进一步包括：

步骤S201，当播放终端接入播控网络后，在心跳周期内，主动向监播服务器发送心跳信息，用于报告播放终端当前的状态，确认连接；

步骤S202，当监播服务器接收到心跳信息后，自动更新服务端存储的播放终端信息，并将其状态标识为active；

步骤S203，如果监播服务器连续2个周期没有收到心跳消息，则在服务器端将该终端标记为失去连接，并记录最后的心跳信息。

3.根据权利要求1或2所述的多媒体播放本地监控的方法，其特征在于，所述心跳周期为60秒。

4.根据权利要求2所述的多媒体播放本地监控的方法，其特征在于，所述心跳信息进一步包括播放终端状态信息、播放终端IP地址、当前播放素材的节目序号、播放素材的播放时刻、播放区域坐标、播放时长信息。

5.根据权利要求2所述的多媒体播放本地监控的方法，其特征在于，所述播放终端信息进一步包括心跳时间信息、素材列表、节目列表、延时、播出任务、音量、播出状态、IP信息。

6.根据权利要求2所述的多媒体播放本地监控的方法，其特征在于，当播放终端与监播服务器失去连接后，播放终端在心跳周期内向监播服务器发送一次心跳信息，重新建立连接。

7.根据权利要求1所述的多媒体播放本地监控的方法，其特征在于，所述方法进一步包括：

步骤S4，监播服务器通过向播放终端发送终端截屏指令，获取播放终端的视频信息。

8.根据权利要求7所述的多媒体播放本地监控的方法，其特征在于，所述方法进一步包括：

步骤S401，监播服务器向播放终端发送终端截屏命令；

步骤S402，播放终端收到截屏命令后，获取当前屏幕播放的信息，并压缩成jpg格式的图片；

步骤S403，播控终端查看当前播出任务是否有视频节目，如果有则获取视频节目的当前播放时间、视频区域坐标，长宽值；如果当前播出任务视频节目上面叠加一个或多个图片或字幕区，获取这一个或多个图片或字幕区与视频区的重合部分坐标值和长宽值，并将获取到的信息传到监播服务器。

9.根据权利要求7或8所述的多媒体播放本地监控的方法，其特征在于，所述方法进一步包括：

S404，当监播服务器接收到截屏信息后，如果检测到其中包含了视频播放内容，则根据截屏时刻，视频播放的时间到素材服务器上获取相应的视频帧图；同时，进一步检测该视频区域上是否叠加了文字、图片等区域，如果有叠加，则根据叠加区域信息，在截屏信息中计算出叠加重合的区域，保存在内存中或者保存成文件；然后先将视频帧图贴到播放终端截图上，再将叠加重合区域的图片贴上；如果没有叠加重合区域，则直接将视频帧图根据区域信息贴到截图上。

10.根据权利要求1所述的多媒体播放本地监控的方法，其特征在于，所述方法进一步包括：

监播服务器向播放终端发送建立连接命令，控制播放器和监播服务器之间各类参数的一致，保持同步；

监播服务器通过socket指令实现各个播放终端的播放、开机、关机、重启、休眠和唤醒。

Images