CN102905111B - 用于远程实时视频监控的系统和方法 - Google Patents

Abstract

本发明涉及一种视频播放装置。该视频播放装置包括：用于将终端设备采集的编码视频数据解码的解码单元；用于将解码的视频数据在播放窗口渲染播放的播放单元；子窗口划分单元，将播放窗口划分为多个互不重叠的子窗口并将每一子窗口与云台的多个运动方向之一相关联；输入检测单元，用于检测来自输入装置的改变云台运动方向指令的输入，确定该指令位置所在的子窗口；以及运动控制单元，用于产生控制云台沿指令位置所在子窗口关联的方向运动的控制信号。根据本发明的视频播放装置和包括该视频播放装置的客户端可利用鼠标或键盘作为输入装置，通过改变光标在播放窗口中的位置并进行操作，对监控范围内各个监控区域进行实时监控，为用户提供良好的用户体验。

Description

用于远程实时视频监控的系统和方法

技术领域

本发明涉及图像处理领域，更具体地，本发明涉及一种实时视频监控的系统和方法。

背景技术

目前图像和视频监控技术普遍应用在各种领域中。终端设备通过图像采集装置对某一监控点进行图像的采集，并将采集的图像数据经压缩后实时传输到中心端服务器上进行存储和实时播放，可以对该监控点进行实时监控。进一步，通过实时地控制云台的运动，改变监控点即图像采集装置的图像采集区域，可以对该终端设备监控区域内的各监控点进行实时监控。当需要查询某一时间段或某一监控点的图像资料时，可以把中心端服务器上存储的历史数据进行回放。

目前，对云台运动的控制一般通过设置在客户端设备表面的多个功能按钮或设置在客户端显示界面上的功能键图标实现。当点击按钮或按钮图标时，发送云台控制指令。设置在设备表面的各种功能按钮的通常占据一些设备面积，使得显示屏在设备表面所占比例较小。设置在显示界面内的各种功能键图标同样占用了显示器的面积，减少了图像显示单元的的有效面积。这两种提供功能控制按键的方式图像播放窗口较小，不方便观看，不能提供良好的用户体验。此外，因为都需要通过触摸设备表面实现控制，现有的客户端在操作上不人性化。

现有技术客户端控制方法中，简单地通过方向键实现云台方向控制，通过缩放键实现图像采集缩放控制，均不能准确控制云台的运动和控制图像采集的缩放，因而不能获得高质量的监控图像。

因而需要提供一种便于操作的能够实时获得监控区域范围内各个监控区域图像的装置和方法

发明内容

按照本发明的一个方面，提供一种视频播放装置，该视频播放装置包括：

解码单元，用于将终端设备采集的编码视频数据进行解码，

播放单元，用于将解码的视频数据在播放窗口渲染播放；

子窗口划分单元，将所述播放窗口划分为多个互不重叠的子窗口并将每一子窗口与云台的多个运动方向之一相关联；

输入检测单元，用于检测来自输入装置的改变云台运动方向指令的输入，并确定该指令位置所在的子窗口；以及

运动控制单元，用于产生控制云台沿指令位置所在子窗口关联的方向运动的控制信号。

优选地，所述子窗口划分单元将所述播放窗口划分为3×3个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、上、右上、左、右、左下、下和右下8个运动方向以及停止。

优选地，所述子窗口划分单元将所述播放窗口划分为5个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、右上、左下、右下4个运动方向以及停止。

优选地，所述输入检测单元进一步用于检测所述输入装置的类型，所述运动控制单元基于检测到的输入装置类型，产生控制云台沿指令位置所在子窗口关联的方向以多种预定速度之一运动的控制信号。

优选地，所述输入检测单元进一步用于检测来自输入装置的缩放指令输入，

所述运动控制单元基于检测到的缩放指令，产生缩小或放大图像采集区域的控制信号。

根据本发明的另一方面，提供一种用于实时视频监控的客户端，该客户端包括，

收发装置，用于通过网络接收终端设备采集的编码视频数据并向终端设备发送控制信号；

至少一种输入装置；和

视频播放装置，

其特征在于，该视频播放装置包括：

解码单元，用于将所述编码视频数据进行解码，

播放单元，用于将解码的视频数据在播放窗口渲染播放；

子窗口划分单元，将所述播放窗口划分为多个互不重叠的子窗口并将每一子窗口与云台的多个运动方向之一相关联；

输入检测单元，用于检测来自输入装置的改变云台运动方向指令的输入，并确定该指令位置所在的子窗口；以及

运动控制单元，用于产生控制云台沿指令位置所在子窗口关联的方向运动的控制信号。

优选地，所述子窗口划分单元将所述播放窗口划分为3×3个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、上、右上、左、右、左下、下和右下8个运动方向以及停止。

优选地，所述子窗口划分单元将所述播放窗口划分为5个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、右上、左下、右下4个运动方向以及停止。

优选地，所述至少一种输入装置包括多种输入装置，

所述输入检测单元进一步用于检测所述输入装置的类型，

所述运动控制单元基于检测到的输入装置类型，产生控制云台以多种预定速度之一运动的控制信号。

优选地，所述输入检测单元进一步用于检测来自输入装置的缩放指令输入，所述运动控制单元基于检测到的缩放指令，产生缩小或放大图像采集区域的控制信号。

优选地，所述输入装置是鼠标、键盘和触摸屏中的一种或多种。

根据本发明的再一方面，提供一种用于实时视频监控的系统，该系统包括通过网络连接的客户端和终端设备，

该客户端包括：

用于通过网络接收终端设备采集的编码视频数据并向终端设备发送控制信号的收发装置，

至少一个输入装置和

视频播放装置，

其特征在于，该视频播放装置包括：

解码单元，用于将接收的编码视频数据进行解码，

播放单元，用于将解码的视频数据在播放窗口渲染播放；

子窗口划分单元，将所述播放窗口划分为多个互不重叠的子窗口并将每一子窗口与云台的多个运动方向之一相关联；

输入检测单元，用于检测来自输入装置的改变云台运动方向指令的输入，并确定该指令位置所在的子窗口；以及

运动控制单元，用于产生控制云台沿所述指令位置所在子窗口关联的方向运动的控制信号。

根据本发明的再一方面，提供一种用于客户端实时视频监控的方法，该客户端的播放窗口被划分为多个互不重叠的子窗口且每一子窗口与云台的多个不同运动方向之一相关联，

其特征在于，该方法包括以下步骤：

将来自终端设备的数字视频数据在播放窗口实时渲染播放；

检测改变云台运动方向指令的输入并确定该指令位置所在的子窗口；以及

响应所述改变云台运动方向指令的输入，产生控制云台沿所述指令位置所在子窗口关联的方向运动的控制信号，

将所述控制信号发送至终端设备。

优选地，该客户端的播放窗口被划分为3×3个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、上、右上、左、右、左下、下和右下8个运动方向以及停止。

优选地，该客户端的播放窗口被划分为5个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、右上、左下、右下4个运动方向以及停止。

优选地，该方法进一步包括：

检测输入装置的类型，

基于检测到的输入装置类型，产生控制云台沿指令位置所在子窗口关联的方向以多种预定速度之一运动的控制信号。

优选地，所述输入装置包括鼠标，键盘或触摸屏中的一种或多种。

优选地，该方法进一步包括，

检测缩放指令的输入，和

响应检测到的缩放指令，产生缩小或放大图像采集区域的控制信号。

根据本发明的实时视频监控系统，在客户端显示屏幕上只出现视频播放窗口，视频图像占据整个显示屏幕，实现了显示屏幕有效利用并具有良好的视觉效果。在需要改变终端设备的监控区域时，利用鼠标或键盘作为输入装置，将通过改变光标在播放窗口中的位置并进行操作，可对监控范围内各个监控区域进行实时监控，为用户提供良好的用户体验。

根据本发明的优选实施例，通过利用鼠标按键实时改变监控区域，利用鼠标滚轮对感兴趣区域进行缩放，可在播放窗口实时呈现感兴趣的监控区域的图像。通过对鼠标和键盘输入分别设定不同的云台转动速度，例如键盘指令对应的转动速度低于鼠标指令对应的转动速度，当需要精确定位监控区域时，可通过键盘的按键来对监控区域进行微调，获得理想的监控和图像效果。该实施例满足大多数用户的输入习惯，为用户提供了人性化操控界面。

附图说明

图1示意性示出根据本发明的视频监控系统的框图；

图2示意性示出图1所示视频播放装置的框图；

图3示出根据本发明的划分的播放子窗口的一个实例。

图4示出根据本发明的划分的播放子窗口的另一个实例。

图5示出根据本发明的一种实时视频监控方法的流程图。

图6示出根据本发明的另一种实时视频监控方法的流程图。

具体实施方式

下面将参照附图并结合优选实施例对本发明进行详细的说明。

图1示意性示出根据本发明的实时视频监控系统100的结构框图。该系统100包括客户端110和终端设备120。终端设备120包括云台和图像采集装置，用于根据来自客户端的控制信号，控制云台的运动并控制图像采集装置采集视频图像，得到原始视频数据。终端设备可例如按照H264标准对采集的原始视频数据进行编码压缩并将编码压缩的视频数据通过网络发送至客户端。客户端110包括收发装置111、输入装置112和视频播放装置113。收发装置111可通过网络与终端设备建立连接，也可通过中心端服务器与终端设备连接，用于向终端设备发送各种控制信号，接收来自终端设备的编码压缩视频数据。输入装置112用于通过事件的发生向视频播放单元输入指令。视频播放装置113包括解码单元210，播放单元220，子窗口划分单元230，输入检测单元240和运动控制单元250。解码单元210将接收的压缩编码视频数据进行解码。播放单元220将解码的视频数据在播放窗口渲染播放。子窗口划分单元230将所述播放窗口划分为多个互不重叠的子窗口并将每一子窗口与云台的多个不同运动方向之一相关联。

图3示出根据本发明的播放窗口被划分为多个子窗口的一个实例。在该实例中，播放窗口被划分为互不重叠的5个子窗口。根据子窗口在播放窗口中的相对位置，中间位置的子窗口对应于云台静止，保持原位置不变，其他4个子窗口分别与云台的左上、右上、左下和右下四个运动方向相对应。

图4示出根据本发明的播放窗口被划分为多个子窗口的另一个实例。在该实例中，播放窗口被划分为互不重叠的9个子窗口。根据子窗口在播放窗口中的相对位置，中间位置的子窗口对应于云台静止，保持原位置不变，其他8个子窗口分别与云台的上、下、左、右、左上、右上、左下和右下八个运动方向相对应。输入检测单元240检测输入装置事件的发生，分析得到用户指令。运动控制单元250响应检测到的输入装置事件，产生不同的控制信号改变图像监控区域。当输入检测单元检测到改变云台运动方向指令的输入时，需要确定该指令的输入在播放窗口中的位置，例如鼠标或键盘的光标在播放窗口中的位置，或触摸点在触摸屏播放窗口中的位置。运动控制单元响应该指令并根据检测到指令输入的位置所在子窗口输出控制云台以该子窗口所关联的方向运动的控制信号。当输入检测单元检测到缩放指令的输入时，运动控制单元响应该指令产生改变图像采集装置的焦距的控制信号以缩小或放大监控区域。优选地，可以有多种输入装置与视频播放装置连接。在这种情况下，在输入检测装置需要进一步检测输入装置的类型。运动控制单元根据检测到的输入装置类型，选择云台或图像采集装置以多种运动速度之一运动的控制信号，以通过不同的输入装置实现对云台或图像采集装置的粗调和微调。客户端的收发装置将来自视频播放装置的控制信号通过网络发送给终端设备。

用户通过客户端的至少一个输入装置112上的事件输入对云台或图像采集装置运动的控制指令。所述至少一个输入装置可以鼠标、键盘和触摸屏中的一种或多种。

优选地，该输入装置是鼠标，鼠标按键事件用于输入改变云台运动方向的指令。当需要控制云台运动时，通过鼠标点击播放窗口的不同区域输入改变监控区域的指令。例如利用鼠标在不同的子窗口中按下左键时，输入控制云台以预定速度改变运动方向的指令；当左键弹起时发送停止运动的指令。优选地，该鼠标的滚轮事件用于输入对显示图像进行缩放的指令。当鼠标向前滚轮时，发送图像放大指令；当鼠标向后滚轮时，发送图像缩小指令。

仅用一种输入装置通常不能既对云台运动方向以及图像采集区域的缩放进行快速粗调，又实现精确微调。优选地，通过连接多种输入装置来分别实现对云台和图像采集装置粗调和微调。优选地，输入装置可以是包括方向键和缩放键的键盘。方向键的按键事件用于输入改变云台运动方向的指令，缩放键的按键事件用于输入对显示图像进行缩放的指令。本领域技术人员可不同类型的输入装置设定云台和图像采集装置不同的运动速度。例如可以将对应于鼠标指令的运动速度设定为大于键盘指令的运动速度，以实现利用键盘对监控区域的微调。下面参照图5具体描述根据本发明的实时视频监控系统的实时监控方法。

当客户端需要对远程监控对象进行实时监控时，通过网络连接至终端设备。终端设备响应该连接，控制云台和图像采集装置实时采集监控对象的图像。采集的视频模拟信号由终端设备的模数转换器转换成视频数字信号，并被编码压缩，并按照一定的网络协议（例如TCP/IP、RTSP等）发送至客户端。客户端对数据进行解码，还原成视频进行播放。

客户端的收发装置接收来自终端设备的编码压缩视频数据并输出给视频播放装置。视频播放装置的解码单元对接收到的编码压缩视频数据进行解码。播放单元将解码后的视频数据绘制到播放窗口中进行渲染播放，步骤510。在根据本发明的方法中，客户端的播放窗口被划分为多个互不重叠的子窗口且每一子窗口根据其在播放窗口中的相对位置，与云台的多个不同运动方向之一相关联。通过将子窗口与云台的运动方向相关联，实现了将位于该子窗口内的视频图像与云台的运动方向的关联。用户通过在客户端显示屏幕即播放窗口中播放的视频图像对监控区域进行实时监控。当希望改变监控区域时，可利用鼠标点击对感兴趣的区域进行操作。输入检测单元检测改变云台运动方向指令的输入并确定该指令位置所在的子窗口，步骤520。运动控制单元根据输入位置所在子窗口产生控制云台以该子窗口关联的运动方向运动的控制信号，步骤530，并将该控制信号通过TCP/IP发送至终端设备，步骤540。终端设备将云台控制指令转换成云台识别的PELCO数据，通过RS485接口发送出去，实时控制云台的运动，改变图像采集装置的图像采集区域并采集图像。优选地，输入检测装置进一步检测来自输入装置的缩放指令。运动控制单元响应检测到的缩放指令产生缩小或放大图像采集区域的控制信号。优选地，当客户端有多个输入装置时，输入检测单元在检测来自输入装置的指令的同时，检测输入装置的类型。运动控制单元基于检测到的输入装置的类型，产生控制云台或图像采集装置的以多种预定运动速度之一运动的控制信号。如前所述，通过对在播放窗口实时播放的视频图像进行操作，可实现对监控区域的实时监控。

下面参照图6详细介绍客户端实时视频监控的方法一个实施例。

经解码的视频数据在客户端视频播放窗口上渲染播放，该视频播放窗口被均匀地划分为9个子窗口，各子窗口与云台运动方向的关联如图3所示。

当客户端的视频播放装置检测到鼠标事件时，例如当检测到鼠标在某一子窗口中被按下左键时，视频播放装置的输入检测单元确定该鼠标事件的位置所在的子窗口，运动控制单元产生控制云台按该子窗口对应的运动方向以第一预定速度运动的控制信号。当检测到左键弹起时，产生控制云台运动停止的控制信号。例如当检测到鼠标向前滚轮时，产生放大信号；当鼠标向后滚轮时，产生缩小信号。客户端的收发装置将产生的各种控制信号发送至终端设备。当客户端的视频播放装置检测到键盘事件时，例如检测到方向键被按下时，运动控制单元产生控制云台沿子窗口关联的方向以低于所述鼠标事件对应的第一预定速度的第二预定速度运动的控制信号，实现对云台的微调也即对改变监控区域方向的微调。将检索到缩放键被按下时，产生缩放图像的控制信号。当检测到按键弹起时，产生停止信号。同样，可将缩放键对应的图像采集装置变焦速度设置为低于鼠标事件对应的变焦速度，由此实现对监控图像缩放的微调。终端设备按照接收到的控制信号控制云台的运动以及图像采集装置采集视频图像。

由于云台控制指令的发送只是在检测到鼠标或者按键按下、弹起的事件才产生，对视频播放装置对客户端CPU的占用时间很短，不会影响视频播放的流畅性。

以上借助优选实施例对本发明进行了详细说明，但是本发明不限于此。本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (18)

1.一种视频播放装置，其特征在于，该视频播放装置包括：

解码单元，用于将终端设备采集的编码视频数据进行解码，

播放单元，用于将解码的视频数据在播放窗口渲染播放；

子窗口划分单元，将所述播放窗口划分为多个互不重叠的子窗口并将每一子窗口与云台的多个运动方向之一相关联；

输入检测单元，用于检测来自输入装置的改变云台运动方向指令的输入，并确定该指令位置所在的子窗口；以及

运动控制单元，用于响应所述指令的输入产生控制云台沿指令位置所在子窗口关联的方向运动的控制信号。

2.如权利要求1所述的视频播放装置，其特征在于，所述子窗口划分单元将所述播放窗口划分为3×3个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、上、右上、左、右、左下、下和右下8个运动方向以及停止。

3.如权利要求1所述的视频播放装置，其特征在于，所述子窗口划分单元将所述播放窗口划分为5个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、右上、左下、右下4个运动方向以及停止。

4.如权利要求1所述的视频播放装置，其特征在于，

所述输入检测单元进一步用于检测所述输入装置的类型，

所述运动控制单元基于检测到的输入装置类型，产生控制云台沿指令位置所在子窗口关联的方向以多种预定速度之一运动的控制信号。

5.如权利要求1所述的视频播放装置，其特征在于，

所述输入检测单元进一步用于检测来自输入装置的缩放指令输入，

所述运动控制单元基于检测到的缩放指令，产生缩小或放大图像采集区域的控制信号。

6.一种用于实时视频监控的客户端，该客户端包括，

收发装置，用于通过网络接收终端设备采集的编码视频数据并向终端设备发送控制信号；

至少一种输入装置；和

视频播放装置，

其特征在于，该视频播放装置包括：

解码单元，用于将所述编码视频数据进行解码，

播放单元，用于将解码的视频数据在播放窗口渲染播放；

子窗口划分单元，将所述播放窗口划分为多个互不重叠的子窗口并将每一子窗口与云台的多个运动方向之一相关联；

输入检测单元，用于检测来自输入装置的改变云台运动方向指令的输入，并确定该指令位置所在的子窗口；以及

运动控制单元，用于响应所述指令的输入产生控制云台沿指令位置所在子窗口关联的方向运动的控制信号。

7.如权利要求6所述的客户端，其特征在于，所述子窗口划分单元将所述播放窗口划分为3×3个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、上、右上、左、右、左下、下和右下8个运动方向以及停止。

8.如权利要求6所述的客户端，其特征在于，所述子窗口划分单元将所述播放窗口划分为5个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、右上、左下、右下4个运动方向以及停止。

9.如权利要求6所述的客户端，其特征在于，所述至少一种输入装置包括多种输入装置，

所述输入检测单元进一步用于检测所述输入装置的类型，

所述运动控制单元基于检测到的输入装置类型，产生控制云台以多种预定速度之一运动的控制信号。

10.如权利要求6所述的客户端，其特征在于，

所述输入检测单元进一步用于检测来自输入装置的缩放指令输入，

所述运动控制单元基于检测到的缩放指令，产生缩小或放大图像采集区域的控制信号。

11.如权利要求6所述的客户端，其特征在于，所述输入装置是鼠标、键盘和触摸屏中的一种或多种。

12.一种用于实时视频监控的系统，该系统包括通过网络连接的客户端和终端设备，

该客户端包括：

用于通过网络接收终端设备采集的编码视频数据并向终端设备发送控制信号的收发装置，

至少一个输入装置和

视频播放装置，

其特征在于，该视频播放装置包括：

解码单元，用于将接收的编码视频数据进行解码，

播放单元，用于将解码的视频数据在播放窗口渲染播放；

子窗口划分单元，将所述播放窗口划分为多个互不重叠的子窗口并将每一子窗口与云台的多个运动方向之一相关联；

输入检测单元，用于检测来自输入装置的改变云台运动方向指令的输入，并确定该指令位置所在的子窗口；以及

运动控制单元，用于响应所述指令的输入产生控制云台沿所述指令位置所在子窗口关联的方向运动的控制信号。

13.一种用于客户端实时视频监控的方法，该客户端的播放窗口被划分为多个互不重叠的子窗口且每一子窗口与云台的多个不同运动方向之一相关联，

其特征在于，该方法包括以下步骤：

将来自终端设备的数字视频数据在播放窗口实时渲染播放；

检测改变云台运动方向指令的输入并确定该指令位置所在的子窗口；以及

响应所述改变云台运动方向指令的输入，产生控制云台沿所述指令位置所在子窗口关联的方向运动的控制信号，

将所述控制信号发送至终端设备。

14.如权利要求13所述的用于实时视频监控的方法，其特征在于，该客户端的播放窗口被划分为3×3个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、上、右上、左、右、左下、下和右下8个运动方向以及停止。

15.如权利要求13所述的用于实时视频监控的方法，其特征在于，该客户端的播放窗口被划分为5个窗口，每个子窗口按照其在播放窗口中的相对位置分别关联云台的左上、右上、左下、右下4个运动方向以及停止。

16.如权利要求13所述的用于实时视频监控的方法，其特征在于，该方法进一步包括：

检测输入装置的类型，

基于检测到的输入装置类型，产生控制云台沿指令位置所在子窗口关联的方向以多种预定速度之一运动的控制信号。

17.如权利要求16所述的用于实时视频监控的方法，其特征在于，所述输入装置包括鼠标，键盘或触摸屏中的一种或多种。

18.如权利要求14所述的用于实时视频监控的方法，其特征在于，该方法进一步包括

检测缩放指令的输入，

响应检测到的缩放指令，产生缩小或放大图像采集区域的控制信号。