CN108366232A - 一种基于移动端虚拟现实技术的智能视频监控系统 - Google Patents

Abstract

本发明公开了一种基于虚拟现实技术的智能视频监控系统，属于视频监控技术领域和虚拟现实技术领域。本发明所述智能视频监控系统包括本地监控终端、流媒体服务器和远程监控终端；本地监控终端用于对全景监控视频进行采集和管理，同时实现智能监测与告警功能；流媒体服务器用于接收本地监控终端的视频，接受远程监控终端的调用；远程监控终端用于调用、解码全景监控视频，并且构建模型、进行渲染，实现利用虚拟现实设备进行监测。本发明不仅实现了对监控区域移动目标的智能检测和告警，还可以通过VR设备实现屏幕与监控视频的直接互动，并且本发明的本地监控终端和远程监控终端都采用Android设备，系统安装方便，实施成本较低。

Description

一种基于移动端虚拟现实技术的智能视频监控系统

技术领域

本发明涉及智能视频监控系统，特别涉及一种基于移动端虚拟现实技术的智能视频监控系统，属于视频监控技术领域和虚拟现实技术领域。

背景技术

虚拟现实技术(Virtual Reality Technology，简称VRT)，又称为计算机仿真技术，是一种高度逼真的模拟人在自然环境中视、听、动等行为的人机交互技术。虚拟现实技术的出现实际是计算机图形学、人机接口技术、传感器技术以及人工智能技术等交叉与综合的结果。该技术利用计算产生逼真的三维视觉、听觉、触觉甚至味觉等，使得用户利用适当的设备，如鼠标、键盘、屏幕、头盔、眼镜、立体声耳机、传感手套等，与虚拟世界的客体进行交互。虚拟现实技术的突出特征是“沉浸”和“交互”。

另一方面，随着社会的发展，人们的安防意识逐渐提高。视频监控系统因其内容直观、准确等优点被广泛应用于各种领域。但是，目前的监控系统只是停留在二维平面显示，要想实现三维空间的无死角监控，需要利用多个摄像头分别监控不同的角度，同时形成多个二维平面的监控画面。要想获得某一时刻某三维空间范围的全部监控信息，用户需要同时观察多个监控画面。不但容易遗漏信息，还容易由于视角的突变、画面的透视而产生观察偏差。除此以外，传统的视频监控系统只能记录监控画面，需要人工辨识画面内容，不能实现主动告警。

基于此，为了实现真实智能的监控，亟需提供一种基于虚拟现实技术的智能监控系统。

发明内容

本发明所要解决的技术问题是：为了提高现有视频监控系统的智能程度，改善现有视频监控系统的用户体验，提供一种基于移动端虚拟现实技术的智能视频监控系统。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种基于虚拟现实技术的智能视频监控系统，其特征在于：该系统包括本地监控终端、流媒体服务器和远程监控终端；

1)所述本地监控终端包括：

视频采集模块，用于采集监控视频，并存储到本地；

显示交互模块，用于显示视频采集模块采集到的视频，以及接受交互信息；

视频管理模块，用于接收管理指令，实现对本地监控视频的管理，所述管理指令包括存储、播放、删除；

智能监测模块，用于判断当前监控区域是否有移动目标闯入，如果有，则进行告警操作；

推流模块，用于将所述本地监控终端的监控视频转换成流媒体格式，并发送到所述流媒体服务器；

第一网络传输模块，用于在所述本地监控终端和所述流媒体服务器间建立会话；

2)所述流媒体服务器用于接收本地监控终端按流媒体协议传输的监控视频数据，并把监控视频数据分发给访问流媒体服务器的远程监控终端；

3)所述远程监控终端包括：

第二网络传输模块，用于访问所述流媒体服务器并获取监控视频；

视频解码模块，用于对所述监控视频进行解码；

渲染模块，用于建立全景视频的物体模型；将所述全景视频映射到物体模型上；设置所述全景视频的观察位置；

虚拟现实终端设备，用于显示由渲染模块输出的监控视频，监测用户行为信息，以及将所述用户行为信息传输给渲染模块和视频管理模块。

如前所述的一种基于虚拟现实技术的智能视频监控系统，进一步地，所述本地监控终端选用Android平板，所述视频采集模块采用全景摄像头。

如前所述的一种基于虚拟现实技术的智能视频监控系统，进一步地，所述流媒体服务器采用腾讯云服务器。

如前所述的一种基于虚拟现实技术的智能视频监控系统，进一步地，所述本地监测终端中，智能检测模块内判断当前监控区域是否有移动目标闯入的方法为帧差法；所述告警操作包括向所述远程监控终端发送告警邮件，所述告警邮件包含所述帧差法检测出的可疑帧。

如前所述的一种基于虚拟现实技术的智能视频监控系统，进一步地，所述本地监测终端中，网络传输模块实现数据传输的途径包括WiFi、3G和4G网络。

如前所述的一种基于虚拟现实技术的智能视频监控系统，进一步地，所述流媒体服务器采用的协议包括：流媒体传输协议RTP、RTCP与实时流控制协议RTSP。

如前所述的一种基于虚拟现实技术的智能视频监控系统，进一步地，所述虚拟现实终端设备包括：

全景显示屏，用于显示全景监控视频；

旋转矢量传感器，用于采集用户头部运动信息；

手势监测装置，用于采集用户手势缩放和手指滑动信息。

如前所述的一种基于虚拟现实技术的智能视频监控系统，进一步地，本地监控终端的视频管理模块接收的所述管理指令来自显示交互模块和手势监测装置。

如前所述的一种基于虚拟现实技术的智能视频监控系统，进一步地，所述渲染模块采用OpenGL ES进行工作，具体步骤包括：

(1)创建一个球体模型；

(2)将监控视频按帧转换成RGB格式，渲染到所述球体模型上；

(3)从所述手势监测装置获取用户手势信息，改变OpenGL ES变换矩阵的值，进而更新显示内容；

(4)从所述旋转矢量传感器获取用户头部运动信息，并转化为旋转矩阵，施加给OpenGL ES的摄像机，更新显示内容。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明所述的视频监控系统采用虚拟现实技术，可以使用户转变到第一视角，将现实周边环境与监控范围内的目标融合进同一屏幕，可以通过VR设备实现屏幕与监控视频的直接互动；

本发明利用帧差法实现了对监控区域移动目标的检测，同时当发现有目标闯入监控区域时通过邮件报警；

本发明本地监控终端和远程监控终端都为Android设备，该系统安装方便，成本低。

附图说明

图1是本发明的系统框图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

如图1所示，本发明所述基于移动端虚拟现实技术的智能视频监控系统包括本地监控终端、流媒体服务器和远程监控终端。

本实施例中，本地监控终端采用Android平板。为了达到虚拟现实的效果，给用户一种沉浸感，本发明采用全景摄像头对环境进行监控，采集360°全景监控视频，存储到本地。用户可通过操作Android平板的屏幕对本地监控视频实行管理，管理操作包括存储、播放、删除。另一方面，本地监控终端还有智能检测模块，利用帧差法判断当前监控区域是否有移动目标闯入，如果有，则向远程监控终端发送告警邮件。告警邮件包含所述帧差法检测出的2-3帧可疑帧。推流模块可以将所述本地监控终端的监控视频转换成流媒体格式，并发送到所述流媒体服务器。本实施例中采用的协议包括流媒体传输协议RTP、RTCP与实时流控制协议RTSP。网络传输模块用于在所述本地监控终端和所述流媒体服务器间建立会话，本实施例中采用WiFi、3G和4G网络。

流媒体服务器起中转作用，用于接收本地监控终端按流媒体协议传输的监控视频数据，并把监控视频数据分发给访问流媒体服务器的远程监控终端，实现用户远程实时观看监控视频。本实施例中，流媒体服务器选用腾讯云服务器。

远程监控终端首先通过访问指定的URL，从所述流媒体服务器上调取监控视频，然后进行解码。再对解码的视频进行渲染：首先建立全景视频的物体模型，再将所述全景视频映射到物体模型上，最后设置所述全景视频的观察位置。本实施例中，全景摄像头采集到的视频是三维的，为了正常播放全景视频选用OpenGL ES进行渲染。具体的步骤包括：

1)建立全景视频的物体模型；

2)将全景视频映射到物体模型上；

3)设置视频的观察位置。

远程监控终端还包括虚拟现实终端设备，用于显示由渲染模块输出的监控视频，同时监测佩戴者的动作并反映到所述全景监控视频的视野中。本实施例中，虚拟现实终端设备包括用来显示全景视频的全景显示屏，用来采集用户头部运动信息的旋转矢量传感器和用来采集用户手势缩放和手指滑动信息的手势监测装置。用户通过佩戴虚拟现实终端设备，可以得到全景视频身临其境的体验。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于虚拟现实技术的智能视频监控系统，其特征在于：该系统包括本地监控终端、流媒体服务器和远程监控终端；

1)所述本地监控终端包括：

视频采集模块，用于采集监控视频，并存储到本地；

显示交互模块，用于显示视频采集模块采集到的视频，以及接受交互信息；

视频管理模块，用于接收管理指令，实现对本地监控视频的管理，所述管理指令包括存储、播放、删除；

智能监测模块，用于判断当前监控区域是否有移动目标闯入，如果有，则进行告警操作；

推流模块，用于将所述本地监控终端的监控视频转换成流媒体格式，并发送到所述流媒体服务器；

第一网络传输模块，用于在所述本地监控终端和所述流媒体服务器间建立会话；

2)所述流媒体服务器用于接收本地监控终端按流媒体协议传输的监控视频数据，并把监控视频数据分发给访问流媒体服务器的远程监控终端；

3)所述远程监控终端包括：

第二网络传输模块，用于访问所述流媒体服务器并获取监控视频；

视频解码模块，用于对所述监控视频进行解码；

渲染模块，用于建立全景视频的物体模型；将所述全景视频映射到物体模型上；设置所述全景视频的观察位置；

虚拟现实终端设备，用于显示由渲染模块输出的监控视频，监测用户行为信息，以及将所述用户行为信息传输给渲染模块和视频管理模块。

2.根据权利要求1所述的一种基于虚拟现实技术的智能视频监控系统，其特征在于，所述本地监控终端选用Android平板，所述视频采集模块采用全景摄像头。

3.根据权利要求1所述的一种基于虚拟现实技术的智能视频监控系统，其特征在于，所述流媒体服务器采用腾讯云服务器。

4.根据权利要求1所述的一种基于虚拟现实技术的智能视频监控系统，其特征在于，所述本地监测终端中，智能检测模块内判断当前监控区域是否有移动目标闯入的方法为帧差法；所述告警操作包括向所述远程监控终端发送告警邮件，所述告警邮件包含所述帧差法检测出的可疑帧。

5.根据权利要求1所述的一种基于虚拟现实技术的智能视频监控系统，其特征在于，所述本地监测终端中，网络传输模块实现数据传输的途径包括WiFi、3G和4G网络。

6.根据权利要求1所述的一种基于虚拟现实技术的智能视频监控系统，其特征在于，所述流媒体服务器采用的协议包括：流媒体传输协议RTP、RTCP与实时流控制协议RTSP。

7.根据权利要求1所述的一种基于虚拟现实技术的智能视频监控系统，其特征在于，所述虚拟现实终端设备包括：

全景显示屏，用于显示全景监控视频；

旋转矢量传感器，用于采集用户头部运动信息；

手势监测装置，用于采集用户手势缩放和手指滑动信息。

8.根据权利要求1或7所述的一种基于虚拟现实技术的智能视频监控系统，其特征在于，本地监控终端的视频管理模块接收的所述管理指令来自显示交互模块和手势监测装置。

9.根据权利要求1或7所述的一种基于虚拟现实技术的智能视频监控系统，其特征在于，所述渲染模块采用OpenGL ES进行工作，具体步骤包括：

(1)创建一个球体模型；

(2)将监控视频按帧转换成RGB格式，渲染到所述球体模型上；

(3)从所述手势监测装置获取用户手势信息，改变OpenGL ES变换矩阵的值，进而更新显示内容；

(4)从所述旋转矢量传感器获取用户头部运动信息，并转化为旋转矩阵，施加给OpenGLES的摄像机，更新显示内容。