CN104363430A - 一种增强现实摄像机监控方法及其系统 - Google Patents

Abstract

本发明公开一种增强现实摄像机监控方法及其系统，所述方法包括通过摄像机获取监控区域的视频信息、摄像机的地理位置信息和摄像机的姿态信息；将视频信息、地理位置信息和姿态信息传输到增强现实管理终端，增强现实管理终端将地理位置信息和姿态信息进行图形化处理后叠加在实时画面上。本发明能够将地理位置信息和姿态信息进行图形化后叠加在实时视频画面上，使得用户对地理位置和监控摄像机姿态的感知更直观。

Description

一种增强现实摄像机监控方法及其系统

技术领域

本发明涉及安防工程的摄像机监控领域，特别涉及一种增强现实摄像机监控方法及其系统。

背景技术

监控摄像机的地理位置信息和姿态信息是组成监控信息的重要部分，因为当有违法犯罪或其它事故发生的时候，往往不仅仅需要知道监控区域的画面信息，还需要知道事故发生的具体方位。而现有监控摄像机虽然已经可以做到获取摄像机的地理位置信息，但是现有的摄像机内并没有集成获取监控方向的功能，大多是通过外部加装传感器来实现的；另外，相关传感器获取的数据都是直接叠加在视频画面上，无法被计算机使用，信息呈现形式枯燥单一，不够生动直观。

发明内容

本发明的目的在于克服现有技术的不足，提供一种增强现实摄像机监控方法。

本发明的另一目的在于克服现有技术的不足，提供一种增强现实摄像机监控系统。

为了实现第一个发明目的，采用的技术方案如下：

一种增强现实摄像机监控方法，所述方法包括：

通过摄像机获取监控区域的视频信息、摄相机的地理位置信息和摄像机的姿态信息；

将视频信息、地理位置信息和姿态信息传输到增强现实管理终端，增强现实管理终端将地理位置信息和姿态信息进行图形化处理后叠加在实时画面上。

使用本发明的增强现实监控方法不仅能获取监控区域的画面信息，还能获取监控摄像机的地理位置信息和姿态信息，将地理位置信息和姿态信息进行图形化处理后再叠加在实时画面上进行显示，使得用户对于地理位置信息和姿态信息的感知更为直观，改善了用户体验。

进一步的，所述地理位置信息和姿态信息先嵌入到由视频信息编码而成的视频流中，再传输到增强现实管理终端。 

进一步的，所述地理位置信息和姿态信息在嵌入到视频流前经过加密处理。

进一步的，所述加密采用base64编码加密处理。

一些视频编码标准中含有保留字，在码流中有特殊含义；同时一些应用的保密需要，应该对用户编码数据进行编码，使其限制在一个特定字符集中，故采用base64加密处理，起到保护作用，当修改base64的索引表，即可得到加密的功能，只有在编码和解码端使用相同索引表的情况下，才能正常解析内容。

进一步的，采用H.264对视频信息进行视频编码，使用辅助增强信息SEINal单元中的SEI消息承载地理位置信息和姿态信息；增强现实管理终端获取视频流并对视频流进行解码，解码过程中采用H.264进行所述视频解码获得视频信息，并从视频流中承载了地理位置信息和姿态信息的辅助增强信息SEINal单元的SEI消息中解析获得地理位置信息和姿态信息，解析后的地理位置信息和姿态信息经过图形化处理后叠加在视频画面上显示。

现有的一些定制化摄像机，外部加装了传感器，但是这些传感器数据需要通过专有网络协议传输和存储，无法做到和原有系统兼容和同步。但本发明中摄像机的地理位置信息和姿态信息是通过H.264视频编码标准中辅助增强信息SEINal单元的SEI消息嵌入到视频流中，并不改变现有编码标准码流结构。基于此，符合H.264视频编码标准的编码器厂商不需要做任何改变，只需将辅助增强信息SEINal单元的SEI消息一部分字段用来描述摄像机地理位置信息和姿态信息，在视频流中进行传送；符合H.264标准的解码器厂商也不需要做任何改变，只需将辅助增强信息SEINal单元的SEI消息对应的部分字段经过解码获取得到，并将其明确为摄像机的定位信息即可。并且本发明的图形叠加是在解码后进行的，数据被格式化传输和存储，可以被计算机利用。

另外，通过对H.265和SVAC标准码流结构的研究发现，本发明的一种增强现实监控方法还可以采用标准H.265或SVAC进行视频编码和解码，此时，则把地理位置信息和姿态信息嵌入到H.265或SVAC标准码流的辅助增强信息SEINal单元中的SEI消息，解码时从承载了地理位置信息和姿态信息的辅助增强信息SEINal单元的SEI消息中解析获得地理位置信息和姿态信息，解析后的地理位置信息和姿态信息经过图形化处理后叠加在视频画面上显示。

对于有获取监控区域音频信息要求的用户，本发明的一种增强现实监控方法还获取监控区域的音频信息，并把音频信息编码传送到管理终端进行解码播放。

本发明的有益效果：在传输时使用H.264标准码流的辅助增强信息SEINal单元的SEI消息承载地理位置信息和姿态信息使得所述的监控方法能直接应用于现有的符合H.264标准的摄像机和播放器，而无需针对地理位置信息和姿态信息在运营网络或媒体介质上增加新的承载结构，地理位置信息和姿态信息经过图形化处理后再叠加在实时视频画面上使得画面信息更为丰富，地理位置信息和姿态信息能直观的被人们感知，并且本发明的图形叠加是在解码后叠加的，数据被格式化传输和存储，可以被计算机利用。通过增强现实管理终端添加自己感兴趣的信息，实现了用户与画面之间的互动。

进一步的，本发明的监控方法还通过增强现实管理终端添加自定义标签信息。

为了实现另一个发明目的，采用的技术方案如下：

一种增强现实摄像机监控系统，包括摄像机和增强现实管理终端，所述摄像机设置有视频采集模块，所述摄像机还设置有地理位置信息采集模块、姿态信息获取模块和视频流处理模块，所述视频采集模块、地理位置信息采集模块和姿态信息获取模块分别与视频流处理模块电连接，所述增强现实管理终端与视频流处理模块电连接。

通过视频采集模块采集监控区域的视频信息，通过地理位置信息采集模块采集摄像机的地理位置信息，通过姿态获取模块获取摄像机的姿态信息，然后将地理位置信息、视频信息和姿态信息发送至视频流处理模块，将合成的视频流传送到增强现实管理终端。本发明所提供的系统不仅能采集监控区域的视频画面还能采集监控摄像机的地理位置信息和姿态信息，并传送到终端，终端对地理位置信息和姿态信息进行图形化处理后再叠加在实时画面上进行显示。

所述视频流处理模块具体采用H.264进行视频编码，在对所述视频信息进行视频编码时，使用H.264标准码流的辅助增强信息SEINal单元的SEI消息承载所述地理位置信息和姿态信息。

现有的一些定制化摄像机，外部加装了传感器，但是这些传感器数据需要通过专有网络协议传输和存储，无法做到和原有系统兼容和同步。而本发明中摄像机的地理位置信息和姿态信息是通过H.264视频编码标准中辅助增强信息SEINal单元的SEI消息嵌入到视频流中，并不改变现有编码标准码流结构。基于此，符合H.264视频编码标准的编码器厂商不需要做任何改变，只需将辅助增强信息SEINal单元的SEI消息一部分字段用来描述摄像机地理位置信息和姿态信息，在视频流中进行传送。

进一步的，所述地理位置信息采集模块为GPS定位模块或北斗定位模块，所述姿态信息获取模块为数字罗盘和加速度计。

进一步的，所述增强现实管理终端包括：

视频流获取模块，所述视频流获取模块与视频流处理模块电连接；

视频流解码模块，所述视频流解码模块与所述视频流获取模块信号电连接；

图形化处理模块，所述图形化处理模块用于对地理位置信息和姿态信息进行图形化处理，并与所述视频流解码模块电连接；

自定义标签添加模块，所述自定义标签添加模块用于添加自定义标签，并与图形化处理模块电连接。

通过视频流获取模块获取视频流处理模块传送的视频流信息并传送到视频流解码模块对视频流信息进行解码，在视频解码时采用H.264进行视频解码，从承载了地理位置信息和姿态信息的辅助增强信息SEINal单元的SEI消息中解析获得地理位置信息和姿态信息，并将地理位置信息和姿态信息传送到图形化处理模块对地理位置信息和姿态信息进行图形化处理，图形化处理后的地理位置信息和姿态信息叠加在实时视频画面上进行显示，并且本发明的图形叠加是在解码后进行的，数据被格式化传输和存储，可以被计算机利用。用户可以通过自定义标签添加模块在显示画面上添加自己感兴趣的信息，并送到图形化处理单元进行图形化处理后叠加在实时画面上进行显示，实现用户与画面的互动。 

通过对H.265和SVAC标准码流结构的研究发现，所述视频流处理模块还可以采用标准H.265或SVAC进行视频编码，此时，则把地理位置信息和姿态信息嵌入到标准H.265或SVAC标准码流的辅助增强信息SEINal单元中的SEI消息，相应的增强现实管理终端的视频流解码模块解码时采用标准H.265或SVAC进行视频解码，并从承载了地理位置信息和姿态信息的辅助增强信息SEINal单元的SEI消息中解析获得地理位置信息和姿态信息。

进一步的，所述摄像机还设有用于为地理位置信息和姿态信息加密的加密模块。 

本发明所涉及的系统通过加密模块为地理位置信息和姿态信息进行加密再嵌入到视频流中去，起到安全保护作用，所述加密模块对地理位置信息和姿态信息进行base64编码加密，修改base64的索引表，即可得到加密的功能，只有在编码和解码端使用相同索引表的情况下，才能正常解析内容。

对于有获取监控区域音频信息要求的用户，本发明所涉及的摄像机还可以设置音频采集设备和音频处理模块，所述增强现实管理终端还可以设置音频解码模块，所述音频处理模块与所述音频解码模块电连接。

对于有获取监控摄像机除地理位置信息和姿态信息以外的其它增强现实信息的用户，本发明所述的摄像机还可以设置相应的增强现实信息的获取模块。

本发明的有益效果：

1.监控摄像机内设有多种传感器，更智能，体积相对在外部设置传感器的摄像机更小，不仅能采集视频信息，也能采集摄像机的地理位置信息和姿态信息，采集到的地理位置信息和姿态信息不是直接显示在画面上，而是先经过图形化处理再叠加在视频画面上使得信息的显示更加直观。

2.使用H.264标准码流结构中的辅助增强信息SEINal单元的SEI消息承载摄像机的地理位置信息和姿态信息，不改变现有编码标准码流结构，使得符合H.264标准的编码器厂商和解码器厂商不需要做任何改变就可以播放增强现实视频。

3.具有加密保护功能。

附图说明

图1是本发明实施例的一种增强现实摄像机监控系统结构示意图。

图2为本发明实施例的H.264标准码流中NALU序列组成示意图。

图3为本发明实施例的NAL模块类型示意图。

图4为本发明实施例的辅助增强信息类型示意图。

图5为本发明实施例的辅助增强信息用户数据未注册语法定义示意图。

图6为本发明实施例的加入了SEI的NALU序列示意图。

图7为本发明实施例的辅助增强信息用户数据的SEI内部结构示意图。

图8是本发明实施例的效果图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述。

实施例1：

一种增强现实摄像机监控方法，所述方法包括：通过摄像机获取监控区域的视频信息、摄像机的地理位置信息和摄像机的姿态信息；将地理位置信息和姿态信息进行加密，加密可以采用base64编码加密；采用H.264进行视频编码，并把地理位置信息和姿态信息嵌入到H.264标准的辅助增强信息SEINal单元中的SEI消息与视频信息合成视频流再发送到管理终端，管理终端对视频流进行解码，从承载了地理位置信息和姿态信息的辅助增强信息SEINal单元的SEI消息中解析获得地理位置信息和姿态信息，并对地理位置信息和姿态信息进行图形化处理，图形化后的地理位置信息和姿态信息叠加在实时画面上进行显示，通过增强现实管理终端添加自己感兴趣的标签信息。 

如图2，H.264标准码流，由一系列NALU组成，而NAL头中对NALU的类型的定义如图3所示，可知nal_unit_type=6时，为辅助增强信息模块SEI_RBSP，辅助增强信息类型定义如图4，当有效负载类型（payload type）为5时，辅助增强信息（SEI）语法定义为用户数据未注册的语法定义，具体的用户数据未注册的语法定义如图5所示，最后加入了地理位置信息的SEI模块在H.264码流中的形态如图6所示。SEI单元的内部结构如图7所示，从图中可以看出SEI单元可在任意完整的NALU单元之间插入，可以是每个IDR帧前插入，也可以在某个P帧或B帧前插入。

本发明其实现系统如下：

如图1所示，一种增强现实摄像机监控系统，包括摄像机和增强现实管理终端，所述摄像机设置有视频采集模块，所述摄像机还设置有地理位置信息采集模块、姿态信息获取模块和视频流处理模块，所述视频采集模块、地理位置信息采集模块和姿态信息获取模块分别与视频流处理模块电连接，所述增强现实管理终端与视频流处理模块电连接。 

所述视频流处理模块具体采用H.264进行视频编码，在对所述视频信息进行视频编码时，使用辅助增强信息SEINal单元的SEI消息承载所述地理位置信息和姿态信息。

所述增强现实管理终端包括有：

视频流获取模块，所述视频流获取模块与视频流处理模块电连接；

视频流解码模块，所述视频流解码模块与所述视频流获取模块信号电连接；

图形化处理模块，所述图形化处理模块用于对地理位置信息和姿态信息进行图形化处理，并与所述视频流解码模块电连接；

自定义标签添加模块，所述自定义标签添加模块用于添加自定义标签，并与图形化处理模块电连接。

通过视频流获取模块获取视频流处理模块传送的视频流信息并传送到视频流解码模块对视频流信息进行解码，在视频解码时具体采用H.264进行视频解码，从承载了地理位置信息和姿态信息的辅助增强信息SEINal单元的SEI消息中解析获得地理位置信息和姿态信息，并将地理位置信息和姿态信息传送到图形化处理模块进行图形化处理，图形化处理后的地理位置信息和姿态信息叠加在实时视频画面上进行显示；用户可以通过自定义标签添加模块在显示画面上添加自己感兴趣的标签信息，并送到图形化处理单元进行图形化处理后叠加在实时画面上进行显示，实现用户与画面的互动。

如图8所示是本实施例的效果图，从图中可以看出地理位置信息和标签信息等是经过图形化处理后再实时叠加在视频画面上进行显示，使得用户能更直观的得到所处区域的信息，并且实现了用户与画面的互动。

实施例2：

本实施例与实施例1基本一致，唯一区别在于，所述摄像机还设有用于为地理位置信息和姿态信息加密的加密模块。 

Claims (10)

1.一种增强现实摄像机监控方法，其特征在于，所述方法包括：

通过摄像机获取监控区域的视频信息、摄像机的地理位置信息和摄像机的姿态信息；

将视频信息、地理位置信息和姿态信息传输到增强现实管理终端，增强现实管理终端将地理位置信息和姿态信息进行图形化处理后叠加在实时画面上。

2.根据权利要求1所述的一种增强现实摄像机监控方法，其特征在于，所述地理位置信息和姿态信息先嵌入到由视频信息编码而成的视频流中，再传输到增强现实管理终端。

3.根据权利要求2所述的一种增强现实摄像机监控方法，其特征在于，所述地理位置信息和姿态信息在嵌入到视频流前经过加密处理。

4.根据权利要求3所述的一种增强现实摄像机监控方法，其特征在于，所述加密处理采用base64编码加密处理。

5.根据权利要求2所述的一种增强现实摄像机监控方法，其特征在于，采用H.264对视频信息进行视频编码，使用辅助增强信息SEINal单元中的SEI消息承载地理位置信息和姿态信息；增强现实管理终端获取视频流并对视频流进行解码，解码过程中采用H.264进行所述视频解码获得视频信息，并从视频流中承载了地理位置信息和姿态信息的辅助增强信息SEINal单元的SEI消息中解析获得地理位置信息和姿态信息，解析后的地理位置信息和姿态信息经过图形化处理后叠加在视频画面上显示。

6.根据权利要求1所述的一种增强现实摄像机监控方法，其特征在于，还通过增强现实管理终端添加自定义标签信息。

7.一种增强现实摄像机监控系统，包括摄像机和增强现实管理终端，所述摄像机设置有视频采集模块，其特征在于，所述摄像机还设置有地理位置信息采集模块、姿态信息获取模块和视频流处理模块，所述视频采集模块、地理位置信息采集模块和姿态信息获取模块分别与视频流处理模块电连接，所述增强现实管理终端与视频流处理模块电连接。

8.根据权利要求7所述的一种增强现实摄像机监控系统，其特征在于，所述地理位置信息采集模块为GPS定位模块或北斗定位模块，所述姿态信息获取模块为数字罗盘和加速度计。

9.根据权利要求7所述的一种增强现实摄像机监控系统，其特征在于，所述增强现实管理终端包括有：

视频流获取模块，所述视频流获取模块与视频流处理模块电连接；

视频流解码模块，所述视频流解码模块与所述视频流获取模块电连接；

图形化处理模块，所述图形化处理模块用于对地理位置信息和姿态信息进行图形化处理，并与视频流解码模块电连接；

自定义标签添加模块，所述自定义标签添加模块用于添加自定义标签，并与图形化处理模块连接。

10.根据权利要求7所述的一种增强现实摄像机监控系统，其特征在于，所述摄像机还设有用于为地理位置信息和姿态信息加密的加密模块。