CN102768845B - 录像索引方法及系统 - Google Patents

Abstract

本发明公开了一种录像索引方法及系统。其中该方法包括：A、采集用户操作行为的屏幕录像文件及所述用户操作行为的操作日志；B、对所述屏幕录像文件和所述操作日志进行关联处理；C、根据关联的所述屏幕录像文件和所述操作日志建立所述用户操作行为的事件索引。本发明的录像索引方法及系统，通过将屏幕录像文件和操作日志进行关联处理，建立所述用户操作行为的事件索引，将用户操作行为产生的操作事件和屏幕录像内容关联起来，使得管理人员可以根据操作事件的分析结果，简单快速地在海量录像内容中进行检索定位，从而减少了录像文件的检索时间，提高了审计问题定性的效率。

Description

录像索引方法及系统

技术领域

本发明涉及一种视频处理技术，尤其涉及一种录像索引方法及系统。

背景技术

在IT审计管理中，对用户的各种操作行为进行全程录像是很重要的行为审计手段。但是，在IT审计管理的实践中，由于现有的录像功能仅仅对用户的操作行为进行完整的录像，没有结合操作事件在录像中置入标签以便检索相关操作事件的录像定位功能。

例如：在公开号为CN1905651A的中国发明专利申请中，公开了一种数字元内容播放器的屏幕捕捉方法，可在播放过程中对电影画面进行标记，并在电影播放结束后，透过加减操作前后移动标记信息选择想要的电影画面，然后将选择的画面捕捉并保存下来。

在公开号为CN1520561A的中国发明专利申请中，公开了一种用于对存储的视频内容中感兴趣的区域设置书签的方法，当观众观看视频内容并发现感兴趣的区域时，可以对视频内容的特定片段设置书签，可采用帧标识符从索引中选择所需的视频内容，然后从包含多个视频内容的媒体中检索出该视频内容。

另外，在《计算机应用》2006年第3期上刊载了《一种动态字符录像数据的关键字搜索算法》。该论文从Telnet协议的工作原理出发，分析了字符终端录像数据的录像及播放原理。根据录像数据的动态特性，提出了一种在字符录像数据动态播放的过程中，对字符录像数据进行关键字搜索的算法，并从字符串获取和字符串匹配算法的选取两方面对算法进行改进。通过时间测试证明了算法的正确性及实用性。

现有技术中，在进行全程录像后获得的数据内容较多，但录像内容不容易进行检索，因此在需要借助录像内容进行审计操作时，快速准确地检索出与某一特定操作事件相关联的录像内容是一项较难完成的工作。

发明内容

本发明的目的在于，提供一种录像索引方法及系统，使得管理人员能够简单快速地在海量录像内容中进行检索定位，减少录像检索时间，提高录像检索效率。

为实现上述目的，根据本发明的一个方面，提供一种录像索引方法，包括：

A、采集用户操作行为的屏幕录像文件及所述用户操作行为的操作日志；

B、对所述屏幕录像文件和所述操作日志进行关联处理；

C、根据关联的所述屏幕录像文件和所述操作日志建立所述用户操作行为的事件索引。

所述步骤A之前还包括：

对用户操作行为进行屏幕录像，记录用户登录访问的登录、登出事件及会话ID；

记录用户操作行为对应的操作日志的会话ID；

所述步骤A还包括：采集用户登录访问的登录、登出事件以及所述操作日志的关键属性及会话ID；

所述步骤B包括：根据所述用户登录访问的登录、登出事件以及所述操作日志的会话ID及关键属性将所述登录、登出事件与所述操作日志进行关联处理。

所述关键属性包括：从帐号、登录源IP、登录目的IP及登录时间；

所述步骤B包括：根据所述登录、登出事件以及操作日志的从帐号、登录源IP、登录目的IP及登录时间进行关联匹配，将所述登录、登出事件与操作日志根据会话ID一一对应。

所述步骤C包括：根据所述会话ID建立所述用户操作行为的事件索引。

所述对用户操作行为进行屏幕录像的操作包括：接收用户操作终端发送的访问协议信息，并对所述访问协议信息进行解析；获取所述访问协议信息中描述的位图数据，并存储为屏幕录像文件。

该方法还包括：将所述访问协议信息发送到所述用户操作行为的目标操作对象进行执行；接收所述目标操作对象执行所述访问协议信息后所产生的操作日志。

该方法还包括：还包括：根据所述用户操作行为的会话ID检索相应的屏幕录像文件。

该方法还包括：还包括：根据所述用户操作行为的发生时间及对用户操作行为的录像起始时间计算所述用户操作行为发生的帧节点；根据所述用户操作行为发生的帧节点对所述屏幕录像文件进行定位播放。

该方法还包括：根据所述屏幕录像的开始时间和结束时间计算所述屏幕录像文件的总帧数；根据所述屏幕录像文件的总帧数对所述屏幕录像文件的定位播放进行越界校验。

为实现上述目的，根据本发明的另一个方面，提供一种录像索引系统，包括：

采集单元，用于采集用户操作行为的屏幕录像文件及所述用户操作行为的操作日志；

分析单元，用于对所述屏幕录像文件和所述操作日志进行关联处理；并根据关联的所述屏幕录像文件和所述操作日志建立所述用户操作行为的事件索引。

该系统还包括：

访问控制网关，用于在接收到所述访问协议信息后对用户操作行为进行屏幕录像，记录用户登录访问的登录、登出事件及会话ID；将所述访问协议信息发送至所述用户操作行为的目标操作对象；

所述目标操作对象，用于根据所述访问协议信息执行相应的操作，并生成操作日志，并记录用户操作行为对应的操作日志的会话ID；

所述采集单元，分别从所述访问控制网关和所述目标操作对象采集用户登录访问的登录、登出事件以及所述操作日志的关键属性及会话ID。

其中，所述分析单元包括：

关联模块，用于根据所述登录、登出事件以及操作日志的从帐号、登录源IP、登录目的IP及登录时间进行关联匹配，将所述登录、登出事件与操作日志根据会话ID一一对应；

索引生成模块，用于根据所述会话ID建立所述用户操作行为的事件索引。

所述访问控制网关包括：

解析模块，用于对接收到的用户操作终端发送的访问协议信息进行解析；

数据获取模块，用于获取所述访问协议信息中描述的位图数据；

存储模块，用于将所述位图数据存储为屏幕录像文件。

所述目标操作对象包括：

解析模块，用于从接收到的访问协议信息中解析出操作执行指令；

执行模块，用于根据所述操作执行指令执行相应的操作；

日志生成模块，用于生成操作日志。

所述分析单元还包括：

检索模块，用于根据所述用户操作行为的会话ID检索相应的屏幕录像文件。

所述检索模块包括：

第一计算子模块，用于根据所述用户操作行为的发生时间及对用户操作行为的录像起始时间计算所述用户操作行为发生的帧节点；

播放子模块，用于根据所述用户操作行为发生的帧节点对所述屏幕录像文件进行定位播放。

所述检索模块还包括：

第二计算子模块，用于根据所述屏幕录像的开始时间和结束时间计算所述屏幕录像文件的总帧数；

校验子模块，用于根据所述屏幕录像文件的总帧数对所述屏幕录像文件的定位播放进行越界校验。

本发明的录像索引方法及系统，通过将屏幕录像文件和操作日志进行关联处理，建立所述用户操作行为的事件索引，将用户操作行为产生的操作事件和屏幕录像内容关联起来，使得管理人员可以根据操作事件的分析结果，简单快速地在海量录像内容中进行检索定位，从而减少了录像文件的检索时间，提高了审计问题定性的效率。

附图说明

图1是本发明录像索引系统实施例结构图；

图2是本发明访问控制网关实施例结构图；

图3是本发明目标操作对象实施例结构图；

图4是本发明分析单元实施例结构图；

图5是本发明检索模块实施例结构图；

图6是本发明录像索引方法实施例；

图7是本发明对用户操作行为进行屏幕录像的具体流程图；

图8是本发明目标操作对象执行指令并生成操作日志的具体流程图；

图9是本发明对屏幕录像文件和操作日志进行关联处理的具体流程图；

图10是本发明管理人员检索的操作流程图。

具体实施方式

以下结合附图对本发明进行详细说明。

系统实施例

如图1所示，本发明录像索引系统实施例包括：

访问控制网关12，用于在接收到所述访问协议信息后对用户操作行为进行屏幕录像；将访问协议信息发送至用户操作行为的目标操作对象14；

目标操作对象14，用于根据访问协议信息执行相应的操作，并生成操作日志；

采集单元16，用于采集屏幕录像文件及操作日志；

分析单元18，用于对屏幕录像文件和操作日志进行关联处理，并根据关联的所述屏幕录像文件和所述操作日志建立所述用户操作行为的事件索引。

录像索引系统实施例中各部分具体工作过程如下：

对IT系统进行维护操作的用户(简称为维护用户)通过RDP、X-Windows协议访问如Windows、UNIX等图形操作系统所维护的服务器。维护用户在访问服务器前，先通过访问控制网关12对其操作行为进行屏幕录像，并记录维护用户登录访问控制网关的登录、登出事件和会话ID。

访问控制网关12将维护用户的操作以RDP协议和X-Windows协议的方式转发给被审计管理的目标操作对象14，如Windows或UNIX设备。维护用户通过RDP和X-Windows协议对目标操作对象进行维护操作。这样将会产生维护操作所对应的操作事件。目标操作对象14执行相应的操作后生成操作日志。

采集单元16对访问控制网关12根据用户操作所生成的屏幕录像文件以及访问控制网关12对某次会话的登录、登出事件进行采集。同时，采集单元16也对目标操作对象14的操作日志进行采集。所采集的事件内容为分析单元18提供关联处理、分析计算的数据支持。

分析单元18通过对屏幕录像文件的关键信息(登录时间、登录账号、登录源IP和登录目的IP)与操作日志的关键信息(登录时间、登录账号、登录源IP和登录目的IP)进行关联匹配，确定操作日志的会话ID与录像文件的会话ID一一对应。

本实施例的录像索引系统，通过将屏幕录像文件和操作日志进行关联处理，建立所述用户操作行为的事件索引，将用户操作行为产生的操作事件和屏幕录像内容关联起来，使得管理人员可以根据操作事件的分析结果，简单快速地在海量录像内容中进行检索定位，从而减少了录像文件的检索时间，提高了审计问题定性的效率。

如图2所示，本实施例中，访问控制网关12包括：

解析模块122，用于对接收到的用户操作终端发送的访问协议信息进行解析；

数据获取模块124，用于获取所述访问协议信息中描述的位图数据；

存储模块126，用于将所述位图数据存储为屏幕录像文件。

如图3所示，本实施例中，目标操作对象14包括：

解析模块142，用于从接收到的访问协议信息中解析出操作执行指令；

执行模块144，用于根据所述操作执行指令执行相应的操作；

日志生成模块146，用于生成操作日志。

如图4所示，本实施例中，分析单元18包括：

关联模块182，用于根据所述登录、登出事件以及操作日志的从帐号、登录源IP、登录目的IP及登录时间进行关联匹配，将所述登录、登出事件与操作日志根据会话ID一一对应；

索引生成模块184，用于根据所述会话ID建立所述用户操作行为的事件索引。

优选地，分析单元18还包括：

检索模块186，用于根据所述用户操作行为的会话ID检索相应的屏幕录像文件。

如图5所示，检索模块186包括：

第一计算子模块1862，用于根据所述用户操作行为的发生时间及对用户操作行为的录像起始时间计算所述用户操作行为发生的帧节点；

播放子模块1864，用于根据所述用户操作行为发生的帧节点对所述屏幕录像文件进行定位播放。

更优地，检索模块186还包括：

第二计算子模块1866，用于根据所述屏幕录像的开始时间和结束时间计算所述屏幕录像文件的总帧数；

校验子模块1868，用于根据所述屏幕录像文件的总帧数对所述屏幕录像文件的定位播放进行越界校验。

方法实施例

如图6所示，本发明录像索引方法实施例包括以下步骤：

S22，采集用户操作行为的屏幕录像文件及所述用户操作行为的操作日志；

S24，对所述屏幕录像文件和所述操作日志进行关联处理；

S26，根据关联的所述屏幕录像文件和所述操作日志建立所述用户操作行为的事件索引。

如图7所示，在S22之前，还包括：对用户操作行为进行屏幕录像，记录用户登录访问的登录、登出事件及会话ID，具体流程如下：

S32，维护用户通过用户操作终端对目标操作对象进行访问维护操作，并采用RDP或X-Windows协议访问访问控制网关12，用户操作终端发送访问协议信息至访问控制网关12；

S34，访问控制网关12对接收到的基于RDP或X-Windows协议的访问协议信息进行解析；

S36，访问控制网关12获取访问协议信息中描述的位图数据，并存储为屏幕录像文件。

如图8所示，在S62之前，还包括：将所述访问协议信息发送到所述用户操作行为的目标操作对象进行执行，目标操作对象产生的操作日志，具体流程如下：

S402，访问控制网关12进行录像内容的处理后，将具体操作的访问协议信息转发给目标操作对象14；

S404，目标操作对象14接收到转发的访问协议信息后，进行RDP或X-Windows协议的拆包；

S406，目标操作对象14执行访问协议信息所包含的操作指令；

S408，目标操作对象14产生操作日志；

S410，目标操作对象14将产生的操作日志以Syslog或Agent的方式发送给审计采集单元16，其中，对于Windows系统通过Agent进行该设备操作日志的采集；对于UNIX设备通过Syslog方式进行该设备操作日志的采集。

如图9所示，S64中对所述屏幕录像文件和所述操作日志进行关联处理的具体流程如下：

S502，采集单元16采集访问控制网关12的登录、登出事件的关键属性及会话ID，以下将此类登录、登出事件命名为E001；登录、登出事件的关键属性，包括：从账号、登录源IP、登录目的IP、登录时间等；

S504，采集单元16采集目标操作对象14的操作日志的关键属性及会话ID，以下将此类操作事件命名为E002，该操作事件的关键属性包括：从账号、登录源IP、登录目的IP、登录时间和操作内容等；

S506，采集单元16对访问控制网关12的RDP或X-Windows操作的屏幕录像文件进行采集，以下将此录像文件命名为E003；

S508，分析单元18根据会话ID及关键属性将事件E001与事件E002进行关联处理，将事件E001中的会话ID和事件E002进行对应，使事件E002根据会话ID与录像文件E003实现一一对应。

步骤26中，根据所述会话ID建立所述用户操作行为的事件索引。在管理人员查询时，根据会话ID即可检索到对应的录像文件。

如图10所示，管理人员检索的操作流程如下：

S602，将操作事件根据会话ID进行关联处理后，分析单元18建立该操作事件的会话ID索引。当管理人员需要时，分析单元18可以根据会话ID索引检索出对应的录像文件；

S604，为根据操作事件进行录像文件的定位，分析单元18对录像文件的总帧数进行计算，计算公式如下：

(录像结束时间-录像开始时间)×帧/秒，其中，录像结束时间和录像开始时间的单位均为秒；该总帧数用来实现对定位具体录像播放位置时的越界校验；

S606，分析单元18根据公式：(事件发生时间-录像起始时间)×帧/秒，其中，事件发生时间和录像开始时间的单位均为秒；计算操作事件发生时的帧节点，该数据用于在播放录像文件时进行录像播放的定位；

S608，当管理人员需要针对具体事件查看对应录像时，根据S606的计算结果对录像文件进行定位播放；

S610，管理人员查看具体事件发生时段的操作录像，从而实现对录像内容进行检索定位的功能。

本实施例的录像索引方法，通过将屏幕录像文件和操作日志进行关联处理，建立所述用户操作行为的事件索引，将用户操作行为产生的操作事件和屏幕录像内容关联起来，使得管理人员可以根据操作事件的分析结果，简单快速地在海量录像内容中进行检索定位，从而减少了录像文件的检索时间，提高了审计问题定性的效率。

应说明的是：以上实施例仅用以说明本发明而非限制，本发明也并不仅限于上述举例，一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。

Claims (14)

1.一种录像索引方法，其特征在于，包括：

A、采集用户操作行为的屏幕录像文件及所述用户操作行为的操作日志；

B、对所述屏幕录像文件和所述操作日志进行关联处理；

C、根据关联的所述屏幕录像文件和所述操作日志建立所述用户操作行为的事件索引；

所述步骤A之前还包括：

对用户操作行为进行屏幕录像，记录用户登录访问的登录、登出事件及会话ID；

记录用户操作行为对应的操作日志的会话ID；

所述步骤A还包括：采集用户登录访问的登录、登出事件以及所述操作日志的关键属性及会话ID；

所述步骤B包括：根据所述用户登录访问的登录、登出事件以及所述操作日志的会话ID及关键属性将所述登录、登出事件与所述操作日志进行关联处理。

2.根据权利要求1所述的录像索引方法，其特征在于，所述关键属性包括：从帐号、登录源IP、登录目的IP及登录时间；

所述步骤B包括：根据所述登录、登出事件以及操作日志的从帐号、登录源IP、登录目的IP及登录时间进行关联匹配，将所述登录、登出事件与操作日志根据会话ID一一对应。

3.根据权利要求1所述的录像索引方法，其特征在于，所述步骤C包括：

根据所述会话ID建立所述用户操作行为的事件索引。

4.根据权利要求1所述的录像索引方法，其特征在于，所述对用户操作行为进行屏幕录像的操作包括：

接收用户操作终端发送的访问协议信息，并对所述访问协议信息进行解析；

获取所述访问协议信息中描述的位图数据，并存储为屏幕录像文件。

5.根据权利要求4所述的录像索引方法，其特征在于，还包括：

将所述访问协议信息发送到所述用户操作行为的目标操作对象进行执行；

接收所述目标操作对象执行所述访问协议信息后所产生的操作日志。

6.根据权利要求1-5中任意一项所述的录像索引方法，其特征在于，还包括：

根据所述用户操作行为的会话ID检索相应的屏幕录像文件。

7.根据权利要求6所述的录像索引方法，其特征在于，还包括：

根据所述用户操作行为的发生时间及对用户操作行为的录像起始时间计算所述用户操作行为发生的帧节点；

根据所述用户操作行为发生的帧节点对所述屏幕录像文件进行定位播放。

8.根据权利要求7所述的录像索引方法，其特征在于，还包括：

根据所述屏幕录像的开始时间和结束时间计算所述屏幕录像文件的总帧数；

根据所述屏幕录像文件的总帧数对所述屏幕录像文件的定位播放进行越界校验。

9.一种录像索引系统，其特征在于，包括：

采集单元，用于采集用户操作行为的屏幕录像文件及所述用户操作行为的操作日志；

分析单元，用于对所述屏幕录像文件和所述操作日志进行关联处理；并根据关联的所述屏幕录像文件和所述操作日志建立所述用户操作行为的事件索引；

还包括：

访问控制网关，用于在接收到所述访问协议信息后对用户操作行为进行屏幕录像，记录用户登录访问的登录、登出事件及会话ID；将所述访问协议信息发送至所述用户操作行为的目标操作对象；

所述目标操作对象，用于根据所述访问协议信息执行相应的操作，并生成操作日志，并记录用户操作行为对应的操作日志的会话ID；

所述采集单元，分别从所述访问控制网关和所述目标操作对象采集用户登录访问的登录、登出事件以及所述操作日志的关键属性及会话ID；

所述分析单元包括：

关联模块，用于根据所述登录、登出事件以及操作日志的从帐号、登录源IP、登录目的IP及登录时间进行关联匹配，将所述登录、登出事件与操作日志根据会话ID一一对应；

索引生成模块，用于根据所述会话ID建立所述用户操作行为的事件索引。

10.根据权利要求9所述的录像索引系统，其特征在于，所述访问控制网关包括：

解析模块，用于对接收到的用户操作终端发送的访问协议信息进行解析；

数据获取模块，用于获取所述访问协议信息中描述的位图数据；

存储模块，用于将所述位图数据存储为屏幕录像文件。

11.根据权利要求9所述的录像索引系统，其特征在于，所述目标操作对象包括：

解析模块，用于从接收到的访问协议信息中解析出操作执行指令；

执行模块，用于根据所述操作执行指令执行相应的操作；

日志生成模块，用于生成操作日志。

12.根据权利要求9-11中任意一项所述的录像索引系统，其特征在于，所述分析单元，还包括：

检索模块，用于根据所述用户操作行为的会话ID检索相应的屏幕录像文件。

13.根据权利要求12所述的录像索引系统，其特征在于，所述检索模块包括：

第一计算子模块，用于根据所述用户操作行为的发生时间及对用户操作行为的录像起始时间计算所述用户操作行为发生的帧节点；

播放子模块，用于根据所述用户操作行为发生的帧节点对所述屏幕录像文件进行定位播放。

14.根据权利要求13所述的录像索引系统，其特征在于，所述检索模块还包括：

第二计算子模块，用于根据所述屏幕录像的开始时间和结束时间计算所述屏幕录像文件的总帧数；

校验子模块，用于根据所述屏幕录像文件的总帧数对所述屏幕录像文件的定位播放进行越界校验。