CN102185705B - 一种基于信息还原的内网视频文件监控方法 - Google Patents

Abstract

一种基于信息还原的内网视频文件监控方法，包括：监控时间设定步骤，用于到达指定的监控时间时，启动监控系统；网络探测步骤，向内网中广播ARP请求报文，根据收到的回复报文，得到内网主机的IP列表；网卡选择步骤，选定进行视频监控所使用的网卡；端口设定步骤，为每个IP地址设定需要监控的源端口列表；报文截取与分流步骤，进行报文截取与分流，截获进入内网的网络原始报文，随后进行报文解析，创建视频报文缓存文件；视频文件处理步骤，打开视频报文缓存文件，并将文件中的所有记录的载荷内容按照TCP序列号升序的方式，重新写入一个目标文件，完成后得到的文件，即为还原后的视频文件，由此获得较高的处理速度和较低的资源占用，实现对内网视频文件的监控。

Description

一种基于信息还原的内网视频文件监控方法

技术领域

本发明涉及网络安全领域，尤其涉及一种基于信息还原的内网视频文件监控方法。

背景技术

网络视频

随着互联网的普及，网络视频渐渐成为一种非常重要的信息载体，而网络视频流量在整个互联网流量中也占到了非常大的比例。

网络视频是指视频网站提供的在线视频播放服务，主要利用流媒体格式的视频文件，众多的流媒体格式中，flv格式由于文件小，占用客户端资源少等优点成为网络视频所依靠的主要文件格式。

视频格式可以分为适合本地播放的本地影像视频和适合在网络中播放的网络流媒体影像视频两大类。尽管后者在播放的稳定性和播放画面质量上可能没有前者优秀，但网络流媒体影像视频的广泛传播性使之正被广泛应用于视频点播、网络演示、远程教育、网络视频广告等等互联网信息服务领域。

swf(shock wave flash)是Macromedia(现已被ADOBE公司收购)公司的动画设计软件Flash的专用格式，是一种支持矢量和点阵图形的动画文件格式，被广泛应用于网页设计，动画制作等领域，swf文件通常也被称为Flash文件。

FLV是FLASH VIDEO的简称，FLV流媒体格式是一种新的视频格式。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等缺点。

目前各在线视频网站均采用此视频格式。如新浪播客、六间房、56、优酷、土豆、酷6、youtube等，无一例外。FLV已经成为当前视频文件的主流格式。FLV是目前被众多新一代视频分享网站所采用，是目前增长最快、最为广泛的视频传播格式。是在sorenson公司的压缩算法的基础上开发出来的。FLV格式不仅可以轻松的导入Flash中，速度极快，并且能起到保护版权的作用，并且可以不通过本地的微软或者REAL播放器播放视频。

报文截获

网络报文截获是网络入侵检测系统的基础。一般指通过截获整个网络的所有信息流量，根据信息源主机，目标主机，服务协议端口等信息简单过滤掉不关心的数据，再将用户感兴趣的数据发送给更高层的应用程序进行分析。

libpcap是unix/linux平台下的网络数据包捕获函数包，大多数网络监控软件都以它为基础。Libpcap可以在绝大多数类unix平台下工作。

Libpcap提供了系统独立的用户级别网络数据包捕获接口，并充分考虑到应用程序的可移植性。Libpcap可以在绝大多数类unix平台下工作。在windows平台下，一个与libpcap很类似的函数包winpcap提供捕获功能。

内网监控

计算机和互联网的普及和应用为企业带来了巨大的经济效益，同时不容忽视的问题是企业的员工上班期间都是内网的计算机来工作，还是占用上班时间来玩游戏，或是聊天、炒股、上与工作无关的网站？还有部分下载电影占用大量的带宽而影响其他员工的工作？还有一些员工将公司的机密文件或者代码通过U盘、邮件、IM等方式泄露出去，给公司造成损失。如何提升工作效率，如何让公司信息资产免受损失是摆着每个企业面前的难题？

很多内网监控是专门针对解决以上问题所研发的，管理人员在办公室中既可以实时监控所有被控计算机的工作状况，也可以像电视墙一样查阅全屏幕录像，还可以看到所有的需要监控的员工使用计算机的历史记录，包括访问的网站、外发的资料、收发邮件的内容及附件、聊天内容、拷贝重要资料等所有操作，安装非法软件、黑客程序、闲聊、盗窃公司重要资料等行为，提高企业信息化管理的效率，保护企业信息资产安全。

目前的这些内网监控软件，往往是服务企业的。但是，从信息监控的角度看，目前有很多内网监控系统尚没有发现对内网中的视频文件进行监视的系统。随着社会的发展，视频以其信息量丰富，越来越成为重要的信息载体。从信息监控的角度看，对视频文件信息进行监控也正在越来越成为一种安全需要。

发明内容

本发明利用winpcap函数包实现了报文的截获，实现了内网中对flv视频文件进行监视的方法。通过该方法，可以实现对内网中所有计算机的网络视频信息的捕获还原，实现监控的目的。该方法采用了一种高效率和低内存占用的视频文件还原方法，提高了实用性。

根据本发明的一种基于信息还原的内网视频文件监控方法，包括：

监控时间设定步骤，用于进行监控时间的设定，设定对内网实施视频监控的时间段，即监控启动时间和停止时间，到达指定的监控时间时，启动监控系统；

网络探测步骤，向内网中广播ARP请求报文，根据收到的回复报文，得到内网主机的IP列表；

网卡选择步骤，监控主机可能有多个网卡，首先选定进行视频监控所使用的网卡；

端口设定步骤，为每个IP地址设定需要监控的源端口列表，默认设定源端口为80；

报文截取与分流步骤，进行报文截取与分流，截获进入内网的网络原始报文，随后进行报文解析，将报文的链路层、IP层、TCP层的报文头、以及TCP载荷分别解析出来，根据报文IP头指定的目的IP地址，将报文进行分流；

报文处理步骤，在接收到分流过来的报文后，分析TCP层报文头，如果报文的源端口与端口设定步骤设定的端口相同，则创建视频报文缓存文件，其中将每个报文存储为一个记录，记录内容包括该报文的TCP序列号、期望序列号、报文载荷长度、报文载荷内容，并记录该报文的源IP，作为视频源IP，记录该报文的目的端口，作为视频目的端口，并设置视频报文启动标识；当视频报文启动标识启动且后续接收到的报文的源IP与所述视频源IP相同时，将所述后续接收到的报文以预设格式写入当前视频报文缓存文件；如果在设置时间段内没有收到来自视频源IP的报文，视为该视频传输结束，关闭视频报文缓存文件；

视频文件处理步骤，打开视频报文缓存文件，并将文件中的所有记录的载荷内容按照TCP序列号升序的方式，重新写入一个目标文件，完成后得到的文件，即为还原后的视频文件。

更具体的，所述报文处理步骤进一步包括源端口判断步骤、视频首报文判断步骤、中间报文处理步骤、视频结束判断步骤、循环监控步骤，其中

源端口判断步骤用于分析接收到分流过来的报文的TCP层报文头，如果报文的源端口与端口设定步骤设定的端口相同，则继续；否则，丢弃该报文，退出报文处理流程；

视频首报文判断步骤，在TCP载荷中搜索flv视频的起始标志字符串，如果找到，则新建一个视频报文缓存文件，其中将每个报文存储为一个记录，记录内容包括该报文的TCP序列号、TCP序列号加报文载荷长度的和、报文载荷长度、报文载荷内容，同时，记录该报文的源IP，作为视频源IP，记录该报文的目的端口，作为视频目的端口，并设置视频报文启动标识；

中间报文处理步骤，判断后续接收的视频报文启动标识，如果没有启动，则丢弃该报文，报文处理流程结束，如果已经启动，则判断该报文的源IP是否与所述视频源IP相同，如果相同，将该后续接收的报文的TCP序列号、期望序列号、报文载荷长度、报文载荷内容作为一个记录写入当前的视频报文缓存文件；如果不同，丢弃该报文；

视频结束判断步骤，如果在设置时间内没有收到来自视频源IP的报文，视为该视频传输结束，关闭视频报文缓存文件；

循环监控步骤，在监控结束时间结束之前，循环往复进行报文的截获、分流和处理流程。

更具体的，其中所述视频文件处理步骤进一步包括，

第一记录读取步骤，从视频报文缓存文件中读取第一个记录，设置第一变量值tcpSeqWant的值为期望序列号，将报文载荷内容写入目标文件；

后续记录读取步骤，从视频缓存文件中读取下一个记录，设置第二变量值tcpSeq的值为该记录的TCP序列号；

序列号比较步骤，判断tcpSeq大于、等于还是小于tcpSeqWant；如果tcpSeq＜tcpSeqWant，则判断传输过程出错而出现重复报文，丢弃该报文重新进行后续记录读取步骤；如果tcpSeq＞tcpSeqWant，则转到早到报文处理步骤；如果二者相等，则转到记录载荷写入步骤。

早到报文处理步骤，判断接收到的该记录对应的tcp报文早到，将该记录按TCP序列号升序的方式放入记录缓冲链表；如果记录缓冲链表尚未建立，则建立该链表，并将该记录按TCP序列号升序的方式放入记录缓冲链表，转到后续记录读取步骤，进行下一记录的读取。

记录载荷写入步骤，将tcpSeqWant值更新为后续记录的期望序列号，将该后续记录的载荷写入目标文件；

记录缓冲链表查询步骤，查询记录缓冲链表中是否有记录，使得该记录的TCP序列号＝tcpSeqWant，如果有，则从记录缓冲链表中读取该记录，将tcpSeqWant值设置为该记录的期望序列号，并将记录的载荷内容写入目标文件；然后从链表中删除该项记录，并进行下一轮查询；如果没有，则转到后续记录读取步骤，进行下一记录的读取，直至视频报文缓存文件中所有记录读取完毕，生成最终还原视频文件。

附图说明

图1示意性的示出了根据本发明的基于信息还原的内网视频文件监控方法的流程图；

图2示意性的示出了根据本发明的报文处理步骤的流程图；

图3示意性的示出了根据本发明的方法对抓取的报文进行还原的流程图。

具体实施方式

参照图1，示出了本发明的视频文件监控方法的流程图。其中包括监控时间设定101，用于进行监控时间的设定，设定对内网实施视频监控的时间段，即监控启动时间和停止时间。到达指定的监控时间时，启动监控系统。网络探测102，向内网中广播ARP请求报文，根据收到的回复报文，得到内网主机的IP列表。网卡选择103，监控主机可能有多个网卡，首先选定进行视频监控所使用的网卡。端口设定104，为每个IP地址设定需要监控的源端口列表，由于目前视频信息绝大多数是基于web的，故默认设定源端口为80。报文截取与分流105，进行报文截取与分流，首先截获进入内网的网络原始报文；进行报文解析：将报文的链路层、IP层、TCP层的报文头、以及TCP载荷分别解析出来；报文分流(器)：根据报文IP头指定的目的IP地址，将报文进行分流。如图2所示，每个IP的报文处理106进一步包括源端口判断步骤201、视频首报文判断步骤202、中间报文处理步骤203、视频结束判断步骤204、循环监控步骤205，在接收到分流过来的报文后，启动报文处理流程如下：

源端口判断：分析TCP层报文头，如果报文的源端口与端口设定步骤104设定的端口相同，则继续；否则，丢弃该报文，退出报文处理流程

视频首报文判断：在TCP载荷中搜索flv视频的起始标志字符串(“FLV”)，如果找到，则新建一个文件，该文件称为视频报文缓存文件。文件中将每个报文存储为一个记录，记录内容包括该报文的TCP序列号、TCP序列号加报文载荷长度的和(本发明称之为期望序列号)、报文载荷长度、报文载荷内容。同时，记录该报文的源IP，作为视频源IP，记录该报文的目的端口，作为视频目的端口，并设置视频报文启动标识，报文处理流程结束。如果没有找到起始标志字符串，进入下一步。

判断视频报文启动标识，如果没有启动，则丢弃该报文，报文处理流程结束。如果已经启动，则判断该报文的源IP是否与上述的视频源IP相同，如果相同，将该报文的TCP序列号、TCP序列号加报文载荷长度的和(本发明称之为期望序列号)、报文载荷长度、报文载荷内容作为一个记录写入当前的视频报文缓存文件；如果不同，丢弃该报文，报文处理流程结束。

视频结束判断：连续3分钟没有收到来自视频源IP的报文，视为该视频传输结束。关闭视频报文缓存文件。

循环监控：报文的截获、分流和处理流程循环往复，一直持续到监控结束时间。

监控结束时间到达后，停止报文的截获、分流和处理，将已经生成的视频报文缓存文件提交给视频文件处理107进行处理。

视频文件处理107处理视频报文缓存文件。由于视频报文在传递的过程中可能会发生乱序，所以必须要对接收到的报文重新排序。但是，如果实时的进行排序，会因为机器的性能限制，造成较严重的丢包，即无法抓取到所有的到达网络的视频报文。所以需要先将报文保存在视频报文缓存文件，在监控结束后由视频文件处理107进行处理。

如图3所示，视频文件处理107打开视频报文缓存文件，并将文件中的所有记录的载荷内容按照TCP序列号升序的方式，重新写入一个目标文件，完成后得到的文件，即为还原好的视频文件，从而实现了对内网中视频信息的监控。

首先通过第一记录读取步骤，从视频报文缓存文件中读取第一个记录，设置tcpSeqWant值为期望序列号，将报文载荷内容写入目标文件。

后续记录读取步骤，从视频缓存文件中读取下一个记录，设置tcpSeq值为该记录的TCP序列号。

序列号比较步骤，判断tcpSeq大于、等于还是小于tcpSeqWant；如果tcpSeq＜tcpSeqWant，则判断传输过程出错而出现重复报文，丢弃该报文重新进行后续记录读取步骤；如果tcpSeq＞tcpSeqWant，则转到早到报文处理步骤；如果二者相等，则转到记录载荷写入步骤。

早到报文处理步骤，判断接收到的该记录对应的tcp报文早到，将该记录按TCP序列号升序的方式放入记录缓冲链表；如果记录缓冲链表尚未建立，则建立该链表，并将该记录按TCP序列号升序的方式放入记录缓冲链表。转到后续记录读取步骤，进行下一记录的读取。

记录载荷写入步骤，将tcpSeqWant值更新为当前记录的期望序列号，将该记录的载荷写入目标文件。

记录缓冲链表查询步骤，查询记录缓冲链表中是否有记录，使得该记录的TCP序列号＝tcpSeqWant，如果有，则从记录缓冲链表中读取该记录，将tcpSeqWant值设置为该记录的期望序列号，并将记录的载荷内容写入目标文件；然后从链表中删除该项记录，并进行下一轮查询；如果没有，则转到后续记录读取步骤，进行下一记录的读取。

为了实现还原视频文件的目的，也可以先将所有记录从视频报文缓存文件中读入一个链表，然后对链表排序，最后重新写入目标文件；但是，采用这种方法会占用较多的存储资源，而且，先读入全部的记录然后排序，其排序工作量也会比较大。与这种方法相比，本发明采用的方法具有较高的速度和较低的资源占用。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于信息还原的内网视频文件监控方法，包括：

监控时间设定步骤，用于进行监控时间的设定，设定对内网实施视频监控的时间段，即监控启动时间和停止时间,到达指定的监控时间时，启动监控系统；

网络探测步骤，向内网中广播ARP请求报文，根据收到的回复报文，得到内网主机的IP列表；

网卡选择步骤，监控主机可能有多个网卡，首先选定进行视频监控所使用的网卡；

端口设定步骤，为每个IP地址设定需要监控的源端口列表，默认设定源端口为80；

报文截取与分流步骤，进行报文截取与分流，截获进入内网的网络原始报文，随后进行报文解析，将报文的链路层、IP层、TCP层的报文头、以及TCP载荷分别解析出来，根据报文IP头指定的目的IP地址，将报文进行分流；

报文处理步骤，在接收到分流过来的报文后，分析TCP层报文头，如果报文的源端口与端口设定步骤设定的端口相同，则创建视频报文缓存文件，其中将每个报文存储为一个记录，记录内容包括该报文的TCP序列号、期望序列号、报文载荷长度、报文载荷内容，并记录该报文的源IP，作为视频源IP，记录该报文的目的端口，作为视频目的端口，并设置视频报文启动标识；当视频报文启动标识启动且后续接收到的报文的源IP与所述视频源IP相同时，将所述后续接收到的报文以预设格式写入当前视频报文缓存文件；如果在设置时间段内没有收到来自视频源IP的报文，视为该视频传输结束，关闭视频报文缓存文件；

视频文件处理步骤，打开视频报文缓存文件，并将文件中的所有记录的载荷内容按照TCP序列号升序的方式，重新写入一个目标文件，完成后得到的文件，即为还原后的视频文件；

所述视频文件处理步骤进一步包括，

第一记录读取步骤，从视频报文缓存文件中读取第一个记录，设置第一变量值tcpSeqWant的值为期望序列号，将报文载荷内容写入目标文件，所述期望序列号是TCP序列号加报文载荷长度的和；

后续记录读取步骤，从视频缓存文件中读取下一个记录，设置第二变量值tcpSeq的值为该记录的TCP序列号；

序列号比较步骤，判断tcpSeq大于、等于还是小于tcpSeqWant；如果tcpSeq<tcpSeqWant，则判断传输过程出错而出现重复报文，丢弃该报文重新进行后续记录读取步骤；如果tcpSeq>tcpSeqWant，则转到早到报文处理步骤；如果二者相等，则转到记录载荷写入步骤；

早到报文处理步骤，判断接收到的该记录对应的tcp报文早到，将该记录按TCP序列号升序的方式放入记录缓冲链表；如果记录缓冲链表尚未建立，则建立该链表，并将该记录按TCP序列号升序的方式放入记录缓冲链表，转到后续记录读取步骤，进行下一记录的读取；

记录载荷写入步骤，将tcpSeqWant值更新为后续记录的期望序列号，将该后续记录的载荷写入目标文件；

记录缓冲链表查询步骤，查询记录缓冲链表中是否有记录，使得该记录的TCP序列号=tcpSeqWant，如果有，则从记录缓冲链表中读取该记录，将tcpSeqWant值设置为该记录的期望序列号，并将记录的载荷内容写入目标文件；然后从链表中删除该项记录，并进行下一轮查询；如果没有，则转到后续记录读取步骤，进行下一记录的读取，直至视频报文缓存文件中所有记录读取完毕，生成最终还原视频文件。

2.根据权利要求1的方法，所述报文处理步骤进一步包括源端口判断步骤、视频首报文判断步骤、中间报文处理步骤、视频结束判断步骤、循环监控步骤，其中

源端口判断步骤用于分析接收到分流过来的报文的TCP层报文头，如果报文的源端口与端口设定步骤设定的端口相同，则继续；否则，丢弃该报文，退出报文处理流程；

视频首报文判断步骤，在TCP载荷中搜索flv视频的起始标志字符串，如果找到，则新建一个视频报文缓存文件，其中将每个报文存储为一个记录，记录内容包括该报文的TCP序列号、TCP序列号加报文载荷长度的和、报文载荷长度、报文载荷内容，同时，记录该报文的源IP，作为视频源IP，记录该报文的目的端口，作为视频目的端口，并设置视频报文启动标识；

中间报文处理步骤，判断后续接收的视频报文启动标识，如果没有启动，则丢弃该报文，报文处理流程结束，如果已经启动，则判断该报文的源IP是否与所述视频源IP相同，如果相同，将该后续接收的报文的TCP序列号、期望序列号、报文载荷长度、报文载荷内容作为一个记录写入当前的视频报文缓存文件；如果不同，丢弃该报文；

视频结束判断步骤，如果在设置时间内没有收到来自视频源IP的报文，视为该视频传输结束，关闭视频报文缓存文件；

循环监控步骤，在监控结束时间结束之前，循环往复进行报文的截获、分流和处理流程。

Images