CN101465857A - 一种对网络多媒体信息进行监控的方法和设备 - Google Patents

一种对网络多媒体信息进行监控的方法和设备 Download PDF

Info

Publication number
CN101465857A
CN101465857A CNA2008102474558A CN200810247455A CN101465857A CN 101465857 A CN101465857 A CN 101465857A CN A2008102474558 A CNA2008102474558 A CN A2008102474558A CN 200810247455 A CN200810247455 A CN 200810247455A CN 101465857 A CN101465857 A CN 101465857A
Authority
CN
China
Prior art keywords
file
video
segment
information
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008102474558A
Other languages
English (en)
Inventor
汤勇
葛长忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou H3C Technologies Co Ltd
Original Assignee
Hangzhou H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou H3C Technologies Co Ltd filed Critical Hangzhou H3C Technologies Co Ltd
Priority to CNA2008102474558A priority Critical patent/CN101465857A/zh
Publication of CN101465857A publication Critical patent/CN101465857A/zh
Priority to US12/645,139 priority patent/US20100169482A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络多媒体信息的监控方法，包括：对网络中流通的网络报文进行分析，识别出在网络报文中承载的多媒体信息；将所述多媒体信息从所述网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中，用于非法信息的检测。此外，本发明还公开了一种网络多媒体信息的监控设备。本发明所公开的技术方案，能够实现对网络中流通的多媒体信息的监控。

Description

一种对网络多媒体信息进行监控的方法和设备
技术领域
本发明涉及网络信息监控技术，尤其涉及一种网络多媒体信息的监控方法和设备。
背景技术
互联网的快速发展为人们提供各种便利的同时，也为各种非法信息的传播提供了渠道。
以前，大多数非法信息都是通过基于文本的电子邮件和互联网网页进行传播的，这类信息随着各种文本检测技术的成熟而得到了一定的抑制。
然而，随着互联网技术和计算机技术的快速发展，各种非法信息的传播也在不断的变化着形式，例如，一些非法信息的制造者通过将敏感词语转换为小的图片并与其它文字进行排版组合，形成一篇图文并茂的非法信息，可以绕过目前常见的非法信息检测技术，达到他们的传播目的。此外，各种非法网站通过提供非法的静态图像和视频的方式严重危害互联网的健康发展，而目前对图像和声音等多媒体信息的识别技术还不成熟，如何准确、及时的检测这些非法信息是目前亟需解决的问题。
发明内容
有鉴于此，本发明中一方面提供一种网络多媒体信息的监控方法，另一方面提供一种网络多媒体信息的监控设备，以便对网络中流通的多媒体信息进行监控。
本发明所提供的网络多媒体信息的监控方法，包括：
对网络中流通的网络报文进行分析，识别出在网络报文中承载的多媒体信息；
将所述多媒体信息从所述网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中。
较佳地，所述多媒体信息包括：图像信息；
所述访问相关信息包括：访问者和被访问者的信息、以及访问时间信息。
较佳地，所述图像信息包括：图片信息；所述网络报文为超文本传输协议HTTP报文；
所述对网络中流通的网络报文进行分析，识别出承载在网络报文中的多媒体信息包括：判断服务器针对HTTP获取GET请求回应的HTTP应答消息中的内容类型content-Type信息是否为图像image，识别出content-Type信息为image的HTTP报文；
所述将多媒体信息从网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：采集所述content-Type信息为image的HTTP报文中的图片数据，并收集后续的图片数据，直到收集到完整的图片文件，将所述图片文件及提供所述图片文件的服务器信息、浏览该图片文件的用户信息以及浏览时间加入到监控信息库中。
较佳地，所述图像信息包括：视频信息；所述网络报文为超文本传输协议HTTP报文；
所述对网络中流通的网络报文进行分析，识别出承载在网络报文中的多媒体信息包括：判断用户发送的HTTP GET请求中的文件为视频文件时，监控对应该GET请求的传输控制协议TCP连接，判断服务器对所述GET请求的HTTP应答内容的数据部分是否为视频文件格式，识别出数据部分为视频文件格式的HTTP应答；
所述将多媒体信息从网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：在上述HTTP应答内容的数据部分为视频文件格式时，分离出所述视频文件，将所述视频文件以及提供所述视频文件的服务器信息、浏览该视频文件的用户信息以及浏览时间加入到监控信息库中。
较佳地，所述视频文件包括：FLASH文件。
较佳地，所述网络报文为实时传输协议RTP报文；
所述对网络中流通的网络报文进行分析，识别出承载在网络报文中的多媒体信息包括：判断RTP报文中的PT取值对应的文件类型，识别出对应的多媒体类型的PT取值；
所述将多媒体信息从网络报文中进行分离包括：根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息。
较佳地，所述多媒体类型为：JPEG文件；
所述根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息包括：根据时间戳、序列号和M标志确定对应所述JPEG文件的完整的视频帧，将所述完整的视频帧的内容分离出来，得到所述JPEG文件；
所述将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：将所述JPEG文件以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中。
较佳地，所述多媒体类型为：H263或H261视频文件；
所述根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息包括：根据时间戳、序列号和M标志确定所述H263或H261视频文件中的部分完整内码帧，将所述内码帧的内容分离出来，得到所述H263或H261视频文件中的部分静态图片；
所述将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：将所述静态图片以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中。
较佳地，所述网络报文为点到点协议P2P报文；
所述对网络中流通的网络报文进行分析，识别出承载在网络报文中的多媒体信息包括：
监控P2P元文件，根据所述元文件获取片断的大小以及欲传输片断的片断标识；
缓存完整的片断，根据所述完整片断的片断标识及所述P2P元文件中的片断标识判断该完整片断在传输文件中的位置；
若所述完整片断为文件头片断且所述文件头中包含视频帧索引，则保存所述片断中包含的文件格式相关信息和所述视频帧索引信息，若所述完整片断为文件头片断且所述文件头中不包含视频帧索引，则保存所述片断中包含的文件格式相关信息；若所述完整片断为文件的视频数据片断，则判断是否保存有该文件的文件格式相关信息或者以及视频帧索引信息，识别出保存有文件格式相关信息或者以及视频帧索引信息的视频数据片断；
所述将多媒体信息从网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：根据所述文件格式相关信息或者以及视频帧索引信息，从所述视频数据片断中提取出视频数据帧，形成图像文件，将所述图像文件以及源IP地址、目的IP地址和访问时间加入到监控信息库中，并释放所述视频数据片断。
较佳地，该方法进一步包括：为包含视频帧索引的文件头片断设置第一生存时间，并在超过所述第一生存时间后释放所述文件头片断；
和/或，
为未保存文件格式相关信息的视频数据片断设置第二生存时间，若在所述第二生存时间内得到了对应的文件头文件，则执行所述从视频数据片断中提取出视频数据帧的操作；否则，释放所述视频数据片断。
本发明所提供的网络多媒体信息的监控设备，包括：
监控模块，用于对网络中流通的网络报文进行分析，识别出在网络报文中承载的多媒体信息；
分离模块，用于将所述多媒体信息从所述网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中。
较佳地，所述监控模块包括：HTTP第一监控模块，用于判断服务器针对HTTP GET请求回应的HTTP应答消息中的内容类型content-Type信息是否为image，识别出content-Type信息为image的HTTP报文；
所述分离模块包括：HTTP第一分离模块，用于采集所述content-Type信息为image的HTTP报文中的图片数据，并收集后续的图片数据，直到收集到完整的图片文件，将所述图片文件及提供所述图片文件的服务器信息、浏览该图片文件的用户信息以及浏览时间加入到监控信息库中。
较佳地，所述监控模块包括：HTTP第二监控模块，用于判断用户发送的HTTP GET请求中的文件为视频文件时，监控对应该GET请求的传输控制协议TCP连接，判断服务器对所述GET请求的HTTP应答内容的数据部分是否为视频文件格式，识别出数据部分为视频文件格式的HTTP应答；
所述分离模块包括：HTTP第二分离模块，用于在上述HTTP应答内容的数据部分为视频文件格式时，分离出所述视频文件，将所述视频文件以及提供所述视频文件的服务器信息、浏览该视频文件的用户信息以及浏览时间加入到监控信息库中。
较佳地，所述监控模块包括：RTP监控模块，用于判断RTP报文中的PT取值对应的文件类型，识别出对应的多媒体类型的PT取值；
所述分离模块包括：RTP分离模块，用于根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息，将所述多媒体信息以及对应的访问相关信息加入到监控信息库中。
较佳地，所述RTP分离模块包括：RTP第一分离模块，用于在所述多媒体类型为JPEG文件时，根据时间戳、序列号和M标志确定对应所述JPEG文件的完整的视频帧，将所述完整的视频帧的内容分离出来，得到所述JPEG文件，将所述JPEG文件以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中；
和/或，
RTP第二分离模块，用于在所述多媒体类型为H263或H261视频文件时，根据时间戳、序列号和M标志确定所述H263或H261视频文件中的部分完整内码帧，将所述内码帧的内容分离出来，得到所述H263或H261视频文件中的部分静态图片，将所述静态图片以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中。
较佳地，所述监控模块包括：P2P监控模块，用于监控P2P元文件，根据所述元文件获取片断的大小以及欲传输片断的片断标识；缓存完整的片断，根据所述完整片断的片断标识及所述P2P元文件中的片断标识判断该完整片断在传输文件中的位置；若所述完整片断为文件头片断且所述文件头中包含视频帧索引，则保存所述片断中包含的文件格式相关信息和所述视频帧索引信息，若所述完整片断为文件头片断且所述文件头中不包含视频帧索引，则保存所述片断中包含的文件格式相关信息；若所述完整片断为文件的视频数据片断，则判断是否保存有该文件的文件格式相关信息或者以及视频帧索引信息，识别出保存有文件格式相关信息或者以及视频帧索引信息的视频数据片断；
所述分离模块包括：P2P分离模块，用于根据所述文件格式相关信息或者以及视频帧索引信息，从所述视频数据片断中提取出视频数据帧，形成图像文件，将所述图像文件以及源IP地址、目的IP地址和访问时间加入到监控信息库中。
较佳地，所述P2P监控模块进一步为包含视频帧索引的文件头片断设置第一生存时间，并在超过所述第一生存时间后释放所述文件头片断；和/或，为未保存文件格式相关信息的视频数据片断设置第二生存时间，若在所述第二生存时间内得到了对应的文件头文件，则执行所述从视频数据片断中提取出视频数据帧的操作；否则，释放所述视频数据片断。
从上述方案可以看出，本发明中通过对网络中流通的网络报文进行分析，以识别出在网络报文中承载的多媒体信息，然后将网络报文中的多媒体信息从所述网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中，实现了对网络多媒体信息的监控。之后，该监控信息库可采用人工浏览(如自动播放或抽检)的方式或其他方式来判断其中属于非法信息的内容，从而采取相应处理。
附图说明
图1为本发明中网络多媒体信息的监控方法的示例性流程图；
图2为本发明中网络多媒体信息的监控设备的示例性结构图；
图3a至图3d为本发明实施例一中基于HTTP协议传输图片信息的报文内容示意图；
图4为本发明实施例一中网络多媒体信息的监控设备的结构示意图；
图5为本发明实施例二中网络多媒体信息的监控设备的结构示意图；
图6为现有技术中RTP报文的格式示意图；
图7为本发明实施例三中网络多媒体信息的监控设备的结构示意图；
图8为本发明实施例四中网络多媒体信息的监控设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
图1为本发明中网络多媒体信息的监控方法的示例性流程图。如图1所示，该流程包括如下步骤：
步骤101，对网络中流通的网络报文进行分析，识别出在网络报文中承载的多媒体信息。
本步骤中，多媒体信息可包括图像信息和/或声音信息。根据不同的协议报文，其多媒体信息的格式和标识可不相同，具体实现时，可根据具体协议的规定进行分析和识别。
步骤102，将所述多媒体信息从所述网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中。
本步骤中，分离多媒体信息指从协议报文中提取出多媒体信息。访问相关信息可包括：访问者和被访问者的信息、以及访问时间等信息。
之后，该监控信息库可采用人工浏览的方式或其他方式来判断其中属于非法信息的内容，从而采取相应处理。例如，可通过自动播放或抽检的方式来进行人工识别，避免误识别和漏识别。
相应地，图2为本发明中网络多媒体信息的监控设备的示例性结构图。如图2所示，该设备包括：监控模块和分离模块。
其中，监控模块用于对网络中流通的网络报文进行分析，识别出在网络报文中承载的多媒体信息。
分离模块用于将所述多媒体信息从所述网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中。
下面通过列举几个针对不同协议报文的实施例，对本发明实施例中的上述方法和设备进行详细描述。
实施例一：基于超文本传输协议(HTTP)传输的图片信息分离。
现有技术中，当浏览器浏览网页时，如果该网页中包含图片文件，浏览器会先获得图片文件的路径和名称，之后浏览器会发送一个单独的HTTPGET(获取)请求来获得这个图片文件，服务器收到该HTTP GET请求后，会回应一个HTTP应答消息，并在消息中声明content-Type(内容类型)为image(图像)，同时将图片文件的内容发送给浏览器，当浏览器收到这个HTTP的应答消息，并获取全部的图片文件内容时，就将图片文件显示给用户。
例如，某一时刻，用户浏览www.h3c.com网站，该网站中包含一个名称为20080508_620431_h3community_187441_40_0.GIF，大小为12258字节的图片文件，那么用户的浏览器会先得到一个包含如下文本的HTML文件：
<li><a href＝＂http://www.h3c.com/h3community＂target＝＂_blank＂><img
src＝＂h3c_files/20080508_620431_h3community_187441_40_0.GIF＂border＝＂0＂></a></li>
浏览器得到这些信息之后，会根据其中的“src＝＂h3c_files/20080508_620431_h3community_187441_40_0.GIF＂”信息发送一个如图3a所示的HTTPGET请求。
服务器收到该HTTP GET请求后，发送如图3b所示的HTTP应答消息。其中，HTTP应答消息中包括了content-Type：image/gif信息，同时还包括了gif文件的前1208字节，其中，前1208字节的信息如图3c中的阴影部分所示。
由于IP报文大小的限制，上述报文中只提供了图片文件的前1208字节，如图3d所示，服务器会再通过一系列HTTP报文来传送其余的11050字节。
这样就完成了一个嵌入到网页中的图片文件的传送过程。
基于上述分析，本实施例中的网络多媒体信息的监控方法，通过判断服务器针对HTTP GET请求回应的HTTP应答消息中的内容类型content-Type信息是否为image，来判断当前HTTP报文中是否承载有图片信息。在识别出content-Type信息为image的HTTP报文后，采集所述HTTP报文中的图片数据，并收集后续的图片数据，直到收集到完整的图片文件，将所述图片文件及提供所述图片文件的服务器信息、浏览该图片文件的用户信息以及浏览时间加入到监控信息库中。
图4为本发明实施例一中网络多媒体信息的监控设备的结构示意图。如图4所示，本实施例一中，网络多媒体信息的监控设备中的监控模块和分离模块可分别包括：HTTP第一监控模块和HTTP第一分离模块。
其中，HTTP第一监控模块用于判断服务器针对HTTP GET请求回应的HTTP应答消息中的内容类型content-Type信息是否为image，识别出content-Type信息为image的HTTP报文。
HTTP第一分离模块用于采集所述content-Type信息为image的HTTP报文中的图片数据，并收集后续的图片数据，直到收集到完整的图片文件，将所述图片文件及提供所述图片文件的服务器信息、浏览该图片文件的用户信息以及浏览时间加入到监控信息库中。
实施例二：基于HTTP传输的视频信息分离。
由于视频信息通常具有特定的格式，因此本实施例中，可首先判断用户发送的HTTP GET请求中的文件是否为视频文件，如果是，则监控对应该GET请求的TCP(传输控制协议)连接，当服务器对这个GET请求进行应答时，进一步判断服务器对所述GET请求的HTTP应答内容的数据部分是否为视频文件格式，如果是，则分离出该视频文件，将所述视频文件以及提供所述视频文件的服务器信息、浏览该视频文件的用户信息以及浏览时间加入到监控信息库中。
以视频信息为FLASH视频为例，基于FLASH的视频流一般采用FLV或SWF格式，有时也会采用SWC格式。目前绝大多数网站采用的是基于HTTP方式传输FLV文件的方式实现FLASH视频播放。具体实现方式为：在其网页上提供FLASH文件的链接，当用户点击该链接时，浏览器发送HTTP GET请求来获得这个FLASH文件。服务器收到请求后，将整个FLASH文件作为HTTP的报文内容应答给浏览器，当浏览器收到FLASH文件后即可通过集成在浏览器内的播放器插件进行播放。一些播放器插件能够在接收部分文件信息后即可开始播放，后续的文件内容可以在播放文件前面内容的同时进行下载，减少用户等待时间。
本实施例二中，通过识别用户发送的HTTP GET请求中的文件是不是FLASH文件(比如可以通过判断扩展名是不是.flv，.swf，swc来识别)，如果是，则监控这个TCP连接，当服务器对这个GET请求进行应答时，进一步确认HTTP应答内容的数据部分是不是FLASH文件格式，如果是，就开始监控这条数据流，分离出FLASH文件，将这个文件与提供文件的服务器信息、浏览该信息的用户信息，浏览时间信息一起加入到监控信息库中。
图5为本实施例二中网络多媒体信息的监控设备的结构示意图。如图5所示，本实施例二中，网络多媒体信息的监控设备中的监控模块和分离模块可分别包括：HTTP第二监控模块和HTTP第二分离模块。
其中，HTTP第二监控模块用于判断用户发送的HTTP GET请求中的文件为视频文件时，监控对应该GET请求的传输控制协议TCP连接，判断服务器对所述GET请求的HTTP应答内容的数据部分是否为视频文件格式，识别出数据部分为视频文件格式的HTTP应答。
HTTP第二分离模块用于在上述HTTP应答内容的数据部分为视频文件格式时，分离出所述视频文件，将所述视频文件以及提供所述视频文件的服务器信息、浏览该视频文件的用户信息以及浏览时间加入到监控信息库中。实施例三：基于实时传输协议(RTP)传输的多媒体信息分离。
RTP协议被广泛应用在多媒体视讯业务中，RTP报文的一般格式如图6所示。
其中PT(Payload Type，载荷类型)字段表示载荷的类型，比较典型的PT值如表1所示，有：
 
PT encoding name(编码名称) Audio/video(A/V，音频/视频) clock rate(时钟频率)(Hz) channels(信道)(audio)
26 JPEG V 90000 [RFC2435]
31 H261 V 90000 [RFC2032]
34 H263 V 90000
表1
由于当RTP传输的视频面积较大时，可能需要缓存多个RTP报文才能构成一个完整帧，为了表示是否为一个完整帧，通常对传输一个完整帧的多个RTP报文设置首包、中间包和尾包，包的信息设置在RTP头中。其中，首包紧挨着上一帧的尾包，上一帧尾包的Marker(M标志)为TRUE；尾包与首包的Timestamp(时间戳)一致，且Marker为TRUE；中间包与首包的Timestamp一致，且在首包与尾包间sequence(序列号)连续。因此，在具体判断时，可以根据RTP头中的信息来识别同一个RTP流中的多个RTP报文是不是一个完整视频帧，即利用RTP头中Timestamp(时间戳)+sequence(序列号)+Marker(M标志)来识别出完整帧。
例如，当PT类型为26时，载荷的内容为JPEG文件，此时只需要根据时间戳、序列号和M标志确定RTP流的一个完整视频帧，并缓存该完整视频帧，从中分离出RTP的载荷内容并保存为JPEG文件，连同报文中的源IP、目的IP、访问时间一起加入到监控信息库中。
又如，当PT类型为H263或H261等视频文件时，由于视频流持续时间较长，内容较多，为了节省监控信息库的容量，可以采取从视频图像中抽取部分静态图片的方式来减少信息。由于H.263视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压缩标准，采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧间编码两个部分。其中内码帧(I帧)不能由任何其它帧构造出来，而是包含所有可显示它的信息。因此，本实施例中，可以根据时间戳、序列号和M标志确定视频信息中的部分I帧，并分离出这些I帧，每个I帧生成一个静态图片，连同源IP、目的IP、访问时间等信息加入到监控信息库中。
图7为本实施例三中网络多媒体信息的监控设备的结构示意图。如图7所示，本实施例三中，网络多媒体信息的监控设备中的监控模块和分离模块可分别包括：RTP监控模块和RTP分离模块。
其中，RTP监控模块用于判断RTP报文中的PT取值对应的文件类型，识别出对应的多媒体类型的PT取值。
RTP分离模块用于根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息，将所述多媒体信息以及对应的访问相关信息加入到监控信息库中。
具体实现时，RTP分离模块又可包括：RTP第一分离模块和/或RTP第二分离模块(图6中未示出)。
其中，RTP第一分离模块用于在所述多媒体类型为JPEG文件时，根据时间戳、序列号和M标志确定对应所述JPEG文件的完整的视频帧，将所述完整的视频帧的内容分离出来，得到所述JPEG文件，将所述JPEG文件以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中。
RTP第二分离模块用于在所述多媒体类型为H263或H261视频文件时，根据时间戳、序列号和M标志确定所述H263或H261视频文件中的部分完整内码帧，将所述内码帧的内容分离出来，得到所述H263或H261视频文件中的部分静态图片，将所述静态图片以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中。
实施例四：基于点到点协议(P2P)传输的信息分离。
基于P2P协议的应用所传输的数据量非常大，其中视频文件占有相当的比例，对这类数据流量进行监控也是目前需要解决的问题。
下面以典型的P2P应用程序BitTorrent(简称BT)为例描述如何监控P2P视频文件传输：
BT在传输一个文件时，通常将文件分割为多个等长的片断(piece)进行传输(文件的最后一个片断可能小于此长度)，片断的长度在.torrent元文件中指定，一般情况下片断的长度为256KB、512KB或1MB。
当BT通过网络设备进行数据传输时，可以监控.torrent元文件，根据该元文件获得片断的大小以及将要传输的BT片断的片断标识(如SHA-1索引)。
网络设备可以根据自身存储器的容量，在一定时期内缓存一定数量的BT piece消息报文以形成一定数量的片断，一旦这些piece消息构成完整的片断后，即可根据该片断的SHA-1信息以及.torrent元文件中的SHA-1信息判断该片断在传输文件中的位置。
如果该片断是文件头片断，则先根据该片断分析视频文件的格式，如果在文件头中包含视频帧的索引，则保存这个片断，即将该片断中包含的文件格式相关信息和所述视频帧索引信息均进行保存；否则，只记录文件格式相关信息后丢弃该片断。
如果该片断是文件的视频数据片断，则判断是否保存有该文件的文件格式相关信息或者以及视频帧索引信息(有些视频解析需要视频帧索引，有些视频解析不需要视频帧索引)，如果已保存，则根据保存的文件格式相关信息或者以及视频帧索引信息，对片断数据进行分析，提取出片断中包含的数据帧(比如H264编码算法中的I帧)形成图片文件。并将图片文件与源IP地址、目的IP地址、访问时间一起加入到监控信息库中。一旦从片断中分离出了监控信息，则释放该片断。
进一步地，可为带有视频帧索引信息的文件头片断配置一定的生存时间，当超过生存时间后释放该片断，一旦文件头被释放，后续的视频帧就不再分离监控信息。
此外，如果一个视频数据片断生成时，设备没有监控到该文件的文件头片断，则可为该视频数据片断配置一定的数据片断生存时间，在生存时间内，如果设备获得了文件头片断，则提取视频数据片断的信息并释放视频数据片断；如果在生存时间内没有得到文件头片断，则释放该视频数据片断。
图8为本实施例四中网络多媒体信息的监控设备的结构示意图。如图8所示，本实施例四中，网络多媒体信息的监控设备中的监控模块和分离模块可分别包括：P2P监控模块和P2P分离模块。
其中，P2P监控模块用于监控P2P元文件，根据所述元文件获取片断的大小以及欲传输片断的片断标识；缓存完整的片断，根据所述完整片断的片断标识及所述P2P元文件中的片断标识判断该完整片断在传输文件中的位置；若所述完整片断为文件头片断且所述文件头中包含视频帧索引，则保存所述片断中包含的文件格式相关信息和所述视频帧索引信息，若所述完整片断为文件头片断且所述文件头中不包含视频帧索引，则保存所述片断的文件格式相关信息；若所述完整片断为文件的视频数据片断，则判断是否保存有该文件的文件格式相关信息或者以及视频帧索引信息，识别出保存有文件格式相关信息或者以及视频帧索引信息的视频数据片断。
P2P分离模块，用于根据所述文件格式相关信息或者以及视频帧索引信息，从所述视频数据片断中提取出视频数据帧，形成图像文件，将所述图像文件以及源IP地址、目的IP地址和访问时间加入到监控信息库中。
进一步地，P2P监控模块可进一步为包含视频帧索引的文件头片断设置第一生存时间，并在超过所述第一生存时间后释放所述文件头片断；和/或，为未保存文件格式相关信息的视频数据片断设置第二生存时间，若在所述第二生存时间内得到了对应的文件头文件，则执行所述从视频数据片断中提取出视频数据帧的操作；否则，释放所述视频数据片断。
可见，本发明实施例中，通过设置监控模块和分离模块理论上可以分离出所有经过该设备的多媒体信息。在实际应用中，由于信息的不完整，比如通过UDP传播的视频流丢失了部分报文，或由于设备处理性能限制，有可能只能分离出部分有效信息等，但即便只能提取出部分图片信息，其在实际应用中也可以起到监控的作用。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1、一种网络多媒体信息的监控方法，其特征在于，该方法包括：
对网络中流通的网络报文进行分析，识别出在网络报文中承载的多媒体信息；
将所述多媒体信息从所述网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中。
2、如权利要求1所述的方法，其特征在于，所述多媒体信息包括：图像信息；
所述访问相关信息包括：访问者和被访问者的信息、以及访问时间信息。
3、如权利要求2所述的方法，其特征在于，所述图像信息包括：图片信息；所述网络报文为超文本传输协议HTTP报文；
所述对网络中流通的网络报文进行分析，识别出承载在网络报文中的多媒体信息包括：判断服务器针对HTTP获取GET请求回应的HTTP应答消息中的内容类型content-Type信息是否为图像image，识别出content-Type信息为image的HTTP报文；
所述将多媒体信息从网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：采集所述content-Type信息为image的HTTP报文中的图片数据，并收集后续的图片数据，直到收集到完整的图片文件，将所述图片文件及提供所述图片文件的服务器信息、浏览该图片文件的用户信息以及浏览时间加入到监控信息库中。
4、如权利要求2所述的方法，其特征在于，所述图像信息包括：视频信息；所述网络报文为超文本传输协议HTTP报文；
所述对网络中流通的网络报文进行分析，识别出承载在网络报文中的多媒体信息包括：判断用户发送的HTTP GET请求中的文件为视频文件时，监控对应该GET请求的传输控制协议TCP连接，判断服务器对所述GET请求的HTTP应答内容的数据部分是否为视频文件格式，识别出数据部分为视频文件格式的HTTP应答；
所述将多媒体信息从网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：在上述HTTP应答内容的数据部分为视频文件格式时，分离出所述视频文件，将所述视频文件以及提供所述视频文件的服务器信息、浏览该视频文件的用户信息以及浏览时间加入到监控信息库中。
5、如权利要求4所述的方法，其特征在于，所述视频文件包括：FLASH文件。
6、如权利要求1所述的方法，其特征在于，所述网络报文为实时传输协议RTP报文；
所述对网络中流通的网络报文进行分析，识别出承载在网络报文中的多媒体信息包括：判断RTP报文中的PT取值对应的文件类型，识别出对应的多媒体类型的PT取值；
所述将多媒体信息从网络报文中进行分离包括：根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息。
7、如权利要求6所述的方法，其特征在于，所述多媒体类型为：JPEG文件；
所述根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息包括：根据时间戳、序列号和M标志确定对应所述JPEG文件的完整的视频帧，将所述完整的视频帧的内容分离出来，得到所述JPEG文件；
所述将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：将所述JPEG文件以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中。
8、如权利要求6所述的方法，其特征在于，所述多媒体类型为：H263或H261视频文件；
所述根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息包括：根据时间戳、序列号和M标志确定所述H263或H261视频文件中的部分完整内码帧，将所述内码帧的内容分离出来，得到所述H263或H261视频文件中的部分静态图片；
所述将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：将所述静态图片以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中。
9、如权利要求2所述的方法，其特征在于，所述网络报文为点到点协议P2P报文；
所述对网络中流通的网络报文进行分析，识别出承载在网络报文中的多媒体信息包括：
监控P2P元文件，根据所述元文件获取片断的大小以及欲传输片断的片断标识；
缓存完整的片断，根据所述完整片断的片断标识及所述P2P元文件中的片断标识判断该完整片断在传输文件中的位置；
若所述完整片断为文件头片断且所述文件头中包含视频帧索引，则保存所述片断中包含的文件格式相关信息和所述视频帧索引信息，若所述完整片断为文件头片断且所述文件头中不包含视频帧索引，则保存所述片断中包含的文件格式相关信息；若所述完整片断为文件的视频数据片断，则判断是否保存有该文件的文件格式相关信息或者以及视频帧索引信息，识别出保存有文件格式相关信息或者以及视频帧索引信息的视频数据片断；
所述将多媒体信息从网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中包括：根据所述文件格式相关信息或者以及视频帧索引信息，从所述视频数据片断中提取出视频数据帧，形成图像文件，将所述图像文件以及源IP地址、目的IP地址和访问时间加入到监控信息库中，并释放所述视频数据片断。
10、如权利要求9所述的方法，其特征在于，该方法进一步包括：为包含视频帧索引的文件头片断设置第一生存时间，并在超过所述第一生存时间后释放所述文件头片断；
和/或，
为未保存文件格式相关信息的视频数据片断设置第二生存时间，若在所述第二生存时间内得到了对应的文件头文件，则执行所述从视频数据片断中提取出视频数据帧的操作；否则，释放所述视频数据片断。
11、一种网络多媒体信息的监控设备，其特征在于，该设备包括：
监控模块，用于对网络中流通的网络报文进行分析，识别出在网络报文中承载的多媒体信息；
分离模块，用于将所述多媒体信息从所述网络报文中进行分离，将分离出的多媒体信息及其访问相关信息加入到监控信息库中。
12、如权利要求11所述的设备，其特征在于，所述监控模块包括：HTTP第一监控模块，用于判断服务器针对HTTP GET请求回应的HTTP应答消息中的内容类型content-Type信息是否为image，识别出content-Type信息为image的HTTP报文；
所述分离模块包括：HTTP第一分离模块，用于采集所述content-Type信息为image的HTTP报文中的图片数据，并收集后续的图片数据，直到收集到完整的图片文件，将所述图片文件及提供所述图片文件的服务器信息、浏览该图片文件的用户信息以及浏览时间加入到监控信息库中。
13、如权利要求11所述的设备，其特征在于，所述监控模块包括：HTTP第二监控模块，用于判断用户发送的HTTP GET请求中的文件为视频文件时，监控对应该GET请求的传输控制协议TCP连接，判断服务器对所述GET请求的HTTP应答内容的数据部分是否为视频文件格式，识别出数据部分为视频文件格式的HTTP应答；
所述分离模块包括：HTTP第二分离模块，用于在上述HTTP应答内容的数据部分为视频文件格式时，分离出所述视频文件，将所述视频文件以及提供所述视频文件的服务器信息、浏览该视频文件的用户信息以及浏览时间加入到监控信息库中。
14、如权利要求11所述的设备，其特征在于，所述监控模块包括：RTP监控模块，用于判断RTP报文中的PT取值对应的文件类型，识别出对应的多媒体类型的PT取值；
所述分离模块包括：RTP分离模块，用于根据PT取值对应的多媒体类型，从至少一个RTP报文中分离出对应的多媒体信息，将所述多媒体信息以及对应的访问相关信息加入到监控信息库中。
15、如权利要求14所述的设备，其特征在于，所述RTP分离模块包括：RTP第一分离模块，用于在所述多媒体类型为JPEG文件时，根据时间戳、序列号和M标志确定对应所述JPEG文件的完整的视频帧，将所述完整的视频帧的内容分离出来，得到所述JPEG文件，将所述JPEG文件以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中；
和/或，
RTP第二分离模块，用于在所述多媒体类型为H263或H261视频文件时，根据时间戳、序列号和M标志确定所述H263或H261视频文件中的部分完整内码帧，将所述内码帧的内容分离出来，得到所述H263或H261视频文件中的部分静态图片，将所述静态图片以及对应的RTP报文中的源IP地址、目的IP地址和访问时间加入到监控信息库中。
16、如权利要求11所述的设备，其特征在于，所述监控模块包括：P2P监控模块，用于监控P2P元文件，根据所述元文件获取片断的大小以及欲传输片断的片断标识；缓存完整的片断，根据所述完整片断的片断标识及所述P2P元文件中的片断标识判断该完整片断在传输文件中的位置；若所述完整片断为文件头片断且所述文件头中包含视频帧索引，则保存所述片断中包含的文件格式相关信息和所述视频帧索引信息，若所述完整片断为文件头片断且所述文件头中不包含视频帧索引，则保存所述片断中包含的文件格式相关信息；若所述完整片断为文件的视频数据片断，则判断是否保存有该文件的文件格式相关信息或者以及视频帧索引信息，识别出保存有文件格式相关信息或者以及视频帧索引信息的视频数据片断；
所述分离模块包括：P2P分离模块，用于根据所述文件格式相关信息或者以及视频帧索引信息，从所述视频数据片断中提取出视频数据帧，形成图像文件，将所述图像文件以及源IP地址、目的IP地址和访问时间加入到监控信息库中。
17、如权利要求16所述的设备，其特征在于，所述P2P监控模块进一步为包含视频帧索引的文件头片断设置第一生存时间，并在超过所述第一生存时间后释放所述文件头片断；和/或，为未保存文件格式相关信息的视频数据片断设置第二生存时间，若在所述第二生存时间内得到了对应的文件头文件，则执行所述从视频数据片断中提取出视频数据帧的操作；否则，释放所述视频数据片断。
CNA2008102474558A 2008-12-31 2008-12-31 一种对网络多媒体信息进行监控的方法和设备 Pending CN101465857A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNA2008102474558A CN101465857A (zh) 2008-12-31 2008-12-31 一种对网络多媒体信息进行监控的方法和设备
US12/645,139 US20100169482A1 (en) 2008-12-31 2009-12-22 Method And An Apparatus For Monitoring Multimedia Data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2008102474558A CN101465857A (zh) 2008-12-31 2008-12-31 一种对网络多媒体信息进行监控的方法和设备

Publications (1)

Publication Number Publication Date
CN101465857A true CN101465857A (zh) 2009-06-24

Family

ID=40806219

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008102474558A Pending CN101465857A (zh) 2008-12-31 2008-12-31 一种对网络多媒体信息进行监控的方法和设备

Country Status (2)

Country Link
US (1) US20100169482A1 (zh)
CN (1) CN101465857A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325225A (zh) * 2011-09-20 2012-01-18 北京鹏润鸿途科技有限公司 一种播放手机网站的视频的方法及装置
CN103096166A (zh) * 2011-10-18 2013-05-08 南京中新赛克科技有限责任公司 一种iptv前端监控系统与方法
CN104410905A (zh) * 2014-09-10 2015-03-11 中国人民解放军信息工程大学 一种ip视频实时监控方法与系统
CN114499953A (zh) * 2021-12-23 2022-05-13 中国电子技术标准化研究院 一种基于流量分析的隐私信息智慧安防方法及设备
CN115720242A (zh) * 2022-10-25 2023-02-28 武汉虹旭信息技术有限责任公司 互联网上多媒体信息识别方法、装置及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471890B1 (en) * 2009-12-30 2013-06-25 Insors Integrated Communications Adaptive video communication channel
ES2401270B1 (es) * 2011-03-17 2014-02-25 Vodafone España, S.A.U. Método y entidad de red para descargar vídeo en redes móviles
CN109218752B (zh) * 2017-06-30 2022-04-19 中国电信股份有限公司 视频播放、提供和检测方法及机顶盒、媒体服务器和系统
CN110502666A (zh) * 2019-08-28 2019-11-26 江苏达科信息科技有限公司 一种基于通关数据监控分析处理方法
CN116033198B (zh) * 2023-02-16 2023-06-20 南京红松信息技术有限公司 基于目标帧的多路视频流智能存储的识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7055174B1 (en) * 2001-02-26 2006-05-30 Sprint Spectrum L.P. Method and system for wiretapping of packet-based communications
US20030233462A1 (en) * 2002-05-30 2003-12-18 Herman Chien System and method for providing a digital rights scheme for browser downloads
US20060184454A1 (en) * 2005-02-11 2006-08-17 Mohan Ananda System and method for copy monitoring and automated invoicing
US7697495B2 (en) * 2006-12-20 2010-04-13 Eaton Corporation Packet sniffer node and system including the same to assess wireless communication performance
WO2008090469A2 (en) * 2007-01-22 2008-07-31 Min Tnetap I Göteborg Ab Method and apparatus for obtaining digital objects in a communication network
US7688725B2 (en) * 2007-02-07 2010-03-30 King Fahd University Of Petroleum & Minerals Content-aware congestion control system
US8606846B2 (en) * 2007-10-15 2013-12-10 Nbcuniversal Media, Llc Accelerating peer-to-peer content distribution

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325225A (zh) * 2011-09-20 2012-01-18 北京鹏润鸿途科技有限公司 一种播放手机网站的视频的方法及装置
CN103096166A (zh) * 2011-10-18 2013-05-08 南京中新赛克科技有限责任公司 一种iptv前端监控系统与方法
CN103096166B (zh) * 2011-10-18 2017-07-11 南京中新赛克科技有限责任公司 一种iptv前端监控系统与方法
CN104410905A (zh) * 2014-09-10 2015-03-11 中国人民解放军信息工程大学 一种ip视频实时监控方法与系统
CN114499953A (zh) * 2021-12-23 2022-05-13 中国电子技术标准化研究院 一种基于流量分析的隐私信息智慧安防方法及设备
CN115720242A (zh) * 2022-10-25 2023-02-28 武汉虹旭信息技术有限责任公司 互联网上多媒体信息识别方法、装置及电子设备

Also Published As

Publication number Publication date
US20100169482A1 (en) 2010-07-01

Similar Documents

Publication Publication Date Title
CN101465857A (zh) 一种对网络多媒体信息进行监控的方法和设备
US20230127341A1 (en) Methods and apparatus to credit media presentations for online media distributions
CN103188522B (zh) 提供与传送复合浓缩串流的方法以及系统
US8904268B2 (en) Method, apparatus, and communication system for transmitting graphic information
CN112188225B (zh) 用于直播回放的弹幕下发方法和直播视频弹幕回放方法
CN104735473B (zh) 一种视频流播放的检测方法及装置
CN103546830B (zh) 一种视频地址失效的处理方法及系统
EP3849136A1 (en) Service quality monitoring method, apparatus, and system
CN106921637A (zh) 网络流量中的应用信息的识别方法和装置
US11736750B2 (en) Methods and apparatus to generate reference signatures from streaming media
US8994311B1 (en) System, method, and computer program for segmenting a content stream
US8248940B2 (en) Method and apparatus for targeted content delivery based on internet video traffic analysis
EP2086174A1 (en) A method and system of multimedia service performance monitoring
CN109275045B (zh) 基于dfi的移动端加密视频广告流量识别方法
CN102523296B (zh) 无线网页浏览资源优化方法、装置及系统
CN102769782A (zh) 数字电视收视率回传方法
CN108076385B (zh) 一种推广信息监测数据的上报方法及装置
CN101783817B (zh) 一种网页文本还原系统及方法
CN111327964B (zh) 一种定位视频播放卡顿的方法及设备
CN103678527A (zh) 一种基于视频标题和内容的视频过滤方法和系统
US20160073137A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
KR20160052704A (ko) 관련된 멀티미디어 흐름과의 소셜 메시지의 연관
CN107517237B (zh) 一种视频识别方法和装置
CN104904170B (zh) 有效地对用于低带宽传送的视频流中的要素进行优先化的方法和装置
CN106817619A (zh) 一种识别视频暂停状态，提高ott视频质量监测精度的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090624