CN101594241B - 一种网络视频的下载方法及系统 - Google Patents
一种网络视频的下载方法及系统 Download PDFInfo
- Publication number
- CN101594241B CN101594241B CN2009100877830A CN200910087783A CN101594241B CN 101594241 B CN101594241 B CN 101594241B CN 2009100877830 A CN2009100877830 A CN 2009100877830A CN 200910087783 A CN200910087783 A CN 200910087783A CN 101594241 B CN101594241 B CN 101594241B
- Authority
- CN
- China
- Prior art keywords
- video
- internet video
- address
- internet
- website
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种网络视频自动下载方法，该方法对被选择的视频网站和/或频道进行监控，当有更新的网络视频时，则判断网络视频地址是真实地址还是播放地址或播放链接，如果是真实地址，则直接进行下载；如果是播放地址或播放链接，则先通过播放地址或链接打开该网络视频，对经过本地网卡的数据进行嗅探，提取该网络视频的真实地址后再进行下载。本发明还公开了一种网络视频的自动下载系统，包括用于对视频网站和/或频道进行监控的视频网站监控模块；用于下载更新的网络视频的网络视频下载模块；以及用于存储已下载过的网络视频相关信息的数据库。本发明实现了自动下载更新的网络视频的功能，为用户观看网络视频提供了便利。
Description
技术领域
本发明涉及计算机网络技术，尤其是涉及网络视频的下载方法及系统。
背景技术
随着互联网技术的发展，各种视频网站越来越多，用户可以通过视频网站进行视频共享。但是，视频网站往往仅提供在线观看的功能，而隐藏了视频的真实地址，用户不能直接得到视频的真实网络地址，因此用户在观看网络视频时只能通过相关网页进行在线观看，而不能将其下载到本地计算机。有些视频网站虽然也提供了相应的视频下载软件，但这些软件只是针对对应的网站，无法下载其他视频网站中的视频。
一方面，当需要重复观看曾经看过的视频时也只能重新登陆该视频所在的视频网站，不仅使用不便，而且造成了网络流量的浪费，同时还要受到网速等不确定因素的影响。
另一个方面，由于视频网站很多，如果用户希望看到更多更新的视频就需要登陆各个视频网站，对更新的视频进行一一查找，这样不但会浪费用户的时间，而且也不能在视频网站更新的第一时间内观看视频。
发明内容
针对现有技术中存在的缺陷，本发明的目的之一是提供一种能够在视频网站隐藏了网络视频真实地址并且没有提供网络视频下载功能的情况下下载网络视频的方法。该方法首先通过播放地址或播放链接打开网络视频，对经过本地网卡的数据进行嗅探，提取出该网络视频的真实地址，然后进行下载。
本发明的又一目的是提供一种网络视频的自动下载方法，该方法能够在一个或多个视频网站更新时，自动下载被更新的网络视频。该方法对被选择的一个或多个视频网站和/或一个或多个视频网站中的一个或多个频道进行监控，判断被监控的视频网站和/或频道是否有更新的网络视频；当被监控的视频网站和/或频道有更新的网络视频时，则判断网络视频地址是真实地址还是播放地址或播放链接，如果是真实地址，则直接进行下载；如果是播放地址或播放链接，则先通过播放地址或播放链接打开该网络视频，对经过本地网卡的数据进行嗅探，提取该网络视频的真实地址，然后再进行下载；下载完毕后将该网络视频的相关信息存储到数据库中。
本发明的再一目的是提供一种能够在一个或多个视频网站更新时，自动下载被更新的网络视频的系统。该系统包括以下模块：视频网站监控模块(11)，用于对一个或多个视频网站和/或一个或多个视频网站中的一个或多个频道进行监控，判断被监控的视频网站和/或频道是否有更新的网络视频；网络视频下载模块(12)，用于判断网络视频地址是真实地址还是播放地址或播放链接，如果是真实地址，则直接进行下载；如果是播放地址或播放链接，则先通过播放地址或播放链接打开该网络视频，对经过本地网卡的数据进行嗅探，提取该网络视频的真实地址，然后再进行下载；以及数据库(14)，用于存储已下载过网络视频的相关信息。
本发明所述方法及系统，通过对经过本地网卡数据进行嗅探的方式来获得网络视频真实地址，实现了下载隐藏真实地址后的网络视频的功能，当用户重复观看同一网络视频时，无需重新登陆视频网站进行在线观看，减少了网络流量的消耗；通过监控网站和/或频道的方式，实现了自动下载更新的网络视频的功能，节省了用户登陆网站、查找相关视频的时间，能够在视频网站更新的第一时间内观看更新的网络视频，为用户观看网络视频提供了便利。
附图说明
图1是实施例中一种网络视频自动下载系统的结构示意图；
图2是实施例中一种网络视频自动下载方法的流程示意图。
具体实施方式
本发明的核心思想是：对用户选择的所有视频网站和/或频道进行监控，当被监控的视频网站和/或频道有更新的网络视频时，自动进行下载；如果视频网站没有提供网络视频的真实地址，则通过打开网络视频，对经过本地网卡数据进行嗅探的方式，提取出网络视频的真实地址，然后再进行下载。
下面结合具体实施方式和附图，对本发明进行详细描述。
图1出示了本发明所述系统的一种实施方式的结构，包括视频网站监控模块11、网络视频下载模块12、本地磁盘15和数据库14。视频网站监控模块11用于对一个或多个视频网站和/或一个或多个视频网站中的一个或多个频道进行监控，判断被监控的视频网站和/或频道是否有更新的网络视频。网络视频下载模块12用于下载更新的网络视频。本地磁盘15用于存储网络视频下载模块12下载的网络视频。数据库14用于存储已下载过的网络视频的相关信息，如网络视频的标题、图片、地址等。
下载的网络视频一般为flv格式，有时用户希望将下载的网络视频转存到手机或MP4等手持设备中，但直接下载的flv格式的网络视频无法在这些手持设备中播放，因此为了方便用户使用，本系统还提供了格式转换模块13，用于将下载的网络视频文件转换成用户想要的视频格式。
图2出示了本发明所述方法的一种实施方式的流程，包括以下步骤：
(1)视频网站监控模块11对一个或多个视频网站和/或一个或多个视频网站中的一个或多个频道进行监控。
现有的大多数视频网站都是按照频道来对视频进行分类，例如电影、电视剧、动漫、娱乐、体育等。有些频道下又包含很多小的分类，如电影又可以分为动作、科幻、恐怖、喜剧、爱情、战争等。用户可以选择对一个或多个网站进行监控，也可以选择对一个或多个网站的某个或某些频道进行监控。
视频网站监控模块11定时分析被监控网站或频道的所有网页，如每隔10分钟、30分钟或60分钟分析一次。根据网页的格式识别网页包含的各种元素，提取网络视频的相关信息，包括网络视频的标题、图片、地址等。由于现有的视频网站几乎都是采用动态网页的形式，所以可以非常方便的按照动态网页的格式提取网络视频的相关信息。
在提取网络视频相关信息之前，为了提高效率，可以先对网页进行过滤，剔除网页中多余的信息，即不可能包含网络视频相关信息的信息。
提取网络视频相关信息后，在数据库14中查询该网络视频相关信息是否存在记录。如果存在，则说明该网络视频已经被下载过；如果不存在，则说明该网络视频是更新的网络视频。重复上述过程，直到分析完所有被监控网站或频道中的网页。
如果对多个视频网站或多个频道进行监控，则可以定时依次对所有被监控网站或频道进行分析。如在一个周期内，先分析视频网站1、再分析视频网站2、再分析视频网站n，依次轮流进行。
(2)网络视频下载模块12将更新的网络视频下载到本地磁盘15中指定的目录下。
现有的视频网站中一般会通过两种形式来给出网络视频的链接地址。
一种是直接给出网络视频的真实地址，只是下载网络视频的协议不同而已。这种情况下，只需要按照相应的协议对网络视频进行下载即可。
另一种是现在比较常用的方式，即只给出网络视频的播放地址，通过播放地址可以在线观看网络视频。但是该地址并不是网络视频的真实地址，无法使用现在常用的下载工具进行下载。这种情况下虽然只有网络视频的播放地址，但是当打开该播放地址时是可以观看相关视频的，这就说明本地计算机在打开播放地址的过程中获得了网络视频的真实地址。因此本发明采用网卡嗅探的方式，在打开播放地址后截获经过本地网卡的数据，然后对截获的数据进行分析，提取网络视频的真实地址。
在请求播放网络视频时，一般是通过http协议来获得网络视频所在服务器的真实地址，因此只需要从截获的网卡数据中过滤出http协议数据包，然后对http协议数据包进行分析。在请求网络视频真实地址的过程中，通常采用GET或者POST方法来获得，因此可以根据该规则对http协议数据包作进一步过滤，过滤出GET或者POST方法数据包。由于网络视频一般是flv格式，因此可以对GET或者POST方法数据包中的URI(Universal ResourceIdentifier，通用资源标志符)进行解析，解析出“.flv”后缀的数据包，则该数据包便是包含网络视频真实地址的数据包，从该数据包中得到网络视频的真实地址后采用http协议便可以下载到相应的网络视频文件。在下载网络视频之前，也可以询问用户是否下载该网络视频，在得到用户确认后，再进行手动或者自动下载。
以如下的网络视频地址为例对上述过程进行举例说明：
http://v.youku.com/v_show/id_XODE4NjY3MTY＝.html，这种地址便是隐藏了真实地址的播放地址。首先通过该地址打开网络视频，截取经过网卡的数据，过滤出http协议数据包，如下所示：
Hypertext Trahster Protocol
GET http://122.225.117.12/197111e76024/020064010049D40EDDEAA60097E12DB709D393-364A-0F80-2720-C0B4ED5E2399.flv HTTP/1.1\r\n
Request Method：GET
Request URI http://122.225.117.12/197111e76024/020064010049D40EDDEAA60097E12DB709D393-364A-0F80-2720-C0B4ED5E2399.flv
Request Version：HTTP/1.1
Accept：*/*\r\n
Accept-language：zh-CN\r\n
Referer：http://static.youku.com/v 1.0.0025/v/swf/qplayer.swf\r\n
x-flash-version：10，0，22，87\r\n
ACCEPT-Encoding：gzip，deflate\r\n
对上述http协议数据包进一步过滤，过滤出GET方法数据包，如下所示：
GET http://122.225.117.12/197111e76024/020064010049D40EDDEAA60097E12DB709D393-364A-0F80-2720-C0B4ED5E2399.flv HTTP/1.1\r\n
Request Method：GET
Request URI http://122.225.117.12/197111e76024/020064010049D40EDDEAA60097E12DB709D393-364A-0F80-2720-C0B4ED5E2399.flv
Request Version：HTTP/1.1
然后，对GET方法数据包中的URI进行解析，得到网络视频的真实地址为：http://122.225.117.12/197111e76024/020064010049D40EDDEAA60097E12DB709D393-364A-0F80-2720-C0B4ED5E2399.flv。
有些视频网站将播放地址也进行了隐藏，仅仅提供了网络视频的播放链接，这种情况与提供播放地址的处理方式相同。
由于不同的视频网站提供的网络视频地址存在差异，因此在自动下载网络视频之前，需要先判断网络视频地址是真实地址还是非真实地址(播放地址或播放链接)。网络视频的真实地址具有以下两个特点：一个是地址中包含网络视频文件类型后缀；另一个是地址前面包含网络视频传输协议头，如MMS(Microsoft Media Server Protocol，微软媒体服务器协议)或者RTSP(RealTime Streaming Protocol，实时流协议)等。由于网络视频文件类型和网络视频传输协议的有限性，因此可以通过枚举的方式进行判断，即判断地址中是否包含网络视频文件类型后缀或者地址前面是否包含网络视频传输协议头。如果不包含，则认为网络视频地址为非真实地址。
下载完网络视频后，将该网络视频的相关信息按照频道和发布时间等属性存入到数据库14中。重复上述过程，直到下载完被监控网站或频道中所有更新的网络视频。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种网络视频的自动下载方法，其特征在于：该方法对被选择的一个或多个视频网站和/或一个或多个视频网站中的一个或多个频道进行监控，判断被监控的视频网站和/或频道是否有更新的网络视频；
当被监控的视频网站和/或频道有更新的网络视频时，则判断网络视频地址是真实地址还是播放地址或播放链接，如果是真实地址，则直接进行下载；
如果是播放地址或播放链接，则先通过播放地址或播放链接打开该网络视频，对经过本地网卡的数据进行嗅探，提取该网络视频的真实地址，然后再进行下载；
下载完毕后将该网络视频的相关信息存储到数据库中。
2.如权利要求1所述的一种网络视频的自动下载方法，其特征在于，判断被监控的视频网站和/或频道是否有更新的网络视频的方法包括以下步骤：
(1)根据被监控的视频网站和/或频道采用的网页格式识别网页中的各种元素，提取网络视频相关信息；
(2)查询存储下载过网络视频相关信息的数据库，判断步骤(1)中提取的网络视频相关信息是否在数据库中存在记录，如果数据库中不存在，则该网络视频为更新的网络视频。
3.如权利要求2所述的一种网络视频的自动下载方法，其特征在于：步骤(1)中在提取网络视频相关信息之前，先对网页进行过滤，剔除网页中不可能包含网络视频相关信息的信息。
4.如权利要求1所述的一种网络视频的自动下载方法，其特征在于：下载完毕后将网络视频的相关信息按照频道和发布时间存储到数据库中。
5.如权利要求1至4之一所述的一种网络视频的自动下载方法，其特征在于：在下载网络视频之前询问用户是否下载该网络视频，在得到用户确认后，再自动下载。
6.如权利要求1至4之一所述的一种网络视频的自动下载方法，其特征在于，所述对经过本地网卡的数据进行嗅探，提取该网络视频的真实地址的方法包括以下步骤：
(1)截取经过本地网卡的数据；
(2)从经过本地网卡的数据中过滤出http协议数据包；
(3)从http协议数据包中过滤出请求网络视频真实地址的数据包；
(4)解析请求网络视频真实地址的数据包中的通用资源标志符，解析出含有网络视频格式后缀的数据包；
(5)从含有网络视频格式后缀的数据包中得到网络视频的真实地址。
7.一种网络视频的自动下载系统，包括以下模块：
视频网站监控模块(11)，用于对一个或多个视频网站和/或一个或多个视频网站中的一个或多个频道进行监控，判断被监控的视频网站和/或频道是否有更新的网络视频；
网络视频下载模块(12)，用于判断网络视频地址是真实地址还是播放地址或播放链接，如果是真实地址，则直接进行下载；如果是播放地址或播放链接，则先通过播放地址或播放链接打开该网络视频，对经过本地网卡的数据进行嗅探，提取该网络视频的真实地址，然后再进行下载；以及
数据库(14)，用于存储已下载过网络视频的相关信息。
8.如权利要求7所述的一种网络视频的自动下载系统，其特征在于：所述系统还包括格式转换模块(13)，用于将下载的网络视频文件转换成其他格式的视频文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100877830A CN101594241B (zh) | 2009-06-26 | 2009-06-26 | 一种网络视频的下载方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100877830A CN101594241B (zh) | 2009-06-26 | 2009-06-26 | 一种网络视频的下载方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101594241A CN101594241A (zh) | 2009-12-02 |
| CN101594241B true CN101594241B (zh) | 2011-06-15 |
Family
ID=41408701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100877830A Expired - Fee Related CN101594241B (zh) | 2009-06-26 | 2009-06-26 | 一种网络视频的下载方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101594241B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143121B (zh) * | 2010-01-29 | 2016-04-06 | 北京搜狗科技发展有限公司 | 视频下载的方法及装置 |
| CN101866346A (zh) * | 2010-03-01 | 2010-10-20 | 宇龙计算机通信科技(深圳)有限公司 | 一种终端媒体库的更新方法及终端 |
| CN101977218B (zh) * | 2010-10-20 | 2013-11-27 | 深圳市融创天下科技股份有限公司 | 一种互联网播放文件转码方法和系统 |
| CN102098327A (zh) * | 2010-12-15 | 2011-06-15 | 百度在线网络技术（北京）有限公司 | 在线视频嗅探下载方法及装置 |
| CN103905915B (zh) * | 2010-12-15 | 2017-06-16 | 北京小度互娱科技有限公司 | 在线视频嗅探下载方法及装置 |
| CN102769638B (zh) * | 2011-05-05 | 2016-08-24 | 腾讯科技（深圳）有限公司 | 一种下载文件的方法、装置及系统 |
| CN102306077A (zh) * | 2011-08-04 | 2012-01-04 | 深圳市万兴软件有限公司 | 一种在mac平台浏览器中实现视频下载的方法及浏览器 |
| CN102880674A (zh) * | 2012-09-10 | 2013-01-16 | 杭州电子科技大学 | 基于视频网站的主题类视频自动采集方法 |
| CN103458065B (zh) * | 2013-09-10 | 2016-09-28 | 深圳市佳创视讯技术股份有限公司 | 一种HTML5标准下基于Webkit内核的视频地址提取方法 |
| CN103680257B (zh) * | 2013-11-29 | 2016-08-31 | 广州三人行壹佰教育科技有限公司 | 通信软件自动录制课程的方法及其系统 |
| CN104980770A (zh) * | 2014-04-09 | 2015-10-14 | 杭州迪普科技有限公司 | 一种视频数据内容下载方法以及装置 |
| CN104581384A (zh) * | 2014-12-19 | 2015-04-29 | 阳珍秀 | 一种网络视频下载的方法及系统 |
| CN105872742A (zh) * | 2015-11-30 | 2016-08-17 | 乐视网信息技术（北京）股份有限公司 | 网络视频下载方法和用户终端设备 |
| CN106851413A (zh) * | 2015-12-07 | 2017-06-13 | 北京奇虎科技有限公司 | 视频处理方法和移动终端 |
| CN105447197B (zh) * | 2015-12-29 | 2021-09-28 | 腾讯科技（深圳）有限公司 | 一种对视频的下载处理方法、装置及智能终端 |
| CN105763893A (zh) * | 2016-01-15 | 2016-07-13 | 北京傲游天下科技有限公司 | 一种下载页面播放器中播放的视频方法 |
| CN107277031A (zh) * | 2017-06-30 | 2017-10-20 | 广东欧珀移动通信有限公司 | 一种网络视频下载方法、装置、存储介质和终端 |
| CN111368135B (zh) * | 2020-02-24 | 2023-09-05 | 郑州阿帕斯数云信息科技有限公司 | 视频嗅探方法和装置 |
-
2009
- 2009-06-26 CN CN2009100877830A patent/CN101594241B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101594241A (zh) | 2009-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101594241B (zh) | 一种网络视频的下载方法及系统 | |
| CN101635826B (zh) | 一种获取网络音视频节目地址的方法 | |
| CN101908048B (zh) | 一种互联网影视内容搜索的方法及系统 | |
| CN101595481B (zh) | 用于在电子装置上促进信息搜索的方法和系统 | |
| CN102662703B (zh) | 一种应用程序插件加载方法及装置 | |
| US9716908B2 (en) | Distributing media content via media channels based on associated content being provided over other media channels | |
| CN101179474B (zh) | 一种下载方法、系统及装置 | |
| US10262341B2 (en) | Resource downloading method and device | |
| CN103200206A (zh) | 一种展示广告的方法及客户端 | |
| US20160066005A1 (en) | Methods and apparatus to identify remote presentation of streaming media | |
| CN101616166B (zh) | 在互联网中用于高速下载多媒体内容的方法与装置 | |
| CN102098234A (zh) | 基于即时通信消息中超链接提供目标内容的方法与设备 | |
| CN104144357B (zh) | 视频播放方法和系统 | |
| CN102131110B (zh) | 一种iptv内容发布系统和方法 | |
| CN104244079A (zh) | 一种视频下载方法及装置 | |
| CN102938789A (zh) | 一种移动互联网手机应用下载组合分析方法和装置 | |
| CN104394475A (zh) | 一种流媒体文件的播放方法及媒体播放器 | |
| US20150058452A1 (en) | Video loading method, device and system of mobile terminal | |
| CN102750352A (zh) | 浏览器中分类收藏历史访问记录的方法及装置 | |
| CN104768066A (zh) | 数据下载方法、装置和终端 | |
| CN103823907A (zh) | 一种整合在线视频资源地址的方法、装置及引擎 | |
| CN103686242A (zh) | 视频播放方法及系统 | |
| CN103458065A (zh) | 一种HTML5标准下基于Webkit内核的视频地址提取方法 | |
| CN113038153A (zh) | 金融直播违规检测方法、装置、设备及可读存储介质 | |
| CN109558305B (zh) | 日志数据排序方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220914 Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee after: Peking University Patentee after: New founder holdings development Co.,Ltd. Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District Patentee before: Peking University Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110615 |