CN106326373A - 可信视频在大数据中的抓取方法及系统 - Google Patents

可信视频在大数据中的抓取方法及系统 Download PDF

Info

Publication number
CN106326373A
CN106326373A CN201610668676.7A CN201610668676A CN106326373A CN 106326373 A CN106326373 A CN 106326373A CN 201610668676 A CN201610668676 A CN 201610668676A CN 106326373 A CN106326373 A CN 106326373A
Authority
CN
China
Prior art keywords
search
video
keyword
search results
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610668676.7A
Other languages
English (en)
Inventor
马岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610668676.7A priority Critical patent/CN106326373A/zh
Publication of CN106326373A publication Critical patent/CN106326373A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种可信视频在大数据中的抓取方法,所述方法包括如下步骤:获取需搜索的关键字;提取安全等级在设定等级之上的视频范围,依据该关键字在该视频范围开通百度搜索和谷歌搜索分别依据该关键字进行搜索;将两个搜索结果左右分页显示。本发明提供的技术方案具有有效搜索的优点。

Description

可信视频在大数据中的抓取方法及系统
技术领域
本发明涉及大数据领域,尤其涉及一种可信视频在大数据中的抓取方法及系统。
背景技术
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产,现有的大数据有多样,例如视频数据,如何从视频数据中搜索出想要的数据是一个很值得研究的问题,现有的技术方案无法实现视频数据的有效搜索。
发明内容
本申请提供一种可信视频在大数据中的抓取方法。其解决现有技术的技术方案无法实现视频数据的有效搜索的缺点。
一方面,提供一种可信视频在大数据中的抓取方法,所述方法包括如下步骤:
获取需搜索的关键字,提取安全等级在设定等级之上的视频范围;
依据该关键字在该视频范围开通百度搜索和谷歌搜索分别依据该关键字进行搜索;
将两个搜索结果左右分页显示。
可选的,所述方法还包括:
如两个搜索结果中具有相同的搜索结果,将相同的搜索结果在任一个分页显示。
可选的,所述方法还包括:
将推广的视频屏蔽。
第二方面,提供一种可信视频在大数据中的抓取系统,所述系统包括:
获取单元,用于获取需搜索的关键字,提取安全等级在设定等级之上的视频范围;
搜索单元,用于依据该关键字在该视频范围开通百度搜索和谷歌搜索分别依据该关键字进行搜索;
分页单元,用于将两个搜索结果左右分页显示。
可选的,所述系统还包括:
分配单元,用于如两个搜索结果中具有相同的搜索结果,将相同的搜索结果在任一个分页显示。
可选的,所述系统还包括:
屏蔽单元,用于将推广的视频屏蔽。
本发明提供的技术方案获取需搜索的关键字,依据该关键字开通百度搜索和谷歌搜索分别依据该关键字进行搜索,将两个搜索结果左右分页显示,所以其具有有效搜索的优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明第一较佳实施方式提供的一种可信视频在大数据中的抓取方法的流程图;
图2为本发明第二较佳实施方式提供的一种可信视频在大数据中的抓取系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1是本发明第一较佳实施方式提出的一种可信视频在大数据中的抓取方法,该方法如图1所示,包括如下步骤:
步骤S101、获取需搜索的关键字,提取安全等级在设定等级之上的视频范围;
步骤S102、依据该关键字在该视频范围开通百度搜索和谷歌搜索分别依据该关键字进行搜索;
步骤S103、将两个搜索结果左右分页显示。
本发明提供的技术方案获取需搜索的关键字,依据该关键字开通百度搜索和谷歌搜索分别依据该关键字进行搜索,将两个搜索结果左右分页显示,所以其具有有效搜索的优点。
可选的,上述方法在步骤S103之后还可以包括:
如两个搜索结果中具有相同的搜索结果,将相同的搜索结果在任一个分页显示。
可选的,上述方法在步骤S103之后还可以包括:
将推广的视频屏蔽。
请参考图2,图2是本发明第二较佳实施方式提出的一种可信视频在大数据中的抓取系统,该系统包括:
获取单元201,用于获取需搜索的关键字,提取安全等级在设定等级之上的视频范围;
搜索单元202,用于依据该关键字在该视频范围开通百度搜索和谷歌搜索分别依据该关键字进行搜索;
分页单元203,用于将两个搜索结果左右分页显示。
本发明提供的技术方案获取需搜索的关键字,依据该关键字开通百度搜索和谷歌搜索分别依据该关键字进行搜索,将两个搜索结果左右分页显示,所以其具有有效搜索的优点。
可选的,上述系统还可以包括:
分配单元204,用于如两个搜索结果中具有相同的搜索结果,将相同的搜索结果在任一个分页显示。
可选的,上述系统还可以包括:
屏蔽单元205,用于将推广的视频屏蔽。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本发明实施例所提供的内容下载方法及相关设备、系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种可信视频在大数据中的抓取方法,其特征在于,所述方法包括如下步骤:
获取需搜索的关键字,提取安全等级在设定等级之上的视频范围;
依据该关键字在该视频范围开通百度搜索和谷歌搜索分别依据该关键字进行搜索;
将两个搜索结果左右分页显示。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如两个搜索结果中具有相同的搜索结果,将相同的搜索结果在任一个分页显示。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将推广的视频屏蔽。
4.一种可信视频在大数据中的抓取系统,其特征在于,所述系统包括:
获取单元,用于获取需搜索的关键字,提取安全等级在设定等级之上的视频范围;
搜索单元,用于依据该关键字在该视频范围开通百度搜索和谷歌搜索分别依据该关键字进行搜索;
分页单元,用于将两个搜索结果左右分页显示。
5.根据权利要求4所述的系统,其特征在于,所述系统还包括:
分配单元,用于如两个搜索结果中具有相同的搜索结果,将相同的搜索结果在任一个分页显示。
6.根据权利要求4所述的系统,其特征在于,所述系统还包括:
屏蔽单元,用于将推广的视频屏蔽。
CN201610668676.7A 2016-08-15 2016-08-15 可信视频在大数据中的抓取方法及系统 Pending CN106326373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610668676.7A CN106326373A (zh) 2016-08-15 2016-08-15 可信视频在大数据中的抓取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610668676.7A CN106326373A (zh) 2016-08-15 2016-08-15 可信视频在大数据中的抓取方法及系统

Publications (1)

Publication Number Publication Date
CN106326373A true CN106326373A (zh) 2017-01-11

Family

ID=57740317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610668676.7A Pending CN106326373A (zh) 2016-08-15 2016-08-15 可信视频在大数据中的抓取方法及系统

Country Status (1)

Country Link
CN (1) CN106326373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032254A1 (zh) * 2016-08-15 2018-02-22 马岩 可信视频在大数据中的抓取方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059818A (zh) * 2007-06-26 2007-10-24 申屠浩 加强搜索引擎结果安全性的方法
CN101272381A (zh) * 2008-03-13 2008-09-24 沈沛意 一种为移动终端提供主动安全服务的系统及其安全数据信息分析处理方法
US20140122475A1 (en) * 2012-10-29 2014-05-01 Alibaba Group Holding Limited Search result ranking method and system
CN105683966A (zh) * 2016-01-30 2016-06-15 深圳市博信诺达经贸咨询有限公司 基于大数据的搜索方法及系统
CN105849730A (zh) * 2016-03-25 2016-08-10 马岩 数据抓取的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059818A (zh) * 2007-06-26 2007-10-24 申屠浩 加强搜索引擎结果安全性的方法
CN101272381A (zh) * 2008-03-13 2008-09-24 沈沛意 一种为移动终端提供主动安全服务的系统及其安全数据信息分析处理方法
US20140122475A1 (en) * 2012-10-29 2014-05-01 Alibaba Group Holding Limited Search result ranking method and system
CN105683966A (zh) * 2016-01-30 2016-06-15 深圳市博信诺达经贸咨询有限公司 基于大数据的搜索方法及系统
CN105849730A (zh) * 2016-03-25 2016-08-10 马岩 数据抓取的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018032254A1 (zh) * 2016-08-15 2018-02-22 马岩 可信视频在大数据中的抓取方法及系统

Similar Documents

Publication Publication Date Title
US20170199638A1 (en) Automatic browser tab groupings
CN108255958A (zh) 数据查询方法、装置和存储介质
CN108334628A (zh) 一种新闻事件聚类的方法、装置、设备和储存介质
JP2013510368A (ja) テキストフィルタリングの方法およびシステム
CN106294871A (zh) 一种拍照搜题的方法及装置
CN102339320A (zh) 恶意网页的识别方法以及识别装置
CN103049451B (zh) 网络内容更新的跟踪方法和装置
CN108153895A (zh) 一种基于开放数据的语料库构建方法和系统
CN103020207A (zh) 浏览器标签页分组管理方法及装置
CN103177022A (zh) 一种恶意文件搜索方法及装置
CN109522405A (zh) 文件信息处理方法、电子设备以及计算机可读存介质
CN109922131A (zh) 基于区块链的数据存储方法、装置、设备及存储介质
CN103914487A (zh) 文档的采集、标识及关联的系统
CN106649800A (zh) 一种基于Solr的中文检索方法
CN104933077B (zh) 基于规则的多文件信息分析方法
CN103914486A (zh) 文档的搜索及展现的系统
CN106326373A (zh) 可信视频在大数据中的抓取方法及系统
CN106250554A (zh) 图片大数据的安全搜索方法及系统
CN106294806A (zh) 论坛大数据的安全搜索方法及系统
CN106227888A (zh) 安全等级在大数据抓取中的应用方法及系统
CN106169974A (zh) 本地邮件数据的搜集方法及系统
CN106250551A (zh) 大数据中搜索文字数据的方法及系统
CN106294802A (zh) 音频数据的抓取方法及系统
CN106339425A (zh) 视频大数据的搜索方法及系统
CN103853832B (zh) 一种全文检索系统中可定制的数据抓取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170111

RJ01 Rejection of invention patent application after publication