CN102200979A - 一种分布式并行信息检索系统及其方法 - Google Patents
一种分布式并行信息检索系统及其方法 Download PDFInfo
- Publication number
- CN102200979A CN102200979A CN2010101329554A CN201010132955A CN102200979A CN 102200979 A CN102200979 A CN 102200979A CN 2010101329554 A CN2010101329554 A CN 2010101329554A CN 201010132955 A CN201010132955 A CN 201010132955A CN 102200979 A CN102200979 A CN 102200979A
- Authority
- CN
- China
- Prior art keywords
- retrieval
- data
- server
- parallel information
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
采用本发明所述的一种分布式并行信息检索系统及其方法，其数据采集单元从internet上采集数据，索引单元对采集到的数据进行加工和组织，建立起适合检索的数据结构和存储方式，检索单元对用户提交的查询进行分析处理，进行相似度计算和排名，并对查询结果进行整理，利用并行处理和分布式处理技术进行海量数据检索。
Description
技术领域
本发明涉及信息检索系统领域，特别涉及一种分布式并行信息检索系统及其方法。
背景技术
随着计算机的普及和网络的日益发展，数字化信息爆炸式增长。以WEB网页为例，据可靠估计，WEB网页的增长速度可以达到每6个月翻一番。到2004年年底，最大的搜索引擎可以索引到的WEB网页的数目大概为80亿-100亿左右。而这个数字只占到整个WEB网页数目的很小一部分。搜索引擎能够搜索到的大部分网页都称为表层页面。据研究，WEB中的深层页面(如：需要权限才能进入的网页、对网络数据库的查询和调用的返回页面、网络上的图像、音频、视频等多媒体文档和各种格式的文档、软件等等)的大小大概是可见WEB页面大小的400到500倍。另外，很多大公司的内部Intranet甚至个人都拥有大量的电子文档。所有这些数字都说明，WEB上的数字化信息实在是大得惊人。一方面，这些地理位置分散的异构数字化信息中包含了大量宝贵的资源，用户迫切地需要从这些信息中找到所需信息；另一方面，虽然单台计算机的处理能力不断提高，但是在如此大规模的条件下，要对这样海量的信息进行检索，单台计算机的处理能力毕竟有限，特别需要多台计算机进行“团队作战”。而并行计算和分布式计算能够利用多台计算机或者多个处理器的计算或存储资源来解决大规模问题。因此，将并行处理或者分布式处理技术引入到信息检索当中，便成为了信息检索领域急需解决的技术问题。
发明内容
本发明的目的是提供一种分布式并行信息检索系统及其方法，其采用并行处理和分布式处理技术对互联网上的信息进行检索。
一方面，本发明提供一种分布式并行信息检索系统，包括：数据采集单元，索引单元和检索单元，所述数据采集单元从internet上采集数据，所述索引单元对采集到的数据进行加工和组织，建立起适合检索的数据结构和存储方式，所述检索单元对用户提交的查询进行分析处理，进行相似度计算和排名，并对查询结果进行整理。
所述数据采集单元包括三层结构：
第一层为采集器，所述采集器为数据数据采集单元的终端数据采集装置；
第二层为采集控制器，所述采集控制器用以管理和分配任务给多个采集器；
第三层为数据存储服务器，所述数据服务器用以存储采集器提交的数据。
所述采集器与采集控制器之间采用分布式的网络结构，由采集控制器定义采集器的异构化数据标准，并进行数据采集的数据集划分，。
所述各采集器之间采用并行式的网络结构连接，同时进行多进程数据采集并传输到数据存储服务器。
所述索引单元包括数个索引服务器，所述索引服务器与数据采集单元和检索单元相连，索引服务器之间采用并行式的网络结构连接以进行并发式的编码识别、转换、分词、索引等工作。
所述检索单元采用分布式的网络结构，包括三层：
第一层为客户端，所述客户端为用户进行检索操作和接收检索结果的装置；
第二层为检索控制器：所述检索控制器接受到多个客户端的查询请求后分发给检索服务器，并对检索服务器返回的结果进行合并传回客户端；
第三层为检索服务器，所述检索服务器执行检索控制器分发的检索任务并返回检索结果，同时对检索结果进行分析和处理，同时进行检索结果相似度的分析和排名。
所述客户端采用瘦客户端方式，只要一次部署，客户端每次启动都会自动更新，并具有数据批量操作功能。
另一方面，本发明还提供一种分布式并行信息检索方法，包括：
建立数据采集单元，所述数据采集单元从internet上采集数据；
建立索引单元，所述索引单元对采集到的数据进行加工和组织，建立起适合检索的数据结构和存储方式；
建立所述检索单元对用户提交的查询进行分析处理，进行相似度计算和排名，并对查询结果进行整理。
所述建立数据采集单元还包括以下步骤：
建立采集器，所述采集器为数据数据采集单元的终端数据采集装置；
建立采集控制器，所述采集控制器用以管理和分配任务给多个采集器；
建立数据存储服务器，所述数据服务器用以存储采集器提交的数据。
所述采集器与采集控制器之间采用分布式的网络结构，由采集控制器定义采集器的异构化数据标准，并进行数据采集的数据集划分，。
所述各采集器之间采用并行式的网络结构连接，同时进行多进程数据采集并传输到数据存储服务器。
所述索引单元包括数个索引服务器，所述索引服务器与数据采集单元和检索单元相连，索引服务器之间采用并行式的网络结构连接以进行并发式的编码识别、转换、分词、索引等工作。
所述建立检索单元还包括三个步骤：
建立客户端，所述客户端为用户进行检索操作和接收检索结果的装置；
建立检索控制器：所述检索控制器接受到多个客户端的查询请求后分发给检索服务器，并对检索服务器返回的结果进行合并传回客户端；
建立检索服务器，所述检索服务器执行检索控制器分发的检索任务并返回检索结果，同时对检索结果进行分析和处理，同时进行检索结果相似度的分析和排名。
所述客户端采用瘦客户端方式，只要一次部署，客户端每次启动都会自动更新，并具有数据批量操作功能。
采用本发明所述的一种分布式并行信息检索系统及方法，其数据采集单元从internet上采集数据，索引单元对采集到的数据进行加工和组织， 建立起适合检索的数据结构和存储方式，检索单元对用户提交的查询进行分析处理，进行相似度计算和排名，并对查询结果进行整理，利用并行处理和分布式处理技术进行海量数据检索，从而解决了传统的检索系统不能“团队作战”进行海量的信息检索的缺点。
附图说明
图1是本发明所述系统的原理示意图；
图2是本发明所述方法流程示意图。
具体实施方式
下面结合附图和实施例进一步说明本发明的技术方案。
参照图1，图1显示了一种分布式并行信息检索系统100，包括：
数据采集单元110，所述数据采集单元110负责从internet111上采集数据，包括三层结构：第一层为采集器112，所述采集器112也称为(网络蜘蛛或者网络机器人)是数据数据采集单元110的终端数据采集装置，所述单个采集器112采用了多进程，多线程的方式对Web网站进行高效的数据采集工作；第二层为采集控制器113，所述采集控制器113用以管理和分配任务给多个采集器112；第三层为数据存储服务器114，所述数据存储服务器114用以存储采集器112提交的数据。采集器112与采集控制器113之间采用分布式的网络结构，由采集控制器113定义采集器112的异构化数据标准，并进行数据采集的数据集划分。为了解决异构化数据标准问题，本系统110采用XML作为公共数据模型，通过WebService实现中间件集成，以达到各种结构化、半结构化和非结构化数据资源的共享。所述各采集器112之间采用并行式的网络结构连接，同时进行多进程数据采集并传输到数据存储服务器114。
索引单元120，包括数个索引服务器121，所述索引服务器121与数据采集单元110和检索单元130相连，索引服务器121之间采用并行式的网络结构连接。索引单元120获取数据以后，要进行一系列的加工处理，包括编码识别、转换、分词、索引等工作。为了充分挖掘计算机处理器的处理能力和 避免磁盘I/O的瓶颈，通过分析索引建立的过程可以发现建立索引的几个模块之间一些主要消耗CPU和主要消耗I/O处理时间的操作，它们之间可以进行并发操作来充分利用资源。为此，我们采用一种称为流水线的并行快速索引方法，能够大大提高索引的效率。目前这种方法的优点在实践中已经得到印证。
检索单元130，用以对用户提交的查询进行分析处理，进行相似度计算和排名，并对查询结果进行整理。所述数据检索单元130包括三层结构：
第一层为客户端133，所述客户端133为用户进行检索操作和接收检索结果的装置，所述客户端133采用瘦客户端方式，只要一次部署，客户端133每次启动都会自动更新，并具有数据批量操作功能。
第二层为检索控制器132：所述检索控制器132接受到多个客户端133的查询请求后分发给检索服务器131，并对检索服务器131返回的结果进行合并传回客户端133。
第三层为检索服务器131，所述检索服务器131执行检索控制器132分发的检索任务并返回检索结果，同时对检索结果进行分析和处理，同时进行检索结果相似度的分析和排名。
多个用户的并发查询通过查询控制器分发给检索服务器131。查询控制器将每个检索服务器131返回的结果进行合并，再回送给用户。这样，在对大规模并发请求情况下的检索服务器131性能得到了有效的保障。在进行数据分割时，我们采用了自动语义聚类的方法。为避免全局统计量传输的复杂性，我们实现了一种基于平均分布的分割方法。这种方法中每个子集合的局部统计信息能够基本反映全局的统计信息，从而避免了全局统计量传输的复杂性。对于相似度的计算，我们采用了向量空间模型、概率模型和统计语言模型。针对WEB的链接关系，通过针对分析、社区(Community)挖掘、WEB图分析等方面也做出了相似度的排名。
参见图2，本发明还提供一种分布式并行信息检索方法200，包括：
建立数据采集单元110，所述数据采集单元110从internet上采集数据；
建立索引单元120，所述索引单元120对采集到的数据进行加工和组织，建立起适合检索的数据结构和存储方式；
建立所述检索单元130对用户提交的查询进行分析处理，进行相似度计算和排名，并对查询结果进行整理。
所述建立数据采集单元110还包括以下步骤：
建立采集器112，所述采集器112为数据数据采集单元110的终端数据采集装置；
建立采集控制器113，所述采集控制器113用以管理和分配任务给多个采集器112；
建立数据存储服务器114，所述数据服务器用以存储采集器112提交的数据。
所述建立检索单元130还包括三个步骤：
建立客户端133，所述客户端133为用户进行检索操作和接收检索结果的装置；
建立检索控制器132：所述检索控制器132接受到多个客户端133的查询请求后分发给检索服务器131，并对检索服务器131返回的结果进行合并传回客户端133；
建立检索服务器131，所述检索服务器131执行检索控制器132分发的检索任务并返回检索结果，同时对检索结果进行分析和处理，同时进行检索结果相似度的分析和排名。
需要指出的是，本发明所述的一种分布式并行信息检索系统100和一种分布式并行信息检索方法200，两者在原理和实施例上是相同或类似的，故其重复部分不再赘述。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上实施例的变化、变型都将落在本发明的权利要求书范围内。
Claims (14)
1.一种分布式并行信息检索系统，其特征在于包括数据采集单元，索引单元和检索单元，所述数据采集单元从internet上采集数据，所述索引单元对采集到的数据进行加工和组织，建立起适合检索的数据结构和存储方式，所述检索单元对用户提交的查询进行分析处理，进行相似度计算和排名，并对查询结果进行整理。
2.如权利要求1所述的一种分布式并行信息检索系统，其特征在于，所述数据采集单元包括以下三层结构：
第一层为采集器，所述采集器为数据数据采集单元的终端数据采集装置；
第二层为采集控制器，所述采集控制器用以管理和分配任务给多个采集器；
第三层为数据存储服务器，所述数据服务器用以存储采集器提交的数据。
3.如权利要求2所述的一种分布式并行信息检索系统，其特征在于，所述采集器与采集控制器之间采用分布式的网络结构，由采集控制器定义采集器的异构化数据标准，并进行数据采集的数据集划分。
4.如权利要求2所述的一种分布式并行信息检索系统，其特征在于，所述各采集器之间采用并行式的网络结构连接，同时进行多进程数据采集并传输到数据存储服务器。
5.如权利要求1所述的一种分布式并行信息检索系统，其特征在于，所述索引单元包括数个索引服务器，所述索引服务器与数据采集单元和检索单元相连，索引服务器之间采用并行式的网络结构连接以进行并发式的编码识别、转换、分词、索引等工作。
6.如权利要求1所述的一种分布式并行信息检索系统，其特征在于，所述检索单元采用分布式的网络结构，包括以下三层：
第一层为客户端，所述客户端为用户进行检索操作和接收检索结果的装置；
第二层为检索控制器：所述检索控制器接受到多个客户端的查询请求后分发给检索服务器，并对检索服务器返回的结果进行合并传回客户端；
第三层为检索服务器，所述检索服务器执行检索控制器分发的检索任务并返回检索结果，同时对检索结果进行分析和处理，同时进行检索结果相似度的分析和排名。
7.如权利要求6所述的一种分布式并行信息检索系统，其特征在于，所述客户端采用瘦客户端方式，只要一次部署，客户端每次启动都会自动更新，并具有数据批量操作功能。
8.一种分布式并行信息检索方法，其特征在于：
建立数据采集单元，所述数据采集单元从internet上采集数据；
建立索引单元，所述索引单元对采集到的数据进行加工和组织，建立起适合检索的数据结构和存储方式；
建立所述检索单元对用户提交的查询进行分析处理，进行相似度计算和排名，并对查询结果进行整理。
9.如权利要求8所述的一种分布式并行信息检索方法，其特征在于，所述建立数据采集单元还包括以下步骤：
建立采集器，所述采集器为数据数据采集单元的终端数据采集装置；
建立采集控制器，所述采集控制器用以管理和分配任务给多个采集器；
建立数据存储服务器，所述数据服务器用以存储采集器提交的数据。
10.如权利要求9所述的一种分布式并行信息检索方法，其特征在于，所述采集器与采集控制器之间采用分布式的网络结构，由采集控制器定义采集器的异构化数据标准，并进行数据采集的数据集划分。
11.如权利要求9所述的一种分布式并行信息检索方法，其特征在于，所述各采集器之间采用并行式的网络结构连接，同时进行多进程数据采集并传输到数据存储服务器。
12.如权利要求8所述的一种分布式并行信息检索方法，其特征在于，所述索引单元包括数个索引服务器，所述索引服务器与数据采集单元和检索单元相连，索引服务器之间采用并行式的网络结构连接以进行并发式的编码识别、转换、分词、索引等工作。
13.如权利要求8所述的一种分布式并行信息检索方法，其特征在于，所述建立检索单元还包括三个步骤：
建立客户端，所述客户端为用户进行检索操作和接收检索结果的装置；
建立检索控制器：所述检索控制器接受到多个客户端的查询请求后分发给检索服务器，并对检索服务器返回的结果进行合并传回客户端；
建立检索服务器，所述检索服务器执行检索控制器分发的检索任务并返回检索结果，同时对检索结果进行分析和处理，同时进行检索结果相似度的分析和排名。
14.如权利要求13所述的一种分布式并行信息检索方法，其特征在于，所述客户端采用瘦客户端方式，只要一次部署，客户端每次启动都会自动更新，并具有数据批量操作功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101329554A CN102200979A (zh) | 2010-03-26 | 2010-03-26 | 一种分布式并行信息检索系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101329554A CN102200979A (zh) | 2010-03-26 | 2010-03-26 | 一种分布式并行信息检索系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102200979A true CN102200979A (zh) | 2011-09-28 |
Family
ID=44661663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010101329554A Pending CN102200979A (zh) | 2010-03-26 | 2010-03-26 | 一种分布式并行信息检索系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102200979A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436513A (zh) * | 2012-01-18 | 2012-05-02 | 中国电子科技集团公司第十五研究所 | 分布式检索方法和系统 |
| CN102724290A (zh) * | 2012-05-23 | 2012-10-10 | 华为技术有限公司 | 一种获取目标客户群的方法、设备及系统 |
| CN103064841A (zh) * | 2011-10-20 | 2013-04-24 | 北京中搜网络技术股份有限公司 | 检索装置和检索方法 |
| CN103455531A (zh) * | 2013-02-01 | 2013-12-18 | 深圳信息职业技术学院 | 一种支持高维数据实时有偏查询的并行索引方法 |
| CN103810220A (zh) * | 2012-11-15 | 2014-05-21 | 腾讯科技（深圳）有限公司 | 一种微博搜索方法及装置 |
| CN104268723A (zh) * | 2014-10-20 | 2015-01-07 | 宁波弘泰水利信息科技有限公司 | 一种水库综合管理平台 |
| CN104281893A (zh) * | 2014-10-20 | 2015-01-14 | 宁波弘泰水利信息科技有限公司 | 一种水库洪水预报调度及动态跟踪系统 |
| CN104318370A (zh) * | 2014-10-20 | 2015-01-28 | 宁波弘泰水利信息科技有限公司 | 一种水库安全运行实时监控系统 |
| CN104639659A (zh) * | 2015-03-12 | 2015-05-20 | 浪潮集团有限公司 | 一种基于服务器集群技术的数据抽取转换方法 |
| CN104778200A (zh) * | 2015-01-13 | 2015-07-15 | 东莞中山大学研究院 | 一种结合历史数据的异构处理大数据检索的方法 |
| CN106202224A (zh) * | 2016-06-29 | 2016-12-07 | 北京百度网讯科技有限公司 | 搜索处理方法及装置 |
| CN106611000A (zh) * | 2015-10-26 | 2017-05-03 | 北京神州泰岳软件股份有限公司 | 一种检索资源对象的方法、装置和系统 |
| CN108664495A (zh) * | 2017-03-28 | 2018-10-16 | 广东神马搜索科技有限公司 | 一种多段索引并行检索与算分的检索方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101051309A (zh) * | 2006-04-06 | 2007-10-10 | 中国科学院计算技术研究所 | 在数字图书馆中所采用的检索系统和检索方法 |
| CN101141456A (zh) * | 2007-10-09 | 2008-03-12 | 南京财经大学 | 基于垂直搜索的网络数据挖掘方法 |
| CN101141370A (zh) * | 2007-10-09 | 2008-03-12 | 南京财经大学 | 基于网格服务的电力企业实时数据处理方法 |
| CN101370024A (zh) * | 2007-08-15 | 2009-02-18 | 北京灵图软件技术有限公司 | 信息的分布式采集方法及系统 |
| CN300924915S (zh) * | 2008-03-09 | 2009-05-13 | 尹学谦 | 标贴(maxluxe) |
-
2010
- 2010-03-26 CN CN2010101329554A patent/CN102200979A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101051309A (zh) * | 2006-04-06 | 2007-10-10 | 中国科学院计算技术研究所 | 在数字图书馆中所采用的检索系统和检索方法 |
| CN101370024A (zh) * | 2007-08-15 | 2009-02-18 | 北京灵图软件技术有限公司 | 信息的分布式采集方法及系统 |
| CN101141456A (zh) * | 2007-10-09 | 2008-03-12 | 南京财经大学 | 基于垂直搜索的网络数据挖掘方法 |
| CN101141370A (zh) * | 2007-10-09 | 2008-03-12 | 南京财经大学 | 基于网格服务的电力企业实时数据处理方法 |
| CN300924915S (zh) * | 2008-03-09 | 2009-05-13 | 尹学谦 | 标贴(maxluxe) |
Non-Patent Citations (1)
| Title |
|---|
| 刘怀英: "基于分布式并行计算的搜索引擎的研究与设计", 《中国优秀硕士学位论文全文数据库》, 15 September 2005 (2005-09-15) * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064841A (zh) * | 2011-10-20 | 2013-04-24 | 北京中搜网络技术股份有限公司 | 检索装置和检索方法 |
| CN102436513B (zh) * | 2012-01-18 | 2014-11-05 | 中国电子科技集团公司第十五研究所 | 分布式检索方法和系统 |
| CN102436513A (zh) * | 2012-01-18 | 2012-05-02 | 中国电子科技集团公司第十五研究所 | 分布式检索方法和系统 |
| CN102724290B (zh) * | 2012-05-23 | 2015-01-28 | 华为技术有限公司 | 一种获取目标客户群的方法、设备及系统 |
| CN102724290A (zh) * | 2012-05-23 | 2012-10-10 | 华为技术有限公司 | 一种获取目标客户群的方法、设备及系统 |
| CN103810220A (zh) * | 2012-11-15 | 2014-05-21 | 腾讯科技（深圳）有限公司 | 一种微博搜索方法及装置 |
| CN103810220B (zh) * | 2012-11-15 | 2018-02-27 | 腾讯科技（深圳）有限公司 | 一种微博搜索方法及装置 |
| CN103455531A (zh) * | 2013-02-01 | 2013-12-18 | 深圳信息职业技术学院 | 一种支持高维数据实时有偏查询的并行索引方法 |
| CN103455531B (zh) * | 2013-02-01 | 2016-12-28 | 深圳信息职业技术学院 | 一种支持高维数据实时有偏查询的并行索引方法 |
| CN104318370A (zh) * | 2014-10-20 | 2015-01-28 | 宁波弘泰水利信息科技有限公司 | 一种水库安全运行实时监控系统 |
| CN104281893A (zh) * | 2014-10-20 | 2015-01-14 | 宁波弘泰水利信息科技有限公司 | 一种水库洪水预报调度及动态跟踪系统 |
| CN104268723A (zh) * | 2014-10-20 | 2015-01-07 | 宁波弘泰水利信息科技有限公司 | 一种水库综合管理平台 |
| CN104778200A (zh) * | 2015-01-13 | 2015-07-15 | 东莞中山大学研究院 | 一种结合历史数据的异构处理大数据检索的方法 |
| CN104639659A (zh) * | 2015-03-12 | 2015-05-20 | 浪潮集团有限公司 | 一种基于服务器集群技术的数据抽取转换方法 |
| CN106611000A (zh) * | 2015-10-26 | 2017-05-03 | 北京神州泰岳软件股份有限公司 | 一种检索资源对象的方法、装置和系统 |
| CN106202224A (zh) * | 2016-06-29 | 2016-12-07 | 北京百度网讯科技有限公司 | 搜索处理方法及装置 |
| CN108664495A (zh) * | 2017-03-28 | 2018-10-16 | 广东神马搜索科技有限公司 | 一种多段索引并行检索与算分的检索方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102200979A (zh) | 一种分布式并行信息检索系统及其方法 | |
| US11176114B2 (en) | RAM daemons | |
| US10713247B2 (en) | Executing queries for structured data and not-structured data | |
| Liu et al. | Survey of real-time processing systems for big data | |
| CN102375837B (zh) | 数据采集系统和方法 | |
| US8898150B1 (en) | Collecting image search event information | |
| CN103838867A (zh) | 日志处理方法和装置 | |
| CN103198097B (zh) | 一种基于分布式文件系统的海量地学数据并行处理方法 | |
| KR20160075971A (ko) | 공공민원 데이터 서비스를 위한 빅 데이터 관리시스템 | |
| CN103838785A (zh) | 一种专利领域的垂直搜索引擎 | |
| US20120278354A1 (en) | User analysis through user log feature extraction | |
| CN108228743A (zh) | 一种实时大数据搜索引擎系统 | |
| CN109710767B (zh) | 多语种大数据服务平台 | |
| CN103970871A (zh) | 存储系统中基于溯源信息的文件元数据查询方法与系统 | |
| Cambazoglu et al. | Quantifying performance and quality gains in distributed web search engines | |
| CN112650739A (zh) | 煤矿数据中台的数据存储处理方法和装置 | |
| CN111611222A (zh) | 一种基于分布式存储的数据动态处理方法 | |
| CN105207852A (zh) | 一种基于分布式网络数据定向采集的方法 | |
| CN111813542B (zh) | 一种并行处理大规模图分析任务的负载均衡方法及其装置 | |
| CN113468166B (zh) | 元数据处理方法、装置、存储介质及服务器 | |
| Li et al. | Research of network data mining based on reliability source under big data environment | |
| CN115982211B (zh) | 基于云原生的MySQL数据查询分析方法及装置 | |
| CN114936195A (zh) | 一种基于Spring Boot架构的接口系统 | |
| CN111611328A (zh) | 基于网络的大规模二、三维空间数据搜索引擎 | |
| CN116842089A (zh) | 车辆数据应用方法、装置、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110928 |