CN103279573A - 一种数据搜索的方法和系统 - Google Patents
一种数据搜索的方法和系统 Download PDFInfo
- Publication number
- CN103279573A CN103279573A CN2013102467771A CN201310246777A CN103279573A CN 103279573 A CN103279573 A CN 103279573A CN 2013102467771 A CN2013102467771 A CN 2013102467771A CN 201310246777 A CN201310246777 A CN 201310246777A CN 103279573 A CN103279573 A CN 103279573A
- Authority
- CN
- China
- Prior art keywords
- data
- filtrator
- data source
- connector
- interface unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据搜索的方法和系统，该方法包括连接器连接数据源，将数据源的结构信息发送给数据库；建立过滤器并根据数据源的结构信息设置数据源名称和参数，将设置内容发送给数据库；应用单元读取对应的过滤器并显示；应用单元接收数据搜索请求，包括过滤器的参数值通过对应的过滤器发送给接口单元；接口单元将过滤器的参数值发送给与对应数据源连接的连接器；连接器根据过滤器的参数值，从数据源获得结果数据并反馈给接口单元；接口单元发送给应用单元显示。采用了本发明的技术方案，能够降低应用和数据源之间的紧耦合，使得数据整合和应用变得简单而高效，开发者无需关心多个数据源的接口。
Description
技术领域
本发明涉及信息检索技术领域，尤其涉及一种数据搜索的方法和系统。
背景技术
目前开发应用的模式，大多采用应用+数据/平台接口的方式来进行开发，应用提出对数据的组织和呈现要求，然后底层数据源(如公有云、私有云、CMS或其他应用系统)实现接口来提供数据支撑。
但是应用会随用户需求千变万化，也就意味着对底层数据源的接口要求各不相同，所以就需要开发无数个接口来满足上层应用的需要，另外应用还可能会涉及多个数据源提供支撑，这样一来各种接口的管理就会变得异常复杂。
对于数据源而言，数据并没有变化，只是面向不同应用，需要重新对数据进行组织和封装，同时还要提供灵活的多维度查询功能。
有时候对于数据源的接口更新，或者只是很小的应用需求更改，又或者底层增加了数据源或者是某数据源扩展了字段，增加了字段内容等等，应用程序都必须进行修改、重新升级，多个数据源时更是麻烦。
发明内容
本发明的目的在于克服现有技术的缺点和不足，提供一种数据搜索的方法和系统，能够降低应用和数据源之间的紧耦合，使得数据整合和应用变得简单而高效，开发者无需关心多个数据源的接口。
本发明的一个实施例提供了一种数据搜索的方法，包括以下步骤：
连接器连接数据源，将数据源的结构信息发送给数据库存储；
建立过滤器，并根据数据源的结构信息设置过滤器，设置内容包括数据源名称和参数，设置完成后将所述设置内容发送给数据库存储；
应用单元读取对应的过滤器，并在用户界面显示对应的过滤器；
应用单元通过所述用户界面接收数据搜索请求，所述数据搜索请求包括过滤器的参数值；
应用单元将所述数据搜索请求通过对应的过滤器发送给接口单元；
接口单元将所述数据搜索请求中的过滤器的参数值发送给与对应数据源连接的连接器；
连接器根据过滤器的参数值，从数据源获得结果数据，并反馈给接口单元；
接口单元将结果数据发送给应用单元，应用单元在用户界面中显示。
优选地，一个连接器连接一个数据源。
优选地，数据源包括互联网网页、互联网新闻、媒体新闻、图片、互联网论坛、电视、微博、互联网视频和报纸。
优选地，一个过滤器对应不少于1个数据源。
优选地，一个应用单元对应不少于1个过滤器。
优选地，还包括以下步骤：
连接器将所述结果数据存储到实时计算引擎；
实时计算引擎对所述结果数据进行处理，并发送给接口单元；
接口单元将处理后的结果数据返回给应用单元，通过用户界面进行显示。
优选地，还包括以下步骤：
返回用户界面，再次输入数据搜索请求，在结果数据中进行再次检索。
优选地，所述数据源的结构信息和过滤器的设置内容在数据库中持久存储。
本发明的另一个实施例提供了一种数据搜索的系统，包括数据源、连接器、数据库、过滤器、应用单元和接口单元，其中，
数据源用于提供数据；
连接器用于连接数据源，将数据源的结构信息发送给数据库存储，并根据过滤器的参数值，从数据源获得结果数据，反馈给接口单元；
数据库用于存储数据源的结构信息和过滤器的设置内容；
过滤器用于根据数据源的结构信息设置过滤器，设置内容包括数据源名称和参数，设置完成后将所述设置内容发送给数据库存储；
应用单元用于读取对应的过滤器，在用户界面显示对应的过滤器，通过所述用户界面接收数据搜索请求，所述数据搜索请求包括过滤器的参数值，将所述数据搜索请求通过对应的过滤器发送给接口单元，并将结果数据在用户界面中显示；
接口单元用于将所述数据搜索请求中的过滤器的参数值发送给与对应数据源连接的连接器，从连接器获取结果数据，并发送给应用单元。
优选地，还包括实时计算引擎，其中，
连接器还用于将所述结果数据存储到实时计算引擎；
实时计算引擎用于对所述结果数据进行处理，并发送给接口单元；
接口单元还用于将处理后的结果数据返回给应用单元，通过用户界面进行显示。
本发明由于创建了一个面向应用的数据层，来承上启下应用和底层数据源之间的数据组织和呈现，因此所有的数据源都能够被接入，每个应用、每个功能按钮可以被抽象为一个个过滤器，从而数据整合和应用都变成简单而高效，开发者无需关心多个数据源的接口或不同的API，任何异构数据源都可以被整合和管理，任何异构数据源都可以被抽象定义为若干过滤器，任何应用程序都可以使用定义好的过滤器来使用任何数据。
附图说明
图1为本发明实施例提供的数据搜索的流程图；
图2为本发明实施例提供的数据搜索系统的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细描述。但本发明的实施方式不限于此。
本发明的主要技术方案是创建一个面向应用的数据层，来承上启下应用和底层数据源之间的数据组织和呈现。
某种意义上讲，应用主要是负责呈现数据内容，应用上可供点击的各种按钮、标签和选项，包括搜索，都是对数据的一种过滤条件。例如分类的数据呈现，其实是应用按照分类结构对数据进行过滤筛选后进行的结果展示；例如搜索，可以看成是按搜索关键词对数据进行过滤筛选后的结果展示。
图1为本发明实施例提供的数据搜索的流程图。如图1所示，该数据搜索的流程包括以下步骤：
步骤101、目前，数据源包括互联网网页、互联网新闻、媒体新闻、图片、互联网论坛、电视、微博、互联网视频和报纸。
一个连接器初始化后连接一个数据源，将该数据源的结构信息发送给数据库MySQL持久存储。
步骤102、建立一个或者多个过滤器Filter，一个过滤器对应一个或者多个数据源。
根据数据源的结构信息设置过滤器，设置内容包括过滤器对应的数据源名称和参数，例如，一个过滤器对应的是媒体新闻，根据媒体新闻的结构信息，可以设置一个参数为“标题”。
设置完成后将这些设置内容发送给数据库持久存储。
步骤103、当运行某个应用时，应用单元读取其对应的过滤器，并在用户界面显示对应的过滤器，一个应用单元可能包括一个或者多个过滤器。
步骤104、用户在用户界面上输入数据搜索请求，数据搜索请求包括过滤器的参数值。例如在媒体新闻对应的过滤器的标题参数中输入“原油价格”。应用单元接收到该数据搜索请求。
步骤105、应用单元将该数据搜索请求通过对应的过滤器发送给接口单元。
步骤106、接口单元根据该数据搜索请求中的过滤器的参数值，知道对应的是哪个数据源，就把参数值发送给与对应数据源连接的连接器。
步骤107、连接器根据过滤器的参数值，从数据源获得结果数据，并反馈给接口单元。例如对应媒体新闻这种数据源的连接器就会到媒体信息这个数据源，从标题中搜索“原油价格”，从而获得结果数据。
如果认为结果数据不够精准，还可以返回用户界面，再次输入数据搜索请求，在结果数据中进行再次检索，以获得更为精准的结果数据。
步骤108、接口单元将结果数据发送给应用单元，应用单元在用户界面中显示。
为了给应用提供更好的结果数据呈现效果，还可以对结果数据进行处理。
首先连接器将获得的结果数据存储到实时计算引擎，实时计算引擎对结果数据进行处理，例如将不同时间段的原油价格按照年份，给出趋势表，将趋势表发送给接口单元，接口单元接收到处理后的结果数据后返回给应用单元，再通过用户界面进行显示。
为了实现上述数据搜索的流程，本发明的另一个实施例还提供了一个数据搜索的系统。图2为本发明实施例提供的数据搜索系统的结构示意图。如图2所示，该数据搜索系统包括数据源201、连接器202、数据库203、过滤器204、应用单元205、接口单元206和实时计算引擎207。
其中，数据源提供数据。
连接器连接数据源，将数据源的结构信息发送给数据库存储，并根据过滤器的参数值，从数据源获得结果数据，反馈给接口单元，连接器还将结果数据存储到实时计算引擎。
数据库存储数据源的结构信息和过滤器的设置内容。
过滤器根据数据源的结构信息设置过滤器，设置内容包括数据源名称和参数，设置完成后将设置内容发送给数据库存储。
应用单元读取对应的过滤器，在用户界面显示对应的过滤器，通过用户界面接收数据搜索请求，数据搜索请求包括过滤器的参数值，将数据搜索请求通过对应的过滤器发送给接口单元，并将结果数据在用户界面中显示。
接口单元将数据搜索请求中的过滤器的参数值发送给与对应数据源连接的连接器，从连接器获取结果数据，并发送给应用单元，接口单元还将处理后的结果数据返回给应用单元，通过用户界面进行显示。
实时计算引擎对结果数据进行处理，并发送给接口单元；
接口单元成为所有数据的中枢，也可能需要对多个数据源结果进行汇总、二次整理、排序、二次标引等操作，同时未来会保存一些静态数据作为Cache提高应用访问速度，所以特别设计实时索引引擎，以满足高速的缓存和实时计算需求。
由于数据都存储在各个数据源中，也就无需考虑数据的持久存储问题，使用时根据用户或应用请求，实时从各个数据源中汇聚，也省去了索引同步与更新的时效性问题。
对数据的存储和管理分两种，过滤器等需要持久化的数据写入数据库MySQL进行持久性存储，实时聚合、计算和分析的数据写入实时缓存计算池，极大地提高了应用访问速度和并发请求能力。
本发明由于创建了一个面向应用的数据层，来承上启下应用和底层数据源之间的数据组织和呈现，因此所有的数据源都能够被接入，每个应用、每个功能按钮可以被抽象为一个个过滤器，从而数据整合和应用都变成简单而高效，开发者无需关心多个数据源的接口或不同的API，任何异构数据源都可以被整合和管理，任何异构数据源都可以被抽象定义为若干过滤器，任何应用程序都可以使用定义好的过滤器来使用任何数据。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种数据搜索的方法，其特征在于，包括以下步骤：
连接器连接数据源，将数据源的结构信息发送给数据库存储；
建立过滤器，并根据数据源的结构信息设置过滤器，设置内容包括数据源名称和参数，设置完成后将所述设置内容发送给数据库存储；
应用单元读取对应的过滤器，并在用户界面显示对应的过滤器；
应用单元通过所述用户界面接收数据搜索请求，所述数据搜索请求包括过滤器的参数值；
应用单元将所述数据搜索请求通过对应的过滤器发送给接口单元；
接口单元将所述数据搜索请求中的过滤器的参数值发送给与对应数据源连接的连接器；
连接器根据过滤器的参数值，从数据源获得结果数据，并反馈给接口单元；
接口单元将结果数据发送给应用单元，应用单元在用户界面中显示。
2.根据权利要求1所述的一种数据搜索的方法，其特征在于，一个连接器连接一个数据源。
3.根据权利要求2所述的一种数据搜索的方法，其特征在于，数据源包括互联网网页、互联网新闻、媒体新闻、图片、互联网论坛、电视、微博、互联网视频和报纸。
4.根据权利要求1所述的一种数据搜索的方法，其特征在于，一个过滤器对应不少于1个数据源。
5.根据权利要求1所述的一种数据搜索的方法，其特征在于，一个应用单元对应不少于1个过滤器。
6.根据权利要求1所述的一种数据搜索的方法，其特征在于，还包括以下步骤：
连接器将所述结果数据存储到实时计算引擎；
实时计算引擎对所述结果数据进行处理，并发送给接口单元；
接口单元将处理后的结果数据返回给应用单元，通过用户界面进行显示。
7.根据权利要求1或者6所述的一种数据搜索的方法，其特征在于，还包括以下步骤：
返回用户界面，再次输入数据搜索请求，在结果数据中进行再次检索。
8.根据权利要求1所述的一种数据搜索的方法，其特征在于，所述数据源的结构信息和过滤器的设置内容在数据库中持久存储。
9.一种数据搜索的系统，其特征在于，包括数据源、连接器、数据库、过滤器、应用单元和接口单元，其中，
数据源用于提供数据；
连接器用于连接数据源，将数据源的结构信息发送给数据库存储，并根据过滤器的参数值，从数据源获得结果数据，反馈给接口单元；
数据库用于存储数据源的结构信息和过滤器的设置内容；
过滤器用于根据数据源的结构信息设置过滤器，设置内容包括数据源名称和参数，设置完成后将所述设置内容发送给数据库存储；
应用单元用于读取对应的过滤器，在用户界面显示对应的过滤器，通过所述用户界面接收数据搜索请求，所述数据搜索请求包括过滤器的参数值，将所述数据搜索请求通过对应的过滤器发送给接口单元，并将结果数据在用户界面中显示；
接口单元用于将所述数据搜索请求中的过滤器的参数值发送给与对应数据源连接的连接器，从连接器获取结果数据，并发送给应用单元。
10.根据权利要求9所述的一种数据搜索的系统，其特征在于，还包括实时计算引擎，其中，
连接器还用于将所述结果数据存储到实时计算引擎；
实时计算引擎用于对所述结果数据进行处理，并发送给接口单元；
接口单元还用于将处理后的结果数据返回给应用单元，通过用户界面进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310246777.1A CN103279573B (zh) | 2013-06-20 | 2013-06-20 | 一种数据搜索的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310246777.1A CN103279573B (zh) | 2013-06-20 | 2013-06-20 | 一种数据搜索的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103279573A true CN103279573A (zh) | 2013-09-04 |
| CN103279573B CN103279573B (zh) | 2016-06-29 |
Family
ID=49062091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310246777.1A Expired - Fee Related CN103279573B (zh) | 2013-06-20 | 2013-06-20 | 一种数据搜索的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103279573B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488020A (zh) * | 2015-12-01 | 2016-04-13 | 北京交控科技股份有限公司 | 一种数据处理方法及系统 |
| CN107194014A (zh) * | 2017-07-04 | 2017-09-22 | 贵州数据宝网络科技有限公司 | 数据源调用方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070078802A1 (en) * | 2005-09-30 | 2007-04-05 | International Business Machines Corporation | Apparatus and method for real-time mining and reduction of streamed data |
| CN101079030A (zh) * | 2006-05-25 | 2007-11-28 | 上海宝信软件股份有限公司 | 质量分析系统中的数据处理方法 |
-
2013
- 2013-06-20 CN CN201310246777.1A patent/CN103279573B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070078802A1 (en) * | 2005-09-30 | 2007-04-05 | International Business Machines Corporation | Apparatus and method for real-time mining and reduction of streamed data |
| CN101079030A (zh) * | 2006-05-25 | 2007-11-28 | 上海宝信软件股份有限公司 | 质量分析系统中的数据处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 文俊浩等: "WebAgent在空间数据挖掘框架中的应用", 《重庆大学学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488020A (zh) * | 2015-12-01 | 2016-04-13 | 北京交控科技股份有限公司 | 一种数据处理方法及系统 |
| CN105488020B (zh) * | 2015-12-01 | 2018-09-04 | 交控科技股份有限公司 | 一种数据处理方法及系统 |
| CN107194014A (zh) * | 2017-07-04 | 2017-09-22 | 贵州数据宝网络科技有限公司 | 数据源调用方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103279573B (zh) | 2016-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8495007B2 (en) | Systems and methods for hierarchical aggregation of multi-dimensional data sources | |
| US20220342875A1 (en) | Data preparation context navigation | |
| CN102521416B (zh) | 数据关联查询方法和数据关联查询装置 | |
| CN102725753B (zh) | 优化数据访问的方法及装置、优化数据存储的方法及装置 | |
| US8543596B1 (en) | Assigning blocks of a file of a distributed file system to processing units of a parallel database management system | |
| US9753960B1 (en) | System, method, and computer program for dynamically generating a visual representation of a subset of a graph for display, based on search criteria | |
| US9471610B1 (en) | Scale-out of data that supports roll back | |
| US20150378721A1 (en) | Methods for managing applications using semantic modeling and tagging and devices thereof | |
| US20130157234A1 (en) | Storyline visualization | |
| US20140337287A1 (en) | Virtual repository management | |
| CN101567003A (zh) | 并行文件系统中资源的管理和分配方法 | |
| US20140101167A1 (en) | Creation of Inverted Index System, and Data Processing Method and Apparatus | |
| CN104423982B (zh) | 请求的处理方法和处理设备 | |
| CN103150402A (zh) | 基于索引编码的虚拟文件系统及建立方法、访问方法 | |
| CN109684282A (zh) | 一种构建元数据缓存的方法及装置 | |
| KR101475335B1 (ko) | 데이터베이스 검색에 있어 조회 향상 | |
| CN102467375B (zh) | 一种生成客户端界面的方法及装置 | |
| CN104699742A (zh) | 使能扩展大型数据集的极端可视化 | |
| CN103927331A (zh) | 数据查询方法、装置及系统 | |
| CN110109866A (zh) | 一种文件系统目录的管理方法及设备 | |
| CN103778239A (zh) | 一种多数据库数据管理方法及系统 | |
| CN106649800A (zh) | 一种基于Solr的中文检索方法 | |
| EP3103039A1 (en) | System and method for an efficient database storage model based on sparse files | |
| US8271442B2 (en) | Formats for database template files shared between client and server environments | |
| CN103279573A (zh) | 一种数据搜索的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and system for searching data Effective date of registration: 20170401 Granted publication date: 20160629 Pledgee: Silicon Valley Bank Co., Ltd. Pledgor: TVMining (Beijing) Media Technology Co., Ltd. Registration number: 2017310000019 |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160629 Termination date: 20210620 |