CN103631952B - 一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法 - Google Patents
一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法 Download PDFInfo
- Publication number
- CN103631952B CN103631952B CN201310681724.2A CN201310681724A CN103631952B CN 103631952 B CN103631952 B CN 103631952B CN 201310681724 A CN201310681724 A CN 201310681724A CN 103631952 B CN103631952 B CN 103631952B
- Authority
- CN
- China
- Prior art keywords
- data source
- data
- source
- information
- querying condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法和装置，包括：选取多个数据源，并设置主数据源，通过设置主数据源为多个数据源建立主辅业务关系；分离数据源，将所述多个数据源中的大数据源的每一个分离拆分成多个轻量级数据源；配置数据源查询条件，动态配置每一个数据源的查询条件以满足不同数据源的不同查询方式并便于查询不同种需求的业务数据，将所述每一个数据源的查询条件组合形成组合查询条件；异步执行所述组合查询条件，抽取数据源信息组成复杂数据信息，实现分离与统一的方式获取数据分析信息。
Description
技术领域
本发明涉及数据分析技术领域，尤其涉及一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法和装置。
背景技术
在科技飞速发展的今天，各行各业在生产、设计以及销售等各个环节产生的数据信息越来越庞大并且关系更加的复杂，同时对于技术要求的精湛以及对产品和服务要求的满足度提升，乃至产品的整个生命周期越来越长，整个产品线产生的数据量比以往增加数十至上百甚至上千个数量级。对于后期数据的综合提取及分析又是增强产品竞争力必不可少的环节，通过以往多个单数据源数据信息的简单叠加以及从单一大数据量提取数据分析信息的方式是满足这种需求的一个重要瓶颈。
基于现有技术及其不足，本发明的方法和装置主要优势是不仅能采用异步的方式同时从多数据源抽取相关的数据信息，对于大数据量数据源可通过分离拆分后从多数据源中提取出具有相关业务关系的复杂数据信息，同时查询各个数据源的过滤条件可分别动态配置生成，增加了输出数据信息的灵活性，并且对于构成整个输出的多个数据源可建立主辅关系，最终形成具有一定业务关系的数据分析信息，从而实现采用分离与统一的方式对复杂业务数据信息的组合抽取。
本发明提供了一种基于多数据源及大数据源中快速抽取不同数据源的不同数据信息组成复杂数据分析信息的方法，每个数据源的来源及查询条件都可单独动态配置，可单独形成数据信息。对于单个大数据量数据源可通过分离的方式拆分成多个轻量级数据源，便于通过本方法快速抽取，同时多个数据源又可通过设置主数据源建立业务关系，整个数据源集建立主辅关系，根据数据源的关系动态抽取业务数据，通过分离与统一的方式实现复杂业务数据信息的组合抽取。
本发明的目的就是针对现有技术上的不足，提供一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法和装置。实现的复杂业务数据信息的组合抽取目的。
发明内容
鉴于现有技术存在的不足，本发明的目的旨在一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法和装置。解决实现的复杂业务数据信息的组合抽取的种种弊端。
本发明通过如下技术方案实现：
一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法，包括：
步骤1、选取多个数据源，并设置主数据源，通过设置主数据源为多个数据源建立主辅业务关系；
步骤2、分离数据源，将所述多个数据源中的大数据源的每一个分离拆分成多个轻量级数据源；
步骤3、配置数据源查询条件，动态配置每一个数据源的查询条件以满足不同数据源的不同查询方式并便于查询不同种需求的业务数据，将所述每一个数据源的查询条件组合形成组合查询条件；
步骤4、异步执行所述组合查询条件，抽取数据源信息组成复杂数据信息，实现分离与统一的方式获取数据分析信息。
一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的装置，包括：
数据源选取设置模块，用于选取多个数据源，并设置主数据源，通过设置主数据源为多个数据源建立主辅业务关系；
数据源分离模块，用于分离数据源，将所述多个数据源中的大数据源的每一个分离拆分成多个轻量级数据源；
查询条件配置模块，用于配置数据源查询条件，动态配置每一个数据源的查询条件以满足不同数据源的不同查询方式并便于查询不同种需求的业务数据，将所述每一个数据源的查询条件组合形成组合查询条件；
查询条件执行模块，用于异步执行所述组合查询条件，抽取数据源信息组成复杂数据信息，实现分离与统一的方式获取数据分析信息。
本发明还提供了：
所述复杂数据信息通过设置需要输出的复杂数据信息格式被选择。
附图说明
图1是本发明提供的大数据源的分离示意图；
图2是本发明提供的通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法的一种示例性的流程图；
图3是本发明提供的通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法的另一种示例性的流程图；
图4是本发明提供的复合查询界面示意图；
图5是本发明提供的复杂数据分析信息结果示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
为了实现上述目标，本发明提出了一种复杂业务数据信息的组合抽取方法，主要包括：数据源的选取、数据源的分离、数据源过滤条件的配置、多数据源之间的组合以及异步查询方式的执行。
1、数据源的选取
选取多个需要查询的数据源，并设置主数据源，多数据源通过主数据源建立起主辅关系，便于生成具有业务关系的复杂数据分析信息。
2、数据源的分离
参考附图1以及附图2，对于大数据源，可以通过分离的方式拆分成多个轻量级数据源，通过组合的方式可达到数据信息的快速抽取。主数据源同时也是普通数据源，同时每个普通数据源可通过分离的方式拆分为多个轻量级数据源，各个独立的数据源可灵活的组合，体现了数据来源范围的多样化和不确定性。
3、数据源过滤条件的配置
每个数据源的查询条件可动态配置，以便于满足不同数据源（包括后期的扩展数据源）的查询方式有所不同，同时便于查询不同种需求的业务数据，最终组合成复合查询条件。
4、多数据源之间的组合以及异步查询方式的执行
通过异步执行的方式，抽取数据源信息组成复杂数据信息
在本发明的一个实施例中，参考附图3，提供了一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法，包括：步骤1、选取多个数据源，并设置主数据源，通过设置主数据源为多个数据源建立主辅业务关系；步骤2、分离数据源，将所述多个数据源中的大数据源的每一个分离拆分成多个轻量级数据源；步骤3、配置数据源查询条件，动态配置每一个数据源的查询条件以满足不同数据源的不同查询方式并便于查询不同种需求的业务数据，将所述每一个数据源的查询条件组合形成复合查询条件；步骤4、异步执行组合查询条件，抽取数据源信息组成复杂数据信息，实现分离与统一的方式获取数据分析信息。
在本发明的一个实施例中，参考附图3，提供了一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的装置，
作为进一步改进，供选择的数据源具有可分离性，可以分离成多个轻量化的数据源以供查询，
设置主数据源的作用主要是用于为多个数据源建立主辅关系，查询条件的配置是可单独动态配置，相互之间不会有耦合，便于扩展。选择复杂数据信息主要是通过设置需要输出的复杂数据信息格式来实现，最终将通过异步查询的方式生成具有业务关系的数据分析信息。
在本发明的一个实施例中，参考附图4，针对每个数据源动态配置的查询条件，具体组成的复合查询界面如附图4所示，下面的查询界面根据上面选择数据源的查询条件可动态切换，通过主数据源建立关系后，可设置各个数据源的过滤参数值。
复合查询界面可动态配置，所以，界面大都有所不同，并且数据源数量增加的情况下查询的界面也会增多，正是体现了获取复杂数据信息的可扩展性及灵活性。
在发明的一个实施实例中，参考附图5，通过最终配置好的查询条件，执行查询，获取到不同数据源组成的复杂数据分析信息，最终的结果可来自于多个数据源组成的数据分析信息。
相比于现有技术，本发明具有如下有益效果：
在目前数据信息日益增大的趋势下，从多数据源以及大数据量中获取关注的数据分析信息已必不可缺，本方法不仅在获取复杂数据分析信息方面降低了复杂度，同时采用的数据源分离及异步查询方式提升了了对于从大数据源以及多数据源的抽取数据信息的性能，而且对于新扩展的数据源可方便的融于到先前的复杂数据分析信息中，并不依赖于具体的实际场景或数据，配置查询的灵活性、数据源的分离性、数据源的可扩展性、查询执行的异步性以及数据源的统一组合性都实现了很好的结合，从而将多个数据源通过分离与统一的方式实现复杂数据分析信息的抽取。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法，其特征在于，包括：
步骤1、选取多个数据源，并设置主数据源，通过设置主数据源为多个数据源建立主辅业务关系；
步骤2、分离数据源，将所述多个数据源中的大数据源的每一个分离拆分成多个轻量级数据源；主数据源同时也是普通数据源，同时每个普通数据源可通过分离的方式拆分为多个轻量级数据源，各个独立的数据源可灵活的组合，体现了数据来源范围的多样化和不确定性；
步骤3、配置数据源查询条件，动态配置每一个数据源的查询条件以满足不同数据源的不同查询方式并便于查询不同种需求的业务数据，将所述每一个数据源的查询条件组合形成组合查询条件；所述查询条件的配置为单独动态配置，相互之间没有耦合，便于扩展；
步骤4、异步执行所述组合查询条件，抽取数据源信息组成复杂数据信息，实现分离与统一的方式获取数据分析信息，所述复杂数据信息通过设置需要输出的复杂数据信息格式被选择；
每个数据源的来源及查询条件都可单独动态配置，可单独形成数据信息，对于单个大数据量数据源可通过分离的方式拆分成多个轻量级数据源，便于通过本方法快速抽取，同时多个数据源又可通过设置主数据源建立业务关系，整个数据源集建立主辅关系，根据数据源的关系动态抽取业务数据，通过分离与统一的方式实现复杂业务数据信息的组合抽取。
2.一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的装置，其特征在于，包括：
数据源选取设置模块，用于选取多个数据源，并设置主数据源，通过设置主数据源为多个数据源建立主辅业务关系；
数据源分离模块，用于分离数据源，将所述多个数据源中的大数据源的每一个分离拆分成多个轻量级数据源；
查询条件配置模块，用于配置数据源查询条件，动态配置每一个数据源的查询条件以满足不同数据源的不同查询方式并便于查询不同种需求的业务数据，将所述每一个数据源的查询条件组合形成组合查询条件；
查询条件执行模块，用于异步执行所述组合查询条件，抽取数据源信息组成复杂数据信息，实现分离与统一的方式获取数据分析信息。
3.根据权利要求2所述的通过分离与统一的方式从多数据源抽取复杂数据分析信息的装置，其特征在于，所述复杂数据信息通过设置需要输出的复杂数据信息格式被选择。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310681724.2A CN103631952B (zh) | 2013-12-12 | 2013-12-12 | 一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310681724.2A CN103631952B (zh) | 2013-12-12 | 2013-12-12 | 一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103631952A CN103631952A (zh) | 2014-03-12 |
| CN103631952B true CN103631952B (zh) | 2017-12-22 |
Family
ID=50212993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310681724.2A Active CN103631952B (zh) | 2013-12-12 | 2013-12-12 | 一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103631952B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122358B (zh) * | 2016-02-24 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 混合查询方法及设备 |
| CN109063031B (zh) * | 2018-07-16 | 2020-11-20 | 北京百度网讯科技有限公司 | 数据钻取方法、装置和服务器 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073701A (zh) * | 2010-12-30 | 2011-05-25 | 浪潮集团山东通用软件有限公司 | 一种基于语义定义的多数据源的数据查询方法 |
| CN103092860B (zh) * | 2011-11-02 | 2016-06-22 | 中国移动通信集团四川有限公司 | 搜索提示信息生成方法及装置 |
| CN103136237B (zh) * | 2011-11-28 | 2017-11-14 | 深圳市世纪光速信息技术有限公司 | 一种基于多数据源的信息搜索方法和系统 |
-
2013
- 2013-12-12 CN CN201310681724.2A patent/CN103631952B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103631952A (zh) | 2014-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104125087B (zh) | 一种告警信息处理方法及装置 | |
| CN110147722A (zh) | 一种视频处理方法、视频处理装置及终端设备 | |
| CN110532426A (zh) | 一种基于模板抽取多媒体素材生成视频的方法及系统 | |
| WO2007076080A3 (en) | Analyzing content to determine context and serving relevant content based on the context | |
| CN102122280B (zh) | 一种智能提取内容对象的方法及系统 | |
| CN108270699B (zh) | 报文处理方法、分流交换机及聚合网络 | |
| EP2458333A3 (en) | Road estimation device and method for estimating road | |
| CN107818082B (zh) | 结合短语结构树的语义角色识别方法 | |
| CN112286567A (zh) | 一种基于语义匹配的微服务生成方法及系统 | |
| WO2009114248A3 (en) | Analyzing an oilfield network for oilfield production | |
| MX2008014893A (es) | Sistema y metodo para organizar, procesar y presentar informacion. | |
| CN103631952B (zh) | 一种通过分离与统一的方式从多数据源抽取复杂数据分析信息的方法 | |
| CN109542985B (zh) | 一种通用流式数据分析模型及其构建方法 | |
| EP1746517A3 (en) | XPath automaton systems and methods | |
| GB2465959A (en) | Method and arrangement relating to a media structure | |
| CN102970373A (zh) | 一种数据同步方法、装置及系统 | |
| CN105591914A (zh) | 一种openflow流表的查表方法和装置 | |
| CN110427604A (zh) | 表格整合方法和装置 | |
| CN105701289A (zh) | 一种全自动线束加工设备的一体化解决方法 | |
| CN104461548B (zh) | 代码片段的添加方法和装置 | |
| CN101324844A (zh) | 具备智能感知的富文本控件制作方法 | |
| EP1530195A3 (en) | Song search system and song search method | |
| CN106572035A (zh) | Sdn交换机 | |
| CN110119206A (zh) | 一种面向工业作业操作引导的ar资源动态加载方法 | |
| CN110517163A (zh) | 一种配网馈线组分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park Applicant after: Yonyou Network Technology Co., Ltd. Address before: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park Applicant before: UFIDA Software Co., Ltd. |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |