CN110413662B - 一种多通道式经济数据输入系统、采集系统与方法 - Google Patents
一种多通道式经济数据输入系统、采集系统与方法 Download PDFInfo
- Publication number
- CN110413662B CN110413662B CN201910719227.4A CN201910719227A CN110413662B CN 110413662 B CN110413662 B CN 110413662B CN 201910719227 A CN201910719227 A CN 201910719227A CN 110413662 B CN110413662 B CN 110413662B
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- grouping
- module
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 46
- 238000012800 visualization Methods 0.000 claims abstract description 18
- 238000013479 data entry Methods 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 18
- 230000008520 organization Effects 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000010835 comparative analysis Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000007175 bidirectional communication Effects 0.000 claims description 3
- 238000007418 data mining Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000004162 soil erosion Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出多通道式经济数据输入系统、采集系统与方法。本发明的多通道式经济数据输入系统包括数据预加载模块、数据分组模块、数据导航模块、通道选择模块、数据录入模块以及数据价值可视化模块。本发明的系统和方法采用数据立方体技术与数据对比分析技术,可以将经济数据接入统一的数据接口,从而达到不同类型的数据统一化处理后,通过标准化的形式保存到数据库中。
Description
技术领域
本发明涉及多通道数据采集与输入技术,尤其涉及一种多通道式经济数据输入系统、采集系统与方法。
背景技术
数据采集主要包括三个主要阶段:数据调查、数据整理和数据分析。数据调查是根据调查方案,从客观调查对象取得原始数据;数据整理是对数据调查所得的原始数据进行汇总、加工,使之系统化、条理化;数据分析则是以条理化的数据为基础,运用科学的分析方法,定量分析和定性分析相结合,对数据所反映的事物的本质和规律作出说明。
由于数据类型的多样性,传统的单通道式数据采集系统已经不能满足数据采集需要。因此,逐步提出了各种多通道数字信号采集存储系统。然而,这些多通道数字信号采集存储系统大多需要与特定的传感器、数据库配合使用,并且只能采集数据类型事先已知的数据。
例如,中国专利公开CN109901481A公开了一种智能多通道数字信号的数据采集存储方法与系统,包含多个模式选择模块、运行状态识别模块以及多个里程传感器以及多个检测探头。其主要构思在于该数据采集存储系统通过运行状态识别模块的设置,使该系统具有休眠和唤醒功能。当检测器在管道中卡住时,通过运行状态识别模块识别到该状态,并自动地将数据采集存储系统调节到休眠状态,以节省系统电量。当检测器再次正常运行时,通过运行状态识别模块识别到该状态后,自动将数据采集存储系统唤醒,进行正常的数据采集和存储。此外,该数据存储系统中设置有两种数据采集模式,分别为时间触发模式和里程触发模式,可以根据不同的检测工况和检测需要,通过模式选择模块进行模式设置,大幅度提高该数据采集存储系统的适用性。此外,在数据采集之后通过数据分析单元进行数据分析,判断该数据是否为缺陷数据。如果是缺陷数据,则进行正常存储;如果不是缺陷数据,则不进行存储,从而节约存储空间、降低存储量。
中国专利公开CN109739136A则公开了一种基于海洋平台无线多通道同步数据采集与传输的实现方法,其能够根据用户的实际需求,将多个分布式测点仪器布设在海洋平台的不同测位上。该技术不仅解决了对不同侧位上的待测信号进行同步数据采集的问题,而且还能够将各个分布式测点仪器采集到的数据分别配置在各自的无线信道进行数据传输,从而解决了在测试过程中的有效控制和分布式测点仪器的实时数据监测的问题。
然而,与上述现有技术中的特定传感数据(例如,数据类型事先是已知的)不同的是,经济数据的类型更加多样化,采集的经济数据也不会局限于某种类型。通常来说,经济数据可以包括人口数据、经济数据、地理空间数据等等。更具体地,经济数据还可以可以包括气象数据、遥感数据、经济社会统计数据、土壤类型数据、土壤理化形状数据、土壤侵蚀数据、地图数据、海图数据、空域数据、影像数据、图片数据等等。现有技术并未给出如何对多种类型的经济数据进行快速输入、采集以及分析的有效解决方案。
本申请的发明人发现,现有技术中针对经济数据的采集和处理方法的公开仅涉及一些针对特定类型(例如水文数据、地图数据等)的经济数据的系统化解决方案。例如,中国专利公开CN107564257A公开了一种地理水文数据采集展示系统,其能够快速实时地获取地理水文数据并进行分析,根据分析结果迅速发出预警,且可以通过全息投影系统,将地理水文情况展现在工作人员的面前,使得工作人员可以身临其境的观察地理水文的变化情况,为治理措施的制定提供了可靠的参考。然而,该专利公开仅仅公开了用于处理特定地理水文数据的系统。
例如,中国专利公开CN108182717A公开了一种地理信息图像生成方法及设备,其允许用户自定义任意形状和位置的区域,当确定了用户所选区域后则只查询该区域内和该区域外围附近的地理信息和辅助数据,而不再考虑地图上其它地域的地理信息和辅助数据;后续,针对这些用户感兴趣的地理信息和辅助数据对自定义区域的相关数据进行数据重构,生成栅格数据,并对栅格数据进行裁剪得到比较准确的选定区域的栅格数据,最终对剪裁得到的栅格数据进行渲染而得到用户选定区域的地理信息图像。然而,该专利公开仅仅公开了用于处理特定地理信息的方法。
再例如,中国专利公开CN109150991A公开了一种行业经济数据收集系统,其采用服务器和图像采集的方式,自动收集行业经济数据并保存到云数据库和数据仓库。然而,该专利公开的方案只能针对特定类型的数据输入,属于单通道的采集方式,采集方式单一且无法扩展。
对于经济数据而言,一般来说分为宏观数据和微观数据两大类。宏观数据由专门的机构(例如政府部门)通过特定格式进行发布。微观数据则需要进行数据调查、由微观主体采集获取。上述列举的现有技术大多只针对特定类型的传感器获取的微观数据进行采集获取,而没有考虑到宏观数据的采集和处理。此外,即便微观数据的处理方法和系统也只是针对每一类数据分别开发对应的数据接口,前期需要大量的预处理过程,导致处理效率极低。
因此,针对多类型的经济数据的采集、分析和输入,现有技术并未给出有效的解决方案。
发明内容
为解决上述技术问题,本发明提出一种多通道式经济数据输入系统、采集系统与方法,其可以将经济数据接入统一的数据接口,然后在数据接口中配置多个类型判断组件。在对数据类型进行初步判断之后,对数据进行初步的预处理;然后,选择对应的数据后处理方式。如果没有对应的数据后处理方式,则将数据的类型进行转换,使得当前的处理系统能够进行处理。最终,将处理后的数据进行保存,从而在将不同类型的数据统一化处理后,用标准化的形式保存到数据库中。本发明的多通道式的数据采集系统能够从原始数据中集中地对数据进行多通道采集;在实现并行处理后,将其输入至统一数据接口进行后续预处理。
在本发明的一个方面,提供了一种多通道式经济数据输入系统。该多通道式经济数据输入系统包括数据预加载模块、数据分组模块、数据导航模块、通道选择模块、数据录入模块以及数据价值可视化模块。在一些实例中,所述数据预加载模块配置为实现多源异构的数据统一加载,并在数据的加载之后,利用数据抽取技术进行数据清理,得到数据属性的分布情况。在一些实例中,所述数据分组模块配置为基于所述数据属性的分布情况,对数据进行分组分析,所述分组分析包括对比分析以及数据立方分析,并根据分析结果给出数据的预分组结果。在一些实例中,所述数据导航模块配置为基于所述预分组结果,进行数据采集通道的分布式选择和调度,其中所述分布式选择和调度基于时间最优化原则进行。在一些实例中,所述通道选择模块配置为根据数据采集通道的所述分布式选择和调度的结果,选择对应的数据,通过所述数据录入模块进行数据的录入。在一些实例中,所述数据价值可视化模块配置为分别对通过所述通道选择模块所录入的数据进行价值可视化分析。
在一些实例中,所述数据预加载模块所实现的多源异构的数据统一加载,并在数据的加载之后,利用数据抽取技术进行数据清理,得到数据属性的分布情况,包括:对所述统一加载的数据进行栅格化的数据分割,从而获得碎片化的栅格数据块;随机抽取一个栅格数据块作为数据清理中心,按照预定的待加载栅格大小,进行行列式的搜寻;对搜寻到的每一个栅格数据块,分析其属性;以及输出预定大小范围内的所有栅格数据块,得到连续的栅格数据块表面空间图。
在一些实例中,所述数据分组模块实现的基于所述数据属性的分布情况,对数据进行分组分析,并根据数据的分析结果给出预分组结果,包括:将所述每一个栅格数据块的表面空间图按照预定规格组合成数据立方图,其中所述组合的原则是:多个栅格数据块的表面空间图的组合大小满足预定规格;以及将属于同一个数据立方图的栅格数据块作为一个预分组。
在本发明的又一个方面,提供了一种多通道式的数据采集系统,与本发明的多通道式经济数据输入系统配合使用。所述多通道式的数据采集系统包括数据采集与预处理组件、数据预分类组件、数据组织和结构化组件、数据多维化平台以及分布式存储层。在一些实例中,所述数据采集与预处理组件包括组件化的基础数据规范,从而对输入数据进行基础规范处理。在一些实例中,所述数据预分类组件配置为根据基础规范处理后的数据属性,对数据进行分类。在一些实例中,所述数据组织和结构化组件配置为将所述数据预分类组件所分类的数据进行结构化处理,所述数据组织和结构化组件包括多个与所述数据预分类组件的数据分类结果相对应的数据处理子系统。在一些实例中,所述数据多维化平台配置为根据所述数据组织和结构化组件的对应结构化结果,对应的进行数据多维化展示。在一些实例中,所述数据多维化平台还包括三维空间数据分析和集成平台。
在本发明的又一个方面,提供了一种利用本发明的多通道式经济数据输入系统的多通道式经济数据输入与采集方法。该方法包括:A1:建立数据仓库,从该数据仓库中选择数据;A2:利用信息挖掘算法对选择的数据进行数据挖掘,从而获得模式发现;A3:通过模式发现,发现匹配的数据信息模型库;A4:对匹配的数据信息模型库中的模型进行分析,该分析包括模型的解析和评价;A5:利用更新的数据进行模型反馈;以及A6:保存模型到运算数据库,并更新所述数据信息模型库。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
本发明的新颖特征在所附权利要求书中具体阐述。通过参考以下对其中利用本发明原理的说明性实施方案加以阐述的详细描述和附图,将会获得对本发明的特征和优点的更好的理解,在这些附图中:
图1是根据本发明的示例性实施例的多通道式经济数据输入系统的框架图;
图2是根据本发明的示例性实施例的多通道式经济数据输入系统中的数据分组模块的功能示意图;
图3是根据本发明的示例性实施例的多通道式经济数据输入系统中的数据导航模块以及通道选择模块的功能示意图;
图4是根据本发明的示例性实施例的多通道式经济数据输入系统中的数据价值可视化模块的功能示意图;
图5是根据本发明的示例性实施例的多通道式经济数据采集系统的框架图;
图6是根据本发明的示例性实施例的多通道式经济数据输入与采集方法的流程图。
具体实施方式
虽然在本文中已示出并描述了本发明的优选实施方案,但对于本领域技术人员显而易见的是,这些实施方案仅以示例的方式提供。本领域技术人员在不脱离本发明的情况下现将会想到多种变化、改变和替换。应当理解,本文中所述的本发明实施方案的各种替代方案可用于实施本发明。
图1是根据本发明的示例性实施例的多通道式经济数据输入系统的框架图。如图1示例性所示,本发明的多通道式经济数据输入系统可以包括数据预加载模块、数据分组模块、数据导航模块、通道选择模块、数据录入模块以及数据价值可视化模块。
在一些示例性实施例中,本发明的数据预加载模块配置为实现多源异构的数据统一加载,并在数据加载之后,利用数据抽取技术进行数据清理,得到数据属性的分布情况。本发明的数据分组模块配置为基于所述数据属性的分布情况,对数据进行分组分析。在一些实例中,所述分组分析可以包括对比分析以及数据立方分析,并根据分析结果给出数据的预分组结果。
进一步参考附图2,本发明的数据分组模块对数据进行分析可以包括:对所述统一加载的数据进行栅格化的数据分割,从而获得碎片化的栅格数据块;随机抽取一个栅格数据块作为数据清理中心,按照预定的待加载栅格大小,进行行列式的搜寻;对搜寻到的每一个栅格数据块,分析其属性;以及输出所述预定大小范围内的所有栅格数据块,得到连续的栅格数据块表面空间图。
进一步参考附图3,本发明的数据导航模块配置为基于数据分组模块得到的所述预分组结果,进行数据采集通道的分布式选择和调度。分布式选择和调度可以基于时间最优化原则进行。本发明的通道选择模块配置为根据数据采集通道的所述分布式选择和调度的结果,选择对应的数据,通过本发明的数据录入模块进行数据的录入。
本发明的数据价值可视化模块配置为分别对通过所述通道选择模块所录入的数据进行价值可视化分析。
结合附图1-3,本发明的数据分组模块执行的上述给出预分组结果的操作可以包括:将所述每一个栅格数据块的表面空间图按照预定规格组合成数据立方图。组合的原则是:多个栅格数据块的表面空间图的大小刚好满足所述预定规格,或者在一预定范围内满足所述预定规格。
本领域技术人员可以理解,立方体由六个面组成,如果某六个栅格数据块的表面空间图的大小基本相同,则可以组成一个小立方体,而多个这样的小立方体则可以组成预定规格的数据立方图。当然,本发明在实际实现时也可以不要求多个栅格数据块的表面空间图的大小完全匹配(例如,组成多面完全平整的立方体),而是也可以在一定范围内调整容忍度(例如,组成的立方体的某一个面不完全平整)。
可以理解,如果所述数据立方图为M*M规格,则其可以包括M*M个数据小立方体,或者,也可以包括大于M*M个数据小立方体,但是不能包括小于M*M个数据小立方体。
在一些实例中,可以将属于同一个数据立方图的栅格数据块作为一个预分组。如果存在不能分入预定规格的数据立方体的栅格数据块,则对其进行对比分析,得出其差异度,并根据差异度从小到大的顺序,按照预定的分组区间,将所述不能分入预定规格的数据立方体的栅格数据块进行分组。进一步的,对于预定分组区间的栅格数据块,可以根据其大小匹配对应的数据立方图,并将该预定分组区间的栅格数据块转化为对应的数据立方图类型。
参见附图3,本发明的数据导航模块配置为根据所述预分组的数据立方图的数据大小,选择对应的数据采集通道,并从所述数据立方体中录入每一个栅格数据块。
作为一个非限制性的例子,如果所述数据立方图为M*M规格,其优选的数据采集能力大于M的数据采集通道。这样,可使得对于该数据立方图(又称数据立方体)的处理速度最快。如果存在大于M个数据采集通道,则可以并行地同时采集所述M*M规格的数据立方图。
参见附图3-4,本发明的数据价值可视化模块执行的分别对各个所述通道选择模块所录入的数据进行价值可视化分析可以包括:对于每一个栅格数据块,选择对应的模型进行可视化分析,从而得到可视化结果。所述模型可以包括自相关性模型、聚类模型、插值法模型等。所述的可视化分析可以包括数据的语法检查、语义检查以及解析数据属性、创建数据样式对象从而在屏幕上渲染对象等操作。
参见附图5,与本发明的多通道式经济数据输入系统配合使用的多通道式经济数据采集系统可以包括数据采集与预处理组件、数据预分类组件、数据组织和结构化组件、数据多维化平台以及分布式存储层。
在一些示例性实施例中,本发明的数据采集与预处理组件可以包括组件化的基础数据规范,从而对输入数据进行基础规范处理。本发明的数据预分类组件可以配置为根据上述基础规范处理后的数据属性,将数据分类为二维数据、三维数据、属性数据、统计数据等。在一些实例中,数据可以被分类为航拍导航数据、三维模型数据、影像数据、二维海图数据、地形数据、属性数据等等类型。在另一些实例中,数据可以被分类为矢量数据、栅格数据以及混合数据。
本发明的数据组织和结构化组件配置为将上述数据预分类组件所分类的数据进行结构化处理。例如,在一些实例中,本发明的数据组织和结构化组件可以包括三维空间数据处理系统、二维数据处理子系统等,分别用于对被分类为二维数据、三维数据、属性数据、统计数据的数据进行结构化处理。例如,在一些实例中,本发明的数据组织和结构化组件可以包括矢量数据模型、栅格数据模型以及混合数据模型,分别用于对被分类为矢量数据、栅格数据以及混合数据的数据进行结构化处理。
本发明的数据多维化平台配置为根据所述数据组织和结构化组件的结构化处理结果,对应地进行数据多维化展示。在一些实例中,数据多维化展示可以包括GPS导航展示、三维地形数据多维化展示、三维空间数据变化趋势展示等。在一些实例中,本发明的数据多维化平台还包括三维空间数据分析和集成平台。该三维空间数据分析和集成平台可以包括TIN-CSG模型、TEN-Octree模型等。
本发明的分布式存储层与前述数据采集与预处理组件、数据预分类组件、数据组织和结构化组件、数据多维化平台采用高速镜像通道连接,用于存储对应的数据处理结果,并实现双向通信。在一些实例中,分布式存储层可以包括HDFS结构服务器、数据库结构以及本地文件存储空间。
参见附图6,作为具体的应用,本发明还公开了一种多通道式经济数据输入与采集方法。该方法首先利用上述多通道式经济数据采集系统进行数据采集,然后利用上述多通道式经济数据输入系统将数据输入系统。
在一些示例性实施例中,在将数据输入系统后,为了体现数据价值,需要进行进一步建立数据模型。该建立数据模型的过程可以包括:
A1:针对输入系统的数据建立数据仓库,从该数据仓库中选择数据;
A2:利用信息挖掘算法对选择的数据进行数据挖掘,从而获得模式发现;
A3:通过模式发现,发现匹配的数据信息模型库;
A4:对匹配的数据信息模型库中的模型进行分析,该分析包括模型的解析和评价;
A5:利用更新的数据进行模型反馈;
A6:保存模型到运算数据库,并更新所述数据信息模型库。
采用本发明上述描述的技术方案,本发明将经济数据接入统一的数据接口,然后在数据接口中配置多个类型判断组件。在对数据类型进行初步判断之后,对数据进行初步的预处理。然后,选择对应的数据后处理方式。如果没有对应的数据后处理方式,则将数据类型进行转换,使得当前的处理系统能够处理该数据。
在经济数据处理中,本发明提供的系统和方法首次利用数据立方体技术,将多种类型、不同属性的经济数据按照相应规格组合成数据立方体数据块;将每一个栅格数据块的表面空间图按照预定规格组合成数据立方图,组合原则为多个栅格数据块的表面空间图的大小刚好满足预定规格;并将属于同一个数据立方图的数据块作为一个预分组,从而可以实现对应通道的数据录入。
此外,本发明提供的分布式存储层用于和前述数据采集与预处理组件、数据预分类组件、数据组织和结构化组件、数据多维化平台采用高速镜像通道连接,存储对应的数据处理结果,并实现双向通信。由于采用了数据立方体技术,同一个数据立方体的多个数据块可以同时进行并行处理(例如同时抽取读取或者录入),极大地加快了数据处理速度。
虽然本文已经示出和描述了本发明的优选实施方式,但对于本领域技术人员显而易见的是,这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解,在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围,并因此覆盖这些权利要求范围内的方法和结构及其等效项。
Claims (9)
1.一种多通道式经济数据输入系统,包括数据预加载模块、数据分组模块、数据导航模块、通道选择模块、数据录入模块以及数据价值可视化模块;
其特征在于:
所述数据预加载模块配置为实现多源异构的数据统一加载,并在数据的加载之后,利用数据抽取技术进行数据清理,得到数据属性的分布情况;
所述数据分组模块配置为基于所述数据属性的分布情况,对数据进行分组分析,所述分组分析包括对比分析以及数据立方分析,并根据分析结果给出数据的预分组结果;
所述数据导航模块配置为基于所述预分组结果,进行数据采集通道的分布式选择和调度,其中所述分布式选择和调度基于时间最优化原则进行;
所述通道选择模块配置为根据数据采集通道的所述分布式选择和调度的结果,选择对应的数据,通过所述数据录入模块进行数据的录入;
所述数据价值可视化模块配置为分别对通过所述通道选择模块所录入的数据进行价值可视化分析;
所述数据预加载模块所实现的多源异构的数据统一加载,并在数据的加载之后,利用数据抽取技术进行数据清理,得到数据属性的分布情况,包括:
对所述统一加载的数据进行栅格化的数据分割,从而获得碎片化的栅格数据块;
随机抽取一个栅格数据块作为数据清理中心,按照预定的待加载栅格大小,进行行列式的搜寻;
对搜寻到的每一个栅格数据块,分析其属性;以及
输出预定大小范围内的所有栅格数据块,得到连续的栅格数据块表面空间图,其中,所述数据分组模块实现的基于所述数据属性的分布情况,对数据进行分组分析,并根据数据的分析结果给出预分组结果,包括:
将所述每一个栅格数据块的表面空间图按照预定规格组合成数据立方图,其中所述组合的原则是:多个栅格数据块的表面空间图的组合大小满足预定规格;以及将属于同一个数据立方图的栅格数据块作为一个预分组。
2.如权利要求1所述的多通道式经济数据输入系统,其特征在于:
所述数据分组模块实现的基于所述数据属性的分布情况,对数据进行分组分析,所述分组分析包括对比分析以及数据立方分析,并根据分析结果给出数据的预分组结果,包括:如果存在不能分入预定规格的栅格数据块,则对其进行对比分析,得出其差异度,并按照差异度从小到大的顺序,按照预定的分组区间,将所述不能分入预定规格的数据立方体的数据块进行分组。
3.如权利要求2所述的多通道式经济数据输入系统,其特征在于:
所述数据分组模块实现的基于所述数据属性的分布情况,对数据进行分组分析,所述分组分析包括对比分析以及数据立方分析,并根据分析结果给出数据的预分组结果,进一步包括:对于预定分组区间的栅格数据块,根据其大小匹配对应的数据立方图,并将该预定分组区间的栅格数据块转化为对应的数据立方图类型。
4.如权利要求1所述的多通道式经济数据输入系统,其特征在于:
所述数据导航模块实现的基于所述预分组结果,进行数据采集通道的分布式选择和调度,包括:
根据所述预分组的数据立方图的数据大小,选择对应的数据采集通道;以及
从所述数据立方体中录入每一个栅格数据块。
5.如权利要求1所述的多通道式经济数据输入系统,其特征在于:
所述数据价值可视化模块实现的分别对通过所述通道选择模块所录入的数据进行价值可视化分析,包括:
对于每一个栅格数据块,选择对应的模型进行可视化分析,从而得到可视化结果,其中所述模型包括自相关性模型、聚类模型、插值法模型中的至少一个。
6.如权利要求1或5所述的多通道式经济数据输入系统,其特征在于:
所述可视化分析包括数据的语法检查、语义检查以及解析数据属性、创建数据样式对象从而在屏幕上渲染对象。
7.一种多通道式的数据采集系统,利用所述多通道式经济数据采集系统进行数据采集后,将采集的数据输入权利要求1-6任一项所述的多通道式经济数据输入系统;
其特征在于:
所述多通道式的数据采集系统包括数据采集与预处理组件、数据预分类组件、数据组织和结构化组件、数据多维化平台以及分布式存储层,
其中,所述数据采集与预处理组件包括组件化的基础数据规范,从而对输入数据进行基础规范处理;
其中,所述数据预分类组件配置为根据基础规范处理后的数据属性,对数据进行分类;
所述数据组织和结构化组件配置为将所述数据预分类组件所分类的数据进行结构化处理,所述数据组织和结构化组件包括多个与所述数据预分类组件的数据分类结果相对应的数据处理子系统;
所述数据多维化平台配置为根据所述数据组织和结构化组件的对应结构化结果,对应的进行数据多维化展示;
其中,所述数据多维化平台还包括三维空间数据分析和集成平台。
8.如权利要求7所述的多通道式的数据采集系统,其特征在于:
所述分布式存储层配置为与所述数据采集与预处理组件、所述数据预分类组件、所述数据组织和结构化组件、所述数据多维化平台利用高速镜像通道连接,用于存储对应的数据处理结果,并实现双向通信。
9.一种利用权利要求1-6任一项所述的多通道式经济数据输入系统实现的多通道式经济数据输入与采集方法,其特征在于,所述方法包括:
A1:建立数据仓库,从该数据仓库中选择数据;
A2:利用信息挖掘算法对选择的数据进行数据挖掘,从而获得模式发现;
A3:通过模式发现,发现匹配的数据信息模型库;
A4:对匹配的数据信息模型库中的模型进行分析,该分析包括模型的解析和评价;
A5:利用更新的数据进行模型反馈;以及
A6:保存模型到运算数据库,并更新所述数据信息模型库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910719227.4A CN110413662B (zh) | 2019-08-05 | 2019-08-05 | 一种多通道式经济数据输入系统、采集系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910719227.4A CN110413662B (zh) | 2019-08-05 | 2019-08-05 | 一种多通道式经济数据输入系统、采集系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110413662A CN110413662A (zh) | 2019-11-05 |
CN110413662B true CN110413662B (zh) | 2021-11-26 |
Family
ID=68365906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910719227.4A Expired - Fee Related CN110413662B (zh) | 2019-08-05 | 2019-08-05 | 一种多通道式经济数据输入系统、采集系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110413662B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113626506B (zh) * | 2020-05-08 | 2024-10-11 | 万兴科技(湖南)有限公司 | 基于异构平台的数据处理方法、装置和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102855662A (zh) * | 2012-07-25 | 2013-01-02 | 中国科学院对地观测与数字地球科学中心 | 海洋环境的可视化方法 |
CN104200402A (zh) * | 2014-09-11 | 2014-12-10 | 国家电网公司 | 一种电网多个数据源的源数据发布方法及系统 |
CN108364124A (zh) * | 2018-01-26 | 2018-08-03 | 天津中科智能识别产业技术研究院有限公司 | 基于大数据的国际产能合作风险评估与决策服务系统 |
CN108388673A (zh) * | 2018-03-26 | 2018-08-10 | 山东理工职业学院 | 一种用于经济管理分析数据的计算机系统 |
CN109766378A (zh) * | 2018-12-26 | 2019-05-17 | 吕杨 | 一种多源异构水利水文数据共享系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8329479B2 (en) * | 2008-04-18 | 2012-12-11 | Hitachi Kokusai Electrical Inc. | Information managing method, information managing apparatus and substrate processing system |
-
2019
- 2019-08-05 CN CN201910719227.4A patent/CN110413662B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102855662A (zh) * | 2012-07-25 | 2013-01-02 | 中国科学院对地观测与数字地球科学中心 | 海洋环境的可视化方法 |
CN104200402A (zh) * | 2014-09-11 | 2014-12-10 | 国家电网公司 | 一种电网多个数据源的源数据发布方法及系统 |
CN108364124A (zh) * | 2018-01-26 | 2018-08-03 | 天津中科智能识别产业技术研究院有限公司 | 基于大数据的国际产能合作风险评估与决策服务系统 |
CN108388673A (zh) * | 2018-03-26 | 2018-08-10 | 山东理工职业学院 | 一种用于经济管理分析数据的计算机系统 |
CN109766378A (zh) * | 2018-12-26 | 2019-05-17 | 吕杨 | 一种多源异构水利水文数据共享系统 |
Non-Patent Citations (2)
Title |
---|
Design and establishment of dispatching intelligent analysis system based on data warehouse and visualization technology;Xu Ling 等;《East China Electric Power》;20141224;第42卷(第12期);第2847-51页 * |
多源数据整合模式的税务稽查系统的设计与实现;于栋;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20180615(第06期);第I138-366页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110413662A (zh) | 2019-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230084869A1 (en) | System for simplified generation of systems for broad area geospatial object detection | |
US10963734B1 (en) | Perception visualization tool | |
CN110334111B (zh) | 一种多维轨迹分析方法及装置 | |
US20230419659A1 (en) | Method and system for processing point-cloud data | |
CN110111345A (zh) | 一种基于注意力网络的3d点云分割方法 | |
US8855427B2 (en) | Systems and methods for efficiently and accurately detecting changes in spatial feature data | |
CN111506772B (zh) | 基于图像特征提取的以图搜影方法及系统 | |
CN113420009B (zh) | 一种基于大数据的电磁数据分析装置、系统及方法 | |
US20180095959A1 (en) | Large scale processor for satellite data | |
Yadav et al. | Identification of trees and their trunks from mobile laser scanning data of roadway scenes | |
CN112711034A (zh) | 物体检测方法、装置及设备 | |
CN111475746B (zh) | 兴趣点位置挖掘方法、装置、计算机设备和存储介质 | |
CN112579677A (zh) | 一种卫星遥感影像自动处理方法 | |
CN110413662B (zh) | 一种多通道式经济数据输入系统、采集系统与方法 | |
US20130231897A1 (en) | Systems and methods for efficient analysis of topographical models | |
CN114610825A (zh) | 关联网格集的确认方法、装置、电子设备及存储介质 | |
CN109997123A (zh) | 用于改进空间-时间数据管理的方法、系统和装置 | |
CN117095216B (zh) | 基于对抗生成网络的模型训练方法、系统、设备及介质 | |
CN116129391B (zh) | 一种从车载激光点云提取行道树的方法及系统 | |
US8755606B2 (en) | Systems and methods for efficient feature extraction accuracy using imperfect extractors | |
US20230104674A1 (en) | Machine learning techniques for ground classification | |
CN115546762A (zh) | 图像聚类方法、装置、存储介质及服务器 | |
CN115265544A (zh) | 基于视觉地图的定位方法及装置 | |
CN115661444A (zh) | 图像处理方法、装置、设备、存储介质及产品 | |
CN114169247A (zh) | 仿真交通流的生成方法、装置、设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211126 |