CN112988875A - 一种多维数据采集装置、系统及方法 - Google Patents
一种多维数据采集装置、系统及方法 Download PDFInfo
- Publication number
- CN112988875A CN112988875A CN202110378929.8A CN202110378929A CN112988875A CN 112988875 A CN112988875 A CN 112988875A CN 202110378929 A CN202110378929 A CN 202110378929A CN 112988875 A CN112988875 A CN 112988875A
- Authority
- CN
- China
- Prior art keywords
- data
- multidimensional
- acquisition
- interface
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 claims abstract description 63
- 230000003993 interaction Effects 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000638 solvent extraction Methods 0.000 claims description 35
- 238000005192 partition Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 13
- 238000013480 data collection Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 12
- 230000010354 integration Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Abstract
本申请提供了一种多维数据采集装置、系统及方法，多维数据采集装置包括：采集组件获取多个数据源采集的多维目标数据；采集组件根据多维目标数据的属性信息，确定处理多维目标数据的配置接口以及与配置接口对应的匹配规则；采集组件根据配置接口的接口信息和与配置接口对应的匹配规则，生成数据划分策略；采集组件按照数据划分策略对多维目标数据进行划分，得到多个数据集合；数据交互中心将多个数据集合发送至存储组件进行存储。本申请通过目标数据的配置接口和与配置接口对应的匹配规则，来生成划分策略，并将划分后的数据集合经由处理后发送至存储结构以及共享平台，使得目标数据的转换更加的灵活，增强了目标数据转换以及共享的实用性。
Description
技术领域
本申请涉及数据处理技术领域，尤其是涉及一种多维数据采集装置、系统及方法。
背景技术
随着软硬件的发展，大数据时代开启了一个大规模生产、分享和应用数据的时代，信息的交互变的越来越习以为常。在各种商业应用的场景下，数据的采集及应用被广泛使用，这种现象已经形成了一种新的商业形态。与传统的数据采集比较，大数据时代数据来源广泛、数据量大且数据类型丰富。
然而由于数据类型的差异化，通常需要依赖各种不同类型的传感器进行采集，这样不可避免地产生了在本地系统上连接多种传感器的现象，显得杂乱且不便于管理维护，另外，由于需要各种不同类型的传感器进行数据采集，使得数据来源变得分散、多样，造成数据的整合、融合困难。
现有技术中，很多数据采集ETL工具也可以支持多种格式数据采集，但是现有的ETL工具都是基于数据库服务的采集，而且这类工具在数据清洗时需耗费大量的时间，且在数据的转换过程中，需要用到数据转换缓存表来实现，由于一个作业的完成对应一个数据属性转换，动辄上百或几十个job需要管理，客户端管理很难编排，造成数据转换不够灵活。
发明内容
有鉴于此，本申请的目的在于提供一种多维数据采集装置、系统及方法，通过采集组件获取多个数据源采集的多维目标数据；采集组件根据多维目标数据的属性信息，确定处理多维目标数据的配置接口以及与配置接口对应的匹配规则；采集组件根据配置接口的接口信息和与配置接口对应的匹配规则，生成数据划分策略；采集组件按照数据划分策略对多维目标数据进行划分，得到多个数据集合；数据交互中心将多个数据集合发送至存储组件进行存储。本申请通过目标数据的配置接口和与配置接口对应的匹配规则，来生成划分策略，并将划分后的数据集合经由处理后发送至存储结构以及共享平台，使得目标数据的转换更加的灵活，增强了目标数据转换以及共享的实用性。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供了一种多维数据采集装置，所述多维数据采集装置包括数据交互中心和采集组件；
采集组件获取多个数据源采集的多维目标数据；
采集组件根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；
采集组件根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略；
采集组件按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合；
数据交互中心将所述多个数据集合发送至存储组件进行存储。
在一种可能的实施方式中，所述数据交互中心包括字典映射接口：
所述字典映射接口针对每个数据集合按照属性信息进行标准化转换，获得转换后的标准属性数据；
所述字典映射接口将转换后的标准属性数据发送至存储组件进行存储。
在一种可能的实施方式中，所述属性信息包括多个数据特征，所述配置接口包括多个接口组件，所述多个接口组件中的每个接口组件与所述多个数据特征中的一个数据特征对应；
所述多个接口组件对应多种组件类型，每个接口组件对应的匹配规则为将该接口组件与其他接口组件进行匹配；其中，所述其他接口组件对应的组件类型与该接口组件对应的组件类型不同。
在一种可能的实施方式中，所述采集组件还用于：
若所述多维目标数据中存在与所述多个接口组件不对应的新增数据特征，则采集组件配置与新增数据特征对应的新增接口组件；
采集组件从数据交互中心获取与所述新增接口组件对应的匹配规则。
在一种可能的实施方式中，所述多种组件类型包括：数据服务商、数据采集方式和数据种类；
所述采集组件包括：数据服务商的采集划分架构、数据采集方式的采集划分架构和数据种类的采集划分架构的三层划分架构，其中，每层划分架构包括与该层划分架构对应的组件类型一致的多个所述接口组件。
第二方面，本申请实施例还提供了一种多维数据采集系统，包括如上述所述的多维数据采集装置、多维数据存储装置以及采集设备；
采集设备，用于采集多个数据源的多维目标数据，以及将所述多维目标数据发送至多维数据采集装置；
多维数据采集装置，用于获取多个数据源采集的多维目标数据，根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；
多维数据采集装置，还用于根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略，按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合，以及将所述多个数据集合发送至存储组件进行存储；
多维数据存储装置，用于接收并存储所述多维数据采集装置发送的所述多个数据集合。
在一种可能的实施方式中，所述多维数据采集系统还包括：
多维数据应用平台，用于接收所述多维数据采集装置共享的所述多个数据集合。
在一种可能的实施方式中，所述采集设备包括：数据采集硬件设备和数据采集软件平台；
数据采集硬件设备，用于采集硬件设备的多个数据源的多维目标数据，以及将所述硬件设备的所述多维目标数据发送至多维数据采集装置；
数据采集软件平台，用于采集软件平台的多个数据源的多维目标数据，以及将所述软件平台的所述多维目标数据发送至多维数据采集装置。
第三方面，一种多维数据的采集方法，应用于多维数据采集装置，所述多维数据的采集方法包括：
获取多个数据源采集的多维目标数据；
根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；
根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略；
按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合；
将所述多个数据集合发送至存储组件进行存储。
第四方面，一种多维数据的采集方法，应用于多维数据采集系统，所述多维数据的采集方法包括：
采集多个数据源的多维目标数据；
获取多个数据源采集的多维目标数据，根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；
根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略，按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合；
将所述多个数据集合发送至存储组件进行存储；
接收并存储所述多个数据集合。
本申请实施例提供的多维数据采集装置，与现有技术中的数据采集装置相比，本申请采集组件获取多个数据源采集的多维目标数据；采集组件根据多维目标数据的属性信息，确定处理多维目标数据的配置接口以及与配置接口对应的匹配规则；采集组件根据配置接口的接口信息和与配置接口对应的匹配规则，生成数据划分策略；采集组件按照数据划分策略对多维目标数据进行划分，得到多个数据集合；数据交互中心将多个数据集合发送至存储组件进行存储。本申请通过目标数据的配置接口和与配置接口对应的匹配规则，来生成划分策略，并将划分后的数据集合经由处理后发送至存储结构以及共享平台，使得目标数据的转换更加的灵活，增强了目标数据转换以及共享的实用性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种多维数据采集装置的结构示意图；
图2示出了本申请实施例所提供的一种多维数据采集系统的结构示意图；
图3示出了本申请实施例所提供的另一种多维数据采集系统的结构示意图；
图4示出了本申请实施例所提供的一种多维数据的采集方法的流程图；
图5示出了本申请实施例所提供的另一种多维数据的采集方法的流程示意图。
图中：
10-多维数据采集系统；100-多维数据采集装置；110-数据交互中心；120-采集组件；200-多维数据存储装置；300-采集设备；400-多维数据应用平台。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
经研究发现，由于数据类型的差异化，通常需要依赖各种不同类型的传感器进行采集，这样不可避免地产生了在本地系统上连接多种传感器的现象，显得杂乱且不便于管理维护，另外，由于需要各种不同类型的传感器进行数据采集，使得数据来源变得分散、多样，造成数据的整合、融合困难。
现有技术中，很多数据采集ETL工具也可以支持多种格式数据采集，但是现有的ETL工具都是基于数据库服务的采集，而且这类工具在数据清洗时大量的时间，且在数据的转换过程中，需要用到数据转换缓存表来实现，由于一个作业的完成对应一个数据属性转换，动辄上百或几十个job需要管理，客户端管理很难编排，造成数据转换不够灵活。
基于此，本申请实施例提供了一种多维数据采集装置、系统及方法，采集组件获取多个数据源采集的多维目标数据；采集组件根据多维目标数据的属性信息，确定处理多维目标数据的配置接口以及与配置接口对应的匹配规则；采集组件根据配置接口的接口信息和与配置接口对应的匹配规则，生成数据划分策略；采集组件按照数据划分策略对多维目标数据进行划分，得到多个数据集合；数据交互中心将多个数据集合发送至存储组件进行存储。本申请通过目标数据的配置接口和与配置接口对应的匹配规则，来生成划分策略，并将划分后的数据集合经由处理后发送至存储结构以及共享平台，使得目标数据的转换更加的灵活，增强了目标数据转换以及共享的实用性，且本申请进一步的提升了存储时的容错性以及负载的均衡性，在一定程度上降低了数据的丢失以及重复的问题。
请参阅图1，图1为本申请实施例所提供的一种多维数据采集装置的结构示意图。如图1中所示，本申请实施例提供的多维数据采集装置100包括数据交互中心110和采集组件120。
采集组件120获取多个数据源采集的多维目标数据。
其中，所获取的多个数据源采集的多维目标数据为不同类型以及不同功能的多维目标数据，用于满足多维目标数据实时性、多维目标稳定性、多维目标可扩展性、多维目标数据采集以及多维目标数据转发的需求。
这里，多个所述数据源具体可为通过数据采集硬件设备或数据采集软件平台采集的多个数据源，所述数据采集硬件设备，用于采集硬件设备的多维目标数据，以及将所述硬件设备的多维目标数据发送至多维数据采集装置；所述数据采集软件平台，用于采集软件平台的多维目标数据，以及将所述软件平台的多维目标数据发送至多维数据采集装置。
这样，所述数据采集硬件设备可具体但不限制于人脸数据采集仪、车辆数据采集仪、门禁数据采集仪、电子围栏数据采集仪、GIS数据采集仪、RFID数据采集仪、案事件数据采集仪、WIFI数据采集仪以及MAC数据采集仪。
所述数据采集软件平台可具体但不限制于所述多维数据采集装置100对应的下级平台数据库、下级WebService服务平台以及用户自定义平台数据库等。
采集组件120根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则。
这里，根据所述采集组件采集的所述多维目标数据，确定每个所述目标数据的属性信息，所述属性信息可包括但不限于每个所述目标数据的数据IP、ID标识以及唯一指定的序列号等，并根据上述的所述目标数据的属性信息确定处理所述多维目标数据的配置接口和与所述配置接口对应的匹配规则，所述匹配规则可具体但不限制于多维目标数据的配置接口与所述多维目标数据的转换标准建立key-value哈希映射关系。
若没有与所述配置接口对应的匹配规则，则注册并更新下载与所述配置接口对应的匹配规则。示例性的，可在数据交互中心注册并更新下载与所述配置接口对应的匹配规则。
其中，所述多维目标数据的配置接口包括目标数据采集接口、目标数据转发接口、目标数据采集适配接口以及目标数据采集分配接口。
这里，所述目标数据采集分配接口，提供了所述目标数据按照采集设备类型查询接口三维方式，如当需要采集人脸识别的目标数据，只需分配人脸抓拍类型的设备即可，例如人脸抓拍仪。
进一步的，所述属性信息包括多个数据特征，所述配置接口包括多个接口组件，所述多个接口组件中的每个接口组件与所述多个数据特征中的一个数据特征对应。
这里，所述每个数据特征与所述配置接口中的所述多个接口组件相对应，即一个所述数据特征对应多个所述配置接口。
所述多个接口组件对应多种组件类型，每个接口组件对应的匹配规则为将该接口组件与其他接口组件进行匹配；其中，其他接口组件对应的组件类型与该接口组件对应的组件类型不同。即，将一个接口组件同与该一个接口组件所对应的组件类型不同的接口组件进行匹配。
这里，所述多种组件类型包括：数据服务商、数据采集方式和数据种类。
所述采集组件包括：数据服务商的采集划分架构、数据采集方式的采集划分架构和数据种类的采集划分架构的三层划分架构，其中，每层划分架构包括与该层划分架构对应的组件类型一致的多个所述接口组件。
这里，所述多维目标数据的来源的采集设备不同，因此，所述多维目标数据的具体划分架构并不相同，所述划分架构主要包括依照三个方面进行划分，具体划分为数据服务商的采集划分架构、数据采集方式的采集划分架构以及数据种类的采集划分架构。
其中，所述数据服务商的采集划分架构为根据所述数据服务商的采集划分架构所属的服务商的不同进行架构的划分，所述数据服务商可具体但不绝限于人脸数据采集组件、车辆数据采集组件、案事件数据采集组件以及门禁数据采集组件。
所述数据采集方式的采集划分架构可具体但不绝限于SDK服务组件、数据库服务协议组件、文件服务组件、图片服务组件、行业标准服务组件、国际标准服务组件以及用户定制化协议服务组件。
所述数据种类的采集划分架构可具体但不绝限于视频片段服务组件、图片服务组件、结构化文本服务组件、半结构特征服务组件以及图片文本组合服务组件。
在本申请的一优选实施例中，可以利用上述的三层划分架构逐层来对多维目标数据进行划分，示例性的，可将多维目标数据按照其多个数据特征先经由数据种类的采集划分架构进行划分，然后针对每一个基于数据种类划分后得到的数据集，再经由数据采集方式的采集划分架构进行划分，最后针对每一个基于数据采集方式划分后得到的数据集，再经由数据服务商的采集划分架构进行划分，以获得多个数据集合。
应理解，上述所列举的三层划分架构逐层划分的顺序为从数据种类的采集划分架构、数据采集方式的采集划分架构至数据服务商的采集划分架构的顺序，但本申请不限于此，本领域技术人员可以根据需求来对上述划分顺序进行调整。
采集组件根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略。
这里，基于不同的多维目标数据，产生的所述多维目标数据的配置接口的接口信息不同，针对每个目标数据的配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略。
这里，所述配置接口对应的匹配规则为采用反射机制从redis数据库中获取所述配置接口对应的匹配规则，若redis数据库中存在与所述配置接口对应的匹配规则，则直接下载使用，所述redis数据库中不存在与所述配置接口对应的匹配规则，则需要在多维数据采集组件中的数据适配管理中心重新下载与所述配置接口对应的匹配规则。
进一步的，所述采集组件还用于：
若所述多维目标数据中存在与所述多个接口组件不对应的新增数据特征，则采集组件配置与新增数据特征对应的新增接口组件。
其中，若所述采集组建中发现有新增数据类型，如音频数据等，所述采集组件需要自动配置与新增数据特征对应的新增接口组件。
采集组件从数据交互中心获取与所述新增接口组件对应的匹配规则。
这里，采集组件通过数据交互中心进行注册，获得数据交互中心的授权后，从数据交互中心系统下载数据采集方式、数据转换标准以及多维数据采集装置的装置信息等，并配置对应的匹配规则。
采集组件按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合。
这里，针对于每个所述目标数据，按照不同的划分架构所生成的具体的划分策略对所述多维目标数据进行划分，得到多个数据集合，将得到的多个所述数据集合进行数据的清洗和转换。
数据交互中心将所述多个数据集合发送至存储组件进行存储。这里，该存储组件可以是多维数据存储装置。
这里，所述数据交互中心用于将清洗和转换后的所述多个数据集合进行存储。
所述数据集合进行存储的设备包括Kafka中间件、结构化数据库、对象存储、缓冲存储以及半结构化数据库。
其中，所述Kafka中间件，用于存储所有采集数据，提供其他组件实现数据消费使用。
所述结构化数据库，用于永久存储结构化的文本数据。提供其他应用模块查询。
所述对象存储，用于永久存储图片、视频、音频数据，提供其他应用模块查询。
所述缓冲存储，用于各模块间高频访问的系统配置信息的存储。
半结构化数据库：用于半结构化的特征向量数据存储，例如：人脸轮廓特征向量。提供其他应用模块查询。
进一步的，所述数据交互中心包括字典映射接口：
所述字典映射接口针对每个数据集合按照属性信息进行标准化转换，获得转换后的标准属性数据。
这里，所述目标数据转换适配接口，为将采集到的一维目标数据的数据属性转换成其他标准的数据属性，如，第一人脸识别技术识别出性别为女性的表示数据属性的字典是2，而国际标准中的人脸识别技术，识别出性别为女性的表示数据属性的字典是1，此时需要采用目标数据转换适配接口实现目标数据的属性的映射。
所述字典映射接口将转换后的标准属性数据发送至存储组件进行存储。
这里，所述字典映射接口将转换后的标准属性数据，即将上述中所述的第一人脸识别技术通过字典映射接口转换成国际标准的人脸识别技术。
进一步的，所述数据交互中心还包括管理配置接口的配置接口管理中心，所述配置接口管理中心包括数据采集接口管理中心、数据共享接口管理中心、数据标准管理中心、联网平台管理中心、数据适配管理中心、设备管理中心、数据采集服务。
其中，所述数据采集接口管理中心，用于对目标数据采集接口配置的多维目标数据、数据采集协议以及多维目标数据的种类之间的关系进行配置管理。
数据共享组件管理中心，用于对目标数据转发接口配置的多维目标数据、数据共享协议以及多维目标数据的种类之间的关系进行配置管理。
数据标准管理中心，用于管理多标准的所述多维目标数据的格式配置。
联网平台管理中心，用于对多维数据应用平台的数据订阅/通知进行管理。
数据适配管理中心，用于适配所述多维目标数据的数据标准之间的关系配置。
设备管理中心，用于管理进行数据采集的所述采集设备。
数据采集服务，用于对所述多维目标数据进行合法验证，并将通过合法验证后的多维目标数据进行存储。
本申请实施例提供的多维数据采集装置，与现有技术中采集装置相比，本申请通过目标数据的属性信息，确定处理所述目标数据的配置接口和与配置接口对应的匹配规则，并基于匹配规则于配置接口的接口信息生成划分策略，实现了不同格式的相同属性的目标数据的统一规范化管理，实用性强，使用范围广，便于数据的整合以及融合，避免了数据孤岛的形成。
本申请通过将多维数据进行策略划分，采用posa架构、SOA理念，按数据源种类、数据采集方式、数据提供商进行纵向分层，遵循组件横向扩展、组件热插拔的原则，并将划分后的子数据经由处理后发送至存储结构以及共享平台，使得所述目标数据的转换更加的灵活，进一步的提升了存储时的容错性以及负载的均衡性，在一定程度上降低了数据的丢失以及重复的问题。
请参阅图2，图2为本申请实施例所提供的一种多维数据采集系统的结构示意图。所示如图2中所示，本申请实施例提供的一种多维数据采集系统，所述多维数据采集系统10包括如上面所述的多维数据采集装置100、多维数据存储装置200以及采集设备300。
采集设备300，用于采集多个数据源的多维目标数据，以及将所述多维目标数据发送至多维数据采集装置100。
进一步的，所述采集设备300包括：数据采集硬件设备和数据采集软件平台。
其中，所述数据采集硬件设备，用于采集硬件设备的多个数据源的多维目标数据，以及将所述硬件设备的所述多维目标数据发送至多维数据采集装置100。
这里，所述数据采集软件平台，用于采集软件平台的多个数据源的多维目标数据，以及将所述软件平台的所述多维目标数据发送至多维数据采集装置100。
多维数据采集装置100，用于获取多个数据源采集的多维目标数据，根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则。
还用于根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略，按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合，以及将所述多个数据集合发送至存储组件进行存储。
多维数据存储装置200，用于接收并存储所述多维数据采集装置100发送的所述多个数据集合。
本申请实施例提供的多维数据采集系统，与现有技术中采集系统相比，本申请通过目标数据的属性信息，确定处理所述目标数据的配置接口和与配置接口对应的匹配规则，并基于匹配规则于配置接口的接口信息生成划分策略，实现了不同格式的相同属性的目标数据的统一规范化管理，实用性强，使用范围广，便于数据的整合以及融合，避免了数据孤岛的形成。
本申请通过将多维数据进行策略划分，采用posa架构、SOA理念，按数据源种类、数据采集方式、数据提供商进行纵向分层，遵循组件横向扩展、组件热插拔的原则，并将划分后的子数据经由处理后发送至存储结构以及共享平台，使得所述目标数据的转换更加的灵活，进一步的提升了存储时的容错性以及负载的均衡性，在一定程度上降低了数据的丢失以及重复的问题。
请参阅图3，图3为本申请实施例所提供的另一种多维数据采集系统的结构示意图。所示如图3中所示，本申请实施例提供的一种多维数据采集系统，所述多维数据采集系统10包括如上面所述的多维数据采集装置100、多维数据存储装置200以及采集设备300。
采集设备300，用于采集多个数据源的多维目标数据，以及将所述多维目标数据发送至多维数据采集装置100。
进一步的，所述采集设备300包括：数据采集硬件设备和数据采集软件平台。
其中，所述数据采集硬件设备，用于采集硬件设备的多个数据源的多维目标数据，以及将所述硬件设备的所述多维目标数据发送至多维数据采集装置100。
这里，所述数据采集软件平台，用于采集软件平台的多个数据源的多维目标数据，以及将所述软件平台的所述多维目标数据发送至多维数据采集装置100。
多维数据采集装置100，用于获取多个数据源采集的多维目标数据，根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则。
还用于根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略，按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合，以及将所述多个数据集合发送至存储组件进行存储。
多维数据存储装置200，用于接收并存储所述多维数据采集装置100发送的所述多个数据集合。
多维数据应用平台400，用于接收所述多维数据采集装置100共享的所述多个数据集合。
其中，对多个所述数据集合进行共享是为了供其他服务数据实现资源共享，如：目标数据的二次分析以及目标数据的转发。
本申请实施例提供的多维数据采集系统，与现有技术中采集系统相比，本申请通过目标数据的属性信息，确定处理所述目标数据的配置接口和与配置接口对应的匹配规则，并基于匹配规则于配置接口的接口信息生成划分策略，实现了不同格式的相同属性的目标数据的统一规范化管理，实用性强，使用范围广，便于数据的整合以及融合，避免了数据孤岛的形成。
本申请通过将多维数据进行策略划分，采用posa架构、SOA理念，按数据源种类、数据采集方式、数据提供商进行纵向分层，遵循组件横向扩展、组件热插拔的原则，并将划分后的子数据经由处理后发送至存储结构以及共享平台，使得所述目标数据的转换更加的灵活，进一步的提升了存储时的容错性以及负载的均衡性，在一定程度上降低了数据的丢失以及重复的问题。
请参阅图4，图4为本申请实施例所提供的一种多维数据采集方法的流程图。如图4中所示，本申请实施例提供的一种多维数据采集方法，应用于多维数据采集装置，所述多维数据的采集方法包括：
S401、获取多个数据源采集的多维目标数据。
该步骤中，获取多个数据源采集的多维目标数据，用于满足多维目标数据实时性、多维目标稳定性、多维目标可扩展性、多维目标数据采集以及多维目标数据转发的需求。
S402、根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则。
S403、根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略。
S404、按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合。
S405、将所述多个数据集合发送至存储组件进行存储。
本申请实施例提供的多维数据采集方法，与现有技术中采集方法相比，本申请通过目标数据的属性信息，确定处理所述目标数据的配置接口和与配置接口对应的匹配规则，并基于匹配规则于配置接口的接口信息生成划分策略，实现了不同格式的相同属性的目标数据的统一规范化管理，实用性强，使用范围广，便于数据的整合以及融合，避免了数据孤岛的形成。
本申请通过将多维数据进行策略划分，采用posa架构、SOA理念，按数据源种类、数据采集方式、数据提供商进行纵向分层，遵循组件横向扩展、组件热插拔的原则，并将划分后的子数据经由处理后发送至存储结构以及共享平台，使得所述目标数据的转换更加的灵活，进一步的提升了存储时的容错性以及负载的均衡性，在一定程度上降低了数据的丢失以及重复的问题。
请参阅图5，图5为本申请实施例所提供的一种多维数据采集方法的流程图。如图5中所示，本申请实施例提供的一种多维数据采集方法，应用于多维数据采集系统，所述多维数据的采集方法包括：
S501、采集多个数据源的多维目标数据。
S502、获取多个数据源采集的多维目标数据，根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则。
S503、根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略，按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合。
S504、将所述多个数据集合发送至存储组件进行存储。
S505、接收并存储所述多个数据集合。
具体采集过程如下：
获取从采集设备中采集的多维目标数据。
判断所述多维目标数据中是否存在接口组件与所述多维目标数据的数据特征相对应。
若存在接口组件与所述多维目标数据的数据特征相对应，所述接口组件通过数据交互中心进行注册，获得数据交互中心的授权后，从数据交互中心系统下载数据采集方式、数据转换标准以及多维数据采集装置的装置信息等，并配置对应的匹配规则。
在成功接收到数据交互中心系统下载数据采集方式、数据转换标准以及多维数据采集装置的装置信息后，根据对应的匹配规则，建立对应的包括数据服务商的采集划分架构、数据采集方式的采集划分架构和数据种类的采集划分架构的三层划分架构的多种组件类型的数据划分策略。
按照三层划分架构的多种组件类型的数据划分策略对采集到的多维目标数据顺序进行由数据服务商的采集划分到数据采集方式的采集划分再到数据种类的采集划分，得到多个数据集合。
将完成划分的所述多个数据集合在所述数据种类的采集划分架构中进行清洗、装换以及封装处理，并将封装处理后的所述多个数据集合发送至数据交互中心。
所述数据交互中心将获取到的所述多个数据集合发送至多维数据存储装置进行存储，同时将所述多个数据集合发送至多维数据应用平台进行上报及共享。
本申请实施例提供的多维数据采集方法，与现有技术中采集方法相比，本申请通过目标数据的属性信息，确定处理所述目标数据的配置接口和与配置接口对应的匹配规则，并基于匹配规则于配置接口的接口信息生成划分策略，实现了不同格式的相同属性的目标数据的统一规范化管理，实用性强，使用范围广，便于数据的整合以及融合，避免了数据孤岛的形成。
本申请通过将多维数据进行策略划分，采用posa架构、SOA理念，按数据源种类、数据采集方式、数据提供商进行纵向分层，遵循组件横向扩展、组件热插拔的原则，并将划分后的子数据经由处理后发送至存储结构以及共享平台，使得所述目标数据的转换更加的灵活，进一步的提升了存储时的容错性以及负载的均衡性，在一定程度上降低了数据的丢失以及重复的问题。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种多维数据采集装置，其特征在于，所述多维数据采集装置包括数据交互中心和采集组件；
采集组件获取多个数据源采集的多维目标数据；
采集组件根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；
采集组件根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略；
采集组件按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合；
数据交互中心将所述多个数据集合发送至存储组件进行存储。
2.根据权利要求1所述的多维数据采集装置，其特征在于，所述数据交互中心包括字典映射接口：
所述字典映射接口针对每个数据集合按照属性信息进行标准化转换，获得转换后的标准属性数据；
所述字典映射接口将转换后的标准属性数据发送至存储组件进行存储。
3.根据权利要求1所述的多维数据采集装置，其特征在于，所述属性信息包括多个数据特征，所述配置接口包括多个接口组件，所述多个接口组件中的每个接口组件与所述多个数据特征中的一个数据特征对应；
所述多个接口组件对应多种组件类型，每个接口组件对应的匹配规则为将该接口组件与其他接口组件进行匹配；其中，所述其他接口组件对应的组件类型与该接口组件对应的组件类型不同。
4.根据权利要求3所述的多维数据采集装置，其特征在于，所述采集组件还用于：
若所述多维目标数据中存在与所述多个接口组件不对应的新增数据特征，则采集组件配置与新增数据特征对应的新增接口组件；
采集组件从数据交互中心获取与所述新增接口组件对应的匹配规则。
5.根据权利要求3所述的多维数据采集装置，其特征在于，所述多种组件类型包括：数据服务商、数据采集方式和数据种类；
所述采集组件包括：数据服务商的采集划分架构、数据采集方式的采集划分架构和数据种类的采集划分架构的三层划分架构，其中，每层划分架构包括与该层划分架构对应的组件类型一致的多个所述接口组件。
6.一种多维数据采集系统，其特征在于，包括如权利要求1-5任一所述的多维数据采集装置、多维数据存储装置以及采集设备；
采集设备，用于采集多个数据源的多维目标数据，以及将所述多维目标数据发送至多维数据采集装置；
多维数据采集装置，用于获取多个数据源采集的多维目标数据，根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；
多维数据采集装置，还用于根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略，按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合，以及将所述多个数据集合发送至存储组件进行存储；
多维数据存储装置，用于接收并存储所述多维数据采集装置发送的所述多个数据集合。
7.根据权利要求6所述的多维数据采集系统，其特征在于，所述多维数据采集系统还包括：
多维数据应用平台，用于接收所述多维数据采集装置共享的所述多个数据集合。
8.根据权利要求6所述的多维数据采集系统，其特征在于，所述采集设备包括：数据采集硬件设备和数据采集软件平台；
数据采集硬件设备，用于采集硬件设备的多个数据源的多维目标数据，以及将所述硬件设备的所述多维目标数据发送至多维数据采集装置；
数据采集软件平台，用于采集软件平台的多个数据源的多维目标数据，以及将所述软件平台的所述多维目标数据发送至多维数据采集装置。
9.一种多维数据的采集方法，应用于多维数据采集装置，其特征在于，所述多维数据的采集方法包括：
获取多个数据源采集的多维目标数据；
根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；
根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略；
按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合；
将所述多个数据集合发送至存储组件进行存储。
10.一种多维数据的采集方法，应用于多维数据采集系统，其特征在于，所述多维数据的采集方法包括：
采集多个数据源的多维目标数据；
获取多个数据源采集的多维目标数据，根据所述多维目标数据的属性信息，确定处理所述多维目标数据的配置接口以及与所述配置接口对应的匹配规则；
根据所述配置接口的接口信息和与所述配置接口对应的匹配规则，生成数据划分策略，按照所述数据划分策略对所述多维目标数据进行划分，得到多个数据集合；
将所述多个数据集合发送至存储组件进行存储；
接收并存储所述多个数据集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110378929.8A CN112988875A (zh) | 2021-04-08 | 2021-04-08 | 一种多维数据采集装置、系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110378929.8A CN112988875A (zh) | 2021-04-08 | 2021-04-08 | 一种多维数据采集装置、系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112988875A true CN112988875A (zh) | 2021-06-18 |
Family
ID=76339521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110378929.8A Pending CN112988875A (zh) | 2021-04-08 | 2021-04-08 | 一种多维数据采集装置、系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112988875A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107562485A (zh) * | 2017-07-31 | 2018-01-09 | 北京北信源软件股份有限公司 | 一种自动采集补丁数据的方法及装置 |
| CN108182963A (zh) * | 2017-12-14 | 2018-06-19 | 山东浪潮云服务信息科技有限公司 | 一种医疗数据处理方法及装置 |
| CN108241566A (zh) * | 2018-02-12 | 2018-07-03 | 黄倚霄 | 一种基于配置的数据库性能监控方法 |
| CN108764348A (zh) * | 2018-05-30 | 2018-11-06 | 口口相传(北京)网络技术有限公司 | 基于多个数据源的数据采集方法及系统 |
| CN109150610A (zh) * | 2018-08-29 | 2019-01-04 | 深圳市未来交互信息技术有限公司 | 基于规则适配的网络事件采集方法 |
| CN110166535A (zh) * | 2019-04-30 | 2019-08-23 | 广东利通科技投资有限公司 | 智慧交通通信系统 |
| CN110310195A (zh) * | 2019-06-13 | 2019-10-08 | 上海指旺信息科技有限公司 | 贷后催收方法及系统 |
| CN110413673A (zh) * | 2019-07-08 | 2019-11-05 | 中国人民银行清算总中心 | 数据库数据统一采集与分发方法及系统 |
| CN111123855A (zh) * | 2019-12-06 | 2020-05-08 | 北京国电通网络技术有限公司 | 一种施工现场管控系统及方法 |
| CN111858636A (zh) * | 2020-07-28 | 2020-10-30 | 浪潮云信息技术股份公司 | 一种基于配置化管理的数据采集方法及系统 |
| CN112241402A (zh) * | 2020-10-16 | 2021-01-19 | 中国民用航空华东地区空中交通管理局 | 一种空管数据供应链系统及数据治理方法 |
| CN112506927A (zh) * | 2020-12-04 | 2021-03-16 | 浪潮云信息技术股份公司 | 一种云环境下的性能数据存储方法 |
| CN112559809A (zh) * | 2020-12-21 | 2021-03-26 | 恩亿科(北京)数据科技有限公司 | 消费者多渠道数据整合方法、系统、设备及存储介质 |
-
2021
- 2021-04-08 CN CN202110378929.8A patent/CN112988875A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107562485A (zh) * | 2017-07-31 | 2018-01-09 | 北京北信源软件股份有限公司 | 一种自动采集补丁数据的方法及装置 |
| CN108182963A (zh) * | 2017-12-14 | 2018-06-19 | 山东浪潮云服务信息科技有限公司 | 一种医疗数据处理方法及装置 |
| CN108241566A (zh) * | 2018-02-12 | 2018-07-03 | 黄倚霄 | 一种基于配置的数据库性能监控方法 |
| CN108764348A (zh) * | 2018-05-30 | 2018-11-06 | 口口相传(北京)网络技术有限公司 | 基于多个数据源的数据采集方法及系统 |
| CN109150610A (zh) * | 2018-08-29 | 2019-01-04 | 深圳市未来交互信息技术有限公司 | 基于规则适配的网络事件采集方法 |
| CN110166535A (zh) * | 2019-04-30 | 2019-08-23 | 广东利通科技投资有限公司 | 智慧交通通信系统 |
| CN110310195A (zh) * | 2019-06-13 | 2019-10-08 | 上海指旺信息科技有限公司 | 贷后催收方法及系统 |
| CN110413673A (zh) * | 2019-07-08 | 2019-11-05 | 中国人民银行清算总中心 | 数据库数据统一采集与分发方法及系统 |
| CN111123855A (zh) * | 2019-12-06 | 2020-05-08 | 北京国电通网络技术有限公司 | 一种施工现场管控系统及方法 |
| CN111858636A (zh) * | 2020-07-28 | 2020-10-30 | 浪潮云信息技术股份公司 | 一种基于配置化管理的数据采集方法及系统 |
| CN112241402A (zh) * | 2020-10-16 | 2021-01-19 | 中国民用航空华东地区空中交通管理局 | 一种空管数据供应链系统及数据治理方法 |
| CN112506927A (zh) * | 2020-12-04 | 2021-03-16 | 浪潮云信息技术股份公司 | 一种云环境下的性能数据存储方法 |
| CN112559809A (zh) * | 2020-12-21 | 2021-03-26 | 恩亿科(北京)数据科技有限公司 | 消费者多渠道数据整合方法、系统、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 万峰 等: "卫星总装过程数据采集与管理系统研究", 航天制造技术, no. 04, pages 54 - 59 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309264B (zh) | 基于知识图谱获取地理产品数据的方法和装置 | |
| US9418101B2 (en) | Query optimization | |
| Zhang et al. | Sensor data as a service--a federated platform for mobile data-centric service development and sharing | |
| US20150088807A1 (en) | System and method for granular scalability in analytical data processing | |
| CN111797091A (zh) | 数据库中数据查询的方法、装置、电子设备和存储介质 | |
| CN109871289A (zh) | 一种远程过程调用rpc服务生成方法及装置 | |
| CN113839977A (zh) | 消息推送方法、装置、计算机设备及存储介质 | |
| CN109492056A (zh) | 一种商业智能数据查询的方法和系统 | |
| CN110134738A (zh) | 分布式存储系统资源预估方法、装置 | |
| Mythily et al. | Clustering models for data stream mining | |
| CN108885633A (zh) | 用于自动发现和连接到rest接口的技术 | |
| CN108763323A (zh) | 基于资源集和大数据技术的气象格点文件应用方法 | |
| CN115039090A (zh) | 数据查询方法、装置、服务器及存储介质 | |
| CN113568925B (zh) | 一种报文数据的转换方法、装置、电子设备及存储介质 | |
| CN107276912B (zh) | 存储器、报文处理方法及分布式存储系统 | |
| Balduini et al. | A Restful Interface for RDF Stream Processors. | |
| CN114443940A (zh) | 一种消息订阅方法、装置及设备 | |
| CN111858617A (zh) | 用户查找方法和装置、计算机可读存储介质、电子设备 | |
| CN113572630A (zh) | 网络配置信息的生成方法、装置、电子设备和介质 | |
| CN105740251B (zh) | 一种总线式整合不同内容源的方法和系统 | |
| CN112988875A (zh) | 一种多维数据采集装置、系统及方法 | |
| CN111241137A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113965538B (zh) | 设备状态消息处理方法、装置及存储介质 | |
| CN116260702A (zh) | 数据监控的方法、装置、计算机设备和存储介质 | |
| Antunes et al. | Semantic-based publish/subscribe for M2M |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |