CN114912508A - 基于云平台和边缘计算的数据融合系统及方法 - Google Patents
基于云平台和边缘计算的数据融合系统及方法 Download PDFInfo
- Publication number
- CN114912508A CN114912508A CN202210349083.XA CN202210349083A CN114912508A CN 114912508 A CN114912508 A CN 114912508A CN 202210349083 A CN202210349083 A CN 202210349083A CN 114912508 A CN114912508 A CN 114912508A
- Authority
- CN
- China
- Prior art keywords
- data
- fusion
- module
- characteristic
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于云平台和边缘计算的数据融合系统及方法,涉及数据处理技术领域,解决了现有技术在进行数据融合过程中,没有根据融合需求来选择待融合数据,进而完成数据融合,导致数据处理量大,融合结果与融合需求不匹配的技术问题;本发明中数据融合模块通过解析融合需求获取特征属性,若干边缘处理模块根据特征属性采集数据,并融合获取对应的初始融合数据,降低了数据处理量,同时提高了目标融合数据和融合结果的匹配度;本发明在通过多源数据生成多源融合序列,进而获取初始融合数据时,按照可信度将多源融合序列中的数据划分成了两部分,一部分用于融合,一部分用于验证补充,提高初始融合数据的精度,进而提高目标融合数据的精度。
Description
技术领域
本发明属于数据处理领域,涉及基于云平台和边缘计算的书融合技术,具体是基于云平台和边缘计算的数据融合系统及方法。
背景技术
随着大数据、云计算技术越来越成熟,数据融合应用也越来越普遍。数据融合是指将多源数据进行分析、综合和组合,以完成所需的决策和评估任务而进行的信息处理技术,能够发现数据规律,提升数据价值。
现有技术(公开号为CN111625545A的发明专利)公开了一种数据融合方法、数据融合装置及存储介质,获取待融合的多源数据之后,基于维度关系记录对待融合的多源数据进行数据融合,实现有效的数据融合。现有技术在进行数据融合过程中,没有根据融合需求来选择待融合数据,进而完成数据融合,导致数据处理量大,且融合结果与融合需求不匹配;因此,亟须一种基于云平台和边缘计算的数据融合系统及方法。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一;为此,本发明提出了基于云平台和边缘计算的数据融合系统及方法,用于解决现有技术在进行数据融合过程中,没有根据融合需求来选择待融合数据,进而完成数据融合,导致数据处理量大,融合结果与融合需求不匹配的技术问题。
本发明设置有数据融合模块以及与之相连接的若干边缘处理模块,数据融合模块通过解析融合需求获取特征属性,若干边缘处理模块根据特征属性采集数据,并融合获取对应的初始融合数据,进而获取目标融合数据,降低了数据处理量,同时提高了目标融合数据和融合结果的匹配度。
为实现上述目的,本发明的第一方面提供了基于云平台和边缘计算的数据融合系统,包括数据融合模块,以及与之相连接的若干边缘处理模块;
所述数据融合模块获取融合需求,并对所述融合需求进行解析获取特征属性,将所述特征属性分发至若干所述边缘处理模块;其中,所述特征属性包括特征标签以及对应的若干数据类型;
若干所述边缘处理模块根据所述特征属性进行数据采集和筛选,获取多源数据;根据所述多源数据进行融合处理,获取对应的初始融合数据;其中,若干所述边缘处理模块关联的融合范围不同;
所述数据融合模块将若干所述边缘处理模块获取的所述初始融合数据进行拼接优化,获取目标融合数据。
优选的,所述数据融合模块与若干所述边缘处理模块通信和/或电气连接,所述数据融合模块与智能终端通信和/或电气连接;其中,所述数据融合模块设置在云平台或者服务器中。
优选的,所述融合需求通过用户的智能终端生成,或者对所述数据融合模块的融合历史数据分析获取;其中,所述智能终端包括智能手机和电脑。
优选的,所述数据融合模块根据所述融合历史数据分析获取所述融合需求,包括:
获取所述数据融合模块的所述融合历史数据;
提取所述融合历史数据中的融合需求,并按照关注度进行排序,获取历史需求序列;
在所述数据融合模块没有数据融合任务时,根据所述历史需求序列进行数据融合,获取对应的数据融合结果;
通过所述数据融合结果对所述数据融合模块中的数据进行更新,或者存储在所述数据融合模块中。
优选的,所述数据融合模块对所述融合需求进行解析,获取对应的所述特征属性,包括:
接收到所述融合需求后,获取特征关联表;其中,所述特征关联表通过人工选择设定,或者根据实际经验设定;
提取所述融合需求中的特征字符,结合所述特征关联表获取对应的所述特征属性。
优选的,所述边缘处理模块结合所述特征属性进行数据融合,获取所述初始融合数据,包括:
所述边缘处理模块接收到所述特征属性之后,结合所述特征属性采集或者筛选出对应融合范围的多源数据;
对所述多源数据按照可信度进行从高到低排序,获取多源融合序列;
按照所述多源融合序列进行数据融合,获取对应的所述初始融合数据。
优选的,所述边缘处理模块在数据融合过程中对初始融合结果进行验证,获取所述初始融合数据,包括:
选择所述多源数据序列中可信度最高的N条数据,并标记为数据一;其中,N为大于1的整数;
将所述多源数据序列中除了所述数据一之外的数据标记为数据二;其中,所述数据二包含奇数条数据;
对所述数据一进行数据融合,获取中间融合结果以及对应的争议数据;
通过所述数据二对所述中间融合结果中的所述争议数据进行验证优化,获取初始融合数据。
本发明的第一方面提供了基于云平台和边缘计算的数据融合方法,包括:
数据融合模块获取融合需求,并对所述融合需求进行解析获取特征属性,将所述特征属性分发至若干边缘处理模块;
若干所述边缘处理模块根据所述特征属性进行数据采集和筛选,获取多源数据;根据所述多源数据进行融合处理,获取对应的初始融合数据;
所述数据融合模块将若干所述边缘处理模块获取的所述初始融合数据进行拼接优化,获取目标融合数据。
与现有技术相比,本发明的有益效果是:
1、本发明设置有数据融合模块以及与之相连接的若干边缘处理模块,数据融合模块通过解析融合需求获取特征属性,若干边缘处理模块根据特征属性采集数据,并融合获取对应的初始融合数据,进而获取目标融合数据,降低了数据处理量,同时提高了目标融合数据和融合结果的匹配度。
2、本发明在通过多源数据生成多源融合序列,进而获取初始融合数据时,按照可信度将多源融合序列中的数据划分成了两部分,一部分用于融合,一部分用于验证补充,提高初始融合数据的精度,进而提高目标融合数据的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的工作步骤示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
现有技术(公开号为CN111625545A的发明专利)公开了一种数据融合方法、数据融合装置及存储介质,获取待融合的多源数据之后,基于维度关系记录对待融合的多源数据进行数据融合,实现有效的数据融合。现有技术在进行数据融合过程中,没有根据融合需求来选择待融合数据,进而完成数据融合,导致数据处理量大,且融合结果与融合需求不匹配。
本发明设置有数据融合模块以及与之相连接的若干边缘处理模块,数据融合模块通过解析融合需求获取特征属性,若干边缘处理模块根据特征属性采集数据,并融合获取对应的初始融合数据,进而获取目标融合数据,降低了数据处理量,同时提高了目标融合数据和融合结果的匹配度。
请参阅图1,本申请第一方面实施例提供了基于云平台和边缘计算的数据融合系统,包括数据融合模块,以及与之相连接的若干边缘处理模块;
数据融合模块获取融合需求,并对融合需求进行解析获取特征属性,将特征属性分发至若干边缘处理模块;
若干边缘处理模块根据特征属性进行数据采集和筛选,获取多源数据;根据多源数据进行融合处理,获取对应的初始融合数据;
数据融合模块将若干边缘处理模块获取的初始融合数据进行拼接优化,获取目标融合数据。
本申请中的数据融合模块与若干边缘处理模块通信和/或电气连接,数据融合模块与智能终端通信和/或电气连接;数据融合模块设置在云平台或者服务器中,智能终端包括智能手机、电脑等。
本申请中的特征属性包括特征标签以及对应的若干数据类型;特征标签是指特征属性中特征主体的编号或者标记,特征主体是数据融合的目的,如道路、车辆、失踪人口等;数据类型是指能够识别获取特征主体的数据对应的类型,数据类型包括图像、文字、视频等。
本申请中若干边缘处理模块关联的融合范围不同;边缘处理模块处理与之相关联融合范围内的数据,融合范围是指按照某种划分因素,如区域、数据类型等,划分出的多个范围,每个范围至少关联一个边缘处理模块;在另外一些优选的实施例中,每个范围可以与多个边缘处理模块相连接,且多个边缘处理模块之间协同合作。
本申请中融合需求通过用户的智能终端生成,或者对数据融合模块的融合历史数据分析获取。将数据融合模块作为一个数据平台,用户可以通过智能终端发送至自己的融合需求至数据融合模块,以完成用户的数据需求。
当然,数据融合模块本身也可以的自动生成融合需求,来获取新的数据对进行数据融合以完成对已有数据融合结果的更新覆盖;数据融合模块根据融合历史数据分析获取融合需求,包括:
获取数据融合模块的融合历史数据;
提取融合历史数据中的融合需求,并按照关注度进行排序,获取历史需求序列;
在数据融合模块没有数据融合任务时,根据历史需求序列进行数据融合,获取对应的数据融合结果;
通过数据融合结果对数据融合模块中的数据进行更新,或者存储在数据融合模块中。
本实施例通过获取数据融合模块中的融合历史数据,根据融合历史数据对应的融合需求重新获取数据,完成数据融合,实现对原有数据融合结果的更新,也可以不对原有数据融合结果进行覆盖,而只是迭代更新。
本实施例中所指的数据融合模块没有数据融合任务是指没有接收到融合需求,处于空闲状态下,这种情况下数据融合模块可以自动生成融合需求,并完成数据融合,通过错峰处理的方式提高数据融合效率。
在一个优选的实施例中,数据融合模块对融合需求进行解析,获取对应的特征属性,包括:
接收到融合需求后,获取特征关联表;
提取融合需求中的特征字符,结合特征关联表获取对应的特征属性。
本实施例通过数据融合模块对融合需求解析,并结合特征关联表来获取对应的特征属性;特征关联表通过人工选择设定,或者根据实际经验设定。
举例说明本实施例:
假设融合需求是获取车辆轨迹,则从融合需求中提取的特征字符是车辆轨迹;
通过特征关联表中检索车辆轨迹对应的特征属性,如对应的特征标签为CAR,以及对应的数据类型为监控视频和通行记录。
在一个优选的实施例中,边缘处理模块结合特征属性进行数据融合,获取初始融合数据,包括:
边缘处理模块接收到特征属性之后,结合特征属性采集或者筛选出对应融合范围的多源数据;
对多源数据按照可信度进行从高到低排序,获取多源融合序列;
按照多源融合序列进行数据融合,获取对应的初始融合数据。
本实施例在获取到融合需求对应的特征属性之后,将特征属性分发至若干边缘处理模块,边缘处理模块根据特征属性匹配数据或者采集数据,形成多源数据,进而对多源数据排列融合获取初始融合数据。
本实施例中多源数据的可信度可以理解为某一类型数据采集渠道的可信程度,如视频数据的可信度比目击者的陈述高。
在一个可选的实施例中,边缘处理模块在数据融合过程中对初始融合结果进行验证,获取初始融合数据,包括:
选择多源数据序列中可信度最高的N条数据,并标记为数据一;
将多源数据序列中除了数据一之外的数据标记为数据二;
对数据一进行数据融合,获取中间融合结果以及对应的争议数据;
通过数据二对中间融合结果中的争议数据进行验证优化,获取初始融合数据。
本实施例中在数据融合的过程中对融合结果进行不断验证,以保证融合数据的精确度;在进行数据融合之前将多源数据序列按照可信度进行划分,先通过可信度较高的数据一进行融合,通过数据二对融合结果进行验证或者补充。
通过数据一进行数据融合时,可是数据一中的两种类型数据不完全一致,则不一致的数据则为争议数据,此时通过数据二来对争议数据一致,如果数据二与数据一中某一类型的数据一致,则采用该类型的数据完成数据融合;在另外一些优选的实施例中,也可按照“少数服从多数”的原则来确定争议数据。
本申请第一方面实施例提供了基于云平台和边缘计算的数据融合方法,包括:
数据融合模块获取融合需求,并对融合需求进行解析获取特征属性,将特征属性分发至若干边缘处理模块;
若干边缘处理模块根据特征属性进行数据采集和筛选,获取多源数据;根据多源数据进行融合处理,获取对应的初始融合数据;
数据融合模块将若干边缘处理模块获取的初始融合数据进行拼接优化,获取目标融合数据。
本发明的工作原理:
数据融合模块获取融合需求,并对融合需求进行解析获取特征属性,将特征属性分发至若干边缘处理模块。
若干边缘处理模块根据特征属性进行数据采集和筛选,获取多源数据;根据多源数据进行融合处理,获取对应的初始融合数据。
数据融合模块将若干边缘处理模块获取的初始融合数据进行拼接优化,获取目标融合数据。
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法的精神和范围。
Claims (8)
1.基于云平台和边缘计算的数据融合系统,包括数据融合模块,以及与之相连接的若干边缘处理模块,其特征在于:
所述数据融合模块获取融合需求,并对所述融合需求进行解析获取特征属性,将所述特征属性分发至若干所述边缘处理模块;其中,所述特征属性包括特征标签以及对应的若干数据类型;
若干所述边缘处理模块根据所述特征属性进行数据采集和筛选,获取多源数据;根据所述多源数据进行融合处理,获取对应的初始融合数据;其中,若干所述边缘处理模块关联的融合范围不同;
所述数据融合模块将若干所述边缘处理模块获取的所述初始融合数据进行拼接优化,获取目标融合数据。
2.根据权利要求1所述的基于云平台和边缘计算的数据融合系统,其特征在于,所述数据融合模块与若干所述边缘处理模块通信和/或电气连接,所述数据融合模块与智能终端通信和/或电气连接;其中,所述数据融合模块设置在云平台或者服务器中。
3.根据权利要求1所述的基于云平台和边缘计算的数据融合系统,其特征在于,所述融合需求通过用户的智能终端生成,或者对所述数据融合模块的融合历史数据分析获取;其中,所述智能终端包括智能手机和电脑。
4.根据权利要求3所述的基于云平台和边缘计算的数据融合系统,其特征在于,所述数据融合模块根据所述融合历史数据分析获取所述融合需求,包括:
获取所述数据融合模块的所述融合历史数据;
提取所述融合历史数据中的融合需求,并按照关注度进行排序,获取历史需求序列;
在所述数据融合模块没有数据融合任务时,根据所述历史需求序列进行数据融合,获取对应的数据融合结果;
通过所述数据融合结果对所述数据融合模块中的数据进行更新,或者存储在所述数据融合模块中。
5.根据权利要求1所述的基于云平台和边缘计算的数据融合系统,其特征在于,所述数据融合模块对所述融合需求进行解析,获取对应的所述特征属性,包括:
接收到所述融合需求后,获取特征关联表;其中,所述特征关联表通过人工选择设定,或者根据实际经验设定;
提取所述融合需求中的特征字符,结合所述特征关联表获取对应的所述特征属性。
6.根据权利要求1所述的基于云平台和边缘计算的数据融合系统,其特征在于,所述边缘处理模块结合所述特征属性进行数据融合,获取所述初始融合数据,包括:
所述边缘处理模块接收到所述特征属性之后,结合所述特征属性采集或者筛选出对应融合范围的多源数据;
对所述多源数据按照可信度进行从高到低排序,获取多源融合序列;
按照所述多源融合序列进行数据融合,获取对应的所述初始融合数据。
7.根据权利要求6所述的基于云平台和边缘计算的数据融合系统,其特征在于,所述边缘处理模块在数据融合过程中对初始融合结果进行验证,获取所述初始融合数据,包括:
选择所述多源数据序列中可信度最高的N条数据,并标记为数据一;其中,N为大于1的整数;
将所述多源数据序列中除了所述数据一之外的数据标记为数据二;其中,所述数据二包含奇数条数据;
对所述数据一进行数据融合,获取中间融合结果以及对应的争议数据;
通过所述数据二对所述中间融合结果中的所述争议数据进行验证优化,获取初始融合数据。
8.基于云平台和边缘计算的数据融合方法,基于权利要求1至7任意一项所述的基于云平台和边缘计算的数据融合系统运行,其特征在于,包括:
数据融合模块获取融合需求,并对所述融合需求进行解析获取特征属性,将所述特征属性分发至若干边缘处理模块;
若干所述边缘处理模块根据所述特征属性进行数据采集和筛选,获取多源数据;根据所述多源数据进行融合处理,获取对应的初始融合数据;
所述数据融合模块将若干所述边缘处理模块获取的所述初始融合数据进行拼接优化,获取目标融合数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210349083.XA CN114912508A (zh) | 2022-04-01 | 2022-04-01 | 基于云平台和边缘计算的数据融合系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210349083.XA CN114912508A (zh) | 2022-04-01 | 2022-04-01 | 基于云平台和边缘计算的数据融合系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114912508A true CN114912508A (zh) | 2022-08-16 |
Family
ID=82763520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210349083.XA Pending CN114912508A (zh) | 2022-04-01 | 2022-04-01 | 基于云平台和边缘计算的数据融合系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114912508A (zh) |
-
2022
- 2022-04-01 CN CN202210349083.XA patent/CN114912508A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102156751B (zh) | 一种提取视频指纹的方法及装置 | |
CN109635857B (zh) | 人车轨迹监测分析方法、装置、设备及存储介质 | |
CN109325148A (zh) | 生成信息的方法和装置 | |
CN110751224A (zh) | 视频分类模型的训练方法、视频分类方法、装置及设备 | |
CN113627402B (zh) | 一种图像识别方法及相关装置 | |
CN112258254B (zh) | 基于大数据架构的互联网广告风险监测方法及系统 | |
CN113382279A (zh) | 直播推荐方法、装置、设备、存储介质以及计算机程序产品 | |
CN111274283A (zh) | 一种轨迹显示方法及装置 | |
CN114550070A (zh) | 视频片段的识别方法、装置、设备以及存储介质 | |
CN102855251A (zh) | 一种需求识别的方法及装置 | |
CN111563398A (zh) | 用于确定目标物的信息的方法和装置 | |
CN103475532A (zh) | 硬件检测方法和系统 | |
CN114461853A (zh) | 视频场景分类模型的训练样本生成方法、装置及设备 | |
CN113992944A (zh) | 视频编目方法、装置、设备、系统及介质 | |
CN107167149B (zh) | 一种街景视图制作方法及系统 | |
CN112269827B (zh) | 数据处理方法、装置、计算机设备及计算机可读存储介质 | |
CN112417195A (zh) | 基于移动端的商标查询系统、方法及存储介质 | |
CN112560718A (zh) | 物料信息的获取方法和装置、存储介质、电子装置 | |
CN114912508A (zh) | 基于云平台和边缘计算的数据融合系统及方法 | |
CN110955835A (zh) | 一种基于大数据技术的共享平台信息发布系统 | |
CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
CN110659540A (zh) | 一种交通灯检测方法和装置 | |
CN113780148A (zh) | 交通标志图像识别模型训练方法和交通标志图像识别方法 | |
CN113379662A (zh) | 图像处理方法和装置、存储介质及电子设备 | |
CN110544063A (zh) | 一种基于ar的物流平台驾驶员现场支援系统及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |