CN116992103A - 一种多源异构数据融合存储系统 - Google Patents
一种多源异构数据融合存储系统 Download PDFInfo
- Publication number
- CN116992103A CN116992103A CN202310763671.2A CN202310763671A CN116992103A CN 116992103 A CN116992103 A CN 116992103A CN 202310763671 A CN202310763671 A CN 202310763671A CN 116992103 A CN116992103 A CN 116992103A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- information
- storage
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 117
- 230000004927 fusion Effects 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000010354 integration Effects 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000007405 data analysis Methods 0.000 claims abstract description 11
- 238000011157 data evaluation Methods 0.000 claims abstract description 9
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 230000008439 repair process Effects 0.000 claims abstract description 3
- 238000013507 mapping Methods 0.000 claims description 21
- 238000004140 cleaning Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 230000001105 regulatory effect Effects 0.000 claims description 12
- 239000012536 storage buffer Substances 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000013078 crystal Substances 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000003990 capacitor Substances 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000008451 emotion Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 108010053993 N-terminal tetrapeptide cystatin C Proteins 0.000 claims description 2
- WUUNPBLZLWVARQ-QAETUUGQSA-N Postin Chemical compound NC(N)=NCCC[C@@H](C(O)=O)NC(=O)[C@H](CCCCN)NC(=O)[C@@H]1CCCN1C(=O)[C@H]1NCCC1 WUUNPBLZLWVARQ-QAETUUGQSA-N 0.000 claims description 2
- 238000010219 correlation analysis Methods 0.000 claims 1
- 230000006870 function Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 238000012098 association analyses Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种多源异构数据融合存储系统，包括有控制模块，所述控制模块上电性连接有数据评价模块，所述数据评价模块上电性连接有数据分析模块，所述数据分析模块上电性连接有数据集成模块，所述数据集成模块上电性连接有数据处理模块，所述数据处理模块上电性连接有通讯模块，所述通讯模块上电性连接有多源异构模块，所述控制模块上电性连接有存储模块；本发明通过数据集成模块实现对数据信息进行融合处理，并且对数据信息进行分解，判定数据信息的有效性，以及对数据信息进行修复，通过数据特征对数据信息进行融合处理，对存储地址进行映射，使得数据信息进行能够通过多方面的查询方式进行查询，并且防止存储的冗余。
Description
技术领域
本发明涉及多源异构数据领域，具体而言，涉及一种多源异构数据融合存储系统。
背景技术
存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。
存储系统是计算机的重要组成部分之一。存储系统提供写入和读出计算机工作需要的信息(程序和数据)的能力，实现计算机的信息记忆功能。现代计算机系统中常采用寄存器、高速缓存、主存、外存的多级存储体系结构。
多源：指数据的来源具有多源性。多源异构数据来自多个数据源，包括不同数据库系统和不同设备在工作中采集的数据集。不同的数据源所在的操作系统、管理系统不同(例如OA、CRM、HR、MES、SCM)，数据的存储模式和逻辑结构不同，数据的产生时间、使用场所、代码协议等也不同，这造成了数据“多源”的特征。
异构：指数据种类及形态具有复杂性，即异构性。
多源异构数据包括结构化数据、半结构化数据和非结构化数据。
多源异构数据融合就是将各种不同的数据信息进行综合，吸取不同数据源的特点然后从中提取出统一的，比单一数据更好、更丰富的信息。
但是，现有的多源异构数据融合存储系统依旧存在有以下问题：
现有的技术方案在使用的时候，不能够对数据信息进行有效的计算处理，以及不能够实现对多源异构数据信息进行充分的集成处理，且在集成处理的时候，未对数据信息进行预先处理和清洗等操作，容易造成数据信息中存在有无用信息和错误等信息，并且对于数据信息的存储，没有设置地址映射，使得数据信息的查询不便于，不能够多种方式进行查询到，且存储位置的错位容易造成存储冗余等问题。
发明内容
为了弥补以上不足，本发明提供了一种多源异构数据融合存储系统，旨在解决现有技术不能够对数据信息进行有效的计算处理，以及不能够实现对多源异构数据信息进行充分的集成处理，且在集成处理的时候，未对数据信息进行预先处理和清洗等操作，容易造成数据信息中存在有无用信息和错误等信息，并且对于数据信息的存储，没有设置地址映射，使得数据信息的查询不便于，不能够多种方式进行查询到，且存储位置的错位容易造成存储冗余等问题的问题。
本发明是这样实现的：
一种多源异构数据融合存储系统，包括有控制模块，所述控制模块上电性连接有数据评价模块，所述数据评价模块上电性连接有数据分析模块，所述数据分析模块上电性连接有数据集成模块，所述数据集成模块上电性连接有数据处理模块，所述数据处理模块上电性连接有通讯模块，所述通讯模块上电性连接有多源异构模块，所述多源异构模块是用于实现对多源异构的数据信息进行传输，所述通讯模块是用于实现对数据信息进行传输，所述数据处理模块是用于实现对数据信息进行计算处理，并且实现对数据信息进行滤波处理，所述数据集成模块用于两个或多个数据集通过格式转换、结构重组、语义匹配、尺度转换和数据融合等有机和虚拟的组合，所述数据分析模块主要利用关联分析、分类聚类及深度学习技术实现数据的价值挖掘，所述数据评价模块用于实现对集成后的数据信息进行判定，检测数据信息是否复合元数据信息的含义，是否存在有巨大偏差；
所述数据集成模块中包括有数据选择模块，所述数据选择模块上电性连接有数据预处理模块，所述数据预处理模块上电性连接有数据清洗模块，所述数据清洗模块上电性连接有数据检测模块，所述数据检测模块上电性连接有数据融合模块，所述数据融合模块上电性连接有数据处理模块，所述选择数据模块用于实现对接收的数据进行选择需要融合的数据，所述数据预处理模块是实现对数据信息进行初步处理，所述数据清洗模块是用于检测数据中存在的“脏数据”，通过数据筛选、数据修复手段提高数据的质量，所述数据检测模块用于检测数据信息是否有缺失，进行补充，所述数据融合模块是用于实现对处理后的数据信息进行组合成新的数据信息，所述数据输出模块用于实现将数据信息进行输出离开；
所述控制模块上电性连接有存储模块，所述存储模块用于实现对多源异构数据处理融合后的数据信息进行存储，所述存储模块中包括有存储队列模块，所述存储队列模块上电性连接有存储缓冲模块，所述存储缓冲模块上电性连接有存储地址模块，所述存储地址模块上电性连接有存储映射模块，所述存储映射模块上电性连接有本地存储模块、云存储模块和数据库模块，所述存储队列模块用于实现对需要存储的数据信息进行排队存储，所述存储缓冲模块用于实现对数据信息进行缓存，提高存储速率，所述存储地址模块用于实现对存储的数据信息进行地址编辑，所述存储映射模块用于实现对数据信息进行复制实现分别存储。
本发明的一种实施例中，所述控制模块上电性连接有调压模块，所述调压模块上电性连接有供电模块，所述供电模块采用的是市电网，所述调压模块中包括有用于实现对所述市电网的电压进行降低的低电压、用于实现对所述市电网的交流电压转换成直流电压、用于实现对降低和转换后电压进行稳定调节，实现稳定的输送和用于实现对直流电压中的交流电压进行滤除。
本发明的一种实施例中，所述控制模块上电性连接有辅助模块，所述辅助模块中包括有用于实现对数据信息进行显示的显示器、用于实现控制调节的控制按键、用于实现对系统的运行状态进行显示的指示灯和用于实现产生准确运动的时钟电路，所述时钟电路中由晶体振荡器、晶振控制芯片和电容组成。
本发明的一种实施例中，所述多源异构模块是数据信息的来源，且所述多源异构模块的信息来源包括有采集信息、输入信息和生产信息，所述采集信息包括有各类传感器采集的数据信息、视频信息、图片信息和音频信息，所述输入信息包括有输入的各种格式的信息和各种数据库类型的数据信息，所述生产信息包括有初始信息和后续更新的数据信息。
本发明的一种实施例中，所述数据处理模块中包括有用于实现对数据信息进行接收的获取电路、包括用于实现对数据信息进行放大处理的增益电路、包括有用于实现对数据信息进行格式转换的转换电路和用用于实现对数据信息进行滤除杂波的滤波电路，所述滤波电路采用的是数字滤波电路。
本发明的一种实施例中，所述数据选择模块通过数据融合的标准实现对数据信息进行选择，按照相同的准则实现对有用和同类的数据信息进行筛选，所述数据预处理模块用于实现对所述数据选择模块选取的数据信息进行拆分处理，将数据信息分解成较小的语义片段，便于后续操作进行处理。
本发明的一种实施例中，所述数据清洗模块用于实现对数据信息中的无用信息和错误信息进行除去，首先利用统计分析的方法对出现的错误值进行识别，然后才能对错误数据进行清除，达到数据清洗的目的，所述数据检测模块是对于不一致的数据，基于关联数据之间的一致性来检测数据潜在的错误，并进行修复，以完成对多数据源数据的清理。
本发明的一种实施例中，所述数据融合模块通过像素级融合、特征级融合和决策级融合三步进行数据融合处理，所述像素级融合也称为数据级融合，相对应的就是数据层融合看作直接把数据统一格式，转换为同模态数据进行统一处理分析，然后将数据进行结构化集成，特征层融合将数据信息的特征融合映射到子空间就属于特征层的融合；决策层融合利用Logistic回归分别对文本与相关图像进行情感预测，最后将两个预测概率进行加权平均，得出最终结果。
本发明的一种实施例中，所述存储队列模块采用的是先进先出、后进后出的排列模式，并且先进先出的数据信息先存储到所述存储缓冲模块中，使得数据信息能够实现快速的存入，提高存储的效率，所述存储地址模块用于实现对数据信息的存储地址进行编辑，所述存储地址既是数据信息存储在＝存储器中存储单元的编号，存储器是由大量存储单元组成，需要用编号区别每个单元：编号＝地址。
本发明的一种实施例中，所述存储映射模块通过赋予每个任务不同的虚拟–物理地址转换映射，地址转换函数在每一个任务中定义,在一个任务中的虚拟地址空间映射到物理内存的一个部分，而另一个任务的虚拟地址空间映射到物理存储器中的另外区域，即通过地址映射实现将数据信息存储在不同的存储器中，使得访问任何一个存储器，都能够访问到数据信息，且一般将数据信息存储在所述数据库模块中。
本发明的有益效果是：
本发明在使用的时候，通过数据集成模块实现对数据信息进行融合处理，并且在数据信息进行融合处理的时候，通过数据预处理模块、数据清洗模块和数据检测模块实现对数据信息进行处理，通过对数据信息进行分解，使得数据清洗模块能够快速的实现对每一小段的数据信息进行识别，判定数据信息的有效性，并且再通过数据检测模块对出现错误的数据信息进行修复处理，保持数据信息的精准度，然后通过数据特征实现对数据信息进行融合处理，然后通过存储映射模块实现对数据信息进行的存储地址进行映射，然后发送给不同的存储系统，使得数据信息进行能够通过多方面的查询方式进行查询，并且防止存储的冗余。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施方式提供的系统结构框图；
图2是本发明实施方式提供的数据集成模块示意图；
图3是本发明实施方式提供的存储模块示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
实施例
请参阅图1-3，本发明提供一种技术方案：一种多源异构数据融合存储系统，包括有控制模块，所述控制模块上电性连接有数据评价模块，所述数据评价模块上电性连接有数据分析模块，所述数据分析模块上电性连接有数据集成模块，所述数据集成模块上电性连接有数据处理模块，所述数据处理模块上电性连接有通讯模块，所述通讯模块上电性连接有多源异构模块，所述多源异构模块是用于实现对多源异构的数据信息进行传输，所述通讯模块是用于实现对数据信息进行传输，所述数据处理模块是用于实现对数据信息进行计算处理，并且实现对数据信息进行滤波处理，所述数据集成模块用于两个或多个数据集通过格式转换、结构重组、语义匹配、尺度转换和数据融合等有机和虚拟的组合，所述数据分析模块主要利用关联分析、分类聚类及深度学习技术实现数据的价值挖掘，所述数据评价模块用于实现对集成后的数据信息进行判定，检测数据信息是否复合元数据信息的含义，是否存在有巨大偏差；
所述数据集成模块中包括有数据选择模块，所述数据选择模块上电性连接有数据预处理模块，所述数据预处理模块上电性连接有数据清洗模块，所述数据清洗模块上电性连接有数据检测模块，所述数据检测模块上电性连接有数据融合模块，所述数据融合模块上电性连接有数据处理模块，所述选择数据模块用于实现对接收的数据进行选择需要融合的数据，所述数据预处理模块是实现对数据信息进行初步处理，所述数据清洗模块是用于检测数据中存在的“脏数据”，通过数据筛选、数据修复手段提高数据的质量，所述数据检测模块用于检测数据信息是否有缺失，进行补充，所述数据融合模块是用于实现对处理后的数据信息进行组合成新的数据信息，所述数据输出模块用于实现将数据信息进行输出离开；
所述控制模块上电性连接有存储模块，所述存储模块用于实现对多源异构数据处理融合后的数据信息进行存储，所述存储模块中包括有存储队列模块，所述存储队列模块上电性连接有存储缓冲模块，所述存储缓冲模块上电性连接有存储地址模块，所述存储地址模块上电性连接有存储映射模块，所述存储映射模块上电性连接有本地存储模块、云存储模块和数据库模块，所述存储队列模块用于实现对需要存储的数据信息进行排队存储，所述存储缓冲模块用于实现对数据信息进行缓存，提高存储速率，所述存储地址模块用于实现对存储的数据信息进行地址编辑，所述存储映射模块用于实现对数据信息进行复制实现分别存储。
为了实现对系统进行供电运行，保持系统的稳定的运行，本发明的一种实施例中，所述控制模块上电性连接有调压模块，所述调压模块上电性连接有供电模块，所述供电模块采用的是市电网，所述调压模块中包括有用于实现对所述市电网的电压进行降低的低电压、用于实现对所述市电网的交流电压转换成直流电压、用于实现对降低和转换后电压进行稳定调节，实现稳定的输送和用于实现对直流电压中的交流电压进行滤除。
为了使得系统的运行更加的方便和快捷，便于进行使用，本发明的一种实施例中，所述控制模块上电性连接有辅助模块，所述辅助模块中包括有用于实现对数据信息进行显示的显示器、用于实现控制调节的控制按键、用于实现对系统的运行状态进行显示的指示灯和用于实现产生准确运动的时钟电路，所述时钟电路中由晶体振荡器、晶振控制芯片和电容组成。
为了实现对数据信息进行多源异构的获取，实现对不同的数据信息进行融合和获取，本发明的一种实施例中，所述多源异构模块是数据信息的来源，且所述多源异构模块的信息来源包括有采集信息、输入信息和生产信息，所述采集信息包括有各类传感器采集的数据信息、视频信息、图片信息和音频信息，所述输入信息包括有输入的各种格式的信息和各种数据库类型的数据信息，所述生产信息包括有初始信息和后续更新的数据信息。
为了实现对数据的数据信息进行计算处理，保持数据信息在传输的过程中不会造成丢失，本发明的一种实施例中，所述数据处理模块中包括有用于实现对数据信息进行接收的获取电路、包括用于实现对数据信息进行放大处理的增益电路、包括有用于实现对数据信息进行格式转换的转换电路和用用于实现对数据信息进行滤除杂波的滤波电路，所述滤波电路采用的是数字滤波电路。
为了实现对传输的数据信息进行选择同类或者是按照标准进行集成处理，本发明的一种实施例中，所述数据选择模块通过数据融合的标准实现对数据信息进行选择，按照相同的准则实现对有用和同类的数据信息进行筛选，所述数据预处理模块用于实现对所述数据选择模块选取的数据信息进行拆分处理，将数据信息分解成较小的语义片段，便于后续操作进行处理。
为了实现对数据信息中的无用消息和错误消息进行处理，以及有用的错误消息进行修补，本发明的一种实施例中，所述数据清洗模块用于实现对数据信息中的无用信息和错误信息进行除去，首先利用统计分析的方法对出现的错误值进行识别，然后才能对错误数据进行清除，达到数据清洗的目的，所述数据检测模块是对于不一致的数据，基于关联数据之间的一致性来检测数据潜在的错误，并进行修复，以完成对多数据源数据的清理。
为了实现对数据信息进行融合处理，并且根据数据信息的特征进行有效的融合，本发明的一种实施例中，所述数据融合模块通过像素级融合、特征级融合和决策级融合三步进行数据融合处理，所述像素级融合也称为数据级融合，相对应的就是数据层融合看作直接把数据统一格式，转换为同模态数据进行统一处理分析，然后将数据进行结构化集成，特征层融合将数据信息的特征融合映射到子空间就属于特征层的融合；决策层融合利用Logistic回归分别对文本与相关图像进行情感预测，最后将两个预测概率进行加权平均，得出最终结果。
为了实现对数据信息进行有效的实现存储，并且实现对数据信息进行地址设置，便于进行查询，本发明的一种实施例中，所述存储队列模块采用的是先进先出、后进后出的排列模式，并且先进先出的数据信息先存储到所述存储缓冲模块中，使得数据信息能够实现快速的存入，提高存储的效率，所述存储地址模块用于实现对数据信息的存储地址进行编辑，所述存储地址既是数据信息存储在＝存储器中存储单元的编号，存储器是由大量存储单元组成，需要用编号区别每个单元：编号＝地址。
为了实现对数据信息进行存储，且实现对地址位置进行映射，便于多种方式进行存储，本发明的一种实施例中，所述存储映射模块通过赋予每个任务不同的虚拟–物理地址转换映射，地址转换函数在每一个任务中定义,在一个任务中的虚拟地址空间映射到物理内存的一个部分，而另一个任务的虚拟地址空间映射到物理存储器中的另外区域，即通过地址映射实现将数据信息存储在不同的存储器中，使得访问任何一个存储器，都能够访问到数据信息，且一般将数据信息存储在所述数据库模块中。
以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种多源异构数据融合存储系统，其特征在于，包括有控制模块，所述控制模块上电性连接有数据评价模块，所述数据评价模块上电性连接有数据分析模块，所述数据分析模块上电性连接有数据集成模块，所述数据集成模块上电性连接有数据处理模块，所述数据处理模块上电性连接有通讯模块，所述通讯模块上电性连接有多源异构模块，所述多源异构模块是用于实现对多源异构的数据信息进行传输，所述通讯模块是用于实现对数据信息进行传输，所述数据处理模块是用于实现对数据信息进行计算处理，并且实现对数据信息进行滤波处理，所述数据集成模块用于两个或多个数据集通过格式转换、结构重组、语义匹配、尺度转换和数据融合等有机和虚拟的组合，所述数据分析模块主要利用关联分析、分类聚类及深度学习技术实现数据的价值挖掘，所述数据评价模块用于实现对集成后的数据信息进行判定，检测数据信息是否复合元数据信息的含义，是否存在有巨大偏差；
所述数据集成模块中包括有数据选择模块，所述数据选择模块上电性连接有数据预处理模块，所述数据预处理模块上电性连接有数据清洗模块，所述数据清洗模块上电性连接有数据检测模块，所述数据检测模块上电性连接有数据融合模块，所述数据融合模块上电性连接有数据处理模块，所述选择数据模块用于实现对接收的数据进行选择需要融合的数据，所述数据预处理模块是实现对数据信息进行初步处理，所述数据清洗模块是用于检测数据中存在的“脏数据”，通过数据筛选、数据修复手段提高数据的质量，所述数据检测模块用于检测数据信息是否有缺失，进行补充，所述数据融合模块是用于实现对处理后的数据信息进行组合成新的数据信息，所述数据输出模块用于实现将数据信息进行输出离开；
所述控制模块上电性连接有存储模块，所述存储模块用于实现对多源异构数据处理融合后的数据信息进行存储，所述存储模块中包括有存储队列模块，所述存储队列模块上电性连接有存储缓冲模块，所述存储缓冲模块上电性连接有存储地址模块，所述存储地址模块上电性连接有存储映射模块，所述存储映射模块上电性连接有本地存储模块、云存储模块和数据库模块，所述存储队列模块用于实现对需要存储的数据信息进行排队存储，所述存储缓冲模块用于实现对数据信息进行缓存，提高存储速率，所述存储地址模块用于实现对存储的数据信息进行地址编辑，所述存储映射模块用于实现对数据信息进行复制实现分别存储。
2.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述控制模块上电性连接有调压模块，所述调压模块上电性连接有供电模块，所述供电模块采用的是市电网，所述调压模块中包括有用于实现对所述市电网的电压进行降低的低电压、用于实现对所述市电网的交流电压转换成直流电压、用于实现对降低和转换后电压进行稳定调节，实现稳定的输送和用于实现对直流电压中的交流电压进行滤除。
3.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述控制模块上电性连接有辅助模块，所述辅助模块中包括有用于实现对数据信息进行显示的显示器、用于实现控制调节的控制按键、用于实现对系统的运行状态进行显示的指示灯和用于实现产生准确运动的时钟电路，所述时钟电路中由晶体振荡器、晶振控制芯片和电容组成。
4.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述多源异构模块是数据信息的来源，且所述多源异构模块的信息来源包括有采集信息、输入信息和生产信息，所述采集信息包括有各类传感器采集的数据信息、视频信息、图片信息和音频信息，所述输入信息包括有输入的各种格式的信息和各种数据库类型的数据信息，所述生产信息包括有初始信息和后续更新的数据信息。
5.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述数据处理模块中包括有用于实现对数据信息进行接收的获取电路、包括用于实现对数据信息进行放大处理的增益电路、包括有用于实现对数据信息进行格式转换的转换电路和用用于实现对数据信息进行滤除杂波的滤波电路，所述滤波电路采用的是数字滤波电路。
6.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述数据选择模块通过数据融合的标准实现对数据信息进行选择，按照相同的准则实现对有用和同类的数据信息进行筛选，所述数据预处理模块用于实现对所述数据选择模块选取的数据信息进行拆分处理，将数据信息分解成较小的语义片段，便于后续操作进行处理。
7.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述数据清洗模块用于实现对数据信息中的无用信息和错误信息进行除去，首先利用统计分析的方法对出现的错误值进行识别，然后才能对错误数据进行清除，达到数据清洗的目的，所述数据检测模块是对于不一致的数据，基于关联数据之间的一致性来检测数据潜在的错误，并进行修复，以完成对多数据源数据的清理。
8.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述数据融合模块通过像素级融合、特征级融合和决策级融合三步进行数据融合处理，所述像素级融合也称为数据级融合，相对应的就是数据层融合看作直接把数据统一格式，转换为同模态数据进行统一处理分析，然后将数据进行结构化集成，特征层融合将数据信息的特征融合映射到子空间就属于特征层的融合；决策层融合利用Logistic回归分别对文本与相关图像进行情感预测，最后将两个预测概率进行加权平均，得出最终结果。
9.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述存储队列模块采用的是先进先出、后进后出的排列模式，并且先进先出的数据信息先存储到所述存储缓冲模块中，使得数据信息能够实现快速的存入，提高存储的效率，所述存储地址模块用于实现对数据信息的存储地址进行编辑，所述存储地址既是数据信息存储在存储器中存储单元的编号，存储器是由大量存储单元组成，需要用编号区别每个单元：编号＝地址。
10.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述存储映射模块通过赋予每个任务不同的虚拟–物理地址转换映射，地址转换函数在每一个任务中定义,在一个任务中的虚拟地址空间映射到物理内存的一个部分，而另一个任务的虚拟地址空间映射到物理存储器中的另外区域，即通过地址映射实现将数据信息存储在不同的存储器中，使得访问任何一个存储器，都能够访问到数据信息，且一般将数据信息存储在所述数据库模块中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763671.2A CN116992103A (zh) | 2023-06-27 | 2023-06-27 | 一种多源异构数据融合存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763671.2A CN116992103A (zh) | 2023-06-27 | 2023-06-27 | 一种多源异构数据融合存储系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116992103A true CN116992103A (zh) | 2023-11-03 |
Family
ID=88525650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310763671.2A Pending CN116992103A (zh) | 2023-06-27 | 2023-06-27 | 一种多源异构数据融合存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116992103A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117216722A (zh) * | 2023-11-09 | 2023-12-12 | 山东农业大学 | 基于传感器时序数据多源异构数据融合系统 |
-
2023
- 2023-06-27 CN CN202310763671.2A patent/CN116992103A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117216722A (zh) * | 2023-11-09 | 2023-12-12 | 山东农业大学 | 基于传感器时序数据多源异构数据融合系统 |
| CN117216722B (zh) * | 2023-11-09 | 2024-02-27 | 山东农业大学 | 基于传感器时序数据多源异构数据融合系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109684352B (zh) | 数据分析系统、方法、存储介质及电子设备 | |
| CN111709527A (zh) | 运维知识图谱库的建立方法、装置、设备及存储介质 | |
| CN116992103A (zh) | 一种多源异构数据融合存储系统 | |
| US20180150536A1 (en) | Instance-based distributed data recovery method and apparatus | |
| CN113033631A (zh) | 一种模型的增量训练方法和装置 | |
| CN111125300A (zh) | 一种基于知识图谱信息数据智能分析系统 | |
| CN115391361A (zh) | 一种基于分布式数据库的实时数据处理方法及其装置 | |
| CN111367991A (zh) | 一种基于消息队列的MongoDB数据实时同步方法及系统 | |
| CN114116811B (zh) | 日志处理方法、装置、设备及存储介质 | |
| CN110598042A (zh) | 一种基于增量更新的视频结构化实时更新方法及系统 | |
| CN112131248B (zh) | 一种数据分析方法、装置、设备及存储介质 | |
| CN113590634A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
| CN117493516A (zh) | 一种基于flink ml自定义算法优化的实时处理方法、系统及设备 | |
| CN111723165B (zh) | 地址兴趣点确定方法、装置及系统 | |
| CN114969083B (zh) | 一种实时数据分析方法及系统 | |
| CN116805940A (zh) | 基于可扩展边缘计算的数据采集系统及方法 | |
| CN111198917A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN110716949A (zh) | 结构化查询语句自动优化方法、装置、介质及电子设备 | |
| CN113515413B (zh) | 一种数据管理方法、装置、电子设备及存储介质 | |
| US20220343115A1 (en) | Unsupervised classification by converting unsupervised data to supervised data | |
| CN109918367B (zh) | 一种结构化数据的清洗方法、装置、电子设备及存储介质 | |
| CN112286922A (zh) | 一种数据清理方法、装置、设备及存储介质 | |
| CN111984807B (zh) | 一种内容筛选存储方法及系统 | |
| CN110633312B (zh) | 一种基于Mongodb和HanLP的电商舆情分析方法及系统 | |
| CN116595092A (zh) | 一种kaiwu数据库负载信息采集方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |