CN117076867A - 一种基于计算机大数据信息采集系统 - Google Patents
一种基于计算机大数据信息采集系统 Download PDFInfo
- Publication number
- CN117076867A CN117076867A CN202311236627.2A CN202311236627A CN117076867A CN 117076867 A CN117076867 A CN 117076867A CN 202311236627 A CN202311236627 A CN 202311236627A CN 117076867 A CN117076867 A CN 117076867A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- sub
- generate
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 59
- 238000004458 analytical method Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 230000008447 perception Effects 0.000 claims abstract description 45
- 238000005070 sampling Methods 0.000 claims abstract description 38
- 230000005540 biological transmission Effects 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004140 cleaning Methods 0.000 claims abstract description 15
- 230000010354 integration Effects 0.000 claims abstract description 15
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000007637 random forest analysis Methods 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims abstract description 9
- 230000006835 compression Effects 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims description 56
- 238000005516 engineering process Methods 0.000 claims description 41
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000012300 Sequence Analysis Methods 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000013439 planning Methods 0.000 claims description 15
- 238000013468 resource allocation Methods 0.000 claims description 14
- 238000013144 data compression Methods 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 11
- 238000007499 fusion processing Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000012614 Monte-Carlo sampling Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000002068 genetic effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据采集与处理技术领域，具体为一种基于计算机大数据信息采集系统，基于计算机大数据信息采集系统是由数据融合模块、低功耗处理模块、自适应采样模块、感知计算模块、自主感知网络模块、时空融合模块、主动数据采集模块、多模态整合模块组成。本发明中，结合随机森林算法进行数据清洗，提升准确性并减少误差。通过哈夫曼编码压缩降低维度，节约空间，加快数据传输。通过Q‑learning深度强化学习优化采样率，提升数据智能获取。通过神经网络提供精准的环境感知分析，而区块链技术确保数据安全并增强其可追溯性。通过系统还引入深度卷积网络与强化学习策略梯度算法，大幅提升数据采集效率与精确性。
Description
技术领域
本发明涉及数据采集与处理技术领域，尤其涉及一种基于计算机大数据信息采集系统。
背景技术
数据采集与处理技术是计算机科学和信息技术领域的一个重要分支，旨在收集、存储、处理和分析大规模数据，以从中提取有价值的信息和见解。这个领域广泛应用于各种行业，包括企业管理、科学研究、市场营销、医疗保健等。其核心目标是通过有效的数据采集、处理和分析，帮助人们做出明智的决策、优化业务流程和发现隐藏在数据中的模式和趋势。
其中，基于计算机大数据信息采集系统是一种专门设计用于采集和处理大规模数据的计算机系统。其目的是从多个数据源中搜集信息，并将其整合到一个集中的数据仓库中，以便后续分析和应用。这种系统的效果在于提供了实时、高效、准确的数据采集和处理，以支持数据驱动的决策制定和业务优化。
在现有基于计算机大数据信息采集系统中，存在以下不足。首先，数据处理过程的效率和准确性被限制，漏洞与噪声数据无法被有效过滤，这会对最终的数据分析造成影响。其次，缺乏有效的数据压缩和优化算法，数据传输和存储过程中需要消耗大量资源。再次，数据采样率通常被设定为固定值，没有考虑到在不同场景和时间下，数据的重要性和有效性是可变的。此外，数据的安全性和可追溯性也是一个问题，缺乏有效的防护措施，数据易被篡改或被非法获取。最后，对于时空数据的融合与建模通常是单一固定的，没有考虑到各种数据之间的复杂关系，这使得数据分析的结果往往略显粗糙。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的一种基于计算机大数据信息采集系统。
为了实现上述目的，本发明采用了如下技术方案：一种基于计算机大数据信息采集系统是由数据融合模块、低功耗处理模块、自适应采样模块、感知计算模块、自主感知网络模块、时空融合模块、主动数据采集模块、多模态整合模块组成；
所述数据融合模块采用随机森林算法，进行数据清洗和融合处理，生成融合数据信息；
所述低功耗处理模块基于融合数据信息，采用哈夫曼编码压缩算法，降维处理，生成压缩后的数据流；
所述自适应采样模块基于压缩后的数据流，采用Q-learning算法进行深度强化学习，优化数据采样率，生成优化后的数据流；
所述感知计算模块基于优化后的数据流，采用神经网络计算机视觉方法，进行环境感知分析，生成感知数据结果；
所述自主感知网络模块基于感知数据结果，利用区块链技术，构建自主感知网络，生成感知网络数据；
所述时空融合模块基于感知网络数据，应用深度卷积神经网络进行时空数据融合与建模，生成时空预测数据；
所述主动数据采集模块基于时空预测数据，采用强化学习策略梯度算法，进行自主数据采集，生成主动采集数据；
所述多模态整合模块基于主动采集数据，利用卷积神经网络方法进行图像处理与整合，生成综合分析结果。
作为本发明的进一步方案：所述数据融合模块包括数据清洗子模块、时序分析子模块、机器学习子模块；
所述低功耗处理模块包括硬件加速子模块、数据压缩子模块、边缘计算子模块；
所述自适应采样模块包括第一深度学习子模块、资源分配子模块、数据采样子模块；
所述感知计算模块包括传感器网络子模块、计算机视觉子模块、自然语言处理子模块；
所述自主感知网络模块包括传感器部署子模块、数据传输子模块、区块链保护子模块；
所述时空融合模块包括第二深度学习子模块、时空建模子模块、地理信息子模块；
所述主动数据采集模块包括第三深度学习子模块、策略规划子模块、数据采集子模块；
所述多模态整合模块包括结构化数据子模块、非结构化数据子模块、多媒体分析子模块。
作为本发明的进一步方案：所述数据清洗子模块采用随机森林算法，对原始数据进行异常值检测和纠正，生成清洗后的数据集；
所述时序分析子模块基于清洗后的数据集，采用时间序列分析，挖掘其中的趋势和周期性特点，生成时序分析结果；
所述机器学习子模块基于时序分析结果，运用支持向量机，精细化数据融合处理，生成融合数据信息。
作为本发明的进一步方案：所述硬件加速子模块基于融合数据信息，运用硬件并行计算，加速数据处理，生成硬件加速处理结果；
所述数据压缩子模块基于硬件加速处理结果，采用哈夫曼编码，实现数据压缩降维，生成压缩后的数据流；
所述边缘计算子模块基于压缩后的数据流，运用边缘计算策略，在数据源近端实现高效计算，生成处理后的数据流。
作为本发明的进一步方案：所述第一深度学习子模块运用卷积神经网络，对数据进行特征提取，生成深度学习特征结果；
所述资源分配子模块基于深度学习特征结果，应用遗传算法，进行优化资源分配，生成资源优化结果；
所述数据采样子模块基于资源优化结果，采用Q-learning算法，优化数据采样策略，生成优化后的数据流。
作为本发明的进一步方案：所述传感器网络子模块利用无线传感器网络技术，对环境进行实时监测，生成传感器采集数据；
所述计算机视觉子模块基于传感器采集数据，运用神经网络计算机视觉技术，实现对环境的可视化解析，生成初步感知数据；
所述自然语言处理子模块基于初步感知数据，应用长短时记忆网络，进行语境感知分析，生成感知数据结果。
作为本发明的进一步方案：所述传感器部署子模块采用贪心算法，优化传感器的部署位置，生成优化后的传感器部署方案；
所述数据传输子模块基于优化后的传感器部署方案，利用多路复用技术，实现数据传输，生成高效数据传输方案；
所述区块链保护子模块基于高效数据传输方案，应用区块链技术，保护数据的安全性，生成感知网络数据。
作为本发明的进一步方案：所述第二深度学习子模块基于感知网络数据，运用深度卷积神经网络，提取特征，生成深度学习特征数据；
所述时空建模子模块基于深度学习特征数据，采用三维建模算法，构建时空模型，生成时空模型数据；
所述地理信息子模块基于时空模型数据，利用地理信息系统，整合地理信息，生成时空预测数据。
作为本发明的进一步方案：所述第三深度学习子模块基于时空预测数据，运用深度Q网络算法，进行深度学习，生成深度学习采集数据；
所述策略规划子模块基于深度学习采集数据，应用策略梯度算法，进行采集策略的优化，生成优化后的策略规划数据；
所述数据采集子模块基于优化后的策略规划数据，采用Monte Carlo采样方法，实施数据采集，生成主动采集数据。
作为本发明的进一步方案：所述结构化数据子模块基于主动采集数据，利用结构化查询语言，处理结构化数据，生成结构化数据处理结果；
所述非结构化数据子模块基于结构化数据处理结果，运用自然语言处理技术，分析非结构化数据，生成非结构化数据分析结果；
所述多媒体分析子模块基于非结构化数据分析结果，应用多媒体分析技术，整合媒体数据，生成综合分析结果。
与现有技术相比，本发明的优点和积极效果在于：
本发明中，采用随机森林算法进行数据清洗和融合处理，提升了处理的准确性和效率，也能降低误区对最终结果的影响。采用哈夫曼编码压缩算法有效地降低数据的维度，节省存储空间，并减小了数据传输过程中的延迟。引入Q-learning进行深度强化学习，可以自我优化数据采样率，使数据的获取更为智能和精确。通过神经网络计算机视觉方法，进行精准的环境感知分析。通过利用区块链技术，系统可以更好地保障数据的安全性，并增强了数据的可追溯性。引入深度卷积神经网络和强化学习策略梯度算法，进一步提升了数据采集的效率和准确性。
附图说明
图1为本发明的系统流程图；
图2为本发明的系统框架示意图；
图3为本发明的数据融合模块流程图；
图4为本发明的低功耗处理模块流程图；
图5为本发明的自适应采样模块流程图；
图6为本发明的感知计算模块流程图；
图7为本发明的自主感知网络模块流程图；
图8为本发明的时空融合模块流程图；
图9为本发明的主动数据采集模块流程图；
图10为本发明的多模态整合模块流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
请参阅图1，一种基于计算机大数据信息采集系统是由数据融合模块、低功耗处理模块、自适应采样模块、感知计算模块、自主感知网络模块、时空融合模块、主动数据采集模块、多模态整合模块组成；
数据融合模块采用随机森林算法，进行数据清洗和融合处理，生成融合数据信息；
低功耗处理模块基于融合数据信息，采用哈夫曼编码压缩算法，降维处理，生成压缩后的数据流；
自适应采样模块基于压缩后的数据流，采用Q-learning算法进行深度强化学习，优化数据采样率，生成优化后的数据流；
感知计算模块基于优化后的数据流，采用神经网络计算机视觉方法，进行环境感知分析，生成感知数据结果；
自主感知网络模块基于感知数据结果，利用区块链技术，构建自主感知网络，生成感知网络数据；
时空融合模块基于感知网络数据，应用深度卷积神经网络进行时空数据融合与建模，生成时空预测数据；
主动数据采集模块基于时空预测数据，采用强化学习策略梯度算法，进行自主数据采集，生成主动采集数据；
多模态整合模块基于主动采集数据，利用卷积神经网络方法进行图像处理与整合，生成综合分析结果。
数据融合模块利用随机森林算法确保了数据的准确性和完整性，为后续操作提供了高质量的原始输入。低功耗处理模块和哈夫曼编码压缩算法相结合，确保了在处理大量数据时仍能维持低功耗，满足了当前设备对能效的要求。此外，自适应采样模块的Q-learning算法进一步优化了数据采样，确保数据流的高效率和高准确性。系统还利用神经网络技术和区块链进行深入的环境感知和数据安全，将数据的采集和分析上升到了一个全新的高度。
时空融合模块和深度卷积神经网络的结合，使得数据在时间和空间维度上得到了高效的整合，为复杂环境中的决策提供了坚实的数据基础。而主动数据采集模块确保了系统能够根据环境的变化，采用强化学习策略梯度算法，智能地进行数据采集。最后，多模态整合模块将各种模式的数据完美整合，为最终用户提供了清晰、直观的综合分析结果。
请参阅图2，数据融合模块包括数据清洗子模块、时序分析子模块、机器学习子模块；
低功耗处理模块包括硬件加速子模块、数据压缩子模块、边缘计算子模块；
自适应采样模块包括第一深度学习子模块、资源分配子模块、数据采样子模块；
感知计算模块包括传感器网络子模块、计算机视觉子模块、自然语言处理子模块；
自主感知网络模块包括传感器部署子模块、数据传输子模块、区块链保护子模块；
时空融合模块包括第二深度学习子模块、时空建模子模块、地理信息子模块；
主动数据采集模块包括第三深度学习子模块、策略规划子模块、数据采集子模块；
多模态整合模块包括结构化数据子模块、非结构化数据子模块、多媒体分析子模块。
数据融合模块：
数据清洗子模块：通过数据清洗，剔除了无效数据、异常值和冗余信息，提高了数据的一致性和准确性，减少了后续分析的误导。
时序分析子模块：能够将时间序列数据分析成趋势、季节性等模式，为时间相关的问题提供了更深入的见解。
机器学习子模块：利用机器学习技术，系统能够从数据中学习并提取模式，用于分类、预测和异常检测，提高了数据的可用性。
低功耗处理模块：
硬件加速子模块：通过硬件加速器，系统能够加速计算任务，提高了处理速度，同时降低了功耗，适用于移动设备和边缘计算场景。
数据压缩子模块：有效地压缩数据，减少了数据传输的成本和时间，有助于节省带宽资源。
边缘计算子模块：将计算任务推送到边缘设备上进行处理，减少了数据传输的延迟，适用于对实时性要求高的应用。
自适应采样模块：
第一深度学习子模块：利用深度学习算法，系统能够智能地学习和预测数据的变化趋势，以更好地调整数据采样率。
资源分配子模块：根据系统资源的可用性，动态地分配资源以满足不同数据采集需求，提高了资源的利用效率。
数据采样子模块：根据深度学习模型的反馈和资源分配，智能地选择合适的数据采样策略，确保重要数据不会被遗漏。
感知计算模块：
传感器网络子模块：通过传感器网络，实现了实时环境监测，包括温度、湿度、气体等参数。
计算机视觉子模块：通过计算机视觉技术，系统能够分析图像和视频数据，识别物体、人脸或动作。
自然语言处理子模块：实现了对文本数据的语义分析和情感分析，有助于理解和处理自然语言数据。
自主感知网络模块：
传感器部署子模块：智能地部署传感器设备，以最大程度地覆盖监测区域，提供全面的感知能力。
数据传输子模块：通过高效的数据传输协议，确保数据的及时传送和同步，减少数据传输的延迟。
区块链保护子模块：利用区块链技术，确保数据的安全性和不可篡改性，保护数据的完整性和隐私。
时空融合模块：
第二深度学习子模块：通过深度学习技术，对时空数据进行分析和建模，识别模式和趋势，支持实时决策。
时空建模子模块：建立时空模型，以预测未来事件的发生和趋势的演变。
地理信息子模块：整合地理信息数据，提供地理位置相关的分析和决策支持。
主动数据采集模块：
第三深度学习子模块：通过深度学习算法，分析环境变化，识别需要采集的数据。
策略规划子模块：制定采集策略，考虑资源限制和优先级，确保数据采集的有效性。
数据采集子模块：执行主动采集策略，及时捕获关键数据，以支持实时决策和分析。
多模态整合模块：
结构化数据子模块：整合和分析结构化数据，如数据库中的表格数据。
非结构化数据子模块：处理和分析非结构化数据，如文本文档、日志文件等。
多媒体分析子模块：对多媒体数据，如图像、音频和视频进行分析和处理，提供更全面的信息。
请参阅图3，数据清洗子模块采用随机森林算法，对原始数据进行异常值检测和纠正，生成清洗后的数据集；
时序分析子模块基于清洗后的数据集，采用时间序列分析，挖掘其中的趋势和周期性特点，生成时序分析结果；
机器学习子模块基于时序分析结果，运用支持向量机，精细化数据融合处理，生成融合数据信息。
数据清洗子模块使用随机森林算法对原始数据进行异常值检测和修正，从而大大提升了数据质量。这有助于消除数据中的噪声和错误，确保后续分析的可靠性和准确性。
时序分析子模块基于清洗后的数据集进行时间序列分析，能够挖掘出数据中的趋势和周期性特点。这有助于识别数据中的潜在规律，帮助企业更好地了解业务情况和趋势。
通过时序分析结果，机器学习子模块应用支持向量机等算法，进一步挖掘数据中的信息，精细化数据融合处理。这将提供更多洞察，可以用于智能决策支持，例如预测未来趋势、制定优化策略等。
请参阅图4，硬件加速子模块基于融合数据信息，运用硬件并行计算，加速数据处理，生成硬件加速处理结果；
数据压缩子模块基于硬件加速处理结果，采用哈夫曼编码，实现数据压缩降维，生成压缩后的数据流；
边缘计算子模块基于压缩后的数据流，运用边缘计算策略，在数据源近端实现高效计算，生成处理后的数据流。
首先，硬件加速子模块利用硬件并行计算，高效地处理融合数据信息，加速了数据处理的速度和效率，特别适用于大规模数据处理任务。这有益于缩短数据处理的时间，提高了实时性。
其次，数据压缩子模块基于硬件加速处理结果采用哈夫曼编码等压缩算法，实现数据的降维和压缩，从而减少了数据的存储需求和传输带宽。这有益于节省存储资源和降低数据传输成本，特别在带宽有限的边缘计算环境中具有显著优势。
最后，边缘计算子模块基于压缩后的数据流，在数据源近端进行高效计算。这种边缘计算策略减少了数据传输到云端的需求，降低了延迟，提高了数据处理的实时性。同时，它也有助于减轻云端服务器的负载，提高了整体系统的稳定性和可伸缩性。
请参阅图5，第一深度学习子模块运用卷积神经网络，对数据进行特征提取，生成深度学习特征结果；
资源分配子模块基于深度学习特征结果，应用遗传算法，进行优化资源分配，生成资源优化结果；
数据采样子模块基于资源优化结果，采用Q-learning算法，优化数据采样策略，生成优化后的数据流。
首先，第一深度学习子模块运用卷积神经网络等技术，对数据进行特征提取，生成深度学习特征结果。这有益于从原始数据中提取出更高层次、更有信息量的特征，提高了数据的表示能力和可分辨性。
其次，资源分配子模块基于深度学习特征结果，应用遗传算法等优化技术，进行资源分配的优化。通过深度学习特征的分析，系统能够更好地理解数据的特点和需求，遗传算法等方法则能够智能地分配计算、存储和带宽等资源，以满足不同数据处理任务的需求，从而提高了资源的利用效率。
最后，数据采样子模块基于资源优化结果，采用Q-learning等强化学习算法，优化数据采样策略，生成优化后的数据流。这有益于动态调整数据采样率，确保关键数据不会被丢弃，并根据资源分配的变化调整数据采样策略，从而在保证数据质量的前提下，实现了更高效的数据采集。
请参阅图6，传感器网络子模块利用无线传感器网络技术，对环境进行实时监测，生成传感器采集数据；
计算机视觉子模块基于传感器采集数据，运用神经网络计算机视觉技术，实现对环境的可视化解析，生成初步感知数据；
自然语言处理子模块基于初步感知数据，应用长短时记忆网络，进行语境感知分析，生成感知数据结果。
首先，传感器网络子模块利用无线传感器网络技术，能够实时监测环境并生成传感器采集数据。这有益于即时了解环境的各种物理参数，如温度、湿度、光照等，以及监测特定事件，如震动或运动，为进一步的分析提供了丰富的实时数据。
其次，计算机视觉子模块基于传感器采集的数据，利用神经网络计算机视觉技术，实现对环境的可视化解析。这有益于识别和分析图像和视频数据中的物体、人脸、动作等，从而提供了更高级的感知信息。
最后，自然语言处理子模块基于初步感知数据，应用长短时记忆网络等技术，进行语境感知分析。这有益于将文本数据中的语义进行分析，了解文本背后的含义和情感，从而生成更高级的感知数据结果。
请参阅图7，传感器部署子模块采用贪心算法，优化传感器的部署位置，生成优化后的传感器部署方案；
数据传输子模块基于优化后的传感器部署方案，利用多路复用技术，实现数据传输，生成高效数据传输方案；
区块链保护子模块基于高效数据传输方案，应用区块链技术，保护数据的安全性，生成感知网络数据。
首先，传感器部署子模块采用贪心算法，能够智能地优化传感器的部署位置。通过优化传感器的位置，系统可以更全面地监测目标区域，最大程度地覆盖监测区域，提高了感知网络的覆盖范围和准确性。这有益于提供更全面和准确的感知数据。
其次，数据传输子模块基于优化后的传感器部署方案，利用多路复用技术，实现高效的数据传输。多路复用技术能够将多个数据流合并到一个通信通道中，减少了通信的开销，提高了数据传输的效率。这有益于降低数据传输的成本和减轻通信网络的负载。
最后，区块链保护子模块基于高效数据传输方案，应用区块链技术，保护数据的安全性。区块链技术提供了分布式、不可篡改的数据存储和验证机制，确保了数据的完整性和隐私保护。这有益于保护敏感数据免受未经授权的访问和篡改。
请参阅图8，第二深度学习子模块基于感知网络数据，运用深度卷积神经网络，提取特征，生成深度学习特征数据；
时空建模子模块基于深度学习特征数据，采用三维建模算法，构建时空模型，生成时空模型数据；
地理信息子模块基于时空模型数据，利用地理信息系统，整合地理信息，生成时空预测数据。
首先，第二深度学习子模块基于感知网络数据，利用深度卷积神经网络等技术，能够提取丰富的特征信息，生成深度学习特征数据。这有益于将原始感知数据转化为更高级别的抽象表示，捕捉数据中的重要模式和特征。
其次，时空建模子模块基于深度学习特征数据，采用三维建模算法，能够构建时空模型。这有益于将感知数据与时间和空间的相关性结合起来，从而更好地理解数据的时序演化和空间分布。时空模型对于预测、分析和决策具有重要作用。
最后，地理信息子模块基于时空模型数据，利用地理信息系统，整合地理信息，生成时空预测数据。这有益于将地理信息与时空模型结合，提供更准确的时空数据预测，例如天气预报、交通流量预测、疫情传播模拟等。
请参阅图9，第三深度学习子模块基于时空预测数据，运用深度Q网络算法，进行深度学习，生成深度学习采集数据；
策略规划子模块基于深度学习采集数据，应用策略梯度算法，进行采集策略的优化，生成优化后的策略规划数据；
数据采集子模块基于优化后的策略规划数据，采用Monte Carlo采样方法，实施数据采集，生成主动采集数据。
首先，第三深度学习子模块基于时空预测数据，运用深度Q网络算法，能够进行深度学习并生成深度学习采集数据。这有益于根据时空预测数据训练深度学习模型，使其能够更好地理解环境，预测未来情况，并生成适当的采集策略。
其次，策略规划子模块基于深度学习采集数据，应用策略梯度算法，进行采集策略的优化。这有益于根据实际情况不断优化数据采集策略，使其更加智能和适应不同的环境变化，提高数据采集的效率和质量。
最后，数据采集子模块基于优化后的策略规划数据，采用Monte Carlo采样方法，实施数据采集。Monte Carlo采样方法能够以一种统计学的方式生成主动采集数据，从而更全面地探索数据空间，有助于捕捉不同情况下的数据分布和变化。
请参阅图10，结构化数据子模块基于主动采集数据，利用结构化查询语言，处理结构化数据，生成结构化数据处理结果；
非结构化数据子模块基于结构化数据处理结果，运用自然语言处理技术，分析非结构化数据，生成非结构化数据分析结果；
多媒体分析子模块基于非结构化数据分析结果，应用多媒体分析技术，整合媒体数据，生成综合分析结果。
首先，结构化数据子模块基于主动采集数据，利用结构化查询语言，能够有效地处理结构化数据，生成结构化数据处理结果。这有益于将数据整理成易于管理和分析的形式，支持各种查询和数据操作，从而提高了数据的可用性和可分析性。
其次，非结构化数据子模块基于结构化数据处理结果，运用自然语言处理技术，分析非结构化数据，生成非结构化数据分析结果。这有益于将文本数据、图像数据等非结构化信息转化为有意义的洞察，支持语义理解和文本挖掘等任务，扩展了数据的应用领域。
最后，多媒体分析子模块基于非结构化数据分析结果，应用多媒体分析技术，整合媒体数据，生成综合分析结果。这有益于将多媒体数据(如图像、音频、视频)与文本数据结合，实现更全面的数据分析和综合洞察，支持多模态数据的集成分析。
工作原理：
数据融合模块：采用随机森林算法，对来自不同数据源的数据进行清洗和融合处理，生成融合数据信息，确保了数据的质量和一致性。
低功耗处理模块：基于融合数据信息，使用哈夫曼编码压缩算法进行数据压缩和降维处理，生成压缩后的数据流，以减少数据传输和存储的成本。
自适应采样模块：根据压缩后的数据流，利用Q-learning算法进行深度强化学习，优化数据采样率，生成优化后的数据流。这有助于减少数据传输的冗余，提高数据传输的效率。
感知计算模块：基于优化后的数据流，采用神经网络计算机视觉方法，进行环境感知分析，生成感知数据结果，实现对环境的实时理解和解析。
自主感知网络模块：基于感知数据结果，利用区块链技术构建自主感知网络，确保数据的安全性和可追溯性，生成感知网络数据。
时空融合模块：基于感知网络数据，应用深度卷积神经网络进行时空数据融合与建模，生成时空预测数据，使系统能够预测未来的时空信息。
主动数据采集模块：基于时空预测数据，采用强化学习策略梯度算法，进行自主数据采集，生成主动采集数据，以满足特定需求或目标。
多模态整合模块：基于主动采集数据，采用卷积神经网络方法进行图像处理和整合，将不同数据模态整合在一起，生成综合分析结果，提供多角度的数据洞察。
以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (10)
1.一种基于计算机大数据信息采集系统，其特征在于：所述基于计算机大数据信息采集系统是由数据融合模块、低功耗处理模块、自适应采样模块、感知计算模块、自主感知网络模块、时空融合模块、主动数据采集模块、多模态整合模块组成；
所述数据融合模块采用随机森林算法，进行数据清洗和融合处理，生成融合数据信息；
所述低功耗处理模块基于融合数据信息，采用哈夫曼编码压缩算法，降维处理，生成压缩后的数据流；
所述自适应采样模块基于压缩后的数据流，采用Q-learning算法进行深度强化学习，优化数据采样率，生成优化后的数据流；
所述感知计算模块基于优化后的数据流，采用神经网络计算机视觉方法，进行环境感知分析，生成感知数据结果；
所述自主感知网络模块基于感知数据结果，利用区块链技术，构建自主感知网络，生成感知网络数据；
所述时空融合模块基于感知网络数据，应用深度卷积神经网络进行时空数据融合与建模，生成时空预测数据；
所述主动数据采集模块基于时空预测数据，采用强化学习策略梯度算法，进行自主数据采集，生成主动采集数据；
所述多模态整合模块基于主动采集数据，利用卷积神经网络方法进行图像处理与整合，生成综合分析结果。
2.根据权利要求1所述的基于计算机大数据信息采集系统，其特征在于：所述数据融合模块包括数据清洗子模块、时序分析子模块、机器学习子模块；
所述低功耗处理模块包括硬件加速子模块、数据压缩子模块、边缘计算子模块；
所述自适应采样模块包括第一深度学习子模块、资源分配子模块、数据采样子模块；
所述感知计算模块包括传感器网络子模块、计算机视觉子模块、自然语言处理子模块；
所述自主感知网络模块包括传感器部署子模块、数据传输子模块、区块链保护子模块；
所述时空融合模块包括第二深度学习子模块、时空建模子模块、地理信息子模块；
所述主动数据采集模块包括第三深度学习子模块、策略规划子模块、数据采集子模块；
所述多模态整合模块包括结构化数据子模块、非结构化数据子模块、多媒体分析子模块。
3.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于：所述数据清洗子模块采用随机森林算法，对原始数据进行异常值检测和纠正，生成清洗后的数据集；
所述时序分析子模块基于清洗后的数据集，采用时间序列分析，挖掘其中的趋势和周期性特点，生成时序分析结果；
所述机器学习子模块基于时序分析结果，运用支持向量机，精细化数据融合处理，生成融合数据信息。
4.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于：所述硬件加速子模块基于融合数据信息，运用硬件并行计算，加速数据处理，生成硬件加速处理结果；
所述数据压缩子模块基于硬件加速处理结果，采用哈夫曼编码，实现数据压缩降维，生成压缩后的数据流；
所述边缘计算子模块基于压缩后的数据流，运用边缘计算策略，在数据源近端实现高效计算，生成处理后的数据流。
5.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于：所述第一深度学习子模块运用卷积神经网络，对数据进行特征提取，生成深度学习特征结果；
所述资源分配子模块基于深度学习特征结果，应用遗传算法，进行优化资源分配，生成资源优化结果；
所述数据采样子模块基于资源优化结果，采用Q-learning算法，优化数据采样策略，生成优化后的数据流。
6.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于：所述传感器网络子模块利用无线传感器网络技术，对环境进行实时监测，生成传感器采集数据；
所述计算机视觉子模块基于传感器采集数据，运用神经网络计算机视觉技术，实现对环境的可视化解析，生成初步感知数据；
所述自然语言处理子模块基于初步感知数据，应用长短时记忆网络，进行语境感知分析，生成感知数据结果。
7.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于：所述传感器部署子模块采用贪心算法，优化传感器的部署位置，生成优化后的传感器部署方案；
所述数据传输子模块基于优化后的传感器部署方案，利用多路复用技术，实现数据传输，生成高效数据传输方案；
所述区块链保护子模块基于高效数据传输方案，应用区块链技术，保护数据的安全性，生成感知网络数据。
8.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于：所述第二深度学习子模块基于感知网络数据，运用深度卷积神经网络，提取特征，生成深度学习特征数据；
所述时空建模子模块基于深度学习特征数据，采用三维建模算法，构建时空模型，生成时空模型数据；
所述地理信息子模块基于时空模型数据，利用地理信息系统，整合地理信息，生成时空预测数据。
9.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于：所述第三深度学习子模块基于时空预测数据，运用深度Q网络算法，进行深度学习，生成深度学习采集数据；
所述策略规划子模块基于深度学习采集数据，应用策略梯度算法，进行采集策略的优化，生成优化后的策略规划数据；
所述数据采集子模块基于优化后的策略规划数据，采用Monte Carlo采样方法，实施数据采集，生成主动采集数据。
10.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于：所述结构化数据子模块基于主动采集数据，利用结构化查询语言，处理结构化数据，生成结构化数据处理结果；
所述非结构化数据子模块基于结构化数据处理结果，运用自然语言处理技术，分析非结构化数据，生成非结构化数据分析结果；
所述多媒体分析子模块基于非结构化数据分析结果，应用多媒体分析技术，整合媒体数据，生成综合分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311236627.2A CN117076867A (zh) | 2023-09-22 | 2023-09-22 | 一种基于计算机大数据信息采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311236627.2A CN117076867A (zh) | 2023-09-22 | 2023-09-22 | 一种基于计算机大数据信息采集系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117076867A true CN117076867A (zh) | 2023-11-17 |
Family
ID=88713692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311236627.2A Withdrawn CN117076867A (zh) | 2023-09-22 | 2023-09-22 | 一种基于计算机大数据信息采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076867A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117271981A (zh) * | 2023-11-21 | 2023-12-22 | 湖南嘉创信息科技发展有限公司 | 基于跨平台数据交互的人工智能管理系统 |
| CN117410988A (zh) * | 2023-12-11 | 2024-01-16 | 广东领卓能源科技有限公司 | 一种新能源充电站的充电控制方法及装置 |
| CN117633459A (zh) * | 2023-11-29 | 2024-03-01 | 国网山西省电力公司太原供电公司 | 高精准分布式光纤传感在线监测装置 |
| CN118212107A (zh) * | 2024-04-09 | 2024-06-18 | 烟台泓威电子科技有限公司 | 一种海岸带生态安全评估系统及方法 |
-
2023
- 2023-09-22 CN CN202311236627.2A patent/CN117076867A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117271981A (zh) * | 2023-11-21 | 2023-12-22 | 湖南嘉创信息科技发展有限公司 | 基于跨平台数据交互的人工智能管理系统 |
| CN117271981B (zh) * | 2023-11-21 | 2024-02-09 | 湖南嘉创信息科技发展有限公司 | 基于跨平台数据交互的人工智能管理系统 |
| CN117633459A (zh) * | 2023-11-29 | 2024-03-01 | 国网山西省电力公司太原供电公司 | 高精准分布式光纤传感在线监测装置 |
| CN117410988A (zh) * | 2023-12-11 | 2024-01-16 | 广东领卓能源科技有限公司 | 一种新能源充电站的充电控制方法及装置 |
| CN117410988B (zh) * | 2023-12-11 | 2024-03-29 | 广东领卓能源科技有限公司 | 一种新能源充电站的充电控制方法及装置 |
| CN118212107A (zh) * | 2024-04-09 | 2024-06-18 | 烟台泓威电子科技有限公司 | 一种海岸带生态安全评估系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117076867A (zh) | 一种基于计算机大数据信息采集系统 | |
| Tong et al. | A survey on algorithms for intelligent computing and smart city applications | |
| Lan et al. | A universal complex event processing mechanism based on edge computing for internet of things real-time monitoring | |
| Xu et al. | A survey on edge intelligence | |
| CN104268254A (zh) | 一种安全态势分析统计方法 | |
| Jia et al. | CroApp: A CNN-based resource optimization approach in edge computing environment | |
| Jeon et al. | A distributed NWDAF architecture for federated learning in 5G | |
| Pushpa et al. | Using fog computing/edge computing to leverage Digital Twin | |
| Kadir et al. | Big data network architecture and monitoring use wireless 5G technology | |
| Bajovic et al. | Marvel: Multimodal extreme scale data analytics for smart cities environments | |
| CN118283548A (zh) | 一种基于5g的智慧城市智能安防系统及方法 | |
| CN118075427A (zh) | 一种智能化监控管理方法及系统 | |
| Shi et al. | New progress in artificial intelligence algorithm research based on big data processing of IOT systems on intelligent production lines | |
| CN114648223A (zh) | 一种基于物联网的智慧城市能耗数据挖掘系统及方法 | |
| Abou El Seoud | Towards sustainability: smart cities in the Egyptian environment, how much smart to be smart? | |
| CN110661999A (zh) | 一种基于大数据的视频监控系统 | |
| Badidi et al. | Towards a Platform for Urban Data Management, Integration and Processing. | |
| CN104023205B (zh) | 智能安防监控系统 | |
| CN117176417A (zh) | 网络流量异常确定方法、装置、电子设备和可读存储介质 | |
| CN114356502B (zh) | 基于边缘计算技术的非结构化数据标记、训练和发布系统及方法 | |
| CN116318907A (zh) | 基于大数据和神经网络分析计算机网络态势的方法及系统 | |
| Gupta et al. | Emergence of Blockchain Applications with the 6G-Enabled IoT-Based Smart City | |
| Patra et al. | Cloud Computing for a Secure Smart City Beyond 5G | |
| Nandhini et al. | Integration of Big Data Analytics Into Cyber‐Physical Systems | |
| Wang et al. | [Retracted] Attribute Reduction Algorithm on Concept Lattice and Application in Smart City Energy Consumption Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231117 |