CN117076613A - 一种基于互联网大数据的电数字数据处理系统 - Google Patents

一种基于互联网大数据的电数字数据处理系统 Download PDF

Info

Publication number
CN117076613A
CN117076613A CN202311323526.9A CN202311323526A CN117076613A CN 117076613 A CN117076613 A CN 117076613A CN 202311323526 A CN202311323526 A CN 202311323526A CN 117076613 A CN117076613 A CN 117076613A
Authority
CN
China
Prior art keywords
data
digital data
module
electric digital
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311323526.9A
Other languages
English (en)
Inventor
张文韬
陈超群
向强铭
张鹏
艾远高
杨之圣
刘松林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Yangtze Power Co Ltd
Original Assignee
China Yangtze Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Yangtze Power Co Ltd filed Critical China Yangtze Power Co Ltd
Priority to CN202311323526.9A priority Critical patent/CN117076613A/zh
Publication of CN117076613A publication Critical patent/CN117076613A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Finance (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于互联网大数据的电数字数据处理系统,包括:数据采集模块、数据存储模块、数据处理模块、数据分析模块、数据可视化模块;本发明通过数据采集模块,数据存储模块采集和储存电数字数据,并通过深度学习单元,利用深度神经网络技术,进行端到端的学习和推断,并提取高层次的抽象特征和表示,通过卷积神经网络对电数字数据中的图像进行训练和识别,实现自动化的图像分类或物体识别,对电数字数据的特征提取、分类和预测等任务,通过数据分析模块和数据可视化模块,将提取的数据进行分析并将电数字数据可视化为图表、图形、地图等形式,使用户能够直观理解数据并发现潜在的模式和趋势。

Description

一种基于互联网大数据的电数字数据处理系统
技术领域
本发明涉及电数据处理技术领域,具体涉及一种基于互联网大数据的电数字数据处理系统。
背景技术
电子数据处理(EDP ,electronic data processing)由“数据处理(DP ,dataprocessing)”演变而来,它是在多数计算以穿孔卡片形式输入到计算机并以穿孔卡片或纸质报告的形式输出的时候产生的。以计算机替代人工处理例行性的数据,并产生报表以支持组织的作业活动。其内容重点在于取代重复性的人工操作,以支持基层管理者及作业人员等,例如会计账之应用,故其是重效率的信息系统。
现有的电子数据处理技术,例如中国专利文献CN113794725A记载了一种电数字数据传输方法及系统,包括:获取当前电数字数据的初始信息,将同一时刻下的电数字数据与初始信息通过加密演算法进行比较,获得差异化数据;采用多元投影降维算法对差异化数据进行加密诊断,然后将诊断后的数据进行解码;对解码后的数据进行预处理,并对预处理后的数据采用密文设置技术进行标记,然后进行电数字数据传输。其能够通过对传统分析方式进行改进,使其可以对电数字数据进行在线监测、分析及传输。该方案中电数字进行采集、处理、分析时难以对不同种类的电数字参数进行特征提取和划分,不方便物体识别。
发明内容
本发明所要解决的技术问题是提供一种基于互联网大数据的电数字数据处理系统,用以解决现有方案中电数字进行采集、处理、分析时难以对不同种类的电数字参数进行特征提取和划分,不方便物体识别的问题。
为解决上述技术问题,本发明所采用的技术方案是:
一种基于互联网大数据的电数字数据处理系统,包括依次连接的数据采集模块、数据存储模块、数据处理模块、数据分析模块以及数据可视化模块;
数据采集模块,负责从外部设备或传感器中采集电数字数据,并进行预处理和转换;
数据存储模块,用于存储电数字数据,数据存储模块包括数据库、文件系统以及云存储单元,以确保数据的安全性和可访问性;
数据处理模块,执行数据处理任务,包括数据清洗、转换、聚合、计算、卷积神经网络模型训练,以获得有用的信息和结果,数据处理模块包括自然语言处理单元、深度学习单元和异常检测单元;
数据分析模块,利用统计分析、机器学习、数据挖掘技术对电数字数据进行分析,提取模式、关联性和数据洞察,支持决策和预测;
数据可视化模块,将电数字数据可视化为图表、图形、地图形式。
上述的自然语言处理单元,用于处理分词、词性标注、句法分析、实体识别、文本分类以及情感分析。
上述的深度学习单元进行数据收集和预处理、构建卷积神经网络模型、数据训练和优化、模型评估和测试以及模型应用和预测,通过卷积神经网络对电数字数据中的图像进行训练和识别。
上述的构建卷积神经网络包括卷积层、激活函数和池化层。
上述的卷积层用于提取图像或其他二维数据的特征,卷积层的表达式为:
其中,y1(i,j)表示卷积后的输出特征图的位置(i,j)的值,x(i,j)表示输入特征图的位置(i,j)的值,W表示卷积核的权重参数,b表示偏置参数,f表示激活函数。
上述的激活函数用于引入非线性特性,增强神经网络的表达能力,激活函数的公式如下:
其中,y表示激活后的输出值,x表示输入值,activation表示激活函数。
上述的池化层用于减小特征图的空间尺寸,同时保留特征信息,池化操作的公式如下:
其中, y2(i,j)表示池化后的输出特征图的位置(i,j)的值, x(i,j)表示输入特征图位置(i,j)的值,pooling表示池化操作,为最大值或平均值;通过卷积实现深度学习模型对电数字数据的特征提取、分类和预测,实现自动化的图像分类或物体识别。
本发明提供的一种基于互联网大数据的电数字数据处理系统,本发明的有益效果是:
(1)本发明通过数据采集模块,数据存储模块采集和储存电数字数据,并通过深度学习单元,利用深度神经网络技术,进行端到端的学习和推断,处理复杂的电数字数据,并提取高层次的抽象特征和表示,通过卷积神经网络对电数字数据中的图像进行训练和识别,实现自动化的图像分类或物体识别,对电数字数据的特征提取、分类和预测等任务。
(2)本发明通过数据分析模块和数据可视化模块,将提取的数据进行分析并将电数字数据可视化为图表、图形、地图等形式,使用户能够直观理解数据并发现潜在的模式和趋势,利用异常检测算法,对电数字数据进行实时监测和异常检测,识别异常模式、离群点或故障,以提高系统的安全性和稳定性。
附图说明
下面结合附图和实施例对本发明作进一步说明:
图1是本发明基于互联网大数据的电数字数据处理系统框图;
图2是本发明数据处理模块的组成框图;
图3是本发明卷积神经网络组成框图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
如图1、2和3中所示,一种基于互联网大数据的电数字数据处理系统,包括依次连接的数据采集模块、数据存储模块、数据处理模块、数据分析模块以及数据可视化模块;
数据采集模块,负责从外部设备或传感器中采集电数字数据,并进行预处理和转换;
数据存储模块,用于存储电数字数据,数据存储模块包括数据库、文件系统以及云存储单元,以确保数据的安全性和可访问性;
数据处理模块,执行数据处理任务,包括数据清洗、转换、聚合、计算、卷积神经网络模型训练,以获得有用的信息和结果,数据处理模块包括自然语言处理单元、深度学习单元和异常检测单元;
数据分析模块,利用统计分析、机器学习、数据挖掘技术对电数字数据进行分析,提取模式、关联性和数据洞察,支持决策和预测;
数据可视化模块,将电数字数据可视化为图表、图形、地图形式,使用户能够直观理解数据并发现潜在的模式和趋势。
上述的自然语言处理单元,用于处理分词、词性标注、句法分析、实体识别、文本分类以及情感分析。
具体的,分词将文本分割成单词、短语或其他有意义的语言单位,用于文本预处理和文本分析任务;
词性标注为文本中的每个单词标注词性,如名词、动词、形容词等,可以用于语法分析、语义分析和信息提取等任务;
句法分析是分析句子的语法结构,识别句子中的短语、从句和依存关系等,分析有助于理解句子的组成和语法规则;
实体识别用于识别文本中的命名实体,如人名、地名、组织机构等,可以用于信息抽取、关系提取和实体链接等任务;
文本分类将文本按照预定义的类别进行分类,广泛应用于情感分析、垃圾邮件过滤、主题分类等领域;
情感分析用于识别文本中的情感倾向,如正面、负面或中性,常用于社交媒体分析等领域。
上述的深度学习单元进行数据收集和预处理、构建卷积神经网络模型、数据训练和优化、模型评估和测试以及模型应用和预测,通过卷积神经网络对电数字数据中的图像进行训练和识别。
上述的构建卷积神经网络模型、数据训练和优化的过程中包括卷积层、激活函数和池化层。
上述的卷积层用于提取图像或其他二维数据的特征,公式如下:
其中, y1(i,j)表示卷积后的输出特征图的位置(i,j)的值,x(i,j)表示输入特征图的位置(i,j)的值,W表示卷积核的权重参数,b表示偏置参数,f表示激活函数。
上述的激活函数用于引入非线性特性,增强神经网络的表达能力,常用的激活函数包括ReLU、Sigmoid、Tanh,ReLU即Rectified Linear Unit,激活函数的公式如下:
其中,y表示激活后的输出值,x表示输入值,activation表示激活函数。
上述的池化层用于减小特征图的空间尺寸,同时保留特征信息,常见的池化操作有最大池化Max Pooling和平均池化Average Pooling,池化操作的公式如下:
其中, y2(i,j)表示池化后的输出特征图的位置(i,j)的值, x(i,j)表示输入特征图的位置(i,j)的值,pooling表示池化操作,为最大值或平均值;通过卷积可以实现深度学习模型对电数字数据的特征提取、分类和预测,实现自动化的图像分类或物体识别。
由上可知,通过数据采集模块,数据存储模块采集和储存电数字数据,并通过深度学习单元,利用深度神经网络技术,进行端到端的学习和推断,处理复杂的电数字数据,并提取高层次的抽象特征和表示,通过卷积神经网络对电数字数据中的图像进行训练和识别,实现自动化的图像分类或物体识别,对电数字数据的特征提取、分类和预测等任务;
通过数据分析模块和数据可视化模块,将提取的数据进行分析并将电数字数据可视化为图表、图形、地图等形式,使用户能够直观理解数据并发现潜在的模式和趋势,利用异常检测单元,对电数字数据进行实时监测和异常检测,识别异常模式、离群点或故障,以提高系统的安全性和稳定性。

Claims (7)

1.一种基于互联网大数据的电数字数据处理系统,其特征在于,包括依次连接的数据采集模块、数据存储模块、数据处理模块、数据分析模块以及数据可视化模块;
数据采集模块,负责从外部设备或传感器中采集电数字数据,并进行预处理和转换;
数据存储模块,用于存储电数字数据,数据存储模块包括数据库、文件系统以及云存储单元,数据存储模块用以确保数据的安全性和可访问性;
数据处理模块,执行数据处理任务,包括数据清洗、转换、聚合、计算、卷积神经网络模型训练,数据处理模块包括自然语言处理单元、深度学习单元和异常检测单元;
数据分析模块,利用统计分析、机器学习、数据挖掘技术对电数字数据进行分析,提取模式、关联性和数据洞察,支持决策和预测;
数据可视化模块,将电数字数据可视化为图表、图形、地图形式。
2.根据权利要求1所述的一种基于互联网大数据的电数字数据处理系统,其特征在于,所述的自然语言处理单元,用于处理分词、词性标注、句法分析、实体识别、文本分类以及情感分析。
3.根据权利要求2所述的一种基于互联网大数据的电数字数据处理系统,其特征在于,所述的深度学习单元进行数据收集和预处理、构建卷积神经网络模型、数据训练和优化、模型评估和测试以及模型应用和预测,通过卷积神经网络对电数字数据中的图像进行训练和识别。
4.根据权利要求3所述的一种基于互联网大数据的电数字数据处理系统,其特征在于,所述的构建卷积神经网络包括卷积层、激活函数和池化层。
5.根据权利要求4所述的一种基于互联网大数据的电数字数据处理系统,其特征在于,所述的卷积层用于提取图像或其他二维数据的特征,卷积层的表达式为:
其中,y1(i,j)表示卷积后的输出特征图的位置(i,j)的值,x(i,j)表示输入特征图的位置(i,j)的值,表示卷积核的权重参数,/>表示偏置参数,/>表示激活函数。
6.根据权利要求5所述的一种基于互联网大数据的电数字数据处理系统,其特征在于,所述的激活函数用于引入非线性特性,增强神经网络的表达能力,激活函数的公式如下:
其中,表示激活后的输出值,/>表示输入值,/>表示激活函数。
7.根据权利要求6所述的一种基于互联网大数据的电数字数据处理系统,其特征在于,所述的池化层用于减小特征图的空间尺寸,同时保留特征信息,池化操作的公式如下:
其中,y2(i,j)表示池化后的输出特征图的位置(i,j)的值,x(i,j)表示输入特征图位置(i,j)的值,表示池化操作,为最大值或平均值;通过卷积可以实现深度学习模型对电数字数据的特征提取、分类和预测,实现自动化的图像分类或物体识别。
CN202311323526.9A 2023-10-13 2023-10-13 一种基于互联网大数据的电数字数据处理系统 Pending CN117076613A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311323526.9A CN117076613A (zh) 2023-10-13 2023-10-13 一种基于互联网大数据的电数字数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311323526.9A CN117076613A (zh) 2023-10-13 2023-10-13 一种基于互联网大数据的电数字数据处理系统

Publications (1)

Publication Number Publication Date
CN117076613A true CN117076613A (zh) 2023-11-17

Family

ID=88704569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311323526.9A Pending CN117076613A (zh) 2023-10-13 2023-10-13 一种基于互联网大数据的电数字数据处理系统

Country Status (1)

Country Link
CN (1) CN117076613A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116841262A (zh) * 2023-06-27 2023-10-03 北京红山信息科技研究院有限公司 基于机器视觉的智慧工厂生产在线监测分析系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116841262A (zh) * 2023-06-27 2023-10-03 北京红山信息科技研究院有限公司 基于机器视觉的智慧工厂生产在线监测分析系统

Similar Documents

Publication Publication Date Title
CN106886580B (zh) 一种基于深度学习的图片情感极性分析方法
Alamsyah et al. Dynamic large scale data on twitter using sentiment analysis and topic modeling
CN112836052A (zh) 一种汽车评论文本观点挖掘方法、设备及存储介质
CN116663664A (zh) 一种基于nlp算法的客户营销场景数据分析系统及方法
CN110298041A (zh) 垃圾文本过滤方法、装置、电子设备及存储介质
CN116756688A (zh) 一种基于多模态融合算法的舆情风险发现方法
CN109299179A (zh) 结构化数据提取装置、方法及存储介质
CN111669368A (zh) 端到端网络感知异常检测及分析方法、系统、装置和介质
CN112989058B (zh) 信息分类方法、试题分类方法、设备、服务器和存储介质
CN117009524B (zh) 一种基于舆情情感分析的互联网大数据分析方法及系统
CN112784601A (zh) 关键信息提取方法、装置、电子设备和存储介质
CN116864128A (zh) 基于身体活动行为模式监测的心理状态评估系统及其方法
CN112698897A (zh) 一种可视化大数据算子编排的方法及系统
Schwenker et al. EXSCLAIM!--An automated pipeline for the construction of labeled materials imaging datasets from literature
CN117076613A (zh) 一种基于互联网大数据的电数字数据处理系统
Gutsche Automatic weak signal detection and forecasting
CN111341404B (zh) 一种基于ernie模型的电子病历数据组解析方法及系统
CN115330423A (zh) 一种面向网页图文数据的广告分析方法及系统
CN110674269A (zh) 一种线索信息管控方法及系统
CN117172248B (zh) 一种文本数据标注方法、系统和介质
CN114494958A (zh) 一种基于视频理解模型的考生回头异常行为检测方法
CN117556047A (zh) 病历信息分类方法、病历信息分类装置、设备及存储介质
Zydziunaite Automatic content analysis of social media short texts: Scoping review of methods and tools
Cena Cost-Effective Classification of Financial Documents with FinEmbedDiff: Leveraging Multi-Modal Embedding Models and Vector Sampling
CN118114663A (zh) 一种电力故障领域实体自动抽取方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination