CN112561499A - 一种基于低碳经济的新能源数据管理系统 - Google Patents
一种基于低碳经济的新能源数据管理系统 Download PDFInfo
- Publication number
- CN112561499A CN112561499A CN202110133600.5A CN202110133600A CN112561499A CN 112561499 A CN112561499 A CN 112561499A CN 202110133600 A CN202110133600 A CN 202110133600A CN 112561499 A CN112561499 A CN 112561499A
- Authority
- CN
- China
- Prior art keywords
- new energy
- data
- word
- data processing
- energy data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 22
- 238000013523 data management Methods 0.000 title claims abstract description 19
- 238000013075 data extraction Methods 0.000 claims abstract description 87
- 238000013500 data storage Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 92
- 230000015654 memory Effects 0.000 claims description 14
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims 5
- 238000000034 method Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 5
- 239000002028 Biomass Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000005431 greenhouse gas Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于低碳经济的新能源数据管理系统,包括新能源数据获取模块、新能源数据分类模块、数据处理项目获取模块、数据处理模块、数据存储模块、数据提取指令获取模块、语音识别模块、新能源数据集合信息获取模块和新能源数据集合获取模块。将获取到的新能源初始数据依照元数据进行分类,然后得到各新能源数据集合相对应的目标数据处理类型,根据各目标数据处理类型对各新能源数据集合进行数据处理,得到各数据处理结果集合,当获取到数据提取语音指令时,根据数据提取语音指令得到新能源数据集合和对应的数据处理结果集合。因此,本发明提供的基于低碳经济的新能源数据管理系统能够实现新能源数据的可靠数据管理。
Description
技术领域
本发明涉及一种基于低碳经济的新能源数据管理系统。
背景技术
低碳经济,也称减少高碳能源消耗的经济发展模式,是指在可持续发展理念指导下,通过技术创新、制度创新、产业转型、新能源开发等多种手段,尽可能地减少煤炭、石油等高碳能源消耗,减少温室气体排放,达到经济社会发展与生态环境保护双赢的一种经济发展形态。为了有效发展低碳经济,就需要发展新能源。新能源又称非常规能源,是指传统能源之外的各种能源形式,指刚开始开发利用或正在积极研究、有待推广的能源,如太阳能、地热能、风能、海洋能、生物质能和核聚变能等。因此,为了对新能源数据的可靠管理很大程度上影响新能源的发展,但是,目前新能源数据的管理方式比较粗放,可靠性不高。
发明内容
为了解决背景技术提到的技术问题,本发明提供一种基于低碳经济的新能源数据管理系统,能够对新能源数据进行可靠管理。
一种基于低碳经济的新能源数据管理系统,包括:
新能源数据获取模块,用于获取新能源初始数据;
新能源数据分类模块,用于根据预设的分类机制,对所述新能源初始数据进行分类,得到至少两个新能源数据集合,各新能源数据集合中的新能源数据为相同元数据的新能源数据,并构建各新能源数据集合与各元数据的对应关系;
数据处理项目获取模块,用于根据预设的数据处理数据库,获取与各新能源数据集合相对应的目标数据处理类型,目标数据处理类型包括至少一个目标数据处理项目;其中,所述数据处理数据库包括至少两个元数据,以及与各元数据相对应的数据处理类型,各数据处理类型包括至少一个数据处理项目;
数据处理模块,用于根据各目标数据处理类型,对各新能源数据集合进行数据处理,得到对应的各数据处理结果集合;
数据存储模块,用于存储各新能源数据集合以及对应的各数据处理结果集合;
数据提取指令获取模块,用于获取数据提取语音指令;
语音识别模块,用于将所述数据提取语音指令识别成对应的数据提取指令文本段;
新能源数据集合信息获取模块,用于根据所述数据提取指令文本段,获取待提取的新能源数据集合信息;
新能源数据集合获取模块,用于根据所述待提取的新能源数据集合信息,获取对应的新能源数据集合和对应的数据处理结果集合。
进一步地,所述数据处理模块包括:
数据处理程序获取单元,用于根据各新能源数据集合相对应的目标数据处理类型所包含的各目标数据处理项目,生成与各目标数据处理项目相对应的数据处理程序;
数据处理单元,用于执行各数据处理程序,对各新能源数据集合中的新能源数据进行数据处理,得到与各新能源数据集合相对应的数据处理结果集合,所述数据处理结果集合包括对应的新能源数据集合中的各新能源数据的每一个目标数据处理项目相对应的数据处理结果。
进一步地,所述新能源数据集合信息获取模块包括:
文本特征获取单元,用于获取所述数据提取指令文本段的目标文本特征;
新能源数据集合信息获取单元,用于根据所述目标文本特征,获取待提取的新能源数据集合信息。
进一步地,所述根据所述目标文本特征,获取待提取的新能源数据集合信息具体为:
将所述目标文本特征输入至预设的数据提取对象识别模型中,获取待提取的新能源数据集合信息。
进一步地,所述获取所述数据提取指令文本段的目标文本特征具体为:
根据所述数据提取指令文本段,获取所述数据提取指令文本段中的各词语的词特征;
按照所述各词语在所述数据提取指令文本段中的由先至后的正向顺序,分别将所述各词语的词特征输入至预设的记忆网络模型中,得到与所述各词语一一对应的正向融合特征;按照所述各词语在所述数据提取指令文本段中的由后至先的反向顺序,分别将所述各词语的词特征输入至所述记忆网络模型中,得到与所述各词语一一对应的反向融合特征;所述目标文本特征包括所述正向融合特征和所述反向融合特征;
相应地,所述根据所述目标文本特征,获取待提取的新能源数据集合信息具体为:
根据所述正向融合特征和所述反向融合特征,获取待提取的新能源数据集合信息。
进一步地,所述按照所述各词语在所述数据提取指令文本段中的由先至后的正向顺序,分别将所述各词语的词特征输入至预设的记忆网络模型中,得到与所述各词语一一对应的正向融合特征具体为:
按照所述各词语在所述数据提取指令文本段中的由先至后的顺序,逐个提取第i个词语的词特征,并获取第i个词语的正向附加融合特征,所述第i个词语的正向附加融合特征为第i-1个词语的正向融合特征;
将第i个词语的词特征和第i个词语的正向附加融合特征,输入至所述记忆网络模型中进行特征处理,得到第i个词语的正向融合特征,以此得到与所述各词语一一对应的正向融合特征。
进一步地,所述根据所述正向融合特征和所述反向融合特征,获取待提取的新能源数据集合信息具体为:
根据所述各词语在所述数据提取指令文本段中的由先至后的正向顺序,确定在所述正向顺序下所述各词语中的第一个词语和最后一个词语;
从各词语一一对应的正向融合特征中,确定所述最后一个词语的正向融合特征;从各词语一一对应的反向融合特征中,确定所述第一个词语的反向融合特征;
根据所述最后一个词语的正向融合特征和所述第一个词语的反向融合特征,获取待提取的新能源数据集合信息。
将获取到的新能源初始数据依照元数据进行分类,即同属于一种元数据的新能源数据划分到一个新能源数据集合中,不同的元数据的新能源数据处于不同的新能源数据,接着根据预设的数据处理数据库,得到各新能源数据集合相对应的目标数据处理类型,目标数据处理类型包括至少一个目标数据处理项目,因此,相同的元数据配置相同的数据处理类型,即相同的数据处理项目,那么,就无需针对相同的元数据所对应的各新能源数据均单独配置数据处理项目,实现了相同元数据下的数据处理类型,即数据处理项目的重复使用,以及相同元数据下的各新能源数据进行相同的数据处理,大幅度降低重复配置数据处理项目的工作量,进而大幅度提升新能源数据的处理效率和可靠性。通过对各新能源数据集合中的新能源数据进行与对应的目标数据处理项目相对应的数据处理过程,得到与各目标数据处理项目相对应的数据处理结果,实现了可靠全面地数据处理,提升数据处理的准确性和可靠性;在获取到数据提取语音指令之后,将数据提取语音指令识别成对应的数据提取指令文本段,然后根据数据提取指令文本段,获取待提取的新能源数据集合信息,最后根据待提取的新能源数据集合信息,获取对应的新能源数据集合和对应的数据处理结果集合,通过这种提取过程能够方便快速有效地得到所需的数据信息。因此,本发明提供的一种基于低碳经济的新能源数据管理系统能够对新能源数据进行可靠处理和管理。
附图说明
图1是本发明提供的一种基于低碳经济的新能源数据管理系统的结构原理图。
具体实施方式
基于低碳经济的新能源数据管理系统实施例:
本实施例提供一种基于低碳经济的新能源数据管理系统,如图1所示,包括:新能源数据获取模块、新能源数据分类模块、数据处理项目获取模块、数据处理模块、数据存储模块、数据提取指令获取模块、语音识别模块、新能源数据集合信息获取模块和新能源数据集合获取模块。各模块可以为软件模块,也可以为硬件模块。
新能源数据获取模块用于获取新能源初始数据。应当理解,若新能源数据获取模块为硬件模块,则可以为数据接口,用于接收外部设备发送的新能源初始数据。新能源初始数据为还没有进行数据处理的新能源数据,包括多种新能源数据,具体包含的新能源数据的种类数,以及新能源数据的具体实现方式由实际应用场景决定。
新能源数据分类模块用于根据预设的分类机制,对新能源初始数据进行分类,得到至少两个新能源数据集合,各新能源数据集合中的新能源数据为相同元数据的新能源数据,并构建各新能源数据集合与各元数据的对应关系。预设的分类机制具体是根据元数据进行新能源数据分类。元数据(Metadata)又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息。获取到的每种新能源数据均具有对应的元数据,而且,存在多种不同的新能源数据具有相同的元数据的情况。那么,根据元数据,将新能源初始数据中的各种新能源数据进行分类,将相同元数据对应的多个新能源数据划分至一个新能源数据集合中,最终得到至少两个新能源数据集合,各新能源数据集合中的各新能源数据为相同元数据的新能源数据。还可以构建各新能源数据集合与各元数据的对应关系,以实现各新能源数据集合与各元数据一一对应,比如:可以将新能源数据集合以对应的元数据进行命名。
数据处理项目获取模块用于根据预设的数据处理数据库,获取与各新能源数据集合相对应的目标数据处理类型,目标数据处理类型包括至少一个目标数据处理项目。预设的数据处理数据库包括至少两个元数据(元数据的个数由实际需要进行设置,本实施例中,可以囊括新能源领域所有的已有元数据),以及与各元数据相对应的数据处理类型,各数据处理类型包括至少一个数据处理项目。应当理解,数据处理类型所包含的数据处理项目的个数,以及各数据处理项目的具体内容均由具体的数据处理类型决定。由于各新能源数据集合均对应有元数据,那么,根据预设的数据处理数据库,获取与各新能源数据集合相对应的目标数据处理类型,目标数据处理类型包括至少一个目标数据处理项目。因此,具有相同元数据的多个不同的新能源数据而言,具有相同的数据处理类型,即具有相同的数据处理项目。
数据处理模块用于根据各目标数据处理类型,对各新能源数据集合进行数据处理,得到对应的各数据处理结果集合。作为一个具体实施方式,数据处理模块包括两部分,分别是数据处理程序获取单元和数据处理单元。
数据处理程序获取单元用于根据各新能源数据集合相对应的目标数据处理类型所包含的各目标数据处理项目,生成与各目标数据处理项目相对应的数据处理程序。作为一个具体实施方式,可以预设有数据处理程序数据库,该数据处理程序数据库包括已知的所有数据处理项目,以及与各数据处理项目相对应的数据处理程序,那么,得到各新能源数据集合相对应的目标数据处理类型所包含的各目标数据处理项目之后,将各新能源数据集合相对应的目标数据处理类型所包含的各目标数据处理项目输入至数据处理程序数据库中,得到与各新能源数据集合的各目标数据处理项目相对应的数据处理程序。作为其他的实施方式,对于任意一个目标数据处理项目而言,还可以获取与该目标数据处理项目相对应的初始数据处理程序,本实施例中,初始数据处理程序为将该目标数据处理项目写入预先配置的通用SQL脚本中而得到的数据处理程序,然后,将对应的元数据写入该目标数据处理项目的初始数据处理程序中,得到与该目标数据处理项目相对应的数据处理程序。
数据处理单元用于执行各数据处理程序,对各新能源数据集合中的各新能源数据进行数据处理,得到与各新能源数据集合相对应的数据处理结果集合,数据处理结果集合包括对应的新能源数据集合中的各新能源数据的每一个目标数据处理项目相对应的数据处理结果。应当理解,对于某一个新能源数据集合中的某一个新能源数据,执行各数据处理程序,每执行一个数据处理程序时,对该新能源数据进行与该数据处理程序相对应的目标数据处理项目的数据处理过程,得到与该目标数据处理项目相对应的数据处理结果,进而得到该新能源数据的各目标数据处理项目对应的数据处理结果。最终得到该新能源数据集合中的所有的新能源数据的数据处理结果,将这些数据处理结果整合成数据处理结果集合,该数据处理结果集合就与该新能源数据集合相对应。
通过上述过程,可以得到所有的新能源数据集合对应的数据处理结果集合。本实施例中,为了便于后续的数据提取,各数据处理结果集合可以以对应的元数据进行命名,然后进行后续数据存储。
数据存储模块用于存储各新能源数据集合以及对应的各数据处理结果集合,作为一个具体实施方式,对于任意一个新能源数据集合而言,将该新能源数据集合与对应的数据处理结果集合整合在一起,得到整合数据包,然后将各整合数据包进行存储。可以将各整合数据包存储在同一存储区域内,也可以设置足够多的存储区域,为各整合数据包配置对应的存储区域,并将各整合数据包存储在对应的存储区域内。
数据提取指令获取模块用于获取数据提取语音指令。若数据提取指令获取模块为硬件模块,则数据提取指令获取模块可以是数据接口,用于接收外部设备发送的数据提取语音指令,也可以为麦克风等语音采集设备,用于采集数据提取语音指令。
语音识别模块用于将数据提取语音指令识别成对应的数据提取指令文本段。应当理解,语音识别模块中配置有已有的语音识别算法,用于将语音信号识别成对应的文本信号。
新能源数据集合信息获取模块用于根据数据提取指令文本段,获取待提取的新能源数据集合信息。作为一个具体实施方式,新能源数据集合信息获取模块包括两部分,分别是文本特征获取单元和新能源数据集合信息获取单元。
文本特征获取模块用于获取数据提取指令文本段的目标文本特征。本实施例给出目标文本特征的一种具体的获取过程:
(1)根据数据提取指令文本段,获取数据提取指令文本段中的各词语的词特征。
本实施例中,词特征为词向量。为了得到数据提取指令文本段中的各词语的词特征,就需要对数据提取指令文本段进行词语划分处理,得到数据提取指令文本段中的各词语。应当理解,词语划分处理的原则由实际需要进行设定,可以根据预设的词语库进行划分,具体为:将数据提取指令文本段输入至预设的词语库中,确定数据提取指令文本段中存在的各个词语,并将各个词语按照在数据提取指令文本段中的出现顺序进行排序。作为其他的实施方式,也可以直接按照字对数据提取指令文本段进行词语划分,数据提取指令文本段中每一个字均为一个词语。
作为一个具体实施方式,可以使用嵌入(embedding)算法对词语进行特征提取,即将词语转换为词向量。比如:预设有一个词向量数据库,该词向量数据库包括之前处理过的所有的历史数据提取指令文本段中出现的每一个词语,以及每一个词语的出现次数,而且,每一个词语均按照出现次数进行排序,那么,词向量数据库中按照每一个词语的出现次数对每一个词语进行排序,每一个词语均有唯一的顺序编号。应当理解,本次的数据提取指令文本段和历史数据提取指令文本段中包含的词语个数可以相同,也可以不相同。
那么,得到数据提取指令文本段中的各词语之后,将各个词语输入至词向量数据库中,获取数据提取指令文本段中的各词语的顺序编号,各个词语的顺序编号为各个词语的词特征。
(2)按照各词语在数据提取指令文本段中的由先至后的正向顺序,分别将各词语的词特征输入至预设的记忆网络模型中,得到与各词语一一对应的正向融合特征;按照各词语在数据提取指令文本段中的由后至先的反向顺序,分别将各词语的词特征输入至记忆网络模型中,得到与各词语一一对应的反向融合特征;目标文本特征包括正向融合特征和反向融合特征。
由于数据提取指令文本段中的各个词语按照在数据提取指令文本段中的出现顺序进行排序,即数据提取指令文本段中的各个词语按照由先至后的正向顺序进行排序。按照各词语在数据提取指令文本段中的由先至后的正向顺序,分别将各词语的词特征输入至预设的记忆网络模型中,得到与各词语一一对应的正向融合特征,以下给出一种具体实现过程:
按照各词语在数据提取指令文本段中的由先至后的正向顺序,逐个提取第i个词语的词特征,并获取第i个词语的正向附加融合特征,第i个词语的正向附加融合特征为第i-1个词语的正向融合特征。即基于正向顺序,对于任意一个词语而言,该词语的正向附加融合特征为与该词语相邻的前一个词语的正向融合特征。i=1、2、……、m,m为数据提取指令文本段的词语总数。
预设有记忆网络模型,该记忆网络模型以Bi-LSTM模型为例,Bi-LSTM模型为双向长短期记忆网络模型。应当理解,由于需要进行正向融合和反向融合,因此,Bi-LSTM模型可以为双向Bi-LSTM模型,分为正向Bi-LSTM模型和反向Bi-LSTM模型,正向融合特征可由正向Bi-LSTM模型进行获取,反向融合特征可由反向Bi-LSTM模型进行获取。
然后,将第i个词语的词特征和第i个词语的正向附加融合特征输入至正向Bi-LSTM模型中进行特征处理,得到第i个词语的正向融合特征。
因此,根据上述过程,得到与数据提取指令文本段中的各词语一一对应的正向融合特征。具体地:当i=1时,由于第1个词语前面不存在词语,因此,将第1个词语的词特征输入至正向Bi-LSTM模型中进行特征处理,得到第1个词语的正向融合特征;将第2个词语的词特征和第2个词语的正向附加融合特征(即第1个词语的正向融合特征),输入至正向Bi-LSTM模型中进行特征处理,得到第2个词语的正向融合特征,以此类推,得到数据提取指令文本段中的各词语一一对应的正向融合特征。
同理,按照各词语在数据提取指令文本段中的由后至先的反向顺序,分别将各词语的词特征输入至记忆网络模型中,得到与各词语一一对应的反向融合特征。与上述正向融合特征的获取过程同理,在获取反向融合特征时,需要将数据提取指令文本段中的各个词语反过来排序,即按照各词语在数据提取指令文本段中的由后至前的反向顺序,分别将各词语的词特征输入至反向Bi-LSTM模型中,得到与各词语一一对应的反向融合特征。应当理解,在进行反向排序时,数据提取指令文本段的最后一个词语在反向顺序下,就变成了第一个词语,倒数第二个词语在反向顺序下,就变成了第二个词语,以此类推,数据提取指令文本段的第一个词语在反向顺序下,就变成了最后一个词语。因此,虽然正向顺序和反向顺序下,“第i个词语”的前一个词语均表示为“第i-1个词语”,但是,对于第i个词语而言,在正向顺序下的第i-1个词语等于在反向顺序下的第i+1个词语。即对于任意一个词语而言,在正向顺序下该词语的前一个词语是在反向顺序下该词语的后一个词语;在正向顺序下该词语的后一个词语是在反向顺序下该词语的前一个词语。
与上述正向融合特征的获取过程同理,在反向顺序下,逐个提取第i个词语的词特征,并获取第i个词语的反向附加融合特征,第i个词语的反向附加融合特征为第i-1个词语的反向融合特征。即基于反向顺序,对于任意一个词语而言,该词语的反向附加融合特征为与在反向顺序下该词语相邻的前一个词语的反向融合特征。
然后,将第i个词语的词特征和第i个词语的反向附加融合特征,输入至反向Bi-LSTM模型中进行特征处理,得到第i个词语的反向融合特征。
因此,根据上述过程,得到与数据提取指令文本段中的各词语一一对应的反向融合特征。具体地:当i=1时,由于第1个词语(即正向顺序下最后一个词语)前面不存在词语,因此,将第1个词语的词特征输入至反向Bi-LSTM模型中进行特征处理,得到第1个词语的反向融合特征;将第2个词语的词特征和第2个词语的反向附加融合特征(即第1个词语的反向融合特征),输入至反向Bi-LSTM模型中进行特征处理,得到第2个词语的反向融合特征,以此类推,得到数据提取指令文本段中的各词语一一对应的反向融合特征。
那么,目标文本特征包括得到的正向融合特征和反向融合特征。
新能源数据集合信息获取单元用于根据得到的目标文本特征,获取待提取的新能源数据集合信息。本实施例中,可以预设有数据提取对象识别模型,将目标文本特征输入至预设的数据提取对象识别模型中,获取待提取的新能源数据集合信息。数据提取对象识别模型可以为基于因子分解机的神经网络模型模型,也可以是卷积神经网络模型模型。本实施例中,数据提取对象识别模型以基于因子分解机的神经网络模型为例,基于因子分解机的神经网络模型使用因子分解机作为底层,在对基于因子分解机的神经网络模型进行训练时,每个训练样本的样本特征可预先采用因子分解机模型进行处理得到,并可基于深度神经网络使用嵌入向量进行训练。
由于目标文本特征包括得到的正向融合特征和反向融合特征,那么,根据正向融合特征和反向融合特征,获取待提取的新能源数据集合信息。待提取的新能源数据集合信息可以指待提取的数据处理结果集合的元数据。作为一个具体实施方式:
先根据各词语在数据提取指令文本段中的由先至后的正向顺序,确定在正向顺序下各词语中的第一个词语和最后一个词语。应当理解,正向顺序下的第一个词语为反向顺序下的最后一个词语。
基于正向顺序,从各词语一一对应的正向融合特征中,确定最后一个词语的正向融合特征。并且,从各词语一一对应的反向融合特征中,确定第一个词语的反向融合特征(即确定在反向顺序下的最后一次词语的反向融合特征)。
因此,基于正向顺序,根据最后一个词语的正向融合特征和第一个词语的反向融合特征,获取待提取的新能源数据集合信息,即将最后一个词语的正向融合特征和第一个词语的反向融合特征输入至预设的数据提取对象识别模型中,获取待提取的新能源数据集合信息。
作为其他的实施方式,还可以将所有词语的正向融合特征以及反向融合特征输入至预设的数据提取对象识别模型中,获取待提取的新能源数据集合信息,不再赘述。
新能源数据集合获取模块用于根据待提取的新能源数据集合信息,获取对应的新能源数据集合和对应的数据处理结果集合,具体地:由于待提取的新能源数据集合信息为待提取的数据处理结果集合的元数据,那么,将元数据输入至各整合数据包的存储区域内进行比对,找到对应的整合数据包,获取到的整合数据包为所需的新能源数据集合和数据处理结果集合。
Claims (7)
1.一种基于低碳经济的新能源数据管理系统,其特征在于,包括:
新能源数据获取模块,用于获取新能源初始数据;
新能源数据分类模块,用于根据预设的分类机制,对所述新能源初始数据进行分类,得到至少两个新能源数据集合,各新能源数据集合中的新能源数据为相同元数据的新能源数据,并构建各新能源数据集合与各元数据的对应关系;
数据处理项目获取模块,用于根据预设的数据处理数据库,获取与各新能源数据集合相对应的目标数据处理类型,目标数据处理类型包括至少一个目标数据处理项目;其中,所述数据处理数据库包括至少两个元数据,以及与各元数据相对应的数据处理类型,各数据处理类型包括至少一个数据处理项目;
数据处理模块,用于根据各目标数据处理类型,对各新能源数据集合进行数据处理,得到对应的各数据处理结果集合;
数据存储模块,用于存储各新能源数据集合以及对应的各数据处理结果集合;
数据提取指令获取模块,用于获取数据提取语音指令;
语音识别模块,用于将所述数据提取语音指令识别成对应的数据提取指令文本段;
新能源数据集合信息获取模块,用于根据所述数据提取指令文本段,获取待提取的新能源数据集合信息;
新能源数据集合获取模块,用于根据所述待提取的新能源数据集合信息,获取对应的新能源数据集合和对应的数据处理结果集合。
2.根据权利要求1所述的基于低碳经济的新能源数据管理系统,其特征在于,所述数据处理模块包括:
数据处理程序获取单元,用于根据各新能源数据集合相对应的目标数据处理类型所包含的各目标数据处理项目,生成与各目标数据处理项目相对应的数据处理程序;
数据处理单元,用于执行各数据处理程序,对各新能源数据集合中的新能源数据进行数据处理,得到与各新能源数据集合相对应的数据处理结果集合,所述数据处理结果集合包括对应的新能源数据集合中的各新能源数据的每一个目标数据处理项目相对应的数据处理结果。
3.根据权利要求1所述的基于低碳经济的新能源数据管理系统,其特征在于,所述新能源数据集合信息获取模块包括:
文本特征获取单元,用于获取所述数据提取指令文本段的目标文本特征;
新能源数据集合信息获取单元,用于根据所述目标文本特征,获取待提取的新能源数据集合信息。
4.根据权利要求3所述的基于低碳经济的新能源数据管理系统,其特征在于,所述根据所述目标文本特征,获取待提取的新能源数据集合信息具体为:
将所述目标文本特征输入至预设的数据提取对象识别模型中,获取待提取的新能源数据集合信息。
5.根据权利要求3所述的基于低碳经济的新能源数据管理系统,其特征在于,所述获取所述数据提取指令文本段的目标文本特征具体为:
根据所述数据提取指令文本段,获取所述数据提取指令文本段中的各词语的词特征;
按照所述各词语在所述数据提取指令文本段中的由先至后的正向顺序,分别将所述各词语的词特征输入至预设的记忆网络模型中,得到与所述各词语一一对应的正向融合特征;按照所述各词语在所述数据提取指令文本段中的由后至先的反向顺序,分别将所述各词语的词特征输入至所述记忆网络模型中,得到与所述各词语一一对应的反向融合特征;所述目标文本特征包括所述正向融合特征和所述反向融合特征;
相应地,所述根据所述目标文本特征,获取待提取的新能源数据集合信息具体为:
根据所述正向融合特征和所述反向融合特征,获取待提取的新能源数据集合信息。
6.根据权利要求5所述的基于低碳经济的新能源数据管理系统,其特征在于,所述按照所述各词语在所述数据提取指令文本段中的由先至后的正向顺序,分别将所述各词语的词特征输入至预设的记忆网络模型中,得到与所述各词语一一对应的正向融合特征具体为:
按照所述各词语在所述数据提取指令文本段中的由先至后的顺序,逐个提取第i个词语的词特征,并获取第i个词语的正向附加融合特征,所述第i个词语的正向附加融合特征为第i-1个词语的正向融合特征;
将第i个词语的词特征和第i个词语的正向附加融合特征,输入至所述记忆网络模型中进行特征处理,得到第i个词语的正向融合特征,以此得到与所述各词语一一对应的正向融合特征。
7.根据权利要求6所述的基于低碳经济的新能源数据管理系统,其特征在于,所述根据所述正向融合特征和所述反向融合特征,获取待提取的新能源数据集合信息具体为:
根据所述各词语在所述数据提取指令文本段中的由先至后的正向顺序,确定在所述正向顺序下所述各词语中的第一个词语和最后一个词语;
从各词语一一对应的正向融合特征中,确定所述最后一个词语的正向融合特征;从各词语一一对应的反向融合特征中,确定所述第一个词语的反向融合特征;
根据所述最后一个词语的正向融合特征和所述第一个词语的反向融合特征,获取待提取的新能源数据集合信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110133600.5A CN112561499A (zh) | 2021-02-01 | 2021-02-01 | 一种基于低碳经济的新能源数据管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110133600.5A CN112561499A (zh) | 2021-02-01 | 2021-02-01 | 一种基于低碳经济的新能源数据管理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112561499A true CN112561499A (zh) | 2021-03-26 |
Family
ID=75035881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110133600.5A Pending CN112561499A (zh) | 2021-02-01 | 2021-02-01 | 一种基于低碳经济的新能源数据管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112561499A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107146013A (zh) * | 2017-04-28 | 2017-09-08 | 国网北京市电力公司 | 一种基于灰色预测和支持向量机的分类型电动汽车需求时空分布动态预测方法 |
CN110502755A (zh) * | 2019-08-27 | 2019-11-26 | 湖北亿咖通科技有限公司 | 基于融合模型的字符串识别方法及计算机存储介质 |
CN110716990A (zh) * | 2019-09-04 | 2020-01-21 | 华东江苏大数据交易中心股份有限公司 | 一种应用于数据交易的多数据源管理系统 |
CN110941657A (zh) * | 2019-11-08 | 2020-03-31 | 支付宝(杭州)信息技术有限公司 | 业务数据处理方法及装置 |
CN111625596A (zh) * | 2020-05-14 | 2020-09-04 | 国网辽宁省电力有限公司 | 新能源实时消纳调度的多源数据同步共享方法及系统 |
CN111784511A (zh) * | 2020-07-15 | 2020-10-16 | 郑州市鼎晶信息技术有限公司 | 一种基于人工智能的银行业务管理系统 |
CN111949718A (zh) * | 2020-08-20 | 2020-11-17 | 郑州奥腾网络科技有限公司 | 一种基于云计算的数据异常分析方法 |
CN112182031A (zh) * | 2020-10-12 | 2021-01-05 | 浙江大华技术股份有限公司 | 数据查询方法及装置、存储介质、电子装置 |
CN112908331A (zh) * | 2021-04-01 | 2021-06-04 | 高小雯 | 一种基于大数据的视频文件处理方法和装置 |
CN112988873A (zh) * | 2021-04-01 | 2021-06-18 | 陈之衎 | 一种数据处理方法和装置 |
-
2021
- 2021-02-01 CN CN202110133600.5A patent/CN112561499A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107146013A (zh) * | 2017-04-28 | 2017-09-08 | 国网北京市电力公司 | 一种基于灰色预测和支持向量机的分类型电动汽车需求时空分布动态预测方法 |
CN110502755A (zh) * | 2019-08-27 | 2019-11-26 | 湖北亿咖通科技有限公司 | 基于融合模型的字符串识别方法及计算机存储介质 |
CN110716990A (zh) * | 2019-09-04 | 2020-01-21 | 华东江苏大数据交易中心股份有限公司 | 一种应用于数据交易的多数据源管理系统 |
CN110941657A (zh) * | 2019-11-08 | 2020-03-31 | 支付宝(杭州)信息技术有限公司 | 业务数据处理方法及装置 |
CN111625596A (zh) * | 2020-05-14 | 2020-09-04 | 国网辽宁省电力有限公司 | 新能源实时消纳调度的多源数据同步共享方法及系统 |
CN111784511A (zh) * | 2020-07-15 | 2020-10-16 | 郑州市鼎晶信息技术有限公司 | 一种基于人工智能的银行业务管理系统 |
CN111949718A (zh) * | 2020-08-20 | 2020-11-17 | 郑州奥腾网络科技有限公司 | 一种基于云计算的数据异常分析方法 |
CN112182031A (zh) * | 2020-10-12 | 2021-01-05 | 浙江大华技术股份有限公司 | 数据查询方法及装置、存储介质、电子装置 |
CN112908331A (zh) * | 2021-04-01 | 2021-06-04 | 高小雯 | 一种基于大数据的视频文件处理方法和装置 |
CN112988873A (zh) * | 2021-04-01 | 2021-06-18 | 陈之衎 | 一种数据处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101655837B (zh) | 一种对语音识别后文本进行检错并纠错的方法 | |
CN110008875B (zh) | 一种基于关键帧回溯的人脸识别视频片段筛选方法及系统 | |
KR102422962B1 (ko) | 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램 | |
CN110751224A (zh) | 视频分类模型的训练方法、视频分类方法、装置及设备 | |
CN112347284B (zh) | 一种组合商标图像检索方法 | |
CN105739337A (zh) | 一种人机交互型语音控制及示教系统和方法 | |
CN106557165A (zh) | 智能设备的动作模拟交互方法和装置及智能设备 | |
CN113505198A (zh) | 关键词驱动的生成式对话回复方法、装置及电子设备 | |
CN104008177A (zh) | 面向图像语义标注的规则库结构优化与生成方法及系统 | |
Lu et al. | SwinFGHash: Fine-grained Image Retrieval via Transformer-based Hashing Network. | |
CN110717027A (zh) | 多轮智能问答方法、系统以及控制器和介质 | |
CN106384587A (zh) | 一种语音识别方法及系统 | |
CN112948510B (zh) | 一种媒体行业知识图谱的构建方法 | |
CN114254102A (zh) | 一种基于自然语言的协同应急响应soar剧本推荐方法 | |
CN103678513A (zh) | 一种交互式的检索式生成方法及系统 | |
CN111259109B (zh) | 一种基于视频大数据的音频转视频的方法 | |
CN116186310B (zh) | 一种融合ai通用助手的ar空间标注及展示方法 | |
CN112561499A (zh) | 一种基于低碳经济的新能源数据管理系统 | |
CN117313849A (zh) | 一种基于多源异构数据融合技术的能源行业知识图谱构建方法及装置 | |
CN110489348A (zh) | 一种基于迁移学习的软件功能缺陷挖掘方法 | |
CN112949284A (zh) | 一种基于Transformer模型的文本语义相似度预测方法 | |
CN101295245B (zh) | 一种基于模型信息的智能提取方法 | |
CN116974554A (zh) | 代码数据处理方法、装置、计算机设备和存储介质 | |
CN113221546A (zh) | 手机银行资讯数据处理方法及装置 | |
CN102567424A (zh) | 一种诗词关联库系统及其实现方法和电子学习设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |
|
RJ01 | Rejection of invention patent application after publication |