CN118170830A - 数据处理方法、装置、设备、存储介质及产品 - Google Patents

数据处理方法、装置、设备、存储介质及产品 Download PDF

Info

Publication number
CN118170830A
CN118170830A CN202410184506.6A CN202410184506A CN118170830A CN 118170830 A CN118170830 A CN 118170830A CN 202410184506 A CN202410184506 A CN 202410184506A CN 118170830 A CN118170830 A CN 118170830A
Authority
CN
China
Prior art keywords
data
neural network
network model
industrial data
industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410184506.6A
Other languages
English (en)
Inventor
吴晓
陆田
吕严
王钊
高珂
蒋家驹
顾珺菲
王瑞
赵玉婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Zijin Jiangsu Innovation Research Institute Co ltd
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Original Assignee
China Mobile Zijin Jiangsu Innovation Research Institute Co ltd
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Zijin Jiangsu Innovation Research Institute Co ltd, China Mobile Communications Group Co Ltd, China Mobile Group Jiangsu Co Ltd filed Critical China Mobile Zijin Jiangsu Innovation Research Institute Co ltd
Priority to CN202410184506.6A priority Critical patent/CN118170830A/zh
Publication of CN118170830A publication Critical patent/CN118170830A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Communication Control (AREA)

Abstract

本发明属于大数据处理技术领域，公开了一种数据处理方法、装置、设备、存储介质及产品。本发明通过对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据，然后对各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据，再通过初始神经网络模型对转换后的工业数据进行数据处理，获得处理后的工业数据，初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。本发明通过对采集到的初始工业数据进行分类，然后对各类型协议对应的目标工业数据进行格式转换，能够将目标工业数据转换为统一格式，再通过初始神经网络模型自动对转换后的工业数据进行数据处理，从而提高数据处理效率。

Description

数据处理方法、装置、设备、存储介质及产品
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种数据处理方法、装置、设备、存储介质及产品。
背景技术
现有的大数据处理方法一般采用网关对协议进行解析、分类、计算和存储，这个处理方法在解决数据来源复杂和数据量大的问题时，需要投入大量的人力资源来解决这一庞大且繁琐的问题。因此，如何提高数据处理效率，成为一个亟待解决的问题。
发明内容
本发明的主要目的在于提供了一种数据处理方法、装置、设备、存储介质及产品，旨在解决如何提高数据处理效率的技术问题。
为实现上述目的，本发明提供了一种数据处理方法，所述数据处理方法包括以下步骤：
对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据；
对所述各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据；
通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据，所述初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。
可选地，所述通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据的步骤，具体包括：
通过所述初始神经网络模型中的数据分类层对所述转换后的工业数据进行分类，获得分类后的第一工业数据；
通过所述初始神经网络模型中的解析层对所述第一工业数据进行数据解析，获得解析后的第二工业数据；
通过所述初始神经网络模型中的格式转换层对所述第二工业数据进行格式转换，获得转换后的第三工业数据；
通过所述初始神经网络模型中的存储层对所述第三工业数据进行存储，获得处理后的工业数据。
可选地，所述通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据的步骤之后，还包括：
获取所述初始神经网络模型对应的模型标识和所述处理后的工业数据对应的数据标识；
根据所述模型标识和所述数据标识确定所述处理后的工业数据对应的检索顺序；
基于所述检索顺序对所述处理后的工业数据进行检索。
可选地，所述获取所述初始神经网络模型对应的模型标识和所述处理后的工业数据对应的数据标识的步骤，具体包括：
从所述转换后的工业数据中选取输入至不同的所述初始神经网络模型中的相同数据，并确定所述相同数据对应的处理时长；
根据所述处理时长确定所述初始神经网络模型对应的模型标识；
确定所述相同数据的数据次数，并根据所述数据次数确定所述处理后的工业数据对应的数据标识。
可选地，所述基于所述检索顺序对所述转换后的工业数据进行检索的步骤之后，还包括：
基于检索结果对所述初始神经网络模型进行优化，获得目标神经网络模型；
通过所述目标神经网络模型对所述处理后的工业数据进行处理，获得优化后的工业数据。
可选地，所述基于检索结果对所述初始神经网络模型进行优化，获得目标神经网络模型的步骤，具体包括：
基于检索结果确定所述初始神经网络模型中的解析层对应的数据解析量和解析字符数量；
基于所述检索结果确定所述初始神经网络模型中的格式转换层对应的数据转换量和转换字符数量；
基于所述数据解析量、所述解析字符数量、所述数据转换量以及所述转换字符数量计算总需求时间；
基于所述总需求时间通过空余算力对所述解析层和所述格式转换层的数量进行优化，获得目标神经网络模型。
此外，为实现上述目的，本发明还提供一种数据处理装置，所述数据处理装置包括：
数据分类模块，用于对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据；
格式转换模块，用于对所述各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据；
数据处理模块，用于通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据，所述初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。
此外，为实现上述目的，本发明还提出一种数据处理设备，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序配置为实现如上文所述的数据处理方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上文所述的数据处理方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机程序产品，所述计算机程序产品包括数据处理程序，所述数据处理程序被处理器执行时实现如上文所述的数据处理方法的步骤。
本发明通过对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据，然后对各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据，再通过初始神经网络模型对转换后的工业数据进行数据处理，获得处理后的工业数据，初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。本发明通过对采集到的初始工业数据进行分类，然后对各类型协议对应的目标工业数据进行格式转换，能够将目标工业数据转换为统一格式，再通过初始神经网络模型自动对转换后的工业数据进行数据处理，从而提高数据处理效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的数据处理设备的结构示意图；
图2为本发明数据处理方法第一实施例的流程示意图；
图3为本发明数据处理方法第二实施例的流程示意图；
图4为本发明数据处理方法第三实施例的流程示意图；
图5为本发明数据处理装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的数据处理设备结构示意图。
如图1所示，该数据处理设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序。
在图1所示的数据处理设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明数据处理设备中的处理器1001、存储器1005可以设置在数据处理设备中，所述数据处理设备通过处理器1001调用存储器1005中存储的数据处理程序，并执行本发明实施例提供的数据处理方法。
基于上述数据处理设备，本发明实施例提供了一种数据处理方法，参照图2，图2为本发明数据处理方法第一实施例的流程示意图。
本实施例中，所述数据处理方法包括以下步骤：
步骤S10：对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据。
需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如计算机，或者是一种能够实现上述功能的电子设备或数据处理设备。以下以所述数据处理设备为例，对本实施例及下述各实施例进行说明。
可理解的是，收集人员可通过安装在工业设备或者数据业务源系统的数据收集模块采集初始工业数据，初始工业数据可包含多种不同协议类型的工业数据，具体可将工业数据按照短时顺序采集，即按照数据长度来采集，可先采集数据长度较短的工业数据。数据收集模块收集的信息标记参数可包括：数据版本信息、认证信息以及采集日期。
应理解的是本实施例可对初始工业数据进行分类，得到各类型协议对应的目标工业数据，不同类的目标工业数据的协议不相同。数据协议可包括：Http、Tcp、Modbus、Bacnet、Opc、Lonworks、Lontalk等。
步骤S20：对所述各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据。
应理解的是，为了方便用户对同类型协议数据进行区分，可通过数据协议转换模块对各类型协议对应的目标工业数据进行格式转换，得到转换后的工业数据，具体可统一转换为Json格式，并且将转换成Json格式的数据版本信息、认证信息、采集信息和采集日期进行信息备注。
在具体实现中，可对转换后的工业数据进行存储，数据存储模为数据库，数据库包括存储主系统和存储子系统，存储主系统与数据协议转换模块进行通信连接，存储子系统与数据收集模块进行通信连接，存储主系统存储完成转换的Json格式的工业数据，存储子系统存储未完成转换的Json格式的工业数据。另外，为了实现提高存储数据的安全性，本实施例采用以下进一步的方案：数据存储模块包括原数据包存储中心和解析数据包存储中心，原数据包存储中心用于将原始数据进行存储备份，解析数据包存储中心用于数据调阅，原数据包存储中心还用于将数据压缩加密保存，原数据包存储中心需认证权限后访问。
步骤S30：通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据，所述初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。
可理解的是，本实施例中的初始神经网络模型可由多层卷积神经网络模型构成，第一层为数据分类层，第二层为解析层，第三层为格式转换层，第四层为存储层。第一层根据协议的类型建立多个协议数据收集分类数据库，第二层与第一层的协议数据库单元一一对应，用于将其一一解析、第三层与第二层一一对应，第三层用于将解析的数据协议统一输出、第四层包括分数据存储神经单元和总数据存储神经单元，分数据存储神经单元与总数据存储神经单元通信连接，分数据存储神经单元以一对应的与第一层的分类数据库通信连接，该链接方式可以在数据依照协议分类后及时的将原始数据信息存入分数据存储神经单元，避免数据错乱的时候无源头数据可查导致故障排出困难的问题。
进一步地，为了有效地对转换后的工业数据进行数据处理，在本实施例中，所述步骤S30包括：通过所述初始神经网络模型中的数据分类层对所述转换后的工业数据进行分类，获得分类后的第一工业数据；通过所述初始神经网络模型中的解析层对所述第一工业数据进行数据解析，获得解析后的第二工业数据；通过所述初始神经网络模型中的格式转换层对所述第二工业数据进行格式转换，获得转换后的第三工业数据；通过所述初始神经网络模型中的存储层对所述第三工业数据进行存储，获得处理后的工业数据。
应理解的是，本实施例可通过数据分类层对转换后的工业数据进行分类，可以按照转换后的工业数据对应的协议类型进行分类，也可以按照转换后的工业数据对应的数据长度进行分类，得到分类后的第一工业数据。再通过解析层对分类后的第一工业数据进行数据解析，具体可对第一工业数据的数据结构、数据长度等进行解析，得到解析后的第二工业数据。
可理解的是，可通过格式转换层对第二工业数据进行格式转换，具体地，可建立一个企业内部标准协议，该协议可以根据管理权限进行调整，通过该协议规定的需转换的格式即可对第二工业数据进行格式转换，得到转换后的第三工业数据。再通过存储层对转换后的第三工业数据进行存储，具体地，可将完成格式转换的第三工业数据存储至总数据存储神经单元，将未完成格式转换的第三工业数据存储至分数据存储神经单元。
本实施例通过对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据，然后对各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据，再通过初始神经网络模型对转换后的工业数据进行数据处理，获得处理后的工业数据，初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。本实施例通过对采集到的初始工业数据进行分类，然后对各类型协议对应的目标工业数据进行格式转换，能够将目标工业数据转换为统一格式，再通过初始神经网络模型自动对转换后的工业数据进行数据处理，从而提高数据处理效率。
参考图3，图3为本发明数据处理方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S30之后，所述方法还包括：
步骤S40：获取所述初始神经网络模型对应的模型标识和所述处理后的工业数据对应的数据标识。
可理解的是，在通过初始神经网络模型进行数据处理后，可获取各个初始网络神经模型对应的模型标识和处理后的工业数据对应的数据标识。
进一步地，为了得到模型标识和数据标识，在本实施例中，所述步骤S40包括：从所述转换后的工业数据中选取输入至不同的所述初始神经网络模型中的相同数据，并确定所述相同数据对应的处理时长；根据所述处理时长确定所述初始神经网络模型对应的模型标识；确定所述相同数据的数据次数，并根据所述数据次数确定所述处理后的工业数据对应的数据标识。
应理解的是，初始神经网络模型可能存在多个，相同的转换后的工业数据可能输入至不同的初始神经网络模型中，可将输入数据作为相同数据，并确定相同数据在各初始神经网络模型中的处理时长，并将处理时长最短的初始网络神经模型进行标识，得到该初始网络模型对应的模型标识。
可理解的是，还可确定上述相同数据的数据次数，即相同数据输入至不同的初始神经网络模型的数量，并根据数据次数确定处理后的工业数据对应的数据标识，具体地，数据次数为1时，标记为x，数据次数小于3大于1时，标记为y，数据次数大于3时，标记为z。
步骤S50：根据所述模型标识和所述数据标识确定所述处理后的工业数据对应的检索顺序。
应理解的是，检索顺序可将标记为z的数据设置为检索优先最高级的数据，且提取时优先提取经过标记的初始网络模型输出的数据；将标记为y的数据设置为检索优先次级的数据，且提取时若系统运算未进入繁忙状态，则优先提取经过标记的初始网络模型输出的数据；若提取时系统运算进入繁忙状态，则按正常流程提取数据；将标记为z的数据设置为检索优先最低级的数据，不进行预标记数据优先提取。
步骤S60：基于所述检索顺序对所述处理后的工业数据进行检索。
在具体实现中，可基于检索顺序对处理后的工业数据进行检索，即当用户输入检索文本时，可按照上述检索顺序输出检索结果。检索结果展示的数据的统一格式为PDF、JPG和XT格式，数据的XT格式用于记录数据原始代码信息，PDF和JPG格式用于将数据生成二维可视化界面，能够起到便于用户实时对数据信息修改的效果。
本实施例通过获取初始神经网络模型对应的模型标识和所述处理后的工业数据对应的数据标识，然后根据模型标识和所述数据标识确定处理后的工业数据对应的检索顺序，再基于检索顺序对处理后的工业数据进行检索。本实施例根据模型标识和所述数据标识确定处理后的工业数据对应的检索顺序，再基于检索顺序对处理后的工业数据进行检索，能够对检索结果按照检索顺序进行展示，以提高用户体验。
参考图4，图4为本发明数据处理方法第三实施例的流程示意图。
基于上述各实施例，在本实施例中，所述步骤S60之后，所述方法还包括：
步骤S70：基于检索结果对所述初始神经网络模型进行优化，获得目标神经网络模型。
进一步地，为了有效地对初始网络模型进行优化，在本实施例中，所述步骤S70包括：基于检索结果确定所述初始神经网络模型中的解析层对应的数据解析量和解析字符数量；基于所述检索结果确定所述初始神经网络模型中的格式转换层对应的数据转换量和转换字符数量；基于所述数据解析量、所述解析字符数量、所述数据转换量以及所述转换字符数量计算总需求时间；基于所述总需求时间通过空余算力对所述解析层和所述格式转换层的数量进行优化，获得目标神经网络模型。
可理解的是，在通过初始神经网络模型进行数据处理时，可确定解析层对应的数据解析量Gn，解析字符数量k，还可确定格式转换层对应的数据转换量Gm，转换字符数量L，并计算总需求时间为(Gn/k)*Tn+(Gm/L)*Tm，Tn为解析单位字符时间，Tm为转换单位字符时间。
应理解的是，可利用空余算力控制解析层和格式转换层的数量，并对初始网络神经模型中的解析层和格式转换层的数量进行调整，得到目标神经网络模型。本实施例通过对空余算力的运用增加解析速度和转换速度，且同时在解析和转换过程中不断的对数据进行标记，通过特殊标记和神经记忆在新数据中的标记匹配处直接解析转换从而加快解析转换速度，具体的神经网络的结构为多层分支连接结构，有多层主神经网络层和设置在多层神经网络间的分支数据连接通道组成，分支数据连接通道根据具体的业务要求变化，其分支神经不固定，且分支神经所耗的算力不得大于基础算力的百分之25。
步骤S80：通过所述目标神经网络模型对所述处理后的工业数据进行处理，获得优化后的工业数据。
在具体实现中，可通过目标神经网络对处理后的工业数据进一步处理，得到优化后的工业数据。
本实施例通过基于检索结果对初始神经网络模型进行优化，获得目标神经网络模型，然后通过目标神经网络模型对处理后的工业数据进行处理，获得优化后的工业数据。本实施例通过优化后的目标神经网络模型对处理后的工业数据进行进一步处理，从而进一步提高数据处理效率。
参照图5，图5为本发明数据处理装置第一实施例的结构框图。
如图5所示，本发明实施例提出的数据处理装置包括：
数据分类模块10，用于对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据；
格式转换模块20，用于对所述各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据；
数据处理模块30，用于通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据，所述初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。
本实施例通过对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据，然后对各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据，再通过初始神经网络模型对转换后的工业数据进行数据处理，获得处理后的工业数据，初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。本实施例通过对采集到的初始工业数据进行分类，然后对各类型协议对应的目标工业数据进行格式转换，能够将目标工业数据转换为统一格式，再通过初始神经网络模型自动对转换后的工业数据进行数据处理，从而提高数据处理效率。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的数据处理方法，此处不再赘述。
基于本发明上述数据处理装置第一实施例，提出本发明数据处理装置的第二实施例。
在本实施例中，所述数据处理模块30，还用于通过所述初始神经网络模型中的数据分类层对所述转换后的工业数据进行分类，获得分类后的第一工业数据；通过所述初始神经网络模型中的解析层对所述第一工业数据进行数据解析，获得解析后的第二工业数据；通过所述初始神经网络模型中的格式转换层对所述第二工业数据进行格式转换，获得转换后的第三工业数据；通过所述初始神经网络模型中的存储层对所述第三工业数据进行存储，获得处理后的工业数据。
进一步地，所述数据处理模块30，还用于获取所述初始神经网络模型对应的模型标识和所述处理后的工业数据对应的数据标识；根据所述模型标识和所述数据标识确定所述处理后的工业数据对应的检索顺序；基于所述检索顺序对所述处理后的工业数据进行检索。
进一步地，所述数据处理模块30，还用于从所述转换后的工业数据中选取输入至不同的所述初始神经网络模型中的相同数据，并确定所述相同数据对应的处理时长；根据所述处理时长确定所述初始神经网络模型对应的模型标识；确定所述相同数据的数据次数，并根据所述数据次数确定所述处理后的工业数据对应的数据标识。
进一步地，所述数据处理模块30，还用于基于检索结果对所述初始神经网络模型进行优化，获得目标神经网络模型；通过所述目标神经网络模型对所述处理后的工业数据进行处理，获得优化后的工业数据。
进一步地，所述数据处理模块30，还用于基于检索结果确定所述初始神经网络模型中的解析层对应的数据解析量和解析字符数量；基于所述检索结果确定所述初始神经网络模型中的格式转换层对应的数据转换量和转换字符数量；基于所述数据解析量、所述解析字符数量、所述数据转换量以及所述转换字符数量计算总需求时间；基于所述总需求时间通过空余算力对所述解析层和所述格式转换层的数量进行优化，获得目标神经网络模型。
本发明数据处理装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上文所述的数据处理方法的步骤。
此外，本发明实施例还提出一种计算机程序产品，所述计算机程序产品包括数据处理程序，所述数据处理程序被处理器执行时实现如上文所述的数据处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：
对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据；
对所述各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据；
通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据，所述初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。
2.如权利要求1所述的数据处理方法，其特征在于，所述通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据的步骤，具体包括：
通过所述初始神经网络模型中的数据分类层对所述转换后的工业数据进行分类，获得分类后的第一工业数据；
通过所述初始神经网络模型中的解析层对所述第一工业数据进行数据解析，获得解析后的第二工业数据；
通过所述初始神经网络模型中的格式转换层对所述第二工业数据进行格式转换，获得转换后的第三工业数据；
通过所述初始神经网络模型中的存储层对所述第三工业数据进行存储，获得处理后的工业数据。
3.如权利要求1所述的数据处理方法，其特征在于，所述通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据的步骤之后，还包括：
获取所述初始神经网络模型对应的模型标识和所述处理后的工业数据对应的数据标识；
根据所述模型标识和所述数据标识确定所述处理后的工业数据对应的检索顺序；
基于所述检索顺序对所述处理后的工业数据进行检索。
4.如权利要求3所述的数据处理方法，其特征在于，所述获取所述初始神经网络模型对应的模型标识和所述处理后的工业数据对应的数据标识的步骤，具体包括：
从所述转换后的工业数据中选取输入至不同的所述初始神经网络模型中的相同数据，并确定所述相同数据对应的处理时长；
根据所述处理时长确定所述初始神经网络模型对应的模型标识；
确定所述相同数据的数据次数，并根据所述数据次数确定所述处理后的工业数据对应的数据标识。
5.如权利要求3所述的数据处理方法，其特征在于，所述基于所述检索顺序对所述转换后的工业数据进行检索的步骤之后，还包括：
基于检索结果对所述初始神经网络模型进行优化，获得目标神经网络模型；
通过所述目标神经网络模型对所述处理后的工业数据进行处理，获得优化后的工业数据。
6.如权利要求5所述的数据处理方法，其特征在于，所述基于检索结果对所述初始神经网络模型进行优化，获得目标神经网络模型的步骤，具体包括：
基于检索结果确定所述初始神经网络模型中的解析层对应的数据解析量和解析字符数量；
基于所述检索结果确定所述初始神经网络模型中的格式转换层对应的数据转换量和转换字符数量；
基于所述数据解析量、所述解析字符数量、所述数据转换量以及所述转换字符数量计算总需求时间；
基于所述总需求时间通过空余算力对所述解析层和所述格式转换层的数量进行优化，获得目标神经网络模型。
7.一种数据处理装置，其特征在于，所述数据处理装置包括：
数据分类模块，用于对采集到的初始工业数据进行分类，获得各类型协议对应的目标工业数据；
格式转换模块，用于对所述各类型协议对应的目标工业数据进行格式转换，获得转换后的工业数据；
数据处理模块，用于通过初始神经网络模型对所述转换后的工业数据进行数据处理，获得处理后的工业数据，所述初始神经网络模型包括：数据分类层、解析层、格式转换层以及存储层。
8.一种数据处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序配置为实现如权利要求1至6中任一项所述的数据处理方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。
CN202410184506.6A 2024-02-18 2024-02-18 数据处理方法、装置、设备、存储介质及产品 Pending CN118170830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410184506.6A CN118170830A (zh) 2024-02-18 2024-02-18 数据处理方法、装置、设备、存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410184506.6A CN118170830A (zh) 2024-02-18 2024-02-18 数据处理方法、装置、设备、存储介质及产品

Publications (1)

Publication Number Publication Date
CN118170830A true CN118170830A (zh) 2024-06-11

Family

ID=91349561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410184506.6A Pending CN118170830A (zh) 2024-02-18 2024-02-18 数据处理方法、装置、设备、存储介质及产品

Country Status (1)

Country Link
CN (1) CN118170830A (zh)

Similar Documents

Publication Publication Date Title
CN110428127B (zh) 自动化分析方法、用户设备、存储介质及装置
CN112100219B (zh) 基于数据库查询处理的报表生成方法、装置、设备和介质
CN111831636A (zh) 一种数据处理方法、装置、计算机系统及可读存储介质
CN111161804B (zh) 一种用于物种基因组学数据库的查询方法及系统
CN106682206A (zh) 一种大数据处理方法及系统
CN112200465A (zh) 基于多媒体信息智能分析的电力ai方法及系统
CN114356712A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN114385609A (zh) 基于标签的政务事件处理系统、方法、设备及存储介质
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
JP2004199377A (ja) 遠隔監視診断システム
CN118170830A (zh) 数据处理方法、装置、设备、存储介质及产品
CN116186129A (zh) 一种多源异构数据的处理方法及装置
CN114004408B (zh) 一种基于数据分析的用户电力负荷预测方法
CN114417010A (zh) 面向实时工作流的知识图谱构建方法、装置和存储介质
CN113313615A (zh) 一种对企业司法风险进行量化评分定级的方法及装置
CN112884440A (zh) 核电试验中的试验工序执行方法、装置和计算机设备
CN112231185A (zh) 基于应用系统告警信息的知识获取方法及装置
CN110443305A (zh) 自适应特征处理方法及装置
CN114330866B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN113569019B (zh) 基于聊天对话进行知识提取的方法、系统、设备及存储介质
CN116707834B (zh) 一种基于云存储的分布式大数据取证与分析平台
CN116719888A (zh) 一种基于云计算的企业群体服务方法、系统及存储介质
Casati et al. Enterprise cockpit for business operation management
CN116226258A (zh) 基于低代码技术的构建警务过程数据平台的方法及系统
CN114416795A (zh) 一种报表文件处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination