CN116595083A - 一种多源数据转换处理方法及系统 - Google Patents
一种多源数据转换处理方法及系统 Download PDFInfo
- Publication number
- CN116595083A CN116595083A CN202310612703.9A CN202310612703A CN116595083A CN 116595083 A CN116595083 A CN 116595083A CN 202310612703 A CN202310612703 A CN 202310612703A CN 116595083 A CN116595083 A CN 116595083A
- Authority
- CN
- China
- Prior art keywords
- data
- establishing
- warehouse
- transmission
- database cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 127
- 238000009434 installation Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 19
- 238000013461 design Methods 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 abstract description 2
- 230000015654 memory Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Bioethics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及仓库数据存储技术领域,具体公开了一种多源数据转换处理方法及系统,所述方法包括查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群;建立所述数据库集群与智能设备的连接通道,实时获取传输数据;对所述传输数据进行识别,确定传输数据的波动特征;根据所述波动特征实时生成与数据库集群对应的数据集。本发明通过备案数据建立数据库集群,由数据库集群获取各智能设备采集到的数据,对采集到的数据进行识别,得到波动特征,记录波动特征,生成与数据库集群对应的数据集;当工作人员存在数据分析需求时,通过数据集即可快速判断各数据库中数据的相关性,更加容易进行分类识别,优化了识别过程。
Description
技术领域
本发明涉及仓库数据存储技术领域,具体是一种多源数据转换处理方法及系统。
背景技术
智能仓库中设有多台用于完成仓储任务的智能设备,这些智能设备在安装时,会同步建立与工作人员的对应关系,工作人员可以通过手机、Pad和个人电脑等设备实时控制智能设备;在实际应用中,一个工作人员对应的智能设备有很多,而这些智能设备获取到的数据的差异极大,在进行后续处理时,需要单独对不同智能设备的数据进行分析,待分析的数据复杂度较高,如何优化数据存储过程,对数据进行整合,便于工作人员分析是本发明技术方案想要解决的技术问题。
发明内容
本发明的目的在于提供一种多源数据转换处理方法及系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种多源数据转换处理方法,所述方法包括:
查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群;所述安装参数包括设备编号、设备类型、设备位置及数据结构;
建立所述数据库集群与智能设备的连接通道,实时获取传输数据;
对所述传输数据进行识别,确定传输数据的波动特征;所述波动特征由预设的标准数值表示;
根据所述波动特征实时生成与数据库集群对应的数据集。
作为本发明进一步的方案:所述查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群的步骤包括:
建立与仓库设计库的连接通道,读取仓库设计库中的仓库数据;
建立与设备管理库的连接通道,查询智能设备的安装参数;
根据仓库数据确定数据库集群的规模参数;
根据智能设备的安装参数确定数据库集群中各数据库的规模参数。
作为本发明进一步的方案:所述建立所述数据库集群与智能设备的连接通道,实时获取传输数据的步骤包括:
读取数据库集群中各数据库与智能设备的对应关系,基于所述对应关系建立连接通道;
基于连接通道定时获取传输数据,同步监测传输速度;
当所述传输速度达到预设的速度阈值时,基于预设的时域采集步长,以当前时刻为中心,统计传输速度数组;
根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密。
作为本发明进一步的方案:所述根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密的步骤包括:
计算所述传输速度数组的统计学特征,所述统计学特征包括速度均值和速度标准差;
将所述速度均值和所述速度标准差输入预设的加密函数,得到识别码;
根据所述识别码对传输数据进行加密,并记录加密的传输数据的时间特征。
作为本发明进一步的方案:所述对所述传输数据进行识别,确定传输数据的波动特征的步骤包括:
根据传输数据的时间信息建立传输曲线;
对传输曲线进行预设阶数的导数运算,得到以阶数为标签的导曲线;
将以阶数为标签的导曲线转换为图片,将图片输入预设的图像识别模型,定位极值区域;所述极值区域是以极值为中心的图片区域;
根据定位结果确定波动特征;
其中,所述图像识别模型为神经网络模型,神经网络模型的训练集由工作人员预先建立,所述图像识别模型的输入为图片,输入为波动特征,所述波动特征为方波信号。
作为本发明进一步的方案:所述根据所述波动特征实时生成与数据库集群对应的数据集的步骤包括:
根据预设的数据频率对波动特征进行简化,得到简化数组;
根据数据库集群中数据库的排列关系统计简化数组,得到数据集;
建立数据集中各列数据与数据库集群中各数据库的映射关系。
本发明技术方案还提供了一种多源数据转换处理系统,所述系统包括:
数据库建立模块,用于查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群;所述安装参数包括设备编号、设备类型、设备位置及数据结构;
传输数据获取模块,用于建立所述数据库集群与智能设备的连接通道,实时获取传输数据;
波动特征生成模块,用于对所述传输数据进行识别,确定传输数据的波动特征;所述波动特征由预设的标准数值表示;
数据集建立模块,用于根据所述波动特征实时生成与数据库集群对应的数据集。
作为本发明进一步的方案:所述数据库建立模块包括:
仓库数据读取单元,用于建立与仓库设计库的连接通道,读取仓库设计库中的仓库数据;
安装参数查询单元,用于建立与设备管理库的连接通道,查询智能设备的安装参数;
第一参数确定单元,用于根据仓库数据确定数据库集群的规模参数;
第二参数确定单元,用于根据智能设备的安装参数确定数据库集群中各数据库的规模参数。
作为本发明进一步的方案:所述传输数据获取模块包括:
通道建立单元,用于读取数据库集群中各数据库与智能设备的对应关系,基于所述对应关系建立连接通道;
速度监测单元,用于基于连接通道定时获取传输数据,同步监测传输速度;
数据统计单元,用于当所述传输速度达到预设的速度阈值时,基于预设的时域采集步长,以当前时刻为中心,统计传输速度数组;
数据加密单元,用于根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密。
作为本发明进一步的方案:所述波动特征生成模块包括:
曲线建立单元,用于根据传输数据的时间信息建立传输曲线;
导数运算单元,用于对传输曲线进行预设阶数的导数运算,得到以阶数为标签的导曲线;
识别执行单元,用于将以阶数为标签的导曲线转换为图片,将图片输入预设的图像识别模型,定位极值区域;所述极值区域是以极值为中心的图片区域;
结果处理单元,用于根据定位结果确定波动特征;
其中,所述图像识别模型为神经网络模型,神经网络模型的训练集由工作人员预先建立,所述图像识别模型的输入为图片,输入为波动特征,所述波动特征为方波信号。
与现有技术相比,本发明的有益效果是:本发明通过备案数据建立数据库集群,由数据库集群获取各智能设备采集到的数据,对采集到的数据进行识别,可以得到其波动特征,记录波动特征,生成与数据库集群对应的数据集;当工作人员存在数据分析需求时,通过数据集即可快速判断各数据库中数据的相关性,更加容易进行分类识别,优化了识别过程。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为多源数据转换处理方法的流程框图。
图2为多源数据转换处理方法的第一子流程框图。
图3为多源数据转换处理方法的第二子流程框图。
图4为多源数据转换处理方法的第三子流程框图。
图5为多源数据转换处理系统的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为多源数据转换处理方法的流程框图,本发明实施例中,一种多源数据转换处理方法,所述方法包括:
步骤S100:查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群;所述安装参数包括设备编号、设备类型、设备位置及数据结构;
现有的生产活动大都是智能化生产活动,智能化生产活动大都发生在智能化生产仓库中,所述智能化生产仓库中设备多个智能设备,这些智能设备是以微处理器为核心的数据采集处理系统,对于智能设备采集到的数据,本方法执行主体会进行存储;存储过程需要涉及到数据库,由于不同智能设备采集到的数据的格式不同,因此,数据库的数据处理接口是不同的,而多个数据库之间,又需要进行统计,因此,本方法通过建立数据库集群的方式,获取并存储各智能设备采集到的数据。
步骤S200:建立所述数据库集群与智能设备的连接通道,实时获取传输数据;
数据库集群建立完成后,数据库集群中的各个数据库与智能设备是对应的,建立数据库与智能设备之间的连接通道,基于连接通道即可获取传输数据。
步骤S300:对所述传输数据进行识别,确定传输数据的波动特征;所述波动特征由预设的标准数值表示;
对传输数据进行分析,可以得到其波动特征,比对波动特征,可以确定哪些智能设备的采集数据是相似的。
步骤S400:根据所述波动特征实时生成与数据库集群对应的数据集;
比对波动特征,可以得到与数据库集群对应的数据集,所述数据集可以直接反映出智能设备的相关情况,采集数据的相似度越高,相关度越高。
相关情况的作用是,在进行后续的数据处理时,可以快速地确定不同数据格式的数据是否统一分析,从而简化不同数据格式的数据的前置分析过程。
图2为多源数据转换处理方法的第一子流程框图,所述查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群的步骤包括:
步骤S101:建立与仓库设计库的连接通道,读取仓库设计库中的仓库数据;
在智能化仓库的设计伊始,会建立一个仓库设计库,仓库设计过程中产生的数据,均存储于仓库设计库中,包括各种二维图纸和三维图纸;建立与仓库设计库的连接通道,即可读取相应的仓库数据。
步骤S102:建立与设备管理库的连接通道,查询智能设备的安装参数;
智能设备在安装时,会进行备案,便于后续的运维管理,备案内容存储于设备管理库;安装参数主要包括智能设备的安装位置及其工作参数。
步骤S103:根据仓库数据确定数据库集群的规模参数;
一般情况下,智能化仓库的规模越大,产生的数据越多,因此,数据库集群的规模越大,用于统计智能化仓库内的所有数据。
步骤S104:根据智能设备的安装参数确定数据库集群中各数据库的规模参数。
数据库集群中的数据库与智能设备是对应的,智能设备的安装参数影响其对应的数据库的规模参数。
图3为多源数据转换处理方法的第二子流程框图,所述建立所述数据库集群与智能设备的连接通道,实时获取传输数据的步骤包括:
步骤S201:读取数据库集群中各数据库与智能设备的对应关系,基于所述对应关系建立连接通道;
步骤S202:基于连接通道定时获取传输数据,同步监测传输速度;
步骤S203:当所述传输速度达到预设的速度阈值时,基于预设的时域采集步长,以当前时刻为中心,统计传输速度数组;
步骤S204:根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密。
上述内容对传输数据的获取过程进行了设定,首先,要建立数据库集群中各数据库与智能设备的连接关系,也就是所述连接通道;然后,定时的截取采集数据的数据流,获取传输数据,监测传输速度;最后,对传输速度进行分析,当传输速度路够高时,就以达到速度阈值的那一刻为中心,预设的数值为时间步长,选取一些时间段,获取时间段内的传输速度,得到传输速度数组;将得到的传输速度数组输入预设的转换公式中,可以得到识别码;所述转换公式采用现有的数学计算公式即可。
作为本发明技术方案的一个优先实施例,所述根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密的步骤包括:
计算所述传输速度数组的统计学特征,所述统计学特征包括速度均值和速度标准差;
将所述速度均值和所述速度标准差输入预设的加密函数,得到识别码;
根据所述识别码对传输数据进行加密,并记录加密的传输数据的时间特征。
上述内容对由传输速度数组生成识别码的过程进行了限定,其重点在于,基于传输速度数组计算出速度均值和速度标准差,将速度均值和速度标准差作为因变量,输出识别码;根据识别码加密传输数据的过程较为容易,可以采用压缩式的加密,解压过程需要输入识别码。
在此基础上,对哪些传输数据进行加密,需要进行记录。
所述传输数据就是各智能设备采集到的数据在传输通道中的形式。
图4为多源数据转换处理方法的第三子流程框图,所述对所述传输数据进行识别,确定传输数据的波动特征的步骤包括:
步骤S301:根据传输数据的时间信息建立传输曲线;
步骤S302:对传输曲线进行预设阶数的导数运算,得到以阶数为标签的导曲线;
步骤S303:将以阶数为标签的导曲线转换为图片,将图片输入预设的图像识别模型,定位极值区域;所述极值区域是以极值为中心的图片区域;
步骤S304:根据定位结果确定波动特征;
其中,所述图像识别模型为神经网络模型,神经网络模型的训练集由工作人员预先建立,所述图像识别模型的输入为图片,输入为波动特征,所述波动特征为方波信号。
传输数据的波动特征可以仅由传输速度表示,也可以进行扩充,上述内容将波动特征的影响因素扩充为了多阶导数特征,其中,一阶导数特征就是所述传输速度;在此基础上,借助现有的识别技术,将多阶导数转换为图像后,对图像进行识别,判断各阶导曲线中是否存在异常拐点(极值区域),进而确定波动特征。
图5为多源数据转换处理系统的组成结构框图,所述根据所述波动特征实时生成与数据库集群对应的数据集的步骤包括:
步骤S401:根据预设的数据频率对波动特征进行简化,得到简化数组;
步骤S402:根据数据库集群中数据库的排列关系统计简化数组,得到数据集;
步骤S403:建立数据集中各列数据与数据库集群中各数据库的映射关系。
对于波动特征,需要具体的举例说明,参考上述内容,波动特征为方波信号,也即,跳变信号,对于一阶导数特征,不同时刻的传输速度不同,根据其数值大小,可以得到跳变信号,跳变信号的频率很高,通过不同的数据频率可以对跳变信号进行筛选,进而得到简化数组;根据数据库集群中数据库的排列关系统计简化数组,可以得到数据集;简化数组相当于数据集中的一列数据,一列数据对应一个传输通道,对应数据库集群中的一个数据库。
在本发明技术方案的一个优选实施例中,提供了一种多源数据转换处理系统,所述系统包括:
数据库建立模块,用于查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群;所述安装参数包括设备编号、设备类型、设备位置及数据结构;
传输数据获取模块,用于建立所述数据库集群与智能设备的连接通道,实时获取传输数据;
波动特征生成模块,用于对所述传输数据进行识别,确定传输数据的波动特征;所述波动特征由预设的标准数值表示;
数据集建立模块,用于根据所述波动特征实时生成与数据库集群对应的数据集。
其中,所述数据库建立模块包括:
仓库数据读取单元,用于建立与仓库设计库的连接通道,读取仓库设计库中的仓库数据;
安装参数查询单元,用于建立与设备管理库的连接通道,查询智能设备的安装参数;
第一参数确定单元,用于根据仓库数据确定数据库集群的规模参数;
第二参数确定单元,用于根据智能设备的安装参数确定数据库集群中各数据库的规模参数。
进一步的,所述传输数据获取模块包括:
通道建立单元,用于读取数据库集群中各数据库与智能设备的对应关系,基于所述对应关系建立连接通道;
速度监测单元,用于基于连接通道定时获取传输数据,同步监测传输速度;
数据统计单元,用于当所述传输速度达到预设的速度阈值时,基于预设的时域采集步长,以当前时刻为中心,统计传输速度数组;
数据加密单元,用于根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密。
具体的,所述波动特征生成模块包括:
曲线建立单元,用于根据传输数据的时间信息建立传输曲线;
导数运算单元,用于对传输曲线进行预设阶数的导数运算,得到以阶数为标签的导曲线;
识别执行单元,用于将以阶数为标签的导曲线转换为图片,将图片输入预设的图像识别模型,定位极值区域;所述极值区域是以极值为中心的图片区域;
结果处理单元,用于根据定位结果确定波动特征;
其中,所述图像识别模型为神经网络模型,神经网络模型的训练集由工作人员预先建立,所述图像识别模型的输入为图片,输入为波动特征,所述波动特征为方波信号。
上述多源数据转换处理方法所能实现的功能均由计算机设备完成,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现所述多源数据转换处理方法的功能。
处理器从存储器中逐条取出指令、分析指令,然后根据指令要求完成相应操作,产生一系列控制命令,使计算机各部分自动、连续并协调动作,成为一个有机的整体,实现程序的输入、数据的输入以及运算并输出结果,这一过程中产生的算术运算或逻辑运算均由运算器完成;所述存储器包括只读存储器(Read-Only Memory,ROM),所述只读存储器用于存储计算机程序,所述存储器外部设有保护装置。
示例性的,计算机程序可以被分割成一个或多个模块,一个或者多个模块被存储在存储器中,并由处理器执行,以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程。
本领域技术人员可以理解,上述服务设备的描述仅仅是示例,并不构成对终端设备的限定,可以包括比上述描述更多或更少的部件,或者组合某些部件,或者不同的部件,例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,上述处理器是上述终端设备的控制中心,利用各种接口和线路连接整个用户终端的各个部分。
上述存储器可用于存储计算机程序和/或模块,上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等;存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例系统中的全部或部分模块/单元,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个系统实施例的功能。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种多源数据转换处理方法,其特征在于,所述方法包括:
查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群;所述安装参数包括设备编号、设备类型、设备位置及数据结构;
建立所述数据库集群与智能设备的连接通道,实时获取传输数据;
对所述传输数据进行识别,确定传输数据的波动特征;所述波动特征由预设的标准数值表示;
根据所述波动特征实时生成与数据库集群对应的数据集。
2.根据权利要求1所述的多源数据转换处理方法,其特征在于,所述查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群的步骤包括:
建立与仓库设计库的连接通道,读取仓库设计库中的仓库数据;
建立与设备管理库的连接通道,查询智能设备的安装参数;
根据仓库数据确定数据库集群的规模参数;
根据智能设备的安装参数确定数据库集群中各数据库的规模参数。
3.根据权利要求1所述的多源数据转换处理方法,其特征在于,所述建立所述数据库集群与智能设备的连接通道,实时获取传输数据的步骤包括:
读取数据库集群中各数据库与智能设备的对应关系,基于所述对应关系建立连接通道;
基于连接通道定时获取传输数据,同步监测传输速度;
当所述传输速度达到预设的速度阈值时,基于预设的时域采集步长,以当前时刻为中心,统计传输速度数组;
根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密。
4.根据权利要求3所述的多源数据转换处理方法,其特征在于,所述根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密的步骤包括:
计算所述传输速度数组的统计学特征,所述统计学特征包括速度均值和速度标准差;
将所述速度均值和所述速度标准差输入预设的加密函数,得到识别码;
根据所述识别码对传输数据进行加密,并记录加密的传输数据的时间特征。
5.根据权利要求1所述的多源数据转换处理方法,其特征在于,所述对所述传输数据进行识别,确定传输数据的波动特征的步骤包括:
根据传输数据的时间信息建立传输曲线;
对传输曲线进行预设阶数的导数运算,得到以阶数为标签的导曲线;
将以阶数为标签的导曲线转换为图片,将图片输入预设的图像识别模型,定位极值区域;所述极值区域是以极值为中心的图片区域;
根据定位结果确定波动特征;
其中,所述图像识别模型为神经网络模型,神经网络模型的训练集由工作人员预先建立,所述图像识别模型的输入为图片,输入为波动特征,所述波动特征为方波信号。
6.根据权利要求1所述的多源数据转换处理方法,其特征在于,所述根据所述波动特征实时生成与数据库集群对应的数据集的步骤包括:
根据预设的数据频率对波动特征进行简化,得到简化数组;
根据数据库集群中数据库的排列关系统计简化数组,得到数据集;
建立数据集中各列数据与数据库集群中各数据库的映射关系。
7.一种多源数据转换处理系统,其特征在于,所述系统包括:
数据库建立模块,用于查询仓库的仓库数据及智能设备的安装参数,根据所述仓库数据和所述安装参数建立数据库集群;所述安装参数包括设备编号、设备类型、设备位置及数据结构;
传输数据获取模块,用于建立所述数据库集群与智能设备的连接通道,实时获取传输数据;
波动特征生成模块,用于对所述传输数据进行识别,确定传输数据的波动特征;所述波动特征由预设的标准数值表示;
数据集建立模块,用于根据所述波动特征实时生成与数据库集群对应的数据集。
8.根据权利要求7所述的多源数据转换处理系统,其特征在于,所述数据库建立模块包括:
仓库数据读取单元,用于建立与仓库设计库的连接通道,读取仓库设计库中的仓库数据;
安装参数查询单元,用于建立与设备管理库的连接通道,查询智能设备的安装参数;
第一参数确定单元,用于根据仓库数据确定数据库集群的规模参数;
第二参数确定单元,用于根据智能设备的安装参数确定数据库集群中各数据库的规模参数。
9.根据权利要求7所述的多源数据转换处理系统,其特征在于,所述传输数据获取模块包括:
通道建立单元,用于读取数据库集群中各数据库与智能设备的对应关系,基于所述对应关系建立连接通道;
速度监测单元,用于基于连接通道定时获取传输数据,同步监测传输速度;
数据统计单元,用于当所述传输速度达到预设的速度阈值时,基于预设的时域采集步长,以当前时刻为中心,统计传输速度数组;
数据加密单元,用于根据所述传输速度数组生成识别码,根据识别码对传输数据进行加密。
10.根据权利要求7所述的多源数据转换处理系统,其特征在于,所述波动特征生成模块包括:
曲线建立单元,用于根据传输数据的时间信息建立传输曲线;
导数运算单元,用于对传输曲线进行预设阶数的导数运算,得到以阶数为标签的导曲线;
识别执行单元,用于将以阶数为标签的导曲线转换为图片,将图片输入预设的图像识别模型,定位极值区域;所述极值区域是以极值为中心的图片区域;
结果处理单元,用于根据定位结果确定波动特征;
其中,所述图像识别模型为神经网络模型,神经网络模型的训练集由工作人员预先建立,所述图像识别模型的输入为图片,输入为波动特征,所述波动特征为方波信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310612703.9A CN116595083A (zh) | 2023-05-24 | 2023-05-24 | 一种多源数据转换处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310612703.9A CN116595083A (zh) | 2023-05-24 | 2023-05-24 | 一种多源数据转换处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116595083A true CN116595083A (zh) | 2023-08-15 |
Family
ID=87595343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310612703.9A Pending CN116595083A (zh) | 2023-05-24 | 2023-05-24 | 一种多源数据转换处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116595083A (zh) |
-
2023
- 2023-05-24 CN CN202310612703.9A patent/CN116595083A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108959187B (zh) | 一种变量分箱方法、装置、终端设备及存储介质 | |
US11256737B2 (en) | Image retrieval methods and apparatuses, devices, and readable storage media | |
CN111400367B (zh) | 业务报告生成方法、装置、计算机设备和存储介质 | |
CN110674360B (zh) | 一种用于数据的溯源方法和系统 | |
CN110956269A (zh) | 数据模型的生成方法、装置、设备以及计算机存储介质 | |
CN114414935A (zh) | 基于大数据的配电网馈线故障区域自动化定位方法和系统 | |
CN116506223A (zh) | 一种协同式网络防护方法及系统 | |
US20230177267A1 (en) | Automated classification and interpretation of life science documents | |
CN114581442A (zh) | 用于mes系统的产品检测方法及装置 | |
CN116737975A (zh) | 应用于图像分析的公共卫生数据查询方法及系统 | |
CN110704445A (zh) | 工业数据湖系统 | |
CN112596723B (zh) | 数据库脚本生成方法、装置、设备及介质 | |
CN107256167B (zh) | 应用于应用系统迁移的升级控制方法及升级控制设备 | |
CN113886627A (zh) | 一种基于信息同步的移动通信系统 | |
CN115633321B (zh) | 一种无线通信网络监控方法及系统 | |
CN116127105B (zh) | 一种大数据平台的数据汇集方法及装置 | |
CN116052848B (zh) | 一种医学成像质控的数据编码方法及系统 | |
CN116208465A (zh) | 一种电力信息通信状况智能监测预警方法及系统 | |
CN116595083A (zh) | 一种多源数据转换处理方法及系统 | |
CN115620317A (zh) | 一种电子工程文档真实性验证方法和系统 | |
CN115829337A (zh) | 一种存储区风险预警方法及系统 | |
CN111222739B (zh) | 核电站的任务分配方法及核电站的任务分配系统 | |
CN116738396B (zh) | 基于人工智能的勘界标准文档录入方法及系统 | |
CN116072282B (zh) | 用于ct设备的远程智能检测分析方法及系统 | |
US20230342668A1 (en) | Systems and methods for providing automated data science as a service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |