CN111314707A - 数据映射识别方法、装置、设备及可读存储介质 - Google Patents
数据映射识别方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111314707A CN111314707A CN202010058851.7A CN202010058851A CN111314707A CN 111314707 A CN111314707 A CN 111314707A CN 202010058851 A CN202010058851 A CN 202010058851A CN 111314707 A CN111314707 A CN 111314707A
- Authority
- CN
- China
- Prior art keywords
- data
- compressed image
- mapping
- image
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013506 data mapping Methods 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 100
- 230000006835 compression Effects 0.000 claims abstract description 42
- 238000007906 compression Methods 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 230000010365 information processing Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 27
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明公开了一种数据映射识别方法、装置、设备及介质，所述数据映射识别方法通过将原始数据进行映射编排，对原始数据进行预处理，便于后续的压缩处理；通过将第一映射位图进行编码压缩，在不影响采集数据的所带来的各项分析需求的前提下，数据一次压缩之后占用空间缩小为20％以下，降低了对传输带宽、云端存储空间的要求；通过在第一压缩图像的数据量超出预设阈值时基于预设图像识别模型再次进行压缩并上传，进一步减小了原始数据的数据量，有效降低了边缘侧计算能力的需求，较之传统的数据上传方式传输资源消耗大大减少。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据映射识别方法、装置、设备及可读存储介质。
背景技术
随着物联网行业的快速发展，边缘侧数据采集节点的数目也随之不断增长，海量的边缘侧数据不断涌现，因此也对边缘侧设备的数据计算、数据存储与数据传输提出了更高的性能需求。这些性能需求要求边缘侧设备提供更高的算力，也就意味着满足这些需求需要重新部署或硬件升级传统的边缘侧设备。若将边缘侧设备采集到的原始数据按照传统模式全部上传至平台，如采用运营商网络4G传输，数据传输的成本高且效率低，典型的就是音响数据的采集和处理，也即是导致了通过传统方式上传边缘侧设备所采集数据的传输资源消耗过大的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据映射识别方法，旨在解决通过传统方式上传边缘侧设备所采集数据的传输资源消耗过大的技术问题。
为实现上述目的，本发明提供一种数据映射识别方法，所述数据映射识别方法应用于数据映射识别设备，所述数据映射识别方法包括以下步骤：
将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；
将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；
若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；
基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备；
若不超出预设阈值，则将所述第一压缩图像上传至所述目标平台设备。
可选地，所述若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别的步骤之前，还包括：
基于预设历史数据生成图像编号映射表；
使用预设人工智能算法对所述图像编号映射表进行有监督学习方式的训练，将训练所得出的参数模型作为所述已训练的图像识别模型。
可选地，所述已训练的图像识别模型为神经网络参数模型，所述基于预设已训练的图像识别模型对所述第一压缩图像进行识别的步骤包括：
利用所述神经网络参数模型识别出所述第一压缩图像所对应的图像信息编号；
根据所述图像信息编号进行信息确认，并对所述第一压缩图像执行与图像信息相应的信息处理操作。
可选地，所述基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备的步骤包括：
将所述图像信息编号进行分组；
按照所述图像信息编号的分组顺序，将所述处理后的第一压缩图像进行映射编排，生成第二映射位图；
使用JPEG图像压缩编码算法对所述第二映射位图进行编码压缩，生成所述第二压缩图像，并将所述第二压缩图像上传至目标平台设备。
可选地，所述将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图的步骤包括：
根据预设最小单位字节长度对边缘侧设备采集的原始数据进行分组，生成多组子原始数据；
将每组子原始数据映射为多个像素点，根据所述原始数据的数据排列顺序对所述像素点进行编排，生成所述第一映射位图。
可选地，所述将所述第一映射位图编码压缩为第一压缩图像的步骤包括：
使用JPEG图像压缩编码算法，对所述第一映射位图以无损压缩方式进行编码压缩，生成所述第一压缩图像。
可选地，所述将所述第二压缩图像上传至目标平台设备的步骤之前，还包括：
将所述第二压缩图像替换所述原始数据进行存储。
此外，为实现上述目的，本发明还提供一种数据映射识别装置，所述数据映射识别装置包括：
数据映射编排模块，用于将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；
压缩数据判断模块，用于将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；
第一图像识别模块，用于若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；
第二图像上传模块，用于基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备；
第一图像上传模块，用于若不超出预设阈值，则将所述第一压缩图像上传至所述目标平台设备。
此外，为实现上述目的，本发明还提供一种数据映射识别设备，所述数据映射识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据映射识别程序，所述数据映射识别程序被所述处理器执行时实现如上述的数据映射识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据映射识别程序，所述数据映射识别程序被处理器执行时实现如上述的数据映射识别方法的步骤。
本发明提供一种数据映射识别方法、装置、设备及计算机可读存储介质。所述数据映射识别方法通过将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备。通过上述方式，本发明通过将原始数据进行映射编排，对原始数据进行预处理，便于后续的压缩处理；通过将第一映射位图进行编码压缩，在不影响采集数据的所带来的各项分析需求的前提下，数据一次压缩之后占用空间缩小为20％以下，降低了对传输带宽、云端存储空间的要求；通过将不超出预设阈值的第一压缩图像代替原始数据上传至目标平台设备，节省了传输资源，提升了传输效率；通过在第一压缩图像的数据量超出预设阈值时基于预设图像识别模型再次进行压缩并上传，进一步减小了原始数据的数据量，有效降低了边缘侧计算能力的需求，较之传统的数据上传方式传输资源消耗大大减少，从而解决了通过传统方式上传边缘侧设备所采集数据的传输资源消耗过大的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明数据映射识别方法第一实施例的流程示意图；
图3为本发明数据映射识别方法的数据处理流程示意图；
图4为本发明数据映射识别方法的具体实施例的流程示意图；
图5为本发明装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据映射识别程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据映射识别程序，并执行以下操作：
将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；
将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；
若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；
基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备；
若不超出预设阈值，则将所述第一压缩图像上传至所述目标平台设备。
进一步地，处理器1001可以调用存储器1005中存储的数据映射识别程序，还执行以下操作：
基于预设历史数据生成图像编号映射表；
使用预设人工智能算法对所述图像编号映射表进行有监督学习方式的训练，将训练所得出的参数模型作为所述已训练的图像识别模型。
进一步地，处理器1001可以调用存储器1005中存储的数据映射识别程序，还执行以下操作：
利用所述神经网络参数模型识别出所述第一压缩图像所对应的图像信息编号；
根据所述图像信息编号进行信息确认，并对所述第一压缩图像执行与图像信息相应的信息处理操作。
进一步地，处理器1001可以调用存储器1005中存储的数据映射识别程序，还执行以下操作：
将所述图像信息编号进行分组；
按照所述图像信息编号的分组顺序，将所述处理后的第一压缩图像进行映射编排，生成第二映射位图；
使用JPEG图像压缩编码算法对所述第二映射位图进行编码压缩，生成所述第二压缩图像，并将所述第二压缩图像上传至目标平台设备。
进一步地，处理器1001可以调用存储器1005中存储的数据映射识别程序，还执行以下操作：
根据预设最小单位字节长度对边缘侧设备采集的原始数据进行分组，生成多组子原始数据；
将每组子原始数据映射为多个像素点，根据所述原始数据的数据排列顺序对所述像素点进行编排，生成所述第一映射位图。
进一步地，处理器1001可以调用存储器1005中存储的数据映射识别程序，还执行以下操作：
使用JPEG图像压缩编码算法，对所述第一映射位图以无损压缩方式进行编码压缩，生成所述第一压缩图像。
进一步地，处理器1001可以调用存储器1005中存储的数据映射识别程序，还执行以下操作：
将所述第二压缩图像替换所述原始数据进行存储。
基于上述硬件结构，提出本发明数据映射识别方法的各个实施例。
参照图2，图2为数据映射识别方法第一实施例的流程示意图。
随着物联网行业的快速发展，边缘侧数据采集节点的数目也随之不断增长，海量的边缘侧数据不断涌现，因此也对边缘侧设备的数据计算、数据存储与数据传输提出了更高的性能需求。这些性能需求要求边缘侧设备提供更高的算力，也就意味着满足这些需求需要重新部署或硬件升级传统的边缘侧设备，时间与成本的消耗较高。
在传统监控行业主要采集的数据为温度、湿度、压力等传统的环境数据。这些数据具有时间维度变换的标量特性，数据量巨大，需要根据数据结果以及数据趋势进行结果分析并判定，而其原始数据对于业务流程的最终分析结果没有直接意义，也即是原始数据须经过处理转化为信息后才具有实际意义。以常规的边缘数据采集网关为例进行数据计算：连接256路边缘采集设备，每路采集设备按照32测点计算。每一测点以浮点型进行标记，占位8byte＝64bit。采集速度以分钟级计算，每1分钟有512k数据产生，也即是数据的流速为8.3kbps。每小时产生30Mbit数据，每天产生720Mbit数据，每月产生21G左右的数据。对于边缘侧设备，体积小、功耗小、成本低、部署灵活等特点决定了边缘侧设备的处理能力、存储能力、传输能力在设计时都有一定的约束。以上述数据量计算：实时处理8.3kbps的数据要求的计算资源比较大，6个月合计需要120G左右的存储空间。在120G左右的数据中进行快速查询对边缘侧设备压力巨大。如果边缘侧设备将采集到的原始数据全部传至平台，如采用运营商网络4G传输，资费巨大，采用有线wifi等网络会限制边缘设备的应用场景，也即是导致了通过传统方式上传边缘侧设备所采集数据的传输资源消耗过大的技术问题。
在本实施例中，为解决上述问题，本发明提供一种数据映射识别方法，即通过将原始数据进行映射编排，对原始数据进行预处理，便于后续的压缩处理；通过将第一映射位图进行编码压缩，极大减小了原始数据的数据量，同时减小了在边缘侧设备中存储空间的占用；利用识别算法对压缩图像进行识别分析并传输至平台，有效降低了边缘侧计算能力的需求，较之传统的数据上传方式传输资源消耗大大减少，从而解决了通过传统方式上传边缘侧设备所采集数据的传输资源消耗过大的技术问题。所述数据映射识别方法应用于边缘侧设备，具体可为边缘数据采集网关等。
本发明第一实施例提供一种数据映射识别方法，所述数据映射识别方法包括以下步骤：
步骤S10，将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；
其中，第一映射位图为原始数据经一次映射编排后生成的RGB图像。
在本实施例中，边缘侧设备实时采集数据，并将采集到的原始数据分组进行映射编排，生成映射后的RGB图像，也即是上述的第一映射位图。具体地，如图3所示，设定边缘侧设备每分钟内采集到的原始数据的数据量为512kbit也即是64kByte，按256*32*8进行分组，分为256组测点数据。边缘侧设备将各测点数据中每8Byte数据进行R、G、B三组进行映射，共计映射3个像素点，每个像素点分为R、G、B，映射结果如下：RGBRGBRGX，其中X为常量。原始数据的数据量变为256*32*9Byte也即是576kbit，映射RGB图像的大小为256*32*3也即是256*96像素。
步骤S20，将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；
其中，第一压缩图像为第一映射位图经压缩后所生成的压缩图像。预设阈值可根据实际需求灵活设定，本实施例对此不做具体限制。
在本实施例中，边缘侧设备将原始数据经过映射编排后生成的第一映射位图进行编码压缩，生成压缩图像。具体地，如图3与图4所示，边缘侧设备可采用JPEG图像压缩编码算法，对数据量为256*96的映射RGB图像采用无损压缩方式进行编码压缩，压缩比例可达到5：1--20：1，此时原先的数据量可压缩成为110k--28k大小的第一压缩图像。
步骤S30，若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；
在本实施例中，可以理解的是，在步骤S30之前，还需训练得到用于识别第一压缩图像的图像识别模型。边缘侧设备可根据已训练的图像识别模型识别第一压缩图像。具体地，如图4所示，可将多次采集的历史数据作为初始的训练数据。边缘侧设备将历史数据进行数据映射编排，生成历史映射位图，再对历史映射位图进行编码压缩，生成历史压缩图像。人工对历史压缩图像所表示的图像信息进行编号，并将此历史压缩图像编号输入边缘侧设备。边缘侧设备接收到与各历史压缩图像对应的图形信息编号时，将历史压缩图像与其所对应的信息编号一一对应，再通过有监督学习的方式，并利用如卷积神经网络(CNN，Convolutional Neural Networks)、循环神经网络(RNN，Recurrent Neural Network)等人工智能学习算法对历史压缩图像与信息编号进行训练，训练得出可预测压缩图像的信息编号的参数模型。边缘侧设备可利用训练所得的参数模型对上述第一压缩图像进行图像识别，得到对应的信息编号。另外，如图4所示，若第一压缩图像未超出预设阈值，则可直接将第一压缩图像进行上传。
步骤S40，基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备；
其中，第二压缩图像为第一压缩图像再经过一次或多次压缩后所生成的压缩图像。
在本实施例中，边缘侧设备对经过参数模型识别后的第一压缩图像再次进行映射编排，并编码压缩，直至压缩后的数据量不超出预设阈值时，边缘侧设备即可将当前的压缩图像上传至目标平台设备。需要说明的是，本实施例对得到第二压缩图像所需进行压缩操作的次数不做具体限制。具体地，如图3与图4所示，边缘侧算法根据图像识别算法所训练出的参数模型对第一压缩图像的信息编号进行判决，并将根据判决结果生成对应的信息编号。边缘侧设备将信息编号进行分组，并根据多组信息编号对第一压缩图像进行映射编排，生成第二映射位图。例如，边缘侧设备一天采集的原始数据的数据量由编排前的512k*60*24bit转换成64*60*24bit，其中，512k为每分钟采集的数据量，60表示每小时60分钟，24表示每天24小时；再进行RGB编排，由64*60*24bit变成3*3*8*60*24bit，其中，前一个3表示每8Byte数据所映射像素点个数，后一个3表示R、G、B，8表示一组数据有8Byte，60表示每小时60分钟，24表示每天24小时。也即是数据量由720Mb转换成为103kbit。再将第二映射位图利用JPEG图像编码压缩算法再次进行无损编码，压缩比为5：1--20：1，数据量可由之前的103kbit压缩为20kb-5kb。边缘侧设备经检测后判定压缩后的数据量不超出预设阈值，即可将当前的压缩图像作为第二压缩图像，并将第二压缩图像替换原始数据进行本地存储，并上传至目标平台设备。
步骤S50，若不超出预设阈值，则将所述第一压缩图像上传至所述目标平台设备。
在本实施例中，若边缘侧设备经检测后判定第一压缩图像的数据量小于或等于预设阈值，则可直接将第一压缩图像上传到目标平台设备，以完成数据传输，同时大大减小了传输资源的消耗。
本发明提供一种数据映射识别方法。所述数据映射识别方法通过将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备。通过上述方式，本发明通过将原始数据进行映射编排，对原始数据进行预处理，便于后续的压缩处理；通过将第一映射位图进行编码压缩，在不影响采集数据的所带来的各项分析需求的前提下，数据一次压缩之后占用空间缩小为20％以下，降低了对传输带宽、云端存储空间的要求；通过将不超出预设阈值的第一压缩图像代替原始数据上传至目标平台设备，节省了传输资源，提升了传输效率；通过在第一压缩图像的数据量超出预设阈值时基于预设图像识别模型再次进行压缩并上传，进一步减小了原始数据的数据量，有效降低了边缘侧计算能力的需求，较之传统的数据上传方式传输资源消耗大大减少，从而解决了通过传统方式上传边缘侧设备所采集数据的传输资源消耗过大的技术问题。
图中未示的，基于上述图2所示的第一实施例，提出本发明数据映射识别方法第二实施例。在本实施例中，步骤S30之前，还包括：
步骤a，基于预设历史数据生成图像编号映射表；
在本实施例中，技术人员将边缘侧设备在先前若干次采集到的数据作为历史数据，并人工将历史数据所代表的信息，例如有无故障、故障类型等信息进行编号，以64bit为编号总数，生成历史信息编号，并将历史信息编号输入到边缘侧设备。边缘侧设备将各历史信息编号与历史数据所对应的各历史压缩图像一一对应，生成每一历史压缩图像与每一历史信息编号的对照表，也即是上述图像编号映射表。
步骤b，使用预设人工智能算法对所述图像编号映射表进行有监督学习方式的训练，将训练所得出的参数模型作为所述已训练的图像识别模型。
其中，预设人工智能算法可为神经网络算法、决策树算法、随机森林算法等。有监督学习的方式为用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本的机器学习方式。
在本实施例中，边缘侧设备采用有监督学习的方式，将历史压缩图像作为输入数据，其对应的信息编号作为标签，也即是将图像编号映射表作为训练样本集，使用神经网络、决策树、随机森林等人工智能算法进行训练。将训练可得出用于预测边缘侧设备实时采集的数据所对应信息编号的参数模型。
进一步地，在本实施例中，步骤S30包括：
步骤c，利用所述神经网络参数模型识别出所述第一压缩图像所对应的图像信息编号；
在本实施例中，上述用于监督学习的人工智能算法为神经网络算法，如CNN、RNN等。在步骤c之前，边缘侧设备已采用神经网络算法根据历史数据与其对应信息编号训练出神经网络参数模型。边缘侧设备利用神经网络参数模型对实时采集的原始数据转化的第一压缩图像输入神经网络参数模型，并获得模型预测的第一压缩图像所对应的图像信息编号。
步骤d，根据所述图像信息编号进行信息确认，并对所述第一压缩图像执行与图像信息相应的信息处理操作。
在本实施例中，边缘侧设备根据模型所预测的图像信息编号，对第一压缩图像进行信息确认，例如确认数据所代表的有无故障、故障类型等信息是否对应有正确的编号。边缘侧设备还根据预测的图像信息编号对第一压缩图像执行相应的信息处理操作。
进一步地，在本实施例中，步骤S40包括：
步骤e，将所述图像信息编号进行分组；
在本实施例中，可以理解的是，若边缘侧设备实时采集的原始数据的数据量较大，可对其进行二次压缩，以进一步减小原始数据的数据量。边缘侧设备对处理后的压缩图像的数据量进行检测，若小于预设阈值，则可代替原始数据进行存储并上传；若超出预设阈值，则需对其进行二次压缩。边缘侧设备先对预测出的多个图像信息编号按照时间维度进行分组。具体地，可将每分钟的数据作为一组，假设边缘侧设备每分钟采集数据量为512kbit的数据，则512k*60*24bit即为一天的数据量。
步骤f，按照所述图像信息编号的分组顺序，将所述处理后的压缩图像进行映射编排，生成第二映射位图；
其中，第二映射位图为原始数据经两次或多次映射编排后生成的RGB图像。
在本实施例中，边缘侧设备采用步骤S10中的映射方式，将压缩图像与分组后的图像信息编号进行映射。边缘侧设备根据图像编号的分组顺序，再次将处理后的压缩图像每8Byte进行R、G、B三组映射，生成第一映射位图。
步骤g，使用JPEG图像压缩编码算法对所述第二映射位图进行编码压缩，生成所述第二压缩图像，并将所述第二压缩图像上传至目标平台设备。
在本实施例中，边缘侧设备使用JPEG图像压缩编码算法对第二映射位图进行无损编码压缩，压缩比可为5：1--20：1。压缩后生成的第二压缩图像即可将其上传至目标平台设备。具体地，边缘侧设备根据JPEG图像压缩编码算法需对第二映射位图进行分块、小波变换、量化、最佳截断嵌入码块编码(EBCOT，embedded block coding with optimizedtruncation)等操作。另外，二次压缩后的数据还可作为历史数据用于图像识别算法的训练以及后期的查验。
本发明提供一种数据映射识别方法。所述数据映射识别方法进一步通过预设人工智能算法对历史数据继续训练，能够训练出具有预测功能的参数模型，为第一压缩图像的二次映射编排提供了条件；利用训练好的参数模型识别第一压缩图像，识别得出的信息编号对应的信息可达到与直接对原始数据分析产生同样的结果；通过对第一压缩图像进行二次映射编排及压缩，近一步减小了数据量，从而大大减小了传输时所需要的传输资源，同时也降低了对传输带宽、云端存储空间的要求。
图中未示的，基于上述图2所示的第一实施例，提出本发明数据映射识别方法第三实施例。在本实施例中，步骤S10包括：
步骤h，根据预设最小单位字节长度对边缘侧设备采集的原始数据进行分组，生成多组子原始数据；
其中，预设最小单位字长为8Byte。
在本实施例中，边缘侧设备以8Byte为最小单位划分原始数据。具体地，边缘侧设备将每分钟内采集的数据量为512kbit也即是64kByte的数据按照256*32*8进行分组。
步骤i，将每组子原始数据映射为多个像素点，根据所述原始数据的数据排列顺序对所述像素点进行编排，生成所述第一映射位图。
在本实施例中，沿用步骤i中具体实施例的设定。边缘侧设备将每8Byte的子原始数据数据进行R、G、B三组进行映射，共计映射3个像素点，每个像素点分为R、G、B。映射结果如下：RGBRGBRGX，其中X为常量。每分钟内采集数据的数据量变为256*32*9Byte也即是576kbit，映射后的第一映射位图的大小为256*32*3也即是256*96像素。
进一步地，在本实施例中，步骤S20包括：
步骤j，使用JPEG图像压缩编码算法，对所述第一映射位图以无损压缩方式进行编码压缩，生成所述第一压缩图像。
在本实施例中，边缘侧设备使用JPEG图像压缩编码算法对第一映射位图通过无损压缩的方式进行编码压缩，生成第一压缩图像。具体地，压缩比例可达到5：1--20：1，256*96像素的第一映射位图可压缩至110k--28k大小的第一压缩图像。。
进一步地，在本实施例中，步骤S40之前，还包括：
步骤k，将所述第二压缩图像替换所述原始数据进行存储。
在本实施例中，边缘侧设备可将第二压缩图像代替其对应的原始数据存储在本地，用于数据的长时间保存，以减少存储空间占用。
本发明提供一种数据映射识别方法。所述数据映射识别方法进一步通过将原始数据分组并映射为像素点并生成映射位图，便于后续的压缩步骤；通过以第二压缩图像代替原始数据存储在本地，极大程度上减小了本地存储空间的占用。
本发明还提供一种数据映射识别装置。
所述数据映射识别装置包括：
数据映射编排模块，用于将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；
压缩数据判断模块，用于将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；
第一图像识别模块，用于若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；
第二图像上传模块，用于基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备；
第一图像上传模块，用于若不超出预设阈值，则将所述第一压缩图像上传至所述目标平台设备。
本发明还提供一种数据映射识别设备。
所述数据映射识别设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的数据映射识别程序，其中所述数据映射识别程序被所述处理器执行时，实现如上所述的数据映射识别方法的步骤。
其中，所述数据映射识别程序被执行时所实现的方法可参照本发明数据映射识别方法的各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有数据映射识别程序，所述数据映射识别程序被处理器执行时实现如上所述的数据映射识别方法的步骤。
其中，所述数据映射识别程序被执行时所实现的方法可参照本发明数据映射识别方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据映射识别方法，其特征在于，所述数据映射识别方法包括：
将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；
将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；
若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；
基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备；
若不超出预设阈值，则将所述第一压缩图像上传至所述目标平台设备。
2.如权利要求1所述的数据映射识别方法，其特征在于，所述若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别的步骤之前，还包括：
基于预设历史数据生成图像编号映射表；
使用预设人工智能算法对所述图像编号映射表进行有监督学习方式的训练，将训练所得出的参数模型作为所述已训练的图像识别模型。
3.如权利要求2所述的数据映射识别方法，其特征在于，所述已训练的图像识别模型为神经网络参数模型，所述基于预设已训练的图像识别模型对所述第一压缩图像进行识别的步骤包括：
利用所述神经网络参数模型识别出所述第一压缩图像所对应的图像信息编号；
根据所述图像信息编号进行信息确认，并对所述第一压缩图像执行与图像信息相应的信息处理操作。
4.如权利要求3所述的数据映射识别方法，其特征在于，所述基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备的步骤包括：
将所述图像信息编号进行分组；
按照所述图像信息编号的分组顺序，将所述处理后的第一压缩图像进行映射编排，生成第二映射位图；
使用JPEG图像压缩编码算法对所述第二映射位图进行编码压缩，生成所述第二压缩图像，并将所述第二压缩图像上传至目标平台设备。
5.如权利要求1所述的数据映射识别方法，其特征在于，所述将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图的步骤包括：
根据预设最小单位字节长度对边缘侧设备采集的原始数据进行分组，生成多组子原始数据；
将每组子原始数据映射为多个像素点，根据所述原始数据的数据排列顺序对所述像素点进行编排，生成所述第一映射位图。
6.如权利要求5所述的数据映射识别方法，其特征在于，所述将所述第一映射位图编码压缩为第一压缩图像的步骤包括：
使用JPEG图像压缩编码算法，对所述第一映射位图以无损压缩方式进行编码压缩，生成所述第一压缩图像。
7.如权利要求1所述的数据映射识别方法，其特征在于，所述将所述第二压缩图像上传至目标平台设备的步骤之前，还包括：
将所述第二压缩图像替换所述原始数据进行存储。
8.一种数据映射识别装置，其特征在于，所述数据映射识别装置包括：
数据映射编排模块，用于将边缘侧设备采集的原始数据进行映射编排，生成第一映射位图；
压缩数据判断模块，用于将所述第一映射位图编码压缩为第一压缩图像，并判断所述第一压缩图像的数据量是否超出预设阈值；
第一图像识别模块，用于若超出预设阈值，则基于预设已训练的图像识别模型对所述第一压缩图像进行识别；
第二图像上传模块，用于基于识别后的第一压缩图像生成第二压缩图像，并将所述第二压缩图像上传至目标平台设备；
第一图像上传模块，用于若不超出预设阈值，则将所述第一压缩图像上传至所述目标平台设备。
9.一种数据映射识别设备，其特征在于，所述数据映射识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据映射识别程序，所述数据映射识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据映射识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据映射识别程序，所述数据映射识别程序被处理器执行时实现如权利要求1至7中任一项所述的数据映射识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058851.7A CN111314707B (zh) | 2020-01-17 | 2020-01-17 | 数据映射识别方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010058851.7A CN111314707B (zh) | 2020-01-17 | 2020-01-17 | 数据映射识别方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111314707A true CN111314707A (zh) | 2020-06-19 |
| CN111314707B CN111314707B (zh) | 2022-03-15 |
Family
ID=71160050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010058851.7A Active CN111314707B (zh) | 2020-01-17 | 2020-01-17 | 数据映射识别方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111314707B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970374A (zh) * | 2020-08-27 | 2020-11-20 | 山东有人信息技术有限公司 | 基于机器学习的数据节点分组方法、系统及介质 |
| CN112202745A (zh) * | 2020-09-23 | 2021-01-08 | 深圳力维智联技术有限公司 | 流式协议开发方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1127558A (zh) * | 1994-04-22 | 1996-07-24 | 索尼公司 | 数据传输装置和数据记录装置及数据传输方法和数据记录方法 |
| US20010012406A1 (en) * | 1996-12-19 | 2001-08-09 | Wood Kenneth Robert | Method for encoding digital information |
| CN105338262A (zh) * | 2015-10-09 | 2016-02-17 | 浙江大华技术股份有限公司 | 一种热成像图像处理方法及装置 |
| US20170315968A1 (en) * | 2016-04-27 | 2017-11-02 | Melissa Boucher | Unified document surface |
| CN109801352A (zh) * | 2018-12-28 | 2019-05-24 | 宁波市气象台 | 一种气象格点数据动画显示方法 |
-
2020
- 2020-01-17 CN CN202010058851.7A patent/CN111314707B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1127558A (zh) * | 1994-04-22 | 1996-07-24 | 索尼公司 | 数据传输装置和数据记录装置及数据传输方法和数据记录方法 |
| US20010012406A1 (en) * | 1996-12-19 | 2001-08-09 | Wood Kenneth Robert | Method for encoding digital information |
| CN105338262A (zh) * | 2015-10-09 | 2016-02-17 | 浙江大华技术股份有限公司 | 一种热成像图像处理方法及装置 |
| US20170315968A1 (en) * | 2016-04-27 | 2017-11-02 | Melissa Boucher | Unified document surface |
| CN109801352A (zh) * | 2018-12-28 | 2019-05-24 | 宁波市气象台 | 一种气象格点数据动画显示方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970374A (zh) * | 2020-08-27 | 2020-11-20 | 山东有人信息技术有限公司 | 基于机器学习的数据节点分组方法、系统及介质 |
| CN111970374B (zh) * | 2020-08-27 | 2023-02-03 | 山东有人物联网股份有限公司 | 基于机器学习的数据节点分组方法、系统及介质 |
| CN112202745A (zh) * | 2020-09-23 | 2021-01-08 | 深圳力维智联技术有限公司 | 流式协议开发方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111314707B (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11379723B2 (en) | Method and apparatus for compressing neural network | |
| CN110210378B (zh) | 一种基于边缘计算的嵌入式视频图像解析方法及装置 | |
| CN111314707B (zh) | 数据映射识别方法、装置、设备及可读存储介质 | |
| KR20200052182A (ko) | 딥러닝 모델 압축 및 압축 해제 방법 그리고 장치 | |
| KR20220137076A (ko) | 이미지 프로세싱 방법 및 관련된 디바이스 | |
| WO2020082724A1 (zh) | 一种对象分类的方法与装置 | |
| CN113888514A (zh) | 导地线缺陷检测方法、装置、边缘计算设备和存储介质 | |
| US11507324B2 (en) | Using feedback for adaptive data compression | |
| CN113312957A (zh) | 基于视频图像的脱岗识别方法、装置、设备及存储介质 | |
| CN116188808A (zh) | 图像特征提取方法和系统、存储介质及电子设备 | |
| CN114691765A (zh) | 一种人工智能系统中数据处理方法及装置 | |
| CN111223079A (zh) | 输电线路检测方法和装置、存储介质及电子装置 | |
| CN112508137B (zh) | 变压器异常检测方法、装置、计算机设备和存储介质 | |
| CN116562600B (zh) | 供水控制方法、装置、电子设备和计算机可读介质 | |
| CN112969032A (zh) | 光照模式识别方法、装置、计算机设备及存储介质 | |
| CN116229188B (zh) | 图像处理显示方法、分类模型的生成方法及其设备 | |
| CN117241092A (zh) | 一种视频处理方法、装置、存储介质及电子设备 | |
| CN112183303A (zh) | 变电设备图像分类方法、装置、计算机设备和介质 | |
| CN111337133A (zh) | 红外数据的生成方法及装置、解析方法及装置 | |
| US11681920B2 (en) | Method and apparatus for compressing deep learning model | |
| CN113723161A (zh) | 神经网络模型的训练方法、存储介质及电子设备 | |
| KR20230075678A (ko) | 객체 인식을 기반으로 하는 가격 변동 예측 방법 및 장치 | |
| CN109003254B (zh) | 基于逻辑回归覆冰检测方法、装置、设备、系统及介质 | |
| EP3683733A1 (en) | A method, an apparatus and a computer program product for neural networks | |
| CN113140012B (zh) | 图像处理方法、装置、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |