CN111327327A - 一种数据压缩和恢复的方法 - Google Patents

一种数据压缩和恢复的方法 Download PDF

Info

Publication number
CN111327327A
CN111327327A CN202010201065.8A CN202010201065A CN111327327A CN 111327327 A CN111327327 A CN 111327327A CN 202010201065 A CN202010201065 A CN 202010201065A CN 111327327 A CN111327327 A CN 111327327A
Authority
CN
China
Prior art keywords
data
recovery
values
compression
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010201065.8A
Other languages
English (en)
Inventor
路兆铭
王鲁晗
邵华
赵百泉
程杨
曹伟豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuchang Fanwang Communication Technology Co ltd
Original Assignee
Xuchang Fanwang Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuchang Fanwang Communication Technology Co ltd filed Critical Xuchang Fanwang Communication Technology Co ltd
Priority to CN202010201065.8A priority Critical patent/CN111327327A/zh
Publication of CN111327327A publication Critical patent/CN111327327A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data

Abstract

本发明公开了一种数据压缩和恢复的方法，包括数据、压缩方法、恢复方法。有效的解决了压缩后数据的细节数据丢失率升高、准确性降低且未设置相应的恢复方法来供自动驾驶系统读取存储数据的问题。本发明将通过载有RTK/GPS的智能车获取的数据制作为数字矩阵，然后利用本发明提供的不同的压缩方法来将数字矩阵进行压缩，来减少数据所占用的存储空间，设置恢复方法来恢复经过压缩的数字矩阵，提高了智能车因存储的地图数据过多而影响到对位置点的搜索速度，在压缩的基础上采用映射的方法，提高了压缩过程中因细节数据丢失率升高而造成数据的准确性降低，方便智能车的自动驾驶系统读取数据，实现数据的无损和最大似然恢复。

Description

一种数据压缩和恢复的方法
技术领域
本发明涉及数据处理领域，特别是一种数据压缩和恢复的方法。
背景技术
在自动驾驶系统中，智能车搭载着各式各样的传感器，例如深度相机、激光雷达、毫米波雷达，智能车在行驶过程中由传感器扫描得到的信息量巨大，如16线激光雷达每秒将接收到30万个数据，需要对数据进行压缩，否则数据存储会占用过多的内存，导致智能车在行驶过程中搜索位置点的速度降低。采用无损压缩可以较为完整的保存数据，但压缩率较低，无法满足实时性要求，现有技术利用有损压缩可以大大压缩文件的数据，但易造成压缩过程中细节数据丢失率升高，降低了压缩后的数据的准确性，也未设置相应的恢复压缩的方法来供智能车的自动驾驶系统读取，造成工作不便。
因此本发明提供一种的新的方案来解决此问题。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种数据压缩和恢复的方法，有效的解决了压缩后数据的细节数据丢失率升高、准确性降低且未设置相应的恢复方法来供自动驾驶系统读取存储的数据的问题。
其解决的技术方案如下：
本发明提供了一种车辆数据压缩和恢复的方法，包括数据、压缩方法、恢复方法，所述数据被制作为数字矩阵，所述压缩方法数字矩阵进行压缩，所述恢复方法则将压缩过的数字矩阵进行恢复。
所述数据包括第一数据和第二数据，第一数据是指包含无效信息的数据，第二区域数据是指包含有效信息的数据。
所述压缩方法先将第一数据映射到x，第二数据映射到y，其中x≠y，m bit灰度图像中的0≤x≤2m−1且0≤y≤2m−1。
所述压缩方法中的x，y值在8bit的灰度图像的范围0≤x≤28−1且0≤y≤28−1内进行搜索，此时随机产生x，y值，当只有一组x，y值产生时，利用这组值成为x，y的值，当有多组x，y值产生时，选择压缩后的数字矩阵量与压缩前的数字矩阵量之间的比值最低的一组即为x，y的值。
所述压缩方法中的x，y值进行预定义赋值，将x赋值0，y赋值255。
所述压缩方法中的x，y值根据数字矩阵中的单连通区域数目确定。
所述数字矩阵中的单连通区域数目阈值设定为M，当单连通区域数目N<M时，则x，y的值分别取0，5，当单连通区域数目N>M时，则x，y的值分别取0，255，其中M由预定义得到。
所述x，y值可存储在压缩数据中，也可存储在配置文件中。
所述恢复方法利用x，y值的存储恢复法进行恢复。
所述x，y值的存储恢复法将进行数据压缩时的映射参数x，y值直接存储，当映射参数x，y值存储在压缩数据中，在数据恢复时确定其存储位置并作为数据恢复参数解压缩，当存储在配置文件中，并且该配置文件和数据压缩后的数据文件一一对应，进行数据恢复时同时读取两个对应文件，获得数据恢复参数。
所述恢复方法还采用被压缩的数据的灰度统计值来确定原始数字矩阵。
所述压缩数据的灰度统计值取灰度中值点进行数据分割，分割得到的两个区域分别对应原始数字矩阵的第一数据和第二数据。
所述压缩过的数据的灰度统计值进行聚类，从而得到至少两个类别的几何中心值位置，以每两个类别几何中心值的中值点作为两类的分类点，两个类别分别映射为第一数据和第二数据。
所述聚类方法采用任意一种聚类方法。
本发明通过载有RTK/GPS的智能车获取到数据制作为数字矩阵，在采用的压缩方法的基础上采用映射方法对数字矩阵进行压缩，既保证数据矩阵的压缩率，又保证较小的细节丢失率，解决了智能车因存储的数据过多而影响到对位置点的搜索速度，提高了压缩过程中因细节数据丢失率升高而造成数据的准确性降低，并且设置了数据压缩方法相应的恢复方法，方便自动驾驶系统读取存储的数据，实现数据的无损和最大似然恢复。
附图说明
图1为本发明的系统框图。
图2为本发明恢复方法中的灰度统计值的中值点分割图。
图3为本发明恢复方法中的灰度统计值聚类分割图。
具体实施方式
为有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图1-3对实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的结构内容，均是以说明书附图为参考。
下面将参照附图描述本发明的各示例性的实施例。
一种数据压缩和恢复的方法，应用在载有RTK/GPS、车载小型处理器上的智能车上，行驶过程中获取的数据通过车载小型处理器制作为数字矩阵，在压缩的基础上采用映射的方法将数字矩阵进行压缩，再通过车载小型处理器对压缩后的数字矩阵进行恢复，以方便自动驾驶系统来读取数据，既对数据进行了压缩，又减小了细节数据的丢失率，还方便了智能车的自动驾驶系统对数据的读取；
所述数据包括第一数据和第二数据，第一数据是指包含无效信息的数据，第二区域数据是指包含有效信息的数据；
所述压缩方法先将第一数据映射到x，第二数据映射到y，其中x≠y，m bit灰度图像中的0≤x≤2m−1且0≤y≤2m−1；
所述压缩方法中的x，y值在8bit的灰度图像的范围0≤x≤28−1且0≤y≤28−1内进行搜索，即在0≤x≤255且0≤y≤255的范围内，此时随机产生x，y值，当只有一组x，y值产生时，利用这组值成为x，y的值，当有多组x，y值产生时，选择压缩后的数字矩阵量与压缩前的数字矩阵量之间的比值最低的一组即为x，y的值；
所述压缩方法中的x，y值进行预定义赋值，将x赋值0，y赋值255；
所述压缩方法中的x，y值根据数字矩阵中的单连通区域数目确定；
所述数字矩阵中的单连通区域数目阈值设定为M，当单连通区域数目N<M时，则x，y的值分别取0，5，当单连通区域数目N>M时，则x，y的值分别取0，255，其中M由预定义得到；
所述x，y值可存储在压缩数据中，也可存储在配置文件中；
以上压缩方法在实际压缩过程中，都是在有损压缩的基础上采用的，以上任意一种压缩方法对数字矩阵进行压缩后，数据文件被压缩成了较小数据文件，减少了数据文件所占用的内存，又通过将数据进行映射，减少了数据的细节丢失率；
所述恢复方法利用x，y值的存储恢复法进行恢复；
所述x，y值的存储恢复法将进行数据压缩时的映射参数x，y值直接存储，当映射参数x，y值存储在压缩数据中，在数据恢复时确定其存储位置并作为数据恢复参数解压缩，当存储在自动驾驶系统额外的配置文件中，并且该配置文件和数据压缩后的数据文件一一对应，进行数据恢复时同时读取两个对应文件，获得数据恢复参数；
所述恢复方法还采用被压缩的数据的灰度统计值来确定原始数字矩阵；
所述压缩数据的灰度统计值取灰度中值点进行数据分割，以数字矩阵中的灰度比例为纵坐标，归一化灰度值为横坐标建立坐标系，以归一化灰度值的灰度中值点为分割点进行分割，分割得到的两个区域分别对应原始数字矩阵的第一数据和第二数据；
所述压缩过的数据的灰度统计值进行聚类，从而得到至少两个类别的几何中心值位置，其中左侧线段为一类，右侧线段为一类，左侧聚类中心值位置为A点，右侧聚类中心值位置为B点，以每两个类别几何中心值的中值点作为两类的分类点，A点和B点的几何中心值的中值点C为分类点，两个类别分别映射为第一数据和第二数据；
所述聚类方法采用任意一种聚类方法，实现将灰度统计值进行聚类，从而得到几何中心的位置；
以上x，y值的存储恢复法和压缩数据的灰度统计值恢复法在对压缩的数字矩阵进行恢复的时候采用其中一种方法进行使用，两种恢复方法都实现了对压缩后的数字矩阵的恢复，也实现了数字矩阵的无损和最大似然恢复；
此外，本发明所提出的方法不仅适用于数据包括第一数据和第二数据的情况，还适用于数据包含两种以上的数据的情况，如包括第一数据、第二数据、第三数据、第四数据，这时，根据本发明提出的方法获得两种解决此种情况的方式：
方式1：将多种数据分为两组，将第一数据和第二数据划分为第一组，第三数据和第四数据划分为第二组，这两组采用本发明所提出的方法进行压缩和恢复，针对每组内所包含的多种数据，再递归式地采用本发明所提出的方法进行压缩和恢复，直到每组数据内只含有一种数据，完成压缩和恢复的功能；
方式2：将多种数据映射为多个值，将第一数据、第二数据、第三数据和第四数据分别映射为a，b，c，d，a，b，c，d的值根据本发明所提出的任何一种x，y值确定方法来进行确定，进而实现包含多种数据的压缩和恢复。
本发明在进行使用的时候，首先将通过载有RTK/GPS的智能车获取的数据制作为数字矩阵，然后利用本发明提供的不同的压缩方法来将数字矩阵进行压缩，来减少数据所占用的存储空间，在有损压缩的基础上采用映射的方法既保证了数字矩阵的压缩率又减小了压缩过程中的细节丢失率，提高了智能车因存储的数据过多而影响到对位置点的搜索速度，提高了压缩过程中因细节数据丢失率升高而造成数据的准确性降低，本发明还设置了恢复方法来恢复经过压缩的数字矩阵，方便自动驾驶系统读取数据，在使用过程中，压缩和恢复这两个步骤可以单独使用，也可以结合使用，使用场合包括但不限于压缩和恢复农村和城镇、山脉和非山脉的分类数据中，目的均为降低存储，实现数据的无损和最大似然恢复。

Claims (14)

1.一种数据压缩和恢复的方法，包括数据、压缩方法、恢复方法，其特征在于，所述数据被制作为数字矩阵，所述压缩方法数字矩阵进行压缩，所述恢复方法则将压缩过的数字矩阵进行恢复。
2.如权利要求1所述的一种数据压缩和恢复的方法，其特征在于，所述数据包括第一数据和第二数据，第一数据是指包含无效信息的数据，第二区域数据是指包含有效信息的数据。
3.如权利要求2所述的一种数据压缩和恢复的方法，其特征在于，所述压缩方法先将第一数据映射到x，第二数据映射到y，其中x≠y，m bit灰度图像中的0≤x≤2m−1且0≤y≤2m−1。
4.如权利要求3所述的一种数据压缩和恢复的方法，其特征在于，所述压缩方法中的x，y值在8bit的灰度图像的范围0≤x≤28−1且0≤y≤28−1内进行搜索，此时随机产生x，y值，当只有一组x，y值产生时，利用这组值成为x，y的值，当有多组x，y值产生时，选择压缩后的数字矩阵量与压缩前的数字矩阵量之间的比值最低的一组即为x，y的值。
5.如权利要求3所述的一种数据压缩和恢复的方法，其特征在于，所述压缩方法中的x，y值进行预定义赋值，将x赋值0，y赋值255。
6.如权利要求3所述的一种数据压缩和恢复的方法，其特征在于，所述压缩方法中的x，y值根据数字矩阵中的单连通区域数目确定。
7.如权利要求6所述的一种数据压缩和恢复的方法，其特征在于，所述数字矩阵中的单连通区域数目阈值设定为M，当单连通区域数目N<M时，则x，y的值分别取0，5，当单连通区域数目N>M时，则x，y的值分别取0，255，其中M由预定义得到。
8.如权利要求4至权利要求7任一权利要求所述的一种数据压缩和恢复的方法，其特征在于，所述x，y值可存储在压缩数据中，也可存储在配置文件中。
9.如权利要求1所述的一种数据压缩和恢复的方法，其特征在于，所述恢复方法利用x，y值的存储恢复法进行恢复。
10.如权利要求8所述的一种数据压缩和恢复的方法，其特征在于，所述x，y值的存储恢复法将进行数据压缩时的映射参数x，y值直接存储，当映射参数x，y值存储在压缩数据中，在数据恢复时确定压缩数据的映射参数并作为数据恢复参数解压缩，当存储在配置文件中，并且该配置文件和数据压缩后的数据文件一一对应，进行数据恢复时同时读取两个对应文件，获得数据恢复参数。
11.如权利要求8所述的一种数据压缩和恢复的方法，其特征在于，所述恢复方法还采用被压缩的数据的灰度统计值来确定原始数字矩阵。
12.如权利要求10所述的一种数据压缩和恢复的方法，其特征在于，所述压缩数据的灰度统计值取灰度中值点进行数据分割，分割得到的两个区域分别对应原始数字矩阵的第一数据和第二数据。
13.如权利要求10所述的一种数据压缩和恢复的方法，其特征在于，所述压缩过的数据的灰度统计值进行聚类，从而得到至少两个类别的几何中心值位置，以每两个类别几何中心值的中值点作为两类的分类点，两个类别分别映射为第一数据和第二数据。
14.如权利要求13所述的一种数据压缩和恢复的方法，其特征在于，所述聚类方法采用任意一种聚类方法。
CN202010201065.8A 2020-03-20 2020-03-20 一种数据压缩和恢复的方法 Pending CN111327327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010201065.8A CN111327327A (zh) 2020-03-20 2020-03-20 一种数据压缩和恢复的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010201065.8A CN111327327A (zh) 2020-03-20 2020-03-20 一种数据压缩和恢复的方法

Publications (1)

Publication Number Publication Date
CN111327327A true CN111327327A (zh) 2020-06-23

Family

ID=71169388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010201065.8A Pending CN111327327A (zh) 2020-03-20 2020-03-20 一种数据压缩和恢复的方法

Country Status (1)

Country Link
CN (1) CN111327327A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0447234A2 (en) * 1990-03-14 1991-09-18 C-Cube Microsystems Data compression and decompression system and method
GB9617347D0 (en) * 1995-09-15 1996-10-02 Hewlett Packard Co Lossy data compression method
US20130151924A1 (en) * 2011-12-08 2013-06-13 Harris Corporation, Corporation Of The State Of Delaware Data system for interfacing with a remote data storage facility using compressive sensing and associated methods
CN103458242A (zh) * 2013-07-02 2013-12-18 北京京北方信息技术有限公司 基于颜色分类与聚类的图像压缩和解压缩方法
US20130336594A1 (en) * 2012-06-15 2013-12-19 Comcast Cable Communications, Llc Dynamic generation of a quantization matrix for compression of a digital object
CN103957426A (zh) * 2014-04-11 2014-07-30 河海大学 一种rgb565真彩色图像有损压缩及解压方法
CN104244017A (zh) * 2014-09-19 2014-12-24 重庆邮电大学 压缩编码高光谱遥感图像的多层次码书矢量量化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0447234A2 (en) * 1990-03-14 1991-09-18 C-Cube Microsystems Data compression and decompression system and method
GB9617347D0 (en) * 1995-09-15 1996-10-02 Hewlett Packard Co Lossy data compression method
US20130151924A1 (en) * 2011-12-08 2013-06-13 Harris Corporation, Corporation Of The State Of Delaware Data system for interfacing with a remote data storage facility using compressive sensing and associated methods
US20130336594A1 (en) * 2012-06-15 2013-12-19 Comcast Cable Communications, Llc Dynamic generation of a quantization matrix for compression of a digital object
CN103458242A (zh) * 2013-07-02 2013-12-18 北京京北方信息技术有限公司 基于颜色分类与聚类的图像压缩和解压缩方法
CN103957426A (zh) * 2014-04-11 2014-07-30 河海大学 一种rgb565真彩色图像有损压缩及解压方法
CN104244017A (zh) * 2014-09-19 2014-12-24 重庆邮电大学 压缩编码高光谱遥感图像的多层次码书矢量量化方法

Similar Documents

Publication Publication Date Title
CN108830280B (zh) 一种基于区域提名的小目标检测方法
CN108986119B (zh) 图像分割方法及装置、计算机设备及可读存储介质
WO2020164282A1 (zh) 基于yolo的图像目标识别方法、装置、电子设备和存储介质
CN109871803B (zh) 机器人回环检测方法和装置
EP3907660A1 (en) Method, apparatus, electronic device, and storage medium for recognizing license plate
US9058540B2 (en) Data clustering method and device, data processing apparatus and image processing apparatus
CN104915949A (zh) 一种结合点特征和线特征的图像匹配算法
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN110866926B (zh) 一种红外遥感图像快速精细海陆分割方法
CN103929644A (zh) 一种视频指纹库建立、视频指纹识别方法及装置
CN114399644A (zh) 一种基于小样本目标检测方法及装置
CN112528934A (zh) 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法
CN114022790A (zh) 遥感图像中云层检测及图像压缩方法、装置和存储介质
CN111444976A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN105828081A (zh) 编码方法及编码装置
CN1487471A (zh) 用于处理图像数据的方法及装置
CN114283089B (zh) 基于跳跃加速的深度恢复方法、电子设备及存储介质
CN113626444B (zh) 基于位图算法的表格查询方法、装置、设备及介质
CN109101892B (zh) 基于栅格和密度聚类算法的激光雷达目标物检测方法
CN104766043A (zh) 一种选票图像快速识别的方法
CN106934836B (zh) 一种雾霾图像基于自动聚类的大气光值计算方法及系统
CN111327327A (zh) 一种数据压缩和恢复的方法
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
KR101332630B1 (ko) 경량화된 랜덤펀스 및 이를 이용한 이미지 표현방법
CN115294368A (zh) 数据筛选方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240319

AD01 Patent right deemed abandoned