CN113676728A - 一种数字化台区非结构化数据压缩方法 - Google Patents

一种数字化台区非结构化数据压缩方法 Download PDF

Info

Publication number
CN113676728A
CN113676728A CN202110979966.4A CN202110979966A CN113676728A CN 113676728 A CN113676728 A CN 113676728A CN 202110979966 A CN202110979966 A CN 202110979966A CN 113676728 A CN113676728 A CN 113676728A
Authority
CN
China
Prior art keywords
picture
blocks
image
data
unstructured data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110979966.4A
Other languages
English (en)
Inventor
周建
付巍
许宁
杨雪
庄妍
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Power Supply Co Of State Grid Jilinsheng Electric Power Supply Co
Original Assignee
Changchun Power Supply Co Of State Grid Jilinsheng Electric Power Supply Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Power Supply Co Of State Grid Jilinsheng Electric Power Supply Co filed Critical Changchun Power Supply Co Of State Grid Jilinsheng Electric Power Supply Co
Priority to CN202110979966.4A priority Critical patent/CN113676728A/zh
Publication of CN113676728A publication Critical patent/CN113676728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

一种数字化台区非结构化数据压缩方法，属于数据流采集、传输、存储以及分析技术领域，数字化台区通过智能感知终端拍摄图像，图像中包含基于AI识别技术拍摄的人脸图像或重要信息；将图片文件均分成25个数据块，以块为单位进行传输；按照步骤二图片的分块处理，将人脸图像或重要信息部分所在块进行坐标定位，优先传送图片中的人脸等重要信息，将剩余块进行模糊化处理后传输。本发明通过根据图片中的不同区域分块传输，可以实现图片的传输速度更快，更有效。

Description

一种数字化台区非结构化数据压缩方法
技术领域
本发明属于数据流采集、传输、存储以及分析技术领域，特别是涉及到一种数字化台区实现非结构化数据压缩算法。
背景技术
非结构化数据本质上是结构化数据之外的一切数据。非结构化数据不是那么容易组织或格式化的。收集，处理和分析非结构化数据也是一项重大挑战。这产生了一些问题，因为非结构化数据构成了网络上绝大多数可用数据，并且它每年都在增长。随着更多信息在网络上可用，并且大部分信息都是非结构化的，找到使用它的方法已成为许多企业的重要战略。更传统的数据分析工具和方法还不足以完成工作。
针对结构化数据存在成熟的分析工具，但用于挖掘非结构化数据的分析工具正处于萌芽和发展阶段。且非结构化数据要比结构化数据多得多。非结构化数据占企业数据的80％以上，并且以每年55％～65％的速度增长。如果没有工具来分析这些海量数据，企业数据的巨大价值都将无法发挥。随着储存成本的下降，以及新兴技术的发展，行业对非结构化数据的重视程度得到提高。比如物联网、工业4.0、视频直播产生了更多的非结构化数据，而人工智能、机器学习、语义分析、图像识别等技术方向则更需要大量的非结构化数据来开展工作。
针对于图片等数据，行业中已经开发出了多种压缩算法来有效的降低采集、存储及处理时所占用的计算存储资源。所以现在针对图像类非结构化数据的采集、传输及存储的现状是：采集时将数据完整的采集下来，传输时，将所有数据只进行传统的ZIP压缩再进行传输，不能最大化节省各个分布式节点的传输带宽，存储时若将数据按时间顺序与逻辑关系将数据进行完整的存储，会占用大量的屋里存储空间。
因此，现有技术中亟需一种新的技术方案来解决上述问题。
发明内容
本发明所要解决的技术问题是：提供一种数字化台区非结构化数据压缩方法，通过根据图片中的不同区域分块传输，可以实现图片的传输速度更快，更有效。
一种数字化台区非结构化数据压缩方法，其特征是：包括以下步骤，且以下步骤顺次进行，
步骤一、图片信息采集
数字化台区通过智能感知终端拍摄图像，图像中包含基于AI识别技术拍摄的人脸图像或重要信息；
步骤二、图片信息分块化
将图片文件均分成25个数据块，以块为单位进行传输；
步骤三、图片信息传输
按照步骤二图片的分块处理，将人脸图像或重要信息部分所在块进行坐标定位，优先传送图片中的人脸等重要信息，将剩余块进行模糊化处理后传输。
所述步骤三中图片信息传输采用亮色分时传输，将人脸等重要信息标记为亮色优先传送。
所述步骤三中模糊化处理采用有损的离散余弦变化或无损的预测技术压缩。
所述步骤二图片分块数据化编码采用哈夫曼编码或算数编码。
通过上述设计方案，本发明可以带来如下有益效果：一种数字化台区非结构化数据压缩方法，通过根据图片中的不同区域分块传输，可以实现图片的传输速度更快，更有效。
附图说明
以下结合附图和具体实施方式对本发明作进一步的说明：
图1为本发明一种数字化台区非结构化数据压缩方法实施方式图片分块化示意图。
图2为本发明一种数字化台区非结构化数据压缩方法实施方式图片分块化重要信息标记示意图。
具体实施方式
一种数字化台区非结构化数据压缩方法，包括以下步骤，步骤一、图片信息采集
数字化台区通过智能感知终端拍摄图像，图像中包含基于AI识别技术拍摄的人脸图像或重要信息；
步骤二、图片信息分块化
将图片文件均分成25个数据块，以块为单位进行传输；
步骤三、图片信息传输
按照步骤二图片的分块处理，将人脸图像或重要信息部分所在块进行坐标定位，优先传送图片中的人脸等重要信息，将剩余块进行模糊化处理后传输。
在针对图片类非结构化数据处理时，可以在以下几个节点进行优化：
1.图片分块原则以图片中最有效部分优先传送；
2.图片中非重点区域采取模糊化处理；
3.更小的压缩转换资源开销。
具体方法如下所述，
如图1所示，一个完整的图片文件被平分成25个小数据块，在图片数据传输的时候，图像数据是以“块”为单位进行传输的，在图片显示的时候，也是以“块”为单位进行显示的。
数字化台区中通过智能感知终端抓拍的开箱者图像，图像中包含基于AI识别技术拍摄的人脸图像，将人脸信息坐标在图片中进行坐标定位，图片优先传送图片中的人脸等重要信息。
如图2所示，黑色粗线条方框内的8、12、13、14四个图像块为人脸图像块，需重点显示优先传送，并且保证画质清晰，无压缩。
图片中除人脸区域之外的其他信息，除黑色粗线条方框内的8、12、13、14四个图像块之外的其他图像块，可采取模糊化处理，然后进行发送，经模糊处理后的图像分辨率及图像大小较压缩前更小，从而达到传输速度快的效果。
具体的，本发明非结构化数据压缩方法的传输原则：
1.图片分块原则以图片中部或选出最有效部分优先传送；
2.亮色分时传输，优先传送亮度度信息；
3.允许传输中断，并能将中断前已传输信息还原；
4.允许主站分别还原亮度信息和全图像信息；
5.更小的压缩转换资源开销。
传输文件构成：
1.文件头：0xFE，0xFE，0xFE，0x7E
2.描述信息
a)标识符：2byte
b)执行版本及长度信息：4byte
c)X像素密度、单位、Y像素倍率、图片块数(units＝0：无单位；units＝1：点数/英寸；units＝2：点数/厘米)4byte
d)分块及传输序列(默认9块，首块坐标，默认传输方式为先灰度后色度，默认传输序列5、2、8、4、6、1、3、7、9)2byte
e)缩略图垂直像素数目(thumbnail vertical pixels)1byte
f)缩略图RGB位图(thumbnail RGB bitmap)，由前面的数值决定，取值3n，n为缩略图总像素3n byte
3.事件标记
a)标识符：2byte
b)执行版本及长度信息：4byte
c)事件类型、时标等参照客户侧协议中事件及状态信息。
4.量化表
a)标识符：2byte
b)执行版本及长度信息：4byte
c)亮度信号量化表
d)色度信号量化表
5.图像块
亮度信号图片块、色度信号图片块
a)第一块图片定义
b)第2～n-1块图片定义
c)第n块图片定义
根据业务需要，规定唯一的图像块的统一压缩格式，数据编码及编码模式。具体方案在下列成熟方案中选择。
压缩算法：
有损的离散余弦变换(Discrete Cosine Transform，DCT)；
无损的预测技术压缩。
数据编码方法：
哈夫曼编码；
算术编码；
编码模式：
基于DCT顺序模式：编/解码通过一次扫描完成；
基于DCT递进模式：编/解码需要多次扫描完成，扫描效果从粗糙到精细，逐级递进；
无损模式：基于DPCM，保证解码后完全精确恢复到原图像采样值；
层次模式：图像在多个空间多种分辨率进行编码，可以根据需要只对低分辨率数据作解码，放弃高分辨率信息。
6.结束符
a)校验信息
b)结束标志
本发明通过根据图片中的不同区域分块传输，可以实现图片的传输速度更快，更有效。

Claims (4)

1.一种数字化台区非结构化数据压缩方法，其特征是：包括以下步骤，且以下步骤顺次进行，
步骤一、图片信息采集
数字化台区通过智能感知终端拍摄图像，图像中包含基于AI识别技术拍摄的人脸图像或重要信息；
步骤二、图片信息分块化
将图片文件均分成25个数据块，以块为单位进行传输；
步骤三、图片信息传输
按照步骤二图片的分块处理，将人脸图像或重要信息部分所在块进行坐标定位，优先传送图片中的人脸等重要信息，将剩余块进行模糊化处理后传输。
2.根据权利要求1所述的一种数字化台区非结构化数据压缩方法，其特征是：所述步骤三中图片信息传输采用亮色分时传输，将人脸等重要信息标记为亮色优先传送。
3.根据权利要求1所述的一种数字化台区非结构化数据压缩方法，其特征是：所述步骤三中模糊化处理采用有损的离散余弦变化或无损的预测技术压缩。
4.根据权利要求1所述的一种数字化台区非结构化数据压缩方法，其特征是：所述步骤二图片分块数据化编码采用哈夫曼编码或算数编码。
CN202110979966.4A 2021-08-25 2021-08-25 一种数字化台区非结构化数据压缩方法 Pending CN113676728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110979966.4A CN113676728A (zh) 2021-08-25 2021-08-25 一种数字化台区非结构化数据压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110979966.4A CN113676728A (zh) 2021-08-25 2021-08-25 一种数字化台区非结构化数据压缩方法

Publications (1)

Publication Number Publication Date
CN113676728A true CN113676728A (zh) 2021-11-19

Family

ID=78546029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110979966.4A Pending CN113676728A (zh) 2021-08-25 2021-08-25 一种数字化台区非结构化数据压缩方法

Country Status (1)

Country Link
CN (1) CN113676728A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010053185A1 (en) * 1998-10-16 2001-12-20 Andre Kaup Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture
CN103986930A (zh) * 2014-06-03 2014-08-13 华中科技大学 一种适用于小容量信息载体的登记照图像压缩方法
CN103988518A (zh) * 2011-11-25 2014-08-13 日立麦克赛尔株式会社 图像传输装置，图像传输方法，图像接收装置和图像接收方法
CN107392134A (zh) * 2017-07-14 2017-11-24 广州智慧城市发展研究院 一种基于联合分块的人脸识别方法及系统
CN109302586A (zh) * 2018-10-22 2019-02-01 成都臻识科技发展有限公司 一种结构化人脸抓拍相机及相应视频监控系统
CN110868599A (zh) * 2019-12-06 2020-03-06 杭州顺网科技股份有限公司 一种远程桌面的视频压缩方法
WO2020135357A1 (zh) * 2018-12-29 2020-07-02 中兴通讯股份有限公司 数据压缩方法及装置、数据编码/解码方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010053185A1 (en) * 1998-10-16 2001-12-20 Andre Kaup Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture
CN103988518A (zh) * 2011-11-25 2014-08-13 日立麦克赛尔株式会社 图像传输装置，图像传输方法，图像接收装置和图像接收方法
CN103986930A (zh) * 2014-06-03 2014-08-13 华中科技大学 一种适用于小容量信息载体的登记照图像压缩方法
CN107392134A (zh) * 2017-07-14 2017-11-24 广州智慧城市发展研究院 一种基于联合分块的人脸识别方法及系统
CN109302586A (zh) * 2018-10-22 2019-02-01 成都臻识科技发展有限公司 一种结构化人脸抓拍相机及相应视频监控系统
WO2020135357A1 (zh) * 2018-12-29 2020-07-02 中兴通讯股份有限公司 数据压缩方法及装置、数据编码/解码方法及装置
CN110868599A (zh) * 2019-12-06 2020-03-06 杭州顺网科技股份有限公司 一种远程桌面的视频压缩方法

Similar Documents

Publication Publication Date Title
CN110225341B (zh) 一种任务驱动的码流结构化图像编码方法
EP0588653A2 (en) Image data coding and restoring method and appatatus for coding and restoring the same
EP0527245A1 (en) Method and system for coding and compressing video signals
DE202012013410U1 (de) Bildkompression mit SUB-Auflösungsbildern
CN1309258C (zh) 一种应用于实时传输的无损图像压缩方法
US20190180478A1 (en) Lossless compression of fragmented image data
CN107087184B (zh) 一种多媒体数据再压缩方法
CN113542740B (zh) 图像传输方法及装置
DE19919600A1 (de) Einrichtung und Verfahren zum Komprimieren von Bilddaten, die von einem Bildsensor empfangen werden, der ein Bayer-Muster aufweist
EP1371229B1 (de) Verfahren zur komprimierung und dekomprimierung von videodaten
CN113473142B (zh) 视频编码、视频解码方法及装置、电子设备、存储介质
CN113613004A (zh) 图像编码方法、装置、电子设备及存储介质
KR102238091B1 (ko) 3d 모델 압축 및 압축해제 시스템 및 방법
CN107682699B (zh) 一种近无损图像压缩方法
CN110996127B (zh) 图像编解码方法、设备及系统
US6584229B1 (en) Macroblock-based object-oriented coding method of image sequence having a stationary background
JP4215269B2 (ja) 領域ベースのスケーラブルな画像コーディング
CN113676728A (zh) 一种数字化台区非结构化数据压缩方法
CN1156166C (zh) 在基于块的视频编码系统中确定最佳网格的方法和设备
CN112672164B (zh) 视频压缩系统及方法、视频解压缩系统及方法
CN1396769A (zh) 运动图像信息的压缩方法及其系统
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
JPH06149990A (ja) 画像圧縮方法及び画像処理装置
JPH03283989A (ja) カラー画像符号化方式
EP1410335A1 (en) Method and system for image compression with improved colour palette selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhou Jian

Inventor after: Yang Xue

Inventor after: Xu Ning

Inventor after: Fu Wei

Inventor after: Zhuang Yan

Inventor after: Zhang Tao

Inventor before: Zhou Jian

Inventor before: Fu Wei

Inventor before: Xu Ning

Inventor before: Yang Xue

Inventor before: Zhuang Yan

Inventor before: Zhang Tao

CB03 Change of inventor or designer information