CN111177170A - 一种关于多维有限枚举数据的压缩更新方法 - Google Patents

一种关于多维有限枚举数据的压缩更新方法 Download PDF

Info

Publication number
CN111177170A
CN111177170A CN201911412420.XA CN201911412420A CN111177170A CN 111177170 A CN111177170 A CN 111177170A CN 201911412420 A CN201911412420 A CN 201911412420A CN 111177170 A CN111177170 A CN 111177170A
Authority
CN
China
Prior art keywords
data
updated
structured data
updating
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911412420.XA
Other languages
English (en)
Other versions
CN111177170B (zh
Inventor
曾成元
佘永涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201911412420.XA priority Critical patent/CN111177170B/zh
Publication of CN111177170A publication Critical patent/CN111177170A/zh
Application granted granted Critical
Publication of CN111177170B publication Critical patent/CN111177170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/235—Update request formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种关于多维有限枚举数据的压缩更新方法。它具体包括如下步骤：(1)初始化，预先设置操作数和已存储待更新数据；用户输入更新数据，更新数据包括要更新的结构化数据以及该结构化数据的数值；(2)根据要更新的结构化数据和设置的存储配置信息来获得该结构化数据所要设置的位数；并将该结构化数据的数值变换成二进制数值，根据该结构化数据的二进制数值确定位要设置的值；(3)将位要设置的值组装成SQL更新条件，SQL更新条件的数量由要设置的位数确定，按照从高位到低位的顺序依次执行所有的SQL更新条件获得更新结果。本发明的有益效果是：使得更新目标位数数值而不影响其他位数的结构化数值。

Description

一种关于多维有限枚举数据的压缩更新方法
技术领域
本发明涉及数据处理相关技术领域，尤其是指一种关于多维有限枚举数据的压缩更新方法。
背景技术
在一些结构化数据存储中，经常会使用int、long等数据类型来存储，而有些时候结构化数据是有限枚举值，只需少数几位字节存储即可，但受限于数据库字段类型的限制即使采用最小存储单元往往也是小几十位，浪费存储空间。
在实际的业务场景中，动态视频结构化数据有大量有限枚举结构化数据，比如：对视频流中的每一帧进行结构化分析，会得到人脸、形体、物体等等大量结构化数据，这些结构化数据中包含大量：是否戴眼镜、衣服颜色、是否戴帽子、年龄、性别等等有限枚举数据，这些数据采用传统的数据类型存储会占用大量存储空间。
在业务应用上经常还需要对这些多个结构化数据更新目标的结构化数据，而往往在实际操作过程中存在更新目标结构化数值，却影响了其他的结构化数值。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种更新目标位数数值而不影响其他的位数数值的关于多维有限枚举数据的压缩更新方法。
为了实现上述目的，本发明采用以下技术方案：
一种关于多维有限枚举数据的压缩更新方法，具体包括如下步骤：
(1)初始化，预先设置操作数和已存储待更新数据；用户输入更新数据，更新数据包括要更新的结构化数据以及该结构化数据的数值；
(2)根据要更新的结构化数据和设置的存储配置信息来获得该结构化数据所要设置的位数；并将该结构化数据的数值变换成二进制数值，根据该结构化数据的二进制数值确定位要设置的值；
(3)将位要设置的值组装成SQL更新条件，SQL更新条件的数量由要设置的位数确定，按照从高位到低位的顺序依次执行所有的SQL更新条件获得更新结果。
本发明中所有对于字节位都是从0开始计算，在计算机系统中对制定位置的二进制数值更新为目标值0或1，在更新压缩存储数据时就是基于上述方法过程进行更新指定位数的压缩结构化数据，这样设计使得更新目标位数数值而不影响其他位数的结构化数值。
作为优选，在步骤(1)中，结构化数据都是有限枚举数据，有限枚举数据是指在业务可知范围内是可以确定枚举出具体几种取值的数据类型；操作数取值为1，已存储待更新数据的位数与压缩配置的总位数一致。
作为优选，在步骤(2)中，压缩配置指的是一个定义结构化数据存储先后及每个结构化数据最大取值的业务规则定义，固化在业务逻辑中或存储在数据库中；压缩配置的首字节位为预留位，压缩配置的后续字节位根据业务的每个结构化数据最大取值来确定所占位数，从而获得压缩配置的总位数；位要设置的值为0和1中的一种，要设置的位数为通过压缩配置计算得到的目标位数。
作为优选，在步骤(3)中，具体操作方法为：将操作数设置为以存储配置的总位数为基准的二进制，根据要设置的位数对操作数进行位运算，根据位要设置的值对已存储待更新数据和位运算后的操作数进行运算，最后得到更新后的结构化数据。
作为优选，如果位要设置的值为1，则对已存储待更新数据和位运算后的操作数进行或运算，最后得到更新后的结构化数据；如果位要设置的值为0，则需要先对位运算后的操作数进行非运算，后对已存储待更新数据和非运算后的操作数进行与运算，最后得到更新后的结构化数据。
本发明的有益效果是：基于上述方法过程进行更新指定位数的压缩结构化数据，使得更新目标位数数值而不影响其他位数的结构化数值。
附图说明
图1是本发明中更新指定二进制位的详细流程图；
图2是本发明中根据图1结合实例的完整流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1、图2所述的实施例中，一种关于多维有限枚举数据的压缩更新方法，具体包括如下步骤：
(1)初始化，预先设置操作数和已存储待更新数据；用户输入更新数据，更新数据包括要更新的结构化数据以及该结构化数据的数值；结构化数据都是有限枚举数据，有限枚举数据是指在业务可知范围内是可以确定枚举出具体几种取值的数据类型；操作数取值为1，已存储待更新数据的位数与压缩配置的总位数一致。
(2)根据要更新的结构化数据和设置的存储配置信息来获得该结构化数据所要设置的位数；并将该结构化数据的数值变换成二进制数值，根据该结构化数据的二进制数值确定位要设置的值；压缩配置指的是一个定义结构化数据存储先后及每个结构化数据最大取值的业务规则定义，固化在业务逻辑中或存储在数据库中；压缩配置的首字节位为预留位，压缩配置的后续字节位根据业务的每个结构化数据最大取值来确定所占位数，从而获得压缩配置的总位数；位要设置的值为0和1中的一种，要设置的位数为通过压缩配置计算得到的目标位数。
(3)将位要设置的值组装成SQL更新条件，SQL更新条件的数量由要设置的位数确定，按照从高位到低位的顺序依次执行所有的SQL更新条件获得更新结果；具体操作方法为：将操作数设置为以存储配置的总位数为基准的二进制，根据要设置的位数对操作数进行位运算，根据位要设置的值对已存储待更新数据和位运算后的操作数进行运算，最后得到更新后的结构化数据。如果位要设置的值为1，则对已存储待更新数据和位运算后的操作数进行或运算，最后得到更新后的结构化数据；如果位要设置的值为0，则需要先对位运算后的操作数进行非运算，后对已存储待更新数据和非运算后的操作数进行与运算，最后得到更新后的结构化数据。
本发明中所有对于字节位都是从0开始计算，在计算机系统中对制定位置的二进制数值更新为目标值0或1。如图2所示：视频结构化数据在时间t1存储了一条：戴眼镜、戴帽子、穿白色衣服的结构化数据，在t2时间需要更新戴帽子为不戴帽子。其中：是否戴眼镜取值：1未知；2戴眼镜；3不带眼镜；是否戴帽子取值：1未知；2戴帽子；3不带帽子；衣服颜色取值有：1未知；2白色；3黑色；4红色；5绿色；那么压缩存储配置为：1(预留位)；a(max＝3)；b(max＝3)；c(max＝5)。操作数为1(二进制为00000001)；要设置的位数为第3、4位，该位数表示从右边0字节位开始计数的位数；位要设置的值均为1；要更新的结构化数据为11010010，存储结构化数据的位数为8。

Claims (5)

1.一种关于多维有限枚举数据的压缩更新方法，其特征是，具体包括如下步骤：
(1)初始化，预先设置操作数和已存储待更新数据；用户输入更新数据，更新数据包括要更新的结构化数据以及该结构化数据的数值；
(2)根据要更新的结构化数据和设置的存储配置信息来获得该结构化数据所要设置的位数；并将该结构化数据的数值变换成二进制数值，根据该结构化数据的二进制数值确定位要设置的值；
(3)将位要设置的值组装成SQL更新条件，SQL更新条件的数量由要设置的位数确定，按照从高位到低位的顺序依次执行所有的SQL更新条件获得更新结果。
2.根据权利要求1所述的一种关于多维有限枚举数据的压缩更新方法，其特征是，在步骤(1)中，结构化数据都是有限枚举数据，有限枚举数据是指在业务可知范围内是可以确定枚举出具体几种取值的数据类型；操作数取值为1，已存储待更新数据的位数与压缩配置的总位数一致。
3.根据权利要求2所述的一种关于多维有限枚举数据的压缩更新方法，其特征是，在步骤(2)中，压缩配置指的是一个定义结构化数据存储先后及每个结构化数据最大取值的业务规则定义，固化在业务逻辑中或存储在数据库中；压缩配置的首字节位为预留位，压缩配置的后续字节位根据业务的每个结构化数据最大取值来确定所占位数，从而获得压缩配置的总位数；位要设置的值为0和1中的一种，要设置的位数为通过压缩配置计算得到的目标位数。
4.根据权利要求2或3所述的一种关于多维有限枚举数据的压缩更新方法，其特征是，在步骤(3)中，具体操作方法为：将操作数设置为以存储配置的总位数为基准的二进制，根据要设置的位数对操作数进行位运算，根据位要设置的值对已存储待更新数据和位运算后的操作数进行运算，最后得到更新后的结构化数据。
5.根据权利要求4所述的一种关于多维有限枚举数据的压缩更新方法，其特征是，如果位要设置的值为1，则对已存储待更新数据和位运算后的操作数进行或运算，最后得到更新后的结构化数据；如果位要设置的值为0，则需要先对位运算后的操作数进行非运算，后对已存储待更新数据和非运算后的操作数进行与运算，最后得到更新后的结构化数据。
CN201911412420.XA 2019-12-31 2019-12-31 一种关于多维有限枚举数据的压缩更新方法 Active CN111177170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911412420.XA CN111177170B (zh) 2019-12-31 2019-12-31 一种关于多维有限枚举数据的压缩更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911412420.XA CN111177170B (zh) 2019-12-31 2019-12-31 一种关于多维有限枚举数据的压缩更新方法

Publications (2)

Publication Number Publication Date
CN111177170A true CN111177170A (zh) 2020-05-19
CN111177170B CN111177170B (zh) 2022-04-01

Family

ID=70650677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911412420.XA Active CN111177170B (zh) 2019-12-31 2019-12-31 一种关于多维有限枚举数据的压缩更新方法

Country Status (1)

Country Link
CN (1) CN111177170B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035493A (zh) * 2020-07-23 2020-12-04 北京达佳互联信息技术有限公司 用户属性数据的更新方法、装置、服务器和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083298A1 (en) * 2007-09-20 2009-03-26 Canon Kabushiki Kaisha Document encoding apparatus, document encoding method, and computer-readable storage medium
CN102361458A (zh) * 2011-08-16 2012-02-22 北京首钢自动化信息技术有限公司 一种在快速数据管理系统实现高效数据压缩的方法
CN103236846A (zh) * 2013-05-02 2013-08-07 浙江中控技术股份有限公司 一种工业实时数据压缩方法及装置
CN105024702A (zh) * 2015-07-08 2015-11-04 西安理工大学 一种面向科学计算的浮点型数据无损压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083298A1 (en) * 2007-09-20 2009-03-26 Canon Kabushiki Kaisha Document encoding apparatus, document encoding method, and computer-readable storage medium
CN102361458A (zh) * 2011-08-16 2012-02-22 北京首钢自动化信息技术有限公司 一种在快速数据管理系统实现高效数据压缩的方法
CN103236846A (zh) * 2013-05-02 2013-08-07 浙江中控技术股份有限公司 一种工业实时数据压缩方法及装置
CN105024702A (zh) * 2015-07-08 2015-11-04 西安理工大学 一种面向科学计算的浮点型数据无损压缩方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035493A (zh) * 2020-07-23 2020-12-04 北京达佳互联信息技术有限公司 用户属性数据的更新方法、装置、服务器和存储介质

Also Published As

Publication number Publication date
CN111177170B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN105846825B (zh) 压缩方法、解压缩方法、压缩装置以及解压缩装置
US20190051235A1 (en) Gamma tuning method and gamma tuning device
CN110472484B (zh) 基于多视图特征的视频关键帧提取方法、系统及设备
CN110995273B (zh) 电力数据库的数据压缩方法、装置、设备及介质
US11823418B2 (en) Method and system for improving compression ratio by difference between blocks of image file
CN111177170B (zh) 一种关于多维有限枚举数据的压缩更新方法
WO2022166258A1 (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
EP3872703B1 (en) Method and device for classifying face image, electronic device and storage medium
KR102049078B1 (ko) 이미지 분석
EP3783894A1 (en) Methods and decompression units for decompressing a compressed block of image data
CN113111227A (zh) 数据处理方法、装置、电子设备及存储介质
KR20010011701A (ko) 칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법
CN111104431B (zh) 一种关于多维有限枚举数据的压缩检索方法
Guan et al. Towards a hybrid approach of k-means and density-based spatial clustering of applications with noise for image segmentation
CN108228759B (zh) 记录集的存储处理方法、装置、计算机设备和存储介质
CN112330768A (zh) 基于数据特征的图像快速合成方法
CN110633388B (zh) 基于通信xdr的实时指标生成方法、系统和存储介质
CN114385540A (zh) 一种数据单位换算方法及装置
CN111159186A (zh) 一种关于多维有限枚举数据的压缩存储方法
CN110298408B (zh) 一种基于智能称重对生产加工单元轮毂轮型实时识别方法
CN111796988B (zh) 一种大数据信息监控方法、装置及计算机设备
CN111339147A (zh) 医学数据的处理方法、降维查询方法及存储介质
CN111694876A (zh) 一种基于Spark框架实现ID mapping的方法和装置
CN112257072B (zh) 基于去重算法的高性能数据风险影响面量化评估方法
CN113473150B (zh) 一种图像处理方法、装置以及计算机可读存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant