CN114832373B - 一种纹理、音频和视频的压缩和重建方法 - Google Patents

一种纹理、音频和视频的压缩和重建方法 Download PDF

Info

Publication number
CN114832373B
CN114832373B CN202111569484.8A CN202111569484A CN114832373B CN 114832373 B CN114832373 B CN 114832373B CN 202111569484 A CN202111569484 A CN 202111569484A CN 114832373 B CN114832373 B CN 114832373B
Authority
CN
China
Prior art keywords
compression
texture
data
audio
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111569484.8A
Other languages
English (en)
Other versions
CN114832373A (zh
Inventor
许磊
靳文波
赵庆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111569484.8A priority Critical patent/CN114832373B/zh
Publication of CN114832373A publication Critical patent/CN114832373A/zh
Priority to PCT/CN2022/140848 priority patent/WO2023116794A1/en
Application granted granted Critical
Publication of CN114832373B publication Critical patent/CN114832373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种纹理、音频和视频的压缩和重建方法，建立通用压缩和特殊压缩相结合的数据压缩子系统，利用数据分类信息，进行数据压缩；将压缩之后的数据按照不同的需求重新组合，并按照原包类似的方式重新打包；压缩过程中使用到的参数，如果需要在重建阶段使用，以元数据的方式保存下来，放入到新包内，以便重建过程中使用；在用户端针对纹理、图片、音频和视频数据的按需重建子系统，用户端根据自身的设备信息和网络状况选择特定的压缩后数据和元数据；当用户端接受到压缩后数据和元数据之后，根据对压缩格式的支持，决定是否对压缩后的数据进行解压和重建；本发明属于计算机技术领域，具体是指一种纹理、音频和视频的压缩和重建方法。

Description

一种纹理、音频和视频的压缩和重建方法
技术领域
本发明属于计算机技术领域，具体是指一种纹理、音频和视频的压缩和重建方法。
背景技术
随着计算机技术和游戏产业的高速发展，游戏和程序容量爆炸式增长，一些大型游戏的容量往往已经超过200GB。因此，在现有分发技术(线下光盘，硬盘，闪存等存储介质，线上下载安装)条件下，这些大容量的游戏(特别是手机游戏的)分发，安装和存储就成了问题，而且由于大型游戏的容量较大，用户的网络环境复杂，用户通常需要等待几分钟乃至几十分钟才能开始游戏，严重影响了用户体验。而且长时间的等待过程中，很多用户直接放弃，也间接影响了盈利。
发明内容
为了解决上述难题，本发明提供了一种纹理、音频和视频的压缩和重建方法，。
为了实现上述功能，本发明采取的技术方案如下：一种纹理、音频和视频的压缩和重建方法，包括如下步骤：
(1)建立通用压缩和特殊压缩相结合的数据压缩子系统，利用数据分类信息，进行数据压缩；
(2)针对需要精确传输的代码、配置、文本、模型和数值的数据，根据压缩率和算力要求，选取通用压缩算法进行压缩以及不同的压缩率参数，生成不同等级的压缩后数据；
(3)对音频、视频、图形和图像的数据，根据实效性要求和用户服务等级，使用无损或有损压缩算法，以及不同的码率或分辨率参数，生成不同品质的压缩后数据；
(4)针对纹理数据，引入了下列方法来解决纹理压缩的问题：
(4-1)如果纹理采用了压缩纹理格式，将纹理恢复成图片格式；
(4-2)根据压缩比，重建阶段算力，以及质量要求，选择不同的压缩算法和不同的质量参数，生成不同品质的压缩后图像；
(4-3)将原始的压缩纹理数据中的元数据作为压缩参数的部分保存下来，用来指导纹理的重建过程，减少算力消耗，缩短重建时间；
(5)将压缩之后的数据按照不同的需求重新组合，并按照原包类似的方式重新打包；
(6)压缩过程中使用到的参数，如果需要在重建阶段使用，以元数据的方式保存下来，放入到新包内，以便重建过程中使用；
(7)在用户端针对纹理、图片、音频和视频数据的按需重建子系统，用户端根据自身的设备信息和网络状况选择特定的压缩后数据和元数据；当用户端接受到压缩后数据和元数据之后，根据对压缩格式的支持，决定是否对压缩后的数据进行解压和重建；
(8)对通用压缩的数据直接解压；对音频，图片和视频数据，检查本地是否支持压缩之后的格式，如果支持则直接使用，否则先进行格式转换；对纹理部分，根据对纹理格式的支持和元数据的指导进行重建，从图片转换成相应的纹理格式。
在压缩过程和重建过程中，尽量使用硬件进行编解码，提高编解码效率。
本发明采取上述结构取得有益效果如下：本发明提供的纹理、音频和视频的压缩和重建方法，设计合理，包括以下优点：
(1)极大地减小了游戏大小，降低了游戏分发成本(存储，带宽，下载时间等等)，在实际对一些大型游戏的测试中发现，经过纹理图片音视频压缩和通用压缩之后，在品质可以接受的情况下整体压缩率可以超过5:1。
(2)降低了游戏(程序)对用户端(手机或电脑)存储容量的要求。
(3)在纹理重建(图片到压缩纹理)的过程中，由于有元数据(颜色表，基础颜色，插值范围)的指导，效率提高超过1000倍。
附图说明
图1为本发明提供的纹理、音频和视频的压缩和重建方法的纹理压缩流程图；
图2为本发明提供的纹理、音频和视频的压缩和重建方法的纹理重建流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。以下结合附图，对本发明做进一步详细说明。
如图1-2所示，本发明提供的纹理、音频和视频的压缩和重建方法，建立通用压缩和特殊压缩相结合的数据压缩子系统。利用数据分类信息，比如代码、配置、文本、模型、音频、视频、纹理、图形、图像、数值或其他等类型。
针对需要精确传输的代码、配置、文本、模型、数值等数据，根据其压缩率和算力要求(压缩，和解压时间消耗)，选取特定的通用压缩(无损)算法进行压缩(比如7z，LZMA，zip等)以及不同的压缩率等参数，生成不同等级的压缩后数据；
对音频、视频、图形、图像等数据，根据实效性要求和用户服务等级，使用合适的无损或有损压缩算法(如图像的png，jpeg，webp等，音频的aac，mp3等，视频的mpeg，mpeg4，H264，H265，VP8，VP9等，以及自研算法)以及不同的码率或分辨率等参数，生成不同品质的压缩后数据。
针对纹理数据，由于当前的纹理压缩算法(ASTC，DXT，ETC等)无需解压即可被GPU使用但压缩比不高，和RGB888相比压缩率最高为8:1，而且有些游戏中的纹理没有进行压缩。另一方面，一些图像压缩算法(如JPEG，PNG，WEBP等)在质量可接受的情况下和RGB888相比压缩率超过200:1，但是这些格式并不能被GPU直接使用。本发明引入了下列方法来解决纹理压缩的问题：
如果纹理使用了压缩格式，则将其解压，还原成普通图片格式，比如BMP格式。
根据压缩比，重建阶段算力，以及质量要求，选择不同的压缩算法(如JPEG，PNG，WEBP等)和不同的质量参数，生成不同品质的压缩后图像。
由于当前的纹理压缩算法(ASTC，DXT，ETC等)的压缩过程比较耗时，本发明将原始的压缩纹理数据中的元数据(颜色表，基础颜色值，插值范围等)作为压缩参数的一部分保存下来，用来指导纹理的重建过程，减少算力消耗，缩短重建时间。
将压缩之后的数据按照不同的需求(比如低带宽下需要的质量相对较低的包，低算力无硬件加速下需要的重建成本较低的包，对品质要求较高的无损压缩包)重新组合，并按照原包类似的方式重新打包。
压缩过程中使用到的参数，如果需要在重建阶段使用(比如上文讲到的压缩纹理元数据)，以元数据的方式保存下来，可以放入到新包的特定位置，也可以是单独的文件，以便重建过程中使用。
本发明在用户端实现了针对纹理、图片、音频、视频等数据的按需重建子系统。用户端可以根据自身的设备信息和网络状况选择特定的压缩后数据和元数据。当用户端接受到压缩后数据和元数据之后，会根据本端对压缩格式的支持，决定是否对压缩后的数据进行解压和重建(转码)。
对通用压缩的数据直接解压。
对音频、图片和视频数据，检查本地是否支持压缩之后的格式，如果支持则直接使用，否则先进行格式转换(转码)。
对纹理部分，根据本地对纹理格式的支持和元数据的指导进行重建，从图片转换成相应的纹理格式。
在压缩过程和重建过程中，尽量使用硬件进行编解码，提高编解码效率。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (3)

1.一种纹理、音频和视频的压缩和重建方法，其特征在于，包括如下步骤：
（1）建立通用压缩和特殊压缩相结合的数据压缩子系统，利用数据分类信息，进行分类数据压缩；
（2）针对需要精确传输的代码、配置、文本、模型和数值的数据，根据压缩率和算力要求，选取通用压缩算法以及不同的压缩率参数进行压缩，生成不同等级的压缩后数据；
（3）针对音频、视频、图形和图像的数据，根据实效性要求和用户服务等级，使用无损或有损压缩算法以及不同的码率或分辨率参数进行压缩，生成不同品质的压缩后数据；
（4）针对纹理数据，如果纹理采用了压缩纹理格式，则解压将纹理恢复成普通图片格式；根据压缩比，重建阶段算力，以及质量要求，选择不同的压缩算法和不同的质量参数，生成不同品质的压缩后图片；并将原始的压缩纹理数据中的元数据作为压缩参数的一部分保存下来，用于指导纹理的重建过程；元数据包括颜色表、基础颜色值、插值范围；
（5）将压缩之后的数据按照不同的需求重新组合，并按照原包的方式重新打包；其中，需求包括质量需求，重建阶段算力成本需求；
（6）压缩过程中使用到的参数，如果需要在重建阶段使用，则以元数据的方式保存下来，放入到新包内，以便重建过程中使用；
（7）用户端针对纹理、图片、音频和视频数据的按需重建子系统，根据自身设备信息和网络状况选择特定的压缩后数据和元数据；用户端接收压缩后数据和元数据之后，根据对压缩格式的支持，决定是否对压缩后的数据进行解压和重建；在压缩过程和重建过程中，使用硬件进行编解码；
（8）对通用压缩的数据直接解压；对音频，图片和视频数据，检查本地是否支持压缩之后的格式，如果支持则直接使用，否则先进行格式转换；对纹理数据，根据对纹理格式的支持和元数据的指导进行重建，从图片转换成相应的纹理格式。
2.根据权利要求1所述的纹理、音频和视频的压缩和重建方法，其特征在于，步骤（2）中，通用压缩算法包括7z，LZMA，zip。
3.根据权利要求1所述的纹理、音频和视频的压缩和重建方法，其特征在于，步骤（3）中，图像压缩算法包括png，jpeg，webp，音频压缩算法包括aac，mp3，视频压缩算法包括mpeg，mpeg4，H264，H265，VP8，VP9。
CN202111569484.8A 2021-12-21 2021-12-21 一种纹理、音频和视频的压缩和重建方法 Active CN114832373B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111569484.8A CN114832373B (zh) 2021-12-21 2021-12-21 一种纹理、音频和视频的压缩和重建方法
PCT/CN2022/140848 WO2023116794A1 (en) 2021-12-21 2022-12-21 Method for compressing and reconstructing texture, audio, and video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111569484.8A CN114832373B (zh) 2021-12-21 2021-12-21 一种纹理、音频和视频的压缩和重建方法

Publications (2)

Publication Number Publication Date
CN114832373A CN114832373A (zh) 2022-08-02
CN114832373B true CN114832373B (zh) 2023-03-07

Family

ID=82561544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111569484.8A Active CN114832373B (zh) 2021-12-21 2021-12-21 一种纹理、音频和视频的压缩和重建方法

Country Status (2)

Country Link
CN (1) CN114832373B (zh)
WO (1) WO2023116794A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114832373B (zh) * 2021-12-21 2023-03-07 许磊 一种纹理、音频和视频的压缩和重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111902807A (zh) * 2018-03-30 2020-11-06 微软技术许可有限责任公司 应用于纹理压缩或放大的机器学习
CN112905862A (zh) * 2021-02-04 2021-06-04 深圳市永达电子信息股份有限公司 一种基于表函数的数据处理方法、装置以及计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055966B (zh) * 2009-11-04 2013-03-20 腾讯科技（深圳）有限公司 一种媒体文件的压缩方法和系统
CN110349243B (zh) * 2019-07-15 2023-10-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
US11665358B2 (en) * 2020-04-28 2023-05-30 Adobe Inc. Generating multi-pass-compressed-texture images for fast delivery
CN113730902A (zh) * 2021-08-13 2021-12-03 许磊 一种用于游戏的免下载运行方法
CN114832373B (zh) * 2021-12-21 2023-03-07 许磊 一种纹理、音频和视频的压缩和重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111902807A (zh) * 2018-03-30 2020-11-06 微软技术许可有限责任公司 应用于纹理压缩或放大的机器学习
CN112905862A (zh) * 2021-02-04 2021-06-04 深圳市永达电子信息股份有限公司 一种基于表函数的数据处理方法、装置以及计算机存储介质

Also Published As

Publication number Publication date
WO2023116794A1 (en) 2023-06-29
CN114832373A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
US10382769B2 (en) Real-time lossless compression of depth streams
US8660339B2 (en) Method and system for low complexity transcoding of image with near optimal quality
CN110198492B (zh) 一种视频的水印添加方法、装置、设备及存储介质
CN112533059B (zh) 图像渲染方法、装置、电子设备以及存储介质
CN103548352A (zh) 自适应视频转码方法和系统
CN111901666B (zh) 图像处理方法、装置、电子设备以及存储介质
CN102737390A (zh) 用于生成用于数字图像的质量感知转码的质量预测表的系统和方法
CN105262825A (zh) 基于h.265的spice云桌面传输和展现方法及系统
CN111402380B (zh) 一种gpu压缩纹理处理方法
KR102471288B1 (ko) 송신, 수신 장치 및 방법
CN114832373B (zh) 一种纹理、音频和视频的压缩和重建方法
CN101511025B (zh) 图像压缩/解压缩的方法、装置
US20120033727A1 (en) Efficient video codec implementation
CN103248891A (zh) 一种基于n-bit截尾量化和块内二维预测的参考帧压缩方法
Olano et al. Variable bit rate GPU texture decompression
US8594194B2 (en) Compression method using adaptive field data selection
CN114840859B (zh) 一种通用数据的流媒体化系统
CN114880107A (zh) 一种高效低成本的云游戏系统
CN111556365A (zh) 视频转码方法和装置
CN100477791C (zh) 在移动通信终端中发送动态图像的方法
US7733249B2 (en) Method and system of compressing and decompressing data
CN111447485A (zh) 一种实时的云游戏录制视频方法、系统、装置及存储介质
JP4105676B2 (ja) メディアストリームを非ブロック化しコード変換する方法
CN117440156B (zh) 视频编码方法、视频发布方法及相关产品
CN113038139B (zh) 一种应用于机巡图片上传的图像压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant