CN116600119A - 视频编码、解码方法、装置、计算机设备和存储介质 - Google Patents
视频编码、解码方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116600119A CN116600119A CN202310880099.8A CN202310880099A CN116600119A CN 116600119 A CN116600119 A CN 116600119A CN 202310880099 A CN202310880099 A CN 202310880099A CN 116600119 A CN116600119 A CN 116600119A
- Authority
- CN
- China
- Prior art keywords
- scale parameter
- value
- quantization
- characteristic
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 202
- 238000013139 quantization Methods 0.000 claims abstract description 335
- 238000012216 screening Methods 0.000 claims abstract description 113
- 238000009826 distribution Methods 0.000 claims abstract description 57
- 230000005540 biological transmission Effects 0.000 claims abstract description 56
- 238000007667 floating Methods 0.000 claims description 166
- 238000013507 mapping Methods 0.000 claims description 114
- 230000008569 process Effects 0.000 claims description 96
- 238000004590 computer program Methods 0.000 claims description 34
- 238000005516 engineering process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000005315 distribution function Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种视频编码、解码方法、装置、计算机设备和存储介质。其中视频编码方法包括:根据特征数据的辅助编码信息确定特征数据所包括的各特征元素各自的概率分布的尺度参数值;从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素;获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值;根据各特征元素各自的尺度参数量化值,对特征数据进行熵编码;根据熵编码获得的编码数据流及筛选出的各特征元素各自的特征元素位置,确定目标视频帧的传输数据流。采用本方法能够提高解码重建获得的视频帧准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种视频编码方法、装置、计算机设备、存储介质和计算机程序产品,以及一种视频解码方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,出现了视频编解码技术,通过编码可以将视频帧进行压缩,而通过解码可以对压缩的视频帧进行还原。视频编解码可以广泛应用于各种场景,尤其是跨平台视频传输场景中,例如视频聊天和视频会议等实时会话应用。
相关技术中,在跨平台视频传输过程中,由于视频编码和视频解码由不同的计算机设备执行,经常存在解码端解码重建获得的视频帧准确性较低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高解码重建获得的视频帧准确性的视频编码方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,以及视频解码方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种视频编码方法。所述方法包括:
获取目标视频帧的特征数据的辅助编码信息,根据所述辅助编码信息确定所述特征数据所包括的各特征元素各自的概率分布的尺度参数值;
从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素;所述预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值;
获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值;所述第二量化方式异于所述第一量化方式;
根据各特征元素各自的尺度参数量化值,对各特征元素进行熵编码;
根据所述熵编码获得的编码数据流及筛选出的各所述特征元素各自的特征元素位置,确定所述目标视频帧的传输数据流。
第二方面,本申请还提供了一种视频编码装置。所述装置包括:
尺度参数值确定模块,用于获取目标视频帧的特征数据的辅助编码信息,根据所述辅助编码信息确定所述特征数据所包括的各特征元素各自对应的尺度参数值;
尺度参数值筛选模块,用于从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素;所述预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值;
量化模块,用于获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值;所述第二量化方式异于所述第一量化方式;
熵编码模块,用于根据各特征元素各自的尺度参数量化值,对各特征元素进行熵编码;
传输数据流确定模块,用于根据所述熵编码获得的编码数据流及筛选出的各所述特征元素各自的特征元素位置,确定所述目标视频帧的传输数据流。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述视频编码方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述视频编码方法的步骤。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述视频编码方法的步骤。
上述视频编码方法、装置、计算机设备、存储介质和计算机程序产品,由于可以从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值,因此在编码过程中可以筛选出解码过程中在第一量化方式下量化可能会出现量化结果不一致的元素,进而在进行熵编码时,可以获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值,然后根据各特征元素各自的尺度参数量化值,对各特征元素进行熵编码,最后根据熵编码获得的编码数据流及筛选出的各特征元素各自的特征元素位置,确定目标视频帧的传输数据流,使得解码过程可以对筛选出的各特征元素采用第二量化方式对进行特殊处理,保证了编解码过程获得的量化结果一致,从而可以提高解码过程重建获得的视频帧的准确性。
第六方面,本申请提供了一种视频解码方法。所述方法包括:
获取目标视频帧的传输数据流,根据所述传输数据流获得所述目标视频帧的辅助编码信息、编码数据流以及至少一个特征元素位置;所述编码数据流是根据所述辅助编码信息对特征数据进行编码获得的;所述特征数据包括的多个特征元素中,所述至少一个特征元素位置以外以及所述至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于所述第一量化方式的第二量化方式编码;
根据所述辅助编码信息确定各特征元素各自的尺度参数值,并从各所述尺度参数值中,筛选处于各所述特征元素位置处的特征元素各自的尺度参数值;
对未筛选出的各尺度参数值采用所述第一量化方式进行量化,并对筛选出的各尺度参数值采用所述第二量化方式进行量化;
根据对各尺度参数值量化获得的各尺度参数量化值,对所述编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到所述目标视频帧。
第七方面,本申请提供了一种视频解码方法。所述方法包括:
数据获得模块,用于获取传输数据流相对应的辅助编码信息,并根据所述传输数据流获得编码数据流以及至少一个特征元素位置;所述编码数据流是根据所述辅助编码信息对特征数据进行编码获得的;所述特征数据包括的多个特征元素中,所述至少一个特征元素位置以外以及所述至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于所述第一量化方式的第二量化方式编码;
筛选模块,用于根据所述辅助编码信息确定各特征元素各自的尺度参数值,并从各所述尺度参数值中,筛选处于各所述特征元素位置处的特征元素各自的尺度参数值;
量化模块,用于对未筛选出的各尺度参数值采用所述第一量化方式进行量化,并对筛选出的各尺度参数值采用所述第二量化方式进行量化;
解码模块,用于根据对各尺度参数值量化获得的各尺度参数量化值,对所述编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到所述目标视频帧。
第八方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述视频解码方法的步骤。
第九方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述视频解码方法的步骤。
第十方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述视频解码方法的步骤。
上述视频解码方法、装置、计算机设备、存储介质和计算机程序产品,由于可以根据传输数据流获得编码数据流以及至少一个特征元素位置,编码数据流是根据辅助编码信息对特征数据进行编码获得的;特征数据包括的多个特征元素中,至少一个特征元素位置以外以及至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于第一量化方式的第二量化方式编码,解码端可以获知编码过程中采用第二量化方式进行特征处理的特征元素,进而在根据辅助编码信息确定各特征元素各自的尺度参数值,并从各尺度参数值中,筛选处于各特征元素位置处的特征元素各自的尺度参数值,对未筛选出的各尺度参数值采用第一量化方式进行量化,并对筛选出的各尺度参数值采用与编码过程中相同的第二量化方式进行特殊处理,保证编解码过程获得的量化结果一致,从而可以提高解码过程重建获得的视频帧的准确性。
附图说明
图1为一些实施例中视频编码方法的应用环境图;
图2为一些实施例中视频编码方法的流程示意图;
图3为一些实施例中筛选特征元素步骤的流程示意图;
图4为另一些实施例中视频解码方法的流程示意图;
图5为一些实施例中视频编解码的整体过程示意图;
图6为一些实施例中解码过程失败的示意图;
图7为一些实施例中编解码模型的框架图;
图8为一些实施例中熵编码模块的流程示意图;
图9为一些实施例中视频编解码方法与相关技术的对比示意图;
图10为一些实施例中解码端的流程示意图;
图11为一些实施例中视频编解码方法的示意图;
图12为一些实施例中跨平台场景验证的结果示意图;
图13为一些实施例中视频编码装置的结构框图;
图14为一些实施例中视频解码装置的结构框图;
图15为一些实施例中计算机设备的内部结构图;
图16为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的视频编码方法、视频解码方法涉及人工智能的机器学习、计算机视觉等技术,其中:
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的视频编码方法和视频解码方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以单独设置,可以集成在服务器104上,也可以放在云上或其他服务器上。服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。
本申请实施例提供的视频编码方法可以由编码端执行,编码端可以是图1中的服务器104或者终端102,在编码过程中,编码端获取目标视频帧的特征数据的辅助编码信息,根据辅助编码信息确定特征数据所包括的各特征元素各自的概率分布的尺度参数值,从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,其中,预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值,编码端进一步获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值;第二量化方式异于第一量化方式,进而解码端可以根据各特征元素各自的尺度参数量化值,对各特征元素进行熵编码,最后根据熵编码获得的编码数据流及筛选出的各特征元素各自的特征元素位置,确定目标视频帧的传输数据流。
本申请实施例提供的视频编码方法可以由解码端执行,解码端可以是图1中的服务器104或者终端102,在解码过程中,解码端获取目标视频帧的传输数据流,并根据传输数据流获得目标视频帧的编码数据流、辅助编码信息以及至少一个特征元素位置,其中,编码数据流是根据辅助编码信息对特征数据进行编码获得的;特征数据包括的多个特征元素中,至少一个特征元素位置以外以及至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于第一量化方式的第二量化方式编码,解码端进一步可以根据辅助编码信息确定各特征元素各自的尺度参数值,并从各尺度参数值中,筛选处于各特征元素位置处的特征元素各自的尺度参数值,解码端进一步可以对未筛选出的各尺度参数值采用第一量化方式进行量化,并对筛选出的各尺度参数值采用第二量化方式进行量化,最后根据对各尺度参数值量化获得的各尺度参数量化值,对编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到目标视频帧。
在一些实施例中,如图2所示,提供了一种视频编码方法,该方法由编码端执行,编码端可以是图1中的服务器104或者终端102,在本申请实施例中,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取目标视频帧的特征数据的辅助编码信息,根据辅助编码信息确定特征数据所包括的各特征元素各自的概率分布的尺度参数值。
其中,目标视频帧可以是需要进行视频传输的视频中的任意类型的帧,可以是P帧,也可以是I帧。特征数据指的是对目标视频帧的待编码数据进行前置编码得到的数据,待编码数据即视频编码过程中需要进行编码传输至解码端的数据,比如可以当目标视频帧为I帧时,待编码数据可以是原始视频帧,当目标视频帧为P帧时,待编码数据可以是目标视频帧的运动估计数据、视频帧的残差补偿数据,目标视频帧的特征数据具体可以为特征图,特征图的尺寸可以和目标视频帧相同,也可以不同。前置编码包括变换、量化、逆变换等处理,可以是基于传统的数学方式实现,也可以基于神经网络实现。辅助编码信息指的是用于辅助编码过程的信息,即边信息(Side Information),边信息可以是对特征数据进一步进行编码得到的特征信息,例如可以是将特征数据输入神经网络进一步提取得到的特征信息,边信息包含的特征元素的个数比特征数据的特征元素少。特征元素的概率分布的尺度参数是用于描述特征元素的概率分布的幅度,尺度参数越大,概率分布的曲线越扁平,反之,尺度参数越小,曲线越瘦高。在具体应用中,特征元素的概率分布可以是高斯分布或者拉普拉斯分布,当特征元素的概率分布是高斯分布时,尺度参数具体可以是概率分布的方差或者标准差。
具体地,服务器可以对目标视频帧进行前置编码,获得目标视频帧的特征数据,对特征数据进行降低特征维度的超先验编码,得到特征数据的辅助编码信息,然后利用辅助编码信息对特征数据所包括的各特征元素的概率分布进行估计,获得各特征元素各自的概率分布的尺度参数值。
在具体应用中,编解码过程可以借助编解码模型实现的,编解码模型为端到端的神经网络模型,编解码模型中包括熵模型,熵模型具体可以是VAE(VariationalAutoEncoder,即变分自编码器)模型,其中,熵模型对应VAE隐层表示的先验,而辅助编码信息用于辅助熵模型编码,即为先验的先验,因此称为超先验编码。服务器获取到特征数据后,可以将特征数据输入到编解码模型中,通过编解码模型进行降低特征维度的超先验编码,得到特征数据的辅助编码信息,将辅助编码信息作为先验参数输入到熵模型中,利用熵模型对各特征元素的概率分布进行估计,对概率分布进行估计的过程相当于进行了超先验解码,获得特征数据所包括的各特征元素各自对应的概率分布估计参数,包括尺度参数值和位置参数值,这里的位置参数值用于描述概率分布的集中趋势位置。当特征元素的概率分布为高斯分布时,位置参数值具体可以是特征元素的概率分布的均值,或者说数学期望。
步骤204,从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素;预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值。
其中,浮动数值映射即映射得到的数值可以是浮动的,浮动的范围由预设浮动精度范围控制,该预设浮动精度范围可以根据预设精度进行确定,该预设精度可以是针对尺度参数值的,即尺度参数值在根据该预设精度确定的预设浮动精度范围内浮动,从而可以获得浮动的尺度参数映射值,该预设精度也可以是针对尺度参数映射值的,即尺度参数值映射得到的尺度参数映射值可以在根据该预设精度确定的预设浮动精度范围内浮动。该预设精度范围包含零点,当在零点处浮动时,可以看成未发生浮动。举例说明,如果预设精度为0.001,则预设浮动精度范围可以[0,0.001],或者[-0.001,0],或者[-0.001,0.001],预设浮动精度范围具体可以根据预设筛选条件的判定方式进行确定,总之预设精度可以看成是浮动范围的阈值。
在对特征元素的尺度参数进行判定以筛选特征元素的过程中,由于预设浮动精度范围包括零点,在零点时,可以理解为未发生浮动,即针对该尺度参数值本身进行数值映射后按照预设取整方式取整,相当于模拟编码过程中对该尺度参数值进行第一量化方式量化,而对该尺度参数值在该预设浮动精度范围的零点之外的浮动点,进行浮动数值映射后,按照预设取整方式取整,相当于模拟解码过程中可能存在的数值浮动情况,此时,如果判定出存在两种数值,说明在第一量化方式下,解码过程的数值浮动会造成量化结果和编码过程不一致,那么服务器可以将这部分特征元素筛选出来,并对这些特征元素进行不同第一量化方式的量化处理,从而可以避免编码过程和解码过程可能出现的量化结果不一致的问题。
也可以理解为,通过筛选条件可以筛选出尺度参数值对应的尺度参数映射值靠近取整跳变点的特征元素,这里的靠近即由预设精度决定,以预设精度为针对尺度参数映射值为例,筛选过程即将与取整跳变点之间的差值小于或者等于 预设精度的尺度参数映射值对应的特征元素筛选出来,取整跳变点即取整过程中由于数值浮动可能会发生跳变的数值,取整跳变点由取整方式决定,具体来说,对于向上取整和向下取整,取整跳变点为[0,L-1]区间内的每个整数值,对于就近取整,取整跳变点为[0,L-1]区间内的每相邻两个整数值的平均值,即区间中心。
步骤206,获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值;第二量化方式异于第一量化方式。
其中,第二量化方式和第一量化方式均可实现对尺度参数值的量化,量化过程包括将尺度参数值映射至预设的数值区间,得到尺度参数映射值,然后对获得的尺度参数映射值进行取整,第二量化方式和第一量化方式的区别在于,获得尺度参数映射值后,对获得的尺度参数映射值进行取整的取值方式不相同的,因此,采用第一量化方式和第二量化方式对相同的尺度参数值进行量化时,获得的量化结果并不相同。
在一些实施例中,第一量化方式和第二量化方式为以下量化方式中的任意两种:将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行向上取整;将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行向下取整;将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行就近取整。
其中,映射值范围可以由量化过程中的量化等级确定,比如,如果量化过程中的量化等级为32,则映射值范围可以是[0,31]。对尺度参数映射值进行向上取整,即取大于该尺度参数映射值的最小整数,例如,假设尺度参数映射值为71.97,对71.97进行向上取整得到的数值为72;对尺度参数映射值进行向下取整,即取小于该尺度参数映射值的最大整数,例如,对71.97进行向下取整得到的数值为71;对尺度参数映射值进行就近取整,即对尺度参数映射值采用四舍五入的方式进行取整,例如,对71.97进行就近取整得到的数值为72。
具体地,服务器可以获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值。
在具体应用中,如果在特征元素筛选过程中已经对各特征元素的尺度参数值进行数值区间映射获得尺度参数映射值的情况下,则步骤206中,服务器无需再次进行数值区间映射,可以直接采用第一量化方式下的取整方式(即上文的预设取整方式)对未筛选出的特征元素对应的尺度参数映射值进行取整,并采用第一量化方式下的取整方式对筛选出的特征元素对应的尺度参数映射值进行取整。
如果在特征元素筛选过程中未对各特征元素的尺度参数值进行数值区间映射未获得尺度参数映射值的情况下,则步骤206中,服务器可以将未筛选出的特征元素的尺度参数值映射至映射值范围,然后采用第一量化方式下的取整方式对未筛选出的特征元素对应的尺度参数映射值进行取整,并且将筛选出的特征元素的尺度参数值映射至映射值范围,然后采用第二量化方式下的取整方式对筛选出的特征元素对应的尺度参数映射值进行取整。
在一些实施例中,步骤206具体可以包括:针对未筛选出的每个特征元素,将在第一量化方式的预设取整方式下,与所针对的特征元素的尺度参数映射值最接近的整数,确定为所针对的特征元素的尺度参数量化值;获取第二量化方式下预设的整数,将预设的整数分别确定为筛选出的每个特征元素的尺度参数量化值。
本实施例中,预设取整方式可以是向上取整、向下取整以及就近取整中的任意一种。服务器在对未筛选出的各特征元素各自的尺度参数值采用第一量化方式进行量化过程中,可以将在第一量化方式的预设取整方式下,与所针对的特征元素的尺度参数映射值最接近的整数,确定为所针对的特征元素的尺度参数量化值,例如,当预设取整方式为向上取整,则在向上取整方式下,与所针对的特征元素的尺度参数映射值最接近的整数为大于该尺度参数映射值的最小整数,当预设取整方式为向下取整,则在向下取整方式下,与所针对的特征元素的尺度参数映射值最接近的整数为大于该尺度参数映射值的最小整数,当预设取整方式为就近取整,则在就近取整方式下,与所针对的特征元素的尺度参数映射值最接近的整数为与该尺度参数映射值差值最小的整数。而针对筛选出的每个特征元素,服务器可以直接将第二量化方式下预设的整数分别确定为筛选出的每个特征元素的尺度参数量化值即可。由于筛选出的特征元素通常只占所有特征元素的一小部分,因此本实施例中设置固定的整数作为筛选出的特征元素的尺度参数量化值对数据压缩过程影响不大,但是可以一定程度节省量化计算过程,从而提高量化效率。
步骤208,根据各特征元素各自的尺度参数量化值,对特征数据进行熵编码。
具体地,由于对原始的尺度参数值进行了量化处理,在进行熵编码时,针对各特征元素,服务器可以基于所针对的特征元素对应的尺度参数量化值重新确定该特征元素的尺度参数值,根据重新确定的尺度参数值确定熵编码所需的概率分布函数,从而通过该概率分布函数将特征数据压缩为尽可能少的字节流,从而获得特征元素对应的编码数据流。熵编码可以采用算术编码或者区间编码实现(range coding)实现,以算术编码为例,在获得算术编码所需的概率分布函数后,可以计算出特征数据中各特征元素的概率值,然后将特征元素一个一个读入,每读入一个特征元素,将特征数据在[0 ,1]上的范围,按照比例缩小到最新得到的间隔中,该比例的值由各特征元素的概率值决定,然后依次迭代,直到所有特征元素读取完毕,将得到的区间中任意一个小数以二进制形式输出即得到编码数据流。
在具体应用中,根据尺度参数量化值重新确定尺度参数值可以通过公式(1)实现,其中,为重新确定的尺度参数值,/>为量化步长,/>为尺度参数值的最小取值,最小取值例如可以为0.11,L为最大量化等级,L的值可以根据需要进行设置,例如,L可以为32,/>为尺度参数量化值,取值范围为0-L-1。
(1)
可选地,服务器还可以通过以上公式(1)构建与/>之间的映射关系,以构建概率分布函数查找表,如:/>对应/>,/>对应/>。从而在获得各特征元素各自的尺度参数量化值后,可以直接查找该概率分布函数查找表获得/>,从而可以提升算术编码效率。
步骤210,根据熵编码获得的编码数据流及筛选出的各特征元素各自的特征元素位置,确定目标视频帧的传输数据流。
具体地,服务器可以将获得的编码数据流以及筛选出的各特征元素各自的特征元素位置一起编码成传输数据流。可选的,各特征元素各自的特征元素位置可以用各特征元素各自的位置标识表示,例如,可以将特征数据中的各特征元素位置预先用1、2、……等数字进行标识,进而在可以将代表筛选出的特征元素对应的特征元素位置的数字编入传输数据流。
在具体应用中,服务器可以将传输数据流发送至解码端,解码端可以基于传输数据流进行解码,以重建得到特征数据所属的视频帧。可选地,服务器还可以将辅助编码信息编入目标视频帧的传输数据流中,一起发送至解码端。
上述视频编码方法,由于可以从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值,因此在编码过程中可以筛选出解码过程中在第一量化方式下量化可能会出现量化结果不一致的元素,进而在进行熵编码时,可以获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值,然后根据各特征元素各自的尺度参数量化值,对各特征元素进行熵编码,最后根据熵编码获得的编码数据流及筛选出的各特征元素各自的特征元素位置,确定目标视频帧的传输数据流,使得解码过程可以对筛选出的各特征元素采用第二量化方式对进行特殊处理,保证了编解码过程获得的量化结果一致,从而可以提高解码过程重建获得的视频帧的准确性。
在一些实施例中,如图3所示,从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,包括:
步骤302,针对每个特征元素,将所针对的特征元素的尺度参数值映射至映射值范围,获得所针对的特征元素的尺度参数映射值。
其中,映射值范围与量化等级对应,比如量化等级为32,则预设数值区别为[0,31]。
具体地,服务器可以参考以下公式(2)和(3)对特征元素的尺度参数值进行映射,公式(2)中I为尺度参数映射值,为尺度参数值的最大取值,最大取值例如可以为64,则公式(2)可以看成是,将输入值进行以0为下界,以L-1为上界的截断量化,从而实现将尺度参数值映射至[0,L-1]的映射值范围。
步骤304,获取尺度参数映射值的浮动量化上限值以及浮动量化下限值。
浮动量化上限值为对尺度参数映射值按照预设浮动精度范围的上限浮动后的数值,进行预设取整方式取整获得;浮动量化下限值为对尺度参数映射值按照预设浮动精度范围的下限浮动后的数值,进行预设取整方式取整获得。预设浮动精度范围的上限即正向浮动过程中预设精度的取值,预设浮动精度范围的下限即负向浮动过程中预设精度的取值。本实施例中,预设精度是针对尺度参数映射值设置的,假设预设精度为,则尺度参数映射值I按照预设浮动精度范围的上限浮动后的数值为/>,尺度参数映射值I按照预设浮动精度范围的下限浮动后的数值为/>,则浮动量化上限值为对/>按照预设取整方式进行取整获得的整数即/>,则浮动量化下限值为对/>按照预设取整方式进行取整获得的整数/>,Q代表取整函数。
步骤306,根据浮动量化上限值以及浮动量化下限值,确定所针对的特征元素在预设筛选条件下的判定结果。
其中,判定结果包括两种,一种是指定所获得的预估量化值存在至少两种数值,另一种是指示所获得的预估量化值存在唯一数值,前一种判定结果说明特征元素的尺度参数值在第一量化方式下解码过程可能会由于数值浮动获得和编码端不相同的量化结果,后一种说明特征元素的尺度参数值在第一量化方式下解码过程不会出现不相同的量化结果。
具体地,浮动量化上限值和浮动量化下限值可以代表解码过程对所针对的特征元素的尺度参数值进行第一量化方式量化所获得的预估量化值的最大值和最小值,根据该最大值和最小值,服务器可以确定所针对的特征元素在预设筛选条件下的判定结果。
在一些具体实施例中,步骤306具体包括:获取浮动量化上限值与浮动量化下限值之间的差值绝对值;在差值绝对值大于零的情况下,确定所针对的特征元素在预设筛选条件下的判定结果为指示所获得的预估量化值存在至少两种数值。
如果浮动量化上限值与浮动量化下限值之间的差值绝对值为:
,说明最大值和最小值是不相等,则解码过程中所获得的量化结果中可能包含与针对该尺度参数值本身进行第一量化方式量化获得的量化结果不一致的数值,从而可以获得指示所获得的预估量化值存在至少两种数值的判定结果,即编码过程和解码过程存在量化结果不一致的问题。
可以理解的是,如果,说明最大值和最小值是相等的,这种情况下,说明解码过程所获得的量化结果是唯一的,那么可以获得指示所获得的预估量化值存在唯一数值的判定结果。
由于可以根据浮动量化上限值与浮动量化下限值之间的差值绝对值快速确定预设筛选条件的判定结果,提高了筛选效率。
在一些具体实施例中,步骤306具体包括:获取浮动量化上限值与所针对的特征元素对应的尺度参数量化值之间的第一差值绝对值;所针对的特征元素对应的尺度参数量化值,通过第一量化方式对所针对的特征元素的尺度参数值进行量化获得;获取浮动量化下限值与所针对的特征元素对应的尺度参数量化值之间的第二差值绝对值;在第一差值绝对值和第二差值绝对值中任意一项大于零的情况下,确定所针对的特征元素在预设筛选条件下的判定结果为指示所获得的预估量化值存在至少两种数值。
其中, 浮动量化上限值与所针对的特征元素对应的尺度参数量化值之间的第一差值绝对值即,如果第一差值绝对值大于零,则代表该特征元素的尺度参数映射值对应的尺度参数映射值在/>的预设浮动精度范围内浮动后,按照预设取整方式取整,所获得的预估量化值的最大值与该特征元素的尺度参数映射值本身进行第一量化方式量化获得的量化结果不一致,从而可以获得指示所获得的预估量化值存在至少两种数值的判定结果;浮动量化下限值与所针对的特征元素对应的尺度参数量化值之间的第二差值绝对值即/>,如果第二差值绝对值大于零,则代表该特征元素的尺度参数映射值对应的尺度参数映射值在/>的预设浮动精度范围内浮动后,按照预设取整方式取整,所获得的预估量化值的最大值与该特征元素的尺度参数映射值本身进行第一量化方式量化获得的量化结果不一致,从而可以获得指示所获得的预估量化值存在至少两种数值的判定结果。
可以理解的是,如果第一差值绝对值等于零且第二差值绝对值等于零,则获得指示所获得的预估量化值存在唯一数值的判定结果。
由于可以获取浮动量化上限值与所针对的特征元素对应的尺度参数量化值之间的第一差值绝对值,并获取浮动量化下限值与所针对的特征元素对应的尺度参数量化值之间的第二差值绝对值,在第一差值绝对值以及第二差值绝对值中任意一项大于零的情况下,确定所针对的特征元素在预设筛选条件下的判定结果为指示所获得的预估量化值存在至少两种数值,可以获得较为准确的判定结果,提高了筛选过程的准确性。
步骤308,从各特征元素中,筛选判定结果指示存在至少两种数值的特征元素。
具体地,服务器可以从各特征元素中筛选判定结果指示存在至少两种数值的特征元素,即筛选出的特征元素为判定结果指示存在至少两种数值的特征元素,未筛选出的特征元素为判定结果指示存在唯一数值的特征元素。
上述实施例中,通过将特征元素的尺度参数值映射至映射值范围,获得尺度参数映射值,进一步获取尺度参数映射值的浮动量化上限值以及浮动量化下限值,进而可以根据浮动量化上限值以及浮动量化下限值确定所针对的特征元素在预设筛选条件下的判定结果,由于是针对尺度参数映射值的浮动情况进行筛选条件判断,判断过程相对简单,提高了筛选效率。
在一些实施例中,从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,包括:确定映射至第一量化方式对应的各个取整跳变点的尺度参数值,获得尺度参数边界;针对每个特征元素,获取对应的尺度参数值的浮动上限值以及浮动下限值;在浮动上限值和浮动下限值中任意一项,在任一尺度参数边界发生跳变的情况下,从各特征元素中筛选出所述所针对的特征元素。
其中,浮动上限值为对应的尺度参数值按照预设浮动精度范围的上限浮动后的数值,浮动量化下限值为对应的尺度参数值按照预设浮动精度范围的下限浮动后的数值,假设预设精度为,则尺度参数值/>按照预设浮动精度范围的上限浮动后的数值为/>,尺度参数值/>按照预设浮动精度范围的下限浮动后的数值为/>。
本实施例中,预设精度是针对尺度参数值设置的,预设浮动精度范围是尺度参数值的浮动范围。本实施例中,服务器可以确定映射至映射值范围[0,L-1]中每个整数值的尺度参数值,将这些尺度参数值作为尺度参数边界值,如果所针对的特征元素的尺度参数值的浮动上限值和浮动下限值中任意一项,在任一尺度参数边界发生跳变,即该尺度参数值对应的浮动后的数值相对于浮动前的数值跨越了任一尺度参数边界,则服务器可以将特征元素筛选出来,如果浮动上限值和浮动下限值,均未在任何尺度参数边界发生跳变,则确定所针对的特征元素在预设筛选条件下的判定结果为指示所获得的预估量化值存在至少两种数值。
在具体应用中,服务器可以首先确定特征元素的尺度参数值最接近的尺度参数边界,将浮动上限值和浮动下限值分别与尺度参数值进行比较,如果浮动上限值大于该尺度参数值,则说明浮动上限值在该尺度参数边界发生跳变,或者,如果浮动下限值小于该尺度参数值,则说明浮动下限值在该尺度参数边界发生跳变。举例说明,假设映射至[0,L-1]中的1的尺度参数值为0.028,如果某个尺度参数值为0.027,预设精度为0.002,则该尺度参数值的浮动上限值0.029在尺度参数边界0.028处发生了跳变。
上述实施例中,通过确定尺度参数边界,可以直接针对特征元素的尺度参数值的浮动上限值以及浮动下限值,进行边界跳变判断,由于不需要进行数值区间映射即可进行筛选,提高了筛选效率。
在一些实施例中,根据各特征元素各自的尺度参数量化值,对特征数据进行熵编码,包括:从各特征元素各自的尺度参数量化值中,筛选出一部分尺度参数量化值;筛选出的尺度参数量化值相比未筛选出的尺度参数量化值更大;从各特征元素中,筛选与筛选获得的各尺度参数量化值各自对应的特征元素;根据筛选获得的各特征元素各自的尺度参数量化值,对特征数据进行熵编码,获得特征数据对应的编码数据流。
具体地,服务器可以按照筛选条件从各特征元素各自的尺度参数量化值中,筛选出一部分尺度参数量化值,筛选出的尺度参数量化值相比未筛选出的尺度参数量化值更大。可选的,筛选条件可以为判定尺度参数量化值超过预设量化阈值;可选的,筛选条件还可以为判定尺度参数量化值为按照从小到大排序时,排列在前N;可选的,筛选条件还可以为判定尺度参数量化值为所有尺度参数量化值中数值最大的N%比例的数据。尺度参数量化值主要体现该位置确定性的程度,对于尺度参数量化值较低的值,确定性非常高,可以将其跳过,从而减少真实编码的特征元素个数。因此服务器可以从各尺度参数量化值中,按照预设筛选条件进行筛选,以筛选出一部分数值较大的尺度参数量化值,以期望在熵编码的过程中,仅根据这部分尺度参数量化值筛选对应的特征元素进行熵编码,并跳过对其他特征元素的熵编码。
在一些具体实施例中,当特征数据为对运动补偿数据进行前置编码获得时,针对未筛选出的尺度参数量化值,服务器还可以进行二次筛选,在二次筛选中,服务器还可以获取特征数据所属视频帧的运动估计数据,根据运动估计数据确定与未筛选出的尺度参数量化值中各尺度参数量化值各自对应的特征元素所处位置相匹配的运动估计值,进而可以从未筛选出的尺度参数量化值中,筛选位置相匹配的运动估计值大于运动估计阈值的尺度参数量化值。
尺度参数量化值与特征元素之间的对应关系是根据特征元素的位置确定的,以特征数据为特征图为例,针对特征数据确定的尺度参数量化值进行量化得到的尺度参数量化值可以是与特征图尺寸相同的图,从而针对该尺寸相同的图中每一个尺度参数量化值,在特征图中相同位置处的特征元素即为该所针对的尺度参数量化值对应的特征元素。
具体地,服务器可以从特征数据所包括的多个特征元素中,筛选与筛选获得的各尺度参数量化值各自对应的特征元素,由于筛选出的尺度参数量化值只有一部分,因此筛选出的特征元素也只包括特征数据的部分特征元素,在接下来的熵编码过程中,服务器仅针对筛选出来的特征元素进行熵编码,跳过针对未筛选出的特征元素的熵编码。
上述实施例中,由于在熵编码的过程中,可以按照预设筛选条件筛选数值较大的尺度参数量化值,并根据筛选出的尺度参数量化值筛选特征元素,仅针对筛选出的特征元素进行熵编码,跳过未筛选出的特征元素的熵编码过程,从而可以显著减少需执行熵编码的特征元素个数,大大降低熵编码的复杂度,显著提高了视频编码效率。
在一些实施例中,目标视频帧的特征数据通过对目标视频帧的原始数据进行前置编码获得;上述数据编码方法还包括:获取前一帧视频帧的编码数据流,基于前一帧视频帧的编码数据流重建得到前一帧视频帧;基于重建得到的前一帧视频帧对目标视频帧进行运动估计,获得目标视频帧的运动估计数据;基于运动估计数据对目标视频帧进行残差补偿估计,获得目标视频帧的残差补偿数据;将运动估计数据和残差补偿数据,作为目标视频帧的原始数据。
其中,前一帧视频帧的编码数据流是通过对前一帧视频帧的特征数据进行编码处理得到的。前一帧视频帧可以是目标视频帧所属视频帧中与目标视频帧相邻、且帧序号小于目标视频帧的视频帧,例如目标视频帧为视频中的第10帧,则前一帧视频帧可以是第9帧。
具体地,在需要针对目标视频帧进行编码时,服务器可以获取前一帧视频帧的编码数据流,基于前一帧视频帧的编码数据流重建得到前一帧视频帧,基于重建得到的前一帧视频帧对目标视频帧进行运动估计,获得目标视频帧的运动估计数据,基于运动估计数据对目标视频帧进行残差补偿估计,获得目标视频帧的残差补偿数据,所获得的运动估计数据和残差补偿数据即目标视频帧对应的原始数据,服务器对这些原始数据进行前置编码可以获得前一帧视频帧的特征数据,在获得特征数据后,服务器可以通过执行前文实施例的步骤进行熵编码,以获得目标视频帧的编码数据流。
上述实施例中,由于可以获取前一帧视频帧的编码数据流,基于前一帧视频帧的编码数据流解码重建得到前一帧视频帧,在解码重建得到的视频帧的基础上对目标视频帧进行编码,进一步保证解码端解码重建的数据与编码端一致。
在一些实施例中,基于前一帧视频帧的编码数据流重建得到前一帧视频帧,包括:获取针对前一帧视频帧的特征数据进行编码过程中获得的各尺度参数量化值;其中,对应于前一帧视频帧的编码数据流中所编码的特征元素位置以外、以及所编码的特征元素位置处的特征元素的尺度参数量化值,分别采用第一量化方式和第二量化方式量化获得;根据获取的各尺度参数量化值对前一帧视频帧对应的编码数据流进行熵解码,获得针对前一视频帧恢复的特征数据;基于针对前一视频帧恢复的特征数据进行数据重建,获得重建的前一帧视频帧。
具体地,服务器对前一帧视频帧的特征数据进行编码过程与当前帧相同,即获取前一帧视频帧的特征数据的辅助编码信息,根据该辅助编码信息确定前一帧视频帧的特征数据所包括的各特征元素各自的概率分布的尺度参数值,从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值,根据各特征元素各自的尺度参数量化值,对特征数据进行熵编码,根据熵编码获得的编码数据流及筛选出的各特征元素各自的特征元素位置,确定前一帧数据帧的编码数据流,可见,对应于前一帧视频帧的编码数据流中所编码的特征元素位置以外、以及所编码的特征元素位置处的特征元素的尺度参数量化值,分别采用第一量化方式和第二量化方式量化获得,因此,在解码过程中,服务器可以获取针对前一帧视频帧的特征数据进行编码过程中获得的各尺度参数量化值,根据获取的各尺度参数量化值对前一帧视频帧对应的编码数据进行熵解码,获得针对前一视频帧恢复的特征数据,最后根据针对前一视频帧恢复的特征数据进行数据重建,获得重建的前一帧视频帧。
上述实施例中,在编码端,通过针对前一帧视频帧的特征数据进行编码过程中获得的各尺度参数量化值,对前一帧视频帧对应的编码数据进行熵解码,一方面,由于无需再次进行量化,提高了编码端的解码效率,另一方面由于可以获得和编码过程完全相同的量化结果,还可以提高解码准确性。
在一些实施例中,如图4所示,提供了一种视频解码方法,该方法由解码端执行,解码端可以是图1中的服务器104或者终端102,在本申请实施例中,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤402,获取目标视频帧的传输数据流,根据传输数据流获得目标视频帧的辅助编码信息、编码数据流以及至少一个特征元素位置。
其中,辅助编码信息指的是用于辅助编码过程的信息,即边信息(SideInformation),边信息可以是对特征数据进一步进行编码得到的特征信息,例如可以是将特征数据输入神经网络进一步提取得到的特征信息,边信息包含的特征元素的个数比特征数据的特征元素少。编码数据流是根据辅助编码信息对特征数据进行编码获得的。具体编码过程可以参考上文实施例,在此不赘述。特征数据包括的多个特征元素中,至少一个特征元素位置以外以及至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于第一量化方式的第二量化方式编码。
具体地,编码端在进行编码过程中可以将辅助编码信息编码至传输数据流中,从而终端在接收到传输数据流后,可以从接收到的传输数据流中获取到辅助编码信息,进而可以通过辅助编码信息实现视频解码。由于在编码过程中,传输数据流中还编入了特征元素位置,因此,终端可以从传输数据流获得至少一个特征元素位置,这些特征元素位置即为编码过程中筛选出的符号预设筛选条件的特征元素的位置,这些特征元素位置处的特征元素的尺度参数值在编码端采用了不同于预设量化方式(即第一量化方式)的第二量化方式进行量化处理。
步骤404,根据辅助编码信息确定各特征元素各自的概率分布的尺度参数值,并从各尺度参数值中,筛选处于各特征元素位置处的特征元素各自的尺度参数值。
其中,特征元素的概率分布的尺度参数是用于描述特征元素的概率分布的幅度,尺度参数越大,概率分布的曲线越扁平,反之,尺度参数越小,曲线越瘦高。在具体应用中,特征元素的概率分布可以是高斯分布或者拉普拉斯分布,当特征元素的概率分布可以是高斯分布时,尺度参数具体可以是概率分布的方差或者标准差。
具体地,终端可以利用辅助编码信息对特征数据所包括的各特征元素的概率分布进行估计,获得各特征元素各自的概率分布的尺度参数值,从各尺度参数值中,筛选处于各特征元素位置处的特征元素各自的尺度参数值。
步骤406,对未筛选出的各尺度参数值采用第一量化方式进行量化,并对筛选出的各尺度参数值采用第二量化方式进行量化。
具体地,由于筛选出的特征元素的尺度参数值在编码端采用了第二量化方式进行量化,为保证编码端和解码端的量化结果一致,终端可以对未筛选出的各尺度参数值采用第一量化方式进行量化,并对筛选出的各尺度参数值采用第二量化方式进行量化。
可以理解的是,编码端和解码端可以预先约定第一量化方式和第二量化方式,即解码端所采用的第一量化方式与编码端的第一量化方式相同,解码端所采用的第二量化方式与编码端的第二量化方式相同。
步骤408,根据对各尺度参数值量化获得的各尺度参数量化值,对编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到目标视频帧。
具体地,终端可以基于各尺度参数值量化重新确定尺度参数值,根据重新确定的尺度参数值确定算术编码所需的概率分布函数,进而根据概率分布函数进行算术解码,基于熵解码恢复的特征数据重建得到目标视频帧。
在具体应用中,终端可以通过上文公式(1)构建尺度参数量化值与尺度参数值之间的概率分布函数查找表,从而在获得尺度参数量化值后,可以查找概率分布函数查找表获得重新确定的尺度参数值,根据确定算术编码所需的概率分布函数。
上述视频解码方法,由于可以根据传输数据流获得编码数据流以及至少一个特征元素位置,编码数据流是根据辅助编码信息对特征数据进行编码获得的;特征数据包括的多个特征元素中,至少一个特征元素位置以外以及至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于第一量化方式的第二量化方式编码,解码端可以获知编码过程中采用第二量化方式进行特征处理的特征元素,进而在根据辅助编码信息确定各特征元素各自的尺度参数值,并从各尺度参数值中,筛选处于各特征元素位置处的特征元素各自的尺度参数值,对未筛选出的各尺度参数值采用第一量化方式进行量化,并对筛选出的各尺度参数值采用与编码过程中相同的第二量化方式进行特殊处理,保证编解码过程获得的量化结果一致,从而可以提高解码过程重建获得的视频帧的准确性。
在一些实施例中,根据对各尺度参数值量化获得的各尺度参数量化值,对编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到目标视频帧,包括:从对各尺度参数值量化获得的各尺度参数量化值中,筛选出一部分尺度参数量化值;筛选出的尺度参数量化值相比未筛选出的尺度参数量化值更大;基于筛选出的尺度参数量化值对编码数据流进行熵解码,获得相应的特征元素;确定构成特征数据的未进行熵编码的特征元素所处位置的替代元素;将熵解码获得的特征元素和替代元素合并,基于熵解码恢复的特征数据重建得到目标视频帧。
具体地,终端可以按照与编码端相同的筛选条件从对各尺度参数值量化获得的各尺度参数量化值中,筛选出一部分尺度参数量化值,进而终端可以根据筛选出的这部分尺度参数量化值重新确定对应的尺度参数值,进而根据重新确定的尺度参数确定算术编码所需的概率分布函数,进而根据概率分布函数进行算术解码,获得相应的特征元素,终端还可以根据未筛选出的尺度参数量化值对应的位置确定构成特征数据的未进行熵编码的特征元素所处位置处的替代元素,进一步可以将熵解码获得的特征元素和替代元素合并,基于熵解码恢复的特征数据重建得到目标视频帧,最后恢复的特征数据进行数据重建,获得重建的视频帧,这里的数据重建指的是上文前置编码的逆过程。
上述实施例中,由于可以筛选出数值较大的尺度参数量化值,仅基于筛选出的尺度参数量化值进行熵解码,可以仅针对部分特征元素进行熵解码,大大降低熵编码的复杂度,显著提高了视频解码效率。
在一些实施例中,量化处理获得的各尺度参数量化值与特征数据中各特征元素各自的位置一一对应,辅助编码信息是通过对特征数据进行超先验编码获得的;确定构成特征数据的未进行熵编码的特征元素的位置处的替代元素,包括:获取利用辅助编码信息对各特征元素的概率分布进行估计获得的预测特征值;根据未筛选出的各尺度参数量化值各自对应的位置,分别从各预测特征值筛选位置相匹配的预测特征值;将筛选出的预测特征值,确定为构成特征数据的未进行熵编码的各特征元素各自所处位置中位置相匹配处的替代元素。
本实施例中,终端在利用辅助编码信息对各特征元素各自的概率分布进行估计时,还可以获得预测特征值,该预测特征值具体可以是特征元素概率分布的均值,由于熵编码过程中的跳过的特征元素基本上都是确定性较高的特征元素,这些特征元素所包含的基本上都是冗余信息,对这些特征元素的概率分布进行估计获得的预测特征值通常较为准确,因此在解码过程中,对于未进行熵编码的特征元素,可以用概率分布估计所获得的预测特征值进行替代。可以理解的是,这里的预测特征值即为上文的位置参数值,当特征元素的概率分布为高斯分布时,预测特征值即为该特征元素的概率分别的均值,或者说数学期望。
尺度参数量化值、预测特征值均为与特征元素所在特征图尺寸相同的图,因此终端在获取到预测特征值后,可以将未筛选出的各尺度参数量化值各自对应的位置,确定为未进行熵编码的特征元素所处位置,根据未进行熵编码的各特征元素所处位置,分别从各预测特征值中筛选位置相匹配的预测特征值,根据筛选出的各预测特征值,确定构成特征数据的未进行熵编码的特征元素所处位置处的替代元素。
上述实施例中,考虑到编码过程被跳过的元素通常确定性较高,可以使用概率分布估计的预测特征值作为真实值进行替代,可以减少编解码过程的毛刺现象。
在一些具体实施例中,本申请还提供一种应用场景,在该应用场景中,本申请的视频编码方法和视频解码方法用于实现跨平台的视频编解码,其中,终端可以安装有视频类应用程序,终端通过该视频类应用程序可以进行视频播放。参考图5,服务器作为编码端对原始视频中各视频帧进行视频编码获得传输数据流后发送至终端,终端作为解码端根据传输数据流进行解码获得重建的视频帧,从而可以基于重建的视频帧进行视频播放。
继续参考图5,在本实施例中,编码端的编码以及解码端的解码均是基于视频编码模型实现,视频编码模型为人工智能(Artificial Intelligence,AI)模型,可以通过神经网络实现。在视频编解码模型的编解码过程中,主要包括两个环节,分别为I帧编解码(帧内编码)和P帧编解码(帧间编码)。通常I帧编解码使用AI图像编解码算法实现,P帧编解码模型则需要针对帧间编码的特性进行设计,通常分为运动估计和残差补偿两个模块。核心思想就是将原始的图像转换为一些需要传输的特征图,并通过熵编码减少特征图传输的字节量,从而极大的减小视频传输的字节大小。
在编码环节,对于I帧模型,将原始图像转换为待传输的特征图进行传输,而对P帧模型,通常是将原始图像转换为运动估计的特征图和残差补偿的特征图进行传输。在解码环节,I帧模型收到特征图后重建出I帧图像,P帧模型收到运动估计的特征图重建运动估计,作用于参考的I帧重建图像得到运动估计的P帧中间结果,最后再利用残差补偿的特征图重建残差补偿信息,作用于P帧中间结果,从而得到P帧的重建图像。
对于如何进行特征图的传输,可以采用熵编码估计进行实现。熵编码是一种常见的数据压缩技术,也是视频编解码技术中非常重要的一环。在视频编码中,熵编码通常用于压缩视频编码器中的残差数据、运动矢量和其他编码参数,以减少视频数据的存储空间和传输带宽。
熵编码估计模块的目的是根据输入的编码数据流估计其熵编码所需的比特数。这个模块通常是基于统计模型来实现的,它会对编码数据流进行分析和建模,以便在熵编码过程中尽可能减少所需的比特数。常用的熵编码算法包括哈夫曼编码、算术编码等。以算术编码为例,在熵编码的过程,需要对每一个特征元素(可以理解成特征图中的每一个值)进行算术编码计算,为了能有更高的压缩率,熵编码过程往往会引入高精度的概率估计函数。而解码端为了能够从编码端编码的字节流中完全正确的解码对应元素,需要使用与编码端完全一致的概率估计函数。
在执行编解码计算的过程中,往往使用单精度浮点数float进行计算,当编解码器都运行在相同机器的相同计算环境下时,很容易保证编解码使用一致的概率估计函数,或保证计算误差在编解码可以容忍的范围内。而当编解码器运行在不同的机器或不同的计算环境下时,不同条件下执行的单精度float计算可能存在较大的精度误差,从而导致解码端解码获得图像准确性低。如,编码端通过熵模型获得到两个尺度参数值为(0.69776964,0.11562958),按照预设量化方式量化后的整数值/>为(73,2);而对应这两个位置处的特征元素,解码端通过熵模型获得到两个/>值为(0.69777036,0.11562885),按照预设量化方式量化后的整数值/>为(74,1),可见解码端的解码过程获得的整数值分别在73和2处发生了跳变,与编码端不一致,将会影响解码重建的图像准确性,导致解码失败。解码失败现象如图6所示,图6中的马赛克位置处为解码失败的像素。
为解决编解码端因为跨平台计算造成精度误差,从而导致解码失败的问题,相关技术中,需要将视频编解码模型的所有子模块都从不确定的单精度浮点数float计算转换为确定性的整数int计算,转换过程需要遵循一定的规则,且需要做一些对齐的训练工作。这种转换过程会损失视频编解码模型的精度,导致视频编解码模型的性能下降。
本申请提出视频编码方法和视频解码方法,在编码端编码时,通过对熵模型输出的参数确定一些可能出现编解码计算不一致的特征元素,然后额外传输一些冗余字节流表示这些特征元素的位置。当解码端解码时,根据接收到的冗余信息,对可能与编码端存在误差的非确定性元素进行与编码端一致的处理,以规避编解码端计算精度误差带来的计算结果不一致问题,从而对齐编解码端的计算结果,实现跨平台的编码与解码。以下进行具体介绍:
首先对本申请的视频编解码模型进行介绍,参考图7,对于目标视频帧的原始数据(可能是视频帧、运动估计数据、残差估计数据等),经过编码模块进行前置编码后,可以将原始数据进行第一阶段压缩,得到特征图;解码端获取得到恢复的特征图,经过解码模块后可以重建得到目标视频帧。
对于如何传输特征图,则需要引入第二阶段的编码,即算术编码模块,首先对待编码特征图进行熵模型估计,得到每个特征元素对应的(μ,σ),其中,μ指的是特征元素的概率分布的尺度参数值,指的是特征元素的概率分布的位置参数值,然后通过/>量化为/>,最后通过/>查找概率分布函数查找表得到/>,根据/>即可确定算术编码需要的概率分布函数,从而实现对待编码特征图的信息压缩。该阶段的技术流程如图8所示。各步骤详细说明如下:
对于视频编解码模型中得到的特征图y,其为待编码的特征图。通过超先验编码模块可以将带编码特征图编码得到超先验z,超先验也会使用一定的方式传输至解码端。在编码端,当得到超先验z后,需要对z进行超先验解码,会得到对应待编码特征图y中各特征元素的(μ,σ),(μ,σ)可以理解为对y的概率估计,有助于在后续的熵编码环节进行更高压缩率的压缩。
相关技术中,在熵编码模块,对于每个特征元素的,可以根据公式(2)和(3)得到尺度参数映射值I,然后可以通过以下公式(4)进行取整,得到尺度参数量化值/>,其中,Q表示向下取整量化函数。
使用可以从概率分布函数查找表中查到对应的/>值,利用/>作为算术编码所需的分布函数,可以将y压缩为尽可能少的字节流,即获得编码字节流(即上文的编码数据流),方便后续的传输。其中概率分布函数查找表通过以上公式(1)进行构建。
参考图9,在编码端的编码过程中,相关技术中,如图9中左侧框图所示,熵模型根据超先验和条件信息对概率分布进行估计并对尺度参数值进行量化后,可以获得,在解码端的编码过程中,熵模型根据超先验和条件信息对概率分布进行估计并对尺度参数值进行量化后,获得/>,获得的/>和/>由于跨平台从而造成了计算不一致问题,下标e和d分别表示编码端(encoder)和解码端(decoder),条件信息可以是上一帧的参考信息,例如可以是上一帧的特征数据。参考图9的右侧,本申请通过对量化获得/>的过程进行改进,并引入校准信息Cb,从而使编解码端计算得到一致的/>,从而在编解码端算术编码时可以使用相同的编解码参数,最终解码端可以得到正确的重建结果。/>
具体来说,当在编码端计算得到后,可以使用公式(5-7)计算得到/>,最后通过概率分布函数查找表得到/>,如下所示:
其中,是精度参数通常设为1e-4,Q为公式(4)中的量化函数,QD是将输入的元素四舍五入为最接近的整数的量化函数。简单概括,通过预设筛选条件对所有特征元素的/>进行判断,将其中靠近整数边界的值,通过/>筛选出来,并将这些值的位置信息作为校准信息传递至解码端,另外对于符合预设筛选条件的特征元素,使用四舍五入取整替换原始的向下取整,从而确保这些元素在编解码端计算得到一致的量化值;对于不符合预设筛选条件的特征元素,仍然采用原始的向下取整方法,也可以确保这些特征元素在编解码端计算的一致性。从而使编解码端得到完全一致/>,进而解决解码端的解码错误问题,提高解码端重建的图像的准确性。
参考图10,为解码端的流程示意图,与编码部分的超先验解码一致。当得到超先验z后,需要对z进行超先验解码,会得到对应待编码特征图中各特征元素的尺度参数值和位置参数值/>,根据超先验解码得到的/>计算可以得到概率分布参数/>,通过/>可以从编码端编码得到的编码字节流中解码得到特征图y_hat,从而进行后续解码环节得到最终的重建图像。在得到概率分布参数/>的过程中,对于编码端传输了位置信息的特征元素的I,采用公式(6)进行取整,对于其他特征元素的I,采用原始的取整方式即公式(4)进行取整。
举例说明,参考图11,当不使用校准信息传输时(图11左侧所示),编码端和解码端因为平台差异,导致在编解码端出现细微差异,从而在后续的计算中得到了不一样的/>,如图11中左侧的例子中,编码端得到的/>为1,解码端得到的/>为2,因此导致用于算术编码和解码的/>不一致,从而造成解码错误,最终得到错误的重建图像。而当使用本申请提出的校准信息传输时(图11右侧所示),对编码端得到的/>进行公式(5)所示的预设筛选条件判断,确定其中可能会产生整数边缘跳变的特征元素,并将表示这些特征元素的位置信息通过校准信息字节流传递至解码端,例如将坐标(3,5)处的特征元素的位置信息通过校准信息字节流传递至解码端,编解码端将对坐标(3,5)处的特征元素按照公式(6)所示的量化方案进行特殊处理,从而得到编解码端完全一致的/>(如图11右侧所示编解码得到一致的2),最终解码端将能够正确解码得到重建图像。
本申请有较强的适用性,不依赖硬件环境,可以处理各种类型的视频编解码任务,并能在跨平台场景顺利运行。本申请具有以下几个有益效果:(1)使用范围广。对于采用与本申请相似的算术编码进行熵编码压缩的AI视频编解码算法,本申请都可以通过引入校准信息传输策略实现跨平台场景的计算一致性;(2)易用性。对于满足使用条件的已经训练好的视频编解码模型,无需任何额外训练,只需在其中增加校准信息传输环节,即可解决跨平台问题;(3)易于部署,由于本申请不需要修改任何模型结构,因此现有的模型推理框架都可以继续使用(如pytorch、tensorflow),在实际应用中易于部署;(4)性能损失小。对于已有的跨平台方案,量化过程大多会导致模型指标有所下降,本申请只需要引入少量的校准信息传输字节,在视频帧重建质量不变的情况下,只增加少量的传输字节流,对模型性能影响较小。
对于采用本申请提出的校准信息传输策略,进行了跨平台场景验证,结果如图12所示。正确率是以视频帧为单位统计,w/o CIT表示未采用本申请实施例提供的视频编码方法进行编码,w CIT表示采用了本申请实施例所提供的视频编码方法进行编码,表示校准信息条件的精度参数。可以看出当未采用本申请实施例提供的视频编码方法进行编码,在同一平台编解码没有错误现象,当在跨平台场景下,几乎所有视频帧重建都会失败;而采用本申请策略后,在/>的精度下,跨平台场景不存在任何的重建失败现象。这充分说明了本申请的有效性。
可以理解的是,在具体实现中,越大表示被校准信息条件覆盖的特征元素越多,能够覆盖更多的跨平台场景。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的视频编码方法的视频编码装置,以及一种用于实现上述所涉及的视频解码方法的视频解码装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个视频编码装置、视频解码装置实施例中的具体限定可以参见上文中对于视频编码方法、视频解码方法的限定,在此不再赘述。
在一些实施例中,如图13所示,提供了一种视频编码装置1300,包括:
尺度参数值确定模块1302,用于获取目标视频帧的特征数据的辅助编码信息,根据辅助编码信息确定特征数据所包括的各特征元素各自的概率分布的尺度参数值;
特征元素筛选模块1304,用于从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素;预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值;
量化值获取模块1306,用于获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值;第二量化方式异于第一量化方式;
熵编码模块1308,用于根据各特征元素各自的尺度参数量化值,对特征数据进行熵编码;
传输数据流确定模块1310,用于根据熵编码获得的编码数据流及筛选出的各特征元素各自的特征元素位置,确定目标视频帧的传输数据流。
上述视频编码装置,由于可以从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值,因此在编码过程中可以筛选出解码过程中在第一量化方式下量化可能会出现量化结果不一致的元素,进而在进行熵编码时,可以获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值,然后根据各特征元素各自的尺度参数量化值,对各特征元素进行熵编码,最后根据熵编码获得的编码数据流及筛选出的各特征元素各自的特征元素位置,确定目标视频帧的传输数据流,使得解码过程可以对筛选出的各特征元素采用第二量化方式对进行特殊处理,保证了编解码过程获得的量化结果一致,从而可以提高解码过程重建获得的视频帧的准确性。
在一些实施例中,特征元素筛选模块,还用于针对每个特征元素,将所针对的特征元素的尺度参数值映射至映射值范围,获得所针对的特征元素的尺度参数映射值;获取尺度参数映射值的浮动量化上限值以及浮动量化下限值;浮动量化上限值为对尺度参数映射值按照预设浮动精度范围的上限浮动后的数值,进行预设取整方式取整获得;浮动量化下限值为对尺度参数映射值按照预设浮动精度范围的下限浮动后的数值,进行预设取整方式取整获得;根据浮动量化上限值以及浮动量化下限值,确定所针对的特征元素在预设筛选条件下的判定结果;从各特征元素中,筛选判定结果指示所获得的预估量化值存在至少两种数值的特征元素。
在一些实施例中,特征元素筛选模块,还用于获取浮动量化上限值与浮动量化下限值之间的差值绝对值;在差值绝对值大于零的情况下,确定所针对的特征元素在预设筛选条件下的判定结果为指示所获得的预估量化值存在至少两种数值。
在一些实施例中,特征元素筛选模块,还用于获取浮动量化上限值与所针对的特征元素对应的尺度参数量化值之间的第一差值绝对值;所针对的特征元素对应的尺度参数量化值,通过第一量化方式对所针对的特征元素的尺度参数值进行量化获得;获取浮动量化下限值与所针对的特征元素对应的尺度参数量化值之间的第二差值绝对值;在第一差值绝对值和第二差值绝对值中任意一项大于零的情况下,确定所针对的特征元素在预设筛选条件下的判定结果为指示所获得的预估量化值存在至少两种数值。
在一些实施例中,特征元素筛选模块,还用于确定映射至第一量化方式对应的各个取整跳变点的尺度参数值,获得尺度参数边界;针对每个特征元素,获取对应的尺度参数值的浮动上限值以及浮动下限值;浮动上限值为对应的尺度参数值按照预设浮动精度范围的上限浮动后的数值;浮动量化下限值为对应的尺度参数值按照预设浮动精度范围的下限浮动后的数值;在浮动上限值和浮动下限值中任意一项,在任一尺度参数边界发生跳变的情况下,从各特征元素中筛选出所针对的特征元素。
在一些实施例中,第一量化方式和第二量化方式为以下量化方式中的任意两种:将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行向上取整;将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行向下取整;将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行就近取整。
在一些实施例中,量化值获取模块,用于针对未筛选出的每个特征元素,将在第一量化方式的预设取整方式下,与所针对的特征元素的尺度参数映射值最接近的整数,确定为所针对的特征元素的尺度参数量化值;获取第二量化方式下预设的整数,将预设的整数分别确定为筛选出的每个特征元素的尺度参数量化值。
在一些实施例中,熵编码模块,还用于从各特征元素各自的尺度参数量化值中,筛选出一部分尺度参数量化值;筛选出的尺度参数量化值相比未筛选出的尺度参数量化值更大;从各特征元素中,筛选与筛选获得的各尺度参数量化值各自对应的特征元素;根据筛选获得的各特征元素各自的尺度参数量化值,对特征数据进行熵编码,获得特征数据对应的编码数据流。
在一些实施例中,特征数据通过对目标视频帧的原始数据进行前置编码获得;上述视频编码装置还包括:原始数据确定模块,用于获取前一帧视频帧的编码数据流,基于前一帧视频帧的编码数据流重建得到前一帧视频帧;基于重建得到的前一帧视频帧对目标视频帧进行运动估计,获得目标视频帧的运动估计数据;基于运动估计数据对目标视频帧进行残差补偿估计,获得目标视频帧的残差补偿数据;将运动估计数据和残差补偿数据,作为目标视频帧的原始数据。
在一些实施例中,原始数据确定模块,还用于获取针对前一帧视频帧的特征数据进行编码过程中获得的各尺度参数量化值;其中,对应于前一帧视频帧的编码数据流中所编码的特征元素位置以外、以及所编码的特征元素位置处的特征元素的尺度参数量化值,分别采用第一量化方式和第二量化方式量化获得;根据获取的各尺度参数量化值对前一帧视频帧对应的编码数据流进行熵解码,获得针对前一视频帧恢复的特征数据;基于针对前一视频帧恢复的特征数据进行数据重建,获得重建的前一帧视频帧。
在一些实施例中,如图14所示,提供了一种视频解码装置1400,包括:
数据获得模块1402,用于获取传输数据流相对应的辅助编码信息,并根据传输数据流获得编码数据流以及至少一个特征元素位置;编码数据流是根据辅助编码信息对特征数据进行编码获得的;特征数据包括的多个特征元素中,至少一个特征元素位置以外以及至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于第一量化方式的第二量化方式编码;
筛选模块1404,用于根据辅助编码信息确定各特征元素各自的概率分布的尺度参数值,并从各尺度参数值中,筛选处于各特征元素位置处的特征元素各自的尺度参数值;
量化模块1406,用于对未筛选出的各尺度参数值采用第一量化方式进行量化,并对筛选出的各尺度参数值采用第二量化方式进行量化;
解码模块1408,用于根据对各尺度参数值量化获得的各尺度参数量化值,对编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到目标视频帧。
上述视频解码装置,由于可以根据传输数据流获得编码数据流以及至少一个特征元素位置,编码数据流是根据辅助编码信息对特征数据进行编码获得的;特征数据包括的多个特征元素中,至少一个特征元素位置以外以及至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于第一量化方式的第二量化方式编码,解码端可以获知编码过程中采用第二量化方式进行特征处理的特征元素,进而在根据辅助编码信息确定各特征元素各自的尺度参数值,并从各尺度参数值中,筛选处于各特征元素位置处的特征元素各自的尺度参数值,对未筛选出的各尺度参数值采用第一量化方式进行量化,并对筛选出的各尺度参数值采用与编码过程中相同的第二量化方式进行特殊处理,保证编解码过程获得的量化结果一致,从而可以提高解码过程重建获得的视频帧的准确性。
在一些实施例中,解码模块,还用于从对各尺度参数值量化获得的各尺度参数量化值中,筛选出一部分尺度参数量化值;筛选出的尺度参数量化值相比未筛选出的尺度参数量化值更大;基于筛选出的尺度参数量化值对编码数据流进行熵解码,获得相应的特征元素;确定构成特征数据的未进行熵编码的特征元素所处位置的替代元素;将熵解码获得的特征元素和替代元素合并,基于熵解码恢复的特征数据重建得到目标视频帧。
在一些实施例中,量化处理获得的各尺度参数量化值与特征数据中各特征元素各自的位置一一对应,辅助编码信息是通过对特征数据进行超先验编码获得的;解码模块,还用于获取利用辅助编码信息对各特征元素的概率分布进行估计获得的预测特征值;根据未筛选出的各尺度参数量化值各自对应的位置,分别从各预测特征值筛选位置相匹配的预测特征值;将筛选出的预测特征值,确定为构成特征数据的未进行熵编码的各特征元素各自所处位置中位置相匹配处的替代元素。
上述视频编码装置、视频解码装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储传输数据流或者解码得到的重建数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频编码方法或者一种视频解码方法。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频编码方法或者一种视频解码方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图15、图16中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述任一实施例中视频编码方法或者视频解码方法的步骤。
在一些实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例中视频编码方法或者视频解码方法的步骤。
在一些实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任一实施例中视频编码方法或者视频解码方法的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (17)
1.一种视频编码方法,其特征在于,所述方法包括:
获取目标视频帧的特征数据的辅助编码信息,根据所述辅助编码信息确定所述特征数据所包括的各特征元素各自的概率分布的尺度参数值;
从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素;所述预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值;
获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值;所述第二量化方式异于所述第一量化方式;
根据各特征元素各自的尺度参数量化值,对所述特征数据进行熵编码;
根据所述熵编码获得的编码数据流及筛选出的各所述特征元素各自的特征元素位置,确定所述目标视频帧的传输数据流。
2.根据权利要求1所述的方法,其特征在于,所述从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,包括:
针对每个特征元素,将所针对的特征元素的尺度参数值映射至映射值范围,获得所述所针对的特征元素的尺度参数映射值;
获取所述尺度参数映射值的浮动量化上限值以及浮动量化下限值;所述浮动量化上限值为对所述尺度参数映射值按照预设浮动精度范围的上限浮动后的数值,进行预设取整方式取整获得;所述浮动量化下限值为对所述尺度参数映射值按照预设浮动精度范围的下限浮动后的数值,进行预设取整方式取整获得;
根据所述浮动量化上限值以及所述浮动量化下限值,确定所述所针对的特征元素在所述预设筛选条件下的判定结果;
从各特征元素中,筛选判定结果指示所获得的预估量化值存在至少两种数值的特征元素。
3.根据权利要求2所述的方法,其特征在于,所述根据所述浮动量化上限值以及所述浮动量化下限值,确定所述所针对的特征元素在所述预设筛选条件下的判定结果,包括:
获取所述浮动量化上限值与所述浮动量化下限值之间的差值绝对值;
在所述差值绝对值大于零的情况下,确定所述所针对的特征元素在所述预设筛选条件下的判定结果为指示所获得的预估量化值存在至少两种数值。
4.根据权利要求2所述的方法,其特征在于,所述根据所述浮动量化上限值以及所述浮动量化下限值,确定所述所针对的尺度参数值在所述预设筛选条件下的判定结果,包括:
获取所述浮动量化上限值与所述所针对的特征元素对应的尺度参数量化值之间的第一差值绝对值;所述所针对的特征元素对应的尺度参数量化值,通过所述第一量化方式对所述所针对的特征元素的尺度参数值进行量化获得;
获取所述浮动量化下限值与所述所针对的特征元素对应的尺度参数量化值之间的第二差值绝对值;
在所述第一差值绝对值和所述第二差值绝对值中任意一项大于零的情况下,确定所述所针对的特征元素在所述预设筛选条件下的判定结果为指示所获得的预估量化值存在至少两种数值。
5.根据权利要求1所述的方法,其特征在于,所述从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素,包括:
确定映射至所述第一量化方式对应的各个取整跳变点的尺度参数值,获得尺度参数边界;
针对每个特征元素,获取对应的尺度参数值的浮动上限值以及浮动下限值;所述浮动上限值为对应的所述尺度参数值按照预设浮动精度范围的上限浮动后的数值;所述浮动量化下限值为对应的所述尺度参数值按照预设浮动精度范围的下限浮动后的数值;
在所述浮动上限值和所述浮动下限值中任意一项,在任一尺度参数边界发生跳变的情况下,从各特征元素中筛选出所述所针对的特征元素。
6.根据权利要求1所述的方法,其特征在于,所述第一量化方式和所述第二量化方式为以下量化方式中的任意两种:
将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行向上取整;
将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行向下取整;
将尺度参数值映射至映射值范围,并对所获得的尺度参数映射值进行就近取整。
7.根据权利要求1所述的方法,其特征在于,所述获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值,包括:
针对未筛选出的每个特征元素,将在所述第一量化方式的预设取整方式下,与所针对的特征元素的尺度参数映射值最接近的整数,确定为所述所针对的特征元素的尺度参数量化值;
获取所述第二量化方式下预设的整数,将所述预设的整数分别确定为筛选出的每个特征元素的尺度参数量化值。
8.根据权利要求1至7中任意一项所述的方法,其特征在于,所述根据各特征元素各自的尺度参数量化值,对所述特征数据进行熵编码,包括:
从各特征元素各自的尺度参数量化值中,筛选出一部分尺度参数量化值;筛选出的尺度参数量化值相比未筛选出的尺度参数量化值更大;
从各特征元素中,筛选与筛选获得的各尺度参数量化值各自对应的特征元素;
根据筛选获得的各特征元素各自的尺度参数量化值,对所述特征数据进行熵编码,获得所述特征数据对应的编码数据流。
9.根据权利要求1至7中任意一项所述的方法,其特征在于,所述特征数据通过对目标视频帧的原始数据进行前置编码获得;所述方法还包括:
获取前一帧视频帧的编码数据流,基于前一帧视频帧的编码数据流重建得到前一帧视频帧;
基于重建得到的所述前一帧视频帧对目标视频帧进行运动估计,获得所述目标视频帧的运动估计数据;
基于所述运动估计数据对目标视频帧进行残差补偿估计,获得所述目标视频帧的残差补偿数据;
将所述运动估计数据和所述残差补偿数据,作为所述目标视频帧的原始数据。
10.根据权利要求9所述的方法,其特征在于,所述基于前一帧视频帧的编码数据流重建得到前一帧视频帧,包括:
获取针对前一帧视频帧的特征数据进行编码过程中获得的各尺度参数量化值;其中,对应于所述前一帧视频帧的编码数据流中所编码的特征元素位置以外、以及所述所编码的特征元素位置处的特征元素的尺度参数量化值,分别采用所述第一量化方式和所述第二量化方式量化获得;
根据获取的各所述尺度参数量化值对所述前一帧视频帧对应的编码数据流进行熵解码,获得针对前一视频帧恢复的特征数据;
基于针对前一视频帧恢复的特征数据进行数据重建,获得重建的前一帧视频帧。
11.一种视频解码方法,其特征在于,所述方法包括:
获取目标视频帧的传输数据流,根据所述传输数据流获得所述目标视频帧的辅助编码信息、编码数据流以及至少一个特征元素位置;所述编码数据流是根据所述辅助编码信息对特征数据进行编码获得的;所述特征数据包括的多个特征元素中,所述至少一个特征元素位置以外以及所述至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于所述第一量化方式的第二量化方式编码;
根据所述辅助编码信息确定各特征元素各自的概率分布的尺度参数值,并从各尺度参数值中,筛选处于各特征元素位置处的特征元素各自的尺度参数值;
对未筛选出的各尺度参数值采用所述第一量化方式进行量化,并对筛选出的各尺度参数值采用所述第二量化方式进行量化;
根据对各尺度参数值量化获得的各尺度参数量化值,对所述编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到所述目标视频帧。
12.根据权利要求11所述的方法,其特征在于,所述根据对各尺度参数值量化获得的各尺度参数量化值,对所述编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到所述目标视频帧,包括:
从对各尺度参数值量化获得的各尺度参数量化值中,筛选出一部分尺度参数量化值;筛选出的尺度参数量化值相比未筛选出的尺度参数量化值更大;
基于所述筛选出的尺度参数量化值对所述编码数据流进行熵解码,获得相应的特征元素;
确定构成所述特征数据的未进行熵编码的特征元素所处位置的替代元素;
将熵解码获得的所述特征元素和所述替代元素合并,基于熵解码恢复的特征数据重建得到所述目标视频帧。
13.根据权利要求12所述的方法,其特征在于,所述量化处理获得的各尺度参数量化值与所述特征数据中各特征元素各自的位置一一对应,所述辅助编码信息是通过对所述特征数据进行超先验编码获得的;
所述确定构成所述特征数据的未进行熵编码的特征元素的位置处的替代元素,包括:
获取利用所述辅助编码信息对各特征元素的概率分布进行估计获得的预测特征值;
根据未筛选出的各尺度参数量化值各自对应的位置,分别从各所述预测特征值筛选位置相匹配的预测特征值;
将筛选出的预测特征值,确定为构成所述特征数据的未进行熵编码的各特征元素各自所处位置中位置相匹配处的替代元素。
14.一种视频编码装置,其特征在于,所述装置包括:
尺度参数值确定模块,用于获取目标视频帧的特征数据的辅助编码信息,根据所述辅助编码信息确定所述特征数据所包括的各特征元素各自的概率分布的尺度参数值;
特征元素筛选模块,用于从各特征元素中,筛选尺度参数值符合预设筛选条件的特征元素;所述预设筛选条件为判定对尺度参数值进行第一量化方式量化时,当对尺度参数值在包含零点的预设浮动精度范围内进行浮动数值映射后,按照预设取整方式取整,所获得的预估量化值存在至少两种数值;
量化值获取模块,用于获取对未筛选出的特征元素的尺度参数值进行第一量化方式量化获得的尺度参数量化值,并获取对筛选出的特征元素的尺度参数值进行第二量化方式量化获得的尺度参数量化值;所述第二量化方式异于所述第一量化方式;
熵编码模块,用于根据各特征元素各自的尺度参数量化值,对所述特征数据进行熵编码;
传输数据流确定模块,用于根据所述熵编码获得的编码数据流及筛选出的各所述特征元素各自的特征元素位置,确定所述目标视频帧的传输数据流。
15.一种数解码装置,其特征在于,所述装置包括:
数据获得模块,用于获取目标视频帧的传输数据流,根据所述传输数据流获得所述目标视频帧的辅助编码信息、编码数据流以及至少一个特征元素位置;所述编码数据流是根据所述辅助编码信息对特征数据进行编码获得的;所述特征数据包括的多个特征元素中,所述至少一个特征元素位置以外以及所述至少一个特征元素位置处的特征元素,分别采用第一量化方式和异于所述第一量化方式的第二量化方式编码;
筛选模块,用于根据所述辅助编码信息确定各特征元素各自的概率分布的尺度参数值,并从各所述尺度参数值中,筛选处于各所述特征元素位置处的特征元素各自的尺度参数值;
量化模块,用于对未筛选出的各尺度参数值采用所述第一量化方式进行量化,并对筛选出的各尺度参数值采用所述第二量化方式进行量化;
解码模块,用于根据对各尺度参数值量化获得的各尺度参数量化值,对所述编码数据流进行熵解码,基于熵解码恢复的特征数据重建得到所述目标视频帧。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310880099.8A CN116600119B (zh) | 2023-07-18 | 2023-07-18 | 视频编码、解码方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310880099.8A CN116600119B (zh) | 2023-07-18 | 2023-07-18 | 视频编码、解码方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116600119A true CN116600119A (zh) | 2023-08-15 |
CN116600119B CN116600119B (zh) | 2023-11-03 |
Family
ID=87606654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310880099.8A Active CN116600119B (zh) | 2023-07-18 | 2023-07-18 | 视频编码、解码方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116600119B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116828184A (zh) * | 2023-08-28 | 2023-09-29 | 腾讯科技(深圳)有限公司 | 视频编码、解码方法、装置、计算机设备和存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130050899A (ko) * | 2011-11-08 | 2013-05-16 | 주식회사 케이티 | 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치 |
JP2015070539A (ja) * | 2013-09-30 | 2015-04-13 | Kddi株式会社 | 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム |
CN105072444A (zh) * | 2015-07-31 | 2015-11-18 | 宁波大学 | 一种不同量化参数下的hevc视频二次压缩检测方法 |
CN109819263A (zh) * | 2017-11-22 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机设备及存储介质 |
CN110225339A (zh) * | 2019-05-10 | 2019-09-10 | 上海德衡数据科技有限公司 | 一种hevc视频序列编解码加速方法 |
CN111432207A (zh) * | 2020-03-30 | 2020-07-17 | 北京航空航天大学 | 基于显著目标检测和显著性指导的感知高清视频编码方法 |
WO2021063559A1 (en) * | 2019-09-30 | 2021-04-08 | Interdigital Vc Holdings France, Sas | Systems and methods for encoding a deep neural network |
CN113301347A (zh) * | 2021-05-08 | 2021-08-24 | 广东工业大学 | 一种hevc高清视频编码的优化方法 |
US11153566B1 (en) * | 2020-05-23 | 2021-10-19 | Tsinghua University | Variable bit rate generative compression method based on adversarial learning |
CN113873248A (zh) * | 2021-09-26 | 2021-12-31 | 深圳市万利翔实业有限公司 | 一种数字视频数据编码及解码方法和设备 |
CN114845106A (zh) * | 2021-02-01 | 2022-08-02 | 北京大学深圳研究生院 | 视频编码方法、装置和存储介质及电子设备 |
CN115018014A (zh) * | 2022-07-27 | 2022-09-06 | 东南大学 | 基于多源信息的机器学习辅助的通信场景分类方法 |
WO2023082107A1 (zh) * | 2021-11-10 | 2023-05-19 | Oppo广东移动通信有限公司 | 解码方法、编码方法、解码器、编码器和编解码系统 |
CN116320436A (zh) * | 2023-03-31 | 2023-06-23 | 重庆邮电大学 | 一种基于决策树的vvc快速编码方法 |
-
2023
- 2023-07-18 CN CN202310880099.8A patent/CN116600119B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130050899A (ko) * | 2011-11-08 | 2013-05-16 | 주식회사 케이티 | 영상의 부호화 방법 및 장치, 그리고 영상의 복호화 방법 및 장치 |
JP2015070539A (ja) * | 2013-09-30 | 2015-04-13 | Kddi株式会社 | 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム |
CN105072444A (zh) * | 2015-07-31 | 2015-11-18 | 宁波大学 | 一种不同量化参数下的hevc视频二次压缩检测方法 |
CN109819263A (zh) * | 2017-11-22 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机设备及存储介质 |
CN110225339A (zh) * | 2019-05-10 | 2019-09-10 | 上海德衡数据科技有限公司 | 一种hevc视频序列编解码加速方法 |
WO2021063559A1 (en) * | 2019-09-30 | 2021-04-08 | Interdigital Vc Holdings France, Sas | Systems and methods for encoding a deep neural network |
CN111432207A (zh) * | 2020-03-30 | 2020-07-17 | 北京航空航天大学 | 基于显著目标检测和显著性指导的感知高清视频编码方法 |
US11153566B1 (en) * | 2020-05-23 | 2021-10-19 | Tsinghua University | Variable bit rate generative compression method based on adversarial learning |
CN114845106A (zh) * | 2021-02-01 | 2022-08-02 | 北京大学深圳研究生院 | 视频编码方法、装置和存储介质及电子设备 |
CN113301347A (zh) * | 2021-05-08 | 2021-08-24 | 广东工业大学 | 一种hevc高清视频编码的优化方法 |
CN113873248A (zh) * | 2021-09-26 | 2021-12-31 | 深圳市万利翔实业有限公司 | 一种数字视频数据编码及解码方法和设备 |
WO2023082107A1 (zh) * | 2021-11-10 | 2023-05-19 | Oppo广东移动通信有限公司 | 解码方法、编码方法、解码器、编码器和编解码系统 |
CN115018014A (zh) * | 2022-07-27 | 2022-09-06 | 东南大学 | 基于多源信息的机器学习辅助的通信场景分类方法 |
CN116320436A (zh) * | 2023-03-31 | 2023-06-23 | 重庆邮电大学 | 一种基于决策树的vvc快速编码方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116828184A (zh) * | 2023-08-28 | 2023-09-29 | 腾讯科技(深圳)有限公司 | 视频编码、解码方法、装置、计算机设备和存储介质 |
CN116828184B (zh) * | 2023-08-28 | 2023-12-22 | 腾讯科技(深圳)有限公司 | 视频编码、解码方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116600119B (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10911787B2 (en) | Hierarchical point cloud compression | |
US10965948B1 (en) | Hierarchical auto-regressive image compression system | |
CN113259676B (zh) | 一种基于深度学习的图像压缩方法和装置 | |
CN111818346A (zh) | 图像编码方法和装置、图像解码方法和装置 | |
WO2020237646A1 (zh) | 图像处理方法、设备及计算机可读存储介质 | |
CN111147862B (zh) | 一种基于目标编码的端到端图像压缩方法 | |
CN109996073B (zh) | 一种图像压缩方法、系统、可读存储介质及计算机设备 | |
CN111246206B (zh) | 一种基于自编码器的光流信息压缩方法及装置 | |
CN116600119B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
CN111986278A (zh) | 图像编码装置、概率模型生成装置和图像压缩系统 | |
CN116233445B (zh) | 视频的编解码处理方法、装置、计算机设备和存储介质 | |
Akbari et al. | Learned multi-resolution variable-rate image compression with octave-based residual blocks | |
CN113628116B (zh) | 图像处理网络的训练方法、装置、计算机设备和存储介质 | |
CN116935292B (zh) | 一种基于自注意力模型的短视频场景分类方法及系统 | |
Hu et al. | UAV image high fidelity compression algorithm based on generative adversarial networks under complex disaster conditions | |
CN115880762A (zh) | 面向人机混合视觉的可伸缩人脸图像编码方法、系统 | |
WO2023225808A1 (en) | Learned image compress ion and decompression using long and short attention module | |
CN116828184B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
CN114501031B (zh) | 一种压缩编码、解压缩方法以及装置 | |
CN113554719B (zh) | 一种图像编码方法、解码方法、存储介质及终端设备 | |
CN113518229B (zh) | 环路滤波网络的训练方法、装置、计算机设备和存储介质 | |
CN117319652A (zh) | 视频编解码模型处理、视频编码、解码方法及相关设备 | |
CN116979971A (zh) | 数据编码、解码方法、装置、计算机设备和存储介质 | |
CN117915107B (zh) | 图像压缩系统、图像压缩方法、存储介质与芯片 | |
CN114598874B (zh) | 视频量化编解码方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40092187 Country of ref document: HK |