CN118042139A - 数据传输方法、数据处理方法、装置及设备 - Google Patents
数据传输方法、数据处理方法、装置及设备 Download PDFInfo
- Publication number
- CN118042139A CN118042139A CN202410121740.4A CN202410121740A CN118042139A CN 118042139 A CN118042139 A CN 118042139A CN 202410121740 A CN202410121740 A CN 202410121740A CN 118042139 A CN118042139 A CN 118042139A
- Authority
- CN
- China
- Prior art keywords
- frame
- data
- intra
- frame data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000005540 biological transmission Effects 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000013139 quantization Methods 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开提供了一种数据传输方法、数据处理方法、装置及设备,涉及数据处理技术,所述方法包括:响应于获取目标图像数据,对所述目标图像数据进行编码,其中,以第一编码方式对所述目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;以第二编码方式对所述目标图像数据的第一帧进行编码,得到第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;响应于网络性能的检测结果,选择性传输所述第一帧内编码帧数据,或所述第二帧内编码帧数据。本公开在网络较差的情况下仍可以保证图像数据的传输质量。
Description
技术领域
本公开涉及数据处理技术,尤其涉及一种视频传输方法、数据处理方法、装置及设备。
背景技术
视频编码技术是现代通信技术传输视频的一个重要方面。相关技术会先将视频分为关键帧和非关键帧,在进行视频编码时,相关技术会对关键帧的完整信息进行编码,非关键帧会参考它前面的关键帧或者非关键帧进行编码。因此,解码设备无需参考其他图像就可以解码得到关键帧的完整信息,但在解码非关键帧时,解码设备需要参考前面的关键帧才能得到完整信息。
但是关键帧编码后的码流尺寸远大于非关键帧编码后的码流尺寸,这会使得传输关键帧消耗的网络带宽增大,在网络拥塞严重的场景下,影响整个视频的实时传输。
发明内容
本公开提供了一种数据传输方法、数据处理方法、装置及设备,以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面,提供了一种数据传输方法,该方法包括:
响应于获取目标图像数据,对所述目标图像数据进行编码,
其中,以第一编码方式对所述目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;
以第二编码方式对所述目标图像数据的第一帧进行编码,得到第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
响应于网络性能的检测结果,选择性传输所述第一帧内编码帧数据,或所述第二帧内编码帧数据。
根据本公开的第二方面,提供了一种数据传输装置,包括:
编码模块,用于响应于获取目标图像数据,对所述目标图像数据进行编码,
其中,以第一编码方式对所述目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;
所述编码模块,还用于以第二编码方式对所述目标图像数据的第一帧进行编码,得到第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
发送模块,用于响应于网络性能的检测结果,选择性传输所述第一帧内编码帧数据,或所述第二帧内编码帧数据。
在一些实施例中,所述编码模块,还用于响应于所述网络性能的检测结果满足第一条件,传输所述第一帧内编码帧数据;或,响应于所述网络性能的检测结果满足第二条件,传输所述第二帧内编码帧数据,其中满足所述第一条件的网络性能比满足所述第二条件的网络性能差。
在一些实施例中,所述第二帧内编码帧数据包括标记位,所述标记位用于指示所述第一帧内编码帧数据的解码帧数据不用于显示图像。
在一些实施例中,所述编码模块,还用于响应于获得所述目标图像数据,对所述目标图像数据进行图像组编码,其中采用第一量化值对所述图像组的第一帧进行量化,以获得所述第一帧内编码帧数据,采用第二量化值对所述图像组的非第一帧进行量化,以获得所述非第一帧编码数据,所述第一量化值大于所述第二量化值。
在一些实施例中,所述编码模块,还用于获得所述第一帧内编码帧数据的重建数据;基于所述重建数据构建参考数据帧;计算所述目标图像数据与所述参考数据帧之间的差值;对所述差值进行编码,得到所述第一预测帧数据。
根据本公开的第三方面,提供了一种数据处理方法,包括:
获得第一帧内编码帧数据或第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
响应于获得所述第一帧内编码帧数据,以第一解码方式对所述第一帧内编码帧数据进行解码,得到第一图像数据;
响应于获得所述第二帧内编码帧数据,以第二解码方式对所述第二帧内编码帧数据进行解码,得到第二图像数据;其中所述第二图像数据包括所述第一图像数据,以及基于所述第一图像数据和所述第一预测帧获得的第三图像数据。
根据本公开的第四方面,提供了一种数据处理装置,包括:
接收模块,用于获得第一帧内编码帧数据或第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
解码模块,用于响应于获得所述第一帧内编码帧数据,以第一解码方式对所述第一帧内编码帧数据进行解码,得到第一图像数据;
所述解码模块,还用于响应于获得所述第二帧内编码帧数据,以第二解码方式对所述第二帧内编码帧数据进行解码,得到第二图像数据;其中所述第二图像数据包括所述第一图像数据,以及基于所述第一图像数据和所述第一预测帧获得的第三图像数据。
在一些实施例中,所述解码模块,还用于响应于获得所述第二帧内编码帧数据,检测所述第二帧内编码帧数据的标记位;响应于所述标记位的指示信息,将所述第一帧内编码帧数据存入参考帧列表,以及对所述第一帧内编码帧数据进行解码,得到所述第一图像数据,所述标记位用于指示所述第一帧内编码帧数据的解码帧数据不用于显示图像;响应于获得所述预测帧数据,参考所述第一图像数据,对所述预测帧数据进行帧间解码,得到所述第二图像数据。
根据本公开的第五方面,提供了一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的数据传输方法、数据处理方法、装置及设备,采用第一编码方式对目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;采用第二编码方式,对目标图像数据第一帧进行编码,得到第二帧内编码帧数据;并根据网络性能的检测结果选择性传输第一帧内编码帧数据或第二帧内编码帧数据。在网络性能较差时,可以保证传输目标图像的实时性。在网络性能较好时,既可以保证目标图像的画质,也可以保证传输目标图像的实时性,且能降低单帧码流尺寸。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1示出了本公开实施例的数据传输方法的实现流程示意图;
图2示出了本公开实施例的数据传输方法的实现流程示意图;
图3示出了本公开实施例的数据处理方法的实现流程示意图;
图4示出了本公开实施例的数据传输方法的示意图一;
图5示出了本公开实施例的数据传输方法的示意图二;
图6示出了本公开实施例的数据传输装置的实现装置示意图;
图7示出了本公开实施例的数据处理装置的实现装置示意图;
图8示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而非全部实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
图1示出了本公开实施例提供的一种数据传输方法的实施场景示意图。该实施场景包括编码设备101和解码设备102,编码设备101和解码设备102能够基于无线连接方式和/或有线连接的方式进行数据传输。
编码设备101用于对目标图像数据进行编码处理,并将编码后的数据发送至解码设备102处。在一些实施例中,编码设备101响应于获得目标图像数据,以第一编码方式对目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;并以第二编码方式对目标图像数据的第一帧进行编码,得到第二帧内编码帧数据,其中第二帧内编码帧数据包括第一帧内编码帧数据以及基于第一帧内编码帧数据获得的第一预测帧数据。在一些实施例中,编码设备101根据网络性能的检测结果,选择性第一帧内编码帧数据,或第二帧内编码帧数据。在一些实施例中,在网络性能较好的情况下,传输第二帧内编码帧数据;在网络性能较差的情况下,传输第一帧内编码帧数据。可选的,网络性能包括但不限于数据传输速率、网络带宽、吞吐量、时延、RTT(Round Trip Time,往返时延)、利用率信道中的至少一种。
解码设备102用于解码数据得到目标图像数据。在一些实施例中,获得第一帧内编码帧数据或第二帧内编码帧数据,其中第二帧内编码帧数据包括第一帧内编码帧数据以及基于第一帧内编码帧数据获得的第一预测帧数据;响应于获得第一帧内编码帧数据,以第一解码方式对第一帧内编码帧数据进行解码,得到第一图像数据;响应于获得第二帧内编码帧数据,以第二解码方式对第二帧内编码帧数据进行解码,得到第二图像数据;其中第二图像数据包括第一图像数据,以及基于第一图像数据和第一预测帧获得的第三图像数据。可选的,第一帧内编码帧数据是在网络性能的检测结果满足第一条件的情况下获得的;第二帧内编码帧数据实在网络性能的检测结果满足第二条件的情况下获得的。
图2示出了本公开实施例提供的一种数据传输方法的示例性流程示意图。该方法包括:
步骤S201:响应于获取目标图像数据,对目标图像数据进行编码,其中,以第一编码方式对目标图像数据的第一帧进行编码,得到第一帧内编码帧数据。
在一些实施例中,目标图像数据包括目标视频中各个帧组成的数据集合。示例性的,目标图像数据包括目标视频中各个帧的数据。
可选的,目标图像数据的第一帧指目标图像数据中的关键帧(I帧)。
在一些实施例中,响应于获取目标图像数据,对目标图像数据进行图像组编码,其中采用第一量化值对图像组的第一帧进行量化,以获得第一帧内编码帧数据,采用第二量化值对图像组的非第一帧进行量化,以获得非第一帧编码数据,第一量化值大于第二量化值。
可选的,对目标图像数据进行图像组编码的编码方式是QP(QuantizationParameter,量化参数)编码。
可选的,第一量化值大于目标量化值,目标量化值是预先设置的量化值。故第一帧内编码帧数据的码率较小,使得第一帧内编码帧数据在网络性能较差的情况下,也能完成传输。
可选的,第一量化值是根据网络性能的检测结果确定的量化值。可选的,网络性能包括但不限于数据传输速率、网络带宽、吞吐量、时延、RTT、利用率信道中的至少一种。示例性的,若使用数据传输速率作为网络性能的检测指标,则根据数据传输速率的数值从网络性能-量化值映射表中确定第一量化值,网络性能-量化值映射表用于记录网络性能和第一量化值之间的映射关系。
步骤S202:以第二编码方式对目标图像数据的第一帧进行编码,得到第二帧内编码帧数据,其中第二帧内编码帧数据包括第一帧内编码帧数据以及基于第一帧内编码帧数据获得的第一预测帧数据。
在一些实施例中,获得第一帧内编码帧数据的重建数据;基于重建数据构建参考数据帧;计算目标图像数据与参考数据帧之间的差值;对差值进行编码,得到第一预测帧数据。
可选的,参考数据帧是基于重建数据生成的帧数据,由于获得第一帧内编码帧数据的过程是一个有损压缩的过程,因此通过第一帧内编码帧数据的重建数据复原的参考数据帧与原始的目标图像数据是存在差异的。
可选的,上述重建数据包括但不限于每个像素的亮度和色度中的至少一种。
在一些实施例中,由于第一帧内编码帧数据和第二帧内编码帧数据是基于不同的编码方式得到的,而两种编码方式会影响解码结果,解码第一帧内编码帧数据得到的第一图像数据以及解码第二帧内编码帧数据得到的第二图像数据与目标图像数据的相似程度不同,其中,第二图像数据更加接近目标图像数据,即具有更好的图像质量。
可选的,计算差值需要进行像素级别的比较,即需要计算目标图像数据与参考数据帧之间各个像素的差值。
步骤S203:响应于网络性能的检测结果,选择性传输第一帧内编码帧数据,或第二帧内编码帧数据。
可选的,响应于网络性能的检测结果满足第一条件,传输第一帧内编码帧数据;
可选的,响应于网络性能的检测结果满足第二条件,传输第二帧内编码帧数据,其中满足第一条件的网络性能比满足第二条件的网络性能差。
可选的,第二帧内编码帧数据包括标记位,标记位用于指示第一帧内编码帧数据的解码帧数据不用于显示图像。
示例性的,请参考图3,在网络性能较好的情况下,以第一编码方式对目标图像数据的第一帧进行编码,得到第一帧内编码帧数据CI0,并根据第一帧内编码帧数据CI0和目标图像数据得到第一预测帧数据CP1。对图像组的其它非第一帧进行编码,例如得到非第一帧编码数据P1和P2,这里的P1和P2可以是基于帧间预测的帧间编码帧。其中,由于第二帧内编码帧数据包括标记位,使得第一帧内编码帧数据CI0的解码帧数据不用于图像显示,即仅用于CPI的数据解码,而是第一预测帧数据CP1的解码帧数据用于显示图像。
示例性的,请参考图4,在网络性能较差的情况下,以第一编码方式对目标图像数据的第一帧进行编码,得到第一帧内编码帧数据CI0,并对图像组的非第一帧进行编码,得到非第一帧编码数据P1和P2。
综上所述,本公开采用第一编码方式对目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;采用第二编码方式,对目标图像数据第一帧进行编码,得到第二帧内编码帧数据;并根据网络性能的检测结果选择性传输第一帧内编码帧数据或第二帧内编码帧数据。在网络性能较差时,可以保证传输目标图像的实时性。在网络性能较好时,既可以保证目标图像的画质,也可以保证传输目标图像的实时性,且能降低单帧码流尺寸。
图5示出了本公开实施例提供的一种数据处理方法的示例性流程示意图。该方法包括:
步骤S301:获得第一帧内编码帧数据或第二帧内编码帧数据,其中第二帧内编码帧数据包括第一帧内编码帧数据以及基于第一帧内编码帧数据获得的第一预测帧数据。
在一些实施例中,第一帧内编码帧数据是在网络性能的检测结果满足第一条件的情况下获得的;第二帧内编码帧数据实在网络性能的检测结果满足第二条件的情况下获得的。
在一些实施例中,第一帧内编码帧数据是以第一编码方式对目标图像数据的第一帧进行编码得到的。
在一些实施例中,第二帧内编码帧数据是以第二编码方式对目标图像数据的第一帧进行编码得到的。
步骤S302:响应于获得第一帧内编码帧数据,以第一解码方式对第一帧内编码帧数据进行解码,得到第一图像数据。
在一些实施例中,对第一帧内编码帧数据进行QP解码,得到第一图像数据。
步骤S303:响应于获得第二帧内编码帧数据,以第二解码方式对第二帧内编码帧数据进行解码,得到第二图像数据;其中第二图像数据包括第一图像数据,以及基于第一图像数据和第一预测帧获得的第三图像数据。
在一些实施例中,响应于获得第二帧内编码帧数据,检测第二帧内编码帧数据的标记位;响应于标记位的指示信息,将第一帧内编码帧数据存入参考帧列表,以及对第一帧内编码帧数据进行解码,得到第一图像数据,标记位用于指示第一帧内编码帧数据的解码帧数据不用于显示图像;响应于获得预测帧数据,参考第一图像数据,对预测帧数据进行帧间解码,得到第二图像数据。
在一些实施例中,参考帧列表用于存储参考帧,且参考帧列表中的参考帧的解码帧数据不用于显示图像。
综上所述,在网络性能较差时,传输第二帧内编码帧数据可以保证传输目标图像的实时性。在网络性能较好时,传输第二帧内编码帧数据既可以保证目标图像的画质,也可以保证传输目标图像的实时性,且能降低单帧码流尺寸。
图6示出了本公开实施例提供的一种数据传输装置的示例性装置示意图。该装置包括:
编码模块401,用于响应于获取目标图像数据,对所述目标图像数据进行编码,
其中,以第一编码方式对所述目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;
所述编码模块401,还用于以第二编码方式对所述目标图像数据的第一帧进行编码,得到第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
发送模块402,用于响应于网络性能的检测结果,选择性传输所述第一帧内编码帧数据,或所述第二帧内编码帧数据。
在一些实施例中,所述编码模块401,还用于响应于所述网络性能的检测结果满足第一条件,传输所述第一帧内编码帧数据;或,响应于所述网络性能的检测结果满足第二条件,传输所述第二帧内编码帧数据,其中满足所述第一条件的网络性能比满足所述第二条件的网络性能差。
在一些实施例中,所述第二帧内编码帧数据包括标记位,所述标记位用于指示所述第一帧内编码帧数据的解码帧数据不用于显示图像。
在一些实施例中,所述编码模块401,还用于响应于获得取所述目标图像数据,对所述目标图像数据进行图像组编码,其中采用第一量化值对所述图像组的第一帧进行量化,以获得所述第一帧内编码帧数据,采用第二量化值对所述图像组的非第一帧进行量化,以获得所述非第一帧编码数据,所述第一量化值大于所述第二量化值。
在一些实施例中,所述编码模块401,还用于获得所述第一帧内编码帧数据的重建数据;基于所述重建数据构建参考数据帧;计算所述目标图像数据与所述参考数据帧之间的差值;对所述差值进行编码,得到所述第一预测帧数据。
综上所述,本实施例采用第一编码方式对目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;采用第二编码方式,对目标图像数据第一帧进行编码,得到第二帧内编码帧数据;并根据网络性能的检测结果选择性传输第一帧内编码帧数据或第二帧内编码帧数据。在网络性能较差时,可以保证传输目标图像的实时性。在网络性能较好时,既可以保证目标图像的画质,也可以保证传输目标图像的实时性,且能降低单帧码流尺寸。
图7示出了本公开实施例提供的一种数据处理装置的示例性装置示意图。该装置包括:
接收模块501,用于获得第一帧内编码帧数据或第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
解码模块502,用于响应于获得所述第一帧内编码帧数据,以第一解码方式对所述第一帧内编码帧数据进行解码,得到第一图像数据;
所述解码模块502,还用于响应于获得所述第二帧内编码帧数据,以第二解码方式对所述第二帧内编码帧数据进行解码,得到第二图像数据;其中所述第二图像数据包括所述第一图像数据,以及基于所述第一图像数据和所述第一预测帧获得的第三图像数据。
在一些实施例中,所述解码模块,还用于响应于获得所述第二帧内编码帧数据,检测所述第二帧内编码帧数据的标记位;响应于所述标记位的指示信息,将所述第一帧内编码帧数据存入参考帧列表,以及对所述第一帧内编码帧数据进行解码,得到所述第一图像数据,所述标记位用于指示所述第一帧内编码帧数据的解码帧数据不用于显示图像;响应于获得所述预测帧数据,参考所述第一图像数据,对所述预测帧数据进行帧间解码,得到所述第二图像数据。
综上所述,本实施例在网络性能较差时,传输第二帧内编码帧数据可以保证传输目标图像的实时性。在网络性能较好时,传输第二帧内编码帧数据既可以保证目标图像的画质,也可以保证传输目标图像的实时性,且能降低单帧码流尺寸。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
图8示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如数据传输方法或数据处理方法。例如,在一些实施例中,数据传输方法或数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的数据传输方法或数据处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据传输方法或数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据传输方法,包括:
响应于获取目标图像数据,对所述目标图像数据进行编码,
其中,以第一编码方式对所述目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;
以第二编码方式对所述目标图像数据的第一帧进行编码,得到第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
响应于网络性能的检测结果,选择性传输所述第一帧内编码帧数据,或所述第二帧内编码帧数据。
2.根据权利要求1所述的方法,所述响应于网络性能的检测结果,选择性传输所述第一帧内编码帧数据,或所述第二帧内编码帧数据,包括:
响应于所述网络性能的检测结果满足第一条件,传输所述第一帧内编码帧数据;或,
响应于所述网络性能的检测结果满足第二条件,传输所述第二帧内编码帧数据,其中满足所述第一条件的网络性能比满足所述第二条件的网络性能差。
3.根据权利要求2所述的方法,其中,
所述第二帧内编码帧数据包括标记位,所述标记位用于指示所述第一帧内编码帧数据的解码帧数据不用于显示图像。
4.根据权利要求1所述的方法,以第一编码方式对所述目标图像数据的第一帧进行编码,得到第一帧内编码帧数据,包括:
响应于获取所述目标图像数据,对所述目标图像数据进行图像组编码,其中采用第一量化值对所述图像组的第一帧进行量化,以获得所述第一帧内编码帧数据,采用第二量化值对所述图像组的非第一帧进行量化,以获得所述非第一帧编码数据,所述第一量化值大于所述第二量化值。
5.根据权利要求1所述的方法,其中,基于所述第一帧内编码帧数据获得所述第一预测帧数据,包括:
获得所述第一帧内编码帧数据的重建数据;
基于所述重建数据构建参考数据帧;
计算所述目标图像数据与所述参考数据帧之间的差值;
对所述差值进行编码,得到所述第一预测帧数据。
6.一种数据处理方法,包括:
获得第一帧内编码帧数据或第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
响应于获得所述第一帧内编码帧数据,以第一解码方式对所述第一帧内编码帧数据进行解码,得到第一图像数据;
响应于获得所述第二帧内编码帧数据,以第二解码方式对所述第二帧内编码帧数据进行解码,得到第二图像数据;其中所述第二图像数据包括所述第一图像数据,以及基于所述第一图像数据和所述第一预测帧获得的第三图像数据。
7.根据权利要求6所述的方法,其中,以第二解码方式对所述第二帧内编码帧数据进行解码,得到第二图像数据,包括:
响应于获得所述第二帧内编码帧数据,检测所述第二帧内编码帧数据的标记位;
响应于所述标记位的指示信息,将所述第一帧内编码帧数据存入参考帧列表,以及对所述第一帧内编码帧数据进行解码,得到所述第一图像数据,所述标记位用于指示所述第一帧内编码帧数据的解码帧数据不用于显示图像;
响应于获得所述预测帧数据,参考所述第一图像数据,对所述预测帧数据进行帧间解码,得到所述第二图像数据。
8.一种数据传输装置,包括:
编码模块,用于响应于获取目标图像数据,对所述目标图像数据进行编码,
其中,以第一编码方式对所述目标图像数据的第一帧进行编码,得到第一帧内编码帧数据;
所述编码模块,还用于以第二编码方式对所述目标图像数据的第一帧进行编码,得到第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
发送模块,用于响应于网络性能的检测结果,选择性传输所述第一帧内编码帧数据,或所述第二帧内编码帧数据。
9.一种数据处理装置,包括:
接收模块,用于获得第一帧内编码帧数据或第二帧内编码帧数据,其中所述第二帧内编码帧数据包括所述第一帧内编码帧数据以及基于所述第一帧内编码帧数据获得的第一预测帧数据;
解码模块,用于响应于获得所述第一帧内编码帧数据,以第一解码方式对所述第一帧内编码帧数据进行解码,得到第一图像数据;
所述解码模块,还用于响应于获得所述第二帧内编码帧数据,以第二解码方式对所述第二帧内编码帧数据进行解码,得到第二图像数据;其中所述第二图像数据包括所述第一图像数据,以及基于所述第一图像数据和所述第一预测帧获得的第三图像数据。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法,或,以使所述至少一个处理器能够执行权利要求6或7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121740.4A CN118042139A (zh) | 2024-01-29 | 2024-01-29 | 数据传输方法、数据处理方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121740.4A CN118042139A (zh) | 2024-01-29 | 2024-01-29 | 数据传输方法、数据处理方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118042139A true CN118042139A (zh) | 2024-05-14 |
Family
ID=90990441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410121740.4A Pending CN118042139A (zh) | 2024-01-29 | 2024-01-29 | 数据传输方法、数据处理方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118042139A (zh) |
-
2024
- 2024-01-29 CN CN202410121740.4A patent/CN118042139A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10827182B2 (en) | Video encoding processing method, computer device and storage medium | |
US11412228B2 (en) | Method and apparatus for video encoding and decoding | |
US11172220B2 (en) | Video encoding method, and storage medium thereof | |
EP2672707A1 (en) | Encoding method and device, and decoding method and device | |
CN110248192B (zh) | 编码器切换、解码器切换、屏幕分享方法和屏幕分享系统 | |
WO2023045420A1 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
US11197021B2 (en) | Coding resolution control method and terminal | |
CN111787322B (zh) | 视频编码的方法、装置、电子设备及计算机可读存储介质 | |
CN111131828B (zh) | 一种图像压缩方法、装置、电子设备和存储介质 | |
WO2023142716A1 (zh) | 编码方法、实时通信方法、装置、设备及存储介质 | |
KR20230028250A (ko) | 강화 학습 기반 속도 제어 | |
WO2022252567A1 (zh) | 基于相关度比较确定视频编解码优先顺序的方法及装置 | |
US20240098316A1 (en) | Video encoding method and apparatus, real-time communication method and apparatus, device, and storage medium | |
EP3709660A1 (en) | Method and apparatus for content-adaptive frame duration extension | |
CN116567246A (zh) | Avc编码方法和装置 | |
CN115767149A (zh) | 一种视频数据的传输方法和装置 | |
CN118042139A (zh) | 数据传输方法、数据处理方法、装置及设备 | |
CN115460419A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US20150049800A1 (en) | Estimation of entropy encoding bits in video compression | |
CN115442617A (zh) | 一种基于视频编码的视频处理方法和装置 | |
CN112055174B (zh) | 一种视频传输方法、装置及计算机可读存储介质 | |
CN113542737A (zh) | 编码模式确定方法、装置、电子设备及存储介质 | |
CN113099241A (zh) | 参考帧列表更新方法、装置、设备以及存储介质 | |
CN111405293A (zh) | 一种视频传输方法及装置 | |
CN115190309B (zh) | 视频帧处理方法、训练方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |