CN116939212A - 视频处理方法、装置、计算机可读存储介质及计算机设备 - Google Patents
视频处理方法、装置、计算机可读存储介质及计算机设备 Download PDFInfo
- Publication number
- CN116939212A CN116939212A CN202210374931.2A CN202210374931A CN116939212A CN 116939212 A CN116939212 A CN 116939212A CN 202210374931 A CN202210374931 A CN 202210374931A CN 116939212 A CN116939212 A CN 116939212A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- decoded
- decoding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000005540 biological transmission Effects 0.000 claims abstract description 29
- 239000000872 buffer Substances 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004880 explosion Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例公开了一种视频处理方法、装置、计算机可读存储介质及计算机设备。方法通过获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；对待解码视频帧进行解码，得到视频图像帧；输出视频图像帧，以播放视频图像帧对应的目标视频。该方法可以有效提升视频实时传输场景下的解码效率，从而提升了视频实时传输效率。
Description
技术领域
本发明涉及视频编解码技术领域，具体涉及一种视频处理方法、装置、计算机可读存储介质及计算机设备。
背景技术
随着移动终端技术的不断发展以及流量成本的不断下降，人类社会进入了互联网时代。在互联网时代，人们获取信息的途径不断增加而获取信息的成本不断下降，从而促使人类社会进入了信息爆炸的时代。而视频以其传播数据量大，数据呈现方式丰富等优点，逐渐成为了信息爆炸时代的主流信息传输渠道。
为降低视频传输时的流量消耗，一般采用视频编解码技术来降低视频传输的数据量，提升视频传输效率。然而，目前视频编解码技术在对视频帧进行解码时的解码效率较低。
发明内容
本申请实施例提供一种视频处理方法、装置、存储介质及计算机设备，该方法可以提升对视频帧进行解码的解码效率。
本申请第一方面提供一种视频处理方法，方法包括：
获取待解码视频帧，所述待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；
对所述待解码视频帧进行解码，得到视频图像帧；
输出所述视频图像帧，以播放所述视频图像帧对应的目标视频。
本申请第二方面提供一种视频处理装置，装置包括：
获取单元，用于获取待解码视频帧，所述待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；
解码单元，用于对所述待解码视频帧进行解码，得到视频图像帧；
输出单元，用于输出所述视频图像帧，以播放所述视频图像帧对应的目标视频。
本申请第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请第一方面所提供的视频处理方法的步骤。
本申请第四方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请第一方面所提供的视频处理方法的步骤。
本申请第五方面提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行第一方面所提供的视频处理方法的步骤。
本申请实施例提供的视频处理方法，通过获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；对待解码视频帧进行解码，得到视频图像帧；输出视频图像帧，以播放视频图像帧对应的目标视频。以此，本申请提供的视频处理方法，在对视频进行编码得到编码帧时只将视频进行帧内编码以及帧间预测编码，不对视频进行双向预测编码，如此当对编码帧进行解码时便无需进行耗时较高的双向预测编码帧的解码，从而可以大大提升视频的解码效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请中视频处理的一个场景示意图；
图2是本申请提供的视频处理方法的流程示意图；
图3是本申请提供的视频处理方法的另一流程示意图；
图4是本申请提供的视频处理装置的结构示意图；
图5是本申请提供的终端的结构示意图；
图6是本申请提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种视频处理方法、装置、计算机可读存储介质及计算机设备。其中，该视频处理方法可以使用于视频处理装置中。该视频处理装置可以集成在计算机设备中，该计算机设备可以是终端也可以是服务器。其中，终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)等设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，服务器可以为区块链中的节点。
请参阅图1，为本申请提供的视频处理的一场景示意图；如图所示，终端B从服务器A获取待解码视频帧，然后对待解码视频帧进行解码，得到视频图像帧，进一步地，终端B将视频图像帧进行输出以播放视频图像帧对应的目标视频。
需要说明的是，图1所示的视频处理的场景示意图仅仅是一个示例，本申请实施例描述的视频处理场景是为了更加清楚地说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知，随着视频处理的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
基于上述实施场景以下分别进行详细说明。
本申请实施例将从视频处理装置的角度进行描述，该视频处理装置可以集成在计算机设备中。其中，计算机设备可以是终端，终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)等设备。如图2所示，为本申请提供的视频处理方法的流程示意图，该方法包括：
步骤101，获取待解码视频帧。
其中，在视频媒体交互日趋频繁的背景下，为了降低视频数据传输的流量消耗，一般可以在发送视频前先对视频进行压缩编码处理，然后将压缩编码得到的数据进行传输。视频接收方在接收到上述压缩编码得到的数据后，可以对该数据进行解码，从而得到完整的视频数据。
其中，视频本身是由一些列图片按照一定的频率联系呈现构成，基于人眼的视觉惰性，使得连续播放的静止画面在人眼看来就像是在运动的画面。对视频数据进行压缩编码，一般可以采用H.264视频压缩标准中的IPB编码方法对构成视频的图片序列进行压缩编码，得到压缩后的图像帧序列，在本申请中可以称之为待解码视频帧。
其中，IPB编码就是将视频中的图像帧按照I帧、P帧以及B帧进行编码。I帧又叫做帧内编码，它携带了当前帧图像的全部信息，I帧无需借助其他帧就可以进行解码从而恢复得到原始图片。或者可以简单地理解为I帧是一张压缩了的独立的静态图片，它往往放在视频序列中的第一个位置，即第一帧，也被称作关键帧。P帧又叫做帧间预测编码，它是基于它前面的I帧进行编码的。它的内容是当前画面与前一帧画面的差异内容。因此，解码的时候，它不能独立恢复出压缩前的画面，需要基于它参考的帧，但是它与I帧相比，可以大幅的提高压缩率，缺点就是对传输非常敏感，它对前面的I帧或者P帧有很强的依赖性。B帧又称作双向预测编码帧，它的内容是本身与前后画面之间的差异内容。这就意味着B帧解码不仅需要依赖前面帧，也依赖后面的解码帧，需要将它的内容和前后画面内容叠加才能恢复出本身画面。因此，B帧的压缩率也很高，但是对其他帧的依赖性也是最大的。
在相关技术中，一般采用前述IPB编码方法对视频中包含的图像序列进行编码。如此，在对编码得到的待解码视频帧进行解码时，需要先解码出关键帧，然后根据关键帧解码后续的P帧。而对于B帧的解码，则需要解码出其前后的P帧或者I帧后才能进行B帧的解码，如此导致视频帧的解码输出效率下降。尤其对于在视频传输实时性较高的场景下，例如视频会议或者远程机器人控制等场景中，该视频解码方法会降低视频解码效率，从而影响视频传输的实时性。对此，本申请提供一种视频处理方法，用于提升视频实时传输过程中提升视频解码的效率。
具体地，在本申请提供的视频处理方法中，在对视频对应的图像序列进行编码时，不采用B帧编码，而是只将视频对应的图像进行I帧以及P帧的编码。因此在本申请实施例中，视频处理装置获取到的待解码视频帧中只包含了I帧和P帧，即获取到的待解码视频帧为采用帧内编码或者帧间预测编码进行编码得到的视频帧。
步骤102，对待解码视频帧进行解码，得到视频图像帧。
其中，视频处理装置在获取到待解码视频帧后，便可以对这些待解码视频帧进行相应的解码。其中，由于待解码视频帧为I帧或者P帧编码得到的视频帧，当待解码视频帧为I帧时，直接对该视频帧进行解码得到对应的视频图像帧；当待解码视频帧为P帧时，则获取其前一帧视频图像帧，前一帧视频图像帧可以为I帧解码得到的视频图像帧也可以为P帧解码得到的视频图像帧。
步骤103，输出视频图像帧，以播放视频图像帧对应的目标视频。
其中，在本申请实施例中，由于不存在B帧编码的待解码视频帧，因此对于I帧编码和P帧编码对应的待解码视频帧，在解码完成后便可以直接输出，无需进行缓存以供B帧待解码视频帧进行解码。
具体地，视频处理装置在将待解码视频帧进行解码得到视频图像帧后，便可以将视频图像帧进行输出，从而实现视频数据的实时快速传播。具体地，可以将视频图像帧输出至显示模块中进行显示，从而实现视频图像帧对应的目标视频的播放。
根据上述描述可知，本申请实施例提供的视频处理方法，通过获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；对待解码视频帧进行解码，得到视频图像帧；输出视频图像帧，以播放视频图像帧对应的目标视频。以此，本申请提供的视频处理方法，在对视频进行编码得到编码帧时只将视频进行帧内编码以及帧间预测编码，不对视频进行双向预测编码，如此当对编码帧进行解码时便无需进行耗时较高的双向预测编码帧的解码，从而可以大大提升视频的解码效率。
相应地，本申请实施例将进一步对本申请提供的视频处理方法进行详细的描述。如图3所示，为本申请提供的视频处理方法的另一流程示意图，该方法包括：
步骤201，视频编码设备将目标视频按照目标编码方式进行编码，得到待解码视频帧。
其中，在本申请实施例中，目标编码方式可以为对待编码视频的图像进行I帧以及P帧编码，而不对待编码视频进行B帧编码。其中I帧是采用帧内编码方式进行编码得到的，其完整保留了编码图像的数据，可以独立解码得到对应的图像。I帧又称为关键帧或者基本帧，I帧的压缩率较低，一般为10倍。P帧为采用帧间预测编码或者称为前向预测编码的方法来对待编码图像进行编码得到的视频帧，P帧是在前一帧(I帧或P帧)的基础上取与前一帧的差异，因此需要借助前一帧与当前P帧数据进行解压缩得到该帧对应的图像。P帧的压缩率一般为20倍。而本实施例中提供的编码方式未采用的B帧编码为双向预测编码方法，也就是记录本帧与前后帧的差别，B帧的压缩率较高，一般可以为50倍，但编码和解码的难度相对较大。
在单纯的视频数据传输场景下，对视频的编解码效率要求不高，此时采用B帧编码可以获得更大的压缩率，从而可以更大程度上减小需要传输的视频的数据量，降低数据传输压力，提升数据传输效率。然而在实时视频传输场景下，视频对应的图像在不断的生成(或采集)，生成的视频图像帧数据需要以最快的速度传输给视频接收方进行展示。例如在精密器件的工业生产中，边缘设备采集到对生产现场的监控视频后便需要以最快的速度传输到中控系统以展示给相应工程师；又例如在远程操控的手术过程中，手术机器人需要以最快的速度将手术场景视频的图像帧数据传输给后台操作的医生。在这些场景下，传输的流量带宽已经不再是限制视频传输速率的制约因素，对视频图像帧的编解码效率才是影响视频传输效率的关键。
因此，在该场景下，本申请提供的视频处理方法，在采用目标编码方式对采集到的目标视频的视频图像帧进行编码时，由于只进行I帧和P帧编码，无需进行B帧编码，从而可以大大提升对视频图像帧进行编码的编码效率。视频编码设备对目标视频进行编码得到的数据可以称为待解码视频帧，其中待解码视频帧可以为一帧视频图像对应的待解码视频帧，也可以为多帧视频图像序列对应的待解码视频帧序列。
步骤202，视频解码设备接收视频编码设备发送的待解码视频帧，并对待解码视频帧进行解码，得到视频图像帧。
其中，在实时视频传输场景中，视频编码设备在对采集到的视频图像帧进行实时编码后，便可以直接将编码得到的待解码视频帧发送给对应的接收设备进行解码以及显示(播放)。
接收设备可以为对待解码视频帧进行解码的视频解码设备，或者也可以为对视频进行播放的视频播放设备。视频解码设备在接收到上述待解码视频帧后，便可以对该待解码视频帧进行解码，得到视频图像帧。
其中，在一些实施例中，待解码视频帧进行解码，得到视频图像帧，包括：
1、当待解码视频帧为采用帧内编码得到的视频帧时，对待解码视频帧进行解码，得到视频图像帧；
2、当待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，根据辅助解码图像帧对待解码视频帧进行解码，得到视频图像帧。
其中，由于本实施例中对目标视频进行编码的目标编码方式为将视频图像帧编码为I帧和P帧，得到对应的待解码视频帧。那么在对待解码视频帧进行解码时可以先区分待解码视频帧为I帧还是P帧。
当待解码视频帧为I帧时，可以直接对该待解码视频帧进行解码，得到对应的视频图像帧。
当待解码视频帧为P帧时，由于P帧时根据当前帧与前一帧的差异进行编码得到的数据，因此P帧无法独立进行解码，需要根据辅助解码图像帧对P帧进行解码，得到对应的视频图像帧。
在一些实施例中，当待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，根据辅助解码图像帧对待解码视频帧进行解码，得到视频图像帧，包括：
2.1、当待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，获取辅助解码图像帧，辅助解码图像帧为根据待解码视频帧序列中处于待解码视频帧的前一帧待解码视频帧解码得到的图像帧；
2.2、根据辅助解码图像帧对待解码视频帧进行解码，得到视频图像帧。
在本实施例中，由于目标视频是由多帧图像按照一定的顺序构成的图像序列，在对目标视频进行编码时，也是按照一定的时间顺序对视频中的图像帧进行编码。由于P帧编码是计算当前帧图像与前一帧图像的差异得到的数据，因此在对待解码视频帧中的P帧进行解码时，需要先确定其参照的图像帧，即在目标视频中处于其前一帧的图像帧，此处可以称为辅助解码图像帧。
其中，视频解码设备在对目标视频对应的待解码视频帧进行解码时，也可以为按照接收到的待解码视频帧的顺序进行解码的。如此，可以确定当前待解码视频帧的前一待解码视频帧解码得到的图像帧即为辅助解码图像帧。如此，在获取到辅助解码图像帧后，便可以根据辅助解码图像帧与当前待解码视频帧进行解码得到视频图像帧。
在相关技术中，由于在对视频进行编码时采用了B帧编码，那么在对B帧编码的待解码视频帧进行解码时，便需要使用到B帧之前以及B帧之后的待解码视频帧解码得到的视频图像帧进行辅助解码，那么在这种情况下就需要将已经解码得到的视频图像帧在解码输出缓存区中进行存储以备对B帧进行解码时使用，这就在一定程度上导致了解码效率的下降。具体地，当某一B帧编码的前一帧为P1，后一帧为P2时，当P1帧解码完成后并不能进行输出显示，而是需要在解码输出缓存区中进行缓存，然后等P2解码完成后再根据P1和P2进行B帧的解码。如果帧率为60fps，那么一个B帧解码输出至少引起了16.7ms的延时，从而导致了视频解码输出的效率受到影响。其中，fps为每秒传输帧数(Frames Per Second)。
而本申请提供的视频处理方法在对视频图像进行编码时就没有采用B帧编码，如此在对待解码视频帧进行解码时也无需进行B帧解码，因此在本申请实施例中可以不设置解码输出缓存区，在解码得到视频图像帧后便可以直接将视频图像帧进行输出，从而可以提升对视频进行解码的效率。也就提升了将实时视频传达到用户进行显示的效率。
在一些实施例中，在视频解码设备中也可以设置解码输入缓存区和解码输出缓存区。具体地，可以设置解码输入缓存区和解码输出缓存器均可以设置一个缓存器，其中一个缓存器可以存储一帧视频图像帧或者一个待解码视频帧。具体地，当视频编码设备根据目标编码方法对目标视频进行编码得到20个待解码视频帧时，如此当视频解码设备对第10个待解码视频帧进行解码时，可以在解码输入缓存区中缓存第11个待解码视频帧，以及在解码输入缓存区中缓存第9个待解码视频帧解码得到的视频图像帧。
如此，当视频解码设备需要获取待解码视频帧进行解码时，便可以对解码输入缓存区进行视频帧检测，当解码输入缓存区中存在待解码视频帧时，解码输入缓存区只可以存放一个待解码视频帧，因此可以确定解码输入缓存区中的待解码视频帧即为需要获取的待解码视频帧。
在一些实施例中，若当前需要进行解码的待解码视频帧为P帧时，则需要获取辅助解码图像帧。此时视频解码设备便可以对解码输出缓存区进行检测，当检测到解码输出缓存区中存在图像时，则可以确定该解码输出缓存区中的图像为辅助解码图像帧，此时可以从解码输出缓存区中提取出辅助解码图像帧进行辅助解码。
在一些实施例中，根据辅助解码图像帧对待解码视频帧进行解码，得到视频图像帧之后，还包括：
采用视频图像帧替换解码输出缓存区中的图像。
其中，在本申请实施例中，当采用解码输出缓存区中的图像辅助当前帧进行解码得到视频图像帧之后，可以进一步将解码得到的视频图像帧替换解码输出缓存区中的图像。
在一些实施例中，若当前进行解码的待解码视频帧为I帧时，则解码得到视频图像帧后，也可以采用解码得到的视频图像帧更新解码输出缓存区中的图像。
步骤203，视频解码设备按照目标调用策略生成将视频图像帧输出的目标处理线程。
其中，在对待解码视频帧进行解码得到视频图像帧后，便可以进一步将解码得到的视频图像帧从解码器中进行输出。其中在视频解码设备的处理程序中可以由专门的线程用于将解码器中解码得到的视频图像帧进行输出。其中，线程时操作系统中能够进行运算调度的最小单位，线程被包含在进程中，一个进程可能会有许许多多的线程，一个系统又可能有许许多多的进程。这些成百上千的线程之间为了更快的完成自己的运算使命，对CPU资源的竞争是异常激烈的。操作系统，有调度策略和优先级别来约束这些线程的竞争。Linux内核有分时调度策略SCHED_OTHER，实时调用策略SCHED_FIFO和SCHED_RR。实时进程将得到优先调用，且优先级高的线程比优先级低的线程会被优先调用。采用SCHED_RR策略的进程的时间片用完了，系统会重新分配时间片，并且将其至于队列末尾，保证优先级相同的RR任务可以得到公平对待。SCHED_FIFO策略的线程一旦轮到自己会一直占用CPU，直到自己运行结束或者比它更高的优先级线程到达才会退出CPU的占用。因此，在本申请实施例中，为了保障将需要进行解码的待解码视频帧及时的送入解码器，也为了提升将解码后的图像视频帧数据及时输出，线程调度策略可以设置为SCHED_RR。
步骤204，视频解码设备对目标处理线程的优先级设置为目标优先级，并按照目标优先级处理目标处理线程，以将视频图像帧发送到显示模块进行显示。
其中，进一步地，还可以对目标处理线程的优先级进行设置，将目标处理线程的优先级设置为最高优先级，从而保证目标处理线程以最高优先级进行处理，进而进一步提升视频数据的传输效率。使得视频数据可以第一时间在接收设备上进行显示以及播放。
本申请实施例提供的视频处理方法，通过获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；对待解码视频帧进行解码，得到视频图像帧；输出视频图像帧，以播放视频图像帧对应的目标视频。以此，本申请提供的视频处理方法，在对视频进行编码得到编码帧时只将视频进行帧内编码以及帧间预测编码，不对视频进行双向预测编码，如此当对编码帧进行解码时便无需进行耗时较高的双向预测编码帧的解码，从而可以大大提升视频的解码效率。
为了更好地实施以上方法，本发明实施例还提供一种视频处理装置，该视频处理装置可以集成在终端或者服务器中。
例如，如图4所示，为本申请实施例提供的视频处理装置的结构示意图，该视频处理装置可以包括获取单元301、解码单元302、以及输出单元303，如下：
获取单元301，用于获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；
解码单元302，用于对待解码视频帧进行解码，得到视频图像帧；
输出单元303，用于输出视频图像帧，以播放视频图像帧对应的目标视频。
在一些实施例中，解码单元，包括：
第一解码子单元，用于当待解码视频帧为采用帧内编码得到的视频帧时，对待解码视频帧进行解码，得到视频图像帧；
第二解码子单元，用于当待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，根据辅助解码图像帧对待解码视频帧进行解码，得到视频图像帧。
在一些实施例中，第二解码子单元，包括：
获取模块，用于当待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，获取辅助解码图像帧，辅助解码图像帧为根据待解码视频帧序列中处于待解码视频帧的前一帧待解码视频帧解码得到的图像帧；
解码模块，用于根据辅助解码图像帧对待解码视频帧进行解码，得到视频图像帧。
在一些实施例中，获取模块，包括：
检测子模块，用于当待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，对解码输出缓存区进行图像检测；
获取子模块，用于当解码输出缓存区中存在图像时，从解码输出缓存区中获取辅助解码图像帧。
在一些实施例中，本申请提供的视频处理装置还包括：
替换子单元，用于采用视频图像帧替换解码输出缓存区中的图像。
在一些实施例中，输出单元，包括：
调用子单元，用于调用目标数据传输策略；
传输子单元，用于采用目标数据传输策略将视频图像帧传输至显示模块进行显示，以播放视频图像帧对应的目标视频。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
根据上述描述可知，本申请实施例提供的视频处理方法，通过获取单元301通过获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；解码单元302对待解码视频帧进行解码，得到视频图像帧；输出单元303输出视频图像帧，以播放视频图像帧对应的目标视频。以此，本申请提供的视频处理方法，在对视频进行编码得到编码帧时只将视频进行帧内编码以及帧间预测编码，不对视频进行双向预测编码，如此当对编码帧进行解码时便无需进行耗时较高的双向预测编码帧的解码，从而可以大大提升视频的解码效率。
本申请实施例还提供一种计算机设备，该计算机设备可以为终端，如图5所示，该终端可以包括射频(RF，Radio Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi，Wireless Fidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解，图5中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路401可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器408处理；另外，将涉及上行的数据发送给基站。通常，RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路401还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器402可用于存储软件程序以及模块，处理器408通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及信息互动。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器408和输入单元403对存储器402的访问。
输入单元403可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元403可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器408，并能接收处理器408发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元403还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元404可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器408以确定触摸事件的类型，随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图5中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路406、扬声器，传声器可提供用户与终端之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路406接收后转换为音频数据，再将音频数据输出处理器408处理后，经RF电路401以发送给比如另一终端，或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔，以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术，终端通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块407，但是可以理解的是，其并不属于终端的必要构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器408是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器408可包括一个或多个处理核心；优选的，处理器408可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器408中。
终端还包括给各个部件供电的电源409(比如电池)，优选的，电源可以通过电源管理系统与处理器408逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器408会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器408来运行存储在存储器402中的应用程序，从而实现各种功能：
获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；对待解码视频帧进行解码，得到视频图像帧；输出视频图像帧，以播放视频图像帧对应的目标视频。
应当说明的是，本申请实施例提供的计算机设备与上文实施例中的方法属于同一构思，以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
本申请实施例还提供一种计算机设备，该计算机设备可以为服务器，如图6所示，为本申请提供的计算机设备的结构示意图。具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理单元501、一个或一个以上存储介质的存储单元502、电源模块503和输入模块504等部件。本领域技术人员可以理解，图6中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理单元501是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储单元502内的软件程序和/或模块，以及调用存储在存储单元502内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理单元501可包括一个或多个处理核心；优选的，处理单元501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理单元501中。
存储单元502可用于存储软件程序以及模块，处理单元501通过运行存储在存储单元502的软件程序以及模块，从而执行各种功能应用以及视频处理。存储单元502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能以及网页访问等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储单元502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元502还可以包括存储器控制器，以提供处理单元501对存储单元502的访问。
计算机设备还包括给各个部件供电的电源模块503，优选的，电源模块503可以通过电源管理系统与处理单元501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源模块503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入模块504，该输入模块504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理单元501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元502中，并由处理单元501来运行存储在存储单元502中的应用程序，从而实现各种功能，如下：
获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；对待解码视频帧进行解码，得到视频图像帧；输出视频图像帧，以播放视频图像帧对应的目标视频。
应当说明的是，本申请实施例提供的计算机设备与上文实施例中的方法属于同一构思，以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种方法中的步骤。例如，该指令可以执行如下步骤：
获取待解码视频帧，待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；对待解码视频帧进行解码，得到视频图像帧；输出视频图像帧，以播放视频图像帧对应的目标视频。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种方法中的步骤，因此，可以实现本发明实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图3的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的一种视频处理方法、装置、计算机可读存储介质及计算机设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种视频处理方法，其特征在于，所述方法包括：
获取待解码视频帧，所述待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；
对所述待解码视频帧进行解码，得到视频图像帧；
输出所述视频图像帧，以播放所述视频图像帧对应的目标视频。
2.根据权利要求1所述的方法，其特征在于，所述对所述待解码视频帧进行解码，得到视频图像帧，包括：
当所述待解码视频帧为采用帧内编码得到的视频帧时，对所述待解码视频帧进行解码，得到视频图像帧；
当所述待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，根据辅助解码图像帧对所述待解码视频帧进行解码，得到视频图像帧。
3.根据权利要求2所述的方法，其特征在于，所述当所述待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，根据辅助解码图像帧对所述待解码视频帧进行解码，得到视频图像帧，包括：
当所述待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，获取辅助解码图像帧，所述辅助解码图像帧为根据待解码视频帧序列中处于所述待解码视频帧的前一帧待解码视频帧解码得到的图像帧；
根据所述辅助解码图像帧对所述待解码视频帧进行解码，得到视频图像帧。
4.根据权利要求3所述的方法，其特征在于，所述当所述待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，获取辅助解码图像帧，包括：
当所述待解码视频帧为采用帧间预测编码进行编码得到的视频帧时，对解码输出缓存区进行图像检测；
当所述解码输出缓存区中存在图像时，从所述解码输出缓存区中获取辅助解码图像帧。
5.根据权利要求4所述的方法，其特征在于，所述根据所述辅助解码图像帧对所述待解码视频帧进行解码，得到视频图像帧之后，还包括：
采用所述视频图像帧替换所述解码输出缓存区中的图像。
6.根据权利要求1所述的方法，其特征在于，所述获取待解码视频帧，所述待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧，包括：
对解码输入缓存区进行视频帧检测；
当所述解码输入缓存区存在待解码的视频帧时，从所述解码输入缓存区获取待解码视频帧。
7.根据权利要求1所述的方法，其特征在于，所述输出所述视频图像帧，以播放所述视频图像帧对应的目标视频，包括：
调用目标数据传输策略；
采用所述目标数据传输策略将所述视频图像帧传输至显示模块进行显示，以播放所述视频图像帧对应的目标视频。
8.一种视频处理装置，其特征在于，所述装置包括：
获取单元，用于获取待解码视频帧，所述待解码视频帧为采用帧内编码或帧间预测编码进行编码得到的视频帧；
解码单元，用于对所述待解码视频帧进行解码，得到视频图像帧；
输出单元，用于输出所述视频图像帧，以播放所述视频图像帧对应的目标视频。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7中任一项所述的视频处理方法的步骤。
10.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的视频处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210374931.2A CN116939212A (zh) | 2022-04-11 | 2022-04-11 | 视频处理方法、装置、计算机可读存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210374931.2A CN116939212A (zh) | 2022-04-11 | 2022-04-11 | 视频处理方法、装置、计算机可读存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116939212A true CN116939212A (zh) | 2023-10-24 |
Family
ID=88388374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210374931.2A Pending CN116939212A (zh) | 2022-04-11 | 2022-04-11 | 视频处理方法、装置、计算机可读存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116939212A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117295207A (zh) * | 2023-11-24 | 2023-12-26 | 深圳市千岩科技有限公司 | 氛围灯设备及其指令传输、应用方法和相应的装置、介质 |
-
2022
- 2022-04-11 CN CN202210374931.2A patent/CN116939212A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117295207A (zh) * | 2023-11-24 | 2023-12-26 | 深圳市千岩科技有限公司 | 氛围灯设备及其指令传输、应用方法和相应的装置、介质 |
| CN117295207B (zh) * | 2023-11-24 | 2024-03-01 | 深圳市千岩科技有限公司 | 氛围灯设备及其指令传输、应用方法和相应的装置、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111544886B (zh) | 一种画面显示的方法以及相关装置 | |
| US11240511B2 (en) | Video encoding code rate control method, apparatus, and device, and storage medium | |
| CN107454416B (zh) | 视频流发送方法和装置 | |
| CN108737908B (zh) | 一种媒体播放方法、装置及存储介质 | |
| CN107360458B (zh) | 播放控制方法、装置、存储介质及终端 | |
| CN108900856B (zh) | 一种视频帧率预测方法、装置及设备 | |
| CN106507204B (zh) | 一种视频倒放方法和装置 | |
| US11202066B2 (en) | Video data encoding and decoding method, device, and system, and storage medium | |
| CN111866433B (zh) | 视频源切换方法、播放方法、装置、设备和存储介质 | |
| JP6925587B2 (ja) | ビデオ符号化方法、装置、機器、及び記憶媒体 | |
| WO2018233411A1 (zh) | 预测模式选择方法、视频编码设备及存储介质 | |
| CN111010576B (zh) | 一种数据处理方法及相关设备 | |
| CN108900855B (zh) | 直播内容录制方法、装置、计算机可读存储介质及服务器 | |
| CN113572836B (zh) | 一种数据传输方法、装置、服务器及存储介质 | |
| CN112433690B (zh) | 数据处理方法、终端及计算机可读存储介质 | |
| CN110248233B (zh) | 一种音视频播放方法、装置、设备及存储介质 | |
| CN109474833B (zh) | 一种网络直播的方法、相关装置和系统 | |
| CN110418209B (zh) | 一种应用于视频传输的信息处理方法及终端设备 | |
| CN116939212A (zh) | 视频处理方法、装置、计算机可读存储介质及计算机设备 | |
| CN107277592B (zh) | 基于嵌入式平台的多媒体数据播放方法、装置及存储介质 | |
| CN112887404B (zh) | 一种音频传输控制方法、设备及计算机可读存储介质 | |
| CN114071224B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| CN115776593A (zh) | 一种视频内容的处理方法以及相关装置 | |
| CN109003313B (zh) | 一种传输网页图片的方法、装置和系统 | |
| US20240073415A1 (en) | Encoding Method, Electronic Device, Communication System, Storage Medium, and Program Product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |