CN114827662A - 视频分辨率自适应调节方法、装置、设备和存储介质 - Google Patents

视频分辨率自适应调节方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114827662A
CN114827662A CN202210272513.2A CN202210272513A CN114827662A CN 114827662 A CN114827662 A CN 114827662A CN 202210272513 A CN202210272513 A CN 202210272513A CN 114827662 A CN114827662 A CN 114827662A
Authority
CN
China
Prior art keywords
video
frame
resolution
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210272513.2A
Other languages
English (en)
Other versions
CN114827662B (zh
Inventor
陈俊奎
谢澜
陈新泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202210272513.2A priority Critical patent/CN114827662B/zh
Publication of CN114827662A publication Critical patent/CN114827662A/zh
Priority to PCT/CN2023/081121 priority patent/WO2023174216A1/zh
Application granted granted Critical
Publication of CN114827662B publication Critical patent/CN114827662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种视频分辨率自适应调节方法、装置、设备和存储介质，该方法包括：获取视频图像的丢帧数以及单帧图像的处理耗时，根据所述处理耗时计算得到最大处理帧率，基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，所述状态信息包括性能过载和性能过剩，如果所述状态信息为性能过载，则下调所述视频图像的分辨率，如果所述状态信息为性能过剩，则上调所述视频图像的分辨率。本方案实现了视频分辨率的自适应调节，对视频播放时清晰度和流畅度的平衡性进行了权衡优化，为用户提供了高质量的视频体验。

Description

视频分辨率自适应调节方法、装置、设备和存储介质
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种视频分辨率自适应调节方法、装置、设备和存储介质。
背景技术
随着计算机和网络技术的发展，基于视频图像的各类应用也越来越多。如在实时直播场景中，主播端通过摄像头进行视频图像的采集，对采集的视频图像进行前处理后再渲染并显示再主播端的屏幕中。对于观众端而言，主播端将前处理后的视频图像经过视频编码后分装成协议包的形式，通过后台服务器转发至观众端，观众端经过解码处理后渲染至观众端的屏幕中进行显示。
在进行视频图像的前处理和编码处理过程中，需要经过大量的处理器运算以及I/O操作，而随着用户场景的变化如调整视频特效、美颜处理等，会导致设备进行图像的单帧处理能力产生变化。如增加特效、美颜或随着直播时长的增加设备发热降频，处理器进行图像的单帧处理耗时会增加，由此导致丢帧、卡顿现象。而降低特效、美颜时，处理器进行图像的单帧处理耗时又会下降，丢帧则会得到缓解，视频播放的流畅度得到提升。因此，如何高效的实现视频清晰度和流畅度的平衡，是急需解决的问题。
发明内容
本申请实施例提供了一种视频分辨率自适应调节方法、装置、设备和存储介质，解决了视频播放时清晰度和流畅度的平衡性差的问题，实现了视频分辨率的自适应调节，为用户提供了高质量的视频体验。
第一方面，本申请实施例提供了一种视频分辨率自适应调节方法，该方法包括：
获取视频图像的丢帧数以及单帧图像的处理耗时；
根据所述处理耗时计算得到最大处理帧率，基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，所述状态信息包括性能过载和性能过剩；
如果所述状态信息为性能过载，则下调所述视频图像的分辨率；
如果所述状态信息为性能过剩，则上调所述视频图像的分辨率。
第二方面，本申请实施例还提供了一种视频分辨率自适应调节装置，包括：
数据获取模块，配置为获取视频图像的丢帧数以及单帧图像的处理耗时；
帧率计算模块，配置为根据所述处理耗时计算得到最大处理帧率；
状态信息确定模块，配置为基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，所述状态信息包括性能过载和性能过剩；
分辨率调节模块，配置为如果所述状态信息为性能过载，则下调所述视频图像的分辨率，如果所述状态信息为性能过剩，则上调所述视频图像的分辨率。
第三方面，本申请实施例还提供了一种视频分辨率自适应调节设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例所述的视频分辨率自适应调节方法。
第四方面，本申请实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请实施例所述的视频分辨率自适应调节方法。
第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的视频分辨率自适应调节方法。
本申请实施例中，通过获取视频图像的丢帧数以及单帧图像的处理耗时，根据处理耗时计算得到最大处理帧率后，基于丢帧数和最大处理帧率确定视频帧的状态信息，该状态信息包括性能过载和性能过剩，如果所述状态信息为性能过载，则下调所述视频图像的分辨率，如果所述状态信息为性能过剩，则上调所述视频图像的分辨率，实现了视频分辨率的自适应调节，对视频播放时清晰度和流畅度的平衡性进行了权衡优化，为用户提供了高质量的视频体验。
附图说明
图1为本申请实施例提供的一种视频分辨率自适应调节方法的流程图；
图2为本申请实施例提供的一种确定视频帧的状态信息的方法的流程图；
图3为本申请实施例提供的另一种视频分辨率自适应调节方法的流程图；
图4为本申请实施例提供的另一种视频分辨率自适应调节方法的流程图；
图5为本申请实施例提供的一种视频分辨率自适应调节装置的结构框图；
图6为本申请实施例提供的一种视频分辨率自适应调节设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本申请实施例提供的一种视频分辨率自适应调节方法的流程图，可用于对视频图像的分辨率进行自适应性的调整，该方法可以由计算设备如服务器、智能终端、笔记本、平板电脑等来执行，具体包括如下步骤：
步骤S101、获取视频图像的丢帧数以及单帧图像的处理耗时。
在一个实施例中，该丢帧数为视频图像在进行编码处理过程中的丢帧数。具体的，在对视频图像的每帧图像进行编码处理的过程中，视频图像在经过前处理后被送入编码队列待编码器进行压缩编码，其中该前处理过程包括对摄像机采集的每一帧图像进行数据清洗、肤色处理、磨皮、降噪和人脸定位等一系列处理过程。通常编码队列的大小为固定长度，也即对每一帧视频图像进行编码的速度小于输入至编码队列的图像的速度时，多余的图像帧会溢出导致丢帧、卡顿现象的发生。
在一个实施例中，该丢帧数可通过统计输入编码队列的帧数以及编码处理帧数得出，如针对设置的固定时间中输入编码队列的帧数减去编码处理帧数可得出具体的丢帧数。
在一个实施例中，该单帧图像的处理耗时可以是视频图像在进行编码处理过程中的每帧图像的处理耗时。其通过获取的单帧图像的处理时间进行计算得到。可选的，计算过程包括：获取单帧图像的处理时间，根据处理时间以及设置的移动加权指数滤波公式计算得到单帧图像的处理耗时。具体的，计算公式如下：
Figure BDA0003554222650000041
其中，ti为获取的第i帧实际编码过程消耗的处理时间，
Figure BDA0003554222650000042
为上一次估算得到的单帧图像的处理耗时，
Figure BDA0003554222650000043
为计算得到的单帧图像的处理耗时，α为移动加权因子，示例性的取值为0.996。通过该种方式计算得出的单帧图像的处理耗时估算更加准确，其满足快上升，慢下降的特性，避免了由于抖动导致的处理耗时的计算结果不准确的问题。
步骤S102、根据所述处理耗时计算得到最大处理帧率，基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，所述状态信息包括性能过载和性能过剩。
在一个实施例中，处理耗时为视频图像编码处理过程中每帧图像的处理耗时，该最大处理帧率为对应计算得到的编码处理过程中的最大处理帧率。具体的，可以是：根据处理耗时计算单位时间处理的图像帧数以得到最大处理帧率。示例性的，该最大处理帧率记为fpsenc_capacity，
Figure BDA0003554222650000044
为计算得到的单帧图像的处理耗时，则：
Figure BDA0003554222650000045
示例性的，假设计算得到的
Figure BDA0003554222650000046
为50毫秒，则fpsenc_capacity计算结果为20，即最大处理帧率为每秒钟20帧。
在一个实施例中，根据前述得到的丢帧数和最大处理帧率确定视频帧的状态信息，该状态信息包括编码处理过程中的性能过载和性能过剩。其中，性能过载指当前的对视频图像的处理速度无法满足输入的视频图像的速度，即需要降低图像分辨率的以保证视频的流畅播放，而性能过剩指当前的对视频图像的处理速度高于输入的视频图像的速度，可以提升图像分辨率以提高显示的视频图像的清晰度。
在一个实施例中，如图2所示，图2为本申请实施例提供的一种确定视频帧的状态信息的方法的流程图，具体包括：
步骤S1021、根据丢帧数和计算得到的丢帧阈值，以及最大处理帧率和设置的标准帧率阈值确定视频帧的处理是否为性能过载。
在一个实施例中，该丢帧阈值为动态确定的用于和丢帧数进行比对的阈值；该标准帧率阈值为设置的数值。示例性的，该标准帧率阈值可以是11、15或20等，可根据不同的视频应用场景进行灵活的设置。
在一个实施例中，还包括计算该丢帧阈值的步骤，可选的，该丢帧阈值基于不同图像分辨率情况计算得到。具体为：根据当前挡位和下调挡位对应的图像分辨率以及最大处理帧率计算得到丢帧阈值，其中，下调挡位对应的图像分辨率小于当前挡位对应的图像分辨率。可选的，在进行图像分辨率调整时，预先设置有多个不同的图像分辨率挡位，每个图像分辨率挡位对应固定的图像分辨率数值，如设置有六个挡位，对应的图像分辨率示例性的分别为240P、360P、480P、540P、720P和1080P。该丢帧阈值示例性的记为Thenc_drop，该丢帧阈值的计算方式如下：
Figure BDA0003554222650000051
其中，fpsenc_capacity为最大处理帧率，i表示图像分辨率档位，i的取值越大，对应的图像分辨率越高。其中，pixeli表示在i挡位对应的图像分辨率下的像素点数，其中，pixeli＝wi*hi，wi和hi分别为图像的宽和高。
在一个实施例中，具体的根据丢帧数和计算得到的丢帧阈值，以及最大处理帧率和设置的标准帧率阈值确定视频帧的处理是否为性能过载的过程可以是：如果丢帧数大于计算得到的丢帧阈值，且最大处理帧率小于设置的标准帧率阈值，则确定视频帧的处理为性能过载，以Codecoveruse表示性能过载，fpsenc_capacity为最大处理帧率，Thenc_fps为设置的标准帧率阈值，framesenc_drop为丢帧数，Thenc_drop为计算得到的丢帧阈值，则具体的判断条件可表示为：
Figure BDA0003554222650000061
步骤S1022、根据最大处理帧率和计算得到的最大帧率阈值确定视频帧的处理是否为性能过剩。
在一个实施例中，在进行性能过剩的判断时，将最大处理帧率和计算得到的最大帧率阈值进行比对。具体的，在进行比对前还包括确定最大帧率阈值的过程，包括：根据当前挡位和上调挡位对应的图像分辨率以及设置的最大帧率计算得到最大帧率阈值，其中，上调挡位对应的图像分辨率大于当前挡位对应的图像分辨率。可选的，在进行图像分辨率调整时，预先设置有多个不同的图像分辨率挡位，每个图像分辨率挡位对应固定的图像分辨率数值，如设置有六个挡位，挡位由低到高依次对应的图像分辨率示例性的分别为240P、360P、480P、540P、720P和1080P。示例性的，设置的最大帧率记为fpsmax，示例性的数值可以是24，其中，根据当前挡位和上调挡位对应的图像分辨率以及设置的最大帧率计算得到最大帧率阈值的过程可以是：
Figure BDA0003554222650000062
其中，pixeli表示在第i挡位对应的图像分辨率下的像素点数，其中，pixeli＝wi*hi，wi和hi分别为图像的宽和高。相应的满足性能过剩的条件包括：如果最大处理帧率大于计算得到的最大帧率阈值，则确定视频帧的处理为性能过剩，以Codecunderuse表示性能过剩，则相应的判断条件可表示如下：
Figure BDA0003554222650000063
步骤S103、如果所述状态信息为性能过载，则下调所述视频图像的分辨率，如果所述状态信息为性能过剩，则上调所述视频图像的分辨率。
在一个实施例中，在确定状态信息后，如果该状态信息为性能过载，则下调视频图像的分辨率，如果状态信息为性能过剩，则上调视频图像的分辨率。针对视频图像的编码处理阶段而言，如果确定出性能过载则对当前的编码分辨率进行下调，如果确定出性能过剩则对当前的编码分辨率进行上调。
在一个实施例中，通过设置多个不同的图像分辨率的挡位以用于图像分辨率的上调和下调，其中，每个挡位对应固定的分辨率数值。可选的，在进行视频图像的分辨率的调整时，每次进行一个挡位的调节。
在一个实施例中，如果确定出的状态信息既不为性能过剩也不为性能过载，则相应的确定状态信息为正常状态。
可选的，通过对状态信息的收集每隔固定周期T进行依次状态信息的判断，如果在该周期T内累计N次触发同一状态信息，如在周期10秒内触发了6次性能过载的判断情况，则进行相应的图像分辨率的调整。如果不满足上述条件，则不进行分辨率的调整。具体的，在进行编码阶段的视频图像分辨率的上调时，原则上不超过摄像装置采集的最高的图像分辨率。当然下调过程也受到设置的最低挡位对应的图像分辨率的限制。
在一个实施例中，在进行视频图像分辨率的调整之前，尤其是相机采集图像的分辨率受机型限制可能只提供特定几个分辨率的图像采集，而前处理或编码处理根据需要设置成固定宽高的几个分辨率类型时，在获取视频图像的丢帧数以及单帧图像的处理耗时之前，还包括：通过图像裁剪算法对摄像装置采集的视频图像进行裁剪，得到不同挡位下的分辨率的视频图像。即通过图像裁剪算法对图像进行裁剪得到多个不同挡位分辨率的图像以用于图像分辨率的调节。
由上述方案可知，通过获取视频图像的丢帧数以及单帧图像的处理耗时，根据处理耗时计算得到最大处理帧率后，基于丢帧数和最大处理帧率确定视频帧的状态信息，该状态信息包括性能过载和性能过剩，如果所述状态信息为性能过载，则下调所述视频图像的分辨率，如果所述状态信息为性能过剩，则上调所述视频图像的分辨率，实现了视频分辨率的自适应调节，对视频播放时清晰度和流畅度的平衡性进行了权衡优化，为用户提供了高质量的视频体验。
在具体的实施过程中，通过移动加权指数滤波公式进行计算得到单帧图像的处理耗时，使得处理耗时的计算更加精确，通过利用丢帧数、单帧图像的处理耗时以及计算得到的最大处理帧率作为状态信息的判断依据，可基于此有效的进行图像分辨率的调节，在具体调节过程中，针对丢帧阈值和最大帧率阈值采用动态计算的方式得到，极大的优化了分辨率自适应调整的效果。
图3为本申请实施例提供的另一种视频分辨率自适应调节方法的流程图，给出了以编码阶段进行视频分辨率调节的过程，如图3所示，具体包括：
步骤S201、获取视频图像编码处理阶段的单帧图像的处理时间，根据所述处理时间以及设置的移动加权指数滤波公式计算得到单帧图像的处理耗时。
步骤S202、获取视频图像编码处理阶段的丢帧数以及所述单帧图像的处理耗时，根据处理耗时计算单位时间处理的图像帧数以得到最大编码处理帧率。
步骤S203、根据当前挡位和下调挡位对应的图像分辨率以及最大编码处理帧率计算得到丢帧阈值，根据丢帧数和计算得到的丢帧阈值，以及最大编码处理帧率和设置的标准帧率阈值确定视频帧的编码处理是否为性能过载。
步骤S204、根据当前挡位和上调挡位对应的图像分辨率以及设置的最大帧率计算得到最大帧率阈值，根据最大编码处理帧率和计算得到的最大帧率阈值确定视频帧的编码处理是否为性能过剩。
步骤S205、如果丢帧数大于计算得到的丢帧阈值，且最大编码处理帧率小于设置的标准帧率阈值，则确定视频帧的编码处理为性能过载，如果最大编码处理帧率大于计算得到的最大帧率阈值，则确定视频帧的编码处理为性能过剩。
图4为本申请实施例提供的另一种视频分辨率自适应调节方法的流程图，给出了以前处理阶段进行视频分辨率调节的过程，如图4所示，具体包括：
步骤S301、获取视频图像前处理阶段的丢帧数以及单帧图像的处理耗时。
在一个实施例中，视频图像进行前处理时同样维护有前处理队列，相机采集的每帧视频图像依次输入值前处理队列中，前处理时依次对前处理队列中的每帧图像进行处理。以直播场景为例，包括数据清洗、肤色处理、磨皮、降噪和人脸定位等一系列处理过程，如果图像的前处理的速度低于输入的图像的速度则会造成丢帧。
在一个实施例中，该前处理阶段的丢帧数可通过统计输入前处理队列的帧数以及前处理中处理的帧数得出，如针对设置的固定时间中输入前处理队列的帧数减去前处理中处理的帧数可得出具体的丢帧数。
在一个实施例中，在视频图像的前处理阶段单帧图像的处理耗时为确定出的单个采集帧在整个前处理阶段的耗时。其计算方式可参考编码阶段的单帧图像的处理耗时，同样采用基于移动加权指数滤波公式计算得到，此处不再赘述。
步骤S302、根据处理耗时计算得到最大前处理帧率，基于丢帧数和最大前处理帧率确定视频帧的状态信息。
其中，根据处理耗时计算得到最大前处理帧率的计算方式，参考根据处理耗时计算得到最大编码处理帧率的计算方式，同时基于丢帧数和最大前处理帧率确定视频帧的状态信息的过程同样可参考同时基于丢帧数和最大编码处理帧率确定视频帧的状态信息的过程，即步骤S102的解释部分，此处不再赘述。
步骤S303、如果状态信息为性能过载，则下调视频图像的前处理分辨率，如果所述状态信息为性能过剩，则上调视频图像的前处理分辨率。
具体分辨率的调整方式可参考步骤S103的解释部分，此处不再赘述。
在上述技术方案的基础上，分别给出了针对前处理阶段和编码处理阶段对图像分辨率进行自适应调整的过程，该两个阶段可分别单独的进行图像分辨率的调整，或者采用联动的形式进行图像分辨率的调整。可选的，在前处理阶段进行图像分辨率的下调以降低图像分辨率时，编码处理阶段同样触发一次分辨率的下调以和前处理下调的分辨率一致；当前处理阶段进行图像分辨率的上调以提高图像分辨率时，编码处理阶段同样触发一次分辨率的上调以和前处理上调的分辨率一致。需要说明的是，上述编码处理的计算公式和具体分辨率调整方式的说明同样适用于前处理阶段，此处不再赘述。
由上述方案可知，通过对视频图像的前处理阶段和编码处理阶段的图像分辨率进行自适应性的调整，实现了视频分辨率的自适应调节，对视频播放时清晰度和流畅度的平衡性进行了权衡优化，为用户提供了高质量的视频体验。
图5为本申请实施例提供的一种视频分辨率自适应调节装置的结构框图，该装置用于执行上述实施例提供的视频分辨率自适应调节方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置具体包括：数据获取模块101、帧率计算模块102、状态信息确定模块103和分辨率调节模块104，其中，
数据获取模块101，配置为获取视频图像的丢帧数以及单帧图像的处理耗时；
帧率计算模块102，配置为根据所述处理耗时计算得到最大处理帧率；
状态信息确定模块103，配置为基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，所述状态信息包括性能过载和性能过剩；
分辨率调节模块104，配置为如果所述状态信息为性能过载，则下调所述视频图像的分辨率，如果所述状态信息为性能过剩，则上调所述视频图像的分辨率。
由上述方案可知，通过获取视频图像的丢帧数以及单帧图像的处理耗时，根据处理耗时计算得到最大处理帧率后，基于丢帧数和最大处理帧率确定视频帧的状态信息，该状态信息包括性能过载和性能过剩，如果所述状态信息为性能过载，则下调所述视频图像的分辨率，如果所述状态信息为性能过剩，则上调所述视频图像的分辨率，实现了视频分辨率的自适应调节，对视频播放时清晰度和流畅度的平衡性进行了权衡优化，为用户提供了高质量的视频体验。
在一个可能的实施例中，所述数据获取模块101，配置为：
在获取视频图像的丢帧数以及单帧图像的处理耗时之前，获取单帧图像的处理时间；
该装置还包括处理耗时计算模块，配置为：
根据所述处理时间以及设置的移动加权指数滤波公式计算得到单帧图像的处理耗时。
在一个可能的实施例中，所述帧率计算模块102配置为：
根据所述处理耗时计算单位时间处理的图像帧数以得到最大处理帧率。
在一个可能的实施例中，所述状态信息确定模块103配置为：
根据所述丢帧数和计算得到的丢帧阈值，以及所述最大处理帧率和设置的标准帧率阈值确定视频帧的处理是否为性能过载；
根据所述最大处理帧率和计算得到的最大帧率阈值确定视频帧的处理是否为性能过剩。
在一个可能的实施例中，所述状态信息确定模块103还配置为：
在根据所述丢帧数和设置的丢帧阈值，以及所述最大处理帧率和计算得到的标准帧率阈值确定视频帧的处理是否为性能过载之前，根据当前挡位和下调挡位对应的图像分辨率以及所述最大处理帧率计算得到丢帧阈值，其中，所述下调挡位对应的图像分辨率小于所述当前挡位对应的图像分辨率。
在一个可能的实施例中，所述状态信息确定模块103配置为：
如果所述丢帧数大于计算得到的丢帧阈值，且所述最大处理帧率小于设置的标准帧率阈值，则确定视频帧的处理为性能过载。
在一个可能的实施例中，所述状态信息确定模块103还配置为：
在根据所述最大处理帧率和计算得到的最大帧率阈值确定视频帧的处理是否为性能过剩之前，根据当前挡位和上调挡位对应的图像分辨率以及设置的最大帧率计算得到最大帧率阈值，其中，所述上调挡位对应的图像分辨率大于所述当前挡位对应的图像分辨率。
在一个可能的实施例中，所述状态信息确定模块103配置为：
如果所述最大处理帧率大于计算得到的最大帧率阈值，则确定视频帧的处理为性能过剩。
在一个可能的实施例中，所述数据获取模块101配置为：
获取视频图像的前处理阶段和/或编码处理阶段的丢帧数以及单帧图像的处理耗时；
所述分辨率调节模块104配置为：
下调前处理阶段和/或编码处理阶段的视频图像的分辨率，以及上调前处理阶段和/或编码处理阶段的视频图像的分辨率。
在一个可能的实施例中，所述分辨率调节模块104配置为：
在获取视频图像的丢帧数以及单帧图像的处理耗时之前，通过图像裁剪算法对摄像装置采集的视频图像进行裁剪，得到不同挡位下的分辨率的视频图像。
图6为本申请实施例提供的一种视频分辨率自适应调节设备的结构示意图，如图6所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图6中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图6中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的视频分辨率自适应调节方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视频分辨率自适应调节方法。输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种上述实施例描述的视频分辨率自适应调节方法，其中，包括：
获取视频图像的丢帧数以及单帧图像的处理耗时；
根据所述处理耗时计算得到最大处理帧率，基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，所述状态信息包括性能过载和性能过剩；
如果所述状态信息为性能过载，则下调所述视频图像的分辨率；
如果所述状态信息为性能过剩，则上调所述视频图像的分辨率。
值得注意的是，上述视频分辨率自适应调节装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的视频分辨率自适应调节方法。所述程序产品可以采用一个或多个可读介质的任意组合实现。

Claims (14)

1.视频分辨率自适应调节方法，其特征在于，包括：
获取视频图像的丢帧数以及单帧图像的处理耗时；
根据所述处理耗时计算得到最大处理帧率，基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，所述状态信息包括性能过载和性能过剩；
如果所述状态信息为性能过载，则下调所述视频图像的分辨率；
如果所述状态信息为性能过剩，则上调所述视频图像的分辨率。
2.根据权利要求1所述的视频分辨率自适应调节方法，其特征在于，在获取视频图像的丢帧数以及单帧图像的处理耗时之前，还包括：
获取单帧图像的处理时间；
根据所述处理时间以及设置的移动加权指数滤波公式计算得到单帧图像的处理耗时。
3.根据权利要求1所述的视频分辨率自适应调节方法，其特征在于，所述根据所述处理耗时计算得到最大处理帧率，包括：
根据所述处理耗时计算单位时间处理的图像帧数以得到最大处理帧率。
4.根据权利要求1-3中任一项所述的视频分辨率自适应调节方法，其特征在于，所述基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，包括：
根据所述丢帧数和计算得到的丢帧阈值，以及所述最大处理帧率和设置的标准帧率阈值确定视频帧的处理是否为性能过载；
根据所述最大处理帧率和计算得到的最大帧率阈值确定视频帧的处理是否为性能过剩。
5.根据权利要求4所述的视频分辨率自适应调节方法，其特征在于，在根据所述丢帧数和设置的丢帧阈值，以及所述最大处理帧率和计算得到的标准帧率阈值确定视频帧的处理是否为性能过载之前，还包括：
根据当前挡位和下调挡位对应的图像分辨率以及所述最大处理帧率计算得到丢帧阈值，其中，所述下调挡位对应的图像分辨率小于所述当前挡位对应的图像分辨率。
6.根据权利要求4所述的视频分辨率自适应调节方法，其特征在于，所述根据所述丢帧数和计算得到的丢帧阈值，以及所述最大处理帧率和设置的标准帧率阈值确定视频帧的处理是否为性能过载，包括：
如果所述丢帧数大于计算得到的丢帧阈值，且所述最大处理帧率小于设置的标准帧率阈值，则确定视频帧的处理为性能过载。
7.根据权利要求4所述的视频分辨率自适应调节方法，其特征在于，在根据所述最大处理帧率和计算得到的最大帧率阈值确定视频帧的处理是否为性能过剩之前，还包括：
根据当前挡位和上调挡位对应的图像分辨率以及设置的最大帧率计算得到最大帧率阈值，其中，所述上调挡位对应的图像分辨率大于所述当前挡位对应的图像分辨率。
8.根据权利要求4所述的视频分辨率自适应调节方法，其特征在于，所述根据所述最大处理帧率和计算得到的最大帧率阈值确定视频帧的处理是否为性能过剩，包括：
如果所述最大处理帧率大于计算得到的最大帧率阈值，则确定视频帧的处理为性能过剩。
9.根据权利要求1所述的视频分辨率自适应调节方法，其特征在于，所述获取视频图像的丢帧数以及单帧图像的处理耗时，包括：
获取视频图像的前处理阶段和/或编码处理阶段的丢帧数以及单帧图像的处理耗时；
所述下调所述视频图像的分辨率和所述上调所述视频图像的分辨率，包括：
下调前处理阶段和/或编码处理阶段的视频图像的分辨率，以及上调前处理阶段和/或编码处理阶段的视频图像的分辨率。
10.根据权利要求1所述的视频分辨率自适应调节方法，其特征在于，在获取视频图像的丢帧数以及单帧图像的处理耗时之前，还包括：
通过图像裁剪算法对摄像装置采集的视频图像进行裁剪，得到不同挡位下的分辨率的视频图像。
11.视频分辨率自适应调节装置，其特征在于，包括：
数据获取模块，配置为获取视频图像的丢帧数以及单帧图像的处理耗时；
帧率计算模块，配置为根据所述处理耗时计算得到最大处理帧率；
状态信息确定模块，配置为基于所述丢帧数和所述最大处理帧率确定视频帧的状态信息，所述状态信息包括性能过载和性能过剩；
分辨率调节模块，配置为如果所述状态信息为性能过载，则下调所述视频图像的分辨率，如果所述状态信息为性能过剩，则上调所述视频图像的分辨率。
12.一种视频分辨率自适应调节设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1至10中任一项所述的视频分辨率自适应调节方法。
13.一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行权利要求1至10中任一项所述的视频分辨率自适应调节方法。
14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的视频分辨率自适应调节方法。
CN202210272513.2A 2022-03-18 2022-03-18 视频分辨率自适应调节方法、装置、设备和存储介质 Active CN114827662B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210272513.2A CN114827662B (zh) 2022-03-18 2022-03-18 视频分辨率自适应调节方法、装置、设备和存储介质
PCT/CN2023/081121 WO2023174216A1 (zh) 2022-03-18 2023-03-13 视频分辨率自适应调节方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210272513.2A CN114827662B (zh) 2022-03-18 2022-03-18 视频分辨率自适应调节方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114827662A true CN114827662A (zh) 2022-07-29
CN114827662B CN114827662B (zh) 2024-06-25

Family

ID=82529981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210272513.2A Active CN114827662B (zh) 2022-03-18 2022-03-18 视频分辨率自适应调节方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN114827662B (zh)
WO (1) WO2023174216A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023174216A1 (zh) * 2022-03-18 2023-09-21 百果园技术(新加坡)有限公司 视频分辨率自适应调节方法、装置、设备和存储介质
CN117041669A (zh) * 2023-09-27 2023-11-10 湖南快乐阳光互动娱乐传媒有限公司 视频流的超分控制方法、装置及电子设备
CN117478934A (zh) * 2023-12-26 2024-01-30 南昌航天广信科技有限责任公司 一种视频流数据传输方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3015499A (en) * 1998-06-05 2000-02-03 Canon Kabushiki Kaisha Method and apparatus for hierarchical encoding or decoding video images
US20030169818A1 (en) * 2002-03-06 2003-09-11 Pere Obrador Video transcoder based joint video and still image pipeline with still burst mode
CN101094398A (zh) * 2006-06-20 2007-12-26 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
GB0905977D0 (en) * 2009-04-06 2009-05-20 Motorola Inc Method and apparatus for asynchronous video transmission over a communication network
CN101616120A (zh) * 2009-07-28 2009-12-30 北京大学 一种子载波信噪比估计方法及系统
US20100046639A1 (en) * 2008-08-25 2010-02-25 Broadcom Corporation Time shift and tonal adjustment to support video quality adaptation and lost frames
CN104539917A (zh) * 2015-02-03 2015-04-22 成都金本华科技股份有限公司 一种提高视频图像清晰度的方法
CN107079135A (zh) * 2016-01-29 2017-08-18 深圳市大疆创新科技有限公司 视频数据传输方法、系统、设备和拍摄装置
CN108596834A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 图像的分辨率处理方法、图像处理装置及系统、存储介质
CN109936744A (zh) * 2017-12-19 2019-06-25 腾讯科技（深圳）有限公司 视频编码处理方法、装置及具有视频编码功能的应用
CN110827380A (zh) * 2019-09-19 2020-02-21 北京铂石空间科技有限公司 图像的渲染方法、装置、电子设备及计算机可读介质
CN111263153A (zh) * 2020-02-20 2020-06-09 广州市百果园信息技术有限公司 视频编码方法、装置、设备及存储介质
CN113038222A (zh) * 2021-03-08 2021-06-25 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN113242434A (zh) * 2021-05-31 2021-08-10 山东云海国创云计算装备产业创新中心有限公司 一种视频压缩方法及相关装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702061A (zh) * 2013-12-23 2014-04-02 上海网达软件股份有限公司 一种智能终端视频通话分辨率自动调节方法
CN111225240A (zh) * 2020-01-19 2020-06-02 安徽文香信息技术有限公司 自动调整占用带宽的方法、装置、存储介质与电子设备
US20230319369A1 (en) * 2020-08-26 2023-10-05 Nec Corporation Video quality estimation apparatus, video quality estimation method, and video quality estimation system
CN114827662B (zh) * 2022-03-18 2024-06-25 百果园技术(新加坡)有限公司 视频分辨率自适应调节方法、装置、设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3015499A (en) * 1998-06-05 2000-02-03 Canon Kabushiki Kaisha Method and apparatus for hierarchical encoding or decoding video images
US20030169818A1 (en) * 2002-03-06 2003-09-11 Pere Obrador Video transcoder based joint video and still image pipeline with still burst mode
CN101094398A (zh) * 2006-06-20 2007-12-26 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
US20100046639A1 (en) * 2008-08-25 2010-02-25 Broadcom Corporation Time shift and tonal adjustment to support video quality adaptation and lost frames
GB0905977D0 (en) * 2009-04-06 2009-05-20 Motorola Inc Method and apparatus for asynchronous video transmission over a communication network
CN101616120A (zh) * 2009-07-28 2009-12-30 北京大学 一种子载波信噪比估计方法及系统
CN104539917A (zh) * 2015-02-03 2015-04-22 成都金本华科技股份有限公司 一种提高视频图像清晰度的方法
CN107079135A (zh) * 2016-01-29 2017-08-18 深圳市大疆创新科技有限公司 视频数据传输方法、系统、设备和拍摄装置
CN109936744A (zh) * 2017-12-19 2019-06-25 腾讯科技（深圳）有限公司 视频编码处理方法、装置及具有视频编码功能的应用
CN108596834A (zh) * 2018-04-27 2018-09-28 腾讯科技（深圳）有限公司 图像的分辨率处理方法、图像处理装置及系统、存储介质
CN110827380A (zh) * 2019-09-19 2020-02-21 北京铂石空间科技有限公司 图像的渲染方法、装置、电子设备及计算机可读介质
CN111263153A (zh) * 2020-02-20 2020-06-09 广州市百果园信息技术有限公司 视频编码方法、装置、设备及存储介质
CN113038222A (zh) * 2021-03-08 2021-06-25 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN113242434A (zh) * 2021-05-31 2021-08-10 山东云海国创云计算装备产业创新中心有限公司 一种视频压缩方法及相关装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAI-HAN LO; KAI-LUNG HUA; YU-CHIANG FRANK WANG: ""Depth map super-resolution via Markov Random Fields without texture-copying artifacts"", 《2013 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》, 21 October 2013 (2013-10-21) *
蔺朝冲: ""SIP视频会议的自适应采集与动态码流提取技术研究"", 《中国优秀硕士学位论文全文数据库》, 15 June 2016 (2016-06-15) *
高杰: ""基于超分辨率图像重建的在线相位测量轮廓术"", 《光子学报》, vol. 50, no. 7, 10 August 2021 (2021-08-10) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023174216A1 (zh) * 2022-03-18 2023-09-21 百果园技术(新加坡)有限公司 视频分辨率自适应调节方法、装置、设备和存储介质
CN117041669A (zh) * 2023-09-27 2023-11-10 湖南快乐阳光互动娱乐传媒有限公司 视频流的超分控制方法、装置及电子设备
CN117041669B (zh) * 2023-09-27 2023-12-08 湖南快乐阳光互动娱乐传媒有限公司 视频流的超分控制方法、装置及电子设备
CN117478934A (zh) * 2023-12-26 2024-01-30 南昌航天广信科技有限责任公司 一种视频流数据传输方法及系统
CN117478934B (zh) * 2023-12-26 2024-04-16 南昌航天广信科技有限责任公司 一种视频流数据传输方法及系统

Also Published As

Publication number Publication date
CN114827662B (zh) 2024-06-25
WO2023174216A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
CN114827662B (zh) 视频分辨率自适应调节方法、装置、设备和存储介质
WO2021244341A1 (zh) 图像编码方法及装置、电子设备及计算机可读存储介质
US9294687B2 (en) Robust automatic exposure control using embedded data
EP2693761A2 (en) Media workload scheduler
CN110876060B (zh) 一种编码过程中的码率调整方法及装置
CN108347645B (zh) 一种视频帧解码显示的方法及装置
KR101602032B1 (ko) 프레임 유사성들 및 시각적 품질 및 관심들에 기초한 프레임 인코딩 선택
CN110740316A (zh) 数据编码方法及装置
DE112009002346T5 (de) Verarbeitung von Videodaten in Geräten mit eingeschränkten Ressourcen
CN114913063A (zh) 一种图像处理方法和装置
EP3522544A1 (en) Estimating video quality of experience
CN112350998B (zh) 一种基于边缘计算的视频流传输方法
CN113315999A (zh) 虚拟现实优化方法、装置、设备及存储介质
CN101217615A (zh) 一种压缩图像比特率控制的方法及装置
AU2016201449B2 (en) Encoding and decoding using perceptual representations
EP4013053A1 (en) Adaptive quality boosting for low latency video coding
CN116095355B (zh) 视频显示控制方法及其装置、设备、介质、产品
US11936698B2 (en) Systems and methods for adaptive video conferencing
WO2023087177A1 (en) Method and system of video coding with fast low-latency bitstream size control
Thai et al. A hybrid remote display scheme for interactive applications in band-limited environment
CN114302125A (zh) 图像处理方法及装置、计算机可读存储介质
CN117998087A (zh) 基于内容属性的视频编码参数调整方法、装置及设备
CN116132672A (zh) 视频编码中的量化参数偏移量确定方法和装置
CN118042299A (zh) 直播视频采集帧率调整方法、系统、设备及存储介质
CN117135353A (zh) 编码帧率的动态调整方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant