CN114007137A - 一种基于roi的视频分级编码的方法、装置及介质 - Google Patents
一种基于roi的视频分级编码的方法、装置及介质 Download PDFInfo
- Publication number
- CN114007137A CN114007137A CN202111276869.5A CN202111276869A CN114007137A CN 114007137 A CN114007137 A CN 114007137A CN 202111276869 A CN202111276869 A CN 202111276869A CN 114007137 A CN114007137 A CN 114007137A
- Authority
- CN
- China
- Prior art keywords
- video
- roi
- level
- determining
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000006835 compression Effects 0.000 claims abstract description 13
- 238000007906 compression Methods 0.000 claims abstract description 13
- 238000013139 quantization Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
- H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了一种基于ROI的视频分级编码的方法、装置及介质，包括：在抓取视频后，对视频的进行分级以得到分级视频；确定视频的ROI区域；根据分级视频确定ROI区域的所属的级别；根据级别增加ROI区域的码率以便对视频进行压缩编码。相比网络带宽较小时降低视频的整体码率导致视频整体画质下降，本申请为满足较小的网络带宽，通过确定视频的ROI区域，增加ROI区域的码率，随之非ROI区域的码率降低，在满足较小网络带宽时可以保证ROI区域的画质，即保证用户感兴趣区域的画质，提升用户体验感。同时通过ROI区域的所属的级别增加ROI区域的码率，可以满足用户对ROI区域不同的画质需求。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于ROI的视频分级编码的方法、装置及介质。
背景技术
随着5G网络、编解码技术以及软硬件技术的发展，云游戏、云电脑系统等创新业务逐步进入大众的视野，并取得了一定的发展。云游戏的主机端抓取屏幕的视频，经过视频编码，然后通过网络传输到客户端，客户端进行解码、上屏控制和渲染进行本地视频呈现。
由于互联网环境网络往往不稳定，且带宽有限。目前，主机端在利用网络传输视频时，考虑到网络带宽限制视频数据的传输量，在网络带宽较小的时候，降低视频的码率来减少视频数据传输量，但会造成视频整体画质下降，影响云游戏用户的体验感。
因此，如何提高用户的体验感是本领域人员亟需要解决的问题。
发明内容
本申请的目的是提供一种基于ROI的视频分级编码的方法、装置及介质，用于满足不同用户的需求，提高云游戏用户的体验感。
为解决上述技术问题，本申请提供一种基于ROI的视频分级编码的方法，包括：
在抓取视频后，对所述视频的进行分级以得到分级视频；
确定所述视频的ROI区域；
根据所述分级视频确定所述ROI区域的所属的级别；
根据所述级别增加所述ROI区域的码率以便对所述视频进行压缩编码。
优选地，所述对所述视频的进行分级以得到分级视频，包括：
对所述视频的每一帧进行编号；
分别对序号为偶数的偶数帧和序号为奇数的奇数帧进行标记以得到所述分级视频；其中所述分级视频包括第一级别和第二级别。
优选地，对所述视频进行压缩编码，包括：
所述偶数帧编码是参考最近的前一个所述偶数帧进行编码；
所述奇数帧编码是参考最近的前一个所述偶数帧进行编码。
优选地，对所述视频进行压缩编码之后，还包括：
丢弃所述奇数帧以调整帧率。
优选地，所述根据所述级别增加所述ROI区域的码率，包括：
确定所述ROI区域的目标帧和量化参数值；
若所述目标帧为所述偶数帧，所述目标帧为所述分级视频中的所述第一级别，将所述量化参数值减少第一预设值以增加所述码率；
若所述目标帧为所述奇数帧，所述目标帧为所述分级视频中的所述第二级别，将所述量化参数值减少第二预设值以增加所述码率；
其中，所述第一预设值大于所述第二预设值。
优选地，所述根据所述分级视频确定所述ROI区域的所属的级别之前，还包括：
确定所述ROI区域的模式；
若所述模式为遮挡模式，将所述ROI区域的像素值设为固定值；
若所述模式为画质模式，则执行所述的根据所述分级视频确定所述ROI区域的所属的级别的步骤。
优选地，所述确定视频的ROI区域，包括：
将所述视频的预设分辨率下的中心区域确定为所述ROI区域。
本申请还提供一种基于ROI的视频分级编码的装置，包括：
分级模块，用于在抓取视频后，对所述视频的进行分级以得到分级视频；
第一确定模块，用于确定所述视频的ROI区域；
第二确定模块，用于根据所述分级视频确定所述ROI区域的所属的级别；
调整模块，用于根据所述级别增加所述ROI区域的码率以便对所述视频进行压缩编码。
本申请还提供一种基于ROI的视频分级编码的装置，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的基于ROI的视频分级编码的方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于ROI的视频分级编码的方法的步骤。
本申请所提供的一种基于ROI的视频分级编码的方法，包括：在抓取视频后，对视频的进行分级以得到分级视频；确定视频的ROI区域；根据分级视频确定ROI区域的所属的级别；根据级别增加ROI区域的码率以便对视频进行压缩编码。相比在网络带宽较小时降低视频的整体码率而导致视频整体画质下降，本申请为满足较小的网络带宽，虽降低视频的整体码率，但通过确定视频的ROI区域，增加ROI区域的码率，随之非ROI区域的码率降低，在满足较小网络带宽时可以保证ROI区域的画质，即保证用户感兴趣区域的画质，提升用户体验感。同时通过ROI区域的所属的级别增加ROI区域的码率，可以满足用户对ROI区域不同的画质需求。
本申请所提供的一种基于ROI的视频分级编码的装置及介质与方法对应，效果如上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于ROI的视频分级编码的方法的流程图；
图2为本申请实施例提供的另一种基于ROI的视频分级编码的方法的流程图；
图3为本申请实施例提供的一种基于ROI的视频分级编码的装置的结构图；
图4为本申请实施例提供的另一种基于ROI的视频分级编码的装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种基于ROI的视频分级编码的方法、装置及介质。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
本申请可以基于多路串流系统，即多个客户端可以同时接入到一个主机端实现多路串流。而在实际应用中，根据业务需要可以分为主客户端和辅客户端，主客户端权限高，辅客户端权限相对较低，如果主客户端需要对某部分内容保密不被其他客户端看见，需要在辅客户端对保密内容进行遮挡。当在利用网络传输视频数据时，由于网络带宽限制了数据传输，因此当网络带宽较小的时候，需要降低视频码率来减少视频数据传输量，这样会造成画质的下降。
为解决上述问题，图1为本申请实施例提供的一种基于ROI的视频分级编码的方法的流程图，如图1所示，基于ROI的视频分级编码的方法包括：
S10：在抓取视频后，对视频的进行分级以得到分级视频。
S11：确定视频的ROI区域。
S12：根据分级视频确定ROI区域的所属的级别。
S12：根据级别增加ROI区域的码率以便对视频进行压缩编码。
需要说明的是，一种基于ROI的视频分级编码的方法，应用于云游戏的主机端，当然也可以应用于其它设备，本申请实施例不作具体限定。在主机端进行抓屏、智能分级ROI编码之后经过网络自适应传输，传输到各客户端进行各自解码和渲染。
在步骤S10中，对抓取的视频进行分级以得到分级视频，关于如何分级，分成几个级别，本申请实施例不作具体限定。
在步骤S11中，关于ROI区域，即感兴趣区域(region of interest，ROI)，在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。ROI编码是一项基于感兴趣区域的智能视频编码技术，通过调节视频中感兴趣区域的量化参数值(Quantization Parameter，QP)，从而调节感兴趣区域的视频质量，减少量化参数值，可以分配更多的码率，画质提升；增加量化参数值，分配更少码率，画面质量会因此有所下降。关于如何确定ROI区域可以是用户自定义或默认的区域，本申请实施例不作具体限定，可以是将视频的预设分辨率下的中心区域确定为ROI区域，例如，将ROI区域默认为1K(1920×1080)分辨率下中心位置400的正方形，即左上角坐标为(760，340)，右下角坐标为(1160，740)。
在步骤S12中，关于如何确定ROI区域的所属的级别本申请实施例不作具体限定。
在步骤S13中，根据所属的级别增加ROI区域的码率，如何增加ROI区域的码率以及具体增加多少码率均不影响本申请实施例的实现，对此本申请实施例不作具体限定。
本申请所提供的一种基于ROI的视频分级编码的方法，包括：在抓取视频后，对视频的进行分级以得到分级视频；确定视频的ROI区域；根据分级视频确定ROI区域的所属的级别；根据级别增加ROI区域的码率以便对视频进行压缩编码。相比在网络带宽较小时降低视频的整体码率而导致视频整体画质下降，本申请为满足较小的网络带宽，虽降低视频的整体码率，但通过确定视频的ROI区域，增加ROI区域的码率，随之非ROI区域的码率降低，在满足较小网络带宽时可以保证ROI区域的画质，即保证用户感兴趣区域的画质，提升用户体验感。同时通过ROI区域的所属的级别增加ROI区域的码率，可以满足用户对ROI区域不同的画质需求。
基于上述实施例，本申请实施例对视频的进行分级以得到分级视频，包括对视频的每一帧进行编号；分别对序号为偶数的偶数帧和序号为奇数的奇数帧进行标记以得到分级视频；其中分级视频包括第一级别和第二级别。
对视频的每一帧进行编号，可以从0开始编号。分别对序号为偶数的偶数帧和序号为奇数的奇数帧进行标记，在实际应用场景中，对序号为偶数帧可以标记为T0(temporallayer0)，奇数帧标记为T1(temporal layer1)，当然也可以是其他标记，本申请实施例不作具体限定。分级视频包括第一级别和第二级别，若标记为T0和T1，即分级视频包括T0级别和T1级别。
相应地，对视频进行压缩编码包括偶数帧编码是参考最近的前一个偶数帧进行编码；奇数帧编码是参考最近的前一个偶数帧进行编码。
编号从0开始，则第0帧是I帧；第1帧是P帧，参考第0帧；编码第2帧时，将第1帧从控制解码图片缓冲(Decoded Picture Buffer，DPB)中移除，参考第0帧；第三帧P帧，参考第2帧P帧；编码第4帧时，将第3帧从DPB中移除，参考更早的第2帧，依次类推。T0帧，即偶数帧由于需要被其他帧参考，不能丢失，否则会影响后续帧的解码。T1帧，即奇数帧由于没有被其他帧参考，T1帧即使丢失，也不影响后续其他帧的解码。从而实现了分级编码功能，一次可以编码出具有不同帧率的码率。由于偶数帧不能丢失，且偶数帧会被后续帧参考，画质的好坏会影响后续帧的画质，相对更加重要。奇数帧可根据网络情况随时丢弃实现帧率自适应调整，且奇数帧无需被其他帧参考，相对没那么重要。
本申请实施例的分级编码的方法，相比与可分级视频编码技术(Scalable VideoCoding，SVC)，SVC是通过制定相关的标准，有固定的语法元素来识别参考帧，但是这种方法存在很大的局限性，由于SVC编码的复杂度较高，硬件厂商支持SVC编码并不广泛，很多硬编硬解不支持，主要是应用在软编软解中。而在云游戏场景中，为了保持低延迟效果，采用的都是硬编硬解方案，所以没办法直接使用标准的SVC编码。因此为了实现分级编码效果，本发明是在标准的H.264/H.265视频编码标准通过修改参考帧管理来实现类似效果，编码后的码率还是符合标准的H.264/H.265标准。分级编码确实会损失部分性能，例如第2个P帧不参考第1个P帧改为改为参考第0帧，相比于参考第1个p帧的方案会损失部分码率，但是为了实现帧率可分级，这种小部分的损失还能被大家接受，而且由于没有增加额外语法，损失的码率比标准的SVC编码要小。
基于上述实施例，本申请实施例对视频进行压缩编码之后还包括丢弃奇数帧以调整帧率。
本申请实施例中可以根据网络情况随时丢弃奇数帧实现帧率的调整。并且奇数帧无需被其他帧参考，相对影响不大。
基于上述实施例，本申请实施例根据级别增加ROI区域的码率包括：确定ROI区域的目标帧和量化参数值；若目标帧为偶数帧，目标帧为分级视频中的第一级别，将量化参数值减少第一预设值以增加码率；若目标帧为奇数帧，目标帧为分级视频中的第二级别，将量化参数值减少第二预设值以增加码率；其中，第一预设值大于第二预设值。
在确定ROI区域的目标帧属于分级视频的第一级别，即T0级别，将量化参数值减少第一预设值以增加码率，第一预设值可取经验值5；在确定ROI区域的目标帧属于分级视频的第二级别，即T1级别，将量化参数值减少第二预设值以增加码率，第二预设值可取经验值2。本申请实施对第一预设值和第二预设值不作具体限定，但第一预设值需大于第二预设值。
本申请实施例根据ROI区域的所属的级别来增加码率，对ROI区域的码率调整更加灵活，在保障客户对ROI区域的质量要求的同时也能适应不同客户端的网络情况。
基于上述实施例，本申请实施例根据分级视频确定ROI区域的所属的级别之前还包括确定ROI区域的模式；若模式为遮挡模式，将ROI区域的像素值设为固定值；若模式为画质模式，则执行的根据分级视频确定ROI区域的所属的级别的步骤。
本申请实施例中，如果ROI区域为遮挡模式，则修改ROI区域内的像素值为固定值，可以将像素值设为0，用户看到是全黑色，从而实现对部分内容保密的作用。
本申请实施例通过确定ROI区域的模式，根据不同的模式分别进行相对应的处理，可以满足不同用户的需求，从而进一步提高用户的体验感。
基于上述实施例，为更加清楚的了解本申请实施例，图2为本申请实施例提供的另一种基于ROI的视频分级编码的方法的流程图，如图2所示，该方法包括：
S20：确定视频的ROI区域。
S21：判断ROI区域的模式；若为遮挡模式，执行步骤S22；若为画质模式，执行步骤S23。
S22：将ROI区域的像素值设为固定值，转步骤S26。
S23：判断ROI区域的在分级视频中所属的级别；若为T0级别，执行步骤S24；若为T1级别，执行步骤S25。
S24：ROI区域的QP值减少5。
S25：ROI区域的QP值减少3。
S26：进行视频压缩编码。
需要说明的是，本申请实施例基于上述实施例的分级视频，由于本申请实施例与上述实施例相互对应，这里暂不赘述。
本申请实施例提供的基于ROI的视频分级编码的方法，通过确定ROI区域，并确定增加ROI区域的模式，若为遮挡模式，可以调整ROI区域的像素值对ROI区域进行遮挡；若为画质模式，可以根据ROI区域在分级视频中的所属的级别调整ROI区域的码率以调整画质。在不损失视频整体质量的前提下，可以节省网络带宽占用和视频存储空间，或者，在不增加网络带宽占用和存储空间的前提下，可以提高视频的ROI区域质量，提高用户体验感，同时也可以兼容不同客户端的网络环境及用户需求。
在上述实施例中，对于基于ROI的视频分级编码的方法进行了详细描述，本申请还提供基于ROI的视频分级编码的装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
在此基础上，本申请还公开与上述方法对应的基于ROI的视频分级编码的装置。图3为本申请实施例提供的一种基于ROI的视频分级编码的装置的结构图，如图3所示，基于ROI的视频分级编码的装置包括：
分级模块10，用于在抓取视频后，对视频的进行分级以得到分级视频。
第一确定模块11，用于确定视频的ROI区域。
第二确定模块12，用于根据分级视频确定ROI区域的所属的级别。
调整模块13，用于根据级别增加ROI区域的码率以便对视频进行压缩编码。
基于上述实施例，作为优选的实施例，分级模块包括：
编号单元，用于对视频的每一帧进行编号；
标记单元，用于分别对序号为偶数的偶数帧和序号为奇数的奇数帧进行标记以得到分级视频；其中分级视频包括第一级别和第二级别。
基于上述实施例，作为优选的实施例，对视频进行压缩编码包括：
编码单元，用于偶数帧编码时参考最近的前一个偶数帧进行编码；奇数帧编码时参考最近的前一个偶数帧进行编码。
基于上述实施例，作为优选的实施例，还包括：
丢弃模块，用于丢弃奇数帧以调整帧率。
基于上述实施例，作为优选的实施例，调整模块包括：
第一确定单元，用于确定ROI区域的目标帧和量化参数值；
第一调整单元，用于若目标帧为偶数帧，目标帧为分级视频中的第一级别，将量化参数值减少第一预设值以增加码率；
第二调整单元，用于若目标帧为奇数帧，目标帧为分级视频中的第二级别，将量化参数值减少第二预设值以增加码率；
其中，第一预设值大于第二预设值。
基于上述实施例，作为优选的实施例，还包括：
第三确定模块，用于确定ROI区域的模式；
遮挡模块，用于若模式为遮挡模式，将ROI区域的像素值设为固定值；
转入模块，用于若模式为画质模式，则转入第二确定模块。
基于上述实施例，作为优选的实施例，第一确定模块包括：
第二确定单元，用于将视频的预设分辨率下的中心区域确定为ROI区域。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请所提供的一种基于ROI的视频分级编码的装置，相比在网络带宽较小时降低视频的整体码率而导致视频整体画质下降，本申请为满足较小的网络带宽，虽降低视频的整体码率，但通过确定视频的ROI区域，增加ROI区域的码率，随之非ROI区域的码率降低，在满足较小网络带宽时可以保证ROI区域的画质，即保证用户感兴趣区域的画质，提升用户体验感。同时通过ROI区域的所属的级别增加ROI区域的码率，可以满足用户对ROI区域不同的画质需求。
图4为本申请实施例提供的另一种基于ROI的视频分级编码的装置的结构图，如图4所示，基于ROI的视频分级编码的装置包括：存储器20，用于存储计算机程序；
处理器21，用于执行计算机程序时实现如上述实施例基于ROI的视频分级编码的方法的步骤。
本实施例提供的基于ROI的视频分级编码的装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的基于ROI的视频分级编码的方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于分级视频的级别等。
在一些实施例中，基于ROI的视频分级编码的装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
本领域技术人员可以理解，图4中示出的结构并不构成对基于ROI的视频分级编码的装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的基于ROI的视频分级编码的装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：在抓取视频后，对视频的进行分级以得到分级视频；确定视频的ROI区域；根据分级视频确定ROI区域的所属的级别；根据级别增加ROI区域的码率以便对视频进行压缩编码。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的基于ROI的视频分级编码的方法进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于ROI的视频分级编码的方法，其特征在于，包括：
在抓取视频后，对所述视频的进行分级以得到分级视频；
确定所述视频的ROI区域；
根据所述分级视频确定所述ROI区域的所属的级别；
根据所述级别增加所述ROI区域的码率以便对所述视频进行压缩编码。
2.根据权利要求1所述的基于ROI的视频分级编码的方法，其特征在于，所述对所述视频的进行分级以得到分级视频，包括：
对所述视频的每一帧进行编号；
分别对序号为偶数的偶数帧和序号为奇数的奇数帧进行标记以得到所述分级视频；其中所述分级视频包括第一级别和第二级别。
3.根据权利要求2所述的基于ROI的视频分级编码的方法，其特征在于，对所述视频进行压缩编码，包括：
所述偶数帧编码是参考最近的前一个所述偶数帧进行编码；
所述奇数帧编码是参考最近的前一个所述偶数帧进行编码。
4.根据权利要求3所述的基于ROI的视频分级编码的方法，其特征在于，对所述视频进行压缩编码之后，还包括：
丢弃所述奇数帧以调整帧率。
5.根据权利要求2所述的基于ROI的视频分级编码的方法，其特征在于，所述根据所述级别增加所述ROI区域的码率，包括：
确定所述ROI区域的目标帧和量化参数值；
若所述目标帧为所述偶数帧，所述目标帧为所述分级视频中的所述第一级别，将所述量化参数值减少第一预设值以增加所述码率；
若所述目标帧为所述奇数帧，所述目标帧为所述分级视频中的所述第二级别，将所述量化参数值减少第二预设值以增加所述码率；
其中，所述第一预设值大于所述第二预设值。
6.根据权利要求1所述的基于ROI的视频分级编码的方法，其特征在于，所述根据所述分级视频确定所述ROI区域的所属的级别之前，还包括：
确定所述ROI区域的模式；
若所述模式为遮挡模式，将所述ROI区域的像素值设为固定值；
若所述模式为画质模式，则执行所述的根据所述分级视频确定所述ROI区域的所属的级别的步骤。
7.根据权利要求1所述的基于ROI的视频分级编码的方法，其特征在于，所述确定视频的ROI区域，包括：
将所述视频的预设分辨率下的中心区域确定为所述ROI区域。
8.一种基于ROI的视频分级编码的装置，其特征在于，包括：
分级模块，用于在抓取视频后，对所述视频的进行分级以得到分级视频；
第一确定模块，用于确定所述视频的ROI区域；
第二确定模块，用于根据所述分级视频确定所述ROI区域的所属的级别；
调整模块，用于根据所述级别增加所述ROI区域的码率以便对所述视频进行压缩编码。
9.一种基于ROI的视频分级编码的装置，其特征在于，包括存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的基于ROI的视频分级编码的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于ROI的视频分级编码的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111276869.5A CN114007137A (zh) | 2021-10-29 | 2021-10-29 | 一种基于roi的视频分级编码的方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111276869.5A CN114007137A (zh) | 2021-10-29 | 2021-10-29 | 一种基于roi的视频分级编码的方法、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114007137A true CN114007137A (zh) | 2022-02-01 |
Family
ID=79925626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111276869.5A Pending CN114007137A (zh) | 2021-10-29 | 2021-10-29 | 一种基于roi的视频分级编码的方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114007137A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115988214A (zh) * | 2022-12-01 | 2023-04-18 | 北京首都在线科技股份有限公司 | 视频帧编码方法、视频帧显示方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106658011A (zh) * | 2016-12-09 | 2017-05-10 | 深圳市云宙多媒体技术有限公司 | 全景视频的编解码方法和装置 |
| CN107659827A (zh) * | 2017-09-25 | 2018-02-02 | 北京小鱼易连科技有限公司 | 基于内容分析的桌面视频编码控制系统 |
| CN110267037A (zh) * | 2019-06-21 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、电子设备及计算机可读存储介质 |
| CN110856019A (zh) * | 2019-11-20 | 2020-02-28 | 广州酷狗计算机科技有限公司 | 码率分配的方法、装置、终端及存储介质 |
| CN111787318A (zh) * | 2020-06-24 | 2020-10-16 | 浙江大华技术股份有限公司 | 一种视频码率控制方法、装置、设备以及存储装置 |
| CN112866746A (zh) * | 2020-12-31 | 2021-05-28 | 杭州雾联科技有限公司 | 一种多路串流云游戏控制方法、装置、设备及存储介质 |
| CN113038127A (zh) * | 2021-03-30 | 2021-06-25 | 福州大学 | 一种基于roi的实时视频多路并行传输码率控制方法 |
-
2021
- 2021-10-29 CN CN202111276869.5A patent/CN114007137A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106658011A (zh) * | 2016-12-09 | 2017-05-10 | 深圳市云宙多媒体技术有限公司 | 全景视频的编解码方法和装置 |
| CN107659827A (zh) * | 2017-09-25 | 2018-02-02 | 北京小鱼易连科技有限公司 | 基于内容分析的桌面视频编码控制系统 |
| CN110267037A (zh) * | 2019-06-21 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、电子设备及计算机可读存储介质 |
| CN110856019A (zh) * | 2019-11-20 | 2020-02-28 | 广州酷狗计算机科技有限公司 | 码率分配的方法、装置、终端及存储介质 |
| CN111787318A (zh) * | 2020-06-24 | 2020-10-16 | 浙江大华技术股份有限公司 | 一种视频码率控制方法、装置、设备以及存储装置 |
| CN112866746A (zh) * | 2020-12-31 | 2021-05-28 | 杭州雾联科技有限公司 | 一种多路串流云游戏控制方法、装置、设备及存储介质 |
| CN113038127A (zh) * | 2021-03-30 | 2021-06-25 | 福州大学 | 一种基于roi的实时视频多路并行传输码率控制方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115988214A (zh) * | 2022-12-01 | 2023-04-18 | 北京首都在线科技股份有限公司 | 视频帧编码方法、视频帧显示方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guan et al. | Pano: Optimizing 360 video streaming with a better understanding of quality perception | |
| JP7221957B2 (ja) | ビデオエンコーダレンダリング向けのゲームエンジンアプリケーション | |
| KR101240450B1 (ko) | 필름 그레인 시뮬레이션에 대한 블록 평균치를 결정하기위한 방법 | |
| CN104096362B (zh) | 基于游戏者关注区域改进视频流的码率控制比特分配 | |
| US10499082B2 (en) | Optimized coding method for omnidirectional video, computer readable storage medium and computer device | |
| US9984504B2 (en) | System and method for improving video encoding using content information | |
| CN113038128B (zh) | 数据传输方法、装置、电子设备及存储介质 | |
| EP3806462A1 (en) | Image encoding and decoding method , related device and storage medium | |
| US11343501B2 (en) | Video transcoding method and device, and storage medium | |
| CN112866746A (zh) | 一种多路串流云游戏控制方法、装置、设备及存储介质 | |
| Duanmu et al. | Hybrid cubemap projection format for 360-degree video coding | |
| CN111970565A (zh) | 视频数据处理方法、装置、电子设备及存储介质 | |
| US20230045884A1 (en) | Rio-based video coding method and deivice | |
| CN114007137A (zh) | 一种基于roi的视频分级编码的方法、装置及介质 | |
| US20240098316A1 (en) | Video encoding method and apparatus, real-time communication method and apparatus, device, and storage medium | |
| CN114466221A (zh) | 一种图像处理方法、装置、存储介质和电子设备 | |
| WO2024078066A1 (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
| JP2013017230A (ja) | フィルムグレインシミュレーションのフィルムグレインキャッシュ分割のための方法、装置及びシステム | |
| Miao et al. | A high-fidelity and low-interaction-delay screen sharing system | |
| EP4294021A1 (en) | Data processing method and apparatus, computer device and storage medium | |
| CN115379235A (zh) | 基于缓冲池的图像解码方法、装置、可读介质及电子设备 | |
| CN113852816A (zh) | 视频帧处理方法、装置、计算机设备和可读存储介质 | |
| CN108933945B (zh) | 一种gif图片的压缩方法、装置及存储介质 | |
| CN112822519A (zh) | 多用户共享视频画面的视频流串流方法、装置、设备 | |
| CN116248895B (zh) | 虚拟现实全景漫游的视频云转码方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |