CN116567346A - 视频处理方法、装置、存储介质及计算机设备 - Google Patents
视频处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN116567346A CN116567346A CN202210103022.5A CN202210103022A CN116567346A CN 116567346 A CN116567346 A CN 116567346A CN 202210103022 A CN202210103022 A CN 202210103022A CN 116567346 A CN116567346 A CN 116567346A
- Authority
- CN
- China
- Prior art keywords
- hdr
- video
- terminal
- capability
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 399
- 238000009877 rendering Methods 0.000 claims abstract description 237
- 230000000694 effects Effects 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 213
- 238000004422 calculation algorithm Methods 0.000 claims description 187
- 238000012360 testing method Methods 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 abstract description 21
- 238000004458 analytical method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 206010048669 Terminal state Diseases 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开一种视频处理方法、装置、存储介质及计算机设备,可应用于游戏、游戏基础技术、数据处理等各种场景。该方法可以通过探测终端的HDR能力、终端计算资源以及云端视频的HDR渲染能力,来确定相匹配的目标处理策略,然后通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。本申请实施例实现了端云协同的HDR图像的画质增强,节省了云端计算资源,优化了云端成本,且能保证终端输出HDR图像效果。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种视频处理方法、装置、存储介质及计算机设备。
背景技术
目前的高动态范围(HDR)终端需要提供HDR视频资源才能发挥其最优性能。由于终端的HDR能力参差不齐,而在云游戏场景下,并非所有游戏都具备HDR渲染能力,所以目前的云游戏普遍采用SDR渲染的方式,导致用户的HDR终端无法发挥其所有性能,造成用户体验不佳。
发明内容
本申请实施例提供一种视频处理方法、装置、存储介质及计算机设备,可以实现端云协同的高动态范围(HDR)图像的画质增强,节省了云端计算资源,优化了云端成本,且能保证终端输出HDR图像效果。
一方面,提供一种视频处理方法,应用于终端,所述方法包括:获取终端的高动态范围HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;获取所述终端的终端计算资源;获取云端发送的目标应用对应的云端视频的HDR渲染能力;基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
另一方面,提供一种视频处理方法,应用于云端,所述方法包括:获取终端发送的终端的HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;获取所述终端发送的终端计算资源;获取云端中的目标应用对应的云端视频的HDR渲染能力;基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
另一方面,提供一种视频处理装置,应用于终端,所述装置包括:第一获取单元,用于获取终端的高动态范围HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;第二获取单元,用于获取所述终端的终端计算资源;第三获取单元,用于获取云端发送的目标应用对应的云端视频的HDR渲染能力;第一确定单元,用于基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;第一处理单元,用于通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
另一方面,提供一种视频处理装置,应用于云端,所述装置包括第四获取单元,用于获取终端发送的终端的HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;第五获取单元,用于获取所述终端发送的终端计算资源;第六获取单元,用于获取云端中的目标应用对应的云端视频的HDR渲染能力;第二确定单元,用于基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;第二处理单元,用于通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
另一方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上任一实施例所述的视频处理方法中的步骤。
另一方面,提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上任一实施例所述的视频处理方法中的步骤。
本申请实施例通过探测终端的HDR能力、终端计算资源以及云端视频的HDR渲染能力,来确定相匹配的目标处理策略,即确定最优的HDR增强策略,然后通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。本申请实施例实现了端云协同的HDR图像的画质增强,节省了云端计算资源,优化了云端成本,且能保证终端输出HDR图像效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的第一应用场景示意图。
图2为本申请实施例提供的第二应用场景示意图。
图3为本申请实施例提供的第三应用场景示意图。
图4为本申请实施例提供的第四应用场景示意图。
图5为本申请实施例提供的第五应用场景示意图。
图6为本申请实施例提供的第六应用场景示意图。
图7为本申请实施例提供的第七应用场景示意图。
图8为本申请实施例提供的第八应用场景示意图。
图9为本申请实施例提供的第九应用场景示意图。
图10为本申请实施例提供的第十应用场景示意图。
图11为本申请实施例提供的第十一应用场景示意图。
图12为本申请实施例提供的第十二应用场景示意图。
图13为本申请实施例提供的视频处理系统的结构示意图。
图14为本申请实施例提供的视频处理方法的第一流程示意图。
图15为本申请实施例提供的视频处理方法的第二流程示意图。
图16为本申请实施例提供的视频处理方法的第三流程示意图。
图17为本申请实施例提供的视频处理方法的第四流程示意图。
图18为本申请实施例提供的视频处理方法的第五流程示意图。
图19为本申请实施例提供的视频处理装置的第一结构示意图。
图20为本申请实施例提供的视频处理装置的第二结构示意图。
图21为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种视频处理方法、装置、存储介质及计算机设备。具体地,本申请实施例的视频处理方法可以由计算机设备执行,其中,该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能电视、智能音箱、穿戴式智能设备、智能车载终端、掌上游戏主机等智能终端设备,终端还可以包括客户端,该客户端可以是云游戏客户端、客户端小程序、视频客户端、浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例可应用于可应用于游戏、游戏基础技术、数据处理等各种场景等各种场景。
首先,在对本申请实施例进行描述的过程中出现的部分名词或者术语作如下解释:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云游戏(Cloud gaming)又可称为游戏点播(gaming on demand),是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下,游戏并不在玩家游戏终端,而是在云服务器中运行,并由云服务器将游戏场景渲染为视频音频流,通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力,仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云服务器的能力即可。
SDR:标准动态范围,该范围是基于阴极射线(Cathode Ray Tube,CRT)显像管的特性而制定的一种范围,其具有有限的色彩范围和亮度上下限,它支持最高100尼特(nit)的最大亮度和0.1nit的最小亮度,支持Rec.709色彩空间和sRGB色彩空间。
HDR:高动态范围,和传统的标准范围对比,其支持比1000nit更高的最大亮度以及比0.01nit更低的最小亮度,支持更宽广的色彩空间(比如Rec.2020色域)等,能够对图像表达更多的细节与色彩。
EDID:Extended Display Identification Data,扩展显示标识数据,其中包含有关显示设备及其性能的参数,参数包括:设备供应商名字、色域、最大最小亮度、转换函数等。
HDR转换:通过亮度范围扩展、细节恢复以及噪声和失真抑制、色域扩展和动态亮度调整等手段,将常规的SDR视频转换为HDR视频。
HDR调色:将SDR视频通过用色阶调整、直方图调整、曝光合成、分区蒙版等技术,人为的改变视频图像画面使其不符合自然亮度但符合观感,其本质还是SDR视频。
色域:是对一种颜色进行编码的方法,也指一个技术系统能够产生的颜色的总和。在计算机图形处理中,色域是颜色的某个完全的子集。颜色子集最常见的应用是用来精确地代表一种给定的情况。例如一个给定的色彩空间或是某个输出装置的呈色范围。例如,色域(Color Gamut)可以在色彩空间(Color Space)的色度图中表现出来,色域是色彩空间的子集。可以通过色彩空间的色度图中的线性变化来得到。
视频编码:通过压缩技术,将原始视频格式的文件转换成另一种视频格式文件的方式,转化成的数据可以称为码流。
视频解码:视频编码的逆向过程。
云服务器是指在云端运行游戏的服务器,并具备视频增强(编码前处理)、视频编码等功能。
智能终端是指一类具备丰富人机交互方式、拥有接入互联网能力、通常搭载各种操作系统、具有较强处理能力的设备。智能终端包括智能手机、客厅电视、平板电脑、车载终端、掌上游戏主机等。
为了让云服务器和智能终端进行更好的配合协同,实现联合优化,可以在云游戏过程中,根据智能终端的硬件能力和实时性能,合理调配视频编码配置,合理调配视频图像处理、视频内容分析等计算任务,在有限的云服务器资源下,进一步提升的云游戏画质体验。
视频编码协同:根据智能终端的编解码能力,并结合游戏类型、用户网络类型,选择最优的编解码配置和编解码策略。
视频渲染协同:根据智能终端的图形处理能力,对视频渲染任务进行合理划分,使云服务器和智能终端能有效协同,以提升视频画质。包括渲染区域协同、渲染任务协同、视频分析和处理协同等。
终端状态协同:根据智能终端运行的实时性能,动态调整云服务器和智能终端的编码协同任务和渲染协同策略,实时保障用户最优体验。
云服务器、智能终端协同架构主要包括:云服务器、端云协同策略、端云协同协议、智能终端协同接口、软硬件协同模块等几部分。
云服务器是指在云端运行游戏的服务器,并具备视频增强(编码前处理)、视频编码等功能。
端云协同策略包括:视频编码协同策略、视频渲染协同策略、终端状态协同策略。云服务器根据智能终端上报的设备能力,并结合游戏类型以及用户网络环境,制定最优的视频编码渲染协同策略。同时,云服务器通过终端状态协同,实时获取智能终端的运行性能,动态调整端云协同策略。
端云协同协议是指云服务器和智能终端进行数据交互的统一协议。
智能终端协同接口是指智能终端软硬件模块接口,通过该接口可以与智能终端有效交互,配置视频编码、渲染参数,获取硬件实时运行性能。
其中,智能终端渲染能力包含三类:①不具备视频图像处理能力,②具备部分视频图像处理能力,③具备完全视频图像处理能力。具体的,终端渲染能力定义如表1所示,以及视频处理算法类型定义如表2所示。
表1终端渲染能力定义
渲染能力 | 枚举定义 |
未定义 | 0 |
不具备视频图像处理能力 | 1 |
具备部分视频图像处理能力 | 2 |
具备完全视频图像处理能力 | 3 |
表2视频处理算法类型定义
视频处理算法类型 | 枚举定义 |
未定义 | 0 |
视频锐化增强 | 1 |
视频HDR增强 | 2 |
视频图像模式 | 3 |
视频复杂度分析 | 1001 |
视频前景背景分析 | 1002 |
其中,智能终端渲染能力为不具备视频图像处理能力时,设备只具备基础的视频播放功能,不具备由硬件实现的视频图像处理能力。
其中,智能终端渲染能力为具备部分视频图像处理能力时,设备具备基础的视频播放功能以外,还具备由硬件实现的特定的视频图像处理能力,但由于设备性能有限,只能完成部分的视频图像处理功能。包含两类情况:①在给定的视频帧率下,只能完成局部区域视频图像处理,不能完成全图处理。②在给定的视频帧率下,只能完成整个视频图像处理任务的部分子流程,不能完成全部流程。
其中,智能终端渲染能力为具备完全视频图像处理能力时,设备具备基础的视频播放功能以外,还具备由硬件实现的特定的视频图像处理能力,并且在给定的视频帧率下,能完成全部区域和全部流程的视频图像处理。
云服务器根据游戏类型确定需要启用的渲染功能集合,再通过智能终端上报的设备类型、渲染能力,确定当前设备最优的渲染协同模式。具体渲染协同策略包括:渲染区域协同、渲染任务协同、视频分析协同。
渲染区域协同是指特定的视频增强任务,根据终端的计算能力,划分云服务器和智能终端的渲染区域。云服务器渲染在视频编码前完成(视频前处理),智能终端渲染在视频解码后完成(视频后处理)。
对于不具备视频图像处理能力的智能终端设备,视频图像增强在云服务器完成,流程见图1所示的云服务器完成视频图像增强的流程图,在云端(云服务器)进行视频内容生成,以及视频内容采集,并在云端进行全部区域的视频图像增强处理,然后进行视频图像编码,得到视频图像码流;然后云端通过网络传输将视频图像码流发送至终端(智能终端);终端对视频图像码流进行视频图像解码,然后再进行视频图像展示。
对于具备部分视频图像处理能力的智能终端设备,视频图像增强可实现部分区域在云服务器完成,部分区域在智能终端完成,流程见图2所示的云服务器和智能终端按区域协同渲染的流程图,在云端(云服务器)进行视频内容生成,以及视频内容采集,并在云端进行区域a的视频图像增强处理,然后进行视频图像编码,得到视频图像码流;然后云端通过网络传输将视频图像码流发送至终端(智能终端);终端对视频图像码流进行视频图像解码,并对解码后的视频图像中的区域b进行视频图像增强处理,然后再进行视频图像展示。
对于具备完全视频图像处理能力的智能终端设备,视频图像增强可完全放在智能终端完成,流程见图3所示的智能终端完成视频图像增强的流程图,在云端(云服务器)进行视频内容生成,以及视频内容采集,然后进行视频图像编码,得到视频图像码流;然后云端通过网络传输将视频图像码流发送至终端(智能终端);终端对视频图像码流进行视频图像解码,并在终端进行全部区域的视频图像增强处理,然后再进行视频图像展示。
渲染任务协同是面向特定的视频增强任务,此类任务可划分为不同的独立的子任务,每个子任务对应于不同的视频图像增强算法。如图4所示的视频增强任务A由3个独立的子任务级联而成:渲染任务协同会根据终端的计算能力,让一部分视频图像增强任务在云服务器完成,另一部分视频图像增强任务在智能终端完成。云服务器完成的视频增强任务是在视频编码前完成(视频前处理),智能终端完成的视频增强任务是在视频解码后完成(视频后处理)。
视频分析协同是指视频内容分析和视频图像增强两种任务的协同。云服务器根据终端的计算能力,确定视频内容分析任务放在云服务器完成还是放在智能终端完成。视频内容分析结果用于指导当前视频帧或后续视频帧的视频图像增强和视频编码。
对于不具备视频内容分析能力的智能终端设备,视频内容分析在云服务器完成,视频分析结果用于指导云端的视频图像增强、云端视频图像编码、以及智能终端视频图像增强。流程见图5所示的云服务器完成视频内容分析的流程图,在云端(云服务器)进行视频内容生成,以及视频内容采集,并在云端进行视频图像分析,并根据视频分析结果指导云端的视频图像增强、云端视频图像编码;并将进行视频图像编码后得到的视频图像码流通过网络传输将视频图像码流从云端发送至终端(智能终端);终端对视频图像码流进行视频图像解码,并基于视频分析结果对解码后的视频图像进行视频图像增强处理,然后再进行视频图像展示。
对于具备视频内容分析的智能终端设备,视频内容分析任务在智能终端完成,视频分析结果用于指导云端的视频图像增强、云端视频图像编码、以及智能终端视频图像增强。流程见图6所示的云服务器和智能终端按算法协同渲染的流程图,在终端进行视频图像分析,并将分析结果发送至云端;
在云端(云服务器)进行视频内容生成,以及视频内容采集,并进行视频图像编码,以得到当前视频帧的视频图像码流,通过网络传输将当前视频帧的视频图像码流从云端发送至终端(智能终端);终端对当前视频帧的视频图像码流进行视频图像解码,并对解码后的当前视频帧进行视频图像分析,并将视频分析结果发送至云端,以使云端根据视频分析结果对后续视频帧的视频图像进行视频图像增强和视频编码,且以使终端根据视频分析结果对当前视频帧和/或后续视频帧的视频图像进行视频图像增强,然后终端再进行视频图像展示。
其中,视频渲染协同优化数据结构要求如表3所示:
表3智能终端渲染能力数据结构要求
云服务器根据智能终端的渲染能力,并结合游戏类型,确定当前设备最优的渲染协同模式,返回智能终端所需的完成的渲染算法、渲染区域、图像识别任务。
如图7所示的视频渲染协同优化连接流程的示意图:
1、云服务器通过START客户端向智能终端发起渲染能力请求。请求协议字段包括协议版本号、视频帧率、渲染算法类型查询。例如,枚举的渲染算法类型可参表2。
同样的,云服务器也可以通过START客户端向智能终端发起视频内容分析能力请求。
2、智能终端在接收到能力信息获取请求时,返回状态标记(成功0,失败为具体错误码)、支持的协议版本号、终端设备能力信息。
3、云服务器收到终端渲染能力信息以后,确定当前终端设备最优的渲染协同配置,把协同任务发送到智能终端。
4、智能终端收到渲染协同任务后,进行视频渲染/分析任务。
其中,START客户端是一种云游戏客户端,该START客户端安装于智能终端上。
其中,视频渲染协同优化连接协议示例如下:
1、视频渲染能力请求:
2、视频分析能力请求:
3、视频渲染能力响应:
4、视频渲染能力响应(只支持部分渲染能力):
5、视频渲染能力响应(不支持渲染能力):
6、视频渲染能力响应(协议请求失败):
7、视频分析能力响应:
8、视频渲染/分析任务下发(示例1:区域视频锐化增强):
9、视频渲染/分析任务下发(示例2:区域视频锐化增强+全图HDR):
10、视频渲染/分析任务下发(示例3:全图HDR+视频复杂度分析):
目前的HDR终端需要提供HDR视频资源才能发挥其最优性能,而在云游戏场景下,并非所有游戏都具备HDR渲染能力,目前普遍采取SDR渲染的方案,导致HDR终端无法发挥其特性。其中,如图8所示的SDR视频采集、编码、解码的渲染流程图,在云游戏场景下,云端采集SDR视频,并对SDR视频编码,得到SDR视频码流,然后云端通过网络传输将SDR视频码流发送至终端;终端对SDR视频码流进行SDR视频解码,然后进行SDR图像渲染,以输出SDR视频。
目前有两种实现HDR画质提升的方案:1.若终端具备HDR能力,则可通过亮度范围扩展和细节恢复等HDR转换技术,可以将SDR视频转换为HDR视频。2.若终端不具备HDR能力,则可通过HDR调色技术,可以将SDR视频转换为带有HDR图像效果的SDR视频。目前关于SDR转HDR的大部分方案都只采用了HDR转换或HDR调色技术,且只能在单独的一端完成,即在视频内容生产者(比如云端)或者视频内容消费者)(比如终端)一侧进行处理。
例如,如图9所示的云端做HDR转换的流程图,云端采集SDR视频,并进行HDR转换以将SDR视频转换为HDR视频,且对HDR视频编码,得到HDR视频码流,然后云端通过网络传输将HDR视频码流发送至终端;终端对HDR视频码流进行HDR视频解码,然后再进行HDR图像渲染,以输出HDR视频。
例如,如图10所示的云端做HDR调色的流程图,云端采集SDR视频,并进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,且对带有HDR图像效果的SDR视频编码,得到带有HDR图像效果的SDR视频码流,然后云端通过网络传输将带有HDR图像效果的SDR视频码流发送至终端;终端对带有HDR图像效果的SDR视频码流进行SDR视频解码,然后对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出带有HDR图像效果的SDR视频。
例如,如图11所示的终端做HDR转换的流程图,云端采集SDR视频,并对SDR视频编码,得到SDR视频码流,然后云端通过网络传输将SDR视频码流发送至终端;终端对SDR视频解码,并进行HDR转换以将SDR视频转换为HDR视频,然后进行HDR图像渲染。
例如,如图12所示的终端做HDR调色的流程图,云端采集SDR视频,并对SDR视频编码,得到SDR视频码流,然后云端通过网络传输将SDR视频码流发送至终端;终端对SDR视频码流进行SDR视频解码,并进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,然后对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出带有HDR图像效果的SDR视频。
由于终端的HDR能力参差不齐,在目前的云游戏场景下,只有部分游戏具备HDR渲染能力,所以目前的云游戏普遍采用SDR渲染的方式,导致用户的HDR终端无法发挥其所有性能,造成用户体验不佳。本申请实施例可以通过探测终端的HDR能力以及云端游戏的HDR渲染能力,能够在多种HDR画质提升的方案中自适应切换,使得HDR设备能够通过HDR调色、或SDR转HDR,发挥其HDR能力,而非HDR设备也能通过HDR调色获得HDR画质体验。
对于目前的SDR转HDR的方案,算法只在云端或终端上运行,导致资源分配不均,若只在云端上运行算法,会提高计算成本并浪费终端资源,而只在终端上运行算法,容易使得终端资源不足而造成卡顿。本申请实施例会获取终端是否有HDR转换、HDR调色的能力,并实时检测终端与云端的计算资源,当终端计算能力空闲时,此时可将计算任务放在终端上运行,可节省云端的计算资源,减少成本。目前部分终端已经提供了硬件的HDR调色或HDR转换能力,本申请实施例也考虑到这种情况,若终端已具备硬件的HDR调色或HDR转换能力,则直接将HDR转换或HDR调色算法交由终端通过硬件执行,节约云端计算能力。
本申请实施例描述了一种在云游戏场景下基于端云协同的高动态范围图像画面增强系统,通过协同终端与云端游戏的HDR能力,在HDR画质输出、SDR转换HDR和HDR调色方案上选择最优方案并对参数进行控制,发挥设备的极限能力,在HDR终端和非HDR终端上都能呈现最佳的图像画质。通过协同云端与终端的计算能力,可以动态调整算法执行主体,在终端计算资源空闲时可以将任务放在终端上执行,从而节省云端计算能力,降低成本。
本申请实施例可用于高画质需求的视频业务(如云游戏),主要面向家庭大屏设备与云端协同交互的应用场景。在产品侧,需要对终端的HDR显示能力和增强能力进行探测,包括其最高支持的亮度(动态范围)、支持的色域,支持的转换曲线以及是否具备硬件HDR转换或HDR调色能力,还需要对终端计算资源进行检测统计。在产品运行过程中,需要将获取到的能力与云端进行协同交互,云端根据终端的能力与云端HDR渲染能力确定最终使用的HDR增强方案。
请参考图13,图13为本申请实施例提供的视频处理系统的结构示意图。请该视频处理系统包括终端10和云端20等;终端10和云端20之间通过网络连接,比如,通过有线或无线网络连接等。
其中,终端10,可以用于显示图形用户界面。例如,该终端可以包括客户端。其中,该终端用于通过图形用户界面与用户进行交互,例如通过终端下载安装相应的客户端并运行,例如通过调用相应的小程序并运行,例如通过登录网站呈现相应的图像用户界面等。在本申请实施例中,该终端10可以为用户用于展示云游戏画面的终端或者客户端,该云游戏画面可以包含HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
其中,云端20,可以为云服务器,或者提供云端服务的平台。
其中,本申请实施例在进行视频处理时,通过探测终端的HDR能力、终端计算资源以及云端视频的HDR渲染能力,来确定相匹配的目标处理策略,即确定最优的HDR增强策略,然后通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。本申请实施例实现了端云协同的HDR图像的画质增强,节省了云端计算资源,优化了云端成本,且能保证终端输出HDR图像效果。
其中,终端的HDR能力可以包括显示能力和具有HDR转换或HDR调色的硬件能力。
例如,若终端的显示能力支持HDR显示能力,且云端视频支持HDR渲染能力,则可以由云端20中的目标应用直接输出目标视频对应的HDR视频码流;然后终端10对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,然后终端10输出目标视频对应的HDR视频。
例如,若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源不充足,则可以由云端20运行HDR转换算法输出目标视频对应的HDR视频码流;然后终端10对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,然后终端10输出目标视频对应的HDR视频。
例如,若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端具有HDR转换的硬件能力,则可以由终端10运行硬件内置的HDR转换算法,终端10以对云端20输出的SDR视频流解码后得到的SDR视频转换为HDR视频,以及进行HDR图像渲染,然后终端20输出目标视频对应的HDR视频。
例如,若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端不具有HDR转换的硬件能力,则可以由终端20运行软件外置的HDR转换算法,以将云端20输出的SDR视频转换为HDR视频,以及进行HDR图像渲染,然后终端20输出目标视频对应的HDR视频。
例如,若终端的显示能力不支持HDR显示能力,且终端计算资源不充足,则可以由云端20HDR调色算法以及编码,输出目标视频对应的带有HDR图像效果的SDR视频码流;然后终端10对带有HDR图像效果的SDR视频码流进行SDR视频解码,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,然后终端10输出目标视频对应的带有HDR图像效果的SDR视频。
例如,若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端具有HDR调色的硬件能力,则可以由终端10运行硬件内置的HDR调色算法进行HDR调色,以对云端20输出的SDR视频流解码后得到的SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,然后终端10输出目标视频对应的带有HDR图像效果的SDR视频。
例如,若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端不具有HDR调色的硬件能力,则可以由终端10运行软件外置的HDR调色算法进行HDR调色,以对云端20输出的SDR视频流解码后得到的SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,然后终端10输出目标视频对应的带有HDR图像效果的SDR视频。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
请参阅图14至图15,图14至图15均为本申请实施例提供的视频处理方法的流程示意图。该方法可以应用于如图13所述的终端,该方法包括:
步骤110,获取终端的HDR能力,HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力。
可选的,获取终端的HDR能力,包括:通过扩展显示标识数据获取终端的显示能力,显示能力包括动态范围、支持的色域、支持的转换曲线;当检测终端配置有指定接口时,确定终端具有HDR转换或HDR调色的硬件能力,其中,终端配置有HDR调色算法对应的指定接口时确定终端具有HDR调色的硬件能力,终端配置有HDR转换算法对应的指定接口时确定终端具有HDR转换的硬件能力;或者当检测终端未配置指定接口时,确定终端不具有HDR转换或HDR调色的硬件能力。
例如,获取当前终端的显示能力,包括其动态范围、支持的色彩空间和转换曲线,以及其是否具有HDR转换或HDR调色的硬件能力。其中终端的显示能力,包括终端的动态范围、支持的色彩空间和转换曲线,其中,动态范围可以用于表示终端最高支持的亮度。终端的显示能力可以通过扩展显示标识数据(EDID)获取到。例如,HDR转换或HDR调色的硬件能力需要通过终端与云端共同协商好的指定接口获取到,若终端不提供该指定接口,则视为该终端没有HDR转换或HDR调色的硬件能力。
可选的,获取云端通过云游戏客户端向终端发起的渲染能力请求;根据渲染能力请求,检测终端是否配置有HDR调色算法对应的指定接口,或者检测终端是否配置有HDR转换算法对应的指定接口,以确定终端是否具有HDR转换或HDR调色的硬件能力。
例如,请结合图7所示的流程示意图,终端获取云端通过云游戏客户端向终端发起的渲染能力请求,终端根据渲染能力请求,检测终端是否配置有HDR调色算法对应的指定接口,或者检测终端是否配置有HDR转换算法对应的指定接口,以确定终端是否具有HDR转换或HDR调色的硬件能力。在终端检测出硬件能力之后,若终端本身具有渲染协同策略的配置能力时,可以不将该硬件能力发送至云端,而由终端基于该硬件能力和其他信息进行后续的策略配置,然后由终端将进行策略配置后得到的目标处理策略发送至云端。在终端检测出硬件能力之后,也可以将该硬件能力发送至云端,而由云端基于该硬件能力和其他信息进行后续的策略配置,然后由云端将进行策略配置后得到的目标处理策略发送至终端。
步骤120,获取终端的终端计算资源。
可选的,获取终端的终端计算资源,包括:通过对实时传入终端的不同帧率的测试视频码流进行测试处理,确定终端计算资源;根据测试视频码流的帧率确定目标计算资源;若终端计算资源大于目标计算资源,则确定终端计算资源充足。
可选的,通过对实时传入终端的不同帧率的测试视频码流进行测试处理,确定终端计算资源,包括:通过对实时传入终端的不同帧率的测试视频码流进行解码,并对解码后的测试视频调用通过软件外置的HDR转换算法或HDR调色算法进行转换处理,且对处理后的测试视频进行渲染播放,以实现测试处理;记录测试处理过程中的单帧转换时间、单帧解码时间以及单帧渲染时间;根据单帧转换时间、单帧解码时间、单帧渲染时间之和,确定终端计算资源。
例如,探测终端计算资源时,可通过执行算法消耗时间这个指标进行评估。对于不同场景,计算资源的限制会有所不同,例如,面向云游戏这种对低延时要求极为严格的场景,需要执行算法消耗时间小于终端空闲计算时间,并根据视频帧率不同,其计算资源的要求一般为1-8ms的执行算法消耗时间。
其中,探测终端计算资源的过程如下所述,通过实时传入不同帧率的测试视频码流,终端对该测试视频码流进行解码,并对解码后的视频应用HDR转换算法或HDR调色算法,最后再对处理后的视频进行渲染播放,以实现测试处理。记录整个测试处理过程中终端的HDR算法过程对应的单帧转换时间,单帧解码时间以及单帧渲染时间,终端计算资源为这三项时间之和。对于不同帧率的测试视频码流来说,其需求的目标计算资源也是不同的,例如对于30fps的测试视频码流来说,其每帧的渲染时间相隔33ms,说明对于该帧率的测试视频来说,目标计算资源为33ms,因此,可以根据测试视频码流的帧率来确定目标计算资源。通过比较探测过程中计算的终端计算资源与目标计算资源,若探测计算资源大于目标计算资源,则认为终端计算资源不足,无法满足在终端执行HDR增强算法的能力,此时只能在云端执行HDR增强算法。
步骤130,获取云端发送的目标应用对应的云端视频的HDR渲染能力。
可选的,获取云端发送的目标应用对应的云端视频的HDR渲染能力,包括:获取云端发送的目标应用对应的云端视频的HDR渲染能力,云端视频的HDR渲染能力为通过检测目标应用是否支持HDR渲染能力确定的;若目标应用支持HDR渲染能力,则确定云端视频支持HDR渲染能力。
例如,云端需要输出视频码流到终端,云端视频生产的视频码流不能保证都为HDR视频码流,则需要提前获取云端视频生产的HDR渲染能力。例如,该目标应用为用户通过云游戏客户端选择并运行的目标游戏。例如,在云游戏的场景下,云端视频生产的HDR渲染能力由目标游戏决定,若目标游戏支持HDR渲染,则可以直接输出HDR视频码流,说明该目标游戏具有HDR渲染能力。
步骤140,基于终端的HDR能力、终端计算资源、云端视频的HDR渲染能力,确定相匹配的目标处理策略。
例如,可以基于终端的HDR能力、终端计算资源以及云端视频的HDR渲染能力,通过端云能力协商的过程进行HDR增强算法的自适应选择,以确定出相匹配的目标处理策略,该目标处理策略为最优HDR增强算法。
可选的,如图15所示,步骤140可通过步骤1401至步骤1413来实现,具体为:
步骤1401,判断终端的显示能力是否支持HDR显示能力;若是,则执行步骤1402;若否,则执行步骤1409。
步骤1402,判断云端视频是否支持HDR渲染能力;若是,则执行步骤1403;若否,则执行步骤1404。
步骤1403,确定目标处理策略为由云端直接输出HDR视频码流。
步骤1404,判断终端计算资源是否充足;若否,则执行步骤1405;若是,则执行步骤1406。
步骤1405,确定目标处理策略为由云端运行HDR转换算法。
步骤1406,判断终端是否具有HDR转换的硬件能力;若是,则执行步骤1407;若否,则执行步骤1408。
步骤1407,确定目标处理策略为由终端运行硬件内置的HDR转换算法。
步骤1408,确定目标处理策略为由终端运行软件外置的HDR转换算法。
步骤1409,判断终端计算资源是否充足;若否,则执行步骤1410;若是,则执行步骤1411。
步骤1410,确定目标处理策略为由云端运行HDR调色算法。
步骤1411,判断终端是否具有HDR调色的硬件能力;;若是,则执行步骤1412;若否,则执行步骤1413。
步骤1412,确定目标处理策略为由终端运行硬件内置的HDR调色算法
步骤1413,确定目标处理策略为由终端运行软件外置的HDR调色算法。
可选的,若终端的显示能力支持HDR显示能力,且云端视频支持HDR渲染能力,则确定目标处理策略为由云端直接输出HDR视频码流。
可选的,若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源不充足,则确定目标处理策略为由云端运行HDR转换算法。
可选的,若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端具有HDR转换的硬件能力,则确定目标处理策略为由终端运行硬件内置的HDR转换算法。
可选的,若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端不具有HDR转换的硬件能力,则确定目标处理策略为由终端运行软件外置的HDR转换算法。
可选的,若终端的显示能力不支持HDR显示能力,且终端计算资源不充足,则确定目标处理策略为由云端运行HDR调色算法。
可选的,若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端具有HDR调色的硬件能力,则确定目标处理策略为由终端运行硬件内置的HDR调色算法。
可选的,若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端不具有HDR调色的硬件能力,则确定目标处理策略为由终端运行软件外置的HDR调色算法。
步骤150,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由云端直接输出HDR视频码流,则向云端发送目标处理策略;获取云端根据目标处理策略控制目标应用直接输出的目标视频对应的HDR视频码流;对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以输出目标视频对应的HDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由云端运行HDR转换算法,则向云端发送目标处理策略;获取云端根据目标处理策略运行HDR转换算法以及编码后输出的目标视频对应的HDR视频码流;对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以输出目标视频对应的HDR视频。
可选的,在获取云端输出的目标视频对应的HDR视频码流之前,方法还包括:将终端的显示能力发送至云端,以使云端根据终端的显示能力调整HDR视频码流的转换曲线和视频色域,以使调整后的HDR视频码流的转换曲线与终端支持的转换曲线相同,且调整后的HDR视频码流的视频色域与终端支持的色域相同。
例如,若确定目标处理策略为由云端直接输出HDR视频码流或者若确定目标处理策略为由云端运行HDR转换算法的情况下,还需要进一步协同终端与云端的能力。对于云端直接输出的HDR视频码流,终端直接解码HDR视频码流的过程中,需要对HDR的参数进行协商,具体处理流程可参图11所示的流程图。云端中的HDR转换算法在将SDR视频转换为HDR视频时,需要充分考虑到终端的HDR能力,如最大最小亮度,色域以及转换曲线。转换后的HDR视频的动态范围需要在终端的动态范围以内,且视频色域和转换曲线均要和终端支持的色域和转换曲线一致。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由终端运行硬件内置的HDR转换算法,则向云端发送目标处理策略;获取云端根据目标处理策略输出的目标视频对应的SDR视频码流;对SDR视频码流进行SDR视频解码,得到SDR视频;根据目标处理策略运行硬件内置的HDR转换算法进行HDR转换以将SDR视频转换为HDR视频,以及进行HDR图像渲染,以输出目标视频对应的HDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由终端运行软件外置的HDR转换算法,则向云端发送目标处理策略;获取云端根据目标处理策略输出的目标视频对应的SDR视频码流;对SDR视频码流进行SDR视频解码,得到SDR视频;根据目标处理策略运行软件外置的HDR转换算法进行HDR转换以将SDR视频转换为HDR视频,以及进行HDR图像渲染,以输出目标视频对应的HDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由云端运行HDR调色算法,则向云端发送目标处理策略;获取云端根据目标处理策略运行HDR调色算法以及编码后输出的目标视频对应的带有HDR图像效果的SDR视频码流;对带有HDR图像效果的SDR视频码流进行SDR视频解码,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出目标视频对应的带有HDR图像效果的SDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由终端运行硬件内置的HDR调色算法,则向云端发送目标处理策略;获取云端根据目标处理策略输出的目标视频对应的SDR视频码流;对SDR视频码流进行SDR视频解码,得到SDR视频;根据目标处理策略运行硬件内置的HDR调色算法进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出目标视频对应的带有HDR图像效果的SDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由终端运行软件外置的HDR调色算法,则向云端发送目标处理策略;获取云端根据目标处理策略输出的目标视频对应的SDR视频码流;对SDR视频码流进行SDR视频解码,得到SDR视频;根据目标处理策略运行软件外置的HDR调色算法进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出目标视频对应的带有HDR图像效果的SDR视频。
其中,HDR调色算法是根据调色模型计算亮度映射函数,将视频画面的亮度信息作为输入,亮度映射函数输出调色后的视频画面亮度,从而达到HDR调色的效果,其目的是使用SDR视频显示出HDR的高动态范围画面效果。
其中,对于在终端执行HDR转换算法和HDR调色算法时,还需要根据获得的终端是否具有HDR转换或调色的硬件能力的信息进行判断,若终端已经具有该类硬件能力,则将算法过程交由终端执行,通过调用终端提供的接口直接调用硬件内置转换/调色函数;否则使用终端处理器执行本申请实施例提供的HDR转换算法和HDR调色算法。
其中,目前云游戏普遍不提供HDR能力,通过本申请实施例,云游戏的画面质量会有更进一步提升,用户体验云游戏时也能充分利用到终端的HDR能力,进一步发挥HDR终端的性能。同时本申请实施例充分考虑了终端计算资源,可以将HDR增强的步骤放在终端上执行,节省云端计算资源,优化云端成本,实现了端云协同的HDR画质增强。
本申请实施例主要描述的是SDR视频转HDR视频或处理成HDR图像效果,若云端只提供HDR资源时,若终端无HDR能力,则可能会导致画面色彩错误,用户体验下降。可选的,当检测云端仅能输出HDR视频时,在终端运行能将HDR视频转换为SDR视频的算法,以使终端将HDR视频转换为SDR视频,并输出SDR视频。
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
本申请实施例通过探测终端的HDR能力、终端计算资源以及云端视频的HDR渲染能力,来确定相匹配的目标处理策略,即确定最优的HDR增强策略,并通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。本申请实施例实现了端云协同的HDR图像的画质增强,节省了云端计算资源,优化了云端成本,且能保证终端输出HDR图像效果。
请参阅图16至图18,图16至图18均为本申请实施例提供的视频处理方法的流程示意图。该方法可以应用于如图13所述的云端,该方法包括:
步骤210,获取终端发送的终端的HDR能力,HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力。其中,步骤210的具体实施方式可参步骤110,在此不再赘述。
可选的,获取终端发送的终端的HDR能力,包括:获取终端发送的终端的显示能力,终端的显示能力为通过扩展显示标识数据获取到,显示能力包括动态范围、支持的色域、支持的转换曲线;获取终端发送的终端的硬件能力,其中,当终端检测到终端配置有指定接口时,确定终端具有HDR转换或HDR调色的硬件能力,其中,终端配置有HDR调色算法对应的指定接口时确定终端具有HDR调色的硬件能力,终端配置有HDR转换算法对应的指定接口时确定终端具有HDR转换的硬件能力;或者当终端检测到终端未配置指定接口时,确定终端不具有HDR转换或HDR调色的硬件能力。
可选的,通过云游戏客户端向终端发起的渲染能力请求;接收终端发送的终端的硬件能力,硬件能力为终端根据渲染能力请求检测终端是否配置有HDR调色算法对应的指定接口,或者检测终端是否配置有HDR转换算法对应的指定接口,来确定终端是否具有HDR转换或HDR调色的硬件能力。
例如,请结合图7所示的流程示意图,云端通过云游戏客户端向终端发起的渲染能力请求,终端根据渲染能力请求,检测终端是否配置有HDR调色算法对应的指定接口,或者检测终端是否配置有HDR转换算法对应的指定接口,以确定终端是否具有HDR转换或HDR调色的硬件能力。在终端检测出硬件能力之后,终端将该硬件能力发送至云端,由云端基于该硬件能力和其他信息进行后续的策略配置,然后由云端将进行策略配置后得到的目标处理策略发送至终端。
步骤220,获取终端发送的终端计算资源。其中,步骤220的具体实施方式可参步骤120,在此不再赘述。
可选的,获取终端发送的终端计算资源,包括:获取终端发送的终端计算资源和目标计算资源,其中,终端计算资源为终端通过对实时传入终端的不同帧率的测试视频码流进行测试处理所确定的,目标计算资源为终端根据测试视频码流的帧率所确定的;若终端计算资源大于目标计算资源,则确定终端计算资源充足。
可选的,终端通过对实时传入终端的不同帧率的测试视频码流进行解码,并对解码后的测试视频调用通过软件外置的HDR转换算法或HDR调色算法进行转换处理,且对处理后的测试视频进行渲染播放,以实现测试处理;记录测试处理过程中的单帧转换时间、单帧解码时间以及单帧渲染时间;根据单帧转换时间、单帧解码时间、单帧渲染时间之和,确定终端计算资源。
步骤230,获取云端中的目标应用对应的云端视频的HDR渲染能力。其中,步骤240的具体实施方式可参步骤130,在此不再赘述。
可选的,获取云端中的目标应用对应的云端视频的HDR渲染能力,包括:通过检测目标应用是否支持HDR渲染能力确定,确定云端中的目标应用对应的云端视频的HDR渲染能力;若目标应用支持HDR渲染能力,则确定云端视频支持HDR渲染能力。
步骤240,基于终端的HDR能力、终端计算资源、云端视频的HDR渲染能力,确定相匹配的目标处理策略。
可选的,如图17所示,步骤240可通过步骤2401至步骤2413来实现,具体为:
步骤2401,判断终端的显示能力是否支持HDR显示能力;若是,则执行步骤2402;若否,则执行步骤2409。
步骤2402,判断云端视频是否支持HDR渲染能力;若是,则执行步骤2403;若否,则执行步骤2404。
步骤2403,确定目标处理策略为由云端直接输出HDR视频码流。
步骤2404,判断终端计算资源是否充足;若否,则执行步骤2405;若是,则执行步骤2406。
步骤2405,确定目标处理策略为由云端运行HDR转换算法。
步骤2406,判断终端是否具有HDR转换的硬件能力;若是,则执行步骤2407;若否,则执行步骤2408。
步骤2407,确定目标处理策略为由终端运行硬件内置的HDR转换算法。
步骤2408,确定目标处理策略为由终端运行软件外置的HDR转换算法。
步骤2409,判断终端计算资源是否充足;若否,则执行步骤2410;若是,则执行步骤2411。
步骤2410,确定目标处理策略为由云端运行HDR调色算法。
步骤2411,判断终端是否具有HDR调色的硬件能力;;若是,则执行步骤2412;若否,则执行步骤2413。
步骤2412,确定目标处理策略为由终端运行硬件内置的HDR调色算法
步骤2413,确定目标处理策略为由终端运行软件外置的HDR调色算法。
可选的,基于终端的HDR能力、终端计算资源、云端视频的HDR渲染能力,确定相匹配的目标处理策略,包括:若终端的显示能力支持HDR显示能力,且云端视频支持HDR渲染能力,则确定目标处理策略为由云端直接输出HDR视频码流;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源不充足,则确定目标处理策略为由云端运行HDR转换算法;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端具有HDR转换的硬件能力,则确定目标处理策略为由终端运行硬件内置的HDR转换算法;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端不具有HDR转换的硬件能力,则确定目标处理策略为由终端运行软件外置的HDR转换算法;或者若终端的显示能力不支持HDR显示能力,且终端计算资源不充足,则确定目标处理策略为由云端运行HDR调色算法;或者若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端具有HDR调色的硬件能力,则确定目标处理策略为由终端运行硬件内置的HDR调色算法;或者若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端不具有HDR调色的硬件能力,则确定目标处理策略为由终端运行软件外置的HDR调色算法。
步骤250,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由云端直接输出HDR视频码流,则根据目标处理策略控制目标应用直接输出目标视频对应的HDR视频码流至终端,以使终端对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由云端运行HDR转换算法,则根据目标处理策略运行HDR转换算法以及编码后输出目标视频对应的HDR视频码流至终端,以使终端对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,如图18所示,若确定目标处理策略为由云端直接输出HDR视频码流,或者若确定目标处理策略为由云端运行HDR转换算法,则步骤250可以通过步骤2501至2506实现,具体为:
步骤2501,根据目标处理策略生成目标视频对应的HDR视频码流。
步骤2502,判断HDR视频码流的转换曲线与终端支持的转换曲线是否相同;若否,则执行步骤2503;若是,则执行步骤2504。
步骤2503,进行转换曲线类型切换调整,以使调整后的HDR视频码流的转换曲线与终端支持的转换曲线相同。
步骤2504,判断HDR视频码流的视频色域与终端支持的色域相同;若否,则执行步骤2505;若是,则执行步骤2506。
步骤2505,进行色域转换调整,以使调整后的HDR视频码流的视频色域与终端支持的色域相同。
步骤2506,云端将调整后的HDR视频码流输出至终端,以使终端对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,在输出目标视频对应的HDR视频码流至终端之前,该方法还包括:根据获取的终端的显示能力,调整HDR视频码流的转换曲线和视频色域,以使调整后的HDR视频码流的转换曲线与终端支持的转换曲线相同,且调整后的HDR视频码流的视频色域与终端支持的色域相同。
例如,若确定目标处理策略为由云端直接输出HDR视频码流或者若确定目标处理策略为由云端运行HDR转换算法的情况下,还需要进一步协同终端与云端的能力。对于云端直接输出的HDR视频码流,终端直接解码HDR视频码流的过程中,需要对HDR的参数进行协商,具体处理流程可参图11所示的流程图。云端中的HDR转换算法在将SDR视频转换为HDR视频时,需要充分考虑到终端的HDR能力,如最大最小亮度,色域以及转换曲线。转换后的HDR视频的动态范围需要在终端的动态范围以内,且视频色域和转换曲线均要和终端支持的色域和转换曲线一致。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由终端运行硬件内置的HDR转换算法,则向终端发送目标处理策略,并根据目标处理策略输出目标视频对应的SDR视频码流至终端,以使终端对SDR视频码流进行SDR视频解码得到SDR视频,且根据目标处理策略运行硬件内置的HDR转换算法进行HDR转换以将SDR视频转换为HDR视频,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由终端运行软件外置的HDR转换算法,则向终端发送目标处理策略,并根据目标处理策略输出目标视频对应的SDR视频码流至终端,以使终端对SDR视频码流进行SDR视频解码得到SDR视频,且根据目标处理策略运行软件外置的HDR转换算法进行HDR转换以将SDR视频转换为HDR视频,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由云端运行HDR调色算法,则向终端发送目标处理策略,并根据目标处理策略运行HDR调色算法以及编码后输出目标视频对应的带有HDR图像效果的SDR视频码流至终端,以使终端对带有HDR图像效果的SDR视频码流进行SDR视频解码,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以使终端输出目标视频对应的带有HDR图像效果的SDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由终端运行硬件内置的HDR调色算法,则向终端发送目标处理策略,并根据目标处理策略输出的目标视频对应的SDR视频码流至终端,以使终端对SDR视频码流进行SDR视频解码得到SDR视频,且根据目标处理策略运行硬件内置的HDR调色算法进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以使终端输出目标视频对应的带有HDR图像效果的SDR视频。
可选的,通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:若确定目标处理策略为由终端运行软件外置的HDR调色算法,则向终端发送目标处理策略,并根据目标处理策略输出的目标视频对应的SDR视频码流至终端,以使终端对SDR视频码流进行SDR视频解码得到SDR视频,且根据目标处理策略运行软件外置的HDR调色算法进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以使终端输出目标视频对应的带有HDR图像效果的SDR视频。
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
本申请实施例通过探测终端的HDR能力、终端计算资源以及云端视频的HDR渲染能力,来确定相匹配的目标处理策略,即确定最优的HDR增强策略,并通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。本申请实施例实现了端云协同的HDR图像的画质增强,节省了云端计算资源,优化了云端成本,且能保证终端输出HDR图像效果。
为便于更好的实施本申请实施例的视频处理方法,本申请实施例还提供一种视频处理装置。请参阅图19,图19为本申请实施例提供的视频处理装置的第一结构示意图。其中,该视频处理装置300可以包括:
第一获取单元310,用于获取终端的高动态范围HDR能力,HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;
第二获取单元320,用于获取终端的终端计算资源;
第三获取单元330,用于获取云端发送的目标应用对应的云端视频的HDR渲染能力;
第一确定单元340,用于基于终端的HDR能力、终端计算资源、云端视频的HDR渲染能力,确定相匹配的目标处理策略;
第一处理单元350,用于通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
可选的,第一获取单元310,可以用于:通过扩展显示标识数据获取终端的显示能力,显示能力包括动态范围、支持的色域、支持的转换曲线;当检测终端配置有指定接口时,确定终端具有HDR转换或HDR调色的硬件能力,其中,终端配置有HDR调色算法对应的指定接口时确定终端具有HDR调色的硬件能力,终端配置有HDR转换算法对应的指定接口时确定终端具有HDR转换的硬件能力;或者当检测终端未配置指定接口时,确定终端不具有HDR转换或HDR调色的硬件能力。
可选的,第一获取单元310,可以用于:获取云端通过云游戏客户端向终端发起的渲染能力请求;根据渲染能力请求,检测终端是否配置有HDR调色算法对应的指定接口,或者检测终端是否配置有HDR转换算法对应的指定接口,以确定终端是否具有HDR转换或HDR调色的硬件能力。
可选的,第二获取单元320,可以用于:通过对实时传入终端的不同帧率的测试视频码流进行测试处理,确定终端计算资源;根据测试视频码流的帧率确定目标计算资源;若终端计算资源大于目标计算资源,则确定终端计算资源充足。
可选的,第二获取单元320在通过对实时传入终端的不同帧率的测试视频码流进行测试处理,确定终端计算资源时,可以用于:通过对实时传入终端的不同帧率的测试视频码流进行解码,并对解码后的测试视频调用通过软件外置的HDR转换算法或HDR调色算法进行转换处理,且对处理后的测试视频进行渲染播放,以实现测试处理;记录测试处理过程中的单帧转换时间、单帧解码时间以及单帧渲染时间;根据单帧转换时间、单帧解码时间、单帧渲染时间之和,确定终端计算资源。
可选的,第三获取单元330,可以用于:获取云端发送的目标应用对应的云端视频的HDR渲染能力,云端视频的HDR渲染能力为通过检测目标应用是否支持HDR渲染能力确定的;若目标应用支持HDR渲染能力,则确定云端视频支持HDR渲染能力。
可选的,第一确定单元340,可以用于:若终端的显示能力支持HDR显示能力,且云端视频支持HDR渲染能力,则确定目标处理策略为由云端直接输出HDR视频码流;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源不充足,则确定目标处理策略为由云端运行HDR转换算法;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端具有HDR转换的硬件能力,则确定目标处理策略为由终端运行硬件内置的HDR转换算法;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端不具有HDR转换的硬件能力,则确定目标处理策略为由终端运行软件外置的HDR转换算法;或者若终端的显示能力不支持HDR显示能力,且终端计算资源不充足,则确定目标处理策略为由云端运行HDR调色算法;或者若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端具有HDR调色的硬件能力,则确定目标处理策略为由终端运行硬件内置的HDR调色算法;或者若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端不具有HDR调色的硬件能力,则确定目标处理策略为由终端运行软件外置的HDR调色算法。
可选的,第一处理单元350,可以用于:若确定目标处理策略为由云端直接输出HDR视频码流,则向云端发送目标处理策略;获取云端根据目标处理策略控制目标应用直接输出的目标视频对应的HDR视频码流;对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以输出目标视频对应的HDR视频。
可选的,第一处理单元350,可以用于:若确定目标处理策略为由云端运行HDR转换算法,则向云端发送目标处理策略;获取云端根据目标处理策略运行HDR转换算法以及编码后输出的目标视频对应的HDR视频码流;对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以输出目标视频对应的HDR视频。
可选的,第一处理单元350在获取云端输出的目标视频对应的HDR视频码流之前,还可用于:将终端的显示能力发送至云端,以使云端根据终端的显示能力调整HDR视频码流的转换曲线和视频色域,以使调整后的HDR视频码流的转换曲线与终端支持的转换曲线相同,且调整后的HDR视频码流的视频色域与终端支持的色域相同。
可选的,第一处理单元350,可以用于:若确定目标处理策略为由终端运行硬件内置的HDR转换算法,则向云端发送目标处理策略;获取云端根据目标处理策略输出的目标视频对应的SDR视频码流;对SDR视频码流进行SDR视频解码,得到SDR视频;根据目标处理策略运行硬件内置的HDR转换算法进行HDR转换以将SDR视频转换为HDR视频,以及进行HDR图像渲染,以输出目标视频对应的HDR视频。
可选的,第一处理单元350,可以用于:若确定目标处理策略为由终端运行软件外置的HDR转换算法,则向云端发送目标处理策略;获取云端根据目标处理策略输出的目标视频对应的SDR视频码流;对SDR视频码流进行SDR视频解码,得到SDR视频;根据目标处理策略运行软件外置的HDR转换算法进行HDR转换以将SDR视频转换为HDR视频,以及进行HDR图像渲染,以输出目标视频对应的HDR视频。
可选的,可选的,第一处理单元350,可以用于:若确定目标处理策略为由云端运行HDR调色算法,则向云端发送目标处理策略;获取云端根据目标处理策略运行HDR调色算法以及编码后输出的目标视频对应的带有HDR图像效果的SDR视频码流;对带有HDR图像效果的SDR视频码流进行SDR视频解码,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出目标视频对应的带有HDR图像效果的SDR视频。
可选的,可选的,第一处理单元350,可以用于:若确定目标处理策略为由终端运行硬件内置的HDR调色算法,则向云端发送目标处理策略;获取云端根据目标处理策略输出的目标视频对应的SDR视频码流;对SDR视频码流进行SDR视频解码,得到SDR视频;根据目标处理策略运行硬件内置的HDR调色算法进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出目标视频对应的带有HDR图像效果的SDR视频。
可选的,可选的,第一处理单元350,可以用于:若确定目标处理策略为由终端运行软件外置的HDR调色算法,则向云端发送目标处理策略;获取云端根据目标处理策略输出的目标视频对应的SDR视频码流;对SDR视频码流进行SDR视频解码,得到SDR视频;根据目标处理策略运行软件外置的HDR调色算法进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出目标视频对应的带有HDR图像效果的SDR视频。
上述视频处理装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行上述各个单元对应的操作。
视频处理装置300,可以集成在具备储存器并安装有处理器而具有运算能力的终端中,或者该视频处理装置300为该终端。
本申请实施例还提供另一种视频处理装置。请参阅图20,图20为本申请实施例提供的视频处理装置的第二结构示意图。其中,该视频处理装置400可以包括:
第四获取单元410,用于获取终端发送的终端的HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;
第五获取单元420,用于获取所述终端发送的终端计算资源;
第六获取单元430,用于获取云端中的目标应用对应的云端视频的HDR渲染能力;
第二确定单元440,用于基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;
第二处理单元450,用于通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
可选的,第四获取单元410,可以用于:获取终端发送的终端的显示能力,终端的显示能力为通过扩展显示标识数据获取到,显示能力包括动态范围、支持的色域、支持的转换曲线;获取终端发送的终端的硬件能力,其中,当终端检测到终端配置有指定接口时,确定终端具有HDR转换或HDR调色的硬件能力,其中,终端配置有HDR调色算法对应的指定接口时确定终端具有HDR调色的硬件能力,终端配置有HDR转换算法对应的指定接口时确定终端具有HDR转换的硬件能力;或者当终端检测到终端未配置指定接口时,确定终端不具有HDR转换或HDR调色的硬件能力。
可选的,第四获取单元410,可以用于:通过云游戏客户端向终端发起的渲染能力请求;接收终端发送的终端的硬件能力,硬件能力为终端根据渲染能力请求检测终端是否配置有HDR调色算法对应的指定接口,或者检测终端是否配置有HDR转换算法对应的指定接口,来确定终端是否具有HDR转换或HDR调色的硬件能力。
可选的,第五获取单元420,可以用于:获取终端发送的终端计算资源和目标计算资源,其中,终端计算资源为终端通过对实时传入终端的不同帧率的测试视频码流进行测试处理所确定的,目标计算资源为终端根据测试视频码流的帧率所确定的;若终端计算资源大于目标计算资源,则确定终端计算资源充足。
可选的,第六获取单元430,可以用于:通过检测目标应用是否支持HDR渲染能力确定,确定云端中的目标应用对应的云端视频的HDR渲染能力;若目标应用支持HDR渲染能力,则确定云端视频支持HDR渲染能力。
可选的,第二确定单元440,可以用于:若终端的显示能力支持HDR显示能力,且云端视频支持HDR渲染能力,则确定目标处理策略为由云端直接输出HDR视频码流;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源不充足,则确定目标处理策略为由云端运行HDR转换算法;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端具有HDR转换的硬件能力,则确定目标处理策略为由终端运行硬件内置的HDR转换算法;或者若终端的显示能力支持HDR显示能力,云端视频不支持HDR渲染能力,终端计算资源充足,且终端不具有HDR转换的硬件能力,则确定目标处理策略为由终端运行软件外置的HDR转换算法;或者若终端的显示能力不支持HDR显示能力,且终端计算资源不充足,则确定目标处理策略为由云端运行HDR调色算法;或者若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端具有HDR调色的硬件能力,则确定目标处理策略为由终端运行硬件内置的HDR调色算法;或者若终端的显示能力不支持HDR显示能力,终端计算资源充足,且终端不具有HDR调色的硬件能力,则确定目标处理策略为由终端运行软件外置的HDR调色算法。
可选的,第二处理单元450,可以用于:若确定目标处理策略为由云端直接输出HDR视频码流,则根据目标处理策略控制目标应用直接输出目标视频对应的HDR视频码流至终端,以使终端对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,第二处理单元450,可以用于:若确定目标处理策略为由云端运行HDR转换算法,则根据目标处理策略运行HDR转换算法以及编码后输出目标视频对应的HDR视频码流至终端,以使终端对HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,第二处理单元450在输出目标视频对应的HDR视频码流至终端之前,还可以用于:根据获取的终端的显示能力,调整HDR视频码流的转换曲线和视频色域,以使调整后的HDR视频码流的转换曲线与终端支持的转换曲线相同,且调整后的HDR视频码流的视频色域与终端支持的色域相同。
可选的,第二处理单元450,可以用于:若确定目标处理策略为由终端运行硬件内置的HDR转换算法,则向终端发送目标处理策略,并根据目标处理策略输出目标视频对应的SDR视频码流至终端,以使终端对SDR视频码流进行SDR视频解码得到SDR视频,且根据目标处理策略运行硬件内置的HDR转换算法进行HDR转换以将SDR视频转换为HDR视频,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,第二处理单元450,可以用于:若确定目标处理策略为由终端运行软件外置的HDR转换算法,则向终端发送目标处理策略,并根据目标处理策略输出目标视频对应的SDR视频码流至终端,以使终端对SDR视频码流进行SDR视频解码得到SDR视频,且根据目标处理策略运行软件外置的HDR转换算法进行HDR转换以将SDR视频转换为HDR视频,以及进行HDR图像渲染,以使终端输出目标视频对应的HDR视频。
可选的,第二处理单元450,可以用于:若确定目标处理策略为由云端运行HDR调色算法,则向终端发送目标处理策略,并根据目标处理策略运行HDR调色算法以及编码后输出目标视频对应的带有HDR图像效果的SDR视频码流至终端,以使终端对带有HDR图像效果的SDR视频码流进行SDR视频解码,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以使终端输出目标视频对应的带有HDR图像效果的SDR视频。
可选的,第二处理单元450,可以用于:若确定目标处理策略为由终端运行硬件内置的HDR调色算法,则向终端发送目标处理策略,并根据目标处理策略输出的目标视频对应的SDR视频码流至终端,以使终端对SDR视频码流进行SDR视频解码得到SDR视频,且根据目标处理策略运行硬件内置的HDR调色算法进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以使终端输出目标视频对应的带有HDR图像效果的SDR视频。
可选的,第二处理单元450,可以用于:若确定目标处理策略为由终端运行软件外置的HDR调色算法,则向终端发送目标处理策略,并根据目标处理策略输出的目标视频对应的SDR视频码流至终端,以使终端对SDR视频码流进行SDR视频解码得到SDR视频,且根据目标处理策略运行软件外置的HDR调色算法进行HDR调色以将SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以使终端输出目标视频对应的带有HDR图像效果的SDR视频。
上述视频处理装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行上述各个单元对应的操作。
视频处理装置400,可以集成在具备储存器并安装有处理器而具有运算能力的云端中,或者该视频处理装置400为云端。
可选的,本申请还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
图21为本申请实施例提供的计算机设备的结构示意图,该计算机设备可以是图13示的终端或云端。如图21所示,该计算机设备500可以包括:通信接口501,存储器502,处理器503和通信总线504。通信接口501,存储器502,处理器503通过通信总线504实现相互间的通信。通信接口501用于装置700与外部设备进行数据通信。存储器502可用于存储软件程序以及模块,处理器503通过运行存储在存储器502的软件程序以及模块,例如前述方法实施例中的相应操作的软件程序。
可选的,该计算机设备500可为终端,该处理器503可以调用存储在存储器502的软件程序以及模块执行如下操作:获取终端的高动态范围HDR能力,HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;获取终端的终端计算资源;获取云端发送的目标应用对应的云端视频的HDR渲染能力;基于终端的HDR能力、终端计算资源、云端视频的HDR渲染能力,确定相匹配的目标处理策略;通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
可选的,该计算机设备500可为云端,该处理器503可以调用存储在存储器502的软件程序以及模块执行如下操作:获取终端发送的终端的HDR能力,HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;获取终端发送的终端计算资源;获取云端中的目标应用对应的云端视频的HDR渲染能力;基于终端的HDR能力、终端计算资源、云端视频的HDR渲染能力,确定相匹配的目标处理策略;通过确定的目标处理策略对目标视频进行处理,得到目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
本申请还提供了一种计算机可读存储介质,用于存储计算机程序。该计算机可读存储介质可应用于计算机设备,且该计算机程序使得计算机设备执行本申请实施例中的视频处理方法中的相应流程,为了简洁,在此不再赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得计算机设备执行本申请实施例中的视频处理方法中的相应流程,为了简洁,在此不再赘述。
本申请还提供了一种计算机程序,该计算机程序包括计算机指令,计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得计算机设备执行本申请实施例中的视频处理方法中的相应流程,为了简洁,在此不再赘述。
应理解,本申请实施例的处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对目前技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (25)
1.一种视频处理方法,其特征在于,应用于终端,所述方法包括:
获取终端的高动态范围HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;
获取所述终端的终端计算资源;
获取云端发送的目标应用对应的云端视频的HDR渲染能力;
基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;
通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
2.如权利要求1所述的视频处理方法,其特征在于,所述获取终端的HDR能力,包括:
通过扩展显示标识数据获取所述终端的显示能力,所述显示能力包括动态范围、支持的色域、支持的转换曲线;
当检测所述终端配置有指定接口时,确定所述终端具有HDR转换或HDR调色的硬件能力,其中,所述终端配置有HDR调色算法对应的指定接口时确定所述终端具有HDR调色的硬件能力,所述终端配置有HDR转换算法对应的指定接口时确定所述终端具有HDR转换的硬件能力;或者
当检测所述终端未配置所述指定接口时,确定所述终端不具有HDR转换或HDR调色的硬件能力。
3.如权利要求2所述的视频处理方法,其特征在于,所述方法还包括:
获取所述云端通过云游戏客户端向所述终端发起的渲染能力请求;
根据所述渲染能力请求,检测所述终端是否配置有HDR调色算法对应的指定接口,或者检测所述终端是否配置有HDR转换算法对应的指定接口,以确定所述终端是否具有HDR转换或HDR调色的硬件能力。
4.如权利要求2所述的视频处理方法,其特征在于,所述获取所述终端的终端计算资源,包括:
通过对实时传入所述终端的不同帧率的测试视频码流进行测试处理,确定所述终端计算资源;
根据所述测试视频码流的帧率确定目标计算资源;
若所述终端计算资源大于所述目标计算资源,则确定所述终端计算资源充足。
5.如权利要求4所述的视频处理方法,其特征在于,所述通过对实时传入所述终端的不同帧率的测试视频码流进行测试处理,确定所述终端计算资源,包括:
通过对实时传入所述终端的不同帧率的所述测试视频码流进行解码,并对解码后的测试视频调用通过软件外置的HDR转换算法或HDR调色算法进行转换处理,且对处理后的测试视频进行渲染播放,以实现所述测试处理;
记录所述测试处理过程中的单帧转换时间、单帧解码时间以及单帧渲染时间;
根据所述单帧转换时间、所述单帧解码时间、所述单帧渲染时间之和,确定所述终端计算资源。
6.如权利要求4所述的视频处理方法,其特征在于,所述获取云端发送的目标应用对应的云端视频的HDR渲染能力,包括:
获取云端发送的目标应用对应的云端视频的HDR渲染能力,所述云端视频的HDR渲染能力为通过检测所述目标应用是否支持HDR渲染能力确定的;
若所述目标应用支持HDR渲染能力,则确定所述云端视频支持HDR渲染能力。
7.如权利要求6所述的视频处理方法,其特征在于,所述基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略,包括:
若所述终端的显示能力支持HDR显示能力,且所述云端视频支持HDR渲染能力,则确定目标处理策略为由所述云端直接输出HDR视频码流;或者
若所述终端的显示能力支持HDR显示能力,所述云端视频不支持HDR渲染能力,所述终端计算资源不充足,则确定目标处理策略为由所述云端运行HDR转换算法;或者
若所述终端的显示能力支持HDR显示能力,所述云端视频不支持HDR渲染能力,所述终端计算资源充足,且所述终端具有HDR转换的硬件能力,则确定目标处理策略为由所述终端运行硬件内置的HDR转换算法;或者
若所述终端的显示能力支持HDR显示能力,所述云端视频不支持HDR渲染能力,所述终端计算资源充足,且所述终端不具有HDR转换的硬件能力,则确定目标处理策略为由所述终端运行软件外置的HDR转换算法;或者
若所述终端的显示能力不支持HDR显示能力,且所述终端计算资源不充足,则确定目标处理策略为由所述云端运行HDR调色算法;或者
若所述终端的显示能力不支持HDR显示能力,所述终端计算资源充足,且所述终端具有HDR调色的硬件能力,则确定目标处理策略为由所述终端运行硬件内置的HDR调色算法;或者
若所述终端的显示能力不支持HDR显示能力,所述终端计算资源充足,且所述终端不具有HDR调色的硬件能力,则确定目标处理策略为由所述终端运行软件外置的HDR调色算法。
8.如权利要求7所述的视频处理方法,其特征在于,所述通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:
若确定目标处理策略为由所述云端直接输出HDR视频码流,则向所述云端发送所述目标处理策略;
获取所述云端根据所述目标处理策略控制所述目标应用直接输出的所述目标视频对应的HDR视频码流;
对所述HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以输出所述目标视频对应的HDR视频。
9.如权利要求7所述的视频处理方法,其特征在于,所述通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:
若确定目标处理策略为由所述云端运行HDR转换算法,则向所述云端发送所述目标处理策略;
获取所述云端根据所述目标处理策略运行HDR转换算法以及编码后输出的所述目标视频对应的HDR视频码流;
对所述HDR视频码流进行HDR视频解码,以及进行HDR图像渲染,以输出所述目标视频对应的HDR视频。
10.如权利要求8或9所述的视频处理方法,其特征在于,在获取所述云端输出的所述目标视频对应的HDR视频码流之前,所述方法还包括:
将所述终端的显示能力发送至所述云端,以使所述云端根据所述终端的显示能力调整所述HDR视频码流的转换曲线和视频色域,以使调整后的所述HDR视频码流的转换曲线与所述终端支持的转换曲线相同,且调整后的所述HDR视频码流的视频色域与所述终端支持的色域相同。
11.如权利要求7所述的视频处理方法,其特征在于,所述通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:
若确定目标处理策略为由所述终端运行硬件内置的HDR转换算法,则向所述云端发送所述目标处理策略;
获取所述云端根据所述目标处理策略输出的所述目标视频对应的SDR视频码流;
对所述SDR视频码流进行SDR视频解码,得到SDR视频;
根据所述目标处理策略运行硬件内置的HDR转换算法进行HDR转换以将所述SDR视频转换为HDR视频,以及进行HDR图像渲染,以输出所述目标视频对应的HDR视频。
12.如权利要求7所述的视频处理方法,其特征在于,所述通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:
若确定目标处理策略为由所述终端运行软件外置的HDR转换算法,则向所述云端发送所述目标处理策略;
获取所述云端根据所述目标处理策略输出的所述目标视频对应的SDR视频码流;
对所述SDR视频码流进行SDR视频解码,得到SDR视频;
根据所述目标处理策略运行软件外置的HDR转换算法进行HDR转换以将所述SDR视频转换为HDR视频,以及进行HDR图像渲染,以输出所述目标视频对应的HDR视频。
13.如权利要求7所述的视频处理方法,其特征在于,所述通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:
若确定目标处理策略为由所述云端运行HDR调色算法,则向所述云端发送所述目标处理策略;
获取所述云端根据所述目标处理策略运行HDR调色算法以及编码后输出的所述目标视频对应的带有HDR图像效果的SDR视频码流;
对所述带有HDR图像效果的SDR视频码流进行SDR视频解码,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出所述目标视频对应的带有HDR图像效果的SDR视频。
14.如权利要求7所述的视频处理方法,其特征在于,所述通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:
若确定目标处理策略为由所述终端运行硬件内置的HDR调色算法,则向所述云端发送所述目标处理策略;
获取所述云端根据所述目标处理策略输出的所述目标视频对应的SDR视频码流;
对所述SDR视频码流进行SDR视频解码,得到SDR视频;
根据所述目标处理策略运行硬件内置的HDR调色算法进行HDR调色以将所述SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出所述目标视频对应的带有HDR图像效果的SDR视频。
15.如权利要求7所述的视频处理方法,其特征在于,所述通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的SDR视频,包括:
若确定目标处理策略为由所述终端运行软件外置的HDR调色算法,则向所述云端发送所述目标处理策略;
获取所述云端根据所述目标处理策略输出的所述目标视频对应的SDR视频码流;
对所述SDR视频码流进行SDR视频解码,得到SDR视频;
根据所述目标处理策略运行软件外置的HDR调色算法进行HDR调色以将所述SDR视频转换为带有HDR图像效果的SDR视频,以及对带有HDR图像效果的SDR视频进行SDR图像渲染,以输出所述目标视频对应的带有HDR图像效果的SDR视频。
16.一种视频处理方法,其特征在于,应用于云端,所述方法包括:
获取终端发送的终端的HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;
获取所述终端发送的终端计算资源;
获取云端中的目标应用对应的云端视频的HDR渲染能力;
基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;
通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
17.如权利要求16所述的视频处理方法,其特征在于,所述获取所述终端发送的终端计算资源,包括:
获取所述终端发送的终端的显示能力,所述终端的显示能力为通过扩展显示标识数据获取到,所述显示能力包括动态范围、支持的色域、支持的转换曲线;
获取所述终端发送的终端的硬件能力,其中,当所述终端检测到所述终端配置有指定接口时,确定所述终端具有HDR转换或HDR调色的硬件能力,其中,所述终端配置有HDR调色算法对应的指定接口时确定所述终端具有HDR调色的硬件能力,所述终端配置有HDR转换算法对应的指定接口时确定所述终端具有HDR转换的硬件能力;或者当所述检测到所述终端未配置所述指定接口时,确定所述终端不具有HDR转换或HDR调色的硬件能力。
18.如权利要求17所述的视频处理方法,其特征在于,所述方法还包括:
通过云游戏客户端向所述终端发起的渲染能力请求;
接收所述终端发送的所述终端的硬件能力,所述硬件能力为所述终端根据所述渲染能力请求检测所述终端是否配置有HDR调色算法对应的指定接口,或者检测所述终端是否配置有HDR转换算法对应的指定接口,来确定所述终端是否具有HDR转换或HDR调色的硬件能力。
19.如权利要求17所述的视频处理方法,其特征在于,所述获取所述终端发送的终端计算资源,包括:
获取所述终端发送的终端计算资源和目标计算资源,其中,所述终端计算资源为所述终端通过对实时传入终端的不同帧率的测试视频码流进行测试处理所确定的,所述目标计算资源为所述终端根据测试视频码流的帧率所确定的;若所述终端计算资源大于所述目标计算资源,则确定所述终端计算资源充足。
20.如权利要求19所述的视频处理方法,其特征在于,所述通过对实时传入所述终端的不同帧率的测试视频码流进行测试处理,确定所述终端计算资源,包括:
通过对实时传入所述终端的不同帧率的所述测试视频码流进行解码,并对解码后的测试视频调用通过软件外置的HDR转换算法或HDR调色算法进行转换处理,且对处理后的测试视频进行渲染播放,以实现所述测试处理;
记录所述测试处理过程中的单帧转换时间、单帧解码时间以及单帧渲染时间;
根据所述单帧转换时间、所述单帧解码时间、所述单帧渲染时间之和,确定所述终端计算资源。
21.如权利要求20所述的视频处理方法,其特征在于,所述基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略,包括:
若所述终端的显示能力支持HDR显示能力,且所述云端视频支持HDR渲染能力,则确定目标处理策略为由所述云端直接输出HDR视频码流;或者
若所述终端的显示能力支持HDR显示能力,所述云端视频不支持HDR渲染能力,所述终端计算资源不充足,则确定目标处理策略为由所述云端运行HDR转换算法;或者
若所述终端的显示能力支持HDR显示能力,所述云端视频不支持HDR渲染能力,所述终端计算资源充足,且所述终端具有HDR转换的硬件能力,则确定目标处理策略为由所述终端运行硬件内置的HDR转换算法;或者
若所述终端的显示能力支持HDR显示能力,所述云端视频不支持HDR渲染能力,所述终端计算资源充足,且所述终端不具有HDR转换的硬件能力,则确定目标处理策略为由所述终端运行软件外置的HDR转换算法;或者
若所述终端的显示能力不支持HDR显示能力,且所述终端计算资源不充足,则确定目标处理策略为由所述云端运行HDR调色算法;或者
若所述终端的显示能力不支持HDR显示能力,所述终端计算资源充足,且所述终端具有HDR调色的硬件能力,则确定目标处理策略为由所述终端运行硬件内置的HDR调色算法;或者
若所述终端的显示能力不支持HDR显示能力,所述终端计算资源充足,且所述终端不具有HDR调色的硬件能力,则确定目标处理策略为由所述终端运行软件外置的HDR调色算法。
22.一种视频处理装置,其特征在于,应用于终端,所述装置包括:
第一获取单元,用于获取终端的高动态范围HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;
第二获取单元,用于获取所述终端的终端计算资源;
第三获取单元,用于获取云端发送的目标应用对应的云端视频的HDR渲染能力;
第一确定单元,用于基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;
第一处理单元,用于通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
23.一种视频处理装置,其特征在于,应用于云端,所述装置包括:
第四获取单元,用于获取终端发送的终端的HDR能力,所述HDR能力包括显示能力和具有HDR转换或HDR调色的硬件能力;
第五获取单元,用于获取所述终端发送的终端计算资源;
第六获取单元,用于获取云端中的目标应用对应的云端视频的HDR渲染能力;
第二确定单元,用于基于所述终端的HDR能力、所述终端计算资源、所述云端视频的HDR渲染能力,确定相匹配的目标处理策略;
第二处理单元,用于通过确定的目标处理策略对目标视频进行处理,得到所述目标视频对应的HDR视频或者带有HDR图像效果的标准动态范围SDR视频。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1-15任一项所述的视频处理方法中的步骤,或者执行如权利要求16-21任一项所述的视频处理方法中的步骤。
25.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如权利要求1-15任一项所述的视频处理方法中的步骤,或者执行如权利要求16-21任一项所述的视频处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210103022.5A CN116567346A (zh) | 2022-01-27 | 2022-01-27 | 视频处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210103022.5A CN116567346A (zh) | 2022-01-27 | 2022-01-27 | 视频处理方法、装置、存储介质及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116567346A true CN116567346A (zh) | 2023-08-08 |
Family
ID=87486626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210103022.5A Pending CN116567346A (zh) | 2022-01-27 | 2022-01-27 | 视频处理方法、装置、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116567346A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117079256A (zh) * | 2023-10-18 | 2023-11-17 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
CN117319620A (zh) * | 2023-11-30 | 2023-12-29 | 深圳市尊正数字视频有限公司 | 一种hdr预览级现场实时调色方法 |
-
2022
- 2022-01-27 CN CN202210103022.5A patent/CN116567346A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117079256A (zh) * | 2023-10-18 | 2023-11-17 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
CN117079256B (zh) * | 2023-10-18 | 2024-01-05 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
CN117319620A (zh) * | 2023-11-30 | 2023-12-29 | 深圳市尊正数字视频有限公司 | 一种hdr预览级现场实时调色方法 |
CN117319620B (zh) * | 2023-11-30 | 2024-03-08 | 深圳市尊正数字视频有限公司 | 一种hdr预览级现场实时调色方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114501062B (zh) | 视频渲染协同方法、装置、设备及存储介质 | |
CN113015021B (zh) | 云游戏的实现方法、装置、介质及电子设备 | |
CN116567346A (zh) | 视频处理方法、装置、存储介质及计算机设备 | |
CN109361949B (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
US20160029079A1 (en) | Method and Device for Playing and Processing a Video Based on a Virtual Desktop | |
WO2022257699A1 (zh) | 图像画面显示方法、装置、设备、存储介质及程序产品 | |
CN112839184B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114827662B (zh) | 视频分辨率自适应调节方法、装置、设备和存储介质 | |
CN114913063A (zh) | 一种图像处理方法和装置 | |
CN114205359A (zh) | 视频渲染协同方法、装置及设备 | |
CN110858388B (zh) | 一种增强视频画质的方法和装置 | |
CN104010204B (zh) | 图像信息处理方法及装置 | |
US20240098316A1 (en) | Video encoding method and apparatus, real-time communication method and apparatus, device, and storage medium | |
CN117014659B (zh) | 一种视频转码方法、装置、电子设备和存储介质 | |
KR20160015128A (ko) | 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
WO2023142665A1 (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
CN116170636A (zh) | 直播视频播放方法及其装置、设备、介质 | |
CN115393490A (zh) | 图像渲染方法、装置、存储介质及电子设备 | |
JP2024517915A (ja) | データ処理方法、装置、コンピュータ機器及びコンピュータプログラム | |
CN114327317B (zh) | 镜像投屏方法、装置及系统 | |
KR20160131829A (ko) | 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 알파 값을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
KR102324609B1 (ko) | 다지점 영상회의 장치 및 그 제어 방법 | |
WO2023142714A1 (zh) | 视频处理协同方法、装置、设备及存储介质 | |
CN117560544B (zh) | 播放处理方法、系统、装置、电子设备及存储介质 | |
CN115550690B (zh) | 帧率调整方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40092255 Country of ref document: HK |