CN116567320A - 视频处理协同方法、装置、设备及存储介质 - Google Patents
视频处理协同方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116567320A CN116567320A CN202210103031.4A CN202210103031A CN116567320A CN 116567320 A CN116567320 A CN 116567320A CN 202210103031 A CN202210103031 A CN 202210103031A CN 116567320 A CN116567320 A CN 116567320A
- Authority
- CN
- China
- Prior art keywords
- video
- image analysis
- task
- analysis
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000012545 processing Methods 0.000 title claims abstract description 79
- 238000004458 analytical method Methods 0.000 claims abstract description 274
- 238000009877 rendering Methods 0.000 claims abstract description 225
- 230000004044 response Effects 0.000 claims abstract description 43
- 238000010191 image analysis Methods 0.000 claims description 323
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 19
- 238000003908 quality control method Methods 0.000 abstract description 8
- 230000009467 reduction Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003707 image sharpening Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012732 spatial analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种视频处理协同方法、装置、设备及存储介质，该方法包括：向终端设备发送视频渲染能力请求和视频内容分析能力请求；接收终端设备的视频渲染能力响应和视频分析能力响应，视频渲染能力响应包括：终端设备的视频渲染能力，视频分析能力响应包括：终端设备的视频分析能力；根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置。使得在有限的云服务器计算资源下，可以充分利用终端设备闲置的计算资源，从而可以为用户提供更优质的云游戏画质体验。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种视频处理协同方法、装置、设备及存储介质。
背景技术
随着云渲染技术的发展，云游戏已经逐渐普及成为一种重要的游戏形态。云游戏把游戏的运行、渲染等逻辑放在云服务器上，通过视频编码技术对游戏画面进行编码压缩，编码的视频流通过网络传输到终端设备，再由终端设备对视频流进行解码和播放。
云游戏这种游戏形态把传统的需要由终端设备完成的游戏运行、游戏渲染等逻辑迁移到云服务器，对终端设备的要求简化到视频解码和视频播放能力，但并未充分利用终端设备闲置的计算资源。同时，为了减少视频编码失真对游戏画质造成的影响，云服务器需要结合人眼的视觉特性，在视频编码前对游戏图像做一定的内容分析和视频前处理工作，这无疑进一步加重了云服务器的计算资源开销。因此，在有限的云服务器计算资源下，无法为用户提供更优质的云游戏画质体验。
发明内容
本申请提供一种视频处理协同方法、装置、设备及存储介质，使得在有限的云服务器计算资源下，可以充分利用终端设备闲置的计算资源，从而可以为用户提供更优质的云游戏画质体验。
第一方面，提供了一种视频处理协同方法，包括：向终端设备发送视频渲染能力请求和视频内容分析能力请求；接收终端设备的视频渲染能力响应和视频分析能力响应，视频渲染能力响应包括：终端设备的视频渲染能力，视频分析能力响应包括：终端设备的视频分析能力；根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置；其中，最优视频渲染协同配置为将至少一个图像渲染任务分配给终端设备或者云服务器的视频渲染协同配置，或者为将至少一个图像渲染任务协同分配给终端设备和云服务器的视频渲染协同配置；最优视频分析协同配置为将至少一个图像分析任务分配给终端设备或者云服务器的视频分析协同配置，或者为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置。
第二方面，提供了一种视频处理协同方法，包括：从终端设备的操作系统获取终端设备的视频渲染能力和视频分析能力；将终端设备的视频渲染能力和视频分析能力发送给云服务器，以供云服务器根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置；其中，最优视频渲染协同配置为将至少一个图像渲染任务分配给终端设备或者云服务器的视频渲染协同配置，或者为将至少一个图像渲染任务协同分配给终端设备和云服务器的视频渲染协同配置；最优视频分析协同配置为将至少一个图像分析任务分配给终端设备或者云服务器的视频分析协同配置，或者为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置；接收最优视频渲染协同配置和最优视频分析协同配置，并发送给终端设备。
第三方面，提供了一种视频处理协同方法，包括：向客户端发送终端设备的视频渲染能力和视频分析能力，以供对应于客户端的云服务器根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置；其中，最优视频渲染协同配置为将至少一个图像渲染任务分配给终端设备或者云服务器的视频渲染协同配置，或者为将至少一个图像渲染任务协同分配给终端设备和云服务器的视频渲染协同配置；最优视频分析协同配置为将至少一个图像分析任务分配给终端设备或者云服务器的视频分析协同配置，或者为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置；从客户端获取最优视频渲染协同配置和最优视频分析协同配置，并根据最优视频分析协同配置对目标视频进行分析，根据最优视频渲染协同配置对目标视频进行渲染操作。
第四方面，提供了一种视频处理协同装置，包括：发送模块、接收模块和确定模块，发送模块用于向终端设备发送视频渲染能力请求和视频内容分析能力请求；接收模块用于接收终端设备的视频渲染能力响应和视频分析能力响应，视频渲染能力响应包括：终端设备的视频渲染能力，视频分析能力响应包括：终端设备的视频分析能力；确定模块用于根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置；其中，最优视频渲染协同配置为将至少一个图像渲染任务分配给终端设备或者云服务器的视频渲染协同配置，或者为将至少一个图像渲染任务协同分配给终端设备和云服务器的视频渲染协同配置；最优视频分析协同配置为将至少一个图像分析任务分配给终端设备或者云服务器的视频分析协同配置，或者为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置。
第五方面，提供了一种视频处理协同装置，包括：通信模块，用于从终端设备的操作系统获取终端设备的视频渲染能力和视频分析能力；将终端设备的视频渲染能力和视频分析能力发送给云服务器，以供云服务器根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置；其中，最优视频渲染协同配置为将至少一个图像渲染任务分配给终端设备或者云服务器的视频渲染协同配置，或者为将至少一个图像渲染任务协同分配给终端设备和云服务器的视频渲染协同配置；最优视频分析协同配置为将至少一个图像分析任务分配给终端设备或者云服务器的视频分析协同配置，或者为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置；接收最优视频渲染协同配置和最优视频分析协同配置，并发送给终端设备。
第六方面，提供了一种视频处理协同装置，包括：通信模块和处理模块，其中，通信模块用于向客户端发送终端设备的视频渲染能力和视频分析能力，以供对应于客户端的云服务器根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置；其中，最优视频渲染协同配置为将至少一个图像渲染任务分配给终端设备或者云服务器的视频渲染协同配置，或者为将至少一个图像渲染任务协同分配给终端设备和云服务器的视频渲染协同配置；最优视频分析协同配置为将至少一个图像分析任务分配给终端设备或者云服务器的视频分析协同配置，或者为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置；从客户端获取最优视频渲染协同配置和最优视频分析协同配置，处理模块用于根据最优视频分析协同配置对目标视频进行分析，根据最优视频渲染协同配置对目标视频进行渲染操作。
第七方面，提供了一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面、第三方面或其各实现方式中的方法。
第八方面，提供了一种客户端，用于执行如第二方面或其各实现方式中的方法。
第九方面，提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
第十方面，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
第十一方面，提供了一种计算机程序，计算机程序使得计算机执行如第一方面、第二方面、第三方面或其各实现方式中的方法。
通过本申请提供的技术方案，云服务器可以根据终端设备的视频渲染能力确定最优视频渲染协同配置，例如云服务器可以将至少一个图像渲染任务分配给云服务器或终端设备，又或者将至少一个图像渲染任务协同分配给云服务器和终端设备。并且可以根据终端设备的视频分析能力确定最优视频分析协同配置，例如云服务器可以将至少一个图像分析任务分配给云服务器或终端设备，又或者将至少一个图像分析任务协同分配给云服务器和终端设备。使得在有限的云服务器计算资源下，可以充分利用终端设备闲置的计算资源，从而可以为用户提供更优质的云游戏画质体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1提供了一种图像处理过程的流程图；
图2提供了另一种图像处理过程的流程图；
图3为本申请实施例提供的云游戏场景的示意图；
图4A为本申请实施例提供的一种视频处理协同方法的流程图；
图4B为本申请实施例提供的另一种视频处理协同方法的流程图；
图5提供了再一种图像处理过程的流程图；
图6提供了又一种图像处理过程的流程图；
图7提供了再一种图像处理过程的流程图；
图8为本申请实施例提供的再一种视频渲染协同方法的流程图；
图9为本申请实施例提供的一种视频处理协同装置的示意图；
图10是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或云服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍本申请技术方案之前，下面将对本申请的相关知识进行说明：
图像分析任务：指对视频图像进行空域和/或时域上的分析，以确定是否发生了视频场景切换，或者确定特定物体的区域位置等。所谓对视频图像进行空域上的分析指的是帧内图像分析，所谓对视频图像进行时域上的分析指的是帧间图像分析。
图像渲染任务：对某一帧视频，如全图或者特定区域进行像素值修改的任务，例如：图像锐化处理任务、图像降噪处理任务、图像模糊处理任务等，其中，图像渲染任务可以实现特定的图像增强效果，也可以实现图像模糊效果等，例如：图像锐化处理任务、图像降噪处理任务就可以实现特定的图像增强效果，图像模糊处理任务就可以实现图像模糊效果等。
可选地，图像渲染任务是基于图像分析任务进行的，即图像分析任务的目的是为了进行图像渲染任务，例如：云服务器在对某视频源进行分析之后，确定发生了视频场景切换，进一步地，云服务器可以对切换后的视频场景图像帧的背景图像进行模糊处理。再例如：云服务器在对某视频源进行分析之后，确定了特定物体的区域位置，进一步地，云服务器可以对该区域位置进行降噪处理和锐化处理。
需要说明的是，图像分析任务的目的也可以不是为了进行图像渲染任务，例如：图像分析任务的目的是为了进行图像编码。又或者，图像分析任务的目的可以是为了进行图像渲染任务和图像编码，总之，在本申请中，图像分析任务与图像渲染任务之间可以具有关联关系，也可以不具有关联关系，本申请对此不做限制。
需要说明的是，在本申请中，“渲染”也被称为“处理”，例如：图像渲染任务可以被称为图像处理任务。
下面将对本申请所要解决的技术问题和发明构思进行说明：
目前对于一些基于云场景中较为复杂的视频或者图像处理过程可以如下：如图1所示，云服务器生成视频，进行视频图像采集，对采集到的视频图像进行视频图像分析，根据分析结果对视频图像进行处理，如锐化处理、模糊处理、降噪处理等，对经过处理后的视频图像进行编码，得到视频图像的码流，进一步地，云服务器可以将码流发送给终端设备，终端设备对该码流进行解码，最后按照解码结果进行视频图像的展示。或者，如图2所示，云服务器生成视频，进行视频图像采集，对采集到的视频图像进行编码，得到视频图像的码流，进一步地，云服务器可以将码流发送给终端设备，终端设备对该码流进行解码，并对解码后的视频图像进行视频图像分析，根据分析结果对视频图像进行处理，如锐化处理、模糊处理、降噪处理等，最后对处理后的视频图像进行展示。由此可知，视频分析过程与视频处理过程之间存在耦合，也就是说，目前视频分析过程与视频处理过程均是由云服务器或者终端设备独立完成。
然而，在有限的云服务器计算资源下，目前的图像处理方式无法为用户提供更优质的云游戏画质体验。
为了解决上述技术问题，本申请提出云服务器可以根据终端设备的视频渲染能力确定最优视频渲染协同配置，例如云服务器可以将至少一个图像渲染任务分配给云服务器或终端设备，又或者将至少一个图像渲染任务协同分配给云服务器和终端设备。并且可以根据终端设备的视频分析能力确定最优视频分析协同配置，例如云服务器可以将至少一个图像分析任务分配给云服务器或终端设备，又或者将至少一个图像分析任务协同分配给云服务器和终端设备。使得在有限的云服务器计算资源下，可以充分利用终端设备闲置的计算资源，从而可以为用户提供更优质的云游戏画质体验。
应理解的是，本申请技术方案可以应用于实时通信(Real-time Communications，RTC)场景，但不限于此，其中，视频会议、视频通话、远程办公、远程医疗、互动直播、云游戏等均典型的RTC技术。
云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云服务器中运行，并由云服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云服务器的能力即可。
示例性地，图3为本申请实施例提供的云游戏场景的示意图，如图3所示，云服务器310与玩家游戏终端320之间可以通信，云服务器310可以运行游戏，并采集游戏视频图像，对采集的视频图像进行编码，得到视频图像的码流，进一步地，云服务器可以将码流发送给终端设备，终端设备对该码流进行解码，最后按照解码结果进行视频图像的展示。
可选地，云服务器310与玩家游戏终端320之间可以通过长期演进技术(Long TermEvolution，LTE)、新空口(New Radio，NR)技术、无线保真(Wireless Fidelity，Wi-Fi)技术等实现通信，但不限于此。
在云游戏场景中，云服务器是指在云端运行游戏的服务器，并具备视频增强(编码前处理)、视频编码等功能，但不限于此。
终端设备是指一类具备丰富人机交互方式、拥有接入互联网能力、通常搭载各种操作系统、具有较强处理能力的设备。终端设备可以是智能手机、客厅电视、平板电脑、车载终端、玩家游戏终端，如掌上游戏主机等，但不限于此。
下面将对本申请技术方案进行详细阐述：
图4A为本申请实施例提供的一种视频处理协同方法的流程图，该方法可以由云服务器和终端设备执行，例如在云游戏场景中，该云服务器可以是图3中的云服务器310，该终端设备可以是图3中的玩家游戏终端320，本申请对该视频处理协同配置的确定方法的执行主体不做限制，如图4A所示，该方法包括：
S410：云服务器向终端设备发送视频渲染能力请求和视频内容分析能力请求；
S420：云服务器接收终端设备发送的视频渲染能力响应和视频分析能力响应，视频渲染能力响应包括：终端设备的视频渲染能力，视频分析能力响应包括：终端设备的视频分析能力；
S430：云服务器根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置。
其中，最优视频渲染协同配置为将至少一个图像渲染任务分配给终端设备或者云服务器的视频渲染协同配置，或者为将至少一个图像渲染任务协同分配给终端设备和云服务器的视频渲染协同配置；最优视频分析协同配置为将至少一个图像分析任务分配给终端设备或者云服务器的视频分析协同配置，或者为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置。
需要说明的是，云服务器可以同时发送视频渲染能力请求和视频内容分析能力请求，也可以分开发送视频渲染能力请求和视频内容分析能力请求。终端设备可以同时发送视频渲染能力响应和视频分析能力响应，也可以分开发送视频渲染能力响应和视频分析能力响应。
可选地，如图4B所示，云服务器可以通过安装在终端设备的客户端向终端设备发送视频渲染能力请求和视频内容分析能力请求，终端设备也可以通过该客户端向云服务器返回视频渲染能力响应和视频分析能力响应。其中，在云游戏场景中，该客户端可以是云游戏客户端。
可选地，该客户端可以从终端设备的操作系统获取终端设备的视频渲染能力和终端设备的视频分析能力；将终端设备的视频渲染能力和视频分析能力发送给云服务器，以供云服务器根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置，该客户端可以接收该最优视频渲染协同配置和最优视频分析协同配置，并发送给终端设备，该终端设备可以根据最优视频分析协同配置对目标视频进行分析，根据最优视频渲染协同配置对目标视频进行渲染操作。
可选地，视频渲染能力请求用于请求获取终端设备的视频渲染能力。
可选地，视频渲染能力请求包括以下至少一项，但不限于此：协议版本号、视频分辨率、视频帧率、查询的渲染算法类型。
可选地，协议版本号指的是云服务器支持的最低协议版本，该协议可以是渲染协议。
可选地，视频分辨率，即视频尺寸可以是待渲染的视频源的分辨率，如1080p。
可选地，视频帧率可以是待渲染的视频源的帧率，如60fps。
可选地，查询的渲染算法类型可以是以下至少两项，但不限于此：锐化处理算法、降噪处理算法、模糊处理算法、视频高动态范围成像(High Dynamic Range Imaging，HDR)增强能力算法等。
可选地，不同的视频分辨率可以通过枚举定义，如表1所示：
表1
| 视频分辨率 | 枚举定义 |
| 360p | 0x1 |
| 576p | 0x2 |
| 720p | 0x4 |
| 1080p | 0x8 |
| 2k | 0x10 |
| 4k | 0x20 |
可选地，不同的视频帧率可以通过枚举定义，如表2所示：
表2
| 视频帧率 | 枚举定义 |
| 30fps | 0x1 |
| 40fps | 0x2 |
| 50fps | 0x4 |
| 60fps | 0x8 |
| 90fps | 0x10 |
| 120fps | 0x20 |
可选地，不同的渲染算法可以通过枚举定义，如表3所示：
表3
| 渲染算法类型 | 枚举定义 |
| 未定义 | 0 |
| 锐化处理算法 | 1 |
| HDR增强能力算法 | 2 |
可选地，上述视频渲染能力请求可以是针对目标图像帧的至少一个图像渲染任务的视频渲染能力请求。
示例性地，视频渲染能力请求的代码实现可以如下：
{
"render_ability":{
"version":"1.0",
"resolution":"8",
"framerate":"8",
"type":"1,2"
}
}
关于该代码中各个数据结构的解释可参考下面的表5，本申请对此不再赘述。
可选地，视频分析能力请求包括以下至少一项，但不限于此：协议版本号、视频分辨率、视频帧率、查询的图像分析任务类型。
可选地，协议版本号指的是云服务器支持的最低协议版本，该协议可以是视频分析协议。
可选地，视频分辨率可以是待渲染的视频源的分辨率，如1080p。
可选地，视频帧率可以是待渲染的视频源的帧率，如60fps。
可选地，查询的图像分析任务类型可以是以下至少两项，但不限于此：视频复杂度分析、视频前景背景分析等。
可选地，不同的图像分析任务可以通过枚举定义，如表4所示：
表4
可选地，上述视频分析能力请求可以是针对目标视频的至少一个视频分析任务而言的视频分析能力请求。这是因为通常视频图像分析会消耗一定的图形计算资源，其分析的结果是提供视频图像处理使用，可允许一定的延时，不一定需要每帧都做分析，例如：可以针对每四帧图像进行一次图像分析，因此，图像分析任务是针对目标视频而言的。
需要说明的是，假设针对每N帧图像进行一次图像分析，N为大于1的整数，该次图像分析可以是针对这N帧图像综合进行的图像分析，也可以是针对这N帧图像中部分图像帧进行的图像分析，本申请对此不做限制。
示例性地，图像分析任务可以是确定是否发生了视频场景切换，或者确定特定物体的区域位置等，又或者是画面复杂度分析任务，再或者是对游戏角色运动轨迹的分析任务、前后背景分析等。
示例性地，视频分析能力请求的代码实现可以如下：
{
"analysis_ability":{
"version":"1.0",
"resolutuin":"8",
"framerate":"8",
"type":"1001"
}
}
关于该代码中各个数据结构的解释可参考下面的表5，本申请对此不再赘述。
可选地，当本申请技术方案应用在RTC场景时，上述目标视频可以是实时采集或者生成的视频。
其中，终端设备的视频渲染能力和视频分析能力的数据结构可以如表5所示：
表5
可选地，视频渲染能力响应可以包括以下至少一项，但不限于此：对于云服务器所要查询的渲染算法类型是否查询成功的标识、终端设备支持的协议版本号、终端设备的视频渲染能力等。
可选地，若对于云服务器所要查询的渲染算法类型查询成功，则对于云服务器所要查询的渲染算法类型是否查询成功的标识可以用0表示，若对于云服务器所要查询的渲染算法类型查询失败，则对于云服务器所要查询的渲染算法类型是否查询成功的标识可以用错误码表示，如001等。
可选地，协议版本号指的是终端设备支持的最低协议版本，该协议可以是渲染协议。
可选地，终端设备的视频渲染能力包括以下至少一项，但不限于此：终端设备支持的渲染算法类型以及该渲染算法的性能。
可选地，该渲染算法的性能包括以下至少一项，但不限于此：该算法可以处理的视频尺寸、帧率以及时延。
示例性地，视频渲染能力响应的代码实现可以如下：
{
"render_ability":{
"state":"0",
"version":"1.0",
"renders":"2"
},
"render1":{
"type":"1",
"performances":"1",
"performance1":"8,8,10"
},
"render2":{
"type":"2",
"performances":"1",
"performance1":"8,8,5"
}
}
示例性地，视频渲染能力响应(只支持部分渲染能力)的代码实现可以如下：
{
"render_ability":{
"state":"0",
"version":"1.0",
"renders":"1"
},
"render1":{
"type":"2",
"performances":"1",
"performance1":"8,8,5"
}
}
示例性地，视频渲染能力响应(不支持渲染能力)的代码实现可以如下：
{
"render_ability":{
"state":"0",
"version":"1.0",
"renders":"0"
}
}
示例性地，视频渲染能力响应(协议请求失败)的代码实现可以如下：
{
"render_ability":{
"state":"-1",
"version":"0.9"
}
}
应理解的是，关于这些代码中各个数据结构的解释可参考表5，本申请对此不再赘述。
可选地，上述至少一个图像渲染任务对应至少一个图像渲染算法；其中，至少一个图像渲染任务与至少一个图像渲染算法之间具有一一对应关系。
可选地，至少一个图像渲染算法包括以下至少一项，但不限于此：锐化处理算法、降噪处理算法、模糊处理算法。
示例性地，假设需要对目标视频中的某一视频图像帧的背景图像进行模糊处理，对前景图像进行降噪处理和锐化处理，这种情况下，该图像帧对应有三个图像渲染任务，分别是模糊处理任务、降噪处理任务和锐化处理任务，而这三个任务分别对应的图像渲染算法是模糊处理算法、降噪处理算法和锐化处理算法。
可选地，视频分析能力响应可以包括以下至少一项，但不限于此：对于云服务器所要查询的分析任务类型是否查询成功的标识、终端设备支持的协议版本号、终端设备的视频分析能力等。
可选地，若对于云服务器所要查询的分析任务类型查询成功，则对于云服务器所要查询的分析任务类型是否查询成功的标识可以用0表示，若对于云服务器所要查询的分析任务类型查询失败，则对于云服务器所要查询的分析任务类型是否查询成功的标识可以用错误码表示，如001等。
可选地，协议版本号指的是终端设备支持的最低协议版本，该协议可以是视频分析协议。
可选地，终端设备的视频分析能力包括以下至少一项，但不限于此：终端设备支持的视频分析算法类型以及该视频分析算法的性能。
可选地，该视频分析算法的性能包括以下至少一项，但不限于此：该算法可以处理的视频尺寸、帧率以及时延。
示例性地，视频分析能力响应的代码实现可以如下：
{
"analysis_ability":{
"state":"0",
"version":"1.0",
"analyses":"1"
},
"analysis1":{
"type":"1001",
"performances":"1",
"performance1":"8,8,10"
}
}
应理解的是，关于这些代码中各个数据结构的解释可参考表5，本申请对此不再赘述。
可选地，上述至少一个图像分析任务对应至少一个图像分析算法；其中，至少一个图像分析任务与至少一个图像分析算法之间具有一一对应关系。
可选地，图像分析任务用于辅助以下至少一项：云服务器的图像编码、云服务器的图像处理、终端设备的图像处理。
示例性地，如图5所示，云服务器生成视频，进行视频图像采集，对采集到的视频图像进行视频图像分析，根据分析结果对视频图像进行处理，如锐化处理、模糊处理、降噪处理等，根据分析结果对经过处理后的视频图像进行编码，得到视频图像的码流，进一步地，云服务器可以将码流发送给终端设备，终端设备对该码流进行解码，并根据云服务器的分析结果对解码后的视频图像进行处理，如锐化处理、模糊处理、降噪处理等，对经过处理后的视频图像进行展示。
示例性地，如图6所示，云服务器生成视频，进行视频图像采集，根据终端设备对已解码后的视频图像的分析结果对视频图像进行处理，如锐化处理、模糊处理、降噪处理等，根据终端设备对已解码后的视频图像的分析结果对经过处理后的视频图像进行编码，得到视频图像的码流，进一步地，云服务器可以将码流发送给终端设备，终端设备对该码流进行解码，并对解码后的视频图像分析，根据分析结果对视频图像进行处理，如锐化处理、模糊处理、降噪处理等，最后对经过处理后的视频图像进行展示。
示例性地，如图7所示，云服务器生成视频，进行视频图像采集，对采集的视频图像进行分析，对应图像分析任务a，根据终端设备侧的图像分析任务b对应的分析结果对采集的视频图像进行处理，根据图像分析任务a对应的分析结果以及终端设备侧的图像分析任务b对应的分析结果对经过处理后的视频图像进行编码，得到视频图像的码流，进一步地，云服务器可以将码流发送给终端设备，终端设备对该码流进行解码，并对解码后的视频图像分析，对应图像分析任务b，根据云服务器侧的图像分析任务a的分析结果对视频图像进行处理，如锐化处理、模糊处理、降噪处理等，最后对经过处理后的视频图像进行展示。
需要说明的是，如上所述，本申请提出针对图像分析任务，可以将其分配给云服务器和终端设备的至少一者，针对图像渲染任务，也可以将其分配给云服务器和终端设备的至少一者，也就是说，可以对图像渲染任务和图像分析任务进行分割，基于此，图像分析任务和图像渲染任务可能会被分配到一台设备上，也可能被分配到不同设备上。因此，在本申请中，重点介绍图像分析任务是如何被分配给云服务器和终端设备的至少一者的，至于图像渲染任务是如何被分配给云服务器和终端设备的至少一者的，本申请对此不做限制。
可选地，终端设备的视频分析能力可以被划分为以下三种情况：
情况一：终端设备的视频分析能力针对至少一个图像分析任务具备完全视频分析能力。
情况二：终端设备的视频分析能力针对至少一个图像分析任务具备局部视频分析能力。
情况三：终端设备不具备视频分析能力。
其中，终端设备不同的视频分析能力可以通过枚举定义，如表6所示：
表6
| 视频分析能力 | 枚举定义 |
| 未定义 | 0 |
| 不具备视频分析能力 | 1 |
| 具备局部视频分析能力 | 2 |
| 具备完全视频分析能力 | 3 |
可选地，针对任一图像分析任务，终端设备的视频分析能力是否满足该任务的要求指的是：终端设备具备处理该任务的基本能力，并且终端设备的视频分析能力满足该任务的要求。
可选地，终终端设备具备处理该任务的基本能力包括：终端设备执行该任务的软件能力和硬件能力。
示例性地，假设当前需要确定目标视频的特定物理的区域位置，那么终端设备具备执行该任务的基本能力指的是：终端设备通过软件和硬件可以确定目标视频的特定物理的区域位置。
可选地，终端设备的视频分析能力满足该任务的要求包括：在图像分析算法所要处理的图像区域以及图像分析频率一定的情况下，该图像分析算法的性能可以与目标视频的分辨率和帧率匹配。
可选地，图像分析频率指的是针对每N帧图像进行一次图像分析，N为大于1的整数。
示例性地，假设针对1080p@60fps的目标视频，当前需要对该目标视频每4帧图像进行一次图像分析，并且只需要对图像中心1/9区域做分析，此时对图像分析算法的性能要求是360p@15fps。
基于上述终端设备的视频分析能力划分情况，至少一个图像分析任务的分配情况可以如下：
可选地，若终端设备的视频分析能力满足至少一个图像分析任务的要求，则将至少一个图像分析任务分配给终端设备。若终端设备的视频分析能力满足至少一个图像分析任务中部分任务的要求，则将部分任务分配给终端设备，将至少一个图像分析任务中除部分任务之外的其余任务分配给云服务器；若终端设备的视频分析能力不满足至少一个图像分析任务中任何任务的要求，则将至少一个图像分析任务分配给云服务器。
示例性地，假设针对1080p@60fps的目标视频，若当前需要对该目标视频每4帧图像进行一次图像分析，并且只需要对图像中心1/9区域做分析，包括：确定是否发生了视频场景切换以及确定特定物体的区域位置，也就是说，针对该目标视频存在两个图像分析任务，分别是：判断是否发生了视频场景切换的任务、确定特定物体区域位置的任务，基于此，若终端设备的视频分析能力可以满足这两项任务的要求，即终端设备既具有执行这两项任务的基本能力，并且则这两个任务对应的图像分析算法的性能可以达到360p@15fps。这种情况下，云服务器可以将这两项任务都分配给终端设备，以使终端设备执行这两项任务，从而可以降低云服务器的负荷。若终端设备的能力可以满足这两项任务中一者的要求，这种情况下，云服务器可以将终端设备所满足的任务分配给终端设备，其余任务分配给云服务器，以使终端设备和云服务器配合起来执行这两项任务。若终端设备的视频分析能力不能满足图像两项任务中任一者的要求，这种情况下，云服务器可以这两项任务都分配给自己，以使自己执行这两项任务，从而可以降低终端设备的负荷。
应理解的是，上文介绍的是将终端设备的视频分析能力分为三种情况，实际上，也可以将终端设备的视频分析能力分为以下两种情况：
情况一：终端设备针对至少一个图像分析任务具备完全视频分析能力。
情况二：终端设备针对至少一个图像分析任务不具备完全视频分析能力。
换句话讲，这里是将至少一个图像分析任务看作一个整体而言的。
应理解的是，关于终端设备的视频分析能力是否满足某一任务的要求可参考上文的解释说明，本申请对此不再赘述。
基于上述终端设备的视频分析能力划分情况，至少一个图像分析任务的分配情况可以如下：若终端设备的视频分析能力满足至少一个图像分析任务的要求，则将至少一个图像分析任务分配给终端设备；若终端设备的视频分析能力不满足至少一个图像分析任务的要求，则将至少一个图像分析任务分配给云服务器。
示例性地，假设针对1080p@60fps的目标视频，若当前需要对该目标视频每4帧图像进行一次图像分析，并且只需要对图像中心1/9区域做分析，包括：确定是否发生了视频场景切换以及确定特定物体的区域位置，也就是说，针对该目标视频存在两个图像分析任务，分别是：判断是否发生了视频场景切换的任务、确定特定物体区域位置的任务，基于此，若终端设备的视频分析能力可以满足这两项任务的要求，即终端设备既具有执行这两项任务的基本能力，并且则这两个任务对应的图像分析算法的性能可以达到360p@15fps。这种情况下，云服务器可以将这两项任务都分配给终端设备，以使终端设备执行这两项任务，从而可以降低云服务器的负荷。若终端设备的视频分析能力可以满足这两项任务中一者的要求，或者不能满足任一者的要求，这种情况下，云服务器可以这两项任务都分配给自己，以使自己执行这两项任务，从而可以降低终端设备的负荷。
可选地，若确定最优视频分析协同配置为将至少一个图像分析任务分配给终端设备的视频分析协同配置，则向终端设备发送至少一个图像分析任务的标识和第一指示信息；其中，第一指示信息用于指示终端设备对至少一个图像分析任务进行处理。
可选地，若确定最优视频分析协同配置为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置，则向终端设备发送第二图像分析任务的标识和第二指示信息；其中，第二图像分析任务是至少一个图像分析任务中需要分配给终端设备的图像分析任务，第二指示信息用于指示终端设备对第二图像分析任务进行处理。
可选地，在云服务器向终端设备下发图像渲染任务时也可以将该任务的信息下发给终端设备，该任务的信息包括以下至少一项，但不限于此：图像渲染算法的类型、名称、大小、区域数量、区域范围、阈值等等。
示例性地，云服务器下发图像渲染任务的代码实现可以如下：
图像渲染任务，该任务对应的算法是针对图像区域的图像锐化算法：
{
"render_task":{
"version":"1.0",
"renders":"1"
},
"render1":{
"type":"1",
"name":"unsharp masking",
"scale":"100",
"regions":"2",
"region1":"0,0,33,33",
"region2":"67,67,100,100"
},
"render1_args":{
"threshold":"0",
"amount":"50",
"radius":"5"
}
}
示例性地，云服务器下发图像渲染任务的代码实现可以如下：
图像渲染任务，该任务对应的算法是针对图像区域的图像锐化算法和全图HDR：
{
"render_task":{
"version":"1.0",
"renders":"2"
},
"render1":{
"type":"1",
"name":"unsharp masking",
"scale":"100",
"regions":"2",
"region1":"0,0,33,33",
"region2":"67,67,100,100"
},
"render1_args":{
"threshold":"0",
"amount":"50",
"radius":"5"
},
"render2":{
"type":"2",
"name":"hdr",
"scale":"100",
"regions":"1",
"region1":"0,0,100,100"
}
}
应理解的是，关于这些代码中各个数据结构的解释可参考表5，本申请对此不再赘述。
可选地，在云服务器向终端设备下发图像分析任务时也可以将该任务的信息下发给终端设备，该任务的信息包括以下至少一项，但不限于此：图像分析算法的类型、名称、大小、区域数量、区域范围、阈值等等。
当然，云服务器可以同时下方图像渲染任务和图像分析任务，
示例性地，云服务器下发图像渲染任务和图像分析任务的代码实现可以如下：
图像分析任务是视频复杂度分析，图像渲染任务是全图HDR：
{
"render_task":{
"version":"1.0",
"renders":"1"
},
"render1":{
"type":"2",
"name":"hdr",
"scale":"100",
"regions":"1",
"region1":"0,0,100,100"
},
"analysis_task":{
"version":"1.0",
"analyses":"1"
},
"analysis1":{
"type":"1002",
"name":"xxx",
"scale":"100",
"regions":"1",
"region1":"33,33,67,67"
}
}
综上，本申请提供一种视频处理协同方法，云服务器可以根据终端设备的视频渲染能力确定最优视频渲染协同配置，例如云服务器可以将至少一个图像渲染任务分配给云服务器或终端设备，又或者将至少一个图像渲染任务协同分配给云服务器和终端设备。并且可以根据终端设备的视频分析能力确定最优视频分析协同配置，例如云服务器可以将至少一个图像分析任务分配给云服务器或终端设备，又或者将至少一个图像分析任务协同分配给云服务器和终端设备。使得在有限的云服务器计算资源下，可以充分利用终端设备闲置的计算资源，从而可以为用户提供更优质的云游戏画质体验。
图8为本申请实施例提供的再一种视频渲染协同方法的流程图，如图8所示，该方法包括：
S810：云服务器向终端设备发送视频内容分析能力请求；
S820：云服务器接收终端设备发送的视频分析能力响应，视频分析能力响应包括：终端设备的视频分析能力；
S830：云服务器获取至少一个图像分析任务的编码属性；
S840：云服务器根据至少一个图像分析任务的编码属性和终端设备的视频分析能力，确定最优视频分析协同配置。
需要说明的是，关于图8对应实施例与图4A对应实施例相同步骤的解释说明，可参考上文，本申请对此不再赘述。
应理解的是，通常云服务器相对于终端设备的图像处理能力要强很多，对于编码复杂度较高、编码质量要求较高又或者编码时延要求较高的图像分析任务，通常只能由云服务器执行，因此，本申请提供了如下可选方式来进行图像分析任务的分配，但不限于此：
可选地，云服务器根据至少一个图像分析任务的编码属性判断至少一个图像分析任务中是否存在需要分配给云服务器的图像分析任务；若至少一个图像分析任务中存在需要分配给云服务器的图像分析任务，则将需要分配给云服务器的图像分析任务分配给云服务器，并判断至少一个图像分析任务中除需要分配给云服务器的图像分析任务之外是否存在剩余图像分析任务；若至少一个图像分析任务中不存在需要分配给云服务器的图像分析任务，则终端设备的视频分析能力，确定最优视频分析协同配置；若至少一个图像分析任务中存在剩余图像分析任务，则终端设备的视频分析能力，，针对剩余图像分析任务确定最优视频分析协同配置。
可选地，若至少一个图像分析任务中的第三图像分析任务的编码属性满足对应预设条件，则确定第三图像分析任务为需要分配给云服务器的图像分析任务；若至少一个图像分析任务中的第四图像分析任务的编码属性不满足对应预设条件，则确定第四图像分析任务不是需要分配给云服务器的图像分析任务。
可选地，编码属性为以下任一项，但不限于此：编码复杂度、编码质量、编码时延。
应理解的是，由于一个图像分析任务的编码复杂度、编码质量、编码时延越大，则表示该图像分析任务的处理难度越大，因此，这里通过这些编码属性来确定是否将图像分析任务分配给云服务器。
可选地，编码复杂度对应的预设条件是判断第三图像分析任务或第四图像分析任务的编码复杂度是否达到预设编码复杂度。编码质量对应的预设条件是判断第三图像分析任务或第四图像分析任务的编码质量是否达到预设编码质量。编码时延对应的预设条件是判断第三图像分析任务或第四图像分析任务的编码时延是否达到预设编码时延。
可选地，上述预设条件可以是云服务器和终端设备协商的，也可以是预定义的，还可以是云服务器指定的，又或者是终端设备指定的，再或者是由终端设备的应用层指定的，本申请对此不做限制。
可选地，上述预设编码复杂度可以是云服务器和终端设备协商的，也可以是预定义的，还可以是云服务器指定的，又或者是终端设备指定的，再或者是由终端设备的应用层指定的，本申请对此不做限制。
可选地，上述预设编码质量可以是云服务器和终端设备协商的，也可以是预定义的，还可以是云服务器指定的，又或者是终端设备指定的，再或者是由终端设备的应用层指定的，本申请对此不做限制。
可选地，上述预设编码时延可以是云服务器和终端设备协商的，也可以是预定义的，还可以是云服务器指定的，又或者是终端设备指定的，再或者是由终端设备的应用层指定的，本申请对此不做限制。
示例性地，假设针对1080p@60fps的目标视频，当前需要对目标视频进行分析，以确定是否存在视频场景切换、确定游戏角色A的区域位置、确定游戏角色B的区域位置，也就是存在三个图像分析任务，假设确定是否存在视频场景切换的图像分析任务的编码复杂度大于预设编码复杂度，而确定游戏角色A的区域位置、确定游戏角色B的区域位置的图像分析任务编码复杂度低于预设编码复杂度，基于此，云服务器可以将图像锐化分析任务分配给自己，进一步地，假设针对确定游戏角色A的区域位置的图像分析任务，当前需要对该目标视频每4帧图像进行一次图像分析，以确定是否存在场景切换，并且只需要对图像中心1/9区域做分析，此时如果图像分析算法的性能要求可以达到360p@15fps，则将该图像分析任务分配给终端设备。假设针对确定游戏角色A的区域位置的图像分析任务，当前需要对该目标视频每4帧图像进行一次图像分析，以确定是否存在场景切换，并且只需要对图像中心1/9区域做分析，此时如果图像分析算法的性能要求无法达到360p@15fps，则将该图像分析任务分配给云服务器。
综上，本申请提供一种视频渲染协同方法，其中，云服务器可以根据终端设备的视频渲染能力确定最优视频渲染协同配置，例如云服务器可以将至少一个图像渲染任务分配给云服务器或终端设备，又或者将至少一个图像渲染任务协同分配给云服务器和终端设备。并且可以根据终端设备的视频分析能力确定最优视频分析协同配置，例如云服务器可以将至少一个图像分析任务分配给云服务器或终端设备，又或者将至少一个图像分析任务协同分配给云服务器和终端设备。此外，对于需要由云服务器处理的图像分析任务，可以将这些图像分析任务分配给云服务器，除此之外的剩余图像分析任务，可以根据终端设备的视频分析能力进行图像分析任务分配。这种视频分析协同方法不仅在有限的云服务器计算资源下，可以充分利用终端设备闲置的计算资源，从而可以为用户提供更优质的云游戏画质体验，还可以针对需要由云服务器处理的图像分析任务能够确保由云服务器执行，由于云服务器的性能更加强大，从而进一步保证了画质效果。
图9为本申请实施例提供的一种视频处理协同装置的示意图，如图9所示，该装置包括：发送模块910、接收模块920和确定模块930，发送模块910用于向终端设备发送视频渲染能力请求和视频内容分析能力请求；接收模块920用于接收终端设备的视频渲染能力响应和视频分析能力响应，视频渲染能力响应包括：终端设备的视频渲染能力，视频分析能力响应包括：终端设备的视频分析能力；确定模块930用于根据终端设备的视频渲染能力确定最优视频渲染协同配置，并根据终端设备的视频分析能力确定最优视频分析协同配置；其中，最优视频渲染协同配置为将至少一个图像渲染任务分配给终端设备或者云服务器的视频渲染协同配置，或者为将至少一个图像渲染任务协同分配给终端设备和云服务器的视频渲染协同配置；最优视频分析协同配置为将至少一个图像分析任务分配给终端设备或者云服务器的视频分析协同配置，或者为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置。
可选地，确定模块930具体用于：若终端设备针对至少一个图像分析任务具备完全视频分析能力，则确定最优视频分析协同配置为将至少一个图像分析任务分配给终端设备的视频分析协同配置；若终端设备针对至少一个图像分析任务具备局部视频分析能力，则确定最优视频分析协同配置为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置；若终端设备不具备视频分析能力，则确定最优视频分析协同配置为将至少一个图像分析任务分配给云服务器的视频分析协同配置。
可选地，确定模块930具体用于：若终端设备针对至少一个图像分析任务具备完全视频分析能力，则确定最优视频分析协同配置为将至少一个图像分析任务分配给终端设备的视频分析协同配置；若终端设备针对至少一个图像分析任务不具备完全视频分析能力，则确定最优视频分析协同配置为将至少一个图像分析任务分配给云服务器的视频分析协同配置。
可选地，该装置还包括：判断模块940，用于判断终端设备是否具备执行第一图像分析任务的软硬件能力；若终端设备不具备执行第一图像分析任务的软硬件能力，则确定终端设备的视频分析能力不满足第一图像分析任务的要求；若终端设备具备执行第一图像分析任务的软硬件能力，则判断终端设备执行第一图像分析任务时所采用的图像分析算法是否满足至少一个图像分析任务对应的目标视频的性能要求；若图像分析算法不满足目标视频的性能要求，则确定终端设备的视频分析能力不满足第一图像分析任务的要求；若图像分析算法满足目标视频的性能要求，则确定终端设备的视频分析能力满足第一图像分析任务的要求。
可选地，判断模块940具体用于：判断在图像分析算法所要处理的图像区域以及图像分析频率一定的情况下，图像分析算法的性能与目标视频的分辨率和帧率是否匹配；若在图像分析算法所要处理的图像区域以及图像分析频率一定的情况下，图像分析算法的性能与目标视频的分辨率和帧率匹配，则确定图像分析算法满足目标视频的性能要求；若在图像分析算法所要处理的图像区域以及图像分析频率一定的情况下，图像分析算法的性能与目标视频的分辨率和帧率不匹配，则确定图像分析算法不满足目标视频的性能要求。
可选地，发送模块910还用于：若确定模块930确定最优视频分析协同配置为将至少一个图像分析任务分配给终端设备的视频分析协同配置，则向终端设备发送至少一个图像分析任务的标识和第一指示信息；其中，第一指示信息用于指示终端设备对至少一个图像分析任务进行处理。
可选地，发送模块910还用于：若确定模块930确定最优视频分析协同配置为将至少一个图像分析任务协同分配给终端设备和云服务器的视频分析协同配置，则向终端设备发送第二图像分析任务的标识和第二指示信息；其中，第二图像分析任务是至少一个图像分析任务中需要分配给终端设备的图像分析任务，第二指示信息用于指示终端设备对第二图像分析任务进行处理。
可选地，该装置还包括：获取模块950，用于获取至少一个图像分析任务的编码属性；相应的，确定模块930具体用于：根据至少一个图像分析任务的编码属性和终端设备的视频分析能力，确定最优视频分析协同配置。
可选地，确定模块930具体用于：根据至少一个图像分析任务的编码属性判断至少一个图像分析任务中是否存在需要分配给云服务器的图像分析任务；若至少一个图像分析任务中存在需要分配给云服务器的图像分析任务，则将需要分配给云服务器的图像分析任务分配给云服务器，并判断至少一个图像分析任务中除需要分配给云服务器的图像分析任务之外是否存在剩余图像分析任务；若至少一个图像分析任务中不存在需要分配给云服务器的图像分析任务，则根据终端设备的视频分析能力，确定最优视频分析协同配置；若至少一个图像分析任务中存在剩余图像分析任务，则根据终端设备的视频分析能力，针对剩余图像分析任务确定最优视频分析协同配置。
可选地，确定模块930具体用于：若至少一个图像分析任务中的第三图像分析任务的编码属性满足对应预设条件，则确定第三图像分析任务为需要分配给云服务器的图像分析任务；若至少一个图像分析任务中的第四图像分析任务的编码属性不满足对应预设条件，则确定第四图像分析任务不是需要分配给云服务器的图像分析任务。
可选地，编码属性为以下任一项：编码复杂度、编码质量、编码时延。
可选地，若编码属性为编码复杂度；则判断第三图像分析任务或第四图像分析任务的编码属性是否满足对应预设条件，包括：判断第三图像分析任务或第四图像分析任务的编码复杂度是否达到预设编码复杂度。
可选地，若编码属性为编码质量；则判断第三图像分析任务或第四图像分析任务的编码属性是否满足对应预设条件，包括：判断第三图像分析任务或第四图像分析任务的编码质量是否达到预设编码质量。
可选地，若编码属性为编码时延；则判断第三图像分析任务或第四图像分析任务的编码属性是否满足对应预设条件，包括：判断第三图像分析任务或第四图像分析任务的编码时延是否达到预设编码时延。
可选地，每个图像分析任务用于辅助以下至少一项：云服务器的图像编码、云服务器的图像处理、终端设备的图像处理。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图9所示的装置可以执行上述方法实施例，并且装置中的各个模块的前述和其它操作和/或功能分别为了实现上述各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图10是本申请实施例提供的电子设备的示意性框图。
如图10所示，该电子设备可包括：
存储器1010和处理器1020，该存储器1010用于存储计算机程序，并将该程序代码传输给该处理器1020。换言之，该处理器1020可以从存储器1010中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该处理器1020可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中，该处理器1020可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器1010包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器1010中，并由该处理器1020执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图10所示，该电子设备还可包括：
收发器1030，该收发器1030可连接至该处理器1020或存储器1010。
其中，处理器1020可以控制该收发器1030与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器1030可以包括发射机和接收机。收发器1030还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、云服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、云服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的云服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。
Claims (20)
1.一种视频处理协同方法，其特征在于，包括：
向终端设备发送视频渲染能力请求和视频内容分析能力请求；
接收所述终端设备发送的视频渲染能力响应和视频分析能力响应，所述视频渲染能力响应包括：所述终端设备的视频渲染能力，所述视频分析能力响应包括：所述终端设备的视频分析能力；
根据所述终端设备的视频渲染能力确定最优视频渲染协同配置，并根据所述终端设备的视频分析能力确定最优视频分析协同配置；
其中，所述最优视频渲染协同配置为将至少一个图像渲染任务分配给所述终端设备或者云服务器的视频渲染协同配置，或者为将所述至少一个图像渲染任务协同分配给所述终端设备和所述云服务器的视频渲染协同配置；
所述最优视频分析协同配置为将至少一个图像分析任务分配给所述终端设备或者所述云服务器的视频分析协同配置，或者为将所述至少一个图像分析任务协同分配给所述终端设备和所述云服务器的视频分析协同配置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述终端设备的视频分析能力确定最优视频分析协同配置，包括：
若所述终端设备针对所述至少一个图像分析任务具备完全视频分析能力，则确定所述最优视频分析协同配置为将所述至少一个图像分析任务分配给所述终端设备的视频分析协同配置；
若所述终端设备针对所述至少一个图像分析任务具备局部视频分析能力，则确定所述最优视频分析协同配置为将所述至少一个图像分析任务协同分配给所述终端设备和所述云服务器的视频分析协同配置；
若所述终端设备不具备视频分析能力，则确定所述最优视频分析协同配置为将所述至少一个图像分析任务分配给所述云服务器的视频分析协同配置。
3.根据权利要求1所述的方法，其特征在于，所述根据所述终端设备的视频分析能力确定最优视频分析协同配置，包括：
若所述终端设备针对所述至少一个图像分析任务具备完全视频分析能力，则确定所述最优视频分析协同配置为将所述至少一个图像分析任务分配给所述终端设备的视频分析协同配置；
若所述终端设备针对所述至少一个图像分析任务不具备完全视频分析能力，则确定所述最优视频分析协同配置为将所述至少一个图像分析任务分配给所述云服务器的视频分析协同配置。
4.根据权利要求2或3所述的方法，其特征在于，判断所述终端设备的视频分析能力是否满足第一图像分析任务的要求，包括：
判断所述终端设备是否具备执行所述第一图像分析任务的软硬件能力；
若所述终端设备不具备执行所述第一图像分析任务的软硬件能力，则确定所述终端设备的视频分析能力不满足所述第一图像分析任务的要求；
若所述终端设备具备执行所述第一图像分析任务的软硬件能力，则判断所述终端设备执行所述第一图像分析任务时所采用的图像分析算法是否满足所述至少一个图像分析任务对应的目标视频的性能要求；
若所述图像分析算法不满足所述目标视频的性能要求，则确定所述终端设备的视频分析能力不满足所述第一图像分析任务的要求；
若所述图像分析算法满足所述目标视频的性能要求，则确定所述终端设备的视频分析能力满足所述第一图像分析任务的要求。
5.根据权利要求4所述的方法，其特征在于，所述判断所述终端设备执行所述第一图像分析任务时所采用的图像分析算法是否满足所述至少一个图像分析任务对应的目标视频的性能要求，包括：
判断在所述图像分析算法所要处理的图像区域以及图像分析频率一定的情况下，所述图像分析算法的性能与所述目标视频的分辨率和帧率是否匹配；
若在所述图像分析算法所要处理的图像区域以及图像分析频率一定的情况下，所述图像分析算法的性能与所述目标视频的分辨率和帧率匹配，则确定所述图像分析算法满足所述目标视频的性能要求；
若在所述图像分析算法所要处理的图像区域以及图像分析频率一定的情况下，所述图像分析算法的性能与所述目标视频的分辨率和帧率不匹配，则确定所述图像分析算法不满足所述目标视频的性能要求。
6.根据权利要求2或3所述的方法，其特征在于，还包括：
若确定所述最优视频分析协同配置为将所述至少一个图像分析任务分配给所述终端设备的视频分析协同配置，则向所述终端设备发送所述至少一个图像分析任务的标识和第一指示信息；
其中，所述第一指示信息用于指示所述终端设备对所述至少一个图像分析任务进行处理。
7.根据权利要求2所述的方法，其特征在于，还包括：
若确定所述最优视频分析协同配置为将所述至少一个图像分析任务协同分配给所述终端设备和所述云服务器的视频分析协同配置，则向所述终端设备发送第二图像分析任务的标识和第二指示信息；
其中，所述第二图像分析任务是所述至少一个图像分析任务中需要分配给所述终端设备的图像分析任务，所述第二指示信息用于指示所述终端设备对所述第二图像分析任务进行处理。
8.根据权利要求1所述的方法，其特征在于，所述根据所述终端设备的视频分析能力确定最优视频分析协同配置之前，还包括：
获取所述至少一个图像分析任务的编码属性；
所述根据所述终端设备的视频分析能力确定最优视频分析协同配置，包括：
根据所述至少一个图像分析任务的编码属性和所述终端设备的视频分析能力，确定最优视频分析协同配置。
9.根据权利要求8所述的方法，其特征在于，所述根据所述至少一个图像分析任务的编码属性和所述终端设备的视频分析能力，确定最优视频分析协同配置，包括：
根据所述至少一个图像分析任务的编码属性判断所述至少一个图像分析任务中是否存在需要分配给所述云服务器的图像分析任务；
若所述至少一个图像分析任务中存在需要分配给所述云服务器的图像分析任务，则将需要分配给所述云服务器的图像分析任务分配给所述云服务器，并判断所述至少一个图像分析任务中除需要分配给所述云服务器的图像分析任务之外是否存在剩余图像分析任务；
若所述至少一个图像分析任务中不存在需要分配给所述云服务器的图像分析任务，则根据所述终端设备的视频分析能力，确定最优视频分析协同配置；
若所述至少一个图像分析任务中存在所述剩余图像分析任务，则根据所述终端设备的视频分析能力，针对所述剩余图像分析任务确定最优视频分析协同配置。
10.根据权利要求9所述的方法，其特征在于，所述根据所述至少一个图像分析任务的编码属性判断所述至少一个图像分析任务中是否存在需要分配给所述云服务器的图像分析任务，包括：
若所述至少一个图像分析任务中的第三图像分析任务的编码属性满足对应预设条件，则确定所述第三图像分析任务为需要分配给所述云服务器的图像分析任务；
若所述至少一个图像分析任务中的第四图像分析任务的编码属性不满足对应预设条件，则确定所述第四图像分析任务不是需要分配给所述云服务器的图像分析任务。
11.根据权利要求10所述的方法，其特征在于，所述编码属性为以下任一项：编码复杂度、编码质量、编码时延。
12.根据权利要求11所述的方法，其特征在于，若所述编码属性为编码复杂度；则判断所述第三图像分析任务或所述第四图像分析任务的编码属性是否满足对应预设条件，包括：
判断所述第三图像分析任务或所述第四图像分析任务的编码复杂度是否达到预设编码复杂度。
13.根据权利要求11所述的方法，其特征在于，若所述编码属性为编码质量；则判断所述第三图像分析任务或所述第四图像分析任务的编码属性是否满足对应预设条件，包括：
判断所述第三图像分析任务或所述第四图像分析任务的编码质量是否达到预设编码质量。
14.根据权利要求11所述的方法，其特征在于，若所述编码属性为编码时延；则判断所述第三图像分析任务或所述第四图像分析任务的编码属性是否满足对应预设条件，包括：
判断所述第三图像分析任务或所述第四图像分析任务的编码时延是否达到预设编码时延。
15.根据权利要求1-3任一项所述的方法，其特征在于，每个所述图像分析任务用于辅助以下至少一项：所述云服务器的图像编码、所述云服务器的图像处理、所述终端设备的图像处理。
16.一种视频处理协同方法，其特征在于，包括：
从终端设备的操作系统获取所述终端设备的视频渲染能力和视频分析能力；
将所述终端设备的视频渲染能力和视频分析能力发送给云服务器，以供所述云服务器根据所述终端设备的视频渲染能力确定最优视频渲染协同配置，并根据所述终端设备的视频分析能力确定最优视频分析协同配置；其中，所述最优视频渲染协同配置为将至少一个图像渲染任务分配给所述终端设备或者所述云服务器的视频渲染协同配置，或者为将所述至少一个图像渲染任务协同分配给所述终端设备和所述云服务器的视频渲染协同配置；所述最优视频分析协同配置为将至少一个图像分析任务分配给所述终端设备或者所述云服务器的视频分析协同配置，或者为将所述至少一个图像分析任务协同分配给所述终端设备和所述云服务器的视频分析协同配置；
接收所述最优视频渲染协同配置和所述最优视频分析协同配置，并发送给所述终端设备。
17.一种视频处理协同方法，其特征在于，包括：
向客户端发送终端设备的视频渲染能力和视频分析能力，以供对应于所述客户端的云服务器根据所述终端设备的视频渲染能力确定最优视频渲染协同配置，并根据所述终端设备的视频分析能力确定最优视频分析协同配置；其中，所述最优视频渲染协同配置为将至少一个图像渲染任务分配给所述终端设备或者所述云服务器的视频渲染协同配置，或者为将所述至少一个图像渲染任务协同分配给所述终端设备和所述云服务器的视频渲染协同配置；所述最优视频分析协同配置为将至少一个图像分析任务分配给所述终端设备或者所述云服务器的视频分析协同配置，或者为将所述至少一个图像分析任务协同分配给所述终端设备和所述云服务器的视频分析协同配置；
从所述客户端获取所述最优视频渲染协同配置和所述最优视频分析协同配置，并根据所述最优视频分析协同配置对目标视频进行分析，根据所述最优视频渲染协同配置对所述目标视频进行渲染操作。
18.一种视频处理协同装置，其特征在于，包括：
发送模块，用于向终端设备发送视频渲染能力请求和视频内容分析能力请求；
接收模块，用于接收所述终端设备的视频渲染能力响应和视频分析能力响应，所述视频渲染能力响应包括：所述终端设备的视频渲染能力，所述视频分析能力响应包括：所述终端设备的视频分析能力；
确定模块，用于根据所述终端设备的视频渲染能力确定最优视频渲染协同配置，并根据所述终端设备的视频分析能力确定最优视频分析协同配置；
其中，所述最优视频渲染协同配置为将至少一个图像渲染任务分配给所述终端设备或者云服务器的视频渲染协同配置，或者为将所述至少一个图像渲染任务协同分配给所述终端设备和所述云服务器的视频渲染协同配置；
所述最优视频分析协同配置为将至少一个图像分析任务分配给所述终端设备或者所述云服务器的视频分析协同配置，或者为将所述至少一个图像分析任务协同分配给所述终端设备和所述云服务器的视频分析协同配置。
19.一种电子设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至17中任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至17中任一项所述的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210103031.4A CN116567320A (zh) | 2022-01-27 | 2022-01-27 | 视频处理协同方法、装置、设备及存储介质 |
| EP22923503.1A EP4391554A1 (en) | 2022-01-27 | 2022-12-09 | Video processing collaboration method, apparatus, device, and storage medium |
| PCT/CN2022/137807 WO2023142714A1 (zh) | 2022-01-27 | 2022-12-09 | 视频处理协同方法、装置、设备及存储介质 |
| US18/525,089 US20240096087A1 (en) | 2022-01-27 | 2023-11-30 | Video processing collaboration method, apparatus, device, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210103031.4A CN116567320A (zh) | 2022-01-27 | 2022-01-27 | 视频处理协同方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116567320A true CN116567320A (zh) | 2023-08-08 |
Family
ID=87470350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210103031.4A Pending CN116567320A (zh) | 2022-01-27 | 2022-01-27 | 视频处理协同方法、装置、设备及存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240096087A1 (zh) |
| EP (1) | EP4391554A1 (zh) |
| CN (1) | CN116567320A (zh) |
| WO (1) | WO2023142714A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102625144A (zh) * | 2011-11-28 | 2012-08-01 | 苏州奇可思信息科技有限公司 | 基于局域网云网络的并行视频处理方法 |
| US9774894B2 (en) * | 2012-03-13 | 2017-09-26 | Cisco Technology, Inc. | Coordinating video delivery with radio frequency conditions |
| CN110393921B (zh) * | 2019-08-08 | 2022-08-26 | 腾讯科技（深圳）有限公司 | 云游戏的处理方法、装置、终端、服务器及存储介质 |
| CN118158206A (zh) * | 2020-05-25 | 2024-06-07 | 西安万像电子科技有限公司 | 数据处理方法及服务器和终端设备 |
| CN111698470B (zh) * | 2020-06-03 | 2021-09-03 | 中科民盛安防(河南)有限公司 | 一种基于云边协同计算的安防视频监控系统及其实现方法 |
| CN113194281B (zh) * | 2021-01-27 | 2024-04-26 | 广东建邦计算机软件股份有限公司 | 视频解析方法、装置、计算机设备和存储介质 |
-
2022
- 2022-01-27 CN CN202210103031.4A patent/CN116567320A/zh active Pending
- 2022-12-09 EP EP22923503.1A patent/EP4391554A1/en active Pending
- 2022-12-09 WO PCT/CN2022/137807 patent/WO2023142714A1/zh active Application Filing
-
2023
- 2023-11-30 US US18/525,089 patent/US20240096087A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4391554A1 (en) | 2024-06-26 |
| US20240096087A1 (en) | 2024-03-21 |
| WO2023142714A1 (zh) | 2023-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114501062B (zh) | 视频渲染协同方法、装置、设备及存储介质 | |
| CN110381322B (zh) | 视频流解码方法、装置、终端设备及存储介质 | |
| US10924783B2 (en) | Video coding method, system and server | |
| CN110557649B (zh) | 直播交互方法、直播系统、电子设备及存储介质 | |
| US20160029079A1 (en) | Method and Device for Playing and Processing a Video Based on a Virtual Desktop | |
| US20170195617A1 (en) | Image processing method and electronic device | |
| CN111614967B (zh) | 虚拟形象直播方法、装置、电子设备及存储介质 | |
| US20220239920A1 (en) | Video processing method, related apparatus, storage medium, and program product | |
| CN114205359A (zh) | 视频渲染协同方法、装置及设备 | |
| WO2023142716A1 (zh) | 编码方法、实时通信方法、装置、设备及存储介质 | |
| CN113766270A (zh) | 视频播放方法、系统、服务器、终端设备、以及电子设备 | |
| US20240098316A1 (en) | Video encoding method and apparatus, real-time communication method and apparatus, device, and storage medium | |
| CN116567346A (zh) | 视频处理方法、装置、存储介质及计算机设备 | |
| CN114339412A (zh) | 视频质量增强方法、移动终端、存储介质及装置 | |
| CN110662071B (zh) | 视频解码方法和装置、存储介质及电子装置 | |
| CN116567320A (zh) | 视频处理协同方法、装置、设备及存储介质 | |
| CN116567242A (zh) | 图像处理方法、装置及设备 | |
| CN116546262A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN110572674A (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
| US12088817B2 (en) | Data coding method and apparatus, and computer-readable storage medium | |
| CN116567229A (zh) | 图像处理方法、装置、设备及存储介质 | |
| US20230018087A1 (en) | Data coding method and apparatus, and computer-readable storage medium | |
| CN116567297A (zh) | 帧率调整方法、装置、设备及存储介质 | |
| CN115550690B (zh) | 帧率调整方法、装置、设备及存储介质 | |
| WO2023142662A1 (zh) | 图像编码方法、实时通信方法、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40093104 Country of ref document: HK |