CN114567814A - 视频处理方法、视频渲染方法、处理器及存储介质 - Google Patents
视频处理方法、视频渲染方法、处理器及存储介质 Download PDFInfo
- Publication number
- CN114567814A CN114567814A CN202210456028.0A CN202210456028A CN114567814A CN 114567814 A CN114567814 A CN 114567814A CN 202210456028 A CN202210456028 A CN 202210456028A CN 114567814 A CN114567814 A CN 114567814A
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- sub
- frames
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000009877 rendering Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 238
- 230000015654 memory Effects 0.000 claims abstract description 87
- 230000000903 blocking effect Effects 0.000 claims abstract description 65
- 230000011218 segmentation Effects 0.000 claims description 141
- 230000003190 augmentative effect Effects 0.000 claims description 32
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 abstract description 25
- 230000000694 effects Effects 0.000 abstract description 14
- 230000004044 response Effects 0.000 description 25
- 230000003993 interaction Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000000638 solvent extraction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频处理方法、视频渲染方法、处理器及存储介质。其中，该方法包括：获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧。本发明解决了对视频进行增强处理的内存开销大的技术问题，达到了降低对视频进行增强处理的内存开销的技术效果。
Description
技术领域
本发明涉及视频处理领域，具体而言，涉及一种视频处理方法、视频渲染方法、处理器及存储介质。
背景技术
目前，在对视频进行处理时，将视频的输入帧，直接送入视频处理模块整体进行视频增强处理，然后得到输出帧，其为“端到端”的直接处理方式，由于未对内存开销进行优化，从而对存在对视频进行增强处理的内存开销大的技术问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视频处理方法、视频渲染方法、处理器及存储介质，以至少解决对视频进行增强处理的内存开销大的技术问题。
根据本发明实施例的一个方面，提供了一种视频处理方法，包括：获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧。
根据本发明实施例的一方面，提供了人机交互场景下的另一种视频处理方法，包括：响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频；响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，其中，目标视频帧为对至少一个增强视频帧进行合并得到，至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且增强视频帧用于表示对应的子视频帧的质量增强结果，多个子视频帧为对视频的原始视频帧进行切分处理得到，且子视频帧用于表示原始视频帧的分块结果；响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧。
根据本发明实施例的一方面，从系统侧提供了另一种视频处理方法，包括：通过调用第一接口获取待处理视频的原始视频帧，其中，第一接口包括第一参数，第一参数的参数值为原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧；通过调用第二接口输出目标视频帧，其中，第二接口包括第二参数，第二参数的值为目标视频帧。
根据本发明实施例的一方面，从应用侧提供了另一种视频处理方法，包括：从视频平台获取待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧；将目标视频帧返回至视频平台。
根据本发明实施例的一方面，从虚拟现实VR设备或增强现实AR设备的应用场景下提供了一种视频渲染方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果；对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果；驱动VR设备或AR设备展示目标视频帧。
根据本发明实施例的另一方面，提供了一种视频处理装置，包括：第一获取单元，用于获取待处理视频的原始视频帧；第一切分单元，用于对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；第一处理单元，用于对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；第一合并单元，用于对至少一个增强视频帧进行合并，得到目标视频帧。
根据本发明实施例的另一方面，提供了人机交互场景下的另一种视频处理装置，包括：第一响应单元，用于响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频；第二响应单元，用于响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，其中，目标视频帧为对至少一个增强视频帧进行合并得到，至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且增强视频帧用于表示对应的子视频帧的质量增强结果，多个子视频帧为对视频的原始视频帧进行切分处理得到，且子视频帧用于表示原始视频帧的分块结果；第三响应单元，用于响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧。
根据本发明实施例的另一方面，从系统侧提供了另一种视频处理装置，包括：第一调用单元，用于通过调用第一接口获取待处理视频的原始视频帧，其中，第一接口包括第一参数，第一参数的参数值为原始视频帧；第二切分单元，用于对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；第二处理单元，用于对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；第二合并单元，用于对至少一个增强视频帧进行合并，得到目标视频帧；第二调用接口，用于通过调用第二接口输出目标视频帧，其中，第二接口包括第二参数，第二参数的值为目标视频帧。
根据本发明实施例的另一方面，从应用侧提供了另一种视频处理装置，包括：第二获取单元，用于从视频平台获取待处理视频；第三切分单元，用于对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；第三处理单元，用于对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；第三合并单元，用于对至少一个增强视频帧进行合并，得到目标视频帧；返回单元，用于将目标视频帧返回至视频平台。
根据本发明实施例的另一方面，从虚拟现实VR设备或增强现实AR设备的应用场景下提供了一种视频渲染装置，包括：展示单元，用于在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频；第四切分单元，用于对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；第四处理单元，用于对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果；渲染单元，用于对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果。
本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的视频处理方法或视频渲染方法。
本发明实施例还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的视频处理方法或视频渲染方法。
在本发明实施例中，通过获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧，也就是说，在本申请中，对视频进行切分，再分别对切分后的输入块进行视频增强，进而合并各个视频增强后的输入块，组成完整的输出帧，由于本方案采取了分块处理，分块后数据量小，能降低内存开销，从而达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种用于实现视频处理方法的AR/VR设备（或移动设备）的硬件结构框图；
图2是根据本发明实施例的一种视频处理方法的流程图；
图3是根据本发明实施例在人机交互场景下提供的另一种视频处理方法的流程图；
图4是根据本发明实施例从系统侧提供的另一种视频处理方法的流程图；
图5是根据本发明实施例从应用侧提供的另一种视频处理方法的流程图；
图6是根据本发明实施例从虚拟现实VR设备或增强现实AR设备的应用场景下提供的一种视频渲染方法的流程图；
图7是根据本公开实施例的一种在虚拟现实VR设备或增强现实AR设备场景下的对人脸视频帧进行渲染的示意图；
图8是相关技术中的一种视频增强处理方法的流程图；
图9是根据本公开实施例的一种低内存开销的视频增强处理方法的流程图；
图10是根据本发明实施例的一种视频处理装置的示意图；
图11是根据本发明实施例的人机交互场景下的另一种视频处理装置；
图12是根据本发明实施例的从系统侧提供的另一种视频处理装置；
图13是根据本发明实施例的从应用侧提供的另一种视频处理装置；
图14是根据本发明实施例从虚拟现实VR设备或增强现实AR设备的应用场景下提供的一种视频渲染装置；
图15是根据本发明实施例的一种AR/VR设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
视频增强，是指对给定低质量视频进行处理，提高视频画质、色彩表现力和流畅度等，增强视频画面质量的一种任务；
移动端，是指手机、平板等具有一定计算能力的移动设备；
视频帧尺寸，可以用帧高度和帧宽度来表示，帧高度和帧宽度分别是指图像的高和宽的像素数。
实施例1
根据本发明实施例，还提供了一种视频处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种视频处理方法的AR/VR设备的硬件环境的示意图。如图1所示，虚拟现实设备104与终端106相连接，终端106与服务器102通过网络进行连接，上述虚拟现实设备104并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端104并不限定于PC、手机、平板电脑等，服务器102可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
可选地，该实施例的虚拟现实设备104包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧，从而解决了对视频进行增强处理的内存开销大的技术问题，达到了降低对视频进行增强处理的内存开销的技术效果。
该实施例的终端可以用于执行在虚拟现实VR（Virtual Reality，简称为VR）设备或增强现实AR（Augmented Reality，简称为AR）设备的呈现画面上展示待处理视频；然后对视频的原始视频帧进行切分处理，得到多个子视频帧，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，进一步对至少一个增强视频帧进行渲染，得到目标视频帧，然后向虚拟现实设备104发送目标视频帧，虚拟现实设备104在接收到目标视频帧之后在目标投放位置显示出来。
可选地，该实施例的虚拟现实设备104带有的眼球追踪的头戴式显示器（HeadMount Display，简称为HMD）与眼球追踪模块与上述实施例中的作用相同，也即，HMD头显中的屏幕，用于显示实时的画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹。该实施例的终端通过跟踪系统获取用户在真实三维空间的位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向。
图1示出的硬件结构框图，不仅可以作为上述AR/VR设备（或移动设备）的示例性框图，还可以作为上述服务器的示例性框图。
本申请实施例一所提供的方法实施例可以在移动终端、AR/VR设备或者类似的运算装置中执行。
在上述运行环境下，本申请提供了如图2所示的一种视频处理方法。
图2是根据本发明实施例的一种视频处理方法的流程图。如图2所示，该方法可以包括以下步骤：
步骤S202，获取待处理视频的原始视频帧。
在本发明上述步骤S202提供的技术方案中，原始视频帧可以是输入视频增强处理模块的输入帧。
在该实施例中，可以获取待处理视频的原始视频帧，比如，获取待处理视频的输入视频增强处理模块的输入帧，其中，视频增强处理模块用于对输入帧进行视频增强处理。
在该实施例中，可以对输入视频进行解码，以获取原始视频帧。
步骤S204，对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果。
在本发明上述步骤S204提供的技术方案中，可以对原始视频帧进行切分处理，得到多个子视频帧，比如，在获取待处理视频的原始视频帧后，可以对原始视频帧进行分块处理，得到多个子分块，其中，切分处理又称为分块处理，子视频帧又称为子分块。
在该实施例中，对原始视频帧进行切分处理，比如，沿着原始视频帧的宽边和高边的分段点进行切分。
举例而言，分块策略可以是直接沿着视频帧宽边和高边的分段点切分，比如，将视频帧分块处理为2×2、2×3、3×3等不同参数的块数，或者在分块处理时，各个分块之间带有一定的重叠部分，以保证得到的分块输入可以适配后续的增强处理模块。
可选地，接收用户交互输入分块信息，分块信息包括切分策略和切分内容，其中，包括切分策略和切分内容，其中，切分策略和切分内容都可以由用户输入来确定，也就是说，通过自定义切分策略和切分内容来对原始视频帧进行切分处理，得到多个子视频帧，其中，切分策略用于确定对原始视频帧进行切分处理的方法，比如，切分策略用于确定将原始视频帧进行切分处理的帧高和帧宽，切分内容可以用于确定对哪些原始视频帧进行切分处理。
可选地，采用智能决策的分块策略对原始视频帧进行切分处理，得到多个子视频帧，比如，根据设备上内存大小，或者用户对内存消耗的要求，智能决定分块方式，进行智能分块，同时这些用户交互或者智能决策的分块策略信息会被保存下来。
步骤S206，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果。
在本发明上述步骤S206提供的技术方案中，可以对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，比如，在对原始视频帧进行切分处理，得到多个子视频帧后，可以对感兴趣区域的分块进行视频增强处理，比如，分块可以是子视频帧，以得到该感兴趣区域的子视频帧的增强视频帧，其中，感兴趣的区域可以是内存开销大的原始视频帧。
在该实施例中，可以基于自定义的分块策略或智能决策的分块策略，确定需要进行视频增强处理的子视频帧。
在该实施例中，可以根据分块策略对子视频帧进行分类，比如，按重要程度进行分类，并对重要程度低的子视频帧进行普通或轻量级地处理，以进一步达到智能地降低对设备的硬件和内存的开销的技术效果。
举例而言，基于切分信息，智能地决定对哪些分块进行重点处理，比如，对感兴趣区域所在的分块进行重点处理，对复杂度高的进行重点处理，而其他分块策略决策出重要程度低的分块，则可采取普通的、轻量级的处理方式，这样可进一步智能地降低对设备的硬件和内存的开销。
步骤S208，对至少一个增强视频帧进行合并，得到目标视频帧。
在本发明上述步骤S208提供的技术方案中，可以对至少一个增强视频帧进行合并，得到目标视频帧，比如，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧后，将一个增强视频帧或多个增强视频帧与所有子视频帧进行合并处理，以得到目标视频帧。
在该实施例中，在得到目标视频帧后，可以将目标视频帧上传至视频应用或视频平台。
通过本申请上述步骤S202至步骤S208，获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧，也就是说，在本申请中，对视频进行切分，再分别对切分后的输入块进行视频增强，进而合并各个视频增强后的输入块，组成完整的输出帧，由于本方案采取了分块处理，分块后数据量小，能降低内存开销，从而达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
下面对该实施例的上述方法进行进一步地介绍。
作为一种可选的实施方式，步骤S204，对原始视频帧进行切分处理，得到多个子视频帧，该方法包括：基于切分信息对原始视频帧进行切分处理，得到多个子视频帧，其中，切分信息用于表示对原始视频帧进行切分处理的策略。
在该实施例中，切分信息又称为分块策略信息，分块策略信息可以是用于确定对哪些视频帧进行增强处理，以及确定消耗多少内存来进行增强处理的策略。
在该实施例中，可以基于切分信息对原始视频帧进行切分处理，得到多个子视频帧，比如，基于分块策略信息对原始视频帧进行切分处理，得到多个子视频帧。
在该实施例中，切分信息可以是用户自定义的，也可以是自动生成的。
在该实施例中，切分信息可以包括切分策略和切分内容，其中，切分策略可以是决定如何切分的策略，切分内容可以是决定切分哪些原始视频帧的信息。
作为一种可选的实施方式，对至少一个增强视频帧进行合并，得到目标视频帧，该方法包括：基于合并信息对至少一个增强视频帧进行合并，得到目标视频帧，其中，合并信息用于表示对至少一个增强视频帧进行合并的策略，且与切分信息相对应。
在该实施例中，可以基于合并信息对至少一个增强视频帧进行合并，得到目标视频帧，比如，用户交互自定义或者智能决策的分块策略信息会被保存下来，并用于对处理后的视频帧进行合并处理，指导系统进行正确地输出合并。
在该实施例中，可以根据用户指定或者智能决策的策略，将子视频帧依照顺序的或者并行的方式传入视频增强模块进行处理。
需要注意的是，如果采用并行方式将切分后的输入块传入视频增强模块进行处理，并行的输入快的数目必须小于进行分块处理得到的块数总数，才能保证降低内存开销。
作为一种可选的实施方式，该方法还包括：响应作用于图形用户界面上的输入操作指令，获取切分信息。
在该实施例中，可以响应作用于图形用户界面上的输入操作指令，获取切分信息，比如，当检测到作用于图形用户界面上的输入操作指令，产生用于表示该信息的信号，响应于该信号，获取切分信息。
在该实施例，用户可以在图形用户界面上的输入操作指令，然后获取切分信息，也就是说，用户可以输入分块信息。
作为一种可选的实施方式，该方法还包括：获取终端设备的内存信息，其中，原始视频在终端设备上播放；获取与内存信息对应的切分信息。
在该实施例中，内存信息可以包括内存大小信息和内存消耗信息。
在该实施例中，可以获取终端设备的内存信息，比如，获取终端设备的内存大小信息和内存消耗信息。
在该实施例中，可以获取与内存信息对应的切分信息，比如，对感兴趣区域所在的分块进行优先处理或者消耗更大的内存进行处理，对复杂度高的进行重点处理，而其它分块策略决策出重要程度低的分块，则可采取普通的、轻量级的处理方式，这样可进一步智能地降低对设备的硬件和内存的开销，其中，感兴趣的区域可以是进行增强处理的复杂度高的原始视频帧。
作为一种可选的实施方式，基于切分信息从多个子视频帧中确定出任意一个或多个子视频帧。
在该实施例中，可以基于切分信息从多个子视频帧中确定出任意一个或多个子视频帧，比如，基于对原始输入帧的分块策略，可以智能地决定对哪些分块进行视频增强处理。
作为一种可选的实施方式，步骤S204，对原始视频帧进行切分处理，得到多个子视频帧，该方法包括：确定原始视频帧的尺寸信息；基于尺寸信息确定原始视频帧的至少一切分位置；分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧。
在该实施例中，尺寸信息可以包括原始视频帧的宽边和高边。
在该实施例中，可以确定原始视频帧的尺寸信息，基于尺寸信息确定原始视频帧的至少一切分位置，并分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧，比如，可以确定原始视频帧的宽边和高边，并原始视频帧的宽边和高边确定原始视频帧的切分位置，并在该切分位置对原始视频帧进行切分处理。
举例而言，分块策略是直接沿着视频帧宽边和高边的分段点切分，比如，将视频帧切分为2×2、2×3、3×3等不同参数的块数。
作为一种可选的实施方式，分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧，该方法包括：基于重叠度分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧，其中，重叠度用于表示相邻两个子视频帧之间的重合程度。
在该实施例中，可以基于重叠度分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧，比如，在切分时，各个分块之间带有一定的重叠部分，以保证得到的分块输入可以适配后续的增强处理模块。
作为一种可选的实施方式，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，该方法包括：按照顺序依次对多个子视频帧进行视频增强处理，得到多个增强视频帧；或并行对多个子视频帧进行视频增强处理，得到多个增强视频帧，其中，多个子视频帧的数量小于多个子视频帧的数量。
在该实施例中，可以按照顺序依次对多个子视频帧进行视频增强处理，得到多个增强视频帧，比如，根据用户指定或者智能决策的策略，将子视频帧依照顺序的方式传入视频增强模块进行处理。
在该实施例中，可以并行对多个子视频帧进行视频增强处理，得到多个增强视频帧，比如，根据用户指定或者智能决策的策略，将子视频帧依照并行的方式传入视频增强模块进行处理。需要注意的是，如果采用并行方式将切分后的输入块传入视频增强模块进行处理，并行的输入快的数目必须小于进行分块处理得到的块数总数，才能保证降低内存开销。
作为一种可选的实施方式，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，包括：基于视频增强处理模块对多个子视频帧中任意一个多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，视频增强处理模块为使用视频样本的子视频帧样本和对应的增强视频帧样本通过机器学习训练得到。
在该实施例中，机器学习可以是监督式学习，也可以是非监督式学习，在此不做具体限制。
举例而言，当采用监督式学习时，可以对视频样本的子视频帧样本和对应的增强视频帧样本进行标注，形成标注数据集，将子视频帧样本作为机器学习模型的输入，将对应的增强视频帧样本作为机器学习模型的输出，对该机器学习模型进行训练，将达到预期训练效果的该机器学习模型作为视频增强处理模块。
在该实施例中，基于视频增强处理模块对多个子视频帧中任意一个多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，比如，在通过监督式学习训练得到视频增强处理模块后，将多个子视频帧中任意一个多个子视频帧中任意一个或多个子视频帧输入至视频增强处理模块进行视频增强处理，得到至少一个增强视频帧。
在本发明上述实施例中，对视频进行切分，再分别对切分后的输入块进行视频增强，进而合并各个视频增强后的输入块，组成完整的输出帧，由于本方案采取了分块处理，分块后数据量小，能降低内存开销，从而达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
根据本发明实施例，提供了人机交互场景下的另一种视频处理的方法。
图3是根据本发明实施例在人机交互场景下提供的另一种视频处理方法的流程图。如图3所示，该方法可以包括以下步骤：
步骤S302，响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频。
在本发明上述步骤S302提供的技术方案中，可以响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频，比如，当检测到作用于操作界面上的视频输入指令，产生用于表示该信息的信号，响应于该信号，在操作界面上显示待处理视频。
在步骤S304，响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，其中，目标视频帧为对至少一个增强视频帧进行合并得到，至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且增强视频帧用于表示对应的子视频帧的质量增强结果，多个子视频帧为对视频的原始视频帧进行切分处理得到，且子视频帧用于表示原始视频帧的分块结果。
在本发明上述步骤S304提供的技术方案中，可以响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，比如，当检测到作用于操作界面上的视频增强指令，产生用于表示该信息的信号，响应于该信号，在操作界面上显示视频的目标视频帧。
步骤S306，响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧。
在本发明上述步骤S306提供的技术方案中，可以响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧，比如，当检测到作用于操作界面上的视频输出指令，产生用于表示该信息的信号，响应于该信号，向视频应用输出目标视频帧。
作为一种可选的实施方式，响应作用于图形用户界面上的输入操作指令，获取切分信息，其中，切分信息用于对原始视频帧进行切分处理，以得到多个子视频帧。
在该实施例中，可以响应作用于图形用户界面上的输入操作指令，获取切分信息，比如，当检测到作用于图形用户界面上的输入操作指令，产生用于表示该信息的信号，响应于该信号，获取切分信息。
在本公开上述实施例中，通过响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频；响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，其中，目标视频帧为对至少一个增强视频帧进行合并得到，至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且增强视频帧用于表示对应的子视频帧的质量增强结果，多个子视频帧为对视频的原始视频帧进行切分处理得到，且子视频帧用于表示原始视频帧的分块结果；响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧，从而实现了在人机交互场景下根据操作界面上的指令对视频进行编码的目的，达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
图4是根据本发明实施例从系统侧提供的另一种视频处理方法的流程图。如图4所示，该方法可以包括以下步骤：
步骤S402，通过调用第一接口获取待处理视频的原始视频帧，其中，第一接口包括第一参数，第一参数的参数值为原始视频帧。
在本发明上述步骤S402提供的技术方案中，第一接口可以是服务器与客户端之间进行数据交互的接口。客户端可以将至少一个负载传入第一接口，作为第一接口的一个第一参数，实现获取视频的目的。
在该实施例中，可以通过调用第一接口获取待处理视频的原始视频帧，比如，通过调用服务器与客户端之间进行数据交互的接口获取待处理视频的原始视频帧。
步骤S404，对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果。
在本发明上述步骤S404提供的技术方案中，可以对原始视频帧进行切分处理，得到多个子视频帧，比如，在获取待处理视频的原始视频帧后，可以对原始视频帧进行分块处理，得到多个子分块。
步骤S406，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果。
在本发明上述步骤S406提供的技术方案中，可以对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，比如，在对原始视频帧进行切分处理，得到多个子视频帧后，可以对感兴趣区域的分块，分块可以称为子视频帧，进行视频增强处理，以得到该感兴趣区域的分块的增强视频帧。
在该实施例中，可以基于自定义的分块策略或智能决策的分块策略，确定需要进行视频增强处理的子视频帧。
在该实施例中，可以根据分块策略对子视频帧进行分类，比如，按重要程度进行分类，并对重要程度低的子视频帧进行普通或轻量级地处理，以进一步达到智能降低对设备的硬件和内存的开销。
步骤S408，对至少一个增强视频帧进行合并，得到目标视频帧。
在本发明上述步骤S408提供的技术方案中，可以对至少一个增强视频帧进行合并，得到目标视频帧，比如，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧后，将一个增强视频帧或多个增强视频帧与所有子视频帧进行合并处理，以得到目标视频帧。
在该实施例中，在得到目标视频帧后，可以将目标视频帧上传至视频应用或视频平台。
步骤S410，通过调用第二接口输出目标视频帧，其中，第二接口包括第二参数，第二参数的值为目标视频帧。
在本发明上述步骤S410提供的技术方案中，第二接口可以是服务器与客户端之间进行数据交互的接口，服务器可以通过调用第二接口输出校验结果，第二参数作为第二接口的一个参数。
在该实施例中，可以通过调用第二接口输出目标视频帧，比如，通过调用服务器与客户端之间进行数据交互的接口输出目标视频帧。
在本公开上述实施例中，通过调用第一接口获取待处理视频的原始视频帧，其中，第一接口包括第一参数，第一参数的参数值为原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧；通过调用第二接口输出目标视频帧，其中，第二接口包括第二参数，第二参数的值为目标视频帧，从而实现了在系统侧对视频进行编码的目的，达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
图5是根据本发明实施例从应用侧提供的另一种视频处理方法的流程图。如图5所示，该方法可以包括以下步骤：
步骤S502，从视频平台获取待处理视频。
在本发明上述步骤S502提供的技术方案中，可以从视频平台获取待处理视频，比如，用户可以在视频平台下载视频，以获取待处理的视频。
步骤S504，对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果。
在本发明上述步骤S504提供的技术方案中，可以对原始视频帧进行切分处理，得到多个子视频帧，比如，在获取待处理视频的原始视频帧后，可以对原始视频帧进行分块处理，得到多个子分块。
步骤S506，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果。
在本发明上述步骤S506提供的技术方案中，可以对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，比如，在对原始视频帧进行切分处理，得到多个子视频帧后，可以对感兴趣区域的分块（子视频帧）进行视频增强处理，以得到该感兴趣区域的分块（子视频帧）的增强视频帧。
步骤S508，对至少一个增强视频帧进行合并，得到目标视频帧。
在本发明上述步骤S508提供的技术方案中，可以对至少一个增强视频帧进行合并，得到目标视频帧，比如，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧后，将一个增强视频帧或多个增强视频帧与所有子视频帧进行合并处理，以得到目标视频帧。
步骤S510，将目标视频帧返回至视频平台。
在本发明上述步骤S510提供的技术方案中，可以将目标视频帧返回至视频平台，比如，将进行视频增强处理后的视频返回至视频平台或视频应用。
在本公开上述实施例中，通过从视频平台获取待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧；将目标视频帧返回至视频平台，从而实现了在应用侧对视频进行处理的目的，达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
根据本发明实施例，从虚拟现实VR设备或增强现实AR设备的应用场景下提供了一种视频渲染方法。
图6是根据本发明实施例从虚拟现实VR设备或增强现实AR设备的应用场景下提供的一种视频渲染方法的流程图。如图6所示，该方法可以包括以下步骤：
步骤S602，在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频。
在本发明上述步骤S602提供的技术方案中，虚拟现实技术可以是一种可以创建和体验虚拟世界的计算机仿真系统，利用现实生活中的数据，通过计算机技术产生电子信号，将其与各种输出设备结合转化为能够让人们感受的现象，这些现象可以是现实中真真切切的物体，也可以是肉眼不可见的物质，通过三维模型表现出来。增强现实技术是一种由真实世界信息和虚拟世界信息集成的新技术，是将原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉、听觉、味觉和触觉信息等）通过计算机系统模拟仿真后叠加，将虚拟信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。在视觉化的增强现实中，用户可以利用头盔显示器，把真实世界与计算机图形多重和成在一起。
在该实施例中，可以在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频，比如，将待处理视频发送至虚拟现实VR设备或增强现实AR设备上，进而在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频。
步骤S604，对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果。
在本发明上述步骤S604提供的技术方案中，可以对原始视频帧进行切分处理，得到多个子视频帧，比如，在获取待处理视频的原始视频帧后，可以对原始视频帧进行分块处理，得到多个子分块，其中，切分处理又称为分块处理，子视频帧又称为子分块。
步骤S606，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果。
在本发明上述步骤S606提供的技术方案中，可以对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，比如，在对原始视频帧进行切分处理，得到多个子视频帧后，可以对感兴趣区域的分块进行视频增强处理，比如，分块可以是子视频帧，以得到该感兴趣区域的子视频帧的增强视频帧，其中，感兴趣的区域可以是内存开销大的原始视频帧，可以在VR设备或AR设备上展示通过视频增强处理的画面。
步骤S608，对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果。
在本发明上述步骤S608提供的技术方案中，可以对至少一个增强视频帧进行合并，得到目标视频帧，比如，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧后，将一个增强视频帧或多个增强视频帧与所有子视频帧进行合并处理，以得到目标视频帧。
步骤S610，驱动VR设备或AR设备展示目标视频帧。
在本发明上述步骤S610提供的技术方案中，可以驱动VR设备或AR设备展示目标视频帧，比如，在对至少一个增强视频帧进行渲染，得到目标视频帧后，可以将目标视频数据发送至VR设备或AR设备的显示页面上，并驱动VR设备或AR设备展示目标视频帧。
在本发明实施例中，上述视频渲染方法可以应用于由服务器、虚拟现实VR设备或增强现实AR设备所构成的硬件环境中，其中，上述服务器可以通过网络与虚拟现实VR设备或增强现实AR设备进行连接，可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述虚拟现实设备并不限定于：虚拟现实或增强现实头盔、虚拟现实或增强现实眼镜、虚拟现实或增强现实一体机等。
在本发明实施例中，虚拟现实VR设备或增强现实AR设备可以包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果；对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果；驱动VR设备或AR设备展示目标视频帧的步骤，也就是说，通过对视频进行切分，再分别对切分后的输入块进行视频增强，进而合并各个视频增强后的输入块，组成完整的输出帧，并驱动VR设备或AR设备展示目标视频帧，由于本方案采取了分块处理，分块后数据量小，能降低内存开销，达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
在本发明实施例中，上述处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的视频帧，也可以用于上述处理器与存储器之间的数据传输。
图7是根据本公开实施例的一种在虚拟现实VR设备或增强现实AR设备场景下的对人脸视频帧进行渲染的示意图。如图7所示，在虚拟现实VR设备或增强现实AR设备呈现画面上可以展示待处理视频，可以通过人工选择或智能选取待处理视频中需要进行视频增强处理的视频帧，比如，通过智能识别算法自动选取如图7所示的人脸视频帧画面，然后对人脸视频帧进行切分处理，得到多个子视频帧，并对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧。
在本公开上述实施例中，通过在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果；对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果；驱动VR设备或AR设备展示目标视频帧的步骤，也就是说，通过对视频进行切分，再分别对切分后的输入块进行视频增强，进而合并各个视频增强后的输入块，组成完整的输出帧，并驱动VR设备或AR设备展示目标视频帧，由于本方案采取了分块处理，分块后数据量小，能降低内存开销，达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
实施例2
下面对该实施例的上述方法的优选实施方式进行进一步介绍。
在相关技术中，在对视频进行处理时，将视频的输入帧，直接送入视频处理模块整体进行视频增强处理，然后得到输出帧，该方法为“端到端”的直接处理方式，从而存在对视频进行增强处理的内存开销大、视频增强算法在端上运行的稳定性差的技术问题。
图8是相关技术中的一种视频增强处理方法的流程图。如图8所示，该视频增强处理方法主要是将视频流解码后的输入帧直接送入视频处理模块，然后得到输出帧，并以此顺序执行视频增强处理的步骤，直到视频流结束。
在视频处理领域，由于受限于带宽、设备算力等客观因素，在端上提供高品质视频播放，满足高质量的视听需求的难度会更大，在移动端设备运行视频增强算法或应用时，如何兼顾实时效果并降低内存等开销，是应用能否在移动设备上稳定运行的关键因素，基于此，本公开提出了一种简单直接的、兼容性高的降低端上设备内存开销的方法，以提高视频增强算法在端上运行的稳定性。
图9是根据本公开实施例的一种低内存开销的视频增强处理方法的流程图。如图9所示，该低内存开销的视频增强处理方法可以包括以下步骤：
步骤一，对输入的视频进行解码以获取视频帧，然后将获取到的视频帧作为输入帧，对输入帧进行分块处理。
在本公开上述步骤一提供的技术方案中，分块策略是直接沿着视频帧宽边和高边的分段点切分，比如，将视频帧切分为2×2、2×3、3×3等不同参数的块数，比如，在图9中将输入帧进行分块处理，产生输入分块1、输入分块2、输入分块3……输入分块n，或者在切分时，各个分块之间可以带有一定的重叠部分，以保证得到的分块输入可以适配后续的增强处理模块。
需要注意的是，在本公开实施例中，还可以接收用户交互输入分块信息，比如，切分策略和切分内容都可以由用户输入来确定；也可以采用智能决策的分块策略，比如，根据设备上内存大小，或者用户对内存消耗的要求，智能决定分块方式，进行智能分块。同时这些用户交互或者智能决策的分块策略信息会被保存下来，并用于对处理后的视频帧合并处理，指导系统进行正确的输出合并。
步骤二，将步骤一中切分后的输入块，根据用户指定或者智能决策的策略，依照顺序的或者并行的方式传入视频增强模块进行处理。
需要注意的是，在本公开实施例中，如果采用并行方式将切分后的输入块传入视频增强模块进行处理，比如，如图9所示，将输入分块1、输入分块2、输入分块3……输入分块n采用顺序的输入方式输入，然后通过分块策略在智能视频增强处理模块进行处理；如果采用并行方式将切分后的输入块传入视频增强模块进行处理，并行的输入快的数目必须小于进行分块处理得到的块数总数，才能保证降低内存开销。同时，基于前一步的分块策略，可以智能地决定对哪些分块进行重点处理，比如，对感兴趣区域所在的分块进行重点处理，对复杂度高的进行重点处理，而其他分块策略决策出重要程度低的分块，则可采取普通的、轻量级的处理方式，这样可进一步智能地降低对设备的硬件和内存的开销。
步骤三，将步骤二中的各个分块处理完后得到的输出，根据步骤一中分块处理的方式进行合并，组成完成的输出帧，传送至上层应用，完成视频增强流程。
在该实施例中，在各个分块处理完后可以通过顺序输出或并行输出的方式进行分块输出，然后对输出的分块进行合并，比如，如图9所示，以顺序输出的方式输出输入分块1、输入分块2、输入分块3……输入分块n，然后对上述分块进行合并处理。
在本公开上述实施例中，由于视频增强处理算法大都是像素级的处理，所以直接切分然后分块处理再合并输出得到结果，并不会造成效果损失，同时，由于步骤一中可加入更加精细的分块策略，基本能保证各种情况下这样分块处理后的效果都是正常的。而由于本方案采取了这样的分块处理，相对于相关技术中如图8所示的方案，本方案能成倍地降低内存开销，比如，分成4块时，视频增强处理模块的内存开销可以降为原来的1/4左右，以此类推，所以本方案能保证视频增强算法能低内存开销的进行，同时集成该方案的应用在端上能更加稳定的运行。而分块的策略可由用户交互输入指定，也可有智能决策模块分析决定，大大增加了方案的可用性、灵活性，针对重点区域处理的方式，除了内存，还可进一步降低对设备的其他开销，此外，由于分块后数据量小，在内存拷贝，或者涉及到异构拷贝的地方，能够进一步降低延时，提高效率，达到了有效降低内存开销、拷贝延迟时长，并可以集成多种分块策略，保证适配更多的场景，以及基本能匹配所有像素级处理的视频/图像处理应用的技术效果，从而解决了对视频进行增强处理的内存开销大的技术问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，AR/VR设备，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例3
根据本发明实施例，还提供了一种用于实施上述图2所示的视频处理方法的视频处理装置。
图10是根据本发明实施例的一种视频处理装置的示意图。如图10所示，该视频处理装置100可以包括：第一获取单元101、第一切分单元102、第一处理单元103和第一合并单元104。
第一获取单元101，用于获取待处理视频的原始视频帧。
第一切分单元102，用于对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果。
第一处理单元103，用于对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果。
第一合并单元104，用于对至少一个增强视频帧进行合并，得到目标视频帧。
可选地，第一切分单元102包括：第一切分模块，用于基于切分信息对原始视频帧进行切分处理，得到多个子视频帧，其中，切分信息用于表示对原始视频帧进行切分处理的策略。
可选地，切分模块包括：合并模块，用于基于合并信息对至少一个增强视频帧进行合并，得到目标视频帧，其中，合并信息用于表示对至少一个增强视频帧进行合并的策略，且与切分信息相对应。
可选地，切分模块包括：第一获取子模块，用于响应作用于图形用户界面上的输入操作指令，获取切分信息。
可选地，切分模块还包括：第二获取子模块，用于获取终端设备的内存信息，其中，原始视频在终端设备上播放；第二获取子模块，用于获取与内存信息对应的切分信息。
可选地，切分模块还包括：确定子模块，用于基于切分信息从多个子视频帧中确定出任意一个或多个子视频帧。
可选地，第一切分单元102还包括：第一确定模块，用于确定原始视频帧的尺寸信息；第二确定模块，用于基于尺寸信息确定原始视频帧的至少一切分位置；第二切分模块，用于分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧。
可选地，第二切分模块包括：切分子模块，用于基于重叠度分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧，其中，重叠度用于表示相邻两个子视频帧之间的重合程度。
可选地，所述装置还包括：第一处理模块，用于按照顺序依次对多个子视频帧进行视频增强处理，得到多个增强视频帧；第二处理模块，用于并行对多个子视频帧进行视频增强处理，得到多个增强视频帧，其中，多个子视频帧的数量小于多个子视频帧的数量。
在本发明实施例中，通过第一获取单元，获取待处理视频的原始视频帧；第一切分单元，对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；第一处理单元，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；第一合并单元，对至少一个增强视频帧进行合并，得到目标视频帧，也就是说，在本申请中，对视频进行切分，再分别对切分后的输入块进行视频增强，进而合并各个视频增强后的输入块，组成完整的输出帧，由于本方案采取了分块处理，分块后数据量小，能降低内存开销，从而达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
此处需要说明的是，上述第一获取单元101，第一切分单元102，第一处理单元103、第一合并单元104对应于实施例1中的步骤S202至步骤S208，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的AR/VR设备中。
根据本发明实施例，还提供了一种用于实施上述图3所示的视频处理方法的视频处理装置。
图11是根据本发明实施例的人机交互场景下的另一种视频处理装置。如图11所示，该视频处理装置110可以包括：第一响应单元111，第二响应单元112和第三响应单元113。
第一响应单元111，用于响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频。
第二响应单元112，用于响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，其中，目标视频帧为对至少一个增强视频帧进行合并得到，至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且增强视频帧用于表示对应的子视频帧的质量增强结果，多个子视频帧为对视频的原始视频帧进行切分处理得到，且子视频帧用于表示原始视频帧的分块结果。
第三响应单元113，用于响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧。
在本公开上述实施例中，通过第一响应单元，响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频；第二响应单元，响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，其中，目标视频帧为对至少一个增强视频帧进行合并得到，至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且增强视频帧用于表示对应的子视频帧的质量增强结果，多个子视频帧为对视频的原始视频帧进行切分处理得到，且子视频帧用于表示原始视频帧的分块结果；第三响应单元，响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧，从而实现了在人机交互场景下根据操作界面上的指令对视频进行编码的目的，达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
此处需要说明的是，上述第一响应单元111，第二响应单元112和第三响应单元113对应于实施例1中的步骤S302至步骤S306，三个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的AR/VR设备中。
根据本发明实施例，还提供了一种用于实施上述图4所示的视频处理方法的视频处理装置。
图12是根据本发明实施例的从系统侧提供的另一种视频处理装置。如图12所示，该视频处理装置120可以：第一调用单元121，第二切分单元122，第二处理单元123、第二合并单元124和第二调用接口125。
第一调用单元121，用于通过调用第一接口获取待处理视频的原始视频帧，其中，第一接口包括第一参数，第一参数的参数值为原始视频帧。
第二切分单元122，用于对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果。
第二处理单元123，用于对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果。
第二合并单元124，用于对至少一个增强视频帧进行合并，得到目标视频帧。
第二调用接口125，用于通过调用第二接口输出目标视频帧，其中，第二接口包括第二参数，第二参数的值为目标视频帧。
在本公开上述实施例中，通过第一调用单元，调用第一接口获取待处理视频的原始视频帧，其中，第一接口包括第一参数，第一参数的参数值为原始视频帧；第二切分单元，对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；第二处理单元，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；第二合并单元，对至少一个增强视频帧进行合并，得到目标视频帧；第二调用单元，通过调用第二接口输出目标视频帧，其中，第二接口包括第二参数，第二参数的值为目标视频帧，从而实现了在系统侧对视频进行编码的目的，达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
此处需要说明的是，上述第一调用单元121，第二切分单元122，第二处理单元123、第二合并单元124和第二调用接口125对应于实施例1中的步骤S402至步骤S410，五个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的AR/VR设备中。
根据本发明实施例，还提供了一种用于实施上述图5所示的视频处理方法的视频处理装置。
图13是根据本发明实施例的从应用侧提供的另一种视频处理装置。如图13所示，该视频处理装置130可以包括：第二获取单元131、第三切分单元132、第三处理单元133、第三合并单元134和返回单元135。
第二获取单元131，用于从视频平台获取待处理视频。
第三切分单元132，用于对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果。
第三处理单元133，用于对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果。
第三合并单元134，用于对至少一个增强视频帧进行合并，得到目标视频帧。
返回单元135，用于将目标视频帧返回至视频平台。
在本公开上述实施例中，通过第二获取单元，从视频平台获取待处理视频；第三切分单元，对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；第三处理单元，对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；第三合并单元，对至少一个增强视频帧进行合并，得到目标视频帧；返回单元，将目标视频帧返回至视频平台，从而实现了在应用侧对视频进行处理的目的，达到了降低对视频进行增强处理的内存开销的技术效果，进而解决了对视频进行增强处理的内存开销大的技术问题。
此处需要说明的是，上述第二获取单元131、第三切分单元132、第三处理单元133、第三合并单元134和返回单元135对应于实施例1中的步骤S502至步骤S510，五个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的AR/VR设备中。
根据本发明实施例，还提供了一种用于实施上述图6所示的视频渲染方法的视频渲染装置。
图14是根据本发明实施例从虚拟现实VR设备或增强现实AR设备的应用场景下提供的一种视频渲染装置。如图14所示，该视频处理装置140可以包括：展示单元141、第四切分单元142、第四处理单元143、渲染单元144和驱动单元145。
展示单元141，用于在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频。
第四切分单元142，用于对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果。
第四处理单元143，用于对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果。
渲染单元144，用于对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果。
驱动单元145，用于驱动VR设备或AR设备展示目标视频帧。
此处需要说明的是，上述展示单元141、第四切分单元142、第四处理单元143、渲染单元144和驱动单元145对应于实施例1中的步骤S602至步骤S610，五个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在实施例一提供的AR/VR设备中。
实施例4
本发明的实施例可以提供一种视频处理系统，该视频处理系统可以包括服务器、客户端，该客户端可以是AR/VR设备群中的任意一个AR/VR设备。可选地，该AR/VR设备包括：处理器；存储器，与处理器相连接，用于为处理器提供处理以下处理步骤的指令：获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧。
本发明的实施例还可以提供一种AR/VR设备，该AR/VR设备可以是AR/VR设备群中的任意一个AR/VR设备。可选地，在本实施例中，上述AR/VR设备也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述AR/VR设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述AR/VR设备可以执行视频渲染方法中以下步骤的程序代码：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果；对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果；驱动VR设备或AR设备展示目标视频帧。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的视频处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的视频处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至AR/VR设备（或移动终端）。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧。
可选地，上述处理器还可以执行如下步骤的程序代码：基于切分信息对原始视频帧进行切分处理，得到多个子视频帧，其中，切分信息用于表示对原始视频帧进行切分处理的策略。
可选地，上述处理器还可以执行如下步骤的程序代码：基于合并信息对至少一个增强视频帧进行合并，得到目标视频帧，其中，合并信息用于表示对至少一个增强视频帧进行合并的策略，且与切分信息相对应。
可选地，上述处理器还可以执行如下步骤之一的程序代码：响应作用于图形用户界面上的输入操作指令，获取切分信息。
可选地，上述处理器还可以执行如下步骤的程序代码：获取终端设备的内存信息，其中，原始视频在终端设备上播放；获取与内存信息对应的切分信息。
可选地，上述处理器还可以执行如下步骤的程序代码：基于切分信息从多个子视频帧中确定出任意一个或多个子视频帧。
可选地，上述处理器还可以执行如下步骤的程序代码：确定原始视频帧的尺寸信息；基于尺寸信息确定原始视频帧的至少一切分位置；分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧。
可选地，上述处理器还可以执行如下步骤之一的程序代码：基于重叠度分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧，其中，重叠度用于表示相邻两个子视频帧之间的重合程度。
可选地，上述处理器还可以执行如下步骤的程序代码：按照顺序依次对多个子视频帧进行视频增强处理，得到多个增强视频帧；或并行对多个子视频帧进行视频增强处理，得到多个增强视频帧，其中，多个子视频帧的数量小于多个子视频帧的数量。
可选地，上述处理器还可以执行如下步骤的程序代码：基于视频增强处理模块对多个子视频帧中任意一个多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，视频增强处理模块为使用视频样本的子视频帧样本和对应的增强视频帧样本通过机器学习训练得到。
作为一种可选地上述实施方式，上述处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频；响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，其中，目标视频帧为对至少一个增强视频帧进行合并得到，至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且增强视频帧用于表示对应的子视频帧的质量增强结果，多个子视频帧为对视频的原始视频帧进行切分处理得到，且子视频帧用于表示原始视频帧的分块结果；响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧。
可选地，上述处理器还可以执行如下步骤的程序代码：响应作用于图形用户界面上的输入操作指令，获取切分信息，其中，切分信息用于对原始视频帧进行切分处理，以得到多个子视频帧。
作为一种可选地上述实施方式，上述处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过调用第一接口获取待处理视频的原始视频帧，其中，第一接口包括第一参数，第一参数的参数值为原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧；通过调用第二接口输出目标视频帧，其中，第二接口包括第二参数，第二参数的值为目标视频帧。
作为一种可选地上述实施方式，上述处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：从视频平台获取待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧；将目标视频帧返回至视频平台。
作为一种可选地上述实施方式，上述处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果；对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果；驱动VR设备或AR设备展示目标视频帧。
采用本发明实施例，提供了一种视频处理的方案。通过获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧，解决了对视频进行增强处理的内存开销大的技术问题，达到了降低对视频进行增强处理的内存开销的技术效果。
本领域普通技术人员可以理解，图15其并不对上述电子装置的结构造成限定。例如，AR/VR设备15还可包括比图15中所示更多或者更少的组件（如网络接口、显示装置等），或者具有与图15所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（RandomAccess Memory，RAM）、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的视频处理方法所执行的程序代码。
可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中AR/VR设备群中的任意一个AR/VR设备中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取待处理视频的原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于切分信息对原始视频帧进行切分处理，得到多个子视频帧，其中，切分信息用于表示对原始视频帧进行切分处理的策略。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于合并信息对至少一个增强视频帧进行合并，得到目标视频帧，其中，合并信息用于表示对至少一个增强视频帧进行合并的策略，且与切分信息相对应。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤之一的程序代码：响应作用于图形用户界面上的输入操作指令，获取切分信息。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：获取终端设备的内存信息，其中，原始视频在终端设备上播放；获取与内存信息对应的切分信息。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于切分信息从多个子视频帧中确定出任意一个或多个子视频帧。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码确定原始视频帧的尺寸信息；基于尺寸信息确定原始视频帧的至少一切分位置；分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤之一的程序代码：基于重叠度分别在至少一切分位置上对原始视频帧进行切分处理，得到多个子视频帧，其中，重叠度用于表示相邻两个子视频帧之间的重合程度。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：按照顺序依次对多个子视频帧进行视频增强处理，得到多个增强视频帧；或并行对多个子视频帧进行视频增强处理，得到多个增强视频帧，其中，多个子视频帧的数量小于多个子视频帧的数量。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于视频增强处理模块对多个子视频帧中任意一个多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，视频增强处理模块为使用视频样本的子视频帧样本和对应的增强视频帧样本通过机器学习训练得到。
作为一种可选地上述实施方式，在本实施例中，上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：响应作用于操作界面上的视频输入指令，在操作界面上显示待处理视频；响应作用于操作界面上的视频增强指令，在操作界面上显示视频的目标视频帧，其中，目标视频帧为对至少一个增强视频帧进行合并得到，至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且增强视频帧用于表示对应的子视频帧的质量增强结果，多个子视频帧为对视频的原始视频帧进行切分处理得到，且子视频帧用于表示原始视频帧的分块结果；响应作用于操作界面上的视频输出指令，向视频应用输出目标视频帧。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：响应作用于图形用户界面上的输入操作指令，获取切分信息，其中，切分信息用于对原始视频帧进行切分处理，以得到多个子视频帧。
作为一种可选地上述实施方式，在本实施例中，上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：通过调用第一接口获取待处理视频的原始视频帧，其中，第一接口包括第一参数，第一参数的参数值为原始视频帧；对原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧；通过调用第二接口输出目标视频帧，其中，第二接口包括第二参数，第二参数的值为目标视频帧。
作为一种可选地上述实施方式，在本实施例中，上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：从视频平台获取待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧的质量增强结果；对至少一个增强视频帧进行合并，得到目标视频帧；将目标视频帧返回至视频平台。
作为一种可选地上述实施方式，上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频；对视频的原始视频帧进行切分处理，得到多个子视频帧，其中，子视频帧用于表示原始视频帧的分块结果；对多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，增强视频帧用于表示对应的子视频帧在VR设备或AR设备上展示时的质量增强结果；对至少一个增强视频帧进行渲染，得到目标视频帧，其中，目标视频帧用于表示至少一个增强视频帧的合并结果；驱动VR设备或AR设备展示目标视频帧。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (17)
1.一种视频处理方法，其特征在于，包括：
获取待处理视频的原始视频帧；
对所述原始视频帧进行切分处理，得到多个子视频帧，其中，所述子视频帧用于表示所述原始视频帧的分块结果；
对所述多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，所述增强视频帧用于表示对应的所述子视频帧的质量增强结果；
对所述至少一个增强视频帧进行合并，得到目标视频帧。
2.根据权利要求1所述的方法，其特征在于，对所述原始视频帧进行切分处理，得到多个子视频帧，包括：
基于切分信息对所述原始视频帧进行切分处理，得到所述多个子视频帧，其中，所述切分信息用于表示对所述原始视频帧进行切分处理的策略。
3.根据权利要求2所述的方法，其特征在于，对所述至少一个增强视频帧进行合并，得到目标视频帧，包括：
基于合并信息对所述至少一个增强视频帧进行合并，得到所述目标视频帧，其中，所述合并信息用于表示对所述至少一个增强视频帧进行合并的策略，且与所述切分信息相对应。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
响应作用于图形用户界面上的输入操作指令，获取所述切分信息。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取终端设备的内存信息，其中，所述原始视频在所述终端设备上播放；
获取与所述内存信息对应的所述切分信息。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述切分信息从所述多个子视频帧中确定出所述任意一个或多个子视频帧。
7.根据权利要求1所述的方法，其特征在于，对所述原始视频帧进行切分处理，得到多个子视频帧，包括：
确定所述原始视频帧的尺寸信息；
基于所述尺寸信息确定所述原始视频帧的至少一切分位置；
分别在所述至少一切分位置上对所述原始视频帧进行切分处理，得到所述多个子视频帧。
8.根据权利要求7所述的方法，其特征在于，分别在所述至少一切分位置上对所述原始视频帧进行切分处理，得到所述多个子视频帧，包括：
基于重叠度分别在所述至少一切分位置上对所述原始视频帧进行切分处理，得到所述多个子视频帧，其中，所述重叠度用于表示相邻两个所述子视频帧之间的重合程度。
9.根据权利要求1至8中任意一项所述的方法，其特征在于，对所述多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，包括：
按照顺序依次对所述多个子视频帧进行视频增强处理，得到多个所述增强视频帧；或
并行对所述多个子视频帧进行视频增强处理，得到多个所述增强视频帧，其中，所述多个子视频帧的数量小于多个所述子视频帧的数量。
10.根据权利要求1至9中任意一项所述的方法，其特征在于，对所述多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，包括：
基于视频增强处理模块对所述多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到所述至少一个增强视频帧，其中，所述视频增强处理模块为使用视频样本的子视频帧样本和对应的增强视频帧样本通过机器学习训练得到。
11.一种视频处理方法，其特征在于，包括：
响应作用于操作界面上的视频输入指令，在所述操作界面上显示待处理视频；
响应作用于所述操作界面上的视频增强指令，在所述操作界面上显示所述视频的目标视频帧，其中，所述目标视频帧为对至少一个增强视频帧进行合并得到，所述至少一个增强视频帧为对多个子视频帧中任意一个或多个子视频帧进行视频增强处理得到，且所述增强视频帧用于表示对应的所述子视频帧的质量增强结果，所述多个子视频帧为对所述视频的原始视频帧进行切分处理得到，且所述子视频帧用于表示所述原始视频帧的分块结果；
响应作用于所述操作界面上的视频输出指令，向视频应用输出所述目标视频帧。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
响应作用于图形用户界面上的输入操作指令，获取切分信息，其中，所述切分信息用于对所述原始视频帧进行切分处理，以得到所述多个子视频帧。
13.一种视频处理方法，其特征在于，包括：
通过调用第一接口获取待处理视频的原始视频帧，其中，所述第一接口包括第一参数，所述第一参数的参数值为所述原始视频帧；
对所述原始视频帧进行切分处理，得到多个子视频帧，其中，所述子视频帧用于表示所述原始视频帧的分块结果；
对所述多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，所述增强视频帧用于表示对应的所述子视频帧的质量增强结果；
对所述至少一个增强视频帧进行合并，得到目标视频帧；
通过调用第二接口输出所述目标视频帧，其中，所述第二接口包括第二参数，所述第二参数的值为所述目标视频帧。
14.一种视频处理方法，其特征在于，包括：
从视频平台获取待处理视频；
对所述视频的原始视频帧进行切分处理，得到多个子视频帧，其中，所述子视频帧用于表示所述原始视频帧的分块结果；
对所述多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，所述增强视频帧用于表示对应的所述子视频帧的质量增强结果；
对所述至少一个增强视频帧进行合并，得到目标视频帧；
将所述目标视频帧返回至所述视频平台。
15.一种视频渲染方法，其特征在于，包括：
在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理视频；
对所述视频的原始视频帧进行切分处理，得到多个子视频帧，其中，所述子视频帧用于表示所述原始视频帧的分块结果；
对所述多个子视频帧中任意一个或多个子视频帧进行视频增强处理，得到至少一个增强视频帧，其中，所述增强视频帧用于表示对应的所述子视频帧在所述VR设备或所述AR设备上展示时的质量增强结果；
对所述至少一个增强视频帧进行渲染，得到目标视频帧，其中，所述目标视频帧用于表示所述至少一个增强视频帧的合并结果；
驱动所述VR设备或所述AR设备展示所述目标视频帧。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序被处理器运行时控制所述计算机可读存储介质所在设备执行权利要求1至15中任意一项所述的方法。
17.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至15中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210456028.0A CN114567814A (zh) | 2022-04-28 | 2022-04-28 | 视频处理方法、视频渲染方法、处理器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210456028.0A CN114567814A (zh) | 2022-04-28 | 2022-04-28 | 视频处理方法、视频渲染方法、处理器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114567814A true CN114567814A (zh) | 2022-05-31 |
Family
ID=81721337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210456028.0A Pending CN114567814A (zh) | 2022-04-28 | 2022-04-28 | 视频处理方法、视频渲染方法、处理器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114567814A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102956027A (zh) * | 2011-08-30 | 2013-03-06 | 安凯(广州)微电子技术有限公司 | 基于摄像头图像处理芯片的图像增强处理系统及处理方法 |
| CN109660821A (zh) * | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN111127342A (zh) * | 2019-12-05 | 2020-05-08 | Oppo广东移动通信有限公司 | 一种图像处理方法、装置、存储介质以及终端设备 |
| CN111583138A (zh) * | 2020-04-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频增强方法及装置、电子设备、存储介质 |
| CN111935542A (zh) * | 2020-08-21 | 2020-11-13 | 广州酷狗计算机科技有限公司 | 视频处理方法、视频播放方法、装置、设备及存储介质 |
| CN113347421A (zh) * | 2021-06-02 | 2021-09-03 | 黑芝麻智能科技(上海)有限公司 | 视频编码和解码方法、装置和计算机设备 |
| CN113469897A (zh) * | 2021-05-24 | 2021-10-01 | 苏州市科远软件技术开发有限公司 | 图像增强模型的训练、图像增强方法、装置及电子设备 |
-
2022
- 2022-04-28 CN CN202210456028.0A patent/CN114567814A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102956027A (zh) * | 2011-08-30 | 2013-03-06 | 安凯(广州)微电子技术有限公司 | 基于摄像头图像处理芯片的图像增强处理系统及处理方法 |
| CN109660821A (zh) * | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN111127342A (zh) * | 2019-12-05 | 2020-05-08 | Oppo广东移动通信有限公司 | 一种图像处理方法、装置、存储介质以及终端设备 |
| CN111583138A (zh) * | 2020-04-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频增强方法及装置、电子设备、存储介质 |
| CN111935542A (zh) * | 2020-08-21 | 2020-11-13 | 广州酷狗计算机科技有限公司 | 视频处理方法、视频播放方法、装置、设备及存储介质 |
| CN113469897A (zh) * | 2021-05-24 | 2021-10-01 | 苏州市科远软件技术开发有限公司 | 图像增强模型的训练、图像增强方法、装置及电子设备 |
| CN113347421A (zh) * | 2021-06-02 | 2021-09-03 | 黑芝麻智能科技(上海)有限公司 | 视频编码和解码方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100516638B1 (ko) | 화상 통신 시스템 | |
| JP6283108B2 (ja) | 画像処理方法及び装置 | |
| CN106713988A (zh) | 一种对虚拟场景直播进行美颜处理的方法及系统 | |
| KR102200317B1 (ko) | 디지털 비디오 컨텐츠 수정 | |
| CN111402399A (zh) | 人脸驱动和直播方法、装置、电子设备及存储介质 | |
| CN105763885B (zh) | 一种三维图文信息实时发布的方法及装置 | |
| CN113516666A (zh) | 图像裁剪方法、装置、计算机设备及存储介质 | |
| US11416964B2 (en) | Method and device for adjusting resolution of HMD apparatus | |
| CN106412718A (zh) | 一种字幕在3d空间中的渲染方法及其装置 | |
| CN110012284A (zh) | 一种基于头戴设备的视频播放方法及装置 | |
| CN115063800B (zh) | 文本识别方法和电子设备 | |
| CN114567814A (zh) | 视频处理方法、视频渲染方法、处理器及存储介质 | |
| CN116485983A (zh) | 虚拟对象的纹理生成方法、电子设备以及存储介质 | |
| CN115019138A (zh) | 视频字幕擦除、模型训练、交互方法、设备及存储介质 | |
| CN114500879A (zh) | 视频数据处理方法、装置、设备及存储介质 | |
| CN116601958A (zh) | 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 | |
| CN116711301A (zh) | 虚拟视点生成、渲染、解码方法及装置、设备、存储介质 | |
| CN116886912B (zh) | 一种多路视频编码方法、装置、设备及存储介质 | |
| CN116489477B (zh) | 全息视频的生成方法、装置、设备及存储介质 | |
| CN111986301B (zh) | 直播中数据处理的方法及装置、电子设备、存储介质 | |
| CN117596373B (zh) | 基于动态数字人形象进行信息展示的方法及电子设备 | |
| CN114630097A (zh) | 图像处理方法、装置、系统及计算机可读存储介质 | |
| CN116612060A (zh) | 视频信息处理方法、装置及存储介质 | |
| CN115205962A (zh) | 行为识别方法、存储介质和电子设备 | |
| CN113920508A (zh) | 图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220531 |