CN112702625B - 视频处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种视频处理方法、装置、电子设备及存储介质，涉及互联网技术领域。该视频处理方法包括：获取服务器与客户端远程交互过程中待推送至所述客户端的视频流，所述视频流由所述服务器根据所述客户端发送的交互指令对应生成；当所述视频流中的视频图像满足预设条件时，对所述视频图像进行特效处理，得到特效处理后的目标图像；发送所述目标图像至所述客户端，所述客户端用于显示所述目标图像。本方法通过对服务器与客户端远程交互过程中的视频流进行特效处理，可以提高客户端的交互体验。

Description

视频处理方法、装置、电子设备及存储介质

技术领域

本申请涉及互联网技术领域，更具体地，涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

随着云技术的发展，越来越多的云应用出现在人们的生活中。例如，云游戏、远程协助、远程教育、远程会议等远程控制的云应用，这些提供云服务的远程控制，通常需要被控端在服务器端，主控端在客户端。以云游戏为例，在云游戏场景下，游戏是运行在服务器的虚拟机/容器里，而客户端进行操作控制，其中游戏画面会被服务器抓取下来送到编码器进行编码，然后通过网络传输到客户端，再由客户端解码渲染显示出来，从而实现云游戏的运行。然而，目前的远程控制画面效果比较简单，用户体验不佳。

发明内容

鉴于上述问题，本申请提出了一种视频处理方法、装置、电子设备及存储介质，可改善上述问题。

第一方面，本申请实施例提供了一种视频处理方法，所述方法包括：获取服务器与客户端远程交互过程中待推送至所述客户端的视频流，所述视频流由所述服务器根据所述客户端发送的交互指令对应生成；当所述视频流中的视频图像满足预设条件时，对所述视频图像进行特效处理，得到特效处理后的目标图像；发送所述目标图像至所述客户端，所述客户端用于显示所述目标图像。

第二方面，本申请实施例提供了一种视频处理装置，所述装置包括：获取模块，用于获取服务器与客户端远程交互过程中待推送至所述客户端的视频流，所述视频流由所述服务器根据所述客户端发送的交互指令对应生成；处理模块，用于当所述视频流中的视频图像满足预设条件时，对所述视频图像进行特效处理，得到特效处理后的目标图像；传输模块，用于发送所述目标图像至所述客户端，所述客户端用于显示所述目标图像。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述第一方面提供的视频处理方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的视频处理方法。

本申请提供的方案，通过获取服务器与客户端远程交互过程中待推送至客户端的视频流，以在该视频流中的视频图像满足预设条件时，对该视频图像进行特效处理，其中，该视频流由服务器根据客户端发送的交互指令对应生成，然后将得到的特效处理后的目标图像发送至客户端，使得客户端可以显示该目标图像。本申请可对远程交互过程中的视频图像进行特性处理，从而客户端在显示视频图像时，可以给用户带来足够的视觉冲击力，提升了用户的视觉体验。且并不需要客户端来实现对视频图像的特效处理，客户端仅需显示即可，减少了客户端系统资源的占用，避免了客户端卡顿、存储空间不足等现象的出现。同时也使得不具备特效处理能力的客户端也能体验具备视觉冲击力的特效画面，增大了适用范围。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请提供的视频处理方法的系统架构图。

图2示出了根据本申请一个实施例的视频处理方法的一种流程图。

图3示出了本申请提供的视频处理方法的一种效果示意图。

图4示出了根据本申请另一个实施例的视频处理方法的一种流程图。

图5示出了图4的视频处理方法中步骤S220的一种流程图。

图6示出了图4的视频处理方法中步骤S230的一种流程图。

图7示出了图6的视频处理方法中步骤S231的一种流程图。

图8示出了本申请实施例提供的一种远程交互系统的结构框图。

图9示出了图6的视频处理方法中步骤S232的一种流程图。

图10示出了本申请实施例提供的一种远程交互系统的整体流程图

图11示出了根据本申请一个实施例的视频处理装置的一种框图。

图12是本申请实施例的用于执行根据本申请实施例的视频处理方法的电子设备的框图。

图13是本申请实施例的用于保存或者携带实现根据本申请实施例的视频处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

请参阅图1，图1示出了本申请示例性的一种系统架构的示意图。如图1所示，该系统架构10可以包括：服务器100和终端设备200。其中，终端设备200与服务器100通过网络建立通信连接。终端设备200可以与服务器100进行数据交互，以从服务器100获取视频流、音频流等多媒体数据。

在一些实施例中，服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，在此不做限定。终端设备200可以包括但不限于智能手机、平板电脑、可穿戴设备等用户终端，在此不做限定。

本申请所提供的视频处理方法可以由服务器100执行，应用场景可以包括但不限于：云游戏或者类似云游戏这种共享服务的场景，或者任何提供云服务、客户端远程控制服务端的场景，例如，远程协助、远程教育、远程会议等远程会话场景。

其中，云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，游戏运行并非在用户玩游戏所使用的终端设备，而是在服务器中，具体由服务器将游戏场景渲染为视频音频流，通过网络传输给终端设备。因此，终端设备无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取用户输入指令并发送给服务器的能力即可，使得图形处理与数据运算能力相对有限的轻端设备，也能运行高品质游戏。

当应用场景为上述云游戏场景时，系统架构10中的工作流程可以为：用户在终端设备200中输入控制操作，终端设备200根据用户输入的控制操作生成操作指令并将操作指令发送至服务器100，服务器100对接收到的操作指令进行解析，得到操作指令对应的游戏数据，进一步的，服务器100根据游戏数据进行画面渲染，生成相应的视频流数据，并将视频流数据编码后发送至终端设备200，终端设备200对收到的视频流数据进行解码，得到游戏画面。

请参阅图2，图2示出了本申请一个实施例提供的视频处理方法的流程示意图。该视频处理方法可应用于电子设备，该电子设备可以是上述服务器，其可以是与客户端实时远程交互的云服务器，也可以是第三方服务器，此处不作限定。在具体的实施例中，该视频处理方法可应用于如图10所示的视频处理装置700以及配置有所述视频处理装置700的电子设备(图11)。下面将针对图2所示的流程进行详细的阐述，所示视频处理方法具体可以包括以下步骤：

步骤S110：获取服务器与客户端远程交互过程中待推送至所述客户端的视频流，所述视频流由所述服务器根据所述客户端发送的交互指令对应生成。

在本申请实施例中，服务器与客户端的远程交互过程，可以是上述云游戏或者类似云游戏这种共享服务的场景中服务器与客户端的远程交互过程，也可以是上述任何提供云服务、客户端远程控制服务端的远程会话场景中服务器与客户端的远程交互过程，此处不作限定。其中，客户端可以理解为用户操作使用的终端设备，其可以是上述智能手机、平板电脑、可穿戴设备等终端设备，此处不作限定。

服务器与客户端的远程交互过程中，客户端可以根据用户输入的交互信息，生成交互指令并将交互指令发送至服务器，服务器对接收到的交互指令进行解析，可以得到该交互指令对应的视频流，然后服务器可以将视频流编码后，通过推流协议推送到客户端进行解码显示。其中，交互信息可以是手指触摸事件(如触摸位置、触摸时长、触摸力度等)、鼠标点击事件、键盘操作事件等控制事件。

然而远程交互过程中可能存在一些视频内容是用户比较关注内容，例如游戏过程中的精彩高能瞬间、精彩高能片段、远程教育中的重点讲解片段等，但由于远程交互过程中的视频内容比较多，带给用户的视觉观感可能并不明显，使得远程交互过程中的视频显示效果不佳。因此，在本申请实施例中，电子设备可以对远程交互过程中的精彩画面进行识别，并在识别出是精彩画面时，对其执行特效处理，以增强精彩画面的视觉冲击力，提高客户端对精彩画面的视频显示效果，提升用户体验。

具体地，电子设备可以获取服务器与客户端远程交互过程中待推送至客户端的视频流，以对该视频流进行特效处理，提高视频在客户端的显示效果。其中，该视频流可以是由一帧帧连续的视频图像的数据流构成，其可以是服务器根据客户端发送的交互指令对应生成，以用于在客户端上播放显示。其中，视频图像可以是云游戏场景下的游戏图像，也可以是远程会话场景下的会话场景图像，此处不作限定。

步骤S120：当所述视频流中的视频图像满足预设条件时，对所述视频图像进行特效处理，得到特效处理后的目标图像。

在本申请实施例中，电子设备在获取到视频流时，可以截取该视频流中的一帧视频图像数据，以对该帧视频图像识别检测，检测该视频图像是否满足预设条件。其中，预设条件可以是用于表征视频内容为重点关注内容时所设置的图像条件。当视频流中的视频图像满足该预设条件时，可认为该视频图像很可能是用户需要重点关注的图像，此时，可以对该视频图像进行特效处理，以增强该视频图像的视觉冲击力，提高了重点关注内容的显示效果，提升了用户观感。反之，当视频流中的视频图像不满足该预设条件时，可认为该视频图像很可能不是用户重点关注的图像，此时，可以不用对该视频图像进行特效处理，减少了操作步骤的同时，也降低了电子设备的资源占用。

在一些实施例中，上述视频图像满足预设条件，可以是检测到视频图像是否为重点关注图像，其中，该重点关注图像可以是精彩瞬间图像、焦点图像等用户比较感兴趣的图像。

作为一种方式，可以是预先存储有精彩内容特征、焦点特征等用户比较感兴趣的预设图像特征，从而在获取到视频流时，可以提取其中视频图像的图像特征，以确定该图像特征是否与预设图像特征匹配，当匹配时，可认为该视频图像满足预设条件。例如，可以预先存储有足球射门时的预设图像特征，当视频流中视频图像的图像特征与该预设图像特征匹配时，可认为当前视频内容处于足球射门的高能时刻，此时该视频图像满足预设条件，可对该视频图像进行特效处理，以增强足球射门的视觉冲击力，提升了用户体验。

作为另一方式，也可以通过机器学习模型、神经网络模型等方式预先训练学习重点关注图像，从而在获取到视频流时，可以利用训练好的机器学习模型、神经网络模型对视频流中的视频图像进行识别检测，从而可以确定视频图像是否满足预设条件。

可以理解是，上述判断视频图像满足预设条件仅为举例，具体的判断方式在本申请中并不作限定。

在一些实施例中，当视频流中的视频图像满足预设条件时，电子设备可以对该视频图像进行特效处理，以得到特效处理后的目标图像。其中，特效处理，指对图像进行编辑，以突出图像中的一些图像效果的处理方式，通过特效处理后，所获得的特效画面更具备视觉冲击力。

在一些实施例中，上述特效处理可以是直接对视频图像本身进行编辑，也可以是在视频图像上叠加特效内容，其对视频图像的全部区域都进行，也可以是只针对其中的部分区域进行，还可以是只针对视频图像中的某个内容对象进行，具体处理方式在此不作限定。

在一些实施例中，电子设备采用多种特效类型对视频图像进行特效处理，其中，特效类型可以包括但不限定于画面扭曲、镜像、虚焦、局部图片/动画嵌入、色彩渲染等。作为一种方式，可以是根据视频图像的内容，确定具体所采用的特效类型，从而实现对每种视频图像都做出较为准确合理的特效处理。

步骤S130：发送所述目标图像至所述客户端，所述客户端用于显示所述目标图像。

在本申请实施例中，电子设备在得到特效处理后的目标图像时，可以将该目标图像发送至客户端，以使客户端可以显示该特效处理后目标图像，提高用户的视觉观感。

在一些实施例中，上述预设条件判断、特效处理以及目标图像的发送，都可以是在服务器与客户端的远程交互过程中实时进行的。也就是说，通常地，服务器在获取到待推送至客户端的视频流后，会将该视频流编码后，通过推流协议推送到客户端进行解码显示，而在本申请实施例中，视频流在推送至客户端之前，服务器可以对该视频流进行预设条件判断，以确定是否对视频图像进行特效处理。具体地，当视频流中的视频图像满足预设条件时，服务器可以对该视频图像进行特效处理，然后可以将特效处理后的目标图像替换原视频图像，以生成新的视频流并通过推流协议推送到客户端进行解码显示。从而用户在客户端做出精彩操作时，服务器能实时对精彩画面进行特效处理，使得客户端能够实时展示出特效处理后的精彩视频画面或重点视频画面，大大提高了客户端的交互体验。

例如，请参阅图3，当服务器检测到视频流中的指定数量帧的视频图像(VideoPacket)都满足预设条件时，可以对该指定数量帧的视频图像进行特效处理，得到特效处理后的指定数量帧的目标图像(Effcet Video Packet)，服务器可在视频流中将指定数量帧的目标图像替换至该指定数量帧的视频图像位置处，重新生成新的视频流，如图3所示，精彩瞬间起点至精彩瞬间终点之间为替换的指定数量帧的目标图像。从而服务器将新的视频流编码后，通过推流协议推送到客户端时，客户端可以解码出的也是替换了指定数量帧的目标图像的新的视频流。

在另一些实施例中，上述预设条件判断、特效处理可以是在服务器与客户端的远程交互过程中实时进行的，而上述目标图像的发送可以是在服务器与客户端的远程交互结束后进行。也就是说，当视频流中的视频图像满足预设条件时，服务器可以对该视频图像进行特效处理，然后可以暂存特效处理后的目标图像。同时服务器仍然按照原始流程将原视频图像，通过推流协议推送到客户端进行解码显示。当服务器与客户端的远程交互结束后，服务器可以将所有特效处理后的目标图像都发送至客户端，从而用户得到该场远程交互过程中的精彩高能片段或者重点片段，以用于后续分享上传，大大提高了客户端的交互体验。

在又一些实施例中，也可以仅上述预设条件判断是在服务器与客户端的远程交互过程中实时进行的，而上述特效处理以及目标图像的发送可以是在服务器与客户端的远程交互结束后进行，从而在服务器资源占用高峰期时，可以减少不必要的系统操作，既保证了客户端的实时交互体验，也自动生成了交互过程中的精彩高能片段或者重点片段。

可以理解是，上述特效处理、目标图像的发送的执行时间仅为举例，具体的执行时机在本申请中并不作限定。例如，也可以是实时检测服务器当前的系统资源状态，当系统资源状态呈高负荷状态(如资源占用率大于80％)时，上述特效处理以及目标图像的发送可以是在服务器与客户端的远程交互结束后进行。当系统资源状态呈低负荷状态(如资源占用率小于50％)时，上述特效处理以及目标图像的发送可以是在服务器与客户端的远程交互过程中实时进行。

可以理解是，因视频特效的数据处理量比较大，放在服务器上进行，可以充分利用服务器强大的运算能力，降低视频处理的延时，提高用户体验。而终端设备无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取用户输入指令并发送给服务器的能力即可，使得图形处理与数据运算能力相对有限的轻端设备，以及不具备视频分析及特效处理的低端设备，也能够体验高品质的视频画面特效。

本申请实施例提供的视频处理方法，通过获取服务器与客户端远程交互过程中待推送至客户端的视频流，以在该视频流中的视频图像满足预设条件时，对该视频图像进行特效处理，其中，该视频流由服务器根据客户端发送的交互指令对应生成，然后将得到的特效处理后的目标图像发送至客户端，使得客户端可以显示该目标图像。本申请可对远程交互过程中的视频图像进行特性处理，从而客户端在显示视频图像时，可以给用户带来足够的视觉冲击力，提升了用户的视觉体验。且并不需要客户端来实现对视频图像的特效处理，客户端仅需显示即可，减少了客户端系统资源的占用，避免了客户端卡顿、存储空间不足等现象的出现。同时也使得不具备特效处理能力的客户端也能体验具备视觉冲击力的特效画面，增大了适用范围。

请参阅图4，图4示出了本申请另一个实施例提供的视频处理方法的流程示意图。下面将针对图4所示的流程进行详细的阐述，所示视频处理方法具体可以包括以下步骤：

步骤S210：获取服务器与客户端远程交互过程中待推送至所述客户端的视频流，所述视频流由所述服务器根据所述客户端发送的交互指令对应生成。

在本申请实施例中，步骤S210可以参阅前述实施例的内容，此处不再赘述。

步骤S220：当所述视频流中的视频图像满足预设条件时，确定与所述视频图像对应的特效类型。

在一些实施例中，应用场景为云游戏场景时，电子设备获取的视频流可以是云游戏的视频流，该视频流中的视频图像可以为云游戏的游戏画面。上述视频图像满足预设条件可以是，视频流中的游戏图像中包含指定场景或指定角色。其中，指定场景可以是云游戏中场景地图中的某个区域的画面，如增益BOSS角色所在的区域画面，足球射门的画面等，也可以是用户触发的场景画面，如成功通关、成功击杀、成功击中等提示画面，此处不作限定。指定角色可以是敌方角色、BOSS角色等，此处不作限定。当视频流中的游戏图像中包含指定场景或指定角色时，可认为该视频图像很可能是用户感兴趣的精彩高能画面，此时，可以对该视频图像进行特效处理，以增强该视频图像的视觉冲击力，提高了精彩高能画面的显示效果，提升了用户观感。

在一些实施例中，当视频流中的视频图像满足预设条件时，电子设备可以确定与视频图像对应的特效类型。作为一种方式，可以预先存储内容特征与特效类型的对应关系，如进球特征对应于进球特效，击杀特征对应于击杀特效等，电子设备可以根据当前视频图像中的内容特征以及该对应关系，确定当前视频图像对应的特效类型。作为另一种方式，也可以通过机器学习模型、神经网络模型等方式预先训练学习各种精彩高能重要片段的特效对应关系，从而在获取到视频流时，可以利用训练好的机器学习模型、神经网络模型对视频流中的视频图像进行特效分析，从而可以确定与该视频图像对应的特效类型。

作为又一种方式，也可以是根据视频图像的像素情况，来确定视频图像对应的特效类型。具体地，请参阅图5，步骤S220可以包括：

步骤S221：当所述视频流中的视频图像满足预设条件时，确定所述视频图像的像素分布。

步骤S222：根据所述像素分布，确定与所述视频图像对应的特效类型。

在一些实施例中，每个视频图像帧可以以点阵图(或者位图图像)形式存储。其中，点阵图是由多个像素点组成的，由此，每个像素点可以进行不同的排列和染色以形成不同点阵图。当视频流中的视频图像满足预设条件时，电子设备可以获取视频图像中各像素点的像素信息，以根据该像素信息确定视频图像的像素分布。

作为一种方式，可以根据各像素点的像素信息，确定视频图像中像素突变点，以根据像素突变点确定出视频图像中的内容特征分布。其中，相邻像素点中像素值突出的像素点设定为像素突变点。例如，视频图像为踢足球图像时，足球是白黑色，而足球场为绿色，在足球边缘为存在像素突变点，可根据像素突变点确定出足球的轮廓，从而能够识别出视频图像中存在足球。

电子设备在得到视频图像的像素分布后，可以根据该像素分布特征，确定与所述视频图像对应的特效类型。例如，上述识别到足球，确定特效类型为进球特效。

步骤S230：基于所述特效类型对所述视频图像进行特效处理，得到特效处理后的目标图像。

在一些实施例中，电子设备在确定出特效类型后，可以按照该特效类型对所述视频图像进行特效处理。作为一种方式，可以是先确定出所述视频图像中进行特效处理的像素坐标，以根据该像素坐标对该视频图像进行编辑或者叠加相应的特效至该像素坐标。

在一些实施例中，由于不同特效类型的特效，特效范围也可能不同。因此，也可以根据特效类型，确定特效在视频图像中所覆盖的范围。具体地，请参阅图6，步骤S230可以包括：

步骤S231：根据所述特效类型，确定所述视频图像中进行特效处理的像素坐标。

电子设备在确定出视频图像所采用的特效类型时，可以根据该特效类型，确定视频图像中进行特效处理的像素坐标，该像素坐标可以用来表征视频图像中被特效覆盖的区域。从而电子设备可以根据该像素坐标，对视频图像进行特效处理。

在一些实施例中，当对视频进行特效处理以及输出特性处理后的目标图像，是在服务器与客户端的远程交互过程中实时进行时，由于在服务器与客户端的远程交互过程中用户也需要操作客户端，所以特效处理的区域需要确保不影响用户的操作使用。因此，作为一种方式，电子设备可以根据用户操作区域，来进一步确定视频图像中进行特效处理的像素坐标。具体地，请参阅图7，步骤S231可以包括：

步骤S2311：确定与所述特效类型对应的特效坐标。

在一些实施例中，各种特效可以预先存储有对应的特效参数。其中，特效参数可以包括特效范围参数、特效效果参数、特效时长参数等，此处不作限定。其中，特效范围参数可以用于限定特效的边界，特效时长参数可以用于限定特效在视频图像中的显示时长。电子设备可以根据该特性参数，确定与当前视频图像对应的特效类型所对应的特效坐标，其中，该特性坐标可以是根据特效范围参数确定。

步骤S2312：获取所述视频图像的预设区域中与所述特效坐标对应的像素坐标，作为所述视频图像中进行特效处理的像素坐标。

在一些实施例中，由于视频图像用于在客户端侧进行显示，因此，可以根据用户在客户端的操作区域，确定视频图像中与该操作区域对应的目标区域。可以理解的是，如果特效显示在视频图像中的该目标区域，可认为该特效已覆盖了用户的操作区域，很可能影响了用户的操作使用。因此，可以将视频图像中除该目标区域以外的其他区域，作为可显示特效的预设区域。

在一些实施例中，电子设备可以获取视频图像的预设区域中与特效类型的特效坐标所对应的像素坐标，作为视频图像中进行特效处理的像素坐标，从而可以确定视频图像中有哪些像素坐标可以进行特效处理。

可以理解的是，若预设区域中存在一个像素坐标与特效坐标对应，则可认为该像素坐标可进行特效处理，若预设区域中任意一个像素坐标都不与特效坐标对应，则可认为该特效类型对应的所有特效坐标，都在上述影响用户操作的目标区域内，此时为了不影响用户的使用操作，可以不采用该特效类型，重新确定一个特效类型进行特效处理，也可以不对该视频图像进行特效处理。

在另一些实施例中，电子设备也可以获取存在于视频图像的目标区域中的特效类型的特效坐标，以将这些特效坐标过滤掉，剩下的特效坐标所对应的像素坐标，可作为视频图像中进行特效处理的像素坐标。

在一些实施例中，也可以是按照特效类型对应的特效坐标，对视频图像进行特效处理后，再对处于目标区域内的特效进行弱化处理。该弱化处理可以是透明化，裁剪等能弱化掉特效效果的处理方式，此处不作限定，仅需不影响用户的使用操作即可。

步骤S232：基于所述特效类型以及所述像素坐标，对所述视频图像进行特效处理。

电子设备在获取到特效类型和进行特效处理的像素坐标后，可以根据该特性类型，在该像素坐标处对视频图像进行特效处理。然后将特效处理后的目标图像进行编码，并将编码完的视频图像通过推流协议推送到客户端进行解码播放。

示例性地，请参阅图8，图8示出了本申请实施例提供的一种远程交互系统的结构框图。该远程交互系统由6个模块组成，分别是精彩瞬间检测模块、视频特效分析模块、视频特效生成模块、视频编码模块、视频解码模块、视频播放模块。

其中，当应用于云游戏场景时，精彩瞬间检测模块可以是负责在云游戏服务器Cg_Server与游戏服务器进行通信，并根据游戏服务器返回的数据分析当前视频图像帧是否属于精彩瞬间片段，如果属于精彩瞬间片段，就将当前视频图像帧推送到视频特效分析模块进行分析，以输出特效类型及视频图像中进行特效处理的像素坐标。

视频特效分析模块可以负责分析视频图像数据，在不影响用户进行游戏操作的基础上，返回视频图像中可以进行特效处理的预设区域，并根据视频图像的各像素分布返回适合该视频图像帧的特效类型。

视频特效生成模块可以根据视频特效分析模块返回的特效类型及视频图像中进行特效处理的像素坐标，对视频图像数据进行特效处理，并将处理后的视频图像数据交给视频编码模块进行编码。最后将编码完的视频帧通过云游戏推流协议推送到云游戏客户端Cg_Client，云游戏客户端通过视频解码模块将编码后的视频图像数据进行解码，然后通过视频播放模块进行播放。

可以理解的是，由于上述视频精彩瞬间检测、视频特效分析及特效生成全部在云游戏服务器端完成，因此对云游戏客户端并无任何影响。在实际应用中，仅需云游戏服务端升级就可以让云游戏客户端体验精彩瞬间特效。而且精彩瞬间检测模块，放在云游戏服务器端，也是利用云游戏服务器端可以直接与游戏服务器端进行通信且具备强大的运算能力，能够快速的从游戏服务器端获取相关参数并快速分析当前视频帧是否属于精彩瞬间。至于视频特效分析模块，因视频特效的数据处理量比较大，放在服务端，可以充分利用云游戏服务器强大的运算能力，降低延时，提高用户体验。而视频特效生成模块主要需要运用GPU的图像处理能力进行视频的特效处理，放在服务端，也可以降低视频处理的延时，增强用户体验。

在一些实施例中，本申请提供的视频处理方式，也可以是由用户操作客户端进行启用，然后触发云服务器升级以执行本方案。

在一些实施例中，当精彩高能重要的内容比较长时，或者特效类型所对应的特效时长比较长时，电子设备也可以连续对多帧视频图像进行特效处理。具体地，请参阅图9，步骤S232可以包括：

步骤S2321：确定与所述特效类型对应的特效时长。

作为一种方式，特性时长与特性类型可以为一一对应的关系，电子设备可以通过获取与特性类型对应的特性参数，来确定对应的特效时长。例如，足球特效可以为15秒，画面的迷雾特效可以为30秒等。

作为另一种方式，特性时长与视频图像的内容特征也可以为一一对应的关系，电子设备也可以是根据当前视频图像的内容内容，来确定对应的特效时长。例如，足球射门图像对应的特性时长可以1分钟，游戏击杀玩家可以是10秒等。

可以理解的是，上述特效时长的确定仅为举例，在本申请中并不作限定，仅需获知特效在视频中的持续时长即可。

步骤S2322：以所述视频图像为起始帧，从所述视频流中获取与所述特效时长对应的多帧视频图像。

在一些实施例中，电子设备在获取特效时长后，可以以当前视频图像为起始帧，持续从视频流中获取与该特效时长对应的的多帧视频图像。也就是说，获取到的多帧视频图像所对应的视频时长与该特效时长相同。

作为一种方式，电子设备可以是以当前视频图像为起始帧，获取在当前视频图像之后生成的多帧视频图像。作为另一种方式，电子设备也可以是以当前视频图像为起始帧，获取在当前视频图像之前生成的m帧视频图像，以及在当前视频图像之后生成的n帧视频图像，作为上述与特效时长对应的多帧视频图像。其中，m帧视频图像+当前视频图像+n帧视频图像的视频时长与特性时长相同。

步骤S2323：根据所述特效类型，对所述多帧视频图像进行特效处理。

电子设备在获取到与特效时长对应的多帧视频图像，可以根据特效类型，对该多帧视频图像进行特效处理，从而可以得到该特效时长的目标图像。然后电子设备将特效处理后该特效时长的目标图像进行编码，并将编码完的视频图像通过推流协议推送到客户端进行解码播放。从而用户可在客户端观看到精彩片段特效，提升了用户的视觉体验

步骤S240：发送所述目标图像至所述客户端，所述客户端用于显示所述目标图像。

在本申请实施例中，步骤S240可以参阅前述实施例的内容，此处不再赘述。

示例性地，请参阅10，图10示出了本申请实施例提供的一种远程交互系统的整体流程图。以云游戏场景为例，服务器中视频采集模块主要用于生成服务器运行云游戏过程中的每一帧视频图像，服务器可以截取的每一帧视频数据发送至精彩瞬间检测模块以进行精彩瞬间的判断。精彩瞬间检测模块可以分析截取的每一帧视频数据，并在检测到是精彩瞬间的视频图像时，会先调用视频特效分析模块，对视频图像源数据进行分析，以输出对游戏操作没有影响的特效类型及特效位置，然后调用视频特效生成模块对该视频图像进行特效处理，特效处理过后的帧数据会发送给视频编码模块进行编码，然后通过云游戏的推流模块，将编码好的进行特效处理过的视频帧发送到游戏客户端进行解码播放。当检测到不是精彩瞬间的视频图像时，按照原始流程将原视频图像发送给视频编码模块进行编码，然后通过云游戏的推流模块，将编码好的原视频帧发送到游戏客户端进行解码播放。

本申请实施例提供的视频处理方法，通过获取服务器与客户端远程交互过程中待推送至客户端的视频流，以在该视频流中的视频图像满足预设条件时，确定与该视频图像对应的特效类型，并基于该特效类型对视频图像进行特效处理，其中，该视频流由服务器根据客户端发送的交互指令对应生成，然后将得到的特效处理后的目标图像发送至客户端，使得客户端可以显示该目标图像。这样，客户端无需实现对视频图像的特效处理，仅需显示即可，提高了客户端的视觉体验，同时也减少了客户端系统资源的占用，避免了卡顿、存储空间不足等现象的出现。此外，通过本方案，不具备特效处理能力的客户端也能体验具备视觉冲击力的特效画面，适用范围比较广。

请参阅图11，其示出了本申请实施例提供的一种视频处理装置700的结构框图，该视频处理装置700包括：获取模块710、处理模块720以及传输模块730。其中，获取模块710用于获取服务器与客户端远程交互过程中待推送至所述客户端的视频流，所述视频流由所述服务器根据所述客户端发送的交互指令对应生成；处理模块720用于当所述视频流中的视频图像满足预设条件时，对所述视频图像进行特效处理，得到特效处理后的目标图像；传输模块730用于发送所述目标图像至所述客户端，所述客户端用于显示所述目标图像。

在一些实施例中，处理模块720可以包括：类型确定单元以及特效处理单元。其中，类型确定单元用于当所述视频流中的视频图像满足预设条件时，确定与所述视频图像对应的特效类型；特效处理单元用于基于所述特效类型对所述视频图像进行特效处理。

在一些实施例中，上述类型确定单元可以具体用于：当所述视频流中的视频图像满足预设条件时，确定所述视频图像的像素分布；根据所述像素分布，确定与所述视频图像对应的特效类型。

在一些实施例中，上述特效处理单元可以包括：坐标确定子单元以及特效执行子单元。其中，坐标确定子单元用于根据所述特效类型，确定所述视频图像中进行特效处理的像素坐标；特效执行子单元用于基于所述特效类型以及所述像素坐标，对所述视频图像进行特效处理。

在一些实施例中，上述坐标确定子单元可以具体用于：确定与所述特效类型对应的特效坐标；获取所述视频图像的预设区域中与所述特效坐标对应的像素坐标，作为所述视频图像中进行特效处理的像素坐标。

在一些实施例中，上述特效处理单元也可以具体用于：确定与所述特效类型对应的特效时长；以所述视频图像为起始帧，从所述视频流中获取与所述特效时长对应的多帧视频图像；根据所述特效类型，对所述多帧视频图像进行特效处理。

在一些实施例中，上述处理模块720可以具体用于：当所述视频流中的游戏图像中包含指定场景或指定角色时，对所述游戏图像进行特效处理。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请实施例提供的视频处理装置用于实现前述方法实施例中相应的视频处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。

请参考图12，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是服务器。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中，一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

可以理解，图12所示结构仅为示例，电子设备100还可以包括比图12所示更多或更少的组件，或是具有与图12所示完全不同的配置。本申请实施例对此没有限制。

请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：

获取服务器与客户端远程交互过程中待推送至所述客户端的视频流，所述视频流由所述服务器根据所述客户端发送的交互指令对应生成；

当所述视频流中的视频图像满足预设条件时，获取所述服务器的系统资源状态；

若所述服务器的系统资源状态为高负荷状态，将所述视频流编码后，通过推流协议推送到所述客户端进行解码显示，且当所述服务器与所述客户端的远程交互结束后，对所述视频图像进行特效处理，得到特效处理后的目标图像，所述服务器将所有特效处理后的目标图像都发送至所述客户端，所述客户端用于显示所述目标图像；

若所述服务器的系统资源状态为低负荷状态，对所述视频图像进行特效处理，得到特效处理后的目标图像，将特效处理后的目标图像替换原视频图像，以生成新的视频流并通过推流协议推送到客户端进行解码显示。

2.根据权利要求1所述的方法，其特征在于，所述对所述视频图像进行特效处理，包括：

确定与所述视频图像对应的特效类型；

基于所述特效类型对所述视频图像进行特效处理。

3.根据权利要求2所述的方法，其特征在于，所述当所述视频流中的视频图像满足预设条件时，确定与所述视频图像对应的特效类型，包括：

当所述视频流中的视频图像满足预设条件时，确定所述视频图像的像素分布；

根据所述像素分布，确定与所述视频图像对应的特效类型。

4.根据权利要求2所述的方法，其特征在于，所述基于所述特效类型对所述视频图像进行特效处理，包括：

根据所述特效类型，确定所述视频图像中进行特效处理的像素坐标；

基于所述特效类型以及所述像素坐标，对所述视频图像进行特效处理。

5.根据权利要求4所述的方法，其特征在于，所述根据所述特效类型，确定所述视频图像中进行特效处理的像素坐标，包括：

确定与所述特效类型对应的特效坐标；

获取所述视频图像的预设区域中与所述特效坐标对应的像素坐标，作为所述视频图像中进行特效处理的像素坐标。

6.根据权利要求2所述的方法，其特征在于，所述基于所述特效类型对所述视频图像进行特效处理，包括：

确定与所述特效类型对应的特效时长；

以所述视频图像为起始帧，从所述视频流中获取与所述特效时长对应的多帧视频图像；

根据所述特效类型，对所述多帧视频图像进行特效处理。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述视频流为云游戏的视频流，所述视频流中的视频图像满足预设条件，包括：

所述视频流中的游戏图像中包含指定场景或指定角色。

8.一种视频处理装置，其特征在于，所述装置包括：

获取模块，用于获取服务器与客户端远程交互过程中待推送至所述客户端的视频流，所述视频流由所述服务器根据所述客户端发送的交互指令对应生成；

处理模块，用于当所述视频流中的视频图像满足预设条件时，获取所述服务器的系统资源状态；

传输模块，用于若所述服务器的系统资源状态为高负荷状态，将所述视频流编码后，通过推流协议推送到所述客户端进行解码显示，且当所述服务器与所述客户端的远程交互结束后，对所述视频图像进行特效处理，得到特效处理后的目标图像，所述服务器将所有特效处理后的目标图像都发送至所述客户端，所述客户端用于显示所述目标图像；若所述服务器的系统资源状态为低负荷状态，对所述视频图像进行特效处理，得到特效处理后的目标图像，将特效处理后的目标图像替换原视频图像，以生成新的视频流并通过推流协议推送到客户端进行解码显示。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-7任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。