CN113747203B - 一种视频信息传输方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种视频信息传输方法、装置、电子设备及存储介质，方法包括：对网络传输层中的不同视频信息传输通道进行监测，确定不同视频信息传输通道的状态；当网络传输层中的帧往返时延参数增加，并且超过帧往返时延参数阈值时，触发对视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道；在不同视频信息传输通道中选择目标视频信息传输通道；通过目标视频信息传输通道，对视频信息进行传输，由此，选择最适合的目标视频信息传输通道对视频信息进行传输，以实现视频信息在网络传输层中的完整传输，可以减少由于网络环境的变化和终端解码能力的不足所造成的视频播放卡顿，提升用户的使用体验。

Description

一种视频信息传输方法、装置、电子设备及存储介质

技术领域

本发明涉及视频信息传输技术，尤其涉及一种视频信息传输方法、装置、电子设备及存储介质。

背景技术

随着相关技术中云游戏的发展，部署在云服务器中云游戏数量越来越多，但是云游戏的视频转发服务器，大多基于单个通道进行视频信息的处理。当网络出现抖动时，只能通过丢弃数据，降低码率来，来恢复网络卡顿，这样导致一些网络不稳定或解码算力有限的用户在运行云游戏时无法根据网络的变化及时地调整视频信息的传输，响应用户使用的流畅性。

发明内容

有鉴于此，本发明实施例提供一种视频信息传输方法、装置、电子设备及存储介质，能够利用对网络传输层中的不同视频信息传输通道进行监测，确定不同视频信息传输通道的状态，选择最适合的目标视频信息传输通道对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输，由此，可以减少由于网络环境的变化和终端解码能力的不足所造成的视频播放卡顿，提升用户的使用体验。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种视频信息传输方法，包括：

监测视频播放终端的网络传输层的变化；

基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同视频信息传输通道进行监测，确定所述不同视频信息传输通道的状态；

当所述网络传输层中的帧往返时延参数增加，并且超过帧往返时延参数阈值时，触发对所述视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道；

响应于视频信息传输通道的切换指令，在所述不同视频信息传输通道中选择目标视频信息传输通道；

通过所述目标视频信息传输通道，对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输。

本发明实施例还提供了一种视频信息传输装置，包括：

信息传输模块，用于监测视频播放终端的网络传输层的变化；

信息处理模块，用于基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同视频信息传输通道进行监测，确定所述不同视频信息传输通道的状态；

所述信息处理模块，用于当所述网络传输层中的帧往返时延参数增加，并且超过帧往返时延参数阈值时，触发对所述视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道；

所述信息处理模块，用于响应于视频信息传输通道的切换指令，在所述不同视频信息传输通道中选择目标视频信息传输通道；

所述信息处理模块，用于通过所述目标视频信息传输通道，对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输。

上述方案中，

所述信息处理模块，用于当所述视频信息传输通道为第一视频信息传输通道时，通过所述第一视频信息传输通道传输的视频信息，获取网络传输层的帧往返时延参数、网络时延参数、丢包率参数；

所述信息处理模块，用于根据所述帧往返时延参数、所述网络时延参数和所述丢包率参数，确定第一视频信息传输通道的状态。

上述方案中，

所述信息处理模块，用于当所述视频信息传输通道为第二视频信息传输通道时，为所述第二视频信息传输通道配置保活报文；

所述信息处理模块，用于通过所述保活报文，在所述第二视频信息传输通道采集网络传输层的帧往返时延参数、网络时延参数、丢包率参数；

所述信息处理模块，用于根据所述帧往返时延参数、所述网络时延参数和所述丢包率参数，确定第二视频信息传输通道的状态。

上述方案中，

所述信息处理模块，用于当所述不同视频信息传输通道中第一视频信息传输通道处于不可用状态时，根据第二视频信息传输通道的帧往返时延参数、所述网络时延参数和所述丢包率参数，确定所述第二视频信息传输通道的状态；

所述信息处理模块，用于根据所述第二视频信息传输通道的状态，确定所述第二视频信息传输通道为目标视频信息传输通道。

上述方案中，

所述信息处理模块，用于当所述不同视频信息传输通道中第一视频信息传输通道处于可用状态，并且可以获取第二视频信息传输通道在低码率场景中的状态时，

为所述第一视频信息传输通道和所述第二视频信息传输通道配置相同的测试视频帧集合；

所述信息处理模块，用于通过所述测试视频帧集合，对所述第一视频信息传输通道和所述第二视频信息传输通道分别进行测试，得到视频信息传输通道的测试结果；

所述信息处理模块，用于根据所述视频信息传输通道的测试结果，确定目标视频信息传输通道。

上述方案中，

所述信息处理模块，用于当确定第二视频信息传输通道为目标视频信息传输通道时，

在所述第二视频信息传输通道中，重新传输经过缓存的视频帧；

所述信息处理模块，用于在所述视频播放终端中接收经过重新传输的视频帧，并且对所接收的视频帧进行乱序重组处理，以实现删除重新传输的视频帧中重复的视频帧。

上述方案中，

所述信息处理模块，用于当所述目标视频为云游戏视频时，确定目标用户的标识信息；

所述信息处理模块，用于基于云服务器网络，确定与所述标识信息相匹配的数据源集群；

所述信息处理模块，用于根据所述数据源集群，向云游戏服务器中存储与所述目标用户相匹配的用户的云游戏历史信息；

所述信息处理模块，用于基于所述云游戏历史信息，在不同的视频信息传输通道中选择目标视频信息传输通道。

上述方案中，

所述信息处理模块，用于当在所述不同视频信息传输通道中选择目标视频信息传输通道时，对待传输的视频信息进行解析，获取所述待传输的视频信息的优先级标识；

所述信息处理模块，用于根据所述待传输的视频信息的优先级标识，对所接收的待传输的视频信息的优先级进行排序；

所述信息处理模块，用于根据所述待传输的视频信息的优先级，创建相应的待传输的视频信息队列；

所述信息处理模块，用于根据所述待传输的视频信息的优先级排序，对目标视频信息传输通道的网络资源配置进行调整。

上述方案中，

所述信息处理模块，用于遍历待传输的视频信息队列，确定优先级最高的待传输的视频信息；

所述信息处理模块，用于所述信息处理模块，用于确定所述网络资源中各个链路的链路质量；

所述信息处理模块，用于对所述优先级最高的待传输的视频信息配置所述目标视频信息传输通道的网络资源中链路质量最高的链路，以实现通过所配置的链路对所述待传输的视频信息队列中的待传输的视频信息进行处理。

本发明实施例还提供了一种电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现前序的视频信息传输方法。

本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现前序的视频信息传输方法。

本发明实施例具有以下有益效果：

本发明实施例通过监测视频播放终端的网络传输层的变化；基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同视频信息传输通道进行监测，确定所述不同视频信息传输通道的状态；当所述网络传输层中的帧往返时延参数增加，并且超过帧往返时延参数阈值时，触发对所述视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道；响应于视频信息传输通道的切换指令，在所述不同视频信息传输通道中选择目标视频信息传输通道；通过所述目标视频信息传输通道，对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输。由此，能够利用对网络传输层中的不同视频信息传输通道进行监测，确定不同视频信息传输通道的状态，选择最适合的目标视频信息传输通道对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输，由此，可以减少由于网络环境的变化和终端解码能力的不足所造成的视频播放卡顿，提升用户的使用体验。

附图说明

图1是本发明实施例提供的一种视频信息传输方法的使用环境示意图；

图2为本发明实施例提供的视频信息传输装置的组成结构示意图；

图3为本发明实施例中视频信息传输显示的处理方法示意图；

图4为本发明实施例提供的视频信息传输方法一个可选的流程示意图；

图5为本发明实施例提供的视频信息传输方法的使用环境示意图；

图6为本发明实施例提供的视频信息传输方法的使用环境示意图；

图7为本发明实施例提供的视频信息传输方法一个可选的流程示意图；

图8为本发明实施例提供的视频信息传输方法一个可选的状态示意图；

图9为本发明实施例提供的视频信息传输方法过程一个可选的流程示意图；

图10为本发明实施例提供的视频信息传输方法过程一个可选的流程示意图；

图11为本发明实施例提供的视频信息传输方法过程一个可选的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)视频信息传输(Video Transcoding)，是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。

2)客户端，终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行线上直播(视频推流)的功能或者是在线视频的播放功能。

3)响应于：用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

4)虚拟环境：是应用程序在终端上运行时显示(或提供)的虚拟环境。该虚拟环境可以是对真实世界的仿真环境，也可以是半仿真半虚构的三维环境，还可以是纯虚构的三维环境。虚拟环境可以是二维虚拟环境、2.5维虚拟环境和三维虚拟环境中的任意一种，下述实施例以虚拟环境是三维虚拟环境来举例说明，但对此不加以限定。可选地，该虚拟环境还用于至少两个虚拟对象之间的虚拟环境对战。可选地，该虚拟环境还用于至少两个虚拟对象之间使用虚拟枪械进行对战。可选地，该虚拟环境还用于在目标区域范围内，至少两个虚拟对象之间使用虚拟枪械进行对战，该目标区域范围会随虚拟环境中的时间推移而不断变小。

5)云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

6)云游戏：是指游戏本身运行在云端服务器设备中，将云端设备渲染后的游戏画面编码后，通过网络传输至用户终端，由用户终端对编码文件进行解码后渲染至显示屏进行显示的游戏，从而，用户无需在本地安装游戏，而仅需要建立与云端的通信网络连接便能完成游戏交互过程。

7)每秒传输帧数FPS：(Frames Per Second)，FPS是图像领域中的定义，是指画面每秒传输帧数，通俗来讲就是指动画或视频的画面数。FPS是测量用于保存、显示动态视频的信息数量。每秒钟帧数越多，所显示的动作就会越流畅。通常，要避免动作不流畅的最低是30FPS。

下面对本申请所提供的视频信息传输方法的使用环境进行说明，参考图1，图1为本发明实施例提供的视频信息传输方法的使用场景示意图，参考图1，终端(包括终端10-1和终端10-2)上设置有运行云游戏的客户端，用户通过所设置的云游戏软件客户端可以获得云服务器所存储的游戏内容；终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，本发明所提供的视频信息传输方法可以作为云服务的形式服务可类型的客户(封装于专业游戏终端或者封装于不同的移动电子设备中)，本申请不做具体限制，其中，游戏本身运行在云端服务器设备中，将云端设备渲染后的游戏画面编码后，通过网络传输至用户终端，由用户终端对编码文件进行解码后渲染至显示屏进行显示的游戏，从而，用户无需在本地安装游戏，而仅需要建立与云端的通信网络连接便能完成游戏交互过程。云游戏的组织架构中包括终端和云端服务器，其中，终端用于接收用户对游戏过程的控制操作，并将控制操作对应的控制指令发送至云端服务器，云端服务器用于对游戏进程进行控制，并将游戏过程中的视频流发送至终端进行播放。也即在云游戏的组织架构中，终端主要负责在游戏过程中接收对应服务端的游戏视频和游戏音频进行渲染与播放，并把游戏用户在终端侧的操作(包括但不限于游戏用户通过鼠标、键盘、操作手柄、语音指令、触摸指令等方式实现的操作)，通过和服务端连接的信令通道发送给服务端，服务端把这些操作信息发送给相匹配的鼠标驱动进程、声卡驱动进程以及键盘驱动进程，从而实现对云端游戏的控制，具体来说，云端服务器的处理内容包括：1)云端游戏的游戏进程运行中的计运算以及游戏渲染、画面采集编码、声卡声音采集编码，并将经过编码处理的视频信息和音频信息通过流媒体的形式发送给终端；2)接收终端的操作指令，并将操作指令发送至相对应的鼠标驱动进程、声卡驱动进程以及键盘驱动进程，从而实现对云端游戏的控制。

下面对本发明实施例的视频信息传输装置的结构做详细说明，视频信息传输装置可以各种形式来实施，如带有视频信息传输装置处理功能的专用终端，也可以为设置有视频信息传输装置处理功能的电子设备(手机、或平板电脑)，例如前序图1中的终端10-1或者终端10-2。图2为本发明实施例提供的视频信息传输装置的组成结构示意图，可以理解，图2仅仅示出了视频信息传输装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。

本发明实施例提供的视频信息传输装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。视频信息传输装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。

其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本发明实施例提供的视频信息传输装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的视频信息传输装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的视频信息传输方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑引擎器件(PLD，Programmable Logic Device)、复杂可编程逻辑引擎器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

作为本发明实施例提供的视频信息传输装置采用软硬件结合实施的示例，本发明实施例所提供的视频信息传输装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的视频信息传输方法。

作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑引擎器件、分立门或者晶体管逻辑引擎器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的视频信息传输装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑引擎器件(PLD，Programmable Logic Device)、复杂可编程逻辑引擎器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-ProgrammableGate Array)或其他电子元件执行实现本发明实施例提供的视频信息传输方法。

本发明实施例中的存储器202用于存储各种类型的数据以支持视频信息传输装置的操作。这些数据的示例包括：用于在视频信息传输装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从视频信息传输方法的程序可以包含在可执行指令中。

在另一些实施例中，本发明实施例提供的视频信息传输装置可以采用软件方式实现，图2示出了存储在存储器202中的视频信息传输装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括视频信息传输装置，视频信息传输装置中包括以下的软件模块信息处理模块2081和信息处理模块2082。当视频信息传输装置中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的视频信息传输方法，其中，视频信息传输装置中各个软件模块的功能，包括：

信息传输模块2081，用于监测视频播放终端的网络传输层的变化；

信息处理模块2082，用于基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同视频信息传输通道进行监测，确定所述不同视频信息传输通道的状态；

所述信息处理模块2082，用于当所述网络传输层中的帧往返时延参数增加，并且超过帧往返时延参数阈值时，触发对所述视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道；

所述信息处理模块2082，用于响应于视频信息传输通道的切换指令，在所述不同视频信息传输通道中选择目标视频信息传输通道；

所述信息处理模块2082，用于通过所述目标视频信息传输通道，对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输。

根据图2所示的电子设备，在本申请的一个方面中，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频信息传输方法的各种可选实现方式中所提供的不同实施例及实施例的组合。

参考图3，图3为本发明实施例中视频信息传输的MPTCP传输层架构示意图，视频信息传输过程中，云游戏和桌面采集编码方案可以采集游戏画面然后编码、传输给用户，桌面采集帧率和游戏帧率同步，这一过程中，可以使用MPTCP，MPTCP技术允许在一个连接期间，通过多个子流传输数据，因此很好的提高了数据传输的可用带宽，具体来说，MultiPathTCP(MPTCP)是由互联网工程任务组(IETF)MultiPath TCP工作组研发，其目的是允许传输控制协议(TCP)连接使用多个路径来最大化信道资源使用。如图3所示，业务路径用于传输数据的连接通道，可以为基于多路径传输控制协议(MPTCP Multipath Transfer ControlProtocol)或多路径实时传输协议(MPRTP Multipath Real-time Transport Protocol)的Subflow(子流)，也可以是基于普通的TCP、RTP、GRE、IPSec等形式的连接通道。UE和业务对端可以自定义多路径协议。若业务对端不支持多路径，可以在UE和业务对端之间设置MPTCP代理(Proxy)或MPRTP Proxy等来支持多路径传输，以避免UE改变IP地址导致业务中断。作为TCP的扩展，多路径传输协议标准(Multipath TCP，MPTCP)由互联网工程任务组IETF制定，它是一种面向连接、可靠有序的传输协议，其目的是允许TCP连接使用多个数据传输路径来最大化信道资源使用。MPTCP的传输层由两层构成，分别为MPTCP连接层和TCP子流层。其中，MPTCP子流在TCP子流层呈现TCP流的特点，可视作为单路径TCP流，用于数据分组传输。MPTCP连接层负责与应用层的交互和实现多条TCP子流的管理。MPTCP数据调度主要完成将从应用层接收到的数据进行分组，然后分发到不同子流进行传输等工作。在使用时，TCP/IP的网络体系结构从上至下包括应用层、传输层、网络层和链路层。上层应用在发送数据时，该数据会被划分为多个数据块，这些数据块称为子数据，它包含发送者和接收者的地址信息。这些子数据沿着不同的路径在一个或多个网络中传输，并且在目的地重新组合。对于传输层来说，可以根据子数据的包名中的应用标识信息来确定该数据是来自于哪一个上层应用。

如图3所示，MPTCP的传输过程中，MPTCP包含一个应用层，一个传输层。传输层又被划分为两个子层：MPTCP和TCP层。当用户使用MPTCP通讯时，可以同时打开N个TCP连接，N是发送端与接收端之间的路径数。应用层把数据发送到MPTCP层，然后MPTCP层把数据分成多个段，并在每个段添加一个控制段头。控制头包含一个一个序列号，它用于在接收端重组数据。MPTCP层然后把数据传给TCP层。当接收端接收到TCP层对端发送的数据后，读取数据并根据控制头重组数据，然后把数据传递给应用层

在本发明的一些实施例中，若UE和业务对端之间采用基于MPTCP的连接方式，UE可以向业务对端发送TCP同步(SYNC)消息，在该消息中携带新建TCP连接的TCP选项(Option)，比如MP_JOIN(意为增加Subflow)，或者，ADD_ADDR(意为增加地址)，可以通过这两种TCPOption指示业务对端基于UE的第二IP地址建立新的Subflow。

参考图4，图4为本发明实施例中MPTCP子流数据包seq的传输示意图，在本发明所提供的视频信息传输方法的使用环境中，MPTCP在协议栈中，位于TCP之上，可以利用建立TCP子流进行数据传输。其中，TCP是面向连接的4层协议，它可以提供可靠传输，并且拥有拥塞控制机制。但是TCP的单路径传输的协议，即便网络上存在多条路径资源，也无法利用这些路径资源。因为TCP是通过四元组：{源IP，目的IP，源端口，目的端口}唯一的确定一个连接，当四元组中的任一项发生变化时，会导致连接中断。因为应用程序使用TCP协议只能和单个四元组绑定，无法同时使用多个IP。使用MPTCP正好可以解决这个问题，如图4所示，MPTCP会话通过建立多个子流来实现同时使用多条路径传输数据，MPTCP子流的建立类似于TCP建立连接的过程。这些子流类似于正常的TCP连接，通过三次握手建立连接，四次挥手关闭连接。但这些子流都是绑定到一个已有的MPTCP会话上的。发送端的数据可以选择任意的子流进行传输。

在图4所示的处理工程中，以终端为手机为例，可以同时利用手机的WIFI和5G使用两个IP来和网络服务器建立MPTCP会话。但若网络服务器只有1个IP地址，网络服务器YE1可以使用不同的端口分别和手机的WIFI，5G建立连接，形成不同的视频信息传输通道。

在本申请的一个实施例中，由于视频信息的使用场景不同，因此需要首先建立不同的视频信息传输通道，具体包括：获取所述视频播放终端的网络传输层所传输的视频类型标识；当所述视频类型标识用于表征云游戏视频时，为所述终端的网络传输层配置WIFI-2.4G类型信息传输通道和WIFI-5G类型信息传输通道；当所述视频类型标识用于表征直播视频时，为所述终端的网络传输层配置蜂窝通信类型信息传输通道和WIFI-5G类型信息传输通道；当所述视频类型标识用于表征短视频时，为所述终端的网络传输层配置WIFI-2.4G类型信息传输通道、WIFI-5G类型信息传输通道以及蜂窝通信类型信息传输通道。

其中，对于云游戏等视频流，高码率、超低延迟的场景需求，虽然MPTCP是在传输层，利用多条subflow子流，使用多路径实现，但是在传输层的MPTCP，需要遵循传输层的协议规范。例如：使用多条subflow子流时，需要共用同样的seq空间，但是seq是顺序增长的，因此视频信息传输中出现丢包时，中间空缺的数据包、不连续的seq，必须要做重传恢复。所以，一条subflow子流出现丢包时，仍然会造成总的传输时间的度增加，不利于用户的使用体验。

为了克服上述缺陷，结合图2示出的电子设备说明本发明实施例提供的视频信息传输方法，参见图5，图5为本发明实施例提供的视频信息传输方法一个可选的流程示意图，可以理解地，图5所示的步骤可以由运行视频信息传输装置的各种服务器执行，例如可以是如带有视频信息传输功能的专用终端、服务器或者服务器集群。下面针对图5示出的步骤进行说明。

步骤501：视频信息传输装置对视频播放终端的网络传输层的状态进行监测，得到所述网络传输层的状态变化结果。

步骤502：视频信息传输装置基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同视频信息传输通道进行监测，确定所述不同视频信息传输通道的状态。

在本发明的一些实施例中，当所述视频信息传输通道为第一视频信息传输通道时，通过所述第一视频信息传输通道传输的视频信息，获取网络传输层的帧往返时延参数、网络时延参数、丢包率参数；根据所述帧往返时延参数、所述网络时延参数和所述丢包率参数，确定第一视频信息传输通道的状态。其中，第一视频信息传输通道可以为视频信息传输的主通道，保持云游戏过程中的视频信息的传输，视频信息传输通道的通道质量主要可以表现为帧往返时延参数(frame RTT)，网络时延参数，帧数吞吐能力参数，丢包率参数，稳定性参数等指标。

在本发明的一些实施例中，当所述视频信息传输通道为第二视频信息传输通道时，可以为所述第二视频信息传输通道配置保活报文；通过所述保活报文，在所述第二视频信息传输通道采集网络传输层的帧往返时延参数、网络时延参数、丢包率参数；根据所述帧往返时延参数、所述网络时延参数和所述丢包率参数，确定第二视频信息传输通道的状态。其中，第二视频信息传输通道可以为视频信息传输的备用通道(数量至少为一个)，用于经过传输通道切换时，保证云游戏过程中的视频信息的传输，以TCP保活报文为例，利用保活报文，可以探知对端的意外情况，从而保证在意外发生时，可以释放半打开的TCP连接，避免中间网络已经中断，而客户端与服务器端并不知道的情况。具体来说，TCP保活报文是将之前TCP报文的序列号减1，并设置1个字节，内容为“00”的应用层数据，发送keepalive probe报文之前的TCP报文，由此，实现对不同备用视频信息传输通道的状态进行监测。

步骤503：视频信息传输装置当所述网络传输层中的帧往返时延参数增加，并且超过帧往返时延参数阈值时，触发对所述视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道。

需要说明的是，于不同应用和不同场景，在执行本申请所提供的视频信息传输方法时，对应切换帧往返时延参数阈值(RTT阈值)略有不同，具体可以表现为：对于延迟要求越高的应用，例如云游戏的视频传输，RTT阈值越低。对应延迟要求不高的应用场景，例如，如视频会议，视频通话，RTT阈值可以设定在百毫秒(ms)级别。在本发明的一些实施例中，获取所述视频播放终端的网络传输层所传输的视频类型标识；当所述视频类型标识用于表征云游戏视频时，可以将帧往返时延参数阈值配置为20ms，当视频类型标识用于表征短视频时可以将帧往返时延参数阈值配置为500ms，对于视频会议场景，会议视频的时延参数阈值可以配置为200ms，需要说明的是通过本申请提供的视频信息传输方法在进行不同类型的视频信息的传输时，由于不同的用户有着不同的使用需求和使用感受，因此，RTT阈值并不是固定不变的，可以根据不同的网络状态自动对RTT阈值进行配置调整，还可以根据用户的指令信息对RTT阈值进行动态调整(例如在直播应用的场景中可以将本申请提供的RTT阈值配置为秒级阈值，例如配置为1s，在直播应用的场景中可以将本申请提供的RTT阈值配置为2s)。

步骤504：视频信息传输装置响应于视频信息传输通道的切换指令，在所述不同视频信息传输通道中选择目标视频信息传输通道。

参见图6，图6为本发明实施例提供的视频信息传输方法一个可选的流程示意图，可以理解地，图6所示的步骤可以由运行视频信息传输装置的各种服务器执行，例如可以是如带有视频信息传输功能的专用终端、服务器或者服务器集群。下面针对图6示出的步骤进行说明。

步骤601：当所述不同视频信息传输通道中第一视频信息传输通道处于不可用状态时，获取第二视频信息传输通道的帧往返时延参数、所述网络时延参数和所述丢包率参数。

步骤602：根据第二视频信息传输通道的帧往返时延参数、所述网络时延参数和所述丢包率参数，确定所述第二视频信息传输通道的状态。

步骤603：根据所述第二视频信息传输通道的状态，确定所述第二视频信息传输通道为目标视频信息传输通道。

参见图7，图7为本发明实施例提供的视频信息传输方法一个可选的流程示意图，下面针对图7示出的步骤进行说明。

步骤701：确定所述不同视频信息传输通道中第一视频信息传输通道处于可用状态，并且可以获取第二视频信息传输通道在低码率场景中的状态；

步骤702：为所述第一视频信息传输通道和所述第二视频信息传输通道配置相同的测试视频帧集合；

步骤703：通过所述测试视频帧集合，对所述第一视频信息传输通道和所述第二视频信息传输通道分别进行测试，得到视频信息传输通道的测试结果；

步骤704：根据所述视频信息传输通道的测试结果，确定目标视频信息传输通道。

当通过图6和图7所示的步骤，确定目标视频信息传输通道后，继续执行步骤505。

步骤505：视频信息传输装置通过所述目标视频信息传输通道，对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输。

在本发明的一些实施例中，通过所述目标视频信息传输通道，对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输，可以通过以下方式实现：

当确定第二视频信息传输通道为目标视频信息传输通道时，在所述第二视频信息传输通道中，重新传输经过缓存的视频帧；在所述视频播放终端中接收经过重新传输的视频帧，并且对所接收的视频帧进行乱序重组处理，以实现删除重新传输的视频帧中重复的视频帧。

在本发明的一些实施例中，还可以当在所述不同视频信息传输通道中选择目标视频信息传输通道时，对待传输的视频信息进行解析，获取所述待传输的视频信息的优先级标识；根据所述待传输的视频信息的优先级标识，对所接收的待传输的视频信息的优先级进行排序；根据所述待传输的视频信息的优先级，创建相应的待传输的视频信息队列；根据所述待传输的视频信息的优先级排序，对目标视频信息传输通道的网络资源配置进行调整。由此可以实现对不同客户的差异化处理。同时遍历待传输的视频信息队列，确定优先级最高的待传输的视频信息；确定所述网络资源中各个链路的链路质量；对所述优先级最高的待传输的视频信息配置所述网络资源中链路质量最高的链路，以实现通过所配置的链路对所述待传输的视频信息队列中的待传输的视频信息进行传输。由此使得资源的利用效率提升，又能够保证高优先级任务的及时处理，保证云服务器用户的数据处理速度，提高用户的使用体验。

参见图8，图8为本发明实施例提供的视频信息传输方法一个可选的状态示意图，下面针对图8示出的处理过程进行说明。

在本发明的一些实施例中，当所述目标视频为云游戏视频时，可以确定目标用户的标识信息；基于云服务器网络，确定与所述标识信息相匹配的数据源集群；根据所述数据源集群，向云游戏服务器中存储与所述目标用户相匹配的用户的云游戏历史信息；基于所述云游戏历史信息，在不同的视频信息传输通道中选择目标视频信息传输通道。如图8所示，当云游戏的视频进行播放时，终端在云游戏的运行环境中接收服务器编码后的视频帧并进行解码播放，当视频播放终端接收到经过服务器编码的游戏视频的视频帧或者携带视频信息的数据帧后，需要将所接收的游戏视频的视频帧或者携带视频信息的数据帧保存在终端的播放缓存池中，终端的解码装置对播放缓存池的实时数据帧队列中的游戏视频的视频帧或者携带视频信息的数据帧进行解码，通过解码应该展示游戏视频中的编号1、编号2以及编号3的视频帧，使得游戏用户获得三个完整的游戏视频的视频帧，这一过程中，视频播放终端的目标视频信息传输通道状态越好，播放缓存池的实时数据帧队列中的帧数越少，在云游戏使用场景中，播放缓存池的实时数据帧队列中的帧数可以保持为0，由此，可以保证游戏用户在云游戏的运行过程中获得无卡顿的游戏视频。

本发明的一些实施例中，对于不同的目标视频信息传输通道，可以设置第一分辨率为720P，当用户在云游戏进程中选择的分辨率大于等于720P状态时，当用户终端的网络由宽带接入云游戏服务器切换至移动网络接入云游戏服务器时，会出现信息传输速率的波动，造成带宽不稳定，通过本申请所提供的视频信息传输方法，可以在不降低数据传输时单位时间传送的数据位数(即码率)的条件下，切换视频信息的传输通道，以保证用户获得较720P高分辨率的游戏视频进行观看，使得用户的获得更好的视觉体验。

接下来以虚拟场景为游戏为例，继续对本发明实施例提供的视频信息传输方法进行说明。其中，随着网络游戏的发展，在一些移动端运行的游戏中，游戏目标用户对游戏场景的要求越来越高，云游戏进程中，由于，由于终端类型不同以及游戏类型不同，移动终端显示范围的限制，用户所持有的游戏角色在实时场景的变化过程中，需要的通过游戏视频使得用户获得更加丰富云游戏使用感受，由于云游戏视频传输的复杂性，传统技术使用单传输时，传输层可能会出现死等重传，使得云游戏视频的传输比较慢，容易造成服务问题，而通过应用层处理时，只能通过降低视频质量或牺牲视频的流畅性来进行缓解网络的波动，严重影响了云游戏的使用体验，为此，通过本申请所提供的视频信息传输方法，当所述目标游戏为云游戏时，可以确定目标用户的标识信息；基于云服务器网络，确定与所述标识信息相匹配的数据源集群；根据所述数据源集群，向云游戏服务器中存储与所述目标用户相匹配的用户的云游戏历史信息。用户的云游戏历史信息还可以供其他应用程序调用(例如游戏模拟器或者体感游戏设备)，当然，与不同类型的游戏相匹配的游戏数据处理模型也可以迁移至即时通讯进程的在线对战的FPS游戏或者离线操控的FPS游戏以及云游戏。

继续参考图9，图9为本发明实施例提供的视频信息传输方法过程一个可选的流程示意图，图9所示的步骤可以由部署了视频信息传输装置的各种游戏终端或者游戏加速器进程执行，具体包括以下步骤：

步骤901：获取所述视频播放终端的网络传输层所传输的视频类型标识。

步骤902：当所述视频类型标识用于表征云游戏视频时，为所述终端的网络传输层配置WIFI-2.4G类型信息传输通道、WIFI-5G类型信息传输通道以及蜂窝通信类型信息传输通道。

步骤903：为云游戏视频配置网络传输层的帧往返时延参数阈值20ms。

其中，RTT阈值可以设定在百毫秒(ms)级别。当视频类型标识表征角色扮演类的云游戏视频时，可以将帧往返时延参数阈值配置为20ms，当视频类型标识表征策略类游戏视频时可以将帧往返时延参数阈值配置为200ms，由于不同的游戏用户有着不同的使用需求和使用感受，因此，RTT阈值并可以根据不同的网络状态自动对RTT阈值进行配置调整，来适应游戏的使用需求，还可以根据用户的指令信息对RTT阈值进行动态调整，使得游戏用户获得更好的使用体验。

步骤904：对视频播放终端的网络传输层的状态进行监测，得到所述网络传输层的状态变化结果；

步骤905：基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同视频信息传输通道进行监测，确定所述不同视频信息传输通道的状态；

步骤906：当所述网络传输层中的帧往返时延参数增加，并且超过帧往返时延参数阈值20ms时，触发对所述视频播放终端的视频信息传输通道进行切换，由WIFI-2.4G类型信息传输通道切换至WIFI-5G类型信息传输通道。

在本发明的一些实施例中，由于云游戏视频的初始传输通道为WIFI-2.4G类型信息传输通道，而WIFI-5G类型信息传输通道以及蜂窝通信类型信息传输通道同处于连接状态，为了选择更加适合的视频信息传输通道，可以配置相同的测试视频帧集合；通过所述测试视频帧集合，对WIFI-5G类型信息传输通道以及蜂窝通信类型信息传输通道进行测试，选择帧往返时延参数最小的视频信息传输通道进行切换。

当进行视频信息传输通道的切换过程中，由于网络通道发生抖动时，视频信息传输会出现的丢失或者长时间排队，从而造成视频帧的丢失或者严重延迟。在视频信息传输通道切换后，为了实现无损快速切换，需要重传已经发送，但是未被客户端确认的视频帧，继续参考图10，图10为本发明实施例提供的视频信息传输方法过程一个可选的流程示意图，具体包括以下步骤：

步骤1001：视频播放终端的网络传输层中传输云游戏视频信息；

步骤1002：判断是否需要视频信息传输通道的切换，如果是，执行步骤1003，否则，执行步骤1005。

步骤1003：重传缓存云游戏视频。

步骤1004：继续传输云游戏视频信息。

步骤1005：确定插入云游戏视频缓存队列。

步骤1006：确定删除云游戏视频缓存队列。

步骤1007：形成云游戏视频缓存队列。

进一步地，通过目标视频信息传输通道，对视频信息进行传输，以实现视频信息在网络传输层中的完整传输时，为了实现无损传输的效果，不仅需要在服务器一侧进行图10所示的云游戏视频重传处理，还需要在终端一侧对视频帧乱序进行重组处理，删除重复的视频帧。继续参考图11，图11为本发明实施例提供的视频信息传输方法过程一个可选的流程示意图，具体包括以下步骤：

步骤1101：获得云游戏视频，并确定对应的返时延参数。

步骤1102：判断云游戏视频是否为连续视频帧，如果是执行步骤1106，否则执行步骤1103。

步骤1103：确定是否为重复视频帧，如果是，执行步骤1104，否则执行步骤1105。

步骤1104：丢弃重复视频帧。

例如图8所示，通过解码应该展示游戏视频中的编号1、编号2以及编号3的视频帧，使得游戏用户获得三个完整的游戏视频的视频帧时，收到编号3的视频帧两次，则应该丢弃重复的3号视频帧。

步骤1105：对乱序视频帧进行重组。

例如图8所示，通过解码应该展示游戏视频中的编号1、编号2以及编号3的视频帧，使得游戏用户获得三个完整的游戏视频的视频帧时，收到编号顺序编号2、编号3、编号1为，则应该调整视频帧编号。

步骤1106：通过目标云游戏视频传输通道传输云游戏视频。

有益技术效果：

本发明实施例通过监测视频播放终端的网络传输层的变化；基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同视频信息传输通道进行监测，确定所述不同视频信息传输通道的状态；当所述网络传输层中的帧往返时延参数增加，并且超过帧往返时延参数阈值时，触发对所述视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道；响应于视频信息传输通道的切换指令，在所述不同视频信息传输通道中选择目标视频信息传输通道；通过所述目标视频信息传输通道，对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输。由此，能够利用对网络传输层中的不同视频信息传输通道进行监测，确定不同视频信息传输通道的状态，选择最适合的目标视频信息传输通道对视频信息进行传输，以实现所述视频信息在网络传输层中的完整传输，由此，可以减少由于网络环境的变化和终端解码能力的不足所造成的视频播放卡顿，提升用户的使用体验。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种视频信息传输方法，其特征在于，所述方法包括：

获取视频播放终端的网络传输层所传输的视频类型标识，基于所述视频类型标识，为所述视频播放终端的网络传输层配置对应的多个视频信息传输通道；

对所述网络传输层的状态进行监测，得到所述网络传输层的状态变化结果；

基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同的所述视频信息传输通道进行监测，确定不同的所述视频信息传输通道的状态；

获取与所述视频类型标识对应的帧往返时延参数阈值；

当所述网络传输层中的帧往返时延参数增加，并且超过所述帧往返时延参数阈值时，触发对所述视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道；

通过所述目标视频信息传输通道，对具有所述视频类型标识的视频信息进行传输，以实现所述视频信息在所述网络传输层中的完整传输。

2.根据权利要求1所述的方法，其特征在于，所述基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同的所述视频信息传输通道进行监测，确定不同的所述视频信息传输通道的状态，包括：

当所述视频信息传输通道为第一视频信息传输通道时，

通过所述第一视频信息传输通道传输的视频信息，获取网络传输层的帧往返时延参数、网络时延参数、丢包率参数；

根据所述帧往返时延参数、所述网络时延参数和所述丢包率参数，确定第一视频信息传输通道的状态。

3.根据权利要求1所述的方法，其特征在于，所述基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同的所述视频信息传输通道进行监测，确定不同的所述视频信息传输通道的状态，包括：

当所述视频信息传输通道为第二视频信息传输通道时，

为所述第二视频信息传输通道配置保活报文；

通过所述保活报文，在所述第二视频信息传输通道采集网络传输层的帧往返时延参数、网络时延参数、丢包率参数；

根据所述帧往返时延参数、所述网络时延参数和所述丢包率参数，确定第二视频信息传输通道的状态。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当不同的所述视频信息传输通道中第一视频信息传输通道处于不可用状态时，

根据第二视频信息传输通道的帧往返时延参数、网络时延参数和丢包率参数，确定所述第二视频信息传输通道的状态；

根据所述第二视频信息传输通道的状态，确定所述第二视频信息传输通道为目标视频信息传输通道。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当不同的所述视频信息传输通道中第一视频信息传输通道处于可用状态，并且可以获取第二视频信息传输通道在低码率场景中的状态时，

为所述第一视频信息传输通道和所述第二视频信息传输通道配置相同的测试视频帧集合；

通过所述测试视频帧集合，对所述第一视频信息传输通道和所述第二视频信息传输通道分别进行测试，得到视频信息传输通道的测试结果；

根据所述视频信息传输通道的测试结果，确定目标视频信息传输通道。

6.根据权利要求1所述的方法，其特征在于，所述通过所述目标视频信息传输通道，对具有所述视频类型标识的视频信息进行传输，以实现所述视频信息在所述网络传输层中的完整传输，包括：

当确定第二视频信息传输通道为目标视频信息传输通道时，

在所述第二视频信息传输通道中，重新传输经过缓存的视频帧；

在所述视频播放终端中接收经过重新传输的视频帧，并且对所接收的视频帧进行乱序重组处理，删除重复的视频帧；

对经过删除重复视频帧的视频信息进行传输。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述视频类型标识用于表征云游戏视频时，为所述终端的网络传输层配置WIFI-2.4G类型信息传输通道和WIFI-5G类型信息传输通道；

当所述视频类型标识用于表征直播视频时，为所述终端的网络传输层配置蜂窝通信类型信息传输通道和WIFI-5G类型信息传输通道；

当所述视频类型标识用于表征短视频时，为所述终端的网络传输层配置WIFI-2.4G类型信息传输通道、WIFI-5G类型信息传输通道以及蜂窝通信类型信息传输通道。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述视频类型标识用于表征云游戏视频时，确定目标用户的标识信息；

基于云服务器网络，确定与所述标识信息相匹配的数据源集群；

根据所述数据源集群，向云游戏服务器中存储与所述目标用户相匹配的用户的云游戏历史信息；

基于所述云游戏历史信息，在不同的视频信息传输通道中选择目标视频信息传输通道。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当在不同的所述视频信息传输通道中选择目标视频信息传输通道时，对待传输的视频信息进行解析，获取所述待传输的视频信息的优先级标识；

根据所述待传输的视频信息的优先级标识，对所接收的待传输的视频信息的优先级进行排序；

根据所述待传输的视频信息的优先级，创建相应的待传输的视频信息队列；

根据所述待传输的视频信息的优先级排序，对目标视频信息传输通道的网络资源配置进行调整。

10.根据权利要求9所述的方法，其特征在于，所述根据所述待传输的视频信息的优先级排序，对目标视频信息传输通道的网络资源配置进行调整，包括：

遍历待传输的视频信息队列，确定优先级最高的待传输的视频信息；

确定所述网络资源中各个链路的链路质量；

对所述优先级最高的待传输的视频信息配置所述目标视频信息传输通道的网络资源中链路质量最高的链路，以实现通过所配置的链路对所述待传输的视频信息队列中的待传输的视频信息进行处理。

11.一种视频信息传输装置，其特征在于，所述装置包括：

信息处理模块，用于获取视频播放终端的网络传输层所传输的视频类型标识，基于所述视频类型标识，为所述视频播放终端的网络传输层配置对应的多个视频信息传输通道；

信息传输模块，用于对所述网络传输层的状态进行监测，得到所述网络传输层的状态变化结果；

所述信息处理模块，用于基于所述网络传输层的状态的变化结果，对所述网络传输层中的不同的所述视频信息传输通道进行监测，确定不同的所述视频信息传输通道的状态；

所述信息处理模块，用于获取与所述视频类型标识对应的帧往返时延参数阈值；当所述网络传输层中的帧往返时延参数增加，并且超过所述帧往返时延参数阈值时，触发对所述视频播放终端的视频信息传输通道进行切换，将第一视频信息传输通道切换至目标视频信息传输通道；

所述信息处理模块，用于通过所述目标视频信息传输通道，对具有所述视频类型标识的视频信息进行传输，以实现所述视频信息在所述网络传输层中的完整传输。

12.根据权利要求11所述的装置，其特征在于，

所述信息处理模块，用于当所述视频信息传输通道为第一视频信息传输通道时，通过所述第一视频信息传输通道传输的视频信息，获取网络传输层的帧往返时延参数、网络时延参数、丢包率参数；

所述信息处理模块，用于根据所述帧往返时延参数、所述网络时延参数和所述丢包率参数，确定第一视频信息传输通道的状态。

13.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至10任一项所述的视频信息传输方法。

14.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的视频信息传输方法。

Images