CN115706770A - 一种显示设备及视频显示顺序调整方法 - Google Patents

Abstract

本申请提供一种显示设备及视频显示顺序调整方法，所述方法可以在用户输入用于调整显示顺序的控制指令后，提取被调整显示顺序的视频通话窗口的识别信息，并依据识别信息订阅对应窗口的通话数据流，从而根据用户自定义的显示顺序使用通话数据流替换视频通话窗口的显示内容。所述方法可以使参与多人视频对话的多个显示设备都能够按照用户需要对视频通话窗口进行自由排序，便于不同用户可以根据不同的对话需要分别控制视频显示顺序，提升用户体验。

Description

一种显示设备及视频显示顺序调整方法

技术领域

本申请涉及显示设备技术领域，尤其涉及一种显示设备及视频显示顺序调整方法。

背景技术

显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

部分显示设备可以内置或外接图像采集装置和/或音频输入装置，通过图像采集装置和音频输入装置可以实时获取用户的视频图像和声音音频，并基于网络连接实现与其他显示设备进行视频通话、视频会议等功能。因具体的视频使用场景需要，显示设备可以对视频显示顺序进行调整。例如，在视频会议过程中，重要参会嘉宾需要显示在与会人员窗口的靠前位置，而普通参会人员则设置在靠后位置。

为了实现对视频显示顺序进行调整，用户可以通过会议后台实施顺序调整控制，即可以在会议后台自定义窗口显示顺序。但这种调整方式在执行后调整后，会影响所有参会方，即所有的参会方的视频显示顺序均按照后台设定的顺序进行显示，其他显示设备无法单独进行自定义显示。

发明内容

本申请提供了一种显示设备及视频显示顺序调整方法，以解决传统视频显示顺序调整方法不支持每个显示设备单独自定义的问题。

一方面，本申请提供一种显示设备，包括：显示器、通信器和控制器。其中，所述显示器被配置为显示用户界面，所述用户界面中包括按初始顺序显示的多个视频通话窗口；所述通信器被配置为连接服务器；所述控制器被配置为执行以下程序步骤：

获取用户输入的用于调整视频通话窗口显示顺序的控制指令；

响应于所述控制指令，从所述控制指令中提取目标窗口识别信息和自定义顺序，所述目标窗口为所述控制指令中指定的被调整显示顺序的视频通话窗口；

根据目标窗口识别信息，获取所述目标窗口的通话数据流；

按照所述自定义顺序，使用所述通话数据流替换所述用户界面中视频通话窗口的显示内容。

另一方面，本申请还提供一种视频显示顺序调整方法，应用于上述显示设备，所述视频显示顺序调整方法包括以下步骤：

获取用户输入的用于调整视频通话窗口显示顺序的控制指令；

响应于所述控制指令，从所述控制指令中提取目标窗口识别信息和自定义顺序，所述目标窗口为所述控制指令中指定的被调整显示顺序的视频通话窗口；

根据目标窗口识别信息，获取所述目标窗口的通话数据流；

按照所述自定义顺序，使用所述通话数据流替换所述用户界面中视频通话窗口的显示内容。

由以上技术方案可知，本申请提供的显示设备及视频显示顺序调整方法可以在用户输入用于调整显示顺序的控制指令后，提取被调整显示顺序的视频通话窗口的识别信息，并依据识别信息订阅对应窗口的通话数据流，从而根据用户自定义的显示顺序使用通话数据流替换视频通话窗口的显示内容。所述方法可以使参与多人视频对话的多个显示设备都能够按照用户需要对视频通话窗口进行自由排序，便于不同用户可以根据不同的对话需要分别控制视频显示顺序，提升用户体验。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中显示设备的使用场景；

图2为本申请实施例中控制装置的硬件配置框图；

图3为本申请实施例中显示设备的硬件配置图；

图4为本申请实施例中显示设备的软件配置图；

图5为本申请实施例中多人通话场景示意图；

图6为本申请实施例中显示多人通话界面的流程示意图；

图7为本申请实施例中多人通话界面示意图；

图8为本申请实施例中设置初始顺序的流程示意图；

图9为本申请实施例中自动调整显示顺序的流程示意图；

图10为本申请实施例中视频显示顺序调整方法流程示意图；

图11为本申请实施例中移动窗口位置示意图；

图12为本申请实施例中生成自定义顺序的流程示意图；

图13为本申请实施例中点击窗口布局选项示意图；

图14为本申请实施例中窗口布局界面示意图；

图15为本申请实施例中窗口设置界面示意图；

图16为本申请实施例中用户列表界面示意图；

图17为本申请实施例中调整后多人通话界面示意图；

图18为本申请实施例中替换通话数据流的流程示意图；

图19为本申请实施例中视频会议场景时序图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

上述显示设备200还可以实现社交功能，即不同的用户可以通过不同的显示设备200实现视频通话或音频通话。为了实现社交功能，显示设备200可以内置或外接图像采集装置和/或音频输入装置。如图5所示，在显示设备200上可以设置摄像头，用于采集显示设备200前方用户的图像信息。显示设备200上还可以设有麦克风，用于采集用户的声音信息。在执行社交功能时，显示设备200可以通过运行社交类应用程序，启用摄像头和麦克风采集视频数据和音频数据。再通过通信器220将视频数据和音频数据发送给服务器400，以通过服务器400将视频数据和音频数据转发给其他显示设备。

同理，其他显示设备也可以按照上述方式向服务器400发送视频数据和音频数据。因此显示设备200在发送视频数据和音频数据的同时，还可以从服务器400获取其他显示设备发送的视频数据和音频数据，并对获取到的视频数据进行显示，对获取到的音频数据进行声音播放，实现与其他显示设备之间的视频通话和音频通话。

显示设备200还可以基于上述社交功能，实现多人视频通话。即社交类应用可以通过服务器400搭建多人通话平台，多个显示设备200可以通过运行相同的社交类应用连接至多人通话平台。当其中一个显示设备200向平台上传音视频数据时，其余平台可以同时订阅该音视频数据对应的数据流，使同时参与通话的多个显示设备200可以相互获取音视频数据，实现多人通话。

为了实现上述多人通话功能，如图6所示，在一些实施例中，显示设备200可以获取用户输入的用于开启或加入多人视频通话的入会指令。例如，显示设备200上可以安装“××会议”、“×link”等视频会议应用程序，当用户在启动该应用程序后，可以输入预定的会议ID，并在已经开启多人通话的时间后，点击“加入”选项，使显示设备200可以接入该会议ID所对应的会议平台，使显示设备200可以从服务器400接收来自其他参与会议的显示设备的视频数据和/或音频数据，加入多人通话。

在加入多人通话后，显示设备200可以跳转至多人通话过程对应的用户界面。如图7所示，在多人通话用户界面中，可以包括多个用于显示视频通话内容的窗口，即视频通话窗口。从服务器400获取的，来自多个不同显示设备200的视频数据可以分别在每个视频通话窗口中进行显示。

用户界面中多个视频通话窗口可以按照默认的顺序进行排列，以便用户观看。例如，可以按照参与会议用户的身份信息对视频通话窗口进行顺序排列，即在用户界面中可以优先显示会议的主持人、显示设备200本端画面。具体在用户界面中，可以从上至下多行显示，每行从左至右依次显示主持人画面窗口、本端画面窗口。

当参与多人会议的人数显示设备200数量较多时，部分用户未设置身份信息或者多个用户的身份信息类别相同，因此显示设备200还可以按照特定的排列规则对其余视频通话窗口的顺序进行排列。例如，显示设备200在用户界面上优先显示主持人和本端窗口的同时，还可以通过检测各显示设备200的硬件开启状态，从而按照硬件状态对多个通话窗口进行排序。

即显示设备200在获取用户输入的入会指令后，可以从服务器400获取参会列表信息，以根据参会列表信息设置多个视频通话窗口的显示顺序。其中，所述参会列表信息包括用户ID和音视频状态。用户ID可以是基于应用程序服务商注册的用户名；也可以是服务器400通过检测显示设备200并认证通过后的设备名，如mac地址、网络地址等。音视频状态则是用于表示显示设备200的音频数据和视频数据输出状态的数据。例如，部分显示设备200在入会后未开启摄像头，则只能够通过音频方式进行交流；部分显示设备200在入会后未开启麦克风，则只能够通过视频方式进行交流。

为了便于进行交流，显示设备200可以在用户界面中优先显示既开启视频又开启音频的用户所对应窗口，再依次显示未开启视频但开启音频用户的窗口、开启视频但未开启音频用户的窗口以及未开启视频也未开启音频用户的窗口。

为此，如图8所示，在一些实施例中，显示设备200可以在根据参会列表信息设置所述初始顺序的步骤中，先获取当前视频对话中为用户ID设置的身份信息，以基于身份信息设置第一优先级。例如，显示设备200可以在用户入会后，在参会列表信息中提取每个参与者的用户ID，并根据用户ID在数据库中匹配每个用户在当前会议中的身份信息，以确定身份信息为当前会议主持人的用户。同时，对于每个入会的显示设备200还可以对本端用户ID进行记录，以确定身份信息为本端的用户。

针对不同的视频通话过程，可以根据具体需要设置其他的身份信息。例如，按照管理层级关系设置多个身份信息等级；按照地理位置设置多个身份信息等。同时，如果一个用户ID对应未设置有身份信息时，可以将其默认为普通参会人员。因此，在获取身份信息后，显示设备200可以按照身份信息设置用户ID对应窗口的显示顺序。例如，可以在用户界面中先显示主持人窗口，再显示本端窗口，最后显示普通参会人员对应的窗口。

显然，当同一个身份信息对应的窗口数量较多时，显示设备200可以再从音视频状态中解析音频开关值和视频开关值，并根据音频开关值和视频开关值计算判断值，基于判断值设置第二优先级。其中，判断值为音频开关值和视频开关值的加权求和结果。并且为了重点突出特殊身份的用户窗口，可以设置所述第一优先级高于所述第二优先级。

例如，音频开关值可以在用户开启音频时赋值为1，在用户未开启音频时赋值为0；同理，视频开关值也可以在用户开启视频时赋值为1，在用户未开启视频时赋值为0。再根据不同的会议类型，设置音频开关值和视频开关值的权值，即对于通话为主的会议，可以设置音频权值大于视频权值，如音频权值为0.6，视频权值为0.4；而对于演示为主的会议，可以设置音频权值小于视频权值，如音频权值为0.4，视频权值为0.6。

再根据设置的权值和开关值，计算各用户ID对应的判断值。即对于既开启视频又开启音频的用户ID，其判断值P1＝0.6×1+0.4×1＝1；对于未开启视频但开启音频用户，其判断值P2＝0.6×1+0.4×0＝0.6；对于开启视频但未开启音频用户，其判断值P3＝0.6×0+0.4×1＝0.4；对于未开启视频也未开启音频用户其判断值P4＝0.6×0+0.4×0＝0。通过计算每个用户ID对应的判断值以后，可以通过对比判断值的大小，确定多个窗口的显示顺序，即在用户界面中依次显示主持人窗口、本端窗口、既开启视频又开启音频用户窗口、未开启视频但开启音频用户窗口、开启视频但未开启音频用户窗口以及未开启视频也未开启音频用户的窗口。

可见，在每个用户加入多人通话时，都可以按照上述显示顺序的确定方法对用户界面中的视频通话窗口进行排序。为了便于描述，本申请实施例中可以将上述方式确定的排列顺序称为初始顺序。显示设备200可以通过服务器400订阅每个视频窗口对应显示是视频数据流，并按照初始顺序，在用户界面中绘制多个视频通话窗口，以便对获取的视频数据流进行显示。

如图9所示，在一些实施例中，显示设备200还可以根据会议的实际参与状态对显示顺序进行调整。即显示设备200可以通过服务器400监听用户界面中每个视频通话窗口的音视频状态。例如，服务器400可以维护一个实时更新的数据表，在数据表中可以记载有参与多人通话的每个显示设备200的硬件开启状态。当任一显示设备200开启或关闭音频(或视频)时，服务器400可以检测到相应的状态，并在数据表中进行更改。修改后的数据表参数可以随着数据流发送给参与视频通话的每个显示设备200，以使显示设备200可以监听用户界面中每个视频通话窗口的音视频状态。

如果任一视频通话窗口的音视频状态发生改变，则可以根据改变后的音视频状态重新计算第二优先级；并按照重新计算的第二优先级调整视频通话窗口的显示顺序。例如，当一个未开启视频但开启音频用户的显示设备200在参与会议的过程中开启了视频，则其对应的音视频状态发生改变，即视频开关值从“0”更改为“1”。因此，该用户ID对应的判断值将从“0.6”更改为“1”，从而可以按照重新计算的判断值调整该用户ID对应窗口的显示顺序，将该窗口的显示位置提前。

可见，基于上述实施例中提供的视频通话窗口显示方法，应用程序可以在每个显示设备200上显示按照初始顺序排列的视频通话窗口的用户界面。但是，由于用户对多人通话的需求是不同的，因此不同用户对窗口显示顺序的要求也不同。例如，在视频会议过程中，因具体场景需要，用户可能对视频通话窗口的显示顺序进行调整，如重要参会嘉宾靠前，普通参会人员靠后。

为此，在本申请的部分实施例中提供一种视频显示顺序调整方法，该方法可以应用于上述实施例中提供的显示设备200。为满足方法实施过程的需要，显示设备200可以包括显示器260、通信器220以及控制器250。其中，显示器260可以被配置为显示用户界面，并且所述用户界面中包括按初始顺序显示的多个视频通话窗口。通信器220被配置为连接服务器400，以从服务器400获取多人通话过程中的通话数据流和相关数据。如图10所示，控制器250则被配置为执行上述所述视频显示顺序调整方法，具体包括以下内容：

获取用户输入的用于调整视频通话窗口显示顺序的控制指令。其中，用于调整视频通话窗口显示顺序的控制指令，可以由一些列交互动作完成。例如，在多人通话用户界面中可以设有顺序调整选项，当用户点击该选项时，可以触发用户界面进入设置状态，此时，用户可以通过显示设备200配套的控制装置100进行按键操作，通过按下方向键和确认键，对用户界面中的视频通话窗口执行“选中-调整位置-取消选中”等动作。即用于调整视频通话窗口显示顺序的控制指令可以通过一些列按键操作完成输入。

对于部分显示设备200，其可以支持更多形式的交互方式，因此可以通过对应的交互方式完成所述控制指令的输入。例如，对于支持触控交互操作的显示设备200，用户可以通过长按预调整显示位置的视频通话窗口，触发用户界面进入设置状态。再通过滑动操作，带动手指位置处的视频通话窗口进行位置移动。在将视频通话窗口移动至目标位置后，用户可以松开手指，使视频通话窗口维持在目标位置上。即用于调整视频通话窗口显示顺序的控制指令可以通过触控交互操作完成输入。

显示设备200还可以通过显示特定的窗口设置界面以供用户输入上述调整视频通话窗口显示顺序的控制指令。例如，在用户界面中可以包括窗口设置选项，当用户选中该窗口设置选项后，显示设备200可以跳转至显示窗口设置界面，窗口设置界面中可以包括用于表示每个视频通话窗口的选项，用户可以按顺序依次在多个选项中进行选择，以设定显示顺序。即用于调整视频通话窗口显示顺序的控制指令可以通过选中用户界面上的特定选项完成输入。

在用户输入用于调整视频通话窗口显示顺序的控制指令后，显示设备200可以响应于该控制指令，从控制指令中提取目标窗口识别信息和自定义顺序。其中，所述目标窗口为所述控制指令中指定的被调整显示顺序的视频通话窗口，自定义顺序则是由用户在输入控制指令时，通过特定交互动作设定的显示顺序。

例如，如图11所示，用户在触发显示设备200进入对用户界面的设置状态后，选中当前用户界面中窗口编号为003的视频通话窗口，即选中的视频通话窗口为目标窗口。再通过按下控制装置100上的方向键，将目标窗口调整至001号窗口位置上。因此，显示设备20可以提取被调整窗口的用户ID，即目标窗口识别信息。同时获得自定义顺序，即调整后的各窗口的排序。

在获取目标窗口识别信息和自定义顺序后，显示设备200还可以根据目标窗口识别信息，获取目标窗口的通话数据流。目标窗口的通话数据流可以通过多人通话平台中记录的数据表获得，即在一些实施例中，显示设备200可以在根据目标窗口识别信息，获取所述目标窗口的通话数据流的步骤中，遍历目标窗口的用户ID。再基于遍历结果，向服务器400发送数据订阅请求，即所述数据订阅请求包括用户ID。服务器400可以在接收到数据订阅请求后，根据请求中包含的用户ID查询其对应的数据流通道信息，并向显示设备200反馈查询到的数据流通道信息。

显示设备200再接收服务器400针对所述数据订阅请求反馈的数据流通道信息，以连接用户ID对应的数据流通道，获取通话数据流。例如，在选中窗口编号为003的视频通话窗口的同时，则003窗口对应的用户ID：xx0003，则显示设备200可以向服务器400发送数据订阅请求，使服务器400能够根据数据订阅请求查询xx0003对应的数据流通道信息，如channel003。再向显示设备200反馈查询到的数据流通道信息，以使显示设备200可以通过订阅该数据流通道，获得xx0003用户的视频数据和/或音频数据。

在获取目标窗口对应的通话数据流后，显示设备200可以按照控制指令中解析的自定义顺序，使用通话数据流替换用户界面中视频通话窗口的显示内容。例如，在将窗口编号为003的目标窗口调整至001号窗口位置上的过程中，显示设备200可以在获取到用户ID：xx0003对应的通话数据流后，使用该通话数据流替换编号为001的视频通话窗口的显示内容，使编号为001的视频通话窗口可以显示编号为003的目标窗口对应的视频通话画面。

需要说明的是，在调整窗口顺序过程中，当一个显示窗口的显示位置被改变以后，位置改变的过程还可能引发其他窗口的位置改变。例如，在将窗口编号为003的目标窗口调整至001号窗口位置上，则原001号窗口位置对应的视频通话画面需要依序调整至002号窗口位置。同理，002号窗口位置对应的视频通话画面需要调整至003号窗口位置。因此，在调节过程中，目标窗口并不局限于用户交互动作所直接实施的视频通话窗口，还包括因部分窗口位置调整而引发改变的其他视频通话窗口。

在一些实施例中，如图12所示，当用户通过窗口设置界面输入用于调整显示顺序的控制指令时，显示设备200可以在获取用户输入的用于调整视频通话窗口显示顺序的控制指令的步骤中，先检测用户输入的第一交互动作。其中，所述第一交互动作为用于触发窗口设置界面的交互动作。例如，当多人通话用户界面中包括窗口设置选项时，用户可以通过控制装置100上的按键或者触控操作，点击该窗口设置选项，以输入第一交互动作。

在用户输入第一交互动作后，显示设备200可以响应于所述第一交互动作，跳转至显示窗口设置界面，用于对用户界面中的窗口显示顺序进行调整，因此所述窗口设置界面中包括视频通话窗口选项。例如，在用户点击窗口设置选项后，显示设备200可以跳转至窗口设置界面。在窗口设置界面中，可以包括与多人通话界面中窗口数量相同的选项供用户选择。为了便于用户执行后续操作，在显示设备200所显示的窗口设置界面中，可以包括每个窗口对应的用户ID以及与用户ID相关联的识别信息，如头像、视频通话截图等。

用户可以按照预想的显示顺序，在多个窗口选项中依次进行选择，以自定义窗口的显示顺序。因此，在显示窗口设置界面后，显示设备200可以对用户在窗口设置界面上执行的交互动作进行检测，即检测用户基于所述视频通话窗口选项输入的第二交互动作。其中，所述第二交互动作为用于定义显示顺序的交互动作。例如，第二交互动作为多个窗口选项上的选中操作。

通过对第二交互动作的检测，显示设备200可以实时记录第二交互动作依次选中的视频通话窗口选项，从而生成自定义顺序。例如，当用户在窗口设置界面中依次选中“主持人”、“嘉宾2”、“嘉宾6”时，可以生成自定义顺序为“001窗口——主持人”、“002窗口——嘉宾2”、“003窗口——嘉宾6”，其他窗口用户对应窗口则可以按照初始顺序进行显示。

需要说明的是，通过窗口设置界面定义显示顺序的过程中，显示设备200可以通过多级界面实现顺序定义功能。并且，为了便于选中窗口选项，在显示窗口设置界面时，还可以通过特定选项触发显示窗口选项列表。例如，如图13所示，在用户选中多人通话界面中的“窗口布局”选项后，可以跳转至“窗口布局”界面。如图14所示，在“窗口布局”界面中，可以包括“自定义窗口显示顺序”的选项。当用户选中该选项时，可以触发显示设备200跳转至“窗口设置”界面，如图15所示，“窗口设置”界面中可以提供“根据编号进行显示设置”的设置栏，并通过多个选择框表示每个窗口编号可定义的内容。

在用户选中任一选择框上的“+”按钮时，可以触发显示设备200显示窗口选项列表界面(或对话框)，以从中选择该窗口定义的显示内容。即，如图16所示，用户可以在编号“1”的选择框上点击“+”按钮，触发显示“选择参会者”列表界面，并在其中选中“主持人”选项，以定义在1号窗口位置显示“主持人”对应的视频通话内容，如图17所示。

通过上述窗口设置界面，用户可以更直观的定义窗口显示顺序，并通过简单的选中操作即可达到顺序调整的目的，使显示设备200在按照用户需要依序显示的同时，减轻操作难度，提高用户体验。

如图18所示，在一些实施例中，为了使显示设备200可以按照用户自定义的顺序进行显示，在使用所述通话数据流替换所述用户界面中视频通话窗口的显示内容的步骤中，显示设备200可以先按照原始顺序，提取每个所述视频通话窗口的用户ID，即确定每个窗口的原用户ID；同时按照自定义顺序，提取每个目标窗口的现用户ID，即确定每个窗口的现用户ID。

再对提取的用户ID进行对比，如果原用户ID与现用户ID不同，即当前窗口所显示的内容需要调整，则可以使用目标窗口的通话数据流替换视频通话窗口中的显示内容；如果原用户ID与现用户ID相同，即在当前窗口位置上，初始顺序和自定义顺序所显示的视频通话内容对应用户ID相同，不需要替换该窗口的显示内容，因此可以保留视频通话窗口的显示内容。

为了便于用户参与多人会议，在多人通话界面中可以将一个窗口作为主视频窗口。主视频窗口相对于其他窗口的窗口面积更大，因此可以更清晰的显示对应的视频通话内容。在自定义显示顺序后，如果当前主视频窗对应显示的视频数据流对应用户ID发生改变，因涉及到从服务器400订阅现用户ID的视频流的过程，存在视频流加载过程，该过程会消耗部分时间，因此可以在切换现用户ID对应视频流的过程，则可以在视频流在未拉取到之前，会先显示该用户的默认头像画面。

同理，如果原用户ID与现用户ID不同，即当前窗口的显示内容需要替换时，显示设备200可以检测目标窗口是否开启视频功能，如果目标窗口已开启视频功能，获取目标窗口的通话数据流，以使用通话数据流替换视频通话窗口中的显示内容；如果目标窗口未开启视频功能，获取现用户ID对应的识别画面，以在视频通话窗口中显示识别画面。

例如，当主视频窗切换至用户ID：xx0004后，如果ID为xx0004的用户未开启视频功能，则其向服务器400上传的通话数据流中仅包含音频数据流，不包含视频数据流。因此在将该用户对应的通话数据流切换至主视频窗显示时，不能在主视频窗内形成视频画面。此时，显示设备200可以提取xx0004用户的头像显示在主视频窗中。

当参与多人通话的用户数量较多时，由于用户自定义显示顺序的过程中，一般仅选择其中自己关注的窗口，因此会造成用户自定义的显示顺序中，只包括部分目标窗口。而为了在用户自定义顺序后，显示设备200仍能够对全部用户的通话窗口进行显示，在一些实施例中，显示设备200可以在使用通话数据流替换用户界面中视频通话窗口的显示内容的步骤中，获取目标窗口数量和用户界面的窗口总数量，并对获取的取目标窗口数量和用户界面的窗口总数量进行对比。如果目标窗口数量等于窗口总数量，即用户对所有窗口都进行了顺序设定，因此可以直接按照自定义顺序对用户界面中的窗口顺序进行显示即可。

如果目标窗口数量小于窗口总数量，即用户未对全部窗口的显示顺序进行定义，因此显示设备200可以将用户界面中的第一窗口替换为目标窗口的通话数据流。其中，第一窗口为用户界面中的目标窗口数量个视频对话窗口。例如，用户在窗口设置界面中自定义的显示顺序为“001窗口——主持人”、“002窗口——嘉宾2”、“003窗口——嘉宾6”，则第一窗口是编号分别为“001”、“002”、“003”的窗口。此时，显示设备200可以先将“001”、“002”、“003”的窗口分别替换为“主持人”、“嘉宾2”以及“嘉宾6”的视频通话画面。

在替换第一窗口的通话数据流后，显示设备200还可以按照初始顺序在用户界面中显示第二窗口的通话数据流。其中，第二窗口为用户界面中除第一窗口外的视频对话窗口。例如，第二窗口为在用户界面中，除编号分别为“001”、“002”、“003”窗口以外的其他视频通话窗口。对于其他窗口，显示设备200可以在剔除“主持人”、“嘉宾2”以及“嘉宾6”用户窗口后，再按照初始顺序进行排序显示。

基于上述视频显示顺序调整方法，本申请的部分实施例中还提供一种显示设备200。所述显示设备200包括显示器260、通信器220以及控制器250。其中，控制器250被配置为执行以下程序步骤：

获取用户输入的用于调整视频通话窗口显示顺序的控制指令；

响应于所述控制指令，从所述控制指令中提取目标窗口识别信息和自定义顺序，所述目标窗口为所述控制指令中指定的被调整显示顺序的视频通话窗口；

根据目标窗口识别信息，获取所述目标窗口的通话数据流；

按照所述自定义顺序，使用所述通话数据流替换所述用户界面中视频通话窗口的显示内容。

下面将结合一个具体的视频会议实例，对上述显示设备200的视频显示顺序调整方法进行详细描述，例如，如图19所示，用户在显示设备200所显示的主视频窗口中发起并加入会议后，显示设备200会请求音视频平台系统端信令服务，获取会议中参会者列表数据。参会者列表数据会通过信令软件开发工具包(Software Development Kit，SDK)回调参会者数据。显示设备200再将参会者列表数据进行存储，包括用户ID、图像、音频状态、视频状态等。在获得参会者数据后，显示设备200还可以按照视频会议应用程序的默认排序，对参会者列表进行排序。再以消息的方式触发主视频窗口刷新，使主视频窗口上每个参会者创建一个窗口view，该窗口view会与参会者绑定，并展示相应的用户视频画面。

当用户需要对视频会议窗口进行顺序调整时，可以通过自定义窗口UI切换到对应窗口编号，选择相应参与者对应的窗口。则显示设备200可以根据用户输入的切换操作，在存储的数据中提取对应的参会者数据内容。在返回参会者数据后，显示设备200会对参会者数据进行UI展示，供用户进行选择调整顺序。用户在选择调整顺序的窗口后，选择参会者窗口会向自定义窗口UI返回选择的参会者，使用户可以在选择完毕后，点击自定义窗口UI中的确定按钮，确定对应窗口布局的自定义参会者列表顺序，并向参会者数据库发送自定义参会者列表顺序。

参会者数据库在接收到列表顺序后，可以对接收到的列表顺序进行记录。主视频窗口可以实时监听参会者数据库中记录的状态，并实时对比当前显示的视频窗口顺序与最新自定义的列表顺序，如果列表顺序相同，则保持画面不变。例如，可以针对主视频窗对比每个参会者视频窗口view位置的用户ID与对应布局参会者数据模块对应位置的用户ID，相同时，保持主视频窗口对应用户ID对应内容不变；否则将主视频窗口中的替换为排序后的用户ID画面。

显示顺序还可以在其他参会者的状态发生改变时自动进行调整。即其他参会者在开关本地音频或视频时，可以向音视频平台系统端同步音频状态和视频状态，音视频平台系统端在通过信令服务广播音频、视频状态。信令SDK在接收到广播的音频状态和视频状态后可以向参会者数据库回调用户音频、视频状态，以更新参会者数据库中记录的状态数据，触发参会者列表进行重新排序，以按照对应窗口布局的自定义顺序和音视频状态整体进行排序。再将整体排序后的顺序以消息方式触发主视频窗口刷新，完成视频显示顺序的调整。

由以上技术方案可知，本申请提供的显示设备200可以在用户输入用于调整显示顺序的控制指令后，提取被调整显示顺序的视频通话窗口的识别信息，并依据识别信息订阅对应窗口的通话数据流，从而根据用户自定义的显示顺序使用通话数据流替换视频通话窗口的显示内容。所述显示设备200可以使参与多人视频对话的多个显示设备都能够按照用户需要对视频通话窗口进行自由排序，便于不同用户可以根据不同的对话需要分别控制视频显示顺序，提升用户体验。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示用户界面，所述用户界面中包括按初始顺序显示的多个视频通话窗口；

通信器，被配置为连接服务器；

控制器，被配置为：

获取用户输入的用于调整视频通话窗口显示顺序的控制指令；

响应于所述控制指令，从所述控制指令中提取目标窗口识别信息和自定义顺序，所述目标窗口为所述控制指令中指定的被调整显示顺序的视频通话窗口；

根据目标窗口识别信息，获取所述目标窗口的通话数据流；

按照所述自定义顺序，使用所述通话数据流替换所述用户界面中视频通话窗口的显示内容。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

在获取用户输入的用于调整视频通话窗口显示顺序的控制指令的步骤中，检测用户输入的第一交互动作，所述第一交互动作为用于触发窗口设置界面的交互动作；

响应于所述第一交互动作，显示窗口设置界面，所述窗口设置界面中包括视频通话窗口选项；

检测用户基于所述视频通话窗口选项输入的第二交互动作，所述第二交互动作为用于定义显示顺序的交互动作；

记录所述第二交互动作依次选中的视频通话窗口选项，以生成所述自定义顺序。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

在根据目标窗口识别信息，获取所述目标窗口的通话数据流的步骤中，遍历所述目标窗口的用户ID；

向服务器发送数据订阅请求，所述数据订阅请求包括所述用户ID；

接收所述服务器针对所述数据订阅请求反馈的数据流通道信息，以连接所述用户ID对应的数据流通道，获取所述通话数据流。

4.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

在使用所述通话数据流替换所述用户界面中视频通话窗口的显示内容的步骤中，按照所述原始顺序，提取每个所述视频通话窗口的原用户ID；

按照所述自定义顺序，提取每个目标窗口的现用户ID；

如果所述原用户ID与所述现用户ID不同，使用所述目标窗口的通话数据流替换所述视频通话窗口中的显示内容；

如果所述原用户ID与所述现用户ID相同，保留所述视频通话窗口的显示内容。

5.根据权利要求4所述的显示设备，其特征在于，如果所述原用户ID与所述现用户ID不同，所述控制器被进一步配置为：

检测所述目标窗口是否开启视频功能；

如果所述目标窗口已开启视频功能，获取所述目标窗口的通话数据流，以使用所述通话数据流替换视频通话窗口中的显示内容；

如果所述目标窗口未开启视频功能，获取现用户ID对应的识别画面，以在所述视频通话窗口中显示所述识别画面。

6.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

获取用户输入的用于开启或加入多人视频对话的入会指令；

响应于所述入会指令，从所述服务器获取参会列表信息，所述参会列表信息包括用户ID和音视频状态；

根据所述参会列表信息设置所述初始顺序；

按照所述初始顺序，在所述用户界面中绘制多个视频通话窗口。

7.根据权利要求6所述的显示设备，其特征在于，所述控制器被进一步配置为：

在根据所述参会列表信息设置所述初始顺序的步骤中，获取当前视频对话中为所述用户ID设置的身份信息；

基于所述身份信息设置第一优先级；

从所述音视频状态中解析音频开关值和视频开关值；

根据所述音频开关值和视频开关值计算判断值，所述判断值为所述音频开关值和视频开关值的加权求和结果；

基于所述判断值设置第二优先级，所述第一优先级高于所述第二优先级。

8.根据权利要求7所述的显示设备，其特征在于，所述控制器被进一步配置为：

监听所述用户界面中每个视频通话窗口的音视频状态；

如果任一所述视频通话窗口的音视频状态发生改变，根据改变后的音视频状态重新计算第二优先级；

按照重新计算的第二优先级调整所述视频通话窗口的显示顺序。

9.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

在使用所述通话数据流替换所述用户界面中视频通话窗口的显示内容的步骤中，获取所述目标窗口数量和所述用户界面的窗口总数量；

如果所述目标窗口数量小于所述窗口总数量，将所述用户界面中的第一窗口替换为所述目标窗口的通话数据流；所述第一窗口为所述用户界面中的所述目标窗口数量个视频对话窗口；

按照所述初始顺序在所述用户界面中显示第二窗口的通话数据流，所述第二窗口为所述用户界面中除所述第一窗口外的视频对话窗口。

10.一种视频显示顺序调整方法，其特征在于，应用于显示设备，所述视频显示顺序调整方法包括：

获取用户输入的用于调整视频通话窗口显示顺序的控制指令；

响应于所述控制指令，从所述控制指令中提取目标窗口识别信息和自定义顺序，所述目标窗口为所述控制指令中指定的被调整显示顺序的视频通话窗口；

根据目标窗口识别信息，获取所述目标窗口的通话数据流；

按照所述自定义顺序，使用所述通话数据流替换所述用户界面中视频通话窗口的显示内容。

Images