CN117812311A - 显示设备、显示控制方法、装置及存储介质 - Google Patents

Abstract

本发明实施例涉及智能终端技术领域，公开了一种显示设备、显示控制方法、装置及存储介质，该显示设备包括：麦克风，被配置为采集用户输入的音频数据；摄像头，被配置为采集用户的视频数据；控制器，被配置为：响应于入会指令，获取音频数据和视频数据；提取音频数据的音频特征和视频数据的视频特征；根据音频特征和视频特征中的至少一项，确定用户的登录类型；若用户的登录类型为非首次登录，则根据音频特征和/或视频特征查找用户的账户信息，并对账户信息进行验证；在账户信息验证通过的情况下，控制显示设备进入入会指令对应的音视频会议。应用本发明的技术方案，能够简化用户登入音视频会议的步骤，提高入会效率。

Description

显示设备、显示控制方法、装置及存储介质

技术领域

本发明涉及智能终端技术领域，尤其涉及一种显示设备、显示控制方法、装置及存储介质。

背景技术

随着智能终端技术的不断发展，使得许多以往需要线下完成的事务可以转由线上完成，大大提高了业务效率。例如，用户可以通过互联网进行视频或音频会议，使得参与者摆脱空间限制，通过计算机、智能手机或其他设备进行远程沟通和协作。

然而，在用户进入在线会议时，通常需要进行严格、繁琐的验证流程，如首先需要用户使用账号、密码等进行登录，然后用户需要检查设备权限是否开启，并对设备性能进行测试，尤其是在一些需要外接设备进行操控的智能终端，如电视上，用户输入账号、密码等的操作较为不便，并且设备权限等的设置方式较为复杂，导致用户进入会议的流程和操作复杂、耗时较长，用户体验不佳。

发明内容

本发明实施例提供一种显示设备、显示控制方法、装置及存储介质，用于解决现有技术中用户加入在线会议的流程和操作较为复杂的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

根据本发明实施例的一个方面，提供了一种显示设备，包括：1.一种显示设备，其特征在于，包括：显示器，被配置为显示用户界面；通信器，被配置为接收用户输入的入会指令；麦克风，被配置为采集所述用户输入的音频数据；摄像头，被配置为采集所述用户的视频数据；控制器，分别与所述显示器、所述通信器、所述麦克风和所述摄像头耦接，且被配置为：响应于所述入会指令，获取所述音频数据和所述视频数据；提取所述音频数据的音频特征和所述视频数据的视频特征；根据所述音频特征和所述视频特征中的至少一项，确定所述用户的登录类型；若所述用户的登录类型为非首次登录，则根据所述音频特征和/或所述视频特征查找所述用户的账户信息，并对所述账户信息进行验证；在所述账户信息验证通过的情况下，控制所述显示设备进入所述入会指令对应的音视频会议。

在一些实施例中，所述控制器还被配置为：若所述用户的登录类型为首次登录，则控制所述显示器显示信息录入界面；接收所述用户在所述信息录入界面输入的音频参考数据、视频参考数据和账户设置信息，所述账户设置信息包括所述用户的账户名称和账户密码；提取所述音频参考数据的音频参考特征和所述视频参考数据的人脸参考特征，并存储所述音频参考特征、所述人脸参考特征和所述账户设置信息。

在一些实施例中，所述控制器被配置为：对所述音频数据进行傅里叶变换，得到所述音频数据的音频频谱数据；提取所述音频频谱数据的各个峰值处的值，得到所述音频数据的所述音频特征。

在一些实施例中，所述控制器被配置为：将所述视频数据对应的视频图像帧进行灰度化处理，并将灰度化处理后的视频图像帧划分为多个子区域；针对所述视频图像帧的每个子区域，计算中心像素与各个周围像素的像素值差值，得到所述每个子区域对应的多个像素差；将各所述像素差转换为二进制数值，并根据各所述像素差对应的二进制数值，计算所述每个子区域的特征值；根据所述每个子区域的特征值，生成所有子区域的特征值矩阵，得到所述视频图像帧的视频特征，并根据所述视频图像帧的视频特征，生成所述视频数据的所述视频特征。

在一些实施例中，所述控制器被配置为：将所述视频特征和人脸参考特征库中的人脸参考特征进行匹配，并在所述视频特征与所述人脸参考特征库中的任一人脸参考特征匹配成功的情况下，将所述任一人脸参考特征对应的账户信息确定为所述用户的账户信息；和/或，将所述音频特征和音频参考特征库中的音频参考特征进行匹配，并在所述音频特征与所述音频参考特征库中的任一音频参考特征匹配成功的情况下，将所述任一音频参考特征对应的账户信息确定为所述用户的账户信息。

在一些实施例中，所述控制器还被配置为：计算所述视频特征与所述人脸参考特征库中的任一人脸参考特征的人脸相似度，在所述人脸相似度大于第一阈值的情况下，确定所述视频特征与所述任一人脸参考特征匹配成功；计算所述音频特征与音频参考特征库中的任一音频参考特征的音频相似度，在所述音频相似度大于第二阈值的情况下，确定所述音频特征与所述任一音频参考特征匹配成功。

在一些实施例中，所述控制器被配置为：将所述账户信息与所述用户首次登录时设置的账户设置信息进行比对，在所述账户信息与所述账户设置信息匹配时，确定所述账户信息验证通过；其中，所述账户信息与所述账户设置信息匹配包括所述账户信息中的账户名称与所述账户设置信息中的账户名称相同，且所述账户信息中的账户密码与所述账户设置信息中的账户密码相同。

在一些实施例中，所述控制器还被配置为：以所述用户的视频特征、音频特征和所述显示设备的硬件信息为密钥，对所述用户的账户信息进行加密。

在一些实施例中，所述控制器被配置为：响应于所述入会指令，确定所述显示设备的登录模式；若所述登录模式为第一登录模式，则获取所述音频数据和所述视频数据。

在一些实施例中，所述控制器还被配置为：若所述登录模式为第二登录模式，则控制所述显示器显示登录界面，并接收所述用户在所述登录界面输入的账户信息；在所述用户在所述登录界面输入的账户信息验证通过的情况下，检查所述摄像头和/或所述麦克风的权限状态，所述用户在所述登录界面输入的账户信息验证通过包括所述用户在所述登录界面输入的账户信息与所述用户设置的账户配置信息匹配；在所述摄像头的权限状态和所述麦克风的权限状态处于启用状态时，控制所述显示设备进入所述入会指令对应的音视频会议；以及在所述摄像头的权限状态或所述麦克风的权限状态处于未启用状态时，生成入会提示信息，所述入会提示信息用于提示所述用户入会失败。

在一些实施例中，所述控制器还被配置为：在所述摄像头的权限状态处于所述启用状态时，开启所述摄像头，以使所述用户对所述摄像头进行试用；和/或，在所述麦克风的权限状态处于所述启用状态时，开启所述麦克风，以使所述用户对所述麦克风进行试用；在所述用户对所述摄像头和所述麦克风试用成功时，控制所述显示设备进入所述入会指令对应的音视频会议。

根据本发明实施例的另一方面，提供了一种显示控制方法，应用于显示设备，所述显示设备包括麦克风和摄像头，所述方法包括：响应于用户输入的入会指令，获取所述麦克风采集的音频数据和所述摄像头采集的视频数据；提取所述音频数据的音频特征和所述视频数据的视频特征；根据所述音频特征和所述视频特征中的至少一项，确定所述用户的登录类型；若所述用户的登录类型为非首次登录，则根据所述音频特征和/或所述视频特征查找所述用户的账户信息，并对所述账户信息进行验证；在所述账户信息验证通过的情况下，控制所述显示设备进入所述入会指令对应的音视频会议。

根据本发明实施例的又一方面，提供了一种显示控制装置，应用于显示设备，所述显示设备包括麦克风和摄像头，所述装置包括：获取模块，用于响应于用户输入的入会指令，获取所述麦克风采集的音频数据和所述摄像头采集的视频数据；提取模块，用于提取所述音频数据的音频特征和所述视频数据的视频特征；确定模块，用于根据所述音频特征和所述视频特征中的至少一项，确定所述用户的登录类型；验证模块，用于若所述用户的登录类型为非首次登录，则根据所述音频特征和/或所述视频特征查找所述用户的账户信息，并对所述账户信息进行验证；控制模块，用于在所述账户信息验证通过的情况下，控制所述显示设备进入所述入会指令对应的音视频会议。

根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在显示设备上运行时，使得显示设备执行如上所述的显示控制方法的操作。

根据本发明实施例提供的显示设备、显示控制方法、装置及存储介质，显示设备可以响应于用户输入的入会指令，获取麦克风采集的音频数据和摄像头采集的视频数据，提取音频数据的音频特征和视频数据的视频特征，根据音频特征和视频特征中的至少一项，确定用户的登录类型，若用户的登录类型为非首次登录，则根据音频特征和/或视频特征查找用户的账户信息，并对账户信息进行验证，在账户信息验证通过的情况下，控制显示设备进入入会指令对应的音视频会议。应用本方案，可以充分利用摄像头和麦克风等输入设备的能力，减少用户登录在线会议的步骤，简化用户操作，提升登录效率。

附图说明

图1示出了本发明实施例提供的一种显示设备与控制装置的交互示意图；

图2示出了本发明实施例中控制装置的配置框图；

图3示出了本发明实施例提供的一种显示设备的硬件配置框图；

图4示出了本发明实施例提供的一种显示控制方法的流程图；

图5示出了本发明实施例提供的一种显示控制方法的子流程图；

图6示出了本发明实施例提供的另一种显示控制方法的子流程图；

图7示出了本发明实施例提供的又一种显示控制方法的子流程图；

图8示出了本发明实施例提供的一种音频频谱数据的示意图；

图9示出了本发明实施例提供的又一种显示控制方法的子流程图；

图10示出了本发明实施例提供的又一种显示控制方法的子流程图；

图11示出了本发明实施例提供的又一种显示控制方法的子流程图；

图12示出了本发明实施例提供的又一种显示控制方法的子流程图；

图13示出了本发明实施例提供的一种信息录入界面的示意图；

图14示出了本发明实施例提供的又一种显示控制方法的流程图；

图15示出了本发明实施例提供的一种显示控制装置的结构示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

本申请中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本发明实施例提供了一种显示设备和显示控制方法，该显示控制方法可以应用于显示设备。图1示出了本发明实施例提供的一种显示设备与控制装置的交互示意图。如图1所示，用户可以通过移动终端300或控制装置100操作显示设备200。控制装置100可以是遥控器，遥控器和显示设备200可以通过红外协议、蓝牙协议通信，或者遥控器也可以通过无线或其他有线方式来控制显示设备200。

用户可以通过遥控器上的按键、语音输入、控制面板等输入用户指令，来控制显示设备200。例如，用户可以通过遥控器上的上下键控制显示设备200切换显示的页面，通过播放暂停键控制显示设备200播放的视频播放或暂停，通过语音输入键输入语音指令，以控制显示设备200执行相应的操作。

在一些实施例中，用户也可以使用移动终端、平板电脑、计算机、笔记本电脑和其他智能设备来控制显示设备200。例如，用户可以通过安装在智能设备上的应用程序控制显示设备200，该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面中为用户提供各种控制。

在一些实施例中，移动终端300可与显示设备200安装的软件应用，通过网络通信协议实现连接通信，实现一对一控制操作和数据通信的目的。例如，可以实现用移动终端300与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端300上，通过控制移动终端300上的用户界面，实现控制显示设备200的功能，或者也可以将移动终端300上显示的内容传输到显示设备200上，实现同步显示的功能。

如图1所示，显示设备200与服务器400可以通过多种通信方式进行数据通信，可允许显示设备200通过局域网(Local Area Network，LAN)、无线局域网(Wireless LocalArea Network，WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。例如，显示设备200通过发送和接收消息，以及电子节目指南(ElectricalProgram Guide，EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。其中，服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

显示设备200可以是液晶显示器、有机电激光显示(Organic Light-EmittingDiode，OLED)显示器、投影显示设备、智能终端，如手机、平板电脑、智能电视、激光投影设备、电子桌面(electronic table)等。具体显示设备类型，尺寸大小和分辨率等不作限定。

图2示出了本发明示例性实施例中控制装置100的配置框图，如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可以接收用户输入的操作指令，且将操作指令转换为显示设备200可识别和响应的指令，在用户与显示设备200之间起交互中介作用。

示例性的，以显示设备为电视机为例，图3示出了本发明实施例提供的一种显示设备200的硬件配置框图。如图3所示，显示设备200包括：调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、麦克风280、摄像头290和存储器、供电电源、用户接口中的至少一种。

调谐解调器210可以通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如EPG数据信号。检测器230可以用于采集外部环境或与外部交互的信号。

在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使得调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号，模拟调制信号等。再或者根据信号种类不同区分为数字信号、模拟信号等。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，通信器220可以是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。

在一些实施例中，检测器230可以用于采集外部环境或与外部交互的信号，可以包括光接收器和温度传感器等。

其中，光接收器可以用于采集环境光线强度的传感器，以及根据环境光线强度自适应调整显示参数等；温度传感器可以用于感测环境温度，使得显示设备200可以自适应调整图像的显示色温，如当环境温度偏高时，可以调整显示设备200显示图像的色温偏冷色调，或者当环境温度偏低时，可以调整显示设备200显示图像的色温偏暖色调。

在一些实施例中，检测器230还可以包括图像采集器，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。

在一些实施例中，检测器230还可以包括声音采集器等，如麦克风，可以用于接收用户的声音。例如，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应适应环境噪声。

在一些实施例中，外部装置接口240可以包括，但不限于如下：高清多媒体接口(High Definition Multimedia Interface，HDMI)、模拟或数据高清分量输入接口、复合视频输入接口、通行串行总线(Universal Serial Bus，USB)输入接口、RGB端口等任一个或多个接口，或者也可以是上述多个接口形成复合性的输入/输出接口。

如图3所示，控制器250可以包括中央处理器，视频处理器，音频处理器，图形处理器，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口中的至少一种。其中，通信总线连接各个部件。

在一些实施例中，控制器250可以通过存储在外部存储器上的各种软件控制程序，来控制显示设备的工作和响应用户的操作。例如，用户可在显示器260上显示的图形用户界面(Graphic User Interface，GUI)输入用户命令，则用户输入接口通过图形用户界面接收用户输入命令，或者用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

“用户界面”是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、微件(Web widget，简称Widget)等可视的界面元素中的至少一种。

在一些实施例中，RAM可以用于存储操作系统或其他正在运行中的程序的临时数据；ROM可以用于存储各种系统启动的指令，例如，可以用于存储一个基本输入输出系统，称为基本输入输出系统(Basic Input Output System，BIOS)启动的指令。ROM可以用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。

在一些实施例中，在收到开机信号时，显示设备200电源开始启动，中央处理器运行ROM中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至RAM中，以便于启动或运行操作系统。当操作系统启动完成后，中央处理器再将存储器中各种应用程序的临时数据拷贝至RAM中，然后，以便于启动或运行各种应用程序。

在一些实施例中，中央处理器可以用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，中央处理器可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。

在一些实施例中，视频处理器可以被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、透明度设置、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器可以包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块用于对输入音视频数据流进行解复用处理，如输入活动图像专家组标准2(Moving Picture Experts Group-2，MPEG-2)，则解复用模块进行解复用成视频信号和音频信号等；视频解码模块则用于对解复用后的视频信号进行处理，包括解码和缩放处理、透明度设置等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器可以用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，视频处理器可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。同时，视频处理器和音频处理器可以是单独的一颗芯片，也可以与控制器一起集成在一颗或多颗芯片中。

在一些实施例中，用于输入/输出的接口可以用于进行音频输出，即在控制器250的控制下接收音频处理器输出的声音信号，并输出至扬声器等外放装置，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等。音频输出还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙连接的扬声器声音输出的蓝牙模块。

在一些实施例中，图形处理器可以用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。图形处理器可以包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，图形处理器可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如图形处理器(Graphics Processing Unit，GPU)+帧频率转换技术(FrameRate Conversion，FRC)架构。

显示器260可以是液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

在一些实施例中，显示器260可以用于显示用户界面，如可以用于显示显示设备对应的界面，例如，显示界面可以是显示设备中的频道搜索界面，或者也可以是某个应用程序的显示界面等。

在一些实施例中，显示器260可以用于接收音频处理器和视频处理器输出的音视频信号，显示视频内容和图像、播放视频内容的音频，以及显示菜单操控界面的组件。

在一些实施例中，显示器260可以用于呈现显示设备200中产生且用于控制显示设备200的用户操作UI界面。

在一些实施例中，显示设备200可以通过通信器220与控制装置100或内容提供设备之间建立控制信号和数据信号发送和接收。

在一些实施例中，存储器可以包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块和各种服务模块等中的至少一种。

其中，基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。

显示控制模块可以用于控制显示器进行显示图像内容的模块，可以用于播放多媒体图像内容和UI界面等信息。通信模块，可以用于与外部设备之间进行控制和数据通信的模块。浏览器模块，可以用于执行浏览服务器之间数据通信的模块。服务模块，用于提供各种服务以及各类应用程序在内的模块。同时，存储器还可以用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。

在一些实施例中，用户接口可以用于接收控制装置100，如：红外遥控器等发送的红外控制信号。

供电电源可以在控制器250控制下，通过外部电源输入的电力为显示设备200提供电。

在一些实施例中，显示设备200可以通过通信器220接收用户输入的入会指令。例如，当通信器220为触控组件时，触控组件可以与显示器260共同构成触摸屏。在触摸屏上用户可以通过触摸操作输入不同的控制指令，如用户可以输入点击、滑动、长按、双击等触控指令，不同的触控指令可以代表不同的控制功能。

为了实现上述不同的触摸动作，触控组件可以在用户输入不同触摸动作时，产生不同的电信号，并将产生的电信号发送给控制器250。控制器250可以对接收到的电信号进行特征提取，从而根据提取的特征确定用户要执行的控制功能。

例如，当用户在显示界面中的搜索位置输入点击触摸动作时，触控组件将感应到触摸动作从而产生电信号。控制器250在接收到电信号后，可以先对电信号中触摸动作对应电平的持续时间进行判断，在持续时间小于预设时间阈值时，识别出用户输入的是点击触控指令。控制器250再对电信号产生的位置特征进行提取，从而确定触摸位置。当触摸位置在搜索位置范围内时，确定用户在搜索位置输入了点击触控指令。然后，控制器250可以启动入会功能，并接收用户输入的入会指令，如用户在搜索位置输入的会议链接等。

在一些实施例中，显示界面可以是会议登录界面，用户可以在会议登录界面中输入会议的名称、编码和验证码等触发入会操作。

在一些实施例中，在触摸屏上用户可以通过触摸操作输入语音指令，如用户可以通过语音触发手势在显示器260上触发语音入会操作。

在一些实施例中，通信器220也可以是外接控制组件，如可以是与显示设备建立通信连接的鼠标、遥控器等。当用户在外接控制组件上执行不同的控制操作时，外接控制组件可以响应于用户的控制操作，产生不同的控制信号，并将产生的控制信号发送给控制器250。控制器250可以对接收到的控制信号进行特征提取，从而根据提取的特征确定用户要执行的控制功能。

例如，当用户通过外接控制组件在会议登录界面中的会议信息输入位置点击鼠标左键时，外接控制组件可以感应到控制动作从而产生控制信号。控制器250在接收到控制信号后，可以根据控制信号中控制动作在所在位置的停留时间，在停留时间小于预设时间阈值时，识别出用户通过外界控制组件输入的是点击指令。点击指令在当前场景下用于触发入会指令的输入功能的指令。然后，用户可以在会议信息输入位置输入想要进入的会议信息，如会议编码等，以触发入会指令。

再例如，当用户按下遥控器上的语音键时，遥控器可以启动语音录入功能，用户可以通过语音指令输入想要进入会议的目的，以及想要进入会议的会议信息，从而触发入会指令。在用户录入语音指令的过程中，遥控器可以将语音指令同步给显示器260，此时显示器260可以显示语音录入标识，以表示用户正在录入语音指令。

在一些实施例中，通信器220还可以是与显示器260连接的控制组件，以台式电脑为例，控制组件可以是与显示器连接的键盘。用户可以通过键盘输入不同的控制指令，如入会指令等。

在一些实施例中，显示设备200还可以包括麦克风280和摄像头290，麦克风280用于采集用户输入的音频数据，摄像头290用于采集用户的视频数据。

示例性的，麦克风280作为录制音频数据的设备，可以将音频数据转换为电信号，通过音频输入输出接口传输到显示设备上进行录音和语音通话。摄像头290用于捕捉图像和视频，可以进行视频通话、拍摄照片和录制视频等功能。

例如，在用户进入音视频会议后，麦克风280可以采集用户录入的音频数据，使得用户可以和参加音视频会议的其他用户进行通话，摄像头290可以采集用户的视频数据，使得其他用户能够看到用户的表情、姿态等。

为了便于详述本发明实施例提供的显示控制方法，图4示出了本发明实施例提供的一种显示控制方法的流程图，该方法可以应用于图1所示的显示设备200。

其中，显示设备200可以包括显示器260、通信器220、麦克风280和摄像头290，以及分别与显示器260和通信器220耦接的控制器250。显示器260可以用于显示用户界面，用户界面是用户与显示设备200的交互界面，用户可以通过控制操作，如触控操作、手势操作等向显示设备200发送指令，以实现某种任务。用户界面具有完善的交互式设计，可以使用户轻松完成一项任务。

例如，用户界面可以是会议登录界面，用户可以通过会议登录界面中的搜索框输入会议信息，如会议编码、会议名称，或者用户界面也可以是会议页面，该会议页面是指多个用户进行会议时的页面，可以包括视频区域和参会成员显示区域等，其中，视频区域可以用于显示用户的视频内容，参会成员显示区域用于显示参加会议的成员的信息，如用户名称、部门等。

在一些实施例中，会议页面可以包括多个功能控件，如语音转换控件、会议录制控件、文件控件等，每个控件用于启用不同的会议控制功能，例如，语音转换控件可以用于使控制器250在会议期间，将录入的音频数据转换为文本数据，并进行显示；会议录制控件可以用于开启会议的录制功能，使得参会者或其他用户可以在会议完成后查看会议的录制内容；文件控件可以用于显示参会者等上传的文件数据。

通信器220可以用于接收用户输入的入会指令。入会指令可以指示控制器250获取某个音视频会议的会议信息，并控制显示器260显示某个音视频会议的页面。

根据本发明实施例提供的显示控制方法，显示设备可以响应于用户输入的入会指令，获取麦克风采集的音频数据和摄像头采集的视频数据，提取音频数据的音频特征和视频数据的视频特征，根据音频特征和视频特征中的至少一项，确定用户的登录类型，若用户的登录类型为非首次登录，则根据音频特征和/或视频特征查找用户的账户信息，并对账户信息进行验证，在账户信息验证通过的情况下，控制显示设备进入入会指令对应的音视频会议。应用本方案，可以充分利用摄像头和麦克风等输入设备的能力，减少用户登录在线会议的步骤，简化用户操作，提升登录效率。

如图4所示，控制器250被配置为执行以下步骤S410～S450：

步骤S410：响应于入会指令，获取音频数据和视频数据。

其中，音频数据可以由显示设备的麦克风采集得到，视频数据可以由显示设备的摄像头采集得到。

入会指令可以用于指示进入某个音视频会议。示例性的，入会指令可以在用户打开会议页面时自动生成和触发，例如，当用户在浏览器的搜索框中输入音视频会议的链接时，可以触发入会指令，或者在用户在音视频会议系统的主页面上输入音视频会议的会议信息时，触发入会指令，此时，显示设备可以响应于该入会指令，获取用户的音频数据和视频数据。

根据入会指令的输入方式，入会指令可以是文本指令，如用户可以在搜索页面的搜索框中输入会议信息，以使控制器响应于用户的输入操作，生成文本入会指令；入会指令也可以是语音指令，用户可以通过显示设备的语音录入功能或者显示设备外接的控制组件，如遥控器、麦克风等录入语音入会指令。

在接收到入会指令时，控制器可以采集用户输入的音频数据和视频数据。例如，控制器可以控制显示设备开启麦克风和摄像头，并通过麦克风采集用户输入的音频数据，通过摄像头采集用户的视频数据，如人脸视频数据。

在上述方法中，用户的音频数据和视频数据作为判断用户能否入会的依据，能够用于识别用户的身份。为了便于获取用户的音频数据和视频数据，在一些实施例中，控制器可以执行以下方法：

响应于入会指令，确定显示设备的登录模式。

若登录模式为第一登录模式，则获取音频数据和视频数据。

其中，登录模式是指登录在线会议的方式，且登录模式可以包括多种方式，每种方式可以指示用户登录在线会议的验证方式，如允许用户使用账户名称和账户密码登录会议系统、显示设备开启麦克风和摄像头的权限，并确保麦克风和摄像头工作正常等，在满足验证方式对应的登录条件，如用户输入正确的账户名称和账户密码，或者用户不仅输入了正确的账户名称和账户密码，还开启了麦克风和摄像头的权限时，用户能够登录并参与会议。

用户可以在显示设备的设置系统中设置会议的登录模式，例如，在电视终端，用户可以在浏览器中登录在线会议系统，从而开始或者参加相应的在线会议，基于此，用户可以在电视终端的设置系统中设置浏览器中在线会议系统的登录模式。

示例性的，登录模式可以包括快速登录在线会议的第一登录模式和普通登录在线会议的第二登录模式。

在接收到入会指令时，控制器可以检测显示设备的登录模式，在登录模式为第一登录模式时，可以获取通过麦克风采集的音频数据和通过摄像头采集的视频数据。

在一些实施例中，当用户设置登录模式为第一登录模式时，显示设备可以启动麦克风和摄像头的权限，使得用户在登录在线会议时，自动通过麦克风和摄像头采集音频数据和视频数据。

在获取音频数据时，控制器可以控制显示器显示提示信息，以引导用户讲出指定的语句，如“请登录在线会议系统”、“我要开会”等，以采集用户说出指定语句时的音频数据。在获取视频数据时，为了便于验证用户的身份，控制器可以控制显示器显示人脸采集区域，使得用户可以按照人脸采集区域的位置，在人脸采集区域中录制视频数据。

在一些实施例中，参考图5所示，控制器还可以执行以下方法：

步骤S510：若登录模式为第二登录模式，则控制显示器显示登录界面，并接收用户在登录界面输入的账户信息。

其中，登录界面是指登录在线会议系统的界面，其可以包括账户信息的输入区，输入区中可以设置账户名称的输入框和账户密码的输入框，以及相应的操作控件，如登录、取消控件等。用户可以在相应的输入框中输入信息，并通过相应的操作控件确认和取消操作。

在控制器检测到显示设备设置的会议的登录模式为第二登录模式时，说明此时显示设备不支持智能登录，所以可以控制显示器显示登录界面，使得用户可以在登录界面的账户信息输入区输入账户信息，如账户名称和账户密码。

步骤S520：在用户在登录界面输入的账户信息验证通过的情况下，检查摄像头和/或麦克风的权限状态。

用户在登录界面输入的账户信息验证通过包括用户在登录界面输入的账户信息与用户设置的账户配置信息匹配。账户配置信息是指用户首次注册和登录在线会议系统时设置的账户信息，可以包括账户名称、账户密码、身份信息、年龄等多种信息。摄像头和麦克风的权限状态是指摄像头和麦克风的使用权限是否对在线会议系统开启，只有在开启权限的情况下，在线会议系统才能够使用摄像头和麦克风。

在控制器接收到用户在登录界面输入的账户信息时，可以对该账户信息进行验证，例如，将该账户信息与用户设置的账户配置信息进行比较，在确定该账户信息与用户设置的账户配置信息匹配时，确定用户在登录界面输入的账户信息验证通过，此时，用户身份验证通过，可以执行下一步骤，即检查摄像头和/或麦克风的权限状态。

其中，用户在登录界面输入的账户信息与用户设置的账户配置信息匹配是指用户在登录界面输入的账户信息与账户配置信息中对应的设置项数据一致，如账户名称一致，且账户密码一致。

步骤S530：在摄像头的权限状态和麦克风的权限状态处于启用状态时，控制显示设备进入入会指令对应的音视频会议。

在摄像头的权限状态和麦克风的权限状态处于启用状态时，说明用户在会议期间能够正常使用摄像头和麦克风，所以可以控制显示设备进入入会指令对应的音视频会议。然后，用户便可以在会议期间使用麦克风输入语音，以与其他参会成员交流，其他参会成员也可以通过该用户的摄像头看到该用户的视频信息。

步骤S540：在摄像头的权限状态或麦克风的权限状态处于未启用状态时，生成入会提示信息。

其中，入会提示信息用于提示用户入会失败。

示例性的，在电视终端，摄像头和麦克风等设备的权限设置较为复杂，比如为了便于使用在线会议系统，同时确保用户使用浏览器的安全性，用户不能只设置浏览器的设备权限，而需要设置用户通过浏览器登录在线会议系统时的设备权限。因此，在摄像头的权限状态或麦克风的权限状态处于未启用状态时，用户无法正常使用摄像头或麦克风，此时可以生成提示用户入会失败的入会提示信息，使得用户可以手动开启摄像头或麦克风的权限，并进行下一次登录。

在一些实施例中，入会提示信息可以包括设置摄像头或麦克风的权限的提示信息，使得用户可以按照入会提示信息的指示，设置摄像头或麦克风的权限。

通过上述步骤S510～S540，可以在显示设备的会议的登录模式为第二登录模式时，使用户通过登录界面输入账户信息，进而在账户信息验证通过时，检查摄像头和麦克风的权限状态，确保摄像头和麦克风的权限在启用状态下，用户能够正常进入会议，而在摄像头或麦克风的权限未启用时，向用户发送入会提示信息，以提示用户入会失败，可以帮助用户实现身份认证，并且确保用户能够正常参会。

在一些实施例中，参考图6所示，控制器还可以执行以下方法：

步骤S610：在摄像头的权限状态处于启用状态时，开启摄像头，以使用户对摄像头进行试用。

在摄像头的权限状态处于启用状态时，控制器可以开启摄像头，使得用户可以对摄像头的拍摄功能进行试用，以确保在会议期间能够正常与其他参会成员进行视频。

步骤S620：在麦克风的权限状态处于启用状态时，开启麦克风，以使用户对麦克风进行试用。

在麦克风的权限状态处于启用状态时，控制器可以开启麦克风，使得用户可以对麦克风的录音功能进行试用，以确保在会议期间能够正常录入语音。

步骤S630：在用户对摄像头和麦克风试用成功时，控制显示设备进入入会指令对应的音视频会议。

在确定用户对摄像头和麦克风试用成功时，用户能够正常参会，与其他参会成员进行音视频通话，所以控制器可以控制显示设备进入入会指令对应的音视频会议。其中，用户对摄像头和麦克风的试用结果可以由控制器检测摄像头和麦克风的运行状态确定。

需要说明的是，上述步骤S610和S620是否执行取决于摄像头和麦克风的权限状态是否处于启用状态，即步骤S610和S620可以同时执行，也可以仅执行一个，本实施例对此不做特殊限定。

通过步骤S610～S630，可以在确定摄像头和麦克风的权限开启时，使用户对摄像头和麦克风进行试用，确保两者能够在会议期间正常工作，提升用户参加在线会议的服务质量。

步骤S420：提取音频数据的音频特征和视频数据的视频特征。

音频特征是指从音频数据中提取出来的用于描述音频数据的重要特点和属性的数据，具体而言，音频特征是指从音频数据中提取出的数值表示，用于描述音频数据的各种属性和特征。示例性的，音频特征可以包括音频数据的声谱特征、时域特征、频域特征和MFCC(Mel Frequency Cepstrum Coefficient，梅尔频率倒谱系数)等。

其中，声谱特征可以包括频谱形状、频谱质心、频谱变化等，用于描述音频数据的频率分布和频谱特性，时域特征可以包括音量、能量、持续时间等，用于描述音频数据在时间轴上的特点，频域特征可以包括音调、音高、音色等，用于描述音频数据在频域上的特征，MFCC是一种常见的音频特征提取方法，用于捕捉音频数据的语音内容和特征。

视频特征是指从视频数据中提取出来的用于描述视频数据的重要特点和属性的数据，具体而言，视频特征是从视频数据中提取出的数值表示，用于描述视频的各种属性和特征。示例性的，视频特征可以包括视频数据的颜色特征、运动特征、结构特征和时序特征等。

其中，颜色特征可以包括颜色直方图、颜色矩、颜色分布等，用于描述视频数据的颜色信息，运动特征可以包括光流、运动向量、帧差分等，用于描述视频数据中的运动轨迹和动态特征，结构特征可以包括视频数据的纹理特征、边缘检测、轮廓检测等，用于描述视频数据中的结构和形状特征，时序特征可以包括关键帧、镜头变化、动作识别等，用于描述视频数据的时间变化和动态特征。

在获取用户的音频数据和视频数据后，控制器可以提取音频数据的音频特征和视频数据的视频特征。例如，控制器可以对音频数据的音频信号进行转换处理，来提取上述音频特征，如声谱特征、时域特征、频域特征和MFCC等，对视频数据的视频序列进行转换处理，来提取上述视频特征，如颜色特征、运动特征、结构特征和时序特征等。

通过提取音频数据的音频特征和视频数据的视频特征，可以得到音频数据和视频数据的代表性特征，以便对用户的身份进行验证，从而实现对用户入会的登录验证，并提高入会验证准确率。

在一些实施例中，参考图7所示，控制器可以通过以下方法提取音频数据的音频特征：

步骤S710：对音频数据进行傅里叶变换，得到音频数据的音频频谱数据。

通过对音频数据进行傅里叶变换，可以将时域的音频数据转换到频域，得到音频数据的音频频谱数据。

示例性的，可以通过下式(1)计算音频数据的傅里叶级数f(x)，得到音频数据的音频频谱数据：

其中，a₀、a_n和b_n为傅里叶系数，均是常数，L为周期。

步骤S720：提取音频频谱数据的各个峰值处的值，得到音频数据的音频特征。

在生成音频数据的音频频谱数据之后，可以从音频频谱数据中提取特征值，作为音频数据的音频特征。例如，如图8所示，可以从音频数据的音频频谱数据中提取每个峰值处的值，将得到的音频序列作为音频数据的音频特征。

通过步骤S710～S720，可以从用户输入的音频数据中提取出用户的音频特征，便于后续利用音频特征对用户身份进行校验。

在一些实施例中，参考图9所示，控制器可以通过以下方法提取视频数据的视频特征：

步骤S910：将视频数据对应的视频图像帧进行灰度化处理，并将灰度化处理后的视频图像帧划分为多个子区域。

视频数据对应的视频图像帧可以是视频数据对应的任意一个或多个图像帧，例如，可以是视频数据对应的每一个图像帧，也可以是视频数据中包括用户的人脸特征数量最多的图像帧。

灰度化是指将视频图像帧转化为只包含灰度信息的图像，灰度图像中每个像素点只有一个数值，表示该点的亮度或灰度水平，通常介于0到255之间。

示例性的，可以将视频数据的视频图像帧进行灰度化处理，然后对视频数据的视频图像帧进行划分，如以每个像素为中心，周围的N个像素组成一个子区域，N为大于0的正整数。例如，可以以每个像素为中心，周围的8个像素组成一个子区域，使得每个子区域包括3*3的像素数量。

下表1示出了一个子区域的像素值分布示例，如下所示：

表1

20	98	198
			52	85	200
61	174	246

其中，85为中心像素的像素值，其他周围像素的像素值分别为20、98、198、200、246、174、61、52。

在一些实施例中，为了避免重复计算，可以根据视频图像帧的像素总数量，划分子区域的大小，使得每个像素都能被划分至对应的子区域中，且各子区域中不会存在重复像素。

步骤S920：针对视频图像帧的每个子区域，计算中心像素与各个周围像素的像素值差值，得到每个子区域对应的多个像素差。

针对视频图像帧的每个子区域，将中心像素与周围像素的像素差值(也就是灰度差值)作为中心像素与周围像素的像素差。例如，在表1所示的子区域的像素分布中，中心像素与第一行第一列的像素值20的像素差为85-20＝65，中心像素与第一行第二列的像素值98的像素差为85-98＝-13。

步骤S930：将像素差转换为二进制数值，并根据各像素差对应的二进制数值，计算每个子区域的特征值。

对于每个子区域而言，在计算得到中心像素与各周围像素的像素差后，可以将像素差转换为二进制数值，以上述表1所示的子区域为例，对于每个周围像素，若中心像素与其的像素差大于或等于0，则该周围像素对应的二进制数值为0，反之，若中心像素与其的像素差小于0，则该周围像素对应的二进制数值为1。由此，得到如下表2所示的二进制编码：

表2

0	1	1
			0		1
0	1	1

然后，可以根据各像素差对应的二进制数值，计算整个子区域的特征值，例如，上述像素差构成的二进制序列为01111100，转换成十进制后为124，则该子区域的特征值即为124。

在一些实施例中，在确定周围像素对应的二进制数值时，也可以在中心像素与该周围像素的像素差大于或等于0时，将该周围像素对应的二进制数值设置为1，在中心像素与该周围像素的像素差小于0时，将该周围像素对应的二进制数值设置为0。

在一些实施例中，在根据子区域中中心像素与各周围像素之间的像素差生成二进制序列时，可以按照其他顺序生成二进制序列，只需要确保视频图像帧中所有子区域的二进制序列的确定方式相同即可。

步骤S940：根据每个子区域的特征值，生成所有子区域的特征值矩阵，得到视频图像帧的视频特征，并根据该视频图像帧的视频特征，生成视频数据的视频特征。

在得到每个子区域的特征值后，可以将各子区域的特征值生成特征值矩阵，得到整个视频图像帧的视频特征。

当得到视频图像帧的视频特征时，可以进一步确定视频数据的视频特征。例如，当视频图像帧仅有1个时，该视频图像帧的视频特征即为视频数据的视频特征，当视频图像帧存在多个时，可以将所有视频图像帧的视频特征确定为视频数据的视频特征。

通过步骤S910～S940，可以从用户输入的视频数据中提取出用户的视频特征，方便后续验证用户身份，并且这种特征提取方式计算速度快，计算方法也比较简单。

步骤S430：根据音频特征和视频特征中的至少一项，确定用户的登录类型。

在提取音频数据的音频特征和视频数据的视频特征后，控制器可以进一步根据音频特征和视频特征中的至少一项，确定用户的登录类型，如用户是否为首次登录。

示例性的，控制器可以根据音频特征或视频特征，在相应的人脸参考特征库或音频参考特征库中查找相似特征，并根据相似特征对应的用户的信息确定用户的登录类型。

步骤S440：若用户的登录类型为非首次登录，则根据音频特征和/或视频特征查找用户的账户信息，并对账户信息进行验证。

在用户的登录类型为非首次登录时，用户不是新用户，此时由于数据库中已存储了用户的相关信息，所以控制器可以根据音频特征和/或视频特征查找用户的账户信息，并对账户信息进行验证，来确定是否允许用户入会。

示例性的，参考图10所示，控制器可以执行以下任意一种或多种方法，以确定用户的账户信息：

步骤S1010：将视频特征和人脸参考特征库中的人脸参考特征进行匹配，并在视频特征与人脸参考特征库中的任一人脸参考特征匹配成功的情况下，将任一人脸参考特征对应的账户信息确定为用户的账户信息。

步骤S1020：将音频特征和音频参考特征库中的音频参考特征进行匹配，并在音频特征与音频参考特征库中的任一音频参考特征匹配成功的情况下，将任一音频参考特征对应的账户信息确定为用户的账户信息。

其中，人脸参考特征库是依据历史用户的视频数据的视频特征生成的数据库，其中存储多个用户的人脸参考特征，音频参考特征库是依据历史用户的音频数据的音频特征生成的数据库，其中存储多个用户的音频参考特征。

本实施例中，可以将人脸参考特征库中的每个人脸参考特征与用户的账户信息建立对应关系，将音频参考特征库中的每个音频参考特征与用户的账户信息建立对应关系，即每个用户具有唯一的人脸参考特征、唯一的音频参考特征和唯一的账户信息。通过将视频特征与人脸参考特征库中的每个人脸参考特征进行匹配，可以确定视频特征与人脸参考特征库中的每个人脸参考特征是否相似或相同，在确定视频特征与人脸参考特征库中的任一人脸参考特征相似或相同时，视频特征与该任一人脸参考特征匹配成功，此时，可以将该任一人脸参考特征所对应的账户信息确定为用户的账户信息。

相应的，将音频特征和音频参考特征库中的每个音频参考特征进行匹配，可以确定音频特征和音频参考特征库中的每个音频参考特征是否相似或相同，在确定音频特征和音频参考特征库中的任一音频参考特征相似或相同时，音频特征与该任一音频参考特征匹配成功，此时，可以将该任一音频参考特征所对应的账户信息确定为用户的账户信息。

在一些实施例中，参考图11所示，控制器还可以执行以下方法：

步骤S1110：计算视频特征与人脸参考特征库中的任一人脸参考特征的人脸相似度，在人脸相似度大于第一阈值的情况下，确定视频特征与任一人脸参考特征匹配成功。

其中，第一阈值可以由操作人员进行自定义，或者也可以设置为默认值，如设置为80％、90％等。

人脸相似度可以通过计算视频特征与人脸参考特征库中的任一人脸参考特征的余弦相似度、皮尔逊相关系数等得到，本实施例对此不做限定。

示例性的，假设视频特征为(y₁,y₂,y₃,…,y_n)，人脸参考特征库中的任一人脸参考特征为(v₁,v₂,v₃,…,v_n)，则视频特征与该任一人脸参考特征的相似度S_v为：

其中，i＝1,2,3…n。

当视频特征与人脸参考特征库中的任一人脸参考特征的人脸相似度大于第一阈值时，说明视频特征与该任一人脸参考特征高度相似，此时这两个特征匹配成功。

步骤S1120：计算音频特征与音频参考特征库中的任一音频参考特征的音频相似度，在音频相似度大于第二阈值的情况下，确定音频特征与任一音频参考特征匹配成功。

其中，第二阈值也可以由操作人员进行自定义，或者也可以设置为默认值，如设置为80％、90％等。第一阈值和第二阈值可以相同，也可以不同。相应的，音频相似度也可以通过计算音频特征与音频参考特征库中的任一音频参考特征的余弦相似度、皮尔逊相关系数等得到，本实施例对此不做限定。

示例性的，假设音频特征为(x₁,x,x,…,x_n)，人脸参考特征库中的任一人脸参考特征为(t₁,t₂,t₃,…,t_n)，则视频特征与该任一人脸参考特征的相似度S_t为：

其中，i＝1,2,3…n。

当音频特征与音频参考特征库中的任一音频脸参考特征的人脸相似度大于第二阈值时，说明音频特征与该任一音频参考特征高度相似，此时这两个特征匹配成功。

通过上述方法，可以通过计算视频特征与人脸参考特征库中的人脸参考特征的相似度，或者计算音频特征与音频参考特征库中的音频参考特征的相似度，查找到用户的账户信息。

在获取用户的账户信息后，为了验证用户身份，在一些实施例中，控制器可以将账户信息与用户首次登录时设置的账户设置信息进行比对，在账户信息与账户设置信息匹配时，确定账户信息验证通过。

其中，账户信息与账户设置信息匹配包括账户信息中的账户名称与账户设置信息中的账户名称相同，且账户信息中的账户密码与账户设置信息中的账户密码相同。

通过上述方法，控制器可以对用户的账户信息进行验证，确定用户是否为合法用户，从而确定其是否可以进入音视频会议，能够保证音视频会议的安全。同时，由于账户信息可以通过用户输入的音频数据和视频数据等查询得到，不需要用户手动输入，所以不仅可以实现对用户的身份验证，整个过程也不会被用户感知，能够提高用户入会的效率和使用体验。

在存储用户的账户信息时，为了防止账户信息泄露，在一些实施例中，控制器还可以以用户的视频特征、音频特征和显示设备的硬件信息为密钥，对用户的账户信息进行加密。

其中，显示设备的硬件信息可以是显示设备的唯一标识码、设备型号、设备名称等。

示例性的，在对账户信息进行加密时，可以对账户名称和账户密码同时进行加密，也可以仅对账户密码进行加密。在对账户密码进行加密后，账户密码的存储格式如下表3所示：

表3

账户名称	音频特征	视频特征	密码
				User1	音频特征1	视频特征1	加密后的密码

通过使用用户的视频特征、音频特征和显示设备的硬件信息对用户的账户信息进行加密，可以提高账户信息的安全性。

在一些实施例中，参考图12所示，控制器还可以执行以下方法：

步骤S1210：若用户的登录类型为首次登录，则控制显示器显示信息录入界面。

当用户为首次登录时，用户为新用户，为了获取用户数据，控制器可以控制显示器显示信息录入界面，如在线会议系统的注册界面，使得用户可以录入自己的信息。

图13示出了本实施例提供的一种信息录入界面的示意图，如图13所示，左侧为用户的账户信息录入区，用户可以输入账户名称和账户密码等，右侧为用户的音视频数据录入区，用户可以移动身体，使得脸部图像置于人脸采集区域内，从而完成音视频数据的采集。

步骤S1220：接收用户在信息录入界面输入的音频参考数据、视频参考数据和账户设置信息。

其中，账户设置信息包括用户的账户名称和账户密码。在一些情况下，账户设置信息还可以包括用户的其他信息，如身份证号、所在地区、职业等。

在用户完成信息录入期间，控制器可以根据账户设置信息、音频参考数据和视频参考数据等的完成情况，动态提示用户录入信息。在完成信息录入后，控制器可以获取用户输入的音频参考数据、视频参考数据和账户设置信息。

步骤S1230：提取音频参考数据的音频参考特征和视频参考数据的人脸参考特征，并存储音频参考特征、人脸参考特征和账户设置信息。

为了便于识别用户身份，控制器在获取用户输入的音频参考数据、视频参考数据和账户设置信息后，可以将账户设置信息存储在数据库中，同时，可以提取音频参考数据的音频参考特征和视频参考数据的人脸参考特征，并将音频参考特征存储在音频参考特征库中，将人脸参考特征存储在人脸参考特征库中，使得用户在下次登录在线会议系统时，根据数据库中存储的特征识别用户的身份。

步骤S450：在账户信息验证通过的情况下，控制显示设备进入入会指令对应的音视频会议。

在确定账户信息验证通过时，说明用户的身份信息合法，此时控制器可以控制显示设备进入入会指令对应的音视频会议。例如，控制器可以控制显示器显示入会指令对应的音视频会议的会议界面，用户可以与其他参会成员进行通话和视频。

图14示出了本发明实施例提供的又一种显示控制方法的流程图，如图14所示，可以包括以下步骤：

步骤S1401：接收用户输入的入会指令。

例如，用户可以在显示设备的浏览器中输入音视频会议的会议链接，以触发该音视频会议的入会指令。

步骤S1402：确定显示设备的登录模式是否为第一登录模式。如果是，则执行步骤S1403，反之，如果不是，则执行步骤S1410。

步骤S1403：采集用户输入的音频数据和视频数据。

在显示设备的登录模式为第一登录模式时，控制器可以获取通过麦克风采集的音频数据和通过摄像头采集的视频数据。

步骤S1404：提取音频数据的音频特征和视频数据的视频特征。

示例性的，控制器可以对音频数据进行傅里叶变换，得到音频数据的音频频谱数据，提取音频频谱数据的各个峰值处的值，得到音频数据的音频特征。

控制器也可以将视频数据对应的视频图像帧进行灰度化处理，并将灰度化处理后的视频图像帧划分为多个子区域，然后针对视频图像帧的每个子区域，计算中心像素与各个周围像素的像素值差值，得到每个子区域对应的多个像素差，进而将像素差转换为二进制数值，并根据各像素差对应的二进制数值，计算每个子区域的特征值，根据每个子区域的特征值，生成所有子区域的特征值矩阵，得到视频图像帧的视频特征，将该视频图像帧的视频特征确定为视频数据的视频特征。

步骤S1405：根据音频特征和视频特征中的至少一项，确定用户是否为首次登录。如果是，则执行步骤S1406，反之，如果不是，则执行步骤S1408。

步骤S1406：控制显示器显示信息录入界面。

步骤S1407：接收用户在信息录入界面输入的音频参考数据、视频参考数据和账户设置信息，提取音频参考数据的音频参考特征和视频参考数据的人脸参考特征，并存储音频参考特征、人脸参考特征和账户设置信息。

当用户为首次登录时，为了获取用户数据，控制器可以控制显示器显示信息录入界面，使得用户可以在信息录入界面中录入自己的音频参考数据、视频参考数据和账户设置信息，然后，控制器可以提取音频参考数据的音频参考特征和视频参考数据的人脸参考特征，最后将账户设置信息、音频参考特征和人脸参考特征一并存储在数据库中。

在用户完成信息录入后，控制器可以控制显示器跳转至登录界面使得用户可以登录在线会议系统，并进入入会指令对应的音视频会议。

步骤S1408：根据音频特征和/或视频特征查找用户的账户信息。

例如，控制器可以将视频特征和人脸参考特征库中的人脸参考特征进行匹配，并在视频特征与人脸参考特征库中的任一人脸参考特征匹配成功的情况下，将任一人脸参考特征对应的账户信息确定为用户的账户信息，或者也可以将音频特征和音频参考特征库中的音频参考特征进行匹配，并在音频特征与音频参考特征库中的任一音频参考特征匹配成功的情况下，将任一音频参考特征对应的账户信息确定为用户的账户信息。

步骤S1409：确定账户信息是否验证通过。如果是，执行步骤S1414，反之，如果不是，则执行步骤S1415。

在确定账户信息验证通过时，说明用户的身份信息合法，此时控制器可以执行步骤S1414，控制显示设备进入入会指令对应的音视频会议，反之，则说明用户的身份信息不合法，控制器执行步骤S1415，生成入会提示信息。

步骤S1410：控制显示器显示登录界面，并接收用户在登录界面输入的账户信息。

在显示设备的登录模式不是第一登录模式，而是第二登录模式时，控制器可以显示登录界面，使得用户可以在登录界面输入账户信息。

步骤S1411：确定账户信息是否验证通过。如果是，执行步骤S1412，反之，如果不是，则执行步骤S1415。

在完成账户信息输入后，控制器可以对账户信息进行验证，如果验证通过，则执行步骤S1412，检查摄像头和麦克风的权限状态是否处于启用状态，反之，如果验证不通过，则执行步骤S1415，生成入会提示信息。

步骤S1412：检查摄像头和麦克风的权限状态是否处于启用状态。如果是，执行步骤S1413，反之，如果不是，则执行步骤S1415。

在摄像头和麦克风的权限状态均处于启用状态下时，用户能够正常使用摄像头和麦克风，故可以执行步骤S1413，使用户对摄像头和麦克风进行试用，反之，如果摄像头或者麦克风的权限状态处于未启用状态时，说明用户无法正常使用摄像头或麦克风，此时可以执行步骤S1415，生成入会提示信息。

步骤S1413：用户对摄像头和麦克风进行试用。

例如，用户可以使用摄像头，查看其是否能准确录入自己的拍摄视频，也可以使用麦克风，查看其是否能录入自己的声音数据。

步骤S1414：控制显示设备进入入会指令对应的音视频会议。

例如，控制器可以控制显示器显示入会指令对应的音视频会议的会议界面，用户可以与其他参会成员进行通话和视频。

步骤S1415：生成入会提示信息，该入会提示信息用于提示用户入会失败。

其中，入会提示信息还可以包括用户入会失败的原因等信息，用户可以根据入会提示信息重新申请入会。

综上，根据本实施例提供的显示控制方法，控制器可以根据用户登录在线会议系统的登录模式，采用不同的方式登录并进入在线会议系统，可以增强用户登录在线会议的灵活性，在确定登录模式为第一登录模式时，充分利用摄像头和麦克风等输入设备的能力，减少用户登录在线会议的步骤，简化用户操作，提升登录效率，在确定登录模式为第二登录模式时，可以按照验证账户信息、检查设备权限、进行设备试用的流程控制显示设备进入音视频会议，能够提高用户参加会议的服务质量，确保入会安全。

本发明实施例还提供了一种显示控制装置，参考图15所示，显示控制装置1500可以应用于显示设备，显示设备包括麦克风和摄像头，显示控制装置1500可以包括：获取模块1510，用于响应于用户输入的入会指令，获取麦克风采集的音频数据和摄像头采集的视频数据；提取模块1520，用于提取音频数据的音频特征和视频数据的视频特征；确定模块1530，用于根据音频特征和视频特征中的至少一项，确定用户的登录类型；验证模块1540，用于若用户的登录类型为非首次登录，则根据音频特征和/或视频特征查找用户的账户信息，并对账户信息进行验证；控制模块1550，用于在账户信息验证通过的情况下，控制显示设备进入入会指令对应的音视频会议。

在一些实施例中，验证模块1540还可以用于若用户的登录类型为首次登录，则控制显示器显示信息录入界面；接收用户在信息录入界面输入的音频参考数据、视频参考数据和账户设置信息，账户设置信息包括用户的账户名称和账户密码；提取音频参考数据的音频参考特征和视频参考数据的人脸参考特征，并存储音频参考特征、人脸参考特征和账户设置信息。

在一些实施例中，提取模块1520可以用于对音频数据进行傅里叶变换，得到音频数据的音频频谱数据；提取音频频谱数据的各个峰值处的值，得到音频数据的音频特征。

在一些实施例中，提取模块1520可以用于将视频数据对应的视频图像帧进行灰度化处理，并将灰度化处理后的视频图像帧划分为多个子区域；针对视频图像帧的每个子区域，计算中心像素与各个周围像素的像素值差值，得到每个子区域对应的多个像素差；将各像素差转换为二进制数值，并根据各像素差对应的二进制数值，计算每个子区域的特征值；根据每个子区域的特征值，生成所有子区域的特征值矩阵，得到视频图像帧的视频特征，并根据视频图像帧的视频特征，生成视频数据的视频特征。

在一些实施例中，确定模块1530可以用于将视频特征和人脸参考特征库中的人脸参考特征进行匹配，并在视频特征与人脸参考特征库中的任一人脸参考特征匹配成功的情况下，将任一人脸参考特征对应的账户信息确定为用户的账户信息；和/或，将音频特征和音频参考特征库中的音频参考特征进行匹配，并在音频特征与音频参考特征库中的任一音频参考特征匹配成功的情况下，将任一音频参考特征对应的账户信息确定为用户的账户信息。

在一些实施例中，确定模块1530还可以用于计算视频特征与人脸参考特征库中的任一人脸参考特征的人脸相似度，在人脸相似度大于第一阈值的情况下，确定视频特征与任一人脸参考特征匹配成功；计算音频特征与音频参考特征库中的任一音频参考特征的音频相似度，在音频相似度大于第二阈值的情况下，确定音频特征与任一音频参考特征匹配成功。

在一些实施例中，验证模块1540用于将账户信息与用户首次登录时设置的账户设置信息进行比对，在账户信息与账户设置信息匹配时，确定账户信息验证通过；其中，账户信息与账户设置信息匹配包括账户信息中的账户名称与账户设置信息中的账户名称相同，且账户信息中的账户密码与账户设置信息中的账户密码相同。

在一些实施例中，确定模块1530还用于以用户的视频特征、音频特征和显示设备的硬件信息为密钥，对用户的账户信息进行加密。

在一些实施例中，获取模块1510用于响应于入会指令，确定显示设备的登录模式；若登录模式为第一登录模式，则获取音频数据和视频数据。

在一些实施例中，确定模块1530还用于若登录模式为第二登录模式，则控制显示器显示登录界面，并接收用户在登录界面输入的账户信息；在用户在登录界面输入的账户信息验证通过的情况下，检查摄像头和/或麦克风的权限状态，用户在登录界面输入的账户信息验证通过包括用户在登录界面输入的账户信息与用户设置的账户配置信息匹配；控制模块1550还用于在摄像头的权限状态和麦克风的权限状态处于启用状态时，控制显示设备进入入会指令对应的音视频会议；以及在摄像头的权限状态或麦克风的权限状态处于未启用状态时，生成入会提示信息，入会提示信息用于提示用户入会失败。

在一些实施例中，确定模块1530还用于在摄像头的权限状态处于启用状态时，开启摄像头，以使用户对摄像头进行试用；和/或，在麦克风的权限状态处于启用状态时，开启麦克风，以使用户对麦克风进行试用；在用户对摄像头和麦克风试用成功时，控制显示设备进入入会指令对应的音视频会议。

相对应的，上述显示控制装置中各部分的具体细节在上述电子设备部分实施方式中已经详细说明，未披露的细节内容可以参见电子设备部分的实施方式内容，因而不再赘述。

本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在显示设备/显示控制装置上运行时，使得所述显示设备/显示控制装置执行上述任意方法实施例中的显示控制方法。

可执行指令具体可以用于使得显示设备/显示控制装置执行上述显示控制方法。

在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质的更具体的例子(非穷举的列表)可以包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。此外，本发明实施例也不针对任何特定编程语言。

在此处所提供的说明书中，说明了大量具体细节。然而能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。类似地，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。其中，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (14)

1.一种显示设备，其特征在于，包括：

显示器，被配置为显示用户界面；

通信器，被配置为接收用户输入的入会指令；

麦克风，被配置为采集所述用户输入的音频数据；

摄像头，被配置为采集所述用户的视频数据；

控制器，分别与所述显示器、所述通信器、所述麦克风和所述摄像头耦接，且被配置为：

响应于所述入会指令，获取所述音频数据和所述视频数据；

提取所述音频数据的音频特征和所述视频数据的视频特征；

根据所述音频特征和所述视频特征中的至少一项，确定所述用户的登录类型；

若所述用户的登录类型为非首次登录，则根据所述音频特征和/或所述视频特征查找所述用户的账户信息，并对所述账户信息进行验证；

在所述账户信息验证通过的情况下，控制所述显示设备进入所述入会指令对应的音视频会议。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器还被配置为：

若所述用户的登录类型为首次登录，则控制所述显示器显示信息录入界面；

接收所述用户在所述信息录入界面输入的音频参考数据、视频参考数据和账户设置信息，所述账户设置信息包括所述用户的账户名称和账户密码；

提取所述音频参考数据的音频参考特征和所述视频参考数据的人脸参考特征，并存储所述音频参考特征、所述人脸参考特征和所述账户设置信息。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器被配置为：

对所述音频数据进行傅里叶变换，得到所述音频数据的音频频谱数据；

提取所述音频频谱数据的各个峰值处的值，得到所述音频数据的所述音频特征。

4.根据权利要求1所述的显示设备，其特征在于，所述控制器被配置为：

将所述视频数据对应的视频图像帧进行灰度化处理，并将灰度化处理后的视频图像帧划分为多个子区域；

针对所述视频图像帧的每个子区域，计算中心像素与各个周围像素的像素值差值，得到所述每个子区域对应的多个像素差；

将各所述像素差转换为二进制数值，并根据各所述像素差对应的二进制数值，计算所述每个子区域的特征值；

根据所述每个子区域的特征值，生成所有子区域的特征值矩阵，得到所述视频图像帧的视频特征，并根据所述视频图像帧的视频特征，生成所述视频数据的所述视频特征。

5.根据权利要求1所述的显示设备，其特征在于，所述控制器被配置为：

将所述视频特征和人脸参考特征库中的人脸参考特征进行匹配，并在所述视频特征与所述人脸参考特征库中的任一人脸参考特征匹配成功的情况下，将所述任一人脸参考特征对应的账户信息确定为所述用户的账户信息；和/或，

将所述音频特征和音频参考特征库中的音频参考特征进行匹配，并在所述音频特征与所述音频参考特征库中的任一音频参考特征匹配成功的情况下，将所述任一音频参考特征对应的账户信息确定为所述用户的账户信息。

6.根据权利要求5所述的显示设备，其特征在于，所述控制器还被配置为：

计算所述视频特征与所述人脸参考特征库中的任一人脸参考特征的人脸相似度，在所述人脸相似度大于第一阈值的情况下，确定所述视频特征与所述任一人脸参考特征匹配成功；

计算所述音频特征与音频参考特征库中的任一音频参考特征的音频相似度，在所述音频相似度大于第二阈值的情况下，确定所述音频特征与所述任一音频参考特征匹配成功。

7.根据权利要求1-6中任一项所述的显示设备，其特征在于，所述控制器被配置为：

将所述账户信息与所述用户首次登录时设置的账户设置信息进行比对，在所述账户信息与所述账户设置信息匹配时，确定所述账户信息验证通过；

其中，所述账户信息与所述账户设置信息匹配包括所述账户信息中的账户名称与所述账户设置信息中的账户名称相同，且所述账户信息中的账户密码与所述账户设置信息中的账户密码相同。

8.根据权利要求1-6中任一项所述的显示设备，其特征在于，所述控制器还被配置为：

以所述用户的视频特征、音频特征和所述显示设备的硬件信息为密钥，对所述用户的账户信息进行加密。

9.根据权利要求1所述的显示设备，其特征在于，所述控制器被配置为：

响应于所述入会指令，确定所述显示设备的登录模式；

若所述登录模式为第一登录模式，则获取所述音频数据和所述视频数据。

10.根据权利要求9所述的显示设备，其特征在于，所述控制器还被配置为：

若所述登录模式为第二登录模式，则控制所述显示器显示登录界面，并接收所述用户在所述登录界面输入的账户信息；

在所述用户在所述登录界面输入的账户信息验证通过的情况下，检查所述摄像头和/或所述麦克风的权限状态，所述用户在所述登录界面输入的账户信息验证通过包括所述用户在所述登录界面输入的账户信息与所述用户设置的账户配置信息匹配；

在所述摄像头的权限状态和所述麦克风的权限状态处于启用状态时，控制所述显示设备进入所述入会指令对应的音视频会议；以及

在所述摄像头的权限状态或所述麦克风的权限状态处于未启用状态时，生成入会提示信息，所述入会提示信息用于提示所述用户入会失败。

11.根据权利要求10所述的显示设备，其特征在于，所述控制器还被配置为：

在所述摄像头的权限状态处于所述启用状态时，开启所述摄像头，以使所述用户对所述摄像头进行试用；和/或，

在所述麦克风的权限状态处于所述启用状态时，开启所述麦克风，以使所述用户对所述麦克风进行试用；

在所述用户对所述摄像头和所述麦克风试用成功时，控制所述显示设备进入所述入会指令对应的音视频会议。

12.一种显示控制方法，其特征在于，应用于显示设备，所述显示设备包括麦克风和摄像头，所述方法包括：

响应于用户输入的入会指令，获取所述麦克风采集的音频数据和所述摄像头采集的视频数据；

提取所述音频数据的音频特征和所述视频数据的视频特征；

根据所述音频特征和所述视频特征中的至少一项，确定所述用户的登录类型；

若所述用户的登录类型为非首次登录，则根据所述音频特征和/或所述视频特征查找所述用户的账户信息，并对所述账户信息进行验证；

在所述账户信息验证通过的情况下，控制所述显示设备进入所述入会指令对应的音视频会议。

13.一种显示控制装置，其特征在于，应用于显示设备，所述显示设备包括麦克风和摄像头，所述装置包括：

获取模块，用于响应于用户输入的入会指令，获取所述麦克风采集的音频数据和所述摄像头采集的视频数据；

提取模块，用于提取所述音频数据的音频特征和所述视频数据的视频特征；

确定模块，用于根据所述音频特征和所述视频特征中的至少一项，确定所述用户的登录类型；

验证模块，用于若所述用户的登录类型为非首次登录，则根据所述音频特征和/或所述视频特征查找所述用户的账户信息，并对所述账户信息进行验证；

控制模块，用于在所述账户信息验证通过的情况下，控制所述显示设备进入所述入会指令对应的音视频会议。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在显示设备上运行时，使得显示设备执行如权利要求12所述的显示控制方法的操作。