CN113825002B - 显示设备及焦距控制方法 - Google Patents

Abstract

本申请涉及一种显示设备及焦距控制方法，涉及电视技术领域，该方法包括：响应于焦距调整指令，更新显示器的焦距显示范围，摄像头检测到手势指令，获取手势矩形区域，基于焦距显示范围和手势矩形区域，确定手势矩形区域在焦距显示范围内，执行手势指令，基于焦距显示范围和手势矩形区域，确定手势矩形区域不在焦距显示范围内，不执行手势指令。本申请实施例提供的显示设备及焦距控制方法，仅仅执行对于用户可视的焦距显示范围内的手势指令，提升用户使用体验。

Description

显示设备及焦距控制方法

技术领域

本申请涉及智能电视技术领域，尤其涉及一种显示设备及焦距控制方法。

背景技术

随着显示设备的快速发展，显示设备的功能越来越多，例如显示设备配备摄像头可以为用户提供照相、镜子等功能。

然而，在实际应用中，用户在显示设备的显示界面中没有看到相应的手势，显示设备却给出拍照反馈。

发明内容

本申请示例性的实施方式提供一种用于显示设备的图像处理方法及显示设备，仅仅执行对于用户可视的焦距显示范围内的手势指令，提升用户使用体验。

第一方面，本申请提供了一种显示设备，包括：

显示器；

摄像头；

分别与所述摄像头和所述显示器连接的控制器，所述控制器被配置为：

响应于焦距调整指令，更新所述显示器的焦距显示范围；

所述摄像头检测到手势指令，获取手势矩形区域；

基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域在所述焦距显示范围内，执行所述手势指令；

基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域不在所述焦距显示范围内，不执行所述手势指令。

本申请一些实施例中，所述控制器被进一步配置为：

基于所述焦距调整指令，确定所述摄像头未调整焦距；

所述摄像头检测到手势指令，执行所述手势指令。

本申请一些实施例中，所述控制器在执行响应于焦距调整指令，更新所述显示器的焦距显示范围，被进一步配置为：

基于所述焦距调整指令，确定所述摄像头已进行焦距调整，获取焦距坐标信息；

基于所述焦距坐标信息，更新所述显示器的所述焦距显示范围。

本申请一些实施例中，所述控制器在执行获取手势矩形区域，被进一步配置为：

获取所述手势指令的多个关键点；

获取所述多个关键点对应的关键点坐标信息；

基于所述关键点坐标信息，确定最小横纵坐标值和最大横纵坐标值；

基于所述最小横纵坐标值和所述最大横纵坐标值，获取所述手势矩形区域。

本申请一些实施例中，所述控制器在执行基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域在所述焦距显示范围内，执行所述手势指令，被进一步配置为：

获取所述焦距显示范围的目标坐标信息；

获取所述手势矩形区域的手势坐标信息；

基于所述目标坐标信息和所述手势坐标信息，确定所述手势矩形区域在所述焦距显示范围内，执行所述手势指令。

本申请一些实施例中，所述控制器在执行基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域不在所述焦距显示范围内，不执行所述手势指令，被进一步配置为：

基于所述目标坐标信息和所述手势坐标信息，确定所述手势矩形区域不在所述焦距显示范围内，不执行所述手势指令。

第二方面，本申请提供了另一种显示设备，包括：

显示器；

摄像头；

分别与所述摄像头和所述显示器连接的控制器，所述控制器被配置为：

响应于启动所述摄像头的控制信号，在所述显示器中显示所述摄像头采集的图像；

响应于指示人脸跟焦的控制信号，基于所述图像获取人脸位置矩形区域；

基于所述人脸位置矩形区域，确定调整中心点；

根据所述调整中心点和预设调整值对所述图像进行调整，获取目标图像，以及在所述显示器上显示所述目标图像。

本申请一些实施例中，所述控制器还被配置为：

基于所述图像，获取人体位置矩形区域；

相应的，所述控制器在执行所述基于所述人脸位置矩形区域，确定调整中心点，被进一步配置为：

基于所述人脸位置矩形区域和所述人体位置矩形区域确定所述调整中心点。

本申请一些实施例中，所述控制器在执行所述基于所述人脸位置矩形区域，确定调整中心点，被进一步配置为：

基于所述人脸位置矩形区域，获取人脸位置矩形区域坐标信息；

基于所述人脸位置矩形区域坐标信息进行计算处理，获取中心点坐标为所述调整中心点。

本申请一些实施例中，所述控制器在执行所述基于所述人脸位置矩形区域和所述人体位置矩形区域确定所述调整中心点，被进一步配置为：

基于所述人脸位置矩形区域，获取人脸位置矩形区域坐标信息；

基于所述人体位置矩形区域，获取人体位置矩形区域坐标信息；

基于所述人脸位置矩形区域坐标信息进行计算处理，获取第一中心点坐标；

基于所述人体位置矩形区域坐标信息进行计算处理，获取第二中心点坐标；

基于所述第一中心点坐标和所述第二中心点坐标进行计算处理，获取目标中心点坐标为所述调整中心点。

第三方面，本申请一种焦距控制方法，包括：

响应于焦距调整指令，更新所述显示器的焦距显示范围；

所述摄像头检测到手势指令，获取手势矩形区域；

基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域在所述焦距显示范围内，执行所述手势指令；

基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域不在所述焦距显示范围内，不执行所述手势指令。

第四方面，本申请另一种焦距控制方法，包括：

响应于启动所述摄像头的控制信号，在所述显示器中显示所述摄像头采集的图像；

响应于指示人脸跟焦的控制信号，基于所述图像获取人脸位置矩形区域；

基于所述人脸位置矩形区域，确定调整中心点；

根据所述调整中心点和预设调整值对所述图像进行调整，获取目标图像，以及在所述显示器上显示所述目标图像。

本申请实施例提供的技术方案与现有技术相比具有如下优点：

响应于焦距调整指令，更新显示器的焦距显示范围，摄像头检测到手势指令，获取手势矩形区域，基于焦距显示范围和手势矩形区域，确定手势矩形区域在焦距显示范围内，执行手势指令，基于焦距显示范围和手势矩形区域，确定手势矩形区域不在焦距显示范围内，不执行手势指令。由此，仅仅执行对于用户可视的焦距显示范围内的手势指令，提升用户使用体验。

附图说明

为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备与控制装置之间操作场景；

图2示出了根据一些实施例的控制设备100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5a示出了根据一些实施例的一种显示设备200中显示图像的示例图；

图5b示出了根据一些实施例的摄像头范围与焦距范围对比的示例图；

图6示出了根据一些实施例的一种焦距控制方法的流程图；

图7a示出了根据一些实施例的一种显示设备200中手势控制的示例图；

图7b示出了根据一些实施例的另一种显示设备200中手势控制的示例图；

图8示出了根据一些实施例的另一种焦距控制方法的流程图；

图9示出了根据一些实施例的一种显示设备200中手势区域的示例图；

图10a示出了根据一些实施例的一种显示设备200中人脸位置矩形区域的示例图；

图10b示出了根据一些实施例的一种显示设备200中人脸位置矩形区域确定调整中心点的示例图；

图10c示出了根据一些实施例的另一种显示设备200中人脸位置矩形区域确定调整中心点的示例图；

图10d示出了根据一些实施例的一种显示设备200中显示目标图像的示例图；

图11示出了根据一些实施例的又一种焦距控制方法的流程图；

图12示出了根据一些实施例的另一种显示设备200中人脸位置矩形区域确定调整中心点的示例图；

图13示出了根据一些实施例的再一种焦距控制方法的流程图；

图14示出了根据一些实施例的另一种显示设备200中显示目标图像的示例图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

本申请中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″手势″，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。

图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。例如用户通过遥控器上音量加减键、频道控制键、数字键等输入相应控制指令，来实现控制显示设备200的功能。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动焦距控制的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。

在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

在一些实施例中，用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。

在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。

在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory，ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。

CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。

在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。在一些实施例中，“用户界面”，是应用程序或操作系统

与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic UserInterface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。

在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

在一些实施例中，以图4中的魔镜应用(拍照应用)为例，当遥控接收装置接收到遥控器输入操作，确认输入操作对应的控件为魔镜应用图标对应的控件，魔镜应用调用应用框架层的接口，启动魔镜应用，进行调用内核层启动摄像头驱动，实现通过摄像头获取图像。

由于用户利用显示设备200进行拍照时，拍照应用中有一个焦距调整功能和手势拍照功能，手势拍照功能指的是在在摄像头拍摄范围内摆出相应手势能够自动拍照，焦距调整功能指的是能够通过遥控器相关按键调整摄像头的焦距显示范围。如果用户调整焦距的话，整个摄像头拍摄区域会分为显示部分和不显示部分，当前实现效果是，在显示器上不显示的部分摆出手势也能拍照，实际上，用户没有在摄像头显示范围内看到相应的手势，显示设备却给出拍照反馈，影响用户体验。

下面对本实施例中显示设备焦距控制的过程进行详细描述。

具体地，图5a示出了根据一些实施例的一种显示设备200中显示图像的示例图，如图5a所示，显示器中显示图像，该图像是摄像头经过焦距调整进行拍摄获取的图像，需要说明的是，在摄像头经过焦距调整后显示器显示的图像与摄像头拍摄范围对应的图像不同，图5b示出了根据一些实施例的摄像头范围与焦距范围对比的示例图，如图5b所示，摄像头拍摄对应图像的拍摄范围大于图5a所示的显示器显示图像对应的拍摄范围，即本申请实施例中所描述的焦距显示范围。

上述实施例中，用户通过操作控制装置，打开显示设备200安装的拍照应用程序，进而在显示器中显示原始图像，即摄像头拍摄范围对应的图像，接着用户通过操作控制装置调整焦距，进而在显示器中显示经过焦距调整后的当前图像，即焦距显示范围对应的图像，焦距显示范围小于摄像头拍摄范围。

图6示出了根据一些实施例的一种焦距控制方法的流程图。本申请实施例提供的一种显示设备，在根据手势位置和焦距显示范围执行手势指令时，控制器被配置为执行图6所述的焦距控制方法，包括：

步骤601，响应于焦距调整指令，更新显示器的焦距显示范围。

在本申请的一些实施例中，焦距调整指令指的是调整显示器的焦距显示范围的指令(比如指示摄像头焦距调整的指令或者图像放大指令等)，可以是用户通过操作控制装置(比如遥控器)输入，也可以是用户通过显示设备的声音采集器(比如麦克风)等输入，具体根据应用场景选择设置，本申请不作限制。

在本申请的一些实施例中，在摄像头启动后，显示器的焦距显示范围为摄像头拍摄范围，响应于焦距调整指令，更新显示器的焦距显示范围，具体地，创建坐标系，获取焦距调整后的焦距坐标信息，根据焦距坐标信息更新显示器的焦距显示范围，例如以摄像头拍摄范围的左下角为原始坐标点建立坐标轴，摄像头拍摄范围下方边界为横轴，左方边界为纵轴，创建坐标系，读取焦距调整后的焦距坐标信息，从而根据焦距坐标信息更新显示器的焦距显示范围。

步骤602，摄像头检测到手势指令，获取手势矩形区域。

在本申请的一个实施例中，手势指令指的是摄像头检测到特殊手势，比如通过手势识别来完成一系列拍照行为的命令传递方式，手势识别可以理解为用户可以使用简单的手势来控制或与设备交互，摄像头采集图像，检测图像中包括特殊手势，则认为检测到手势指令，其中，用户可以在摄像头拍摄范围内做出不同的手势以向显示设备发送不同指令。

具体地，摄像头检测到手势指令，对包括手势指令的图像进行处理，获取手势矩形区域，更具体地，识别到图像区域内手势的所有关键点，根据所有关键点的坐标信息确定最小横纵坐标值和最大横纵坐标值绘制矩形，获取手势矩形区域。

步骤603，基于焦距显示范围和手势矩形区域，确定手势矩形区域在焦距显示范围内，执行手势指令。

步骤604，基于焦距显示范围和手势矩形区域，确定手势矩形区域不在焦距显示范围内，不执行手势指令。

在本申请一些实施例中，以焦距显示范围为准，手势矩形区域在焦距显示范围内执行手势指令，手势矩形区域不在焦距显示范围内不执行手势指令，仅执行对于用户可视的焦距显示范围内的手势指令，提高显示设备控制的有效性和准确性。

在本申请一些实施例中，如图7a所示，手势矩形区域在焦距显示范围内，执行手势指令，更具体地，手势指令为拍照指令，执行拍照操作，获取图像并存储，进一步地，用户还可以通过控制装置、语音指令或者手势指令等对拍摄图像进行编辑操作，还可以理解的是，用户可以选择重新拍摄，再次通过手势指令执行拍照，满足用户多方面使用需求，提升用户使用体验。

在本申请一些实施例中，如图7b所示，手势矩形区域不在焦距显示范围内，不执行手势指令，也就是说，尽管摄像头拍摄范围内获取了手势指令，但是不在用户可视范围内，不执行该手势指令，进一步提升用户体验。

在本申请的一个实施例中，通过焦距显示范围的坐标信息和手势矩形区域的坐标信息来判断手势矩形区域是否在焦距显示范围内，更具体地，以摄像头拍摄范围的左下角为原始坐标点建立坐标轴，摄像头拍摄范围下方边界为横轴，左方边界为纵轴，创建坐标系，获取焦距显示范围的目标坐标信息，获取手势矩形区域的手势坐标信息，基于目标坐标信息和手势坐标信息，确定手势矩形区域在焦距显示范围内执行手势指令、或者是确定手势矩形区域不在焦距显示范围内不执行手势指令。

上述示例中，仅仅执行对于用户可视的焦距显示范围内的手势指令，以使用户可以根据看到的手势进行调整和控制操作，进一步提升用户使用体验。

图8示出了根据一些实施例的另一种焦距控制方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述焦距控制方法。如图8所示，该方法包括：

在本申请的一些实施例中，判断摄像头的是否调整焦距。

在本申请的一些实施例中，焦距调整是显示设备拍照应用上的显示区域调节的功能，比如通过遥控器特定按键调整摄像头区域在显示设备的显示范围，如果未调整焦距，摄像头检测到手势指令，执行手势指令，如果已调整焦距，获取焦距调整后的焦距坐标信息，基于焦距坐标信息更新显示器的焦距显示范围。

在本申请的一些实施例中，通过控制装置比如遥控器相关按键调整摄像头的显示范围，在已调整焦距的情况下，整个摄像头拍摄区域会分为显示部分和不显示部分，如图7a所示，焦距显示范围内为显示部分，其他部分为不显示部分。

在本申请的一些实施例中，摄像头检测到手势指令，执行手势指令。

在本申请一些实施例中，如果摄像头未调整焦距，摄像头拍摄范围内区域与显示器的焦距显示范围一致，在摄像头采集到图像，检测图像中包括手势，则认为检测到手势指令，直接执行该手势指令即可，其中，可以根据应用场景需求设置对应的手势指令，比如手势指令A为拍照，手势指令B为存储等，另外，在摄像头范围内未识别到手势指令，则不执行手势指令。

在本申请的一些实施例中，用户通过操作控制装置(比如遥控器)输入或者用户通过显示设备的声音采集器(比如麦克风)等输入的焦距调整指令。响应于上述指令，显示设备并不对摄像头进行实质上的焦距调整，也就是说摄像头保持原来的拍摄范围，比如图7a所示，整个摄像头拍摄范围保持不变。而是在获取摄像头采集的图像后，对图像进行放大处理后在显示器中显示，以从用户视觉上，也能够达到放大物体的效果。

这种情况下，实际摄像头采集的图像范围较大，而显示器仅显示放大后图像的一部分。换句话说，显示器上的焦距显示范围实际上显示的是摄像头采集图像经过放大后的一部分，从而显示器的焦距显示范围与摄像头拍摄范围不一致，比如图7a所示，整个摄像头拍摄区域会分为显示部分和不显示部分，焦距显示范围内为显示部分，其他部分为不显示部分。此时，以焦距显示范围为准，手势矩形区域在焦距显示范围内执行手势指令，手势矩形区域不在焦距显示范围内不执行手势指令。

这种情况下，虽然有可能用户的手势还在摄像头采集的范围内，但是，如果已经不在显示器显示的范围内，那么，即使摄像头可采集到手势，但是也不识别指令，或者可以识别指令但是不响应手势相对应的指令。

因此，用户可以根据直观在显示器上看到的手势进行调整和控制操作，提高显示设备控制的有效性和准确性。

在本申请的一些实施例中，获取焦距坐标信息，基于焦距坐标信息更新显示器的焦距显示范围。

在本申请的一些实施例中，以摄像头拍摄范围的左下角为原始坐标点(0，0)建立坐标轴，摄像头拍摄范围下方边界为横轴，左方边界为纵轴，创建坐标系，读取焦距调整后的焦距坐标信息，比如为四个坐标点(x1，y1)，(x1，y2)，(x2，y1)，(x2，y2)，从而根据该四个坐标点确定焦距显示范围。

在本申请的一些实施例中，摄像头检测到手势指令，获取手势指令的多个关键点，获取多个关键点对应的关键点坐标信息确定最小横纵坐标值和最大横纵坐标值，基于最小横纵坐标值和最大横纵坐标值，获取手势矩形区域。

在本申请实施例中，如图9所示，获取手势指令的多个关键点，并获取多个关键点对应的关键点坐标信息，以摄像头拍摄范围的左下角为原始坐标点(0，0)建立坐标轴，摄像头拍摄范围下方边界为横轴，左方边界为纵轴，创建坐标系，读取关键点坐标信息，确定最小横纵坐标值和最大横纵坐标值，比如为四个坐标点(m1，n1)，(m1，n2)，(m2，n1)，(m2，n2)，从而根据该四个坐标点确定手势矩形区域。

在本申请的一些实施例中，获取焦距显示范围的目标坐标信息，获取手势矩形区域的手势坐标信息。

在本申请的一些实施例中，基于目标坐标信息和手势坐标信息，确定手势矩形区域在焦距显示范围内，执行手势指令，

在本申请的一些实施例中，基于目标坐标信息和手势坐标信息，确定手势矩形区域不在焦距显示范围内，不执行手势指令。

在本申请的一些实施例中，获取焦距显示范围的目标坐标信息比如上述描述的(x1，y1)，(x1，y2)，(x2，y1)，(x2，y2)，获取手势矩形区域的手势坐标信息如上述描述的(m1，n1)，(m1，n2)，(m2，n1)，(m2，n2)，根据目标坐标信息和手势坐标信息，确定手势矩形区域在焦距显示范围内，执行手势指令，基于目标坐标信息和手势坐标信息，确定手势矩形区域不在焦距显示范围内，不执行手势指令。

由此，摄像头拍照界面可通过遥控器等控制设备调整拍照显示范围，当手势在焦距显示范围内能够拍照，当手势不在焦距显示范围内不可以拍照。

上述示例中，在焦距已调整过情况下，仅仅执行对于用户可视的焦距显示范围内的手势指令，以使用户可以根据看到的手势进行调整和控制操作，以及在焦距未调整的情况下，在摄像头拍摄范围内检测到手势指令直接执行，进一步提升用户使用体验。

在一些实施例中，以图4中的魔镜应用(拍照应用)为例，人工智能试妆是拍照应用上的试妆功能，通过计算出人脸位置，并将妆容描绘到人脸对应位置上，试妆功能内包含有人脸跟焦效果，在摄像头区域内，聚焦人脸位置所在区域，跟焦指的是在拍摄一个镜头时，随着人物或物体趋近或远离摄影机而改变焦距，以使其保持在精确的焦点上。显示设备的人脸跟焦是一种摄像头能自动识别画面中人脸位置的对焦模式。

由于在用户使用人脸跟焦功能，当人脸在下方角落时(如图10a所示)，使用人体检测位置(0，0，0，0)，计算出的矩形缩放区域如图10b所示，调整中心点不准确，导致跟焦效果差。

图11示出了根据一些实施例的又一种焦距控制方法的流程图。本申请实施例提供的一种显示设备，在进行人脸跟焦时，控制器被配置为执行图11所述的焦距控制方法，包括：

步骤1101，响应于启动摄像头的控制信号，在显示器中显示摄像头采集的图像。

在本申请一些实施例中，通过遥控器上按键、语音输入、控制面板输入等输入启动摄像头的控制信号，通过摄像头获取图像在显示器中显示。

在本申请一些实施例中，显示器中显示的图像可以包括人脸图像也可以不包括人脸图像，本申请主要针对的是包括人脸图像的处理，人脸图像可以在显示图像的任一位置，比如上述图10所示的图像的右下角落，也可以如图12所示的中心位置，具体根据应用场景中用户所处位置确定。

步骤1102，响应于指示人脸跟焦的控制信号，基于图像获取人脸位置矩形区域。

在本申请一些实施例中，通过遥控器上按键、语音输入、控制面板输入等输入人脸跟焦的控制信号，人脸区域是指人脸所在的区域，从而对图像进行人脸识别，获取人脸位置矩形区域，识别图像的人脸区域的方式，包括但不限于如下步骤，提取图像中的图像特征，将图像特征输入预先训练的人脸识别模型进行判断，确定人脸识别模型判定为人脸的图像特征对应的位置区域为人脸图像区域，如图12所示的人脸位置矩形区域。

步骤1103，基于人脸位置矩形区域，确定调整中心点。

步骤1104，根据调整中心点和预设调整值对图像进行调整，获取目标图像，以及在显示器上显示目标图像。

在本申请一些实施例中，调整中心点指的是人脸位置矩形区域中一个坐标点，通过人脸位置矩形区域的坐标信息进行计算获取调整中心点，具体地，获取人脸位置矩形区域坐标信息，基于人脸位置矩形区域坐标信息进行计算处理，获取中心点坐标为调整中心点；其中，坐标信息指的是人脸位置矩形区域上的一个或者多个坐标点，以及坐标点对应的坐标值。

在本申请一些实施例中，预设调整值可以根据应用场景需要进行选择设置。

在本申请一些实施例中，以调整中心点为中心点不动，根据预设调整值对图像进行像素调整，获取目标图像，并在显示器上显示目标图像。继续以图10a为例，计算获取的调整中心点如图10c所示的O点，预设调整数值为一点五倍，对图10c中的图像进行调整，得到的目标图像如图10d所示，保证了跟焦效果。

上述示例中，以人脸区域计算调整中心点进行人脸跟焦，保证跟焦效果。

图13示出了根据一些实施例的再一种焦距控制方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述焦距控制方法。如图11所示，该方法包括：

在本申请的一些实施例中，在显示器中显示摄像头采集的图像，响应于指示人脸跟焦的控制信号，基于图像获取人脸位置矩形区域。

在本申请一些实施例中，显示器中显示的图像可以包括人脸图像也可以不包括人脸图像，本申请主要针对的是包括人脸图像的处理，人脸图像可以在显示图像的任一位置。

在本申请一些实施例中，通过遥控器上按键、语音输入、控制面板输入等输入人脸跟焦的控制信号，从而对图像进行人脸识别，获取人脸位置矩形区域。

在本申请的一些实施例中，在显示器中显示摄像头采集的图像，响应于指示人脸跟焦的控制信号，基于图像获取人脸位置矩形区域之后，可以执行基于图像获取不到人体位置矩形区域，基于人脸位置矩形区域，确定调整中心点或基于图像获取人体位置矩形区域，基于人脸位置矩形区域和人体位置矩形区域确定调整中心点。

在本申请的一些实施例中，基于图像获取不到人体位置矩形区域，基于人脸位置矩形区域，确定调整中心点。

在本申请一些实施例中，可以理解的是，人体位置矩形区域为四肢及躯干部分所在的身体区域，在确定人脸位置矩形区域后，可以采用人体检测算法进行确定，或者建立人体检测模型，进而基于人体检测模型进行检测，获取人体位置矩形区域。

在本申请一些实施例中，基于图像获取不到人体位置矩形区域，表示图像仅仅包括人脸位置矩形区域，基于人脸位置矩形区域，确定调整中心点。也就是说，当只能检测到人脸位置矩形区域，未检测到人体位置矩形区域时，仅以人脸位置矩形区域作为计算矩形缩放区域的调整中心点。

在本申请一些实施例中，基于人脸位置矩形区域，获取人脸位置矩形区域坐标信息，基于人脸位置矩形区域坐标信息进行计算处理，获取中心点坐标为调整中心点，更具体地，在人脸跟焦功能开启时，检测人脸位置矩形区域和人体位置矩形区域，以图像的左下角为原始坐标点(0，0)建立坐标轴，摄像头拍摄范围下方边界为横轴，左方边界为纵轴，创建坐标系，读取人脸位置矩形区域坐标信息，比如为四个坐标点(a1，b1)，(a1，b2)，(a2，b1)，(a2，b2)，从而根据该四个坐标点确定人脸位置矩形区域，进一步计算中心点坐标为((a1+a2)/2，(b1+b2)/2)为调整中心点。

在本申请的一些实施例中，基于图像获取人体位置矩形区域，基于人脸位置矩形区域和人体位置矩形区域确定调整中心点。

在本申请一些实施例中，基于人脸位置矩形区域，获取人脸位置矩形区域坐标信息，基于人体位置矩形区域，获取人体位置矩形区域坐标信息，基于人脸位置矩形区域坐标信息进行计算处理，获取第一中心点坐标，基于人体位置矩形区域坐标信息进行计算处理，获取第二中心点坐标，基于第一中心点坐标和第二中心点坐标进行计算处理，获取目标中心点坐标为调整中心点。更具体地，在人脸跟焦功能开启时，检测人脸位置矩形区域和人体位置矩形区域，以图像的左下角为原始坐标点(0，0)建立坐标轴，摄像头拍摄范围下方边界为横轴，左方边界为纵轴，创建坐标系，读取人脸位置矩形区域坐标信息和人体位置矩形区域坐标信息，比如为四个坐标点(a1，b1)，(a1，b2)，(a2，b1)，(a2，b2)，从而根据该四个坐标点确定人脸位置矩形区域，以及四个坐标点(c1，d1)，(c1，d2)，(c2，d1)，(c2，d2)，从而根据该四个坐标点确定人体位置矩形区域。

进一步地，根据当(a1，b1，a2，b2)，(c1，d1，c2，d2)均不全为零时，判断同时检测到人脸位置矩形区域和人体位置矩形区域，二者结合进行双重判断，以人体位置矩形区域和人脸位置矩形区域计算调整中心点，即人脸位置矩形区域的第一中心点坐标(h1，h2)为((a1+a2)/2，(b1+b2)/2)，人体位置矩形区域的第二中心点坐标(k1，k2)为((c1+c2)/2，(d1+d2)/2)，根据第一中心点坐标和第二中心点坐标进行计算处理获取目标中心点坐标为((h1+k1)/2，(h2+k2)/2)为调整中心点。

在本申请的一些实施例中，根据调整中心点和预设调整值对图像进行调整，获取目标图像，以及在显示器上显示目标图像。

在本申请一些实施例中，基于人脸位置矩形区域确定调整中心点，具体地，获取人脸位置矩形区域坐标信息，基于人脸位置矩形区域坐标信息进行计算处理，获取中心点坐标为调整中心点。

在本申请一些实施例中，预设调整值可以根据应用场景需要进行选择设置。

在本申请一些实施例中，以调整中心点为中心点不动，根据预设调整值对图像进行像素调整，获取目标图像，并在显示器上显示目标图像。继续以图10a为例，计算获取的调整中心点如图10a所示的O点，预设调整数值为一点五倍，对图10a中的图像进行调整，得到的图像如图10c所示，保证了跟焦效果。继续以图12为例，计算获取的调整中心点如图12所示的O点，预设调整数值为一点五倍，对图12中的图像进行调整，得到的图像如图14所示，保证了跟焦效果。

由此，摄像头在显示器显示界面的人脸跟焦效果，以人脸位置矩形区域和人体位置矩形区域为双重检验标准，当检测到人脸位置矩形区域和人体位置矩形区域时，以人脸位置矩形区域与人体位置矩形区域计算矩形缩放区域，当检测不到人体位置矩形区域时，仅以人脸位置矩形区域计算矩形缩放区域。另外，当人体位置矩形区域和人脸位置矩形区域都检测不到时，将矩形缩放区域置为空。

上述示例中，以人脸区域计算调整中心点进行人脸跟焦，保证跟焦效果。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包括这些改动和变型在内。

Claims (11)

1.一种显示设备，其特征在于，包括：

显示器；

外部装置接口，和/或，摄像头；

与所述摄像头和所述显示器连接的控制器，所述控制器被配置为：

响应于启动所述摄像头的控制信号，在所述显示器中显示所述摄像头采集的图像；

响应于焦距调整指令，更新所述显示器上图像的焦距显示范围；

检测到手势指令，获取手势矩形区域；

基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域在所述焦距显示范围内，则执行所述手势指令；

基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域不在所述焦距显示范围内，则不执行所述手势指令。

2.根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

基于所述焦距调整指令，确定所述摄像头未调整焦距；

检测到手势指令，执行所述手势指令。

3.根据权利要求1所述的显示设备，其特征在于，所述控制器在执行响应于焦距调整指令，更新所述显示器上图像的焦距显示范围，被进一步配置为：

基于所述焦距调整指令，确定所述摄像头已进行焦距调整，获取焦距坐标信息；

基于所述焦距坐标信息，更新所述显示器上图像的所述焦距显示范围。

4.根据权利要求1所述的显示设备，其特征在于，所述控制器在执行获取手势矩形区域，被进一步配置为：

获取所述手势指令的多个关键点；

获取所述多个关键点对应的关键点坐标信息；

基于所述关键点坐标信息，确定最小横纵坐标值和最大横纵坐标值；

基于所述最小横纵坐标值和所述最大横纵坐标值，获取所述手势矩形区域。

5.根据权利要求1所述的显示设备，其特征在于，所述控制器在执行基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域在所述焦距显示范围内，则执行所述手势指令，被进一步配置为：

获取所述焦距显示范围的目标坐标信息；

获取所述手势矩形区域的手势坐标信息；

基于所述目标坐标信息和所述手势坐标信息，确定所述手势矩形区域在所述焦距显示范围内，则执行所述手势指令。

6.根据权利要求5所述的显示设备，其特征在于，所述控制器在执行基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域不在所述焦距显示范围内，则不执行所述手势指令，被进一步配置为：

基于所述目标坐标信息和所述手势坐标信息，确定所述手势矩形区域不在所述焦距显示范围内，则不执行所述手势指令。

7.一种显示设备，其特征在于，包括：

显示器；

外部装置接口，和/或，摄像头；

与所述摄像头和所述显示器连接的控制器，所述控制器被配置为：

响应于启动所述摄像头的控制信号，在所述显示器中显示所述摄像头采集的图像；

响应于放大拍摄到的物体指令，在所述显示器上呈现所述摄像头采集的图像经过放大后的一部分；

响应于摄像头在拍摄范围内检测到手势指令，获取手势矩形区域；

如果手势在所述显示器上呈现，则执行所述手势指令；

如果手势未在所述显示器上呈现，则不执行所述手势指令。

8.根据权利要求7所述的显示设备，其特征在于，所述控制器响应于摄像头在拍摄范围内检测到手势指令，获取手势矩形区域，被进一步配置为：

获取所述手势指令的多个关键点；

获取所述多个关键点对应的关键点坐标信息；

基于所述关键点坐标信息，确定最小横纵坐标值和最大横纵坐标值；

基于所述最小横纵坐标值和所述最大横纵坐标值，获取所述手势矩形区域。

9.根据权利要求7所述的显示设备，其特征在于，所述控制器响应于摄像头在拍摄范围内检测到手势指令，获取手势矩形区域；如果手势在所述显示器上呈现，则执行所述手势指令；如果手势未在所述显示器上呈现，则不执行所述手势指令，被进一步配置为：

获取所述显示器呈现图像的焦距显示范围的目标坐标信息；

获取所述手势的手势坐标信息；

基于所述目标坐标信息和所述手势坐标信息，确定所述手势在所述焦距显示范围内，则执行所述手势指令；

基于所述目标坐标信息和所述手势坐标信息，确定所述手势不在所述焦距显示范围内，则不执行所述手势指令。

10.一种焦距控制方法，应用于显示设备，包括显示器，控制器，外部装置接口，和/或，摄像头，其特征在于，包括：

当打开图像采集器相关的应用时，在所述显示器上呈现摄像头采集的图像；

响应于焦距调整指令，更新所述显示器上图像的焦距显示范围；

检测到手势指令，获取手势矩形区域；

基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域在所述焦距显示范围内，则执行所述手势指令；

基于所述焦距显示范围和所述手势矩形区域，确定所述手势矩形区域不在所述焦距显示范围内，则不执行所述手势指令。

11.一种焦距控制方法，应用于显示设备，包括显示器，控制器，外部装置接口，和/或，摄像头，其特征在于，包括：

响应于启动所述摄像头的控制信号，在所述显示器中显示所述摄像头采集的图像；

响应于放大拍摄到的物体指令，在所述显示器上呈现所述摄像头采集的图像经过放大后的一部分；

响应于摄像头在拍摄范围内检测到手势指令，获取手势矩形区域；

如果手势在所述显示器上呈现，则执行所述手势指令；

如果手势未在所述显示器上呈现，则不执行所述手势指令。

Images