CN113778217A - 显示设备及显示设备控制方法 - Google Patents

显示设备及显示设备控制方法 Download PDF

Info

Publication number
CN113778217A
CN113778217A CN202111070248.1A CN202111070248A CN113778217A CN 113778217 A CN113778217 A CN 113778217A CN 202111070248 A CN202111070248 A CN 202111070248A CN 113778217 A CN113778217 A CN 113778217A
Authority
CN
China
Prior art keywords
user
image
interaction
control
control part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111070248.1A
Other languages
English (en)
Inventor
王之奎
杨鲁明
郝冬宁
姜俊厚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202111070248.1A priority Critical patent/CN113778217A/zh
Publication of CN113778217A publication Critical patent/CN113778217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了显示设备及显示设备控制方法，显示设备通过采集、分析用户的图像及图像的深度信息确定图像中用户的控制部位的位置相关信息及姿势变化信息。响应于根据图像中控制部位的位置相关信息将控制部位映射到用户界面中而得到交互位置，控制将交互位置突出显示。响应于判定控制部位的姿势变化信息表征某个预设操作，对交互位置处的界面元素执行该预设操作。从而，使得用户可以通过某个肢体部位的动作与显示设备进行隔空交互，该隔空交互方式不仅可以使用户摆脱键盘、鼠标、遥控器的限制，还无需用户与显示器直接接触，同时可以针对用户界面中的界面元素进行交互，适用于显示设备所能提供的任何功能场景。

Description

显示设备及显示设备控制方法
技术领域
本申请涉及显示设备技术领域，尤其涉及一种显示设备及显示设备控制方法。
背景技术
显示设备可以为用户提供诸如音频、视频、图片等播放画面，不仅可以为用户提供通过数据广播接收的直播电视节目内容，而且可以为用户提供诸如网络视频节目、网络游戏等各种应用和服务内容。
显示设备的交互控制方式是用户的关注焦点，创新的交互控制方式有利于提升用户操作便利性和灵活性，从而提醒用户对显示设备的使用体验。目前主要的交互控制方式是，用户通过遥控器按键操作向显示设备输入控制指令，或者输入用于对用户界面中交互式界面对象的操作，来控制显示设备响应输入的控制指令及操作。
然而，由于上述交互控制方式受限于遥控器，其灵活性有待提高。因此提供一种灵活性强且适用场景广泛的交互控制方式，是本领域亟待解决的问题。
发明内容
本申请提供一种显示设备及显示设备控制方法，以解决现有显示设备的交互控制方式受限于遥控器等控制装置的问题。
第一方面，本申请提供一种显示设备，包括：
显示器，被配置为显示用户界面；
摄像头模组，用于采集用户的图像及所述图像的深度信息；
控制器，被配置为：
根据所述图像及所述图像的深度信息，确定所述图像中用户的控制部位的位置相关信息及姿势变化信息，所述控制部位是指用户用于与所述显示设备进行隔空交互的部位；
响应于根据所述位置相关信息将所述控制部位映射到用户界面中得到所述隔空交互的交互位置，控制将所述交互位置突出显示；
响应于判定所述姿势变化信息表征预设操作，对所述交互位置处的界面对象执行所述姿势变化信息所表征的预设操作。
第二方面，本申请还提供一种显示设备控制方法，包括：
采集用户的图像及所述图像的深度信息；
根据所述图像及所述图像的深度信息，确定所述图像中用户的控制部位的位置相关信息及姿势变化信息，所述控制部位是指用户用于与所述显示设备进行隔空交互的部位；
响应于根据所述位置相关信息将所述控制部位映射到用户界面中得到所述隔空交互的交互位置，控制将所述交互位置突出显示；
响应于判定所述姿势变化信息表征预设操作，对所述交互位置处的界面对象执行所述姿势变化信息所表征的预设操作。
基于本申请实施例提供的显示设备及其控制方法，用户可以通过某个肢体部位的动作与显示设备进行隔空交互。显示设备通过将用户的控制部位由立体空间映射到用户界面中以确定交互位置，并在用户界面中将交互位置突出显示出来，以供用户实时感知当前的交互位置及通过移动控制部位在空间中的位置来调整交互位置。显示设备通过识别控制部位的隔空动作，针对交互位置处的界面元素执行隔空动作所表征的操作。该隔空交互方式不仅可以使用户摆脱键盘、鼠标、遥控器的限制，还无需用户与显示器直接接触，同时可以针对用户界面中的界面元素进行交互，适用于显示设备所能提供的任何功能场景。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请在一些实施例中示出的显示设备的使用场景；
图2为本申请在一些实施例中示出的控制装置100的硬件配置框图；
图3为本申请在一些实施例中示出的显示设备200的硬件配置框图；
图4为本申请在一些实施例中示出的显示设备200中软件配置图；
图5为本申请在一些示例性实施例中示出的一种用户与显示设备的交互场景示意图；
图6为本申请在一些示例性实施例示出的一种用户与显示设备的交互控制场景；
图7为本申请在一些示例性实施例中示出的一种用户界面；
图8为本申请在一些示例性实施例中示出的一种用户手部关节点示意图；
图9为本申请在一些示例性实施例中示出的一种用户图像示意图；
图10为本申请在一些示例性实施例中示出的一种用户图像示意图；
图11为本申请在一些示例性实施例中示出的映射关系示意图；
图12为本申请在一些示例性实施例中示出的映射关系示意图；
图13为本申请在一些示例性实施例中示出的交互位置示意图；
图14为本申请在一些示例性实施例中示出的显示设备控制方法流程图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。
在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中，用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。
在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
在一些实施例中，图像采集器为摄像头模组，摄像头模组包括用于采集图像的摄像头和用于采集的图像的深度信息的深感摄像头，如RGBD相机。通过摄像头模组，可以采集图像及图像的深度信息。
在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。
在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。
如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在一些实施例中，用户通过控制装置与用户界面中可视的界面元素进行交互，以控制显示设备响应于该交互而执行相应的操作。其中，控制装置包括遥控器、鼠标、键盘及智能控制终端等。示例性的，显示设备响应于用户通过遥控器输入的移动焦点位置的交互操作，控制显示设备选择某个图标、按钮、选项卡等。另一示例性的，显示设备响应于用户通过遥控器输入的确认操作，控制显示设备执行打开某个图标、选中某个按钮或者选项卡等。可见，在这些实施例中，用户与显示设备的交互过程，均是通过控制装置的按键输入实现的。
在一些实施例中，上述显示设备200可以是触控显示设备，其显示器260是由触控组件和屏幕共同构成触控显示器。触控显示设备支持触控交互功能，用户只要用手指轻轻地碰显示器就能实现对主机操作，从而摆脱键盘、鼠标、遥控器操作，使人机交互更为直截了当。基于触控显示器上，用户可以通过触摸操作输入不同的控制指令。例如，用户可以针对用户界面中的界面元素输入点击、滑动、长按、双击等触控指令，不同的触控指令可以代表不同的控制功能。为了实现上述不同的触摸动作，触敏组件可以在用户输入不同触摸动作时，产生不同的电信号，并将产生的电信号发送给控制器250。控制器250可以对接收到的电信号进行特征提取，从而根据提取的特征确定用户要执行的控制功能。例如，当用户在应用程序界面中的任一程序图标位置输入点击触摸动作时，触控组件将感应到触摸动作从而产生电信号。控制器250在接收到电信号后，可以先对电信号中触摸动作对应电平的持续时间进行判断，在持续时间小于预设时间阈值时，识别出用户输入的是点击触控指令。控制器250再对电信号产生的位置特征进行提取，从而确定触摸位置。当触摸位置在应用图标显示范围内时，确定用户在应用图标位置输入了点击触控指令。相应的，点击触控指令在当前场景下用于执行运行相应应用程序的功能，因此控制器250可以启动运行对应的应用程序。又如，当用户在媒资展示页面中输入滑动动作时，触控组件同样将感应到的电信号发送给控制器250。控制器250先对电信号中触摸动作对应信号的持续时间进行判断。在确定持续时间大于预设时间阈值时，再对信号产生的位置变化情况进行判断，显然，对于互动触摸动作，其信号的产生位置将发生变化，从而确定用户输入了滑动触控指令。控制器250再根据信号产生位置的变化情况，对滑动触控指令的滑动方向进行判断，控制在媒资展示页面中对显示画面进行翻页，以显示更多的媒资选项。进一步地，控制器250还可以对滑动触控指令的滑动速度、滑动距离等特征进行提取，并按照所提取的特征进行翻页的画面控制，以达到跟手效果等。可见，在这些实施例中，用户与显示设备的交互过程，是通过与用户界面中可视的界面元素进行直接接触来实现的。
在一些实施例中，用户还可以基于显示设备具有的远场语音功能和近场语音功能，与语音应用进行对话以输入语音指令；显示设备对输入的语音指令进行解析和匹配，根据解析及匹配结果执行对应的操作。示例性的，用户对着显示设备说“请播放理想之城第一集”，显示设备将解析及匹配该语音指令，根据解析及匹配结果，将打开媒资应用、查找到对应媒资并调用多媒体中间件播放该媒资。然而，用户虽然可以通过语音控制功能与显示设备进行交互，但通过该交互方式可实现的交互场景是非常有限的。比如，用户无法针对用户界面中的界面元素进行交互。
图5为本申请在一些示例性实施例中示出的一种用户与显示设备的交互场景示意图。如图5所示，用户可以通过某个肢体部位的动作与显示设备进行隔空交互。为便于说明，可以将用户的用于与显示设备进行隔空交互的部位称为控制部位。示例性的，该控制部位可以是手部。
具体的，显示设备通过将用户的控制部位由立体空间映射到用户界面中以确定交互位置，并在用户界面中将交互位置突出显示出来，以供用户实时感知当前的交互位置，并通过移动控制部位在空间中的位置来调整交互位置。换句话说，用户与用户界面的交互位置将会响应于用户控制部位在空间中的移动而移动。另外，显示设备还可以通过识别控制部位的隔空动作，针对交互位置处的界面元素执行隔空动作所表征的操作。例如，当识别出用户手部的隔空动作表征点击操作时，针对交互位置处的界面元素，执行点击操作，即选中或者选择该界面元素。
值得注意的是，上述隔空交互方式不仅可以使用户摆脱键盘、鼠标、遥控器的限制，还无需用户与显示器直接接触，同时可以针对用户界面中的界面元素进行交互，适用于显示设备所能提供的任何功能场景。
为实现上述隔空交互控制功能，控制器250通过摄像头模组采集由多帧连续的图像构成的本地视频数据流，及每帧图像的深度信息，并根据图像及图像的深度信息确定图像中用户的控制部位的位置相关信息及姿势变化信息。换句话说，控制器250通过采集、识别摄像头视场范围内的深度图像，确定图像中是否存在用户及其控制部位；在图像中存在用户及其控制部位时，进一步确定图像中控制部位的位置相关信息及姿势变化信息。其中，控制部位的位置相关信息用于将控制部位由空间中映射到用户界面中，以将控制部位在用户界面中的映射位置确定为交互位置；而控制部位的姿势变化信息即反映了控制部位的隔空动作，用于与预设动作或者预设操作进行匹配，以在控制部位的姿势变化信息与某个预设动作或者预设操作匹配时，显示设备执行针对交互位置处的界面元素执行该预设操作。
也就是说，控制器250响应于根据图像中控制部位的位置相关信息将控制部位映射到用户界面中而得到交互位置，控制将交互位置突出显示。例如，在交互位置处显示用于指示交互位置的标识。控制器250响应于判定控制部位的姿势变化信息表征某个预设操作，对交互位置处的界面元素执行该预设操作。例如，将点击操作预定为预设操作中的一个，当判定控制位置的姿势变化信息表征点击操作，则对交互位置处的界面元素执行点击操作。
图6为本申请在一些示例性实施例示出的一种用户与显示设备的交互控制场景。如图6所示，用户通过手部动作与显示设备进行隔空交互。图6中示出了用户手部的现在时空中位置601和将来时空中位置602。显示设备的用户界面中包括诸如图标、选项卡、栏目等多个交互式界面元素，以及用于指示交互位置的标识603。其中，标识603显示在选项604上，从而向用户指示出选项604的显示位置是当前的交互位置，而该交互位置则是用户手部处于现在时空中位置601时，在用户界面中的映射位置。应理解的是，当用户手部移动到将来时空中位置602时，用于指示交互位置的标识603将随之移动，例如移动在选项605上，从而向用户指示处选项605的显示位置是最新的交互位置，而该交互位置则是用户手部处于将来时空中位置602时，在用户界面中的映射位置。
在一些实施例中，控制器250还被配置为，将交互位置处的界面元素突出显示，以指示出该交互位置处的界面元素被用户选择。例如，在交互位置处的界面元素上显示某种样式的选择器。图7为本申请在一些示例性实施例中示出的一种用户界面，该用户界面具体为图6所示交互场景中的用户界面的另一种显示形式。与图6中示出的用户界面的不同之处在于，在图7示出的用户界面中，交互位置处的界面元素，选项604上显示有选择器。这样，用户即可根据选择器的指示作用，直观地感知到其选择的界面元素。
在一些实施例中，图像中控制部位的位置相关信息包括控制部位与参考部位的相对位置关系。可选择地，参考部位是不同于控制部位的用户的另一个肢体部位。示例性的，控制部位可以是用户手部，参考部位则可以是头部和/或肩部。控制器250按照预设映射规则将空间中的控制部位映射到用户界面中以确定交互位置。该预设映射规则中，参考部位与用户界面中的预设位置具有固定映射关系。换句话说，该预设位置是参考部位在用户界面中的固定映射位置。通过将参考部位固定映射到该预设位置上，建立空间中的用户与用户界面中的映射关系，再基于该映射关系将控制部位映射到用户界面中以确定交互位置。
在一些更为具体的实施例中，控制器250将用户界面中与预设位置符合上述相对位置关系的位置，确定为控制部位在用户界面中的映射位置，将控制部位在用户界面中的映射位置确定为隔空交互的交互位置。换句话说，用户界面中交互位置与预设位置之间的相对位置关系与图像中控制部位与参考位置的相对位置关系是相符的。前述相符包括但不限于相对位置关系一致的情况，例如，还可以包括等比例关系等具有特定规律的相关关系。
在一些具体实现方式中，控制器250首先确定控制部位及参考部位在同一平面坐标系中的位置坐标。例如，确定控制部位及参考部位在图像中的位置坐标。然后根据控制部位及参考部位在该平面坐标系中的位置坐标，确定控制部位与参考部位之间的横向距离和纵向距离。其中，可以将控制部位的中心或者某个关键点(关节点)在该平面坐标系中的坐标作为控制部位的位置坐标，可以将参考部位的中心、边界点或者某个关键点(关节点)在该平面坐标系中的坐标作为参考部位的位置坐标。示例性的，若将控制部位的位置坐标表示为(Xk，Yk)，将参考部位的位置坐标表示为(Xc，Yc)，那么控制部位与参考部位之间的横向距离为|Xk-Xc|，纵向距离为|Yk-Yc|。再计算控制部位与参考部位之间的横向距离与特定横向尺寸的比值，得到第一比例关系，以及计算控制部位与参考部位之间的纵向距离与特定纵向尺寸的比值，得到第二比例关系。其中，该特定横向尺寸和特定纵向尺寸是根据参考部位的图像尺寸确定的。例如，特定横向尺寸是参考部位在图像中的宽度的K1倍，特定纵向尺寸是参考部位在图像中的高度的K2倍，K1和K2取正数。基于此，将用户界面中与预设位置之间的横向距离，与用户界面最大宽度符合第一比例关系、与预设位置之间的纵向距离，与用户界面最大高度符合第二比例关系的位置，确定为控制部位在用户界面中的映射位置。换句话说，某个位置与预设位置符合相对位置关系是指，该位置和预设位置之间的横向距离与用户界面横向尺寸符合第一比例关系，且，该位置和预设位置之间的纵向距离与用户界面纵向尺寸符合第二比例关系。
可以理解的是，控制部位及参考部位都可以具有多个关节点，例如，手部关节点、肩部关节点。在图像中，控制部位及参考部位的关节点可以作为控制部位及参考部位对应图像区域的关键点。显示设备基于图像识别技术对图像中的控制部位及参考部位的关键点识别，并得到每个关键点在图像中的位置信息，例如每个关键点在预定坐标系中的位置坐标。
图8为本申请在一些示例性实施例中示出的一种用户手部关节点示意图。在以手部为控制部位的实施例中，显示设备通过识别手部的关节点0-20及其位置，来确定控制部位的位置相关信息及姿势变化信息。参考图8，可以以关节点0在某个指定二维坐标系中的位置坐标，作为手部在该坐标系中的位置坐标，进而基于手部在该坐标系中的位置坐标得到手部的位置相关信息。可以通过关节点5和关节点8在某个指定三维坐标系中的位置坐标的变化情况，确定食指的姿势变化，即得到手部的姿势变化信息。
图9为本申请在一些示例性实施例中示出的一种用户图像示意图。如图9所示，用户的手部是用于与显示设备进行隔空交互的控制部位，用户头部是用于辅助建立用户与用户界面之间映射关系的参考部位。在图9示出的二维平面坐标系中，手部的位置坐标为(Xk，Yk)，头部的位置坐标为(Xc，Yc)。通过计算可得，手部与头部的横向距离为|Xk-Xc|，手部与头部的纵向距离为|Yk-Yc|。根据头部在图像中的尺寸可得到特定纵向尺寸和特定横向尺寸。比如，在可选实施例中，若头部的高度为H，宽度为w，那么特定横向尺寸可以为3w，特定纵向尺寸可以为3H。基于此，手部与肩部的相对位置关系即为第一比例关系|Xk-Xc|/3w，第二比例关系|Yk-Yc|/3H。
在一些实施例中，可以选择两个肢体部位同时作为参考部位，即参考部位可包括第一参考部位和第二参考部位。其中，第一参考部位用于辅助建立用户与用户界面之间的横向映射关系，横向映射关系用于确定控制部位在用户界面中的映射位置的横坐标；第二参考部位用于辅助建立用户与用户界面之间的纵向映射关系，纵向映射关系用于辅助确定控制部位在用户界面中的映射位置的纵坐标。在这些实施例中，以控制部位与第一参考部位之间的横向距离，作为上述实施例提及的控制部位与参考部位的横向距离；以控制部位与第二参考部位之间的纵向距离，作为上述实施例提及的控制部位与参考部位的纵向距离。
图10为本申请在一些示例性实施例中示出的一种用户图像示意图。如图10所示，用户的手部是用于与显示设备进行隔空交互的控制部位，用户的右侧肩部是第一参考部位，用户头部是第二参考部位。在图10示出的二维平面坐标系中，手部的位置坐标为(Xk，Yk)，右肩(最外侧关节点)位置坐标为(X1c，Y1c)，头部的位置坐标为(X2c，Y2c)。通过计算可得，手部与右肩的横向距离为|Xk–X1c|，手部与头部的纵向距离为|Yk–Y2c|。根据肩部(左肩和右肩)在图像中的尺寸可得到特定横向尺寸，根据头部在图像中的尺寸可得到特定纵向尺寸。比如，在可选实施例中，若肩部的宽度为L，那么特定横向尺寸可以为2L，若头部的高度为H，那么特定纵向尺寸可以为3H。基于此，手部与参考部位右肩及头部的相对位置关系即为第一比例关系|Xk-X1c|/2L，第二比例关系|Yk–Y2c|/3H。
图11为本申请在一些示例性实施例中示出的映射关系示意图，该示例可以理解为图5所示场景的俯视图。在该示例性实施例中，控制部位为手部，第一参考部位为右肩部，用户界面的中心位置为预设位置。如图11所示，根据预设映射规则，用户与用户界面(屏幕)的映射关系如图中虚线所示。其中，特定横向尺寸为用户肩宽T的2倍，手部与右肩部的横向距离为T’。基于预设映射规则，右肩部(最外侧关键点)固定映射到用户界面的中心位置(即屏幕中心)，用户肩宽T的2倍整体映射到用户界面最大宽度W，从而构成用户与用户界面之间的横向映射关系。基于该横向映射关系，手部映射到用户界面中的交互位置，交互位置与屏幕中心的横向距离W’满足：W’/W＝T’/2T。
图12为本申请在一些示例性实施例中示出的映射关系示意图，该示例可以理解为图5所示场景的侧视图。在该示例中，控制部位为手部，第二参考部位为头部，用户界面的中心位置为预设位置。如图12所示，根据预设映射规则，用户与用户界面(屏幕)的映射关系如图中虚线所示。其中，特定纵向尺寸在用户头部高度L的3倍，手部与头部(中心点)的纵向距离为L’。基于预设映射规则，头部(中点)固定映射到用户界面的中心位置，用户头部高度L的3倍整体映射到用户界面最大高度H，从而构成用户与用户界面之间的纵向映射关系。基于该纵向映射关系，手部映射到用户界面中的交互位置，交互位置与屏幕中心的纵向距离H’满足：H’/H＝L’/3L。
图13为本申请在一些示例性实施例中示出的交互位置示意图，其具体为图11及图12所示示例中交互位置的示意图。如图13所示，交互位置与屏幕中心的横向距离为W’，纵向距离为H’。
结合图11及12可知，控制部位在用户界面中映射位置与预设位置之间的相对位置关系与图像中控制部位与参考部位的相对位置关系相符。换句话说，控制部位在用户界面中的映射位置和预设位置之间的横向距离与用户界面最大宽度的比值，等于图像中控制部位和参考部位之间的横向距离与特定横向尺寸的比值；控制部位在用户界面中的映射位置和预设位置之间的纵向距离与用户界面最大高度的比值，等于图像中控制部位和参考部位之间的纵向距离与特定纵向尺寸的比值。
由以上实施例可知，显示设备通过采集、识别摄像头视场范围内的深度图像，确定图像中是否存在用户及其控制部位，在图像中存在用户及其控制部位时，根据图像中控制部位的位置相关信息将空间中的控制部位映射到用户界面中，以将控制部位在用户界面中的映射位置确定为交互位置。这样，用户便可通过移动控制部位在空间中的位置来调整其与用户界面的交互位置，进而通过某个肢体部位的动作与显示设备进行隔空交互。
在一些实施例中，控制器250通过确定图像中用户的控制部位的姿势变化信息匹配用户执行的隔空操作，响应于判定控制部位的姿势变化信息所表征的隔空操作与某个预设操作相匹配，则对交互位置处的界面对象执行该预设操作。
示例性的，控制部位的姿势变化信息包括控制部位的姿势的角度变化量；当判定角度变化量大于或者等于预设角度时，判定姿势变化信息表征点击操作，点击操作用于触发对交互位置处的界面对象进行选择或者选中。
在一些实施例中，控制器250首先获取控制部位的多个关键点在预设平面中的二维坐标。示例性的，控制部位为手部时，控制部位的多个关键点可如图8中示出的手部关节点0-20。然后结合每个关键点的二维坐标和图像的深度信息，确定每个关键点在预设空间中的三维坐标，即集合图像的深度信息，将每个关键点的二维坐标转换成三维坐标。最后根据多帧连续的图像中关键点的三维坐标变化量，确定控制部位的姿势变化信息。
示例性的，对于连续的第一图像和第二图像，根据第一图像中第一指定关键点和第二指定关键点的三维坐标确定第一空间向量，根据第二图像中所第一指定关键点和第二指定关键点的三维坐标确定第二空间向量。该第一关键点和第二关键点可以为控制部位多个关键点中的两个。最后计算第二空间向量与第一空间向量的空间角度，得到所述控制部位的姿势的角度变化量。例如，控制部位为手部时，第一关键点可以是图8中示出的食指关节点5，第二关键点可以是图8中示出的食指关节点8。那么根据食指关节点5和8计算出的空间向量即与食指对应，而两张连续的图像中，由食指关节点5和8计算出的空间向量的角度变化量即为食指的角度变化量，即为食指的姿势变化。
示例性的，按照下式，计算第二空间向量与第一空间向量的空间角度：
θ＝arccos(VecA×VecB/(|VecA|×|VecB|))
其中，VecA为第一空间向量，VecB为第二空间向量。
示例性的，当θ>＝45°时，可以认为控制部位的姿势变化信息表征点击操作。此时，针对交互位置处的界面元素执行选择或者选中操作。在一些实施例中，控制器250还可以识别图像中用户的控制部位的姿势匹配用户执行的隔空手势，响应于判定控制部位的姿势所表征的隔空手势与某个预设手势相匹配，则对交互位置处的界面对象执行该预设手势对应的操作，或者直接执行该预设手势对应的操作。例如，当识别出用户手部呈“剪刀手”时，则执行返回主页的操作，当识别出用户手部呈“OK”时，则针对交互位置处的界面元素执行确认操作。
由以上实施例可知，控制器250通过采集、分析用户的图像及图像的深度信息确定图像中用户的控制部位的位置相关信息及姿势变化信息。响应于根据图像中控制部位的位置相关信息将控制部位映射到用户界面中而得到交互位置，控制将交互位置突出显示。响应于判定控制部位的姿势变化信息表征某个预设操作，对交互位置处的界面元素执行该预设操作。从而，使得用户可以通过某个肢体部位的动作与显示设备进行隔空交互，该隔空交互方式不仅可以使用户摆脱键盘、鼠标、遥控器的限制，还无需用户与显示器直接接触，同时可以针对用户界面中的界面元素进行交互，适用于显示设备所能提供的任何功能场景。
根据以上显示设备实施例，本申请还提供一种显示设备控制方法，该方法的执行主体包括但不限于显示设备的控制器，如上述控制器250。如图14所示，该显示设备控制方法可以包括如下步骤：
S141,采集用户的图像及所述图像的深度信息。
S142,根据所述图像及所述图像的深度信息，确定所述图像中用户的控制部位的位置相关信息及姿势变化信息，所述控制部位是指用户用于与所述显示设备进行隔空交互的部位。
在一些实施例中，图像中用户的控制部位的位置相关信息包括所述控制部位与参考部位的相对位置关系。S142具体可以包括，按照预设映射规则，将用户界面中与预设位置符合所述相对位置关系的位置，确定为所述控制部位在用户界面中的映射位置，所述预设位置是满足所述预设映射规则的所述参考部位在用户界面中的固定映射位置；将所述控制部位在用户界面中的映射位置确定为所述隔空交互的交互位置。
在一些实施例中，通过下述步骤确定图像中所述控制部位与参考部位的相对位置关系：确定所述控制部位及参考部位在预设平面中的位置坐标；根据所述控制部位及参考部位在预设平面中的位置坐标，确定所述控制部位与所述参考部位之间的横向距离和纵向距离；计算所述控制部位与所述参考部位之间的横向距离与所述特定横向尺寸的比值，得到第一比例关系，以及计算所述控制部位与所述参考部位之间的纵向距离与所述特定纵向尺寸的比值，得到第二比例关系；其中，所述特定横向尺寸和特定纵向尺寸是根据所述参考部位的图像尺寸确定的，所述位置与预设位置符合所述相对位置关系是指，所述位置和预设位置之间的横向距离与用户界面横向尺寸符合所述第一比例关系，且，所述位置和预设位置之间的纵向距离与用户界面纵向尺寸符合所述第二比例关系。
在一些实施例中，参考部位包括第一参考部位和第二参考部位；所述控制部位与所述参考部位之间的横向距离是所述控制部位与所述第一参考部位之间的横向距离，所述控制部位与所述参考部位之间的纵向距离是所述控制部位与所述第二参考部位之间的纵向距离。
在一些实施例中，确定所述图像中用户的控制部位的姿势变化信息，包括：获取所述控制部位的多个关键点在预设平面中的二维坐标；结合每个所述关键点的二维坐标和所述图像的深度信息，确定每个所述关键点在预设空间中的三维坐标；根据多帧连续的图像中所述关键点的三维坐标变化量，确定所述控制部位的姿势变化信息。
在一些实施例中，所述控制部位的姿势变化信息包括所述控制部位的姿势的角度变化量；当判定所述角度变化量大于或者等于预设角度时，判定所述姿势变化信息表征点击操作，所述点击操作用于触发对所述交互位置处的界面对象进行选择或者选中。
在一些实施例中，根据第一图像中第一指定关键点和第二指定关键点的三维坐标确定第一空间向量，所述第一指定关键点和第二指定关键点为所述控制部位的多个关键点中的两个关键点；根据第二图像中所述第一指定关键点和所述第二指定关键点的三维坐标确定第二空间向量，所述第二图像为所述第一图像的下一帧图像；按照下式，计算第二空间向量与第一空间向量的空间角度，，得到所述控制部位的姿势的角度变化量。
θ＝arccos(VecA×VecB/(|VecA|×|VecB|))
其中，VecA为第一空间向量，VecB为第二空间向量。
在一些实施例中，所述控制部位为手部，所述第一参考部位为肩部，所述第二参考部位为头部；所述特定横向尺寸是根据所述图像中用户的肩部宽度确定的；所述特定纵向尺寸是根据所述图像中用户的头部高度确定的；所述预设位置为用户界面的中心点。
S143,响应于根据所述位置相关信息将所述控制部位映射到用户界面中得到所述隔空交互的交互位置，控制将所述交互位置突出显示。
S144,响应于判定所述姿势变化信息表征预设操作，对所述交互位置处的界面对象执行所述姿势变化信息所表征的预设操作。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：
显示器，被配置为显示用户界面；
摄像头模组，用于采集用户的图像及所述图像的深度信息；
控制器，被配置为：
根据所述图像及所述图像的深度信息，确定所述图像中用户的控制部位的位置相关信息及姿势变化信息，所述控制部位是指用户用于与所述显示设备进行隔空交互的部位；
响应于根据所述位置相关信息将所述控制部位映射到用户界面中得到所述隔空交互的交互位置，控制将所述交互位置突出显示；
响应于判定所述姿势变化信息表征预设操作，对所述交互位置处的界面对象执行所述姿势变化信息所表征的预设操作。
2.根据权利要求1所述的显示设备，其特征在于，所述图像中用户的控制部位的位置相关信息包括所述控制部位与参考部位的相对位置关系；所述控制器执行所述根据所述位置相关信息将所述控制部位映射到用户界面中得到所述隔空交互的交互位置，进一步被配置为：
按照预设映射规则，将用户界面中与预设位置符合所述相对位置关系的位置，确定为所述控制部位在用户界面中的映射位置，所述预设位置是满足所述预设映射规则的所述参考部位在用户界面中的固定映射位置；
将所述控制部位在用户界面中的映射位置确定为所述隔空交互的交互位置。
3.根据权利要求2所述的显示设备，其特征在于，所述控制器进一步被配置为，执行下述步骤以确定所述图像中所述控制部位与参考部位的相对位置关系：
确定所述控制部位及参考部位在预设平面中的位置坐标；
根据所述控制部位及参考部位在预设平面中的位置坐标，确定所述控制部位与所述参考部位之间的横向距离和纵向距离；
计算所述控制部位与所述参考部位之间的横向距离与所述特定横向尺寸的比值，得到第一比例关系，以及计算所述控制部位与所述参考部位之间的纵向距离与所述特定纵向尺寸的比值，得到第二比例关系；
其中，所述特定横向尺寸和特定纵向尺寸是根据所述参考部位的图像尺寸确定的，所述位置与预设位置符合所述相对位置关系是指，所述位置和预设位置之间的横向距离与用户界面横向尺寸符合所述第一比例关系，且，所述位置和预设位置之间的纵向距离与用户界面纵向尺寸符合所述第二比例关系。
4.根据权利要求3所述的显示设备，其特征在于，所述参考部位包括第一参考部位和第二参考部位；所述控制部位与所述参考部位之间的横向距离是所述控制部位与所述第一参考部位之间的横向距离，所述控制部位与所述参考部位之间的纵向距离是所述控制部位与所述第二参考部位之间的纵向距离。
5.根据权利要求1所述的显示设备，其特征在于，所述控制器执行确定所述图像中用户的控制部位的姿势变化信息，进一步被配置为：
获取所述控制部位的多个关键点在预设平面中的二维坐标；
结合每个所述关键点的二维坐标和所述图像的深度信息，确定每个所述关键点在预设空间中的三维坐标；
根据多帧连续的图像中所述关键点的三维坐标变化量，确定所述控制部位的姿势变化信息。
6.根据权利要求1所述的显示设备，其特征在于，所述控制部位的姿势变化信息包括所述控制部位的姿势的角度变化量；当判定所述角度变化量大于或者等于预设角度时，判定所述姿势变化信息表征点击操作，所述点击操作用于触发对所述交互位置处的界面对象进行选择或者选中。
7.根据权利要求6所述的显示设备，其特征在于，所述控制器执行所述根据多帧连续的图像中所述关键点的三维坐标变化量，确定所述控制部位的姿势变化信息，进一步被配置为：
根据第一图像中第一指定关键点和第二指定关键点的三维坐标确定第一空间向量，所述第一指定关键点和第二指定关键点为所述控制部位的多个关键点中的两个关键点；
根据第二图像中所述第一指定关键点和所述第二指定关键点的三维坐标确定第二空间向量，所述第二图像为所述第一图像的下一帧图像；
计算第二空间向量与第一空间向量的空间角度，得到所述控制部位的姿势的角度变化量。
8.根据权利要求7所述的显示设备，其特征在于，所述控制器进一步被配置为，按照下式，计算第二空间向量与第一空间向量的空间角度：
θ＝arccos(VecA×VecB/(|VecA|×|VecB|))
其中，VecA为第一空间向量，VecB为第二空间向量。
9.根据权利要求4所述的显示设备，其特征在于，所述控制部位为手部，所述第一参考部位为肩部，所述第二参考部位为头部；
所述特定横向尺寸是根据所述图像中用户的肩部宽度确定的；
所述特定纵向尺寸是根据所述图像中用户的头部高度确定的；
所述预设位置为用户界面的中心点。
10.一种显示设备控制方法，其特征在于，包括：
采集用户的图像及所述图像的深度信息；
根据所述图像及所述图像的深度信息，确定所述图像中用户的控制部位的位置相关信息及姿势变化信息，所述控制部位是指用户用于与所述显示设备进行隔空交互的部位；
响应于根据所述位置相关信息将所述控制部位映射到用户界面中得到所述隔空交互的交互位置，控制将所述交互位置突出显示；
响应于判定所述姿势变化信息表征预设操作，对所述交互位置处的界面对象执行所述姿势变化信息所表征的预设操作。
CN202111070248.1A 2021-09-13 2021-09-13 显示设备及显示设备控制方法 Pending CN113778217A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111070248.1A CN113778217A (zh) 2021-09-13 2021-09-13 显示设备及显示设备控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111070248.1A CN113778217A (zh) 2021-09-13 2021-09-13 显示设备及显示设备控制方法

Publications (1)

Publication Number Publication Date
CN113778217A true CN113778217A (zh) 2021-12-10

Family

ID=78843248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111070248.1A Pending CN113778217A (zh) 2021-09-13 2021-09-13 显示设备及显示设备控制方法

Country Status (1)

Country Link
CN (1) CN113778217A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339341A (zh) * 2021-12-15 2022-04-12 海信视像科技股份有限公司 显示设备及显示设备的控制方法
CN114327058A (zh) * 2021-12-24 2022-04-12 海信集团控股股份有限公司 显示设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110219340A1 (en) * 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
CN102193624A (zh) * 2010-02-09 2011-09-21 微软公司 用于基于姿势的用户界面的物理交互区
CN102262438A (zh) * 2010-05-18 2011-11-30 微软公司 用于操纵用户界面的姿势和姿势识别
US20130190093A1 (en) * 2010-05-04 2013-07-25 System And Method For Tracking And Mapping An Object To A Target Timoco Ltd. System and method for tracking and mapping an object to a target
CN105022483A (zh) * 2015-07-08 2015-11-04 安徽瑞宏信息科技有限公司 一种基于Kinect的公共信息终端
CN105765490A (zh) * 2014-01-03 2016-07-13 英特尔公司 用于用户界面控制的系统和技术
CN111527468A (zh) * 2019-11-18 2020-08-11 华为技术有限公司 一种隔空交互方法、装置和设备
CN111556350A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种智能终端及人机交互方法
CN111939561A (zh) * 2020-08-31 2020-11-17 聚好看科技股份有限公司 显示设备及交互方法
CN112068698A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种交互方法、装置及电子设备、计算机存储介质
US20210081052A1 (en) * 2019-09-17 2021-03-18 Gaganpreet Singh User interface control based on elbow-anchored arm gestures

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193624A (zh) * 2010-02-09 2011-09-21 微软公司 用于基于姿势的用户界面的物理交互区
US20110219340A1 (en) * 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
US20130190093A1 (en) * 2010-05-04 2013-07-25 System And Method For Tracking And Mapping An Object To A Target Timoco Ltd. System and method for tracking and mapping an object to a target
CN102262438A (zh) * 2010-05-18 2011-11-30 微软公司 用于操纵用户界面的姿势和姿势识别
CN105765490A (zh) * 2014-01-03 2016-07-13 英特尔公司 用于用户界面控制的系统和技术
CN105022483A (zh) * 2015-07-08 2015-11-04 安徽瑞宏信息科技有限公司 一种基于Kinect的公共信息终端
US20210081052A1 (en) * 2019-09-17 2021-03-18 Gaganpreet Singh User interface control based on elbow-anchored arm gestures
CN111527468A (zh) * 2019-11-18 2020-08-11 华为技术有限公司 一种隔空交互方法、装置和设备
CN111556350A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种智能终端及人机交互方法
CN111939561A (zh) * 2020-08-31 2020-11-17 聚好看科技股份有限公司 显示设备及交互方法
CN112068698A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种交互方法、装置及电子设备、计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339341A (zh) * 2021-12-15 2022-04-12 海信视像科技股份有限公司 显示设备及显示设备的控制方法
CN114327058A (zh) * 2021-12-24 2022-04-12 海信集团控股股份有限公司 显示设备
CN114327058B (zh) * 2021-12-24 2023-11-10 海信集团控股股份有限公司 显示设备

Similar Documents

Publication Publication Date Title
CN113778217A (zh) 显示设备及显示设备控制方法
CN111970549A (zh) 菜单显示方法和显示设备
CN111901646A (zh) 一种显示设备及触控菜单显示方法
CN113825002A (zh) 显示设备及焦距控制方法
CN114157889B (zh) 一种显示设备及触控协助交互方法
CN111939561B (zh) 显示设备及交互方法
CN111984167B (zh) 一种快捷命名的方法及显示设备
CN112584213A (zh) 一种显示设备和图像识别结果的展示方法
CN112926420B (zh) 一种显示设备和菜单文字识别方法
CN112947783B (zh) 一种显示设备
CN112650418B (zh) 一种显示设备
CN114760513A (zh) 一种显示设备及光标定位方法
CN112261289B (zh) 显示设备及ai算法结果获取方法
CN114282544A (zh) 显示设备和控件识别方法
CN111913622B (zh) 屏幕界面交互显示方法及显示设备
CN114007128A (zh) 一种显示设备及配网方法
CN113485613A (zh) 显示设备及自由画屏幕边缘涂色实现方法
CN112732120A (zh) 一种显示设备
CN111931692A (zh) 显示设备及图像识别方法
CN111669662A (zh) 显示设备、视频通话方法及服务器
CN111914565A (zh) 电子设备及用户语句的处理方法
CN114079827A (zh) 菜单显示方法和显示设备
CN114281284B (zh) 显示设备和图像显示方法
CN112799576B (zh) 一种虚拟鼠标移动的方法及显示设备
CN113807375B (zh) 一种显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination