CN111939561A - 显示设备及交互方法 - Google Patents

显示设备及交互方法 Download PDF

Info

Publication number
CN111939561A
CN111939561A CN202010894080.5A CN202010894080A CN111939561A CN 111939561 A CN111939561 A CN 111939561A CN 202010894080 A CN202010894080 A CN 202010894080A CN 111939561 A CN111939561 A CN 111939561A
Authority
CN
China
Prior art keywords
interface
user
preset
control
interface position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010894080.5A
Other languages
English (en)
Other versions
CN111939561B (zh
Inventor
董鹏
王光强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Media Network Technology Co Ltd
Original Assignee
Qingdao Hisense Media Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Media Network Technology Co Ltd filed Critical Qingdao Hisense Media Network Technology Co Ltd
Priority to CN202010894080.5A priority Critical patent/CN111939561B/zh
Publication of CN111939561A publication Critical patent/CN111939561A/zh
Application granted granted Critical
Publication of CN111939561B publication Critical patent/CN111939561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开显示设备及交互方法,显示设备控制器响应于预设指令,呈现交互界面,交互界面包括视频显示窗口,视频显示窗口中显示图像采集器采集的图像;获取第一界面位置和第二界面位置,第一界面位置对应于图像中的用户位置,第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;在视频显示窗口上层的第二界面位置处显示目标控件,并控制目标控件从第二界面位置朝第一界面位置移动。一些示例性的实施场景中,目标控件相当于与用户互动的虚拟球体,其被控制朝用户移动,用户通过移动自己的位置以躲避该球,从而使用户在虚拟现实场景中得到球类运动体验。

Description

显示设备及交互方法
技术领域
本申请涉及显示设备技术领域,尤其涉及一种显示设备及交互方法。
背景技术
显示设备可以为用户提供诸如音频、视频、图片等播放画面。如今,显示设备不仅可以为用户提供通过数据广播接收的直播电视节目内容,而且可以为用户提供诸如网络视频、网络游戏等各种应用和服务内容。
为了进一步满足用户的个性化需求,相关技术在显示设备上配置摄像头,通过显示设备的控制器获取摄像头采集的本地图像数据并进行处理、显示,不仅可以在显示设备上实现视频聊天、拍照、录像等功能,还可以实现用户与显示设备的交互,如互动游戏、手势输入等。
发明内容
本申请提供一种显示设备及交互方法,可以提高用户对显示设备的使用体验,尤其可以提高游戏体验的趣味性。
第一方面,本申请提供一种显示设备,包括:
显示器,用于显示交互界面,所述交互界面包括用于显示视频显示窗口的图层和/或用于显示控件的图层;
图像采集器,用于采集图像;
控制器,被配置为:
响应于预设指令,呈现交互界面,所述交互界面包括视频显示窗口,所述视频显示窗口中显示所述图像采集器采集的图像;
获取第一界面位置和第二界面位置,所述第一界面位置对应于所述图像中的用户位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述视频显示窗口上层的所述第二界面位置处显示目标控件,并控制所述目标控件从所述第二界面位置朝所述第一界面位置移动。
第二方面,本申请还提供一种显示设备,包括:
显示器,用于显示用户界面,所述用户界面包括交互界面;
图像采集器,用于采集图像;
控制器,被配置为:
响应于预设指令,呈现交互界面,所述交互界面中第一界面控件显示在第一界面位置,所述第一界面位置对应于用户位置;
确定第二界面位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述第二界面位置显示第二界面控件,并控制所述第二界面控件从所述第二界面位置朝所述第一界面控件移动。
第三方面,本申请还提供一种显示设备,包括:
显示器,用于显示用户界面,所述用户界面包括交互界面;
图像采集器,用于采集图像;
控制器,被配置为:
响应于预设指令,呈现交互界面,所述交互界面包括视频显示窗口,所述视频显示窗口中显示所述图像采集器采集的图像;
确定第一界面位置,所述第一界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述视频显示窗口上层的所述第一界面位置处显示目标控件,并控制所述目标控件从所述第一界面位置沿预定轨迹移动,所述预定轨迹是以所述第一界面位置为起点、以第二界面位置为终点的轨迹,所述第二界面位置与图像中的用户位置符合预定位置关系。
第四方面,本申请还提供一种显示设备,包括:
显示器,用于显示用户界面,所述用户界面包括交互界面;
控制器,被配置为:
响应于预设指令,呈现交互界面,所述交互界面中第一界面控件显示在第一界面位置,所述第一界面位置对应于用户位置;
确定第二界面位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述第二界面位置处显示第二界面控件,并控制第二界面控件从所述第二界面位置沿预定轨迹移动,所述预定轨迹是以所述第二界面位置为起点、以第三界面位置为终点的轨迹,所述第三界面位置与所述第一界面位置符合预定位置关系。
第五方面,本申请还提供一种交互方法,所述方法包括:
响应于预设指令,呈现交互界面,所述交互界面包括视频显示窗口,所述视频显示窗口中显示通过图像采集器采集的图像;
确定第一界面位置和第二界面位置,所述第一界面位置对应于所述图像中的用户位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述视频显示窗口上层的所述第二界面位置处显示目标控件,并控制所述目标控件从所述第二界面位置朝所述第一界面位置移动。
由以上技术方案可知,本申请提供一种显示设备及交互方法,显示设备控制器响应于预设指令,呈现交互界面,交互界面包括视频显示窗口,视频显示窗口中显示图像采集器采集的图像;确定第一界面位置和第二界面位置,第一界面位置对应于图像中的用户位置,第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;在视频显示窗口上层的第二界面位置处显示目标控件,并控制目标控件从所述第二界面位置朝第一界面位置移动。一些示例性的实施场景中,目标控件用于显性地示出与用户进行互动的虚拟球体的位置和动态移动过程。例如,在虚拟现实场景中,虚拟球其被控制朝用户移动,用户通过移动自己的位置以躲避该球,从而使用户在虚拟现实场景中得到球类运动体验。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图;
图3中示例性示出了根据一些实施例的控制设备100的硬件配置框图;
图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图;
图5中示例性示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示示意图;
图6为本申请示例性示出的一种可能的用户界面;
图7为本申请示例性示出的一种可能的用户界面;
图8为本申请示例性示出的一种可能的用户界面;
图9为本申请示例性示出的一种图像中用户位置示意图;
图10为本申请示例性示出的一种交互界面中用户位置示意图;
图11为本申请示例性示出的一种交互界面中目标控件初始显示位置产生区域示意图;
图12为本申请示例性示出的一种可能的用户界面;
图13为本申请示例性示出的一种可能的用户界面;
图14为本申请示例性示出的一种可能的用户界面;
图15为本申请示例性示出的一种可能的用户界面。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出,用户可通过移动终端300和控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上,在直观的用户界面(UI)中为用户提供各种控制。
在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用移动终端300与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端300上,通过控制移动终端300上用户界面,实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能。
如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275,音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中,显示器275,用于接收源自第一处理器输出的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。
在一些实施例中,显示器275,包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件。
在一些实施例中,显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
在一些实施例中,显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。
在一些实施例中,根据显示器275类型不同,还包括用于驱动显示的驱动组件。
在一些实施例中,显示器275为一种投影显示器,还可以包括一种投影装置和投影屏幕。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器可以包括Wifi芯片,蓝牙通信协议芯片,有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。
在一些实施例中,显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。
在一些实施例中,用户接口265,可用于接收控制装置100(如:红外遥控器等)红外控制信号。
在一些实施例中,检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中,检测器230包括光接收器,用于采集环境光线强度的传感器,可以通过采集环境光可以自适应性显示参数变化等。
在一些实施例中,检测器230还可以包括图像采集器,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在一些实施例中,检测器230还可以包括温度传感器等,如通过感测环境温度。
在一些实施例中,显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调,或当温度偏低的环境时,可以调整显示设备200显示图像偏暖色调。
在一些实施例中,检测器230还可声音采集器等,如麦克风,可以用于接收用户的声音。示例性的,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,使得显示设备200可以自适应适应环境噪声。
在一些实施例中,如图2所示,输入/输出接口255被配置为,可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
在一些实施例中,外部装置接口240可以包括,但不限于如下:可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中,如图2所示,调谐解调器210被配置为,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多多个无线或有线广播电视信号中解调出音视频信号,该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号,以及EPG数据信号。
在一些实施例中,调谐解调器210解调的频点受到控制器250的控制,控制器250可根据用户选择发出控制信号,以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
在一些实施例中,广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号,模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。这样,机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备,主体设备经过第一输入/输出接口接收音视频信号。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器275上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
如图2所示,控制器250包括随机存取存储器251(Random Access Memory,RAM)、只读存储器252(Read-Only Memory,ROM)、视频处理器270、音频处理器280、其他处理器253(例如:图形处理器(Graphics Processing Unit,GPU)、中央处理器254(CentralProcessing Unit,CPU)、通信接口(Communication Interface),以及通信总线256(Bus)中的至少一种。其中,通信总线连接各个部件。
在一些实施例中,RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。
在一些实施例中,ROM 252用于存储各种系统启动的指令。
在一些实施例中,ROM 252用于存储一个基本输入输出系统,称为基本输入输出系统(Basic Input Output System,BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。
在一些实施例中,在收到开机信号时,显示设备200电源开始启动,CPU运行ROM252中系统启动指令,将存储在存储器的操作系统的临时数据拷贝至RAM 251中,以便于启动或运行操作系统。当操作系统启动完成后,CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中,然后,以便于启动或运行各种应用程序。
在一些实施例中,处理器254,用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,处理器254,可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。一个或多个子处理器,用于在待机模式等状态下一种操作。
在一些实施例中,图形处理器253,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器270被配置为将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器270,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对转换输入视频帧率,如将60Hz帧率转换为120Hz帧率或240Hz帧率,通常的格式采用如插帧方式实现。
显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,图形处理器253可以和视频处理器可以集成设置,也可以分开设置,集成设置的时候可以执行输出给显示器的图形信号的处理,分离设置的时候可以分别执行不同的功能,例如GPU+FRC(Frame Rate Conversion))架构。
在一些实施例中,音频处理器280,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。
在一些实施例中,视频处理器270可以包括一颗或多颗芯片组成。音频处理器,也可以包括一颗或多颗芯片组成。
在一些实施例中,视频处理器270和音频处理器280,可以单独的芯片,也可以于控制器一起集成在一颗或多颗芯片中。
在一些实施例中,音频输出,在控制器250的控制下接收音频处理器280输出的声音信号,如:扬声器286,以及除了显示设备200自身携带的扬声器之外,可以输出至外接设备的发生装置的外接音响输出端子,如:外接音响接口或耳机接口等,还可以包括通信接口中的近距离通信模块,例如:用于进行蓝牙扬声器声音输出的蓝牙模块。
供电电源290,在控制器250控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部电源,在显示设备200中提供外接电源的电源接口。
用户接口265,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。
在一些实施例中,用户通过控制装置100或移动终端300输入用户命令,用户输入接口则根据用户的输入,显示设备200则通过控制器250响应用户的输入。
在一些实施例中,用户可在显示器275上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
存储器260,包括存储用于驱动显示设备200的各种软件模块。如:第一存储器中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。
基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
例如,语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,用于与外部设备之间进行控制和数据通信的模块。浏览器模块,用于执行浏览服务器之间数据通信的模块。服务模块,用于提供各种服务以及各类应用程序在内的模块。同时,存储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
图3示例性示出了根据示例性实施例中控制设备100的配置框图。如图3所示,控制设备100包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
控制设备100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。如:用户通过操作控制设备100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制设备100可是一种智能设备。如:控制设备100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端300或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制设备100类似功能。如:用户可以通过安装应用,在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制设备100实体按键的功能。
控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器用于控制控制设备100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制设备100包括通信接口130和输入输出接口140中至少一者。控制设备100中配置通信接口130,如:WiFi、蓝牙、NFC等模块,可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码,发送至显示设备200。
存储器190,用于在控制器的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器的控制下为控制设备100各元件提供运行电力支持。可以电池及相关控制电路。
在一些实施例中,系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等;也可以是第三方开发者所开发的应用程序,比如嗨见程序、K歌程序、魔镜程序等。在具体实施时,应用程序层中的应用程序包不限于以上举例,实际还可以包括其它应用程序包,本申请实施例对此不做限制。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于:管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。
在一些实施例中,窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,触摸传感器、压力传感器等)等。
在一些实施例中,内核层还包括用于进行电源管理的电源驱动模块。
在一些实施例中,图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
在一些实施例中,以魔镜应用(拍照应用)为例,当遥控接收装置接收到遥控器输入操作,相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的值,输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确认操作,该确认操作所对应的控件为魔镜应用图标的控件,魔镜应用调用应用框架层的接口,启动魔镜应用,进而通过调用内核层启动摄像头驱动,实现通过摄像头捕获静态图像或视频。
在一些实施例中,对于具备触控功能的显示设备,以分屏操作为例,显示设备接收用户作用于显示屏上的输入操作(如分屏操作),内核层可以根据输入操作产生相应的输入事件,并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理器的设置绘制窗口,然后将绘制的窗口数据发送给内核层的显示驱动,由显示驱动在显示屏的不同显示区域显示与之对应的应用界面。
在一些实施例中,如图5中所示,应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
在一些实施例中,直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
在一些实施例中,视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
在一些实施例中,媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
在一些实施例中,应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
在一些实施例中,控制器250通过运行存储在存储器260上的各种软件控制程序(如操作系统和/或各种应用程序),来控制显示设备200的工作和响应与显示器275相关的用户操作。例如,控制在显示器上呈现用户界面,用户界面上包括若干UI对象;响应于接收到的对用户界面上UI对象的用户命令,控制器250便可以执行与用户命令选择的对象有关的操作。
在一些实施例中,本申请实施例所涉及的部分或者全部步骤在操作系统内和目标应用程序中实现。示例的,将用于实现本申请实施例部分或者全部步骤的目标应用程序存储在存储器260中,控制器250通过在操作系统中运行该应用程序,来控制显示设备200的工作和响应与该应用程序有关的用户操作。
在一些实施例中,显示设备从服务器获取目标应用程序、与目标应用程序相关的各种图形用户界面、与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用程序的内部数据,并将前述数据信息保存在存储器中。
在一些实施例中,响应于目标应用程序的启动或者对目标应用程序相关UI对象的用户操作,显示设备从服务器获取媒体资源,如图片文件和音视频文件,以用于在目标应用程序运行时播放。
在一些实施例中,控制器通过运行目标应用程序实现以下步骤:响应于预设指令,启动图像采集器(摄像头),并呈现交互界面,交互界面中包括视频显示窗口,视频显示窗口中显示有由图像采集器采集的本地图像;确定第一界面位置和第二界面位置,第一界面位置对应于图像中的用户位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;在视频显示窗口上层的第二界面位置处显示目标控件,并控制目标控件从第二界面位置朝第一界面位置移动。
在一些实施例中,目标应用程序响应于用户输入而启动。用户输入可以如按键输入、手势输入、语音输入等。
图6为本申请示例性示出的用户界面,该用户界面为显示设备系统主页的一种实施情形。如图6所示,该用户界面显示有多个项目(控件),包括用于启动上述目标应用程序的目标项目。如图6所示,目标项目具体为“虚拟现实游戏A”。当显示器显示如图6所示的用户界面时,用户可以通过操作控制装置(如遥控器100)来操作目标项目“虚拟现实游戏A”,响应于对该目标项目的操作,控制器启动目标应用。当控制器接收到输入的指示启动上述目标应用程序的指令时,控制器响应于该指令,启动目标应用程序,并显示应用主页。在应用主页上,可以显示有图标、窗口、控件等多种界面元素。
图7为本申请示例性示出的用户界面,该用户界面为目标应用程序启动后显示的应用主页的一种实施情形。如图7所示,该应用主页上显示有多个游戏难度等级选项,分别为“简单模式”、“普通模式”和“困难模式”,还包括用于开始游戏的控件“开始游戏”。用户可以通过控制装置来选中一个等级选项,以及操作开始游戏的控件以指示进入游戏界面,并开始游戏。在图7所示示例中,“普通模式”处于被选中状态。
在一些实施例中,当控制器接收到指示进入游戏的用户指令时,呈现一种交互界面,或称游戏界面,该交互界面包括一个视频显示窗口,其可以全屏显示,视频显示窗口中显示由摄像头实时采集的本地图像。在本申请实施例中,指示进入游戏的用户指令还被称为预设指令。
一些示例性的实施场景中,目标控件用于显性地示出与用户进行互动的虚拟球体的位置和动态移动过程。例如,在虚拟现实场景中,虚拟球体被控制朝用户移动,用户通过移动自己的位置以躲避该球,从而使用户在虚拟现实场景中得到球类运动体验。
图8为本申请示例性示出的用户界面,该用户界面为本申请交互界面的一种实施情形。如图8所示,在该界面中,视频显示窗口全屏显示,视频显示窗口中显示有摄像头实时采集的图像,图像中存在目标用户,即互动参与者或称游戏参与者;该界面中的第一界面位置G’对应于图像中的用户位置,目标控件具体为一球状控件,第二界面位置M是目标控件的初始显示位置,图中虚线示出了目标控件的移动轨迹,即第一轨迹,可以看出,该第一轨迹的起点为第二界面位置M,终点为第一界面位置G’;由于第一界面位置与图像中的用户位置对应,因此当目标控件朝第一界面位置移动时,呈现出一球体朝用户运动的效果。
具体实现时,控制器响应于预设指令,启动摄像头。在摄像头启动运行后,实时拍摄多帧图像,并将拍摄的图像发送给控制器。启动摄像头后,控制器一方面对采集的图像进行显示处理,例如控制在游戏界面中显示采集的图像;另一方面可以对采集的图像进行分析,从而确定用户所在的位置,并根据图像中的用户位置在游戏界面中确定第一界面位置。
在一些可能的实现方式中,可以利用预先训练好的神经网络模型检测图像中的用户位置。示例性的,以尺寸统一的图像数据作为神经网络模型的输入,通过神经网络模型以对输入的图像数据进行处理,神经网络模型输出用户在图像中的位置信息。
应当理解,用户位置可以通过用户肢体上关键点的位置进行表征,并且,通过使用不同的样本集对初始模型进行训练,可以得到以用户肢体上不同关键点在图像中的位置信息作为模型输出的神经网络模型。用户肢体上的关键点包括但不限于眼睛、耳朵、鼻子、脖子、肩部、手肘、手腕、胸部、腰部等。
在一些可能的实现方式中,用户肢体上关键点在图像中的位置可以通过关键点距离图像边缘的像素点数量进行表示。例如,以图像的左上角为原点,以向右和向下为正方向构建平面直角坐标系,以图像中在平行于坐标轴的方向上相邻两个像素点之间的距离作为一个单位刻度,从而将图像中的所有像素点映射到该直接坐标系中,一个像素点对应一个位置坐标。示例性的,如图9所示,摄像头预览图像支持1080P,宽度为1920像素,高度为1080像素,图像中每个像素点的位置为(x,y),其中,x的取值范围为(0,1920);y的取值范围为(0,1080)。以用户胸部位置表征用户位置,在图9所示示例中,用户位置为G(x0,y0)。
在一些可能的实现方式中,将图像以原尺寸显示在视频显示窗口中,这样,如图9所示,图像中的用户位置即为游戏界面中的第一界面位置。在另一些可能的实现方式中,根据图像中的用户位置在游戏界面中确定第一界面位置。例如,以图像中用户位置与图像边缘的距离关系作为游戏界面中第一界面位置与游戏界面边缘的距离关系,在游戏界面中确定第一界面位置。示例性的,如图10所示,以游戏界面的左上角为原点,以向右和向下为正方向构建平面直角坐标系,在固定游戏界面的右上角的横坐标为1920、游戏界面的左下角的纵坐标为1080的前提下,根据图像中的用户位置为G(x0,y0)在游戏界面确定第一界面位置为G’(x0,y0)。
在一些实施例中,用于进入游戏界面的预设指令携带等级标识,即表征用户所选择的游戏难度等级的标识,根据预设指令所携带的等级标识的不同,确定的第二界面位置不同。
在一些实施例中,交互界面包括多个界面区域,每个界面区域根据所有预置的等级标识划分得到,第二界面位置所属的界面区域与预设指令对应的等级标识对应。
示例性的,参阅图7,所有预置的等级标识包括:用于表征“简单模式”的第一标识、用于表征“普通模式”的第二标识和用于表征“困难模式”的第三标识。当预设指令对应的等级标识表征“简单模式”时,在第一区域范围内随机产生一个第二界面位置;当用户指令对应的等级标识表征“普通模式”时,在第二区域范围内随机产生一个第二界面位置;当用户指令对应的等级标识表征“困难模式”时,在第三区域范围内随机产生一个第二界面位置。
另一示例性的,第二界面位置可以为游戏界面下方边缘区域内的位置。参阅图11,一种示例性的第一区域范围可以是横轴坐标为(0,60)和(1760,1920)对应的区域范围(①),一种示例性的第二区域范围可以是横轴坐标为(60,660)和(1260,1760)对应的区域范围(②),一种示例性的第三区域范围可以是横轴坐标为(660,1260)对应的区域范围(③)。由图11可以看出,“简单模式”下,第二界面位置落在距离用户位置最远的区域范围内,“困难模式”下,第二界面位置落在距离用户位置最近的区域范围内。
在确定第二界面位置后,控制目标控件从第二界面位置朝第一界面位置移动。
在一些可能的实现方式中,控制目标控件以预定速度沿第一轨迹移动,其中,第一轨迹是根据第一界面位置和第二界面位置确定的移动轨迹,预定速度根据预设指令所携带的等级标识确定的与用户选择的难度等级对应的速度。如图8所示,第一轨迹可以是以第二界面位置为起点、以第一界面位置为终点的直线形轨迹。示例性的,当预设指令携带的等级标识为第一标识时(“简单模式”下),预定速度为V;当预设指令携带的等级标识为第二标识时(“普通模式”下),预定速度为1.2V;当预设指令携带的等级标识为第三标识时(“困难模式”下),预定速度为1.4V,从而通过提高目标控件的移动速度的方式提高游戏难度。
在本申请实施例中,当目标控件朝第一界面位置移动时,现实场景中的用户可以通过改变自己的位置以躲避目标控件。基于此,在一些实施例中,控制器在控制目标控件从所述第二界面位置朝所述第一界面位置移动过程中,还需监测用户位置变化。
在游戏过程中,摄像头实时采集图像,并传给控制器,控制器实时检测图像中的用户位置,以监测用户位置是否发生变化。应当理解,摄像头检测图像中用户位置、监测用户位置变化、以及根据新的用户位置在游戏界面中确定第三界面位置的方法可以参见前述实施例,此处不予赘述。示例性的,控制器可以周期性检测用户位置,当最新检测到的用户位置不同于上一次检测到的用户位置时,根据新的用户位置确定第三界面位置。
为增加交互难度,在指定难度模式下(如普通模式和困难模式),若用户位置发生变化,控制器判断目标控件是否移动到第一轨迹上的预设位置;当目标控件移动到第一轨迹上的预设位置时,控制目标控件以预定速度沿第二轨迹移动,换言之,若用户位置发生变化,则当目标控件移动到第一轨迹上的预设位置时,改变目标控件的移动轨迹,以使目标控件继续朝用户(处于新位置)移动。其中,第二轨迹即为改变后的轨迹,该第二轨迹根据目标控件当前所在的第一轨迹上的预设位置和与当前用户位置对应的第三界面位置确定。
图12为本申请示例性示出的用户界面,该用户界面为目标控件移动到第一轨迹上的预设位置后的游戏界面的一种实施情形。如图12所示,在该界面中,视频显示窗口全屏显示,视频显示窗口中显示有摄像头实时采集的图像,图像中存在目标用户,即互动参与者或称游戏参与者;该界面中的第一界面位置G’对应于原始用户位置,第三界面位置G”对应于新的用户位置,第二界面位置M是目标控件的初始显示位置,图中实线示出了目标控件的原始移动轨迹,即第一轨迹,图中虚线示出了目标控件的新移动轨迹,即第二轨迹,可以看出,该第二轨迹的起点为第一轨迹上的预设位置M’,终点为第三界面位置G”;由于第三界面位置与新的用户位置对应,因此若目标控件移动到预设位置M’后改变移动轨迹,转而沿第二轨迹移动,则呈现出球体适应用户位置改变而改变移动方向,从而继续朝用户运动的效果。
在一些实施例中,上述预设位置可以是根据预设指令所携带的等级标识确定的与用户所选择的难度等级对应的位置。示例性的,当预设指令对应的等级标识表征“普通模式”时,对应的预设位置为第一轨迹全程的1/3处,即第一轨迹的两个三等分点中靠近第二界面位置的三等分点位置;当预设指令对应的等级标识表征“困难模式”时,对应的预设位置为第一轨迹全程的1/2处,即第一轨迹的中点位置。图13示例性示出了不同难度等级所分别对应的第一轨迹上的预设位置。如图13所示,“普通模式”下,预设位置距离新的用户位置(第三界面位置)较远,“困难模式”下,预设位置距离新的用户位置较近。
在一些实施例中,控制器还被配置为计算游戏得分情况,并展示计算得到的游戏得分。具体的,在控制目标控件从所述第二界面位置朝所述第一界面位置移动过程中,将预设数目个时间点中每个时间点对应的目标控件所在位置与用户位置进行比对;若每个时间点对应的目标控件所在位置与用户位置符合预设条件,则根据预设基础分值和所述等级标识对应的加权系数计算游戏得分;若至少一个时间点对应的目标控件所在位置与用户位置不符合预设条件,则确定游戏得分为0;其中,预设条件为同一时刻目标控件所在位置与用户位置之间的距离足够远。可以理解的是,若每个时间点对应的目标控件所在位置与用户位置之间的距离都足够远,说明虚拟现实场景中用户成功躲避朝其运动的虚拟球,此时,结合游戏难度等级计算得分;若至少一个时间点对应的目标控件所在位置与用户位置之间的距离不够远,说明虚拟现实场景中用户未能及时躲避朝其运动的虚拟球,此时用户不得分。
示例性的,游戏得分=预设基础分值×难度系数,该难度系数即为和等级标识对应的加权系数,难度等级越大,对应的难度系数越高,获取的游戏得分越高。
在一些实施例中,当预设指令对应的等级标识不同,即当用户所选择的游戏难度等级不同时,目标控件的显示尺寸不同。示例性的,目标控件的形状为球体,当预设指令携带的等级标识为第一标识时(“简单模式”下),目标控件为直径30像素的球状控件;当预设指令携带的等级标识为第二标识时(“普通模式”下),目标控件为直径是50像素的球状控件;当预设指令携带的等级标识为第三标识时(“困难模式”下),目标控件为直径是70像素的球状控件,从而通过增大目标控件的显示尺寸的方式提高游戏难度。
在本申请的另一些实施例中,控制器通过运行目标应用程序实现以下步骤:响应于预设指令,呈现交互界面,在交互界面中,第一界面控件显示在第一界面位置,该第一界面位置对应于用户位置;根据预设指令对应的等级标识确定第二界面位置;控制第二界面控件从第二界面位置朝第一界面控件移动。
与图8所示实施例不同的是,在这些实施例中,在交互界面中不显示摄像头采集的图像画面,而是通过在界面中与用户位置对应的位置处显示第一界面控件,显性地示出用户位置和用户的动态移动过程。在这些实施例中,第二界面控件等同于图8所示实施例中的目标控件,其用于显性地示出与用户进行互动的虚拟球体的位置和动态移动过程。在这些实施场景中,由于第一界面控件的显示位置始终与用户位置对应,用户位置又是根据摄像头实时采集的图像实时检测到的,因此,游戏过程中,第一界面控件将跟随现实场景中用户的移动而移动,进而,在游戏界面中,呈现出第二界面控件朝第一界面控件移动,第一界面控件躲避第二界面控件的效果,而从用户体验角度,用户需要通过移动肢体所在位置以改变游戏界面中第一界面控件的位置,从而使用户得到球类运动体验。
图14为本申请示例性示出的用户界面,该用户界面为本申请游戏界面的一种实施情形。如图14所示,在该界面中,第一界面控件具体为人形图标控件,其显示在第一界面位置G’,该第一界面位置G’对应于图像中的用户位置,第二界面控件具体为一球状控件,其初始时显示在第二界面位置M,图中实线示出了第二界面控件的移动轨迹,即第一轨迹,可以看出,该第一轨迹的起点为第二界面位置,终点为第一界面位置;由于第一界面位置与图像中的用户位置对应,因此当第二界面控件朝第一界面控件移动时,呈现出一球体朝用户运动的效果。
应当理解的是,与图12所示实施例类似,在控制第二界面控件朝第一界面控件移动的过程具体可以是,首先控制第二界面控件沿第一轨迹移动,该第一轨迹的起止点分别为第二界面位置和第一界面控件所在的第一界面位置。在第二界面控件沿第一轨迹移动的过程中,控制器还需监测用户位置变化;若监测到用户位置变化,则当第二界面控件移动到第一轨迹上的预设位置时,控制第二界面控件沿第二轨迹运动,该第二轨迹的起止点分别为第一轨迹上的预设位置和第三界面位置,该第三界面位置与新的用户位置对应。由于前述实施例中已经对改变目标控件移动轨迹的具体实现过程予以详细介绍,因此改变跌界面控件移动轨迹的具体实现过程均可参考前文,此处将不予赘述。
为进一步提高用户与显示设备互动过程的趣味性,还可以在游戏开始前,随机生成游戏类型,不同的游戏类型对应于不同的目标控件和第二界面控件的显示形式、移动轨迹以及游戏得分的计算方式。示例性的,当随机产生的游戏类型是躲避类型时,目标控件或者第二界面控件将被控制朝用户位置移动,而用户需要移动肢体位置躲避朝其移动的控件,若躲避成功,则获得得分;当随机产生的游戏类型是积分类型时,目标控件或者第二界面控件将被控制朝一个随机位置移动,而用户需要移动肢体位置接住朝其移动的控件,若成功接住,则获得得分。基于此,在本申请的另一些实施例中,控制器通过运行目标应用程序实现以下步骤:响应于预设指令,启动图像采集器,并呈现交互界面,交互界面中包括视频显示窗口,视频显示窗口中显示图像采集器采集的图像;根据预设指令对应的等级标识确定第一界面位置;在视频显示窗口上层的第一界面位置处显示目标控件,并控制目标控件从第一界面位置沿预定轨迹移动,该预定轨迹是以第一界面位置为起点、以第二界面位置为终点的轨迹,第二界面位置与图像中的用户位置符合预定位置关系。
值得注意的是,在这些实施例中,第一界面位置是指目标控件的初始显示位置,目标控件具体可以为一球状控件;第二界面位置与摄像头所采集的图像中的用户位置符合预定位置关系的位置,其用于作为目标控件移动轨迹的终点。在一些可能的实现方式中,该预定位置关系可以是限定第二界面位置与用户位置之间距离的关系,和/或,限定第二界面位置相对于用户位置所在方位的关系,等等。示例性的,第二界面位置是在距离用户位置足够远的区域中随机产生的一个位置。与前述实施例不同的是,在这些实施例中,球状控件的移动轨迹不同,即其不会朝用户运动,而是从其初始显示位置朝一个随机位置移动。在一些更为具体的示例中,球状控件被控制朝一与用户具有一定距离的随机位置移动,用户通过移动自己的位置以接住该球,从而使用户得到球类运动体验。
图15为本申请示例性示出的用户界面,该用户界面为目标控件沿预定轨迹移动的一种实施情形。图中实线示出了一种可能的预定轨迹,该预定轨迹的起点为球状控件的初始显示位置M,终点为距离用户位置G’足够远的区域中的第二界面位置N。应当理解,图15所示实施例是本申请基于图6-图14所示实施例的方案思路提供的实施例,因此,图15所示实施例的具体实现方式可以参见图6-图14所示实施例的具体实现方式,此处不予赘述。
在本申请的另一些实施例中,控制器通过运行目标应用程序实现以下步骤:响应于预设指令,呈现交互界面,交互界面中第一界面控件显示在第一界面位置,第一界面位置对应于用户位置;根据预设指令对应的等级标识确定第二界面位置;在第二界面位置处显示第二界面控件,并控制第二界面控件从第二界面位置沿预定轨迹移动,该预定轨迹是以第二界面位置为起点、以第三界面位置为终点的轨迹,第三界面位置与第一界面位置符合预定位置关系。
与图15所示实施例不同的是,在这些实施例中,在交互界面中不显示摄像头采集的图像画面,而是通过在界面中与用户位置对应的位置处显示第一界面控件,以用于显性地示出用户位置和用户的动态移动过程。在这些实施例中,第二界面控件等同于图15所示实施例中的目标控件,其用于显性地示出与用户进行互动的虚拟球体的位置和动态移动过程。在这些实施场景中,由于第一界面控件的显示位置始终与用户位置对应,用户位置又是根据摄像头实时采集的图像实时检测到的,因此,游戏过程中,第一界面控件将跟随现实场景中用户的移动而移动,在游戏界面中,呈现出第二界面控件朝第三界面位置移动,第一界面控件朝第二界面控件移动的效果,而从用户体验角度,用户需要通过移动肢体所在位置以改变游戏界面中第一界面控件的位置,从而使用户得到球类运动体验。
基于以上实施例,本申请还提供一种交互方法,该方法可以包括上述实施例中显示设备控制器被配置的部分或者全部步骤,在不同的方法实施例中,可以以不同顺序执行上述实施例提及的步骤的不同组合,均属于本申请所提供交互方法的保护范围。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的交互方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于方法实施例而言,由于其基本相似于显示设备实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种显示设备,其特征在于,包括:
显示器,用于显示交互界面,所述交互界面包括用于显示视频显示窗口的图层和/或用于显示控件的图层;
图像采集器,用于采集图像;
控制器,被配置为:
响应于预设指令,呈现交互界面,所述交互界面包括视频显示窗口,所述视频显示窗口中显示所述图像采集器采集的图像;
获取第一界面位置和第二界面位置,所述第一界面位置对应于所述图像中的用户位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述视频显示窗口上层的所述第二界面位置处显示目标控件,并控制所述目标控件从所述第二界面位置朝所述第一界面位置移动。
2.根据权利要求1所述的显示设备,其特征在于,所述控制所述目标控件从所述第二界面位置朝所述第一界面位置移动,包括:
控制目标控件以预定速度沿第一轨迹移动,所述第一轨迹是以所述第二界面位置为起点、以所述第一界面位置为终点的直线形轨迹,所述预定速度与所述预设指令对应的等级标识对应。
3.根据权利要求2所述的显示设备,其特征在于,所述控制器还被配置为:
在控制目标控件从所述第二界面位置朝所述第一界面位置件移动的过程中,监测用户位置变化;
在监测到用户位置发生变化的情况下,当目标控件移动到第一轨迹上的预设位置时,控制所述目标控件以所述预定速度沿第二轨迹移动,所述第二轨迹是以所述预设位置为起点、以所述第三界面位置为终点的直线型轨迹,所述预设位置是根据所述预设指令对应的等级标识和所述第一轨迹确定的位置,所述第三界面位置对应于新的用户位置。
4.根据权利要求3所述的显示设备,其特征在于,所述控制器还被配置为:
在控制所述目标控件从所述第二界面位置朝所述第一界面位置移动过程中,将预设数目个时间点中每个时间点对应的目标控件所在位置与用户位置进行比对;
若每个时间点对应的目标控件所在位置与用户位置符合预设条件,则根据预设基础分值和所述等级标识对应的加权系数计算游戏得分;
若至少一个时间点对应的目标控件所在位置与用户位置不符合预设条件,则确定游戏得分为0;展示所述游戏得分。
5.根据权利要求1所述的显示设备,其特征在于,所述交互界面包括多个界面区域,每个界面区域根据所有预置的等级标识划分得到,所述第二界面位置所属的所述指定界面区域与所述预设指令对应的等级标识对应。
6.根据权利要求3所述的显示设备,其特征在于,所述预设指令携带的等级标识不同时,所述预定速度和/或所述第一轨迹上预设位置的取值不同。
7.一种显示设备,其特征在于,包括:
显示器,用于显示用户界面,所述用户界面包括交互界面;
图像采集器,用于采集图像;
控制器,被配置为:
响应于预设指令,呈现交互界面,所述交互界面中第一界面控件显示在第一界面位置,所述第一界面位置对应于用户位置;
确定第二界面位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述第二界面位置显示第二界面控件,并控制所述第二界面控件从所述第二界面位置朝所述第一界面控件移动。
8.一种显示设备,其特征在于,包括:
显示器,用于显示用户界面,所述用户界面包括交互界面;
图像采集器,用于采集图像;
控制器,被配置为:
响应于预设指令,呈现交互界面,所述交互界面包括视频显示窗口,所述视频显示窗口中显示所述图像采集器采集的图像;
确定第一界面位置,所述第一界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述视频显示窗口上层的所述第一界面位置处显示目标控件,并控制所述目标控件从所述第一界面位置沿预定轨迹移动,所述预定轨迹是以所述第一界面位置为起点、以第二界面位置为终点的轨迹,所述第二界面位置与图像中的用户位置符合预定位置关系。
9.一种显示设备,其特征在于,包括:
显示器,用于显示用户界面,所述用户界面包括交互界面;
控制器,被配置为:
响应于预设指令,呈现交互界面,所述交互界面中第一界面控件显示在第一界面位置,所述第一界面位置对应于用户位置;
确定第二界面位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述第二界面位置处显示第二界面控件,并控制第二界面控件从所述第二界面位置沿预定轨迹移动,所述预定轨迹是以所述第二界面位置为起点、以第三界面位置为终点的轨迹,所述第三界面位置与所述第一界面位置符合预定位置关系。
10.一种交互方法,其特征在于,所述方法包括:
响应于预设指令,呈现交互界面,所述交互界面包括视频显示窗口,所述视频显示窗口中显示通过图像采集器采集的图像;
确定第一界面位置和第二界面位置,所述第一界面位置对应于所述图像中的用户位置,所述第二界面位置是在根据预设规则划分的指定界面区域中随机产生的位置;
在所述视频显示窗口上层的所述第二界面位置处显示目标控件,并控制所述目标控件从所述第二界面位置朝所述第一界面位置移动。
CN202010894080.5A 2020-08-31 2020-08-31 显示设备及交互方法 Active CN111939561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010894080.5A CN111939561B (zh) 2020-08-31 2020-08-31 显示设备及交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010894080.5A CN111939561B (zh) 2020-08-31 2020-08-31 显示设备及交互方法

Publications (2)

Publication Number Publication Date
CN111939561A true CN111939561A (zh) 2020-11-17
CN111939561B CN111939561B (zh) 2023-09-19

Family

ID=73368137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010894080.5A Active CN111939561B (zh) 2020-08-31 2020-08-31 显示设备及交互方法

Country Status (1)

Country Link
CN (1) CN111939561B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778217A (zh) * 2021-09-13 2021-12-10 海信视像科技股份有限公司 显示设备及显示设备控制方法
CN115243094A (zh) * 2020-12-22 2022-10-25 海信视像科技股份有限公司 一种显示设备及多图层叠加方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296149A (ja) * 1994-04-27 1995-11-10 Casio Comput Co Ltd 画像制御装置
KR20070033127A (ko) * 2005-09-20 2007-03-26 (재)대전광역시첨단산업진흥재단 체감형 볼 스포츠 게임 장치
CN101443087A (zh) * 2006-05-09 2009-05-27 皇家飞利浦电子股份有限公司 具有可移动显示器的游戏系统
CN101991949A (zh) * 2009-08-27 2011-03-30 深圳泰山在线科技有限公司 一种基于计算机的虚拟乒乓球运动控制方法及系统
CN102149436A (zh) * 2008-05-30 2011-08-10 美国索尼电脑娱乐有限责任公司 利用图像分析和超声波通信对控制器三维定位的确定
JP2011161042A (ja) * 2010-02-10 2011-08-25 Konami Digital Entertainment Co Ltd ゲームプログラム、ゲーム装置、ゲーム制御方法
CN102462960A (zh) * 2010-11-01 2012-05-23 任天堂株式会社 操作装置和操作系统
US20130065682A1 (en) * 2011-09-09 2013-03-14 Nintendo Co., Ltd. Game system, portable game device, method of controlling information processing unit, and non-transitory storage medium encoded with computer readable program for controlling information processing unit, capable of changing game processing in consideration of position of operation apparatus to be operated
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
CN104258555A (zh) * 2014-09-10 2015-01-07 北京理工大学 采用rgbd视觉传感的双拳击球健身交互系统
CN104718007A (zh) * 2012-10-04 2015-06-17 迪士尼企业公司 用于沉浸式环境的交互对象
CN104937641A (zh) * 2013-02-01 2015-09-23 索尼公司 信息处理装置、客户端装置、信息处理方法以及程序
WO2016204617A2 (en) * 2015-06-17 2016-12-22 Lagotronics Projects B.V. Game controller
CN108096833A (zh) * 2017-12-20 2018-06-01 北京奇虎科技有限公司 基于级联神经网络的体感游戏控制方法及装置、计算设备
CN108369646A (zh) * 2015-07-16 2018-08-03 博拉斯特运动有限公司 多传感器事件检测和标记系统
CN110841275A (zh) * 2018-08-21 2020-02-28 日本聚逸株式会社 图像显示系统、图像显示方法以及计算机可读介质
JP2020089565A (ja) * 2018-12-05 2020-06-11 有限会社Sol Entertainment プログラム
CN111343509A (zh) * 2020-02-17 2020-06-26 聚好看科技股份有限公司 一种虚拟形象的动作控制方法及显示设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296149A (ja) * 1994-04-27 1995-11-10 Casio Comput Co Ltd 画像制御装置
KR20070033127A (ko) * 2005-09-20 2007-03-26 (재)대전광역시첨단산업진흥재단 체감형 볼 스포츠 게임 장치
CN101443087A (zh) * 2006-05-09 2009-05-27 皇家飞利浦电子股份有限公司 具有可移动显示器的游戏系统
CN102149436A (zh) * 2008-05-30 2011-08-10 美国索尼电脑娱乐有限责任公司 利用图像分析和超声波通信对控制器三维定位的确定
CN101991949A (zh) * 2009-08-27 2011-03-30 深圳泰山在线科技有限公司 一种基于计算机的虚拟乒乓球运动控制方法及系统
JP2011161042A (ja) * 2010-02-10 2011-08-25 Konami Digital Entertainment Co Ltd ゲームプログラム、ゲーム装置、ゲーム制御方法
CN102462960A (zh) * 2010-11-01 2012-05-23 任天堂株式会社 操作装置和操作系统
US20130065682A1 (en) * 2011-09-09 2013-03-14 Nintendo Co., Ltd. Game system, portable game device, method of controlling information processing unit, and non-transitory storage medium encoded with computer readable program for controlling information processing unit, capable of changing game processing in consideration of position of operation apparatus to be operated
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
CN104718007A (zh) * 2012-10-04 2015-06-17 迪士尼企业公司 用于沉浸式环境的交互对象
CN104937641A (zh) * 2013-02-01 2015-09-23 索尼公司 信息处理装置、客户端装置、信息处理方法以及程序
CN104258555A (zh) * 2014-09-10 2015-01-07 北京理工大学 采用rgbd视觉传感的双拳击球健身交互系统
WO2016204617A2 (en) * 2015-06-17 2016-12-22 Lagotronics Projects B.V. Game controller
CN108369646A (zh) * 2015-07-16 2018-08-03 博拉斯特运动有限公司 多传感器事件检测和标记系统
CN108096833A (zh) * 2017-12-20 2018-06-01 北京奇虎科技有限公司 基于级联神经网络的体感游戏控制方法及装置、计算设备
CN110841275A (zh) * 2018-08-21 2020-02-28 日本聚逸株式会社 图像显示系统、图像显示方法以及计算机可读介质
JP2020089565A (ja) * 2018-12-05 2020-06-11 有限会社Sol Entertainment プログラム
CN111343509A (zh) * 2020-02-17 2020-06-26 聚好看科技股份有限公司 一种虚拟形象的动作控制方法及显示设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙金山: "基于体感技术的人机交互设计在游戏领域的应用" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115243094A (zh) * 2020-12-22 2022-10-25 海信视像科技股份有限公司 一种显示设备及多图层叠加方法
CN113778217A (zh) * 2021-09-13 2021-12-10 海信视像科技股份有限公司 显示设备及显示设备控制方法

Also Published As

Publication number Publication date
CN111939561B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111741372B (zh) 一种视频通话的投屏方法、显示设备及终端设备
CN111752518A (zh) 一种显示设备投屏方法及显示设备
CN112866772B (zh) 一种显示设备及声像人物定位追踪方法
CN112055240B (zh) 一种显示设备及其与遥控器配对的操作提示展示方法
CN112866773B (zh) 一种显示设备及多人场景下摄像头追踪方法
CN112087671B (zh) 一种输入法控件的操控提示信息的显示方法及显示设备
CN112422365A (zh) 显示设备及自动监测网络状态的方法
CN111970548A (zh) 显示设备及调整摄像头角度的方法
WO2021031598A1 (zh) 视频聊天窗口位置的自适应调整方法及显示设备
CN112473121A (zh) 一种显示设备及基于肢体识别的躲避球显示方法
CN111939561B (zh) 显示设备及交互方法
CN112203154A (zh) 一种显示设备
CN112243141A (zh) 投屏功能的显示方法及显示设备
CN113473024A (zh) 显示设备、云台摄像头和摄像头控制方法
CN112073787B (zh) 显示设备及首页显示方法
CN112218145A (zh) 智能电视、vr显示设备以及相关方法
CN112162764A (zh) 显示设备、服务器以及摄像头软件升级方法
CN111984167A (zh) 一种快捷命名的方法及显示设备
CN112040340A (zh) 资源文件获取方法及显示设备
CN112073777B (zh) 一种语音交互方法及显示设备
CN115185392A (zh) 显示设备、图像处理方法及装置
CN113824870A (zh) 显示设备及摄像头角度调整方法
CN111931692A (zh) 显示设备及图像识别方法
CN113438528A (zh) 一种组合按键的实现方法及显示设备
CN112199560A (zh) 一种设置项的搜索方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant