CN103297831A - 人与人之间的姿势控制装置的传递控制 - Google Patents

人与人之间的姿势控制装置的传递控制 Download PDF

Info

Publication number
CN103297831A
CN103297831A CN2013100448460A CN201310044846A CN103297831A CN 103297831 A CN103297831 A CN 103297831A CN 2013100448460 A CN2013100448460 A CN 2013100448460A CN 201310044846 A CN201310044846 A CN 201310044846A CN 103297831 A CN103297831 A CN 103297831A
Authority
CN
China
Prior art keywords
beholder
posture
processor
control
avdd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100448460A
Other languages
English (en)
Other versions
CN103297831B (zh
Inventor
S·弗里德兰德
D·思艾尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103297831A publication Critical patent/CN103297831A/zh
Application granted granted Critical
Publication of CN103297831B publication Critical patent/CN103297831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

电视机（TV）包括显示器和控制所述显示器并且接收表示人姿势的信号的处理器。所述处理器被编程来对来自于第一观看者的姿势做出响应以控制显示器。此外，所述处理器被编程来仅仅响应于既确定第一观看者已经看向第二观看者，又作为与看向第二观看者分离的动作，确定第一观看者已经确认将TV的控制传送到第二观看者的愿望，对来自于第二观看者的姿势做出响应以控制显示器。

Description

人与人之间的姿势控制装置的传递控制
技术领域
本申请一般涉及用于诸如电视机（TV）之类的音频视频显示设备（AVDD）的用户接口（UI）。
背景技术
当前电视机主要由观看者操作遥控装置（RC）控制。如这里理解的，遥控装置可能被临时放错地方并且不理想于文本输入，此外仅仅允许单个用户控制TV。还如这里理解的，观看者的姿势可以用作附加的命令输入模式。但是，当多个观看者正在观看TV时，一个房间中的多个人可能利用姿势控制TV。对于观看体验来说，每次仅仅一个人处于控制状态以避免快速连续地输入冲突的命令是优选的。
发明内容
如这里理解的，此难题的极好的解决方案是接受来自于仅仅单个人的姿势但是允许该人特别地将控制传递给该房间中的另一个观看者。
因此，AVDD可以包括处理器和可以在处理器的控制之下呈现需求的图像的视频显示器。在非限制的实施例中，AVDD还可以包括承载处理器可运行的指令以从将AVDD的观看者成像的照相机接收图像信号的计算机可读存储介质。响应于确定第一观看者已经启动了姿势命令输入模式以控制AVDD，处理器对仅仅来自于第一观看者的姿势做出响应以控制AVDD。响应于确定第一观看者已经看向第二观看者，处理器确定第一观看者除了看向第二人以外是否已经做出语音命令或身体姿势，以确认第一观看者想要将AVDD的控制传递到第二人。因而，响应于确定第一观看者除了看向第二人以外已经做出确认想要传送控制的语音命令或身体姿势，处理器将姿势控制传送到第二人以使得处理器对仅仅来自于第二观看者的姿势命令做出响应。除了看向第二观看者以外的身体姿势可以是第一观看者向第二观看者的指点姿势。
在一些实施例中，处理器通过确定第一观看者的头已经转向第二观看者来确定第一观看者已经看向第二观看者。在其它实施例中，处理器通过确定第一观看者的瞳孔已经移向第二观看者来确定第一观看者已经看向第二观看者。响应于确定第一观看者已经看向第二观看者，处理器可以在显示器上叠加消息，所述消息提示第一观看者确认第一观看者想要将AVDD的控制传递给第二观看者。
在另一个方面，电视机（TV）包括显示器和控制所述显示器并且接收表示人姿势的信号的处理器。所述处理器被编程来对来自于第一观看者的姿势做出响应以控制显示器。此外，所述处理器被编程来仅仅响应于既确定第一观看者已经看向第二观看者，又确定第一观看者已经确认将TV的控制传送到第二观看者的愿望（作为与看向第二观看者分离的动作），对来自于第二观看者的姿势做出响应以控制显示器。
在另一个方面，一种方法包括对音频视频显示设备（AVDD）的第一和第二观看者成像。所述方法进一步包括基于第一观看者的姿势命令控制AVDD。所述姿势命令是在第一观看者的自由空间中的姿势。此外，所述方法包括仅仅响应于第一观看者的预定的第一姿势和来自于第一观看者的确认命令来基于第二观看者的姿势命令控制AVDD。
附图说明
本发明的细节，关于它的结构和操作，可以参考附图得到更好的理解，其中相似的参考数字指代相似的部分，并且其中：
图1是根据本原理的非限制示例系统的框图；
图2是可以用来控制这里描述的图形用户接口（GUI）的示例遥控装置（RC）的平面图，其示意地显示处理器和无线收发器；
图3是在适合于姿势控制的粗略模式中的九面板GUI的屏幕快照；
图4是在适合于RC控制的精细模式中的九面板GUI的屏幕快照；
图5是显示示例命令冲突解决逻辑的流程图；和
图6是显示示例姿势控制传递逻辑的流程图。
具体实施方式
开始参考图1所示的非限制示例实施例，系统10包括诸如TV之类的音频视频显示设备（AVDD）12，包括与TV处理器18通信的TV调谐器16，TV处理器18存取诸如基于盘的存储器或固态存储器之类的有形的计算机可读存储介质20。AVDD12可以在一个或多个扬声器22上输出音频。AVDD12可以使用与可以执行软件实现的浏览器26的处理器12通信的内置有线或无线调制解调器24从互联网接收流化的视频。视频在TV处理器18的控制之下在TV显示器28上呈现，TV显示器28诸如高清晰度电视（HDTV）平板显示器，但是不限于此，并且可以是触摸屏显示器。在一些实施方式中，除了下面描述的姿势输入模式之外，到处理器18的用户命令可以使用例如rf或红外线无线地从遥控装置（RC）30接收。可以使用除了TV以外的音频视频显示设备，例如智能电话机、游戏控制台、个人数字组织器、笔记本计算机和其它类型的计算机等等。
由与AVDD12通信的地面广播天线34接收的来自于一个或多个地面TV广播源32的TV节目可以呈现在显示器28和扬声器22上。地面广播节目可以符合数字ATSC标准并且可以在它之内传送地面广播EPG，但是地面广播EPG可以从可替换的源接收，可替换的源例如经由以太网的互联网、或线缆通信链路或卫星通信链路。
来自于有线TV头端36的TV节目也可以在用于在显示器28和扬声器22上呈现TV信号的TV处接收。当仅仅期望基本线缆时，在美国来自于墙壁的线缆通常传输QAM或NTSC格式的TV信号并且被直接插入到TV机壳上的“F型连接器”38中，但是在其它国家用于此目的的连接器可以变化。相反，当用户具有例如扩展的有线订制时，来自于头端36的信号通常通过STB40发送，STB40可以与TV机壳分开或者集成在TV机壳之内，但是在任何情况下，向TV发送HDMI基带信号。可以使用其它类型的连接，例如MOCA、USB、1394协议、DLNA。
类似地，从由与家庭卫星盘相关联的集成接收器/解码器（IRD）44接收的TV广播信号的卫星源42发送的HDMI基带信号可以被输入到AVDD12以用于在显示器28和扬声器22上呈现。此外，流化的视频可以从互联网46接收以用于在显示器28和扬声器22上呈现。流化的视频可以在计算机调制解调器24处接收或者它可以在AVDD12外部的家庭内调制解调器48处接收并且通过有线或无线以太网链路传送到AVDD12并且在TV机壳上的RJ45或802.11x天线处接收。
此外，在一些实施例中，可以被集成到机壳中的视频照相机50（如果期望分开或分开安装，则与机壳电连接）可以连接到处理器16以向处理器16提供正在看显示器28的观看者的视频图像。在一些非限制实施例中，处理器16使用从照相机50接收的视频图像执行脸部识别以识别特定的观看者、以识别观看者正在看的方向、以及以捕获观看者姿势以用于向处理器16的命令输入。在非限制实施例中，处理器16也在介质20上存储观看者的图像，以用于将来在与存储的图像相比较时确定观看者是否被识别，或者最近接收的图像是否与新的或非识别的观看者有关。如果期望的话，处理器16还创建简档和/或将简档与用户和/或存储的用户的图像相关联并且将简档存储在介质20上。在除了姿势命令输入模式之外，还预见语音命令输入模式的实施例中，麦克风52也可以在机壳上提供或者与其分离并且可以电连接到处理器16以向处理器16提供观看者生成的语音命令。
图2显示了，在预见使用遥控装置在一个命令输入模式下输入命令的实施例中，示例RC30可以包括可以被拨动以激励和关断AVDD12的开机键60。可以提供触敏垫62，用户可以靠着触敏垫62移动他的手指以相应地移动显示器28上的屏幕光标。轻击垫62可以生成“选择”信号，可以理解，除了使用触敏垫62以外，还可以使用点击装置。
此外，可以提供向后键64以使得显示器28返回屏幕快照，即呈现紧接在当生成向后信号时显示的屏幕快照之前的屏幕快照，以便使得用户能够浏览这里示出的各个GUI。可以提供主菜单（home）键66以使得下面描述的“主菜单”GUI呈现在显示器28上，并且可以提供选项键68以使得用户能够将GUI选项的列表呈现在显示器28上。可以使用音量高/低摇杆键70控制AVDD12的扬声器22输出的音量。RC30上的键或垫62的操作使得相应的信号发送给RC30中的RC处理器72，RC30使用无线收发器74将对应的命令发送到AVDD12，无线收发器74诸如红外线收发器但是不限于此。此外，如果期望的话，则可以在RC30上布置四个箭头键以在显示器28上向上、向下、向左和向右移动光标。此外，可以提供频道上/下键以及用于声音输入的麦克风。如果期望的话，可以提供全QWERTY键盘或键区。可以为触摸垫62提供蜂鸣器或其它装置以向用户生成触觉反馈。
为了例示目的，图3和4示出了可以在AVDD12的显示器28上呈现的示例非限制的主菜单GUI。在图3所示的实施例中，九个信息面板如图所示布置在三行中，每行三个面板，每个面板呈现视觉内容。根据图3所示的实施例，GUI的左上面板76总是显示当前选择的视频内容，通常或者是来自于选择的TV频道的电视广播的内容或者是来自于选择的网站的流化的视频。与可用的视频内容有关的信息呈现在其它八个面板中。此信息通常包括照片或其它图像、指示由面板表示的内容的源的内容源标志、和通常描述内容的标题的文本和其它信息。
如在78所示，可以紧挨着每个面板提供数字，以使得可以在屏幕上将面板从一到九编号，如图所示。这便于用户通过说出与面板相关联的数字来选择播放来自于该面板的视频内容。此外，如在80所示，可以紧挨着每个面板呈现风格指示符。在第一面板76指示第一面板76正在呈现当前选择的视频的情况下，风格指示符可以是箭头。风格指示符可以是心形物（如图3对于面板2所示），其指示下层的视频内容已被用户选择为“最喜爱的”。可以呈现其它风格指示符，分别表示“历史”，意思是与面板相关联的内容先前已被呈现；“推荐”，意思是与面板相关联的内容由AVDD处理器18执行的推荐引擎推荐，等等，例如“频繁观看”、“促销内容”。用户可以选择呈现与仅仅单个风格的内容相关联的面板。
另外，如果期望的话，图3所示的GUI可以呈现姿势提示82，以文本和/或动画的手运动描述用户可以做出的姿势和它相关的命令，其可以由照相机50捕获并且由执行图像识别软件的处理器18将其与相应的命令相关联。因而，虽然观看者输入可以通过将显示器28制作成观看者可以触摸从而输入命令的触敏式显示器来提供，但是本原理预见使用自由空间中的观看者姿势，即观看者离开显示器28的姿势，这通常是TV观看者的情况，其中观看者不触摸显示器，而是做出由照相机50捕获并且由执行图像识别软件的处理器18将其与命令相关联的姿势。
此外，选择的菜单可以如图所示沿着GUI的底部呈现，包括“仅仅为你（just for you）”选择器84以使得GUI包含具有对识别的用户个性化的内容的面板。可以选择搜索选择器86以使得执行对用户输入的术语的搜索。此外，可以选择书签选择器88以将面板76中当前播放的视频加书签或者以将面板中屏幕光标位于其上的内容加书签。
仍然参考图3，如果选择的话，设置选择器元素90使得呈现设置菜单以控制GUI的设置。可以呈现队列选择器元素92以使得排队的节目的列表呈现在显示器28上，并且可以呈现输入选择器元素94，输入选择器元素94的选择使得可用的输入源的列表，例如“盘播放器、有线、卫星”，呈现在显示器28上。可以呈现推荐选择器元素96，并且如果选择的话，使得推荐的节目的列表呈现在显示器28上。列表可以由诸如索尼公司生产的“Navi”引擎之类的内容推荐引擎生成。可以提供“上演什么”选择器元素98，并且如果选择的话，使得诸如电子节目指南（EPG）之类的现在和将来节目的列表呈现在显示器28上。实际上，EPG可以呈现在图3所示的面板的一个中。
在任何情况下，如上所述，在示出的示例中，当前选择的视频内容总是呈现在GUI的左上面板76中。用户应当通过使用RC30或者通过说出面板的数字或者通过由照相机50捕获的合适的姿势来选择另一个面板，来自于与选择的面板相关联的源的视频内容自动替换在接收新的选择信号之前呈现在左上面板76中的视频内容。实际上，如果用户左右滚动面板以观看附加的内容，则左上面板76保持不移动，而其它面板移入和移出显示器28，它们由先前隐藏的内容面板代替，其中左上面板76总是显示当前选择的视频节目。
图3所示的面板布局有点粗略，因为许多像素宽度的可见的边界空间100存在于相邻的面板之间，如图所示。这样的粗略的表示便于使用姿势进行控制，但是通过利用语音和RC30的导航总是被优选使能，不管GUI是否处于粗略还是精细视图。图4显示了，如果用户选择精细的视图，则边界空间100消失在相邻的面板之间，虽然上面描述了与姿势控制相比更适合于RC控制的视图，但是如果期望的话，命令输入的所有三个模式（RC、语音和姿势）保持同时使能。
图3和4的两个视图之间的转变可以由合适的手姿势（例如，手的垂直运动）或者由合适的语音命令（例如，“精细”或“粗略”）、或者通过使用RC30从通过选择设置选择器元素90或通过按压RC30上的键或通过简单地握住RC而访问的设置菜单中选择“精细”或“粗略”来实现，握住RC由照相机50检测并且由处理器18推断以与一个命令相互关联以移动到图4的“精细”屏幕。图4的精细模式中的较大的面板可以用于呈现比在图3的面板中呈现的信息更多的信息。
图3和4所示的GUI可以通过例如切换RC30上的主菜单键来从呈现在完整显示器28上的屏幕和当前播放的视频中去掉。语音命令输入可以通过说出诸如“你好，TV”之类的短语来使能，其通过麦克风52并且使用语音识别软件来检测，由处理器18使其与命令相互关联以使能语音命令。语音输入也可以使用RC30选择“搜索”选择器元素86来使能。为了指示语音命令被使能，诸如麦克风102的图像之类的图标可以在显示器28上呈现。姿势命令输入可以通过挥手来使能，其通过照相机50并且使用图像识别软件检测，由处理器18将其与命令相互关联以使能姿势命令。为了指示姿势命令被使能，诸如手104的图像之类的图标可以在显示器28上呈现。当语音或姿势命令不被使能时，图标102、104分别从显示器28中去掉。
实现相同的任务的对应的RC、语音和姿势命令的非限制示例是：
Figure BDA00002818096100081
现在参考图5，示出了显示示例命令冲突解决逻辑的非限制流程图。将要理解，在有些情况下，上面提到的AVDD12可以从不同的输入方法在给定时间帧之内接收多个命令。例如，冲突的命令可能从RC30并且从语音输入在彼此的“X”秒之内接收到。因此，本原理认识到必须解决冲突的命令。
因而，在块106开始，该逻辑使得姿势命令能够由AVDD12检测和/或接收。然后在块108，该逻辑接收姿势命令。移动到决定块110，该逻辑然后确定于在块108接收的姿势命令和还在该姿势命令的X秒之内（之前和之后）接收的RC命令之间是否存在命令的冲突。
如果该逻辑在块110确定存在命令的冲突，则该逻辑然后移动到块112，其中该逻辑实现RC命令而不实现姿势命令。但是，如果该逻辑在块110确定在姿势命令和RC命令之间不存在命令的冲突，则该逻辑代之以移动到决定块114。在块114，该逻辑确定于在块108接收的姿势命令和还在该姿势命令的X秒之内接收的语音命令之间是否存在冲突。
如果该逻辑在块114确定存在命令的冲突，则该逻辑然后移动到块116，其中该逻辑实现语音命令而不实现姿势命令。但是，如果该逻辑在块114确定在姿势命令和语音命令之间不存在命令的冲突，则该逻辑代之以移动到决定块118。在块118，该逻辑确定于在块108接收的姿势命令和还在该第一姿势命令的X秒之内接收的另一个姿势命令之间是否存在冲突。
如果该逻辑在块118确定不存在姿势命令的冲突，则该逻辑然后移动到块120，其中该逻辑实现不冲突的姿势命令。但是，如果该逻辑在块118确定存在姿势命令的冲突，则该逻辑代之以移动到决定块122。在块122，该逻辑确定提供姿势命令的一个或多个用户是否根据本原理被识别。
如果该逻辑在块122确定一个或多个用户不被识别，则该逻辑然后移动到块124，其中该逻辑实现由AVDD12接收到的最新的姿势命令。但是，如果该逻辑在块122确定至少一个用户被识别，则该逻辑代之以移动到块126。在块126，该逻辑实现来自于被识别的用户的最新的姿势命令。因而，该逻辑可以根据在块122做出的确定，在块124或者块126做出结论。
现在参考图6，示出了显示控制逻辑的示例姿势命令传递的流程图。在块128开始，该逻辑从照相机50接收观看AVDD12的观看者的图像。在决定块130，处理器确定观看者是否已经激活根据上面阐述的原理的姿势输入模式。如果没有，则该逻辑简单地保持在块128。但是，如果使能姿势控制，则在图6所示的实施例中，该逻辑进行到块132，以对来自于唯一的观看者（这里称为“激活的”观看者）的任何姿势做出响应，并且不对来自于其它观看者的姿势做出响应。开始，激活的观看者是在决定块130发起姿势输入模式的观看者。
如这里预期的，可以将控制从激活的观看者传递到另一个观看者，该另一个观看者然后通过感测来自于激活的观看者的预定姿势、伴随有确认来担任激活的观看者的角色。在图6所示的实施例中，预定的姿势是，在决定块134，基于观看者的图像，处理器18确定激活的观看者已经看向第二观看者。脸部识别原理可以用于通过分析当前激活的观看者的脸部的图像以确定第一观看者的头已经转向第二观看者，来确定第一观看者已经看向第二观看者，从而做出该确定。此确定可以基于脸部特征从盯着AVDD到看向另一个成像的观看者的变化。在其它实施例中，处理器通过确定第一观看者的瞳孔已经移向第二观看者来确定第一观看者已经看向第二观看者。
在任何情况下，在一些实施例中，在决定块134的肯定的确定可以使得逻辑流向决定块136以确定多个“第二”观看者是否彼此位于足够近以使得不可能肯定地识别激活的观看者正在看向“第二”观看者中的哪个。如果真的是这种情况，则该逻辑移动到块138以选择第二观看者中的一个，并且优选地选择第二观看者中的仅仅一个，作为待确认的潜在的新的激活的观看者，如下所述。此选择可以根据一个或多个选择规则。在一个实施方式中，选择比其它第二观看者更接近于激活的观看者的第二观看者。在另一个实施方式中，选择比其它第二观看者更接近于AVDD的第二观看者。在另一实施方式中，选择在激活的观看者已经注视第二观看者之后向激活的观看者回看的第二观看者。
从块138或从决定块136，如果处理器可以识别房间中的哪个人构成激活的观看者已经注视的第二观看者，则该逻辑移动到块140，如果期望的话，提示激活的观看者确认激活的观看者想要将VADD的姿势控制让与第二观看者。此提示可以是在显示器28上的视频上叠加（或在扬声器上播放）一个短时间段的字母数字消息，指示激活的观看者确认。例如，消息可以是“你想要让与控制吗？”如果第二观看者被识别，则消息可以更明确：“你想要将控制让与Sam吗？”或者，消息可以明确地指示观看者确认让与控制的愿望、说出诸如“完成”之类的特定命令或做出诸如指向第二人或简单地点头之类的特定姿势。
如果处理器在决定块142接收到确认，则该逻辑移动到块144以使得第二观看者成为激活的观看者以用于姿势控制目的，循环回到块132。如果没有接收到确认，优选地在超时时间段之内没有接收到确认，则逻辑循环回到块132，其中激活的观看者不变。
本原理可以被用作虚拟对象在房间内传递的游戏。
虽然这里示出了并且详细描述了特定的“人与人之间的姿势控制的装置的传递控制”，但是应当理解，由本发明涵盖的主题仅仅由权利要求书限制。

Claims (20)

1.音频视频显示设备（AVDD），包括：
处理器；
照相机，将AVDD的观看者成像并且向处理器提供图像信号；
视频显示器，在该处理器的控制之下呈现需求的图像；
计算机可读存储介质，承载可由处理器运行的指令，用于：
响应于确定第一观看者已经启动了姿势命令输入模式以控制AVDD，对仅仅来自于第一观看者的姿势做出响应以控制AVDD；
响应于确定第一观看者已经看向第二观看者，确定第一观看者除了看向第二观看者以外已经做出语音命令或身体姿势，以确认第一观看者想要将AVDD的控制传递到该第二观看者；以及
响应于确定第一观看者除了看向第二人以外已经做出确认想要传送控制的语音命令或身体姿势，将姿势控制传送到第二人以使得处理器对仅仅来自于第二观看者的姿势命令做出响应。
2.如权利要求1所述的AVDD，其中该处理器通过确定第一观看者的头已经转向第二观看者来确定第一观看者已经看向第二观看者。
3.如权利要求1所述的AVDD，其中该处理器通过确定第一观看者的瞳孔已经移向第二观看者来确定第一观看者已经看向第二观看者。
4.如权利要求1所述的AVDD，其中响应于确定第一观看者已经看向第二观看者，该处理器在该显示器上叠加一个消息，提示第一观看者确认第一观看者想要将AVDD的控制传递给第二观看者。
5.如权利要求1所述的AVDD，其中该处理器通过确定第一观看者已经输入预定的语音命令，来确定第一观看者确认想要将控制传送给第二观看者。
6.如权利要求1所述的AVDD，其中该处理器通过确定第一观看者除了看向第二观看者以外还已经做出身体姿势，来确定第一观看者确认想要将控制传送给第二观看者。
7.如权利要求6所述的AVDD，其中除了看向第二观看者以外的身体姿势是第一观看者向第二观看者的指点姿势。
8.一种电视机（TV），包括：
显示器；和
处理器，控制该显示器并且接收表示人姿势的信号，该处理器被编程为对来自于第一观看者的姿势做出响应以控制显示器，该处理器被编程为仅仅响应于确定第一观看者已经既看向第二观看者，并且作为与看向第二观看者分离的动作，第一观看者又已经确认了将TV的控制传送到第二观看者的愿望，对来自于第二观看者的姿势做出响应以控制显示器。
9.如权利要求8所述的TV，其中该处理器通过确定第一观看者的头已经转向第二观看者，来确定第一观看者已经看向第二观看者。
10.如权利要求8所述的TV，其中该处理器通过确定第一观看者的瞳孔已经移向第二观看者，来确定第一观看者已经看向第二观看者。
11.如权利要求8所述的TV，其中响应于确定第一观看者已经看向第二观看者，该处理器在该显示器上叠加一个消息，提示第一观看者确认第一观看者想要将TV的控制传递给第二观看者。
12.如权利要求8所述的TV，其中该处理器通过确定第一观看者已经输入预定的语音命令，来确定第一观看者确认将控制传送给第二观看者的愿望。
13.如权利要求8所述的TV，其中该处理器通过确定第一观看者除了看向第二观看者以外还已经做出身体姿势，来确定第一观看者确认将控制传送给第二观看者的愿望。
14.如权利要求13所述的TV，其中除了看向第二观看者以外的身体姿势是第一观看者向第二观看者的指点姿势。
15.一种方法，包括：
将音频视频显示设备（AVDD）的第一和第二观看者成像；
基于第一观看者的姿势命令控制AVDD，该姿势命令是在第一观看者的自由空间中的姿势；
仅仅响应于第一观看者的预定的第一姿势和来自于第一观看者的确认命令，来基于第二观看者的姿势命令控制AVDD。
16.如权利要求15所述的方法，其中第一姿势是第一观看者看向第二观看者。
17.如权利要求16所述的方法，包括：通过确定第一观看者的头已经转向第二观看者，来确定第一观看者已经看向第二观看者。
18.如权利要求17所述的方法，包括：通过确定第一观看者的瞳孔已经移向第二观看者，来确定第一观看者已经看向第二观看者。
19.如权利要求15所述的方法，其中响应于确定第一观看者已经做出第一姿势，该方法包括：在该显示器上叠加一个消息，提示第一观看者确认第一观看者想要将AVDD的控制传递给第二观看者。
20.如权利要求15所述的方法，包括：对仅仅第一观看者的姿势做出响应并且不对第二观看者的姿势做出响应，直到第一观看者已经做出第一姿势并且已经从第一观看者接收到确认命令，然后仅仅对第二观看者的姿势做出响应并且不对第一观看者的姿势做出响应。
CN201310044846.0A 2012-02-07 2013-02-05 人与人之间的姿势控制装置的传递控制 Active CN103297831B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/367,606 2012-02-07
US13/367,606 US8866895B2 (en) 2012-02-07 2012-02-07 Passing control of gesture-controlled apparatus from person to person

Publications (2)

Publication Number Publication Date
CN103297831A true CN103297831A (zh) 2013-09-11
CN103297831B CN103297831B (zh) 2017-04-19

Family

ID=47844057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310044846.0A Active CN103297831B (zh) 2012-02-07 2013-02-05 人与人之间的姿势控制装置的传递控制

Country Status (3)

Country Link
US (2) US8866895B2 (zh)
EP (1) EP2627098A3 (zh)
CN (1) CN103297831B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402628A (zh) * 2016-05-18 2017-11-28 索尼移动通信株式会社 信息处理装置，信息处理系统和信息处理方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866895B2 (en) * 2012-02-07 2014-10-21 Sony Corporation Passing control of gesture-controlled apparatus from person to person
US9190058B2 (en) * 2013-01-25 2015-11-17 Microsoft Technology Licensing, Llc Using visual cues to disambiguate speech inputs
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
US10165322B2 (en) * 2014-09-30 2018-12-25 Rovi Guides, Inc. Methods and systems for controlling user devices
US10156906B2 (en) * 2014-10-13 2018-12-18 Honda Motor Co., Ltd. Systems and methods for distinguishing gestures
US10353473B2 (en) 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
CN105979394A (zh) * 2015-12-04 2016-09-28 乐视致新电子科技（天津）有限公司 智能电视的浏览器操作方法及智能电视

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090315740A1 (en) * 2008-06-23 2009-12-24 Gesturetek, Inc. Enhanced Character Input Using Recognized Gestures
US20110173574A1 (en) * 2010-01-08 2011-07-14 Microsoft Corporation In application gesture interpretation
US20110296353A1 (en) * 2009-05-29 2011-12-01 Canesta, Inc. Method and system implementing user-centric gesture control

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8448094B2 (en) 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
WO2012091185A1 (en) * 2010-12-27 2012-07-05 Lg Electronics Inc. Display device and method of providing feedback for gestures thereof
US9372540B2 (en) * 2011-04-19 2016-06-21 Lg Electronics Inc. Method and electronic device for gesture recognition
US8866895B2 (en) * 2012-02-07 2014-10-21 Sony Corporation Passing control of gesture-controlled apparatus from person to person

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090315740A1 (en) * 2008-06-23 2009-12-24 Gesturetek, Inc. Enhanced Character Input Using Recognized Gestures
US20110296353A1 (en) * 2009-05-29 2011-12-01 Canesta, Inc. Method and system implementing user-centric gesture control
US20110173574A1 (en) * 2010-01-08 2011-07-14 Microsoft Corporation In application gesture interpretation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402628A (zh) * 2016-05-18 2017-11-28 索尼移动通信株式会社 信息处理装置，信息处理系统和信息处理方法
US11144130B2 (en) 2016-05-18 2021-10-12 Sony Corporation Information processing apparatus, information processing system, and information processing method

Also Published As

Publication number Publication date
EP2627098A2 (en) 2013-08-14
EP2627098A3 (en) 2014-03-12
US9148687B2 (en) 2015-09-29
US8866895B2 (en) 2014-10-21
CN103297831B (zh) 2017-04-19
US20140380345A1 (en) 2014-12-25
US20130201314A1 (en) 2013-08-08

Similar Documents

Publication Publication Date Title
US11252462B2 (en) User interface for audio video display device such as TV
US9137476B2 (en) User-defined home screen for ultra high definition (UHD) TV
CN103297831A (zh) 人与人之间的姿势控制装置的传递控制
US8730158B2 (en) Information processing device, information processing method, information processing program, and information processing system
US20120117601A1 (en) User interface for audio video display device such as tv
CN102984564A (zh) 遥控器和由遥控器可控制的图像显示设备
US20130127754A1 (en) Display apparatus and control method thereof
US20150256875A1 (en) Display device and operating method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant