CN109271029A - 用于激活3d图像中的一个或更多个可激活对象的装置 - Google Patents

用于激活3d图像中的一个或更多个可激活对象的装置 Download PDF

Info

Publication number
CN109271029A
CN109271029A CN201811099767.9A CN201811099767A CN109271029A CN 109271029 A CN109271029 A CN 109271029A CN 201811099767 A CN201811099767 A CN 201811099767A CN 109271029 A CN109271029 A CN 109271029A
Authority
CN
China
Prior art keywords
activation
activated
activate
image
predefined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811099767.9A
Other languages
English (en)
Other versions
CN109271029B (zh
Inventor
I·卡茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eyesight Mobile Technologies Ltd
Original Assignee
Eyesight Mobile Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyesight Mobile Technologies Ltd filed Critical Eyesight Mobile Technologies Ltd
Publication of CN109271029A publication Critical patent/CN109271029A/zh
Application granted granted Critical
Publication of CN109271029B publication Critical patent/CN109271029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

用于激活3D图像中的一个或更多个可激活对象的装置。本发明提供了一种用于与包含可激活对象的3D虚拟图像交互的系统和方法。本发明的系统包括向用户呈现3D图像的3D显示装置、图像传感器和处理器。该处理器对通过所述图像传感器获得的图像进行分析，以确定用户何时在3D空间中在用户感觉可激活对象所在的位置处放置例如手或手指的激活用对象或者执行与可激活对象有关的手势。因此，用户感觉他在用激活用对象“触摸”可激活对象。

Description

用于激活3D图像中的一个或更多个可激活对象的装置
本申请是原案申请号为201280049041.9的发明专利申请(国际申请号：PCT/IL2012/050290，申请日：2012年8月2日，发明名称：经由3D显示器与装置交互的系统和方法)的分案申请。
技术领域
本发明涉及用户接口。
背景技术
以下公开被认为与对本发明的背景的理解有关：
WO 2008/132724
术语“3D显示器”用于表示能够利用双眼视觉的立体视觉将深度感传达给观众的显示装置。观看3D显示装置上的图像的用户感觉图像中的对象排列在显示装置前方的3D阵列中。3D图像中的一些对象可能看起来漂浮于显示装置前方的空间中。已使用该技术来显示立体电影、图像或游戏。头戴式显示器也可与头部跟踪装置连接，以使得用户能够通过移动他的头部来“环视”虚拟3D，从而无需单独的控制器。
在一个方法中，3D显示装置向用户呈现一对立体图像，这一对立体图像一起在用户的头脑中形成用户正在观看3D图像的感觉。这一对立体图像由旨在由用户的左眼观看的2D“左图像”和旨在由用户的右眼观看的2D“右图像”组成。用户可佩戴各种类型的眼镜，使得左眼仅看到左图像，右眼仅看到右图像。
创建3D显示的一个方法利用LCD快门眼镜。佩戴包含液晶的眼镜，其利用交替帧顺序的概念与屏幕上交替的图像同步地使光通过。真3D显示器在三个全维度上显示图像。与仅具有两个2D偏移图像的立体显示的最显著差异在于，观察者的头部和眼睛移动增加了关于显示的3维对象的信息。创建3D显示的另一方法是自动立体显示，也称为“无眼镜3D”，其在不使用特殊头饰或眼镜的情况下显示立体图像。目前主要使用两种方法来适应运动视差和更宽的视角：眼睛跟踪和多个视点，使得显示器无需感测观众的眼睛在哪里。
使用被配置为在固定的视域中渲染3D虚拟对象的自动立体显示器的交互式人机接口的方法和设备是已知的。该系统可包含眼睛位置跟踪系统，该眼睛位置跟踪系统根据观众眼睛位置连续确定与视域有关的观众感知三维空间以及渲染的虚拟对象在感知空间中的3D映射二者。另外，一个或更多个3D相机确定观众与所述显示器有关的实时解剖结构(anatomy)位置和构造。交互应用向观众显示内容。另外，交互处理引擎从眼睛位置跟踪系统、解剖结构位置和构造系统以及交互应用接收信息，以确定观众解剖结构与来自显示器的渲染虚拟对象的交互数据。
发明内容
本发明的示例性实施方式提供了一种与包含可激活对象(activatable object)的3D虚拟图像交互的系统和方法。该系统可包括向用户呈现3D图像的3D显示装置。观看3D显示装置会在用户的头脑中生成由一个或更多个可激活对象组成的虚拟3D图像。如本文使用的，可激活对象是与一个或更多个消息关联的3D图像或视频中的通过用户交互激活的区域。例如，可激活对象可以是被用户感知为处于距显示装置一定距离处的2D或3D视觉元素。可激活对象可以是虚拟按钮、虚拟键盘、2D或3D图标、图像或视频中的区域。可激活对象可由两个或更多个可激活对象组成。可激活对象利用一个或更多个激活用对象(activatingobject)来激活。例如，激活用对象可包括系统能够识别的任何预定义的对象，例如，可以是手写笔、用户的一只或更多只手或手的一部分、一根或更多根手指或者手指的一部分(例如，指尖)。如下面所解释的，通过激活用对象激活一个或更多个可激活对象导致消息或命令的生成，所述消息或命令被发送至操作系统、一个或更多个服务、一个或更多个应用、一个或更多个装置、一个或更多个远程应用、一个或更多个远程服务或者一个或更多个远程装置。
设置一个或更多个图像传感器(例如，相机)以获得显示器前方的、用户感觉虚拟3D图像所在的空间的图像。通过图像传感器获得的图像被输入至处理器。当用户将激活用对象置于显示器前方的空间中的用户感觉可激活对象所在的位置时，用户感觉到他在用激活用对象“触摸”可激活对象。处理器对通过相机获得的装置前方的空间的图像进行分析，以确定任何激活用对象何时位于显示器前方的空间中的可激活对象的位置处，或者任何激活用对象何时相对于可激活对象执行预定系列的一个或更多个预定运动。
当一个或更多个激活用对象位于显示器前方的空间中的可激活对象的感知位置处时，或者当一个或更多个预定义的对象相对于一个或更多个可激活对象执行了预定系列的一个或更多个运动时，可激活对象被激活。
处理器从存储器调用与被激活的可激活对象关联的消息或命令。激活用对象对可激活对象的不同模式的“触摸”可导致生成不同的消息或命令。例如，执行的命令可以是改变3D图像的外观的命令。例如，这些命令可以是调整3D图像中的对象的大小、改变3D图像中的对象距显示装置的距离、移动3D图像中的对象或将对象从图像中去除。
本发明的系统可与装置关联，在这种情况下本发明的系统允许与所述装置的无触摸交互。可包含本发明的系统的装置的示例包括移动电话或平板电脑、电子阅读器、便携式游戏机、超极本、膝上型计算机、个人计算机(PC)、一体机、TV、机顶盒、家用电器、交互数字标牌、数字资讯站、自动售货机、ATM、交互界面、3D显示器、娱乐装置、智能家居、厨房电器、媒体播放器或媒体系统、基于位置的装置；以及移动游戏机、微型投影仪或嵌入式投影仪、医疗显示装置、以及车内/空中信息娱乐系统、导航系统。
如上所述，可激活对象被激活时生成的消息或命令可取决于对象被如何激活。例如，可激活对象的不同激活模式包括指着可激活对象、将激活用对象保持在可激活对象处达预定时间量、点击可激活对象、双击、从右侧点击、从左侧点击、从底侧点击、从顶侧点击、抓握对象、从右侧或从左侧朝着对象做手势、穿过对象、推对象、在对象上方拍手、在对象上方挥手、执行冲击(blast)手势、执行轻点(tapping)手势、用两根手指抓住对象在对象上方执行顺时针或逆时针手势、执行点击-拖曳-释放运动、滑动诸如音量条的图标。所生成的用于滚动的命令可取决于执行的滚动运动的速度或加速度。
还将理解，根据本发明的系统可以是被适当编程的计算机。同样，本发明想到一种计算机程序，其能够被计算机或处理器读取以执行本发明的方法。本发明还想到一种有形地实施指令程序的机器可读存储器，所述指令程序能够被机器执行以执行本发明的方法。
因此，本发明提供了一种计算机程序产品，该计算机程序产品包含用于使得处理器执行一种方法的指令，所述方法包括以下步骤：
(a)对通过至少一个图像传感器获得的图像进行分析，以确定一个或更多个预定义的激活用对象何时满足以下预定义的条件中的至少一个：
所述激活用对象中的一个或更多个位于空间区域中的用户感觉可激活对象所在的位置处，所述可激活对象是通过3D显示器呈现给用户的虚拟3D图像的一部分，以及
所述激活用对象中的一个或更多个相对于可激活对象执行了一个或更多个系列的一个或更多个预定义的运动，所述可激活对象是通过3D显示器呈现给用户的虚拟3D图像的一部分；
(b)当所述激活用对象中的一个位于空间区域中的用户感觉可激活对象所在的位置处时或者当所述激活用对象中的一个相对于可激活对象执行了一个或更多个系列的一个或更多个预定义的运动时，生成与所述可激活对象关联的预定义的消息。
本发明的计算机程序产品可被配置为对从单个2D图像传感器获得的图像执行分析图像的步骤。
本发明的计算机程序产品可被配置为对从两个2D相机获得的图像执行分析图像的步骤。
本发明的计算机程序产品可被配置为对从低分辨率3D相机和高分辨率2D相机获得的图像执行分析图像的步骤。预定义的运动可以是激活用对象指着可激活对象。
在本发明的计算机程序产品中，预定义的运动可以是激活用对象指着可激活对象并且所述激活用对象距显示装置或图像传感器的距离低于预定义的距离。
本发明的计算机程序产品还可被配置为生成锥，该锥具有在所述2D图像传感器中的顶点并从所述2D图像传感器朝着可激活对象向外延伸，所述预定义的条件中的一个或两个还需要激活用对象处于所述锥中。所述预定义的条件中的一个或两个还可需要激活用对象处于所述锥中的距所述可激活对象或显示装置小于预定义的距离的距离处。所述锥在所述可激活对象附近的宽度可大于所述可激活对象的宽度。所述锥在所述可激活对象附近的宽度可小于所述可激活对象的宽度。
在本发明的计算机程序产品中，所述图像传感器可选自相机、光传感器、IR传感器、超声波传感器、接近传感器、CMOS图像传感器、黑硅短波红外(SWIR)图像传感器和反射传感器。
在本发明的计算机程序产品中，所述激活用对象中的一个或更多个可以是一只或更多只手、手的一部分、一根或更多根手指、手指的一个或更多个部分、指尖或手写笔。
在本发明的计算机程序产品中，所述虚拟3D图像可包括位于距所述显示装置不同距离处的两个或更多个可激活对象。
在本发明的计算机程序产品中，所述3D图像可包括键盘，一个或更多个可激活对象可以是所述键盘上的键。
在本发明的计算机程序产品中，所述处理器还可被配置为同时检测两个或更多个不同的可激活对象或者两个或更多个预定义的运动，并且激活两个或更多个可激活对象。
在本发明的计算机程序产品中，所述消息中的一个或更多个可取决于激活所述可激活对象的激活用对象。
在本发明的计算机程序产品中，所述消息中的一个或更多个可取决于激活所述可激活对象的激活用对象的移动的类型。所述激活用对象的移动的类型可选自在可激活对象上方的挥击运动、执行两根手指的挤捏运动或指向可激活对象、左至右手势、右至左手势、向上手势、向下手势、推手势、张开握紧的拳头、张开握紧的拳头并朝着图像传感器移动、轻点手势、推手势、挥手手势、拍手手势、逆拍手手势、将手握成拳、挤捏手势和逆挤捏手势、张开手上的手指的手势、张开手上的手指的逆手势、指着可激活对象、将激活用对象保持在可激活对象处达预定义的时间量、点击可激活对象、双击、从右侧点击、从左侧点击、从底侧点击、从顶侧点击、抓握对象、从右侧或从左侧朝着对象做手势、穿过对象、推对象、在对象上方拍手、在对象上方挥手、执行冲击手势、执行轻点手势、用两根手指抓住对象在对象上方执行顺时针或逆时针手势、执行点击-拖曳-释放运动、滑动诸如音量条的图标。
在本发明的计算机程序产品中，所述消息可以是命令。所述命令可以是滚动命令，并且滚动速度可取决于执行的滚动运动的速度或加速度。
在本发明的计算机程序产品中，所述可激活对象可被识别为用户正注视的可激活对象，激活用对象执行的手势可被应用于所识别的可激活对象。所述消息可以是改变3D图像或视频的外观的命令。所述改变3D图像的外观的命令可选自调整3D图像中的对象的大小、改变3D图像中的对象之间的距离、移动3D图像中的对象、改变对象距显示装置的距离以及将对象从图像中去除。可执行激活用对象的第一运动以指示要被修改的对象，并且可执行第二运动以指示要对指示的对象执行所述对象的外观的改变。移动一个或更多个对象或改变3D图像中的对象之间的距离可通过使用一对手指作为激活用对象并在3D图像中执行手势来执行，所述手势可包括用两根不同的手指指着两个不同对象，然后改变两根手指之间的距离以指示距离的改变。调整对象的大小可通过使用一对手指作为激活用对象并在3D图像中执行手势来执行，所述手势改变这两根手指之间的距离以指示所述对象的大小的改变。对象的移动可选自旋转、调整大小、拖曳、剪切、复制和粘贴3D图像中的对象。
在本发明的计算机程序产品中，第一消息可取决于激活用对象触摸可激活对象的方式或位置。
在本发明的计算机程序产品中，所述消息可取决于包括预定义的运动执行的速度和加速度的激活用对象的运动矢量的分析。
在本发明的计算机程序产品中，所述消息可取决于输入的语音命令。
在本发明的计算机程序产品中，可激活对象的激活可导致所述可激活对象的改变。可激活对象的改变可选自可激活对象的大小的改变、颜色的改变、形状的改变以及位置的改变、取向的改变。可激活对象的改变可以是所述可激活对象随着激活用对象靠近所述可激活对象而朝着所述激活用对象移动。可激活对象的改变可以是所述对象中出现凹陷。“浅触摸”可由相对浅的凹陷来指示，“深触摸”可由更深的凹陷来指示。
在本发明的计算机程序产品中，可激活对象的改变可生成动画视觉、听觉、触感或触觉反馈。
本发明的计算机程序产品可包括两个相机，其中，各个相机具有视锥，并且各个相机相对于显示装置被设置为其视锥的面与所述显示装置重合。所述相机中的一个或更多个的视锥可具有120°的视角。在来自2D相机的一个或更多个图像中检测激活用对象可以是用于在3D空间中对激活用对象进行定位的触发。
在本发明的计算机程序产品中，所述处理器还可被配置为将激活的可激活对象去激活。当在预定义的时间量过去之后或者在激活用对象相对于可激活对象执行了预定义的运动之后激活用对象远离可激活对象移动时，可将所述可激活对象去激活。
本发明还提供了一种包括本发明的系统的装置。在这种情况下，所述消息可以是由所述处理器执行的命令，并且是所述装置的操作系统(OS)命令。所述OS命令可选自按压显示在所述装置的显示屏幕上的虚拟键；旋转选择转盘；在桌面之间切换；在中央处理器单元上运行预定义的软件应用；关闭应用；打开或关闭扬声器；增大/减小音量；解锁所述装置、锁定所述装置、在媒体播放器中或在IPTV频道之间跳到下一轨道或前一轨道；控制导航应用；解锁所述装置、停止/运行应用、开始呼叫、结束呼叫、呈现通知、显示通知；在照片或音乐专辑库中进行导航、滚动网页、电子邮件、文档或地图、控制游戏中的动作、控制交互视频或动画内容、编辑视频或图像、指着地图、放大/缩小地图或图像、在图像上绘画、朝着显示装置推图标、或者抓握图标并将其拉离显示装置或使该图标旋转、模仿OS触摸命令、多触摸命令、触摸手势命令、打字、点击显示的视频以暂停或播放、编辑视频或音乐命令、对帧加标签或从视频中捕获帧、以及执行手势以通过使用相同手势对起始帧和结束帧加标签来从视频剪切视频子集。
在本发明的装置中，所述装置可选自移动电话或平板电脑、电子阅读器、便携式游戏机、超极本、膝上型计算机、个人计算机(PC)、一体机、TV、机顶盒、家用电器、交互数字标牌、数字资讯站、自动售货机、ATM、交互界面、3D显示器、娱乐装置、智能家居、厨房电器、媒体播放器或媒体系统、基于位置的装置；以及移动游戏机、微型投影仪或嵌入式投影仪、医疗显示装置、以及车内/空中信息娱乐系统、导航系统。
在本发明的系统中，所述处理器包括被配置为运行一个或更多个软件程序的通用处理器、DSP(数字信号处理器)、GPU(图形处理单元)中的任一个或更多个。
在本发明的系统中，所述处理器是专用硬件。
在本发明的系统中，所述处理器是专用硬件与通用处理器、DSP(数字信号处理器)和GPU(图形处理单元)中的任一个或更多个的组合。
本发明还提供了一种用于激活3D图像中的一个或更多个可激活对象的方法，该方法包括以下步骤：
(a)在3D显示装置上向用户呈现占据所述显示装置前方的真实空间区域的虚拟3D图像，所述3D图像包括一个或更多个可激活对象；
(b)对通过一个或更多个相机获得的图像进行分析，以确定一个或更多个预定激活用对象何时位于显示器前方的所述空间中的可激活对象所在的位置处或者所述激活用对象中的一个或更多个何时相对于可激活对象执行了一个或更多个系列的一个或更多个预定运动；以及
(c)当所述激活用对象中的一个位于空间区域中的用户感觉可激活对象所在的位置处时或者当所述激活用对象中的一个相对于可激活对象执行了一个或更多个系列的一个或更多个预定义的运动时，生成与所述可激活对象关联的预定义的消息。
本发明还提供了一种包括计算机程序代码工具的计算机程序，当所述程序在计算机或处理器上运行时执行本发明的方法的所有步骤。所述计算机程序可被实施在计算机可读介质上。
本发明还提供了一种系统，该系统包括：
(a)3D显示器；
(b)一个或更多个图像传感器，其捕获空间区域的图像；以及
(c)处理器，其被配置为：
(i)在所述3D显示器上向用户呈现用户感觉占据空间区域的虚拟3D图像，所述3D图像包括一个或更多个可激活对象；
(ii)对通过至少一个图像传感器获得的图像进行分析，以确定一个或更多个预定义的激活用对象何时满足以下预定义的条件中的至少一个：
所述激活用对象中的一个或更多个位于空间区域中的用户感觉可激活对象所在的位置处，所述可激活对象是通过所述3D显示器呈现给用户的虚拟3D图像的一部分，以及
所述激活用对象中的一个或更多个相对于可激活对象执行了一个或更多个系列的一个或更多个预定义的运动；以及
(iii)当所述激活用对象中的一个或更多个位于显示器前方的空间区域中的可激活对象所在的位置处时或者当所述激活用对象中的一个或更多个相对于可激活对象执行了一个或更多个系列的一个或更多个预定义的运动时，生成与所述可激活对象关联的预定义的消息。
本发明还提供了一种包括本发明的系统的装置。本发明还提供了一种计算机实现的方法，该方法包括以下步骤：
(a)对通过至少一个图像传感器获得的图像进行分析，以确定一个或更多个预定义的激活用对象何时满足以下预定义的条件中的至少一个：
所述激活用对象中的一个或更多个位于空间区域中的用户感觉可激活对象所在的位置处，所述可激活对象是通过3D显示器呈现给用户的虚拟3D图像的一部分，以及
所述激活用对象中的一个或更多个相对于可激活对象执行了一个或更多个系列的一个或更多个预定义的运动，所述可激活对象是通过3D显示器呈现给用户的虚拟3D图像的一部分；
(b)当所述激活用对象中的一个或更多个位于显示器前方的空间区域中的可激活对象所在的位置处时或者当所述激活用对象中的一个或更多个相对于可激活对象执行了一个或更多个系列的一个或更多个预定义的运动时，生成与所述可激活对象关联的预定义的消息。
本发明还提供了一种包括计算机程序代码工具的计算机程序，当所述程序在计算机上运行时执行本发明的方法的所有步骤。本发明还提供了一种包括计算机程序代码工具的计算机程序，当所述程序在计算机上运行时执行本发明的方法的所有步骤。
所述计算机程序可被实施在计算机可读介质上。
附图说明
为了理解本发明并且看出它在实践中可如何实现，现在将参照附图仅通过非限制示例描述实施方式，附图中：
图1示出根据本发明的一个实施方式的与3D显示器交互的示例性系统；
图2示出本发明的另一实施方式的示例性系统，其中显示的虚拟3D图像包括音乐专辑库；以及
图3示出包括单个2D相机的本发明的系统的另一实施方式的示例性实现方式。
具体实施方式
图1示意性地示出根据本发明的一个实施方式的用于与包含一个或更多个可激活对象的虚拟3D图像交互的系统2。系统2包括3D显示装置8、具有存储器20的处理器6以及一个或更多个相机4。例如，图像传感器可以是相机、光传感器、IR传感器、超声波传感器、接近传感器、CMOS图像传感器、黑硅短波红外(SWIR)图像传感器和反射传感器。
图2示出使用中的系统2。3D显示装置向用户10呈现由处理器6生成的3D图像。通过观看3D显示装置在用户的头脑中生成包括一个或更多个可激活对象(例如，可激活对象14和16)的虚拟3D图像，用户感觉所述可激活对象位于显示装置8的前方。虚拟3D图像可以是虚拟键区或键盘，3D可激活对象可以是键区上的键。设置一个或更多个相机4以获得显示器前方的用户感觉虚拟3D图像所在的空间的图像。相机4可以是2D或3D相机，或者是2D和3D相机的组合。在一个实施方式中，例如，处理器6是通用处理器、DSP(数字信号处理器)、GPU(图形处理单元)中的一个或更多个，其被配置为运行一个或更多个软件程序。另选地，处理器可以是专用硬件。作为另一种选择，处理器6可以是专用硬件与通用处理器、DSP(数字信号处理器)、GPU(图形处理单元)中的任一个或更多个的组合。
通过相机4获得的图像被输入至处理器6。当用户将一个或更多个预定的激活用对象置于显示器前方的空间中的用户感觉可激活对象14和/或16所在的一个或更多个位置处时，用户感觉到他在用激活用对象“触摸”可激活对象。激活用对象可包括预定义的要在从图像传感器向处理器6发送信号时被识别的任何对象。激活用对象的示例可包括(但不限于)手写笔、用户的一只或更多只手或手的一部分、或者一根或更多根手指或手指的一部分(例如，指尖18)。处理器6对通过相机获得的显示器前方的空间的图像进行分析，以确定激活用对象中的任一个何时位于显示器前方的空间中的可激活对象的位置处，或者激活用对象中的任一个何时相对于可激活对象执行预定系列的一个或更多个预定运动。例如，分析图像以检测预定对象可由处理器6如WO 2005/091125或WO 2010/086866中公开的那样执行。
系统2还可包括能够呈现3D图像的触摸屏。用户的交互可通过触摸该屏幕和/或经由无触摸的交互来执行。
当一个或更多个激活用对象位于显示器前方的空间中的可激活对象的位置处时，或者当一个或更多个激活用对象相对于一个或更多个可激活对象(例如，可激活对象14和16)执行了预定系列的一个或更多个运动时，可激活对象可被激活。例如，预定运动可以是在可激活对象上方的挥击运动、执行两根手指的挤捏运动或指向可激活对象、左至右手势、右至左手势、向上手势、向下手势、推手势、张开握紧的拳头、张开握紧的拳头并朝着图像传感器移动(也称为“冲击”手势)、轻点手势、推手势、挥手手势、拍手手势、逆拍手手势、将手握成拳、挤捏手势和逆挤捏手势、张开手上的手指的手势、张开手上的手指的逆手势、指着可激活对象、将激活用对象保持在可激活对象处达预定时间量、点击可激活对象、双击、从右侧点击、从左侧点击、从底侧点击、从顶侧点击、抓握对象、从右侧或从左侧朝着对象做手势、穿过对象、推对象、在对象上方拍手、在对象上方挥手、执行冲击手势、执行轻点手势、用两根手指抓住可激活对象在对象上方执行顺时针或逆时针手势、执行点击-拖曳-释放运动、或滑动诸如音量条的图标。滚动命令的速度可取决于滚动运动的速度或加速度。可同时利用不同的激活用对象(例如，不同的手或手指)或者同时利用不同的手势激活两个或更多个可激活对象。
可激活对象可被识别为用户注视的可激活对象，用户执行的手势可被应用于所识别出的可激活对象。用于跟踪眼睛移动的方法和系统是本领域已知的。
如下面所解释的，通过激活用对象激活一个或更多个可激活对象可导致消息或命令的生成，所述消息或命令被发送至操作系统、一个或更多个服务、一个或更多个应用、一个或更多个装置、一个或更多个远程应用、一个或更多个远程服务或者一个或更多个远程装置。例如，处理器可从存储器20调用与被激活的可激活对象(以及可能地，可激活对象被激活的方式)关联的消息或命令。例如，用不同的激活用对象或者通过激活用对象的不同运动或手势激活可激活对象可导致不同的关联命令。消息或命令还可取决于在通过激活用对象激活可激活对象期间提供的语音命令。然后，处理器6生成所调用的消息或命令。因此，可在无需任何物理输入装置(例如，键盘或计算机鼠标)的情况下执行命令。例如，当在预定时间量过去或者靠近对象执行了预定手势之后预定对象远离可激活对象移动时，被激活的可激活对象可被去激活。
例如，执行的命令可以是改变3D图像的外观的命令。例如，这些命令可以是调整3D图像中的对象的大小、改变对象的形状或颜色、改变3D图像中的对象之间的距离、移动3D图像中的对象、将对象置于另一对象内部或顶上或者将对象从图像中去除。在这种情况下，可执行第一手势以指示要被修改的对象，并且可执行第二手势以指示要对对象执行的修改。调整对象的大小或移动对象或者改变3D图像中的对象之间的距离可以(例如)通过使用一对手指作为激活用对象并在3D图像中执行手势来完成，所述手势包括用两根不同的手指指着两个不同的对象，然后改变两根手指之间的距离以指示对象之间的距离的改变。例如，对象的移动可以是旋转、拖曳剪切、复制或粘贴3D图像中的对象。作为示例，图2示出系统2，其中显示的虚拟3D图像包括音乐专辑30的库。通过用户的手34在箭头36所指示的方向上执行的挥击手势可用于在箭头38所指示的方向上在音乐专辑30之间滚动，而手34在与箭头36相反的方向上的挥击手势可用于在与箭头38的方向相反的方向上在音乐专辑之间滚动。滚动速度可与挥击手势的速度或加速度相关。因此，相对慢的挥击手势将滚动至下一专辑，而相对快的挥击手势将使得多个专辑快速地连续滚动。
系统2可与装置21关联，在这种情况下在激活可激活对象时由处理器6执行的命令可以是装置21的操作系统(OS)命令。OS命令的示例包括按压显示在装置的显示屏幕上的虚拟键；旋转选择转盘；在桌面之间切换；在中央处理器单元上运行预定的软件应用；关闭应用；打开或关闭扬声器；增大/减小音量；在媒体播放器中或IPTV频道之间跳到下一轨道或前一轨道；控制导航应用；解锁装置、停止/运行应用、开始呼叫、结束呼叫、呈现通知、显示通知；在照片或音乐专辑库中进行导航、滚动网页、电子邮件、文档或地图、控制游戏中的动作、控制交互视频或动画内容、编辑视频或图像、指着地图、放大/缩小地图或图像、在图像上绘画、朝着显示装置推可激活对象、远离显示装置拉可激活图像、将可激活图像移至新的位置、复制、剪切、去除、改变或旋转任何视觉表示。另外的OS命令包括模仿：触摸OS命令、多触摸OS命令、触摸手势OS命令。另外的OS命令包括打字、点击显示的视频以暂停或播放、编辑视频或音乐命令、对帧加标签或从视频中捕获帧、执行手势以通过使用相同手势对起始帧和结束帧加标签(或者起始帧使用一个手势，结束帧使用不同的手势)来从视频剪切视频子集。
所执行的命令可取决于激活可激活对象的激活用对象，使得用不同的激活用对象激活相同的可激活对象可使得不同的命令被执行。类似地，激活用装置的不同的手势或移动可使得不同的命令被执行。
所执行的命令还可取决于激活用对象如何或者在哪里“触摸”可激活对象。与可激活对象的激活关联的命令可取决于用户如何“触摸”可激活对象。例如，“浅触摸”和“深触摸”可导致不同的命令被执行。
例如，可通过可激活对象的颜色、形状或位置的改变将可激活对象的激活指示给用户。可激活区域可随着激活用对象靠近可激活对象而朝着激活用对象移动。可通过对象中的凹陷外观来指示可激活对象被触摸。可通过相对浅的凹陷来指示“浅触摸”，可通过更深的凹陷来指示“深触摸”。例如，还可通过静止的或动画的视觉、听觉、触感或触觉反馈来将可激活对象的激活指示给用户。例如，可通过辐射空中超声波并在用户的手或手指上生成压力场来提供触觉反馈。
如图3所示，本发明的系统可包括单个2D相机4，该2D相机4获得显示器前方的3D视空间的2D图像。通过2D相机4获得的2D图像表示视空间在2D表面上的投影。可生成锥24，该锥24的顶点在相机中并从相机朝着可激活对象(例如，被局限在显示器前方的3D空间中的可激活对象26)向外延伸。可激活对象26附近的锥24的大小可比对象26的宽度更宽、相同或更窄。当激活用对象(例如，指尖22)出现在可激活对象26的锥24中从而指着可激活对象26达预定时间量，或者执行预定手势(例如，点击运动)时，系统2可确定激活用对象在激活可激活对象。另选地，系统可被配置为当激活用对象在指着可激活对象或者在执行预定手势，并且激活用对象距显示装置或可激活对象的距离小于预定距离d时，激活可激活对象。例如，可从2D图像，从图像中的激活用对象的大小或宽度(单位为像素)来确定激活用对象距显示装置或可激活对象在距离d内还是超出距离d。
本发明的实现方式的另一示例可利用两个2D相机来提供激活用对象的位置和运动矢量的更高精度，这两个2D相机具有交叠的视空间，其被优化以降低处理器资源要求。在显示器前方的3D空间中两个2D相机的视空间的交点中定位激活用对象的一个方法涉及从得自两个相机的一对图像计算3D空间的低分辨率3D映射。识别3D映射中疑似包含激活用对象的3D区域。疑似区域通常是3D映射中相对靠近相机的区域。然后找到两个图像中疑似包含激活用对象的对应2D区域。激活用对象在第一图像和第二图像中的位置分别利用2D坐标(XI,Yl)和(X2,Y2)来指定。然后，仅在激活用对象的区域中生成高分辨率3D映射，从该映射可计算激活用对象的3D坐标(X,Υ,Z)。
在3D空间中两个2D相机的视空间的交点中定位激活用对象的另一方法涉及在第一图像中定位激活用对象以获得激活用对象在该图像中的2D坐标(X,Y)。然后使用这些坐标来在第二图像中定位激活用对象。然后仅在激活用对象的区域中从激活用对象在两个图像中的2D坐标计算3D映射。
在本发明的实现方式的另一示例中，通过在来自2D相机的图像中识别激活用对象来获得激活用对象的(X,Y)，并且在与(X,Y)的提取的帧频相比较低的帧频下如上所述获得Z坐标的提取。
在本发明的实现方式的另一示例中，在来自2D相机的一个或更多个图像中确定激活用对象的位置，并且仅当检测到激活用对象时，才实现上述方法中的任一个以在3D空间中定位激活用对象。
在3D空间中两个2D相机的视空间的交点中定位激活用对象的另一方法涉及从一对图像计算低分辨率3D映射。激活用对象在一对的两个2D图像(第一图像和第二图像)中的位置分别在3D映射中确定第一3D区域和第二3D区域。然后，在3D映射中第一3D区域和第二3D区域的交点中定位激活用对象。
本发明的实现方式的另一示例利用低分辨率3D相机和高分辨率2D相机。3D相机提供激活用对象的低分辨率3D坐标(X,Υ,Z)，其中Z是对象距屏幕的距离。2D相机提供对象在图像中的高分辨率2D坐标(X,Y)。高分辨率X和Y坐标与低分辨率Z坐标一起通常足以按照足够的精度定位对象。
在本发明的另一实现方式中，使用两个相机，这两个相机可以是2D或3D相机或者2D和3D相机的组合。各个相机具有视锥，在此实现方式中，各个相机被设置为使得各个相机的视锥的一面与显示屏幕重合。这样，不存在与屏幕相邻的不在两个相机的视锥内的“死角”。在此实现方式中，视锥可具有宽视角，例如120°的角度。
以上描述仅是示例性，不应解释为对要求保护的本发明的限制。

Claims (10)

1.一种用于激活3D图像中的一个或更多个可激活对象的装置，该装置包括：
用于显示虚拟3D图像的单元，所述虚拟3D图像包括至少一个可激活对象，所述至少一个可激活对象具有能够同时激活的至少两个区别侧面，其中，所述至少两个区别侧面中的第一区别侧面与第一动作相关联，并且所述至少两个区别侧面中的第二区别侧面与第二动作相关联；
用于对通过至少一个图像传感器获得的图像进行分析以确定一个或更多个激活用对象何时相对于所述至少一个可激活对象执行了一个或更多个预定义运动的单元；
用于使所述一个或更多个激活用对象的位置与所述第一区别侧面和所述第二区别侧面中的一个的位置相关的单元；以及
用于生成第一预定义的消息或第一命令和第二预定义的消息或第二命令的单元，所述第一预定义的消息或所述第一命令在所述一个或更多个激活用对象的位置与所述可激活对象的所述第一区别侧面相关时生成，并且所述第二预定义的消息或所述第二命令在所述一个或更多个激活用对象的位置与所述可激活对象的所述第二区别侧面相关时生成。
2.根据权利要求1所述的装置，该装置还包括用于对从单个2D图像传感器获得的图像执行图像分析的单元。
3.根据权利要求1所述的装置，该装置还包括用于对从两个2D图像传感器获得的图像执行图像分析的单元。
4.根据权利要求1所述的装置，该装置还包括用于对从低分辨率3D相机和高分辨率2D图像传感器获得的图像执行图像分析的单元。
5.根据权利要求2所述的装置，其中，所述预定义运动是激活用对象指着所述可激活对象。
6.根据权利要求2所述的装置，其中，所述预定义运动是所述一个或更多个激活用对象指着所述可激活对象并且所述一个或更多个激活用对象距所述用于显示的单元或图像传感器的距离低于预定义的距离。
7.根据权利要求2至4中任一项所述的装置，该装置还包括用于生成锥的单元，所述锥具有在所述2D图像传感器中的顶点并且从所述2D图像传感器朝着可激活对象向外延伸，并且其中，所述用于分析图像的单元还确定所述一个或更多个激活用对象是否满足至少一个预定义的条件，所述至少一个预定义的条件包括需要所述一个或更多个激活用对象处于所述锥中。
8.根据权利要求7所述的装置，其中，所述至少一个预定义的条件还需要所述一个或更多个激活用对象处于所述锥中的距所述可激活对象或所述用于显示的单元小于预定义的距离的距离处。
9.根据权利要求7所述的装置，其中，所述锥在所述可激活对象的附近的宽度大于所述可激活对象的宽度。
10.根据权利要求7所述的装置，其中，所述锥在所述可激活对象的附近的宽度小于所述可激活对象的宽度。
CN201811099767.9A 2011-08-04 2012-08-02 无触摸手势识别系统、无触摸手势识别方法和介质 Active CN109271029B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161515055P 2011-08-04 2011-08-04
US61/515,055 2011-08-04
PCT/IL2012/050290 WO2013018099A2 (en) 2011-08-04 2012-08-02 System and method for interfacing with a device via a 3d display
CN201280049041.9A CN103858074B (zh) 2011-08-04 2012-08-02 经由3d显示器与装置交互的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280049041.9A Division CN103858074B (zh) 2011-08-04 2012-08-02 经由3d显示器与装置交互的系统和方法

Publications (2)

Publication Number Publication Date
CN109271029A true CN109271029A (zh) 2019-01-25
CN109271029B CN109271029B (zh) 2022-08-26

Family

ID=46963988

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280049041.9A Active CN103858074B (zh) 2011-08-04 2012-08-02 经由3d显示器与装置交互的系统和方法
CN201811099767.9A Active CN109271029B (zh) 2011-08-04 2012-08-02 无触摸手势识别系统、无触摸手势识别方法和介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201280049041.9A Active CN103858074B (zh) 2011-08-04 2012-08-02 经由3d显示器与装置交互的系统和方法

Country Status (3)

Country Link
US (3) US9733789B2 (zh)
CN (2) CN103858074B (zh)
WO (1) WO2013018099A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614949A (zh) * 2019-02-22 2020-09-01 大众汽车有限公司 便携式终端设备

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
WO2014125482A1 (en) * 2013-02-12 2014-08-21 Inuitive Ltd. System and method for combining touch and gesture in a three dimensional user interface
CN103152626A (zh) * 2013-03-08 2013-06-12 苏州百纳思光学科技有限公司 一种智能电视的远红外三维手势探测装置
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US20140325455A1 (en) * 2013-04-26 2014-10-30 Ebay Inc. Visual 3d interactive interface
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US20180046265A1 (en) * 2013-06-06 2018-02-15 Idhl Holdings, Inc. Latency Masking Systems and Methods
US9671868B2 (en) 2013-06-11 2017-06-06 Honeywell International Inc. System and method for volumetric computing
CN104238727A (zh) * 2013-06-20 2014-12-24 苏州技杰软件有限公司 一种基于红外线的手势点餐设备
EP2818985B1 (en) * 2013-06-28 2021-05-12 Nokia Technologies Oy A hovering input field
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9293015B2 (en) * 2013-09-09 2016-03-22 Immersion Corporation Electrical stimulation haptic feedback interface
WO2015084227A1 (en) * 2013-12-06 2015-06-11 Telefonaktiebolaget L M Ericsson (Publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9785243B2 (en) 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
US11221680B1 (en) * 2014-03-01 2022-01-11 sigmund lindsay clements Hand gestures used to operate a control panel for a device
US10589716B2 (en) 2014-03-26 2020-03-17 Magna Mirrors Of America, Inc. Vehicle function control system using sensing and icon display module
US9607139B1 (en) * 2014-03-27 2017-03-28 EMC IP Holding Company LLC Map-based authentication
US10691324B2 (en) * 2014-06-03 2020-06-23 Flow Labs, Inc. Dynamically populating a display and entering a selection interaction mode based on movement of a pointer along a navigation path
JP6813254B2 (ja) * 2014-07-15 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9773328B2 (en) 2014-08-18 2017-09-26 Wells Fargo Bank, N.A. Density gradient analysis tool
CN104199547B (zh) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 一种虚拟触屏操作装置、系统及方法
DE102014114742A1 (de) * 2014-10-10 2016-04-14 Infineon Technologies Ag Eine Vorrichtung zum Erzeugen eines Anzeigensteuerungssignals und ein Verfahren derselben
CN107430325B (zh) * 2014-12-30 2020-12-29 欧姆尼消费品有限责任公司 交互式投影的系统和方法
CN104503699B (zh) * 2015-01-08 2017-12-05 中国计量学院 一种非接触式空间手势智能锁系统及其操作方法
US10508480B2 (en) * 2015-05-04 2019-12-17 Saic General Motors Corporation Limited Method and system for unlocking vehicle engine cover
CN107533359B (zh) * 2015-05-20 2019-04-23 三菱电机株式会社 信息处理装置和联锁控制方法
US20180292907A1 (en) * 2015-05-28 2018-10-11 Itay Katz Gesture control system and method for smart home
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互系统
US10372268B2 (en) * 2015-07-21 2019-08-06 Sony Corporation Spatial image display apparatus and spatial image display method
CN106484087A (zh) * 2015-09-02 2017-03-08 黄小明 一种便携遥测体感输入方法及装置
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US10372289B2 (en) 2015-12-31 2019-08-06 Beijing Pico Technology Co., Ltd. Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method
CN105653034A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 一种三维沉浸式环境下内容切换方法和装置
US10831273B2 (en) * 2016-01-26 2020-11-10 Lenovo (Singapore) Pte. Ltd. User action activated voice recognition
AU2017223313A1 (en) * 2016-02-26 2018-09-20 The Coca-Cola Company Touchless control graphical user interface
US10269082B2 (en) 2016-04-21 2019-04-23 Wayne Fueling Systems Llc Intelligent fuel Dispensers
EP3466054B1 (en) 2016-05-27 2021-05-26 Wayne Fueling Systems Llc Transparent fuel dispenser
JP2017228080A (ja) * 2016-06-22 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US10099133B2 (en) * 2016-06-30 2018-10-16 Abrakadabra Reklam ve Yayncilik Limited Sirketi Digital multimedia platform for converting video objects to gamified multimedia objects
CN106249882B (zh) * 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
DE102016216577A1 (de) 2016-09-01 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden
JP2018085552A (ja) * 2016-11-21 2018-05-31 セイコーエプソン株式会社 プロジェクターシステム
KR20180058097A (ko) * 2016-11-23 2018-05-31 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
US10083640B2 (en) * 2016-12-29 2018-09-25 Pure Depth Limited Multi-layer display including proximity sensor and depth-changing interface elements, and/or associated methods
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
WO2019039416A1 (ja) * 2017-08-24 2019-02-28 シャープ株式会社 表示装置及びプログラム
DE102017217591A1 (de) * 2017-10-04 2019-04-04 Audi Ag Bediensystem mit dreidimensionaler Anzeige für ein Fahrzeug
WO2019080902A1 (en) * 2017-10-27 2019-05-02 Zyetric Inventions Limited INTELLIGENT INTERACTIVE VIRTUAL OBJECT
CN107911686B (zh) * 2017-12-29 2019-07-05 盎锐（上海）信息科技有限公司 控制方法以及摄像终端
CN109996148B (zh) * 2017-12-29 2023-10-13 青岛有屋科技有限公司 一种智能厨房多媒体播放系统
CN108479062B (zh) * 2018-02-24 2021-02-05 网易（杭州）网络有限公司 游戏事件触发控制方法、装置和计算机可读存储介质
DE102018203349A1 (de) * 2018-03-07 2019-09-12 BSH Hausgeräte GmbH Interaktionsmodul
EP3557380B1 (en) * 2018-04-20 2024-07-03 Cadwalk Global Pty Ltd An arrangement for the relocating of virtual object images within a real non-electronic space
TWI669653B (zh) * 2018-05-28 2019-08-21 宏碁股份有限公司 具備手勢感測功能之三維顯示器
DE102018115640A1 (de) * 2018-06-28 2020-01-02 Frank Buddenhagen Vorrichtung und Verfahren zur berührungsfreien Eingabe von Information
US20200050353A1 (en) * 2018-08-09 2020-02-13 Fuji Xerox Co., Ltd. Robust gesture recognizer for projector-camera interactive displays using deep neural networks with a depth camera
CN108873754A (zh) * 2018-08-22 2018-11-23 宁波柏厨集成厨房有限公司 一种智能厨房的显示门板系统
CN112313605B (zh) * 2018-10-03 2024-08-13 谷歌有限责任公司 增强现实环境中对象的放置和操纵
JP2022515608A (ja) * 2018-12-31 2022-02-21 ガーディアン・グラス・エルエルシー 大面積透明タッチインターフェースにおける視差補正のためのシステム及び／又は方法
KR102648818B1 (ko) * 2019-01-29 2024-03-19 현대자동차주식회사 차량용 인포테인먼트 장치 및 그의 제어 방법과 그를 포함하는 차량
US10890992B2 (en) * 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
EP3948492A4 (en) 2019-03-27 2022-11-09 INTEL Corporation SMART BILLBOARD APPARATUS AND RELATED METHODS
CN110119208B (zh) * 2019-05-15 2021-04-30 京东方科技集团股份有限公司 悬浮显示成像装置及悬浮显示触控方法
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
CA3147628A1 (en) * 2019-08-19 2021-02-25 Jonathan Sean KARAFIN Light field display for consumer devices
CN110517544A (zh) * 2019-08-27 2019-11-29 曹忠浮 一种分布式桌面投影互动教学系统
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
CN111028494B (zh) * 2019-11-04 2021-01-29 珠海格力电器股份有限公司 一种电器设备的虚拟遥控方法、计算机可读存储介质及智能家电
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
CN111246014B (zh) * 2020-01-13 2021-04-06 维沃移动通信有限公司 通话方法、头戴式设备及介质
CN111402430A (zh) * 2020-03-13 2020-07-10 杭州趣维科技有限公司 一种全息3d交互视频编辑方法
CN111722769B (zh) * 2020-07-16 2024-03-05 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
US12079394B2 (en) * 2020-10-14 2024-09-03 Aksor Interactive contactless ordering terminal
JP7534206B2 (ja) * 2020-12-17 2024-08-14 シャープ株式会社 表示装置、表示方法、及び表示プログラム
WO2022152221A1 (zh) * 2021-01-15 2022-07-21 安徽省东超科技有限公司 触控反馈系统、终端设备、触控反馈控制方法和存储介质
US11919392B2 (en) * 2021-09-21 2024-03-05 GM Global Technology Operations LLC Rollable/bendable virtual 3D display
US11800082B2 (en) 2021-09-21 2023-10-24 GM Global Technology Operations LLC Virtual 3D display
CN113791548A (zh) * 2021-09-26 2021-12-14 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694056A (zh) * 2004-05-06 2005-11-09 阿尔派株式会社 操作输入装置及操作输入方法
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
CN101317151A (zh) * 2005-11-29 2008-12-03 科乐美数码娱乐株式会社 对象选择装置、对象选择方法、信息记录媒体及程序

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4615966A (en) 1985-07-03 1986-10-07 Polaroid Corporation Color transfer photographic processes and products with indole phthalein filter dyes
US5335557A (en) * 1991-11-26 1994-08-09 Taizo Yasutake Touch sensitive input control device
CN1183151A (zh) * 1995-04-28 1998-05-27 松下电器产业株式会社 接口装置
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7216305B1 (en) * 2001-02-15 2007-05-08 Denny Jaeger Storage/display/action object for onscreen use
US7765490B2 (en) * 2001-07-18 2010-07-27 International Business Machines Corporation Method and system for software applications using a tiled user interface
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7274803B1 (en) * 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
JP4117352B2 (ja) * 2002-11-12 2008-07-16 株式会社ソニー・コンピュータエンタテインメント ファイル処理方法とこの方法を利用可能な装置
IL161002A0 (en) 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
KR101141087B1 (ko) * 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US8402394B2 (en) * 2007-09-28 2013-03-19 Yahoo! Inc. Three-dimensional website visualization
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US20090249258A1 (en) * 2008-03-29 2009-10-01 Thomas Zhiwei Tang Simple Motion Based Input System
WO2010086866A1 (en) 2009-02-02 2010-08-05 Eyesight Mobile Technologies Ltd. System and method for object recognition and tracking in a video stream
US8451268B1 (en) * 2009-04-01 2013-05-28 Perceptive Pixel Inc. Screen-space formulation to facilitate manipulations of 2D and 3D structures through interactions relating to 2D manifestations of those structures
KR101608764B1 (ko) * 2009-07-14 2016-04-04 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
TW201104494A (en) * 2009-07-20 2011-02-01 J Touch Corp Stereoscopic image interactive system
KR101393942B1 (ko) * 2010-01-29 2014-06-30 주식회사 팬택 이동 단말기 및 이동 단말기를 이용한 정보 표시 방법
KR101726790B1 (ko) * 2010-07-16 2017-04-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US9360991B2 (en) * 2011-04-11 2016-06-07 Microsoft Technology Licensing, Llc Three-dimensional icons for organizing, invoking, and using applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694056A (zh) * 2004-05-06 2005-11-09 阿尔派株式会社 操作输入装置及操作输入方法
CN101317151A (zh) * 2005-11-29 2008-12-03 科乐美数码娱乐株式会社 对象选择装置、对象选择方法、信息记录媒体及程序
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614949A (zh) * 2019-02-22 2020-09-01 大众汽车有限公司 便携式终端设备

Also Published As

Publication number Publication date
US20150363070A1 (en) 2015-12-17
WO2013018099A3 (en) 2013-07-04
US20200409529A1 (en) 2020-12-31
US9733789B2 (en) 2017-08-15
CN103858074B (zh) 2018-10-19
US20170344222A1 (en) 2017-11-30
WO2013018099A2 (en) 2013-02-07
CN109271029B (zh) 2022-08-26
US10606442B2 (en) 2020-03-31
CN103858074A (zh) 2014-06-11

Similar Documents

Publication Publication Date Title
CN103858074B (zh) 经由3d显示器与装置交互的系统和方法
US20220382379A1 (en) Touch Free User Interface
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
CN105518575B (zh) 与自然用户界面的双手交互
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
CN107665042B (zh) 增强的虚拟触摸板和触摸屏
KR20200115531A (ko) 혼합 현실 디스플레이들에서의 가상 콘텐츠를 위한 이클립스 커서
EP2278823A2 (en) Stereo image interaction system
KR20190133080A (ko) 증강 현실 시스템용 터치프리 인터페이스
EP3311250A1 (en) System and method for spawning drawing surfaces
US20130318479A1 (en) Stereoscopic user interface, view, and object manipulation
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
WO2014028504A1 (en) Augmented reality overlay for control devices
Valkov et al. Touching Floating Objects in Projection-based Virtual Reality Environments.
CN107077199B (zh) 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法
US20150033157A1 (en) 3d displaying apparatus and the method thereof
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
Steinicke et al. Towards applicable 3D user interfaces for everyday working environments
US11307762B2 (en) Operating user interfaces
Piumsomboon Natural hand interaction for augmented reality.
Steinicke et al. 3d user interfaces for collaborative work

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant