CN109196577A - 用于为计算机化系统提供用户界面并与虚拟环境交互的方法和设备 - Google Patents

用于为计算机化系统提供用户界面并与虚拟环境交互的方法和设备 Download PDF

Info

Publication number
CN109196577A
CN109196577A CN201780026401.6A CN201780026401A CN109196577A CN 109196577 A CN109196577 A CN 109196577A CN 201780026401 A CN201780026401 A CN 201780026401A CN 109196577 A CN109196577 A CN 109196577A
Authority
CN
China
Prior art keywords
user
computer system
working space
display device
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780026401.6A
Other languages
English (en)
Inventor
乔治·亚历克斯·波佩斯修
米哈伊·杜米特雷斯库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Lamp Co D\/b\/a Lampix
Original Assignee
Smart Lamp Co D\/b\/a Lampix
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Lamp Co D\/b\/a Lampix filed Critical Smart Lamp Co D\/b\/a Lampix
Publication of CN109196577A publication Critical patent/CN109196577A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明是一种用于为计算机化系统提供用户界面的方法和设备。本发明是一种将个人计算机(“PC”)的功能提供给物理桌面的装置。所述装置提供纸张和数字文档之间的无缝集成，在当前装置的有限屏幕之外创建增强的办公空间。本发明使得整个桌面或办公空间是交互性的，允许用户‑计算机交互中的更大通用性。本发明提供了这些益处，而无需向办公空间添加额外的突显硬件。

Description

用于为计算机化系统提供用户界面并与虚拟环境交互的方法 和设备
相关申请
本申请是美国临时专利申请62/301,110的连续案，并要求其优先权。
技术领域
本发明涉及用于计算机化系统的增强现实和用户界面的领域。增强现实技术允许虚拟图像在真实世界的物理环境中呈现。本发明允许用户与这些虚拟图像交互以执行各种功能。
背景技术
个人计算机对生产力起到了巨大的帮助，适应各种个人和专业工作的需要。尽管个人计算技术在不断发展，但仍存在一种分歧。物理文档和数字文件以有限的方式交互。人们需要中断他们的工作流程来打印文件或扫描文档，并且一个领域的改变不会反映在多个媒体上。可用许多类型的用户界面装置和方法，包括键盘、鼠标、操纵杆和触摸屏，但是计算机和数字信息与用户的物理工作空间和文档的交互有限。
近年来，交互式触摸屏已用于在平面上呈现信息。例如，可以在触摸屏上显示图像，并且用户可以通过触摸该触摸屏来与图像交互，从而使图像改变。然而，为了与触摸屏上显示的图像交互，用户必须实际上接触触摸屏。通过要求与触摸屏接触以提供交互性，当前的交互式显示器不会使大量潜在用户参与。由于一次只有一个用户可以与触摸屏交互，因此也排除了其他用户。此外，交互性受到触摸屏的大小和接近度的限制。
用于与虚拟环境交互的其它系统或方法依赖于图像处理而不是触觉界面。图像处理用于分析、教育、商业和娱乐的许多领域。图像处理的一个方面包括通过运动捕获或检测人体外形和运动的人机交互，以允许通过运动捕捉技术与图像交互。这种处理的应用能够使用与图像交互的有效或有趣的方式来定义数字形状或其它数据，动画对象，创建表达形式等。
通过运动捕捉技术，人类表演者的运动的数学描述被输入到计算机或其它处理系统。自然的身体运动能够被用作计算机的输入，以研究运动性的移动(athleticmovement)、捕获数据以供以后回放或模拟、为了医疗目的的增强分析等。
虽然运动捕捉提供了一些好处和优势，运动捕捉技术往往很复杂。一些技术要求人类演员穿着在几个位置具有高能见度点的特殊套装。其它方法使用射频或其它类型的发射器、多个传感器和检测器、蓝屏、广泛的后处理等。依赖简单的可见光图像捕获的技术通常不够准确，无法提供定义明确和精确的运动捕捉。
最近，图案照明已被用于辨别对象的大小、形状、取向或运动等物理特征。这些系统通常投射红外光或其它不可见光谱，然后由对投射光敏感的视觉传感器捕捉这些光。例如，美国专利号8,035,624(其公开内容通过并入本文)描述了一种基于计算机视觉的触摸屏，其中照明器照明靠近屏幕前侧的对象，相机检测被照明对象与由投影仪分别投射到屏幕上的图像的交互，并且计算机系统指示投影仪响应于交互而改变图像。
其它类似系统包括交互式视频显示系统，美国专利号7,834,846，其中显示屏显示可视图像，并且相机捕捉关于位于显示屏前面的交互区域中的对象的3D信息。计算机系统指示显示屏响应于对象的改变来改变视觉图像。
又另一种方法是三维用户界面会话控制，美国专利号9,035,876，其中计算机执行非触觉三维(3D)用户界面，一组多个3D坐标表示位于耦合到计算机的感测装置的视场内的手的手势，手势包括沿空间中的选定轴在第一方向上的第一运动，随后沿着所选轴在与第一方向相反的第二方向上的第二运动。在检测到手势完成时，非触觉3D用户界面从第一状态转换到第二状态。
发明内容
本发明是一种将个人计算机(“PC”)的功能提供给物理桌面的装置。这种装置提供纸张和数字文档之间的无缝集成，在当前装置的有限屏幕之外创建增强的办公空间。本发明使得整个桌面或办公空间是交互性的，允许用户-计算机交互中的更大通用性。本发明提供了这些益处，而无需向办公空间添加额外的突显硬件。包含在照明设备或其它办公室设备内，本发明甚至比最薄的膝上型计算机或平板计算机还能减少杂乱。
具体实施方式
下文的详细说明中的一些部分是根据能够在计算机存储器上执行的数据位的操作的过程、步骤、逻辑块、处理和其它符号表示来呈现的。这些说明和表示是数据处理领域的技术人员用来最有效地将他们工作的实质传达给本领域其它技术人员的手段。过程、计算机执行步骤、逻辑块、处理等在此处并且通常被设想为导致期望结果的自相一致的步骤或指令序列。这些步骤是需要对物理量进行物理操纵的那些步骤。通常，尽管不是必须的，但是这些量采用能够在计算机系统中存储、传输、组合、比较和以其它方式操纵的电信号或磁信号的形式。有时，主要出于通用的原因，将这些信号称为比特、值、元素、符号、字符、词项、数字等等已被证明是方便的。
然而，应牢记，所有这些和类似术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非以下讨论中明确说明，否则应明白，在整个本发明中，利用诸如“投射”或“检测”或“改变”或“照明”或“纠正”或“消除”等术语的讨论涉及电子系统(例如，交互式视频系统)或类似的电子计算装置的动作和过程，其将在电子装置的寄存器和存储器中被表示为物理(电子)量的数据操纵和转换为在电子装置存储器或寄存器中类似地被表示为物理量的其它数据，或者其它这样的信息存储、传输，或者显示装置。
一些描述的实施例可以使用摄像机，摄像机产生其所观看的对象的三维(3D)图像。飞行时间相机具有这种属性。用于获取深度信息的其它装置(例如，3D图像数据)包括但不限于与结构光配对的相机、利用立体视觉算法生成深度图的立体相机、超声换能器阵列、激光扫描仪以及飞行时间相机。通常，这些装置产生深度图，深度图是二维(2D)值阵列，其相应于从相机的视角看到的图像。每个像素值都相应于相机与从相机视角看占据该像素的最近对象之间的距离。此外，虽然本发明的实施例可包括至少一个飞行时间相机，但是应明白，本发明可以使用诸如激光扫描仪和立体相机的可操作以确定对象的三维信息的任何相机或相机组合来实现。在实施例中，可以利用高分辨率相机来捕捉对象的高分辨率图像。
本发明使用一个或更多视觉传感器来监视工作空间。在一个实施例中，视觉传感器是可操作以捕捉关于对象的三维信息的相机。在一个实施例中，相机是飞行时间相机、基于光速来分辨距离的范围成像相机。在一个实施例中，对象是用户。在一个实施例中，距离信息用于人物跟踪。在一个实施例中，距离信息用于特征跟踪。特征跟踪将在创建3D对象的数字表示和/或区分不同3D对象时有用。
工作空间可以是桌子、黑板、白板、绘图桌、书架、食品室、收银机、结账区域或用户期望计算机功能的其它物理空间。在监视工作空间时，装置识别物理对象——例如，文档或书籍——并呈现由计算机在对象上执行的各种功能的选项(OPTION)。为了呈现选项，装置可以使用一个或多个投影仪。投影仪可以在工作空间的表面上创建图像，该图像通过单词或其它可识别的符号表示作为菜单(MENU)项的各种选项。选项还可以呈现在用户可访问的并且与本发明链接的另一装置上——例如，智能电话、平板计算机、计算机、触摸屏监视器或其它输入装置。
所显示的图像或项目能够包括对象、图案、形状或任何视觉图案、效果等。本发明的多方面能够用于诸如俱乐部或活动中的人们的交互式照明效果、交互式广告显示、对路人的行动作出反应的角色和虚拟对象、针对诸如餐馆、商场、体育场馆、零售店、大堂和公园的公共场所的互动环境照明、视频游戏系统、和互动式信息显示器的应用。其它应用也是可能的并且在本发明的范围内。
通常，任何类型的显示装置都能够与本发明结合使用。例如，尽管已经在各种实施例和配置中描述了视频装置，但是也能够使用其它类型的视觉呈现装置。能够采用发光二极管(LED)阵列、有机LED(OLED)、发光聚合物(LEP)、电磁、阴极射线、等离子体、机械或其它显示系统。可以采用多个发光机构。在实施例中，一个或更多发光元件可以发射各种照明图案或序列以帮助识别对象。本领域已知多种结构化照明模块。
能够采用虚拟现实、三维或其它类型的显示器。例如，用户能够佩戴成像护目镜或眼罩，使得他们浸没在生成的周围环境中。在这种方法中，所生成的显示能够与用户对其周围环境的感知对齐，以创建增强或加强现实。一个实施例可以允许用户与角色的图像交互。角色可以是计算机生成的、由人类演员扮演的等。角色能够对用户的动作和身体姿势做出反应。交互能够包括语音、对象的共同操纵等。
多个系统能够通过数字网络互连。例如，能够使用以太网、通用串行总线(USB)、IEEE 1394(火线)等。能够采用诸如802.11b等定义的无线通信链路。通过使用多个系统，不同地理位置的用户能够通过所生成的图像进行合作、竞争或以其它方式彼此交互。由两个或更多个系统生成的图像能够被“平铺”在一起，或以其它方式组合以产生聚集显示。
能够使用与光相反的其它类型的照明。例如，在其中待检测的对象(例如，金属对象)对这种波高度反射的情况下，能够有利地使用雷达信号、微波或其它电磁波。例如可以通过在空气或水中使用声波，使系统的各方面适应其它形式的检测。
虽然已经描述了接收和处理对象图像信号并产生显示信号的计算机系统，但是能够使用任何其它类型的处理系统。例如，能够采用不使用通用计算机的处理系统。使用基于定制或半定制电路或芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、多处理器、异步或任何类型的架构设计或方法的设计的处理系统都能够适用于本发明。
例如，如果用户在她的桌子上放置了名片，则装置将识别名片并向用户呈现与名片中包含的联系信息密切相关的选项，诸如保存、发电子邮件、呼叫、安排会面或设置提醒。保存将使用文本识别在相应软件中创建包含来自名片的信息的新联系人。在另一实施例中，装置还可以识别何时存在多个类似文档——例如，十个名片——并且呈现用于对该类似文档的集合执行批量功能的选项，例如全部保存。
在一个实施例中，装置通过将菜单项投影在所识别的对象附近来呈现选项，如图5所示。装置实时识别文档，使得移动文档将使相关的菜单项随之移动。该装置还可以跟踪和区分多个文档。如图5所示，所投影的括弧对A和B相应于不同的文档，每个文档都有自己相关的选项菜单。
为了执行功能，用户触摸菜单项。装置识别用户手部与菜单项何时接合并执行与所选菜单项相关联的功能。可能的功能包括将文档或对象的图像上载到Dropbox。当用户触摸“Dropbox”按钮时，如图5所示，装置将拍摄文档或对象的图片，并将该图片上传到用户的Dropbox帐户。应理解，Dropbox仅是用于存储、传输或共享数字文件的许多可用服务的示例，其还包括例如Box、Google Drive、Microsoft OneDrive和Amazon Cloud Drive。
在一个实施例中，如图7中的A所示，本发明能够识别物理文档上的文本和突出显示的单词。例如，阅读租约的用户可能想要查看词项“房东(landlord)”的每个示例。装置将发现所以每次在页面上出现词项“房东”时，装置都会发现并使用投影仪突出显示每个实例示例。在另一例证性实施例中，装置将可以访问文档的数字版本并且将靠近硬拷贝文档显示搜索词项——例如，“房东”——项的其它实例示例的页码——例如，“房东”——靠近硬拷贝文档以便于用户参考。在又另一实施例中，装置将在硬拷贝版本附近显示文档的替代版本以供用户参考，同时还突出显示硬拷贝文档、数字版本或两者中的改变。
装置还可以识别用户在硬拷贝文档上做出的标记，并解释这些标记以对文档的数字版本进行改变。这些标记能够包括文本编辑中常见的符号、用户编程的符号，或者为用户正在与之交互的特定程序创建的符号。例如，图形设计者可以使用某些符号将其转换为用于数字渲染的预选设计元素。
另一个例证性功能是共享。当用户触摸“SHARE(共享)”按钮时，装置将拍摄文档或对象的图像或视频，并经由所选服务例如通过将图像附加到电子邮件或其它消息服务、或者将图像发布到Facebook、Twitter、博客或其它社交媒体服务来共享图像或视频。装置还可以在不使用第三方服务的情况下并入共享特征。
在另一实施例中，本发明能够在两个或更多个用户之间提供交互式工作空间，允许他们通过在其它工作空间上表示来自一个用户的输入而在同一文档上进行协作。这种功能能够允许交互式演示、教学、设计或开发。例如，因为在两个装置之间实时传输笔划，练习书法的学生能够按照导师的指导。或者两位艺术家能够同时在共享文档上绘制草图。实施例可以利用通过预打印图案或其它装置专门准备的纸张以便于由装置识别。在整个过程中，装置能够维护用户交互的数字记录，维护版本历史以使用户查看随时间的变化或恢复到先前版本。
在另一实施例中，装置可以广播文档或工作空间的实况视频。例如，装置将广播或流作为独立菜单选项或共享菜单项下的二级选项呈现。然后，装置将捕捉文档或工作空间区域的实况视频。装置还将提供用于分发链接、邀请、或用于其它方加入和/或查看直播流的其它手段的选项。
为了进一步说明，会计师可能希望与客户远程审查税务文件。会计师将通过选择适当的菜单选项来启动实况流。装置将识别相关文档并广播该文档的视频。如果会计师想要审查多个文档，她能够为每个相关文档选择适当的共享或流式选项。装置能够由用户选择的同时或交替地呈现流式传输各种文档或对象的选项。
在另一实施例中，会计师能够“共享”或“流式传输”她的工作空间的一部分，这部分不同于任何单个文档或对象，但能够包括多个文档或对象。在这种情况下，用户可以从不与特定文档相关联的默认菜单中选择“共享”或“流式传输”。然后，装置将投影边界以向用户显示由相机捕捉的工作空间的区域以用于共享或流式传输目的。用户能够通过触摸和拖动投影边界来调整捕捉区域。用户还能够锁定捕捉区域以防止意外调整边界。为了说明，用户可以是想要展示准备膳食的厨师。装置可识别切菜板并提供共享或流式传输切菜板的选项，但厨师可能需要在切菜板区域外展示制备技术。厨师能够从工作空间菜单中选择共享或流式传输选项，并调整捕捉区域以包含工作空间的所有必要部分。这样，厨师能够同一捕捉帧中展示制作蔬菜的刀技和滚动面团的技术。
当捕捉边界未被锁定时，用户还可以通过在捕捉期间调整捕捉边界来从文档共享或流式传输转换为工作空间共享或流式传输。
在一个实施例中，装置可以识别出两个文档或对象基本相似并且提供比较选项作为菜单项。如果用户选择“比较”，则装置将使用文本识别来扫描文档，然后突出显示两者之间的差异。投影仪将描绘突出显示。可替选地，装置可以比较物理文档和基本相似的文档的数字版本。然后，装置将在如上所述的物理文档上或在数字文档上或两者上显示差异。装置能够通过将文档的图像投影到工作空间中的表面上，或者通过智能手机、平板计算机、膝上型、桌面型计算机、触摸屏监视器或链接到该装置的其它类似设备来显示数字文档。
在一个实施例中，装置可以针对拼写错误检查文档，并在文档的物理或数字版本上突出显示它们。装置还可以识别物理文档中的引用或互联网链接，并通过前面提到的投影仪或其它显示装置呈现所引用的材料。例如，名片可能包含到人的社交媒体帐户(例如，Linkedln)的链接。例如，在处理名片中所含的信息时，装置能够包含来自在线资源的其它联系信息，或者提供通过社交媒体帐户与这个人连接的选项。
在一个实施例中，装置可以识别对象并提供在数据库或因特网上搜索该对象的选项以及与该对象有关的信息。例如，装置可以通过各种特征来识别书籍，包括标题、作者、出版年份、版本或国际标准书号(ISBN)。利用该信息，装置能够在互联网上搜索这本书以允许用户购买这本书、阅读这本书的评论、查看引用这本书的文章，或者查看与这本书相关的作品。例如，如果用户正在查看食谱，则装置能够基于食谱中列出的配料为用户创建购物清单。装置还能够创建订单并将订单传送给零售商，以便能够将所需的配料递送给用户或由零售商打包以便提取。
在另一实施例中，装置可以识别诸如食品之类的对象。许多食品具有条形码或其它可区分的特征——诸如形状、颜色、尺寸等——其能够用于识别。当被部署在厨房中时，装置能够跟踪用户的杂货采购情况，以维护可用食物清单。可以通过使用该装置扫描杂货店收据来完成该特征。该特征还可以通过使用随着各种食品被从杂货袋中取出并放置在储存容器中而识别各种食品的装置来实现。然后，装置还能够随着食品被用于准备膳食而识别食品，从可用食物的数据库中移除那些食品。装置还可以访问关于新鲜度和腐败的信息，以提醒用户在它们变坏之前食用某些食物。装置可以基于可用的食物项和用户期望的其它参数来显示食谱。当用户正在烹饪时，装置可以提供指令或其它信息以帮助用户。装置还可以基于可用的食物和过去的购买行为为用户创建杂货清单。装置还可以根据用户请求订购某些食品以进行递送。
装置还可用于改善工作空间的人体工程学特性并实现与数字对象的更丰富的交互。例如，当装置正在显示如图4中的传统计算机接口时，装置可以调整投影图像以为用户创建最佳观看体验。装置还可以在用户的工作空间上显示通知。这能够部分地通过应用已知的或新颖的眼睛跟踪方法来实现。投影调整能够包括基本修改，例如基于用户与投影图像的接近度来增大或减小文本大小。更复杂的修改能够包括基于用户的视角以及投影仪和投影表面的取向来改变所投影图像的视角。还可以针对其它工作空间特性调整所投影的图像，例如周围区域的亮度、投影表面的反射率或投影表面的颜色——例如，影响所投影图像的可视性的因素。高级图像操纵能够为用户提供一个或更多3D对象的印象。
在一个实施例中，装置可通过各种电机、轨道、滑轮或其它装置控制其位置或取向。在这种实施例中，装置能够将自身定位成与移动用户保持视线一致，或者根据用户的位置或取向保持最佳投影图像特征。装置还可以移动以与超出用户的直接工作空间的对象交互，例如，搜索房间另一侧的书架。利用这种移动性，装置可用的工作空间能够显著地扩展到一个或多个视觉传感器的捕捉区域之外。
在另一实施例中，装置还可以根据用户期望的功能来调整一个或多个视觉传感器的捕捉区域。例如，如果用户想要装置在工作空间中搜索对象，则装置可以调整镜头或其它机构以捕捉和分析更宽的观看区域。如果初始广泛搜索不成功，则装置可以将工作空间划分为更小的区域并调整镜头或其它机构从而以更高分辨率搜索那些较小区域。类似地，用户可能想要对象的高分辨率图像。装置能够调整一个或多个视觉传感器的捕捉区域以提高或最大化图像分辨率。
在一个实施例中，装置可以识别与各种疾病或病痛相关的特征。例如，装置可以识别用户脸红并询问用户是否需要帮助。又例如，装置可以识别用户正在显示发红或其它迹象或晒伤，并且建议用户保护自己免于进一步暴露。又例如，装置可交叉参考先前的痣图像并向用户或用户的医生记录痣的大小或外观的变化。
在一个实施例中，装置可以使用本领域已知的计算机辅助设计软件识别例如以硬拷贝或数字格式的建筑的设计示意图。然后，装置可以使用投影仪或先前列举的其它显示技术在工作空间上以2D和/或3D格式表现设计和/或建筑模型。
在另一实施例中，处理能够在本地和远程计算装置之间划分。例如，服务器可以构建高分辨率密集3D模型，同时通过通信网络传输用户交互以操纵模型。模型的改变由服务计算并返回给用户装置。与此同时，在用户装置处，使用较少的处理能力和存储器本地构建模型的低分辨率版本，其用于呈现模型的实时视图以供用户查看。这使用户能够从本地处理器获得模型构造的视觉反馈，避免了网络延迟问题。
在另一实施例中，装置能够识别用户与一个或多个感知的2D或3D对象的交互。例如，先前列举的投影仪或其它显示技术能够为一个或多个用户创建3D建筑的图像。用户能够通过与感知对象的边界交互来操纵数字对象。装置将识别用户的手何时例如与数字对象的感知边缘相交，并根据用户的交互调整图像。例如，用户可以通过在两个点处与模型交互，然后将这两个点拖离彼此更远来放大建筑模型。其它交互能够修改底层数字对象——例如，使模型建筑更高或更矮。
在一个实施例中，装置可以跟踪用户同时参考的不同文档。例如，如果会计师审查客户的税务文件，则装置将因为它们在用户的工作空间中具有物理和时间上的接近度而将文档识别为相关的。然后，装置能够使用元数据、标签或类别来关联那些文档。设备的识别功能也可以采用其它相关标记——例如，类似名称或词项的出现。用户还可以根据对象的性质指示其它类型的相关性。
在一个实施例中，装置可以使用其识别功能来跟踪文档或其它对象的物理位置，以帮助用户稍后找到那些对象。例如，会计师可以参考包含客户税务文件的活页夹，其中包括前一年的W-2表格。当用户将活页夹放置在工作空间中的书架上时，装置可以跟踪文档和包含文档的活页夹的特征。之后，会计师可能想要再次引用该文档并且能够通过与投影菜单选项或先前列举的其它输入装置交互来查询装置以示出文档的位置。然后，装置能够使用投影仪突出显示适当的活页夹。装置还可以显示包含在活页夹中的文档的数字版本，以供用户查看而无需打开活页夹。装置还可以将一个或多个数字对象与物理对象相关联。在该实施例中，物理对象将充当相关数字对象的数字标签或文件夹。例如，装置可以将用户的首选报纸或新闻频道与一杯咖啡相关联，使得当用户坐在带有一杯咖啡的桌子旁时，装置检索新闻源并为用户显示。这种数字/物理关联也可能临时相关，因此如果用户在下午喝了一杯咖啡，则装置不会显示早间新闻。装置还可以跟踪频繁引用的文档，以基于参考频率和/或其它特征建议优化的数字和物理组织方案。
在实施例中，装置可以将来自数字环境的某些特征，例如来自经典桌面的程序窗口显示到诸如纸张之类的物理对象上，以扩展工作数字桌面空间并增强交互性。装置还将某些数字对象或文档不仅与物理对象，还与物理对象的特征相关联。例如，某些绘图、图像、注释或文本可以是关联元素，使用户能够快速或更容易地调用那些数字和物理对象。
在实施例中，装置还可以利用多个麦克风来检测用户与各种对象之间的交互。麦克风也可用于检测各种对象的位置。
装置还将允许通过语音命令进行交互，单独或与其它输入模式结合使用。装置还将允许开发人员和用户实现其它功能。
装置具有另一个优于计算机的明显优势：它还可用作工作灯。如图6所示，可以通过默认菜单项控制灯，其包括“Up(提高)”和“Down(减弱)”以调节灯的亮度。
虽然这里将装置作为灯呈现，但它可以采用其它形式或集成到其它对象中。例如，装置能够在汽车的乘客舱、仪表板、飞机座椅、天花板、墙壁、头盔或项链或其它可穿戴物体上或其中。
在一个实施例中，装置具有一个或多个视觉传感器、一个或多个投影仪、一个或多个音频传感器、处理器、数据存储组件、电源、光源和光源控制器。装置的一种可能的配置如图1-3中所示。
这些交互式显示系统能够包含额外的输入和输出，包括但不限于麦克风、触摸屏、键盘、鼠标、射频识别(RFID)标签、压力垫、蜂窝电话信号、个人数字助理(PDA)和扬声器。
这些交互式显示系统能够拼接在一起以创建单个更大的屏幕或交互区域。拼接或物理分离的屏幕也可以联网在一起，允许在一个屏幕上的动作影响另一个屏幕上的图像。
在例证性实施中，以集成或模块化方式使用控制逻辑形式的硬件和软件的组合来实现本发明。基于本文提供的公开和教导，本领域技术人员将了解实现本发明的其它方式和/或方法。
应明白，通过示例的方式引用了上述实施例，但本发明不限于上文特别示出和描述的内容，并且本领域技术人员将会根据本发明提出各种修改或改变，并且这些修改和改变被包含在本申请的精神和范围以及所附权利要求的范围内。本文引用的所有公开、专利和专利申请均出于所有目的而通过引用整体并入本文。本发明的范围包括上文描述的各种特征的组合和子组合，以及本领域技术人员在阅读前述描述时将想到的并且在现有技术中未公开的其变体和修改。

Claims (2)

1.一种计算机界面装置，包括：
计算机系统，所述计算机系统包括至少一个存储器组件和至少一个处理组件；
至少一个视觉传感器，所述至少一个视觉传感器从工作空间接收视觉信息；
至少一个照明装置，所述至少一个照明装置能够在所述工作空间内提供光，
至少一个显示装置，其中所述显示装置能够显示一个或多个数字对象；
其中，所述计算机系统使所述显示装置显示第一数字对象；
其中，所述计算机系统基于用户与所述第一数字对象的交互，调整经由所述照明装置在所述工作空间中提供的光的水平，
其中，所述计算机系统基于所述用户与所述第一数字对象的交互，使所述显示装置显示第二数字对象；
其中，所述计算机系统将第一物理对象识别为与所述工作空间不同；
其中，所述计算机系统使所述显示装置在所述第一物理对象附近显示第一关联的数字对象；
其中，当所述用户与所述第一关联的数字对象交互时，所述计算机系统基于关于所述第一物理对象的信息创建第二关联的数字对象；并且
其中，当所述用户与所述第一物理对象交互时，所述计算机系统调整所述第一和第二关联的数字对象。
2.一种计算机界面装置，包括：
计算机系统，所述计算机系统包括至少一个存储器组件和至少一个处理组件；
至少一个视觉传感器，所述至少一个视觉传感器从工作空间接收视觉信息；
至少一个显示装置，其中所述显示装置能够显示一个或多个数字对象；
其中，所述计算机系统使所述显示装置显示第一数字对象；
其中，所述计算机系统基于用户与所述第一数字对象的交互使所述显示装置显示第二数字对象；
其中，所述计算机系统将第一物理对象识别为与所述工作空间不同；
其中，所述计算机系统使所述显示装置在所述第一物理对象附近显示第一关联的数字对象；
其中，当所述用户与所述第一关联的数字对象交互时，所述计算机系统基于关于所述第一物理对象的信息创建第二关联的数字对象；
其中，当所述用户与所述第一物理对象交互时，所述计算机系统调整所述第一和第二关联的数字对象。
CN201780026401.6A 2016-02-29 2017-02-27 用于为计算机化系统提供用户界面并与虚拟环境交互的方法和设备 Pending CN109196577A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662301110P 2016-02-29 2016-02-29
US62/301,110 2016-02-29
PCT/US2017/019615 WO2017151476A1 (en) 2016-02-29 2017-02-27 Method and apparatus for providing user interfaces with computerized systems and interacting with a virtual environment

Publications (1)

Publication Number Publication Date
CN109196577A true CN109196577A (zh) 2019-01-11

Family

ID=59679505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780026401.6A Pending CN109196577A (zh) 2016-02-29 2017-02-27 用于为计算机化系统提供用户界面并与虚拟环境交互的方法和设备

Country Status (9)

Country Link
US (1) US20170249061A1 (zh)
EP (1) EP3424037A4 (zh)
JP (1) JP2019511049A (zh)
KR (1) KR20180123217A (zh)
CN (1) CN109196577A (zh)
AU (1) AU2017225662A1 (zh)
CA (1) CA3045008A1 (zh)
EA (1) EA201891955A1 (zh)
WO (1) WO2017151476A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158389B1 (en) 2012-10-15 2015-10-13 Tangible Play, Inc. Virtualization of tangible interface objects
JP2018128979A (ja) * 2017-02-10 2018-08-16 パナソニックＩｐマネジメント株式会社 厨房支援システム
JP6885319B2 (ja) * 2017-12-15 2021-06-16 京セラドキュメントソリューションズ株式会社 画像処理装置
US10839243B2 (en) 2018-10-11 2020-11-17 Bank Of America Corporation Image evaluation and dynamic cropping system
US10824856B2 (en) * 2018-10-11 2020-11-03 Bank Of America Corporation Item validation and image evaluation system
US10832050B2 (en) 2018-12-06 2020-11-10 Bank Of America Corporation Enhanced item validation and image evaluation system
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
JP7059452B1 (ja) 2019-04-03 2022-04-25 シグニファイ ホールディング ビー ヴィ 拡張及び／又は仮想現実環境における照明デザインの好みの決定
KR102306392B1 (ko) 2019-08-19 2021-09-30 한국과학기술연구원 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511148A (en) * 1993-04-30 1996-04-23 Xerox Corporation Interactive copying system
EP1085432A2 (en) * 1999-09-20 2001-03-21 NCR International, Inc. Information retrieval and display
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
US20090028392A1 (en) * 2007-07-23 2009-01-29 Sitaram Ramachandrula Document Comparison Method And Apparatus
CN101501614A (zh) * 2006-08-08 2009-08-05 微软公司 用于视觉显示器的虚拟控制器
CN102541448A (zh) * 2010-12-21 2012-07-04 微软公司 使用虚拟技术的人工交互验证
US20140176735A1 (en) * 2011-08-02 2014-06-26 David Bradley Short Portable projection capture device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086207B2 (en) * 2013-10-03 2021-08-10 Autodesk, Inc. Reflection-based target selection on large displays with zero latency feedback
US10134296B2 (en) * 2013-10-03 2018-11-20 Autodesk, Inc. Enhancing movement training with an augmented reality mirror

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511148A (en) * 1993-04-30 1996-04-23 Xerox Corporation Interactive copying system
EP1085432A2 (en) * 1999-09-20 2001-03-21 NCR International, Inc. Information retrieval and display
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
CN101501614A (zh) * 2006-08-08 2009-08-05 微软公司 用于视觉显示器的虚拟控制器
US20090028392A1 (en) * 2007-07-23 2009-01-29 Sitaram Ramachandrula Document Comparison Method And Apparatus
CN102541448A (zh) * 2010-12-21 2012-07-04 微软公司 使用虚拟技术的人工交互验证
US20140176735A1 (en) * 2011-08-02 2014-06-26 David Bradley Short Portable projection capture device

Also Published As

Publication number Publication date
US20170249061A1 (en) 2017-08-31
KR20180123217A (ko) 2018-11-15
AU2017225662A1 (en) 2018-10-25
CA3045008A1 (en) 2017-09-08
EP3424037A1 (en) 2019-01-09
EP3424037A4 (en) 2019-09-18
WO2017151476A1 (en) 2017-09-08
EA201891955A1 (ru) 2019-03-29
JP2019511049A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
US11402871B1 (en) Keyboard movement changes virtual display orientation
CN109196577A (zh) 用于为计算机化系统提供用户界面并与虚拟环境交互的方法和设备
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
WO2022170221A1 (en) Extended reality for productivity
Muhammad Nizam et al. A Scoping Review on Tangible and Spatial Awareness Interaction Technique in Mobile Augmented Reality‐Authoring Tool in Kitchen
US11922904B2 (en) Information processing apparatus and information processing method to control display of a content image
Ens et al. Shared façades: Surface-embedded layout management for ad hoc collaboration using head-worn displays
Franz et al. A virtual reality scene taxonomy: Identifying and designing accessible scene-viewing techniques
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
Cotting et al. Interactive visual workspaces with dynamic foveal areas and adaptive composite interfaces
James SimSense-Gestural Interaction Design for Information Exchange between Large Public Displays and Personal Mobile Devices
Tang et al. A Mirror That Reflects, Augments and Learns
채한주 Designing Physical-Object-Oriented Interactions in Augmented Reality
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
Wong Gesture based interactions for augmented virtual mirrors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190111