CN110168485A - 对物联网装置的增强现实控制 - Google Patents

对物联网装置的增强现实控制 Download PDF

Info

Publication number
CN110168485A
CN110168485A CN201880006097.3A CN201880006097A CN110168485A CN 110168485 A CN110168485 A CN 110168485A CN 201880006097 A CN201880006097 A CN 201880006097A CN 110168485 A CN110168485 A CN 110168485A
Authority
CN
China
Prior art keywords
electronic device
processor
transceiver
user
wearable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880006097.3A
Other languages
English (en)
Other versions
CN110168485B (zh
Inventor
夏兰·罗克福德
菲利普·哈斯科特
李晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110168485A publication Critical patent/CN110168485A/zh
Application granted granted Critical
Publication of CN110168485B publication Critical patent/CN110168485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及传感器网络、机器类型通信(MTC)、机对机(M2M)通信以及用于物联网(IoT)的技术。本公开可以应用于基于以上技术的智能服务，诸如智能家居、智能建筑、智能城市、智能汽车、联网汽车、医疗保健、数字教育、智能零售、安全和安全服务。可穿戴装置包括显示器、收发器和处理器。处理器配置成经由收发器检测可由可穿戴装置控制的装置。处理器还配置成基于检测到的装置生成与装置相关联的用户接口(UI)以供在显示器上显示。处理器基于UI来检测输入，并且基于检测到的输入经由收发器将信号发射到装置以控制装置。

Description

对物联网装置的增强现实控制
技术领域
本公开大致涉及使用远程装置来控制装置。更具体地，本公开涉及用于在远程装置上呈现增强现实显示以控制装置的方法和设备。
背景技术
作为人类在其中生成和消费信息的以人类为中心的连接性网络的互联网现在正演变成物联网(IoT)，其中诸如事物等分布式实体在没有人类干预的情况下交换和处理信息。已经出现作为通过与云服务器连接的IoT技术与大数据处理技术的组合的万物联网(IoE)。由于IoT实施需要诸如“感测技术”、“有线/无线通信和网络基础设施”、“服务接口技术”和“安全技术”等技术元素，因此，最近研究了传感器网络、机对机(M2M)通信、机器类型通信(MTC)等。
此类IoT环境可以提供智能互联网技术服务，所述服务通过收集和分析在连接的事物之中生成的数据来创造新价值。IoT可以通过现有信息技术(IT)与各种工业应用之间的衔接和组合来应用于多个领域，包括智能家居、智能楼宇、智能城市、智能汽车或联网汽车、智能电网、健康护理、智能家电和高级医疗服务。在IoT环境中控制IoT装置可能不是用户友好的。例如，用户可能难以在IoT环境中辨识IoT装置，难以连接到IoT装置，以及难以控制IoT装置。
发明内容
技术问题
本公开涉及传感器网络、机器类型通信(MTC)、机对机(M2M)通信以及用于物联网(IoT)的技术。本公开可以应用于基于以上技术的智能服务，诸如智能家居、智能建筑、智能城市、智能汽车、联网汽车、医疗保健、数字教育、智能零售、安全和安全服务。
问题的解决方案
在第一实施例中，显示器、收发器和处理器。处理器被配置成经由收发器检测可由电子装置控制的装置。处理器还被配置成基于接收到的关于装置的信息生成与装置相关联的用户接口(UI)以供在显示器上显示。处理器检测UI上的输入，并且基于检测到的输入经由收发器将信号发射到装置以控制装置。
在第二实施例中，一种装置包括存储器，该存储器被配置成存储用于控制装置的应用程序。装置还包括收发器，该收发器被配置成：在装置的信标被检测到之后从电子装置接收第一信号；响应于第一信号的接收将关于应用程序的信息发射到电子装置；以及从电子装置接收第二信号。装置还包括处理器，该处理器被配置成基于第二信号来控制装置的至少一个功能。
在第三实施例中，一种用于操作电子装置以控制装置的方法包括检测可由电子装置控制的装置。该方法还包括：基于接收到的关于装置的信息生成与装置相关联的用户接口(UI)以供在电子装置上显示；检测UI上的输入；以及基于检测到的输入将信号发射到装置以控制装置。
本领域技术人员可以从随附的附图、描述和权利要求书容易明白其他技术特征。
在做出以下具体实施方式之前，陈述贯穿本专利文献使用的某些词语和短语的定义可是有利的。术语“联接”及其派生词是指两个或更多个元件之间的任何直接或间接的通信，不管这些元件是否彼此物理接触。术语“发射”、“接收”和“传达”以及其派生词涵盖直接和间接通信两者。术语“包括”和“包含”以及其派生词意指包括但不限于。术语“或”为包括性的，意指和/或。短语“与......相关联”以及其派生词意指包括、包括在......内、与......互连、含有、被含在......内、连接到或与......连接、联接到或与......联接、可与......通信、与......协作、交错、并置、接近于、绑定到或与......绑定、具有、具有......的性质、与......具有关系或具有与......的关系等等。术语“控制器”意指控制至少一个操作的任何装置、系统或其部分。此类控制器可以用硬件或硬件与软件的组合和/或固件来实施。与任何具体控制器相关联的功能性可以为集中式或分布式的，无论本地还是远程。短语“......中的至少一者”在与项目列表一起使用时意指可以使用所列举的项目中的一者或多者的不同组合，并且可能需要所述列表中的仅一个项目。例如，“A、B和C中的至少一者”包括以下组合中的任一者：A、B、C、A和B、A和C、B和C、以及A、B和C。
此外，下文所描述的各种功能可以由一个或多个计算机程序实施或支持，所述计算机程序中的每一者从计算机可读程序代码形成并且在计算机可读介质中体现。术语“应用程序”和“程序”是指适于以合适的计算机可读程序代码实施的一个或多个计算机程序、软件部件、指令集、程序、函数、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机存取的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、压缩光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂态”计算机可读介质排除传输暂时电信号或其他信号的有线、无线、光学或其他通信链路。非暂态计算机可读介质包括可以永久地存储数据的介质以及可以存储并且稍后重写数据的介质，诸如可再写光盘或可擦除存储器装置。
在本专利文献中通篇提供对其他某些词语和短语的定义。本领域普通技术人员应理解，在许多(如果不是最多)实例中，此类定义适用于此类所定义的词语和短语的先前以及未来使用。
附图说明
为了更完整地理解本公开及其优点，现在参考结合附图的以下描述，在附图中：
图1说明了根据本公开的示例计算系统；
图2说明了根据本公开的计算系统中的示例装置；
图3说明了根据本公开的示例电子装置；
图4A说明了根据本发明的头戴式显示器(HMD)的立体图；
图4B说明了根据本公开的HMD中所示的示例视图；
图4C说明了根据本公开的示例系统图；以及
图5说明了根据本公开的用于使用HMD来控制IoT装置的方法的流程图。
具体实施方式
下文讨论的图1至图5以及用于在本专利文献中描述本公开的原理的各种实施例仅仅是说明性的，而不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的装置或系统中实施。
图1说明了根据本公开的示例计算系统100。图1中所示的计算系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用计算系统100的其他实施例。
如图1中所示，系统100包括网络102，该网络促进系统100中的各种部件之间的通信。例如，网络102可以在网络地址之间传达互联网协议(IP)分组、帧中继帧、异步传输模式(ATM)信元或其他信息。网络102可以包括一个或多个局域网(LAN)、城域网(MAN)、广域网(WAN)、全球网络(诸如，互联网)的全部或一部分、或者一个或多个位置处的(一个或多个)任何其他通信系统。
网络102促进电子装置104与各种物联网(IoT)装置106至114之间的通信。电子装置104可以是例如智能电话、可穿戴装置、头戴式显示器(HMD)或电视。每个电子装置104包括可以为一个或多个客户端装置提供计算服务的任何合适的计算或处理装置。每个电子装置104可以例如包括一个或多个处理装置、存储指令和数据的一个或多个存储器、以及促进通过网络102进行通信的一个或多个网络接口。
每个IoT装置106至114表示通过网络102与至少一个电子装置或(一个或多个)其他计算装置交互的任何合适的计算或处理装置。在该示例中，IoT装置106至114可以包括电子装置，根据本公开的各种实施例，该电子装置可以包括以下各项中的至少一者：例如，智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(电子书(e-book)阅读器)、台式PC、膝上型PC、上网本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频第3层(MP3)播放器、移动医疗装置、相机或可穿戴装置。根据各种实施例，可穿戴装置可包括以下各项中的至少一者：配饰类型(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣服集成类型(例如，电子服装)、装在身上类型(例如，皮肤垫或纹身)和生物可植入类型(例如，可植入电路)。
根据一些实施例，IoT装置106至114可以是家用电器。家用电器可以包括以下各项中的至少一者：例如，电视、数字视频光盘(DVD)播放器、音频、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、干衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，SAMSUNG HOMESYNCTM、APPLE或GOOGLE)、游戏控制台(例如，和)、电子词典、电子钥匙、便携式摄像机、电子相框等。
根据另一个实施例，IoT装置106至114可以包括以下各项中的至少一者：各种医疗装置(例如，各种便携式医疗测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)机和超声机)、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车载信息娱乐装置、船舶电子装置(例如，船舶导航装置和陀螺罗盘)、航空电子设备、安全装置、汽车头部单元(automotive head unit)、家庭或工业机器人、银行里的自动柜员机(ATM)、商店里的销售点(POS)、或者物联网装置(例如，灯泡、电表或煤气表、喷水器装置、火警警报器、恒温器、路灯、面包机、健身器材、热水水箱、加热器、锅炉等)。
根据一些实施例，IoT装置106至114可以包括以下各项中的至少一者：家具或建筑/结构的一部分、电子板、电子签名接收装置、投影仪以及各种类型的测量仪器(例如，水表、电表、煤气表、以及无线电波表)。在各种实施例中，电子装置可以是前述各种装置中的一者或多者的组合。根据一些实施例，电子装置还可以是柔性装置。此外，根据本公开的实施例的电子装置并不限于前述装置，并且可以包括根据技术的发展的新电子装置。
在该示例中，一些IoT装置108至114与网络102间接地通信。例如，IoT装置108至110经由一个或多个基站116进行通信，诸如蜂窝基站或eNodeB。而且，IoT装置112至114经由一个或多个无线接入点118(诸如，IEEE 802.11无线接入点)进行通信。另外，IoT装置108至114可以使用或任何短程通信协议直接与电子装置104通信。注意，这些仅用于说明，并且每个客户端装置可以直接与网络102通信，或者经由(一个或多个)任何合适的中间装置或网络与网络102间接地通信。
如下文更详细描述的，电子装置104向用户呈现增强的显示以便控制IoT装置106至114中的一者或多者。
虽然图1说明了计算系统100的一个示例，但可以对图1做出各种改变。例如，系统100可以包括呈任何合适布置的任何数量的每个部件。一般来说，计算和通信系统呈广泛多种配置，并且图1不将本公开的范围限于任何特定配置。尽管图1说明了可以使用本专利文献中公开的各种特征的一个操作环境，但是这些特征可以用于任何其他合适的系统中。
图2和图3说明了根据本公开的计算系统中的示例装置。特别地，
图2说明了示例IoT装置200，并且图3说明了示例电子装置300。IoT装置200可以表示图1中的IoT装置104至114，并且电子装置300可以表示图1中的电子装置104。
如图2中所示，IoT装置200包括总线系统205，该总线系统支持至少一个处理器210、至少一个存储装置215和至少一个通信单元220之间的通信。
处理器210执行可以加载到存储器230中的指令。处理器210可以包括呈任何合适布置的任何合适数量和类型的处理器或其他装置。处理器210的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器230和永久性存储装置235是表示能够存储信息和促进信息检索(诸如，在暂时或永久的基础上的数据、程序代码和/或其他合适的信息)的任何结构的存储装置215的示例。存储器230可以表示随机存取存储器或(一个或多个)任何其他合适的易失性或非易失性存储装置。永久性存储装置235可以含有支持长期存储数据的一个或多个部件或装置，诸如只读存储器、硬盘驱动器、快闪存储器或光盘。存储器230在其上存储用于控制IoT装置200的一个或多个功能的应用程序。
通信单元220支持与其他系统或装置的通信。例如，通信单元220可以包括促进通过网络102的通信的网络接口卡或无线收发器。通信单元220可以支持通过(一个或多个)任何合适的物理或无线通信链路的通信。
在一些实施例中，IoT装置200可以包括I/O单元225，该I/O单元允许输入和输出数据。例如，I/O单元225可以通过键盘、鼠标、小键盘、触摸屏或其他合适的输入装置提供用于用户输入的连接。I/O单元225还可以将输出发送到显示器、打印机或其他合适的输出装置。
信标240向另一个装置(诸如，UE 300)提供IoT装置200存在的指示。信标可以包括射频识别(RFID)装置、红外信标发射装置、低功耗(BLE)信标或其他短程通信方法，以向电子装置300发信号通知IoT装置200是在距电子装置300的预定范围内。在其他实施例中，信标240可以是通信单元220的一部分。例如，通信单元220可以发出信标信号以指示IoT装置200是存在的，例如，使用 或任何短程通信协议。
如下文更详细描述的，IoT装置200可以由电子装置300控制以执行一个或多个功能。IoT装置200可以在第一通信会话期间将与IoT装置200相关联的应用程序或其他数据发射到电子装置300。此后，在检测到IoT装置200时，当用户期望控制IoT装置200时，电子装置300可以执行先前发射的应用程序。
IoT装置200可以是可由电子装置300在三维(3D)空间中跟踪的。IoT装置200可以使用信标240来通告其存在。当被电子装置300发现时，IoT装置200还提供与IoT装置200相关联的软件，并且可以将IoT装置200的虚拟控制面板和/或相关联的数据格式发射到电子装置300。数据可以经由或任何其他短程通信方法来发射。在一些实施例中，IoT装置200可以将统一资源标识符(URI)发射到电子装置300，该URI可以提供用于下载虚拟控制面板和/或相关联的数据的源。IoT装置200可以以指定的格式对从电子装置300接收的数据起作用(直接地或间接地)。
在IoT装置200附近内的任何用户都可以配置IoT装置200。在一些实施例中，将仅允许已注册的电子装置300访问IoT装置200的控制功能。可以对IoT装置200和电子装置300之间的通信进行加密。IoT装置200的固件可以由电子装置300来更新。
虽然图2说明了IoT装置200的一个示例，但可以对图2做出各种改变。例如，IoT装置200可以包括图2中所示的任何数量的每个部件。
图3说明了根据本公开的示例电子装置300。图3中所说明的电子装置300的实施例仅用于说明目的，并且图1的电子装置104可以具有相同或类似的配置。然而，电子装置呈广泛多种配置，并且图3不将本公开的范围限于电子装置的任何特定实施方式。在本公开的一个或多个实施例中，电子装置300可以由电视或HMD代替。
如图3中所示，电子装置300包括通信单元310。通信单元310可以包括例如RF收发器、蓝牙收发器或WiFi收发器。移动装置300还可以包括发射(TX)处理电路315、麦克风320和接收(RX)处理电路325。UE 300还包括扬声器330、处理器340、输入/输出(I/O)接口(IF)345、输入端350、显示器355和存储器360。存储器360包括操作系统(OS)程序361以及一个或多个应用程序362。
“通信单元310”可以接收传入的RF信号，诸如例如蓝牙信号或WiFi信号。“通信单元310”可以对传入的RF信号进行下变频转换，以生成中频(IF)或基带信号。IF或基带信号被发送到RX处理电路325，该RX处理电路通过对基带或IF信号进行滤波、解码和/或数字化来生成经处理的基带信号。RX处理电路325将经处理的基带信号发射到扬声器330(诸如，针对语音数据)或发射到处理器340以进行进一步处理(诸如，针对网络浏览数据)。
TX处理电路315接收来自麦克风320的模拟或数字语音数据或者来自处理器340的其他传出的基带数据(诸如，网络数据、电子邮件或交互式视频游戏数据)。TX处理电路315对传出的基带数据进行编码、多路复用和/或数字化，以生成经处理的基带或IF信号。通信单元310接收来自TX处理电路315的传出的经处理的基带或IF信号，并将所述基带或IF信号上变频转换为经由天线305发射的RF信号。
处理器340可以包括一个或多个处理器或其他处理装置，并且执行存储在存储器360中的基本OS程序361以便控制电子装置300的总体操作。例如，处理器340可以根据众所周知的原理控制通信单元310、RX处理电路325和TX处理电路315的前向信道信号接收和反向信道信号发射。在一些实施例中，处理器340包括至少一个微处理器或微控制器。
处理器340还能够执行驻留在存储器360中的其他进程和程序。处理器340可以根据执行进程的需要而将数据移进或移出存储器360。在一些实施例中，处理器340被配置成基于OS程序361或响应于从eNB或操作者接收到的信号来执行应用程序362。处理器340还联接到I/O接口345，该I/O接口向UE 300提供连接到其他装置(诸如，膝上型计算机和手持式计算机)的能力。I/O接口345是这些附件与处理器340之间的通信路径。
处理器340还联接到输入端350和显示器355。电子装置300的操作者可以使用输入端350(例如，小键盘、触摸屏、按钮等)将数据输入到电子装置300中。显示器355可以是液晶显示器、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)、透明或不透明显示器(诸如，一对增强现实眼镜上的一个或多个镜片，其中一个或多个图像可以投射到所述镜片上或者使用所述镜片显示)、或者能够渲染文本和/或至少有限图形(诸如，来自网站)的其他显示器。在一个实施例中，输入端350是触摸屏。触摸屏可以包括触摸面板、(数字)笔传感器、键或超声输入装置。触摸屏可以辨识例如电容方案、压敏方案、红外方案或超声方案之中的至少一种方案中的触摸输入。触摸屏还可以包括控制电路。在电容方案中，触摸屏可以辨识触摸或接近度。
存储器360联接到处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一个部分可以包括快闪存储器或其他只读存储器(ROM)。
电子装置300还可以包括一个或多个传感器370，所述传感器可以计量物理量或检测电子装置300的激活状态，并且将经计量或检测到的信息转换为电信号。例如，传感器370可以包括用于触摸输入的一个或多个按钮(例如，在耳机或电子装置300上)、一个或多个相机380、姿势传感器、眼睛跟踪传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、握持传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度/湿度传感器、照明传感器、紫外(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声波传感器、虹膜传感器、指纹传感器等。(一个或多个)传感器370还可以包括用于控制其中所包括的传感器中的至少一者的控制电路。如下文将更详细讨论的，这些传感器370中的一者或多者可以用于控制UI、检测UI输入、确定用户的定向和面向方向以进行3D内容显示识别等。这些传感器370中的任何一个可以位于电子装置300内，位于被配置成保持电子装置300的耳机内，或者位于耳机和电子装置300两者内(例如，在电子装置300包括耳机的实施例中)。
电子装置300还可以包括一个或多个相机380。相机380可以是红绿蓝(RGB)相机或红外相机。如下文将讨论的，相机380可以用于跟踪一个或多个IoT装置、跟踪用户的眼睛以执行功能、或者跟踪手部和/或手指姿势。为了跟踪用户的眼睛，相机380可以相对于电子装置300面向内部以捕获用户头部的一部分。为了跟踪一个或多个IoT装置或手部和/或手指姿势，相机380可以相对于电子装置300面向外部。
电子装置300使用计算机视觉(CV)和/或信标240和相机380在3D物理空间中定位和跟踪IoT装置200。电子装置300在表示IoT装置200的增强现实(AR)空间中创建3D模型，因此如果需要，该3D模型可以附接到附加的虚拟内容。电子装置300还跟踪与IoT装置虚拟控制面板(图4B)相关联的所有用户输入，处理这些输入，并且实时更新电子装置300的视图。
虽然图3说明了电子装置300的一个示例，但可以对图3做出各种改变。例如，图3中的各种部件可以被组合、进一步细分或者省略，并且可以根据特定需要添加附加的部件。作为特定示例，处理器340可以被划分成多个处理器，诸如一个或多个中央处理单元(CPU)以及一个或多个图形处理单元(GPU)。
图4A说明了说明根据本公开的实施例的HMD 400的立体图，该HMD可以包括电子装置401和电子装置402。HMD 400说明了可以与本公开的实施例一起使用的电子装置300的一个示例。在其他实施例中，电子装置300可以是一对增强现实眼镜或具有集成的显示器和部件的HMD。
电子装置401可以包括显示器。电子装置401可以存储虚拟现实应用程序。例如，电子装置401可以是电子装置300，并且包括电子装置300的所有特征，诸如传感器370以及面向内部和外部的相机380。虚拟现实应用程序可以是可以向用户提供类似于实际现实的显示的应用程序。根据实施例，虚拟现实应用程序可以基于立体方案来显示与用户的每个眼睛对应的左眼图像和右眼图像。
电子装置402可以是头戴式影院(HMT)装置。即使用户移动，HMT装置也可以安装在用户头部上并固定到用户头部。此外，HMT装置还可以固定电子装置401，以及因此用户可以观看在电子装置401上显示的图像。
根据实施例的电子装置402可以包括：壳体450，其被提供为佩戴在用户头部上；遮光部分430，其固定到壳体并提供在与用户眼睛的位置对应的区域处；以及至少一个输入按钮421，其提供在壳体450的一个区域处。电子装置402可以包括输入板425，该输入板可以接收来自用户的输入，诸如挥击、轻击或由用户执行的其他输入。
遮光部分430提供密封以抵抗外部光进入用户眼睛与电子装置410之间的空间。因此，用户可以将用户的眼睛定位成与遮光部分430紧密贴合，以及因此，用户可以通过从电子装置401提供的虚拟现实应用程序观看图像而不受来自外部光的任何干扰。
电子装置401可以联接到电子装置402。电子装置401可以通过有线或无线地连接到电子装置402。例如，尽管电子装置401可以基于USB连接而连接到电子装置402。前述仅仅是示例，并且本领域技术人员可以容易地理解，如果通过连接可以在两个装置401和402之间进行数据发射/接收，则对该连接没有限制。根据另一个实施例，电子装置401可以直接地联接到电子装置402而不使用有线或无线连接。
图4B说明了根据本公开的HMD中所示的示例视图。如图4B中所示，AR视图460包括IoT装置200的3D模型462和虚拟控制面板464。虚拟控制面板464包括用于控制IoT装置200的至少一个功能的至少一个控制按钮。用户可以经由手部和/或手指姿势、眼睛跟踪或使用输入板425输入命令来控制虚拟控制面板464。作为示例，用户可以用他们的手指轻击虚拟控制面板464的某个部分或IoT装置200自身的虚拟表示。在一些实施例中，用户可以做出将致使一组指令被发射到IoT装置200的手部姿势。
IoT装置的虚拟控制面板464可以是呈3D的，并且不必是静态的。换句话说，可以将内容滚动/制成动画到虚拟控制面板464或IoT装置200自身的可见表面上。用户可以伸出手(reach out)并与虚拟控制面板464交互。虚拟控制面板464可以是可定制的或可重新配置的，这取决于相应的IoT装置200。虚拟控制面板464可以一次管理多个IoT装置。例如，同时或按特定顺序打开或关闭给定房间中的所有窗户。
电子装置300可以具有允许将IoT装置用于不同目的的应用程序。例如，一个应用程序可以通过从每个遮阳窗帘IoT装置接收温度数据来创建房间温度的3D可视化。用户可以设定偏好，并且应用程序将驱动遮阳窗帘IoT装置来实施它们。另一个应用程序可以基于来自遮阳窗帘IoT装置的数据显示房间的亮度，并且允许用户设定偏好以及然后使用遮阳窗帘IoT装置来调节房间的亮度。
在一些实施例中，电子装置300用户将不总是具有在其视野(FOV)中的IoT装置200。当IoT装置200自身不可见时，用户可能仍希望与虚拟控制面板464交互，这可包括接收来自IoT装置200的通知。
在一些实施例中，IoT装置200不必是虚拟控制面板464的物理锚点。例如，用户可以选择任何物理或虚拟对象来充当IoT装置200的物理标记。例如，使用IoT遮阳控制装置作为示例，IoT遮阳控制UI可以绑定到在电子装置300上存储和执行的虚拟现实3D天气微件。当用户选择VR 3D天气图标时(例如，使用眼睛跟踪)，用户获得与IoT遮阳控制UI交互的选项。在其他实施例中，当用户注视特定的物理壁灯开关时，用户获得与IoT遮阳控制UI交互的选项。
图4C说明了根据本公开的示例系统图。如图4C中所示，电子装置401上的IoT控制器应用程序472与IoT装置200通信。IoT控制器应用程序472还可以与互联网上的IoT控制器源476通信，以接收虚拟控制面板464以及与IoT装置200相关联的其他信息。向IoT控制器应用程序472提供输入474以控制IoT装置200。输入472可以是用户输入或者来自电子装置401上的另一个应用程序的输入。
图5说明了根据本公开的用于使用HMD来控制IoT装置的示例性方法500的流程图。将参考图2的IoT装置200和图3的电子装置300来讨论方法500。
如图5中所示，方法500开始于操作502中，在该操作中电子装置300使用信标240检测IoT装置200。如上文所讨论的，信标可以是RFID或其他短程通信，其发射可以由电子装置检测到的信号。在检测到信号时，可以建立安全的信道。每个IoT装置200可以具有唯一标识符，该唯一标识符将被发射到IoT控制器应用程序472以区分IoT装置200。唯一标识符可以是物理标记，诸如QR码或基于IoT装置200的唯一标识符的特定的红外信标发射脉冲模式。
在其他实施例中，信标可以是可以由相机380检测到的红外信标。一旦检测到IoT装置200，电子装置300就在操作504中发射发现信号。
在从电子装置300接收到发现信号之后，在操作506中，IoT装置200将包括数据的信号发射到电子装置300。数据可以包括虚拟控制面板464、电子装置300可以能够下载虚拟控制面板464的统一资源标识符(URI)的链接、IoT装置200的配置数据、关于可以由虚拟控制面板464控制的附加IoT装置的信息、以及与IoT装置200相关联的其他信息。
在操作508中，电子装置300使用至少一个相机380来检测3D空间中的IoT装置200。可以使用计算机视觉方法、信标240、在电子装置300与IoT装置200之间发射的信号的定时、距离传感器(诸如，超声换能器)等中的一者或多者来执行对3D空间中的IoT装置200的检测。例如，一种在3D空间中进行跟踪的方法可以包括与IoT装置200通信以控制IoT装置200上的一个或多个发射器(emitter)(例如，LED)。电子装置300可以包括用于所述发射器的接收器(例如，相机380)，并且通过改变来自IoT装置200(该IoT装置可以由电子装置300控制)上的发射器的信号来消除误报。电子装置300经由其接收器来检测发射器，以及因此定位IoT装置200。
在操作510中，如果IoT装置200在视野内，则电子装置300借助于IoT装置200的3D模型462来显示虚拟控制面板464或将虚拟控制面板464显示在IoT装置200的附近。电子装置300可以将虚拟控制面板464显示为与IoT装置200的3D模型462或IoT装置200自身相邻，使得用户可以直观地将虚拟控制面板464与IoT装置200相关联，如图4B中所示。在一些实施例中，例如，当IoT装置200不在电子装置300的视野内时，电子装置300可以显示虚拟控制面板464而不显示IoT装置200的3D模型462。
在操作512中，电子装置300检测用户是否移动电子装置300。如果电子装置300检测到移动，则电子装置300在操作514中基于用户的移动来显示虚拟控制面板464。例如，如果电子装置300是HMD 400的一部分，则用户可以转动或倾斜用户的头部，从而导致IoT装置200移动到视野内。电子装置300可以使用传感器370中的一者(诸如，加速度计)来检测该移动，以确定移动的程度。然后，处理器340将移动的程度与3D模型462和/或虚拟控制面板464的新显示位置相关联。在一些实施例中，虚拟控制面板不绑定到视野内的特定IoT装置200或装置的3D模型462。因此，当电子装置300检测到移动时，虚拟控制面板464停留在电子装置300的显示器上的同一位置中。
如果未检测到移动，则方法500进行到操作516，在该操作中检测到用户输入。该输入可以基于可以由相机380捕获的手部姿势、手指姿势或眼睛移动来执行。在一些实施例中，该输入可以使用输入板425来输入。基于该输入，电子装置300在操作518中将控制信号发射到IoT装置200以控制IoT装置200的至少一个功能。
本文中所描述的实施例可以简化用户对IoT装置的体验。例如，在登记入住酒店后，用户可以穿戴电子装置300走到他们的酒店房间。房间门可以基于先前存储在电子装置300中的虚拟钥匙来解锁或打开。酒店房间可以包括房间中的许多智能IOT装置(例如，遮阳窗帘、AC、灯控制器)。电子装置300广播一段虚拟门秘钥以期在房间中找到IOT装置。房间中的智能IOT装置向电子装置300通知它们的存在。智能IoT装置可以被配置成是仅基于经由BT或RFID/NFC向他们广播的特定秘钥才可发现的。当用户安顿下来时，当在电子装置300视野内(经由CV)找到智能IOT装置时，叠加突出显示找到的智能IoT装置。如果用户选择该装置，则相关联的虚拟控制面板将显示在电子装置300的显示器上。然后，用户可以设定他们的偏好，例如他们想要什么样的A/C温度以及在哪些时间段期间。在一些实施例中，当用户设定唤醒警报时，电子装置300可以触发窗帘应用程序以逐渐打开物理遮阳窗帘。这些设定可以在其他兼容的智能IoT装置上重复使用。
在另一个示例中，IoT装置200可以是冰箱。当用户注视冰箱时，电子装置300在冰箱门外侧上叠加UI。UI可以显示冰箱的内容并提供关于缺乏或过期的项目的指示。此类信息可以与其他应用程序(如亚马逊生鲜)一起存储和使用，以帮助用户了解要订购的东西。UI自身本质上可以是3D的，并且模仿实际冰箱的内容。当用户移动时，看起来他们正在从不同角度注视半透明的UI内容。这将准许用户不打开冰箱就看到里面的东西，并且用户还可以从房间的另一侧或不同的房间检查冰箱。
根据本公开，一种可穿戴装置可以包含：显示器；以及联接到显示器和收发器的处理器，该处理器被配置成：检测可由可穿戴装置控制的装置；基于检测到的装置生成与装置相关联的用户接口(UI)以供在显示器上显示；基于UI来检测输入；以及基于检测到的输入将信号发射到装置以控制装置。
另外，可穿戴装置可以是头戴式显示器的至少一部分。
另外，处理器被配置成生成增强现实视图，该增强现实视图包含装置的真实世界视图和与装置相关联的UI。
另外，收发器被配置成当可穿戴装置检测到装置时将发现信号发射到装置。
另外，收发器可以从装置接收信息以生成UI，该信息包括以下中的至少一者：具有用于装置的至少一个控制按钮的虚拟控制面板、统一资源指示符或与装置相关联的配置数据。
另外，可穿戴装置可以包含被配置成检测输入的传感器，并且传感器可以包含被配置成检测用户的姿势作为输入的面向外部的相机。传感器可以包含被配置成检测用户眼睛的移动作为输入的面向内部的相机。
另外，可穿戴装置是头戴式显示器(HMD)的至少一部分，并且传感器被配置成在用户穿戴HMD时检测HMD的物理移动。
另外，处理器被配置成利用装置的三维模型或利用装置来显示UI。
另外，处理器被配置成响应于检测到的HMD的物理移动来修改UI的显示。
根据本公开的方面，一种装置可以包含：存储器，其被配置成存储用于控制装置的应用程序；收发器；以及操作地联接到存储器和收发器的处理器，该处理器被配置成：在电子装置检测到装置之后，经由收发器从电子装置接收第一信号；响应于第一信号的接收，经由收发器将关于应用程序的信息发射到电子装置；经由收发器从电子装置接收第二信号；以及基于第二信号来控制装置的至少一个功能。
另外，装置还可以包含信标，该信标被配置成准许检测装置。
另外，信标可以是红外信标或射频识别(RFID)装置。
另外，收发器可以被配置成从电子装置接收更新。
根据本公开的另一个方面，一种用于操作可穿戴装置以控制装置的方法可以包含：检测可由可穿戴装置控制的装置；基于检测到的装置生成与装置相关联的用户接口(UI)以供在可穿戴装置上显示；基于UI来检测输入；以及基于检测到的输入将信号发射到装置以控制装置。
另外，输入是手部姿势、手指移动或眼睛移动。
另外，该方法还可以包含检测装置的信标。
另外，该方法还可以包含：当检测到装置时，将发现信号发射到装置。
另外，该方法还可以包含：检测可穿戴装置的移动；以及基于可穿戴装置的移动来显示UI。
本申请中的描述均不应被理解为暗示任何特定元件、步骤或函数是必须包括在权利要求书范围中的必要元素。专利主题的范围仅由权利要求书界定。此外，权利要求均不意在援引与功能性权利要求有关的代码，除非分词跟随确切词语“用于......的器件”。任何其他术语(包括但不限于，“机构”、“模块”、“装置”、“单元”、“部件”、“元件”、“构件”、“设备”、“机器”、“系统”、“处理器”、或“控制器”)在权利要求内的使用由申请人理解为是指相关技术领域的技术人员所理解的结构，并且不意在援引与功能性权利要求有关的代码。
虽然已经利用示例性实施例描述了本公开，但可以向本领域技术人员建议各种改变和修改。本公开意图涵盖落入所附权利要求书范围内的此类改变和修改。

Claims (15)

1.一种可穿戴装置，包括：
收发器；
显示器；以及
处理器，联接到所述显示器和所述收发器，所述处理器配置成：
检测能够由所述可穿戴装置控制的装置；
基于所检测到的装置生成与所述装置相关联的用户接口UI以显示在所述显示器上；
基于所述UI来检测输入；以及
基于所检测到的输入将信号发射到所述装置以控制所述装置。
2.根据权利要求1所述的可穿戴装置，其中，所述可穿戴装置是头戴式显示器HMD的至少一部分。
3.根据权利要求1所述的可穿戴装置，其中，所述处理器配置成生成增强现实视图，所述增强现实视图包括所述装置的真实世界视图和与所述装置相关联的所述UI。
4.根据权利要求3所述的可穿戴装置，其中，所述收发器配置成当所述可穿戴装置检测到所述装置时将发现信号发射到所述装置。
5.根据权利要求3所述的可穿戴装置，其中，所述收发器从所述装置接收信息以生成所述UI，所述信息包括以下中的至少一者：具有用于所述装置的至少一个控制按钮的虚拟控制面板、统一资源指示符或与所述装置相关联的配置数据。
6.根据权利要求1所述的可穿戴装置，还包括被配置成检测所述输入的传感器。
7.根据权利要求6所述的可穿戴装置，其中，所述传感器包括被配置成检测以下各项中的至少一者作为所述输入的面向外部的相机：用户的姿势、所述用户的手部姿势、所述用户的手指移动、所述用户的眼睛的移动、或者当所述用户穿戴所述可穿戴装置时所述可穿戴装置的物理移动。
8.根据权利要求6所述的可穿戴装置，其中，所述处理器配置成利用所述装置的三维模型或利用所述装置来显示所述UI。
9.根据权利要求6所述的可穿戴装置，其中，所述处理器配置成响应于所检测到的所述头戴式显示器HMD的物理移动来修改所述UI的显示。
10.一种装置，包括：
存储器，配置成存储用于控制所述装置的应用程序；
收发器；以及
处理器，联接到所述存储器和所述收发器，所述处理器配置成：
在电子装置检测到所述装置之后，经由所述收发器从所述电子装置接收第一信号；
响应于接收到所述第一信号，经由所述收发器将关于所述应用程序的信息发射到所述电子装置；
经由所述收发器从所述电子装置接收第二信号；以及
基于所述第二信号来控制所述装置的至少一个功能。
11.根据权利要求10所述的装置，还包括信标，所述信标被配置成准许检测到所述装置。
12.根据权利要求10所述的装置，其中，所述信标是红外信标或射频识别RFID装置。
13.根据权利要求10所述的装置，其中，所述收发器配置成从所述电子装置接收更新。
14.一种用于操作可穿戴装置以控制装置的方法，所述方法包括：
检测能够由所述可穿戴装置控制的装置；
基于所检测到的装置生成与所述装置相关联的用户接口UI以在所述可穿戴装置上显示；
基于所述UI检测输入；以及
基于所检测到的输入将信号发射到所述装置以控制所述装置。
15.根据权利要求14所述的方法，还包括：
检测所述可穿戴装置的移动；以及
基于所述可穿戴装置的移动来显示所述UI。
CN201880006097.3A 2017-01-06 2018-01-05 对物联网装置的增强现实控制 Active CN110168485B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/400,827 2017-01-06
US15/400,827 US10437343B2 (en) 2017-01-06 2017-01-06 Augmented reality control of internet of things devices
PCT/KR2018/000292 WO2018128475A1 (en) 2017-01-06 2018-01-05 Augmented reality control of internet of things devices

Publications (2)

Publication Number Publication Date
CN110168485A true CN110168485A (zh) 2019-08-23
CN110168485B CN110168485B (zh) 2023-04-25

Family

ID=62783079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880006097.3A Active CN110168485B (zh) 2017-01-06 2018-01-05 对物联网装置的增强现实控制

Country Status (4)

Country Link
US (1) US10437343B2 (zh)
EP (1) EP3549004B1 (zh)
CN (1) CN110168485B (zh)
WO (1) WO2018128475A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12055414B2 (en) 2015-02-16 2024-08-06 Northwest Instrument Inc. Ranging system and ranging method
CN110800314B (zh) * 2017-04-28 2022-02-11 株式会社OPTiM 计算机系统、远程操作通知方法以及记录介质
US10546428B2 (en) * 2018-02-13 2020-01-28 Lenovo (Singapore) Pte. Ltd. Augmented reality aspect indication for electronic device
CN109144251A (zh) * 2018-07-31 2019-01-04 长沙拓扑陆川新材料科技有限公司 一种网络互连的可穿戴设备
US20210357484A1 (en) * 2018-08-13 2021-11-18 Hewlett-Packard Development Company, L.P. Authentication in virtual environments
US10854007B2 (en) 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
KR20200080047A (ko) 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
US20200411161A1 (en) * 2019-06-25 2020-12-31 L'oreal User signaling through a personal care device
US10901689B1 (en) 2019-07-11 2021-01-26 International Business Machines Corporation Dynamic augmented reality interface creation
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
EP3970817A1 (en) * 2020-09-17 2022-03-23 XRSpace CO., LTD. Head mounted display and control method thereof
US20220198405A1 (en) * 2020-12-22 2022-06-23 Walt L. Pfeifer Apparatus, system and method for building system diagnostics
US11924209B2 (en) * 2021-04-28 2024-03-05 International Business Machines Corporation Augmented reality-based access control for network devices
CN114116110A (zh) * 2021-07-20 2022-03-01 上海诺司纬光电仪器有限公司 基于增强现实的智能界面
US11635808B2 (en) * 2021-08-12 2023-04-25 International Business Machines Corporation Rendering information in a gaze tracking device on controllable devices in a field of view to remotely control
US11809680B2 (en) * 2021-12-30 2023-11-07 Snap Inc. Interface for engaging IoT devices with AR camera
US12100110B2 (en) 2022-06-15 2024-09-24 Snap Inc. AR system for providing interactive experiences in smart spaces
US12019838B2 (en) * 2022-06-15 2024-06-25 Snap Inc. Standardized AR interfaces for IOT devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
CN104281255A (zh) * 2013-07-08 2015-01-14 Lg电子株式会社 可穿戴设备及其控制方法
CN104714414A (zh) * 2015-03-25 2015-06-17 小米科技有限责任公司 智能家居设备的控制方法及装置、电子设备

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7107010B2 (en) * 2003-04-16 2006-09-12 Nokia Corporation Short-range radio terminal adapted for data streaming and real time services
WO2005093493A1 (ja) 2004-03-29 2005-10-06 Sony Corporation 光学装置及び虚像表示装置
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
US10511950B2 (en) * 2006-05-16 2019-12-17 RedSky Technologies, Inc. Method and system for an emergency location information service (E-LIS) for Internet of Things (IoT) devices
KR100833242B1 (ko) 2006-09-27 2008-05-28 삼성전자주식회사 고개구수를 가지는 대물렌즈 및 이를 채용한 광픽업장치
US7649456B2 (en) * 2007-01-26 2010-01-19 Sony Ericsson Mobile Communications Ab User interface for an electronic device used as a home controller
EP2294872B1 (en) * 2008-06-30 2012-02-08 Telecom Italia S.p.A. System and method for automatically switching connection of a wireless interface
US8717360B2 (en) 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8970625B2 (en) 2010-12-22 2015-03-03 Zspace, Inc. Three-dimensional tracking of a user control device in a volume
US10069781B2 (en) * 2015-09-29 2018-09-04 Theatro Labs, Inc. Observation platform using structured communications with external devices and systems
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US20120258741A1 (en) * 2011-04-07 2012-10-11 Compass Auto Tracker, Llc. Apparatus and Method for Using a Wireless Mobile Handset Application to Locate Beacons
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9222771B2 (en) * 2011-10-17 2015-12-29 Kla-Tencor Corp. Acquisition of information for a construction site
US9106903B2 (en) 2011-11-18 2015-08-11 Zspace, Inc. Head tracking eyewear system
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9152226B2 (en) 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US9829996B2 (en) 2012-06-25 2017-11-28 Zspace, Inc. Operations in a three dimensional display system
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
JP6025435B2 (ja) 2012-07-20 2016-11-16 キヤノン株式会社 画像形成装置、情報処理装置及びその制御方法
US20150193977A1 (en) * 2012-08-31 2015-07-09 Google Inc. Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US8994614B2 (en) 2012-10-11 2015-03-31 Sony Computer Entertainment Europe Limited Head mountable display
WO2014074919A1 (en) * 2012-11-08 2014-05-15 Interdigital Patent Holdings, Inc. A method and apparatus for medium access control for uniform multiple access points coverage in wireless local area networks
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US10110805B2 (en) * 2012-12-06 2018-10-23 Sandisk Technologies Llc Head mountable camera system
US10061349B2 (en) * 2012-12-06 2018-08-28 Sandisk Technologies Llc Head mountable camera system
KR102019124B1 (ko) 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US20160033770A1 (en) 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US9063330B2 (en) 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US10914951B2 (en) 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
EP2843507A1 (en) 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
KR102009429B1 (ko) 2013-08-29 2019-08-09 삼성전기주식회사 촬상 광학계
KR20150026775A (ko) 2013-09-03 2015-03-11 삼성전자주식회사 근거리 무선 통신 제어 방법 및 이를 지원하는 장치
US20150097719A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US9529194B2 (en) * 2013-11-21 2016-12-27 Samsung Electronics Co., Ltd. Head-mounted display apparatus
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
US9801226B2 (en) * 2013-12-28 2017-10-24 Intel IP Corporation Methods and arrangements to improve link with out-of-band information
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9753288B2 (en) * 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) * 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9766463B2 (en) * 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20160012465A1 (en) * 2014-02-08 2016-01-14 Jeffrey A. Sharp System and method for distributing, receiving, and using funds or credits and apparatus thereof
KR102182161B1 (ko) 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
KR102356925B1 (ko) * 2014-02-21 2022-01-28 삼성전자주식회사 전자 장치 및 전자 장치의 절전 방법
KR102219042B1 (ko) * 2014-02-26 2021-02-23 삼성전자주식회사 전자 장치, 웨어러블 디바이스 및 전자 장치의 동작 방법
US9529200B2 (en) 2014-03-10 2016-12-27 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
WO2015142114A1 (en) * 2014-03-20 2015-09-24 Samsung Electronics Co., Ltd. Method of call forwarding between devices
US9622214B2 (en) * 2014-05-23 2017-04-11 Samsung Electronics Co., Ltd. Method and apparatus for providing notification
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
KR102303115B1 (ko) * 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
CA2897603A1 (en) 2014-07-16 2016-01-16 Spx Corporation Transit authority fare administration and management system
KR101728707B1 (ko) 2014-08-25 2017-04-20 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램
CN104218979A (zh) * 2014-07-31 2014-12-17 北京升哲科技有限公司 在非连接状态下获取传感数据的传感器、智能设备及方法
KR20160015972A (ko) * 2014-08-01 2016-02-15 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR102275033B1 (ko) * 2014-08-25 2021-07-09 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
RU2654155C2 (ru) 2014-09-29 2018-05-16 Филипс Лайтинг Холдинг Б.В. Носимое управляющее устройство для обнаружения взаимодействия
KR102292312B1 (ko) * 2014-10-02 2021-08-24 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 제어 방법
KR102246762B1 (ko) * 2014-11-10 2021-04-30 삼성전자주식회사 전자 장치의 주변 환경에 기반한 컨텐트 적응 방법 및 그 전자 장치
US10001837B2 (en) * 2014-12-23 2018-06-19 Intel Corporation Technologies for interacting with computing devices using haptic manipulation
KR102439993B1 (ko) * 2015-02-27 2022-09-06 삼성전자주식회사 방열 장치를 구비한 전자 장치 및 이의 제어 방법
KR102324074B1 (ko) * 2015-04-08 2021-11-09 삼성전자주식회사 사운드 출력 제어 방법 및 전자 장치
US9536452B2 (en) * 2015-05-13 2017-01-03 Abl Ip Holding Llc System and method to assist users having reduced visual capability utilizing lighting device provided information
US10924177B2 (en) * 2015-05-29 2021-02-16 Nike, Inc. System for operating multiple transceiver modules concurrently
CN107683497B (zh) * 2015-06-15 2022-04-08 索尼公司 信息处理设备、信息处理方法及程序
GB2539949A (en) * 2015-07-02 2017-01-04 Xovia Ltd Wearable Devices
US20170079001A1 (en) * 2015-09-15 2017-03-16 Google Inc. Radio Beacon for Direction Detection
WO2017111824A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Two-dimensional encounter location detection
US10341352B2 (en) * 2016-02-06 2019-07-02 Maximilian Ralph Peter von Liechtenstein Gaze initiated interaction technique
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US9826299B1 (en) * 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US20180035101A1 (en) * 2016-07-29 2018-02-01 Osterhout Group, Inc. See-through computer display systems
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10146334B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10578880B2 (en) * 2016-06-21 2020-03-03 Intel Corporation Augmenting reality via antenna and interaction profile
US9977434B2 (en) * 2016-06-23 2018-05-22 Qualcomm Incorporated Automatic tracking mode for controlling an unmanned aerial vehicle
US10656731B2 (en) * 2016-09-15 2020-05-19 Daqri, Llc Peripheral device for head-mounted display
US10663729B2 (en) * 2016-09-15 2020-05-26 Daqri, Llc Peripheral device for head-mounted display
US20180165171A1 (en) * 2016-12-13 2018-06-14 Theatro Labs Inc. Data and Analytics for Observation Platforms
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
CN104281255A (zh) * 2013-07-08 2015-01-14 Lg电子株式会社 可穿戴设备及其控制方法
CN104714414A (zh) * 2015-03-25 2015-06-17 小米科技有限责任公司 智能家居设备的控制方法及装置、电子设备

Also Published As

Publication number Publication date
EP3549004A1 (en) 2019-10-09
US20180196522A1 (en) 2018-07-12
EP3549004A4 (en) 2020-02-12
CN110168485B (zh) 2023-04-25
US10437343B2 (en) 2019-10-08
EP3549004B1 (en) 2023-04-26
WO2018128475A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
CN110168485A (zh) 对物联网装置的增强现实控制
CN105748057B (zh) 信息显示方法和支持该信息显示方法的电子设备
EP3293723A1 (en) Method, storage medium, and electronic device for displaying images
CN106537849B (zh) 用于控制物联网设备的装置和方法
KR102265086B1 (ko) 정보를 공유하기 위한 가상 환경
KR20190056816A (ko) 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
US10055015B2 (en) Electronic device and method for controlling external object
KR102630114B1 (ko) 서비스 제공을 위한 웨어 시스템 및 방법
CN108370488B (zh) 音频提供方法及其设备
KR20170001699A (ko) 보행 자세에 따른 정보 제공 방법 및 이를 위한 전자 장치
KR102656528B1 (ko) 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
KR20160136806A (ko) 전자 장치 및 그의 무선 통신 수행 방법
CN108513274A (zh) 用于控制车辆的电子设备及其操作方法
CN107665485A (zh) 用于显示图形对象的电子装置和计算机可读记录介质
KR20160112559A (ko) 터치 패널을 포함하는 전자 장치 및 그 제어 방법
CN107851416A (zh) 电子设备的显示方法和装置
KR20170011571A (ko) 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법
KR102632270B1 (ko) 전자 장치 및 파노라마 영상 표시와 생성 방법
CN108431731A (zh) 用于执行基于生物计量信号的功能的方法、存储介质和电子设备
EP3504584B1 (en) Electronic device and method for displaying image
KR20160125248A (ko) 도킹에 의한 기능 확장 방법 및 이를 위한 전자 장치
KR20160108144A (ko) 무전원 센서를 구동하는 전자 장치 및 그 제어 방법
CN110022948A (zh) 用于提供锻炼内容的移动装置和与其连接的可佩戴装置
CN113455010A (zh) 电子设备以及控制电子设备的方法
KR102336879B1 (ko) 화면을 표시하는 전자 장치, 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant