CN107113544A - 物联网设备的3d映射 - Google Patents

物联网设备的3d映射 Download PDF

Info

Publication number
CN107113544A
CN107113544A CN201580068830.0A CN201580068830A CN107113544A CN 107113544 A CN107113544 A CN 107113544A CN 201580068830 A CN201580068830 A CN 201580068830A CN 107113544 A CN107113544 A CN 107113544A
Authority
CN
China
Prior art keywords
electrical equipment
network
environment
enabling
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580068830.0A
Other languages
English (en)
Other versions
CN107113544B (zh
Inventor
K·A·肯尼迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107113544A publication Critical patent/CN107113544A/zh
Application granted granted Critical
Publication of CN107113544B publication Critical patent/CN107113544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

一种用于用控制设备来映射和控制启用网络的电器的方法可包括在控制设备的至少一个传感器在环境内移动时以三维形式收集空间信息、接收来自环境中启用网络的电器的注册信号、并基于空间信息将每个启用网络的电器与环境中相应的3D位置相关联。该方法可包括根据空间信息生成环境的数字地图并基于相应的3D位置将每个启用网络的电器的表示放置在该数字地图上。该方法还可包括生成适用于环境内的一个或多个房间的空间感知规则集。该方法还可包括检测触发事件，并且响应于该触发事件，根据空间感知规则集来命令启用网络的电器。

Description

物联网设备的3D映射
背景技术
物联网(IoT)是计算设备的新兴概念，物联网嵌入于物体(特别是电器)中，并通过网络连接。这些物体中的许多是可独立操作的设备，但是它们也可与控制系统配对。当前，在多个设备之间配置这种布置的初始设置过程是费力的，特别是对家庭用户而言。各种设备通常以不同的标准进行操作并具有它们自己的输入方法，并且将这样的设备单独地合并到自动化系统中是乏味和复杂的。这样的建立过程所涉及的乏味性和复杂性对IoT设备的广泛用户采用构成重大障碍。
概述
本文提供了一种用于使用控制设备来映射和控制启用网络的电器的系统和方法。一种方法可包括在控制设备的至少一个传感器在环境内移动时以三维形式收集空间信息、接收来自环境中启用网络的电器的注册信号、基于空间信息将每个启用网络的电器与环境中相应的三维(3D)位置相关联、并向控制设备注册每个启用网络的电器以创建注册日志。该方法可包括根据空间信息生成环境的数字地图并基于相应的3D位置将每个启用网络的电器的表示放置在数字地图上。
在一些实现中，该方法还可包括基于空间信息和注册日志生成适用于环境内一个或多个房间的空间感知规则集。该方法还可包括检测触发事件，并且响应于该触发事件，根据空间感知规则集来命令启用网络的电器。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1是自动化系统的简化示意图。
图2是用户扫描环境的示例图示。
图3是图1的自动化系统针对图2环境的图形用户界面的示例。
图4是用于使用控制设备来映射和控制启用网络的电器的方法的示例流程图。
图5是计算机系统的简化示意图。
详细描述
图1是自动化系统的简化示意图。自动化系统10可包括用于映射和控制启用网络的电器14的控制设备12。该启用网络的电器14可以是所谓的智能设备或物联网(IoT)设备，其是诸如其中嵌入有计算设备的电器之类的物理物体。启用网络的电器14的示例可包括恒温器、烟雾报警器、灯、家用电器、音频系统、电视机、安保相机、安保传感器、以及加热，通风和空调(HVAC)区域等等。虽然自动化系统10可被安装在家中，但也可适用于办公室、工厂、学校等。自动化系统10还可在不同位置处包括多个子系统。
控制设备12可包括至少一个传感器16，该至少一个传感器被配置成在环境18内移动时(参见图2)以三维形式收集空间信息。传感器16可以是控制设备12的组成部分，或者它们可被独立地操纵。该至少一个传感器16可包括至少一个深度相机和/或彩色相机。通过使用这种相机来固定环境18中的静止物体，控制设备可跟踪并计算传感器16相对于静止物体的移动，从而获取指示传感器16或控制设备12本身在三维(3D)空间中的精确位置以及滚动、俯仰和偏航的数据。因此，控制设备12可在六个自由度上跟踪移动。传感器16还可包括加速度计、陀螺仪和/或磁力计以便增加这种光学跟踪。当与诸如深度相机和/或彩色相机之类的传感器16组合时，控制设备12可能能够准确地映射环境18以及环境18中所有的启用网络的电器。
控制设备12可包括被配置成向用户显示输出的显示器20。控制设备12可包括通信单元22，其被配置成接收来自环境18中启用网络的电器14的注册信号24。通信单元22可包括一些传感器16或者可包括其自己的传感器以用于接收与发射器组合的通信来发送通信。通信单元22可以是不同类型的，这取决于控制设备12使用何种方法来与启用网络的电器14进行通信、用户的偏好等。通信单元22可经由网络26发送和接收通信，该网络可以是个人网、局域网、或广域网。每个启用网络的电器14还可包括至少一个传感器28和用于与控制设备12、其他启用网络的电器14、以及网络26进行通信的通信单元30。
控制设备12可以是单个专用设备，但也可以是任意数量的本地或远程地连接到网络26的计算设备。控制设备12可包括被配置成执行自动化程序34的处理器32，并且启用网络的电器14可包括被配置成执行操作程序38的处理器36。一旦被执行，自动化程序34可基于空间信息以及在一些情况下基于相应的注册信号24将启用网络的电器14与环境中相应的3D位置相关联。自动化程序34可被配置成向控制设备12注册每个启用网络的电器14，以创建存储在存储器42中的注册日志40。注册日志40可包括每个启用网络的电器14的3D位置和诸如名称和设备类型之类的其他元数据，其可被包括在注册信号24中或通过其他方法被发现。元数据可包括因特网协议(IP)地址、媒体访问控制(MAC)地址、或其他专用标识符。3D位置可以是诸如三维坐标之类的绝对位置，但其也可以是参考环境18的架构特征和/或其他启用网络的电器14的位置的相对位置。
注册日志40可能已经包括针对潜在启用网络的电器14的“预加载的”设备定义，并且用户可通过网络26从服务器设备下载更多定义。设备定义还可包括用于与启用网络的电器14进行通信的指令，使得一个控制设备12可使用适当的协议与各种启用网络的电器14进行通信。
注册信号24可以是各种类型的信号的任何组合。例如，一个或多个注册信号24可以是红外(IR)信号。控制设备12可用传感器16中的一个传感器(IR传感器)来感测IR信号，并使用相机来精确定位发送IR信号的启用网络的电器14的位置。启用网络的电器14可连续地发射IR信号，或者通信单元22可被配置成在接收到注册信号24之前通过经由近场通信、无线因特网、和/或个人局域网络(PAN)以及其他选项来发送请求44以从启用网络的电器14处请求注册信号24。请求44可指令启用网络的电器14发射注册信号24。以此方式，在不同协议下操作的各种启用网的电器14(包括来自旧系统的传统设备)可被添加到自动化系统10。
作为IR信号的替换，注册信号24中的一个或多个可以是可由相机检测的可见光信号。例如，可见光信号可以是闪烁可由控制设备12解释的代码以导出启用网络的电器14的标识的灯。作为另一替换方案，至少一个传感器16可包括阵列话筒，且一个或多个注册信号24可以是音频信号。音频信号可以是预定的声音，或者它可以简单地是启用网络的电器14在正常操作期间所产生的噪声。阵列话筒可向自动化程序34发送向量，以便与空间信息一起使用来精确定位启用网络的电器14。
作为再一替换方案，自动化程序34可被配置成读取可见标签46以确定标识并且识别和定位启用网络的电器14。可见标签46可以是其上印有产品的名称、序列号、或其他标识的产品标记。自动化程序34可例如包括文本识别算法，以从由一个或多个相机捕捉的图像数据读取可见标签46。自动化程序34还可被配置成使用来自相机的图像数据用诸如物体识别之类的机器视觉技术来标识启用网络的电器14。以此方式读取可见标签46或识别物体可使用旧的和/或专有的协议来向传统设备以及在控制设备12和自动化程序34之后开发的新设备提供向后兼容性。对于诸如接收IR或可见光信号和读取可见标签之类的设备标识方法，控制设备12可使用“预加载的”或已下载的设备定义来将感测到的数据与已知数据进行比较，并更准确地标识各种启用网络的电器14。
自动化程序34可被配置成基于空间信息和注册日志40来生成适用于环境18内的一个或多个房间的空间感知规则集，并将该规则集存储在存储器42中。空间感知规则集是一种包括在满足一个或多个条件时导致进行特定动作的规则的集合，该条件中的至少一个是动作被应用到其的物联网(IoT)设备的空间条件。尽管可接收用户输入48以选择或取消选择规则集内的各种规则，但是也可自动生成规则集而无需首先接收任何用户命令来创建每个规则。用户输入48可被口述、经由诸如鼠标，键盘或触摸板之类的输入设备来输入、或以其他方式传达给自动化系统10。提供若干示例，可在初始扫描期间由用户说出当前正被扫描的房间的名称、由用户手动选择或将名称键入、或通过将经扫描的房间与典型房间布置相比较的物体识别来标识各房间。
规则集可指示用户可能希望自动化系统10完成的目标(诸如降低浪费的能量使用)，或用户可能希望自动化系统10在将来执行的动作(诸如当用户回家时打开门口的灯)。规则集规定了一种情况，在该情况下自动化程序34通过向至少一个启用网络的电器14发送命令52来命令被包括在规则集中的各启用网络的电器14。因此，在设置时，用户不需要通过例如键入代码或在图形用户界面(GUI)上的下拉框中选择大量选项来手动编程每个单独的启用网络的电器14，并且自动化系统10被自动准备以供使用。
此外，自动化系统10可基于检测到的和制造商预定编程的启用网络的电器14的配置来生成规则集，而无需从用户处接收任何类型的输入。例如，控制设备12可注册在环境18中的烟雾探测器。自动化程序34可被配置成检测触发事件50。触发事件50可被启用网络的电器14中的一个感测到，其然后通知控制设备12或触发事件50的源，触发事件50的源可能不同于启用网络的电器14，诸如控制设备12中的传感器16。在烟雾探测器的情况下，烟雾探测器检测到火焰中的烟雾可能是触发事件50。响应于触发事件50，自动化程序34可被配置成根据空间感知规则集经由通信单元22命令某房间或各房间内的启用网络的电器14。控制设备12可自动生成空间感知规则集，以在发生火灾时通过命令灯开启并命令音频系统由扬声器通知方向将居住者引导到最近的安全出口。
图2是用户用控制设备扫描环境的示例图示。在此示例中，控制设备12是具有集成传感器16的平板。然而，控制设备12可采取各种计算设备的形式，包括智能电话、膝上型计算机、台式计算机、手持设备、或诸如头戴式显示器(HMD)，手表或臂带之类的可穿戴设备。当用户扫描房间时，控制设备12可收集空间信息并注册房间中的启用网络的电器14。此示例中所示的启用网络的电器14是智能百叶窗、智能电视、恒温器以及插座。
图3是图1的自动化系统针对图2环境的图形用户界面(GUI)的示例。自动化程序34可被配置成采用空间信息生成环境18的数字地图54并基于相应的3D位置将每个启用网络的电器14的表示放置在数字地图54上。地图54可以是计算机图形模拟、由控制设备12的相机捕捉的经缝合的图像数据、或者例如通过投影3D空间信息而制成的经简化的二维平面图。包含地图54的GUI 56可被显示在控制设备12的显示器20上。房间标记58指示此示例中的GUI 56显示客厅。所示的GUI 56包括地图54上的智能百叶窗、智能电视、恒温器、以及插座的图形表示。为了便于识别，这些表示可被突出显示、增亮、划出其轮廓、或以其他方式被强调。此外，当用户选择设备列表60中的一个启用网络的电器14的名称时，关于所选择的启用网络的电器14的名称或其他信息可被显示为地图54上的标记62。其他信息可是例如元数据或3D位置，此处被示为“(x，y，z)”。替换地，在默认情况下可向每个启用网络的电器14显示标记62。
生成空间感知规则集可包括基于检测到的启用网络的电器14的配置从存储在存储器42中的多个预编程规则中进行选择。自动化程序34可被配置成比较预编程规则的条件，诸如启用网络的电器14的类型和支持该规则的启用网络的电器14的空间配置中的阈值距离，其中检测到的启用网络的电器14的配置是由空间信息和注册日志40确定的。一旦空间感知规则集已被生成，用户输入48就可包括选择在GUI 56上显示的至少一个规则。例如，规则列表64示出了针对客厅自动生成并向用户建议的空间感知规则集。用户可勾选或不勾选规则集中的各个规则来选择哪些规则要被包括在规则集中，并且这些规则可以默认方式被勾选或不被勾选。选择规则还可发起GUI 56中所选择的规则的可视化模拟，使得用户可容易地理解该规则的功能和所涉及的启用网络的电器14。
由于自动化系统10在客厅中包括电视、百叶窗、以及可能的灯，所以命名为“Optimize TV Viewing(优化TV观看)”的规则可被生成。例如，在电视打开的情况下此规则可通过调暗天花板灯或降低百叶窗来降低客厅中的光线。此外，作为另一特定示例，基于窗口的位置和电视的位置和模型，自动化程序34可被配置成通过改变灯并移动百叶窗以在一天中的不同时刻、各季节、以及天气的情况下减少TV屏幕上的眩光。在规则列表64中，由于客厅和/或走廊中没有在自动化系统10中注册的运动传感器，所以被命名为“Light MyPath(照亮我的路径)”的规则被指示为不可用。不可用的规则可能被隐藏，但是它们也可被显示以向用户提出将来将其附加到自动化系统10的想法。
此外，规则列表64可包括例如被标记为“Get more online…(在线获得更多...)”的GUI元素。选择此GUI元素可将用户引导到可通过网络26下载的其他规则。自定义规则列表66也可被包括以允许用户手动添加自定义规则。这可通过下拉选项、以标准形式填写的框、键入的代码等完成。作为示例，可在选择被标记为“Create new rule…(创建新规则...)”的GUI元素之后添加自定义规则。
规则的其他示例可包括基于知道正在电视上播放的电影的内容(例如，R级)、TV相对于窗户的位置、以及窗口相对于外部街道的位置来关闭面向外部街道的百叶窗以防止冒犯邻居。使用位置感知光传感器或安保相机、位置感知灯和位置感知百叶窗，用户可为房间设置期望的亮度，并且自动化系统10可改变环境18以维持该亮度，(例如，通过对灯设置调光、开关百叶窗等)。类似于上述的烟雾探测器示例，在厨房附近的烟雾探测器可触发关闭所有附近电器的规则。
图4是用于使用控制设备来映射和控制启用网络的电器的方法440的示例流程图。参考以上所描述的并在图1中示出的自动化系统10的软件和硬件组件来提供方法440的以下描述。将理解，方法440还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图4，在402，方法440可包括当控制设备的至少一个传感器在环境内移动时以三维形式收集空间信息。所述至少一个传感器可包括深度相机和/或两个彩色相机。在404，方法440可包括在接收到注册信号之前经由近场通信、无线因特网、或个人局域网络来从启用网络的电器处请求注册信号。在406，方法440可包括识别启用网络的电器。作为一个示例，在408，方法440可包括读取可见标签以识别启用网络的电器。作为另一示例，在410，方法440可包括使用机器视觉技术来识别启用网络的电器。
在412，方法440可包括从环境中启用网络的电器处接收注册信号。注册信号可以是例如红外信号、可见光信号、或音频信号的任何组合。如果注册信号是音频信号，则至少一个传感器可包括阵列话筒。在414，方法440可包括基于空间信息将每个启用网络的电器与环境中相应的3D位置相关联。在416，方法440可包括向控制设备注册每个启用网络的电器以创建注册日志。在418，方法440可包括根据空间信息生成环境的数字地图并基于相应的3D位置将每个启用网络的电器的表示放置在数字地图上。
在420，方法440可包括基于空间信息和注册日志生成适用于环境内一个或多个房间的空间感知规则集。在422，方法440可包括确定是否检测到触发事件。如果是(检测到触发事件)，则该方法可前进到424。如果否，方法可结束。在424，方法440可包括响应于触发事件根据空间感知规则集来命令某房间或各房间内的启用网络的电器。
上述系统和方法可提供用于在环境中针对IoT设备的快速且用户友好的设置。通过仅一次扫描环境就进行两合一映射和设备注册可能需要花费大量的人工努力以建立新的自动化系统。各种协议可被合并入相同的自动化系统中，该自动化系统具有用于识别更适合于不同设备(包括传统设备)的IoT设备的不同方法。另外，根据什么位置处存在什么类型的设备自动生成规则集，移除了用户对新的自动化系统进行手动编程的负担。
在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图5示意性地示出了可执行上述方法和过程中的一个或多个的计算系统500的非限制性实施例。以简化形式示出了计算系统500。计算系统500的示例可包括控制设备12和图1的启用网络的电器14的各部分。计算系统500可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。
计算系统500包括逻辑子系统502和存储子系统504。计算系统500可任选地包括显示子系统506、输入子系统508、通信子系统510和/或在图5中未示出的其他组件。
逻辑子系统502包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。附加地或可替换地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑子系统。逻辑子系统的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑子系统的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑子系统的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统504包括被配置成保持可由逻辑子系统执行的指令以实现本文描述的方法和过程的一个或多个物理设备。在实现此类方法和过程时，存储子系统504的状态可以被变换——例如，以保持不同的数据。
存储子系统504可以包括可移动和/或内置设备。存储子系统504可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储子系统504可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储子系统504包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑子系统502和存储子系统504的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算系统500的一方面。在某些情况下，可以通过执行由存储子系统504所保持的指令的逻辑子系统502来实例化模块、程序或引擎。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块、程序和/或引擎。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
当被包括时，显示子系统506可被用来呈现由存储子系统504保持的数据的视觉表示。此视觉表示可采取图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统506的状态以视觉地表示底层数据的改变。显示子系统506可包括使用实质上任何类型的技术的一个或多个显示设备。这样的显示设备可与逻辑子系统502和/或存储子系统504一起组合在共享封装中，或者这样的显示设备可以是外围显示设备。
在包括输入子系统508时，输入子系统508包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或与其对接。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。NUI组件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。
当包括通信子系统510时，通信子系统510可被配置成将计算系统500与一个或多个其他计算设备通信地耦合。通信子系统510可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统500经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。
权利要求支持部分
本公开的主题被进一步描述在以下段落中。一个方面提供了一种用于利用控制设备来映射和控制启用网络的电器的方法，所述方法包括，在所述控制设备的至少一个传感器在环境内移动时以三维形式收集空间信息，接收来自所述环境中启用网络的电器的注册信号，基于所述空间信息将每个启用网络的电器与所述环境中相应的三维(3D)位置相关联，向所述控制设备注册每个启用网络的电器以创建注册日志，根据所述空间信息生成所述环境的数字地图，以及基于所述相应的3D位置将每个启用网络的电器的表示放置在所述数字地图上。在此方面，所述方法可附加地或替换地包括基于所述空间信息和所述注册日志生成适用于所述环境内一个或多个房间的空间感知规则集。所述方法可附加地或替换地包括检测触发事件，以及响应于所述触发事件，根据所述空间感知规则集来命令某房间或各房间内的所述启用网络的电器。所述方法可附加地或替换地包括其中所述至少一个传感器包括至少一个深度相机和/或彩色相机。所述方法可附加地或替换地包括其中所述注册信号是红外信号。所述方法可附加地或替换地包括其中所述注册信号是可见光信号。所述方法可附加地或替换地包括，在接收到所述注册信号之前经由近场通信、无线因特网、或个人局域网络来从所述启用网络的电器处请求所述注册信号。所述方法可附加地或替换地包括使用机器视觉技术来识别所述启用网络的电器。所述方法可附加地或替换地包括其中所述至少一个传感器包括阵列话筒，并且所述注册信号是音频信号。所述方法可附加地或替换地包括读取可见标签以识别启用网络的电器。
另一方面提供一种自动化系统，所述自动化系统包括用于映射和控制启用网络的电器的控制设备，所述控制设备包括至少一个传感器，所述至少一个传感器被配置成在环境内移动时以三维形式收集空间信息，通信单元，所述通信单元被配置成接收来自所述环境中启用网络的电器的注册信号，以及处理器，所述处理器被配置成执行自动化程序以基于所述空间信息将每个启用网络的电器与所述环境中相应的三维(3D)位置相关联，向所述控制设备注册每个启用网络的电器以创建注册日志，根据所述空间信息生成所述环境的数字地图，以及基于所述相应的3D位置将每个启用网络的电器的表示放置在所述数字地图上。所述自动化系统可附加地或替换地包括其中所述自动化程序被进一步配置成基于所述空间信息和所述注册日志生成适用于所述环境内一个或多个房间的空间感知规则集。所述自动化系统可附加地或替换地包括其中所述自动化程序被进一步配置成响应于触发事件，根据所述空间感知规则集经由所述通信单元来命令某房间或各房间内的所述启用网络的电器。所述自动化系统可附加地或替换地包括其中所述至少一个传感器包括至少一个深度相机和/或彩色相机。所述自动化系统可附加地或替换地包括其中所述注册信号是红外信号。所述自动化系统可附加地或替换地包括其中所述注册信号是可见光信号。所述自动化系统可附加地或替换地包括其中所述通信单元被配置成在接收到所述注册信号之前经由近场通信、无线因特网、或个人局域网络来从所述启用网络的电器处请求所述注册信号。所述自动化系统可附加地或替换地包括其中所述至少一个传感器包括阵列话筒，并且所述注册信号是音频信号。所述自动化系统可附加地或替换地包括其中所述自动化程序被配置成读取可见标签以识别所述启用网络的电器。
另一方面提供一种自动化系统，所述自动化系统包括用于映射和控制启用网络的电器的控制设备，所述控制设备包括至少一个传感器，所述至少一个传感器被配置成在环境内移动时以三维形式收集空间信息，通信单元，所述通信单元被配置成接收来自所述环境中启用网络的电器的注册信号，以及处理器，所述处理器被配置成执行自动化程序以基于所述空间信息将每个启用网络的电器与所述环境中相应的三维(3D)位置相关联，向所述控制设备注册每个启用网络的电器以创建注册日志，根据所述空间信息生成所述环境的数字地图，基于所述相应的3D位置将每个启用网络的电器的表示放置在所述数字地图上，基于所述空间信息和所述注册日志生成适用于所述环境内一个或多个房间的空间感知规则集，检测触发事件，以及响应于所述触发事件，根据所述空间感知规则集经由所述通信单元来命令某房间或各房间内的所述启用网络的电器。

Claims (12)

1.一种用于利用控制设备来映射和控制启用网络的电器的方法，所述方法包括：
在所述控制设备的至少一个传感器在环境内移动时下以三维形式收集空间信息；
接收来自所述环境中启用网络的电器的注册信号；
基于所述空间信息将每个启用网络的电器与所述环境中相应的三维(3D)位置相关联；
向所述控制设备注册每个启用网络的电器以创建注册日志；
根据所述空间信息生成所述环境的数字地图；
基于所述相应的3D位置将每个启用网络的电器的表示放置在所述数字地图上；
基于所述空间信息和所述注册日志生成适用于所述环境内一个或多个房间的空间感知规则集；
检测触发事件；以及
响应于所述触发事件，根据所述空间感知规则集来命令所述一个房间或所述多个房间内的所述启用网络的电器。
2.如权利要求1所述的方法，其特征在于，所述至少一个传感器包括至少一个深度和/或彩色相机。
3.如权利要求1所述的方法，其特征在于，所述注册信号是红外信号。
4.如权利要求1所述的方法，其特征在于，所述注册信号是可见光信号。
5.如权利要求1所述的方法，其特征在于，进一步包括在接收到所述注册信号之前经由近场通信、无线因特网、或个人局域网络来从所述启用网络的电器处请求所述注册信号。
6.如权利要求1所述的方法，其特征在于，进一步包括用机器视觉技术识别所述启用网络的电器。
7.如权利要求1所述的方法，其特征在于，所述至少一个传感器包括阵列话筒，并且所述注册信号是音频信号。
8.如权利要求1所述的方法，其特征在于，进一步包括读取可见标签以识别启用网络的电器。
9.一种自动化系统，所述自动化系统包括用于映射和控制启用网络的电器的控制设备，所述控制设备包括：
至少一个传感器，所述至少一个传感器被配置成在环境内移动时以三维形式收集空间信息；
通信单元，所述通信单元被配置成接收来自所述环境中启用网络的电器的注册信号；以及
处理器，所述处理器被配置成执行自动化程序以：
基于所述空间信息将每个启用网络的电器与所述环境中相应的三维(3D)位置相关联；
向所述控制设备注册每个启用网络的电器以创建注册日志；
根据所述空间信息生成所述环境的数字地图；
基于所述相应的3D位置将每个启用网络的电器的表示放置在所述数字地图上；
基于所述空间信息和所述注册日志生成适用于所述环境内一个或多个房间的空间感知规则集；以及
响应于触发事件，根据所述空间感知规则集经由所述通信单元来命令所述一个房间或所述多个房间内的所述启用网络的电器。
10.如权利要求9所述的系统，其特征在于，所述至少一个传感器包括至少一个深度和/或彩色相机。
11.如权利要求9所述的系统，其特征在于，所述通信单元被配置成在接收到所述注册信号之前经由近场通信、无线因特网、或个人局域网络来从所述启用网络的电器处请求所述注册信号。
12.如权利要求9所述的系统，其特征在于，所述自动化程序被配置成读取可见标签以识别所述启用网络的电器。
CN201580068830.0A 2014-12-16 2015-12-03 用于物联网设备的3d映射的方法、系统及介质 Active CN107113544B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/572,301 US10091015B2 (en) 2014-12-16 2014-12-16 3D mapping of internet of things devices
US14/572,301 2014-12-16
PCT/US2015/063560 WO2016099897A1 (en) 2014-12-16 2015-12-03 3d mapping of internet of things devices

Publications (2)

Publication Number Publication Date
CN107113544A true CN107113544A (zh) 2017-08-29
CN107113544B CN107113544B (zh) 2021-01-26

Family

ID=55069078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580068830.0A Active CN107113544B (zh) 2014-12-16 2015-12-03 用于物联网设备的3d映射的方法、系统及介质

Country Status (5)

Country Link
US (1) US10091015B2 (zh)
EP (1) EP3235270B1 (zh)
KR (1) KR102522814B1 (zh)
CN (1) CN107113544B (zh)
WO (1) WO2016099897A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110691116A (zh) * 2019-08-18 2020-01-14 朗德万斯公司 用于管理网络设备的方法、定位设备及系统
CN113412684A (zh) * 2019-02-14 2021-09-17 昕诺飞控股有限公司 通过确定事件和控制命令之间的关系来改进自动化规则

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807173B2 (en) * 2015-03-26 2017-10-31 Cisco Technology, Inc. Notification system for personal and shared devices
US20160291826A1 (en) * 2015-03-30 2016-10-06 Nemrude Verzano STANDALONE AND DISTRIBUTED APPLICATION FOR SIMULATION OF INTERNET OF THINGS (IoT) SCENARIOS
US11720571B2 (en) * 2015-08-17 2023-08-08 Comcast Cable Communications, Llc Unified description scheme for controlling and operating network connected devices
US10742739B2 (en) 2015-08-18 2020-08-11 Comcast Cable Communications, Llc Platform for controlling and operating network connected devices
HUE036698T2 (hu) * 2016-03-09 2018-08-28 Grieshaber Vega Kg Mérõeszközök regisztrálása az interneten keresztül
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技（深圳）有限公司 定位方法、定位系统及终端设备
CN114706516A (zh) * 2017-01-13 2022-07-05 路创技术有限责任公司 用于配置负载控制系统的方法和装置
KR101976424B1 (ko) * 2017-01-25 2019-05-09 엘지전자 주식회사 이동 로봇
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
WO2018204625A2 (en) * 2017-05-03 2018-11-08 Ndustrial.Io, Inc. Device, system, and method for sensor provisioning
US10948889B2 (en) * 2017-05-05 2021-03-16 Arndorfer Industries, Llc Building control system
US10895971B2 (en) * 2017-05-12 2021-01-19 Irobot Corporation Methods, systems, and devices for mapping, controlling, and displaying device status
US10325409B2 (en) 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US10590689B2 (en) 2017-06-26 2020-03-17 International Business Machines Corporation Dynamically movable room separator
US10447394B2 (en) * 2017-09-15 2019-10-15 Qualcomm Incorporated Connection with remote internet of things (IoT) device based on field of view of camera
US10594917B2 (en) * 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
EP3521948A1 (en) * 2018-02-06 2019-08-07 Tata Consultancy Services Limited Systems and methods for auto-generating a control and monitoring solution for smart and robotics environments
WO2019168886A1 (en) 2018-03-02 2019-09-06 Purdue Research Foundation System and method for spatially mapping smart objects within augmented reality scenes
US11567636B2 (en) * 2018-03-07 2023-01-31 Lutron Technology Company Llc Configuring a load control system
KR102612827B1 (ko) * 2018-07-23 2023-12-11 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법
WO2020022622A1 (ko) * 2018-07-23 2020-01-30 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법
US11316709B2 (en) * 2018-10-08 2022-04-26 Google Llc Multi-source smart-home device control
US10985936B2 (en) 2018-10-08 2021-04-20 Google Llc Customized interface based on vocal input
KR20200120973A (ko) * 2019-04-04 2020-10-23 현대자동차주식회사 차량의 인포테인먼트 장치 및 그 제어 방법
CN113050796A (zh) * 2021-03-25 2021-06-29 海尔(深圳)研发有限责任公司 用于头戴设备的环境调节方法、装置、系统及头戴设备
CA3216835A1 (en) * 2021-04-16 2022-10-20 Somos, Inc. Device management platform
US11695625B2 (en) 2021-07-15 2023-07-04 International Business Machines Corporation Location-based dynamic grouping of IoT devices
US11875792B2 (en) 2021-08-17 2024-01-16 International Business Machines Corporation Holographic interface for voice commands

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301738A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 通信装置
US20120019627A1 (en) * 2009-03-31 2012-01-26 Choi Yoo-Jin Mobile robot with single camera and method for recognizing 3d surroundings of the same
CN102984039A (zh) * 2012-11-06 2013-03-20 鸿富锦精密工业（深圳）有限公司 智能网关、智能家居系统及家电设备的智能控制方法
CN103491498A (zh) * 2012-06-13 2014-01-01 苹果公司 基于估计的用户位置来控制装置

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678737B1 (en) * 2000-04-28 2004-01-13 Webtv Networks, Inc. Home network appliance and method
US6950791B1 (en) * 2000-09-13 2005-09-27 Antartica Systems, Inc. Method for describing objects in a virtual space
US6885362B2 (en) * 2001-07-12 2005-04-26 Nokia Corporation System and method for accessing ubiquitous resources in an intelligent environment
US8977284B2 (en) * 2001-10-04 2015-03-10 Traxcell Technologies, LLC Machine for providing a dynamic data base of geographic location information for a plurality of wireless devices and process for making same
US7466992B1 (en) * 2001-10-18 2008-12-16 Iwao Fujisaki Communication device
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
US7136709B2 (en) * 2003-11-04 2006-11-14 Universal Electronics Inc. Home appliance control system and methods in a networked environment
KR20070089119A (ko) * 2004-07-23 2007-08-30 와이어리스 밸리 커뮤니케이션 인크 무선 네트워크 향상을 위해 무선 장치 또는 기반 구조의 위치를 결정하고 이용하는 방법
KR100622671B1 (ko) * 2004-12-21 2006-09-19 한국전자통신연구원 홈게이트웨이 플랫폼에 독립적인 댁내장치 원격제어시스템 및 방법
US9614964B2 (en) * 2005-08-19 2017-04-04 Nextstep, Inc. Consumer electronic registration, control and support concierge device and method
US9268460B1 (en) * 2005-09-12 2016-02-23 Yongyong Xu System and method of modeling internet resources in a virtual space
KR100790173B1 (ko) * 2006-02-23 2008-01-02 삼성전자주식회사 단문 메시지 서비스를 이용하여 무선 기기를 제어하기 위한방법과 홈 네트워크 시스템 및 이동 단말기
US8094037B2 (en) * 2007-03-30 2012-01-10 Sony Corporation Method and apparatus for identifying an electronic appliance
US8929877B2 (en) * 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
US8451773B2 (en) * 2008-11-12 2013-05-28 At&T Intellectual Property I, Lp Dynamic lightweight remote management of hybrid femtocell gateways
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US9020432B2 (en) * 2009-11-30 2015-04-28 Panasonic Intellectual Property Corporation Of America Mobile communication device, communication method, integrated circuit, and program
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8917905B1 (en) * 2010-04-15 2014-12-23 Don K. Dill Vision-2-vision control system
US8510039B1 (en) 2010-10-05 2013-08-13 The Boeing Company Methods and apparatus for three-dimensional localization and mapping
US8174931B2 (en) * 2010-10-08 2012-05-08 HJ Laboratories, LLC Apparatus and method for providing indoor location, position, or tracking of a mobile computer using building information
EP2442600B1 (en) * 2010-10-14 2013-03-06 Research In Motion Limited Near-field communication (NFC) system providing nfc tag geographic position authentication and related methods
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US8570372B2 (en) 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
KR101909026B1 (ko) * 2011-08-19 2018-10-17 엘지전자 주식회사 전기제품 정보 관리 시스템
US20130052946A1 (en) * 2011-08-23 2013-02-28 Manjirnath Chatterjee Home automation using a mobile device
WO2013033442A1 (en) 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
US9372254B2 (en) * 2011-10-31 2016-06-21 Panasonic Intellectual Property Corporation Of America Position estimation device, position estimation method, program and integrated circuit
US9173069B2 (en) * 2012-01-12 2015-10-27 Google Inc. Navigating using an indoor map representation
US20130198056A1 (en) * 2012-01-27 2013-08-01 Verizon Patent And Licensing Inc. Near field communication transaction management and application systems and methods
US20160239733A1 (en) * 2012-05-23 2016-08-18 Allen D. Hertz Misplaced or forgotten article recovery process
US20130342568A1 (en) 2012-06-20 2013-12-26 Tony Ambrus Low light scene augmentation
US9131266B2 (en) * 2012-08-10 2015-09-08 Qualcomm Incorporated Ad-hoc media presentation based upon dynamic discovery of media output devices that are proximate to one or more users
US9451418B2 (en) * 2012-10-19 2016-09-20 Qualcomm Incorporated Group association based on network determined location
US9466144B2 (en) 2012-11-02 2016-10-11 Trimble Navigation Limited 3D mapping of a surveyed environment
US20140145831A1 (en) * 2012-11-25 2014-05-29 Amir Bassan-Eskenazi Hybrid wirless tag based communication, system and applicaitons
US9100207B2 (en) 2013-02-13 2015-08-04 Green Edge Technologies, Inc. Systems, devices, and methods for mapping devices to realize building automation and energy management
US20140244017A1 (en) * 2013-02-25 2014-08-28 Qualcomm Incorporated Determining items to build based on an internet of things (iot) network inventory and building the determined items using a 3d printer
US9800429B2 (en) * 2013-03-15 2017-10-24 Smartbotics Inc. Adaptive home and commercial automation devices, methods and systems based on the proximity of controlling elements
US20140267234A1 (en) * 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US9386271B2 (en) * 2013-08-30 2016-07-05 Amrita Vishwa Vidyapeetham System and method for synthesizing and preserving consistent relative neighborhood position in multi-perspective multi-point tele-immersive environments
US20150121471A1 (en) * 2013-10-25 2015-04-30 Nordstrom Inc. System and Method for Providing Access to a Proximate Accessory Device for a Mobile Device
US9476730B2 (en) * 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US9609462B2 (en) * 2014-03-28 2017-03-28 Google Inc. Facilitating radio frequency communications among environmental control system components
US10248399B2 (en) * 2014-05-28 2019-04-02 Samsung Electronics Co., Ltd Apparatus and method for controlling Internet of Things devices
US20150370272A1 (en) * 2014-06-23 2015-12-24 Google Inc. Intelligent configuration of a smart environment based on arrival time
US20160029224A1 (en) * 2014-07-23 2016-01-28 Qualcomm Incorporated Determination of environment characteristics from mobile device-based sensor measurements
KR102210701B1 (ko) * 2014-08-29 2021-02-02 삼성전자주식회사 비콘 관리 방법, 단말, 서버 및 저장 매체
US9672260B2 (en) * 2014-10-07 2017-06-06 Google Inc. Systems and methods for updating data across multiple network architectures
US10104132B2 (en) * 2014-10-08 2018-10-16 Google Llc Network-assisted fabric pairing
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US20160140868A1 (en) * 2014-11-13 2016-05-19 Netapp, Inc. Techniques for using augmented reality for computer systems maintenance
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120019627A1 (en) * 2009-03-31 2012-01-26 Choi Yoo-Jin Mobile robot with single camera and method for recognizing 3d surroundings of the same
CN102301738A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 通信装置
CN103491498A (zh) * 2012-06-13 2014-01-01 苹果公司 基于估计的用户位置来控制装置
CN102984039A (zh) * 2012-11-06 2013-03-20 鸿富锦精密工业（深圳）有限公司 智能网关、智能家居系统及家电设备的智能控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113412684A (zh) * 2019-02-14 2021-09-17 昕诺飞控股有限公司 通过确定事件和控制命令之间的关系来改进自动化规则
CN113412684B (zh) * 2019-02-14 2024-04-26 昕诺飞控股有限公司 通过确定事件和控制命令之间的关系来改进自动化规则
US12010779B2 (en) 2019-02-14 2024-06-11 Signify Holding, B.V. Improving automation rules by determining a relationship between events and control commands
CN110691116A (zh) * 2019-08-18 2020-01-14 朗德万斯公司 用于管理网络设备的方法、定位设备及系统

Also Published As

Publication number Publication date
CN107113544B (zh) 2021-01-26
KR102522814B1 (ko) 2023-04-17
KR20170098874A (ko) 2017-08-30
EP3235270B1 (en) 2020-02-26
US10091015B2 (en) 2018-10-02
WO2016099897A1 (en) 2016-06-23
EP3235270A1 (en) 2017-10-25
US20160173293A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
CN107113544A (zh) 物联网设备的3d映射
EP3639119B1 (en) Object holographic augmentation
US11783345B2 (en) Cyber life electronic networking and commerce operating exchange
CN105009031B (zh) 增强现实设备以及在其上操作用户界面的方法
CN110168485B (zh) 对物联网装置的增强现实控制
CN115407676A (zh) 使用增强现实可视化的智能家居设备放置和安装
CN106662926A (zh) 普适计算环境中的姿势交互的系统和方法
CN103823553B (zh) 对表面背后的场景的增强现实显示
CN106104650A (zh) 经由凝视检测进行远程设备控制
CN105376121A (zh) 图像触发配对
KR20130110907A (ko) 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
CN107211113A (zh) 监控
KR20170066054A (ko) 오디오 제공 방법 및 그 장치
EP3314581A1 (en) Augmented reality device for visualizing luminaire fixtures
KR20170126698A (ko) 콘텐트 제공을 위한 전자 장치 및 방법
EP3338516B1 (en) A method of visualizing a shape of a linear lighting device
CN109642788A (zh) 信息处理系统、信息处理方法以及程序
CN118176474A (zh) 用于经由人工现实设备与物理设备进行交互的方法和系统
US11151797B2 (en) Superimposing a virtual representation of a sensor and its detection zone over an image
KR20210131324A (ko) 정보 처리 장치 및 정보 처리 방법
WO2024106317A1 (en) Information processing device and information processing method for presenting virtual content to a user

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant