CN107851335A - 用于使照明器灯具可视化的增强现实设备 - Google Patents
用于使照明器灯具可视化的增强现实设备 Download PDFInfo
- Publication number
- CN107851335A CN107851335A CN201680036888.1A CN201680036888A CN107851335A CN 107851335 A CN107851335 A CN 107851335A CN 201680036888 A CN201680036888 A CN 201680036888A CN 107851335 A CN107851335 A CN 107851335A
- Authority
- CN
- China
- Prior art keywords
- luminaire
- image
- orientation
- light fixture
- mobile device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 title description 11
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000009434 installation Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000007794 visualization technique Methods 0.000 claims 1
- 239000011800 void material Substances 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000446313 Lamella Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/175—Controlling the light source by remote control
- H05B47/196—Controlling the light source by remote control characterised by user interface arrangements
- H05B47/1965—Controlling the light source by remote control characterised by user interface arrangements using handheld communication devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种用于帮助用户选择适当的照明器灯具以安装在他们的家中的增强现实设备和方法。用户可以将移动设备的相机指向房间中期望新照明器的区域或位置,并且基于由包括在该设备内的取向确定构件生成的数据,为用户从存储的目录或数据库中自动选择适当的照明器或照明器类别。一旦适当的照明器已被选择,它就被插入到由相机捕获的图像内以生成描绘在用户的房间内就位的照明器灯具的增强现实图像。
Description
技术领域
本发明涉及用于生成增强现实图像的设备和方法。
背景技术
消费型照明器生意取决于向消费者提供几十上百个单独的SKU(库存单位)。这对装饰照明行业而言尤其真实。此生意类别以它提供给其消费者的选项的品种和数量而繁荣。尽管这提供了选择正确选项的自由,但是该决策可能变得麻烦,因为在针对他们的照明的购物和购买时,消费者需要费力地使每个给定的预期照明器在被安装在他们的家庭环境内时可能看起来如何可视化。
此困难最近已经被一些零售商认识到,并且尝试通过增强现实技术的发展和实现来补救它,增强现实技术允许消费者使某种产品在他们的家中可能看起来如何可视化。一个示例是由IKEA为其家具产品提供的电子目录。这些解决方案允许照明器的覆盖图插入在由诸如智能电话或平板计算机之类的移动设备的相机捕获的图像内。这可以用来提供照明器在消费者考虑将它安装在其中的实际空间中的实时再现。
尽管这些技术为进行采购决策提供了大大改善的消费者体验,但是现有技术的解决方案仍然有明显不足。特别地,电子产品目录可以典型地包括数百甚至数千个可用的照明器灯具和选项,其被分成可能数十个不同类别(例如天花板吊灯、壁装式灯、台灯、桌灯、射灯等)。这使得对消费者而言高效地使用该技术做出关于他们的照明采购的选择成为艰巨任务。消费者必须手动选择各种类别中的哪一种最适合于房间内他们考虑安装照明器的特定位置。对没有关于可用的不同类型的照明器灯具的特定专业知识的消费者而言,这可能是令人困惑的和耗时的。而且,为了促进特定照明器类别的用户选择,照明器的多个类别必须立刻被取来并下载到移动设备,从而把巨大需求放在设备的处理资源以及网络带宽上。
US2014/0347394公开了一种用于灯具选择的增强现实系统,其中提供了增强现实目标。这些目标是自发亮的以实现容易的识别。
因此,期望的是一种用于使照明器灯具在房间内就地可视化的增强现实解决方案,但是其简化了用户选择适当照明器灯具以针对房间内给定的应用或安装位置可视化地采样的过程。
发明内容
本发明由权利要求限定。
根据本发明的一个方面,提供一种移动设备,包括:
显示面板;
适于捕获图像的相机;
取向确定传感器;以及
处理器,该处理器适于:
至少部分地基于由取向确定传感器生成的数据,从存储的虚拟照明器图像集合之中选择照明器灯具的虚拟图像,
通过将照明器灯具的所选虚拟图像与由相机捕获的图像组合来生成增强现实图像,以及
控制显示面板以显示所生成的增强现实图像。
处理器可以适于通过在相机图像内的目标位置处覆盖照明器灯具的虚拟图像来生成增强现实图像。
取向确定可以包括例如软件传感器或硬件传感器。
基于软件的传感器可以包括例如处理器所包含的图像处理能力或单独的处理元件,以用于分析在相机处捕获的图像以标识图像内所包含的可以用来给出移动设备的取向状态的指示的某些特征。这些特征可以包括普通的家用或办公室对象,例如其在房间内典型的相对垂直定位是已知的。在相机的视场内所述对象之一的标识可以允许确定移动设备的取向。任何其他合适的基于软件的传感器也可以被考虑。它也可以包括人及其姿势的识别,这可以再次提供位置和取向的指示。
基于硬件的传感器可以包括例如适于捕获关于移动设备的运动或取向/方位的机械数据或动力学数据的一个或多个物理传感器。
根据示例的至少一个集合,取向确定传感器可以包括惯性传感器。
惯性传感器可以包括例如陀螺仪(例如惯性陀螺仪或MEMS陀螺仪)或加速计之一。移动设备的相机可以由用户指向他们希望使照明器就地可视化的空间或房间内的特定区域或方位。相机可以牢固地附接和集成在移动设备内,并且因此相机在期望的照明器灯具位置的方向上的取向生成来自惯性传感器的相关输出响应,其与对设备重取向的事件或过程的特定机械或动态效应相关,或者简单地与最终静态取向状态自身相关。这些输出响应或任何其他示例取向确定传感器的输出可以通过处理器分析并且被用于标识和选择可能适合于用户的预期安装位置的至少特定类别的照明器。
特别地,处理器可以适于基于来自取向确定传感器的数据确定设备的取向状态,并且至少部分地基于所确定的设备的取向状态来选择照明器灯具的虚拟图像。以此方式,设备的实施例能够基于计算设备的取向实现情境特定加载(提前取来)。
例如,处理器可以适于根据取向状态确定用户打算在房间内以什么高度水平安装照明器。期望的照明器位置的所确定的高度水平可以允许照明器的适当风格或类别的确定从所存储的集合中选择。例如,如果移动设备处于与在桌子或书桌的水平处定向的相机相称的取向状态中,则处理器可以被配置成选择一个或多个用于覆盖在所捕获的图像内的桌子或书桌。如果移动设备处于与在天花板处定向的相机相称的取向状态中,例如,处理器可以被配置成选择一个或多个天花板射灯或吊灯。
移动设备可以进一步包括适于响应于用户输入命令生成输出信号的用户输入元件,并且处理器可以适于通过下述选择照明器灯具的虚拟图像:
基于由取向确定传感器生成的数据,从所存储的照明器灯具图像的集合之中选择虚拟照明器灯具图像的子集,以及
基于来自用户输入元件的输出信号,从所选择的子集之中选择照明器灯具的虚拟图像。
例如,所选择的子集可以对应于用于房间内的照明器灯具的特定类别的可能安装位置。来自用户的输入然后可以用来选择要在所捕获的图像内再现的子集中的一个以用于可视化。可以向用户呈现基于例如移动设备的所确定的取向状态确定的照明器选项的子集,并且用户然后可以借助于用户输入元件指示他们想要采样的子集中的哪一个。
例如,可能的安装位置的类别可以对应于房间内特定的高度类别。
处理器可以适于控制显示面板以显示虚拟照明器灯具图像的所选子集的子组。根据所显示的图像,用户可以做出关于哪一个插入到增强现实图像以用于可视化的决定。
控制面板被控制以显示的子组中的成员可以由处理器至少部分地基于来自用户输入元件的输出信号来确定。用户可以决定例如用来自相同子集的新虚拟图像替换子组中的所有成员。这可以例如对应于“滚动”或以其他方式导航通过子集中的照明器的虚拟列表。
所存储的照明器灯具的虚拟图像可以存储在移动设备外部,并且处理器可以适于通过从所述外部存储的虚拟图像下载所选择的虚拟图像来生成增强现实图像。在这些情况下,与现有技术的解决方案相比,可以节省处理资源或带宽,因为只需要下载由处理器选择的虚拟图像。处理器能够有效地过滤虚拟图像的总集合,并且为了用户可用性,仅下载适合于用户期望安装照明器的特定位置的那些虚拟图像。
根据本发明的另外一个方面,提供一种使用移动设备使房间内的照明器灯具可视化的方法,该移动设备包括:
显示面板;
相机;以及
取向确定传感器,
该方法包括:
使用相机捕获图像;
捕获由取向确定传感器生成的数据;
至少部分地基于从取向确定传感器捕获的数据,从所存储的虚拟图像集合之中选择照明器灯具的虚拟图像;
通过将照明器的所选虚拟图像与由相机捕获的图像组合来生成增强现实图像,以及
控制显示面板以显示所生成的增强现实图像。
生成增强现实图像可以包括在相机图像内的目标位置处覆盖照明器灯具的虚拟图像。
该方法可以进一步包括基于从取向确定传感器捕获的数据确定移动设备的取向状态,以及至少部分地基于所确定的设备取向状态选择照明器灯具的虚拟图像。
移动设备可以进一步包括适于响应于用户输入命令生成输出信号的用户输入元件,并且照明器灯具的虚拟图像的选择可以包括:
基于从取向确定传感器捕获的数据,从所存储的照明器灯具图像集合之中选择虚拟照明器灯具图像的子集,以及
基于来自用户输入元件的输出信号,从所选择的子集之中选择照明器灯具的虚拟图像。
该方法可以进一步包括控制显示面板以显示虚拟照明器图像的所选子集的子组。
在示例中,该方法可以进一步包括至少部分地基于来自用户输入元件的输出信号确定控制面板被控制以显示的子组的成员。
所述方法步骤可以通过运行在移动设备的处理器上的计算机程序,即加载到移动设备上的专用应用来实现。
附图说明
现在将参照附图详细描述本发明的示例,在附图中:
图1示意性描绘了移动设备的简单示例;
图2示意性描绘了房间布局的说明性示例;
图3a-3c示意性描绘了房间内三个不同取向状态中的示例移动设备,用于使在三个不同房间位置的照明器灯具可视化;
图4示意性描绘了处于第一取向状态中的生成增强现实图像的示例移动设备的剖面图;
图5示意性描绘了处于第二取向状态中的生成增强现实图像的示例移动设备的剖面图;以及
图6示意性描绘了处于第三取向状态中的生成增强现实图像的示例移动设备的剖面图。
具体实施方式
本发明提供一种用于帮助用户选择安装在他们家中的适当的照明器灯具的增强现实设备和方法。用户可以将移动设备的相机指向期望新照明器的房间中的区域或位置,并且基于由包括在设备内的取向确定传感器生成的数据,为用户从所存储的目录或数据库中自动选择适当的照明器或照明器类别。一旦适当的照明器已被选择,它就被插入由相机捕获的图像内以生成描绘在用户的房间内就位的照明器灯具的增强现实图像。
下面描述各种各样的示例实施例,其中每一个示例实施例特别地涉及示例移动设备,其包括用于确定该设备的取向状态的惯性传感器。然而,应当理解,如上文所讨论,这些仅仅表示一个可能的解决方案集合,并且本发明将不会被理解为限于这样的实施例。在每一种情况下,惯性传感器可以可替换地被任何合适的取向确定传感器替代,包括基于硬件的传感器和基于软件的传感器二者。
基于软件的传感器可以包括例如用于基于对由相机捕获的一个或多个图像的分析提供取向确定的图像处理特征。也可以使用任何其他合适的软件传感器。
可替换的硬件传感器可以包括例如能够基于关于移动设备的机械或动力学事件或属性生成数据的任何合适的传感器或传感器集合。
在图1中图示了依照本发明实施例的移动设备12的简单示例。该设备包括设置在第一(前)表面上的显示面板14,并且包括具有通过第二(后)表面安装的透镜的相机元件16。移动设备还包括安装在设备内部中的惯性传感器和处理器单元(图1中未示出)。
在示例中,移动设备可以包括平板计算机、智能电话或可穿戴智能设备,比如智能眼镜或智能腕带设备。然而,这些示例仅通过说明的方式被记录,并且应当理解,可以使用包括显示面板、相机、惯性传感器和处理器的任何便携式或移动计算设备。而且,特别地,术语“移动设备”将不被理解为对通信或电话设备的限制,而是可以包括任何移动计算设备。
处理器可以适于控制显示面板14以显示由相机16实时捕获的图像,促进相机视点的用户“现场”观看。本发明的实施例利用此功能生成并显示“现场”增强现实图像,其中照明器灯具的虚拟图像被数字地插入房间中场景的实时捕获的图像内。在优选实施例中,虚拟照明器图像是3D图像,允许照明器的真实透视图在任何取向和方位处实现。
尽管“现场”增强图像再现提供最佳用户体验,但是在其他示例中,增强现实图像可以是从由相机捕获的静态图像生成的单个静态图像。
通过非限性示例方式,惯性传感器可以包括加速计或陀螺仪。陀螺仪允许基于角动量的原理测量和/或维持取向。来自加速计或陀螺仪的数据可以被处理器用于确定或估计移动设备的(3D)取向状态。当用户将移动设备指向给定方向以使房间中的特定区域或位置成像时,这在惯性传感器中生成响应,该响应可以用来确定移动设备正指向哪个方向。
基于此信息,处理器可以被配置成估计相机的视点被定向在房间内的什么高度水平处,并且使用此信息确定向用户显示的用于在该高度水平处安装的适当类别的照明器。存在许许多多照明器类别,通过非限性示例的方式包括落地上照灯、落地聚光灯、墙壁上照灯、桌灯、台灯、天花板聚光灯和天花板吊灯。例如,相机视点在房间的地面水平高度处定向的确定将指示落地灯是适当的。中等水平高度可以指示壁灯。天花板水平可以例如指示天花板聚光灯或吊灯。
所确定的取向状态可以另外允许执行更精妙的分析,例如不仅确定用户设想安装照明器的高度水平,而且确定照明器被期望安装的特定方位或取向。这样的分析可以允许区分例如指向地面上的区域或指向桌子表面上的点的移动设备,这二者要求不同种类的照明器。该区别可以例如通过面向讨论中的目标点保持移动设备的倾斜的陡度来推断。
一旦照明器的适当类别被确定,处理器可以适于访问包含可用照明器集合的虚拟图像的目录或数据库(或其他存储介质),并且适于从所述目录或数据库中选择该适当类别的一个或多个照明器图像。在一些示例中,处理器可以被配置成随机地或者基于一些另外的处理步骤选择该适当类别的仅一个照明器图像,并且使用所述选择的图像构造增强现实图像。在其他示例中,处理器可以适于选择该适当类别的多个虚拟图像,并且适于借助于用户输入元件进一步寻求关于在构造增强现实图像中要使用所述多个虚拟图像中的哪一个的用户输入。例如,显示面板14可以被控制以向用户显示所述多个图像或所述多个图像的子组,并且处理器被配置成从用户输入元件接收命令以指示要选择所显示的图像中的哪一个以用于包含在增强现实图像内。
用户输入元件可以被合并在触摸屏显示面板形式的显示面板14内。然而,在可替换的示例中,用户输入元件可以包括设置在设备外壳上或其中的物理按钮。用户输入元件也可以包括例如语音识别元件或手势识别元件。
虚拟照明器图像的数据库或目录可以存储在移动设备自身所包括的存储单元中,或者可以存储在移动设备的外部并且经由网络或互联网连接被访问。在后者的情况下,处理器适于从外部存储介质中下载所选择的图像中的每一个或多个图像,以便构造增强现实图像或向用户显示所选择的图像组。
为了说明本发明的概念,图2描绘了本发明的实施例可以应用于其中的房间22的内部布局的示意性示例。在该示例房间内描绘了用于不同类别的照明器的可能安装的五个示例目标位置26、32、36、40、42,每个目标位置由叠加的“X”符号表示。第一目标位置26在边桌28的表面上。第二目标位置32处在墙壁部分34的中部水平。第三目标位置36处在第二墙壁的较高水平,设置成与第一目标位置成一定角度。第四目标位置40处于房间角落的地面上。第五目标位置42处于房间的天花板上。所选的目标位置仅仅是用户可能期望安装照明器的特定方位的示例,并且绝不构成可能的目标位置的限制性集合。
在图3a-c中描绘了房间22的示意性侧视图,其中示出了在三个不同方向上取向的移动设备,从而在相机的视场52内捕获三个不同的目标照明器位置。在图3a中,用户已经将移动设备12向下指向边桌28的表面上的目标位置26。在此状态下,设备以相对于垂直面成近似30°取向。在图3b中,用户已将移动设备的相机16直着向前指向墙壁部分34上的第二目标点32。在此状态下,设备12平行于垂直面取向。在图3c中,用户持有设备并将设备向上指向房间的天花板上的第三目标点42。在此状态下,设备以相对于垂直面成大约45°取向(或者使用与用于第一目标位置的度量连续的度量,315°)。
应当理解,各种更复杂的取向状态将不可避免地在设备的真实世界使用期间实现,包括围绕所有三个笛卡尔(Cartesian)轴的取向水平,而非像在三个当前示例中那样仅一个轴。这些示例被选择以便仅提供潜在概念的简单例证。
在图4中,描绘了图3a中所示的取向状态下的移动设备的透视图,其中用户已将设备向下指向边桌28。当将设备向下指向桌子时,惯性传感器生成处理器可以从中确定设备的3D取向状态的输出。当确定设备以相对于垂直面成近似30°取向时,处理器然后可以基于此信息确定相机视场52的对应高度水平与桌子或书桌的水平相称。“台灯”照明器类别然后可以由处理器选择,并且台灯照明器的一个或多个虚拟图像被访问。基于用户输入或另外的处理步骤,来自所确定类别的单个照明器虚拟图像56被选择并且与所捕获的相机图像组合以生成并在设备的显示面板14上显示增强现实图像58。增强现实图像示出位于桌子上的所选择的照明器56。
基于所确定的取向状态对适当的照明器类别的确定可以例如借助于对内部或外部存储的查找表的检查来执行,例如在该查找表中设备的特定3D取向与照明器的某些类别匹配或关联。这些关联可以是特定于设备的,使得具有不同外部尺寸和/或具有安装在其外部壳体内的不同方位的相机的移动设备例如将要求调整查找表的条目。例如,这对每一个移动设备而言可以提前执行,或者可以由用户通过校准过程执行。
在示例中,通过将所存储的虚拟图像与所捕获的相机图像进行组合而实现的增强现实图像的生成可以包括虚拟图像在从内部或外部存储介质中检索之后的数字操控或调整的附加过程。这些操控可以包括例如图像的重调或在插入在所捕获的相机图像内之前图像的重取向。操控或调整在某些情况下可以依据所捕获的图像内检测的一个或多个视觉特征来进行。
例如,处理器可以适于识别或标识所捕获的图像内的一个或多个特征,确定一个或多个所识别的特征的位置和/或取向,并且依据此信息在相机图像内对虚拟图像重取向和/或重定位。例如,这些特征可以给出关于下述的线索:(3D)虚拟图像应当以什么角度再现;它应当以什么外部尺寸再现;以及它应当定位在相机图像内的什么位置。
在“现场”或实时增强图像再现的情况下,当用户将移动设备移动到略微不同的方位和取向时,这样的调整可以连续执行,以便维持桌子上的虚拟照明器56的一致的增强视图。
这些特征可以是处理器被配置成提前识别的外在的、人为安装的特征,比如标签或标记。标签或标记可以具有特定形状,或者包括允许它们在所捕获的图像内的存在性容易分辨的特定图案。可替换地,这些特征可以是房间或空间的固有特征,处理器适于在所捕获的图像中识别这些特征。固有特征可以包括例如墙壁边界、天花板-墙壁边界、天花板面板、通风板或捕获的图像内的角度或尺寸或桌子或书桌表面。
处理器配置以标识和在进行虚拟图像调整中使用的特定特征对不同的所确定的照明器类别而言可能是不同的。例如,一旦处理器确定了移动设备的取向使得相机的视场落在桌子或书桌的高度水平处,处理器可以适于切换到寻找固有特征的特定子集,特别是与桌子表面、边界、腿等有关的子集。
在可替换示例中,专用标记或目标可以由用户手动粘贴在房间的期望位置处,以提供对虚拟图像校准和定向的辅助。
这些特征可以充当用于虚拟照明器图像在相机图像内的定位的对准目标,即处理器适于识别图像内的特征,确定图像内特征的位置,以及随后与特征的所确定的位置对准或一致地定位虚拟照明器图像。
可替换地,处理器可以适于将某些特征(固有的或人造的)识别为表示障碍,并且调整相机图像内虚拟照明器的定位以便避免与所述障碍重叠。
在示例中,处理器可以进一步适于依照一个或多个特征在所捕获的图像内的所确定的方位和或取向来调整虚拟图像的3D取向。例如,处理器可以适于根据人造标签或标记的特定取向和尺寸确定标签被相机看到的特定透视图,并且调整照明器的取向以符合该透视图。
在图5中,描绘了图3中所示的取向状态下移动设备的透视图,其中设备直着向前朝着墙壁部分34的中间的目标位置32定向。处理器确定设备基本上平行于垂直面取向并且相应地标识相机的视场落在墙壁部分34的中心点上。基于此,“壁灯”照明器类别被处理器选择,并且壁灯照明器的一个或多个虚拟图像被访问。
再次,基于用户输入或另外的处理步骤,选择来自所确定的类别的单个照明器虚拟图像56并且将其与所捕获的相机图像组合以生成并在设备的显示面板14上显示增强现实图像58。增强现实图像示出墙壁部分34上中心点处叠加的所选照明器。
最终示例在图6中图示,其中描绘了图3c中所示的取向状态的透视图。用户将移动设备12向上指向天花板上的目标点42。来自移动设备内的惯性传感器的数据允许处理器确定移动设备以相对于垂直面成近似315°取向,并且因此相机的视场与房间内的天花板水平的高度一致。相应地,“天花灯”照明器类别被处理器选择,并且此类别的照明器的一个或多个虚拟图像被访问和检索。在对单个照明器图像56进行选择时,通过用户输入或处理,增强现实图像被再现和显示在显示面板14上,描绘了在天花板上目标点42处安装的所选照明器。
如上所讨论,实施例利用了用于控制图像的显示和选择的处理器。处理器可以利用软件和/或硬件以众多方式实现,以执行各种所需功能。处理器典型地采用可以使用软件(微代码)编程以执行所需功能的一个或多个微处理器。可能存在执行某些功能的专用硬件和执行其他功能的处理器(例如一个或多个编程的微处理器和关联电路)的组合。
可以在本公开的各种实施例中采用的处理器的示例包括但不限于:常规微处理器、专用集成电路(ASIC)以及现场可编程门阵列(FPGA)。在各种实现方式中,处理器或控制器可以与诸如易失性和非易失性计算机存储器,比如RAM、PROM、EPROM和EEPROM之类的一个或多个存储介质关联。存储介质可以利用一个或多个程序进行编码,所述程序在一个或多个处理器和/或控制器上执行时执行所需功能。各种存储介质可以固定在处理器或控制器内,或者可以是便携式的,使得所述一个或多个存储在其上的程序可以被加载到处理器或控制器中。
在实践要求保护的本发明时,通过研究附图、公开内容和所附权利要求,本领域技术人员可以理解并实现所公开的实施例的其他变形。在权利要求中,词语“包括”不排除其他元件或步骤,并且不定冠词“一”不排除多个。在相互不同的从属权利要求中叙述某些措施的仅有事实并不指示这些措施的组合不能用于获益。权利要求中的任何附图标记不应当被解释为限制范围。
Claims (13)
1.一种移动设备(12),包括:
显示面板(14);
适于捕获图像的相机(16);
取向确定传感器;以及
处理器,该处理器适于:
从取向确定传感器接收取向数据,该取向数据指示移动设备的所确定的取向,
基于所确定的取向从照明器类别集合中选择照明器类别,每个照明器类别与至少一个取向关联,
从存储的虚拟照明器图像集合之中选择所选照明器类别的照明器灯具的虚拟图像(56),
通过将所选照明器类别的照明器灯具的所选虚拟图像与由相机捕获的图像组合来生成增强现实图像(58),以及
控制显示面板(14)以显示所生成的增强现实图像(58)。
2.如权利要求1所述的移动设备,其中取向确定传感器包括惯性传感器。
3.如任一前述权利要求所述的移动设备(12),其中处理器适于通过在相机图像内的目标位置处覆盖照明器灯具的虚拟图像(56)来生成增强现实图像(58)。
4.如任一前述权利要求所述的移动设备(12),其中移动设备进一步包括适于响应于用户输入命令生成输出信号的用户输入元件,并且其中处理器适于通过下述来选择照明器灯具的虚拟图像(56):
基于由取向确定传感器生成的数据,从所存储的照明器灯具图像的集合之中选择虚拟照明器灯具图像的子集,以及
基于来自用户输入元件的输出信号,从所选择的子集之中选择照明器灯具的虚拟图像(56)。
5.如权利要求4所述的移动设备(12),其中所选择的子集对应于用于房间内的照明器灯具的可能安装位置的特定类别。
6.如权利要求5所述的移动设备(12),其中可能的安装位置的所述类别对应于房间内的特定的高度类别。
7.如权利要求4-6中任一项所述的移动设备(12),其中处理器适于控制显示面板(14)以显示虚拟照明器灯具图像的所选子集的子组。
8.如任一前述权利要求所述的移动设备(12),其中所存储的照明器灯具的虚拟图像被存储在移动设备的外部,并且处理器适于通过从所述外部存储的虚拟图像下载所选择的虚拟图像来生成增强现实图像(58)。
9.一种使用移动设备使房间内的照明器灯具可视化的方法,该移动设备(12)包括:
显示面板(14);
相机(16);以及
取向确定传感器,
该方法包括:
使用相机(16)捕获图像;
捕获由取向确定传感器生成的取向数据,该取向数据指示移动设备的所确定的取向;
基于所确定的取向从照明器类别集合中选择照明器类别,每个照明器类别与至少一个取向关联,
至少部分地基于从取向确定传感器捕获的数据,从所存储的虚拟图像集合之中选择所选照明器类别的照明器灯具的虚拟图像(56);
通过将所选照明器类别的照明器的所选虚拟图像与由相机捕获的图像组合来生成增强现实图像(58),以及
控制显示面板(14)以显示所生成的增强现实图像(58)。
10.如权利要求9所述的方法,其中生成增强现实图像(58)包括在相机图像内的目标位置处覆盖照明器灯具的虚拟图像(56)。
11.如权利要求9-10中任一项所述的方法,其中移动设备(12)进一步包括适于响应于用户输入命令生成输出信号的用户输入元件,并且其中所述选择照明器灯具的虚拟图像(56)包括:
基于从取向确定传感器捕获的数据,从所存储的照明器灯具图像集合之中选择虚拟照明器灯具图像的子集,以及
基于来自用户输入元件的输出信号,从所选择的子集之中选择照明器灯具的虚拟图像(56)。
12.如权利要求11所述的方法,进一步包括控制显示面板(14)以显示虚拟照明器图像的所选子集的子组,以及至少部分地基于来自用户输入元件的输出信号确定控制面板(14)被控制以显示的子组的成员。
13.一种计算机程序,包括计算机程序代码,该计算机程序代码适于当在计算机上运行时执行权利要求9至12中任一项的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15173350.8 | 2015-06-23 | ||
EP15173350 | 2015-06-23 | ||
PCT/EP2016/063366 WO2016206997A1 (en) | 2015-06-23 | 2016-06-10 | Augmented reality device for visualizing luminaire fixtures |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107851335A true CN107851335A (zh) | 2018-03-27 |
Family
ID=53502449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680036888.1A Pending CN107851335A (zh) | 2015-06-23 | 2016-06-10 | 用于使照明器灯具可视化的增强现实设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11410390B2 (zh) |
EP (1) | EP3314581B1 (zh) |
CN (1) | CN107851335A (zh) |
WO (1) | WO2016206997A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111902849A (zh) * | 2018-04-09 | 2020-11-06 | 昕诺飞控股有限公司 | 在图像上叠加传感器及其检测区域的虚拟表示 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018200685A2 (en) | 2017-04-27 | 2018-11-01 | Ecosense Lighting Inc. | Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations |
US10937245B2 (en) | 2017-12-20 | 2021-03-02 | Signify Holding B.V. | Lighting and internet of things design using augmented reality |
US11232502B2 (en) * | 2017-12-20 | 2022-01-25 | Signify Holding B.V. | Lighting and internet of things design using augmented reality |
US10762702B1 (en) * | 2018-06-22 | 2020-09-01 | A9.Com, Inc. | Rendering three-dimensional models on mobile devices |
DE102019102252A1 (de) * | 2019-01-30 | 2020-07-30 | Trilux Gmbh & Co. Kg | Verfahren zur Unterstützung der Installation eines Sensors bzw. einer Leuchte in Beleuchtungssystemen |
JP2023533431A (ja) | 2020-06-04 | 2023-08-03 | シグニファイ ホールディング ビー ヴィ | 照明デバイスの複数のパラメータを構成する方法 |
US11734929B2 (en) * | 2021-12-07 | 2023-08-22 | Marxent Labs Llc | Enhanced product visualization technology with web-based augmented reality user interface features |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
US20110219339A1 (en) * | 2010-03-03 | 2011-09-08 | Gilray Densham | System and Method for Visualizing Virtual Objects on a Mobile Device |
US20140111544A1 (en) * | 2012-10-24 | 2014-04-24 | Exelis Inc. | Augmented Reality Control Systems |
US20140132595A1 (en) * | 2012-11-14 | 2014-05-15 | Microsoft Corporation | In-scene real-time design of living spaces |
US20140347394A1 (en) * | 2013-05-23 | 2014-11-27 | Powerball Technologies Inc. | Light fixture selection using augmented reality |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8675025B2 (en) | 2009-12-17 | 2014-03-18 | Nokia Corporation | Method and apparatus for providing control over a device display based on device orientation |
ES2739222T3 (es) * | 2010-06-14 | 2020-01-29 | Avery Dennison Corp | Método de fabricación de un dispositivo de identificación por radiofrecuencia |
US9910866B2 (en) | 2010-06-30 | 2018-03-06 | Nokia Technologies Oy | Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality |
US8698843B2 (en) * | 2010-11-02 | 2014-04-15 | Google Inc. | Range of focus in an augmented reality application |
JP6040564B2 (ja) * | 2012-05-08 | 2016-12-07 | ソニー株式会社 | 画像処理装置、投影制御方法及びプログラム |
JP5732620B2 (ja) | 2012-05-24 | 2015-06-10 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
US20140282220A1 (en) | 2013-03-14 | 2014-09-18 | Tim Wantland | Presenting object models in augmented reality images |
US10025486B2 (en) | 2013-03-15 | 2018-07-17 | Elwha Llc | Cross-reality select, drag, and drop for augmented reality systems |
US9286727B2 (en) | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
US9552674B1 (en) * | 2014-03-26 | 2017-01-24 | A9.Com, Inc. | Advertisement relevance |
US9972131B2 (en) * | 2014-06-03 | 2018-05-15 | Intel Corporation | Projecting a virtual image at a physical surface |
-
2016
- 2016-06-10 EP EP16732521.6A patent/EP3314581B1/en active Active
- 2016-06-10 WO PCT/EP2016/063366 patent/WO2016206997A1/en unknown
- 2016-06-10 US US15/739,799 patent/US11410390B2/en active Active
- 2016-06-10 CN CN201680036888.1A patent/CN107851335A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
US20110219339A1 (en) * | 2010-03-03 | 2011-09-08 | Gilray Densham | System and Method for Visualizing Virtual Objects on a Mobile Device |
US20140111544A1 (en) * | 2012-10-24 | 2014-04-24 | Exelis Inc. | Augmented Reality Control Systems |
US20140132595A1 (en) * | 2012-11-14 | 2014-05-15 | Microsoft Corporation | In-scene real-time design of living spaces |
US20140347394A1 (en) * | 2013-05-23 | 2014-11-27 | Powerball Technologies Inc. | Light fixture selection using augmented reality |
Non-Patent Citations (2)
Title |
---|
DAVID E.BREEN,ET AL.: "Interactive occlusion and automatic object placement for augmented reality", 《BLACKWELL PUBLISHERS, COMPUTER GRAPHICS FORUM》 * |
王叫兽: "《AR增强现实技术全解读》", 《HTTPS://BAIJIAHAO.BAIDU.COM/S?ID=1594647896450973502》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111902849A (zh) * | 2018-04-09 | 2020-11-06 | 昕诺飞控股有限公司 | 在图像上叠加传感器及其检测区域的虚拟表示 |
Also Published As
Publication number | Publication date |
---|---|
US11410390B2 (en) | 2022-08-09 |
WO2016206997A1 (en) | 2016-12-29 |
EP3314581B1 (en) | 2019-09-11 |
EP3314581A1 (en) | 2018-05-02 |
US20180197339A1 (en) | 2018-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107851335A (zh) | 用于使照明器灯具可视化的增强现实设备 | |
US10579134B2 (en) | Improving advertisement relevance | |
JP5819431B2 (ja) | 照明システムを制御する方法及びユーザ対話システム、持ち運び可能な電子デバイス並びにコンピュータプログラム | |
US10049493B1 (en) | System and methods for providing interaction with elements in a virtual architectural visualization | |
US11810344B2 (en) | Image recognition system | |
CN104364753B (zh) | 用于突出显示活动界面元素的方法 | |
US11775074B2 (en) | Apparatuses, systems, and/or interfaces for embedding selfies into or onto images captured by mobile or wearable devices and method for implementing same | |
AU2009298428B2 (en) | Systems and methods for optimizing a scene | |
CN107004279A (zh) | 自然用户界面相机校准 | |
CA2739260C (en) | Systems and methods for evaluating robustness | |
CN107113544A (zh) | 物联网设备的3d映射 | |
CN106062862A (zh) | 用于沉浸式和交互式多媒体生成的系统和方法 | |
CN101198989A (zh) | 用于邻近区域和建筑物内的可视化、规划、监视和探察的系统和设备 | |
CN103339650A (zh) | 信息处理装置、信息处理方法及程序 | |
Funk | Augmented reality at the workplace: a context-aware assistive system using in-situ projection | |
NO343601B1 (en) | Method and system for augmented reality assembly guidance | |
EP3422145A1 (en) | Provision of virtual reality content | |
US10079966B2 (en) | Systems and techniques for capturing images for use in determining reflectance properties of physical objects | |
JP2018180868A (ja) | 画像処理装置及び製造システム | |
CN109642788A (zh) | 信息处理系统、信息处理方法以及程序 | |
US20230284361A1 (en) | A method of configuring a plurality of parameters of a lighting device | |
JP6589444B2 (ja) | 建築素材画像処理システム、方法、及びプログラム | |
JP2015099545A (ja) | 画像生成システム及び画像生成プログラム | |
EP3878531A1 (en) | Device, system and method for immersive visualization in a customized architectural scenario | |
US20200302643A1 (en) | Systems and methods for tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Eindhoven Applicant after: Signify Holdings Ltd. Address before: Eindhoven, the Netherlands Applicant before: PHILIPS LIGHTING HOLDING B.V. |