CN110709896A - 用于呈现虚拟对象的系统及其方法 - Google Patents

用于呈现虚拟对象的系统及其方法 Download PDF

Info

Publication number
CN110709896A
CN110709896A CN201880036033.8A CN201880036033A CN110709896A CN 110709896 A CN110709896 A CN 110709896A CN 201880036033 A CN201880036033 A CN 201880036033A CN 110709896 A CN110709896 A CN 110709896A
Authority
CN
China
Prior art keywords
virtual object
lighting device
image
rendering
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880036033.8A
Other languages
English (en)
Inventor
D.V.R.恩格伦
D.V.阿利亚克赛尤
J.E.梅斯
B.M.范德斯勒伊斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of CN110709896A publication Critical patent/CN110709896A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/175Controlling the light source by remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Abstract

公开了一种呈现虚拟对象的方法(400)。方法(400)包括:检测(402)由照明设备(120)发射的光(122),所述光(122)包括表示照明设备(120)的属性的嵌入编码,获取(404)虚拟对象,基于照明设备(120)的属性,确定(406)虚拟对象的外观和/或行为,以及根据所确定的外观和/或行为,在图像呈现设备(104)上呈现(408)虚拟对象。

Description

用于呈现虚拟对象的系统及其方法
技术领域
本发明涉及一种呈现虚拟对象的方法以及一种用于执行该方法的计算机程序产品。本发明还涉及一种用于呈现虚拟对象的系统。
背景技术
虚拟现实(VR)和增强现实(AR)的近期发展使得用户能够与虚拟对象交互。这些虚拟对象可以例如在智能电话或AR眼镜上被显示为物理世界之上的覆盖物。该技术能够实现许多不同类型的应用,例如基于方位的寻宝游戏、虚拟宠物的饲养等。AR和编码光技术的近期发展能够实现针对与这种虚拟对象的交互和这种虚拟对象的生成的新范例。
US 20140043321 A1公开了在模拟环境中可视化对象。可以将对象呈现为实际环境上的覆盖物。环境数据库可以存储表示与要模拟的环境相关联的物理属性(诸如照明条件)的环境数据。
发明内容
本发明的目的是提供一种针对虚拟对象的生成的新范例。
根据本发明的第一方面,通过一种呈现虚拟对象的方法来实现该目的,该方法包括:
-检测由照明设备发射的光,该光包括表示照明设备的属性的嵌入编码,
-获取虚拟对象,
-基于照明设备的属性确定虚拟对象的外观和/或行为,以及
-根据所确定的外观和/或行为在图像呈现设备上呈现虚拟对象。
通过基于照明设备的属性确定虚拟对象的外观和/或行为,虚拟对象的外观和/或行为对于每个照明设备可以是不同的。例如,当属性表示照明设备的类型(例如,LED条与LED灯泡)时,将根据照明设备的类型呈现虚拟对象。例如,当虚拟对象是虚拟角色时,这是有益的,因为将依照照明设备的类型来呈现虚拟角色(例如,当照明设备是LED条时,虚拟蛇角色可以被呈现为细长的,而当照明设备是LED灯泡时,可以以更紧凑的形式呈现相同的虚拟蛇角色)。
照明设备发射包括表示照明设备的属性的嵌入编码的光。操作诸如智能电话或智能眼镜的(移动)设备的用户可以将移动设备定位成使得其光检测器(例如相机或光电二极管)在光源的视线内,于是可以检测嵌入编码,可以从嵌入编码检索属性,并且可以基于其确定虚拟对象的外观和/或行为。这使得用户能够将移动设备的光检测器指向不同的照明设备,从而改变虚拟对象的外观和/或行为并获得对将如何呈现虚拟对象的控制。
照明设备的属性可以表示照明设备中的一个或多个光源的配置/分布。附加地或可替代地,照明设备的属性可以表示由照明设备发射的光的(当前)光设置和/或光分布。附加地或可替代地,照明设备的属性可以表示照明设备的空间方位。照明设备的属性例如可以与下列中的至少一个有关:
-由照明设备发射的光的束形状,
-照明设备(120)的形状,
-照明设备(120)的标识符,
-照明设备的类型,
-照明设备的光设置,以及
-照明设备的位置和/或取向。
在实施例中,嵌入编码可以表示照明设备的不同属性。这可能是有益的,因为它进一步指定了虚拟对象的外观和/或行为。
虚拟对象的外观与虚拟对象看起来如何有关。虚拟对象的外观可以例如与下列中的至少一个有关:
-虚拟对象的大小,
-虚拟对象的形状,
-虚拟对象的颜色,以及
-虚拟对象的透明度。
虚拟对象的行为与虚拟对象在虚拟环境中的空间和时间行为有关。虚拟对象的行为可以例如与下列中的至少一个有关:
-虚拟对象的移动,
-虚拟对象的移动速度,
-虚拟对象的轨迹,以及
-虚拟对象的寿命。
该方法可以进一步包括检测由第二照明设备发射的光,该光包括表示第二照明设备的第二属性的第二嵌入编码,并且虚拟对象的外观和/或行为可以基于照明设备的属性和第二照明设备的第二属性。因此,虚拟对象的外观和/或行为可以基于多个照明设备的属性。比如,第一照明设备的第一属性可以是第一光设置(例如红光),并且第二照明设备的第二属性可以是第二光设置(例如黄光),并且基于此,虚拟对象可以以例如橙色或红/黄色图案来呈现。
该图像呈现设备可以被包括在包括图像捕获设备的移动设备中,并且该方法可以进一步包括:
-在由图像捕获设备捕获的图像中识别对象,
-确定对象在图像中的第一方位,以及
-基于对象在图像中的第一方位,在图像呈现设备上的第二方位处呈现虚拟对象。因此,对象可以用作用于呈现虚拟对象的锚点。这是有益的,因为它能够实现在相对于对象方位的方位处呈现虚拟对象。第一方位和第二方位之间的关系可以是预定义的。第二方位可以例如位于第一方位附近、远离第一方位或与第一方位相同。
图像呈现设备可以被包括在包括图像捕获设备的移动设备中,并且该方法可以进一步包括:
-确定对象在由图像捕获设备捕获的图像中的第一方位,以及
-基于对象在图像中的第一方位,在图像呈现设备上的第二方位处呈现虚拟对象。第一方位和第二方位之间的关系可以是预定义的。因此,照明设备可以用作用于呈现虚拟对象的锚点。这是有益的,因为它能够实现在相对于照明设备方位的方位处呈现虚拟对象。第一方位和第二方位之间的关系可以是预定义的。第二方位可以例如位于第一方位附近、远离第一方位或与第一方位相同。
该方法可以进一步包括:
-确定第二照明设备在图像捕获设备的视场中的第三方位,
-基于照明设备的第一方位和第二照明设备的第三方位,确定虚拟对象的移动轨迹,以及
-根据确定的移动轨迹在图像呈现设备上呈现虚拟对象。
这能够实现根据相对于照明设备的轨迹移动的虚拟对象的呈现,这改善了虚拟对象与照明设备之间的交互。
该方法可以进一步包括:
-控制照明设备,使得其发射包括更新的嵌入编码的光,该更新的嵌入编码表示虚拟对象的外观和/或行为的变化的指令,并且
-检测更新的嵌入编码,
-基于更新的嵌入编码来确定虚拟对象的更新的外观和/或更新的行为,以及
-根据更新的外观和/或更新的行为在图像呈现设备上呈现虚拟对象。
这实现了一种(移动)设备,其检测更新的编码以改变虚拟对象的外观和/或行为。这进一步实现了控制照明设备以确定将如何在接收更新的嵌入编码的设备上呈现虚拟对象的设备。
图像呈现设备可以例如是移动设备的显示器,并且虚拟对象可以被呈现在显示器上。附加地,虚拟对象可以被呈现为移动设备所位于的物理环境的视野上的覆盖物。移动设备可以包括被配置为捕获图像的图像捕获设备。该方法可以进一步包括以下步骤:在显示器上呈现由图像捕获设备捕获的图像,并且在显示器上将虚拟对象呈现为图像上的覆盖物。可替代地,移动设备可以是智能眼镜,例如增强/混合现实智能眼镜,并且图像呈现设备可以是投影仪,其被配置为将虚拟对象作为移动设备所位于的物理环境的视野上的覆盖物投映在智能眼镜上,或者直接投映在用户的视网膜上。在本发明的上下文中,术语“视野”涉及物理环境的一部分的用户的视野(视场),其通过移动设备(例如,在图像呈现设备上或通过一组智能眼镜)对于操作该移动设备(即,AR设备)的用户而言是可见的。例如,这可以是正在图像呈现设备上呈现的物理环境的图像,或者可以是通过例如一副智能眼镜可见的物理环境。
获取虚拟对象的步骤可以包括基于照明设备的属性从存储器选择虚拟对象。可以基于照明设备的属性来(首先)选择虚拟对象,并且可以基于照明设备的属性或基于照明设备的另一属性来(第二)确定其外观和/或行为。
根据本发明的第二方面,该目的通过用于计算设备的计算机程序产品来实现,该计算机程序产品包括计算机程序代码,当计算机程序产品在计算设备的处理单元上运行时,计算机程序代码执行上述权利要求中的任一项所述的方法。
根据本发明的第三方面,该目的通过用于呈现虚拟对象的系统来实现,该系统包括:
-图像呈现设备,
-光检测器,被配置为检测由照明设备发射的光,该光包括表示照明设备的属性的嵌入编码,以及
-处理器(102),被配置为获取虚拟对象,基于照明设备的属性确定虚拟对象的外观和/或行为,并根据所确定的外观和/或行为在图像呈现设备上呈现虚拟对象。
该系统可以进一步包括图像捕获设备,并且处理器可以被进一步配置为确定照明设备和/或对象在图像捕获设备的视场中的方位,并且基于照明设备和/或对象在图像捕获设备的视场中的方位来确定在图像呈现设备上的何处呈现虚拟对象。
应当理解,所要求保护的计算机程序产品和系统可以具有与所要求保护的方法相似和/或相同的实施例和优点。
附图说明
参考附图,通过以下对设备和方法的实施例的说明性和非限制性的详细描述,将更好地理解所公开的系统、移动设备和方法的上述以及附加的目的、特征和优点,在附图中:
图1示意性地示出了用于呈现虚拟对象的系统的实施例;
图2a、2b和2c示出了虚拟对象的外观和/或行为可以如何基于光源的属性的示例;
图3示意性地示出了可以如何基于多个照明设备的方位来确定移动轨迹;以及
图4示意性地示出了呈现虚拟对象的方法。
所有附图都是示意性的,不一定合乎比例,并且通常仅示出了为了阐明本发明所必需的部分,其中可以省略或仅建议其他部分。
具体实施方式
图1示意性地示出了用于呈现虚拟对象的系统的实施例。该系统包括:移动设备100,移动设备100包括图像呈现设备104、光检测器112以及处理器102,光检测器112被配置为检测由照明设备120发射的光122,所述光122包括表示照明设备120的属性的嵌入编码。处理器102被配置为获取虚拟对象,基于照明设备120的属性确定虚拟对象的外观和/或行为,并根据所确定的外观和/或行为在图像呈现设备104上呈现虚拟对象。
处理器102(例如,微控制器、电路、微芯片等)被配置为获取虚拟对象。处理器102可以从存储器106选择虚拟对象。附加地或可替代地,嵌入编码可以包括用于移动设备100的以用于呈现特定虚拟对象的指令,和/或嵌入编码可以包括表示虚拟对象的数据(例如,表示虚拟对象的2D/3D模型的数据)。移动设备100可以包括存储器106。可替代地,移动设备100可以包括用于与远程存储器106通信的通信单元108。通信单元108可以被进一步配置为与其他设备通信,诸如与照明设备120通信以便例如控制照明设备120。移动设备100的通信单元108可以被配置为经由一个或多个通信协议与其他设备通信。通信单元108可以使用各种通信协议,例如以太网、蓝牙、Wi-Fi、Li-Fi、3G、4G或ZigBee。
存储器106可以包括被配置为存储多个虚拟对象的虚拟对象数据库。处理器102可以基于一个或多个选择标准来获取/选择虚拟对象。该选择可以例如取决于正在移动设备100上运行的应用。比如,(游戏)应用可以确定在当前(游戏)背景中应当选择(并且呈现)哪个虚拟对象。在另一示例中,虚拟对象的选择可以基于照明设备120的属性。接下来,可以基于该属性或者基于照明设备120的另一属性来确定外观和/或行为。比如,照明设备120的类型可以确定选择哪个虚拟对象(例如,针对LED条的第一虚拟对象和针对LED管的第二虚拟对象),并且可以基于照明设备120的类型或另一属性(诸如光设置)来确定虚拟对象的行为。在另一示例中,虚拟对象的选择可以基于指示虚拟对象的选择的用户输入。移动设备100可以例如包括用户接口,该用户接口被配置为接收指示虚拟对象的选择的用户输入,随后基于照明设备120的属性确定其外观和/或行为。
处理器102还被配置为基于照明设备120的属性来确定虚拟对象的外观和/或行为。处理器102可以通过访问查找表(其可以存储在存储器106中)来确定虚拟对象的外观和/或行为,该查找表可以存储属性与特定虚拟对象的外观和/或行为之间的关联。处理器102可以将从嵌入编码检索到的属性与存储在查找表中的属性进行比较,并且如果该属性对应于在查找表中的存储的属性,则选择虚拟对象的外观和/或行为。附加地或可替代地,处理器102可以基于该属性来更改选择的虚拟对象。该属性可以例如与照明设备120的当前光设置(例如,亮度和/或颜色)有关,并且处理器102可以基于当前的光设置来改变所选择的虚拟对象(的一部分)的颜色。附加地或可替代地,处理器102可以基于该属性确定在图像呈现设备104上的何处呈现虚拟对象。该属性可以例如与照明设备120发射的光的束形状有关,并且处理器102可以确定在一位置处呈现虚拟对象,使得从用户的视角来看,虚拟对象似乎位于光束中。
图2a-2c示出了如何在移动设备200的显示器204上将虚拟对象(在这些示例中为虚拟角色)呈现为在由移动设备200的图像捕获设备捕获的图像上的覆盖物的示例。在图2a中,照明设备220a是(便携式)桌面照明设备。照明设备220a可以发射包括指示其类型的嵌入编码的光(例如,Philips Hue Go灯)。基于该类型,处理器102(图2a中未示出)可以确定虚拟角色240a的外观和行为(例如:外观:默认外观;行为:在照明设备220a'之上静止),以及将虚拟对象相应地呈现为由移动设备200的图像捕获设备(未示出)捕获的照明设备220a的图像上的覆盖物。
在另一示例中,参考图2b,照明设备220b是线性照明设备。照明设备220b可以发射包括指示其类型(例如,LED条)的嵌入编码的光。基于该类型,处理器102(图2b中未示出)可以确定虚拟角色240b的外观和行为(例如:外观:“球”外观;行为:跨照明设备220b'的旋转移动)。处理器102可以将虚拟对象240b、240b'、240b''、240b'''呈现为由移动设备200的图像捕获设备(未示出)捕获的照明设备220b的一个或多个图像之上的覆盖物。处理器可以随着时间推移呈现虚拟对象240b、240b'、240b''、240b'''',使得对用户而言虚拟对象240b、240b'、240b''、240b''''好像正在跨照明设备220b滚动。附加地,处理器可以被进一步配置为确定照明设备220b的哪些光源为接通(例如,基于从照明设备220b接收的信号,基于发送给照明设备220b的控制信号,基于对捕获的照明设备220b的一个或多个图像的图像分析等),并基于其确定虚拟对象240b的移动速度。光源可以例如顺序地被接通和关断,并且虚拟对象240b可以与接通的光源一起移动。
在另一示例中,参考图2c,照明设备220c是灯泡。照明设备220c可以发射包括指示其类型(例如,LED灯泡)的嵌入编码的光。基于该类型,处理器102(图2c中未示出)可以确定虚拟角色240c的外观和行为(例如:外观:“飞行”外观;行为:飞行移动)。处理器102可以将虚拟对象240c呈现为由移动设备200的图像捕获设备(未示出)捕获的照明设备220c的一个或多个图像之上的覆盖物。处理器可以随着时间推移呈现虚拟对象240c,使得对用户而言虚拟对象虚拟对象240c好像正在照明设备220c下方“飞行”。
移动设备100还包括光检测器112,该光检测器112被配置为检测由照明设备120发射的光122,该光122包括表示照明设备120的属性的嵌入编码。光检测器112可以例如是光电二极管或相机。可以通过将编码嵌入光中的任何已知原理来创建该编码,例如,通过控制到照明设备的时变的调制电流以通过调制光脉冲的幅度和/或占空比等来产生光输出122的变化。
处理器102被配置为从光122检索嵌入编码。该编码可以包括关于照明设备120的信息。该编码可以包括照明设备120的标识符,这可以使得处理器102能够识别照明设备120并通过访问存储照明设备的标识符与其属性之间的关联的数据库来确定照明设备120的一个或多个属性。数据库可以被存储在移动设备100中并且可以被处理器102直接访问,或者可以被存储在存储器106中或诸如照明控制系统的远程设备中,并且可以被处理器102经由例如通信单元108访问。可以将照明设备120的标识符与存储的标识符进行比较,并且如果该标识符对应于存储的标识符,则与该存储的标识符相关联的一个或多个属性可以被处理器102检索到。
附加地或可替代地,编码可以包括照明设备120的属性,这使得处理器102能够直接从编码检索照明设备120的一个或多个属性。照明设备120可以包括/连接到被配置为确定编码中包括哪个属性的控制器。控制器可以被进一步配置为接收指示特定属性的选择的控制命令。可以例如从移动设备100(在其上运行的应用)接收控制命令。移动设备100的处理器102可以被进一步配置为将控制命令传送到照明设备以请求照明设备120的控制器发射包括表示特定属性的编码的光。
照明设备120的属性可以例如与由照明设备120发射的光的束形状和/或束大小有关。光的束可以具有特定形状(例如,狭窄的形状),这使得处理器102能够确定/选择虚拟对象的外观(例如,细长形状)和/或行为(例如,束内/沿束的移动轨迹),并相应地呈现虚拟对象。
照明设备120的属性可以例如与照明设备120的标识符或类型有关。照明设备120可以具有特定形状(例如,包括多个单独光源的枝形吊灯),这使得处理器102能够确定/选择(多个)虚拟对象的外观(例如,多个虚拟对象,诸如每个光源一个虚拟对象)和/或行为(例如,由枝形吊灯占据的空间内的随机移动),并相应地呈现(多个)虚拟对象。
照明设备120的属性可以例如与照明设备120的形状有关。照明设备120可以具有特定设计或形状。照明设备可以例如具有月亮形状的灯罩。处理器102可以确定/选择(多个)虚拟对象的外观(例如,穿着宇航服的人)和/或行为(例如,好像该人失重的移动),并相应地呈现(多个)虚拟对象。
照明设备120的属性可以例如与照明设备120的光设置有关。照明设备120可以发射特定的光设置(例如,随着时间推移变暗的红光),这使得处理器102能够确定/选择虚拟对象的外观(例如,对象的部分可以是红色并且对象的大小可以对应于暗淡水平)和/或行为(例如,对象的寿命可以对应于暗淡水平),并相应地呈现虚拟对象。
照明设备120的属性可以例如与照明设备120的位置和/或取向有关。例如,如果灯泡位于天花板处,则虚拟对象可以具有翅膀(外观)并且飞行(行为),而当相同的灯泡位于地面水平时,虚拟对象可以具有腿(外观)并且爬行(行为)。例如,如果灯泡被向上取向,则虚拟对象可以被呈现为使得其向上移动(行为),而当相同的灯泡被向下取向时,虚拟对象可以被呈现为使得其向下移动(行为)。
应当理解,上述属性及其对应的外观和/或行为仅仅是示例,并且技术人员将能够在不脱离所附权利要求的范围的情况下设计出替代方案。
处理器102被配置为在图像呈现设备104上呈现虚拟对象。处理器102可以在检测到嵌入编码时或者仅在嵌入编码正被(连续地)检测到时连续地在图像呈现设备104上呈现虚拟对象。处理器102可以呈现虚拟对象,而与移动设备100存在于的物理环境无关。可替代地,处理器102可以被配置为将虚拟对象呈现为物理环境的视野之上的覆盖物,以增强物理环境。
移动设备100可以是包括显示器的智能电话、平板电脑、智能手表、智能眼镜等。移动设备100可以包括图像捕获设备(例如(深度)相机)。处理器102可以被配置为在移动设备100的显示器上呈现由图像捕获设备捕获的图像。处理器102还可以根据所确定的外观和/或行为在图像呈现设备104上呈现虚拟对象。可替代地,移动设备100可以是一副包括一个或多个包括透明元件的镜片的智能眼镜。处理器102可以被配置为在透明元件上呈现所选择的虚拟对象402b。图像呈现设备104可以是投影仪,其被配置为将虚拟对象作为移动设备位于的物理环境的视野之上的覆盖物投映在一个或多个智能眼镜中的至少一个上,或者直接投映在用户的视网膜上。
虚拟对象可以是任何类型的虚拟对象。虚拟对象的示例包括但不限于无生命的对象(诸如虚拟家具、建筑物和工厂)、有生命的对象(诸如(游戏)角色和动物)、标志等。
照明设备120可以是被配置为接收照明控制命令的任何类型的照明设备。照明设备120可以被布置用于提供普通照明、任务照明、环境照明、气氛照明、重点照明、室内照明、室外照明等。照明设备120可以被安装在照明器中或照明器材中,或者可以是独立式设备(诸如LED条等)。照明设备120可以包括在便携式照明设备(例如,手掌大小的设备,诸如LED立方体、LED球、对象/动物形状的照明设备等)或可穿戴照明设备(例如,灯手镯、灯项链等)中。
移动设备100可以进一步包括图像捕获设备130(诸如相机、3D深度相机等)。图像捕获设备130可以被配置为捕获环境的图像。附加地,图像捕获设备130可以用作光检测器112,并且可以被配置为检测嵌入在光122中的编码。处理器102可以被进一步配置为分析由图像捕获设备130捕获的图像。处理器102可以例如识别图像中的对象(例如,家具、玩具、设备、动物、工厂、(建筑物)基础设施等)。附加地或可替代地,处理器102可以被配置为识别图像中的照明设备120。处理器102可以被进一步配置为分析图像以确定对象和/或照明设备120在图像中的方位,并随之确定其在图像捕获设备130的视场232、332中的方位。处理器102可以进一步确定图像中的虚拟对象相对于图像捕获设备130的视场232、332中的对象和/或照明设备120的(第二)方位,并基于该方位将虚拟对象呈现在图像呈现设备上(并随之将虚拟对象呈现为物理环境的视野之上的覆盖物)。处理器102可以将虚拟对象呈现在例如在照明设备120/对象旁边、在照明设备120/对象之上等。应当理解,处理器102还可以使用远程处理系统以分析图像。
光检测器112可以被进一步配置为检测由第二照明设备发射的光,该光包括表示第二照明设备的第二属性的第二嵌入编码。处理器102可以被进一步配置为基于照明设备120的属性和第二照明设备的第二属性来确定虚拟对象的外观和/或行为。比如,第一照明设备的第一属性可以与第一照明设备的第一方位(例如在天花板中)有关,并且第二照明设备的第二属性可以与第二照明设备的第二方位(例如在地面水平上)有关,并且处理器102可以被配置为选择/确定虚拟对象的移动轨迹,使得其在两个照明设备之间移动。
图3图示了一示例,其中虚拟对象340的移动轨迹302基于图像捕获设备(图3中未示出)的视场332中的多个照明设备的方位。三个照明设备中的每一个可以发射包括指示属性的编码的光。对于照明设备中的每一个而言,属性可以是相同的;该属性例如可以与照明设备的类型(例如(悬挂的)LED灯泡)有关。可替代地,对于照明设备中的每一个而言,属性可以是不同的,并且与它们相对于空间的方位(例如,相对于空间的坐标集)或相对于彼此的方位(例如,左、中、右)有关。处理器(图3中未示出)可以基于该属性来确定虚拟对象340的移动轨迹302。这可以例如基于以下事实:所有三个照明设备都是(悬挂的)LED灯泡,并且它们在移动设备300的图像捕获设备的视场中,或者例如基于经由嵌入编码提供的它们的相对方位以及它们在移动设备300的图像捕获设备的视场中。处理器可以根据确定的移动轨迹302在显示器304上呈现虚拟对象。
在实施例中,处理器102可以被进一步配置为接收虚拟环境在物理环境上的映射,其中虚拟环境中的位置对应于物理环境中的位置。处理器102可以从诸如远程服务器的另一设备接收该映射。附加地或可替代地,处理器102可以被进一步配置为例如基于从图像捕获设备130接收的图像和/或基于建筑物信息(例如2D/3D建筑物布局)来生成映射。处理器102可以应用图像处理算法来确定对象的位置和物理环境的布局(例如,这可以基于从3D相机/扫描仪接收的深度信息),以便生成虚拟环境在物理环境上的映射。该映射例如可以是虚拟坐标到3D空间中的物理坐标上的映射。处理器102可以被进一步配置为例如基于从(室内)定位系统接收的定位信号来确定移动设备100在物理环境中的方位。照明设备120的属性可以表示照明设备120在物理环境中的位置。这进一步使得处理器102能够将照明设备120定位在虚拟环境中。这进而使得处理器102能够确定虚拟对象在虚拟环境中的虚拟位置/轨迹,并相应地在虚拟环境中将虚拟对象呈现为物理环境之上的覆盖物。
在实施例中,可以控制照明设备120,使得其发射包括更新的嵌入编码的光,该更新的嵌入编码表示虚拟对象的外观和/或行为的变化的指令。照明设备120可以例如由照明设备120的控制器、由诸如远程服务器的另一设备、由移动设备100的处理器102等控制。这能够实现对虚拟对象的外观和/或行为的进一步控制。这在期望第一移动设备改变第二移动设备的虚拟对象的外观和/或行为的(游戏)情况下可能是进一步有益的。移动设备100的光检测器102可以进一步检测更新的嵌入编码,并且处理器102可以基于更新的嵌入编码确定虚拟对象的更新的外观和/或更新的行为,并相应地呈现虚拟对象。更新的嵌入编码可以例如包括以下指令:用于使处理器102改变虚拟对象的颜色/形状/大小、增加/减小虚拟对象的移动速度、改变虚拟对象的移动轨迹、增加/减小虚拟对象的寿命等。
图4示意性地示出了呈现虚拟对象的方法400。方法400包括:
-检测402由照明设备120发射的光,该光包括表示照明设备120的属性的嵌入编码,
-选择404虚拟对象(例如,基于由照明设备120发射的光的嵌入编码从存储器106选择等),
-基于照明设备120的属性确定406虚拟对象的外观和/或行为,
-根据所确定的外观和/或行为在图像呈现设备104上呈现408虚拟对象。
当计算机程序产品在计算设备的处理单元(诸如移动设备100的处理器102)上运行时,方法400可以由计算机程序产品的计算机程序代码执行。
应当注意,上述实施例说明而不是限制本发明,并且本领域技术人员将能够在不脱离所附权利要求的范围的情况下设计出许多可替代实施例。
在权利要求中,放在括号之间的任何附图标记不应当被解释为限制权利要求。动词“包括”及其词形变化的使用不排除权利要求中所述的那些元件或步骤之外的元件或步骤的存在。元件前的冠词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括若干不同元件的硬件以及借助于适当编程的计算机或处理单元来实现。在列举了若干装置的设备权利要求中,这些装置中的若干可以由同一个硬件项来体现。在相互不同的从属权利要求中记载某些措施的纯粹事实并不指示这些措施的组合不能用于获益。
本发明的各方面可以在计算机程序产品中实现,该计算机程序产品可以是可以由计算机执行的存储在计算机可读存储设备上的计算机程序指令的集合。本发明的指令可以以任何可解释的或可执行的代码机制,包括但不限于脚本、可解释程序、动态链接库(DLL)或Java类。可以将指令提供为完整的可执行程序、部分可执行程序、对现有程序的修改(例如更新)或对现有程序的扩展(例如插件)。此外,本发明的处理的一部分可以分布在多个计算机或处理器上。
适合于存储计算机程序指令的存储介质包括所有形式的非易失性存储器,包括但不限于EPROM、EEPROM和闪存设备、磁盘(诸如内部和外部硬盘驱动)、可移除盘和CD-ROM盘。计算机程序产品可以分布在这样的存储介质上,或者可以被提供为通过HTTP、FTP、电子邮件或通过连接到诸如因特网的网络的服务器来下载。

Claims (14)

1.一种在移动设备(100)上将虚拟对象呈现为物理环境的视野上的覆盖物的方法(400),所述移动设备(100)包括图像呈现设备(104),所述方法(400)包括:
-检测(402)由位于所述视野中的照明设备(120)发射的光(122),所述光(122)包括表示所述照明设备(120)的属性的嵌入编码,
-获取(404)虚拟对象,
-基于所述照明设备(120)的所述属性,确定(406)所述虚拟对象的外观和/或行为,以及
-根据所确定的外观和/或行为,在所述图像呈现设备(104)上呈现(408)所述虚拟对象。
2.根据权利要求1所述的方法(400),其中,所述属性与下列中的至少一个有关:
-由所述照明设备(120)发射的所述光(122)的束形状,
-所述照明设备(120)的形状,
-所述照明设备(120)的标识符,
-所述照明设备(120)的类型,
-所述照明设备(120)的光设置,以及
-所述照明设备(120)的位置和/或取向。
3.根据前述权利要求中任一项所述的方法(400),其中,所述外观与下列中的至少一个有关:
-所述虚拟对象的大小,
-所述虚拟对象的形状,
-所述虚拟对象的颜色,以及
-所述虚拟对象的透明度。
4.根据前述权利要求中任一项所述的方法(400),其中,所述行为与下列中的至少一个有关:
-所述虚拟对象的移动,
-所述虚拟对象的移动速度,
-所述虚拟对象的轨迹,以及
-所述虚拟对象的寿命。
5.根据前述权利要求中任一项所述的方法(400),还包括检测由第二照明设备发射的光,所述光包括表示所述第二照明设备的第二属性的第二嵌入编码,并且其中,所述虚拟对象的外观和/或行为基于所述照明设备(120)的所述属性和所述第二照明设备的所述第二属性。
6.根据权利要求1至5中任一项所述的方法(400),其中,所述图像呈现设备(104)被包括在包括图像捕获设备的移动设备中,并且其中,所述方法(400)还包括:
-在由所述图像捕获设备捕获的图像中识别对象,
-确定所述对象在所述图像中的第一方位,以及
-基于所述对象在所述图像中的所述第一方位,在所述图像呈现设备(104)上的第二方位处呈现所述虚拟对象。
7.根据权利要求1至5中任一项所述的方法(400),其中,所述图像呈现设备(104)被包括在包括图像捕获设备的移动设备中,并且其中,所述方法(400)还包括:
-确定所述照明设备(120)在由所述图像捕获设备捕获的图像中的第一方位,以及
-基于所述照明设备(120)在所述图像中的所述第一方位,在所述图像呈现设备(104)上的第二方位处呈现所述虚拟对象。
8.根据从属于权利要求5时的权利要求7所述的方法(400),其中所述方法(400)还包括:
-确定所述第二照明设备在所述图像捕获设备的视场中的第三方位,
-基于所述照明设备(120)的所述第一方位和所述第二照明设备的所述第三方位,确定所述虚拟对象的移动轨迹,以及
-根据所确定的移动轨迹,在所述图像呈现设备(104)上呈现所述虚拟对象。
9.根据前述权利要求中任一项所述的方法(400),还包括:
-控制所述照明设备(120),使得其发射包括更新的嵌入编码的光(122),所述更新的嵌入编码表示所述虚拟对象的外观和/或行为的变化的指令,并且
-检测所述更新的嵌入编码,
-基于所述更新的嵌入编码,确定所述虚拟对象的更新的外观和/或更新的行为,以及
-根据所述更新的外观和/或更新的行为,在所述图像呈现设备(104)上呈现所述虚拟对象。
10.根据前述权利要求中任一项所述的方法(400),其中,获取所述虚拟对象的步骤包括:基于所述照明设备(120)的所述属性,从存储器(106)选择所述虚拟对象。
11.根据前述权利要求中任一项所述的方法(400),其中,所述虚拟对象是虚拟角色。
12.一种用于计算设备的计算机程序产品,所述计算机程序产品包括计算机程序代码,当所述计算机程序产品在所述计算设备的处理单元上运行时,所述计算机程序代码执行根据权利要求1-12中任一项所述的方法(400)。
13.一种用于呈现虚拟对象的系统,所述系统包括:
-图像呈现设备(104),用于将虚拟对象呈现为物理环境的视野上的覆盖物,
-光检测器(112),被配置为检测由位于所述视野中的照明设备(120)发射的光(122),所述光(122)包括表示所述照明设备(120)的属性的嵌入编码,以及
-处理器(102)(102),被配置为获取虚拟对象,基于所述照明设备(120)的所述属性确定所述虚拟对象的外观和/或行为,并根据所确定的外观和/或行为在所述图像呈现设备(104)上呈现所述虚拟对象。
14.根据权利要求13所述的系统,还包括图像捕获设备,并且其中,所述处理器(102)被配置为确定所述照明设备(120)和/或对象在图像捕获设备的视场中的方位,并且基于所述照明设备(120)和/或所述对象在所述图像捕获设备的所述视场中的方位,确定在所述图像呈现设备(104)上的何处呈现所述虚拟对象。
CN201880036033.8A 2017-06-01 2018-05-29 用于呈现虚拟对象的系统及其方法 Withdrawn CN110709896A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17173982.4 2017-06-01
EP17173982 2017-06-01
PCT/EP2018/063995 WO2018219900A1 (en) 2017-06-01 2018-05-29 A system for rendering virtual objects and a method thereof

Publications (1)

Publication Number Publication Date
CN110709896A true CN110709896A (zh) 2020-01-17

Family

ID=59215448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036033.8A Withdrawn CN110709896A (zh) 2017-06-01 2018-05-29 用于呈现虚拟对象的系统及其方法

Country Status (5)

Country Link
US (1) US11094091B2 (zh)
EP (1) EP3631768A1 (zh)
JP (1) JP7179024B2 (zh)
CN (1) CN110709896A (zh)
WO (1) WO2018219900A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181153A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 情報処理装置、情報処理方法および記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390287A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强现实的装置和方法
US20140225916A1 (en) * 2013-02-14 2014-08-14 Research In Motion Limited Augmented reality system with encoding beacons
US20140267404A1 (en) * 2013-03-15 2014-09-18 Disney Enterprises, Inc. Augmented reality device with predefined object data
CN105264548A (zh) * 2013-03-08 2016-01-20 微软技术许可有限责任公司 用于生成增强现实体验的难以察觉的标签
WO2016071244A2 (en) * 2014-11-06 2016-05-12 Koninklijke Philips N.V. Method and system of communication for use in hospitals
US20160225186A1 (en) * 2013-09-13 2016-08-04 Philips Lighting Holding B.V. System and method for augmented reality support
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002117413A (ja) * 2000-10-10 2002-04-19 Univ Tokyo 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法
JP3119714U (ja) * 2005-12-15 2006-03-09 ラディカ ゲームズ エルティーディー 拡張相互接続可能な環境的にインタラクティブなキャラクタシミュレーション
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
TW200950590A (en) * 2008-01-30 2009-12-01 Koninkl Philips Electronics Nv Lighting system and method for operating a lighting system
US10465882B2 (en) * 2011-12-14 2019-11-05 Signify Holding B.V. Methods and apparatus for controlling lighting
US9076247B2 (en) 2012-08-10 2015-07-07 Ppg Industries Ohio, Inc. System and method for visualizing an object in a simulated environment
EP3086292B1 (en) * 2013-12-17 2018-12-26 Sony Corporation Information processing device, information processing method, and program
JP5836527B1 (ja) * 2015-05-28 2015-12-24 グリー株式会社 ゲームプログラム、ゲーム制御方法、およびコンピュータ
WO2016206991A1 (en) * 2015-06-23 2016-12-29 Philips Lighting Holding B.V. Gesture based lighting control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390287A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强现实的装置和方法
US20140225916A1 (en) * 2013-02-14 2014-08-14 Research In Motion Limited Augmented reality system with encoding beacons
CN105264548A (zh) * 2013-03-08 2016-01-20 微软技术许可有限责任公司 用于生成增强现实体验的难以察觉的标签
US20140267404A1 (en) * 2013-03-15 2014-09-18 Disney Enterprises, Inc. Augmented reality device with predefined object data
US20160225186A1 (en) * 2013-09-13 2016-08-04 Philips Lighting Holding B.V. System and method for augmented reality support
CN106575156A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟对象的智能放置以停留在头戴式显示器的视野中
WO2016071244A2 (en) * 2014-11-06 2016-05-12 Koninklijke Philips N.V. Method and system of communication for use in hospitals

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KINURA等: "Building Mobile Augmented Reality Services in Pervasive Computing Environments" *
周忠等: "虚拟现实增强技术综述" *
陈宝权;秦学英;: "混合现实中的虚实融合与人机智能交融" *

Also Published As

Publication number Publication date
JP2020522804A (ja) 2020-07-30
EP3631768A1 (en) 2020-04-08
JP7179024B2 (ja) 2022-11-28
WO2018219900A1 (en) 2018-12-06
US11094091B2 (en) 2021-08-17
US20200126264A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
US10004984B2 (en) Interactive in-room show and game system
JP6730537B1 (ja) 仮想オブジェクトをレンダリングするためのシステム及び方法
CN110325896B (zh) 用于呈现虚拟对象的便携式设备及其方法
EP3698608B1 (en) A method and controller for controlling a plurality of lighting devices
CN108886863A (zh) 用于创建动态光效并且根据动态光效控制照明设备的计算机实现的方法
WO2017085046A1 (en) Controller for controlling a light source and method thereof
JP7179024B2 (ja) 仮想オブジェクトをレンダリングするためのシステム及び方法
CN115004861A (zh) 用于控制空间中的多个照明单元的控制器及其方法
CN113383614A (zh) Led照明模拟系统
EP3928595B1 (en) A controller for controlling light sources and a method thereof
CN110268806B (zh) 用于经由照明设备来指示虚拟对象的存在的控制器和其方法
JP2018163566A (ja) 生成装置及び情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200117