CN108292450A - 确定虚拟放置的灯具的照明效果 - Google Patents
确定虚拟放置的灯具的照明效果 Download PDFInfo
- Publication number
- CN108292450A CN108292450A CN201680063425.4A CN201680063425A CN108292450A CN 108292450 A CN108292450 A CN 108292450A CN 201680063425 A CN201680063425 A CN 201680063425A CN 108292450 A CN108292450 A CN 108292450A
- Authority
- CN
- China
- Prior art keywords
- perspective
- lanterns
- lamps
- expression
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241001465382 Physalis alkekengi Species 0.000 title claims abstract description 81
- 230000000694 effects Effects 0.000 title claims abstract description 35
- 230000014509 gene expression Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims description 62
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
从要在其中放置灯具（400）的空间的图像（102）来确定3D透视参数。接收关于放置在空间中的物体（100）的表面的形状的信息。确定根据透视参数的形状的表示，并且基于形状的表示来确定表面在空间中的位置。利用灯具的指示的位置，可以定义匹配3D透视参数的灯具的表示，并且可以确定灯具的照明效果。灯具的表示和照明效果二者都可以被渲染，使得想要购买该灯具的人可以看到该灯具在他/她想要放置该灯具的空间中看起来如何。
Description
技术领域
本发明总体上涉及一种用于当灯具将被放置在空间中时确定灯具的效果的计算机实现的方法。此外，本发明涉及一种使得处理器能够实施计算机实现的方法的计算机程序产品，以及一种用于存储计算机可读计算机程序产品的计算机可读存储介质。
背景技术
存在许多用于从二维（2D）图像中提取三维（3D）信息的技术。通常，这些技术是计算密集型的。尤其是，在3D图像中检测诸如桌面、货架表面和柜台表面之类的物体表面提供了显著的计算挑战。此外，检测诸如沙发上的枕头或货架上的灯之类的表面上物体提供了甚至更大的计算挑战。
在Bazin等人的文章“Globally Optimal Line Clustering and VanishingPoint Estimation in Manhattan world”中描述了一种从2D图像中提取3D信息的方法。在这个文章中，2D图像中的场景是曼哈顿世界，其指示图像中的平行线相交于被称为消失点（VP）的单个点。
发明内容
考虑描绘3D场景的2D图像。发明人意识到：看到在3D场景中灯具放置的效果是有用的。因此，本发明的一个目的是提供一种用于基于空间的二维（2D）图像来确定在灯具将被放置在空间中时该灯具的照明效果的计算机实现的方法和计算机程序产品。
根据本发明的第一方面，该目的通过一种基于空间的二维（2D）图像来确定在灯具将被放置在空间中时该灯具的照明效果的计算机实现的方法来实现，该计算机实现的方法包含：
- 基于2D图像来确定三维（3D）透视参数，其中3D透视参数指示如在2D图像中成像的空间的3D透视图；
- 接收包含关于放置在空间中的至少一个物体的表面形状的信息的物体信息；
- 基于3D透视参数来定义与空间的3D透视图匹配的形状的表示；
- 检测2D图像中形状的表示；
- 从检测到的形状的表示和从3D透视图导出指示物体表面在空间中位置的表面位置信息；
- 接收关于灯具在空间中的位置的信息；
- 基于3D透视参数和灯具位置并且基于2D图像，定义与在接收位置处的3D透视图匹配的灯具的表示；以及
- 基于3D透视参数、表面位置信息、灯具位置并且基于2D图像，确定照明效果。
计算机实现的方法将在一个或多个处理器上实施。由于本发明的目标是基于2D图像来确定数字地放置在空间中的灯具的照明效果，因此知道由图像捕获的空间的3D透视图是有利的。首先，这是有利的，因为灯具然后可以数字地放置在物理地可能的位置。其次，灯具的数字表示应该与空间的3D透视图匹配，以便在渲染的情况下看起来自然。第三，具有关于3D透视图的信息是有利的，因为由灯具生成的照明效果也必须与所述3D透视图匹配。
为了将灯具转换为2D图像的3D透视图并且确定照明效果，可以使用3D透视参数。这些参数用于转换原始图像，并可以以转换矩阵的形状而被定义。然而，也可以使用其他表示。例如，3D透视参数可以指示在2D图像内的消失点。这些消失点可以随后用于确定转换矩阵。
由于对2D图像中的表面的检测是计算密集型的过程，向处理器提供诸如与放置在空间中的物体对应的表面形状之类的附加信息是有利的。通过利用表面的形状和3D透视参数，可以创建与3D透视图匹配的这个形状的表示。然后可以在图像中检测这些表示，由此检测物体的表面。可能的表示的数目可以通过做附加的假设来减少。例如，当桌子需要被检测时，可以假设的是，可检测表面平行于地板表面。
为了确定灯具的效果，指示灯具的位置是有利的。这可以经由用户接口完成。例如，2D图像可以显示在显示器上，并且用户可以经由用户接口指示灯具的位置。用户可以例如通过使用计算机鼠标、键盘、触摸屏或任何其他输入设备来指示位置。
基于灯具的位置和3D透视参数，可以确定灯具针对该位置的表示。这意味着灯具可以以自然的方式渲染在图像中。检测到一个或多个表面的事实是有利的，因为灯具现在可以放置在表面上。这是有利的，因为台灯可以在桌面上渲染。对于想要获取灯并且想要知道它看起来如何的用户，这可以是有用的。
此外，表面对于照明效果的确定也是有用的。当灯具放置在表面之上时，将在那个表面下方创建阴影并且将在表面顶部上创建亮点。
总而言之，本发明是有利的，因为想要获取灯具的人可以提供他/她想要在其中放置灯具的空间的2D图像。基于这个图像、检测到的3D透视参数、需要检测的表面的形状以及灯具的指示的位置，可以定义灯具的表示，并且可以确定灯具的照明效果。灯具的表示和照明效果二者都可以被渲染，使得想要购买灯具的人可以看到灯具在他/她想要放置灯具的空间中看起来如何。
在计算机实现的方法的一个实施例中，针对放置在空间中的多个物体，导出表面位置信息。
在2D图像中检测多个表面是有利的，因为这使得计算机实现的方法在其上实施的计算机能够更好地确定照明效果并且使得用户能够将灯具放置在更多的表面上。
在计算机实现的方法的一个实施例中，其中3D透视参数包含表示如在2D图像中成像的空间的3D透视图中的三个正交透视平面的三个消失点，该计算机实现的方法进一步包含：
- 使用从2D图像提取的线集合来找到三个消失点。
使用表示三个正交透视平面的三个消失点是有利的，因为这促进图像中的表面的检测。正交透视平面是3D空间中的正交平面。这些正交平面可以在消失点之外构建。可以创建许多可能的透视平面。使用从2D图像提取的线集合来检测消失点是有利的，因为当这些线不平行时这些线将在消失点中相遇。可能的是，取决于拍摄图像的位置，一个或两个消失点将被放置于无穷远处。在那种情况下，在图像中将存在平行线的一个或两个集合。注意，贯穿本申请，消失点可以放置在无穷远处。这将与图像中的平行线的集合对应。
在计算机实现的方法的一个实施例中，其中3D透视参数包含表示如在2D图像中成像的空间的3D透视图中的三个正交透视平面的三个消失点，该计算机实现的方法进一步包含：
- 接收指示正交透视平面的透视信息；以及
- 基于所接收的透视信息来找到三个消失点。
有利的是，用户指示正交透视平面，使得找到三个消失点所必需的计算能力更低。用户可以例如通过指示房间中的墙，通过指示花园中的车道或通过指示花园棚的墙壁来指示正交透视平面。在用户接口中，用户可以使用填充的多边形（彩色区域中的彩色线）和多边形的可拖动“交汇点”来指示墙壁/地板/天花板。
在计算机实现的方法的一个实施例中，计算机实现的方法进一步包含：
- 接收指示可检测形状的表面与之平行的在3D透视图中的透视平面的表面取向信息；以及
- 基于表面取向信息来检测2D图像中的形状的表示。
指示表面平行于哪个透视平面是有利的，因为它减小了在2D图像中检测表面所必需的计算能力。例如，当用户指示桌面平行于地板表面时，检测算法可以更特定地搜索并且因此需要较少的计算能力。
在计算机实现的方法的一个实施例中，计算机实现的方法进一步包含：
- 接收指示可检测物体的表面相对于3D透视图中的透视平面的旋转的旋转信息；以及
- 定义匹配3D透视图并且满足可检测物体的旋转的形状的表示。
指示如何将待检测物体放置在空间中（物体的表面如何相对于3D透视图中的透视平面取向）是有利的，因为其降低了在2D图像中检测表面所必需的计算能力。例如，当用户指示桌子平行于后墙壁放置时，这将暗示存在所搜索形状的不太可能的表示。
在计算机实现的方法的一个实施例中，计算机实现的方法进一步包含：
- 使用形状的一个检测到的表示来定义仿射转换；以及
- 使用仿射转换来检测物体表面的其他形状的表示。
如果真实世界到所捕获的2D图像上的相机投影被认为是单独的过程，例如像测量步骤那样，则场景中的检测到的物体可以被认为是参考模型的仿射转换（不考虑剪切）。上述变量可用于计算平移和线性映射或将它们组合在增广矩阵中。这在GPU可用的情况下可以是非常有益的。
在计算机实现的方法的一个实施例中，计算机实现的方法进一步包含：
- 使用贝叶斯过滤技术来检测形状的表示。
贝叶斯过滤器可用于例如基于可观察变量（像例如边缘位置等）来估计“隐藏的”变量，像例如物体的位置或取向。对于不同情况，不同的过滤器是有用的，诸如卡尔曼过滤器或粒子过滤器。这些过滤器的优点是它们可以限制所需的计算资源。
在计算机实现的方法的一个实施例中，计算机实现的方法进一步包含：
- 使用特征检测来检测形状的表示。
在计算机视觉和图像处理中，特征是与解决与某个应用有关的计算任务相关的一条信息。特征可以是图像中的特定结构，诸如点、边缘或物体。检测边缘是检测图像中物体的有用方式。
在计算机实现的方法的一个实施例中，计算机实现的方法进一步包含：
- 显示2D图像；
- 显示检测到的形状的表示；以及
- 显示包含灯具和照明效果的2D图像。
显示2D图像、检测到的经转换表面或包含灯具和照明效果的2D图像是有利的，因为这让用户洞察正在发生什么。首先，显示2D图像是有利的，因为用户可以看到图像是否是用于分析的正确图像。其次，显示检测到的经转换表面是有用的，因为用户可以观察正确表面是否被检测到并且表面是否被正确地检测到。此外，显示包含灯具和照明效果的2D图像是有利的，因为用户然后可以看到灯具在空间中将看起来如何。这对于用户决定他/她是否想要购买灯具可以是有帮助的。
在计算机实现的方法的一个实施例中，计算机实现的方法进一步包含：
- 显示检测到的形状的表示；以及
- 接收包含批准信息和或调整信息的用户输入信息，其中该批准信息指示正确地检测到的经转换的表面，并且其中该调整信息包含改变检测到的经转换的表面的位置和或形状的指令。
如果用户可以使用用户接口来提供反馈，这是有用的。用户可以快速观察检测到的表面是否与图像中的实际表面匹配并且因此可以向系统提供反馈。这有助于改进计算机实现方法的总体准确性。
在计算机实现的方法的一个实施例中，计算机实现的方法进一步包含：
- 显示包含灯具和照明效果的2D图像。
显示包含灯具和照明效果的2D图像是有利的，因为然后用户可以看到灯具在空间中将看起来如何。这对用户决定他/她是否想要购买灯具可以是有帮助的。
根据本发明的第二方面，该目的通过一种用于计算设备的计算机程序产品来实现，该计算机程序产品包含当计算机程序产品在计算设备的处理单元上运行时执行计算机实现的方法的计算机程序代码。
根据本发明的第三方面，该目的通过一种用于存储计算机可读计算机程序产品的计算机可读存储介质来实现。
附图说明
参照附图图1至6，本公开系统、传感器装置、方法和计算机程序产品的上述以及附加目的、特征和优点将通过设备和方法实施例的下列说明性和非限制性的详细描述而被更好地理解，在附图中
图1示出了3D场景的2D图像，
图2示意性地示出了用于在灯具将被放置在空间中时确定灯具的照明效果的计算机实现的方法，
图3图示了矩形和根据不同透视参数的三个表示，
图4图示了灯具和根据透视参数的灯具的表示，
图5图示了灯具在2D图像中的放置并且图示灯具的照明效果，
图6A-C指示用于确定消失点的线集合。
所有附图都是示意性的，不一定按比例，并且通常仅示出为了阐明本发明所必需的部分，其中其他部分可以省略或仅建议。
具体实施方式
在计算机视觉领域中，包括取向估计的跟踪形状（例如2D和3D）已经被良好地建立。传统上这是通过诸如卡尔曼过滤器和粒子过滤器之类的先进的过滤器技术来完成的，其中粒子过滤器具有它们还可以用于检测形状的优点。
除了完整的强力搜索之外，诸如正方形和圆盘之类的形状可以例如通过让粒子过滤器3D空间中随机放置在位置、取向和尺度方面不同的许多正方形（粒子）而被检测。将所有粒子与实际情况（例如场景中的正方形的照片）比较，并且具有最小误差的粒子最有可能是正确的检测/估计。
另一检测形状的途径是使用“曼哈顿世界假设”，其中3D形状主要由平行的或对向（reciprocal）的线组成。在最简单的形式中，将存在所有线在相机的透视投影中汇合至其的3个消失点。一旦检测到这些消失点，理论上可以更自信地检测用平行的和对向的线构建的形状。约束在于物体的形状必须符合“曼哈顿世界假设”。当物体与“曼哈顿世界”不一致时，必须估计新的消失点。这些新的消失点定义了“本地曼哈顿世界”。
存在许多从2D图像提取3D信息的技术。如果图像中的场景是“曼哈顿世界”，则可以以最简单的形式检测到一个或多个主要表面。在那些表面上的物体检测需要更多的分析。额外的分析通常是非常计算密集的。如果忽略这种额外的努力，则有可能的情况是，那些物体未被检测到并被假设为表面的部分，并且因此被认为是完全平坦的。如果物体不是所获得的3D模型的部分，则其行为不能被模拟并且结果可以被感知为不自然的。
更具体的示例将是在简单房间102中的桌子100。如果桌子未被建模，在照片中的其纹理将被认为是作为例如海报或贴纸的地板的部分。在那种情况下，从不同视角（perspective）（另一相机位置）渲染那个场景将给出不自然的结果。类似地，当在3D场景中将物体的3D模型安放在地板上时，从2D视角它可以被认为似乎将物体安放在桌子上。在那种情况下，物体的比例和透视可以看似非常不自然。
如前文提及，用于检测场景中的物体的额外分析可以是非常复杂的。应用更多的约束将限制解决方案空间，并且因此也限制了计算强度。例如，物体的形状可以被局限于原始形状或其合成。物体的一些表面可以符合“曼哈顿世界假设”。所有这些限制可以显着降低检测场景中的物体的复杂性。
图1示出了矩形桌子的桌面在房间照片中将看起来如何。当需要在图像中检测桌子时，可以使用约束来促进检测。在平行于地板表面的矩形桌子的情况下，仅有的自由度例如是地板上的桌子的2D位置、桌子的旋转、桌子的尺寸以及桌子的高度。现在这些自由度可以用来例如在粒子过滤器中创建粒子，其可以与在照片中的测量比较。
可以针对不被局限于2D本原的其他本原定义类似的集合。检测不受地平线的限制。在地平线之上的物体可以以相同的方式（像例如在书架下寻找）而被检测。本发明不必限于检测。
所公开的发明可以使用“离线”和“实时”处理两者来实现。针对这些实现方式的通用优点和缺点适用于此。混合实现方式是可能的。
检测这种桌面的非常简单但不实际的方法（其例如被其形状约束）将是以强力方式测试每种可能性。这显然非常需要资源。另一更实用的途径可以是通过使用粒子过滤器技术。可以使用任何变形的框架，并且特性保持不变并且应该被选择以匹配待解决的问题。例如，SIR粒子过滤器的变形可以用于离线处理并且导致多个物体检测。隐藏的状态变量在方桌的情况下是地板上的表面位置（x，y）、旋转（phi）、表面的尺度（s）以及高度（h）。然后，X= [x，y，phi，s，h] T。可观察的变量可以与例如照片中的实际边缘与经转换的粒子边缘之间的距离有关。可以使用适当的测量函数来确保具有最小距离的粒子得到最高的权重/概率。计算机视觉特征的所有种类的组合可以用于观察，例如，如前文提及的通用边缘检测、在颜色分割后的边缘检测、颜色斑点的时刻、拐角等。
通过限制可检测物体形状的范围（例如矩形）并且表面平行于已知表面（例如地板），可以非常高效地估计位置、姿态，并且因此估计表面距离，像例如高度。
隐藏的状态变量可以在所选形状之间不同：
•圆盘= [floor_pos_x，floor_pos_y，尺度，高度]T
•正方形= [floor_pos_x，floor_pos_y，尺度，高度，旋转]T
•矩形= [floor_pos_x，floor_pos_y，scale_x，scale_y，高度，旋转]T
可以使用在选定空间中唯一描述这种物体的变量的任何组合。一旦检测/估计出隐藏状态，然后例如它可以用于创造视觉提示。当假设物体与例如“曼哈顿世界”一致的概率较高时，可以应用“优选的”旋转上的额外的约束或强调。例如，矩形餐桌最可能与墙壁平行安放，从而给出相对于房间0和90度旋转的更高可能性。优选地，完整的物体在图像中是可见的。附加地，如果在待检测物体的表面上不放置附加物体是有利的。
以上全部可以被实现以确定当灯具将被放置于在2D图像中被捕获的空间中时灯具的照明效果。这可以通过如图2所示的计算机实现的方法来实现。所述方法通常将被实现为计算设备上的软件，其中计算设备的处理器将实施计算机实现的方法。
通常，2D图像将是照片。为了确定被数字地放置于在图像中捕获的空间中的灯具的照明效果，空间的三维表示需要是可用的。这种表示在3D透视参数可用时是可用的。这些参数可以由处理器（200）确定并且可以用于创建从可用于将在图片中的灯具和或空间建模的模型中到世界的转换矩阵并且创建从世界到相机投影的转换矩阵。注意，这些参数也可以用于不同的转换矩阵，或者可以是不必在矩阵表示中使用的参数。
用户可以使用用户接口插入放置在空间中并且用户想要检测的表面的形状。贯穿过程的其余部分，这个形状被用于提供使得处理器能够使用比在将进行蛮力搜索时更少的计算能力来找到图像中的物体的表面的约束。注意，用户的插入导致处理器接收包含关于放置在空间中至少一个物体的表面的形状的信息的物体信息（202）。
现在已知形状和3D透视参数，处理器可以定义与由3D透视参数定义的3D透视图匹配的形状的表示（204）。如图3示出，形状的表示将包含若干不同的种类。取决于在图像中的位置，矩形将具有不同的表示。另外，在图3中未示出，多个旋转是可能的。当各种表示可用于处理器时，处理器可以检测在2D图像中的形状的表示（206）。为了高效地检测形状的表示，处理器可以利用贝叶斯过滤技术和特征检测。
贝叶斯过滤器可应用于卡尔曼过滤器、粒子过滤器和基于网格的估计器。贝叶斯过滤器基于可观察变量来估计隐藏变量，诸如但不限于物体的位置、尺度、高度和或取向。在线性二次型情况下，卡尔曼过滤器是有利的，而在非线性设置中，可以使用粒子过滤器（序贯蒙特卡罗采样）。这些过滤器的优点是，当计算资源有限时，处理器可以更快地检测形状的表示。在计算机视觉和图像处理中，特征是与解决与某个应用有关的计算任务相关的一条信息。特征可以是图像中的特定结构，例如点、边缘、斑点或物体。特征还可以是应用于图像的一般邻域操作或特征检测的结果。特征检测的一个示例是边缘检测。边缘检测与在估计模型（形状）的边缘与最接近的检测到的边缘之间的平均距离有关。
使用检测到的形状的表示，可以确定指示在空间中物体表面位置的表面位置信息（208）。为了做到这一点，3D透视参数也被使用。例如，当矩形的表示被找到时，可以使用3D透视参数来确定在空间模型中物体表面的定位。
现在，用户可以使用用户接口插入关于灯具在3D空间中的位置的信息。用户可以指示例如灯具必须放置在天花板的中间，在检测到的表面上是在任何其他地点处，诸如在图4的房间中的搁脚凳（104）上。注意，灯具只可以放置在遵守物理定律的地点。例如，落地灯只可以放置在地面或表面上。通过指示灯具的位置，处理器接收关于灯具在空间中的位置的信息（210）。当灯具的位置时，处理器可以基于3D透视参数和灯具位置并且基于2D图像而定义匹配在接收位置处的3D透视图的灯具的表示（212）。这在图4中图示。灯具400的图像可以被转换成灯具的表示402，其与在灯具的地点（104）处的2D图像匹配。
使用灯具的3D模型，可以使用转换矩阵使灯具的3D模型适合2D图像。当已知灯具的位置和表示时，可以基于3D透视参数、表面位置信息、灯具位置并且基于2D图像来确定灯具的照明效果（214）。
照明效果可以通过利用灯具计划生成的流明数目来计算。通常，此光将照射在球体中，并且光的强度将随着距离而呈二次方下降。通过利用物体的检测到的表面及其位置，并且通过利用灯具的形状和位置，处理器可以计算出光将被阻挡在哪个方向以及阴影如何创建。图5中示出了这种阴影500的示例。灯具502被放置在创建阴影500的搁脚凳504上。处理器还将考虑光束的反射以及衍射。注意，处理器可以使用物理模型来精确地将光发射建模，但是还可以使用经验法则来加速该过程。为了使用物理建模，必须存在许多信息。可以使用的经验法则是在渲染引擎中使用的一般技术。表面可以通过使用着色器和其他模型属性来定义。用户可以在系统中安放着色器信息，使得照明效果可以更容易渲染。着色器信息可以被插入以用于一个或多个物体以及用于地板、墙壁和天花板。通常，灯具的着色器信息将对系统是已知的。
为了向用户提供灯具表示的确定的结果和所确定的照明效果，处理器可以耦合到显示器以显示包含灯具和照明效果的2D图像。渲染引擎可以用于实现这一点。
注意，表面位置信息可以针对放置在该空间中的多个物体导出。使得例如桌子、多个书架和沙发可以被检测。
3D透视参数可以包含三个消失点，其表示在如2D图像中成像的空间的3D透视图中的三个正交透视平面。注意，使用消失点，可以创建许多平面。消失点至少实现三个正交透视平面的构建。 3D透视参数附加地表示三个正交主平面法线，其中主平面法线表示例如从地板表面向上和从天花板表面向下两者的法线指向。处理器然后可以使用从2D图像提取的线集合来找到三个消失点。这在图6A、6B和6C中示出。从提取自图像的竖直线集合600和水平线集合602中提取的消失点被放置于无穷远处，而从线集合604中提取的一个消失点606是清晰的并且放置在图像的中心。注意，消失点的位置取决于拍摄图片的位置，并且将因此对于每张照片而言是不同的。附加地，图片的裁剪可以对消失点的位置有效果。这可以是图片位置对用户是优选的或被建议的。在图6A、6B和6C中，用于确定消失点的线集合由虚线指示。
为了确定消失点，用户还可以指示在图像中的平面。用户可以在2D图像中指示对应于墙壁、地板和天花板的区域。这将促进消失点的检测。另外，例如，用户可以指示墙壁和天花板相遇的线。
为了能够使用比之前描述的甚至更少的计算能力来找到2D图像中的物体的表面，可以由用户插入附加参数。首先，用户可以插入指示可检测物体的表面与其平行的透视平面的取向信息。如果用户指示表面与图像中空间的地板平行，这限制处理器检查的选项。附加地，用户可以指示从上方还是从下方观察表面，从而意味着表面可以是在地平线的上方和下方两者。在甚至更高级的选项中，用户可以指示表面的高度。在最后的情况中，用户还应该指示现实生活参考，诸如放置物体的空间的尺寸，使得处理器可以计算图像中哪些区域与由用户插入的高度对应。
用户还可以插入指示可检测物体的表面相对于通常3D透视图中的透视平面的旋转的旋转信息。例如，如果桌子相对于左墙壁平行或旋转30度。处理器然后可以定义匹配3D透视图并且满足可检测物体的旋转的形状的表示（402）。由此增加对形状的可检测表示的约束，从而允许处理器更容易地找到它。
当找到形状的一个表示时，可以定义仿射转换。物体表面形状的其他表示可以使用仿射转换来找到。如果真实世界到所捕获的2D图像上的相机投影被认为是单独的过程，例如像测量步骤那样，则场景中的检测到的物体可以被认为是参考模型的仿射转换（不考虑剪切）。上述变量可用于计算平移和线性映射或将它们组合在增广矩阵中。这在GPU可用的情况下可以是非常有益的。
当处理器连接到显示器时，它可以显示2D图像，显示检测到的经转换表面并且显示包含灯具和照明效果的2D图像。这可以由用户使用以给出包含批准信息和或调整信息的输入，其中批准信息指示正确检测到的经转换表面，并且其中调整信息包含改变检测到的经转换表面的位置和或形状的指令。处理器可以使用此信息来改进其检测或用于机器学习的目的。
术语“灯具”在本文中用于指代一个或多个光发射器以特定形式因数、组装或封装的实现方式或布置。术语“光发射器”在本文中用于指代包括相同或不同类型一个或多个的光源的装置。给定的光发射器可以具有用于（多个）光源、机壳/外壳布置和形状、和/或电气的和机械的连接配置的各种安装布置中的任何一种。附加地，给定的光发射器可选地可以与各种与（多个）光源的操作有关的其他部件（例如，控制电路）相关联（例如，包括、耦合到和/或与其封装在一起）。
本发明的各方面可以在计算机程序产品中实现，该计算机程序产品可以是存储在可以由计算机执行的计算机可读存储设备上的计算机程序指令的集合。本发明的指令可以是任何可解释或可执行的代码机制，包括但不限于脚本、可解释的程序、以及动态链接库（DLL）或Java类。指令可以被提供为完整的可执行程序、部分可执行程序，提供为对现有程序的修改（例如更新）或对现有程序的扩展（例如插件）。另外，本发明的处理的部分可以分布在多个计算机或处理器上。计算机程序产品可以分布在这种存储介质上，或可以被提供用于通过HTTP、FTP、电子邮件或通过连接到诸如因特网之类的网络的服务器来下载。
在各种实现方式中，处理器可以与一个或多个存储介质（在此统称为“存储器”，例如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM、软盘、紧凑盘、光盘、磁带、U盘、SD卡和固态驱动器等）关联。在一些实现方式中，存储介质可以用一个或多个程序编码，该一个或多个程序在一个或多个处理器上执行时执行本文讨论的至少一些功能。各种存储介质可以被固定在处理器或控制器内，或者可以是可移动的，使得存储在其上的一个或多个程序可以被加载到处理器或控制器中，以便实现本文所讨论的本发明的各个方面。术语“程序”或“计算机程序”在本文中在通常意义上用于指代可以被采用来编程一个或多个处理器或控制器的任何类型的计算机代码（例如，软件或微代码）。
应该理解的是，前述概念和附加概念的所有组合都被预期为本文公开的发明主题的部分。特别地，出现在本公开结尾处的所要求保护的主题的所有组合被预期为本文公开的发明主题的部分。还应该理解，也可以出现在通过引用并入的任何公开内容中的、本文中明确采用的术语应该被赋予与本文公开的具体概念最一致的含义。
Claims (14)
1.一种基于空间的二维（2D）图像（102）来确定在灯具将被放置在所述空间中时所述灯具（400）的照明效果的计算机实现的方法，所述计算机实施的方法包含：
- 基于所述2D图像来确定三维（3D）透视参数（200），其中所述3D透视参数指示如在所述2D图像中成像的空间的3D透视图；
- 接收包含关于放置在所述空间中的至少一个物体（100）的表面形状的信息的物体信息（202）；
- 基于所述3D透视参数来定义与所述空间的3D透视图匹配的形状的表示（204）；
- 检测所述2D图像中形状的表示（206）；
- 从所述检测到的形状的表示和从所述3D透视图导出指示所述至少一个物体的表面在所述空间中的位置的表面位置信息（208）；
- 接收关于所述灯具在所述空间中的位置的信息（210）；
- 基于所述3D透视参数和所述灯具位置并且基于所述2D图像，定义与在接收位置处的3D透视图匹配的灯具的表示（402）（212）；以及
- 基于所述3D透视参数、所述表面位置信息、所述灯具位置并且基于所述2D图像，确定所述照明效果（500）（214）。
2.权利要求1中任一项所述的计算机实现的方法，其中针对放置在所述空间中的多个物体（100，104），导出表面位置信息。
3.前述权利要求中任一项所述的计算机实现的方法，其中所述3D透视参数包含表示空间的3D透视图中的三个正交透视平面的三个消失点，所述计算机实现的方法进一步包含：
- 使用从所述2D图像中提取的线集合（600，602，604）来找到所述三个消失点。
4. 权利要求1-2中任一项所述的计算机实现的方法，其中所述3D透视参数包含表示空间的3D透视图中的三个正交透视平面的三个消失点，所述计算机实现的方法进一步包含：
接收指示所述正交透视平面的透视信息；以及
基于所接收的透视信息来找到所述三个消失点。
5. 权利要求3和4中任一项所述的计算机实现的方法，进一步包含：
- 接收指示所述至少一个物体的表面与之平行的在3D透视图中的透视平面的表面取向信息；以及
- 基于所述表面取向信息来检测2D图像中形状的表示。
6. 权利要求3-5中任一项所述的计算机实现的方法，进一步包含：
- 接收指示所述至少一个物体的表面相对于3D透视中的透视平面的旋转的旋转信息；以及
- 定义匹配3D透视图并且满足可检测物体的旋转的形状的表示。
7. 权利要求1-6中任一项所述的计算机实现的方法，进一步包含：
- 使用至少一个物体的表面的形状的一个检测到的表示来定义仿射转换；以及
- 使用所述仿射转换来检测物体的表面的其他形状的表示。
8.权利要求1-7中任一项所述的计算机实现的方法，进一步包含：
- 使用贝叶斯过滤技术来检测形状的表示。
9.权利要求1-8中任一项所述的计算机实现的方法，包含：
- 使用特征检测来检测形状的表示。
10.权利要求1-10中任一项所述的计算机实现的方法，进一步包含：
- 显示2D图像；
- 显示检测到的形状的表示；以及
- 显示包含灯具和照明效果的2D图像。
11. 权利要求10所述的计算机实现的方法，进一步包含：
显示检测到的形状的表示；以及
- 接收包含批准信息和或调整信息的用户输入信息，其中所述批准信息指示正确地检测到的经转换的表面，并且其中所述调整信息包含改变检测到的经转换的表面的位置和或形状的指令。
12.权利要求1-10中任一项所述的计算机实现的方法，进一步包含：
显示包含灯具（502）和照明效果（500）的2D图像。
13.一种用于计算设备的计算机程序产品，所述计算机程序产品包含当该计算机程序产品在所述计算设备的处理单元上运行时执行权利要求1至12中任一项所述的计算机实现的方法的计算机程序代码。
14.一种用于存储权利要求13所述的计算机可读计算机程序产品的计算机可读存储介质。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15191650.9 | 2015-10-27 | ||
| EP15191650 | 2015-10-27 | ||
| PCT/EP2016/075425 WO2017072049A1 (en) | 2015-10-27 | 2016-10-21 | Determining the lighting effect for a virtually placed luminaire |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108292450A true CN108292450A (zh) | 2018-07-17 |
Family
ID=54540810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680063425.4A Pending CN108292450A (zh) | 2015-10-27 | 2016-10-21 | 确定虚拟放置的灯具的照明效果 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20170116778A1 (zh) |
| EP (1) | EP3166085B1 (zh) |
| CN (1) | CN108292450A (zh) |
| WO (1) | WO2017072049A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018200685A2 (en) | 2017-04-27 | 2018-11-01 | Ecosense Lighting Inc. | Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations |
| CN108876926B (zh) * | 2017-05-11 | 2021-08-10 | 京东方科技集团股份有限公司 | 一种全景场景中的导航方法及系统、ar/vr客户端设备 |
| US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
| WO2022066399A1 (en) * | 2020-09-24 | 2022-03-31 | Sterling Labs Llc | Diffused light rendering of a virtual light source in a 3d environment |
| US11935207B2 (en) * | 2022-07-06 | 2024-03-19 | Adobe Inc. | Spacing guides for objects in perspective views |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103460256A (zh) * | 2011-03-29 | 2013-12-18 | 高通股份有限公司 | 在扩增现实系统中将虚拟图像锚定到真实世界表面 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6333749B1 (en) * | 1998-04-17 | 2001-12-25 | Adobe Systems, Inc. | Method and apparatus for image assisted modeling of three-dimensional scenes |
| US6084592A (en) * | 1998-06-18 | 2000-07-04 | Microsoft Corporation | Interactive construction of 3D models from panoramic images |
| US7425958B2 (en) * | 2004-10-25 | 2008-09-16 | Adobe Systems Incorporated | Perspective editing tools for 2-D images |
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| US9299188B2 (en) * | 2013-08-08 | 2016-03-29 | Adobe Systems Incorporated | Automatic geometry and lighting inference for realistic image editing |
-
2016
- 2016-10-21 EP EP16195147.0A patent/EP3166085B1/en not_active Not-in-force
- 2016-10-21 WO PCT/EP2016/075425 patent/WO2017072049A1/en active Application Filing
- 2016-10-21 CN CN201680063425.4A patent/CN108292450A/zh active Pending
- 2016-10-24 US US15/332,512 patent/US20170116778A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103460256A (zh) * | 2011-03-29 | 2013-12-18 | 高通股份有限公司 | 在扩增现实系统中将虚拟图像锚定到真实世界表面 |
Non-Patent Citations (2)
| Title |
|---|
| LOSCOS C，ET AL.: "Interactive Virtual Relighting of Real Scenes", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 * |
| Y ZHENG，ET AL.: "Interactive Images: Cuboid Proxies for Smart Image Manipulation", 《ACM TRANSACTIONS ON GRAPHICS》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3166085B1 (en) | 2018-08-01 |
| US20170116778A1 (en) | 2017-04-27 |
| WO2017072049A1 (en) | 2017-05-04 |
| EP3166085A1 (en) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6690041B2 (ja) | 三次元物体上の注視点決定方法及び装置 | |
| Karsch et al. | Rendering synthetic objects into legacy photographs | |
| US10102639B2 (en) | Building a three-dimensional composite scene | |
| CN108292450A (zh) | 确定虚拟放置的灯具的照明效果 | |
| US11640672B2 (en) | Method and system for wireless ultra-low footprint body scanning | |
| US9697607B2 (en) | Method of estimating imaging device parameters | |
| JP5833772B2 (ja) | 実世界オブジェクトの３ｄモデルおよび正しい縮尺のメタデータをキャプチャし移動させるための方法およびシステム | |
| Richter-Trummer et al. | Instant mixed reality lighting from casual scanning | |
| EP3051793B1 (en) | Imaging apparatus, systems and methods | |
| KR20110106070A (ko) | 렌더링을 위한 빛 및 질감 추출 장치 및 방법, 그리고, 빛 및 질감을 이용한 렌더링 장치 | |
| Holroyd et al. | A photometric approach for estimating normals and tangents | |
| JPWO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| CN112950759B (zh) | 基于房屋全景图的三维房屋模型构建方法及装置 | |
| WO2019016879A1 (ja) | 物体検出装置、及び、物体検出手法 | |
| JP5441752B2 (ja) | 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置 | |
| Kim et al. | Planar Abstraction and Inverse Rendering of 3D Indoor Environments | |
| Zhang et al. | A smart method for developing game-based virtual laboratories | |
| US20230367017A1 (en) | Z-plane identification and box dimensioning using three-dimensional time-of-flight imaging | |
| Rushmeier et al. | Horizon map capture | |
| Eilertsen et al. | A versatile material reflectance measurement system for use in production | |
| JP7463697B2 (ja) | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム | |
| Keren et al. | Placing three-dimensional models in an uncalibrated single image of an architectural scene | |
| Jiddi | Photometric registration of indoor real scenes using an RGB-D camera with application to mixed reality | |
| Oyama et al. | Illumination estimation based on human visual characteristics for AR | |
| Straughn | Real-time inverse lighting for augmented reality using a dodecahedral marker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180717 |