CN110070621A - 电子装置、显示增强现实场景的方法及电脑可读取媒体 - Google Patents

电子装置、显示增强现实场景的方法及电脑可读取媒体 Download PDF

Info

Publication number
CN110070621A
CN110070621A CN201910049440.9A CN201910049440A CN110070621A CN 110070621 A CN110070621 A CN 110070621A CN 201910049440 A CN201910049440 A CN 201910049440A CN 110070621 A CN110070621 A CN 110070621A
Authority
CN
China
Prior art keywords
augmented reality
dummy object
image
images
environmental images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910049440.9A
Other languages
English (en)
Other versions
CN110070621B (zh
Inventor
吴昱霆
陈镜阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN110070621A publication Critical patent/CN110070621A/zh
Application granted granted Critical
Publication of CN110070621B publication Critical patent/CN110070621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

一种电子装置、显示增强现实场景的方法以及非暂态电脑可读取媒体,电子装置包含:相机单元、显示器以及处理器。处理器电性连接至相机单元以及显示器。相机单元用以拍摄物理环境的多个影像。显示器用以显示增强现实影像。处理器用以拼接影像以产生环境影像,根据环境影像计算虚拟物体对应的物理环境的环境光以及反射,根据环境影像分析光源的方向以计算虚拟物体对应的阴影,以及根据环境光、反射以及阴影在增强现实影像上渲染虚拟物体。因此,头戴式显示装置能够在增强现实场景中显示虚拟物体的技术效果。

Description

电子装置、显示增强现实场景的方法及电脑可读取媒体
技术领域
本公开涉及一种电子装置、显示增强现实场景的方法以及非暂态电脑可读取媒体,且特别涉及一种用于在增强现实场景中显示虚拟物体的电子装置、方法以及非暂态电脑可读取媒体。
背景技术
在增强现实(augmented reality,AR)以及虚拟现实(virtual reality,VR)系统中,如果要将虚拟物体混合到现实世界的环境中,则需要使虚拟物体的光源配置与现实世界的光源配置尽可能相似。由于效能问题,现有的实时环境光技术通常部会模拟阴影。然而,虚拟物体的阴影可以为观看者提供深度信息,并大幅提高渲染品质。因此,本领域中需要一种将现实世界环境的光源配置拍摄到混合实境或虚拟现实系统的电子装置。
发明内容
依据本公开文件的第一实施方式,其公开一种电子装置,电子装置包含相机单元、显示器以及处理器。相机单元用以拍摄物理环境的多个影像。显示器用以显示增强现实影像,其中增强现实影像的内容包含虚拟物体以及对应于物理环境的物体。处理器电性连接至相机单元以及显示器。处理器用以拼接影像以产生环境影像,根据环境影像计算虚拟物体对应的物理环境的环境光以及反射,根据环境影像分析光源的方向以计算虚拟物体对应的阴影,以及根据环境光、反射以及阴影在增强现实影像上渲染虚拟物体。
根据本公开一实施例,该处理器还用以执行以下步骤:计算该环境影像的一总亮度;根据该总亮度将该环境影像区分成多个区域,其中该些区域的两度彼此相等;根据每个区域的大小排序该些区域以产生一排序结果;根据该排序结果选择该些区域的其中之一,并产生对应于被选择区域的至少一方向光;根据被选择区域的位置与该虚拟物体的位置计算与该至少一方向光对应的一光源向量;以及根据该光源向量产生该虚拟物体对应的该阴影。
依据本公开文件的第二实施方式,其公开一种显示增强现实场景的方法,显示增强现实场景的方法包含:通过相机单元拍摄物理环境中的多个影像;通过处理器拼接影像以产生环境影像;通过处理器根据环境影像计算虚拟物体对应的物理环境的环境光以及反射;通过处理器根据环境影像分析光源的方向以计算虚拟物体对应的阴影;通过处理器根据环境光、反射以及阴影在增强现实影像上渲染虚拟物体;以及通过显示器显示增强现实影像,其中增强现实影像的内容包含虚拟物体以及对应于物理环境的物体。
根据本公开一实施例,当一视点与多个匹配目标的其中之一匹配时,该相机单元用以拍摄该些影像的其中之一,其中该视点随着该电子装置移动及旋转,并且该些匹配目标在该视点周围。
根据本公开一实施例,该处理器用以接收来自该相机单元的该些影像,其中每一影像包含对应的该相机单元的一位置。
根据本公开一实施例,通过该处理器拼接该些影像以产生该环境影像,还包含:通过该处理器根据一当前位置以及一初始位置之间的一距离计算当前的影像的一品质;以及如果当前的影像的该品质大于一门限值,将当前的影像拼接至该环境影像中;其中,该些影像的其中之一为一初始影像,以及该初始影像包含对应的该相机单元的该初始位置。
根据本公开一实施例,通过该处理器根据该环境影像计算该虚拟物体对应的该物理环境的该环境光,还包含:通过该处理器根据该环境影像利用一球谐函数计算与该虚拟物体对应的该环境光。
根据本公开一实施例,通过该处理器根据该环境影像计算该虚拟物体对应的该物理环境的该反射,还包含:通过该处理器根据该环境影像产生一立方体图,以及根据该立方体图计算与该虚拟物体对应的该反射。
根据本公开一实施例,通过该处理器根据该环境影像分析该光源的方向以计算该虚拟物体对应的该阴影,还包含:计算该环境影像的一总亮度;根据该总亮度将该环境影像区分成多个区域,其中该些区域的两度彼此相等;根据每个区域的大小排序该些区域以产生一排序结果;根据该排序结果选择该些区域的其中之一,并产生对应于被选择区域的至少一方向光;根据被选择区域的位置与该虚拟物体的位置计算与该至少一方向光对应的一光源向量;以及根据该光源向量产生该虚拟物体对应的该阴影。
依据本公开文件的第三实施方式,其公开一种非暂态电脑可读取媒体,非暂态电脑可读取媒体包含至少一指令程序,由处理器执行至少一指令程序以实行显示增强现实场景的方法,其包含:通过相机单元拍摄物理环境中的多个影像;通过处理器拼接影像以产生环境影像;通过处理器根据环境影像计算虚拟物体对应的物理环境的环境光以及反射;通过处理器根据环境影像分析光源的方向以计算虚拟物体对应的阴影;通过处理器根据环境光、反射以及阴影在增强现实影像上渲染虚拟物体;以及通过显示器显示增强现实影像,其中增强现实影像的内容包含虚拟物体以及对应于物理环境的物体。
附图说明
为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂,说明书附图的说明如下:
图1是根据本公开的一些实施例所示出的电子装置的方框图;
图2是根据本公开的一些实施例所示出的显示增强现实场景的方法的流程图;
图3A是根据本公开的一些实施例所示出的增强现实场景的示意图;
图3B是根据本公开的一些实施例所示出的匹配目标以及初始视点的示意图;
图3C是根据本公开的一些实施例所示出的环境影像的示意图;
图3D是根据本公开的一些实施例所示出的环境影像的示意图;
图4是根据本公开的一些实施例所示出的物理环境中电子装置的视野的示意图;
图5A是根据本公开的一些实施例所示出的虚拟物体的示意图;
图5B是根据本公开的一些实施例所示出的在物理环境中渲染虚拟物体的示意图;
图6是根据本公开的一些实施例所示出的步骤S240的流程图;
图7A是根据本公开的一些实施例所示出的环境影像的区域的示意图;
图7B是根据本公开的一些实施例所示出的环境影像的区域的示意图;
图8是根据本公开的一些实施例所示出的光源像亮在物理环境的示意图;以及
图9是根据本公开的一些实施例所示出的在物理环境中渲染虚拟物体的示意图。
附图标记说明:
100:电子装置
110:相机单元
130:处理器
150:显示器
200:显示增强现实场景的方法
SCN:增强现实场景
MT:匹配目标
VP、VP’:视点
Img、Img1、Img2:影像
EI:环境影像
PE:物理环境
R、R1、R2、R3、R4、R5、R6、A1、A2、A3、A4:区域
VO:虚拟物体
PO1、PO2、PO3:物体
L:灯
S1、S2、S3:阴影
SL1、SL2、SL3:分隔线
S210~S260、S241~S246:步骤
具体实施方式
以下公开提供许多不同实施例或例证用以实施本发明的不同特征。特殊例证中的元件及配置在以下讨论中被用来简化本公开。所讨论的任何例证只用来作解说的用途,并不会以任何方式限制本发明或其例证的范围和意义。此外,本公开在不同例证中可能重复引用数字符号且/或字母,这些重复皆为了简化及阐述,其本身并未指定以下讨论中不同实施例且/或配置之间的关系。
请参阅图1。图1是根据本公开的一些实施例所示出的电子装置100的方框图。如图1所示出,电子装置100包含相机单元110、处理器130以及显示器150,处理器130电性连接至相机单元110以及显示器150。于一些实施例中,电子装置100可以是装载增强现实(AR)系统或混合实境(MR)系统的一装置,例如头戴式装置(head-mounted device,HMD)。处理器130可以实施为图形处理器及/或中央处理单元,当一使用者佩戴电子装置100时,显示器150将会覆盖使用者的视域,并且显示器150用于向使用者显示混合实境场景或增强现实场景。
处理器130是耦接于显示器150。处理器130是用以处理将在显示器150上显示的增强现实(或混合实境)场景的影像/视频数据。增强现实/混合实境场景可包含虚拟物体(例如,茶壶、雕像、玻璃杯等)及/或物理环境的特征(例如,墙壁、门、桌子、窗户等)。
请参阅图2。图2是根据本公开的一些实施例所示出的显示增强现实场景的方法200的流程图。于一实施例中,显示增强现实场景的方法200可用以执行渲染虚拟物体的计算,并将虚拟物体和物理环境特征组合以形成增强现实影像。换句话说,增强现实影像的内容具有虚拟物体以及对应于物理环境的对象。因此,增强现实场景是由多个增强现实影像形成。
请一并参考图1及图2,如图2所示的实施例,显示增强现实场景的方法200首先执行步骤S210通过相机单元110拍摄物理环境中的多个影像。请参阅图3A,图3A是根据本公开的一些实施例所示出的增强现实场景SCN的示意图。于此实施例中,增强现实场景SCN可以包含具有围绕佩戴着电子装置100的使用者的球形增强现实场景SCN的影像数据Img。本公开并不限于球形的增强现实场景。于另一实施例中,增强现实场景SCN可以包含具有半球形增强现实场景、圆环形增强现实场景或其他等同形状的影像数据Img。
接着,显示增强现实场景的方法200通过处理器130拼接影像以产生环境影像。请参阅图3B,图3B是根据本公开的一些实施例所示出的匹配目标MT以及初始视点VP的示意图。于此实施例中,环境影像可以理解为物理环境的天空盒(skybox)。如图3B所示,当视点VP与多个匹配目标MT的其中之一匹配时,电子装置100的相机单元110用以拍摄增强现实场景SCN的影像Img。值得注意的是相机单元110拍摄的每一影像包含对应的相机单元110的位置。
接着,如图3B所示,视点VP随着电子装置100移动及旋转,并且匹配目标MP在视点VP周围。当视点VP匹配到匹配目标MT的其中之一时,相机单元110用以拍摄初始影像Img1,并且相机单元110的初始位置的坐标为Ip(0,0,0)。
于一实施例中,可以利用辅助目标来协助使用者对齐匹配目标MT,辅助目标可以实施为与匹配目标MT相同或不同的形状,匹配目标MT的数量可以实施为大于12,辅助目标的数量及形状并不限于此。
请参阅图3C,图3C是根据本公开的一些实施例所示出的环境影像EI的示意图。如图3C所示,处理器130用以将初始影像Img1拼接至环境影像EI中。当初始影像Img1已经被拼接至环境影像EI,视点VP’被移动以及旋转至新位置并匹配另一匹配目标MT,相机单元110用以拍摄另一影像Img2。
接着,处理器130还用以根据当前位置以及初始位置之间的距离计算当前的影像的品质。当前位置是对应于拍摄影像Img2的相机单元110的位置,当前影像Img2的品质可以由公式1计算得知。举例而言,相机单元110的初始位置的坐标为Ip(0,0,0),以及相机单元110的当前位置的坐标为Cp(10,10,10)。因此,当前影像Img2的品质可以由公式1获得,如果当前位置和初始位置之间的距离较远,当前影像Img2的品质就会比较差,由此可知距离和品质之间为反比关系。
Qp=Distance(Cp,Ip)-1 (公式1)
请参阅图3D,图3D是根据本公开的一些实施例所示出的环境影像EI的示意图。如图3D所示,如果当前影像Img2的品质大于门限值,处理器130用以将当前影像Img2拼接至环境影像EI中,初始影像Img1以及当前影像Img2在区域R中重叠,处理器130用以比较初始影像Img1的品质以及当前影像Img2的品质。于一实施例中,具有较低品质的影像将会被忽略,重叠区域R将会被更新为有较高品质的影像。在此情况下,初始影像Img1的品质高于当前影像Img2的品质,因此,重叠区域R将会被更新为初始影像Img1的数据。
另一实施例中,在重叠区域R中,具有较低品质的影像将与具有较高品质的影像混合。在此情况下,重叠区域R将会被更新为初始影像Img1与当前影像Img2混合后的数据。混合的比例可以调整,举例而言,如果初始影像Img1具有较高的品质,初始影像Img1的混合比率可以设定为0.8,以及当前影像Img2的混合比率可以设定为0.2。然而,本公开并不限定于此。
于此实施例中,如图3B所示,当视点VP与所有的匹配目标MT匹配完毕后,即可理解为环境影像EI已经产生完毕。值得注意的是由相机单元110拍摄的影像是对应于物理环境,因此环境影像EI是一对应于物理环境的天空盒。
请参阅图4,图4是根据本公开的一些实施例所示出的物理环境PE中电子装置100的视野的示意图。于此实施例中,电子装置100的相机单元110用以拍摄物理环境PE的多个影像。物理环境中PE具有灯L以及三个物体PO1、PO2以及PO3,物体PO1、PO2以及PO3具有不同的纹理。
请参阅图5A,图5A是根据本公开的一些实施例所示出的虚拟物体VO的示意图。于此实施例中,当处理器130用以将虚拟物体VO渲染至物理环境PE中时,使用者可以通过电子装置100在增强现实场景SCN中看到虚拟物体VO。假设虚拟物体VO是具有金属材料的瓶子,如图5A所示,虚拟物体VO的纹理是预设纹理(例如,网状)。由于来自灯L的光源,物体PO1具有阴影S1以及物体PO2具有阴影S2。然而,在此情况中,由于具有预设纹理的虚拟物体VO与物理环境PE中周围的物体不匹配,因此可以看到由处理器130呈现的虚拟物体VO在物理环境PE中并不真实。
接着,显示增强现实场景的方法200执行步骤S230通过处理器130根据环境影像EI计算虚拟物体VO对应的物理环境PE的环境光以及反射。于此实施例中,处理器130用以根据环境影像EI利用球谐函数(spherical harmonics,SH)计算与虚拟物体VO对应的环境光。在游戏引擎中(例如,Unity 3D、Unreal Engine等),球谐函数可用于间接照明(环境遮挡、全局照明等)。因此,我们可以根据环境图像EI利用球谐函数生成环境光。
接着,处理器130用以根据环境影像EI产生立方体图(cube map),以及根据立方体图计算与虚拟物体VO对应的反射。在3D电脑图学中,立方体图通常包含六个纹理贴图表面,每个立方体表面可以表示为一些环境细节,例如照明的颜色或纹理。因此,立方体图可用于对正在渲染的虚拟物体赋予逼真的环境光效果,使虚拟物体在场景的背景信息中具有逼真的外观和感受。
请参阅图5B,图5B是根据本公开的一些实施例所示出的在物理环境PE中渲染虚拟物体VO的示意图。如上方所述,在步骤S230中,根据环境影像EI计算虚拟物体VO对应的物理环境PE的环境光以及反射。举例而言,如图5B所示,物体PO1的纹理是具有红色的加号状纹理(例如“+”),物体PO2的纹理是具有咖啡色的斜线状纹理(例如“/”),物体PO3的纹理是具有蓝色的点状纹理(例如“·”),以及虚拟物体VO的纹理是具有灰色的网状纹理。处理器130执行完步骤S230之后,从物体PO1到虚拟物体VO的反射已计算完毕并且在虚拟物体VO上的区域A1中示出(例如,加号状纹理在区域A1中示出)。以此类推,从物体PO2到虚拟物体VO的反射已计算完毕并且在虚拟物体VO上的区域A2中示出(例如,斜线状纹理在区域A2中示出)。从物体PO3到虚拟物体VO的反射已计算完毕并且在虚拟物体VO上的区域A3中示出(例如,点状纹理在区域A3中示出)。
如图5B所示,虚拟物体VO的外观目前被显示为渲染后具有来自物理环境PE中的其他物体的颜色的纹理(斜线状纹理、加号状纹理、以及点状纹理)。再者,如虚拟物体VO上的区域A4所示,虚拟物体VO的纹理是具有灰色的预设纹理。应当理解,不是由来自其他物体PO1~PO3的反射直接并完全的覆盖,虚拟物体VO的表面(或外观)目前与自身的网状纹理以及来自其他物体PO1~PO3的纹理的反射混合。然而,仅示出区域A1~A4以便于说明。实际上,物体PO1~PO3的颜色以及虚拟物体VO的原始颜色会混合以在虚拟物体VO的表面上渲染。值得注意的是环境影像EI可以用以产生对应于虚拟物体VO的环境光以及反射,因此在步骤S230后产生的虚拟物体VO可以比起如图5A所示的虚拟物体VO更真实。
接着,显示增强现实场景的方法200执行步骤S240通过处理器130根据环境影像EI分析光源的方向以计算虚拟物体VO对应的阴影。步骤S240还包含步骤S241~S246,请一并参考图6,图6是根据本公开的一些实施例所示出的步骤S240的流程图。如图6所示的实施例,显示增强现实场景的方法200进一步执行步骤S241计算环境影像EI的总亮度。于此实施例中,处理器130用以计算环境影像EI的灰阶值总合,举例而言,环境影像E的总亮度为20000。
接着,显示增强现实场景的方法200进一步执行步骤S242根据总亮度将环境影像EI区分成多个区域。请参考图7A,图7A是根据本公开的一些实施例所示出的环境影像EI的区域的示意图。如图7A所示,处理器130用以通过分隔线SL1将环境影像EI区分为区域R1及R2。区域R1的亮度等于区域R2的亮度,这意谓着区域R1及R2的亮度皆为10000。
接着,请参考图7B,图7B是根据本公开的一些实施例所示出的环境影像EI的区域的示意图。如图7B所示,处理器130更用以通过分隔线SL2将环区域R1区分为区域R3及R4以及通过分隔线SL3将环区域R2区分为区域R5及R6。区域R3的亮度等于区域R4的亮度,这意谓着区域R3及R4的亮度皆为5000。区域R5的亮度等于区域R6的亮度,这意谓着区域R5及R6的亮度皆为5000。步骤S242执行的次数可以通过分隔线的数量或区域的亮度来设定,如果步骤S242执行的次数增加,区域的亮度总和将会降低并且区域的数量将会增加。
接着,显示增强现实场景的方法200进一步执行步骤S243根据每个区域的大小排序区域以产生排序结果。于前述的实施例中,每个区域具有相似的亮度值(例如,5000)。如果区域的尺寸越小,此区域将会成为光源的候选者。因此,可以理解到排序结果是根据区域的尺寸(从最大尺寸到最小尺寸)排列的。于另一实施例中,排序结果也可以由最小尺从排序到最大尺寸,然而本公开不限于此。
接着,显示增强现实场景的方法200进一步执行步骤S244根据排序结果选择区域的其中之一,并产生对应于被选择区域的至少一方向光。继续前述实施例,如果处理器130用以选择具有最小尺寸的区域,被选择的区域将会成为光源并产生方向光。于另一实施例中,处理器130可以根据排序结果按序选择多个区域,或是许则区域的数量可以由使用者决定,然而选择区域的手段不限于此。
接着,显示增强现实场景的方法200进一步执行步骤S245根据被选择区域的位置与虚拟物体VO的位置计算与至少一方向光对应的光源向量。请一并参考图8,图8是根据本公开的一些实施例所示出的光源像亮在物理环境PE的示意图。如图8所示的范例中,因为被选择区域是环境影像EI的一部分,因此可以获得被选择区域在环境影像EI中的位置。在此情况下,被选区域即为灯L的区域。接着,因为增强现实场景SCN是由环境影像EI所产生的,所以可以得知在球形增强现实场景SCN中的灯L的位置(z轴的坐标可以通过预设值、多视角感测器或深度感测器获得)。出于相似的原因,可以得知在球形增强现实场景SCN中的虚拟物体VO的位置,灯L的坐标为(x1,y1,z1)以及虚拟物体VO的坐标为(x2,y2,z2)。因此,可以通过灯L的坐标以及虚拟物体VO的坐标来计算光源向量。
接着,显示增强现实场景的方法200进一步执行步骤S246根据光源向量产生虚拟物体VO对应的阴影一并参考图9,图9是根据本公开的一些实施例所示出的在物理环境PE中渲染虚拟物体VO的示意图。如图9所示,处理器130用以根据光源向量产生虚拟物体VO的阴影S3。因此,由于来自灯L的光源,虚拟物体VO具有阴影S3。
接着,显示增强现实场景的方法200进一步执行步骤S250通过处理器130根据环境光、反射以及阴影在增强现实影像上渲染虚拟物体VO。根据前述实施例,在步骤S240后产生的虚拟物体VO可以比起如图5B所示的虚拟物体VO更真实。显示增强现实场景的方法200进一步执行步骤S260通过显示器130显示增强现实影像。当处理器130用以渲染虚拟物体VO,显示器150用以显示增强现实场景SCN。当处理器130在物理环境PE中根据环境光、反射以及阴影来渲染虚拟物体VO时,虚拟物体VO可以与真实世界的物体(例如,物体PO1、PO2及PO3)更加一致。
另一实施例公开一种非暂态电脑可读取媒体,非暂态电脑可读取媒体存储指令程序以执行如图2所示的显示增强现实场景的方法200。
根据前述的实施例,电子装置、增强现实场景的方法以及非暂态电脑可读取媒体能够产生物理环境的环境影像,根据环境影像计算环境光、反射以及阴影,以及根据环境光、反射以及阴影在增强现实场景上渲染虚拟物体。于一些实施方式中,头戴式显示装置能够在增强现实场景中显示虚拟物体。
另外,上述例示包含按序的示范步骤,但该些步骤不必依所显示的顺序被执行。以不同顺序执行该些步骤皆在本公开内容的考量范围内。在本公开内容的实施例的构思与范围内,可视情况增加、取代、变更顺序及/或省略该些步骤。
虽然本公开已以实施方式公开如上,然其并非用以限定本公开,任何本领域技术人员,在不脱离本公开的构思和范围内,当可作各种的变动与润饰,因此本公开的保护范围当视权利要求所界定者为准。

Claims (10)

1.一种电子装置,其特征在于,包含:
一相机单元,用以拍摄一物理环境的多个影像;
一显示器,用以显示一增强现实影像,其中该增强现实影像的内容包含一虚拟物体以及对应于该物理环境的一物体;以及
一处理器,电性连接至该相机单元以及该显示器,该处理器用以:
拼接该些影像以产生一环境影像;
根据该环境影像计算该虚拟物体对应的该物理环境的一环境光以及一反射;
根据该环境影像分析一光源的方向以计算该虚拟物体对应的一阴影;以及
根据该环境光、该反射以及该阴影在该增强现实影像上渲染该虚拟物体。
2.如权利要求1所述的电子装置,其特征在于,该处理器还用以执行以下步骤:
计算该环境影像的一总亮度;
根据该总亮度将该环境影像区分成多个区域,其中该些区域的两度彼此相等;
根据每个区域的大小排序该些区域以产生一排序结果;
根据该排序结果选择该些区域的其中之一,并产生对应于被选择区域的至少一方向光;
根据被选择区域的位置与该虚拟物体的位置计算与该至少一方向光对应的一光源向量;以及
根据该光源向量产生该虚拟物体对应的该阴影。
3.一种显示增强现实场景的方法,其特征在于,包含:
通过一相机单元拍摄一物理环境中的多个影像;
通过一处理器拼接该些影像以产生一环境影像;
通过该处理器根据该环境影像计算该虚拟物体对应的该物理环境的一环境光以及一反射;
通过该处理器根据该环境影像分析一光源的方向以计算该虚拟物体对应的一阴影;
通过该处理器根据该环境光、该反射以及该阴影在一增强现实影像上渲染该虚拟物体;以及
通过一显示器显示该增强现实影像,其中该增强现实影像的内容包含一虚拟物体以及对应于该物理环境的一物体。
4.如权利要求3所述的显示增强现实场景的方法,其特征在于,当一视点与多个匹配目标的其中之一匹配时,该相机单元用以拍摄该些影像的其中之一,其中该视点随着该电子装置移动及旋转,并且该些匹配目标在该视点周围。
5.如权利要求3所述的显示增强现实场景的方法,其特征在于,该处理器用以接收来自该相机单元的该些影像,其中每一影像包含对应的该相机单元的一位置。
6.如权利要求5所述的显示增强现实场景的方法,其特征在于,通过该处理器拼接该些影像以产生该环境影像,还包含:
通过该处理器根据一当前位置以及一初始位置之间的一距离计算当前的影像的一品质;以及
如果当前的影像的该品质大于一门限值,将当前的影像拼接至该环境影像中;
其中,该些影像的其中之一为一初始影像,以及该初始影像包含对应的该相机单元的该初始位置。
7.如权利要求3所述的显示增强现实场景的方法,其特征在于,通过该处理器根据该环境影像计算该虚拟物体对应的该物理环境的该环境光,还包含:
通过该处理器根据该环境影像利用一球谐函数计算与该虚拟物体对应的该环境光。
8.如权利要求4所述的显示增强现实场景的方法,其特征在于,通过该处理器根据该环境影像计算该虚拟物体对应的该物理环境的该反射,还包含:
通过该处理器根据该环境影像产生一立方体图,以及根据该立方体图计算与该虚拟物体对应的该反射。
9.如权利要求3所述的显示增强现实场景的方法,其特征在于,通过该处理器根据该环境影像分析该光源的方向以计算该虚拟物体对应的该阴影,还包含:
计算该环境影像的一总亮度;
根据该总亮度将该环境影像区分成多个区域,其中该些区域的两度彼此相等;
根据每个区域的大小排序该些区域以产生一排序结果;
根据该排序结果选择该些区域的其中之一,并产生对应于被选择区域的至少一方向光;
根据被选择区域的位置与该虚拟物体的位置计算与该至少一方向光对应的一光源向量;以及
根据该光源向量产生该虚拟物体对应的该阴影。
10.一种非暂态电脑可读取媒体,包含至少一指令程序,由该处理器执行该至少一指令程序以实行一显示增强现实场景的方法,其特征在于,包含:
通过一相机单元拍摄一物理环境中的多个影像;
通过一处理器拼接该些影像以产生一环境影像;
通过该处理器根据该环境影像计算该虚拟物体对应的该物理环境的一环境光以及一反射;
通过该处理器根据该环境影像分析一光源的方向以计算该虚拟物体对应的一阴影;
通过该处理器根据该环境光、该反射以及该阴影在一增强现实影像上渲染该虚拟物体;以及
通过一显示器显示该增强现实影像,其中该增强现实影像的内容包含一虚拟物体以及对应于该物理环境的一物体。
CN201910049440.9A 2018-01-19 2019-01-18 电子装置、显示增强现实场景的方法及电脑可读取媒体 Active CN110070621B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862619130P 2018-01-19 2018-01-19
US62/619,130 2018-01-19

Publications (2)

Publication Number Publication Date
CN110070621A true CN110070621A (zh) 2019-07-30
CN110070621B CN110070621B (zh) 2023-04-07

Family

ID=65138884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910049440.9A Active CN110070621B (zh) 2018-01-19 2019-01-18 电子装置、显示增强现实场景的方法及电脑可读取媒体

Country Status (4)

Country Link
US (1) US10636200B2 (zh)
EP (1) EP3514766A3 (zh)
CN (1) CN110070621B (zh)
TW (1) TWI711966B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393516A (zh) * 2021-06-17 2021-09-14 北京房江湖科技有限公司 用于打散ar场景中的虚拟物体的方法和装置
CN114979457A (zh) * 2021-02-26 2022-08-30 华为技术有限公司 一种图像处理方法及相关装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7003994B2 (ja) * 2017-08-08 2022-01-21 ソニーグループ株式会社 画像処理装置および方法
US10777010B1 (en) 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
US10559121B1 (en) * 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10607567B1 (en) 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10930049B2 (en) * 2018-08-27 2021-02-23 Apple Inc. Rendering virtual objects with realistic surface properties that match the environment
US11620794B2 (en) * 2018-12-14 2023-04-04 Intel Corporation Determining visually reflective properties of physical surfaces in a mixed reality environment
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
CN111199573B (zh) * 2019-12-30 2023-07-07 成都索贝数码科技股份有限公司 一种基于增强现实的虚实互反射方法、装置、介质及设备
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN112562051B (zh) * 2020-11-30 2023-06-27 腾讯科技(深圳)有限公司 虚拟对象显示方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236485A1 (en) * 2006-03-31 2007-10-11 Microsoft Corporation Object Illumination in a Virtual Environment
US20090046099A1 (en) * 2006-11-13 2009-02-19 Bunkspeed Real-time display system
US20140125668A1 (en) * 2012-11-05 2014-05-08 Jonathan Steed Constructing augmented reality environment with pre-computed lighting
US20140240354A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Augmented reality apparatus and method
CN104766270A (zh) * 2015-03-20 2015-07-08 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
US20150301599A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Eye tracking systems and method for augmented or virtual reality
WO2016011788A1 (zh) * 2014-07-24 2016-01-28 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
CN107093204A (zh) * 2017-04-14 2017-08-25 苏州蜗牛数字科技股份有限公司 一种基于全景画面影响虚拟对象光影效果的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2072947B1 (en) * 2007-08-07 2016-03-16 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
US9355433B1 (en) * 2015-06-30 2016-05-31 Gopro, Inc. Image stitching in a multi-camera array
KR20180099026A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236485A1 (en) * 2006-03-31 2007-10-11 Microsoft Corporation Object Illumination in a Virtual Environment
US20090046099A1 (en) * 2006-11-13 2009-02-19 Bunkspeed Real-time display system
US20140125668A1 (en) * 2012-11-05 2014-05-08 Jonathan Steed Constructing augmented reality environment with pre-computed lighting
US20140240354A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Augmented reality apparatus and method
US20150301599A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Eye tracking systems and method for augmented or virtual reality
US20150301592A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Utilizing totems for augmented or virtual reality systems
WO2016011788A1 (zh) * 2014-07-24 2016-01-28 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
CN104766270A (zh) * 2015-03-20 2015-07-08 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
CN107093204A (zh) * 2017-04-14 2017-08-25 苏州蜗牛数字科技股份有限公司 一种基于全景画面影响虚拟对象光影效果的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAUL DEVEVEC: "Image-Based Lighting", 《IEEE COMPUTER GRAPHICS AND APPLICATIONS 》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979457A (zh) * 2021-02-26 2022-08-30 华为技术有限公司 一种图像处理方法及相关装置
CN114979457B (zh) * 2021-02-26 2023-04-07 华为技术有限公司 一种图像处理方法及相关装置
CN113393516A (zh) * 2021-06-17 2021-09-14 北京房江湖科技有限公司 用于打散ar场景中的虚拟物体的方法和装置

Also Published As

Publication number Publication date
US20190228568A1 (en) 2019-07-25
EP3514766A2 (en) 2019-07-24
CN110070621B (zh) 2023-04-07
EP3514766A3 (en) 2019-08-14
US10636200B2 (en) 2020-04-28
TW201933084A (zh) 2019-08-16
TWI711966B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN110070621A (zh) 电子装置、显示增强现实场景的方法及电脑可读取媒体
Kruijff et al. Perceptual issues in augmented reality revisited
CA2282637C (en) Method for rendering shadows on a graphical display
US20170061675A1 (en) Point and click lighting for image based lighting surfaces
Li et al. Physically-based editing of indoor scene lighting from a single image
Lombardi et al. Radiometric scene decomposition: Scene reflectance, illumination, and geometry from rgb-d images
WO2017019811A1 (en) Robust attribute transfer for character animation
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
CN108509887A (zh) 一种获取环境光照信息方法、装置和电子设备
CN114175097A (zh) 用于对象类别建模的生成潜在纹理代理
CN113658316B (zh) 三维模型的渲染方法和装置、存储介质及计算机设备
CN111275731B (zh) 面向中学实验的投影式实物交互桌面系统和方法
CN109523622A (zh) 一种非结构化的光场渲染方法
Ma et al. Neural compositing for real-time augmented reality rendering in low-frequency lighting environments
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
Knecht et al. A framework for perceptual studies in photorealistic augmented reality
Chen et al. Rapid creation of photorealistic virtual reality content with consumer depth cameras
Korn et al. Interactive augmentation of live images using a hdr stereo camera
Chen et al. Dynamic omnidirectional texture synthesis for photorealistic virtual content creation
Chen et al. View-dependent virtual reality content from RGB-D images
Steinicke et al. Virtual reflections and virtual shadows in mixed reality environments
Bach et al. Vision-based hand representation and intuitive virtual object manipulation in mixed reality
CN110390686A (zh) 裸眼3d显示方法及系统
Chen et al. Virtual content creation using dynamic omnidirectional texture synthesis
WO2001057582A1 (en) Software out-of-focus 3d method, system, and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant