CN108028904A - 移动设备上光场增强现实/虚拟现实的方法和系统 - Google Patents

移动设备上光场增强现实/虚拟现实的方法和系统 Download PDF

Info

Publication number
CN108028904A
CN108028904A CN201680033763.3A CN201680033763A CN108028904A CN 108028904 A CN108028904 A CN 108028904A CN 201680033763 A CN201680033763 A CN 201680033763A CN 108028904 A CN108028904 A CN 108028904A
Authority
CN
China
Prior art keywords
light
camera
processor
mobile
geometry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680033763.3A
Other languages
English (en)
Other versions
CN108028904B (zh
Inventor
顾金伟
贝内特·威尔伯恩
蒋伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US14/848,759 priority Critical patent/US10388069B2/en
Priority to US14/848,759 priority
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2016/098538 priority patent/WO2017041740A1/en
Publication of CN108028904A publication Critical patent/CN108028904A/zh
Application granted granted Critical
Publication of CN108028904B publication Critical patent/CN108028904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography

Abstract

本发明描述的是基于光场的增强或虚拟现实的方法和装置。移动设备如智能手机的几何代理用于将来光场的虚拟对象插入所获取的现实世界图像的过程中。例如,一种移动设备,包括处理器和耦合至所述处理器的相机。所述处理器用于界定视图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。

Description

移动设备上光场増强现实/虚拟现实的方法和系统
[0001] 相关申请案交叉申请
[0002] 本申请案主张2015年9月9日递交的发明名称为“移动设备上光场增强现实/虚拟 现实的方法和系统”的第14/848,759号美国申请案的优先权,该申请案的内容以全部复制 的方式并入本文中。
[0003] 关于由联邦政府赞助研究或开发的声明
[0004] 不适用
[0005] 参考缩微胶片附录
[0006] 不适用
技术领域 背景技术
[0007] 增强现实(augmented reality,AR)是一种在用户看到的现实世界的视图上叠加 计算机生成图像从而得到复合视图的技术。虚拟现实(virtual reality,VR)是一种用户交 互式地探索计算机生成环境的技术,此技术通常使用护目镜实现。部分AR和VR系统要求将 计算机生成的(c〇mputer_generated,CG)或扫描的三维(three dimensional,3D)对象插入 视频序列中。计算机生成的或扫描的三维对象的真实性通常是极其有限的。此外,计算机生 成的三维内容的设计和制作是劳动密集型的。另一个缺点在于捕捉全景视频只准许用户转 动头部,却不能在房间里自由移动。
发明内容
[0008] 本发明描述的是基于光场的增强或虚拟现实的方法和装置。如智能手机等移动设 备的视图相关的几何代理用于将所述光场的虚拟对象插入所获取的现实世界图像的过程 中。例如,一种移动设备,包括处理器和耦合至所述处理器的相机。所述处理器用于:界定视 图相关的几何代理;通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代 理,通过插入的光场虚拟对象渲染所述记录帧。
[0009] 在另一实施例中,一种包括指令的非暂时性存储设备,当所述指令由处理器执行 时,使所述处理器执行以下步骤:当移动设备在三维(three dimensional,3D)空间移动时, 确定所述移动设备的视图相关的几何代理;接收相机记录的视频帧;以及基于所述视图相 关的几何代理,通过插入的光场虚拟对象在显示器上渲染所述记录帧。
[0010] 在又一实施例中,一种增强或虚拟现实的方法,包括:通过用户界面接收在移动相 机捕捉的图像中插入光场对象的位置;以及通过所述移动相机记录视频,生成记录视频帧。 所述方法还包括:基于针对所述移动相机界定的视图相关的几何代理,通过插入的光场虚 拟对象植染所述记录视频桢。
[0011] 以下将结合附图以及权利要求进行的详细描述,将更清楚地理解这些特征以及其 它特征。
附图说明
[0012] 为了更透彻地理解本发明,现参阅结合附图和具体实施方式描述的以下简要说 明,其中附图标记表示相同部件。
[0013] 图1示出了根据各实施例的增强现实视频帧图像的实例;
[00M]图2示出了根据各实施例的通过光场相机的圆形阵生成光场的实例;
[0015] 图3示出了根据各实施例的通过光场相机的二维阵列生成光场的实例;
[0016] 图4不出了根据各实施例的移动相机相对于光场生成相机的移动;
[0017] 图5示出了根据各实施例的基于移动相机的几何代理表示,通过插入的光场对象 渲染视频帧的方法;
[0018] 图6示出了根据各实施例的部分地基于移动相机的几何代理变换邻近光场图像视 图的方法的一实例;以及
[0019] 图7示出了根据各种实施例的基于移动设备的几何代理,可通过插入的光场对象 渲染视频的移动设备的方块图。
具体实施方式
[0020] 首先应理解,尽管下文提供一个或多个实施例的说明性实施方案,但所公开的系 统和/或方法可使用任何数目的技术来实施,无论该技术是当前已知还是现有的。本发明决 不应限于下文所说明的说明性实施方案、附图和技术,包括本文所说明并描述的示例性设 计和实施方案,而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
[0021] 本文所公开的是生成增强现实(augmented reality,AR)或虚拟现实(virtual reality,VR)图像的各种实施例,所述图像包括静态照片和视频。所公开实施例包括利用光 场渲染AR或VR图像。通过使用例如智能手机等移动相机,用户可以轻易将一个或多个光场 对象插入所述移动相机当前捕捉的视频图像中的任何位置。此外,用户可以带着移动相机 自由地在空间内移动,从不同位置和角度感知在移动相机中AR或VR图像中渲染的光场视频 内容。
[0022] 因此,可以通过如图1所示的移动相机捕捉现实世界图像。所述现实世界图像是所 述相机捕捉的实际图像,光场对象叠加在所述现实世界图像上,由此产生AR或VR效果。图1 示出了通过移动设备的相机捕捉的现实世界图像50的一实例。光场对象60分别是由同一个 移动相机或其它相机以前获取的,并且渲染为如所述移动相机自身显示器或单独的显示器 上显示的现实世界图像。
[0023] 所述用于捕捉现实世界图像和嵌入光场对象的移动相机可以包括如上所述的智 能手机,也可以包括平板电脑、计算机眼镜、护目镜、笔记本电脑和数码相机等。此外,所述 移动相机可以是任何具备与处理器通信的相机的便携电子设备的一部分。此类设备通常包 括图像捕捉设备(例如,相机)、处理器、存储器、显示器(例如,触控显示器)和其它组件。利 用光场渲染AR或VR图像可以由所述设备的处理器执行软件执行。在各实施例中,利用光场 渲染AR或VR图像可以由软件、固件、硬件或其任何组合执行。
[0024] 为便于说明,以下从渲染增强现实视频方面进行说明。但是,实施例包括渲染虚拟 现实视频以及AR或VR静态图像。
[0025]光场是在3D场景中从不同视角捕捉对象的图像的集合。例如,图2示出了光场相机 70 (703、7013、70(3、70(1、706、7(^和7(^)的圆形阵。每个相机70示意性地表示为三角形。每个 光场相机70朝内指向所述圆形阵的中心75。物理对象可放置在中心点75,以便每个相机70 可以从不同位置和角度捕捉所述对象的静态或视频图像。每个相机的位置指定为“T”,并且 可以得出相对于原点(例如,点75)的x、y和z坐标。例如,相机70a位于位置!^,相机70b位于 位置T2。每个相机通常指向位于中心点75的对象。因为每个相机70处于不同的位置T,所以 每个相机的定向角不同。定向角在此指定为“R”,并且可以根据例如俯仰角,倾斜角和偏转 角得出。相机70a具有定向角R1,相机70b具有定向角R2。图2的实例示出了7个光场相机。但是 一般而言,有i (优选地,i大于1)个光场相机,并且每个相机具有位置T1和定向角心。在一些 实施例中,每个光场相机70的光场图像可以是视频或静态照片,但在其它实施例中,光场图 像是视频序列。
[0026] 图3示出了用于生成光场的二维(two-dimensional,2D)相机阵列80。如图2中的圆 形阵,阵列80中的相机82可以是相同或类似的相机,但被布置为2D阵列。在图2的实例中,每 个相机具有位置Ti和定向角Ri。
[0027] 在另一实例中,用户可通过单个相机在一个位置从所述相机获取图像,然后移动 所述相机到另一个位置并获取新图像等,生成光场图像。
[0028] 用于生成光场图像的光场相机70和82可以是上文提到的与用于捕捉现实世界图 像的移动相机同种类型的相机,即智能手机、平板电脑、计算机眼镜、护目镜、笔记本电脑和 数码相机等。在用单一相机来捕捉光场(通过将相机在不同位置间移动)的实施例中,相同 的相机(例如,相同的智能手机)可以用于捕捉光场图像和现实世界图像,其中光场图像中 显示的光场对象被渲染为所述现实世界图像。用户可以获取多个光场对象集合并将其存储 在用于捕捉现实世界图像的移动相机的存储器。或者,用户可以捕捉光场对象,将光场对象 上传存储到在线存储服务,随后下载到移动设备来生成AR或VR图像。在其它实施例中,用于 生成AR或VR图像的移动设备的用户不会生成其自身的光场图像,而是使用以前记录的从例 如,在线服务,下载到用户移动相机或设备的光场图像。
[0029] 术语方面,用于捕捉其中插入光场对象的现实世界图像的设备被称作移动相机, 用于捕捉光场对象的相机被称作光场相机。如上所述,相同的相机设备可以同时用于捕捉 现实世界图像和光场图像。
[0030] 如上所述,在本文所述的实施例中,设备上光场AR/VR渲染中采用了“几何代理”。 几何代理与用于捕捉其中插入光场对象的现实世界视频的移动相机相关联。几何代理可以 是有场景深度的平面、圆柱体或者表面。几何代理是视图相关的,指的是其定向取决于用于 捕捉现实世界视频的移动相机的位置和定向角。为便于说明,以下以几何代理是平面为例, 但几何代理也可以是许多其它的形状。
[0031] 平面可以部分地由垂直于所述平面表面的向量界定。所述平面的角定向会改变, 法向量的角定向也会改变。几何代理被视为位于由移动相机的用户指定的3D空间内一个特 定点。随着用户在所述空间四处移动所述移动相机,改变所述移动相机的角度和位置,几何 代理平面改变其角度以直接面向相机。如此,在一些实施例中,几何代理是表示为(n,d)的 平面,其中η是所述平面的3D法线,d是所述平面和移动相机之间的距离。
[0032] 由于用户到处移动相机,所述移动相机可以通过任何合适的技术来计算在每个时 间点的(n,d)。例如,任何各种同时定位与地图构建(simultaneous localization and mapping,SLAM)技术可用于达成此目的。在皮涅斯等人在2007年4月10至14日于意大利罗马 举行的美国电气和电子工程师协会国际机器人及自动化大会提出的“使用单眼相机的反向 深度SLAM惯性辅助”中描述了一种合适的SLAM技术,其中使用了惯性测量单元。在该技术 中,惯性测量单元(inertial measurement unit,IMU)如陀螺仪和/或加速计被用于辅助确 定移动相机的位置、转动和速度。IMU以相对快的更新速率测量其自身的加速度和角速度。 根据测量值,可以通过整合来计算所述移动相机的位置、速度和角定向。移动相机部分地基 于来自MU的传感器信号和图像捕捉设备捕捉的图像计算其几何代理。
[0033] 通过相机和3D空间中的每个特征之间的相关信息,估算相机的位置、速度和角定 向以及具有环境最相关特征位置的地图。待估算状态向量为:
[0034]
Figure CN108028904AD00081
[0035] 其中Xv⑹表示载体状态
[0036]
Figure CN108028904AD00082
[0037] Y⑹是所述地图中η个特征的集合
[0038]
Figure CN108028904AD00083
[0039] 所述特征71 00的成分描述如下。所述载体状态Xv 00包含相机的位置^、速度^和 用欧拉角r表示姿势的三个笛卡尔坐标,所有都参照相机的机体框架B中的导航框架N、加 速计的偏压
Figure CN108028904AD00084
.以及陀螺仪的偏压
Figure CN108028904AD00085
来表示。
[0040] 状态在时间上的动态演变通过非线性的状态迀移函数得出:
[0041]
Figure CN108028904AD00086
[0042] 其中输入u⑹包括IMU测量的机体框架参考加速度和角速度ωb⑹
[0043]
Figure CN108028904AD00087
[0044] w⑹项表示测量值中的噪声为具有协方差Q的零均值不相关的高斯噪声
[0045]
Figure CN108028904AD00088
[0046] 根据之前的输入和噪声,相机状态的演变可以通过以下等式计算:
[0047]
Figure CN108028904AD00091
[0048] 其中
Figure CN108028904AD00092
分别是方向余弦矩阵和旋转速率变换矩阵。假定偏压是不变的,且 受高斯噪声影响。在一些实施例中,3D特征的表示过参数化如下:
[0049]
Figure CN108028904AD00093
[0050] 其中
Figure CN108028904AD00094
表示笛卡尔坐标中第一次观察到特征的相机光学中心。角度
Figure CN108028904AD00095
界定 从初始相机位置到3D点特征的射线的方位角和仰角。最后,
Figure CN108028904AD00096
是相机位置和特征之 间的距离cU的倒数。
[0051] 在一些实例中,观察通过如下等式与状态相关:
[0052]
Figure CN108028904AD00097
[0053] 其中
Figure CN108028904AD00098
界定从当前相机位置到相机坐标(c)中3D点的射线的向量h°的分 量,V是不相关的具有协方差R的零均值高斯观测噪声。以下等式阐明了如何计算从相机状 态Xv和对应特征yi的成分发出的射线h°。
Figure CN108028904AD00099
项是在机体框架中的惯性测量的传感器偏移,矩 阵是从机体框架到相机框架的变换矩阵。
Figure CN108028904AD000910
Figure CN108028904AD000911
[0056] 向量m是第一次发现特征时描述射线方向的单式向量。m可以依据特征的方位角
Figure CN108028904AD000912
和仰角
Figure CN108028904AD000913
计算如下:
[0057]
Figure CN108028904AD000914
[0058] 在对图像上的兴趣点进行不失真处理后,使用针孔相机模型根据特征的像素坐标 (u,v)确定在相机内的方位角和仰角:
[0059]
Figure CN108028904AD000915
[ΟΟόΟ] 其中UQ和VQ是所述图像的中心坐标,f U和fv是焦距的分量。
[0061] 由于移动相机在捕捉视频图像时在空间中四处移动,对于视频的每一帧,移动相 机利用上述技术或其它技术确定相机的位置和定向角(T和R)。在其它实施例中,与对于每 个视频帧相比,移动相机确定相机的位置和定向角的频率可更小(一次10视频帧)。由于相 机被移动,移动相机的位置和定向角随时间改变,因此相机的位置和定向角被表示为T (t) 和R (t)来指示位置和定向角随时间t变化。
[0062] 总的来说,获取并存储物理对象的光场图像的集合,除此以外用于后续对移动相 机获取的真实世界图像的视频渲染。每个光场相机i的位置T1和定向角&连同光场图像一起 被记录下来。在移动相机获取其中插入光场对象的现实世界场景的过程中,记录相机的位 置T⑴和方位角R⑴。移动相机的用户指定其想要光场对象在3D空间中插入的位置。用户 可以在现实世界兴趣场景中指向移动相机时,通过在移动相机中输入距离值来指定位置。 例如,用户可以指定5英尺的距离,意思是插入并渲染光场对象以使其似乎正好在移动相机 的镜头前方5英尺处。如果移动相机是智能手机,用户可以用智能手机的触敏显示器输入光 场对象的距离。一旦移动相机察觉到用户想在待获取的现实世界场景中放置光场对象的地 点,基于移动相机的几何代理,移动相机计算一个或多个光场图像的修改版。图4示出了初 始定位在位置101处并在获取位于点107处的对象的视频图像时并沿相机轨道105移动的移 动相机100的概念。移动相机100的几何代理110也位于点107处,并且由相机100计算出以基 于相机100的移动具有可变定向角。几何代理110的当前定向角正好面向移动相机100的当 前位置。图4还示出了叠加在移动相机100所获取的现实世界场景顶部的光场相机70的圆形 阵,以说明相机70之前获取的光场图像和移动相机100所获取的现实世界图像之间的关系。 当然,所述光场相机70不是真的叠加在移动相机100所获取的图像上。相机的圆形阵的中心 点被视为与相机的几何代理110的位置一致。因此,如果定位每个光场相机70 (例如70a和 70b)以获取位于点107处的对象的光场图像,它们将在其本来的位置和定向角被显示。如上 所述,针对每个光场相机70a和70b等,记录位置Ti和方位角Ri。类似地,当移动相机100沿相 机轨道105移动时,记录移动相机100的位置T (t)和定向角R (t)数据。那些位置和定向角值, 以及几何代理110的表面法线η⑴和距离d(t)用于计算在移动装置当前位置的预定范围内 一个或多个光场视图中每个光场视图的变换。在图4的实例中,光场相机70a和70b最接近移 动相机100,因此通过以下变换,来变换当前时间点的这两个相机的光场图像:
[0063]
Figure CN108028904AD00101
[0064] 其中:
[0065]
Figure CN108028904AD00102
指第i个光场相机(本实例中的相机70a或70b)的内部相机矩阵;
[0066]
Figure CN108028904AD00103
指第i个光场相机的3D定向角;
[0067]
Figure CN108028904AD00104
指第i个光场相机的3D位置;
[0068]
Figure CN108028904AD00105
指移动相机100的3D定向角;
[0069]
Figure CN108028904AD00106
指移动相机100的3D位置;
[0070]
Figure CN108028904AD00107
指几何代理110的平面的法线;
[0071]
Figure CN108028904AD00108
指几何代理110与移动相机当前位置之间的距离。n (t)和d(t)的值界定几 何代理的位置和定向。
[0072] 内部相机矩阵1是描述相机内部参数的3 X 3上三角形矩阵。所述内部矩阵包含5 个内参数。这些参数包括焦距、图像传感器格式和主点。以下提供一种内部矩阵的实例:
[0073]
Figure CN108028904AD00111
[0074] 参数ax = f · nb^Pay = f · %表示像素焦距,其中是将距离和像素关联的缩放 因子,f是距离的焦距。参数γ表示X轴和y轴之间的偏态系数,通常为0。参数UO和Vo表示主 点,在图像中心可以是0。
[0075] 用如上述提供的变换来变换每个邻近光场图像。将变换的光场图像或每个变换的 光场图像的衍生物嵌入移动相机100捕捉的现实世界图像中。
[0076] 图5示出了根据本公开实施的生成AR或VR图像的方法。可以按所示的顺序或不同 顺序执行图5的实例中的操作。此外,可以并行而非依次执行两个或两个以上的操作。152, 该方法包括捕捉光场。该操作可以如上文所述执行。例如,用于捕捉现实世界场景的移动相 机100也可以用于获取光场,其中光场对象被渲染在所述现实世界场景中。所捕捉的光场可 以是存储在移动相机100的存储器中的一系列静态照片或视频序列。在其它实施例中,多个 光场相机可以被布置成圆形、2D阵列或其它排列,用于捕捉光场。操作152中捕捉的光场可 以提前执行并存储在存储器中以便后续渲染过程使用,或可与捕捉现实世界图像同时执 行。
[0077] 154,该方法包括生成用于每个光场相机(或者至少临近移动相机100的光场相机) 的映射函数。所述映射函数可以含有给定的视频帧中每个像素的一组映射值。每个光场相 机可以有一个映射函数,所述映射函数为指定光场对象渲染入在现实世界场景方式的时间 函数。例如,如果光场对象是不透光的,所述映射函数只包含每个像素的一个值(〇或1),并 且为了使产生的图像看上去更逼真,可以被当作渲染时用于α混合的α通道。可以用前台/后 台分段模块来得到所述映射函数,从而将较高值分配给在对象强加前景对象上的像素,将 较低值分配给用户不想在光场AR/VR体验中展现出来的背景像素。当光场对象具有透明度 时,所述映射函数包含用于环境抠图的出射射线方向(u,v)的信息。
[0078] 156,该方法包括指定用户想要将光场对象插入待获取的现实世界图像的位置。可 以通过用户输入移动相机100前方的距离,即在3D空间中光场对象被渲染的位置,来指定所 述位置。
[0079] 158,移动相机开始记录现实世界视频。用户按压移动相机上的“记录”按钮或触摸 移动设备如智能手机或台式计算机的触敏显示器上的记录图标来启动该操作。相机开始记 录实况图像,并且如果需要的话,将此类图像存储在存储器中。
[0080] 160,该方法包括基于现实世界视图相关的几何代理,通过光场虚拟对象渲染现实 世界视图。与移动相机100相关和且由移动相机100计算的几何代理能使光场图像被处理且 被渲染入移动相机捕捉的图像中。更具体地说,如果光场图像的光场相机位于移动相机100 的当前位置并且面向记录的目标对象,通过几何代理变换(即扭曲)光场图像以使得其看上 去更接近它们原来看上去的样子。
[0081] 在一些实施例中,操作152、154和158可以由相同的设备执行,如可能是如上文所 述的平板电脑设备和智能手机等移动设备100。此外,操作152和154可由光场捕捉设备或系 统执行,操作158可由其它设备执行。所捕捉的光场因此可以提前捕捉并被包括在不同设备 获取的图像中。操作156和160可以由用于记录现实世界视频的相同的设备或由不同的设备 如计算机(例如,服务器和笔记本电脑等)执行。
[0082] 图6示出了操作160的实现方式的一实例,其中通过移动相机的几何代理进行渲 染。可以按所示的顺序或不同顺序执行图5的实例中的操作。此外,可以并行而非依次执行 两个或两个以上的操作。图6所示的操作由移动相机100针对所捕捉的视频的每一帧(例如 每两个视频帧)或以不同速率(例如每秒30次)执行。
[0083] 162,确定移动相机100的位置和转动。可以通过如上所述的SLAM技术使用加速计、 陀螺仪或通过其它技术来执行确定的动作。移动相机的当前位置表示为T (t),其中t是当前 时间,移动相机的当前转动是如上文所述的R⑴。
[0084] 至少基于移动相机的当前位置和定向,选择邻近光场视图(164)。这是指,当光场 相机指向几何代理时,如果此类光场相机实际出现于当前3D空间中,将本来最接近于当前 移动相机的位置和定向确定为光场相机的位置。例如,图4示出了两种邻近光场相机70a和 70b。可以基于阈值距离选择“邻近”光场相机。阈值距离内(固定或可配置)的光场相机被认 为是邻近的。在一些情况下,移动相机100的当前位置可以和光场相机70中的一个一致。如 果光场相机70和移动相机100之间的距离小于另一个阈值(S卩,极接近),那么操作164中只 确定使用那一个光场相机的视图。例如,在图4中,如果移动相机100在光场相机70b的顶部 (同一位置),那么只有光场相机70b的视图被使用。在其它情况下,移动相机100不在任何光 场相机位置的顶部,操作164中确定使用两个或两个以上最接近的光场相机的视图。
[0085] 对于确定与移动相机100当前位置临近的每个光场相机,该方法包括166,基于视 图相关的几何代理,针对每个邻近视图计算变换。上文提供了变换的一个实例,是关于几何 代理的当前法线和距离值(从几何代理到移动相机100的距离)、移动设备的当前位置T (t) 和转动R (t)、视图被变换的光场相机的位置和转动、以及用于该光场相机的内部相机矩阵 的函数。
[0086] 168,通过在操作166中针对该光场相机计算的相对应的变换,重映射每个邻近视 图。在此操作中,示于该光场相机的当前视频帧中的实际图像随着每次变换而被改变。结果 是,如果光场相机位于移动相机100当前的位置,所述变换的图像看上去比本来看上去的视 图更精确。170,通过操作166确定的同样的变换函数来重映射用于每个邻近视图的映射函 数。
[0087] 172,内插操作168中重映射的邻近视图,生成单一内插光场图像。可使用各种插值 法,如线性插值法。也可以内插重映射的映射函数,生成单一内插映射函数。
[0088] 174,将内插光场图像嵌入移动相机捕捉的现实世界视图中。相对应的内插映射函 数也用于生成结果图像来进一步提高结果图像的真实性。图7示出了本文所述的可使用的 移动设备200的方块图的一实例。所述移动设备200包括处理器202、非暂时性存储设备204、 相机210、输入设备212、3D传感器214和显示器216。所述非暂时性存储设备204可以包括易 失性存储器(例如,随机存取存储器)和非易失性存储器(例如,固态存储器,磁性存储器和 光学存储器等),或者是二者的组合。所述非暂时性存储设备204可以是单个存储设备或多 个存储设备。所述非暂时性存储设备204包括AR/VR应用206,AR/VR应用206包含多个可被处 理器202执行的指令。当所述指令被执行时,AR/VR应用206使所述处理器202执行上述移动 相机的一些或全部功能。
[0089] 所述输入设备212可以是任何类型的用户输入设备,如小键盘、键盘、鼠标和触摸 板等。在一实施例中,所述移动设备200是集成计算设备,如智能手机和平板设备等。所述输 入设备212和显示器216可以实现为单个触敏显示器。在此类实施例中,所述输入设备212可 以是触敏显示器。所述3D传感器214可以包括单轴或多轴加速度计、单轴或多轴陀螺仪或者 任何其它类型的3D传感器。
[0090] 在一个实施例中,所揭示的移动设备包括处理器构件和耦合至处理器构件的相机 构件。所述处理器构件用于界定视图相关的几何代理;通过所述相机记录图像,生成记录 帧;以及基于所述视图相关的几何代理,通过插入的光场虚拟对象渲染所述记录帧。
[0091] 在另一实施例中,非暂时性存储设备包括指令,当该指令被处理器构件执行时,所 述处理器构件在所述移动设备在三维(3D)空间中移动时,确定移动设备的视图相关的几何 代理,接收相机记录的视频帧,并且基于所述视图相关的几何代理通过插入的光场虚拟对 象在显示器上渲染所述视频帧。
[0092] 虽然本发明中已提供若干实施例,但应理解,在不脱离本发明的精神或范围的情 况下,本发明所公开的系统和方法可以以许多其它特定形式来体现。本发明的实例应被视 为说明性而非限制性的,且本发明并不限于本文本所给出的细节。例如,各种元件或部件可 以在另一系统中组合或合并,或者某些特征可以省略或不实施。此外,在不脱离本发明的范 围的情况下,各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其 它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其 它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合 或通信。其它变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公 开的范围的情况下确定。

Claims (20)

1. 一种移动设备,其特征在于,包含: 处理器;以及 耦合至所述处理器的相机; 其中,所述处理器用于: 界定视图相关的几何代理; 通过所述相机记录图像,生成记录帧;以及基于所述视图相关的几何代理,通过插入的 光场虚拟对象植染所述记录桢。
2. 根据权利要求1所述的移动设备,其特征在于,还包含用于存储物理对象的多个光场 视图的存储设备,其中所述处理器用于基于距离测定选择所述多个光场视图的子集。
3. 根据权利要求2所述的移动设备,其特征在于,所述处理器还用于: 基于所述视图相关的几何代理,变换所述多个光场视图的所选子集,生成变换光场视 图; 内插所述变换光场视图生成内插光场虚拟对象;以及 通过所述内插光场虚拟对象渲染所述记录帧。
4. 根据权利要求3所述的移动设备,其特征在于,在三维 (three-dimensional,3D)空间里,基于所述移动设备的移动,所述处理器确定要选择 的光场视图的新子集。
5. 根据权利要求3所述的移动设备,其特征在于,所述处理器还用于:基于针对所述移 动设备界定的内部相机矩阵、与每个光场视图相关联的3D定向角、与每个光场视图相关联 的3D位置、所述移动设备的3D定向角、所述移动设备的3D位置以及所述几何代理的位置和 定向,变换所述光场视图的所选子集中每个子集的每个光场图像。
6. 根据权利要求3所述的移动设备,其特征在于,所述处理器还用于: 基于所述视图相关的几何代理,变换所述光场视图的所选子集中每个子集的映射函 数,生成变换映射函数; 内插所述变换映射函数生成内插映射函数;以及 通过使用所述内插映射函数的所述内插光场虚拟对象渲染所述记录帧。
7. 根据权利要求1至6中任一权利要求所述的移动设备,其特征在于,还包含惯性测量 单元(inertial measurement unit,IMU),其中所述处理器部分地基于所述IMU的传感器信 号确定所述视图相关的几何代理。
8. 根据权利要求1至6中任一权利要求所述的移动设备,其特征在于,还包含触敏显示 器,其中所述处理器接收来自所述触敏显示器的指示从所述移动设备到某个位置的距离的 信号,所述位置为所述光场虚拟对象看起来位于其插入到所述移动设备捕捉的所述记录帧 中的位置。
9. 根据权利要求1至8中任一权利要求所述的移动设备,其特征在于,所述移动设备是 手机或平板设备。
10. —种包括指令的非暂时性存储设备,其特征在于,当所述指令由处理器执行时,使 所述处理器执行以下步骤: 当移动设备在三维(3D)空间中移动时,确定所述移动设备的视图相关的几何代理; 接收相机记录的视频帧;以及 基于所述视图相关的几何代理,通过插入的光场虚拟对象在显示器上渲染所述视频 帧。
11. 根据权利要求10所述的非暂时性存储设备,其特征在于,当所述指令由所述处理器 执行时,使所述处理器执行以下步骤: 基于获取多个光场视图的位置与所述相机的当前位置之间的距离,从所述光场中选择 光场视图的子集; 基于所述几何代理的位置和定向,变换所述光场视图的子集,生成变换光场视图;以及 通过变换光场视图在所述显示器上渲染所述视频帧。
12. 根据权利要求11所述的非暂时性存储设备,其特征在于,当所述指令由所述处理器 执行时,使所述处理器执行以下步骤: 内插所述变换光场视图生成内插光场视图;以及 通过所述内插的光场视图在所述显示器上渲染所述视频帧。
13. 根据权利要求11所述的非暂时性存储设备,其特征在于,当所述指令由所述处理器 执行时,使所述处理器至少部分地基于所述几何代理的位置和定向与所述光场视图的子集 相关联的位置和定向之间的几何关系来变换所述光场视图的子集。
14. 根据权利要求10至13中任一权利要求所述的非暂时性存储设备,其特征在于,当所 述指令由所述处理器执行时,使所述处理器接收来自用户输入设备的指示在所述视频帧中 插入所述光场虚拟对象的位置的输入。
15. 根据权利要求10至13中任一权利要求所述的非暂时性存储设备,其特征在于,当所 述指令由所述处理器执行时,使所述处理器基于惯性同时定位与地图构建技术确定所述视 图相关的几何代理。
16. —种增强或虚拟现实的方法,其特征在于,包含: 通过用户界面接收关于在移动相机捕捉的图像中插入光场对象的位置的输入; 通过所述移动相机记录视频,生成记录视频帧;以及 基于针对所述移动相机界定的视图相关的几何代理,通过在所述输入指定的位置处插 入的光场虚拟对象来渲染所述记录视频帧。
17. 根据权利要求16所述的方法,其特征在于,通过所述插入的光场对象渲染所述记录 视频帧包含: 确定所述移动相机的位置和转动; 在所述移动相机的预定范围内选择光场视图的子集; 基于所述视图相关的几何代理,计算所选子集中的每个选择的光场视图的变换,生成 所述子集中所述选择的光场视图中每一个光场视图的计算变换; 通过所述每个选择的光场视图的所述计算变换,重映射所述光场视图的子集中的每个 光场视图,生成重映射光场视点; 通过所述重映射光场视点生成重映射邻近视图;以及 将所述重映射邻近视图嵌入所述记录视频帧。
18. 根据权利要求17所述的方法,其特征在于,还包含: 确定每个选择光场视图的每一帧的映射函数; 通过所述计算变换重映射每个映射函数,生成每个映射函数的变换映射函数;以及 合并所述变换映射函数,生成合并变换映射函数, 其中通过所述插入的光场对象渲染所述记录视频帧包括:将所述合并变换映射函数应 用于所述重映射邻近视图。
19. 根据权利要求16所述的方法,其特征在于,还包含针对所述移动相机界定所述几何 代理为位于3D坐标原点且基于所述移动相机的时变定向转动的几何形状。
20. 根据权利要求19所述的方法,其特征在于,所述针对所述移动相机界定所述几何代 理为几何形状包含:将所述几何形状界定为平面。
CN201680033763.3A 2015-09-09 2016-09-09 移动设备上光场增强现实/虚拟现实的方法和系统 Active CN108028904B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/848,759 US10388069B2 (en) 2015-09-09 2015-09-09 Methods and systems for light field augmented reality/virtual reality on mobile devices
US14/848,759 2015-09-09
PCT/CN2016/098538 WO2017041740A1 (en) 2015-09-09 2016-09-09 Methods and systems for light field augmented reality/virtual reality on mobile devices

Publications (2)

Publication Number Publication Date
CN108028904A true CN108028904A (zh) 2018-05-11
CN108028904B CN108028904B (zh) 2020-02-11

Family

ID=58190544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680033763.3A Active CN108028904B (zh) 2015-09-09 2016-09-09 移动设备上光场增强现实/虚拟现实的方法和系统

Country Status (4)

Country Link
US (1) US10388069B2 (zh)
EP (1) EP3275182A4 (zh)
CN (1) CN108028904B (zh)
WO (1) WO2017041740A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027543A1 (zh) * 2019-08-15 2021-02-18 广州虎牙科技有限公司 基于单目图像的模型训练方法、装置及数据处理设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
US11014242B2 (en) * 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668556A (zh) * 2010-12-17 2012-09-12 松下电器产业株式会社 医疗支援装置,医疗支援方法以及医疗支援系统
US20120249730A1 (en) * 2011-03-31 2012-10-04 Kenneth Kun Lee Stereoscopic panoramic video capture system using surface identification and distance registration technique
US20140321702A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US20150062120A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Method and apparatus for representing a physical scene
CN104685860A (zh) * 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US8427438B2 (en) 2009-03-26 2013-04-23 Apple Inc. Virtual input tools
CN102362294B (zh) * 2010-02-23 2015-07-22 松下电器产业株式会社 计算机图形影像合成装置和方法、以及显示装置
CN102147658B (zh) 2011-02-12 2013-01-09 华为终端有限公司 实现扩增实境互动的方法、扩增实境互动装置及移动终端
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
CN103577788A (zh) 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668556A (zh) * 2010-12-17 2012-09-12 松下电器产业株式会社 医疗支援装置,医疗支援方法以及医疗支援系统
US20120249730A1 (en) * 2011-03-31 2012-10-04 Kenneth Kun Lee Stereoscopic panoramic video capture system using surface identification and distance registration technique
CN104685860A (zh) * 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US20140321702A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US20150062120A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Method and apparatus for representing a physical scene

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027543A1 (zh) * 2019-08-15 2021-02-18 广州虎牙科技有限公司 基于单目图像的模型训练方法、装置及数据处理设备

Also Published As

Publication number Publication date
CN108028904B (zh) 2020-02-11
US20170069133A1 (en) 2017-03-09
WO2017041740A1 (en) 2017-03-16
EP3275182A1 (en) 2018-01-31
US10388069B2 (en) 2019-08-20
EP3275182A4 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
US10102639B2 (en) Building a three-dimensional composite scene
KR20160140452A (ko) 이미지 기반의 라이트 필드를 사용자의 디바이스 상에 표시하기 위한 방법 및 장치, 및 대응하는 컴퓨터 프로그램 제품
JP5812599B2 (ja) 情報処理方法及びその装置
US10334168B2 (en) Threshold determination in a RANSAC algorithm
JP5093053B2 (ja) 電子カメラ
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6768156B2 (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
US10410089B2 (en) Training assistance using synthetic images
EP3273412B1 (en) Three-dimensional modelling method and device
EP2430616A2 (en) Image generation method
CN106296598B (zh) 三维姿态处理方法、系统及拍摄终端
US20160210761A1 (en) 3d reconstruction
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
CN108028904A (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN105809664B (zh) 生成三维图像的方法和装置
Dankers et al. Active vision-rectification and depth mapping
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
TW201928761A (zh) 影像擷取之設備及方法
Nasir et al. Camera calibration using human face as a 2D planar object
CN113228117A (zh) 创作装置、创作方法和创作程序
Schindler et al. Real-Time Camera Guidance for 3d Scene Reconstruction
Senthilnathan et al. Non-metrical scene reconstruction using a quasi-calibrated prime lens based camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant