CN104104936A - 用于形成光场图像的设备和方法 - Google Patents

用于形成光场图像的设备和方法 Download PDF

Info

Publication number
CN104104936A
CN104104936A CN201410136230.0A CN201410136230A CN104104936A CN 104104936 A CN104104936 A CN 104104936A CN 201410136230 A CN201410136230 A CN 201410136230A CN 104104936 A CN104104936 A CN 104104936A
Authority
CN
China
Prior art keywords
light field
camera
distance
plane
drawing object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410136230.0A
Other languages
English (en)
Other versions
CN104104936B (zh
Inventor
南东暻
金道均
朴柱容
安民修
李振镐
崔瑞永
河仁友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104104936A publication Critical patent/CN104104936A/zh
Application granted granted Critical
Publication of CN104104936B publication Critical patent/CN104104936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种用于形成光场图像的设备和方法,所述方法包括:将图形对象的顶点投影到在从至少一个相机到再现光场的屏幕的方向上与所述至少一个相机相距第一距离的远平面,并使用投影到远平面的顶点针对图形对象形成光场图像。

Description

用于形成光场图像的设备和方法
本申请要求于2013年4月5日在韩国知识产权局提交的10-2013-0037439号韩国专利申请的优先权权益,该申请的公开通过引用合并于此。
技术领域
以下描述涉及一种用于形成光场图像的方法和设备。
背景技术
三维(3D)显示技术正被应用于图像显示的各种领域(诸如,电影投影仪、电视(TV)、移动电话等)。3D显示的终极目标是向在虚拟环境中的用户提供与在真实环境中感知的立体感觉等效的立体效果。针对这一目的,各种类型的技术(诸如,立体视觉方法、多视图方法等)正在被研究。在各种技术中,相比于立体视觉方法或多视图方法,光场方法可更准确地表现3D空间信息。
发明内容
在3D显示中,如果位于观看位置的渲染相机的位置和位于投影位置的显示投影仪的位置不同,则变换捕获的光场以重建用于显示的光场。因此,可通过将渲染相机定位于投影位置来避免所述变换。这种布置导致从后面位置来捕获对象的前视图,并针对观察者的观察位置调整图像。
根据示例实施例,一种用于形成光场图像的方法可包括:接收图形对象的顶点(vertex),将图形对象的顶点投影到在从至少一个相机到再现光场的屏幕的方向上与所述至少一个相机相距第一距离的远平面,使用投影到远平面的图形对象的顶点针对图形对象形成光场图像。
投影的步骤可包括:将在所述顶点之中的位于距至少一个相机的第一距离处的图形对象的至少一个顶点变换到位于中所述至少一个相机的第二距离处;并将在所述顶点之中的位于距至少一个相机的第二距离处的图形对象的至少一个顶点变换到位于距所述至少一个相机的第一距离处。
投影的步骤可包括:执行将关于至少一个相机的图形对象的至少一个顶点投影到所述远平面的矩阵计算,并使用矩阵计算的结果确定投影到所述远平面的图形对象的坐标值。
所述方法还可包括:接收图形对象将被投影到的屏幕的顶部位置、底部位置、左边位置和右边位置及以从所述至少一个相机到该屏幕的第一距离和第二距离。
第一距离可相应于在到屏幕的方向上图形对象可被完整地表现的距相机位置的最远位置,第二距离可相应于图形对象可被完整地表现的最近位置。
根据示例实施例,一种用于形成光场图像的方法可包括:通过使用至少一个相机针对图形对象执行光场拍摄,来产生光场信息,其中,所述至少一个相机具有与表现光场的至少一个投影仪相同的视图位置或方向;基于观察者的观察位置变换光场信息;通过将变换的光场信息提供给所述至少一个投影仪来形成光场图像。
观察者的观察位置可包括观察者的观察高度。
变换的步骤可包括基于在第一平面上的观察者的观察位置,来变换光场信息,其中,第一平面是观察者平面或观察者感知的观看平面。
基于在第一平面上的观察位置变换光场信息的步骤可包括:确定第一坐标,其中,在第一坐标,将所述至少一个相机与图形对象的任一顶点连接的直线与第一平面相交;将第一坐标移动到与观察者的观察位置相应的第二坐标;确定第三坐标,其中,在第三坐标,经过第二坐标和图形对象的任一顶点的直线与再现光场的屏幕所在的第二平面相交;使用第三坐标变换光场信息。
所述方法还可包括接收包括以下项的信息:所述至少一个相机的位置、第一平面的位置及第二平面的位置。
形成光场图像的步骤可包括:将变换的光场信息投影到在从所述至少一个相机到再现光场的屏幕的方向上与所述至少一个相机相距第一距离的远平面,并通过将投影到所述远平面的变换的光场信息提供给至少一个投影仪来形成光场图像。
投影的步骤可包括:将在变换的光场信息之中的位于距所述至少一个相机的第一距离处的光场信息变换到位于距所述至少一个相机的第二距离处;将在变换的光场信息之中的位于距所述至少一个相机的第二距离处的光场信息变换到位于距所述至少一个相机的第一距离处;
投影的步骤可包括:执行将来自至少一个相机的变换的光场信息投影到所述远平面的矩阵计算,并利用矩阵计算的结果确定投影到所述远平面的光场信息的坐标值。
所述方法还可包括:接收图形对象将被投影到的屏幕的顶部位置、底部位置、左边位置和右边位置以及指向屏幕的第一距离和第二距离。
根据示例实施例,一种用于形成光场图像的设备可包括:输入单元,用于接收图形对象的顶点;投影单元,用于将图形对象的顶点投影到与指向再现光场的屏幕的第一距离相应的远平面;形成单元,用于使用投影到所述远平面的顶点来形成光场图像。
投影单元可包括:变换器,用于将在所述顶点之中的位于距至少一个相机最远的第一距离处的图形对象的至少一个顶点变换到位于距所述至少一个相机最近的第二距离处,将位于距至少一个相机最近的第二距离处的图形对象的至少一个顶点变换到位于距所述至少一个相机最远的第一距离处。
投影单元可包括:计算器,用于执行将来自一个相机的图形对象的至少一个顶点投影到所述远平面的矩阵计算;确定器,用于使用计算器的计算结果确定投影到所述远平面的图形对象的坐标值。
根据示例实施例,一种用于形成光场图像的设备可包括:光场形成单元,用于通过使用至少一个相机针对图形对象执行光场拍摄,来形成光场信息,其中,所述至少一个相机具有与表现光场的至少一个投影仪相同的视图位置或方向;变换单元,用于基于观察者的观察位置变换光场信息;图像形成单元,用于通过将变换的光场信息提供给所述至少一个投影仪来形成光场图像。
变换单元可包括:第一确定器,用于确定第一坐标,其中,在第一坐标,将至少一个相机与图形对象的任一顶点连接的直线与第一平面相交;移动器,用于将第一坐标移动到与观察者的观察位置相应的第二坐标;第二确定器,用于确定第三坐标,其中,在第三坐标,经过第二坐标和图形对象的任一顶点的直线与位于到再现光场的屏幕的方向上的第二平面,并使用第三坐标变换光场信息。
图像形成单元可包括:投影单元,用于将变换的光场信息投影到与指向再现光场的屏幕的第一距离相应的远平面;形成单元,用于通过将投影到所述远平面的变换的光场信息提供给至少一个投影仪来形成光场图像。
投影单元可包括:计算器,用于执行将来自一个相机的图形对象的至少一个顶点投影到所述远平面的矩阵计算;确定器,用于使用计算器的计算结果确定投影到所述远平面的图形对象的坐标值。
根据示例实施例,一种将三维对象投影到屏幕上的方法可包括:使用渲染相机捕获对象的光场,其中,渲染相机位于显示投影仪产生光场的位置;对捕获到的对象的光场进行投影;其中,捕获到的光场与从对象后面的位置捕获的对象的前视图,其中,所述对象后面的位置相应于显示投影仪再现光场的位置。
示例实施例的另外方面、特征和/或优点将在以下描述中部分地阐明,并从描述中部分是明显的,或者通过本公开的实施可以被理解。
附图说明
从下面通过结合附图进行的示例实施例的描述中,这些和/或其它方面及优点将会变得明显,并更易于理解,其中:
图1示出根据示例实施例的通过光场图像形成方法将相机视图变换到投影仪视图的构思;
图2示出根据示例实施例的通过光场图像形成方法捕获后面视图的光场的构思;
图3示出根据示例实施例的通过光场图像形成方法处理图形对象的顶点的过程;
图4示出根据示例实施例的光场图像形成方法;
图5示出根据示例实施例的在光场图像形成方法中将图形对象的顶点投影到远平面的方法的操作流程;
图6示出根据示例实施例的通过光场图像形成方法将图形对象的顶点投影到远平面的方法;
图7示出根据示例实施例的通过光场图像形成方法将图形对象的顶点投影到远平面的结果;
图8示出根据示例实施例的光场图像形成方法的操作流程;
图9示出根据示例实施例的考虑用于水平光场显示的视口变换的光场图像形成方法的操作流程;
图10示出根据示例实施例的基于观察者的观察位置变换图9的光场信息的方法的操作流程;
图11示出图9的光场图像形成方法;
图12示出根据示例实施例的考虑用于水平光场显示的视口变换的光场图像形成方法的操作流程;
图13示出根据示例实施例的针对水平光场显示考虑视口变换的光场图像形成方法的操作流程;
图14示出根据示例实施例的光场图像形成设备;
图15示出根据示例实施例的考虑用于水平光场显示的视口变换的光场图像形成设备。
具体实施方式
现在将详细参考示例实施例,其示例在附图中示出,其中,相同的标号始终表示相同的部件。
在以下描述中,光场指通过光线的分布表示的光在空间中的分布状态。根据光场的概念,从物体反射或产生的光被限定为在空间中以直线前进并进入人眼。三维(3D)空间可包括大量的光场。
例如,可使用五维(5D)全光函数以数学方式表示各个光场。也就是说,可通过光线穿过空间中的特定平面的点的3D空间坐标(x,y,z)以及与光线指向的空间方向角(θ,φ)相关的亮度来指示光场。
可通过以数据的形式表示穿过特定平面的光的全光函数值来捕获光场。也就是说,可通过关于在预定区域中的坐标(x,y,z)的每个空间方向角(θ,φ)的亮度值来捕获光场。
光场相机指适合于捕获光场的相机。2D相机适合于记录关于空间中的一个特定点(即,视点)的每个空间方向角(θ,φ)的亮度值,而光场相机可记录关于预定区域中的所有坐标值的每个空间方向角(θ,φ)的亮度值。
图1示出根据示例实施例的通过光场图像形成方法将相机视图变换到投影仪视图。
参考图1,当观察者从观察者平面110的右下端到左上端看屏幕时,捕获立体图像的多个相机105可捕获从观察者平面110的右下端到左上端(即,沿与观察者的观察方向相同的方向)看到的图形对象170的图像。尽管在图1中相机以水平线示出,但本公开不限于这种排列,相机可以以任何排列被布置在观察者平面110中。例如,相机可以以垂直线、有角度的线或Z字形图案被布置在观察者平面中。
总体而言,可使用多个相机105捕获光场。可捕获在各个相机105的视图中产生的光场信息。
当通过如图1所示在位于屏幕平面130后面的源平面150上布置多个投影仪155,来使用后面投影方法表现光场时,相应于每个投影仪155产生的光场信息与相应于每个相机105捕获到的光场信息可能不同。
因此,为解决该差异,从多个相机105捕获到的光场信息应该被变换为相应于投影仪155的光场信息。
2D图像显示器捕获并表现通过将3D空间信息投影到2D而产生的图像信息。因此,捕获视图和表现视图之间的差异可能不引起任何问题。然而,当捕获和表现3D空间的光场时,当用于捕获光场的相机视图与用于表现光场的投影仪视图不同时,由相机捕获的图像的图像信息可能不能被投影仪直接使用。
因此,根据示例实施例,当通过计算机图形渲染形成光场图像时,可通过将渲染相机的视图移动到源平面150的投影仪视图而不是观察者平面110的观察视图来执行渲染。因此,可在无需变换的情况下直接使用由投影仪捕获的光场信息。另外,可快速准确地产生光场。
图2示出根据示例实施例的通过光场图像形成方法捕获的后视图的光场。
参考图2,通过用于捕获后视图光场的计算机图形的相机排列,将相机的视图和方向变换到投影仪位置。
因为实际上再现立体图像的光场是从投影仪产生的,因此当通过将相机视图改变到投影仪视图来捕获光场信息时,捕获到的光场信息可被直接用作投影仪的输入,而无需额外的变换。
在计算机图形图像的情况下,可通过计算提取期望的位置的光场信息。因此,尽管相机被布置在对象后面,对象的前面的光场信息也可被捕获。因此,可直接用作投影仪的输入的光场信息可被捕获,而无需额外的变换。
也就是说,根据示例实施例,在光场的拍摄期间,相机205的位置可不相应于观察者的视位置,而是相应于表现光场的投影仪的位置(即,源平面210)。因此,与相机205拍摄的图形对象250相关的光场信息可由投影仪直接再现并表现在屏幕230上。
当在与投影仪的位置相应的相机205的位置拍摄光场时,可进行两种考虑。
第一,应从对象的后面拍摄对象的前面。第二,应实现仅水平视差(HPO)的表现特性。
在下文中,将参考图3到图8描述从对象的后面拍摄对象的前面的方法。将参考图9到图12描述实现HPO的表现特性的方法。
图3示出根据示例实施例的通过光场图像形成方法处理图形对象的顶点的过程。
参考图3,用于形成光场图像的设备(在下文中,将被称为“形成设备”)可针对输入图形对象的顶点x、y、z和w执行模型变换310。
在模型变换310期间,形成设备可针对包括图形对象的顶点x、y、z和w的3D网络模型执行移动、旋转、比例变换等,并可存储3D网络模型的位置、姿态和比例变换的结果。在模型变换310期间,相机的位置可被固定。
形成设备可使用通过模型变换310捕获的信息来执行视口变换330。视口指实际上显示在用于形成图像的渲染期间被投影变换的图的矩形区域。通常,尽管屏幕上的坐标只执行逻辑运算,但视口应相应于一个坐标系,例如,实际上显示图的显示器。因此,可通过视口变换执行坐标变换计算以表现由屏幕的坐标系计算出的图。
在视口变换330期间,形成设备可向相机施加运动(例如,通过改变相机的位置或旋转相机),并可相应地确定光场方向等。
形成设备可使用视口变换330的结果执行投影变换350。在投影变换350期间,形成设备可考虑相机的视图的场,将坐标值的变化反映在相机坐标系中。形成设备可通过投影变换350表现对象的后面的信息。
根据示例实施例,形成设备可仅执行投影变换350,而省略视口变换330。例如,当投影仪被布置在屏幕的后面,并且显示器能够表现垂直方向和水平方向时,形成设备可仅执行投影变换350。
图4示出根据示例实施例的光场图像形成方法。
参考图4,在操作410,根据示例实施例的形成设备可接收图形对象的顶点。
在操作430,形成设备可将顶点投影到远平面。远平面可指在到再现光场的屏幕方向上的与第一距离相应的平面。具体地说,远平面可指在从至少一个相机到再现光场的屏幕的方向上与所述至少一个相机相距第一距离的平面。
在操作430,形成设备可将在图形对象的顶点中位于距离至少一个相机最远的第一距离处的图形对象的至少一个顶点变换到位于距离所述至少一个相机最近的第二距离处。另外,形成设备可将位于第二距离处的图形对象的至少一个顶点变换到位于第一距离处。
在这里,第一距离相应于在到屏幕的方向上图形对象可被完整地表现的距投影仪或相机的位置最远的位置。第二距离可相应于图形对象可被完整地表现的最近位置。可由观察者输入第一距离和第二距离以及图形对象将被投影到的屏幕的顶端、底端、左侧、右侧的位置。
此外,将参考图5详细描述通过形成设备将图形对象的顶点投影到远平面的方法。
在操作450,形成设备可使用投影到远平面的图形对象的顶点形成关于图形对象的光场图像。
图5示出根据示例实施例的在光场图像形成方法中将图形对象的顶点投影到远平面的方法的操作流程。
参考图5,在操作510,根据示例实施例的形成设备可执行用于将关于至少一个相机的图形对象的至少一个顶点投影到远平面的矩阵计算。例如,可如表达式1所示来配置用于将所述至少一个顶点投影到远平面的矩阵。
[表达式1]
2 f r f - L f 0 r f + L f r f - L f 0 0 2 f t f - b f t f + b f t f - b f 0 0 0 - ( n + f ) n - f - 2 nf n - f 0 0 - 1 0
这里,f表示将被投影到屏幕的视景体(frustum)的远距离,而n表示将被投影到屏幕的视景体的近距离。rf表示在将被投影到屏幕的视景体的远距离处的右边位置,而lf表示在将被投影到屏幕的视景体的远距离处的左边位置。tf表示在将被投影到屏幕的视景体的远距离处的顶部位置,而bf表示在投影到屏幕的视景体的远距离处的底部位置。
在操作530,矩阵可使用操作510的计算结果输出投影到远平面的图像对象的坐标值。
图6示出根据示例实施例的通过光场图像形成方法将图形对象的顶点投影到远平面的方法。
参考图6,近平面630相应于靠近设置在投影仪位置的相机610的第二距离(z=n),而远平面650相应于远离相机610的第一距离(z=f)。
根据示例实施例的形成光场图像的方法,图形对象605的顶点V被投影到远平面650,而不是近平面630。因此,可如同从图形对象的后面拍摄图形对象的前面来形成光场图像。
这里,可以例如以顶端位置(Top_f,Top_n)、底端位置(Bottom_f,Bottom_n)、左边位置(Left_f,Left_n)和右边位置(Right_f,Right_n)的形式从观察者输入第一距离(z=f)和第二距离(z=n)。
图7示出根据示例实施例的通过光场图像形成方法将图形对象的顶点投影到远平面的结果。
参考图7,当根据光场图像形成方法通过将图形对象的顶点投影到远平面,来在后视图上形成光场时,可将位于靠近相机710的平面上的图像的一部分701投影到远平面,并如731所示来表示,而位于远离相机710的平面上的图像的多个部分705可被投影到近平面,并可如735所示来表示。
图8示出根据示例实施例的光场图像形成方法的操作流程。
参考图8,在操作810,可将将被投影到屏幕的视景体的顶部位置t、底部位置b、左边位置l、右边位置r、近位置n和远位置f输入到根据示例实施例的形成设备。
在操作820,形成设备可例如从多个相机中选择任何一个相机(诸如,第一相机)。在操作830,可将关于选择的相机的图形对象的顶点值提供给形成设备。
在操作840,形成设备可执行将关于选择的相机的图像对象的至少一个顶点投影到远平面的矩阵计算。
在操作850,形成设备可使用操作840的矩阵计算的结果输出投影到远平面的图形对象的坐标值。
在操作860,形成设备可确定是否针对关于选择的相机的图形对象的所有顶点获得了投影到远平面的图形对象的坐标值。
当任一顶点的坐标值未被获得且被留作操作860的确定的结果时,形成设备可重复操作830到操作850。
相反地,当针对所有顶点获得坐标值时,在操作870,形成设备可例如从多个相机中选择下一相机(诸如,第二相机)。
在操作880,形成设备可针对在操作870中选择的相机,重复操作820到操作860。另外,形成设备可重复所述操作,直到针对所有多个相机获得了投影到远平面的图形对象的所有顶点的坐标值。
图9示出根据示例实施例的考虑用于水平光场显示的视口变换的光场图像形成方法的操作流程。
参考图9,在操作910,根据示例实施例的形成设备可通过使用至少一个相机针对图形对象执行光场拍摄,来形成光场信息。这里,所述至少一个相机可具有与至少一个投影仪相同的视图位置或方向。光场信息可包括与来自投影仪的输入图像的像素将被投影到的屏幕上的点有关的信息,或与输入图像的像素和屏幕上的投影点之间的关系有关的信息。
在操作930,形成设备可基于观察者的观察位置或观察高度来变换光场信息。在操作930,形成设备可基于例如位于沿观察者方向的第一平面(诸如图11的平面1110)上的观察者的观察位置,来变换光场信息。将参考图10描述由形成设备基于观察者的观察位置变换光场信息的方法。
在操作950,形成设备可通过将在操作930中变换的光场信息提供给至少一个投影仪,来形成光场图像。
图10示出根据示例实施例的基于观察者的观察位置变换图9的光场信息的方法的操作流程。
参考图10,在操作1010,根据示例实施例的形成设备可确定第一坐标,其中,在第一坐标,将至少一个相机与图形对象的任一顶点连接的直线和第一平面相交。
在操作1030,形成设备可将在操作1010中确定的第一坐标移动到与观察者的观察位置相应的第二坐标。
在操作1050,形成设备可确定第三坐标,其中,在第三坐标,经过第二坐标和图形对象的任一顶点的直线与位于再现光场的屏幕方向上的第二平面相交。
在操作1070,形成设备可使用在操作1050中确定的第三坐标变换光场信息。
图11示出图9的光场图像形成方法。
在图11中,相机位置相应于投影位置。在屏幕平面1130上满足za=za=0。在观察者平面1110上的z的值为zb。
多个相机位于表现光场的多个投影仪所位于的源平面1150上。所述多个相机可具有与所述多个投影仪相同的视图位置和方向。将所述多个相机中的第一相机的中心C的位置C(xc,yc,zc)与图形对象1170的任一顶点V(xv,yv,zv)连接的直线可确定与第一平面1110相交的第一坐标B(xb,yb,zb)(①)。这里,例如,第一平面1110可以是观察者平面或所述观察者感知的观看平面。
这里,将第一相机的中心C的位置C(xc,yc,zc)与图形对象1170的任一顶点V(xv,yv,zv)连接的直线可经过位于到再现光场的屏幕的方面上的平面1130的位置A(xa,ya,za)。当不考虑观察者的眼睛水平面或位置时,位置A(xa,ya,za)可指示由投影到屏幕平面1130的图形对象1170形成的图像1135的位置。
在处理①中顶点之间的关系可满足表达式2。
[表达式2]
X b = X v - X c Z v - Z c ( Z b - Z c ) + X c
形成设备可将第一坐标B(xb,yb,zb)移动到与观察者的观察位置相应的第二坐标B'(xb,0,zb)(②)。
形成设备可确定第三坐标A'(xa',ya',za')(③),其中,在第三坐标A'(xa',ya',za'),经过第二坐标B'(xb,0,zb)和图形对象1170的任一顶点V(xv,yv,zv)的直线与位于再现光场的屏幕的方向上的第二平面1130相交。
在处理③中,顶点之间的关系可满足表达式3。
[表达式3]
X a ′ = X v - X b Z v - Z b ( - Z b ) + X b , y a ′ = y v Z v - Z b ( - Z b )
形成设备可通过将第三坐标A'(xa',ya',za')投影到第一相机的位置来变换光场信息。
图12示出根据示例实施例的考虑用于水平光场显示的视口变换的光场图像形成方法的操作流程。
参考图12,在操作1210,根据示例实施例的形成设备可接收包括以下项的信息:至少一个相机的位置、作为观察者平面的第一平面的位置和作为屏幕平面的第二平面的位置。
在操作1215,形成设备可例如从多个相机中选择任一相机(诸如第一相机),并在操作1220,形成设备可接收关于选择的相机的图形对象的顶点值。
在操作1225,形成设备可确定点B,其中,在点B,将在操作1215中选择的相机的中心与图形对象的顶点连接的直线与作为观察者平面的第一平面相交。
形成设备可在操作1230通过将点B移动到观察者的观察位置来确定点B',并可在操作1235确定点A',其中,在点A',经过点B'和图形对象的顶点的直线与屏幕平面相交。这里,考虑到观察者的观察位置,点A'具有通过变换点A获得的值。
在操作1240,形成设备可输出变换的点A'的值。
在操作1245,形成设备可确定是否将图形对象的所有顶点变换到观察者的观察位置。
作为操作1245的确定结果,当存在任一顶点未被变换到观察者的观察位置时,形成设备可重复操作1220到操作1240。
相反地,当针对所有顶点完成了到观察者的观察位置的变换时,在操作1250,形成设备可选择另一相机。
在操作1255,形成设备可针对在操作1250中选择的相机重复操作1220到1240,直到针对所有多个相机将图形对象的所有顶点变换到观察者的观察位置。
图13示出根据示例实施例的考虑用于水平光场显示的视口变换的光场图像形成方法的操作流程。
参考图13,在操作1310,形成设备通过使用至少一个相机针对图形对象执行光场拍摄,来形成光场信息。所述至少一个相机可具有与表现光场的至少一个投影仪相同的视图位置或方向。
在操作1330,形成设备可基于观察者的观察位置变换光场信息。
在操作1350,形成设备可将在操作1330中变换的光场信息投影到与指向再现光场的屏幕的第一距离相应的远平面。
在操作1370,形成设备可通过将在操作1350中投影到远平面的变换的光场信息提供给至少一个投影仪,来形成光场图像。
图14示出根据示例实施例的光场图像形成设备。
参考图14,根据实例实施例的用于形成光场图像的设备(即,形成设备)1400可包括输入单元1410、投影单元1430和形成单元1450。
输入单元1410可接收图形对象的顶点。
投影单元1430可将图形对象的顶点投影到与指向再现光场的屏幕的第一距离相应的远平面。
投影单元1430可包括变换器(未示出),其中,变换器适用于将顶点之中的位于距离至少一个相机最远的第一距离处的图形对象的至少一个顶点变换到位于距离所述至少一个相机最近的第二距离处。另外,变换器可将位于距离所述至少一个相机最近的第二距离处的至少一个顶点变换到位于距离所述至少一个相机最远的第一距离处。
投影单元1430可包括计算器1433和确定器1436。
计算器1433可执行将来自于一个相机的图形对象的至少一个顶点投影到远平面的矩阵计算。
确定器1436可使用计算器1433的计算结果,来确定投影到远平面的图形对象的坐标值。
形成单元1450可使用投影到远平面的顶点形成光场图像。
图15示出根据示例实施例的考虑用于水平光场显示的视口变换的光场图像形成设备。
参考图15,根据示例实施例的用于形成光场图像的设备(即,形成设备)可包括:光场信息形成单元1510、变换单元1530和图像形成单元1550。
光场信息形成单元1510可通过使用至少一个相机针对图形对象执行光场拍摄,来形成光场信息。所述至少一个相机可具有与表现光场的至少一个投影仪相同的视图位置或方向。
变换单元1530可基于在位于到观察者的方向上的第一平面上的观察者的观察位置,来变换光场信息。变换单元1530可包括第一确定器1531、移动器1533和第二确定器1535。
第一确定器1531可确定第一坐标,其中,在第一坐标,将至少一个相机与图形对象的任一顶点连接的直线与第一平面相交。
移动器1533可将第一坐标移动到与观察者的观察位置相应的第二坐标。
第二确定器1535可确定第三坐标,其中,经过第二坐标和图形对象的任一顶点的直线与位于到再现光场的屏幕的方向上的第二平面相交。
变换单元1530可使用第三坐标变换光场信息。
图像形成单元1550可通过将变换的光场信息提供给至少一个投影仪,来形成光场图像。图像形成单元1550可包括投影仪1551和形成器1553。
投影仪1551可将变换的光场信息投影到与指向屏幕的第一距离相应的远平面。
投影仪1551可包括计算器(未示出)和确定器(未示出)。
计算器可执行将来自于一个相机的图形对象的至少一个顶点投影到远平面的矩阵计算。
确定器可使用计算器的计算结果确定投影到远平面的光场信息的坐标值。
形成单元1553可通过将投影到远平面的变换的光场信息提供给至少一个投影仪,来形成光场图像。
以上已描述了若干个示例。然而,将应该理解可进行各种修改。例如,如果以不同的顺序执行所述技术,和/或如果以不同的方式组合在所述的系统、架构、装置或电路中的组件和/或用其它组件或其等同物来代替或补充在所述的系统、架构、装置或电路中的组件,则可得到适当的结果。
因此,其它实现方式在权利要求的范围内。
上述实施例可被记录在计算机可读介质中,计算机可读介质包括用于实现由计算机实施的各种操作的程序指令。介质也可包括程序指令、数据文件、数据结构等的一个或组合。记录在介质上的程序指令可以是为实施例的目的而专门设计和构造的程序指令,或可以是由计算机软件领域的技术人员所公知和可用的程序指令。计算机可读介质的示例包括:磁介质(如硬盘、软盘和磁带)、光学介质(如CD-ROM盘和DVD)、磁光介质(如光盘)和专门配置以存储和执行程序指令的硬件装置(如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。计算机可读介质也可以是分布式网络,从而程序指令被以分布方式存储和执行。程序指令可由一个或多个处理器执行。计算机可读介质也可在执行(像处理器一样处理)程序指令的至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中实现。程序指令的示例包括机器代码(诸如由编译器产生的机器代码)和可由计算机使用解释器执行的包含更高级代码的文件两者。上述装置可被配置为充当一个或多个软件模块,以便执行上述实施例的操作,或反之亦然。
虽然已经显示和描述了一些实施例,但本领域的技术人员应该理解,在不脱离本发明的原则和精神的情况下,可以在这些实施例中进行改变,本发明的范围由权利要求及其等同物限定。

Claims (19)

1.一种用于形成光场图像的方法,所述方法包括:
接收图形对象的顶点;
将图形对象的顶点投影到在从至少一个相机到再现光场的屏幕的方向上与所述至少一个相机相距第一距离的远平面;
使用被投影的图形对象的顶点针对图形对象形成光场图像。
2.如权利要求1所述的方法,其中,投影的步骤包括:
将在所述顶点之中的位于距至少一个相机的第一距离处的图形对象的至少一个顶点变换到位于距所述至少一个相机的第二距离处;
将在所述顶点之中的位于距至少一个相机的第二距离处的图像对象的至少一个顶点投影到位于距所述至少一个相机的第一距离处。
3.如权利要求1所述的方法,其中,投影的步骤包括:
执行将关于至少一个相机的图形对象的至少一个顶点投影到所述远平面的矩阵计算;
使用矩阵计算的结果确定投影到所述远平面的图形对象的坐标值。
4.如权利要求1所述的方法,还包括:
接收图形对象将被投影到的屏幕的顶部位置、底部位置、左边位置和右边位置,以及从所述至少一个相机到该屏幕的第一距离和第二距离。
5.如权利要求所述4的方法,其中,第一距离与在从所述至少一个相机到再现光场的屏幕的方向上能够完整表现图形对象的距所述至少一个相机的位置最远的位置相应,
第二距离与能够完整表现图形对象的最近位置相应。
6.一种用于形成光场图像的方法,所述方法包括:
通过使用至少一个相机针对图形对象执行光场拍摄,来产生光场信息,其中,所述至少一个相机具有与表现光场的至少一个投影仪相同的视图位置或方向;
基于观察者的观察位置变换光场信息;
通过将变换的光场信息提供给所述至少一个投影仪,来形成光场图像。
7.如权利要求所述6的方法,其中,观察者的观察位置包括观察者的观察高度。
8.如权利要求6所述的方法,其中,变换的步骤包括:
基于在第一平面上的观察者的观察位置,变换光场信息,其中,第一平面是观察者平面或观察者感知的观看平面。
9.如权利要求8所述的方法,其中,基于在第一平面上的观察位置变换光场信息的步骤包括:
确定第一坐标,其中,在第一坐标,将所述至少一个相机与图形对象的任一顶点连接的直线与第一平面相交;
将第一坐标移动到与观察者的观察位置相应的第二坐标;
确定第三坐标,其中,在第三坐标,经过第二坐标和图形对象的任一顶点的直线与再现光场的屏幕所在的第二平面相交;
使用第三坐标变换光场信息。
10.如权利要求6所述的方法,还包括:
接收包括以下项的信息:所述至少一个相机的位置、第一平面的位置和第二平面的位置。
11.如权利要求6所述的方法,其中,形成光场图像的步骤包括:
将变换的光场信息投影到在从所述至少一个相机到再现光场的屏幕的方向上与所述至少一个相机相距第一距离的远平面;
通过将投影到所述远平面的变换的光场信息提供给至少一个投影仪,来形成光场图像。
12.如权利要求11所述的方法,其中,投影的步骤包括:
将在变换的光场信息之中的位于距所述至少一个相机的第一距离处的光场信息变换到位于距所述至少一个相机的第二距离处;
将在变换的光场信息之中的位于距所述至少一个相机的第二距离处的光场信息变换到位于距所述至少一个相机的第一距离处。
13.如权利要求11所述的方法,其中,投影的步骤包括:
执行将来自于至少一个相机的变换的光场信息投影到所述远平面的矩阵计算;
使用矩阵计算的结果确定投影到所述远平面的光场信息的坐标值。
14.如权利要求11所述的方法,还包括:
接收图形对象将被投影到的屏幕的顶部位置、底部位置、左边位置和右边位置,以及指向屏幕的第一距离和第二距离。
15.一种用于形成光场图像的设备,所述设备包括:
光场形成单元,用于通过使用至少一个相机针对图形对象执行光场拍摄来形成光场,其中,所述至少一个相机具有与表现光场的至少一个投影仪相同的视图位置或方向;
变换单元,用于基于观察者的观察位置变换光场信息;
图像形成单元,用于通过将变换的光场信息提供给所述至少一个投影仪来形成光场图像。
16.如权利要求13所述的设备,其中,变换单元包括:
第一确定器,用于确定第一坐标,其中,在第一坐标,将至少一个相机与图形对象的任一顶点连接的直线与第一平面相交;
移动器,用于将第一坐标移动到与观察者的观察位置相应的第二坐标;
第二确定器,用于确定第三坐标,其中,在第三坐标,经过第二坐标和图形对象的任一顶点的直线与位于到再现光场的屏幕的方向上的第二平面相交,
其中,使用第三坐标变换光场信息。
17.如权利要求13所述的设备,其中,图像形成单元包括:
投影单元,用于将变换的光场信息投影到与指向再现光场的屏幕的第一距离相应的远平面;
形成单元,用于通过将投影到远平面的变换的光场信息提供给至少一个投影仪来形成光场图像。
18.如权利要求15所述的设备,其中,投影单元包括:
计算器,用于执行将来自于一个相机的图像对象的至少一个顶点投影到所述远平面的矩阵计算;
确定器,用于使用计算器的计算结果确定投影到所述远平面的图形对象的坐标值。
19.一种用于将三维对象投影到屏幕上的方法,所述方法包括:
使用渲染相机捕获对象的光场,其中,渲染相机位于显示投影仪产生光场的位置;
对捕获到的对象的光场进行投影;
其中,捕获到的光场与从对象后面的位置捕获的对象的前视图相应,其中,所述对象后面的位置相应于显示投影仪再现光场的位置。
CN201410136230.0A 2013-04-05 2014-04-04 用于形成光场图像的设备和方法 Active CN104104936B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0037439 2013-04-05
KR1020130037439A KR102049456B1 (ko) 2013-04-05 2013-04-05 광 필드 영상을 생성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN104104936A true CN104104936A (zh) 2014-10-15
CN104104936B CN104104936B (zh) 2018-08-07

Family

ID=50624367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410136230.0A Active CN104104936B (zh) 2013-04-05 2014-04-04 用于形成光场图像的设备和方法

Country Status (5)

Country Link
US (1) US9536347B2 (zh)
EP (1) EP2787734B1 (zh)
JP (1) JP6406853B2 (zh)
KR (1) KR102049456B1 (zh)
CN (1) CN104104936B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412556A (zh) * 2016-10-21 2017-02-15 京东方科技集团股份有限公司 一种图像生成方法及装置
CN107105216A (zh) * 2017-06-02 2017-08-29 北京航空航天大学 一种基于针孔阵列的连续视差、广视角的三维光场显示装置
CN108537835A (zh) * 2018-03-29 2018-09-14 香港光云科技有限公司 全息图像生成、显示方法及设备
CN109716757A (zh) * 2016-09-13 2019-05-03 交互数字Vc控股公司 用于沉浸式视频格式的方法、装置和流

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017250112B2 (en) 2016-04-12 2020-09-17 Quidient, Llc Quotidian scene reconstruction engine
EP3270589A1 (en) * 2016-07-11 2018-01-17 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
EP3788595A4 (en) 2018-05-02 2022-01-05 Quidient, LLC CODEC FOR PROCESSING SCENES WITH ALMOST UNLIMITED DETAILS
CN113470154B (zh) * 2021-07-30 2023-11-28 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US20230101991A1 (en) * 2021-09-24 2023-03-30 Sony Group Corporation View-independent multi-camera volumetric capture system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030231173A1 (en) * 2002-06-17 2003-12-18 Wojciech Matusik Modeling 3D objects with opacity hulls
CN1765133A (zh) * 2004-02-20 2006-04-26 三菱电机株式会社 三维电视系统和提供三维电视的方法
CN101411207A (zh) * 2006-04-04 2009-04-15 三菱电机株式会社 采集和显示三维光场的方法和系统
CN101635061A (zh) * 2009-09-08 2010-01-27 南京师范大学 基于人眼立体视觉机制的自适应立体渲染方法
CN101727679A (zh) * 2008-10-20 2010-06-09 车德福 三维地质模型中任意点交互选取的辅助线段滑块法
CN102831632A (zh) * 2012-07-24 2012-12-19 上海晨思电子科技有限公司 镜像纹理生成方法、装置以及计算机

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3526897B2 (ja) 1993-12-24 2004-05-17 株式会社応用計測研究所 画像表示装置
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US7194125B2 (en) 2002-12-13 2007-03-20 Mitsubishi Electric Research Laboratories, Inc. System and method for interactively rendering objects with surface light fields and view-dependent opacity
GB0410551D0 (en) * 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
WO2007019347A2 (en) 2005-08-08 2007-02-15 University Of Connecticut Depth and lateral size control of three-dimensional images in projection integral imaging
US8044994B2 (en) * 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US20090009593A1 (en) 2006-11-29 2009-01-08 F.Poszat Hu, Llc Three dimensional projection display
US8432436B2 (en) 2007-04-17 2013-04-30 University Of Southern California Rendering for an interactive 360 degree light field display
GB2452546B (en) 2007-09-07 2012-03-21 Sony Corp Video processing system and method
KR101563729B1 (ko) 2008-10-10 2015-10-27 삼성전자주식회사 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
US8704822B2 (en) 2008-12-17 2014-04-22 Microsoft Corporation Volumetric display system enabling user interaction
US8287127B2 (en) 2009-04-03 2012-10-16 Seiko Epson Corporation Aerial three-dimensional image display systems
US8416289B2 (en) 2009-04-28 2013-04-09 Microsoft Corporation Light-field display
HU0900478D0 (en) 2009-07-31 2009-09-28 Holografika Hologrameloeallito Method and apparatus for displaying 3d images
KR101613682B1 (ko) 2009-10-20 2016-04-19 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
KR101146458B1 (ko) 2009-10-29 2012-05-21 폭스세미콘 인티그리티드 테크놀로지, 인코포레이티드 광학 렌즈
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030231173A1 (en) * 2002-06-17 2003-12-18 Wojciech Matusik Modeling 3D objects with opacity hulls
CN1765133A (zh) * 2004-02-20 2006-04-26 三菱电机株式会社 三维电视系统和提供三维电视的方法
CN101411207A (zh) * 2006-04-04 2009-04-15 三菱电机株式会社 采集和显示三维光场的方法和系统
CN101727679A (zh) * 2008-10-20 2010-06-09 车德福 三维地质模型中任意点交互选取的辅助线段滑块法
CN101635061A (zh) * 2009-09-08 2010-01-27 南京师范大学 基于人眼立体视觉机制的自适应立体渲染方法
CN102831632A (zh) * 2012-07-24 2012-12-19 上海晨思电子科技有限公司 镜像纹理生成方法、装置以及计算机

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716757A (zh) * 2016-09-13 2019-05-03 交互数字Vc控股公司 用于沉浸式视频格式的方法、装置和流
CN106412556A (zh) * 2016-10-21 2017-02-15 京东方科技集团股份有限公司 一种图像生成方法及装置
CN106412556B (zh) * 2016-10-21 2018-07-17 京东方科技集团股份有限公司 一种图像生成方法及装置
US10553014B2 (en) 2016-10-21 2020-02-04 Boe Technology Group Co., Ltd. Image generating method, device and computer executable non-volatile storage medium
CN107105216A (zh) * 2017-06-02 2017-08-29 北京航空航天大学 一种基于针孔阵列的连续视差、广视角的三维光场显示装置
CN107105216B (zh) * 2017-06-02 2019-02-12 北京航空航天大学 一种基于针孔阵列的连续视差、广视角的三维光场显示装置
CN108537835A (zh) * 2018-03-29 2018-09-14 香港光云科技有限公司 全息图像生成、显示方法及设备

Also Published As

Publication number Publication date
KR102049456B1 (ko) 2019-11-27
EP2787734A2 (en) 2014-10-08
EP2787734B1 (en) 2020-07-15
JP2014203462A (ja) 2014-10-27
EP2787734A3 (en) 2014-11-05
CN104104936B (zh) 2018-08-07
JP6406853B2 (ja) 2018-10-17
KR20140121529A (ko) 2014-10-16
US20140300602A1 (en) 2014-10-09
US9536347B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
CN104104936A (zh) 用于形成光场图像的设备和方法
US10522116B2 (en) Projection method with multiple rectangular planes at arbitrary positions to a variable projection center
US10349033B2 (en) Three-dimensional map generating and displaying apparatus and method
CN102938844B (zh) 利用立体成像生成自由视点视频
US8917270B2 (en) Video generation using three-dimensional hulls
WO2017152803A1 (zh) 图像处理方法和设备
US20180338137A1 (en) LED-Based Integral Imaging Display System as Well as Its Control Method and Device
US20180122129A1 (en) Generation, transmission and rendering of virtual reality multimedia
US9703400B2 (en) Virtual plane in a stylus based stereoscopic display system
US20160140761A1 (en) Using depth information for drawing in augmented reality scenes
CN104781852A (zh) 用于渲染三维场景的计算机绘图方法
US20150145891A1 (en) Methods and Systems for Viewing a Three-Dimensional (3D) Virtual Object
CN110648274A (zh) 鱼眼图像的生成方法及装置
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
US20150065221A1 (en) Method and device for operating 3d virtual chessboard
US11385856B2 (en) Synchronizing positioning systems and content sharing between multiple devices
CN104134235A (zh) 真实空间和虚拟空间的融合方法和融合系统
KR20170013704A (ko) 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
WO2022016953A1 (zh) 导航方法、装置、存储介质及电子设备
JP5252703B2 (ja) 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム
CN108734792B (zh) 具有远程交互功能的全息投影辅助教学方法、装置及系统
US12112431B2 (en) Three dimensional mapping
CN103530869B (zh) 用于匹配移动质量控制的系统和方法
ES2812851T3 (es) Dispositivo de previsualización
KR101163020B1 (ko) 3차원 모델을 스케일링하는 방법 및 스케일링 유닛

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant