CN108769462B - 自由视角场景漫游方法及装置 - Google Patents

自由视角场景漫游方法及装置 Download PDF

Info

Publication number
CN108769462B
CN108769462B CN201810574936.3A CN201810574936A CN108769462B CN 108769462 B CN108769462 B CN 108769462B CN 201810574936 A CN201810574936 A CN 201810574936A CN 108769462 B CN108769462 B CN 108769462B
Authority
CN
China
Prior art keywords
camera
virtual
pixel
target
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810574936.3A
Other languages
English (en)
Other versions
CN108769462A (zh
Inventor
桑新柱
都静妍
高超
于迅博
刘博阳
高鑫
颜玢玢
王葵如
苑金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201810574936.3A priority Critical patent/CN108769462B/zh
Publication of CN108769462A publication Critical patent/CN108769462A/zh
Application granted granted Critical
Publication of CN108769462B publication Critical patent/CN108769462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本发明提供一种自由视角场景漫游方法及装置,所述方法包括:将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,编号坐标用于表示目标相机在相机阵列中的位置;若判断获知编号坐标中的两个数均为整数,则以目标相机拍摄的图像中的目标像素作为虚拟相机拍摄的虚拟图像中的虚拟像素,目标像素的目标坐标与虚拟像素的虚拟坐标相同,目标像素的目标像素值与虚拟像素的虚拟像素值相等,以实现自由视角场景漫游。本发明提供的自由视角场景漫游方法及装置,从已有的光场信息中获取密集视点信息,生成虚拟相机的虚拟图像,实现了在一定范围内的自由场景漫游,并实现了实时渲染。

Description

自由视角场景漫游方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种自由视角场景漫游方法及装置。
背景技术
光场是包含空间中不同方向的光线集合。光场显示则是可以将这些光线以其原有的方向进行传播的显示方式。
现有技术中,光场显示的视点范围受限于多相机阵列采集的内容,只能显示相机在固定位置采集的透视信息。如果想得到不同位置的相机阵列得到新的显示内容,需要重新摆放相机位置重新拍摄。
但是,现有技术中的这种方法在实际操作中是十分困难的,而且由于数据量大和耗费时间长不利于场景的实时渲染。因此,如何从已有的光场信息中获取更多的视点从而实现在一定范围内的自由场景漫游,是亟待解决的问题。
发明内容
本发明的目的是提供一种自由视角场景漫游方法及装置,解决了现有技术中光场显示的视点范围受限于多相机阵列采集的内容、无法实现自由场景漫游的技术问题。
为了解决上述技术问题,一方面,本发明提供一种自由视角场景漫游方法,包括:
将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游。
另一方面,本发明提供一种自由视角场景漫游装置,包括:
目标相机获取模块,用于将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
虚拟像素生成模块,用于若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游。
再一方面,本发明提供一种用于自由视角场景漫游的电子设备,包括:
存储器和处理器,所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行上述的方法。
又一方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
本发明提供的自由视角场景漫游方法及装置,从已有的光场信息中获取密集视点信息,生成虚拟相机的虚拟图像,实现了在一定范围内的自由场景漫游,并实现了实时渲染。
附图说明
图1为依照本发明实施例的自由视角场景漫游方法示意图;
图2为依照本发明实施例的针孔模型成像示意图;
图3为依照本发明实施例的相机成像示意图;
图4为依照本发明实施例的拉远位置虚拟相机成像示意图;
图5为依照本发明实施例的推近位置虚拟相机成像示意图;
图6为依照本发明实施例的虚拟相机与拍摄相机间像素对应关系示意图;
图7为依照本发明实施例的相机阵列中的每一相机拍摄图像坐标系示意图;
图8为依照本发明实施例的相机阵列中相机编号坐标系示意图;
图9为依照本发明实施例的相机阵列空间位置坐标系示意图;
图10为依照本发明实施例的基元图像生成示意图;
图11为依照本发明实施例的双线性插值法示意图;
图12为依照本发明实施例的两个水平相机光心间距示意图;
图13为依照本发明实施例的虚拟相机在相机阵列空间位置坐标系中的位置示意图;
图14为依照本发明实施例的虚拟相机移动范围示意图;
图15为依照本发明实施例的自由视角场景漫游装置示意图;
图16为本发明实施例提供的用于自由视角场景漫游的电子设备的结构示意图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为依照本发明实施例的自由视角场景漫游方法示意图,如图1所示,本发明实施例提供一种自由视角场景漫游方法,包括:
步骤S101、将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
步骤S102、若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游。
具体的,摄像机成像原理如下:
图2为依照本发明实施例的针孔模型成像示意图,如图2所示,在摄像机模型中针孔模型是最简单的,图2(a)中物体和其成像位于针孔的两侧。由于针孔呈倒像处理不便,所以我们对其做变换到物空间同侧,图2(b)中物体和其成像位于针孔的两侧。
此模型中,光线是从场景或者很远的物体发射过来的,但仅仅是来自某点的一条光线。在实际的针孔摄像机中,该点被“投影”到成像平面。其结果是在图像平面(也成投影平面)上,图像被聚焦。如图2(a)所示,f是摄像机的焦距,Z是摄像机到物体的距离,X是物体长度,x是图像平面上的物体图像。物点成像的大小与物点的离小孔的距离有关,满足三角比例关系。
平面成像的三角关系可以表示为如下形式。另外,有可能水平竖直焦距不一致,所以采用(fx,fy)代替f。
Figure GDA0002387952500000041
其中,x和y为像素位置,单位为“像素”。X,Y,Z为物理位置,单位为“米”,fx和fy为小孔焦距,单位为“像素/米”,也就是像素个数和实际的物理大小的比值。为了更好描述,如图2(b)所示,取小孔中心线为光轴,交像平面于(cx,cy)处。
本发明实施例提供的方法中像素对应关系如下:
图3为依照本发明实施例的相机成像示意图,如图3所示,针孔中的小孔一般理解为投影中心。每一条光线,从远处物体的某个点出发,到达投影中心。光线投影到图像平面生成图像。O1,O2表示使用平行式结构摆放的相机阵列中的两个相机,P1,P2是拍摄物空间的两个物点。P1,P2由通过投影中心O1,O2的光线投影到图像平面上,相应的图像点为q1,q2
图4为依照本发明实施例的拉远位置虚拟相机成像示意图,如图4所示,O3为一个与原拍摄平面相比,光心距离拍摄物体的更远的相机,所有相机都使用针孔成像模型。P1,P2由通过相机O3光心的光线投影到图像平面上,相应的图像点为q′1,q′2。从图中可以看出,入射光线l1同时通过相机O1和O3的投影中心,入射光线l2同时通过相机O2和O3的投影中心。因此对于物点P1的拍摄,相机O1和O3记录了同一条入射光线,相机O3图像平面上的所记录的图像点q′1的信息可以用相机O1的图像点q1替代。同样的,对于物点P2的拍摄,相机O2和O3记录了同一条入射光线,相机O3图像平面上的所记录的图像点q′2的信息可以用相机O2的图像点q2替代。
图5为依照本发明实施例的推近位置虚拟相机成像示意图,如图5所示,当相机与原拍摄平面相比光心距离拍摄物体的更近时,相机O3图像平面上的所记录的图像点q′1的信息可以用相机O2的图像点q1替代,相机O3图像平面上的所记录的图像点q′2的信息可以用相机O1的图像点q2替代,其原理与拉远位置虚拟相机成像的原理相同,此处不再赘述。
图6为依照本发明实施例的虚拟相机与拍摄相机间像素对应关系示意图,如图6所示,在理想的情况下,可以设定有足够多的拍摄相机。对于虚拟位置拍摄的相机,其图像平面上的每一个像素点信息都可以由与其记录同一条入射光线,放置在原拍摄平面相机的图像平面上对应的像素点信息替代。
在超密集视点的理想情况下,拍摄相机有无数多个,新生成的虚拟视图中的每一个像素点水平信息都应有一个拍摄相机与之对应。由于所有拍摄的相机的参数相同,由几何关系可以得出,图6中两个阴影部分是完全相等的,因此同一条入射光线在两个相机上与图像相交的位置也相同,以像素点作为图像平面的计量单位,则相机O上第n个像素点的对应相机On的第n个像素点。
基于以上原理,本发明实施例提供的自由视角场景漫游方法,首先,需要将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,编号坐标用于表示目标相机在相机阵列中的位置。即,首先,要通过计算找出用于替换虚拟相机拍摄的虚拟图像中的虚拟像素的目标像素所对应的目标相机。
在实际操作过程中,可以和虚拟视图像素点一一对应的超密集的拍摄无法实现。拍摄的相机阵列中的相机个数总是有限的。因此,通过预设计算模型输出的目标相机的编号坐标中的两个数可能为整数,也可能为小数。
若判断获知编号坐标中的两个数均为整数,则以目标相机拍摄的图像中的目标像素作为虚拟相机拍摄的虚拟图像中的虚拟像素,目标像素的目标坐标与虚拟像素的虚拟坐标相同,目标像素的目标像素值与虚拟像素的虚拟像素值相等,即,用相机阵列中的目标相机拍摄的图像中的目标像素替代虚拟相机拍摄的虚拟图像中的虚拟像素,以实现自由视角场景漫游。
本发明实施例提供的自由视角场景漫游方法,从已有的光场信息中获取密集视点信息,生成虚拟相机的虚拟图像,实现了在一定范围内的自由场景漫游,并实现了实时渲染。
在上述实施例的基础上,进一步地,所述将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型之前,还包括:
获取所述相机阵列中每一相机关于同一物点所拍摄的图像。
具体的,将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型之前,首先,需要用相机阵列采集关于同一物点的光场信息,即,用相机阵列对同一物点进行拍摄,获取每一相机关于同一物点所拍摄的图像。以便后续通过计算找出用于替换虚拟相机拍摄的虚拟图像中的虚拟像素的目标像素的像素值。
本发明实施例提供的自由视角场景漫游方法,从已有的光场信息中获取密集视点信息,生成虚拟相机的虚拟图像,实现了在一定范围内的自由场景漫游,并实现了实时渲染。
在以上各实施例的基础上,进一步地,所述若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游之后,还包括:
若判断获知所述编号坐标中的两个数中至少存在一个不为整数,则基于基元图像获取所述虚拟相机拍摄的虚拟图像中在所述虚拟坐标处的虚拟像素值,以实现自由视角场景漫游,所述基元图像由所述相机阵列中每一相机拍摄的图像中在所述目标坐标处的像素值,按照每一相机的编号坐标的顺序组合而成。
具体的,在实际操作过程中,可以和虚拟视图像素点一一对应的超密集的拍摄无法实现。拍摄的相机阵列中的相机个数总是有限的。因此,通过预设计算模型输出的目标相机的编号坐标中的两个数可能为整数,也可能为小数。
若判断获知编号坐标中的两个数中至少存在一个不为整数,则基于基元图像获取虚拟相机拍摄的虚拟图像中在虚拟坐标处的虚拟像素值,以实现自由视角场景漫游,基元图像由相机阵列中每一相机拍摄的图像中在目标坐标处的像素值,按照每一相机的编号坐标的顺序组合而成。
为了方便表示,建立如下两个坐标系:
图7为依照本发明实施例的相机阵列中的每一相机拍摄图像坐标系示意图,如图7所示,对相机阵列中的每一相机拍摄图像建立坐标系,坐标系中(X,Y)坐标点表示对应位置的像素点。
图8为依照本发明实施例的相机阵列中相机编号坐标系示意图,如图8所示,为了方便确定用于替换虚拟相机拍摄的虚拟图像中的虚拟像素的目标像素所对应的目标相机,对实际场景中进行拍摄的多相机阵列的排布进行编号,由此构建相机编号坐标系。相机编号坐标(m,n)表示该相机位于阵列中的n行m列位置。
图9为依照本发明实施例的相机阵列空间位置坐标系示意图,如图9所示,对拍摄相机的空间位置建立坐标系,由于相机阵列在水平和竖直两个方向上排列,在空间上基于相机光心所在的拍摄平面和相机阵列的中心位置建立空间直角坐标系。其中,虚拟相机在空间直角坐标系中的坐标为(I,J,K),图9(a)是相机阵列空间位置坐标系,图9(b)是水平方向i-j坐标系,图9(c)是垂直方向j-k坐标系。
图10为依照本发明实施例的基元图像生成示意图,如图10所示,在相机阵列中,每个相机关于同一个物点不同角度的成像结果,称之为基元图像(element-image)。在实际操作中,将阵列中每个相机拍摄的图像同一位置的像素,按照相机排列的顺序组合生成基元图像。当所求虚拟相机拍摄的虚拟图像中的虚拟像素的虚拟坐标为(X,Y)时,则由相机阵列中所有相机视图中的目标坐标为(X,Y)的像素,按照相机排列的顺序组合生成基元图像。
本发明实施例提供的自由视角场景漫游方法,从已有的光场信息中获取密集视点信息,生成虚拟相机的虚拟图像,实现了在一定范围内的自由场景漫游,并实现了实时渲染。
在以上各实施例的基础上,进一步地,所述基于基元图像获取所述虚拟相机拍摄的虚拟图像中在所述虚拟坐标处的虚拟像素值,具体为:
获取基元图像中距离待求像素最近的四个像素,所述待求像素的坐标为所述目标相机的编号坐标;
将所述四个像素中的每一像素的像素值,所述四个像素中的每一像素的坐标,以及所述待求像素的坐标输入至预设的双线性插值模型,输出所述待求像素的像素值;
以所述待求像素的像素值作为所述虚拟相机拍摄的虚拟图像中在所述虚拟坐标处的虚拟像素值。
具体的,基于基元图像,利用插值法获取虚拟相机拍摄的虚拟图像中在虚拟坐标处的虚拟像素值。
在基元图像中,需要插值求出坐标为(x,y)的待求像素的像素值,其中,x=M,y=N,通过预设计算模型输出的目标相机的编号坐标为(M,N)。图11为依照本发明实施例的双线性插值法示意图,如图11所示,待求像素为图11中的P点。由于x,y不一定是整数,而在基元图像像素当中的坐标都是整数的,因此在基元图像中找到距离P点最近的四个像素位置坐标值分别为([x],[y]),([x]+1,[y]),([x],[y]+1),([x]+1,[y]+1),分别对应图中Q11,Q12,Q21,Q22四个像素。
在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向分别进行一次线性插值。假如我们想得到未知函数f在点P=(x,y)的值,假设我们已知函数f在Q11=(x1,y1),Q12=(x1,y2),Q21=(x2,y1),Q22=(x2,y2)四个点的值分别为f(Q11)、f(Q21)、f(Q12)和f(Q22)。在本实施例中,f就是一个像素点的像素值,f(x,y)为待求像素点的像素值,f(Q11)、f(Q21)、f(Q12)和f(Q22)分别为像素点Q11、Q12、Q21和、Q22的像素值。双线性插值最后的结果如下:
Figure GDA0002387952500000091
以待求像素的像素值f(x,y)作为虚拟相机拍摄的虚拟图像中在虚拟坐标(X,Y)处的虚拟像素值。
本发明实施例提供的自由视角场景漫游方法,从已有的光场信息中获取密集视点信息,生成虚拟相机的虚拟图像,实现了在一定范围内的自由场景漫游,并实现了实时渲染。
在以上各实施例的基础上,进一步地,所述相机阵列中每一相机的参数信息都相同。
在以上各实施例的基础上,进一步地,所述相机阵列中每一相机的参数信息至少包括水平场视角、垂直场视角和分辨率。
在以上各实施例的基础上,进一步地,所述相机阵列的参数信息包括水平方向相机摆设宽度、竖直方向相机摆设宽度和相邻两个水平相机光心间距。
在以上各实施例的基础上,进一步地,所述虚拟相机的位置信息为所述虚拟相机在预设空间直角坐标系中的坐标值。
在以上各实施例的基础上,进一步地,所述预设计算模型为:
当J>0时:
Figure GDA0002387952500000101
当J<0时:
Figure GDA0002387952500000102
其中,lW=2|J|tan(α/2),lH=2|J|tan(β/2),W为相机阵列中水平方向相机摆设宽度,H为相机阵列中竖直方向相机摆设宽度,D为相机阵列中相邻两个水平相机光心间距,α为相机阵列中每一相机的水平场视角,β为相机阵列中每一相机的垂直场视角,相机阵列中每一相机的分辨率为w×h,虚拟相机在预设空间直角坐标系中的坐标值为(I,J,K),虚拟相机拍摄的虚拟图像中的虚拟像素的虚拟坐标为(X,Y)。
具体的,在利用预设计算模型,计算目标相机的编号坐标时,需要获取相机阵列的参数信息和虚拟相机的位置信息。为了得到更精确的结果,相机阵列中每一相机的参数信息都相同,相机阵列中每一相机的参数信息至少包括水平场视角、垂直场视角和分辨率。相机阵列的参数信息包括水平方向相机摆设宽度、竖直方向相机摆设宽度和相邻两个水平相机光心间距。虚拟相机的位置信息为虚拟相机在预设空间直角坐标系中的坐标值。
图12为依照本发明实施例的两个水平相机光心间距示意图,如图12所示,相机阵列中相邻两个水平相机光心间距为D。图13为依照本发明实施例的虚拟相机在相机阵列空间位置坐标系中的位置示意图,如图13所示,相机阵列中水平方向相机摆设宽度为W,相机阵列中竖直方向相机摆设宽度为H,相机阵列中每一相机的水平场视角为α,相机阵列中每一相机的垂直场视角为β,相机阵列中每一相机的分辨率为w×h,虚拟相机在预设空间直角坐标系中的坐标值为(I,J,K)。
在构建预设计算模型时,虚拟相机拍摄的虚拟图像中虚拟坐标为(X,Y)的虚拟像素,用对应编号坐标为(M,N)的相机所拍摄图像中坐标为(X,Y)的像素替代。我们称这个相机为目标相机,目标相机中的用于替代虚拟像素的像素称为目标像素,目标像素的坐标称为目标坐标,目标像素的像素值称为目标像素值。而在实际场景中目标相机不一定存在,我们可以通过插值来得到对应像素点的信息。
由图13中的光路的几何关系,可得:
lW=2|J|tan(α/2)
lH=2|J|tan(β/2)
其中,lW为虚拟相机入射光线与相机水平拍摄平面相交的范围,lH为虚拟相机入射光线与相机竖直拍摄平面相交的范围。
图14为依照本发明实施例的虚拟相机移动范围示意图,如图14所示,再由上述实施例中的结论可以得出,虚拟相机拍摄范围如下:,
前后移动范围:
Figure GDA0002387952500000111
左右移动范围:
Figure GDA0002387952500000112
上下移动范围:
Figure GDA0002387952500000113
虚拟相机的光心在图14中的阴影部分范围内,可以得到具有完整信息的虚拟图像。
由上述实施例中的原理分析的结论可以得出,预设的计算模型如下:
当J>0时:
Figure GDA0002387952500000114
当J<0时:
Figure GDA0002387952500000115
本发明实施例提供的自由视角场景漫游方法,从已有的光场信息中获取密集视点信息,生成虚拟相机的虚拟图像,实现了在一定范围内的自由场景漫游,并实现了实时渲染。
图15为依照本发明实施例的自由视角场景漫游装置示意图,如图15所示,本发明实施例提供一种自由视角场景漫游装置,用于完成上述实施例中所述的方法,具体包括目标相机获取模块1501和虚拟像素生成模块1502,其中,
目标相机获取模块1501用于将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
虚拟像素生成模块1502用于若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游。
本发明实施例提供一种自由视角场景漫游装置,用于完成上述实施例中所述的方法,通过本实施例提供的装置完成上述实施例中所述的方法的具体步骤与上述实施例相同,此处不再赘述。
本发明实施例提供的自由视角场景漫游装置,从已有的光场信息中获取密集视点信息,生成虚拟相机的虚拟图像,实现了在一定范围内的自由场景漫游,并实现了实时渲染。
图16为本发明实施例提供的用于自由视角场景漫游的电子设备的结构示意图,如图16所示,所述设备包括:处理器1601、存储器1602和总线1603;
其中,处理器1601和存储器1602通过所述总线1603完成相互间的通信;
处理器1601用于调用存储器1602中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:
将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游。
本发明实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:
将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游。
本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:
将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置及设备等实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种自由视角场景漫游方法,其特征在于,包括:
将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游;
所述相机阵列中每一相机的参数信息至少包括水平场视角、垂直场视角和分辨率;
所述相机阵列的参数信息包括水平方向相机摆设宽度、竖直方向相机摆设宽度和相邻两个水平相机光心间距;
所述预设计算模型为:
当J>0时:
Figure FDA0002387952490000011
当J<0时:
Figure FDA0002387952490000012
其中,lW=2|J|tan(α/2),lH=2|J|tan(β/2),W为相机阵列中水平方向相机摆设宽度,H为相机阵列中竖直方向相机摆设宽度,D为相机阵列中相邻两个水平相机光心间距,α为相机阵列中每一相机的水平场视角,β为相机阵列中每一相机的垂直场视角,相机阵列中每一相机的分辨率为w×h,虚拟相机在预设空间直角坐标系中的坐标值为(I,J,K),虚拟相机拍摄的虚拟图像中的虚拟像素的虚拟坐标为(X,Y)。
2.根据权利要求1所述的方法,其特征在于,所述将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型之前,还包括:
获取所述相机阵列中每一相机关于同一物点所拍摄的图像。
3.根据权利要求1所述的方法,其特征在于,所述若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游之后,还包括:
若判断获知所述编号坐标中的两个数中至少存在一个不为整数,则基于基元图像获取所述虚拟相机拍摄的虚拟图像中在所述虚拟坐标处的虚拟像素值,以实现自由视角场景漫游,所述基元图像由所述相机阵列中每一相机拍摄的图像中在所述目标坐标处的像素值,按照每一相机的编号坐标的顺序组合而成。
4.根据权利要求3所述的方法,其特征在于,所述基于基元图像获取所述虚拟相机拍摄的虚拟图像中在所述虚拟坐标处的虚拟像素值,具体为:
获取基元图像中距离待求像素最近的四个像素,所述待求像素的坐标为所述目标相机的编号坐标;
将所述四个像素中的每一像素的像素值,所述四个像素中的每一像素的坐标,以及所述待求像素的坐标输入至预设的双线性插值模型,输出所述待求像素的像素值;
以所述待求像素的像素值作为所述虚拟相机拍摄的虚拟图像中在所述虚拟坐标处的虚拟像素值。
5.一种自由视角场景漫游装置,其特征在于,包括:
目标相机获取模块,用于将相机阵列的参数信息和虚拟相机的位置信息输入至预设计算模型,输出目标相机的编号坐标,所述编号坐标用于表示所述目标相机在所述相机阵列中的位置;
虚拟像素生成模块,用于若判断获知所述编号坐标中的两个数均为整数,则以所述目标相机拍摄的图像中的目标像素作为所述虚拟相机拍摄的虚拟图像中的虚拟像素,所述目标像素的目标坐标与所述虚拟像素的虚拟坐标相同,所述目标像素的目标像素值与所述虚拟像素的虚拟像素值相等,以实现自由视角场景漫游;
所述相机阵列中每一相机的参数信息至少包括水平场视角、垂直场视角和分辨率;
所述相机阵列的参数信息包括水平方向相机摆设宽度、竖直方向相机摆设宽度和相邻两个水平相机光心间距;
所述预设计算模型为:
当J>0时:
Figure FDA0002387952490000031
当J<0时:
Figure FDA0002387952490000032
其中,lW=2|J|tan(α/2),lH=2|J|tan(β/2),W为相机阵列中水平方向相机摆设宽度,H为相机阵列中竖直方向相机摆设宽度,D为相机阵列中相邻两个水平相机光心间距,α为相机阵列中每一相机的水平场视角,β为相机阵列中每一相机的垂直场视角,相机阵列中每一相机的分辨率为w×h,虚拟相机在预设空间直角坐标系中的坐标值为(I,J,K),虚拟相机拍摄的虚拟图像中的虚拟像素的虚拟坐标为(X,Y)。
6.一种用于自由视角场景漫游的电子设备,其特征在于,包括:
存储器和处理器,所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。
CN201810574936.3A 2018-06-06 2018-06-06 自由视角场景漫游方法及装置 Active CN108769462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810574936.3A CN108769462B (zh) 2018-06-06 2018-06-06 自由视角场景漫游方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810574936.3A CN108769462B (zh) 2018-06-06 2018-06-06 自由视角场景漫游方法及装置

Publications (2)

Publication Number Publication Date
CN108769462A CN108769462A (zh) 2018-11-06
CN108769462B true CN108769462B (zh) 2020-05-05

Family

ID=64000157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810574936.3A Active CN108769462B (zh) 2018-06-06 2018-06-06 自由视角场景漫游方法及装置

Country Status (1)

Country Link
CN (1) CN108769462B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383262B (zh) * 2018-12-28 2023-05-12 曜科智能科技(上海)有限公司 遮挡检测方法、系统、电子终端以及存储介质
CN112087614A (zh) * 2019-06-12 2020-12-15 上海麦界信息技术有限公司 一种生成二维光场图像的方法、装置和计算机可读介质
CN112087618A (zh) * 2019-06-12 2020-12-15 上海麦界信息技术有限公司 一种生成二维光场图像的方法、装置和计算机可读介质
CN112087616A (zh) * 2019-06-12 2020-12-15 上海麦界信息技术有限公司 生成二维光场图像的方法、装置和计算机可读介质
CN112087617A (zh) * 2019-06-12 2020-12-15 上海麦界信息技术有限公司 生成二维光场图像的方法、装置和计算机可读介质
CN110264408B (zh) * 2019-07-05 2022-12-06 芋头科技(杭州)有限公司 近眼显示器的测量方法、装置、系统以及控制器和介质
CN111949122A (zh) * 2020-06-23 2020-11-17 微幻科技(北京)有限公司 一种虚拟漫游数据的生成方法及装置
CN113379838B (zh) * 2021-08-16 2021-10-22 贝壳技术有限公司 虚拟现实场景的漫游路径的生成方法和存储介质
CN116452718B (zh) * 2023-06-15 2023-09-12 山东捷瑞数字科技股份有限公司 场景漫游的路径规划方法、系统、装置、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072366A (zh) * 2007-05-24 2007-11-14 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
CN101345826A (zh) * 2007-07-13 2009-01-14 索尼株式会社 图像拾取设备
CN104915980A (zh) * 2015-06-29 2015-09-16 北京航空航天大学 一种基于稀疏光场基元的运动对象多视角光影合成方法
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
CN105262958A (zh) * 2015-10-15 2016-01-20 电子科技大学 一种虚拟视点的全景特写拼接系统及其方法
JP2017217170A (ja) * 2016-06-07 2017-12-14 キヤノン株式会社 画像表示装置
CN107563088A (zh) * 2017-09-14 2018-01-09 北京邮电大学 一种基于光线跟踪算法的光场显示设备仿真方法
CN107637061A (zh) * 2015-04-27 2018-01-26 汤姆逊许可公司 处理光场内容的方法和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072366A (zh) * 2007-05-24 2007-11-14 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
CN101345826A (zh) * 2007-07-13 2009-01-14 索尼株式会社 图像拾取设备
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
CN107637061A (zh) * 2015-04-27 2018-01-26 汤姆逊许可公司 处理光场内容的方法和设备
CN104915980A (zh) * 2015-06-29 2015-09-16 北京航空航天大学 一种基于稀疏光场基元的运动对象多视角光影合成方法
CN105262958A (zh) * 2015-10-15 2016-01-20 电子科技大学 一种虚拟视点的全景特写拼接系统及其方法
JP2017217170A (ja) * 2016-06-07 2017-12-14 キヤノン株式会社 画像表示装置
CN107563088A (zh) * 2017-09-14 2018-01-09 北京邮电大学 一种基于光线跟踪算法的光场显示设备仿真方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
REAL-TIME FREE VIEWPOINT IMAGE RENDERING BY USING FAST MULTI-PASS DYNAMIC PROGRAMMING;Norishige Fukushima et al;《3dtv-conference: the True Vision-capture. IEEE, 2010》;20100609;全文 *
Virtual viewpoint generation for threedimensional display based on the compressive light field;Qiao Meng et al;《PROCEEDINGS OF SPIE》;20161031;全文 *
一种虚拟场景的自动漫游方法;吴玲达 等;《小型微型计算机系统》;20100831(第8期);全文 *

Also Published As

Publication number Publication date
CN108769462A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108769462B (zh) 自由视角场景漫游方法及装置
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
US10540818B2 (en) Stereo image generation and interactive playback
US9900510B1 (en) Motion blur for light-field images
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN108369639B (zh) 使用多相机和深度相机阵列的基于图像的图像渲染方法和系统
US20180096525A1 (en) Method for generating an ordered point cloud using mobile scanning data
KR20140100656A (ko) 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
US10270957B2 (en) Method and apparatus for generating an adapted slice image from a focal stack
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN109658497B (zh) 一种三维模型重建方法及装置
JP2009175866A (ja) 立体像生成装置、その方法およびそのプログラム
JP5809607B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5522794B2 (ja) 立体像生成装置およびそのプログラム
JP6717576B2 (ja) 映像レンダリング装置及び方法
JP2010244221A (ja) 画像生成装置、方法及びプログラム
CN210986289U (zh) 四目鱼眼相机及双目鱼眼相机
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及系统
CN109801351B (zh) 动态图像生成方法和处理设备
JP2017215706A (ja) 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。
JP7265825B2 (ja) 生成装置、生成方法およびプログラム
CN113298868B (zh) 模型建立方法、装置、电子设备、介质及程序产品
KR102611481B1 (ko) 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치
CN209710210U (zh) 图像重新聚焦的控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant