CN106231284B - 三维图像的成像方法及系统 - Google Patents
三维图像的成像方法及系统 Download PDFInfo
- Publication number
- CN106231284B CN106231284B CN201610552831.9A CN201610552831A CN106231284B CN 106231284 B CN106231284 B CN 106231284B CN 201610552831 A CN201610552831 A CN 201610552831A CN 106231284 B CN106231284 B CN 106231284B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- camera
- voxel
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种三维图像的成像方法及系统。根据所述方法,所述系统包括:获取由位于同一直线上且光轴方向一致的至少三个摄像头所提供的、包含共同图像区域的二维图像,以及各摄像头的空间信息;基于预配对的两幅二维图像的共同图像区域,分别对各二维图像进行基于空间重建的预处理;基于预处理后的每对二维图像和所述空间信息,重建所要显示的三维图像的空间像素值;将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影,得到所述三维图像。本发明有效解决三维图像的立体感差的问题。
Description
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种三维图像的成像方法及系统。
背景技术
三维图像是利用两投放设备将具有重叠图像的两幅视图投射到同一屏幕上,并利用偏光眼镜将两幅视图分别呈现在两个眼睛中,由此显示出具有3D效果的图像。
上述呈现方式中,人们必须佩带偏光眼镜。随着三维图像技术的发展,裸眼3D技术寄希望通过改变显示屏的光栅结构来将一幅三维图像呈现给人们。为此,需要将现有的两幅视图交织到一幅三维图像中。
为了解决上述问题,现有技术中通过估计两幅视图中重叠区域中各点视差来分配两幅视图中各RGB值在三维图像中的各子像素位置,如此得到所要呈现的三维图像。
上述方式虽然能够实现裸眼3D的效果,但是由于未考虑拍摄视图时的真实空间信息,所得到的三维图像的立体感不好。因此,需要对现有技术进行改进。
发明内容
本发明提供一种三维图像的成像方法及系统,以解决三维图像的立体感差的问题。
第一方面,本发明实施例提供了一种三维图像的成像方法,包括:获取由位于同一直线上且光轴方向一致的至少三个摄像头所提供的、包含共同图像区域的二维图像,及各摄像头的空间信息;基于预配对的两幅二维图像的共同图像区域,分别对各二维图像进行基于空间重建的预处理;基于预处理后的每对二维图像和所述空间信息,重建所要显示的三维图像的空间像素值;将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影,得到所述三维图像。
第二方面,本发明实施例还提供了一种三维图像的成像系统,包括:二维图像获取单元,用于获取由位于同一直线上且光轴方向一致的至少三个摄像头所提供的、包含共同图像区域的二维图像,及各摄像头的空间信息;二维图像预处理单元,用于基于预配对的两幅二维图像的共同图像区域,分别对各二维图像进行基于空间重建的预处理;空间建模单元,用于基于预处理后的每对二维图像和所述空间信息,重建所要显示的三维图像的空间像素值;三维图像成像单元,用于将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影,得到所述三维图像。
本发明由于加入了实际摄像头的空间信息,并在此基础上反向重建假设屏幕前的三维模型,再借助三维模型在屏幕上的投影,能够提高三维图像视觉上的立体感。
附图说明
图1是本发明实施例一中的一种三维图像的成像方法的流程图;
图2是本发明实施例一中的另一种三维图像的成像方法的流程图;
图3是本发明实施例一中的两幅二维图像共同图像区域中一像素点的视差构成示意图;
图4是本发明实施例一中的两视点在显示空间中的交汇区域示意图;
图5是本发明实施例一中的两个视点投影到屏幕中一像素区域时在显示空间的交汇区域的示意图;
图6是本发明实施例一中的两个视点投影到屏幕中一像素区域时在显示空间的交汇区域的又一示意图;
图7是本发明实施例一中各子像素位与视点的对应关系示意图;
图8是本发明实施例一中由视点向屏幕像素区域投影时,未遮挡体素与相应像素区域的投影示意图;
图9是本发明实施例二中的一种三维图像的成像系统的结构示意图;
图10是本发明实施例二中的另一种三维图像的成像系统的结构示意图;
图11是本发明各实施例中各摄像头的位置示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的三维图像的成像方法的流程图,本实施例可适用于基于多于两个摄像头同时拍摄的二维图像进行三维重建的情况,所述成像方法由安装在终端/服务器等电子设备中的成像系统来执行。所述终端包括但不限于:手机、平板电脑、虚拟现实装置等。所述成像方法具体包括如下步骤:
步骤S110、获取由位于同一直线上且光轴方向一致的至少三个摄像头所提供的、包含共同图像区域的二维图像,及各摄像头的空间信息。
所述成像系统可利用所在电子设备内置的、或外接于所述电子设备的摄像组获取至少三个二维图像。其中,该摄像组中包含至少两个第一摄像头和至少一个第二摄像头。其中,所有第一摄像头位于同一直线上,且光轴方向一致。如图11所示。其中,所述第一摄像头的光轴方向一致且均垂直于所述直线,所摄取的图像中包含共同的图像区域。所述第二摄像头分设在所述第一摄像头至少一侧,用于补充所述第一摄像头所未能共同拍摄到的图像区域。
需要说明的是,所述第二摄像头的数量并非一定为单数个。实际上,在实际设计时,更倾向于在所有第一摄像头的两边对称设置至少一个第二摄像头。例如,获取两个第一摄像头和分列于该两个第一摄像头两侧的第二摄像头的图像。
所述成像系统在获取各对二维图像的同时,还获取各摄像头的空间信息,其中,所述空间信息包括:预配对的各摄像头中心点之间的间距,以及可选的包含实际拍摄距离等。
步骤S120、基于预配对的两幅二维图像的共同图像区域,分别对各二维图像进行基于空间重建的预处理。
在此,为了便于后续基于两两图像来估计视差信息,所述成像系统可对各摄像头的参数进行调整。例如,对摄像头的自动曝光控制、自动聚焦控制、和自动白平衡控制进行调整。或者,所述成像系统将所接收的各图像进行降噪、白平衡等处理。
一种可选方案为,所述步骤S120包括:步骤S121、S122、S123。(均未予图示)
步骤S121、预先进行帧同步及参数同步设置,并输出同步指令。
步骤S122、基于所接收的同步指令,对各摄像头的参数进行设置,和/或将所拍摄的图像进行信号处理。
步骤S123、基于共同图像区域分别对两摄像头所摄取的图像进行裁剪。
其中,所述成像系统所在电子设备中、或所述电子设备外接设备中包含同步模块,同步模块在摄像头获取图像时发出同步指令。所述同步指令中包括但不限于:同步触发指令,以及以下至少一种:各摄像头的统一拍照参数、各图像的滤波参数、各图像滤波后的目标参数等。
在一种情况下,若各摄像头的型号相同,则所述成像系统在同步指令的指示下,向各摄像头发送统一的拍照参数,并获取相应摄像头所拍摄的图像。
若各摄像头的型号不同,则所述成像系统将同步指令中对应自己的拍照参数发送给所连接的摄像头,并获取相应摄像头所拍摄的图像。
和/或,再另一种情况下,所述成像系统无论所连接的摄像头的型号是否相同,可根据所述同步指令所提供的滤波参数、或目标滤波参数,对所接收的图像进行信号处理。其中,所述信号处理包括去噪、和白平衡等。
接着,所述成像系统根据预配对的摄像头,将所接收的两幅图像中的共同图像区域分别对两幅图像进行裁剪。
例如,所述成像系统可利用基于轮廓、图像块特征等的匹配方式得到两幅图像的共同图像区域,并将所得到的共同图像区域予以裁剪。
步骤S130、基于预处理后的每对二维图像和各摄像头的空间信息,重建所要显示的三维图像的空间像素值。
具体地,所述成像系统根据所述空间信息重建3D模型,并对构成该3D模型的空间像素值进行赋值。
一种可选方案为,如图2所示,步骤S130包括:步骤S131、S132、S133、S134。
步骤S131、基于二维图像的尺寸、预设屏幕的尺寸,确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸。
在此,所述二维图像的尺寸和屏幕的尺寸可用毫米、英寸等来表示。所述预设屏幕的尺寸可根据智能终端的设计需要而定。其中,屏幕中像素区域的尺寸为p=l/n,其中,l为二维图像的尺寸,n为屏幕尺寸。所述成像系统根据像素区域的尺寸确定屏幕前显示空间的体素尺寸。其中,体素的长宽可与像素区域的长宽一致、或为像素区域的长宽的预设比例。其中,所述体素是指用于构成显示空间的最小单位。类似于屏幕中的像素,本实施例中的体素可为单位立方体、或根据计算需要降维至单位矩形或单位线段。
步骤S132、对各视点中预配对的二维图像进行左右图匹配。
具体地,所述成像系统预处理获取视点左右图,使左右图匹配,其更适于视差估计。预处理算法之一为直方图匹配算法,其目的在于使左右图亮度、色度匹配。
步骤S133、基于为已匹配的每对二维图像估计三维图像素材;其中,每个三维图像素材包含多组参数,所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息。
在此,所述成像系统将所述获取系统中的每个图像裁剪模块所提供的两幅二维图像作为配对的两幅二维图像;再利用3DRS算法或Lucas Kanade算法等估计算法,估计每对二维图像在所述屏幕上的投影点位置(即投影点所在像素区域)及视差信息。如图3所示,两幅二维图像的共同图像区域中同一景象的像素点在所述屏幕上的像素区域内投影点位置为cr和cl,则两位置之间的距离为视差信息。所述成像系统通过估计算法得到多组参数。
步骤S134、根据每对摄像头的空间信息、和对应三维图像素材,填充所述显示空间中体素的空间像素值;以及,对于重建后的3D空间进行空间内滤波等处理。
在此,所述成像系统利用三角定理中的边角关系,计算两幅二维图像的共同图像区域投影在所述屏幕上时,在显示空间中构建的三维模型,并得到与所述三维模型重叠的体素,将其中一幅二维图像中共同图像区域的各像素点的像素值赋值给重叠的体素。接着,所述成像系统对重建后的3D空间基于颜色、纹理、光照等进行滤波、调整等处理。
优选地,所述步骤S134进一步包括:步骤S1341、S1342。(均未予图示)
步骤S1341、当以拍摄二维图像的各摄像头为视点,利用各摄像头的空间信息,向屏幕上的像素区域投影时,计算两视点光线在所述显示空间中的交汇区域。
如图3所示,所述成像系统以预配对的两摄像头为视点,向所述屏幕上已确定的投影点所在像素区域进行投影,当光线在所述屏幕前的显示空间相交时,得到相应的交汇区域S。利用两摄像头的空间信息、对应投影点的参数、所述屏幕与视点之间的距离,所述成像系统计算得到交汇区域S在所述显示空间中的位置区域,并执行步骤S1342。
步骤S1342、根据所述交汇区域与体素的重叠情况,将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
在此,所述成像系统根据预设定的组成所述显示空间的各体素的位置、尺寸,确定与所述交汇区域部分重叠、或全部重叠的体素;进而根据预设的重叠情况-赋值方式的对应关系,将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
具体地,所述成像系统根据预设的重叠情况-赋值方式的对应关系,将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素的方式包括以下任一种:
1)根据每两个摄像头的空间信息、和对应三维图像素材,确定各组参数所对应的交汇区域上的至少一个关键点;将相应参数中像素点的像素值赋给每个所述关键点所落入的体素。
其中,所述空间信息包括:预配对的各摄像头中心点之间的间距,以及可选的包含实际拍摄距离等。
其中,所述关键点包括但不限于:交汇区域S的中心点、交汇区域S边界上的点等。例如,所述交汇区域S的四个顶角,以及四边的中点。
所述成像系统将对应该交汇区域S的参数中的像素点的像素值赋给所确定的关键点所落入的体素。
例如,如图4所示,所述成像系统根据两个摄像头的空间信息、和对应三维图像素材等确定交汇区域上的四个顶角s1、s2、s3、s4及四边中点分别落入体素t1、t2、t3和t4,则所述成像系统将该交汇区域对应的参数中的像素点的像素值同时赋给体素t1、t2、t3和t4。
2)根据每两个摄像头的空间信息、和对应三维图像素材,确定各组参数所对应的交汇区域与至少一个体素的重叠比例;按照所述重叠比例,将相应参数中像素点的像素值赋给相应的体素。
在此,所述成像系统根据每两个摄像头的空间信息、和对应三维图像素材中的一组参数计算对应投影点所在像素区域的光线交汇区域S的长和宽。接着,所述成像系统利用公式计算区域S的面积。所述成像系统利用所得到的面积与所重叠的各体素面积的比例关系,将该组参数中像素点的像素值赋值给比值最大的体素。其中,v为体素的边长,此处所述体素设为正立方体或正方形,wsj为交汇区域S在体素中所占宽度值,lsj为交汇区域S在体素中所占高度值。如图5所示区域S在t2体素中重叠的部分利用公式计算其面积。如图6所示区域S在t2体素中重叠的部分利用lsjwsj公式计算其面积。
由于能够为体素赋值的像素点本身数量有限,故,即便利用所有参数对体素赋值,所得到的赋值体素仍为稀疏的。在一种优选方式中,为了提高计算效率,所述成像系统在为每个体素赋值完毕后,判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限,若是,则继续为新的体素赋值,若否,则退出体素赋值。其中,所述成像系统可仅根据已赋值体素占所有体素的数量来作为覆盖范围。或者,所述成像系统通过统计已赋值体素在所有体素中的分布来确定覆盖范围。所述范围门限可以是一固定值,也可以根据所估计出的参数数量而定。
需要说明的是,在一种可选方式中,所赋值的体素为未曾赋值的体素,若所要赋值的体素已被赋值,则不予重复赋值。
为了降低计算复杂度,所述成像系统以垂直所述屏幕的维度的体素为行单位,利用每两个摄像头的空间信息和各三维图像素材中像素点的像素值,逐行填充各平面体素的空间像素值。
具体地,所述成像系统将以垂直所述屏幕维度的体素为行单位,将立体的体素降维成二维的体素(如正方形的体素),再按照上述方式对二维的体素进行赋值。
步骤S140、将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影,得到所述三维图像。
具体地,在完成对体素赋值之后,所述成像系统可以根据显示屏光栅的结构,确定所述屏幕中各像素区域中子像素位所对应的视点,并按照各摄像头所表示的视点、或基于各摄像头所拓展的视点,将所述显示空间中的体素投影在相应的像素区域中,得到三维图像。
一种可选方案中,如图2所示,所述步骤S140包括:步骤S141、S142。
步骤S141、基于给定视点确定各视点在对应像素中的子像素位,以及,对于投影后视点进行滤波等处理。
在此,所述视点可以为各摄像头,也可以在各摄像头之间插入新的视点,并将各摄像头和新插入的视点作为预确定的视点。其中,插入的视点可以等分两相邻摄像头之间的距离,或者,与相邻视点间距离为对应插值系数与摄像头间距之积。插值得到视点与各摄像头位于同一直线上。对于插入的视点,所述成像系统可以根据相邻的至少一个摄像头所拍摄的图像在该给定视点上的投影来确定所插入视点处的图像。同时,对所有视点的图像进行滤波等处理,以便为后续交织处理,提供色彩统一的图像。
所述成像系统按照显示屏的光栅设置,计算所得到的各视点对应的所述屏幕像素区域中各子像素位。例如,如图7所示,每个像素区域由RGB三个子像素位组成,所述成像系统得到每个子像素位对应的视点编号,并执行步骤S142。
步骤S142、基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例,逐个的将未遮挡体素中同一子像素位的像素值进行加权,并赋值给所述像素区域中对应的子像素位。
在此,所述成像系统以垂直于所述屏幕的方向为投影方向,将体素缩略成平行于所述屏幕的中轴线段、或者体素表面的中轴线段。所述成像系统计算某一视点在投影方向上,未被遮挡的体素上的至少部分线段投影到所述屏幕的每个像素区域中,并将投影线段与像素区域宽度的比例,作为该体素的子像素值的权重;再根据像素区域中子像素位(R、G、或B子像素位),将各体素中的对应子像素值进行加权,并将加权后的值赋给所述像素区域中的对应子像素位上。
例如,如图8所示,屏幕中的像素区域p以ab线段表示,体素1、2、3、4、5为视点view投影到像素区域p过程中所有体素,其中,以各体素的中轴线的投影所覆盖的长度为基准,确定体素1、2、3为未被遮挡的体素,体素4、5为被遮挡的体素。所述成像系统将体素1、2、3中未被遮挡的部分投影到像素区域p的线段长度分别与ab线段长度的比例作为体素1、2、3的权重,再根据视点view对应该像素区域p中子像素位为R子像素位,将体素1、2、3中R子像素值分别乘以权重后求和,得到该像素区域p中R子像素位的子像素值。
所述成像系统采用上述示例的投影方式,对所述屏幕上所有像素区域进行赋值,得到三维图像。
本实施例的技术方案,由于加入了实际摄像头的空间信息,并在此基础上反向重建假设屏幕前的三维模型,再借助三维模型在屏幕上的投影,能够提高三维图像视觉上的立体感。
实施例二
图9为本发明实施例二提供的三维图像的成像系统的结构示意图,本实施例可适用于基于多于两个摄像头同时拍摄的二维图像进行三维重建的情况,所述成像系统安装在终端/服务器等电子设备中。所述终端包括但不限于:手机、平板电脑、虚拟现实装置等。所述成像系统2具体包括:二维图像获取单元21、二维图像预处理单元22、空间建模单元23、三维图像成像单元24。
所述二维图像获取单元21用于获取由位于同一直线上且光轴方向一致的至少三个摄像头所提供的、包含共同图像区域的二维图像,及各摄像头的空间信息。
在此,所述二维图像获取单元21可利用所在电子设备内置的、或外接于所述电子设备的摄像组获取多个二维图像。其中,该摄像组中包含至少三个第一摄像头和至少一个第二摄像头。如图11所示。其中,所有第一摄像头位于同一直线上,且光轴方向一致。其中,所述第一摄像头的光轴方向一致且均垂直于所述直线,所摄取的图像中包含共同的图像区域。所述第二摄像头分设在所述第一摄像头至少一侧,用于补充所述第一摄像头所未能共同拍摄到的图像区域。
需要说明的是,所述第二摄像头的数量并非一定为单数个。实际上,在实际设计时,更倾向于在所有第一摄像头的两边对称设置至少一个第二摄像头。例如,获取两个第一摄像头和分列于该两个第一摄像头两侧的第二摄像头的图像。
所述二维图像获取单元21在获取各对二维图像的同时,还获取各摄像头的空间信息,其中,所述空间信息包括:预配对的各摄像头中心点之间的间距,以及可选的包含实际拍摄距离等。
所述二维图像预处理单元22用于基于预配对的两幅二维图像的共同图像区域,分别对各二维图像进行基于空间重建的预处理。
在此,为了便于后续基于两两图像来估计视差信息,所述二维图像预处理单元22可对各摄像头的参数进行调整。例如,对摄像头的自动曝光控制、自动聚焦控制、和自动白平衡控制进行调整。或者,所述二维图像预处理单元22将所接收的各图像进行滤波、白平衡等处理。
一种可选方案为,所述二维图像预处理单元22包括:图像信号处理模块、同步模块和图像裁剪模块(均未予图示)。
所述同步模块与每个图像信号处理相连,用于各所述图像信号处理模块的帧同步及参数同步设置,并向各图像信号处理模块发送同步指令。所述同步指令中包括但不限于:同步触发指令,以及以下至少一种:各摄像装置的统一拍照参数、各图像的滤波参数、各图像滤波后的目标参数等。
所述图像信号处理模块的数量与摄像头数量相同、且每个图像信号处理模块连接一个摄像头。所述图像信号处理模块用于基于所接收的同步指令,对所连接的摄像头的参数进行设置,和/或用于将所拍摄的图像进行滤波处理。
在一种情况下,若各摄像头的型号相同,则所述图像信号处理模块在同步指令的指示下,向各摄像头发送统一的拍照参数,并获取相应摄像头所拍摄的图像。
若各摄像头的型号不同,则所述图像信号处理模块将同步指令中对应自己的拍照参数发送给所连接的摄像头,并获取相应摄像头所拍摄的图像。
和/或,再另一种情况下,所述图像信号处理模块无论所连接的摄像头的型号是否相同,可根据所述同步指令所提供的滤波参数、或目标滤波参数,对所接收的图像进行降噪等信号处理。
接着,所述图像裁剪模块与拍摄有共同图像区域的两图像信号处理模块相连,用于基于共同图像区域分别对两摄像头所摄取的图像进行裁剪。
具体地,所述图像裁剪模块根据预配对的摄像头,将所接收的两幅图像中的共同图像区域分别对两幅图像进行裁剪。
例如,所述图像裁剪模块可利用基于轮廓、图像块特征等的匹配方式得到两幅图像的共同图像区域,并将所得到的共同图像区域予以裁剪。
所述空间建模单元23用于基于预处理后的每对二维图像和拍摄对应二维图像的各摄像头的空间信息,重建所要显示的三维图像的空间像素值。
具体地,所述空间建模单元23根据所述空间信息重建3D模型,并对构成该3D模型的空间像素值进行赋值。
一种可选方案为,如图10所示,空间建模单元23包括:初始化模块230、预处理模块231、估计模块232、空间重建及处理模块233。
所述初始化模块230用于基于二维图像的尺寸、预设屏幕的尺寸,确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸。
在此,所述二维图像的尺寸和屏幕的尺寸可用毫米、英寸等来表示。所述预设屏幕的尺寸可根据智能终端的设计需要而定。其中,屏幕中像素区域的尺寸为p=l/n,其中,l为二维图像的尺寸,n为屏幕尺寸。所述初始化模块230根据像素区域的尺寸确定屏幕前显示空间的体素尺寸。其中,体素的长宽可与像素区域的长宽一致、或为像素区域的长宽的预设比例。其中,所述体素是指用于构成显示空间的最小单位。类似于屏幕中的像素,本实施例中的体素可为单位立方体、或根据计算需要降维至单位矩形或单位线段。
所述预处理模块231用于预处理获取视点左右图,使左右图匹配,其更适于视差估计。预处理算法之一为直方图匹配算法,其目的在于使左右图亮度、色度匹配。所述估计模块232用于基于每对两幅二维图像,估计三维图像素材;其中,每个三维图像素材包含多组参数,所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息。
在此,所述估计模块232将所述获取系统中的每个图像裁剪模块所提供的两幅二维图像作为配对的两幅二维图像;再利用3DRS算法或Lucas Kanade算法等估计算法,估计每对二维图像在所述屏幕上的投影点位置(即投影点所在像素区域)及视差信息。如图3所示,两幅二维图像的共同图像区域中同一景象的像素点在所述屏幕上的像素区域内投影点位置为cr和cl,则两位置之间的距离为视差信息。所述估计模块232通过估计算法得到多组参数。
所述空间重建及处理模块233用于根据每对摄像头的空间信息、和对应三维图像素材,填充所述显示空间中体素的空间像素值;以及,对于重建后的3D空间进行空间内滤波等处理。
在此,所述空间重建及处理模块233利用三角定理中的边角关系,计算两幅二维图像的共同图像区域投影在所述屏幕上时,在显示空间中构建的三维模型,并得到与所述三维模型重叠的体素,将其中一幅二维图像中共同图像区域的各像素点的像素值赋值给重叠的体素。接着,所述空间重建及处理模块233对重建后的3D空间基于颜色、纹理、光照等进行滤波、调整等处理。
优选地,所述空间重建及处理模块233进一步包括:空间建模子模块、赋值子模块。
所述赋值子模块用于当以拍摄二维图像的各摄像头为视点,利用各摄像头的空间信息,向屏幕上的像素区域投影时,计算两视点光线在所述显示空间中的交汇区域。
如图3所示,所述赋值子模块以预配对的两摄像头为视点,向所述屏幕上已确定的投影点所在像素区域进行投影,当光线在所述屏幕前的显示空间相交时,得到相应的交汇区域S。利用两摄像头的空间信息、对应投影点的参数、所述屏幕与视点之间的距离,所述赋值子模块计算得到交汇区域S在所述显示空间中的位置区域。
接着,所述赋值子模块用于根据所述交汇区域与体素的重叠情况,将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
在此,所述赋值子模块根据预设定的组成所述显示空间的各体素的位置、尺寸,确定与所述交汇区域部分重叠、或全部重叠的体素;进而根据预设的重叠情况-赋值方式的对应关系,将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
具体地,所述赋值子模块根据预设的重叠情况-赋值方式的对应关系,将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素的方式包括以下任一种:
1)根据每两个摄像头的空间信息、和对应三维图像素材,确定各组参数所对应的交汇区域上的至少一个关键点;将相应参数中像素点的像素值赋给每个所述关键点所落入的体素。
其中,所述空间信息包括:预配对的各摄像头中心点之间的间距,以及可选的包含实际拍摄距离等。
其中,所述关键点包括但不限于:交汇区域S的中心点、交汇区域S边界上的点等。例如,所述交汇区域S的四个顶角,以及四边的中点。
所述赋值子模块将对应该交汇区域S的参数中的像素点的像素值赋给所确定的关键点所落入的体素。
例如,如图4所示,所述赋值子模块根据两个摄像头的空间信息、和对应三维图像素材等确定交汇区域上的四个顶角s1、s2、s3、s4及四边中点分别落入体素t1、t2、t3和t4,则所述赋值子模块将该交汇区域对应的参数中的像素点的像素值同时赋给体素t1、t2、t3和t4。
2)根据每两个摄像头的空间信息、和对应三维图像素材,确定各组参数所对应的交汇区域与至少一个体素的重叠比例;按照所述重叠比例,将相应参数中像素点的像素值赋给相应的体素。
在此,所述赋值子模块根据每两个摄像头的空间信息、和对应三维图像素材中的一组参数计算对应投影点所在像素区域的光线交汇区域S的长和宽。接着,所述赋值子模块利用公式计算区域S的面积。所述赋值子模块利用所得到的面积与所重叠的各体素面积的比例关系,将该组参数中像素点的像素值赋值给比值最大的体素。其中,v为体素的边长,此处所述体素设为正立方体或正方形,wsj为交汇区域S在体素中所占宽度值,lsj为交汇区域S在体素中所占高度值。如图5所示区域S在t2体素中重叠的部分利用公式计算其面积。如图6所示区域S在t2体素中重叠的部分利用lsjwsj公式计算其面积。
由于能够为体素赋值的像素点本身数量有限,故,即便利用所有参数对体素赋值,所得到的赋值体素仍为稀疏的。在一种优选方式中,为了提高计算效率,所述赋值子模块在为每个体素赋值完毕后,判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限,若是,则继续为新的体素赋值,若否,则退出体素赋值。其中,所述赋值子模块可仅根据已赋值体素占所有体素的数量来作为覆盖范围。或者,所述赋值子模块通过统计已赋值体素在所有体素中的分布来确定覆盖范围。所述范围门限可以是一固定值,也可以根据所估计出的参数数量而定。
需要说明的是,在一种可选方式中,所赋值的体素为未曾赋值的体素,若所要赋值的体素已被赋值,则不予重复赋值。
为了降低计算复杂度,所述赋值子模块以垂直所述屏幕的维度的体素为行单位,利用每两个摄像头的空间信息和各三维图像素材中像素点的像素值,逐行填充各平面体素的空间像素值。
具体地,所述赋值子模块将以垂直所述屏幕维度的体素为行单位,将立体的体素降维成二维的体素(如正方形的体素),再按照上述方式对二维的体素进行赋值。
所述三维图像成像单元24用于将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影,得到所述三维图像。
具体地,在完成对体素赋值之后,所述三维图像成像单元24可以根据显示屏光栅的结构,确定所述屏幕中各像素区域中子像素位所对应的视点,并按照各摄像头所表示的视点、或基于各摄像头所拓展的视点,将所述显示空间中的体素投影在相应的像素区域中,得到三维图像。
一种可选方案中,所述三维图像成像单元24包括:视点投影处理模块241、交织模块242。
所述视点投影处理模块241用于基于给定视点确定各视点在对应像素中的子像素位,以及,对于投影后视点进行滤波等处理。
在此,所述视点可以为各摄像头,也可以在各摄像头之间插入新的视点,并将各摄像头和新插入的视点作为预确定的视点。其中,插入的视点可以等分两相邻摄像头之间的距离,或者,与相邻视点间距离为对应插值系数与摄像头间距之积。插值得到视点与各摄像头位于同一直线上。对于插入的视点,所述视点投影处理模块241可以根据相邻的至少一个摄像头所拍摄的图像在该给定视点上的投影来确定所插入视点处的图像。同时,对所有视点的图像进行滤波等处理,以便为后续交织处理,提供色彩统一的图像。
所述视点投影处理模块241按照显示屏的光栅设置,计算所得到的各视点对应的所述屏幕像素区域中各子像素位。例如,如图7所示,每个像素区域由RGB三个子像素位组成,所述视点投影处理模块241得到每个子像素位对应的视点编号,并执行交织模块242。
所述交织模块242用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例,逐个的将未遮挡体素中同一子像素位的像素值进行加权,并赋值给所述像素区域中对应的子像素位
在此,所述交织模块242以垂直于所述屏幕的方向为投影方向,将体素缩略成平行于所述屏幕的中轴线段、或者体素表面的中轴线段。所述交织模块242计算某一视点在投影方向上,未被遮挡的体素上的至少部分线段投影到所述屏幕的每个像素区域中,并将投影线段与像素区域宽度的比例,作为该体素的子像素值的权重;再根据像素区域中子像素位(R、G、或B子像素位),将各体素中的对应子像素值进行加权,并将加权后的值赋给所述像素区域中的对应子像素位上。
例如,如图8所示,屏幕中的像素区域p以ab线段表示,体素1、2、3、4、5为视点view投影到像素区域p过程中所有体素,其中,以各体素的中轴线的投影所覆盖的长度为基准,确定体素1、2、3为未被遮挡的体素,体素4、5为被遮挡的体素。所述交织模块242将体素1、2、3中未被遮挡的部分投影到像素区域p的线段长度分别与ab线段长度的比例作为体素1、2、3的权重,再根据视点view对应该像素区域p中子像素位为R子像素位,将体素1、2、3中R子像素值分别乘以权重后求和,得到该像素区域p中R子像素位的子像素值。
所述交织模块242采用上述示例的投影方式,对所述屏幕上所有像素区域进行赋值,得到三维图像。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (16)
1.一种三维图像的成像方法,其特征在于,包括:
获取由位于同一直线上且光轴方向一致的至少三个摄像头所提供的、包含共同图像区域的二维图像,以及各摄像头的空间信息,其中,所述空间信息包括预配对的各摄像头中心点之间的间距和/或实际拍摄距离,所述摄像头包括至少两个第一摄像头和至少一个第二摄像头,所述第二摄像头分设在所述第一摄像头至少一侧,用于补充所述第一摄像头所未能共同拍摄到的图像区域;
基于预配对的两幅二维图像的共同图像区域,分别对各二维图像进行基于空间重建的预处理,所述预处理包括对各摄像头的参数进行调整和/或对所拍摄的图像进行信号处理;
基于预处理后的每对二维图像和所述空间信息,重建所要显示的三维图像的空间像素值;
将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影,得到所述三维图像。
2.根据权利要求1所述的三维图像的成像方法,其特征在于,所述基于预配对的两幅二维图像的共同图像区域,分别对各二维图像进行基于空间重建的预处理包括:
预先进行帧同步及参数同步设置,并输出同步指令;
基于所接收的同步指令,对各摄像头的参数进行设置,和/或基于所接收的同步指令,将各摄像头所拍摄的图像进行信号处理;
基于共同图像区域分别对两摄像头所摄取的图像进行裁剪。
3.根据权利要求1所述的三维图像的成像方法,其特征在于,所述基于预处理后的每对二维图像和所述空间信息,重建所要显示的三维图像的空间像素值包括:
基于二维图像的尺寸、预设屏幕的尺寸,确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸;
对各视点中预配对的二维图像进行左右图匹配;
为已匹配的每对二维图像估计三维图像素材;其中,每个三维图像素材包含多组参数,所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息;
根据每对摄像头的空间信息、和对应三维图像素材,填充所述显示空间中体素的空间像素值。
4.根据权利要求3所述的三维图像的成像方法,其特征在于,所述根据每对摄像头的空间信息、和对应三维图像素材,填充所述显示空间中体素的空间像素值包括:
当以拍摄二维图像的各摄像头为视点,利用每对摄像头的空间信息,向屏幕上的像素区域投影时,计算两视点光线在所述显示空间中的交汇区域;
根据所述交汇区域与体素的重叠情况,将对应该像素区域的参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
5.根据权利要求4所述的三维图像的成像方法,其特征在于,所述根据交汇区域与体素的重叠情况,将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素包括以下任一种:
根据每两个摄像头的空间信息、和对应三维图像素材,确定各组参数所对应的交汇区域上的至少一个关键点;将相应参数中像素点的像素值赋给每个所述关键点所落入的体素;
以及,根据每两个摄像头的空间信息、和对应三维图像素材,确定各组参数所对应的交汇区域与至少一个体素的重叠比例;按照所述重叠比例,将相应参数中像素点的像素值赋给相应的体素。
6.根据权利要求5所述的三维图像的成像方法,其特征在于,在每次赋值一像素区域之后,还包括:
判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限,若是,则继续为新的体素赋值,若否,则退出体素赋值。
7.根据权利要求3所述的三维图像的成像方法,其特征在于,所述根据每两个摄像头的空间信息、和对应三维图像素材,填充所述显示空间中体素的空间像素值包括:
以垂直所述屏幕的维度的体素为行单位,利用每两个摄像头的空间信息和各三维图像素材中像素点的像素值,逐行填充各平面体素的空间像素值。
8.根据权利要求1所述的三维图像的成像方法,其特征在于,所述将所重建的空间像素值在预设的用于显示三维图像的屏幕进行投影,得到所述三维图像包括:
基于给定视点确定各视点在对应像素中的子像素位;
基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例,逐个的将未遮挡体素中同一子像素位的像素值进行加权,并赋值给所述像素区域中对应的子像素位。
9.一种三维图像的成像系统,其特征在于,包括:
二维图像获取单元,用于获取由位于同一直线上且光轴方向一致的至少三个摄像头所提供的、包含共同图像区域的二维图像,以及各摄像头的空间信息,其中,所述空间信息包括预配对的各摄像头中心点之间的间距和/或实际拍摄距离,所述摄像头包括至少两个第一摄像头和至少一个第二摄像头,所述第二摄像头分设在所述第一摄像头至少一侧,用于补充所述第一摄像头所未能共同拍摄到的图像区域;
二维图像预处理单元,用于基于预配对的两幅二维图像的共同图像区域,分别对各二维图像进行基于空间重建的预处理,所述预处理包括对各摄像头的参数进行调整和/或对所拍摄的图像进行信号处理;
空间建模单元,用于基于预处理后的每对二维图像和所述空间信息,重建所要显示的三维图像的空间像素值;
三维图像成像单元,用于将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影,得到所述三维图像。
10.根据权利要求9所述的三维图像的成像系统,其特征在于,所述二维图像预处理单元包括:
与摄像头数量相同、且连接摄像头的图像信号处理模块,用于基于所接收的同步指令,对所连接的摄像头的参数进行设置,和/或将各摄像头所拍摄的图像进行信号处理;
与每个图像信号处理模块相连的同步模块,用于各所述图像信号处理模块的帧同步及参数同步设置,并向各图像信号处理模块发出所述同步指令;
以及,图像裁剪模块,用于基于共同图像区域分别对两摄像头所摄取的图像进行裁剪。
11.根据权利要求9所述的三维图像的成像系统,其特征在于,所述空间建模单元包括:
初始化模块,用于基于二维图像的尺寸、预设屏幕的尺寸,确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸;
预处理模块,用于对各视点中预配对的二维图像进行左右图匹配;
估计模块,用于为已匹配的每对二维图像估计三维图像素材;其中,每个三维图像素材包含多组参数,所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息;
空间重建及处理模块,用于根据每对摄像头的空间信息、和对应三维图像素材,填充所述显示空间中体素的空间像素值。
12.根据权利要求11所述的三维图像的成像系统,其特征在于,所述空间重建及处理模块包括:
空间建模子模块,用于当以拍摄二维图像的各摄像头为视点,利用每对摄像头的空间信息,向屏幕上的像素区域投影时,计算两视点光线在所述显示空间中的交汇区域;
赋值子模块,用于根据所述交汇区域与体素的重叠情况,将对应该像素区域的参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
13.根据权利要求12所述的三维图像的成像系统,其特征在于,所述赋值子模块用于以下任一种:
根据每两个摄像头的空间信息、和对应三维图像素材,确定各组参数所对应的交汇区域上的至少一个关键点;将相应参数中像素点的像素值赋给每个所述关键点所落入的体素;
以及,根据每两个摄像头的空间信息、和对应三维图像素材,确定各组参数所对应的交汇区域与至少一个体素的重叠比例;按照所述重叠比例,将相应参数中像素点的像素值赋给相应的体素。
14.根据权利要求13所述的三维图像的成像系统,其特征在于,所述赋值子模块还用于在每次赋值一像素区域之后,判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限,若是,则继续为新的体素赋值,若否,则退出体素赋值。
15.根据权利要求11所述的三维图像的成像系统,其特征在于,所述空间重建及处理模块用于以垂直所述屏幕的维度的体素为行单位,利用每两个摄像头的空间信息和各三维图像素材中像素点的像素值,逐行填充各平面体素的空间像素值。
16.根据权利要求9所述的三维图像的成像系统,其特征在于,所述三维图像成像单元包括:
视点投影处理模块,用于基于重建后空间,确定各视点在对应像素中的子像素位;
交织模块,用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例,逐个的将未遮挡体素中同一子像素位的像素值进行加权,并赋值给所述像素区域中对应的子像素位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610552831.9A CN106231284B (zh) | 2016-07-14 | 2016-07-14 | 三维图像的成像方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610552831.9A CN106231284B (zh) | 2016-07-14 | 2016-07-14 | 三维图像的成像方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106231284A CN106231284A (zh) | 2016-12-14 |
CN106231284B true CN106231284B (zh) | 2019-03-05 |
Family
ID=57519237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610552831.9A Active CN106231284B (zh) | 2016-07-14 | 2016-07-14 | 三维图像的成像方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106231284B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106926800B (zh) * | 2017-03-28 | 2019-06-07 | 重庆大学 | 多摄像头适配的车载视觉感知系统 |
JP7005622B2 (ja) * | 2017-07-12 | 2022-01-21 | 株式会社ソニー・インタラクティブエンタテインメント | 認識処理装置、認識処理方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096901A (zh) * | 2009-11-17 | 2011-06-15 | 精工爱普生株式会社 | 背景限制新视图插值 |
CN104717481A (zh) * | 2013-12-13 | 2015-06-17 | 松下知识产权经营株式会社 | 摄像装置、图像处理装置、摄像方法 |
CN105659592A (zh) * | 2014-09-22 | 2016-06-08 | 三星电子株式会社 | 用于三维视频的相机系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8803943B2 (en) * | 2011-09-21 | 2014-08-12 | National Applied Research Laboratories | Formation apparatus using digital image correlation |
-
2016
- 2016-07-14 CN CN201610552831.9A patent/CN106231284B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096901A (zh) * | 2009-11-17 | 2011-06-15 | 精工爱普生株式会社 | 背景限制新视图插值 |
CN104717481A (zh) * | 2013-12-13 | 2015-06-17 | 松下知识产权经营株式会社 | 摄像装置、图像处理装置、摄像方法 |
CN105659592A (zh) * | 2014-09-22 | 2016-06-08 | 三星电子株式会社 | 用于三维视频的相机系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106231284A (zh) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9407904B2 (en) | Method for creating 3D virtual reality from 2D images | |
US20110102596A1 (en) | Information processing apparatus and method | |
US20120300044A1 (en) | Systems and Methods for Alignment, Calibration and Rendering for an Angular Slice True-3D Display | |
US10719967B2 (en) | Techniques for placing masking window objects in a computer-generated scene for stereoscopic computer-animation | |
CN107798704B (zh) | 一种用于增强现实的实时图像叠加方法及装置 | |
AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
JP4928476B2 (ja) | 立体像生成装置、その方法およびそのプログラム | |
CN101729920A (zh) | 一种自由视角立体视频显示方法 | |
CN106210474A (zh) | 一种图像采集设备、虚拟现实设备 | |
CN107545537A (zh) | 一种从稠密点云生成3d全景图片的方法 | |
CN106231284B (zh) | 三维图像的成像方法及系统 | |
Anderson et al. | Augmenting depth camera output using photometric stereo. | |
CN116982086A (zh) | 先进立体渲染 | |
CN105979241B (zh) | 一种柱面立体全景视频快速反变换方法 | |
CN106210694B (zh) | 三维图像的成像方法及系统 | |
Salahieh et al. | Light Field Retargeting from Plenoptic Camera to Integral Display | |
Sakashita et al. | A system for capturing textured 3D shapes based on one-shot grid pattern with multi-band camera and infrared projector | |
CN106210700B (zh) | 三维图像的获取系统、显示系统及所适用的智能终端 | |
CN107798703A (zh) | 一种用于增强现实的实时图像叠加方法以及装置 | |
CN107103620A (zh) | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 | |
TWI685242B (zh) | 多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置 | |
CN202995248U (zh) | 一种用于环幕立体摄像的设备及系统 | |
CN106331672A (zh) | 视点图像的获得方法、装置及系统 | |
JP2002202477A (ja) | 三次元画像の表示方法及びその三次元画像の印刷物 | |
CN107289869A (zh) | 一种利用矩阵镜头进行3d测量的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200401 Address after: 215634 north side of Chengang road and west side of Ganghua Road, Jiangsu environmental protection new material industrial park, Zhangjiagang City, Suzhou City, Jiangsu Province Patentee after: ZHANGJIAGANG KANGDE XIN OPTRONICS MATERIAL Co.,Ltd. Address before: 201203, room 5, building 690, No. 202 blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area Patentee before: WZ TECHNOLOGY Inc. |