CN106210694B - 三维图像的成像方法及系统 - Google Patents

三维图像的成像方法及系统 Download PDF

Info

Publication number
CN106210694B
CN106210694B CN201610552688.3A CN201610552688A CN106210694B CN 106210694 B CN106210694 B CN 106210694B CN 201610552688 A CN201610552688 A CN 201610552688A CN 106210694 B CN106210694 B CN 106210694B
Authority
CN
China
Prior art keywords
camera device
pixel
voxel
viewpoint
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610552688.3A
Other languages
English (en)
Other versions
CN106210694A (zh
Inventor
于炀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangjiagang Kangdexin Optronics Material Co Ltd
Original Assignee
SHANGHAI WEI ZHOU MICROELECTRONICS TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI WEI ZHOU MICROELECTRONICS TECHNOLOGY Co Ltd filed Critical SHANGHAI WEI ZHOU MICROELECTRONICS TECHNOLOGY Co Ltd
Priority to CN201610552688.3A priority Critical patent/CN106210694B/zh
Publication of CN106210694A publication Critical patent/CN106210694A/zh
Application granted granted Critical
Publication of CN106210694B publication Critical patent/CN106210694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Abstract

本发明公开了一种三维图像的成像方法及系统。根据方法，先获取两个居中第一摄像装置和至少一个第二摄像装置所提供的、包含共同图像区域的二维图像；其中，第二摄像装置的光轴方向朝向第一摄像装置的光轴方向偏转预设偏角；基于预配对的两幅二维图像的共同图像区域，分别对各二维图像进行基于空间重建的预处理；基于预设偏角，将第二摄像装置所拍摄的二维图像，映射至第一摄像装置的光轴方向；在映射之后，基于预配对的两幅二维图像和对应摄像装置的空间信息，重建所要显示的三维图像的空间像素值；将所重建的空间像素值在预设的用于显示三维图像的屏幕进行投影，得到三维图像。本发明解决三维图像的立体感差，以及图像立体部分内容缺失的问题。

Description

三维图像的成像方法及系统
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种三维图像的成像方法及系统。
背景技术
三维图像是利用两投放设备将具有重叠图像的两幅视图投射到同一屏幕上，并利用偏光眼镜将两幅视图分别呈现在两个眼睛中，由此显示出具有3D效果的图像。
上述呈现方式中，人们必须佩带偏光眼镜。随着三维图像技术的发展，裸眼3D技术寄希望通过改变显示屏的光栅结构来将一幅三维图像呈现给人们。为此，需要将现有的两幅视图交织到一幅三维图像中。
为了解决上述问题，现有技术中通过估计两幅视图中重叠区域中各点视差来分配两幅视图中各RGB值在三维图像中的各子像素位置，如此得到所要呈现的三维图像。
上述方式虽然能够实现裸眼3D的效果，但是由于未考虑拍摄视图时的真实空间信息，所得到的三维图像的立体感不好。与此同时，两幅视图的边缘区域由于未提供重叠数据而无法得到三维效果，致使所显示的三维图像内容缺失。
因此，需要对现有技术进行改进。
发明内容
本发明提供一种三维图像的成像方法及系统，以解决三维图像的立体感差，以及图像立体部分内容缺失的问题。
第一方面，本发明实施例提供了一种三维图像的成像方法，包括：获取两个居中第一摄像装置和至少一个第二摄像装置所提供的、包含共同图像区域的二维图像；其中，各所述摄像装置位于同一直线，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所述第二摄像装置设于所述第一摄像装置的侧边, 且光轴方向朝向所述第一摄像装置的光轴方向偏转预设偏角；基于预配对的两幅二维图像的共同图像区域，分别对各二维图像进行基于空间重建的预处理；基于所述预设偏角，将所述第二摄像装置所拍摄的二维图像，映射至所述第一摄像装置的光轴方向；在映射之后，基于预配对的两幅二维图像和对应摄像装置的空间信息，重建所要显示的三维图像的空间像素值；将所重建的空间像素值在预设的用于显示三维图像的屏幕进行投影，得到所述三维图像。
第二方面，本发明实施例还提供了一种三维图像的成像系统，包括：二维图像获取单元，用于获取两个居中第一摄像装置和至少一个第二摄像装置所提供的、包含共同图像区域的二维图像；其中，各所述摄像装置位于同一直线，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所述第二摄像装置设于所述第一摄像装置的侧边,且光轴方向朝向所述第一摄像装置的光轴方向偏转预设偏角；二维图像预处理单元，用于基于预配对的两幅二维图像的共同图像区域，分别对各二维图像进行基于空间重建的预处理；映射单元，用于基于所述预设偏角，将所述第二摄像装置所拍摄的二维图像，映射至所述第一摄像装置的光轴方向；空间建模单元，用于在映射之后，基于预配对的两幅二维图像和对应摄像装置的空间信息，重建所要显示的三维图像的空间像素值；三维图像成像单元，用于将所重建的空间像素值在预设的用于显示三维图像的屏幕进行投影，得到所述三维图像。
本发明针对光轴方向不一致的摄像装置对图像进行映射处理，并按照实际摄像装置的空间信息，反向重建假设屏幕前的三维模型，由此解决了光轴方向不一致情况下，三维图像视觉上的立体感。
附图说明
图1是本发明实施例一中的一种三维图像的成像方法的流程图；
图2是本发明实施例一中的另一种三维图像的成像方法的流程图；
图3是本发明实施例一中的两幅二维图像共同图像区域中一像素点的视差构成示意图；
图4是本发明实施例一中的两视点在显示空间中的交汇区域示意图；
图5是本发明实施例一中的两个视点投影到屏幕中一像素区域时在显示空间的交汇区域的示意图；
图6是本发明实施例一中的两个视点投影到屏幕中一像素区域时在显示空间的交汇区域的又一示意图；
图7是本发明实施例一中各子像素位与视点的对应关系示意图；
图8是本发明实施例一中由视点向屏幕像素区域投影时，未遮挡体素与相应像素区域的投影示意图；
图9是本发明实施例二中的一种三维图像的成像系统的结构示意图；
图10是本发明实施例二中的另一种三维图像的成像系统的结构示意图；
图11是本发明实施例一中的对第二摄像装置图像映射的示意图；
图12是本发明实施例一中的计算第二摄像装置图像中点的映射方式的示意图；
图13是本发明各实施例中各摄像装置的位置结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的三维图像的成像方法的流程图，本实施例可适用于基于多于两个摄像装置同时拍摄的二维图像进行三维重建的情况，所述成像方法由安装在终端/服务器等电子设备中的成像系统来执行。所述终端包括但不限于：手机、平板电脑、虚拟现实装置等。所述成像方法具体包括如下步骤：
步骤S110、获取两个居中第一摄像装置和至少一个第二摄像装置所提供的、包含共同图像区域的二维图像；其中，各所述摄像装置位于同一直线，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所述第二摄像装置设于所述第一摄像装置的侧边,且光轴方向朝向所述第一摄像装置的光轴方向偏转预设偏角。如图13所示。
所述成像系统可利用所在电子设备内置的、或外接于所述电子设备的摄像组获取多个二维图像。其中，该摄像组中包含至少两个第一摄像装置和第二摄像装置。其中，所有第一摄像装置位于同一直线上，且光轴方向一致。其中，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所摄取的图像中包含共同的图像区域。所述第二摄像装置分设在所述第一摄像装置至少一侧，用于补充所述第一摄像装置所未能共同拍摄到的图像区域。其中，各第二摄像装置的光轴方向朝向所述第一摄像装置的光轴方向偏转预设偏角。
需要说明的是，所述第二摄像装置的数量并非一定为单数个。实际上，在实际设计时，更倾向于在所有第一摄像装置的两边对称设置至少一个第二摄像装置。例如，获取两个第一摄像装置和分列于该两个第一摄像装置两侧的第二摄像装置的图像。
步骤S120、基于预配对的两幅二维图像的共同图像区域，分别对各二维图像进行基于空间重建的预处理。
在此，为了便于后续基于两两图像来估计视差信息，所述成像系统可对各摄像装置的参数进行调整。例如，对摄像装置的自动曝光控制、自动聚焦控制、和自动白平衡控制进行调整。或者，所述成像系统将所接收的各图像进行降噪、白平衡等处理。
一种可选方案为，所述步骤S120包括：步骤S121、S122、S123。(均未予图示)
步骤S121、预先进行帧同步及参数同步设置，并输出同步指令。
步骤S122、基于所接收的同步指令，对各摄像装置的参数进行设置，和/ 或将所拍摄的图像进行信号处理。
步骤S123、基于共同图像区域分别对两幅同步拍摄的图像进行裁剪。
其中，所述成像系统所在电子设备中、或所述电子设备外接设备中包含同步模块，同步模块在摄像装置获取图像时发出同步指令。所述同步指令中包括但不限于：同步触发指令，以及以下至少一种：各摄像装置的统一拍照参数、各图像的滤波参数、各图像滤波后的目标参数等。
在一种情况下，若各摄像装置的型号相同，则所述成像系统在同步指令的指示下，向各摄像装置发送统一的拍照参数，并获取相应摄像装置所拍摄的图像。
若各摄像装置的型号不同，则所述成像系统将同步指令中对应自己的拍照参数发送给所连接的摄像装置，并获取相应摄像装置所拍摄的图像。
和/或，再另一种情况下，所述成像系统无论所连接的摄像装置的型号是否相同，可根据所述同步指令所提供的滤波参数、或目标滤波参数，对所接收的图像进行信号处理。其中，所述信号处理包括去噪、和白平衡等。
接着，所述成像系统根据预配对的摄像装置，将所接收的两幅图像中的共同图像区域分别对两幅图像进行裁剪。
例如，所述成像系统可利用基于轮廓、图像块特征等的匹配方式得到两幅图像的共同图像区域，并将所得到的共同图像区域予以裁剪。
步骤S130、基于所述预设偏角，将所述第二摄像装置所拍摄的二维图像，映射至所述第一摄像装置的光轴方向。
具体地，如图11所示，所述成像系统根据第二摄像装置的光轴在垂直于所述光轴且与所述屏幕相交的平面上确定该第二摄像装置所拍摄的图像在该平面上投影。
例如，显示空间中的pt点在该平面上的投影位置为pt1，同样，在该第二摄像装置、pt点和pt1点所在光线上与所述屏幕相交的点为pt2，所述成像系统将该pt2点确定为第二摄像装置所拍摄的二维图像在所述屏幕上显示的二维图像，并将所述二维图像作为后续步骤处理时对应该第二摄像装置所在视点的二维图像。
具体地，如图12所示，所述成像系统令点(pt)在视点(view)图像中投影位置(相当于图11中的pt1)已知。首先由已知几何关系信息，包括视点位置、光轴方向、虚拟屏幕位置(d2)，得到该视点对应获取平面位置。由点在平面内位置及获取平面位置，可得到点在获取图像中投影点的几何空间位置，即可得，视点内点投影与视点间距离(如图中所标w1，d1，h1所示)。由以下公式可计算得到视点获取图像中点投影在虚拟屏幕上投影的位置：
由(w2，d2，h2)可计算得到几何校正后点在虚拟屏幕上的位置。对上述方法得到的对虚拟屏幕上图像各点位置进行插值处理，得到预处理后图像。插值可采用双线性或最近插值的方法。对各视点图像均完成以上预处理后，即可以同光轴的方法，以观测平面为单位，逐行完成3D重建及之后多视点图生成及交织过程，在此不再累述。
上述方法给出了光轴匹配时，原视点图像内点投影至假想屏幕时，在水平及竖直方向上的位移。在此基础上，对以上光轴匹配投影预处理的一种近似方法为：对视点图像中心区域，仅在水平方向进行投影校正。考虑图像中心区域点，可假定h1较小，此时视点图像中h1和校正后图中h2位置之间差异有限，此时仅对投影图像在水平方向进行预处理，即：
同时，由于3D内容往往集中于图像中心，可对图像全体仅在水平方向进行预处理。在矫正了各第二摄像装置所摄取的图像后，执行步骤S140。
其中，近似方法带来了以下改进：由于仅在水平方向进行处理，近似方法使得预处理与3D重建过程一直可逐行完成，减少了内存消耗。
步骤S140、基于预处理后的每对二维图像和拍摄对应二维图像的各摄像装置的空间信息，重建所要显示的三维图像的空间像素值。
具体地，所述成像系统在获取各对二维图像的同时，还获取各摄像装置的空间信息，其中，所述空间信息包括：预配对的各摄像装置中心点之间的间距，以及可选的包含实际拍摄距离等。接着，所述成像系统根据所述空间信息重建 3D模型，并对构成该3D模型的空间像素值进行赋值。
一种可选方案为，如图2所示，步骤S140包括：步骤S141、S142、S143、 S144。
步骤S141、基于二维图像的尺寸、预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸。
在此，所述二维图像的尺寸和屏幕的尺寸可用毫米、英寸等来表示。所述预设屏幕的尺寸可根据智能终端的设计需要而定。其中，屏幕中像素区域的尺寸为p＝l/n，其中，l为二维图像的尺寸，n为屏幕尺寸。所述成像系统根据像素区域的尺寸确定屏幕前显示空间的体素尺寸。其中，体素的长宽可与像素区域的长宽一致、或为像素区域的长宽的预设比例。其中，所述体素是指用于构成显示空间的最小单位。类似于屏幕中的像素，本实施例中的体素可为单位立方体、或根据计算需要降维至单位矩形或单位线段。
步骤S142、对各视点中预配对的二维图像进行左右图匹配。
具体地，所述成像系统预处理获取视点左右图，使左右图匹配，其更适于视差估计。预处理算法之一为直方图匹配算法，其目的在于使左右图亮度、色度匹配。
步骤S143、基于为已匹配的每对二维图像估计三维图像素材；其中，每个三维图像素材包含多组参数，所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息。
在此，所述成像系统将所述获取系统中的每个图像裁剪模块所提供的两幅二维图像作为配对的两幅二维图像；再利用3DRS算法或Lucas Kanade算法等估计算法，估计每对二维图像在所述屏幕上的投影点位置(即投影点所在像素区域)及视差信息。如图3所示，两幅二维图像的共同图像区域中同一景象的像素点在所述屏幕上的像素区域内投影点位置为cr和cl，则两位置之间的距离为视差信息。所述成像系统通过估计算法得到多组参数。
步骤S144、根据每对摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值；以及，对于重建后的3D空间进行空间内滤波等处理。
在此，所述成像系统利用三角定理中的边角关系，计算两幅二维图像的共同图像区域投影在所述屏幕上时，在显示空间中构建的三维模型，并得到与所述三维模型重叠的体素，将其中一幅二维图像中共同图像区域的各像素点的像素值赋值给重叠的体素。接着，所述成像系统对重建后的3D空间基于颜色、纹理、光照等进行滤波、调整等处理。
优选地，所述步骤S143进一步包括：步骤S1441、S1442。(均未予图示)
步骤S1441、当以拍摄二维图像的各摄像装置为视点，利用各摄像装置的空间信息，向屏幕上的像素区域投影时，计算两视点光线在所述显示空间中的交汇区域。
如图3所示，所述成像系统以预配对的两摄像装置为视点，向所述屏幕上已确定的投影点所在像素区域进行投影，当光线在所述屏幕前的显示空间相交时，得到相应的交汇区域S。利用两摄像装置的空间信息、对应投影点的参数、所述屏幕与视点之间的距离，所述成像系统计算得到交汇区域S在所述显示空间中的位置区域，并执行步骤S1442。
步骤S1442、根据所述交汇区域与体素的重叠情况，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
在此，所述成像系统根据预设定的组成所述显示空间的各体素的位置、尺寸，确定与所述交汇区域部分重叠、或全部重叠的体素；进而根据预设的重叠情况-赋值方式的对应关系，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
具体地，所述成像系统根据预设的重叠情况-赋值方式的对应关系，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素的方式包括以下任一种：
1)根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域上的至少一个关键点；将相应参数中像素点的像素值赋给每个所述关键点所落入的体素。
其中，所述空间信息包括：预配对的各摄像装置中心点之间的间距，以及可选的包含实际拍摄距离等。
其中，所述关键点包括但不限于：交汇区域S的中心点、交汇区域S边界上的点等。例如，所述交汇区域S的四个顶角，以及四边的中点。
所述成像系统将对应该交汇区域S的参数中的像素点的像素值赋给所确定的关键点所落入的体素。
例如，如图4所示，所述成像系统根据两个摄像装置的空间信息、和对应三维图像素材等确定交汇区域上的四个顶角s1、s2、s3、s4及四边中点分别落入体素t1、t2、t3和t4，则所述成像系统将该交汇区域对应的参数中的像素点的像素值同时赋给体素t1、t2、t3和t4。
2)根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域与至少一个体素的重叠比例；按照所述重叠比例，将相应参数中像素点的像素值赋给相应的体素。
在此，所述成像系统根据每两个摄像装置的空间信息、和对应三维图像素材中的一组参数计算对应投影点所在像素区域的光线交汇区域S的长和宽。接着，所述成像系统利用公式计算区域S的面积。所述成像系统利用所得到的面积与所重叠的各体素面积的比例关系，将该组参数中像素点的像素值赋值给比值最大的体素。其中，v为体素的边长，此处所述体素设为正立方体或正方形，wsj为交汇区域S在体素中所占宽度值，lsj为交汇区域 S在体素中所占高度值。如图5所示区域S在t2体素中重叠的部分利用公式计算其面积。如图6所示区域S在t2体素中重叠的部分利用lsjwsj公式计算其面积。
由于能够为体素赋值的像素点本身数量有限，故，即便利用所有参数对体素赋值，所得到的赋值体素仍为稀疏的。在一种优选方式中，为了提高计算效率，所述成像系统在为每个体素赋值完毕后，判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限，若是，则继续为新的体素赋值，若否，则退出体素赋值。其中，所述成像系统可仅根据已赋值体素占所有体素的数量来作为覆盖范围。或者，所述成像系统通过统计已赋值体素在所有体素中的分布来确定覆盖范围。所述范围门限可以是一固定值，也可以根据所估计出的参数数量而定。
需要说明的是，在一种可选方式中，所赋值的体素为未曾赋值的体素，若所要赋值的体素已被赋值，则不予重复赋值。
为了降低计算复杂度，所述成像系统以垂直所述屏幕的维度的体素为行单位，利用每两个摄像装置的空间信息和各三维图像素材中像素点的像素值，逐行填充各平面体素的空间像素值。
具体地，所述成像系统将以垂直所述屏幕维度的体素为行单位，将立体的体素降维成二维的体素(如正方形的体素)，再按照上述方式对二维的体素进行赋值。
步骤S150、将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影，得到所述三维图像。
具体地，在完成对体素赋值之后，所述成像系统可以根据显示屏光栅的结构，确定所述屏幕中各像素区域中子像素位所对应的视点，并按照各摄像装置所表示的视点、或基于各摄像装置所拓展的视点，将所述显示空间中的体素投影在相应的像素区域中，得到三维图像。
一种可选方案中，如图2所示，所述步骤S150包括：步骤S151、S152。
步骤S151、基于给定视点确定各视点在对应像素中的子像素位，以及，对于投影后视点进行滤波等处理。
在此，所述视点可以为各摄像装置，也可以在各摄像装置之间插入新的视点，并将各摄像装置和新插入的视点作为预确定的视点。其中，插入的视点可以等分两相邻摄像装置之间的距离，或者，与相邻视点间距离为对应插值系数与摄像装置间距之积。插值得到视点与各摄像装置位于同一直线上。对于插入的视点，所述成像系统可以根据相邻的至少一个摄像装置所拍摄的图像在该给定视点上的投影来确定所插入视点处的图像。同时，对所有视点的图像进行滤波等处理，以便为后续交织处理，提供色彩统一的图像。
所述成像系统按照显示屏的光栅设置，计算所得到的各视点对应的所述屏幕像素区域中各子像素位。例如，如图7所示，每个像素区域由RGB三个子像素位组成，所述成像系统得到每个子像素位对应的视点编号，并执行步骤S152。
步骤S152、基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。
在此，所述成像系统以垂直于所述屏幕的方向为投影方向，将体素缩略成平行于所述屏幕的中轴线段、或者体素表面的中轴线段。所述成像系统计算某一视点在投影方向上，未被遮挡的体素上的至少部分线段投影到所述屏幕的每个像素区域中，并将投影线段与像素区域宽度的比例，作为该体素的子像素值的权重；再根据像素区域中子像素位(R、G、或B子像素位)，将各体素中的对应子像素值进行加权，并将加权后的值赋给所述像素区域中的对应子像素位上。
例如，如图8所示，屏幕中的像素区域p以ab线段表示，体素1、2、3、 4、5为视点view投影到像素区域p过程中所有体素，其中，以各体素的中轴线的投影所覆盖的长度为基准，确定体素1、2、3为未被遮挡的体素，体素4、 5为被遮挡的体素。所述成像系统将体素1、2、3中未被遮挡的部分投影到像素区域p的线段长度分别与ab线段长度的比例作为体素1、2、3的权重，再根据视点view对应该像素区域p中子像素位为R子像素位，将体素1、2、3中R 子像素值分别乘以权重后求和，得到该像素区域p中R子像素位的子像素值。
所述成像系统采用上述示例的投影方式，对所述屏幕上所有像素区域进行赋值，得到三维图像。
本实施例的技术方案，由于加入了实际摄像装置的空间信息，并在此基础上反向重建假设屏幕前的三维模型，再借助三维模型在屏幕上的投影，能够提高三维图像视觉上的立体感。
实施例二
图9为本发明实施例二提供的三维图像的成像系统的结构示意图，本实施例可适用于基于多于两个摄像装置同时拍摄的二维图像进行三维重建的情况，所述成像系统安装在终端/服务器等电子设备中。所述终端包括但不限于：手机、平板电脑、虚拟现实装置等。所述成像系统2具体包括：二维图像获取单元21、二维图像预处理单元22、映射单元25、空间建模单元23、三维图像成像单元 24。
所述二维图像获取单元21用于获取两个居中第一摄像装置和至少一个第二摄像装置所提供的、包含共同图像区域的二维图像；其中，各所述摄像装置位于同一直线，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所述第二摄像装置设于所述第一摄像装置的侧边,且光轴方向朝向所述第一摄像装置的光轴方向偏转预设偏角。如图13所示。
需要说明的是，所述第二摄像装置的数量并非一定为单数个。实际上，在实际设计时，更倾向于在所有第一摄像装置的两边对称设置至少一个第二摄像装置。例如，获取两个第一摄像装置和分列于该两个第一摄像装置两侧的第二摄像装置的图像。
在此，所述二维图像获取单元21可利用所在电子设备内置的、或外接于所述电子设备的摄像组获取多个二维图像。其中，该摄像组中包含至少两个第一摄像装置和第二摄像装置。其中，所有第一摄像装置位于同一直线上，且光轴方向一致。其中，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所摄取的图像中包含共同的图像区域。所述第二摄像装置分设在所述第一摄像装置至少一侧，用于补充所述第一摄像装置所未能共同拍摄到的图像区域。其中，各第二摄像装置的光轴方向朝向所述第一摄像装置的光轴方向偏转预设偏角。
所述二维图像预处理单元22用于基于预配对的两幅二维图像的共同图像区域，分别对各二维图像进行基于空间重建的预处理。
在此，为了便于后续基于两两图像来估计视差信息，所述二维图像预处理单元22可对各摄像装置的参数进行调整。例如，对摄像装置的自动曝光控制、自动聚焦控制、和自动白平衡控制进行调整。或者，所述二维图像预处理单元 22将所接收的各图像进行滤波、白平衡等处理。
一种可选方案为，所述二维图像预处理单元22包括：图像信号处理模块、同步模块和图像裁剪模块(均未予图示)。
所述同步模块与每个图像信号处理相连，用于各所述图像信号处理模块的帧同步及参数同步设置，并向各图像信号处理模块发送同步指令。所述同步指令中包括但不限于：同步触发指令，以及以下至少一种：各摄像装置的统一拍照参数、各图像的滤波参数、各图像滤波后的目标参数等。
所述图像信号处理模块的数量与摄像头数量相同、且每个图像信号处理模块连接一个摄像头。所述图像信号处理模块用于基于所接收的同步指令，对所连接的摄像装置的参数进行设置，和/或用于将所拍摄的图像进行滤波处理。
在一种情况下，若各摄像装置的型号相同，则所述图像信号处理模块在同步指令的指示下，向各摄像装置发送统一的拍照参数，并获取相应摄像装置所拍摄的图像。
若各摄像装置的型号不同，则所述图像信号处理模块将同步指令中对应自己的拍照参数发送给所连接的摄像装置，并获取相应摄像装置所拍摄的图像。
和/或，再另一种情况下，所述图像信号处理模块无论所连接的摄像装置的型号是否相同，可根据所述同步指令所提供的滤波参数、或目标滤波参数，对所接收的图像进行降噪等信号处理。
接着，所述图像裁剪模块与拍摄有共同图像区域的两图像信号处理模块相连，用于基于共同图像区域分别对两对图像信号处理模块所提供的图像进行裁剪。
具体地，所述图像裁剪模块根据预配对的摄像装置，将所接收的两幅图像中的共同图像区域分别对两幅图像进行裁剪。
例如，所述图像裁剪模块可利用基于轮廓、图像块特征等的匹配方式得到两幅图像的共同图像区域，并将所得到的共同图像区域予以裁剪。
所述映射单元25用于基于所述预设偏角，将所述第二摄像装置所拍摄的二维图像，映射至所述第一摄像装置的光轴方向。
具体地，如图11所示，所述映射单元25根据第二摄像装置的光轴在垂直于所述光轴且与所述屏幕相交的平面上确定该第二摄像装置所拍摄的图像在该平面上投影。
例如，显示空间中的pt点在该平面上的投影位置为pt1，同样，在该第二摄像装置、pt点和pt1点所在光线上与所述屏幕相交的点为pt2，所述映射单元25 将该pt2点确定为第二摄像装置所拍摄的二维图像在所述屏幕上显示的二维图像，并将所述二维图像作为后续步骤处理时对应该第二摄像装置所在视点的二维图像。
具体地，如图12所示，所述映射单元25令点(pt)在视点(view)图像中投影位置(相当于图11中的pt1)已知。首先由已知几何关系信息，包括视点位置、光轴方向、虚拟屏幕位置(d2)，得到该视点对应获取平面位置。由点在平面内位置及获取平面位置，可得到点在获取图像中投影点的几何空间位置，即可得，视点内点投影与视点间距离(如图中所标w1，d1，h1所示)。由以下公式可计算得到视点获取图像中点投影在虚拟屏幕上投影的位置：
由(w2，d2，h2)可计算得到几何校正后点在虚拟屏幕上的位置。对上述方法得到的对虚拟屏幕上图像各点位置进行插值处理，得到预处理后图像。插值可采用双线性或最近插值的方法。对各视点图像均完成以上预处理后，即可以同光轴的方法，以观测平面为单位，逐行完成3D重建及之后多视点图生成及交织过程，在此不再累述。
上述方法给出了光轴映射时，原视点图像内点投影至假想屏幕时，在水平及竖直方向上的位移。在此基础上，对以上光轴匹配投影预处理的一种近似方法为：对视点图像中心区域，仅在水平方向进行投影校正。考虑图像中心区域点，可假定h1较小，此时视点图像中h1和校正后图中h2位置之间差异有限，此时仅对投影图像在水平方向进行预处理，即：
同时，由于3D内容往往集中于图像中心，可对图像全体仅在水平方向进行预处理。在矫正了各第二摄像装置所摄取的图像后，执行空间建模单元23。
其中，近似方法带来了以下改进：由于仅在水平方向进行处理，近似方法使得预处理与3D重建过程一直可逐行完成，减少了内存消耗。
所述空间建模单元23用于基于预处理后的每对二维图像和拍摄对应二维图像的各摄像装置的空间信息，重建所要显示的三维图像的空间像素值。
具体地，所述空间建模单元23在获取各对二维图像的同时，还获取各摄像装置的空间信息，其中，所述空间信息包括：预配对的各摄像装置中心点之间的间距，以及可选的包含实际拍摄距离等。接着，所述空间建模单元23根据所述空间信息重建3D模型，并对构成该3D模型的空间像素值进行赋值。
一种可选方案为，如图10所示，空间建模单元23包括：初始化模块230、预处理模块231、估计模块232、空间重建及处理模块233。
所述初始化模块230用于基于二维图像的尺寸、预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸。
在此，所述二维图像的尺寸和屏幕的尺寸可用毫米、英寸等来表示。所述预设屏幕的尺寸可根据智能终端的设计需要而定。其中，屏幕中像素区域的尺寸为p＝l/n，其中，l为二维图像的尺寸，n为屏幕尺寸。所述初始化模块230 根据像素区域的尺寸确定屏幕前显示空间的体素尺寸。其中，体素的长宽可与像素区域的长宽一致、或为像素区域的长宽的预设比例。其中，所述体素是指用于构成显示空间的最小单位。类似于屏幕中的像素，本实施例中的体素可为单位立方体、或根据计算需要降维至单位矩形或单位线段。
所述预处理模块231用于预处理获取视点左右图，使左右图匹配，其更适于视差估计。预处理算法之一为直方图匹配算法，其目的在于使左右图亮度、色度匹配。
所述估计模块232用于基于每对两幅二维图像，估计三维图像素材；其中，每个三维图像素材包含多组参数，所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息。
在此，所述估计模块232将所述获取系统中的每个图像裁剪模块所提供的两幅二维图像作为配对的两幅二维图像；再利用3DRS算法或Lucas Kanade算法等估计算法，估计每对二维图像在所述屏幕上的投影点位置(即投影点所在像素区域)及视差信息。如图3所示，两幅二维图像的共同图像区域中同一景象的像素点在所述屏幕上的像素区域内投影点位置为cr和cl，则两位置之间的距离为视差信息。所述估计模块232通过估计算法得到多组参数。
所述空间重建及处理模块233用于根据每对摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值；以及，对于重建后的 3D空间进行空间内滤波等处理。
在此，所述空间重建及处理模块233利用三角定理中的边角关系，计算两幅二维图像的共同图像区域投影在所述屏幕上时，在显示空间中构建的三维模型，并得到与所述三维模型重叠的体素，将其中一幅二维图像中共同图像区域的各像素点的像素值赋值给重叠的体素。接着，所述空间重建及处理模块233 对重建后的3D空间基于颜色、纹理、光照等进行滤波、调整等处理。
优选地，所述空间重建及处理模块233进一步包括：空间建模子模块、赋值子模块。
所述赋值子模块用于当以拍摄二维图像的各摄像装置为视点，利用各摄像装置的空间信息，向屏幕上的像素区域投影时，计算两视点光线在所述显示空间中的交汇区域。
如图3所示，所述赋值子模块以预配对的两摄像装置为视点，向所述屏幕上已确定的投影点所在像素区域进行投影，当光线在所述屏幕前的显示空间相交时，得到相应的交汇区域S。利用两摄像装置的空间信息、对应投影点的参数、所述屏幕与视点之间的距离，所述赋值子模块计算得到交汇区域S在所述显示空间中的位置区域。
接着，所述赋值子模块用于根据所述交汇区域与体素的重叠情况，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
在此，所述赋值子模块根据预设定的组成所述显示空间的各体素的位置、尺寸，确定与所述交汇区域部分重叠、或全部重叠的体素；进而根据预设的重叠情况-赋值方式的对应关系，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
具体地，所述赋值子模块根据预设的重叠情况-赋值方式的对应关系，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素的方式包括以下任一种：
1)根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域上的至少一个关键点；将相应参数中像素点的像素值赋给每个所述关键点所落入的体素。
其中，所述空间信息包括：预配对的各摄像装置中心点之间的间距，以及可选的包含实际拍摄距离等。
其中，所述关键点包括但不限于：交汇区域S的中心点、交汇区域S边界上的点等。例如，所述交汇区域S的四个顶角，以及四边的中点。
所述赋值子模块将对应该交汇区域S的参数中的像素点的像素值赋给所确定的关键点所落入的体素。
例如，如图4所示，所述赋值子模块根据两个摄像装置的空间信息、和对应三维图像素材等确定交汇区域上的四个顶角s1、s2、s3、s4及四边中点分别落入体素t1、t2、t3和t4，则所述赋值子模块将该交汇区域对应的参数中的像素点的像素值同时赋给体素t1、t2、t3和t4。
2)根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域与至少一个体素的重叠比例；按照所述重叠比例，将相应参数中像素点的像素值赋给相应的体素。
在此，所述赋值子模块根据每两个摄像装置的空间信息、和对应三维图像素材中的一组参数计算对应投影点所在像素区域的光线交汇区域S的长和宽。接着，所述赋值子模块利用公式计算区域S的面积。所述赋值子模块利用所得到的面积与所重叠的各体素面积的比例关系，将该组参数中像素点的像素值赋值给比值最大的体素。其中，v为体素的边长，此处所述体素设为正立方体或正方形，wsj为交汇区域S在体素中所占宽度值，lsj为交汇区域S在体素中所占高度值。如图5所示区域S在t2体素中重叠的部分利用公式计算其面积。如图6所示区域S在t2体素中重叠的部分利用lsjwsj公式计算其面积。
由于能够为体素赋值的像素点本身数量有限，故，即便利用所有参数对体素赋值，所得到的赋值体素仍为稀疏的。在一种优选方式中，为了提高计算效率，所述赋值子模块在为每个体素赋值完毕后，判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限，若是，则继续为新的体素赋值，若否，则退出体素赋值。其中，所述赋值子模块可仅根据已赋值体素占所有体素的数量来作为覆盖范围。或者，所述赋值子模块通过统计已赋值体素在所有体素中的分布来确定覆盖范围。所述范围门限可以是一固定值，也可以根据所估计出的参数数量而定。
需要说明的是，在一种可选方式中，所赋值的体素为未曾赋值的体素，若所要赋值的体素已被赋值，则不予重复赋值。
为了降低计算复杂度，所述赋值子模块以垂直所述屏幕的维度的体素为行单位，利用每两个摄像装置的空间信息和各三维图像素材中像素点的像素值，逐行填充各平面体素的空间像素值。
具体地，所述赋值子模块将以垂直所述屏幕维度的体素为行单位，将立体的体素降维成二维的体素(如正方形的体素)，再按照上述方式对二维的体素进行赋值。
所述三维图像成像单元24用于将所重建的空间像素值在预设的用于显示三维图像的屏幕上投影，得到所述三维图像。
具体地，在完成对体素赋值之后，所述三维图像成像单元24可以根据显示屏光栅的结构，确定所述屏幕中各像素区域中子像素位所对应的视点，并按照各摄像装置所表示的视点、或基于各摄像装置所拓展的视点，将所述显示空间中的体素投影在相应的像素区域中，得到三维图像。
一种可选方案中，所述三维图像成像单元24包括：视点投影处理模块241、交织模块242。
所述视点投影处理模块241用于基于给定视点确定各视点在对应像素中的子像素位，以及，对于投影后视点进行滤波等处理。
在此，所述视点可以为各摄像装置，也可以在各摄像装置之间插入新的视点，并将各摄像装置和新插入的视点作为预确定的视点。其中，插入的视点可以等分两相邻摄像装置之间的距离，或者，与相邻视点间距离为对应插值系数与摄像装置间距之积。插值得到视点与各摄像装置位于同一直线上。对于插入的视点，所述视点投影处理模块241可以根据相邻的至少一个摄像装置所拍摄的图像在该给定视点上的投影来确定所插入视点处的图像。同时，对所有视点的图像进行滤波等处理，以便为后续交织处理，提供色彩统一的图像。
所述视点投影处理模块241按照显示屏的光栅设置，计算所得到的各视点对应的所述屏幕像素区域中各子像素位。例如，如图7所示，每个像素区域由 RGB三个子像素位组成，所述视点投影处理模块241得到每个子像素位对应的视点编号，并执行交织模块242。
所述交织模块242用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位
在此，所述交织模块242以垂直于所述屏幕的方向为投影方向，将体素缩略成平行于所述屏幕的中轴线段、或者体素表面的中轴线段。所述交织模块242 计算某一视点在投影方向上，未被遮挡的体素上的至少部分线段投影到所述屏幕的每个像素区域中，并将投影线段与像素区域宽度的比例，作为该体素的子像素值的权重；再根据像素区域中子像素位(R、G、或B子像素位)，将各体素中的对应子像素值进行加权，并将加权后的值赋给所述像素区域中的对应子像素位上。
例如，如图8所示，屏幕中的像素区域p以ab线段表示，体素1、2、3、 4、5为视点view投影到像素区域p过程中所有体素，其中，以各体素的中轴线的投影所覆盖的长度为基准，确定体素1、2、3为未被遮挡的体素，体素4、 5为被遮挡的体素。所述交织模块242将体素1、2、3中未被遮挡的部分投影到像素区域p的线段长度分别与ab线段长度的比例作为体素1、2、3的权重，再根据视点view对应该像素区域p中子像素位为R子像素位，将体素1、2、3 中R子像素值分别乘以权重后求和，得到该像素区域p中R子像素位的子像素值。
所述交织模块242采用上述示例的投影方式，对所述屏幕上所有像素区域进行赋值，得到三维图像。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种三维图像的成像方法，其特征在于，包括：
获取两个居中第一摄像装置和至少一个第二摄像装置所提供的、包含共同图像区域的二维图像；其中，各所述摄像装置位于同一直线，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所述第二摄像装置设于所述第一摄像装置的侧边,且光轴方向朝向所述第一摄像装置的光轴方向偏转预设偏角，所述第二摄像装置用于补充所述第一摄像装置所未能共同拍摄到的图像区域；
基于预配对的两幅二维图像的共同图像区域，分别对各二维图像进行基于空间重建的预处理；
基于所述预设偏角，将所述第二摄像装置所拍摄的二维图像，映射至所述第一摄像装置的光轴方向；
在映射之后，基于预配对的两幅二维图像和对应摄像装置的空间信息，重建所要显示的三维图像的空间像素值；
将所重建的空间像素值在预设的用于显示三维图像的屏幕进行投影，得到所述三维图像；
其中，基于所述预设偏角，将所述第二摄像装置所拍摄的二维图像，映射至所述第一摄像装置的光轴方向包括：
取一与第一摄像装置的光轴垂直的平面作为虚拟屏幕；
依据所述第二摄像装置的视点位置、所述第二摄像装置的光轴方向及所述虚拟屏幕位置，得到所述视点对应的获取平面位置；
依据所述视点在平面内位置及所述获取平面位置，得到所述视点在获取图像中投影点的几何空间位置，以及所述视点内点投影与视点间距离；
依据所述几何空间位置，以及所述视点内点投影与视点间距离，得到视点获取图像中点投影在所述虚拟屏幕上投影的位置。
2.根据权利要求1所述的三维图像的成像方法，其特征在于，所述基于预配对的两幅二维图像的共同图像区域，分别对各二维图像进行基于空间重建的预处理包括：
预先进行帧同步及参数同步设置，并输出同步指令；
基于所接收的同步指令，对各摄像装置的参数进行设置，和/或基于所接收的同步指令，将各摄像装置所拍摄的图像进行信号处理；
基于共同图像区域分别对两幅同步拍摄的图像进行裁剪。
3.根据权利要求1所述的三维图像的成像方法，其特征在于，所述基于预处理后的每对二维图像和拍摄对应二维图像的各摄像装置的空间信息，重建所要显示的三维图像的空间像素值包括：
基于二维图像的尺寸、预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸；
对各视点中预配对的二维图像进行左右图匹配；
为已匹配的每对二维图像估计三维图像素材；其中，每个三维图像素材包含多组参数，所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息；
根据每对摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值。
4.根据权利要求3所述的三维图像的成像方法，其特征在于，所述根据每对摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值包括：
当以拍摄二维图像的各摄像装置为视点，利用每对摄像装置的空间信息，向屏幕上的像素区域投影时，计算两视点光线在所述显示空间中的交汇区域；
根据所述交汇区域与体素的重叠情况，将对应该像素区域的参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
5.根据权利要求4所述的三维图像的成像方法，其特征在于，所述根据交汇区域与体素的重叠情况，将相应参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素包括以下任一种：
根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域上的至少一个关键点；将相应参数中像素点的像素值赋给每个所述关键点所落入的体素；
以及，根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域与至少一个体素的重叠比例；按照所述重叠比例，将相应参数中像素点的像素值赋给相应的体素。
6.根据权利要求5所述的三维图像的成像方法，其特征在于，在每次赋值一像素区域之后，还包括：
判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限，若是，则继续为新的体素赋值，若否，则退出体素赋值。
7.根据权利要求3所述的三维图像的成像方法，其特征在于，所述根据每两个摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值包括：
以垂直所述屏幕的维度的体素为行单位，利用每两个摄像装置的空间信息和各三维图像素材中像素点的像素值，逐行填充各平面体素的空间像素值。
8.根据权利要求1所述的三维图像的成像方法，其特征在于，所述将所重建的空间像素值在预设的用于显示三维图像的屏幕进行投影，得到所述三维图像包括：
基于给定视点确定各视点在对应像素中的子像素位；
基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。
9.一种三维图像的成像系统，其特征在于，包括：
二维图像获取单元，用于获取两个居中第一摄像装置和至少一个第二摄像装置所提供的、包含共同图像区域的二维图像；其中，各所述摄像装置位于同一直线，所述第一摄像装置的光轴方向一致且均垂直于所述直线，所述第二摄像装置设于所述第一摄像装置的侧边,且光轴方向朝向所述第一摄像装置的光轴方向偏转预设偏角，所述第二摄像装置用于补充所述第一摄像装置所未能共同拍摄到的图像区域；
二维图像预处理单元，用于基于预配对的两幅二维图像的共同图像区域，分别对各二维图像进行基于空间重建的预处理；
映射单元，用于基于所述预设偏角，将所述第二摄像装置所拍摄的二维图像，映射至所述第一摄像装置的光轴方向；
空间建模单元，用于在映射之后，基于预配对的两幅二维图像和对应摄像装置的空间信息，重建所要显示的三维图像的空间像素值；
三维图像成像单元，用于将所重建的空间像素值在预设的用于显示三维图像的屏幕进行投影，得到所述三维图像；
其中，所述映射单元具体用于：
取一与第一摄像装置的光轴垂直的平面作为虚拟屏幕；
依据所述第二摄像装置的视点位置、所述第二摄像装置的光轴方向及所述虚拟屏幕位置，得到所述视点对应的获取平面位置；
依据所述视点在平面内位置及所述获取平面位置，得到所述视点在获取图像中投影点的几何空间位置，以及所述视点内点投影与视点间距离；
依据所述几何空间位置，以及所述视点内点投影与视点间距离，得到视点获取图像中点投影在所述虚拟屏幕上投影的位置。
10.根据权利要求9所述的三维图像的成像系统，其特征在于，所述二维图像预处理单元包括：
与摄像头数量相同、且连接摄像头的图像信号处理模块，用于基于所接收的同步指令，对所连接的摄像头的参数进行设置，和/或将各摄像头所拍摄的图像进行信号处理；
与每个图像信号处理模块相连的同步模块，用于各所述图像信号处理模块的帧同步及参数同步设置，并向各图像信号处理模块发出所述同步指令；
以及，图像裁剪模块，用于基于共同图像区域分别对两对图像信号处理模块所提供的图像进行裁剪。
11.根据权利要求9所述的三维图像的成像系统，其特征在于，所述空间建模单元包括：
初始化模块，用于基于二维图像的尺寸、预设屏幕的尺寸，确定所述屏幕中的像素尺寸及所述屏幕前显示空间的体素尺寸；
预处理模块，用于对各视点中预配对的二维图像进行左右图匹配；
估计模块，用于为已匹配的每对二维图像估计三维图像素材；其中，每个三维图像素材包含多组参数，所述参数包括同一物理空间点在所述屏幕上投影的一个像素区域和该物理空间点在所述屏幕上的视差信息；
空间重建及处理模块，用于根据每对摄像装置的空间信息、和对应三维图像素材，填充所述显示空间中体素的空间像素值。
12.根据权利要求11所述的三维图像的成像系统，其特征在于，所述空间重建及处理模块包括：
空间建模子模块，用于当以拍摄二维图像的各摄像装置为视点，利用每对摄像装置的空间信息，向屏幕上的像素区域投影时，计算两视点光线在所述显示空间中的交汇区域；
赋值子模块，用于根据所述交汇区域与体素的重叠情况，将对应该像素区域的参数中像素点的像素值赋给与所述交汇区域重叠的至少一个体素。
13.根据权利要求12所述的三维图像的成像系统，其特征在于，所述赋值子模块用于以下任一种：
根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域上的至少一个关键点；将相应参数中像素点的像素值赋给每个所述关键点所落入的体素；
以及，根据每两个摄像装置的空间信息、和对应三维图像素材，确定各组参数所对应的交汇区域与至少一个体素的重叠比例；按照所述重叠比例，将相应参数中像素点的像素值赋给相应的体素。
14.根据权利要求13所述的三维图像的成像系统，其特征在于，所述赋值子模块还用于在每次赋值一像素区域之后，判断已赋值体素占所述显示空间中所有体素的覆盖范围是否达到预设的范围门限，若是，则继续为新的体素赋值，若否，则退出体素赋值。
15.根据权利要求11所述的三维图像的成像系统，其特征在于，所述空间重建及处理模块用于以垂直所述屏幕的维度的体素为行单位，利用每两个摄像装置的空间信息和各三维图像素材中像素点的像素值，逐行填充各平面体素的空间像素值。
16.根据权利要求9所述的三维图像的成像系统，其特征在于，所述三维图像成像单元包括：
视点投影处理模块，用于基于重建后空间确定各视点在对应像素中的子像素位；
交织模块，用于基于各视点光线投影到对应子像素位所在像素区域上所途经的未遮挡体素的投影占所述像素区域的比例，逐个的将未遮挡体素中同一子像素位的像素值进行加权，并赋值给所述像素区域中对应的子像素位。
CN201610552688.3A 2016-07-14 2016-07-14 三维图像的成像方法及系统 Active CN106210694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610552688.3A CN106210694B (zh) 2016-07-14 2016-07-14 三维图像的成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610552688.3A CN106210694B (zh) 2016-07-14 2016-07-14 三维图像的成像方法及系统

Publications (2)

Publication Number Publication Date
CN106210694A CN106210694A (zh) 2016-12-07
CN106210694B true CN106210694B (zh) 2018-04-27

Family

ID=57477278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610552688.3A Active CN106210694B (zh) 2016-07-14 2016-07-14 三维图像的成像方法及系统

Country Status (1)

Country Link
CN (1) CN106210694B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419068A (zh) * 2018-05-25 2018-08-17 张家港康得新光电材料有限公司 一种3d图像处理方法和装置
CN111654687A (zh) * 2020-04-30 2020-09-11 兰州大学 共轴一体化的三维照相机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817071B2 (en) * 2009-11-17 2014-08-26 Seiko Epson Corporation Context constrained novel view interpolation
US8803943B2 (en) * 2011-09-21 2014-08-12 National Applied Research Laboratories Formation apparatus using digital image correlation
EP3654286B1 (en) * 2013-12-13 2024-01-17 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US10750153B2 (en) * 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video

Also Published As

Publication number Publication date
CN106210694A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
US9407904B2 (en) Method for creating 3D virtual reality from 2D images
CN104023220B (zh) 实时的多视图合成器
US7573489B2 (en) Infilling for 2D to 3D image conversion
CN104574501B (zh) 一种针对复杂三维场景的高质量纹理映射方法
US7573475B2 (en) 2D to 3D image conversion
JP2014522591A (ja) 角スライス実像３ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
CN102447934B (zh) 稀疏镜头采集的组合立体图像系统中立体元的合成方法
US20100085423A1 (en) Stereoscopic imaging
CN104221372B (zh) 自动立体显示器及显示3d图像的方法
AU2018249563B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
CN104079913B (zh) 光栅式立体显示器兼容2d-3d显示的子像素排列方法、装置
US8577202B2 (en) Method for processing a video data set
EP3446283A1 (en) Image stitching method and device
CN108564536A (zh) 一种深度图的全局优化方法
KR20120053536A (ko) 화상 표시 장치 및 화상 표시 방법
CN106210694B (zh) 三维图像的成像方法及系统
JPH05303629A (ja) 形状合成方法
CA2540538C (en) Stereoscopic imaging
CN105979241B (zh) 一种柱面立体全景视频快速反变换方法
KR20170025214A (ko) 다시점 깊이맵 생성 방법
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
CN106231284B (zh) 三维图像的成像方法及系统
CN106210700B (zh) 三维图像的获取系统、显示系统及所适用的智能终端
Limonov et al. Stereoscopic realtime 360-degree video stitching
US20140002446A1 (en) System and method for match move quality control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200327

Address after: 215634 north side of Chengang road and west side of Ganghua Road, Jiangsu environmental protection new material industrial park, Zhangjiagang City, Suzhou City, Jiangsu Province

Patentee after: ZHANGJIAGANG KANGDE XIN OPTRONICS MATERIAL Co.,Ltd.

Address before: 201203, room 5, building 690, No. 202 blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area

Patentee before: WZ TECHNOLOGY Inc.

TR01 Transfer of patent right