CN107454377B - 一种利用相机进行三维成像的算法和系统 - Google Patents

Abstract

本发明公开了一种利用相机进行三维成像的算法和系统。其将所述连续拍摄获得的一组照片的多张照片进行分析，对每张照片中每个像素或一组像素的清晰度进行判断，对于可容许范围弥散圆直径D以内的成像像素点R视为清晰成像，再根据该照片的焦距和景深信息，获得像素点R与相机镜头之间的距离范围(df，dc)，其中df为最远距离，dc为最近距离。通过使用连续拍摄获得的多张照片，进行比对后可以完成对于景物的三维成像，提供了一种新的三维成像算法。

Description

一种利用相机进行三维成像的算法和系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种利用相机进行三维成像的算法和系统。

背景技术

三维信息获取如今被广泛的应用于三维建模，3D打印，目标探测等多个应用领域中。景物三维信息的获取方法有许多种，包括利用计算机视角，从二维图形中获取三维信息，利用光场信息获取物体三维信息的光场法、接触探针等方法。

使用结构光对目标物体进行主动式测量，其扫描速度较快，但仅适用于室内物体表面反射情况较好的场合。飞行时间法则是利用探测脉冲的飞行时间获得目标物体的深度信息，其图像获取速度和分辨率受限于扫描速度和扫描点数。

因此，现有技术还有待发展。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种利用相机进行三维成像的算法和系统，旨在提供一种新的三维成像算法应用于3D打印或者生成其他视角图片。

为了达到上述目的，本发明采取了以下技术方案：

一种利用相机进行三维成像的系统，其中，所述系统包括：至少一个相机，所述相机是单目相机或多目相机，通过连续拍摄获得一组照片，对这组照片信息进行对比并获取所拍摄景物的三维信息。

所述的利用相机进行三维成像的系统，其中，所述相机通过手动或自动变焦，对同一个景物进行连续拍摄。

所述的利用相机进行三维成像的系统，其中，所述相机通过手动或自动调节镜头光圈大小，对同一个景物进行连续拍摄。

一种基于如上所述的利用相机进行三维成像的系统的算法，其中，将所述连续拍摄获得的一组照片的多张照片进行分析，对每张照片中每个像素或一组像素的清晰度进行判断，对于可容许范围弥散圆直径D以内的成像像素点R视为清晰成像，再根据该照片的焦距和景深信息，获得像素点R与相机镜头之间的距离范围(df，dc)，其中df为最远距离，dc为最近距离。

所述的利用相机进行三维成像的算法，其中，将所述连续拍摄获得的多张照片进行对比匹配，对多张照片中显示的同一个像素点R建立映射关系，并根据如上所述的方法筛选出像素点R为清晰的照片分组，根据分组中每张照片的焦距、光圈、景深和/或其他信息，以及每张照片的像素点R与相机镜头之间的距离范围(df，dc)，通过求均值和其它方法计算出像素点R与相机镜头之间的准确距离。

所述的利用相机进行三维成像的算法，其中，所述连续拍摄获得的多张照片进行对比匹配，用清晰的像素代替模糊的像素，同时根据所述像素点R与相机镜头之间的准确距离，从而获得整张照片每个像素点的深度信息，如果相邻的像素之间的深度差值大于某个阀值时，通过差值及其它的转换处理算法进行深度信息的拟合。

所述的利用相机进行三维成像的系统，其中，所述相机手持或固定在支架上，通过移动相机位置进行连续拍摄，所述移动相机位置的移动方式包括：左右水平移动、前后水平移动、上下垂直移动，水平旋转移动、垂直旋转移动、螺旋型旋转同时在垂直于旋转面方向移动，以及其它的移动方式，

所述支架支持上述至少一种移动方式协助所述相机进行拍摄。

所述的利用相机进行三维成像的系统，其中，所述支架带有刻度，对固定在支架上的相机的位移量提供精确值。

所述的利用相机进行三维成像的系统，其中，所述支架的移动量同步记录在如上所述的相机在相应位置拍摄的每张照片上。

一种基于如上所述的利用相机进行三维成像的系统的算法，其中，所述通过移动相机位置进行连续拍摄的照片，以及如上所述每张照片拍摄时相机的位移量信息，列出方程组，通过相片拍摄角度的不同获得光线的方向信息，通过方程组矩阵运算，获得所拍摄景物的光场信息，从而获得所拍摄景物的三维信息。

所述的利用相机进行三维成像的系统，其中，所述通过移动相机位置进行连续拍摄，当相机移动到一个位置时，还通过手动或自动变焦，对同一个景物进行连续拍摄。

一种基于上所述的利用相机进行三维成像的系统的算法，其中，使用上述两种的三维成像算法之一，或两种算法相结合来获得更准确的所拍摄景物的三维信息。

所述的利用相机进行三维成像的系统的算法，其中，根据所获得的所拍摄景物的三维信息，进行3D打印或生成不同视角的照片。

有益效果：本发明提供的一种利用相机进行三维成像的算法和系统，通过使用连续拍摄获得的多张照片，进行比对后可以完成对于景物的三维成像，提供了一种新的三维成像算法。其三维成像的算法和系统简单易行，具有良好的应用前景。

附图说明

图1为本发明具体实施例的照片景深的原理图。

图2为本发明具体实施例的前景聚焦的照片a。

图3为本发明具体实施例的后景聚焦的照片b。

图4为本发明具体实施例的照片的划分网格示意图。

图5为光的5D表示示意图。

图6为光的4D表示示意图。

图7为光场成像原理示意图。

图8为本发明具体实施例的利用相机进行三维成像的算法和系统的支架示意图。

具体实施方式

本发明提供一种利用相机进行三维成像的算法和系统。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明具体实施例的一个利用相机进行三维成像的算法和系统。

其中，系统中包括至少一个相机，所述相机可以是单目相机或多目相机，通过连续拍摄获得一组多张照片，对这组照片信息进行对比并获取所拍摄景物的三维信息。

应当说明的是，本发明所述的相机可以包括任何合适的，能够通过连续拍摄的拍摄设备，例如手机中的照相机等。使用其他的照相机，例如内置在智能手机中的照相机属于对于本发明技术方案的简单替换，也属于本发明的权利要求范围内。

具体的，所述相机可以通过手动或自动变焦，对同一个景物进行连续拍摄。进一步的，所述相机还可以通过手动或自动调节镜头光圈大小，对同一个景物进行连续拍摄。

更具体的，所述算法包括如下分析过程：

第一步：对于所述连续拍摄获得的一组照片的多张照片进行分析，对每张照片中每个像素或一组像素的清晰度进行判断，对于可容许范围弥散圆直径D以内的成像像素点R视为清晰成像，再根据该照片的焦距和景深信息，获得像素点R与相机镜头之间的距离范围(df，dc)，其中df为最远距离，dc为最近距离。

可以采用专门负责记录景深的摄像头，通过记录每个像素的景深来实现后期触摸再对焦。这样的好处在于今后用户在拍照的时候不用费半天劲刻意对焦，拍下一张照片之后可以根据用户的意图自行选择聚焦区域，既提升了拍摄速度又提高了拍摄的成功率，可谓一举两得。

现对可容许范围弥散圆直径D进行详细陈述，如图1所示，在对焦时，通过镜头将在焦平面上清晰成像，而对焦点的前景和后景也在焦平面成像，只要它们成像的弥散圆等于或小于容许弥散圆直径，我们将认为是清晰的，这样影像就有一个的清晰的区间，这就是景深。

如果此圆形足够小，肉眼依然可被视为点的成像。这个可以被接受的最大直径被称为容许弥散圆直径D。

进一步的，可以对所述连续拍摄获得的多张照片进行对比匹配，对多张照片中显示的同一个像素点R建立映射关系，并根据第一步所述的方法筛选出像素点R为清晰的照片分组，根据分组中每张照片的焦距、光圈、景深等信息，以及每张照片的像素点R与相机镜头之间的距离范围(df，dc)，通过求均值和其它方法计算出像素点R与相机镜头之间的准确距离。

再进一步的，将所述连续拍摄获得的多张照片进行对比匹配，用清晰的像素代替模糊的像素，同时根据所述像素点R与相机镜头之间的准确距离，从而获得整张照片每个像素点的深度信息，如果相邻的像素之间的深度差值大于某个阀值时，通过差值及其它的转换处理算法进行深度信息的拟合。

以下结合图2-4的例子对上述三维成像算法进行阐述。图2和图3分别为通过自动变焦拍摄的2张照片a和b。

其中，照片a对前景聚焦，所以前景清晰，后景模糊，而照片b对后景聚焦，所以后景清晰，前景模糊。将照片如图4所示划出网格，对其中每个像素或一组像素进行判断，对于可容许范围弥散圆直径D以内的成像像素点R视为清晰成像，再根据该照片的焦距和景深信息，获得每个清晰像素点R与相机镜头之间的距离范围(df，dc)，其中df为最远距离，dc为最近距离。

然后根据连续拍摄获得的多张照片进行对比匹配，对多张照片中显示的同一个像素点R建立映射关系，并根据上述方法筛选出像素点R为清晰的照片分组，根据分组中每张照片的焦距、光圈、景深等信息，以及每张照片的像素点R与相机镜头之间的距离范围(df，dc)，通过求均值和其它方法计算出像素点R与相机镜头之间的准确距离。

然后将上述连续拍摄获得的多张照片进行对比匹配，用清晰的像素代替模糊的像素，同时根据上述方法获得每个像素点R的深度信息即像素点R与相机镜头之间的准确距离，从而获得整张照片每个像素点的深度信息，即照片中景物的三维信息。如果相邻的像素之间的深度差值大于某个阀值，可以通过差值及其它的转换处理算法进行深度信息的拟合，以获得更精确的深度信息和显示效果。

而所谓光场，即是空间中任意点发出的任意方向的光的集合。

光是载体，携带了物体的信息，在3D空间中任意一束光我们用5个参数来定义，位置坐标x，y，z和方向坐标角θ，φ(具体如图5所示)。

如果将目标锁定为一个观测的物体，将自身限制在物体的周围，由物体发出的光线的所有集合就可以用4D来表示(以图6的方式定义光线)，并定义为4D光场。

Marc Levoy在1996年SIGGRAPH会议论文中的光场理论就是基于上述表示方法之上的。所有的光场理论的应用基础都在他的《Light field rendering》中有详细说明。

如图7(a)所示，在目标像的周围我们可以拍摄不同位置不同角度的图片。

而在图7(b)中位置4和2代表的位置上拍摄目标像的信息基本相同，但是由于视场不同位置4获得的图像视场小于位置2，但是获得的细节信息多于位置2，而位置1和位置3拍摄的图像包含部份位置4拍摄图像的信息，因此通过计算可以通过位置1，2，3的图像中部分信息计算出位置4拍摄的图像的全部信息。由此，我们可以不在位置4拍摄图像，而通过位置1，2，3的图像计算出他的图像。根据这种理论，通过在物体周围拍摄到足够的图片(如图7(b))，形成物体的光场如图7(c)所示，就可以获得任意位置拍摄到的图片，而无须真实的拍摄，从而获得目标像的所有信息。藉由这个原理，可以获得光场信息并实现三维重建。

上述图7的光场信息可以通过光场相机的微透镜阵列获得，也可以通过本发明的系统，把普通相机用手持或固定在所述支架上。

然后通过移动相机位置进行连续拍摄，所述移动相机位置可以是左右水平移动、前后水平移动、上下垂直移动，水平旋转移动、垂直旋转移动、螺旋型旋转同时在垂直于旋转面方向移动，以及其它的移动方式。

所述支架可以支持上述至少一种位移方式协助相机进行拍摄。

较佳的是，所述相机支架可以带有刻度，对固定在支架上的相机的位移量提供精确值。如图8所示，为本发明所述支架100的一个具体实施例。其中，4为垂直刻度，5为水平刻度，6为旋转轴，200为相机。通过旋转轴旋转90度，相机7可以在刻度5上左右移动或前后移动，也可通过刻度4上下移动相机，或者利用旋转轴6转动相机，进行各种移动方式下的连续拍摄。

较佳的是，在所述算法中，支架的移动量可以同步记录在相机在相应位置拍摄的每张照片上。通过上述方法移动相机位置进行连续拍摄的照片，再根据每张照片拍摄时相机的位移量信息，列出方程组，通过相片拍摄角度的不同获得光线的方向信息，通过方程组矩阵运算等算法，获得所拍摄景物的光场信息，最终获得所拍摄景物的三维信息。

优选的，在通过移动相机位置进行连续拍摄时，当相机移动到一个位置，还可以如前所述通过手动或自动变焦，对同一个景物进行连续拍摄。

当然，本发明所述的三维成像算法，可以使用上述自动变焦连续拍摄和移动位置连续拍摄的其中一种方法，或两种方法相结合来获得更加准确的所拍摄景物的三维信息。通过以上方法获得的所拍摄景物的三维信息，可以进行3D打印或生成不同视角的照片。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及本发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (12)

1.一种利用相机进行三维成像的系统，其特征在于，所述系统包括至少一个相机，所述相机是单目相机或多目相机，所述相机用于通过连续拍摄的方式获得一组照片，对所述连续拍摄获得的一组照片的多张照片进行分析，对每张照片中每个像素或一组像素的清晰度进行判断，其中可容许范围弥散圆直径D以内的成像像素点R视为清晰成像；再根据该照片的焦距和景深信息获得像素点R与相机镜头之间的距离范围(df，dc)，其中df为最远距离，dc为最近距离；将所述连续拍摄获得的多张照片进行对比匹配，对多张照片中显示的同一个像素点R建立映射关系，并筛选出像素点R为清晰的照片分组；根据分组中每张照片的焦距和景深信息以及每张照片的像素点R与相机镜头之间的距离范围(df，dc)，通过求均值的方法计算出像素点R与相机镜头之间的准确距离，并将所述准确距离作为所述像素点R的深度信息；获得整张照片每个像素点的深度信息，进而获取所拍摄景物的三维信息。

2.根据权利要求1所述的利用相机进行三维成像的系统，其特征在于，所述相机用于通过手动或自动变焦的方式，对同一个景物进行连续拍摄。

3.根据权利要求1所述的利用相机进行三维成像的系统，其特征在于，所述相机用于通过手动或自动调节镜头光圈大小的方式，对同一个景物进行连续拍摄。

4.根据权利要求1所述的利用相机进行三维成像的系统，其特征在于，所述相机用于通过被移动位置的方式，对同一个景物进行连续拍摄，所述相机的位置移动方式为前后水平移动。

5.根据权利要求4所述的利用相机进行三维成像的系统，其特征在于，所述相机被手持或被固定在支架上，所述支架支持上述移动方式协助所述相机进行拍摄。

6.根据权利要求5所述的利用相机进行三维成像的系统，其特征在于，所述支架带有刻度，用于对固定在所述支架上的所述相机的位移量提供精确值。

7.根据权利要求5所述的利用相机进行三维成像的系统，其特征在于，所述支架的移动量同步记录在所述相机在相应位置拍摄的每张照片上。

8.根据权利要求4所述的利用相机进行三维成像的系统，其特征在于，所述相机用于通过被移动位置的方式，对同一个景物进行连续拍摄还包括：

当所述相机被移动到一个位置时，还可通过手动或自动变焦的方式，对同一个景物进行连续拍摄。

9.根据权利要求1所述的利用相机进行三维成像的系统，其特征在于，根据所获得的所拍摄景物的三维信息，进行3D打印或生成不同视角的照片。

10.一种利用相机进行三维成像的方法，其特征在于，对连续拍摄获得的一组照片的多张照片进行分析，对每张照片中每个像素或一组像素的清晰度进行判断，其中可容许范围弥散圆直径D以内的成像像素点R视为清晰成像；再根据该照片的焦距和景深信息获得像素点R与相机镜头之间的距离范围(df，dc)，其中df为最远距离，dc为最近距离；将所述连续拍摄获得的多张照片进行对比匹配，对多张照片中显示的同一个像素点R建立映射关系，并筛选出像素点R为清晰的照片分组；根据分组中每张照片的焦距和景深信息，以及每张照片的像素点R与相机镜头之间的距离范围(df，dc)，通过求均值的方法计算出像素点R与相机镜头之间的准确距离，并将所述准确距离作为所述像素点R的深度信息；获得整张照片每个像素点的深度信息，进而获取所拍摄景物的三维信息；其中，所述一组照片是由至少一个相机连续拍摄获得的。

11.根据权利要求10所述的利用相机进行三维成像的方法，其特征在于，所述获得整张照片每个像素点的深度信息包括：

若相邻的像素之间的深度差值大于某个阀值，则通过差值转换处理算法进行深度信息的拟合。

12.根据权利要求10所述的利用相机进行三维成像的方法，其特征在于，所述筛选出像素点R为清晰的照片分组包括：

将所述连续拍摄获得的多张照片进行对比匹配，用清晰的像素代替模糊的像素，得到所述清晰的照片分组。