CN103686128B - 相机模块、用于校准其位置的装置以及图像处理装置 - Google Patents

Abstract

本发明提供一种相机模块、用于校准相机模块位置的装置以及图像处理装置，根据本公开示例性实施例的该相机模块包括：第一传感器单元，被配置为获取第一图像；第二传感器单元，被配置为获取第二图像；以及第三传感器单元，被配置为获取第三图像，其中所述第二传感器单元以预定距离与所述第一传感器单元间隔开，且所述第三传感器单元以预定距离与所述第二传感器单元间隔开。

Description

相机模块、用于校准其位置的装置以及图像处理装置

技术领域

本公开的方案涉及一种相机模块及用于校准其位置的装置。

背景技术

会聚角(convergence angle)是立体相机(stereo camera)的两条中心线对于对象相匹配时这两条中心线的相交角。在立体相机中，左眼和右眼的中心线必须匹配于观察对象的中心以使得该立体相机能够像人眼那样三维地观察该对象，由此减小眼疲劳。

已经有一种对图像自身执行校准的方法被惯用来控制通过立体相机所获取的左眼和右眼的会聚角。图1示出根据现有技术被配置以控制会聚角的示例。

图1A示出这样一种状态，其中由立体相机所获取的左眼和右眼的每条中心线并不匹配。一种常用自动会聚控制装置使用这样一种方法，其中如图1B所示通过使左图像和右图像对齐(即，使左/右图像的中心线匹配)来裁剪图像，并且如图1C所示裁剪图像用以控制会聚角。图1B和图1C中所示以黑色显示的部分即为被裁剪掉的图像。

从前述应注意到，常用会聚角控制方法是使左图像和右图像对齐以及裁剪图像用于会聚角控制以生成不能使用输入图像的部分，并且其不可避免要遭受图像损失的缺陷。

同时，因为通常立体相机系统是通过使用利用两个图像传感器所拍摄的左图像和右图像来产生深度图像，所以如果两个摄像头之间的距离太近则立体相机系统在生成所述深度图像时就会遇到困难。

发明内容

本公开的示例性方案大体至少解决了以上问题和/或缺陷，并至少提供了如下所述的优点。因而，本公开旨在提供一种相机模块，其被配置为同时提取3D图像和3D深度。

本公开还旨在提供一种用于校准相机模块的位置的装置，其被配置为响应于相机模块的移动来光学地校准用于会聚角的位置。

在本公开的一个概括性方案中，可提供一种相机模块，包括：第一传感器单元，被配置为获取第一图像；第二传感器单元，被配置为获取第二图像；以及第三传感器单元，被配置为获取第三图像，其中所述第二传感器单元以预定距离与所述第一传感器单元间隔开，且所述第三传感器单元以预定距离与所述第二传感器单元间隔开。

在本发明的一些示例中，所述第一、第二和第三传感器单元可大体上布置成一行。

在本发明的一些示例中，所述第一、第二和第三传感器单元可包括CCD传感器或CMOS传感器。

在本公开的另一概括性方案中，可提供一种图像处理装置，该装置包括：生成部，被配置为使用来自第一传感器单元的第一图像和来自第二传感器单元的第二图像来生成3D图像；以及提取部，被配置为使用来自所述第一传感器单元的所述第一图像和来自第三传感器单元的第三图像来提取深度信息。

在本发明的一些示例中，所述第二传感器单元可以预定距离与所述第一传感器单元间隔开，且所述第三传感器单元可以预定距离与所述第二传感器单元间隔开。

在本发明的一些示例中，所述第一、第二和第三传感器单元可大体上布置成一行。

在本发明的一些示例中，所述第一、第二和第三传感器单元可包括CCD传感器或CMOS传感器。

在本公开的另一概括性方案中，可提供一种用于校准相机模块的位置的装置，该装置包括：控制部，被配置为通过将来自第一传感器单元的第一图像的位置与从第二传感器单元输入的第二图像的位置进行比较来确定所述第一图像和所述第二图像的差异；以及驱动单元，被配置为响应于所述控制部的控制来移动所述第二传感器。

在本发明的一些示例中，所述控制部还可被配置为响应于所述差别来确定所述第二传感器单元的移动程度(moving degree)。

在本发明的一些示例中，所述控制部还可被配置为响应于所述第二传感器单元的移动程度来生成驱动信号并将所述驱动信号传输至所述驱动单元。

在本发明的一些示例中，所述移动可包括移位、旋转和倾斜中的一种。

在本发明的一些示例中，所述驱动单元响应于最大移动角度来移动所述第二传感器单元。

在本发明的一些示例中，所述相机模块可包括：第一传感器单元，被配置为获取所述第一图像；第一镜头(lens)，被配置为将输入的图像传输至所述第一传感器单元；第二传感器单元，被配置为获取所述第二图像；以及第二镜头，被配置为将输入的图像传输至所述第二传感器单元。

在本发明的一些示例中，所述驱动单元可响应于所述最大移动角度来移动所述第二传感器单元。

在本发明的一些示例中，所述第二镜头的直径可由所述第二传感器单元的有效像素面积以及所述驱动单元的所述最大移动角度来确定。

在本发明的一些示例中，所述第一传感器单元可包括FF(固定焦距)类型或AC(自动会聚)类型的传感器单元。

在本发明的一些示例中，所述第二传感器单元可包括AC(自动会聚)类型的传感器单元。

本公开的示例性实施例具有如下有益效果，其通过实现用至少三个传感器单元布置的相机模块结构能够生成3D图像并且同时能够有效地提取深度信息。

本公开的示例性实施例还具有如下有益效果，其通过移动相机模块来直接接收用于自动会聚的图像从而能够没有图像损失地实现自动会聚。

附图说明

图1A至图1C为示出根据现有技术的自动会聚方法的示例性视图。

图2为示出根据本公开示例性实施例的相机模块的示意结构的主视图。

图3为示出以解释从根据本公开另一示例性实施例的相机模块输出的图像的处理的框图。

图4为示出以解释根据本公开第二示例性实施例的用于校准相机模块的位置的装置(此后称为“位置校准装置”或“装置”)的框图。

图5A为根据现有技术的相机模块的示意视图，以及图5B为示意性解释根据本公开示例性实施例的相机模块的示例性视图。

具体实施方式

参考以下示例性实施例以及说明书附图的详细说明可更容易理解本公开的优点及特征。因而，本公开并不限于下面将予以说明的示例性实施例，而是可以其他形式实施。相应地，予以说明的方案旨在涵盖落入本公开范围及新颖思路内的所有这种修改、改进及变化。

现在，将参考说明书附图详细说明本公开的示例性实施例。

图2为示出根据本公开示例性实施例的相机模块的示意结构的主视图。

图2的相机模块(1)可通过布置于例如TV框架或智能设备面板等电子产品处来生成3D(三维)图像。

参见图2，根据本公开示例性实施例的相机模块(1)可包括第一传感器单元(11)、第二传感器单元(12)、以及第三传感器单元(13)。第二传感器单元(12)可以预定距离与第一传感器单元(11)间隔开，并且第三传感器单元(13)可以预定距离与第二传感器单元(12)间隔开。进一步，第一、第二和第三传感器单元(11、12和13)可大体上布置成一行。

第一、第二和第三传感器单元(11、12和13)的每一个例如可为包括CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器的传感器，但本公开并不仅限于此，并且能够执行与其类似功能的任意其他器件都可用于第一、第二和第三传感器单元(11、12和13)。

第一传感器单元(11)是在生成3D图像和深度信息中都有参与的参照传感器。第一传感器单元(11)单独可获取2D图像。

第一传感器单元(11)和第二传感器单元(12)可拍摄用于3D图像的左图像和右图像。也即，例如，第一传感器单元(11)可获取左图像而第二传感器单元(12)可获取右图像。另一方面，第一传感器单元(11)可获取右图像而第二传感器单元(12)可获取左图像。在本公开的示例性实施例中，为方便起见，所提供的解释说明是针对这样的情况，其中第一传感器单元(11)所获取的图像为左图像，并且第二传感器单元(12)所获取的图像为右图像。

此时，双眼视差(binocular disparity)的距离越短，对于第一和第二传感器单元(11、12)为了将该距离维持为最小就越好。

进一步，第一传感器单元(11)和第三传感器单元(13)可拍摄用于生成深度信息的左图像和右图像。为了提取3D图像的深度信息，用于拍摄左图像和右图像的传感器单元的距离必须维持在预定间隔，并且如果该距离太短，则会不利地恶化所提取深度信息的可靠性。如果将可靠性恶化的深度信息用于3D游戏图像，则会产生用户眩晕。

因此，在本公开的示例性实施例中，可使用第一传感器单元(11)和距离第一传感器单元比第二传感器单元(12)更远的第三传感器单元(13)所拍摄的图像来提取深度信息。因为已假设在本公开的示例性实施例中第一传感器单元(11)获取的是3D图像的左图像，所以可由第三传感器单元(13)获取右图像来用以提取深度信息。

也即，在本公开的示例性实施例中，通过实现布置有第一至第三传感器单元(11至13)的相机模块而能够同时提取3D图像和高可靠性的深度信息。

虽然根据本公开示例性实施例的相机模块(1)可包括上述第一、第二和第三传感器单元(11、12和13)之外的其他各种组件，但由于其与本公开无关而将省略对形成有其它组件的相机模块的解释。

图3为示出以解释从根据本公开示例性实施例的相机模块输出的图像的处理的框图。

参见图3，从根据本公开一个示例性实施例的相机模块(1)输出的图像可被输入至图像处理单元(2)，并且显示单元(3)可通过使用由图像处理单元(2)生成的3D图像和深度信息来显示反映有该深度信息的3D图像。

根据本公开示例性实施例的图像处理单元(2)可包括3D图像生成部(21)和深度信息提取部(22)。3D图像生成部(21)可通过使用从第一和第二传感器单元(11和12)输入的左图像和右图像来生成3D图像。生成3D图像的方法对于本领域技术人员而言是公知的，从而此处省略其详细解释。

进一步，深度信息提取部(22)可使用从第一和第三传感器单元(11和13)输入的左图像和右图像来提取深度信息。提取深度信息的方法对于本领域技术人员而言是公知的，从而此处省略其详细解释。例如，深度信息提取部(22)可使用立体匹配(stereo matching)来提取深度信息，但本公开并不限于该立体匹配法。

图4为示出以解释根据本公开第二示例性实施例的用于校准相机模块的位置的装置(4，“位置校准装置”)的框图，其中位置校准装置(4)可应用于图1中相机模块(1)的第一和第二传感器单元(11和12)，或者可应用于第一和第三传感器单元(11和13)。也即，这是因为第一和第二传感器单元(11和12)能够获取左图像和右图像，而第一和第三传感器单元(11和13)也能够获取左图像和右图像。

虽然下面的解释是关注于将位置校准装置(4)应用于第一和第二传感器单元(11和12)的情况，但将位置校准装置(4)应用于第一和第三传感器单元(11和13)的情况也是显而易见的。

根据本公开示例性实施例的位置校准装置(4)是用于校准相机模块(1)中第二传感器单元(12)的位置，并且可包括控制部(41)和驱动单元(42)。

第一和第二传感器单元(11和12)用于获取左图像和右图像，并且前文中已给出其解释，从而将不会提供更详细的阐述。

根据本公开示例性实施例的位置校准装置(4)使用第一传感器单元(11)作为参考，这时第一传感器单元(11)可为FF(固定焦距)类型或AC(自动会聚)类型的传感器单元。进一步，第二传感器单元(12)是用于控制的传感器单元并且可为AC类型的传感器。然而，以上给出的方法仅为示例性的，并且本公开并非仅限于此，而应当显而易见能够利用其他方法。

控制部(41)可比较来自第一和第二传感器单元(11和12)的左图像和右图像的位置并确定右图像相对于左图像的差异。进一步，控制部(41)可基于所确定的差异来确定第二传感器单元(12)相对于第一传感器单元(11)的移动程度，并通过响应于该移动程度生成驱动信号来传输该驱动信号至驱动单元(42)。

也即，控制部(41)通过接收如图1A所示输入的左图像和右图像来比较左图像和右图像的位置，并在驱动单元(42)移动第二传感器单元(12)时使左图像和右图像以自动会聚的状态被输入。控制部(41)可包括例如IC(集成电路)类型的ISP(图像信号处理器)。

驱动单元(42)可接收来自控制部(41)的驱动信号并响应于该驱动信号来移动第二传感器单元(12)。驱动单元(42)例如可包括VCM(音圈电机)或硅树脂(silicone)型致动部。驱动单元(42)响应于来自控制部(41)的驱动信号来移动第二传感器单元(12)，其中该移动可包括移位、旋转或倾斜。也即，驱动单元(42)可全方位(360°)地移动第二传感器单元(12)，此时可设立最大移动角度，这里该最大移动角度被表示为“θ”。

图5A是根据现有技术的相机模块的示意视图，且图5B为示意性解释根据本公开示例性实施例的相机模块的示例性视图，其中图5A和图5B均是从侧面看的视图。

参见图5A，常见的相机模块(100)包括传感器单元(210)和镜头(230)，其中传感器单元(210)的有效像素面积(220)由镜头(230)的直径(2x)确定。

根据本公开示例性实施例的相机模块(1)被配置为使得第二传感器单元(12)由驱动单元(42)的驱动来移动，其中需要改变镜头(52)的大小，参照图5B将给出其详细解释。

在根据本公开示例性实施例的解释中，将描述由驱动单元(42)的驱动来移动的第二传感器单元(12)的配置。布置于第一传感器(11)之上的镜头(未显示)可如图5A所示那样配置，或者可如图5B所示那样配置，因为作为参照传感器单元的第一传感器(11)是不会移动的。

参见图5B，在根据本公开示例性实施例的相机模块(1)中，镜头(52)可布置于第二传感器单元(12)之上，并且可通过第二传感器单元(12)来获取经镜头(52)输入的图像。然而，虽然显而易见根据本公开示例性实施例的相机模块(1)可包括其他组件，但将省略对与本公开示例性实施例无关的其他组件的解释。

根据本公开示例性实施例的相机模块(1)中镜头(52)的直径可由驱动单元(42)的最大移动角度(θ)来确定。也即，如果第二传感器单元(12)的有效像素面积(51)与图5A中大小相同，且可由最大移动角度(θ)移动的最大距离为Δx，则镜头(52)的直径可为2x+2Δx。

如前述应注意到，由于镜头(52)的尺寸比常规相机模块(100)中更大，所以即使在驱动单元(42)移动第二传感器单元(12)时，根据本公开示例性实施例的相机模块(1)也能够有利地防止图像变虚(vignette)。

虽然已参照数个示意实施例描述了示例性实施例，但应当理解本领域技术人员能够想出很多其他的改型及实施例而落入本公开原理的精神和范围内。更特别地，在本公开说明书、附图和所附权利要求的范围内，对主题组合布置的组件部分和/或布置能够作出各种变化和修改。

Claims (16)

1.一种相机模块，包括：

第一传感器单元，被配置为获取第一图像；

第二传感器单元，被配置为获取用于生成3D图像的第二图像；

第三传感器单元，被配置为获取用于生成深度信息的第三图像，

第一镜头，被配置为将输入图像传输到所述第一传感器单元；以及

第二镜头，被配置为将输入图像传输到所述第二传感器单元；

其中所述第二传感器单元基于确定的最大移动角度而移动；

其中所述第二传感器单元以预定距离与所述第一传感器单元间隔开，且所述第三传感器单元以预定距离与所述第二传感器单元间隔开；

其中，所述第一传感器单元与所述第二传感器单元之间的距离短于所述第一传感器单元与所述第三传感器单元之间的距离；

其中，对应于所述第二传感器单元的第二镜头的尺寸根据有效像素面积以及所述第二传感器单元的最大移动角度而确定；

其中所述第一传感器单元不移动，所述第二传感器单元的所述第二镜头的尺寸比其在常规相机模块中更大。

2.如权利要求1所述的相机模块，其中所述第一、第二和第三传感器单元基本上被布置成一行。

3.如权利要求1所述的相机模块，其中所述第一、第二和第三传感器单元包括CCD传感器或CMOS传感器。

4.一种图像处理系统，包括根据权利要求1所述的相机模块以及图像处理单元，其中所述图像处理单元包括：

生成部，被配置为使用来自第一传感器单元的第一图像和来自第二传感器单元的第二图像来生成3D图像；

提取部，被配置为使用来自所述第一传感器单元的第一图像和来自第三传感器单元的第三图像来提取深度信息。

5.如权利要求4所述的图像处理系统，其中所述第二传感器单元以预定距离与所述第一传感器单元间隔开，且所述第三传感器单元以预定距离与所述第二传感器单元间隔开。

6.如权利要求4所述的图像处理系统，其中所述第一、第二和第三传感器单元基本上被布置成一行。

7.如权利要求4所述的图像处理系统，其中所述第一、第二和第三传感器单元包括CCD传感器或CMOS传感器。

8.一种图像处理系统，包括根据权利要求1所述的相机模块以及用于校准所述相机模块的位置的单元，所述用于校准所述相机模块的位置的单元包括：

控制部，被配置为通过将从第一传感器单元输入第一图像的位置与从第二传感器单元输入的第二图像的位置进行比较来确定所述第一图像和所述第二图像的差异；以及

驱动单元，被配置为响应于所述控制部的控制来移动所述第二传感器单元。

9.如权利要求8所述的图像处理系统，其中所述控制部还被配置为响应于所述差异来确定所述第二传感器单元的移动程度。

10.如权利要求9所述的图像处理系统，其中所述控制部还被配置为响应于所述第二传感器单元的移动程度来生成驱动信号并将所述驱动信号传输至所述驱动单元。

11.如权利要求8所述的图像处理系统，其中所述移动包括移位、旋转和倾斜中的一种。

12.如权利要求8所述的图像处理系统，其中所述驱动单元响应于所述最大移动角度来移动所述第二传感器单元。

13.如权利要求8所述的图像处理系统，其中所述驱动单元响应于所述最大移动角度来移动所述第二传感器单元。

14.如权利要求8所述的图像处理系统，其中所述第一传感器单元包括固定焦距FF类型或自动会聚AC类型的传感器单元。

15.如权利要求8所述的图像处理系统，其中所述第二传感器单元包括自动会聚AC类型的传感器单元。

16.如权利要求8所述的图像处理系统，其中所述驱动单元包括音圈电机VCM或硅树脂型致动部。