CN108377376B - 视差计算方法，双摄像头模组和电子设备 - Google Patents

Abstract

本发明提供了视差计算方法以及应用该视差计算方法的双摄像头模组和电子设备。该视差计算方法包括：a)在第一图像中选择以第一像素为中心的第一区域，建立第一灰度直方图；b)将第一区域的坐标值在第一方向上加上视差值以得到第二图像中的第二区域的坐标，建立第二灰度直方图；c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；d)以预定步长增大该视差值，并重复步骤b和c，以获得第一最小均方差值；e)确定与第一最小均方差值对应的第一视差值；和f)将第一视差值作为第一像素的景深值。通过根据本发明的视差计算方法，双摄像头模组和电子设备，可以在不对图像进行校正的情况下快速计算景深。

Description

视差计算方法，双摄像头模组和电子设备

技术领域

本发明涉及图像处理领域，特别涉及双摄像头模组的视差计算方法，以及应用该视差计算方法的双摄像头模组和电子设备。

背景技术

目前，越来越多的手机开始应用双摄像头配置。双摄像头可以在不增加模组厚度的状况下提供更多拍摄的可能性。

通常，双摄像头配置中，两个并列的摄像头并不是完全一样的，一般一个为广角镜头、一个则是光学变焦镜头。对于智能手机摄像头来说，一般采用数码变焦，从原有成像中截图中间部分放大，画面品质下降明显，而光学变焦可以在拉近取景区域的同时保持画面的清晰度，也就是无损变焦。双摄像头的设置可以更好地满足用户的拍摄需求在不同焦距的镜头之间切换，实现无损变焦以达到最好的画质。

此外，双摄像头还可以有效提升弱光下的拍摄效果，不同光圈参数的两个摄像头图像进行对比，调整至最接近真实场景的数值，有效抑制噪点。另外，两个小摄像头可以做到接近一个大摄像头的拍摄效果，由于手机厚度的限制不可能容纳高端的镜头，双摄像头可以平衡效果和模组厚度之间的矛盾。

并且，双摄像头的一个更为普及的功能是3D拍摄，两组图片进行合成还可以获得更好的景深效果，捕捉快速移动的物体。

但是，由于双摄像头配置对于算法的要求较高，目前实际能应用到手机上的效果好的算法仍然屈指可数，而且前期进行的矫正比较复杂。另外，由于需要对抓拍下来的两幅图像进行校正等处理，会导致处理速度大幅下降。

因此，需要改进的应用于双摄像头配置的图像处理算法。

发明内容

本发明的目的在于针对上述现有技术中的缺陷和不足，提供可以在不对图像进行校正的情况下快速计算视差的视差计算方法，以及应用该视差计算方法的双摄像头模组和电子设备。

根据本发明的一方面，提供了一种视差计算方法，用于计算第一图像和第二图像的像素之间的视差值，包括：a)在第一图像中选择第一区域，建立所述第一区域的第一灰度直方图，所述第一区域以第一像素为中心；b)将所述第一区域的坐标值在第一方向上加上参考视差值以得到所述第二图像中的第二区域的坐标，建立所述第二区域的第二灰度直方图；c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；d)以预定步长增大所述参考视差值，并重复步骤b和c，直到当前第一均方差大于前一第一均方差为止，并将前一第一均方差确定为第一最小均方差值；e)确定与第一最小均方差值对应的第一视差值；和f)将所述第一视差值作为所述第一像素的视差值。

在上述视差计算方法中，进一步包括：对于所述第一图像中的每一像素，重复所述步骤a，b，c，d，e和f，以获得所述第一图像中的每一像素的视差值；和，基于所述第一图像中的每一像素的视差值，得到所述第一图像和所述第二图像之间的视差表。

在上述视差计算方法中，在步骤d之后，步骤e之前进一步包括：将所述第一区域缩放预定尺寸为第三区域；基于第三区域重复所述步骤a，b，c和d，以获得第二最小均方差值；比较所述第一最小均方差值与所述第二最小均方差值；和，在所述第二最小均方差值小于第一最小均方差值的情况下，将所述第二均方差值确定为所述第一最小均方差值。

在上述视差计算方法中，在步骤d之后，步骤e之前进一步包括：将所述第一区域缩放预定尺寸为第四区域，其中所述第四区域的尺寸大于第一区域的尺寸，且所述第三区域的尺寸小于第一区域的尺寸；基于第四区域重复所述步骤a，b，c和d，以获得第三最小均方差值；比较所述第一最小均方差值、所述第二最小均方差值和所述第三最小均方差值；和，将所述第一最小均方差值、所述第二最小均方差值和所述第三最小均方差值中最小的一个确定为所述第一最小均方差值。

在上述视差计算方法中，所述第一方向是图像的行方向或者列方向。

在上述视差计算方法中，在步骤a之前进一步包括：将所述第一图像和所述第二图像缩放为相同尺寸。

在上述视差计算方法中，在步骤a之前进一步包括：将所述第一图像和所述第二图像转换为同一彩色格式的图图像。

在上述视差计算方法中，在步骤a之前进一步包括：从双摄像头获取每一摄像头的原始图像数据信息；和，使用差值运算法将所获取的原始图像转换为适于显示处理的所述第一图像和所述第二图像。

在上述视差计算方法中，在步骤a之前进一步包括：将所述第一图像和所述第二图像转换为第一灰度图像和第二灰度图像；和，根据所需的视差图尺寸，将第一灰度图像和第二灰度图像分别缩放为所述视差图尺寸。

在上述视差计算方法中，进一步包括：基于所述视差表将所述第一图像和所述第二图像合成为三维图像。

根据本发明的另一方面，提供了一种双摄像头模组，包括：第一摄像头，用于获取第一图像；第二摄像头，用于获取第二图像；和，处理单元，用于计算第一图像和第二图像的像素之间的视差值，具体包括：a)在第一图像中选择第一区域，建立所述第一区域的第一灰度直方图，所述第一区域以第一像素为中心；b)将所述第一区域的坐标值在第一方向上加上参考视差值以得到所述第二图像中的第二区域的坐标，建立所述第二区域的第二灰度直方图；c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；d)以预定步长增大所述参考视差值，并重复步骤b和c，直到当前第一均方差大于前一第一均方差为止，并将前一第一均方差确定为第一最小均方差值；e)确定与第一最小均方差值对应的第一视差值；和f)将所述第一视差值作为所述第一像素的视差值。

在上述双摄像头模组中，所述处理单元进一步用于：对于所述第一图像中的每一像素，重复所述步骤a，b，c，d，e和f，以获得所述第一图像中的每一像素的视差值；和，基于所述第一图像中的每一像素的视差值，得到所述第一图像和所述第二图像之间的视差表。

在上述双摄像头模组中，所述处理单元在步骤d之后，步骤e之前进一步用于：将所述第一区域缩放预定尺寸为第三区域；基于第三区域重复所述步骤a，b，c和d，以获得第二最小均方差值；比较所述第一最小均方差值与所述第二最小均方差值；和，在所述第二最小均方差值小于第一最小均方差值的情况下，将所述第二均方差值确定为所述第一最小均方差值。

在上述双摄像头模组中，所述处理单元在步骤d之后，步骤e之前进一步用于：将所述第一区域缩放预定尺寸为第四区域，其中所述第四区域的尺寸大于第一区域的尺寸，且所述第三区域的尺寸小于第一区域的尺寸；基于第四区域重复所述步骤a，b，c和d，以获得第三最小均方差值；比较所述第一最小均方差值、所述第二最小均方差值和所述第三最小均方差值；和，将所述第一最小均方差值、所述第二最小均方差值和所述第三最小均方差值中最小的一个确定为所述第一最小均方差值。

在上述双摄像头模组中，所述第一方向是图像的行方向或者列方向。

在上述双摄像头模组中，所述处理单元在步骤a之前进一步用于：将所述第一图像和所述第二图像缩放为相同尺寸。

在上述双摄像头模组中，所述处理单元在步骤a之前进一步用于：将所述第一图像和所述第二图像转换为同一彩色格式的图像。

在上述双摄像头模组中，所述处理单元在步骤a之前进一步用于：从双摄像头获取每一摄像头的原始图像数据信息；和，使用差值运算法将所获取的原始图像转换为适于显示处理的所述第一图像和所述第二图像。

在上述双摄像头模组中，所述处理单元在步骤a之前进一步用于：将所述第一图像和所述第二图像转换为第一灰度图像和第二灰度图像；和，根据所需的视差图尺寸，将第一灰度图像和第二灰度图像分别缩放为所述视差图尺寸。

在上述双摄像头模组中，所述处理单元进一步用于：基于所述视差表将所述第一图像和所述第二图像合成为三维图像。

根据本发明的又一方面，提供了一种电子设备，包括如上所述的双摄像头模组。

通过根据本发明的视差计算方法，以及应用该视差计算方法的双摄像头模组和电子设备，可以在不对图像进行校正的情况下快速计算视差。

根据本发明的视差计算方法，以及应用该视差计算方法的双摄像头模组和电子设备可以在两个图像的亮度差距较大、颜色不一致以及两个图像的画面不是很相对平整的状态下进行计算，并得到相对稳定的结果。

根据本发明的视差计算方法，以及应用该视差计算方法的双摄像头模组和电子设备的兼容性强，测试结果较好，且可以节省对双摄像头模组的其中一个摄像头的校正时间，便于用户使用。

附图说明

图1是根据本发明实施例的视差计算方法的示意性流程图；

图2是根据本发明实施例的视差计算方法的另一实例的示意性流程图；

图3是根据本发明实施例的视差表的示意图；

图4是根据本发明实施例的视差计算方法的又一实例的示意性流程图；

图5是根据本发明实施例的双摄像头模组的示意性框图；

图6是根据本发明实施例的双摄像头模组的工作过程的示意性流程图；

图7是根据本发明实施例的电子设备的示意性框图。

具体实施方式

以下描述用于公开本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的公开中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

以下说明书和权利要求中使用的术语和词不限于字面的含义，而是仅由本发明人使用以使得能够清楚和一致地理解本发明。因此，对本领域技术人员很明显仅为了说明的目的而不是为了如所附权利要求和它们的等效物所定义的限制本发明的目的而提供本发明的各种实施例的以下描述。

虽然比如“第一”、“第二”等的序数将用于描述各种组件，但是在这里不限制那些组件。该术语仅用于区分一个组件与另一组件。例如，第一组件可以被称为第二组件，且同样地，第二组件也可以被称为第一组件，而不脱离发明构思的教导。在此使用的术语“和/或”包括一个或多个关联的列出的项目的任何和全部组合。

在这里使用的术语仅用于描述各种实施例的目的且不意在限制。如在此使用的，单数形式意在也包括复数形式，除非上下文清楚地指示例外。另外将理解术语“包括”和/或“具有”当在该说明书中使用时指定所述的特征、数目、步骤、操作、组件、元件或其组合的存在，而不排除一个或多个其它特征、数目、步骤、操作、组件、元件或其组的存在或者附加。

包括技术和科学术语的在这里使用的术语具有与本领域技术人员通常理解的术语相同的含义，只要不是不同地限定该术语。应当理解在通常使用的词典中限定的术语具有与现有技术中的术语的含义一致的含义。

下面结合附图和具体实施方式对本发明作进一步详细的说明：

在双摄像头领域中，涉及对每个主图像中的像素在对应的子图像中的偏差值，即视差值的计算。目前流行的视差值的算法是绝对差值和(SAD)算法，其针对图像中感兴趣区域(ROI)中的单个像素点求差值。但是，这类方法对于图像的要求较高，需要两个画面相对于另外一个轴平整，且在两个画面的亮度不一致的情况下效果较差。

因此，根据本发明实施例的一方面，提供了一种视差计算方法，用于计算第一图像和第二图像的像素之间的视差值，包括：a)在第一图像中选择第一区域，建立该第一区域的第一灰度直方图，该第一区域以第一像素为中心；b)将该第一区域的坐标值在第一方向上加上参考视差值以得到该第二图像中的第二区域的坐标，建立该第二区域的第二灰度直方图；c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；d)以预定步长增大该参考视差值，并重复步骤b和c，直到当前第一均方差大于前一第一均方差为止，并将前一第一均方差确定为第一最小均方差值；e)确定与第一最小均方差值对应的第一视差值；和f)将该第一视差值作为该第一像素的视差值。

图1是根据本发明实施例的视差计算方法的示意性流程图。如图1所示，根据本发明实施例的视差计算方法包括：S101，在第一图像中选择第一区域，建立该第一区域的第一灰度直方图，其中该第一区域以第一像素为中心；S102，将该第一区域的坐标值在第一方向上加上参考视差值以得到该第二图像中的第二区域的坐标，建立该第二区域的第二灰度直方图；S103，计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；S104，以预定步长增大该参考视差值，并重复步骤S102和S103，直到当前第一均方差大于前一第一均方差为止，并将前一第一均方差确定为第一最小均方差值；S105，确定与第一最小均方差值对应的第一视差值；和S106，将该第一视差值作为该第一像素的视差值。

对于双摄像头模组来说，由于两个摄像头之间均在间距，因而在所拍摄出的第一图像和第二图像之间存在视差。通常来说，当两个摄像头在水平方向并排排列时，第二图像相对于第一图像具有在水平方向的视差。举例来说，对于第一图像中的第一像素，假设其坐标为(x,y)，则同一像素在第二图像中的坐标位置是该像素在第一图像中的坐标位置水平平移一特定距离，即(x+Δx,y)。该距离Δx就是第一像素在第一图像和第二图像之间的视差值，也被称为该第一像素的视差值。在根据本发明实施例的视差计算方法中，是通过在第一图像和第二图像中扫描以该像素为中心的特定区域的灰度直方图，并比较两个灰度直方图之间的差异来确定该像素的视差值。

这里，当计算第一图像和第二图像中某一区域的差异时，当第一图像中的区域与第二图像中的区域相对应时，两者之间的差异最小。也就是说，通过从第二图像中相同坐标的点开始进行扫描，则扫描区域越接近第二图像中的该像素的位置，两个图像中相应区域之间的差异越小，而最小值就出现在第二图像中该像素的位置处。随着扫描区域经过了该像素在第二图像中的位置，两个图像中相应区域之间的差异又会继续变大。因而，通过在增大扫描区域的横坐标的值的同时，计算两个图像中相应区域之间的差异，可以得到一条差异值随着距离的增大先减小后增大的曲线。这样，曲线的最低点就表示该像素在第一图像和第二图像之间的视差值。

另外，本领域技术人员可以理解，虽然在本发明实施例中，通过建立第一图像和第二图像中的相应区域的灰度直方图，并将灰度直方图进行比较的方式来确定两个图像中相应区域之间的差异，但是也可以采用其它方式来比较两个图像中相应区域之间的差异。而且，无论比较的方式如何，所得到的差异值相对于距离的曲线都会遵循随着距离的增大而先减小后增大的形状，从而基于曲线的最低点确定像素的视差值。

在根据本发明实施例的视差计算方法中，为了降低图像的比较过程中对于图像质量的要求，计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的均方差，而不是计算单个像素的差值。但是，本领域技术人员可以理解，在计算能力足够强大的情况下，也可以采用逐像素差值计算的方式。

图2是根据本发明实施例的视差计算方法的另一实例的示意性流程图。如图2所示，根据本发明实施例的视差计算方法包括：S201，在第一图像中选择第一区域，建立该第一区域的第一灰度直方图，其中该第一区域以第一像素为中心；S202，将该第一区域的坐标值在第一方向上加上参考视差值x_i以得到该第二图像中的第二区域的坐标，建立该第二区域的第二灰度直方图；S203，计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差Δx_i；S204，以预定步长增大该参考视差值，即x_i+1＝x_i+d，并重复步骤S202和S203；S205，确定所得到的均方差是否小于前一均方差，即确定是否Δx_i+1<Δx_i，当Δx_i+1<Δx_i时，说明均方差曲线仍处于下降阶段，还未获得最小均方差，而如果Δx_i+1>Δx_i，则说明已经经过了均方差的拐点，Δx_i即为第一最小均方差值；S206，确定与第一最小均方差值对应的第一视差值x_i；和S207，将该第一视差值x_i作为该第一像素的视差值。

也就是说，图2所示的视差计算方法与图1的视差计算方法基本相同，只是以步骤S204和S205来具体实现图1中的步骤S104。

通过根据本发明实施例的视差计算方法，可以在两个图像的亮度差距较大、颜色不一致以及两个图像的画面不是很相对平整的状态下进行计算，并得到相对稳定的结果。

在上述视差计算方法中，进一步包括：对于该第一图像中的每一像素，重复该步骤a，b，c，d，e和f，以获得该第一图像中的每一像素的视差值；和，基于该第一图像中的每一像素的视差值，得到该第一图像和该第二图像之间的视差表。

就是说，在根据本发明实施例的视差计算方法中，在得到了某一像素点的视差值之后，通过相同方法对整幅图像中的所有像素点进行计算，从而获得第一图像中的每一像素的视差值。具体地说，对于如图1所示的视差计算方法，可以按照先行扫描再列扫描的方式，对于每一像素重复步骤S101到S106，而对于如图2所示的视差计算方法，则是重复步骤S201到S207。这样，通过计算得到第一图像中的每一像素的视差值，就可以建立第一图像和第二图像之间的视差表。

图3是根据本发明实施例的视差表的示意图。如图3所示，对于第一图像中的每一像素，使用视差表中像素的灰度表示该像素的视差，并且灰度值越大，表明该像素的视差越高。例如，图3中最大的灰度值可以表示该像素的视差为无穷远，而最小的灰度值可以表示该像素的视差为零。当然，本领域技术人员可以理解，图3所示的视差表是为了直观表示视差的示意图，实际上并不够精确。根据本发明实施例建立的视差表应该是对应于每个像素的第一特定视差值的表格形式，从而精确地表示出每一像素所对应的视差值。

在根据本发明实施例的视差计算方法中，初始视差值x_i和用于增大视差值的步长d都可以由用户选择。例如，由于双摄像头模组中的视差值通常基于两个摄像头之间的间距，可以将初始视差值x_i设定为两个摄像头之间的间距的一定比例，比如50％，60％，80％，等等。另外，为了保证扫描的精确性，通常将步长d设置为一个像素。

当然，根据本发明实施例的视差计算方法中，也可以采用先粗略扫描再精细扫描的方式。具体来说，可以首先将步长d设置为较大值，例如10个像素，并以该步长来进行扫描，从而找到所计算出的均方差的拐点。但是此时，由于步长的间隔为10个像素，在曲线上，实际的均方差的最小值可能出现在此时得到的均方差最小值的左侧，也可能出现在右侧。因而，可以从此时得到的最小均方差所对应的视差值的前一视差值开始，在20个像素的间隔内以1个像素的步长进行精细扫描，从而确定最小均方差出现的精确位置。

在上述视差计算方法中，在步骤d之后，步骤e之前进一步包括：将第一区域缩放预定尺寸为第三区域；基于第三区域重复该步骤a，b，c和d，以获得第二最小均方差值；比较该第一最小均方差值与该第二最小均方差值；和，在第二最小均方差值小于第一最小均方差值的情况下，将该第二均方差值确定为该第一最小均方差值。

在上述视差计算方法中，在步骤d之后，步骤e之前还可以进一步包括：将第一区域缩放预定尺寸为第四区域，其中该第四区域的尺寸大于第一区域的尺寸，且该第三区域的尺寸小于第一区域的尺寸；基于第四区域重复该步骤a，b，c和d，以获得第三最小均方差值；比较该第一最小均方差值、该第二最小均方差值和该第三最小均方差值；和，将该第一最小均方差值、该第二最小均方差值和该第三最小均方差值中最小的一个确定为该第一最小均方差值。

图4是根据本发明实施例的视差计算方法的又一实例的示意性流程图。如图4所示，根据本发明实施例的视差计算方法包括：S301，在第一图像中选择第一区域，建立该第一区域的第一灰度直方图，其中该第一区域以第一像素为中心；S302，将该第一区域的坐标值在第一方向上加上视差值以得到该第二图像中的第二区域的坐标，建立该第二区域的第二灰度直方图；S303，计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；S304，以预定步长增大该视差值，并重复步骤S302和S303，直到所获得的均方差值增大为止，以获得第一最小均方差值D₁；S305，将第一区域缩小预定尺寸为第三区域，并放大预定尺寸为第四区域；S306，基于第三区域和第四区域分别重复步骤S301到S304，以获得第二最小均方差值D₂和第三最小均方差值D₃；S307，比较该第一最小均方差值D₁、该第二最小均方差值D₂和该第三最小均方差值D₃；S308，将该第一最小均方差值D₁、该第二最小均方差值D₂和该第三最小均方差值D₃中最小的一个确定为该第一最小均方差值，即D₁＝min(D₁,D₂,D₃)；S309，确定与第一最小均方差值对应的第一视差值；和S310，将该第一视差值作为该第一像素的视差值。

在如图4所示的根据本发明实施例的视差计算方法中，为了提高所计算出的视差值的置信度，将区域的窗口大小进行缩放后进行计算，并选择最小的均方差值作为用于确定视差值的最终结果。这样，改进了根据本发明实施例的视差计算方法中视差值计算的精确性。但是，由于增大了计算量，在对于视差值的精确性要求不高的情况下，也可以省略上述缩放区域窗口大小的步骤，从而实现视差值的快速计算。

在上述视差计算方法中，第一方向是图像的行方向或者列方向。

如上所述，在双摄像头模组中，两个摄像头通常为水平排列，因而两个图像之间的视差通常在水平方向上。但是，本发明实施例并不仅限于此，在具有垂直方向上排列的两个摄像头的双摄像头模组中，两个图像之间的视差将是在垂直方向上，因而扫描方向也应该为图像的列方向。除了扫描的方向不同外，具体的计算过程在行方向和列方向的情况下均相同，因而为了避免冗余并不再赘述。

在上述视差计算方法中，在步骤a之前进一步包括：将第一图像和第二图像缩放为相同尺寸。

为了图像比较的准确度，在根据本发明实施例的视差计算方法中，在具体的计算过程之前，优选地将第一图像和第二图像缩放为相同尺寸。例如，如果第一图像的尺寸大于第二图像，则可以将第二图像放大成第一图像的尺寸，然后进行计算。此外，由于根据本发明实施例的视差计算方法并不会受到图像的具体尺寸的影响，在第一图像与第二图像的尺寸相同的情况下，不需要再对图像进行缩放，从而加快处理速率。

这里，本领域技术人员可以理解，在第一图像和第二图像的尺寸不同的情况下，如果不将第一图像和第二图像缩放为相同尺寸，则需要对坐标进行转换。例如，假设第一图像的宽度为W₁，高度为H₁，第二图像的宽度为W₂，高度为H₂。则对于第一图像中的像素坐标(x₁,y₁)，在第二图像中的相应像素的坐标(x₂,y₂)应当满足：

x₂＝W₂/W₁×x₁

y₂＝H₂/H₁×y₁

在上述视差计算方法中，在步骤a之前进一步包括：将第一图像和第二图像转换为同一彩色格式的图像。

在双摄像头模组中，会存在两个摄像头拍摄的图像的颜色不一致的情况。例如，第一图像为彩色图像，而第二图像为黑白图像，等等。在这种情况下，为了图像比较的准确度，在根据本发明实施例的视差计算方法中，在具体的计算过程之前，优选地将第一图像和第二图像转换为同一彩色格式的图像，例如RGB彩色格式的图像。当然，本领域技术人员可以理解，也可以将第一图像和第二图像都转换为灰度图像，例如，对于RGB图像，通过Y＝(R+G+B)/3转换为灰度图像。当然，如果第一图像和第二图像本身就是同一彩色格式的图像，例如RGB彩色格式的图像，并不需要一定将第一图像和第二图像都转换为灰度图像，而是可以直接进行后续计算过程，以加快处理速率。

在上述视差计算方法中，在步骤a之前进一步包括：从双摄像头获取每一摄像头的原始图像数据信息；和，使用差值运算法将所获取的原始图像转换为适于显示处理的所述第一图像和所述第二图像。

具体来说，在根据本发明实施例的视差计算方法中，可以通过图像处理软件获取原始图像数据信息，该原始图像数据信息是从双摄像头的每一摄像头的图像传感器底层传输的，并以帧为单位。该原始图像数据信息可以精确地再现摄像头的图像传感器所获取的图像信息，但是可能并不适于图像处理。因而，在根据本发明实施例的视差计算方法中，使用差值运算法将所获取的原始图像转换为适于显示处理的图像，例如适于计算机的显示处理的32位BMP图。

在上述视差计算方法中，在步骤a之前进一步包括：将第一图像和第二图像转换为第一灰度图像和第二灰度图像；和，根据所需的视差图尺寸，将第一灰度图像和第二灰度图像分别缩放为视差图尺寸。

也就是说，如果所需的视差图的尺寸与原始图像不同，在根据本发明实施例的视差计算方法中，需要首先根据所需的视差图的尺寸将第一灰度图像和第二灰度图像缩放到所需的尺寸，然后在进行视差值的计算。例如，当需要较小的视差图尺寸时，首先将第一灰度图像L1和第二灰度图像R1缩小到小尺寸的第一灰度图像L2和第二灰度图像R2，在针对第一灰度图像L2和第二灰度图像R2中的每个像素进行视差值的计算。这是因为图像在进行缩放后，会对视差值产生影响，因而缩放后的图像的视差值不能应用于原尺寸的图像。

在上述视差计算方法中，进一步包括：基于该视差表将第一图像和第二图像合成为三维图像。

在获得第一图像和第二图像之间的视差表之后，可以将作为单通道数据的第一图像、第二图像和视差表整合成三通道的图像数据输出，以由处理器进行进一步的处理，比如在此基础上进行图像合成，以合成三维图像等。当然，本领域技术人员可以理解，该进一步的处理不仅限于进行图像合成为三维图像，也可以基于第一图像、第二图像和视差表进行其它图像处理，本发明实施例并不意在对此进行任何限制。

这样，通过根据本发明实施例的视差计算方法，可以在不对图像进行校正的情况下快速计算视差。

并且，根据本发明实施例的视差计算方法可以在两个图像的亮度差距较大、颜色不一致以及两个图像的画面不是很相对平整的状态下进行计算，并得到相对稳定的结果。

此外，根据本发明实施例的视差计算方法的兼容性强，测试结果较好，且可以节省对双摄像头模组的其中一个摄像头的校正时间，便于用户使用。

根据本发明实施例的另一方面，提供了一种双摄像头模组，包括：第一摄像头，用于获取第一图像；第二摄像头，用于获取第二图像；和，处理单元，用于计算第一图像和第二图像的像素之间的视差值，具体包括：a)在第一图像中选择第一区域，建立该第一区域的第一灰度直方图，该第一区域以第一像素为中心；b)将该第一区域的坐标值在第一方向上加上视差值以得到该第二图像中的第二区域的坐标，建立该第二区域的第二灰度直方图；c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；d)以预定步长增大该视差值，并重复步骤b和c，直到所获得的均方差值增大为止，以获得第一最小均方差值；e)确定与第一最小均方差值对应的第一视差值；和f)将该第一视差值作为该第一像素的视差值。

图5是根据本发明实施例的双摄像头模组的示意性框图。如图5所示，根据本发明实施例的双摄像头模组100包括：第一摄像头110，用于获取第一图像；第二摄像头120，用于获取第二图像；和，处理单元130，用于计算第一摄像头110所获取的第一图像和第二摄像头120所获取的第二图像的像素之间的视差值，具体包括：a)在第一图像中选择第一区域，建立该第一区域的第一灰度直方图，该第一区域以第一像素为中心；b)将该第一区域的坐标值在第一方向上加上视差值以得到该第二图像中的第二区域的坐标，建立该第二区域的第二灰度直方图；c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；d)以预定步长增大该视差值，并重复步骤b和c，直到所获得的均方差值增大为止，以获得第一最小均方差值；e)确定与第一最小均方差值对应的第一视差值；和f)将该第一视差值作为该第一像素的视差值。

在上述双摄像头模组中，该处理单元进一步用于：对于该第一图像中的每一像素，重复上述步骤a，b，c，d，e和f，以获得该第一图像中的每一像素的视差值；和，基于该第一图像中的每一像素的视差值，得到该第一图像和该第二图像之间的视差表。

在上述双摄像头模组中，该处理单元在上述步骤d之后，上述步骤e之前进一步用于：将该第一区域缩放预定尺寸为第三区域；基于第三区域重复上述步骤a，b，c和d，以获得第二最小均方差值；比较该第一最小均方差值与该第二最小均方差值；和，在该第二最小均方差值小于第一最小均方差值的情况下，将该第二均方差值确定为该第一最小均方差值。

在上述双摄像头模组中，该处理单元在上述步骤d之后，上述步骤e之前进一步用于：将该第一区域缩放预定尺寸为第四区域，其中该第四区域的尺寸大于第一区域的尺寸，且该第三区域的尺寸小于第一区域的尺寸；基于第四区域重复上述步骤a，b，c和d，以获得第三最小均方差值；比较该第一最小均方差值、该第二最小均方差值和该第三最小均方差值；和，将该第一最小均方差值、该第二最小均方差值和该第三最小均方差值中最小的一个确定为该第一最小均方差值。

在上述双摄像头模组中，该第一方向是图像的行方向或者列方向。

在上述双摄像头模组中，该处理单元在上述步骤a之前进一步用于：将该第一图像和该第二图像缩放为相同尺寸。

在上述双摄像头模组中，该处理单元在上述步骤a之前进一步用于：将该第一图像和该第二图像转换为同一彩色格式的图像。

在上述双摄像头模组中，该处理单元在上述步骤a之前进一步用于：从双摄像头获取每一摄像头的原始图像数据信息；和，使用差值运算法将所获取的原始图像转换为适于显示处理的所述第一图像和所述第二图像。

在上述双摄像头模组中，该处理单元在上述步骤a之前进一步用于：将该第一图像和该第二图像转换为第一灰度图像和第二灰度图像；和，根据所需的视差图尺寸，将第一灰度图像和第二灰度图像分别缩放为该视差图尺寸。

在上述双摄像头模组中，该处理单元进一步用于：基于该视差表将该第一图像和该第二图像合成为三维图像。

这里，本领域技术人员可以理解，上述根据本发明实施例的双摄像头模组中的其他细节与之前所述的根据本发明实施例的视差计算方法中的相应细节完全相同，为了避免冗余便不再赘述。

图6是根据本发明实施例的双摄像头模组的工作过程的示意性流程图。如图6所示，在工作过程开始后，在S401，首先校正马达代码和距离参数。之后，在S402，获取原始图像数据信息，即RAW图，并转换为适于计算机处理的BMP图。之后，在S403，将图像缩放到目标尺寸。在S404，计算每个像素的视差值。在S405，基于每个像素的视差值建立BMP深度图。最后，在S406，根据深度图合成左右摄图像，从而完成图像合成。

根据本发明的又一方面，提供了一种电子设备，该电子设备包括双摄像头模组，且该双摄像头模组包括：第一摄像头，用于获取第一图像；第二摄像头，用于获取第二图像；和，处理单元，用于计算第一图像和第二图像的像素之间的视差值，具体包括：a)在第一图像中选择第一区域，建立该第一区域的第一灰度直方图，该第一区域以第一像素为中心；b)将该第一区域的坐标值在第一方向上加上视差值以得到该第二图像中的第二区域的坐标，建立该第二区域的第二灰度直方图；c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；d)以预定步长增大该视差值，并重复步骤b和c，直到所获得的均方差值增大为止，以获得第一最小均方差值；e)确定与第一最小均方差值对应的第一视差值；和f)将该第一视差值作为该第一像素的视差值。

在上述电子设备中，该处理单元进一步用于：对于该第一图像中的每一像素，重复上述步骤a，b，c，d，e和f，以获得该第一图像中的每一像素的视差值；和，基于该第一图像中的每一像素的视差值，得到该第一图像和该第二图像之间的视差表。

在上述电子设备中，该处理单元在上述步骤d之后，上述步骤e之前进一步用于：将该第一区域缩放预定尺寸为第三区域；基于第三区域重复上述步骤a，b，c和d，以获得第二最小均方差值；比较该第一最小均方差值与该第二最小均方差值；和，在该第二最小均方差值小于第一最小均方差值的情况下，将该第二均方差值确定为该第一最小均方差值。

在上述电子设备中，该处理单元在上述步骤d之后，上述步骤e之前进一步用于：将该第一区域缩放预定尺寸为第四区域，其中该第四区域的尺寸大于第一区域的尺寸，且该第三区域的尺寸小于第一区域的尺寸；基于第四区域重复上述步骤a，b，c和d，以获得第三最小均方差值；比较该第一最小均方差值、该第二最小均方差值和该第三最小均方差值；和，将该第一最小均方差值、该第二最小均方差值和该第三最小均方差值中最小的一个确定为该第一最小均方差值。

在上述电子设备中，该第一方向是图像的行方向或者列方向。

在上述电子设备中，该处理单元在上述步骤a之前进一步用于：将该第一图像和该第二图像缩放为相同尺寸。

在上述电子设备中，该处理单元在上述步骤a之前进一步用于：将该第一图像和该第二图像转换为同一彩色格式的图像。

在上述电子设备中，该处理单元在上述步骤a之前进一步用于：从双摄像头获取每一摄像头的原始图像数据信息；和，使用差值运算法将所获取的原始图像转换为适于显示处理的所述第一图像和所述第二图像。

在上述电子设备中，该处理单元在上述步骤a之前进一步用于：将该第一图像和该第二图像转换为第一灰度图像和第二灰度图像；和，根据所需的视差图尺寸，将第一灰度图像和第二灰度图像分别缩放为该视差图尺寸。

在上述电子设备中，该处理单元进一步用于：基于该视差表将该第一图像和该第二图像合成为三维图像。

图7是根据本发明实施例的电子设备的示意性框图。如图7所示，根据本发明实施例的电子设备200包括双摄像头模组210，该双摄像头模组210可以获取第一图像和第二图像。并且，电子设备200可以包括一处理器220，用于计算第一图像和第二图像的像素之间的视差值，并基于视差值进行图像合成，即能够集成上述双摄像模组的所述处理单元130的功能。该处理器220例如包括计算机、微处理器、集成电路或者可编程逻辑器件。此外，电子设备200还可以进一步包括一存储器230，用于存储原始图像数据或者经过处理之后的图像数据。该存储器230可以包括易失性存储器，比如静态随机存取存储器(S-RAM)和动态随机存取存储器(D-RAM)，以及非易失性存储器，比如闪存存储器、只读存储器(ROM)和可擦可编程只读存储器(EPROM)和电可擦可编程只读存储器(EEPROM)。

这里，处理器所进行的图像处理的具体细节与之前所述的根据本发明实施例的视差计算方法中的相应细节完全相同，为了避免冗余便不再赘述。

本发明实施例的电子设备电子装置可以是包括双摄像头模组的各种电子设备，包括但不限于智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌面PC、膝上型PC、上网本PC、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医药装置、相机、可穿戴装置(例如，头戴装置(HMD)、电子衣服、电子手链、电子项链、电子配件、电子文身或者智能手表)，等等。

通过根据本发明实施例的视差计算方法，以及应用该视差计算方法的双摄像头模组和电子设备，可以在不对图像进行校正的情况下快速计算视差。

并且，根据本发明实施例的视差计算方法，以及应用该视差计算方法的双摄像头模组和电子设备可以在两个图像的亮度差距较大、颜色不一致以及两个图像的画面不是很相对平整的状态下进行计算，并得到相对稳定的结果。

此外，根据本发明实施例的视差计算方法，以及应用该视差计算方法的双摄像头模组和电子设备的兼容性强，测试结果较好，且可以节省对双摄像头模组的其中一个摄像头的校正时间，便于用户使用。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (17)

1.一种视差计算方法，用于计算第一图像和第二图像的像素之间的视差值，包括：

a)在第一图像中选择第一区域，建立所述第一区域的第一灰度直方图，所述第一区域以第一像素为中心；

b)将所述第一区域的坐标值在第一方向上加上参考视差值以得到所述第二图像中的第二区域的坐标，建立所述第二区域的第二灰度直方图；

c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；

d)以预定步长增大所述参考视差值，并重复步骤b和c，直到当前第一均方差大于前一第一均方差为止，并将前一第一均方差确定为第一最小均方差值；

e)确定与第一最小均方差值对应的第一视差值；和

f)将所述第一视差值作为所述第一像素的视差值，其中在步骤d之后，步骤e之前进一步包括如下步骤：

缩放所述第一区域预定尺寸为第三区域；

缩放所述第一区域预定尺寸为第四区域，其中所述第四区域的尺寸大于所述第一区域的尺寸，并且所述第三区域的尺寸小于所述第一区域的尺寸；

基于所述第三区域重复步骤a，b，c和d，以获得第二最小均方差值；

基于所述第四区域重复步骤a，b，c和d，以获得第三最小均方差值；

比较所述第一最小均方差值、所述第二最小均方差值和所述第三最小均方差值；和

将所述第一最小均方差值、所述第二最小均方差值和所述第三最小均方差值中最小的一个确定为所述第一最小均方差值。

2.根据权利要求1所述的视差计算方法，其特征在于，进一步包括：

对于所述第一图像中的每一像素，重复所述步骤a，b，c，d，e和f，以获得所述第一图像中的每一像素的视差值；和

基于所述第一图像中的每一像素的视差值，得到所述第一图像和所述第二图像之间的视差表。

3.根据权利要求1所述的视差计算方法，其特征在于，所述第一方向是图像的行方向或者列方向。

4.根据权利要求1所述的视差计算方法，其特征在于，在步骤a之前进一步包括：

将所述第一图像和所述第二图像缩放为相同尺寸。

5.根据权利要求1所述的视差计算方法，其特征在于，在步骤a之前进一步包括：

将所述第一图像和所述第二图像转换为同一彩色格式的图像。

6.根据权利要求1所述的视差计算方法，其特征在于，在步骤a之前进一步包括：

从双摄像头获取每一摄像头的原始图像数据信息；和

使用差值运算法将所获取的原始图像转换为适于显示处理的所述第一图像和所述第二图像。

7.根据权利要求1所述的视差计算方法，其特征在于，在步骤a之前进一步包括：

将所述第一图像和所述第二图像转换为第一灰度图像和第二灰度图像；和

根据所需的视差图尺寸，将第一灰度图像和第二灰度图像分别缩放为所述视差图尺寸。

8.根据权利要求2所述的视差计算方法，其特征在于，进一步包括：

基于所述视差表将所述第一图像和所述第二图像合成为三维图像。

9.一种双摄像头模组，包括：

第一摄像头，用于获取第一图像；

第二摄像头，用于获取第二图像；和

处理单元，用于计算第一图像和第二图像的像素之间的视差值，具体包括：

a)在第一图像中选择第一区域，建立所述第一区域的第一灰度直方图，所述第一区域以第一像素为中心；

b)将所述第一区域的坐标值在第一方向上加上参考视差值以得到所述第二图像中的第二区域的坐标，建立所述第二区域的第二灰度直方图；

c)计算第一灰度直方图与第二灰度直方图的每行或者每列的差值的第一均方差；

d)以预定步长增大所述参考视差值，并重复步骤b和c，直到当前第一均方差大于前一第一均方差为止，并将前一第一均方差确定为第一最小均方差值；

e)确定与第一最小均方差值对应的第一视差值；和

f)将所述第一视差值作为所述第一像素的视差值，其中在步骤d之后，步骤e之前进一步包括如下步骤：

缩放所述第一区域预定尺寸为第三区域；

缩放所述第一区域预定尺寸为第四区域，其中所述第四区域的尺寸大于所述第一区域的尺寸，并且所述第三区域的尺寸小于所述第一区域的尺寸；

基于所述第三区域重复步骤a，b，c和d，以获得第二最小均方差值；

基于所述第四区域重复步骤a，b，c和d，以获得第三最小均方差值；

比较所述第一最小均方差值、所述第二最小均方差值和所述第三最小均方差值；和

将所述第一最小均方差值、所述第二最小均方差值和所述第三最小均方差值中最小的一个确定为所述第一最小均方差值。

10.根据权利要求9所述的双摄像头模组，其特征在于，所述处理单元进一步用于：

对于所述第一图像中的每一像素，重复所述步骤a，b，c，d，e和f，以获得所述第一图像中的每一像素的视差值；和

基于所述第一图像中的每一像素的视差值，得到所述第一图像和所述第二图像之间的视差表。

11.根据权利要求9所述的双摄像头模组，其特征在于，所述第一方向是图像的行方向或者列方向。

12.根据权利要求9所述的双摄像头模组，其特征在于，所述处理单元在步骤a之前进一步用于：

将所述第一图像和所述第二图像缩放为相同尺寸。

13.根据权利要求9所述的双摄像头模组，其特征在于，所述处理单元在步骤a之前进一步用于：

将所述第一图像和所述第二图像转换为同一彩色格式的图像。

14.根据权利要求9所述的双摄像头模组，其特征在于，所述处理单元在步骤a之前进一步用于：

从双摄像头获取每一摄像头的原始图像数据信息；和

使用差值运算法将所获取的原始图像转换为适于显示处理的所述第一图像和所述第二图像。

15.根据权利要求9所述的双摄像头模组，其特征在于，所述处理单元在步骤a之前进一步用于：

将所述第一图像和所述第二图像转换为第一灰度图像和第二灰度图像；和

根据所需的视差图尺寸，将第一灰度图像和第二灰度图像分别缩放为所述视差图尺寸。

16.根据权利要求10所述的双摄像头模组，其特征在于，所述处理单元进一步用于：

基于所述视差表将所述第一图像和所述第二图像合成为三维图像。

17.一种电子设备，包括根据权利要求9-16中任意一项所述的双摄像头模组。

Images