CN112288791A - 一种视差图获得方法、基于鱼眼相机的三维模型获得方法及装置 - Google Patents

Abstract

本发明公开了一种视差图获得方法、基于鱼眼相机的三维模型获得方法及装置，对鱼眼相机对目标场景采集的场景图像组中的图像依次进行单目校正以及双目校正，获得各已校正图像对，再对各已校正图像对中的第一待匹配图像划分为内部平均差异值不大于预设差异阈值的各第一子图，并按照预设的视差值确定顺序在第二待匹配图像中分别确定与各第一子图对应的第二子图，从而根据各第一子图的视差值获得视差图，进而根据视差图进行三维重建，获得与目标场景对应的三维模型。本发明实施例通过预设差异阈值以及预设视差值确定顺序，可以针对目标场景进行自适应设置，可以使获得的视差图精度更高，从而使得根据视差图进行三维重建获得的三维模型更加精准。

Description

一种视差图获得方法、基于鱼眼相机的三维模型获得方法及 装置

技术领域

本发明涉及图像建模技术领域，特别是涉及一种视差图获得方法、基于鱼眼相机的三维模型获得方法及装置。

背景技术

如今，鱼眼相机作为一种使用焦距极短并且视角可达180度以上的鱼眼镜头组成的相机，可以广泛应用在各种场景中。

基于鱼眼相机拍摄的图像视角大的特点，如果能使用鱼眼相机获得的图像进行建模获得模型，将缩短图像建模的时间，提高图像建模的效率。

然而，由于鱼眼相机的成像原理与常规相机的成像原理存在显著差异，对于鱼眼相机获得的图像，如果直接使用在常规相机拍摄的图像上使用的建模方法进行建模，获得的模型误差大，精度低，无法达到使用要求。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种视差图获得方法、基于鱼眼相机的三维模型获得方法及装置，技术方案如下：

一种视差图获得方法，包括：

获得第一待匹配图像和第二待匹配图像；

将所述第一待匹配图像划分为M×N个第一子图；

分别确定各第一子图的内部平均差异值；

将所述各第一子图的内部平均差异值分别与预设差异阈值比较，将内部平均差异值大于所述预设差异阈值的第一子图继续划分为M×N张第一子图，直至各第一子图的内部平均差异不大于所述预设差异阈值时，确定划分完成；

按照预设的视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在所述第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值；

根据各第一子图的视差值，获得视差图。

可选的，所述按照预设视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在所述第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值，包括：

根据所述预设视差值确定顺序，确定所述第一待匹配图像中预设目标初始位置上的第一子图：按照预设初始平移量，在所述第二待匹配图像中确定与该第一子图对应的一个第二子图，确定该第一子图与该第二子图之间的平均像素误差，若该平均像素误差小于预设误差阈值时，确定该第一子图与该第二子图之间的平移量为该第一子图的视差值，若该平均像素误差不小于所述预设误差阈值时，确定该第二子图是否为所述第二待匹配图像中最后一个与该第一子图对应的第二子图，如果是，则确定该第一子图与该第一子图对应的各第二子图之间最小的平均像素误差对应的第二子图之间的平移量为该第一子图的视差值，否则，在所述第二待匹配图像中确定与该第二子图相邻且位于同一纵坐标的另一个与该第一子图对应的第二子图，返回执行所述确定该第一子图与该第二子图之间的平均像素误差的步骤。

可选的，所述按照预设视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在所述第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值，包括：

根据所述预设视差值确定顺序，依次对所述第一待匹配图像中非预设目标初始位置上的第一子图：将该第一子图之前的另一个第一子图的视差值作为当前平移量，按照所述当前平移量，在所述第二待匹配图像中确定与该第一子图对应的一个第二子图，确定该第一子图与该第二子图之间的平均像素误差，若该平均像素误差小于预设误差阈值时，确定该第一子图与该第二子图之间的平移量为该第一子图的视差值，若该平均像素误差不小于所述预设误差阈值时，确定该第二子图是否为所述第二待匹配图像中最后一个与该第一子图对应的第二子图，如果是，则确定该第一子图与该第一子图对应的各第二子图之间最小的平均像素误差对应的第二子图之间的平移量为该第一子图的视差值，否则，在所述第二待匹配图像中确定与该第二子图相邻且位于同一纵坐标的另一个与该第一子图对应的第二子图，返回执行所述确定该第一子图与该第二子图之间的平均像素误差的步骤。

可选的，所述预设目标初始位置为所述第一待匹配图像的左上角。

可选的，所述分别确定各第一子图的内部平均差异值，包括：

通过公式：

分别确定各第一子图的内部平均差异值，其中，MSE₁为第一子图的内部平均差异值，S为该第一子图内部所有的像素点，[S]为该第一子图内部的像素点个数，K为该第一子图的区域范围，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，

为该第一子图内部各像素点的平均像素值。

可选的，所述确定该第一子图与该第二子图之间的平均像素误差，包括：

通过公式：

确定该第一子图与该第二子图之间的平均像素误差，其中，MSE₂为该第一子图与该第二子图之间的平均像素误差，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，i为在图像像素坐标系下该第二子图相对于该第一子图的水平平移量，j为在图像像素坐标系下该第二子图相对于该第一子图的垂直平移量，(m+i,n+j)为像素点(m,n)在该第二子图对应的像素点的坐标，f₂(m+i,n+j)为该第二子图内部的像素点(m+i,n+j)的像素值。

一种基于鱼眼相机的三维模型获得方法，包括：

获得至少一个鱼眼相机对目标场景采集的场景图像组；

根据各所述鱼眼相机相匹配的单目校正参数，分别对各所述鱼眼相机采集的所述场景图像组进行单目校正，获得至少一个单目校正图像组；

将各单目校正图像组中采集时刻相同的两个图像确定为待校正图像对，对各所述待校正图像对使用与所述待校正图像对对应的两个所述鱼眼相机相匹配的双目校正参数进行双目校正，获得至少一个已校正图像对，其中，所述已校正图像对包括第一待匹配图像和第二待匹配图像；

使用上述任一项所述视差图获得方法，对各已校正图像对进行图像匹配，获得至少一个视差图；

根据与所述待校正图像对对应的两个所述鱼眼相机相匹配的双目校正参数以及所述至少一个视差图进行三维重建，获得与所述目标场景对应的三维模型。

可选的，所述至少一个鱼眼相机中的各鱼眼相机的相对位置固定。

一种视差图获得装置，包括：待匹配图像获得单元、第一划分单元，内部平均差异值确定单元、第二划分单元、视差值确定单元以及第一视差图获得单元，

所述待匹配图像获得单元，用于获得第一待匹配图像和第二待匹配图像；

所述第一划分单元，用于将所述第一待匹配图像划分为M×N个第一子图；

所述内部平均差异值确定单元，用于分别确定各第一子图的内部平均差异值；

所述第二划分单元，用于将所述各第一子图的内部平均差异值分别与预设差异阈值比较，将内部平均差异值大于所述预设差异阈值的第一子图继续划分为M×N张第一子图，直至各第一子图的内部平均差异不大于所述预设差异阈值时，确定划分完成；

所述视差值确定单元，用于按照预设的视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在所述第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值；

所述第一视差图获得单元，用于根据各第一子图的视差值，获得视差图。

一种基于鱼眼相机的三维模型获得装置，包括：场景图像组获得单元、单目校正图像组获得单元、已校正图像对获得单元、第二视差图获得单元以及三维模型获得单元，

所述场景图像组获得单元，用于获得至少一个鱼眼相机对目标场景采集的场景图像组；

所述单目校正图像组获得单元，用于根据各所述鱼眼相机相匹配的单目校正参数，分别对各所述鱼眼相机采集的所述场景图像组进行单目校正，获得至少一个单目校正图像组；

所述已校正图像对获得单元，用于将各单目校正图像组中采集时刻相同的两个图像确定为待校正图像对，对各所述待校正图像对使用与所述待校正图像对对应的两个所述鱼眼相机相匹配的双目校正参数进行双目校正，获得至少一个已校正图像对，其中，所述已校正图像对包括第一待匹配图像和第二待匹配图像；

所述第二视差图获得单元，用于使用上述任一项所述视差图获得方法，对各已校正图像对进行图像匹配，获得至少一个视差图；

所述三维模型获得单元，用于根据与所述待校正图像对对应的两个所述鱼眼相机相匹配的双目校正参数以及所述至少一个视差图进行三维重建，获得与所述目标场景对应的三维模型。

借由上述技术方案，本发明提供的一种视差图获得方法、基于鱼眼相机的三维模型获得方法及装置，可以对鱼眼相机对目标场景采集的场景图像组中的图像依次进行单目校正以及双目校正，获得各已校正图像对，再对各已校正图像对中的第一待匹配图像划分为内部平均差异值不大于预设差异阈值的各第一子图，并按照预设的视差值确定顺序在第二待匹配图像中分别确定与各第一子图对应的第二子图，从而根据各第一子图的视差值获得视差图，进而根据视差图进行三维重建，获得与目标场景对应的三维模型。本发明实施例通过预设差异阈值以及预设视差值确定顺序，可以针对目标场景进行自适应设置，可以使获得的视差图精度更高，从而使得根据视差图进行三维重建获得的三维模型更加精准。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提供的一种视差图获得方法的流程示意图；

图2示出了本发明实施例提供的另一种视差图获得方法的流程示意图；

图3示出了本发明实施例提供的另一种视差图获得方法的流程示意图；

图4示出了本发明实施例提供的一种基于鱼眼相机的三维模型获得方法的流程示意图；

图5示出了本发明实施例提供的条纹图；

图6示出了本发明实施例提供的另一种基于鱼眼相机的三维模型获得方法

图7示出了本发明实施例提供的方格图；

图8示出了本发明实施例提供的另一种基于鱼眼相机的三维模型获得方法；

图9示出了本发明实施例提供的一种视差图获得装置的结构示意图；

图10示出了本发明实施例提供的一种基于鱼眼相机的三维模型获得装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供的一种视差图获得方法，可以包括：

S100、获得第一待匹配图像和第二待匹配图像。

其中，第一待匹配图像和第二待匹配图像对同一目标场景的采集角度不同且采集时刻相同。第一待匹配图像和第二待匹配图像属于同一已校正图像对。其中，第一待匹配图像与第一鱼眼相机相对应，第二待匹配图像与第二鱼眼相机相对应。已校正图像对可以是由对待校正图像对中的两个图像使用与第一鱼眼相机和第二鱼眼相机相匹配的双目校正参数进行双目校正后的两个图像组成。待校正图像对中的两个图像属于不同的单目校正图像组。各单目校正图像组中包括由对鱼眼相机采集的场景图像组中的场景图像进行单目校正后的图像组成。

本发明实施例可以在已校正图像对中的第一待匹配图像和第二待匹配图像中分别确定反映目标场景中同一个实际点的像素点，将第一待匹配图像和第二待匹配图像中各自反映该实际点的像素点的坐标进行做差，获得视差值，进而可以获得第一待匹配图像和第二待匹配图像之间反映的各实际点相应的视差值，从而获得视差图。

由于第一待匹配图像和第二待匹配图像是经过单目校正以及双目校正后的图像，因此一个实际点在第一待匹配图像和第二待匹配图像中分别对应的像素点的纵坐标相同，因此在对已校正图像对进行图像匹配时，可以仅按照同一纵坐标进行搜索匹配，从而更加方便地获得视差图。

S200、将第一待匹配图像划分为M×N个第一子图。

其中，M和N可以根据实际需要进行设置。M可以为第一待匹配图像中各列的第一子图的数量，N可以为第一待匹配图像中各行的第一子图的数量。

S300、分别确定各第一子图的内部平均差异值。

具体的，步骤S300可以包括：

通过公式：

分别确定各第一子图的内部平均差异值，其中，MSE₁为第一子图的内部平均差异值，S为该第一子图内部所有的像素点，[S]为该第一子图内部的像素点个数，K为该第一子图的区域范围，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，

为该第一子图内部各像素点的平均像素值。

S400、将各第一子图的内部平均差异值分别与预设差异阈值比较，将内部平均差异值大于预设差异阈值的第一子图继续划分为M×N张第一子图，直至各第一子图的内部平均差异不大于预设差异阈值时，确定划分完成。

其中，预设差异阈值可以根据实际需求进行设置，本发明实施例在此不作进一步限定。本发明实施例可以确定对第一子图继续划分后的各第一子图的内部平均差异值。

S500、按照预设的视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值。

其中，预设的视差值确定顺序可以根据实际需求进行设置。在通常情况下，本发明实施例预设的视差值确定顺序可以为以第一待匹配图像的左上角的第一子图开始，从左往右在第二待匹配图像中依次确定与该第一子图对应的至少一个第二子图。

可选的，基于图1所示的视差图获得方法，如图2所示，本发明实施例提供的另一种视差图获得方法，步骤S500可以包括：

S510、根据预设视差值确定顺序，确定第一待匹配图像中预设目标初始位置上的第一子图：按照预设初始平移量，在第二待匹配图像中确定与该第一子图对应的一个第二子图。

可选的，预设目标初始位置为第一待匹配图像的左上角。

在通常情况下，第一子图与该第一子图对应的第二子图的纵坐标相同。

S511、确定该第一子图与该第二子图之间的平均像素误差。

可选的，步骤S511可以包括：

通过公式：

确定该第一子图与该第二子图之间的平均像素误差，其中，MSE₂为该第一子图与该第二子图之间的平均像素误差，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，i为在图像像素坐标系下该第二子图相对于该第一子图的水平平移量，j为在图像像素坐标系下该第二子图相对于该第一子图的垂直平移量，(m+i,n+j)为像素点(m,n)在该第二子图对应的像素点的坐标，f₂(m+i,n+j)为该第二子图内部的像素点(m+i,n+j)的像素值。

S512、判断该平均像素误差是否小于预设误差阈值。若该平均像素误差小于预设误差阈值时，则执行步骤S513。若该平均像素误差不小于预设误差阈值时，则执行步骤S514。

其中，预设误差阈值可以根据实际需求进行设置，本发明实施例在此不作进一步地限定。

S513、确定该第一子图与该第二子图之间的平移量为该第一子图的视差值。

S514、确定该第二子图是否为第二待匹配图像中最后一个与该第一子图对应的第二子图，如果是，则执行步骤S515，否则，执行步骤S516。

S515、确定该第一子图与该第一子图对应的各第二子图之间最小的平均像素误差对应的第二子图之间的平移量为该第一子图的视差值。

S516、在第二待匹配图像中确定与该第二子图相邻且位于同一纵坐标的另一个与该第一子图对应的第二子图，返回执行步骤S511。

可选的，基于图1所示的视差图获得方法，如图3所示，本发明实施例提供的另一种视差图获得方法，步骤S500可以包括：

S520、根据预设视差值确定顺序，依次对第一待匹配图像中非预设目标初始位置上的第一子图：将该第一子图之前的另一个第一子图的视差值作为当前平移量，按照当前平移量，在第二待匹配图像中确定与该第一子图对应的一个第二子图。

S521、确定该第一子图与该第二子图之间的平均像素误差。

可选的，步骤S521可以包括：

通过公式：

确定该第一子图与该第二子图之间的平均像素误差，其中，MSE₂为该第一子图与该第二子图之间的平均像素误差，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，i为在图像像素坐标系下该第二子图相对于该第一子图的水平平移量，j为在图像像素坐标系下该第二子图相对于该第一子图的垂直平移量，(m+i,n+j)为像素点(m,n)在该第二子图对应的像素点的坐标，f₂(m+i,n+j)为该第二子图内部的像素点(m+i,n+j)的像素值。

S522、判断该平均像素误差是否小于预设误差阈值，若该平均像素误差小于预设误差阈值时，则执行步骤S523，若该平均像素误差不小于预设误差阈值时，则执行步骤S524。

S523、确定该第一子图与该第二子图之间的平移量为该第一子图的视差值。

S524、确定该第二子图是否为第二待匹配图像中最后一个与该第一子图对应的第二子图，如果是，则执行步骤S525，否则，执行步骤S526。

S525、确定该第一子图与该第一子图对应的各第二子图之间最小的平均像素误差对应的第二子图之间的平移量为该第一子图的视差值。

S526、在第二待匹配图像中确定与该第二子图相邻且位于同一纵坐标的另一个与该第一子图对应的第二子图，返回执行步骤S521。

S600、根据各第一子图的视差值，获得视差图。

本发明实施例提供的一种视差图获得方法，可以将第一待匹配图像划分为内部平均差异值不大于预设差异阈值的各第一子图，并按照预设的视差值确定顺序在第二待匹配图像中分别确定与各第一子图对应的第二子图，从而根据各第一子图的视差值获得视差图。本发明实施例通过预设差异阈值以及预设视差值确定顺序，可以针对目标场景进行自适应设置，使得最终针对该目标场景获得的视差图精度更高。

如图4所示，本发明实施例提供的一种基于鱼眼相机的三维模型获得方法，可以包括：

S10、获得至少一个鱼眼相机对目标场景采集的场景图像组。

可选的，上述至少一个鱼眼相机中的各鱼眼相机的相对位置固定。本发明实施例通过固定各鱼眼相机的位置，有利于准确确定任意两个鱼眼相机的双目校正参数，从而有助于对该两个鱼眼相机进行双目标定。

可选的，上述至少一个鱼眼相机包括第一鱼眼相机和第二鱼眼相机，第一鱼眼相机与第二鱼眼相机对目标场景的采集角度不同。本发明实施例通过第一鱼眼相机和第二鱼眼相机从不同采集角度采集目标场景的图像，可以采集到更大的目标场景范围，对目标场景采集更加完整，进而使得后续获得的三维模型更加准确。

可选的，目标场景可以为开放空间场景，也可以为密闭空间场景。例如：目标场景可以是露天停车场，也可以是工业生产的密闭空间，如热电厂煤堆下料斗内部等。

可选的，本发明实施例可以分别获得相对位置固定的第一鱼眼相机和第二鱼眼相机在同一时段对同一目标场景采集的场景图像组。例如：第一鱼眼相机在时段A对目标场景采集的第一场景图像组，第二鱼眼相机在时段A对目标场景采集的第二场景图像组。可以理解的是，场景图像组包括至少一帧场景图像。在通常情况下，第一场景图像组中的场景图像帧数与第二场景图像组中的场景图像帧数相同。可选的，第一场景图像组中的各场景图像与第二场景图像组中的各场景图像在时间尺度上一一对应。例如：在某时刻，第一场景图像组中存在与该时刻对应的一帧场景图像B，第二场景图像组中存在与该时刻对应的一帧场景图像C，则该场景图像B与该场景图像C在该时刻一一对应，即在该时刻，场景图像B与场景图像C分别展示目标场景在不同采集角度下的图像。

S20、根据各鱼眼相机相匹配的单目校正参数，分别对各鱼眼相机采集的场景图像组进行单目校正，获得至少一个单目校正图像组。

本发明实施例可以预先确定各鱼眼相机匹配的单目校正参数。具体的，本发明实施例可以使用单目标定方法确定各鱼眼相机匹配的单目校正参数。

具体的，确定任一鱼眼相机匹配的单目校正参数的过程可以包括：使用该鱼眼相机依次拍摄图5所示的条纹图(a)、条纹图(b)、条纹图(c)和条纹图(d)，对条纹图(a)和条纹图(b)做差及二值化处理，获得条纹图(a)和条纹图(b)之间的至少一条垂直黑白交界线，对条纹图(c)和条纹图(d)做差及二值化处理，获得条纹图(c)和条纹图(d)之间的至少一条水平黑白交界线。将与该至少一条垂直黑白交界线对应的观测值和与该至少一条水平黑白交界线对应的观测值输入至预设单目校正算法中，通过该预设单目校正算法输出与该鱼眼相机匹配的单目校正参数。其中，单目校正参数可以反映该鱼眼相机对目标场景采集的场景图像中的各像素点与该目标场景中实际点之间的对应关系。可选的，预设单目校正算法可以依据鱼眼相机的成像原理，通过共线性抑制、平行线约束以及正交性约束等方式获得。可选的，本发明实施例中的预设单目校正算法可以是弗雷德里克·德沃奈(FrédéricDevernay)和奥利维尔·法格拉斯(Olivier Faugeras)在2001年发布的“Straight LinesHave to Be Straight:Automatic calibration and removal of distortion fromscenes of structured environments”论文中的校正方法。本发明实施例通过多条黑白交界线(直线)，最终求解出的单目校正参数，可以在目标场景为工业生产场景中对鱼眼相机采集的图像进行准确的单目校正。

可以理解的是，不同的鱼眼相机相匹配的单目校正参数可以相同，也可以不同。可选的，单目校正参数可以包括鱼眼相机的内参数矩阵、切向畸变参数和径向畸变参数。

可选的，基于图4所示的方法，如图6所示，本发明实施例提供的另一种基于鱼眼相机的三维模型获得方法，步骤S20可以包括：

S21、根据第一鱼眼相机相匹配的第一单目校正参数，对第一鱼眼相机采集的第一场景图像组进行单目校正，获得第一单目校正图像组。

S22、根据第二鱼眼相机相匹配的第二单目校正参数，对第二鱼眼相机采集的第二场景图像组进行单目校正，获得第二单目校正图像组。

具体的，本发明实施例可以根据鱼眼相机相匹配的单目校正参数，对该鱼眼相机采集的场景图像组中的各场景图像进行单目校正，获得单目校正图像组，其中单目校正图像组中的图像均为单目校正后的场景图像。本发明实施例通过单目校正参数对场景图像组中的图像进行单目校正，修正了鱼眼相机在生产过程中由于工艺误差造成鱼眼相机采集的图像发生畸变的问题，使得后续对单目校正图像组中的图像进行后续处理时可以得到更加准确的结果。

S30、将各单目校正图像组中采集时刻相同的两个图像确定为待校正图像对，对各待校正图像对使用与待校正图像对对应的两个鱼眼相机相匹配的双目校正参数进行双目校正，获得至少一个已校正图像对，其中，已校正图像对包括第一待匹配图像和第二待匹配图像。

本发明实施例可以将各单目校正图像组中采集时刻相同的各图像以两两一组确定为待校正图像对。需要注意的是，该各图像中的一个图像既可以是一个待校正图像对中的图像，也可以是另一个待校正图像对中的图像。为了便于理解，此处通过举例进行说明：各单目校正图像组可以包括单目校正图像组A、单目校正图像组B和单目校正图像组C，假设单目校正图像组A中的待匹配图像a、单目校正图像组B中的待匹配图像b以及单目校正图像组C中的待匹配图像c的采集时刻相同，则本发明实施例可以将待匹配图像a和待匹配图像b确定为待校正图像对1、将待匹配图像b和待匹配图像c确定为待校正图像对2以及将待匹配图像a和待匹配图像c确定为待校正图像对3。本发明实施例可以分别对待校正图像对1、待校正图像对2和待校正图像对3进行双目校正。

可以理解的是，当鱼眼相机的数量不同，则获得的单目校正图像组的数量也不同，从而确定出的待校正图像对的数量也不同，本发明实施例在此不对上述这些数量进行限定。

优选的，如图6所示，本发明实施例提供的另一种基于鱼眼相机的三维模型获得方法，步骤S30可以包括：

S31、将第一单目校正图像组以及第二单目校正图像组中采集时刻相同的两个图像确定为待校正图像对，对待校正图像对使用与第一鱼眼相机和第二鱼眼相机相匹配的双目校正参数进行双目校正，获得已校正图像对。

由于第一鱼眼相机与第二鱼眼相机对目标场景的采集角度不同且采集时段相同，因此在通常情况下，第一单目校正图像组中的图像与第二单目校正图像组中的图像在采集时刻上应为一一对应的关系。本发明实施例将该为一一对应的关系的两个图像确定为一个待校正图像对。

本发明实施例可以预先确定与第一鱼眼相机和第二鱼眼相机相匹配的双目校正参数对该待校正图像对中的第一待匹配图像和第二待匹配图像进行双目校正。可以理解的是，对由第一单目校正图像组中的图像与第二单目校正图像组中的图像中确定的待校正图像对，使用的双目校正参数相同。

本发明实施例可以预先确定与第一鱼眼相机和第二鱼眼相机相匹配的双目校正参数。可选的，双目校正参数可以包括第一鱼眼相机的内参数矩阵、第二鱼眼相机的内参数矩阵、第一鱼眼相机和第二鱼眼相机之间的旋转参数和平移参数。具体的，确定第一鱼眼相机和第二鱼眼相机相匹配的双目校正参数的过程可以包括：按照采集目标场景的采集角度使用第一鱼眼相机和第二鱼眼相机采集图7所示方格图，获得第一鱼眼相机采集的第一目标图像组和第二鱼眼相机采集的第二目标图像组，将第一目标图像组合第二目标图像组中采集时刻相同的两个图像确定为目标图像对，并将图7中的方格实际尺寸参数与该目标图像对输入至预设双目校正算法中，通过该预设双目校正算法输出第一鱼眼相机和第二鱼眼相机相匹配的双目校正参数。

预设双目校正算法主要是将经单目校正后、两个鱼眼相机在同一采集时刻且不同采集角度下采集的两个图像校正为理想小孔成像相机所拍摄的图像，并且获得该两个鱼眼相机之间旋转和平移关系的算法。预设双目校正算法可以反映出图像像素坐标系与世界坐标系之间的变换关系。可选的，预设双目校正算法还可以反映出世界坐标系、相机坐标系、图像物理坐标系以及图像像素坐标系之间的变换关系。

可选的，本发明实施例可以预先对第一鱼眼相机和第二鱼眼相机使用该双目校正参数进行极线约束，获得理想双目模型。在实际应用中，本发明实施例可以直接使用该理想双目模型对待校正图像对进行双目校正。本发明实施例可以使用现有的双目标定方法中的双目校正算法进行双目校正，此处不再展开说明。

S40、使用本发明实施例提供的一种视差图获得方法，对各已校正图像对进行图像匹配，获得至少一个视差图。

请参考上述本发明实施例提供的一种视差图获得方法中步骤S100至步骤S600的说明，此处不再赘述。

S50、根据与待校正图像对对应的两个鱼眼相机相匹配的双目校正参数以及至少一个视差图进行三维重建，获得与目标场景对应的三维模型。

具体的，基于图4所示的方法，如图8所示，本发明实施例提供的另一种基于鱼眼相机的三维模型获得方法，步骤S50可以包括：

S51、将待校正图像对对应的两个鱼眼相机相匹配的双目校正参数以及至少一个视差图输入至预设成像模型中进行三维重建，获得与目标场景对应的三维模型。

其中，预设成像模型可以是现有三维重建方法提供的三维模型模板。三维重建过程可以是使用相似三角形原理倒推出各像素点在世界坐标系中的坐标的过程。具体的三维重建过程与设置的现有三维重建方法有关，此处不做展开说明。

本发明实施例提供的一种基于鱼眼相机的三维模型获得方法，通过对鱼眼相机对目标场景采集的场景图像组中的图像依次进行单目校正以及双目校正，获得各已校正图像对，再对各已校正图像对中的第一待匹配图像和第二待匹配图像按照本发明实施例提供的视差图获得方法进行图像匹配，获得视差图，从而可以根据视差图进行三维重建，获得与目标场景对应的三维模型。本发明实施例通过与目标场景自适应的视差图获得方法确定视差图，使得根据该视差图进行三维重建获得的三维模型更加精准。

本发明实施例还提供与上述方法实施例相对应的装置实施例。

如图9所示，本发明实施例提供的一种视差图获得装置，包括：待匹配图像获得单元100、第一划分单元200，内部平均差异值确定单元300、第二划分单元400、视差值确定单元500以及第一视差图获得单元600。

该待匹配图像获得单元100，用于获得第一待匹配图像和第二待匹配图像。

该第一划分单元200，用于将该第一待匹配图像划分为M×N个第一子图。

该内部平均差异值确定单元300，用于分别确定各第一子图的内部平均差异值。

具体的，该内部平均差异值确定单元300可以具体用于：

通过公式：

分别确定各第一子图的内部平均差异值，其中，MSE₁为第一子图的内部平均差异值，S为该第一子图内部所有的像素点，[S]为该第一子图内部的像素点个数，K为该第一子图的区域范围，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，

为该第一子图内部各像素点的平均像素值。

该第二划分单元400，用于将该各第一子图的内部平均差异值分别与预设差异阈值比较，将内部平均差异值大于该预设差异阈值的第一子图继续划分为M×N张第一子图，直至各第一子图的内部平均差异不大于该预设差异阈值时，确定划分完成。

该视差值确定单元500，用于按照预设的视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在该第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值。

可选的，该视差值确定单元500可以包括：第一子图确定子单元、第二子图确定子单元、平均像素误差确定子单元、第一视差值确定子单元、最后对应子图判断子单元、第二视差值确定子单元和相邻第二子图确定子单元。

该第一子图确定子单元，用于根据所述预设视差值确定顺序，确定所述第一待匹配图像中预设目标初始位置上的第一子图。

可选的，预设目标初始位置为所述第一待匹配图像的左上角。

该第二子图确定子单元，用于按照预设初始平移量，在所述第二待匹配图像中确定与该第一子图对应的一个第二子图。

该平均像素误差确定子单元，用于确定该第一子图与该第二子图之间的平均像素误差，若该平均像素误差小于预设误差阈值时，则触发该第一视差值确定子单元，若该平均像素误差不小于所述预设误差阈值时，则触发该最后对应子图判断子单元。

可选的，该平均像素误差确定子单元可以具体用于：

通过公式：

确定该第一子图与该第二子图之间的平均像素误差，其中，MSE₂为该第一子图与该第二子图之间的平均像素误差，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，i为在图像像素坐标系下该第二子图相对于该第一子图的水平平移量，j为在图像像素坐标系下该第二子图相对于该第一子图的垂直平移量，(m+i,n+j)为像素点(m,n)在该第二子图对应的像素点的坐标，f₂(m+i,n+j)为该第二子图内部的像素点(m+i,n+j)的像素值。

该第一视差值确定子单元，用于确定该第一子图与该第二子图之间的平移量为该第一子图的视差值。

该最后对应子图判断子单元，用于确定该第二子图是否为所述第二待匹配图像中最后一个与该第一子图对应的第二子图，如果是，则触发该第二视差值确定子单元，否则，触发该相邻第二子图确定子单元。

该第二视差值确定子单元，用于确定该第一子图与该第一子图对应的各第二子图之间最小的平均像素误差对应的第二子图之间的平移量为该第一子图的视差值。

该相邻第二子图确定子单元，用于在所述第二待匹配图像中确定与该第二子图相邻且位于同一纵坐标的另一个与该第一子图对应的第二子图，触发该平均像素误差确定子单元。

可选的，该视差值确定单元500可以包括：当前平移量确定子单元、第二子图确定子单元、平均像素误差确定子单元、第一视差值确定子单元、最后对应子图判断子单元、第二视差值确定子单元和相邻第二子图确定子单元。

该当前平移量确定子单元，用于根据所述预设视差值确定顺序，依次对所述第一待匹配图像中非预设目标初始位置上的第一子图：将该第一子图之前的另一个第一子图的视差值作为当前平移量。

该第二子图确定子单元，用于按照所述当前平移量，在所述第二待匹配图像中确定与该第一子图对应的一个第二子图。

该平均像素误差确定子单元，用于确定该第一子图与该第二子图之间的平均像素误差，若该平均像素误差小于预设误差阈值时，则触发该第一视差值确定子单元，若该平均像素误差不小于所述预设误差阈值时，则触发该最后对应子图判断子单元。

可选的，该平均像素误差确定子单元可以具体用于：

通过公式：

确定该第一子图与该第二子图之间的平均像素误差，其中，MSE₂为该第一子图与该第二子图之间的平均像素误差，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，i为在图像像素坐标系下该第二子图相对于该第一子图的水平平移量，j为在图像像素坐标系下该第二子图相对于该第一子图的垂直平移量，(m+i,n+j)为像素点(m,n)在该第二子图对应的像素点的坐标，f₂(m+i,n+j)为该第二子图内部的像素点(m+i,n+j)的像素值。

该第一视差值确定子单元，用于确定该第一子图与该第二子图之间的平移量为该第一子图的视差值。

该最后对应子图判断子单元，用于确定该第二子图是否为所述第二待匹配图像中最后一个与该第一子图对应的第二子图，如果是，则触发该第二视差值确定子单元，否则，触发该相邻第二子图确定子单元。

该第二视差值确定子单元，用于确定该第一子图与该第一子图对应的各第二子图之间最小的平均像素误差对应的第二子图之间的平移量为该第一子图的视差值。

该相邻第二子图确定子单元，用于在所述第二待匹配图像中确定与该第二子图相邻且位于同一纵坐标的另一个与该第一子图对应的第二子图，触发该平均像素误差确定子单元。

该第一视差图获得单元600，用于根据各第一子图的视差值，获得视差图。

本发明实施例提供的一种视差图获得装置，可以将第一待匹配图像划分为内部平均差异值不大于预设差异阈值的各第一子图，并按照预设的视差值确定顺序在第二待匹配图像中分别确定与各第一子图对应的第二子图，从而根据各第一子图的视差值获得视差图。本发明实施例通过预设差异阈值以及预设视差值确定顺序，可以针对目标场景进行自适应设置，使得最终针对该目标场景获得的视差图精度更高。

如图10所示，本发明实施例提供的一种基于鱼眼相机的三维模型获得装置，包括：场景图像组获得单元10、单目校正图像组获得单元20、已校正图像对获得单元30、第二视差图获得单元40以及三维模型获得单元50。

该场景图像组获得单元10，用于获得至少一个鱼眼相机对目标场景采集的场景图像组。

可选的，上述至少一个鱼眼相机中的各鱼眼相机的相对位置固定。

该单目校正图像组获得单元20，用于根据各该鱼眼相机相匹配的单目校正参数，分别对各该鱼眼相机采集的该场景图像组进行单目校正，获得至少一个单目校正图像组。

可选的，该单目校正图像组获得单元20可以包括第一单目校正图像组获得子单元和第二单目校正图像组获得子单元。

该第一单目校正图像组获得子单元，用于根据第一鱼眼相机相匹配的第一单目校正参数，对第一鱼眼相机采集的第一场景图像组进行单目校正，获得第一单目校正图像组。

该第二单目校正图像组获得子单元，用于根据第二鱼眼相机相匹配的第二单目校正参数，对第二鱼眼相机采集的第二场景图像组进行单目校正，获得第二单目校正图像组。

该已校正图像对获得单元30，用于将各单目校正图像组中采集时刻相同的两个图像确定为待校正图像对，对各该待校正图像对使用与该待校正图像对对应的两个该鱼眼相机相匹配的双目校正参数进行双目校正，获得至少一个已校正图像对，其中，该已校正图像对包括第一待匹配图像和第二待匹配图像。

可选的，该已校正图像对获得单元30，可以具体用于将第一单目校正图像组以及第二单目校正图像组中采集时刻相同的两个图像确定为待校正图像对，对待校正图像对使用与第一鱼眼相机和第二鱼眼相机相匹配的双目校正参数进行双目校正，获得已校正图像对。

该第二视差图获得单元40，用于使用上述任一项该视差图获得方法，对各已校正图像对进行图像匹配，获得至少一个视差图。

该三维模型获得单元50，用于根据与该待校正图像对对应的两个该鱼眼相机相匹配的双目校正参数以及该至少一个视差图进行三维重建，获得与该目标场景对应的三维模型。

可选的，该三维模型获得单元50，可以具体用于将待校正图像对对应的两个鱼眼相机相匹配的双目校正参数以及至少一个视差图输入至预设成像模型中进行三维重建，获得与目标场景对应的三维模型。

本发明实施例提供的一种基于鱼眼相机的三维模型获得装置，通过对鱼眼相机对目标场景采集的场景图像组中的图像依次进行单目校正以及双目校正，获得各已校正图像对，再对各已校正图像对中的第一待匹配图像和第二待匹配图像按照本发明实施例提供的视差图获得方法进行图像匹配，获得视差图，从而可以根据视差图进行三维重建，获得与目标场景对应的三维模型。本发明实施例通过与目标场景自适应的视差图获得方法确定视差图，使得根据该视差图进行三维重建获得的三维模型更加精准。

所述视差图获得装置包括处理器和存储器，上述待匹配图像获得单元100、第一划分单元200，内部平均差异值确定单元300、第二划分单元400、视差值确定单元500以及第一视差图获得单元600等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来通过预设差异阈值以及预设视差值确定顺序，针对目标场景进行自适应设置，使得最终针对该目标场景获得的视差图精度更高。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述视差图获得方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述视差图获得方法。

本发明实施例提供了一种视差图获得设备，视差图获得设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的视差图获得方法。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述的视差图获得方法包括的步骤的程序。

所述基于鱼眼相机的三维模型获得装置包括处理器和存储器，上述场景图像组获得单元10、单目校正图像组获得单元20、已校正图像对获得单元30、第二视差图获得单元40以及三维模型获得单元50等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来通过与目标场景自适应的视差图获得方法确定视差图，使得根据该视差图进行三维重建获得的三维模型更加精准。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述基于鱼眼相机的三维模型获得方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述基于鱼眼相机的三维模型获得方法。

本发明实施例提供了一种基于鱼眼相机的三维模型获得设备，基于鱼眼相机的三维模型获得设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的基于鱼眼相机的三维模型获得方法。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述的基于鱼眼相机的三维模型获得方法包括的步骤的程序。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种视差图获得方法，其特征在于，包括：

获得第一待匹配图像和第二待匹配图像；

将所述第一待匹配图像划分为M×N个第一子图；

分别确定各第一子图的内部平均差异值；

将所述各第一子图的内部平均差异值分别与预设差异阈值比较，将内部平均差异值大于所述预设差异阈值的第一子图继续划分为M×N张第一子图，直至各第一子图的内部平均差异不大于所述预设差异阈值时，确定划分完成；

按照预设的视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在所述第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值；

根据各第一子图的视差值，获得视差图。

2.根据权利要求1所述的方法，其特征在于，所述按照预设视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在所述第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值，包括：

根据所述预设视差值确定顺序，确定所述第一待匹配图像中预设目标初始位置上的第一子图：按照预设初始平移量，在所述第二待匹配图像中确定与该第一子图对应的一个第二子图，确定该第一子图与该第二子图之间的平均像素误差，若该平均像素误差小于预设误差阈值时，确定该第一子图与该第二子图之间的平移量为该第一子图的视差值，若该平均像素误差不小于所述预设误差阈值时，确定该第二子图是否为所述第二待匹配图像中最后一个与该第一子图对应的第二子图，如果是，则确定该第一子图与该第一子图对应的各第二子图之间最小的平均像素误差对应的第二子图之间的平移量为该第一子图的视差值，否则，在所述第二待匹配图像中确定与该第二子图相邻且位于同一纵坐标的另一个与该第一子图对应的第二子图，返回执行所述确定该第一子图与该第二子图之间的平均像素误差的步骤。

3.根据权利要求1所述的方法，其特征在于，所述按照预设视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在所述第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值，包括：

根据所述预设视差值确定顺序，依次对所述第一待匹配图像中非预设目标初始位置上的第一子图：将该第一子图之前的另一个第一子图的视差值作为当前平移量，按照所述当前平移量，在所述第二待匹配图像中确定与该第一子图对应的一个第二子图，确定该第一子图与该第二子图之间的平均像素误差，若该平均像素误差小于预设误差阈值时，确定该第一子图与该第二子图之间的平移量为该第一子图的视差值，若该平均像素误差不小于所述预设误差阈值时，确定该第二子图是否为所述第二待匹配图像中最后一个与该第一子图对应的第二子图，如果是，则确定该第一子图与该第一子图对应的各第二子图之间最小的平均像素误差对应的第二子图之间的平移量为该第一子图的视差值，否则，在所述第二待匹配图像中确定与该第二子图相邻且位于同一纵坐标的另一个与该第一子图对应的第二子图，返回执行所述确定该第一子图与该第二子图之间的平均像素误差的步骤。

4.根据权利要求2至3中任一所述的方法，其特征在于，所述预设目标初始位置为所述第一待匹配图像的左上角。

5.根据权利要求1所述的方法，其特征在于，所述分别确定各第一子图的内部平均差异值，包括：

通过公式：

分别确定各第一子图的内部平均差异值，其中，MSE₁为第一子图的内部平均差异值，S为该第一子图内部所有的像素点，[S]为该第一子图内部的像素点个数，K为该第一子图的区域范围，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，

为该第一子图内部各像素点的平均像素值。

6.根据权利要求2至3中任一所述的方法，其特征在于，所述确定该第一子图与该第二子图之间的平均像素误差，包括：

通过公式：

确定该第一子图与该第二子图之间的平均像素误差，其中，MSE₂为该第一子图与该第二子图之间的平均像素误差，(m,n)为该第一子图内部的像素点在图像像素坐标系下的坐标，f₁(m,n)为该第一子图内部的像素点(m,n)的像素值，i为在图像像素坐标系下该第二子图相对于该第一子图的水平平移量，j为在图像像素坐标系下该第二子图相对于该第一子图的垂直平移量，(m+i,n+j)为像素点(m,n)在该第二子图对应的像素点的坐标，f₂(m+i,n+j)为该第二子图内部的像素点(m+i,n+j)的像素值。

7.一种基于鱼眼相机的三维模型获得方法，其特征在于，包括：

获得至少一个鱼眼相机对目标场景采集的场景图像组；

根据各所述鱼眼相机相匹配的单目校正参数，分别对各所述鱼眼相机采集的所述场景图像组进行单目校正，获得至少一个单目校正图像组；

将各单目校正图像组中采集时刻相同的两个图像确定为待校正图像对，对各所述待校正图像对使用与所述待校正图像对对应的两个所述鱼眼相机相匹配的双目校正参数进行双目校正，获得至少一个已校正图像对，其中，所述已校正图像对包括第一待匹配图像和第二待匹配图像；

使用权利要求1至6中任一项所述视差图获得方法，对各已校正图像对进行图像匹配，获得至少一个视差图；

根据与所述待校正图像对对应的两个所述鱼眼相机相匹配的双目校正参数以及所述至少一个视差图进行三维重建，获得与所述目标场景对应的三维模型。

8.根据权利要求7所述的方法，其特征在于，所述至少一个鱼眼相机中的各鱼眼相机的相对位置固定。

9.一种视差图获得装置，其特征在于，包括：待匹配图像获得单元、第一划分单元、内部平均差异值确定单元、第二划分单元、视差值确定单元以及第一视差图获得单元，

所述待匹配图像获得单元，用于获得第一待匹配图像和第二待匹配图像；

所述第一划分单元，用于将所述第一待匹配图像划分为M×N个第一子图；

所述内部平均差异值确定单元，用于分别确定各第一子图的内部平均差异值；

所述第二划分单元，用于将所述各第一子图的内部平均差异值分别与预设差异阈值比较，将内部平均差异值大于所述预设差异阈值的第一子图继续划分为M×N张第一子图，直至各第一子图的内部平均差异不大于所述预设差异阈值时，确定划分完成；

所述视差值确定单元，用于按照预设的视差值确定顺序，依次对划分完成后的第一子图进行如下处理：在所述第二待匹配图像中确定与该第一子图对应的至少一个第二子图，根据该第一子图和该至少一个第二子图，确定该第一子图的视差值；

所述第一视差图获得单元，用于根据各第一子图的视差值，获得视差图。

10.一种基于鱼眼相机的三维模型获得装置，其特征在于，包括：场景图像组获得单元、单目校正图像组获得单元、已校正图像对获得单元、第二视差图获得单元以及三维模型获得单元，

所述场景图像组获得单元，用于获得至少一个鱼眼相机对目标场景采集的场景图像组；

所述单目校正图像组获得单元，用于根据各所述鱼眼相机相匹配的单目校正参数，分别对各所述鱼眼相机采集的所述场景图像组进行单目校正，获得至少一个单目校正图像组；

所述已校正图像对获得单元，用于将各单目校正图像组中采集时刻相同的两个图像确定为待校正图像对，对各所述待校正图像对使用与所述待校正图像对对应的两个所述鱼眼相机相匹配的双目校正参数进行双目校正，获得至少一个已校正图像对，其中，所述已校正图像对包括第一待匹配图像和第二待匹配图像；

所述第二视差图获得单元，用于使用权利要求1至6中任一项所述视差图获得方法，对各已校正图像对进行图像匹配，获得至少一个视差图；

所述三维模型获得单元，用于根据与所述待校正图像对对应的两个所述鱼眼相机相匹配的双目校正参数以及所述至少一个视差图进行三维重建，获得与所述目标场景对应的三维模型。

Images