CN116912329A - 一种双目视觉最佳精度测量方法 - Google Patents

Abstract

本发明采用一种双目视觉最佳精度测量方法，该图像获取方法包括：提供一相机，所述相机用于拍摄待拍摄图像；调节所述相机的第一焦距，并获取多个第一图像；其中，所述多个第一图像为所述相机不同所述第一焦距下拍摄所述待拍摄图像得到的图像；从多个所述第一图像中选择最清晰的作为第二图像，并记录所述第二图像对应的相机的第二焦距；调节所述相机至所述第二焦距；通过改变相机的焦距实现自动调焦，实现了超高分辨率的成像，从而提高了双目测距的精度。

Description

一种双目视觉最佳精度测量方法

技术领域

本发明涉及图像测距技术领域，尤其涉及一种双目视觉最佳精度测量方法。

背景技术

双目视觉技术是一种基于机器视觉的视觉测量方法，它以数字图像为基础，提取并匹配相机拍摄的图像的特征点，建立相机成像的数学模型，计算出被测物体在三维空间中的位置和尺寸信息。测量技术的重大突破得益于双目视觉的发展，它促进了非接触式测量在自动驾驶、机器人导航、安全监测和三维重建等领域的广泛应用。

双目视觉从二维成像图像中还原三维信息；双眼测量的准确性与图像的成像质量密切相关，并受到环境、焦距、相机校准和相机聚焦情况等因素的影响。目前的双目视觉技术中不能自动变焦，导致图像质量不佳。

因此亟需要一种能够解决上述问题的双目视觉最佳精度测量方法。

发明内容

为克服上述问题，本发明提供了一种双目视觉最佳精度测量方法，通过改变相机的焦距，实现了超高分辨率的成像，从而提高了双目测距的精度。

第一方面，本申请提供一种双目视觉最佳精度测量方法，包括：

提供一相机，所述相机用于拍摄待拍摄图像；

调节所述相机的第一焦距，并获取多个第一图像；其中，所述多个第一图像为所述相机不同所述第一焦距下拍摄所述待拍摄图像得到的图像；

从多个所述第一图像中选择最清晰的作为第二图像，并记录所述第二图像对应的相机的第二焦距；

调节所述相机至所述第二焦距。

在本申请的部分实施例中，所述从多个所述第一图像中选择最清晰的作为第二图像，并记录所述第二图像对应的相机的第二焦距的步骤包括：

采用第一函数对每一所述第一图像进行清晰度评价，所述第一函数使用Sobel算子来提取水平和垂直方向的梯度值，所述梯度值用于表征所述清晰度。

在本申请的部分实施例中，所述Sobel算子的卷积核公式为：

第一图像在(x,y)点的梯度的梯度值为：

在本申请的部分实施例中，所述从多个所述第一图像中选择最清晰的作为第二图像，并记录所述第二图像对应的相机的第二焦距的步骤包括：

采用第二函数对每一所述第一图像进行清晰度评价，所述第二函数用于计算第一图像的锐度值，所述锐度值用于表征所述清晰度。

在本申请的部分实施例中，所述采用第二函数对每一所述第一图像进行清晰度评价的步骤包括：

获取一所述第一图像，并在所述第一图像上标记处第一中心位置；

在所述第一图像上选取第一区域，所述第一区域具有第二中心位置；其中，所述第二中心位置与所述第一中心位置重合；

对所述第一区域进行锐度计算。

在本申请的部分实施例中，每一所述第一图像的第一区域为同一区域。

在本申请的部分实施例中，所述相机至少包括第一子相机和第二子相机，所述获取多个第一图像的步骤包括：

第一子相机获取第一子图像，第二子相机获取第二子图像；

将所述第一子图像和所述第二子图像拼合，且第一子图像和第二子图像至少部分重叠形成第二区域；

在所述第一子图像和第二子图像上标记处第三区域，所述第三区域限定出第一图像；其中，所述第三区域覆盖所述第二区域。

在本申请的部分实施例中，所述第二区域位于所述第三区域的中间位置。

在本申请的部分实施例中，所述第一子图像的点位坐标为p1(u1,v1)，第二子图像的点位坐标为p2(u2,v2)，第一图像的点位坐标为P(Xw,Yw,Zw)；第一图像的点位坐标的计算公式为：

其中，m为第一子相机的内外参数，M为第二子相机的内外参数；且mij(1≤i≤4，1≤j≤3)和Mij(1≤i≤4，1≤j≤3)。

本发明的有益效果是：本发明采用一种双目视觉最佳精度测量方法，该图像获取方法包括：提供一相机，所述相机用于拍摄待拍摄图像；调节所述相机的第一焦距，并获取多个第一图像；其中，所述多个第一图像为所述相机不同所述第一焦距下拍摄所述待拍摄图像得到的图像；从多个所述第一图像中选择最清晰的作为第二图像，并记录所述第二图像对应的相机的第二焦距；调节所述相机至所述第二焦距；通过改变相机的焦距实现自动调焦，实现了超高分辨率的成像，从而提高了双目测距的精度。

附图说明

图1为本发明一实施例提供的双目视觉最佳精度测量方法的步骤图；

图2为本发明一实施例提供的第一子图像和第二子图像的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

需要说明的是，双目视觉从二维成像图像中还原三维信息。双眼测量的准确性与图像的成像质量密切相关，并受到环境、焦距、相机校准和相机聚焦情况等因素的影响。其他人提出了一种基于双目变焦的超分辨率成像的方法来提高双目系统的测距精度。通过改变相机的焦距，实现了超高分辨率的成像，从而提高了双目测距的精度。上述研究方法都忽略了光照条件和像差对成像的影响。图像质量对双目测距精度有重要影响。由于光学像差的空间变化，在镜头设计过程中无法避免他们并没有研究受像差影响的图像质量对双眼视觉的准确性的影响。

因此，本申请基于此对传统的双目视觉最佳精度测量方法进行了改进。

请参阅图1和图2，图1示出了本实施例提供的双目视觉最佳精度测量方法的步骤示意图。本实施例提供一种双目视觉最佳精度测量方法，包括：

S100：提供一相机，相机用于拍摄待拍摄图像；

S200：调节相机的第一焦距，并获取多个第一图像；其中，多个第一图像为相机不同第一焦距下拍摄待拍摄图像得到的图像；

S300：从多个第一图像中选择最清晰的作为第二图像，并记录第二图像对应的相机的第二焦距；

S400：调节相机至第二焦距。

需要解释的是，双目测距的前提是要采集清晰的图像，而自动对焦是相机获得清晰图像的必要过程。图像的清晰度是判断采集到的图像是否合格的一个重要标准。人眼判断图像是否清晰有很强的主观性，肉眼无法发现清晰度的细微差别，所以在图像采集过程中统一清晰度的评价标准非常重要。计算机可以根据某种标准在一组图像中选择最清晰的图像，这种标准称为锐度评价功能。

相机对焦时，有一个调整对焦位置的过程，图像从模糊到清晰，再到模糊。图像清晰度是一个评价函数，用于指导对焦过程寻找焦点位置。在本申请的实施例中，调节焦距的过程为传感器和镜头之间的距离由程序不断调整，收集一系列从模糊到清晰再到模糊的图像。每次调整都会计算当前对焦位置的画面清晰度值，并记录最大图像清晰度值的对焦位置参数。调整完成后，控制电机驱动镜头到锐度值最大时的对焦位置，完成整个对焦过程。通过改变相机的焦距实现自动调焦，实现了超高分辨率的成像，从而提高了双目测距的精度。

在本申请的部分实施例中，从多个第一图像中选择最清晰的作为第二图像，并记录第二图像对应的相机的第二焦距的步骤包括：

采用第一函数对每一第一图像进行清晰度评价，第一函数使用Sobel算子来提取水平和垂直方向的梯度值，梯度值用于表征清晰度。

在本申请的部分实施例中，Sobel算子的卷积核公式为：

第一图像在(x,y)点的梯度的梯度值为：

可以理解的是，当图像失焦时，其边缘细节是模糊的，而当失焦时，其边缘细节是清晰的。这一特征在空间域中表现为图像失焦时相邻像素之间特征值的大小变化，如灰度、纹理和颜色等。因此，图像的梯度信息可以作为图像锐度评价的基础。其中，第一函数为Tenengrad函数。以Tenengrad函数作为自动对焦系统的清晰度评价函数，建立了由电动镜头模块、图像采集模块、清晰度评价模块和镜头控制模块组成的对焦系统。它为在后续的视觉测量中获得被测物的清晰图像奠定了基础

在本申请的部分实施例中，从多个第一图像中选择最清晰的作为第二图像，并记录第二图像对应的相机的第二焦距的步骤包括：

采用第二函数对每一第一图像进行清晰度评价，第二函数用于计算第一图像的锐度值，锐度值用于表征清晰度。

需要解释的是，在实践中，光学系统的成像是不完美的，偏离了理想的高斯光学系统。光线通过光学系统的每个表面会形成各种像差，导致成像的模糊、失真和其他缺陷。这最终导致图像中心区域的成像质量高于图像边缘区域。

在本申请的部分实施例中，采用第二函数对每一第一图像进行清晰度评价的步骤包括：

获取一第一图像，并在第一图像上标记处第一中心位置；

在第一图像上选取第一区域，第一区域具有第二中心位置；其中，第二中心位置与第一中心位置重合；

对第一区域进行锐度计算。

在本申请的部分实施例中，每一第一图像的第一区域为同一区域。

传统的锐度评价功能研究图像在不同焦点位置的锐度变化。在本申请中的实施例中旨在研究锐利聚焦图像中不同位置的锐度分布。模板由7×13个基本单元组成，每个单元由5×5的黑白棋盘组成，分布在基本单元中间的实心圆用于定位和识别。图像中间区域的清晰度要高于边缘区域。为了保证每个单元计算的区域大小一致，每个单元的一个ROI区域(对应第一区域)被选为整个区域的评级。

同一画面不同位置的清晰度由清晰度评价函数来判断。在统计图像灰度值的基础上，设计了一个锐度评价函数，用来研究图像平面成像质量差异的分布规律。其原理如下：本实验的被测对象为黑白棋盘。在理想的成像条件下，当图像清晰成像时，只有黑白两种颜色，也就是说，图像的灰度值只有0和255。然而，由于镜头的像差和各种残余像差的综合影响，图像的每个区域的成像质量是不同的。成像质量越差，黑白棋盘的边界就越模糊，图像的黑白区域之间的过渡区就越宽，产生的其他像素值就越多。同样，图像质量越好，黑白棋盘的边界越清晰，图像的黑白区域之间的过渡区越窄，产生其他灰度值的像素越少。因此，要计算焦平面各部分灰度值为255的像素数量，数量越大，锐度值越高。在本文中，这种锐度计算方法被命名为Count Point函数。表示像素中任何一点的像素值，x表示像素的横坐标，y表示像素的横坐标。Eval的初始值为0。

实验的具体步骤如下：

1.图像预处理。首先，将拍摄的BGR图像转换为灰度图像，以减少后续图像处理操作的计算量，并进行滤波操作，减少噪声对后续计算的影响。

2.识别圆心(对应第一中心位置)。使用Hough变换圆检测算法来识别每个基本单元上的标记圆，并记录圆心的坐标。

3.建立一个感兴趣的区域(ROI)。建立一个正方形的ROI区域，以标志圆的中心为中心，边长为200像素。

4.锐度评估。使用计数点功能计算ROI区域的锐度值。

在本申请的部分实施例中，相机至少包括第一子相机和第二子相机，获取多个第一图像的步骤包括：

第一子相机获取第一子图像，第二子相机获取第二子图像；

将第一子图像和第二子图像拼合，且第一子图像和第二子图像至少部分重叠形成第二区域；

在第一子图像和第二子图像上标记处第三区域，第三区域限定出第一图像；其中，第三区域覆盖第二区域。

在本申请的部分实施例中，第二区域位于第三区域的中间位置。

根据光学成像的原理，由于图像场差、色散等因素，图像中心的图像质量要高于图像边缘。因此，在测距过程中，当被测物被放置在相机视场的最中心时，测量精度会更高。然而，双目测距要求被测者处于两台相机的共同视场中，所以当相机平行放置时，被测者不可能同时处于两台相机的最中心视场中。双目成像视场的分布如图2所示。在物体位于两台相机共同视场的前提下，本文将双眼的共同视场进一步划分为三个区域：A区(对应第二区域)位于两台相机的清晰视场内，B区位于一台相机的清晰视场内，C区位于两台相机的清晰视场外。

理论上，平行双目测距在A区和B区的精度要比C区高，平行双目测距时，应保证物体同时位于两台相机的视场内，并尽可能使物体处于两台相机清晰视场的交汇处，即A区，以获得更高的测距精度。

在本申请的部分实施例中，第一子图像的点位坐标为p1(u1,v1)，第二子图像的点位坐标为p2(u2,v2)，第一图像的点位坐标为P(Xw,Yw,Zw)；第一图像的点位坐标的计算公式为：

其中，m为第一子相机的内外参数，M为第二子相机的内外参数；且mij(1≤i≤4，1≤j≤3)和Mij(1≤i≤4，1≤j≤3)。

具体地，对于点p1和点p2，有以下关系： 将上述公式矩阵中第三行的方程中的Zc代入第一行和第二行可以简化得到：

最终得到：

相机标定的实质是建立世界坐标系中点和像素坐标系中点的对应关系，然后用数学方法解决外参数矩阵和内参数矩阵的过程。本申请中通过校准法建立标定对象图像上的特征点与世界坐标系之间的关系，求出相机的内、外参数值。用Matlab作为标定工具来标定和计算相机的内外参数。

当相机标定完成后，两台相机的参数mij(1≤i≤4，1≤j≤3)和Mij(1≤i≤4，1≤j≤3)是已知的，所以根据计算模型，只要在左右两台相机中计算出空间中某一点的像素坐标，即可得到该点的世界坐标。因此，空间中任意两点之间的距离可以通过找到空间中任意两点的世界坐标来计算。

需要解释的是，本申请的双目视觉最佳精度测量方法可用于测距领域；由于测距的前提是首先要保证拍摄到清晰的图像，本申请中通过自动对焦来提高图像清晰度。进一步地，在设计模板和功能的基础上，对单眼成像各区域的清晰度进行评估，去分析单眼最佳视野。更进一步地，根据单眼成像的最佳视场分布，结合双眼测距的实际情况，来分析双眼成像的最佳视场分布。更进一步地，根据双目成像的最佳视场分布情况，对各区域进行实验验证，确定双目测距的最佳视场。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考，但与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

以上对本申请实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种双目视觉最佳精度测量方法，其特征在于，包括：

提供一相机，所述相机用于拍摄待拍摄图像；

调节所述相机的第一焦距，并获取多个第一图像；其中，所述多个第一图像为所述相机不同所述第一焦距下拍摄所述待拍摄图像得到的图像；

从多个所述第一图像中选择最清晰的作为第二图像，并记录所述第二图像对应的相机的第二焦距；

调节所述相机至所述第二焦距。

2.根据权利要求1所述的双目视觉最佳精度测量方法，其特征在于，所述从多个所述第一图像中选择最清晰的作为第二图像，并记录所述第二图像对应的相机的第二焦距的步骤包括：

采用第一函数对每一所述第一图像进行清晰度评价，所述第一函数使用Sobel算子来提取水平和垂直方向的梯度值，所述梯度值用于表征所述清晰度。

3.根据权利要求2所述的双目视觉最佳精度测量方法，其特征在于，所述Sobel算子的卷积核公式为：

第一图像在(x,y)点的梯度的梯度值为：

4.根据权利要求1所述的双目视觉最佳精度测量方法，其特征在于，所述从多个所述第一图像中选择最清晰的作为第二图像，并记录所述第二图像对应的相机的第二焦距的步骤包括：

采用第二函数对每一所述第一图像进行清晰度评价，所述第二函数用于计算第一图像的锐度值，所述锐度值用于表征所述清晰度。

5.根据权利要求4所述的双目视觉最佳精度测量方法，其特征在于，所述采用第二函数对每一所述第一图像进行清晰度评价的步骤包括：

获取一所述第一图像，并在所述第一图像上标记处第一中心位置；

在所述第一图像上选取第一区域，所述第一区域具有第二中心位置；其中，所述第二中心位置与所述第一中心位置重合；

对所述第一区域进行锐度计算。

6.根据权利要求5所述的双目视觉最佳精度测量方法，其特征在于，每一所述第一图像的第一区域为同一区域。

7.根据权利要求1所述的双目视觉最佳精度测量方法，其特征在于，所述相机至少包括第一子相机和第二子相机，所述获取多个第一图像的步骤包括：

第一子相机获取第一子图像，第二子相机获取第二子图像；

将所述第一子图像和所述第二子图像拼合，且第一子图像和第二子图像至少部分重叠形成第二区域；

在所述第一子图像和第二子图像上标记处第三区域，所述第三区域限定出第一图像；其中，所述第三区域覆盖所述第二区域。

8.根据权利要求7所述的双目视觉最佳精度测量方法，其特征在于，所述第二区域位于所述第三区域的中间位置。

9.根据权利要求7所述的双目视觉最佳精度测量方法，其特征在于，所述第一子图像的点位坐标为p1(u1,v1)，第二子图像的点位坐标为p2(u2,v2)，第一图像的点位坐标为P(Xw,Yw,Zw)；第一图像的点位坐标的计算公式为：

其中，m为第一子相机的内外参数，M为第二子相机的内外参数；且mij(1≤i≤4，1≤j≤3)和Mij(1≤i≤4，1≤j≤3)。