CN110470216A - 一种三镜头高精度视觉测量方法及装置 - Google Patents

Abstract

本申请公开了一种三镜头高精度视觉测量方法及装置，该三镜头高精度视觉测量方法包括：通过所述中间镜头对目标进行拍照并进行单目摄像头标定；通过所述左侧镜头与所述右侧镜头对所述目标进行拍照并进行双目摄像头深度计算；将所述双目摄像头深度计算的结果与所述单目摄像头标定的结果进行重投影计算，得到所述单目摄像头标定的每个像素点均对应到所述双目摄像头深度计算所得到的深度信息；计算所述目标的尺寸。本申请采用低分辨率双目与高精度单目摄像头配合，成本低，重量轻，同时能够与两个相同高分辨率摄像头的计算精度相近。

Description

一种三镜头高精度视觉测量方法及装置

技术领域

本申请涉及视觉测量领域，尤其涉及一种三镜头高精度视觉测量方法及装置。

背景技术

在视觉测量领域，一旦涉及尺寸的测量问题，都必须已知或间接计算出目标相对于摄像头之间的距离(深度信息)。也就是在未知深度信息的整个尺寸测量过程中，需要有两个计算过程：1.深度计算；2.尺寸计算。这两个过程，对于摄像头的分辨率要求也不一样。例如在桥梁裂缝测量领域，要求对于裂缝的宽度测量精度要达到0.1mm，而对于深度的测量精度要求并没有那么高。因此，如果在这种任务中，直接用两个高精度的摄像头进行测量，不仅仅会造成设备造价极高，同时会大大加重设备重量，在载体对负载有重量要求的情况下(如用无人机做载体)，则无法工作；如果选用两组低成本、低像素摄像头，则对于宽度的计算精度将远远达不到。当然，也有用激光雷达与单目摄像头相结合的方案，但是激光雷达造价更高，并且激光雷达的深度数据与摄像头获取的图像之间不能建立起点与点的对应关系，不能讲深度对应到图像中的点上，因此会存在极大地计算误差。

发明内容

本发明主要解决的技术问题是提供一种三镜头高精度视觉测量装置，通过单目高分辨率摄像头与双目低分辨率摄像头之间的像素点位置重投影，将双目的深度信息赋予单目摄像头的每个像素处，使得系统能够实现对于目标尺寸的高精度测量目的。

为解决上述技术问题，本发明提供一种三镜头高精度视觉测量方法，其中，三镜头包括中间镜头、左侧镜头以及右侧镜头，中间镜头位于左侧镜头与右侧镜头之间，且中间镜头与左侧镜头之间的距离等于中间镜头与右侧镜头之间的距离，三镜头高精度视觉测量方法包括：通过中间镜头对目标进行拍照并进行单目摄像头标定；通过左侧镜头与右侧镜头对目标进行拍照并进行双目摄像头深度计算；将双目摄像头深度计算的结果与单目摄像头标定的结果进行重投影计算，得到单目摄像头标定的每个像素点均对应到双目摄像头深度计算所得到的深度信息；计算所述目标的尺寸。

在通过中间镜头对目标进行单目摄像头标定的步骤中，获取中间镜头的焦距、在x方向的尺度因子、在y方向的尺度因子以及实际光学中心与理论中心的像素偏移量。

在通过所述左侧镜头与右侧镜头对目标进行双目摄像头深度计算的步骤中，包括子步骤：

在左侧镜头以及右侧镜头上分别拍摄目标的图像；

找到两幅图像的所有特征点；

由特征匹配算法计算出两幅图像的特征点之间的特征点对；

有特征点对在两幅所述图像中计算每个点处的深度信息。

在所述步骤将双目摄像头深度计算的结果与单目摄像头标定的结果进行投影计算，得到单目摄像头标定的每个像素点均对应到双目摄像头深度计算所得到的深度信息中，具体包括：

设定[u v]为图像坐标，为上述步骤中标定出来的所述在x方向的尺度因子、所述在y方向的尺度因子，[u₀ v₀]为标定出来的偏移量，[X_c Y_c Z_c]为点P在中间镜头坐标系中的坐标位置，得出：

在左侧镜头所拍摄的照片中的点P的像素坐标[u₁ v₁]反点P再左镜头坐标系中的坐标P(X₁ Y₁ Z₁)：

因中间镜头与左侧镜头之间只有一个平移量t＝[0 L 0]，其中L为中间镜头与左侧镜头或右侧镜头之间的距离，点P在中间镜头坐标系中的坐标为：

结合公式(1)与公式(3)，可以得出：

通过公式(2)、公式(3)以及公式(4)，计算出单目摄像头标定的每个像素点的深度信息。

其中，中间镜头、左侧镜头以及右侧镜头的光轴平行。

其中，左侧镜头与右侧镜头的像素相同，中间镜头的像素高于左侧镜头以及右侧镜头的像素。

为解决上述技术问题，本申请还提供了一种三镜头高精度视觉测量装置，包括：

安装连接件；中间镜头，设置于所述安装连接件上；左侧镜头以及右侧镜头，设置于所述安装连接件上，且所述中间镜头位于所述左侧镜头以及所述右侧镜头之间，所述左侧镜头与所述中间镜头之间的距离等于所述右侧镜头与所述中间镜头的距离，所述中间镜头、所述左侧镜头以及所述右侧镜头的光轴平行，所述中间镜头的像素高于所述左侧镜头以及所述右侧镜头的像素；处理器，所述处理器连接所述中间镜头、所述左侧镜头以及所述右侧镜头；存储器，与所述处理器连接，所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至7任一项所述的方法。

其中，中间镜头、左侧镜头以及右侧镜头的光轴垂直于同一条直线。

为解决上述技术问题，本申请还提供一种具有存储功能的装置，存储有能够被处理器运行的程序指令，所述程序指令用于实现上述三镜头高精度视觉测量方法。

本发明的有益效果是：区别于现有技术，本申请通过单目高分辨率摄像头与双目低分辨率摄像头之间的像素点位置重投影，将双目的深度信息赋予单目摄像头的每个像素处，使得系统能够实现对于目标尺寸的高精度测量目的，本申请采用低分辨率双目与高精度单目摄像头配合，成本低，重量轻，同时能够与两个相同高分辨率摄像头的计算精度相近。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1是本申请三镜头高精度视觉测量方法的三目摄像头一实施例的安装示意图；

图2是本申请三镜头高精度视觉测量方法一实施例的流程示意图；

图3是本申请三镜头高精度视觉测量方法子步骤一实施例的流程示意图；

图4是本申请三镜头高精度视觉测量方法的双目摄像头一实施例的深度解算示意图；

图5是本申请三镜头高精度视觉测量方法一实施例的重投影模型示意图；

图6是本申请三镜头高精度视觉测量装置一实施例的结构示意图；

图7是本申请存储介质的一实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。

请参阅图1，图1是三镜头高精度视觉测量方法的三目摄像头一实施例的安装示意图，具体地：

三目摄像头的安装如图1所示，装置系统由两个低成本、低分辨率的摄像头101、摄像头103和一个高分辨率摄像头102组成，共同安装在连接件100上，需要保证双目摄像头与单目摄像头的光轴保持平行。两个低分辨率摄像头组成双目测距系统，并且已知双目摄像头的基线距离B，以及单目摄像头与双目左侧摄像头的安装距离差L。

请参阅图2和图3，图2是本申请三镜头高精度视觉测量方法一实施例的流程示意图，图3是本申请三镜头高精度视觉测量方法子步骤一实施例的流程示意图。在本实施例中三镜头高精度视觉测量方法包括如下步骤：

S201：通过中间镜头对目标进行拍照并进行单目摄像头标定。

三镜头包括中间镜头、左侧镜头以及右侧镜头，中间镜头位于左侧镜头与右侧镜头之间，且中间镜头与左侧镜头之间的距离等于中间镜头与所述右侧镜头之间的距离。

在通过中间镜头对目标进行单目摄像头标定的步骤中，获取中间镜头的焦距、在x方向的尺度因子、在y方向的尺度因子以及实际光学中心与理论中心的像素偏移量。

具体地，单目摄像头的标定原理很简单，借助张氏标定法，主要目的是获取相机的内参数据，包括f_*,dx_*,dy_*,u_*0,v_*0(*＝1,2,3),f_*代表相机的焦距，f_*/dx_*代表相机在x方向的尺度因子，f_*/dy_*代表相机在y方向的尺度因子，u_*0,v_*0代表相机实际光学中心与理论中心的像素偏移量。

在一具体地实施例中，中间镜头、左侧镜头以及右侧镜头的光轴平行。其中，左侧镜头与右侧镜头的像素相同，中间镜头的像素高于左侧镜头以及右侧镜头的像素。优选地，左侧镜头以及右侧镜头为低分辨率相机，中间镜头的相机为高分辨率相机，左侧镜头的相机焦距f＝f₁，f₁/dx₁代表左侧镜头的相机在x方向的尺度因子，f₁/dy₁代表左侧镜头在y方向的尺度因子，u₁₀，v₁₀代表左侧镜头的相机实际光学中心和理论中心的像素偏移量；中间镜头的相机焦距f＝f₂，f₂/dx₂代表中间镜头的相机在x方向的尺度因子，f₂/dy₂代表中间镜头在y方向的尺度因子，u₂₀，v₂₀代表中间镜头的相机实际光学中心和理论中心的像素偏移量；右侧镜头的相机焦距f＝f₃，f₃/dx₃代表右侧镜头的相机在x方向的尺度因子，f₃/dy₃代表右侧镜头在y方向的尺度因子，u₃₀，v₃₀代表右侧镜头的相机实际光学中心和理论中心的像素偏移量。

S202：通过左侧镜头与右侧镜头对目标进行拍照并进行双目摄像头深度计算。

请参阅图3，图3是本申请三镜头高精度视觉测量方法子步骤一实施例的流程示意图。在通过左侧镜头与右侧镜头对目标进行双目摄像头深度计算的步骤中，包括子步骤：

S2021：在左侧镜头以及右侧镜头上分别拍摄目标的图像。

双目摄像头深度结算的原理为：三维世界中有一点P，在左右两摄像头上分别成像，其中在做摄像头上成像位置为x^l，在右侧摄像头上的成像位置为x^r，图中O_l和O_r分别为量摄像头的成像中心，B为双目系统的基线长度(即量摄像头的安装距离)，f＝f₁＝f₃为低分辨率相机的焦距，d＝x^l-x^r为视差，Z为所需计算的深度信息，则计算过程为：

S2022：找到两幅所述图像的所有特征点。

通过上述计算找到左右两幅图像的所有特征点，如SIFT特征、SURF特征等。

S2023：由特征匹配算法计算出两幅图像的特征点之间的特征点对。

由特征匹配算法计算出左右两组特征点之间的特征点对，其中每一组特征点对对应真实物理世界的同一个点在左右两幅图像上所成的像。

S2024：由特征点对在两幅图像中计算每个点处的深度信息。

由特征点对在左右两幅图像的位置x^l，x^r来计算每个点处的深度信息Z。

S203：将双目摄像头深度计算的结果与单目摄像头标定的结果进行重投影计算，得到单目摄像头标定的每个像素点均对应到双目摄像头深度计算所得到的深度信息。

具体地，重投影计算的目的，是为了将高分辨率单目摄像头的每个像素点能够对应到双目摄像头的像素位置处，从而可以得到高分辨率图像每个像素点处所对应的深度信息，以供后面的目标尺寸计算使用。

请参阅图5，图5是本申请三镜头高精度视觉测量方法一实施例的重投影模型示意图，推导过程为：

设定[u v]为图像坐标，为步骤S201中标定出来的在x方向的尺度因子、在y方向的尺度因子，[u₀ v₀]为标定出来的偏移量，[X_c Y_c Z_c]为点P在中间镜头坐标系中的坐标位置，得出：

在左侧镜头所拍摄的照片中的点P的像素坐标[u₁ v₁]反点P再左镜头坐标系中的坐标P(X₁ Y₁ Z₁)：

因中间镜头与左侧镜头之间只有一个平移量t＝[0 L 0]，其中L为中间镜头与左侧镜头或右侧镜头之间的距离，点P在中间镜头坐标系中的坐标为：

结合公式(1)与公式(3)，可以得出：

通过公式(2)、公式(3)以及公式(4)，计算出单目摄像头标定的每个像素点的深度信息。

S204：计算目标的尺寸。

首先，由成像模型，dx为相机单个像素的物理尺寸，则由可以计算出单个像素所代表的物距为1m时的物理尺寸长度。

其次，l与深度Z_c的乘积l*Z_c即是在Z_c米时，一个像素点所代表的的物理尺寸长度。

接着，我们用目标分割算法，将要测量的目标分割出来，并计算目标的像素宽度w。

最后，用像素宽度w乘以一个像素点所代表的物理尺寸长度l*Z_c，即为目标的真实物理尺寸：W＝w*l*Z_c。

通过上述方式，本申请通过单目高分辨率摄像头与双目低分辨率摄像头之间的像素点位置重投影，将双目的深度信息赋予单目摄像头的每个像素处，使得系统能够实现对于目标尺寸的高精度测量目的，本申请采用低分辨率双目与高精度单目摄像头配合，成本低，重量轻，同时能够与两个相同高分辨率摄像头的计算精度相近。

基于总的发明构思，本申请还提出了一种三镜头高精度视觉测量装置，请参阅图6，图6是一种三镜头高精度视觉测量装置的结构示意图。本实施例的三镜头高精度视觉测量装置包括以下器件:

左侧镜头601、中间镜头602、右侧镜头603、安装连接件604、处理器605以及存储器606。其中，中间镜头602设置与安装连接件604上；左侧镜头601以及右侧镜头603，设置与安装连接件604上，且中间镜头602位于左侧镜头601以及右侧镜头603之间，左侧镜头601与中间镜头602之间的距离等于右侧镜头603与中间镜头602的距离，中间镜头602、左侧镜头601以及右侧镜头603的光轴平行，中间镜头602的像素高于左侧镜头601以及右侧镜头603的像素。

其中，处理器605耦合连接左侧镜头601、中间镜头602以及右侧镜头603，存储器606耦合连接处理器605，处理器605用于执行存储器存储的程序指令。

基于总的发明构思，本申请还提出了一种具有存储介质，请参阅图7，图7是本申请存储介质的一实施例的结构示意图。存储介质70中存储有能够被处理器运行的程序指令71，程序指令71可以为程序或指令，该程序指令能够被执行以实现上述任一三镜头高精度视觉测量方法。

在一个实施例中，存储介质70可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，处理器或存储器的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个处理器与存储器实现的功能可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或连接可以是通过一些接口，装置或单元的间接耦合或连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的有益效果是：区别于现有技术，本申请通过单目高分辨率摄像头与双目低分辨率摄像头之间的像素点位置重投影，将双目的深度信息赋予单目摄像头的每个像素处，使得系统能够实现对于目标尺寸的高精度测量目的，本申请采用低分辨率双目与高精度单目摄像头配合，成本低，重量轻，同时能够与两个相同高分辨率摄像头的计算精度相近。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种三镜头高精度视觉测量方法，其特征在于，所述三镜头包括中间镜头、左侧镜头以及右侧镜头，所述中间镜头位于所述左侧镜头与所述右侧镜头之间，且所述中间镜头与所述左侧镜头之间的距离等于所述中间镜头与所述右侧镜头之间的距离，所述方法包括：

通过所述中间镜头对目标进行拍照并进行单目摄像头标定；

通过所述左侧镜头与所述右侧镜头对所述目标进行拍照并进行双目摄像头深度计算；

将所述双目摄像头深度计算的结果与所述单目摄像头标定的结果进行重投影计算，得到所述单目摄像头标定的每个像素点均对应到所述双目摄像头深度计算所得到的深度信息；

计算所述目标的尺寸。

2.根据权利要求1所述的方法，其特征在于，在所述通过所述中间镜头对目标进行单目摄像头标定的步骤中，获取所述中间镜头的焦距、在x方向的尺度因子、在y方向的尺度因子以及实际光学中心与理论中心的像素偏移量。

3.根据权利要求2所述的方法，其特征在于，在所述通过所述左侧镜头与所述右侧镜头对所述目标进行双目摄像头深度计算的步骤中，包括子步骤：

在所述左侧镜头以及所述右侧镜头上分别拍摄所述目标的图像；

找到两幅所述图像的所有特征点；

由特征匹配算法计算出两幅所述图像的所述特征点之间的特征点对；

由所述特征点对在两幅所述图像中计算每个点处的深度信息。

4.根据权利要求3所述的方法，其特征在于，在所述步骤将所述双目摄像头深度计算的结果与所述单目摄像头标定的结果进行投影计算，得到所述单目摄像头标定的每个像素点均对应到所述双目摄像头深度计算所得到的深度信息中，具体包括：

设定[u，v]为图像坐标，为权利要求1中标定出来的所述在x方向的尺度因子、所述在y方向的尺度因子，[u₀，v₀]为标定出来的所述偏移量，[X_c Y_c Z_c]为点P在中间镜头坐标系中的坐标位置，得出：

在所述左侧镜头所拍摄的照片中的所述点P的像素坐标[u₁ v₁]反所述点P再左镜头坐标系中的坐标P(X₁ Y₁ Z₁)：

因所述中间镜头与所述左侧镜头之间只有一个平移量t＝[0 L 0]，其中L为所述中间镜头与所述左侧镜头或所述右侧镜头之间的距离，所述点P在所述中间镜头坐标系中的坐标为：

结合公式(1)与公式(3)，可以得出：

通过公式(2)、公式(3)以及公式(4)，计算出所述单目摄像头标定的每个像素点的深度信息。

5.根据权利要求1所述的方法，其特征在于，所述中间镜头、所述左侧镜头以及所述右侧镜头的光轴平行。

6.根据权利要求5所述的方法，其特征在于，所述中间镜头、所述左侧镜头以及所述右侧镜头的光轴垂直于同一条直线。

7.根据权利要求1所述的方法，其特征在于，所述左侧镜头与所述右侧镜头的像素相同，所述中间镜头的像素高于所述左侧镜头以及所述右侧镜头的像素。

8.一种三镜头高精度视觉测量装置，其特征在于，所述装置包括：

安装连接件；

中间镜头，设置于所述安装连接件上；

左侧镜头以及右侧镜头，设置于所述安装连接件上，且所述中间镜头位于所述左侧镜头以及所述右侧镜头之间，所述左侧镜头与所述中间镜头之间的距离等于所述右侧镜头与所述中间镜头的距离，所述中间镜头、所述左侧镜头以及所述右侧镜头的光轴平行，所述中间镜头的像素高于所述左侧镜头以及所述右侧镜头的像素；

处理器，所述处理器连接所述中间镜头、所述左侧镜头以及所述右侧镜头；

存储器，与所述处理器连接，所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至7任一项所述的方法。

9.根据权利要求8所述的三镜头高精度视觉测量装置，其特征在于，所述中间镜头、所述左侧镜头以及所述右侧镜头的光轴垂直于同一条直线。

10.一种存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至7任一项所述的方法。