CN115705621A - 一种基于嵌入式平台的单目视觉实时测距方法及测距系统 - Google Patents

Abstract

本发明公开了一种基于嵌入式平台的单目视觉实时测距方法，包括：1)通过目标相机采集目标原始图像，并对图像进行畸变矫正；2)根据相机成像模型，建立二维图像像素坐标和三维世界坐标之间映射关系；3)通过矩阵变换法，对相机进行标定，获得二维像素坐标和三维世界之间映射矩阵参数；4)对目标进行检测，取目标检测框下边沿中心点像素坐标作为目标投影点的像素位置；5)对所述目标图像，建立二维像素和三维世界坐标映射表，每一帧图像实时目标测距通过查表获得。本方法适用于一些性能受限的嵌入式终端，简化标定过程，方便移植，避免大量的浮点计算，提高目标测距的实时性。

Description

一种基于嵌入式平台的单目视觉实时测距方法及测距系统

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于嵌入式平台的单目视觉实时测距方法及测距系统。

背景技术

随着人工智能的发展，视觉传感器在智能车以及机器人领域中得到了广泛的应用。相比其他传感器，视觉传感器可以获得更多有效的信息，可以用来物体识别和测距。目前，在视觉测距技术上，主要分为单目视觉测距和双目视觉测距，相比双目视觉，单目视觉具有数据处理量小，可控变量少的优点。在基于单目视觉测距的应用场景中，通过建立图像二维像素坐标与真实世界坐标的关系，从而可及时判断前方物体的距离。

目前，基于单目视觉测距算法大多都是基于计算机平台，且多为离线处理，考虑嵌入式平台硬件性能限制以及对实时性的要求，由于算法涉及变量较多，公式复杂，如果每一帧图像都进行复杂的公式计算，涉及大量浮点运算，将导致数据处理量大，影响实时性能。针对这种硬件性能限制的嵌入式系统，可以通过优化单目视觉测距算法，简化标定过程，便于处理器进行图像数据处理，提高基于嵌入式设备单目测距的实时性。

发明内容

本发明提出了一种基于嵌入式平台的单目视觉实时测距方法，包括以下几个步骤：

步骤一：通过目标相机采集目标原始图像，并对目标原始图像进行畸变矫正；

目标相机搭载在嵌入式终端设备上，其中，嵌入式设备采用32位arm处理器，目标相机通过usb线连接到设备采集接口，安装离水平面高度为0.8米，俯仰角为30度，目标相机视角为120度。针对广角镜头产生的畸变矫正主要为桶形矫正，矫正方法采用Brown-Conrady模型，对原始点采用沿半径方向进行三阶泰勒展开，通过matlab标定工具可得到畸变系数K＝[k₁,k₂,k₃]。

步骤二：根据相机成像模型，建立二维图像像素坐标和三维世界坐标之间映射关系；

首先，所述目标三维世界坐标(X_w,Y_w,Z_w)经过旋转平移变换得到相机坐标系(X_c,Y_c,Z_c)；然后，相机坐标系(X_c,Y_c,Z_c)经过透视变换得到图像坐标系(x,y)；最后，将具有物理单位的图像坐标系(x,y)变换为以像素为单位的像素坐标(u,v)。忽略所述目标的高度，即可得到二维图像像素坐标和三维世界平面坐标(X_w,Y_w,0)的映射关系。

步骤三：通过矩阵变换法，利用黑白棋盘格，对相机进行标定，获得二维像素坐标和三维世界之间映射矩阵参数；

首先，通过矩阵变换，将相机的内部参数和外部参数合并为8个参数的矩阵H＝[H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂]，得到像素坐标(u,v)和世界平面坐标(X_w,Y_w,0)映射关系，即

其中，d_x，d_y每个像素在X轴，Y轴方向上的物理尺寸，然后将黑白棋盘格图水平放置在相机视野前方，采集目标图像；最后，选取四组互不相关的坐标，即图像中棋盘格四个拐角像素坐标以及对应的世界坐标，解出H参数矩阵。

步骤四：对目标进行检测，取目标检测框下边沿中心点像素坐标作为目标投影点的像素位置；目标检测采用适用于嵌入式终端的yolov3轻量级模型，首先，在服务端进行模型训练，然后，将训练好的模型部署到嵌入式终端设备，最后，在设备端加载模型进行目标识别。

步骤五：根据二维图像像素和三维世界坐标映射关系建立映射表，对每一帧图像计算目标距离通过查表获得。

建立映射表过程为，首先，系统初始化，在处理每一帧图像前，将图像每个像素点坐标(u,v)带入步骤三所述的映射关系公式得到相同大小的世界坐标(X_w,Y_w,0)映射表，并存储在嵌入式设备内存中。然后实时获得目标距离的过程为，对采集的图像进行目标检测，取目标检测框下边沿中心点像素坐标，查找映射表获得世界坐标，然后通过距离公式

得到目标和相机在水平面投影点的直线距离。

一种基于嵌入式平台的单目视觉实时测距系统，包括：存储器和处理器；

所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现本发明基于嵌入式平台的单目视觉实时测距方法。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现本发明基于嵌入式平台的单目视觉实时测距方法。

本发明的有益效果在于：本发明方法适用于一些性能受限的嵌入式终端，简化相机标定过程，算法通用性好，方便移植；同时，降低了单目测距算法复杂度，从而避免大量的浮点计算，有效提高了目标测距的实时性。

附图说明

图1是本发明嵌入式设备结构示意图。

图2是本发明建立相机成像模型示意图。

图3是本发明目标检测网络结构示意图。

图4是本发明单目测距方法流程示意图。

图5是本发明方法的流程示意图。

具体实施方式

为了更清晰的说明本发明的优势以及方案实施过程，下面结合具体实施例和附图，对本发明进行进一步的阐述。应当理解，以下所讲解的实施例并不用于限制本发明实施条件，而仅仅用于解释说明本发明。

本发明公开了一种基于嵌入式平台的单目视觉实时测距方法，包括：1)通过目标相机采集目标原始图像，并对图像进行畸变矫正；2)根据相机成像模型，建立二维图像像素坐标和三维世界坐标之间映射关系；3)通过矩阵变换法，对相机进行标定，获得二维像素坐标和三维世界之间映射矩阵参数；4)对目标进行检测，取目标检测框下边沿中心点像素坐标作为目标投影点的像素位置；5)对所述目标图像，建立二维像素和三维世界坐标映射表，每一帧图像实时目标测距通过查表获得。本方法适用于一些性能受限的嵌入式终端，简化标定过程，方便移植，避免大量的浮点计算，提高目标测距的实时性。

实施例

本发明提供了一种基于嵌入式平台的单目视觉实时测距方法，具体方法步骤包括一下步骤：

步骤一：通过目标相机采集目标原始图像，并对图像进行畸变矫正；

目标相机搭载在嵌入式终端设备上，设备安装系统结构示意图如图1所示。其中，相机视角为120度，针对广角镜头产生的桶形畸变，对原始点采用沿半径方向进行三阶泰勒展开，通过matlab标定工具可得到畸变系数K＝[k₁,k₂,k₃]。

步骤二：根据相机成像模型，建立二维图像像素坐标和三维世界坐标之间映射关系；相机的成像模型如图2所示，目标三维世界坐标(X_w,Y_w,Z_w)经过旋转平移变换得到相机坐标系(X_c,Y_c,Z_c)；然后，相机坐标系(X_c,Y_c,Z_c)经过透视变换得到图像坐标系(X,Y)，其中(x₀,y₀)为图像坐标原点；最后，将具有物理单位的图像坐标系(X,Y)变换为以像素为单位的像素坐标系(U,V)，其中，(u₀,v₀)为像素坐标原点。忽略所述目标的高度，即可得到二维图像像素坐标(U,V)和三维世界平面坐标(X_w,Y_w,0)的映射关系。

步骤三：通过矩阵变换法，利用黑白棋盘格，对相机进行标定，获得二维像素坐标和三维世界之间映射矩阵参数；

首先，通过矩阵变换，得到像素坐标(u,v)和世界平面坐标(X_w,Y_w,0)关系，即

其中，d_x，d_y每个像素在X轴，Y轴方向上的物理尺寸后，相机的内部参数和外部参数融合为具有8个参数的矩阵H＝[H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂]，然后，将黑白棋盘格图水平放置在相机视野前方，采集目标图像；最后，选取四组互不相关的坐标，即图像中棋盘格四个拐角像素坐标以及对应的世界坐标，即可解出H参数矩阵。

步骤四：对目标进行检测，取目标检测框下边沿中心点像素坐标作为目标投影点的像素位置；

目标检测采用适用于嵌入式终端的轻量级yolov3模型，模型结构示意图如图3所示；目标检测步骤包括，在服务端进行模型训练；将训练好的模型部署到嵌入式终端设备；设备端加载模型进行识别。

步骤五：根据二维图像像素和三维世界坐标映射关系建立映射表，对每一帧图像计算目标距离通过查表获得。

在图像处理初始化阶段，将图像每个像素点坐标(u,v)带入如步骤三所述的映射关系公式得到相同大小的世界坐标(X_w,Y_w,0)映射表，并存储在嵌入式设备内存中；在目标实时检测时，取目标检测框下边沿中心点像素坐标，通过查找映射表获得对应世界坐标，然后通过距离公式得到目标于相机的直线距离，目标测距方法流程示意图如图4所示。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。式得到目标于相机的直线距离，目标测距方法流程示意图如图4所示。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (8)

1.一种基于嵌入式平台的单目视觉实时测距方法，其特征在于，包括如下步骤：

步骤一：通过目标相机采集目标原始图像，并对目标原始图像进行畸变矫正；

步骤二：根据相机成像模型，建立二维图像像素坐标和三维世界坐标之间映射关系；

步骤三：通过矩阵变换法，利用黑白棋盘格，对相机进行标定，获得二维像素坐标和三维世界之间映射矩阵参数；

步骤四：对目标进行检测，取目标检测框下边沿中像素坐标作为目标投影点的像素位置；

步骤五：根据二维图像像素和三维世界坐标映射关系建立映射表，每一帧图像计算目标距离通过查表获得。

2.如权利要求1所述的一种基于嵌入式平台的单目视觉实时测距方法，其特征在于，所述的步骤一中，所述目标相机搭载在嵌入式终端设备上，所述目标相机视角为120度，针对广角镜头产生的畸变矫正为桶形矫正，矫正方法采用Brown-Conrady模型，对原始点采用沿半径方向进行三阶泰勒展开，通过matlab标定工具得到畸变系数K＝[k₁,k₂,k₃]。

3.如权利要求1所述的一种基于嵌入式平台的单目视觉实时测距方法，其特征在于，所述的步骤二中，根据相机成像模型，建立二维图像像素坐标和三维世界坐标之间映射关系，包括以下步骤：首先，所述目标三维世界坐标(X_w,Y_w,Z_w)经过旋转平移变换得到相机坐标系(X_c,Y_c,Z_c)；然后，相机坐标系(X_c,Y_c,Z_c)经过透视变换得到图像坐标系(x,y)；最后，将具有物理单位的图像坐标系(x,y)变换为以像素为单位的像素坐标(u,v)，忽略所述目标的高度，得到二维图像像素坐标和三维世界平面坐标(X_w,Y_w,0)的映射关系。

4.如权利要求3所述的一种基于嵌入式平台的单目视觉实时测距方法，其特征在于，所述的步骤三中，相机的具体标定过程如下：首先，所述二维图像像素坐标和三维世界平面坐标(X_w,Y_w,0)的映射关系，即

其中，d_x，d_y每个像素在X轴，Y轴方向上的物理尺寸，通过矩阵变换，将相机的内部参数和外部参数合并为8个参数的矩阵H＝[H₁₁,H₁₂,H₁₃,H₂₁,H₂₂,H₂₃,H₃₁,H₃₂]；然后，利用黑白棋盘格图，将其水平放置在相机视野前方，采集目标图像；最后，选取四组互不相关的坐标，即图像中棋盘格四个拐角像素坐标以及对应的世界坐标，解出H参数矩阵。

5.如权利要求1所述的一种基于嵌入式平台的单目视觉实时测距方法，其特征在于，所述的步骤四中，目标检测采用轻量级的yolov3模型，步骤包括，首先在服务端进行模型训练，然后，将训练好的模型部署到嵌入式终端设备，最后，在设备端加载模型进行目标识别。

6.如权利要求1所述的一种基于嵌入式平台的单目视觉实时测距方法，其特征在于，所述的步骤五中，建立映射表过程为：在图像处理初始化阶段，将图像每个像素点坐标(u,v)带入步骤三所述的映射关系公式得到相同大小的世界坐标(X_w,Y_w,0)映射表，并存储在嵌入式设备内存中；然后实时获得目标距离的过程为，对采集的图像进行目标检测，取目标检测框下边沿中心点像素坐标，查找映射表获得世界坐标，然后通过距离公式

得到目标和相机在水平面投影点的直线距离。

7.一种基于嵌入式平台的单目视觉实时测距系统，其特征在于，包括：存储器和处理器；

所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1-6任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6任一项所述的方法。

Images