CN110503683A

CN110503683A - 一种基于单目测距的狭窄车位倒车入库引导方法和系统

Info

Publication number: CN110503683A
Application number: CN201910810384.6A
Authority: CN
Inventors: 王珏
Original assignee: Dilu Technology Co Ltd
Current assignee: Dilu Technology Co Ltd
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2019-11-26
Anticipated expiration: 2039-08-29
Also published as: CN110503683B

Abstract

本发明公开了一种基于单目测距的狭窄车位倒车入库引导方法和系统，包括以下步骤，在车身后方安装摄像模块，使所述摄像模块能够观潮到倒车时的后方区域；所述摄像模块拍摄车库得到车库图像；将所述车库图像输入神经网络模块定位所述车库目标点的像素坐标；通过变换模块计算得出实际坐标；定位模块计算所述车库中心线与参照坐标系的夹角、与参照坐标系原点的距离；根据得到的夹角、距离的方位关系，引导所述车身挪正。本发明的有益效果：通过对车库的四点坐标能够确定车库中心线的方程，然后根据计算该直线与车身坐标系的夹角以及该直线与车身坐标系原点的距离，利用两个方位关系，指导车辆挪正，实现倒入狭窄车库。

Description

一种基于单目测距的狭窄车位倒车入库引导方法和系统

技术领域

本发明涉及车辆周围环境感知、距离测量的技术领域，尤其涉及一种基于单目测距的狭窄车位倒车入库引导方法及其基于引导方法的系统。

背景技术

近年来在车辆高级驾驶系统中，是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。近年来高级驾驶系统的市场增长迅速，原来这类系统局限于高端市场，而现在正在进入中端市场，与此同时，许多低技术应用在入门级的乘用车领域更加常见，经过改进的新型传感器技术也在为系统创造新的机会与策略。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的一个技术问题是：提出一种基于单目测距的狭窄车位倒车入库引导方法，引导汽车在入库之前进行微调整姿态，引导汽车倒入车库中。

为解决上述技术问题，本发明提供如下技术方案：一种基于单目测距的狭窄车位倒车入库引导方法，包括以下步骤，在车身后方安装摄像模块，使所述摄像模块能够观潮到倒车时的后方区域；所述摄像模块拍摄车库得到车库图像；将所述车库图像输入神经网络模块定位所述车库目标点的像素坐标，所述目标点包括所述车库的门两侧与地面结合点和所述车库底边的两墙角；通过变换模块计算得出所述车库门两侧与地面结合点和所述车库底边两墙角相对于参照坐标系的实际坐标；定位模块计算所述实际坐标确定车库中心线的方程，并计算所述车库中心线与参照坐标系的夹角、与参照坐标系原点的距离；根据得到的夹角、距离的方位关系，引导所述车身挪正，实现自动倒入狭窄车库。

作为本发明所述的基于单目测距的狭窄车位倒车入库引导方法的一种优选方案，其中：定义所述参照坐标系包括以下步骤，选取所述车身上的任一位置为原点O；根据所述原点O定义车身坐标系O₁为所述参照坐标系。

作为本发明所述的基于单目测距的狭窄车位倒车入库引导方法的一种优选方案，其中：还包括摄像模块的校正，包括以下步骤，在所述身坐标系O₁放置原始标定图案，获得原始标定图案的相对坐标；所述摄像模块拍摄所述原始标定图案得到拍摄图案；获取所述摄像模块相机内外参数和镜头畸变系数的数据；所述拍摄图案结合所述数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁。

作为本发明所述的基于单目测距的狭窄车位倒车入库引导方法的一种优选方案，其中：所述变换模块生成变换关系包括以下步骤，所述消除畸变图像中标定图案的特征点输入所述神经网络模块中获取像素坐标；利用所述像素坐标和所述原始标定图案的相对位置坐标求出透视变换矩阵E2，且所述位置坐标相对于所述车身坐标系O₁；定义所述拍摄图像的像素坐标与所述车身坐标系O₁的变换关系为E＝E₂·E₁。

作为本发明所述的基于单目测距的狭窄车位倒车入库引导方法的一种优选方案，其中：所述车库的实际坐标获得包括以下步骤，经校正的所述摄像模块拍摄所述车库；获得所述车库图像；所述车库图像的所述目标点输入所述神经网络模块获取像素坐标；所述像素坐标输入变换关系E中获得所述目标点相对于所述车身坐标系O₁的实际坐标。

作为本发明所述的基于单目测距的狭窄车位倒车入库引导方法的一种优选方案，其中：假设拍摄的所述车库的像素坐标为p₀，则其对应的所述车身坐标系O₁中的坐标P＝Ep₀。

作为本发明所述的基于单目测距的狭窄车位倒车入库引导方法的一种优选方案，其中：包括所述摄像模块的标定步骤，确定所述车身需要进行物体定位的方向；沿所述方向且位于所述车身上为所述目标位置并放置摄像模块；在预设位置放置原始标定图案；标定所述摄像模块并获取其标定数据，且所述标定数据包括相机内外参数和镜头畸变系数。

作为本发明所述的基于单目测距的狭窄车位倒车入库引导方法的一种优选方案，其中：所述预设位置为所述摄像模块的视野范围、待测量区域范围以及根据所述车身坐标系O₁计算得出的位置坐标。

因此，本发明解决的另一个技术问题是：提供一种基于单目测距的狭窄车位倒车入库引导系统，能够将上述方案的基于单目测距的狭窄车位倒车入库引导方法应用于该系统。

为解决上述技术问题，本发明提供如下技术方案：一种基于单目测距的狭窄车位倒车入库引导系统，包括摄像模块、变换模块、神经网络模块和定位模块；所述摄像模块用于车身后车库的图像采集，并将采集的图像输入所述神经网络模块内获得目标点的像素坐标；所述变换模块接收所述像素坐标后，用于将其变换至相对于参照坐标系的实际坐标；所述定位模块接收所述实际坐标，通过目标点的所述实际坐标计算出所述车库中心线的方程，并计算所述车库中心线与参照坐标系间的夹角、与参照坐标系原点的距离。

作为本发明所述的基于单目测距的狭窄车位倒车入库引导系统的一种优选方案，其中：所述目标点包括所述车库的门两侧与地面结合点和所述车库底边的两墙角，且通过两点直线计算出所述车库的中心线方程L，得出中心线与车身坐标系O₁的距离d、角度θ。

本发明的有益效果：通过对车库的四点坐标能够确定车库中心线的方程，然后根据计算该直线与车身坐标系的夹角以及该直线与车身坐标系原点的距离，利用两个方位关系，指导车辆挪正，实现倒入狭窄车库。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一种实施例所述基于单目测距的狭窄车位倒车入库引导方法中车身正入车库的示意图；

图2为本发明第一种实施例所述基于单目测距的狭窄车位倒车入库引导方法中车身斜入车库的示意图；

图3为本发明第一种实施例所述基于单目测距的狭窄车位倒车入库引导方法的流程结构的示意图；

图4为本发明第二个实施例所述坐标系的示意图；

图5为本发明第二个实施例所述相机成像原理的示意图；

图6为本发明第二个实施例所述相机成像畸变原理的示意图；

图7为本发明第二个实施例所述相机成像径向畸变原理的示意图；

图8为本发明第三个实施例所述相机实际应用标定的示意图；

图9为本发明第三个实施例所述激光雷达的成本示意图；

图10为本发明第三个实施例所述照相机的成本示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～3的示意，现有自动倒车入库的检测方式普遍基于超声波雷达测距，在一般的车位能有较好的效果。但是由于超声波雷达在近距离时具有10cm存在左右的盲区，因此在极狭窄车位处发挥作用有限。因此本实施例中针对狭窄空间的车位提出一种基于单目测距的狭窄车位倒车入库引导方法。具体的，包括以下步骤，

首先摄像模块200的校正，包括以下步骤，在身坐标系O1放置原始标定图案800，获得原始标定图案800的相对坐标；摄像模块200拍摄原始标定图案800得到拍摄图案900；获取摄像模块200相机内外参数和镜头畸变系数的数据；拍摄图案900结合数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁。其中摄像模块100的标定还包括以下步骤，确定车身100需要进行物体定位的方向；沿方向且位于车身100上为目标位置并放置摄像模块200；在预设位置放置原始标定图案；标定摄像模块200并获取其标定数据，且标定数据包括相机内外参数和镜头畸变系数在车身100后方安装摄像模块200，使摄像模块100能够观潮到倒车时的后方区域。需要说明的是，预设位置为摄像模块200的视野范围、待测量区域范围以及根据车身坐标系O₁计算得出的位置坐标。

摄像模块200拍摄车库300得到车库图像400；将车库图像400输入神经网络模块600定位车库300目标点S的像素坐标，目标点包括车库300的门两侧与地面结合点和车库300底边的两墙角。

通过变换模块500计算得出车库300门两侧与地面结合点和车库300底边两墙角相对于参照坐标系的实际坐标。本步骤中还包括定义参照坐标系的步骤：选取车身100上的任一位置为原点O；根据原点O定义车身坐标系O₁为参照坐标系；定位模块700计算实际坐标确定车库中心线的方程，并计算车库中心线与参照坐标系的夹角、与参照坐标系原点的距离。例如两点间计算公式：X₀＝(x₁+x₂)/2；y₀＝(y₁+y₂)/2，得到直线方程：ax+by+c＝0，代入两点即可求得系数abc，即可知道两点间的方程。

以及变换模块500生成变换关系包括以下步骤：消除畸变图像中标定图案的特征点输入神经网络模块600中获取像素坐标；利用像素坐标和原始标定图案800的相对位置坐标求出透视变换矩阵E₂，且位置坐标相对于车身坐标系O₁；最后定义拍摄图像900的像素坐标与车身坐标系O₁的变换关系为E＝E₂·E₁。因此车库300的实际坐标获得包括以下步骤，经校正的摄像模块200拍摄车库300；获得车库图像400；车库图像400的目标点S输入神经网络模块600获取像素坐标；像素坐标输入变换关系E中获得目标点S相对于车身坐标系O₁的实际坐标。例如本实施例中可以假设拍摄的车库300的像素坐标为p₀，则其对应的车身坐标系O₁中的坐标P＝Ep₀。

最后根据得到的夹角、距离的方位关系，引导车身100挪正，实现自动倒入狭窄车库。

需要说明的是，本实施例中提供的一种利用单目摄像头进行测距作为倒车引导的方法，摄像模块200可以是摄像机和摄像头，其利用单个摄像头拍摄车库，利用定位算法计算出车库300相对于车身的实际位置，通过计算车身与车库300之间的角度偏差与平移偏差，在入库之前进行精确的微调，调整姿态，之后引导其倒入车库中。

具体应用过程中，在车后方安装摄像头，使其能观潮到倒车时的后方区域，该摄像头已经过上述校正过程。通过该摄像机拍摄车库300，通过目标检测神经网络定位车库300门两侧与地面结合点的像素坐标，以及车库300底边两墙角的像素坐标，经过变换方式即可得出车库门与地面结合点、车库底边墙角相对于车身的实际坐标，即目标点S的实际坐标，共为四点坐标。通过这四点坐标可以确定车库中心线的方程，然后根据计算该直线与车身坐标系的夹角，以及该直线与车身坐标系原点的距离，利用这两个方位关系，即可指导车辆挪正，实现自动倒入狭窄车库。参照图1为车身正入车库300的示意图，即车身坐标系O₁的X轴与车库中心线重合，因此该直线与车身坐标系的夹角以及该直线与车身坐标系原点的距离均为0。而参照图2为车身斜入车库300的示意图，因此图中示意得出中心线与车身坐标系O₁的距离d、角度θ均不为0。从而在车身进入车库时，可以依据将检测的距离d、角度θ是否为0进行判断车身是否与车库300重合，即是否为正确姿态在倒车入库，若距离d、角度θ不为0，则进行微调车身姿态，直至距离d、角度θ的检测出的值为0，完成对车身入库的引导。当然的，本实施例中还可以参照图2～3的示意，选择更多的角度和距离数据进行检测，进而更加精准的对入库进行引导。

实施例2

参照图4～5的示意，本实施例中提供一种坐标变换的方法，能够利用单摄像模块拍摄周围的物体图像从而得出其像素坐标，根据本实施例提供的坐标关系，得到相对于设置的设置参照坐标系间的坐标，即单摄像模块拍摄周围物体照片便可定位该物体相对的位置坐标，从而实现周围物体的定位。具体的，包括以下步骤，

标定摄像模块200并将摄像模块200设置于目标位置上，该步骤中摄像模块200可以是能够进行拍摄图像的单目摄像头或者照相机，利用摄像机所拍摄到的图像来还原空间中的物体，而摄像机具有内置的摄像参数，能够通过实验与计算来得到的，该求解参数的过程就称为标定过程，摄像模块200所拍摄到的图像与三维空间中的物体之间存在一种线性关系。传统方法是利用已知的景物结构信息，可以使用于任意的摄像机模型、标定精度高，但是标定过程复杂，从而需要高精度的已知结构信息；或者是已知摄像机的某些运动信息，通常可以线性求解，其鲁棒性比较高，但是不能使用于摄像机运动未知和无法控制的场合，又或者是依靠多幅图像之间的对应关系来进行标定，虽然仅需要建立图像之间的对应且灵活性强，但是非线性标定和鲁棒性不高。

本实施例中仅仅通过单目摄像机实现摄像模块200的标定，具有简单易于操作且能够适用于摄像机运动未知和无法控制的场合，将提取出二维图像中包含的计量信息，即获取标定数据，包括相机内外参数、镜头畸变系数。具体的，本实施例提出的标定过程还包括如下步骤：

确定世界坐标系，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。相机坐标系，也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。将世界坐标系转换为相机坐标系：

其中R为3*3的旋转矩阵，t为3*1的平移矢量，等号左侧公式为相机坐标系的齐次坐标，右侧公式为世界坐标系的齐次坐标，

像素坐标系不利于坐标变换，原点是相机光轴与相面的交点(称为主点)，即图像的中心点。故两个坐标系实际是平移关系，即可以通过平移就可得到图像坐标系转换为像素坐标系：

u₀，v₀为主点(图像原点)坐标。

参照图2示意为空间任意一点P与其图像点p之间的关系，P与相机光心o的连线为oP，oP与像面的交点p即为空间点P在图像平面上的投影。该过程为透视投影，如下矩阵表示：

其中，s为比例因子(s不为0)，f为有效焦距(光心到图像平面的距离)，右式是空间点P在相机坐标系中的齐次坐标，左式是像点p在图像坐标系中的齐次坐标。

故将世界坐标系转换为像素坐标系：

根据上述对像素坐标的说明，此步骤中为计算外参，设三维世界坐标的点为M＝[X,Y,Z,1]T，二维相机平面像素坐标为m＝[u,v,1]T，因此标定用的棋盘格平面到图像平面的单应性关系为：sm＝A[R,t]M，其中s为世界坐标系到图像坐标系的尺度因子，A为相机的内参矩阵，(u₀，v₀)为像主点坐标，α，β为焦距与像素横纵比的融合，γ为径向畸变参数，R为旋转矩阵，t为平移向量，如下公式：

设棋盘格位于Z＝0，定义旋转矩阵R的第i列为ri，则有

令H＝[h₁ h₂ h₃]＝λA[r₁ r₂t]，于是空间到图像的映射可改为：sm＝HM，其中H是描述矩阵，H是一个齐次矩阵，所以有8个未知数，至少需要8个方程，每对对应点能提供两个方程，所以至少需要四个对应点，就可以算出世界平面到图像平面的单应性矩阵H。

外部参数可通过上述矩阵求解，由上式H＝[h1 h2 h3]＝λA[r1 r2 t]可得：

r₁＝λA^-1h₁ r₂＝λA^-1h₂ r₃＝r₁×r₂ t＝λA^-1h₃

λ＝1//||A^-1h₁|＝1/||A^-1h₂||

外参的具体计算公式。注意：R₃是t，求解出的R＝[r1 r2 t]不会满足正交与归一的标准，在实际操作中，R可以通过分解实现规范化。

进一步的，计算内参，包括以下步骤，

由r₁和r₂正交，且r₁和r₂的模相等，可以得到如下约束：正交

模相等：

定义：

B中的未知量可表示为6D向量b，可以表示为：

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T

设H中的第i列为h_i，表示为：

h_i＝[h_i1 h_i2 h_i3]^T

根据b的定义，可以推导出如下公式：

v_ij＝

[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]

可以得出下式：

根据推到的结果可知如果有n组观察图像，则V是2nx6的矩阵，根据最小二乘定义，V_b＝O的解是最小特征值对应的特征向量。因此，可以直接估算出b，后续可以通过b求解内参，因为B中的未知量为6个，所以当观测平面n≥3时，可以得到b的唯一解。当n＝2时，一般可令畸变参数γ＝0；当n＝1时，仅能估算出α与β，此时一般可假定像主点坐标u₀与v₀为0。

内部参数可通过如下公式计算分解：

γ＝-B₁₂α²β/λ

u₀＝γv₀/α-B₁₃α²/λ

本实施例中上述的推导结果是基于理想情况下的解，但由于可能存在误差，所以需要进行估计优化。设我们采集了n副包含棋盘格的图像进行定标，每个图像里有棋盘格角点m个。令第i副图像上的角点M_j在上述计算得到的摄像机矩阵下图像上的投影点为：其中K为相机内参矩阵A；R_i和t_i是第_i副图对应的旋转矩阵和平移向量，K是内参数矩阵。

则m_ij的函数为：

由上式可得：

让L取得最大值，即让下面式子最小，本实施例使用的是多参数非线性系统优化问题的算法进行迭代求最优解。

经过上述过程可获得摄像模块200的标定数据，即内外参数。

参照图6～7的示意，本实施例标定还需要获得摄像模块200的畸变参数，畸变是对直线投影的一种偏移，畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变，可能由于摄像机镜头的原因。畸变一般可以分为：径向畸变、切向畸变。径向畸变来自于透镜形状，切向畸变来自于整个摄像机的组装过程，畸变还有其他类型的畸变，但是没有径向畸变、切向畸变显著。具体的，

切向畸变模型：

δ_xx＝2p₁xy+p₂(r²+2x²)+K

δ_yd＝2p₁(r²+2y²)+2p₂xy+K

理想坐标与真实坐标：

x＝x+δ_xr+δ_xd

y′＝y+δ_yr+δ_yd

也即：

将上述坐标变换为像素坐标(u₀，v₀)，可获得本步骤中对摄像模块200的标定数据，即相机内外参数、镜头畸变系数。

进一步的，标定摄像模块200将放置于目标位置，在预设位置上放置原始标定图案，该预设位置为摄像模块200的视野范围、待测量区域范围以及根据设置的参照坐标系计算得出的位置坐标。本实施例中目标位置为根据坐标变换方法需要去操作的位置，由于单个摄像机具有视野范围的限制，因此想要对指定的位置处进行坐标变换，就必须选择将摄像机放置到能够拍摄的目标物体的位置上，也就是上述的目标位置。且当摄像模块200放置完成后，其可以拍摄的视野范围也随之被确定，因此预设位置即摄像模块200的视野范围等。

利用摄像模块200拍摄原始标定图案800获得拍摄图像900；对拍摄图像900进行预处理，获取拍摄图像900的像素坐标与参照坐标系间的坐标变换关系。

结合上述对采用本实施例的标定法标定摄像模块200并获取其标定数据；相机标定是三维场景重构中必不可少的步骤，目的是提取出二维图像中包含的计量信息。将拍摄图像900根据标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁；利用消除畸变图像中标定图案的特征点获取像素坐标；利用像素坐标和原始标定图案800的位置坐标求出透视变换矩阵E₂，且位置坐标相对于参照坐标系；该参照坐标系可根据实际过程中进行选择，最终定义拍摄图像的像素坐标与参照坐标系的变换关系E＝E₂·E₁。

在检测阶段，将摄像模块200拍摄的图片采用传统图像处理方式，或者输入神经网络检测，例如Mask-RCNN、YOLO3等，通过处理结果得出障碍物底边像素坐标，利用上述坐标转换关系E，即可求出障碍物相对于车身坐标系O₁的精确位置。还需要说明的是，图像都是由像素组成的，像素坐标是像素在图像中的位置，要确定像素的坐标，首先要确定图像的坐标系。常见的坐标系有图像坐标系、相机坐标系、世界坐标系等。其获取图像坐标系的步骤为：

以图像左上角为原点建立以像素为单位的直接坐标系u-v；像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。

由于(u，v)只代表像素的列数与行数，而像素在图像中的位置并没有用物理单位表示出来，所以，我们还要建立以物理单位(如毫米)表示的图像坐标系x-y。将相机光轴与图像平面的交点(一般位于图像平面的中心处，也称为图像的主点定义为该坐标系的原点O1，且x轴与u轴平行，y轴与v轴平行，假设(u0,v0)代表O1在u-v坐标系下的坐标，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，则图像中的每个像素在u-v坐标系中的坐标和在x-y坐标系中的坐标之间都存在如下的关系：

其中，我们假设物理坐标系中的单位为毫米，那么dx的的单位为:毫米/像素，那么x/dx的单位就是像素了，即和u的单位一样都是像素。为了使用方便，可将上式用齐次坐标与矩阵形式表示为：

结合上个实施例中涉及过程可利用世界坐标系、像素坐标系通过一般图像处理方式获取像素坐标，本实施例中还提出利用神经网络检测来提取图像特征，其实际是局部连接网络，相对于全连接网络其最大的特点就是：局部连接性和权值共享性，因为对一副图像中的某个像素p来说，一般离像素p越近的像素对其影响也就越大；另外，根据自然图像的统计特性，某个区域的权值也可以用于另一个区域。这里的权值共享就是卷积核共享，对于一个卷积核将其与给定的图像做卷积就可以提取一种图像的特征，不同的卷积核可以提取不同的图像特征，计算方法可以根据公式：

其中σ表示激活函数；imgMat表示灰度图像矩阵；W表示卷积核；表示卷积操作；b表示偏置值。

整体上把搭建的网络架构，一层一层组合起来的，层与层之间的行为也是有对应的权值w和偏移值b决定的，并且它们的目的也是一致的通过学习网络结构中的w和b不断的学习优化，从而能把输入的图片正确分类，获取图像的特征值。从而确定像素在图像中的位置，即像素坐标。

因此本实施例提出的方法硬件成本低，只需要一枚摄像头，与现有高级驾驶系统结合容易，也可单独部署；计算速度快，精度较高，其中距离车身6米范围内误差在0～1％以内，越近精度越高，而传统双目定位方法误差3％以内。对于多方向检测，部署多枚摄像头，可实现无缝融合。

场景一：

本实施例为验证本方法相对于传统方法具有计算快速、精度较高的优势，将单个摄像模块部署于测试车辆中，并与车辆高级驾驶系统相结合完成本方法部署，与传统方法包括激光雷达、毫米波雷达、超声波雷达、双目相机分别利用Matlab进行定位仿真测试，其测试对象为位置给定相对车身的空间坐标为(x，y，z)的障碍物，通过车辆上部署的不同定位方法进行多组定位仿真，最终获取的空间坐标(x₁，y₂，z₃)，计算输出结果的时间，和测得定位误差数据比较各方法的定位精准度。为便于计算，本实验中设置的障碍物坐标系与相对于车身坐标系的z轴平面平行，因此测试中障碍物的给定测试位置点位于坐标系的z轴平面，z轴方向为0，即坐标为(x，y，0)。实验过程如下：

表1：测试实验数据和实验结果数据。

测试

视角

障碍物坐标

本方法

激光雷达

毫米波雷达

传统双目相机

1

前

(450，200，0)

(450，199.2，-0.4)

(450.2，199.1，-0.3)

(450.5，199.8，0)

(450，199，-0.4)

2

前

(300，300，0)

(299，299.5，-0.3)

(299，299.3，-0.2)

(300.1，300.2，-0.1)

(298，298.1，-0.4)

3

前

(300，300，0)

(301.3，299.3，-0.2)

(301.3，299.6，-0.1)

(299.8，299.8，0)

(302.6，297.1，-0.6)

4

前

(300，300，0)

(301.2，300.7，0.6)

(300.7，300.7，0)

(300.3，300.1，0)

(302.3，300.7，2.4)

表2：实验平均误差分析。

由上表1到表2的数据可知，采用本方法的定位精度能够大致达到激光雷达、毫米波雷达和超声波雷达的定位精度，且明显高于传统使用双目相机的定位精度，但本方法使用的设备成本相比激光雷达、毫米波雷达和超声波雷达较低，而对于同样较低成本的传统双目相机的定位精度较高，同时满足在低成本条件下的定位精度需求。

实施例3

参照图8～10的示意，本实施例提出了一种基于单目测距的狭窄车位倒车入库引导系统，能够将上述方案的基于单目测距的狭窄车位倒车入库引导方法应用于该系统，包括摄像模块200、变换模块500、神经网络模块600和定位模块700；摄像模块200用于车身100后车库300的图像采集，并将采集的图像输入神经网络模块600内获得目标点S的像素坐标；变换模块500接收像素坐标后，用于将其变换至相对于参照坐标系的实际坐标；定位模块700接收实际坐标，通过目标点的实际坐标计算出车库中心线的方程，并计算车库中心线与参照坐标系间的夹角、与参照坐标系原点的距离。其中目标点S包括车库300的门两侧与地面结合点S1和车库300底边的两墙角S2，且通过两点直线计算出车库300的中心线方程L，得出中心线与车身坐标系O1的距离d、角度θ。

本实施例中以车身的正前方探测障碍物为例说明。

包括以下为标定过程：

结合上述实施例采用标定一枚摄像头，获取其标定数据，包括相机内参矩阵M、径向畸变系数k₁、k₂、k₃，切向畸变系数p₁、p₂。根据标定数据可用数学方法消除相机镜头畸变，其中，

径向畸变可以表示为：

x_distortedx(1+k₁r²+k₂r⁴+k₃r⁶)

y_distorted＝y(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸变可以表示为：

x_distorted＝x+[2p₁xy+p₂(r²+2x²)]

y_distorted＝y+[p₁(r²+2y²)+2p₂xy]

根据上述关系可以确定原始图像的像素坐标至畸变校正后图像像素坐标的映射关系E₁；标定数据是摄像头的固有属性，对于每个摄像头，该步骤只进行一次；将标定完毕的摄像头安装车身固定位置，使其视野可覆盖测量范围；安装位置根据所需要测量的范围决定，本例采用车头安装，检测前方范围。

选取车身800某一位置为原点，定义车身坐标系O₁，本例取车身中心为原点，车头方向为y轴正方向，车右侧为x轴正方向。在车头前方地面放置一块原始标定图案700，图案摆放的位置方向(1)根据相机视野范围、待测量区域范围以及车身坐标系O₁进行计算，图案需要精确摆放测量。

本例将标定板摆放在车头正前方约1米处，标定板下边界与左边界与O₁中xy轴方向分别平行，标定板中心与O₁中y轴重合。通过精确测量，确定出标定图案中特征点在O₁中的物理坐标P₁、P₂、P₃、P₄…...P_n。通过该摄像头拍摄标定图案，寻找对应标定图案的特征点，其像素坐标分别为p₁原、p₂原、p₃原、p₄原…...p_n原。并通过映射关系E₁处理消除其畸变，则在已消除畸变的图像中对应标定图案的特征点像素坐标分别为p₁、p₂、p₃、p₄…...p_n。通过P₁、P₂、P₃、P₄…...P_n与p₁、p₂、p₃、p₄…...p_n即可确定一组透视变换关系E₂。

综上p_n＝E₁·p_n原、P_n＝E₂·p_n，可以得出P_n＝E₂·E₁·p_n原；

令E＝E₂·E₁，则P_n＝E·p_n原；(公式1)此为相机拍摄原始图像中像素坐标与O₁坐标系中物理坐标的映射关系，至此标定部分结束。

对于一个固定的相机，上述过程仅在相机安装后进行一次，具体的以下为应用过程：

以探测前方障碍物为例，拍摄前方障碍物图像，将原始图像通过目标检测神经网络处理，本实施例可以采用YOLO_v3网络，取得目标底边中心点的像素坐标p_n原，之后利用公式1，即可得知目标在O₁坐标系中的具体物理坐标。

参照图9～10的示意，图9中可以看出激光雷达的普及所遇到的最大挑战是：成本过高。单独一个雷达的价格可能就超过了普通小汽车的价格，因此现阶段还没有大规模量产的可能性。而图9中示意为一般照相机的参考价格，明显对比可知，本实施例中具有成本较低的优势。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于单目测距的狭窄车位倒车入库引导方法，其特征在于：包括以下步骤，

在车身(100)后方安装摄像模块(200)，使所述摄像模块(100)能够观潮到倒车时的后方区域；

所述摄像模块(200)拍摄车库(300)得到车库图像(400)；

将所述车库图像(400)输入神经网络模块(600)定位所述车库(300)目标点(S)的像素坐标，所述目标点包括所述车库(300)的门两侧与地面结合点和所述车库(300)底边的两墙角；

通过变换模块(500)计算得出所述车库(300)门两侧与地面结合点和所述车库(300)底边两墙角相对于参照坐标系的实际坐标；

定位模块(700)计算所述实际坐标确定车库中心线的方程，并计算所述车库中心线与参照坐标系的夹角、与参照坐标系原点的距离；

根据得到的夹角、距离的方位关系，引导所述车身(100)挪正，实现自动倒入狭窄车库。

2.如权利要求1所述的基于单目测距的狭窄车位倒车入库引导方法，其特征在于：定义所述参照坐标系包括以下步骤，

选取所述车身(100)上的任一位置为原点O；

根据所述原点O定义车身坐标系O₁为所述参照坐标系。

3.如权利要求1或2所述的基于单目测距的狭窄车位倒车入库引导方法，其特征在于：还包括摄像模块(200)的校正，包括以下步骤，

在所述身坐标系O₁放置原始标定图案(800)，获得原始标定图案(800)的相对坐标；

所述摄像模块(200)拍摄所述原始标定图案(800)得到拍摄图案(900)；

获取所述摄像模块(200)相机内外参数和镜头畸变系数的数据；

所述拍摄图案(900)结合所述数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁。

4.如权利要求3所述的基于单目测距的狭窄车位倒车入库引导方法，其特征在于：所述变换模块(500)生成变换关系包括以下步骤，

所述消除畸变图像中标定图案的特征点输入所述神经网络模块(600)中获取像素坐标；

利用所述像素坐标和所述原始标定图案(800)的相对位置坐标求出透视变换矩阵E2，且所述位置坐标相对于所述车身坐标系O₁；

定义所述拍摄图像(900)的像素坐标与所述车身坐标系O₁的变换关系为E＝E₂·E₁。

5.如权利要求4所述的基于单目测距的狭窄车位倒车入库引导方法，其特征在于：所述车库(300)的实际坐标获得包括以下步骤，

经校正的所述摄像模块(200)拍摄所述车库(300)；

获得所述车库图像(400)；

所述车库图像(400)的所述目标点(S)输入所述神经网络模块(600)获取像素坐标；

所述像素坐标输入变换关系E中获得所述目标点(S)相对于所述车身坐标系O₁的实际坐标。

6.如权利要求4或5所述的基于单目测距的狭窄车位倒车入库引导方法，其特征在于：假设拍摄的所述车库(300)的像素坐标为p₀，则其对应的所述车身坐标系O₁中的坐标P＝Ep₀。

7.如权利要求6所述的基于单目测距的狭窄车位倒车入库引导方法，其特征在于：包括所述摄像模块(100)的标定步骤，

确定所述车身(100)需要进行物体定位的方向；

沿所述方向且位于所述车身(100)上为所述目标位置并放置摄像模块(200)；

在预设位置放置原始标定图案(800)；

标定所述摄像模块(200)并获取其标定数据，且所述标定数据包括相机内外参数和镜头畸变系数。

8.如权利要求7所述的基于单目测距的狭窄车位倒车入库引导方法，其特征在于：所述预设位置为所述摄像模块(200)的视野范围、待测量区域范围以及根据所述车身坐标系O₁计算得出的位置坐标。

9.一种基于单目测距的狭窄车位倒车入库引导系统，其特征在于：包括摄像模块(200)、变换模块(500)、神经网络模块(600)和定位模块(700)；

所述摄像模块(200)用于车身(100)后车库(300)的图像采集，并将采集的图像输入所述神经网络模块(600)内获得目标点(S)的像素坐标；

所述变换模块(500)接收所述像素坐标后，用于将其变换至相对于参照坐标系的实际坐标；

所述定位模块(700)接收所述实际坐标，通过目标点的所述实际坐标计算出所述车库中心线的方程，并计算所述车库中心线与参照坐标系间的夹角、与参照坐标系原点的距离。

10.如权利要求9所述的基于单目测距的狭窄车位倒车入库引导系统，其特征在于：所述目标点(S)包括所述车库(300)的门两侧与地面结合点(S₁)和所述车库(300)底边的两墙角(S₂)，且通过两点直线计算出所述车库(300)的中心线方程L，得出中心线与车身坐标系O₁的距离d、角度θ。