CN110517325A

CN110517325A - 一种坐标变换及坐标变换的车身周围物体定位方法和系统

Info

Publication number: CN110517325A
Application number: CN201910809341.6A
Authority: CN
Inventors: 王珏
Original assignee: Dilu Technology Co Ltd
Current assignee: Dilu Technology Co Ltd
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2019-11-29
Anticipated expiration: 2039-08-29
Also published as: CN110517325B

Abstract

本发明公开了一种坐标变换及车身周围物体定位方法和系统，包括以下步骤，标定摄像模块并将所述摄像模块设置于目标位置上；在预设位置上放置原始标定图案；利用所述摄像模块拍摄所述原始标定图案获得拍摄图像；对所述拍摄图像进行预处理，获取所述拍摄图像的像素坐标与参照坐标系间的坐标变换关系。本发明的有益效果：本发明利用单个摄像模块，通过一系列标定以及变换算法，能够结合神经网络图片分割，通过对神经网络返回坐标的处理，测算出图片中的物体相对于车身坐标系的精确坐标。

Description

一种坐标变换及坐标变换的车身周围物体定位方法和系统

技术领域

本发明涉及车辆周围环境感知的技术领域，尤其涉及一种坐标变换方法及基于坐标变换的车身周围物体精确定位方法和系统。

背景技术

近年来在车辆高级驾驶系统中，是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。近年来高级驾驶系统的市场增长迅速，原来这类系统局限于高端市场，而现在正在进入中端市场，与此同时，许多低技术应用在入门级的乘用车领域更加常见，经过改进的新型传感器技术也在为系统创造新的机会与策略。

同时高级驾驶系统定位是极其重要的一环，当前主流方法包含激光雷达、毫米波雷达、超声波雷达、双目摄像机等。但在这些方案中，成本较高或者精度较低且无法同时定位多个目标。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的一个技术问题是提供一种坐标变换的方法，能够获得摄像模块拍摄图像的像素坐标与设置的参照坐标系间的变换关系。

为解决上述技术问题，本发明提供如下技术方案：一种坐标变换的方法，包括以下步骤，标定摄像模块并将所述摄像模块设置于目标位置上；在预设位置上放置原始标定图案；利用所述摄像模块拍摄所述原始标定图案获得拍摄图像；对所述拍摄图像进行预处理，获取所述拍摄图像的像素坐标与设置参照坐标系间的坐标变换关系。

作为本发明所述的坐标变换的一种优选方案，其中：所述图像预处理还包括以下步骤，标定所述摄像模块并获取其标定数据；所述拍摄图像根据所述标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁；利用所述消除畸变图像中标定图案的特征点获取像素坐标；利用所述像素坐标和所述原始标定图案的位置坐标求出透视变换矩阵E₂，且所述位置坐标相对于所述参照坐标系；定义所述拍摄图像的像素坐标与所述参照坐标系的变换关系为E＝E₂·E₁。

本发明解决的另一个技术问题是提供车身周围物体定位方法，将上述坐标变换的方法的应用于车身周围物体的定位。

为解决上述技术问题，本发明提供如下技术方案：一种车身周围物体定位方法，包括坐标变换阶段和定位阶段，通过所述坐标变换阶段获取车周围物体相对于车身的坐标变换关系，且所述坐标变换阶段包括以下步骤，标定摄像模块并将所述摄像模块设置于车身的目标位置上；在预设位置上放置原始标定图案；利用所述摄像模块拍摄所述原始标定图案得到所述拍摄图像；对所述拍摄图像进行预处理，获取所述拍摄图像的像素坐标与参照坐标系间的坐标变换关系。

作为本发明所述的车身周围物体定位方法的一种优选方案，其中：定义所述参照坐标系包括以下步骤，选取所述车身上的任一位置为原点O；根据所述原点O定义车身坐标系O₁为所述参照坐标系。

作为本发明所述的车身周围物体定位方法的一种优选方案，其中：所述拍摄图像的预处理包括以下步骤，标定所述摄像模块并获取其标定数据；所述拍摄图像根据所述标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁；利用所述消除畸变图像中标定图案的特征点获取像素坐标；利用所述像素坐标和所述原始标定图案的位置坐标求出透视变换矩阵E₂，且所述位置坐标相对于所述车身坐标系O₁；定义所述拍摄图像的像素坐标与所述车身坐标系O₁的变换关系为E＝E₂·E₁。

作为本发明所述的车身周围物体定位方法的一种优选方案，其中：所述定位阶段还包括以下步骤，所述摄像模块拍摄所述车身周围的实际物体并获得图片，将所述图片采用传统图像处理或者输入神经网络中，获取其底边像素坐标；所述底边像素坐标代入所述坐标变换关系E中，获取所述图片中的物体相对于所述车身坐标系O₁的精确坐标，假设所述原始标定图案的像素坐标为p₀，则其对应的所述车身坐标系O₁中的坐标P＝E p₀。

作为本发明所述的车身周围物体定位方法的一种优选方案，其中：所述标定摄像模块还包括以下步骤，确定所述车身需要进行物体定位的方向；沿所述方向且位于所述车身上为所述目标位置并放置摄像模块；标定所述摄像模块并获取其标定数据，且所述标定数据包括相机内外参数和镜头畸变系数。

作为本发明所述的车身周围物体定位方法的一种优选方案，其中：所述预设位置为所述摄像模块的视野范围、待测量区域范围以及根据所述车身坐标系O₁计算得出的位置坐标。

本发明解决的又一个技术问题是提供车身周围物体定位系统，将车身周围物体定位方法的应用于车身周围物体的定位。

为解决上述技术问题，本发明提供如下技术方案：一种车身周围物体定位系统，包括摄像模块，所述摄像模块用于拍摄车身周围的物体并获得所述物体的拍摄图像；标定模块，与所述摄像模块连接，用于标定所述摄像模块并获得其标定数据；消除畸变模块，通过所述消除畸变模块接收所述拍摄图像和所述标定数据进行处理后对所述拍摄图像进行畸变矫正并获得畸变校正后的图像变换映射；图像处理模块，所述拍摄图像能够发送至所述图像处理模块内进行预处理获得所述拍摄图像的像素坐标；坐标变换模块，用于获得所述拍摄图像的像素坐标与参照坐标系间的坐标变换关系。

作为本发明所述的车身周围物体定位系统的一种优选方案，其中：所述消除畸变模块通过畸变矫正处理获得图像变换映射E₁；所述坐标变换模块通过定义参照坐标系，所述拍摄图像的像素坐标和预设原始标定图案相对坐标系的位置坐标能够输入至所述坐标变换模块处理并获得透视变换矩阵E₂，定义变换关系E＝E₂·E₁。

本发明的有益效果：本发明利用单个摄像模块，通过一系列标定以及变换算法，能够结合神经网络图片分割，通过对神经网络返回坐标的处理，测算出图片中的物体相对于车身坐标系的精确坐标，具有计算快速、精度较高、支持多摄像头扩展且硬件成本低，与现有车辆高级驾驶系统结合容易，也可单独部署；同时对于多方向检测，部署多枚摄像模块，能够实现无缝融合。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述坐标系的示意图；

图2为本发明第一个实施例所述相机成像原理的示意图；

图3为本发明第一个实施例所述相机成像畸变原理的示意图；

图4为本发明第一个实施例所述相机成像径向畸变原理的示意图；

图5为本发明第三个实施例所述方法应用于车身的示意图；

图6为本发明第三个实施例所述方法应用于车身目标方向的示意图；

图7为本发明第三个实施例所述系统的原理结构的示意图；

图8为本发明第三个实施例所述系统的流程原理结构的示意图；

图9为本发明第三个实施例所述激光雷达的成本示意图；

图10为本发明第三个实施例所述照相机的成本示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～2的示意，本实施例中提供一种坐标变换的方法，能够利用单摄像模块拍摄周围的物体图像从而得出其像素坐标，根据本实施例提供的坐标关系，得到相对于设置的设置参照坐标系间的坐标，即单摄像模块拍摄周围物体照片便可定位该物体相对的位置坐标，从而实现周围物体的定位。具体的，包括以下步骤，

标定摄像模块100并将摄像模块100设置于目标位置上，该步骤中摄像模块100可以是能够进行拍摄图像的单目摄像头或者照相机，利用摄像机所拍摄到的图像来还原空间中的物体，而摄像机具有内置的摄像参数，能够通过实验与计算来得到的，该求解参数的过程就称为标定过程，摄像模块100所拍摄到的图像与三维空间中的物体之间存在一种线性关系。传统方法是利用已知的景物结构信息，可以使用于任意的摄像机模型、标定精度高，但是标定过程复杂，从而需要高精度的已知结构信息；或者是已知摄像机的某些运动信息，通常可以线性求解，其鲁棒性比较高，但是不能使用于摄像机运动未知和无法控制的场合，又或者是依靠多幅图像之间的对应关系来进行标定，虽然仅需要建立图像之间的对应且灵活性强，但是非线性标定和鲁棒性不高。

本实施例中仅仅通过单目摄像机实现摄像模块100的标定，具有简单易于操作且能够适用于摄像机运动未知和无法控制的场合，将提取出二维图像中包含的计量信息，即获取标定数据，包括相机内外参数、镜头畸变系数。具体的，本实施例提出的标定过程还包括如下步骤：

确定世界坐标系，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。相机坐标系，也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。将世界坐标系转换为相机坐标系：

其中R为3*3的旋转矩阵，t为3*1的平移矢量，等号左侧公式为相机坐标系的齐次坐标，右侧公式为世界坐标系的齐次坐标，

像素坐标系不利于坐标变换，原点是相机光轴与相面的交点(称为主点)，即图像的中心点。故两个坐标系实际是平移关系，即可以通过平移就可得到图像坐标系转换为像素坐标系：

u₀，v₀为主点(图像原点)坐标。

参照图2示意为空间任意一点P与其图像点p之间的关系，P与相机光心o的连线为oP，oP与像面的交点p即为空间点P在图像平面上的投影。该过程为透视投影，如下矩阵表示：

其中，s为比例因子(s不为0)，f为有效焦距(光心到图像平面的距离)，右式是空间点P在相机坐标系中的齐次坐标，左式是像点p在图像坐标系中的齐次坐标。

故将世界坐标系转换为像素坐标系：

根据上述对像素坐标的说明，此步骤中为计算外参，设三维世界坐标的点为M＝[X,Y,Z,1]T，二维相机平面像素坐标为m＝[u,v,1]T，因此标定用的棋盘格平面到图像平面的单应性关系为：sm＝A[R,t]M，其中s为世界坐标系到图像坐标系的尺度因子，A为相机的内参矩阵，(u₀，v₀)为像主点坐标，α，β为焦距与像素横纵比的融合，γ为径向畸变参数，R为旋转矩阵，t为平移向量，如下公式：

设棋盘格位于Z＝0，定义旋转矩阵R的第i列为r_i,则有

令H＝[h₁ h₂ h₃]＝λA[r₁ r₂ t]，于是空间到图像的映射可改为：sm＝HM，其中H是描述矩阵，H是一个齐次矩阵，所以有8个未知数，至少需要8个方程，每对对应点能提供两个方程，所以至少需要四个对应点，就可以算出世界平面到图像平面的单应性矩阵H。

外部参数可通过上述矩阵求解，由上式H＝[h₁ h₂ h₃]＝λA[r₁ r₂ t]可得：

r₁＝λA^-1h₁ r₂＝λA^-1h₂ r₃＝r₁×r₂ t＝λA^-1h₃

λ＝1/||A^-1h₁||＝1/||A^-1h₂||

外参的具体计算公式。注意：R₃是t，求解出的R＝[r₁ r₂ t]不会满足正交与归一的标准，在实际操作中，R可以通过分解实现规范化。

进一步的，计算内参，包括以下步骤，

由r₁和r₂正交，且r₁和r₂的模相等，可以得到如下约束：正交

模相等：

定义：

B中的未知量可表示为6D向量b，可以表示为：

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T

设H中的第i列为h_i，表示为：

h_i＝[h_i1 h_i2 h_i3]^T

根据b的定义，可以推导出如下公式：

V_ij＝

[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_j3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T

可以得出下式：

根据推到的结果可知如果有n组观察图像，则V是2nx6的矩阵，根据最小二乘定义，V_b＝0的解是最小特征值对应的特征向量。因此，可以直接估算出b，后续可以通过b求解内参，因为B中的未知量为6个，所以当观测平面n≥3时，可以得到b的唯一解。当n＝2时，一般可令畸变参数γ＝0；当n＝1时，仅能估算出α与β，此时一般可假定像主点坐标u₀与v₀为0。

内部参数可通过如下公式计算分解：

γ＝-B₁₂α²β/λ

u₀＝γv₀/α-B₁₃α²/λ

本实施例中上述的推导结果是基于理想情况下的解，但由于可能存在误差，所以需要进行估计优化。设我们采集了n副包含棋盘格的图像进行定标，每个图像里有棋盘格角点m个。令第i副图像上的角点M_j在上述计算得到的摄像机矩阵下图像上的投影点为：其中K为相机内参矩阵A；R_i和t_i是第_i副图对应的旋转矩阵和平移向量，K是内参数矩阵。

则m_ij的函数为：

由上式可得：

让L取得最大值，即让下面式子最小，本实施例使用的是多参数非线性系统优化问题的算法进行迭代求最优解。

经过上述过程可获得摄像模块100的标定数据，即内外参数。

参照图3～4的示意，本实施例标定还需要获得摄像模块100的畸变参数，畸变是对直线投影的一种偏移，畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变，可能由于摄像机镜头的原因。畸变一般可以分为：径向畸变、切向畸变。径向畸变来自于透镜形状，切向畸变来自于整个摄像机的组装过程，畸变还有其他类型的畸变，但是没有径向畸变、切向畸变显著。具体的，

切向畸变模型：

δ_xd＝2p₁xy+p₂(r²+2x²)+K

δ_yd＝2p₁(r²+2y²)+2p₂xy+K

理想坐标与真实坐标：

x′＝x+δ_xr+δ_xd

y′＝y+δ_yr+δ_yd

也即：

将上述坐标变换为像素坐标(u₀，v₀)，可获得本步骤中对摄像模块100的标定数据，即相机内外参数、镜头畸变系数。

进一步的，标定摄像模块100将放置于目标位置，在预设位置上放置原始标定图案，该预设位置为摄像模块100的视野范围、待测量区域范围以及根据设置的参照坐标系计算得出的位置坐标。本实施例中目标位置为根据坐标变换方法需要去操作的位置，由于单个摄像机具有视野范围的限制，因此想要对指定的位置处进行坐标变换，就必须选择将摄像机放置到能够拍摄的目标物体的位置上，也就是上述的目标位置。且当摄像模块100放置完成后，其可以拍摄的视野范围也随之被确定，因此预设位置即摄像模块100的视野范围等。

利用摄像模块100拍摄原始标定图案700获得拍摄图像200；对拍摄图像200进行预处理，获取拍摄图像200的像素坐标与参照坐标系间的坐标变换关系。

结合上述对采用本实施例的标定法标定摄像模块100并获取其标定数据；相机标定是三维场景重构中必不可少的步骤，目的是提取出二维图像中包含的计量信息。将拍摄图像200根据标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁；利用消除畸变图像中标定图案的特征点获取像素坐标；利用像素坐标和原始标定图案700的位置坐标求出透视变换矩阵E₂，且位置坐标相对于参照坐标系；该参照坐标系可根据实际过程中进行选择，最终定义拍摄图像的像素坐标与参照坐标系的变换关系E＝E₂·E₁。

场景一：

本实施例为验证本方法相对于传统方法具有计算快速、精度较高的优势，将单个摄像模块部署于测试车辆中，并与车辆高级驾驶系统相结合完成本方法部署，与传统方法包括激光雷达、毫米波雷达、超声波雷达、双目相机分别利用Matlab进行定位仿真测试，其测试对象为位置给定相对车身的空间坐标为(x，y，z)的障碍物，通过车辆上部署的不同定位方法进行多组定位仿真，最终获取的空间坐标(x₁，y₂，z₃)，计算输出结果的时间，和测得定位误差数据比较各方法的定位精准度。为便于计算，本实验中设置的障碍物坐标系与相对于车身坐标系的z轴平面平行，因此测试中障碍物的给定测试位置点位于坐标系的z轴平面，z轴方向为0，即坐标为(x，y，0)。实验过程如下：

表1：测试实验数据和实验结果数据。

测试

视角

障碍物坐标

本方法

激光雷达

毫米波雷达

传统双目相机

1

前

(450，200，0)

(450，199.2，-0.4)

(450.2，199.1，-0.3)

(450.5，199.8，0)

(450，199，-0.4)

2

前

(300，300，0)

(299，299.5，-0.3)

(299，299.3，-0.2)

(300.1，300.2，-0.1)

(298，298.1，-0.4)

3

前

(300，300，0)

(301.3，299.3，-0.2)

(301.3，299.6，-0.1)

(299.8，299.8，0)

(302.6，297.1，-0.6)

4

前

(300，300，0)

(301.2，300.7，0.6)

(300.7，300.7，0)

(300.3，300.1，0)

(302.3，300.7，2.4)

表2：实验平均误差分析。

由上表1到表2的数据可知，采用本方法的定位精度能够大致达到激光雷达、毫米波雷达和超声波雷达的定位精度，且明显高于传统使用双目相机的定位精度，但本方法使用的设备成本相比激光雷达、毫米波雷达和超声波雷达较低，而对于同样较低成本的传统双目相机的定位精度较高，同时满足在低成本条件下的定位精度需求。

实施例2

本实施例基于上述实施例坐标变换的方法提出一种车身周围物体精确定位方法，通过将参照坐标系定义为车身坐标系，获取设置于车身摄像模块拍摄图像的像素坐标与设置的车身坐标系间的变换关系，具体的，

包括坐标变换阶段和定位阶段，通过坐标变换阶段获取车周围物体相对于车身的坐标变换关系，且坐标变换阶段结合上个实施例的说明，不难发现，本实施例实际是将坐标变换方法应用于车身周围物体定位。具体的，还包括以下步骤，

标定摄像模块100并将摄像模块100设置于车身800的目标位置上，与上个实施例不同之处在于将摄像模块100设置位于车身800的位置上，且根据需要定位车身方位的目标进行确定目标位置，例如可以是车身外或者车内等，取决于用户想要定位的方位；

在预设位置上放置原始标定图案700，同样的预设位置为随目标位置确定后摄像模块100能够拍摄的视野范围；

利用摄像模块100拍摄原始标定图案700得到拍摄图像200；

对拍摄图像100进行预处理，获取拍摄图像100的像素坐标与参照坐标系间的坐标变换关系。该步骤中定义参照坐标系包括以下步骤，

选取车身上800的任一位置为原点O；根据原点定义车身坐标系O₁为参照坐标系。

进一步的，拍摄图像200的预处理包括以下步骤，采用上个实施例中的标定方法标定摄像模块100并获取其标定数据，包括获得；拍摄图像200根据标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁；利用消除畸变图像中标定图案的特征点获取像素坐标；利用像素坐标和原始标定图案700的位置坐标求出透视变换矩阵E₂，且位置坐标相对于车身坐标系O₁；定义拍摄图像200的像素坐标与车身坐标系O₁的变换关系E＝E₂·E₁。

得到上述变换关系E后，进入定位阶段，为利用其进行汽车周围物体的相对于车身坐标系O₁的精准定位，具体的，定位阶段还包括以下步骤，摄像模块100拍摄车身800周围的实际物体并获得图片，将图片采用传统图像处理或者输入神经网络中，获取其底边像素坐标；底边像素坐标代入坐标变换关系E中，获取图片中的物体相对于车身坐标系O₁的精确坐标，假设原始标定图案700的像素坐标为p₀，则其对应的车身坐标系O1中的坐标P＝E p₀。

在检测阶段，将摄像模块100拍摄的图片采用传统图像处理方式，或者输入神经网络检测，例如Mask-RCNN、YOLO3等，通过处理结果得出障碍物底边像素坐标，利用上述坐标转换关系E，即可求出障碍物相对于车身坐标系O₁的精确位置。还需要说明的是，图像都是由像素组成的，像素坐标是像素在图像中的位置，要确定像素的坐标，首先要确定图像的坐标系。常见的坐标系有图像坐标系、相机坐标系、世界坐标系等。其获取图像坐标系的步骤为：

以图像左上角为原点建立以像素为单位的直接坐标系u-v；像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。

由于(u，v)只代表像素的列数与行数，而像素在图像中的位置并没有用物理单位表示出来，所以，我们还要建立以物理单位(如毫米)表示的图像坐标系x-y。将相机光轴与图像平面的交点(一般位于图像平面的中心处，也称为图像的主点定义为该坐标系的原点O1，且x轴与u轴平行，y轴与v轴平行，假设(u0,v0)代表O1在u-v坐标系下的坐标，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，则图像中的每个像素在u-v坐标系中的坐标和在x-y坐标系中的坐标之间都存在如下的关系：

其中，我们假设物理坐标系中的单位为毫米，那么dx的的单位为:毫米/像素，那么x/dx的单位就是像素了，即和u的单位一样都是像素。为了使用方便，可将上式用齐次坐标与矩阵形式表示为：

结合上个实施例中涉及过程可利用世界坐标系、像素坐标系通过一般图像处理方式获取像素坐标，本实施例中还提出利用神经网络检测来提取图像特征，其实际是局部连接网络，相对于全连接网络其最大的特点就是：局部连接性和权值共享性，因为对一副图像中的某个像素p来说，一般离像素p越近的像素对其影响也就越大；另外，根据自然图像的统计特性，某个区域的权值也可以用于另一个区域。这里的权值共享就是卷积核共享，对于一个卷积核将其与给定的图像做卷积就可以提取一种图像的特征，不同的卷积核可以提取不同的图像特征，计算方法可以根据公式：

其中σ表示激活函数；imgMat表示灰度图像矩阵；W表示卷积核；表示卷积操作；b表示偏置值。

整体上把搭建的网络架构，一层一层组合起来的，层与层之间的行为也是有对应的权值w和偏移值b决定的，并且它们的目的也是一致的通过学习网络结构中的w和b不断的学习优化，从而能把输入的图片正确分类，获取图像的特征值。从而确定像素在图像中的位置，即像素坐标。

因此本实施例提出的方法硬件成本低，只需要一枚摄像头，与现有高级驾驶系统结合容易，也可单独部署；计算速度快，精度较高，其中距离车身6米范围内误差在0～1％以内，越近精度越高，而传统双目定位方法误差3％以内。对于多方向检测，部署多枚摄像头，可实现无缝融合。

实施例3

参照图5～7的示意，本实施例中还提出一种车身周围物体定位系统，包括摄像模块100、标定模块200、消除畸变模块300、图像处理模块400和坐标变换模块500。具体的，摄像模块100，摄像模块100用于拍摄车身周围的物体并获得物体的拍摄图像200；标定模块300，与摄像模块100连接，用于标定摄像模块100并获得其标定数据；消除畸变模块400，通过消除畸变模块400接收拍摄图像200和标定数据进行处理后对拍摄图像200进行畸变矫正并获得畸变校正后的图像变换映射；图像处理模块500，拍摄图像200能够发送至图像处理模块400内进行预处理获得拍摄图像200的像素坐标；坐标变换模块600，用于获得拍摄图像200的像素坐标与参照坐标系间的坐标变换关系。消除畸变模块400通过畸变矫正处理获得图像变换映射E₁；坐标变换模块600通过定义参照坐标系，拍摄图像200的像素坐标和预设原始标定图案700相对坐标系的位置坐标能够输入至坐标变换模块600处理并获得透视变换矩阵E₂，定义变换关系E＝E₂·E₁。

本实施例中以车身的正前方探测障碍物为例说明。

包括以下为标定过程：

结合上述实施例采用标定一枚摄像头，获取其标定数据，包括相机内参矩阵M、径向畸变系数k₁、k₂、k₃，切向畸变系数p₁、p₂。根据标定数据可用数学方法消除相机镜头畸变，其中，

径向畸变可以表示为：

x_distorted＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_distorted＝y(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸变可以表示为：

x_distorted＝x+[2p₁xy+p₂(r²+2x²)]

y_distorted＝y+[p₁(r²+2y²)+2p₂xy]

根据上述关系可以确定原始图像的像素坐标至畸变校正后图像像素坐标的映射关系E₁；标定数据是摄像头的固有属性，对于每个摄像头，该步骤只进行一次；将标定完毕的摄像头安装车身固定位置，使其视野可覆盖测量范围；安装位置根据所需要测量的范围决定，本例采用车头安装，检测前方范围。

选取车身800某一位置为原点，定义车身坐标系O₁，本例取车身中心为原点，车头方向为y轴正方向，车右侧为x轴正方向。在车头前方地面放置一块原始标定图案700，图案摆放的位置方向(1)根据相机视野范围、待测量区域范围以及车身坐标系O₁进行计算，图案需要精确摆放测量。

本例将标定板摆放在车头正前方约1米处，标定板下边界与左边界与O₁中xy轴方向分别平行，标定板中心与O₁中y轴重合。通过精确测量，确定出标定图案中特征点在O₁中的物理坐标P₁、P₂、P₃、P₄…...P_n。通过该摄像头拍摄标定图案，寻找对应标定图案的特征点，其像素坐标分别为p₁原、p₂原、p₃原、p₄原…...p_n原。并通过映射关系E₁处理消除其畸变，则在已消除畸变的图像中对应标定图案的特征点像素坐标分别为p₁、p₂、p₃、p₄…...p_n。通过P₁、P₂、P₃、P₄…...P_n与p₁、p₂、p₃、p₄…...p_n即可确定一组透视变换关系E₂。

综上p_n＝E₁·p_n原、P_n＝E₂·p_n，可以得出P_n＝E₂·E₁·p_n原；

令E＝E₂·E₁，则P_n＝E·p_n原；(公式1)此为相机拍摄原始图像中像素坐标与O₁坐标系中物理坐标的映射关系，至此标定部分结束。

对于一个固定的相机，上述过程仅在相机安装后进行一次，具体的以下为应用过程：

以探测前方障碍物为例，拍摄前方障碍物图像，将原始图像通过目标检测神经网络处理，本实施例可以采用YOLO_v3网络，取得目标底边中心点的像素坐标p_n原，之后利用公式1，即可得知目标在O₁坐标系中的具体物理坐标。

参照图9～10的示意，图9中可以看出激光雷达的普及所遇到的最大挑战是：成本过高。单独一个雷达的价格可能就超过了普通小汽车的价格，因此现阶段还没有大规模量产的可能性。而图9中示意为一般照相机的参考价格，明显对比可知，本实施例中具有成本较低的优势。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种坐标变换的方法，其特征在于：包括以下步骤，

标定摄像模块(100)并将所述摄像模块(100)设置于目标位置上；

在预设位置上放置原始标定图案(700)；

利用所述摄像模块(100)拍摄所述原始标定图案(700)获得拍摄图像(200)；

对所述拍摄图像(200)进行预处理，获取所述拍摄图像(200)的像素坐标与设置参照坐标系间的坐标变换关系。

2.如权利要求1所述的坐标变换的方法，其特征在于：所述图像预处理还包括以下步骤，

标定所述摄像模块(100)并获取其标定数据；

所述拍摄图像(200)根据所述标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射E₁；

利用所述消除畸变图像中标定图案的特征点获取像素坐标；

利用所述像素坐标和所述原始标定图案(700)的位置坐标求出透视变换矩阵E₂，且所述位置坐标相对于所述参照坐标系；

定义所述拍摄图像(200)的像素坐标与所述参照坐标系的变换关系为E＝E₂·E₁。

3.一种车身周围物体定位方法，其特征在于：包括坐标变换阶段和定位阶段，通过所述坐标变换阶段获取车周围物体相对于车身的坐标变换关系，且所述坐标变换阶段包括以下步骤，

标定摄像模块(100)并将所述摄像模块(100)设置于车身(800)的目标位置上；

在预设位置上放置原始标定图案(700)；

利用所述摄像模块(100)拍摄所述原始标定图案(700)得到所述拍摄图像(200)；

对所述拍摄图像(200)进行预处理，获取所述拍摄图像(200)的像素坐标与参照坐标系间的坐标变换关系。

4.如权利要求3所述的车身周围物体定位方法，其特征在于：定义所述参照坐标系包括以下步骤，

选取所述车身(800)上的任一位置为原点O；

根据所述原点O定义车身坐标系O₁为所述参照坐标系。

5.如权利要求3或4所述的车身周围物体定位方法，其特征在于：所述拍摄图像(200)的预处理包括以下步骤，

标定所述摄像模块(100)并获取其标定数据；

利用所述消除畸变图像中标定图案的特征点获取像素坐标；

利用所述像素坐标和所述原始标定图案(700)的位置坐标求出透视变换矩阵E₂，且所述位置坐标相对于所述车身坐标系O₁；

定义所述拍摄图像(200)的像素坐标与所述车身坐标系O₁的变换关系为E＝E₂·E₁。

6.如权利要求5所述的车身周围物体定位方法，其特征在于：所述定位阶段还包括以下步骤，

所述摄像模块(100)拍摄所述车身(800)周围的实际物体并获得图片，将所述图片采用传统图像处理或者输入神经网络中，获取其底边像素坐标；

所述底边像素坐标代入所述坐标变换关系E中，获取所述图片中的物体相对于所述车身坐标系O₁的精确坐标，假设所述原始标定图案(700)的像素坐标为p₀，则其对应的所述车身坐标系O₁中的坐标P＝E p₀。

7.如权利要求3、4或6任一所述的车身周围物体定位方法，其特征在于：所述标定摄像模块(100)还包括以下步骤，

确定所述车身(800)需要进行物体定位的方向；

沿所述方向且位于所述车身(800)上为所述目标位置并放置摄像模块(200)；

标定所述摄像模块(100)并获取其标定数据，且所述标定数据包括相机内外参数和镜头畸变系数。

8.如权利要求7所述的车身周围物体定位方法，其特征在于：所述预设位置为所述摄像模块(100)的视野范围、待测量区域范围以及根据所述车身坐标系O₁计算得出的位置坐标。

9.一种车身周围物体定位系统，其特征在于：包括，

摄像模块(100)，所述摄像模块(100)用于拍摄车身周围的物体并获得所述物体的拍摄图像(200)；

标定模块(300)，与所述摄像模块(100)连接，用于标定所述摄像模块(100) 并获得其标定数据；

消除畸变模块(400)，通过所述消除畸变模块(400)接收所述拍摄图像(200)和所述标定数据进行处理后对所述拍摄图像(200)进行畸变矫正并获得畸变校正后的图像变换映射；

图像处理模块(500)，所述拍摄图像(200)能够发送至所述图像处理模块(400)内进行预处理获得所述拍摄图像(200)的像素坐标；

坐标变换模块(600)，用于获得所述拍摄图像(200)的像素坐标与参照坐标系间的坐标变换关系。

10.如权利要求9所述的车身周围物体定位系统，其特征在于：

所述消除畸变模块(400)通过畸变矫正处理获得图像变换映射E₁；

所述坐标变换模块(600)通过定义参照坐标系，所述拍摄图像(200)的像素坐标和预设原始标定图案(700)相对坐标系的位置坐标能够输入至所述坐标变换模块(600)处理并获得透视变换矩阵E₂，定义变换关系E＝E₂·E₁。