CN108528337B - 一种基于视频投影的内轮差智能预警系统及预警方法 - Google Patents

Abstract

本发明提供了一种基于视频投影的内轮差智能预警系统及智能预警方法。所述基于视频投影的内轮差智能预警系统包括均安装于车辆的摄像头和超声波测距模块、车轮状态获取模块、及视频投影模块，所述摄像头用于获取车辆周围影像，所述超声波测距模块用于测量车辆与障碍物之间的实际距离，所述车轮状态获取模块从车辆的OBD系统中获取车辆的前轮和后轮的运行状态；所述视频投影模块分别连接所述摄像头和所述车轮状态获取模块，且所述视频投影模块根据所述车轮状态获取模块获取的所述前轮和后轮的运行状态计算后轮运行轨迹，且将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内。

Description

一种基于视频投影的内轮差智能预警系统及预警方法

技术领域

本发明涉及视频投影技术领域，具体地涉及一种基于视频投影的内轮差智能预警系统及预警方法。

背景技术

随着中国汽车保有量的急剧增加，道路、停车场等泊车场所日益拥挤，可以利用的泊车空间也越来越少。与此同时，快速增长的驾驶员人群中操纵不熟练的新手也逐年增多，由于汽车结构和驾驶员视野局限的影响，倒车成为汽车驾驶的主要难点之一。美国密歇根大学的研究表明，泊车导致的事故占到各类事故的44％，其中大约50％的泊车事故是由于倒车造成的。由此可见，倒车是导致车辆事故的一个重要原因。

而且，对于大型车辆而言，司机在前行过程中会出现视觉盲区，例如在前行拐弯的过程中，经常会出现后轮撞上障碍物而发生事故。

发明内容

本发明的目的在于提供一种基于视频投影的内轮差智能预警系统及预警方法，目的在于为驾驶员倒车过程或前行过程提供指引和预警。

本发明的技术方案如下：一种基于视频投影的内轮差智能预警系统包括均安装于车辆的摄像头和超声波测距模块、车轮状态获取模块、及视频投影模块，所述摄像头用于获取车辆周围影像，所述超声波测距模块用于测量车辆与障碍物之间的实际距离，所述车轮状态获取模块从车辆的OBD系统中获取车辆的前轮和后轮的运行状态；所述视频投影模块分别连接所述摄像头和所述车轮状态获取模块，且所述视频投影模块根据所述车轮状态获取模块获取的所述前轮和后轮的运行状态计算后轮运行轨迹，且将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内；如果所述超声波测距模块测量车辆与障碍物之间的实际距离小于预设的安全距离值，则会发出警报。

优选地，所述视频投影模块接收所述车轮状态获取模块获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹的计算模型如下：

其中，l为车辆前后轮连线长度，θ为车辆前轮转角，坐标原点为汽车右后轮点，x、y为汽车轮胎的运行坐标。

优选地，所述视频投影模块将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内中，所述视频投影模块将所述摄像头获取的车辆周围影像进行投影变换后，将所述后轮运行轨迹添加入投影变换后的实时视频中。

一种根据所述基于视频投影的内轮差智能预警系统的智能预警方法包括如下步骤：所述摄像头获取车辆周围影像，所述超声波测距模块测量车辆与障碍物之间的实际距离，所述车轮状态获取模块从车辆的OBD系统中获取车辆的前轮和后轮的运行状态；所述视频投影模块接收所述车轮状态获取模块获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹，且将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内；判断所述超声波测距模块测量车辆与障碍物之间的实际距离是否小于预设的安全距离值，如果是，则会发出警报。

优选地，在所述视频投影模块接收所述车轮状态获取模块获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹的步骤中，计算后轮运行轨迹的计算模型如下：

其中，l为车辆前后轮连线长度，θ为车辆前轮转角，坐标原点为汽车右后轮点，x、y为汽车轮胎的运行坐标。

优选地，所述视频投影模块将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内步骤包括如下步骤：

将后轮着地点设定为世界坐标系的原点，计算得到世界坐标系内的后轮轨迹方程；

将所述世界坐标系的后轮轨迹方程转换为所述相机坐标系内的后轮轨迹方程；

将所述相机坐标系内的后轮轨迹方程转换为成像平面坐标系内的后轮轨迹方程。

优选地，在将所述世界坐标系的后轮轨迹方程转换为所述相机坐标系内的后轮轨迹方程的步骤中，设定所述世界坐标系的后轮轨迹方程为f(X，Y，Z)，所述相机坐标系内的后轮轨迹方程为f(x，y，z)，则有：

其中，X，Y，Z分别为世界坐标系内的坐标，x，y，z分别为相机坐标系内的坐标，R为旋转矩阵，T为相机外参。

优选地，在将所述相机坐标系内的后轮轨迹方程转换为成像平面坐标系内的后轮轨迹方程的步骤中，设定所述相机坐标系内的后轮轨迹方程为f(x，y，z)，所述成像平面坐标系内的后轮轨迹方程为f(u，v)，则有：

其中，x，y，z分别为相机坐标系内的坐标，u，v分别为成像平面坐标系内的坐标，K为相机内参。

本发明的有益效果在于：

所述基于视频投影的内轮差智能预警系统和智能预警方法通过障碍识别技术识别车侧的障碍物，当发现障碍物时，利用超声波测距模块的语音提醒司机，司机收到提醒后就可以通过添加有后轮轨迹线的视频来判断出车侧和后轮是否会撞到障碍物，继续前行是否存在危险，并决定是否应该采取措施。避免事故的发生；

而且，本发明兼具视觉与听觉，既有将消除驾驶员盲区的车侧映像与后轮轨迹线相结合的视频参考，又有检测危险区障碍物的超声波测距模块的语音预警；无论驾驶员是否注意车侧安全，本系统都会为车辆行驶安全保驾护航，在危险发生前智能提醒驾驶员，使其能通过实时视频做出反应，大大降低内轮差事故的发生率。。

附图说明

图1是本发明实施例提供的基于视频投影的内轮差智能预警系统的结构框图；

图2是根据图1所示基于视频投影的内轮差智能预警系统的智能预警方法的流程示意图；

图3是从相机坐标系转为成像平面坐标系的示意图；

图4是成像平面坐标系的示意图；

图5是应用场景一中超声波测距装置安装于车头的示意图；

图6是应用场景一中超声波测距装置安装于车尾的示意图；

图7是应用场景一的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

请参阅图1，所述基于视频投影的内轮差智能预警系统均安装于车辆的摄像头10和超声波测距模块(图未示)、车轮状态获取模块30、及视频投影模块40。可选择地，所述摄像头10可以为广角的红外夜视摄像头10。

应当理解，所述摄像头10和所述超声波测距模块均可以安装于车辆的车头、车尾或车身的侧面，本发明对此不做限定，可以根据实际设计的需要进行选择。

其中，所述摄像头10用于获取车辆周围影像，所述超声波测距模块用于测量车辆与障碍物之间的实际距离，所述车轮状态获取模块30从车辆的OBD系统中获取车辆的前轮和后轮的运行状态；

所述视频投影模块40分别连接所述摄像头10和所述车轮状态获取模块30，且所述视频投影模块40接收所述车轮状态获取模块30获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹，且将所述后轮运行轨迹添加在所述摄像头10获取的车辆周围影像内；

如果所述超声波测距模块测量车辆与障碍物之间的实际距离小于预设的安全距离值，则会发出警报。

而且，所述视频投影模块40接收所述车轮状态获取模块30获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹的计算模型如下：

其中，l为车辆前后轮连线长度，θ为车辆前轮转角，坐标原点为汽车右后轮点，x、y为汽车轮胎的运行坐标。

此外，所述视频投影模块40将所述后轮运行轨迹添加在所述摄像头10获取的车辆周围影像内中，所述视频投影模块40将所述摄像头10获取的车辆周围影像进行投影变换后，将所述后轮运行轨迹添加入投影变换后的实时视频中。

如图2所示，一种根据如图所示的基于视频投影的内轮差智能预警系统的智能预警方法，包括如下步骤：

一、所述摄像头10获取车辆周围影像，所述超声波测距模块测量车辆与障碍物之间的实际距离，所述车轮状态获取模块30从车辆的OBD系统中获取车辆的前轮和后轮的运行状态；

二、所述视频投影模块40接收所述车轮状态获取模块30获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹，且将所述后轮运行轨迹添加在所述摄像头10获取的车辆周围影像内；

三、判断所述超声波测距模块测量车辆与障碍物之间的实际距离是否小于预设的安全距离值，如果是，则会发出警报。

需要说明的是，在步骤二中，所述视频投影模块40接收所述车轮状态获取模块30获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹的步骤中，计算后轮运行轨迹的计算模型如下：

其中，l为车辆前后轮连线长度，θ为车辆前轮转角，坐标原点为汽车右后轮点，x、y为汽车轮胎的运行坐标。

而且，在步骤二中，所述视频投影模块40将所述后轮运行轨迹添加在所述摄像头10获取的车辆周围影像内步骤包括如下步骤：

将后轮着地点设定为世界坐标系的原点，计算得到世界坐标系内的后轮轨迹方程；

将所述世界坐标系的后轮轨迹方程转换为所述相机坐标系内的后轮轨迹方程；

将所述相机坐标系内的后轮轨迹方程转换为成像平面坐标系内的后轮轨迹方程。

具体地，在将所述世界坐标系的后轮轨迹方程转换为所述相机坐标系内的后轮轨迹方程的步骤中，设定所述世界坐标系的后轮轨迹方程为f(X，Y，Z)，所述相机坐标系内的后轮轨迹方程为f(x，y，z)，则有：

其中，X，Y，Z分别为世界坐标系内的坐标，x，y，z分别为相机坐标系内的坐标，R为旋转矩阵，T为相机外参。

在将所述相机坐标系内的后轮轨迹方程转换为成像平面坐标系内的后轮轨迹方程的步骤中，设定所述相机坐标系内的后轮轨迹方程为f(x，y，z)，所述成像平面坐标系内的后轮轨迹方程为f(u，v)，则有：

其中，x，y，z分别为相机坐标系内的坐标，u，v分别为成像平面坐标系内的坐标，K为相机内参。

进一步地对视频的投影变换过程介绍如下：

第一步：从世界坐标系转为相机坐标系

在第一步中是从世界坐标系的三维点坐标转换到相机坐标系的三维点坐标。其中，所需要的参数包括：旋转矩阵R、及相机外参T等参数。

例如，三个轴的旋转参数分别为(ω、δ、θ),然后把每个轴的3×3旋转矩阵进行组合，得到集合三个轴旋转信息的3×3的矩阵R；T的三个轴的平移参数(Tx、Ty、Tz)，并将R和T组合成3×4的外参矩阵；

第二步：从相机坐标系转为成像平面坐标系

在第二步中是相机坐标系的三维点坐标转换到成像平面坐标系的二维点坐标。其中，所需要的参数包括相机内参K等参数。

例如，如图3，以O点为原点建立相机坐标系。点Q(X,Y,Z)为相机坐标系空间中的一点，该点被光线投影到图像平面上的q(x,y,f)点。图像平面与光轴z轴垂直，和投影中心距离为f(f是相机的焦距)。按照三角比例关系可以得出透视投影变换矩阵：

而且，通过[(x,y)→(u,v)]把像平面坐标系物理单位转化为像素单位，以图像平面的左上角或左下角为原点建立坐标系。假设像平面坐标系原点位于图像左下角，水平向右为u轴，垂直向上为v轴，均以像素为单位。

如图4所示，以图像平面与光轴的交点O1为原点建立坐标系，水平向右为x轴，垂直向上为y轴。原点O1一般位于图像中心处，O1在以像素为单位的图像坐标系中的坐标为(u0,v0)。

设每个像素的物理尺寸大小为dx*dy(mm)，图像平面上某点在成像平面坐标系中的坐标为(x,y)，在成像平面坐标系中的坐标为(u,v)，则二者满足如下关系

经过带入和转换可得：

其中，

接下来对本发明实施例提供的基于视频投影的内轮差智能预警系统及预警方法的应用场景进行举例说明。

应用场景一

如图5和图6所示，将本发明应用于中小型车辆时，可以将超声波测距模块安装在车头或车尾，超声波测距模块会扫描一个锥形区域(如图)，并返回该区域内距离超声波模块最近的物体的距离值r，测量车辆前轮与后轮的中心距离L。当r小于L时，就会预警提醒驾驶员。

应用场景二

如图7所示，在应用于大型车辆时，如果将超声波测距模块安装在车头或车尾，因为车辆长度过长，会使得超声波扫面区域过大，容易产生误报情况影响驾驶员驾驶。所以我们将数个超声波测距模块间隔适当距离安装在大车辆的车身侧面；

通过建模绘制出当方向盘转最大角度时，车辆的后轮轨迹线，过超声波A点做车身的垂线，交后轮轨迹线于B点，计算线段AB长为K1，以此类推计算出所有超声波对应的先端长K2，K3……，将K1，K2，K3分别设定为对应超声波的阀值，一旦测得障碍物距离小于该阀值，便预警提醒驾驶员注意安全。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于视频投影的内轮差智能预警系统，其特征在于，包括均安装于大型车辆的摄像头和超声波测距模块、车轮状态获取模块、及视频投影模块，

所述摄像头用于获取车辆周围影像，所述超声波测距模块用于测量车辆与障碍物之间的实际距离，所述车轮状态获取模块从车辆的OBD系统中获取车辆的前轮和后轮的运行状态；

所述视频投影模块分别连接所述摄像头和所述车轮状态获取模块，且所述视频投影模块根据所述车轮状态获取模块获取的所述前轮和后轮的运行状态计算后轮运行轨迹的计算模型为：

其中，l为车辆前后轮连线长度，θ为车辆前轮转角，坐标原点为汽车右后轮点，x、y为汽车轮胎的运行坐标；

且所述视频投影模块将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内；所述超声波测距模块为多个，且间隔适当距离安装在大型车辆的车身侧面，通过上述计算模型绘制出当方向盘转最大角度时，车辆的后轮轨迹线，分别过每个超声波测距模块的安装点A做车身的垂线，垂线交后轮轨迹线于B点，计算线段AB长为K1，以此类推，计算出所有超声波测距模块对应的线段长K2，K3……Kn，将K1，K2，K3……Kn分别设定为对应超声波测距模块的阀值，其中n为超声波测距模块的个数；使得各自对应超声波测距模块的阈值为预设的安全距离值，

如果所述超声波测距模块测量车辆与障碍物之间的实际距离小于预设的安全距离值，则会发出警报。

2.根据权利要求1所述的基于视频投影的内轮差智能预警系统，其特征在于，所述视频投影模块将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内中，所述视频投影模块将所述摄像头获取的车辆周围影像进行投影变换后，将所述后轮运行轨迹添加入投影变换后的实时视频中。

3.一种根据权利要求1所述基于视频投影的内轮差智能预警系统的智能预警方法，其特征在于，包括如下步骤：

所述摄像头获取车辆周围影像，所述超声波测距模块测量车辆与障碍物之间的实际距离，所述车轮状态获取模块从车辆的OBD系统中获取车辆的前轮和后轮的运行状态；

所述视频投影模块接收所述车轮状态获取模块获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹，且将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内；

判断所述超声波测距模块测量车辆与障碍物之间的实际距离是否小于预设的安全距离值，如果是，则会发出警报。

4.根据权利要求3所述的智能预警方法，其特征在于，在所述视频投影模块接收所述车轮状态获取模块获取的所述前轮和后轮的运行状态，并计算后轮运行轨迹的步骤中，计算后轮运行轨迹的计算模型如下：

其中，l为车辆前后轮连线长度，θ为车辆前轮转角，坐标原点为汽车右后轮点，x、y为汽车轮胎的运行坐标。

5.根据权利要求3所述的智能预警方法，其特征在于，所述视频投影模块将所述后轮运行轨迹添加在所述摄像头获取的车辆周围影像内步骤包括如下步骤：将后轮着地点设定为世界坐标系的原点，计算得到世界坐标系内的后轮轨迹方程；

将世界坐标系的后轮轨迹方程转换为相机坐标系内的后轮轨迹方程；

将相机坐标系内的后轮轨迹方程转换为成像平面坐标系内的后轮轨迹方程。

6.根据权利要求5所述的智能预警方法，其特征在于，在将所述世界坐标系的后轮轨迹方程转换为所述相机坐标系内的后轮轨迹方程的步骤中，设定所述世界坐标系的后轮轨迹方程为f(X，Y，Z)，所述相机坐标系内的后轮轨迹方程为f(x，y，z)，则有：

其中，X，Y，Z分别为世界坐标系内的坐标，x，y，z分别为相机坐标系内的坐标，R为旋转矩阵，T为相机外参。

7.根据权利要求5所述的智能预警方法，其特征在于，在将所述相机坐标系内的后轮轨迹方程转换为成像平面坐标系内的后轮轨迹方程的步骤中，设定所述相机坐标系内的后轮轨迹方程为f(x，y，z)，所述成像平面坐标系内的后轮轨迹方程为f(u，v)，则有：

其中，x，y，z分别为相机坐标系内的坐标，u，v分别为成像平面坐标系内的坐标，K为相机内参。

Images