CN108638999B - 一种基于360度环视输入的防碰撞预警系统及方法 - Google Patents
一种基于360度环视输入的防碰撞预警系统及方法 Download PDFInfo
- Publication number
- CN108638999B CN108638999B CN201810472011.8A CN201810472011A CN108638999B CN 108638999 B CN108638999 B CN 108638999B CN 201810472011 A CN201810472011 A CN 201810472011A CN 108638999 B CN108638999 B CN 108638999B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- early warning
- around
- mode
- collision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
Abstract
一种基于360度环视输入的防碰撞预警系统，包括：环视鱼眼相机，用于采集车辆周围图像信息；车载传感器单元，用于采集车辆信号；控制模块，与所述环视鱼眼相机连接，与所述车载传感器单元连接，接收车辆信号和/或图像信息，并进行分析处理，输出预警信号；以及，预警提醒模块，接收预警信号。本发明主要针对车辆前后方横向通过的行人/自行车，车辆右侧盲区同向通行的自行车在与本车可能发生碰撞的情况，通过视频智能分析与处理，将行人防碰撞保护功能集成于环视系统中，以辅助显示和预警的方式提升360度环视系统相关应用的主动/辅助安全性能。
Description
技术领域
本发明涉及车辆技术领域，特别涉及一种基于360度环视输入的防碰撞预警系统及方法。
背景技术
智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域应用越来越广。360度环视系统是现有高级汽车辅助安全系统之一，此类系统可以在低速工况下为驾驶员提供车辆周围情况辅助显示，为驾驶员低速操作提供视觉辅助(如泊车等)，已经成为了众多量产车型的标准配置。现有此类量产系统还存在许多不足：(1)大多只提供俯视视角下车辆周围环境的平面示意图，系统视野范围有限，绝大多数系统只能辅助显示车辆周围2-3米以内的区域，且非道路平面部分物体映射变形严重；(2)环视鱼眼相机远距离目标分辨率有限并且场景边缘目标畸变较为明显；(3)应用范围仅仅局限于低速工况下通过场景拼接与变换，辅助驾驶员在泊车以及狭窄道路等场景工况更好的进行车辆操作，并没有基于此类环视系统输入下的主动安全功能面世。
发明内容
本发明解决的一个技术问题是：360度环视系统只能辅助显示车辆周围2-3米以内的区域，且辅助显示的非道路平面部分物体映射变形严重，环视鱼眼相机远距离目标分辨率有限并且场景边缘目标畸变较为明显；没有主动安全功能，无法进行行人/自行车检测及跟踪，本发明具体针对车辆前后方横向通过的行人/自行车，车辆右侧盲区同向通行的自行车在与本车可能发生碰撞的情况。
本发明解决其技术问题所采用的技术方案是：一种基于360度环视输入的防碰撞预警系统，包括：环视鱼眼相机，用于采集车辆周围图像信息；车载传感器单元，用于采集车辆信号；控制模块，与所述环视鱼眼相机连接，与所述车载传感器单元连接，接收车辆信号和/或图像信息，并进行分析处理，输出预警信号；以及，预警提醒模块，接收预警信号。
优选地，所述车载传感器单元包括：车速传感器、档位信号传感器以及转向传感器。
本发明还提供了一种基于360度环视输入的防碰撞预警方法，包括：通过车载传感器单元采集车辆信号，环视鱼眼相机采集车辆周围图像信息；控制模块接收所述车辆信号和车辆周围图片信息，进行应用场景判断，计算不同应用场景的预碰撞时间TTC；预警提醒模块根据不同应用场景的预碰撞时间TTC，执行相应预警策略。
本发明，根据行人/自行车检测及跟踪结果，计算不同应用场景下的预碰撞时间TTC，并根据相关应用的预警阈值，以图标和声音等两种以上方式发出告警信号，采用多级预警信号，设置预警信号渐变梯度，通过听觉预警信号的频率提示预碰撞时间。
优选地，所述应用场景，包括：通过模式、转弯模式以及倒车模式；若档位信号传感器检测到车辆处于前进档位，车速传感器检测到车速低于设定的第一车速，则系统处于通过模式；若转向传感器检测到车辆处于右转状态，则系统处于转弯模式；若档位信号传感器检测到车辆处于倒车档位，则系统处于倒车模式。
优选地，所述环视鱼眼相机采集车辆周围图像信息，包括：根据应用场景，确定目标检测ROI输入，进行环视系统辅助显示，训练生成行人/自行车分类器，进行在线目标检测、计算相对距离，进行目标跟踪。
本发明对于定义的三种应用场景，将相关环视鱼眼相机ROI区域投影变换到立体碗状模型上，对重合区域进行拼接融合，根据CAN总线上相关车辆运动信息(档位、方向盘转角等)设置渲染视角位置并辅助显示车辆周围相关区域；通过生成矫正后图像像素点与现实地面坐标系投影关系映射表，对广角相机图像输入进行实时畸变消除以及一些滤波预处理；利用离线训练生成的深度卷积神经网络进行行人/自行车的目标检测，并利用基于运动学模型的卡尔曼滤波对目标进行跟踪，解决了360度环视系统只能辅助显示车辆周围2-3米以内的区域，且辅助显示的非道路平面部分物体映射变形严重，环视鱼眼相机远距离目标分辨率有限并且场景边缘目标畸变较为明显以及没有主动安全功能，无法进行行人/自行车检测及跟踪的问题。
优选地，所述确定目标检测ROI输入的方法包括：若系统处于通过模式，目标检测ROI为前环视鱼眼输入部分区域；若系统处于转弯模式，目标检测ROI为右环视鱼眼输入部分区域；若系统处于倒车模式，目标检测ROI为后环视鱼眼输入部分区域。
优选地，所述预碰撞时间TTC的计算方法，包括：对于通过模式或倒车模式，预碰撞时间TTC＝TTC1：
对于转弯模式，预碰撞时间TTC＝TTC2：
其中，W为预警目标侧向偏离阈值，L为预警目标纵向偏离阈值，Dx为车辆与行人/自行车的相对纵向距离，Vx为车辆与行人/自行车的相对纵向速度，Dy为车辆与行人/自行车的相对侧向距离，Vy为车辆与行人/自行车的相对侧向速度。
优选地，所述预警策略，包括：对于通过模式或倒车模式，若预碰撞时间TTC小于预设预警阈值T1，则发出视觉预警信号和/或听觉预警信号，听觉预警信号的频率与(T1-TTC)成正比；对于转弯模式，若预碰撞时间TTC小于预设预警阈值T2，则发出视觉预警信号和/或听觉预警信号，听觉预警信号的频率与(T2-TTC)成正比。
优选地，所述计算相对距离的方法是：根据离线标定的环视鱼眼相机参数，基于平面道路假设，通过投影变换将图像坐标系中的行人/自行车下边缘中点点[u,v]转换到世界坐标系下的位置[X，Y]，即为定义坐标系下行人/自行车的实际相对距离。
优选地，所述进行目标跟踪的方法是：利用基于匀速运动假设的运动学模型卡尔曼滤波，估算行人/自行车的相对运动，具体状态空间以及测量空间构造如下：
xt+1＝Axt+But+ωt
yt+1＝Cxt+ρt
其中，x为系统状态量，包括行人/自行车的位置与位置变化信息，即[X,Y,dX,dY]T；y为系统观测量，包括行人/自行车的位置信息，即[X,Y]T；ω，ρ分别为过程噪声和测量噪声。
本发明的实质性效果：本发明主要针对车辆前后方横向通过的行人/自行车，车辆右侧盲区同向通行的自行车在与本车可能发生碰撞的情况，通过视频智能分析与处理，将行人防碰撞保护功能集成于环视系统中，以辅助显示和预警的方式提升360度环视系统相关应用的主动/辅助安全性能，充分利用了环视系统资源，将部分ADAS功能以360度环视系统为载体在车辆终端上实现；根据车辆操纵信号，动态更新辅助显示视场范围，相比于传统的环视显示方式，交互性更好，能够避免驾驶员分神于不必要的场景；相比于传统的环视系统，增添了基于视觉输入智能分析的主动安全功能，针对环视系统环视鱼眼相机输入的特点，设计了低速防碰撞预警应用，包括行人/自行车等弱势道路参与者检测、辅助现实与预警算法，能有效避免部分由驾驶员人为疏忽造成的事故。
附图说明
图1为本发明的一种系统结构总图；
图2为本发明的一种发明算法流程总图；
图3为本发明的一种3D环境模型示意图；
图4为本发明的一种2D与3D坐标映射关系示意图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。
本发明一种基于360度环视输入的防碰撞预警系统，系统结构如图1所示，环视鱼眼相机和车载传感器单元作为系统的输入，预警提醒模块作为系统的输出，控制模块用于对接收到的收入信号进行分析处理，并输出提醒信号至预警提醒模块。具体的，车速传感器、档位信号传感器以及转向传感器以及环视鱼眼相机为系统的输入，环视辅助视角显示以及相关预警信号/主动控制信号为本系统的输出，预警提醒模块包括辅助显示单元、扬声器单元和图表界面单元，控制模块包括图像预处理与拼接显示单元，ROI图像分析单元以及预警/控制决策生成单元。环视鱼眼相机将图片传输至将图像预处理与拼接显示单元，图像预处理与拼接显示单元处理后一方面输出至辅助显示单元；另一方面经ROI图像分析单元后输入至预警/控制决策生成单元，结合车载传感器单元传输过来的信号，经预警/控制决策生成单元处理后，将生成的听觉预警信号输出至扬声器单元，将生成的视觉预警信号输出至图表界面单元。
本发明一种基于360度环视输入的防碰撞预警方法，整体流程如图2所示，包括：
步骤1：车载传感器单元采集车辆信号，通过环视鱼眼相机采集车辆周围图像信息；
检测防碰撞预警系统状态，如果处于关闭状态，则预警不使能，无法进行工作；如果开启状态，系统共支持如下三种保护模式(三种模式可独立或共同开启)：若车速传感器检测到车速v≥设定的第一车速v0，则预警不使能；若车速传感器检测到车速v＜设定的第一车速v0，(1)档位信号传感器检测到车辆处于前进档位，则系统处于通过模式，且转向传感器未检测到转向意图，则目标检测ROI为前环视鱼眼输入部分区域；(2)档位信号传感器检测到车辆处于前进档位，且转向传感器检测到车辆处于转向状态(转向状态由转向指示灯信号和/或方向盘转角输入信号联合判断)，则系统处于转弯模式，目标检测ROI为右环视鱼眼输入部分区域；(3)若档位信号传感器检测到车辆处于倒车档位，则系统处于倒车模式，目标检测ROI为后环视鱼眼输入部分区域。
利用预设规格的棋盘格，离线标定环视系统各个环视鱼眼相机的内外参数(内参矩阵K以及外参Homography矩阵H)，对目标检测以及辅助显示ROI区域，利用鱼眼镜头的径向畸变模型，消除环视鱼眼相机视图中存在的畸变。所用的径向畸变模型如下：
θ′＝θ(1+θ2+θ4)
其中，θ为图像中点对应的成像透视角。
通过环视鱼眼相机采集车辆周围图像信息，包括：根据应用场景确定系统环视鱼眼相机ROI输入，进行环视系统辅助显示，训练生成行人/自行车分类器，进行在线目标检测、相对距离计算以及目标跟踪。
1.环视系统辅助显示：包括3D立体环境模型建立，重合区域场景融合以及动态辅助显示视角场景渲染；
1.1立体环境模型建立：本发明所选取的立体环境模型由平面、柱面以及球面三部分组成，环境模型沿XZ平面切面如图3所示，平面部分的图像映射关系符合离线标定的外参矩阵H，球面以及柱面部分的映射关系可根据H由小孔成像模型坐标变换而得。平面部分的半径R1，球面部分的半径R2，柱面部分的半径R3为可配置参数。
1.2各环视鱼眼相机透视关系计算：根据各环视鱼眼相机的内外部参数，将各鱼眼视图映射到立体环境模型中。对于图像消失线以下部分(即地面部分)，原本映射关系H将矫正后图像中的像素点(u，v)映射到现实地面坐标系正平面(X，Y)，现映射到3D环境模型中的(X1,Y1,Z1)；对于图像消失线以上部分(即天空部分)，原本映射关系H将矫正后图像中的像素点(u，v)映射到现实地面坐标系负平面(X’，Y’)，现映射到3D环境模型中的(X2,Y2,Z2)。2D与3D坐标对应关系如图4所示。
1.3动态辅助视角渲染：将车辆立体模型置于1.1中建立的立体环境模型中，根据所定义的系统模式，预设若干全景辅助视角模式(包括通过模式、转弯模式以及倒车模式)，对于上述每种模式设置一个基准渲染点(即全局坐标固定，俯仰、侧倾角固定，横摆角可变)以及渲染所用虚拟相机内部参数，包括焦距以及视场角。利用低速横摆平面车辆运动学模型，根据CAN总线方向盘转角输入δf，更新辅助显示渲染点横摆角φ，计算公式如下，利用小孔成像原理，渲染该辅助全景视图。
φ＝α*δf
其中，θ为图像中点对应的成像透视角。
2.ROI区域行人/自行车检测与跟踪：根据系统工作模式，确定系统环视鱼眼相机ROI输入，根据道路模型以及相机外参等先验知识，利用离线训练所生成的行人/自行车分类器进行在线目标检测与跟踪。
2.1离线分类器训练：利用级联HOG特征(或ACF特征)的adaboost分类器，训练车辆检测算法，每一级弱分类器的训练过程为：初始化训练数据的权值分布(每个样本赋予同样的权值系数)，训练过程中，若该样本被准确的分类，则降低该样本的权重系数；反之，则提高相应权重系数。反复迭代上述过程，产生若干弱分类器级。最后级联各弱分类器生成最终强分类器(增大误差率小的弱分类器权重系数，减小误差率大的弱分类器权重系数)。采用试验车辆所采集的行人/自行车正样本图像不少于20000张，负样本图像不少于40000张，利用难例挖掘(是指手动将分类器难以识别的误检经过筛检重新加入训练样本中进行训练)和主动学习(是指先利用网络收集的相关训练数据预训练一个级联分类器，利用此分类器对的我们相机设备所采集的样本进行粗略检测，根据检测结果人工筛选正负样本，重新训练分类器)方法提升训练效果；分类器级联层数为可配置参数。
2.2在线多尺度目标检测：基于平面纵向道路模型假设，利用相机内外部参数(包括焦距，相机高度h，相机相对车辆中轴线偏移量d以及相机俯仰角θ)，确定目标检测ROI区域。利用边缘滤波，对目标检测ROI区域进行边缘检测，利用阈值对边缘检测结果进行二值化，利用二值化结果生成感兴趣区域ROI mask，从ROI区域中去除边缘特征显著性较差区域。对过滤后ROI区域，根据道路模型与行人宽度、高宽比的先验知识，生成ROI区域滑窗搜索列表，列表内容包括滑窗的左下角点坐标，滑窗宽度以及滑窗高宽比。利用2.1中离线训练所得的级联分类器，对滑窗列表的图像特征进行2分类，确定滑窗列表中车辆的相应图像位置。
2.3相对距离计算：根据离线标定的相机参数，基于平面道路假设，通过投影变换将图像坐标系中的行人/自行车下边缘中点点[u,v]转换到世界坐标系下的位置[X，Y]，即为定义坐标系下行人/自行车的实际相对距离。
2.4目标跟踪：利用基于匀速运动假设的运动学模型卡尔曼滤波，估算行人/自行车的相对运动，具体状态空间以及测量空间构造如下：
xt+1＝Axt+But+ωt
yt+1＝Cxt+ρt
其中，x为系统状态量，包括行人/自行车的位置与位置变化信息，即[X,Y,dX,dY]T；y为系统观测量，包括行人/自行车的位置信息，即[X,Y]T；ω，ρ分别为过程噪声和测量噪声。
步骤2：控制模块进行应用场景判断，计算不同应用场景的预碰撞时间TTC；
对于低速通过以及倒车模式，TTC1由车辆与行人/自行车的相对纵向距离Dx与相对纵向速度Vx相除而得，即公式a；对于转弯模式，TTC2由车辆与行人/自行车的相对侧向距离Dy与相对侧向速度Vy相除而得，即公式b：
步骤3：根据对应应用场景的预警阈值，预警提醒模块执行相应预警策略；
在预警功能默认开启的情况下，若目标距离小于最近预警目标距离阈值，则按如下规则发出预警信号：对于低速通过以及倒车模式，若TTC1小于预设预警阈值T1，则发出视觉和/或听觉预警信号，听觉预警信号的频率与(T1-TTC1)成正比；对于转弯模式，若TTC2小于预设预警阈值T2，则发出视觉和/或听觉预警信号，听觉预警信号的频率与(T2-TTC2)成正比。若不满足上述情况，则不发出任何预警信号，系统应区分不同类型的视觉及听觉预警信号。
以上所述实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其他的变体及改型。
Claims (10)
1.一种基于360度环视输入的防碰撞预警系统，其特征在于，包括：
环视鱼眼相机，用于采集车辆周围图像信息；
车载传感器单元，用于采集车辆信号；
控制模块，与所述环视鱼眼相机连接，与所述车载传感器单元连接，接收车辆信号和/或图像信息，并进行分析处理，输出预警信号；以及，
预警提醒模块，接收预警信号；
控制模块工作时接收所述车辆信号和车辆周围图片信息，进行应用场景判断，计算不同应用场景的预碰撞时间TTC；预警提醒模块根据不同应用场景的预碰撞时间TTC，执行相应预警策略；
所述环视鱼眼相机采集车辆周围图像信息，包括：根据应用场景，确定目标检测ROI输入，进行环视系统辅助显示，环视系统辅助显示：包括3D立体环境模型建立，重合区域场景融合以及动态辅助显示视角场景渲染；
立体环境模型建立：选取的立体环境模型由平面、柱面以及球面三部分组成，平面部分的图像映射关系符合离线标定的外参矩阵H，球面以及柱面部分的映射关系根据H由小孔成像模型坐标变换而得，平面部分的半径R1，球面部分的半径R2，柱面部分的半径R3为可配置参数；
各环视鱼眼相机透视关系计算：根据各环视鱼眼相机的内外部参数，将各鱼眼视图映射到立体环境模型中，对于图像消失线以下部分，原本映射关系H将矫正后图像中的像素点(u，v)映射到现实地面坐标系正平面(X，Y)，现映射到3D环境模型中的(X1,Y1,Z1)；对于图像消失线以上部分，原本映射关系H将矫正后图像中的像素点(u，v)映射到现实地面坐标系负平面(X’，Y’)，现映射到3D环境模型中的(X2,Y2,Z2)；
动态辅助视角渲染：将车辆立体模型置于建立的立体环境模型中，根据所定义的系统模式，预设若干全景辅助视角模式，对于每种上述全景辅助视角模式设置一个基准渲染点以及渲染所用虚拟相机内部参数，包括焦距以及视场角，利用低速横摆平面车辆运动学模型，根据CAN总线方向盘转角输入δf，更新辅助显示渲染点横摆角φ，计算公式如下，利用小孔成像原理，渲染该辅助全景视图：
φ＝α*δf
θ为图像中点对应的成像透视角。
2.根据权利要求1所述的防碰撞预警系统，其特征在于，所述车载传感器单元包括：车速传感器、档位信号传感器以及转向传感器。
3.一种基于360度环视输入的防碰撞预警方法，其特征在于，适用于权利要求1所述的一种基于360度环视输入的防碰撞预警系统，包括：
车载传感器单元采集车辆信号，环视鱼眼相机采集车辆周围图像信息；控制模块接收所述车辆信号和车辆周围图片信息，进行应用场景判断，计算不同应用场景的预碰撞时间TTC；预警提醒模块根据不同应用场景的预碰撞时间TTC，执行相应预警策略；
所述环视鱼眼相机采集车辆周围图像信息，包括：根据应用场景，确定目标检测ROI输入，进行环视系统辅助显示，环视系统辅助显示：包括3D立体环境模型建立，重合区域场景融合以及动态辅助显示视角场景渲染；
立体环境模型建立：选取的立体环境模型由平面、柱面以及球面三部分组成，平面部分的图像映射关系符合离线标定的外参矩阵H，球面以及柱面部分的映射关系根据H由小孔成像模型坐标变换而得，平面部分的半径R1，球面部分的半径R2，柱面部分的半径R3为可配置参数；
各环视鱼眼相机透视关系计算：根据各环视鱼眼相机的内外部参数，将各鱼眼视图映射到立体环境模型中，对于图像消失线以下部分，原本映射关系H将矫正后图像中的像素点(u，v)映射到现实地面坐标系正平面(X，Y)，现映射到3D环境模型中的(X1,Y1,Z1)；对于图像消失线以上部分，原本映射关系H将矫正后图像中的像素点(u，v)映射到现实地面坐标系负平面(X’，Y’)，现映射到3D环境模型中的(X2,Y2,Z2)；
动态辅助视角渲染：将车辆立体模型置于建立的立体环境模型中，根据所定义的系统模式，预设若干全景辅助视角模式，对于每种上述全景辅助视角模式设置一个基准渲染点以及渲染所用虚拟相机内部参数，包括焦距以及视场角，利用低速横摆平面车辆运动学模型，根据CAN总线方向盘转角输入δf，更新辅助显示渲染点横摆角φ，计算公式如下，利用小孔成像原理，渲染该辅助全景视图：
φ＝α*δf
θ为图像中点对应的成像透视角。
4.根据权利要求3所述的防碰撞预警方法，其特征在于，所述应用场景，包括：通过模式、转弯模式以及倒车模式；若档位信号传感器检测到车辆处于前进档位，车速传感器检测到车速低于设定的第一车速，则系统处于通过模式；若转向传感器检测到车辆处于右转状态，则系统处于转弯模式；若档位信号传感器检测到车辆处于倒车档位，则系统处于倒车模式。
5.根据权利要求3或4所述的防碰撞预警方法，其特征在于，所述环视鱼眼相机采集车辆周围图像信息，包括：根据应用场景，确定目标检测ROI输入，进行环视系统辅助显示，训练生成行人/自行车分类器，进行在线目标检测、计算相对距离，进行目标跟踪。
6.根据权利要求5所述的防碰撞预警方法，其特征在于，所述确定目标检测ROI输入的方法包括：若系统处于通过模式，目标检测ROI为前环视鱼眼输入部分区域；若系统处于转弯模式，目标检测ROI为右环视鱼眼输入部分区域；若系统处于倒车模式，目标检测ROI为后环视鱼眼输入部分区域。
7.根据权利要求3或4所述的防碰撞预警方法，其特征在于，所述预碰撞时间TTC的计算方法，包括：对于通过模式或倒车模式，预碰撞时间TTC＝TTC1：
对于转弯模式，预碰撞时间TTC＝TTC2：
其中，W为预警目标侧向偏离阈值，L为预警目标纵向偏离阈值，Dx为车辆与行人/自行车的相对纵向距离，Vx为车辆与行人/自行车的相对纵向速度，Dy为车辆与行人/自行车的相对侧向距离，Vy为车辆与行人/自行车的相对侧向速度。
8.根据权利要求3所述的防碰撞预警方法，其特征在于，所述预警策略，包括：对于通过模式或倒车模式，若预碰撞时间TTC小于预设预警阈值T1，则发出视觉预警信号和/或听觉预警信号，听觉预警信号的频率与(T1-TTC)成正比；对于转弯模式，若预碰撞时间TTC小于预设预警阈值T2，则发出视觉预警信号和/或听觉预警信号，听觉预警信号的频率与(T2-TTC)成正比。
9.根据权利要求5所述的防碰撞预警方法，其特征在于，所述计算相对距离的方法是：根据离线标定的环视鱼眼相机参数，基于平面道路假设，通过投影变换将图像坐标系中的行人/自行车下边缘中点点[u,v]转换到世界坐标系下的位置[X，Y]，即为定义坐标系下行人/自行车的实际相对距离。
10.根据权利要求9所述的防碰撞预警方法，其特征在于，所述进行目标跟踪的方法是：利用基于匀速运动假设的运动学模型卡尔曼滤波，估算行人/自行车的相对运动，具体状态空间以及测量空间构造如下：
xt+1＝Axt+But+ωt
yt+1＝Cxt+ρt
其中，x为系统状态量，包括行人/自行车的位置与位置变化信息，即[X,Y,dX,dY]T；y为系统观测量，包括行人/自行车的位置信息，即[X,Y]T；ω，ρ分别为过程噪声和测量噪声。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810472011.8A CN108638999B (zh) | 2018-05-16 | 2018-05-16 | 一种基于360度环视输入的防碰撞预警系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810472011.8A CN108638999B (zh) | 2018-05-16 | 2018-05-16 | 一种基于360度环视输入的防碰撞预警系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108638999A CN108638999A (zh) | 2018-10-12 |
| CN108638999B true CN108638999B (zh) | 2020-04-10 |
Family
ID=63756276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810472011.8A Active CN108638999B (zh) | 2018-05-16 | 2018-05-16 | 一种基于360度环视输入的防碰撞预警系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108638999B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199177A (zh) * | 2018-11-20 | 2020-05-26 | 中山大学深圳研究院 | 一种基于鱼眼图像校正的汽车后视行人检测报警方法 |
| CN110378202B (zh) * | 2019-06-05 | 2022-12-09 | 魔视智能科技(上海)有限公司 | 一种基于鱼眼镜头的全方位行人碰撞预警方法 |
| CN110488859B (zh) * | 2019-07-15 | 2020-08-21 | 北京航空航天大学 | 一种基于改进Q-learning算法的无人机航路规划方法 |
| CN110555377B (zh) * | 2019-07-27 | 2023-06-23 | 华南理工大学 | 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 |
| CN111767910B (zh) * | 2020-06-15 | 2023-01-06 | 重庆长安汽车股份有限公司 | 基于场景识别的车辆自适应传感器系统 |
| CN111968184B (zh) * | 2020-08-24 | 2024-04-02 | 北京茵沃汽车科技有限公司 | 一种在全景环视系统中实现视图随动的方法、装置及介质 |
| CN112200064B (zh) * | 2020-09-30 | 2021-07-30 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN112744174B (zh) * | 2021-01-18 | 2022-05-24 | 深圳广联赛讯股份有限公司 | 车辆碰撞监测方法、装置、设备及计算机可读存储介质 |
| CN112721802A (zh) * | 2021-02-06 | 2021-04-30 | 合肥思艾汽车科技有限公司 | 集成全景环视和盲区行人预警的车载设备及其预警方法 |
| CN112927304B (zh) * | 2021-02-22 | 2022-08-19 | 桂林电子科技大学 | 一种基于卷积神经网络的鱼眼镜头标定方法 |
| CN113052009A (zh) * | 2021-03-02 | 2021-06-29 | 北京经纬恒润科技股份有限公司 | 一种车辆防撞方法、模型训练方法及装置 |
| CN116547725A (zh) * | 2021-03-31 | 2023-08-04 | 浙江吉利控股集团有限公司 | 一种车辆预警方法、装置、设备及存储介质 |
| CN114038239B (zh) * | 2021-11-08 | 2022-11-25 | 青岛海信网络科技股份有限公司 | 一种车辆碰撞预警方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3961269B2 (ja) * | 2001-11-19 | 2007-08-22 | 本田技研工業株式会社 | 障害物警報装置 |
| US7613357B2 (en) * | 2005-09-20 | 2009-11-03 | Gm Global Technology Operations, Inc. | Method for warped image object recognition |
| CN104786933A (zh) * | 2015-03-04 | 2015-07-22 | 江苏大学 | 一种全景影像驾驶辅助装置及方法 |
| JP6453695B2 (ja) * | 2015-03-31 | 2019-01-16 | 株式会社デンソー | 運転支援装置、及び運転支援方法 |
| CN105966312B (zh) * | 2016-04-15 | 2019-01-18 | 山东省科学院自动化研究所 | 一种多功能车辆先进驾驶辅助系统与方法 |
| US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
| CN106156725A (zh) * | 2016-06-16 | 2016-11-23 | 江苏大学 | 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法 |
| CN206278021U (zh) * | 2016-11-01 | 2017-06-27 | 郑州宇通客车股份有限公司 | 一种校车及其全景环视预警系统 |
| CN107424120A (zh) * | 2017-04-12 | 2017-12-01 | 湖南源信光电科技股份有限公司 | 一种全景环视系统中的图像拼接方法 |
| CN107792179B (zh) * | 2017-09-27 | 2019-08-23 | 浙江零跑科技有限公司 | 一种基于车载环视系统的泊车引导方法 |
-
2018
- 2018-05-16 CN CN201810472011.8A patent/CN108638999B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108638999A (zh) | 2018-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108638999B (zh) | 一种基于360度环视输入的防碰撞预警系统及方法 | |
| EP3784505B1 (en) | Device and method for determining a center of a trailer tow coupler | |
| CN108647638B (zh) | 一种车辆位置检测方法及装置 | |
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| Gandhi et al. | Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps | |
| Sivaraman et al. | A review of recent developments in vision-based vehicle detection | |
| US20170300763A1 (en) | Road feature detection using a vehicle camera system | |
| CN110910453B (zh) | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 | |
| CN107845290B (zh) | 交叉路口警报方法、处理系统、交叉路口警报系统及车辆 | |
| CN111797741A (zh) | 车辆检测方法、装置、车辆和存储介质 | |
| CN108944668B (zh) | 一种基于车载360度环视输入的辅助驾驶预警方法 | |
| CN105678787A (zh) | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 | |
| WO2019192145A1 (zh) | 全景图的视野调整方法及装置、存储介质、电子设备 | |
| US11288833B2 (en) | Distance estimation apparatus and operating method thereof | |
| JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
| EP3594902B1 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
| Pantilie et al. | Real-time obstacle detection using dense stereo vision and dense optical flow | |
| CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
| CN114764782A (zh) | 多视图汽车和机器人系统中的图像合成 | |
| CN115136148A (zh) | 投影使用鱼眼镜头捕获的图像用于自主机器应用中的特征检测 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN114913506A (zh) | 一种基于多视角融合的3d目标检测方法及装置 | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| Michalke et al. | Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions | |
| Kim et al. | An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang Zero run Technology Co.,Ltd. Address before: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |