一种基于场景预判安全驾驶辅助方法及其系统
技术领域
本发明涉及车辆辅助驾驶的技术领域,尤其涉及一种基于场景预判安全驾驶辅助方法及其系统。
背景技术
近年来随着汽车产业的蓬勃发展,我们进入了汽车的时代。对于家庭和办公用户,汽车需求与日俱增;汽车数量的增加,不仅增加了道路行驶的复杂程度,而且对于汽车的驾驶性能要求也越来越高。
为提高汽车在复杂环境下安全驾驶,避免各种因错误操作,造成的交通安全隐患,我们需要车辆具备能够主动识别这些行为,并能够做出有效反应的动作,以提高驾驶安全性。但是随着近年来家庭轿车用户数量的暴增,驾驶安全性能已经成为社会普遍关注的重要性能。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有安全驾驶存在的问题,提出了本发明。
因此,本发明解决的技术问题是:提出一种基于场景预判安全驾驶辅助方法,其用于解决如何辅助车辆驾驶员在不同场景下安全驾驶车辆。
为解决上述技术问题,本发明提供如下技术方案:一种基于场景预判安全驾驶辅助方法,此方法包括采集模块、识别模块、处理模块、控制模块和显示模块,其中,采集模块实时采集车辆当前所处位置四周的图像、音频和速度信息;识别模块识别所述采集模块采集场景中的物体特征信息;处理模块依据所述识别模块识别的物体特征信息,区分特征物体的类别,同时根据所述采集模块实时采集的多帧画面及测速数据,计算出特征物体的移动速度,并测算与本车辆的实时间距;控制模块,对所述处理模块的处理结果,进行预判,对预判结果进行统一控制输出至显示模块,转换为车载显示及音频输出信号,及时展示给驾驶员。
作为本发明所述基于场景预判安全驾驶辅助方法及其系统的一种优选方案,其中:所述采集模块实时多帧采集周边环境信息,采集信息包括本车辆周边的车辆及行人、所处环境内建筑物及固定物体和河流及坑洼路面的图像及距离信息。
作为本发明所述基于场景预判安全驾驶辅助方法及其系统的一种优选方案,其中:所述识别模块识别所述采集信息中的声音和图像,提取信号中的特征信息,识别出所述采集信号的内容,即识别行驶车辆周边的特征实体。
作为本发明所述基于场景预判安全驾驶辅助方法及其系统的一种优选方案,其中:所述采集模块还同时无线连接定位导航系统,获取车辆实时的位置信息,同时获取道路位置信息;所述识别模块识别内容还包括定位导航系统中展现的车辆行驶前方路线信息。
作为本发明所述基于场景预判安全驾驶辅助方法及其系统的一种优选方案,其中:还包括判断是否安全的预设模块,安全值通过系统输入提前预设,预设参数包括:
本车辆与相对运动车辆或行人间的安全距离值和驾驶员反应安全时间值;
本车辆与固定物体发生碰撞的安全刹车距离和最短时间值;以及
本车辆与行驶车辆避让的安全距离值和反应时间值。
作为本发明所述基于场景预判安全驾驶辅助方法及其系统的一种优选方案,其中:所述处理模块处理识别到的特征实体的实时运动信息,处理内容包括计算特征实体的运动轨迹、运动趋势以及与本车辆的相对位置信息;所述处理模块对特征实体的实时运动信息与预设参数的预设值进行比较判断,得到处理信号。
作为本发明所述基于场景预判安全驾驶辅助方法及其系统的一种优选方案,其中:所述控制模块接收所述处理模块处理后的比较判断值,产生不同预判控制指令,产生控制信号,其中包括:
对安全状态,不产生控制;
对预警状态,产生系统智能提示;
对危险状态,切换车辆自动控制。
作为本发明所述基于场景预判安全驾驶辅助方法及其系统的一种优选方案,其中:所述显示模块接收所述控制信号的预判控制指令,进行分类展示,转换出驾驶员能够直接获取的显示信号。
因此,本发明解决的另一个问题是:提出一种基于场景预判安全驾驶辅助系统,上述方法依托于本系统实现。
为解决上述技术问题,本发明提供如下技术方案:一种基于场景预判安全驾驶辅助系统,此驾驶辅助系统包括包括采集模块、识别模块、处理模块、控制模块、显示模块和预设模块;其中,所述预设模块集成至车辆控制系统中,通过所述车辆控制系统控制端输入所述预设参数,生成预设信号;所述采集模块实时采集车辆当前所处位置周边的环境信息,生成采集信号;所述识别模块接收所述采集信号,并识别所述采集信号内的实体特征,产生识别信号;所述处理模块接收所述识别信号,并处理所述识别信号内特征实体的运动状态,并参照所述预设信号内的安全数值,产生处理信号;所述控制模块接收所述处理信号,并根据处理数据执行不同控制流程,生成控制信号;所述显示模块接收所述控制信号,将所述控制信号内的控制操作转换为驾驶员能够直接接收的显示信号。
作为本发明所述基于场景预判安全驾驶辅助方法及其系统的一种优选方案,其中:所述识别模块、所述处理模块、所述控制模块和所述预设模块均集成设置在车载主机的控制芯片上,并与原车辆控制系统连接,所述采集模块和所述显示模块通过外部端口连接在宿舍车载主机的外设接口处。
本发明的有益效果:
本发明中采集模块用于采集车辆周边场景信息,识别模块用于识别场景信息中物体的特征,处理模块用于分析处理已识别的物体特征数据,并计算与车辆的速度及位置关系,控制模块用于判断并生成控制指令,显示模块用于将控制指令生成驾驶员理解的驾驶提示或车辆驾驶指令。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明基于场景预判安全驾驶辅助方法的整体流程示意图。
图2为本发明基于场景预判安全驾驶辅助方法的采集模块的设备控制图。
图3为本发明基于场景预判安全驾驶辅助方法的预判模块状态分析结构示意图。
图4为本发明基于场景预判安全驾驶辅助方法的识别模块中灰度识别矩阵归一化示意图。
图5为本发明基于场景预判安全驾驶辅助方法的识别模块中灰度共现矩阵4种空间位置关系示意图。
图6为本发明基于场景预判安全驾驶辅助方法的整体原理结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
再其次,本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
实施例1
参照图1~5,为本发明第一个实施例,车辆安全辅助驾驶系统是当前国际智能交通系统研究的重要内容,它利用了当前现有的机器视觉和传感器技术实现对车辆行驶周围环境状态实时通报,并在本车辆可能发生潜在危险时及时辅助驾驶员采取有效的应对措施,消除事故隐患。车辆安全驾驶辅助系统中主要包括车道偏离预警与保持、安全车距预警、驾驶员状态监测和行人检测几个子系统,区别于此,辅助驾驶员安全驾驶车辆还需要基于车辆行驶所处的场景,因而提出一种基于场景预判安全驾驶辅助方法及其系统。此方法中主要包括以下步骤:
采集模块100实时采集车辆当前所处位置四周的图像、音频和速度信息;识别模块200识别采集模块100采集场景中的物体特征信息;处理模块300依据识别模块200识别的物体特征信息,区分特征物体的类别,同时根据采集模块100实时采集的多帧画面及测速数据,计算出特征物体的移动速度,并测算与本车辆的实时间距;控制模块400,对处理模块300的处理结果,进行预判,对预判结果进行统一控制输出至显示模块500,转换为车载显示及音频输出信号,及时展示给驾驶员。
采集模块100实时多帧采集周边环境信息,采集信息包括本车辆周边的车辆及行人、所处环境内建筑物及固定物体和河流及坑洼路面的图像及距离信息。
识别模块200识别采集信息中的声音和图像,提取信号中的特征信息,识别出采集信号的内容,即识别行驶车辆周边的特征实体。
采集模块100还同时无线连接定位导航系统,获取车辆实时的位置信息,同时获取道路位置信息;识别模块200识别内容还包括定位导航系统中展现的车辆行驶前方路线信息。
还包括判断是否安全的预设模块600,安全值通过系统输入提前预设,预设参数包括:
本车辆与相对运动车辆或行人间的安全距离值和驾驶员反应安全时间值;
本车辆与固定物体发生碰撞的安全刹车距离和最短时间值;以及
本车辆与行驶车辆避让的安全距离值和反应时间值。
处理模块300处理识别到的特征实体的实时运动信息,处理内容包括计算特征实体的运动轨迹、运动趋势以及与本车辆的相对位置信息;处理模块300对特征实体的实时运动信息与预设参数的预设值进行比较判断,得到处理信号。
控制模块400接收处理模块300处理后的比较判断值,产生不同预判控制指令,产生控制信号,其中包括:
对安全状态,不产生控制;
对预警状态,产生系统智能提示;
对危险状态,切换车辆自动控制。
显示模块500接收控制信号的预判控制指令,进行分类展示,转换出驾驶员能够直接获取的显示信号。
其中需要说明的是,采集模块100采集得到的信息,为行车过程中车辆周边的动态信息,采集过程通过车身安装的电子设备、传感器组件和水平仪等,采集得到实时动态的影像和声音数据,经采集模块100对众多的采集信号初步处理识别,初步处理方法有图像的几何校正、灰度变换、去除边界和去除噪点等,以增加识别模块200的识别效率。采集模块100中还无线连接定位导航系统,通过网络获取所处场景的范围信息,再利用定位导航系统进行定位导航功能的同时,并规划出安全区域,以便于在发生紧急状况下,驾驶辅助系统自动规划出安全撤离的路线。
识别模块200识别初步处理后的采集信号内容,进行图像特征提取,对于图像而言,每一幅图像都具有能够区别于其他类图像的自身特征,有些是可以直观地感受到的自然特征,如亮度、边缘、纹理和色彩等;有些则是需要通过变换或处理才能得到的,如矩、直方图以及主成份等;图像常用的基本统计特征还包括:周长、面积、均值等区域描述子,以及直方图和灰度共现矩阵等纹理描述子。
将某一类对象的多个或多种特性组合在一起,形成一个特征向量来代表该类对象,如果只有单个数值特征,则特征向量为一个一维向量,如果是n个特性
的组合,则为一个n维特征向量。该类特征向量常常作为识别系统的输入。
其中,直方图常用统计特征方法如下:
(1)均值—纹理平均亮度的度量
或
其中L是灰度级总数,zi表示第i个灰度级,p(zi)是归一化直方图灰度级分布中灰度为zi的概率,h(zi)表示直方图中统计的灰度为zi的像素个数。
(2)标准方差—纹理平均对比度的度量
其中根号中的内容实际上是均值的二阶矩μ2。一般的,均值m的n阶矩表示为:
(3)平滑度—纹理亮度的相对平滑度度量。对于灰度一致的区域,平滑度R等于1;对于灰度级的值有着较大差异的区域,R等于0。
(4)三阶矩—直方图偏斜性的度量。对于对称的直方图,此值为0。若为正值,则直方图向右偏斜,为负值则直方图向左偏斜。
(5)一致性—当区域中所有灰度相等时,该度量最大并有此处开始减小。
(6)熵—随机性的度量。熵越大表明随机性越大,信息量也就越大;反之确定性越大,以及都确定的当然信息量就越小。这里给出熵的定量描述:
一个由均值、标准差、平滑度和熵组合而成的特征向量如:v=(m,a,R,e)。
应认识到直方图及其统计特征是一种区分能力相对较弱的特征,这主要因为直方图属于一阶统计特征,而它们的一阶统计特征是无法反映纹理结构的变化的。直方图与纹理的对应关系并不是一对一的:首先,不同的纹理可能具有相同或相似的直方图;其次,即便是两个不同的直方图也可能具有相同的统计特征如均值、标准差等。
灰度直方图是一种描述单个像素灰度分布的一阶统计量;而灰度共现矩阵描述的则是具有某种空间位置关系的两个像素的联合分布,可以看成是两个像素灰度对的联合直方图,是种二阶统计量。
统计理论基础为:
纹理是由灰度分布在空间位置上反复交替变化而形成的,因此在图像中具有某种空间位置关系的两个像素之间会存在一定的灰度关系,这种关系被称为图像灰度的空间相关特性。作为一种灰度的联合分布,灰度共现矩阵能够较好地反映这种灰度空间相关性。
用Aδ表示灰度共现矩阵,L作为灰度级,则Aδ表示一个L*L的方阵,其中的某个元素:Aδ(i,j),(i,j=0,1,2,…,L-1)被定义为具有空间位置关系δ=(Dx,Dy)并且灰度分别为i,j的两个像素出现的次数或概率(归一化),如附图中所示。
常用的空间位置关系δ有水平、竖直和正、负45度,共4种。一旦空间位置关系δ确定就可以生成一定δ下的灰度共现矩阵Aδ。
通过提取出来的这些“非图像”的数值或向量形式的表示及描述形成区别特征。再通过这些区别特征,进而识别出物体类别。
处理模块300处理识别信号的特征实体的实时运动信息,计算特征实体的运动轨迹、运动趋势以及与本车辆的相对位移信息。计算过程中,对于每帧画面,物体与本车辆发生相对位移时,多帧画面中产生的偏移量,计算出特征实体参照本车辆速度的相对运动速度,并同时结合微波雷达等测速传感器得出特征实体的实时运动速度,再根据物理定律计算出运动物体的运动趋势,以及运动轨迹,并处理计算出特征实体与本车辆会发生碰撞的概率,以及二者碰撞所需的时间间隔。
预设模块600,系统提前预设,产生预设信号,预设信号内设置参数包括本车辆与相对运动车辆或行人间的安全距离值和反应时间值,为两运动车辆之间,驾驶员同时反应并制动刹车的距离和动作时间;本车辆与固定物体发生碰撞的安全刹车距离和反应的最短时间值,本车辆驾驶员反应时间和制动刹车的距离;以及本车辆与行驶车道发生偏移的安全时间值,为驾驶员反应时间及控制方向盘,车辆做出反应的总时间。预设信号为工业实验测算的安全值数据,结合人类处理问题的所需的反应时间值,计算车辆行驶过程中,与行驶车辆或行人发生碰撞过程所需的路程和时间,刹车所需的刹车距离和刹车时间,使其二者之和大于测算的安全值视为安全状态;位于测算的安全值范围内则为预警状态;小于测算的安全值视为危险状态。此预设安全值中还包括其他测算的安全值信息。
控制模块400接收处理信号处理后的比较判断值,产生不同控制处理,得到控制信号,其中包括,对安全状态,不产生控制;对预警状态,产生系统智能提示;对危险状态,切换车辆自动控制。依据处理信号中计算的碰撞间隔时间值,并对比预设模块600中的测算的安全时间值,产生比较结果;在安全状态下,间歇性提示驾驶员正常驾驶,并伴随定位导航系统,辅助驾驶员进行安全驾驶;预警状态下,此驾驶辅助系统借助显示模块500提示驾驶员预警来源,并提示预警时间值,反馈驾驶员应当采取响应的应对措施,以躲避来临的事故;当驾驶员错过预警操作过程时,驾驶辅助系统则主动切换车辆控制驾驶系统,替换人为操作系统,以提高车辆的反应动作时间,从而降低车辆发生事故的概率。当车辆度过危险状态时,驾驶辅助系统自动切换退出车辆控制驾驶系统,重新转为驾驶员人为驾驶辅助模式。
显示模块500接收控制信号的控制信息,进行分类展示,包括显示屏文字显示,扬声器语音提示。依据控制信号产生的预判结果,通过显示模块500输出控制信号,显示屏中输出文本及图像信息,以指导驾驶员产生视觉印象,增加感知能力,扬声器则将控制信号产生的预判结果进行声音化,以辅助驾驶员在紧张及注意力不集中的情况下,进行车辆正确的控制,其中还包括灯光等其他辅助提示方式,以增加驾驶员的接收方式。
实施例2
参照图6,为本发明的第二个实施例,该本实施例提出一种基于场景预判安全驾驶辅助系统,此系统包括采集模块100、识别模块200、处理模块300、控制模块400、显示模块500和预设模块600;其中,
预设模块600集成至车辆控制系统中,通过车辆控制系统控制端输入预设参数,生成预设信号;采集模块100实时采集车辆当前所处位置周边的环境信息,生成采集信号;识别模块200接收采集信号,并识别采集信号内的实体特征,产生识别信号;处理模块300接收识别信号,并处理识别信号内特征实体的运动状态,并参照预设信号内的安全数值,产生处理信号;控制模块400接收处理信号,并根据处理数据执行不同控制流程,生成控制信号;显示模块500接收控制信号,将控制信号内的控制操作转换为驾驶员能够直接接收的显示信号。
识别模块200、处理模块300、控制模块400和预设模块600均集成设置在车载主机的控制芯片上,并与原车辆控制系统连接,采集模块100和显示模块500通过外部端口连接在车载主机的外设接口处。
需要说明的是,采集模块100连接控制车辆四周的电子设备,其中包括摄像头,用于获取车辆四周的视频图像信息;雷达传感器,用于获取与行驶车辆保持的相对距离,同时检测出相对位移信息;水平仪,用于监测车辆的平衡信息,检测车辆在上坡和下坡时的速度变化信息,以避免由于上坡或下坡时,速度过大变化,产生车辆失控。
显示模块500通过与车载主机连接车载显示屏及车内扬声器,车载显示屏不仅包括中控显示屏,还包括控制仪表盘,仪器的显示灯光管以及外接显示设备等,以便于通过画面和灯光等多方式,多方位的提示驾驶员,引起驾驶员的注意;扬声器则主要未车内的车载音响系统,同时也包括连接的外设扬声器设备,包括线缆连接的耳机,无线方式连接的耳机、音响等外设设备。
上述各模块均与车辆控制系统相连,驾驶辅助系统与手动驾驶系统相互配合,在场景预判过程中,当预判处于危险状态时,驾驶辅助系统的优先级高于手动驾驶系统,而在其他场景预判过程,手动驾驶系统的优先级一直高于驾驶辅助系统。
对比人为驾驶和车辆辅助驾驶的相关参数,包括可视角度、反应时间和控制准确率;对比参数如下表1所示:
从表中对比的数据可以看出,与人为驾驶相比,辅助驾驶系统可以有效避免人为驾驶的盲区,并不会因为车速的增加而大幅降低;相对驾驶员的反应时间,辅助系统监测至动作的反应时间远小于驾驶员的反应时间,从而为紧急事故的避让赢得了时间;最重要的是,驾驶员在紧急情况下,可能会由于紧张而产生错误的处理操作,而造成交通事故,而辅助系统则能够保持正常的控制准确率。
应用场景一:
当驾驶员驾驶车辆进行倒车时,启动该安全驾驶辅助系统,采集模块100中的摄像头采集车辆周边的环境信息,红外传感器组件中检测车辆周边的活体生物信息,雷达传感器进行动态物体测速等,采集得到的信息由识别模块200分析识别,对周边的行人,建筑或路况等进行分析标注,处理模块300对标注后的识别信号进行运动分析,计算出车辆周边动态变化与本车辆倒车过程可能发生接触的可能性及时间间隔;当一切正常时,控制模块400依据处理信号的处理数据辅助提示驾驶员正常倒车;当倒车过程中有行人走过,雷达传感器对行人与本车辆进行测速,处理模块300测算行人移动的速度和方向,与计算出行人与本车辆运动趋势中接触的可能性大小,控制模块400则通过显示模块500时刻提醒驾驶员处于预警状态。
而当行人与车辆接触过近时,若驾驶员未能及时停止车辆或者变换倒车路线时,驾驶辅助系统则及时切换至自动驾驶状态,对车辆进行驻车或前进的控制,当行人逐步远离车辆时,控制模块400通过显示模块500告知驾驶员情况变化,重新进入手动驾驶模式。
应用场景二:
当驾驶员启动该驾驶辅助系统,驾驶车辆行驶在十字路口,面临红灯情况时,位于车辆前端的摄像头采集到前方路况的图像画面,雷达传感器监测与十字路口的行程间隔,识别模块200识别出红灯及人行道路况,处理模块300计算出本车辆按当前实时车速行驶至路口所需的时间;当车辆逐渐靠近路口时,控制模块400通过显示模块500逐步提示驾驶员减速停车,若驾驶员未采取控制措施或误踩油门车速增加,则控制模块400自动控制车辆,覆盖手动驾驶模块,对车辆进行减速,并沿行驶的道路合法停靠,并保持车辆停止至红灯结束,绿灯开启。以防止驾驶员在红灯情况下,依旧触发启动车辆行驶的油门或按键,发生违法驾驶或交通事故的情况。
应用场景三:
启动该驾驶辅助系统,当驾驶员正常驾驶车辆在道路行驶时,若发生意外来车的情况,采集模块100同样实时采集车辆周边的画面,识别模块200对采集的图像画面识别和标注,处理模块300处理分析周边车辆的运动信息。采集模块100由于同时连接定位导航系统,在道路行驶时,采集模块100会从定位系统中获取道路周边的环境和方位信息,规划出安全区域。当驾驶员安全行驶过程中遇到意外来车,道路上车速较高,显示模块500对驾驶员预警状态的提示一般得不到驾驶员的及时反馈,因此,在意外来车逐步靠近的过程中,控制模块400会根据采集模块100获取的环境和方位信息,通过识别模块200和处理模块300快速规划出一条紧急避让且安全的行驶方案,控制模块400控制车辆以此行驶方案进行加速,减速或变道行驶,以避免发生交通事故,保证驾驶车辆的安全性。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。