自然驾驶数据采集系统及其安全算法
技术领域
本发明涉及自然驾驶技术领域。
背景技术
随着移动互联网的全面崛起,智能硬件的飞速发展,车辆交通工具日益成为人们生活必不可少的一部分。各种智能车载设备相继出现,如最常见到的行车记录仪,然而随着使用的进一步深入,人们发现类似行车记录仪等设备,功能单一越来越不能很好的满足人们行车安全、安全预警以及车队安全管理等需求。然而另一个极端,众所周知当下特斯拉自动驾驶屡屡发生事故,人们对自动驾驶理念开始动摇,逐步理性的回归到车载辅助驾驶、自然驾驶系统的正常轨道,本发明正是基于此种机遇应用而生。
发明内容
经过长期的充分的市场调研、竞品分析以及深入的行业研究,本发明首次公开并命名“自然驾驶数据采集设备(Naturalistic Driving Data Acquisition Device以下简称NDDAD)”,NDDAD系统可以很好的解决车辆在道路行驶过程中,对人员、周围车辆动态信息、车辆自身数据进行获取与信息处理,实现安全预警。
技术方案:
一种自然驾驶数据采集系统及安全算法,其特征在于,包括视频采集和处理模块、雷达模块、车辆行驶数据采集和处理模块、陀螺仪数据处理模块、地理位置采集模块、主控模块、数据存储模块,其中:
所述的视频采集和视频处理模块,进行车辆全方位视频采集,视频处理模块完成全景视频拼接,实时转存到SATA盘中;
所述雷达Radar模块,对车辆外部运动目标进行动态跟踪,得到目标的运动矢量信息;
所述ODBII模块,读取车辆ECU单元信息,将车速、油耗、刹车等车辆行驶数据获取;
所述陀螺仪模块,获取车辆行驶过程中的加减速数据、转弯角速度数据、震动数据;
所述GPS/BD模块,实时获取驾驶地理位置信息,并将其在ArcGIS地图中显示出来;
所述主控模块采用主控制器芯片ARM,用于接受并处理其他模块回传的数据;所述主控模块包括安全算法模块,算法表征如下:
步骤一、六路Cameras采集到的视频数据通过视频数据编码与压缩算法处理模块将其完成全景视频拼接,并将各个目标标注为矢量信息图,得到Pi(D,S,T)函数。
步骤二、Radar模组将雷达采集到的动态目标进行解析处理得到Ri(D,S,T)函数。
步骤三、将Pi(D,S,T)函数、Ri(D,S,T)函数通过Fobject i(D,S,T)转化,完成将雷达检测到的运动目标参数标定在全景视频帧上,通过差分算法得到Kobjecti(D,S,T)函数。其中:
所述Fobject i(D,S,T)表示运动目标函数,参数D表示运动目标i的矢量距离,S表示运动目标i的速度,T表示当前系统时间,μ为雷达目标填入全景视频图的拟合因子,η表示雷达目标矫正参数,表示全景视频畸变矫正参数。
所述Kobjecti(D,S,T)表示T时刻objecti绝对运动函数;Kobjecti(D,S,T)=t_Fobject i‐(t‐1)_Fobject i
步骤四、ODBII模组将采集到的车辆自身读取的数据转化成Vt(S,O,B)矩阵函数,同时陀螺仪模组将车辆测评数据转化为Gt(A,V,M)矩阵函数,合成以上数据得到车辆行驶数据函数Fvehicle t。其中:
Fvehicle t=Vt(S,O,B)+Gt(A,V,M)
Fvehicle t表示t时刻车辆行驶数据函数,
Vt(S,O,B,…)表示t时刻车辆ODBII处理模块采集到的车速、油耗、刹车力度等参数一维数组函数,
Gt(A,V,M)表示t时刻车辆行驶中加速度、角速度以及磁场速度数组函数。
步骤五、通过以上步骤三中Kobjecti(D,S,T)和步骤四中Fvehicle t得到安全预警因子E1。
E1=α1*[Kobjecti(D,S,T)‐α2]+β1[Fvehicle t‐β2],其中:
E1表示车车、人车之间影响驾驶安全预警因子函数,
α1表示车车之间安全因子,
α2表示车车之间安全阈值矩阵,
β1表示匹配参数,
β2表示车辆自身安全行驶阈值矩阵。
步骤六、GPS/BD处理模组将采集到的实时驾驶地理位置信息,拟合成函数Fposition t(Lgt,Lat,LimS)其中Fposition t表示t时刻车辆位置函数,参数Lgt表示经度值,Lat表示纬度值,LimS表示当前限速值。
步骤七、通过以上步骤四中Fvehicle t和步骤五中Fposition t得到E2,E2表示车辆行驶信息与当前所在地理位置的安全预警因子。
E2=0.4*(Fvehicle t‐β3)‐0.45*(Fposition t‐Fposition t‐1)步骤八、通过对以上所得影响车车、人车之间驾驶安全预警因子E1与车路之间驾驶安全因子E2算术叠加等处理得到最终自然驾驶数据采集系统安全驾驶因子E(t,x,y)。通过E(t,x,y)的不同值,进行不同等级预警警示。
t表示当前时间。
a0表示影响车车、人车之间驾驶安全预警因子E1的参考系数(经验系数)。
x=100+20*sin(t*2π/12),x一般取整数值,单位ms。
b0表示影响车路之间驾驶安全预警因子E2的参考系数(经验系数)。
Y=500ms。
所述的视频采集和视频处理模块,采集部分包含6路摄像头进行全方位视频采集,车辆正前方F‐Camera‐‐‐用来采集车辆正前方视频照片数据、车辆正后方B‐Camera‐‐‐‐用来采集车辆正后方视频照片数据、车辆左侧L‐Camera‐‐‐用来采集车辆左侧视频数据、车辆右侧R‐Camera‐‐‐用来采集车辆右侧视频数据、驾驶员面部P‐Camera‐‐‐用来采集驾驶员面部视频照片数据、驾驶员操作方向盘O‐Camera‐‐‐用来采集驾驶员驾驶操作视频数据。6路摄像头采集的数据通过视频处理模块通过全景视频拼接技术将车辆前后左右视频照片进行全景视频拼接,实时转存到SATA盘中。
有益效果:
车辆行驶过程中,NDDAD系统对驾驶员、路况以及外设信息的获取分析处理,对自然驾驶过程中出现的各种警情信息进行安全预警,综合得到自然驾驶安全预警因子E,并实时对驾驶员进行人‐车、车‐车、车‐路的三重安全预警。通过此设备系统能实现驾驶员自然驾驶安全驾驶的目的。
附图说明
图1为本发明实施例NDDAD系统原理架构图
图2为本发明NDDAD系统安全机制流程图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
实施例1
本实施例NDDAD系统,其硬件平台采用嵌入式架构,软件平台采用Android/Linux系统,包括视频采集和处理模块、雷达模块、车辆行驶数据采集和处理模块、陀螺仪数据处理模块、主控模块、地理位置采集模块、主控模块、数据存储模块,其中:
所述的视频采集和视频处理模块,采集部分包含6路摄像头进行全方位视频采集,车辆正前方F‐Camera‐-‐用来采集车辆正前方视频照片数据、车辆正后方B‐Camera‐‐‐‐用来采集车辆正后方视频照片数据、车辆左侧L‐Camera‐‐‐用来采集车辆左侧视频数据、车辆右侧R‐Camera‐‐‐用来采集车辆右侧视频数据、驾驶员面部P‐Camera‐--用来采集驾驶员面部视频照片数据、驾驶员操作方向盘O‐Camera‐‐‐用来采集驾驶员驾驶操作视频数据。6路摄像头采集的数据通过视频处理模块通过全景视频拼接技术将车辆前后左右视频照片进行全景视频拼接,实时转存到SATA盘中,用于后续通过主控模块中的安全算法合成安全预警因子E1(此处E1在后续图2说明部分有详解)。
优选地,设备NDDAD视频编解码以及压缩算法处理模块,第一步通过NDDAD视频编解码以及压缩算法处理模块IPU将AV/D1视频流转换成YUV422视频格式,通过opencv全景拼接,第二步通过NDDAD视频编解码以及压缩算法处理模块中VPU单元将其转换成H.264并与音频文件合成输出MP4格式存储。(为现有技术)
所述雷达Radar模块,集成了76GHz毫米波雷达模块,对车辆前方多达64个运动目标进行动态跟踪,将数据解析处理,得到目标的运动矢量信息,用于后续通过主控模块中的算法合成安全预警因子E1。
所述ODBII模块,本模块通过Bluetooth连接车辆ODBII从设备,ODBII模块,读取车辆ECU单元信息,实现车辆和设备NDDAD的交互,实现对车辆版本信息、车辆型号、车速、功耗、油耗、里程、刹车等车辆行驶数据获取,用于后续通过算法合成安全预警E1所需因子函数Fvehicle t(此处Fvehicle t在后续有详解)。
所述陀螺仪模块,本模块通过将车辆行驶过程中的加减速数据、转弯角速度数据、震动数据以及车辆磁场等数据获取并解析,用于后续通过算法合成安全预警因子E1所需因子函数Fvehicle t。
所述GPS/BD模块,通过本模块实现实时获取驾驶地理位置信息,并将其在ArcGIS地图中显示出来,用于后续通过算法合成安全预警因子E2(此处E2在后续图2说明部分有详解)。GPS/BD射频定位芯片可以支持多种制式全球导航系统,如GP指GPS全球导航系统、GN指GNSS全球导航系统、GL指GLONASS全球导航系统、BD指BeiDou全球导航系统。
所述主控模块采用主控制器芯片ARM,用于接受并处理其他模块回传的数据。所述主控模块包括安全算法模块,如图2所示,算法流程如下:
步骤一、六路Cameras采集到的视频数据通过视频数据编码与压缩算法处理模块将其完成全景视频拼接,并将各个目标标注为矢量信息图,得到Pi(D,S,T)函数。
步骤二、Radar模组将雷达采集到的动态目标进行解析处理得到Ri(D,S,T)函数。
步骤三、将Pi(D,S,T)函数、Ri(D,S,T)函数通过Fobject i(D,S,T)转化,完成将雷达检测到的运动目标参数标定在全景视频帧上,通过差分算法得到Kobjecti(D,S,T)函数。其中:
所述Fobject i(D,S,T)表示运动目标函数,参数D表示运动目标i的矢量距离,S表示运动目标i的速度,T表示当前系统时间,μ为雷达目标填入全景视频图的拟合因子,η表示雷达目标矫正参数,表示全景视频畸变矫正参数。
所述Kobjecti(D,S,T)表示T时刻objecti绝对运动函数;Kobjecti(D,S,T)=t_Fobject i‐(t‐1)_Fobject i
步骤四、ODBII模组将采集到的车辆自身读取的数据转化成Vt(S,O,B)矩阵函数,同时陀螺仪模组将车辆测评数据转化为Gt(A,V,M)矩阵函数,合成以上数据得到车辆行驶数据函数Fvehicle t。其中:
Fvehicle t=Vt(S,O,B)+Gt(A,V,M)
Fvehicle t表示t时刻车辆行驶数据函数,
Vt(S,O,B)表示t时刻车辆ODBII处理模块采集到的车速、油耗、刹车力度等参数一维数组函数,S,O,B分别表示车速、油耗、刹车力度;
Gt(A,V,M)表示t时刻车辆行驶中加速度、角速度以及震动强度数组函数;A,V,M分别表示加速度、角速度、震动强度。
X、y、z三个轴向的的加速度、角速度、震动强度。
步骤五、通过以上步骤三中Kobjecti(D,S,T)和步骤四中Fvehicle t得到安全预警因子E1。
E1=α1*[Kobjecti(D,S,T)‐α2]+β1[Fvehicle t‐β2],其中:
E1表示车车、人车之间影响驾驶安全预警因子函数,
α1表示车车之间安全因子,
α2表示车车之间安全阈值矩阵,
β1表示匹配参数,
β2表示车辆自身安全行驶阈值矩阵。
步骤六、GPS/BD处理模组将采集到的实时驾驶地理位置信息,拟合成函数Fposition t(Lgt,Lat,LimS)其中Fposition t表示t时刻车辆位置函数,参数Lgt表示经度值,Lat表示纬度值,LimS表示当前限速值。
步骤七、通过以上步骤四中Fvehicle t和步骤五中Fposition t得到E2,E2表示车辆行驶信息与当前所在地理位置的安全预警因子。
E2=0.4*(Fvehicle t‐β3)‐0.45*(Fposition t‐Fposition t‐1)
β3表示车辆行驶数据经验矩阵。
步骤八、通过对以上所得影响车车、人车之间驾驶安全预警因子E1与车路之间驾驶安全因子E2算术叠加等处理得到最终自然驾驶数据采集系统安全驾驶因子E(t,x,y)。通过E(t,x,y)的不同值,进行不同等级预警警示。
采用本实施例技术方案后,
(1)自然驾驶数据采集系统NDDAD将外设采集到的6路视频数据,通过NDDAD视频处理与压缩模块采用全景视频拼接算法拼接成一幅画面,将信息及时处理并预留出HMDI接口可将全景视频呈现在驾驶员前方,提供驾驶参考。
(2)NDDAD通过视频处理与压缩模块对F‐Camera数据进行分析,结合OpenCV技术(属于现有技术)将前方车道线与物体识别,并结合Radar跟踪的运动物体距离以及速度,通过陀螺仪模块数据,如车辆急加速、急加速、转弯数据,设定阈值对超过各个阈值的驾驶过程给出预警以及作相应音视频存储记录,通过GPS/BD定位模块实时获取驾驶地理位置信息,并将其在ArcGIS地图中显示出来,综合得到自然驾驶安全预警因子E,并实时对驾驶员进行人‐车、车‐车、车‐路的三重安全预警。
实施例2
本实例包括实施例1所有内容。
进一步的,本实施例还可以包括电源管理模块,所述电源管理单元PWM用于动态调整各个模组电源。
进一步的,本实施例还可以包括4G/GSM模块,本模块兼容LTE‐TDD和LTE‐FDD制式,用于NDDAD和控制中心通信,通过4G/GSM与数据控制中心通信,实现数据控制中心可调取NDDAD获取的各种数据,进行分析预警,此应用在车队管理中尤为重要。实现远程控制中心对NDDAD远程控制、管理、预警发布。
另外,优选地,设备NDDAD将6路Camera视频处理模块通过PCIe接口标准连接起来、设备NDDAD将4G/GSM模块通过USB接口标准连接起来、设备NDDAD将ODBII处理模块通过Bluetooth Specification V2.0With EDR协议标准连接起来、设备NDDAD将雷达Radar处理模块通过FlexCAN标准连接起来,设备NDDAD将GPS/BD模块通过UART接口标准连接起来、设备NDDAD将Wi‐Fi模块通过USB接口标准连接起来、设备NDDAD将陀螺仪数据处理模块通过I2C接口标准连接、设备NDDAD将数据存储SATA用SATA接口标准连接。
请参阅图1,图1为本实施例NDDAD系统原理架构图,在本例中NDDAD后装在车辆上,将各个Camera连接线通过莫仕简牛接口连接,通过车辆电瓶取电,系统启动后各个功能单元相继启动。
采用本实施例技术方案后,
(1)自然驾驶数据采集系统NDDAD可安装在现在任意现有各种款式货车、客车以及私家车之上,将外设采集到的6路视频数据,通过NDDAD视频处理与压缩模块采用全景视频拼接算法拼接成一幅画面,将信息及时处理并预留出HMDI接口可将全景视频呈现在驾驶员前方,提供驾驶参考。
(2)NDDAD通过视频处理与压缩模块对F‐Camera数据进行分析,结合OpenCV技术将前方车道线与物体识别,并结合Radar跟踪的运动物体距离以及速度,通过陀螺仪模块数据,如车辆急加速、急加速、转弯数据,设定阈值对超过各个阈值的驾驶过程给出预警以及作相应音视频存储记录,通过GPS/BD定位模块实时获取驾驶地理位置信息,并将其在ArcGIS地图中显示出来,综合得到自然驾驶安全预警因子E,并实时对驾驶员进行人‐车、车‐车、车‐路的三重安全预警,并且可通过控制中心可对其进行地图围栏设置,车队管理人员也可定向查看以及对驾驶员发出通知信息等。
应当理解的是,以上仅为本发明的优选实施例,不能因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。