CN107195024A - 通用型车辆行驶数据记录系统和处理方法 - Google Patents

Abstract

本发明公开一种通用型车辆行驶数据记录系统，包括：仪表盘摄像机，用于实时拍摄车辆行驶过程中的仪表盘图像信息；前向视角摄像机，用于实时拍摄车辆行驶过程中的前方图像信息，车载传感器，用于实时采集车辆行驶过程中的车辆状态信息；数据处理模块装载有仪表盘数据库用于与仪表盘摄像机传输的仪表盘图像信息进行比对，数据处理模块根据仪表盘图像信息、前方图像信息、车辆状态信息监测车辆状态，在车辆状态异常时，将获取的信息进行汇总处理、保存并输出报警信号；现场还原模块用于在车辆发生交通事故时，根据数据处理模块传输的仪表盘实时信息数据、车辆状态信息确定事故发生关键时间点，并利用关键时间点时的前方图像信息恢复事故全景视图。

Description

通用型车辆行驶数据记录系统和处理方法

技术领域

本发明涉及车辆行驶记录和行车过程还原技术领域，具体涉及通用型车辆行驶数据记录系统和处理方法。

背景技术

在汽车发生特殊事件、事故或者故障时，记录特殊事件、分析事故或故障的原因需要获取行车数据，但是这些行车数据在事后是难以获得的。

驾驶员在开车时，主要的关注点是三个方面：正前方视角、仪表盘、井感知车辆的行驶状态(如声音、震动等)。现有系统中，很少有将这三方面的信息进行汇总保存，并用于行车过程还原。而且仪表盘的指示信息较多、且不通用，很多驾驶员只能辩识常用的指示数据，对特殊的提示信息尤其是在特定行驶状态下瞬间出现的故障提示往往没有概念或会忽略这些提示、由于上述信息难以重现，在车辆维修保养时专业人员也无法快速准确的查找到问题的原因。

由于车辆的品牌、型号众多，仪表盘的外型和内容都各不相同。如图1所示的一种常见仪表盘，包括位置灯101、安全气囊警示灯102，机油压力警示灯103、转向指示灯104、发动机防盗锁定系统指示灯105、ABS警示灯106，低燃油警示灯107，远光灯指示灯108，发动机故障指示灯109、后雾灯110、制动系统警示灯111、信息中心112、发动机最大转速指示灯113、前雾灯114、结霜警示灯115、充电警示灯116；仪表盘中的数据表达方式分为以下几类：

1、指针式/数字式仪表：如车速显示仪、转速显示仪、温度仪等；

2、指示图形/指示灯：用于提示近光灯、远光灯、雾灯、转向指示灯等行车信息；通常通过亮暗变化、闪烁或颜色变化的方式表达不同的指示状态；

3、警示图形/警示灯：用于警示机油压力、安全气囊、电瓶电量、燃油余量等警示信息；通常通过亮暗变化、闪烁或颜色变化的方式表达不同的警示状态；

4、车辆信息中心电子屏幕：包含各个车辆的个性化设置，通常与设置按键或手柄联合使用实现人车交互，随着车辆电子化水平的提高，车辆信息中心的功能越来越全面；车辆信息中心电子屏幕中通常包含多个功能菜单和功能界面、显示的内容包含文字和图形，用于显示车辆的个性化的提示信息和警示信息。

由此可见，车辆仪表盘中集中体现了车辆的运行状态数据，因此自动获取车辆仪表盘的实时数据图像并进行全面分析，是准确掌握车辆实时状态最有效的途径，在一定程度上替代驾驶员实现更准确的人车信息实时交互。尤其是对于车辆信息中心电子屏幕的图像识别和分析，可以最便捷的掌握各型号车辆的个性化数据。

另外现有车辆常用GPS定位系统进行定位并判断车辆行驶状态，但由于GPS的定位精度较低，车辆运动过程中GPS信号存在稳定性问题，使得数据的连贯性、可靠性不够高。现有方案中多通过采集电子数据作为参照，而电子数据不能成为直观的证据；由于车辆的种类型号各不相同，目前没有一种简单的通用设备可以准确记录车辆的行驶状态，当出现突发事件或偶然事件时无法保存完整的证据、无法完全重现当时车辆的状态。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种通用型车辆行驶数据记录系统和处理方法，能够准确、全面的记录车辆的行驶状态，并可以实现事后重现行车过程。

技术方案：本发明所述的通用型车辆行驶数据记录系统，包括：

仪表盘摄像机，用于实时拍摄车辆行驶过程中的仪表盘图像信息；

与仪表盘摄像机进行信息传输的数据处理模块，所述数据处理模块装载有仪表盘数据库用于与仪表盘摄像机传输的仪表盘图像信息进行比对，比对生成包括车速数据、行车指示信息、行车警示信息的仪表盘实时信息数据，将获取的信息进行汇总处理、保存。

进一步的，该系统还包括：

该系统还包括：与数据处理模块相连并进行信息传输的前向视角摄像机、车载传感器、现场还原模块；前向视角摄像机用于实时拍摄车辆行驶过程中的前方图像信息；车载传感器用于实时采集车辆行驶过程中的车辆状态信息；所述数据处理模块根据仪表盘实时信息数据、前向视角摄像机传输的前方图像信息、车载传感器传输的车辆状态信息监测车辆状态，并将获取的信息进行汇总处理、保存；当车辆状态异常时，输出报警信号；当车辆发生交通事故时，现场还原模块根据数据处理模块传输的仪表盘实时信息数据、车辆状态信息确定事故发生关键时间点，并利用关键时间点时的前方图像信息恢复事故全景视图。

进一步完善上述技术方案，所述的仪表盘摄像机至少为一个，固定在方向盘支撑座上；所述车载传感器为角速度传感器、震动传感器、加速度传感器、陀螺仪传感器、速度脉冲传感器中的一个或多个，角速度传感器安装在车辆的方向盘上，用于检测方向盘的转动角度，震动传感器用于检测车辆的行驶状态和异常的抖动、震动现象，加速度传感器采集车辆的加速度信息，陀螺仪传感器采集车辆转向的数据，速度脉冲传感器采集车辆行车速度数据。

进一步地，由于仪表盘实时图像的数据量较大、并且其中冗余数据较多，所述数据处理模块获取实时的仪表盘图像信息进行前后比对，保留具有特征意义或车辆状态异常时间段的仪表盘图像信息。

进一步地，本系统还能扩展进行驾驶学习和驾驶考试，还包括控制中心、车载指令发布装置、车载摄像机，控制中心与车载指令发布装置、数据处理模块无线相连，车载指令发布装置设置在车辆上、用于接受控制中心的驾驶指令并进行发布，车载摄像机包括用于拍摄车内场景的车内摄像机和用于拍摄车外场景的车外摄像机，数据处理模块与车载摄像机、车载指令发布装置分别相连，根据仪表盘实时信息数据、车载摄像机传输的车内场景、车外场景生成车辆行驶数据并与驾驶指令对应的标准行驶数据进行分析对比，确定驾驶员的完成度、准确度和熟练度并上传至控制中心。

进一步地，采用上述系统进行通用型车辆行驶数据处理方法，包括如下步骤：

(1)根据汽车型号建立仪表盘模板数据库：首先对于仪表盘中各个功能区域进行区域划分和功能定义；对于车辆信息中心的电子屏幕区域、建立与车辆信息中心对应的功能菜单和功能界面的基础数据清单，并针对各个功能菜单和功能界面的内容进行功能定义；将上述内容汇总之后形成仪表盘的模板数据库；

(2)获取车辆行驶过程中由仪表盘摄像机拍摄的仪表盘图像信息并进行分析处理，从而获得仪表盘实时信息数据：首先根据预定义的区域划分对仪表盘实时图像进行分割、提取各个功能区域的图像；然后对照功能定义对各个功能区域的图像分别进行分析、提取，其中：

对于指针式仪表的图像，通过图像识别提取其中的指针位置及对应的数据信息；

对于数字式仪表的图像，通过图像识别提取数字信息；

对于指示图形/指示灯的图像，判断该指示图形和指示灯的指示状态；

对于警示图形/警示灯的图像，判断该警示图形和警示灯的警示状态；

对于车辆信息中心的电子屏幕区域，对显示的文字和图形进行OCR识别并与功能菜单和功能界面的功能定义数据进行对照，获得显示内容的含义；且当获取显示内容存在上下文相关性时，将对应时间点前后的图像数据进行汇总，获取连贯的内容及其含义。

数据处理模块根据仪表盘实时信息数据监测车辆行驶状态：

当检测到异常信息时，发出报警或提示信号；并且数据处理模块保存的汇总数据能够用于重现车辆的行驶过程；

当发生交通事故时，提取涉事车辆的仪表盘图像信息和车辆状态信息，利用数据挖掘中的直方图分析，确定异事件关键时间点，以关键时间点为基准，提取交通事故中关键时间点中所涉及车辆行驶前方的图像信息进行基于SIFT算法的特征点提取和匹配，倒推出发生事故前各涉事车辆的行车数据，恢复事故全景视图，还原事故发生过程。

6、根据权利要求5所述的通用型车辆行驶数据处理方法，其特征在于：所述步骤(2)的具体实现方法如下：

(11)读取待处理的仪表盘图像，将其转化为二值图像；

(12)去除二值图像中面积过小，能够肯定为非指针和刻度的区域；

(13)定位仪表盘指针，将白色区域膨胀，去除无关的参数；

(14)查找连通区域边界，同时保留图像，以备后面标记；

(15)找出所有连通区域内指针的最大连通区域；

(16)用Radon算法提取指针角度，按仪表盘模板数据库内存储的刻度模板得到速度信息；

(17)扣除最大连通区域内的连通区域图形，识别倒退R、空档N、自动档D、停车P信息，确定档位信息；

(18)提取关键数据后以data形式存储图像。

7、根据权利要求5所述的通用型车辆行驶数据处理方法，其特征在于：所述的还原交通事故发生过程的实现方法如下：

第一，提取交通事故中涉事车辆的仪表盘实时信息数据、前方图像信息、车辆状态信息监测车辆状态，并汇总；

第二，通过各个车辆的仪表盘实时信息数据、前方图像信息、车辆状态信息确定各个车辆发生事故对应的关键时间点；

第三，以各个车辆发生事故的关键时间点为基准，倒推出发生事故前各个车辆的行车轨迹，同时显示对应时间点上的前方图像信息，还原事故发生的过程；

(31)通过数据挖掘中的直方图近似数据分布、决策树归纳分析出关键时间点；

(32)对涉事车辆中两辆关键车辆前方图像信息I₁(x,y)、I₂(x,y)进行基于SIFT算法的特征点提取和匹配，恢复事故全景视图：采用高斯卷积运算构建尺度空间，高斯差分函数D(x，y，σ)通过以不变倍增因子k的两个相邻尺度图像差计算得出：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ) (1)

初始图像经逐步高斯卷积运算，得到一系列尺度空间，即高斯尺度DOG空间，空间极值点检测关键点是由DOG空间的局部极值点组成的，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；

极值点的方向分配：对于每一个采样点L(x，y)，计算其梯度模值m(x，y)和方向θ(x，y)的公式为：

特征点描述子的生成：将坐标轴旋转到特征点的梯度方向上，确保旋转不变性，通常采用16个子点来描述一个特征点，然后计算每个子点中8个方向的梯度累加值，得到特征点描述子的特征向量，为4*4*8＝128维向量；所得到的特征向量具有旋转不变形所以可以分别提取I₁和I₂两幅图像中的特征向量进行特征点匹配，拼接成一幅全景视图；

第四，根据现场还原模拟模块展示的事故发生的过程确定事故的责任。

有益效果：由于各种车辆的控制系统差别很大且数据接口不对外开放、采用第三方系统直接提取车辆行驶数据困难重重，在车辆数据的采集处理领域，仪表盘一直作为被忽略的重要信息没有能够发挥更多的价值，本申请利用各种车辆仪表盘的表达形式和表达内容的相似性，通过仪表盘图像获取车辆行驶数据的途径之一，相对于现有技术提供的方案更加准确、高效；

本发明具有广泛的应用场景：通过将行车过程中发生的事件与对应的仪表盘图像联系起来，图像数据可以作为直观的证据、用于违章判定、事故责任判定等；通过车载摄像机、仪表盘图像、车辆状态信息组合进行用于驾驶行为分析，从大量的行驶数据中总结出驾驶人员的驾驶习惯，以及存在的问题，判断驾驶员是否存在不合理或不安全的驾驶行为，并提醒驾驶员注意并纠正；通过现场还原模拟模块准确、直观的重现行车过程,可用于交通事故现场还原和快速处定责、车辆故障排查和重现、车辆违章取证；通过对仪表盘图像的分析，可以识别仪表盘的指示信号数据，当检测到突发性和偶发性的异常或故障时,可以准确定位到出现问题的时间点、也可以及时准确的提示驾驶员；通过设置车载指令发布装置、控制中心、车载摄像机进行驾驶员考试，驾驶员的操作判断交由数据处理模块进行，相对于现有的人工判断更加准确且能够防止驾驶员作弊，通过数据采集系统存储车辆行驶数据，重放当时的驾驶场景，能够作为更为直观的证据，避免不必要的纠纷。

附图说明

图1为车辆常见仪表结构图；

图2为实施例1的结构示意图；

图中：1、仪表盘，2、仪表盘摄像机，3、数据处理模块，4、前向视角摄像机，5、方向盘，6、角度传感器，7、震动传感器，8、加速度传感器，9、陀螺仪传感器，10、速度脉冲传感器；

图3为数据处理模块的工作示意图；

图4为现场还原模块的工作示意图；

图5为实施例2的结构示意图；

图6为控制中心的信息传输示意图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例1：如图2所示，根据车辆仪表盘的尺寸和结构在方向盘5支撑座上设置仪表盘摄像机2，当仪表盘较宽或较为分散分布时，一个仪表盘摄像机无法拍摄完整的仪表盘图像，可以采用多个仪表盘摄像机2分别拍摄不同部分的仪表盘图像；在车辆上安装前向视角摄像头4；在车辆上设置角速度传感器6、震动传感器7、加速度传感器8、陀螺仪传感器9、速度脉冲传感器10，角速度传感器6安装在车辆的方向盘5上，用于检测方向盘5的转动角度，震动传感器7用于检测车辆的行驶状态和异常的抖动、震动现象，加速度传感器8采集车辆的加速度信息，陀螺仪传感器9采集车辆转向的数据，速度脉冲传感器10采集车辆行车速度数据，在车辆上仪表盘摄像机2的位置安装数据处理模块3和现场还原模拟模块，数据处理模块加载有仪表盘模板数据库并设有无线通信模块和报警模块，仪表盘模板数据库根据汽车型号建立，存储的信息包括仪表盘图片，仪表盘中各个指示信号的图形、位置、指示方式和指示含义，无线通信模块用于与移动网络基站或交通管理系统基站通信，数据处理模块通过无线通讯模块获取基站提供的当前道路信息(如限速限行信息，前方路段交通事故或道路堵塞的信息)给驾驶员，并向基站上传车辆事件资料进行备案，事件包括违章、事故、突发故障如车辆抛锚报警。

基于上述设置进行行驶数据处理方法：

(1)根据汽车型号建立仪表盘模板数据库；

(2)实时获取车辆行驶过程中的仪表盘图像信息，车辆行驶前方的图像信息以及车辆状态信息；

仪表盘实时图像信息获取算法：

①读取待处理的仪表盘图像，将其转化为二值图像；

②去除图像中面积过小的、可以肯定非指针和刻度的区域；

③为定位指针，将白色区域膨胀，腐蚀去无关的小物件(行驶公里数，外界温度)；

④查找连通区域边界，同时保留此图形，以备后面标记；

⑤找出所有连通区域中最可能指针的(最大连通区域)；

⑥用Radon算法提取指针角度，按与仪表盘模板数据库对比获得速度信息；

⑦扣去最大连通区域的连通区域图形，识别R、N、D、P信息，确定档位信息；

⑧提取关键数据后已data形式存储而非图像，减少存储图像的压力

(3)数据处理模块监测车辆状态，若发现车辆状态异常，如车辆行驶速度异常、转向异常、制动异常、仪表盘报警：提取仪表盘图像信息与仪表盘模板数据库相比对，识别车速数据和仪表盘指示信号数据，仪表盘可分为机械式和电子式两种，机械式仪表盘中各种指示信号的位是固定的，电子式仪表盘中会存在不同功能界面的切换，显示的内容也会有所不同。因此，对于电子式仪表盘建立模板时，应首先定义各个功能界面的特征，再描述各个功能界面中仪表显示信息的含义。例如机械式仪表盘中车速显示多为指针旋转的形式，而电子式仪表盘中有些则将车速直接显示为数字形式，对电子式仪表盘中的数字或文字信息应采用OCR技术进行识别，由于各个车辆中仪表盘摄像机的安装位置、角度会存在一定的差异,因此需要通过精确配准算法将仪表盘图像与仪表盘模板的进行匹配，计算出安装误差、在实际运行过程中可以对图像数据进行修正，以利于对仪表盘信息的自动识别、减少运算量；同时结合车辆行驶前方的图像信息、车辆状态信息生成带有数字水印的图像和行车数据，图像包括仪表盘图像或者仪表盘图像和前向视角图像的组合，数字水印包含仪表盘分析数据、车载传感器数据、拍摄时间标记，提取处理后的数据进行汇总分析保存并通过报警模块向车辆驾驶员发出报警信息；

(4)若发现车辆状态异事件为交通事故，提取两辆涉事车辆的行车数据，如图2、图3所示，现场还原模拟模块以各个车辆发生事故的时间点为基准，倒推出发生事故前各个车辆的行车数据，同时显示对应时间点上的组合图像，还原事故发生过程；确定交通事故中关键车辆2部，提取仪表盘数据及车辆状态数据，通过直方图分析模块分析出触发时间点；以关键时间点为基准，SIFT算法模块倒推出发生事故前各个车辆的行车轨迹，同时显示对应时间点上的车载图像，还原事故发生的过程：结合车速数据与车辆转向数据，模拟出车辆的实际行驶轨迹,，并且在显示行驶轨迹的同时显示对应时间点上的车载图像，从而再现车辆的行驶过程；

其中：车载图像为仪表盘图像或者仪表盘图图像和前向视角图像两种图像的组合，通过上述两种图像的组合，可以比较全面的重现驾驶员观察到的场景；

车速数据由仪表盘图像中提取或由速度脉冲传感器提供，车辆转向数据由角度传感器或者陀螺仪传感器提供，或者对前向视角摄像机的图像进行分析而获得；

通过对前向视角摄像机拍摄的连续图像的对比分析、提取图像中的参照物信息，可以判断车辆处于直行状态还是处于转弯的状态，并可以获取转弯的角度。

当使用现场还原模拟模块处理交通事故时，通过以下方法实现：

首先，获取交通事故中涉及车辆的数据处理模块的行车数据、并汇总；

第二，根据各个车辆的行车数据确定与各个车辆发生事故对应的时间点；

可以通过查看前向视角图像、查看车速的突变、对照震动传感器、加速度传感器的数据等方法，确定行车数据中发生事故对应的时间点；

第三，以各个车辆发生事故的时间点为基准，倒推出发生事故前各个车辆的行车轨迹，同时显示对应时间点上的车载图像，还原事故发生的过程：

通过数据挖掘中的统计方法融合各种数据分析出触发时间点：

直方图是使用分箱来近似数据分布，是一种数据归约形式。根据时间点，统计时间点特征值得数量。异事件触发的数据为极少事件，所以直方图统计有效。多类数据确定异事件时间点，利用决策树归纳得到最终关键时间点；

在多层多维中进行时间点的确认，关系到挖掘数据的多层关联规则，多维关联规则以及量化关联规则，在大数据处理中具有一定创新意义。在这里我们将Deep Learning的基本思想引入到触发时间点的查找中去。利用直方图概率的意义构建RestrictedBoltzmann Machine(RBM)限制波尔兹曼机。

假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层(v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点(只能取0或者1值)，同时假设全概率分布p(v,h)满足Boltzmann分布，称这个模型是RestrictedBoltzmannMachine(RBM)。

首先，这个模型因为是二部图，所以在已知v的情况下，所有的隐藏节点之间是条件独立的(因为节点之间不存在连接)，即p(h|v)＝p(h₁|v)…p(h_n|v)。同理，在已知隐藏层h的情况下，所有的可视节点都是条件独立的。同时又由于所有的v和h满足Boltzmann分布，因此，当输入v的时候，通过p(h|v)可以得到隐藏层h，而得到隐藏层h之后，通过p(v|h)又能得到可视层，通过调整参数，我们就是要使得从隐藏层得到的可视层v1与原来的可视层v如果一样，那么得到的隐藏层就是可视层另外一种表达，因此隐藏层可以作为可视层输入数据的特征,所以它就是一种Deep Learning方法。

q＝{W,a,b}model parameters

而某个组态的联合概率分布可以通过Boltzmann分布(和这个组态的能量)来确定：

因为隐藏节点之间是条件独立的，即：

可以比较容易(对上式进行因子分解Factorizes)得到在给定可视层v的基础上，隐层第j个节点为1或者为0的概率：

同理，在给定隐层h的基础上，可视层第i个节点为1或者为0的概率也可以容易得到：

给定一个满足独立同分布的样本集：D＝{v(1),v(2),…,v(N)}，需要学习参数θ＝{W,a,b}。

最大化以下对数似然函数：

也就是对最大对数似然函数求导，就可以得到L最大时对应的参数W了。

如果，把隐藏层的层数增加，可以得到Deep BoltzmannMachine(DBM)；如果在靠近可视层的部分使用贝叶斯信念网络(即有向图模型，当然这里依然限制层中节点之间没有链接)，而在最远离可视层的部分使用Restricted Boltzmann Machine，可以得到DeepBelief Net(DBN)。

由于提供的数据来自图像，仪表数据等多传感器多元化数据，所以只能根据深度学习的算法讲数据进行逐层剥离，找出最基本隐含层的关联性，确定最终的时间出发点。

假设交通事故中车辆1和2为关键车辆，拍摄到的行驶前方的图像为I₁(x,y)、I₂(x,y)，将两幅图用SIFT算法进行特征匹配完成全景视图；

SIFT算法，尺度不变特征转换(Scale-invariant feature transform，SIFT)是一种电脑视觉的算法用来检测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结，此算法可以用于图像拼接。SIFT算法主要步骤如下：

1、构建尺度空间：为了在尺度空间中有效的检测稳定关键点的位置，Lowe提出了高斯差分卷积，高斯差分函数D(x，y，σ)可以通过以不变倍增因子k的两个相邻尺度图像差计算得出：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (1)；

初始图像经逐步高斯卷积运算，得到一系列尺度空间，即高斯尺度(DOG)空间。

2、空间极值点检测：

关键点是由DOG空间的局部极值点组成的，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

3、极值点的方向分配：

对于每一个采样点L(x，y)，计算其梯度模值m(x，y)和方向θ(x，y)的公式为

4、特征点描述子的生成：

将坐标轴旋转到特征点的梯度方向上，确保旋转不变性，通常采用16个子点来描述一个特征点，然后计算每个子点中8个方向的梯度累加值，得到特征点描述子的特征向量，为4*4*8＝128维向量；所得到的特征向量具有旋转不变形所以可以分别提取I₁和I₂两幅图像中的特征向量进行特征点匹配，拼接成最终图像I。

最后，根据现场还原模拟模块展示的事故发生的过程确定事故的责任。

实施例2：本申请提供的系统还能应用于驾驶学习及驾驶考试中，此时在系统内增加车载指令发布装置22、控制中心24、车载摄像机，控制中心与车载指令发布装置、数据处理模块无线相连，数据处理模块与车载摄像机、车载指令发布装置分别相连，车载指令发布装置22设置在车辆21上，用于通过语音提示或文字显示的方式发布驾驶指令；车载摄像机包括用于拍摄车外场景的车外摄像机23a、23b、23c、23d和用于拍摄车内场景的车内摄像机23e、23f，23a、23b用于拍摄车辆前方路况、23c、23d用于拍摄车辆侧方及后方路况，23e、23f位于车辆内部靠近前挡风玻璃的平台上，23e用于拍摄驾驶员的行为动作、23f用于拍摄驾驶员对车辆档位的操作。

控制中心向车载指令发布装置传输驾驶指令，车载指令发布装置22通过语音提示或文字显示的方式发布驾驶指令，数据处理模块根据车辆行驶数据、车载摄像机传输的车内场景、车外场景，对照驾驶指令进行分析对比、数据汇总，确定驾驶员完成驾驶指令的准确度和熟练度并上传至控制中心。

在练习场地中，场地封闭、路况较为简单，可以由数据处理模块对车辆行驶数据、车内场景及车外场景进行综合分析，并通过车载指令发布装置22自动发布实时驾驶指令，指挥学员完成各项指定的驾驶指令、并判断驾驶员完成驾驶指令的准确度和熟练度。此时的驾驶指令可以将一个完整的操作分解、细化为若干个操作步骤，有助于学员的练习和掌握驾驶的要点。

在考试环节中，可以由教练人员或考官在控制中心24查看车载路况图像后手动控制发出驾驶指令，驾驶员按照驾驶指令驾驶车辆，车内摄像机拍摄驾驶员的行为动作和车辆档位操作区域，通过自动识别或传输至控制中心24由人工观察的方法判断驾驶员的操作。数据处理模块通过车载摄像机获取驾驶员的车辆行驶数据进行保存、对照驾驶指令进行数据分析、判断驾驶员完成驾驶指令的准确程度和熟练程度，并将分析结果上传至控制中心24。

采用本系统后，大部分的驾驶问题或错误的判定可以由数据处理模块完成并可以报警，从而降低了人工判定引发的不准确性的影响。对于系统无法准确判断的存在疑问的驾驶问题或错误，可以由数据处理模块标记问题发生的时间点，再通过情景回放重现当时驾驶场景、由人工进行判断。由于仪表盘摄像机图像数据及车载摄像机图像数据均可作为直观的证据，证明驾驶员当时的驾驶操作情况，可以避免不必要的纠纷。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (9)

1.通用型车辆行驶数据记录系统，其特征在于；包括：

仪表盘摄像机，用于实时拍摄车辆行驶过程中的仪表盘图像信息；

与仪表盘摄像机进行信息传输的数据处理模块，所述数据处理模块装载有仪表盘数据库用于与仪表盘摄像机传输的仪表盘图像信息进行比对，比对生成包括车速数据、行车指示信息、行车警示信息的仪表盘实时信息数据，将获取的信息进行汇总处理、保存。

2.根据权利要求1所述的通用型车辆行驶数据记录系统，其特征在于：该系统还包括：与数据处理模块相连并进行信息传输的前向视角摄像机、车载传感器、现场还原模块；前向视角摄像机用于实时拍摄车辆行驶过程中的前方图像信息；车载传感器用于实时采集车辆行驶过程中的车辆状态信息；所述数据处理模块根据仪表盘实时信息数据、前向视角摄像机传输的前方图像信息、车载传感器传输的车辆状态信息监测车辆状态，并将获取的信息进行汇总处理、保存；当车辆状态异常时，输出报警信号；当车辆发生交通事故时，现场还原模块根据数据处理模块传输的仪表盘实时信息数据、车辆状态信息确定事故发生关键时间点，并利用关键时间点时的前方图像信息恢复事故全景视图。

3.根据权利要求1所述的通用型车辆行驶数据记录系统，其特征在于：所述的仪表盘摄像机至少为一个，固定在方向盘支撑座上；所述车载传感器为角速度传感器、震动传感器、加速度传感器、陀螺仪传感器、速度脉冲传感器中的一个或多个，角速度传感器安装在车辆的方向盘上，用于检测方向盘的转动角度，震动传感器用于检测车辆的行驶状态和异常的抖动、震动现象，加速度传感器采集车辆的加速度信息，陀螺仪传感器采集车辆转向的数据，速度脉冲传感器采集车辆行车速度数据。

4.根据权利要求1所述的通用型车辆行驶数据记录系统，其特征在于：还包括车载指令发布装置、车载摄像机，车载指令发布装置设置在车辆上、用于发布驾驶指令，车载摄像机包括用于拍摄车内场景的车内摄像机和用于拍摄车外场景的车外摄像机，数据处理模块与车载摄像机、车载指令发布装置分别相连，由数据处理模块进行数据汇总，数据处理模块根据仪表盘实时信息数据、车载摄像机传输的车内场景、车外场景，对照驾驶指令进行分析对比，确定驾驶员完成驾驶指令的准确度和熟练度。

5.根据权利要求4所述的通用型车辆行驶数据记录系统，其特征在于：还包括控制中心，控制中心与车载指令发布装置、数据处理模块无线相连，控制中心向车载指令发布装置发布驾驶指令，数据处理模块根据车辆行驶数据、车载摄像机传输的车内场景、车外场景，对照驾驶指令进行分析对比，确定驾驶员完成驾驶指令的准确度和熟练度并上传至控制中心。

6.根据权利要求1所述系统进行通用型车辆行驶数据处理方法，其特征在于，包括如下步骤：

(1)根据汽车型号建立仪表盘模板数据库：首先对于仪表盘中各个功能区域进行区域划分和功能定义；对于车辆信息中心的电子屏幕区域、建立与车辆信息中心对应的功能菜单和功能界面的基础数据清单，并针对各个功能菜单和功能界面的内容进行功能定义；将上述内容汇总之后形成仪表盘的模板数据库；

(2)获取车辆行驶过程中由仪表盘摄像机拍摄的仪表盘图像信息并进行分析处理得到仪表盘实时信息数据：首先根据预定义的区域划分对仪表盘实时图像进行分割、提取各个功能区域的图像；然后对照功能定义对各个功能区域的图像分别进行分析、提取，其中：

对于指针式仪表的图像，通过图像识别提取其中的指针位置及对应的数据信息；

对于数字式仪表的图像，通过图像识别提取数字信息；

对于指示图形/指示灯的图像，判断该指示图形和指示灯的指示状态；

对于警示图形/警示灯的图像，判断该警示图形和警示灯的警示状态；

对于车辆信息中心的电子屏幕区域，对显示的文字和图形进行OCR识别并与功能菜单和功能界面的功能定义数据进行对照，获得显示内容的含义；且当获取显示内容存在上下文相关性时，将对应时间点前后的图像数据进行汇总，获取连贯的内容及其含义。

7.根据权利要求6所述的通用型车辆行驶数据处理方法，其特征在于：数据处理模块根据仪表盘实时信息数据监测车辆行驶状态：

当检测到异常信息时，发出报警或提示信号，并且数据处理模块保存的汇总数据能够用于重现车辆的行驶过程；

当发生交通事故时，提取涉事车辆的仪表盘图像信息和车辆状态信息，利用数据挖掘中的直方图分析，确定异事件关键时间点，以关键时间点为基准，提取交通事故中关键时间点中所涉及车辆行驶前方的图像信息进行基于SIFT算法的特征点提取和匹配，倒推出发生事故前各涉事车辆的行车数据，恢复事故全景视图，还原事故发生过程。

8.根据权利要求6所述的通用型车辆行驶数据处理方法，其特征在于：所述步骤(2)的具体实现方法如下：

(11)读取待处理的仪表盘图像，将其转化为二值图像；

(12)去除二值图像中面积过小，能够肯定为非指针和刻度的区域；

(13)定位仪表盘指针，将白色区域膨胀，去除无关的参数；

(14)查找连通区域边界，同时保留图像，以备后面标记；

(15)找出所有连通区域内指针的最大连通区域；

(16)用Radon算法提取指针角度，按仪表盘模板数据库内存储的刻度模板得到速度信息；

(17)扣除最大连通区域内的连通区域图形，识别倒退R、空档N、自动档D、停车P信息，确定档位信息；

(18)提取关键数据后以data形式存储图像。

9.根据权利要求7所述的通用型车辆行驶数据处理方法，其特征在于：所述的还原交通事故发生过程的实现方法如下：

第一，提取交通事故中涉事车辆的仪表盘实时信息数据、前方图像信息、车辆状态信息监测车辆状态，并汇总；

第二，通过各个车辆的仪表盘实时信息数据、前方图像信息、车辆状态信息确定各个车辆发生事故对应的关键时间点；

第三，以各个车辆发生事故的关键时间点为基准，倒推出发生事故前各个车辆的行车轨迹，同时显示对应时间点上的前方图像信息，还原事故发生的过程；

(31)通过数据挖掘中的直方图近似数据分布、决策树归纳分析出关键时间点；

(32)对涉事车辆中两辆关键车辆前方图像信息I₁(x,y)、I₂(x,y)进行基于SIFT算法的特征点提取和匹配，恢复事故全景视图：采用高斯卷积运算构建尺度空间，高斯差分函数D(x，y，σ)通过以不变倍增因子k的两个相邻尺度图像差计算得出：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (1)

初始图像经逐步高斯卷积运算，得到一系列尺度空间，即高斯尺度DOG空间，空间极值点检测关键点是由DOG空间的局部极值点组成的，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；

极值点的方向分配：对于每一个采样点L(x，y)，计算其梯度模值m(x，y)和方向θ(x，y)的公式为：

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>m</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>L</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>-</mo> <mi>L</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>L</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>-</mo> <mi>L</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>tan</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mi>L</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>-</mo> <mi>L</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>/</mo> <mrow> <mo>(</mo> <mi>L</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>-</mo> <mi>L</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

特征点描述子的生成：将坐标轴旋转到特征点的梯度方向上，确保旋转不变性，通常采用16个子点来描述一个特征点，然后计算每个子点中8个方向的梯度累加值，得到特征点描述子的特征向量，为4*4*8＝128维向量；所得到的特征向量具有旋转不变形所以可以分别提取I₁和I₂两幅图像中的特征向量进行特征点匹配，拼接成一幅全景视图；

第四，根据现场还原模拟模块展示的事故发生的过程确定事故的责任。