CN103824346A - 行车记录及重现方法和系统 - Google Patents

Abstract

本发明涉及行车记录及重现方法和系统。该方法包括：A、获取时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，并标记时间戳；B、基于所述时间数据，同步并结合所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据生成文字和/或音视频动画数据或模拟操作命令；C、根据所述文字和/或音视频动画数据或模拟操作命令以文字、模拟动画和/或游戏画面等多种形式还原所需时段内车辆运行状态及其内外环境状况。实施本发明，具有以下有益效果：可为分析人员提供车辆运行状态及其内外环境状况的直观的文字和/或画面，从而减轻分析人员的负担，在车辆事故处理中可避免过多的人为因素干扰，减少处理时间，提高效率。

Description

行车记录及重现方法和系统

技术领域

本发明涉及车辆安全监控，更具体地说，涉及一种行车记录及重现方法和系统。

背景技术

目前行车记录器有很多种，有单独用摄像头获取车内外视频数据的、单独用惯性导航传感器感测车辆行驶状态数据的，也有两者混用的。但无论是单独或混用，对数据的处理都是单独进行，输出的数据也是相互独立的。例如单独处理、输出视频数据，单独处理、输出车辆行驶状态数据，分析人员需要人工结合两种数据进行分析、判断。由于数据多，会给分析人员增加负担。

并且，一旦出现事故，由于分析不直观，所以没法迅速有效地判断，更不能智能化判断车祸的原因及责任人，必须要通过现场分析判断。这不仅效率低下，而且事故责任判断带有很大的人为因素，不仅不利于快速疏通交通，而且不能给当事人完全的信服，因而造成处理时间延长的现象。

发明内容

本发明要解决的技术问题在于，针对现有行车记录器单独处理、输出视频数据或车辆行驶状态数据，需要人工分析判断事故原因，提供一种行车记录及重现方法和系统，可以智能化地还原所需时段内车辆运行状态及其内外环境状况。

本发明解决其技术问题所采用的技术方案是：提供一种行车记录及重现方法，包括：

A、获取时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据,并基于所述时间数据在所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据中标记时间戳；

B、基于所述时间数据，同步并结合所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据生成文字和/或音视频动画数据或模拟操作命令；

其中，

所述车内视频数据包括：司机操作视频数据和司机面部表情视频数据；

所述车外视频数据包括：转弯灯、前灯及危险灯状态视频数据；

所述音频数据包括：喇叭鸣响音频数据；

所述车辆行驶状态数据包括：加减速、转弯、停止、速度、运动坐标及轨迹数据；

C、根据所述文字和/或音视频动画数据或模拟操作命令以文字、模拟动画和/或游戏画面形式还原所需时段内车辆运行状态及其内外环境状况。

在本发明所述的行车记录及重现方法中，

所述步骤B之前还建立基准图像数据库，包括

步骤B01：校正基准视频图像的特征，及

步骤B02：将校正后的基准视频图像的特征存入数据库；

其中，所述基准视频图像的特征包括：

转弯灯、前灯及危险灯各种状态下的基准图像的特征；

司机面部表情视频中司机睁眼和闭眼的基准图像的特征；

司机操作视频中喇叭操作的基准图像的特征；

司机操作视频中方向盘操作的基准图像的特征；

司机操作视频中打灯操作的基准图像的特征；

司机操作视频中踩油门、刹车动作的基准图像的特征；

且，

所述步骤B包括：

步骤B1：将步骤A中获取的车内视频数据、车外视频数据、音频数据及车辆行驶状态数据与所述数据库中的基准视频图像的特征进行比较，以识别司机的面部表情及操作动作；

步骤B2：基于时间数据，将所述司机操作视频数据、司机面部表情视频数据与所述转弯灯、前灯及危险灯状态视频数据、所述音频数据及车辆行驶状态数据相关联，从而生成所述文字和/或音视频动画数据或模拟操作命令。

在本发明所述的行车记录及重现方法中，

所述步骤B2中，所述基于时间数据，将所述司机操作视频数据、司机面部表情视频数据与所述转弯灯、前灯及危险灯状态视频数据、所述音频数据及车辆行驶状态数据相关联包括：

将司机操作视频中喇叭操作视频数据与喇叭鸣响音频数据相关联；

司机操作视频中方向盘操作视频数据及由于转弯所感测的加速度传感器的重力分量变化计算出的转弯、地磁传感器感测的方向变化相关联；

司机操作视频中踩油门、刹车动作特征与加速度、速度相关联；及

司机操作视频中打灯操作与转弯灯、前灯及危险灯状态相关联。

在本发明所述的行车记录及重现方法中，

所述步骤B1中包括根据司机面部表情视频识别司机的疲倦度，其中，根据双眼闭合的频率、时间来判断，与正常数据相比闭合的频率越小、闭合时间越长疲劳度越大。

在本发明所述的行车记录及重现方法中，还包括将将车辆自身的ID码存入数据库，所述ID码包括车辆型号、车牌号码和/或车主手机号和/或车辆本身具有的通讯装置的SIM卡号。

在本发明所述的行车记录及重现方法中，

所述步骤B还包括：

B3、存储所述时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令；和/或

B4、发送所述时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令，其中，包括通过WIFI、蓝牙发送到手机，和/或通过车辆本身具有的带通讯装置发送到交通处理平台；

所述步骤C包括：在手机上或交通平台上通过管理软件或游戏软件以文字、模拟动画和/或游戏画面方式还原视频、声音、车辆行驶状态。

在本发明所述的行车记录及重现方法中，

所述步骤A包括获取车辆由静止状态到启动发动机的整个过程中发动机的振动波形数据；

所述步骤B4还包括上传所述时间数据、车内视频数据、车外视频数据、音频数据、车辆行驶状态数据及所述发动机的振动波形数据至云端，以便云端运算判断发动机的健康。

在本发明所述的行车记录及重现方法中，

所述步骤A包括获取车辆GPS定位数据，

所述步骤C包括结合GIS数据和所述车辆GPS定位数据还原车辆所处地理环境。

在本发明所述的行车记录及重现方法中，

所述步骤B1还包括将所述司机操作视频数据与预先存储在数据库中的标准操作特征数据相比较，当差异超过预定值时，发出提示信息，以助于司机正确操作。

在本发明所述的行车记录及重现方法中，所述步骤B4还包括将所述时间数据、车内视频数据、车外视频数据、音频数据、车辆行驶状态数据经社交软件或直接发送至具有存储和分析数据的云端应用平台，云端应用平台结合之前数据记录分析出潜在的问题再发送回行车记录器以提醒注意或经社交软件下载应用。

本发明解决其技术问题所采用的技术方案是：构造一种行车记录及重现系统，包括：

数据获取装置，用于获取时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据,并基于所述时间数据在所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据中标记时间戳；

数据处理装置，用于基于所述时间数据，同步并结合所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据生成文字和/或音视频动画数据或模拟操作命令；

其中，

所述车内视频数据包括：司机操作视频数据和司机面部表情视频数据；

所述车外视频数据包括：转弯灯、前灯及危险灯状态视频数据；

所述音频数据包括：喇叭鸣响音频数据；

所述车辆行驶状态数据包括：加减速、转弯、停止、速度、运动坐标及轨迹数据；

还原装置，用于根据所述文字和/或音视频动画数据或模拟操作命令以文字、模拟动画和/或游戏画面形式还原所需时段内车辆运行状态及其内外环境状况。

在本发明所述行车记录及重现系统中，

所述数据获取装置包括：

用于获取所述车内视频数据、车外视频数据的摄像头；

用于获取音频数据的麦克风；

用于获取所述车辆行驶状态数据的加速传感器、陀螺仪、地磁传感器中的一种及多种。

在本发明所述行车记录及重现系统中，包括用于存储基准视频图像的特征的基准图像数据库，

其中，所述基准视频图像的特征包括：

转弯灯、前灯及危险灯各种状态下的基准图像的特征；

司机面部表情视频中司机睁眼和闭眼的基准图像的特征；

司机操作视频中喇叭操作的基准图像的特征；

司机操作视频中方向盘操作的基准图像的特征；

司机操作视频中打灯操作的基准图像的特征；

司机操作视频中踩油门、刹车动作的基准图像的特征；

且，所述数据处理装置包括：

识别装置，用于将所获取的车内视频数据、车外视频数据、音频数据及车辆行驶状态数据与所述数据库中的基准视频图像的特征进行比较，以识别司机的面部表情及操作动作；

生成装置，用于基于时间数据，将所述司机操作视频数据、司机面部表情视频数据与所述转弯灯、前灯及危险灯状态视频数据、所述音频数据及车辆行驶状态数据相关联，从而生成所述文字和/或音视频动画数据或模拟操作命令。

在本发明所述行车记录及重现系统中，所述基于时间数据，将所述司机操作视频数据、司机面部表情视频数据与所述转弯灯、前灯及危险灯状态视频数据、所述音频数据及车辆行驶状态数据相关联包括：

将司机操作视频中喇叭操作视频数据与喇叭鸣响音频数据相关联；

司机操作视频中方向盘操作视频数据及由于转弯所感测的加速度传感器的重力分量变化计算出的转弯、地磁传感器感测的方向变化相关联；

司机操作视频中踩油门、刹车动作特征与加速度、速度相关联；及

司机操作视频中打灯操作与转弯灯、前灯及危险灯状态相关联。

在本发明所述行车记录及重现系统中，包括

存储装置，存储所述时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令，以及基准图像数据库；和/或

通讯装置，发送所述时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令；且

所述还原装置包括手机和/或交通处理平台，所述通讯装置通过WIFI、蓝牙与手机通信，和/或通过车辆本身具有的通讯装置与交通处理平台通讯。

在本发明所述行车记录及重现系统中，所述获取装置还包括GPS定位模块，用于获取车辆GPS定位数据。

实施本发明，具有以下有益效果：由于本发明将时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据结合或关联起来，并据此以文字、模拟动画和/或游戏画面还原所需时段内车辆运行状态及其内外环境状况，可为分析人员提供车辆运行状态及其内外环境状况的直观的文字和/或画面，从而减轻分析人员的负担，在车辆事故处理中可避免过多的人为因素干扰，减少处理时间，提高效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明行车记录及重现系统的结构示意图；

图2是根据本发明一实施例的行车记录及重现系统的逻辑结构示意图；

图3是本发明行车记录及重现方法的流程图；

图4是根据本发明一实施例的行车记录及重现方法中步骤B及之前预备步骤的流程图。

具体实施方式

图1是本发明行车记录及重现系统的结构示意图。如图1所示，本发明的行车记录及重现系统包括数据处理装置20及与其通信连接的数据获取装置10和还原装置30。

在操作过程中，数据获取装置10获取时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据,基于时间数据在车内视频数据、车外视频数据、音频数据及车辆行驶状态数据中标记时间戳，并传送至数据处理装置20。数据处理装置20基于时间数据同步车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，并结合车内视频数据、车外视频数据、音频数据及车辆行驶状态数据生成文字和/或音视频动画数据或模拟操作命令，并传送至还原装置30。还原装置30根据文字和/或音视频动画数据或模拟操作命令以文字、模拟动画和/或游戏画面还原所需时段内车辆运行状态及其内外环境状况。每一个时间段，数据处理装置会将标准时间发送到各个获取装置，用于校正及同步时间。

在本发明的各个实施例中，车内视频数据包括：司机操作视频数据和司机面部表情视频数据；车外视频数据包括：转弯灯、前灯及危险灯状态视频数据；音频数据包括：喇叭鸣响音频数据；车辆行驶状态数据包括：加减速、转弯、停止、速度、运动坐标及轨迹数据。

在本发明的各个实施例中，数据获取装置包括：用于获取车内视频数据、车外视频数据的摄像头；用于获取音频数据的麦克风；用于获取车辆行驶状态数据的加速传感器、陀螺仪、地磁传感器中的一种及多种。在本发明的一实施例中，获取装置还包括GPS定位模块，用于获取车辆GPS定位数据，这样结合GIS地理信息系统，即可还原出当时车辆所处位置及其周围地理环境的画面。其中，加速传感器、陀螺仪、地磁传感器中的一种及多种构成的感测组件感测车辆的运动数据，并进行运算得到的加速度值、速度值、重力加速度分量、地磁传感器数据等，以及通过运算得到的三维空间坐标、姿态及运动轨迹。

加速度传感器采用三维加速度传感器，感测的数据经过滤波得到加速度值，加速度值通过积分得到速度，由于三维加速度传感器对重力加速度敏感，在平衡状态时，垂直于地面的Z轴感测的重力加速度值最大，其余两轴感测水平面的的重力加速度值则为零，当车身发生倾斜时，重力加速度在各轴上发生变化，产生重力加速度分量；地磁传感器则主要用于感测地磁强度的变化，由于在非极地区这些特殊的区域，地磁传感器面向北极时感测的地磁场强度最大，面向南极时最小，在由北极到南极变化时地磁场强度逐渐减小，因此可以用于方向变化的判断；由加速度结合时间和起始参考点可以运算得到传感器所感测的运动物体所形成的，相对于参考点的三维空间坐标或平面坐标、姿态以及由不同时间的坐标所构成的运动轨迹。

图2是根据本发明一实施例的行车记录及重现系统的逻辑结构示意图。如图2所示，在本发明的一实施例中，行车记录及重现系统除了包括如图1所示的数据获取装置10、数据处理装置20及还原装置30之外，还包括存储装置40和通讯装置50。

其中，存储装置40用于存储基准图像数据库、存储时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令。

在各个实施例中，基准图像数据库存储有基准视频图像的特征。该基准视频图像的特征包括：转弯灯、前灯及危险灯各种状态下的基准图像的特征；司机面部表情视频中司机睁眼和闭眼的基准图像的特征；司机操作视频中喇叭操作的基准图像的特征；司机操作视频中方向盘操作的基准图像的特征；司机操作视频中打灯操作的基准图像的特征；司机操作视频中踩油门、刹车动作的基准图像的特征等。数据处理装置20在对车内视频数据、车外视频数据进行处理时，需要用到这些基准视频图像的特征，后面将结合数据处理装置20进一步说明。

通讯装置50用于发送时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令，例如，发送至还原装装置30。

在本发明的实施例中，还原装置30包括手机和/或交通处理平台。例如，通讯装置可通过WIFI、蓝牙与手机通信，和/或通过车辆本身具有的通讯装置与交通处理平台通讯。

进一步地，如图2所示，数据处理装置20包括：识别装置21和生成装置22。其中识别装置21用于将所获取的车内视频数据、车外视频数据、音频数据及车辆行驶状态数据与数据库中的基准视频图像的特征进行比较，以识别司机的面部表情及操作动作。

生成装置22用于基于时间数据，将司机操作视频数据、司机面部表情视频数据与转弯灯、前灯及危险灯状态视频数据、音频数据及车辆行驶状态数据进行融合，从而生成文字和/或音视频动画数据或模拟操作命令。在本发明的实施例中，在车内视频数据、车外视频数据、音频数据及车辆行驶状态数据上标记时间戳，以便相同时间戳的数据同步。

在本发明的实施例中，基于时间数据及各数据中包含的时间戳，将司机操作视频数据、司机面部表情视频数据与转弯灯、前灯及危险灯状态视频数据、音频数据及车辆行驶状态数据相关联。其中包括：

将司机操作视频中喇叭操作视频数据与喇叭鸣响音频数据相关联；

司机操作视频中方向盘操作视频数据及由于转弯所感测的加速度传感器的重力分量变化计算出的转弯、地磁传感器感测的方向变化相关联；

司机操作视频中踩油门、刹车动作特征与加速度、速度相关联；及

司机操作视频中打灯操作与转弯灯、前灯及危险灯状态相关联。

还可将司机疲倦或打磕睡时的视频与车辆行驶状态异常相关联等等。

由于执行这样的关联，使得司机的操作与操作对象的状态或操作结果关联起来，从而可判断刹车、灯等是否出现故障，或司机操作是否到位，作为事故原因判断的一种参考依据。

例如，通过视频中特定的动作画面的定义，当司机将手放在方向盘上，并且下压，代表按喇叭，此时麦克风接收到喇叭音频，时间不超过1秒，此时通过两种数据产生的时间作为判断司机鸣喇叭动作的判断标准，这些标准的设定会在出厂前完成数据库的载入及校验。当实际环境中，就通过视频画面来进行分析得到司机按喇叭的动作特征，同时麦克风收到特定喇叭的声音这两种特定的数据，并且两种数据产生的时间不超过规定值，就可以判断是本车司机在按喇叭，运算单元将视频图像进行连续特定帧的点阵图与数据库中的连续特定帧点阵图对比，可以判断动作是否一致，一致则将特定动作库中对应的按喇叭特征代码储存在这个时间戳的动画代码或命令表中，同时将喇叭的音频所转化音频代码储存在这个时间戳的音频数据组中，将此时的司机面部视频储存在内部视频数组中，将外部视频储存在外部视频数组中，其它数据同理，将所有由视频判断出的动作及面部眨眼等动作转化为动画代码或动画命令，以及传感器感测的数据运算后得到的是三维坐标一起形成几个数据组，将数据组按时间顺序储存，以及输出，输出的数据如同数码电影以及游戏控制命令，在手机或中央控制端，以视频、音频、动画或游戏控制的画面等形式，再现车体的状态，也可以将音频、动画代码及游戏控制命令等数据转化为文字，在模拟动画还原的显示画面中出现，以及通过逻辑运算直接得出结果，智能判断车体的现状及本车是否违章。

图3是本发明行车记录及重现方法的流程图。如图3所示，本发明行车记录及重现方法包括如下步骤：

步骤A，获取时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据,并基于时间数据在车内视频数据、车外视频数据、音频数据及车辆行驶状态数据中标记时间戳；

步骤B，基于所述时间数据，同步并结合车内视频数据、车外视频数据、音频数据及车辆行驶状态数据生成文字和/或音视频动画数据或模拟操作命令；

步骤C，根据文字和/或音视频动画数据或模拟操作命令以文字、模拟动画和/或游戏画面形式还原所需时段内车辆运行状态及其内外环境状况。

如前所述，本发明的各个实施例中，车内视频数据包括：司机操作视频数据和司机面部表情视频数据；车外视频数据包括：转弯灯、前灯及危险灯状态视频数据；音频数据包括：喇叭鸣响音频数据；车辆行驶状态数据包括：加减速、转弯、停止、速度、运动坐标及轨迹数据。

进一步地，图4是根据本发明一实施例的行车记录及重现方法中步骤B及之前预备步骤的流程图。如图4所示，在本实施例中，步骤B之前还包括步骤B01和B02，用于建立基准图像数据库。具体地，步骤B01校正基准视频图像的特征，步骤B02将校正后的基准视频图像的特征存入数据库。

在本发明的一些实施例中，基准视频图像的特征包括：

转弯灯、前灯及危险灯各种状态（例如开灯、没开灯、开近光灯灯、开远光灯等）下的基准图像的特征；

司机面部表情视频中司机睁眼和闭眼的基准图像的特征；

司机操作视频中喇叭操作的基准图像的特征；

司机操作视频中方向盘操作的基准图像的特征；

司机操作视频中打灯操作的基准图像的特征；

司机操作视频中踩油门、刹车动作的基准图像的特征。

需要说明的是，步骤B01和B02需要在步骤A之前执行，例如可在司机每次开车之前进行；也可校正一次后，预存在存储器中，长期使用，并定期更新。

此外，如图4所示步骤B具体包括：

步骤B1：将步骤A中获取的车内视频数据、车外视频数据、音频数据及车辆行驶状态数据与数据库中的基准视频图像的特征进行比较，以识别司机的面部表情及操作动作，包括操作动作所导致的车、内外视频、音频及车辆行驶状态的变化，即操作效果。

步骤B2：基于时间数据，将司机操作视频数据、司机面部表情视频数据与转弯灯、前灯及危险灯状态视频数据、音频数据及车辆行驶状态数据相关联，从而生成文字和/或音视频动画数据或模拟操作命令。

在本发明的实施例中，步骤B2中基于时间数据，将司机操作视频数据、司机面部表情视频数据与转弯灯、前灯及危险灯状态视频数据、音频数据及车辆行驶状态数据相关联包括：

将司机操作视频中喇叭操作视频数据与喇叭鸣响音频数据相关联；

司机操作视频中方向盘操作视频数据及由于转弯所感测的加速度传感器的重力分量变化计算出的转弯、地磁传感器感测的方向变化相关联；

司机操作视频中踩油门、刹车动作特征与加速度、速度相关联；及

司机操作视频中打灯操作与转弯灯、前灯及危险灯状态相关联，等等。

在本发明的实施例中，步骤B1中对识别司机的面部表情包括根据司机面部表情视频识别司机的疲倦度，其中，根据双眼闭合的频率、时间来判断，与正常数据相比闭合的频率越小、闭合时间越长则疲劳度越大。

在本发明的实施例中，还可将车辆自身的ID码存入数据库，该ID码可包括车辆型号、车牌号码和/或车主手机号和/或车辆本身具有的通讯装置的SIM卡号或类似的通讯号。

进一步地，作为选择，步骤B还可包括：

步骤B3：存储时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令。

步骤B4：发送时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令，其中，包括通过WIFI、蓝牙发送到手机，和/或通过车辆本身具有的带通讯装置发送到交通处理平台。

步骤B3和B3在图中以虚线框所示，表示可选步骤。或者说，可以选择其一：存储或发送；或两者均选：存储和发送。

在一些实施例中，可在手机上或交通平台上通过管理软件或游戏软件以文字、模拟动画和/或游戏画面方式还原视频、声音、车辆行驶状态等，产生一种或多种效果。

在一实施例中，行车记录及重现方法的步骤A中，还可包括获取车辆由静止状态到启动发动机的整个过程中发动机的振动波形数据；且在步骤B4中，还包括上传时间数据、车内视频数据、车外视频数据、音频数据、车辆行驶状态数据及发动机的振动波形数据至云端，以便云端运算判断发动机的健康。

此外，步骤A中还可获取车辆GPS定位数据，且步骤C中还结合GIS数据和车辆GPS定位数据再现车辆所处地理环境。

在一实施例中，行车记录及重现方法的步骤B1中，还可将司机操作视频数据与预先存储在数据库中的标准操作特征数据相比较，当差异超过预定值时，发出提示信息，以助于司机正确操作。

本发明公开的行车记录及重现系统及方法中，可通过摄像头、麦克风、运动感测传感器来同时记录行车的信息，并利用图像识别检测自身转弯灯操作，利用音频识别判断喇叭鸣响操作，再将运动传感器感测的数据转化为多种参数，并将多种参数转化为车体模拟运动状态的文字和/或动画命令，最后将影像、声音、文字、动画命令合成为多个数据组，按时间轴排列，保存和/或发送到外部平台，利用处理平台内部软件，将多种数据转化为具有实时真实影像及声音，配合动画演示方式，帮助平台管理员判断事故原因，进一步还可以根据所得到的数据及内部运算法则，智能判断出事故原因。

例如，可通过外部摄像实时记录外部影音和利用车上的行车记录器记录车的振动、运动轨迹、加速减速、车速、转弯等多种参数的融合得到简洁的数据，通过自动或手动的方式，发送到外部信息处理平台，然后通过平台软件利用动画的方式再现车祸事故的过程，自动或人工得出责任方，方便快速处理交通事故，提高社会效率。

在一具体实施例中，行车记录及重现方法如下：

首先，获取数据：利用影像、声音、传感器感测数据及时间构成四维同步记录数据。具体地，利用一个摄像头正面记录影像并利用影像识别能够检测到转弯灯是否亮起；利用至少一个麦克风记录车外声音记录交通事故前后语音反应，利用语音识别判断喇叭鸣响状态；利用加速度传感器、陀螺仪和地磁传感器至少一个记录车体的运动感测数据；三种记录数据基于时间戳同步。

或则摄像头及麦克风组合也同时存在于车内，收集声音及司机面部疲倦情况，并且可以通过面部识别来判断司机疲倦情况，及时提醒并记录。

其次，进行数据处理：将传感器数据运算后得到三维空间坐标及姿态角，并将三维空间坐标及姿态角转化为文字或动画。空间坐标及姿态能够反映的状态有加速、加速度值、速度值、前进、后退、转弯、停止、运动轨迹，将所有数据转化为文字或动画命令。将图像、声音、文字或动画命令按时间轴同步为完整数据。

然后，存储和/或发送数据：例如，图像和传感器数据通过WIFI发送到手机，再由手机发送到外部处理平台，平台系统软件根据传感器数据利用动画形式重现车祸现场视频。还可以与GPS导航配合的方式，结合地图实现动画再现车祸的全过程，便于快速、智能的判断车祸事故真相

发生碰撞时，对数据的处理过程包括：

当感测到碰撞时，以振动信号为参考点，保留碰撞振动前一定时间（如：20分钟）的记录和后面的记录；根据摄像头的记录提取碰撞车型编码；根据摄像确定碰撞车辆的碰撞位置及速度、运动轨迹；将感测数据运算得到的自身车体的速度、方向、加减速数据以及有摄像图运算得到的碰撞车的车型编码、车速、方向、加速度以及自身的车型编码等通过WIFI一同发送到手机、外部存储器等；手机再通过短信方式、3G和/或4G、Wifi等多种数据通讯方式发送到交通管理平台和/或保险理赔平台；平台根据收到的数据在系统中找到对应的车型编码得到本车与碰撞车的模拟图，并且根据本车及对方车的数据以动画的形式还原成车祸发生过程；通过判断责任，并通知保险公司，以及回复信息到事故当事人，当事人将车移到旁边，等到交警及保险公司人员到场查看车受损情况，交警通过移动通讯的平板电脑调用事故动画给当事人回放，再确定赔付。

本发明中的行车记录器包括：中央运算单元、运动传感器单元、无线收发单元、多个接口，以及电源和外壳、按键和显示单元。摄像头、麦克风组合信号通过接口到行车记录器，内部麦克风通过接口到行车记录器；还可带有USB接口；也可以通过无线蓝牙、短距无线2.4G非标通讯模块与外部通讯，还可以通过无线WIFI直接读取。

本发明行车记录系统包括：行车记录器、摄像头、麦克风等；摄像头及麦克风感测视频及声音，并将音视频信号传送到行车记录器，行车记录器保存音视频并标记时间戳；行车记录器对视频进行图像识别，提炼出转弯灯亮灭情况；行车记录器利用声音识别提炼出喇叭鸣响情况；行车记录器内部感测组件感测车体运动，运算后得到多种数据，并进一步得到文字及动画命令；行车记录器将影像、声音中提炼出的转弯灯状态、机喇叭鸣响状态，并转化为带有时间戳的文字或动画命令；行车记录器将多种数据，以及进一步得到的视频、声音、文字及动画命令数据按时间轴排列组合成一组完整的数据并保存和/或无线发送到外部具有存储、分析数据能力的云端应用平台，方便交通管理部门的事故处理、保险理赔方的事故处理。云端主机可计算出汽车的状态,该状态可被其它网络或云端应用读取,透过社交软件或其他状态应用显示软件进行文字或动画显示和应用，和/或结合之前数据记录进行大数据分析出汽车潜在问题，再无线发送回行车记录器,或经社交软件或经其他状态应用显示软件进行文字或动画显示，提醒注意。例如行车记录器平时将正常工作时的车体数据，包括原始数据发送到云端保存，当车体发生车胎气压不够而行驶轻微异常时，或发动机异常,此时传感器感测到的车体振动、倾斜等原始数据也会被发送到云端，此时的数据与原来正常时的数据对比分析后判断出异常结果被回传到行车记录器进行报警性提醒,或经社交软件或经其他状态应用显示软件进行文字或动画提醒。

在一实施例中，行车记录器安装在车体中部，摄像头安装在车内面向正前方车内面向司机面部和方向盘方向至少一部，麦克风安装在方向盘附近；面向正前方外部的摄像头拍摄车体前方画面，车内摄像头拍摄司机的面部表情及操作动作，麦克风记录车体外的声音；车体内的麦克风记录内部语音及操作声音。作为选择，摄像头和麦克风可以构成一个整体。

本发明的一实施例中，将加速计、陀螺仪、磁传感器加入目前市场上最流行的视频录像行车记录器。加速计、陀螺仪加上同步讯息控制用4个不同的轨道但时间完全同步:影像、声音、加速计、陀螺仪在时间的同步条件下可以度量出加速度(油门、刹车、车体倾斜、车体因撞击或路面所产生的晃动)。陀螺仪、磁传感器(度量出左右转或车体旋转的力量),这些数据都被加上了时间戳可以在计算机内查看，并进行精确分析。

内置宽带无线装置可以同时将4个轨道的数据不断的存入备份的存储装置如车用计算机、手机或平板计算机等，避免了外置的行车记录器被抢夺或被破坏后失去了证据。

将加速计+陀螺仪+磁力计所组成的3维空间轨迹合成装置可以与车内的GPS搭配不断的同步修正误差补偿GPS定位速度太慢及精度不足的问题。

以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。

Claims (15)

1.一种行车记录及重现方法，其特征在于，包括：

A、获取时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据,并基于所述时间数据在所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据中标记时间戳；

B、基于所述时间数据，同步并结合所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据生成文字和/或音视频动画数据或模拟操作命令；

其中，

所述车内视频数据包括：司机操作视频数据和司机面部表情视频数据；

所述车外视频数据包括：转弯灯、前灯及危险灯状态视频数据；

所述音频数据包括：喇叭鸣响音频数据；

所述车辆行驶状态数据包括：加减速、转弯、停止、速度、运动坐标及轨迹数据；

C、根据所述文字和/或音视频动画数据或模拟操作命令以文字、模拟动画和/或游戏画面形式还原所需时段内车辆运行状态及其内外环境状况。

2.根据权利要求1所述的行车记录及重现方法，其特征在于，

所述步骤B之前还建立基准图像数据库，包括

步骤B01：校正基准视频图像的特征，及

步骤B02：将校正后的基准视频图像的特征存入数据库；

其中，所述基准视频图像的特征包括：

转弯灯、前灯及危险灯各种状态下的基准图像的特征；

司机面部表情视频中司机睁眼和闭眼的基准图像的特征；

司机操作视频中喇叭操作的基准图像的特征；

司机操作视频中方向盘操作的基准图像的特征；

司机操作视频中打灯操作的基准图像的特征；

司机操作视频中踩油门、刹车动作的基准图像的特征；

且，

所述步骤B包括：

步骤B1：将步骤A中获取的车内视频数据、车外视频数据、音频数据及车辆行驶状态数据与所述数据库中的基准视频图像的特征进行比较，以识别司机的面部表情及操作动作；

步骤B2：基于时间数据，将所述司机操作视频数据、司机面部表情视频数据与所述转弯灯、前灯及危险灯状态视频数据、所述音频数据及车辆行驶状态数据相关联，从而生成所述文字和/或音视频动画数据或模拟操作命令。

3.根据权利要求2所述的行车记录及重现方法，其特征在于，

所述步骤B2中，所述基于时间数据，将所述司机操作视频数据、司机面部表情视频数据与所述转弯灯、前灯及危险灯状态视频数据、所述音频数据及车辆行驶状态数据相关联包括：

将司机操作视频中喇叭操作视频数据与喇叭鸣响音频数据相关联；

司机操作视频中方向盘操作视频数据及由于转弯所感测的加速度传感器的重力分量变化计算出的转弯、地磁传感器感测的方向变化相关联；

司机操作视频中踩油门、刹车动作特征与加速度、速度相关联；及

司机操作视频中打灯操作与转弯灯、前灯及危险灯状态相关联。

4.根据权利要求3所述的行车记录及重现方法，其特征在于，

所述步骤B1中包括根据司机面部表情视频识别司机的疲倦度，其中，根据双眼闭合的频率、时间来判断，与正常数据相比闭合的频率越小、闭合时间越长疲劳度越大。

5.根据权利要求3所述的行车记录及重现方法，其特征在于，还包括将将车辆自身的ID码存入数据库，所述ID码包括车辆型号、车牌号码和/或车主手机号和/或车辆本身具有的通讯装置的SIM卡号。

6.根据权利要求3所述的行车记录及重现方法，其特征在于，

所述步骤B还包括：

B3、存储所述时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令；和/或

B4、发送所述时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令，其中，包括通过WIFI、蓝牙发送到手机，和/或通过车辆本身具有的带通讯装置发送到交通处理平台；

所述步骤C包括：在手机上或交通平台上通过管理软件或游戏软件以文字、模拟动画和/或游戏画面方式还原视频、声音、车辆行驶状态。

7.根据权利要求6所述的行车记录及重现方法，其特征在于，

所述步骤A包括获取车辆由静止状态到启动发动机的整个过程中发动机的振动波形数据；

所述步骤B4还包括上传所述时间数据、车内视频数据、车外视频数据、音频数据、车辆行驶状态数据及所述发动机的振动波形数据至云端，以便云端运算判断发动机的健康。

8.根据权利要求6所述的行车记录及重现方法，其特征在于，

所述步骤A包括获取车辆GPS定位数据，

所述步骤C包括结合GIS数据和所述车辆GPS定位数据还原车辆所处地理环境。

9.根据权利要求6所述的行车记录及重现方法，其特征在于，

所述步骤B1还包括将所述司机操作视频数据与预先存储在数据库中的标准操作特征数据相比较，当差异超过预定值时，发出提示信息，以助于司机正确操作；

所述步骤B4还包括将所述时间数据、车内视频数据、车外视频数据、音频数据、车辆行驶状态数据经社交软件或直接发送至具有存储和分析数据的云端应用平台，云端应用平台结合之前数据记录分析出潜在的问题再发送回行车记录器以提醒注意或经社交软件下载应用。

10.一种行车记录及重现系统，其特征在于，包括：

数据获取装置，用于获取时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据,并基于所述时间数据在所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据中标记时间戳；

数据处理装置，用于基于所述时间数据，同步并结合所述车内视频数据、车外视频数据、音频数据及车辆行驶状态数据生成文字和/或音视频动画数据或模拟操作命令；

其中，

所述车内视频数据包括：司机操作视频数据和司机面部表情视频数据；

所述车外视频数据包括：转弯灯、前灯及危险灯状态视频数据；

所述音频数据包括：喇叭鸣响音频数据；

所述车辆行驶状态数据包括：加减速、转弯、停止、速度、运动坐标及轨迹数据；

还原装置，用于根据所述文字和/或音视频动画数据或模拟操作命令以文字、模拟动画和/或游戏画面形式还原所需时段内车辆运行状态及其内外环境状况。

11.根据权利要求10所述行车记录及重现系统，其特征在于，

所述数据获取装置包括：

用于获取所述车内视频数据、车外视频数据的摄像头；

用于获取音频数据的麦克风；

用于获取所述车辆行驶状态数据的加速传感器、陀螺仪、地磁传感器中的一种及多种。

12.根据权利要求11所述行车记录及重现系统，其特征在于，包括用于存储基准视频图像的特征的基准图像数据库，

其中，所述基准视频图像的特征包括：

转弯灯、前灯及危险灯各种状态下的基准图像的特征；

司机面部表情视频中司机睁眼和闭眼的基准图像的特征；

司机操作视频中喇叭操作的基准图像的特征；

司机操作视频中方向盘操作的基准图像的特征；

司机操作视频中打灯操作的基准图像的特征；

司机操作视频中踩油门、刹车动作的基准图像的特征；

且，所述数据处理装置包括：

识别装置，用于将所获取的车内视频数据、车外视频数据、音频数据及车辆行驶状态数据与所述数据库中的基准视频图像的特征进行比较，以识别司机的面部表情及操作动作；

生成装置，用于基于时间数据，将所述司机操作视频数据、司机面部表情视频数据与所述转弯灯、前灯及危险灯状态视频数据、所述音频数据及车辆行驶状态数据相关联，从而生成所述文字和/或音视频动画数据或模拟操作命令。

13.根据权利要求12所述行车记录及重现系统，其特征在于，所述基于时间数据，将所述司机操作视频数据、司机面部表情视频数据与所述转弯灯、前灯及危险灯状态视频数据、所述音频数据及车辆行驶状态数据相关联包括：

将司机操作视频中喇叭操作视频数据与喇叭鸣响音频数据相关联；

司机操作视频中方向盘操作视频数据及由于转弯所感测的加速度传感器的重力分量变化计算出的转弯、地磁传感器感测的方向变化相关联；

司机操作视频中踩油门、刹车动作特征与加速度、速度相关联；及

司机操作视频中打灯操作与转弯灯、前灯及危险灯状态相关联。

14.根据权利要求12所述行车记录及重现系统，其特征在于，包括

存储装置，存储所述时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令，以及基准图像数据库；和/或

通讯装置，发送所述时间数据、车内视频数据、车外视频数据、音频数据及车辆行驶状态数据，和/或文字和/或音视频动画数据或模拟操作命令；且

所述还原装置包括手机和/或交通处理平台，所述通讯装置通过WIFI、蓝牙与手机通信，和/或通过车辆本身具有的通讯装置与交通处理平台通讯。

15.根据权利要求12所述行车记录及重现系统，其特征在于，所述获取装置还包括GPS定位模块，用于获取车辆GPS定位数据。

Images