CN111959396B - 一种车载安全辅助系统 - Google Patents

Abstract

本发明提供了一种车载安全辅助系统，包括车载终端设备和用户手持设备，所述车载终端设备包括处理器单元，以及分别与所述处理器单元相连接的身份认证单元、车辆状态信息采集单元、图像采集单元、显示单元、语音提示单元、驻车安防单元、红外传感单元、数据存储单元、无线传输单元、扩展接口单元以及供电单元。通过本申请使驾驶人员可以随时掌控车辆所处的环境，有效避开车辆周围的障碍物，特别是在人群特别拥挤的情况下，可以实现无盲区观察，达到安全行驶的目的。

Description

一种车载安全辅助系统

【技术领域】

本申请涉及安全辅助技术领域，尤其涉及一种车载安全辅助系统。

【背景技术】

车联网技术是物联网技术在汽车及交通行业的一种细分应用，也是综合 利用通信技术、控制技术、系统工程技术、高精度定位技术以及信息安全技 术，实现车与车、车与人、车与路以及车与城市基础设施之间智能互联的一 种物联网应用技术。

通信技术的快速发展和进步推动了车联网技术的进步，车联网主要有两 个技术发展方向：1)车载通信及网络，包含了车载自组网、专用短程通信、 LTE-V和即将商用的5G通信技术，以及车载移动互联网；2)车辆智能化技术， 就是依靠车载通信技术集成外部环境、驾驶技术和车载智能系统于一体的新 型联网智能技术，可以带来更加安全、便捷、高效的出行体验。

汽车主动安全技术是汽车产业的核心，全世界每年交通事故导致的伤亡 人数在125万人左右，平均每天高达3500人左右。车联网技术的发展首先在 于提升车辆的安全性及主动安全功能，降低交通事故率。所以车载安全辅助 系统与整车控制技术、信息安全技术以及人工智能技术的融合，将是车联网 发展的主要方向。

【发明内容】

本申请提供了一种车载安全辅助系统，通过该辅助系统可以监控车辆行 驶时道路周边环境，为驾驶员提供实时路况，保证车辆的正常安全行驶。系 统采用在车身安装的摄像头采集车辆四周图像，传输至微处理器经过相应的 算法处理后实现鸟瞰全景图像以及单路图像的实时显示，使驾驶人员可以随 时掌控车辆所处的环境，有效避开车辆周围的障碍物，特别是在人群特别拥 挤的情况下，可以实现无盲区观察，达到安全行驶的目的。

本申请所采用的技术方案如下：

一种车载安全辅助系统，车载安全辅助系统包括车载终端设备和用户手 持设备，所述车载终端设备包括处理器单元，以及分别与所述处理器单元相 连接的身份认证单元、车辆状态信息采集单元、图像采集单元、显示单元、 语音提示单元、驻车安防单元、红外传感单元、数据存储单元、无线传输单 元、扩展接口单元以及供电单元；

所述驻车安防单元在车辆停止并驻车后启动对车辆的监控，所述驻车安 防单元中包括声音模块、感应模块和微动模块，用于对车内是否存在人为活 动进行检测，当上述三个模块中的任何一个输出高电平后，将进行异常事件 处理；

所述图像采集单元包括5个微型广角摄像头和视频解码RN6318A芯片， 所述微型广角摄像头分别位于车身的左前、右前、左后、右后以及车顶，所 述5个微型广角摄像头采集车辆周边的实时路况图像数据，采集的图像数据 经所述视频解码RN6318A芯片解码转化获得图像采集数字信号后，由所述图 像采集单元发送给所述处理器单元；

所述处理器单元采用Cortex-A9内核的多媒体处理芯片Hi3520D微处理 器，所述处理器单元对接收到的所述图像采集数字信号进行矫正、变换、以 及图像融合处理后获得实时路况全景图像数据，并将所述实时路况全景图像 数据发送给所述显示单元；

所述显示单元包括液晶显示解码SAA7121芯片和液晶触摸屏，所述液晶 显示解码SAA7121芯片对接收到的所述实时路况全景图像数据进行D/A转换 后，发送至所述液晶触摸屏进行显示；

所述供电单元采用了TPS70358电源管理芯片和EMI滤波模块，所述供电 单元包括内置电源模块和外接电源模块，所述供电单元将12V输入电压经过 EMI滤波模块后，经过DC/DC电源转换模块产生5V电压，并通过所述电源管 理芯片将5V电压转化为所需供电电压；

所述红外传感单元采用SGR3638A芯片，用于对用户的按键信息进行感应 接收，并将接收到的所述按键信息发送给所述处理器单元；

所述扩展接口单元，接收来自所述处理器单元的实时路况全景图像数据， 并将所述实时路况全景图像数据保存至外接存储设备。

进一步的，所述图像采集单元电路主要由5个180°超广角CCD鱼眼镜头 及视频解码器RN6318A组成，主要功能是将摄像头采集的5路图像模拟信号 通过标准AV接口传输到超低功耗视频解码芯片RN6318A中；

RN6318A解码芯片对模拟信号进行AD采样、滤波、压缩编码，将模拟信 号数据转化为数字信号数据传输到处理器单元进行后续处理。RN6318A解码芯 片能够同时处理8路视频数据，本申请中使用前5路VIN0至VIN4视频信号 输入端，视频模拟信号在RN6318A解码芯片经过预处理后输出至VINA0至 VINA4管脚生成数字视频信号后，经由数字信号输出端传输至处理器单元 Hi3520D。

进一步的，所述数据存储单元采用一个容量为64Mbyte的SPI Flash作 为配置芯片用来存储系统固定的程序和重要数据，例如用户的身份信息，它 通过SPI接口与Hi3520D处理器相连接，支持在线带电擦写功能，而且掉电 之后数据不会丢失。

进一步的，供电单元用于对系统各功能模块提供电能输出，并通过设置 过流保护电路来避免元器件因电流过大被烧坏的情况发生；

供电单元包括内置电源模块和外接电源模块，内置电源模块采用是内置 锂电池电源，用于停车监控，外接电源模块利用汽车本身的电瓶电源；

供电单元的输入电压是12V，经过EMI滤波模块，然后经过DC/DC电源转 换模块产生5V电压，给系统相应模块予以供电，选用TPS70358电源管理芯 片将5V电源转化为各自需要的供电电压。

通过本申请实施例，可以获得如下技术效果：

1)本申请所采用的图像融合处理过程，通过采用简单的变换操作，能够 在满足精确度在接受范围内的情况下，最大可能性地提高图像融合的运行效 率，以达到车载系统的实时性要求。以便在车辆行驶过程中为驾驶员提供一 定程度上的视觉定位，在保证安全的情况下，辅助驾驶员安全驾驶；

2)通过该辅助系统可以监控车辆行驶时道路周边环境，为驾驶员提供实 时路况，保证车辆的正常安全行驶。系统采用在车身安装的摄像头采集车辆 四周图像，传输至微处理器经过相应的算法处理后实现鸟瞰全景图像以及单 路图像的实时显示，使驾驶人员可以随时掌控车辆所处的环境，有效避开车 辆周围的障碍物，特别是在人群特别拥挤的情况下，可以实现无盲区观察， 达到安全行驶的目的。

【附图说明】

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有 技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的 附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造 性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为车载终端设备中各功能电路的结构示意图；

图2为车载终端设备与路侧单元RSU之间通信的示意图。

【具体实施方式】

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申 请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的全部其他实施例，都属于本申请保护的范围。

图1为车载安全辅助系统的组成结构示意图。本申请的车载安全辅助系 统包括车载终端设备和用户手持设备，所述车载终端设备包括处理器单元， 以及分别与所述处理器单元相连接的身份认证单元、车辆状态信息采集单元、 图像采集单元、显示单元、语音提示单元、驻车安防单元、红外传感单元、 数据存储单元、无线传输单元、扩展接口单元以及供电单元；

所述驻车安防单元在车辆停止并驻车后启动对车辆的监控，所述驻车安 防单元中包括声音模块、感应模块和微动模块，用于对车内是否存在人为活 动进行检测，当上述三个模块中的任何一个输出高电平后，将进行异常事件 处理；

所述图像采集单元包括5个微型广角摄像头和视频解码RN6318A芯片， 所述微型广角摄像头分别位于车身的左前、右前、左后、右后以及车顶，所 述5个微型广角摄像头采集车辆周边的实时路况图像数据，采集的图像数据 经所述视频解码RN6318A芯片解码转化获得图像采集数字信号后，由所述图 像采集单元发送给所述处理器单元；

所述处理器单元采用Cortex-A9内核的多媒体处理芯片Hi3520D微处理 器，所述处理器单元对接收到的所述图像采集数字信号进行矫正、变换、以 及图像融合处理后获得实时路况全景图像数据，并将所述实时路况全景图像 数据发送给所述显示单元；

所述显示单元包括液晶显示解码SAA7121芯片和液晶触摸屏，所述液晶 显示解码SAA7121芯片对接收到的所述实时路况全景图像数据进行D/A转换 后，发送至所述液晶触摸屏进行显示；

所述供电单元采用了TPS70358电源管理芯片和EMI滤波模块，所述供电 单元包括内置电源模块和外接电源模块，所述供电单元将12V输入电压经过 EMI滤波模块后，经过DC/DC电源转换模块产生5V电压，并通过所述电源管 理芯片将5V电压转化为所需供电电压；

所述红外传感单元采用SGR3638A芯片，用于对用户的按键信息进行感应 接收，并将接收到的所述按键信息发送给所述处理器单元；

所述扩展接口单元，接收来自所述处理器单元的实时路况全景图像数据， 并将所述实时路况全景图像数据保存至外接存储设备。

图2为车载安全辅助系统中各功能电路的结构示意图。

如图中所示，所述图像采集单元电路主要由5个180°超广角CCD鱼眼镜 头及视频解码器RN6318A组成，主要功能是将摄像头采集的5路图像模拟信 号通过标准AV接口传输到超低功耗视频解码芯片RN6318A中。RN6318A解码 芯片对模拟信号进行AD采样、滤波、压缩编码，将模拟信号数据转化为数字 信号数据传输到处理器单元进行后续处理。RN6318A解码芯片能够同时处理8 路视频数据，本申请中使用前5路VIN0至VIN4视频信号输入端，视频模拟 信号在RN6318A解码芯片经过预处理后输出至VINA0至VINA4管脚生成数字 视频信号后，经由数字信号输出端传输至处理器单元Hi3520D。

如图中所示，本申请的数据存储单元采用一个容量为64Mbyte的SPI Flash作为配置芯片用来存储系统固定的程序和重要数据，例如用户的身份信 息，它通过SPI接口与Hi3520D处理器相连接，支持在线带电擦写功能，而 且掉电之后数据不会丢失。整个系统中的Bootloader引导程序、Linux内核、 根文件系统和应用程序等，采用三星公司的K9WBG08UlM Flash芯片，实现系 统存储容量的扩展。将两片Flash存储芯片串行扩展为存储容量翻倍的存储 器，两片Flash的片选信号分别连接到处理器单元，其它控制信号基本公用， 在进行数据存储时，只需选择片选信号即可选中所要使用的存储芯片，一片 存储结束后，直接切换片选信号即可存储到另一片存储芯片。

供电单元用于对系统各功能模块提供电能输出，并通过设置过流保护电 路来避免元器件因电流过大被烧坏的情况发生。供电单元包括内置电源模块 和外接电源模块。内置电源模块采用是内置锂电池电源，用于停车监控；外 接电源模块利用汽车本身的电瓶电源，汽车上一般配有+12V的直流电瓶电源， 但由于汽车上各种电气设备很多，因此会有电压不稳及干扰等问题。所以考 虑到电源的适应性、过压冲击和短路保护等因素，供电单元中采用具体电路 来消除电路干扰问题。本系统的供电需求是：处理器单元、时钟单元(未示出)、数据存储单元等需要1.2V、3.3V电压。视频采集单元、显示单元等需 要5V电压；同时各种芯片的最大输入电流不尽相同，所以要求供电单元必须 要有较宽的输入范围和较大输出电流。供电单元的输入电压是12V，首先经过 EMI滤波模块，然后经过DC/DC电源转换模块产生5V电压，给系统相应模块 予以供电。如图2所示，由于一些单元电路还需3.3V及1.2V供电，故选用 TPS70358电源管理芯片将5V电源转化为各自需要的供电电压。

为了减少车载安全辅助系统的体积，在本系统中没有采用传统的按键式 键盘，改由红外方式来进行系统控制，红外传感单元主要用于对用户的按键 信息进行感应接收，如图2所示，处理器Hi3520D芯片提供一个专用的红外 IR接口，红外传感单元采用SGR3638A芯片进行对红外信号的接收，通过IR_IN 引脚输入到Hi3520D处理器单元进行信号处理。

上述驻车安防单元在车辆停止并驻车后启动对车辆的监控，例如车辆熄 火、将档位推入P档以及车门上锁，驻车安防单元中包括声音模块、感应模 块和微动模块，用于对车内是否存在人为活动进行检测，当上述三个模块中 的任何一个输出高电平后，进行异常事件处理。用户也可以根据需要，通过 设置来关闭驻车安防单元，使其在车辆停止并驻车后停止对车辆的监控。

其中，微动模块通过滚轴来检测车内环境中是否存在人为活动引起的震 动，当所述微动模块没有检测到震动时，其开关闭合导通输出为低电平，指 示灯亮；当所述微动模块检测到震动时，上述开关断开后输出高电平，指示 灯熄灭；

声音模块用于检测车内环境中的声音强度，通过调节灵敏度来检测声音 的强弱，并将检测结果以数字开关量的形式输出，当所述声音模块检测到大 于声音强度阈值的声音时，输出为高电平，当所述声音模块检测到小于等于 所述声音强度阈值的声音时，输出为低电平；

感应模块用于检测车内环境中是否存在人体，所述感应模块通过检测人 体发出的红外线，并将检测结果以数字开关量的形式输出，当感应模块检测 到感应范围内存在人体时，感应模块输入高电平，当感应模块检测到感应范 围内不存在人体时，感应模块输入低电平；

所述当上述三个模块中的任何一个输出高电平后，进行异常事件处理， 具体包括：进行异常次数累计，当累计次数超过预设的异常次数阈值时，所 述驻车安防单元向所述处理器单元发送告警消息，所述处理器单元从当前登 录用户的所述用户偏好设置中获取用户的手机号，并通过所述无线传输单元 向用户的手机号发送告警消息；

所述感应模块采用BISS0001芯片，它是一种高性能信号处理集成电路的 传感器，配备了由人体红外传感器和少量外部元件组成的无缘超滤器开关， 特别适用于各种敏感区域，或者是需要照明和报警的安全区域。它不仅能很 好的匹配于人体的红外传感器，而且还能与其他类型的传感器相匹配。

在上述这些单元中，视频采集单元的主要工作是采集位于车辆不同位置 的视频数据并进行预处理，视频采集单元将预处理后的数字信号输出至处理 器单元，处理器单元对接收到的图像采集数字信号进行矫正、变换、以及图 像融合处理后获得实时路况全景图像数据，并将实时路况全景图像数据发送 至显示单元的同时，也通过所述扩展接口单元存储至外接存储设备中。用户 可以通过用户手持设备向车载终端设备发送控制指令，停止所述显示单元显 示实时路况全景图像，而改为选择某个历史时刻的视频文件，并显示到所述显示单元上，以便于视频回放和事故取证。所述处理器单元从所述红外传感 单元获取当前用户使用的按键键值，用户，例如驾驶员或者随行乘客等，通 过红外按键可以主动控制车载终端设备，例如切换车载全景显示、或者选择 某一个角度显示、以及选择查看历史视频文件。

在该显示界面中包括单路视频放大显示区、单路视频缩小显示区、全景 视频显示区、车辆状态信息显示区、提醒信息显示区。用户通过红外按键主 动控制车载终端设备，选择5路视频信号中的一路在单路视频放大显示区进 行放大显示，其他的4路视频信号将在单路视频缩小显示区进行分别显示， 车辆状态信息显示区用于显示所述车辆状态信息采集单元采集到的各种车辆 状态数据，例如，当前车速、胎压情况、当前油耗、剩余续航里程、以及超 声传感器所探测到的距离信息等等，用户也可以根据自己的偏好来配置显示 信息的种类，用户可以将用户配好设置保存在所述数据存储单元中，与用户 账号相关联。通过在车载终端设备中登录不同的用户账号，可以读取不同的 用户配好设置，并根据所述用户配好设置的内容进行调整。

车辆在行驶过程中，左后或者右后的单路视频图像，可以帮助驾驶员了 解车后方的实时路况，在提醒信息显示区中显示获取到的各种题型信息，例 如超声传感器所探测到的距离信息、或者当前路段的行驶状况信息，可以帮 助驾驶员有效的控制前后车的安全距离、避开危险和拥堵路段，预防不安全 事故的发生。根据用户的设置，提醒信息显示区中的信息可以通过所述语音 提示单元，以语音提示的方式来播放。

车载通信网络是随着物联网、无线传感器等技术的发展而出现的,其中 相互通信的主要有路侧单元(Road-Side Infrastructure Unit，RSU)、行驶 车辆的车载终端设备、以及设置在远程的云数据处理中心,在路边设施和的车 载终端设备上都设置有无线通信模块和处理器模块，无线通信模块用于数据 的传输，处理器模块或单元用于数据分析和处理，车辆与路侧单元RSU之间 的通信简称V2I，路侧单元RSU通过无线通信模块接收行驶车辆发送的数据， 路侧单元RSU将采集到的信息上传云数据处理中心后,经中心决策后将行驶路 线策略返回给路上行驶的车辆,并在车载终端设备的提醒信息显示区中进行 有效显示，并对用户进行有效的提醒，由此能够有效的缓解交通事故、拥堵 等问题。为了能够保证车辆与路侧单元RSU之间数据通信的安全，防止由于 获得伪造消息，而使路侧单元RSU采集到错误的路况信息，影响云数据中心 的决策，同时也能保证路侧单元RSU向路上行驶的车辆广播的路况信息的准 确性，本系统中通过对信息传输中消息进行认证来提高信息传输的安全性。

为确保车联网的正常运行，通常须引入第三方可信认证机构CA，例如， 城市交通管理机构，该认证机构CA通过存储对应区域内，例如机构CA所在 城市内，所有用户的身份信息，并对其所属区域的路侧单元RSU进行管理；能 很好地实现对车辆与RSU交互真实性和完整性的保证。通常CA所须完成的是 对区域内RSU的管理和车辆节点加入时对其进行分发/撤销证书的管理；CA通 常保存有区域内所有经过认证车辆的具体信息，负责维护整个网络拓扑范围 内的通信安全。车辆在上路之前需要首先到第三方可信认证机构CA进行登记 注册和信息核验，在车辆到CA处进行注册时，CA会将对应的公用参数和车辆 自身的数字证书(包括标识ID、公私钥对、身份信息和属性信息)加载到RSU 的存储模块中。RSU在接收到路面行驶车辆所发送来的认证或服务信息时，根 据RSU内部存储模块所存储的公私钥对计算并对车辆的身份信息进行合法性 认证，在通过合法性认证后，RSU向对应的车辆提供相应的服务。每个RSU都 归属于区域内的认证机构CA进行管理。

车载终端设备中的无线通信单元与RSU进行通信,每一个无线通信单元都 代表一个车辆用户。车辆在行驶时，利用数据存储单元中存储的数字证书通 过无线通信单元来实现与RSU的数据交换，无线通信单元所支持的车联网通 信协议包括802.11p的专用短距离通信技术(dedicated short range communications，DSRC)和长期演进(long termevolution-vehicle，LTE-V) 来实现。

所述认证机构CA的初始化步骤：

步骤111、认证机构CA选定大素数p，Fp为阶为p的一个有限域，所述 认证机构CA在有限域上确定曲线c，所述曲线c的方程为y²＝x²+ax+b(modp)， 其中参数a、b、x、y∈Fp，且a与b满足4a³+27b²≠0；

步骤112、所述认证机构CA选择两个Hash函数H₁{0,1}->Z^*和H₂{0,1}->Z^*； 所述认证机构CA随机选取系统私钥r∈[1,p-1]，并计算系统公钥P_pub＝r*G， 其中G为所述曲线c的基点；所述认证机构CA确定公用参数 {E,n,P_pub,G,H₁,H₂}，其中E为有限域Fp中所有有理点所构成的加法群，n为 所述加法群的阶数；

步骤113、所述认证机构CA将所述公用参数发送至管理区域的路边单元RSU。

所述路边单元RSU的初始化步骤：

步骤121、所述认证机构CA为所述管理区域的每个所述路边单元RSU分 配对应的公私钥对:S_r＝r*H₁(ID_r)和P_r＝r*G*H1(ID_r)，其中ID_r表示所述路边单 元RSU对应的标识ID；

步骤122、并以广播的形式对外公布其参数。

在完成了所述认证机构CA和所述路边单元RSU的初始化之后，车辆在与 RSU进行通信之前，必须进行认证后才能完成相应的通信过程，而公钥数字证 书是由所述认证机构CA颁发的，所以也需要对车辆进行初始化，

车辆的初始化步骤，具体包括：

步骤131、车辆向所述认证机构CA发送注册请求，并从所述认证机构CA 下载所述公用参数并保存至车辆的所述车载终端设备的数据存储单元中，在 对应有限域Fp上随机选取素数s∈[1,p-1]，并将选取的素数s作为车辆私 钥，在有限域上Fp选择对应的一个基点G'，计算车辆公钥P_v-pub＝s*G'，计算 车辆临时身份标识ID_Eng，ID_Eng＝E_s[H₁(Eng_v)]，将发动机编号Eng_v、车辆公钥P_v-pub、车辆临时身份标识ID_Eng和时间戳TS₁通过第一消息发送给所述认证机构 CA；

步骤132、所述认证机构CA验证T_sec-TS₁<ΔT，其中T_sec1为第一消息的接 收时间，ΔT为对应车联网中最大的传输时延；若验证通过，所述认证机构 CA利用H₁对车辆的发动机编号Eng_v进行计算，若比较H1(Eng_v)与ID_Eng相等， 则根据对车辆的发动机编号进行计算车辆真实身份标识RID_v＝H₂(P_v-pub‖Eng_v)；

所述认证机构CA进行签名运算Sign_v以生成车辆签名数字证书Cert_v和会 话密钥K_session，然后使用所述认证机构CA的系统私钥r对所述车辆签名数字 证书Cert_v、所述会话密钥K_session、所述车辆真实身份标识RID_v进行加密，并 连同时间戳TS₂通过第二消息发送给车辆；

步骤133、车辆接收到所述认证机构CA发送的第二消息，并对第二消息 中包含的时间戳TS₂进行验证，T_sec2-TS₂<ΔT，其中T_sec2为第二消息的接收时间， ΔT为对应车联网中最大的传输时延；通过验证后，车辆用使用CA的系统公 钥P_pub对第二消息进行解密，获得并在所述数据存储单元中保存所述车辆签名 数字证书Cert_v、所述会话密钥K_session、车辆真实身份标识RID_v。

设路侧单元RSU广播的范围为1000m，车辆中无线通信单元的通信范围为 200m,车辆在进行对应RSU所属区域时，若需获得对应区域的服务时，须与区 域内的RSU进行通信来进行消息交互，而在进行消息交互之前先需要与RSU 进行身份认证。

步骤1、车辆驶入路侧单元RSU所管辖的区域内后，将车辆认证请求信息 连同时间戳TS₂发送给所述路侧单元RSU，在所述车辆认证请求信息中携带有 使用所述系统私钥r加密后的所述认证机构CA所颁发的所述车辆真实身份标 识RID_v、所述车辆公钥P_v-pub、所述车辆签名数字证书Cert_v；

步骤2、所述路侧单元RSU接收所述车辆认证请求信息和时间戳TS₂，并 对时间戳TS₂进行验证，判断是否满足T_sec2-TS₂<ΔT，其中T_sec2为所述车辆认 证请求信息和时间戳TS₂的接收时间，ΔT为对应车联网中最大的传输时延， 若满足，则通过验证，否则丢弃所述车辆认证请求信息；

验证通过后，所述路侧单元RSU向所述认证机构CA发送RSU认证请求信 息，所述RSU认证请求信息中携带有所述车辆认证请求信息、所述时间戳TS₂和所述路侧单元RSU的公钥P_r；

步骤3、所述认证机构CA接收到所述RSU认证请求信息后，对所述时间 戳TS₂进行验证，判断所述RSU认证请求信息的接收时间与所述时间戳TS₂之 间的差值是否小于ΔT，其中ΔT为对应车联网中最大的传输时延；若满足， 则通过验证，否则丢弃所述RSU认证请求信息；

验证通过后，所述认证机构CA对所述车辆真实身份标识RID_v、所述车辆 签名数字证书Cert_v的有效性进行验证，验证通过后，所述认证机构CA生成 会话密钥K_session，并生成所述RSU认证请求信息的响应数据包，该响应数据包 中包括E_Pr[P_v-pub||P_r||K_session||Cert_v||RID_v||TS₃||E_Pv-pub(P_r||K_session||Cert_v)]， 其中，E为有限域Fp中所有有理点所构成的加法群，||表示信息连接符，TS₃为时间戳，将所述RSU认证请求信息的响应数据包发送给所述路侧单元RSU；

步骤4、所述路侧单元RSU在接收到所述RSU认证请求信息的响应数据包 后，使用私钥P_r解密数据包，对所述时间戳TS₃进行验证，判断所述RSU认证 请求信息的响应数据包的接收时间与所述时间戳TS₃之间的差值是否小于ΔT， 其中ΔT为对应车联网中最大的传输时延；若满足，则通过验证，否则丢弃所 述RSU认证请求信息的响应数据包；

验证通过后，完成了所述路侧单元RSU对于车辆的认证，将P_v-pub、K_session、Cert_v和RID_v进行保存，并向车辆发送所述车辆认证请求信息的响应数据包， 该响应数据包中包括E_Pv-pub(P_r||TS₄||K_session||Cert_v)；

步骤5、车辆接收到所述车辆认证请求信息的响应数据包后，对时间戳 TS₄进行验证，若验证不通过，则丢弃所述车辆认证请求信息的响应数据包， 若验证通过，则使用车辆私钥对该响应数据包进行解密，获取到所述路侧单 元RSU的公钥P_r和对应的会话密钥K_session，完成对所述路侧单元RSU的认证。

通过上述车辆与路侧单元RSU、认证机构CA之间的交互，能实现以较高 的效率和速率完成身份认证过程，并能很好地提高数据交互的安全性。在完 成验证之后，车辆与路侧单元RSU的后续数据交互将不需要再次进行验证， 车辆通过无线通信单元将车辆的数据信息传输给路侧单元RSU，当路上行驶的 车辆与RSU之间的距离小于200m时,车辆与路侧单元RSU之间通信,完成信息 采集，采集到的信息经路侧单元RSU传输到云数据中心后,由云数据中心进行 路况分析，并将分析结果返回给RSU,再经RSU广播将路况信息发送到路上行驶的车辆。

车辆的无线通信单元与所述路侧单元RSU之间传输的信息包括报头字段(Header:H)、有效负载字段(Payload:m)、签名数字证书(Cert_v)。

·报头字段(Header:H)包含消息源、时间戳、车辆真实身份标识RID_v、 以及行驶方向信息，其中消息源用于标识数据的来源，时间戳用于标识所传 输消息的采集时间，接收方通过该时间戳来判断传输消息的时效性，车辆真 实身份标识RID_v，用于标识数据的目的地信息，接收方通过所述车辆真实身 份标识RID_v来判断是否为所需的信息，行驶方向信息，用于标识消息源的行 驶方向，车辆可以根据行驶方向信息挑选出与其对向行驶的车辆采集到的信 息。

·目的的信息，使无线通信单元能够从无数的无线广播数据中快速准确地 找到自己想要接收的消息。

·有效负载字段(Payload:m)中携带的是要传输消息的内容。

·签名数字证书(Cert_v)中携带的是车辆签名数字证书Cert_v，可以根据 需要来预设每个设备的签名数字证书的有效时间，例如，所述认证机构CA可 以将签名数字证书的有效时间与车辆的年检时间挂钩，使其发挥与现有的纸 质年检标签相同的作用。

无线通信单元与路侧单元RSU之间进行数据交互信息的传递，具体包括：

步骤1、所述无线通信单元接收来自所述路侧单元RSU广播的所述数据交 互信息，使用会话密钥K_session解密后，获得报头字段、有效负载字段和签名数 字证书，从所述报头字段中解析出时间戳、车辆真实身份标识RID_v、以及行 驶方向信息；

步骤2、对时间戳进行验证，若验证不通过，则执行步骤4，若验证通过， 则判断所述车辆真实身份标识RID_v与所述数据存储单元中保存的是否一致， 以及判断所述行驶方向信息与当前车辆的行驶方向是否相反，若上述两个判 断的结果都为是，则继续执行步骤3；否则执行步骤4；

步骤3、将所述有效负载字段通过所述扩展接口单元保存至所述外接存储 设备；

步骤4、丢弃所述数据交互信息。

所述对接收到的图像采集数字信号进行矫正、变换、以及图像融合处理 后获得实时路况全景图像数据，具体包括：

由于采用了180°超广角CCD鱼眼镜头，在获得了大视角的同时，也造成 图像采集数字信号的畸变非常严重，尤其是在图像的边缘处。在进行图像融 合处理之前，需要对所述图像采集数字信号进行畸变校正，

步骤1、对所述图像采集数字信号进行鱼眼图像畸变校正以获得畸变校正 后的图像采集数字信号，所采用的畸变校正参数方程为：

Y＝e₅·θ⁵+e₄·θ⁴+e₃·θ³+e₂·θ²+e₁·θ+e₀

其中，Y为所述180°超广角CCD鱼眼镜头的畸变曲线值，θ为镜头视场 角，e₅、e₄、e₃、e₂、e₁、e₀为根据最小二乘法拟合出的多项式系数；

安装在车辆左前、右前、左后、右后的摄像头由于受到安装位置的限制， 摄像头的光轴与地面存在一定角度，采集到的图像存在一定程度的透视效果， 而希望获得车载全景图像所呈现出的全景鸟瞰图从视觉效果上要求是90° 的俯视效果，因此需要对左前、右前、左后、右后采集到的四个图像分别进 行逆投影变换，消除透视效果。

步骤2、对所述畸变校正后的图像采集数字信号进行逆投影变换，以获得 逆投影变换后的图像采集数字信号，所述逆投影变换中坐标的转换公式为：

其中，XY为实际场景坐标系中的坐标值，x、y为逆投影变换后图像坐 标系中的坐标值，h为摄像头的安装高度，H、W为图像的高度和宽度，α₀、β₀为摄像头的视场角，λ₀为摄像头的俯仰角。

步骤3、对所述逆投影变换后的图像采集数字信号的重合区域做色彩空间 变换将所述逆投影变换后的图像采集数字信号从RGB色彩空间转换成HSI色 彩空间，所述色彩空间变换所采用的计算公式如下：

其中R、G、B分别表示像素的红色、绿色和蓝色分量，θ通过如下公式 计算：

步骤4、对转换得到的HSI空间图像中的亮度分量I进行基于对比度金字 塔的轮廓波变换，对于色度H和饱和度S，分别进行算数平均计算；

图像的对比度通过如下公式计算：

其中，g表示图像中像素点的亮度，g_l表示该像素点背景的亮度，则所述 对比度金字塔通过如下公式计算：

其中，Ed()表示图像插值函数，对比度金字塔是对源图像完整可逆的分 解过程，采用对应的逆过程就可以复原图像I(x,y)，所述对应的逆过程通过 如下公式计算：

通过上述轮廓波变换可以有效减少图像在色度和饱和度上的差异，增加 图像融合的连续性。

步骤5、对于步骤4中获得的低频分量系数，进行计算算术平均值，对于 步骤4中获得的高频分量系数，通过绝对值比较法进行计算，以获得融合后 的高频信息，所述绝对值比较法具体包括：

其中，F₁(x,y)和F₂(x,y)分别为经过对比度金字塔轮廓波变换后得到的高 频数据。

对于上述高频分量，采用绝对值比较的方式来代替融合图像的高频分量， 这样可以极大地保留细节丰富图像的细节信息，避免了融合过程导致图像细 节的模糊化。

步骤6、将步骤5中获得的低频分量系数和高频分量系数进行基于对比度 金字塔的轮廓波变换的逆变换，以得到融合后的HSI空间的亮度分量I的数 据；

步骤7、将融合后的图像转换回RGB色彩空间并融合到图像中，以得到经 过图像融合后的全景图像数据。

在上述图像融合处理过程中，通过采用简单的变换操作，能够在满足精 确度在接受范围内的情况下，最大可能性地提高图像融合的运行效率，以达 到车载系统的实时性要求。以便在车辆行驶过程中为驾驶员提供一定程度上 的视觉定位，在保证安全的情况下，辅助驾驶员安全驾驶。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其 限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技 术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (3)

1.一种车载安全辅助系统，其特征在于，车载安全辅助系统包括车载终端设备和用户手持设备，所述车载终端设备包括处理器单元，以及分别与所述处理器单元相连接的身份认证单元、车辆状态信息采集单元、图像采集单元、显示单元、语音提示单元、驻车安防单元、红外传感单元、数据存储单元、无线传输单元、扩展接口单元以及供电单元；

所述驻车安防单元在车辆停止并驻车后启动对车辆的监控，所述驻车安防单元中包括声音模块、感应模块和微动模块，用于对车内是否存在人为活动进行检测，当上述三个模块中的任何一个输出高电平后，将进行异常事件处理；

所述图像采集单元包括5个微型广角摄像头和视频解码RN6318A芯片，所述微型广角摄像头分别位于车身的左前、右前、左后、右后以及车顶，所述5个微型广角摄像头采集车辆周边的实时路况图像数据，采集的图像数据经所述视频解码RN6318A芯片解码转化获得图像采集数字信号后，由所述图像采集单元发送给所述处理器单元；

所述处理器单元采用Cortex-A9内核的多媒体处理芯片Hi3520D微处理器，所述处理器单元对接收到的所述图像采集数字信号进行矫正、变换、以及图像融合处理后获得实时路况全景图像数据，并将所述实时路况全景图像数据发送给所述显示单元；

所述显示单元包括液晶显示解码SAA7121芯片和液晶触摸屏，所述液晶显示解码SAA7121芯片对接收到的所述实时路况全景图像数据进行D/A转换后，发送至所述液晶触摸屏进行显示；

所述供电单元采用了TPS70358电源管理芯片和EMI滤波模块，所述供电单元包括内置电源模块和外接电源模块，所述供电单元将12V输入电压经过EMI滤波模块后，经过DC/DC电源转换模块产生5V电压，并通过所述电源管理芯片将5V电压转化为所需供电电压；

所述红外传感单元采用SGR3638A芯片，用于对用户的按键信息进行感应接收，并将接收到的所述按键信息发送给所述处理器单元；

所述扩展接口单元，接收来自所述处理器单元的实时路况全景图像数据，并将所述实时路况全景图像数据保存至外接存储设备；

所述图像采集单元电路主要由5个180°超广角CCD鱼眼镜头及视频解码器RN6318A组成，主要功能是将摄像头采集的5路图像模拟信号通过标准AV接口传输到超低功耗视频解码芯片RN6318A中；

RN6318A解码芯片对模拟信号进行AD采样、滤波、压缩编码，将模拟信号数据转化为数字信号数据传输到处理器单元进行后续处理；RN6318A解码芯片能够同时处理8路视频数据，本申请中使用前5路VINO至VIN4视频信号输入端，视频模拟信号在RN6318A解码芯片经过预处理后输出至VINAO至VINA4管脚生成数字视频信号后，经由数字信号输出端传输至处理器单元Hi3520D；

图像采集单元用于采集位于车辆不同位置的视频数据并进行预处理，图像采集单元将预处理后的数字信号输出至处理器单元，处理器单元对接收到的图像采集数字信号进行矫正、变换、以及图像融合处理后获得实时路况全景图像数据，并将实时路况全景图像数据发送至显示单元的同时，也通过所述扩展接口单元存储至外接存储设备中；用户可以通过用户手持设备向车载终端设备发送控制指令，停止所述显示单元显示实时路况全景图像，而改为选择某个历史时刻的视频文件，并显示到所述显示单元上，以便于视频回放和事故取证；所述处理器单元从所述红外传感单元获取当前用户使用的按键键值，用户通过红外按键主动控制车载终端设备来切换车载全景显示、或者选择某一个角度显示、以及选择查看历史视频文件；

在该显示界面中包括单路视频放大显示区、单路视频缩小显示区、全景视频显示区、车辆状态信息显示区、提醒信息显示区；用户通过红外按键主动控制车载终端设备，选择5路视频信号中的一路在单路视频放大显示区进行放大显示，其他的4路视频信号将在单路视频缩小显示区进行分别显示，车辆状态信息显示区用于显示所述车辆状态信息采集单元采集到的各种车辆状态数据，用户根据自己的偏好来配置显示信息的种类，用户将用户配好设置保存在所述数据存储单元中，与用户账号相关联，通过在车载终端设备中登录不同的用户账号，来读取不同的用户配好设置，并根据所述用户配好设置的内容进行调整；

无线通信单元与路侧单元RSU之间进行数据交互信息的传递，具体包括：

步骤1、所述无线通信单元接收来自所述路侧单元RSU广播的所述数据交互信息，使用会话密钥K_session解密后，获得报头字段、有效负载字段和签名数字证书，从所述报头字段中解析出时间戳、车辆真实身份标识RID_v、以及行驶方向信息；

步骤2、对时间戳进行验证，若验证不通过，则执行步骤4，若验证通过，则判断所述车辆真实身份标识RID_v与所述数据存储单元中保存的是否一致，以及判断所述行驶方向信息与当前车辆的行驶方向是否相反，若上述两个判断的结果都为是，则继续执行步骤3；否则执行步骤4；

步骤3、将所述有效负载字段通过所述扩展接口单元保存至所述外接存储设备；

步骤4、丢弃所述数据交互信息；

所述对接收到的图像采集数字信号进行矫正、变换、以及图像融合处理后获得实时路况全景图像数据，具体包括：

步骤1、对所述图像采集数字信号进行鱼眼图像畸变校正以获得畸变校正后的图像采集数字信号，所采用的畸变校正参数方程为：

Y＝e₅·θ⁵+e₄·θ⁴+e₃·θ³+e₂·θ²+e₁·θ+e₀

其中，Y为所述180°超广角CCD鱼眼镜头的畸变曲线值，θ为镜头视场角，e₅、e₄、e₃、e₂、e₁、e₀为根据最小二乘法拟合出的多项式系数；

安装在车辆左前、右前、左后、右后的摄像头由于受到安装位置的限制，摄像头的光轴与地面存在一定角度，采集到的图像存在一定程度的透视效果，而希望获得车载全景图像所呈现出的全景鸟瞰图从视觉效果上要求是90°的俯视效果，因此需要对左前、右前、左后、右后采集到的四个图像分别进行逆投影变换，消除透视效果；

步骤2、对所述畸变校正后的图像采集数字信号进行逆投影变换，以获得逆投影变换后的图像采集数字信号，所述逆投影变换中坐标的转换公式为：

其中，XY为实际场景坐标系中的坐标值，x、y为逆投影变换后图像坐标系中的坐标值，h为摄像头的安装高度，H、W为图像的高度和宽度，α₀、β₀为摄像头的视场角，λ₀为摄像头的俯仰角；

步骤3、对所述逆投影变换后的图像采集数字信号的重合区域做色彩空间变换将所述逆投影变换后的图像采集数字信号从RGB色彩空间转换成HSI色彩空间，所述色彩空间变换所采用的计算公式如下：

其中R、G、B分别表示像素的红色、绿色和蓝色分量，θ通过如下公式计算：

步骤4、对转换得到的HSI空间图像中的亮度分量I进行基于对比度金字塔的轮廓波变换，对于色度H和饱和度S，分别进行算数平均计算；

图像的对比度通过如下公式计算：

其中，g表示图像中像素点的亮度，g_l表示该像素点背景的亮度，则所述对比度金字塔通过如下公式计算：

其中，Ed()表示图像插值函数，对比度金字塔是对源图像完整可逆的分解过程，采用对应的逆过程就可以复原图像I(x,y)，所述对应的逆过程通过如下公式计算：

通过上述轮廓波变换可以有效减少图像在色度和饱和度上的差异，增加图像融合的连续性；

步骤5、对于步骤4中获得的低频分量系数，进行计算算术平均值，对于步骤4中获得的高频分量系数，通过绝对值比较法进行计算，以获得融合后的高频信息，所述绝对值比较法具体包括：

其中，F₁(x,y)和F₂(x,y)分别为经过对比度金字塔轮廓波变换后得到的高频数据；对于上述高频分量，采用绝对值比较的方式来代替融合图像的高频分量，这样可以极大地保留细节丰富图像的细节信息，避免了融合过程导致图像细节的模糊化；

步骤6、将步骤5中获得的低频分量系数和高频分量系数进行基于对比度金字塔的轮廓波变换的逆变换，以得到融合后的HSI空间的亮度分量I的数据；

步骤7、将融合后的图像转换回RGB色彩空间并融合到图像中，以得到经过图像融合后的全景图像数据。

2.根据权利要求1所述的车载安全辅助系统，其特征在于，所述数据存储单元采用一个容量为64Mbyte的SPIFlash作为配置芯片用来存储系统固定的程序和重要数据，例如用户的身份信息，它通过SPI接口与Hi3520D处理器相连接，支持在线带电擦写功能，而且掉电之后数据不会丢失。

3.根据权利要求1所述的车载安全辅助系统，其特征在于，供电单元用于对系统各功能模块提供电能输出，并通过设置过流保护电路来避免元器件因电流过大被烧坏的情况发生；

供电单元包括内置电源模块和外接电源模块，内置电源模块采用是内置锂电池电源，用于停车监控，外接电源模块利用汽车本身的电瓶电源；

供电单元的输入电压是12V，经过EMI滤波模块，然后经过DC/DC电源转换模块产生5V电压，给系统相应模块予以供电，选用TPS70358电源管理芯片将5V电源转化为各自需要的供电电压。

Images