CN106251701B - 基于旋转变焦多摄像头的车辆后视监测报警系统及方法 - Google Patents

Abstract

本发明公开了一种基于旋转变焦多摄像头的车辆后视监测报警系统，包括旋转变焦装置、图像采集模块、图像处理分析模块、车辆信息提取模块、警示提醒模块、示警模块以及辅助模块。本发明还公开了使用上述报警系统的报警方法。使用本发明，能够对车辆后方不同远近的区域进行监控，能够在各种条件下使警示信息及时传达给驾驶员，并且实现分类警示，对于危险情况以显著的方式进行提醒，能够有效降低交通事故的发生率，保护人员的人身安全和车上财物的安全。

Description

基于旋转变焦多摄像头的车辆后视监测报警系统及方法

技术领域

本发明属于汽车主动安全驾驶技术领域，尤其涉及车辆后视监测报警技术。

背景技术

道路的交通安全意味着人或物遭受损失的可能性是可以接受的；若这种可能性超过了可接受的水平，即为不安全。道路交通系统作为动态的开放系统，其安全既受系统内部因素的制约，又受系统外部环境的干扰，并与人、车辆及道路环境等因素密切相关。系统内任何因素的不可靠、不平衡、不稳定，都可能导致冲突与矛盾，产生不安全因素或不安全状态。

随着汽车的发展和普及，道路安全交通事故也相应增多，给人们的生命财产带来损失。汽车安全驾驶成为了世界性的问题。驾驶员长时间在一个车道上行驶，特别是高速公路上长时间驾驶，容易由于麻痹或者是盲区等原因没有及时观察到后方车道的车辆通行情况。特别是在后方有大客车、大中型载重汽车的时候，由于安全距离不足，极容易造成车祸，出现严重的人员伤亡事故。

通过国内专利文献检索发现有一些相关专利文献报道，主要有：

1、公开号为 CN104175954A，名称为“一种车辆盲区监测报警系统”的发明申请，属于机电控制领域。该专利申请的技术方案，主要是盲区监测模块分别接收左前红外摄像头和右前红外摄像头的热成像信号后，判断盲区内是否有存在其他车辆。当判断盲区内存在行驶的车辆时分别发送警示灯信号给左后视镜和右后视镜；盲区监测模块连接到车速传感器获取车辆的车速信号并发出报警信号到汽车仪表的蜂鸣器。

2、公开号为CN103473954A，名称为“一种汽车安全防撞报警装置”的发明申请，该专利申请涉及一种汽车安全防撞报警装置，属于机电控制领域。该专利申请的关键装置为微型双核处理器，分别采集导航模块和摄像输入接口模块的位置信息以及图像信息，进行判断处理后通过显示模块和语音提示模块进行报警；摄像输入接口模块连接前置摄像头采集汽车前方的图像。从而判断汽车与前方障碍物的距离，实现报警。

3、专利号为 ZL200810025034.0，名称为 “一种车辆盲区检测、报警装置及其探测、报警方法”的发明专利，其技术方案是采用红外探头作为车辆盲区探测装置，探测区域覆盖 A 柱盲区和车辆侧后部盲区，在探测到盲区车辆时给予驾驶员足够的警示信息以保障行车安全。

4、公开号为 CN101303735A，名称为“探测车辆盲点区域内运动物体的方法及盲点探测装置”的发明申请，其技术方案采用图像处理技术，但是主要采用将图像分块并检查运动物体流动性的方法。

上述专利虽然提出了车辆盲区检测和车辆防撞的技术方案，可是对车辆后视的其他区域，特别是远距离区域并没有进行监控、分析；对后方车道的车辆通行情况，特别是后方有大客车、中大型载重汽车的时候，没有给出监控提醒。进一步，现有技术中也没有提升基于图像感知的能力和精度的技术方案。

发明内容

本发明的目的在于提供一种基于旋转变焦多摄像头的车辆后视监测报警系统，对车辆后方不同远近的区域进行监控，向驾驶员及时进行分类警示，对于危险情况以显著的方式进行提醒，有效降低交通事故的发生率。

为实现上述目的，本发明的基于旋转变焦多摄像头的车辆后视监测报警系统包括旋转变焦装置、图像采集模块、图像处理分析模块、车辆信息提取模块、警示提醒模块、示警模块以及辅助模块；

辅助模块包括锂电池、与锂电池相连接的GPS定位装置和用于将辅助模块吸附在车顶上的强磁粘合装置；

图像采集模块包括用于采集后方全景车道图像的正后方全局摄像头、用于采集左后盲区车道图像的左后盲区摄像头、用于采集右后盲区车道图像的右后盲区摄像头和用于采集后方车道远景图像和近景图像的旋转变焦摄像头；

旋转变焦装置包括旋转环形架和用于读取磁性编码器信息的读取器，旋转环形架沿周向均匀间隔设有六个镜头，六个镜头的焦距分别为1倍焦距、2倍焦距、4倍焦距、8倍焦距、16倍焦距和32倍焦距；旋转环形架连接有微型步进电机并由微型步进电机驱动；每个镜头分别连接有储存有该镜头的焦距信息的磁性编码器；读取器设置在旋转变焦摄像头处，位于读取器处的镜头处于工作位置并作为旋转变焦摄像头的镜头；

所述微型步进电机与所述辅助模块相连接；

所述旋转变焦摄像头的位置与旋转环形架相对应，所述读取器位于所述旋转变焦摄像头处并与该处的镜头上的磁性编码器间隔设置；

图像处理分析模块与所述图像采集模块相连接，图像处理分析模块包括嵌入式处理器，嵌入式处理器内置有背景分离模块和卷积神经网络的嵌入式处理器；

背景分离模块用于在图像采集模块采集的图像中提取背景之外的物体轮廓形状；卷积神经网络用于根据物体轮廓形状判断该物体是否为车辆；

车辆信息提取模块与所述图像处理分析模块相连接，车辆信息提取模块包括第一径向基神经网络分类器，第一径向基神经网络分类器对于图像采集模块中的各摄像头所采集的图像当中被图像处理分析模块判断为车辆的各物体，根据图像当中的轮廓形状及车辆在各帧图像当中的位置，对车辆进行分类、计算各车辆的速度及各车辆的位置信息和与本车之间的安全间距信息；安全间距是指在当前车速状态下，后车与本车应当保持的最小安全距离；

警示提醒模块与所述车辆信息提取模块相连接并接收车辆信息提取模块的输出信息，警示提醒模块包括第二径向基神经网络分类器，第二径向基神经网络分类器根据车辆信息提取模块输出的车辆类型、速度、位置和安全间距等信息，计算出报警的等级和报警内容；

示警模块与所述警示提醒模块相连接并接收警示提醒模块的输出信息，示警模块包括激光投影装置和声音报警器；激光投影装置与车辆的前挡风玻璃相对应。

所述图像采集模块设有开关。

本发明的目的还在于提供一种使用上述报警系统的报警方法。

本发明的基于旋转变焦多摄像头的车辆后视监测报警系统的报警方法依次按以下步骤进行：

第一步骤是获取后方车道图像信息，首先辅助模块通过其内置的GPS定位装置获取车速信息，当车速高于预设启动值Vmax时，辅助模块打开图像采集模块的开关；

然后正后方全局摄像头、左后盲区摄像头、右后盲区摄像头和旋转变焦摄像头开始持续采集车辆后视路面图像；正后方全局摄像头采集后方全景车道图像，左后盲区摄像头采集左后盲区车道图像，右后盲区摄像头采集右后盲区车道图像，旋转变焦摄像头在不同焦距条件下采集后方车道图像；

在采集后视路面图像的过程中，辅助模块调节微型步进电机，使相应焦距的镜头与旋转变焦摄像头相对应；调节原则包括如下两条：一是车速越高，与旋转变焦摄像头相对应的镜头的焦距倍数越高；二是以测距为目的拍摄时使用1－4倍焦距的镜头，以对车辆分类为目的拍摄时使用8－32倍焦距的镜头；

图像采集模块将采集到的车辆后视路面图像传送给图像处理分析模块；

第二步骤是车辆检测步骤，图像处理分析模块中的背景分离模块在图像采集模块采集的图像中提取背景之外的物体轮廓形状，图像处理分析模块中的卷积神经网络判断所述物体轮廓形状是否为车辆，并将判断为车辆的轮廓信息传送给车辆信息提取模块；

第三步骤是车辆跟踪步骤，本步骤首先是车辆信息提取模块中的第一径向基神经网络分类器接收图像处理分析模块传送的信息，根据轮廓形状对车辆进行分类、并计算各车辆的速度及各车辆的位置信息和安全间距信息，车辆分类后，标识出大型车辆信息；

然后第一径向基神经网络分类器根据本车的速度以及后方各车辆的速度，将后方车辆的行驶状态分为远离状态和接近状态，并将后方车辆的类型、行驶状态以及计算出的安全间距信息传送给警示提醒模块；

第四步骤是危险预警步骤，本步骤首先是警示提醒模块接收后方车辆的类型、位置信息、车速信息、安全间距和行驶状态信息，进行预警分析，并通过示警模块进行实时声光报警。

在上述第一至第四步骤的进行过程中，辅助模块持续监测车速，当车速连续2分钟落在0±1公里/小时的区间内时，辅助模块关闭图像采集模块的开关。

所述第四步骤中，警示提醒模块根据不同的情况控制示警模块进行不同的示警动作，具体是：

若后方左右车道上的盲区内有车辆，警示提醒模块控制激光投影装置在前挡风玻璃上显示禁止变道和谨慎驾驶的提醒信息；

若在正后方车道上行驶的是大型车辆，警示提醒模块控制激光投影装置在前挡风玻璃上显示谨慎驾驶、避免急刹车和注意前方道路情况的提醒信息；

若正后方同向车辆不断接近，当正后方同向车辆与本车的距离低于车辆信息提取模块传送的安全间距时，警示提醒模块控制激光投影装置在前挡风玻璃上显示注意追尾风险的提醒信息；

本车的车速为Ｖ1，正后方同车道车辆的车速为V2，若V2-Ｖ1≥15公里/小时，并持续时间达到15秒，则警示提醒模块控制激光投影装置在前挡风玻璃上显示切换到低速行驶车道的提醒信息。

在所述第一步骤中，图像处理分析模块对正后方全局摄像头进行参数标定，即获取正后方全局摄像头的如下三个参数：相对地面的高度H、相对车轮外侧的距离 V3、相对侧边车身的偏离角θ；其他各摄像头的所述三个参数依据全局摄像头安装参数进行调整后标定。

在第二步骤即车辆检测步骤中，图像处理分析模块的嵌入式处理器将车辆当前车道后方盲区长 Lm米、宽 Wm米的区域及左右车道盲区长 Lb米、宽 Wb米 的区域标识为监测区域；背景分离模块所处理的图像为监测区域的图像；

背景分离模块在图像采集模块采集的图像中提取背景之外的物体轮廓形状时，先通过背景分离操作获得包含车辆部分的前景区域，再根据边缘特征提取车辆轮廓形状；

背景分离模块在进行背景分离操作时，对车辆后视区域图像以自适应性灰度阈值Tg 进行二值分割，分离路面与车辆信息，获取该车辆的图像子区域；

背景分离模块在提取车辆轮廓形状时，对于已经获取的图像子区域，使用Canny算子计算出车辆的边缘特征，得到一幅代表了车辆的主要轮廓信息的黑白的二值图像。

在所述第三步骤即车辆跟踪步骤中，第一径向基神经网络分类器在判断后方车辆类型时，读取图像处理分析模块传送的所述黑白的二值图像，计算后输出车辆的类型，从而实现对车辆类型的初步判断；

第一径向基神经网络分类器在判断后方车辆类型时的数据处理流程如下：

a. 第一径向基神经网络分类器的输入层为所述黑白的二值图像，图像尺寸为n1×n2像素，n1和n2均为自然数；第一径向基神经网络分类器将图像按列展开，形成n1×n2个结点，第一层的结点向前没有任何的连结线；

b. a步骤卷积后产生三个特征提取图，然后特征提取图中每组的四个像素再进行求和，加权值，加偏置，通过Sigmoid函数得到三个特征映射图；

c. 第一径向基神经网络分类器对产生的三个特征映射图再次进行卷积，卷积后产生三个二次特征提取图，然后对二次特征提取图中每组的四个像素再进行求和，加权值，加偏置，通过Sigmoid函数得到三个二次特征映射图；

d. 对上述产生的二次特征映射图进行光栅化，并连接成一个向量输入到传统的神经网络，判断出后方车辆的具体类型。

所述第三步骤即车辆跟踪步骤中，第一径向基神经网络分类器按照以下方案中的任一种来计算车距；

方案一：根据图像处理分析模块对各摄像头标定的参数，得出其图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离；

方案二：方案二是车辆区域辨识模板图方法，根据所述黑白的二值图像，将车辆的位置映射入模板图中，根据车辆在模板图中的方格位置映射出车辆与本车间的相对距离；

在利用方案一或方案二得出车辆与本车间的相对距离后，若车辆为第三步骤中标识出的大型车辆，则将计算出的车距减小5%－15%，以便提前触发报警，增加安全系数。

第三步骤中，第一径向基神经网络分类器在判断后方车辆的行驶状态时，根据最近车辆在若干帧黑白的二值图像中的位置，分析后方车辆与当前车辆的距离变化趋势，如果某一后方车辆的状态是远离或者该后方车辆与本车间的距离超过安全间距，第一径向基神经网络分类器结束对该后方车辆的跟踪；如果某一后方车辆处于接近状态，在满足以下四种条件中的任一种时，将该后方车辆设置为危险状态：

①该后方车辆位于盲区监测区域内；

②该后方车辆为大型车辆；

③该后方车辆与本车的距离小于所述安全间距；

④后方车辆与本车之间的安全间距逐渐缩短；

分析后方车辆与当前车辆的距离变化趋势的具体操作是：不断根据帧间车辆距离的变化，判定各个摄像头所拍摄车辆处于远离状态还是接近状态，如果车距在最近 N 帧内连续减少，则判定为接近；如果车距在最近 N 帧内连续增加，则判定为远离；如果车距在最近 N 帧内保持不变，则保持该车状态为最近 N 帧之前的前次判定的状态；其中，Ｎ为自然数且Ｎ≥10；

所述第四步骤即危险预警步骤中，警示提醒模块对处于危险状态的车辆，控制激光投影装置以红色字体在前挡风玻璃上显示提醒信息；警示提醒模块对于处于远离状态或危险状态之外的接近状态的车辆，控制激光投影装置以蓝色字体在前挡风玻璃上显示提醒信息；

激光投影装置在前挡风玻璃上以红色字体显示提醒信息时，以闪烁的方式进行警示；对于与本车之间的安全距离逐渐缩短的后方车辆的相关警示信息，警示提醒模块控制激光投影装置提高闪烁的频率进行警示；

第四步骤即危险预警步骤中，警示提醒模块在控制激光投影装置在前挡风玻璃上显示提醒信息的同时，控制声音报警器以语音的形式对本车驾驶员进行警示。

本发明具有如下的优点：

对于车辆后视区域，通过本发明的警示装置精确告知驾驶员后方车道车辆的类型、位置、速度、安全间距等信息，实现分类报警、警示。本发明使用红色字体显示危险状态下的车辆提醒信息，使用蓝色字体显示其他状态下的车辆提醒信息，并且对于追尾风险，使用提高闪烁频率的方式进行警示，从而实现分类预警，十分方便使用者随时把握后方的状况，辨识危险从而规避危险。本发明使用声光同时警示，在前方路况复杂、驾驶员的视线关注车辆前方状况、难以分神阅读显示在前挡风玻璃上的警示信息时，还可以收听语音警示信息，使驾驶员在各种道路状况下均可以及时得到警示信息。

本发明能够通过旋转变焦装置中不同焦距倍数的镜头提升图像感知的能力和精度，使用中低倍数（1－4倍）的镜头拍摄的图像来测距，使用中高倍数（8－32倍）的镜头拍摄的图像来对车辆精确分类，满足测距和车辆分类的要求。本发明通过四个不同的摄像头，能够精确地采集右后盲区图像、左后盲区图像、正后方全局图像以及后方车道的远景图像及近景图像，从而精确地掌握后方车辆情况，及时预警、避免发生危险。

旋转变焦装置结构简单，能够方便迅速地改变旋转变焦摄像头的焦距，从而拍摄后方车道的远景图像及近景图像。

图像处理分析模块采用成熟的背景分离技术和成熟的训练过的卷积神经网络来进行背景分离、判断前景轮廓形状对应的物体是否为车辆，判断速度较快且判断准确。

车辆信息提取模块采用成熟的训练过的径向基神经网络（SVM）分类器，根据轮廓形状计算车辆类型（分类）、速度、位置、与本车的安全间距等参数，计算结果准确且效率较高。

示警模块包括激光投影装置和声音报警器；激光投影装置与车辆的前挡风玻璃相对应，这样可以对驾驶员进行声光报警，并且能够利用前挡风玻璃进行投影，便于驾驶员阅读警示信息。

图像采集模块设有开关，可以根据需要控制本发明的报警系统开始或停止运作，车辆行驶过程中（车速高于预设启动值Vmax时）自动开启本发明的报警系统，车辆停止或者长时间缓慢行驶时，停止本发明的报警系统，使本发明能够在需要预警时自动启动，又在不需要预警时自动关闭。只有在车速连续2分钟落在0±1公里/小时的区间内时才停止本发明的运行（关闭图像采集模块的开关），这是为了防止在出现紧急情况、临时刹车停止的情况下本发明的报警系统自动关闭。

辅助模块调节微型步进电机的原则，既能够在车速较高时，通过使用焦距倍数较高的镜头来拍摄后方较远道路的图像，从而增加预警距离，又能够对于测距拍摄和车辆分类拍摄采用不同的焦距，使用合适的不同焦距来实现不同的功能，这种精细化调节能够大大增强本发明测距和车辆分类的准确程度。

大型车辆惯性很大，刹车距离很长；在大型车辆前急刹车，很容易出现大型车辆刹车不及、造成追尾事故的情况；驾驶员收到避免急刹车的提醒后，能够避免突然刹车造成的追尾事故。因此对于在正后方车道上行驶的是大型车辆的情况，警示提醒模块控制激光投影装置在前挡风玻璃上显示谨慎驾驶、避免急刹车和注意前方道路情况的提醒信息。

当后车车速持续较长时间大于本车车速，意味着两车不断接近，此时提醒本车驾驶员切换到低速行驶车道，从而使本车的行驶状况更适合道路车流状况，更加安全地行驶。

对摄像头进行参数标定之后，就可以准确地计算所拍摄图像上的车辆的位置和速度等信息，从而更准确地进行预警工作。在车辆检测步骤中事先划定监测区域，可以更有针对性地对后视盲区中的车辆进行预警。

总之，使用本发明，能够对车辆后方不同远近的区域进行监控，能够在各种条件下使警示信息及时传达给驾驶员，并且实现分类警示，对于危险情况以显著的方式进行提醒，能够有效降低交通事故的发生率，保护人员的人身安全和车上财物的安全。

附图说明

图1是本发明的原理图；

图2是使用本发明的车辆在路上行驶的状态示意图；

图3是旋转变焦装置与读取器相配合的结构示意图；

图4是图像采集模块中各摄像头的布置图；

图5是图像处理分析模块与车辆信息提取模块辨识车辆各信息的流程图；

图6是图像处理分析模块与车辆信息提取模块辨识车辆各信息时所使用的卷积神经网络的结构示意图；

图7是车辆区域辨识模板图；

图8是监测报警流程示意图。

具体实施方式

如图1至图8所示，本发明的基于旋转变焦多摄像头的车辆后视监测报警系统包括旋转变焦装置、图像采集模块、图像处理分析模块、车辆信息提取模块、警示提醒模块、示警模块以及辅助模块；本报警系统的核心是分布式的嵌入式处理系统，各模块均为该嵌入式处理系统的一部分。

辅助模块包括锂电池、与锂电池相连接的GPS定位装置和用于将辅助模块吸附在车顶上的强磁粘合装置；GPS定位装置用来提供本车1的当前车速。

图像采集模块包括用于采集后方全景车道图像的正后方全局摄像头201、用于采集左后盲区车道图像的左后盲区摄像头101、用于采集右后盲区车道图像的右后盲区摄像头102和用于采集后方车道远景图像和近景图像的旋转变焦摄像头301；

旋转变焦装置包括旋转环形架5和用于读取磁性编码器信息的读取器2，旋转环形架5沿周向均匀间隔设有六个镜头3，六个镜头3的焦距分别为1倍焦距、2倍焦距、4倍焦距、8倍焦距、16倍焦距和32倍焦距；旋转环形架5连接有微型步进电机并由微型步进电机驱动；微型步进电机为本领域现有装置，图未示。每个镜头3背离旋转环形架5中心的一侧分别连接有储存有该镜头3的焦距信息的磁性编码器4；读取器2设置在旋转变焦摄像头301处，位于读取器2处的镜头3处于工作位置并作为旋转变焦摄像头301的镜头3；通过旋转变焦装置，使旋转变焦摄像头301能够通过1－4倍焦距的镜头3对车辆进行拍摄以便测距，并能够通过8－32倍焦距的镜头3对车辆进行拍摄以便对车辆精确分类。

所述微型步进电机与所述辅助模块相连接；辅助模块根据监测到的本车车速等信息控制微型步进电机的动作，进而控制旋转变焦装置的工作状态。

所述旋转变焦摄像头301的位置与旋转环形架5相对应，所述读取器2位于所述旋转变焦摄像头301处并与该处的镜头3上的磁性编码器4间隔设置；

图像处理分析模块与所述图像采集模块相连接，图像处理分析模块包括嵌入式处理器，嵌入式处理器内置有背景分离模块和训练过的卷积神经网络的嵌入式处理器；背景分离模块为本领域常规技术，其具体组成不再详述。

背景分离模块用于在图像采集模块采集的图像中提取背景之外的物体轮廓形状；卷积神经网络用于根据物体轮廓形状判断该物体是否为车辆；

车辆信息提取模块与所述图像处理分析模块相连接，车辆信息提取模块包括第一径向基神经网络（SVM）分类器，第一径向基神经网络（SVM）分类器对于图像采集模块中的各摄像头所采集的图像当中被图像处理分析模块判断为车辆的各物体，根据图像当中的轮廓形状及车辆在各帧图像当中的位置，对车辆进行分类（计算各车辆的类型，将车辆分为大型车辆、中型车辆和小型车辆）、计算各车辆的速度及各车辆的位置信息和与本车1之间的安全间距信息；安全间距是指在当前车速状态下，后车与本车1应当保持的最小安全距离；不同车速下的安全间距不同，车速越大，最小安全距离越大；安全间距既可由第一径向基神经网络分类器计算得出，也可由设计人员将预设值预先储存在第一径向基神经网络分类器内；

警示提醒模块与所述车辆信息提取模块相连接并接收车辆信息提取模块的输出信息，警示提醒模块包括离线训练过的第二径向基神经网络（SVM）分类器，第二径向基神经网络分类器根据车辆信息提取模块输出的车辆类型、速度、位置和安全间距等信息，计算出报警的等级和报警内容；

示警模块与所述警示提醒模块相连接并接收警示提醒模块的输出信息，示警模块包括激光投影装置和声音报警器；激光投影装置与车辆的前挡风玻璃相对应。

所述图像采集模块设有开关。

本发明还公开使用上述基于旋转变焦多摄像头的车辆后视监测报警系统的报警方法，依次按以下步骤进行：

第一步骤是获取后方车道图像信息，首先辅助模块通过其内置的GPS定位装置获取车速信息，当车速高于预设启动值Vmax时（车辆在高速行驶当中才有必要使报警系统开始工作，因此通过预设启动值来确保车辆处于行驶状态；预设启动值在本实施例中采用40公里/小时），辅助模块打开图像采集模块的开关；

然后正后方全局摄像头201、左后盲区摄像头101、右后盲区摄像头102和旋转变焦摄像头301开始持续采集车辆后视路面图像；正后方全局摄像头201采集后方全景车道图像，左后盲区摄像头101采集左后盲区车道图像，右后盲区摄像头102采集右后盲区车道图像，旋转变焦摄像头301在不同焦距条件下采集后方车道图像；

在采集后视路面图像的过程中，辅助模块调节微型步进电机，使相应焦距的镜头3与旋转变焦摄像头301相对应；调节原则包括如下两条：一是车速越高，与旋转变焦摄像头301相对应的镜头3的焦距倍数越高；车速的具体数值范围与镜头3的焦距倍数的对应关系，可由设计人员根据经验在符合上述原则的条件下确定，这是本领域技术人员的常规技能，本实施例不再给出车速与焦距的具体对应关系。二是以测距为目的拍摄时使用1－4倍焦距的镜头3，以对车辆分类为目的拍摄时使用8－32倍焦距的镜头；

图像采集模块将采集到的车辆后视路面图像传送给图像处理分析模块；

第二步骤是车辆检测步骤，图像处理分析模块中的背景分离模块在图像采集模块采集的图像中提取背景之外的物体轮廓形状，图像处理分析模块中的卷积神经网络判断所述物体轮廓形状是否为车辆，并将判断为车辆的轮廓信息传送给车辆信息提取模块；

第三步骤是车辆跟踪步骤，本步骤首先是车辆信息提取模块中的训练过的第一径向基神经网络分类器接收图像处理分析模块传送的信息，根据轮廓形状对车辆进行分类（即计算判断出后方各车辆的类型）、并计算各车辆的速度及各车辆的位置信息和安全间距信息，车辆分类后，标识出大型车辆（大型车辆包括大客车、中大型载重汽车）信息；

然后第一径向基神经网络分类器根据本车1的速度以及后方各车辆的速度，将后方车辆的行驶状态分为远离状态和接近状态，并将后方车辆的类型、行驶状态以及计算出的安全间距信息传送给警示提醒模块；

第四步骤是危险预警步骤，本步骤首先是警示提醒模块接收后方车辆的类型、位置信息、车速信息、安全间距和行驶状态信息，进行预警分析，并通过示警模块进行实时声光报警。

在上述第一至第四步骤的进行过程中，辅助模块持续监测车速，当车速连续2分钟落在0±1公里/小时的区间内时，（此时表明车辆停止，而且并非临时刹车停止）辅助模块关闭图像采集模块的开关，停止报警系统的运作。

所述第四步骤中，警示提醒模块根据不同的情况控制示警模块进行不同的示警动作，具体是：

若后方左右车道上的盲区内有车辆，警示提醒模块控制激光投影装置在前挡风玻璃上显示禁止变道和谨慎驾驶的提醒信息；

若在正后方车道上行驶的是大型车辆，警示提醒模块控制激光投影装置在前挡风玻璃上显示谨慎驾驶、避免急刹车和注意前方道路情况的提醒信息；大型车辆惯性很大，刹车距离很长；在大型车辆前急刹车，很容易出现大型车辆刹车不及、造成追尾事故的情况；驾驶员收到避免急刹车的提醒后，能够避免突然刹车造成的追尾事故。

若正后方同向车辆不断接近，当正后方同向车辆与本车1的距离低于车辆信息提取模块传送的安全间距时，警示提醒模块控制激光投影装置在前挡风玻璃上显示注意追尾风险的提醒信息；

本车1的车速为Ｖ1，正后方同车道车辆的车速为V2，若V2-Ｖ1≥15公里/小时，并持续时间达到15秒（15秒是车速相差24公里每小时，后车跨越100米安全间距的时间），则警示提醒模块控制激光投影装置在前挡风玻璃上显示切换到低速行驶车道的提醒信息。

在所述第一步骤中，图像处理分析模块对正后方全局摄像头201进行参数标定，即获取正后方全局摄像头201的如下三个参数：相对地面的高度H、相对车轮外侧的距离 V3、相对侧边车身的偏离角θ；其他各摄像头的所述三个参数依据全局摄像头安装参数进行调整后标定；

对正后方全局摄像头201进行参数标定的方法如下：在全局摄像头的正前方（也即是车辆后方）5米的水平路面上放置一个直径为30厘米的红色圆形标定纸，通过采集图像及其几何计算，可获取全局摄像头相对地面的高度H；同样，将红色圆形标定纸沿垂直于道路的方向移动到车轮外侧轮廓线上，距离全局摄像头的正前方（也即是车辆后方）也是五米，再次采集图像及其几何计算，可获取全局摄像头车轮外侧的距离V3。安装时候偏离角θ为零度。

在第二步骤即车辆检测步骤中，图像处理分析模块的嵌入式处理器将车辆当前车道后方盲区长 Lm米、宽 Wm米的区域及左右车道盲区长 Lb米、宽 Wb米 的区域标识为监测区域；背景分离模块所处理的图像为监测区域的图像；Lm、Wm、Lb和Wb均为实数，是由设计人员预先确定的数值。

背景分离模块在图像采集模块采集的图像中提取背景之外的物体轮廓形状时，先通过背景分离操作获得包含车辆部分的前景区域，再根据边缘特征提取车辆轮廓形状；

背景分离模块在进行背景分离操作时，对车辆后视区域图像以自适应性灰度阈值Tg 进行二值分割，分离路面与车辆信息，获取该车辆的图像子区域；

背景分离模块在提取车辆轮廓形状时，对于已经获取的图像子区域，使用Canny算子计算出车辆的边缘特征，得到一幅代表了车辆的主要轮廓信息的黑白的二值图像。

在所述第三步骤即车辆跟踪步骤中，第一径向基神经网络分类器在判断后方车辆类型时，读取图像处理分析模块传送的所述黑白的二值图像，计算后输出车辆的类型，从而实现对车辆类型的初步判断；

第一径向基神经网络分类器在判断后方车辆类型时的数据处理流程如下：

a. 第一径向基神经网络分类器的输入层为所述黑白的二值图像，如图6中所示，图像尺寸为n1×n2像素，n1和n2均为自然数；第一径向基神经网络分类器将图像按列展开，形成n1×n2个结点，第一层的结点向前没有任何的连结线；如图像尺寸为设为29*29像素，那么我们可以将图像按列展开，形成841个结点。

b. a步骤卷积后产生三个特征提取图，然后特征提取图中每组的四个像素再进行求和，加权值，加偏置，通过Sigmoid函数得到三个特征映射图；

c. 第一径向基神经网络分类器对产生的三个特征映射图再次进行卷积，卷积后产生三个二次特征提取图，然后对二次特征提取图中每组的四个像素再进行求和，加权值，加偏置，通过Sigmoid函数得到三个二次特征映射图；

d. 对上述产生的二次特征映射图进行光栅化，并连接成一个向量输入到传统的神经网络，判断出后方车辆的具体类型。

本系统中，卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有导师训练，所以其样本集是由形如：（车辆轮廓黑白的二值图像向量，车辆类型输出向量）的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果，它们是从实际运行系统中采集来的。在开始训练前，所有的权都用一些不同的小随机数进行初始化。

所述第三步骤即车辆跟踪步骤中，第一径向基神经网络分类器按照以下方案中的任一种来计算车距；

方案一：根据图像处理分析模块对各摄像头标定的参数，得出其图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车1间的相对距离；使用不同焦距镜头拍摄的不同图像来计算车距，能够提高计算精度，得到更为准确的车距信息。

方案二：方案二是车辆区域辨识模板图方法，如图7所示。根据所述黑白的二值图像，将车辆的位置映射入模板图中，根据车辆在模板图中的方格位置映射出车辆与本车1间的相对距离；将车辆的位置映射到图7中的方格之中的方法是：通过静态实验数据，获取1.0米~2.0米不同全局摄像头安装高度下“模板位置-车辆间距”的映射关系，在设备出厂时候内置到系统中。

在利用方案一或方案二得出车辆与本车1间的相对距离后，若车辆为第三步骤中标识出的大型车辆，则将计算出的车距减小5%－15%，以便提前触发报警，增加安全系数。

第三步骤中，第一径向基神经网络分类器在判断后方车辆的行驶状态时，根据最近车辆在若干帧黑白的二值图像中的位置，分析后方车辆与当前车辆的距离变化趋势，如果某一后方车辆的状态是远离或者该后方车辆与本车1间的距离超过安全间距，第一径向基神经网络分类器结束对该后方车辆的跟踪；如果某一后方车辆处于接近状态，在满足以下四种条件中的任一种时，将该后方车辆设置为危险状态：

①该后方车辆位于盲区监测区域内；

②该后方车辆为大型车辆（即大客车或大中型载重汽车）；

③该后方车辆与本车1的距离小于所述安全间距；

④后方车辆与本车1之间的安全间距逐渐缩短。

安全间距逐渐缩短不同于车距逐渐缩短，安全间距逐渐缩短意味着后车车速高于本车1车速的速度差值逐渐升高从而导致计算出来的安全车距逐渐缩短，而后车与本车1的距离小于所述安全间距，则意味着后车与本车1的距离过于接近，有发生危险的可能。

分析后方车辆与当前车辆的距离变化趋势的具体操作是：不断根据帧间车辆距离的变化，判定各个摄像头所拍摄车辆处于远离状态还是接近状态，如果车距在最近 N 帧内连续减少，则判定为接近；如果车距在最近 N 帧内连续增加，则判定为远离；如果车距在最近 N 帧内保持不变，则保持该车状态为最近 N 帧之前的前次判定的状态；其中，Ｎ为自然数且Ｎ≥10。

所述第四步骤即危险预警步骤中，警示提醒模块对处于危险状态的车辆，控制激光投影装置以红色字体在前挡风玻璃上显示提醒信息；警示提醒模块对于处于远离状态或危险状态之外的接近状态的车辆，控制激光投影装置以蓝色字体在前挡风玻璃上显示提醒信息；

激光投影装置在前挡风玻璃上以红色字体显示提醒信息时，以闪烁的方式进行警示；对于与本车1之间的安全距离逐渐缩短的后方车辆的相关警示信息，警示提醒模块控制激光投影装置提高闪烁的频率进行警示；

第四步骤即危险预警步骤中，警示提醒模块在控制激光投影装置在前挡风玻璃上显示提醒信息的同时，控制声音报警器以语音的形式对本车1驾驶员进行警示。

Claims (10)

1.基于旋转变焦多摄像头的车辆后视监测报警系统，其特征在于：包括旋转变焦装置、图像采集模块、图像处理分析模块、车辆信息提取模块、警示提醒模块、示警模块以及辅助模块；

辅助模块包括锂电池、与锂电池相连接的GPS定位装置和用于将辅助模块吸附在车顶上的强磁粘合装置；

图像采集模块包括用于采集后方全景车道图像的正后方全局摄像头、用于采集左后盲区车道图像的左后盲区摄像头、用于采集右后盲区车道图像的右后盲区摄像头和用于采集后方车道远景图像和近景图像的旋转变焦摄像头；

旋转变焦装置包括旋转环形架和用于读取磁性编码器信息的读取器，旋转环形架沿周向均匀间隔设有六个镜头，六个镜头的焦距分别为1倍焦距、2倍焦距、4倍焦距、8倍焦距、16倍焦距和32倍焦距；旋转环形架连接有微型步进电机并由微型步进电机驱动；每个镜头分别连接有储存有该镜头的焦距信息的磁性编码器；读取器设置在旋转变焦摄像头处，位于读取器处的镜头处于工作位置并作为旋转变焦摄像头的镜头；

所述微型步进电机与所述辅助模块相连接；

所述旋转变焦摄像头的位置与旋转环形架相对应，所述读取器位于所述旋转变焦摄像头处并与该处的镜头上的磁性编码器间隔设置；

图像处理分析模块与所述图像采集模块相连接，图像处理分析模块包括嵌入式处理器，嵌入式处理器内置有背景分离模块和卷积神经网络的嵌入式处理器；

背景分离模块用于在图像采集模块采集的图像中提取背景之外的物体轮廓形状；卷积神经网络用于根据物体轮廓形状判断该物体是否为车辆；

车辆信息提取模块与所述图像处理分析模块相连接，车辆信息提取模块包括第一径向基神经网络分类器，第一径向基神经网络分类器对于图像采集模块中的各摄像头所采集的图像当中被图像处理分析模块判断为车辆的各物体，根据图像当中的轮廓形状及车辆在各帧图像当中的位置，对车辆进行分类、计算各车辆的速度及各车辆的位置信息和与本车之间的安全间距信息；安全间距是指在当前车速状态下，后车与本车应当保持的最小安全距离；

警示提醒模块与所述车辆信息提取模块相连接并接收车辆信息提取模块的输出信息，警示提醒模块包括第二径向基神经网络分类器，第二径向基神经网络分类器根据车辆信息提取模块输出的车辆类型、速度、位置和安全间距信息，计算出报警的等级和报警内容；

示警模块与所述警示提醒模块相连接并接收警示提醒模块的输出信息，示警模块包括激光投影装置和声音报警器；激光投影装置与车辆的前挡风玻璃相对应。

2.根据权利要求1所述的基于旋转变焦多摄像头的车辆后视监测报警系统，其特征在于：所述图像采集模块设有开关。

3.使用权利要求2所述的基于旋转变焦多摄像头的车辆后视监测报警系统的报警方法，其特征在于依次按以下步骤进行：

第一步骤是获取后方车道图像信息，首先辅助模块通过其内置的GPS定位装置获取车速信息，当车速高于预设启动值Vmax时，辅助模块打开图像采集模块的开关；

然后正后方全局摄像头、左后盲区摄像头、右后盲区摄像头和旋转变焦摄像头开始持续采集车辆后视路面图像；正后方全局摄像头采集后方全景车道图像，左后盲区摄像头采集左后盲区车道图像，右后盲区摄像头采集右后盲区车道图像，旋转变焦摄像头在不同焦距条件下采集后方车道图像；

在采集后视路面图像的过程中，辅助模块调节微型步进电机，使相应焦距的镜头与旋转变焦摄像头相对应；调节原则包括如下两条：一是车速越高，与旋转变焦摄像头相对应的镜头的焦距倍数越高；二是以测距为目的拍摄时使用1－4倍焦距的镜头，以对车辆分类为目的拍摄时使用8－32倍焦距的镜头；

图像采集模块将采集到的车辆后视路面图像传送给图像处理分析模块；

第二步骤是车辆检测步骤，图像处理分析模块中的背景分离模块在图像采集模块采集的图像中提取背景之外的物体轮廓形状，图像处理分析模块中的卷积神经网络判断所述物体轮廓形状是否为车辆，并将判断为车辆的轮廓信息传送给车辆信息提取模块；

第三步骤是车辆跟踪步骤，本步骤首先是车辆信息提取模块中的第一径向基神经网络分类器接收图像处理分析模块传送的信息，根据轮廓形状对车辆进行分类、并计算各车辆的速度及各车辆的位置信息和安全间距信息，车辆分类后，标识出大型车辆信息；

然后第一径向基神经网络分类器根据本车的速度以及后方各车辆的速度，将后方车辆的行驶状态分为远离状态和接近状态，并将后方车辆的类型、行驶状态以及计算出的安全间距信息传送给警示提醒模块；

第四步骤是危险预警步骤，本步骤首先是警示提醒模块接收后方车辆的类型、位置信息、车速信息、安全间距和行驶状态信息，进行预警分析，并通过示警模块进行实时声光报警。

4.根据权利要求3所述的报警方法，其特征在于：在上述第一至第四步骤的进行过程中，辅助模块持续监测车速，当车速连续2分钟落在0±1公里/小时的区间内时，辅助模块关闭图像采集模块的开关。

5.根据权利要求3或4所述的报警方法，其特征在于：所述第四步骤中，警示提醒模块根据不同的情况控制示警模块进行不同的示警动作，具体是：

若后方左右车道上的盲区内有车辆，警示提醒模块控制激光投影装置在前挡风玻璃上显示禁止变道和谨慎驾驶的提醒信息；

若在正后方车道上行驶的是大型车辆，警示提醒模块控制激光投影装置在前挡风玻璃上显示谨慎驾驶、避免急刹车和注意前方道路情况的提醒信息；

若正后方同向车辆不断接近，当正后方同向车辆与本车的距离低于车辆信息提取模块传送的安全间距时，警示提醒模块控制激光投影装置在前挡风玻璃上显示注意追尾风险的提醒信息；

本车的车速为Ｖ1，正后方同车道车辆的车速为V2，若V2-Ｖ1≥15公里/小时，并持续时间达到15秒，则警示提醒模块控制激光投影装置在前挡风玻璃上显示切换到低速行驶车道的提醒信息。

6. 根据权利要求3或4所述的报警方法，其特征在于：在所述第一步骤中，图像处理分析模块对正后方全局摄像头进行参数标定，即获取正后方全局摄像头的如下三个参数：相对地面的高度H、相对车轮外侧的距离 V3、相对侧边车身的偏离角θ；其他各摄像头的所述三个参数依据全局摄像头安装参数进行调整后标定。

7. 根据权利要求6所述的报警方法，其特征在于：在第二步骤即车辆检测步骤中，图像处理分析模块的嵌入式处理器将车辆当前车道后方盲区长 Lm米、宽 Wm米的区域及左右车道盲区长 Lb米、宽 Wb米 的区域标识为监测区域；背景分离模块所处理的图像为监测区域的图像；

背景分离模块在图像采集模块采集的图像中提取背景之外的物体轮廓形状时，先通过背景分离操作获得包含车辆部分的前景区域，再根据边缘特征提取车辆轮廓形状；

背景分离模块在进行背景分离操作时，对车辆后视区域图像以自适应性灰度阈值 Tg进行二值分割，分离路面与车辆信息，获取该车辆的图像子区域；

背景分离模块在提取车辆轮廓形状时，对于已经获取的图像子区域，使用Canny算子计算出车辆的边缘特征，得到一幅代表了车辆的主要轮廓信息的黑白的二值图像。

8.根据权利要求7所述的报警方法，其特征在于：

在所述第三步骤即车辆跟踪步骤中，第一径向基神经网络分类器在判断后方车辆类型时，读取图像处理分析模块传送的所述黑白的二值图像，计算后输出车辆的类型，从而实现对车辆类型的初步判断；

第一径向基神经网络分类器在判断后方车辆类型时的数据处理流程如下：

a. 第一径向基神经网络分类器的输入层为所述黑白的二值图像，图像尺寸为n1×n2像素，n1和n2均为自然数；第一径向基神经网络分类器将图像按列展开，形成n1×n2个结点，第一层的结点向前没有任何的连结线；

b. a步骤卷积后产生三个特征提取图，然后特征提取图中每组的四个像素再进行求和，加权值，加偏置，通过Sigmoid函数得到三个特征映射图；

c. 第一径向基神经网络分类器对产生的三个特征映射图再次进行卷积，卷积后产生三个二次特征提取图，然后对二次特征提取图中每组的四个像素再进行求和，加权值，加偏置，通过Sigmoid函数得到三个二次特征映射图；

d. 对上述产生的二次特征映射图进行光栅化，并连接成一个向量输入到传统的神经网络，判断出后方车辆的具体类型。

9.根据权利要求8所述的报警方法，其特征在于：

所述第三步骤即车辆跟踪步骤中，第一径向基神经网络分类器按照以下方案中的任一种来计算车距；

方案一：根据图像处理分析模块对各摄像头标定的参数，得出其图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离；

方案二：方案二是车辆区域辨识模板图方法，根据所述黑白的二值图像，将车辆的位置映射入模板图中，根据车辆在模板图中的方格位置映射出车辆与本车间的相对距离；

在利用方案一或方案二得出车辆与本车间的相对距离后，若车辆为第三步骤中标识出的大型车辆，则将计算出的车距减小5%－15%，以便提前触发报警，增加安全系数。

10.根据权利要求9所述的报警方法，其特征在于：

第三步骤中，第一径向基神经网络分类器在判断后方车辆的行驶状态时，根据最近车辆在若干帧黑白的二值图像中的位置，分析后方车辆与当前车辆的距离变化趋势，如果某一后方车辆的状态是远离或者该后方车辆与本车间的距离超过安全间距，第一径向基神经网络分类器结束对该后方车辆的跟踪；如果某一后方车辆处于接近状态，在满足以下四种条件中的任一种时，将该后方车辆设置为危险状态：

①该后方车辆位于盲区监测区域内；

②该后方车辆为大型车辆；

③该后方车辆与本车的距离小于所述安全间距；

④后方车辆与本车之间的安全间距逐渐缩短；

分析后方车辆与当前车辆的距离变化趋势的具体操作是：不断根据帧间车辆距离的变化，判定各个摄像头所拍摄车辆处于远离状态还是接近状态，如果车距在最近 N 帧内连续减少，则判定为接近；如果车距在最近 N 帧内连续增加，则判定为远离；如果车距在最近 N帧内保持不变，则保持该车状态为最近 N 帧之前的前次判定的状态；其中，Ｎ为自然数且Ｎ≥10；

所述第四步骤即危险预警步骤中，警示提醒模块对处于危险状态的车辆，控制激光投影装置以红色字体在前挡风玻璃上显示提醒信息；警示提醒模块对于处于远离状态或危险状态之外的接近状态的车辆，控制激光投影装置以蓝色字体在前挡风玻璃上显示提醒信息；

激光投影装置在前挡风玻璃上以红色字体显示提醒信息时，以闪烁的方式进行警示；对于与本车之间的安全距离逐渐缩短的后方车辆的相关警示信息，警示提醒模块控制激光投影装置提高闪烁的频率进行警示；

第四步骤即危险预警步骤中，警示提醒模块在控制激光投影装置在前挡风玻璃上显示提醒信息的同时，控制声音报警器以语音的形式对本车驾驶员进行警示。