CN105291984A - 一种基于多车协作的行人及车辆检测的方法及系统 - Google Patents

Abstract

本发明属于车载系统和汽车电子技术领域，涉及一种基于多车协作的行人及车辆检测的方法及系统。本发明过程中，车载传感器采集行驶车辆的状态数据指导车载摄像头进行图像的采集；将采集的图像添加时间戳、对应的行车状态数据和当前GPS数据，使用车载自组织网络广播到相邻网络结点的车辆；图像处理模块处理本地及接收到的数据，合成全景图像并进行行人检测以生成预警提示指令；预警提示模块在接受到图像处理模块的指令以后，分别以声音和显示器显示的方式提示驾驶员避让可能出现的危险。本发明首次提出了以多车协作的方式，利用在不同汽车间不同的位置优势，为用户消除行车时的视野盲区，增加驾驶的安全性。

Description

一种基于多车协作的行人及车辆检测的方法及系统

技术领域

本发明公开了一种基于多车协作的行人及车辆检测的方法及系统，涉及车载系统和汽车电子技术领域。

背景技术

随着社会经济的快速发展，汽车数量近年来急剧增加，成为继电话机普及之后又一普及的生活工具。在越来越拥挤的城市里，实际的驾驶过程中，司机往往会遇到许多视野盲区，这些盲区不仅会增大驾驶员压力，造成驾驶疲劳，而且也是导致交通事故的重要安全隐患。安全驾驶成为车联网领域的主要研究热点之一。被动式安全系统在降低事故危害程度方面有突出的贡献，但是，它无法有效避免安全事故的发生。此外，单一车辆的感知范围极度有限，因此基于单车的感知产生的被动式安全系统难以有效解决避免安全事故的发生的问题。

现阶段对基于车辆协作技术的主动避险系统的研究并不多，车辆协作主要集中在车路协同通信系统方向以及多车协同路口行驶控制的研究，主动避险系统主要研究内容为行人检测的精度和计算复杂度。在《北京航空航天大学学报》中2014年发表的《基于滑模控制的车车协同主动避撞算法》中，主要利用前车信息计算理想车距，保证行车安全性与成员舒适性，属于一种协作的自动驾驶技术，对于行车过程中存在的盲区以及潜在危险不能及时发现和排除。上海交通大学的研究团队推出一种基于多车协作的车辆检测机制，利用激光雷达进行环境探测技术检测车辆，同时借助多传感器技术将多个汽车的激光雷达传感器数据进行合成，利用车辆间共享的激光雷达数据获取丰富的地图信息，运算量巨大，实时性不高，并且不能直观显示危险情况，故而实用性比较差。

在国外，欧盟的eSafety项目和日本的SmartWay计划，都是基于车辆网技术，通过车-车协同和车-路协同通信技术实现汽车不停车缴费、道路与车辆协调以及危险预警的功能，但是该系统不是自治的系统，所有的终端都需要后台支撑，导致整体可靠性大大降低。

近年来，国内外车联网技术快速发展，该技术基于人、车、环境协同的可控、可管、可运营、可信的开放融合网络系统，其通过先进的信息通信与处理技术，对人、车、网络通信和道路交通基础设施等环境元素的大规模复杂信息进行感知、认知和计算，实现人、车、环境的协同与融合，提高交通出行效率，改善城市服务水平，降低社会运行成本。例如中国专利“一种基于车联网的多功能辅助驾驶服务系统”(专利号CN104392622A)，提出了驾驶员汽车环视全景图像的基础上，利用车联网实现信息交互共享，该技术部署成本高，实现比较困难。迄今未止，尚未见到基于车辆协作技术的主动避险系统的研究报道。

发明内容

本发明的目的是为了解决车辆驾驶中由于视觉盲区所造成的可能存在的安全隐患问题，而提出一种基于多车协作的行人及车辆检测的方法及系统，充分利用不同汽车间不同的位置优势，采集环境信息且将图像信息拼接成全景图像，为用户消除行车时的视野盲区问题。

本发明的目的是通过下述的技术方案实现的。

一种基于多车协作的行人及车辆检测的方法，其特征在于，所述方法包括：

车载传感器、GPS及摄像头采集车辆周围环境信息，无线发送模块通过车辆自组织网络将所采集的信息打包传送给周边邻近的车辆；

车辆对接受到周边车辆传送的图像信息和自身采集的图像信息进行处理，且对上述图像进行合并得到车辆周边的全景图像；

对上述全景图像进行处理，判别是否有行人或隐蔽车辆，车联网终端依据所述的判别信息进行预警提示。

一种基于多车协作的行人及车辆检测的方法，其特征在于，车载传感器、GPS及摄像头采集车辆周围环境信息，无线发送模块通过车辆自组织网络将所采集的信息打包传送给周边邻近的车辆包括：

所述环境信息包括车载摄像头获取的图像信息、车辆行驶方向、车辆所处地理位置以及摄像头获取图像的时刻；

所述将所采集的信息传送到周边邻近车辆时，在将要传输的图像上添加时间戳和车辆所处地理位置信息。将处理后的图像连同车辆行驶状态信息一同打包，通过车辆自组织网络传送到邻近车辆；

所述的邻近车辆指在车辆自组织网络中相邻的网络结点。

一种基于多车协作的行人及车辆检测的方法，其特征在于，所述车辆对接受到邻近车辆传送的信息时，需要对接收到的信息进行解压处理，根据地理位置及传送到的图像的地理位置，得到接收到图像相对于自身的地理位置。

一种基于多车协作的行人及车辆检测的方法，其特征在于，所述图像处理的处理包括：在接收到的图像中挑选最近5秒内拍摄的图像，删除过期的图像；

根据传送图像相对于自身的行驶方向和位置，对接收到的图像进行分类；

对分类后的图像根据分辨率、曝光时间及拍摄角度进行一系列预处理，包括降噪、边缘提取。

一种基于多车协作的行人及车辆检测的方法，其特征在于，所述对图像进行合并得到车辆周边的全景图像，是以接受车辆为中心进行的图像拼接。

一种基于多车协作的行人及车辆检测的方法，其特征在于，所述对上述全景图像进行处理，判别是否有行人或隐蔽车辆，车联网终端依据所述的判别信息进行预警提示包括：

判别是否有行人或隐蔽车辆指当前车辆行驶方向上相对与车行驶的行人或隐蔽车辆；

所述预警提示包括：声音预警和车载显示端的图像预警，其中：

声音预警提示是通过一定频率的间歇beep声提醒驾驶员，如果驾驶员没有对报警做出反应，声音的频率会随着车与行人或者隐蔽车辆的距离拉近而升高；

车载显示端的图像预警是在显示器显示的电子地图上以相对于驾驶车辆自身位置的形式标识出来。

一种基于多车协作的行人及车辆检测的系统，其特征在于，所述系统包括信息采集模块、无线收发模块、图像处理模块和预警模块，其特征在于：

车载信息采集模块使用车辆自身所带的摄像机、加速度传感器、陀螺仪、电子速度表以及GPS模块采集车辆行驶周围的环境变化、行驶的方向、所处位置信息以及车辆的速度信息；将上述信息打包传输到车辆自组织网络中相邻结点的车辆；车联网终端将接收到的信息解压并连同车辆自身采集的信息输入到图像处理模块进行分析和处理，将图像信息以自身图像为基准进行拼接，产生车辆周边环境的全景图像；对上述全景图像进行检测，判别是否有相对与自身车辆行驶的行人或隐蔽车辆，车联网终端依据所述的判别信息分别进行声音预警和图像预警。

有益效果

本发明对比已有技术具有以下创新点：

本发明充分利用不同汽车间不同的位置优势，采集环境信息且将图像信息拼接成全景图像还原视觉盲区里面的真实路况信息，为用户消除行车时的视野盲区，当检测到图像信息里面存在行人或者障碍物的时候可以做到提前预警，提示司机及时避让增加驾驶的安全性。

本发明对比已有技术具有以下显著优点：

本发明无需对车辆安装任何额外的硬件设施，所有用到的硬件设备都是现有市场上销售车辆的标准配置，降低了部署成本，同时也增加了可推广性

系统中的预警模块以声音和图像形式预警，增加了预警方式，同时在声音预警模块声音的频率会随着车与行人或者隐蔽车辆的距离拉近而逐渐升高，提高了预警的及时有效性

附图说明

图1为本发明实施例提供的基于多车协作的行人及车辆检测的方法流程图；

图2为本发明设施例提供的基于多车协作的行人及车辆检测系统的流程示意图；

图3为本发明设施例提供的基于多车协作的行人及车辆检测系统的车载传感器数据采集模块的结构示意图；

图4为本发明设施例提供的基于多车协作的行人及车辆检测系统的图像处理模块的结构示意图；

图5为本发明设施例提供的基于多车协作的行人及车辆检测系统的预警模块的结构示意图；

图6为本发明实施例提供的基于多车协作的行人及车辆检测的方法及系统的两类应用场景示意；

具体实施方式

下面结合附图和实施例对发明作进一步地详细描述。

本发明的基本思想是利用不同汽车间不同的位置优势，采集环境信息且将图像信息拼接成全景图像还原视觉盲区里面的真实路况信息，为用户消除行车时的视野盲区。

图1是本发明实施例提供的基于多车协作的行人及车辆检测的方法流程图。参见图1，该实施例包括：

101、车载传感器采集行驶车辆的状态数据指导车载摄像头进行图像的采集；

根据车辆行驶的传感器数据对汽车行驶状态进行判别，当遇到颠簸路况的时候，适时避开不稳定因素，在合适的时机拍摄图片，避免设备快速晃动，进而防止图像模糊失真。

此外，由于车辆在弯道内时前方路况变化较快，因此当汽车进行进入弯道的时候要求系统适当提高拍照频次，增加汽车在弯道时的信息获取量。

102、将采集的图像添加时间戳、对应的行车状态数据和当前GPS数据，使用车载自组织网络广播到相邻网络结点的车辆。

将所采集的信息传送到周边邻近车辆时，在将要传输的图像上添加时间戳和车辆所处地理位置信息。将处理后的图像连同车辆行驶状态信息一同打包，通过车辆自组织网络传送到邻近车辆。

103、图像处理模块处理本地及接收到的数据，合成全景图像并进行行人检测以生成预警提示指令。

所述车辆接受到邻近车辆的传送的信息时，需要对接收到的信息进行解压处理，根据地理位置及传送到的图像的地理位置，得到接收到的每张图像相对于车辆自身的地理位置。

在接收到的图像中挑选最近5秒内拍摄的图像，删除过期的图像，然后，根据传送图像相对于自身的行驶方向和位置，对接收到的图像进行分类。

对分类后的图像根据分辨率、曝光时间及拍摄角度进行降噪、边缘提取处理，使得图像满足拼接的条件。

对图像以接受车辆自身为中心进行拼接得到车辆周边的全景图像。

对上述全景图像进行处理，判别是否有行人或隐蔽车辆，如果有则生成预警指令传送给预警模块，否则，不做任何处理只在车载显示端显示全景图像信息。

104、预警提示模块在接受到图像处理模块的指令以后，分别以声音和显示器显示的方式提示驾驶员避让可能出现的危险。

声音预警提示是通过一定频率的间歇beep声提醒驾驶员，如果驾驶员没有对报警做出反应，声音的频率会随着车与行人或者隐蔽车辆的距离拉近而升高。

车载显示端的图像预警是在显示器显示的电子地图上以相对于驾驶车辆自身位置的形式标识出来。

本发明实施例提供的方法，基于多车协作技术，利用在不同汽车间不同的位置优势，采集环境信息且将图像信息拼接成全景图像还原视觉盲区里面的真实路况信息，为用户消除行车时的视野盲区，当检测到图像信息里面存在行人或者障碍物的时候可以做到提前预警，提示司机及时避让增加驾驶的安全性。

图2是本发明设施例提供的基于多车协作的行人及车辆检测系统的流程示意图。参见图2，该系统包括：车载传感器数据采集模块201、车载摄像头202、无线发送模块203、无线接收模块204、图像处理模块205及预警模块206，其中：

图3是本发明设施例提供的基于多车协作的行人及车辆检测系统的车载传感器数据采集模块的结构示意图。参见图3，车载传感器数据包括：电子速度表、陀螺仪和加速度传感器采集的数据。

图4是本发明设施例提供的基于多车协作的行人及车辆检测系统的图像处理模块的结构示意图。参见图4，图像处理模块包括：图像预处理301、全景图像拼接302和行人检测303。其中：

图像预处理301，需要对接收到的信息进行解压处理，解压后挑选最近5秒内拍摄的图像，删除过期的图像。然后，根据地理位置及传送到的图像的地理位置，得到接收到的每张图像相对于车辆自身的地理位置并根据传送图像相对于自身的行驶方向和位置，对接收到的图像进行分类。

对分类后的图像根据分辨率、曝光时间及拍摄角度进行降噪、边缘提取处理，使得图像满足拼接的条件。

全景图像拼接302，首先要识别出图像中重合部分的特征点并且在不同图像之间进行特征点匹配，然后确定两幅图像的重叠区域，以本车拍摄的图像作为基准图像，按照图像拼接算法，如Mallat重构算法完成图像的拼接。

行人检测303，采用光流检测方法，计算运动区域内的残余光流实现行人或者其他隐蔽物体的检测。对于全景图像可以采用模式识别的方式进行检测，由于人的眼睛是最好的模式识别工具，所以通过全景图像可以直观的检测到行人或者其他隐蔽物体，对驾驶员及时预警实现主动避让，保证行人以及驾驶人员的生命和财产安全。

图5是本发明设施例提供的基于多车协作的行人及车辆检测系统的预警模块的结构示意图。参见图5，预警提示包括：声音预警和车载显示端的图像预警，其中：

声音预警提示是通过一定频率的间歇beep声提醒驾驶员，如果驾驶员没有对报警做出反应，声音的频率会随着车与行人或者隐蔽车辆的距离拉近而升高；

车载显示端的图像预警是在显示器显示的电子地图上以相对于驾驶车辆自身位置的形式标识出来。

如上所述，本发明不需要安装任何额外的硬件设备有效的提高了可展开性，降低了部署成本。同时，两种不同的提示方式确保了驾驶员能够及时主动的避让驾驶盲区内的行人和车辆，提高了社会公共安全，以及司机本身的生命与财产安全。

图6是本发明实施例提供的基于多车协作的行人及车辆检测方法及系统的两类应用场景。参见图6a，该实施例包括：

在三叉路口或者十字路口，B在车辆A的驾驶视野之内，但是不在C的驾驶视野之内。假若此时C左转前行，则会与B发生碰撞。此时A利用本系统向C发送其周围环境信息，则可以使C和B有效的避免不必要的交通事故。

参见图6b，该实施例包括：

在超车过程中，B车驾驶员很难获取到A车右前方的路况信息，此时也就是说存在视觉盲区，而且由于超车时车速一般比较快，如果此时盲区内有行人正在试图横穿马路，B车驾驶员发现行人的最早时刻已经是在两车并行的最后阶段，此时后车司机的反应时间很短，很容易撞到行人。此外，由于B车的行驶空间有限，很有可能在手忙脚乱情况下乱打方向影响到其他车道里面的汽车，造成更严重的事故。

除上述两类应用场景为，还有其他构成视野盲区的应用场景，在此不能一一列举，只是举了两个典型的实施例，以加强对本发明的理解。

以上结合附图对本发明的具体实施方式作了说明，但这些说明不能被理解为限制了本发明的范围，本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上的改动都是本发明的保护范围。

Claims (7)

1.一种基于多车协作的行人及车辆检测方法，其特征在于，所述方法包括：

车载传感器、GPS及摄像头采集车辆周围环境信息，无线发送模块通过车辆自组织网络将所采集的信息打包传送给周边邻近的车辆；

车辆对接受到周边车辆传送的图像信息和自身采集的图像信息进行处理，且对上述图像进行合并得到车辆周边的全景图像；

对上述全景图像进行处理，判别是否有行人或隐蔽车辆，车联网终端依据所述的判别信息进行预警提示。

2.根据权利要求1所述的一种基于多车协作的行人及车辆检测方法，其特征在于，车载传感器、GPS及摄像头采集车辆周围环境信息，无线发送模块通过车辆自组织网络将所采集的信息打包传送给周边邻近的车辆包括：

所述环境信息包括车载摄像头获取的图像信息、车辆行驶方向、车辆所处地理位置以及摄像头获取图像的时刻；

所述将所采集的信息传送到周边邻近车辆时，在将要传输的图像上添加时间戳和车辆所处地理位置信息。将处理后的图像连同车辆行驶状态信息一同通过车辆自组织网络传输到邻近车辆；

所述的邻近车辆指在车辆自组织网络中相邻的网络结点。

3.根据权利要求1所述的一种基于多车协作的行人及车辆检测方法，其特征在于，所述车辆接受到邻近车辆传送的信息时，需要对接收到的信息进行解压处理，根据自身地理位置及接收到图像的地理位置，得到接收到图像相对于自身的地理位置。

4.根据权利要求1所述的一种基于多车协作的行人及车辆检测方法，其特征在于，所述车辆对接受到周边车辆传送的图像信息和自身采集的图像信息进行处理，图像处理包括：

在接收到的图像中挑选最近5秒内拍摄的图像，删除过期的图像；

根据传送图像相对于自身的行驶方向和位置，对接收到的图像进行分类；

对分类后的图像根据分辨率、曝光时间及拍摄角度进行一系列预处理，包括降噪、边缘提取。

5.根据权利要求1所述的一种基于多车协作的行人及车辆检测方法，其特征在于，所述对图像进行合并得到车辆周边的全景图像，是以接收车辆为中心进行的图像拼接。

6.根据权利要求1所述的一种基于多车协作的行人及车辆检测方法，其特征在于，所述对上述全景图像进行处理，判别是否有行人或隐蔽车辆，车联网终端依据所述的判别信息进行预警提示包括：

判别是否有行人或隐蔽车辆指当前车辆行驶方向上相对于车行驶的行人或隐蔽车辆；

所述预警提示包括：声音预警和车载显示端的图像预警，其中：

声音预警提示是通过一定频率的间歇beep声提醒驾驶员，如果驾驶员没有对报警做出反应，声音的频率会随着车与行人或者隐蔽车辆的距离拉近而升高；

车载显示端的图像预警是在显示器显示的电子地图上以相对于驾驶车辆自身位置的形式标识出来。

7.一种基于多车协作的行人及车辆检测系统，其特征在于，所述系统包括信息采集模块、无线收发模块、图像处理模块和预警模块，其特征在于：

车载信息采集模块使用车辆自身所带的摄像机、加速度传感器、陀螺仪、电子速度表以及GPS模块采集车辆行驶周围的环境变化、行驶的方向、所处位置信息以及车辆的速度信息；将上述信息打包传输到车辆自组织网络中相邻结点的车辆；车联网终端将接收到的信息解压并连同车辆自身采集的信息输入到图像处理模块进行分析和处理，将图像信息以自身图像为基准进行拼接，产生车辆周边环境的全景图像；对上述全景图像进行检测，判别是否有相对与自身车辆行驶的行人或隐蔽车辆，车联网终端依据所述的判别信息分别进行声音预警和图像预警。