CN116279554B - 基于图像识别及移动位置服务调整驾驶策略的系统及方法 - Google Patents

Abstract

本发明公开了基于图像识别及移动位置服务调整驾驶策略的系统及方法，系统包括摄像头、雷达传感器、车机、图像识别处理器、距离处理模块、定位系统、5G通信模块、ADAS系统和云服务器；方法包括由摄像头拍摄车外前后道路照片信息，由图像识别处理器和云服务器对照片进行处理比对，判断照片显示的道路类型、状况和天气信息，定位系统获取车辆地理位置并通过云服务器获取网络显示的当前车辆所在位置天气进行比较，车机系统接收到云服务器返回的道路状况、道路类型及天气数据后，在车机系统弹出对话框，向用户询问是否切换驾驶模式，调整驾驶策略，以适应当前车辆驾驶环境，大幅提升车辆行驶安全性和司机操作的便捷性。

Description

基于图像识别及移动位置服务调整驾驶策略的系统及方法

技术领域

本发明涉及汽车智能驾驶设计技术领域，尤其涉及基于图像识别及移动位置服务调整驾驶策略的系统及方法。

背景技术

随着科技的不断创新发展，人工智能自动驾驶及辅助驾驶技术在大量汽车上开始普及应用，利用自动驾驶辅助系统，可以减轻驾驶员的疲劳强度，实现诸如有车道保持辅助、自动泊车辅助、刹车辅助、倒车辅助和行车辅助等，利用科技监测驾驶途中外部环境，去辅助驾驶被广泛的应用；目前的辅助驾驶策略依据道路的标识划线和路面障碍物(或行驶车辆)进行调整自动驾驶辅助系统，目前还没有根据外部环境天气及道路路面状况而自动调整驾驶策略的技术方案，比如不同天气会带来车辆司机视线及路况发生变化，不同的道路类型也会有不同的路况，现有的技术方案无法应对不同天气和路况，进行适应性切换驾驶模式，调整驾驶策略。

为此，我们设计出了基于图像识别及移动位置服务调整驾驶策略的系统及方法来解决以上问题。

发明内容

本发明的目的是为了解决现有技术中存在的驾驶策略无法应对不同天气和路况的做出适应性调整的缺点，而提出的基于图像识别及移动位置服务调整驾驶策略的系统及方法，目的在于分别对利用传感器识别车辆行驶路面对应的路况信息和图像数据进行处理，得到行驶车辆获得前方更远的、更加全面且准确的路面信息，从而适应于前方不断变化的复杂路面情况，能够控制行驶车辆的操作状态，以达到行驶安全性和平稳性。

为了实现上述目的，本发明采用了如下技术方案：

基于图像识别及移动位置服务调整驾驶策略的方法，所述方法包括以下步骤：

101步骤，由摄像头拍摄车外前后道路信息，将车外拍摄道路的照片传输到图像识别处理器，由图像识别处理器处理占用内存较小的照片，其余照片通过5G通讯模块发送到云服务器进行保存；

102步骤，云服务器对每张已保存的照片进行颜色处理，仅保留照片黑白部分；

103步骤，分解每张照片成9X9像素的拼接图块，通过每张照片中每一个像素中有转角特征的相对位置，每张照片得出一个特征数组；

104步骤，将每个特征数组通过矩阵的形式记录并与云服务器特征库进行对比，对比出照片中道路状况；

105步骤，由车载的定位系统获取车辆地理位置信息，通过云服务器端地图获取当前车辆位于道路类型；

106步骤，结合车辆地理位置信息通过云服务器获取网络显示的当前车辆所在位置天气信息；

107步骤，通过云服务器特征库对照片进行比对，获取照片内显示的天气信息，并通过与网络显示的当前车辆所在位置天气信息进行比对，获取当前车辆所在位置实际的天气数据；

108步骤，车机系统接收到云服务器返回的道路状况、道路类型及天气数据后，在车机系统的显示屏上弹出对话框，主动向用户询问是否切换驾驶模式，以适应当前车辆驾驶环境；

109步骤，若用户不响应车机系统提示切换驾驶模式，弹出的对话框在显示屏上停留若干秒后自动消失，车辆驾驶模式不做任何调整。

进一步的，在所述108步骤中，车机系统的显示屏上弹出对话框，主动向用户询问是否切换驾驶模式的内容包括：

车机系统接收到云服务器返回的天气数据后，若显示行驶道路处于雨雪天气下，车机系统弹出对话框提示用户是否需要切换到湿滑路面模式，湿滑路面模式下稳定管理系统和牵引力管理系统将对动力输出、四驱系统、限滑差速器以及前进气格栅和尾翼进行控制，以在湿滑路面条件下获得更稳定的操控性能；

车机系统接收到云服务器返回的道路状况后，若车辆行驶在道路带有坑洼的路面，车机系统弹出对话框提示用户是否切换到越野模式，越野模式下通过改变限滑控制的介入时机以及变速箱的换挡逻辑，提高车辆的扭矩；若车辆行驶在坡路，车机系统弹窗提示用户是否切换到陡坡模式，车辆处于高转速，动力提供充足；

车机系统接收到云服务器返回的道路类型后，若车辆行驶在高速道路、城市环线道路状况为平路，车机系统弹出对话框提示用户是否需要切换到舒适模式下进行驾驶，舒适模式下车辆启动ECO功能，悬架较软，加速柔和，驾乘舒适。

进一步的，所述道路状况、道路类型及天气数据三种因素互相作用影响车机系统弹出对话框，主动向用户询问是否切换驾驶模式的优先级顺序为天气信息大于道路状况大于道路类型。

进一步的，所述道路状况包括道路为平路、道路为湿地、道路带有坑洼、道路为沙地及道路为坡路五种类型；所述道路类型包括高速道路、城市环线、国道、省道及县级以下道路五种类型；所述天气数据包括晴天、雨雪、雾天及沙尘暴四种类型。

进一步的，所述101步骤中，由图像识别处理器处理占用内存较小的照片，图像识别处理器识别照片大小的判断依据是：首先判断照片的大小，小于或等于100KB的照片由图像识别处理器进行识别处理，大于100Kb的照片，通过5G通讯模块上传到云服务器进行处理；图像识别处理器对占用内存较小的照片进行处理的过程包括灰度化、二值化化、去噪、倾斜度校正、字符切割和归一化；对处理后的照片进行图像识别包括提取字符特征、样本训练和识别，最后输出识别结果。

进一步的，所述102步骤中，云服务器对每张已保存的照片进行颜色处理包含以下内容：

先将照片进行灰度化，然后计算灰度值，灰度值的计算表达式为：Y＝0.2126·R+0.7152·C+0.0722·B，

式中，R是RGB通道中红色色值；G是RGB通道中绿色色值；B是RGB通道中蓝色色值，其余为由阿里云图像识别服务训练后得出的常数。

一种基于图像识别及移动位置服务调整驾驶策略的系统，所述系统包括摄像头、雷达传感器、车机、图像识别处理器、距离处理模块、定位系统、5G通信模块、ADAS系统和云服务器；所述摄像头与所述图像识别处理器连接，所述雷达传感器与所述距离处理模块连接，所述定位系统与5G通信模块连接，所述图像识别处理器、距离处理模块、5G通信模块、ADAS系统和云服务器与所述车机连接。

进一步的，所述车机位于车辆中控台，用于处理所述摄像头、雷达传感器监测的数据信息，所述摄像头有三个，一个设置于车顶前端后视镜处，用于采集车辆前方图像；另一个设置于车顶后端顶部，用于采集车辆后方图像；剩余一个设置于车机端，用于采集司机信息；所述雷达传感器有四个，分别设置于车辆前方的两侧及车辆后方的两侧，用于探测前后方是否有障碍物以及障碍物的距离；所述图像识别处理器、距离处理模块和5G通信模块安装设置于所述车机上。

进一步的，其特征在于，所述定位系统为GPS定位系统或北斗定位系统的任意一种。

进一步的，所述ADAS系统根据当前车辆所处位置的天气情况、道路状况和道路类型，对油门、刹车、挡位进行调整，提供舒适模式、陡坡模式、越野模式和湿滑路面模式的驾驶策略。

与现有技术相比，本发明的有益效果是：本发明通过摄像头拍摄车辆所在位置的道路照片，通过图像识别处理器及云服务器对照片进行识别处理、并与车辆所在位置的实时天气数据和道路类型综合比对，将最终的道路状况、道路类型和天气数据反馈至车机系统，在车机系统的显示屏上弹出对话框，主动向用户询问是否切换驾驶模式，以适应当前车辆驾驶环境，本发明能够识别结合天气信息，根据不同的路况信息，主动提示驾驶员切换适应路况和天气的驾驶模式，采用不同的智能辅助驾驶方案，大幅提升驾驶员操作的便捷性和车辆行驶安全性。

附图说明

图1为本发明提出的基于图像识别及移动位置服务调整驾驶策略方法的流程示意图；

图2为本发明提出的基于图像识别及移动位置服务调整驾驶策略方法的照片处理流程图；

图3为本发明提出的基于图像识别及移动位置服务调整驾驶策略的系统的组成关系图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例一：

当传统汽车在面临不同道路(高速道路、城市环线、国道、省道及县级以下道路)、不同天气(晴天、雨雪、雾天、沙尘暴等)、不同路况(平路、坑洼路、上坡、下坡等)时，只能依靠手动调整车辆速度、挡位、ABS辅助等驾驶模式，而本实施例能够结合不同情况，让这些操作自动化完成，仅需驾驶员确认即可实现驾驶模式的切换。

上坡时存在的溜坡问题，当前汽车无论是手动挡还是自动挡，普遍存在上坡溜坡的问题，尤其是对于新手司机来说，并且电动汽车也存在一些溜坡的现象，不但让司机感到紧张，还会造成发动机的损伤，甚至出现事故；在雨雪天气时因路面湿滑导致的安全问题，当前汽车解决在雨雪天气的湿滑问题只能靠缓慢行驶和防滑链，缓慢行驶很难控制，本实施例能够根据路面情况进行驾驶模式切换，控制车速和更多的ADAS功能使用，尽可能减少路面湿滑带来的影响。

如图1所示，基于图像识别及移动位置服务调整驾驶策略的方法，包括以下步骤：

101步骤，由摄像头拍摄车外前后道路信息，将车外拍摄道路的照片传输到图像识别处理器，由图像识别处理器处理占用内存较小的照片，其余照片通过5G通讯模块发送到云服务器进行保存；

如图2所示，由图像识别处理器处理占用内存较小的照片，图像识别处理器识别照片大小的判断依据是：首先判断照片的大小，小于或等于100KB的照片由图像识别处理器进行识别处理，大于100Kb的照片，通过5G通讯模块上传到云服务器进行处理；图像识别处理器对占用内存较小的照片进行处理的过程包括灰度化、二值化化、去噪、倾斜度校正、字符切割和归一化；对处理后的照片进行图像识别包括提取字符特征、样本训练和识别，最后输出识别结果。

102步骤，云服务器对每一张已保存的照片进行颜色处理，仅保留照片黑白部分；

云服务器对每一张已保存的照片进行颜色处理包含以下内容：

先将照片进行灰度化，然后计算灰度值，灰度值的计算表达式为：Y·0.2126·R+0.7152·C+0.0722·B，

式中，R是RGB通道中红色色值；G是RGB通道中绿色色值；B是RGB通道中蓝色色值，其余为由阿里云图像识别服务训练后得出的常数；

照片经上述方式处理后，可提高识别效率和准确度，由图像识别处理器对处理的照片进行识别和训练，在处理后的照片上打标签，成为神经网络的训练样本，通过神经网络对学习和分类，，为打标签的照片放入神经网络进行预训练，神经元先对照片中简单的特征进行提取，比如照片的边缘部分；实际运用中，先有测试车辆大量拍摄照片，有人工打标签，标记照片中的天气数据、道路状况和道路类型，形成云服务器特征库。天气数据包括晴天、雨雪、雾天及沙尘暴四种类型，之后再进行深度识别，包含了大雨小雨，大雪小雪，大雾小雾，大沙尘小沙尘；道路状况包括道路为平路、道路为湿地、道路带有坑洼、道路为沙地及道路为坡路五种类型以及上坡路和下坡路；对不同地区的路况识别，道路类型包括高速道路、城市环线、国道、省道及县级以下道路五种类型；这些数据会预先存在云服务器特征库里面，只要根据定位信息及处理后的照片特征，即可进行比对判断识别。

103步骤，分解每张照片成9X9像素的拼接图块，通过每张照片中每一个像素中有转角特征的相对位置，每张照片得出一个特征数组。

104步骤，将每个特征数组通过矩阵的形式记录并与云服务器特征库进行对比，对比出照片中道路状况。

105步骤，由车载定位系统获取车辆地理位置信息，通过云服务器端地图获取当前车辆位于道路类型。

106步骤，结合车辆地理位置信息通过云服务器获取网络显示的当前车辆所在位置天气信息。

107步骤，通过云服务器特征库对照片进行比对，获取照片内显示的天气信息，并通过与网络显示的当前车辆所在位置天气信息进行比对，获取当前车辆所在位置实际的天气数据；

天气信息对比说明：首先，在获取到当前车辆位置的时候，会附带有国家、省、市、县/镇、街道等具体地域信息，然后云服务器会访问中国气象局官网(http://weather.cma.cn/)，从网站上面获取到当前车辆位置所在地区的天气信息；然后，摄像头拍摄的照片显示环境信息，图像识别处理器会进行识别，最后两者比较；由于天气预报往往不准，而图像识别处理器又非常消耗计算资源，所以二者结合，当二者出现不同时，图像识别处理器会再进行多轮识别，以确认结果，避免识别出错；如果二者结果吻合，则使用这个结果，并隔5分钟再进行识别。

108步骤，车机系统接收到云服务器返回的道路状况、道路类型及天气数据后，进行处理，在车机系统的显示屏上弹出对话框，主动向用户询问是否切换驾驶模式，以适应当前车辆驾驶环境；

车机系统的显示屏上弹出对话框，主动向用户询问是否切换驾驶模式的内容包括如下：

车机系统接收到云服务器返回的天气数据后，若显示行驶道路处于雨雪天气下，车机系统弹出对话框提示用户是否需要切换到湿滑路面模式，湿滑路面模式下稳定管理系统和牵引力管理系统将对动力输出、四驱系统、限滑差速器以及前进气格栅和尾翼进行控制，以在湿滑路面条件下获得更稳定的操控性能；

车机系统接收到云服务器返回的道路状况后，若车辆行驶在道路带有坑洼的路面时，车机系统弹出对话框提示用户是否切换到越野模式，越野模式下通过改变限滑控制的介入时机以及变速箱的换挡逻辑，提高车辆的扭矩；

若车辆行驶在坡路时，车机系统弹窗提示用户是否切换到陡坡模式，车辆处于高转速，动力提供充足；

车机系统接收到云服务器返回的道路类型后，若车辆行驶在高速道路、城市环线道路状况为平路，车机系统弹出对话框提示用户是否需要切换到舒适模式下进行驾驶，舒适模式下车辆启动ECO功能，悬架较软，加速柔和，驾乘舒适。

109步骤，若用户不响应车机系统提示切换驾驶模式，弹出的对话框在显示屏上停留若干秒后自动消失，车辆驾驶模式不做任何调整。

用户可直接通过车机系统选择驾驶模式界面，手动选择所需要的驾驶模式，满足用户日常需求。

需要说明的是，道路状况、道路类型及天气数据三种因素互相作用影响车机系统弹出对话框，主动向用户询问是否切换驾驶模式的优先级顺序为天气信息大于道路状况大于道路类型。

实施例二：

如图3所示，一种基于图像识别及移动位置服务调整驾驶策略的系统，包括摄像头、雷达传感器、车机、图像识别处理器、距离处理模块、定位系统、5G通信模块、ADAS系统和云服务器；摄像头与所述图像识别处理器连接，雷达传感器与距离处理模块连接，定位系统与5G通信模块连接，图像识别处理器、距离处理模块、5G通信模块、ADAS系统和云服务器与车机连接。

定位系统为GPS定位系统或北斗定位系统的任意一种，车机位于车辆中控台，用于处理所述摄像头、雷达传感器监测的数据信息。

摄像头有三个，一个设置于车顶前端后视镜处，用于采集车辆前方图像；另一个设置于车顶后端顶部，用于采集车辆后方图像；第三个设置于车机端，用于采集司机信息；雷达传感器有四个，分别设置于车辆前方的两侧及车辆后方的两侧，用于探测前后方是否有障碍物以及障碍物的距离；图像识别处理器、距离处理模块和5G通信模块安装设置于车机上。

ADAS系统根据当前车辆所处位置的天气情况、道路状况和道路类型，对油门、刹车、挡位进行调整，提供舒适模式、陡坡模式、越野模式和湿滑路面模式的驾驶策略。

摄像头获取车辆行驶路面对应的图像数据，雷达传感器获取车辆前后是否有障碍物以及障碍物的距离，将图像数据以及车辆与障碍物距离数据传输至车机端，利用图像识别处理器和距离处理模块，判定道路状况、道路类型和天气信息以及通过ADAS系统控制车辆制动，调整车速保持行车安全距离。

摄像头获取车辆行驶路面对应的图像数据分别由本地数据库对比处理和云服务器端进行识别和数据库对比处理，得到道路路面信息，包含路面坑洼、坡度、雨雪以及空气中的雨、雪、雾等影响驾驶视线的特征，在当前车辆遭遇能见度较低的驾驶环境中，根据车速调整行车安全距离。

当判断当前车辆前后有其他车辆时，会根据车速及道路类型设置安全距离标准，具体如下：

高速行车，即车速在每小时100千米以上时，安全车距在100米以上；快速行车，即车速在每小时60千米以上时，安全车距在数字上等于车速；中速行车，即车速在每小时50千米左右时，安全车距不低于50米；低速行车，即车速在每小时40千米以下时，安全车距不低于30米。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.基于图像识别及移动位置服务调整驾驶策略的方法，其特征在于，所述方法包括以下步骤：

101步骤，由摄像头拍摄车外前后道路信息，将车外拍摄道路的照片传输到图像识别处理器，由图像识别处理器处理占用内存较小的照片，其余照片通过5G通讯模块发送到云服务器进行保存；

由图像识别处理器处理占用内存较小的照片，图像识别处理器识别照片大小的判断依据是：首先判断照片的大小，小于或等于100KB的照片由图像识别处理器进行识别处理，大于100Kb的照片，通过5G通讯模块上传到云服务器进行处理；图像识别处理器对占用内存较小的照片进行处理的过程包括灰度化、二值化、去噪、倾斜度校正、字符切割和归一化；对处理后的照片进行图像识别包括提取字符特征、样本训练和识别，最后输出识别结果；

102步骤，云服务器对每张已保存的照片进行颜色处理，仅保留照片中黑白部分；进行颜色处理包含以下内容：

先将照片进行灰度化，然后计算灰度值，灰度值的计算表达式为：，

式中，是RGB通道中红色色值；/>是RGB通道中绿色色值；/>是RGB通道中蓝色色值，其余为由阿里云图像识别服务训练后得出的常数；

103步骤，分解每张照片成9X9像素的拼接图块，通过每张照片中每一个像素中有转角特征的相对位置，每张照片得出一个特征数组；

104步骤，将每个特征数组通过矩阵的形式记录并与云服务器特征库进行对比，对比出照片中道路状况；

105步骤，由车载的定位系统获取车辆地理位置信息，通过云服务器端地图获取当前车辆位于道路类型；

106步骤，结合车辆地理位置信息通过云服务器获取网络显示的当前车辆所在位置天气信息；

107步骤，通过云服务器特征库对照片进行比对，获取照片内显示的天气信息，并通过与网络显示的当前车辆所在位置天气信息进行比对，获取当前车辆所在位置实际的天气数据；

108步骤，车机系统接收到云服务器返回的道路状况、道路类型及天气数据后，在车机系统的显示屏上弹出对话框，主动向用户询问是否切换驾驶模式，以适应当前车辆驾驶环境，包括以下内容：

车机系统接收到云服务器返回的天气数据后，若显示行驶道路处于雨雪天气下，车机系统弹出对话框提示用户是否需要切换到湿滑路面模式，湿滑路面模式下稳定管理系统和牵引力管理系统将对动力输出、四驱系统、限滑差速器以及前进气格栅和尾翼进行控制，以在湿滑路面条件下获得更稳定的操控性能；

车机系统接收到云服务器返回的道路状况后，若车辆行驶在道路带有坑洼的路面时，车机系统弹出对话框提示用户是否切换到越野模式，越野模式下通过改变限滑控制的介入时机以及变速箱的换挡逻辑，提高车辆的扭矩；若车辆行驶在坡路时，车机系统弹窗提示用户是否切换到陡坡模式，车辆处于高转速，动力提供充足；

车机系统接收到云服务器返回的道路类型后，若车辆行驶在高速道路、城市环线道路状况为平路，车机系统弹出对话框提示用户是否需要切换到舒适模式下进行驾驶，舒适模式下车辆启动ECO功能，悬架较软，加速柔和，驾乘舒适；

所述道路状况、道路类型及天气数据三种因素互相作用影响车机系统弹出对话框，主动向用户询问是否切换驾驶模式的优先级顺序为天气信息大于道路状况大于道路类型；

所述道路状况包括道路为平路、道路为湿地、道路带有坑洼、道路为沙地及道路为坡路五种类型；所述道路类型包括高速道路、城市环线、国道、省道及县级以下道路五种类型；所述天气数据包括晴天、雨雪、雾天及沙尘暴四种类型；

109步骤，若用户不响应车机系统提示切换驾驶模式，弹出的对话框在显示屏上停留若干秒后自动消失，车辆驾驶模式不做任何调整。