CN108482367B - 一种基于智能后视镜辅助驾驶的方法、装置及系统 - Google Patents
一种基于智能后视镜辅助驾驶的方法、装置及系统 Download PDFInfo
- Publication number
- CN108482367B CN108482367B CN201810205449.XA CN201810205449A CN108482367B CN 108482367 B CN108482367 B CN 108482367B CN 201810205449 A CN201810205449 A CN 201810205449A CN 108482367 B CN108482367 B CN 108482367B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- view
- image
- camera
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本文公开了一种基于智能后视镜辅助驾驶的方法、装置及系统。所述基于智能后视镜辅助驾驶的方法包括：通过一个或多个前视摄像头获取车辆前方的路况图像，通过车辆左右两侧的侧后视摄像头获取车辆侧后方的路况图像；对所述车辆前方和/或侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件；在检测到影响所述车辆行驶的事件时，根据车辆前方和/或侧后方路况图像的分析结果进行报警和避险提示。本文的技术方案能够基于智能后视镜实现辅助驾驶功能，保障行车安全。
Description
技术领域
本发明涉及智能驾驶技术领域，尤其涉及的是一种基于智能后视镜辅助驾驶的方法、装置及系统。
背景技术
在车联网迅速普及的今天，车内智能后视镜获得了越来越广泛的应用。
智能后视镜，通常具有独立的操作系统，可以由用户自行安装软件、游戏、导航等第三方服务商提供的程序，并可以通过WIFI(Wireless Fidelity，无线保真)或者移动通讯网络来实现无线网络接入，能够实现电子测速提醒、倒车可视等功能。
随着智能后视镜的广泛使用，如何在智能后视镜上拓展更多的应用是一个值得研究的方向。
发明内容
本发明实施例所要解决的技术问题是提供一种基于智能后视镜辅助驾驶的方法、装置及系统，能够基于智能后视镜实现辅助驾驶功能，保障行车安全。
本发明实施例提供一种基于智能后视镜辅助驾驶的方法，包括：
通过一个或多个前视摄像头获取车辆前方的路况图像，通过车辆左右两侧的侧后视摄像头获取车辆侧后方的路况图像；
对所述车辆前方和/或侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件；
在检测到影响所述车辆行驶的事件时，根据车辆前方和/或侧后方路况图像的分析结果进行报警和避险提示。
本发明实施例提供一种基于智能后视镜辅助驾驶的装置，包括：
图像获取模块，用于通过一个或多个前视摄像头获取车辆前方的路况图像，通过车辆左右两侧的侧后视摄像头获取车辆侧后方的路况图像；
图像分析模块，用于对所述车辆前方和/或侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件；
报警处理模块，用于在检测到影响所述车辆行驶的事件时，根据车辆前方和/或侧后方路况图像的分析结果进行报警和避险提示。
本发明实施例提供一种基于智能后视镜辅助驾驶的系统，包括：
智能后视镜、前视摄像头和侧后视摄像头；
所述智能后视镜包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于智能后视镜辅助驾驶的程序，所述基于智能后视镜辅助驾驶的程序被所述处理器执行时实现上述基于智能后视镜辅助驾驶的方法的步骤；
所述前视摄像头，用于获取车辆前方的路况图像；
所述侧后视摄像头，用于获取车辆侧后方的路况图像。
与相关技术相比，本发明实施例提供的一种基于智能后视镜辅助驾驶的方法、装置及系统，通过一个或多个前视摄像头获取车辆前方的路况图像，通过车辆左右两侧的侧后视摄像头获取车辆侧后方的路况图像，对所述车辆前方和/或侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件，在检测到影响所述车辆行驶的事件时，根据车辆前方和/或侧后方路况图像的分析结果进行报警和避险提示。本文的技术方案能够基于智能后视镜实现辅助驾驶功能，保障行车安全。
附图说明
图1为本发明实施例1的一种基于智能后视镜辅助驾驶的方法流程图；
图2为本发明实施例1中的一种前视摄像头和侧后视摄像头的示意图；
图3(a)-(d)为本发明实施例1中一种分屏显示摄像头拍摄画面的示意图；
图4为本发明实施例2的一种基于智能后视镜辅助驾驶的装置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
实施例1
如图1所示，本发明实施例提供了一种基于智能后视镜辅助驾驶的方法，包括：
步骤S110，通过一个或多个前视摄像头获取车辆前方的路况图像，通过车辆左右两侧的侧后视摄像头获取车辆侧后方的路况图像；
步骤S120，对所述车辆前方和/或侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件；
步骤S130，在检测到影响所述车辆行驶的事件时，根据车辆前方和/或侧后方路况图像的分析结果进行报警和避险提示；
在一种实施方式中，所述前视摄像头与智能后视镜一体设置，或者所述前视摄像头与智能后视镜分体设置；所述侧后视摄像头与所述智能后视镜分体设置；比如，所述侧后视摄像头包括设置在车辆外部左侧的一路侧后视摄像头和设置在车辆外部右侧的另一路侧后视摄像头；
其中，所述前视摄像头与智能后视镜分体设置，包括：所述前视摄像头与智能后视镜通过线缆或无线的方式连接在一起；
在一种实施方式中，当所述前视摄像头包括两个时，其中一个前视摄像头是用于获取车前远景图像的远景前视摄像头，其中另一个前视摄像头是用于获取车前近景图像的近景前视摄像头。
当所述前视摄像头是一个时，可以选择获取车前近景图像的近景前视摄像头或用于获取车前远景图像的远景前视摄像头；一般地，优先选择远景前视摄像头。
如图2所示，智能后视镜配置4个摄像头，摄像头1(20)是远景前视摄像头，摄像头2(30)是近景前视摄像头，摄像头3(10)是设置在车辆外部左侧的一路侧后视摄像头，摄像头4(40)是设置在车辆外部右侧的另一路侧后视摄像头。近景前视摄像头和远景前视摄像头可以上下放置或并排放置。优选地，将一个或多个前视摄像头放置在车辆前挡风玻璃的中央位置。
在一种实施方式中，所述对所述车辆前方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件，包括：
将行人作为目标对象；在车前远景图像中搜索目标对象；如果搜索到行人，对行人的运动方向和速度进行实时跟踪，根据车辆当前行驶速度预测行人和车辆在未来发生碰撞的可能性；如果预测到行人和车辆在未来可能发生碰撞，则确定影响所述车辆行驶的事件为检测到远处有危险行人；和/或
将行人作为目标对象；在车前近景图像中搜索目标对象；如果搜索到行人，则确定影响所述车辆行驶的事件为检测到近处有危险行人；
在一种实施方式中，所述对所述车辆前方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件，包括：
将各种路面异物作为目标对象；
在车前远景图像中搜索所述目标对象，如果搜索到至少一个目标对象，则确定影响所述车辆行驶的事件为检测到远处路面有异物；和/或在车前近景图像中搜索所述目标对象，如果搜索到至少一个目标对象，则确定影响所述车辆行驶的事件为检测到近处路面有异物；
其中，所述路面异物包括以下至少一种：井盖、坑洼、石子、减速带、坡坎；
道路上比较平的井盖，车辆可直接通过，一旦遇到凹凸不平的井盖，最好躲避一下，因为车速过快会对轮胎造成很大伤害，一旦车速过快，可以导致直接损坏轮胎，所以要提前躲避井盖。坑坑洼洼的路面也会影响行车稳定性，速度过快容易翻车，也需要降速规避。路况不理想状况下道路上石子也会对轮胎产生磨损和划伤，要尽量规避大的石子。因此通过对路面异物大数据建模方式进行实时路况图像检测，检测路上异物是否在左右轮胎行驶方向内，提前判断与车轮的距离，最好能够提前规避，并根据当前车速判断多长时间发生颠簸，给用户提醒或者进行减速。过减速带或者坡砍道路时，最好不要单边通过，这样会使两边轮胎受力不均，轮胎所受到的外力不同，长时间积累后轮胎会产生方向的偏差，轮胎变形会对以后的行车造成潜在危险。
在一种实施方式中，所述对所述车辆侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件，包括：
将车辆作为目标对象；
从所述车辆侧后方的路况图像中搜索所述目标对象；
如果搜索到车辆，则将所述搜索到的车辆作为目标车辆，对所述目标车辆的运动方向和速度进行实时跟踪；
如果本车辆当前行驶速度小于本车道内或左右两侧车道内的后方目标车辆的行驶速度，则确定影响所述车辆行驶的事件为车辆不能变道行驶；
在一种实施方式中，所述在图像中搜索目标对象，包括：
根据所述目标对象的目标检测模型对所述图像进行特征提取和分类，确定目标对象的类别；
其中，在建立所述目标检测模型的过程中，可以先将原始图像预处理为灰度图，然后对所述灰度图进行图像增强；针对目标对象的不同类型建立各级分类器，提取每一种目标对象类型的特征，根据所述特征进行分类训练，生成每一种目标对象的目标检测模型；
在一种实施方式中，根据车辆前方和/或侧后方路况图像的分析结果进行报警和避险提示，包括执行以下至少一种处理：
如果检测到远处有危险行人且所述车辆能够变道行驶，则提示远处有危险行人的告警信息，并且提示变道躲避或降速规避；
如果检测到远处有危险行人且所述车辆不能够变道行驶，则提示远处有危险行人的告警信息，并且提示降速规避；
如果检测到近处有危险行人，则提示近处有危险行人的告警信息，并且提示降速或停车；
如果检测到远处路面有异物且所述车辆能够变道行驶，则提示远处路面有异物的告警信息，并且提示变道躲避或降速规避；
如果检测到远处路面有异物且所述车辆不能够变道行驶，则提示远处路面有异物的告警信息，并且提示降速规避；
如果检测到近处路面有异物，则提示近处路面有异物的告警信息，并且提示降速或停车；
在一种实施方式中，所述方法还包括：
在智能后视镜的屏幕上显示一个摄像头拍摄的图像或者分屏显示多个摄像头拍摄的图像；
在一种实施方式中，所述方法还包括：
在检测到存在影响所述车辆行驶的事件时，根据用户的切屏指示或预先设置的屏幕显示策略显示摄像头拍摄的图像；
其中，用户的切屏指示包括：按键指示或语音指令；
其中，所述屏幕显示策略包括以下至少一种：
如果检测到远处有危险行人或路面有异物，则分屏显示远景前视摄像头的图像和至少一路侧后视摄像头的图像；
如果检测到近处有危险行人或路面有异物，则全屏显示近景前视摄像头的图像，或分屏显示近景前视摄像头的图像和至少一路侧后视摄像头的图像。
车内智能后视镜屏显界面可以有多种显示方式。比如，各摄像头单独显示，远景前视摄像头与近景前视摄像头组合显示，左右侧后视摄像头组合显示，近景前视摄像头与侧后视摄像头组合显示，远景前视摄像头与侧后视摄像头组合显示。
可以根据用户自己的选择，单独显示每个摄像头拍摄的画面，也可以根据当时路况检测的需要自动切换或组合显示。如图3(a)所示，屏幕显示是近景前视摄像头和远景前视摄像头的组合显示；图3(b)是将近景前视摄像头与左(右)侧后视摄像头结合显示，图3(c)是将远景前视摄像头与左(右)侧后视摄像头结合显示，图3(d)是将左右两侧的侧后视摄像头结合显示。默认状态可如图3(a)所示显示，躲避危险时可如图3(b)或3(c)所示显示，转弯时可如图3(d)所示显示。当用户想单独显示某个摄像头时，可切换到单个摄像头显示画面状态。显示界面主要方便用户查看显示当前路况信息，若有异常情况会在界面显示异常信息。显示界面会根据规避原则进行选择性显示重要危险信息，供司机和车内乘客查看提醒。
本实施例中，远景摄像头检测到远处行人的运动方向和速度，并对行人进行实时跟踪，根据车辆当前速度计算两者在未来可能发生碰撞的可能性，如果计算得到危险行人，可以做到提前变道规避或者尽早降速规避。近景摄像头检测到前方该车道内有行人，直接降速和停车躲避，经过远景摄像头的行人检测预处理后车速已提前降低，尽可能为后续近景摄像头检测到危险行人及时降速做准备。
本实施例提出的针对行人和路面异物进行自动检测的方法，通过远、近前视摄像头检测为主、左右侧后视摄像头检测为辅的方式，检测危险后提前预警和预处理规避风险，不仅能够对车内乘客提醒预警，还能帮助驾驶员规避潜在的行车风险。
实施例2
如图4所示，本发明实施例提供了一种基于智能后视镜辅助驾驶的装置，包括：
图像获取模块401，用于通过一个或多个前视摄像头获取车辆前方的路况图像，通过车辆左右两侧的侧后视摄像头获取车辆侧后方的路况图像；
图像分析模块402，用于对所述车辆前方和/或侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件；
报警处理模块403，用于在检测到影响所述车辆行驶的事件时，根据车辆前方和/或侧后方路况图像的分析结果进行报警和避险提示；
在一种实施方式中，当所述前视摄像头包括两个时，其中一个前视摄像头是用于获取车前远景图像的远景前视摄像头，其中另一个前视摄像头是用于获取车前近景图像的近景前视摄像头；
当所述前视摄像头是一个时，所述前视摄像头是用于获取车前近景图像的近景前视摄像头或用于获取车前远景图像的远景前视摄像头。
在一种实施方式中，图像分析模块，用于采用以下方式对所述车辆前方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件：
将行人作为目标对象；在车前远景图像中搜索目标对象；如果搜索到行人，对行人的运动方向和速度进行实时跟踪，根据车辆当前行驶速度预测行人和车辆在未来发生碰撞的可能性；如果预测到行人和车辆在未来可能发生碰撞，则确定影响所述车辆行驶的事件为检测到远处有危险行人；和/或
将行人作为目标对象；在车前近景图像中搜索目标对象；如果搜索到行人，则确定影响所述车辆行驶的事件为检测到近处有危险行人；和/或
将各种路面异物作为目标对象，在车前远景图像中搜索所述目标对象，如果搜索到至少一个目标对象，则确定影响所述车辆行驶的事件为检测到远处路面有异物；和/或
将各种路面异物作为目标对象，在车前近景图像中搜索所述目标对象，如果搜索到至少一个目标对象，则确定影响所述车辆行驶的事件为检测到近处路面有异物。
在一种实施方式中，图像分析模块，用于采用以下方式对所述车辆侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件：
将车辆作为目标对象；
从所述车辆侧后方的路况图像中搜索所述目标对象；
如果搜索到车辆，则将所述搜索到的车辆作为目标车辆，对所述目标车辆的运动方向和速度进行实时跟踪；
如果本车辆当前行驶速度小于本车道内或左右两侧车道内的后方目标车辆的行驶速度，则确定影响所述车辆行驶的事件为车辆不能变道行驶。
在一种实施方式中，报警处理模块，用于根据车辆前方和/或侧后方路况图像的分析结果进行报警和避险提示，执行以下至少一种处理：
如果检测到远处有危险行人且所述车辆能够变道行驶，则提示远处有危险行人的告警信息，并且提示变道躲避或降速规避；
如果检测到远处有危险行人且所述车辆不能够变道行驶，则提示远处有危险行人的告警信息，并且提示降速规避；
如果检测到近处有危险行人，则提示近处有危险行人的告警信息，并且提示降速或停车；
如果检测到远处路面有异物且所述车辆能够变道行驶，则提示远处路面有异物的告警信息，并且提示变道躲避或降速规避；
如果检测到远处路面有异物且所述车辆不能够变道行驶，则提示远处路面有异物的告警信息，并且提示降速规避；
如果检测到近处路面有异物，则提示近处路面有异物的告警信息，并且提示降速或停车。
在一种实施方式中，所述装置还包括：
显示模块404，用于在智能后视镜的屏幕上显示一个摄像头拍摄的图像或者分屏显示多个摄像头拍摄的图像；在检测到存在影响所述车辆行驶的事件时，根据用户的切屏指示或预先设置的屏幕显示策略显示摄像头拍摄的图像。
在一种实施方式中，所述屏幕显示策略包括以下至少一种：
如果检测到远处有危险行人或路面有异物，则分屏显示远景前视摄像头的图像和至少一路侧后视摄像头的图像；
如果检测到近处有危险行人或路面有异物，则全屏显示近景前视摄像头的图像，或分屏显示近景前视摄像头的图像和至少一路侧后视摄像头的图像。
在一种实施方式中，所述前视摄像头与智能后视镜一体设置，或者所述前视摄像头与智能后视镜分体设置；所述侧后视摄像头与所述智能后视镜分体设置；比如，所述侧后视摄像头包括设置在车辆外部左侧的一路侧后视摄像头和设置在车辆外部右侧的另一路侧后视摄像头；
其中，所述前视摄像头与智能后视镜分体设置，包括：所述前视摄像头与智能后视镜通过线缆或无线的方式连接在一起。
在一种实施方式中，图像分析模块，用于采用以下方式在图像中搜索目标对象：根据所述目标对象的目标检测模型对所述图像进行特征提取和分类，确定目标对象的类别。
实施例3
本发明实施例提供了一种基于智能后视镜辅助驾驶的系统，包括：
智能后视镜、前视摄像头和侧后视摄像头；
所述智能后视镜包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于智能后视镜辅助驾驶的程序，所述基于智能后视镜辅助驾驶的程序被所述处理器执行时实现上述基于智能后视镜辅助驾驶的方法的步骤；
所述前视摄像头，用于获取车辆前方的路况图像；
所述侧后视摄像头，用于获取车辆侧后方的路况图像。
在一种实施方式中，所述前视摄像头与所述智能后视镜一体设置，或者所述前视摄像头与智能后视镜分体设置；所述侧后视摄像头与所述智能后视镜分体设置。
比如，所述侧后视摄像头包括设置在车辆外部左侧的一路侧后视摄像头和设置在车辆外部右侧的另一路侧后视摄像头；
其中，所述前视摄像头与智能后视镜分体设置，包括：所述前视摄像头与智能后视镜通过线缆或无线的方式连接在一起；
在一种实施方式中，当所述前视摄像头包括两个时，其中一个前视摄像头是用于获取车前远景图像的远景前视摄像头，其中另一个前视摄像头是用于获取车前近景图像的近景前视摄像头。当所述前视摄像头是一个时，所述前视摄像头是用于获取车前近景图像的近景前视摄像头或用于获取车前远景图像的远景前视摄像头。
如图2所示，智能后视镜配置4个摄像头，摄像头1(20)是远景前视摄像头，摄像头2(30)是近景前视摄像头，摄像头3(10)是设置在车辆外部左侧的一路侧后视摄像头，摄像头4(40)是设置在车辆外部右侧的另一路侧后视摄像头。近景前视摄像头和远景前视摄像头可以上下放置或并排放置。优选地，将一个或多个前视摄像头放置在车辆前挡风玻璃的中央位置。
在智能后视镜的屏幕上显示一个摄像头拍摄的图像或者分屏显示多个摄像头拍摄的图像；在检测到存在影响所述车辆行驶的事件时，根据用户的切屏指示或预先设置的屏幕显示策略显示摄像头拍摄的图像。
本实施例扩展了智能后视镜的用途。通过放置在车辆多个位置的摄像头拍摄车辆前方、两侧及后方的路况画面并显示在智能后视镜的屏幕上，通过图像处理技术对画面内容进行提取、分析和深度计算，实现了行人检测及追踪、车辆检测及追踪以及路面异物的检测。智能后视镜能够在检测到危险行人和路面异物时报警并且进行规避提示，帮助驾驶员和乘客提前规避行车风险，实现了辅助驾驶的功能。
需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (6)
1.一种基于智能后视镜辅助驾驶的方法，包括：
通过一个或多个前视摄像头获取车辆前方的路况图像，通过车辆左右两侧的侧后视摄像头获取车辆侧后方的路况图像；
对所述车辆前方和侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件，包括：
对所述车辆前方的路况图像进行图像分析，检测是否存在以下至少一种影响所述车辆行驶的事件：
将行人作为目标对象；在车前远景图像中搜索目标对象；如果搜索到行人，对行人的运动方向和速度进行实时跟踪，根据车辆当前行驶速度预测行人和车辆在未来发生碰撞的可能性；如果预测到行人和车辆在未来可能发生碰撞，则确定影响所述车辆行驶的事件为检测到远处有危险行人；
将行人作为目标对象；在车前近景图像中搜索目标对象；如果搜索到行人，则确定影响所述车辆行驶的事件为检测到近处有危险行人；
将各种路面异物作为目标对象，在车前远景图像中搜索所述目标对象，如果搜索到至少一个目标对象，则确定影响所述车辆行驶的事件为检测到远处路面有异物；
将各种路面异物作为目标对象，在车前近景图像中搜索所述目标对象，如果搜索到至少一个目标对象，则确定影响所述车辆行驶的事件为检测到近处路面有异物；
对所述车辆侧后方的路况图像进行图像分析，检测是否存在以下影响所述车辆行驶的事件：将车辆作为目标对象，从所述车辆侧后方的路况图像中搜索所述目标对象，如果搜索到车辆，则将所述搜索到的车辆作为目标车辆，对所述目标车辆的运动方向和速度进行实时跟踪，如果本车辆当前行驶速度小于本车道内或左右两侧车道内的后方目标车辆的行驶速度，则确定影响所述车辆行驶的事件为车辆不能变道行驶；
在检测到影响所述车辆行驶的事件时，根据车辆前方和侧后方路况图像的分析结果进行报警和避险提示，包括执行以下至少一种处理：
如果检测到远处有危险行人且所述车辆能够变道行驶，则提示远处有危险行人的告警信息，并且提示变道躲避或降速规避；
如果检测到远处有危险行人且所述车辆不能够变道行驶，则提示远处有危险行人的告警信息，并且提示降速规避；
如果检测到近处有危险行人，则提示近处有危险行人的告警信息，并且提示降速或停车；
如果检测到远处路面有异物且所述车辆能够变道行驶，则提示远处路面有异物的告警信息，并且提示变道躲避或降速规避；
如果检测到远处路面有异物且所述车辆不能够变道行驶，则提示远处路面有异物的告警信息，并且提示降速规避；
如果检测到近处路面有异物，则提示近处路面有异物的告警信息，并且提示降速或停车；
其中，当所述前视摄像头包括两个时，其中一个前视摄像头是用于获取车前远景图像的远景前视摄像头，其中另一个前视摄像头是用于获取车前近景图像的近景前视摄像头；当所述前视摄像头是一个时，所述前视摄像头是用于获取车前近景图像的近景前视摄像头或用于获取车前远景图像的远景前视摄像头。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
在智能后视镜的屏幕上显示一个摄像头拍摄的图像或者分屏显示多个摄像头拍摄的图像；
在检测到存在影响所述车辆行驶的事件时，根据用户的切屏指示或预先设置的屏幕显示策略显示摄像头拍摄的图像。
3.如权利要求2所述的方法，其特征在于：
所述屏幕显示策略包括以下至少一种：
如果检测到远处有危险行人或路面有异物，则分屏显示远景前视摄像头的图像和至少一路侧后视摄像头的图像；
如果检测到近处有危险行人或路面有异物，则全屏显示近景前视摄像头的图像，或分屏显示近景前视摄像头的图像和至少一路侧后视摄像头的图像。
4.一种基于智能后视镜辅助驾驶的装置，包括：
图像获取模块，用于通过一个或多个前视摄像头获取车辆前方的路况图像，通过车辆左右两侧的侧后视摄像头获取车辆侧后方的路况图像；
图像分析模块，用于对所述车辆前方和侧后方的路况图像进行图像分析，检测是否存在影响所述车辆行驶的事件：
对所述车辆前方的路况图像进行图像分析，检测是否存在以下a)-d)中至少一种影响所述车辆行驶的事件：a)将行人作为目标对象；在车前远景图像中搜索目标对象；如果搜索到行人，对行人的运动方向和速度进行实时跟踪，根据车辆当前行驶速度预测行人和车辆在未来发生碰撞的可能性；如果预测到行人和车辆在未来可能发生碰撞，则确定影响所述车辆行驶的事件为检测到远处有危险行人；b)将行人作为目标对象；在车前近景图像中搜索目标对象；如果搜索到行人，则确定影响所述车辆行驶的事件为检测到近处有危险行人；c)将各种路面异物作为目标对象，在车前远景图像中搜索所述目标对象，如果搜索到至少一个目标对象，则确定影响所述车辆行驶的事件为检测到远处路面有异物；d)将各种路面异物作为目标对象，在车前近景图像中搜索所述目标对象，如果搜索到至少一个目标对象，则确定影响所述车辆行驶的事件为检测到近处路面有异物；
对所述车辆侧后方的路况图像进行图像分析，检测是否存在以下影响所述车辆行驶的事件：将车辆作为目标对象，从所述车辆侧后方的路况图像中搜索所述目标对象，如果搜索到车辆，则将所述搜索到的车辆作为目标车辆，对所述目标车辆的运动方向和速度进行实时跟踪，如果本车辆当前行驶速度小于本车道内或左右两侧车道内的后方目标车辆的行驶速度，则确定影响所述车辆行驶的事件为车辆不能变道行驶；
报警处理模块，用于在检测到影响所述车辆行驶的事件时，根据车辆前方和侧后方路况图像的分析结果进行报警和避险提示，包括执行以下至少一种处理：如果检测到远处有危险行人且所述车辆能够变道行驶，则提示远处有危险行人的告警信息，并且提示变道躲避或降速规避；如果检测到远处有危险行人且所述车辆不能够变道行驶，则提示远处有危险行人的告警信息，并且提示降速规避；如果检测到近处有危险行人，则提示近处有危险行人的告警信息，并且提示降速或停车；如果检测到远处路面有异物且所述车辆能够变道行驶，则提示远处路面有异物的告警信息，并且提示变道躲避或降速规避；如果检测到远处路面有异物且所述车辆不能够变道行驶，则提示远处路面有异物的告警信息，并且提示降速规避；如果检测到近处路面有异物，则提示近处路面有异物的告警信息，并且提示降速或停车；
其中，当所述前视摄像头包括两个时，其中一个前视摄像头是用于获取车前远景图像的远景前视摄像头，其中另一个前视摄像头是用于获取车前近景图像的近景前视摄像头；当所述前视摄像头是一个时，所述前视摄像头是用于获取车前近景图像的近景前视摄像头或用于获取车前远景图像的远景前视摄像头。
5.一种基于智能后视镜辅助驾驶的系统，包括：
智能后视镜、前视摄像头和侧后视摄像头；
所述智能后视镜包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于智能后视镜辅助驾驶的程序，所述基于智能后视镜辅助驾驶的程序被所述处理器执行时实现上述权利要求1-3中任一项所述的基于智能后视镜辅助驾驶的方法的步骤；
所述前视摄像头，用于获取车辆前方的路况图像；
所述侧后视摄像头，用于获取车辆侧后方的路况图像。
6.如权利要求5所述的系统，其特征在于：
所述前视摄像头与所述智能后视镜一体设置，或者所述前视摄像头与智能后视镜分体设置；所述侧后视摄像头与所述智能后视镜分体设置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810205449.XA CN108482367B (zh) | 2018-03-13 | 2018-03-13 | 一种基于智能后视镜辅助驾驶的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810205449.XA CN108482367B (zh) | 2018-03-13 | 2018-03-13 | 一种基于智能后视镜辅助驾驶的方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108482367A CN108482367A (zh) | 2018-09-04 |
| CN108482367B true CN108482367B (zh) | 2020-08-18 |
Family
ID=63338958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810205449.XA Active CN108482367B (zh) | 2018-03-13 | 2018-03-13 | 一种基于智能后视镜辅助驾驶的方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108482367B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109774840A (zh) * | 2018-12-07 | 2019-05-21 | 纳恩博（北京）科技有限公司 | 交通工具的控制方法、控制装置、系统和存储介质 |
| CN109816932A (zh) * | 2019-03-26 | 2019-05-28 | 北京小米移动软件有限公司 | 报警系统、报警方法及装置 |
| CN110120110B (zh) * | 2019-04-09 | 2021-11-23 | 深圳市麦谷科技有限公司 | 倒车图像处理方法、装置、计算机设备及存储介质 |
| CN112637418A (zh) * | 2019-09-24 | 2021-04-09 | 华为技术有限公司 | 一种危险提醒方法及装置 |
| CN111583714A (zh) * | 2020-04-27 | 2020-08-25 | 深圳市国脉科技有限公司 | 车辆驾驶预警方法、装置、计算机可读介质及电子设备 |
| CN115131957B (zh) * | 2021-03-19 | 2024-02-23 | 三一汽车制造有限公司 | 路况预警方法及装置 |
| CN113727071A (zh) * | 2021-08-30 | 2021-11-30 | 合众新能源汽车有限公司 | 路况显示方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103786726A (zh) * | 2012-11-05 | 2014-05-14 | 财团法人车辆研究测试中心 | 直觉式节能驾驶辅助方法与系统 |
| CN203780440U (zh) * | 2014-03-14 | 2014-08-20 | 北京汽车股份有限公司 | 一种汽车控制系统及汽车 |
| CN105083291A (zh) * | 2014-04-25 | 2015-11-25 | 歌乐株式会社 | 基于视线检测的驾驶员辅助系统 |
| GB2529578A (en) * | 2015-11-10 | 2016-02-24 | Daimler Ag | Method for assisting a driver of a motor vehicle and assisting device |
| CN105922990A (zh) * | 2016-05-26 | 2016-09-07 | 广州大学 | 一种基于云端机器学习的车辆环境感知和控制方法 |
| CN106143308A (zh) * | 2016-07-18 | 2016-11-23 | 上海交通大学 | 基于智能后视镜的车道偏离预警系统 |
| US9555740B1 (en) * | 2012-09-27 | 2017-01-31 | Google Inc. | Cross-validating sensors of an autonomous vehicle |
| CN107399326A (zh) * | 2016-05-10 | 2017-11-28 | 德韧营运有限责任公司 | 可分级驾驶员辅助系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9139135B2 (en) * | 2012-09-07 | 2015-09-22 | Musaid A. ASSAF | System and method that minimizes hazards of blind spots while driving |
| EP3611472B1 (en) * | 2016-06-27 | 2021-11-24 | Mobileye Vision Technologies Ltd. | Controlling host vehicle based on detected parked vehicle characteristics |
-
2018
- 2018-03-13 CN CN201810205449.XA patent/CN108482367B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9555740B1 (en) * | 2012-09-27 | 2017-01-31 | Google Inc. | Cross-validating sensors of an autonomous vehicle |
| CN103786726A (zh) * | 2012-11-05 | 2014-05-14 | 财团法人车辆研究测试中心 | 直觉式节能驾驶辅助方法与系统 |
| CN203780440U (zh) * | 2014-03-14 | 2014-08-20 | 北京汽车股份有限公司 | 一种汽车控制系统及汽车 |
| CN105083291A (zh) * | 2014-04-25 | 2015-11-25 | 歌乐株式会社 | 基于视线检测的驾驶员辅助系统 |
| GB2529578A (en) * | 2015-11-10 | 2016-02-24 | Daimler Ag | Method for assisting a driver of a motor vehicle and assisting device |
| CN107399326A (zh) * | 2016-05-10 | 2017-11-28 | 德韧营运有限责任公司 | 可分级驾驶员辅助系统 |
| CN105922990A (zh) * | 2016-05-26 | 2016-09-07 | 广州大学 | 一种基于云端机器学习的车辆环境感知和控制方法 |
| CN106143308A (zh) * | 2016-07-18 | 2016-11-23 | 上海交通大学 | 基于智能后视镜的车道偏离预警系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108482367A (zh) | 2018-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108482367B (zh) | 一种基于智能后视镜辅助驾驶的方法、装置及系统 | |
| US10924679B2 (en) | Display device for vehicle and control method thereof | |
| EP3298604B1 (en) | Safety system for a vehicle to detect and warn of a potential collision | |
| US10887568B2 (en) | Image processing apparatus, and image processing method | |
| JP6592074B2 (ja) | 車両制御装置、車両制御方法、プログラム、および情報取得装置 | |
| KR101582572B1 (ko) | 차량 운전 보조 장치 및 이를 구비한 차량 | |
| CN108604413B (zh) | 显示装置的控制方法及显示装置 | |
| US11117520B2 (en) | Display control device, display control system, display control method, and program | |
| EP2741234B1 (en) | Object localization using vertical symmetry | |
| US10531016B2 (en) | On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium | |
| JP2000251198A (ja) | 車両用周辺監視装置 | |
| JP2005202787A (ja) | 車両用表示装置 | |
| CN111959417B (zh) | 汽车全景影像显示控制方法、装置、设备及存储介质 | |
| WO2017208494A1 (ja) | 車両用表示制御装置、車両用表示システム、車両表示制御方法及びプログラム | |
| KR20150072942A (ko) | 차량 운전 보조 장치 및 이를 구비한 차량 | |
| CN116279506A (zh) | 车辆行驶监控方法、装置、车载设备以及存储介质 | |
| US20220292686A1 (en) | Image processing apparatus, image processing method, and computer-readable storage medium storing program | |
| US10864856B2 (en) | Mobile body surroundings display method and mobile body surroundings display apparatus | |
| CN111845347B (zh) | 车辆行车安全的提示方法、车辆和存储介质 | |
| KR101636301B1 (ko) | 차량 충돌 방지 시스템 및 방법 | |
| JP7043795B2 (ja) | 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム | |
| JP6774605B2 (ja) | 表示制御装置、表示装置、表示制御方法及びプログラム | |
| JP2005189936A (ja) | 車両制御システム | |
| KR101748497B1 (ko) | 소리 정보에 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 시스템 | |
| KR20150074753A (ko) | 차량 운전 보조 장치 및 이를 구비한 차량 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |