CN111309023A - 基于环视图像和机器视觉的车道保持控制系统及控制方法 - Google Patents
基于环视图像和机器视觉的车道保持控制系统及控制方法 Download PDFInfo
- Publication number
- CN111309023A CN111309023A CN202010139768.2A CN202010139768A CN111309023A CN 111309023 A CN111309023 A CN 111309023A CN 202010139768 A CN202010139768 A CN 202010139768A CN 111309023 A CN111309023 A CN 111309023A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- driver
- module
- lane
- main controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 230000036626 alertness Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 13
- 230000004886 head movement Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 241001282135 Poromitra oscitans Species 0.000 claims description 5
- 206010048232 Yawning Diseases 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000005611 electricity Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000006996 mental state Effects 0.000 abstract description 2
- 208000003443 Unconsciousness Diseases 0.000 abstract 1
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于环视图像和机器视觉的车道保持控制系统及控制方法，通过环视系统图像和人脸摄像机以及通信模块，获取车辆周围环境信息、基本状态参数和驾驶者面部甚至心电特征，通过神经网络等智能算法，判断驾驶者是否有意愿和意识对车辆进行变道；从而在驾驶者无意识情况下，通过预警模块进行车道偏离预警，在预警无效或者驾驶者没有及时做出反应时，对车辆进行智能控制，使车辆保持在原来车道安全运行，同时对驾驶者进行充分的唤醒；本发明与现有技术相比：具有充分考虑驾驶者的换道意向以及驾驶者的精神状态、系统可靠性高、测量精度高、易于普及推广等优点。
Description
技术领域
本发明涉及车辆自动驾驶技术领域，特别是涉及一种基于环视图像和机器视觉的车道保持控制系统及控制方法。
背景技术
近年来，随着日益增长的高速公路里程数与汽车保有量，道路交通事故急剧增加。据统计，在所有致命的事故中约44％车辆偏离正常车道行驶有关，其最主要的原因是驾驶员注意力不集中或者疲劳驾驶，造成车辆的无意识偏离。为此，国际国内各大汽车企业陆续开发并推出主动安全功能，特别是车道保持辅助系统(LKA)。但现有技术对车道偏离状况往往不够精准，同时对驾驶者的信息结合得不够全面完整。
发明内容
为避免现有技术的不足之处，本发明提出一种基于环视图像和机器视觉的车道保持控制系统设计方案，在现有车道保持辅助系统基础上，引入环视系统和对人脸检测来精准识别车道偏离以及驾驶者的警觉性并给出预警对策，对道路交通管理与行车安全具有重要的意义。环视系统能够使得车辆盲区尽可能的消除，使得对车道偏离的判断更为精准；通过摄像头实时观测驾驶者头部运动特征，而不是获取转向灯信息进行判断，从而对驾驶者是否有意愿换道进行尽可能合理准确的判断；同时对驾驶者面部特征以及通过短距离无线通信，可使得能够获取驾驶者的面部特征和手环的心电信息，来对驾驶者的警觉性辅助得出综合判断，保证车辆的安全运行。
为了达到上述目的，本发明采用如下技术方案：
一种基于环视图像和机器视觉的车道保持控制系统，包括主控制器1、电源模块2、显示模块3、声电警报模块4、处理器5、高速缓冲存储模块6、通信模块7、控制模块8、若干环视摄像头9、人脸摄像头10和若干视频解码器11；其中：
所述主控制器1分别与电源模块2、显示模块3、声电警报模块 4、处理器5、高速缓存模块6、通信模块7、控制模块8和若干视频解码器11相连，若干视频解码器11与若干环视摄像头9和人脸摄像头10一一对应相连；
所述主控制器1依靠电源模块2进行能量供给，将若干视频解码器11解码所得图像以及通信模块7所得心电信息保存于高速缓冲存储模块6，通过处理器5对信息进行处理，处理结果包括：
由显示模块3输出的车身周围环境实时画面和任一摄像头实时捕捉图像，
可输入到控制模块8的车辆实时状态参数，
确定驾驶者的警觉状态以及换道意图，判断是否对声电警报模块 4发出警报信号和是否对控制模块8发出车道保持控制的信号。
所述若干视频解码器11与相对应若干环视摄像头9和人脸摄像头10的安装位置相同，用于对若干环视摄像头9和人脸摄像头10获取的信息实时解码传送给主控制器1。
所述环视摄像头9为超广角摄像头，至少为四个，分别安装在车辆四周，用于对车辆周围图像进行检测；
所述人脸摄像头10的个数设置为一个，安装于驾驶者车门的A 柱上，用于对驾驶者脸部特征以及头部运动进行检测和跟踪，从而对驾驶者换道意愿以及驾驶者的警觉性进行分析判断。
所述声电警报模块4为一声光报警器，接受主控制器1发出的警报信号，并发出警报声响以及闪光。
所述处理器5对图像拼接所得的全景环视图像再进行分析处理，利用车身的宽度是固定的，通过计算车身在图像中所占像素，得出每个像素所表征的实际距离，从而得出车辆与周围物体的距离以及车辆前轮轮轴中心点到x轴的距离；同时利用以及车辆前轮轮轴中心点到 x轴距离计算车辆基本状态参数，传输于主控制器1。
所述通信模块7可通过无线通信传递驾驶者心电图等信息于主控制器1，辅助判断驾驶者的警觉性。
所述处理器5对人脸摄像头10捕捉和追踪的实时图像解码分析处理，计算驾驶者的眨眼频率，打哈欠频率和点头频率以及从通信模块7所得的心电指标变化，对驾驶者的警觉性进行较为全面的分析和综合判断；
并且利用基于积分图和级联检测器的自适应增强算法和稀疏光流跟踪算法对驾驶者头部运动进行检测和追踪，将计算所得的人脸中心横坐标与阈值比较，判断驾驶员是否对车辆后方来车信息有明显的关注，从而对驾驶者的换道意图进行判断。
所述控制模块8用于接收主控制器1给出的控制信号，使得车辆相对于车道线实时横向偏移角，在驾驶者无换道意愿情况下大于预设阈值时，控制车辆朝车道中间位置横向移动，以及预设的纵向减速，以使车辆保持在原来车道内行驶。
所述控制模块8包括阈值设定单元、判断单元和控制单元；
所述阈值设定单元，用于预先设定阈值，用于与所获取的横向偏移角进行比较，阈值通过手动设定时，需根据实际运行情况进行微调，在车辆平均速度60Km/h时设置为3°；
所述判断单元，用于将处理图像所得的横向偏移角与阈值进行比较，判断车辆是否将会或者已经偏离，同时将信息反馈给主控制器1，同时由主控制器1决定是否对控制单元发出信号；
所述控制单元，用于接受判断单元发出的信号，对车辆进行横向偏移量的纠正，使车辆返回正常车道，同时减缓速度，保持车辆安全运行。
所述的基于环视图像和机器视觉的车道保持控制系统的控制方法，主控制器1将来自视频解码器11的环视图像，人脸图像、头部运动信息以及通信模块7接受的驾驶者心电信息交给处理器5进行综合处理；具体包括如下步骤：
步骤S1：处理器5对人脸摄像头10捕捉和追踪的实时图像解码分析处理，计算驾驶者的眨眼频率，打哈欠频率和点头频率以及从通信模块7所得的心电指标变化，利用经过训练的三层BP神经网络对驾驶者的警觉性进行较为全面的分析和综合判断；将不同的驾驶者特征通过输入层信号激励传递于隐含层，对驾驶者的警觉性进行分类从而进行输出，输出层为两个神经元，通过组合来表征四种状态： [0 0]T表示正常前视；[0 1]T表示正常左右侧视；[1 0]T表示不安全俯仰模式状态；[1 1]T表示不安全前视；若判断得驾驶者警觉状态不良，则通过主控制器1对声电报警模块4提前发出警报信号；
步骤S2：处理器5利用基于积分图和级联检测器的自适应增强算法和稀疏光流跟踪算法对驾驶者人脸进行检测和追踪，将驾驶者的人脸检测框确定，从而将前十秒人脸检测框的中心横坐标平均值作为均值，计算实时中心横坐标偏离其均值的距离，与经试验测得的阈值比较，若大于阈值则判断驾驶员对车辆后方来车信息有明显的关注，从而确定驾驶者的换道意图；若确定驾驶者有换道意图则主控制器1 对控制模块8的判断单元发出信号停止判断，不予控制；
步骤S3：处理器5对图像拼接所得的全景环视图像再进行分析处理，利用车身的宽度是固定的，通过计算车身在图像中所占像素，得出每个像素所表征的实际距离，从而得出车辆与周围物体的距离以及车辆前轮轮轴中心点P到x轴的距离x0；同时利用距离x0计算车辆基本状态参数；
步骤S4：若控制模块8未接受到信号停止判断，则进一步判断车辆基本状态参数是否满足阈值判断公式，决定是否对控制单元发出控制信号和对声电报警模块4发出警报信号；向右边偏离和向左偏离的判断公式分别如下：
向右边偏离
向左偏离
其中bw为车辆的宽度，ψ0是设定的阈值，在60Km/h时设置阈值ψ0为3°，xl为设定的安全距离，表示报警临界线到y轴的距离，对于小轿车
对于货车或者大客车
其中w是车道宽度；
步骤S5：若车辆实时参数满足判断公式，则控制模块8的判断单元对控制单元发出控制信号，控制车辆朝车道中间位置进行横向移动，以及纵向减速至所行驶道路规定行驶的最低速度；
同时声电报警模块4接收到主控制器1发出信号，发出声音和光亮提高驾驶者的警觉性。
本发明的优点是，解决车辆偏离距离测量精度不够以及未考虑驾驶者自身意愿的问题，避免车辆偏离车道产生风险。本发明通过环视系统以及机器视觉将驾驶者、车辆与道路三者相互关系进行加强，保证驾驶者安全，车辆安全，以及道路状况正常运行。
附图说明
图1为本发明基于环视图像和机器视觉的车道保持控制系统结构示意图。
图2为本发明基于环视图像和机器视觉的车道保持控制系统软件流程图。
图3为本发明基于环视图像和机器视觉的车道保持控制系统控制模块运行流程图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
本实施例基于环视图像和机器视觉的车道保持控制系统，如图1 所示，本实施例中提供一种基于环视图像和机器视觉的车道保持控制系统，该车道保持控制系统可以包括主控制器1、电源模块2、显示模块3、声光警报模块4、处理器5、高速缓冲存储模块6、通信模块7、控制模块8、若干环视摄像头9、人脸摄像头10和若干视频解码器11；其中：
主控制器1分别与电源模块2、显示模块3、声光警报模块4、处理器5、高速缓存模块6、通信模块7、控制模块8和若干视频解码器11相连；若干视频解码器11与若干环视摄像头9和人脸摄像头 10一一对应相连。
其中，所述若干环视摄像头9至少包括四个超广角摄像头，分别安装在车辆四周，用于对车辆周围图像进行检测；其优选安装位置如下：探测前方的摄像头安装于车辆前中网合适的栅格或车标，两侧分别安装于车身左右两侧后视镜下方位置，尾部的可安装于车后牌照灯位或后备箱扣手位。
人脸摄像头10为一个普通人脸摄像头，用于实时对驾驶者进行面部特征的检测和头部运动的跟踪，对驾驶者的精神状态和换道意向进行判断。其安装于驾驶者车门的A柱上。
主控制器1依靠电源模块2进行能量供给，将若干视频解码器 11解码所得图像以及通信模块7所得心电信息保存于高速缓冲存储模块6，通过处理器5对各方面信息进行处理，处理结果包括：
由显示模块3输出的车身周围环境实时画面(俯视图)和任一摄像头实时捕捉图像，
可输入到控制模块8的车辆实时状态参数，
确定驾驶者的警觉状态以及换道意图，判断是否对声光警报模块4发出警报信号和是否对控制模块8发出车道保持控制的信号。
如图2所示，是控制方法总流程图。主控制器1将来自视频解码器11的环视图像，人脸图像、头部运动信息以及通信模块7接受的驾驶者心电信息交给处理器5进行综合处理；
步骤S1：处理器5对人脸摄像头10捕捉和追踪的实时图像解码分析处理，计算驾驶者的眨眼频率，打哈欠频率和点头频率以及从通信模块7所得的心电指标变化(可选)，利用经过训练的三层BP神经网络对驾驶者的警觉性进行较为全面的分析和综合判断；将不同的驾驶者特征通过输入层信号激励传递于隐含层，对驾驶者的警觉性进行分类从而进行输出，输出层为两个神经元，通过组合来表征四种状态： [0 0]T表示正常前视；[0 1]T表示正常左右侧视；[1 0]T表示不安全俯仰模式状态；[1 1]T表示不安全前视；若判断得驾驶者警觉状态不良，则通过主控制器1对声电报警模块4提前发出警报信号；
步骤S2：处理器5利用基于积分图和级联检测器的自适应增强算法和稀疏光流跟踪算法对驾驶者人脸进行检测和追踪，将驾驶者的人脸检测框确定，从而将前十秒人脸检测框的中心横坐标平均值作为均值，计算实时中心横坐标偏离其均值的距离，与经试验测得的阈值 20像素比较，若大于阈值则判断驾驶员对车辆后方来车信息有明显的关注，从而确定驾驶者的换道意图；若确定驾驶者有换道意图则主控制器1对控制模块8的判断单元发出信号停止判断，不予控制；
步骤S3：处理器5对图像拼接所得的全景环视图像再进行分析处理，利用车身的宽度是固定的，通过计算车身在图像中所占像素，得出每个像素所表征的实际距离，从而可得出车辆与周围物体的距离以及车辆前轮轮轴中心点P到x轴的距离x0；同时可利用距离计算车辆基本状态参数如横向偏移角Ψ和速度V等。附计算公式：
其中L为车中心点到车前轮轮轴中心点的距离；
步骤S4：若控制模块8未接受到信号停止判断，则进一步判断车辆基本状态参数是否满足阈值判断公式，决定是否对控制单元发出控制信号和对声电报警模块4发出警报信号；向右边偏离和向左偏离的判断公式分别如下：
向右边偏离
向左偏离
其中bw为车辆的宽度，ψ0是设定的阈值，在60Km/h时设置阈值ψ0为3°，xl为设定的安全距离，表示报警临界线到y轴的距离，对于小轿车
对于货车或者大客车
其中w是车道宽度；
步骤S5：若车辆实时参数满足判断公式，则控制模块8的判断单元对控制单元发出控制信号，控制车辆朝车道中间位置进行横向移动，以及适当的纵向减速至所行驶道路规定行驶的最低速度，一般设定为40Km/h；
同时声电报警模块4接收到主控制器1发出信号，发出声音和光亮提高驾驶者的警觉性。
如图3所示，控制模块8的运作示意图。控制模块8中阈值ψ0设定单元可手动设定，并可根据实际路况进行简单调整。在60Km/h时设置阈值ψ0大概为3°。
若确定驾驶者有换道意图，主控制器1会对判断单元进行控制，停止对控制单元发出信号；
否则，判断单元发现车道偏离情况时，及时对控制单元和主控制器1同时传递信号，控制单元会控制车辆横向偏移，保障车辆回到正常轨道中来，并减缓纵向速度至所行驶道路规定行驶的最低速度，一般设定为40Km/h，使得有充分时间，及时对驾驶者进行提示；
主控制器1接收到判断单元的信号，可利用声光警报模块对驾驶者进行有效的警醒，提高驾驶者的警觉性，从而保证车辆正常运行。
至此，本领域技术人员应认识到，虽然本文只结合具体的较佳实施例对本发明进一步说明，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (10)
1.一种基于环视图像和机器视觉的车道保持控制系统，其特征在于：包括主控制器(1)、电源模块(2)、显示模块(3)、声电警报模块(4)、处理器(5)、高速缓冲存储模块(6)、通信模块(7)、控制模块(8)、若干环视摄像头(9)、人脸摄像头(10)和若干视频解码器(11)；其中：
所述主控制器(1)分别与电源模块(2)、显示模块(3)、声电警报模块(4)、处理器(5)、高速缓存模块(6)、通信模块(7)、控制模块(8)和若干视频解码器(11)相连，若干视频解码器(11)与若干环视摄像头(9)和人脸摄像头(10)一一对应相连；
所述主控制器(1)依靠电源模块(2)进行能量供给，将若干视频解码器(11)解码所得图像以及通信模块(7)所得心电信息保存于高速缓冲存储模块(6)，通过处理器(5)对信息进行处理，处理结果包括：
由显示模块(3)输出的车身周围环境实时画面和任一摄像头实时捕捉图像，
可输入到控制模块(8)的车辆实时状态参数，
确定驾驶者的警觉状态以及换道意图，判断是否对声电警报模块(4)发出警报信号和是否对控制模块(8)发出车道保持控制的信号。
2.如权利要求1所述的基于环视图像和机器视觉的车道保持控制系统，其特征在于：所述若干视频解码器(11)与相对应若干环视摄像头(9)和人脸摄像头(10)的安装位置相同，用于对若干环视摄像头(9)和人脸摄像头(10)获取的信息实时解码传送给主控制器(1)。
3.如权利要求1所述的基于环视图像和机器视觉的车道保持控制系统，其特征在于：所述环视摄像头(9)为超广角摄像头，至少为四个，分别安装在车辆四周，用于对车辆周围图像进行检测；
所述人脸摄像头(10)的个数设置为一个，安装于驾驶者车门的A柱上，用于对驾驶者脸部特征以及头部运动进行检测和跟踪，从而对驾驶者换道意愿以及驾驶者的警觉性进行分析判断。
4.如权利要求1所述的基于环视图像和机器视觉的车道保持控制系统，其特征在于：所述声电警报模块(4)为一声光报警器，接受主控制器(1)发出的警报信号，并发出警报声响以及闪光。
5.如权利要求1所述的基于环视图像和机器视觉的车道保持控制系统，其特征在于：所述处理器(5)对图像拼接所得的全景环视图像再进行分析处理，利用车身的宽度是固定的，通过计算车身在图像中所占像素，得出每个像素所表征的实际距离，从而得出车辆与周围物体的距离以及车辆前轮轮轴中心点到x轴的距离；同时利用以及车辆前轮轮轴中心点到x轴距离计算车辆基本状态参数，传输于主控制器(1)。
6.如权利要求1所述的基于环视图像和机器视觉的车道保持控制系统，其特征在于：所述通信模块(7)可通过无线通信传递驾驶者心电图等信息于主控制器(1)，辅助判断驾驶者的警觉性。
7.如权利要求1所述的基于环视图像和机器视觉的车道保持控制系统，其特征在于：所述处理器(5)对人脸摄像头(10)捕捉和追踪的实时图像解码分析处理，计算驾驶者的眨眼频率，打哈欠频率和点头频率以及从通信模块(7)所得的心电指标变化，对驾驶者的警觉性进行较为全面的分析和综合判断；
并且利用基于积分图和级联检测器的自适应增强算法和稀疏光流跟踪算法对驾驶者头部运动进行检测和追踪，将计算所得的人脸中心横坐标与阈值比较，判断驾驶员是否对车辆后方来车信息有明显的关注，从而对驾驶者的换道意图进行判断。
8.如权利要求1所述的基于环视图像和机器视觉的车道保持控制系统，其特征在于：所述控制模块(8)用于接收主控制器(1)给出的控制信号，使得车辆相对于车道线实时横向偏移角，在驾驶者无换道意愿情况下大于预设阈值时，控制车辆朝车道中间位置横向移动，以及预设的纵向减速，以使车辆保持在原来车道内行驶。
9.如权利要求1所述的基于环视图像和机器视觉的车道保持控制系统，其特征在于：所述控制模块(8)包括阈值设定单元、判断单元和控制单元；
所述阈值设定单元，用于预先设定阈值，用于与所获取的横向偏移角进行比较，阈值通过手动设定时，需根据实际运行情况进行微调，在车辆平均速度60Km/h时设置为3°；
所述判断单元，用于将处理图像所得的横向偏移角与阈值进行比较，判断车辆是否将会或者已经偏离，同时将信息反馈给主控制器(1)，同时由主控制器(1)决定是否对控制单元发出信号；
所述控制单元，用于接受判断单元发出的信号，对车辆进行横向偏移量的纠正，使车辆返回正常车道，同时减缓速度，保持车辆安全运行。
10.权利要求1至9任一项所述的基于环视图像和机器视觉的车道保持控制系统的控制方法，其特征在于：主控制器(1)将来自视频解码器(11)的环视图像，人脸图像、头部运动信息以及通信模块(7)接受的驾驶者心电信息交给处理器(5)进行综合处理；具体包括如下步骤：
步骤S1：处理器(5)对人脸摄像头(10)捕捉和追踪的实时图像解码分析处理，计算驾驶者的眨眼频率，打哈欠频率和点头频率以及从通信模块(7)所得的心电指标变化，利用经过训练的三层BP神经网络对驾驶者的警觉性进行较为全面的分析和综合判断；将不同的驾驶者特征通过输入层信号激励传递于隐含层，对驾驶者的警觉性进行分类从而进行输出，输出层为两个神经元，通过组合来表征四种状态：[0 0]T表示正常前视；[0 1]T表示正常左右侧视；[1 0]T表示不安全俯仰模式状态；[1 1]T表示不安全前视；若判断得驾驶者警觉状态不良，则通过主控制器(1)对声电报警模块(4)提前发出警报信号；
步骤S2：处理器(5)利用基于积分图和级联检测器的自适应增强算法和稀疏光流跟踪算法对驾驶者人脸进行检测和追踪，将驾驶者的人脸检测框确定，从而将前十秒人脸检测框的中心横坐标平均值作为均值，计算实时中心横坐标偏离其均值的距离，与经试验测得的阈值比较，若大于阈值则判断驾驶员对车辆后方来车信息有明显的关注，从而确定驾驶者的换道意图；若确定驾驶者有换道意图则主控制器(1)对控制模块(8)的判断单元发出信号停止判断，不予控制；
步骤S3：处理器(5)对图像拼接所得的全景环视图像再进行分析处理，利用车身的宽度是固定的，通过计算车身在图像中所占像素，得出每个像素所表征的实际距离，从而得出车辆与周围物体的距离以及车辆前轮轮轴中心点P到x轴的距离x0；同时利用距离x0计算车辆基本状态参数；
步骤S4：若控制模块(8)未接受到信号停止判断，则进一步判断车辆基本状态参数是否满足阈值判断公式，决定是否对控制单元发出控制信号和对声电报警模块(4)发出警报信号；向右边偏离和向左偏离的判断公式分别如下：
向右边偏离
向左偏离
其中bw为车辆的宽度，ψ0是设定的阈值，在60Km/h时设置阈值ψ0为3°，xl为设定的安全距离，表示报警临界线到y轴的距离，对于小轿车
对于货车或者大客车
其中w是车道宽度；
步骤S5：若车辆实时参数满足判断公式，则控制模块(8)的判断单元对控制单元发出控制信号，控制车辆朝车道中间位置进行横向移动，以及纵向减速至所行驶道路规定行驶的最低速度；
同时声电报警模块(4)接收到主控制器(1)发出信号，发出声音和光亮提高驾驶者的警觉性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010139768.2A CN111309023A (zh) | 2020-03-03 | 2020-03-03 | 基于环视图像和机器视觉的车道保持控制系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010139768.2A CN111309023A (zh) | 2020-03-03 | 2020-03-03 | 基于环视图像和机器视觉的车道保持控制系统及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111309023A true CN111309023A (zh) | 2020-06-19 |
Family
ID=71158581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010139768.2A Pending CN111309023A (zh) | 2020-03-03 | 2020-03-03 | 基于环视图像和机器视觉的车道保持控制系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111309023A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102991504A (zh) * | 2012-12-07 | 2013-03-27 | 长安大学 | 一种对驾驶员换道安全性进行判断并预警的装置及方法 |
| CN106004884A (zh) * | 2016-07-11 | 2016-10-12 | 南昌工学院 | 基于复合传感实现路情实时识别和危险判断的方法及其系统 |
| CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学（武汉） | 一种车辆前向防撞预警方法及系统 |
| CN109829403A (zh) * | 2019-01-22 | 2019-05-31 | 淮阴工学院 | 一种基于深度学习的车辆防碰撞预警方法及系统 |
| EP3552897A1 (en) * | 2018-04-11 | 2019-10-16 | Hyundai Motor Company | Apparatus and method for controlling drive of vehicle |
| JP2019185535A (ja) * | 2018-04-13 | 2019-10-24 | 株式会社Ｓｏｋｅｎ | 車両の走行路認識装置及び走行制御装置 |
| CN110435652A (zh) * | 2019-08-27 | 2019-11-12 | 北京茵沃汽车科技有限公司 | 车道偏离预警方法、系统、装置以及存储介质 |
| KR102053794B1 (ko) * | 2018-08-09 | 2019-12-09 | 연세대학교원주산학협력단 | 생체신호를 이용한 차량 간 운전자의 주행의도정보 상호전달 시스템 및 그 제어방법 |
-
2020
- 2020-03-03 CN CN202010139768.2A patent/CN111309023A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102991504A (zh) * | 2012-12-07 | 2013-03-27 | 长安大学 | 一种对驾驶员换道安全性进行判断并预警的装置及方法 |
| CN106004884A (zh) * | 2016-07-11 | 2016-10-12 | 南昌工学院 | 基于复合传感实现路情实时识别和危险判断的方法及其系统 |
| CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学（武汉） | 一种车辆前向防撞预警方法及系统 |
| EP3552897A1 (en) * | 2018-04-11 | 2019-10-16 | Hyundai Motor Company | Apparatus and method for controlling drive of vehicle |
| JP2019185535A (ja) * | 2018-04-13 | 2019-10-24 | 株式会社Ｓｏｋｅｎ | 車両の走行路認識装置及び走行制御装置 |
| KR102053794B1 (ko) * | 2018-08-09 | 2019-12-09 | 연세대학교원주산학협력단 | 생체신호를 이용한 차량 간 운전자의 주행의도정보 상호전달 시스템 및 그 제어방법 |
| CN109829403A (zh) * | 2019-01-22 | 2019-05-31 | 淮阴工学院 | 一种基于深度学习的车辆防碰撞预警方法及系统 |
| CN110435652A (zh) * | 2019-08-27 | 2019-11-12 | 北京茵沃汽车科技有限公司 | 车道偏离预警方法、系统、装置以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 李玲玲: "基于多视觉信息融合的驾驶员疲劳检测方法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 黄贤丞: "驾驶员换道意图辨识的研究", 《中国优秀硕士学位论文全文数据库 工程科技2辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110517521B (zh) | 一种基于路车融合感知的车道偏离预警方法 | |
| US11661075B2 (en) | Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements | |
| CN108583432B (zh) | 一种基于图像识别技术的智能a柱盲区预警装置与方法 | |
| CN107176165B (zh) | 车辆的控制装置 | |
| CN110775028B (zh) | 一种汽车挡风玻璃遮挡物检测及辅助驾驶系统和方法 | |
| US20130088578A1 (en) | Image processing apparatus and vehicle | |
| CN111942282B (zh) | 车辆及其驾驶盲区预警方法、装置、系统和存储介质 | |
| US11180164B2 (en) | Vehicle control apparatus, vehicle, and control method | |
| CN111016899B (zh) | 一种基于大数据的车辆变道监控和预测系统 | |
| CN110667475A (zh) | 一种客车盲区辅助监测系统及方法 | |
| Chen et al. | Real-time approaching vehicle detection in blind-spot area | |
| CN113276770A (zh) | 基于安全和低成本需求的商用车全盲区监测系统和方法 | |
| CN114801993B (zh) | 一种汽车盲区监控系统 | |
| KR20180064639A (ko) | 자동차 및 그 제어 방법 | |
| CN114360210A (zh) | 一种车辆疲劳驾驶预警系统 | |
| CN113470433A (zh) | 基于v2i的车辆内轮差区域危险预警方法、系统、车辆及路侧设备 | |
| CN113470432A (zh) | 基于v2v的车辆内轮差区域危险预警方法、系统及车辆 | |
| CN204354915U (zh) | 一种车辆变道辅助系统 | |
| CN115862383B (zh) | 一种基于不确定性的车辆盲区潜在风险量化方法 | |
| CN115299948A (zh) | 一种驾驶员疲劳检测方法及检测系统 | |
| CN111309023A (zh) | 基于环视图像和机器视觉的车道保持控制系统及控制方法 | |
| CN110558998A (zh) | 一种基于adas系统的汽车疲劳驾驶检测控制方法 | |
| CN115892029A (zh) | 一种基于驾驶人注意力评估的汽车智能盲区监测及预警系统 | |
| KR102658924B1 (ko) | 자율주행 차량의 보복 운전 제어 시스템 | |
| CN114559960A (zh) | 一种基于融合前视摄像头和后毫米波雷达的碰撞预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200619 |