CN116968765B - 一种具有自适应报警时距的车道偏离报警方法及系统 - Google Patents
一种具有自适应报警时距的车道偏离报警方法及系统 Download PDFInfo
- Publication number
- CN116968765B CN116968765B CN202311223420.1A CN202311223420A CN116968765B CN 116968765 B CN116968765 B CN 116968765B CN 202311223420 A CN202311223420 A CN 202311223420A CN 116968765 B CN116968765 B CN 116968765B
- Authority
- CN
- China
- Prior art keywords
- driver
- vehicle
- time
- lane
- warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000035484 reaction time Effects 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 claims 2
- 230000000007 visual effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- VDPRSOCKHVPZRS-UHFFFAOYSA-N 1-(2-decylsulfanylethyl)pyrrolidin-2-one Chemical compound CCCCCCCCCCSCCN1CCCC1=O VDPRSOCKHVPZRS-UHFFFAOYSA-N 0.000 description 1
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于辅助驾驶技术领域，具体涉及一种具有自适应报警时距的车道偏离报警方法及系统，报警系统，包括监控模块、运动控制模块、交互模块、用于控制监控模块、运动控制模块、交互模块的运行和信息处理的域控控制器，域控控制器中设置包含驾驶员的性别、年龄以及对应的反应时间的数据库，域控控制器中设置有自适应时距计算模块，该计算模块结合驾驶员反应时间和系统延迟时间人机反应需求时间并做出报警判断。综合驾驶员反应时间、分神状态和系统延时计算人机反应时间，判断系统是否进行车道偏离报警。本申请结合车辆系统延时，计算不同的报警时距，给不同年龄、性别、分神状态的人提供及时的报警，在保证车道预警的安全性的同时降低误警率。
Description
技术领域
本申请涉辅助驾驶技术领域，具体涉及一种具有自适应报警时距的车道偏离报警方法及系统。
背景技术
车道偏离预警系统能够提醒驾驶员因疲劳驾驶、注意力不集中而导致的车道偏离，从而减少因为车道偏离造成的交通事故，成为了近年来汽车安全领域的研究热点之一。
目前车道偏离报警主要利用前视摄像头感知车道线宽度及自车在车道内的姿态，结合车辆姿态、转角、车速传感器等传感器预判的自车运动趋势及轨迹，从而判断车辆驶出车道的距离，同时在决策阶段考虑驾驶员是否处于分神状态，若无驾驶员干预且处于分神状态，则减小决策距离，当预估距离小于决策距离时通过大屏进行车道线光学报警，同时通过组合仪表进行声学报警。
为了提高预警效果，报警决策提前进行预警，但是现有的预警系统所采用的基础时距参数为固定值，不能根据驾驶员性别、年龄、分神等级不同而需要的反应时间不同来自适应调整报警触发的时距，而且现有的驾驶员分神状态判断所采用的算法为基于面部几何特征的算法，而这种算法泛化能力弱，不能很好完成分神状态准确分级，从而导致误警率较高，同时驾驶员某些情况下有意靠近车道线时触发误报警，而频繁的误报警会让驾驶员对车道偏离预警系统失去信任或关闭报警系统，从而不能很好平衡安全性和误报率。
发明内容
本发明要解决的技术问题是：现有的预警系统根据分神状态以及车辆行驶状态为基础，参照固定的基础时距参数对车道偏离进行预警，虽然安全性较高，但是不能根据驾驶员性别、年龄、分神等级不同而需要的反应时间不同来自适应调整报警触发的时距，误警率较高。
为此，本发明提供一种具有自适应报警时距的车道偏离报警系统及方法，在保证车道预警的安全性的同时，降低误警率。
本发明解决其技术问题所采用的技术方案是：
一种具有自适应报警时距的车道偏离报警方法，包括以下步骤，
获取驾驶员的性别、年龄信息，并计算驾驶员反应时间Tf；
判断驾驶员分神状态，并根据分神状态确定对应的不同车道报警线和系统反应时间系数ψ；
根据车辆在车道内的相对位置、报警线、车辆运动及姿态信息，计算实际预估跨线时间TLC；
综合系统延时和驾驶员反应时间计算人机反应需求时间T；
比较人机反应需求时间T和车辆实际预估跨线时间TLC的大小，判断系统是否进行车道偏离报警。
通过采用上述技术方案，结合交互模块的设计，在驾驶员感知模块中通过监控模块的输入，辨别出驾驶员的性别、年龄、分神状态，根据性别、年龄、分神状态的结果，提高驾驶员性别、年龄、分神状态准确性，并且结合车辆系统延时，计算不同的报警时距，保证给不同年龄阶段、性别、分神状态的人提供及时的报警，同时避免对专注的驾驶员的频繁误报警，降低对驾驶员干扰。
进一步地，驾驶员通过车载中控大屏输入驾驶员当前的性别、年龄，或车辆上的域控控制器通过识别驾驶员面部信息获取驾驶员当前的性别、年龄，形成驾驶员的年龄和性别矩阵W，矩阵W为2列N行的矩阵，N为驾驶员的年龄跨度，第一列为女性，第二列为男性，第一行为n岁，第二行为n+1岁以此类推，相应岁数置为1，其余位置为0。
进一步地，数据库中的矩阵G与矩阵W相乘得驾驶员反应时间矩阵F，计算反应时间矩阵F的模即为驾驶员反应时间。
通过采用上述技术方案，通过矩阵的运算，对驾驶员反应时间进行筛选，缩短了驾驶员反应时间计算时间，减小系统运算负荷，减小系统在运行时的延时，从而可以缩短人机反应需求时间，降低误警率，及时有效的对驾驶员发出预警，减少事故发生的可能性。
进一步地，当系统初次初始化的时候，系统时延设置初始值为=0；当系统报警时，车辆上的域控控制器发出报警信号时刻为t1，报警信号到接收到大屏和组合仪表反馈的报警状态时刻为t2，则新的系统时延为：/>。
通过采用上述技术方案，建立反应时间与性别、年龄的映射关系，以获得较为准确的驾驶员反应时间，提高车道偏离预警的安全性；结合驾驶员的分神状态，避免不必要的误报警和报警过晚，提高系统的可靠性和安全性，并且通过在线接收执行器状态反馈计算系统延时，结合驾驶员反应时间、分神等级，计算自适应时距，给驾驶员充足的安全操作时间。
进一步地，所述人机反应需求时间。
进一步地，当驾驶员分心时，选取车辆所在车道的左右侧车道线作为报警线，设置其分神状态A=1；当驾驶员未分心时，选取距离车辆所在车道左右车道线远离车辆一侧合适距离的预警线作为报警线，设置其分神状态A=0，则。
进一步地，车辆中心与报警线之间的横向距离为L，，其中D为车道线与车辆中轴线之间的距离，d为车道线与其外侧预警线之间的距离；定义当前车辆速度为/>，当前车辆朝向报警线的偏转角度为θ，计算车辆实际预估跨线时间：
。
一种具有自适应报警时距的车道偏离报警系统，包括，
监控模块，所述监控模块用于感知车道线宽度及自车在车道内的姿态、车辆运动状态以及通过人工智能算法监控识别驾驶员的分神状态；
运动控制模块，所述运动控制模块用于控制车辆行驶状态和行驶趋势；
交互模块，所述交互模块用于实现驾驶员与车辆域控之间的人机交互操作；
域控控制器，所述域控控制器用于控制监控模块、运动控制模块、交互模块的运行和信息处理，所述域控控制器中设置有人员数据库，所述数据库为矩阵G，所述矩阵G包括驾驶员的性别、年龄以及对应的驾驶员的反应时间，所述域控控制器中设置有自适应时距计算模块，该计算模块结合驾驶员反应时间和系统延迟时间人机反应需求时间并做出报警判断。
通过采用上述技术方案，结合交互模块的设计，在驾驶员感知模块中通过监控模块的输入，经过基于神经网络的人工智能算法，提高驾驶员性别、年龄、分神状态准确性，通过驾驶员面部信息，辨别出驾驶员的性别、年龄、分神状态，根据性别、年龄、分神状态的结果，并且结合车辆系统延时，计算不同的报警时距，保证给不同年龄阶段、性别、分神状态的人提供及时的报警，在保证安全性的同时，避免对专注的驾驶员的频繁误报警，降低对驾驶员干扰。
进一步地，所述矩阵G为N列2行的矩阵，其中行表示性别，列表示年龄，第一行为女性反应时间数据，第二行为男性的反应时间数据，第一列为n岁男女性反应时间，第二列为n+1岁，其他的以此类推。
通过采用上述技术方案，对采集到的驾驶员数据进行分类和整理，对同年龄段男性驾驶员、女性驾驶员的反应时间数据以取平均值的方式对反应时间数据进行整理，从而简化数据库，减小数据筛选时间，缩短系统识别驾驶员所消耗的时间，从而可以减小系统运算负荷，减小系统在运行时的延时。
进一步地，所述交互模块包括车载中控大屏，所述车载中控大屏为触摸显示屏，所述车载中控大屏可以实现语音播报以及语音输入。
本发明的有益效果是，本发明能够结合HMI设计，在驾驶员感知模块中通过驾驶员视觉监视传感器的输入，经过基于神经网络的人工智能算法，提高驾驶员性别、年龄、分神状态准确性，通过驾驶员面部信息，辨别出驾驶员的性别、年龄、分神状态，根据性别、年龄、分神状态的结果，并且结合车辆系统延时，计算不同的报警时距，保证给不同年龄阶段、性别、分神状态的人提供及时的报警，同时避免对专注的驾驶员的频繁误报警，降低对驾驶员干扰。
此外系统在自适应时距计算模块中建立反应时间与性别、年龄的映射关系，以获得较为准确的驾驶员反应时间，提高车道偏离预警的安全性；结合驾驶员的分神状态，避免不必要的误报警和报警过晚，提高系统的可靠性和安全性，并且通过在线接收执行器状态反馈计算系统延时，结合驾驶员反应时间、分神等级，计算自适应时距，给驾驶员充足的安全操作时间。并且在驾驶员输入性别年龄的情况下，将人脸信息与年龄、性别、日期绑定，此后通过人脸识别出人员后直接通过日期计算年龄，避免人脸识别的年龄造成的误差。
综合驾驶员分神状态、反应时间以及系统延时计算人机反应需求时间，可以更为准确可靠的报警时距，有效平衡了车道偏离预警系统的安全性和可靠性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明中车道偏离报警系统的结构示意图。
图2是本发明中车道偏离报警方法的流程示意图。
图3是本发明中车载中控大屏人机互动流程示意图。
图4是本发明中改进CNN-SE-ELM算法模型的示意图。
图5是本发明中的中控大屏与报警系统之间互动作业的流程图。
图6是本发明中车道报警线的示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照图1，一种具有自适应报警时距的车道偏离报警系统，包括域控控制器、监控模块、运动控制模块、交互模块。监控模块包括前视视觉传感器、驾驶员监测视觉传感器，前视视觉传感器设置在车前，用于对车道线进行检测；驾驶员监测视觉传感器用于对驾驶员进行识别和监控驾驶员状态，前视视觉传感器、驾驶员监测视觉传感器通过GMSL数据传输方式与域控控制器信号连接。
运动控制模块用于控制和监测车辆行驶状态，包括车辆运动状态及姿态信息以及转向传感器，车辆运动状态及姿态信息、转向传感器与域控控制器通过CAN串行通信协议实现信号传输。
交互模块包括车载中控大屏HMI、车载组合仪表，车载中控大屏为触摸显示屏，可以实现车辆域控控制器与驾驶员之间的人机交互操作，驾驶员可以通过语音通过车载中控大屏实现信息的输入和获取，车载组合仪表用于显示车辆状态，车载中控大屏、车载组合仪表与域控控制器通过CAN串行通信协议实现信号传输。
域控控制器控制监控模块、运动控制模块、交互模块的运行和信息处理，域控控制器中设置有人员数据库，该人员数据库内的信息是采集了大量的驾驶员的样本信息进行分类整理后形成的，该人员数据库的表现形式为包含驾驶员的性别、年龄以及对应的驾驶员的反应时间的N列2行的矩阵G，N为驾驶员的年龄跨度，由于驾驶员的年龄一般为18～70周岁，因此矩阵G为53列2行的矩阵，行表示性别，列表示年龄，第一行为女性反应时间数据，第二行为男性的反应时间数据，第一列为18岁男女性反应时间，第二列为19岁，其他的以此类推。
上述矩阵G中F18表示18岁女性驾驶员的反应时间，F70表示70岁女性驾驶员的反应时间，M18表示18岁男性驾驶员的反应时间，M70表示70岁男性驾驶员的反应时间。
参照图2，一种车道偏离报警方法，包括以下步骤，
步骤一：获取驾驶员的性别、年龄信息，并计算驾驶员反应时间。
S1.1：参照图3，汽车启动后，HMI大屏启动语音提示驾驶员输入驾驶员信息，驾驶员语音输入其性别年龄，HMI大屏启动语音识别功能，判断其语音输入是否成功，若输入成功，则HMI大屏语音重复驾驶员输入的年龄性别信息，并提示驾驶员确认信息；若语音输入不成功，则HMI大屏语音提示驾驶员在HMI大屏上通过文本输入其年龄性别，并显示文本输入界面。
信息成功输入后，HMI大屏将信息传递至域控控制器，域控控制器储存本次驾驶员输入的性别、年龄以及输入时间，并通过改进型CNN-SE-ELM算法模型获取人脸识别的特征，储存获取的人脸识别的特征和大屏输入的驾驶员的性别、年龄及当前日期。并将驾驶员输入的性别、年龄生成W输入到自适应时距计算模块。
S1.2：汽车启动后若HMI大屏没有成功输入完整的信息而无法生成有效的年龄、性别矩阵W（非全0元素），则启动驾驶员监测视觉传感器，驾驶员监测视觉传感器采用CCD获取驾驶员的面部信息，基于CCD获取的图像检测人脸，利用改进的CNN-SE-ELM算法模型对人脸信息进行识别比对和性别、年龄的识别，最终输出驾驶员的年龄、性别矩阵W。
参照图4，在改进型的CNN-SE-ELM算法模型中，通过误差最小化极限学习机（EM-ELM）作为分类器以实现面部图像的性别及年龄分类，从而判断输出驾驶员的年龄和性别53x2的W矩阵。具体的，改进的CNN-SE-ELM算法模型包括输入模块、运算模块、输出模块以及仲裁模块，输入模块为前端人脸输入卷积特征提取模块，其基于CCD获取的图像检测人脸，输入模块的CNN层为包含粗略（P-Net）、半精细（R-Net）、精细（O-Net）3 种不同精度的网络结构的多任务级联卷积网络MTCNN。首先对从CNN层输入图像进行不同尺度的缩放，将缩放后的金字塔图像送入三层级联网络依次处理，回归出人脸位置（bounding box）、人脸关键点（facial landmark）、人脸分类置信度（classification）。然后对输入图像使用人脸位置的相关参数截取人脸，最后使用人脸关键点对齐人脸。然后将对齐的人脸信息进行CNN低级特征提取后分成两个部分输入运算模块，运算模块中设置有两个运算回路，特征信息分别输入两个运算回路。
具体的，上述改进型的CNN-SE-ELM算法模型，回路A由depthwise conv后续模块、人脸分类模块和存储计算模块构成。运算回路A中L-mobilenet v2中的depthwise conv后续模块进行高级的人脸特征提取。将CNN层获取低级特征输入L-mobilenet v2进行进一步的高级人脸特征提取，得到长度128维的特征向量，并将获取人脸信息并比对判定驾驶员是否输入过信息，通过存储计算模块比对得到的长度128维的特征向量和存储的特征向量的欧式距离，从而判定两张人脸是否为同一个人，判定是否存在驾驶员的身份信息，身份信息包括年龄、性别，以及反应时间。
若存在，则根据日期直接通过存储计算模块得出用于表示驾驶员的年龄和性别的2列N行的矩阵W，具体的，矩阵W为2列53行的矩阵，第一列为女性，第二列为男性，第一行为18岁，第二行为19岁以此类推，相应岁数置为1，其余位置为0，并且通过第一个逻辑计算模块根据时间差输出驾驶员年龄性别信息至输出模块；若不存在则将W中的数值全部重置为0，以待下一次的运算。
例如，，表示识别到的或是输入信息的当前驾驶员为18岁女性驾驶员。
具体的，回路B 由SENet和EM-ELM分类器、存储计算模块构成，SENet子网由Squeeze、Excitation、Scale三个部分组成；EM-ELM分类器由Input、Hidden、Output以及输出层组成。改进的CNN-SE-ELM模型首先通过MTCNN进行人脸图像的预处理，即：(1)对输入的人脸图像进行检查并裁剪提取人脸区域；(2)对人脸区域图像进行归化处理。运算回路B中经过CNN层卷积操作对人脸区域图像进行特征提取的信息在回路B中被输入SENet网络层，其中Squeeze操作采用全局平均池化操作使其具有全局的感受，压缩图像变为一维。Excitation操作采用门机制，同时限制模型复杂度，辅助泛化先进行降维再进行升维，最后，通过EM-ELM分类器对人脸图像进行分类，输出性别、年龄矩阵W。输出模块将接收到的两个运算回路中的结果均输入仲裁模块，仲裁模块在运算回路A有输出结果且输出结果为1，则将运算回路A的结果赋值给矩阵W作为输出结果，否则将运算回路B的结果赋值给矩阵W作为输出结果，输入到自适应时距计算模块计算驾驶员反应时间
步骤二，计算驾驶员反应时间。
参照图5，将获取的驾驶员的性别、年龄数据矩阵W与数据库中的矩阵G相乘得驾驶员反应时间矩阵F，即F=G×W，计算反应时间矩阵F的模即为驾驶员反应时间：T f=｜F｜。G×W得出的矩阵F为一个2×2的矩阵，相较于W×G的方式得出的53×53的F矩阵，在计算矩阵F的模量时，可以减小计算量和内存存储资源占用。
步骤三，判断驾驶员分神状态。
基于CCD获取的图像检测人脸，通过RetinaFace网络进行人脸边界框定位；通过HPE_101计算SF3D上各类驾驶动作的头部姿势的Pinch、Roll、Yaw；通过既定的分神判定策略，确定好Pinch、Roll、Yaw阈值及时间阈值；通过阈值判定驾驶员分神状态A，分神为A=1，不分神A=0，分神判定策略如下表：
步骤四，根据分神状态确定对应的不同车道报警线和系统反应时间系数ψ。
当驾驶员分心时，选取图6中左右侧车道线作为报警线；当驾驶员未分心时，选取图6中左右侧外侧预警线作为报警线；根据下式确定系统反应时间系数ψ：
步骤五，根据车辆在车道内的相对位置、报警线、车辆运动及姿态信息，计算实际预估跨线时间TLC。
车辆中心位置距离报警线之间的横向距离L：
其中D为车道线与车辆中轴线之间的距离，d为车道线与其外侧预警线之间的距离，d一般取0.3m；定义当前车辆速度为，定义当前前视视觉传感器检测到的车辆朝向与报警线之间的角度为θ，如图5所示，计算车辆实际预估跨线时间：
步骤六，获取系统延时，计算人机反应需求时间T。
当系统初次初始化的时候，系统时延设置初始值为=0；当系统报警时，ADAS域控控制器自适应时距计算模块计算系统发出报警信号时刻t1到接收到大屏和组合仪表反馈的报警状态时刻t2，则新的系统时延为：
人机反应需求时间T：
步骤七，比较人机反应需求时间T和车辆实际预估跨线时间TLC的大小，判断系统是否进行车道偏离报警。
判断报警状态J：
若J=1则表示报警，HMI大屏发出语音报警，若J=0则表示非报警状态。
综上，本发明能够结合HMI设计，在驾驶员感知模块中通过驾驶员视觉监视传感器的输入，经过基于神经网络的人工智能算法，提高驾驶员性别、年龄、分神状态准确性，通过驾驶员面部信息，辨别出驾驶员的性别、年龄、分神状态，根据性别、年龄、分神状态的结果，并且结合车辆系统延时，计算不同的报警时距，保证给不同年龄阶段、性别、分神状态的人提供及时的报警，同时避免对专注的驾驶员的频繁误报警，降低对驾驶员干扰。
此外系统在自适应时距计算模块中建立反应时间与性别、年龄的映射关系，以获得较为准确的驾驶员反应时间，提高车道偏离预警的安全性；结合驾驶员的分神状态，避免不必要的误报警和报警过晚，提高系统的可靠性和安全性，并且通过在线接收执行器状态反馈计算系统延时，结合驾驶员反应时间、分神等级，计算自适应时距，给驾驶员充足的安全操作时间。并且在驾驶员输入性别年龄的情况下，将人脸信息与年龄、性别、日期绑定，此后通过人脸识别出人员后直接通过日期计算年龄，避免人脸识别的年龄造成的误差。
综合驾驶员分神状态、反应时间以及系统延时计算人机反应需求时间，可以更为准确可靠的报警时距，有效平衡了车道偏离预警系统的安全性和可靠性。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要如权利要求范围来确定其技术性范围。
Claims (7)
1.一种具有自适应报警时距的车道偏离报警方法，其特征在于，包括以下步骤，
获取驾驶员的性别、年龄信息，并计算驾驶员反应时间T f；
判断驾驶员分神状态，并根据分神状态确定对应的不同车道报警线和系统反应时间系数ψ；
根据车辆在车道内的相对位置、报警线、车辆运动及姿态信息，计算实际预估跨线时间TLC；
综合系统延时和驾驶员反应时间T f计算人机反应需求时间T；
比较人机反应需求时间T和车辆实际预估跨线时间TLC的大小，判断系统是否进行车道偏离报警；
其中，驾驶员通过车载中控大屏输入驾驶员当前的性别、年龄，或车辆上的域控控制器通过识别驾驶员面部信息获取驾驶员当前的性别、年龄，形成驾驶员的年龄和性别矩阵W，矩阵W为2列N行的矩阵，N为驾驶员的年龄跨度，第一列为女性，第二列为男性，第一行为n岁，第二行为n+1岁以此类推，相应岁数置为1，其余位置为0，数据库中的矩阵G与矩阵W相乘得驾驶员反应时间矩阵F，计算反应时间矩阵F的模即为驾驶员反应时间T f，所述人机反应需求时间 。
2.根据权利要求1所述的具有自适应报警时距的车道偏离报警方法，其特征在于，当系统初次初始化的时候，系统时延设置初始值为=0；当系统报警时，车辆上的域控控制器发出报警信号时刻为t1，报警信号到接收到大屏和组合仪表反馈的报警状态时刻为t2，则新的系统时延为：/>。
3.根据权利要求1所述的具有自适应报警时距的车道偏离报警方法，其特征在于，当驾驶员分心时，选取车辆所在车道的左右侧车道线作为报警线，设置其分神状态A=1；当驾驶员未分心时，选取距离车辆所在车道左右车道线远离车辆一侧合适距离的预警线作为报警线，设置其分神状态A=0，则
。
4.根据权利要求3所述的具有自适应报警时距的车道偏离报警方法，其特征在于，车辆中心与报警线之间的横向距离为L，，其中D为车道线与车辆中轴线之间的距离，d为车道线与其外侧预警线之间的距离；定义当前车辆速度为/>，当前车辆朝向与报警线之间的角度为θ，计算车辆实际预估跨线时间：
。
5.一种具有自适应报警时距的车道偏离报警系统，其特征在于，包括，
监控模块，所述监控模块用于感知车道线宽度及自车在车道内的姿态、车辆运动状态以及通过人工智能算法监控识别驾驶员的分神状态；
运动控制模块，所述运动控制模块用于控制车辆行驶状态和行驶趋势；
交互模块，所述交互模块用于实现驾驶员与车辆域控之间的人机交互操作；
域控控制器，所述域控控制器用于控制监控模块、运动控制模块、交互模块的运行和信息处理；
其中，所述域控控制器中设置有人员数据库，所述数据库为矩阵G，所述矩阵G包括驾驶员的性别、年龄以及对应的驾驶员的反应时间T f；
自适应时距计算模块，所述自适应时距计算模块设置在域控控制器中，所述自适应时距计算模块从数据库中获取驾驶员反应时间T f，计算系统延迟时间，/>分神状态确定对应的不同车道报警线和系统反应时间系数ψ，利用/>计算人机反应需求时间T，所述自适应时距计算模块根据车辆在车道内的相对位置、报警线、车辆运动及姿态信息，计算实际预估跨线时间TLC，并比较人机反应需求时间T和车辆实际预估跨线时间TLC的大小，判断系统是否进行车道偏离报警。
6.根据权利要求5所述的具有自适应报警时距的车道偏离报警系统，其特征在于，所述矩阵G为N列2行的矩阵，其中行表示性别，列表示年龄，第一行为女性反应时间数据，第二行为男性的反应时间数据，第一列为n岁男女性反应时间，第二列为n+1岁，其他的以此类推。
7.根据权利要求5所述的具有自适应报警时距的车道偏离报警系统，其特征在于，所述交互模块包括车载中控大屏，所述车载中控大屏为触摸显示屏，所述车载中控大屏可以实现语音播报以及语音输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311223420.1A CN116968765B (zh) | 2023-09-21 | 2023-09-21 | 一种具有自适应报警时距的车道偏离报警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311223420.1A CN116968765B (zh) | 2023-09-21 | 2023-09-21 | 一种具有自适应报警时距的车道偏离报警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116968765A CN116968765A (zh) | 2023-10-31 |
| CN116968765B true CN116968765B (zh) | 2023-12-05 |
Family
ID=88473318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311223420.1A Active CN116968765B (zh) | 2023-09-21 | 2023-09-21 | 一种具有自适应报警时距的车道偏离报警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116968765B (zh) |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101491443A (zh) * | 2009-03-06 | 2009-07-29 | 北京理工大学 | 驾驶人疲劳与车辆行驶轨迹的关系模型 |
| CN103661375A (zh) * | 2013-11-25 | 2014-03-26 | 同济大学 | 一种考虑驾驶分心状态的车道偏离报警方法及系统 |
| DE202014003224U1 (de) * | 2014-04-15 | 2015-07-20 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Fahrerassistenzsystem zur Warnung eines Fahrers vor eineKollision mit einem anderen Verkehrsteilnehmer |
| CN105740847A (zh) * | 2016-03-02 | 2016-07-06 | 同济大学 | 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法 |
| CN106184232A (zh) * | 2016-07-27 | 2016-12-07 | 北京航空航天大学 | 一种基于驾驶员视角的车道偏离预警控制方法 |
| KR20180015018A (ko) * | 2016-08-02 | 2018-02-12 | 국민대학교산학협력단 | 차선정보 추정 방법 |
| CN108099819A (zh) * | 2017-12-15 | 2018-06-01 | 东风汽车集团有限公司 | 一种车道偏离预警系统及方法 |
| CN108454625A (zh) * | 2017-02-17 | 2018-08-28 | 通用汽车环球科技运作有限责任公司 | 用于预测并防止当自主或半自主驾驶车辆时的可能车道偏离的系统和方法 |
| CN109003450A (zh) * | 2018-08-06 | 2018-12-14 | 江苏师范大学 | 一种基于驾驶员年龄和性别识别的车辆预警方法 |
| CN110539750A (zh) * | 2019-08-14 | 2019-12-06 | 合肥工业大学 | 一种基于驾驶状态与路况信息的车道偏离预警系统及方法 |
| CN111497870A (zh) * | 2019-01-14 | 2020-08-07 | 厦门歌乐电子企业有限公司 | 一种车辆越车道线行驶提醒装置及方法 |
| CN113199961A (zh) * | 2021-06-07 | 2021-08-03 | 东风汽车股份有限公司 | 一种电动汽车电池管理系统延时下电方法 |
| CN113335274A (zh) * | 2021-07-06 | 2021-09-03 | 山东大学 | 基于制动距离的车辆防撞预警方法及系统 |
| CN113474787A (zh) * | 2019-01-22 | 2021-10-01 | 阿达姆认知科技有限公司 | 驾驶员的认知状态的检测 |
| CN113771871A (zh) * | 2020-06-05 | 2021-12-10 | 广州汽车集团股份有限公司 | 一种车辆偏离车道的预警方法及其系统、介质、车辆 |
| CN114763136A (zh) * | 2022-03-22 | 2022-07-19 | 同济大学 | 一种基于深度学习的引导车驾驶辅助系统 |
| CN114802226A (zh) * | 2022-04-18 | 2022-07-29 | 常州星宇车灯股份有限公司 | 一种汽车辅助驾驶预警控制装置及其判断方法 |
| CN114889591A (zh) * | 2022-05-12 | 2022-08-12 | 合肥职业技术学院 | 一种基于驾驶员反应时间的最小安全距离的生成算法 |
| CN115795833A (zh) * | 2022-11-18 | 2023-03-14 | 重庆大学 | 一种考虑驾驶员反应时间的交通流模型仿真方法 |
| WO2023072524A1 (de) * | 2021-10-29 | 2023-05-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum unterstützen eines nutzers eines fahrzeugs beim manövrieren des fahrzeugs auf einer mehrspurigen strasse unter berücksichtigung einer individuellen reaktionszeit des nutzers, fahrerassistenzsystem sowie fahrzeug |
| CN116461513A (zh) * | 2023-06-16 | 2023-07-21 | 中国第一汽车股份有限公司 | 车辆及其碰撞预警方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7551991B2 (en) * | 2006-03-07 | 2009-06-23 | Tdk Corporation | Vehicle over speed indicator |
-
2023
- 2023-09-21 CN CN202311223420.1A patent/CN116968765B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101491443A (zh) * | 2009-03-06 | 2009-07-29 | 北京理工大学 | 驾驶人疲劳与车辆行驶轨迹的关系模型 |
| CN103661375A (zh) * | 2013-11-25 | 2014-03-26 | 同济大学 | 一种考虑驾驶分心状态的车道偏离报警方法及系统 |
| DE202014003224U1 (de) * | 2014-04-15 | 2015-07-20 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | Fahrerassistenzsystem zur Warnung eines Fahrers vor eineKollision mit einem anderen Verkehrsteilnehmer |
| CN105740847A (zh) * | 2016-03-02 | 2016-07-06 | 同济大学 | 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法 |
| CN106184232A (zh) * | 2016-07-27 | 2016-12-07 | 北京航空航天大学 | 一种基于驾驶员视角的车道偏离预警控制方法 |
| KR20180015018A (ko) * | 2016-08-02 | 2018-02-12 | 국민대학교산학협력단 | 차선정보 추정 방법 |
| CN108454625A (zh) * | 2017-02-17 | 2018-08-28 | 通用汽车环球科技运作有限责任公司 | 用于预测并防止当自主或半自主驾驶车辆时的可能车道偏离的系统和方法 |
| CN108099819A (zh) * | 2017-12-15 | 2018-06-01 | 东风汽车集团有限公司 | 一种车道偏离预警系统及方法 |
| CN109003450A (zh) * | 2018-08-06 | 2018-12-14 | 江苏师范大学 | 一种基于驾驶员年龄和性别识别的车辆预警方法 |
| CN111497870A (zh) * | 2019-01-14 | 2020-08-07 | 厦门歌乐电子企业有限公司 | 一种车辆越车道线行驶提醒装置及方法 |
| CN113474787A (zh) * | 2019-01-22 | 2021-10-01 | 阿达姆认知科技有限公司 | 驾驶员的认知状态的检测 |
| CN110539750A (zh) * | 2019-08-14 | 2019-12-06 | 合肥工业大学 | 一种基于驾驶状态与路况信息的车道偏离预警系统及方法 |
| CN113771871A (zh) * | 2020-06-05 | 2021-12-10 | 广州汽车集团股份有限公司 | 一种车辆偏离车道的预警方法及其系统、介质、车辆 |
| CN113199961A (zh) * | 2021-06-07 | 2021-08-03 | 东风汽车股份有限公司 | 一种电动汽车电池管理系统延时下电方法 |
| CN113335274A (zh) * | 2021-07-06 | 2021-09-03 | 山东大学 | 基于制动距离的车辆防撞预警方法及系统 |
| WO2023072524A1 (de) * | 2021-10-29 | 2023-05-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum unterstützen eines nutzers eines fahrzeugs beim manövrieren des fahrzeugs auf einer mehrspurigen strasse unter berücksichtigung einer individuellen reaktionszeit des nutzers, fahrerassistenzsystem sowie fahrzeug |
| CN114763136A (zh) * | 2022-03-22 | 2022-07-19 | 同济大学 | 一种基于深度学习的引导车驾驶辅助系统 |
| CN114802226A (zh) * | 2022-04-18 | 2022-07-29 | 常州星宇车灯股份有限公司 | 一种汽车辅助驾驶预警控制装置及其判断方法 |
| CN114889591A (zh) * | 2022-05-12 | 2022-08-12 | 合肥职业技术学院 | 一种基于驾驶员反应时间的最小安全距离的生成算法 |
| CN115795833A (zh) * | 2022-11-18 | 2023-03-14 | 重庆大学 | 一种考虑驾驶员反应时间的交通流模型仿真方法 |
| CN116461513A (zh) * | 2023-06-16 | 2023-07-21 | 中国第一汽车股份有限公司 | 车辆及其碰撞预警方法 |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于SMS的汽车报警器设计;王超;罗大徐;郭剑;;汽车科技(第02期);全文 * |
| 基于驾驶员面部检测的自适应碰撞预警系统;余卓平;袁子佳;冷搏;熊璐;;内燃机与配件(第05期);全文 * |
| 驾驶员分心驾驶行为现场观测研究;杨徐刚;;综合运输(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116968765A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11783601B2 (en) | Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism | |
| US11557207B1 (en) | Vehicle collision alert system and method for detecting driving hazards | |
| CN101466305B (zh) | 用于确定和分析视觉兴趣位置的方法 | |
| CN111915159B (zh) | 一种基于动态时间预算的个性化接管预警方法和系统 | |
| CN109740477A (zh) | 驾驶员疲劳检测系统及其疲劳检测方法 | |
| CN111179552A (zh) | 基于多传感器融合的驾驶员状态监测方法和系统 | |
| US11453401B2 (en) | Closed eye determination device | |
| CN114872713A (zh) | 一种驾驶员异常驾驶状态监测装置和方法 | |
| CN116279561A (zh) | 车辆疲劳驾驶的预警方法、装置、设备及可读存储介质 | |
| CN115690750A (zh) | 一种驾驶员分心检测方法和装置 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| Guria et al. | Iot-enabled driver drowsiness detection using machine learning | |
| KR101050687B1 (ko) | 사후확률을 이용한 보행자 인식 장치 및 방법과 그를이용한 보행자 보호 장치 | |
| CN116968765B (zh) | 一种具有自适应报警时距的车道偏离报警方法及系统 | |
| Rani et al. | Development of an Automated Tool for Driver Drowsiness Detection | |
| JP2018537787A (ja) | 車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置 | |
| CN113269069B (zh) | 一种基于卡车司机面部特征的困倦辨识方法及装置 | |
| KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
| WO2021024905A1 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
| Kim et al. | Driving environment assessment using fusion of in-and out-of-vehicle vision systems | |
| Azaiz et al. | In-cabin occupant monitoring system based on improved Yolo, deep reinforcement learning, and multi-task CNN for autonomous driving | |
| EP4152276A1 (en) | Seat occupancy classification system for a vehicle | |
| CN114782916B (zh) | 后视镜搭载的基于多传感器融合的adas后车识别系统 | |
| Chinta et al. | Driver Distraction Detection and Recognition | |
| WO2020261832A1 (ja) | 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |