CN111292548B - 一种基于视觉注意力的安全驾驶方法 - Google Patents

一种基于视觉注意力的安全驾驶方法 Download PDF

Info

Publication number
CN111292548B
CN111292548B CN202010081885.8A CN202010081885A CN111292548B CN 111292548 B CN111292548 B CN 111292548B CN 202010081885 A CN202010081885 A CN 202010081885A CN 111292548 B CN111292548 B CN 111292548B
Authority
CN
China
Prior art keywords
driving
fixation point
safe driving
video
fixation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010081885.8A
Other languages
English (en)
Other versions
CN111292548A (zh
Inventor
张笑钦
许佳炜
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN202010081885.8A priority Critical patent/CN111292548B/zh
Publication of CN111292548A publication Critical patent/CN111292548A/zh
Application granted granted Critical
Publication of CN111292548B publication Critical patent/CN111292548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control

Abstract

本发明公开了一种基于视觉注意力的安全驾驶方法，包括以下步骤：采集驾驶场景：全面采集复杂和简单的高速公路、城市道路以及各类复杂的天气状况；召集有驾驶经验的受试者参与眼动实验，获得注视点，同时，选择几个经典的注意力模型预测以上驾驶视频的注视点，比较两种注视点的差异性，初步选择注视点的最优方案；通过抽取视频中和注视点有关的特征，构建神经网络模型，通过参考整体安全驾驶方案，选择最合理的注视点,满足安全驾驶的要求；优化选定的注视点，提高驾驶舒适性，通过主观评价方案，让受试者参与，最终促进安全驾驶的目标。本方法提出的注视点相互交融的方法会使安全性得到更好的提高，从本质上达到安全驾驶的目的。

Description

一种基于视觉注意力的安全驾驶方法
技术领域
本发明涉及注意力分析和建模技术领域，具体涉及一种基于视觉注意力的安全驾驶方法。
背景技术
近几十年来，人类视觉注意的计算建模受到了广泛的关注。在当代先进的工业应用中，它已经被证明能够非常类似地预测人类的视觉注意力。然而，基于人类视觉注意的眼睛注视位置(Eye Fixation Locations)和计算视觉注意模型(Computational VisualAttention Model)预测的眼睛注视位置(Predicted Eye Fixation Locations)哪一种方案更可靠，是否切实有助于实际驾驶，一直存在争议。
在自然场景中，驾驶员的视觉注意受到许多方面的影响，如时空规律性、中心偏误、个体差异、反应模式、驾驶疲劳和其他人为因素。因此，最好导入能够正确反映这些人为因素的计算视觉注意模型。最近，有人提出了一种生物启发的视觉注意模型。它包含几个在驾驶时起作用的具有代表性的人为因素，其有效性已在离线驾驶视频中得到证明。另外，还有人提出了一种基于人类视觉注意的眼睛注视位置的推荐方法，并针对不同的驾驶条件推荐了三种类型的注视点，即只有驾驶员的注视点，只有模型的注视点，以及可以交换的注视点。
上述方法在安全驾驶方案均取得了一定的成效，但由于收集的数据库只包括10种驾驶条件。事故大多发生在坏天气，比好天气事故率多，所以最好包括坏天气条件。出于类似的原因，最好包括更复杂的道路条件。其次，支持向量机(SVM)对少量的数据样本有用，但对大量的数据样本效果不佳。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于视觉注意力的安全驾驶方法，该安全驾驶方法，通过对驾驶中的视觉盲点，不注意，忽视等多种危害行为的分析，此外，通过对驾驶员所表现出来的时空序列性，驾驶反应差异性，视觉灵敏度，视觉偏中性的综合分析，使用后向传播网络来训练以上特征，最终选择视频中合理的注视点；以保证驾驶的安全性和舒适性。
为实现上述目的，本发明提供了如下技术方案：一种基于视觉注意力的安全驾驶方法，包括以下步骤：
(1)采集驾驶场景：全面采集复杂和简单的高速公路、城市道路以及各类复杂的天气状况；
(2)召集有驾驶经验的受试者参与眼动实验，获得注视点，同时，选择几个经典的注意力模型预测以上驾驶视频的注视点，比较两种注视点的差异性，初步选择注视点的最优方案；
(3)通过抽取视频中和注视点有关的特征，构建神经网络模型，通过参考整体安全驾驶方案，选择最合理的注视点,满足安全驾驶的要求；
(4)进一步优化步骤(3)选定的注视点，提高驾驶舒适性，通过主观评价方案，让受试者参与，最终促进安全驾驶的目标。
作为优选的，步骤(1)具体包括：为保证鲁棒性，一半的原始视频是在恶劣的天气条件下拍摄的，另一半则是在晴天拍摄的，原始视频采用安装在汽车挡风玻璃上的数码摄像机进行记录，另外使用高清摄像机拍摄，每秒30帧。
作为优选的，安装在汽车挡风玻璃上的数码摄像机记录从16种不同的驾驶环境中抽取96个高清晰度彩色视频片段。
作为优选的，步骤(2)具体包括：受试者至少需要35名，所有受试者都有至少一年的驾驶经验或有10000公里及以上的驾驶记录，所有受试者视力正常或矫正至正常，色觉正常；同时，采用经典的注意力模型分析以上驾驶视频得到受试者注视点和模型预测的注视点的2种不同的注视点方案。
作为优选的，步骤(3)具体包括：通过分析驾驶专家指定的注视点所在的视频中的显著标识物，2种注视点方案之间的差异性、时空序列性、驾驶反应差异性、视觉灵敏度和视觉偏中性特征，选择反向传播网络训练和预判剩余视频中的注视点。
作为优选的，步骤(4)具体包括：在得到步骤(3)推荐点方案之后，根据视觉舒适性选择进一步优化注视点，让受试者根据推荐的注视点来进行驾驶，然后参与评判打分。
本发明的优点是：与现有技术相比，本发明更加合理，完全的自动驾驶会导致驾驶者本身的无趣或者烦躁，而适当的驾驶员自身的注视点介入反而会起到更好的安全效果。本方法提出的2种注视点相互交融的方法会使安全性得到更好的提高，从本质上达到安全驾驶的目的。
下面结合说明书附图和具体实施例对本发明作进一步说明。
附图说明
图1为本发明实施例的采集驾驶场景示意图；
图2为本发明实施例的标准视频库中雾天驾驶场景示意图；
图3为本发明实施例的标准视频库中雪天驾驶场景示意图；
图4为本发明实施例的在岔口驾驶环境下受试者的注意力和模型的注意力的比较示意图；
图5为本发明实施例的在低速驾驶环境下受试者的注意力和模型的注意力的比较示意图；
图6为本发明实施例的在高速驾驶环境下受试者的注意力和模型的注意力的比较示意图；
图7为本发明实施例的3种驾驶场景下注视点数据可视化效果示意图；
图8为本发明实施例在多种驾驶场景下不同推荐方案的视觉效果比较示意图。
具体实施方式
在本实施例的描述中，需要说明的是，如出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”、“前”、“后”等，其所指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，如出现术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
参见图1至图8，本发明公开的一种基于视觉注意力的安全驾驶方法，包括以下步骤：
(1)采集驾驶场景：全面采集复杂和简单的高速公路、城市道路以及各类复杂的天气状况；
(2)召集有驾驶经验的受试者参与眼动实验，获得注视点，同时，选择几个经典的注意力模型预测以上驾驶视频的注视点，比较两种注视点的差异性，初步选择注视点的最优方案；
(3)通过抽取视频中和注视点有关的特征，构建神经网络模型，通过参考整体安全驾驶方案，选择最合理的注视点,满足安全驾驶的要求；
(4)进一步优化步骤(3)选定的注视点，提高驾驶舒适性，通过主观评价方案，让受试者参与，最终促进安全驾驶的目标。
本发明实施过程中需要一辆小型客车(7座以下)以及一台高清摄像机来录取外界驾驶场景。
S1、尽可能收集全面而丰富的驾驶场景，比如高速公路，城市道路以及雨天雾天等自然场景；
S2、通过眼动仪设备获得受试者的注意力数据，以及通过注意力模型获得预测的注意力数据；
S3、通过分析人的注视点和预测注视点的差异，抽取多维特征，训练神经网络，然后去判断在不同驾驶场景下的注视点，参考驾驶专家的意见(ground truth)而提出安全驾驶的方案，验证其合理性；
S4、优化注视点的选择，提高舒适性来进一步提升安全性。
作为优选的，采集数据时候实验需要配置一台前景视野比较宽阔的小型客车(7座以下)。同时，驾驶视频数据库要尽可能收集驾驶者在现实生活中遇到的所有驾驶任务。所有的驾驶视频需要同时考虑左舵(如英国或者澳大利亚)和右舵(如中国或者美国)的场景。一半的原始视频是在恶劣的天气条件下拍摄的，即下雨、多雾、下雪和夜晚，另一半则是在晴天拍摄的。从16种不同的驾驶环境中抽取96个高清晰度彩色视频片段，用安装在汽车挡风玻璃上的数码摄像机进行记录。另外使用松下HX-DC3高清摄像机拍摄的，其分辨率为640×480像素，每秒30帧。高清摄像机被固定在三脚架上以确保良好的图像质量。上述描述参见图1，采集的样本如图2、图3所示。
作为优选的，为满足数据可信度，需要至少35名受试者，年龄在21-42岁之间，平均32.4±0.42岁(平均值±扫描电镜)的成年人(7名女性，28名男性)自愿参加本研究。所有参与者都有至少一年的驾驶经验或有10000公里及以上的驾驶记录。所有受试者视力正常或矫正至正常，色觉正常。同时，采用经典的注意力模型分析以上驾驶视频得到2种不同的方案，即受试者注视点和模型预测的注视点。图3-图6比较了在3种驾驶场景下人的注视点(粗线)和多种经典模型的注视点(细线)的区别。
通过分析和抽取七种关键特征，即七种关键特征：(1)相邻两帧之间的显著标识物的差异，(2)相邻两帧之间受试者注视点的距离差，(3)相邻两帧之间注意力模型注视点的距离差，(4)同一帧之间两种注视方案的距离差，(5)同一帧之间正向和逆向视频的受试者注视点距离差，(6)同一帧之间正向和逆向视频的模型注视点距离差，(7)最优显著标识物和次优显著标识物的差异性，选择反向传播网络训练和预判剩余驾驶场景下的注视点。三种驾驶场景下注视点数据高维度分类的可视化效果如图7所示。
作为优选的，在得到步骤(3)的方案之后，根据视觉舒适性选择进一步优化注视点，让受试者根据推荐的注视点来进行驾驶，然后参与评判打分。图8的圆形区域表示了三种不同的注视点方式，而正方形区域则代表了最终推荐的安全驾驶方案。
本发明完全的自动驾驶会导致驾驶者本身的无趣或者烦躁，而适当的驾驶员自身的注视点介入反而会起到更好的安全效果。本方法提出的在停车场，交通灯和岔口的驾驶环境下2种注视点相互交融的方法会使安全性得到更好的提高，从本质上达到安全驾驶的目的。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。

Claims (5)

1.一种基于视觉注意力的安全驾驶方法，其特征在于：包括以下步骤：
（1）采集驾驶场景：全面采集复杂和简单的高速公路、城市道路以及各类复杂的天气状况；
（2）召集有驾驶经验的受试者参与眼动实验，获得注视点，同时，选择几个经典的注意力模型预测以上驾驶视频的注视点，比较两种注视点的差异性，初步选择注视点的最优方案；
（3）抽取视频中和注视点有关的特征，通过分析人的注视点和预测注视点的差异，抽取多维特征，训练神经网络，然后去判断在不同驾驶场景下的注视点，参考驾驶专家的意见而提出安全驾驶的方案，验证其合理性；选择最合理的注视点, 满足安全驾驶的要求；
（4）进一步优化步骤（3）选定的注视点，提高驾驶舒适性，通过主观评价方案，让受试者参与，最终促进安全驾驶的目标；
通过分析和抽取七种关键特征，即七种关键特征：(1) 相邻两帧之间的显著标识物的差异，(2)相邻两帧之间受试者注视点的距离差，(3)相邻两帧之间注意力模型注视点的距离差，(4) 同一帧之间两种注视方案的距离差，(5) 同一帧之间正向和逆向视频的受试者注视点距离差，(6) 同一帧之间正向和逆向视频的模型注视点距离差，(7)最优显著标识物和次优显著标识物的差异性，选择反向传播网络训练和预判剩余驾驶场景下的注视点。
2.根据权利要求1所述的一种基于视觉注意力的安全驾驶方法，其特征在于：步骤（1）具体包括：为保证鲁棒性，一半的原始视频是在恶劣的天气条件下拍摄的，另一半则是在晴天拍摄的，原始视频采用安装在汽车挡风玻璃上的数码摄像机进行记录，另外使用高清摄像机拍摄，每秒30帧。
3.根据权利要求2所述的一种基于视觉注意力的安全驾驶方法，其特征在于：步骤（1）：安装在汽车挡风玻璃上的数码摄像机记录从16种不同的驾驶环境中抽取96个高清晰度彩色视频片段。
4.根据权利要求1所述的一种基于视觉注意力的安全驾驶方法，其特征包括以下步骤：步骤（2）具体包括：受试者至少需要35名，所有受试者都有至少一年的驾驶经验或有10000公里及以上的驾驶记录，所有受试者视力正常或矫正至正常，色觉正常；同时，采用经典的注意力模型分析以上驾驶视频得到受试者注视点和模型预测的注视点的2种不同的注视点方案。
5.根据权利要求1所述的一种基于视觉注意力的安全驾驶方法，其特征包括以下步骤：步骤（4）具体包括：在得到步骤（3）推荐点方案之后，根据视觉舒适性选择进一步优化注视点，让受试者根据推荐的注视点来进行驾驶，然后参与评判打分。
CN202010081885.8A 2020-02-06 2020-02-06 一种基于视觉注意力的安全驾驶方法 Active CN111292548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010081885.8A CN111292548B (zh) 2020-02-06 2020-02-06 一种基于视觉注意力的安全驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010081885.8A CN111292548B (zh) 2020-02-06 2020-02-06 一种基于视觉注意力的安全驾驶方法

Publications (2)

Publication Number Publication Date
CN111292548A CN111292548A (zh) 2020-06-16
CN111292548B true CN111292548B (zh) 2021-02-05

Family

ID=71023551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010081885.8A Active CN111292548B (zh) 2020-02-06 2020-02-06 一种基于视觉注意力的安全驾驶方法

Country Status (1)

Country Link
CN (1) CN111292548B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833770A (zh) * 2010-05-17 2010-09-15 西南交通大学 基于光线感应的驾驶员眼动特征切换检测与跟踪方法
CN102253714A (zh) * 2011-07-05 2011-11-23 北京工业大学 基于视觉决策的选择触发方法
CN104484549A (zh) * 2014-11-06 2015-04-01 山东交通学院 一种基于驾驶员视觉注意机制的多任务驾驶安全状态辨识方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520796B (zh) * 2011-12-08 2014-10-08 华南理工大学 一种基于逐步回归分析映射模型的视线跟踪方法
CN102592135B (zh) * 2011-12-16 2013-12-18 温州大学 融合目标空间分布和时序分布特征子空间的视觉跟踪方法
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN103767715B (zh) * 2014-01-15 2015-10-28 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测装置
CN103770780B (zh) * 2014-01-15 2017-10-03 中国人民解放军国防科学技术大学 一种车辆主动安全系统告警屏蔽装置
CN106251583B (zh) * 2016-09-30 2018-09-25 江苏筑磊电子科技有限公司 基于驾驶行为与眼动特征的疲劳驾驶辨识方法
CN108447303B (zh) * 2018-03-20 2021-01-15 武汉理工大学 基于人眼视觉与机器视觉耦合的外周视野危险识别方法
JP2019185218A (ja) * 2018-04-04 2019-10-24 アイシン精機株式会社 警報装置
CN108572733B (zh) * 2018-04-04 2019-03-12 西安交通大学 一种基于条件随机场的眼动行为视觉搜索目标预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833770A (zh) * 2010-05-17 2010-09-15 西南交通大学 基于光线感应的驾驶员眼动特征切换检测与跟踪方法
CN102253714A (zh) * 2011-07-05 2011-11-23 北京工业大学 基于视觉决策的选择触发方法
CN104484549A (zh) * 2014-11-06 2015-04-01 山东交通学院 一种基于驾驶员视觉注意机制的多任务驾驶安全状态辨识方法

Also Published As

Publication number Publication date
CN111292548A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN108446678B (zh) 一种基于骨骼特征的危险驾驶行为识别方法
CN104506804B (zh) 一种快速道路上的机动车异常行为监测装置及其方法
CN113780312B (zh) 一种高速公路路面状况检测系统
CN102541061B (zh) 基于视听觉信息的缩微智能车
JP5282612B2 (ja) 情報処理装置及び方法、プログラム、並びに情報処理システム
CN109948418A (zh) 一种基于深度学习的违反导向违法自动审核方法
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN110414860A (zh) 加油站油品分析方法及系统
CN101941425A (zh) 对驾驶员疲劳状态的智能识别装置与方法
CN103832357B (zh) 一种基于机器视觉的车道偏离警告系统及方法
CN112216113B (zh) 基于密度峰值的交通流量数据聚类方法
CN109191492B (zh) 一种基于轮廓分析的智能视频黑烟车检测方法
CN106097483B (zh) 一种基于智能后视镜的录像处理方法及系统
CN103481842B (zh) 一种车辆检测与跟踪模式的切换方法
CN111144301A (zh) 一种基于深度学习的道路路面缺陷快速预警装置
CN111914738A (zh) 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统
CN105989614A (zh) 融合多源视觉信息的危险物体检测方法
CN111292548B (zh) 一种基于视觉注意力的安全驾驶方法
CN113569733A (zh) 一种基于驾驶员眼动扫视的城市环境下安全驾驶推荐方法
CN115147869A (zh) 基于深度学习的电动车骑行者头盔检测与车牌识别方法
CN114998818A (zh) 一种用于轨道交通的车载视屏监控装置
CN112487986A (zh) 基于高精度地图的驾驶辅助识别方法
CN205541428U (zh) 车辆路口交通违法取证系统
CN111242044A (zh) 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN110956064A (zh) 基于大数据的驾驶员行为分析预测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant