CN113536909B - 一种基于眼动数据的预瞄距离计算方法、系统和设备 - Google Patents

一种基于眼动数据的预瞄距离计算方法、系统和设备 Download PDF

Info

Publication number
CN113536909B
CN113536909B CN202110634599.4A CN202110634599A CN113536909B CN 113536909 B CN113536909 B CN 113536909B CN 202110634599 A CN202110634599 A CN 202110634599A CN 113536909 B CN113536909 B CN 113536909B
Authority
CN
China
Prior art keywords
driver
fixation point
distance
eyes
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110634599.4A
Other languages
English (en)
Other versions
CN113536909A (zh
Inventor
郑雪莲
范志臻
任园园
马佳磊
李显生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110634599.4A priority Critical patent/CN113536909B/zh
Publication of CN113536909A publication Critical patent/CN113536909A/zh
Application granted granted Critical
Publication of CN113536909B publication Critical patent/CN113536909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于眼动数据的预瞄距离计算方法、系统和设备，基于眼动数据的预瞄距离计算方法，包括以下步骤：基于建立的坐标系或者预设坐标系获取驾驶人眼睛的眼动数据，通过摄像设备获取眼动数据对应的车辆前方景象；基于眼动数据识别驾驶人注视点，以驾驶人眼睛至注视点为预瞄方向，获取车辆前方景象的预瞄方向上包含注视点的车辆前方景象为预瞄景象；在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定；根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，即得。数据结果准确，步骤相对简单，具有广阔的应用前景。

Description

一种基于眼动数据的预瞄距离计算方法、系统和设备
技术领域
本发明涉及车辆技术领域，尤其涉及一种基于眼动数据的预瞄距离计算方法、系统和设备。
背景技术
在辅助驾驶系统开发领域，对于路径的跟踪问题一直是研究的重点和难点。而对于该领域问题的研究，获取驾驶人预瞄距离的精确度影响着研究的发展，因跟踪算法受到预瞄距离的影响较大，不准确的预瞄距离就会导致跟踪误差的增大，反之，虽然跟踪效果较好，但易导致车辆产生较大的摆动，影响乘坐舒适性。
目前，现有技术是研究人员根据经验估计得到的预瞄距离，存在较大的误差，因为经验估计的过程中为保证预瞄距离的准确性，需要较为繁杂的处理步骤对采集的数据和测定结果进行校正，造成了人力和物力的浪费，且在实际驾驶过程中路况复杂多样，通过经验得出的预瞄距离并不能适用于所有的驾驶情景和驾驶路况，所以采取这种方法确定预瞄距离往往会导致预瞄距离误差较大以及车辆产生较大的摆动。
因此，找到一种能够提高预瞄距离的获取精度，同时有利于车辆进行路径跟踪的预瞄距离计算方法成为了目前解决车辆驾驶问题的关键。
发明内容
为解决上述技术问题，提高预瞄距离的获取精度，同时保证车辆行驶过程稳定，本发明提供一种基于眼动数据的预瞄距离计算方法、系统和设备。
根据本发明的一个方面，提供一种基于驾驶人眼动数据的预瞄距离计算方法，包括以下步骤：
基于建立的坐标系或者预设坐标系获取驾驶人眼睛的眼动数据，通过摄像设备获取眼动数据对应的车辆前方景象；
基于眼动数据识别驾驶人注视点，以驾驶人眼睛至注视点为预瞄方向，获取车辆前方景象的预瞄方向上包含注视点的车辆前方景象为预瞄景象；
在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定；
根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，即得。
与现有技术相比，本发明具有以下有益效果：
通过眼动数据可以识别驾驶人注视点，由于预瞄是来源于驾驶人主观性路径规划的一种过程，通过对驾驶人眼动数据获取的注视点可以预估驾驶人对接下来路径的预瞄情况，与现有技术相比，选用驾驶人眼睛的注视点可以避免因采用经验估计预瞄距离造成的数据误差，利用注视点和图像信息的结合求驾驶人预瞄距离可以在驾驶人前视图像中标定驾驶人注视点，便于像素长度的获取以及预瞄距离的计算，完全考虑了驾驶人驾驶过程中的主观性，与现有技术中通过路径规划对注视点进行估计的方法相比更符合真人驾驶习惯，增加车辆的平稳性，本发明采用的是将现实中注视点与驾驶人眼睛之间的距离在预瞄景象进行标定，得出现实中注视点与驾驶人眼睛之间的距离，数据结果准确，步骤相对简单，具有广阔的应用前景。
进一步的，所述眼动数据包括以下至少一种：驾驶人眼睛的位置、眼睛投影到注视点的位置、采样时间和驾驶人眼睛距地面的高度。
采用上述进一步方案的有益效果在于：将所述眼睛位置和眼睛投影到注视点的位置采集出来，然后与采集车辆前方景象的图片结合，通过图片中两点之间的像素的长度，有利于计算现实中两点的实际距离。
进一步的，在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定前，还包括对所述眼动数据进行眼动数据的分类处理和后处理。作为可选方案，所述后处理包括：对所述眼动数据进行筛选合并后得到注视点。在被筛选后的眼动数据中，存在相邻短注视在时间和空间上相近的情况，它们可能属于同一个长注视，所述筛选合并可将两个相邻的短注视合并为一个注视行为以增加数据采集的精准度。
采用上述进一步方案的有益效果在于：眼球运动分为注视运动、扫视运动以及平滑追踪运动，后处理包括但不限于对左右眼眼动数据进行平均处理、去除不符合要求的扫视点等，进行所述眼动数据的分类处理和后处理目的是能够对所述眼动数据进行筛选掉不符合要求的数据，降低数据处理的复杂程度并获取分类后的注视点。
进一步的，获取眼动数据对应的车辆前方景象的方式可以是实时录制驾驶人前视区域的视频流。
采用上述进一步方案的有益效果在于：视频流获取视频帧图片能够方便建立与实际路况相同的二维虚拟驾驶场景。
进一步的，在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定，包括：基于车辆前方景象建立二维虚拟驾驶场景，将二维虚拟驾驶场景及注视点输入到预先编好的采集像素点程序中；
将注视点与所述二维虚拟驾驶场景融合，在二维虚拟驾驶场景里标定驾驶人注视点。
采用上述进一步方案的有益效果在于：建立二维虚拟驾驶场景，将现实中注视点与驾驶人眼睛之间的距离转换至虚拟驾驶场景，基于坐标系进行标定，有利于准确计算预瞄距离更好的实现路径的跟踪。
进一步的，根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，包括：
获取注视点像素坐标和注视点投影至左右侧车道线内侧和外侧两端点的坐标，基于预设的单目测距算法的距离计算程序，获取驾驶人眼睛位置至注视点的距离，单目测距算法可以是：1.拟合建模法2. 逆透视变换法3.成像几何关系法4.光学投影特性法。
采用上述进一步方案的有益效果在于：不需要其他参考系，基于建立的坐标系或者预设坐标系，通过驾驶人眼睛、注视点、左右侧车道线即可计算出所述注视点至眼睛的水平距离，数据结果准确，步骤相对简单，具有广阔的应用前景。
进一步的，数据计算模块基于预设的单目测距算法的距离计算程序，获取驾驶人眼睛位置至注视点的距离，包括：
根据注视点像素坐标(x0,y0)、注视点像素坐标和注视点投影至左侧车道线内侧和外侧两端点的坐标(x1,y1),(x2,y2)和投影到右侧车道线内侧和外侧两端点的像素坐标(x3,y3)，(x4,y4)；
计算出左侧车道线内侧和外侧两端点间的像素长度l1和右侧车道线内侧和外侧两端点间的像素长度l2；
计算注视点至点(x1,y1)与点(x2,y2)中点的像素长度l3、计算注视点至点(x3,y3)与点(x4,y4)中点的像素长度14，
然后根据所述l1、l2、l3和l4通过三角关系及投影变换即可求得人眼至(x1,y1)的距离L1，同理可以获得人眼至(x3,y3)的距离L2、驾驶人眼睛位置至注视点的距离L0和预瞄距离L，相关公式如下：
Figure BDA0003104975710000041
Figure BDA0003104975710000042
Figure BDA0003104975710000043
Figure BDA0003104975710000044
Figure BDA0003104975710000045
Figure BDA0003104975710000046
Figure BDA0003104975710000047
Figure BDA0003104975710000048
Figure BDA0003104975710000049
其中，
换算系数β为摄像设备位于单位距离拍摄时，图片中一个像素长度所对应真实距离的长度；
α为比例系数；
W是路面车道线宽度；
D为相邻两车道间距；
H为驾驶人眼睛距地面的高度。
采用上述进一步方案的有益效果在于：通过获取眼睛位置和眼睛投影到注视点的位置，然后图像获取模块获取注视点的驾驶人前视景象，将眼睛位置和眼睛投影到注视点的位置在注视点的驾驶人前视景象上进行标定，然后经过计算处理得到现实中的实际距离与图片上的距离之间的换算系数β，所述数据计算模块根据注视点的驾驶人前视景象中标定的眼睛位置和眼睛投影到注视点的位置之间的像素数量，然后利用换算系数β得出现实中驾驶人眼睛距离注视点之间的实际距离，然后根据采集的驾驶人眼睛距离地面的高度H和现实中驾驶人眼睛距离注视点之间的实际距离即注视点至驾驶人眼睛位置的距离L0，计算得出注视点距离车辆的距离，即预瞄距离L，实现对预瞄距离的测定。
进一步的，通过获取已参数标定的摄像设备拍摄的图片，得到的摄像设备的内参数据，根据所述内参数据得到换算系数β，即摄像设备位于单位距离拍摄时，图片中一个像素长度所对应真实距离的长度。
采用上述进一步方案的有益效果在于：所述换算系数β即参数标定是求世界坐标系、相机坐标系、图像坐标系与像素坐标系的统一转换参数，在本技术方案中使用世界坐标系进行参数标定，可以将现实场景转化为虚拟场景，便于所述注视点和预瞄距离的估算。
根据本发明的另一个方面，提供一种基于驾驶人眼动数据预瞄距离的计算系统，包括：
信息采集模块，配置用于基于建立的坐标系或者预设坐标系获取驾驶人眼睛的眼动数据，通过摄像设备获取眼动数据对应的车辆前方景象；
预瞄景象获取模块，配置用于基于眼动数据识别驾驶人注视点，以驾驶人眼睛至注视点为预瞄方向，获取车辆前方景象的预瞄方向上包含注视点的车辆前方景象为预瞄景象；
标定模块，配置用于在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定；
数据计算模块，配置用于根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，即得。
分类模块，配置用于对眼动数据进行分类处理。
进一步的，还包括后处理模块，配置用于对所述眼动数据进行后处理；作为可选方案，所述后处理包括：对所述眼动数据进行筛选合并后得到注视点。在被筛选后的眼动数据中，存在相邻短注视在时间和空间上相近的情况，它们可能属于同一个长注视，所述筛选合并可将两个相邻的短注视合并为一个注视行为以增加数据采集的精准度。
采用上述进一步方案的有益效果在于：将所述眼动数据进行后处理能够有利于准确的确定驾驶人注视点。
进一步的，获取眼动数据对应的车辆前方景象的方式可以是实时录制驾驶人前视区域的视频流。
进一步的，所述标定模块，包括：
二维虚拟驾驶场景建立单元，配置用于基于车辆前方景象建立二维虚拟驾驶场景，将二维虚拟驾驶场景及注视点输入到预先编好的采集像素点程序中；
数据融合单元，配置用于将注视点与所述二维虚拟驾驶场景融合，在二维虚拟驾驶场景里标定驾驶人注视点。
进一步的，数据计算模块获取注视点像素坐标和注视点投影至左右侧车道线内侧和外侧两端点的坐标，基于预设的单目测距算法的距离计算程序计算得驾驶人眼睛位置至注视点的距离。
进一步的，数据计算模块基于预设的单目测距算法的距离计算程序，获取驾驶人眼睛位置至注视点的距离，包括：
根据注视点像素坐标(x0,y0)、注视点像素坐标和注视点投影至左侧车道线内侧和外侧两端点的坐标(x1,y1),(x2,y2)和投影到右侧车道线内侧和外侧两端点的像素坐标(x3,y3)，(x4,y4)；
计算出左侧车道线内侧和外侧两端点间的像素长度l1和右侧车道线内侧和外侧两端点间的像素长度l2；
计算注视点至点(x1,y1)与点(x2,y2)中点的像素长度l3、计算注视点至点(x3,y3)与点(x4,y4)中点的像素长度14，
然后根据所述l1、l2、l3和l4通过三角关系及投影变换即可求得人眼至(x1,y1)的距离L1，同理可以获得人眼至(x3,y3)的距离L2、驾驶人眼睛位置至注视点的距离L0和预瞄距离L，相关公式如下：
Figure BDA0003104975710000071
Figure BDA0003104975710000072
Figure BDA0003104975710000073
Figure BDA0003104975710000074
Figure BDA0003104975710000075
Figure BDA0003104975710000076
Figure BDA0003104975710000077
Figure BDA0003104975710000078
Figure BDA0003104975710000079
其中，
换算系数β为摄像设备位于单位距离拍摄时，图片中一个像素所对应的长度；
α为比例系数；
W是路面车道线宽度；
D为相邻两车道间距；
H为驾驶人眼睛距地面的高度。
进一步的，数据计算模块包括换算系数β计算单元，配置用于通过获取已参数标定的摄像设备拍摄的图片，得到的摄像设备的内参数据，根据所述内参数据得到换算系数β，即摄像设备位于单位距离拍摄时，图片中一个像素长度所对应真实距离的长度。
与现有技术相比，本发明具有以下有益效果：
选用驾驶人眼睛的注视点可以避免因采用经验估计预瞄距离造成的数据误差，利用注视点和图像信息的结合求驾驶人预瞄距离可以在驾驶人前视图像中标定驾驶人注视点，便于像素长度的获取以及预瞄距离的计算，考虑了驾驶人驾驶过程中的主观性，减少因人为因素产生的误差，使得预瞄距离的计算更加客观、准确，得出现实中注视点与驾驶人眼睛之间的距离，有利于实现对于路径的跟踪。
根据本发明的另一个方面，提供一种设备，其特征是，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述任一项所述的方法。
与现有技术相比，本发明具有以下有益效果：借助设备客观计算，减少因人为因素产生的误差，使得预瞄距离的计算更加客观、准确，得出现实中注视点与驾驶人眼睛之间的距离，有利于实现对于路径的跟踪。
根据本发明的另一个方面，提供一种存储有计算机程序的计算机可读存储介质，其特征是，该程序被处理器执行时实现如权利要求1-9 中任一项所述的方法。
与现有技术相比，本发明具有以下有益效果：借助计算机可读存储介质，方便携带、运输，降低对设备的依赖，预瞄距离的计算更加客观、准确，得出现实中注视点与驾驶人眼睛之间的距离，有利于实现对于路径的跟踪。
附图说明
图1为本发明流程图；
图2为本发明标准黑白棋盘格图；
图3为本发明车辆前方景象数据采集参考图；
图4为本发明预瞄距离原理说明参考图。
具体实施方式
为了更好的了解本发明的技术方案，下面结合具体实施例、说明书附图对本发明作进一步说明。
实施例1：
一种基于驾驶人眼动数据预瞄距离的计算系统，包括：
信息采集模块，所述信息采集模块包括眼动仪、车辆前方景象获取单元；眼动仪配置用于基于建立的坐标系或者预设坐标系获取驾驶人眼睛的眼动数据，车辆前方景象获取单元通过摄像设备(如相机) 获取眼动数据对应的车辆前方景象，获取的方式可以是实时录制驾驶人前视区域的视频流。
预瞄景象获取模块，配置用于基于眼动数据识别驾驶人注视点，作为可选方案，所述注视点通过眼动仪中程序获取，也可通过应用照相设备扫描人眼转动角度实现注视点的识别。优选的，所述眼动仪采用Tobii pro glasses2眼动仪。
以驾驶人眼睛至注视点为预瞄方向，获取车辆前方景象的预瞄方向上包含注视点的车辆前方景象为预瞄景象；
分类模块，配置用于对眼动数据进行分类处理。
数据处理模块，配置用于对所述眼动数据进行后处理；作为可选方案，所述后处理包括：对所述眼动数据进行筛选合并后得到注视点。在被筛选后的眼动数据中，存在相邻短注视在时间和空间上相近的情况，它们可能属于同一个长注视，所述筛选合并可将两个相邻的短注视合并为一个注视行为以增加数据采集的精准度。
标定模块，配置用于在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定；具体的，标定模块包括：
二维虚拟驾驶场景建立单元，配置用于基于车辆前方景象建立二维虚拟驾驶场景，将二维虚拟驾驶场景及注视点输入到预先编好的采集像素点程序中；
数据融合单元，配置用于将注视点与所述二维虚拟驾驶场景融合，在二维虚拟驾驶场景里标定驾驶人注视点。
数据计算模块，配置用于根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，即得。具体的，数据计算模块获取注视点像素坐标和注视点投影至左右侧车道线内侧和外侧两端点的坐标，基于预设的单目测距算法的距离计算程序计算得驾驶人眼睛位置至注视点的距离。作为进一步优选方案，数据计算模块包括换算系数β计算单元，配置用于通过获取已参数标定的摄像设备拍摄的图片，得到的摄像设备的内参数据，根据所述内参数据得到换算系数β，即摄像设备位于单位距离拍摄时，图片中一个像素所对应真实距离的长度如，使用摄像设备(如相机)对标准棋盘格进行拍摄并进行参数标定，参数标定算法是OpenCV中自带标定的，提取棋盘格的角点信息后计算出相机的内参矩阵。将已参数标定的图片输入到计算机中，利用参数标定算法提取角点信息，得到相机的内参矩阵，通过内参矩阵经过变换得到所述换算系数β，换算系数β为相机位于单位距离拍摄时，图片中一个像素长度所对应真实距离的长度。
数据计算模块基于预设的单目测距算法的距离计算程序，获取驾驶人眼睛位置至注视点的距离，包括：
根据注视点像素坐标(x0,y0)、注视点像素坐标和注视点投影至左侧车道线内侧和外侧两端点的坐标(x1,y1),(x2,y2)和投影到右侧车道线内侧和外侧两端点的像素坐标(x3,y3)，(x4,y4)；
计算出左侧车道线内侧和外侧两端点间的像素长度l1和右侧车道线内侧和外侧两端点间的像素长度l2；
计算注视点至点(x2,y2)与点(x1,y1)中点的像素长度l3、计算注视点至点(x4,y4)与点(x3,y3)中点的像素长度14，
然后根据所述l1、l2、l3和l4通过三角关系及投影变换即可求得人眼至(x2,y2)的距离L1，同理可以获得人眼至(x2,y2)的距离L2、驾驶人眼睛位置至注视点的距离L0和预瞄距离L，相关公式如下：
Figure BDA0003104975710000101
Figure BDA0003104975710000102
Figure BDA0003104975710000103
Figure BDA0003104975710000104
Figure BDA0003104975710000105
Figure BDA0003104975710000106
Figure BDA0003104975710000107
Figure BDA0003104975710000108
Figure BDA0003104975710000111
其中，
换算系数β为摄像设备位于单位距离拍摄时，图片中一个像素所对应的长度
摄像设备位于单位距离拍摄时，标准黑白棋盘格中一个像素长度所对应真实距离的长度；
α为比例系数；
W是路面车道线宽度；
D为相邻两车道间距；
H为驾驶人眼睛距地面的高度。
本实施例提供应用上述基于驾驶人眼动数据预瞄距离的计算系统的预瞄距离计算方法，包括以下步骤：
步骤1：基于建立的坐标系或者预设坐标系获取驾驶人眼睛的眼动数据，通过摄像设备获取眼动数据对应的车辆前方景象；其中，作为可选方案，所述眼动数据包括以下至少一种：驾驶人眼睛的位置、眼睛投影到注视点的位置、采样时间和驾驶人眼睛距地面的高度。获取眼动数据对应的车辆前方景象的方式可以是实时录制驾驶人前视区域的视频流。
步骤2：对所述眼动数据进行眼动数据的分类处理和后处理；作为可选方案。所述后处理包括：对所述眼动数据进行筛选合并后得到注视点。在被筛选后的眼动数据中，存在相邻短注视在时间和空间上相近的情况，它们可能属于同一个长注视，所述筛选合并可将两个相邻的短注视合并为一个注视行为以增加数据采集的精准度。
步骤3：基于眼动数据识别驾驶人注视点，以驾驶人眼睛至注视点为预瞄方向，获取车辆前方景象的预瞄方向上包含注视点的车辆前方景象为预瞄景象；
步骤4：在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定；具体包括：
步骤41：基于车辆前方景象建立二维虚拟驾驶场景，如，截取若干视频帧图片建立与实际路况相同的二维虚拟驾驶场景，将二维虚拟驾驶场景及注视点输入到预先编好的采集像素点程序中；
步骤42：将注视点与所述二维虚拟驾驶场景融合，在二维虚拟驾驶场景里标定驾驶人注视点。
步骤5：根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，即得，进一步的，点像素坐标和注视点投影至左右侧车道线内侧和外侧两端点的坐标，基于预设的单目测距算法的距离计算程序，获取驾驶人眼睛位置至注视点的距离。数据计算模块基于预设的单目测距算法的距离计算程序，获取驾驶人眼睛位置至注视点的距离，包括：
步骤51：根据注视点像素坐标(x0,y0)、注视点像素坐标和注视点投影至左侧车道线内侧和外侧两端点的坐标(x1,y1),(x2,y2)和投影到右侧车道线内侧和外侧两端点的像素坐标(x3,y3)，(x4,y4)；
步骤52：计算出左侧车道线内侧和外侧两端点间的像素长度l1和右侧车道线内侧和外侧两端点间的像素长度l2；
步骤53：计算注视点至点(x1,y1)与点(x2,y2)中点的像素长度l3、计算注视点至点(x3,y3)与点(x4,y4)中点的像素长度14；
步骤54：然后根据所述l1、l2、l3和l4通过三角关系及投影变换即可求得人眼至(x1,y1)的距离L1，同理可以获得人眼至(x3,y3)的距离L2、驾驶人眼睛位置至注视点的距离L0和预瞄距离L，相关公式如下：
Figure BDA0003104975710000121
Figure BDA0003104975710000122
Figure BDA0003104975710000123
Figure BDA0003104975710000124
Figure BDA0003104975710000125
Figure BDA0003104975710000126
Figure BDA0003104975710000127
Figure BDA0003104975710000128
Figure BDA0003104975710000131
其中，
换算系数β为摄像设备位于单位距离拍摄时，图片中一个像素所对应的长度
摄像设备位于单位距离拍摄时，标准黑白棋盘格中一个像素长度所对应真实距离的长度；
α为比例系数；
W是路面车道线宽度；
D为相邻两车道间距；
H为驾驶人眼睛距地面的高度。
基于眼动数据识别驾驶人注视点，以驾驶人眼睛至注视点为预瞄方向，获取车辆前方景象的预瞄方向上包含注视点的车辆前方景象为预瞄景象；
在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定；
根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，即得。
实施例2：
步骤1，被试者佩戴眼动仪驾驶车辆，眼动仪获取注视点(所述注视点通过眼动仪中程序获取，也可通过扫描人眼转动角度实现注视点的识别、采集眼动数据，所述眼动数据包括以下至少一种：眼睛位置(x,y,z)、眼睛投影到注视点的位置(X,Y,Z)、采样时间T和驾驶人眼睛距地面的高度H，坐标根据摄像设备3D坐标系读取，通过摄像设备获取驾驶人的前视景象，获取的方式可以是实时录制驾驶人前视区域的视频。
由于眼动数据获取的期间设备会发生失真等情况，故会导致每个眼动数据点对于的采样时间间隔不相等，故应当对发生此情况的眼动数据进行频率校正，提高准确度，实验中可以通过将所述左眼眼动数据和右眼眼动数据拆分开来单独计算预瞄距离，也可以通过求平均值的方式进行预瞄距离的计算，对缺失的数据进行补充可以提高整个所述眼动数据获取过程的连续性和准确度，
作为优选，可以对所述眼动数据进行分类处理和后处理，所述后处理包括：对所述眼动数据进行筛选合并后得到注视点。
作为进一步优选，可以对所述眼动数据进行预处理，所述预处理包括：频率较正、间隙填充、降噪以及对所述分类后的眼动数据进行筛选合并，具体预处理过程可以参考专利申请号为：2021104536982 的中国专利。
步骤2，提取包含所述注视点的前视景象，将所述注视点和驾驶人眼睛的相对位置在所述前视景象中进行标定；
步骤21，获取换算系数β，包括以下步骤：使用该相机对标准棋盘格进行拍摄，将已参数标定的图片输入到计算机中，利用参数标定算法提取角点信息；得到相机的内参矩阵，通过内参矩阵经过变换得到所述换算系数β，换算系数β为相机位于单位距离拍摄时，图片中一个像素长度所对应真实距离的长度。
步骤22，通过获取已参数标定的摄像设备拍摄的图片，得到的摄像设备(相机)的内参数据，进而转化成所述换算系数β，即摄像设备位于单位距离拍摄时，标准黑白棋盘格中一个像素长度所对应真实距离的长度。
步骤3，截取若干视频帧图片建立与实际路况相同的二维虚拟驾驶场景；
将二维虚拟驾驶场景及注视点输入到预先编好的采集像素点程序中，将注视点与所述二维虚拟驾驶场景融合，在二维虚拟驾驶场景里标定驾驶人注视点。
步骤4，获取注视点像素坐标和注视点投影至左右侧车道线两端点的坐标，输出至数据计算模块中，数据计算模块基于改进的单目测距算法的距离计算程序计算得驾驶人眼睛位置至注视点的距离。
步骤41，根据包含注视点的前视景象计算所述注视点至眼睛的距离L0；
注视点像素坐标(x0,y0)，计算图片中驾驶人注视点投影到左侧车道线两端点的像素坐标(x1,y1),(x2,y2)和投影到右侧车道线两端点的像素坐标(x3,y3)，(x4,y4)；
计算出左侧车道线像素长度和右侧车道线像素长度,然后根据所述左侧车道线像素长度和右侧车道线像素长度求出驾驶人眼睛位置至左右两侧车道线中点距离；
通过三角关系及投影变换可以求得预瞄距离L0，相
步骤42，计算预瞄距离L，所述预瞄距离L为所述注视点到眼睛的水平距离，
Figure BDA0003104975710000151
步骤5，检测预瞄距离精度，利用皮尺测量实际驾驶人预瞄距离 与经过模型确定的预瞄距离进行对比，计算估计误差。预瞄距离原理 说明：如图3-4所示，驾驶人在驾驶过程中需要对接下来需要经过的 区域进行注视，由于使用的是单目测距的原理，所以需要对前视区域 的视频帧图片取一个参照物进行标定，那么本专利选用的是两条车道 线的距离D和车道线宽度W，经过几何关系就可以得到注视点到驾驶 员位置的有效预瞄距离L，图像中情况为驾驶员的注视点F落到了非 车道线的地面上，故以注视点作垂线交两侧相邻的车道线于A、B点， 获取A点处车道线像素长度l1，由于车道线在现实生活中的宽度为W， 故通过像素长度与现实中的宽度比例关系即可求得人眼至A点的距离 L1，同理可以获得L2，也可以获得注视点F至点A(B)的像素长度 l3(14),令人眼点为C，在三角形ABC中由三角关系即可得到公式： 此公式中的α为比例系数，为美观公式故提出：
Figure RE-GDA0003242610330000152
本实例实验环境参数CPU：Inter(R)Core(TM)i5-6200U@2.30GHz 2.40GHz，显卡GTX940M，内存为8GB，操作系统为Windows10，基于 x64处理器。实验设备包括Tobiiproglasses2眼动仪，采样频率50HZ。对于眼动数据的处理是基于python3.8，对于视频数据的处理是基于 c++中的OpenCV库。
预瞄距离估计结果对比分析，利用该算法的驾驶人预瞄距离实验结果如下表所示：
Figure BDA0003104975710000153
Figure BDA0003104975710000161
表中真实值代表实际预瞄距离，实际预瞄距离是通过皮尺测量获取，在测量期间可能会出现较小的测距误差，但对于预瞄距离估计对比分析影响较小。
通过上表可以发现，本发明所提出的算法对于驾驶人预瞄距离的估计结果与实际预瞄距离的测量结果相差很小，与现有技术相比，本发明所提出的算法对于驾驶人预瞄距离的估计精度较高，对于建立驾驶人预瞄模型中预瞄时间的计算更准确并且结合视频数据可以对驾驶人预瞄特性进行有效分析，通过对驾驶人眼睛预测点的计算和驾驶人前视场景的录制，可以更加准确的得到驾驶人的驾驶经验，将本发明应用到辅助驾驶系统开发领域可以提高预瞄距离的计算精度，对辅助驾驶系统的开发有促进作用，增加智能驾驶的安全性和平稳性。
通过获取眼动数据模拟知悉驾驶人在驾驶过程中眼球的活动(眼动数据)，可以更加准确的将数据输入到智能程序中计算存储，由于在驾驶过程中，获取眼动数据的设备如眼动仪，眼动仪的失真故障或驾驶人出现眨眼和揉眼睛等情况会造成眼动数据丢失，同时如果眼动仪采样频率过高则会导致记录数据中噪声增加，所以需要对所述眼动数据进行后处理以增加数据采集的精准度，通过跟踪驾驶人的眼球活动和对注视点的捕捉，计算驾驶人注视点与预瞄区域，跟踪录制驾驶人前视区域的视频并截取若干视频帧图片，将驾驶人所注视的场景导入计算机程序中，由于现实场景中的图像比例与摄像机拍摄导入至计算机后的并不相同，所以对摄像机进行参数标定，将显示中的3D坐标系转化为世界坐标系等坐标系储存进计算机程序中，建立一个与驾驶人眼球同步的虚拟场景，在虚拟场景中标注出所述注视点和预瞄区域，利用测距原理测得注视点至驾驶人眼睛的距离L0，通过公式对驾驶人在驾驶过程中的预瞄距离L进行估计。
与传统技术相比，本技术方案采用二维虚拟场景实时跟踪驾驶人在驾驶过程中的眼球活动，能够更加准确的对注视点和预瞄区域进行预测和计算，实现对驾驶人在驾驶过程中预瞄距离的估计，提高预瞄距离的获取精度，同时有利于车辆进行路径跟踪，提高车辆行驶的平稳性，本发明对车辆技术领域具有重大意义。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于所述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由所述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如所述特征与本申请中公开的(但不限于)具有类似功能。

Claims (9)

1.一种基于眼动数据的预瞄距离计算方法，其特征在于，包括以下步骤：
基于建立的坐标系或者预设坐标系获取驾驶人眼睛的眼动数据，通过摄像设备获取眼动数据对应的车辆前方景象；
基于眼动数据识别驾驶人注视点，以驾驶人眼睛至注视点为预瞄方向，获取车辆前方景象的预瞄方向上包含注视点的车辆前方景象为预瞄景象；
在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定；根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，即得，其中，根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，包括：
获取注视点像素坐标和注视点投影至左右侧车道线内侧和外侧两端点的坐标，基于预设的单目测距算法的距离计算程序，获取驾驶人眼睛位置至注视点的距离。
2.根据权利要求1所述的一种基于眼动数据的预瞄距离计算方法，其特征在于，所述眼动数据包括以下至少一种：驾驶人眼睛的位置、眼睛投影到注视点的位置、采样时间和驾驶人眼睛距地面的高度。
3.根据权利要求1所述的一种基于眼动数据的预瞄距离计算方法，其特征在于，在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定前，还包括对所述眼动数据进行眼动数据的分类处理和后处理。
4.根据权利要求1所述的一种基于眼动数据的预瞄距离计算方法，其特征在于，获取眼动数据对应的车辆前方景象的方式是实时录制驾驶人前视区域的视频流。
5.根据权利要求1所述的一种基于眼动数据的预瞄距离计算方法，其特征在于，在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定，包括：基于车辆前方景象建立二维虚拟驾驶场景，将二维虚拟驾驶场景及注视点输入到预先编好的采集像素点程序中；
将注视点与所述二维虚拟驾驶场景融合，在二维虚拟驾驶场景里标定驾驶人注视点。
6.根据权利要求1所述的一种基于眼动数据的预瞄距离计算方法，其特征在于，数据计算模块基于预设的单目测距算法的距离计算程序，获取驾驶人眼睛位置至注视点的距离，包括：
根据注视点像素坐标(x0,y0)、注视点像素坐标和注视点投影至左侧车道线内侧和外侧两端点的坐标(x1,y1),(x2,y2)和投影到右侧车道线内侧和外侧两端点的像素坐标(x3,y3)，(x4,y4)；
计算出左侧车道线内侧和外侧两端点间的像素长度l1和右侧车道线内侧和外侧两端点间的像素长度l2；
计算注视点至点(x1,y1)与点(x2,y2)中点的像素长度l3、计算注视点至点(x3,y3)与点(x4,y4)中点的像素长度14；
然后根据所述l1、l2、l3和l4通过三角关系及投影变换即可求得人眼至(x1,y1)的距离L1，同理可以获得人眼至(x3,y3)的距离L2、驾驶人眼睛位置至注视点的距离L0和预瞄距离L，相关公式如下：
Figure FDA0003752491730000021
Figure FDA0003752491730000022
Figure FDA0003752491730000023
Figure FDA0003752491730000024
Figure FDA0003752491730000025
Figure FDA0003752491730000026
Figure FDA0003752491730000027
Figure FDA0003752491730000028
Figure FDA0003752491730000031
其中，
换算系数β为摄像设备位于单位距离拍摄时，图片中一个像素长度所对应真实距离的长度；
α为比例系数；
W是路面车道线宽度；
D为相邻两车道间距；
H为驾驶人眼睛距地面的高度。
7.根据权利要求1所述的一种基于眼动数据的预瞄距离计算方法，其特征在于，通过获取已参数标定的摄像设备拍摄的图片，得到的摄像设备的内参数据，根据所述内参数据得到换算系数β，即摄像设备位于单位距离拍摄时，图片中一个像素长度所对应真实距离的长度。
8.一种基于驾驶人眼动数据预瞄距离的计算系统，其特征在于，包括：
信息采集模块，配置用于基于建立的坐标系或者预设坐标系获取驾驶人眼睛的眼动数据，通过摄像设备获取眼动数据对应的车辆前方景象；
预瞄景象获取模块，配置用于基于眼动数据识别驾驶人注视点，以驾驶人眼睛至注视点为预瞄方向，获取车辆前方景象的预瞄方向上包含注视点的车辆前方景象为预瞄景象；
标定模块，配置用于在所述预瞄景象中将注视点和驾驶人眼睛的相对位置基于坐标系进行标定；
数据计算模块，配置用于根据标定后的注视点和驾驶人眼睛的相对位置计算出所述注视点至眼睛的水平距离，即得。
9.一种基于眼动数据的预瞄距离计算设备，其特征是，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-8中任一项所述的方法。
CN202110634599.4A 2021-06-08 2021-06-08 一种基于眼动数据的预瞄距离计算方法、系统和设备 Active CN113536909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110634599.4A CN113536909B (zh) 2021-06-08 2021-06-08 一种基于眼动数据的预瞄距离计算方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110634599.4A CN113536909B (zh) 2021-06-08 2021-06-08 一种基于眼动数据的预瞄距离计算方法、系统和设备

Publications (2)

Publication Number Publication Date
CN113536909A CN113536909A (zh) 2021-10-22
CN113536909B true CN113536909B (zh) 2022-08-26

Family

ID=78095289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110634599.4A Active CN113536909B (zh) 2021-06-08 2021-06-08 一种基于眼动数据的预瞄距离计算方法、系统和设备

Country Status (1)

Country Link
CN (1) CN113536909B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977969B (zh) * 2023-08-11 2023-12-26 中国矿业大学 基于卷积神经网络的驾驶员两点预瞄识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
CN106155288B (zh) * 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
CN107014378A (zh) * 2017-05-22 2017-08-04 中国科学技术大学 一种视线跟踪瞄准操控系统及方法
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109491508B (zh) * 2018-11-27 2022-08-26 北京七鑫易维信息技术有限公司 一种确定注视对象的方法和装置
CN111797810B (zh) * 2020-07-20 2022-11-29 吉林大学 一种行车过程中驾驶员前视预瞄区域的获取方法
CN111797809B (zh) * 2020-07-20 2022-11-04 吉林大学 一种面向自动驾驶轨迹跟踪的驾驶员视觉融合方法
CN111829549B (zh) * 2020-07-30 2022-05-24 吉林大学 一种基于高精度地图的积雪路面虚拟车道线投影方法
CN112426124A (zh) * 2020-11-23 2021-03-02 天津大学 一种基于眼动数据的车辆驾驶效率监测方法

Also Published As

Publication number Publication date
CN113536909A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN107480613B (zh) 人脸识别方法、装置、移动终端和计算机可读存储介质
US8213677B2 (en) Motion measuring device, motion measuring system, in-vehicle device, motion measuring method, motion measurement program, and computer-readable storage medium
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
US10950032B2 (en) Object capture coverage evaluation
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
US20140168367A1 (en) Calibrating visual sensors using homography operators
Liao et al. Dvi: Depth guided video inpainting for autonomous driving
CN103875020A (zh) 基于定向传感器解决单应性分解不明确性
WO2009061283A2 (en) Human motion analysis system and method
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
CN113536909B (zh) 一种基于眼动数据的预瞄距离计算方法、系统和设备
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
US8948461B1 (en) Method and system for estimating the three dimensional position of an object in a three dimensional physical space
JP3842988B2 (ja) 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
JP4850768B2 (ja) ３次元の人の顔の表面データを再構築するための装置及びプログラム
WO2020237675A1 (zh) 目标检测方法、目标检测装置和无人机
JP2004046464A (ja) 移動物体３次元位置推定装置及びその方法、プログラム並びにその記録媒体
JP5559749B2 (ja) 位置検出装置、位置検出方法及びコンピュータプログラム
Cheda et al. Camera egomotion estimation in the ADAS context
US20200026905A1 (en) Method for Three-Dimensional Graphic Reconstruction of a Vehicle
JP2011118767A (ja) 表情モニタリング方法および表情モニタリング装置
KR20100008595A (ko) 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템
JP2000207568A (ja) 姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体
CN116612459B (zh) 目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant