CN113827244A - 驾驶员视线方向的检测方法、监控方法、系统和装置 - Google Patents

驾驶员视线方向的检测方法、监控方法、系统和装置 Download PDF

Info

Publication number
CN113827244A
CN113827244A CN202010591423.0A CN202010591423A CN113827244A CN 113827244 A CN113827244 A CN 113827244A CN 202010591423 A CN202010591423 A CN 202010591423A CN 113827244 A CN113827244 A CN 113827244A
Authority
CN
China
Prior art keywords
driver
point
light source
eyeball
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010591423.0A
Other languages
English (en)
Other versions
CN113827244B (zh
Inventor
叶振宏
骆彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN202010591423.0A priority Critical patent/CN113827244B/zh
Publication of CN113827244A publication Critical patent/CN113827244A/zh
Application granted granted Critical
Publication of CN113827244B publication Critical patent/CN113827244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种驾驶员视线方向的检测方法、监控方法、系统和装置，属于车辆控制技术领域。所述检测方法包括：在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点；根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点；确定与所述内部结构点对应所述驾驶员眼球的实际视线方向。本发明用于监控驾驶员是否注意力集中。

Description

驾驶员视线方向的检测方法、监控方法、系统和装置
技术领域
本发明涉及车辆控制技术领域，具体地涉及一种驾驶员视线方向的检测方法、一种驾驶员视线方向的监控方法、一种用于监控驾驶员视线方向的系统、一种用于监控驾驶员视线方向的装置、一种电子设备和一种计算机可读存储介质。
背景技术
对于一些常规的驾驶员监测系统，通常是，通过摄像头采集驾驶员头部图像，实现了驾驶者的疲劳监测、注意力监测、异常动作识别和身份识别等功能。
现有监测方案大多通过图像处理技术，识别采集的图片中的驾驶员面部信息，估计出驾驶员的面部方向，从而估计出驾驶员的视线方向；该方案的问题在于：1)仅仅通过二维信息，很难准确辨识出驾驶员的面部方向；2)驾驶员的面部方向不代表驾驶员的实际视线方向。因此，该类方案无法得到有效识别出驾驶员的真实视线关注点，几乎很难判断出驾驶员是否注意力不集中的问题。
发明内容
本发明的目的是提供一种驾驶员视线方向的检测方法、监控方法、系统和装置，解决了由于现有方案难以获得驾驶员眼球的实际视线方向等技术问题。
为了实现上述目的，本发明实施例提供一种驾驶员视线方向的检测方法，该检测方法包括：
在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点；
根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点；
确定与所述内部结构点对应所述驾驶员眼球的实际视线方向。
具体的，所述在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点，其中：
所述内部结构成像点与所述驾驶员眼球的光路经过所述参考点；
所述光源为第一光源和第二光源；
所述驾驶员眼球的第一角膜表面反射点与所述第一光源的光源成像点的光路经过所述参考点；
所述驾驶员眼球的第二角膜表面反射点与所述第二光源的光源成像点的光路经过所述参考点；
所述参考点与由所述第一光源的光源成像点、所述第二光源的光源成像点和所述驾驶员眼球的内部结构成像点确定的成像面有距离。
具体的，所述根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点，包括：
构建第一反射关系方程：
Figure BDA0002555690730000021
其中，o为所述参考点，q1为所述第一角膜表面反射点，d为所述驾驶员眼球的眼球中心，R为所述驾驶员眼球的眼球半径，k1为第一参数，u1为所述第一光源的光源成像点，I1为所述第一光源的位置点，c为角膜曲面中心点；
构建第二反射关系方程：
Figure BDA0002555690730000031
其中，q2为所述第二角膜表面反射点，k2为第二参数，u2为所述第二光源的光源成像点，I2为所述第二光源的位置点；
联立所述第一反射关系方程和所述第二反射关系方程，通过优化算法获得所述第一参数的数值和第二参数的数值；
估算获得所述角膜曲面中心点：
Figure BDA0002555690730000032
其中，
Figure BDA0002555690730000033
Figure BDA0002555690730000034
为所述角膜曲面中心点的估算量。
具体的，所述根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点，还包括：
通过所述角膜曲面中心点的估算量估算所述驾驶员眼球的瞳孔中心点在角膜表面的折射点r：
Figure BDA0002555690730000035
其中，v1为采集的内部结构成像点中的瞳孔中心成像点；
根据所述折射点和所述角膜曲面中心点的估算量，估算所述瞳孔中心点p：
Figure BDA0002555690730000036
其中，
Figure BDA0002555690730000041
n1为所述驾驶员眼球的折射率，K为所述瞳孔中心点与所述角膜曲面中心点的距离。
具体的，所述确定与所述内部结构点对应所述驾驶员眼球的实际视线方向，包括：
通过所述瞳孔中心点与所述角膜曲面中心点确定所述驾驶员眼球的光学轴方向的直线函数：
Figure BDA0002555690730000042
其中，
Figure BDA0002555690730000043
为所述驾驶员眼球的光学轴方向的直线函数，cp1、cp2、cp3分别为
Figure BDA0002555690730000044
在坐标系的XYZ三轴上的向量分量，所述参考点位于所述坐标系的原点O；
根据由所述驾驶员眼球的中心凹和所述瞳孔中心点确定的直线与所述光学轴方向的偏差角，获得所述驾驶员眼球的实际视线方向的向量：
Figure BDA0002555690730000045
其中，
Figure BDA0002555690730000046
Figure BDA0002555690730000047
为所述驾驶员眼球的实际视线方向的向量，
Figure BDA0002555690730000048
θeye和βeye为具有所述偏差角的单位向量在所述坐标系的空间内XOY、XOZ、YOZ三个平面上的分解角度，αeye为所述实际视线方向与所述光学轴方向的偏差角。
具体的，其中，所述光源包括红外线光源。
本发明实施例提供一种驾驶员视线方向的监控方法，该监控方法包括：
通过权利要求1至6中任意一项所述的检测方法获得驾驶员眼球的实际视线方向，根据所述实际视线方向的向量和车辆行驶方向的向量，计算视线偏离度：
Figure BDA0002555690730000051
其中，Δβ为所述视线偏离度，
Figure BDA0002555690730000052
为所述车辆行驶方向的向量；
根据所述视线偏离度与预设视线偏离度的大小关系以及所述大小关系的持续时间，执行定义的控制操作。
本发明实施例提供一种用于监控驾驶员视线方向的系统，该系统包括：
采集模块，用于在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点；
计算模块，用于根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点；
监控模块，用于确定与所述内部结构点对应所述驾驶员眼球的实际视线方向。
本发明实施例提供一种用于监控驾驶员视线方向的装置，该驾驶员注意力装置包括：
采集设备，具有成像面和用于参考点的采集端，所述采集端与所述成像面有距离；
所述成像面具有获得经过所述采集端的驾驶员眼球的内部结构成像点、第一光源的光源成像点和第二光源的光源成像点的功能，其中，
所述第一光源的光源成像点为经所述第一光源照射所述驾驶员眼球的角膜表面反射形成，
所述第二光源的光源成像点为经所述第二光源照射所述驾驶员眼球的角膜表面反射形成。
再一方面，本发明实施例提供一种电子设备，该电子设备包括：
至少一个处理器；
存储器，与所述至少一个处理器连接；
其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的方法。
又一方面，本发明实施例提供一种计算机可读存储介质，存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行前述的方法。
本发明通过驾驶员和光源所在空间内位置点信息和成像点信息，结合光路布置，使用眼球跟踪算法计算了眼球内部的三维位置点，从而能够根据三维位置点所确定的直线方向估算驾驶员眼球的实际视线方向。
本发明提供了在一些精确度要求下的光路布置，进一步地提供了根据该光路布置下角膜曲面中心点的估算量，此时已可以以该估算量与另外任意一个眼球内部结构点(眼球内部结构各点相对距离可视为不变)的估算量，或者另外求得驾驶室内一个独立位置点(可在注意力集中时标记获得)，均可视为获得实际视线方向。
本发明提供了在高一些精确度要求下的另外一个眼球内部结构点(眼球内瞳孔中心点)的估算量，从而获得在该精确度要求下的实际视线方向。
本发明在更高精确度要求下提供了真实的实际视线方向的计算方式，以中心凹和瞳孔中心点所确定直线方向与眼球光学轴所在直线方向的偏差角计算中心凹和瞳孔中心点所确定直线方向的向量，以此作为实际视线方向。
本发明仅额外引入红外线光源，具有成本低廉特性和方便实现特性。
本发明还提供了前述的实际视线方向与车辆行驶方向的偏离度计算方式，进一步地解决了难以监控驾驶员注意力是否集中的技术问题，通过偏离度变化情况实现了监控驾驶员视线方向是否保持正常，也即实现了监控驾驶员注意力是否集中。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1为本发明实施例的主要方法步骤示意图；
图2为本发明实施例的示例性的眼球跟踪光路布置示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
实施例1
本发明实施例提供了驾驶员视线方向的检测方法，如图1，该检测方法包括：
在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点；
根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点；
确定与所述内部结构点对应所述驾驶员眼球的实际视线方向。
对于正常的人眼，首先光线到达角膜表面，角膜表面曲面内是内部结构，如前房，然后前房内是葡萄膜、虹膜等，形成瞳孔，光线经过瞳孔后至晶状体，晶状体通过眼球内玻璃体管连接视神经，视神经附近有视网膜，从而可以感光，在视网膜黄斑位置有中心凹(或称为中央凹)，是感光最敏感位置，因此，本发明实施例中判断驾驶员注意力是否集中，可以通过判断由中心凹至瞳孔中心点确定的实际视线方向相对车辆行驶方向是否发生持续的偏离来实现。
本发明实施例进一步提供了独特的光路布置以及在该光路布置下的独特的眼球跟踪算法。
对于光路布置，本发明实施例提供两个光源以及一个采集设备，两个光源可以均是红外线光源，采集设备可以是具有红外光采集功能的相机，该相机可以用于执行前述的采集操作；所述内部结构成像点与所述驾驶员眼球的光路经过所述参考点；所述光源为第一光源和第二光源；所述驾驶员眼球的第一角膜表面反射点与所述第一光源的光源成像点的光路经过所述参考点；所述驾驶员眼球的第二角膜表面反射点与所述第二光源的光源成像点的光路经过所述参考点；所述参考点与由所述第一光源的光源成像点、所述第二光源的光源成像点和所述驾驶员眼球的内部结构成像点确定的成像面有距离。
对于本发明实施例的眼球跟踪算法，首先，取相机的集散点(集散点可以是本发明实施例的相机采集光路中各个光线的交叉位置，交叉位置可以是多个点，该交叉位置上任意两个光线在一个方向上的投影直线相交，为了计算的简便性，交叉位置可以是一个点，可以视为交叉位置上任意两个光线在任意一个方向上的投影直线均相交，即所述参考点)为原点o＝[0 0 0]，两个红外线光源的位置分别为I1＝[0 α 0]和I2＝[0 -α 0]，其中，α为红外线光源到相机(集散点)的距离。u1为第一光源在相机上的成像点位置，u2为第二光源的光源成像点，而v1为瞳孔中心在相机上的成像点位置。任意一个成像点均可以通过相机的成像面(如电荷耦合阵列CCD)采集，可以计算出的各个光源位置和瞳孔中心位置相对位置，然后通过相机物理参数求出在参考点所在坐标系的向量。
如图2，展示了光源1(第一光源)的光线通过眼球角膜表面反射到相机后成像，对于光源2也是类似的，若相机此时得到u1＝[-β θ1 σ1]，u2＝[-β θ2 σ2]，此时，u1和u2为相机上成像坐标，可以通过反射定律，构建第一反射关系方程：
Figure BDA0002555690730000091
其中，q1为第一角膜表面反射点，d为驾驶员眼球的眼球中心，R为驾驶员眼球的眼球半径，k1为第一参数，c为角膜曲面中心点；
接着类似地，可以构建第二反射关系方程：
Figure BDA0002555690730000092
其中，q2为第二角膜表面反射点，k2为第二参数；
联立所述第一反射关系方程和所述第二反射关系方程，可通过优化算法获得所述第一参数的数值和第二参数的数值，其中，本专利的优化算法，可以选用拉格朗日乘数法等算法，如下，拉格朗日函数为：
Figure BDA0002555690730000093
其中目标函数为f(q1,k1)和f(q2,k2)，约束条件为g(q1,k1)和g(q2,k2)，μ1和μ2作为拉格朗日参数，通过此方式即可以迭代计算出k1和k2的数值，。
根据k1和k2的数值，进一步地，可以估计出角膜曲面中心点(非曲面上)的位置：
Figure BDA0002555690730000094
其中，
Figure BDA0002555690730000101
Figure BDA0002555690730000102
为所述角膜曲面中心点的估算量。
在一些情况中，可根据一些预定义的点，结合该角膜曲面中心点，求得实际视线方向，本发明实施例进一步提供了使用光学轴方向得到实际视线方向的方式。
可以通过折射定律，结合瞳孔中心成像点v1的位置，估算出瞳孔中心在角膜表面的折射点r：
Figure BDA0002555690730000103
其中，v1为采集的内部结构成像点中的瞳孔中心成像点；
根据所述折射点和所述角膜曲面中心点的估算量，估算所述瞳孔中心点p：
Figure BDA0002555690730000104
其中，
Figure BDA0002555690730000105
n1为所述驾驶员眼球的折射率，K为所述瞳孔中心点与所述角膜曲面中心点的距离。
进一步地，通过所述瞳孔中心点与所述角膜曲面中心点确定所述驾驶员眼球的光学轴方向的直线函数：
Figure BDA0002555690730000111
其中，
Figure BDA0002555690730000112
为所述驾驶员眼球的光学轴方向的直线函数，cp1、cp2、cp3分别为
Figure BDA0002555690730000113
在XYZ轴上的向量分量；
根据由所述驾驶员眼球的中心凹和所述瞳孔中心点确定的直线(眼球视线方向)与所述光学轴方向的偏差角，获得所述驾驶员眼球的实际视线方向的向量：
Figure BDA0002555690730000114
其中，
Figure BDA0002555690730000115
Figure BDA0002555690730000116
为所述驾驶员眼球的实际视线方向的向量，
Figure BDA0002555690730000117
θeye和βeye为具有所述偏差角的单位向量在空间上的XOY、XOZ、YOZ三个平面上的分解角度。αeye为眼球视线方向与光学轴方向的偏差角。
上述各个式子中，涉及的可测量的参数可以根据具体应用情况决定，例如n1、K、R、
Figure BDA0002555690730000118
θeye、βeye、αeye等，在初次应用的时候，可进行参数校准。具体应用是，通常是对左右眼球进行，可以分别估算出左右眼球的视线方向，然后通过求均值的方法，可以估算出驾驶员的实际视线方向。
以上部分可以称为通过眼球跟踪算法估计出实际视线方向，接着，可以通过分析驾驶员的视线方向，监测驾驶员的注意力集中度。
本发明实施例还提供了驾驶员视线方向的监控方法，该监控方法包括：
通过前述检测方法获得驾驶员实际视线方向的向量
Figure BDA0002555690730000119
后，根据所述驾驶员眼球的实际视线方向的向量和车辆行驶方向的向量，计算视线偏离度：
Figure BDA00025556907300001110
其中，Δβ为所述视线偏离度，
Figure BDA0002555690730000121
为所述车辆行驶方向的向量；
根据所述视线偏离度与预设视线偏离度的大小关系以及所述大小关系的持续时间，执行定义的控制操作。
示例性地，对于判断驾驶员注意力分散或集中，当Δβ大于10度(预设视线偏离度)且持续时间超过10秒(持续时间阈值，可以过滤一些正常情况，例如驾驶员用余光看后视镜)时，可以进行报警，以及选择地施加减速或者停车措施等；其中，预设视线偏离度可以考虑车辆转弯情况，转弯时可以根据转弯角度调整预设视线偏离度，如调整为更大的值；持续时间阈值可以与车速关联，对于80千米/小时、120千米/小时等高速情况，可以设定该持续时间阈值为更短的值，例如3秒、4秒等；对于监控判断并报警的方式，还可以结合状态机，例如状态机中记录了驾驶员已经处于闭眼状态或者脸部已经不在相机捕捉范围，此时可以仅判断持续时间是否超过3秒，超过则进行报警。
现有的技术主要通过图像处理识别驾驶员的视线方向，一般会使用大量面部和头部姿态的图片训练样本，训练检测器，根据检测器识别结果判断当前面部姿态，根据面部姿态估计眼部位置，并估计视线方向；随着现代电子设备的普及，车辆中一般均设置有中控屏，驾驶员还会带有手机、平板等移动设备，这些设备均可以引起驾驶员注意力分散。
例如，对于被目标引起的注意力分散，手机置于仪表盘等位置播放视频，驾驶员头部和眼部等姿态其实与正常姿态是一致的，只需要用稍微转动眼球，就能看到手机中所播放的视频，此时，现有技术由于未发现所捕捉的面部姿态或头部姿态有太大差别，是很难发现驾驶员注意力存在分散的。
除了移动设备，对于疲劳引起的情况，疲劳产生初期时，通常也不会有明显的驾驶员身体姿态或面部姿态变化，因此，单从图像本身的二维信息是很难监控注意力已经不集中的驾驶员的视线的，而已经出现明显疲劳并体现为大幅度姿态变化时，例如低头，即使此时报警，很可能为时已晚，难以起到设计的作用，并且可能会引起驾驶员不适。
本发明实施例依靠光路三维空间信息，计算各个眼球的关键位点，并通过中心凹与瞳孔中心点的相对位置，实时估算实际视线方向，通过实际视线方向和车辆行驶方向进行几何作比，选择地报警提醒，较之于传统的图像处理等现有技术，能够有效地识别出驾驶员的真实视线方向。本发明实施例的眼球跟踪技术结合红外线光源，红外设备与采集技术已相当成熟，搭建简单，应用成本也低廉。
实施例2
本发明实施例与实施例1属于同一发明构思，本发明实施例提供了用于监控驾驶员视线方向的系统，该系统包括：
采集模块，用于在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点；
计算模块，用于根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点；
监控模块，用于确定与所述内部结构点对应所述驾驶员眼球的实际视线方向。
具体的，所述采集模块具有光路布置，在光路布置中，所述内部结构成像点与所述驾驶员眼球的光路经过所述参考点；
所述光源为第一光源和第二光源；
所述驾驶员眼球的第一角膜表面反射点与所述第一光源的光源成像点的光路经过所述参考点；
所述驾驶员眼球的第二角膜表面反射点与所述第二光源的光源成像点的光路经过所述参考点；
所述参考点与由所述第一光源的光源成像点、所述第二光源的光源成像点和所述驾驶员眼球的内部结构成像点确定的成像面有距离。
具体的，所述计算模块具体用于：
构建第一反射关系方程：
Figure BDA0002555690730000141
其中，o为所述参考点，q1为所述第一角膜表面反射点，d为所述驾驶员眼球的眼球中心，R为所述驾驶员眼球的眼球半径，k1为第一参数，u1为所述第一光源的光源成像点，I1为所述第一光源的位置点，c为角膜曲面中心点；
构建第二反射关系方程：
Figure BDA0002555690730000142
其中，q2为所述第二角膜表面反射点，k2为第二参数，u2为所述第二光源的光源成像点，I2为所述第二光源的位置点；
联立所述第一反射关系方程和所述第二反射关系方程，通过优化算法获得所述第一参数的数值和第二参数的数值；
估算获得所述角膜曲面中心点：
Figure BDA0002555690730000143
其中，
Figure BDA0002555690730000144
Figure BDA0002555690730000145
为所述角膜曲面中心点的估算量。
具体的，所述计算模块还具体用于：
通过所述角膜曲面中心点的估算量估算所述驾驶员眼球的瞳孔中心点在角膜表面的折射点r：
Figure BDA0002555690730000151
其中，v1为采集的内部结构成像点中的瞳孔中心成像点；
根据所述折射点和所述角膜曲面中心点的估算量，估算所述瞳孔中心点p：
Figure BDA0002555690730000152
其中，
Figure BDA0002555690730000153
n1为所述驾驶员眼球的折射率，K为所述瞳孔中心点与所述角膜曲面中心点的距离。
具体的，所述监控模块具体用于：
通过所述瞳孔中心点与所述角膜曲面中心点确定所述驾驶员眼球的光学轴方向的直线函数：
Figure BDA0002555690730000154
其中，
Figure BDA0002555690730000155
为所述驾驶员眼球的光学轴方向的直线函数，cp1、cp2、cp3分别为
Figure BDA0002555690730000156
在XYZ轴上的向量分量；
根据由所述驾驶员眼球的中心凹和所述瞳孔中心点确定的直线与所述光学轴方向的偏差角，获得所述驾驶员眼球的实际视线方向的向量：
Figure BDA0002555690730000157
其中，
Figure BDA0002555690730000158
Figure BDA0002555690730000159
为所述驾驶员眼球的实际视线方向的向量，
Figure BDA00025556907300001510
θeye和βeye为具有所述偏差角的单位向量在空间内的XOY、XOZ、YOZ三个平面上的分解角度。αeye为眼球视线方向与光学轴方向的偏差角。
具体的，该系统还包括报警模块，所述报警模块用于：
根据所述驾驶员眼球的实际视线方向的向量和车辆行驶方向的向量，计算视线偏离度：
Figure BDA0002555690730000161
其中，Δβ为所述视线偏离度，
Figure BDA0002555690730000162
为所述车辆行驶方向的向量；
根据所述视线偏离度与预设视线偏离度的大小关系以及所述大小关系的持续时间，执行定义的控制操作。
具体的，前述的任意一个光源均可包括红外线光源。
实施例3
本发明实施例与实施例1和2均属于同一发明构思，本发明实施例提供了用于监控驾驶员视线方向的装置，该装置包括：采集设备，具有成像面和用于参考点的采集端，所述采集端与所述成像面有距离；
所述成像面具有获得经过所述采集端的驾驶员眼球的内部结构成像点、第一光源的光源成像点和第二光源的光源成像点的功能，其中，
所述第一光源的光源成像点为经所述第一光源照射所述驾驶员眼球的角膜表面反射形成，
所述第二光源的光源成像点为经所述第二光源照射所述驾驶员眼球的角膜表面反射形成。
该用于监控驾驶员视线方向的装置还包括：具有处理器的控制设备，该控制设备具有执行与实施例1中检测方法或监控方法对应的指令的功能。
该用于监控驾驶员视线方向的装置还包括：报警设备，所述报警设备被所述控制设备驱动，用于在所述控制设备判断驾驶员注意力分散时触发提醒操作，提醒操作可以自定义，例如发出特定的声音、间歇性振动座椅等，或者播报注意休息或请注意道路前方的语音，并可配置场景的提醒设定，例如在夜间高速路的场景时可播报寻找到的最近的可供驾驶员休息的定位位置，例如最近的服务区等。
所述采集设备可以是具有红外采集功能的相机，所述光源可以是红外线光源。
本发明实施例注意力监控装置可靠性好，精确度高、视线方向识别准确，在硬件成本上，本发明实施例注意力监控系统比传统的图像处理系统，具有两个极其廉价的红外线光源和具有红外采集功能的相机，成本增加基本可忽略。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (11)

1.一种驾驶员视线方向的检测方法，其特征在于，该检测方法包括：
在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点；
根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点；
确定与所述内部结构点对应所述驾驶员眼球的实际视线方向。
2.根据权利要求1所述的驾驶员视线方向的检测方法，其特征在于，所述在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点，其中：
所述内部结构成像点与所述驾驶员眼球的光路经过所述参考点；
所述光源为第一光源和第二光源；
所述驾驶员眼球的第一角膜表面反射点与所述第一光源的光源成像点的光路经过所述参考点；
所述驾驶员眼球的第二角膜表面反射点与所述第二光源的光源成像点的光路经过所述参考点；
所述参考点与由所述第一光源的光源成像点、所述第二光源的光源成像点和所述驾驶员眼球的内部结构成像点确定的成像面有距离。
3.根据权利要求2所述的驾驶员视线方向的检测方法，其特征在于，所述根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点，包括：
构建第一反射关系方程：
Figure FDA0002555690720000011
其中，o为所述参考点，q1为所述第一角膜表面反射点，d为所述驾驶员眼球的眼球中心，R为所述驾驶员眼球的眼球半径，k1为第一参数，u1为所述第一光源的光源成像点，I1为所述第一光源的位置点，c为角膜曲面中心点；
构建第二反射关系方程：
Figure FDA0002555690720000021
其中，q2为所述第二角膜表面反射点，k2为第二参数，u2为所述第二光源的光源成像点，I2为所述第二光源的位置点；
联立所述第一反射关系方程和所述第二反射关系方程，通过优化算法获得所述第一参数的数值和第二参数的数值；
估算获得所述角膜曲面中心点：
Figure FDA0002555690720000022
其中，
Figure FDA0002555690720000023
Figure FDA0002555690720000024
为所述角膜曲面中心点的估算量。
4.根据权利要求3所述的驾驶员视线方向的检测方法，其特征在于，所述根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点，还包括：
通过所述角膜曲面中心点的估算量估算所述驾驶员眼球的瞳孔中心点在角膜表面的折射点r：
Figure FDA0002555690720000025
其中，v1为采集的内部结构成像点中的瞳孔中心成像点；
根据所述折射点和所述角膜曲面中心点的估算量，估算所述瞳孔中心点p：
Figure FDA0002555690720000031
其中，
Figure FDA0002555690720000032
n1为所述驾驶员眼球的折射率，K为所述瞳孔中心点与所述角膜曲面中心点的距离。
5.根据权利要求4所述的驾驶员视线方向的检测方法，其特征在于，所述确定与所述内部结构点对应所述驾驶员眼球的实际视线方向，包括：
通过所述瞳孔中心点与所述角膜曲面中心点确定所述驾驶员眼球的光学轴方向的直线函数：
Figure FDA0002555690720000033
其中，
Figure FDA0002555690720000034
为所述驾驶员眼球的光学轴方向的直线函数，cp1、cp2、cp3分别为
Figure FDA0002555690720000035
在坐标系的XYZ三轴上的向量分量，所述参考点位于所述坐标系的原点O；
根据由所述驾驶员眼球的中心凹和所述瞳孔中心点确定的直线与所述光学轴方向的偏差角，获得所述驾驶员眼球的实际视线方向的向量：
Figure FDA0002555690720000036
其中，
Figure FDA0002555690720000037
Figure FDA0002555690720000038
为所述驾驶员眼球的实际视线方向的向量，
Figure FDA0002555690720000039
θeye和βeye为具有所述偏差角的单位向量在所述坐标系的空间内XOY、XOZ、YOZ三个平面上的分解角度，αeye为所述实际视线方向与所述光学轴方向的偏差角。
6.根据权利要求1至5中任意一项所述的驾驶员视线方向的检测方法，其特征在于，其中，所述光源包括红外线光源。
7.一种驾驶员视线方向的监控方法，其特征在于，该监控方法包括：
通过权利要求1至6中任意一项所述的检测方法获得驾驶员眼球的实际视线方向，根据所述实际视线方向的向量和车辆行驶方向的向量，计算视线偏离度：
Figure FDA0002555690720000041
其中，Δβ为所述视线偏离度，
Figure FDA0002555690720000042
为所述车辆行驶方向的向量；
根据所述视线偏离度与预设视线偏离度的大小关系以及所述大小关系的持续时间，执行定义的控制操作。
8.一种用于监控驾驶员视线方向的系统，其特征在于，该系统包括：
采集模块，用于在参考点处采集驾驶员眼球的内部结构成像点，以及采集经光源照射所述驾驶员眼球反射的光源成像点；
计算模块，用于根据所述光源的位置点、所述内部结构成像点和所述光源成像点，相对所述参考点，通过眼球跟踪算法获得所述驾驶员眼球的内部结构点；
监控模块，用于确定与所述内部结构点对应所述驾驶员眼球的实际视线方向。
9.一种用于监控驾驶员视线方向的装置，其特征在于，该驾驶员注意力装置包括：
采集设备，具有成像面和用于参考点的采集端，所述采集端与所述成像面有距离；
所述成像面具有获得经过所述采集端的驾驶员眼球的内部结构成像点、第一光源的光源成像点和第二光源的光源成像点的功能，其中，
所述第一光源的光源成像点为经所述第一光源照射所述驾驶员眼球的角膜表面反射形成，
所述第二光源的光源成像点为经所述第二光源照射所述驾驶员眼球的角膜表面反射形成。
10.一种电子设备，其特征在于，该电子设备包括：
至少一个处理器；
存储器，与所述至少一个处理器连接；
其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至7中任意一项权利要求所述的方法。
11.一种计算机可读存储介质，存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1至7中任意一项权利要求所述的方法。
CN202010591423.0A 2020-06-24 2020-06-24 驾驶员视线方向的检测方法、监控方法、系统和装置 Active CN113827244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010591423.0A CN113827244B (zh) 2020-06-24 2020-06-24 驾驶员视线方向的检测方法、监控方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591423.0A CN113827244B (zh) 2020-06-24 2020-06-24 驾驶员视线方向的检测方法、监控方法、系统和装置

Publications (2)

Publication Number Publication Date
CN113827244A true CN113827244A (zh) 2021-12-24
CN113827244B CN113827244B (zh) 2023-10-17

Family

ID=78964938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591423.0A Active CN113827244B (zh) 2020-06-24 2020-06-24 驾驶员视线方向的检测方法、监控方法、系统和装置

Country Status (1)

Country Link
CN (1) CN113827244B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953813A (zh) * 2022-12-19 2023-04-11 北京字跳网络技术有限公司 一种表情驱动方法、装置、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013752A (ja) * 2000-07-28 2005-01-20 National Institute Of Advanced Industrial & Technology 視線検出システム
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
US20110228975A1 (en) * 2007-05-23 2011-09-22 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
CN102496005A (zh) * 2011-12-03 2012-06-13 辽宁科锐科技有限公司 基于眼球特征的审讯辅助研判分析系统
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪系统及方法
CN104244807A (zh) * 2012-07-31 2014-12-24 独立行政法人科学技术振兴机构 注视点检测装置、注视点检测方法、个人参数计算装置、个人参数计算方法、程序、以及计算机可读取的记录介质
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
US20150160725A1 (en) * 2013-12-10 2015-06-11 Electronics And Telecommunications Research Institute Method of acquiring gaze information irrespective of whether user wears vision aid and moves
US20160143528A1 (en) * 2013-07-31 2016-05-26 Saar Wilf Gaze tracking system
CN106547341A (zh) * 2015-09-21 2017-03-29 现代自动车株式会社 注视跟踪器及其跟踪注视的方法
CN107358217A (zh) * 2017-07-21 2017-11-17 北京七鑫易维信息技术有限公司 一种视线估计方法及装置
JP2018128749A (ja) * 2017-02-06 2018-08-16 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
JP2019097675A (ja) * 2017-11-29 2019-06-24 国立研究開発法人産業技術総合研究所 視線検出校正方法、システム、及びコンピュータプログラム
CN111317438A (zh) * 2018-12-17 2020-06-23 托比股份公司 通过追踪光路来进行注视跟踪

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013752A (ja) * 2000-07-28 2005-01-20 National Institute Of Advanced Industrial & Technology 視線検出システム
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
US20110228975A1 (en) * 2007-05-23 2011-09-22 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
US8971570B1 (en) * 2011-11-04 2015-03-03 Google Inc. Dual LED usage for glint detection
CN102496005A (zh) * 2011-12-03 2012-06-13 辽宁科锐科技有限公司 基于眼球特征的审讯辅助研判分析系统
CN104244807A (zh) * 2012-07-31 2014-12-24 独立行政法人科学技术振兴机构 注视点检测装置、注视点检测方法、个人参数计算装置、个人参数计算方法、程序、以及计算机可读取的记录介质
CN104113680A (zh) * 2013-04-19 2014-10-22 北京三星通信技术研究有限公司 视线跟踪系统及方法
US20160143528A1 (en) * 2013-07-31 2016-05-26 Saar Wilf Gaze tracking system
US20150160725A1 (en) * 2013-12-10 2015-06-11 Electronics And Telecommunications Research Institute Method of acquiring gaze information irrespective of whether user wears vision aid and moves
CN106547341A (zh) * 2015-09-21 2017-03-29 现代自动车株式会社 注视跟踪器及其跟踪注视的方法
JP2018128749A (ja) * 2017-02-06 2018-08-16 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
CN107358217A (zh) * 2017-07-21 2017-11-17 北京七鑫易维信息技术有限公司 一种视线估计方法及装置
JP2019097675A (ja) * 2017-11-29 2019-06-24 国立研究開発法人産業技術総合研究所 視線検出校正方法、システム、及びコンピュータプログラム
CN111317438A (zh) * 2018-12-17 2020-06-23 托比股份公司 通过追踪光路来进行注视跟踪

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
E.D. GUESTRIN，等: "General theory of remote gaze estimation using the pupil center and corneal reflections", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. 53, no. 6, pages 1124 *
ELIAS DANIEL GUESTRIN，等: "Remote Point-of-Gaze Estimation with Free Head Movements Requiring a Single-Point Calibration", 2007 29TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, pages 000971 - 000976 *
郭政业, 等: "基于眼球重建异面直线模型的双目视线跟踪算法", 计算机应用研究, vol. 33, no. 4, pages 1249 - 1257 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953813A (zh) * 2022-12-19 2023-04-11 北京字跳网络技术有限公司 一种表情驱动方法、装置、设备及存储介质
CN115953813B (zh) * 2022-12-19 2024-01-30 北京字跳网络技术有限公司 一种表情驱动方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113827244B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN109643366B (zh) 用于监控车辆驾驶员的状况的方法和系统
EP1801730B1 (en) Method of detecting vehicle-operator state
US10878237B2 (en) Systems and methods for performing eye gaze tracking
Ji et al. Real-time eye, gaze, and face pose tracking for monitoring driver vigilance
JP6343808B2 (ja) 視野算出装置および視野算出方法
US6154559A (en) System for classifying an individual's gaze direction
US6927674B2 (en) Vehicle instrument cluster having integrated imaging system
US20100208207A1 (en) Automatic direct gaze detection based on pupil symmetry
EP1333410A2 (en) Eye traking / hud system
US11112602B2 (en) Method, apparatus and system for determining line of sight, and wearable eye movement device
Ghosh et al. Real time eye detection and tracking method for driver assistance system
US11455810B2 (en) Driver attention state estimation
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP2060993B1 (en) An awareness detection system and method
JP6187155B2 (ja) 注視対象物推定装置
CN109634431B (zh) 无介质浮空投影视觉追踪互动系统
CN111798488A (zh) 用于执行眼睛检测和/或跟踪的系统
CN113827244B (zh) 驾驶员视线方向的检测方法、监控方法、系统和装置
JP7051254B2 (ja) 評価装置、評価システム、評価サーバ及び評価プログラム
CN117227740B (zh) 一种智能驾驶车辆的多模态感知系统及方法
CN113879321B (zh) 驾驶员监视装置及驾驶员监视方法
CN113963416B (zh) 一种基于激光视觉反馈的眼动交互方法及系统
CN116301366A (zh) 一种基于眼球追踪的空气投影控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant