CN114067422A - 一种用于辅助驾驶的视线检测方法、装置及存储介质 - Google Patents

一种用于辅助驾驶的视线检测方法、装置及存储介质 Download PDF

Info

Publication number
CN114067422A
CN114067422A CN202111436975.5A CN202111436975A CN114067422A CN 114067422 A CN114067422 A CN 114067422A CN 202111436975 A CN202111436975 A CN 202111436975A CN 114067422 A CN114067422 A CN 114067422A
Authority
CN
China
Prior art keywords
sight line
target object
image
eyeball
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111436975.5A
Other languages
English (en)
Inventor
刘春霞
路二伟
杨波
张会朋
侯欢欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yinwo Automotive Technology Co ltd
Original Assignee
Beijing Yinwo Automotive Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yinwo Automotive Technology Co ltd filed Critical Beijing Yinwo Automotive Technology Co ltd
Priority to CN202111436975.5A priority Critical patent/CN114067422A/zh
Publication of CN114067422A publication Critical patent/CN114067422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种用于辅助驾驶的视线检测方法、装置及存储介质，其可以获取可靠的视线数据，计算操作方便，提升了视线检测的准确率，计算复杂度较低,其通过相机采集数据，使得被采集人员的视线跟随目标物体移动，获得人眼跟随目标物体移动的图像，计算视线方向数据；构建包括眼球模型推理模块和视线回归模块的视线检测模型，将图像输入眼球模型推理模块输出眼球二值图，将眼球二值图输入视线回归模块，输出推理的视线方向；由采集的人眼随目标物体移动的图像和视线方向数据构建视线数据集，通过视线数据集训练视线检测模型，获得训练好的视线检测模型；将采集的待检测的人眼图像输入训练好的视线检测模型，输出待检测的人眼的视线方向。

Description

一种用于辅助驾驶的视线检测方法、装置及存储介质
技术领域
本发明涉及辅助驾驶和人工智能技术领域，具体涉及一种用于辅助驾驶的视线检测方法、装置及存储介质。
背景技术
现如今,随着人们生活水平的不断提高,汽车已经逐渐成为人们生活中的必备品,而安全驾驶也越来越被人们所关注,因此,安全驾驶的研究也越来越深入。在行车驾驶中影响因素最大之一就是驾驶员的视线方向，通过监控驾驶员的视线方向，可以提高驾驶员的注意力，提高交通驾驶的安全性。
目前的视线检测技术，有以下两个难点：样本采集困难和视线检测结果不准确。目前的公开数据集，基于红外相机的视线数据集几乎没有，而且大部分是欧美人眼，亚洲人眼的视线数据集几乎没有。视线数据和检测与分类的数据集不同，难以人工标注，需要重新进行视线数据的采集，而空间中视线数据是三维信息，不好采集，视线检测结果的准确性受数据集、模型的影响，缺乏可靠数据集的情况下，会导致视线检测结果也不理想，同时一些现有的方法也存在计算复杂度较高的问题。
发明内容
针对上述问题，本发明提供了一种用于辅助驾驶的视线检测方法、装置及存储介质，其可以获取可靠的视线数据作为样本，计算操作方便，提升了视线检测的准确率，计算复杂度较低。
其技术方案是这样的：一种用于辅助驾驶的视线检测方法，其特征在于，包括以下步骤：通过相机采集数据，使得被采集人员的视线跟随目标物体移动，获得人眼跟随目标物体移动的图像；
根据获得的人眼跟随目标物体移动的图像，计算视线方向数据；
构建视线检测模型，所述视线检测模型包括眼球模型推理模块和视线回归模块，将图像输入眼球模型推理模块，输出眼球二值图，所述眼球二值图包括眼球轮廓和瞳孔轮廓，将眼球二值图输入视线回归模块，输出推理的视线方向；
由采集的人眼随目标物体移动的图像和计算得到的视线方向数据构建视线数据集，通过视线数据集训练所述视线检测模型，直至模型收敛，获得训练好的视线检测模型；
将采集的待检测的人眼的图像输入训练好的视线检测模型，输出待检测的人眼的视线方向。
进一步的，所述的通过相机采集数据，包括：将红外相机和深度相机放置在同一水平面内，在被采集人员面前摆放目标物体，移动目标物体，被采集人员通过人眼观察目标物体，视线跟随目标物体移动，通过红外相机和深度相机同步采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
进一步的，所述的被采集人员通过人眼观察目标物体，包括：被采集人员的头部姿势，维持面部朝向一个方向不变，移动目标物体，被采集人员通过人眼观察目标物体，视线跟随目标物体移动，通过红外相机和深度相机采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
进一步的，所述的被采集人员通过人眼观察目标物体，包括：被采集人员的视线跟随目标物体移动，被采集人员的头部与视线的方向一致，随目标物体一起移动，通过红外相机和深度相机采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
进一步的，通过红外相机和深度相机采集图像中，至少包括左上方、上方、右上方、左方、前方、右方、左下方、下方和右下方的面部朝向的图像。
进一步的，所述目标物体采用球形物体。
进一步的，所述的根据获得的人眼随目标物体移动的图像，计算视线方向数据，包括：获取人眼的瞳孔中心在深度相机坐标系下的坐标，通过深度相机和红外相机的坐标系转换关系，得到瞳孔中心在红外相机坐标系下的坐标，获取目标物体在深度相机坐标系下的坐标，通过深度相机和红外相机的坐标系转换关系，得到目标物体在红外相机坐标系下的坐标，将瞳孔中心坐标减去目标物体坐标，获视线向量，用于表示视线方向。
进一步的，所述的获取人眼的瞳孔中心在深度相机坐标系下的坐标，包括：通过深度相机的拍摄获得瞳孔的深度信息Zc，通过图像标注，获得瞳孔中心在图像坐标系的坐标(u，v)，根据图像坐标与深度相机坐标的转换公式：
Figure BDA0003381811840000021
其中，
Figure BDA0003381811840000022
的深度相机的内参矩阵，获得瞳孔中心在深度相机坐标系下的坐标(Xc，Yc，Zc)。
进一步的，所述的深度相机和红外相机的坐标系转换关系，通过如下步骤得到：对红外相机和深度相机进行双目标定，得到平移矩阵T和旋转矩阵R，同一个坐标点在深度相机坐标系下和红外相机坐标系下的转换关系，表示为P1＝R*P2+T，其中，P1是红外相机坐标系下的坐标点，P2是深度相机坐标系下的坐标点。
进一步的，所述眼球模型推理模块包括直方图均衡化层和ResNet网络层以及一个1*1卷积过滤器，所述直方图均衡化层用于增加输入图像的对比度，所述ResNet网络层包括三个ResNet网络，用于提取人眼特征，所述1*1卷积过滤器用于将提取的特征转换为眼球二值图；
所述视线回归模块包括DenseNet网络层和全连接层，所述DenseNet网络层包括三个残差模块，所述视线回归模块通过输入的眼球二值图，得到眼球中心和瞳孔中心的连接线，作为视线方向输出。
进一步的，所述的通过视线数据集训练所述视线检测模型，包括：
将视线数据集中的图像作为样本，将视线数据作为标签，输入视线检测模型的眼球模型推理模块，输出推理的眼球二值图，优化损失函数，表示为如下：
Figure BDA0003381811840000031
其中，
Figure BDA0003381811840000035
是常数，p表示每个像素的坐标，P表示整个图像的像素坐标，
Figure BDA0003381811840000032
表示眼球模型预测出来的眼球二值图，m(p)表示图像的眼球二值图；
将推理的眼球二值图输入视线检测模型的视线回归模块，输出推理的视线方向，将推理的视线方向与真实的视线方向进行比较，优化损失函数，表示为如下：
Figure BDA0003381811840000033
其中，w和ε是常数，
Figure BDA0003381811840000034
glabel是估计的视线方向，g是视线检测模型推理的视线方向，ln()是对数。
一种用于辅助驾驶的视线检测方法的装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的用于辅助驾驶的视线检测方法。
一种计算机可读存储介质，其特征在于：所述计算机可读存储介质被配置成存储程序，所述程序被配置成执行上述的用于辅助驾驶的视线检测方法。
本发明提供的一种用于辅助驾驶的视线检测方法，只需要提供一个简单的目标物体和相机，就可以获得人眼跟随目标物体移动的图像，且采集过程涉及到各个视线角度，整个数据集涉及到的视线范围更加完整和均衡；通过红外相机和深度相机的配合，可以简化由采集的图像到得到视线数据的计算，从而可以更快更方便的构建数据集，对于视线检测中采用的视线检测模型，本申请中通过眼球模型推理模块，获得眼球二值图，眼球二值图包括眼球轮廓和瞳孔轮廓，眼球和瞳孔映射到图像上分别是圆形和椭圆形，这两个形状组合成二值图像，视线的注视方向就是眼球中心和瞳孔中心的连接线，将眼球二值图输入视线回归模块，输出推理的视线方向，在计算时，在二值图像上推理视线比在原图上计算视线更加简单，由于增加了眼球模型推理模块，简化了视线检测的计算复杂度，且对数据集中头部姿态和图像质量的变化都具有鲁棒性。
附图说明
图1为实施例中的一种用于辅助驾驶的视线检测方法的步骤示意图；
图2为实施例中的得到眼球二值图的示意图；
图3为实施例中在训练模型时根据视线数据集中的视线方向生成的眼球图片；
图4为实施例中的视线检测模型的示意图；
图5为一个实施例中计算机装置的内部结构图。
具体实施方式
见图1，本发明的一种用于辅助驾驶的视线检测方法，包括以下步骤：
步骤S1：通过相机采集数据，使得被采集人员的视线跟随目标物体移动，获得人眼跟随目标物体移动的图像；
步骤S2：根据获得的人眼跟随目标物体移动的图像，计算视线方向数据；
步骤S3：构建视线检测模型，视线检测模型包括眼球模型推理模块和视线回归模块，将图像输入眼球模型推理模块，输出眼球二值图，眼球二值图包括眼球轮廓和瞳孔轮廓，将眼球二值图输入视线回归模块，输出推理的视线方向；
步骤S4：由采集的人眼随目标物体移动的图像和计算得到的视线方向数据构建视线数据集，通过视线数据集训练视线检测模型，直至模型收敛，获得训练好的视线检测模型；
步骤S5：将采集的待检测的人眼的图像输入训练好的视线检测模型，输出待检测的人眼的视线方向。
在本发明的一个实施例中，在步骤S1中，通过相机采集数据，包括：将红外相机和深度相机放置在同一水平面内，在被采集人员面前摆放目标物体，移动目标物体，被采集人员通过人眼观察目标物体，视线跟随目标物体移动，通过红外相机和深度相机同步采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
在本发明的一个实施例中，目标物体优选为球形物体，从任意方向看都是圆形，方便标注，容易确定小球的中心点，具体可以是一个连接了绳子的小球，可以悬挂在空中，可以由人工或者设备带动移动。
在本发明的施例中，数据采集时，红外相机和深度相机尽量放置在同一个水平面上，这样标定时更准确，同时，采集数据的时候需要做两个相机同步，这样才能采集到同一时刻的图片。
在本发明实施例中，采集的图像可以包括多种情形:
情形1：被采集人员的头部姿势，维持面部朝向一个方向不变，即头部不动，移动目标物体，被采集人员通过人眼观察目标物体，视线跟随目标物体移动，通过红外相机和深度相机采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
在此情形下，通过红外相机和深度相机采集图像中，至少包括左上方、上方、右上方、左方、前方、右方、左下方、下方和右下方的面部朝向的图像，图像中包含了人眼和目标物体。
以面部朝左上方为例，将作为目标物体的小球缓慢的移动，视线要跟着球移动，直到小球的轨迹铺满采集图像的整个画面，这里完成一个采集动作；然后面部再朝向上方，做一遍采集动作；面部至少做9个姿态的采集动作，开始小球在图像的位置没有规定，只是一个采集动作做下来，小球的轨迹要铺满整个图像。
情形2：被采集人员的视线跟随目标物体移动，被采集人员的头部与视线的方向一致，随目标物体一起移动，通过红外相机和深度相机采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
通用在此情形下，通过红外相机和深度相机采集图像中，至少包括左上方、上方、右上方、左方、前方、右方、左下方、下方和右下方的面部朝向的图像，图像中包含了人眼，采集过程涉及到各个视线角度，整个数据集涉及到的视线范围更加完整和均衡。
在步骤S2中，根据获得的人眼随目标物体移动的图像，计算视线方向数据，具体包括：获取人眼的瞳孔中心在深度相机坐标系下的坐标，通过深度相机和红外相机的坐标系转换关系，得到瞳孔中心在红外相机坐标系下的坐标，获取目标物体在深度相机坐标系下的坐标，通过深度相机和红外相机的坐标系转换关系，得到目标物体在红外相机坐标系下的坐标，将瞳孔中心坐标减去目标物体坐标，获视线向量，用于表示视线方向。
具体在本发明的一个实施例中，获取人眼的瞳孔中心在深度相机坐标系下的坐标，包括：通过深度相机的拍摄获得瞳孔的深度信息Zc，深度相机在采集图片之后可以直接得到的；
通过对图像进行标注，可以获得瞳孔中心在图像坐标系的坐标(u，v)，根据图像坐标与深度相机坐标的转换公式：
Figure BDA0003381811840000061
其中，
Figure BDA0003381811840000062
的深度相机的内参矩阵，在此之前已经通过标定获得，根据上面的公式，未知的只有Xc，Yc，已知其它的变量，可以直接计算出这两个值。就得到瞳孔中心在深度相机坐标系下的坐标值了，即(Xc，Yc，Zc)。
对于深度相机和红外相机的坐标系转换关系，通过如下步骤得到：对红外相机和深度相机进行双目标定，得到平移矩阵T和旋转矩阵R，同一个坐标点在深度相机坐标系下和红外相机坐标系下的转换关系，表示为P1＝R*P2+T，其中，P1是红外相机坐标系下的坐标点，P2是深度相机坐标系下的坐标点，通过深度相机和红外相机的转换关系，可以得到瞳孔中心在红外相机坐标系下的坐标值。
同时需要标注小球，同样的，通过上述的方法，可以得到目标物体在红外相机坐标系下的坐标值，小球的深度信息是深度相机采集图像后直接得到的，小球的坐标转化公式表示为：
Figure BDA0003381811840000063
其中，u,v是小球在图像坐标系的坐标值，Xc，Yc，Zc+R是小球在深度相机坐标系下的坐标值，R是小球的半径。
然后将瞳孔中心的三维坐标和小球的三维坐标做差，即得到一个向量，该向量既可表示视线方向信息，因为采集数据的时候，眼睛是时刻看着小球的，所以得到瞳孔中心和小球中心在红外相机坐标系下的坐标值之后，小球的坐标值减去瞳孔中心的坐标值，即是红外相机坐标系下眼睛的视线方向。
步骤S2是针对每张图像的，比如一次采集了100张图像，每张图像都可以计算视线方向，作为后续训练的样本。
具体在步骤S3，构建的视线检测模型包括眼球模型推理模块和视线回归模块，
其中，眼球模型推理模块包括直方图均衡化层和ResNet网络层以及一个1*1卷积过滤器，直方图均衡化层用于增加输入的图像的对比度，ResNet网络层包括三个ResNet网络，用于提取人眼特征，1*1卷积过滤器用于将提取的特征转换为眼球二值图；眼球模型推理模块通过卷积池化等对眼睛图像提取深层次的特征，模拟出眼球和瞳孔的位置得到眼球二值图，见图2所示；
视线回归模块包括DenseNet网络层和全连接层，DenseNet网络层包括三个残差模块，视线回归模块通过输入的眼球二值图，得到眼球中心和瞳孔中心的连接线，作为视线方向输出。
本实施例中，视线检测模型包括眼球模型推理模块和视线回归模块，眼睛图像的输入大小是128*64，经过直方图均衡化的预处理，使眼睛的细节对比更加明显；图像先经过3个eye_block提取特征后，经过得到1*1卷积过滤器得到眼球二值图，提取的特征再经过1*1卷积过滤器与眼球二值图连接，输入视线回归模块，这样既推理出了眼球模型的二值图，又能保留上层传过来的特征信息，两个信息融合作为视线回归模块的输入，在视线回归模块中，经过3个残差模块和全连接层之后推理出视线向量。整体网络结构如下图4所示。这整个网络虽然可分为两部分，但是训练是端到端的，训练过程并不分开。
具体在步骤S4，包括由采集的人眼随目标物体移动的图像和计算得到的视线方向数据构建视线数据集，通过视线数据集训练视线检测模型，直至模型收敛，获得训练好的视线检测模型；
具体是将视线数据集中的图像输入视线检测模型，输出推理的视线方向，输入是眼睛图像和作为标签的真实的视线方向，在输入数据预处理的时候，会根据视线方向生成一个眼球二值图，如图2所示，由视线方向生成眼球二值图的关系如下公式所示。输入图像的维度是m*n，图像上的眼球直径是2r,且满足2r＝1.2n，眼球中心为图像中心，计算出瞳孔中心坐标为：
Figure BDA0003381811840000071
Figure BDA0003381811840000072
其中，r，＝r cos(sin 0.5-1)，作为标签的视线方向表示为
Figure BDA0003381811840000081
θ为俯仰角，
Figure BDA0003381811840000082
为导航角，视线方向由向量表示换成角度表示可以依据现有公式实现。
瞳孔中心和眼球中心都是眼球模型推理模块得出的，生成眼球二值图，损失函数如下：
Figure BDA0003381811840000083
其中，
Figure BDA0003381811840000084
是常数，一般取10-5，p表示每个像素的坐标，P表示整个图像的像素坐标，
Figure BDA0003381811840000085
表示眼球模型预测出来的眼球二值图。
将推理的眼球二值图输入视线检测模型的视线回归模块，输出推理的视线方向，将推理的视线方向与真实的视线方向进行比较，优化损失函数，表示为如下：
Figure BDA0003381811840000086
其中，w和ε是常数，
Figure BDA0003381811840000087
glabel是估计的视线方向，g是视线检测模型推理的视线方向，ln()是对数。本实施例中的损失函数借鉴了关键点检测的损失函数，预测值的范围在[0,1]之间。在error特别大的时候，梯度为常数，当error比较小时，梯度比L1和MSE都要大，因此在小的error时，能够放大error，从而得到更好的结果。
而在步骤S5中，在得到一个训练好的视线检测模型，就可以将采集的待检测的人眼的图像输入训练好的视线检测模型，输出待检测的人眼的视线方向，可应用于驾驶员监控系统，通过本实施的方法，能够检测出驾驶员视线的注视方向，可以视线的注视方向做分神判断，辅助提高驾驶员驾驶车辆的安全性能，减小交通事故的发生。
本实施例提供的方法，只需一个小球作为目标物体和深度相机以及红外相机配合，就能精准的采集视线数据，数据采集使用两个相机，一个是普通红外相机，一个是深度相机，由深度相机得到眼睛及小球的三维坐标，再转换到红外相机坐标系下，眼睛的三维坐标和小球的三维坐标做差，即得到视线的向量信息，且采集过程涉及到各个视线角度，整个数据集涉及到的视线范围更加完整和均衡。
本实施例提供的方案的视线检测模型，通过眼球模型推理模块构建出眼球模型，眼球模型是眼球和瞳孔映射到图像上的形状组合，眼球和瞳孔映射到图像上分别是圆形和椭圆形，这两个形状组合成二值图像，视线的注视方向定义成眼球中心和瞳孔中心的连接线，视线方向的变化会导致椭圆定位的变化，视线回归模块在计算时，在二值图上推理视线比在原图上计算视线简单多了。由于增加眼球模型推理模块，简化了视线检测的计算复杂度且对头部姿态和图像质量的变化都具有鲁棒性。
在本发明的实施例中，还提供了一种用于辅助驾驶的视线检测装置，其包括：包括处理器、存储器以及程序；
程序存储在存储器中，处理器调用存储器存储的程序，以执行上述的一种用于辅助驾驶的视线检测方法。
该计算机装置可以是终端，其内部结构图可以如图4所示。该计算机装置包括通过总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机装置的处理器用于提供计算和控制能力。该计算机装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现用于辅助驾驶的视线检测方法。该计算机装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机装置的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机装置外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机装置的限定，具体的计算机装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本发明的实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质被配置成存储程序，程序被配置成执行上述的一种用于辅助驾驶的视线检测方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、计算机装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、计算机装置、或计算机程序产品的流程图和/或框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图和/或中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。
以上对本发明所提供的在用于辅助驾驶的视线检测方法、计算机装置、计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种用于辅助驾驶的视线检测方法，其特征在于，包括以下步骤：通过相机采集数据，使得被采集人员的视线跟随目标物体移动，获得人眼跟随目标物体移动的图像；
根据获得的人眼跟随目标物体移动的图像，计算视线方向数据；
构建视线检测模型，所述视线检测模型包括眼球模型推理模块和视线回归模块，将图像输入眼球模型推理模块，输出眼球二值图，所述眼球二值图包括眼球轮廓和瞳孔轮廓，将眼球二值图输入视线回归模块，输出推理的视线方向；
由采集的人眼随目标物体移动的图像和计算得到的视线方向数据构建视线数据集，通过视线数据集训练所述视线检测模型，直至模型收敛，获得训练好的视线检测模型；
将采集的待检测的人眼的图像输入训练好的视线检测模型，输出待检测的人眼的视线方向。
2.根据权利要求1所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的通过相机采集数据，包括：将红外相机和深度相机放置在同一水平面内，在被采集人员面前摆放目标物体，移动目标物体，被采集人员通过人眼观察目标物体，视线跟随目标物体移动，通过红外相机和深度相机同步采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
3.根据权利要求2所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的被采集人员通过人眼观察目标物体，包括：被采集人员的头部姿势，维持面部朝向一个方向不变，移动目标物体，被采集人员通过人眼观察目标物体，视线跟随目标物体移动，通过红外相机和深度相机采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
4.根据权利要求2所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的被采集人员通过人眼观察目标物体，包括：被采集人员的视线跟随目标物体移动，被采集人员的头部与视线的方向一致，随目标物体一起移动，通过红外相机和深度相机采集图像，使得目标物体移动的轨迹铺满图像的整个区域。
5.根据权利要求3或4所述的一种用于辅助驾驶的视线检测方法，其特征在于，通过红外相机和深度相机采集图像中，至少包括左上方、上方、右上方、左方、前方、右方、左下方、下方和右下方的面部朝向的图像。
6.根据权利要求1所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的根据获得的人眼随目标物体移动的图像，计算视线方向数据，包括：获取人眼的瞳孔中心在深度相机坐标系下的坐标，通过深度相机和红外相机的坐标系转换关系，得到瞳孔中心在红外相机坐标系下的坐标，获取目标物体在深度相机坐标系下的坐标，通过深度相机和红外相机的坐标系转换关系，得到目标物体在红外相机坐标系下的坐标，将瞳孔中心坐标减去目标物体坐标，获视线向量，用于表示视线方向。
7.根据权利要求1所述的一种用于辅助驾驶的视线检测方法，其特征在于：所述目标物体采用球形物体。
8.根据权利要求6所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的获取人眼的瞳孔中心在深度相机坐标系下的坐标，包括：通过深度相机的拍摄获得瞳孔的深度信息Zc，通过图像标注，获得瞳孔中心在图像坐标系的坐标(u，v)，根据图像坐标与深度相机坐标的转换公式：
Figure FDA0003381811830000021
其中，
Figure FDA0003381811830000022
的深度相机的内参矩阵，获得瞳孔中心在深度相机坐标系下的坐标(Xc，Yc，Zc)。
9.根据权利要求6所述的一种用于辅助驾驶的视线检测方法，其特征在于，所述的深度相机和红外相机的坐标系转换关系，通过如下步骤得到：对红外相机和深度相机进行双目标定，得到平移矩阵T和旋转矩阵R，同一个坐标点在深度相机坐标系下和红外相机坐标系下的转换关系，表示为P1＝R*P2+T，其中，P1是红外相机坐标系下的坐标点，P2是深度相机坐标系下的坐标点。
10.根据权利要求6所述的一种用于辅助驾驶的视线检测方法，其特征在于：所述眼球模型推理模块包括直方图均衡化层和ResNet网络层以及一个1*1卷积过滤器，所述直方图均衡化层用于增加输入的图像的对比度，所述ResNet网络层包括三个ResNet网络，用于提取人眼特征，所述1*1卷积过滤器用于将提取的特征转换为眼球二值图；
所述视线回归模块包括DenseNet网络层和全连接层，所述DenseNet网络层包括三个残差模块，所述视线回归模块通过输入的眼球二值图，得到眼球中心和瞳孔中心的连接线，作为视线方向输出。
11.根据权利要求1所述的一种用于辅助驾驶的视线检测方法，其特征在于：所述的通过视线数据集训练所述视线检测模型，包括：
将视线数据集中的图像作为样本，将视线数据作为标签，输入视线检测模型的眼球模型推理模块，输出推理的眼球二值图，优化损失函数，表示为如下：
Figure FDA0003381811830000031
其中，
Figure FDA0003381811830000032
是常数，p表示每个像素的坐标，P表示整个图像的像素坐标，
Figure FDA0003381811830000033
表示眼球模型预测出来的眼球二值图，m(p)表示图像的眼球二值图；
将推理的眼球二值图输入视线检测模型的视线回归模块，输出推理的视线方向，将推理的视线方向与真实的视线方向进行比较，优化损失函数，表示为如下：
Figure FDA0003381811830000034
其中，w和ε是常数，
Figure FDA0003381811830000035
glabel是估计的视线方向，g是视线检测模型推理的视线方向，ln()是对数。
12.一种用于辅助驾驶的视线检测方法的装置，其特征在于，其包括：包括处理器、存储器以及程序；
所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行权利要求1至权利要求11任意项所述的用于辅助驾驶的视线检测方法。
13.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质被配置成存储程序，所述程序被配置成执行权利要求1至权利要求11任意项所述的用于辅助驾驶的视线检测方法。
CN202111436975.5A 2021-11-29 2021-11-29 一种用于辅助驾驶的视线检测方法、装置及存储介质 Pending CN114067422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111436975.5A CN114067422A (zh) 2021-11-29 2021-11-29 一种用于辅助驾驶的视线检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111436975.5A CN114067422A (zh) 2021-11-29 2021-11-29 一种用于辅助驾驶的视线检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114067422A true CN114067422A (zh) 2022-02-18

Family

ID=80277069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111436975.5A Pending CN114067422A (zh) 2021-11-29 2021-11-29 一种用于辅助驾驶的视线检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114067422A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597425A (zh) * 2023-05-24 2023-08-15 无锡车联天下信息技术有限公司 一种驾驶员的样本标签数据的确定方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597425A (zh) * 2023-05-24 2023-08-15 无锡车联天下信息技术有限公司 一种驾驶员的样本标签数据的确定方法、装置及电子设备
CN116597425B (zh) * 2023-05-24 2024-04-05 无锡车联天下信息技术有限公司 一种驾驶员的样本标签数据的确定方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN106022213B (zh) 一种基于三维骨骼信息的人体动作识别方法
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
US11945125B2 (en) Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis
CN110807364A (zh) 三维人脸与眼球运动的建模与捕获方法及系统
CN105159452B (zh) 一种基于人脸姿态估计的控制方法与系统
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN113435236A (zh) 居家老人姿态检测方法、系统、存储介质、设备及应用
CN111145865A (zh) 一种基于视觉的手部精细动作训练指导系统及方法
CN114550027A (zh) 基于视觉的运动视频精细分析方法和装置
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质
CN116051631A (zh) 光斑标注方法及系统
CN114067422A (zh) 一种用于辅助驾驶的视线检测方法、装置及存储介质
Xu et al. 3D joints estimation of the human body in single-frame point cloud
WO2023103145A1 (zh) 一种头部姿势真值的获取方法、装置、设备及存储介质
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
CN114898447A (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
CN114022956A (zh) 一种多维度智能研判健身动作运动效果的方法
Albuquerque et al. Remote Pathological Gait Classification System
CN117671738B (zh) 基于人工智能的人体姿态识别系统
CN112667088B (zh) 基于vr行走平台的手势应用识别方法及系统
CN117854155B (zh) 一种人体骨骼动作识别方法及系统
Xu et al. A YOLOv5-based Target Detection Algorithm Design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination