CN116597425B - 一种驾驶员的样本标签数据的确定方法、装置及电子设备 - Google Patents
一种驾驶员的样本标签数据的确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116597425B CN116597425B CN202310594222.XA CN202310594222A CN116597425B CN 116597425 B CN116597425 B CN 116597425B CN 202310594222 A CN202310594222 A CN 202310594222A CN 116597425 B CN116597425 B CN 116597425B
- Authority
- CN
- China
- Prior art keywords
- sample
- driver
- determining
- target reference
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 230000001815 facial effect Effects 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000190070 Sarracenia purpurea Species 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种驾驶员的样本标签数据的确定方法、装置及电子设备，驾驶员的样本标签数据的确定方法包括：获取样本驾驶员注视目标参照物的至少一个样本图像；针对任一样本图像，确定样本图像中样本驾驶员的视线和头部偏转方向是否一致；若一致，则基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的头部水平偏转角度和样本驾驶员的视线偏转角度；若不一致，则确定样本驾驶员的视线偏转角度；将各个样本图像对应的头部水平偏转角度和视线偏转角度确定为驾驶员监测模型的样本标签数据。本申请由于引入目标参照物进行驾驶员的样本标签的计算，可以提升样本标签数据的准确性。
Description
技术领域
本申请涉及机动车辆中驾驶员监测技术领域，尤其是涉及一种驾驶员的样本标签数据的确定方法、装置及电子设备。
背景技术
随着机动车辆中座舱智能化的发展，驾驶员监测系统(Driver Monitor System，DMS)能搭载到越来越多的成品车上，而驾驶员监测系统的运行则需要大量的DMS标注数据，其中驾驶员头部的姿态信息和视线角度信息是驾驶员监测系统训练和验收中不可或缺的重要环节。
传统的第三方公司提供这些DMS标注数据的方式是通过实车固定角度采集的方式得到的，然而，由于各个被采集人员/被采集驾驶员的个体差异的不同，导致这种方式采集到的数据杂乱无章，不具备单一性，无法保证被采集人员/被采集驾驶员的角度信息的准确性，导致有可能采集到错位的DMS标注数据，进而影响DMS标注数据的精度，导致对DMS模型无法满足算法训练要求，甚至导致DMS模型无法收敛，出现预测结果漂移的现象。
发明内容
有鉴于此，本申请的目的在于提供一种驾驶员的样本标签数据的确定方法、装置及电子设备，本申请由于引入目标参照物进行驾驶员的样本标签的计算，可以提升样本标签数据的准确性。
本申请实施例提供了一种驾驶员的样本标签数据的确定方法，所述驾驶员的样本标签数据的确定方法包括：
获取样本驾驶员注视目标参照物的至少一个样本图像；
针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致；
若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度；
若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度；
将各个所述样本图像对应的所述头部水平偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据。
进一步的，通过以下方式确定目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标：
针对所述样本图像进行深度点云信息解析，确定所述样本图像中目标参照物的参照3D相机坐标和样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标。
进一步的，所述若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度，包括：
若一致，则根据3D相机中在空间坐标系下的参考原点坐标、目标参照物的参照3D相机坐标以及样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定样本图像对应的第一空间几何关系，其中，空间几何关系用于表征由所述参考原点坐标、所述目标参照物的参照3D相机坐标以及所述视线中心点3D相机坐标组成的空间三角形关系；
根据所述第一空间几何关系，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
进一步的，在获取样本驾驶员注视目标参照物的至少一个样本图像之后，所述驾驶员的样本标签数据的确定方法还包括：
针对任一所述样本图像，获取样本驾驶员的面部特征3D相机坐标，其中，所述面部特征3D相机坐标与视线中心点3D相机坐标处于同一竖直线上；
基于所述3D相机坐标和所述面部特征3D相机坐标，确定所述样本驾驶员的头部竖直偏转角度。
进一步的，所述基于所述3D相机坐标和所述面部特征3D相机坐标，确定所述样本驾驶员的头部竖直偏转角度包括：
根据3D相机中在空间坐标系下的参考原点坐标、所述3D相机坐标以及所述面部特征3D相机坐标，确定样本图像对应的第二空间几何关系；
根据所述第二空间几何关系，确定所述样本驾驶员的头部竖直偏转角度。
本申请实施例还提供了一种驾驶员的样本标签数据的确定装置，所述驾驶员的样本标签数据的确定装置包括：
第一获取模块，用于获取样本驾驶员注视目标参照物的至少一个样本图像；
第二确定模块，用于针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致；
第三确定模块，用于若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度；
第四确定模块，若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度；
标注模块，用于将各个所述样本图像对应的所述头部水平偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据。
进一步的，所述第三确定模块，具体通过以下方式确定目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标：
针对所述样本图像进行深度点云信息解析，确定所述样本图像中目标参照物的参照3D相机坐标和样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标。
进一步的，所述第三确定模块，具体用于：
若一致，则根据3D相机中在空间坐标系下的参考原点坐标、目标参照物的参照3D相机坐标以及样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定样本图像对应的第一空间几何关系，其中，空间几何关系用于表征由所述参考原点坐标、所述目标参照物的参照3D相机坐标以及所述视线中心点3D相机坐标组成的空间三角形关系；
根据所述第一空间几何关系，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的驾驶员的样本标签数据的确定方法的步骤。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的驾驶员的样本标签数据的确定方法的步骤。
本申请实施例提供的驾驶员的样本标签数据的确定方法、装置及电子设备，与现有技术中的确定驾驶员的样本标签数据相比，本申请提供的实施例通过确定样本驾驶员注视目标参照物的一个样本图像中样本驾驶员的视线和头部偏转方向是否一致，并在一致的情况下，基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的头部水平偏转角度和样本驾驶员的视线偏转角度，若不一致，则基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的头部水平偏转角度，并将各个样本图像对应的头部水平偏转角度和视线偏转角度确定为驾驶员监测模型的样本标签数据，由于引入目标参照物进行驾驶员的样本标签的计算，可以提升样本标签数据的准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种驾驶员的样本标签数据的确定方法的流程图之一；
图2示出了本申请实施例所提供的一种驾驶员的样本标签数据的确定方法的流程图之二；
图3示出了本申请实施例所提供的一种驾驶员的样本标签数据的确定装置的结构框图之一；
图4示出了本申请实施例所提供的一种驾驶员的样本标签数据的确定装置的结构框图之二；
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
图中：
300-驾驶员的样本标签数据的确定装置；310-第一获取模块；320-第二获取模块；330-第一确定模块；340-第二确定模块；350-第三确定模块；360-第四确定模块；370-标注模块；500-电子设备；510-处理器；520-存储器；530-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于机动车辆中驾驶员监测技术领域。
经研究发现，传统的第三方公司提供这些DMS标注数据的方式是通过实车固定角度采集的方式得到的，然而，由于各个被采集人员/被采集驾驶员的个体差异的不同，导致这种方式采集到的数据杂乱无章，不具备单一性，无法保证被采集人员/被采集驾驶员的角度信息的准确性，导致有可能采集到错位的DMS标注数据，进而影响DMS标注数据的精度，导致对DMS模型无法满足算法训练要求，甚至导致DMS模型无法收敛，出现预测结果漂移的现象。
现有技术中，传统的第三方公司需要根据客户需要，拉动社会样本，在实车上完成采集人员/驾驶员相关信息采集，通过被采集人员/驾驶员视线注视的方向提前定义头部姿态和视线角度，这种利用开源算法来估算视线角度和头部姿态的方式会样本数据的精度较低。
基于此，本申请实施例提供了一种驾驶员的样本标签数据的确定方法、装置及电子设备，由于目标参照物的单一性，提升了样本标签数据的准确性、稳定性以及精度。
请参阅图1，图1为本申请实施例所提供的一种驾驶员的样本标签数据的确定方法的流程图之一。如图1中所示，本申请实施例提供的驾驶员的样本标签数据的确定方法，包括以下步骤：
S101、获取样本驾驶员注视目标参照物的至少一个样本图像。
该步骤中，本申请提供的实施例中的样本图像是通过安装在汽车A柱、中控上方、后视镜中央以及转向管柱等位置处的3D相机确定的。
这里，由于安装在不同位置处的3D相机会采集到不同的样本图像，本申请提供的实施例中的样本图像由于是3D相机在多角度真值拍摄的，因此具备多样性。
其中，本申请提供的实施例中的目标参照物可以利用多种可见实物来代替(如乒乓球、水杯以及车内挂件等)，且可以利用多种可见目标来代表需要位于3D相机的可拍摄范围内。
S102、针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致。
该步骤中，本申请提供的实施例通过判断样本图像的样本驾驶员的视线和头部偏转方向是否一致来确定是否需要确定样本驾驶员的头部水平偏转角度。
其中，本申请提供的实施例还可以在3D相机采集样本图像之前，首先判断该样本驾驶员是否注视对应的目标参照物，并将是否注视目标参照物是所拍摄的样本图像标记为视线注视目标参照物图像和视线偏离目标参照物图像。
S103、若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
该步骤中，通过以下方式确定目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标：
针对所述样本图像进行深度点云信息解析，确定所述样本图像中目标参照物的参照3D相机坐标和样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标。
其中，作为本申请的进一步的实施例，所述步骤S103包括以下子步骤：
子步骤1031、若一致，则根据3D相机中在空间坐标系下的参考原点坐标、目标参照物的参照3D相机坐标以及样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定样本图像对应的第一空间几何关系，其中，空间几何关系用于表征由所述参考原点坐标、所述目标参照物的参照3D相机坐标以及所述视线中心点3D相机坐标组成的空间三角形关系。
其中，本申请提供的实施例中的第一空间几何关系可以具体为有3D相机中在空间坐标系下的参考原点坐标、目标参照物的参照3D相机坐标以及样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标组成的第一空间三角形。
子步骤1032、根据所述第一空间几何关系，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
其中，通过第一空间三角形，利用空间几何算法解算样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
这里，若样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度一致，则确定所述样本与样本驾驶员的视线偏转角度相等。
S104、若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度。
该步骤中，若样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度不一致(即样本驾驶员视线斜视)，则无法确定所述样本驾驶员的头部水平偏转角度，只能确定样本驾驶员的视线偏转角度。
S105、将各个所述样本图像对应的所述头部水平偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据。
该步骤中，将3D相机拍摄到的各个样本图像对应的头部水平偏转角度和视线偏转角度确定为驾驶员监测模型的样本标签数据，输入到驾驶员监测系统(Driver MonitorSystem，DMS)所在的驾驶员监测模型中进行模型训练和测试。
其中，驾驶员监测系统的简称，是指驾驶员行驶过程中，全天候监测驾驶员的疲劳状态和危险驾驶行为的信息技术系统。
本申请实施例提供的驾驶员的样本标签数据的确定方法，与现有技术中的确定驾驶员的样本标签数据的确定方法相比，本申请提供的实施例通过确定样本驾驶员注视目标参照物的一个样本图像中样本驾驶员的视线和头部偏转方向是否一致，并在一致的情况下，基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的头部水平偏转角度和样本驾驶员的视线偏转角度，若不一致，则基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的视线偏转角度，并将各个样本图像对应的头部水平偏转角度和视线偏转角度确定为驾驶员监测模型的样本标签数据，由于引入目标参照物进行驾驶员的样本标签的计算，可以提升样本标签数据的准确性。
请参阅图2，图2为本申请一实施例提供的驾驶员的样本标签数据的确定方法的流程图之二。如图2中所示，本申请实施例提供的驾驶员的样本标签数据的确定方法，包括以下步骤：
S201、获取样本驾驶员注视目标参照物的至少一个样本图像。
S202、针对任一所述样本图像，获取样本驾驶员的面部特征3D相机坐标，其中，所述面部特征3D相机坐标与视线中心点3D相机坐标处于同一竖直线上。
该步骤中，本申请提供的实施例可以获取样本驾驶员面部上任意一个与视线中心点处于同一竖直线上的面部特征的面部特征3D相机坐标。
其中，假设视线中心点为样本驾驶员双眼的中间位置处，则面部特征3D相机坐标可以为面部特征3D相机坐标的嘴唇处的坐标。
S203、根据3D相机中在空间坐标系下的参考原点坐标、所述3D相机坐标以及所述面部特征3D相机坐标，确定样本图像对应的第二空间几何关系。
根据所述第二空间几何关系，确定所述样本驾驶员的头部竖直偏转角度。
这样，本申请提供的实施例中的二空间几何关系可以具体为有3D相机中在空间坐标系下的参考原点坐标、3D相机中在空间坐标系下的参考原点坐标、所述3D相机坐标以及所述面部特征3D相机坐标组成的第二空间三角形。
S204、针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致。
S205、若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部竖直偏转角度和所述样本驾驶员的视线偏转角度。
S206、若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度。
S207、将各个所述样本图像对应的所述头部竖直偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据。
其中，S201至S202以及S205至S207的描述可以参照S101至S102的以及S103至S105描述，并且能达到相同的技术效果，对此不做赘述。
可选的，所述第三确定模块，具体通过以下方式确定目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标：
针对所述样本图像进行深度点云信息解析，确定所述样本图像中目标参照物的参照3D相机坐标和样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标。
可选的，若一致，则根据3D相机中在空间坐标系下的参考原点坐标、目标参照物的参照3D相机坐标以及样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定样本图像对应的第一空间几何关系，其中，空间几何关系用于表征由所述参考原点坐标、所述目标参照物的参照3D相机坐标以及所述视线中心点3D相机坐标组成的空间三角形关系；
根据所述第一空间几何关系，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
本申请实施例提供的驾驶员的样本标签数据的确定方法，与现有技术中的确定驾驶员的样本标签数据相比，本申请提供的实施例通过确定样本驾驶员注视目标参照物的一个样本图像中样本驾驶员的视线和头部偏转方向是否一致，并在一致的情况下，基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的头部水平偏转角度和样本驾驶员的视线偏转角度，若不一致，则基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的视线偏转角度，并将各个样本图像对应的头部水平偏转角度和视线偏转角度确定为驾驶员监测模型的样本标签数据，由于引入目标参照物进行驾驶员的样本标签的计算，可以提升样本标签数据的准确性。
请参阅图3、图4，图3为本申请实施例所提供的一种驾驶员的样本标签数据装置的结构框图之一，图4为本申请实施例所提供的一种驾驶员的样本标签数据的结构示意图之二。如图3中所示，所述驾驶员的样本标签数据的确定装置300包括：
第一获取模块310，用于获取样本驾驶员注视目标参照物的至少一个样本图像。
第二确定模块340，用于针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致。
第三确定模块350，用于若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
可选的，所述第三确定模块350，具体通过以下方式确定目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标：
针对所述样本图像进行深度点云信息解析，确定所述样本图像中目标参照物的参照3D相机坐标和样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标。
可选的，所述第三确定模块350，具体用于：
若一致，则根据3D相机中在空间坐标系下的参考原点坐标、目标参照物的参照3D相机坐标以及样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定样本图像对应的第一空间几何关系，其中，空间几何关系用于表征由所述参考原点坐标、所述目标参照物的参照3D相机坐标以及所述视线中心点3D相机坐标组成的空间三角形关系。
根据所述第一空间几何关系，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
第四确定模块360，若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度。
标注模块370，用于将各个所述样本图像对应的所述头部水平偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据。
本申请实施例提供的驾驶员的样本标签数据的确定装置300，与现有技术中的确定驾驶员的样本标签数据相比，本申请提供的实施例通过确定样本驾驶员注视目标参照物的一个样本图像中样本驾驶员的视线和头部偏转方向是否一致，并在一致的情况下，基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的头部水平偏转角度和样本驾驶员的视线偏转角度，若不一致，则基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的视线偏转角度，并将各个样本图像对应的头部水平偏转角度和视线偏转角度确定为驾驶员监测模型的样本标签数据，由于引入目标参照物进行驾驶员的样本标签的计算，可以提升样本标签数据的准确性。
进一步的，图4为本申请实施例所提供的一种驾驶员的样本标签数据的确定装置的结构示意图之二。如图4中所示，所述驾驶员的样本标签数据的确定装置300包括：
第一获取模块310，用于获取样本驾驶员注视目标参照物的至少一个样本图像。
第二获取模块320，用于针对任一所述样本图像，获取样本驾驶员的面部特征3D相机坐标，其中，所述面部特征3D相机坐标与视线中心点3D相机坐标处于同一竖直线上。
第一确定模块330，用于基于所述3D相机坐标和所述面部特征3D相机坐标，确定所述样本驾驶员的头部竖直偏转角度。
第二确定模块340，用于针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致。
第三确定模块350，用于若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
第四确定模块360，若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度。
标注模块370，用于将各个所述样本图像对应的所述头部水平偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据。
本申请实施例提供的驾驶员的样本标签数据的确定装置300，与现有技术中的确定驾驶员的样本标签数据相比，本申请提供的实施例通过确定样本驾驶员注视目标参照物的一个样本图像中样本驾驶员的视线和头部偏转方向是否一致，并在一致的情况下，基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的头部水平偏转角度和样本驾驶员的视线偏转角度，若不一致，则基于目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标，确定样本驾驶员的视线偏转角度，并将各个样本图像对应的头部水平偏转角度和视线偏转角度确定为驾驶员监测模型的样本标签数据，由于引入目标参照物进行驾驶员的样本标签的计算，可以提升样本标签数据的准确性。
请参阅图5，图5为本申请实施例所提供的一种电子设备的结构示意图。如图5中所示，所述电子设备500包括处理器510、存储器520和总线530。
所述存储器520存储有所述处理器510可执行的机器可读指令，当电子设备500运行时，所述处理器510与所述存储器520之间通过总线530通信，所述机器可读指令被所述处理器510执行时，可以执行如上述图1以及图2所示方法实施例中的驾驶员的样本标签数据的确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的驾驶员的样本标签数据的确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术员应当理解：任何熟悉本技术领域的技术员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种驾驶员的样本标签数据的确定方法，其特征在于，所述驾驶员的样本标签数据的确定方法包括：
获取样本驾驶员注视目标参照物的至少一个样本图像；
针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致；
若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度；
若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度；
将各个所述样本图像对应的所述头部水平偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据；
所述若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度，包括：
若一致，则根据3D相机中在空间坐标系下的参考原点坐标、目标参照物的参照3D相机坐标以及样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定样本图像对应的第一空间几何关系，其中，空间几何关系用于表征由所述参考原点坐标、所述目标参照物的参照3D相机坐标以及所述视线中心点3D相机坐标组成的空间三角形关系；
根据所述第一空间几何关系，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
2.根据权利要求1所述的驾驶员的样本标签数据的确定方法，其特征在于，通过以下方式确定目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标：
针对所述样本图像进行深度点云信息解析，确定所述样本图像中目标参照物的参照3D相机坐标和样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标。
3.根据权利要求1所述的驾驶员的样本标签数据的确定方法，其特征在于，在获取样本驾驶员注视目标参照物的至少一个样本图像之后，所述驾驶员的样本标签数据的确定方法还包括：
针对任一所述样本图像，获取样本驾驶员的面部特征3D相机坐标，其中，所述面部特征3D相机坐标与视线中心点3D相机坐标处于同一竖直线上；
基于所述3D相机坐标和所述面部特征3D相机坐标，确定所述样本驾驶员的头部竖直偏转角度；
针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致；
若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部竖直偏转角度和所述样本驾驶员的视线偏转角度；
若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度；
将各个所述样本图像对应的所述头部竖直偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据。
4.根据权利要求3所述的驾驶员的样本标签数据的确定方法，其特征在于，所述基于所述3D相机坐标和所述面部特征3D相机坐标，确定所述样本驾驶员的头部竖直偏转角度包括：
根据3D相机中在空间坐标系下的参考原点坐标、所述3D相机坐标以及所述面部特征3D相机坐标，确定样本图像对应的第二空间几何关系；
根据所述第二空间几何关系，确定所述样本驾驶员的头部竖直偏转角度。
5.一种驾驶员的样本标签数据的确定装置，其特征在于，所述驾驶员的样本标签数据的确定装置包括：
第一获取模块，用于获取样本驾驶员注视目标参照物的至少一个样本图像；
第二确定模块，用于针对任一所述样本图像，确定所述样本图像中所述样本驾驶员的视线和头部偏转方向是否一致；
第三确定模块，用于若一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度；
第四确定模块，若不一致，则基于所述目标参照物的参照3D相机坐标和所述样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定所述样本驾驶员的所述视线偏转角度；
标注模块，用于将各个所述样本图像对应的所述头部水平偏转角度和所述视线偏转角度确定为驾驶员监测模型的样本标签数据；
所述第三确定模块，具体用于：
若一致，则根据3D相机中在空间坐标系下的参考原点坐标、目标参照物的参照3D相机坐标以及样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标，确定样本图像对应的第一空间几何关系，其中，空间几何关系用于表征由所述参考原点坐标、所述目标参照物的参照3D相机坐标以及所述视线中心点3D相机坐标组成的空间三角形关系；
根据所述第一空间几何关系，确定所述样本驾驶员的头部水平偏转角度和所述样本驾驶员的视线偏转角度。
6.根据权利要求5所述的驾驶员的样本标签数据的确定装置，其特征在于，所述第三确定模块，具体通过以下方式确定目标参照物的参照3D相机坐标和样本驾驶员注视目标参照物时的视线中心点3D相机坐标：
针对所述样本图像进行深度点云信息解析，确定所述样本图像中目标参照物的参照3D相机坐标和样本驾驶员注视所述目标参照物时的视线中心点3D相机坐标。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器运行时执行如权利要求1至4中任一所述的驾驶员的样本标签数据的确定方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4中任一所述的驾驶员的样本标签数据的确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310594222.XA CN116597425B (zh) | 2023-05-24 | 2023-05-24 | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310594222.XA CN116597425B (zh) | 2023-05-24 | 2023-05-24 | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116597425A CN116597425A (zh) | 2023-08-15 |
| CN116597425B true CN116597425B (zh) | 2024-04-05 |
Family
ID=87605947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310594222.XA Active CN116597425B (zh) | 2023-05-24 | 2023-05-24 | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597425B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1940964A (zh) * | 2005-09-28 | 2007-04-04 | 欧姆龙株式会社 | 识别装置和方法、记录介质、以及程序 |
| CN111539333A (zh) * | 2020-04-24 | 2020-08-14 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
| CN114067422A (zh) * | 2021-11-29 | 2022-02-18 | 北京茵沃汽车科技有限公司 | 一种用于辅助驾驶的视线检测方法、装置及存储介质 |
| CN114399750A (zh) * | 2021-12-16 | 2022-04-26 | 北京云测信息技术有限公司 | 一种危险驾驶的判断方法、装置、电子设备及存储介质 |
| US20220309702A1 (en) * | 2021-06-25 | 2022-09-29 | Apollo Intellingent Connectivity (Beijing) Technology Co., Ltd. | Method and apparatus for tracking sight line, device, storage medium, and computer program product |
| CN115661800A (zh) * | 2022-11-01 | 2023-01-31 | 合肥工业大学 | 基于视线方向时间关系学习的危险驾驶行为检测方法 |
-
2023
- 2023-05-24 CN CN202310594222.XA patent/CN116597425B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1940964A (zh) * | 2005-09-28 | 2007-04-04 | 欧姆龙株式会社 | 识别装置和方法、记录介质、以及程序 |
| CN111539333A (zh) * | 2020-04-24 | 2020-08-14 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
| US20220309702A1 (en) * | 2021-06-25 | 2022-09-29 | Apollo Intellingent Connectivity (Beijing) Technology Co., Ltd. | Method and apparatus for tracking sight line, device, storage medium, and computer program product |
| CN114067422A (zh) * | 2021-11-29 | 2022-02-18 | 北京茵沃汽车科技有限公司 | 一种用于辅助驾驶的视线检测方法、装置及存储介质 |
| CN114399750A (zh) * | 2021-12-16 | 2022-04-26 | 北京云测信息技术有限公司 | 一种危险驾驶的判断方法、装置、电子设备及存储介质 |
| CN115661800A (zh) * | 2022-11-01 | 2023-01-31 | 合肥工业大学 | 基于视线方向时间关系学习的危险驾驶行为检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116597425A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427850B (zh) | 驾驶员高速道路换道意图预测方法、系统、装置 | |
| JP6695503B2 (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
| US10088899B2 (en) | Eye gaze tracking utilizing surface normal identification | |
| EP3033999B1 (en) | Apparatus and method for determining the state of a driver | |
| CN105966311B (zh) | 用于校准摄像机的方法、车辆用的设备和计算机程序产品 | |
| US10394321B2 (en) | Information acquiring method, information acquiring apparatus, and user equipment | |
| García et al. | Driver monitoring based on low-cost 3-D sensors | |
| CN111309144A (zh) | 三维空间内注视行为的识别方法、装置及存储介质 | |
| US10996469B2 (en) | Method and apparatus for providing driving information of vehicle, and recording medium | |
| CN112242009A (zh) | 显示效果融合方法、系统、存储介质及主控单元 | |
| WO2018222122A1 (en) | Methods for perspective correction, computer program products and systems | |
| KR20190063582A (ko) | 전달 학습을 통한 운전자의 시선 응시영역 추정 방법 | |
| US20220044032A1 (en) | Dynamic adjustment of augmented reality image | |
| EP3667462B1 (en) | Screen position estimation | |
| CN114356072A (zh) | 用于检测可穿戴设备的空间取向的系统和方法 | |
| CN114998870A (zh) | 一种驾驶行为状态识别方法、装置、设备及存储介质 | |
| CN108256487B (zh) | 一种基于反向双目的驾驶状态检测装置和方法 | |
| CN113553920B (zh) | 注视方向特征采集方法、装置、计算机设备和存储介质 | |
| CN116597425B (zh) | 一种驾驶员的样本标签数据的确定方法、装置及电子设备 | |
| CN112347896B (zh) | 基于多任务神经网络的头部数据处理方法及装置 | |
| CN113011212B (zh) | 图像识别方法、装置及车辆 | |
| EP3389015A1 (en) | Roll angle calibration method and roll angle calibration device | |
| CN112819970A (zh) | 一种控制方法、装置及电子设备 | |
| CN112114659A (zh) | 用于确定用户的精细的注视点的方法和系统 | |
| CN212873085U (zh) | 一种抬头显示系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |