CN110334696A - 驾驶舱模拟体验系统、方法、设备及存储介质 - Google Patents

驾驶舱模拟体验系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN110334696A
CN110334696A CN201910700791.1A CN201910700791A CN110334696A CN 110334696 A CN110334696 A CN 110334696A CN 201910700791 A CN201910700791 A CN 201910700791A CN 110334696 A CN110334696 A CN 110334696A
Authority
CN
China
Prior art keywords
face
account
cockpit
user
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910700791.1A
Other languages
English (en)
Inventor
张坤雷
陈学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiways Automobile Co Ltd
Original Assignee
Aiways Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiways Automobile Co Ltd filed Critical Aiways Automobile Co Ltd
Priority to CN201910700791.1A priority Critical patent/CN110334696A/zh
Publication of CN110334696A publication Critical patent/CN110334696A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种驾驶舱模拟体验系统、方法、设备及存储介质，系统包括：注册模块，用于基于人脸特征向量进行账号注册；摄像模块，用于实时采集驾驶舱内的用户的视频；人脸识别模块，用于对所采集的视频进行人脸识别以确定所述驾驶舱内的用户的账号；预定参数评分模块，用于对所述人脸识别模块对所采集的视频进行人脸识别的过程中获得的一个或多个中间参数进行计算，以获得各用户账号的预定参数评分；排序模块，用于按所述预定参数评分对用户的账户进行排序和排序更新；以及展示模块，用于按排序顺序展示用户的账号及该用户账号的预定参数评分。本发明提供的系统及方法实现驾驶舱模拟体验中人脸识别相关性能的互动和展示。

Description

驾驶舱模拟体验系统、方法、设备及存储介质
技术领域
本发明涉及车辆领域，具体地说，涉及驾驶舱模拟体验系统、方法、设备及存储介质。
背景技术
汽车驾驶座舱模拟系统通常包括驾驶操纵件、仪表和座椅等设施，能够应用在多种场景。在驾驶训练中，驾驶座舱模拟装置能为学员提供仿真度很高的汽车驾驶模拟训练环境，使学员快速掌握驾驶理论知识和基本操作技能。在汽车展、科技展、技术或品牌发布会、线下体验等活动中，驾驶座舱可以作为一个重要的独立模块，让大众能提前见识并体验到新款车型的驾驶系统概念及设计，帮助车企达到良好的品牌宣传及营销作用。
随着近年来人工智能(AI，Artificial Intelligence)技术逐渐在许多领域走向实用化，汽车行业也将迎来智能汽车时代。AI技术正在不断赋能人车交互智能化升级，已出现了智能化驾驶座舱的理念及系统装置。比如将人脸识别技术应用于车载系统中。
但是，目前已有的驾驶舱体验装置或平淡地进行功能展示，或直接模拟实际驾驶中实施的方案，形式上单调枯燥而显得缺少趣味性，从而难以让体验者充分认识到AI技术带来的座舱智能化并体验到智能驾驶的乐趣。比如对于人脸识别技术的宣传展示中，经常采用检测同一个人在不同场景、不同光照、不同姿态等情况下是否能识别为同一人脸；或者不同人的脸在同一场景、类似的光照条件等前提下，是否能准确地分辨为不同的人脸，比较机械呆板，难以给人留下深刻印象。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种驾驶舱模拟体验系统、方法、设备及存储介质，实现驾驶舱模拟体验中人脸识别相关性能的互动和展示。
本发明的实施例提供一种驾驶舱模拟体验系统，所述驾驶舱模拟体验系统包括：
注册模块，用于基于人脸特征向量进行账号注册；
摄像模块，用于实时采集驾驶舱内的用户的视频；
人脸识别模块，用于对所采集的视频进行人脸识别以确定所述驾驶舱内的用户的账号；
预定参数评分模块，用于对所述人脸识别模块对所采集的视频进行人脸识别的过程中获得的一个或多个中间参数进行计算，以获得各用户账号的预定参数评分；
排序模块，用于按所述预定参数评分对用户的账户进行排序和排序更新；以及
展示模块，用于按排序顺序展示用户的账号及该用户账号的预定参数评分。
可选地，所述人脸识别模块执行如下步骤：
对所采集的视频中的图像进行人脸检测以确定人脸区域；
对所述人脸区域内的图像进行人脸关键点检测；
根据所检测的人脸关键点的位置确定人脸区域内的图像的旋转角度；
按所确定的旋转角度对人脸区域内的图像进行旋转；
将旋转后的人脸区域内的图像按预设人脸框进行归一化处理以调整至所述预设人脸框的预设尺寸；
基于归一化处理后的人脸区域内的图像，计算人脸特征向量；
将所计算的人脸特征向量与注册时各账号的人脸特征向量进行相似度计算；
基于所计算的相似度确定驾驶舱内的用户的账号。
可选地，所述人脸关键点包括两个眼睛各自的中心点，所述根据所检测的人脸关键点的位置确定人脸区域内的图像的旋转角度,确定方法如下：
将两个眼睛各自的中心点的连线与人脸区域内的图像的水平线之间的夹角确定为人脸区域内的图像的旋转角度。
可选地，所述将旋转后的人脸区域内的图像按预设人脸框进行归一化处理以调整至所述预设人脸框的预设尺寸包括：
确定旋转后的人脸区域内的图像的上边界和下边界之间的第一距离；
确定旋转后的人脸区域内的图像的左边界和右边界之间的第二距离；
计算第一距离和第二距离的差值；
根据所述差值调整所述旋转后的人脸区域内的图像的左边界和右边界或者调整所述旋转后的人脸区域内的图像的上边界和下边界，使得调整后的第一距离和第二距离相等；
将调整后的人脸区域内的图像等比例缩放至所述预设人脸框的预设尺寸。
可选地，所述预定参数评分模块包括：
相似度评分模块，用于在所述人脸识别模块对所采集的两个用户的视频进行人脸识别的过程中获得的人脸特征向量进行相似度计算，以该两个用户的账号为一账号组，获得该账号组的相似度评分，以供所述排序模块按所述相似度评分对账号组进行排序。
可选地，所述预定参数评分模块包括：
闭眼评分模块，用于执行如下步骤：
根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定眼睛区域；
根据所确定的眼睛区域进行睁闭眼检测；
统计预定时间内的闭眼次数，将所述闭眼次数作为该用户的账号的闭眼评分，以供所述排序模块按所述闭眼评分对账号进行排序。
可选地，所述预定参数评分模块包括：
闭嘴评分模块，用于执行如下步骤：
根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定嘴巴区域；
根据所确定的嘴巴区域进行张闭嘴检测；
统计预定时间内的嘴巴闭合次数，将所述嘴巴闭合次数作为该用户的账号的闭嘴评分，以供所述排序模块按所述闭嘴评分对账号进行排序。
可选地，所述预定参数评分模块包括：
疲劳评分模块，用于执行如下步骤：
根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定眼睛区域和嘴巴区域；
根据所确定的眼睛区域进行睁闭眼检测；
根据所确定的嘴巴区域进行张闭嘴检测；
统计预定时间内的眼睛闭合状态的百分比及张嘴幅度超过预定幅度的频率计算疲劳评分，以供所述排序模块按所述疲劳评分对账号进行排序。
根据本发明的又一方面，还提供一种驾驶舱模拟体验方法，包括：
S310：基于人脸特征向量进行账号注册；
S320：实时采集驾驶舱内的用户的视频；
S330：对所采集的视频进行人脸识别以确定所述驾驶舱内的用户的账号；
S340：对所采集的视频进行人脸识别的过程中获得的一个或多个中间参数进行计算，以获得各用户账号的预定参数评分；
S350：按所述预定参数评分对用户的账户进行排序和排序更新；以及
S360：按排序顺序展示用户的账号及该用户账号的预定参数评分。
根据本发明的又一方面，还提供一种驾驶舱模拟体验设备，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如上所述的驾驶舱模拟体验方法的步骤。
根据本发明的又一方面，还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现如上所述的驾驶舱模拟体验方法的步骤。
本发明的驾驶舱模拟体验系统、方法、设备及存储介质能够实现驾驶舱模拟体验中人脸识别相关性能的互动和展示。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的驾驶舱模拟体验系统的模块示意图。
图2是本发明实施例的驾驶舱模拟体验系统中人脸识别模块进行人脸识别的流程图。
图3至图5是本发明具体实施例的驾驶舱模拟体验系统中不同预定参数评分计算的流程图。
图6是本发明实施例的驾驶舱模拟体验方法的流程图。
图7是本发明的驾驶舱模拟体验设备的结构示意图。以及
图8是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的驾驶舱模拟体验系统的模块示意图。图2是本发明实施例的驾驶舱模拟体验系统中人脸识别模块进行人脸识别的流程图。图3至图5是本发明具体实施例的驾驶舱模拟体验系统中不同预定参数评分计算的流程图。
如图1所示，本发明的实施例提供一种驾驶舱模拟体验系统1，驾驶舱模拟体验系统1包括注册模块101、摄像模块102、人脸识别模块103、预定参数评分模块104、排序模块105及展示模块106。
注册模块101用于基于人脸特征向量进行账号注册。摄像模块102用于实时采集驾驶舱内的用户的视频。人脸识别模块103用于对所采集的视频进行人脸识别以确定所述驾驶舱内的用户的账号。预定参数评分模块104用于对所述人脸识别模块对所采集的视频进行人脸识别的过程中获得的一个或多个中间参数进行计算，以获得各用户账号的预定参数评分。排序模块105用于按所述预定参数评分对用户的账户进行排序和排序更新。展示模块106用于按排序顺序展示用户的账号及该用户账号的预定参数评分。
具体而言，注册模块101可以通过摄像模块102采集的视频进行注册，或通过其它用户上传的带有人脸的图像/视频进行注册，本发明并非以此为限制。
摄像模块102例如可以是设置在驾驶舱内的摄像头。摄像头的设置位置与实际车辆中的摄像头位置一致。
人脸识别模块103执行如图2所示的步骤：
步骤S110：对所采集的视频中的图像进行人脸检测以确定人脸区域。
具体而言，可以采用深度学习中的MTCNN(Multi-task Cascaded ConvolutionalNeural Networks)算法进行人脸检测，在MTCNN中对于所要检测人脸的最小尺度的值根据需要进行调整。比如，调整为整个图片高度的五分之一，即只有大于图片五分之一的人脸图像才会被检测，小于这个尺寸的人脸图像不会被检测。
具体而言，在步骤S110之后，步骤S120之前可以包括预处理的步。例如，对输入的人脸图像进行图像质量评判等预处理。如果人脸图像质量评判不合格，则重新采集图像直到合格为止。
步骤S120：对所述人脸区域内的图像进行人脸关键点检测。
具体而言，所述的MTCNN不止检测到人脸的位置，而且检测到人脸上的五个关键点，即，两只眼睛的中心点，鼻尖的顶点，左右嘴角的顶点。如果人脸图像中，两只眼睛的关键点的中间点不是处于人脸框的中间1/3位置，而是处于人脸框左框1/3的位置，或人脸框右框1/3的位置，或者如果人脸左、右、上、下偏转任一个大于30度，那么认为人脸图像姿态不合格。系统则提示体验者需要将正脸面对摄像头。以上仅仅是示意性地示出步骤S120的具体实现，本发明并非以此为限制。
步骤S130：根据所检测的人脸关键点的位置确定人脸区域内的图像的旋转角度。
具体而言，步骤S130所述人脸关键点包括两个眼睛各自的中心点，所述根据所检测的人脸关键点的位置确定人脸区域内的图像的旋转角度可以通过如下步骤来实现：将两个眼睛各自的中心点的连线与人脸区域内的图像的水平线之间的夹角确定为人脸区域内的图像的旋转角度。
例如，将两只眼睛的中心点连成一条直线。设两个眼睛的中心点坐标为(x1,y1)和(x2,y2)，这两个中心点连线与水平线之间的夹角的正切值为：
tan(θ)＝(y2-y1)/(x2-x1)
则夹角为：
θ＝argtan[(y2-y1)/(x2-x1)]。
由此，可确定人脸区域内的图像的旋转角度。
步骤S140：按所确定的旋转角度对人脸区域内的图像进行旋转。
具体而言，将MTCNN检测到人脸区域的中心点设为新的人脸区域的中心点，并把MTCNN检测到的人脸区域旋转θ角度，从而获得新的人脸区域的位置和大小。通过步骤S140将人脸区域内的图像旋转至两个眼睛的中心点与人脸区域内的图像的水平线平行，以便后续的特征向量的提取和计算。
步骤S150：将旋转后的人脸区域内的图像按预设人脸框进行归一化处理以调整至所述预设人脸框的预设尺寸。
具体而言，步骤S150将旋转后的人脸区域内的图像按预设人脸框进行归一化处理以调整至所述预设人脸框的预设尺寸可以通过如下步骤来实现：确定旋转后的人脸区域内的图像的上边界和下边界之间的第一距离；确定旋转后的人脸区域内的图像的左边界和右边界之间的第二距离；计算第一距离和第二距离的差值；根据所述差值调整所述旋转后的人脸区域内的图像的左边界和右边界或者调整所述旋转后的人脸区域内的图像的上边界和下边界，使得调整后的第一距离和第二距离相等；将调整后的人脸区域内的图像等比例缩放至所述预设人脸框的预设尺寸。
例如，以人脸区域的上边界和下边界之间的第一距离为标准，将人脸区域的左边界和右边界的第二距离调整为和上边界和下边界之间的第一距离相同。具体为，将上边界和下边界之间的第一距离减去左边界和右边界之间的第二距离，获得距离的差值dist_diff；然后将这个差值除以2，获得左边界和右边界分别需要调整的距离的差值dist_adjust；接着将左边界的值减小dist_adjust，将右边界的值增加dist_adjust；最后将将调整后的人脸区域内的图像等比例缩放至所述预设人脸框的预设尺寸，比如128x128。
步骤S160：基于归一化处理后的人脸区域内的图像，计算人脸特征向量。
具体而言，获得经过矫正的人脸框范围内的人脸图像之后，将其输入用于人脸验证的深度学习模型中，在实现时，该深度学习模型可从cosineface、arcface、sphereface、shufflenet网络、mobilefacenet网络等之中选择其一，并将模型所输出的固定长度(比如128维或256维)的向量作为人脸图像的特征向量。
步骤S170：将所计算的人脸特征向量与注册时各账号的人脸特征向量进行相似度计算。
具体而言，可以利用余弦相似性原理来判断两个人脸的相似度，即采用两个向量夹角的余弦作为两个人脸的相似度度量。余弦相似度公式为：
其中，ai为注册时人脸特征向量的第i维特征(共n维)，bi为基于归一化处理后的人脸区域内的图像计算的人脸特征向量的第i维特征(共n维)。n为大于0的整数。
步骤S180：基于所计算的相似度确定驾驶舱内的用户的账号。
具体而言，当相似度低于预定阈值(或相似度最低)时，将所采集视频中的用户确定为注册时人脸特征向量对应的用户，并关联该用户的账号。
在本发明的一个实施例中，所述预定参数评分模块104包括相似度评分模块107。相似度评分模块107用于在所述人脸识别模块对所采集的两个用户的视频进行人脸识别的过程中获得的人脸特征向量进行相似度计算，以该两个用户的账号为一账号组，获得该账号组的相似度评分，以供所述排序模块按所述相似度评分对账号组进行排序。在该实施例中可以趣味性地对账号组的用户人脸相似度进行评分和排序，并进行展示，以提升用户体验，明确人脸识别的功能。
在本发明的一个实施例中，所述预定参数评分模块104包括闭眼评分模块108。闭眼评分模块108用于执行如图3所示的步骤：
步骤S211：根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定眼睛区域。
具体而言，可以根据前述的MTCNN检测出的五个关键点的位置，标记出眼睛区域。
步骤S212：根据所确定的眼睛区域进行睁闭眼检测。
具体而言，可以通过将定位出的眼睛区域图像输入深度卷积神经网络提取眼睛的视觉特征来判断眼睛的开闭程度。
步骤S213：统计预定时间内的闭眼次数，将所述闭眼次数作为该用户的账号的闭眼评分，以供所述排序模块按所述闭眼评分对账号进行排序。
在本发明的一个实施例中，所述预定参数评分模块104包括闭嘴评分模块109。闭嘴评分模块109用于执行如图4所示的步骤：
步骤S221：根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定嘴巴区域。
具体而言，可以根据前述的MTCNN检测出的五个关键点的位置，标记出嘴巴区域。
步骤S222：根据所确定的嘴巴区域进行张闭嘴检测。
具体而言，可以通过将定位出的嘴巴区域图像输入深度卷积神经网络提取嘴巴的视觉特征来判断嘴巴的开闭程度。
步骤S223：统计预定时间内的嘴巴闭合次数，将所述嘴巴闭合次数作为该用户的账号的闭嘴评分，以供所述排序模块按所述闭嘴评分对账号进行排序。
在本发明的一个实施例中，所述预定参数评分模块104包括疲劳评分模块110。疲劳评分模块110用于执行如图5所示的步骤：
步骤S231：根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定眼睛区域和嘴巴区域；
步骤S232：根据所确定的眼睛区域进行睁闭眼检测；
步骤S233：根据所确定的嘴巴区域进行张闭嘴检测；
步骤S234：统计预定时间内的眼睛闭合状态的百分比及张嘴幅度超过预定幅度的频率计算疲劳评分，以供所述排序模块按所述疲劳评分对账号进行排序。
具体而言，可以根据闭眼评分模块108和闭嘴评分模块109输出睁闭眼及张闭嘴巴结果，依据PERCLOS算法求出单位时间内眼睛闭合状态所占的百分比，结合打哈欠(张嘴幅度超过预定幅度)的频率完成疲劳驾驶预警机制。在该实施例中，可以设定疲劳评分阈值，当疲劳评分高于疲劳评分阈值时，可以利用座位晃动等方式提醒驾驶员，让用户切身体会到疲劳驾驶的危险性。
以上仅仅是示意性地示出本发明的多个实施方式，多个实施方式可以组合或单独实现，本发明并非以此为限制。
通过上述系统，本发明能够实现驾驶舱模拟体验中人脸识别相关性能的互动和展示，将人脸识别模块中的参数进行复用，从而增加驾驶舱模拟展示时的趣味性，减少系统负载。
下面参见图6，图6是本发明的实施例的驾驶舱模拟体验方法的流程图。本发明提供的驾驶舱模拟体验方法，采用如上所述驾驶舱模拟体验系统。所述驾驶舱模拟体验方法包括：
步骤S310：基于人脸特征向量进行账号注册；
步骤S320：实时采集驾驶舱内的用户的视频；
步骤S330：对所采集的视频进行人脸识别以确定所述驾驶舱内的用户的账号；
步骤S340：对所采集的视频进行人脸识别的过程中获得的一个或多个中间参数进行计算，以获得各用户账号的预定参数评分；
步骤S350：按所述预定参数评分对用户的账户进行排序和排序更新；以及
步骤S360：按排序顺序展示用户的账号及该用户账号的预定参数评分。
本发明的驾驶舱模拟体验方法能够实现驾驶舱模拟体验中人脸识别相关性能的互动和展示，将人脸识别模块中的参数进行复用，从而增加驾驶舱模拟展示时的趣味性，减少系统负载。
本发明实施例还提供一种驾驶舱模拟体验设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的驾驶舱模拟体验方法的步骤。
如上，本发明的驾驶舱模拟体验设备能够实现驾驶舱模拟体验中人脸识别相关性能的互动和展示，将人脸识别模块中的参数进行复用，从而增加驾驶舱模拟展示时的趣味性，减少系统负载。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图7是本发明的驾驶舱模拟体验设备的结构示意图。下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以分别执行如图5中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的驾驶舱模拟体验方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，本发明的计算机可读存储介质中的程序被执行时能够实现分布式的自动驾驶车辆调度。图8是本发明的计算机可读存储介质的结构示意图。参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明的驾驶舱模拟体验系统、方法、设备及存储介质能够实现驾驶舱模拟体验中人脸识别相关性能的互动和展示，将人脸识别模块中的参数进行复用，从而增加驾驶舱模拟展示时的趣味性，减少系统负载。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (11)

1.一种驾驶舱模拟体验系统，其特征在于，所述驾驶舱模拟体验系统包括：
注册模块，用于基于人脸特征向量进行账号注册；
摄像模块，用于实时采集驾驶舱内的用户的视频；
人脸识别模块，用于对所采集的视频进行人脸识别以确定所述驾驶舱内的用户的账号；
预定参数评分模块，用于对所述人脸识别模块对所采集的视频进行人脸识别的过程中获得的一个或多个中间参数进行计算，以获得各用户账号的预定参数评分；
排序模块，用于按所述预定参数评分对用户的账户进行排序和排序更新；以及
展示模块，用于按排序顺序展示用户的账号及该用户账号的预定参数评分。
2.如权利要求1所述的驾驶舱模拟体验系统，其特征在于，所述人脸识别模块执行如下步骤：
对所采集的视频中的图像进行人脸检测以确定人脸区域；
对所述人脸区域内的图像进行人脸关键点检测；
根据所检测的人脸关键点的位置确定人脸区域内的图像的旋转角度；
按所确定的旋转角度对人脸区域内的图像进行旋转；
将旋转后的人脸区域内的图像按预设人脸框进行归一化处理以调整至所述预设人脸框的预设尺寸；
基于归一化处理后的人脸区域内的图像，计算人脸特征向量；
将所计算的人脸特征向量与注册时各账号的人脸特征向量进行相似度计算；
基于所计算的相似度确定驾驶舱内的用户的账号。
3.如权利要求2所述的驾驶舱模拟体验系统，其特征在于，所述人脸关键点包括两个眼睛各自的中心点，所述根据所检测的人脸关键点的位置确定人脸区域内的图像的旋转角度，包括：
将两个眼睛各自的中心点的连线与人脸区域内的图像的水平线之间的夹角确定为人脸区域内的图像的旋转角度。
4.如权利要求2所述的驾驶舱模拟体验系统，其特征在于，所述将旋转后的人脸区域内的图像按预设人脸框进行归一化处理以调整至所述预设人脸框的预设尺寸包括：
确定旋转后的人脸区域内的图像的上边界和下边界之间的第一距离；
确定旋转后的人脸区域内的图像的左边界和右边界之间的第二距离；
计算第一距离和第二距离的差值；
根据所述差值调整所述旋转后的人脸区域内的图像的左边界和右边界或者调整所述旋转后的人脸区域内的图像的上边界和下边界，使得调整后的第一距离和第二距离相等；
将调整后的人脸区域内的图像等比例缩放至所述预设人脸框的预设尺寸。
5.如权利要求1所述的驾驶舱模拟体验系统，其特征在于，所述预定参数评分模块包括：
相似度评分模块，用于在所述人脸识别模块对所采集的两个用户的视频进行人脸识别的过程中获得的人脸特征向量进行相似度计算，以该两个用户的账号为一账号组，获得该账号组的相似度评分，以供所述排序模块按所述相似度评分对账号组进行排序。
6.如权利要求1所述的驾驶舱模拟体验系统，其特征在于，所述预定参数评分模块包括：
闭眼评分模块，用于执行如下步骤：
根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定眼睛区域；
根据所确定的眼睛区域进行睁闭眼检测；
统计预定时间内的闭眼次数，将所述闭眼次数作为该用户的账号的闭眼评分，以供所述排序模块按所述闭眼评分对账号进行排序。
7.如权利要求1所述的驾驶舱模拟体验系统，其特征在于，所述预定参数评分模块包括：
闭嘴评分模块，用于执行如下步骤：
根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定嘴巴区域；
根据所确定的嘴巴区域进行张闭嘴检测；
统计预定时间内的嘴巴闭合次数，将所述嘴巴闭合次数作为该用户的账号的闭嘴评分，以供所述排序模块按所述闭嘴评分对账号进行排序。
8.如权利要求1所述的驾驶舱模拟体验系统，其特征在于，所述预定参数评分模块包括：
疲劳评分模块，用于执行如下步骤：
根据所述人脸识别模块对所采集的用户的视频进行人脸识别的过程中确定眼睛区域和嘴巴区域；
根据所确定的眼睛区域进行睁闭眼检测；
根据所确定的嘴巴区域进行张闭嘴检测；
统计预定时间内的眼睛闭合状态的百分比及张嘴幅度超过预定幅度的频率计算疲劳评分，以供所述排序模块按所述疲劳评分对账号进行排序。
9.一种驾驶舱模拟体验方法，其特征在于，包括：
S310：基于人脸特征向量进行账号注册；
S320：实时采集驾驶舱内的用户的视频；
S330：对所采集的视频进行人脸识别以确定所述驾驶舱内的用户的账号；
S340：对所采集的视频进行人脸识别的过程中获得的一个或多个中间参数进行计算，以获得各用户账号的预定参数评分；
S350：按所述预定参数评分对用户的账户进行排序和排序更新；以及
S360：按排序顺序展示用户的账号及该用户账号的预定参数评分。
10.一种驾驶舱模拟体验设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求9所述的驾驶舱模拟体验方法的步骤。
11.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求9所述的驾驶舱模拟体验方法的步骤。
CN201910700791.1A 2019-07-31 2019-07-31 驾驶舱模拟体验系统、方法、设备及存储介质 Pending CN110334696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910700791.1A CN110334696A (zh) 2019-07-31 2019-07-31 驾驶舱模拟体验系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910700791.1A CN110334696A (zh) 2019-07-31 2019-07-31 驾驶舱模拟体验系统、方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110334696A true CN110334696A (zh) 2019-10-15

Family

ID=68148201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910700791.1A Pending CN110334696A (zh) 2019-07-31 2019-07-31 驾驶舱模拟体验系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110334696A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160197A (zh) * 2019-12-23 2020-05-15 爱驰汽车有限公司 人脸检测方法、装置、电子设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
CN107194381A (zh) * 2017-07-06 2017-09-22 重庆邮电大学 基于Kinect的驾驶员状态监测系统
CN108446824A (zh) * 2018-02-08 2018-08-24 深圳市赛格导航科技股份有限公司 一种驾驶行为的风险评估方法、装置、设备及存储介质
CN109598960A (zh) * 2017-10-18 2019-04-09 宁波轩悦行电动汽车服务有限公司 电动汽车租赁系统的驾驶建议方法
CN109711301A (zh) * 2018-12-18 2019-05-03 深圳壹账通智能科技有限公司 驾驶人员审核方法、装置、计算机设备和存储介质
CN109784188A (zh) * 2018-12-18 2019-05-21 深圳壹账通智能科技有限公司 驾驶疲劳度评价方法、装置、计算机设备和存储介质
CN110019376A (zh) * 2017-10-18 2019-07-16 宁波轩悦行电动汽车服务有限公司 电动汽车租赁系统驾驶对比方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
CN107194381A (zh) * 2017-07-06 2017-09-22 重庆邮电大学 基于Kinect的驾驶员状态监测系统
CN109598960A (zh) * 2017-10-18 2019-04-09 宁波轩悦行电动汽车服务有限公司 电动汽车租赁系统的驾驶建议方法
CN110019376A (zh) * 2017-10-18 2019-07-16 宁波轩悦行电动汽车服务有限公司 电动汽车租赁系统驾驶对比方法
CN108446824A (zh) * 2018-02-08 2018-08-24 深圳市赛格导航科技股份有限公司 一种驾驶行为的风险评估方法、装置、设备及存储介质
CN109711301A (zh) * 2018-12-18 2019-05-03 深圳壹账通智能科技有限公司 驾驶人员审核方法、装置、计算机设备和存储介质
CN109784188A (zh) * 2018-12-18 2019-05-21 深圳壹账通智能科技有限公司 驾驶疲劳度评价方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160197A (zh) * 2019-12-23 2020-05-15 爱驰汽车有限公司 人脸检测方法、装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
US11341769B2 (en) Face pose analysis method, electronic device, and storage medium
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
US20210295099A1 (en) Model training method and apparatus, storage medium, and device
Orchard et al. Converting static image datasets to spiking neuromorphic datasets using saccades
Abdic et al. Driver frustration detection from audio and video in the wild
CN107704805A (zh) 疲劳驾驶检测方法、行车记录仪及存储装置
EP4345777A1 (en) Living body detection method and apparatus, and training method and apparatus for living body detection system
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
CN205230272U (zh) 汽车司机驾驶状态监测系统
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
CN109773807B (zh) 运动控制方法、机器人
CN112116684A (zh) 图像处理方法、装置、设备及计算机可读存储介质
EP4012607A1 (en) Face liveness detection method and related apparatus
Dubbaka et al. Detecting learner engagement in MOOCs using automatic facial expression recognition
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
EP4042322A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Galindo et al. Landmark based eye ratio estimation for driver fatigue detection
Zhang et al. Driver fatigue state detection based on facial key points
CN113128295A (zh) 一种车辆驾驶员危险驾驶状态识别方法及装置
CN110334696A (zh) 驾驶舱模拟体验系统、方法、设备及存储介质
Sharara et al. A real-time automotive safety system based on advanced ai facial detection algorithms
CN112149641A (zh) 监控驾驶状态的方法、装置、设备和存储介质
Jha et al. Estimation of gaze region using two dimensional probabilistic maps constructed using convolutional neural networks
Li et al. Learning State Assessment in Online Education Based on Multiple Facial Features Detection
Li et al. Driver fatigue detection based on comprehensive facial features and gated recurrent unit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191015