CN109643366A - 用于监控车辆驾驶员的状况的方法和系统 - Google Patents

用于监控车辆驾驶员的状况的方法和系统 Download PDF

Info

Publication number
CN109643366A
CN109643366A CN201780051279.8A CN201780051279A CN109643366A CN 109643366 A CN109643366 A CN 109643366A CN 201780051279 A CN201780051279 A CN 201780051279A CN 109643366 A CN109643366 A CN 109643366A
Authority
CN
China
Prior art keywords
depth
head
processing system
image processing
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780051279.8A
Other languages
English (en)
Other versions
CN109643366B (zh
Inventor
S.克莱门特
S.劳
D.蒙斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ge Steel Co Ltd
Original Assignee
Ge Steel Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ge Steel Co Ltd filed Critical Ge Steel Co Ltd
Publication of CN109643366A publication Critical patent/CN109643366A/zh
Application granted granted Critical
Publication of CN109643366B publication Critical patent/CN109643366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种系统和方法，涉及一种估计车辆驾驶员的状况的计算机系统。该系统包括以下步骤：从深度传感器获取图像，该深度传感器包含深度以及(可选的)IR强度图像和RGB彩色图像；识别属于驾驶员头部的像素；创建该头部的3D模型，包括强度模型以及深度、灰度和颜色信息的可变性估计；主头部姿势和中性面部表情的估计；相对于主头部姿势的当前相对头部姿势的估计；识别在深度、灰度或颜色信息或其任意组合方面与中性面部模型不匹配的像素；聚类具有所识别的偏差的像素；对空间和时间模式进行分类，以识别驾驶员状况和注意力分散事件。

Description

用于监控车辆驾驶员的状况的方法和系统
相关申请的交叉引用
不适用。
技术领域
本申请涉及使用3D传感器识别驾驶员状态和驾驶员头部姿势。
背景技术
根据NHTSA，美国所有致命撞车事故中有10％是由于驾驶员注意力分散造成的，其中，2014年有3179人死亡，估计有431,000人受伤(根据NHTSA的国家统计与分析中心，发表在技术报告《交通安全事实：注意力分散驾驶2014年》中)。因此，监控驾驶员的注意力分散水平将成为下一代车辆的关键成功因素。头部姿势、面部表情和眼睑运动都有助于对驾驶员注意力分散水平的全面评估。
2015年3月的欧洲新车规划2020年路线图技术报告包括了虚拟副驾驶概念的推广和驾驶员状态监控领域内的创新的时间表。如果汽车制造商提供这样的安全技术，不仅作为附加功能，而且作为标准，他们将获得奖励。
对于自动驾驶汽车，驾驶员必须在危急或复杂的情形下接管控制权。然而，接管决定也取决于驾驶员的状态，因此自动驾驶汽车必须依赖于驾驶员状况监控。
减少车辆碰撞中的致命伤害的社会义务已经促使汽车制造商及其供应商建立传感器系统，其不仅可以观察车辆外部世界，还可以监控车辆内部，特别是机械设备的驾驶员的状态。
基于视觉传感器的用于驾驶员状态监控的通用系统要求将传感器安装于特定位置(例如，美国公开申请20100002075A1中的安装在方向盘上)，对这种系统的设计过程实施严格的限制。
用于驾驶员状态监控的替代系统基于非常不同的特征和输入源，诸如驾驶员的转向行为，如美国专利5,815,070(机动车的驾驶状态监控装置)中所公开的；或者驾驶员响应询问信号的能力，如美国专利6,154,123(驾驶员警觉性监控系统)中那样的。美国专利6,049,747(驾驶员监控设备)中公开的系统专注于通过在驾驶员面部上投射亮点图案来获得3D数据的特定方式。诸如美国专利7,138,922中的另一系统，则假设存在针对昏昏欲睡的驾驶员的检测器，并关注如何通过涉及操作人员来与昏昏欲睡的驾驶员通信。
驾驶员状态监控通常与面部检测相关。在许多科学出版物中描述了检测二维图像中面部的方法，其中最常引用的是Paul Viola和Michael J.Jones开发的标准方法(鲁棒性实时面部检测，《国际计算机视觉杂志》，57(2):137–154,2004)。例如，Steinberg等人的WO专利申请PCT/EP2007/006540和Corcoran等人的美国专利申请第14/563，972号中公开了另一方法。
用于面部检测和头部跟踪的大多数方法依赖于面部特征或标志。一般工作流程是维护内部对象模型，包括标志定位。对于每一幅新图像，内部模型的标志与传感器的当前视图相匹配，以获得对象和传感器之间的相对定位。当标志变得不可见时(例如，当用户避开传感器时)或临时遮挡时(例如，当用户搔他或她的鼻子时)，这种方法可能会失败。在某些情况下，根本无法检测到这样的标志，例如，对于某些类型的眼镜、头发和胡须样式。此外，照明的变化、来自眼镜、太阳镜和隐形眼镜的光反射可能会阻碍对有效标志的检测。
一般来说，基于标志的方法依赖于面向前方(front facing)的传感器，即传感器的安装方式使得操作者的面部直接以默认定位朝向传感器。然而，在监控车辆驾驶员行为的最突出的应用中，传感器定位很可能安装在非面向(non-facing)的位置，诸如A型梁、后视镜位置或中央控制台。
在WO专利申请PCT/AU2008/000,290中，Tell公开了一种基于标志的方法的典型工作流程，其中三维对象被渲染，从三维对象模型中提取显著的点特征或标志，在图像中定位对应的特征，并且从对象模型的标志和视图之间的对应关系推导出新的对象取向。然而，该方法专注于被定义为处于预定数量的位置并具有最高边缘的点特征。对一些预定位置的遮挡可能会阻碍图像序列的应用，并且图像序列的分辨率对于实现所需的性能水平至关重要。
头部姿势估计通常被解释为推断头部相对于相机视图的取向的能力。在开发价格合理的3D传感器之前，早期的头部跟踪技术仅限于使用灰度或彩色图像序列。ErikMurphy-Chutorian和Mohan Manubhai Trivedi(计算机视觉中的头部姿势估计：调查：IEEE模式分析和机器智能的交易，31(4):607–626,2009)的出版物对这些方法进行了很好的概述。
在美国专利申请11/420,864中，Victor等人公开了一种用于睡意检测的方法，该方法基于睡意导致肌肉松弛这样的假设，进而使得可以通过头部姿势检测来识别的特定头部运动。
在WO专利申请PCT/AU2009/001,547中，Langdale-Smith等人已经公开了测量注意力水平的指标；并且该指标可以包括面部和眼睛的取向、观看特定感兴趣区域的持续时间、面对感兴趣区域的持续时间、面部反应、以及面部表情的相对变化。然而，该发明没有公开检索和量化所需特征(例如，面部表情)的技术上可行的方法。
在WO专利申请PCT/AU2010/000,142中，Langdale-Smith等人公开了一种用于监控机械设备操作者对车辆运动的注意力的方法。他们只考虑了操作者头部的三维定位，而没有考虑面部表情。
利用面部的操作的大多数方法都需要传感器，该传感器被假定为观察裸露的面部。然而，一般来说，驾驶员或机器操作者可以戴眼镜、头盔或其他部分遮挡面部标志的防护装备。因此，即使是通过使用局部图像算子来增强分类前面部特征的方法(诸如Loy等人在美国专利申请10/951,081中公开的)也很可能会失败。另外，这种方法需要预先知道标志的视觉外观。机器操作者的防护装备很可能会提供用于视觉跟踪的良好特征，但是外观不会被事先知道，并且不同的操作员之间可能会有很大的差异。
除了仅检测面部，一些方法还进一步处理面部，例如，从头部或眼睛定位导出注视方向(美国专利申请10/350,835和美国专利7,043,056)或从眼睛和嘴唇导出面部表情(美国专利申请14/680,977)。已经提出了一些专门专注于眼睛跟踪和睡意检测的驾驶员监控系统。在美国专利申请14/484，875中，Seok等人公开了一种用于控制车辆中的平视显示器的组合注视跟踪和手指检测方法。
诸如美国专利5,229,754中的其他方法根据头部姿势调整诸如平视显示器的显示器。
眼睛跟踪的一个常见替代方法是监控驾驶员的头部姿势，作为驾驶员所观看的位置的近似。这种方法已经在美国专利5,691,693、WO专利申请PCT/US2001/047,612、美国专利申请11/317,431和美国专利申请11/796,807中提出，但不够准确。
Shahram Izadi等人在美国专利9,251,590、美国专利申请13/017,474和美国专利申请13/017,587中提出了使用低成本消费深度传感器重建刚性对象的第一方法中的一种方法，称为Kinect Fusion(Kinect Fusion：使用移动深度相机进行实时三维重建和交互，《第24届年度用户界面软件和技术ACM研讨会记录》，第559-568页，2011年)。来自微软Kinect RGBD传感器的数据被用于重建曲面，并估计当前相机相对于该曲面的定位。首先，这些方法通过使用基于ICP(Iterative closest point，迭代最近点)的方法将当前图像与(通过整合一系列先前图像获得的)整合图像对齐，来迭代地跟踪相机定位。然后，对体积进行整合，并通过光线投射来估计重建曲面的视图。这里，与模型的偏差被视为噪声，而在我们的方法中，它们被视为可用于区分对象状态的信息。
一些扩展允许估计对象曲面，即使对象在被扫描时变形(Richard A.Newcombe,Dieter Fox,and Steven M.Seitz，动态融合：实时重建和跟踪非刚性场景；和MingsongDou,Jonathan Taylor,Henry Fuchs,Andrew Fitzgibbon,Shahram Izadi，用单个rgbd传感器3D扫描可变形对象；两者都发表在2015年IEEE计算机视觉和模式识别会议上)。因此，在扫描过程期间，变形函数不断更新。然而，这里的目标是补偿变形，而不是提取被进一步处理的额外有用信息。
本申请描述了用于识别驾驶员状态和驾驶员头部姿势的系统和方法的改进。
发明内容
如本文所述，一种系统和方法利用深度数据来识别驾驶员的状态和驾驶员的头部姿势。
在本发明的一个方面，提供了一种用于实时进行驾驶员状态监控的方法。该方法包括操作图像处理系统以从深度传感器接收深度图像的序列。每个深度图像包括表示场景的图像的图像数据。图像数据包括指示距深度传感器的距离的深度值。图像处理系统使用图像的序列识别场景中的人的头部。图像处理系统使用深度图像来跟踪人的头部相对于主要定位和取向的定位和取向，其中人的头部被建模为3D曲面以定义头部模型，并随时间被连续调整以获得平均中性面部模型。图像处理系统识别与中性面部的深度偏差，并将这种深度偏差分类为不同的驾驶员状态。
特征在于，包括灰度或彩色图像的补充图像是从深度传感器或已经按像素配准到深度图像的附加传感器获得的。
另一特征在于，根据汽车内部的CAD模型，除了头部像素之外的所有像素都被排除在外。
又另一特征在于，通过应用随机决策森林，或者通过肤色，或者通过面部检测方法来识别人的头部。
再另一特征在于头部模型是通过迭代最近点匹配获得的。
还有进一步特征在于，中性面部被存储在包括变化的历史的数据库中。深度变化可以与数据库中已经存储的对于特定驾驶员的变化的历史进行比较，该比较用于提取驾驶员状态检测的特征。
根据另一方面，公开了一种用于实时进行驾驶员状态监控的系统。该系统包括深度传感器，用于捕获场景的深度图像并生成表示场景的图像的图像数据。图像数据包括指示距传感器的距离的深度值。图像处理系统可操作地耦合到传感器，以从传感器接收深度图像的序列。图像处理系统被编程为使用图像的序列来识别场景中的人的头部，使用深度图像来跟踪人的头部相对于主要定位和取向的定位和取向，其中人的头部被建模为3D曲面以定义头部模型，并且随时间被连续调整以获得平均中性面部模型，识别与中性面部的深度偏差，并且将这样的深度偏差分类为不同的驾驶员状态。
进一步的特征和优点将从说明书和附图中显而易见。
附图说明
图1A是示出如本文所述的用于监控车辆驾驶员的状况的系统的块图；
图1B是车辆中的传感器相对于驾驶员的定位的定位示意图；
图2是在图1A的处理单元中实施的用于识别驾驶员状态和头部姿势的程序的流程图；
图3A、图3B、图3C、图3D和图3E示出了驾驶员注意力分散和遮挡情景的示例；
图4A、图4B、图4C、图4D和图4E示出了使用图2的流程图获得的用于获得中性面部模型的图像数据；
图5A、图5B、图5C、图5D、图5E和图5F示出了图2的流程图的不同步骤处的图像数据；和
图6示出了各种面部表情、遮挡和注意力分散因素。
具体实施方式
所公开的方法和系统涉及识别车辆驾驶员的状态，包括允许估计注意力分散和疲劳水平的特征。
尽管本发明涉及车辆驾驶员的状态，但是对于本领域技术人员来说显而易见的是，同样的方法可以用于监控任何移动或静止机械设备的操作者的状态，其中疲劳、注意力分散、疏忽或压力可能导致系统严重故障或造成任何类型的伤害。这种机械设备包括但不限于飞机、船只、建筑机械、起重机和生产设施。
在又一实施例中，本发明可以支持监察任务，诸如监视患者。
由诸如注意力、疲劳、注意力分散和唤醒的水平等术语定义的驾驶员的抽象状态可以从诸如头部姿势、眼睑运动、面部表情及其时间和空间演变等物理表现中推导出。然而，每个单一方面都可能不足以有效分类驾驶员的状态以潜在地忽略动作并让自动驾驶系统接管控制权。因此，本发明意图提供一种驾驶员监控的整体方法，其中多个特征可以由单一系统提供。
在说明性实施例中，如图1A所示，图像处理系统20被用于识别驾驶员的状态和头部姿势。系统20包括处理单元22和连接到处理单元22的传感器24。传感器24包括三维(3D)传感器。传感器24可以以任何期望的取向或定位安装在车辆中，诸如图1B所示。传感器24可以更灵活地安装，因为头部跟踪不依赖于特定的面部特征。传感器24可以是现成的传感器或专用传感器。此外，处理单元22可以被连接到多个传感器，诸如传感器24和第二传感器24’以及未示出的附加传感器。图像处理系统20还包括来自处理单元22的输出块26。输出块26被用于输出诸如识别的驾驶员状态和驾驶员头部姿势的信息。根据需要或期望，该输出可以由车辆内的其他程序或设备使用，或者由远程单元使用。本申请并不针对如何使用这些数据，而是针对这些数据的确定。
处理单元22包括根据存储在存储器28中的定制程序操作的编程处理器，诸如个人计算机、服务器等，如下所述。该程序在下面讨论的图2的流程图中大体示出。存储器28可以是内部存储器和/或外部存储器，诸如RAM、ROM、硬盘驱动器、光驱、服务器，或者与其他处理器相关。本文示出的系统20不意图限于任何特定的硬件配置，因为由系统20实施的方法体系(methodology)可以在许多不同的硬件配置上实施。
在说明性示例中，人的头部H位于传感器24附近。传感器24可操作以捕获场景中的图像数据。由传感器24的视图中的周围环境来定义场景，诸如图1B所示。
如本文所述，用于监控驾驶员的方法包括使用处理单元22操作图像处理系统20，以从传感器24接收图像数据。图像数据表示以驾驶员头部H为对象的场景的图像。图像数据包括像素的二维阵列，并且每个像素包含指示距传感器24的距离的深度值。图像处理系统使用图像序列识别场景中的人的头部H。系统20使用深度图像来跟踪头部H相对于主定位和取向的定位和取向，其中头部H被建模为3D曲面以定义头部模型，并且随时间被连续调整以包含中性面部模型。系统20识别与中性面部的深度偏差，并将这种深度偏差分类为不同的驾驶员状态。
该方法使用深度传感器24提供的数据。这也可以称为3D传感器(如3D相机)或范围传感器。3D传感器提供的数据称为范围数据或深度数据。传感器具有位于图像平面中的像素，并且在那里用索引(i,j)索引。对于每个像素(i,j)，传感器提供范围值(到对象的距离)，该范围值表示从像素到传感器前方3D空间中成像的3D点的距离。在位于图像平面中的具有(x,y)轴的坐标系中(以图像平面与光轴的交点为中心)，已经感测到的3D点具有坐标(X,Y,Z)，并且可以表示为矢量。存在不同类型的3D传感器。它们基于可用于获取范围数据的不同方法。第一区别是直接方法和间接方法之间的区别。
最重要的直接方法是测量光从光源到达对象并返回传感器所需的时间；这些传感器被称为飞行时间传感器(time-of-flight-sensor)或ToF传感器。该时间可以通过发送光脉冲或调制光源并测量发射光和反射光之间的相移来测量。
大多数间接方法基于三角测量，这意味着对象上的3D点从不同的已知视点被照亮和/或成像，这些视点和3D点一起定义了一个三角形，从这个三角形可以确定到3D点的距离。该方法用于不同种类的传感器；例如，第一微软Kinect传感器在不同定位使用红外光投影仪和相机。传统的方法是使用两个或更多个相机，其好处是不需要额外的光源，尽管在某些情况下使用额外的光源。
不同的传感器其精度(它们能够测量的范围)不同，但它们在能提供多少个3D数据点方面也不同。只要对象反射足够的光，ToF传感器就可以测量范围，而标准立体系统要求对象具有可以在两个(或更多个)图像中匹配的某种结构。
本文公开的方法可以利用任何3D传感器，只要它提供足够密集的3D点云(cloud)和与深度图像对齐的许多补充图像。这种补充图像可以是灰度图像，诸如飞行时间传感器的幅度图像，或者RGB彩色图像。所公开的方法监视传感器视野内的人的状态。在本发明的范围内，状态指的是头部姿势，包括现实世界坐标中的头部定位和头部取向角(翻滚角、俯仰角、偏航角)；和基于与中性面部不同的区域识别的许多特定驾驶员状态。
为了简单起见，所公开的方法提到使用单个深度传感器24。然而，应该清楚的是，相同的方法可以应用于多个并行操作的深度传感器，以增加覆盖范围、准确性或鲁棒性。
如下文更具体描述的，该系统和方法被用于使用图1A的系统确定驾驶员的各种状态和驾驶员头部姿势。虽然图1B示出了正常驾驶员状态，但是在附图的其他图中示出了注意力分散和遮挡情景的示例。例如，图3A示出了驾驶员可能睡着的情景。在这张图片中，司机的头部朝下。图3B示出了驾驶员注意力分散的示例，诸如向上看。图3C示出了驾驶员的注意力被转移，诸如将他的头转向一侧。图3D示出了驾驶员饮酒的示例。图3示出了驾驶员戴眼镜的示例。
参照图2，流程图示出了在图1A的处理单元22中实施的用于监视驾驶员的状况的程序的操作。
该程序开始于数据获取块101。这包括处理单元22从深度传感器24获取深度图像。假设每个像素位置(i,j)具有该位置处像素的对应水平、垂直和距离信息的三维矢量可用。在一些情况下，可以获取与深度图像正确配准的补充图像(例如，振幅、强度、RGB或其他)，即深度图像中的像素捕获与次级(secondary)图像中的对应像素相同的3D点。一些适当的传感器确实会默认传送这样的数据(例如，飞行时间传感器)；对于其他传感器，存在配准两个图像的方法(例如，对于结构光传感器，诸如附接有第二非深度图像传感器的Kinect，或者立体传感器)。图4A示出了从块101的数据获取步骤获得的深度图像。
在块102处，通过各种手段获得感兴趣区域，即属于头部的像素的集合。图4B示出了感兴趣区域，以更浅的阴影显示了深度图像的被识别为属于头部像素的部分。在最简单的情况下，传感器24相对于透镜的视场被物理地安装和限制，使得只有用户的头部H是可见的。此外，如果可用，可以使用次级彩色图像来识别皮肤像素。如美国专利5,930,392中公开的基于随机决策森林的方法，或者熟知的Viola-Jones方法(美国专利7,099,510)也可以被用于识别头部像素。另外，环境的物理模型可以被用于排除某些区域内的像素以进行任何进一步的处理。例如，车辆内部的静态图像可以被存储在存储器28中，并且这可以被用于排除图像中的对应数据，使得剩下的是用户的图像。
此后，该程序可操作为获得平均中性面部模型。中性面部可以被认为是参考图像，包括处于正常、非注意力分散驾驶状态下驾驶员的图像。在初始阶段，确定中性阶段和主头部姿势两者。中性面部随后被用于获得驾驶员状态特征，头部姿势随后相对于主头部姿势被连续更新。在用户没有意识到的情况下，获得中性面部和主头部姿势两者。
判定块103确定程序是否已经收敛到中性面部。这是基于是否获得了稳定的中性面部。如果不是，则在块104处执行曲面重建步骤。这不需要将运动传感器附接到要重建的对象上，而是仅依赖于对对象相对于观察到的图像序列的两个连续帧的相对运动(平移和旋转)的估计。该曲面可以使用上述方法重建，诸如美国专利9,251,590、美国专利申请13/017,474或美国专利申请13/017,587、或者替代的已知方法。然后在块105处重建中性面部。图4C示出了中性面部的振幅图像。图4D示出了重建的3D中性面部，图4E示出了由块104的曲面重建和块105的中性面部重建产生的重建的振幅中性面部。
在中性面部模型适应收敛之后，如在判定块103确定的，判定块106确定是否已经估计了绝对头部姿势。如果不是，则在块107进行主头部姿势估计。如果是，或者在块107处的主头部姿势估计之后，块108实施头部姿势跟踪。在程序的主循环中，只跟踪头部姿势。这估计了头部相对于先前定位的当前定位。姿势的这些相对变化被整合以在块109处获得绝对姿势，但是取决于被称为主姿势的初始姿势。在开始时，在块107处确定主姿势。为了确定主姿势，可以使用各种方法。例如，可以使用依赖于上述背景中描述的面部特征或标志的已知方法之一。另一种方法是通过假设驾驶员最常看前方的道路，然后跟踪相对于这个前视姿势的姿势来校准系统。
传感器24相对于头部H的定位和取向由包含旋转矩阵Rk和平移向量tk的变换矩阵表示：
旋转和平移参数可以通过使用上述方法或替代方法来估计。注意的是，这种方法通过随时间整合姿势变化来获得姿势。这就是为什么需要主姿势。
每当估计的头部姿势在视场之外或者变化比生理约束更快时，如在判定块109处确定的，则在块110处重置内部头部模型，并且通过开始返回到块101处来估计新的主头部姿势。否则，在块111处，诸如灰度或颜色信息的次级图像信息被配准到深度图，即，它被链接到与对应深度值相同的体素。
迭代最近点(ICP)是一种已知的配准数据的方式。在本申请的上下文中，当前面部与通过对先前配准的面部进行整合而获得的“整合面部”配准。异常值是配准的面部之间的差异。由于头部姿势不同，面部可能会有所不同。一旦头部姿势从方程中得出，剩下的差异就是异常值。头部模型或头部姿势涉及获得中性阶段。在上面讨论的初始阶段中，其中获得了中性面部模型，异常值被认为是噪声异常值，并且程序估计了这种噪声异常值的概率。后来，当中性面部模型稳定时，异常值被认为是可能是由于例如面部表情的变化而造成的特征。噪声异常值的初始估计概率被用于确定是否存在特征异常值。这是基于这样的假设，即噪声永久存在，并且非中性面部表情是相当罕见的事件，其偏离中性面部的概率取决于噪声水平，即上述噪声异常值。这种概率随特定的面部而有所不同。
类似于判定块103，判定块103A确定中性面部模型是否保持收敛。如果需要确定更新后的中性面部模型，则程序循环回到上面讨论的块101。如果不是，则在块112处获得对中性面部的深度、幅度和颜色异常值的识别。图5A示出深度异常值的示例。图5B示出振幅异常值的示例。
中性面的曲面异常值随后被用于量化变化的显著性。由于所使用的深度感测技术的噪声特性，重建的体积可能包含异常值的高概率区域(例如，飞行时间传感器在深度边缘往往不准确，并且在这些位置处产生具有高方差的像素)。因此，当测量偏离中性面部的偏差时，程序排除了产生异常值的高概率区域。这是通过随时间整合ICP异常值图来完成的，以获得每个曲面补片(surface patch)产生异常值的概率，甚至对于中性面也是如此。
在块113处，被标记为中性面部的ICP异常值的所有当前ICP异常值都被丢弃，因为它们位于即使对于中性姿势也具有高可变性的区域内。
基于剩余ICP异常值，检测非刚性运动和变形。这些由传感器平面中的一组像素坐标表示，这些像素坐标不被包括于在姿势估计步骤中找到的对应对中，并且因此已被保存在异常值图中。其原理是，异常值可能是由噪声和不确定的测量值引起的，或者是由非刚性运动和变形引起的。噪声异常值主要出现在深度段的边缘处，在这些边缘处，曲面几乎与传感器平面的法向量正交。图5C示出了在闭着眼睛的情况下的振幅异常值的示例。图5D示出了在去除中性面部中标记的异常值之后在闭着眼睛的情况下的异常值。图5E示出了在驾驶员打哈欠的情况下的深度异常值的示例。图5F示出了在去除中性面部中的异常值之后在驾驶员打哈欠的情况下的异常值。
然后在块114处，异常值被映射到头部模型上，并被标记为在重建曲面的前面或后面。
将异常值鲁棒地识别为特征是本发明的核心。基于这些通用特征，在块115处，可以使用各种已知方法来识别语义面部特征，并且在块116处，根据预定义类别来分类驾驶员的状态。类别(即要检测的驾驶员的状态)取决于应用。一旦定义了状态，就创建了表示这些状态的数据库，并使用机器学习技术来训练分类器，然后分类器可以通过将确定的特征与数据库上定义的状态进行比较来自动确定正确的状态。取决于应用的复杂性，简单的自适应阈值、支持向量机或深度网络被用作分类器。
图6示出了诸如可以被包括在数据库中的许多驾驶员注意力分散情景，其中一个或多个上述特征允许对驾驶员的状态进行分类。
通过跟踪驾驶员头部姿势，如上相对于块108讨论的，系统可以量化与平均中性面部模型的偏差，在图6中大体示为300。这些变化包括，例如，301处的不适当坐姿，302处的由于困倦而产生的特征性点头模式，以及303处所示的唤醒模式。
看起来比中性面部300更靠近传感器24的较大区域可以指示一般的注意力分散，诸如304处的打电话或者309处的看报纸。还可以检测310处的与特定面部表情相关的攻击性手势。
在面部区域中看起来更靠近传感器24的小区域可以被分类为311处的驾驶员戴太阳镜或其他可穿戴物品，或者308处的驾驶员驾驶时吸烟。
相对于中性面部看起来更远离传感器24的小区域可以指示305处驾驶员正在说话。结合眼睛位置处的振幅或颜色信息的突然变化，可以检测306处的震惊状态。
307处的细微面部表情需要分析包括深度、灰度和/或颜色信息的完整特征集。
在一些情况下，显著的变化可能不直接与注意力分散相关，但是应该触发中性面部模型的重置，诸如312处的驾驶员戴上帽子的情况下，或者313处的头发束的特定变化的情况下。
314处的面部颜色的变化也可能有助于总体的驾驶员状态估计，并指示诸如压力和唤醒的状态。
一旦驾驶员状态在块116处被分类，就使用例如图6所示的状态，在块117处输出驾驶员状态和头部姿势。然后，经由图1A的块26的输出可以被其他程序或警告系统等用于适当地作用于驾驶员的状态。
因此，如本文所述，一种系统和方法涉及一种估计车辆驾驶员的状况的计算机系统。这是通过对空间和时间模式进行分类以识别驾驶员状况和注意力分散事件来完成的。
已经参照流程图和块图描述了本系统和方法。应当理解，流程图的每个块和图表可以通过计算机程序指令来实施。这些程序指令可以被提供给处理器以生产机器，使得在处理器上执行的指令创建用于实施块中指定的功能的装置。计算机程序指令可以由处理器运行，以使处理器执行一系列操作步骤，从而产生计算机实施的过程，使得指令将运行并且处理器提供用于实施在块中指定的功能的步骤。因此，这些图示支持用于执行特定功能的装置的组合和用于执行这些特定指令的步骤的组合。还应当理解，每个块和块的组合可以由执行指定功能或步骤的基于专用硬件的系统来实施，或者由专用硬件和计算机指令的组合来实施。根据本文公开的各个方面的方法都不限于以任何特定顺序执行其步骤。

Claims (18)

1.一种用于实时进行驾驶员状态监控的方法，包括：
操作图像处理系统以从深度传感器接收深度图像的序列，每个深度图像包括表示场景的图像的图像数据，其中，所述图像数据包括指示距所述深度传感器的距离的深度值；
所述图像处理系统使用所述图像的序列识别场景中的人的头部；
所述图像处理系统使用所述深度图像来跟踪人的头部相对于主定位和取向的定位和取向，其中人的头部被建模为3D曲面以定义头部模型，并随时间被连续调整以获得平均中性面部模型；
所述图像处理系统识别与所述中性面部的深度偏差；和
所述图像处理系统将这样的深度偏差分类为不同的驾驶员状态。
2.如权利要求1所述的方法，其中，包括灰度或彩色图像的补充图像从所述深度传感器或已经按像素配准到所述深度图像的附加传感器获得。
3.如权利要求1所述的方法，其中，根据汽车内部的CAD模型排除除了头部像素以外的所有像素。
4.如权利要求1所述的方法，其中，通过应用随机决策森林来识别人的头部。
5.如权利要求1所述的方法，其中，通过肤色来识别人的头部。
6.如权利要求1所述的方法，其中，通过面部检测方法来识别人的头部。
7.如权利要求1所述的方法，其中，通过迭代最近点匹配来获得头部模型。
8.如权利要求1所述的方法，其中，所述中性面部被存储在包括变化的历史的数据库中。
9.如权利要求8所述的方法，其中，将深度变化与已经存储在数据库中的、对于特定驾驶员的变化的历史进行比较，并且其中所述比较被用来提取用于驾驶员状态检测的特征。
10.一种用于实时进行驾驶员状态监控的系统，包括:
深度传感器，用于捕获场景的深度图像并生成表示场景的图像的图像数据，其中，所述图像数据包括指示距所述深度传感器的距离的深度值；和
图像处理系统，其可操作地连接到所述传感器以从所述传感器接收深度图像的序列，所述图像处理系统被编程为使用所述图像的序列来识别场景中的人的头部，使用所述深度图像来跟踪人的头部相对于主定位和取向的定位和取向，其中，人的头部被建模为3D曲面以定义头部模型，并且随时间被连续调整以获得平均中性面部模型，识别与所述中性面部的深度偏差，并且将这样的深度偏差分类为不同的驾驶员状态。
11.如权利要求10所述的系统，其中，所述图像处理系统从所述深度传感器或已经按像素配准到所述深度图像的附加传感器接收包括灰度或彩色图像的补充图像。
12.如权利要求10所述的系统，其中，所述图像处理系统被编程，由此根据汽车内部的CAD模型排除除了头部像素以外的所有像素。
13.如权利要求10所述的系统，其中，所述图像处理系统被编程，由此通过应用随机决策森林来识别人的头部。
14.如权利要求10所述的系统，其中，所述图像处理系统被编程，由此通过肤色来识别人的头部。
15.如权利要求10所述的系统，其中，所述图像处理系统被编程，由此通过面部检测方法来识别人的头部。
16.如权利要求10所述的系统，其中，所述图像处理系统被编程，由此通过迭代最近点匹配获得头部模型。
17.如权利要求10所述的系统，其中，所述图像处理系统被编程，由此所述中性面部被存储在包括变化的历史的数据库中。
18.如权利要求17所述的系统，其中，所述图像处理系统被编程，由此将深度变化与已经存储在数据库中的、对于特定驾驶员的变化的历史进行比较，并且所述比较被用来提取用于驾驶员状态检测的特征。
CN201780051279.8A 2016-07-21 2017-07-17 用于监控车辆驾驶员的状况的方法和系统 Active CN109643366B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/216,177 2016-07-21
US15/216,177 US10318831B2 (en) 2016-07-21 2016-07-21 Method and system for monitoring the status of the driver of a vehicle
PCT/EP2017/067976 WO2018015329A1 (en) 2016-07-21 2017-07-17 Method and system for monitoring the status of the driver of a vehicle

Publications (2)

Publication Number Publication Date
CN109643366A true CN109643366A (zh) 2019-04-16
CN109643366B CN109643366B (zh) 2023-10-17

Family

ID=59626555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780051279.8A Active CN109643366B (zh) 2016-07-21 2017-07-17 用于监控车辆驾驶员的状况的方法和系统

Country Status (5)

Country Link
US (1) US10318831B2 (zh)
EP (1) EP3488382B1 (zh)
JP (1) JP6695503B2 (zh)
CN (1) CN109643366B (zh)
WO (1) WO2018015329A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237940A1 (zh) * 2019-05-29 2020-12-03 初速度（苏州）科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
CN113366491A (zh) * 2021-04-26 2021-09-07 华为技术有限公司 眼球追踪方法、装置及存储介质
CN113361349A (zh) * 2021-05-25 2021-09-07 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备和存储介质
CN113761982A (zh) * 2020-06-04 2021-12-07 耀鸿(嘉兴)电子科技有限公司 疲劳驾驶辨识系统及其辨识方法
CN117540325A (zh) * 2024-01-05 2024-02-09 杭银消费金融股份有限公司 基于数据变化量捕获的业务数据库异常检测方法及系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016006921T5 (de) * 2016-06-02 2019-02-14 Intel Corporation Schätzung der menschlichen Ausrichtung in Bildern unter Verwendung von Tiefeninformationen
EP3299241B1 (en) * 2016-09-26 2021-11-10 Volvo Car Corporation Method, system and vehicle for use of an object displaying device in a vehicle
CN110326289B (zh) * 2017-02-28 2020-09-01 三菱电机株式会社 车辆用拍摄控制装置及方法、驾驶员监控装置
JP6982767B2 (ja) * 2017-03-31 2021-12-17 パナソニックＩｐマネジメント株式会社 検知装置、学習装置、検知方法、学習方法、およびプログラム
US10504003B1 (en) * 2017-05-16 2019-12-10 State Farm Mutual Automobile Insurance Company Systems and methods for 3D image distification
EP3493116B1 (en) 2017-12-04 2023-05-10 Aptiv Technologies Limited System and method for generating a confidence value for at least one state in the interior of a vehicle
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection
US10970571B2 (en) * 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
DE102018209440A1 (de) * 2018-06-13 2019-12-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Beeinflussung von Systemen zur Aufmerksamkeitsüberwachung
CN109670421B (zh) * 2018-12-04 2021-04-16 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
JP6999540B2 (ja) * 2018-12-28 2022-01-18 本田技研工業株式会社 情報処理装置及びプログラム
US11671720B2 (en) * 2019-08-08 2023-06-06 Microsoft Technology Licensing, Llc HDR visible light imaging using TOF pixel
CN110443219B (zh) * 2019-08-13 2022-02-11 树根互联股份有限公司 驾驶行为异常检测方法、装置及工业设备
EP3796209A1 (en) * 2019-09-17 2021-03-24 Aptiv Technologies Limited Method and system for determining an activity of an occupant of a vehicle
CN112949345A (zh) * 2019-11-26 2021-06-11 北京四维图新科技股份有限公司 疲劳监测方法及系统、行车记录仪和智能座舱
US11312298B2 (en) * 2020-01-30 2022-04-26 International Business Machines Corporation Modulating attention of responsible parties to predicted dangers of self-driving cars
CN111339917B (zh) * 2020-02-24 2022-08-09 大连理工大学 一种真实场景下玻璃检测的方法
US11423567B2 (en) * 2020-06-17 2022-08-23 Fotonation Limited Method and system to determine the location and/or orientation of a head
CN111931640B (zh) * 2020-08-07 2022-06-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备及存储介质
CN112622892B (zh) * 2020-12-14 2023-03-24 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统
CN113780108A (zh) * 2021-08-24 2021-12-10 中联重科建筑起重机械有限责任公司 用于塔机的驾驶员行为识别的方法、处理器、装置及塔机
CN116052136B (zh) * 2023-03-27 2023-09-05 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930392A (en) * 1996-07-12 1999-07-27 Lucent Technologies Inc. Classification technique using random decision forests
US7620202B2 (en) * 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
CN105164726A (zh) * 2013-01-24 2015-12-16 微软技术许可有限责任公司 用于3d重构的相机姿态估计
US20160001781A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. System and method for responding to driver state

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03103822U (zh) 1990-02-13 1991-10-29
US5691693A (en) * 1995-09-28 1997-11-25 Advanced Safety Concepts, Inc. Impaired transportation vehicle operator system
DE19630970B4 (de) 1995-08-01 2008-12-24 Honda Giken Kogyo K.K. Fahrzustandsüberwachungseinrichtung für Kraftfahrzeuge
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
US6154123A (en) 1997-09-05 2000-11-28 Breed Automotive Technology, Inc. Driver alertness monitoring system
JP4476424B2 (ja) * 2000-04-05 2010-06-09 本田技研工業株式会社 画像処理装置およびその方法ならびにプログラム記録媒体
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP2003308533A (ja) * 2002-04-17 2003-10-31 Mitsubishi Electric Corp ドライバの顔画像処理装置
US7138922B2 (en) 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
WO2008106725A1 (en) * 2007-03-05 2008-09-12 Seeing Machines Pty Ltd Efficient and accurate 3d object tracking
KR100921092B1 (ko) * 2008-07-04 2009-10-08 현대자동차주식회사 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
US9102269B2 (en) * 2011-08-09 2015-08-11 Continental Automotive Systems, Inc. Field of view matching video display system
JP6214334B2 (ja) * 2013-10-23 2017-10-18 日本放送協会 電子機器、判定方法及びプログラム
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930392A (en) * 1996-07-12 1999-07-27 Lucent Technologies Inc. Classification technique using random decision forests
US7620202B2 (en) * 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
CN105164726A (zh) * 2013-01-24 2015-12-16 微软技术许可有限责任公司 用于3d重构的相机姿态估计
US20160001781A1 (en) * 2013-03-15 2016-01-07 Honda Motor Co., Ltd. System and method for responding to driver state

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237940A1 (zh) * 2019-05-29 2020-12-03 初速度（苏州）科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
CN113761982A (zh) * 2020-06-04 2021-12-07 耀鸿(嘉兴)电子科技有限公司 疲劳驾驶辨识系统及其辨识方法
CN113366491A (zh) * 2021-04-26 2021-09-07 华为技术有限公司 眼球追踪方法、装置及存储介质
WO2022226747A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 眼球追踪方法、装置及存储介质
CN113361349A (zh) * 2021-05-25 2021-09-07 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备和存储介质
CN113361349B (zh) * 2021-05-25 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备和存储介质
CN117540325A (zh) * 2024-01-05 2024-02-09 杭银消费金融股份有限公司 基于数据变化量捕获的业务数据库异常检测方法及系统
CN117540325B (zh) * 2024-01-05 2024-04-26 杭银消费金融股份有限公司 基于数据变化量捕获的业务数据库异常检测方法及系统

Also Published As

Publication number Publication date
EP3488382A1 (en) 2019-05-29
US20180025240A1 (en) 2018-01-25
US10318831B2 (en) 2019-06-11
EP3488382B1 (en) 2023-04-19
WO2018015329A1 (en) 2018-01-25
JP2019527448A (ja) 2019-09-26
CN109643366B (zh) 2023-10-17
JP6695503B2 (ja) 2020-05-20

Similar Documents

Publication Publication Date Title
CN109643366B (zh) 用于监控车辆驾驶员的状况的方法和系统
Ji et al. Real-time eye, gaze, and face pose tracking for monitoring driver vigilance
CN110167823B (zh) 用于驾驶员监测的系统和方法
CN105391970B (zh) 提供由车辆的场景相机捕获的至少一个图像的方法和系统
EP1320830B1 (en) Facial image processing system
CN110419048B (zh) 用于标识所定义的对象的系统
Kawato et al. Detection and tracking of eyes for gaze-camera control
JP4811259B2 (ja) 視線方向推定装置及び視線方向推定方法
Batista A drowsiness and point of attention monitoring system for driver vigilance
García et al. Driver monitoring based on low-cost 3-D sensors
CN108304828B (zh) 一种三维活体人脸识别装置及方法
CN110309782A (zh) 一种基于红外与可见光双目系统的活体人脸检测方法
JP2003015816A (ja) ステレオカメラを使用した顔・視線認識装置
Ghosh et al. Real time eye detection and tracking method for driver assistance system
JP2019159518A (ja) 視認状態検知装置、視認状態検知方法および視認状態検知プログラム
JP3732757B2 (ja) 画像認識方法および画像認識装置
Kajiwara Driver-condition detection using a thermal imaging camera and neural networks
Bergasa et al. Analysing driver's attention level using computer vision
KR101862545B1 (ko) 로봇을 이용한 구조구난 서비스 제공방법 및 시스템
CN106951077B (zh) 一种提示方法及第一电子设备
US20230091536A1 (en) Camera Placement Guidance
Shahid et al. Eye-gaze and augmented reality framework for driver assistance
Arai et al. Electric wheel chair controlled by human eyes only with obstacle avoidance
JP2021009503A (ja) 個人データ取得システム、個人データ取得方法、画像処理装置用顔センシングパラメータの調整方法及びコンピュータプログラム
Jonasson et al. Structured light based depth and pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant