CN108688671B - 用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备 - Google Patents
用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备 Download PDFInfo
- Publication number
- CN108688671B CN108688671B CN201810271681.3A CN201810271681A CN108688671B CN 108688671 B CN108688671 B CN 108688671B CN 201810271681 A CN201810271681 A CN 201810271681A CN 108688671 B CN108688671 B CN 108688671B
- Authority
- CN
- China
- Prior art keywords
- driver
- illumination
- camera
- interface
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备。这里所描述的方案涉及驾驶员观测设备,用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置。驾驶员观测设备具有至少一个照明接口、摄像机接口和观测单元。照明接口构成为输出照明信号以操控背景照明装置,所述背景照明装置设置或可设置为照明围绕驾驶员的背侧的至少一个区域和/或驾驶员的背侧,以便在驾驶员的与所述背侧对置的前侧的另一区域中产生通过驾驶员产生的阴影区域。摄像机接口是至摄像机装置的借口,其中摄像机借口构成为由摄像机装置读入摄像机信号,所述摄像机信号代表驾驶员的前侧的带有阴影区域的摄像机图像。
Description
技术领域
该方案基于根据独立权利要求的类型的方法或设备。本方案的主题也是计算机程序。
背景技术
驾驶员观测系统用于在行驶期间观测车辆的驾驶员,以便尤其分析驾驶员的反应能力。在此情况下,常常使用头部跟踪和眼部跟踪应用。
发明内容
在此背景下,利用这里所介绍的方案介绍了根据独立权利要求的用于观测车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法,还介绍了根据独立权利要求的使用该方法的驾驶员观测设备,以及最后介绍了根据独立权利要求的相应的计算机程序。通过在从属权利要求中列举的措施可以有利地改进和改善在独立权利要求中所说明的驾驶员观测设备。
利用所介绍的方案可实现的优点在于,通过这里所介绍的从后部对驾驶员的照明在从前部记录的驾驶员的摄像机图像中可以更好地识别驾驶员的位置例如其头部姿势,由此仅还需要用于驾驶员观测设备的简化的图像处理算法。
用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置例如头部的驾驶员观测设备具有至少一个照明接口、摄像机接口和观测单元。照明接口构成为输出照明信号以操控背景照明装置,所述背景照明装置设置或可设置为照明围绕驾驶员的背侧的至少一个区域和/或驾驶员的背侧,以便在驾驶员的与背侧对置的前侧的另一区域中产生通过驾驶员产生的阴影区域。背景照明装置根据驾驶员观测设备的一个实施形式可以是驾驶员观测设备的一部分。摄像机接口是至摄像机装置的接口,所述接口有利地迎着背景照明装置的视角方向设置或是可设置的。摄像机接口构成为由摄像机装置读入摄像机信号,所述摄像机信号代表驾驶员的前侧的带有阴影区域的摄像机图像。背景照明装置和/或摄像机装置同样可以是驾驶员观测设备的一部分。观测单元构成为通过使用由照明接口输出的照明信号和由摄像机接口读入的摄像机信号来观测驾驶员。在此,观测单元可以构成为,通过使用至少照明信号和摄像机信号(即带有阴影区域的摄像机图像)来确定或计算驾驶员的位置。此外,观测单元为此可以使用图像处理应用。
这里所介绍的驾驶员观测设备使得对驾驶员在车辆中的位置的识别变得容易,因为通过从后部对驾驶员的限定的照明可以快速地且简单地在照明之内识别出在摄像机图像中的通过驾驶员本身产生的阴影区域,该阴影区域可以与驾驶员关联。这样,例如可以通过在由背景照明装置产生的照明之内由头部产生的阴影区域识别出驾驶员的头部的位置。
照明接口可以根据一个实施形式构成为此外操控前向照明装置,该前向照明装置设置或可设置为照明驾驶员的前侧。该前向照明装置可以设置或可设置在摄像机装置的区域中,即同样迎着背景照明装置的视角方向,并且同样是驾驶员观测设备的一部分。这样的前向照明装置可以用于头部跟踪和/或眼部跟踪应用。前向照明装置例如可以设置为照亮驾驶员的面部,以便能够识别出驾驶员的疲劳度或其他在面部中可识别的状态特征。
此外有利的是,照明接口构成为操控至少背景照明装置和/或前向照明装置,所述背景照明装置和/或前向照明装置构成为产生至少一个红外射束用以照明。通过使用红外光可以对驾驶员进行均匀的和与环境光状况尽可能无关的照明,其中红外光还有利地对驾驶员不可见或不使驾驶员炫目。在此情况下,例如可以操控背景照明装置和/或前向照明装置,所述背景照明装置和/或前向照明装置具有至少一个LED光源和/或激光光源。
当照明接口和/或至少背景照明装置和/或前向照明装置根据这里所介绍的方案的一个有利的实施形式具有至少一个图案产生装置,所述图案产生装置构成为在对驾驶员照明时产生光图案时,这可以提供结构化的光,在该光中可以快速和简单地识别出在光图案之内的所产生的阴影区域的位置。图案产生装置可以具有至少一个模板和/或投影装置和/或光学装置用以产生光图案。例如,图案产生装置可以构成为产生光图案,所述光图案具有至少一个线和/或多线和/或交叉和/或斑点。这样的安置在背景照明装置处的图案产生装置可以在图像处理应用中实现简单地将驾驶员的头部分割,而不需费事的分割算法。这样的安置在前向照明装置处的图案产生装置可以提供关于驾驶员的面部的深度信息,所述深度信息可以经由在驾驶员的面部上的光图案的变形来确定。
用于通过使用前面所介绍的驾驶员观测设备来观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置例如头部的方法包括至少如下步骤:
输出照明信号,该照明信号构成为操控至少背景照明装置,所述背景照明装置设置或可以设置为照明至少围绕驾驶员的背侧的区域和/或驾驶员的背侧,以在驾驶员的相对于背侧的前侧的另一区域中产生由驾驶员产生的阴影区域;
读入摄像机信号,所述摄像机信号代表驾驶员的前侧的带有阴影区域的摄像机图像;以及
通过使用至少由照明接口输出的照明信号和由摄像机接口读入的摄像机信号来观测驾驶员。
该方法例如可以以软件或硬件或以软件和硬件构成的混合形式例如在控制设备中实现。
计算机程序产品和带有程序代码的计算机程序也是有利的,所述计算机程序可以存储在机器可读的载体或存储器介质如半导体存储器、硬盘存储器或者光学存储器上,并且尤其是当程序产品或程序在计算机或设备上执行时,该计算机程序被用于执行、实现和/或操控根据前述实施形式之一所述的方法的步骤。
附图说明
这里所介绍的方案的实施例在附图中示出并且在以下的描述中予以更为详细地阐述。其中:
图1示出了根据一个实施例的用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的驾驶员观测设备的示意性图;
图2示出了根据一个实施例的通过驾驶员观测设备的摄像机接口读入的摄像机图像的示意性图;
图3示出了根据一个实施例的通过驾驶员观测设备的摄像机接口读入的另外的摄像机图像的示意性图;
图4示出了根据一个实施例的用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法的流程图。
具体实施方式
在以下对此方案的有利实施例的描述中,针对在不同附图中所示的并且作用类似的元素使用了相同或类似的附图标记,其中省去了对这些元素的重复描述。
如果一个实施例包括在第一特征与第二特征之间的“和/或”联结,则这可以被理解为:该实施例根据一个实施形式不仅具有第一特征而且具有第二特征并且根据另一实施形式仅具有第一特征或者仅具有第二特征。
图1示出了根据一个实施例的用于观测车辆110中的驾驶员105以确定驾驶员105在车辆110中的至少一个位置115的观测设备100的示意性图。
驾驶员观测设备100具有至少一个照明接口120、摄像机接口125和观测单元130。
照明接口120构成为,输出照明信号135以操控背景照明装置140,所述背景照明装置设置或可设置为照明围绕驾驶员105的背侧142的至少一个区域和/或驾驶员105的背侧142,以便在驾驶员105的与背侧142对置的前侧145的另一区域中产生通过驾驶员105产生的阴影区域。
摄像机接口125是到摄像机装置150的接口,所述接口迎着背景照明装置140的视角方向设置或是可设置的。摄像机接口125构成为,由摄像机装置150读入摄像机信号,所述摄像机信号代表驾驶员105的前侧145的带有阴影区域的摄像机图像。
观测单元130构成为,通过使用由照明接口120输出的照明信号135和由摄像机接口125读入的摄像机信号来观测驾驶员105。
驾驶员观测设备100的在下文中所描述的特征是可选的。根据该实施例,观测单元130构成为,通过使用至少观测信号135和摄像机信号来确定或计算驾驶员105的位置115。
驾驶员105根据该实施例被设置坐于车辆110中,其中通过驾驶员观测设备100将驾驶员105的头部位置观测和/或确定为驾驶员105的位置115。
照明接口120根据该实施例还构成为,操控前向照明装置155,该前向照明装置设置或可设置以照明驾驶员145的前侧145,这里为面部。
根据该实施例,摄像机装置150和前向照明装置155彼此相邻地设置在车辆110的组合仪表160中。驾驶员观测设备100与摄像机装置150相邻地设置。根据一个可替选的实施例,驾驶员观测设备100设置在摄像机设备150之内。摄像机装置150根据该实施例是驾驶员监控摄像机,缩写DMC,代表英语的Driver Monitoring Camera(驾驶员监控摄像机)。
此外,照明接口120构成为,至少操控背景照明装置140和/或前向照明装置155,所述背景照明装置140和/或前向照明装置155构成为产生至少一个红外射束165用以照明。此外,该照明接口120和/或至少背景照明装置140和/或前向照明装置155具有至少一个图案产生装置,所述图案产生装置构成为在对驾驶员105照明时产生光图案,该光图案在图2和图3中可看到。
在下文中,再一次对驾驶员观测设备100的细节予以更详细地描述。
这里所介绍的方案能够在驾驶员观测应用中针对高效的ROI分割实现被遮暗的红外背景照明。ROI代表感兴趣区域,德语:Bereich von Interesse(感兴趣区域),其根据该实施例是驾驶员105的头部。
头部跟踪和眼部跟踪应用目前是每个驾驶员观测系统的必要的组成部分,英语:DMC:Driver Monitoring Camera(驾驶员监控摄像机)。为了将来的部分自主的和以后的全自动化的驾驶,所述系统对于驾驶员105的反应能力的分析是必不可少的。在此应用的图像处理/CV方法(Computer Vision(计算机视觉))的这里所示的实现利用对驾驶员105的直接的、可能脉冲式的红外照明(也称IR照明)来工作或针对此优化。前向照明装置155的IR辐射器这里处于摄像机装置150附近在仪表盘中,或根据一个可替选的实施例,在车辆内部空间中的其他部位处在驾驶员105之前的区域中,其中视角方向对着驾驶员。在此,为了照明使用红外光,以便实现与环境光状况尽可能独立的均匀的照亮,所述照亮对于驾驶员105不可见,或不使驾驶员炫目。为了抑制环境光,根据该实施例使用光学带通滤波器。
在考虑目前的头部间距、运动曲线和反射特性、必要时所佩戴的眼镜和主要的外部环境光状况的情况下,这里所介绍的前向照明装置155通过直接的ROI照明最优地照亮车辆驾驶员的面部。在此,主要任务是将ROI(这里为驾驶员105的面部)照明,使得该驾驶员可以良好地与背景区分或分割。在已知的驾驶员观测系统中,为此要么红外辐射源(缩写IRE,代表Infra Red Emitter(红外发射器))的初始最大的照明强度借助头部和眼部跟踪算法的当前ROI位置和照明品质的反馈来调节,该过程也称作闭环调节,要么如果反馈的数据不可用则借助附加的分开的图像处理块实现分割以对ROI照度情况进行评估。与DMC应用的面部特征的提取相协调地,与对驾驶员105的头部与图像背景的可靠分割相结合来进行ROI照明的调节,是用于所有头部和基于此的眼部跟踪的应用的基础。算法部分的计算复杂度极大地与外部环境光状况/阴影形成(英语:Ambient Light(环境光)和DMC系统的光学路径的品质有关。因为DMC系统的光学路径包括成像器在内是主要的成本因素,所以这里进行成本优化的功能受限的经济的实现。由此得到的缺陷可以借助改进的ROI照明调节方法和优化的图像处理算法来补偿,但所述图像处理算法另一方面又造成复杂度升高,即较高的处理器资源配置。
其他通过这种方案介绍的、新颖的、间接的照明方法,在可能使用结构化的照明的情况下,在此可以有利地提出补救方式。结构化的照明目前主要用于三维对象应用的测量和模型化。为此,限定的光图案借助特定的投影设备投影到要测量的对象上,并且借助一个或多个摄像机系统大多经由三角关系来分析投影图案的变形以对对象表面/对象几何形状模型化。根据该实施例,与与头部跟踪和眼部跟踪应用相结合地,通过配备有图案产生装置的前向照明装置155使用这样的直接的结构化的照明,和通过背景照明装置140使用遮暗的间接的照明,即背景照明。
这里所介绍的驾驶员观测设备100显著地简化了借助图像处理实现的驾驶员105相对于图像背景的头部分割的任务以及与之共同作用的ROI照明调节。为此,使用通过驾驶员105的头部遮暗的背景红外照明,所述背景红外照明被安装在驾驶员105之后,这里在车辆110的车辆顶棚处。
因此在图1中可看到被遮暗的结构化的红外照明的图示。通过背光照明装置140产生的背景红外照明(缩写BIRE,代表英语Background IRE(背景IRE))迎着通过前向照明装置155产生的对驾驶员面部(ROI)的直接前向红外照明的视角方向,和迎着车辆110中的摄像机装置150的视角方向。IRE和BIRE照明单元经由DMC系统来控制/调节。
背景照明装置140根据该实施例用于使用在持续运行中,用于与结构化的光的前向照明装置155的前向的直接的红外ROI照明区分。为此,背景照明装置140包含如下组件:一个或多个专用的LED或LASER(激光)光源、一个或多个用于产生所期望的图案或光图案的模板和/或至少一个用于产生红外光图案的合适的投影单元/光学装置。
LED光源产生均匀红外斑点。为了结构化的照明,借助一个/多个必要时可变的模板可以产生不同的图案,所述图案与DMC应用相协调/根据DMC应用地优化。结构化的照明的图案根据该实施例由单个线、多线、交叉和/或也有带有清晰棱边的斑点构成。光学装置的使用能够实现在给定对象间距范围的情况下图案在所需的大小方面的缩放。光学装置的成像能力在此情况下是重要的,以便实现尽可能高的分辨率并且减小像差譬如畸变。
在使用红外激光来产生结构化的照明时,可以实现直至10μm的线结构宽度,而LED线具有至少50μm的宽度。如果需要该精度,则模板可以通过一个或多个可控的微镜和操控逻辑装置替代,其中在此成像光学装置大部分可以取消。
通过这里介绍的附加的背景红外照明,也在考虑到前向直接红外照明的调节的情况下,可以有利地实现图像处理算法的简化来进行头部分割。由此,在DMC系统中可以使用性能略差和因此成本低廉的处理器,或实现处理器资源的配置的减小,所述处理器资源因此可供其他应用使用。
经由背景照明装置140辐射出的红外光可以如根据该实施例那样在持续运行中通过已知的由DMC系统限定的结构特征(Struktursignatur)与驾驶员的前向IRE-ROI照明。根据一个可替选的实施例,如果时间上的脉冲式运行、即时间上交替的直接的和间接的照明通过前向照明装置155和背景照明装置140为相关的DMC应用和环境光状况同样提供足够的结果,则省去光的结构化。该可选的脉冲式运行可以引起进一步的生成工件成本降低,因为可以取消背景照明装置140的用于产生该结构所需的模板和投影单元。
这里所介绍的BIRE照明方案的另一优点是DMC系统的光学路径的功能控制的简单且可靠的实现,其中可以高效地识别出光学装置的遮蔽和污物、盲区/遮挡探测。为此,限定的测试图案在限定的时间点借助BIRE照明来产生。如果未识别出限定的有效的测试模式,则在光学DMC路径上必然存在故障,前提条件是:BIRE照明工作,这可以借助电子装置例如经由电流测量或借助光电晶体管来验证。在此,同样可以应用前向IRE和BIRE照明的组合的测试模式,对此参见图3,以便也能够识别光学装置例如受到驾驶员的手的部分遮蔽。在光学DMC路径中允许的遮蔽和污物探测在考虑到功能安全性ISO 26262的情况下是非常重要的且所需的功能块,该功能块通常必须借助图像处理利用并非微不足道的计算开销以软件方式实现。
图2示出了根据一个实施例的通过驾驶员观测设备的摄像机接口读入的摄像机图像200的示意性图。在此,其可以是根据图1所描述的驾驶员观测设备100。
在摄像机图像210上可以识别出,用于产生光图案210的背景照明装置140的图案产生装置205具有在图1中所描述的模板和/或投影装置和/或光学装置中的至少一个,其构成为产生光图案210,所述光图案具有至少一个线和/或多线和/或交叉和/或斑点。根据该实施例,图案产生装置205在驾驶员的头部215的背景中产生方格的光图案210。
换言之,图2示意性地示出了借助BIRE照明引起的和经由摄像机装置记录的景象,即被遮暗的结构化的红外照明的示意性的摄像机图像200。所使用的结构化的照明在此由限定的图案构成,所述图案可以根据当前的DMC应用例如面部ID、目光跟踪等来优化驾驶员的体格和运动特性,这里示意性地借助简单的格栅结构示出。通过由DMC系统预给定的BIRE结构可以将驾驶员的头部215与背景简单得多地分割,因为该背景必然位于如下区域中,该区域不具有BIRE照明图案即光图案210。
由此,可以借助简单的算法例如掩模/阈值形成实现分割算法,该分割算法通常需要并非微不足道的数量的计算运算来计算例如梯度或区域溢流方法(Regionsflutungsverfahren)。除了持续的BIRE照明之外,可以根据一个可替选的实施例,与运行的DMC应用相协调地,进行时间上脉冲循环的照明,例如与实时视频处理的每第十个图像记录同步进行。此外,也可以以事件控制的方式根据DMC应用要求,只在困难照明状况的情况下进行一种BIRE闪光,直接的太阳辐射和通过侧窗由此形成的阴影形成受DMC系统控制地进行。如已经在图1中谈及的那样,在时间上脉冲式运行中必要时可省去对BIRE照明的结构化,并且将BIRE用作正常的整面的照明,因为这里可以将时间点用作用于与前向IRE照明区分的标准。这于是必须在BIRE脉冲/闪光的时间点被关断,或与之在时间上交替。此外,如果前向直接IRE照明并未已经间接通过闭环调节、头部跟踪算法的状态值的反馈来进行以确定当前的ROI照明品质,则BIRE脉冲/闪光也可以用于简单地调节前向直接IRE照明。
图3示出了根据一个实施例的通过驾驶员观测设备的摄像机接口读入的其他摄像机图像300的示意性图。在此,其可以是图2中所描述的摄像机图像,在该摄像机图像上附加地显示通过前向照明装置155和前向照明装置155的另一图案产生装置305产生的其他光图案310。
换言之,图3示出了被遮暗的和直接结构化的红外照明的示意性摄像机图像300。已在图2中描述的结构化的通过背景照明装置140产生的照明根据该实施例同样在持续运行中或根据一个可替选的实施例也脉冲式地应用于通过前向照明装置155产生的前向IRE照明。为此,通过前向照明装置155产生的前向照明的结构可以直接与通过背景照明装置140产生的背景照明的结构区别,根据该实施例,前向照明的结构与背景照明的结构正交。以其他照明图案310的形式的前向结构化的照明的优点是附加的深度信息,所述深度信息可以经由预给定的图案的变形直接借助三角关系来确定。由此,于是可以得到对头部和/或头部姿势跟踪算法的其他简化。前向结构化的照明在此情况下可以如已提及的那样根据该可替选的实施例依据DMC应用情况和照明状况同样时间上脉冲式地、周期地或时间上点式地/根据需要地也与通过背景照明装置140产生的背景照明交替地进行。
图4示出了根据一个实施例的用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法400的流程图。
在此,其可以是方法400,该方法可以由根据上述附图所描述的驾驶员观测设备执行。该防400具有至少一个输出的步骤405,读入的步骤410、和观测的步骤415。
在输出的步骤405中,输出照明信号,该照明信号构成为至少操控背景照明装置,所述背景照明装置设置或可以设置为至少照明围绕驾驶员的背侧的区域和/或驾驶员的背侧,以在驾驶员的相对于背侧的前侧的另一区域中产生阴影区域。
在读入的步骤410中,读入摄像机信号,该摄像机信号代表驾驶员的前侧的具有阴影区域的摄像机图像。
在观测的步骤415中,通过使用至少由照明接口输出的照明信号和由摄像机接口读入的摄像机信号来观测驾驶员。
可选地,根据该实施例在观测的步骤415中通过使用至少照明信号和摄像机信号来确定驾驶员的位置和/或探测驾驶员头部。
这里所介绍的方法步骤可以重复以及以不同于所描述的顺序执行。
Claims (9)
1.用于观测在车辆(110)中的驾驶员(105)以确定所述驾驶员(105)在所述车辆(110)中的至少一个位置(115)的驾驶员观测设备(100),其中所述驾驶员观测设备(100)具有至少如下特征:
- 照明接口(120),所述照明接口(120)构成为输出照明信号(135)以操控背景照明装置(140),所述背景照明装置设置为照明围绕所述驾驶员(105)的背侧(142)的至少一个区域和/或所述驾驶员(105)的背侧(142),以便在所述驾驶员(105)的与所述背侧(142)对置的前侧(145)的另一区域中产生阴影区域;
- 至摄像机装置(150)的摄像机接口(125),其中所述摄像机接口(125)构成为由所述摄像机装置(150)读入摄像机信号,所述摄像机信号代表所述驾驶员(105)的前侧(145)的带有阴影区域的摄像机图像(200;300);
- 观测单元(130),所述观测单元(130)构成为通过使用由所述照明接口(120)输出的照明信号(135)和由所述摄像机接口(125)读入的摄像机信号来观测所述驾驶员(105)。
2.根据权利要求1所述的驾驶员观测设备(100),
其中所述照明接口(120)构成为操控前向照明装置(155),所述前向照明装置设置为照明所述驾驶员(105)的前侧(145)。
3.根据权利要求2所述的驾驶员观测设备(100),
其中所述照明接口(120)构成为操控至少所述背景照明装置(140)和/或所述前向照明装置(155),所述背景照明装置(140)和/或所述前向照明装置(155)构成为产生至少一个红外射束(165)用以照明。
4.根据权利要求2所述的驾驶员观测设备(100),
其中所述照明接口(120)和/或至少所述背景照明装置(140)和/或所述前向照明装置(155)具有至少一个图案产生装置(205;305),所述图案产生装置构成为在对所述驾驶员(105)照明时产生光图案(210;310)。
5.根据权利要求4所述的驾驶员观测设备(100),
其中所述图案产生装置(205;305)具有至少一个模板和/或投影装置和/或光学装置,用以产生所述光图案(210;310)。
6.根据权利要求4至5中任一项所述的驾驶员观测设备(100),
其中所述图案产生装置(205;305)构成为产生所述光图案(210;310),所述光图案具有单个线和/或多线和/或交叉和/或斑点。
7.根据权利要求1至5中任一项所述的驾驶员观测设备(100),
其中所述观测单元(130)构成为通过使用至少照明信号(135)和摄像机信号来确定所述驾驶员(105)在所述车辆(110)中的位置和/或在所述车辆(110)中的所述驾驶员(105)的头部。
8.用于通过使用根据上述权利要求中任一项所述的驾驶员观测设备(100)来观测在车辆(110)中的驾驶员(105)以确定所述驾驶员(105)在所述车辆(110)中的至少一个位置(115)的方法(400),其中所述方法(400)包括至少如下步骤:
- 输出(405)照明信号(135),所述照明信号构成为操控至少背景照明装置(140),所述背景照明装置设置为照明至少围绕所述驾驶员(105)的背侧(142)的区域和/或所述驾驶员(105)的背侧(142),以便在所述驾驶员(105)的相对于背侧(142)的前侧(145)的另一区域中产生阴影区域;
- 读入(410)摄像机信号,所述摄像机信号代表所述驾驶员(105)的前侧(145)的带有阴影区域的摄像机图像(200;300);以及
- 通过使用至少由所述照明接口(120)输出的照明信号(135)和由所述摄像机接口(125)读入的摄像机信号来观测(415)所述驾驶员(105)。
9.机器可读的存储器介质,在所述存储器介质上存储有计算机程序,所述计算机程序配置为执行根据权利要求8所述的方法(400)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017205386.0 | 2017-03-30 | ||
DE102017205386.0A DE102017205386A1 (de) | 2017-03-30 | 2017-03-30 | Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108688671A CN108688671A (zh) | 2018-10-23 |
CN108688671B true CN108688671B (zh) | 2023-03-14 |
Family
ID=63525913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810271681.3A Active CN108688671B (zh) | 2017-03-30 | 2018-03-29 | 用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN108688671B (zh) |
DE (1) | DE102017205386A1 (zh) |
FR (1) | FR3064568B1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11341671B2 (en) * | 2018-11-01 | 2022-05-24 | Magna Electronics Inc. | Vehicular driver monitoring system |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3116674B2 (ja) * | 1993-08-11 | 2000-12-11 | 日産自動車株式会社 | 運転者の状態検出装置 |
US6400835B1 (en) * | 1996-05-15 | 2002-06-04 | Jerome H. Lemelson | Taillight mounted vehicle security system employing facial recognition using a reflected image |
WO2012078996A2 (en) * | 2010-12-10 | 2012-06-14 | Tk Holdings Inc. | System for monitoring a vehicle driver |
WO2012135018A2 (en) * | 2011-03-25 | 2012-10-04 | Tk Holdings Inc. | System and method for determining driver alertness |
DE102011016772B4 (de) * | 2011-04-12 | 2024-04-25 | Mercedes-Benz Group AG | 12.04.2021Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung |
KR101251836B1 (ko) * | 2011-09-02 | 2013-04-09 | 현대자동차주식회사 | 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법 |
JP6372388B2 (ja) * | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
DE102014220759B4 (de) * | 2014-10-14 | 2019-06-19 | Audi Ag | Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs |
KR102381140B1 (ko) * | 2015-02-25 | 2022-03-31 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 운전자 모니터링 방법 |
-
2017
- 2017-03-30 DE DE102017205386.0A patent/DE102017205386A1/de active Pending
-
2018
- 2018-03-29 FR FR1852744A patent/FR3064568B1/fr active Active
- 2018-03-29 CN CN201810271681.3A patent/CN108688671B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
FR3064568A1 (fr) | 2018-10-05 |
FR3064568B1 (fr) | 2021-09-17 |
DE102017205386A1 (de) | 2018-10-04 |
CN108688671A (zh) | 2018-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7369921B2 (ja) | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 | |
CN110892450B (zh) | 使用统一成像设备提取视觉、深度和微振动数据 | |
JP7292315B2 (ja) | 高密度投影パターンを使用した距離測定 | |
US10521683B2 (en) | Glare reduction | |
DE102020105652B4 (de) | Verfolgungssystem mit infrarot-kamera | |
US10178290B2 (en) | Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range | |
JP5045212B2 (ja) | 顔画像撮像装置 | |
JP6304999B2 (ja) | 顔検出装置、方法およびプログラム | |
US20170098117A1 (en) | Method and apparatus for robustly collecting facial, ocular, and iris images | |
JP4666062B2 (ja) | 画像撮影装置および方法 | |
JP2007004448A (ja) | 視線検出装置 | |
US10223577B2 (en) | Face image processing apparatus | |
JP6701253B2 (ja) | 車外環境認識装置 | |
US11366986B2 (en) | Method for creating a collision detection training set including ego part exclusion | |
US20220392220A1 (en) | Vision based light detection and ranging system using dynamic vision sensor | |
WO2014108976A1 (ja) | 物体検出装置 | |
CN108688671B (zh) | 用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备 | |
JP2012164026A (ja) | 画像認識装置及び車両用表示装置 | |
JP2014137762A (ja) | 物体検出装置 | |
KR102141638B1 (ko) | 운전자 시선 방향 검출 장치 | |
JP6600342B2 (ja) | 深度値に基づいたジェスチャ操作方法および深度値に基づいたジェスチャ操作システム | |
JP4451195B2 (ja) | 視線検出装置 | |
US20210287334A1 (en) | Information processing apparatus, information processing method, and program | |
JP6597467B2 (ja) | 顔向き計測装置 | |
JP7298562B2 (ja) | 車両の周辺検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |