CN114041174A - 用于在车辆内确定车辆使用者的眼睛图像数据、眼睛位置和/或视向的装置和方法 - Google Patents
用于在车辆内确定车辆使用者的眼睛图像数据、眼睛位置和/或视向的装置和方法 Download PDFInfo
- Publication number
- CN114041174A CN114041174A CN202080048000.2A CN202080048000A CN114041174A CN 114041174 A CN114041174 A CN 114041174A CN 202080048000 A CN202080048000 A CN 202080048000A CN 114041174 A CN114041174 A CN 114041174A
- Authority
- CN
- China
- Prior art keywords
- vehicle user
- eyes
- pos
- vehicle
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000011157 data evaluation Methods 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 210000003128 head Anatomy 0.000 abstract description 9
- 238000011161 development Methods 0.000 description 12
- 230000018109 developmental process Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明涉及一种用于在车辆内确定车辆使用者的眼睛位置和/或车辆使用者的当前视向的装置(100)，包括：可采集车辆使用者的头部和眼睛A1、A2(102)的图像数据的摄像头(101)；图像数据评估单元(103)，借此基于所采集的图像数据可确定车辆使用者的眼睛A1、A2(102)的位置POSA1、POSA2和/或当前视向；以及控制器(106)，其在无法确定眼睛A1、A2的当前位置POSA1、POSA2和/或视向情况下产生激活光源(104)的信号S。光源(104)具有一个或多个单独光源，它们如此布置和设计，即，仅当车辆使用者的眼睛A1、A2(102)、眼睛位置和/或车辆使用者当前视向能够被无遮挡地采集时，所述一个或多个单独光源才能够被车辆使用者看到或被同时看到。
Description
技术领域
本发明涉及一种用于在车辆内确定车辆使用者的眼睛图像数据、两只眼睛A1、A2的当前位置POSA1、POSA2和/或车辆使用者当前视向的装置和方法。两只眼睛A1、A2的位置POSA1、POSA2的测知在此有利地作为用于确定车辆使用者的当前视向的基础。
背景技术
尤其是，现代的司机辅助系统具有能基于所确定的车辆使用者当前视向被控制的功能。因此，在机动车内的目前的司机辅助系统和安全系统中使用许多信息以实现所述系统的更好的设定和有效性。其中也包括来自机动车内室的可能涉及司机或其它乘客的信息。
因此例如知道了确定机动车司机的视向并且在司机辅助系统中使用与此相关的信息。为了确定这种信息，大多采用视频摄像机，其在正面从前方拍摄司机头部。摄像机为此例如可以就位在组合仪表板区域内或仪表盘区域内，在前风挡玻璃附近。通过图像处理算法，由摄像头拍摄的图像按照典型特征(例如两个圆形眼睛、一个长条形鼻子和一张横向延伸的嘴)被搜索。通过评估该特征的对称特性，已经可以实现简单的头部取向识别；一个更好的实施方式规定，也找到并评估眼睛区域内的瞳孔。为了黑暗下场景的充分可识别性，可以从前方实现红外摄像头以及针对司机上半身的主动红外照明。
所述视向识别或头部取向识别例如被用于确定司机在观察道路方面的关注度。于是，借助关注度，按照不同的早晚或强弱程度来控制司机辅助系统和/或安全系统，即，系统工作参数被调设。
其具体例子是：在碰撞警告和碰撞急刹系统中已知的是，当司机目光转开时设定较早触发警告或刹车过程。在ACC启停系统和拥堵辅助系统中，当司机目光未看向路况时无法实现自动起步。车道保持辅助系统(车道偏离警报)在分心时比平时明显更早或更强地警告。最终，还要提到变道辅助系统，其也在司机目光未看向车外后视镜时更早或更强地警告。
一种用于车辆使用者视向识别的装置例如由出版物DE 10 205 206 982 A1公开了。从该出版物中得知一种包括显示器的组合仪表板，其中，在显示器的边缘区域内安置有用于司机观察或司机视向跟踪的摄像头。借助摄像头，例如监测在自动驾驶时的司机接管就绪状况或者识别司机疲劳。依据所确定的视向，还可以控制车辆功能。例如一旦司机视向看向屏幕，就使屏幕变得明亮或者激活屏幕上的显示/区域。此外，功能可以通过视向与语言/手势的组合来控制。因此可以通过看向车辆的侧窗玻璃并做出表示打开的手势来有目的地实现侧窗玻璃的打开。
而可靠执行基于相应车辆使用者的眼睛位置POSA1、POSA2的确定或者基于车辆使用者的视向识别的所述功能的前提是，摄像头能尽量连续且无干扰地确定车辆使用者的眼睛位置POSA1、POSA2(即，尤其是没有被设于摄像头与眼睛之间区域内的物体遮挡眼睛)。
当车辆使用者的眼睛因其座椅位置和身体尺寸而被方向盘轮圈遮挡住时，例如可能在车辆使用者尤其是司机的眼睛位置POSA1、POSA2的确定中出现干扰。
发明内容
本发明的任务是指出一种改进的用于确定车辆内的车辆使用者的眼睛位置和/或视向的装置，从而尽量减少干扰。
本发明来自独立权利要求的特征。有利的改进方案和设计方案是从属权利要求的主题。
本发明的第一方面涉及一种用于在车辆内确定车辆使用者的眼睛图像数据、眼睛位置和/或车辆使用者的当前视向的装置。所提出的装置包括：能采集车辆内室的图像数据的摄像头；能够基于所采集的眼睛图像数据来确定眼睛A1、A2的位置POSA1、POSA2和/或车辆使用者的当前视向的图像数据评估单元；以及在无法确定眼睛图像数据、眼睛A1、A2的当前位置POSA1、POSA2和/或视向的情况下产生激活光源的信号S的控制器。该光源具有一个或多个单独光源，其中，所述一个或多个单独光源如此布置和设计，即，仅当眼睛A1、A2、眼睛位置和/或视向能够未遮挡地被摄像头采集时和/或当眼睛处在相对于摄像头的预先规定的最佳空间区域或空间角度区域内、即在摄像头采集区域内时，所述一个或多个单独光源才能被车辆使用者识别。换言之，车辆使用者可以保证眼睛A1、A2的图像数据、眼睛A1、A2(102)的位置POSA1、POSA2和/或当前视向被采集，做法是使用者调节座椅或方向盘，使得该光源、即单独光源或所有单独光源可被看到而未受遮挡。有利地，通过这种布置，所述光源或多个单独光源实现一种集成的显示元件，该显示元件向使用者示出摄像头不能检测到眼睛A1、A2的图像数据、眼睛A1、A2(102)的位置POSA1、POSA2和/或当前视向且同时为用户提供直观操作的方向，即调整座椅、座椅位置和方向盘的方向，以便能够实现摄像头检测和依赖于摄像头数据的辅助系统的使用。
术语“车辆使用者”在此包含司机或副驾或车辆的其它乘客。
在此，“A1”例如指称车辆使用者的左眼，“A2”相应地指称其右眼。
术语“摄像头”尤其指称数字摄像头、视频摄像机、红外摄像机或立体摄像机，其分别采集图像数据并传输至图像数据评估单元。摄像头有利地对可见光、优选是红外光敏感。后者尤其是用于确定车辆使用者眼睛A1、A2的瞳孔位置并在黑暗环境如夜晚中测知眼睛位置。摄像头朝着由车辆使用者或司机所占据的车辆内室来取向。
图像评估单元设计成从摄像头的图像数据中提取眼睛图像数据，即，从摄像头的整个图像数据中识别车辆使用者的眼睛。
眼睛A1、A2的位置POSA1、POSA2尤其指称在车载坐标系中的位置。为了从在图像数据中确定的眼睛位置推导出在车坐载标系中的眼睛A1、A2位置POSA1、POSA2并且尤其是确定视向，需要相应的变换和视情况的校准。利用相应的变换参数的相应评估算法被有利地存储在图像数据评估单元内。
该图像数据评估单元还设计和设立用于确定车辆使用者的当前视向。这基于所采集的图像数据和在现有技术中知道的评估算法来进行。从有关的现有技术中得知其细节。
在该装置的一个有利改进方案中，该光源是LED、OLED、白炽灯、卤素灯、激光器或能斯托灯。光源安置在车辆内的合适位置。
该光源有利地具有遮光板或遮光装置，其将由光源射出的光线限制到预先规定的空间角度。因此，这样的具有遮光板/遮光装置的光源只能由位于规定空间角度的眼睛来识别。
该光源在一个有利改进方案中包括与控制器相连的显示器的一个或多个像素。该光源有利地被设计成显示器的一部分。该显示器有利地是车辆组合仪表板的显示器。该显示器有利地是LED显示器、OLED显示器、等离子体显示器或LC显示器。有利地，该摄像头被集成到显示器中。显示器优选为了接纳摄像头而具有中断总体轮廓的缺口，从而摄像头安置在显示器外轮廓之内。
一个有利的改进方案的特点是，该控制器在产生信号S的情况下驱动该显示器以输出光学信息，其中，该信息向车辆使用者指明如此调整其座椅位置和/或方向盘位置调节，即，使得眼睛A1、A2的位置POSA1、POSA2允许自由无阻地看向光源。对此输出的光学信息有利地通过所显示的文本和/或通过至少一个相应的指示符号/图形来代表。光源和光学输出信息有利地在显示器上被显示。在一个替代实施方式中，这些能够用彼此不同的部件来产生。
所提出的装置的一个有利改进方案的特点是，该装置附加地还具有与控制器相连的音频输出单元，其中，该控制器在产生信号S的情况下驱动该音频输出单元以输出声音信息，并且其中，该信息向车辆使用者指明如此调整其座椅位置和/或方向盘位置调节，即，使得眼睛A1、A2的位置POSA1、POSA2允许自由无阻地看向光源。声音信息例如可以是报警信号和/或口述文字。
在所提出的装置的一个有利改进方案中，该控制器设立和设计用于在产生信号S的情况下基于从车辆使用者的头部采集的图像数据来预测车辆使用者的当前眼睛位置(即基于数学模型来估算)，并且还依据所预测的眼睛位置来产生如下信息，所述信息说明要如何调节(即向下/向上、向前/向后)当前座椅位置和/或当前方向盘位置，使得眼睛A1、A2自由无阻地看向摄像头，或者处在最佳的空间区域内。对此的相应信息有利地以光学和/或声学的方式被输出。
所提出的装置的一个有利改进方案的特点是，该装置还具有座椅传感器，借此可以确定车辆座椅被车辆使用者占用。有利地，该装置只在座椅传感器确定车辆座椅占用时才被激活。这尤其是用于节能并延长相应部件的使用寿命。此外在驾驶员离开驾驶员座椅而副驾驶员仍坐在车中且装置仍通电时，避免不必要的、有干扰性的光学和声学输出。
在一个有利的改进方案中，该光源的单独光源分别具有遮光装置，其将从相应的单独光源射出的光线限制到相应的预先规定的空间角度区域。作为遮光装置的替代或补充，单独光源与相应的光学系统组合，光学系统将从相应的单独光源射出的光线限制到相应的预先规定的、至少与摄像头检测区域重合或将其覆盖的空间角度区域。
单独光源的预先规定的空间角度区域有利地在一空间区域内重叠。有利地，眼睛A1、A2只能在该空间区域内同时看到所有单独光源。如果车辆使用者的眼睛A1、A2位于该空间区域内，则存在可由摄像头最佳识别眼睛的可能性，即，在该空间区域内尤其眼睛不会被例如车辆方向盘的方向盘轮圈遮挡。
因此，通过激活该光源或单独光源来首先向车辆使用者指明无法识别其眼睛、当前无法确定其眼睛的位置和/或其视向。另外，由此促使车辆使用者如此改变其座椅位置和/或方向盘位置，即，他同时看到光源或所有单独光源。如果是这种情况，则车辆使用者最佳调整了其相对于摄像头的相对位置。这尤其涉及到与确定车辆使用者的眼睛位置和/或视向相关的所有车辆功能的可靠性和功能性。
有利地，第一单独光源设置在摄像头的左侧，第二单独光源设置在其右侧和/或第三单独光源设置在其上方和/或第四单独光源设置在其下方。通过布置单独光源，尤其得到简单直观的用于调节至少座椅位置或用于在该座椅上正确就座的指示。如果车辆使用者未看到所有的单独光源、例如看到第一、第二和第四单独光源，则这表示要如此改变座椅调节，即，使得头部和进而眼睛必须竖向向上移动以便也看到第三单独光源。替代地或附加地，方向盘位置调节可被如此调整，即，所有四个单独光源可由车辆使用者同时识别。在替代实施方式中仅有第一和第二或者第一、第二和第三单独光源。或者，分别以相邻方式布置摄像头的多个第一、第二、第三和/或第四单独光源。
光源和/或单独光源在此被这样布置，使得基于使用者的座椅位置和身体尺寸通过方向盘和操作元件所确定的、方向盘相对于使用者眼睛对摄像头的潜在遮挡导致用户看向光源或各单独光源的视线受限。光源优选地以这样的方式布置，即它仅部分地被方向盘覆盖，从而用户可以在任何情况下看到光源的激活，但也可以进行设置，使得整个光源完全位于使用者的视野范围内，从而实现对眼睛的图像数据、车辆用户的眼睛位置和/或车辆用户的当前视线的完全无遮挡采集。因此，光源或单独光源相对于摄像头的布置取决于驾驶员尺寸、方向盘和座椅位置之间的几何关系，由此光源或单独光源可以布置在摄像头附近或还可以与之间隔开。该布置确保，无论用户和他的座椅和方向盘的设置如何，只要摄像头由于被方向盘至少部分遮挡而无法充分检测到所需的眼睛A1、A2的图像数据或所需的眼睛的当前位置POSA1、POSA2和/或所需的视向，光源或多个单独光源就至少部分地被遮盖。
所提出的装置的一个有利改进方案的特点是，该控制单元如此设计和设立，即，如果由摄像头无法检测到眼睛A1、A2，即，无法在所产生的图像数据内确定眼睛，则关断与眼睛位置POSA1、POSA2的采集和/或当前视向确定相关的车辆功能并且向车辆使用者输出警报。所述警报有利地是光学输出警报和/或声音输出警报。
如果由摄像头检测车辆使用者的眼睛并且能基于该图像数据确定车辆使用者的眼睛位置POSA1、POSA2或当前视向，则有利地不产生信号S且进而不激活该光源。
所提出的装置因此允许更可靠地确定车辆使用者的眼睛位置和/或当前视向。所提出的装置可以被理解为司机辅助系统。它在有物体布置在摄像头和眼睛之间且因此妨碍识别图像数据中的眼睛的情况下通过激活光源产生至少一个光学报警的输出。通过激活该光源，允许车辆使用者来理想地调整座椅位置调节或方向盘调节，从而能无干扰地确定眼睛位置和/或车辆使用者视向。
本发明的另一个方面涉及一种具有如上所述的装置的车辆。
所提出的车辆的一个有利的改进方案的特点是，该车辆具有司机辅助系统，其具有至少一个与眼睛图像数据、所确定的眼睛A1、A2的位置POSA1、POSA2和/或车辆使用者视向相关的功能。所述功能于是在产生信号S时有利地被关断，其中，在此情况下输出以光学/或声学和/或触觉的方式可让车辆使用者感受到的警报，其向车辆使用者指明相应的功能基于以下事实无法继续可用，即，车辆使用者的眼睛位置和/或视向目前无法被确定。
本发明的另一个方面涉及一种用于确定车辆内的车辆使用者的眼睛位置和/或视向的方法和一种用于操作如上所述的装置的方法。
所提出的方法包括以下步骤。在第一步骤中，通过摄像头来采集车辆内室的图像数据。在第二步骤中，通过图像数据评估单元基于所采集的图像数据来确定眼睛图像数据、眼睛A1、A2(102)的位置POSA1、POSA2和/或车辆使用者当前视向。在第三步骤中，通过控制器在无法确定眼睛A1、A2(102)的当前位置POSA1、POSA2和/或车辆使用者视向的情况下产生激活光源的信号S。在此，光源包括一个或多个单独光源，所述一个或多个单独光源被如下地布置和实施，即，只有在车辆使用者的眼睛A1、A2、眼睛位置和/或他的当前视向能够被摄像头无遮挡地检测到的情况下，所述一个或多个单独光源才能够被车辆使用者看到或能够同时被看到且因此完全能够被看到。
所提出的方法的一个有利改进方案的特点是，如果产生信号S且因此该光源被激活，则还驱控用于输出光学信息的显示器，其中，该信息向车辆使用者指明如此调整其座椅位置和/或方向盘位置调节，即，使得眼睛A1、A2的位置POSA1、POSA2允许畅通无阻地看向光源。
所提出的方法的一个有利改进方案的特点是，如果产生信号S且因此光源被激活，则用于输出声音信息的音频输出单元被驱动，并且其中，该信息向车辆使用者指明如此调整其座椅位置和/或方向盘位置调节，即，使得眼睛A1、A2的位置POSA1、POSA2允许畅通无阻地看向光源。
通过相似地且合理地转用关于所提出的装置作出的说明得到所提出的方法的优点和有利改进方案。
附图说明
其它的优点、特征和细节来自以下或许参照附图对至少一个实施例详细描述的说明。相同的、相似的和/或功能相同的零部件带有相同的附图标记。
附图示出：
图1示出所提出的装置的极其示意性结构，
图2示出具有根据图1的装置的驾驶座的示意图，
图3示出所提出的方法的极其示意性的过程图。
具体实施方式
图1示出所提出的用于在车辆内确定车辆使用者的眼睛位置和/或车辆使用者的当前视向的装置100的极其示意性的结构。装置100在此实施例中包括：可以采集车辆内室、即车辆使用者的头部和眼睛A1、A2 102的图像数据的4K视频摄像机101；能够基于所采集的图像数据来确定眼睛图像数据、眼睛A1、A2 102的位置POSA1、POSA2和/或车辆使用者当前视向的图像数据评估单元103；以及在无法确定眼睛图像数据、眼睛A1、A2的当前位置POSA1、POSA2和/或视向的情况下产生激活光源104的信号S的控制器106。
为了简化，在图1中示出了仅关于车辆使用者的左眼A1 102的相对于摄像头101的三个沿竖向彼此不同的位置POSA1'、POSA1”、POSA1”'。光源104具有三个沿竖向重叠布置的单独光源104，它们以黑圈的形式被示出。摄像头101的采集范围由从摄像头起的实线来标记。在竖向最高的位置POSA1'，左眼A1 102同时看向所有三个沿竖向重叠布置的单独光源104的视线被以圆形横截面所示的方向盘轮圈110阻挡。车辆使用者从该最高位置POSA1'尤其无法看到竖向最高的单独光源104。因此，另一方面也无法让4K视频摄像机101识别到在该位置POSA1'的左眼A1 102。
如果车辆使用者的眼睛A1、A2 102在此例子中位于与POSA1'对应的竖向位置，则图像数据评估单元103无法基于图像数据识别车辆使用者的眼睛，无法确定眼睛A1、A2 102的位置POSA1、POSA2和/或车辆使用者的当前视向，从而控制单元106产生激活该装置100的所有单独光源104的信号S。由此促使车辆使用者如此改变其座椅位置或方向盘位置，即，他的目光自由无阻地看向所有的单独光源104。
此外，该控制单元与显示器107相连以输出光学信息。一旦控制单元106产生信号S，则它驱控显示器107以输出光学信息，其中，该光学信息向车辆使用者指明如此调整其座椅位置和/或方向盘位置调节，即，眼睛A1、A2的位置POSA1、POSA2允许自由无阻地看向光源。光学信息优选是图形和/或文本指示。
图2从司机视角示出与根据图1的原理对应的布置。相同的零部件用与图1中一样的附图标记来标示。司机目光看向全面屏显示器116，其包括圆形仪表盘114、显示面107和用于显示设于摄像头101左右的单独光源104的显示区域。在摄像头101旁设置有照亮内室的光源112，例如红外光源。摄像头101和光源布置在显示器116的缺口内。与图1的情况对应地，摄像头101被方向盘轮圈110遮挡，从而车辆使用者的眼睛A1、A2无法不受阻碍地被摄像头101识别。与此相应，各单独光源104被激活。为了不受限制地识别眼睛A1、A2，车辆使用者调整其座椅或方向盘，使得所有的单独光源都可被看到。相应的指示在显示面107上被显示。
图3示出所提出的用于在车辆内确定车辆使用者的眼睛位置和/或车辆使用者的当前视向的方法的极其示意性的过程图，该方法包括以下步骤：
在第一步骤201中，通过摄像头101来采集车辆内室的图像数据。在第二步骤202中通过图像数据评估单元103基于所采集的图像数据来确定眼睛A1、A2的图像数据，确定眼睛A1、A2的位置POSA1、POSA2和/或车辆使用者的视向。如果眼睛A1、A2的图像数据、眼睛A1、A2的位置POSA1、POSA2和/或车辆使用者的当前视向无法或仅不充分地被确定，则在第三步骤203中由控制器106产生203激活光源104的信号S。
虽然本发明的细节已通过优选实施例被详细示出和说明，但本发明不受所公开的例子的限制，并且技术人员可以从中推导出其它的改变，而没有超出本发明的保护范围。因此清楚明白的是存在多种变化可能方式。也清楚明白的是，所例举的实施方式实际上仅是例子，其绝不应该被理解为比如对本发明的保护范围、应用可能方式或配置的限制。相反，以上说明和附图说明使技术人员能够具体实现示例性的实施方式，其中，技术人员在知晓所公开的发明构思情况下能完成例如关于在示例性实施方式中提到的各个元件的功能或布置的各种各样的改变，而没有超出由权利要求书及其合法等同比如在说明书中的详述所限定的保护范围。
Claims (9)
1.一种用于在车辆内确定车辆使用者的眼睛图像数据、眼睛位置和/或该车辆使用者的当前视向的装置(100)，包括：
-能够采集所述图像数据的摄像头(101)，
-图像数据评估单元(103)，借此基于所采集的眼睛A1、A2(102)图像数据能够确定该车辆使用者的眼睛A1、A2(102)的位置POSA1、POSA2和/或车辆使用者的当前视向，以及
-控制器(106)，该控制器在无法确定所述眼睛图像数据、所述眼睛A1、A2的当前位置POSA1、POSA2和/或视向的情况下产生激活光源(104)的信号S，其中，该光源(104)具有一个或多个单独光源，所述一个或多个单独光源如此布置和设计，即，仅当该车辆使用者的眼睛A1、A2(102)、所述眼睛位置和/或该车辆使用者的当前视向能够被摄像头(101)不受遮挡地采集到时，所述一个或多个单独光源才能够完全被车辆使用者看到或被完全同时看到。
2.根据权利要求1所述的装置(100)，所述光源(104)包括与控制器(106)相连的显示器(107)的一个或多个像素。
3.根据权利要求1或2所述的装置(100)，所述控制器(106)在产生信号S的情况下驱控输出单元、优选驱控显示器(107)以输出光学信息，并且其中，该信息向该车辆使用者指明调整其座椅位置和/或方向盘位置调节，使得所述眼睛A1、A2的位置POSA1、POSA2允许自由无阻地看向光源。
4.根据权利要求1至3之一所述的装置(100)，还包括与控制器(106)相连的音频输出单元(108)，其中，该控制器(106)在产生信号S的情况下驱控该音频输出单元(108)以输出声音信息，并且其中，该信息向车辆使用者指明调整其座椅位置和/或方向盘位置调节，使得所述眼睛A1、A2的位置POSA1、POSA2允许自由无阻地看向光源。
5.根据权利要求1至4之一所述的装置(100)，还具有能够确定车辆座椅被车辆使用者占用的座椅传感器，其中，仅在座椅传感器确定车辆座椅被占用的情况下，该装置(100)才被激活。
6.根据权利要求1至5之一所述的装置，其中，第一单独光源布置在摄像头(101)的左侧，第二单独光源布置在该摄像头右侧和/或第三单独光源布置在该摄像头上方和/或第四单独光源布置在该摄像头下方，并且所述四个单独光源各自被限定的发射区域仅在一区域RB内重合。
7.根据权利要求1至6之一所述的装置(100)，其中，控制单元(106)如此设计和设置，即，如果眼睛A1、A2未能够被摄像头(101)检测到，则与眼睛A1、A2的检测相关的车辆功能被关断并且发出警报给车辆使用者。
8.一种车辆，具有根据权利要求1至7之一所述的装置。
9.一种用于在车辆内识别车辆使用者眼睛、确定车辆使用者的眼睛位置和/或车辆使用者的当前视向的方法，该方法具有以下步骤：
-通过摄像头(101)采集(201)图像数据，
-通过图像数据评估单元(103)基于所述采集的图像数据来确定(202)眼睛A1、A2(102)的图像数据、眼睛A1、A2(102)的位置POSA1、POSA2和/或车辆使用者的当前视向，并且
-如果无法确定眼睛的图像数据、眼睛A1、A2的当前位置POSA1、POSA2和/或视向，则通过控制器(106)产生(203)激活光源(104)的信号S，其中，该光源(104)具有一个或多个单独光源，该一个或多个单独光源被如此布置和设计，即，仅当车辆使用者的眼睛A1、A2(102)、眼睛位置和/或车辆使用者当前视向能够被摄像头不受遮挡地采集到时，所述一个或多个单独光源才能够完全被车辆使用者看到或同时被看到。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019004692.7 | 2019-07-03 | ||
| DE102019004692.7A DE102019004692B3 (de) | 2019-07-03 | 2019-07-03 | Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug |
| PCT/EP2020/067868 WO2021001258A1 (de) | 2019-07-03 | 2020-06-25 | Vorrichtung und verfahren zur ermittlung von bilddaten der augen, augenpositionen oder einer blickrichtung eines fahrzeugnutzers |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114041174A true CN114041174A (zh) | 2022-02-11 |
Family
ID=71409381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080048000.2A Pending CN114041174A (zh) | 2019-07-03 | 2020-06-25 | 用于在车辆内确定车辆使用者的眼睛图像数据、眼睛位置和/或视向的装置和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11881054B2 (zh) |
| CN (1) | CN114041174A (zh) |
| DE (1) | DE102019004692B3 (zh) |
| WO (1) | WO2021001258A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495510A (zh) * | 2022-04-15 | 2022-05-13 | 四川九通智路科技有限公司 | 一种高速公路物联网行车安全管理系统及方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019004692B3 (de) * | 2019-07-03 | 2020-11-12 | Daimler Ag | Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004014628A1 (de) * | 2004-03-25 | 2005-10-13 | Daimlerchrysler Ag | Multifunktions-Anzeigevorrichtung |
| DE102005004511A1 (de) * | 2005-01-31 | 2006-08-10 | Daimlerchrysler Ag | Verfahren zur Spurverlasswarnung bei Überholvorgängen |
| DE102005008566A1 (de) * | 2005-02-23 | 2005-09-15 | Daimlerchrysler Ag | Sichtgerät für Kraftfahrzeuge |
| EP1767407A1 (en) * | 2005-09-27 | 2007-03-28 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Seat occupancy sensor assembly |
| JP2008094221A (ja) * | 2006-10-11 | 2008-04-24 | Denso Corp | 目状態検出装置および目状態検出装置の取り付け方法 |
| JP4926766B2 (ja) * | 2007-03-13 | 2012-05-09 | アイシン精機株式会社 | 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム |
| JP4519891B2 (ja) | 2007-08-10 | 2010-08-04 | 株式会社日本自動車部品総合研究所 | 車両情報報知装置 |
| KR100921092B1 (ko) * | 2008-07-04 | 2009-10-08 | 현대자동차주식회사 | 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템 |
| DE102012005674A1 (de) * | 2012-03-21 | 2013-04-18 | Daimler Ag | Anzeigevorrichtung und Verfahren zum lenkwinkelabhängigen Darstellen von Informationen |
| DE102012010757A1 (de) * | 2012-05-31 | 2012-12-06 | Daimler Ag | Beleuchtungsvorrichtung für ein Fahrzeug |
| US9150238B2 (en) * | 2012-06-04 | 2015-10-06 | GM Global Technology Operations LLC | System and method for automatically adjusting a steering tilt position |
| US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
| US10277837B2 (en) * | 2013-11-05 | 2019-04-30 | Visteon Global Technologies, Inc. | System and method for monitoring a driver of a vehicle |
| DE102013020699A1 (de) * | 2013-11-28 | 2015-05-28 | Daimler Ag | Parkassistenzsystem und Verfahren zur Fahrerunterstützung bei Parkmanövern |
| WO2015125243A1 (ja) * | 2014-02-19 | 2015-08-27 | 三菱電機株式会社 | 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法 |
| DE102014203444A1 (de) | 2014-02-26 | 2015-08-27 | Application Solutions (Electronics and Vision) Ltd. | Vorrichtung und Verfahrung zur Ermittlung eines Augenzustands eines Fahrzeuginsassen |
| DE102014008808A1 (de) * | 2014-06-11 | 2014-11-27 | Daimler Ag | Verfahren zur Absicherung der Übertragung von sicherheitsrelevanten Kamerabildern |
| DE102014221039A1 (de) * | 2014-10-16 | 2016-04-21 | Robert Bosch Gmbh | Steuergerät für ein Kraftfahrzeug mit Kamera für Fahrergesicht und Verfahren zum Aufnehmen des Gesichtes eines Fahrzeuginsassen |
| DE102014018397A1 (de) * | 2014-12-11 | 2015-06-18 | Daimler Ag | Bedieneinheit für ein Kraftfahrzeug zum Bedienen einer Mehrzahl an unterschiedlichen Funktionen |
| DE102015207982A1 (de) | 2015-04-30 | 2016-11-03 | Robert Bosch Gmbh | Kombiinstrument für ein Fahrzeug, Verfahren zum Erfassen eines Fahrers eines Fahrzeugs mittels eines Kombiinstruments und Steuergerät |
| GB2539467A (en) * | 2015-06-17 | 2016-12-21 | Ford Global Tech Llc | A method for adjusting a component of a vehicle |
| DE102015013081A1 (de) * | 2015-10-08 | 2016-04-28 | Daimler Ag | Displayanordnung für ein Fahrzeug und Verfahren zum Verstellen eines Displays |
| DE102015016649A1 (de) * | 2015-12-19 | 2016-07-28 | Daimler Ag | Verfahren zur automatischen Einstellung einer entspiegelten Oberfläche eines Displays in einem Fahrzeug |
| DE102016002289A1 (de) * | 2016-02-25 | 2016-08-11 | Daimler Ag | Verfahren zur Beobachtung eines Fahrers eines Fahrzeugs |
| WO2017149995A1 (ja) * | 2016-03-02 | 2017-09-08 | 富士フイルム株式会社 | 投写型表示装置、投写制御方法、及び、投写制御プログラム |
| DE102016005473A1 (de) * | 2016-05-03 | 2017-02-09 | Daimler Ag | Verfahren zur Steuerung von mindestens einer Beleuchtungseinheit in einem Fahrgastraum eines Fahrzeuges |
| EP3249497A1 (en) * | 2016-05-24 | 2017-11-29 | Harman Becker Automotive Systems GmbH | Eye tracking |
| DE102016011141A1 (de) * | 2016-09-15 | 2017-04-13 | Daimler Ag | Verfahren zur Überwachung eines Zustandes zumindest eines Insassen eines Fahrzeuges |
| WO2018067942A1 (en) * | 2016-10-06 | 2018-04-12 | Gentex Corporation | Rearview assembly with occupant detection |
| DE102016012343A1 (de) * | 2016-10-14 | 2017-05-04 | Daimler Ag | Verfahren zur Terminverwaltung in einem Fahrzeug |
| EP3609756A4 (en) * | 2017-05-08 | 2021-01-27 | Joyson Safety Systems Acquisition LLC | INTEGRATION OF OCCUPANT MONITORING SYSTEMS THROUGH VEHICLE CONTROL SYSTEMS |
| DE102017009515A1 (de) * | 2017-10-12 | 2018-03-29 | Daimler Ag | Verfahren zur Routenplanung |
| KR20190050227A (ko) * | 2017-11-02 | 2019-05-10 | 현대자동차주식회사 | 운전자 자세 제어 장치 및 방법 |
| DE102017010866A1 (de) * | 2017-11-24 | 2019-05-29 | Daimler Ag | Verfahren zum Betreiben eines Fahrzeugs |
| US10776644B1 (en) * | 2018-03-07 | 2020-09-15 | State Farm Mutual Automobile Insurance Company | Image analysis technologies for assessing safety of vehicle operation |
| DE102018004277A1 (de) * | 2018-05-29 | 2018-10-18 | Daimler Ag | Verfahren zum Betrieb einer Fahrerkamera eines Fahrzeuges |
| DE102018004007A1 (de) * | 2018-06-21 | 2018-11-08 | Daimler Ag | Verfahren zur Einstellung einer mittels einer Lichtquelle einer Fahrerkamera erzeugten Beleuchtung in einem Fahrzeug |
| DE102018213254A1 (de) * | 2018-08-08 | 2020-02-13 | Bayerische Motoren Werke Aktiengesellschaft | Beleuchtungsvorrichtung, insbesondere für ein Kraftfahrzeug |
| EP3849865A4 (en) * | 2018-09-11 | 2022-06-29 | Netradyne, Inc. | Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements |
| JP7290930B2 (ja) * | 2018-09-27 | 2023-06-14 | 株式会社アイシン | 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム |
| CN111212756B (zh) * | 2018-10-31 | 2023-10-17 | 深圳市大疆创新科技有限公司 | 用于控制载运工具的照明系统的方法和设备 |
| JP6894880B2 (ja) * | 2018-11-07 | 2021-06-30 | 矢崎総業株式会社 | 監視システム |
| US10852822B2 (en) * | 2019-05-01 | 2020-12-01 | Aptiv Technologies Limited | Display method |
| DE102019004167A1 (de) * | 2019-06-12 | 2020-12-17 | Daimler Ag | Verfahren zur Optimierung der Bedienung einer optischen Anzeige |
| DE102019004692B3 (de) * | 2019-07-03 | 2020-11-12 | Daimler Ag | Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug |
-
2019
- 2019-07-03 DE DE102019004692.7A patent/DE102019004692B3/de active Active
-
2020
- 2020-06-25 CN CN202080048000.2A patent/CN114041174A/zh active Pending
- 2020-06-25 US US17/597,254 patent/US11881054B2/en active Active
- 2020-06-25 WO PCT/EP2020/067868 patent/WO2021001258A1/de active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495510A (zh) * | 2022-04-15 | 2022-05-13 | 四川九通智路科技有限公司 | 一种高速公路物联网行车安全管理系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220319200A1 (en) | 2022-10-06 |
| US11881054B2 (en) | 2024-01-23 |
| DE102019004692B3 (de) | 2020-11-12 |
| WO2021001258A1 (de) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5088669B2 (ja) | 車両周辺監視装置 | |
| JP4941760B2 (ja) | 車両周辺監視装置 | |
| US11851080B2 (en) | Vehicular driver monitoring system with posture detection and alert | |
| JP5742937B2 (ja) | 車両用視界支援装置 | |
| US20100014711A1 (en) | Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor | |
| JP5753509B2 (ja) | 被測定物情報取得装置 | |
| US20080204208A1 (en) | Vehicle Surroundings Information Output System and Method For Outputting Vehicle Surroundings Information | |
| US20140195096A1 (en) | Apparatus and method for contactlessly detecting objects and/or persons and gestures and/or operating procedures made and/or carried out thereby | |
| US20140002252A1 (en) | Vehicular heads up display with integrated bi-modal high brightness collision warning system | |
| US20130113614A1 (en) | Systems and methods for vehicle door clearance zone projection | |
| JP2006248363A (ja) | 運転者照明装置、運転者撮影装置および運転者監視装置 | |
| US10745025B2 (en) | Method and device for supporting a vehicle occupant in a vehicle | |
| EP1878616A1 (en) | Vehicle light warning system and method | |
| US20180201276A1 (en) | Driver condition detection system | |
| JP2006219000A (ja) | 車両用操作装置 | |
| CN114041174A (zh) | 用于在车辆内确定车辆使用者的眼睛图像数据、眼睛位置和/或视向的装置和方法 | |
| JP6567842B2 (ja) | 酒気帯び検知装置及びルームミラー装置 | |
| JP2011087006A (ja) | 車両用表示装置 | |
| CN111873799A (zh) | 显示方法 | |
| CN109690559A (zh) | 用于提供车辆环境信息的装置 | |
| CN116252711A (zh) | 用于调节车辆后视镜的方法和后视镜调节系统 | |
| US20210166659A1 (en) | Head-up display device | |
| JP2007133644A (ja) | 歩行者認識装置 | |
| JP2020079879A (ja) | 表示制御装置 | |
| JPH07195961A (ja) | 車両用表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Stuttgart, Germany Applicant after: Mercedes-Benz Group Co.,Ltd. Address before: Stuttgart, Germany Applicant before: DAIMLER AG |
|
| CB02 | Change of applicant information |