CN108852382B - 用于操控用来观察车辆驾驶员的驾驶员观察系统的方法和设备 - Google Patents
用于操控用来观察车辆驾驶员的驾驶员观察系统的方法和设备 Download PDFInfo
- Publication number
- CN108852382B CN108852382B CN201810394656.4A CN201810394656A CN108852382B CN 108852382 B CN108852382 B CN 108852382B CN 201810394656 A CN201810394656 A CN 201810394656A CN 108852382 B CN108852382 B CN 108852382B
- Authority
- CN
- China
- Prior art keywords
- state
- driver
- cam
- activated
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000010191 image analysis Methods 0.000 claims abstract description 24
- 238000005286 illumination Methods 0.000 claims description 44
- 230000003213 activating effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 2
- 101100118004 Arabidopsis thaliana EBP1 gene Proteins 0.000 description 19
- 101150052583 CALM1 gene Proteins 0.000 description 19
- 102100025580 Calmodulin-1 Human genes 0.000 description 19
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 19
- 101150091339 cam-1 gene Proteins 0.000 description 19
- 210000003128 head Anatomy 0.000 description 18
- 102100025579 Calmodulin-2 Human genes 0.000 description 16
- 101001077352 Homo sapiens Calcium/calmodulin-dependent protein kinase type II subunit beta Proteins 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000004913 activation Effects 0.000 description 9
- 230000004424 eye movement Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000004886 head movement Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Developmental Disabilities (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Vascular Medicine (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及用于操控用来观察车辆驾驶员的驾驶员观察系统的方法。在第一方法步骤中接收图像分析数据和/或运行状态数据。在第二方法步骤中使用图像分析数据和/或运行状态数据，以便激活驾驶员观察系统的第一状态和/或第二状态。在第一拍摄模式中：在激活的第一状态下，第一传感器装置和第二照明装置接通，第二传感器装置和第一照明装置切断；在激活的第二状态下，第一传感器装置和第一照明装置接通，第二传感器装置和第二照明装置切断。在第二拍摄模式中：在激活的第一状态下，第二传感器装置和第一照明装置接通，第一传感器装置和第二照明装置切断；在激活的第二状态下，第二传感器装置和第二照明装置接通，第一传感器装置和第一照明装置切断。
Description
技术领域
本发明涉及根据独立权利要求的类型的设备或方法。本发明的主题也是计算机程序。
背景技术
驾驶员观察照相机可以例如与软件功能或算法相组合而使用，所述算法用于识别头部和眼部运动、用于脸部识别、用于通过探测疲劳或缺乏注意力对驾驶员行为进行建模或者用于视线方向识别。在此，驾驶员脸部例如可以通过有源的（aktiv）红外线照明机构来照亮，以便在所有条件下都得到脸部区域的反差明显的均质的和明亮的图像。
在使用双照相机系统和两个亮瞳模块的情况下，通过方向盘或驾驶员的手引起的照相机视野遮蔽应该被考虑到。此外，例如在可能损害探测的眼镜镜片上会通过有源的照明形成反射。
发明内容
基于该背景，利用在此提出的手段根据独立权利要求提出用于操控用来观察车辆驾驶员的驾驶员观察系统的方法，此外提出使用该方法的设备以及最后提出相应的计算机程序。通过在从属权利要求中提及的措施，在独立权利要求中说明的设备的有利的改型和改进方案是可行的。
提出了用于操控用来观察车辆驾驶员的驾驶员观察系统的方法，其中驾驶员观察系统具有至少一个第一模块和第二模块，用于从不同的视角检测驾驶员，其中第一模块具有第一传感器装置和第一照明装置，并且第二模块具有第二传感器装置和第二照明装置，其中该方法包括如下步骤：
接收图像分析数据和/或运行状态数据，所述图像分析数据代表对驾驶员的至少一个由第一传感器装置和/或第二传感器装置拍摄的图像的分析结果，所述运行状态数据代表驾驶员观察系统的运行状态；和
在使用图像分析数据和/或运行状态数据的情况下激活驾驶员观察系统的第一状态和/或驾驶员观察系统的第二状态，其中在第一状态中和/或第二状态中，在第一拍摄模式和第二拍摄模式之间进行切换，其中在第一拍摄模式中，在激活的第一状态下，第一传感器装置和第二照明装置接通，而第二传感器装置和第一照明装置切断，并且/或者在激活的第二状态下，第一传感器装置和第一照明装置接通，而第二传感器装置和第二照明装置切断，其中在第二拍摄模式中，在激活的第一状态下，第二传感器装置和第一照明装置接通，而第一传感器装置和第二照明装置切断，并且/或者在激活的第二状态下，第二传感器装置和第二照明装置接通，而第一传感器装置和第一照明装置切断。
模块例如可以理解为带有作为传感器装置的照相机的照相机模块。传感器装置可以通常理解为用于拍摄驾驶员的图像的光学传感器。照明装置例如可以理解为至少一个发光二极管，尤其也可以理解为由多个发光二极管构成的阵列。发光二极管例如可以构造为红外线发光二极管。根据实施方式，两个照明装置中的至少一个照明装置可以实现为用于从更大的距离对驾驶员进行照明的所谓的暗瞳模块，或者实现为用于从更小的距离对驾驶员进行照明的亮瞳模块。两个模块例如可以集成到车辆的组合仪表中。
图像分析数据例如可以代表：通过方向盘或驾驶员的手对两个传感器装置中的至少一个传感器装置的遮蔽、驾驶员的被拍摄的图像中的亮度或对比度、尤其是例如驾驶员的虹膜或瞳孔的亮度或对比度。此外，图像分析数据可以代表至少一个在驾驶员的图像中识别出的例如在眼镜镜片上的光反射，或者代表对驾驶员的头部或眼部运动（也被称为头部或眼动追踪）识别的精确度。图像分析数据例如可以在使用适当的图像处理算法的情况下获知，所述图像处理算法例如用于脸部识别、用于头部或眼动追踪或者用于抑制眼镜镜片反射。图像分析数据例如也可以代表统计学的图像数据。
运行状态例如可以理解为驾驶员观察系统的刚好有源的识别模式，例如脸部识别模式或者头部或眼动追踪模式。
根据实施方式，在第一或第二状态下可以交替地在第一和第二拍摄模式之间切换。在第一和第二拍摄模式之间的切换可以要么无中断地进行，要么在预设的中断间隔期满（Ablauf）之后进行。在第一状态和第二状态之间的切换例如可以延迟地进行。
在此提出的手段基于以下认识：匹配于情况的、组合的和整体的照相机和红外线照明机构控制在车辆中可以借助用于对双照相机系统的状态进行控制的状态机来实现，所述双照相机系统具有至少两个红外线照明模块。照相机在此例如可以成对地与两个红外线照明模块中的各一个红外线照明模块一起依次激活。所述情况或状态识别例如借助于图像处理算法，如脸部识别、对头部和眼部运动的跟踪或后续的例如用于减少眼镜镜片上的反射的附加算法来实现。借助识别出的情况，例如眼镜镜片上的干扰性的反射，接着触发相应最佳的操控方案。通过这种用于对带有有源的红外线照明机构的机动车内部空间照相机进行适应性控制的方法，一方面可以实现高的系统可用性；另一方面可以由此在图像拍摄时有效地避免干扰性的眼镜镜片反射。
根据一种实施方式，在激活的步骤中可以激活第一状态，或者附加地或替选地激活第二状态，以便交替地在第一拍摄模式和第二拍摄模式之间进行切换。由此，可以提高在识别驾驶员的眼部运动或视线方向时的精确度。
根据另一种实施方式，在激活的步骤中可以在延迟间隔期满后激活第一状态或者附加地或替选地激活第二状态。由此，例如可以避免在第一和第二状态之间的太快的来回转换。
有利的是，在激活的步骤中，在使用图像分析数据的情况下或者附加地或替选地在使用运行状态数据的情况下激活驾驶员观察系统的另外的状态。在所述另外的状态中，第一传感器装置、第二传感器装置、第一照明装置和第二照明装置接通。由此，即使在很差的光照度的情况下，例如在夜晚也可以很好地照亮驾驶员的脸部。
也有利的是，在激活的步骤中，在使用图像分析数据的情况下或者附加地或替选地在使用运行状态数据的情况下激活驾驶员观察系统的附加的状态。在所述附加的状态中，可以在第一拍摄模式和第二拍摄模式之间切换。在激活的附加的状态下，在第一拍摄模式中，第一传感器装置、第二传感器装置和第一照明装置接通，而第二照明装置切断。在第二拍摄模式中，在激活的附加的状态下，第一传感器装置、第二传感器装置和第二照明装置接通，而第一照明装置切断。通过该实施方式，在对驾驶员照明时例如在眼镜镜片上的光反射可以得到避免或减小。同时可以因此而确保高的识别精确度。
根据一种实施方式，可以在激活的步骤中激活所述附加的状态，以便在中断间隔期满后，在第一拍摄模式和第二拍摄模式之间进行切换，在所述中断间隔中第一传感器装置、第二传感器装置、第一照明装置和第二照明装置被切断。由此，光反射可以特别有效地得到抑制。
此外，当图像分析数据代表至少一个在图像中识别出的光反射时，可以在激活的步骤中激活所述附加的状态。由此，可以根据光反射的实际存在情况而激活所述附加的状态。
该方法例如可以在软件或硬件中或者在由软件和硬件构成的混合形式中、例如在控制器中实施。
在此提出的手段此外提供了如下设备，该设备构造用于在相应的装置中执行、操控或实现在此提出的方法的变型方案的步骤。通过本发明在设备形式中的这种实施变型方案，本发明所基于的任务也可以快速且有效地得到解决。
为此，所述设备可以具有：至少一个用于处理信号或数据的计算单元；至少一个用于存储信号或数据的存储单元；至少一个通向传感器或执行器的接口，所述接口用于读入传感器的传感器信号或者用于将数据或控制信号输出给执行器；和/或至少一个用于读入或输出被置入到通信协议中的数据的通信接口。计算单元可以例如是信号处理器、微控制器或类似装置，其中存储单元可以是闪存、EPROM或磁存储单元。通信接口可以构造用于无线地和/或有线地读入或输出数据，其中可以读入或输出有线数据的通信接口可以例如以电或光的方式从相应的数据传输线路中读入这些数据，或者可以将其输出到相应的数据传输线路中。
设备在此可以理解为电气器具，所述电气器具对传感器信号进行处理并且根据此来输出控制和/或数据信号。所述设备可以具有接口，所述接口可以硬件和/或软件式地构造。在硬件式的构造中，接口例如可以是包含设备的各种功能的所谓的系统ASIC的一部分。然而也可行的是：接口是单独的集成电路，或者至少部分由单独的结构元件构成。在软件式的构造中，接口可以是软件模块，其例如在微控制器上存在于其他软件模块旁。
在一种有利的设计方案中，通过所述设备实现对车辆的控制。为此，所述设备可以例如获得（zugreifen）传感器信号，例如加速度信号、压力信号、转向角信号或环境传感器信号。所述操控通过执行器（如制动或转向执行器）或者车辆的马达控制器来实现。
带有程序代码的计算机程序产品或计算机程序也是有利的，所述程序代码可以存储在机器能读取的载体或存储介质（如半导体存储器、硬盘存储器或光学存储器）上，并且尤其当程序产品或程序在计算机或设备上实施时用于执行、实现和/或操控根据前述的实施方式之一的方法的步骤。
附图说明
在附图中示出了本发明的实施例，并且在随后的描述中对其详细阐述。其中：
图1示出了根据一种实施例的驾驶员观察系统的示意图；
图2示出了在根据一种实施例的驾驶员观察系统的激活的第一状态下的时间流程的示意图；
图3示出了在根据一种实施例的驾驶员观察系统的激活的第二状态下的时间流程的示意图；
图4示出了在根据一种实施例的驾驶员观察系统的激活的第三状态下的时间流程的示意图；
图5示出了在根据一种实施例的驾驶员观察系统的激活的第四状态下的时间流程的示意图；
图6示出了用于在根据一种实施例的驾驶员观察系统的状态之间进行切换的切换路径的示意图；
图7示出了根据一种实施例的设备的示意图；并且
图8示出了根据一种实施例的方法的流程图。
在对本发明的有利的实施例的随后描述中，针对在不同的附图中示出的和类似地起作用的元件使用相同的或类似的附图标记，其中放弃对这些元件进行重复描述。
具体实施方式
图1示出了根据一种实施例的驾驶员观察系统100的示意图。驾驶员观察系统100包括由第一传感器装置CAM1和第一照明装置IR1构成的第一模块102以及由第二传感器装置CAM2和第二照明装置IR2构成的第二模块104。根据该实施例，这两个模块102、104布置在车辆的组合仪表106上，例如布置在可自由编程的组合仪表上。例如，这两个模块102、104布置在抬头显示器的视野108下方。这两个模块102、104分别与用于操控传感器装置CAM1、CAM2和照明装置IR1、IR2的设备110连接，例如通过低电压差分信号连接。
所述模块102、104构造用于借助照明装置IR1、IR2来对车辆驾驶员进行照明，并且在此借助传感器装置CAM1、CAM2来拍摄驾驶员的图像。在设备110上，在使用所拍摄的图像的情况下例如实施用于识别头部和眼部运动或者用于识别脸部的算法。
设备110构造用于：在使用借助两个传感器装置CAM1、CAM2的至少其中一个传感器装置的图像数据来执行的图像分析的图像分析数据的情况下，或者也在使用关于驾驶员观察系统100的当前的运行状态的运行状态数据的情况下，将驾驶员观察系统100切换到第一状态或第二状态中。在此，设备110在所述两个状态中的每个状态中在第一拍摄模式和第二拍摄模式之间切换。在两个拍摄模式之间的切换例如交替地进行。
在激活的第一状态中，设备110在第一拍摄模式中接通第一传感器装置CAM1和第二照明装置IR2，其中第二传感器装置CAM2和第一照明装置IR1保持切断。在第一状态的第二拍摄模式中，设备110关断第一传感器装置CAM1和第二照明装置IR2，以便替代地接通第二传感器装置CAM2和第一照明装置IR1。
反之，在激活的第二状态中，设备110在第一拍摄模式中接通第一传感器装置CAM1和第一照明装置IR1，而第二传感器装置CAM2和第二照明装置IR2保持切断。在第二状态的第二拍摄模式中，设备110关断第一传感器装置CAM1和第一照明装置IR1，以便替代地接通第二传感器装置CAM2和第二照明装置IR2。
根据一种实施例，驾驶员观察系统100作为由两个照相机构成的双照相机系统来实现，其具有集成的红外线照明单元—也被称为亮瞳模块—作为照明装置IR1、IR2。照相机安装或集成在仪表组之前或在其内。所述设备110要么是在仪表组中的已经存在的控制器，要么是根据要求通过利用协作和存在的结构空间实现的专用控制器。用于驾驶员观察的算法和功能在设备110上运行。在此，设备110例如通过CAN、以太网或Flexray与车辆的总线系统连接。红外线照明单元在图1中仅仅示例性地布置在照相机的两侧，所述红外线照明单元例如分别通过由红外线发光二极管构成的阵列形成。替选地，红外线照明单元要么布置在相应的照相机的左边，要么布置在其右边。可选地，驾驶员观察系统100除了两个照明装置IR1、IR2以外还包括至少一个用于功率提高的附加的红外线或暗瞳模块。
图2至5示出了不同的应用情况，其带有相应的系统计时（Systemtiming）用于说明驾驶员观察系统的传感器和照明装置的相应的运行状态。
图2示出了在根据一种实施例的驾驶员观察系统（例如之前借助图1描述的驾驶员观察系统）的激活的第一状态下的时间流程的示意图。传感器装置CAM1、CAM2和照明装置IR1、IR2的相应的信号走向相叠地示出。绘出了代表第一状态的第一拍摄模式的第一时间间隔202以及紧接着第一时间间隔202的代表第一状态的第二拍摄模式的第二时间间隔204。在60fps的图像重复率（Bildwiederholrate）的情况下，两个连续的时间间隔202、204例如一起相应于16ms的一个周期。第一时间间隔202在此例如相应于800μs。
图3示出了在图1的驾驶员观察系统的激活的第二状态下的时间流程的示意图。
图4示出了在根据一种实施例的驾驶员观察系统（例如之前借助图1至3描述的驾驶员观察系统）的激活的第三状态下的时间流程的示意图。第三状态与第一或第二状态类似地在使用图像分析数据或运行状态数据或两个数据类型的情况下通过驾驶员观察系统的设备被激活。在此，两个传感器装置CAM1、CAM2以及两个照明装置IR1、IR2在第一时间间隔202期间接通。在第二时间间隔204中，两个模块的传感器和照明装置切断。
图5示出了在根据一种实施例的驾驶员观察系统（例如之前借助图1至4描述的驾驶员观察系统）的激活的第四状态下的时间流程的示意图。根据该实施例，驾驶员观察系统的设备构造用于在使用图像分析数据或运行状态数据的情况下激活驾驶员观察系统的一个状态，在该状态中，在第一时间间隔202期间，在第二照明装置IR2切断的情况下，两个传感器装置CAM1、CAM2和第一照明装置IR1接通，并且在该状态下，在第二时间间隔204期间，在第一照明装置IR1切断的情况下，两个传感器装置CAM1、CAM2和第二照明装置IR2接通。在图5中示出的第四状态尤其是适用于抑制眼镜镜片反射。
根据该实施例，两个时间间隔202、204通过中断间隔500在时间上彼此分开，在所述中断间隔中，两个模块的传感器和照明装置被切断。
在图2至5中示出的状态的每个状态中实现匹配于环境条件的照明模型，通过所述照明模型在抑制眼镜镜片反射的情况下可以确保最佳的图像或最佳的图像对，并且因此针对所使用的图像处理算法可以确保最佳的结果。例如，照相机CAM1、CAM2在第一状态中在时间上依次在例如大约16ms的一个周期内相继地运行，其中IR2针对CAM1是激活的，并且IR1针对CAM2是激活的。由此可以实现暗瞳照明，所述暗瞳照明尤其确保了对眼部运动和视线方向的良好的有效的识别。在此，由于通过方向盘引起的对照相机的遮蔽，系统可用性可能降低。这可以通过第二状态例如借助于激活亮瞳照明（其中CAM1利用IR1并且CAM2利用IR2被依次激活）来拦住（abfangen），从而未被遮蔽的照相机可以提供被照明的图像。
在亮瞳照明在特定的人员和昏暗的环境条件的情况下（当瞳孔打开很大并且因此可很好地看到和探测到时）很好地运行期间，在更亮的环境条件下或在极端情况中，像例如在从后方通过后窗玻璃入射的太阳光的情况下，所有可用的红外线模块都应该被激活，以便驾驶员脸部得到充分照明，这通过第三状态来实现。所述照明模型同样确保了针对反差明显的照相机图像的均匀的和均质的照明，其尤其很好地适用于图像处理算法，如头部姿态识别或脸部鉴别。第四状态通过在时间上依次在第一时刻t1操控IR1并且在第二时刻t2操控IR2且随后评估CAM1在时刻t1或t2的相应的照相机图像而专门针对（adressieren）在眼镜镜片上的光反射。例如通过确定最小图像或基于另外的原理实现的、用于抑制光反射的专门的算法在此移除了亮的反射区域。这对于CAM2而言可选地并行地执行，或者使用CAM1和CAM2的分别最佳的减小了的图像用于针对眼动追踪进行进一步的处理。
图6示出了用于在根据一种实施例的驾驶员观察系统（例如之前借助图1至5描述的驾驶员观察系统）的状态之间进行切换的切换路径的示意图。四种在上面详细提到的状态由状态机600来控制，在驾驶员观察系统运行期间所述状态机持续地检验过渡条件。不同的切换路径通过箭头来表示。驾驶员观察系统的第一至第四状态利用编号1至4来表示。编号0表示驾驶员观察系统的开始状态。根据实施例，尤其是沿着如下方向在状态0至4之间进行切换：
-从0到1，
-从0到3，
-从1到2，
-从2到1，
-从2到3，
-从2到4，
-从3到1，
-从3到4，
-从4到1，
-从4到2。
在此，从0到1，从0到3，从2到3和从3到1的切换例如根据条件A实现，该条件A代表多个标志（如“脸部识别激活”、“在初始化模式下的头部追踪”、“在重找（Refind）模式下的头部追踪”）的逻辑关系（logische Verknüpfung）和图像统计的逻辑关系。初始化模式是在整个图像中全局地搜索头部候选者（Kopfkandidaten）。当头部或脸部候选者在之前的追踪中丢失时，在重找模式中，所述算法在更大的搜索范围内重新搜索头部或脸部候选者。在2与4之间的切换例如根据条件B进行，该条件B代表眼动追踪稳定性或相应的信心值（Konfidenzwert）。
当条件B“眼动追踪稳定性”没有得到满足或者信心值处于确定的阈值thr1之下时，或者当探测到眼镜镜片和反射时，例如进行从2到4的过渡。
例如根据由传感器装置拍摄的图像中的亮度值或对比度值来进行在1与2之间的切换。例如在识别到对两个传感器装置中的至少一个传感器装置的遮蔽时或者在驾驶员的虹膜或瞳孔的区域中亮度低或对比度低时，从1切换到2。当识别出没有遮蔽或者环境太昏暗时，相反地从2切换到1。
状态机600在开始后位于状态0中，并且检验条件A。如果条件A得到满足，那么就转换到状态3，在那里，照相机和红外线照明机构相互同步地工作。如果条件A没有得到满足，那么就触发状态1，等等。每个状态都保持如此之久，直到满足过渡条件。当识别出眼镜或眼镜镜片反射时，专门地在状态4中例如通过软件模块设置全局标志（Flag）。所述软件模块根据实施例集成在头部或眼动追踪模块中或脸部识别模块中或者作为独立的模块来实现，并且根据需求来调用或者并行地运行。
为了避免在状态之间的快速的来回转换，可选地例如通过两个不同的阈值实施迟滞行为（Hystereseverhalten），即第一阈值限定了进入阈值，例如thr1，并且小于thr1的第二阈值thr2确定什么时候达到离开阈值以及什么时候可以开始状态更换，例如从状态4更换到状态2中。
状态机600控制在哪些时刻激活不同的算法模块，例如脸部识别、头部姿态识别或眼动追踪。例如，脸部识别仅仅在开始时或者在上车阶段和在车辆中就坐期间激活，其中用于头部或眼动追踪的算法保持非激活，这是因为其对于人员的快速识别来说并不一定是必需的。
图7示出了根据一种实施例的设备110、例如之前借助图1至6描述的设备的示意图。示出了调节回路，该调节回路由照相机、红外线模块以及来自图像处理模块（像例如头部追踪器）的计算出的基础信号构成，所述图像处理模块用于对照相机和红外线控制块中的状态机或调节器进行参数化。根据该实施例，设备110包括用于缓冲第一传感器装置CAM1的视频流的第一缓冲单元702和用于缓冲第二传感器装置CAM2的视频流的第二缓冲单元704。制图单元706构造用于将视频流（所述视频流例如是12/10-Bit流）转换至8Bit并且将所转换的数据传递给系统状态机707，所述系统状态机具有用于脸部识别的单元708、用于识别头部运动的单元710以及用于识别眼部运动的单元712。由所述单元708、710、712提供的图像分析数据713从系统状态机707传导给代表照相机和红外线控制块的控制单元714，该控制单元评估图像分析数据713用以操控传感器装置CAM1、CAM2和照明装置IR1、IR2。IR3表示同样可通过控制单元714操控的附加的照明装置、例如附加的暗瞳模块。
图7示出了用于形式为双照相机系统的驾驶员观察系统的原理作用链（prinzipielle Wirkkette）。用于控制驾驶员观察系统的红外线照明机构的状态机例如在照相机和红外线控制块中实现。基于图像处理算法—脸部识别、头部追踪和眼动追踪（其活性由单独的系统状态机707控制）来调整（konditionieren）状态机。专门地在用于反射抑制的模式中，所述状态机触发驾驶员观察系统的相应的状态，该驾驶员观察系统具有匹配于情况的红外线照明机构和图像评估机构。附加地，例如对用于图像处理算法的加权的参数化专门地针对照明调节，即最佳地针对脸部区域或者仅仅针对眼部区域确定。此外，红外线发光二极管的强度调节例如通过相应的驱动器实现，从而除了调节照明时间或整合时间（Integrationszeit）以外，还可以实现改进的图像亮度和改进的图像对比度。
图8示出了根据一种实施例的方法800的流程图。用于操控驾驶员观察系统的方法800例如可以在使用如之前借助图1至7所描述的设备的情况下来执行。在此，在步骤810中，接收图像分析数据或运行状态数据。在另外的步骤820中，在使用图像分析数据或运行状态数据的情况下激活驾驶员观察系统的第一状态或第二状态。
如果实施例在第一特征和第二特征之间包括“和/或”关系，那么这可理解为，该实施例根据一种实施方式不仅具有第一特征而且具有第二特征，并且根据另一种实施方式要么仅具有第一特征要么仅具有第二特征。
Claims (7)
1.用于操控用来观察车辆驾驶员的驾驶员观察系统(100)的方法(800)，其中所述驾驶员观察系统(100)具有至少一个第一模块(102)和第二模块(104)用于从不同的视角检测驾驶员，其中所述第一模块(102)具有第一传感器装置(CAM1)和第一照明装置(IR1)，并且所述第二模块(104)具有第二传感器装置(CAM2)和第二照明装置(IR2)，其中所述方法(800)包括如下步骤：
接收(810)图像分析数据(713)和/或运行状态数据，所述图像分析数据代表对驾驶员的至少一个由第一传感器装置(CAM1)和/或第二传感器装置(CAM2)拍摄的图像的分析结果，所述运行状态数据代表驾驶员观察系统(100)的运行状态；并且
在使用图像分析数据(713)和/或运行状态数据的情况下激活(820)驾驶员观察系统(100)的第一状态(1)和/或驾驶员观察系统(100)的第二状态(2)，其中在第一状态(1)中和在第二状态(2)中，在第一拍摄模式和第二拍摄模式之间进行切换，其中在第一拍摄模式中，在激活的第一状态(1)下，第一传感器装置(CAM1)和第二照明装置(IR2)接通，而第二传感器装置(CAM2)和第一照明装置(IR1)切断，并且在激活的第二状态(2)下，第一传感器装置(CAM1)和第一照明装置(IR1)接通，而第二传感器装置(CAM2)和第二照明装置(IR2)切断；其中在第二拍摄模式中，在激活的第一状态(1)下，第二传感器装置(CAM2)和第一照明装置(IR1)接通，而第一传感器装置(CAM1)和第二照明装置(IR2)切断，并且在激活的第二状态(2)下，第二传感器装置(CAM2)和第二照明装置(IR2)接通，而第一传感器装置(CAM1)和第一照明装置(IR1)切断，
其中在激活(820)的步骤中，在使用图像分析数据(713)和/或运行状态数据的情况下激活驾驶员观察系统(100)的附加的状态(4)，其中在所述附加的状态(4)中，在第一拍摄模式和第二拍摄模式之间进行切换，其中在激活的附加的状态(4)下，在第一拍摄模式中，第一传感器装置(CAM1)、第二传感器装置(CAM2)和第一照明装置(IR1)接通，而第二照明装置(IR2)切断，并且在第二拍摄模式中，第一传感器装置(CAM1)、第二传感器装置(CAM2)和第二照明装置(IR2)接通，而第一照明装置(IR1)切断，
其中在激活(820)的步骤中激活所述附加的状态(4)，以便在中断间隔(500)期满后，在第一拍摄模式和第二拍摄模式之间进行切换，在所述中断间隔中第一传感器装置(CAM1)、第二传感器装置(CAM2)、第一照明装置(IR1)和第二照明装置(IR2)被切断。
2.根据权利要求1所述的方法(800)，其中在激活(820)的步骤中，激活第一状态(1)和/或第二状态(2)，以便交替地在第一拍摄模式和第二拍摄模式之间进行切换。
3.根据前述权利要求中任一项所述的方法(800)，其中在激活(820)的步骤中，在延迟间隔期满后激活第一状态(1)和/或第二状态(2)。
4.根据权利要求1或2所述的方法(800)，其中在激活(820)的步骤中，在使用图像分析数据(713)和/或运行状态数据的情况下激活驾驶员观察系统(100)的另外的状态(3)，其中在所述另外的状态(3)中，第一传感器装置(CAM1)、第二传感器装置(CAM2)、第一照明装置(IR1)和第二照明装置(IR2)接通。
5.根据权利要求1所述的方法(800)，其中当图像分析数据(713)代表至少一个在图像中识别出的光反射时，在激活(820)的步骤中激活所述附加的状态(4)。
6.带有单元(702、704、706、707、708、710、712、714)的设备(110)，所述单元构造用于实施和/或操控根据前述权利要求中任一项所述的方法(800)。
7.机器能读取的存储介质，在所述机器能读取的存储介质上存储了计算机程序，所述计算机程序构造用于实施和/或操控根据权利要求1至5中任一项所述的方法(800)。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017207206.7A DE102017207206A1 (de) | 2017-04-28 | 2017-04-28 | Verfahren und Vorrichtung zum Ansteuern eines Fahrerbeobachtungssystems zum Beobachten eines Fahrers eines Fahrzeugs |
| DE102017207206.7 | 2017-04-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108852382A CN108852382A (zh) | 2018-11-23 |
| CN108852382B true CN108852382B (zh) | 2023-06-23 |
Family
ID=63797187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810394656.4A Active CN108852382B (zh) | 2017-04-28 | 2018-04-27 | 用于操控用来观察车辆驾驶员的驾驶员观察系统的方法和设备 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN108852382B (zh) |
| DE (1) | DE102017207206A1 (zh) |
| FR (1) | FR3065812B1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102021113811A1 (de) | 2021-05-28 | 2022-12-01 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zur Innenraumüberwachung eines Fahrzeugs |
| DE102022212918A1 (de) | 2022-12-01 | 2024-06-06 | Robert Bosch Gesellschaft mit beschränkter Haftung | Steuereinrichtung für eine Einrichtung zur Passagierüberwachung in einem Kraftfahrzeug, Fahrerüberwachungsmodul und Verfahren zur Passagierüberwachung |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118237A (zh) * | 2015-09-16 | 2015-12-02 | 苏州清研微视电子科技有限公司 | 用于疲劳驾驶预警系统的智能照明系统 |
| CN105358045A (zh) * | 2013-07-09 | 2016-02-24 | 斯玛特艾公司 | 眼凝视成像 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7777778B2 (en) * | 2004-10-27 | 2010-08-17 | Delphi Technologies, Inc. | Illumination and imaging system and method |
| EP2238889B1 (en) * | 2009-04-01 | 2011-10-12 | Tobii Technology AB | Adaptive camera and illuminator eyetracker |
| US9411417B2 (en) * | 2014-07-07 | 2016-08-09 | Logitech Europe S.A. | Eye gaze tracking system and method |
| DE102014215843A1 (de) * | 2014-08-11 | 2016-02-11 | Robert Bosch Gmbh | Fahrerbeobachtungssystem für ein Kraftfahrzeug |
| JP6346525B2 (ja) * | 2014-08-29 | 2018-06-20 | アルプス電気株式会社 | 視線検出装置 |
-
2017
- 2017-04-28 DE DE102017207206.7A patent/DE102017207206A1/de active Pending
-
2018
- 2018-04-20 FR FR1853492A patent/FR3065812B1/fr active Active
- 2018-04-27 CN CN201810394656.4A patent/CN108852382B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105358045A (zh) * | 2013-07-09 | 2016-02-24 | 斯玛特艾公司 | 眼凝视成像 |
| CN105118237A (zh) * | 2015-09-16 | 2015-12-02 | 苏州清研微视电子科技有限公司 | 用于疲劳驾驶预警系统的智能照明系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3065812A1 (fr) | 2018-11-02 |
| FR3065812B1 (fr) | 2022-07-29 |
| CN108852382A (zh) | 2018-11-23 |
| DE102017207206A1 (de) | 2018-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1986129B1 (en) | Face image capturing apparatus | |
| EP2637150B1 (en) | Vehicle peripheral area observation system | |
| US9787949B2 (en) | Apparatus to recognize illumination environment of vehicle and control method thereof | |
| EP3089442B1 (en) | Vehicle-mounted image recognition device | |
| US10007337B2 (en) | Eye gaze imaging | |
| JP5366028B2 (ja) | 顔画像撮像装置 | |
| US9002053B2 (en) | Iris recognition systems | |
| CN108852382B (zh) | 用于操控用来观察车辆驾驶员的驾驶员观察系统的方法和设备 | |
| KR101453806B1 (ko) | 영상데이터를 이용한 조명장치의 디밍제어시스템 | |
| KR101625538B1 (ko) | 도시방범이 가능한 다차선 자동차 번호판 인식시스템 | |
| JP2016049260A (ja) | 車載用撮像装置 | |
| JP6767482B2 (ja) | 視線検出方法 | |
| KR101806703B1 (ko) | 운전자 상태 모니터링 장치 | |
| CN111132599B (zh) | 具有减少的反射的图像获取 | |
| CN110069124B (zh) | 双模式视线追踪方法与系统 | |
| US20220272256A1 (en) | Information processing device, visual line detection system, visual line detection method, and visual line detection program | |
| US20220114816A1 (en) | Controlling an internal light source of a vehicle for darkening of glasses | |
| KR101344066B1 (ko) | 차량용 블랙박스의 조명 제어장치 및 그 방법 | |
| EP3226554B1 (en) | Imaging device and vehicle | |
| US9264596B2 (en) | Security camera system and method for eliminating video aberrations from excessive IR illumination | |
| CN113657427B (zh) | 一种车内多源图像融合识别方法及装置 | |
| JP2004072478A (ja) | 物体検知方法及び物体検知装置 | |
| US20160080674A1 (en) | Method and control unit for operating an image sensor | |
| KR20170004436A (ko) | 조명 제어 방법 및 그를 이용한 조명 제어 시스템 | |
| CN117215401A (zh) | 使用ir和环境光的混合像素动态视觉传感器跟踪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |