CN111591242A - 确定头部定向/定位的方法、控制器和计算机程序产品 - Google Patents

确定头部定向/定位的方法、控制器和计算机程序产品 Download PDF

Info

Publication number
CN111591242A
CN111591242A CN202010098550.7A CN202010098550A CN111591242A CN 111591242 A CN111591242 A CN 111591242A CN 202010098550 A CN202010098550 A CN 202010098550A CN 111591242 A CN111591242 A CN 111591242A
Authority
CN
China
Prior art keywords
sensor
head orientation
positioning
controller
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010098550.7A
Other languages
English (en)
Inventor
约尔格·安格迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of CN111591242A publication Critical patent/CN111591242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Air Bags (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明涉及确定车辆乘员的头部定向/定位的方法、控制器和计算机程序产品，该方法包括以下步骤：依赖于相对于第一传感器的布置的不同的头部定向和/或定位来确定布置在车辆的内部空间中的第一成像传感器的针对头部定向和/或定位的第一检测区域；依赖于相对于第二传感器的布置的不同的头部定向和/或定位来确定布置在车辆的内部空间中的至少一个第二成像传感器的针对头部定向和/或定位的第二检测区域；并且依赖于车辆乘员的头部定向和/或定位地利用如下那个传感器来确定头部定向和/或定位，在这个传感器的检测范围中能比在另一传感器的检测范围中更好地确定头部定向和/或定位。

Description

确定头部定向/定位的方法、控制器和计算机程序产品
技术领域
本发明涉及用于确定车辆乘员的头部定向和/或定位的方法、控制器和计算机程序产品。此外，本发明涉及具有根据本发明的控制器的车辆的内部空间监控系统。此外，本发明还涉及计算机可读的数据载体，在其上存储有根据本发明的计算机程序产品。
背景技术
用于控制机动车中的安全系统的设备是公知的。例如，DE19932520A1公开了一种用于依赖于来自用于检测机动车辆的座椅上的对象和/或人的定位的传感器的输出信号来控制机动车辆中的至少一个安全系统的设备，其中，将至少两个指向座椅的相机设置为传感器，其中，在评估单元中，用在相机中记录的二维图片获得对象和/或人的三维图像，从该三维成像推导出输出信号，其中，能经由评估单元将位于座椅上的人的头部的大小和/或形状作为输出信号输出。
在凭借相机系统进行探测的情况下可行的是，由头部来确定定位和定向。实现针对所有头部姿势的高精度是大问题。
发明内容
基于此开始本发明。本发明的任务在于优化头部定位数据。
在说明书和附图中阐述了本发明和本发明的实施例。
根据本发明的方法用于确定车辆乘员的头部定向和/或定位。该方法通过如下方式来解决，即，首先依赖于相对于第一传感器的布置的不同的头部定向和/或定位来确定布置在车辆的内部空间中的第一成像传感器的针对头部定向和/或定位的第一检测区域。此外，首先依赖于相对于第二传感器的布置的不同的头部定向和/或定位来确定布置在车辆的内部空间中的至少一个第二成像传感器的针对头部定向和/或定位的第二检测区域。依赖于车辆乘员的头部定向和/或定位地，利用如下那个传感器来确定头部定向和/或定位，在这个传感器的检测范围中能比在另一传感器的检测范围中更好地确定所述头部定向和/或定位。
通过使用多个成像传感器，基于传感器在内部空间中的定位，获得了针对不同的头部姿势的不同的精度。根据本发明，借助前两个方法步骤事先测定了两个传感器的精度。例如，第一成像传感器布置在车辆的方向盘后面的挡风玻璃上。第二成像传感器例如布置在车辆乘员右侧的车辆顶篷上。当车辆乘员朝方向盘看时，第一成像传感器具有每+/-1°下+/-0.5cm的精度。在这种情况下，第二成像传感器仅具有每+/-1°下1.0cm的精度。当车辆乘员向右上方看时，第一个成像传感器具有每+/-10°下+/-3.5cm的精度。在这种情况下，第二成像传感器具有每+/-1°下0.5cm的更高精度。这些精度例如事先通过测试来获知，其中，利用测量系统测定头部定向和/或定位。在主动使用中，于是只使用如下那些传感器的数据，在这些传感器的各自的检测区域中达到了用于确定头部定向和/或定位的更高的精度。当检测区域是已知的时，则可以自动化地切换到各自的检测区域。例如当头部从第一定位(在其中，第一传感器直接沿车辆乘员的视线装配)转动到第二定位(在其中，视线指向第二传感器)时，则第二传感器可以比第一传感器更好地确定头部定向。头部基本上位于第二检测区域的中心。通过根据本发明更准确地确定头部定向和/或定位，使得更准确地确定和触发了依赖于准确了解头部定向和/或定位的与安全相关的功能，例如触发安全气囊。因此，利用本发明总体上提高了在行驶时的安全性。车辆乘员例如是驾驶员或副驾驶员或乘客。根据本发明，因此提高了确定头部定向和/或定位的精度。利用更准确地确定头部方向和/或定位，可以更有效地驱控安全系统，尤其是安全气囊或安全带张紧器。
根据本发明的另一方面，使用了多个成像传感器。为了确定车辆乘员的头部定向和/或定位，仅将如下那些传感器的数据融合，在这些传感器的各自的检测范围都能准确地确定头部定向和/或定位。因此优化了数据融合，并在安全性和计算能力方面改善了头部定向和/或定位的确定。
优选地，该方法由计算机实施。
根据本发明的控制器被配置成用于自动化的驾驶功能。控制器包括至少一个第一接口，以便获得第一成像传感器和至少一个第二成像传感器的数据。控制器还包括计算机。该计算机包括存储器，在存储器中已经存储了根据本发明的方法的前两个方法步骤的结果。计算机被配置成用于也利用多个传感器和数据融合来实施根据本发明的方法的最后的方法步骤，以便依赖于车辆乘员的被确定的头部方位和/或定位地来确定信号。此外，控制器还包括第二接口，以便输出该信号。
控制器将来自传感器的数据作为输入信号进行整理，该输入信号借助计算机，例如计算机平台进行处理，并且提供逻辑和/或功率电平作为调节或控制信号。所确定的信号是调节或控制信号。利用所确定的信号经由第二接口来调节并控制车辆执行器，尤其是用于纵向和/或横向控制部的和/或安全系统的执行器，以便能够实现自动化的或自主的驾驶运行。控制器经由第一接口在信号技术上与传感器连接。第一接口可以是一个构件或包括多个构件，即每个传感器一个构件。数据交换有线地或无线地进行，例如经由无线电技术进行。控制器被整合在道路车辆的车载电网中。控制器尤其是用于自动化的驾驶功能的电子控制器，其在英语中被称为域ECU、尤其是ADAS/AD域ECU。
控制器的计算机例如作为具有模块化的硬件构思的片上系统(System-on-a-Chip)来实现，也就是说，全部的或其中至少大部分的功能被集成在一个芯片上并且可以以模块化的方式扩展。该芯片能被集成到控制器中。该计算机包括例如多核处理器和存储器模块。多核处理器被配置成用于与存储模块进行信号/数据交换。例如，多核处理器包括总线系统。存储器模块形成主存储器。存储器模块例如是RAM、DRAM SDRAM或SRAM。在多核处理器中，多个核被布置在唯一的芯片上，也就是说半导体结构元件上。与多处理器系统相比，多核处理器实现了更高的计算能力并且更廉价地在一个芯片中实施，在多核处理器中，每个单个的核布置在处理器插槽中，而各个处理器插槽布置在主板上。计算机优选包括至少一个中央处理器，在英语中被称为Central Processing Unit，简称为CPU。计算机还包括至少一个图形处理器，英文被称为Graphic Processing Unit，简称GPU。图形处理器具有用于对进程进行并行处理的特殊的微体系结构。尤其地，图形处理器包括至少一个处理单元，该处理单元被特别地实施成用于实施张量和/或矩阵乘法。张量和/或矩阵乘法是用于深度学习的中央计算操作。计算机优选还包括用于人工智能的硬件加速器，尤其是所谓的深度学习加速器(Deep Learning Accelerator)。此外，计算机或控制器被配置成用于模块化地利用多个、优选是至少四个这样的芯片进行扩展。因此，计算机整体上针对机器学习进行了优化并可扩展，也就是说计算机可以匹配不同的SAE J3016级别。
在本发明的优选的改进方案中，计算机被配置成用于确定针对成像传感器的数据的置信度。这意味着计算机规定了针对成像传感器的数据的置信度，也就是说计算机在识别到对象时可靠性是怎样的。例如，如果成像传感器被遮挡，则计算机确定该传感器的置信度＝0，在这种情况下，使用来自另一个成像传感器的数据。例如，当乘员向右看时，则例如布置在方向盘后方的相机的置信度为50％，而例如沿车辆乘员的视线布置的相机的置信度为100％。因此可以确保仅将如下那些成像传感器用于对象识别，这些成像传感器提供了最佳数据，也就是说具有最大置信度的数据。如果两个成像传感器提供了具有相同的置信度的数据，则可以将这些数据融合。
根据本发明的车辆的内部空间监控系统包括第一成像传感器和至少一个第二成像传感器。内部空间监控系统还包括根据本发明的控制器。在传感器与控制器之间进行数据交换。
内部空间监控系统是用于对车辆乘员进行定方位和/或分类、优选是三维识别的传感器系统。内部空间监控系统尤其提供用于与安全相关的方面的数据，例如依赖于车辆乘员的定位或内部空间温度地利用哪种力来触发安全气囊和/或安全带张紧器。内部空间监控系统还确定了另外的自适应的安全功能的使用。利用根据本发明的控制器，使得内部空间监控系统可以特别准确地确定头部的定向和/或定位。因此，内部空间监控系统可以例如特别准确地确定驾驶员是否正在注视道路，以便如果车辆先前被自动控制，决定驾驶员是否可以接管车辆的控制，在英语中被称为take-over。
优选地，第一传感器优选是2D相机的传感器，而第二传感器是3D相机、尤其是飞行时间相机的传感器。2D相机是廉价的。2D相机是例如2D单目相机。替选地，第二传感器是2D立体相机系统的传感器。2D立体相机系统相当于3D相机。3D相机提供深度信息并且因此改善了对头部定向和/或定位的确定。借助融合来自2D相机和3D相机的数据，可以进一步优化对头部定向和/或定位的确定。使用飞行时间相机(在英文中被称为time-of-flight(TOF))可以经由对光飞行时间进行逐像素测量来获得头部的深度图像。第二传感器尤其是LIDAR传感器。使用LIDAR传感器，借助光脉冲扫描环境，以便获得环境的2D或3D表示。
根据本发明的计算机程序产品用于确定车辆乘员的头部定向和/或定位。该计算机程序产品包括软件代码段。当计算机程序在根据本发明的内部空间监控系统的控制器上运行时，该软件代码段引起了根据本发明的内部空间监控系统实施根据本发明的方法。
计算机程序产品的软件代码段是命令序列，通过该命令序列，使得控制器在加载计算机程序时促使了对车辆乘员的头部定向和/或定位的确定，并且依赖于该确定结果输出信号，尤其是用以控制与安全相关的车辆功能。因此，计算机程序产品引起技术上的效果。
优选地，计算机程序产品包括如下软件代码段，该软件代码段引起控制器确定对来自内部空间监控系统的成像传感器的数据的置信度。
本发明的另一方面是计算机可读的数据载体，在其上存储了根据本发明的计算机程序产品。例如，控制器将数据载体在计算机的存储模块中加载并实施。数据载体例如是USB棒、SD卡，有利的是具有集成的WLAN功能的SD卡、CD、DVD或BlueRay-Disc(蓝光)。
附图说明
在附图中说明了实施例。其中：
图1示出根据本发明的内部空间监控系统的第一实施例；
图2示出根据本发明的内部空间监控系统的第二实施例；并且
图3示出根据本发明的控制器的实施例，其具有根据本发明的方法的示意图。
在附图中，相同的附图标记标注了相同或功能相似的参考部分。为了清楚起见，在附图中仅说明了分别相关的参考部分，以便避免重复。
具体实施方式
图1和2中示出了在乘用车辆的内部空间2中的车辆乘员1。车辆乘员1是坐在方向盘3后面的驾驶员座位上的驾驶员。
内部空间2包括内部空间监控系统20。在图1中示出了内部空间监控系统20中的第一成像传感器S1和第二成像传感器S2。第一成像传感器S1是2D单目相机，其装配在方向盘3后面的挡风玻璃上。在第一成像传感器S1的第一检测区域E1中，能特别精确地确定当向正前方看时的第一头部定向K1和定位。第二成像传感器S2是3D相机，其装配在车辆乘员右上方的车辆顶篷上。在第二成像传感器S2的第二检测区域E2中，能特别精确地确定当向右看时的第二头部定向K2和定位。检测区域E1和E2已经依赖于不同的头部定向和定位被确定。如果车辆乘员1向正前方看，则使用第一成像传感器S1的数据来确定头部定向K1和定位。如果车辆乘员1向右看时，则使用第二成像传感器S2的数据来确定头部定向K2和定位。在这种情况下，利用第二成像传感器S2更精确地确定头部定向K2和定位。如果车辆乘员1的视线指向第一成像传感器S1与第二成像传感器S2之间的空间，则两个传感器S1和S2的数据被融合。
图3示出了在内部空间监控系统20中的根据本发明的控制器10。
控制器10包括第一接口11。控制器10经由第一接口11在信号技术上与内部空间监控系统20的成像传感器S1和S2连接。传感器S1和S2的数据经由第一接口11提供给控制器的计算机12。计算机12包括存储器13。在主动使用内部空间监控系统20之前，已经执行了以下方法步骤：
·V1：依赖于相对于第一传感器S1的布置的不同的头部定向K1、K2和/或定位来确定第一成像传感器S1的针对头部定向K1、K2和/或定位的第一检测区域E1
并且
·V2：依赖于相对于第二传感器S2的布置的不同的头部定向K1、K2和/或的定位来确定至少是第二成像传感器S2的针对头部定向K1、K2和/或定位的第二检测范围E2。
方法步骤V1和V2的结果存储在存储器13中。计算机12实施方法步骤V3，即依赖于车辆乘员1的头部定向K1、K2和/或定位地利用如下那个传感器S1、S2来确定头部定向K1、K2和/或定位，在这个传感器的检测范围E1、E2中能比在另一传感器S1、S2的检测范围E1、E2中更好地确定头部定向K1、K2和/或定位。在实施方法步骤V3期间，计算机12访问存储在存储器13中的结果。计算机12依赖于所确定的头部定向K1、K2和/或定位地获得用于驱控车辆执行器的信号S作为结果。该信号S经由控制器10的第二接口14提供。
附图标记列表
1 车辆乘客
2 内部空间
3 方向盘
E1 第一检测区域
S1 第一成像传感器
K1 第一头部定向
E2 第二检测区域
S2 第二成像传感器
K2 第二头部定向
10 控制器
11 第一接口
12 计算机
13 存储器
14 第二接口
20 内部空间监控系统

Claims (10)

1.用于确定车辆乘员(1)的头部定向(K1、K2)和/或定位的方法，所述方法包括以下步骤：
·依赖于相对于第一传感器(S1)的布置的不同的头部定向(K1、K2)和/或定位来确定布置在车辆的内部空间(2)中的第一成像传感器(S1)的针对头部定向(K1、K2)和/或定位的第一检测区域(E1)(V1)，
·依赖于相对于第二传感器(S2)的布置的不同的头部定向(K1、K2)和/或定位来确定布置在车辆的内部空间(2)中的至少一个第二成像传感器(S2)的针对头部定向(K1、K2)和/或定位的第二检测区域(E2)(V2)并且
·依赖于所述车辆乘员(1)的头部定向(K1、K2)和/或定位地利用如下那个传感器(S1、S2)来确定所述头部定向(K1、K2)和/或定位，在这个传感器的检测范围(E1、E2)中能比在另一传感器(S1、S2)的检测范围(E1、E2)中更好地确定所述头部定向(K1、K2)和/或定位。
2.根据权利要求1所述的方法，所述方法利用多个成像传感器(S1、S2)，其中，仅将如下那些传感器(S1、S2)的数据融合用于确定所述车辆乘员(1)的头部定向(K1、K2)和/或定位，在这些传感器的各自的检测区域(E1、E2)中都能准确地确定头部定向(K1、K2)和/或定位。
3.根据权利要求1或2所述的方法，其中，所述方法由计算机实施。
4.用于自动化的驾驶功能的控制器(10)，所述控制器包括
·至少一个第一接口(11)，以便获得第一成像传感器和至少一个第二成像传感器(S1、S2)的数据，
·计算机(12)，所述计算机包括存储器(13)，在所述存储器中已经存储了根据权利要求1的方法所述的方法步骤V1和V2的结果，其中，所述计算机被配置成用于实施方法权利要求1的方法步骤V3或实施根据权利要求2所述的方法，以便依赖于车辆乘员(1)的被确定的头部定向(K1、K2)和/或定位地来确定信号(S)，和
·第二个接口(14)，以便输出所述信号。
5.根据权利要求4所述的控制器(10)，其中，所述计算机(12)被配置成确定针对所述成像传感器(S1、S2)的数据的置信度。
6.车辆的内部空间监控系统(20)，所述内部空间监控系统包括第一成像传感器和至少一个第二成像传感器(S1、S2)以及根据权利要求4或5所述的控制器(10)，其中，在所述传感器(S1、S2)与所述控制器之间进行数据交换。
7.根据权利要求6所述的内部空间监控系统(20)，其中，所述第一传感器(S1)是2D相机的传感器，并且所述第二传感器(S2)是3D相机的传感器。
8.用于确定车辆乘员(1)的头部定向(K1、K2)和/或定位的计算机程序产品，所述计算机程序产品包括软件代码段，当所述计算机程序在根据权利要求6或7所述的内部空间监控系统(20)的根据权利要求4或5所述的控制器(10)上运行时，所述软件代码段引起了所述内部空间监控系统(20)实施根据权利要求1至3中任一项所述的方法。
9.根据权利要求8所述的计算机程序产品，其包括引起了所述控制器(10)对针对所述内部空间监控系统(20)的成像传感器(S1、S2)的数据的置信度进行确定的软件代码段。
10.计算机可读的数据载体，其上存储有根据权利要求8或9所述的计算机程序产品。
CN202010098550.7A 2019-02-20 2020-02-18 确定头部定向/定位的方法、控制器和计算机程序产品 Pending CN111591242A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019202302.9 2019-02-20
DE102019202302.9A DE102019202302B3 (de) 2019-02-20 2019-02-20 Verfahren, Steuergerät und Computerprogrammprodukt zum Bestimmen einer Kopforientierung und/oder -position eines Fahrzeuginsassen

Publications (1)

Publication Number Publication Date
CN111591242A true CN111591242A (zh) 2020-08-28

Family

ID=68886486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098550.7A Pending CN111591242A (zh) 2019-02-20 2020-02-18 确定头部定向/定位的方法、控制器和计算机程序产品

Country Status (4)

Country Link
US (1) US11763577B2 (zh)
EP (1) EP3699866A1 (zh)
CN (1) CN111591242A (zh)
DE (1) DE102019202302B3 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019217218A1 (de) * 2019-11-07 2021-05-12 Zf Friedrichshafen Ag Computerimplementiertes Verfahren zum Bestimmen einer Kopfhaltung eines Fahrzeuginsassen für ein Fahrzeugsteuerungssystem, Steuergerät für automatisierte Fahrfunktionen, Innenraumüberwachungssystem eines Fahrzeuges und Computerprogrammprodukt zum Bestimmen einer Kopfhaltung
KR102537668B1 (ko) 2021-03-26 2023-05-30 현대모비스 주식회사 차량용 승객 보호장치 및 그 제어방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8152198B2 (en) * 1992-05-05 2012-04-10 Automotive Technologies International, Inc. Vehicular occupant sensing techniques
DE19932520A1 (de) 1999-07-12 2001-02-01 Hirschmann Austria Gmbh Rankwe Vorrichtung zur Steuerung eines Sicherheitssystems
DE10321506B4 (de) * 2003-05-13 2006-10-05 Siemens Ag Verfahren zur Bestimmung der aktuellen Kopfposition von Fahrzeuginsassen
US7508979B2 (en) 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
DE102008040149A1 (de) * 2008-07-03 2010-01-07 Robert Bosch Gmbh Vorrichtung und Verfahren zur Freigabe einer automatischen Führung eines Fahrzeugs
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
DE102016210088B3 (de) * 2016-06-08 2017-07-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung einer Umgebung eines Kraftfahrzeugs
DE102016215766A1 (de) * 2016-08-23 2018-03-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Innenraumkamera
EP3737579B1 (en) * 2018-01-09 2023-06-28 Motherson Innovations Company Limited Autonomous vehicles and methods of using same
JP7292063B2 (ja) * 2019-03-08 2023-06-16 株式会社Subaru 乗員保護機能を有する車両

Also Published As

Publication number Publication date
US20200265253A1 (en) 2020-08-20
DE102019202302B3 (de) 2020-01-02
EP3699866A1 (de) 2020-08-26
US11763577B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
RU2720849C2 (ru) Способ для наблюдения за салоном транспортного средства
CN107914713B (zh) 车辆用显示装置及包括其的车辆
US10935643B2 (en) Sensor calibration method and sensor calibration apparatus
KR101375372B1 (ko) 자동차의 비젼 시스템 및 비젼 방법
KR102399130B1 (ko) 차량의 주행 환경 인식 장치, 방법 및 시스템
JP6365385B2 (ja) 立体物検出装置及び立体物検出方法
CN211956161U (zh) 一种域控制器系统及汽车
CN113168691A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
CN111591242A (zh) 确定头部定向/定位的方法、控制器和计算机程序产品
US10796569B2 (en) Vehicle determination apparatus, vehicle determination method, and computer readable medium
CN112041886A (zh) 根据一周围环境传感器的测量数据识别一车辆轮廓
US11380110B1 (en) Three dimensional traffic sign detection
US20210103752A1 (en) Recognition device, recognition method, and storage medium
US20210284163A1 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
US20220206153A1 (en) Vehicular sensing system and vehicle
JP7452374B2 (ja) 物体検知装置および物体検知プログラム
CN111717201B (zh) 车辆系统、车辆系统的控制方法及存储介质
US20230406250A1 (en) Vehicle for protecting occupant and operating method thereof
US11820393B2 (en) Functionally safe rationalization check for autonomous vehicle machine learning algorithms
US20220237899A1 (en) Outside environment recognition device
US20220281446A1 (en) Control device, mobile object, control method, and computer-readable storage medium
US11524681B2 (en) Control apparatus for vehicle, control method for vehicle, and computer-read able recording medium
US20210389463A1 (en) Apparatus for clustering lidar data, system having the same and method thereof
US20220237923A1 (en) Object detection device, object detection method, and storage medium
US11613259B2 (en) Vehicle control device, vehicle control method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination