CN108334818B - 用于识别车辆中的对象的方法和设备 - Google Patents

用于识别车辆中的对象的方法和设备 Download PDF

Info

Publication number
CN108334818B
CN108334818B CN201810039961.1A CN201810039961A CN108334818B CN 108334818 B CN108334818 B CN 108334818B CN 201810039961 A CN201810039961 A CN 201810039961A CN 108334818 B CN108334818 B CN 108334818B
Authority
CN
China
Prior art keywords
image
vehicle
illumination
projection
illuminated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810039961.1A
Other languages
English (en)
Other versions
CN108334818A (zh
Inventor
J.福尔廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN108334818A publication Critical patent/CN108334818A/zh
Application granted granted Critical
Publication of CN108334818B publication Critical patent/CN108334818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00Safety belts or body harnesses in vehicles
    • B60R22/48Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556Child-seat detection systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)

Abstract

本发明涉及一种用于识别车辆(100)中的对象(108)的方法,其中,车辆(100)具有用于以不同的照明设定来照明对象(108)的照明装置(104)并且具有用于记录对象(108)的图像(112,114,116)的图像记录装置(106)。在此,读取(310)第一图像(112)和第二图像(114),第一图像代表在以第一照明设定来照明对象(108)时产生的在对象(108)上的第一投影,第二图像代表在以第二照明设定来照明对象(108)时产生的在对象(108)上的第二投影。在接下来的步骤中,处理第一图像(112)和第二图像(114),以便根据这两个不同的投影来识别对象(108)的表面结构和/或位置。

Description

用于识别车辆中的对象的方法和设备
技术领域
本发明从根据独立权利要求所述类型的设备或方法出发。计算机程序也是本发明的主题。
背景技术
车辆可以配备有安全带警告系统,也称作安全带提醒装置。在此,例如可以将座位垫用于测量座位占用,因为通常仅仅被占用的座位对于安全带警告来说相关。座位垫例如可以在不同的人群之间进行区分,诸如在婴儿座椅中的婴儿、儿童或成人之间进行区分。除了座位垫之外,也已知用于检测安全带锁的打开的或关闭的状态的安全带锁传感器。此外,已知用于车辆内室监控的摄像机系统。
发明内容
在此背景下,利用在此所提出的方案来提出根据主权利要求所述的用于识别车辆中的对象的方法、使用所述方法的设备以及最终提出根据主权利要求所述的相应的计算机程序。通过在从属权利要求中所列举的措施能够实现在独立权利要求中所说明的设备的有利的扩展方案和改进方案。
提出一种用于识别车辆中的对象的方法,其中,所述车辆具有用于以不同的照明设定来照明所述对象的照明装置并且具有用于记录所述对象的图像的图像记录装置,其中,所述方法包括以下步骤:
读取第一图像和第二图像,所述第一图像代表在以第一照明设定照明所述对象时产生的在所述对象上的第一投影(Schattenwurf),所述第二图像代表在以第二照明设定照明所述对象时产生的在所述对象上的第二投影;以及
处理所述第一图像和所述第二图像,以便根据所述第一投影和所述第二投影识别所述对象的表面结构和/或位置。
对象可以理解为例如车辆乘客、尤其车辆乘客的脸或者儿童座位或者婴儿座椅。照明装置可以被理解为例如用于以可见光和/或以红外光照明对象的常规的内室照明设备。照明装置可以例如包括定位在内室中的不同的位置处的多个照明单元,以便能够从不同的方向照明所述对象。图像记录装置可以被理解为例如用于监控车辆内室的摄像机。第一和第二照明设定可以例如鉴于车辆内室中的通过照明装置产生的光分布方面相互区别。投影不仅可以被理解为连续的亮度变化过程而且还可以被理解为短暂投影(Schlagschatten)。在保持反射比不变的情况下的连续的亮度变化过程例如可以通过到表面上的入射角的改变或通过相对于照明单元来说的对象角(Objektwinkel)的改变来进行。对象角的改变和因此亮度的改变在球状的面的情况下连续地进行。这也可以被称作余弦相关性。根据在此的理解,投影可以取决于入射光强度、与方向角相关的反射比以及入射角。
在此提出的方案基于以下认识:在黑暗中机动车中的内室传感可以通过对内室同步、交替的照明来改善。通过内室照明设备的利用对图像评估的同步进行的单独操控能够实现:经由以不同方式照明的并因此以不同方式投影的图像来实现对内室状况的评估。有利地,如果典型的内室照明设备如此被操控,使得实现不同的照明状况,所述照明状况能够实现在平面的2D对象与突出(erhaben)的3D对象之间的区分,则可以在此有利地省去在黑暗中对内室的红外照明。例如,照明装置也可以被适配于摄像机的灵敏性。通过利用现有的内室照明设备用于内室传感,例如可以放弃附加的辅助照明。通过利用在此提出的利用红外光的方案,可以通过不同的照明实现在平面的2D对象与突出的3D对象之间的区分和/或实现为了评估来改善的对内室场景的照明。
通过认识光源的位置,此外从投影不仅可以确定表面结构,而且同时也可以估计对象的位置。这主要在点状的光源(例如LED-光源)和头相对于光源的接近的间距的情况下变得可能。于是,小的位置改变也强烈地影响投影。因此,在第一步骤中进行确认:对象涉及三维对象,其中,那么在接着的第二步骤中可以确定对对象的位置的估计。然而,第二步骤不是必然必需的,因为也可以在没有确认的情况下简单地利用对3D对象的假设来估计位置。
根据一种实施方式,可以在所述处理的步骤中产生所述对象的三维模型,以便根据所述三维模型识别所述表面结构。三维模型可以例如逐个像素地通过确定被分配给对象的像点相对于图像记录装置的相应间距来产生。通过该实施方式能够实现对对象的表面结构的精确的和可靠的识别。附加地或可替代地,可以测量对象的位置。当每个像素相对于相邻像素的间距已知时,才能够例如特别好地确定这样的位置,这对于被动安全性领域中的其他应用情况是有利的。在这种情况下,可以特别有利地将红外光用于照明。
根据另一个实施方式,在所述处理的步骤中可以使用至少一个亮度阈值,以便确定代表所述第一投影的第一亮度变化过程,或者附加地或可替代地,确定代表所述第二投影的第二亮度变化过程。在此,可以根据这两个亮度变化过程中的至少一个亮度变化过程来识别所述表面结构。通过该实施方式可以减少在对表面结构的识别情况下的计算耗费。因此可以提高所述方法的效率。
有利的是,在所述处理的步骤中逐个像素地确定所述对象与所述照明装置之间的间距,以便识别所述表面结构。由此可以以尽可能高的分辨率识别表面结构。
所述方法还可以包括评估所述表面结构的步骤,以便将车辆乘客或儿童座位识别为所述对象。例如,所述对象可以借助合适的分类来被识别为车辆乘客或儿童座位。由此,可以在识别对象时在车辆乘客和儿童座位之间进行区分。
此外,所述第一图像或所述第二图像可以代表一个在以可见光照明所述对象时所记录的所述对象的图像。可替代地,所述两个图像可以代表各一个在利用可见光照明所述对象时所记录的、对象的图像。由此,可以在使用常规的内室照明设备的情况下识别表面结构。因此,可以放弃用于识别表面结构的附加的照明装置。
此外,所述方法可以包括根据所述车辆的至少一个门的姿态(Stellung)来操控所述照明装置或者附加地或可替代地来操控所述图像记录装置的步骤。由此可以提高对象识别的效率。
根据另一实施方式,可以在所述读取的步骤中读取至少一个第三图像。所述第三图像可以代表在以第三照明设定照明所述对象时产生的在所述对象上的第三投影。与此相应地,在所述处理的步骤中可以处理所述第三图像以便识别所述表面结构。由此,可以根据对象上的多个不同的投影来识别表面结构。因此可以进一步提高所述方法的可靠性。
所述方法例如可以以软件或硬件或以软件和硬件的混合形式,例如在控制设备中被实施。
在此提出的方案还实现一种设备,所述设备被构造用于在相应的装置中执行、操控或者实现在此提出的方法的变型方案的步骤。通过以设备形式的本发明的实施变型方案也可以快速和有效地解决本发明所基于的任务。
为此,设备可以具有用于处理信号或数据的至少一个计算单元、用于存储信号或数据的至少一个存储单元、用于传感器或执行器的用于从传感器读取传感器信号或用于输出数据信号或控制信号到执行器上的至少一个接口和/或用于读取或输出数据的至少一个通信接口,所述数据嵌入到通信协议中。计算单元可以是例如信号处理器、微控制器等等,其中,所述存储单元可以例如是闪存、EPROM或磁性存储单元。通信接口可以被构造用于无线地和/或有线地读取或输出数据,其中,可以读取或输出有线的数据的通信接口可以例如以电的方式或以光学的方式从相应的数据传输线路读取数据或将数据输出到相应的数据传输线路中。
设备在此可以被理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式构造的情况下,接口例如可以是所谓的系统ASIC的包含所述设备的最不同功能的一部分。然而,也可能的是,接口是自己的、集成的电路或至少部分地由分立的部件组成。在按软件方式构造的情况下,接口可以是软件模块,其例如除了其他软件模块以外也存在于微控制器上。
在一种有利的构型中,通过所述设备实现车辆的控制。为此,所述设备例如可以访问传感器信号、例如加速度信号、压力信号、转向角信号或环境传感器信号。该操控经由执行器、例如车辆的制动执行器或转向执行器或发动机控制设备来进行。
在另一种有利的构型中,进行车辆的保护装置的适配、例如安全气囊或安全带收紧器的触发条件。在另一种有利的构型中进行信息功能/警告功能的适配,例如在座位上使用婴儿座椅的情况下安全带警告功能的或安全气囊关断信息的适配。
具有程序代码的计算机程序产品或者计算机程序也是有利的,所述程序代码可以被存储在机器可读的载体或者存储介质、例如半导体存储器、硬盘存储器或光学存储器上并且被用于:尤其当在计算机或者设备上运行所述程序产品或者程序时,执行、实现和/或操控根据先前所描述的实施方式之一所述的方法的步骤。
附图说明
在附图中示出并且在以下的描述中进一步阐述本发明的实施例。其中:
图1 示出具有根据一个实施例的设备的车辆的示意图;
图2 示出根据一个实施例的设备的示意图;
图3 示出根据一个实施例的方法的流程图;
图4 示出根据一个实施例的方法的流程图;
图5 示出在车辆中的不同的照明条件下脸的示意图;和
图6 示出具有相同的亮度的阈值的平面的、不均匀的对象的示意图。
具体实施方式
在本发明的有利的实施例的后续描述中,对于在不同附图中示出并且起类似作用的元素使用相同的或类似的附图标记,其中放弃对这些元素的重复描述。
图1示出具有根据一个实施例的设备102的车辆100的示意图。设备102与用于照明车辆100的内室的照明装置104、例如用于以可见光来照明内室的常规的内室照明设备以及与用于记录内室的图像的图像记录装置106、例如内室监控摄像机连接。可替代地,照明装置104被构造用于以在不可见的波长范围中的光来照明内室。车辆乘客108处于车辆100中,通过照明装置104以不同的照明设定来照明所述车辆乘客。这些照明设定例如在以下方面相互区别:照明装置104根据照明设定从不同的方向照明待照明的对象,在此示例性地照明车辆乘客108,从而在对象的表面结构上形成不同的投影(也即,所述投影在此可以理解为不同的光强度或每单位面积的光子数目),其中所述对象的表面结构在图1中通过车辆乘客108的脸来表征。根据实施例,照明设定附加地或替代地在发光强度方面相互区别。例如,设备102构造用于通过输出相应的控制信号110来如此操控照明装置104,使得依次以第一照明设定和以与第一照明设定不同的第二照明设定来照明车辆乘客108,从而在车辆乘客108的脸上在以第一照明设定进行照明时形成第一投影并且在以第二照明设定进行照明时形成第二投影。图像记录装置106被构造用于在以第一照明设定来照明车辆乘客108时记录至少一个第一图像112并且在以第二照明设定来照明车辆乘客108时记录至少一个第二图像114并且将这两个图像112、114传送给设备102。设备102处理这两个图像112、114,以便例如根据在第一图像112中成像的第一投影和在第二图像114中成像的第二投影以合适的方式重建车辆乘客108的脸或代表对象的表面结构(Structure from Shading(来自投影的结构))。设备102例如被构造用于,根据这两个投影来执行对象分类或个人的/个别的标识,通过对象分类或个人的/个别的标识可以在这两个图像112、114中将通过投影所代表的对象明确地识别为脸。特别在个人的或个别的标识中,例如可以理想地适配或调整束缚装置(Rückhaltemittel)。
根据一个实施例,设备102被构造用于如此操控照明装置104,使得附加地以至少一个与第一和第二照明设定不同的第三照明设定来照明车辆乘客108,从而在车辆乘客108的脸上形成相应的第三投影。与此相应地,图像记录装置106在以第三照明设定来照明车辆乘客108时记录车辆乘客108的相应的第三图像116,因此在所述第三图像上形成第三投影。第三图像116然后由设备102对于这两个图像112、114来说附加地被用于识别车辆乘客108。
图2示出根据例如如先前根据图1描述的设备的实施例的、设备102的示意图。设备102包括用于经由用于朝车辆乘客定向的图像记录装置的接口来读取第一图像112和第二图像114的读取单元210。读取单元210被构造用于将这两个图像112、114发送给设备102的处理单元220,所述处理单元被构造用于如此处理这两个图像112、114,使得根据在这两个图像112、114上成像(abbilden)的投影来明确地识别车辆乘客的脸的表面结构。作为处理的结果,处理单元220输出相应的识别信息222,所述识别信息例如代表通过照明装置照明的对象到类别“车辆乘客”的分配的结果、具体的车辆乘客的个人的或个别的标识例如用于调整束缚装置的参数或者类别“儿童座位”。识别信息222可以例如由车辆的控制设备进一步处理,以便能够在即将发生碰撞的情况下有针对性地、也即例如以与乘客相关的方式来触发束缚装置。
根据一个实施例,设备102包括用于通过输出控制信号110来操控车辆的照明装置的操控单元230。在此,读取单元210例如响应于控制信号110的输出来读取这两个图像112、114,这在图2中通过这两个单元210、230之间的箭头来标出。
操控单元230尤其被构造用于根据车辆的至少一个门的姿态、例如根据所述至少一个门的关闭状态或打开状态来操控照明装置。
可选地,操控单元230被构造用于以合适的方式来附加地操控车辆的图像记录装置。
图3示出根据一个实施例的方法300的流程图。用于识别车辆中的对象的方法300可以例如在使用如先前根据图1和2描述的那样的设备来执行。在此,在步骤310中读取第一图像和第二图像。在步骤320中进行这两个图像的处理,以便根据通过这两个图像所代表的投影来识别在车辆中所照明的对象的表面结构。
图4示出根据一个实施例的方法300、例如先前根据图3描述的方法的流程图。根据该实施例,方法300以步骤400开始。在另一个步骤402中检验,是否车辆的所有门被关闭。如果在此得出,这些门没有被关闭,则在步骤404中执行预先测量,在所述预先测量中,在打开的门的情况下已经借助照明装置以不同的照明设定来照明车辆的内室中的待识别的对象。如果相反在步骤402中得出,这些门被关闭,则在步骤406中,借助照明装置来调整内室中的确定的光分布,例如其方式是,激活照明装置的第一照明设定或第二照明设定。在步骤408中进行对相应的图像、例如第一图像和第二图像的记录。在步骤410中,将这两个图像相互计算(miteinander verrechnen),例如以便通过产生相应的3D模型来在计算上模拟(nachbilden)被照明的对象的表面结构。可选地,在步骤412中根据在步骤410中产生的3D模型确定人员的存在或类型。这两个步骤410、412可以例如是先前根据图3所描述的处理步骤320的分步骤。
例如为了所有待调整的光分布来重复这两个步骤406、408,这在图4中通过相应的箭头标出。
以步骤414结束所述方法300。
根据一个实施例,一旦车辆的门是被关闭的,评估就开始。由此确保,没有另外的人员进来。在已经关闭了门之后,开动(anfahren)不同的光分布。除了对光分布的硬的(hart)接通和关断之外,调暗同样是可能的,以便很少干扰乘客。因为图像记录通常仅仅需要数毫秒,所以光分布的切换几乎不被察觉地进行。乘客于是很少注意到(mitbekommen)测量。通过在切断内室照明设备时对精明的(geschickt)顺序的选择,还可以将测量设计得更不引人注意。如果已经测量了所有的光分布、必要时以多个重复来测量,如果测量不是明确的,则相互计算光分布。由例如计算成三维图示的图像于是推导出座位上的人员的存在。
附加地,分类是可能的,例如以儿童、婴儿座椅或成人来分类。只要这些门还是被打开的,就例如执行预先测量。预先测量可以包括与在关闭门之后相同的步骤。在此情况下,在打开的门的情况下可供使用的、长的持续时间是有利的。关闭门的人员在关闭门时运动,由此可以借助相应的运动分类器来识别人员的相应的姿势或表情。通过在预先测量中的可能的大的持续时间,能够良好地实现探测。在关闭门之后应仅仅测量,在先前所记录的场景上是否改变了什么。
图5示出在车辆中的不同的照明条件下脸500的示意图。脸500例如涉及图1中的车辆乘客的脸。示出的是脸的总共12个图示,所述图示以四列502、504、506、508和三行510、512、514来布置。例如在此涉及对坐在车辆的后面座椅排的中间的人员的记录。下面所使用的术语“前面”、“后面”、“左边”和“右边”应以行驶方向来理解(驾驶员坐在左前面)。
在第一列502中的记录中,接通左后面的内室照明设备,由此从左上方照明脸500。第二列504代表以下照明状况:在所述照明状况中,右后面的内室照明设备是激活的,由此从右上方照明脸500。在第三列506中,不仅左后面的照明而且右后面的照明也是激活的,从而在两侧从上方照明脸500。在第四列508中,前面的照明是激活的,因此从前面照明脸500。
根据照明状况形成的在脸500上的不同的投影在脸500的不同的记录中通过相应的阴影来示意性地标出。
在第一行510中,脸500如此示出,如其例如由图像记录装置所检测的那样。明暗过渡在此是软的(weich)并且连续的。为了图解所述照明,已经在第二行512中进行了灰度值变化过程的一种二进制化(Binarisierung)。在图像评估中,这例如通过亮度值的阈值形成来进行。附加地,在第二行512中绘出车辆乘客的鼻子的投影,以便阐明对所述记录的三维评估的可能性。
在第三行514中绘出相同亮度的线,如其例如在球状的对象、例如脸的情况下可能被测量的那样。替代二进制化,多个阈值也是可能的,所述阈值用于确定以相应的亮度变化过程形式的相应投影。亮度变化过程通过不同的线来被标出。
图6示出具有相同的亮度的阈值的平面的、不均匀的对象的示意图。示出的是图5中的第三行514。然而不同于图5,所记录的对象不是脸,而是平面的对象600。对象600虽然具有颜色和灰度值变化过程,通过其可以发现不同亮度的线,但是基于对象600的二维表面,在不同的照明条件下也并未得出这些线的值得一提的改变。
下面,再次以其他词语描述在此提出的方案的不同实施例。
通过其他车辆前灯或道路照明来对车辆内室的无源照明通常不足以进行连续的评估,因为外部光的存在不是持续地给出的。因此,例如作为对于连续的评估的补充,在此提出的方案利用车辆的内室照明设备,尤其例如在静止状态下或在车辆启动不久前。
根据一个实施例,借助照明装置改变车辆中的照明状况,其中,从每个照明状况记录至少一个图像。通过改变的照明状况,投影总是略微不同。这一方面具有以下优点:可以为了脸识别来选择和利用最优地曝光(belichtet)的图像。另一方面,能够实现:从投影精确地重建三维场景。
车辆内室中的亮度的变化例如在上车到车辆中之后进行,因为人们在此已经习惯内室照明设备被激活。
一些脸由图像处理仅很难地被识别为脸。这尤其当涉及单个图像或者在相同照明的情况下已经记录了仅仅非常少的图像的时候是这种情况。通过改变照明状况提高找到由个别的脸、姿势和表情和照明的合适组合的概率,因为虽然照明参数被变化,但车辆乘客的脸和姿势基本上保持不变。在不进行对照明的这样的变化的情况下,探测可能性可能受到限制。如果在探测时识别是不可靠的(unsicher),例如因为在多个照明状况其中的仅仅一个照明状况中已经识别出脸,则例如有针对性地对于相关的座位位置开始更长的照明系列(Beleuchtungsserie),由此增高车辆乘客运动和改变其表情或姿势的概率。
除了在脸识别中已提高的探测率之外,不同的照明也在个别的乘客安全性方面可以有助于对人员的个别标识,其中所述乘客安全性也称为Individual Occupant Safety(个别占有人安全性)或缩写为IOS。因此,可以通过不同的照明还更可靠地评估不同的方面,例如鼻脸部,这在黑暗中在无附加红外照明的情况下也能够实现正确标识的可能性。
在由投影重建3D结构时,充分利用以下事实:在照明三维对象时在背光的一侧上形成阴影。静态的照明具有以下缺点:不能够将阴影(通过较少的光输入引起的小的反射)与暗位置(dunkle Stelle)(通过强的光吸收引起的小的反射)区分。因此,例如可以保留(halten für)对于一个人的摄影图片(Fotografie),因为不能够将在摄影图片上的阴影的暗色(提高的吸收)与真实的阴影(小的反射)区分。
因为通过操控照明装置,照明状况是已知的,所以可以通过照明侧的变化来发现,什么已经通过投影被引起以及什么通过材料的反射(亮度)被引起。
通过照明条件的变化,例如由(在最紧急情形中甚至不运动的)2D记录来估计3D模型并且因此将被照明的对象可靠地识别为人或识别为婴儿座椅,等等。
根据一个实施例,通过对内室照明设备的光分布的认识、通过等照度-曲线(Isolux-Kurve)的比较来确定反射率或间距,例如作为共同的指数(Kennziffer)、例如作为光密度。通过对第二光分布的测量和认识,反射率和间距被相互分离。然后,对于每个像素准确地确定与照明装置的间距,由此产生对象的三维表示。间距不仅可以被理解为照明装置与对象之间的纵向的间距,而且可以被理解为与参考轴线、例如主辐射方向的间距。这可以例如作为空间中的位置作为极坐标(Polarkoordinaten)被示出。该间距在此可以作为重要的特征来考虑,该特征也可以由其他功能利用,例如用于对象跟踪测量的初始化。利用摄像机可以简单地测量相对运动。为了调整气囊点火时间(Airbagzündzeit)等等,对绝对位置的认识是重要的,也即通过间距测量可以利用在此提出的方案来确定用于人员保护装置的初始值。接着,可以通过对相对运动的测量来确定绝对位置并且适配对人员保护装置的操控。
三维表示然后被与待识别的人员的可能的位置和可能的尺寸进行比较,以便确定车辆中的座位占用。车辆中的安全带识别例如利用典型的装置来进行,例如通过2D图像信息的评估,但附加地通过3D测量信息来支持,例如在选择可能的测量范围时。
如果一个实施例包括第一特征与第二特征之间的“和/或”关联,则这应被解读如下:所述实施例根据一种实施方式不仅具有第一特征,而且具有第二特征;并且根据另一种实施方式要么仅仅具有第一特征,要么仅仅具有第二特征。

Claims (9)

1.一种用于识别车辆(100)中的对象(108;500;600)的方法(300),其中,所述车辆(100)具有用于以不同的照明设定来照明所述对象(108;500;600)的照明装置(104)并且具有用于记录所述对象(108;500;600)的图像(112,114,116)的图像记录装置(106),其中,所述方法(300)包括以下步骤:
读取(310)第一图像(112),所述第一图像代表在朝第一方向以第一照明设定来照明所述对象(108;500;600)时产生的在所述对象(108;500;600)上的第一投影;
读取(310)第二图像(114),所述第二图像代表在朝第二方向以第二照明设定来照明所述对象(108;500;600)时产生的在所述对象(108;500;600)上的第二投影;以及
处理(320)所述第一图像(112)和所述第二图像(114),以便根据所述第一投影和所述第二投影产生所述对象(108;500;600)的三维模型,由此识别所述对象(108;500;600)的表面结构和/或位置。
2.根据权利要求1所述的方法(300),其中,在所述处理(320)的步骤中使用至少一个亮度阈值,以便确定代表所述第一投影的第一亮度变化过程和/或代表所述第二投影的第二亮度变化过程,其中,根据所述第一亮度变化过程和/或所述第二亮度变化过程来识别所述表面结构。
3.根据权利要求1所述的方法(300),其中,在所述处理(320)的步骤中逐个像素地确定所述对象(108;500;600)与所述照明装置(104)之间的间距,以便识别所述表面结构。
4.根据以上权利要求1-3中任一项所述的方法(300),所述方法具有评估所述表面结构的步骤,以便将车辆乘客(108)和/或儿童座位识别为所述对象(108;500;600)。
5.根据以上权利要求1-3中任一项所述的方法(300),其中,所述第一图像(112)和/或所述第二图像(114)代表在以可见光照明所述对象(108;500;600)时所记录的、所述对象(108;500;600)的图像。
6.根据以上权利要求1-3中任一项所述的方法(300),所述方法具有根据所述车辆(100)的至少一个门的姿态来操控所述照明装置(104)和/或所述图像记录装置(106)的步骤。
7.根据以上权利要求1-3中任一项所述的方法(300),其中,在所述读取(310)的步骤中读取至少一个第三图像(116),其中,所述第三图像(116)代表在以第三照明设定来照明所述对象(108;500;600)时产生的在所述对象(108;500;600)上的第三投影,其中,在所述处理(320)的步骤中处理所述第三图像(116)以便识别所述表面结构和/或所述间距和/或所述位置。
8.一种具有单元(210、220、230)的设备(102),所述单元被构造用于实施和/或操控根据权利要求1至7中任一项所述的方法(300)。
9.一种机器可读的存储介质,其上存储有计算机程序,以便在处理器上运行该计算机程序时,实施和/或操控根据权利要求1至7中任一项所述的方法(300)。
CN201810039961.1A 2017-01-17 2018-01-16 用于识别车辆中的对象的方法和设备 Active CN108334818B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017200607.2 2017-01-17
DE102017200607.2A DE102017200607B4 (de) 2017-01-17 2017-01-17 Verfahren und Vorrichtung zum Erkennen eines Objekts in einem Fahrzeug

Publications (2)

Publication Number Publication Date
CN108334818A CN108334818A (zh) 2018-07-27
CN108334818B true CN108334818B (zh) 2023-06-27

Family

ID=62716402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810039961.1A Active CN108334818B (zh) 2017-01-17 2018-01-16 用于识别车辆中的对象的方法和设备

Country Status (3)

Country Link
US (1) US10579867B2 (zh)
CN (1) CN108334818B (zh)
DE (1) DE102017200607B4 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11117594B2 (en) 2018-06-22 2021-09-14 GM Global Technology Operations LLC System and method for detecting objects in an autonomous vehicle
DE102018216779A1 (de) * 2018-09-28 2020-04-02 Continental Automotive Gmbh Verfahren und System zum Ermitteln einer Position eines Nutzers eines Kraftfahrzeugs
US10988070B2 (en) * 2018-10-08 2021-04-27 GM Global Technology Operations LLC Frunk and trunk storage baggage retention and remainder
CN110705391B (zh) * 2019-09-17 2023-09-19 四川大学锦城学院 一种基于人体图像识别方法的座位分配系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1821714A (zh) * 2005-02-18 2006-08-23 高田株式会社 检测系统、报知装置、驱动装置、车辆
CN101010224A (zh) * 2004-09-06 2007-08-01 宝马股份公司 用于检测车辆座位上对象的装置
CN104571511A (zh) * 2014-12-30 2015-04-29 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6914526B2 (en) * 2002-03-22 2005-07-05 Trw Inc. Intrusion detection system using linear imaging
JP4438753B2 (ja) 2006-01-27 2010-03-24 株式会社日立製作所 車両内状態検知システム,車両内状態検知装置および方法
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
KR102558737B1 (ko) * 2016-01-04 2023-07-24 삼성전자주식회사 3d 렌더링 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010224A (zh) * 2004-09-06 2007-08-01 宝马股份公司 用于检测车辆座位上对象的装置
CN1821714A (zh) * 2005-02-18 2006-08-23 高田株式会社 检测系统、报知装置、驱动装置、车辆
CN104571511A (zh) * 2014-12-30 2015-04-29 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法
WO2016107230A1 (zh) * 2014-12-30 2016-07-07 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法

Also Published As

Publication number Publication date
DE102017200607A1 (de) 2018-07-19
US10579867B2 (en) 2020-03-03
CN108334818A (zh) 2018-07-27
US20180204056A1 (en) 2018-07-19
DE102017200607B4 (de) 2024-02-15

Similar Documents

Publication Publication Date Title
CN108334818B (zh) 用于识别车辆中的对象的方法和设备
US11447085B2 (en) 3D time of flight active reflecting sensing systems and methods
US8081800B2 (en) Detection device of vehicle interior condition
US6608910B1 (en) Computer vision method and apparatus for imaging sensors for recognizing and tracking occupants in fixed environments under variable illumination
US7379195B2 (en) Device for the detection of an object on a vehicle seat
US6005958A (en) Occupant type and position detection system
Trivedi et al. Occupant posture analysis with stereo and thermal infrared video: Algorithms and experimental evaluation
CN110892450A (zh) 使用统一成像设备提取视觉、深度和微振动数据
US20040220705A1 (en) Visual classification and posture estimation of multiple vehicle occupants
JP2008518195A (ja) 乗員検出システム
US20100060736A1 (en) Vehicle Interior Classification System And Method
JPH08290751A (ja) 車のセンサシステムおよび安全システム
CN109844450B (zh) 分类装置、分类方法以及记录介质
KR20140025812A (ko) 졸음 운전 감지 장치 및 방법
US7295123B2 (en) Method for detecting a person in a space
US8560179B2 (en) Adaptive visual occupant detection and classification system
US20060149426A1 (en) Detecting an eye of a user and determining location and blinking state of the user
EP1800964B1 (en) Method of depth estimation from a single camera
Lee et al. Stereovision-based real-time occupant classification system for advanced airbag systems
US8363957B2 (en) Image classification system and method thereof
EP4170608A1 (en) Method for detecting forgery in facial recognition and computer readable medium and vehicle for performing such method
US20220292797A1 (en) Detection system and method for motor vehicle passenger compartment
JP3808454B2 (ja) 座席の使用状況判定装置
WO2021171538A1 (ja) 表情認識装置及び表情認識方法
Amin et al. Driver tracking and posture detection using low-resolution infrared sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant