CN117124988A - 运行车辆内部空间监控系统的方法、控制装置、车辆内部空间监控系统和车辆 - Google Patents

运行车辆内部空间监控系统的方法、控制装置、车辆内部空间监控系统和车辆 Download PDF

Info

Publication number
CN117124988A
CN117124988A CN202310584014.1A CN202310584014A CN117124988A CN 117124988 A CN117124988 A CN 117124988A CN 202310584014 A CN202310584014 A CN 202310584014A CN 117124988 A CN117124988 A CN 117124988A
Authority
CN
China
Prior art keywords
camera
camera unit
control device
generic
result data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310584014.1A
Other languages
English (en)
Inventor
O·蒂拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carrida Europe
Original Assignee
Carrida Europe
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carrida Europe filed Critical Carrida Europe
Publication of CN117124988A publication Critical patent/CN117124988A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种车辆内部空间监控系统的运行方法,车辆内部空间监控系统包括至少一个摄像机单元。通过控制装置在摄像机单元中借助至少一个特定于摄像机的控制命令调节摄像机单元的可适配的摄像机参数,并接收和评估由摄像机单元拍摄的至少一个图像,其中,评估的结果作为特定于摄像机的结果数据被输出。规定,通过控制装置产生至少一个通用控制命令,以用于调节摄像机单元的可适配的摄像机参数,将通用控制命令根据摄像机单元的存储在控制装置中的摄像机配置转换为特定于摄像机的控制命令,将特定于摄像机的结果数据根据摄像机单元的存储在控制装置中的摄像机配置转换为通用结果数据,将摄像机单元的通用结果数据提供给数据融合装置。

Description

运行车辆内部空间监控系统的方法、控制装置、车辆内部空间 监控系统和车辆
技术领域
本发明涉及一种运行车辆内部空间监控系统的方法、控制装置、车辆内部空间监控系统和车辆。
背景技术
车辆具有车辆内部空间监控系统,其设计用于监控车辆内部空间和在车辆内部空间中存在的人员。通过监控可以确定乘员的存在和/或位置。通过车辆内部空间监控系统例如可以检测驾驶员的视线方向或乘员的手势。根据现今的现有技术的车辆内部空间监控系统通常具有两个摄像机单元,其监控车辆内部空间的相应的检测区域。摄像机单元拍摄相应的检测区域的单个或多个连续的图像,并且将其提供给控制装置以进行评估,控制装置执行对图像的期望的评估。
对被检测的图像的评估和通过车辆内部空间监控系统对相应的摄像机单元的操控(或者说驱控)在此要适配于相应的摄像机单元。在此需要对车辆内部空间监控系统的控制装置进行编程,使得控制装置可以操控相应的摄像机单元,以便优化摄像机参数,并因此可以确保拍摄的图像满足相应评估算法的图像规范。因为摄像机单元和/或其摄像机驱动(或者称摄像机驱动程序)可以彼此不同,所以相应的算法必须适配于相应的摄像机单元和/或其摄像机驱动。这导致,相关的开发费用随着所使用的摄像机单元的类型的数量而提高,因为不存在对摄像机单元的统一的和通用的操控。
用于评估由摄像机单元提供的图像的评估算法同样必须适配于摄像机单元的摄像机参数、例如分辨率或摄像机单元在车辆内部空间中的安装位置。在拼合以相应摄像机单元的图像为基础的测量数据时,必须考虑摄像机单元的个性化的特性。
由于车辆内部空间监控系统中的摄像机单元的预期的增加以及摄像机单元的变体和摄像机单元在车辆内部空间中的布置的增加,出现以下问题,即需要在软件中进行大量的适配/调整,以便确保车辆内部空间监控系统的运行。
WO 2020/161610 A2描述了利用唯一的2D摄像机和监控算法的适配应用对车厢进行监控。规定了,基于乘员的状态从监控算法列表中选择一个监控算法,乘员的状态基于车厢的图像序列中的第一组图像来确定。监控算法应用于图像序列的第二组图像,其中,第二组图像包括跟随在第一组图像之后的图像,以便能够实现对车辆的监控。
US 2020/0143560 A1描述了一种车辆监控系统,该车辆监控系统包括:发射不可见光的照明光源,该不可见光照亮车辆驾驶员的至少一部分;反射器,其布置在车辆上并且布置在驾驶员的被照亮的部分的视线内;摄像机,其布置在车辆内并且具有包括反射器的视场;和具有图像处理器的控制装置,图像处理器处理由摄像机检测到的图像数据。
发明内容
本发明的目的是,提供一种能够减少用于使车辆内部空间的监控适配于不同系统的花费的解决方案。
该目的通过独立权利要求的主题实现。本发明的有利的改进方案通过从属权利要求的特征、随后的描述和附图来公开。
本发明的第一方面涉及一种用于运行车辆内部空间监控系统的方法。车辆内部空间监控系统包括至少一个摄像机单元,其设置用于监控车辆内部空间中的相应的监控区域。该方法通过车辆内部空间监控系统的控制装置执行。
在方法的第一步骤中,通过控制装置,在摄像机单元中借助至少一个特定于摄像机的控制命令来调节摄像机单元的可适配的摄像机参数,以便根据所选的评估算法的图像规范来适配用于由摄像机单元拍摄至少一个图像的图像拍摄。至少一个图像的拍摄还可以涉及图像序列的拍摄。换言之,至少一个摄像机单元由控制装置操控。通过操控摄像机单元来适配摄像机单元的至少一个可适配的摄像机参数。例如,至少一个可适配的摄像机参数可以涉及在拍摄图像时的可调节的曝光时间、在拍摄图像时要拍摄的图像区域或颜色调节。至少一个可适配的摄像机参数的调节通过至少一个特定于摄像机的控制命令来实现。特定于摄像机的控制命令尤其可以通过相应的摄像机单元为适配至少一个可适配的摄像机参数而预设。特定于摄像机的控制命令可以与摄像机单元的机器类型和/或用于运行摄像机单元的摄像机驱动相关。至少一个可适配的摄像机参数通过控制装置适配成,使得在图像拍摄时由摄像机单元拍摄的图像满足图像的图像规范。图像规范例如可以规定需要的亮度、需要的对比度值或特定的图像区域。在此,图像规范与所选的评估算法相关。所选的评估算法例如可以是用于检测运动和/或驾驶员的视线方向的评估算法。通过由控制装置适配至少一个可适配的摄像机参数,确保至少一个由摄像机单元拍摄的图像满足由所选的评估算法规定的图像规范。
在第二步骤中,通过控制装置接收至少一个由摄像机单元拍摄的图像。图像被控制装置按照所选的评估算法评估,其中,评估的结果作为特定于摄像机的结果数据被输出。换言之,如通过所选的评估算法预设的那样通过控制装置进行图像评估。评估算法可以包括计算机视觉方法。在此,例如可以在至少一个拍摄到的图像中确定驾驶员的视线方向,或检测图像点。评估的结果作为特定于摄像机的结果数据被输出。结果数据可以与相应的摄像机单元相关。例如可以规定,在图像坐标中输出检测到的图像点,该图像坐标可以与摄像机单元在车辆内部空间监控中的取向相关。
本发明规定,通过控制装置按照预先确定的适配算法产生通用控制命令,以用于根据所选的评估算法的图像规范来调节摄像机单元的可适配的摄像机参数。通用控制命令与特定于摄像机的控制命令的不同之处在于,通用控制命令是非特定于摄像机的。通用控制命令尤其可以基于为适配算法提供的参考系统,并且可以仅用于由控制装置进行内部的进一步处理。换言之,本发明规定,通过控制装置产生通用控制命令,以便将摄像机单元的可适配的摄像机参数调节成,使得所选的评估算法的图像规范被满足。通用控制命令的产生可以通过控制装置按照预先确定的适配算法实现。预先确定的适配算法例如可以基于通用摄像机数据或基于由摄像机单元预先拍摄的图像来确定通用控制命令。例如可以规定,所选的评估算法的图像规范规定了特定的对比度值。评估算法例如可以基于已经拍摄的图像来确定,为了满足图像规范必须设定什么样的曝光时间作为摄像机单元的可适配的摄像机参数。通用控制命令可以描述在通用系统中对可适配的摄像机参数的适配。通用系统可以包括预先确定的级别号。通用控制命令被描述以用于根据参考系统适配可适配的摄像机参数。由于通用控制命令不与要操控的摄像机单元相关,因此得到以下优点,即适配算法不必适配于相应的摄像机单元的特定于摄像机的控制命令和能力。
在另一步骤中规定,通过控制装置将通用控制命令根据相应的摄像机单元的存储在控制装置中的摄像机配置按照预先确定的转换方法转换为特定于摄像机的控制命令。换言之,通用控制命令不用于由控制装置直接操控相应的摄像机单元。
因此,为了能够在相应的摄像机单元中适配可适配的摄像机参数,需要将通用控制命令转换为特定于摄像机的控制命令。为了能够实现转换,在控制装置中为每个摄像机单元存储有相应的摄像机配置。该摄像机配置例如可以包括用于将通用控制命令翻译为特定于摄像机的控制命令的字典。相应的摄像机配置还可以包括用于对可在摄像机单元中被设定的允许的值范围或值进行变换的规范。相应的摄像机单元的摄像机配置在预先确定的转换方法中被读取,以便将通用控制命令变换为特定于摄像机的控制命令。
在另一步骤中规定,将特定于摄像机的结果数据根据摄像机单元的存储在控制装置中的摄像机配置按照预先确定的泛化方法转换为通用结果数据。换言之,通过摄像机单元输出特定于摄像机的结果数据,其中,该特定于摄像机的结果数据与摄像机单元本身相关。例如,检测到的运动可以参照摄像机单元。然而,为了能够进一步评估结果数据并且例如能够将结果数据与其他摄像机单元的数据融合,需要将该结果数据转换为与相应的摄像机单元无关的通用结果数据。例如可以规定,将检测到的运动从以摄像机单元为基准的坐标变换为以车辆内部空间中的参考点为基准的坐标。随后摄像机单元的通用结果数据被控制装置提供给数据融合装置。数据融合装置可以设计用于,将来自不同的摄像机单元的通用结果数据合并。
本发明的改进方案规定了,车辆内部空间监控系统包括至少两个摄像机单元。换言之,本发明规定,该方法通过控制装置在车辆内部空间监控系统上实施,车辆内部空间监控系统包括至少两个摄像机单元,以用于监控车辆内部空间中的相应的监控区域。通过该改进方案得到以下优点,即来自至少两个摄像机单元的通用结果数据可以被提供给数据融合装置。
本发明的一改进方案规定,根据摄像机配置选出所选的评估算法。换言之,根据相应的摄像机单元的摄像机配置,从多个评估算法中选出所选的评估算法。例如可以规定,可以通过不同的评估算法实施特定的评估。可能的是,评估算法彼此不同,其中,可以针对相应的摄像机参数来优化评估算法。例如可以规定,可以针对不同的对比度值和/或分辨率来优化评估算法。控制装置可以选出对于存储在摄像机配置中的参数而言最适合的评估算法。由此得到以下优点,即可以由控制装置根据摄像机配置来确定要执行的评估算法。
本发明的一改进方案规定,至少两个摄像机单元的相应的通用结果数据被数据融合装置按照预先确定的数据融合方法综合/合并为融合数据。换言之,来自至少两个摄像机单元的通用数据结果通过数据融合装置按照预先确定的数据融合方法被融合,以产生融合数据。例如可以规定,相应的通用结果数据包括由相应的摄像机单元检测到的运动,并且由相应的摄像机单元检测到的运动通过数据融合装置被融合,以产生描述三维运动的融合数据。
本发明的一改进方案规定,摄像机单元的至少一个摄像机参数通过控制装置从摄像机单元调取,并且存储在摄像机配置中。换言之,本发明规定,通过控制装置从摄像机单元读取至少一个配置参数。配置参数例如可以描述摄像机单元的分辨率。控制装置将至少一个被读取的配置参数存储在摄像机配置中。由此得到以下优点,即摄像机单元的至少一个配置参数不必手动存储在控制装置中。本发明的一改进方案规定,摄像机配置包括相应的摄像机单元在车辆内部空间中的方位(即方向和位置)。换言之,相应的摄像机单元的方位作为相应的摄像机单元的配置参数存储在相应的摄像机配置中。
本发明的一改进方案规定,根据相应的摄像机配置,通过控制装置为至少两个摄像机单元的相应的通用结果数据分配相应的加权值。加权值通过控制装置与通用结果数据一起被提供给数据融合装置。通用结果数据根据相应的加权值按照预先确定的数据融合方法被综合为融合数据。
换言之,本发明规定,通过数据融合装置来融合通用结果数据,其中,相应的摄像机单元的通用结果数据被不同地加权,其中,根据相应的加权值来加权相应的摄像机单元的通用结果数据。在此,相应的加权值通过控制装置根据相应的摄像机配置被分派给相应的摄像机单元,并且与通用结果数据一起被转发至数据融合装置。加权值例如可以描述由相应的摄像机单元的图像建立的通用结果数据的精度或可靠性。例如可以规定,给具有比其他摄像机单元高的分辨率的摄像机单元分配比较小分辨率的摄像机单元高的加权值。在融合相应的摄像机单元的通用结果数据时,通过数据融合装置进行的加权可以用于,例如在结果数据有偏差的情况下,更多地考虑更可靠的摄像机单元的结果数据。
对于在方法中可以得到并且在此未明确描述的应用情况或应用场合可以规定,根据所述方法输出故障消息和/或用于输入用户反馈的请求和/或调节出标准设置和/或预先确定的初始状态。
本发明的第二方面涉及一种用于车辆内部空间监控系统的控制装置。控制装置设计用于,在车辆内部空间监控系统的至少一个摄像机单元中借助至少一个特定于摄像机的控制命令调节摄像机单元的可适配的摄像机参数,以便根据所选的评估算法的图像规范来适配用于通过摄像机单元拍摄至少一个图像的图像拍摄。控制装置设计用于,接收并按照所选的评估算法评估由摄像机单元拍摄的至少一个图像。控制装置设计用于,输出评估的结果作为特定于摄像机的结果数据。在此规定,控制装置设计用于,按照预先确定的适配算法产生至少一个通用控制命令,以用于根据所选的评估算法的图像规范来调节摄像机单元的可适配的摄像机参数。控制装置设计用于,根据摄像机单元的存储在控制装置中的摄像机配置,按照预先确定的转换方法,将通用控制命令转换为特定于摄像机的控制命令。控制装置设计用于,根据摄像机单元的存储在控制装置中的摄像机配置,按照预先确定的泛化方法,将特定于摄像机的结果数据转换为通用结果数据。控制装置设计用于,将摄像机单元的通用结果数据提供给数据融合装置。
控制装置可以具有数据处理设备或处理器装置,数据处理设备或处理器装置设计用于执行根据本发明的方法的实施方式。处理器装置为此可以具有至少一个微处理器和/或至少一个微控制器和/或至少一个FPGA(现场可编程门阵列)和/或至少一个DSP(数字信号处理器)。此外,处理器装置可以具有程序代码,该程序代码设计用于,在通过处理器装置实施时执行根据本发明的方法的实施方式。程序代码可以存储在处理器装置的数据存储器中。
本发明的第三方面涉及一种车辆内部空间监控系统,其具有根据本发明的第二方面的控制装置。车辆内部空间监控系统具有至少一个摄像机单元,该至少一个摄像机单元设计用于监控车辆内部空间中的相应的监控区域。
本发明的第四方面涉及一种车辆,该车辆具有根据本发明的第三方面的车辆内部空间监控系统。
根据本发明的车辆优选设计为汽车,尤其设计为乘用车或货车,或设计为公共汽车或摩托车。
本发明还包括根据本发明的控制装置、根据本发明的车辆内部空间监控系统和根据本发明的车辆的改进方案,其具有已经结合根据本发明的方法的改进方案描述过的特征。由于该原因,在此不再次描述根据本发明的控制装置、根据本发明的车辆内部空间监控系统和根据本发明的车辆的相应的改进方案。
作为另一解决方案,本发明还包括一种计算机可读的存储介质,该存储介质包括指令,所述指令在通过计算机或计算机复合结构实施时促使计算机或计算机复合结构实施根据本发明的方法的实施方式。存储介质例如可以至少部分地设计为非易失性的数据存储器(例如闪存和/或SSD(固态硬盘))和/或至少部分地设计为易失性的数据存储器(例如RAM(随机存取存储器))。通过计算机或计算机复合结构,可以提供具有至少一个微处理器的处理器电路。指令可以作为二进制代码或汇编程序被提供,和/或作为编程语言(例如C语言)的源代码被提供。
本发明还包括所描述的实施方式的特征的组合。因此,本发明还包括以下实现方案,其分别具有所描述的实施方式中的多个实施方式的特征的组合,只要这些实施方式没有被描述为相互排斥。
附图说明
下面描述本发明的实施例。为此:
图1示出了具有车辆内部空间监控系统的车辆的示意图;
图2示出了具有车辆内部空间监控系统的车辆的另一示意图;
图3示出了用于通过控制装置执行方法的不同层级的示意图;并且
图4示出了用于运行车辆内部空间监控系统的方法的流程的示意图。
具体实施方式
随后阐述的实施例是本发明的优选的实施方式。在实施例中,实施方式的所描述的部件分别表示本发明的单独的可视为彼此独立的特征,这些特征也分别彼此独立地改进本发明。因此,该公开也应该包括与实施方式的特征的所示的组合不同的组合。此外,所描述的实施方式也可以通过本发明的另外的已经描述的特征来补充。
在附图中,相同的附图标记分别表示功能相同的元件。
图1示出了具有车辆内部空间监控系统的车辆的示意图。
车辆内部空间监控系统2可以具有多个摄像机单元3,摄像机单元可以设计用于监控车厢内的相应的监控区域4。每个摄像机单元3可具有一个相应的监控区域4。车辆内部空间监控系统2可以具有控制装置5,控制装置可以设计用于操控相应的摄像机单元3。相应的摄像机单元3可以具有相应的摄像机驱动6并且具有摄像机参数7、25,摄像机参数可以被固定预设或是可调节的。控制装置5可以将特定于摄像机的控制命令8传递至相应的摄像机单元3,以便将可调节的摄像机参数7适配成,使得被拍摄的图像13满足预先确定的图像规范9、10。相应的图像规范9、10在存在多个可能的评估算法的情况下可以与所选择的评估算法12相关。图像规范9、10例如可以规定预先确定的亮度值或对比度值。由此可以确保,被拍摄的图像13满足图像规范9、10,以便能够根据所选的评估算法12评估图像13。所选的评估算法12例如可以是用于识别拍摄的图像13中的运动或视线方向的算法。所选的评估算法12可以将结果作为特定于摄像机的结果数据14输出。控制装置5设计为,使得控制装置可以补偿摄像机单元3之间的差异,这些差异例如归因于不同的摄像机驱动6。例如可能的是,通过控制装置5,由通用控制命令15产生特定于摄像机的控制命令8,其中,通用控制命令15可以是来自多个适配算法的预先确定的适配算法16、17。通用控制命令15可以不特定于摄像机,并且规定了适配于相应的摄像机单元3的预设适配值。适配算法16、17在此可以与相应的摄像机单元3的特性无关地输出通用控制命令15。因此不需要使评估算法适配于相应的摄像机单元3或相应的摄像机驱动6。通用控制命令15向特定于摄像机的控制命令8的适配可以根据相应存储的摄像机配置18借助预先确定的转换方法19执行。转换方法19例如可以具有表格,该表格可以将通用控制命令15分配给相应的特定于摄像机的控制命令8。为了避免相应的评估算法与相应的摄像机单元3的适配,控制装置5设计用于执行预先确定的泛化方法20。预先确定的泛化方法20可以设计用于,将相应的特定于摄像机的结果数据14转换为通用结果数据21,特定于摄像机的结果数据例如可以描述检测到的相对于摄像机单元3的方位26的运动的坐标,通用结果数据与相应的摄像机单元3无关。有利地,通用结果数据14、21可以被输入数据融合装置22,数据融合装置可以根据预先确定的数据融合方法23将通用结果数据14、21转换为融合数据24。可能的是,摄像机单元3可以在其精度方面彼此有所不同。为了可以在融合相应的通用结果数据21时考虑到这一点,可以规定,根据相应的摄像机配置18,给相应的通用结果数据21分配相应的加权值27。加权值27可以被数据融合装置22在执行预先确定的数据融合方法23时予以考虑。
图2示出了具有车辆内部空间监控系统2的车辆1的另一示意图。
图3示出了用于通过控制装置5执行所述方法的不同层级的示意图。
在多个层的一端部上的摄像机驱动层L0可以包括相应的摄像机驱动6,摄像机驱动可以使摄像机单元3运行。各个摄像机单元3及其摄像机驱动6可以彼此有所不同,从而可能需要,将相应的特定于摄像机的控制命令8传递至相应的摄像机驱动6,以便可以操控相应的摄像机单元3。此外,各个摄像机单元3的固定的摄像机参数25和可变的摄像机参数7可以彼此有所不同。为了可以取消相应的评估算法11、12和相应的适配算法16、17与相应的摄像机单元3的适配,可以规定,提供预先确定的层,所述层可以承担与相应的摄像机单元3的适配。
例如可以规定,摄像机抽象层L1可以布置在包括适配算法16的适配层L2与摄像机驱动层L0之间。摄像机抽象层L1可以设置用于将通用控制命令15转换为特定于摄像机的控制命令8。换言之,摄像机抽象层L1与单个摄像机单元3的类型无关地接受通用控制命令15,并且根据预先确定的转换方法19将针对相应的摄像机单元3确定的通用控制命令15转换为特定于摄像机的控制命令8。由此得到以下优点,即相应的适配算法16可以输出可与相应的摄像机单元3的类型无关的通用控制命令15。
适配层L2可以包括不同的适配算法16,适配算法可以实施使被拍摄的图像13与相应的图像规范9、10相应适配。相应的适配算法17可以与摄像机单元3和/或所选的评估算法12相关。
所选的评估算法11可以从评估层L3的多个评估算法12中选出,并且例如设置用于在被拍摄的图像13中检测头部位置或运动。在评估中也可能的是,特定于摄像机的结果数据14与相应的摄像机单元3相关。可以规定,特定于摄像机的结果数据14必须以预先确定的格式作为通用结果数据21传输到数据融合装置22。为了不必在单个评估算法12中进行适配,可以在评估算法12的评估层L3与数据融合装置22的数据融合层L5之间布置泛化层L4,泛化层可以设计用于,根据预先确定的泛化方法20将特定于摄像机的结果数据14转换为通用结果数据21,并提供给数据融合装置22。
可以规定,将通用结果数据21在数据融合层L5中转发至数据融合装置22,用以执行预先确定的数据融合方法23。
车辆1中的车辆内部空间监控系统2的控制装置5可以通过软件配置适配于布置在车辆内部空间中的摄像机单元3。为此,每个摄像机单元3向控制装置5报告摄像机参数7、25,这些摄像机参数对于评估相应的摄像机单元3的图像13以产生特定于摄像机的结果数据14是重要的。摄像机参数7、25可以包括技术上不可改动的摄像机参数25、如相应的竖直的和水平的视场、分辨率、每秒提供的图像13的数量、在车辆内部空间中的方位、RGB/IR能力。摄像机参数7、25还可以包括可适配的摄像机参数7、如照明等级的数量、可调节的图像片段。
车辆内部空间监控系统2具有可供使用的摄像机单元3的摄像机配置18。摄像机单元3可以包括指向驾驶员的摄像机单元3、中央取向的摄像机单元3和另外的摄像机单元3。摄像机配置18描述了相应的摄像机单元3的能力和特性。由此,控制装置5设计用于,基于摄像机配置18决定,将哪些评估算法12应用于源自相应的摄像机单元3的图像13。通过摄像机配置18可以预设,在数据融合中,哪些加权值27应该被分配给相应的摄像机单元3的通用结果数据21。摄像机配置18可以预设,如何将特定于摄像机的结果数据14换算为通用结果数据21。
车辆内部空间监控系统2提供软件架构,该软件架构包括摄像机单元3与数据融合装置22之间的适配层。摄像机-硬件-抽象层是用于适配算法的软件模块与相应的摄像机驱动6之间的接口。其目的是,根据相应的摄像机单元3的摄像机配置18,按照预先确定的转换方法19将由用于适配算法16、17的软件模块提供的通用控制命令15转换为摄像机驱动6所需的特定于摄像机的控制命令8。
适配层包含适配算法的软件模块,其具有以下目的,即借助通用控制命令15适配相应的摄像机单元3的可适配的摄像机参数7,以便针对计算机图像处理根据所选的评估算法12的图像规范9、10来优化图像13。用于输出与相应的摄像机单元3和摄像机驱动6无关的通用控制命令15的适配算法16、17的软件模块的实施能够实现,对由不同的摄像机驱动6提供的不同选项的控制的标准化程度。由于通用控制命令15与相应的摄像机单元3和摄像机驱动6无关,因此不需要将适配算法16、17适配于相应的摄像机单元3和摄像机驱动6。可适配的摄像机参数7例如可以通过用于照明适配或校准的通用控制命令15来改变。这能够改变摄像机单元3和/或摄像机驱动6,而用于适配相应的摄像机单元3的可适配的摄像机参数7的适配算法16、17的能力得到了保留。与相应的摄像机单元3和摄像机驱动6的协调通过摄像机-硬件-抽象层的转换算法实现,所述转换算法根据相应的摄像机配置18将通用控制命令15转换为相应的特定于摄像机的控制命令8。
评估算法11、12评估由摄像机单元3接收的图像13,并且作为特定于摄像机的结果数据14例如输出驾驶员的头部位置或驾驶员的眼睛打开状态。根据摄像机单元3的固定的、技术方面的摄像机参数7、25,感知系统决定,评估算法11、12中的哪个评估算法应该作为被选出的评估算法11用于评估相应的图像13,并且对于通过数据融合装置22执行的数据融合方法23,哪个加权值27应该被分派给相应的摄像机单元3的相应的结果数据21。
适配层是评估层与融合层之间的接口。其目的是,将特定于摄像机的结果数据14换算为通用结果数据21,以便能够解释/理解评估算法11的与相应的摄像机单元3的摄像机参数7、25无关的结果。
图4示出了用于运行车辆内部空间监控系统2的方法的流程的示意图。
通过控制装置5,根据预先确定的适配算法16、17可以产生S1至少一个通用控制命令15,以用于根据所选的评估算法12的图像规范9、10来调节摄像机单元3的可适配的摄像机参数7。根据摄像机单元3的存储在控制装置5中的摄像机配置18,按照预先确定的转换方法19,可以将通用控制命令15转换S2为特定于摄像机的控制命令8、15。
通过控制装置5,可以在摄像机单元3中借助至少一个特定于摄像机的控制命令8调节摄像机单元3的可适配的摄像机参数7,以便根据所选的评估算法12的图像规范9、10适配S3用于通过摄像机单元3拍摄至少一个图像13的图像拍摄。
通过摄像机单元3,可以根据至少一个所调节出的可适配的摄像机参数7拍摄至少一个图像13,并且将其发送S4到控制装置5。
通过控制装置5可以接收至少一个通过摄像机单元3拍摄的图像13,并且按照所选的评估算法12评估该图像,其中,评估结果能够作为特定于摄像机的结果数据14被输出S5。
通过控制装置5,可以根据摄像机单元3的存储在控制装置5中的摄像机配置18,按照预先确定的泛化方法20,将特定于摄像机的结果数据14转换为通用结果数据21。通过控制装置5,摄像机单元3的通用结果数据21可以被提供S6给数据融合装置22。
根据车辆驾驶舱中的可用空间、车型在其中竞争的价格区间、不同的地理市场的法律法规和标准、特定品牌遵循的设计原则、在未来10-15年内开发的新车型遵循相同架构这一事实,尽管光学技术和计算机辅助技术以及其他的影响因素进一步发展,但摄像机传感器组必须不断变化。对于日益增长的传感器可变性的解决方案是,开发能够适配于可用的传感器并且描述传感器的技术限制的视觉感知,以便保持与架构兼容。
总体上,所述示例示出了如何能够提供对于日益增长的传感器可变性的解决方案。

Claims (10)

1.一种运行车辆内部空间监控系统(2)的方法,该车辆内部空间监控系统包括至少一个摄像机单元(3),其中,通过控制装置(5)
-在摄像机单元(3)中借助至少一个特定于摄像机的控制命令(8)调节摄像机单元(3)的可适配的摄像机参数(7),以便根据评估算法(12)的图像规范(9、10)来适配用于由摄像机单元(3)拍摄至少一个图像(13)的图像拍摄,
-接收并按照评估算法(12)评估由摄像机单元(3)拍摄的至少一个图像(13),其中,评估的结果作为特定于摄像机的结果数据(14)被输出,
其特征在于,通过控制装置(5)
-按照预先确定的适配算法(16、17)产生至少一个通用控制命令(5),以用于根据所选的评估算法(12)的图像规范(9、10)来调节摄像机单元(3)的可适配的摄像机参数(7),
-根据摄像机单元(3)的存储在控制装置(5)中的摄像机配置(18),按照预先确定的转换方法(19),将通用控制命令(15)转换为特定于摄像机的控制命令(8),
-根据摄像机单元(3)的存储在控制装置(5)中的摄像机配置(18),按照预先确定的泛化方法(20),将特定于摄像机的结果数据(14)转换为通用结果数据(14、21),
-将摄像机单元(3)的通用结果数据(21)提供给数据融合装置(22)。
2.根据权利要求1所述的方法,其特征在于,车辆内部空间监控系统(2)包括至少两个摄像机单元(3)。
3.根据权利要求1或2所述的方法,其特征在于,根据摄像机配置(18)选出所选的评估算法(12)。
4.根据前述权利要求中任一项所述的方法,其特征在于,将至少两个摄像机单元(3)的相应的通用结果数据(21)由数据融合装置(22)按照预先确定的数据融合方法(23)合并成融合数据(24)。
5.根据前述权利要求中任一项所述的方法,其特征在于,摄像机单元(3)的至少一个摄像机参数(7、25)通过控制装置(5)从摄像机单元(3)调取,并存储在摄像机配置(18)中。
6.根据前述权利要求中任一项所述的方法,其特征在于,摄像机配置(18)包括相应的摄像机单元(3)在车辆内部空间中的方位(26)。
7.根据前述权利要求中任一项所述的方法,其特征在于,根据相应的摄像机配置(18),通过控制装置(5)将相应的加权值(27)分配给至少两个摄像机单元(3)的相应的通用结果数据(21),
-将加权值(27)与通用结果数据(21)一起通过控制装置(5)提供给数据融合装置(22),
-根据相应的加权值(27),通过数据融合装置(22)将通用结果数据(21)按照预先确定的数据融合方法(23)合并成融合数据(24)。
8.一种用于车辆内部空间监控系统(2)的控制装置(5),其中,控制装置(5)被设计用于,
-在摄像机单元(3)中借助至少一个特定于摄像机的控制命令(8)调节车辆内部空间监控系统(2)的至少一个摄像机单元(3)的可适配的摄像机参数(7),以便根据所选的评估算法(12)的图像规范(9、10)来适配用于由摄像机单元(3)拍摄至少一个图像(13)的图像拍摄,
-接收并按照所选的评估算法(12)评估由摄像机单元(3)拍摄的至少一个图像(13),并将评估的结果作为特定于摄像机的结果数据(14)输出,
其特征在于,
控制装置(5)被设计用于,
-按照预先确定的适配算法(16、17)产生至少一个通用控制命令(15),以用于根据所选的评估算法(12)的图像规范(9、10)来调节摄像机单元(3)的可适配的摄像机参数(7),
-根据摄像机单元(3)的存储在控制装置(5)中的摄像机配置(18),按照预先确定的转换方法(19)将通用控制命令(15)转换为特定于摄像机的控制命令(8),
-根据摄像机单元(3)的存储在控制装置(5)中的摄像机配置(18),按照预先确定的泛化方法(20)将特定于摄像机的结果数据(14)转换为通用结果数据(21),以及
-将摄像机单元(3)的通用结果数据(21)提供给数据融合装置(22)。
9.一种车辆内部空间监控系统(2),该车辆内部空间监控系统包括根据权利要求8所述的控制装置(5)。
10.一种车辆(1),该车辆包括根据权利要求9所述的车辆内部空间监控系统(2)。
CN202310584014.1A 2022-05-25 2023-05-23 运行车辆内部空间监控系统的方法、控制装置、车辆内部空间监控系统和车辆 Pending CN117124988A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022113271.4 2022-05-25
DE102022113271.4A DE102022113271B4 (de) 2022-05-25 2022-05-25 Verfahren zum Betreiben eines Fahrzeuginnenraumüberwachungssystems, Steuereinrichtung, Fahrzeuginnenraumüberwachungssystem und Fahrzeug

Publications (1)

Publication Number Publication Date
CN117124988A true CN117124988A (zh) 2023-11-28

Family

ID=88697063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310584014.1A Pending CN117124988A (zh) 2022-05-25 2023-05-23 运行车辆内部空间监控系统的方法、控制装置、车辆内部空间监控系统和车辆

Country Status (3)

Country Link
US (1) US20230388626A1 (zh)
CN (1) CN117124988A (zh)
DE (1) DE102022113271B4 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8780219B2 (en) 2012-07-23 2014-07-15 Wooblue, Inc. Wireless viewing and control interface for imaging devices
US11341671B2 (en) 2018-11-01 2022-05-24 Magna Electronics Inc. Vehicular driver monitoring system
US11783600B2 (en) 2019-02-04 2023-10-10 Jungo Connectivity Ltd. Adaptive monitoring of a vehicle using a camera

Also Published As

Publication number Publication date
US20230388626A1 (en) 2023-11-30
DE102022113271B4 (de) 2023-12-28
DE102022113271A1 (de) 2023-11-30

Similar Documents

Publication Publication Date Title
JP6825947B2 (ja) 車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイスおよび方法
US10872254B2 (en) Digital mirror systems for vehicles and methods of operating the same
US11042976B2 (en) Image inspection apparatus
JP2020043615A (ja) 撮像装置、撮像システム、撮像方法および撮像プログラム
JP5983575B2 (ja) 操作入力装置、操作入力方法およびプログラム
CN110573906A (zh) 距离测量系统
JP2018203244A (ja) 車両用ヘッドランプシステムおよびその制御方法
US20160176335A1 (en) Lighting control device of vehicle headlamp and vehicle headlamp system
US20200236338A1 (en) Sensor system
KR101724108B1 (ko) 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치
US7619650B2 (en) Imaging sensor that monitors operability of the imaging sensor
CN112572295A (zh) 一种基于dms摄像头自动控制汽车后视镜的系统及方法
CN117124988A (zh) 运行车辆内部空间监控系统的方法、控制装置、车辆内部空间监控系统和车辆
US10706295B2 (en) Street light with infrared illumination
US11919462B2 (en) Vehicle occupant monitoring apparatus and vehicle occupant protecting system
WO2018143064A1 (ja) 車載カメラ
JP7189682B2 (ja) センサシステムおよび検査方法
CN108139050A (zh) 用于控制大灯的装置和方法
US20220136674A1 (en) Head lamp system for vehicle and operating method thereof
CN112602318B (zh) 车载用拍摄装置及车载用图像识别装置
US20180150141A1 (en) Operating system and method for operating an operating system for a motor vehicle
KR102548700B1 (ko) Ai알고리즘을 이용한 영상처리장치 및 이를 이용한 자율주행 차량의 ecu 성능 검증장치
JPH11134480A (ja) 車載カメラ位置ずれ検出装置
US20210364613A1 (en) Distance measuring device and light emission diagnosis method for light source
US20240067081A1 (en) Lamp system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination