CN114268788A - 车载车辆图像采集装置功能符合性的监测 - Google Patents

车载车辆图像采集装置功能符合性的监测 Download PDF

Info

Publication number
CN114268788A
CN114268788A CN202111081782.2A CN202111081782A CN114268788A CN 114268788 A CN114268788 A CN 114268788A CN 202111081782 A CN202111081782 A CN 202111081782A CN 114268788 A CN114268788 A CN 114268788A
Authority
CN
China
Prior art keywords
brightness
image
image acquisition
vehicle
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111081782.2A
Other languages
English (en)
Inventor
巴洛尔·雅尔多
罗伯特·克鲁奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zeneti Co
Original Assignee
Zeneti Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zeneti Co filed Critical Zeneti Co
Publication of CN114268788A publication Critical patent/CN114268788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04—Monitoring the functioning of the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/021—Means for detecting failure or malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本公开涉及一种由车辆(2)的亮度评估系统(1)执行来监测对可预定要求等级的车载车辆图像采集装置功能符合性的方法。该车辆包括两个或更多个适配为采集车辆的周围环境的图像采集装置(3)，其中，第一图像采集装置(31)具有第一视场(41)，并且第二图像采集装置(32)具有第二视场(42)，第二视场(42)的主要区域(421)至少部分地与第一视场重叠。亮度评估系统在相应的一个或多个时刻(t1、t2、t3)，在第一图像采集装置的支持下获取(1001)相应的第一图像(311、312、313)并且在第二图像采集装置的支持下获取相应的第二图像(321、322、323)，其中，相应的第一图像的第一部段(310)和相应的第二图像的第二部段(320)分别覆盖主要区域。亮度评估系统还针对相应的第一图像测量(1003)第一部段的相应的第一亮度值(3111、3121、3131)，并且针对相应的第二图像测量(1003)第二部段的相应的第二亮度值(3211、3221、3231)。此外，亮度评估系统基于将相应的第一亮度值中的至少一个与相应的第二亮度值中的至少一个进行比较来确定(1005)亮度偏差。此外，亮度评估系统还在亮度偏差超过偏差阈值时，确定(1010)第一图像采集装置或第二图像采集装置没有根据要求等级运行。本公开还涉及一种根据前述的包括这种亮度评估系统的车辆的亮度评估系统和各自对应的计算机程序产品和非易失性计算机可读存储介质。

Description

车载车辆图像采集装置功能符合性的监测
技术领域
本公开涉及对可预定要求等级的车载车辆图像采集装置功能符合性的监测。
背景技术
越来越多的现代车辆具有先进驾驶辅助系统ADAS，以提高车辆安全性和更广泛的道路安全性。ADAS(例如可以由车道偏离避免、自适应巡航控制ACC、防撞系统、前方碰撞警示系统等代表)是可以在驾驶时第二车辆驾驶员的电子系统。为了如期地运行，ADAS可以依靠来自多重数据源的输入，比如激光雷达、雷达、超声波、相机、自动成像、图像处理、计算机视觉和/或车载网络。而且，在不远的将来，自动或自主驾驶系统AD系统将会在更大程度上找到进入现代车辆的方式。AD系统是可以定义为系统的各种部件的复杂结合，其中，车辆的感知、决策和运行由电子和机械而非人类驾驶员来执行作为自动化进入道路交通的采用。这包括对车辆、目的地以及环境意识的处理。但当自动化系统控制车辆时，允许人类操作者将所有的职责留给系统。AD系统通常结合各种传感器来感知车辆的环境，比如雷达、激光雷达、声呐、相机、导航和/或定位系统(例如GNSS，比如GPS)里程表和/或惯性测量单元，先进控制系统可以基于解释传感器信息以识别适当的导航路径以及障碍物和/或相关标志。
在当前的ADAS和AD系统中，功能的安全等级通常自上而下传播到对功能有贡献的所有部件。对于比如相机(例如包括在环绕相机系统中)的一个或多个车载图像采集装置，这通常意味着达到汽车安全完整性等级ASIL，比如ASIL B等级的等级。达到这样的功能安全目标可能需要确保相应的图像采集装置(或更确切地说为图像采集装置的成像器)正常运行。因此，通常需要电压和时钟监测来检测异常电压，异常电压可以引起所采集的图像中的异常亮度，这是暗示所述图像采集装置或成像器不当运行的状态，不当运行又可能导致不符合达到所述安全目标。然而，这种电压监测通常通过专用的集成电路IC部件来完成，这可能增加复杂性和/或整体系统成本。
发明内容
因此，本文实施例的目的是提供一种用于以改进的和/或替代的方式监测对可预定要求等级的车载车辆图像采集装置功能符合性的方法。可以通过本文公开的主题来实现上述目的。在所附的权利要求书、下面的描述和附图中阐述了实施例。
所公开的主题涉及一种由车辆的亮度评估系统执行来监测对可预定要求等级的车载车辆图像采集装置功能符合性的方法。该车辆包括两个或更多个适配为采集车辆的周围环境的图像采集装置，其中，第一图像采集装置具有第一视场，并且第二图像采集装置具有第二视场，第二视场的主要区域至少部分地与第一视场重叠。亮度评估系统在相应的一个或多个时刻，在第一图像采集装置的支持下获取相应的第一图像并且在第二图像采集装置的支持下获取相应的第二图像，其中，相应的第一图像的第一部段和相应的第二图像的第二部段分别覆盖主要区域。亮度评估系统还针对相应的第一图像测量第一部段的相应的第一亮度值，并且针对相应的第二图像测量第二部段的相应的第二亮度值。此外，亮度评估系统基于将相应的第一亮度值中的至少一个与相应的第二亮度值中的至少一个进行比较来确定亮度偏差。此外，亮度评估系统还在亮度偏差超过偏差阈值时，确定第一图像采集装置或第二图像采集装置没有根据要求等级运行。
所公开的主题还涉及一种车辆的亮度评估系统，用于和/或适配为监测对可预定要求等级的车载车辆图像采集装置功能符合性。该车辆包括两个或更多个适配为采集车辆的周围环境的图像采集装置，其中，第一图像采集装置具有第一视场，并且第二图像采集装置具有第二视场，第二视场的主要区域至少部分地与第一视场重叠。亮度评估系统包括主要图像获取单元，用于在相应的一个或多个时刻，在第一图像采集装置的支持下获取单元用于相应的第一图像并且在第二图像采集装置的支持下获取相应的第二图像，其中，相应的第一图像的第一部段和相应的第二图像的第二部段分别覆盖主要区域。亮度评估系统还包括主要亮度测量单元，用于针对相应的第一图像测量第一部段的相应的第一亮度值，并且针对相应的第二图像测量第二部段的相应的第二亮度值。此外，亮度评估系统包括主要偏差确定单元，用于基于将相应的第一亮度值中的至少一个与相应的第二亮度值中的至少一个进行比较来和包括次级确定用于确定车辆亮度偏差。此外，亮度评估系统包括故障识别单元，用于在亮度偏差超过偏差阈值时，确定第一图像采集装置或第二图像采集装置没有根据要求等级运行。
此外，所公开的主题涉及一种包括本文所述的亮度评估系统的车辆。而且，所公开的主题涉及一种计算机程序产品，该计算机程序产品包括含有计算机程序代码装置的计算机程序，该计算机程序代码装置布置为使得计算机或处理器执行本文所述的亮度评估系统的步骤，该计算机程序存储在计算机可读介质或载波上。所公开的主题还涉及一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质上已存储有所述计算机程序产品。
由此采用了一种能够检测图像采集装置，比如所述图像采集装置的成像器的不当运行的方法，该不当运行的方法随后可能意味着不符合设定的要求等级。即，由于在相应的一个或多个时刻，在第一图像采集装置的支持下获取了相应的第一图像和在第二图像采集装置的支持下获取了相应的第二图像，其中，相应的第一图像的第一部段和相应的第二图像的第二部段分别覆盖主要区域，因此在一个或多个时间点处从相应的第一和第二图像采集装置导出分别包括第一和第二视场的重叠区域的一个或多个图像。此外，即，由于针对相应的第一图像测量了第一部段的相应的第一亮度值，并且针对相应的第二图像测量了第二部段的相应的第二亮度值，因此针对每个时间点导出针对覆盖主要区域(即，覆盖第一和第二图像采集装置的视场重叠的部段)的图像区域的亮度值。因此，不仅从由第一图像采集装置获取的图像，而且从由第二图像采集装置获取的图像，收集在一个或多个时间点适用于相同区域，即，主要区域，的亮度值。此外，即，由于基于将相应的第一亮度值中的至少一个与相应的第二亮度值中的至少一个进行比较来确定亮度偏差，可以检测到一端的适用于由第一图像采集装置获取的重叠主要区域的一个或多个亮度值与另一端的适用于由第二图像采集装置获取的重叠主要区域的一个或多个亮度值之间的潜在差异。此外，即，由于当亮度偏差超过偏差阈值时确定了第一图像采集装置或第二图像采集装置没有根据要求等级运行，因此如果所确定的能够从第一图像采集装置导出的亮度值与能够从第二图像采集装置导出的亮度值之间的(适用于重叠的主要区域的)亮度差异大于鉴于可预定要求等级而设置的可预定限制，则可以推断第一图像采集装置或第二图像采集装置没有据此运行。即，通过所采用的构思，可以检测到与第一图像采集装置或其成像器、或者第二图像采集装置或其成像器有关的异常图像亮度值，该异常图像亮度值可能等于异常电压。这样的异常图像亮度值和随后的异常电压又暗示了不当的运行，并且如果超过偏差阈值，则检测到不符合所设置的要求等级，例如，比如公知的ASIL B等级的安全目标。因此，通过所采用的据此来监测图像亮度值的构思，可以省略公知的借助于IC部件(这可能增加复杂性和/或整体系统成本)的电压和时钟监测。
为此，提供了一种用于以改进的和/或替代的方式监测对可预定要求等级的车载车辆图像采集装置功能符合性的方法。下面将更详细地讨论上述方法的技术特征和相应优点。
附图说明
从以下详细描述和附图将容易理解包括特定特征和优点的非限制性实施例的各个方面，在附图中：
图1-2示出根据本公开的实施例的示例性亮度评估系统的示意图；
图3是示出根据本公开的实施例的示例性亮度系统的示意框图；和
图4是示出根据本公开的实施例的由亮度评估系统执行的示例性方法的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本公开的非限制性实施例，在附图中示出了本公开的当前优选实施例。然而，本公开可以以许多不同的形式呈现，而不应被解释为限于本文阐述的实施例。相同的附图标记始终指代相同的元件。图中一些方框的虚线表示这些单元或动作是可选的而非强制的。下面，根据本文中涉及监测对可预定要求等级的车载车辆图像采集装置功能性符合性的实施例，将公开一种方法，能够检测图像采集装置(比如所述图像采集装置的成像器)的不当运行，不当功能随后可能暗示不符合所述要求等级。
现在参考附图，图1-2中示出了根据本公开的实施例的示例性亮度评估系统1的示意图，而图3中示出了根据本公开的实施例的示例性亮度评估系统1的示意框图。亮度评估系统1用于对可预定要求等级的车载车辆图像采集装置功能符合性进行监测。可预定要求等级可以由任何可行的功能目标和/或任务来代表，比如安全等级，例如公知的ASIL等级，比如ASIL B等级。此外，亮度评估系统1可以包括在，或至少部分地包括在，车辆2中和/或搭载在车辆2上。示例性车辆2可以由任意的，例如已知的，有人驾驶或无人驾驶的车辆，例如发动机推动或电力驱动的车辆，比如轿车、卡车、货车、厢式货车、公交车和/或牵引车等来代表。而且，术语“车辆”可以指“自主和/或至少部分自主的车辆”、“无人驾驶和/或至少部分无人驾驶的车辆”和/或“自动驾驶和/或至少部分自动驾驶的车辆”。车辆2因此可以包括和/或适配为支持可选的ADAS和/或AD系统21，即先进驾驶辅助系统和/或自动驾驶系统。这种ADAS/或AD系统21可以指任意的ADAS/或AD系统，例如本领域已知的和/或尚未开发的。车辆2和/或ADAS或AD系统21可以包括、设置有和/或具有搭载的可选感知系统22和/或类似的系统和/或功能，所述搭载的可选感知系统22和/或类似的系统和/或功能适配为估计车辆2的环境，并且随后适配为在，例如公知的，数字地图23(比如高清(HD)地图和/或等同物和/或所述数字地图23的接替者)的支持下估计环境的世界视野。这种例示的感知系统22或类似系统可以指任何公知的系统和/或功能，例如包括在车辆2和/或ADAS或AD系统21的一个或多个电子控制模块ECU和/或节点中，适配为和/或配置为解释，与车辆2的驾驶相关的，感知信息，以识别例如障碍物、车道、相关标志、适当的导航路径等。因此，例示的感知系统22或类似的系统(可以适配为支持例如传感器融合、跟踪、定位等)可以适配为依靠感知信息。这样的示例性感测信息可以从例如车辆2中包括和/或搭载的一个或多个，例如公知的，传感器中导出，该传感器适配为感测和/或感知车辆2的行踪和/或周围环境，例如由定位系统24、里程表、惯性测量单元、雷达、激光雷达、超声波和/或比如图像采集装置的周围检测传感器中的一个或多个的组合代表。
短语“亮度评估系统”可以指“亮度监测系统”、“符合性评估系统”、“异常亮度评估系统”和/或仅仅“评估和/或监测系统”，并且根据示例进一步指“异常电压评估系统”。另一方面，短语“用于监测”可以指“适配为监测”，而“用于监测对可预定要求等级的车载车辆图像采集装置功能符合性”可以指“用于车载车辆图像采集装置亮度监测”、“用于车载车辆图像采集装置功能监测”、“用于检测异常的车载车辆图像采集装置亮度”、“用于检测异常的车载图像采集装置电压”和/或“用于检测不当的车载图像采集装置运行”。此外，根据示例，短语“用于监测对可预定要求等级的车载车辆图像采集装置功能符合性”可以进一步指“用于车载车辆图像采集装置成像器亮度监测”、“用于车载车辆图像采集装置成像器功能监测”、“用于检测异常的车载车辆图像采集装置成像器亮度”、“用于检测异常的车载图像采集装置成像器电压”和/或“用于检测不当的车载图像采集装置成像器运行”。此外，短语“要求等级”可以指“功能要求等级”和/或“要求目标和/或任务”，并且根据示例进一步指“安全要求”和/或“比如ASIL等级要求的要求等级，例如ASIL B等级”。
车辆2包括两个或更多个图像采集装置3，所述图像采集装置3适配为比如在相应的视场4处采集车辆2的周围环境。相应的视场4可以具有任何可行的范围、尺寸和/或程度，例如由手头的实施方式和/或由与相应的图像采集装置3相关联的特性来规定。两个或更多个图像采集装置3，可以以任意可行的方式分布，例如以采集车辆2周围环境的部段或者甚至达到360度，并且可以由适配为例如在可见波长范围内采集车辆周围环境的图像的任何，例如已知的，传感器、功能和/或系统代表，例如由一个或多个相机代表。此外，两个或更多个图像采集装置3可以分别包括至少第一成像器(未示出)，比如本领域已知的图像传感器。根据示例，两个或更多个图像采集装置3可以包括在可选的环绕相机系统(未示出)中。在一个或多个图像采集装置3中，第一图像采集装置31具有第一视场41，并且第二图像采集装置32具有第二视场42，第二视场42的主要区域421至少部分地与第一视场41重叠。主要区域421可以具有任何可行的范围、尺寸和/或程度，例如由第一图像采集装置31相对于第二图像采集装置32的位置的位置来规定。在示例性的图1中，将第一图像采集装置31示出为定位在后视镜附近和/或包括在后视镜中，视场41基本在车辆2的向前方向上，而将第二图像采集装置32示出为定位在右侧镜附近和/或包括在右侧镜中，视场42基本在车辆2的右侧方向上。然而，应当注意的是，第一图像采集装置31和第二图像采集装置32(考虑至少被称为第二视场42的主要区域421的部分与第一视场41至少部分重叠的情况)可以以任何可行的方式定位，比如在覆盖其他视场的车辆2的替代位置和/或其他位置处，例如在车辆2的向后方向上和/或左侧方向上。例如在校准期间，比如在工厂校准期间，组成主要区域421的区域可以以任何可行的方式来识别和/或确定，和/或已经识别和/或确定。“具有第一视场”可以指“支持和/或覆盖第一视场”，相应地，“具有第二视场”可以指“支持和/或覆盖第二视场”。此外，“主要部分至少部分地与所述第一视场重叠的第二视场”可以指“主要部分至少部分地和/或在某种程度上与所述第一视场重合的第二视场”。另一方面，短语“主要区域”可以指“第一区域”和/或仅指代“区域”，并且进一步指“主要场”、“主要部段”和/或“主要部分”。
如示例性的图2a中所示，所述亮度评估系统1，例如借助于主要图像获取单元101，适配和/或配置为在相应的一个或多个时刻t1、t2、t3，在第一图像采集装置31的支持下获取相应的第一图像311、312、313，并且在第二图像采集装置32的支持下获取相应的第二图像321、322，323，其中，相应的第一图像311、312、313的第一部段310和相应的第二图像321、322、323的第二部段320分别覆盖主要区域421。由此，在一个或多个时间点t1、t2、t3，从相应的第一图像采集装置31和第二图像采集装置32导出了分别包括第一视场41和第二视场42的重叠区域421的一个或多个图像311、312、313、321、322、323。
在相应的一个或多个时刻t1、t2、t3获取相应的第一图像311、312、313和相应的第二图像321、322、323可以以任何可行的，例如已知的，方式来实现，例如在所述图像采集装置31、32的成像器的支持下。一个或多个时刻t1、t2、t3可以出现在任何可行的时间点，例如以可预定的时间间隔和/或在可预定的不规则时间点出现。相应的第一图像311、312、313可以相应地由第一图像采集装置31所采集的连续和/或非连续的图像和/或图像帧来代表，相应地，相应的第二图像321、322、323可以相应地由第二图像采集装置32所采集的连续和/或非连续的图像和/或图像帧来代表。在示例性的图2a中，示出了第一时刻t1、第二时刻t2和第三时刻t3，然而可以注意到，一个或多个时刻t1、t2、t3可以由任何可行数量的时刻来代表。分别覆盖主要区域421的相应的第一图像311、312、313的第一部段310和相应的第二图像321、322、323的第二部段320可以由包括所述主要区域421的所述图像311、312、313、321、322、323的任何可行区域和/或部分来代表，并且因此可以具有与其相符的任何尺寸。例如在校准期间，比如在工厂校准期间，第一部段310和第二部段320可以以任何可行的方式来识别和/或确定，和/或已经识别和/或确定。在示例性的图2a中，将第一部段310和第二部段320分别示出为矩形形状，但是也可以应用其他形状和/或尺寸。可以注意到，相应的第一图像311、312、313中相应的第一部段310的定位和尺寸保持不变，相应地，相应的第二图像321、322、323中相应的第二部段320的定位和尺寸保持不变。短语“在相应的一个或多个时刻获取”可以指“在相应的一个或多个时刻导出和/或采集”，而“一个或多个时刻”可以指“一个或多个可预定的时刻”。另一方面，“在所述第一图像采集装置的支持下的相应的第一图像”可以指“在所述第一图像采集装置的支持下的第一车辆周围环境的相应的第一图像和/或图像帧”和/或“利用和/或通过来自所述第一图像采集装置的输入的相应的第一图像”，相应地，“在所述第二图像采集装置的支持下的相应的第二图像”可以指“在所述第二图像采集装置的支持下的第二车辆周围环境的相应的第二图像和/或图像帧”和/或“利用和/或通过来自所述第二图像采集装置的输入的相应的第二图像”。此外，“第一部段”可以指“第一重叠部段”和/或仅仅“重叠部段”，相应地，“第二部段”可以指“第二重叠部段”和/或仅仅“重叠部段”。另一方面，短语“分别覆盖所述主要区域”可以指“分别基本覆盖所述主要区域”和/或“分别包括、复制和/或采集所述主要区域”。
此外，所述亮度评估系统1，例如借助于主要亮度测量单元103，适配和/或配置为针对相应的第一图像311、312、313测量第一部段310的相应的第一亮度值3111、3121、3131，并且针对相应的第二图像321、322、323测量第二部段320的相应的第二亮度值3211、3221、3231。由此，针对每个时间点t1、t2、t3，针对覆盖主要区域421(即，覆盖第一图像采集装置31和第二图像采集装置32的视场41、42重叠处的部段421)的图像311、312、313、321、322、323的区域310、320导出亮度值3111、3121、3131、3211、3221、3231。因此，不仅从由第一图像采集装置31获取的图像311、312、313，而且从由第二图像采集装置32获取的图像321、322、323，收集在一个或多个时间点t1、t2、t3处适用于相同区域421，即主要区域421，的亮度值3111、3121、3131、3211、3221、3231。
相应的亮度值3111、3121、3131、3211、3221、3231可以以任何可行的，例如已知的，方式来测量，例如在图像处理的支持下，并且进一步例如在2014年2月16日PeterD.Hiscocks、P.Eng的Measuring Luminance with a Digital Camera(通过数字相机测量亮度)中所描述的。此外，所述测量可以指对相应的第一部段310和第二部段320的至少一部分的测量，和/或对所述相应的第一部段310和第二部段320的一个或多个像素的测量。短语“测量相应的第一亮度值和相应的第二亮度值”可以指“检测、收集、导出、获取、监测和/或确定相应的第一亮度值和相应的第二亮度值”，而本公开全文中的“亮度值”可以指“亮度值或亮度值的范围和/或亮度值的集合”，并且根据进一步的示例指“像素亮度值”。此外，“所述第一部段的相应的第一亮度值”可以指“所述第一部段的至少一部分的，和/或一个或多个像素的相应的第一亮度值”，相应地，“所述第二部段的相应的第二亮度值”可以指“所述第二部段的至少一部分的，和/或一个或多个像素的相应的第二亮度值”。短语“所述第二区段的相应的第二亮度值”可以进一步指“所述第二区段的对应的第二部分和/或像素的相应的第二亮度值”。
此外，所述亮度评估系统1，例如借助于主要偏差确定单元105，适配和/或配置为基于将相应的第一亮度值3111、3121、3131中的至少一个与相应的第二亮度值3211、3221、3231中的至少一个进行比较来确定亮度偏差。由此，可以检测到一端的适用于由第一图像采集装置31获取的重叠主要区域421的一个或多个亮度值3111、3121、3131与在另一端的适用于由第二图像采集装置32获取的所述重叠主要区域421的一个或多个亮度值3211、3221、3231之间的潜在差异。
为了确定亮度偏差，可以以任何可行的方式将相应的第一亮度值3111、3121、3131中的一个或多个与相应的第二亮度值3211、3221、3231中的一个或多个进行比较。例如，可以将适用于第一时刻t1的第一亮度值3111，和/或第一亮度值3111的范围，与适用于所述第一时刻t1的第二亮度值3211，和/或第二亮度值3211的范围，进行比较。类似地，附加地或替代地，例如可以将适用于第二时刻t2的第一亮度值3121，和/或第一亮度值3121的范围，与适用于所述第二时刻t2的第二亮度值3221，和/或第二亮度值3221的范围进行比较，和/或可以将适用于第三时刻t3的第一亮度值3131，和/或第一亮度值3131的范围与适用于所述第三时刻t3的第二亮度值3231，和/或第二亮度值3231的范围进行比较。然而，可选地，确定亮度偏差可以包括将相应的第一亮度值3111、3121、3131中的两个或更多个的均数(比如中值、平均值和/或加权值)与相应的第二亮度值3211、3221、3231中的两个或更多个的均数(比如中值、平均值和/或加权值)进行比较。由此，由于可以将平滑的和/或代表性的第一亮度值与代表性的和/或平滑的第二亮度值进行比较，可以补偿例如潜在的故障。短语“确定亮度偏差”可以指“识别和/或检测亮度偏差”，而“基于将所述相应的第一亮度值中的至少一个与所述相应的第二亮度值中的至少一个进行比较”可以指“通过确定和/或计算所述相应的第一亮度值中的至少一个与所述相应的第二亮度值中的至少一个之间的差”。此外，短语“将所述相应的第一亮度值中的至少一个与所述相应的第二亮度值中的至少一个进行比较”可以指“将代表所述第一亮度值的所述相应的第一亮度值中的至少一个与代表所述第二亮度值的所述相应的第二亮度值中的至少一个进行比较”。
亮度评估系统1还，例如借助于故障识别单元110，适配和/或配置为在亮度偏差超过偏差阈值时确定第一图像采集装置31或第二图像采集装置32没有根据要求等级运行。由此，假设所确定的在能够从第一图像采集装置31导出的亮度值3111、3121、3131与能够从第二图像采集装置32导出的亮度值3211、3221、3231之间的亮度差(适用于重叠主要区域421)大于鉴于可预定要求等级而设置的可预定限制，然后推断出第一图像采集装置31或第二图像采集装置32没有据此运行。即，通过所采用的构思，可以检测到与第一图像采集装置31或其成像器、或者第二图像采集装置32或其成像器有关的异常图像亮度值，该异常图像亮度值可能等于异常电压。这样的异常图像亮度值和随后的异常电压又暗示了不当的运行，并且如果超过偏差阈值，则检测到不符合所设置的要求等级，例如，比如公知的ASIL B等级的安全目标。因此，通过所采用的据此来监测图像亮度值3111、3121、3131、3211、3221、3231的构思，可以省略公知的借助于IC部件(这可能增加复杂性和/或整体系统成本)的电压和时钟监测。
偏差阈值可以由任何可行的限制，例如可以随着变化的亮度范围而变化来代表，并且可以进一步例如鉴于当前和/或期望的实施方式，例如，规定的要求和/或目标来设置。此外，偏差阈值可以以任何可行的方式代表，例如指示以绝对值表示的差，另外地或替代地表示为百分比，比如大于例如5％、15％、30％或45％的差。短语“确定所述第一图像采集装置或所述第二图像采集装置没有”可以根据示例指“确定所述第一图像采集装置的成像器或所述第二图像采集装置的成像器没有”。另一方面，在整个本公开中，“没有根据所述要求等级运行”可以指“没有根据所述要求等级执行”、“运行和/或执行不充分”和/或“呈现和/或展示了出异常亮度值和/或异常电压”。此外，“当所述亮度偏差超过偏差阈值时”可以指“当所述亮度偏差超过可预定的偏差阈值时”和/或“当所述亮度偏差超过基于可预定要求等级设置、反映所述亮度偏差和/或与所述亮度偏差相关的偏差阈值时”，并且根据示例进一步指“当所述亮度偏差超过基于可预先的功能要求等级和/或安全等级(比如ASIL等级，例如ASIL B等级)设置、反映和/或与其相关的偏差阈值时”。“偏差阈值”可以进一步指“第一偏差阈值”，而“当所述亮度偏差超过偏差阈值时”可以进一步指“假设、如果/或倘若所述亮度偏差超过偏差阈值”。
可选地，如示例性的图1所示，车辆2可以包括，一个或多个图像采集装置3中的具有第三视场43的第三图像采集装置33，第三视场43的次级区域431至少部分地与第一视场41重叠。次级区域431可以具有任何可行的范围、尺寸和/或程度，例如由第一图像采集装置31相对于第三图像采集装置33的位置的位置来规定。在示例性的图1中，第三图像采集装置33示出为定位在左侧镜附近和/或包括在左侧镜中，第三图像采集装置33的视场43基本在车辆2的左侧方向上。然而，应当注意的是，考虑至少被称为第三视场43的次级区域431的部分与第一视场41至少部分重叠的情况，第三图像采集装置33可以以任何可行的方式定位，比如在覆盖另一视场的车辆2的其他位置处。例如在校准期间，比如在工厂校准期间，组成次级区域423的区域可以以任何可行的方式来识别和/或确定，和/或已经识别和/或确定。“具有第三视场”可以指“支持和/或覆盖第三视场”，而“次级部分至少部分地与所述第一视场重叠的第三视场”可以指“次级部分至少部分地和/或在某种程度上与所述第一视场重合的第三视场”。另一方面，短语“次级区域”可以指“第二区域”和/或仅仅指“区域”，并且进一步指“次级场”、“次级部段”和/或“次级部分”。
如示例性的图2b所示，可选地，然后，所述亮度评估系统1可以，例如借助于可选的次级图像获取单元102，适配和/或配置为在相应的一个或多个时刻t1、t2、t3，在第三图像采集装置33的支持下获取相应的第三图像331、332、333，其中，相应的第三图像的第三部段330和相应的第一图像311、312、313的第一次级部段3100分别覆盖次级区域431。由此，在一个或多个时间点t1、t2、t3，从第三图像采集装置33另外导出一个或多个图像331、332、333，连同由第一图像采集装置31采集的一个或多个图像311、312、313一起，分别包括第三视场43和第一视场41的重叠的第二部段431。在相应的一个或多个时刻t1、t2、t3获取相应的第三图像331、332、333可以以任何可行的，例如已知的，方式来实现，例如在图像采集装置33的一个或多个成像器的支持下。由于一个或多个时刻t1、t2、t3可以出现在任何可行的时间点，例如以可预定的时间间隔和/或在可预定的不规则时间点出现，因此相应的第三图像331、332、333可以相应地由第三图像采集装置33所采集的连续和/或非连续的图像和/或图像帧来代表。分别覆盖次级区域431的相应的第三图像311、312、313的第一次级部段3100和相应的第三图像331、332、333的第三部段330可以由包括所述次级区域431的所述图像311、312、313、331、332、333的任何可行区域和/或部分来代表，并且因此可以具有与所述图像相符的任何尺寸。例如在校准期间，比如在工厂校准期间，第一次级部段3100和第三部段330可以以任何可行的方式来识别和/或确定，和/或已经识别和/或确定。在示例性的图2b中，将第一次级部段3100和第三部段330分别示出为矩形形状，但是也可以应用其他形状和/或尺寸。可以注意到，相应的第一图像311、312、313中相应的第一次级部段3100的定位和尺寸保持不变，相应地，相应的第三图像331、332、333中相应的第三部段330的定位和尺寸保持不变。短语“在所述第三图像采集装置的支持下的相应的第三图像”可以指“在所述第三图像采集装置的支持下的第三车辆周围环境的相应的第三图像和/或图像帧”和/或“利用和/或通过来自所述第三图像采集装置的输入的相应的第三图像”。此外，“第一次级部段”可以指“第一重叠次级部段”和/或仅仅“重叠部段”，相应地，“第三部段”可以指“第三重叠部段”和/或仅仅“重叠部段”。另一方面，短语“分别覆盖所述次级区域”可以指“分别基本覆盖所述次级区域”和/或“分别包括、复制和/或采集所述次级区域”。
进一步可选地，然后，所述亮度评估系统1可以，例如借助于可选的次级亮度测量单元104，适配和/或配置为针对相应的第三图像331、332、313测量第三部段330的相应的第三亮度值3311、3321、3331，并且针对相应的第一图像311、312、323测量第一次级部段3100的相应的第一次级亮度值31110、31210、31310。由此，针对每个时间点t1、t2、t3，针对覆盖次级区域431(即，覆盖第一图像采集装置31和第三图像采集装置33的视场41、43重叠处的部段431)的图像311、312、313、331、332、333的区域3100、330导出亮度值31110、31210、31310、3311、3321、3331。因此，不仅从由第一图像采集装置31获取的图像311、312、313，而且从由第三图像采集装置33获取的图像331、332、333，收集在一个或多个时间点t1、t2、t3处适用于相同区域431，即次级区域431，的亮度值31110、31210、31310、3311、3321、3331。相应的亮度值31110、31210、31310、3311、3321、3331可以以任何可行的，例如已知的，方式来测量，比如，如上所述，例如在图像处理的支持下，并且进一步例如在2014年2月16日PeterD.Hiscocks、P.Eng的Measuring Luminance with a Digital Camera(通过数字相机测量亮度)中所描述的。此外，所述测量可以指对相应的第一次级部段3100和第三部段330的至少一部分的测量，和/或对所述相应的第一次级部段3100和第三部段330的一个或多个像素的测量。短语“测量相应的第三亮度值和相应的第一次级亮度值”可以指“检测、收集、导出、获取、监测和/或确定相应的第三亮度值和相应的第一次级亮度值”。此外，“所述第三部段的相应的第三亮度值”可以指“所述第三部段的至少一部分的，和/或一个或多个像素的相应的第三亮度值”，相应地，“所述第一次级部段的相应的第一次级亮度值”可以指“所述第一次级部段的至少一部分的，和/或一个或多个像素的相应的第一次级亮度值”。短语“所述第一次级部段的相应的第一次级亮度值”可以进一步指“所述第一次级部段的对应的次级部分和/或像素的相应的第一次级亮度值”。
进一步可选地，然后，所述亮度评估系统1可以，例如借助于可选的次级偏差确定单元106，适配和/或配置为基于将相应的第三亮度值3311、3321、3331中的至少一个与相应的第一次级亮度值31110、31210、31310中的至少一个进行比较来确定次级亮度偏差。由此，可以检测到一端的适用于由第一图像采集装置3获取的重叠次级区域431的一个或多个亮度值31110、31210、31310与在另一端的适用于由第二图像采集装置33获取的所述重叠次级区域431的一个或多个亮度值3311、3321、3331之间的潜在差异。为了确定次级亮度偏差，可以以任何可行的方式将相应的第一次级亮度值31110、31210、31310中的一个或多个与相应的第三亮度值3311、3321、3331中的一个或多个进行比较。例如，可以将适用于第一时刻t1的第一次级亮度值31110和/或第一次级亮度值31110的范围，与适用于所述第一时刻t1的第三亮度值3311和/或第三亮度值3311的范围进行比较。类似地，附加地或替代地，例如可以将适用于第二时刻t2的第一次级亮度值31210和/或第一次级亮度值31210的范围，与适用于所述第二时刻t2的第三亮度值3321和/或第三亮度值3321的范围进行比较，和/或可以将适用于第三时刻t3的第一次级亮度值31310和/或第一次级亮度值31310的范围，与适用于所述第三时刻t3的第三亮度值3331和/或第三亮度值3331的范围进行比较。然而，可选地，确定次级亮度偏差可以包括将相应的第三亮度值3311、3321、3331中的两个或更多个的均数(比如中值、平均值和/或加权值)与相应的第一次级亮度值31110、31210、31310中的两个或更多个的均数(比如中值、平均值和/或加权值)进行比较。由此，可以补偿潜在的例如故障，因为可以将平滑的和/或代表性的第三亮度值3311、3321、3331与代表性的和/或平滑的第一次级亮度值31110、31210、31310进行比较。短语“确定次级亮度偏差”可以指“识别和/或检测次级亮度偏差”，而“基于将所述相应的第三次级亮度值中的至少一个与所述相应的第一亮度值中的至少一个进行比较”可以指“通过确定和/或计算所述相应的第三亮度值中的至少一个与所述相应的第一次级亮度值中的至少一个之间的差”。此外，短语“将所述相应的第三亮度值中的至少一个与所述相应的第一次级亮度值中的至少一个进行比较”可以指“将代表所述第三亮度值的所述相应的第三亮度值中的至少一个与代表所述第二亮度值的所述相应的第一次级亮度值的所述相应的第一次级亮度值中的至少一个进行比较”。
此外可选地，然后，所述亮度评估系统1可以，借助于可选的装置识别单元111，适配和/或配置为在次级亮度偏差超过次级偏差阈值时，识别出是所述第一图像采集装置31没有根据要求等级运行，和/或在次级亮度偏差没有超过次级偏差阈值时，识别出是第二图像采集装置32没有根据要求等级运行。由此，假设所确定的在能够从第一图像采集装置31导出的亮度值31110、31210、31310与能够从第三图像采集装置33导出的亮度值3311、3321、3331之间的亮度差(适用于重叠次级区域431)大于可预定第二限制(所述可预定第二限制潜在地可以等于以上所讨论的和/或鉴于预定要求等级设置的偏差阈值)，然后推断出第一图像采集装置31是第一图像采集装置31和第二图像采集装置32中没有根据要求等级运行的装置。也就是说，由于第一图像采集装置31涉及到鉴于偏差阈值(即，考虑到重叠主要区域421和随后的第二图像采集装置32)和次级偏差阈值(即，考虑到重叠次区域431和随后的第三图像采集装置33)的亮度值比较，并且由于于是确立了超过了这两个阈值，则可以推断出是第一图像采集装置31或其成像器展示了异常亮度值3111、3121、3131、31110、31210、31310。另一方面，假设次级确定的亮度差不大于所述可预定第二限制，则推断出第二图像采集装置32是第一图像采集装置31和第二图像采集装置32中没有根据要求等级运行的装置。也就是说，由于如上所述的第一图像采集装置31涉及鉴于偏差阈值和次级偏差阈值两者的亮度值比较，并且由于确定了于是没有超过次级偏差阈值，从而意味着第一图像采集装置31或其成像器没有展现异常亮度值31110、31210，31310与第三图像采集装置33的亮度值3311、3321、3331相比，可以推断出是第二图像采集装置32或其成像器而不是第一图像采集装置31展现出异常亮度值3211、3221、3231。
次级偏差阈值可以潜在地(尽管不是必需的)设置为等于(或至少在某种程度上等于)以上针对第二主要区域241所讨论的偏差阈值。因此，次级偏差阈值可以由任何可行的限制，例如可以随着变化的亮度范围而变化，来代表，并且可以进一步例如鉴于当前和/或期望的实施方式，例如，规定的要求和/或目标来设置。此外，次级偏差阈值可以以任何可行的方式代表，例如指示以绝对值表示的差，另外地或替代地表示为百分比，比如大于例如5％、15％、30％或45％的差。短语“识别出是”可以指“确定和/或推断是”。另一方面，短语“是所述第一图像采集装置没有”可以指“是所述第一图像采集装置的成像器没有”，相应地，短语“是所述第二图像采集装置没有”可以指“是所述第二图像采集装置的成像器没有”。此外，短语“当所述次级亮度偏差超过次级偏差阈值时”可以指“当所述次级亮度偏差超过可预定的次级偏差阈值时”和/或“当所述次级亮度偏差超过基于可预定要求等级设置、反映和/或与该可预定要求等级相关的次级偏差阈值时”，并且根据示例进一步指“当所述次级亮度偏差超过基于可预先的功能要求等级和/或安全等级(比如ASIL等级，例如ASILB等级)设置、反映和/或与该可预定要求等级相关的次级偏差阈值时”。此外，“当所述次级亮度偏差超过次级偏差阈值时”可以进一步指“假设、如果和/或倘若所述次级亮度偏差超过次级偏差阈值”。“次级偏差阈值”可以进一步指“第二偏差阈值”，而“当所述次级亮度偏差不超过所述次级偏差阈值时”可以进一步指“假设、如果/或倘若所述次级亮度偏差不超过所述次级偏差阈值”。另一方面，短语“和/或当所述次级亮度偏差不超过所述次级偏差阈值时，是所述第二图像采集装置没有根据所述要求等级运行”可以指“否则，是所述第二图像采集装置没有根据所述要求等级运行”。
可以注意到，车辆2可以包括任何另外的任意数量的图像采集装置3，比如，如示例性的图1所示，具有第四视场44的第四图像采集装置34。在示例性的图1中，第四视场44与第一视场41、第二视场42和第三视场43结合，能够覆盖360度的车辆周围环境。然而，可以注意到，可以使用任何其他组合和/或数目的图像采集装置3来实现相同或类似的效果。还可以注意到，可选的第四图像采集装置34和/或任何另外的图像采集装置3，相对于相应的重叠视场区域，可以有助于和/或支持本文提出的发明构思。
可选地，所述亮度评估系统1可以，例如借助于可选的影响元素确定单元109，适配和/或配置为确定在车辆2的图像采集装置范围内是否存在图像亮度影响元素(未示出)，比如隧道和/或立交桥。如上所述的确定第一图像采集装置31或第二图像采集装置32没有根据要求等级运行于是包括，当亮度偏差超过亮度偏差阈值时并且当确定不存在图像亮度影响元素时，确定第一图像采集装置31或第二图像采集装置32没有根据要求等级运行。由此，假设所确定的在能够从第一图像采集装置31导出的亮度值3111、3121、3131与能够从第二图像采集装置32导出的亮度值3211、3221、3231之间的亮度差(适用于重叠主要区域421)大于鉴于可预定要求等级而设置的可预定限制，并且此外还假设确定了在车辆2附近没有可能潜在地影响所采集的图像311、312、313、321、322、323的元素，则推断出第一图像采集装置31或第二图像采集装置32没有据此运行。也就是说，如果确定图像亮度影响元素存在于车辆2的范围内，则所述图像亮度影响元素(例如隧道和/或立交桥)可能潜在地，例如通过投射阴影和/或黑暗，影响所采集的图像311、312、313、3212、322、323中的测量亮度值3111、3121、3131、3211、3221、3231，这是例如在图像采集装置设置在车辆2的不同位置处(比如在车辆2的不同纵向位置处)的情况下可能出现的情况。因此，在这种情况下，所测量的相应的第一亮度值3111、3121、3131可能潜在地不同于所测量的相应的第二亮度值3211、3221、3231，以至于由于来自所述图像亮度影响元素的影响而非由于第一图像采集装置31或第二图像采集装置32没有根据要求等级运行而超过偏差阈值。因此，根据本实施例，如果确定在车辆2的图像采集装置范围内存在图像亮度影响元素，则即使亮度偏差可能超过要求等级，亮度评估系统1也抑制确定第一图像采集装置31或第二图像采集装置32没有根据要求等级运行。
图像亮度影响元素可以指潜在地对图像采集装置3所采集的图像的亮度具有影响的任何可行元素和/或物体，比如隧道、立交桥、桥梁等。确定是否存在图像亮度影响元素可以以任何可行的，例如已知的，方式来实现。例如，可以例如借助于公知的物体检测和/或图像处理来确定所述图像亮度影响元素不存在或存在。然而，可选地，亮度评估系统1可以，例如借助于可选的车辆位置确定单元107，适配和/或配置为在定位系统24的支持下确定车辆2的位置，并且进一步，例如借助于可选的车辆定位单元108，适配和/或配置为基于车辆位置来鉴于数字地图23定位车辆2。如上所述的确定是否存在图像亮度影响元素包括，确定在数字地图23中是否存在车辆2的图像采集装置范围内的图像亮度影响元素。由此，通过鉴于数字地图23定位车辆2并且进一步分析地图数据，可以在数字地图23中所映射的车辆2位置的范围内导出在所述数字地图23中是否存在被认为潜在地影响图像亮度的元素。确定车辆2的位置并且鉴于数字地图23进一步定位车辆2，可以以任何可行的，例如已知的，方式在定位系统的支持下并且进一步例如在可选的感知系统22或上述类似系统和/或功能的支持下来实现。短语“确定是否存在图像亮度影响元素”可以指“识别、估计和/或导出是否存在图像亮度影响元素”和/或“确定是否存在图像亮度影响元素”和/或“确定是否存在图像亮度影响元素”，而“图像亮度影响元素”可以指“影响图像亮度的物体”、“影响图像亮度的静止和/或动态元素”和/或“潜在影响和/或冲击图像亮度的元素”。此外，短语“在所述车辆的图像采集装置范围内”可以指“在距所述车辆的可预定距离内，比如在距所述车辆的100、50或5米内”、“在所述第一图像采集装置和/或所述第二图像采集装置的图像采集装置范围内”，并且根据示例进一步指“在所述主要区域内”。短语“当确定不存在图像亮度影响元素时”可以指“假设、倘若和/或如果确定不存在图像亮度影响元素”。
如图3进一步所示，亮度评估系统1包括主要图像获取单元101、主要亮度测量单元103、主要偏差确定单元105、故障识别单元110、可选的次级图像获取单元102、可选的次级亮度测量单元104、可选的次级偏差确定单元106、可选的装置识别单元111、可选的车辆位置确定单元107，可选的车辆定位单元108、可选的影响元素确定单元109，所有这些都已经在上面更详细地描述过。此外，本文中用于测量对可预定要求等级的车载车辆图像采集装置功能符合性的实施例可以通过一个或多个处理器(比如处理器112，在这里表示为CPU)与用于执行本文的实施例的功能和动作的计算机程序代码来实施。所述程序代码也可以被提供为计算机程序产品，例如以数据载体的形式，该数据载体携带用于当被加载到亮度评估系统1中时执行本文的实施例的计算机程序代码。一个这样的载体可以是CD ROM盘和/或硬盘驱动器的形式，但是其他数据载体也是可行的。此外，计算机程序代码可以作为纯程序代码在服务器上提供并且下载到亮度评估系统1。亮度评估系统1可以还包括存储器113，存储器107包括一个或多个存储单元。存储器113可以布置为用来存储例如信息，并且进一步存储数据、配置、调度和应用程序，以在亮度评估系统1中被执行时执行本文的方法。例如，计算机程序代码可以在固件中实施、存储在嵌入式处理器112的闪存113中和/或例如从外接服务器无线地下载。此外，所述单元101-111、可选的处理器112和/或可选的存储器113可以至少部分地包括在一个或多个节点114中，例如车辆2的ECU中，例如所述ECU在可选的ADAS或ADS系统21和/或一个或多个图像采集装置3中和/或与上述系统21和/或装置3相关联。本领域的技术人员还将理解，上述的单元101-111以及任何其他单元、接口、系统、控制器、模块、装置、元件、特征等可以指、包括、包含和/或实施为或实施模拟和数字电路的组合和/或配置有软件和/或固件的一个或多个处理器，软件和/或固件例如存储在存储器(比如存储器113)中，在由一个或多个处理器(比如处理器112)执行时如本文所述(比如结合图5)地执行。这些处理器中的一个或多个以及其他数字硬件可以包括在单个专用集成电路ASIC或若干处理器中，并且各种数字硬件可以分布在若干单独的部件(无论是单独封包还是组装成片上系统SoC)之间。
图4是示出根据本公开的实施例的由亮度评估系统1执行的示例性方法的流程图。所述方法用于对可预定要求等级的车载车辆图像采集装置功能符合性进行监测。可以连续重复的示例性方法包括在图1-图3的支持下讨论的以下动作中的一个或多个。而且，在适用的情况下，可以以任何适当的顺序采取动作和/或可以同时和/或以交替的顺序执行一个或多个动作。例如，动作1001和可选的动作1002可以同时和/或以交替顺序执行。类似地，动作1003和可选的动作1004和/或动作1005以及可选的动作1006可以同时和/或以交替顺序执行，而可选的动作1007-1009以及动作1001-1006中的一个或多个以类似方式可以同时和/或以交替顺序执行。
动作1001
在动作1001中，所述亮度评估系统1，例如在主要图像获取单元101的支持下，在相应的一个或多个时刻t1、t2、t3，在第一图像采集装置31的支持下获取相应的第一图像311、312、313，并且在第二图像采集装置32的支持下获取相应的第二图像321、322，323，其中，相应的第一图像311、312、313的第一部段310和相应的第二图像321、322、323的第二部段320分别覆盖主要区域421。
动作1002
可选地，第三图像采集装置33具有第三视场43，第三视场43的次级区域431至少部分地与第一视场41重叠。因此，在可选的动作1002中，亮度评估系统1可以，例如在可选的次级图像获取单元102的支持下，在相应的一个或多个时刻t1、t2、t3，在第三图像采集装置33的支持下获取相应的第三图像331、332、333，其中，相应的第三图像的第三部段330和相应的第一图像311、312、313的第一次级部段3100分别覆盖次级区域431。
动作1003
在动作1003中，所述亮度评估系统1，例如在主要亮度测量单元103的支持下，针对相应的第一图像311、312、313测量第一部段310的相应的第一亮度值3111、3121、3131，并且针对相应的第二图像321、322、323测量第二部段320的相应的第二亮度值3211、3221、3231。
动作1004
在跟随在可选动作1002之后的可选动作1004中，所述亮度评估系统1可以，例如在可选的次级亮度测量单元104的支持下，针对相应的第三图像331、332、333测量第三部段330的相应的第三亮度值3311、3321、3331，并且针对相应的第一图像311、312、313测量第一次级部段3100的相应的第一次级亮度值31110、31210、31310。
动作1005
在动作1005中，所述亮度评估系统1，例如在主要偏差确定单元105的支持下，基于将相应的第一亮度值3111、3121、3131中的至少一个与相应的第二亮度值3211、3221、3231中的至少一个进行比较来确定亮度偏差。
可选地，确定亮度偏差的动作1005可以包括，和/或主要偏差确定单元105可以适配和/或配置为，将相应第一亮度值3111、3121、3131中的两个或更多个的均数与相应第二亮度值3211、3221、3231中的两个或更多个的均数进行比较。
行动1006
在可选动作1004之后的可选动作1006中，所述亮度评估系统1可以，例如在可选的次级偏差确定单元106的支持下，基于将相应的第三亮度值3311、3321、3331中的至少一个与相应的第一次级亮度值31110、31210、31310中的至少一个进行比较来确定次级亮度偏差。
可选地，确定次级亮度偏差的动作1006可以包括，和/或可选的次级偏差确定单元106可以适配和/或配置为，将相应的第三亮度值3311、3321、3331中的两个或更多个的均数与相应的第一次级亮度值31110、31210、31310中的两个或更多个的均数进行比较。
动作1007
在可选的动作1007中，所述亮度评估系统1可以，例如在可选的车辆位置确定单元107的支持下，在定位系统24的支持下确定车辆2的位置。
动作1008
在跟随在可选动作1007之后的可选动作1008中，所述亮度评估系统1可以，例如在可选的车辆定位单元108的支持下，基于鉴于数字地图23的车辆位置来定位车辆2。
动作1009
在可选的动作1009中，所述亮度评估系统1可以，例如在可选的影响元素确定单元109的支持下，确定在车辆2的图像采集装置范围内是否存在图像亮度影响元素，例如隧道和/或立交桥。
可选地，如果动作1009跟随在鉴于数字地图23定位车辆2的动作1008之后，则动作1009可以包括，和/或可选的影响元素确定单元109，可以适配和/或配置为，确定数字地图23中是否存在车辆2的图像采集装置范围内的图像亮度影响元素。
动作1010
在动作1010中，所述亮度评估系统1，例如，在故障识别单元110的支持下，在亮度偏差超过偏差阈值时确定第一图像采集装置31或第二图像采集装置32没有根据要求等级运行。
可选地，如果动作1010跟随在确定是否存在图像亮度影响元素的动作1009之后，则动作1010的所述确定可以包括，和/或故障识别单元110可以适配为和/或配置为，在亮度偏差超过亮度偏差阈值时并且在确定不存在图像亮度影响元素时确定第一图像采集装置31或第二图像采集装置32没有根据要求等级运行。
动作1011
在跟随在可选动作1006之后的可选动作1011中，所述亮度评估系统1可以，例如在可选的装置识别单元111的支持下，在次级亮度偏差超过次级偏差阈值时确定是第一图像采集装置31没有根据要求等级运行、和/或在次级亮度偏差不超过次级偏差阈值时确定是第二图像采集装置32没有根据要求等级运行。
本领域技术人员意识到，本公开绝不限于上述的优选实施例。相反，在所附权利要求的范围内，许多修改和变化是可能的。此外应注意，附图未必按比例绘制，并且为了清楚起见，可能放大了某些特征的尺寸。相反，重点放在说明本文实施例的原理上。另外，在权利要求中，词语“包括”并不排除其他元件或步骤，而不定冠词“一”或“一个”也不排除多个。

Claims (15)

1.一种由车辆(2)的亮度评估系统(1)执行来监测对可预定要求等级的车载车辆图像采集装置功能符合性的方法，所述车辆(2)包括适配为采集所述车辆(2)的周围环境的两个或更多个图像采集装置(3)、具有第一视场(41)的第一图像采集装置(31)和具有第二视场(42)的第二图像采集装置(32)，所述第二视场(42)的主要区域(421)至少部分地与所述第一视场(41)重叠，所述方法包括：
在相应的一个或多个时刻(t1、t2、t3)，在所述第一图像采集装置(31)的支持下获取(1001)相应的第一图像(311、312、313)并且在所述第二图像采集装置(32)的支持下获取相应的第二图像(321、322、323)，所述相应的第一图像(311、312、313)的第一部段(310)和所述相应的第二图像(321、322、323)的第二部段(320)分别覆盖所述主要区域(421)；
针对相应的第一图像(311、312、313)测量(1003)所述第一部段(310)的相应的第一亮度值(3111、3121、3131)，并且针对相应的第二图像(321，322，323)测量(1003)所述第二部段(320)的相应的第二亮度值(3211、3221、3231)；
基于将所述相应的第一亮度值(3111、3121、3131)中的至少一个与所述相应的第二亮度值(3211、3221、3231)中的至少一个进行比较来确定(1005)亮度偏差；和
当所述亮度偏差超过偏差阈值时，确定(1010)所述第一图像采集装置(31)或所述第二图像采集装置(32)没有根据所述要求等级运行。
2.根据权利要求1所述的方法，其中，所述确定(1005)亮度偏差的步骤包括将所述相应的第一亮度值(3111、3121、3131)中的两个或更多个的均数与所述相应的第二亮度值(3211、3221、3231)中的两个或更多个的均数进行比较。
3.根据权利要求1或2所述的方法，其中，第三图像采集装置(33)具有第三视场(43)，所述第三视场(43)的次级区域(431)至少部分地与所述第一视场(41)重叠，所述方法还包括：
在相应的一个或多个时刻(t1、t2、t3)，在所述第三图像采集装置(33)的支持下获取(1002)相应的第三图像(331、332、333)、所述相应的第三图像(331、332、333)的第三部段(330)和所述相应的第一图像(311、312、313)的第一次级部段(3100)分别覆盖所述次级区域(431)；
针对相应的第三图像(331、332、333)测量(1004)所述第三部段(330)的相应的第三亮度值(3311、3321、3331)，并且针对相应的第一图像(311、312、313)测量(1004)所述第一次级部段(3100)的相应的第一次级亮度值(31110、31210、31310)；
基于将所述相应的第三亮度值(3311、3321、3331)中的至少一个与所述相应的第一次级亮度值(31110、31210、31310)中的至少一个进行比较来确定(1006)次级亮度偏差；和
当所述次级亮度偏差超过次级偏差阈值时，识别(1011)出是所述第一图像采集装置(31)没有根据所述要求等级运行，和/或当所述次级亮度偏差没有超过所述次级偏差阈值时，识别(1011)出是所述第二图像采集装置(32)没有根据所述要求等级运行。
4.根据权利要求3所述的方法，其中，所述确定(1006)次级亮度偏差的步骤包括将所述相应的第三亮度值(3311、3321、3331)中的两个或更多个的均数与所述相应的第一次级亮度值(31110、31210、31310)中的两个或更多个的均数进行比较。
5.根据权利要求1-4中任一项所述的方法，还包括：
确定(1009)在所述车辆(2)的图像采集装置范围内是否存在图像亮度影响元素，例如隧道和/或立交桥；
其中，所述确定(1010)所述第一图像采集装置(31)或所述第二图像采集装置(32)没有根据所述要求等级运行的步骤包括：当所述亮度偏差超过亮度偏差阈值时并且当确定不存在图像亮度影响元素时，确定所述第一图像采集装置(31)或所述第二图像采集装置(32)没有根据所述要求等级运行。
6.根据权利要求5所述的方法，还包括：
在定位系统(24)的支持下确定(1007)所述车辆(2)的位置；和
基于所述车辆位置，鉴于数字地图(23)定位(1008)所述车辆(2)；
其中，所述确定(1009)是否存在图像亮度影响元素的步骤包括确定在所述数字地图(23)中是否存在所述车辆(2)的图像采集装置范围内的图像亮度影响元素。
7.一种车辆(2)的亮度评估系统(1)，其用于监测对可预定要求等级的车载车辆图像采集装置功能符合性，所述车辆(2)包括适配为采集所述车辆(2)的周围环境的两个或更多个图像采集装置(3)、具有第一视场(41)的第一图像采集装置(31)和具有第二视场(42)的第二图像采集装置(32)，所述第二视场(42)的主要区域(421)至少部分地与所述第一视场(41)重叠，所述亮度评估系统(1)包括：
主要图像获取单元(101)，其用于在相应的一个或多个时刻(t1、t2、t3)，在所述第一图像采集装置(31)的支持下获取(1001)相应的第一图像(311、312、313)并且在所述第二图像采集装置(32)的支持下获取相应的第二图像(321、322、323)，所述相应的第一图像(311、312、313)的第一部段(310)和所述相应的第二图像(321、322、323)的第二部段(320)分别覆盖所述主要区域(421)；
主要亮度测量单元(103)，其用于针对相应的第一图像(311、312、313)测量(1003)所述第一部段(310)的相应的第一亮度值(3111、3121、3131)，并且针对相应的第二图像(321，322，323)测量(1003)所述第二部段(320)的相应的第二亮度值(3211、3221、3231)；
主要偏差确定单元(105)，其用于基于将所述相应的第一亮度值(3111、3121、3131)中的至少一个与所述相应的第二亮度值(3211、3221、3231)中的至少一个进行比较来确定(1005)亮度偏差；和
故障识别单元(110)，其用于在所述亮度偏差超过偏差阈值时，确定(1010)所述第一图像采集装置(31)或所述第二图像采集装置(32)没有根据所述要求等级运行。
8.根据权利要求7所述的亮度评估系统(1)，其中，所述主要偏差确定单元(105)适配为将所述相应的第一亮度值(3111、3121、3131)中的两个或更多个的均数与所述相应的第二亮度值(3211、3221、3231)中的两个或更多个的均数进行比较。
9.根据权利要求7或8所述的亮度评估系统(1)，其中，第三图像采集装置(33)具有第三视场(43)，所述第三视场(43)的次级区域(431)至少部分地与所述第一视场(41)重叠，所述亮度评估系统(1)还包括：
次级图像获取单元(102)，其用于在相应的一个或多个时刻(t1、t2、t3)，在所述第三图像采集装置(33)的支持下获取(1002)相应的第三图像(331、332、333)，所述相应的第三图像(331、332、333)的第三部段(330)和所述相应的第一图像(311、312、313)的第一次级部段(3100)分别覆盖所述次级区域(431)；
次级亮度测量单元(104)，用于针对相应的第三图像(331、332、333)测量(1004)所述第三部段(330)的相应的第三亮度值(3311、3321、3331)，并且针对相应的第一图像(311、312、313)测量(1004)所述第一次级部段(3100)的相应的第一次级亮度值(31110、31210、31310)；
次级偏差确定单元(106)，其用于基于将所述相应的第三亮度值(3311、3321、3331)中的至少一个与所述相应的第一次级亮度值(31110、31210、31310)中的至少一个进行比较来确定(1006)次级亮度偏差；和
装置识别单元(111)，其用于在所述次级亮度偏差超过次级偏差阈值时，识别(1011)出是所述第一图像采集装置(31)没有根据所述要求等级运行，和/或在所述次级亮度偏差没有超过所述次级偏差阈值时，识别(1011)出是所述第二图像采集装置(32)没有根据所述要求等级运行。
10.根据权利要求9所述的亮度评估系统(1)，其中，所述次级偏差确定单元(106)适配为将所述相应的第三亮度值(3311、3321、3331)中的两个或更多个的均数与所述相应的第一次级亮度值(31110、31210、31310)中的两个或更多个的均数进行比较。
11.根据权利要求7-10中任一项所述的亮度评估系统，还包括：
影响元素确定单元(109)，其用于确定(1009)在所述车辆(2)的图像采集装置范围内是否存在图像亮度影响元素，例如隧道和/或立交桥；
其中，所述故障识别单元(110)适配为在所述亮度偏差超过亮度偏差阈值并且在确定不存在图像亮度影响元素时，确定所述第一图像采集装置(31)或所述第二图像采集装置(32)没有根据所述要求等级运行。
12.根据权利要求11所述的亮度评估系统(1)，还包括：
车辆位置确定单元(107)，其用于在定位系统(24)的支持下确定(1007)所述车辆(2)的位置；和
车辆定位单元(108)，其用于基于所述车辆位置，鉴于数字地图(23)定位(1008)所述车辆(2)；
其中，所述影响元素确定单元(109)适配为确定在所述数字地图(23)中是否存在所述车辆(2)的图像采集装置范围内的图像亮度影响元素。
13.一种车辆(2)，其包括根据权利要求7-12中任一项所述的亮度评估系统(1)。
14.一种计算机程序产品，包括含有计算机程序代码装置的计算机程序，所述计算机程序代码装置布置为使得计算机或处理器执行根据权利要求1-6中任一项所述的方法的步骤，所述计算机程序存储在计算机可读介质或载波上。
15.一种非易失性计算机可读存储介质，其具有存储在所述非易失性计算机可读存储介质上的根据权利要求14所述的计算机程序产品。
CN202111081782.2A 2020-09-16 2021-09-15 车载车辆图像采集装置功能符合性的监测 Pending CN114268788A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/022,948 US20220080986A1 (en) 2020-09-16 2020-09-16 Monitoring of on-board vehicle image capturing device functionality compliance
US17/022,948 2020-09-16

Publications (1)

Publication Number Publication Date
CN114268788A true CN114268788A (zh) 2022-04-01

Family

ID=77666125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111081782.2A Pending CN114268788A (zh) 2020-09-16 2021-09-15 车载车辆图像采集装置功能符合性的监测

Country Status (3)

Country Link
US (1) US20220080986A1 (zh)
EP (1) EP3971828A1 (zh)
CN (1) CN114268788A (zh)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369224A (ja) * 2001-06-04 2002-12-20 Oki Electric Ind Co Ltd 監視装置およびその故障検出方法
JP2008165689A (ja) * 2007-01-05 2008-07-17 Mitsubishi Electric Corp プラント監視システム
JP2009017020A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 画像処理装置及び表示画像生成方法
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
DE102010002312A1 (de) * 2010-02-24 2011-08-25 Robert Bosch GmbH, 70469 Verfahren und Vorrichtung zur Analyse eines Bildes einer Bilderfassungseinrichtung für ein Fahrzeug
JP6183305B2 (ja) * 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
US9804594B2 (en) * 2014-11-07 2017-10-31 Clearpath Robotics, Inc. Self-calibrating sensors and actuators for unmanned vehicles
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
US10339812B2 (en) * 2017-03-02 2019-07-02 Denso International America, Inc. Surrounding view camera blockage detection
BR112020003996A2 (pt) * 2017-08-30 2020-09-01 Nissan Motor Co., Ltd. método para corrigir erro de posição e dispositivo para corrigir erro de posição em veículo de direção assistida
CN108377345B (zh) * 2018-04-11 2020-04-03 浙江大华技术股份有限公司 一种曝光参数值确定方法、装置、多目摄像机及存储介质
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US10916035B1 (en) * 2018-11-30 2021-02-09 Zoox, Inc. Camera calibration using dense depth maps
US10943129B2 (en) * 2019-01-04 2021-03-09 Ford Global Technologies, Llc Low-light sensor cleaning
DE102019121340A1 (de) * 2019-08-07 2021-02-11 Infineon Technologies Ag Verfahren und vorrichtung zum bestimmen einer fehlfunktion und sensorsystem
JP7156224B2 (ja) * 2019-09-20 2022-10-19 株式会社デンソーテン 付着物検出装置および付着物検出方法
US11120538B2 (en) * 2019-12-27 2021-09-14 Zoox, Inc. Sensor degradation detection and remediation
US11501452B2 (en) * 2020-08-10 2022-11-15 Honeywell International Inc. Machine learning and vision-based approach to zero velocity update object detection

Also Published As

Publication number Publication date
EP3971828A1 (en) 2022-03-23
US20220080986A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
US10392009B2 (en) Automatic parking system and automatic parking method
JP7461720B2 (ja) 車両位置決定方法及び車両位置決定装置
US10569768B2 (en) Information processing apparatus, information processing method, and non-transitory recording medium
US20230079730A1 (en) Control device, scanning system, control method, and program
EP3343438A1 (en) Automatic parking system and automatic parking method
EP2492888B1 (en) Lane departure warning apparatus and system
US11691619B2 (en) Automatic parking system and automatic parking method
US11740093B2 (en) Lane marking localization and fusion
CN111932901B (zh) 道路车辆跟踪检测设备、方法及存储介质
CN109923438B (zh) 用于确定车辆速度的装置和方法
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
EP3855205A1 (en) Perception performance evaluation of a vehicle adas or ads
US10592784B2 (en) Detection based on fusion of multiple sensors
CN112693472A (zh) 车辆的adas或自动驾驶特征的性能监控和评估
CN110660229A (zh) 车速的测量方法、装置及车辆
US20210080264A1 (en) Estimation device, estimation method, and computer program product
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
CN110658353B (zh) 运动物体速度的测量方法、装置及车辆
JP4768499B2 (ja) 車載周辺他車検出装置
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
CN114268788A (zh) 车载车辆图像采集装置功能符合性的监测
US11267477B2 (en) Device and method for estimating the attention level of a driver of a vehicle
CN110659551A (zh) 运动状态的识别方法、装置及车辆
US20220237926A1 (en) Travel management device, travel management method, and recording medium
US20220242455A1 (en) Unforeseen vehicle driving scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination