CN109639937A - 使用传感器报告集成的相机子系统评估 - Google Patents

使用传感器报告集成的相机子系统评估 Download PDF

Info

Publication number
CN109639937A
CN109639937A CN201811167100.8A CN201811167100A CN109639937A CN 109639937 A CN109639937 A CN 109639937A CN 201811167100 A CN201811167100 A CN 201811167100A CN 109639937 A CN109639937 A CN 109639937A
Authority
CN
China
Prior art keywords
camera
sensor
vehicle
cdm
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811167100.8A
Other languages
English (en)
Inventor
W-c·林
S·蒋
王劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109639937A publication Critical patent/CN109639937A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种方法用于通过经由相机诊断模块(CDM)从子系统并且可能从车门传感器、雨量/天气传感器或其它传感器接收传感器报告来评估数字网络中(例如，车辆或车队上)的相机相关子系统。CDM包括与子系统特定故障模式对应的数据表。该方法包括通过将接收的传感器报告中的潜在故障指示符与数据表中的一个进行比较来评估相机相关子系统的性能，并且确定报告中的故障指示符的模式。该模式指示相机相关子系统的健康特性。响应于健康特性而执行关于数字网络的控制动作，其包括记录指示健康特性的诊断或预后代码。还公开了数字网络和车辆。

Description

使用传感器报告集成的相机子系统评估
引言
数码相机用于各种系统。例如，商业建筑、学校、建筑工地以及其它设施使用电光和红外安全相机进行白天和夜间房屋监控。被布置在沿着高速公路、桥梁以及水道的战略位置处的交通相机用于监控实时交通状况。类似地，机动车辆通常包括外部相机，其诸如经由基于视觉的车道检测和避开障碍物以及通过改进操作员或自主控制器对直接操作环境的整体意识促进执行例行驾驶操纵。相机还可以用于评估操作员对道路的注意力水平。
发明内容
本文公开了用于评估数字网络(即，具有一个或多个连接的数码相机的通信网络)中的相机相关子系统的性能的方法和系统。虽然本文描述了操作员驾驶和自主驾驶的车辆实施例，但是如本领域一般技术人员根据本公开内容将理解的，车辆应用仅是一种可能的实施方案。一些实施例提供对故障相机/相机相关子系统的诊断，而其它实施例例如通过评估给定相机的剩余使用寿命和/或健康状态提供对数字网络和连接相机的前瞻性预后。
该方法利用通信总线(例如，示例性车辆应用中的低压控制局域网(CAN)总线或另一个低压差分系统(LVDS))上的可用传感器数据，并且对子系统级别的相机执行诊断/预后。给定相机可以依赖于多个内部和外部子系统在网络环境中起作用，其中相机相关子系统取决于功能是相机的一部分或者连接到相机。示例性相机相关子系统可以包括数字相机本身的内部硬件和图像处理软件，以及最终将收集的像素图像传送到显示屏或其它装置的通信总线和处理硬件。该方法还依赖于与某些子系统级故障对应的编程数据表的可用性以及来自各种相机、网络、处理或其它相机相关子系统的传感器报告中所包含的故障指示符形式的信息，其可能包括外部数据，诸如天气相关数据和其它内部数据，诸如示例性车辆实施例中的车门的打开/关闭状态。
作为所公开方法的一部分，被称为相机诊断模块(CDM)的可编程计算机装置编程有上述数据表，这些数据表进而指示某些类型的故障与各种传感器报告中所包含的对应的故障指示符之间的关系(即，特定传感器输出值或数据的模式或值)。CDM的一些实施例使得能够诸如通过将故障相机暴露于校准图像、经由数码相机收集校准图像的像素图像并且此后评估相机的性能相距预期性能的发散或变化的大小来隔离特定类型的故障。可选地，可以使用来自单台车辆或这样的车辆的车队的历史数据来训练相机退化模型，以最终确定例如故障相机的健康状态和/或剩余使用寿命的形式的健康特性。
在各种实施例中，可以在车辆上或在车外例如使用远程信息处理收集所需数据来实施CDM。CDM可以用于提供对单个数码相机或可能来自不同车辆的多个这样的相机的诊断和/或预后。
对于使用数字网络的一组系统，诸如各自具有类似配置的相机套件的电动车辆或自主车辆的车队，该CDM可以使用直方图来识别车队中表现反常或或异常的相机，由此检测特定类型的故障。就前瞻性预后而言，可以产生给定指示符的时间历史，例如健康状态，并且将该时间历史用于关于预期老化轨迹训练相机退化模型。可以取决于可用的计算资源在车外或车辆上产生这种模型。
在特定示例性实施例中，一种用于评估数字网络内的数码相机的相机相关子系统的性能的方法包括经由CDM从数字网络内的传感器或子系统接收一组传感器报告。CDM具有存储器，在该存储器上记录与子系统特定故障模式对应的数据表。该方法包括评估多个相机关子系统中的预定相机相关子系统的性能，其包括将接收的传感器报告中的潜在故障指示符与数据表中对应的一个进行比较，并且确定传感器报告中的指示符的模式，该模式指示预定相机相关子系统的健康特性，即，诊断通过/未通过和/或前瞻性预后健康评估。
另外，该方法包括响应于健康特性执行关于数字网络的控制动作，其包括经由CDM产生记录代码，该代码指示健康特性。
数字网络可以包括多个数码相机，每个数码相机具有镜头、图像传感器片上系统(SOC)、通信总线以及处理硬件作为对应的一个相机相关子系统。诸如图像传感器等其它子系统可以是相机的一部分。接收传感器报告可以包括从每个数码相机的每个相机相关子系统接收对应的传感器报告。
数字网络可以用在具有车门的车辆上，在这种情况下，接收传感器报告可以包括分别从车门位置传感器和天气传感器接收车门打开/关闭状态和雨量/湿度值。
车辆可以包括前端和后端，并且数码相机可以包括至少前视相机和连接到相应前端和后端的倒车相机。
如上所述，健康特性可以是预定相机相关子系统的诊断通过/未通过结果或剩余使用寿命。该方法可以包括经由CDM收集潜在故障指示符，同时使用具有诊断后的故障相机相关子系统的数码相机捕获校准图像的像素图像，将潜在故障指示符与校准/新数码相机的校准值进行比较，以及基于潜在故障指示符与校准值之间的差异来隔离故障子系统。
执行控制动作可以包括使用相机退化模型确定数码相机的剩余使用寿命作为上述健康特性，以及将包含剩余使用寿命的消息传输到数字网络的所有者或操作员作为控制行动的一部分。确定剩余使用寿命可以包括通过相机退化模型处理模块化传递函数值或数字健康状态。
CDM可以在作为车队的一部分的车辆上使用，每台车辆具有对应的多个数码相机。该方法可以包括使用来自车队中的所有数码相机的历史数据来训练相机退化模型。或者，CDM可以是具有数码相机的单台车辆的一部分，其中该方法包括使用来自单台车辆的数码相机的历史数据来训练相机退化模型。CDM可以相对于数字网络远程定位，其中该方法包括使用远程信息处理单元将集成传感器报告传输到CDM。
还公开了数字网络的实施例，其中数字网络包括如上所述的多个数码相机和CDM。该实施例中的每个相机具有多个相机相关子系统，其可能包括镜头、图像传感器SOC、通信总线以及处理硬件。在本公开的范围内可以预期其它子系统，例如图像传感器。
车辆包括具有前端和后端的车身、数字网络以及CDM。安装在车身的前端和后端的相机各自具有上述的镜头、图像传感器SOC、通信总线以及处理硬件。CDM使用所公开的方法来评估预定的一个相机相关子系统。
从以下对实施例的详细描述和用于结合附图和所附权利要求书执行所描述的公开内容的最佳模式，本公开的上述和其它特征和优点将是显而易见的。
附图说明
图1是具有相机诊断模块(CDM)的示例性车辆的示意性平面图，该相机诊断模块配置为诊断如本文所述的单独的相机相关子系统的健康状况。
图2是具有图1的CDM的数码相机网络的示意图。
图3是描述用于诊断图2的数码相机网络中的相机相关子系统的健康状况的方法的示例实施例的流程图。
图4A到图4D是可用作图1中所示的车辆实施例的一部分的示例性数据表的示意图。
图5和图6分别是描述用于单独的车辆和车队的相机网络的故障预后/健康状态预后的示例性过程的流程图。
本公开具有各种修改和替代形式，且某些代表性实施例在附图中已作为示例示出并且将在本文进行详细描述。然而，应当理解的是，本公开的新颖方面不限于附图中所说明的特定形式。相反地，本公开旨在涵盖落入由所附权利要求限定的本公开的精神和范围内的修改、等同物、组合或替代。
具体实施方式
参考附图，其中相同的附图标记在若干视图中指代相同的部件，图1中示出了相机诊断模块(CDM)50作为示例性车辆10形式的系统的一部分。在本公开的范围内可以预期其它系统实施例，其包括建筑物或设施、除机动车辆之外的车辆10，例如飞机、火车、船舶、移动平台等。为了说明的一致性，车辆10在下文中在操作员驾驶和自动车辆10的背景下同样地描述，无论是单独操作还是作为类似配置的车辆10的车队的一部分操作。
车辆10包括如图2中最佳示出的数字网络21。实施方法100的计算机可读指令提供CDM50的编程功能，其中图3中描绘的方法100的示例性实施例。在不同的实施例中，CDM50的所公开的健康相关诊断和预后功能可以在车辆10上或车辆10之外实施，其中包含潜在故障指示符的集成传感器报告(箭头CCI)从车辆10的各种相机相关子系统传送到CDM50，这些集成传感器报告可能包括诸如通过控制器局域网(CAN)总线、另一个通信总线或网络和/或经由远程信息处理单元23的来自车门位置传感器(SDP)的开门状态或来自天气传感器(SW)的雨量、湿度或者来自天气传感器(SW)的其它天气相关传感器值的形式的附加传感器报告。
CDM50可以相对于数字网络21远程定位，并且配置为从远程信息处理单元23无线地接收传感器报告(箭头CCI)。如果车辆10包括足够量的车载存储器，则CDM50和方法100可以作为封闭系统在车辆10上实施。因此，CDM50的物理位置可以取决于应用而变化。
通常，CDM50配置为评估数字网络21的子系统级的数字网络21的性能，这是基于可能子系统故障的集成传感器报告(箭头CCI)和数据表70中的信息来进行的。示例性数据表70A到70D分别在图4A到4D中示出并且在下面进一步详细解释。下面还要进一步详细阐述参考图像25的可选使用以例如通过精确定位给定子系统的故障部件进一步隔离诊断的子系统故障，其中图1中箭头AA示意地指示参考图像25的基于相机的成像。CDM50还可以包括相机退化模型82，其是使用车辆10的历史数据或车辆10的车队来训练的，并且最终用于确定各种相机的剩余使用寿命。图5和图6描绘了CDM50的可选前瞻性或预后功能，其中CDM50可充当独立或联网诊断工具，或独立或联网的组合诊断和预后工具。
进一步关于图1中所示的车辆10，车辆10包括具有前车身端部11F、后车身端部11R以及车门13的车身11，其中术语“前”和“后”在本文分别是指车辆10的相应的前/向前和后/向后驾驶方向。车辆10包括经由图1的数字网络21连接的一个或多个数码相机，其可能包括前视相机12、后视/倒车相机14、乘客侧视相机16以及驾驶员侧视相机18中的一个或多个。
数码相机12、14、16和18配置为接收电磁频谱的指定频带中的能量，并且将接收的能量转换为数字像素格式的电信号。在结构上，相机12、14、16和18可以取决于用途而实施为电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)传感器或其它类型的相机，其中在可见光、红外线或其它期望的频带中收集数据。相机12、14、16和18中的每一个以校准的帧速率产生一帧或多帧像素数据，并且安装到车辆10的适用于应用的结构，例如保险杠、车身板、仪表板、格栅、镜子或门板。然后，使用适当的数字信号处理技术在相机本身内或经由单独的处理器(未示出)对来自相机12、14、16和18的图像数据进行数字处理。产生的数字图像最终在显示屏19上显示给操作员。
CDM50接收集成传感器报告(箭头CCI)作为输入数据。在执行方法100时，CDM50基于所评估相机的健康特性输出一组测试结果(箭头CCO)，其进而可以在车辆10上和/或经由远程装置(RD)55(例如，服务器或外部计算机装置)触发合适的控制动作。CDM50被配备有足够多硬件以执行方法100的所需逻辑和控制过程，即，具有足够多存储器(M)、处理器(P)以及为了简单起见未示出的其它硬件，诸如高速时钟、模数转换和/或数模转换电路、定时器、输入/输出电路和相关装置、信号调节和/或信号缓冲电路。
存储器(M)包括足够多的有形非暂时性存储器，诸如磁性或光学只读存储器、闪存等，以及随机存取存储器、电可擦除可编程只读存储器等。如下面参考图3进一步详细描述，存储器(M)填充有包含在集成传感器报告(箭头CCI)中的报告数据与可能由这样的数据的值例如相对于阈值范围或其它标准指示的对应子系统故障之间的相关性或关系的数据表70。如所示，数据库系统(DBS)57可以常驻在图1的远程装置55内的CDM50内和/或根据需要可由CDM50或远程装置55访问的另一个位置。
图2描绘了数字网络21的实施例，该数字网络可用作图1中所示的车辆10的一部分或采用一个或多个相机的另一个系统的一部分。如上所述，CDM50从相机12、14、16和/或18以及从诸如天气传感器(SW)、车门位置传感器(SDP)等其它相机相关子系统接收集成传感器报告(箭头CCI)。对于每个所评估的相机，CDM50通过诸如如所示的CAN总线等低压差分网络31与对应的相机硬件套件30进行有线或无线通信。相机硬件套件30可以包括镜头(LNS)32、相机硬件34以及相关处理硬件36。相机硬件套件30可以与图1的外部电子控制单元(ECU)38和显示屏19通信。在本公开的范围内可以预期本文未明确描述的其它子系统，例如图像传感器、温度传感器等。
镜头32可以被实施为光学镜头，例如由提供适合功能的光圈和焦距的玻璃构成的光学镜头。响应于来自单独控制装置(未示出)的控制信号，可以根据需要打开和关闭镜头32以根据需要在收集像素图像时允许或限制/阻挡光。相机硬件34包括图像传感器片上系统(SOC)，其包括
电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)或者配置为将光/光子转换成对应电信号的其它图像传感器，以及对输出传感器像素(PXL)的形式的图像所需的电信号执行必要数字信号处理的相关硬件。图像传感器SOC可以包括图像信号处理器(ISP)和常驻控制电路(CC)，它们共同执行诸如去马赛克、颜色检测、自动聚焦、白平衡、曝光控制以及其它所需过程的功能。
图2的相机硬件34与相关处理硬件36通信，该处理硬件36进而可以具有常驻存储器(M)和与CDM50的存储器(M)和处理器(P)分开的处理器(P)。因此，数字像素数据从相机硬件34传送到相关处理硬件36。此后，处理硬件36可以执行一个或多个指定的控制功能，诸如外部对象检测或模式识别、诸如停车或倒车轨迹线等图形覆盖的产生。处理硬件36可以电连接到显示屏19，并且可能还电连接到外部ECU38。在这样的实施例中，外部ECU38可以控制另一个指定功能，例如但不限于自主对象避开控制策略，诸如制动和/或转向控制或操作员警告产生。
信号从相机硬件套件30的各种部件输出，其中输出信号和来自例如车门打开/关闭位置传感器、雨量/天气传感器等其它传感器的信号共同形成集成传感器报告(箭头CCI)。由于执行方法100，CDM50可以最终输出子系统特定故障报告作为图1的测试结果(箭头CCO)的一部分。例如，对于镜头32，CDM50可以输出镜头失效报告(箭头FL)，而对于相机硬件34，CDM50可以输出图像传感器片上系统失效报告(箭头FSOC)。同样地，CDM50可以针对与通信总线(诸如将数字像素数据携带到处理硬件36的低压差分信令(LVDS)连接)相关的故障产生通信失效报告(箭头FCOM)。作为非限制性示例，通信总线35可以是双线差分信令系统，其将信息作为导线之间的电压差传输。在处理硬件36的级别下，其它测试结果(箭头CCO)可以包括处理器或存储器故障(箭头FP，M)。如下文将参考图5和6描述，取决于实施例，这种测试结果(箭头CCO)本质上可以是诊断和/或预后的。
在执行方法100时，CDM50包括访问图1和2的数据表70以执行所公开的诊断和预后功能。例如，每个数据表70可以包括列出图2的各种子系统的列，这些子系统诸如分别与镜头32、相机硬件34、通信总线35和处理硬件36对应的“镜头”、“片上系统”、“通信”和“处理器/存储器”。指示符列表对应于与相机相关子系统，以及除了可能与正确的相机功能(诸如车门位置和天气)相关的相机以外的子系统。
例如，镜头32可以具有特征故障指示符，诸如列中列出的“变脏/水滴”、“失焦”以及“校准”。对于相机硬件34，诸如“强/弱照明”等故障可以列出在单独的列中，对于通信总线35，“电缆故障”和“松散连接”可以列出在单独的列中，或者对于控制器36，“存储器故障”可以列出在单独的列中。作为方法100的一部分，CDM50可以评估表70中的特定子系统的健康状况，而无需进一步隔离或识别精确定位故障子系统之外的失效。
参考图3，方法100的说明性示例性实施例在框102处开始经由相机12、14、16或18中的给定一个相机的操作，其中从集成传感器报告(箭头CCI)收集新数据。因此，框102包括在进行到框104之前经由CDM50从相机相关子系统以及可能影响相机性能的一个或多个其它子系统接收集成传感器报告(箭头CCI)。
在框104处，图1的CDM50接下来通过评估存储器或处理器相关故障的可能性(例如通过确定总体传感器报告中的状况模式(箭头CCI))来评估相机的功能。框104可以通过将接收的传感器报告中的数据(箭头CCI)与数据表70中对应的一个进行比较来进行。因为传感器报告(箭头CCI)经由图2的通信总线35传输到处理硬件36，所以CDM50首先按顺序评估处理硬件36和通信总线35。当潜在故障指示符的模式表明或指示存储器或处理器失效的可能性相对较高或中等(如图3中的“H/M”所指示)时，执行框105，并且当这种可能性低时(“L”)，执行替代方案中的框106。在一些实施例中可以区分高和中等，或者在简化的实施例中可以使用一个组合的高-中等类别，即“高”。
分别参考图4A到图4D的示例性数据表70A到70D，可以理解在框105中以及如下文阐述的框106、108和110确定给定子系统故障的高或低可能性。对于方法100的框104、106、108和110，CDM50可以根据模式功能或某些状况的组合(例如，传感器信息(箭头CCI)的组合)来评估失效的可能性，在一些实施例中，该评估可以包括使用例如来自车队中的不同车辆10的多个相机相关子系统的总体性能来确定可以指示故障相机相关子系统的指示符的模式。
例如，对于处理硬件36的可能故障，如图4A中所示的数据表70A可以填充有与图1和2的集成传感器报告(箭头CCI)中的数据对应的传感器信息72以及相关故障指示符74和对应的特性识别标签76。作为示例，传感器信息72可以是正常范围内的处理器温度和电压的形式，其中温度和电压分别被分配优先级标签A和B。处理器执行任务(诸如超过阈值数量的数个软件重置、堆栈溢出或挂起/超时事件)可以被分配标签C、D和E。
可以根据是否满足与标记为A、B、C、D和E的指示符对应的状况来广泛地确定失效可能性。作为示例性说明，如果满足图4A中标记为C、D和E的一个或多个指示符，则可以将失效可能性登记为“低”。如果满足标记为C、D和E的指示符中的两个或三个但不满足标签A和B，则失效可能性可能更高，其中当满足标记为C、D、E的指示符中的两个或三个并且还满足标签A和B中的一个或多个时，登记最高可能性。
类似配置的表70B、70C和70D分别可以用于图4B、4C和4D中所示各种其它子系统。例如，图4B的表70B可以用于图像传感器片上系统(SOC)失效，其中标签A、B、C、D和E对应于给定的故障指示符74。对于表70B，当不满足标记为A和D的指示符的状况时，可以指示低的失效可能性，否则返回更高的可能性，例如，满足标记为A或D的指示符中的一个且满足标记为B和C的两个指示符，或者满足A和D中的一个同时不满足B和C中的至少一个。
与镜头失效诊断对应的图4C包括标记为A到G的指示符和对应的传感器信息72和故障指示符74，其中后者的信息存在于传感器报告中或者使用传感器报告(箭头CCI)确定。在这样的实施例中、当满足D、E、F和G中的不多于一个时，可以指示低的失效可能性，其中当满足A、B和/或C中的一些或满足多个D、E、F、G同时满足A、B和C中的一个或多个时指示更高的可能性。图4D和表70D对应于通信失效，其中当不满足B和C时返回低的失效可能性，其中当满足B和C中的一个或两个时返回更高的可能性。在方法100的执行中，CDM50可以区分低和高可能性，或者可以使用不同的标准来确定增加的可能性，这取决于实施例。
再次参考图3，框105包括将诊断代码记录在CDM50的存储器中，该诊断代码指示可能的存储器或处理器失效。框105还可以在后台中包括记录信息以便例如经由文本消息或电子邮件进一步分析或通知车辆10的操作员。此后，方法100在校准时段(例如，车辆10的后续打开/关闭循环)之后从框102开始。
框106包括通过将收集的数据与表52进行比较来检查通信失效的可能性。然后，当通信失效的可能性为高时执行框107，而当可能性为低时执行框108和110。
框107包括将诊断代码记录在CDM50的存储器中，该诊断代码指示可能的通信失效。如同框105一样，框107也可以在后台中包括记录信息以便例如经由文本消息或电子邮件进一步分析或通知车辆10的操作员。此后，方法100在校准时段(例如，车辆10的后续打开/关闭循环)之后从框102开始。
在框108处，方法100包括通过将收集的数据与表52进行比较来检查图像传感器片上系统(SOC)失效的可能性。然后，当图像传感器SOC失效的可能性为高时执行框109，而当可能性为低时执行框112。
框109包括将诊断代码记录在CDM50的存储器中，该诊断代码指示可能的图像传感器SOC失效，并且可能将信息记录在后台位置中以进一步分析或通知车辆10的操作员，如同框105和107一样。此后，方法100在校准时段(例如，车辆10的后续打开/关闭循环)之后从框102开始。
在框110处，方法100包括通过将收集的数据与表52进行比较来检查镜头32失效的可能性。然后，当镜头失效的可能性为高时执行框111，而当可能性为低时执行框112。
当在框108和110处判定图像传感器SOC失效和镜头失效的可能性对于这两个子系统都为低时，到达框112。如果两个输入都存在并且可能性为低，则方法100包括将诊断代码记录在DTC50的存储器中，该诊断代码指示正常运行的相机。此后，方法100在校准时段(例如，车辆10的后续打开/关闭循环)之后从框102开始。框112也可以在后台中包括记录信息以便例如经由文本消息或电子邮件进一步分析或通知车辆10的操作员。这种通过结果可以在方法100的未来迭代中用作历史参考数据，以帮助精确定位给定相机何时正常运行，或者帮助更新健康状态/剩余使用寿命预测的老化或退化模型。
如上所述，CDM50的诊断性能可以限于识别图2的数码相机网络21内的潜在故障子系统，而不会进一步隔离故障。作为示例，方法100可以对潜在故障镜头32的诊断以及记录指示故障镜头32的位标记的控制动作结束。
在一些实施例中，进一步隔离故障可能是有利的。一个示例是进一步隔离图2的镜头32的故障。可以扩展方法100以精确定位脏的或湿的镜头32或镜头失焦或不正确校准的镜头32，其中任一个都可能需要不同的校正动作。实现故障隔离的一种方式是向相机12、14、16或18中的给定的一个相机(即，具有诊断出的故障子系统的特定相机)呈现图1中所示的图像集25。在这样的实施例中，故障相机(诸如相机12)将所呈现的图像集25的数字图片或视频作为像素图像集，如图1中的箭头AA所指示。此后，CDM50可以产生表示收集的像素图像相对于校准的图像集25的质量的值。在一些实施例中，计算的特征可以是模块化传递函数(MTF)值，例如，作为表示图2中所示的镜头32的清晰度和焦点的值。由于校准的/新的相机在对基线图像集25进行成像时具有预期性能，所以可以量化相机在相对于相机的预期性能收集像素图像(箭头AA)时的实际性能的变化并且将该变化用于评估相机的健康状态。
对于操作员驾驶和自主操作的车辆实施例，可以对单台车辆10上或在不同实施例中的类似配置的车辆10的车队执行这种诊断和预后。对于单台车辆10，可以针对校准的清晰度和焦点的图像集25测试诊断为潜在故障的相机，同时量化相机的输出并将该输出与预期输出进行比较。例如，当车辆10处于正在进行维护的维修设施中时，或者在自主车辆10的情况下车辆10在驾驶班次结束时返回到停车场时，可以执行进一步的评估。例如，基于失效模型或历史数据，可以在单台车辆10的实施例中应用故障阈值。此后，CDM50可以基于这样的阈值比较来确定是否正在发生故障，检测特定故障以及其相关严重性。
对于车队10，可以将具有相同结构的多个相机(例如，多个相机12)的相机输出传送到图1的数据库系统57。数据库可以常驻在如所示的CDM50内，和/或图1的远程装置55内。根据总体数据，CDM50或远程装置55可以确定不同车辆10的哪些相机相对于车队中的其它车辆10是统计异常值。以此方式，可以获得更多的比较数据。在这样的实施例中，CDM50可以利用直方图或其它统计过程来确定给定车辆10是否已经发生故障，以及与来自特定车辆10的数据的平均值偏离了多远，因此指示故障的严重程度。这种方法可以使用与数据均值的距离与故障的严重程度之间的预先建立的关系。因此，来自类似车辆10的车队的数据的使用可以与图像25结合使用或代替图像25使用以帮助基于异常数据的检测来识别和隔离故障。
相机预后
利用来自车辆10的车队的数据的另一个潜在益处是能够及时向前看，因此提供对上述健康特性的更准确预后，例如12、14、16或18中的给定一个相机和/或其相关子系统的剩余使用寿命。通常，如果对于单台车辆10，CDM50访问给定指示符的时间历史，例如通过并用于训练图1的相机退化模型82处理的健康状态轨迹或平均传递函数(MTF)值，则CDM50能够使用相机退化模型82来评估相机的剩余使用寿命，即，直到特定指示符增加或减少到高于/低于校准阈值的剩余时间。对于车辆10的车队，给定指示符的时间历史可以类似方式训练相机退化模型82，其中更大量的历史数据提高了模型82的整体预后准确度。
在一些实施例中，数字健康状态(SOH)可以被开发为或使用来自单台车辆10的指示符，或者被开发为/使用来自这样的车辆10的车队的指示符。这样的车队可以具有在不同时间驾驶并具有不同寿命和SOH的相机12、14、16、18的车辆10。因此，馈送到上述数据库的数据包括来自各台车辆10的前N-1天的数据和直到第N天的数据。结果，CDM50可以基于车队中每个相机的SOH衰减进展来预测给定车辆10的未来失效。
即，已知给定的一个相机(例如，相机12)在新的时候表现SOH为1，在第N天表现SOH为0.8，而在第N+1天表现SOH为0.7，以及在第N+2天表现SOH为0.4等，可以例如使用相机退化模型75并考虑对应的SOH或车队中的每台车辆10的其它合适的性能或健康状况指示符为整个车队确定SOH衰减的平均轨迹或衰减。可以应用卡尔曼滤波器或其它评估算法以在给定相机12使用的N天之后提供对给定指示符(例如，SOH)的评估。然后，对于具有类似相机12、14、16或18以及具有计算的SOH或其它合适的指示符的给定车辆10，CDM50可以在未来时间点预测相机的剩余使用寿命或SOH，由此在相机发生故障之前主动地警告车辆10的所有者/操作员和/或安排相机12的维护。
图5和图6分别描述了用于单台车辆10和这样的车辆10的方法100的可能的前瞻性预后实施方案的示意性数据流程。图5的流程图80被布置为三个阶段，即，与框分组81对应的阶段1、与框分组83对应的阶段2，以及与框分组85对应的阶段3。
阶段1包括框202和204，其中在车辆10的操作的第N天，CDM50可以检查数字网络21的存储器/处理器中的失效以及与图3的框104和106对应通信失效。然而，框202和框204可以包括测量数字网络21的一组指示符，同时使用具有正在评估的相机相关子系统的数码相机12、14、16或18捕获图像25的像素图像。这可以包括将图像25呈现给相机，收集传感器报告(箭头CCI)，然后将测量的指示符作为存储器/处理器和通信网络的校准基线指示符(即，实际性能)与每个子系统的预期性能(即，在对图像25成像时对校准的/新的相机所预期的性能)进行比较。当在框202处未检测到故障时，框202进行到框204，而当在框202处检测到这样的故障时，框202进行到框206。同样地，当在框204处未检测到故障时，框202进行到框210，而当在框204处检测到这样的故障时，框202进行到框208。
框206和208包括以上面参考框105和107描述的方式记录指示存储器/处理器故障(框206)和通信失效(框208)的诊断代码。如果在框206或208中的任何一个处登记了故障，则算法不会继续。
在阶段1评估完成之后，阶段2在框210处开始。如上面分别参考图3的框110和108所述，阶段2的框210和212同时评估镜头32和图像传感器SOC。图像25可以在阶段2中使用以产生受控的一组传感器报告(箭头CCI)，如上所述，可以将该传感器报告与校准的参考数据/预期数据进行比较以评估子系统的性能。CDM50可以确定指示符的当前值与对应值之间的差异或方差，然后进行到框218。
框218包括指示相机的健康状态(SOH)和/或相机的剩余使用寿命作为评估的相机或相机相关子系统的健康特性。实现框218的可能方式包括在CDM50的存储器中记录SOH或剩余使用寿命，或者向车辆10的操作员产生文本消息或电子邮件消息，其向操作员通知SOH或剩余使用寿命，由此为所有者/操作员提供足够的时间来安排抢先维护。
图6经由流程图180说明了用于车辆10的车队的方法100的可能的前瞻性预后实施方案。从框220开始，CDM50可以在进行到框222之前从车辆10接收相机传感器报告(箭头CCI)直到第N天操作。车队中的每台车辆10以及因此相机12、14、16和18可以具有不同的寿命，因此框220处的数据将会变化。
框222可以包括将学习算法或其它方法应用于来自框220的数据，由此产生图1中所示的相机退化模型75。此后，框222进行到框221、224和226。
在框221处，CDM50可以在进行到框224之前(n)天延迟更新相机退化模块75，使得在框224处可获得相机退化模型75的早期版本。实际天数(n)可能因预期应用而异。
框224包括根据框221确定退化模型75是否在延迟(n)天内显著地改变(即，通过将来自框221的延迟模型与来自框222的模型进行比较)。然后进入评估框分组225，如果存在显著变化则执行框226，并且如果没有显著变化则执行框228。
对于正在执行预后的车辆10的单独相机，框226接收正在考虑的数据或指示符(如图6中的X所指示)直到执行的第N天。框226可以包括应用合适的评估算法，例如卡尔曼滤波器或粒子滤波器，由此评估给定车辆10的第N天之后的X值。一旦产生了对指示符(X)的评估，CDM50就前进到框230。
除了框228使用指示符(X)的值用于第N天操作同时框226考虑直到第N天的数据之外，框228类似于框226。框228的输入数据是指示符(X)的延迟评估的形式。即，框226或228的输出(即，在第N天表现之后对指示符(X)的值的评估)在框227被延迟一天。因此，框228在提供其评估时考虑延迟信息。无论是否由框226或228提供指示符(X)的值的评估，评估此后都被馈送到框230。
在框230处，CDM50将指示符(X)的评估与失效标准进行比较。例如，假设失效标准是“SOH＝”并且来自框226或228的评估“SOH＝0.35”，则CDM50可以计算出失效标准阈值保持低于当前SOH的0.15。
此后，在框232处，CDM50以所评估的特定相机的剩余使用寿命的形式评估健康特性。例如，CDM50可以使用相机退化模型75从车辆10的车队的过去历史中预后在上述示例中SOH从0.35降低到0.2所需的时间。此后，连同在例如CDM50的存储器中记录对应的诊断代码或者在该记录的同时，可以诸如经由文本消息或电子邮件将这样的评估呈现给其相机具有所指示的SOH的特定车辆10的所有者或操作员。
使用上面参考图1到图6描述的方法100，车辆10和其它系统可以享受相机故障的早期且更可靠的检测、诊断和预后。对于自主车队，在执行所分配的驾驶任务之前在整个车队中执行方法100可以促进检测相机传感器失效并提供有用的健康状况评估。可以使用图5和图6的方法实施前瞻性预后以主动处理不断演变的故障。
方法100可以在车辆10或其它系统上或之外实施，因此为不同的实施方案在从单台车辆10的车载实施方案到车辆远程信息处理通信辅助的大量车外实施方案的范围中提供了很大的灵活性。类似地，远程信息处理通信甚至对于单台车辆10的实施方案也可以促进更大范围的比较数据，诸如通过周期性地将车队范围的平均数据下载到车辆10以用于改进的平均比较。鉴于以上描述，本领域一般技术人员将容易理解这些和其它益处。
详述和图式或图支持并且描述本公开，但是本公开的范围仅仅是由权利要求书限定。虽然已详细描述了用于执行所述公开的某些最佳模式和其它实施例，但是也存在用于实践所附权利要求书中限定的本公开的各种替代设计和实施例。另外，附图中所示的实施例或本描述中提及的各种实施例的特性不一定被理解为实施例彼此独立。相反地，可行的是，实施例的一个示例中描述的每个特性可结合来自其它实施例的一种或多种其它期望特性，从而导致其它实施例没有用语言或没有参考图式来描述。因此，这样的其它实施例落在所附权利要求书的范围的框架内。

Claims (9)

1.一种数字网络，包括：
各自具有多个相机相关子系统的多个数码相机，所述多个数码相机包括镜头、图像传感器片上系统、通信总线以及处理硬件；以及
相机诊断模块(CDM)，其配置为编程有多个数据表，所述数据表对应于每个所述相机相关子系统的子系统特定故障模式，其中所述CDM配置为：
从每个所述相机相关子系统和至少一个附加子系统接收传感器报告，所述传感器报告包括潜在的故障指示符；
通过将接收的传感器报告与所述数据表中对应的一个进行比较并且确定指示所述相机相关子系统的健康特性的所述潜在故障指示符的模式来评估所述相机相关子系统中的一个的性能；以及
响应于所述健康特性而执行关于所述数字网络的控制动作，其包括经由所述CDM记录指示所述健康特性的诊断和/或预后代码。
2.根据权利要求1所述的数字网络，其中所述数字网络位于车辆上，所述车辆具有车门传感器和雨量/湿度传感器作为所述至少一个附加传感器，并且其中接收所述多个传感器报告进一步包括分别从所述车门传感器和雨量/湿度传感器接收车门打开/关闭状态以及雨量/湿度值。
3.根据权利要求1所述的数字网络，其中所述CDM配置为在使用具有预定相机相关子系统的所述数码相机捕获校准图像的像素图像时测量一组潜在故障指示符，将所述故障指示符与校准基线指示符进行比较，并且基于所述测量的指示符与所述校准基线指示符之间的方差来隔离具有所述预定相机相关子系统的所述数码相机的故障子系统。
4.根据权利要求3所述的数字网络，其中所述控制动作包括通过相机退化模型处理所述故障指示符来确定具有所述预定相机相关子系统的所述数码相机的剩余使用寿命，并且将包含所述剩余使用寿命的消息传输到所述数字网络的所有者或操作员，所述剩余使用寿命是所述健康特性。
5.根据权利要求1所述的数字网络，其中所述CDM远离所述数字网络，所述车辆包括远程信息处理单元，并且所述CDM配置为从所述远程信息处理单元无线接收集成传感器报告。
6.一种车辆，包括：
车身，其具有前端和后端；以及
数字网络，其包括：
多个数码相机，其安装到所述车身的至少所述前端和后端，所述数码相机中的每一个具有多个相机相关子系统，所述数码相机包括镜头、图像传感器片上系统、通信总线以及处理硬件；以及
相机诊断模块(CDM)，其配置为评估所述相机相关子系统中预定的一个；
其中所述CDM编程有多个数据表，所述数据表对应于每个所述相机相关子系统的子系统特定故障模式，并且所述CDM进一步配置为：
从所述相机相关子系统中的每一个、车门打开/关闭位置传感器以及天气传感器接收传感器报告，所述传感器报告包括潜在的故障指示符；
通过将接收的传感器报告与所述数据表中对应的一个进行比较并且确定指示所述预定相机相关子系统的健康特性的所述潜在故障指示符的模式来评估所述相机相关子系统中预定的一个的性能；以及
响应于所述健康特性而执行关于所述数字网络的控制动作，其包括经由所述CDM记录指示所述健康特性的代码。
7.根据权利要求6所述的车辆，其中所述CDM配置为使用相机退化模型将所述健康特性评估为所述数码相机的剩余使用寿命，并且将包含所述剩余使用寿命的消息传输到所述车辆的所有者或操作员。
8.根据权利要求6所述的车辆，其中所述CDM配置为在使用所述数码相机捕获校准图像的像素图像时测量一组所述指示符，将所述测量的指示符与校准基线指示符进行比较，并且基于所述测量的指示符与所述校准基线指示符之间的差异或方差来隔离所述数码相机的故障子系统。
9.根据权利要求6所述的车辆，其中使用来自所述车辆或所述车辆的车队的历史数据来训练所述CDM的所述相机退化模型。
CN201811167100.8A 2017-10-05 2018-10-08 使用传感器报告集成的相机子系统评估 Pending CN109639937A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/725,947 US10542211B2 (en) 2017-10-05 2017-10-05 Camera subsystem evaluation using sensor report integration
US15/725947 2017-10-05

Publications (1)

Publication Number Publication Date
CN109639937A true CN109639937A (zh) 2019-04-16

Family

ID=65817093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811167100.8A Pending CN109639937A (zh) 2017-10-05 2018-10-08 使用传感器报告集成的相机子系统评估

Country Status (3)

Country Link
US (1) US10542211B2 (zh)
CN (1) CN109639937A (zh)
DE (1) DE102018124546A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018220145A1 (de) * 2018-11-23 2020-05-28 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verfahren und Verstellvorrichtung zum Verstellen eines Fahrzeugverstellteils mit ausgegebener Statusinformation
US10694105B1 (en) * 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
US11117591B2 (en) * 2019-05-08 2021-09-14 Pony Ai Inc. System and method for recalibration of an uncalibrated sensor
CN112424847B (zh) * 2019-06-14 2023-02-17 北京航迹科技有限公司 用于监控车辆的系统和方法
DE102019209292A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik
US11341682B2 (en) * 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
US20220063559A1 (en) * 2020-08-25 2022-03-03 Deere & Company Work vehicle, door state determination system, and method of determining state of work vehicle door
CN114283330B (zh) * 2021-11-17 2024-03-26 国电南瑞科技股份有限公司 基于多源数据的在线巡检识别方法及系统
US20240042925A1 (en) * 2022-08-08 2024-02-08 Kodiak Robotics, Inc. Health indicator system for a sensor pod

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086227A1 (en) * 2010-01-18 2011-07-21 Nokia Corporation Digital camera image error detection
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法
CN103220547A (zh) * 2011-09-06 2013-07-24 现代摩比斯株式会社 利用自诊断图像模式的车用摄像头诊断装置及方法
CN103336522A (zh) * 2013-05-30 2013-10-02 长城汽车股份有限公司 车辆故障查询系统、控制器及车辆
US20140071281A1 (en) * 2012-09-12 2014-03-13 Xerox Corporation Intelligent use of scene and test pattern analyses for traffic camera diagnostics
CN104168474A (zh) * 2013-05-15 2014-11-26 安讯士有限公司 相机故障检测测试的可靠性确定
JP2016058912A (ja) * 2014-09-10 2016-04-21 株式会社デンソー 車載カメラ診断装置
CN105556581A (zh) * 2013-10-25 2016-05-04 英特尔公司 对车载环境条件做出响应
CN106210666A (zh) * 2016-08-30 2016-12-07 国网安徽省电力公司亳州供电公司 一种摄像头故障切换装置及方法
CN106686303A (zh) * 2016-12-05 2017-05-17 上海小蚁科技有限公司 相机系统和用于控制多个相机的方法
CN106794798A (zh) * 2014-10-09 2017-05-31 株式会社电装 图像生成装置以及图像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546294B1 (en) * 2000-03-16 2003-04-08 Eastman Kodak Company Life cycle monitor for electronic equipment
US6675006B1 (en) * 2000-05-26 2004-01-06 Alpine Electronics, Inc. Vehicle-mounted system
KR100734840B1 (ko) * 2005-10-14 2007-07-03 한국전자통신연구원 텔레매틱스 단말기와 이씨유의 통신연결을 위한 통신방법및 차량의 센서 정보 처리방법 및 장치
US20140085409A1 (en) 2012-09-25 2014-03-27 GM Global Technology Operations LLC Wide fov camera image calibration and de-warping
US10262471B2 (en) * 2017-05-23 2019-04-16 Uber Technologies, Inc. Autonomous vehicle degradation level monitoring

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法
WO2011086227A1 (en) * 2010-01-18 2011-07-21 Nokia Corporation Digital camera image error detection
CN103220547A (zh) * 2011-09-06 2013-07-24 现代摩比斯株式会社 利用自诊断图像模式的车用摄像头诊断装置及方法
US20140071281A1 (en) * 2012-09-12 2014-03-13 Xerox Corporation Intelligent use of scene and test pattern analyses for traffic camera diagnostics
CN104168474A (zh) * 2013-05-15 2014-11-26 安讯士有限公司 相机故障检测测试的可靠性确定
CN103336522A (zh) * 2013-05-30 2013-10-02 长城汽车股份有限公司 车辆故障查询系统、控制器及车辆
CN105556581A (zh) * 2013-10-25 2016-05-04 英特尔公司 对车载环境条件做出响应
JP2016058912A (ja) * 2014-09-10 2016-04-21 株式会社デンソー 車載カメラ診断装置
CN106794798A (zh) * 2014-10-09 2017-05-31 株式会社电装 图像生成装置以及图像生成方法
CN106210666A (zh) * 2016-08-30 2016-12-07 国网安徽省电力公司亳州供电公司 一种摄像头故障切换装置及方法
CN106686303A (zh) * 2016-12-05 2017-05-17 上海小蚁科技有限公司 相机系统和用于控制多个相机的方法

Also Published As

Publication number Publication date
US10542211B2 (en) 2020-01-21
US20190109988A1 (en) 2019-04-11
DE102018124546A1 (de) 2019-04-11

Similar Documents

Publication Publication Date Title
CN109639937A (zh) 使用传感器报告集成的相机子系统评估
CN106061822B (zh) 车辆成像系统和方法
CN104925001B (zh) 车辆传感器诊断系统和方法以及包括这种系统的车辆
CN103770780A (zh) 一种车辆主动安全系统告警屏蔽装置
US11361556B2 (en) Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program
CN110390248A (zh) 用于操作技术系统的方法、设备、产品和计算机程序
JP7295684B2 (ja) 事故責任特定方法、事故責任特定装置及びコンピュータプログラム
CN111077880B (zh) 一种车辆故障的诊断系统及方法
CN112700470A (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN106061793A (zh) 成像系统及方法
DE102014008578A1 (de) Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
CN104183152A (zh) 用于识别可能将变为空闲的停车位的系统和方法
CN109080640A (zh) 用于在车辆内提供昏睡警报的方法
US20220301069A1 (en) Systems and methods for allocating fault to autonomous vehicles
CN106340205A (zh) 交通监控方法及交通监控装置
CN115527364B (zh) 一种基于雷视数据融合的交通事故溯源方法及系统
CN106643760A (zh) 车辆导航系统及方法
CN108932464A (zh) 客流量统计方法及装置
CN112154091B (zh) 传感器分析方法、用于传感器分析的计算机程序产品、乘客计数系统和用于运送乘客的车辆
CN110164136A (zh) 套牌车辆识别方法
DE112018005030T5 (de) Verwaltungseinrichtung, fahrzeug, überprüfungseinrichtung undfahrzeugüberprüfungssystem sowie informationsverarbeitungsverfahren dafür
CN109263650A (zh) 识别人工介入的方法、装置及交通工具
KR101788219B1 (ko) 차량을 이용한 기상 정보 수집 시스템 및 방법
CN106448161A (zh) 道路监控方法及道路监控装置
US20230103670A1 (en) Video analysis for efficient sorting of event data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication