CN111655529B - 仪表组监测系统 - Google Patents

仪表组监测系统 Download PDF

Info

Publication number
CN111655529B
CN111655529B CN201980010572.9A CN201980010572A CN111655529B CN 111655529 B CN111655529 B CN 111655529B CN 201980010572 A CN201980010572 A CN 201980010572A CN 111655529 B CN111655529 B CN 111655529B
Authority
CN
China
Prior art keywords
instrument cluster
control module
signal device
captured
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980010572.9A
Other languages
English (en)
Other versions
CN111655529A (zh
Inventor
迈克尔·穆尔赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Denso International America Inc
Original Assignee
Denso Corp
Denso International America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Denso International America Inc filed Critical Denso Corp
Publication of CN111655529A publication Critical patent/CN111655529A/zh
Application granted granted Critical
Publication of CN111655529B publication Critical patent/CN111655529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/34—Backlit symbols

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Indicating Measured Values (AREA)
  • Emergency Alarm Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

用于监测被配置成向驾驶员显示交通工具操作信息的仪表组(12)的操作的系统(10)和方法(110)。该系统包括摄像机(14)，该摄像机(14)朝向仪表组以捕获仪表组的操作的图像。控制模块(50)接收仪表组的图像。控制模块被配置成将如在图像中捕获的仪表组的操作与仪表组的预定期望操作进行比较。故障状况通知模块(52)被配置成当如在图像中捕获的仪表组的操作与仪表组的预定期望操作之间存在差异时生成故障通知。

Description

仪表组监测系统
相关申请的交叉引用
本申请基于2018年2月2日提交的美国临时申请第62/625,414号和2019年1月11日提交的美国专利申请第16/245,935号。上述申请全部的内容通过引用并入本文。
技术领域
本公开内容涉及包括摄像机的仪表组监测系统，该摄像机朝向仪表组以监测其操作。
背景技术
该部分提供了与本公开内容相关的背景信息，其不一定是现有技术。
仪表组通常与交通工具一起使用，以向驾驶员或操作者传达关于交通工具的操作状态以及交通工具的特征和功能的故障状况的信息。例如，仪表组通常包括传达交通工具速度、发动机速度、发动机温度、燃料水平、发动机油位等的仪表或刻度盘。仪表组通常还包括各种“信号装置(tell-tale)”，这些信号装置在被照亮时向驾驶员提供故障信息。当存在故障状况时，与信号装置相关联的灯、LED或其他类似装置被照亮以指示故障状况。关键的信号装置通常在启动交通工具时经受验证，以通过照亮达一定时间量来使驾驶员知道照亮装置工作正常。
对于当前的仪表组，驾驶员需要可视地监测仪表组，以通过不看信号装置照亮来识别故障状况。或者在某些情况下，交通工具中央处理器(CPU)监测电路的电气特性，并且可以通过其他手段(例如，来自扬声器的警告声)向驾驶员通知故障。随着汽车工业从模拟型仪表组向使用TFT显示器或类似技术的数字仪表组发展，期望有一种更确定的方式来确保仪表组显示正确。本公开内容有利地提供了一种用于监测仪表组的操作的改进系统。
发明内容
本部分提供了本公开内容的总体概要，并且不是对其全部范围或其特征的全部的全面公开。
本公开内容针对用于监测被配置成向驾驶员显示交通工具操作信息的仪表组的操作的系统和方法。该系统包括摄像机，该摄像机朝向仪表组以捕获仪表组的操作的图像。控制模块接收仪表组的图像。控制模块被配置成将如在图像中捕获的仪表组的操作与仪表组的预定期望操作进行比较。故障状况通知模块被配置成当如在图像中捕获的仪表组的操作与仪表组的预定期望操作之间存在差异时生成故障通知。
适用的其他领域将根据本文中所提供的描述变得明显。本发明内容中的描述和特定示例仅用于说明的目的，并不旨在限制本公开内容的范围。
附图说明
本文所描述的附图仅用于对所选择的实施方式而非所有可能的实现方式进行说明的目的，并且不旨在限制本公开内容的范围。
[图1]图1示出了示例性仪表组和根据本公开内容的用于监测仪表组的操作的摄像机。
[图2]图2示出了使用图1的摄像机来监测仪表组的功能的方法。
[图3]图3示出了使用图1的摄像机来监测仪表组的功能的另一方法。
贯穿附图的若干视图，对应的附图标记指示对应的部分。
具体实施方式
现在将参照附图更充分地描述示例实施方式。
图1示出了根据本公开内容的用于监测被配置成向驾驶员显示交通工具操作信息的仪表组12的操作的系统10。仪表组12可以是用于向交通工具的驾驶员传达任何合适的交通工具的操作信息的任何合适的仪表组。示例性交通工具包括但不限于以下：客用车辆；公共交通工具；多用途车辆；休闲车辆；工程车辆/装备；军用车辆/装备；飞行器；船舶等。
系统10利用任何合适的摄像机14来监测仪表组12的操作。尽管图1示出了单个摄像机14，但是可以根据需要包括任何合适数量的摄像机以便对仪表组12的期望区域进行监测。摄像机14可以与仪表组12一起被包括在共用壳体16中。可替选地，只要摄像机14(直接或间接地)朝向仪表组12以便可视地捕获仪表组12的操作，摄像机14可以被布置在任何其他合适的位置处。
仪表组12可以具有适合于向驾驶员传达交通工具操作信息的任何合适的仪表、刻度盘、信号装置、显示器等。在图1的示例中，仪表组12包括中心刻度盘20，其可以是物理刻度盘或在仪表组12的显示器(例如任何合适的TFT、LCD等显示器)上显示的虚拟刻度盘。中心刻度盘20可以被配置成显示任何合适的信息，例如发动机速度和/或交通工具速度。图1的示例还包括以下示例性的子仪表/子刻度盘(其可以是物理刻度盘或在任何合适的显示屏上显示的虚拟刻度盘)：发动机温度刻度盘22A；辅助/充电刻度盘22B；电池水平刻度盘22C；以及燃料水平刻度盘22D。
仪表组12还包括多个信号装置30A至30U。信号装置30A至30U包括被照亮以便向驾驶员传达交通工具操作信息的文本和/或图形。信号装置30A至30U可以任何合适的方式例如利用灯泡、LED或任何其他合适的照亮装置被照亮。信号装置也可以是在任何合适的显示屏(例如任何合适的TFT、LCD等显示器)上显示的虚拟信号装置。
图1的示例包括以下示例性信号装置，但是其可以包括任何其他合适的信号装置：驻车制动灯信号装置30A；悬架减震器信号装置30B；转向信号信号装置30C；牵引力控制信号装置30D；制动器磨损信号装置30E；电力系统信号装置30F；检查发动机信号装置30G；检查电池信号装置30H；低油压信号装置30I；温度警告信号装置30J；轮胎压力警告信号装置30K；门锁系统信号装置30L；远光灯激活信号装置30M；制动系统信号装置30N；信息信号装置30O；近光前照灯激活信号装置30P；紧固安全带信号装置30Q；安全气囊警告信号装置30R；防抱死制动系统警告信号装置30S；检查制动器信号装置30T；以及低燃料警告30U。
系统10还包括控制模块50和故障状况通知模块52。在本申请中，包括下面的定义，术语“模块”可以用术语“电路”替换。术语“模块”可以指执行代码的处理器硬件(共享的、专用的或组)和存储由处理器硬件执行的代码的存储器硬件(共享的、专用的或组)、是所述处理器硬件和所述存储器硬件的一部分或者包括所述处理器硬件和所述存储器硬件。代码被配置成提供本文所描述的模块例如控制模块50和故障状况通知模块52的特征。术语存储器硬件是术语计算机可读介质的子集。如本文中使用的，术语计算机可读介质不包括通过介质(例如，在载波上)传播的暂态电信号或电磁信号。因此，术语计算机可读介质被认为是有形的且非暂态的。非暂态计算机可读介质的非限制性示例是非易失性存储器装置(例如，闪速存储器装置、可擦除可编程只读存储器装置或掩模只读存储器装置)、易失性存储器装置(例如，静态随机存取存储器装置或动态随机存取存储器装置)、磁存储介质(例如，模拟或数字磁带或硬盘驱动器)以及光学存储介质(例如，CD、DVD或蓝光光盘)。
控制模块50控制摄像机14的操作，并且控制故障状况通知模块52。控制模块50接收由摄像机14捕获的仪表组12的图像数据。控制模块50还可以从交通工具的任何合适的传感器或其他机载控制模块接收交通工具操作信息。交通工具操作信息包括由仪表组12在中央刻度盘20、子刻度盘22A至22D以及信号装置30A至30U处显示的交通工具操作信息。
控制模块50将如在由摄像机14拍摄的图像中捕获的仪表组12的操作与仪表组12的期望操作及仪表组12的先前操作进行比较，以识别故障状况。例如并且如在图2的方法110中进一步说明的，控制模块50将对每个刻度盘20、22A至22D和每个信号装置30A至30U的图像数据进行分析，以确定刻度盘或信号装置是否被照亮、刻度盘或信号装置是否具有期望形状以及刻度盘或信号装置是否具有期望颜色。控制模块50可以被配置成：在任何合适的时间，例如在刻度盘20、22A至22D的全部都被激活且在其范围内移动时并且信号装置30A至30U的全部都被照亮时的交通工具启动的验证阶段期间，执行该分析和比较。该分析还可以在交通工具的操作期间连续地执行。
控制模块50在以下情况下指示故障状况通知模块52生成故障通知：刻度盘或信号装置期望被照亮而未被照亮；刻度盘或信号装置具有与期望不匹配的不规则形状(这可能指示显示屏的显示不正确或仪表组12的部件未对准)；或者刻度盘或信号装置具有与期望不匹配的不规则颜色(这也可能指示显示屏的显示不正确或仪表组12的部件未对准)。由故障状况通知模块52生成的故障通知可以是任何合适的故障通知，例如在客舱中的冗余显示屏上向驾驶员传达的故障通知、由客舱中的扬声器生成的故障警告提示音，以及/或者以任何适当方式——例如通过向驾驶员的便携式电子装置发送的文本消息和/或通过电子邮件消息——发送给驾驶员的故障消息。
图2示出了根据本公开内容的用于监测用于向驾驶员显示交通工具操作信息的仪表组12的操作的方法110。方法110包括关于控制模块50和故障状态通知模块52的操作的附加细节。分别针对信号装置30A至30U和/或刻度盘20、22A至22D执行方法110。可以针对信号装置30A至30U和刻度盘20、22A至22D中的每一个来执行方法110，或者仅针对信号装置30A至30U和刻度盘20、22A至22D中被预先确定为最重要的所选择的信号装置或刻度盘来执行方法110。
方法110可以在验证条件期间——例如在交通工具启动时、当信号装置30A至30U的全部被激活(并且因此应该被照亮)并且刻度盘20、22A至22D被激活(并且通常被照亮)并在其整个范围内移动时——执行。可替选地或除了在验证期间执行方法110之外，可以在交通工具操作期间连续地执行方法110。例如，控制模块50可以指示摄像机14每隔50ms至100ms捕获一次仪表组12的图像。摄像机14可以被配置成捕获整个仪表组12的单个图像，控制模块50将所捕获的图像中位于各种刻度盘20和22A至22D以及信号装置30A至30U期望位于位置处的部分(例如，所捕获图像的特定像素)从所述单个图像中分离。
现在将针对信号装置30A至30U中的示例性信号装置例如信号装置30A的分析来详细描述方法110的操作，信号装置30A在被照亮时告知驾驶员交通工具的驻车制动被接合。在方法110的框112处，控制模块50处理由摄像机14从与所捕获的图像中与驻车制动灯30A期望存在的位置相对应的区域中捕获的数字化摄像机数据。控制模块50在该区域搜索照亮。如果整个搜索区域是黑色的(即，信号装置30A的任何部分都没有被照亮)，则方法110进行至框116，在框116处，控制模块50确定信号装置30A关闭，并向信号装置30A分配等于关闭的新状态。方法110从框116进行至框118，在框118处，该新状态被发送至框150，在本文进一步对其进行描述。如果在框114处，控制模块50确定整个搜索区域不是黑色的，则方法110进行至框120。
在框120处，控制模块50分析被照亮的信号装置30A的形状，并将被照亮的信号装置30A的形状与存储在控制模块50中的信号装置30A的期望形状进行比较。期望形状是信号装置30A在被完全照亮时期望具有的形状。如果如由摄像机14捕获的信号装置30A的形状与期望形状不匹配，则方法110进行至框122。在框122处，控制模块50确定发生了形状错误，并向信号装置30A分配等于形状错误的新状态。方法110从框122进行至框118。如本文所描述的，该新状态被发送至框150并在框150处被加载。在框120处，如果如由摄像机14捕获的信号装置30A的形状与期望形状匹配，则方法110进行至框124或直接进行至框128。
在框124处，控制模块50将如由摄像机14捕获的信号装置30A的颜色与信号装置30A被照亮时的(存储在控制模块50中的)期望颜色进行比较。如果如由摄像机14捕获的颜色与期望颜色不匹配，则方法110进行至框126。在框126处，控制模块50确定被照亮的信号装置30A具有颜色错误，并向信号装置30A分配等于颜色错误的新状态，该新状态被发送至框118和150。在框124处，如果控制模块50确定由摄像机14捕获的信号装置30A的颜色与期望颜色匹配，则方法110进行至框128。在框128处，控制模块50确定信号装置30A被适当地照亮，并且向信号装置30A分配等于“开”的新状态。方法110从框128进行至框118。
在框150处加载了新状态之后，方法110进行至框152。在框152处，控制模块50将所加载的新状态与在框150处先前加载的状态进行比较。先前加载的状态可以是信号装置离开制造商时已经确认信号装置30A功能正常的状态。换句话说，最开始的“先前”状态是由制造商确认和测试的完全起作用的状态。随后的“先前状态”将是例如由控制模块50使用方法110感测的信号装置的状态。
在框150处，如果新状态等于先前加载的状态，则方法110进行至框154。在框154处，新状态被分配作为先前状态以让位给当重复方法110时的新状态。方法110从框154进行至框156。在框156处，控制模块50等待预定时间段例如50ms至100ms以加载由摄像机14捕获的信号装置30A的附加图像数据156。在经过预定时间段之后，方法110返回至框112。
在框152处，如果控制模块50确定新状态不等于加载至框150的先前状态，则方法110进行至框158。在框158处，控制模块50向框154和框160发送中断并输出新状态。方法110如上所描述的从框154进行至框156。
在框160处，控制模块50指示故障状况通知模块52生成任何适当的故障通知以向驾驶员通知信号装置30A未按期望起作用。例如，可以在位于客舱中任何合适位置处的冗余显示器上显示故障通知。故障通知也可以是发送至驾驶员的警告提示音和/或故障消息的形式。可以以任何适当的方式——例如向驾驶员的个人电子装置(例如智能电话或平板电脑)或向驾驶员的电子邮件帐户发送文本消息的形式——将故障消息传达至驾驶员。
在一些应用中，控制模块50可以被配置成将如在由摄像机14拍摄的图像中捕获的仪表组12的操作与从各种交通工具传感器输入至控制模块50的“实时”交通工具操作信息进行比较。当控制模块50识别出如在图像中捕获的仪表组12的操作与交通工具操作信息之间的差异时，控制模块50指示故障状况通知模块52生成故障通知。例如，如果控制模块50从燃料水平传感器接收到指示燃料箱50％满的信号，但是由摄像机14捕获的图像显示燃料刻度盘22D处于100％满位置，则控制模块50将指示故障状况通知模块52生成故障通知。
对于信号装置30A至30U，如果例如控制模块50从交通工具轮胎压力传感器接收到指示轮胎中的一个或更多个轮胎的压力已经下降到预定临界水平以下的信号，但是轮胎压力警告信号装置30K的图像显示信号装置30K未被照亮、轮胎压力警告信号装置30K具有与期望形状不匹配的形状和/或轮胎压力警告信号装置30K具有与预定期望颜色不匹配的颜色，则控制模块50将指示故障状况通知模块52生成故障通知。在以下情况下，控制模块50也将指示故障情况通知模块52生成故障通知：当存在其他信号装置30A至30J和30L至30U中的任一个被分配给的交通工具状况时其未被照亮，或者信号装置被照亮但是具有与期望形状和/或期望颜色不匹配的形状和/或颜色。
图3示出了根据本公开内容的用于监测用于向驾驶员显示交通工具操作信息的仪表组12的操作的另一方法。参照框212，由控制模块50针对已知的显示图像对摄像机14进行校准。在摄像机14被校准之后，方法210进行至框214。在框214处，控制模块50控制摄像机14每隔50ms或以任何其他合适的间隔捕获仪表组12并将其数字化。方法210从框214进行至框216。在框216处，控制模块50解析并存储由摄像机14捕获的图像以进行分析。例如，可以解析并存储信号装置30A至30U中的每一个的图像和/或刻度盘20、22A至22D中的每一个的图像以进行分析。
针对要分析的每个信号装置30A至30U和/或每个刻度盘20A、22A、22D，在框222处，控制模块50从控制模块50的存储器加载期望图像数据。期望图像数据的各种不同参数例如期望照亮数据、期望颜色数据和期望形状数据均被加载(参见框222)。参照框224，针对要分析的每个信号装置，控制模块50加载实际解析的数字化的由摄像机14捕获的图像数据。示例性的实际解析的数字化的图像数据对应于框222的加载的期望图像数据。示例性的实际解析的数字化的图像数据包括实际照亮数据、实际颜色数据和实际形状数据。
参照框230，控制模块50将所加载的期望图像数据(参见框222)与所加载的实际解析的数字化的图像数据(参见框224)进行比较。在框230处，当控制模块50确定期望照亮数据等于实际照亮数据时，则控制模块50确定照亮错误等于假。如果期望照亮数据不等于实际照亮数据，则控制模块50确定照亮错误等于真。当控制模块50确定期望颜色数据等于实际颜色数据时，则控制模块50确定颜色错误等于假。如果期望颜色数据不等于实际颜色数据，则控制模块50确定颜色错误等于真。当控制模块50确定期望形状数据等于实际形状数据时，则控制模块50确定形状错误等于假。如果期望形状数据不等于实际形状数据，则控制模块50确定形状错误等于真。
在框240处，控制模块50确定是否已经检查了信号装置30A至30U的全部(以及可选地刻度盘(20、22A至22D)的全部)。如果尚未对其进行检查，则方法210返回至框220直至信号装置30A至30U的全部以及可选地刻度盘20、22A至22D的全部都被检查。一旦全部均被检查，则方法210进行至框242。在框242处，控制模块50基于在框230处说明的任何诊断标志来生成诊断报告。故障状况通知模块52基于诊断报告生成故障通知。可以生成任何合适的故障通知，例如激活冗余显示器、生成故障警告提示音和/或生成故障消息(参见框244)。方法210从框244返回至框212或框214。
系统10以及方法110和210被配置成解决各种交通工具系统容差。示例性容差包括要监测的刻度盘20、22A至22D相对于摄像机14的定位的位置以及信号装置30A至30U相对于摄像机14的定位的位置。特定容差包括但不限于部件安装容差(X、Y、Z)、贴花(applique)容差(大小、位置、旋转、颜色)、显示容差(丢失像素、旋转、色移)、摄像机容差(鱼眼)和交通工具动态容差(例如振动)。为了解决容差，在搜索并提取由摄像机14捕获的图像中的刻度盘20、22A至22D或信号装置30A至30U期望位于的部分时，控制模块50使用已知的用于位置校准的标志(landmark)例如绝对误差和(SAD)和/或边缘检测滤波器或者任何其他合适的图像处理技术，以从由摄像机14捕获的对象图像中提取对象数据。该校准可以由系统10的制造商执行，或者被包括作为交通工具启动过程的一部分并且因此在每次交通工具启动时执行。
因此，本公开内容有利地提供了系统10以及方法110和210，用于基于信号装置30A至30U或刻度盘20、22A至22D的期望形状和/或期望颜色以及/或者交通工具的当前操作状况当在如由摄像机14捕获的仪表组12的操作与仪表组12的期望操作之间存在差异时向交通工具的驾驶员进行通知。这消除了驾驶员自己手动检查信号装置30A至30U或刻度盘20、22A至22D的需要。
出于说明和描述的目的已经提供了对实施方式的前述描述。这并非旨在穷举或限制本公开内容。特定实施方式的各个元件或特征通常不限于该特定实施方式，而是在适用的情况下是可互换的并且可以用于所选择的实施方式中，即使没有具体示出或描述。特定实施方式的各个元件或特征也可以在许多方面变化。这样的变型不被视为是脱离本公开内容，并且所有这样的修改旨在被包括在本公开内容的范围内。
提供示例实施方式以使得本公开内容将是充分的，并且将范围充分地传达至本领域技术人员。阐述了许多具体细节例如具体部件、装置以及方法的示例以提供对本公开内容的实施方式的完整的理解。对于本领域的技术人员明显的是，不需要采用具体细节，示例实施方式可以以许多不同的形式来实施，并且示例实施方式均不应当被解释为限制本公开内容的范围。在一些示例实施方式中，并未详细描述公知的过程、公知的装置结构和公知的技术。
本文所使用的术语仅出于描述特定示例实施方式的目的，而不旨在是限制性的。如本文所使用的，除非上下文另外明确指出，否则单数形式“一”、“一个”和“该”也可以旨在包括复数形式。术语“包括”、“包含”、“具有”和“含有”是包含性的，并且因此指定存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或添加一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其群组。本文中描述的方法步骤、过程和操作不应被解释为一定要求它们以所讨论或示出的特定顺序来执行，除非该特定顺序被具体确定为执行的顺序。还应理解，可以采用另外的或替选的步骤。
当元件或层被称为“在另一元件或层上”、“接合至”、“连接至”或“耦接至”另一元件或层时，该元件或层可以直接在其他元件或层上、接合至、连接至或耦接至其他元件或层，或者可能存在中间元件或层。相比之下，当元件被称为“直接在另一元件或层上”或者“直接接合至”、“直接连接至”或“直接耦合至”另一元件或层时，可能不存在中间元件或层。用于描述元件之间的关系的其他词语应当以类似的方式来解释(例如，“在……之间”与“直接在……之间”、“邻接”与“直接邻接”等)。如在本文中所使用的，术语“和/或”包括相关联列举的项中的一个或更多个项的任何和所有组合。
尽管术语第一、第二、第三等在本文中可以用于描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应当受这些术语限制。这些术语可以仅用于区别一个元件、部件、区域、层或部分与另一区域、层或部分。诸如“第一”、“第二”的术语和其他数字术语在本文中使用时，除非由上下文明确指示，否则不暗含顺序或次序。因此，在不脱离示例性实施方式的教示的情况下，文中所论述的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分。
为了方便描述如附图中所示的一个元件或特征与其他元件或特征的关系，本文中可以使用空间相对术语，例如“内部”、“外部”、“在……以下”、“在……下方”、“下部”、“在……上方”、“上部”等。空间相对术语可以旨在除了在附图中描绘的取向之外还包括在使用或操作中的装置的的不同的取向。例如，如果附图中的装置被翻转，则被描述为在其他元件或特征“下方”或“以下”的元件将被定向为在其他元件或特征“上方”。因此，示例术语“下方”可以涵盖以上和以下两个取向。装置可以以其他方式定向(旋转90度或其他取向)，并且本文所使用的空间相对描述符被相应地解释。

Claims (19)

1.一种用于监测仪表组(12)的操作的系统，所述仪表组(12)被配置成向驾驶员显示交通工具操作信息，所述系统包括：
摄像机(14)，其与所述仪表组处于共用壳体中，并且朝向所述仪表组以捕获所述仪表组的操作的图像；
控制模块(50)，其接收所述仪表组的图像，所述控制模块被配置成将在所述图像中捕获的所述仪表组的操作与所述仪表组的预定期望操作进行比较；以及
故障状况通知模块(52)，其被配置成当在所述图像中捕获的所述仪表组的操作与所述仪表组的预定期望操作之间存在差异时生成故障通知，其中，
在交通工具启动的验证阶段期间执行并且在交通工具的操作期间连续地执行所述控制模块中的比较和故障通知的生成，并且
向所述驾驶员传达故障通知。
2.根据权利要求1所述的系统，其中，所述控制模块还接收所述交通工具操作信息，并且所述控制模块还被配置成将在所述图像中捕获的所述仪表组的操作与所述交通工具操作信息进行比较；并且
其中，所述故障状况通知模块还被配置成当在所述图像中捕获的所述仪表组的操作与所述交通工具操作信息之间存在差异时生成故障通知。
3.根据权利要求1或2所述的系统，其中，所述摄像机捕获所述仪表组的信号装置(30A至30U)的图像，所述仪表组的所述信号装置(30A至30U)在被照亮时向所述驾驶员传达交通工具操作信息。
4.根据权利要求3所述的系统，其中，所述信号装置包括以下中的至少之一：驻车制动灯信号装置(30A)；悬架减震器信号装置(30B)；转向信号信号装置(30C)；牵引力控制信号装置(30D)；制动器磨损信号装置(30E)；电力系统信号装置(30F)；检查发动机信号装置(30G)；检查电池信号装置(30H)；低油压信号装置(30I)；温度警告信号装置(30J)；轮胎压力警告信号装置(30K)；门锁系统信号装置(30L)；远光灯激活信号装置(30M)；制动系统警告信号装置(30N)；信息信号装置(30O)；前照灯激活信号装置(30P)；紧固安全带信号装置(30Q)；安全气囊警告信号装置(30R)；防抱死制动系统警告信号装置(30S)；检查制动器信号装置(30T)；以及低燃料警告(30U)。
5.根据权利要求3所述的系统，其中，针对所述信号装置中的每个信号装置，所述控制模块被配置成扫描由所述摄像机捕获的所述仪表组的预定位置并识别预定区域是黑色的还是至少部分被照亮；并且其中，当所述信号装置是黑色的时，所述控制模块确定所述信号装置处于关闭状态。
6.根据权利要求3所述的系统，其中，针对所述信号装置中的每个信号装置，所述控制模块被配置成将在由所述摄像机拍摄的图像中捕获的所述信号装置的形状与所述信号装置的期望形状进行比较；并且
其中，当在由所述摄像机拍摄的图像中捕获的所述信号装置的形状与所述信号装置的期望形状不同时，所述控制模块确定所述信号装置具有形状错误。
7.根据权利要求3所述的系统，其中，针对所述信号装置中的每个信号装置，所述控制模块被配置成将在由所述摄像机拍摄的图像中捕获的所述信号装置的颜色与所述信号装置的期望颜色进行比较；并且
其中，当在由所述摄像机拍摄的图像中捕获的所述信号装置的颜色与所述信号装置的期望颜色不同时，所述控制模块确定所述信号装置具有颜色错误。
8.根据权利要求1或2所述的系统，其中，所述控制模块控制所述摄像机每隔50ms至100ms捕获一次所述仪表组的图像。
9.一种用于监测仪表组(12)的操作的方法，所述仪表组(12)被配置成向驾驶员显示交通工具操作信息，所述方法包括：
利用与所述仪表组处于共用壳体中并且朝向所述仪表组的摄像机(14)捕获所述仪表组的操作的图像；
将在所述图像中捕获的所述仪表组的操作与所述仪表组的预定期望操作进行比较，所述比较由控制模块(50)在接收到所述仪表组的图像时进行；以及
当在所述图像中捕获的所述仪表组的操作与所述仪表组的预定期望操作之间存在差异时，利用故障状况通知模块(52)生成故障通知，其中，
在交通工具启动的验证阶段期间执行并且在交通工具的操作期间连续地执行由所述控制模块进行的比较以及故障通知的生成，并且
向所述驾驶员传达故障通知。
10.根据权利要求9所述的方法，还包括利用所述控制模块将在所述图像中捕获的所述仪表组的操作与由所述控制模块接收的交通工具操作信息进行比较；以及
当在所述图像中捕获的所述仪表组的操作与所述交通工具操作信息之间存在差异时，利用所述故障状况通知模块生成故障通知。
11.根据权利要求9或10所述的方法，其中，捕获所述仪表组的图像包括捕获所述仪表组的信号装置(30A至30U)的图像，所述仪表组的所述信号装置(30A至30U)在被照亮时向所述驾驶员传达交通工具操作信息。
12.根据权利要求11所述的方法，其中，所述信号装置包括以下中的至少之一：驻车制动灯信号装置(30A)；悬架减震器信号装置(30B)；转向信号信号装置(30C)；牵引力控制信号装置(30D)；制动器磨损信号装置(30E)；电力系统信号装置(30F)；检查发动机信号装置(30G)；检查电池信号装置(30H)；低油压信号装置(30I)；温度警告信号装置(30J)；轮胎压力警告信号装置(30K)；门锁系统信号装置(30L)；远光灯激活信号装置(30M)；制动系统警告信号装置(30N)；信息信号装置(30O)；前照灯激活信号装置(30P)；紧固安全带信号装置(30Q)；安全气囊警告信号装置(30R)；防抱死制动系统警告信号装置(30S)；检查制动器信号装置(30T)；以及低燃料警告(30U)。
13.根据权利要求11所述的方法，还包括：针对所述信号装置中的每个信号装置，利用所述控制模块扫描由所述摄像机捕获的所述仪表组的预定位置并识别预定区域是黑色的还是至少部分被照亮；并且当所述信号装置是黑色的时，利用所述控制模块确定所述信号装置处于关闭状态。
14.根据权利要求11所述的方法，还包括：针对所述信号装置中的每个信号装置，利用所述控制模块将在由所述摄像机拍摄的图像中捕获的所述信号装置的形状与所述信号装置的期望形状进行比较；并且
当在由所述摄像机拍摄的图像中捕获的所述信号装置具有与所述信号装置的期望形状不同的形状时，利用所述控制模块确定所述信号装置具有形状错误。
15.根据权利要求11所述的方法，还包括：针对所述信号装置中的每个信号装置，利用所述控制模块将在由所述摄像机拍摄的图像中捕获的所述信号装置的颜色与所述信号装置的期望颜色进行比较；并且
当在由所述摄像机拍摄的图像中捕获的所述信号装置具有与所述信号装置的期望颜色不同的颜色时，利用所述控制模块确定所述信号装置具有颜色错误。
16.根据权利要求9或10所述的方法，还包括利用所述摄像机每隔50ms至100ms捕获一次所述仪表组的操作的图像。
17.根据权利要求9或10所述的方法，其中，生成故障通知包括在除了所述仪表组之外的冗余显示器上显示故障通知。
18.根据权利要求9或10所述的方法，其中，生成故障通知包括生成故障警告提示音和生成电子故障消息中的至少之一。
19.根据权利要求9或10所述的方法，还包括：校准所述控制模块以解决以下容差中的一个或更多个：部件安装容差；贴花容差；显示容差；摄像机容差和交通工具动态容差。
CN201980010572.9A 2018-02-02 2019-01-30 仪表组监测系统 Active CN111655529B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862625414P 2018-02-02 2018-02-02
US62/625,414 2018-02-02
US16/245,935 2019-01-11
US16/245,935 US10854024B2 (en) 2018-02-02 2019-01-11 Instrument cluster monitoring system
PCT/JP2019/003050 WO2019151273A1 (en) 2018-02-02 2019-01-30 Instrument cluster monitoring system

Publications (2)

Publication Number Publication Date
CN111655529A CN111655529A (zh) 2020-09-11
CN111655529B true CN111655529B (zh) 2023-06-30

Family

ID=67475667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010572.9A Active CN111655529B (zh) 2018-02-02 2019-01-30 仪表组监测系统

Country Status (4)

Country Link
US (1) US10854024B2 (zh)
JP (1) JP6939997B2 (zh)
CN (1) CN111655529B (zh)
WO (1) WO2019151273A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10870556B2 (en) * 2017-12-12 2020-12-22 Otis Elevator Company Method and system for detecting elevator car operating panel condition
CN112053340B (zh) * 2020-08-28 2023-03-14 安徽江淮汽车集团股份有限公司 汽车显示设备的性能测试方法、设备、存储介质及装置
DE102020212255A1 (de) * 2020-09-28 2022-03-31 Continental Automotive Gmbh Innenraumkameramodul eines Fahrzeugs
JP7409350B2 (ja) * 2021-05-25 2024-01-09 トヨタ自動車株式会社 制御装置、システム、車両、及び判定方法
CN113500913B (zh) * 2021-08-30 2022-09-09 电装光庭汽车电子(武汉)有限公司 全液晶仪表的描画组件

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0882579A (ja) * 1994-09-12 1996-03-26 Honda Motor Co Ltd 故障診断装置
US6614477B1 (en) * 1997-11-11 2003-09-02 Samsung Electronics Co., Ltd. Methods and apparatus for variable frame rate image capture
JP2007285758A (ja) * 2006-04-13 2007-11-01 Nissan Motor Co Ltd 故障診断装置及び方法
CN101116118A (zh) * 2004-12-07 2008-01-30 利普曼科技股份有限公司 模拟指示仪表的自动监视
KR101697644B1 (ko) * 2010-09-01 2017-01-19 현대모비스 주식회사 스마트폰을 이용한 차량용 클러스터 진단 시스템 및 진단 방법
CN106384095A (zh) * 2016-09-19 2017-02-08 西安理工大学 基于手机拍摄图像的轿车故障指示灯识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003202881A1 (en) * 2002-01-04 2003-07-24 Johnson Controls Technology Company Instrument cluster
US6927674B2 (en) 2002-03-21 2005-08-09 Delphi Technologies, Inc. Vehicle instrument cluster having integrated imaging system
WO2006011141A2 (en) * 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
US20150088734A1 (en) * 2013-09-20 2015-03-26 Mastercard International Incorporated Wireless utility meter reading system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0882579A (ja) * 1994-09-12 1996-03-26 Honda Motor Co Ltd 故障診断装置
US6614477B1 (en) * 1997-11-11 2003-09-02 Samsung Electronics Co., Ltd. Methods and apparatus for variable frame rate image capture
CN101116118A (zh) * 2004-12-07 2008-01-30 利普曼科技股份有限公司 模拟指示仪表的自动监视
JP2007285758A (ja) * 2006-04-13 2007-11-01 Nissan Motor Co Ltd 故障診断装置及び方法
KR101697644B1 (ko) * 2010-09-01 2017-01-19 현대모비스 주식회사 스마트폰을 이용한 차량용 클러스터 진단 시스템 및 진단 방법
CN106384095A (zh) * 2016-09-19 2017-02-08 西安理工大学 基于手机拍摄图像的轿车故障指示灯识别方法

Also Published As

Publication number Publication date
WO2019151273A1 (en) 2019-08-08
US10854024B2 (en) 2020-12-01
JP6939997B2 (ja) 2021-09-22
US20190244446A1 (en) 2019-08-08
CN111655529A (zh) 2020-09-11
JP2021501081A (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
CN111655529B (zh) 仪表组监测系统
CN109204189B (zh) 自动驾驶系统、故障报警方法及装置
US9290125B2 (en) Haptic alert system for a vehicle
US10853936B2 (en) Failed vehicle estimation system, failed vehicle estimation method and computer-readable non-transitory storage medium
US11584321B2 (en) Method and system for reporting diagnostic trouble code set in vehicle is collision-related
CN105415985A (zh) 轮胎胎面磨损传感器系统
WO2014199779A1 (ja) 車両の乗員又は歩行者を保護するための保護装置を制御する制御装置、及び制御システム
US9576406B2 (en) Determining a remedial action for a motorized vehicle based on sensed vibration
US20150094905A1 (en) Vehicle inspection verification and diagnostic unit
US20150081159A1 (en) Apparatus and method of sensing and controlling wear of brake lining
CN104275993A (zh) 提供道路救援的车载系统
CN105818618A (zh) 轮胎气压检测方法及装置
CN115656211A (zh) 利用轮胎胎面花纹进行轮胎异常检测的系统和方法
CN109643375B (zh) 用于学习被监视汽车的车辆行为的方法和相应的汽车
JP2005202762A (ja) 車両用通信システム
US9781527B2 (en) Smart plug and play automatic OBD-II system tester
CN111572553A (zh) 车辆系统
CN108008714A (zh) 用于电子部件的故障诊断的方法及系统
CN113167684A (zh) 车辆测试系统以及车辆测试方法
CN114868463B (zh) 汽车模块
KR20230165225A (ko) 섀시 구성 요소의 상태를 결정하기 위한 방법 및 차량 시스템
CN212624094U (zh) 一种基于车辆识别号码的信息反馈装置、系统、设备以及计算机程序产品
USH2094H1 (en) Diagnostic circuit for vehicle device control module
US11377986B2 (en) Apparatus and method for controlling cluster of vehicle
KR101372548B1 (ko) 차량 자가진단 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant