CN108230298A - 自动的车辆泄漏探测 - Google Patents

自动的车辆泄漏探测 Download PDF

Info

Publication number
CN108230298A
CN108230298A CN201711290491.8A CN201711290491A CN108230298A CN 108230298 A CN108230298 A CN 108230298A CN 201711290491 A CN201711290491 A CN 201711290491A CN 108230298 A CN108230298 A CN 108230298A
Authority
CN
China
Prior art keywords
image
video camera
arrival
vehicle
exception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711290491.8A
Other languages
English (en)
Inventor
吉内什·J·杰恩
哈珀丽特辛格·班瓦伊特
布鲁诺·希里·贾勒斯·科斯塔
艾希莉·伊丽莎白·米克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108230298A publication Critical patent/CN108230298A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B60R16/0234—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions related to maintenance or repairing of vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Examining Or Testing Airtightness (AREA)

Abstract

一种车辆控制器在到达和离开时从摄像机接收图像。车辆的位置可以被追踪，并且由摄像机捕获的图像可以被标记有位置。到达图像可以与捕获的最接近到达图像的相同位置的离开图像进行比较。评估根据到达和离开图像之间的差异的残差图像以发现异常。确定如纹理、颜色等的异常属性，并且根据属性对异常进行分类。如果分类指示车辆流体，则产生警报。

Description

自动的车辆泄漏探测
技术领域
本发明涉及车辆故障的自动探测。
背景技术
来自车辆下方的流体泄漏通常可以指示需要注意的危险情况。及时探测到该问题可以为车主在机械师服务中节省高达数千美元。车辆传感器可以探测到由于流体泄漏造成的故障，但是广泛的损坏可能已经发生。
本文公开的设备和方法提供了用于探测车辆流体泄漏的改进方法。
发明内容
根据本发明，提供一种方法，包含由车辆控制器执行以下操作：
在停车位置停车期间接收来自摄像机的到达图像；
在离开停车位置期间接收来自摄像机的离开图像；
根据到达图像和离开图像的评估来识别异常；和
确定该异常指示流体泄漏。
根据本发明的一个实施例，其中根据到达图像和离开图像的评估来识别异常包含：
根据到达图像与离开图像之间的差异来生成残差图像；和
根据残差图像的分析来识别异常。
根据本发明的一个实施例，其中根据到达图像和离开图像的评估来识别异常包含：
对摄像机的第一输出执行图像稳定以获得到达图像；和
对摄像机的第二输出执行图像稳定以获得离开图像。
根据本发明的一个实施例，其中确定异常指示流体泄漏包含：执行异常的纹理分析。
根据本发明的一个实施例，其中确定异常指示流体泄漏包含：对异常的纹理分析的结果进行分类。
根据本发明的一个实施例，其中根据到达图像和离开图像的评估来识别异常包含：通过机器学习算法来评估到达图像和离开图像。
根据本发明的一个实施例，其中摄像机是前置摄像机。
根据本发明的一个实施例，还包含：
接收到达图像；
接收由摄像机探测的到达图像的位置；和
识别由摄像机探测到的大致该位置处的离开图像。
根据本发明的一个实施例，其中接收该位置包含：接收来自全球定位(GPS)接收器的全球定位(GPS)坐标和来自惯性测量单元(IMU)的移动信息。
根据本发明的一个实施例，还包含响应于确定异常指示流体泄漏而生成警报。
根据本发明，提供一种车辆，包含：
摄像机；
包含流体的车辆部件；
可操作地连接到摄像机的控制器，控制器编程为：
在停车位置停车期间接收来自摄像机的到达图像；
在离开停车位置期间接收来自摄像机的离开图像；
评估(a)到达图像和离开图像是否指示异常；
评估(b)异常是否指示流体泄漏；
如果(b)，则产生警报。
根据本发明的一个实施例，其中控制器编程为通过以下方式评估(a)：
根据到达图像与离开图像之间的差异来生成残差图像；和
评估(c)残差图像是否指示异常。
根据本发明的一个实施例，其中控制器还编程为：
对摄像机的第一输出执行图像稳定以获得到达图像；和
对摄像机的第二输出执行图像稳定以获得离开图像。
根据本发明的一个实施例，其中控制器还编程为通过对异常进行纹理分析来评估(b)。
根据本发明的一个实施例，其中控制器还编程为通过对异常的纹理分析的结果进行分类来评估(b)。
根据本发明的一个实施例，其中控制器还编程为通过以机器学习算法评估到达图像和离开图像来评估(a)。
根据本发明的一个实施例，其中摄像机是前置摄像机。
根据本发明的一个实施例，其中控制器还编程为：
接收到达图像；
接收由摄像机探测的到达图像的位置；和
识别由摄像机探测到的大致该位置处的离开图像。
根据本发明的一个实施例，还包含全球定位系统(GPS)接收器和惯性测量单元(IMU)，控制器编程为根据全球定位系统接收器和惯性测量单元的输出来确定该位置。
根据本发明的一个实施例，其中车辆部件是发动机、变速器散热器、动力制动系统和动力转向系统中的至少一个。
附图说明
为了容易理解本发明的益处，将通过参考在附图中示出的具体实施例来体现上面简要描述的本发明的更具体的说明。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是对本发明范围的限制，本发明将通过使用附图以更多的特征和细节来描述和解释，其中：
图1是示出根据本发明实施例的可以执行泄漏探测的车辆的示意性框图；
图2是适合于实现根据本发明的实施例的方法的示例计算装置的示意性框图；
图3是根据本发明实施例的用于识别到达和离开图像的方法的过程流程图；
图4是根据本发明实施例的用于探测泄漏的方法的过程流程图；和
图5A至图5C示出了根据本发明实施例的用于泄漏探测的图像处理。
具体实施方式
参考图1，车辆100可以包括控制器102以及GPS(全球定位系统，GlobalPositioning System)接收器104和惯性测量单元(IMU)106中的一个或两者。控制器102可以使用GPS接收器104和惯性测量单元106中的一个或两者的输出来确定车辆100的位置。例如，可以从GPS接收器104接收GPS坐标，并且可以从惯性测量单元106确定车辆100相对于该坐标的较小移动。具体地，惯性测量单元106可以是基于加速度计的装置，该装置探测加速度并且将加速度解析为速度和距离测量中的一个或两者。
车辆100可以包括前置摄像机108和后置摄像机110中的一个或两者。本文公开的方法包括评估停车位置的图像。由于大多数人前进驶入停车位，所以可以是优选为前置摄像机108。然而，对于驾驶员倒退驶入停车位的情况，后置摄像机110可能是有帮助的。出于以下公开的目的，假定向前方停车并且仅使用前置摄像机108。然而，本文描述的方法可以以相同的方式用于使用摄像机110的向后方停车。
图2是示出示例性计算装置200的框图。计算装置200可以用于执行如本文讨论的过程的各种过程。控制器102可以具有计算装置200的一些或全部属性。
计算装置200包括一个或多个处理器202、一个或多个存储器装置204，一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(I/O)装置210以及显示装置230，所有这些装置都连接到总线212。处理器202包括执行存储在存储器装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202还可以包括各种类型的计算机可读介质(如高速缓冲存储器)。
存储器装置204包括如易失性存储器(例如随机存取存储器(RAM)214)和/或非易失性存储器(例如只读存储器(ROM)216)的各种计算机可读介质。存储器装置204还可以包括可重写ROM(例如闪存)。
大容量存储装置208包括如磁带、磁盘、光盘、固态存储器(例如闪存)等的各种计算机可读介质。如图2所示，特定的大容量存储装置是硬盘驱动器224。大容量存储装置208中还可以包括各种驱动器，以能够对各种计算机可读介质进行读取和/或写入。大容量存储装置208包括可移动介质226和/或不可移动介质。
I/O装置210包括允许将数据和/或其他信息输入到计算装置200或从计算装置200检索数据和/或其他信息的各种装置。示例的I/O装置210包括光标控制装置、键盘、键板、麦克风、监视器或其他显示装置、扬声器、网络接口卡、调制解调器、镜头、CCD(电荷耦合器件，charge-coupled device)或其他图像捕获装置等。
显示装置230包括能够向计算装置200的一个或多个用户显示信息的任何类型的装置。显示装置230的示例包括监视器、显示终端、视频投影装置等。
接口206包括允许计算装置200与其他系统、装置或计算环境交互的各种接口。示例性接口206包括任意数量的不同网络接口220(如到本地区域网络(LAN)、广域网络(WAN)、无线网络和因特网的接口)。其他接口包括用户界面218和外围装置接口222。接口206还可以包括一个或多个外围接口(例如用于指点装置(鼠标、触式控制板等)、键盘等的接口)。
总线212允许处理器202、存储器装置204、接口206、大容量存储装置208、I/O装置210和显示装置230互相通信，以及与连接到总线212的其他装置或部件通信。总线212表示几种类型的总线结构(如系统总线、PCI(外设部件互连标准，peripheral componentinterconnect)总线、IEEE(美国电气和电子工程师协会，Institute of Electrical andElectronics Engineers)1394总线、USB(通用串行总线，Universal Serial Bus)总线等)中的一个或多个。
为了说明的目的，程序和其他可执行程序部件在本文中示出为离散块，但是应当理解的是，这样的程序和部件可以在不同时间存在于在计算装置200的不同存储部件中，并且由处理器202执行。可选地，本文描述的系统和过程可以用硬件或者硬件、软件和/或固件的组合来实现。例如，一个或多个专用集成电路(ASIC)可以被编程以执行本文描述的一个或多个系统和过程。
图3示出了可以由控制器102执行的方法300。具体地，为了识别泄漏，可以将在到达停车位置时从摄像机108接收到的图像与在离开停车位置时从摄像机108接收的图像进行比较，以识别可以指示泄漏流体的变化。
例如，方法300可以包括接收302一个或多个摄像机图像108。例如，摄像机108可以以给定帧速率以视频内容或一系列静止图像的形式输出图像流。
方法300还可以包括确定304车辆100的位置。这可以包括接收GPS接收器104和惯性测量单元106中的一个或两者的输出。根据这些输出确定车辆100的位置的方式可以是根据本领域已知的确定位置的任何方法。例如，可以在某个时间点接收GPS坐标。然后可以根据惯性测量单元106的输出来确定车辆相对于该坐标的移动。
步骤302的图像可以标记有步骤304的位置并且临时存储在缓冲器中。可选地，可以存储图像阵列，并且对应于每个图像的位置阵列可以存储在单独的阵列中。
方法300可以包括确定306是否探测到停车。可以通过这些方式探测停车：探测车辆100停止移动达阈值时间量以上(例如1分钟或更长时间)、从车辆移除钥匙、驾驶员离开车辆、或到达已知的停车地点(如驾驶员的家、工作地点、商店或其他常到地点)。驾驶员可以编程控制器102以将某些位置识别为停车位置。
响应于探测到306停车，方法300可包括存储308来自步骤302、304的图像和位置中的一个或多个到达图像及其对应位置。例如，来自步骤302、304的图像和位置可以暂时存储，以便只保留最后的M个图像和位置。在探测到306停车时，可以从这些暂时存储的图像和对应位置中选择到达图像。可选地，可以在探测到达已知停车位置的某个接近范围内时或者在车辆减速到低于指示可能停车的某个阈值速度以下时执行步骤302-304。
例如，恰好在停车位置处停止移动之前接收一组一个或多个图像及其对应位置。到达图像可以如此选择：到达图像是在停车时位于车辆100下方的表面的图像。例如，在车辆具有长度L的情况下，到达图像可以选择为在停车时根据车辆100的位置具有在长度L+B+A和L+B-A内的对应位置的图像。B可以是校正因子，该校正因子实验地或数学方式地通过测量或确定距离当车辆停车时摄像机108在其视野中将包含停车位置的车辆位置的距离来确定。A的值可以这样选择：存在图像将作为到达图像被存储308的距离的公差或范围。例如，可以执行图像稳定处理，使得需要多个到达图像。可选地，到达图像可以是这样的固定数量的N个图像：具有以L+B为中心的位置、具有最接近于L+B的位置的最后图像或者相对于来自步骤302和304的其他图像的位置最接近L+B的第一图像。
方法300可以包括探测310车辆的离开。这可以包括探测车辆的起动和车辆移动的开始。然后方法300可以包括选择312离开图像。离开图像可选择为具有与到达图像大致相同的对应位置(例如在15厘米内，优选在5厘米内，更优选在1厘米内)。如上所述，可以针对位置或位置的范围来选择到达图像。因此，可以从来自摄像机108的图像流中选择一个或多个离开图像312，该一个或多个离开图像312具有与其他离开图像的位置相比最接近到达图像的位置或位置的范围的对应位置。在离开之后捕获图像和向其标记位置的方式可以如上面关于步骤302和304所描述的那样。
使用来自步骤308的存储的一个或多个到达图像和步骤312的离开图像，方法300可以包括执行314泄漏探测。执行314泄漏探测可以包括执行图4的方法400。
方法400将到达图像402和离开图像404作为输入，并且针对每个图像执行图像稳定406、408。在一些实施例中，由摄像机108执行图像稳定。在其他实施例中，由控制器102处理一系列存储的到达图像402和离开图像404以便执行406、408图像稳定。步骤406、408可以包括本领域已知的任何图像稳定技术。
方法400然后计算410残差图像。这可以包括从稳定的离开图像中减去稳定的到达图像。离开图像和到达图像将不会取自完全相同的位置。因此，在相减之前，稳定的到达图像和稳定的离开图像可以相对于彼此平移以补偿该移动。到达图像和离开图像相对于彼此平移的方式可以包括执行用于确定一对图像之间的移动的图像关联或任何其他图像分析技术。
方法400然后可以包括执行关于残差图像的异常探测412。例如，参考图5A至5C。在图5A中示出了对稳定的到达图像的呈现，并且在图5B中示出了对稳定的离开图像的呈现。图5C示出基于这些图像的残差图像。如图5C所示，存在可以指示流体泄漏的流体污点。分析残差图像以识别差异的方式可以包括本领域已知的任何图像处理计算技术。在一些实施例中，可以通过训练来识别流体泄漏的机器学习算法来处理残差图像。
如果发现414存在异常，那么方法400可包括执行416纹理分析并且尝试对异常进行分类418。纹理分析可以包括识别如颜色、反射率和异常密度的属性。这些属性然后可以被用来对异常进行分类418。例如，控制器可以访问列出这些属性的可能值的值或范围的车辆流体库。在由纹理分析所确定的属性值与车辆流体的值相匹配的情况下，可以确定构成该异常的该流体。
在一些实施例中，可以训练机器学习算法以通过接收到达和离开图像的训练集合以及作为期望输出的是否存在流体泄漏的指示符来识别流体泄漏。在这样的实施例中，可以省略步骤410，并且可以将稳定的到达和离开图像输入到机器学习算法，然后机器学习算法将输出探测为特定车辆流体的任何异常的分类。在这样的实施例中，步骤414-418可以由机器学习算法执行而不是作为单独的步骤来执行。
在发现420分类是车辆流体的情况下，可以产生422警报。警报可以包括使“检查引擎”灯亮起、在车载信息娱乐系统的屏幕上显示文本消息、给驾驶员的移动电话发送消息或其他类型的警报。警报可以包括来自步骤418的流体类型的分类。警报可以指示例如根据在步骤414处探测到的异常的面积确定的流体的量。可以使用异常的面积和探测到的流体粘度，来确定泄漏流体的体积。可以使用到达和离开之间经过时间和该体积，来确定泄漏的速率。可以使用车辆中流体的已知体积(例如容纳流体的容器的体积或制造商对流体的体积的建议)，根据泄漏速率来确定在流体将流失至或达到临界水平之前的时间。警报中可以包括流体临界水平之前的时间。
在上面的公开中，已经参考了形成其一部分的附图，并且其中通过图示的方式示出了可以实施本公开的具体实施方式。应该理解的是，可以利用其他实施方式，并且可以在不脱离本公开的范围的情况下进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括特定的特征、结构或特性。而且，这样的短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确描述，结合其他实施例来改变这种特征、结构或特性被认为是在本领域技术人员的知识范围内。
本文公开的系统、装置和方法的实施方式可以包含或利用包括计算机硬件(例如如本文所讨论的一个或多个处理器和系统存储器)的专用或通用计算机。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理设备和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包含至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM(随机存储器，Random Access Memory)、ROM(只读存储器，Read Only Memory)、EEPROM(电可擦可编程只读存储器，electrically erasableprogrammable read-only memory)、CD-ROM(光盘只读存储器，Compact disc read-onlymemory)、固态驱动器(“SSD”)(例如基于RAM)、闪存、相变存储器(“PCM”)、其他类型存储器、其他光盘存储器、磁盘存储器或其他磁存储装置、或可用于以计算机可执行指令或数据结构的形式存储期望程序代码工具的并且可被通用或专用计算机访问的任何其他介质。
本文公开的装置、系统和方法的实施方式可以通过计算机网络进行通信。“网络”定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或其他通信连接(硬连线、无线或者硬连线或无线连接的组合)将信息传输或提供给计算机时，计算机将该连接适当地视为传输介质。传输介质可以包括网络和/或数据链路，网络和/或数据链路可以被用来以计算机可执行指令或数据结构的形式携带期望的程序代码工具并且可以被通用或专用计算机访问。上述的组合也应该包括在计算机可读介质的范围内。
计算机可执行指令例如包含在处理器处执行时使通用计算机、专用计算机或专用处理装置执行特定功能或功能组的指令和数据。计算机可执行指令可以例如是二进制文件、如汇编语言的中间格式指令，或者是源代码。虽然已经用结构特征和/或方法动作专用的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于上述描述的特征或动作。相反，所描述的特征和动作作为实施权利要求的示例形式被公开。
本领域技术人员将认识到，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实施，包括车内计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持装置、多处理器系统、基于微处理器或可编程的消费电子装置、网络个人计算机、小型计算机、大型计算机、移动电话、PDA(个人数字助理，Personal Digital Assistant)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实施，其中通过网络进行连接(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程内存存储装置中。
此外，在适当的情况下，本文描述的功能可以在以下中的一个或多个中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以编程为执行本文描述的一个或多个系统和过程。整个说明书和权利要求中使用了某些术语来指代特定的系统部件。如本领域技术人员将认识到的，可以通过不同的名称来引用这些部件。本文档并非旨在区分名称不同而功能相同的部件。
应当指出，上面讨论的传感器实施例可以包含计算机硬件、软件、固件或其执行至少一部分功能的任何组合。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。本文提供这些示例性装置是为了说明的目的，并非旨在为限制性的。本公开的实施例可以在其他类型的装置(如相关领域的技术人员已知的)中实现。
本公开的至少一些实施例指向包含存储在任何计算机可用介质上的这种逻辑(例如以软件的形式)的计算机程序产品。这样的软件当在一个或多个数据处理装置中执行时使装置如本文所述那样操作。
尽管以上已经描述了本公开的各种实施例，但是应该理解，其仅仅是作为示例而不是限制来呈现的。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。因此，本公开的广度和范围不应该被任何上述示例性实施例限制，而是应该仅根据以下权利要求及其等同物来限定。提出前面的描述是为了说明和描述的目的。这并非旨在是穷尽的或将本公开限制为所公开的确切形式。鉴于上述教导，许多修改和变化是可能的。此外，应该注意的是，可以以期望的任何组合来使用前述替代实施方式中的任一个或全部，以形成本公开的其他混合实施方式。
本发明可以在不脱离其精神或基本特征的情况下以其他具体形式来体现。所描述的实施例在所有方面仅被认为是说明性的，而不是限制性的。因此，由所附权利要求而不是由前面的描述来指示本发明的范围。在权利要求的等同的含义和范围内的所有变化都将被包括在其范围内。

Claims (17)

1.一种方法，包含由车辆控制器执行以下操作：
在停车位置停车期间接收来自摄像机的到达图像；
在离开所述停车位置期间接收来自所述摄像机的离开图像；
根据所述到达图像和所述离开图像的评估来识别异常；和
确定所述异常指示流体泄漏；
其中根据所述到达图像和所述离开图像的所述评估来识别所述异常包含：
根据所述到达图像与所述离开图像之间的差异来生成残差图像；和
根据所述残差图像的分析来识别所述异常。
2.根据权利要求1所述的方法，其中根据所述到达图像和所述离开图像的所述评估来识别所述异常包含：
对所述摄像机的第一输出执行图像稳定以获得所述到达图像；和
对所述摄像机的第二输出执行图像稳定以获得所述离开图像。
3.根据权利要求1所述的方法，其中确定所述异常指示所述流体泄漏包含：执行所述异常的纹理分析；和
其中确定所述异常指示所述流体泄漏包含：对所述异常的所述纹理分析的结果进行分类。
4.根据权利要求1所述的方法，其中根据所述到达图像和所述离开图像的所述评估来识别所述异常包含：通过机器学习算法来评估所述到达图像和所述离开图像。
5.根据权利要求1所述的方法，其中所述摄像机是前置摄像机。
6.根据权利要求1所述的方法，还包含：
接收所述到达图像；
接收由所述摄像机探测的所述到达图像的位置；和
识别由所述摄像机探测到的大致所述位置处的所述离开图像。
7.根据权利要求6所述的方法，其中接收所述位置包含：接收来自全球定位(GPS)接收器的全球定位(GPS)坐标和来自惯性测量单元(IMU)的移动信息。
8.根据权利要求1所述的方法，还包含响应于确定所述异常指示流体泄漏而生成警报。
9.一种车辆，包含：
摄像机，所述摄像机是前置摄像机；
包含流体的车辆部件；
可操作地连接到所述摄像机的控制器，所述控制器编程为：
在停车位置停车期间接收来自所述摄像机的到达图像；
在离开所述停车位置期间接收来自所述摄像机的离开图像；
评估(a)所述到达图像和所述离开图像是否指示异常；
评估(b)所述异常是否指示流体泄漏；
如果(b)，则产生警报，
其中所述控制器编程为通过以下方式评估(a)：
根据所述到达图像与所述离开图像之间的差异来生成残差图像；和
评估(c)所述残差图像是否指示所述异常。
10.根据权利要求9所述的车辆，其中所述控制器还编程为：
对所述摄像机的第一输出执行图像稳定以获得所述到达图像；和
对所述摄像机的第二输出执行图像稳定以获得所述离开图像。
11.根据权利要求9所述的车辆，其中所述控制器还编程为通过对所述异常进行纹理分析来评估(b)；
其中所述控制器还编程为通过对所述异常的所述纹理分析的结果进行分类来评估(b)。
12.根据权利要求9所述的车辆，其中所述控制器还编程为通过以机器学习算法评估所述到达图像和所述离开图像来评估(a)。
13.根据权利要求9所述的车辆，其中所述控制器还编程为：
接收所述到达图像；
接收由所述摄像机探测到所述到达图像的位置；和
识别由所述摄像机探测到的大致所述位置处的所述离开图像。
14.根据权利要求9所述的车辆，还包含全球定位系统(GPS)接收器和惯性测量单元(IMU)，所述控制器编程为根据所述全球定位系统接收器和所述惯性测量单元的输出来确定所述位置。
15.根据权利要求9所述的车辆，其中所述车辆部件是发动机、变速器散热器、动力制动系统和动力转向系统中的至少一个。
16.一种方法，包含由车辆控制器执行以下操作：
在停车位置停车期间接收来自摄像机的到达图像；
在离开所述停车位置期间接收来自所述摄像机的离开图像；
根据所述到达图像和所述离开图像的评估来识别异常；和
确定所述异常指示流体泄漏。
17.一种车辆，包含：
摄像机；
包含流体的车辆部件；
可操作地连接到所述摄像机的控制器，所述控制器编程为：
在停车位置停车期间接收来自所述摄像机的到达图像；
在离开所述停车位置期间接收来自所述摄像机的离开图像；
评估(a)所述到达图像和所述离开图像是否指示异常；
评估(b)所述异常是否指示流体泄漏；
如果(b)，则产生警报。
CN201711290491.8A 2016-12-15 2017-12-08 自动的车辆泄漏探测 Pending CN108230298A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/380,930 2016-12-15
US15/380,930 US10372996B2 (en) 2016-12-15 2016-12-15 Automatic vehicle leak detection

Publications (1)

Publication Number Publication Date
CN108230298A true CN108230298A (zh) 2018-06-29

Family

ID=61008844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711290491.8A Pending CN108230298A (zh) 2016-12-15 2017-12-08 自动的车辆泄漏探测

Country Status (6)

Country Link
US (1) US10372996B2 (zh)
CN (1) CN108230298A (zh)
DE (1) DE102017130041A1 (zh)
GB (1) GB2559668A (zh)
MX (1) MX2017016311A (zh)
RU (1) RU2017143770A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402186A (zh) * 2018-12-14 2020-07-10 奥迪股份公司 液体泄漏检测方法、系统、计算机设备和存储介质
CN111999000A (zh) * 2020-08-11 2020-11-27 联合汽车电子有限公司 油箱泄漏诊断方法、装置、汽车及计算机可读存储介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296816B2 (en) * 2017-01-11 2019-05-21 Ford Global Technologies, Llc Generating training data for automatic vehicle leak detection
US10900857B2 (en) * 2018-06-06 2021-01-26 Ford Global Technologies, Llc Methods and systems for fluid leak determination
US20190392656A1 (en) * 2018-06-22 2019-12-26 GM Global Technology Operations LLC Method and apparatus for leak detection
CN109726447A (zh) * 2018-12-10 2019-05-07 北京百度网讯科技有限公司 自动驾驶车辆周围行人疏散方法、装置及存储介质
DE102019209667A1 (de) * 2019-07-02 2021-01-07 Zf Friedrichshafen Ag System und Verfahren zum Ermitteln eines Flüssigkeitsverlustes eines Fahrzeugs
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11042350B2 (en) 2019-08-21 2021-06-22 Micron Technology, Inc. Intelligent audio control in vehicles
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11531339B2 (en) 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
CN114802059B (zh) * 2022-06-24 2022-09-06 中国第一汽车股份有限公司 一种液晶仪表系统用车辆故障报警方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09304281A (ja) 1996-05-09 1997-11-28 Tokyo Electric Power Co Inc:The 油検知装置
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US7891340B2 (en) 2008-04-30 2011-02-22 Ford Global Technologies, Llc Feed-forward control in a fuel delivery system and leak detection diagnostics
US8228381B2 (en) * 2008-09-03 2012-07-24 Walter Accurso Video and data capturing system and method
JP2013110571A (ja) 2011-11-21 2013-06-06 Sony Corp 撮像システムおよび撮像装置
DE102011088167A1 (de) 2011-12-09 2013-06-13 Robert Bosch Gmbh Detektion eines Ladungsverlusts bei einem Kraftfahrzeug
US8855849B1 (en) 2013-02-25 2014-10-07 Google Inc. Object detection based on known structures of an environment of an autonomous vehicle
US10093247B2 (en) 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
EP3859310B1 (en) 2013-07-17 2023-08-23 Panasonic Intellectual Property Management Co., Ltd. Spectroscopic apparatus
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
EP2908202B1 (en) 2014-02-14 2019-03-27 Accenture Global Services Limited Unmanned vehicle (UV) control system
DE102014209197B4 (de) * 2014-05-15 2024-09-19 Continental Autonomous Mobility Germany GmbH Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량
US9898830B2 (en) 2015-03-17 2018-02-20 Hitachi, Ltd. Oil leakage detector and oil leakage detection method
CN105182537B (zh) 2015-09-28 2017-10-27 大连楼兰科技股份有限公司 智能眼镜维保过程中的漏液识别方法
US9987752B2 (en) 2016-06-10 2018-06-05 Brain Corporation Systems and methods for automatic detection of spills
DE102016210632A1 (de) 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
JP6346251B2 (ja) 2016-11-25 2018-06-20 ファナック株式会社 油漏れ検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402186A (zh) * 2018-12-14 2020-07-10 奥迪股份公司 液体泄漏检测方法、系统、计算机设备和存储介质
CN111999000A (zh) * 2020-08-11 2020-11-27 联合汽车电子有限公司 油箱泄漏诊断方法、装置、汽车及计算机可读存储介质
CN111999000B (zh) * 2020-08-11 2022-08-09 联合汽车电子有限公司 油箱泄漏诊断方法、装置、汽车及计算机可读存储介质

Also Published As

Publication number Publication date
RU2017143770A (ru) 2019-06-14
US10372996B2 (en) 2019-08-06
GB2559668A (en) 2018-08-15
MX2017016311A (es) 2018-11-09
GB201720810D0 (en) 2018-01-31
RU2017143770A3 (zh) 2021-02-10
DE102017130041A1 (de) 2018-06-21
US20180173961A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN108230298A (zh) 自动的车辆泄漏探测
CN108304861A (zh) 生成自动车辆泄漏探测的训练数据
US20190095877A1 (en) Image recognition system for rental vehicle damage detection and management
CN108016449B (zh) 一种用于评估自主车辆的内部的系统和方法
CN107180219A (zh) 基于多模态信息的驾驶危险系数评估方法和装置
CN109035831A (zh) 交通指示灯的识别方法、装置、设备、存储介质及车辆
JP2011077898A (ja) 表示装置、表示方法、および、プログラム
US20150042796A1 (en) Anti-damage alarm system for machine
CN110490217A (zh) 用于改进对象检测和对象分类的方法和系统
CN109684944B (zh) 障碍物检测方法、装置、计算机设备和存储介质
US20180074034A1 (en) Vehicle Identification System and Associated Methods
CN115331328A (zh) 用于记录车辆行车视频的设备和方法
US11823372B2 (en) Delivery package damage detection using photogrammetry models
CN105835799A (zh) 检测身体伸出车窗外的方法、装置及系统
WO2021095483A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018187967A1 (en) Apparatus, server and method for vehicle sharing
US20210016710A1 (en) Apparatus for recording driving image of vehicle and method thereof
CN107878325A (zh) 确定泊车系统重新标定时机的方法、装置及自动标定系统
JP6281249B2 (ja) 情報処理装置、情報処理システム、プログラム及び情報処理方法
KR20080075733A (ko) 사고경위 자료를 저장하는 차량용 블랙박스 장치 및 그처리방법
CN110456784A (zh) 从距离传感器得到的对感知系统的同时诊断和形状估计
US20140315569A1 (en) Positioning System in a Wireless Communication Network
KR101604183B1 (ko) 영상 사고 기록 장치의 저장 공간에 파일을 저장하는 방법 및 시스템
KR101688808B1 (ko) 디지털 운행 기록 검증 방법
JP7343997B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180629