CN108875568A - 车辆污点和垃圾检测系统和方法 - Google Patents

车辆污点和垃圾检测系统和方法 Download PDF

Info

Publication number
CN108875568A
CN108875568A CN201810431512.1A CN201810431512A CN108875568A CN 108875568 A CN108875568 A CN 108875568A CN 201810431512 A CN201810431512 A CN 201810431512A CN 108875568 A CN108875568 A CN 108875568A
Authority
CN
China
Prior art keywords
clean
image
laser radar
vehicle
radar data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810431512.1A
Other languages
English (en)
Inventor
尚特·托凯蒂恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108875568A publication Critical patent/CN108875568A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/62—Other vehicle fittings for cleaning
    • B60S1/64—Other vehicle fittings for cleaning for cleaning vehicle interiors, e.g. built-in vacuum cleaners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开描述了示例车辆污点和垃圾检测系统和方法。在一个实施方式中，方法接收与干净的车辆内部相关联的干净的图像和干净的激光雷达数据。该方法还接收与乘客已经使用车辆之后的车辆内部相关联的第二图像和第二激光雷达数据。在干净的图像和第二图像之间识别不同之处。此外，在干净的激光雷达数据和第二激光雷达数据之间识别不同之处。该方法基于所识别的不同之处来确定车辆内部是否包括污点、污物、或垃圾中的至少一种。

Description

车辆污点和垃圾检测系统和方法
技术领域
本公开涉及车辆系统，并且更具体地涉及用于检测位于车辆中的污点和垃圾的系统和方法。
背景技术
机动车辆和其他车辆为商业、政府和私人实体提供了很大一部分交通工具。诸如自主车辆的车辆当将乘客或物体从一个位置运送至另一位置时，在道路、停车场和其他区域行驶。自主车辆的示例性应用是用作响应于运输请求而搭载一个或多个乘客的出租车或班车服务。当用作出租车或班车服务时，自主车辆行驶至搭载位置，使得请求服务的乘客可以进入车辆。然后车辆行驶至目的地并且允许乘客离开车辆。在搭载另一乘客之前，对于下一位乘客，车辆内部最好是干净的。
发明内容
根据本发明，提供一种方法，该方法包含：
接收与干净的车辆内部相关联的干净的图像和干净的激光雷达数据；
接收与乘客已经使用车辆之后的车辆内部相关联的第二图像和第二激光雷达数据；
识别干净的图像和第二图像之间的不同之处；
识别干净的激光雷达数据和第二激光雷达数据之间的不同之处；和
确定车辆内部是否包括污点、污物、或垃圾中的至少一种。
根据本发明的一个实施例，该方法还包含量化干净的图像和第二图像以降低噪声。
根据本发明的一个实施例，该方法还包含识别干净的图像与第二图像之间的所识别的不同之处中的至少一个轮廓。
根据本发明的一个实施例，该方法还包含将边界框与所识别的轮廓相关联。
根据本发明的一个实施例，该方法中基于干净的图像与第二图像之间的不同之处和干净的激光雷达数据与第二激光雷达数据之间的不同之处中的至少一个来确定车辆内部是否包括污点、污物、或垃圾中的至少一种。
根据本发明的一个实施例，该方法中识别干净的图像与第二图像之间的不同之处包括从干净的图像中减去第二图像。
根据本发明的一个实施例，该方法中识别干净的激光雷达数据与第二激光雷达数据之间的不同之处包括识别干净的激光雷达数据和第二激光雷达数据的点云中的不同之处。
根据本发明的一个实施例，该方法中确定车辆内部是否包括污点、污物、或垃圾中的至少一个包括将所识别的不同之处分类为二维的或三维的。
根据本发明的一个实施例，该方法还包含将二维的不同之处分类为污点，并且将三维的不同之处分类为污物或垃圾中的至少一种。
根据本发明的一个实施例，该方法还包含确定与三维的不同之处相关联的形状。
根据本发明的一个实施例，该方法还包含确定与三维的不同之处相关联的尺寸。
根据本发明的一个实施例，该方法还包含基于确定车辆内部是否包括污点、污物、或垃圾中的至少一种而确定车辆内部是否需要清洁。
根据本发明的一个实施例，该方法中车辆是自主车辆。
根据本发明，提供一种方法，该方法包含：
接收与干净的车辆内部相关联的干净的图像和干净的激光雷达数据；
接收与乘客已经使用车辆之后的车辆内部相关联的第二图像和第二激光雷达数据；
通过车辆污点和垃圾检测系统来识别干净的图像和第二图像之间的不同之处；
通过车辆污点和垃圾检测系统来识别干净的激光雷达数据和第二激光雷达数据之间的不同之处；和
基于以下内容来确定车辆内部是否包括污点、污物、或垃圾中的至少一种：
干净的图像和第二图像之间的所识别的不同之处；和
干净的激光雷达数据和第二激光雷达数据之间的所识别的不同
之处。
根据本发明的一个实施例，该方法中识别干净的激光雷达数据和第二激光雷达数据之间的不同之处包括识别干净的激光雷达数据和第二激光雷达数据的点云中的不同之处。
根据本发明的一个实施例，该方法中确定车辆内部是否包括污点、污物、或垃圾中的至少一种还包括将所识别的不同之处分类为二维的或三维的。
根据本发明的一个实施例，该方法还包含将二维的不同之处分类为污点，并且将三维的不同之处分类为污物或垃圾中的至少一种。
根据本发明，提供一种装置，该装置包含：
通信管理器，通信管理器被配置用于接收与干净的车辆内部相关联的干净的图像和干净的激光雷达数据，并且被配置用于接收与乘客已经使用车辆之后的车辆内部相关联的第二图像和第二激光雷达数据；
图像处理模块，图像处理模块被配置用于识别干净的图像与第二图像之间的不同之处；
激光雷达处理模块，激光雷达处理模块被配置用于识别干净的激光雷达数据与第二激光雷达数据之间的不同之处；和
分类模块，分类模块被配置用于基于干净的图像与第二图像之间的不同之处和干净的激光雷达数据与第二激光雷达数据之间的不同之处中的至少一个来将车辆内的区域分类为污点、污物、垃圾、或其他物品中的一种。
根据本发明的一个实施例，其中识别干净的激光雷达数据与第二激光雷达数据之间的不同之处包括识别干净的激光雷达数据与第二激光雷达数据的点云中的不同之处。
根据本发明的一个实施例，其中分类模块还被配置用于将所识别的污点、所识别的污物、所识别的垃圾、或所识别的其他物品识别为二维的或三维的。
附图说明
参考以下附图来描述本公开的非限制性和非穷尽性实施例，其中除非另有说明，否则相同的附图标记在全部各个附图中指代相同的部件。
图1是示出了包括车辆污点和垃圾检测系统的车辆控制系统的实施例的框图；
图2是示出了车辆污点和垃圾检测系统的实施例的框图；
图3示出了具有多个内部摄像机和多个内部激光雷达传感器的车辆的实施例；
图4A-4C示出了用于检测车辆中的污点和垃圾的方法的实施例；
图5示出了用于识别车辆中的物体的方法的实施例；
图6A-6C示出了使用一个或多个激光雷达传感器来识别车辆中的物体的示例。
具体实施方式
在下面的公开中，参考了构成本发明的一部分的附图，并且在附图中通过图示的方式示出了可以实施本公开的具体实施方式。应当理解，在不脱离本公开的范围的情况下，可以使用其他实施方式并且可以改变结构。说明书中参考“一个实施例”、“实施例”、“示例性实施例”等，表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括特定的特征、结构或特性。此外，这样的语句不一定指代相同的实施例。另外，当结合实施例描述特定的特征、结构或特性时，认为结合不管是否明确描述的其他实施例来影响这些的特征、结构或特性是在本领域技术人员的知识范围内。
本发明所公开的系统、设备和方法的实施方式可以包含或利用包括计算机硬件的专用或通用计算机，例如，比如，本发明所讨论的一个或多个处理器和系统存储器。在本公开的范围内的实施方式还可以包括用于运载或储存计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。储存计算机可执行指令的计算机可读介质是计算机存储介质(装置)。运载计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制，本公开的实施方式可以包含至少两种明显不同的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、CD-ROM(只读光盘)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储装置、或者可以用于存储计算机可执行指令或数据结构的形式的所需的程序代码并且可以由通用或专用计算机访问的任何其他介质。
本发明所公开的设备系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合中的一个)传输或提供给计算机时，计算机将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，传输介质可以用于以计算机可执行指令或数据结构的形式运载计算机可执行指令或数据结构的形式的期望的程序代码，并且可以由通用或专用计算机访问。
计算机可执行指令包含，例如，在处理器执行时使通用计算机、专用计算机或专用处理装置来执行某个功能或功能组的指令和数据。计算机可执行指令可以是，例如，二进制文件、诸如汇编语言的中间格式指令、或者甚至是源代码。虽然主题用特定于结构特征和/或方法动作的语言描述，但是应当理解，所附权利请求中限定的主题不一定限于本文所描述的特征或行为。更确切地说，所描述的特征和行为被公开为实现权利请求的示例性形式。
本领域技术人员将理解，可以在具有许多类型的计算机系统配置的网络计算环境中实施本公开，包括内联车辆计算机、个人计算机、台式计算机、便携计算机、消息处理器、手提式装置、多处理器系统、基于微处理器或可编程的消费性电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(掌上电脑)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储装置二者中。
此外，在适当的情况下，本发明所描述的功能可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行。例如，一个或多个专用集成电路(ASIC)可以被编程用于执行本发明所描述的系统和过程中的一个或多个。在整个说明书和权利要求书中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以由不同的名称指代。本文档不打算区分名称不同而非功能不同的部件。
应当注意，本文所讨论的传感器实施例可以包含计算机硬件、软件、固件或其任何组合来执行其功能的至少一部分。例如，传感器可以包括被配置用于在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电子电路。这些示例性装置设置在本发明中的目的是说明，并不旨在限制。本公开的实施例可以在相关领域的技术人员已知的更多类型的设备中实施。
本公开的至少一些实施例针对包含储存在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。这样的软件当在一个或多个数据处理装置中执行时，使装置如本文所述地运行。
图1是示出了包括车辆污点和垃圾检测系统104的车辆内的车辆控制系统100的实施例的框图。自动驾驶/辅助系统102可以用于自动控制或控制车辆的操作或用于向驾驶人员提供帮助。例如，自动驾驶/辅助系统102可以控制制动装置、转向装置、安全带张紧装置、加速装置、车灯、警报器、驾驶员提示窗口、无线电广播设备、车辆车锁或车辆的任何其他辅助系统中的一个或多个。在另一示例中，自动驾驶/辅助系统102可能不能够提供对驾驶装置(例如，转向装置、加速装置、或制动装置)的任何控制，但是可以提供通知和警报以帮助驾驶人员安全驾驶。车辆控制系统100包括车辆污点和垃圾检测系统104，该车辆污点和垃圾检测系统104与车辆中的各种部件相互作用以检测车辆内的污点、污物、垃圾、和其他物品。尽管车辆污点和垃圾检测系统104在图1中被示为单独的部件。但是在替代性实施例中，车辆污点和垃圾检测系统104可以集成在自动驾驶/辅助系统102或任何其他车辆部件内。
车辆控制系统100还包括用于检测附近物体(或障碍物)的存在或确定来源车辆(例如，包括车辆控制系统100的车辆)的位置的一个或多个传感器系统/装置。例如，车辆控制系统100可以包括一个或多个雷达(无线电探测和测距)系统106、一个或多个激光雷达(光探测和测距)系统108、一个或多个摄像机系统110、全球定位系统(GPS)112、和/或超声系统114。一个或多个摄像机系统110可以包括安装至车辆(例如，车辆的后部部分)的后向式摄像机、前向式摄像机、和侧向式摄像机。摄像机系统110还可以包括捕获车辆内的乘客和其他物体的图像的一个或多个内部摄像机。激光雷达系统108可以包括捕获与车辆内部的区域相关联的数据的一个或多个内部激光雷达传感器。车辆控制系统100可以包括用于储存用于导航和安全的相关或有用数据(例如地图数据、驾驶历史、或其他数据)的数据存储器116。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施、或任何其他通信系统进行无线通信的收发器118。
车辆控制系统100可以包括用于控制诸如电动马达、开关或其它致动器的车辆的驾驶装置的各个方面以控制制动装置、加速装置、转向装置、安全带张紧装置、车门车锁等的车辆控制器致动器120。车辆控制系统100还可以包括一个或多个显示器122、扬声器124、或使得可以向驾驶人员或乘客提供通知的其他装置。显示器122可以包括可以由车辆的驾驶员或乘客看到的抬头显示器、仪表板显示器或指示器、显示屏、或任何其他视觉指示器。扬声器124可以包括车辆的音响系统的一个或多个扬声器，或者可以包括专用于驾驶员或乘客通知的扬声器。
应当理解，图1的实施例仅作为示例给出。在不脱离本公开的范围的情况下，其它实施例可以包括更少或更多的部件。另外，所示的部件可以被组合或被包括在其他部件中而没有限制。
在一个实施例中，自动驾驶/辅助系统102被配置用于控制来源车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制器致动器120以在道路、停车场、车道、或其他位置上的路径上行驶。例如，自动驾驶/辅助系统102可以基于由部件106-118中的任何一个提供的信息或感知数据来确定路径。路径也可以基于操纵车辆以避免或减轻与另一车辆或物体的潜在碰撞的路线来确定。传感器系统/装置106-110和114可以用于获取实时传感器数据，使得自动驾驶/辅助系统102可以实时帮助驾驶员或驾驶车辆。
图2是示出了车辆污点和垃圾检测系统104的实施例的框图。如图2所示，车辆污点和垃圾检测系统104包括通信管理器202、处理器204、和存储器206。通信管理器202允许车辆污点和垃圾检测系统104与其他系统(例如自动驾驶/辅助系统102)进行通信。如本文所讨论，处理器204执行各种指令以实施由车辆污点和垃圾检测系统104提供的功能。存储器206储存这些指令以及由处理器204和包含在车辆污点和垃圾检测系统104中的其他模块和部件使用的其他数据。
另外，车辆污点和垃圾检测系统104包括从一个或多个摄像机系统110接收图像数据的图像处理模块208。在一些实施例中，图像处理模块208包括管理表示车辆内部在其干净(例如，车辆中没有污点、污物、垃圾、或其他物品)时的图像的一个或多个干净的图像的图像管理算法或过程。另外，图像处理模块208可以管理在乘客已经离开车辆之后捕获的一个或多个附加图像。如本文所描述，将这些附加图像与干净的图像进行比较，以确定车辆内部是否由于乘客乘坐在车辆中而具有污点、垃圾、污物、或其他物品。
图像量化模块210能够量化干净的图像和附加图像二者以降低图像中的噪声。当量化图像时，图像量化模块210将图像的色谱降低为多灰阶(例如，三灰阶)，这有助于降低图像中的噪声。在一些实施例中，量化还被称为“n色灰度调整”。例如，图像量化模块210可以实施2016年11月23日提交的并且题为“钻车缝的摩托车的检测(Detection of lane-splitting motorcycles)”的美国申请号为15/360,856的美国专利申请(其全部内容在此并入本文)中公开的技术。
车辆污点和垃圾检测系统104还包括从干净的图像中减去附加图像以识别图像之间的不同之处的图像相减模块212。这些不同之处可以表示前一位乘客留下的污点、污物、垃圾、或其他物品。例如，图像相减模块212可以实施2016年11月23日提交的并且题为“钻车缝的摩托车的检测(Detection of lane-splitting motorcycles)”的美国申请号为15/360,856的美国专利申请(其全部内容在此并入本文)中公开的技术。
轮廓识别模块214识别如由图像相减模块212识别的干净的图像和附加图像之间的不同之处中的一个或多个轮廓。轮廓包括例如污点、污物、垃圾块、或诸如由前一位乘客留下的物体的其他物品的轮廓。轮廓识别模块214还限定了每个轮廓周围的边界框。边界框允许用户或计算系统轻松地定位所识别的轮廓。另外，基于捕获每个图像的摄像机的位置和角度，车辆污点和垃圾检测系统104可以将边界框映射到车辆中的具体位置。
激光雷达处理模块216从一个或多个激光雷达系统108(例如车辆内的一个或多个激光雷达传感器)接收激光雷达数据。在一些实施例中，激光雷达处理模块216包括管理表示车辆内部在其干净时(例如车辆中没有污点、污物、垃圾、或其他物品)的一个或多个激光雷达数据集(称为“干净的激光雷达数据”)的激光雷达数据管理算法或过程。另外，激光雷达处理模块216可以管理在乘客已经离开车辆之后捕获的一个或多个附加激光雷达数据集。如本文所讨论，附加激光雷达数据集与干净的激光雷达数据进行比较，以确定车辆内部是否由于乘客乘坐在车辆中而具有污点、垃圾、污物、或其他物品。
垃圾/污点分类模块218检测车辆中污点、污物、垃圾、和其他物品的位置和类型。例如，垃圾/污点分类模块218分析指示新物体存在的图像中所识别的轮廓。使用图像数据，通过分析轮廓的形状以及轮廓边缘的平滑度来对新物体进行分类。例如，如果轮廓大体上是具有光滑边缘的圆形，则新物体可能是污点。替代地，如果轮廓具有不规则的形状和/或尖锐/锯齿状边缘，则新物体更可能是前一位乘客留在车辆中的垃圾块或其他物品。另外，垃圾/污点分类模块218分析激光雷达数据以确定任何所识别的物体的近似形状和尺寸。如本文所讨论，可以基于与干净的激光雷达数据相关联的激光雷达点云与在乘客已经离开车辆之后捕获的激光雷达数据的不同之处来确定(或近似)物体的尺寸和形状。例如，图像轮廓可以基于位置数据叠加在相应的激光雷达点云上。使用在车辆中的具体位置处的点云数据和图像轮廓可以辅助本文描述的系统和方法来分类污点、污物、垃圾、或其他物体。
在一些实施例中，垃圾/污点分类模块218将由轮廓限定的物体或区域分类为二维区域或三维区域。例如，由轮廓限定的区域(例如通过图像比较确定的)通常是二维的，其可以指示车辆表面(例如车辆座椅表面)上的污点或污物。替代地，如果基于激光雷达数据集的比较结果来识别物体，则物体通常是三维的，例如前一位乘客留下的垃圾块或其他物品。
在一些实施例中，垃圾/污点分类模块218访问包含与先前分类的轮廓(例如每个轮廓的形状和边缘特征以及每个轮廓的分类结果)相关联的信息的数据源(例如，数据库或查找表)。另外，数据源可以包含与先前分类的物体相关联的信息，例如先前的激光雷达数据的点云特征和物体的分类结果。与先前分类的轮廓或激光雷达数据相关联的信息可以由垃圾/污点分类模块218使用以分析和分类之后的轮廓和之后的激光雷达数据，例如识别与正在分类的当前轮廓或激光雷达数据高度匹配的数据源中的先前分类的轮廓或激光雷达数据。高度匹配允许垃圾/污点分类模块218做出关于轮廓或激光雷达数据的类别的假设。
车辆维护管理器220管理车辆的清洁和维护。例如，如果在乘客已经离开车辆之后在车辆中检测到污点、污物、垃圾、或其他物品，则车辆维护管理器220可以确定在接收下一乘客之前车辆是否需要从服务中移除。如果需要清洁，则车辆维护管理器220可以指示自动驾驶/辅助系统102将车辆驾驶至最近的清洁或服务设施。如本文所讨论，车辆维护管理器220在确定是否需要清洁时可以考虑检测到的污点、污物、垃圾、或其他物品的尺寸或形状。另外，如果需要清洁，则车辆维护管理器220可以确定需要哪一种清洁。
图3示出了具有多个内部摄像机和多个内部激光雷达传感器的车辆300的实施例。如图3所示，车辆300具有两个内部摄像机302、306和两个内部激光雷达传感器304、308。在一些实施例中，摄像机302、306在车辆300中被定位并且定向为使得所有座椅表面(例如，座椅底部和座椅靠背)处于至少一个摄像机302、306的视场中。车辆300的内部的其他区域也可以位于一个或多个摄像机302、306的视场中。类似地，激光雷达传感器304、308可以在车辆300中被定位并且定向为使得所有座椅表面(例如，座椅底部和座椅靠背)由至少一个激光雷达传感器304、308感测。车辆300内部的其他区域也可以由一个或多个激光雷达传感器304、308感测。
在车辆300的构型中，摄像机302被定位并且定向为捕获车辆的前部座椅的座椅表面的图像。另外，摄像机306被定位并且定向为捕获车辆的后部座椅的座椅表面的图像。类似地，激光雷达传感器304被定位并且定向为捕获与车辆前部座椅的座椅表面相关联的数据。另外，激光雷达传感器308被定位并且定向为捕获与车辆后部座椅的座椅表面相关联的数据。尽管在图3中示出了两个内部摄像机302、306和两个激光雷达传感器304、308，但是在替代实施例中，车辆300可以具有定位在整个车辆中的不同位置并且对准不同角度的任何数量的内部摄像机和任何数量的内部激光雷达传感器。
图4A-4C示出了用于检测车辆中的污点和垃圾的方法400的实施例。最初，车辆污点和垃圾检测系统接收402车辆内部的一个或多个干净的图像。这些干净的图像可能被认为是“参考图像”，并且表示干净的车辆内部。在一些实施例中，车辆内部在搭载乘客进行运送之前，应当大体上类似于干净的图像。响应于运送请求(或其他指令)，车辆搭载404乘客并且将乘客运送至目的地。乘客在目的地处离开406车辆。
在乘客离开406车辆后，车辆污点和垃圾检测系统接收408当前车辆内部的一个或多个图像(即，“当前图像”)。在一些实施例中，拍摄当前图像的位置和方位大体上与拍摄干净的图像的位置和方位相似。车辆污点和垃圾检测系统量化410干净的图像和当前图像以降低噪音。方法400随着车辆污点和垃圾检测系统从干净的图像中减去412当前图像而继续。在一些实施例中，车辆污点和垃圾检测系统从相应的干净的图像(例如，车辆内部的相同部分的干净的图像)中减去412每幅当前图像。
然后，车辆污点和垃圾检测系统识别414当前图像和干净的图像之间的不同之处。如本文所讨论，这些不同之处可以表示前一位乘客留下的污点、污物、垃圾、或其他物品。车辆污点和垃圾检测系统识别416所识别的不同之处中的轮廓。轮廓可以表示例如污点、污物、垃圾块、或其他物品的轮廓。在一些实施例中，这些轮廓是二维的，这是因为它们是基于由一个或多个车载摄像头捕获的二维图像生成的。
随着方法400继续，车辆污点和垃圾检测系统将边界框与每个所识别的轮廓相关联418。如上所述，边界框允许用户或计算系统容易地识别所识别的轮廓。并且，基于捕获每幅图像的摄像机的位置和角度，车辆污点和垃圾检测系统可以将边界框映射至车辆中的具体位置。因此，边框可以帮助清洁人员或自清洁系统定位具体的污点、污物、垃圾块、或其他物品。
车辆污点和垃圾检测系统接收420与乘客已经离开车辆之后的车辆内部相关联的激光雷达数据，其可以被称为“当前激光雷达数据”。在一些实施例中，接收到的当前激光雷达数据的位置和方位与接收到干净的激光雷达数据的位置和方位大体上相似。
方法400随着车辆污点和垃圾检测系统分析422当前激光雷达数据以识别车辆内部中的任何物体(例如垃圾、污物、和其他物品)而继续。在一些实施例中，当前激光雷达数据表示处于三维空间的所识别的物体。然后，车辆污点和垃圾检测系统将当前激光雷达数据中识别的物体与图像数据中识别的轮廓进行比较424。例如，图像轮廓可以叠加在激光雷达数据上以更好地限定激光雷达数据中的所识别的物体的边界(例如，边缘)。
车辆污点和垃圾检测系统将由激光雷达数据中识别的轮廓和/或物体限定的区域分类426为污点、污物、垃圾、或其他物品。如本文所讨论，由轮廓限定的区域可以通过分析轮廓的形状以及轮廓边缘的平滑度来分类。例如，如果轮廓大体上是具有平滑边缘的圆形，则其可能是污点。然而，如果轮廓具有不规则形状和/或具有尖锐/锯齿状边缘，则其更可能是前一位乘客留在车辆中的垃圾块或其他物品。如下面所讨论，基于干净的激光雷达数据集和当前激光雷达数据集之间的点云数据的不同之处，在激光雷达数据中识别出一个或多个物体。如上所述，在一些实施例中，垃圾/污点分类模块218可以访问包含与先前分类的轮廓和/或先前分类的激光雷达数据相关联的信息的数据源。这些附加信息对分析和分类轮廓来说是有用的，例如识别数据源中与正在分类的当前轮廓高度匹配的先前分类的轮廓。类似地，附加信息对于分析和分类在激光雷达数据中识别的物体是有用的，例如识别数据源中与正在分类的当前激光雷达数据集高度匹配的先前分类的激光雷达数据。
车辆污点和垃圾检测系统确定428在接收下一位乘客之前是否需要清洁车辆内部。例如，如果车辆污点和垃圾检测系统识别出前一名乘客留下的明显的污点或垃圾块，则可能需要在接收另一位乘客之前清洁车辆。另外，如果车辆需要清洁，则确定422可以包括所需的清洁类型。例如，一小块垃圾可以通过机器人、包括真空吸尘器的自动清洁系统、或位于车辆附近的个人用户轻松移除。但是，如果检测到明显的污点或大量垃圾，则车辆可能需要在车辆服务中心进行更彻底的清洁或通过移动清洁服务进行更彻底的清洁。此外，如果使用真空吸尘器或其他自动清洁系统无法清除该尺寸或形状的垃圾块，则车辆可能需要位于车辆附近的个人用户或车辆服务中心来维修。如果不需要清洁，则车辆等待指令440以响应新的运送请求而搭载新乘客。
如果需要清洁430，则车辆可以在安排清洁服务和执行车辆内部清洁时停止服务432。车辆污点和垃圾检测系统确定434需要什么类型的清洁，并且安排或预定对于车辆的适当清洁服务。当车辆清洁完成436时，车辆被释放回服务行列438并且可用于接受新的运送请求。然后，车辆等待指令440以响应于新的运送请求而搭载新乘客。
图5示出了用于识别车辆中的物体的方法500的实施例。方法500的至少一部分可以在方法400的分析422部分中执行。最初，车辆污点和垃圾检测系统识别502与干净的车辆内部(例如，没有污物、污点、垃圾或、其他物体)相关联的激光雷达数据。这种干净的激光雷达数据当与乘客已经离开车辆后接收到的激光雷达数据相比较时被用作参考数据。
方法500随着车辆污点和垃圾检测系统将当前激光雷达数据与干净的激光雷达数据进行比较504而继续。基于比较结果504，车辆污点和垃圾检测系统确定车辆的内部是否检测到506物体。如果没有检测到物体，则方法500结束。然而，如果检测到506物体，则车辆污点和垃圾检测系统确定508与物体相关联的形状。另外，车辆污点和垃圾检测系统确定510物体的尺寸。在一些实施例中，物体的形状和尺寸是基于当前激光雷达数据与干净的激光雷达数据的比较结果的近似值。
图6A-6C示出了使用一个或多个激光雷达传感器识别车辆中的物体的示例。参考图6A，示例性环境600包括产生指向诸如内部车辆表面的表面606的多个激光雷达束604的激光雷达传感器602。在一些实施例中，表面606是车辆座椅表面、车辆车门的内部表面、或车辆地板表面。图6A的下部部分示出了具有多个点608的点云，这是由激光雷达传感器602执行激光雷达扫描的结果。如图6A中所示，点云的形状对应于表面606的形状。在图6A的示例中，表面606上没有污点、污物、垃圾、或其他物体。因此，在图6A的下部部分中所示的点云可以表示“干净的”激光雷达数据。
图6B示出了示例性环境610，该示例性环境610包括产生指向诸如内部车辆表面的表面616的多个激光雷达束614的激光雷达传感器612。在一些实施例中，表面616与606是相同表面。在环境610中，垃圾块(或其他物体)618位于表面616上。图6B的下部部分示出了具有表示为空心圆的多个点620的点云。多个空心点620对应于图6A中的点608。点云中的两个附加点(622和624)是实心圆并且表示与图6A中的对应点608(干净的激光雷达数据)不同的“错位点”。如本文中所使用，“错位点”是指没有位于在车辆的内部是干净的情况下它们应当(或预期)处于的位置的激光雷达点云内的点。因此，错位点识别点云与干净的激光雷达数据的差异。这些差异可以表示干净的激光雷达数据中不存在的垃圾、污物、或其他物品。在一些实施例中，这些错位点表示由垃圾块618引起的不同之处。基于图6B中的点云的形状，车辆污点和垃圾检测系统可以确定垃圾块618的近似形状和尺寸。
参考图6C，在左侧的图中示出了表示当前激光雷达数据的点云。点630、632、和634是用于表示点云中的“干净”或“预期”点的空心圆。剩余的点636、638、640、642、和644是用于表示与干净的激光雷达数据中的对应点不同的错位点的实心圆。因此，实心圆636-644限定了不存在于干净的激光雷达数据中的物体的边缘。由点云中的点限定的边缘确定物品的形状(或近似形状)。此外，点云中的点之间的间距被用于确定物品的尺寸(或近似尺寸)。例如，线650、652、和654表示物品的不同部分处的宽度。那些线650、652、和654对应于图6C的右侧中示出的形状660的间距。
在一些实施例中，本文讨论的系统和方法在检测内部车辆损坏(诸如撕裂的座椅、破碎的装饰件、垂挂装饰件、受损的扶手等)方面也是有用的。
虽然本文描述了本公开的各种实施例，但是应当理解，它们仅仅是作为示例而非限制来提出的。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的广度和范围不应该由示例性实施例中的任何一个来限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的提出了本文的描述。它不是穷举的，也不是将本公开限制为所公开的精确形式。鉴于所公开的教导，许多修改和变化是可能的。此外，应当注意，本文所讨论的替代性实施方式可以用于期望形成本发明的另外的混合实施例的任何组合。

Claims (15)

1.一种方法，包含：
接收与干净的车辆内部相关联的干净的图像和干净的激光雷达数据；
接收与乘客已经使用所述车辆之后的所述车辆内部相关联的第二图像和第二激光雷达数据；
识别所述干净的图像和所述第二图像之间的不同之处；
识别所述干净的激光雷达数据和所述第二激光雷达数据之间的不同之处；和
确定所述车辆内部是否包括污点、污物、或垃圾中的至少一种。
2.根据权利要求1所述的方法，还包含量化所述干净的图像和所述第二图像以降低噪声。
3.根据权利要求1所述的方法，还包含：
识别所述干净的图像与所述第二图像之间的所述所识别的不同之处中的至少一个轮廓；和
将边界框与所述所识别的轮廓相关联。
4.根据权利要求1所述的方法，其中基于所述干净的图像与所述第二图像之间的不同之处和所述干净的激光雷达数据与所述第二激光雷达数据之间的不同之处中的至少一个来确定所述车辆内部是否包括污点、污物、或垃圾中的至少一种。
5.根据权利要求1所述的方法，其中识别所述干净的图像与所述第二图像之间的不同之处包括从所述干净的图像中减去所述第二图像。
6.根据权利要求1所述的方法，其中确定所述车辆内部是否包括污点、污物、或垃圾中的至少一个包括：
将所述所识别的不同之处分类为二维的或三维的；和
确定与所述二维的不同之处相关联的形状或尺寸。
7.根据权利要求1所述的方法，还包含基于确定所述车辆内部是否包括污点、污物、或垃圾中的至少一种而确定所述车辆内部是否需要清洁。
8.根据权利要求1所述的方法，其中所述车辆是自主车辆。
9.一种方法，包含：
接收与干净的车辆内部相关联的干净的图像和干净的激光雷达数据；
接收与乘客已经使用所述车辆之后的所述车辆内部相关联的第二图像和第二激光雷达数据；
通过车辆污点和垃圾检测系统来识别所述干净的图像和所述第二图像之间的不同之处；
通过所述车辆污点和垃圾检测系统来识别所述干净的激光雷达数据和所述第二激光雷达数据之间的不同之处；和
基于以下内容来确定所述车辆内部是否包括污点、污物、或垃圾中的至少一种：
所述干净的图像和所述第二图像之间的所述所识别的不同之处；
和
所述干净的激光雷达数据和所述第二激光雷达数据之间的所述所识别的不同之处。
10.根据权利要求1或9所述的方法，其中识别所述干净的激光雷达数据和所述第二激光雷达数据之间的不同之处包括识别所述干净的激光雷达数据和所述第二激光雷达数据的点云中的不同之处。
11.根据权利要求1或9所述的方法，其中确定所述车辆内部是否包括污点、污物、或垃圾中的至少一种还包括将所述所识别的不同之处分类为二维的或三维的。
12.根据权利要求1或9所述的方法，还包含将二维的不同之处分类为污点，并且将三维的不同之处分类为污物或垃圾中的至少一种。
13.一种装置，包含：
通信管理器，所述通信管理器被配置用于接收与干净的车辆内部相关联的干净的图像和干净的激光雷达数据，并且被配置用于接收与乘客已经使用所述车辆之后的所述车辆内部相关联的第二图像和第二激光雷达数据；
图像处理模块，所述图像处理模块被配置用于识别所述干净的图像与所述第二图像之间的不同之处；
激光雷达处理模块，所述激光雷达处理模块被配置用于识别所述干净的激光雷达数据与所述第二激光雷达数据之间的不同之处；和
分类模块，所述分类模块被配置用于基于所述干净的图像与所述第二图像之间的不同之处和所述干净的激光雷达数据与所述第二激光雷达数据之间的不同之处中的至少一个来将所述车辆内的区域分类为污点、污物、垃圾、或其他物品中的一种。
14.根据权利要求13所述的装置，其中识别所述干净的激光雷达数据与所述第二激光雷达数据之间的不同之处包括识别所述干净的激光雷达数据与所述第二激光雷达数据的点云中的不同之处。
15.根据权利要求13所述的装置，其中所述分类模块还被配置用于将所述所识别的污点、所述所识别的污物、所述所识别的垃圾、或所述所识别的其他物品识别为二维的或三维的。
CN201810431512.1A 2017-05-12 2018-05-08 车辆污点和垃圾检测系统和方法 Pending CN108875568A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/593,880 2017-05-12
US15/593,880 US10304165B2 (en) 2017-05-12 2017-05-12 Vehicle stain and trash detection systems and methods

Publications (1)

Publication Number Publication Date
CN108875568A true CN108875568A (zh) 2018-11-23

Family

ID=62598151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810431512.1A Pending CN108875568A (zh) 2017-05-12 2018-05-08 车辆污点和垃圾检测系统和方法

Country Status (4)

Country Link
US (1) US10304165B2 (zh)
CN (1) CN108875568A (zh)
DE (1) DE102018111256A1 (zh)
GB (1) GB2563995A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558858A (zh) * 2018-12-11 2019-04-02 北京首汽智行科技有限公司 基于深度学习的车内卫生自动识别方法及系统
CN110045382A (zh) * 2018-12-03 2019-07-23 阿里巴巴集团控股有限公司 车辆损伤检测的处理方法、装置、设备、服务器和系统
CN110110704A (zh) * 2019-05-21 2019-08-09 北京首汽智行科技有限公司 一种车辆卫生监控方法及系统
CN110356200A (zh) * 2018-03-26 2019-10-22 本田技研工业株式会社 车辆净化装置、车辆净化方法及存储介质
CN110614975A (zh) * 2019-06-05 2019-12-27 张冬梅 针对性目标清洗机构
CN110871771A (zh) * 2019-06-05 2020-03-10 张冬梅 针对性目标清洗方法
CN112297760A (zh) * 2019-07-31 2021-02-02 丰田自动车株式会社 控制装置、车辆以及控制方法
CN112784647A (zh) * 2019-11-10 2021-05-11 杨娟 智能运行环境维护系统及方法
CN113705544A (zh) * 2021-10-28 2021-11-26 季华实验室 汽车内饰清洁方法、装置、电子设备及存储介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2560593B (en) * 2017-07-31 2019-02-20 Matthew Russell Iain Unmanned Aerial Vehicles
DE112017007735T5 (de) * 2017-08-08 2020-04-23 Ford Global Technologies, Llc System und -verfahren zur fahrzeugüberprüfung
US20190095714A1 (en) * 2017-09-28 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle interior lidar detection systems
DE102017011827A1 (de) * 2017-12-21 2019-06-27 Daimler Ag Verfahren zum Betrieb einer Insassenschutzvorrichtung
CN112204612A (zh) 2018-03-29 2021-01-08 罗伯特·博世有限公司 用于由车辆先验信息引导的基于视觉的车辆内部环境感测的方法和系统
US20200029768A1 (en) * 2018-07-24 2020-01-30 Qualcomm Incorporated Managing Cleaning Robot Behavior
US11185207B2 (en) * 2018-07-24 2021-11-30 Qualcomm Incorporated Managing cleaning robot behavior
WO2020115969A1 (ja) * 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び、プログラム
CN112384943B (zh) * 2018-12-07 2024-05-17 松下电器（美国）知识产权公司 信息处理方法、信息处理装置、以及程序记录介质
CN113195271A (zh) 2018-12-20 2021-07-30 金泰克斯公司 用于机动车辆的蒸气和微粒传感器系统
EP3899894A4 (en) * 2018-12-20 2022-01-26 Gentex Corporation SYSTEMS AND PROCEDURES FOR MONITORING SHARED JOURNEYS
US11776143B2 (en) * 2019-03-28 2023-10-03 Nec Corporation Foreign matter detection device, foreign matter detection method, and program
JP2021047606A (ja) * 2019-09-18 2021-03-25 本田技研工業株式会社 情報通知装置およびカーシェアリングシステム
US11334985B2 (en) 2019-10-25 2022-05-17 Robert Bosch Gmbh System and method for shared vehicle cleanliness detection
JP7169965B2 (ja) * 2019-12-24 2022-11-11 本田技研工業株式会社 車両管理システム、及び車両管理方法
JP7081620B2 (ja) * 2020-04-17 2022-06-07 トヨタ自動車株式会社 情報処理装置、情報処理方法及びプログラム
CN113581134B (zh) * 2020-04-30 2024-02-27 比亚迪股份有限公司 车辆及其清洁方法、装置以及存储介质和车载控制器
KR20210149476A (ko) * 2020-06-02 2021-12-09 현대자동차주식회사 자동차 및 그를 위한 실내 청결 관리 방법
CN111968229A (zh) * 2020-06-28 2020-11-20 北京百度网讯科技有限公司 高精度地图制图方法及装置
US20220198842A1 (en) * 2020-12-18 2022-06-23 Motional Ad Llc Predictive analytics for vehicle health
US11878663B2 (en) 2021-02-10 2024-01-23 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle cleaning system using foldable seats and adjustable lighting conditions
US11820338B2 (en) 2021-02-10 2023-11-21 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle cleaning and feedback system using adjustable ground truth
JP2022189413A (ja) * 2021-06-11 2022-12-22 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び情報処理システム
CN113635864B (zh) * 2021-07-27 2023-08-15 际络科技(上海)有限公司 车载激光雷达的清洗方法、装置、电子设备及存储介质
US20230067659A1 (en) * 2021-08-24 2023-03-02 Ford Global Technologies, Llc Systems and methods for detecting vehicle defects
CN115412541B (zh) * 2022-10-27 2023-02-10 山东凤和凰城市科技有限公司 一种基于网络平台的智能地下车库保洁系统

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JPH06273255A (ja) 1993-03-22 1994-09-30 Mitsubishi Heavy Ind Ltd 漏油検知方法及び装置
US6005958A (en) 1997-04-23 1999-12-21 Automotive Systems Laboratory, Inc. Occupant type and position detection system
US7027621B1 (en) 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US7813559B2 (en) * 2001-11-13 2010-10-12 Cyberoptics Corporation Image analysis for pick and place machines with in situ component placement inspection
US6781676B2 (en) 2002-03-22 2004-08-24 Trw Inc. Structured lighting detection of vehicle occupant type and position
SE0201529D0 (sv) 2002-05-21 2002-05-21 Flir Systems Ab Method and apparatus for IR camera inspections
DE10305861A1 (de) 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
JP2007515621A (ja) 2003-06-11 2007-06-14 フリー ブラザーズ エルエルシィ 赤外線カメラ・システムを用いて検査を実施する及び化学物質漏出を検出するためのシステム及び方法
JP3832455B2 (ja) 2003-07-31 2006-10-11 日産自動車株式会社 車輌周囲表示装置
US20050131625A1 (en) 2003-11-19 2005-06-16 Birger Alexander B. Schoolchildren transportation management systems, methods and computer program products
JP4351919B2 (ja) 2004-01-21 2009-10-28 株式会社ケンウッド 送りバス用管理装置、出迎え管理装置、送りバス用管理方法及び出迎え管理方法
WO2007141858A1 (ja) 2006-06-08 2007-12-13 Fujitsu Limited 汚れ検出方式
JP5178085B2 (ja) 2007-08-07 2013-04-10 株式会社村上開明堂 撮像装置付きバックミラー
US8124931B2 (en) 2007-08-10 2012-02-28 Schlumberger Technology Corporation Method and apparatus for oil spill detection
DE102008009190A1 (de) * 2008-02-15 2009-08-27 Siemens Aktiengesellschaft Verfahren zur automatischen Bestimmung der Ruhephase des Herzens
JP5509801B2 (ja) 2009-11-13 2014-06-04 三菱電機株式会社 エレベータシステム
EP2507742A2 (en) 2009-12-02 2012-10-10 Tata Consultancy Services Limited A cost effective and robust system and method for eye tracking and driver drowsiness identification
US8959163B1 (en) 2010-08-04 2015-02-17 Open Invention Network, Llc Method and apparatus of organizing and delivering data to intended recipients
CN202448860U (zh) 2011-12-21 2012-09-26 浙江吉利汽车研究院有限公司 一种出租车行李遗忘提醒装置
CN202422205U (zh) 2012-02-29 2012-09-05 李德明 移动助学公交管理系统
US9128185B2 (en) 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
DE102012007559A1 (de) 2012-04-14 2012-11-08 Daimler Ag Verfahren und Vorrichtung zur Dichtheitsprüfung eines Fahrzeugs
US9881212B2 (en) 2012-07-04 2018-01-30 Repsol, S.A. Infrared image based early detection of oil spills in water
CN202871022U (zh) 2012-08-08 2013-04-10 厦门雅迅网络股份有限公司 一种基于gps和人脸识别的校车全自动监控系统
US9101297B2 (en) 2012-12-11 2015-08-11 Elwha Llc Time-based unobtrusive active eye interrogation
US20140163329A1 (en) 2012-12-11 2014-06-12 Elwha Llc Unobtrusive Active Eye Interrogation with Gaze Attractor
US9488982B2 (en) 2013-02-03 2016-11-08 Michael H Gurin Systems for a shared vehicle
CN203224912U (zh) 2013-02-28 2013-10-02 湖南科技学院 基于物联网的校车安全监控系统
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP6343769B2 (ja) 2013-08-23 2018-06-20 中嶋　公栄 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
CN104597857A (zh) 2013-10-31 2015-05-06 大连易维立方技术有限公司 校车远程安全监控方法
CN104601937A (zh) 2013-10-31 2015-05-06 大连易维立方技术有限公司 校车远程安全监控系统
US9814410B2 (en) 2014-05-06 2017-11-14 Stryker Corporation Person support apparatus with position monitoring
EP3154830A4 (en) 2014-06-11 2018-06-20 Veridium IP Limited System and method for facilitating user access to vehicles based on biometric information
US20160078576A1 (en) 2014-09-17 2016-03-17 Fortress Systems International, Inc. Cloud-based vehicle monitoring systems and methods
KR101646134B1 (ko) 2015-05-06 2016-08-05 현대자동차 주식회사 자율주행차량 및 그 제어 방법
US9616773B2 (en) * 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
WO2016197068A1 (en) 2015-06-03 2016-12-08 Levant Power Corporation Methods and systems for controlling vehicle body motion and occupant experience
US10150448B2 (en) 2015-09-18 2018-12-11 Ford Global Technologies. Llc Autonomous vehicle unauthorized passenger or object detection
US20170091559A1 (en) 2015-09-29 2017-03-30 Valeo North America, Inc. Camera monitor system for a vehicle
US9855926B2 (en) 2016-01-26 2018-01-02 GM Global Technology Operations LLC Systems and methods for promoting cleanliness of a vehicle
SE542087C2 (en) * 2016-03-15 2020-02-25 Scania Cv Ab Method and control unit for vehicle diagnosis
US20170267251A1 (en) 2016-03-15 2017-09-21 Palo Alto Research Center Incorporated System And Method For Providing Context-Specific Vehicular Driver Interactions
US20170291539A1 (en) * 2016-04-07 2017-10-12 General Motors Llc Systems and methods for detecting objects within a vehicle
KR101777518B1 (ko) 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
US20170330044A1 (en) 2016-05-10 2017-11-16 GM Global Technology Operations LLC Thermal monitoring in autonomous-driving vehicles
JP6792351B2 (ja) * 2016-06-01 2020-11-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
US9760827B1 (en) 2016-07-22 2017-09-12 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
US10479328B2 (en) 2016-11-04 2019-11-19 Ford Global Technologies, Llc System and methods for assessing the interior of an autonomous vehicle

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110356200A (zh) * 2018-03-26 2019-10-22 本田技研工业株式会社 车辆净化装置、车辆净化方法及存储介质
CN110356200B (zh) * 2018-03-26 2022-11-15 本田技研工业株式会社 车辆净化装置、车辆净化方法及存储介质
CN110045382A (zh) * 2018-12-03 2019-07-23 阿里巴巴集团控股有限公司 车辆损伤检测的处理方法、装置、设备、服务器和系统
CN109558858A (zh) * 2018-12-11 2019-04-02 北京首汽智行科技有限公司 基于深度学习的车内卫生自动识别方法及系统
CN110110704A (zh) * 2019-05-21 2019-08-09 北京首汽智行科技有限公司 一种车辆卫生监控方法及系统
CN110614975B (zh) * 2019-06-05 2020-10-16 浙江艾克米信息科技有限公司 针对性目标清洗机构
CN110871771A (zh) * 2019-06-05 2020-03-10 张冬梅 针对性目标清洗方法
CN110871771B (zh) * 2019-06-05 2022-08-30 张冬梅 针对性目标清洗方法
CN110614975A (zh) * 2019-06-05 2019-12-27 张冬梅 针对性目标清洗机构
CN112297760A (zh) * 2019-07-31 2021-02-02 丰田自动车株式会社 控制装置、车辆以及控制方法
CN112297760B (zh) * 2019-07-31 2023-08-04 丰田自动车株式会社 控制装置、车辆以及控制方法
CN112784647A (zh) * 2019-11-10 2021-05-11 杨娟 智能运行环境维护系统及方法
CN113705544A (zh) * 2021-10-28 2021-11-26 季华实验室 汽车内饰清洁方法、装置、电子设备及存储介质
CN113705544B (zh) * 2021-10-28 2022-02-08 季华实验室 汽车内饰清洁方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
DE102018111256A1 (de) 2018-11-15
US20180330475A1 (en) 2018-11-15
GB2563995A (en) 2019-01-02
US10304165B2 (en) 2019-05-28
GB201807512D0 (en) 2018-06-20

Similar Documents

Publication Publication Date Title
CN108875568A (zh) 车辆污点和垃圾检测系统和方法
CN108734100A (zh) 污渍和垃圾检测系统及方法
EP3751455A2 (en) Image fusion for autonomous vehicle operation
CN109099855A (zh) 车辆清洁度检测系统和方法
JP6531832B2 (ja) 駐車スペース検出方法および装置
EP3367336B1 (en) Parking space line detection method and device
CN107220581A (zh) 通过后置摄像机的行人检测和运动预测
EP3367363B1 (en) Parking support method and parking support device
US11347243B2 (en) Vehicle inspection systems and methods
CN108615407A (zh) 用于防止行人碰撞事故的设备及方法
DE102017206228A1 (de) Fahrzeug und Verfahren zum Steuern desselben
CN104424477B (zh) 用于检测障碍物的装置和方法
JP2004531424A5 (zh)
US10629072B2 (en) LIDAR and vision vehicle sensing
JPWO2019069429A1 (ja) 駐車制御方法及び駐車制御装置
US10366541B2 (en) Vehicle backup safety mapping
CN113544021B (zh) 用于创建包括自部件排除的碰撞检测训练集的方法
CN110562259A (zh) 用于进入乘用交通工具的危险缓解
US11270525B2 (en) Automated vehicle occupancy detection
US20200231111A1 (en) Vehicle footwell reflector
JP2011113330A (ja) 物体検出装置および運転支援システム
US20230219563A1 (en) Vehicle information delivery device, vehicle information delivery method, and storage medium
US11908200B2 (en) System and method in the prediction of target vehicle behavior based on image frame and normalization
JP2018103730A (ja) 情報処理装置、情報処理方法、及び、運転支援システム
WO2023248613A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123

WD01 Invention patent application deemed withdrawn after publication