CN108016449A

CN108016449A - 一种用于评估自主车辆的内部的系统和方法

Info

Publication number: CN108016449A
Application number: CN201711052170.4A
Authority: CN
Inventors: 迈克尔·E·赖伊波林; 拉姆齐·阿哈默德·奇瑞姆; 史蒂文·迈克尔·希尔; 雷·C·西恰克
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-11-04
Filing date: 2017-10-30
Publication date: 2018-05-11
Anticipated expiration: 2037-10-30
Also published as: GB201717960D0; US20180126960A1; DE102017125484A1; RU2017134265A; CN108016449B; MX2017014066A; GB2558722A; US10479328B2

Abstract

一种自主车辆包括内部传感器，该内部传感器包括摄像机、红外摄像机、电化学传感器、湿度传感器和温度传感器。捕获运送一个或多个乘客的行程的这些传感器的初始和最终输出。如果检测到传感器的输出中发生变化，则可以评估传感器的最终输出是否可接受。在一些实施例中，评估总输出，即使在单个输出是可接受的情况下，总输出也被认为是不可接受的。输出可以呈现给调度员以确认输出是不可接受的。如果认为输出是不可接受的，则车辆可以被自动地驾驶至清洁站。可以在摄像机输出中识别出个人物品，并且作为响应以生成警报。

Description

一种用于评估自主车辆的内部的系统和方法

技术领域

本发明涉及用于自主车辆的传感器系统和方法。

背景技术

自主车辆是许多研究和开发的主体。这种车辆包括能够识别和避开障碍物并且导航至目的地的一组传感器和控制逻辑。自主车辆的一种用途是用作可以根据需要接载乘客的出租车。

本文公开的系统和方法提供了一种用于提供自主出租车服务的方法。

发明内容

根据本发明，提供一种用于车辆的系统，该系统包含：

多个传感器，该多个传感器各自感测车辆的内部的不同特性；

控制器，该控制器被连接至多个内部传感器，并且被编程用于进行以下操作：

接收多个传感器的第一输出；

在第一输出之后接收多个传感器的第二输出；和

如果第二输出和第一输出之间的总变化满足阈值条件，则请求清洁内部。

根据本发明的一个实施例，其中多个传感器包括可见光摄像机。

根据本发明的一个实施例，其中多个传感器包括红外(IR)摄像机。

根据本发明的一个实施例，其中多个传感器包括电化学传感器。

根据本发明的一个实施例，其中多个传感器包括湿度传感器。

根据本发明的一个实施例，其中阈值条件是第一阈值条件，并且控制器被配置用于如果发生以下情况中的至少一种，则请求清洁内部：

(a)第二输出与第一输出之间的总变化满足第一阈值条件；和

(b)摄像机、红外摄像机、电化学传感器和湿度传感器中的任何一种的第一输出和第二输出之间的变化满足相应的阈值条件。

根据本发明的一个实施例，其中控制器还被编程用于：如果电化学传感器和湿度传感器中的至少一种的第一输出和第二输出之间的变化满足相应的阈值条件，则进行以下操作：

激活车辆的通风系统；

再次测量电化学传感器和湿度传感器中的至少一种的输出；和

如果电化学传感器和湿度传感器中的至少一种的输出仍然满足相应的阈值条件，则请求清洁内部。

根据本发明的一个实施例，其中控制器被编程用于通过将第一输出和第二输出输入到机器学习模型中来确定第二输出和第一输出之间的总变化是否满足阈值条件。

根据本发明的一个实施例，其中控制器被编程用于请求清洁内部，请求清洁内部包含将车辆自主地驾驶至清洁站。

根据本发明的一个实施例，其中控制器被编程用于：如果第二输出和第一输出之间的总变化不满足阈值条件，则在不必先将车辆自主地驾驶至任何清洁站的情况下，将车辆自主地驾驶至接载位置。

根据本发明，提高一种用于评估车辆的方法，该方法包含：

提供各自感测车辆的内部的不同特性的多个传感器；

由连接至多个内部传感器的控制器接收来自多个内部传感器的第一输出；

在乘客在车辆中的行程之后，由控制器接收来自多个传感器的第二输出；

由控制器确定第二输出与第一输出之间的总变化满足阈值条件；

响应于确定第二输出和第一输出之间总变化满足阈值条件，而由控制器请求清洁内部。

根据本发明的一个实施例，该方法中多个传感器包括可见光摄像机。

根据本发明的一个实施例，该方法中多个传感器包括红外(IR)摄像机。

根据本发明的一个实施例，该方法中多个传感器包括电化学传感器。

根据本发明的一个实施例，该方法中多个传感器包括湿度传感器。

根据本发明的一个实施例，该方法中阈值条件是第一阈值条件；

其中该方法还包含：

由控制器接收多个传感器的第三输出；

在接收到第三输出之后，由控制器接收多个传感器的第四输出；

由控制器确定摄像机、红外摄像机、电化学传感器和湿度传感器中的任何一种的第三输出和第四输出之间的变化满足相应的阈值条件；

响应于确定摄像机、IR摄像机、电化学传感器和湿度传感器中的任何一种的第三输出和第四输出之间的变化满足相应的阈值条件，而由控制器请求清洁内部。

根据本发明的一个实施例，该方法还包含：

确定电化学传感器和湿度传感器中的至少一种的输出满足相应的阈值条件；

响应于确定电化学传感器和湿度传感器中的至少一种的输出满足相应的阈值条件，进行以下操作：

由控制器激活车辆的通风系统；

由控制器再次测量电化学传感器和湿度传感器中的至少一种的输出；和

由控制器确定电化学传感器和湿度传感器中的至少一种的输出仍然满足相应的阈值条件；和

响应于确定电化学传感器和湿度传感器中的至少一种的输出仍然满足相应的阈值条件，请求清洁内部。

根据本发明的一个实施例，该方法还包含通过将第一输出和第二输出输入到机器学习模型中来确定第二输出与第一输出之间的总变化满足阈值条件。

根据本发明的一个实施例，该方法中请求清洁内部包括将车辆自主地驾驶至清洁站。

根据本发明的一个实施例，该方法还包含：

由控制器接收多个传感器的第三输出；

由控制器确定第三输出与第四输出之间的总变化不满足阈值条件；和

响应于确定第三输出和第四输出之间的总变化不满足阈值条件，而由控制器在不将车辆驾驶至任何清洁站的情况下，将车辆自主地驾驶至接载位置。

根据本发明，提供一种用于车辆的系统，该系统包含：

多个传感器，该多个传感器各自感测车辆的内部的不同特性，该多个传感器包括可见光摄像机、红外(IR)摄像机和电化学传感器中的全部；

接收多个传感器中的每个传感器的第一输出；

在接收到多个传感器中的每个传感器的第一输出之后接收多个传感器中的每个传感器的第二输出；

对于多个传感器中的每个传感器：

评估每个传感器的第二输出和第一输出之间的差异；和

如果每个传感器的第二输出和第一输出之间的差异满足相应于该每个传感器的阈值条件，则请求清洁内部；

评估多个传感器的第一输出和第二输出之间的总变化；和

如果第二输出和第一输出之间的总变化满足总阈值条件，则请求清洁内部。

激活车辆的通风系统；

根据本发明的一个实施例，其中控制器被编程用于请求清洁内部，请求内部的清洁包含将车辆自主地驾驶至清洁站。

根据本发明，提高一种用于评估车辆的方法，该方法包含：

提供各自感测车辆的内部的不同特性的多个传感器，该多个传感器包括可见光摄像机、红外(IR)摄像机和电化学传感器中的全部；

继接收到第一输入后，在乘客在车辆中的行程之后，由控制器接收来自多个传感器的第二输出；

由控制器确定第二输出与第一输出之间的总变化；

由控制器确定该总变化满足阈值条件；

响应于确定第二输出和第一输出之间的总变化满足阈值条件，而由控制器请求清洁内部。

其中该方法还包含：

由控制器接收多个传感器的第三输出；

根据本发明的一个实施例，该方法还包含：

响应于确定电化学传感器和湿度传感器中的至少一种的输出满足相应的阈值条件，而进行以下操作：

由控制器激活车辆的通风系统；

响应于确定电化学传感器和湿度传感器中的至少一种的输出仍然满足相应的阈值条件，而请求清洁内部。

根据本发明的一个实施例，该方法还包含：

由控制器接收多个传感器的第三输出；

附图说明

为了容易理解本发明的优点，将通过参考附图中所示的具体实施例来描述上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是限制其范围，本发明将通过使用附图用额外的特征和细节来进行描述和解释，其中：

图1A是用于实施本发明的实施例的系统的示意性框图；

图1B是包括用于实施本发明的实施例的内部传感器的车辆的示意性框图；

图2是适用于实施根据本发明的实施例的方法的示例性计算装置的示意性框图；

图3是根据本发明的实施例用于评估自主出租车的状态的方法的过程流程图；

图4A至图4C是根据本发明的实施例用于处理内部传感器的输出的方法的过程流程图；和

图5是根据本发明的实施例用于检测自主出租车中的物体的方法的过程流程图。

具体实施方式

参考图1A和1B，车辆100(参见图1B)可以容纳控制器102。车辆100可以包括本领域已知的任何车辆。车辆100可以具有本领域已知的任何车辆的所有结构和特征，包括：车轮、连接至车轮的动力传动系统、连接至动力传动系统的发动机、转向系统、制动系统、和包括在车辆中的本领域已知的其它系统。

如本文更详细地讨论，控制器102可以执行自主导航和碰撞避免。控制器102可以从一个或多个外部传感器104接收一个或多个输出。例如，一个或多个摄像机106a可以被安装至车辆100并且输出被接收至控制器102的图像流。控制器102可以从一个或多个麦克风106b接收一个或多个音频流。例如，一个或多个麦克风106b或麦克风阵列106b可以被安装至车辆100并且将音频流输出至控制器102。麦克风106b可以包括具有随角度变化的灵敏度的定向麦克风。

外部传感器104可以包括诸如RADAR(无线电检测和测距)106c、LIDAR(光检测和测距)106d、SONAR(声音导航和测距)106e等的传感器。

控制器102可以执行接收外部传感器104的输出的自主操作模块108。自主操作模块108可以包括障碍物识别模块110a、碰撞预测模块110b和决策模块110c。障碍物识别模块110a分析外部传感器的输出并且识别潜在的障碍物，包括人、动物、车辆、建筑物、路边、和其他物体和结构。特别地，障碍物识别模块110a可以识别传感器输出中的车辆图像。

碰撞预测模块110b基于其当前轨迹或当前预期路径来预测哪些障碍物图像可能与车辆100碰撞。碰撞预测模块110b可以评估与由障碍物识别模块110a识别的物体碰撞的可能性。决策模块110c可以做出停止、加速、转向等的决策来避开障碍物。碰撞预测模块110b预测潜在碰撞的方式以及决策模块110c采取避免潜在碰撞的行动的方式可以依据自主车辆领域已知的任何方法或系统。

决策模块110c可以通过致动控制车辆100的方向和速度的一个或多个致动器112来控制车辆的轨迹。例如，致动器112可以包括转向致动器114a、加速致动器114b和制动致动器114c。致动器114a-114c的配置可以根据自主车辆领域已知的这些致动器的任何实施方式。

在本文公开的实施例中，自主操作模块108可以执行到指定位置的自主导航、自主停车和本领域已知的其他自动驾驶活动。

自主操作模块108还可以包括根据本文公开的方法评估车辆100的内部状态的内部模块110d。内部模块110d可以评估一个或多个内部传感器116的输出。内部传感器116可以包括一个或多个摄像机118a，即诸如静止图像或视频摄像机的可见光摄像机。内部传感器116还可以包括一个或多个红外(IR)摄像机118b、一个或多个湿度传感器118c、电化学传感器118d、和电子温度计118e。

如图1B所示，可以将一个或多个摄像机118a定位并且定向在车辆中，以在摄像机118a中的至少一个的视野中具有所有的座椅表面(座椅底座和座椅靠背)。车辆内部的其他区域也可以在摄像机118a中的至少一个的视野中。

一个或多个IR摄像机118b可以被定位并且定向在车辆中，以在IR摄像机118b中的至少一个的视野中具有所有的座椅表面(座椅底座和座椅靠背)。车辆内部的其他区域也可以在IR摄像机118b中的至少一个的视野中。

湿度传感器118c、电化学传感器118d、和温度计118e可以被定位在车辆内部的任何位置处。为了更容易地检测到泄漏，湿度传感器118c可以嵌入车辆的座椅中。替代地，湿度传感器118c可以安装在内部的车顶或其他地方上。电化学传感器118d和温度计118e可以安装在内部的车顶或其他地方上。

电化学传感器118d可以包括本领域已知的任何电化学传感器，并且可以使用本领域已知的任何电化学传感器来检测各种有机成分、挥发性化学品和任何其它可感测到的化学品。

控制器102可以诸如通过网络122与服务器120进行数据通信，该网络122可以包括任何有线或无线网络连接，包括蜂窝数据网络连接。本文公开的方法可以由服务器120、控制器102或两者的组合来实施。

服务器系统120可以集结或访问数据库124。数据库可以包括行程数据128。行程数据128可以包括针对由容纳控制器102的自主车辆执行的每次行程所捕获的内部传感器116的输出130a，即每次车辆导航至接载地点以接载一个或多个乘客，并且然后在目的地放下乘客。行程数据128可以包括在接载之前和放下之后以及可选地在运送期间捕获的传感器输出130a。在一些实施例中，为了保护乘客隐私，行程的行程数据128仅包括在接载之前和放下之后捕获的输出130a。

行程数据128还可以包括由人做出的车辆内部的评估130b，人例如是在行程之后使用车辆的下一乘客、在行程之后立即清洁车辆的清洁工、调度员、或在行程之后立即执行对车辆内部的评估的其他工作人员。评估可以是二进制分数(可接受的/不可接受的)、问题列表(找到的物品、玷污区域列表、检测到的气味等)。

数据库124还可以储存根据行程数据128训练的机器学习模型132。机器学习模型132可以是深层神经网络、决策树、聚类，贝叶斯网络(Bayesian network)、或其他类型的机器学习模型。

例如，可以使用每个行程数据记录128作为训练数据点来训练状态分类模型134a，其中之前和之后传感器输出130a是输入，并且评估130b是期望的输出。然后可以对状态分类模型134a进行训练，以为给定的一组之前和之后传感器输出提供估计的评估(例如，可接受的、不可接受的、状态等级等)。

在一些实施例中，机器学习模型132还可以包括识别图像中的物体的物体分类模型134b。这种模型132可以通过来自摄像机118a的输出的输入图像和在评估130b中识别的物品列表来进行训练，以将这些输出作为期望的输出。

图2是示出示例性计算装置200的框图。计算装置200可以用于执行各种过程，例如本文所讨论的过程。控制器102和服务器系统120可以具有计算装置200的一些或全部属性。

计算装置200包括一个或多个处理器202、一个或多个存储装置204、一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(I/O)装置210和显示装置230，所有这些装置都连接至总线212。处理器202包括执行储存在存储装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202还可以包括各种类型的计算机可读介质，例如高速缓冲存储器。

存储装置204包括各种计算机存储介质，例如易失性存储器(例如，随机存取存储器(RAM)214)和/或非易失性存储器(例如，只读存储器(ROM)216))。存储装置204还可以包括诸如闪速存储器的可重写ROM。

大容量存储装置208包括各种计算机存储介质，例如磁带、磁盘、光盘、固态存储器(例如闪速存储器)等等。如图2所示，特指的大容量存储装置是硬盘驱动器224。各种驱动器也可以包括在大容量存储装置208中，以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储装置208包括可移动介质226和/或不可移动介质。

I/O装置210包括允许将数据和/或其他信息输入到计算装置200或从计算装置200中检索数据和/或其他信息的各种设备。示例性I/O装置210包括光标控制装置、键盘、按键、麦克风、监视器或其他显示装置、扬声器、打印机、网络界面卡、调制解调器、镜头、CCD(电荷耦合器件)或其他图像捕获装置等。

显示装置230包括能向计算装置200的一个或多个用户显示信息的任何类型的装置。示例性显示装置230包括监视器、显示终端、视频投影装置等。

接口206包括允许计算装置200与其他系统、装置或计算环境交互的各种界面。示例性接口206包括任何数量的不同的网络接口220，例如与局域网络(LAN)、广域网络(WAN)、无线网络和互联网的接口。其他接口包括用户界面218和外围装置接口222。接口206还可以包括一个或多个外围接口，例如用于打印机、指示装置(鼠标、跟踪板等)、键盘等的接口。

总线212允许处理器202、存储装置204、接口206、大容量存储装置208、I/O装置210和显示装置230彼此通信，以及与连接至总线212的其他装置或部件通信。总线212表示诸如系统总线、PCI(外设部件互连标准)总线、IEEE(电气与电子工程师协会)1394总线、USB(通用串行)总线等几种类型的总线结构中的一种或多种。

为了说明的目的，程序和其他可执行程序部件在本文中被示出为独立框，但是应当理解，这种程序和部件在不同时间可以驻留在计算装置200的不同存储部件中，并且由处理器202执行。替代地，本文描述的系统和过程可以由硬件或硬件、软件和/或固件的组合来实施。例如，一个或多个专用集成电路(ASIC)可以被编程用于执行本文所述的系统和过程中的一个或多个。

参考图3，所示的方法300可以用于从内部传感器116获得数据，以评估车辆100的内部状态。方法300可以由控制器102、服务器系统120、或者在这些设备之间分开来执行。

方法300可以包括使用一个或多个摄像机118a来检测车辆内部的一个或多个初始图像302、使用一个或多个IR摄像机118b来检测一个或多个初始IR图像304、使用一个或多个湿度传感器118c来检测初始湿度306、使用电化学传感器188d来检测初始气味标志308、以及使用电子温度计118e来检测初始温度310中的一些和全部。

步骤302-310的测量可以只是在行程中接载一个或多个乘客之前进行，例如，在接载位置处一个或多个乘客进入车辆之前、在从调度区域离开之前、在清洁站处清洁或检查之后、或者在从之前行程放下乘客之后。

步骤302-310的传感器输出可以由控制器102储存，并且可以附加地或替代地被传输至服务器系统120，该服务器系统120可将这些传感器输出储存在行程数据记录128中。

然后，控制器100可以接载一个或多个乘客312，导航至目的地，并且在目的地处放下一个或多个乘客314。

然后，方法300可以包括按照与步骤302-310相同的方式检测最终图像、最终IR图像、最终湿度、最终气味标志和最终温度316-324。可以在放下一个或多个乘客314之后立即执行步骤316-324。例如，响应于在目的地停车之后检测到车辆100的一个或多个门的关闭。

步骤316-324的传感器输出可以由控制器102本地储存，并且可以附加地或替代地传输至服务器系统120。

在图4A至4C中，所示的方法400a-400c可以用于评估根据方法300获得的传感器输出。方法400a-400c可以基于在方法300的执行期间由控制器102获得的并且被传输至服务器系统120的测量值，由服务器系统120来执行。替代地，方法400a-400c可以由控制器102执行。

参考图4A，方法400a可以包括检测内部传感器116的输出是否已经发生变化402。这可以包括相对于来自步骤316-324的内部传感器的输出，评估来自步骤302-310的内部传感器的输出。对于初始和最终图像和IR图像，这可以包括比较图像和检测图像像素的变化。在之前和之后图像的总变化超过阈值的情况下可以检测到变化。例如，具有拥有不同值的多个像素的最终图像随着该多个像素超过一些区域阈值而超过一些值的阈值。可以以类似的方式确定初始和最终IR图像之间的差异。可以使用图像相似度的任何度量来确定初始和最终图像和IR图像之间是否存在显著变化。

对于湿度和温度测量值，可以比较初始和最终测量值，并将差值与阈值进行比较。如果差值超过阈值，则可以检测到变化402。

对于气味标志，在初始和最终气味标志中可以包括大量值。因此，可以检测到变化402，其中可以将初始和最终气味标志之间的每个值的平均变化与气味阈值进行比较，以确定是否已经发生变化402。

如果没有检测到变化402，那么控制器102可以使车辆行进至下一接载目的地404。

如果检测到变化402，那么方法400a可以包括：对于其中检测到变化的那些传感器输出，评估初始和最终测量值的变化是否可接受。

如图所示，如果认为最终图像(用摄像机118a或IR摄像机118b拍摄的)已经改变406，那么可以对该变化进行评估408以确定是否可接受。这可以包括在最终和可能的初始图像中识别并且分类物体(例如，垃圾和个人物品)、识别最终图像中的附加污渍或标记，或识别初始和最终图像中的其他特征。

对于IR图像，泼洒的热饮料的热特征将是可见的，尽管在可见图像(即用可见光摄像机118a拍摄的图像)中不明显。同样地，用其它液体浸湿的区域也可能由于蒸发或液体被预先冷冻而显得比周围区域更冷。

可以通过评估初始和最终可见光和IR图像之间的差异中的总和来确定初始和最终图像之间是否有变化408。例如，可以将两种类型的摄像机的初始和最终图像的像素之间的所有差异的总和与阈值进行比较，阈值对于每种类型的摄像机可能是唯一的。替代地，可以将初始和最终图像之间的差异的度量和初始和最终IR图像之间的差异的度量进行组合，并且可以将该组合的度量与单个阈值进行比较。在一些实施例中，初始和最终IR图像之间的差异可以在与初始和最终可见图像之间的差异结合之前加权。

如果超过不同类型图像的单独阈值或组合度量的阈值，则可以确定变化不是可接受的408；否则变化将被确定为是可接受的408。

可以使用图像分析领域中已知的任何技术来比较初始和最终可见光和IR图像。因此，相对于步骤408处的阈值条件，可以评估根据这些技术中的任何一个的相似度或差异度，以确定该变化是否可接受。

在一些实施例中，可以通过将这些图像输入到机器学习模型132中来确定初始和最终可见光和IR图像是否可接受，机器学习模型132被训练以提供指示图像是否指示如上面关于图1所述的可接受或不可接受的状态的输出。

如果认为图像408不可接受，那么控制器102可以使车辆100行进至最近的清洁站、调度区域或可以评估和/或修复车辆状态的其他位置410。

替代地，方法400a-400c的步骤410可以包括其他动作，例如将汽车和/或清洁者派送到车辆100的位置、将替换车辆派送到车辆100的下一接载位置、或者其他行为。

如果认为湿度已经改变大约最小量412，那么方法400a可以包括评估湿度是否可接受414。这可以包括将最终和初始湿度之间的变化相对于湿度变化阈值进行比较和/或将最终湿度与湿度阈值进行比较。如果湿度的变化和/或最终湿度超过相应的阈值中的一个，那么可以认为湿度是不可接受的414。

如果认为湿度是不可接受的414，那么控制器102可以使车辆100进行至最近的清洁站、调度区域、或可以评估和/或修复车辆状态的其他位置410。

如果认为初始和最终气味标志指示变化416，那么方法400a可以包括评估该变化是否可接受418。气味标志可能指示各种化学品或各类化学品的检测浓度。因此，气味标志是否已经改变可以包括确定这些测量浓度中的任何一个是否已经改变高于阈值的量，或者某些或所有测量的化学品的总浓度变化是否超过总变化阈值416。

同样地，认为变化是否可接受418可以包括单个化学品的浓度是否已经改变高于阈值的量，或者测量浓度的总变化是否满足总阈值。

一些化合物比其他化合物更令人不快。因此，某些化学品的阈值可能低于其他化学品的阈值。在使用总阈值的情况下，计算总变化时，某些化学品的浓度可能比其他化学品的浓度有更多的权重。对于湿度，如果绝对值超过该化学品的阈值，那么可以认为一种或多种化学品的绝对值而不是值的变化是不可接受的418。

在一些实施例中，可以通过将这些图像输入到机器学习模型132中来确定初始和最终气味标志是否可接受，机器学习模型132被训练以提供指示气味标志是否指示如上面关于图1所述的可接受或不可接受状态的输出。

如果认为最终的气味标志是不可接受的418，那么控制器102可以使车辆100行进至最近的清洁站、调度区域、或可以评估和/或修复车辆状态的其他位置410。

如果认为温度已经改变大约最小量420，那么方法400a可以包括评估温度是否可接受422。这可以包括将最终和初始温度之间的变化相对于温度变化阈值进行比较和/或将最终温度与温度阈值进行比较。如果温度的变化和/或最终温度超过相应的阈值中的一个，那么可以认为温度是不可接受的422。

如果认为温度是不可接受的422，那么控制器102可以使车辆100行进最近的清洁站、调度区域、或可以评估和/或修复车辆状态的其他位置410。

如果认为图像、湿度测量值、气味测量值和温度中没有一个是不可接受的，那么控制器102可以使车辆行进至下一接载位置。

要注意的是，湿度、气味和温度涉及车辆100内的空气的特性。因此，如果步骤414、418和422的结果是否定的，即认为是不可接受的，则方法400a可以包括打开车辆100的通风系统达一段时间，例如5分钟，或者直到步骤414、418、422的结果是肯定的。在这段时间之后，步骤414、418、422的状态可以被重新评估。如果结果仍然是否定的，则将执行步骤410。否则，将执行步骤404。

参考图4B，在替代方法400b中，步骤402-422可以按照与方法400a相同的方式执行。然而，不是自动执行步骤410，而是可以加入人的判断。例如，如果步骤408、414、418和422中的任何一个的评估的结果是否定的，即不可接受的，那么将通知传输至调度员或其他代表424。该通知可以包括用于供调度员查看的初始和最终传感器输出或其表示。然后，可以在调度员的显示装置上显示这些输出或表示。如果发现调度员426提供指示车辆的状态可接受的输入，那么执行步骤404。否则，执行步骤410。

尽管图4A和4B示出了每个内部传感器116的初始和最终输出的单独的评估，但是在其他实施例中，可以组合评估。例如，每个内部传感器116的初始和最终输出可以被输入到机器学习模型132，机器学习模型132然后输出可接受或不可接受的决策。

如本领域已知的，许多机器学习模型将输出由机器学习模型提供的输出的置信度。在一些实施例中，在该置信度低于指示需要人输入的某个阈值的情况下，可以执行步骤424。如上面关于图1所述，与作为决定的基础的传感器输出相结合的可接受性或不可接受性的调度员的每个决定变为行程数据128，然后该行程数据128用于进一步训练机器学习模型132。

参考图4C，在替代方法400c中，步骤402-422可以按照与方法400a相同的方式执行。然而，如果认为传感器输出已经改变406、412、416、420并且所有这些改变的输出被认为是可接受的408、414、418、422，那么附加步骤428可以评估初始和最终输出的总值。特别地，即使在单独地认为没有传感器输出是不可接受408、414、418、422的情况下，也可以认为总输出是不可接受的428。

例如，传感器输出，或基于传感器输出的分数可以被求和或者加权并相加以得到最终分数。然后将该分数与阈值进行比较。如果最终分数超过阈值，那么可以执行步骤410。否则，执行步骤404。

可以通过按照与如上面关于图4A和4B所述的相同的方式将传感器输出输入到机器学习模型132来执行评估428。

参考图5，如上所述，机器学习模型132可以包括物体分类模型134b。该物体分类模型134b可以用于识别需要移除的车辆中的垃圾、污渍等。然而，物体分类模型134b也可以被训练以识别私人物品，例如手提包、钱包、手机、珠宝等。

因此，图5的方法500可以与方法400a-400c中的任何一个组合来执行，以便确定乘客是否留下个人物品。

方法500可以包括比较初始和最终图像502，比较初始和最终图像502可以包括比较初始和最终可见图像以及可能的初始和最终IR图像，并且确定是否在初始和最终图像之间存在显著变化504。这可以按照与上述步骤406相同的方式来执行。

如果认为已经检测到变化504，则方法500可以包括通过将图像输入到物体分类模型134b来检测物体506和分类物体508。如果认为一个或多个检测到的物体的分类是个人物品(手机、手提包、钱包、首饰，衣服等)510，则生成警报512。生成警报512可以包括将通知传输至一个或两个最近的乘客和调度员。步骤512可以包括将车辆驾驶至可以为乘客取回和保存个人物品的清洁站。

在上述公开中，已经参考了构成本发明的一部分的附图，并且在附图中通过图示的方式示出了可以实施本公开的具体实施方式。应当理解，在不脱离本公开的范围的情况下，可以使用其他实施方式并且可以改变结构。说明书中参考“一个实施例”、“实施例”、“示例性实施例”等，表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括特定的特征、结构或特性。此外，这样的语句不一定指代相同的实施例。另外，当结合实施例描述特定的特征、结构或特性时，认为结合不管是否明确描述的其他实施例来影响这些的特征、结构或特性是在本领域技术人员的知识范围内。

本发明所公开的系统、设备和方法的实施方式可以包含或利用包括计算机硬件的专用或通用计算机，例如，比如，本发明所讨论的一个或多个处理器和系统存储器。在本公开的范围内的实施方式还可以包括用于运载或储存计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。储存计算机可执行指令的计算机可读介质是计算机存储介质(装置)。运载计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制，本公开的实施方式可以包含至少两种明显不同的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、CD-ROM(只读光盘)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储装置、或者可以用于存储计算机可执行指令或数据结构的形式的所需的程序代码并且可以由通用或专用计算机访问的任何其他介质。

本发明所公开的设备系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合中的一个)传输或提供给计算机时，计算机将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，传输介质可以用于以计算机可执行指令或数据结构的形式运载计算机可执行指令或数据结构的形式的期望的程序代码，并且可以由通用或专用计算机访问。

计算机可执行指令包含，例如，在处理器执行时使通用计算机、专用计算机或专用处理装置来执行某个功能或功能组的指令和数据。计算机可执行指令可以是，例如，二进制文件、诸如汇编语言的中间格式指令、或者甚至是源代码。虽然主题已经用特定于结构特征和/或方法动作的语言描述，但是应当理解，所附权利请求中限定的主题不一定限于上述所描述的特征或行为。更确切地说，所描述的特征和行为被公开为实现权利请求的示例性形式。

本领域技术人员将理解，可以在具有许多类型的计算机系统配置的网络计算环境中实施本公开，包括内联车辆计算机、个人计算机、台式计算机、便携计算机、消息处理器、手提式装置、多处理器系统、基于微处理器或可编程的消费性电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(掌上电脑)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储装置二者中。

此外，在适当的情况下，本发明所描述的功能可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行。例如，一个或多个专用集成电路(ASIC)可以被编程用于执行本发明所描述的系统和过程中的一个或多个。在整个说明书和权利要求书中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以由不同的名称指代。本文档不打算区分名称不同而非功能不同的部件。

应当注意，上述传感器实施例可以包含计算机硬件、软件、固件或其任何组合来执行其功能的至少一部分。例如，传感器可以包括被配置用于在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电子电路。这些示例性装置设置在本发明中的目的是说明，并不旨在限制。本公开的实施例可以在相关领域的技术人员已知的更多类型的设备中实施。

本公开的至少一些实施例已经针对包含储存在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。这样的软件当在一个或多个数据处理装置中执行时，使装置如本文所述地运行。

虽然上面已经描述了本公开的各种实施例，但是应当理解，它们仅仅是作为示例而非限制来提出的。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的广度和范围不应该由上述示例性实施例中的任何一个来限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的提出了前面的描述。它不是穷举的，也不是将本公开限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，前述的替代性的实施方式可用于期望形成本发明的另外的混合实施例的任何组合。

Claims

1.一种用于车辆的系统，包含：

多个传感器，所述多个传感器各自感测所述车辆的内部的不同特性；

控制器，所述控制器被连接至所述多个内部传感器，并且被编程用于进行以下操作：

接收所述多个传感器的第一输出；

在所述第一输出之后接收所述多个传感器的第二输出；和

如果所述第二输出和所述第一输出之间的总变化满足阈值条件，

则请求清洁所述内部。

2.根据权利要求1所述的系统，其中所述多个传感器包括可见光摄像机、红外(IR)摄像机和电化学传感器中的至少一种。

3.根据权利要求2所述的系统，其中所述多个传感器包括湿度传感器。

4.根据权利要求3所述的系统，其中所述阈值条件是第一阈值条件，并且所述控制器被配置用于如果发生以下情况中的至少一种，则请求清洁所述内部：

(a)所述第二输出与所述第一输出之间的所述总变化满足所述第一阈值条件；和

(b)所述摄像机、所述红外摄像机、所述电化学传感器和所述湿度传感器中的任何一种的所述第一输出和所述第二输出之间的变化满足相应的阈值条件。

5.根据权利要求3所述的系统，其中所述控制器还被编程用于：如果所述电化学传感器和所述湿度传感器中的至少一种的所述第一输出和所述第二输出之间的变化满足相应的阈值条件，则进行以下操作：

激活所述车辆的通风系统；

再次测量所述电化学传感器和所述湿度传感器中的所述至少一种的输出；和

如果所述电化学传感器和所述湿度传感器中的所述至少一种的所述输出仍然满足所述相应的阈值条件，则请求清洁所述内部。

6.根据权利要求3所述的系统，其中所述控制器被编程用于通过将所述第一输出和所述第二输出输入到机器学习模型中来确定所述第二输出和所述第一输出之间的所述总变化是否满足所述阈值条件。

7.根据权利要求1所述的系统，其中所述控制器被编程用于请求清洁所述内部，请求清洁所述内部包含将所述车辆自主地驾驶至清洁站。

8.根据权利要求7所述的系统，其中所述控制器被编程用于：如果所述第二输出和所述第一输出之间的所述总变化不满足所述阈值条件，则将所述车辆自主地驾驶至接载位置而不必先将所述车辆自主地驾驶至任何清洁站。

9.一种用于评估车辆的方法，所述方法包含：

提供各自感测所述车辆的内部的不同特性的多个传感器；

由连接至所述多个内部传感器的控制器接收来自所述多个内部传感器的第一输出；

在乘客在所述车辆中的行程之后，由所述控制器接收来自所述多个传感器的第二输出；

由所述控制器确定所述第二输出与所述第一输出之间的总变化满足阈值条件；

响应于确定所述第二输出和所述第一输出之间的所述总变化满足所述阈值条件，而由所述控制器请求清洁所述内部。

10.根据权利要求9所述的方法，其中所述多个传感器包括可见光摄像机、红外(IR)摄像机、电化学传感器和湿度传感器中的至少一种。

11.根据权利要求10所述的方法，其中所述阈值条件是第一阈值条件；

其中所述方法还包含：

由所述控制器接收所述多个传感器的第三输出；

在接收到所述第三输出之后，由所述控制器接收所述多个传感器的第四输出；

由所述控制器确定所述摄像机、所述红外摄像机、所述电化学传感器和所述湿度传感器中的任何一种的所述第三输出和所述第四输出之间的变化满足相应的阈值条件；

响应于确定所述摄像机、所述红外摄像机、所述电化学传感器和所述湿度传感器中的任何一种的所述第三输出和所述第四输出之间的所述变化满足所述相应的阈值条件，由所述控制器请求清洁所述内部。

12.根据权利要求10所述的方法，还包含：

确定所述电化学传感器和所述湿度传感器中的至少一种的输出满足相应的阈值条件；

响应于确定所述电化学传感器和所述湿度传感器中的至少一种的所述输出满足所述相应的阈值条件，进行以下操作：

由所述控制器激活所述车辆的通风系统；

由所述控制器再次测量所述电化学传感器和所述湿度传感器中的所述至少一种的所述输出；和

由所述控制器确定所述电化学传感器和所述湿度传感器中的所述至少一种的所述输出仍然满足所述相应的阈值条件；和

响应于确定所述电化学传感器和所述湿度传感器中的所述至少一种的所述输出仍然满足所述相应的阈值条件，而请求清洁所述内部。

13.根据权利要求10所述的方法，还包含通过将所述第一输出和所述第二输出输入到机器学习模型中来确定所述第二输出与所述第一输出之间的所述总变化满足所述阈值条件。

14.根据权利要求9所述的方法，其中请求清洁所述内部包括将所述车辆自主地驾驶至清洁站。

15.根据权利要求14所述的方法，还包含：

由所述控制器接收所述多个传感器的第三输出；

由所述控制器确定所述第三输出与所述第四输出之间的总变化不满足阈值条件；和

响应于确定所述第三输出和所述第四输出之间的所述总变化不满足所述阈值条件，由所述控制器将所述车辆自主地驾驶至接载位置而不将所述车辆驾驶至任何清洁站。