CN108805026A - 用于检测和分类与车辆相关联的对象的方法和设备 - Google Patents

Abstract

提供了一种用于检测和分类与车辆相关联的对象的方法和设备。该方法包括捕获车辆的驾驶室的第一图像和第二图像；将第一图像和第二图像分割成多个区域；将第一图像的第一区域与第二图像的第二区域进行比较；响应于检测到第二区域与第一区域之间的差异，对第二区域与第一区域之间的差异中存在的对象进行分类并标记所分类的对象；以及向车辆的乘员和车辆的操作员中的至少一个提供所分类的对象的通知。

Description

用于检测和分类与车辆相关联的对象的方法和设备

引言

与示例性实施例一致的设备和方法涉及基于图像的对象识别。更具体地，与示例性实施例一致的设备和方法涉及检测车辆驾驶室的图像中的对象。

发明内容

一个或多个示例性实施例提供了一种比较车辆内部的图像以确定是否发生改变的方法和设备。更具体地，一个或多个示例性实施例提供了一种分割车辆的区域的图像、比较所分割图像的区域以确定是否发生了改变并且向车辆或车队的操作员通知图像的变化的方法和设备。该方法和设备可用于提供车辆损坏的通知或者对象留在车辆中的通知。

根据示例性实施例的一个方面，提供了一种用于检测和分类与车辆相关联的对象的方法。该方法包括：捕获车辆的驾驶室的第一图像和第二图像；将第一图像和第二图像分割成多个区域；将第一图像的第一区域与第二图像的第二区域进行比较，第二图像的第二区域对应于第一图像中的第一区域中的位置；响应于检测到第二区域与第一区域之间的差异，对第二区域与第一区域之间的差异中存在的对象进行分类并标记所分类的对象；以及向车辆的乘员和车辆的操作员中的至少一个提供所分类的对象的通知。

可在乘员进入车辆之前执行捕获驾驶室的第一图像，并且可在乘员离开车辆之后执行捕获驾驶室的第二图像。

该方法可进一步包括从车辆的操作员接收输入以重新标记所分类的对象；以及基于所接收的输入对第二区域与第一区域之间的差异中存在的对象进行重新分类。

多个区域可包括前排乘客座椅、前排驾驶员侧、左后排座椅、右后排座椅、后排座椅区域、前排乘客底板、前排驾驶员底板、左后排底板、右后排底板、后排底板、仪表板、杯架、中央控制台、行李箱区域和靠近后窗的表面中的两个或更多个区域。

提供所检测到的差异的通知可包括将关于第二图像或所分类的对象的信息传输到操作员。

捕获车辆的驾驶室的第一图像和第二图像可由相机执行。

比较第一图像的第一区域与第二图像的第二区域可包括检测第二区域与第一区域之间的差异中的像素值的变化。

对第二区域与第一区域之间的差异中存在的对象进行分类可包括将对象的图像与存储在数据库中的对象的图像进行比较并且根据存储在数据库中与对象的图像最接近的图像的分类来对该对象进行分类。

对第二区域与第一区域之间的差异中存在的对象进行分类可包括通过执行边缘匹配、灰度匹配和梯度匹配中的至少一个来识别对象。

根据示例性实施例的方面，提供了一种检测和分类与车辆相关联的对象的设备。该设备包括至少一个存储器，其包括计算机可执行指令；以及至少一个处理器，其配置为读取并执行计算机可执行指令。计算机可执行指令使至少一个处理器捕获车辆的区域的第一图像和第二图像；将第一图像和第二图像分割成多个区域；将第一图像的第一区域与第二图像的第二区域进行比较，第二图像的第二区域对应于第一图像中的第一区域；响应于检测到第二区域与第一区域之间的差异，对第二区域与第一区域之间的差异中存在的对象进行分类并标记所分类的对象；以及向车辆的乘员和车辆的操作员中的至少一个提供所分类的对象的通知。

计算机可执行指令可使至少一个处理器在乘员进入车辆之前捕获第一图像并且在乘员离开车辆之后捕获第二图像。

计算机可执行指令可使至少一个处理器从车辆的操作员接收输入以重新标记所分类的对象；并且基于所接收的输入对第二区域与第一区域之间的差异中存在的对象进行重新分类。

多个区域可包括前排乘客座椅、前排驾驶员侧、左后排座椅、右后排座椅、后排座椅区域、前排乘客底板、前排驾驶员底板、左后排底板、右后排底板、后排底板、仪表板、杯架、中央控制台、行李箱区域和靠近后窗的表面中的两个或更多个区域。

计算机可执行指令可进一步使至少一个处理器通过将关于第二图像或所分类的对象的信息传输到操作员来提供检测到的差异的通知。

该设备可进一步包括被安装在车辆中的相机。计算机可执行指令还可使至少一个处理器控制相机以捕获第一图像和第二图像。

计算机可执行指令可进一步使至少一个处理器通过检测第二区域与第一区域之间的差异中的像素值的变化来将第一图像的第一区域与第二图像的第二区域进行比较。

计算机可执行指令可进一步使至少一个处理器通过将对象的图像与存储在数据库中的对象的图像进行比较并且根据存储在数据库中与对象的图像最接近的图像的分类来对该对象进行分类来对第二区域与第一区域之间的差异中存在的对象进行分类。

计算机可执行指令可进一步使至少一个处理器通过执行边缘匹配、灰度匹配和梯度匹配中的至少一个来识别对象以对第二区域与第一区域之间的差异中存在的对象进行分类。

根据示例性实施例的方面，提供了一种包括计算机可读指令的非暂时性计算机可读介质。计算机可读指令可由计算机执行以执行包括以下项的方法：接收车辆的驾驶室的第一图像和第二图像；将第一图像和第二图像分割成多个区域；将第一图像的第一区域与第二图像的第二区域进行比较，第二图像的第二区域对应于第一图像中的第一区域；响应于检测到第二区域与第一区域之间的差异，对第二区域与第一区域之间的差异中存在的对象进行分类并标记所分类的对象；以及向车辆的乘员和车辆的操作员中的至少一个提供所分类的对象的通知。

从示例性实施例的以下详细描述和附图，示例性实施例的其它目的、优点和新颖特征将变得更加明显。

附图说明

图1示出了根据示例性实施例的检测和分类与车辆相关联的对象的设备的框图；

图2示出了根据示例性实施例的用于检测和分类与车辆相关联的对象的方法的流程图；并且

图3示出了根据示例性实施例的一个方面的将图像分割成区域以实施对象检测的图示；并且

图4示出了根据示例性实施例的一个方面的能够提供所分类的对象的通知的系统。

具体实施方式

现在将参考附图中的图1到4详细描述检测和分类与车辆相关联的对象的设备和方法，其中相同的附图标记始终指代相同的元件。

以下公开内容将使得本领域技术人员能够实践发明概念。然而，本文所公开的示例性实施例仅仅是示例性的并且不会将发明概念限于本文所述的示例性实施例。另外，每个示例性实施例的特征或方面的描述应通常视为对于其它示例性实施例的方面而言是可用的。

还应理解的是，当本文陈述第一元件“连接到”、“附接到”第二元件、“形成在第二元件上”或“设置在第二元件上”时，除非陈述第一元件“直接”连接到、附接到第二元件、直接形成在第二元件上或直接设置在第二元件上，否则第一元件可直接连接到第二元件、直接形成在第二元件上或直接设置在第二元件上，或者第一元件与第二元件之间可存在介入元件。另外，如果第一元件配置为从第二元件“发送”或“接收”信息，则除非第一元件被指示为“直接”发送信息到第二元件或直接从第二元件接收信息，否则第一元件可直接发送信息到第二元件或直接从第二元件接收信息、经由总线发送或接收信息、经由网络发送或接收信息或者经由中间元件发送或接收信息。

在整个公开内容中，所公开的一个或多个元件可以组合到单个装置中或组合到一个或多个装置中。另外，单个元件可被设置在单独装置上。

车辆配备有能够检测车辆中和周围的环境的状况的传感器。传感器提供关于环境中存在的状况的信息，并且该信息可用于控制车辆或辅助车辆的操作员。一个上述传感器(例如，相机)可配置为检测车辆中的对象、人员和/或变化。例如，由相机获取的图像可由操作员使用来识别对象、人员和/或车辆的变化。

识别变化的一种方法是比较在不同时间点获取的车辆的图像。然而，由于车辆的某些区域在检测车辆中的对象或人员或者检测车辆的其它特征方面比其它区域更重要，所以该方法可能并不高效。在一个示例中，由相机获取的图像可被分割成区域，并且仅被识别为对执行对象、人员或变化识别至关重要的那些区域可被分析以识别该区域中的对象、人员或变化。在另一个示例中，可对区域排序并且基于排序对区域进行搜索以识别区域中的对象、人员或变化。

图1示出了根据示例性实施例的检测和分类与车辆100相关联的对象的设备的框图。如图1中所示，根据示例性实施例的检测和分类与车辆100相关联的对象的设备包括控制器101、电源102、存储装置103、输出104、用户输入106、对象检测传感器107和通信装置108。然而，检测和分类与车辆100相关联的对象的设备不限于上述配置，并且可配置为包括附加元件和/或省略一个或多个前述元件。检测和分类与车辆100相关联的对象的设备可被实施为车辆的一部分、被实施为独立部件、被实施为在车载装置与车外装置之间的混合装置或者在另一个计算装置中实施。

控制器101控制检测和分类与车辆100相关联的对象的设备的整体操作和功能。控制器101可控制检测和分类与车辆100相关联的对象的设备的存储装置103、输出104、用户输入106、对象检测传感器107以及通信装置108中的一个或多个。控制器101可包括处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路中的一者或多者，以及硬件、软件和固件部件的组合。

控制器101配置为从检测和分类与车辆100相关联的对象的设备的存储装置103、输出104、用户输入106、对象检测传感器107以及通信装置108中的一个或多个发送和/或接收信息。该信息可经由总线或网络发送和接收，或者可直接写入到检测和分类与车辆100相关联的对象的设备的存储装置103、输出104、用户输入106、对象检测传感器107以及通信装置108中的一个或多个/从其中读取。合适的网络连接的示例包括控制器区域网络(CAN)、媒体导向系统转移(MOST)、本地互连网络(LIN)、局域网(LAN)、诸如蓝牙和802.11等无线网络以及诸如以太网等其它适当的连接。

电源102可对检测和分类与车辆100相关联的对象的设备的控制器101、存储装置103、输出104、用户输入106、对象检测传感器107以及通信装置108中的一个或多个供电。电源102可包括电池、插座、电容器、太阳能电池、发电机、风能装置、交流发电机等中的一个或多个。

存储装置103配置用于存储由检测和分类与车辆100相关联的对象的设备使用的信息并检索该信息。存储装置103可由控制器101控制以存储和检索从控制器101、对象检测传感器107和/或通信装置108接收的信息。该信息可包括关于由对象检测传感器107获取的图像的信息和/或包括关于对象或特征的用于识别由对象检测传感器107获取的图像中的对象或特征的分类信息的数据库。存储装置103还可包括配置为由处理器执行以执行检测和分类与车辆100相关联的对象的设备的功能的计算机指令。

存储装置103可包括以下项当中的一项或多项：软盘、光盘、CD-ROM(光盘-只读存储器)、磁光盘，ROM(只读存储器)、RAM(随机存取存储器)，EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪速存储器、高速缓存存储器和适用于存储机器可执行指令的其它类型的介质/机器可读介质。

输出104以一种或多种形式输出信息，包括：视觉、听觉和/或触觉形式。输出104可由控制器101控制以向检测和分类与车辆100相关联的对象的设备的用户提供输出。输出104可包括以下项当中的一项或多项：扬声器、音频装置、显示器、位于中心的显示器、平视显示器、挡风玻璃显示器、触觉反馈装置、振动装置、触知反馈装置、触摸反馈装置、全息显示器、仪表灯、指示灯等。

输出104可输出通知，其包括可听通知、光通知和显示通知当中的一项或多项。通知可指示对象留在车辆中、人员在车内、车辆特征的变化和/或关于检测到的对象和/或特征的识别或分类信息。

用户输入106配置为向检测和分类与车辆100相关联的对象的设备提供信息和命令。用户输入106可用于向控制器101提供用户输入等。用户输入106可包括以下项当中的一项或多项：触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、相机、触控板、鼠标、触摸板等。用户输入106可配置为接收用户输入以确认或不接受输出104输出的通知。

对象检测传感器107可包括多个传感器中的一项或多项，包括相机、激光传感器、超声波传感器、红外相机、LIDAR、雷达传感器、超短程雷达传感器、超宽带雷达传感器和微波传感器。根据一个示例，对象检测传感器107可为被设置在车辆中和周围的一个或多个相机。例如，相机可被设置在车辆顶棚、车辆的后视镜、车辆的侧视镜、车辆的中央高置停车灯、车辆的后视镜、车辆的行李箱中、车辆的发动机罩下、车辆的顶部上、车辆的圆顶灯、车辆的仪表板、车辆的中央控制台上等等。

通信装置108可由检测和分类与车辆100相关联的对象的设备使用来根据各种通信方法与各种类型的外部装置进行通信。通信装置108可用于发送/接收关于由对象检测传感器107获取的图像的信息和/或包括关于对象或特征的用于识别由对象检测传感器107获取的图像中的对象或特征的分类信息的数据库。通信装置108还可用于向/从检测和分类与车辆100相关联的对象的设备的控制器101接收关于由对象检测传感器107获取的图像的信息和/或包括关于对象或特征的用于识别由对象检测传感器107获取的图像中的对象或特征的分类信息的数据库。

通信装置108可包括诸如以下项当中的一者或多者的各种通信模块：远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收机、有线通信模块或无线通信模块。广播接收模块可包括地面广播接收模块，其包括用于接收地面广播信号的天线、解调器和均衡器等。NFC模块是根据NFC方法与位于附近距离的外部设备进行通信的模块。GPS接收机是从GPS卫星接收GPS信号并且检测当前位置的模块。有线通信模块可为通过诸如局域网、控制器区域网(CAN)或外部网络等有线网络接收信息的模块。无线通信模块是通过使用诸如IEEE 802.11协议、Wi-Fi或IEEE通信协议等无线通信协议连接至外部网络并且与外部网络进行通信的模块。无线通信模块可进一步包括移动通信模块，其接入移动通信网络并且实施根据各种移动通信标准(诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee)的通信。

根据示例性实施例，检测和分类与车辆100相关联的对象的设备的控制器101可配置为捕获车辆的区域的第一图像和第二图像。例如，车辆的区域可为车辆的驾驶室。检测和分类与车辆100相关联的对象的设备然后可配置为将第一图像和第二图像分割成多个区域；将第一图像的第一区域与第二图像的第二区域进行比较，第二图像的第二区域对应于第一图像中的第一区域；响应于检测到第二区域与第一区域之间的差异，对第二区域与第一区域之间的差异中存在的对象进行分类并标记所分类的对象；以及向车辆的乘员和车辆的操作员中的至少一个提供所分类的对象的通知。

根据示例，第一区域可对应于车辆中的位置，并且第二区域可对应于除了第二区域的图像在与第一区域的图像不同的时间点获取之外与第一区域对应的相同位置。

检测和分类与车辆100相关联的对象的设备的控制器101可配置为在乘员进入车辆之前捕获该区域的第一图像。检测和分类与车辆100相关联的对象的设备的控制器101可配置为在乘员进入车辆之后捕获驾驶室的第二图像。例如，第一图像可在乘坐共享服务中搭乘乘客之前被捕获，并且第二图像可在乘客离开车辆之后被捕获。

该图像可为与进入和离开车辆的乘员或乘客相关联的区域。例如，第一图像和第二图像的区域可对应于由进入/离开车辆的乘客所占据的区域，或者可对应于由乘员访问的区域，诸如行李箱、手套箱、后排座椅等。根据另一个示例，图像可被分割成对应于进入/离开车辆的乘客或乘员的一个或多个区域或者对应于由进入/离开车辆的乘客或乘员访问的区域，诸如行李箱、手套箱、后排座椅。

这些区域可包括前排乘客座椅、前排驾驶员侧、左后排座椅、右后排座椅、后排座椅区域、前排乘客底板、前排驾驶员底板、左后排底板、右后排底板、后排底板、仪表板、杯架、中央控制台、行李箱区域和靠近后窗的表面中的一个或多个。

检测和分类与车辆100相关联的对象的设备的控制器101可配置为从车辆的操作员接收输入以重新标记所分类的对象，并且基于所接收到的输入对第二区域与第一区域之间的差异中存在的对象进行重新分类。操作员可接收通过在检测到图像之间的差异之后在第二图像上实施对象检测而确定的对象或特征的分类或识别。然后操作员可确认分类或识别，或者根据需要从远程计算机对它进行修订。

检测和分类与车辆100相关联的对象的设备的控制器101可配置为通过向操作员传输关于第二图像或所分类的对象的信息来提供检测到的差异的通知。例如，操作员可被通知差异，并且操作员可查看该差异的图像，以对这两个图像之间的差异中的对象或特征进行分类。该对象或特征可为遗忘的物品或车辆损坏。

检测和分类与车辆100相关联的对象的设备的控制器101可配置为通过检测第二区域与第一区域之间的差异中的像素值的变化来将第一图像的第一区域与第二图像的第二区域进行比较。另外，检测和分类与车辆100相关联的对象的设备的控制器101可配置为通过将对象的图像与存储在数据库中的对象的图像进行比较并且根据存储在数据库中与对象的图像最接近的图像的分类来对该对象进行分类以对第二区域与第一区域之间的差异中存在的对象进行分类。

检测和分类与车辆100相关联的对象的设备的控制器101可配置为以关于感兴趣区域的信息来训练分类器。可为每个分割的区域提供一个或多个分类器，使得存在多个分类器。另外，每个分类器可包括或可为神经网络分类器、最近邻分类器、决策树分类器或支持向量机分类器。

检测和分类与车辆100相关联的对象的设备的控制器101可配置为通过执行边缘匹配、灰度匹配和梯度匹配中的至少一个识别对象来对第二区域与第一区域之间的差异中存在的对象进行分类。

图2示出了根据示例性实施例的用于检测和分类与车辆相关联的对象的方法的流程图。图2的方法可由检测和分类与车辆100相关联的对象的设备执行，或者可被编码到计算机可读介质中作为可由计算机执行以执行该方法的指令。

参考图2，在操作S210中执行捕获车辆的区域的第一图像和第二图像。第一和第二图像可为由相同的相机或对车辆的相同区域获取但是在不同的时间点获取的图像。在操作S220中，将第一和第二图像分隔成多个区域。在操作S230中将第一图像的第一区域与第二图像的第二区域进行比较。在这种情况下，第一区域和第二区域是不同图像的相同区域或者是彼此对应但是从不同图像获取的区域。

在操作S240和S250中，分析区域以确定是否在第一图像与第二图像之间检测到差异。如果在第一图像与第二图像之间检测到差异(操作S250-是)，则在操作S260中执行对第二区域与第一区域之间的检测到的差异中存在的对象或特征进行分类并标记所分类的对象，并且然后在操作S270中将所分类的对象或特征的通知发送给车辆或车队的操作员。否则，如果在第一和第二图像的对应区域中不存在差异(操作S250-否)，则该过程结束。

图3示出了根据示例性实施例的方面的将图像分割成区域以实施对象检测的图示。参考图3，示出了由车辆顶篷中的相机获取的图像300。

图像被分成多个区域，这些区域被识别为可检测到感兴趣的特征或对象的位置。在该示例中，第一区域301是驾驶员座椅，第二区域302是前排乘客座椅，第三区域303是前排乘客侧底板，并且第四区域304是后排座椅。图3中所示的图示仅仅是示例，并且图像可被分割成其它感兴趣的区域。

在另一个示例中，来自后排乘客相机、前排乘客相机和中间相机中的一个或多个的图像可被分割成区域。可针对每个区域训练分类器，并且该分类器可用于识别每个区域的第一图像(例如，乘坐前图像)与第二图像(例如，乘坐后图像)之间的差异。

图4示出了包括移动车辆通信系统410并且可用于实施用于对车辆驾驶室中的对象进行分类的设备和方法的操作环境的图示。

参考图4，图示出了包括移动车辆通信系统410并且可用于实施用于对车辆驾驶室中的对象进行分类的设备和方法的操作环境。通信系统410可包括车辆412、一个或多个无线载波系统414、陆地通信网络416、计算机418和呼叫中心420中的一个或多个。应当理解的是，用于对车辆驾驶室中的对象进行分类的所公开的设备和方法可与任何数量的不同系统结合使用，并且不具体限于此处所示的操作环境。因此，以下段落仅仅提供了针对一个这样的通信系统410的简要概述；然而，此处未示出的其它系统也可采用用于对车辆驾驶室中的对象进行分类的所公开的设备和方法。

车辆412在所说明的实施例中被描绘为客车，但是应当明白的是，也可使用包括摩托车、卡车、运动型多功能车(SUV)、娱乐车(RV)、船舶、飞机等任何其它车辆。用于对图1中所示的车辆驾驶室100中的对象进行分类的设备的一个或多个元件可被结合到车辆412中。

可与通信装置108通信的一个联网装置是无线装置，诸如智能电话457。智能电话457可包括计算机处理能力、能够使用短程无线协议458进行通信的收发器以及可视智能电话显示器459。在某些实施方案中，智能电话显示器459还包括触摸屏图形用户界面和/或能够接收GPS卫星信号并且基于那些信号产生GPS坐标的GPS模块。用于对图1中所示的车辆驾驶室100中的对象进行分类的设备的一个或多个元件可被结合到智能电话457中。

通信装置108的GPS模块可从GPS卫星群集460接收无线电信号，基于车载地图细节或通过兴趣点或地标来识别车辆的位置。通信装置108可根据这些信号确定用于向车辆驾驶员提供导航和其它位置相关服务的车辆位置。导航信息可由输出104(或车辆内的其它显示器)呈现或者可用语言呈现，诸如在提供逐向导航时这样做。可使用专用车内导航模块提供导航服务，或者可经由通信装置108进行一些或全部导航服务。可将位置信息发送到远程位置用于给车辆提供导航地图、地图注释(兴趣点、餐馆等)、路线计算等。可将位置信息供应到呼叫中心420或其它远程计算系统(诸如计算机418)，以便用于其它目的，诸如车队管理。另外，可由通信装置从呼叫中心420下载新的或更新的地图数据。在一个示例中，用于对图1中所示的车辆驾驶室100中的对象进行分类的设备可使用位置信息来指示需要修理的车辆的位置或包含遗忘对象的车辆的位置。

车辆412可包括呈电子硬件部件形式的车辆系统模块(VSM)，这些电子硬件部件位于整辆车中并且通常从一个或多个传感器接收输入并使用所感测的输入来执行诊断、监视、控制、报告和/或其它功能。每个VSM均可由通信总线连接到其它VSM以及控制器101，并且可编程为运行车辆系统和子系统诊断测试。控制器101可配置为发送和接收来自VSM的信息并且控制VSM以执行车辆功能。作为示例，一个VSM可为控制诸如燃料点火和火花正时等发动机操作的各个方面的发动机控制模块(ECM)，另一个VSM可为配置为从诸如相机、雷达、激光雷达和激光器等外部传感器接收信息的外部传感器模块，另一个VSM可为调节车辆动力系的一个或多个部件的操作的动力系控制模块，并且另一个VSM可为控制位于整辆车中的各种电部件(如车辆的电动门锁和车头灯)的车身控制模块。根据示例性实施例，发动机控制模块配备有车载诊断(OBD)特征，其提供诸如从包括车辆排放传感器等各种传感器接收的数据的多种实时数据，并且提供允许技术人员快速地识别并修复车辆内故障的一系列标准化诊断故障代码(DTC)。如本领域技术人员所明白的是，上述提及的VSM仅仅是可在车辆412中使用的一些模块的示例，因为许多其它模块也是可能的。

无线载波系统414可为蜂窝电话系统，其包括多个手机信号塔470(仅示出一个)、一个或多个移动交换中心(MSC)472以及将无线载波系统414与陆地网络416连接所需要的任何其它联网部件。每个手机信号塔470均包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器等中间设备连接到MSC 472。蜂窝系统414可实施任何合适的通信技术，包括(例如)诸如AMPS等模拟技术或诸如CDMA(例如，CDMA2000或1xEV-DO)或GSM/GPRS(例如，4G LTE)等较新数字技术。如本领域技术人员将明白的是，各种手机信号塔/基站/MSC布置是可能的并且可与无线系统414结合使用。例如，基站和手机信号塔可共同位于相同站点处或它们可远离彼此，每个基站可负责单个手机信号塔或单个基站可服务于各个手机信号塔，且各个基站可联接到单个MSC，这里仅列举几种可能布置。

除使用无线载波系统414之外，可使用呈卫星通信的形式的不同无线载波系统来提供与车辆的单向或双向通信。这可使用一个或多个通信卫星462和上行链路传输站464来进行。单向通信可为(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站464接收、封装上传并且然后发送到卫星462，从而向用户广播该节目。双向通信可为(例如)使用卫星462以在车辆412与传输站464之间中继电话通信的卫星电话服务。如果使用，那么除了或代替无线载波系统414，可利用此卫星电话。

陆地网络416可为连接到一个或多个陆线电话并且将无线载波系统414连接到呼叫中心420的常规陆基电信网络。例如，陆地网络416可包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(PSTN)。一段或多段陆地网络416可通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(WLAN))或提供宽带无线接入(BWA)的网络或其任何组合来实施。根据示例，呼叫中心420可不经由陆地网络416连接，反而可包括无线电话设备使得其可直接与无线网络(诸如无线载波系统414)通信。

计算机418可为可经由诸如因特网等专用或公共网络接入的许多计算机中的一种。每个这样的计算机418可用于一个或多个目的，诸如可由车辆经由通信装置108和无线载波414接入网络服务器。其它这样的可接入计算机418可为例如：服务中心计算机，其中可经由通信装置108从车辆上传诊断信息和其它车辆数据；由车主或其它用户使用的客户端计算机，其用于诸如存取或接收车辆数据或设置或配置用户偏好或控制车辆功能等目的；或第三方数据仓库，将车辆数据或其它信息提供到该第三方数据仓库或从该第三方数据仓库提供车辆数据或其它信息，而无关于是否与车辆412或呼叫中心420或两者进行通信。计算机418还可用于提供诸如DNS服务器或网络地址服务器等因特网连接性，该网络地址服务器使用DHCP或其它合适协议来将IP地址分配至车辆412。

呼叫中心420被设计为对车辆电子器件提供许多不同的系统后端功能，并且根据此处所示的示例性实施例，通常包括一个或多个交换机480、服务器482、数据库484、实时顾问486以及自动语音响应系统(VRS)488。这些不同的呼叫中心部件可经由有线或无线局域网490彼此联接。交换机480(其可为专用交换分机(PBX)交换机)路由传入信号使得语音传输通常由常规的电话发送到实时顾问486或使用VoIP发送到自动语音响应系统488。实时顾问电话还可使用VoIP，如图4中的虚线所指示。通过交换机480进行的VoIP和其它数据通信经由连接在交换机480与网络490之间的调制解调器(未示出)来实施。数据传输经由调制解调器传递到服务器482和/或数据库484。数据库484可存储诸如用户认证信息、车辆标识符、简档记录、行为模式、关于由对象检测传感器107获取的图像的信息、包括对象或特征的用于识别由对象检测传感器107获取的图像中的对象或特征的分类信息的数据库、关于所识别的对象或特征和对应的车辆和车辆位置的信息以及其它相关用户信息等账户信息。数据传输也可以由诸如802.11x、GPRS等无线系统进行。虽然所说明的实施例已经被描述为其将与使用实时顾问486的人工呼叫中心420结合使用，但是应当明白的是，数据中心反而可利用VRS 488作为自动顾问，或可使用VRS 488与实时顾问486的组合。数据库中的信息可能被实时顾问或服务器用于经由上述网络提供关于检测到的对象、特征、对前述车辆或智能手机的损坏的通知。

根据一个示例，实时顾问486可接收关于多个区域中的区域的分类和该区域的图像的分类信息。实时顾问486可在查看区域的图像之后确认或改变分类信息。在另一个示例中，如果区域的分类的置信度分数低于预定阈值置信度分数，则实时顾问486可接收分类信息和图像。因此，实时顾问486可在必要时修正分类信息。

本文所公开的程序、方法或算法可交付给处理装置、控制器或计算机(可包括任何现有的可编程电子控制装置或专用电子控制装置)/由其实施。类似地，该过程、方法或算法可存储为可由控制器或计算机执行的呈许多形式的数据和指令，该形式包括(但不限于)永久地存储在诸如ROM装置的不可写存储介质上的信息以及可变地存储在诸如软盘、磁带、CD、RAM装置以及其它磁性和光学介质的可写存储介质上的信息。该过程、方法或算法还可在软件可执行对象中实施。替代地，该过程、方法或算法可全部或部分使用合适的硬件部件(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其它硬件部件或装置)或硬件、软件和固件部件的组合来实施。

上文已经参考附图描述了一个或多个示例性实施例。上述示例性实施例应当认为是仅描述性意义而不是为了非限制目的。另外，在不脱离由以下权利要求书限定的发明概念的精神和范围的情况下可以修改示例性实施例。

Claims (10)

1.一种检测和分类与车辆相关联的对象的设备，所述设备包括：

至少一个存储器，其包括计算机可执行指令；以及

至少一个处理器，其配置为读取并执行所述计算机可执行指令，所述计算机可执行指令使得所述至少一个处理器：

捕获车辆的区域的第一图像和第二图像；

将所述第一图像和所述第二图像分割成多个区域；

将所述第一图像的第一区域与所述第二图像的第二区域进行比较，所述第二图像的所述第二区域对应于所述第一图像中的所述第一区域；

响应于检测到所述第二区域与所述第一区域之间的差异，对所述第二区域与所述第一区域之间的所述差异中存在的对象进行分类并标记所分类的对象；以及

向所述车辆的乘员和所述车辆的操作员中的至少一个提供所述分类的对象的通知。

2.根据权利要求1所述的设备，其中所述计算机可执行指令使所述至少一个处理器在乘员进入所述车辆之前捕获所述第一图像，并且

其中所述计算机可执行指令使所述至少一个处理器在所述乘员离开所述车辆之后捕获所述第二图像。

3.根据权利要求1所述的设备，其中所述计算机可执行指令使所述至少一个处理器：

从所述车辆的所述操作员接收输入以重新标记所述分类的对象；以及

基于所接收的输入对所述第二区域与所述第一区域之间的所述差异中存在的所述对象进行重新分类。

4.根据权利要求1所述的设备，其中所述多个区域包括前排乘客座椅、前排驾驶员侧、左后排座椅、右后排座椅、后排座椅区域、前排乘客底板、前排驾驶员底板、左后排底板、右后排底板、后排底板、仪表板、杯架、中央控制台、行李箱区域和靠近后窗的表面中的两个或更多个。

5.根据权利要求1所述的设备，其中所述计算机可执行指令进一步使所述至少一个处理器通过将关于所述第二图像或所述分类的对象的信息传输到操作员来提供检测到的差异的所述通知。

6.根据权利要求1所述的设备，进一步包括被安装在所述车辆中的相机，

其中所述计算机可执行指令进一步使所述至少一个处理器控制所述相机以捕获所述第一图像和所述第二图像。

7.根据权利要求6所述的设备，其中所述计算机可执行指令进一步使所述至少一个处理器通过检测所述第二区域与所述第一区域之间的差异中的像素值的变化来将所述第一图像的所述第一区域与所述第二图像的所述第二区域进行比较。

8.根据权利要求1所述的设备，其中所述计算机可执行指令进一步使所述至少一个处理器通过将所述对象的图像与存储在数据库中的对象的图像进行比较并且根据存储在所述数据库中与所述对象的所述图像最接近的图像的分类来对所述对象进行分类来对所述第二区域与所述第一区域之间的所述差异中存在的所述对象进行分类。

9.根据权利要求1所述的设备，其中所述计算机可执行指令进一步使所述至少一个处理器通过执行边缘匹配、灰度匹配和梯度匹配中的至少一个识别所述对象来对所述第二区域与所述第一区域之间的所述差异中存在的所述对象进行分类。

10.一种包括计算机可读指令的非暂时性计算机可读介质，所述计算机可读指令能够由计算机执行以实施包括以下步骤的方法：

接收车辆的驾驶室的第一图像和第二图像；

将所述第一图像和所述第二图像分割成多个区域；

将所述第一图像的第一区域与所述第二图像的第二区域进行比较，所述第二图像的所述第二区域对应于所述第一图像中的所述第一区域；

响应于检测到所述第二区域与所述第一区域之间的差异，对所述第二区域与所述第一区域之间的所述差异中存在的对象进行分类并标记所分类的对象；以及

向所述车辆的乘员和所述车辆的操作员中的至少一个提供所述分类的对象的通知。