CN111539243B - 用于感兴趣对象的探测中的持续改进的自动数据收集 - Google Patents

Abstract

本发明涉及用于感兴趣对象的探测中的持续改进的自动数据收集。更新车辆的识别算法的方法包括感测图像以及在图像中绘制边界框。算法试图识别每一个相应边界框内的感兴趣对象。算法还试图识别每一个相应边界框内的感兴趣对象的组成部分，并且如果组成部分被识别出，则计算组成部分边界的处于对象边界外部的排除量。当排除量大于覆盖阈值时，识别算法将图像传送到处理中心，其可以识别出图像中的先前未被识别感兴趣对象。处理中心可以将图像添加到图像的训练集，以限定图像的修正训练集，并且使用图像的修正训练集来再次训练识别算法。然后更新的识别算法可以被上传到车辆上。

Description

用于感兴趣对象的探测中的持续改进的自动数据收集

技术领域

本公开大体上涉及更新被用于识别感兴趣对象的车辆的识别算法的方法以及用于其的车辆和系统。

背景技术

许多车辆包括对象识别系统以用于探测车辆附近的感兴趣对象。对象识别系统可以使用传感器，诸如但不限于照相机，其捕捉或感测图像。识别算法可以被用于探测在感测图像中的感兴趣对象。识别算法可以被训练以使用包含感兴趣对象的一个或更多个视图或变型的图像的训练集来识别感兴趣对象。如果感测图像中的对象类似于先前在图像的训练集中的一个或更多个中被识别为感兴趣对象的对象，则识别算法可以确定在感测图像中的对象是感兴趣对象。然后车辆控制器可以基于对感兴趣对象的识别来控制车辆。

发明内容

提供了更新车辆的对象识别算法的方法。方法包括使用车辆的图像传感器来感测图像。然后可在车辆的计算装置上运行的识别算法在图像中绘制多个边界框。识别算法分析多个边界框中的每一个相应边界框以试图识别在边界框中的每一个相应边界框中的感兴趣对象和/或边界框中的每一个相应边界框中的感兴趣对象的组成部分。如果识别算法成功地在边界框中的相应一个边界框中识别出图像中的感兴趣对象，则识别算法将多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界。如果识别算法成功地在边界框中的相应一个边界框中识别出图像中的感兴趣对象的组成部分，则识别算法将多个边界框中包含感兴趣对象的被识别组成部分的相应一个边界框限定为组成部分边界。然后识别算法计算组成部分边界的排除量。排除量是组成部分边界的不被包括在对象边界中的量。当排除量等于或者大于覆盖阈值时，识别算法使用车辆的通信器将图像传送到处理中心。

在更新识别算法的方法的一个方面中，将排除量与覆盖阈值比较以确定排除量是否小于覆盖阈值，或者排除量是否等于或大于覆盖阈值。当排除量小于覆盖阈值时，识别算法不将感测图像传送到处理中心。

在更新识别算法的方法的另一方面中，当识别没有将图像传送到处理中心时，识别算法还传送与图像有关的其它车辆数据。其它车辆数据可以包括但不限于紧接在图像之前和之后的其它图像、GPS数据、车辆运行数据、雷达数据、LIDAR数据等等。

在更新识别算法的方法的另一方面中，可以在处理中心处识别出与图像中的被识别组成部分相关联的图像中的先前未被识别感兴趣对象。当在图像中识别出先前未被识别感兴趣对象时，图像在处理中心处被添加到图像的训练集以限定图像的修正训练集。然后识别算法可以使用图像的修正训练集被再次训练以辨识先前未被识别感兴趣对象以限定更新的识别算法。然后更新的识别算法可以被上传到车辆的移动计算装置上以用于未来使用。

在更新识别算法的方法的一个实施例中，当排除量等于或大于覆盖阈值时估计从车辆到图像中的被识别组成部分的分离距离。将分离距离与距离阈值比较以确定分离距离是否小于距离阈值，或者分离距离是否等于或大于距离阈值。然后当分离距离小于距离阈值时，车辆控制器可以使用预定义控制模式来控制车辆。

还提供了对象识别系统。对象识别系统包括处理中心和车辆。处理中心包括中央计算装置。车辆包括可运行成捕捉和成像的图像传感器、可运行成发送数据至处理中心和从处理中心接收数据的通信器，以及与处理中心的中央计算装置通信的移动计算装置。移动计算装置包括处理器和存储器。移动计算装置的存储器包括识别算法。移动计算装置的处理器可运行成执行识别算法以使用车辆的图像传感器来感测图像。然后在图像中绘制多个边界框。分析多个边界框中的每一个以试图识别其中的感兴趣对象。如果在多个边界框中的相应一个边界框中识别出感兴趣对象，则将多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界。进一步分析多个边界框中的每一个以试图识别其中的感兴趣对象的组成部分。如果在多个边界框中的相应一个边界框中识别出感兴趣对象的组成部分，则将多个边界框中包含感兴趣对象的被识别组成部分的相应边界框限定为组成部分边界。然后计算组成部分边界的排除量。排除量是组成部分边界的不被包括在对象边界中的量。当排除量等于或者大于覆盖阈值时，使用车辆的通信器将图像传送到处理中心。中央计算装置包括处理器和存储器，该存储器具有存储在其中的训练图像的集和训练算法。中央计算装置的处理器可运行成执行训练算法以识别在图像中的先前未被识别感兴趣对象。如果在图像中识别出先前未被识别感兴趣对象，则图像被保存在图像的训练集中以限定图像的修正训练集。然后，识别算法使用图像的修正训练集被再次训练，以限定更新的识别算法，以便识别先前未被识别感兴趣对象。更新的识别算法从处理中心处的中央计算装置上传到车辆的移动计算装置以用于未来被移动计算装置使用。

在对象识别系统的一个方面中，移动计算装置的处理器可运行成执行识别算法以比较排除量与覆盖阈值以确定排除量是否小于覆盖阈值，或者排除量等于或大于覆盖阈值。当排除量小于覆盖阈值时，识别算法不将图像传送到处理中心。

还提供了车辆。车辆包括可运行成捕捉电子格式的图像的图像传感器、可运行成发送和接收数据的通信器，以及与图像传感器和通讯器通信的移动计算装置。移动计算装置包括处理器和具有存储在其中的识别算法的存储器。处理器可运行成执行识别算法以使用车辆的图像传感器来感测图像并且在图像中绘制多个边界框。分析多个边界框中的每一个以试图识别其中的感兴趣对象。如果在多个边界框中的相应一个边界框中识别出感兴趣对象，则将多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界。分析多个边界框中的每一个以试图识别其中的感兴趣对象的组成部分。如果在多个边界框中的相应一个边界框中识别出感兴趣对象的组成部分，则将多个边界框中包含感兴趣对象的被识别组成部分的相应一个边界框限定为对象边界。然后计算组成部分边界的排除量。排除量是组成部分边界的不被包括在对象边界中的量。当排除量等于或者大于覆盖阈值时，使用车辆的通信器将图像传送到处理中心。处理器可运行成执行识别算法以进一步从处理中心接收更新的识别算法，其已经使用被传送到处理中心的图像被再次训练。

因此，本文中描述的过程提高了在车辆的移动计算装置上运行的识别算法的效率。通过识别感兴趣对象的组成部分并且比较相应组成部分边界与对象边界，识别算法可以确定组成部分边界的排除量是否大于或者小于覆盖阈值。如果组成部分边界的排除量小，即排除量小于覆盖阈值，则组成部分边界的小部分在对象边界的外部，并且识别算法可以确定被识别组成部分与被识别感兴趣对象相关联。在这种情况下不需要进一步动作。相反，如果组成部分边界的排除量大，即排除量大于覆盖阈值，则组成部分边界的大部分在对象边界的外部，并且识别算法可以确定被识别组成部分不与被识别感兴趣对象相关联。如果被识别组成部分不与被识别感兴趣对象相关联，或者如果没有识别出感兴趣对象而是识别出感兴趣对象的组成部分，则先前未被识别感兴趣对象可以存在于不可被识别算法识别的图像中。在这种情形下，当组成部分边界的排除量等于或大于覆盖阈值时，图像被传送到处理中心以用于进一步评价。处理中心的中央计算装置或者处理中心处的人员可以分析图像并识别与图像中的被识别组成部分相关联的先前未被识别感兴趣对象。如果这样，则图像可以被添加到训练图像的集以限定训练图像的修正集，并且被用于再次训练识别算法，以致下一次遇到图像中包括的先前未被识别感兴趣对象时，更新的识别算法将能够将对象识别为感兴趣对象。

由结合附图获得的用于实施教导的最佳方式的以下详细描述，本教导的以上特征和优点以及其它特征和优点容易明白。

本发明还提供了以下方案：

方案1. 一种更新车辆的对象识别算法的方法，所述方法包括：

使用所述车辆的图像传感器来感测图像；

使用能够在所述车辆的计算装置上运行的识别算法在所述图像中绘制多个边界框；

使用所述识别算法分析所述多个边界框中的每一个以试图识别其中的感兴趣对象；

使用所述识别算法将所述多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界；

使用所述识别算法分析所述多个边界框中的每一个以试图识别其中的所述感兴趣对象的组成部分；

使用所述识别算法将所述多个边界框中包含所述感兴趣对象的被识别组成部分的相应一个边界框限定为组成部分边界；

使用所述识别算法计算所述组成部分边界的排除量，其中,所述排除量是所述组成部分边界的不被包括在所述对象边界中的量；以及

当所述排除量等于或大于覆盖阈值时，使用所述车辆的通信器将所述图像传送到处理中心。

方案2. 根据方案1所述的方法，还包括:将所述排除量与所述覆盖阈值比较以确定所述排除量是否小于所述覆盖阈值,或者所述排除量是否等于或大于所述覆盖阈值。

方案3. 根据方案2所述的方法，还包括：当所述排除量小于所述覆盖阈值时不将所述图像传送到所述处理中心。

方案4. 根据方案1所述的方法，其中，将所述图像传送到所述处理中心包括传送与所述图像有关的其它车辆数据。

方案5. 根据方案1所述的方法，还包括：在所述处理中心处识别与所述图像中的所述被识别组成部分相关联的在所述图像中的先前未被识别感兴趣对象。

方案6. 根据方案5所述的方法，还包括：当在所述图像中识别出所述先前未被识别感兴趣对象时，在所述处理中心处将所述图像添加到图像的训练集以限定图像的修正训练集。

方案7. 根据方案6所述的方法，还包括：使用图像的所述修正训练集再次训练所述识别算法以限定更新的识别算法。

方案8. 根据方案7所述的方法，还包括将所述更新的识别算法上传到所述车辆的移动计算装置。

方案9. 根据方案1所述的方法，还包括：当所述排除量等于或大于所述覆盖阈值时估计从所述车辆到所述图像中的所述被识别组成部分的分离距离。

方案10. 根据方案9所述的方法，还包括：将所述分离距离与距离阈值比较以确定所述分离距离是否小于所述距离阈值，或者所述分离距离是否等于或大于所述距离阈值。

方案11. 根据方案10所述的方法，还包括：当所述分离距离小于所述距离阈值时，使用预定义控制模式来控制所述车辆。

方案12. 一种对象识别系统，包括：

包括中央计算装置的处理中心；

车辆，所述车辆包括能够运行成捕捉和成像的图像传感器、能够运行成发送数据至所述处理中心和从所述处理中心接收数据的通信器，以及与所述处理中心的所述中央计算装置通信的移动计算装置；

其中，所述移动计算装置包括处理器和存储器，其中，所述移动计算装置的所述存储器包括识别算法，并且其中，所述移动计算装置的所述处理器能够运行成执行所述识别算法以便：

使用所述车辆的所述图像传感器来感测图像；

在所述图像中绘制多个边界框；

分析所述多个边界框中的每一个以试图识别其中的感兴趣对象；

将所述多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界；

分析所述多个边界框中的每一个以试图识别其中的所述感兴趣对象的组成部分；

将所述多个边界框中包含所述感兴趣对象的被识别组成部分的相应一个边界框限定为组成部分边界；

计算所述组成部分边界的排除量，其中，所述排除量是所述组成部分边界的不被包括在所述对象边界中的量；以及

当所述排除量等于或大于覆盖阈值时，使用所述车辆的所述通信器将所述图像传送到所述处理中心；

其中，所述中央计算装置包括处理器和存储器，所述存储器具有存储在其中的训练图像的集和训练算法，其中，所述中央计算装置的所述处理器能够运行成执行所述训练算法以便：

识别所述图像中的先前未被识别感兴趣对象；

将所述图像保存在图像的训练集中以限定图像的修正训练集；

使用图像的所述修正集再次训练所述识别算法以限定更新的识别算法；以及

将所述更新的识别算法从所述处理中心处的所述中央计算装置上传到所述车辆的所述移动计算装置以用于未来被所述移动计算装置使用。

方案13. 根据方案12所述的对象识别系统，其中，所述移动计算装置的所述处理器能够运行成执行所述识别算法以比较所述排除量与所述覆盖阈值以确定所述排除量是否小于所述覆盖阈值，或者所述排除量是否等于或大于所述覆盖阈值。

方案14. 根据方案13所述的对象识别系统，其中，所述移动计算装置的所述处理器能够运行成执行所述识别算法以在所述排除量小于所述覆盖阈值时不将所述图像传送到所述处理中心。

方案15. 一种车辆，包括：

图像传感器，所述图像传感器能够运行成捕捉电子格式的图像；

通信器，所述通信器能够运行成发送和接收数据；

与所述图像传感器和所述通信器通信的移动计算装置，所述移动计算装置包括处理器和具有存储在其中的识别算法的存储器，其中，所述处理器能够运行成执行所述识别算法以便：

使用所述车辆的所述图像传感器来感测图像；

在所述图像中绘制多个边界框；

分析所述多个边界框中的每一个以试图识别其中的感兴趣对象；

将所述多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界；

分析所述多个边界框中的每一个以试图识别其中的所述感兴趣对象的组成部分；

将所述多个边界框中包含所述感兴趣对象的被识别组成部分的相应一个边界框限定为组成部分边界；

计算所述组成部分边界的排除量，其中，所述排除量是所述组成部分边界的不被包括在所述对象边界中的量；以及

当所述排除量等于或大于覆盖阈值时，使用所述车辆的所述通信器将所述图像传送到所述处理中心；以及

从所述处理中心接收更新的识别算法，其中，使用被传送到所述处理中心的所述图像再次训练所述更新的识别算法。

附图说明

图1是对象识别系统的示意性平面图。

图2是具有感兴趣对象的图像的示意性平面图。

图3是图示了训练识别算法的方法的流程图。

具体实施方式

本领域中的普通技术人员将认识到，诸如“上面”、“下面”、“向上”、“向下”、“顶部”、“底部”等等的术语被用于描述附图并且不代表对由所附权利要求限定的本公开的范围的限制。此外，在本文中可以根据功能和/或逻辑块组成部分和/或各种处理步骤来描述教导。应当意识到，这种块组成部分可以由配置为实现指定功能的许多硬件、软件和/或固件组成部分组成。

参考附图，其中贯穿多个视图，类似附图标记指示类似部件，在图1中以20大体上示出了对象识别系统。对象识别系统20被用于识别被车辆22遇到的对象。车辆22可以包括可移动平台，诸如但不限于汽车、卡车、货车、船、火车、ATV、UTV等等。对象识别系统20可以作为另一车辆系统的一部分来运行，该另一车辆系统诸如但不限于驾驶员辅助系统、半自主运行系统或者全自主运行系统。

对象识别系统20包括车辆22和处理中心24。车辆22包括计算装置26、图像传感器28和通信器29。车辆22的计算装置26可以在本文中被称为移动计算装置26。图像传感器28可以包括但不限于照相机或者能够感测、捕捉和存储数字或电子格式的图像30的其它装置。图像传感器28与移动计算装置26通信。图像传感器28将感测图像30传送到移动计算装置26。车辆22可以进一步包括将与车辆22的运行有关的数据传送到移动计算装置26的其它传感器和/或系统。例如，车辆22可以包括LIDAR系统、雷达系统、GPS系统、速度传感器、加速度计等等。

移动计算装置26可以被称为计算机、控制模块、控制单元、车辆控制器等等。移动计算装置26包括处理器32和存储器34，并且可以进一步包括软件、硬件、算法、连接件、传感器等等以用于实施车辆22上的对象识别系统20。这样，下面描述的方法可以被实施为可至少部分在移动计算装置26上运行的程序或算法。应该理解的是，移动计算装置26可以包括能够分析来自各种传感器的数据、比较数据、做出判定并执行限定的任务的装置。

移动计算装置26可以被实施为一个或多个数字计算机或主机，该一个或多个数字计算机或主机均具有一个或更多个处理器32、只读存储器（ROM）、随机存取存储器（RAM）、电可编程只读存储器（EPROM）、光驱、磁性驱动器等、高速时钟、模数（A/D）电路、数模（D/A）电路以及输入/输出（I/O）电路、I/O装置和通信接口以及信号调节和缓冲电子器件。

计算机可读存储器34可以包括参与提供数据或计算机可读指令的非暂时/有形介质。存储器34可以是非易失或易失的。非易失介质可以包括例如光盘或磁盘和其它持久存储器。示例易失介质可以包括动态随机存取存储器（DRAM），其可以构成主存储器。用于存储器的实施例的其它示例包括软盘、软磁盘或硬盘、磁带或其它磁性介质、CD-ROM、DVD和/或其它光学介质以及其它可能的存储器装置，诸如闪存。

移动计算装置26包括有形非暂时存储器34，计算机可执行指令被记录在该有形非暂时存储器34上，该指令包括识别算法36。移动计算装置26的处理器32被配置为用于执行识别算法36。识别算法36实施识别或分类对象并更新识别算法36以改善未来对象辨识的方法。

处理中心24远离车辆22定位。处理中心24可以包括一个或更多个固定位置。替代性地，处理中心24可以包括基于云的网络。处理中心24包括至少一个计算装置38。处理中心24的计算装置38可以在本文中被称为中央计算装置38。车辆22的移动计算装置26经由通信器29与中央计算装置38至少周期性通信以用于在其间传送数据。通信器29可以包括能够传输数据至车辆22和处理中心24以及从车辆22和处理中心24接收数据的装置或者系统。通信器29的具体类型和运行与本公开的教导无关，这可被本领域中的技术人员理解，并且因此在本文中不详细描述。

中央计算装置38包括处理器40和存储器42，并且可以进一步包括软件、硬件、算法、连接件、传感器等等以用于实施对象识别系统20的至少部分。如此，下面描述的方法可以被实施为可至少部分在中央计算装置38上运行的程序或算法。应该理解的是，中央计算装置38可以包括能够分析来自各种传感器的数据、比较数据、做出判定并执行限定的任务的装置。

中央计算装置38可以被实现为一个或多个数字计算机或主机，该一个或多个数字计算机或主机均具有一个或更多个处理器40、只读存储器（ROM）、随机存取存储器（RAM）、电可编程只读存储器（EPROM）、光驱、磁性驱动器等等、高速时钟、模数（A/D）电路、数模（D/A）电路以及输入/输出（I/O）电路、I/O装置和通信接口以及信号调节和缓冲电子器件。

计算机可读存储器42可以包括参与提供数据或计算机可读指令的非暂时/有形介质。存储器42可以是非易失或易失的。非易失介质可以包括例如光盘或磁盘和其它持久存储器。示例易失介质可以包括动态随机存取存储器（DRAM），其可以构成主存储器。用于存储器的实施例的其它示例包括软盘、软磁盘或硬盘、磁带或其它磁性介质、CD-ROM、DVD和/或其它光学介质以及其它可能的存储器装置，诸如闪存。

中央计算装置38包括有形非暂时存储器42，计算机可执行指令被记录在该有形非暂时存储器42上，该指令包括训练算法44。图像46的训练集45可以进一步被保存在中央计算装置38的存储器42上。中央计算装置38的处理器40被配置为用于执行训练算法44。训练算法44至少部分实施更新识别算法36以改进未来对象辨识的方法。

如上所述，对象识别系统20实施更新车辆22的被用于识别或分类对象的识别算法36的方法。参考图3，所述方法包括使用车辆22的图像传感器28来感测图像30。感测图像30的步骤在图3中大体上由框100指示。图2中最佳示出了示例性图像30。图像30获取自被设置在车辆22附近的对象和特征。图像30可以从车辆22的视角或方向来获取，诸如从向前方向、侧向方向、向后方向等等获取。捕捉的图像30被传送到移动计算装置26，并且可以被保存在移动计算装置26的存储器34中。

在一个或更多个实施例中，移动计算装置26针对感测到的且被传送到移动计算装置26的每一个新图像30增加计数器48。增加计数器48的步骤在图3中大体上由框102指示。计数器48可以针对感测到的每一个图像30增加一个计数。

识别算法36分析图像30以识别或者分类感兴趣对象。由识别算法36使用以识别或分类图像30中的感兴趣对象的过程是本领域技术人员所理解的并且因此在本文中不详细描述。然而，由于其与本文中所描述的过程相关而被简要描述，识别算法36在图像30上绘制或覆盖各种大小、形状和位置的多个边界框50、52、54、56、58、60、62。边界框50、52、54、56、58、60、62可以由各种不同的二维多边形形状限定，诸如但不限于正方形、矩形、三角形、六边形等等。在图像30中绘制边界框50、52、54、56、58、60、62的步骤在图3中大体上由框110指示。边界框50、52、54、56、58、60、62的精确数量、大小和位置与本公开的教导无关。参考图2，图像30被示出为具有第一边界框50、第二边界框52、第三边界框54、第四边界框56、第五边界框58、第六边界框60和第七边界框62。应该理解的是识别算法36绘制比图2中所示的第一边界框50、第二边界框52、第三边界框54、第四边界框56、第五边界框58、第六边界框60和第七边界框62更多的边界框。然而，为了简明，没有示出这些附加的边界框50、52、54、56、58、60、62。

一旦已经在图像30中绘制了边界框50、52、54、56、58、60、62，则识别算法36分析多个边界框50、52、54、56、58、60、62中的每一个相应边界框以试图识别其中的感兴趣对象。在边界框50、52、54、56、58、60、62中的相应边界框中识别感兴趣对象的步骤在图3中大体上由框112指示。如本领域中的技术人员理解的，对象辨识程序（诸如识别算法36）使用图像46的训练集45而训练以辨识一个或更多个感兴趣对象。感兴趣对象可以包括但不限于人、动物、汽车、卡车、货车、标志等等。训练图像46的集45从多个不同视角且以多个不同条件以多个不同视图示出了感兴趣对象。识别算法36被训练以基于其与图像46的训练集45中所包括的图像30中的一个或更多个的相似性来辨识多个边界框50、52、54、56、58、60、62中的每一个相应边界框内的对象。如果识别算法36在图像30中辨识出边界框50、52、54、56、58、60、62中的一个内的对象，则识别算法36可以将该对象识别为感兴趣对象并且因此将其分类。应该理解的是，识别算法36可以被训练以辨识多个不同类别或类型的感兴趣对象，其中每一个类别被限定为人、动物、汽车、卡车、货车、标志等等中的一个。

例如，参考图2，第一边界框50被示出为包括云64。云64可以不代表感兴趣对象的类别。如此，识别算法36没有被训练以辨识云64，并且识别算法36没有将云64识别为限定的感兴趣对象。如图2中所示，第二边界框52被示出为包括可辨识的汽车66。可辨识的汽车66可以代表针对其识别算法36被训练以辨识的感兴趣对象的类别，例如车辆22。这样，识别算法36可以将第二边界框52中的对象识别为感兴趣对象，即，被识别感兴趣对象68。如图2中所示，第三边界框54被示出为包括雪覆盖的车辆70。雪覆盖的车辆70可以代表针对其识别算法36被训练以辨识的感兴趣对象的类别，例如车辆22，然而，识别算法36可以不能够辨识出雪覆盖的车辆70，因为其形状被雪改变并且因此不类似于训练识别算法36最初从其训练的图像46。这样，识别算法36不会将第三边界框54内的雪覆盖的车辆70识别为限定的感兴趣对象。

如果识别算法36能够在边界框50、52、54、56、58、60、62中的相应一个边界框中识别出感兴趣对象，则识别算法36将多个边界框50、52、54、56、58、60、62中包含被识别感兴趣对象68的相应一个边界框限定为对象边界72。限定对象边界72的步骤在图3中大体上由框114指示。应该理解的是，如果识别算法36能够在多个边界框50、52、54、56、58、60、62中识别出多个对象，则可以在图像30中限定多个对象边界。如果识别算法36不能够在边界框50、52、54、56、58、60、62中的一个中识别出感兴趣对象，则识别算法36不限定对象边界72。

例如，参考图2，因为识别算法36将第二边界框52中示出的汽车识别为被识别感兴趣对象68，所以识别算法36会将第二边界框52限定为对象边界72。然而，因为识别算法36既没有在第一边界框50中也没有在第三边界框54中识别出感兴趣对象，所以第一边界框50或者第三边界框54均不会被限定为对象边界。虽然图2中所示的示例包括被限定为对象边界72的多个边界框50、52、54、56、58、60、62中的一个，不过应该理解的是，如果识别算法36在其它边界框中识别出感兴趣对象，则其它边界框（图2中未示出）可以被识别为对象边界。

在一些实施例中，下文述描的过程可以针对由图像传感器28捕捉的每一个图像30被实施。然而，在本文中描述的实施例中，在计数器48达到计数器阈值之后实施该过程。计数器阈值可以被限定为等于一个数字，诸如例如10。这样，当计数器48增加到大于计数器阈值（例如10）的值时实施下文描述的过程。一旦已经针对感测图像30执行该过程，则计数器48被重置为零，并且该过程再次开始，以致当计数器48再次达到大于计数器阈值的值时，下文描述的过程自身重复。通过这样做，减少了计算资源，由此改善了移动计算装置26的运行。

计数器48与计数器阈值相比较以确定计数器48的值是否等于或小于计数器阈值，或者计数器48的值是否大于计数器阈值。将计数器48的值与计数器阈值相比较的步骤在图3中大体上由框104指示。如果计数器48的值等于或小于计数器阈值（大体上以106指示），则识别算法36前进以感测另一图像30。如果计数器48的值大于计数器阈值（大体上以108指示），则识别算法36前进以如下文所描述地检查图像30。

识别算法36进一步分析多个边界框50、52、54、56、58、60、62中的每一个以试图识别出其中的感兴趣对象的组成部分74、76、78、80。识别出组成部分74、76、78、80的步骤在图3中大体上由框116指示。如上文简要描述地，识别算法36可以被训练以识别感兴趣对象的多个不同类别。例如，识别算法36可以被训练以识别被限定为汽车的第一类别和被限定为人的第二类别。感兴趣对象的每一个类别可以包括一个或更多个组成部分分类。例如，被限定为汽车的感兴趣对象的第一类别可以包括被限定为包括轮胎、车轮、牌照、头灯等等的组成部分分类。被限定为人的感兴趣对象的第二类别可以包括被限定为包括包帽、公文包、婴儿推车等等的组成部分分类。识别算法36被训练以辨识感兴趣对象的每一个类别并且还辨识感兴趣对象的每一个类别的每一个组成部分分类。

参考图2，多个边界包括第四边界框56、第五边界框58、第六边界框60和第七边界框62。如果感兴趣对象的类别被限定为包括汽车，并且感兴趣对象的组成部分分类被限定为包括车轮，则识别算法36可以识别出第四边界框56中的第一被识别组成部分74、第五边界框58中的第二被识别组成部分76、第六边界框60中的第三被识别组成部分78以及第七边界框62中的第四被识别组成部分80。

如果识别算法36能够在边界框50、52、54、56、58、60、62中的相应一个边界框中识别出感兴趣对象的组成部分74、76、78、80，则识别算法36将多个边界框50、52、54、56、58、60、62中包含感兴趣对象的被识别组成部分74、76、78、80的相应一个边界框限定为组成部分边界。限定组成部分边界的步骤在图3中大体上由框118指示。应该理解的是，如果识别算法36能够在多个边界框50、52、54、56、58、60、62中识别出多个组成部分，则可以在图像30中限定多个组成部分边界。如果识别算法36不能够在边界框50、52、54、56、58、60、62中的一个中识别出感兴趣对象的组成部分，则识别算法36不限定组成部分边界。

参考图2中所示的示例，因为第四边界框56包括第一被识别组成部分74，诸如图2中所示的示例性轮胎/车轮，所以第四边界框56可以被限定为第一组成部分边界82A。类似地，因为第五边界框58包括第二被识别组成部分76，所以第五边界框58可以被限定为第二组成部分边界82B。同样，因为第六边界框60包括第三被识别组成部分78，所以第六边界框60可以被限定为第三组成部分边界82C，并且因为第七边界框62包括第四被识别组成部分80，所以第七边界框62可以被限定为第四组成部分边界82D。

然后识别算法36可以计算组成部分边界82A、82B、82C、82D的排除量84。计算排除量84的步骤在图3中大体上由框120指示。排除量84是组成部分边界82A、82B、82C、82D中的每一个相应的组成部分边界的不被包括在对象边界72中的量。换言之，排除量84是组成部分边界82A、82B、82C、82D中的每一个相应的组成部分边界的在对象边界72的外部的量。如果没有限定对象边界72，即，识别算法36没有识别出感兴趣对象，但是识别算法36确实限定了组成部分边界，即，识别算法36确实识别出感兴趣对象的组成部分，则组成部分边界没有在对象边界72内部的部分，并且整个组成部分边界可以被认为是排除量84。如果识别算法确实限定了一个或更多个对象边界，但是组成部分边界没有在对象边界的内部的部分，则整个组成部分边界可以被认为是排除量84。然而，如果识别算法36确实限定了一个或更多个对象边界，并且整个组成部分边界定位在对象边界中的一个内，则排除量84等于零，因为组成部分边界没有定位在对象边界72的外部的部分。

参考图2的示例，第二边界框52是被限定为对象边界72的边界框。因此，相对于第二边界框52计算组成部分边界82A、82B、82C、82D中的每一个的排除量84。因为第一边界框50和第三边界框54没有被限定为对象边界，所以不相对于第一边界框50或第三边界框54计算组成部分边界82A、82B、82C、82D的排除量84。如图2中所示，第一组成部分边界82A、第二组成部分边界82B、第三组成部分边界82C和第四组成部分边界82D中的每一个的排除量84通常由其各自相应的交叉阴影区域指示。如上文所描述地，排除量84是每一个相应组成部分边界82A、82B、82C、82D的不被设置在对象边界72的内部的量。因为第一组成部分边界82A和第二组成部分边界82B中的每一个的一部分被设置在由第一边界框50限定的对象边界72内，所以第一组成部分边界82A和第二组成部分边界82B的被设置在第一对象边界72的外部的部分被分别限定为第一组成部分边界82A和第二组成部分边界82B的排除量84。因为第三组成部分边界82C和第四组成部分边界82D中的每一个的全部被设置在由第一边界框50限定的对象边界72的外部，所以第三组成部分边界82C和第四组成部分边界82D中的每一个的全部被分别限定为第三组成部分边界82C和第四组成部分边界82D的排除量84。

排除量84可以包括基于组成部分边界82A、82B、82C、82D的在对象边界72的外部的面积相对于组成部分边界82A、82B、82C、82D的在对象边界72内部的面积的比的量。在其它实施例中，排除量84可以包括图像30的被包含在组成部分边界82A、82B、82C、82D的定位在对象边界72的外部的部分中的像素的数量相对于图像30的被包含在组成部分边界82A、82B、82C、82D的定位在对象边界72内部的部分中的像素的数量。应该理解的是，可以使用用于计算组成部分边界82A、82B、82C、82D的排除量84的其它标准。

一旦识别算法36已经计算了排除量84，则识别算法36比较排除量84与覆盖阈值以确定排除量84是否小于覆盖阈值或者排除量84是否等于或大于覆盖阈值。比较排除量84与覆盖阈值的步骤在图3中大体上由框122指示。覆盖阈值是被用于触发图像30的进一步检查的排除量84的限定的限值。应该理解的是，如果图像30中限定了多个对象边界，则每一个相应组成部分边界82A、82B、82C、82D可以与多个对象边界比较。这样，每一个相应组成部分边界82A、82B、82C、82D可以针对与其比较的每一个对象边界72具有不同排除量84。

参考图2中所示的示例，第一组成部分边界82A、第二组成部分边界82B、第三组成部分边界82C和第四组成部分边界82D中的每一个的排除量84分别与覆盖阈值比较。如上文所描述地，覆盖阈值可以被限定为百分比，例如80%。如图2中所示，第一组成部分边界82A和第二组成部分边界82B中的每一个的排除量84近似等于25%。因此，第一组成部分边界82A和第二组成部分边界82B中的每一个的排除量84小于覆盖阈值。这表明，第四边界框56和第五边界框58的第一被识别组成部分74和第二被识别组成部分76的大部分被包括到第二边界框52的被识别感兴趣对象68中或是其一部分，并且表明第四边界框56和第五边界框58的第一被识别组成部分74和第二被识别组成部分76分别很可能与第二边界框52的被识别感兴趣对象68相关联。然而，第三组成部分边界82C和第四组成部分边界82D中的每一个的排除量84等于100%，因为他们完全在对象边界72的外部。因此，第三组成部分边界82C和第四组成部分边界82D中的每一个的排除量84等于或者大于覆盖阈值。这表明，第三被识别组成部分78和第四被识别组成部分80分别很可能不与第二边界框52的被识别感兴趣对象68相关联。这可以表明，识别算法36不能够识别出图像30中的分别与第六边界框60和第七边界框62的第三被识别组成部分78和第四被识别组成部分80相关联的感兴趣对象，即在第三边界框54中的雪覆盖的车辆70。

当识别算法36确定排除量84小于覆盖阈值时（在图3中大体上以124指示），识别算法36不将感测图像30传送到处理中心24。识别算法36前进以感测下一图像30，在图3中大体上由框100指示。

当识别算法36确定排除量84等于或大于覆盖阈值时（在图3中大体上以126指示），则识别算法36将感测图像30传送到处理中心24。将图像30传送到处理中心24的步骤在图3中大体上由框128指示。除了图像30之外，识别算法36也可以将与图像30有关的其它车辆数据传送到处理中心24。其它车辆数据可以包括但不限于紧接在图像30之前和/或之后的图像、车辆22的位置、当前速度、雷达数据、LIDAR数据等等。图像30和其它车辆数据可以经由通信器29被传送到处理中心24。

一旦在车辆22的移动计算装置26上运行的识别算法36已经将图像30传送到处理中心24，则在处理中心24处分析图像30以识别在图像30中的先前未被识别感兴趣对象86（图2中所示）。在处理中心24处识别先前未被识别感兴趣对象86的步骤在图3中大体上由框130指示。可以以适当方式识别和/或描述图像30中的先前未被识别感兴趣对象86。例如，人类操作者可以检查图像30，并且手动识别先前未被识别感兴趣对象86。替代性地，处理中心24的中央计算装置38可以使用训练算法44来识别先前未被识别感兴趣对象86。例如，训练算法44可以包括比识别算法36的对象辨识软件更稳健且被更好训练的对象辨识软件，并且可以将更多资源和处理时间投入到识别图像30中的先前未被识别感兴趣对象86的任务中。

如果在图像30中识别出先前未被识别感兴趣对象86，则训练算法44可以在处理中心24处将图像30添加到图像46的训练集45，以限定图像46的修正训练集45。将图像30添加到图像46的训练集45的步骤在图3中大体上由框132指示。然后训练算法44可以使用图像46的修正训练集45来再次训练识别算法36以限定更新的识别算法36。再次训练识别算法36的步骤在图3中大体上由框134指示。被用于分别使用图像46的训练集45和/或图像46的修正训练集45来训练和/或再次训练识别算法36的过程是本领域中的技术人员所理解的，并且因此在本文中不详细描述。

一旦训练识别算法36已经被再次训练以限定更新的识别算法36，则更新的识别算法36然后可以经由车辆22的通信器29而从处理中心24上传到车辆22的移动计算装置26。上传更新的识别算法36的步骤在图3中大体上由框136指示。一旦更新的识别算法36被上传到车辆22的移动计算装置26上，则其可以在未来被用于对象识别。因为更新的识别算法36已经使用图像46的修正训练集45（包括图像30中的先前未被识别感兴趣对象86）来再次训练，更新的识别算法36在未来可以能够识别或分类类似于先前未被识别感兴趣对象86的对象。

在本公开的另一方面中，当排除量84等于或者大于覆盖阈值时（在图3中大体上以126指示），则车辆22可以不能够确定控制车辆22的最佳方式。这样，当排除量84等于或者大于覆盖阈值时，识别算法36可以然后估计从车辆22到图像30中的被识别组成部分的分离距离88。估计分离距离88的步骤在图3中大体上由框142指示。分离距离88可以以适当方式被计算或感测，例如通过使用雷达、LIDAR等等。

参考图2中所示的示例，因为第一被识别组成部分74的第一组成部分边界82A和第二被识别组成部分76的第二组成部分边界82B的排除量84小于覆盖阈值，所以识别算法36可以确定第四边界框56和第五边界框58的第一被识别组成部分74和第二被识别组成部分76分别与第二边界框52的被识别感兴趣对象68相关联。这样，识别算法36可以将第二边界框52的被识别感兴趣对象68传递给车辆控制器，以便车辆控制器确定如何最佳地控制车辆22。

然而，因为识别算法36有可能不能够识别出第三边界框54中的感兴趣对象，例如，雪覆盖的车辆70（这是由于第六边界框60和第七边界框62的第三被识别组成部分78和第四被识别组成部分80分别不与第二边界框52的被识别感兴趣对象68相关联的高概率），所以车辆22控制器可能不能够正确地确定如何控制分别在第六边界框60和第七边界框62的第三被识别组成部分78和第四被识别组成部分80周围的车辆22。为此理由，识别算法36可以计算从车辆22分别到第三被识别组成部分78和第四被识别组成部分80的分离距离88，并且使用分离距离88作为控制车辆22的确定因素。

然后移动计算装置26可以比较分离距离88与距离阈值以确定分离距离88是否小于距离阈值，或者分离距离88是否等于或大于距离阈值。比较分离距离88与距离阈值的步骤在图3中大体上由框144指示。距离阈值可以代表低于其则可能需要额外小心的距离。当分离距离88小于距离阈值时（在图3中大体上以146指示），则移动计算装置26可以使用预定义控制模式来控制车辆22。使用预定义控制模式来控制车辆22的步骤在图3中大体上由框148指示。预定义控制模式可以包括但不限于降低的车辆22运行速度、操纵车辆22远离被识别组成部分、将对车辆22的控制转移到人类驾驶员等等。

详细描述和绘图或附图对本公开的支持和描述，但是本公开的范围仅由权利要求限定。虽然用于执行所要求保护的教导的一些最佳模式和其它实施例已经被详细描述，不过存在用于实践所附权利要求中限定的本公开的各种替代性设计和实施例。

Claims (15)

1.一种用于车辆的方法，所述方法包括：

使用所述车辆的图像传感器来感测图像；

使用能够在所述车辆的计算装置上运行的识别算法在所述图像中绘制多个边界框；

使用所述识别算法分析所述多个边界框中的每一个以试图识别其中的感兴趣对象；

使用所述识别算法将所述多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界；

使用所述识别算法分析所述多个边界框中的每一个以试图识别其中的所述感兴趣对象的组成部分；

使用所述识别算法将所述多个边界框中包含所述感兴趣对象的被识别组成部分的相应一个边界框限定为组成部分边界；

使用所述识别算法计算所述组成部分边界的排除量，其中,所述排除量是针对某一感兴趣对象判断所有组成部分边界不包括在该感兴趣对象对应的边界中的量；以及

当所述排除量等于或大于覆盖阈值时，使用所述车辆的通信器将所述图像传送到处理中心。

2.根据权利要求1所述的方法，还包括:将所述排除量与所述覆盖阈值比较以确定所述排除量是否小于所述覆盖阈值,或者所述排除量是否等于或大于所述覆盖阈值。

3.根据权利要求2所述的方法，还包括：当所述排除量小于所述覆盖阈值时不将所述图像传送到所述处理中心。

4.根据权利要求1所述的方法，其中，将所述图像传送到所述处理中心包括传送与所述图像有关的其它车辆数据。

5.根据权利要求1所述的方法，还包括：在所述处理中心处识别与所述图像中的所述被识别组成部分相关联的在所述图像中的先前未被识别感兴趣对象。

6.根据权利要求5所述的方法，还包括：当在所述图像中识别出所述先前未被识别感兴趣对象时，在所述处理中心处将所述图像添加到图像的训练集以限定图像的修正训练集。

7.根据权利要求6所述的方法，还包括：使用图像的所述修正训练集再次训练所述识别算法以限定更新的识别算法。

8.根据权利要求7所述的方法，还包括将所述更新的识别算法上传到所述车辆的移动计算装置。

9.根据权利要求1所述的方法，还包括：当所述排除量等于或大于所述覆盖阈值时估计从所述车辆到所述图像中的所述被识别组成部分的分离距离。

10.根据权利要求9所述的方法，还包括：将所述分离距离与距离阈值比较以确定所述分离距离是否小于所述距离阈值，或者所述分离距离是否等于或大于所述距离阈值。

11.根据权利要求10所述的方法，还包括：当所述分离距离小于所述距离阈值时，使用预定义控制模式来控制所述车辆。

12.一种对象识别系统，包括：

包括中央计算装置的处理中心；

车辆，所述车辆包括能够运行成捕捉和成像的图像传感器、能够运行成发送数据至所述处理中心和从所述处理中心接收数据的通信器，以及与所述处理中心的所述中央计算装置通信的移动计算装置；

其中，所述移动计算装置包括处理器和存储器，其中，所述移动计算装置的所述存储器包括识别算法，并且其中，所述移动计算装置的所述处理器能够运行成执行所述识别算法以便：使用所述车辆的所述图像传感器来感测图像；

在所述图像中绘制多个边界框；

分析所述多个边界框中的每一个以试图识别其中的感兴趣对象；

将所述多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界；

分析所述多个边界框中的每一个以试图识别其中的所述感兴趣对象的组成部分；

将所述多个边界框中包含所述感兴趣对象的被识别组成部分的相应一个边界框限定为组成部分边界；

计算所述组成部分边界的排除量，其中，所述排除量是针对某一感兴趣对象判断所有组成部分边界不包括在该感兴趣对象对应的边界中的量；以及

当所述排除量等于或大于覆盖阈值时，使用所述车辆的所述通信器将所述图像传送到所述处理中心；

其中，所述中央计算装置包括处理器和存储器，所述存储器具有存储在其中的训练图像的集和训练算法，其中，所述中央计算装置的所述处理器能够运行成执行所述训练算法以便：

识别所述图像中的先前未被识别感兴趣对象；

将所述图像保存在图像的训练集中以限定图像的修正训练集；

使用图像的所述修正集再次训练所述识别算法以限定更新的识别算法；以及

将所述更新的识别算法从所述处理中心处的所述中央计算装置上传到所述车辆的所述移动计算装置以用于未来被所述移动计算装置使用。

13.根据权利要求12所述的对象识别系统，其中，所述移动计算装置的所述处理器能够运行成执行所述识别算法以比较所述排除量与所述覆盖阈值以确定所述排除量是否小于所述覆盖阈值，或者所述排除量是否等于或大于所述覆盖阈值。

14.根据权利要求13所述的对象识别系统，其中，所述移动计算装置的所述处理器能够运行成执行所述识别算法以在所述排除量小于所述覆盖阈值时不将所述图像传送到所述处理中心。

15.一种车辆，包括：

图像传感器，所述图像传感器能够运行成捕捉电子格式的图像；

通信器，所述通信器能够运行成发送和接收数据；

与所述图像传感器和所述通信器通信的移动计算装置，所述移动计算装置包括处理器和具有存储在其中的识别算法的存储器，其中，所述处理器能够运行成执行所述识别算法以便：

使用所述车辆的所述图像传感器来感测图像；

在所述图像中绘制多个边界框；

分析所述多个边界框中的每一个以试图识别其中的感兴趣对象；

将所述多个边界框中包含被识别感兴趣对象的相应一个边界框限定为对象边界；

分析所述多个边界框中的每一个以试图识别其中的所述感兴趣对象的组成部分；

将所述多个边界框中包含所述感兴趣对象的被识别组成部分的相应一个边界框限定为组成部分边界；

计算所述组成部分边界的排除量，其中，所述排除量针对某一感兴趣对象判断所有组成部分边界不包括在该感兴趣对象对应的边界中的量；以及

当所述排除量等于或大于覆盖阈值时，使用所述车辆的所述通信器将所述图像传送到处理中心；以及

从所述处理中心接收更新的识别算法，其中，使用被传送到所述处理中心的所述图像再次训练所述更新的识别算法。