CN107031523A - 利用已知目标进行基于摄像头的车辆位置确定 - Google Patents

Abstract

公开了能够将车辆移动到目标位置的车辆控制系统。根据优选实施方式，摄像头获取对应于目标位置的已知物体的一个或多个图像。存储有关于已知物体的信息的车载计算机能够处理该一个或多个图像以确定关于已知物体的车辆位置。该系统能够使用车辆的确定位置和反馈控制器来将该车辆移动到目标位置。

Description

利用已知目标进行基于摄像头的车辆位置确定

技术领域

本发明涉及车辆，且更具体地涉及能够关于具有已知特性(例如形状、尺寸、图案、位置等)的标记确定其位置的车辆。

背景技术

在消费者汽车中，车载摄像头已经变得越来越普遍。典型地，这些摄像头被安装在车辆的后面因此驾驶员能够在倒车时方便地监视车辆后面的空间，但是一些车辆也可以包括前面的摄像头。由于车辆后面的物体的尺寸对于车辆的车载计算机来说可能是未知的，这些“备用摄像头”不能够确定车辆与靠近车辆的物体之间的距离。为了检测车辆与附近物体之间的距离，能够使用另外的传感器。消费者汽车能够装配雷达或超声传感器用于距离感测目的。这些传感器能够确定车辆与附近物体之间的距离，但是可能在物体离传感器太近时难以运行。因此，这种技术对于近程距离测量来说是不实用的。

这些近程距离测量在自动汽车技术中可能是至关重要的。可能需要高精度定位测量来精确操控自动车辆例如进入小空间或驻车。随着车辆在小空间内移动，检测靠近车辆的物体的能力可能变得越发重要。由于雷达和超声传感器可能不能够测量短距离，因此这些技术在车辆在小空间中时可能不合适。诸如LiDAR的高级传感器技术可以以高精度在一范围的距离运行，但是主要由于成本少有结合到消费者汽车。因此，在消费者汽车领域存在精确测量附近物体与车辆之间的距离的需要，以便于自动车辆控制和/或运动(例如自动驻车)。

发明内容

本发明涉及能够关于具有已知特性(例如形状、尺寸、图案、位置等)的标记确定车辆位置(例如距离，朝向等)的车辆控制系统。根据本发明的一些实施方式，车辆控制系统包括一个或多个摄像头、车载计算机以及车辆控制器。当摄像头获取至少部分已知标记的图像时，车载计算机使用该图像和关于该标记以及车辆上的摄像头的位置的信息来确定车辆关于该标记的位置。使用该信息，车辆控制器能够例如将该车辆移动到关于该已知标记的期望位置。在一些示例中，车辆可以是电动汽车且期望位置可以对应于电池再充电站。再充电站可以位于公共位置，例如停车场或车库或在车主的私人车库中。在一些示例中，当车辆移动到再充电站的非常近的附近时，能够自动开始充电，从而驾驶员不需要手动连接充电器并开始给车辆充电。

附图说明

图1示出了根据公开的发明的示例的示意性摄像头，其获取相对于摄像头的未知尺寸和位置的两个示例物体的图像；

图2A-2D示出了根据公开的发明的示例的配备有摄像头的车辆，其获取已知物体的图像，并确定车辆距离已知物体的距离；

图3A-3B示出了根据公开的发明的示例的已知物体的图像；

图4示出了根据公开的发明的示例的配备有摄像头的车辆，其获取两个已知物体的图像，每个物体相对于摄像头呈一角度；

图5A-5D示出了根据公开的发明的示例的配备有摄像头的车辆，其获取已知物体的图像，并确定车辆从已知物体的侧边偏移；

图6A-6D示出了根据公开的发明的示例的配备有摄像头的车辆，其获取已知物体的图像，并确定车辆距离地面的高度；

图7A-7C示出了根据公开的发明的示例的配备有一个或多个摄像头的车辆及其相关联的平行于地面的视场；

图8A-8C示出了根据公开的发明的示例的配备有一个或多个摄像头的车辆及其相关联的竖直视场；

图9A-9B示出了根据公开的发明的示例的配备有摄像头的车辆，其获取具有不对称图案的已知物体的图像；

图10A-10B示出了根据公开的发明的示例的配备有摄像头的车辆和具有两个标记的已知物体的图像；

图11示出了根据公开的发明的示例的车辆控制过程；

图12A-12B示出了根据公开的发明的示例的配备有摄像头的车辆，其确定车辆相对于已知物体的行驶方向，其中该车辆可以与物体对齐，且摄像头可以被指向车辆的行驶方向；

图13A-13B示出了根据公开的发明的示例的配备有摄像头的车辆，其确定车辆相对于已知物体的行驶方向，其中该车辆可以不与物体对齐，且该摄像头可以指向车辆的行驶方向；

图14A-14B示出了根据公开的发明的示例的配备有摄像头的车辆，其确定车辆相对于已知物体的行驶方向，其中该车辆可以与物体对齐，且摄像机可以不指向车辆的行驶方向；

图15示出了根据公开的发明的示例的系统框图。

具体实施方式

在以下描述中，对附图使用的附图标记，该附图形成本申请的部分，且其中通过图示的方式示出了能够被实施的特定示例。可以理解在不偏离公开的发明的示例的范围的情况下，其他示例能够被使用且能够做出结构上的改变。

本发明的各种实施方式涉及能够关于具有已知特性(例如形状、尺寸、图案、位置等)的标记确定车辆位置(例如，距离、朝向等)的车辆控制系统。根据本发明的优选实施方式，车辆控制系统包括一个或多个摄像头、车载计算机以及车辆控制器。当摄像头获取至少部分已知的标记的图像时，车载计算机能够使用该图像和关于该标记和车辆上摄像头的位置的已知信息来确定车辆关于该标记的位置。使用该信息，车辆控制器能够例如自动将该车辆移动到关于该已知标记的期望位置。在一些示例中，车辆可以是电动汽车且期望位置可以对应于电池再充电站。再充电站可以位于公共位置，例如停车场或车库或位于车主的私人车库。当车辆移动到靠近再充电站的附近时，能够自动开始充电，从而驾驶员不需要手动连接充电器并开始给车辆充电。

图1示出了示意性摄像头102，其获取相对于该摄像头具有未知尺寸和位置的两个示例物体106和108的图像。摄像头102能够是例如使用胶片的模拟摄像头或基于像素或矢量获取图像的数字摄像头。一些示例能够是其他类型的摄像头和图像格式，例如红外摄像头。摄像头102能够获取两个示例物体106和108的图像104。第一个示例物体106能够比第二个示例物体108更大且离摄像头102更远(即，X1能够小于X2，且H1能够小于H2)。但是在一些示例中，示例物体106和108相对于摄像头102的尺寸和位置对于该摄像头和/或摄像头为其一部分的系统来说是未知的。

在一些示例中，摄像头102能够被安装在车辆上。出于上述原因，可能期望使用该图像104确定示例物体106和108相对于摄像头102的尺寸和/或位置，从而确定车辆关于物体106和108的相对位置。但是，由于摄像头102和/或其相关联的系统可能没有关于示例物体106和108的尺寸和/或位置的信息，因此在得到的图像104中的示例物体106和108的尺寸和位置可能不清楚。具体地，虽然第一个示例物体106能够比第二个示例物体108更大且距离摄像头102更远，但是第一个物体106可能在图像104中看起来具有高度K2且第二个物体在图像104中看起来具有高度K1——这些高度在图像104中看起来基本相同，但是实际上如之前所述，物体106可能具有高度H2而物体108可能具有的高度H1比H2小。换句话说，在图像104中，离摄像头102更远更大的物体能够看起来与更靠近摄像头的较小的物体具有相同的尺寸。因此，不知道物体的实际尺寸，不可能通过分析图像104确定物体距离摄像头102的距离。

另一方面，如果摄像头获取其尺寸为该摄像头和/或其相关联的系统已知的物体的图像，则能够确定摄像头与物体之间的距离。图2A-2D示出了根据公开的发明的示例的配备有摄像头204的车辆202，其获取已知物体206的图像，并确定车辆距离已知物体的距离。更特别地，图2A示出了配备有摄像头204的车辆202。车辆202能够位于离物体206的距离X1，物体206的尺寸能够为例如车辆车载计算机(未示出)所知。在一些示例中，物体206的尺寸能够是其尺寸(例如其面积)、其周长大小、在给定位置的其水平和/或垂直大小等的任意特性。在一些示例中，车辆202上的摄像头204的相对位置也可以为车辆车载计算机(未示出)所知。

摄像机202可以获取图2B中示出的已知物体206的图像232，其中已知物体206可以看起来具有例如L1的宽度。在图2C中，车辆202可以位于与已知物体206距离是X2，X2大于X1。车载摄像头204可以获取图2D中示出的图像282，其中已知物体206看起来具有例如L2的宽度，L2小于L1。如上所述，得到的图像可以显示已知物体具有相应不同的宽度。例如，当车辆202距离已知物体206是较短的距离X1时，图像232中已知物体206的看上去的宽度L1可以比在车辆距离物体206的距离是X2时获取的图像282中物体206的看上去的宽度L2要大。因此，当物体的尺寸是已知的时，车辆车载计算机可以使用获取的图像中的物体的看上去的尺寸来确定车辆距离已知物体的距离，这将在下文更详细描述。车辆能够使用该信息来将自己定位在离已知物体(例如充电站上的图像/标记)的期望距离。

能够使用图像处理来确定获取的图像中的已知物体的看上去的尺寸。图3A-3B示出了根据公开的发明的示例的已知物体的图像。图像可以数字上获取并以像素格式被存储。在图3A-3B的示例中，每个示例图像能够是13个像素宽和12个像素高，但是其他图像尺寸以及没有以像素格式存储的图像是可能的。其他示例可以使用任意其他图像格式，包括使用胶片的模拟摄像头或包括例如矢量图形的其他数字格式。其他示例摄像头和图像格式也可以是可能的。在图3A-3B的示例中，图像302和352中已知物体306的尺寸(例如在该情况中为宽度)能够是以像素为单位的该物体的宽度。图3A中的示例图像302能够描绘已知物体306(例如星形)具有例如4个像素的看上去的宽度。图3B中的示例图像352能够描绘具有7个像素的看上去的宽度的已知物体306。例如，基于图像302和352中已知物体306的不同的看上去的尺寸，车辆上的车载计算机能够确定图3A中的示例图像302与图3B中的图像352相比可能是在距离物体306更远的距离被获取的。

如图2A-2D和3A-3B中所示，依据摄像头距离物体的距离，一种尺寸的物体在获取的图像中可以看起来更大或更小。该看上去的尺寸差异还能够被示出为视角差异。图4示出了根据公开的发明的示例的配备有摄像头404的车辆402，其获取两个已知物体406和456的图像，每个物体相对于摄像头呈一角度。物体406的边能够与摄像头404形成角度例如物体406能够位于与摄像头404的距离是X1。摄像头404还能够在其视场中具有已知物体456。该物体456能够位于与摄像头404的距离例如是X2。物体456的外边和摄像头404能够形成例如角度根据公开的发明的示例，与能够对应于较宽角度的较短距离X2相比，距离摄像头404的增加的距离X1可以对应于较窄的角度该角度和能够对应于与获取的图像的宽度相比的物体的相对宽度。

因此，根据上述内容，能够存储有已知物体的尺寸(或从远程存储设施访问该信息)的计算机(未示出)能够基于涉及例如已知物体的尺寸和获取的图像中已知物体的看上去的尺寸的计算来确定摄像头与已知物体之间的距离。在一些示例中，计算机能够通过使用获取的图像中的已知物体的看上去的尺寸并知道摄像头的最大视角和物体占据的图像宽度的比例来确定已知物体的相关联的视角。通过使用例如正弦定理或其他公式，确定已知物体的相关联的视角和在摄像头与已知物体之间形成的三角形的一条边能够定义被设定用于摄像头的位置的方案。在公开的发明的一些示例中，使用已知物体的图像来确定摄像头距离物体的距离的其他方法是可能的。公开的发明的一些示例可以包括其他类型的计算或查找表(LUT)，其能够由计算机(未示出)使用来确定摄像机距离已知物体的位置。例如，LUT能够被填充有获取的图像的尺寸到距离转换，其能够由车辆上的计算机使用来确定车辆距离已知物体的距离。

除了在一个维度中的距离，能够使用车辆的车载摄像头来确定车辆关于物体的位置的其他方面(例如，车辆从物体的偏移，车辆关于物体的朝向，等)。例如，公开的发明的一些示例能够涉及确定车辆从已知物体的位置的侧向偏移。图5A-5D示出了根据公开的发明的示例的配备有摄像头504的车辆502，其获取已知物体506的图像，并确定从已知物体的车辆的侧向偏移。更特别地，图5A示出了配备有摄像头504的车辆502。该车辆502能够是在水平上从已知物体506的中心偏移距离Y1。相比较，图5C示出了车辆502从已知物体506的中心具有基本为零的偏移Y2。

图5A中示出的车辆502上的车载摄像头504能够获取图5B中示出的示例图像532。在该示例图像532中，物体506的中心能够看起来在远离图像532的一条边534的位置P1处。示例图像532中，该位置能够对应于车辆502从图5A中的已知物体506的偏移Y1。另一方面，图5C中示出的车辆502上的车载摄像头504能够获取图5D中示出的示例图像582。在该示例图像582中，物体506的中心能够看起来在距离图像582的一条边584的距离P2处。该位置能够对应于车辆502从图5C中的已知物体506的偏移Y2。

如上所述，偏移Y2能够小于偏移Y1，这可以对应于图5D中的已知物体506与图像582的边584看起来的距离比图5B中的已知物体506与图像532的边534看起来的距离要远。如此，获取的图像中的物体从该图像中的参考点(例如图像边、图像的中心等)的偏移(例如水平偏移)能够对应于车辆从该物体的偏移。

根据公开的发明的示例的车辆能够包括车载计算机(未示出)，其存储有(或经由远程存储设施可访问)关于该车辆上的摄像头的相对位置(例如关于车辆的中心或车辆上的任意其他点)的信息。该信息与获取的图像中的已知物体的偏移结合能够用于确定车辆与物体的中心之间的偏移。例如，计算机可以通过使用已知物体的尺寸确定该偏移来确定与摄像头上的图像尺寸如何与现实世界中的距离相关相关联的标量系数。计算机还能够确定“图像偏移”，其指示已知物体距离图像的中心或图像的边或图像中的任意其他参考点的距离。标量系数能够被应用到图像偏移以确定车辆从已知物体的偏移。在公开的发明的一些示例中，计算机可以确定绝对偏移。在一些示例中，计算机可以仅确定从物体的相对偏移，这能够告知车辆需要移动的方向以以物体为中心(或换句话说为从该物体没有偏移)，且能够使用反馈来移动该车辆直到偏移基本为零。

根据本发明的某些示例，除了距离和偏移，还能够确定车辆的高度。更特别地，已知物体的高度结合已知物体的获取的图像能够用来确定车辆距离地面的高度。虽然车体的尺寸能够为车载计算机已知，但是车辆的高度依据多种因素能够变化，这些因素例如是装载重量。其他因素(包括例如胎压、车辆悬挂的磨损和车辆的轮胎更换不同尺寸的轮胎)能够改变车辆的离地高度。影响车辆高度的其他因素也是可能的。

图6A-6D示出了配备有摄像头606的车辆602，其获取已知物体604的图像并确定车辆的离地高度。更特别地，图6A示出了具有离地高度Z1的摄像头606的车辆602。摄像头606能够获取已知物体604的图像。作为示例，图6B示出了能够由摄像头606获取的图像632。在该图像632中，物体604的中心能够表现出与图像632的顶部636的距离是A1。同样，图6C示出了具有离地高度为Z2的摄像头656的车辆652。摄像头656能够获取已知物体654的图像。作为示例，图6D示出了能够由摄像头656获取的图像682。在该图像682中，物体654的中心能够表现出与图像682的顶部686的距离是A2。

图6C中的车辆652虽然可以与图6A中的车辆602是相同的车辆，但是能够比车辆602携带更多的货物662和乘客664，且因此能够比车辆602具有更大的重量。该更大的重量能够导致车辆652中的悬挂和/或轮胎比车辆602的压缩得更严重。因此，高度Z2能够比高度Z1要短。再次参考图6C，已知物体654能够位于例如距离地面距离D处。该距离D能够为例如结合到车辆652的车载计算机(未示出)所知。在图6A中，已知物体604还能够位于距离地面相同距离D处，这也能够为例如结合到车辆602的车载计算机(未示出)所知。

由于已知物体的离地高度能够为车载计算机所知，获取的图像中的物体的垂直位置能够用于确定车辆相对于地面的高度。具体地，图6D中示出的图像682中的距离A2能够小于图6B中示出的图像632中的距离A1。这些距离能够对应于车辆高度，且用于确定根据公开的发明的示例的车辆的垂直偏移。能够用类似于用于确定上述的车辆侧边偏移的方法的方法来确定垂直高度。例如，图像中的已知物体的尺寸能够用于确定与将摄像头获取的图像中的尺寸转换到真实世界中的距离相关联的标量因素。计算机能够确定与已知物体看起来距离获取的图像的中心或获取的图像的边缘或获取的图像中的任意其他参考点的距离相关联的“图像偏移”。在一些示例中，标量因素能够与图像偏移使用来确定车辆的高度。公开的发明的一些示例涉及确定车辆的绝对高度。公开的发明的一些示例涉及基于车辆比期望高度是低还是高来确定车辆的相对高度，并能够使用反馈来调整车辆的高度(例如经由车辆的悬挂)直到该高度达到期望值。公开的发明的一些示例涉及车辆，其能够调整其例如空气悬挂以将车辆的高度调整至目标值。此外或可替换地，一些示例包括以所述已知物体为特征的车辆充电站。车辆可以能够与充电站通信并使得充电站做出调整(例如调整其高度)来例如适应车辆的高度。车辆与充电站之间的通信方法的示例能够包括诸如蓝牙、Wi-Fi或基于无线电的通信的无线通信或有线通信。

虽然公开的发明的一些示例涉及具有单个车载摄像头的车辆，但是在一些示例中，车辆例如可以具有多于一个的车载摄像头。图7A-7C示出了根据公开的发明的示例的配备有一个或多个摄像头的车辆及其相关联的与地面平行的视场。在图7A中，车辆702能够具有被设置用于获取已知物体704的图像的单个摄像头706。摄像头706能够具有角度的视场并能够位于距离已知物体704的距离X1处。在该示例中，已知物体704能够在摄像头的视场中。但是如图7B所示，如果驾驶员将车辆732置于距离已知物体734较小的距离(例如如果驾驶员驾驶到更接近物体734同时保持从物体734的偏移)，单个摄像头736可能不能在其角度的视场中获取已知物体734。在一些示例中，两个或更多个摄像头能够被设置在沿着y轴距离车辆的中心不同的距离处，以扩展车辆上的摄像头系统的有效视场。例如，图7C示出了能够具有被设置用于获取已知物体764的图像的第一摄像头766和从第一摄像头766偏移(例如水平地)的第二摄像头776。虽然已知物体764可能没有被具有角度的视场的第一摄像头766获取，但是已知物体764能够被例如具有角度的视场的第二摄像头776获取。如本公开中讨论的物体识别和/或跟踪能够初始使用摄像头766被执行，但是如果物体764不再在摄像头766的视场中则转到摄像头776。这样，图7C中的摄像头系统能够避免在图7A-7B中的摄像头系统中存在的“盲点”。

类似地，公开的发明的一些示例涉及具有在不同离地高度(例如彼此垂直偏移)的两个或更多个摄像头。图8A-8C示出了根据公开的发明的示例的配备有一个或多个摄像头的车辆及其相关联的垂直视场。在图8A中，附着到与已知物体的距离为X1的车辆802的单个摄像头806能够在角度Y1的垂直视场内获取已知物体804的图像。如图8B所示，例如如果驾驶员将车辆832置于距离已知物体834更近的距离X2(例如，如果驾驶员驾驶得更靠近物体834)，则具有角度Y1的垂直视场的摄像头836可能没有获取已知物体834的完整图像。根据一些示例，一个或多个另外的摄像头能够被添加到车辆以提供更大的视场。

例如，图8C示出了具有第一摄像头866和从第一摄像头866垂直偏移的第二摄像头876的车辆862。当车辆862与物体864的距离是X2时，该已知物体864能够由第二摄像头876获取。该第二摄像头876那个具有角度Y2的垂直视场，这能够覆盖已知物体864以获取图像。如本公开所讨论的，物体识别和/或跟踪能够初始使用摄像头866来执行，但是如果物体864不再在摄像头866的视场中则转到摄像头876。这样，图8C中的摄像头系统能够避免可能在图8A-8B中的摄像头系统中存在的“盲点”。

以多个摄像头为特征的公开的发明的示例不限于摄像头被放置在不同高度或沿着y轴离车辆的中心不同的距离，如图7C和8C中所示。此外或可替换地，根据公开的发明的示例的车辆可以包括在离车辆的前面不同距离的一个或多个摄像头。此外或可替换地，根据公开的发明的示例的车辆可以包括面向不同方向的一个或多个摄像头以提供扩展的摄像头视场。多个摄像头的其他布置可以是可能的且在公开的发明的一些示例中可以证明是有利的。虽然公开的发明的一些示例示出已知物体是对称的，但是其他示例可以包括具有视觉不对称的已知物体。这种不对称可以便于检测车辆可能面对已知物体的角度。图9A-9B示出了根据公开的发明的示例的配备有摄像头906的车辆902，其获取具有不对称图案的已知物体904的图像。更特别地，例如图9A示出了能够在关于已知物体904的法线呈一角度θ面向已知物体904的车辆。已知物体904能够通过包含以多种颜色为特征的图案而在视觉上不对称。在图9A的示例中，已知物体904能够是水平上不对称，因为已知物体的左侧能够由一种颜色(例如黑色)构成，而已知物体的右侧能够由另一种颜色(例如白色)构成。车辆902能够配备有车载摄像头906。例如如图9B中所示，摄像头906能够获取已知物体904的图像952。在示例图像952中，由于车辆/摄像头可能从左侧成一角度面向已知物体904，因此已知物体904的左侧能够具有高度K1且能够看起来大于右侧，该右侧能够具有小于K1的高度K2。换句话说，已知物体904的不对称图案的第一部分(例如该物体的左侧)能够具有不同于已知物体的不对称图案的第二部分(例如该物体的右侧)的高度。例如，示例车辆902能够包括车载计算机(未示出)，其能够例如检测已知物体904的不对称图案的不同部分，并确定高度差从而确定偏移角θ。可以理解虽然在以上的描述中提及的高度，但是其他尺寸特性(例如面积、周长等)能够用于区分已知物体904的不对称图案的不同部分的尺寸。与车载计算机能够确定已知物体与摄像头之间的距离(如之前所述)类似，计算机能够确定已知物体的每个部分与摄像头之间的距离。例如，计算机能够使用上述的一个(或多个)过程来确定摄像头距离物体的每一侧的距离，并能够使用距离差来确定偏移角θ。在公开的发明的一些示例中，可以确定绝对偏移角θ。在公开发明的一些示例中，计算机能够确定相对偏移角θ，其能够告知车辆应当转动的方向以消除其偏移角，且能够使用反馈控制器来移动车辆直到偏移被校正。

在一些示例中，已知物体的特点可以是两个或更多图案或图像。例如，图10A-10B示出了根据本发明的示例的配备有摄像头1006的车辆1002和具有两个标记的已知物体1004的图像。更特别地，图10A示出了能够被置于靠近已知物体1004的示例车辆1002。已知物体1004的特点能够是不同颜色(例如白色和黑色)的两种不同的标记。车辆1002能够被设置关于物体1004的法线呈一偏移角θ，且能够配备车载摄像头1006。摄像头1006能够获取图10B中示出的已知物体1004的图像1052。该图像1052能够示出已知物体1004的两个标记，其中左侧的标记能够看起来具有高度K1而右侧的标记能够看起来具有小于K1的高度K2。高度K1和K2之间的差能够对应于车辆1002的偏移角θ。车辆1002能够包括车载计算机(未示出)，其能够检测该高度差并使用该高度差来确定偏移角θ。计算机能够使用与上述示例类似的方法来根据这两个标记确定偏移角。在一些示例中，确定绝对偏移角。在一些示例中，在没有显式确定的情况下能够校正车辆的角度。

如上所述，本公开的车辆能够通过使用摄像头获取已知物体的图像来确定其相对于已知物体的位置。图11示出了根据公开的发明的示例的车辆控制过程1100。在过程1100中，车辆能够使用摄像头通过确定车辆位置的一个或多个方面来促进自动驾驶。在步骤1102，如之前所述，摄像头能够获取已知物体的图像。在车辆和已知物体处于差光照条件的情况中，获取图像可以包括将光照向物体。该光能够由车辆的大灯、摄像头闪光灯或结合到车辆的任意其他灯提供。光源可以例如提供可见光或红外光。此外或可替换地，公开的发明的一些示例的特点能够是具有由发光或反光材料制成以增强黑暗中的可视性的图案的已知物体。在一些示例中，已知物体可以发出自己的光(例如可见或红外光)。摄像头能够是用于在上述条件下获取已知物体的图像的合适的摄像头。

一旦获取图像，在框1110中能够确定车辆位置的一个或多个方面。框1110中的步骤可以以任意顺序被执行。框1110中的一个或多个步骤可以不被执行。可以结合在框1110中执行的步骤进行关于车辆位置的其他确定。在一些示例中，如在本公开中讨论的，在步骤1112能够确定车辆离已知物体的距离。在一些示例中，如在本公开中讨论的，在步骤1114能够确定车辆从已知物体的偏移。在一些示例中，如在本公开中讨论的，在步骤1116能够确定相对于已知物体的车辆高度。在一些示例中，如在本公开中讨论的，在步骤1118能够确定相对于已知物体的车辆角度。

一旦在框1110中确定了车辆位置，则在步骤1130中使用从框1110确定的位置能够自动移动该车辆。在一些示例中，车辆能够被移动到已知物体指示的期望停车或接驳位置。公开的发明的一些示例涉及自动向具有已知标记(“已知物体”)的充电站自动移动的电动车辆。一旦电动车辆在相对于充电站的期望位置，在驾驶员离开车辆之前能够自动开始充电。

在一些示例中，能够循环、持续和/或按需执行过程1100以将车辆移动到目标位置。该目标位置能够是例如相对于用于电动车辆的再充电站的某距离和位置。反馈控制器能够用于确定相对于目标位置的车辆位置的误差(例如，角度、偏移、距离、高度等)并能够控制该车辆移动直到该误差为零(或为与处于目标位置的车辆相关联的另一预定误差量)。包括距离、偏移、角度和高度的车辆位置的方面能够具有与其相关联的误差。这些误差能够例如连续地分开被解决，或能够并行解决两个或更多个误差。控制器能够使用本领域技术人员所知的任意控制技术，包括例如PID(比例、积分和/或微分)控制、所谓的“砰砰”(“bang-bang”)控制、或任意其他技术。

在一些示例中，能够确定误差且车辆能够随后被移动到目标位置而不用确定车辆相对于物体的绝对位置。当然，能够确定误差且使用反馈来校正该误差。例如，为了确定车辆位置的误差，能够在已知物体的获取的图像与与目标车辆位置相关联的已知物体的参考图像之间进行比较。例如，当车辆到达关于物体的目标位置时，已知物体的参考图像能够示出物体的预期图像。该参考图像能够被存储在结合在车辆内的车载计算机中。参考图像能够在车辆制造时被预加载和/或能够在制造之后被校准。在操作期间，车辆的计算机能够将基线图像与其(多个)车载摄像头获取的(多个)图像进行比较以确定车辆角度、偏移、距离、高度等的误差量，并能够反复地校正该误差以将该车辆移动到目标位置。

在上述的示例中，能够做出关于车辆关于已知物体的位置的确定，因为车辆上的摄像头的位置能够是已知的。因此，如果车辆上的摄像头的相对位置是未知的或被破坏(compromised)(例如由于损坏)，则不可以精确确定车辆位置。当车辆的位置是已知的但车辆上的摄像头的位置可能是未知的时，能够使用校准过程。校准能够发生在车厂、车辆经销商或在购买车辆之后由驾驶员进行。例如，驾驶员能够手动将车辆置于相对于已知物体的期望朝向，且能够使用车载摄像头获取已知物体的图像。对应于该期望位置的图像能够被存储并用作用于该期望位置进而用于本公开中描述的自动驾驶的参考。

如上所述，在一些示例中，车辆上的摄像头的位置能够具有已知的规格以确保能够从已知物体的图像确定车辆的精确位置。如果出于成本或其他原因该规格是不可能的，或如果摄像头在制造之后被移动(例如由于损坏或其他事情发生)，图像“流”能够用于校正摄像头偏移。具体地，随着车辆在移动期间获取图像，图像的一些部分能够在给定时间期间比图像的其他部分变化更大。获取的图像的不同部分的图像变化率能够称为图像“流”。随时间变化相对小的图像的部分(例如低于阈值量)能够对应于例如摄像头行进方向。比较从移动的车辆在不同时间点获取的两个或更多个图像能够在图像和/或摄像头的视场中提供关于摄像头相对于物体正移动的方向的信息，这将在下文描述。

图12A-12B示出了根据公开的发明的示例的配备有摄像头1204的车辆1202，其确定车辆相对于已知物体1206的行驶方向，其中该车辆可以与物体对齐，且摄像头可以指向车辆的行驶方向。例如，图12A示出了配备有面向已知物体1206的摄像头1204的车辆1202。摄像头1204能够在车辆1202向物体1206移动时获取一系列的图像。图12B示出了根据公开的发明的一些示例的摄像头1204的示例视场1254。在图12A中，车辆1202能够沿着第一轴1208向物体1206移动，且摄像头1204能够沿着该同一个第一轴指向物体1206(即，摄像头与车辆能够被对齐)。随着摄像头移动，摄像头靠近的物体可能落入具有最小流的视场1254的部分1258。如上所述，视场1254的该部分1258的变化率比图像的其余部分的要慢。由于已知物体1256可能落入图12B中的视场1254的最小流部分1258，能够确定摄像头可以正直接向已知物体移动。因此，图12B的视场1254可以对应于靠近图12A中的物体1206的车辆1202上的摄像头1204。换句话说，例如，当摄像头图像中的最小流与图像中的已知物体对齐时，能够确定车辆正向物体行驶。相关地，当最小流在图像的中心时，能够确定摄像头正面向行驶方向。

如之前所述，车辆还可以是从所述已知物体位置偏移的。图13A-13B示出根据公开的发明的示例的配备有摄像头1304的车辆1302，其确定车辆相对于已知物体1306的行驶方向，其中车辆可以没有与物体对齐，且摄像头可以指向车辆的行驶方向。图13A示出了配备有摄像头1304的车辆1302。在该示例中，车辆1302能够从已知物体1306水平偏移某距离Y。图13B示出了能够对应于图13A中的摄像头1304的视场1354。视场1354能够包括最小流部分1358和获取的已知物体的图像1356。在该示例中，摄像头1304可以没有直接向已知物体1306移动。因此，视场1354的最小流部分1358可以没有覆盖已知物体的图像1356。因此，视场1354中最小流部分1358与物体1356之间的距离能够对应于摄像头/车辆关于物体1356的水平偏移。虽然示出了水平偏移，但是可以理解的是，能够类似地确定摄像头/车辆与物体之间的垂直偏移。通过确定摄像头图像中最小流的位置，能够在摄像头图像中确定车辆是否正向已知物体移动。当最小流没有与已知物体的图像对齐时，能够确定摄像头没有与物体对齐。类似于上述示例偏移计算的计算能够用于使用摄像头图像中已知物体的图像与最小流之间的距离来确定偏移。在一些示例中，能够在确定或不用确定绝对偏移的情况下使用反馈控制器校正偏移。

在一些示例，车辆可以正向已知物体移动，但是摄像头可能从车辆的运动方向偏移某角度。如果该角度不同于制造时的角度，则流确定能够确定该偏移角，其能够被用在之后的车辆位置/朝向确定中。图14A-14B示出了根据公开的发明的示例的配备有摄像头1404的车辆1402，其确定车辆相对于已知物体1406的行驶方向，其中车辆可以与物体对齐，且摄像头可以不指向车辆的行驶方向。例如，图14A示出了配备有摄像头1404的车辆1402，该摄像头1404从车辆1402的运动线1408偏移角度α。图14B示出了在车辆1402向已知物体1406移动时能够对应于摄像头1404的视场的示例视场1454。在该示例中，摄像头1404可以向已知物体1406移动，但是可以不面向该物体1406。因此，在示例视场1454中，最小流部分1456能够从视场1454的中心偏移。由于车辆1402可以向已知物体1406移动，获取的已知物体1406的图像1456可以落入最小流部分1458。因此，能够基于摄像头的视场的最小流部分进行计算来确定车辆的运动与摄像头的视向之间的角度(例如，该角度能够与最小流从摄像头的视场的中心偏移的程度呈比例)。例如，当最小流对应于已知物体时，能够确定摄像头正朝向该物体行进，即使其没有直接面向该物体。

图15示出了根据公开的发明的示例的系统框图。车辆控制系统1500能够执行参考图1至14描述的任意方法。系统1500能够被结合到车辆，例如消费者汽车。可以整合该系统1500的其他示例车辆包括但不限于飞机、船或工业汽车。车辆控制系统1500能够包括能够获取图像的摄像头1506。车辆控制系统1500能够包括耦合到摄像头1506的车载计算机1510，且能够从摄像头接收图像并在该图像中确定相对于已知物体的车辆位置的一个或多个方面。车载计算机1510能够包括存储装置1512、存储器1516、以及处理器1514。处理器1514能够执行参考图1至14描述的任意方法。此外，存储装置1512和/或存储器1516能够存储用于执行参考图1至14描述的任意方法的数据和指令。存储装置1512和/或存储器1516能够是任意非暂态计算机可读存储介质，例如固态驱动器或硬盘驱动器等等。车辆控制系统1500还能够包括控制器1520，其能够基于车载计算机1510的确定自动移动车辆。

在一些示例中，车辆控制系统1500能够连接(例如经由控制器1520)到车辆中的一个或多个致动器系统1530。该一个或多个致动器系统1530能够包括但不限于电动机1531或发动机1532、电池系统1533、传动装置1534、悬挂机构1535、制动器1536以及转向系统1537。基于确定的相对于已知物体(例如充电站)的车辆位置，车辆控制系统1500能够控制这些致动器系统1530中的一个或多个以指引车辆在期望方向移动。这能够通过例如调整转向角并接入动力传动系统(例如电动机)以控制的速度移动车辆来完成。摄像头系统1506能够继续获取图像并将图像发送给车辆控制系统1500用于分析，如在上面的示例中详细描述的。而车辆控制系统1500能够持续或周期性地发送命令给一个或多个致动器系统1530以控制车辆的运动。当车辆接近预定目标区域(例如充电站前面的充电点)，车辆控制系统1500能够控制诸如制动器1536的致动器系统1530以在车辆在距离该充电站某距离之内时停止该车辆。如果车辆控制系统1500基于摄像头系统1506获取的图像确定车辆的高度需要调整以将车辆上的充电端口与充电器对齐，如之前详细描述的，车辆控制系统1500能够进一步调整悬挂机构1535。

根据上述内容，公开的发明的一些示例涉及车辆控制系统，包括：包括在车辆中的第一摄像头，该第一摄像头被配置成获取具有第一特性的物体的一个或多个图像；耦合到第一摄像头的计算系统，该计算系统包括：被配置成存储该物体的第一特性的存储器，该物体的该第一特性在该第一摄像头获取该物体的一个或多个图像之前被存储在该存储器上；以及处理器，被配置成基于该第一摄像头获取的该一个或多个图像和存储在该存储器中的该物体的该第一特性确定关于该物体的该第一摄像头的位置；以及控制器，被配置成基于该确定位置控制该车辆的运动。对上述的示例的一个或多个的附加或替换，在一些示例中，存储器还被配置成存储关于该车辆的第一摄像头的位置和朝向；以及该处理器还被配置成基于关于该车辆的第一摄像头的位置和朝向确定关于该物体的该车辆的位置。对上述的示例的一个或多个的附加或替换，在一些示例中，关于该物体的第一摄像头的位置包括距离物体的距离、关于该物体的水平偏移、相对于物体的法线轴的角度以及相对于物体的高度中的一者或多者。对上述的示例的一个或多个的附加或替换，在一些示例中，至少通过在一个或多个图像中的物体的尺寸和该物体的第一特性来确定距离物体的距离。对上述的示例的一个或多个的附加或替换，在一些示例中，至少通过一个或多个图像内的物体的位置和该物体的第一特性来确定关于物体的水平偏移和相对于物体的高度中的一者或多者。对上述的示例的一个或多个的附加或替换，在一些示例中，该物体包括具有第一视觉特性的第一半部和具有不同于第一视觉特性的第二视觉特性的第二半部，以及至少通过在一个或多个图像中的第一半部的尺寸与在一个或多个图像中的第二半部的尺寸之间的比较来确定相对于物体的法线轴的第一摄像头的角度。对上述的示例的一个或多个的附加或替换，在一些示例中，存储器还被配置成存储对应于车辆的目标位置的基线图像，以及控制器被配置成至少基于基线图像和第一摄像头获取的一个或多个图像来移动车辆。对上述的示例的一个或多个的附加或替换，在一些示例中，车辆控制系统包括第二摄像头，被配置成获取物体的一个或多个图像，其中第一和第二摄像头的组合视场大于第一摄像头的视场。对上述的示例的一个或多个的附加或替换，在一些示例中，首先，处理器被配置成基于第一摄像头获取的一个或多个图像确定关于物体的车辆的位置，且在该首先之后的其次，当物体不再在第一摄像头的视场内时，处理器被配置成基于第二摄像头获取的一个或多个图像来确定关于物体的车辆的位置。对上述的示例的一个或多个的附加或替换，在一些示例中，处理器还被配置成基于一个或多个图像中最小流相对于一个或多个图像中物体位置的位置来确定车辆运动方向与第一摄像头视场中心之间的差。对上述的示例的一个或多个的附加或替换，在一些示例中，确定关于物体的第一摄像头的位置包括确定关于该物体的第一摄像头的朝向。

根据以上内容，公开的发明的一些示例涉及控制车辆的方法，包括：在计算系统的存储器中存储第一物体的第一特性；在在该存储器中存储该第一物体的第一特性之后，使用包括在车辆中的第一摄像头获取具有第一特性的物体的一个或多个图像；基于第一摄像头获取的一个或多个图像和存储在存储器中的物体的第一特性确定关于物体的第一摄像头的位置；以及基于确定的位置控制车辆的运动。

根据以上内容，公开的发明的一些示例涉及非暂态计算机可读存储介质，在该可读存储介质上存储有用于控制车辆的指令集，该指令集在被处理器执行时使得该处理器：接收具有第一特性的物体的一个或多个图像，该一个或多个图像由包括在车辆中的第一摄像头获取；基于第一摄像头获取的一个或多个图像和存储在存储器中的物体的第一特性确定关于物体的第一摄像头的位置，该物体的第一特性在接收物体的一个或多个图像之前已经被存储在存储器中；以及基于确定的位置控制车辆的运动。

虽然已经参考附图完整描述了示例，但是注意本领域技术人员知道可以有各种改变和修改。这些改变和修改被理解为被包括在由权利要求书限定的本公开的示例的范围内。

Claims (13)

1.一种车辆控制系统，包括：

被包括在车辆中的第一摄像头，该第一摄像头被配置成获取具有第一特性的物体的一个或多个图像；

耦合到所述第一摄像头的计算系统，所述计算系统包括：

存储器，被配置成存储所述物体的所述第一特性，所述物体的所述第一特性在所述第一摄像头获取所述物体的所述一个或多个图像之前被存储在所述存储器上；以及

处理器，被配置成基于所述第一摄像头获取的所述一个或多个图像和存储在所述存储器中的所述物体的所述第一特性来确定关于所述物体的所述第一摄像头的位置；以及

控制器，被配置成基于所确定的位置控制所述车辆的运动。

2.根据权利要求1所述的车辆控制系统，其中：

所述存储器还被配置成存储关于所述车辆的所述第一摄像头的位置和朝向；以及

所述处理器还被配置成基于关于所述车辆的所述第一摄像头的所述位置和所述朝向来确定关于所述物体的所述车辆的位置。

3.根据权利要求1所述的车辆控制系统，其中关于所述物体的所述第一摄像头的所述位置包括以下一者或多者：距离所述物体的距离、关于所述物体的水平偏移、相对于所述物体的法线轴的角度以及相对于所述物体的高度。

4.根据权利要求3所述的车辆控制系统，其中至少通过所述一个或多个图像中的所述物体的尺寸和所述物体的所述第一特性来确定距离所述物体的所述距离。

5.根据权利要求3所述的车辆控制系统，其中至少通过所述一个或多个图像内的所述物体的位置与所述物体的所述第一特性来确定以下一者或多者：关于所述物体的水平偏移和相对于所述物体的高度。

6.根据权利要求3所述的车辆控制系统，其中：

所述物体包括具有第一视觉特性的第一半部和具有不同于所述第一视觉特性的第二视觉特性的第二半部，以及

至少通过所述一个或多个图像中的所述第一半部的尺寸与所述一个或多个图像中的所述第二半部的尺寸之间的比较来确定相对于所述物体的所述法线轴的所述第一摄像头的所述角度。

7.根据权利要求1所述的车辆控制系统，其中：

所述存储器还被配置成存储对应于所述车辆的目标位置的基线图像，以及

所述控制器被配置成至少基于所述基线图像和所述第一摄像头获取的所述一个或多个图像来移动所述车辆。

8.根据权利要求1所述的车辆控制系统，还包括：第二摄像头，被配置成获取所述物体的一个或多个图像，其中所述第一摄像头和所述第二摄像头的组合视场大于所述第一摄像头的视场。

9.根据权利要求8所述的车辆控制系统，其中：

首先，所述处理器被配置成基于所述第一摄像头获取的所述一个或多个图像确定关于所述物体的所述车辆的位置，以及

其次，在该首先之后，当所述物体不再在所述第一摄像头的视场内时，所述处理器被配置成基于所述第二摄像头获取的一个或多个图像确定关于所述物体的所述车辆的位置。

10.根据权利要求1所述的车辆控制系统，其中：

所述处理器还被配置成基于所述一个或多个图像中的最小流相对于所述一个或多个图像中的所述物体的位置的位置来确定所述车辆的运动方向与所述第一摄像头的视场中心之间的差。

11.根据权利要求1所述的车辆控制系统，其中确定关于所述物体的所述第一摄像头的所述位置包括确定关于所述物体的所述第一摄像头的朝向。

12.一种控制车辆的方法，包括：

在计算系统的存储器中存储第一物体的第一特性；

在在所述存储器中存储所述第一物体的所述第一特性之后，使用包括在所述车辆中的第一摄像头获取具有所述第一特性的所述物体的一个或多个图像；

基于所述第一摄像头获取的所述一个或多个图像和存储在所述存储器中的所述物体的所述第一特性来确定关于所述物体的所述第一摄像头的位置；以及

基于所确定的位置控制所述车辆的运动。

13.一种非暂态计算机可读存储介质，在该非暂态计算机可读存储介质上存储有用于控制车辆的指令集，该指令集在被处理器执行时使得该处理器：

接收具有第一特性的物体的一个或多个图像，该一个或多个图像由包括在所述车辆中的第一摄像头获取；

基于所述第一摄像头获取的所述一个或多个图像和存储在存储器中的所述物体的所述第一特性确定关于所述物体的所述第一摄像头的位置，所述物体的所述第一特性在接收所述物体的所述一个或多个图像之前已经被存储在所述存储器中；以及

基于所确定的位置控制所述车辆的运动。