CN111327834B - 用于相机盲区中的物体检测的方法和设备 - Google Patents

Abstract

本申请总体上涉及一种用于在机动车辆中视野被相机遮挡的位置进行物体检测的方法和装置。特别地，该系统可操作以使用光源从低角度照亮FOV、从高角度捕获FOV的图像并且检测图像内的阴影，其中该阴影指示由光源照亮的物体。

Description

用于相机盲区中的物体检测的方法和设备

技术领域

本公开基本上涉及相机，更具体地，涉及在车辆上使用的相机。更具体地，本公开的各方面涉及通过利用发光二极管(LED)投射来自车辆的光来照亮相机盲区内的物体，并检测相机视野(FOV)内所产生的阴影从而克服相机盲区的系统、方法和设备。

背景技术

随着自主车辆或车辆上的自动驾驶辅助功能变得越来越普遍，检测车辆周围的物体将变得越来越有必要，以确保对车辆的适当控制和处理。车辆系统采用的数码相机通过镜头接收光，并且可以将入射光线转换成电子信号，以显示、评估或存储由光线限定的图像。由于这些相机越来越多地与车身表面齐平安装或位于车辆玻璃后面，因此这些相机的FOV可能会被车辆的其他部分遮挡。要克服该问题，增加相机和相应处理电路的数量可能昂贵得令人望而却步。

例如，在理想情况下，用于自主车辆或自动驾驶辅助系统的相机安装在车辆的高处，例如后视镜后面，以便能够更好地观察车辆周围的区域。然而，车辆上的这些高处倾向于导致紧邻车辆周围的路面的视图被遮挡。期望克服这些问题以便减少用于车辆的相机的相机盲区。

在该背景技术部分中公开的上述信息仅用于增强对本发明背景的理解，因此其可能包含对于本领域普通技术人员而言不构成本国已知的现有技术的信息。

发明内容

本文公开了用于提供车辆感测和控制系统的物体检测方法和系统以及相关控制逻辑、用于制造这些系统的方法和用于操作这种系统的方法、以及配备有车载传感器和控制系统的机动车辆。作为示例而非限制，提供了本文公开的相机系统、LED光投影系统和图像处理系统的各种实施例。

根据本发明的一个方面，该方法包括：使用第一光源照亮视野；捕获视野的图像；检测图像内的阴影；响应于阴影而确定物体的存在；响应于物体的存在而产生控制信号；以及响应于控制信号而控制车辆。

根据本发明的另一方面，一种设备包括：光源，用于照亮视野；相机，用于捕获视野的图像；处理器，用于检测图像内的阴影，响应于阴影而确定物体的存在，并且响应于物体的存在而产生控制信号；以及车辆控制器，用于响应于控制信号而控制车辆。

根据本发明的另一方面，一种用于确定视野内物体的存在的设备，包括：LED阵列，用于在第一时间使用第一LED照亮视野并在第二时间使用第二LED照亮视野；相机，在第一时间捕获第一图像并在第二时间捕获第二图像；处理器，用于比较第一图像和第二图像以响应于第一图像和第二图像而确定物体的存在，并响应于确定物体的存在而产生控制信号；以及车辆控制器，用于响应于控制信号而控制车辆。

从以下结合附图对优选实施例的详细说明中，本公开的上述优点和其他优点和特征将变得显而易见。

附图说明

通过参考附图对以下结合本发明的实施例的说明，本发明的上述和其他特征和优点以及实现它们的方式将变得更加明显，能够更好地理解本发明。其中：

图1示出了根据本公开的实施例的用于机动车辆中的相机盲区中的物体检测的方法和装置的示例性应用。

图2示出了根据本公开的实施例的用于机动车辆中的相机盲区中的物体检测的系统的示例性安装。

图3示出了说明用于本公开的机动车辆中的相机盲区中的物体检测的示例性系统的框图。

图4示出了图示根据本公开的实施例的用于在相机盲区中进行物体检测的示例性方法的流程图。

图5示出了根据本公开的示例性实施例的在低对比度状况期间用于机动车辆中的相机盲区中的物体检测的示例性方法的流程图。

这里阐述的示例说明了本发明的优选实施例，并且这些示例不应被解释为以任何方式限制本发明的范围。

具体实施方式

本文说明了本公开的实施方案。然而，应该理解，所公开的实施例仅仅是示例，并且其他实施例可以采用各种替代形式。这些附图不一定按比例；某些功能可能会被放大或者缩小，以显示特定组件的详细信息。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅是代表性的。参考任何一个附图示出和说明的各种特征可以与一个或多个其他附图中示出的特征组合，以产生未明确示出或说明的实施例。所示特征的组合提供了典型应用的代表性实施例。然而，对于特定应用或实施，可能需要与本公开的教导一致的特征的各种组合和修改。

图1示意性地示出了根据本公开的、机动车辆100中的相机盲区中的物体检测方法和设备的示例性应用。在该示例性实施例中，车辆110沿着路面120行进。正在使用相机来捕获相机FOV 140内的图像。可以看出，相机的FOV 140被车辆100的引擎罩(hood)的前端部分地阻挡。物体150示出在车辆110的前向路径中，但在相机的FOV 140外部。

根据本发明公开的系统和方法，示例性车辆还配备有LED投影系统。车辆控制器可操作以点亮安装在车辆前部下方位置的一个或多个LED。在该示例中，一个或多个LED安装到车辆的保险杠护板(bumper valence panel)上。LED被激活从而照亮车辆前方的区域。在该说明性实施例中，物体150被照亮并且物体130将阴影投射到相机的FOV 140中。可以利用其他LED反复进行该过程，使得响应于每个LED被激活，阴影被投射到FOV 140内。车辆110内的图像处理电路可操作以随后检测图像内的阴影，并随后推断出物体150的存在。然后，车辆控制器可操作以避开物体或向车辆操作者发出警告。

现在转到图2，示出了用于机动车辆200中的相机盲区中的物体检测的系统的示例性装置。示例性装置被安装在车辆120的前侧。相机140安装在车辆140上的高位置。在该示例性实施例中，相机140安装在挡风玻璃的后方且在挡风玻璃的上边缘处。该装置还具有安装在前保险杠面板(front bumper facia)上、靠近路面的多个LED 160。根据当前公开的系统和方法可以使用任何数量的LED，这是个设计选择的问题。

现在转到图3，示出了用于机动车辆的相机盲区中物体检测的示例性系统的框图300。该示例性系统包括图像处理器310、相机320、LED阵列330、车辆处理器350和车辆控制器360。在该示例性实施例中，该系统是使用LED阵列来检测车辆前面板的滴水线(dripline)处的物体的低成本系统。当物体处于相机320的被遮挡区域时，该系统可操作以使用阴影来检测近处的物体。相机320可操作以捕获第一FOV的图像。在该示例性实施例中，FOV面向车辆前方。相机320可操作以捕获图像，将图像转换为图像的数字表示并将该数字表示耦合到图像处理器310。相机320可包括用于检测更大范围的亮度的高动态范围传感器。根据当前公开的方法和系统，其在检测阴影方面是有利的。

LED阵列330可以包括多个LED或单个LED，以在FOV的方向上射出可见光或近可见光。在该示例性实施例中，LED阵列330可以安装在比相机320低的位置，使得当LED阵列330照亮相机320被遮挡的物体产生阴影。LED阵列330可操作以轮流点亮每个LED，以使得当物体被照亮时产生移动的阴影。当处理所捕获的图像的连续数字表示时，图像处理器310可以更容易地检测该移动的阴影。

根据示例性实施例，图像处理器310可操作以接收由相机320捕获的图像的数字表示并处理该数据。图像处理器320可操作以比较后续图像，以响应于LED阵列330的至少一个发光LED来确定阴影等的外观。响应于该比较，图像处理器320可操作以生成控制信号，以向车辆处理器350指示在FOV方向上存在潜在的物体。控制信号可以指示物体与车辆的接近度等。图像处理器还可操作以处理图像的数字表示，并估计FOV内的各种物体的位置，以及将该信息传达给车辆处理器350。

车辆处理器350可操作以从图像处理器接收数据，并响应于数据而处理车辆控制算法。车辆处理器350还可操作以产生用于耦合到车辆控制器360的控制信号。例如，车辆控制算法可以是自适应巡航算法，其中车辆处理器350可操作以产生控制信号，以便在高速公路行驶期间保持车辆在车道内并且在操作期间避开邻近的物体。控制信号耦合到车辆控制器360，以响应于由车辆处理器350产生的控制信号来控制转向、制动、加速等。

示例性系统可操作以使用不可见的近红外LED阵列投射来自车辆的光，以检测来自相机320盲区中的近处物体在相机320FOV内的阴影。阵列内的LED可以是脉冲的，并且与每个其他相机帧同步，以消除强烈的环境噪声。LED可以是轮流脉冲的，并与相机同步以消除强烈的环境噪声。可选地，脉冲可以在时间上或空间上编码以用于环境光抑制。基于阴影图案和返回强度(return intensity strength)，该系统可操作以三角定位物体。可替换地，可以使用单个宽FOV检测器而不是相机来检测阴影。

现在转到图4，示出了用于机动车辆的相机盲区中物体检测的示例性方法400的流程图。示例性方法400首先在410处操作使用LED阵列或其他照明装置从车辆上的低位置照亮FOV。然后，在420处使用相机，通过时间和/或空间操作监视FOV的照明。在时间操作中，相机可以与LED照明同步以去除强环境噪声。在空间操作中，可以物体一次点亮单个LED，并且响应返回强度三角测量物体位置。然后，在430处，该方法可操作以确定是否检测到阴影430。在440处，如果检测到阴影，则假定物体存在，并且生成指示物体的控制信号以及返回以在410处照亮FOV。如果没有检测到阴影，在450处，则该方法可操作返回以在410处照亮FOV。

现在转到图5，示出了在低对比度条件期间用于机动车辆的相机盲区中的物体检测的示例性方法500的流程图。由于强烈的环境照明条件，例如明亮的阳光或正在靠近的前灯，低对比度条件可能导致低对比度阴影。示例性方法500首先在510处操作以使相机捕获的图像与LED照明同步。然后，在520处，该方法可操作以捕获用LED照亮的第一图像。在530处，该方法接下来可操作以捕获LED未照亮的第二图像。然后，在540处，从第二图像中减去第一图像以产生无噪声阴影图像。然后，在550处，响应于无噪声阴影图像，检测该物体，并与传统图像融合。然后，在550处，由图像处理器处理该图像或耦合到车辆处理器以用于车辆控制算法。

应该强调的是，可以对本文说明的实施例进行许多变化和修改，其中的要素应被理解为是其他可接受的示例。所有这些修改和变化旨在包括在本公开的范围内并且由所附权利要求保护。此外，本文说明的任何步骤可以同时或以与本文所示的步骤不同的顺序进行。此外，显然本文公开的特定实施例的特征和属性可以以不同方式组合以形成另外的实施例，所有这些都落入本公开的范围内。

除非另有说明，或者在上下文中以其他方式理解为所使用的，否则本文使用的条件语言，例如“可以”(can)、“可以”(could)、“可能”(might)、“可以”(may)、“例如”(e.g.,)等等通常旨在表达某些实施例包括、而其他实施例不包括某些特征、要素和/或状态。因此，这种条件语言通常不旨在暗示一个或多个实施例以任何方式需要特征、要素和/或状态，或者一个或多个实施例必须包括用于在有或没有作者输入或提示的情况下决定的逻辑，不论这些特征、要素和/或状态包括在任何特定实施例中或将在任何特定实施例中执行。

此外，本文可能使用以下术语。除非上下文另有明确规定，否则单数形式“一”(a)、“一个”(an)和“该”(the)包括复数。因此，例如，对一个项目的引用包括对一个或多个项目的引用。术语“那些”(ones)是指一个、两个或更多个，并且通常适用于选择一些或全部数量。术语“多个”(plurality)是指项目中的两个或更多个。术语“约”(about)或“近似”(approximately)意味着数量、维度、大小、公式、参数、形状和其他特征不需要精确，而可以根据需要近似和/或更大或更小，反映可接受的公差、转换因子、四舍五入、测量误差等以及本领域技术人员已知的其他因素。术语“基本上”(substantially)意味着所述特征、参数或值不需要精确地实现，而是可以以不排除该特征旨在提供的效果的量发生偏差或变化，包括例如公差、测量误差、测量精度限制和本领域技术人员已知的其他因素。

可以以范围格式在此表达或呈现数值数据。应当理解，这样的范围格式仅仅是为了方便和简洁而使用，因此应该灵活地解释为不仅包括明确列举为范围限制的数值，而且还解释为包括所有单独的数值，或者包含在该范围内的子范围，就像每个数值和子范围被明确地叙述那样。作为说明，“约1至5”的数值范围应该被解释为不仅包括明确列举的约1至约5的值，而且还应该被解释为还包括在指示范围内的单个值和子范围。因此，包括在该数值范围内的是诸如2、3和4的单个值以及诸如“约1至约3”、“约2至约4”、“约3至约5”、“1至3”、“2至4”、“3至5”等子范围。同样的原则适用于仅指出一个数值(例如，“大于约1”)的范围，并且无论范围的广度或正在说明的特征如何。为方便起见，可以在公共列表中呈现多个项目。但是，这些列表应该被解释为好像列表中的每个元素都被标识为一个单独且独特的元素。因此，不应仅基于它们在共同组中的呈现而将此类列表中的任何个别元素理解为事实上等同于同一列表中的任何其他元素，除非有相反的指示。此外，当术语“和”(and)和“或”(or)与项目列表结合使用时，它们应被广义地解释为所列出的项目中的任何一个或多个可以单独使用或与其他列出的项目组合使用。术语“可选地”(alternatively)是指选择两个或更多个替代方案中的一个，并且不旨在将选择仅限于那些列出的替代方案或者仅限于所列出的替代方案中的一个，除非上下文另有明确说明。

本文公开的过程、方法或算法可以由处理设备、控制器或计算机递送/实施，处理设备、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以存储为可由控制器或计算机以许多形式执行的数据和指令，包括但不限于永久存储在诸如ROM设备之类的不可写存储介质上的信息以及可存储在诸如软盘、磁带、CD、RAM设备和其他磁性和光学介质等可写存储介质上的信息。过程、方法或算法也可以在软件可执行物体中实现。或者，可以使用合适的硬件组件例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件组件或设备、或者硬件、软件和固件组件的组合来全部地或部分地实现过程、方法或算法。这样的示例设备可以作为车辆计算系统的一部分在车上或者在车外定位并且与一个或多个车辆上的设备进行远程通信。

虽然以上说明了示例性实施例，但并不意味着这些实施例说明了权利要求所包含保护的所有可能的形式。说明书中使用的词语是说明性词语而不是限制性词语，并且应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种变更。如前所述，各种实施例的特征可以组合以形成可能未明确说明或本公开的其他示例性方面。虽然各种实施例可以被说明为相对于一个或多个期望特性提供优于其他实施例或现有技术的实现方式，但是本领域普通技术人员认识到，取决于具体的应用程序和实现，可以损害一个或多个特征或特性以实现所期望的整体系统属性。这些属性可以包括但不限于成本、强度、耐久性、生命周期成本、可销售性、外观、包装、尺寸、可维护性、重量、可制造性、易于组装等。因此，说明的关于一个或多个特性不如其他实施例或现有技术的实施例的实现不在本公开的范围之外，并且对于特定应用可能是期望的。

Claims (8)

1.一种方法，包括：

通过安装在车辆保险杠上的光源,使用第一光源照亮视野；

通过安装在车辆挡风玻璃上边缘且位于所述保险杠上方的检测器，捕捉视野的图像；

通过处理器检测图像内的阴影；

通过所述处理器响应于阴影而确定物体的存在，其中所述物体在图像中被遮挡；

通过所述处理器响应于物体的存在而产生控制信号；以及

通过车辆控制器响应于控制信号而控制车辆；

其中，所述第一光源包括多个发光二极管，多个所述发光二极管轮流点亮以使得所述物体被照亮时产生移动的所述阴影。

2.如权利要求1所述的方法，其中，响应于所述控制信号而控制车辆转向系统。

3.如权利要求1所述的方法，其中，所述检测器安装于所述车辆的位置高于所述光源安装于所述车辆的位置。

4.如权利要求1所述的方法，其中，所述图像包括在第一时间拍摄的第一图像和在第二时间拍摄的第二图像，并且响应于第一图像和第二图像的比较而检测阴影。

5.如权利要求1所述的方法，其中，响应于确定物体的存在而产生警告。

6.如权利要求1所述的方法，其中，当所述物体被所述光源照射时，所述物体的阴影延伸到所述图像的未被遮挡的部分。

7.一种装置，包括：

安装在车辆保险杠上的光源，用于照亮视野；

安装在车辆挡风玻璃上边缘且位于所述保险杠上方的检测器，用于捕获视野的图像；

处理器，用于检测图像内的阴影，响应于阴影而确定物体的存在，并响应于物体的存在而产生控制信号，其中所述物体在图像中被遮挡；以及

车辆控制器，用于响应于控制信号而控制车辆；

其中，所述光源包括多个发光二极管，多个所述发光二极管轮流点亮以使得所述物体被照亮时产生移动的所述阴影。

8.一种用于确定视野内存在物体的设备，包括：

安装在车辆保险杠上的LED阵列，用于在第一时间使用第一LED照射视野，并在第二时间使用第二LED照射视野；

安装在车辆挡风玻璃上边缘且位于所述保险杠上方的相机，用于在第一时间捕获第一图像并在第二时间捕获第二图像；

处理器，用于比较第一图像和第二图像以检测阴影，响应于所述阴影而确定物体的存在，并响应于确定物体的存在而产生控制信号，其中，所述物体在所述第一图像和所述第二图像中被遮挡；以及

车辆控制器，用于响应于控制信号而控制车辆；

其中，所述LED阵列包括多个发光二极管，多个所述发光二极管轮流点亮以使得所述物体被照亮时产生移动的所述阴影。

Images