CN108352057A - 具有多相机对准的车辆相机系统 - Google Patents

Abstract

描述了用于通过使用查找表将来自每一个相机的原始图像转换成经校正的输出图像来基于来自具有重叠视场的多个相机的图像数据而创建统一输出图像的系统和方法。通过基于重叠视场中的特征点检测和匹配而生成经更新的查找表来缓解相机未对准。

Description

具有多相机对准的车辆相机系统

背景技术

本发明涉及捕获车辆周围区域的图像并且向车辆的驾驶员显示图像数据或使用图像数据以操作另一车辆系统的车辆相机系统。

发明内容

当显示来自具有重叠视场的相机的视频或静止图像数据时，相机被对准以消除分散注意力的不连续性并且提供统一图像是合期望的。本文所描述的系统和方法中的一些提供用于车辆的多相机系统，所述多相机系统包括具有重叠视场的车辆上的至少两个相机和中央处理器。处理器从相机接收图像数据，解释图像数据，并且从初始相机放置确定相邻相机之间的相机取向未对准。一旦已经确定未对准，处理器可以对传入图像进行变换以呈现包括来自两个相机的图像数据的统一图像。

在一些实现方式中，系统配置成生成“顶视图”图像和/或视频数据以模拟由定位成从上方向下看到车辆上的相机捕获的图像。然后可以在安置在车辆内部中的显示屏上向车辆的驾驶员显示顶视图图像。顶视图图像还可以由其它自动化或半自动化车辆系统使用，所述其它自动化或半自动化车辆系统包括车道偏离警告系统、备用辅助系统和自适应巡航控制系统。

在一个实施例中，本发明提供了一种使用来自位于车辆上的至少两个相机的图像数据生成经对准的统一图像的方法。从位于车辆上的第一相机接收原始图像数据，并且使用第一查找表将原始图像数据转换成第一经校正的输出图像。第一查找表限定来自原始图像数据的至少一个像素位置，所述至少一个像素位置对应于第一经校正的输出图像的每一个像素。第一经校正的输出图像具有不同于来自第一相机的原始图像数据的视角。还从位于车辆上的第二相机接收原始图像数据，并且使用第二查找表将原始图像数据转换成第二经校正的输出图像。第二相机的视场与第一相机的视场部分重叠。通过组合第一经校正的输出图像和第二经校正的输出图像来生成第一统一输出图像。然而，在第一统一输出图像中，来自第一经校正的输出图像的图像数据相对于来自第二经校正的输出图像的图像数据未对准。在第一经校正的输出图像和第二经校正的输出图像中的每一个中检测多个特征点。将来自第一经校正的输出图像的特征点匹配到来自第二经校正的输出图像的特征点，并且基于经匹配的特征点的未对准而确定第一相机的横摆、俯仰和侧倾。基于所确定的第一相机的横摆、俯仰和侧倾，更新第一查找表。

在另一实施例中，本发明提供了一种多相机车辆成像系统，包括第一相机、第二相机、处理器和存储器。存储器存储第一查找表、第二查找表和计算机可执行指令，所述计算机可执行指令在由处理器执行时，处理来自第一和第二相机的图像数据以产生经对准的经校正图像。

从位于车辆上的第一相机接收原始图像数据，并且使用第一查找表将原始图像数据转换成第一经校正的输出图像。第一查找表限定来自原始图像数据的至少一个像素位置，所述至少一个像素位置对应于第一经校正的输出图像的每一个像素。第一经校正的输出图像具有不同于来自第一相机的原始图像数据的视角。还从第二相机接收原始图像数据，并且使用第二查找表将原始图像数据转换成第二经校正的输出图像。第二相机也位于车辆上，并且具有与第一相机的视场部分重叠的视场。

多相机成像系统通过组合第一经校正的输出图像和第二经校正的输出图像来生成第一统一输出图像。然而，在第一统一输出图像中，来自第一经校正的输出图像的图像数据相对于来自第二经校正的输出图像的图像数据未对准。在第一经校正的输出图像和第二经校正的输出图像中的每一个中检测多个特征点。将来自第一经校正的输出图像的特征点匹配到来自第二经校正的输出图像的特征点，并且基于经匹配的特征点的未对准而确定第一相机的横摆、俯仰和侧倾。基于所确定的第一相机的横摆、俯仰和侧倾而更新第一查找表，并且将第一查找表存储到存储器以用于在随后处理图像数据时使用。

通过考虑详细描述和附图，本发明的其它方面将变得明显。

附图说明

图1A是根据一个实施例的用于车辆的多相机成像系统的框图。

图1B是配备有图1A的多相机成像系统的车辆的俯视图。

图2是相机未对准情况下由图1A的多相机成像系统生成的顶视图图像的示例。

图3是用于缓解图1A的多相机成像系统中的相机未对准的方法的流程图。

图4是用于执行图1A的多相机成像系统中的相机图像的信号调节的方法的流程图。

图5A是由图1A的多相机成像系统的相机中的两个相机捕获的未经调节的图像的示例。

图5B是在应用图4的信号调节方法之后的图5A的相机图像的示例。

图6是用于检测和匹配图1A的多相机成像系统中的具有重叠视场的相机中的特征点的方法的流程图。

图7是来自图1A的系统中的具有重叠视场的三个相机的经顶视图校正的图像，所述图像突出了根据图6的方法所检测到和匹配的特征点。

图8是用于确定针对图1A的多相机成像系统的横摆、俯仰和侧倾调整的方法的流程图。

图9是用于生成经更新的查找表以修正图1A的多相机成像系统中的相机未对准的方法的流程图。

具体实施方式

在详细解释本发明的任何实施例之前，要理解到，本发明在其应用方面不受限于在以下描述中阐述或在附图中图示的组件的构造和布置的细节。本发明能够具有其它实施例，并且能够以各种方式实践或实施。

应当指出的是，多个基于硬件和软件的设备以及多个不同结构的组件可以用于实现本发明。此外，应当理解到，本发明的实施例可以包括硬件、软件和电子组件或模块，出于讨论的目的，所述硬件、软件和电子组件或模块可以被图示和描述为如同组件的大部分仅仅在硬件中实现。然而，本领域普通技术人员，并且基于该详细描述的阅读，将认识到，在至少一个实施例中，本发明的基于电子的方面可以实现在可由一个或多个处理器执行的软件（例如存储在非暂时性计算机可读介质上）中。照此，应当指出的是，多个基于硬件和软件的设备以及多个不同结构的组件可以用于实现本发明。例如，在说明书中描述的“控制单元”和“控制器”可以包括一个或多个处理器、一个或多个存储器模块，包括非暂时性计算机可读介质，一个或多个输入/输出接口，以及连接组件的各种连接（例如系统总线）。

图1A图示了用于车辆的多相机成像系统100的示例。系统包括可安装在车辆上的四个相机。这四个相机包括前置相机101、后置相机103、左侧相机105和右侧相机107。如图1B中所示，前置相机101要安装在车辆的前部上（例如靠近车辆的前保险杠），具有包括车辆前方的区域的视场。类似地，后置相机103要安装在车辆的后部上（例如靠近后部车牌底座），具有包括车辆背后的区域的视场。左侧相机105要安装在车辆的左侧上（例如在左外后视镜外壳中），具有包括车辆左边的区域的视场。右侧相机107要安装在车辆的右侧上（例如在右外后视镜外壳中），具有包括车辆右边的区域的视场。

在一些实现方式中，相机101、103、105、107配备有“鱼眼”/全向透镜以增加每一个相机的视场角。在其它实现方式中，可以使用捕获更加传统的“直线”图像数据的广角透镜系统。然而，在任一情况下，在该示例中，相机101、103、105、107配置和定位成使得每一个相机的视场与两个相邻相机的视场部分重叠。例如，如图1B中所图示的，前置相机101和左侧相机105的视场在标记为感兴趣区（ROI）A的区域处重叠。左侧相机105和后置相机103的视场在标记为ROI B的区域处重叠，后置相机103和右侧相机107的视场在标记为ROI C的区域处重叠，并且右侧相机107和前置相机101的视场在标记为ROI D的区域处重叠。

现在返回到图1A，成像系统100还包括成像处理单元109，所述成像处理单元109从四个相机101、103、105、107中的每一个接收图像数据。图像处理单元109包括处理器111和存储器113。存储器113可以包括各种模态的一个或多个非暂时性计算机可读存储器设备，包括例如RAM、ROM、硬盘、闪存等。存储器113存储指令，所述指令在由处理器执行时，使得图像处理单元能够提供以下描述的功能性。存储器113还存储信息，所述信息由图像处理系统用于将来自多个相机的原始相机数据转换成包括查找表的统一输出图像，如以下进一步详细描述的。

图像处理单元109配置成处理来自所连接的相机101、103、105、107中的一个或多个的图像数据，并且生成在位于车辆内部的显示屏115上向车辆的驾驶员显示的输出图像。可替换地或此外，图像处理单元109可以向本地或远程定位的另一显示屏和向配置成基于图像数据进行操作的其它自动化或半自动化车辆控制系统117传输图像数据（通过有线或无线接口）。这样的车辆控制系统可以包括例如车道偏离警告系统、备用辅助系统、停车辅助系统和各种其它自动化巡航控制系统。

在一些实现方式中，图1A的成像系统100配置成处理来自每一个相机101、103、105、107的原始图像数据，并且将来自每一个相机的图像数据转换成“顶视图”视角。然后将经顶视图校正的图像整合成单个图像输出以模拟将由定位成从上方向下看到车辆上的相机捕获的图像。图2图示了由图像处理单元109生成并且在显示屏115中示出的一个这样的“顶视图”图像201的示例。由于具有部分重叠的视场的四个相机101、103、105、107位于车辆周围，因此所捕获的图像数据包括车辆周围地面的图像数据。该图像数据与车辆自身203的所存储的“顶视图”图像组合，所述“顶视图”图像被插入在由四个相机101、103、105、107捕获的经整合的图像数据的中间，如图2中所示。

在该示例中，由成像系统100中的四个相机中的每一个提供的图像数据取决于数个校准参数，以便使每一个视频图像被正确地校正成均匀的顶视图（或其它组合视图）。可以将这些参数划分成两类：内在参数和外在参数。

内在参数是与每一个单独的相机相关联的基本特性，并且可以包括相机透镜/图像中心点（由2D坐标m0，n0限定）、相机纵横比（ar）、相机焦距（a0），以及对于鱼眼/全向透镜而言包括用于将图像适应于鱼眼透镜的相机多项式（a）。外在参数限定相机在车辆上的物理位置和安装，并且包括相机的物理安装位置（X_c，Y_c，Z_c）以及三个相机安装角度——横摆、俯仰和侧倾。

用于针对相机系统的内在和外在参数的初始值可以通过校准过程来确定。例如，配备有成像系统100的车辆可以位于平坦地面上的拼贴网格上，如图1A中所示。拼贴网格可以包括经限定的参考点，并且可以基于拼贴网格上的经限定的参考点中的一个或多个的每一个相机主观视图而单独地校准针对每一个相机的内在&外在参数。

在校准过程期间相对于拼贴网格上的参考点而标识外在参数（即相机安装位置和角度）。由于这些参考点之间的距离已知，因此当生成将用于将来自每一个相机的原始图像数据转换成“顶视图”图像数据的查找表时，可以求解绝对相机位置和角度。查找表的生成要求作为输入的相机的参数和x&y世界坐标参考点中的每一个。与车辆中心有关地并且沿地平面限定这些参考点。LUT生成算法使用一组“虚拟相机”参数——包括位置、方向、视场和尺度——以及屏幕输出特性，以限定输出图像将看起来像什么。然后对所生成的未经分类的LUT进行分类和压缩以供图像处理单元109使用来将来自每一个相机的原始图像数据转换成从“虚拟相机”的视角来看的统一输出图像（例如图2的“顶视图”图像）。

内在相机参数在相机的寿命内一般不改变，并且照此，一旦在制造或安装时在校准期间确定，它们可以在上电时或按需被输送至图像处理单元109。对于数字系统，可以通过LVDS I2C反向信道传输数据。对于模拟系统，可以通过LIN反向信道或通过叠覆机制传输数据。

当它们被安装在车辆上并且被校准时，近似相机位置和取向将是已知的。然而，由于例如容差叠加和寿命循环改变，相机在车辆寿命期间可能变得非对准。图2图示了当左侧相机未对准时成像系统100的输出的示例。如在图2中所见，当显示在屏幕上时，绘制在道路表面上的线条使得未对准是容易可注意到的。来自左侧相机图像的绘制线在区域205处相对于来自前置相机的绘制线并且在区域207处相对于来自后置相机的绘制线偏斜。该未对准不仅影响结果得到的显示图像的质量，而且如果依赖于图像数据以用于操纵车辆则可能呈现安全危险。

照此，成像系统100的图像处理单元109配置成提供相机的自动对准。可以以“按需”方式提供自动对准，使得当由用户或技术人员发起时执行自动对准，例如在生产结束时或在车辆服务期间执行。可替换地，系统100可以配置成连续监视成像系统的输出并且以“实时”方式做出调整以补偿由于比如胎压改变或车辆负载改变之类的情形所导致的偏差。

图3图示了用于使用图1A的成像系统100来评估、检测和缓解左侧相机105（诸如图2中所图示的）的相机未对准的方法。如以上所指出的，在一些实现方式中，图像处理单元109的存储器113存储指令，所述指令在由处理器111执行时，使得图像处理单元109执行图3的方法。存储器113还存储附加的指令以评估、检测和缓解系统100中的其它相机（包括前置相机101、后置相机103和右侧相机107）的未对准。

图像处理单元（IPU）109从左侧相机105接收原始图像数据（步骤301），并且使用查找表（LUT）将原始图像数据转换成顶视图图像（步骤303）。查找表限定输入图像中的像素位置与输出图像中的对应像素位置之间的关系。照此，可以通过将来自原始图像中的像素位置的像素数据拷贝到输出顶视图图像中的对应像素位置来将来自左侧相机的原始图像转换成顶视图图像。IPU 109然后标识将与前置相机重叠的经校正的顶视图图像中的感兴趣区（ROI A），以及将与后置相机重叠的感兴趣区（ROI B）（步骤305），并且在图像数据上执行信号/图像调节（针对整个顶视图图像或仅针对所标识的感兴趣区），如以下进一步详细描述的（步骤307）。

IPU 109类似地从前置相机接收原始图像数据（步骤309），使用另一查找表（LUT）将原始图像数据转换成顶视图图像（步骤311），标识与左侧相机顶视图图像数据中的重叠感兴趣区对应的经校正的顶视图图像中的感兴趣区（即ROI A）（步骤313），并且执行类似的信号/图像调节（步骤315）。IPU 109还从后置相机接收原始图像数据（步骤317），使用又一查找表将原始图像数据转换成顶视图图像（步骤319），标识与左侧相机顶视图图像数据中的重叠感兴趣区对应的经校正的顶视图图像中的感兴趣区（即ROI B）（步骤321），并且再次执行类似的信号/图像调节（步骤323）。

在将原始图像数据转换成经顶视图校正的图像数据并且执行信号/图像调节之后，分析所标识的感兴趣区（ROI A）中的来自前置相机和左侧相机的图像数据以检测、提取和匹配图像数据中的特征点（步骤325）。还在ROI B中在来自左侧相机和后置相机的图像数据中检测、提取和匹配特征点（步骤327）。以下进一步详细描述用于检测、提取和匹配重叠感兴趣区中的特征点的方法的详细示例。

在检测到和匹配每个重叠感兴趣区中的特征点之后，过滤特征点（步骤329）并且在每一个感兴趣区中选择特征点的有限子集（步骤331）。如以下进一步详细描述的，在该示例中，在每一个感兴趣区中标识四个匹配的特征点，并且将所述特征点用于求解针对左侧相机的适当横摆、俯仰和侧倾调整（步骤333）。在确定适当的横摆、俯仰和侧倾调整之后，生成新的、经更新的查找表（步骤335）并且将所述查找表随后用于将来自左侧相机的原始图像数据转换成顶视图图像数据（步骤303），所述顶视图图像数据将被合并到在显示器上示出的统一顶视图图像中。

使用以上指出的方法来将原始图像数据转换成经顶视图校正的视频图像可能引起一些问题。例如，图像转换过程可能要求下采样，这导致可见的混叠伪像。在成像系统100中在某种程度上减少这些伪像，因为仅使用重叠区，并且重叠区展现不太严重的下采样。自由运转的相机在颜色和亮度方面也可能是未经匹配的，并且由于未对准，传统的亮度和颜色匹配算法可能无法实现最优的结果。为了补偿这些问题并且确保对应的特征点在来自两个相机的重叠图像数据中更易于检测，调节传入的图像数据（如以上在图3的步骤307、315和323中所指出的）。

图4图示了这样的信号/图像调节的一个示例。该方法以未经调节的经顶视图校正的图像开始（步骤401）。为了最小化计算时间，将（整个图像或仅重叠ROI的）视频数据从ARGB转换成灰阶（步骤403）。向灰阶的该转换还服务两个其它目的——它“登记”视频数据，使得其不改变，并且它准备图像数据以用于直方图平衡化。在转换成灰阶之后，应用高斯模糊过滤器以减少混叠伪像中的一些（步骤405）。在一些实现方式中，在下变频之前执行该过滤。最后，执行直方图平衡化以使得来自两个相机（即左侧相机&前置相机或左侧相机&后置相机）的重叠图像数据尽可能类似（步骤407）。然后传递经信号调节的、经顶视图校正的图像数据以用于特征点分析（步骤409）。

图5A图示了来自前置相机和来自左侧相机的针对ROI A的经顶视图校正的图像数据的示例。图5B示出在完成图4的信号调节之后的相同图像数据。

在调节经顶视图校正的图像之后，IPU 109应用例程以检测、提取和匹配每一个重叠感兴趣区中的来自两个不同相机的特征点。图6图示了用于检测和匹配重叠感兴趣区中的特征点的方法的一个示例。首先，如以上参考图4所讨论的那样调节来自前置相机、左侧相机和后置相机的经顶部视图校正的图像数据（分别为步骤601、603和605）。IPU 109然后执行针对每一个相机图像的ORB特征检测（分别为步骤607、609和611）。ORB（经取向的FAST和经旋转的BRIEF）是足够鲁棒以补偿亮度、缩放和仿射变换方面的微小差异的特征点检测算法。ORB特征检测器是基于FAST检测算法，但是还提供特征点取向信息以更好地支持两个重叠图像之间的仿射差异。

在检测到特征点之后，IPU 109向针对三个相机中的每一个的感兴趣区应用ORB描述符提取器算法（分别为步骤613、615和617）。ORB描述符提取器提供针对所检测到的特征点中的每一个的32位描述符。

在三个相机图像中的每一个中检测到和提取特征点之后，在三个步骤中执行每一个重叠感兴趣区中的特征点的匹配。首先，找到重叠ROI中的两个图像之间的两个最接近的描述符匹配。两个最接近的匹配是具有两个点之间的最小汉明距离的那些。第二，对照经限定的阈值检查这些距离之比以确定是否点之一是比其它点明显更好的匹配。舍弃不“唯一地”匹配于其它相机图像中的单个对应点的点。针对前向左重叠感兴趣区（分别为步骤619和621）和针对左向后重叠感兴趣区（分别为步骤623和625）分离地执行“最近邻居”匹配和比率匹配步骤。为了调和两个匹配，进行对称性匹配以确定对于两个方向存在哪些匹配（步骤627）。对称性匹配确保从相机A到相机B的匹配点与从相机B到相机A的匹配点的对应集合一致。如果在两个方向（即左向前和前向左）上找到相同配对，则系统得出存在正确匹配的结论。

图7图示了针对左侧相机701的经顶视图校正的图像的示例，所述左侧相机701靠近针对前置相机703的经顶视图校正的图像的重叠部分和针对后置相机705的经顶视图校正的图像的重叠部分定位。在图7中示出已做记号的通过步骤607、609和611检测到的特征点。图7还示出连接重叠相机图像中的“匹配”点的线。

图6的示例中的算法被设计成获取众多特征点并且然后利用匹配操作过滤掉“糟糕的”那些。可替换地，检测/匹配算法可以适配成在标识特征点方面更具选择性，并且然后应用宽松“匹配”要求。然而，如果调谐算法以允许不太具区分性的匹配——导致每次获取的更多匹配，IPU 109可以配置成应用直方图离群值过滤以确保可靠的结果（参见例如图3的步骤329）。通过基于每一个匹配的点配对中的距离ΔX和ΔY而构造粗略直方图来执行直方图离群值过滤。根据分析移除离群的点（即最远离最大直方图组（bin）的那些）。一旦执行过滤，选择每一个感兴趣区中的四个极端匹配点（即在过滤之后定位成最远离彼此的四个剩余的匹配点）（图3的步骤331）并且将所述匹配点用于确定相机的横摆、俯仰&侧倾。

在标识到匹配的特征点并且标识到每一个ROI中的四个极端匹配点之后，IPU 109开始使用所标识的极端匹配点求解左侧相机的正确横摆、俯仰和侧倾。图8图示了用于求解YPR的方法的一个示例。针对求解相机的横摆、俯仰和侧倾的基本前提是通过最小化每一个相机的匹配特征点之间的欧几里得误差。求解YPR的第一部分是粗略迭代。该粗略迭代循环通过横摆、俯仰和侧倾调整的完整范围以找到近似解（即其中误差最小）（步骤801）。一旦已经做出该粗略近似（步骤803），执行非线性优化以通过最小化经对准的和未对准的点之间的均方误差（MSE）直到标识到精炼的对准解来精炼初始近似（步骤805）。

现在已经确定左侧相机的横摆、俯仰和侧倾（YPR），IPU 109基于所确定的YPR生成经更新的LUT（参见例如图3中的步骤335）。经更新的LUT配置成使得当其用于转换来自左侧相机的原始图像数据时，经顶视图校正的图像将与前置相机图像数据和后置相机图像数据正确地对准。如图9中所图示的，IPU 109首先生成未经分类的LUT（步骤901）。IPU 109被编程为执行LUT生成算法，其使用预先限定的特性（例如内在相机参数、外在相机参数、参考点、虚拟相机参数和屏幕输出参数）以确定哪些输入流像素应当用于创建结果得到的顶视图图像中的每一个输出像素。创建未经分类的LUT在某种程度上是校正的逆变换。该阶段的输出是根据输出像素和对应的输入像素限定的“未经分类的”LUT。

LUT生成的第二步骤（步骤903）是关于输入像素顺序对“未经分类的”LUT进行分类。“经分类的”LUT被排序成使得其被优化以允许图像处理硬件最快地执行传入视频流上的校正。然后正确地格式化经分类的LUT（步骤905）。经分类和格式化的LUT然后最终被压缩以最小化存储器带宽要求，并且帧化（frame）传入数据使得其可以被高效地写入到存储器（步骤907）。

尽管以上讨论的示例具体地指代调整左侧相机的对准，如以上所指出的，但是在一些实现方式中，IPU 109配置成类似地评估和缓解成像系统100中的其它相机的未对准。例如，在一些实现方式中，IPU 109配置成检测两个相邻相机之间的未对准。当检测到未对准时，IPU 109评估每一个相机是否与其它相邻相机对准。例如，如果检测到左侧相机与前置相机之间的未对准，IPU 109将检查左侧相机与后置相机之间的未对准，并且将检查前置相机与右侧相机之间的未对准。如果IPU 109确定左侧相机与后置相机正确地对准，但是前置相机还与右侧相机未对准，IPU 109将得出以下结论：前置相机未对准，并且将针对前置相机执行图3的对准方法以生成经更新的LUT。

另外，尽管以上描述的示例讨论四相机系统，但是在其它实现方式中，本文所描述的方法和系统可以适配于具有更多或更少相机的系统。

而且，尽管以上描述的示例具体地讨论配置成生成顶视图输出图像的系统，但是在其它实现方式中，成像系统100可以配置成通过组合来自具有重叠视场的多个相机的图像数据来生成输出另一类型的统一图像。例如，取代于“顶视图”图像，系统可以配置成创建全景环绕视图。

最后要指出的是，在本文所描述的许多示例中，相机的未对准通过调整用于限定“虚拟相机”的位置的横摆、俯仰和侧倾来缓解。换言之，在一些实现方式中，物理相机自身可以不被移动以修正未对准条件。而是，调整LUT使得当LUT用于转换来自相机的原始图像数据时，顶视图图像数据正确对准。然而，在其它实现方式中，成像系统100还可以包括可控地调整成像系统100中相机中的一个或多个相机的物理位置和/或取向的机构，诸如马达。在这样的实现方式中，系统可以配置成基于在图3的步骤333中确定的横摆、俯仰和侧倾调整而调整未对准的相机的物理位置或取向。LUT然后可以被进一步调整以“精细调谐”来自经物理调整的相机的输出图像数据的对准。

因此，除其它事物之外，本发明提供了这样的系统和方法，所述系统和方法用于通过使用查找表将来自每一个相机的原始图像转换成经校正的输出图像来基于来自具有重叠视场的多个相机的图像数据而创建统一输出图像，并且用于通过基于特征点检测和匹配而生成经更新的查找表来缓解相机未对准。在随附权利要求中阐述本发明的各种特征和优点。

Claims (15)

1.一种使用来自位于车辆上的至少两个相机的图像数据生成经对准的统一图像的方法，所述方法包括：

从位于车辆上的第一相机接收原始图像数据；

使用第一查找表将来自第一相机的原始图像数据转换成第一经校正的输出图像，第一查找表限定与第一经校正的输出图像的每一个像素对应的来自原始图像数据的至少一个像素位置，第一经校正的图像具有不同于来自第一相机的原始图像数据的视角；

从位于车辆上的第二相机接收原始图像数据，其中第二相机的视场与第一相机的视场部分重叠；

使用第二查找表将来自第二相机的原始图像数据转换成第二经校正的输出图像；

通过组合第一经校正的输出图像和第二经校正的输出图像来生成第一统一输出图像，其中来自第一统一输出图像中的第一经校正的输出图像的图像数据相对于来自第一统一输出图像中的第二经校正的输出图像的图像数据未对准；

检测第一经校正的输出图像中的多个特征点和第二经校正的输出图像中的多个特征点；

将第一经校正的输出图像中的多个特征点中的每一个特征点匹配到第二经校正的输出图像中的多个特征点中的对应特征点；

基于经匹配的特征点的未对准而确定第一相机的横摆、俯仰和侧倾；以及

基于所确定的第一相机的横摆、俯仰和侧倾而更新第一查找表。

2.权利要求1所述的方法，还包括：

从第一相机接收另外的原始图像数据；

使用经更新的第一查找表将来自第一相机的另外的原始图像数据转换成第三经校正的输出图像；

从第二相机接收另外的原始图像数据；

使用第二查找表将来自第二相机的另外的原始图像数据转换成第四经校正的输出图像；

通过组合第三经校正的输出图像和第四经校正的输出图像来生成第二统一输出图像，其中来自第二统一输出图像中的第三经校正的输出图像的图像数据相对于来自第四经校正的输出图像的图像数据正确地对准，

其中第三经校正的输出图像的正确对准是通过更新第一查找表的动作来实现的。

3.权利要求2所述的方法，其中第一相机的物理位置在第一统一输出图像和第二统一输出图像的生成之间不改变。

4.权利要求2所述的方法，其中从第一相机接收另外的原始图像数据包括从第一相机接收视频图像数据，其中从第二相机接收另外的原始图像数据包括从第二相机接收视频图像数据，并且所述方法还包括：

通过组合来自第一相机的经校正的视频图像数据与来自第二相机的经校正的视频图像数据来生成统一视频输出。

5.权利要求4所述的方法，还包括在位于车辆内部中的显示屏上显示统一视频输出。

6.权利要求1所述的方法，还包括在检测多个特征点之前调节第一经校正的输出图像和第二经校正的输出图像。

7.权利要求6所述的方法，其中调节第一经校正的输出图像和第二经校正的输出图像包括：

将第一经校正的输出图像和第二经校正的输出图像转换成灰阶，以及

在第一经校正的输出图像和第二经校正的输出图像上执行直方图平衡化。

8.权利要求1所述的方法，还包括：

从位于车辆上的第三相机接收原始图像数据，其中第三相机的视场与第二相机的视场部分重叠；

使用第三查找表将来自第三相机的原始图像数据转换成第三经校正的输出图像；

从位于车辆上的第四相机接收原始图像数据，其中第四相机的视场与第三相机的视场部分重叠并且与第一相机的视场部分重叠；以及

使用第四查找表将来自第四相机的原始图像数据转换成第四经校正的输出图像，

其中生成第一统一输出图像包括通过组合第一经校正的输出图像、第二经校正的输出图像、第三经校正的输出图像和第四经校正的输出图像来生成第一统一输出图像。

9.权利要求8所述的方法，其中第一经校正的输出图像的视角是位于车辆上方的虚拟相机的顶视图视角，并且其中第一统一输出图像包括车辆和围绕车辆的区域的自顶向下视图。

10.权利要求8所述的方法，其中第一相机、第二相机、第三相机和第四相机包括安装在车辆的前端上的相机、安装在车辆的左侧上的相机、安装在车辆的右侧上的相机，以及安装在车辆的后端上的相机。

11.权利要求1所述的方法，其中检测第一经校正的输出图像中的多个特征点和第二经校正的输出图像中的多个特征点还包括检测第一经校正的输出图像中的第二多个特征点，

其中第一经校正的输出图像中的特征点到第二输出图像中的对应特征点的匹配不能将第二多个特征点中的特征点匹配到第二经校正的输出图像中的多个特征点中所检测到的特征点中的任何一个，

所述方法还包括在确定第一相机的横摆、俯仰和侧倾之前过滤掉第一经校正的输出图像中不匹配的第二多个特征点。

12.权利要求1所述的方法，其中将第一经校正的输出图像中的多个特征点中的每一个特征点匹配到第二经校正的输出图像中的多个特征点中的对应特征点包括：

通过针对第一经校正的输出图像中多个特征点中每一个特征点标识最初匹配来自第一经校正的输出图像的特征点的第二经校正的输出图像中多个特征点中的特征点，来执行第一初始匹配步骤；

通过针对第二经校正的输出图像中多个特征点中每一个特征点标识最初匹配来自第二经校正的输出图像的特征点的第一经校正的输出图像中多个特征点中的特征点，来执行第二初始匹配步骤；以及

通过确认来自第一初始匹配步骤的匹配特征点对同样被第二初始匹配步骤匹配来执行对称匹配步骤。

13.权利要求1所述的方法，还包括标识感兴趣区中最远离彼此的限定数目的经匹配的特征点，并且

其中基于经匹配的特征点的未对准而确定第一相机的横摆、俯仰和侧倾包括仅基于所标识的限定数目的经匹配的特征点的未对准来确定第一相机的横摆、俯仰和侧倾。

14.权利要求13所述的方法，其中限定数目的经匹配的特征点是四个经匹配的特征点，并且其中确定第一相机的横摆、俯仰和侧倾包括仅基于四个所标识的匹配特征点的未对准来确定第一相机的横摆、俯仰和侧倾。

15.一种多相机车辆成像系统，包括：

可定位在车辆上的第一相机；

可定位在车辆上的具有与第一相机的视场部分重叠的视场的第二相机；

处理器；以及

存储指令的非暂时性计算机可读存储器，所述指令在由处理器执行时使得多相机车辆成像系统：

从第一相机接收原始图像数据；

使用存储在非暂时性计算机可读存储器上的第一查找表将来自第一相机的原始图像数据转换成第一经校正的输出图像，第一查找表限定与第一经校正的输出图像的每一个像素对应的来自原始图像数据的至少一个像素位置，第一经校正的图像具有不同于来自第一相机的原始图像数据的视角；

从第二相机接收原始图像数据；

使用第二查找表将来自第二相机的原始图像数据转换成第二经校正的输出图像；

通过组合第一经校正的输出图像和第二经校正的输出图像来生成第一统一输出图像，其中来自第一统一输出图像中的第一经校正的输出图像的图像数据相对于来自第一统一输出图像中的第二经校正的输出图像的图像数据未对准；

检测第一经校正的输出图像中的多个特征点和第二经校正的输出图像中的多个特征点；

将第一经校正的输出图像中的多个特征点中的每一个特征点匹配到第二经校正的输出图像中的多个特征点中的对应特征点；

基于经匹配的特征点的未对准而确定第一相机的横摆、俯仰和侧倾；以及

基于所确定的第一相机的横摆、俯仰和侧倾而更新第一查找表。