CN107851305A

CN107851305A - 后部交叉交通快速检视

Info

Publication number: CN107851305A
Application number: CN201680043235.6A
Authority: CN
Inventors: M.巴兰
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-07-24
Filing date: 2016-06-06
Publication date: 2018-03-27
Also published as: KR20180021822A; US9942475B2; JP2018528514A; EP3326146A1; WO2017016722A1; EP3326146B1; US20170026572A1; KR102124298B1

Abstract

在供车辆成像系统中使用的全向图像模型和直线图像模型之间执行各种变换的系统和方法。具体地，面板变换系统和方法用于将来自定位于车辆上的全向相机的全向图像变换为直线图像。然后在执行车辆操纵的同时将直线图像显示给驾驶员使用。面板变换系统和方法还提供了基于全向相机的直线图像模型，以供现有的直线成像处理系统使用。基于由自动和手动系统输入两者定义的可变输入参数集来确定直线图像模型，所述自动和手动系统输入诸如方向盘角度传感器和用户接口。

Description

后部交叉交通快速检视

背景技术

本发明的实施例涉及处理和显示相机图像的系统和方法。具体地，本发明的实施例涉及将全向相机图像转换成直线相机图像。

发明内容

车辆成像系统为车辆的驾驶员提供扩大的视场。位于车辆内部的显示屏幕向驾驶员显示来自车辆相机的图像。例如，后视相机可以被附接到车辆的后部。后视相机被配置为向后指向和向下指向，使得可以通过显示器看到车辆正后方的物体。通过这种方式，驾驶员可以看到由于驾驶员视场中的盲点而不直接可视的车辆后方的物体。

一种类型的后视相机是全向相机（例如鱼眼镜头相机）。全向相机捕捉超广角视图。当安装在车辆的后部时，一些全向相机可以捕捉车辆后方180度的视场。超广视图允许驾驶员检测垂直于驾驶员车辆接近的车辆。当驾驶员正将车辆倒出停车位时，这是特别有利的。在这种场景下，相邻的停放车辆可能会阻碍驾驶员对交叉交通的视场。使用后视相机，当驾驶员尝试实现自然的可视性时，驾驶员可借助显示器离开停车位。

但是，由于全向相机的镜头，投影给车辆驾驶员的图像可能是失真的。由于这种失真，驾驶员难以确定他的车辆与周围车辆之间的距离。另外，也难以基于全向图像来确定周围车辆的速度。因此，利用仅仅向驾驶员投影全向图像的显示器的安全益处是有限的。

本发明的实施例提供了一种将全向图像的感兴趣区域变换为一个或多个直线图像的系统和方法。作为变换的一部分，当显示为直线图像时，全向图像中存在的失真显著减小。使用直线图像，驾驶员可以更准确地判断车辆的距离和速度。另外，直线图像允许驾驶员更好地评估其它物体的存在。例如，驾驶员可以通过直线图像看到并估量到行人、杆、购物车等的距离。

本发明的实施例还提供了一种使用由参数向量定义的面板模型在全向图像模型和直线图像模型之间进行变换的系统和方法。变换包括在全向图像像素与直线图像像素以及在世界坐标与图像像素之间进行映射。电子控制单元计算面板模型，并然后使用面板模型执行各种图像处理功能。这些功能包括将面板模型提供给配置为利用直线图像进行操作的第三方软件和硬件模型。该面板通过对从全向相机的光学原点到全向图像中的感兴趣区域的透视图进行数学建模来呈现直线图像模型。

在一个实施例中，本发明提供了一种通过控制单元将来自位于车辆上的全向相机的全向图像转换为直线图像的方法。控制单元访问全向相机模型，该全向相机模型代表光学坐标系中单位球面上的全向图像。全向机模型具有第一多个像素。控制单元接收定义与单元球面相切的局部平面的参数集。该局部平面代表具有第二多个像素的直线相机模型。控制单元基于该参数集确定局部平面的平面范围，其中该平面范围定义局部平面的边界。接下来，控制单元确定第一多个像素和第二多个像素之间的关系。接收来自全向相机的全向图像，并且控制单元基于第一多个像素和第二多个像素之间的关系从全向图像生成直线图像。

本发明的另一个实施例提供一种操作车辆成像系统的方法。该方法包括在电子控制单元处接收来自基于车辆的全向相机的全向图像。确定第一角度透视向量。然后生成与第一角度透视向量正交的第一直线图像，并将第一直线图像显示给车辆的驾驶员。电子控制单元接收来自驾驶员操作控件的命令。基于命令调整角度透视向量。生成与经调整的角度透视向量正交的第二直线图像，并将第二直线图像显示给驾驶员。

在又一个实施例中，本发明提供了一种车辆成像系统，其包括全向相机、显示器、驾驶员操作控件和电子控制单元。电子控制单元被配置为从全向相机接收全向图像并确定第一角度透视向量。电子控制单元还被配置为生成与第一角度透视向量正交的第一直线图像并将第一直线图像发送到显示器。电子控制单元还被配置为接收来自驾驶员操作控件的命令，基于命令调整角度透视向量，生成与经调整的角度透视向量正交的第二直线图像，并将第二直线图像发送到显示器。

通过考虑详细描述和附图，本发明的其它方面将变得清楚。

附图说明

图1是具有面板变换系统的车辆的图示。

图2是用于图1的面板变换系统的电子控制单元的框图。

图3是使用图1的面板变换系统将全向图像变换为直线图像的方法的流程图。

图4是图3的方法中由图1的全向相机输入到电子控制单元的全向图像。

图5是图3的方法所输出的直线图像。

图6是与图1的面板变换系统的全向相机有关的光学坐标系的3D表示。

图7是显示在图6的光学坐标系上的观察球面的3D表示。

图8是图7的观察球面以及与观察球面相切的局部平面的3D表示。

图9是利用图1的面板变换系统创建面板模型的方法的流程图。

图10是计算图8中所图示的局部平面的方法的流程图。

图11是为图9的方法设置角间距的方法的流程图。

图12是计算用于图9的方法的切平面范围的方法的流程图。

图13是计算用于图9的方法的切平面网格的方法的流程图。

图14是计算用于图9的方法的球面网格的方法的流程图。

图15是观察球面和局部平面之间的投影点的关系的3D表示。

图16是计算用于图9的方法的输出网格的方法的流程图。

图17是使用从图9的方法创建的面板模型将全向像素位置转换为指向世界位置的向量的方法的流程图。

图18是使用从图9的方法创建的面板模型将世界位置转换为局部平面上的像素位置的方法的流程图。

图19是将来自全向图像的像素位置转换为从图9的方法创建的局部平面上的像素位置的方法的流程图。

图20是使用从图9的方法创建的面板模型将来自局部平面的像素位置转换为全向图像上的像素位置的方法的流程图。

图21是使用第一面板模型和第二面板模型将来自第一局部平面的像素位置转换为来自第二局部平面的另一像素位置的方法的流程图。

图22是使用从图9的方法创建的面板模型将观察球面上的点转换为局部平面上的点的方法的流程图。

图23是使用从图9的方法创建的面板模型将局部平面上的点转换为观察球面上的点的方法的流程图。

图24是车辆的俯视图，其展示图1的面板变换系统的视场。

图25A是如由图1的全向相机输入到电子控制单元的全向图像。

图25B是基于图25A的全向图像的变换的直线图像。

图25C是基于使用与图25B中所图示的不同的透视向量的变换的直线图像。

图25D是基于使用与图25B中所图示的不同的再另一透视向量的变换的直线图像。

图26是位于方向盘上的用于调整图25C-25D的透视向量的输入接口的示例。

具体实施方式

在详细解释本发明的任何实施例之前，应该理解，本发明在其应用上并不限于后面描述中所阐述或者附图中所图示的组件的构造和布置的细节。本发明能够有其它实施例并且能够以各种方式实践或施行。

应该注意，可以使用多个基于硬件和软件的设备以及多个不同的结构组件来实现本发明。此外，应该理解的是，本发明的实施例可以包括硬件、软件和电子组件或模块，为了讨论的目的，可以如同大多数组件仅以硬件实现那样图示和描述所述硬件、软件和电子组件或模块。然而，本领域的并基于对该详细描述的阅读的普通技术人员将认识到，在至少一个实施例中，本发明的基于电子的方面可以实现在可由一个或多个处理器执行的软件（例如，存储在非瞬时性计算机可读介质上）中。如此，应该注意，可以利用多个基于硬件和软件的设备以及多个不同的结构组件来实现本发明。例如，说明书中描述的“控制单元”和“控制器”可以包括一个或多个处理器、包括非瞬时性计算机可读介质的一个或多个存储器模块、一个或多个输入/输出接口以及连接组件的各种连接（例如系统总线）。

成像系统的使用在当代车辆中变得越来越多。当代车辆越来越多地在车辆外部包括一个或多个全向相机（例如，鱼眼镜头相机），以提供车辆周围的广角视图。全向相机比传统的直线相机提供了更大的视场。然而，全向相机捕捉与由直线相机捕捉的图像相比出现失真的图像，这是由于图像中的非线性。例如，诸如道路上的车道标记的平行线在由全向相机产生的图像中出现弯曲。通常，这些相机图像被显示给车辆驾驶员以增加驾驶员对周围环境的感知。然而，当向驾驶员显示全向图像时，驾驶员可能难以仅基于全向图像来估量周围车辆的距离和速度。

本文描述的一些系统或方法提供了面板变换，其将从全向相机捕捉的全向图像转换为直线图像以显示给驾驶员。直线图像包含对来自全向图像的失真的校正。经校正的图像有助于驾驶员恰当地估量其它车辆的距离和速度。当驾驶员倒出停车位时这是特别有用的。在这种场景下，驾驶员的视觉可能会被停放在他车辆邻近的车辆妨碍。配备有后视全向相机的车辆可以允许驾驶员观察被邻近车辆妨碍的车辆，例如垂直于车辆接近的车辆。为了使驾驶员可以恰当地探明接近的车辆距离和速度，将全向图像在显示给驾驶员之前变换成直线图像。

面板变换首先在全向图像中建立感兴趣区域。一旦感兴趣区域被定义，面板变换利用本文给出的方法将全向图像的一部分转换成直线图像。通过首先映射全向图像中的感兴趣区域与该感兴趣区域的透视图之间的关系，来使能对图像的该部分的变换。该映射为面板变换提供了执行与全向图像有关的功能阵列的能力。

图1图示装备有面板变换的实施例的车辆100。车辆100包括全向相机105、电子控制单元（ECU 110）、车辆通信总线115（例如CAN总线）、显示器120和输入接口125。一些实施例还包括方向盘130和被配置为向ECU 110提供输入信号的转向角度传感器135。相机105通信地耦合到ECU 110，由此ECU 110访问利用相机105捕捉的多个图像。该多个图像可以是连续的视频流或静止图像的序列。ECU 110处理来自相机105的多个图像，并且将经处理的图像发送到显示器120以供车辆的驾驶员观察。通信总线115将ECU 110与显示器120连同其它车辆系统通信地耦合。通信总线115因此使能ECU 110、显示器120、输入接口125和其它车辆系统之间的通信。在一些实施例中，显示器120和输入接口125被组合成单个单元。例如，输入接口125可以经由显示器120上的触摸屏从驾驶员接收命令。

图2是面板变换的ECU 110的框图。除其它事物外，ECU 110被配置成将全向图像的部分变换为直线图像。ECU 110包括向ECU 110和/或相机105内的组件和模块提供功率、操作控制和保护的多个电气和电子组件。例如，除其它事物外，ECU 110包括控制器205（诸如可编程电子微处理器、微控制器或类似设备）、电源模块210和输入/输出模块215。除其它事物外，控制器205包括处理单元220和存储器225。处理单元220通信地耦合到存储器225并且执行能够被存储在存储器225上的指令。控制器205被配置为从存储器225中检索并执行（除其它事物外）与本文描述的控制过程和方法有关的指令。在其它实施例中，ECU 110包括附加的、更少的或不同的组件。

在图2的实施例中，输入/输出模块215从相机105接收全向图像，并将全向图像传输到控制器205以进行图像处理。然后控制器205基于内部协议和外部命令来处理和变换图像。ECU 110经由通信总线115或ECU 110与显示器120之间的另一通信链路将经变换的图像传输到显示器120。另外，输入/输出模块215从输入接口125接收识别全向图像的感兴趣区域的命令。全向图像的感兴趣区域表示由ECU 110和/或驾驶员确定的在该时间点与驾驶员特别相关的全向图像的一部分。

输入接口125包括使驾驶员能够手动选择全向图像的感兴趣区域的驾驶员控件240。驾驶员控件240可以包括例如按钮、拨盘或操纵杆。通常，驾驶员控件240定位在对驾驶员方便的位置，例如在方向盘130上、在中央控制台上或在仪表板上。特别地，位于方向盘130上的用于音频控制的媒体键可以被配置为允许驾驶员手动选择感兴趣区域。在这样的实施例中，控件执行两用功能，其中每个功能在各种模式中被选择。例如，在第一模式中，媒体键操作音频控件，并且在第二模式中，媒体键将定义感兴趣区域的信号输入到ECU 110。在这样的示例中，第一模式可以是默认模式，并且第二模式可以通过手动开关来激活或者通过在触发事件（例如置车辆于倒档）时自动激活来激活。

在一些实施例中，输入接口125不包括驾驶员控件240。而是，ECU 110从自动车辆系统接收数据。自动车辆系统可以自动地定义全向图像的感兴趣区域。例如，转向角度传感器135可以将转向角数据输入到ECU 110。使用转向角数据，ECU 110能够预测车辆的行驶方向并且基于预测的行驶方向来选择感兴趣区域。在其它实施例中，驾驶员控件240和自动车辆系统两者都被用来定义感兴趣区域。这些系统可以协作使用或者可以以指派的优先级来使用。例如，当车辆处于倒档时，ECU 110可以基于转向角数据确定感兴趣区域。然后，当被激活时，驾驶员控件240可以推翻基于转向角数据确定的感兴趣区域。在这样的具有协作控制的实施例中，驾驶员控件240和转向角数据都可以帮助确定感兴趣区域。协作控制可以使转向角度传感器135和驾驶员控件240取决于预定的优先级被指派不同的权重。

可以通过通信总线115上的通信模块链接输入接口125。在一些实施例中，输入接口125借助于诸如J1939或CAN总线的协议进行通信，以与输入/输出模块215通信。在其它实施例中，取决于特定应用的需要，输入接口110在其它合适的协议下与输入/输出模块215通信。在一些实施例中，输入接口125输入来自各种汽车控件和传感器的信息。

图3图示将相机105捕捉的全向图像的一部分变换成直线图像的方法。在第一步骤中，ECU 110加载来自相机105的全向图像并加载面板模型（在下面描述）（步骤305）。在第二步骤中，ECU 110基于面板模型将全向图像的一部分映射到直线图像（步骤310）。换句话说，ECU 110基于面板模型运行变形（warp）例程以将全向图像的该部分的每个像素位置变形到直线图像的对应像素位置。在该过程中，ECU 110将来自全向图像的该部分的每个像素的信息复制到对应的直线像素。在第三步骤中，生成并输出面板图像（即，直线图像）（步骤315）。然后输出可以被发送到显示器120。应该注意的是，可以针对附加面板模型重复图3的该方法。每个面板模型可以描述全向图像的不同部分。当ECU 110基于多个面板模型输出多个直线图像时，显示器120可以以各种配置显示多个直线图像。

图4图示图3中描述的变换之前的全向相机图像。如前所讨论的，全向图像包含图像中的非线性。例如，棋盘405图示全向图像如何显示平行线。如所图示的，棋盘405的顶部410和左侧415向外弯。相反地，底部420和右侧425向内弯。与此对照，在图5中图示变换之后的全向图像。如经变换图像所图示，棋盘505图示对棋盘405的非线性的校正。棋盘505的顶部510、左侧515、底部520和右侧525近似直线相机所捕捉的直边缘。区530是该图像在相机105的视场之外的区域。

在其它实施例中，ECU 110基于来自全向图像的信息执行各种变换，以既使能ECU110内的又使能由成像系统外部的其它车辆系统和控制器进行的不同功能。图6中图示参考框架。参考框架包括光学坐标系（OCS），具有定位于光学原点610处的坐标[0,0,0]。光学原点610表示中心点，在所述中心点中相机105检测来自其周围环境的光（例如针孔相机）。如所图示的，Z轴沿相机105的视线的中心笔直向外延伸。Y轴向下延伸并垂直于中心视线。X轴延伸到右侧并垂直于相机105。该坐标系允许由ECU 110分析真实世界位置。

在操作之前，执行校准过程以将OCS与相机105的光学器件对准。校准过程使用由全向图像捕捉的预定义图案。例如，校准可以使用棋盘405来将OCS与全向图像对准。在校准期间，由棋盘405表示并且相对于OCS定义的世界位置被映射到像素位置。像素位置也被映射到指向对应世界点（例如，棋盘405上的位置）的向量。

图7图示显示为覆盖在OCS上的观察球面710的全向图像705。换句话说，观察球面710表示OCS内如由相机105接收的全向图像705。观察球面710可以是这样的区，其由从光学原点610起具有1个单位的量值的向量集定义（即单位球面）。观察球面710提供全向图像705的视觉表示。形成全向图像705的多个像素被定位在由观察球面710定义的区内。应该注意的是，尽管观察球面710在理论上是连续的，但是全向图像705的最大分辨率取决于多个像素的数量。像素的数量取决于相机105的类型。在一个实施例中，ECU 110基于观察球面710上的像素位置将全向图像705以值表存储在存储器225中。像素位置可以参考光学原点610来描述（例如，描述为向量）或描述为观察球面710上的坐标点。

在图8中图示与观察球面710相切的局部平面805。局部平面805由加载到ECU 110中的参数集定义。在一个实施例中，该参数集包括描述局部平面805的方向和取向、垂直视场、水平视场和缩放因子的值。在这样的实施例中，局部平面805的方向和取向可以由从光学原点610的偏转角、俯仰角和侧倾角来定义或者从与光学坐标轴的角度来定义。以这种方式，局部平面805的方向由指向局部平面805的中心的参数向量给出。垂直和水平视场每个都可以由角度来定义，该角度具有与该角度相交的参数向量。ECU 110可以以向量的形式将参数集存储在存储器225中：

其中分别表示偏转、俯仰和侧倾，表示垂直和水平视场（例如，），并且是控制分辨率的缩放因子。换句话说，定义面板方向和取向。

一旦参数集由值定义，则局部平面805可以被变换成面板模型。面板模型参照OCS指定与观察球面710相切的感兴趣区，并且由此还指定观察球面710上的感兴趣区。面板模型可以由以下形式的固有矩阵来定义：

其中和表示缩放参数，并且[x₀ y₀]^T是参数向量与局部平面805相交的点。面板模型表示被指向在参数向量的方向的虚拟透视相机，其中参数向量始于光学原点610。面板模型可以包括由参数集给出的所有信息，包括方向、视场和分辨率。

图9图示基于参数集确定面板模型的方法。ECU 110基于参数集来将局部平面805计算到观察球面710（步骤905）。ECU设置局部平面805的角度样本间距（步骤910）。ECU 110计算局部平面805的平面范围（步骤915）。ECU 110确定局部平面网格（步骤920）。ECU 110基于局部平面网格确定球面网格（步骤925）。ECU确定输出网格（步骤930）。ECU基于输出网格确定面板模型（步骤935）。

图10-15图示图9中所图示的方法的特定步骤。参照步骤905，图10图示计算局部平面805的方法。如前所描述，局部平面805位于观察球面710的顶部。局部平面805由角坐标确定。如上所讨论的，角坐标由用户定义的参数指定。为了计算局部平面805，ECU 110确定由参数集指定的方向（步骤1005）。ECU 110计算旋转矩阵（步骤1010）。最后，ECU 110定义原点在参数向量和观察球面710之间的接触点处的局部平面坐标系（步骤1015）。在一个实施例中，初始基点{X，Y，Z}如下确定：

使用这些值，从参数应用偏转角如下：

其中

还从参数应用俯仰角如下：

其中

类似地，从参数应用侧倾角如下：

其中

应该注意的是，上述步骤以任意顺序应用旋转矩阵。这些步骤可以以可替代的顺序执行。在应用旋转矩阵之后，ECU 110基于以下来确定局部平面805 {X_LTP,Y_LTP,Z_LTP}：

在一般意义上，旋转矩阵属于正交群组，并因此表达式可以简化为：

其中表示使得的任意旋转矩阵。然后局部平面坐标系由ECU 110以如下矩阵进行编码：

其中M_LTP是由ECU 110调用的用于将由局部平面坐标系描述的齐次点或向量变换为由OCS描述的齐次点或向量的函数。

在计算局部平面805之后，ECU 110使用图11所图示的步骤设置恒定的角度样本间距。ECU 110计算角度范围（步骤1105）。ECU 110计算最精细的分辨率（步骤1110）。然后，ECU110从参数中读取缩放因子（步骤1115）。最后，ECU 110定义网格样本间距（步骤1115）。在下面的步骤中图示使用步骤1105到1115来确定恒定角度样本间距的一个实施例。设h和w表示全向图像705的高度和宽度。那么c和r定义如下：

角度范围计算如下：

其中F表示在校准过程期间计算的前向投影函数。样本间距不均匀；然而，使用其所是的简化，样本间距将计算如下：

确定最精细的分辨率。

其中μ_θ表示用于全向图像705的理想角栅格化支持。接下来，局部切平面上的样本间距确定如下：

其中> 1拉伸样本间距，<1压缩样本间距。随着样本间距的拉伸，图像的分辨率降低，并且相反，随着样本间距的压缩，分辨率增加。

确定面板模型的下一步是计算平面范围。计算平面范围的方法在图12中图示。ECU110基于参数集加载垂直和水平角度（步骤1205），该垂直和水平角度描述从光学原点610的视场。ECU 110计算定义局部平面805的边界的初始平面极限（步骤1210）。最后，ECU 110通过将零定位在中心来改善初始平面极限（步骤1215）。方法1200的一个实施例使用以下步骤和等式。首先，相对于视场参数确定局部平面805的范围。换句话说，利用延伸到由垂直和水平角度定义的视场的极限来定义局部平面805的完整周边。在一个实施例中，平面的极限由以下步骤和等式确定。

使用如下所给出的等式，平面的极限被修改为明确地包含零（参见下面的章节）。

这产生了

换句话说，平面范围（即，局部平面805跨越的总面积）由以下给出：

确定面板模型的下一步是计算平面网格。计算平面网格的方法在图13中图示。ECU 110从存储器225加载恒定的角度样本间距（步骤1305）。ECU 110定义网格点（步骤1310）。最后，ECU 110计算相机105的固有参数（步骤1315）。该方法的实施例使用以下步骤和等式。ECU110计算局部平面805上的网格点集。每个网格点对应于一个感兴趣世界点，并具有映射到它的对应像素。ECU 110确定固有矩阵K。ECU 110通过首先确定以下向量来计算局部平面网格：

局部平面格子网格由以下给出：

其中mesghrid是标准MATLAB函数，并且和是以所谓格子格式存储网格点的矩阵。使用以下计算将网格转换为OCS：

内部相机参数由以下等式给出：

由于观察球面710被定义为单位球面，所以焦距被归一化为一（即f = 1）。ECU 110使用以下等式设置像素缩放参数：

固有矩阵用以下形式表达：

确定面板模型的下一步骤是计算球面网格。图14图示计算球面网格的方法。在第一步骤中，ECU 110加载平面网格（步骤1405）。在第二步骤中，ECU 110将局部平面网格映射到观察球面710（步骤1410）。方法1400的实施例使用以下步骤和等式。通过将局部平面网格投影到观察球面710并且相对于OCS定义局部平面网格来计算球面网格。作为示例，图15图示在观察球面710上的投影点。球面网格是通过利用以下等式对局部平面网格的每个网格样本(i，j)进行归一化来计算的：

换句话说，平面上的点将具有的L2范数，并且通过归一化，使得所有点被投影到观察球面710。

在用于确定面板模型的最后步骤中，ECU 110如图16中所图示那样计算输出网格。在第一步骤中，ECU 110加载球面网格（步骤1605）。在第二步骤中，ECU 110将球面网格映射到观察球面710上的像素（步骤1610）。将球面网格映射到像素可以包括使用查找表进行插值的过程。然后ECU 110计算面板模型。面板模型表示虚拟相机透视模型。换句话说，面板模型是从全向相机的原点捕捉的观看平面的数学模型。

应该注意的是，ECU 110可以基于多个参数集并行地计算多个面板模型。当确定多个面板模型时，ECU 110基于每个参数集单独计算每个面板模型。每个参数集可以基于各种自动或手动输入被独立地确定。一些面板模型可以保持恒定（在设置的参数向量处），而其它面板模型基于移动参数向量被重新定位并且重新计算。ECU 110可以将基于多个面板模型的平行直线图像输出到显示器120，以同时显示多个不同的直线图像。可替代地，ECU 110可以输出用于与图像处理有关的各种功能的多个面板模型。

面板模型允许ECU 110执行涉及全向图像705的各种函数。例如，图17图示将面板像素位置X_E转换为指向世界中的位置的向量的方法1700。该函数将局部面板805上的像素反变换为相对于指向世界点的OCS定义的向量。换句话说，如果X表示相对于OCS定义的世界位置，并且x表示与该位置相对应的像素，则该函数形成——指向世界点的向量。在第一步骤中，ECU 110从存储器225加载全向像素位置（步骤1705）。在第二步骤中，ECU 110基于面板模型计算指向世界位置的向量（步骤1710）。第三，ECU 110输出该向量（步骤1715）。在一个实施例中，ECU 110基于以下步骤和等式集来计算向量。给定面板像素，将其变换为齐次形式。反投影该像素以形成射线。该射线上的点由下面的表达式给出：

其中P^†表示的伪逆(pseudo-inverse)。齐次世界点p被变换成欧几里德形式，并标示为p_E。由于世界位置可能位于沿射线的任何点，所以按照以下约定进行归一化：

为了确定向量是指向世界点还是指向远离世界点，执行世界Z基点的点积。如果结果是正的，那么射线指向世界点。相反，如果结果是负的，则射线指向远离世界点。该结果可以由下面的表达式来确定：

经校正向量由相对于局部平面坐标系表达的sv_e给出。该向量可以通过使用以下关系相对于OCS来表达：

其中来自以上针对M_LTP定义的表达式。

在图18中所图示的示例中，ECU 110基于面板模型从相对于OCS定义的世界位置确定面板上的像素位置。该面板是指在像素方面定义的与局部平面805对准的平面，而局部平面805是在距离（例如米）方面定义的。在第一步骤中，ECU 110加载世界点（步骤1805）。在第二步骤中，ECU 110基于面板模型确定面板上的像素位置（步骤1810）。在第三步骤中，ECU110输出像素位置（步骤1815）。像素位置的确定可以基于以下步骤和等式来执行。将世界点旋转到局部平面坐标系中：

其中。变换为齐次形式并利用以下表达式将其映射到像素位置：

齐次像素随后被变换成欧几里德形式。

在再另一示例中，ECU 110基于面板模型从全向图像705上的像素位置确定面板上的像素位置，如图19中所图示。在第一步骤中，ECU 110从全向图像705加载像素位置（步骤1905）。在第二步骤中，ECU 110基于面板模型确定面板上的像素位置（步骤1910）。在第三步骤中，ECU 110相对于局部平面坐标系输出面板上的像素位置（步骤1915）。在一个实施例中，ECU 110使用以下步骤和等式来确定像素位置。给定全向图像705中的像素位置，将像素位置变换到观察球面710：

其中g表示将全向像素位置映射到世界位置的函数，并且是相对于OCS定义的观察球面710上的点。将位置映射到局部平面805。

从OCS坐标系旋转到局部平面坐标系。

从局部平面805转换到面板上的像素位置。

其中x表示使用一基数索引（ones based indexing）的面板上的像素位置。

在如图20中所图示的再另一示例中，ECU 110基于面板模型从面板上的像素位置（）确定全向图像705上的像素位置。在第一步骤中，ECU 110加载面板上的像素位置（步骤2005）。在第二步骤中，ECU 110基于面板模型确定全向图像705上的对应像素位置（步骤2010）。在第三步骤中，ECU 110相对于OCS输出观察球面710上的像素位置（步骤2015）。在一个实施例中，ECU 110基于以下步骤和等式来确定像素位置。将像素位置变换为局部平面坐标系：

其中表示平面范围偏移。接下来，局部平面805上的世界位置利用以下计算被映射到观察球面710：

其中是局部平面805到观察球面710的函数。由于是相对于OCS定义的，因此ECU 110可以将其转换为像素位置。

其中表示将相对于OCS定义的世界位置映射到全向图像705上的像素位置的函数。

在图21中图示的另一示例中，ECU 110基于第一面板中的像素位置来确定第二面板中的像素位置。在第一步骤中，ECU 110从第一面板加载像素位置（步骤2105）。在第二步骤中，ECU 110基于用于第一面板的第一面板模型与用于第二面板的第二面板模型之间的比较来确定第二面板上的对应像素位置（步骤2010）。在第三步骤中，ECU 110输出参照第二面板的像素位置（步骤2015）。在一个实施例中，ECU 110使用以下步骤和等式来确定参照第二面板的像素位置。ECU 110利用以下表达式将像素位置从第一面板x映射到世界坐标：

其中标示相对于第一面板的像素位置到世界位置的变换。接下来，ECU 110归一化到观察球面710。

ECU 110将点投影到第二面板。

其中表示相对于第二面板的观察球面710。第二面板上的点X_L转换为第二面板上的像素位置。

其中x’表示相对于使用一基数索引的第二面板的像素位置。

在图22中所图示的再另一示例中，ECU 110确定如本文若干示例中所使用的支持函数。ECU 110从相对于OCS定义的观察球面710上的点确定点相对于局部平面坐标系的位置。在第一步骤中，ECU 110加载观察球面710上的点的坐标（步骤2205）。在第二步骤中，ECU 110确定该点相对于局部平面坐标系的坐标（步骤2210）。在第三步骤中，ECU 110输出该点相对于局部平面坐标系的坐标（步骤2215）。在一个实施例中，ECU 110使用以下函数来确定该点相对于局部平面坐标系的坐标。

• 平面上的点 LTP.O

• 平面法线 LTP.Z

• 线上的点

• 线方向

将解标示为，ECU 110使用以下关系从OCS坐标变换到局部平面坐标：

其中是局部平面805上的点（例如，Z分量是零；）。

在如图23中所图示的另一示例中，ECU 110确定附加的支持函数，其将相对于局部平面坐标系定义的局部平面805上的点变换成相对于OCS定义的观察球面710上的点的位置。在第一步骤中，ECU 110加载观察球面710上的点的坐标（步骤2305）。在第二步骤中，ECU 110基于面板模型确定该点相对于OCS的位置（步骤2310）。在第三步骤中，ECU 110输出该点相对于OCS的位置（步骤2315）。在一个实施例中，ECU 110使用以下步骤和等式来确定该点的坐标。将相对于局部平面坐标系定义的点X_L变换为OCS。

OCS点被映射到观察球面710。

应该注意的是，这些各种函数可以在操作面板变换的过程中由ECU 110执行。这些函数使得ECU 110能够执行与全向图像模型和直线图像模型之间的图像变换有关的各种各样的任务。

例如，图24图示当车辆100从停车位离开时车辆100的视场。驾驶员的自然视觉受到与驾驶员停车位邻近停放的车辆2410限制。由于停放的车辆2410，驾驶员具有窄视场2415，直到车辆100洞察停放的车辆2410的后部。利用如图1中所图示的面板变换，驾驶员可以以更大的感知离开停车位。如先前所解释的，相机105向ECU 110提供全向图像705，并且ECU 110将全向图像705变换成一个或多个直线图像以显示给驾驶员。相机105的视场2420垂直于车辆100延伸以覆盖比视场2415更广的区。

在图25A至图25D中所图示的一个实施例中，显示器120显示来自ECU 110的若干图像。在图25A中，显示器显示如由相机105捕捉的全向图像705。在图25B中，ECU 110首先基于沿照相机105的光学原点610对准的参数向量来转换全向图像705。该图像可以是在车辆100启动时由ECU 110发送的默认图像。在该图像中，全向图像705的最左侧和最右侧不由直线图像显示。在该实施例中，即使当图像以最大水平和垂直视角显示时，也不显示最左侧和最右侧。图25C图示当参数向量取向为朝向车辆100的第一侧时的直线图像。类似地，图25D图示当参数向量取向为朝向车辆100的第二侧时的直线图像。

图26图示输入接口125的实施例。在该实施例中，显示用作用于ECU 110的输入控件的媒体键2605。从默认图像开始，驾驶员可以操作输入接口125来调整参数向量，并从而将图像调整到驾驶员感兴趣区域。例如，如果驾驶员计划通过朝车辆100的乘客侧倒车而离开停车位，则驾驶员可以按下左箭头键来将参数向量取向到乘客侧。然后，ECU 110将参数向量进一步虚拟地改变到乘客侧，并且从而允许驾驶员观察图25C中所图示的图像而无需物理地移动相机105。应该注意的是，驾驶员还可以使用输入接口125来放大和缩小直线图像。因此，通过参数向量，相机105即使被固定也可以用作虚拟平移、缩放和倾斜相机。

不同于输入接口125的控件也可以调整参数向量。这些可以是各种类型的驾驶员操作的控件。例如，在一个实施例中，方向盘130基于转向角度传感器135自动地将参数向量调整到一角度。在这样的实施例中，当驾驶员顺时针转动方向盘130时，在车辆100朝乘客侧倒车的期望中，ECU 110将参数向量取向为朝向乘客侧。只有当车辆处于倒档时，才可以使能该自动调整。另外，自动调整可以与如前所述使用输入控件的手动调整结合使用。在这种情况下，自动控制和手动控制可以协同工作以如每种控制所请求的那样实时对参数向量进行取向。在另一个实施例中，手动控制和自动控制可以被指派优先级。例如，当车辆倒车时，自动控制可以优先于手动控制。相反，任何时候驾驶员选择手动操作模式时，手动控制可以优先于自动控制。优先级可以基于驾驶员选择而改变，或者基于预定的安全标准被固定。

在其它实施例中，ECU 110可以执行图像处理以支持ECU 110内或其它车辆系统内的附加功能。特别地，在车辆中可以包括依赖于直线图像来执行其预期功能的硬件模块或软件模块。ECU 110可以执行本文描述的各种变换，以向这些模块提供由面板模型定义的直线图像模型。因此，即使当这些模块未被设计为以全向相机进行操作时，第三方成像模块也可以安装在与ECU 110对接的车辆上。例如，可以使用变换来实现基于直线图像执行来自运动算法和经训练分类器（例如，行人检测）的结构的模块。换句话说，可以将全向图像705的面板模型作为预处理步骤来执行，以将全向图像705变换成直线图像，以供先前存在的算法直接使用。

一些先前存在的算法要求大视场，这可以由多个直线相机提供。但是，多个相机增加了车辆的成本。有利的是，使用多个参数向量和多个面板模型，面板变换的实施例提供来自单个全向相机105的多个直线图像馈送作为这些多种直线图像算法的输入。例如，面板变换可以基于180度全向图像705在显示器120上并排提供三个60度直线视图。在这种情况下，ECU 110将确定三个参数向量以变换全向图像705，并基于三个直线图像重建用于显示的单个图像。

因此，除其它事物外，本发明提供车辆中的面板变换，其以从全向相机105捕捉的全向图像705执行各种功能，并取决于被执行的特定功能输出各种值。在所附权利要求中阐述了本发明的各种特征和优点。

Claims

1.一种操作车辆成像系统的方法，所述方法包括：

在电子控制单元处接收来自基于车辆的全向相机的全向图像；

确定第一角度透视向量；

生成与所述第一角度透视向量正交的第一直线图像；

将所述第一直线图像显示给所述车辆的驾驶员；

接收来自驾驶员操作控件的命令；

基于所述命令调整角度透视向量；

生成与经调整的角度透视向量正交的第二直线图像；以及

将所述第二直线图像显示给所述驾驶员。

2.如权利要求1所述的方法，其中确定角度透视向量包括参照相对于所述全向相机定义的光学坐标系确定所述角度透视向量的偏转角、俯仰角和侧倾角。

3.如权利要求2所述的方法，还包括：

访问全向相机模型，所述全向相机模型代表投影到所述光学坐标系中的单位球面上的全向图像，

其中所述角度透视向量至少部分地定义局部平面，并且

其中所述局部平面与所述单位球面相切并且与所述角度透视向量正交。

4.如权利要求3所述的方法，还包括：

确定所述局部平面的平面范围，其中，所述平面范围至少部分地基于所述命令来定义所述局部平面的边界。

5.如权利要求1所述的方法，所述方法还包括：

确定所述全向图像中的第一多个像素中的每个与所述第二直线图像中的第二多个像素中的每个之间的关系，并且

其中生成第二直线图像包括基于所确定的关系将来自所述全向图像中的像素的信息复制到所述第二直线图像。

6.如权利要求5所述的方法，其中确定第一多个像素中的每个与第二多个像素中的每个之间的关系取决于所述角度透视向量。

7.如权利要求1所述的方法，其中所述驾驶员操作控件是方向盘。

8.如权利要求1所述的方法，其中所述驾驶员操作控件是方向盘上的按钮。

9.如权利要求1所述的方法，其中所述驾驶员操作控件是两用控件，并且其中所述驾驶员操作控件基于条件被激活。

10.如权利要求9所述的方法，其中所述条件是驾驶员操作控件的激活。

11.如权利要求10所述的方法，其中所述驾驶员操作控件是变速控件。

12.一种车辆成像系统，包括：

全向相机；

显示器；

驾驶员操作控件；以及

电子控制单元，所述电子控制单元被配置为

接收来自所述全向相机的全向图像；

确定第一角度透视向量；

生成与所述第一角度透视向量正交的第一直线图像；

将所述第一直线图像发送给所述显示器；

接收来自所述驾驶员操作控件的命令；

基于所述命令调整角度透视向量；

生成与经调整的角度透视向量正交的第二直线图像；以及

将所述第二直线图像发送给所述显示器。

13.如权利要求12所述的车辆成像系统，其中被配置为确定角度透视向量的电子控制单元还参照相对于所述全向相机定义的光学坐标系确定所述角度透视向量的偏转角、俯仰角和侧倾角。

14.如权利要求13所述的车辆成像系统，其中所述电子控制单元还被配置为：

其中所述角度透视向量至少部分地定义局部平面，并且

15.如权利要求12所述的车辆成像系统，其中所述电子控制单元还被配置为：

其中被配置为生成第二直线图像的电子控制单元还基于所确定的关系将来自所述全向图像中的像素的信息复制到所述第二直线图像。

16.如权利要求15所述的车辆成像系统，其中被配置为确定第一多个像素中的每个与第二多个像素中的每个之间的关系的电子控制单元基于所述角度透视向量来确定所述关系。

17.如权利要求12所述的车辆成像系统，其中所述驾驶员操作控件是方向盘。

18.如权利要求12所述的车辆成像系统，其中所述驾驶员操作控件是方向盘上的按钮。

19.如权利要求12所述的车辆成像系统，其中所述驾驶员操作控件是两用控件，并且其中所述驾驶员操作控件基于条件被激活。

20.如权利要求12所述的车辆成像系统，其中所述条件是驾驶员操作控件的激活。

21.如权利要求12所述的车辆成像系统，其中所述驾驶员操作控件是变速控件。

22.如权利要求12所述的车辆成像系统，其中所述驾驶员操作控件是集成在所述显示器中的用户接口。