CN117098693A - 包括偏移相机视图的车辆显示器 - Google Patents

Abstract

一种用于机动车辆的视镜替代系统包括多个相机(22，24)，所述多个相机设置在车辆周围。车辆控制器连接到每个相机，并且包括外推算法，所述外推算法被配置为至少部分地基于来自所述多个相机的图像馈送来生成至少一个外推图像。所述外推图像来自从所述车辆偏移的虚拟相机位置(50，50’，50”)的视角。显示器被配置为向车辆操作者显示所述外推图像。

Description

包括偏移相机视图的车辆显示器

相关申请的交叉引用

本申请要求于2021年4月7日提交的美国临时专利申请号63/171815的优先权。

技术领域

本公开一般涉及用于视镜替代或视镜补充系统的车辆显示器，并且更具体地涉及用于在车辆显示器内包括第三人偏移视图的系统。

背景技术

车辆系统(诸如商用运输车辆中存在的车辆系统)通常包括与常规车辆视镜结合使用从而为车辆操作者产生补充视图的相机馈送。在一些情况下，车辆相机可以被操作为替代视镜替代系统中的一个或多个视镜。在其他情况下，相机提供经由常规镜放置可能不可用的视图(例如，尾灯中的反向相机，提供反向视图)。现有系统限于由实际物理相机的固定位置生成的有利位置。因此，显示器在可以传达给车辆操作者的信息方面受到限制。

发明内容

在一个示例性实施例中，一种用于机动车辆的视镜替代系统包括多个相机、车辆控制器和显示器，所述多个相机设置在车辆周围，所述车辆控制器连接到所述多个相机中的每个相机，所述车辆控制器包括外推算法，所述外推算法被配置为至少部分地基于来自所述多个相机的图像馈送来生成至少一个外推图像，所述外推图像来自从所述车辆偏移的虚拟相机位置的视角，所述显示器被配置为向车辆操作者显示所述外推图像。

用于机动车辆的上述视镜替代系统的另一示例还包括设置在所述车辆周围的多个传感器，每个传感器通信地耦合到所述车辆控制器。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述多个相机包括被配置为生成II类视图、IV类视图、V类视图、VI类视图和VIII类视图中的至少一个的相机。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述虚拟相机位置是存储在所述车辆控制器中的多个固定虚拟相机位置中的一个。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，基于由所述车辆控制器检测到的对象的位置从所述多个固定虚拟相机位置中选择所显示的虚拟相机位置。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所显示的虚拟相机位置包括所述虚拟相机位置和由所述车辆控制器检测到的对象之间的遮挡物，并且其中所述遮挡物被渲染为至少部分透明的。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述虚拟相机位置能够由所述车辆操作者手动调整。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述虚拟相机位置在单个轴上是可调整的。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述虚拟相机位置在两个轴上是可调整的。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述虚拟相机位置在三个轴上是可调整的。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述车辆控制器连接到所述车辆外部的至少一个数据源，并且其中来自所述至少一个数据源的数据由所述外推算法使用。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述至少一个数据源包括到本地传感器的无线连接。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述至少一个数据源包括经由远程无线连接连接到所述车辆控制器的车队管理系统。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述外推图像是视频图像。

在用于机动车辆的上述视镜替代系统中的任一个的另一示例中，所述至少一个外推图像包括至少两个外推图像。

附图说明

图1图示了商用运输车辆的高级示意图。

图2图示了图1的商用运输车辆的示例性显示。

图3示意性地图示了包括在预期操作环境中的图1的商用运输车辆。

前述段落、权利要求或以下说明书和附图的实施例、示例和替代方案(包括它们的各个方面或相应的单独特征中的任一个)可以独立地或以任何组合来采用。结合一个实施例描述的特征适用于所有实施例，除非这些特征不兼容。

具体实施方式

在图1中图示了商用卡车10的示意图。卡车10包括牵引拖车14的车辆驾驶室12。驾驶员侧和乘客侧相机壳体16安装到车辆驾驶室12。如果需要，相机壳体16也可以包括与它们集成的常规视镜。第一显示器和第二显示器18布置在车辆驾驶室12内的驾驶员侧和乘客侧中的每一侧上，以在车辆10的每一侧上显示II类视图和IV类视图。可以使用比所示的更少或更多的显示器，包括附加的类显示器，并且显示器可以与所图示的不同地定位。在替代示例中，可以通过对于图像进行组合使用附加的相机11(提供V类视图)和相机13(提供VI类视图)以形成偏移虚拟相机来利用本文描述的偏移虚拟相机。在另外的示例中，附加相机生成VIII类视图可以包括在该过程中。所图示的相机位置仅是示例性的，并且实际实施方式可以包括给定系统可能需要的任何特定视图类型的多个附加相机。

在图2中以高度示意性方式示出了一个示例相机视镜系统20。在一个示例中，面向后的第一相机22和第二相机24布置在相机壳体16内。例如，第一相机22和第二相机24提供对应于IV类视图和II类视图的第一视场22FOV1和第二视场22FOV2。第一视场FOV1和第二视场FOV2彼此重叠以提供重叠区域25。然而，应当理解，相机可以与所图示的不同地放置，并且所提供的视场可以完全涉及其他类别或其他视图。除了物理相机22、24之外，车辆控制器26还生成多个虚拟相机50、50’、50”。虚拟相机50、50’、50”使用从偏离车辆12的视点呈现的外推图像，并且视点处于物理相机不位于的空间位置。在一些示例中，虚拟相机50的偏移位置是不可能定位相机的位置(例如，在移动车辆的前方并且从移动车辆对角偏移)。在一些示例中，虚拟相机50、50’、50”的定位是相对于车辆12的预设位置，其中车辆操作者能够沿着两个轴提供虚拟相机50、50’、50”的适度调整。在其他示例中，虚拟相机50、50’、50”的位置可以由车辆操作者自由控制，其中相机在2轴或3轴上的位置能够被调整。

ECU或控制器26至少与第一相机22和第二相机24通信。在替代示例中，根据给定系统的具体配置，附加或替代相机可以连接到ECU 26。例如，附加相机可以设置在拖车12上，在驾驶室10上的交替位置处和/或在驾驶室12上的交替取向处。诸如雷达传感器38、LIDAR传感器40、红外传感器42和/或超声波传感器44的各种传感器28可以与控制器26通信。此外，在诸如图3所示的系统的系统中，可以从经由无线数据连接连接到车辆的远程系统提供来自车辆外部的附加图像源和/或传感器。在这样的系统中，远程图像源向车辆提供图像馈送以及图像源的地理空间位置和取向。地理空间位置可以是世界上的客观位置(例如，经由卫星定位系统确定的位置)或相对于车辆10的位置，并且可以经由任何系统将信息提供给车辆。

在一些示例中，传感器28和/或第一相机22和第二相机24用于检测由第一相机22和第二相机24捕获的图像内的对象和/或车辆运行的环境内的对象。可以使用任何数量的合适的对象检测方案，诸如依赖于神经网络和3D几何模型来确定对象在空间中的位置的那些方案，诸如来自自我运动的检测。在使用神经网络进行对象检测的情况下，第一相机22和第二相机24提供用于检测对象的传感器中的至少一个。在替代示例中，可以使用任何对象检测系统来检测图像平面内的对象，包括基于图像的检测(诸如神经网络分析)，以及使用3D空间检测系统(诸如雷达、LIDAR、传感器等)检测3D空间中的图像。

控制器26生成虚拟相机视图并输出要在显示器18上显示的视频信号。视频信号是从虚拟相机50、50'、50”中的一个的视角来看的车辆12的外推偏移视图。在所图示的示例中，虚拟相机50从偏离车辆定位并在车辆12前方的相机的角度提供车辆12的左侧的侧视图。虚拟相机50’提供类似于虚拟相机50的车辆12的右侧的侧视图，并且虚拟相机50”提供偏离车辆的拖车14的侧视图。在替代示例中，虚拟相机50可以定位在例如从车辆的后部偏移的替代的有用位置中。当与对象检测系统配对时，控制器26可以确定特定虚拟相机50有利位置，该特定虚拟相机50有利位置提供包括检测到的对象的视场、或如果遮挡物变得透明则提供将包括检测到的对象的视场。一旦识别出特定虚拟相机50有利位置，控制器26就可以使虚拟相机50自动显示给车辆操作者，从而进一步增强车辆显示器。

在一些示例中，虚拟相机50可用于提供被遮挡的视图图像。被遮挡的视图图像是来自虚拟有利位置50、50’、50”的图像，其包括被第二特征或对象遮挡的特征或对象。在这样的示例中，第二特征或对象被制成透明的，使得被遮挡的特征或对象在第二特征或对象后面也是可见的。

虚拟相机50、50’、50”为基于外推算法30使用来自第一相机22和第二相机24(和/或任何其他适当的相机)的图像的组合产生的图像提供有利位置或相机位置。图像通常被称为“外推图像”，因为它利用传感器读数和多个图像的组合来创建与车辆12的单个虚拟相机位置偏移。在该示例中，显示器18的屏幕32提供包括来自外推算法的外推图像的虚拟视图36。

在一些示例中，外推算法30使用图像拼接(组合来自物理相机的两个重叠视场)、图像倾斜、图像偏斜等的组合来外推虚拟相机50的视场，从而生成图像。作为示例，如果期望车辆12前方和左侧的有利位置，则外推算法30使用图像拼接、倾斜、偏斜和视差效应的组合来生成偏移虚拟相机位置。在一个示例中，在虚拟视场之外的图像区域被移除或用空白空间替代，以进一步增强虚拟效果。在另一示例中，虚拟视场可以包括具有被遮挡的视图或部分被遮挡的视图的对象的描绘，其中遮挡物被渲染为透明的或部分透明的。

继续参考图1和图2，图3图示了包括可由图1和图2的外推算法30用来生成虚拟相机50视场51的附加传感器和图像源的示例性操作环境200。示例性操作环境是商业发运场201，商业发运场201包括具有装货码头210的仓库结构202。商业发运场201还包括用于未连接的牵引车220连接到相应拖车222的挂接位置。设置在整个发运场201中的是多个传感器231、232、234，包括设置在仓库和装货码头210上的接近传感器230、232以及固定的装货码头相机234和设置在无人机上的移动相机236。

在车辆12的后面，对象260位于从传统的视镜视野和传统的相机视镜系统视野被阻挡的位置。由于装货码头210的存在以及视镜在驾驶室上的定位，在车辆12的倒车操纵期间，对象260对于车辆操作者是不可见的。为了改善操作，虚拟相机50提供包括车辆12和装货码头210的拐角的视场51。当外推虚拟相机50的图像时，车辆12和装货码头210的部分是透明的，从而允许从虚拟相机位置50看到对象260。

类似地，替代的虚拟相机位置50’具有包括部分遮挡对象260的车辆12的视场51’。车辆12的该部分可以类似地渲染为透明的以实现相同的效果。

车辆12通过诸如蓝牙连接、wifi连接或其他类似的短距离无线连接的自组织(ad-hoc)连接，或者通过被配置为接收所有传感器数据并向每个车辆的ECU 26提供包括图像馈送的请求数据的车队管理系统，来连接到操作环境内的各个传感器中的每一个。通过将分布式传感器和相机连接到车辆12，系统能够识别虚拟相机的附加有用有利位置，以及提供用于生成附加虚拟有利位置的适当外推数据。预期到在一些示例中，虚拟相机50、50’、50”仅从设置在车辆12本身上的相机和传感器生成，而在其他示例中，虚拟有利位置可以利用从操作环境接收的附加数据。

参考所有图1～图3，在一些示例中，ECU 26包括一组预定义虚拟相机50以及用于外推图像以提供预定义虚拟相机50的预定义方法。预定义虚拟相机50外推到相对于车辆12的固定位置。通过包括预定义虚拟相机50，系统可以包括容易且快速地定义外推图像的已知外推算法。在替代示例中，ECU 26可以包括输入，车辆操作者可以通过该输入沿着一个或两个轴线调整位置以便提供对虚拟相机位置的更精细的手动控制。在另外的替代示例中，可以向操作者提供在可用数据和图像馈送的界限内在所有三个轴上移动虚拟相机50位置的能力。一旦由操作者定位，ECU 26就维持虚拟相机位置直到操作者调整位置。

在一些另外的示例中，ECU 26可以为指定的驾驶员记录或设置特定的虚拟相机位置50，并且当指定的驾驶员是车辆操作者时，自动显示虚拟相机位置50的对应视图。

在其他示例中，ECU 26可以包括对应于车辆12的特定操作条件的一个或多个虚拟相机50有利位置。例如，ECU 26可以包括与在倒车、右转车辆、左转车辆或任何其他操作条件下操作车辆相关联的多个有利位置。当车辆进入操作条件时，控制器26使(一个或多个)对应的预设虚拟相机50有利位置被显示。

还应当理解，任何上述概念可以单独使用或与任何或所有其他上述概念组合使用。尽管已经公开了本发明的实施例，但是本领域普通技术人员将认识到，某些修改将落入本发明的范围内。因此，应当研究以下权利要求以确定本发明的真实范围和内容。

Claims (15)

1.一种用于机动车辆的视镜替代系统，包括：

多个相机，所述多个相机设置在车辆周围；

车辆控制器，所述车辆控制器连接到所述多个相机中的每个相机，所述车辆控制器包括外推算法，所述外推算法被配置为至少部分地基于来自所述多个相机的图像馈送来生成至少一个外推图像，所述外推图像来自从所述车辆偏移的虚拟相机位置的视角；以及

显示器，所述显示器被配置为向车辆操作者显示所述外推图像。

2.根据权利要求1所述的视镜替代系统，还包括设置在所述车辆周围的多个传感器，每个传感器通信地耦合到所述车辆控制器。

3.根据权利要求1所述的视镜替代系统，其中所述多个相机包括被配置为生成II类视图、IV类视图、V类视图、VI类视图和VIII类视图中的至少一个的相机。

4.根据权利要求1所述的视镜替代系统，其中所述虚拟相机位置是存储在所述车辆控制器中的多个固定虚拟相机位置中的一个。

5.根据权利要求4所述的视镜替代系统，其中基于由所述车辆控制器检测到的对象的位置从所述多个固定虚拟相机位置中选择所显示的虚拟相机位置。

6.根据权利要求5所述的视镜替代系统，其中所显示的虚拟相机位置包括所述虚拟相机位置和由所述车辆控制器检测到的对象之间的遮挡物，并且其中所述遮挡物被渲染为至少部分透明的。

7.根据权利要求1所述的视镜替代系统，其中所述虚拟相机位置能够由所述车辆操作者手动调整。

8.根据权利要求6所述的视镜替代系统，其中所述虚拟相机位置在单个轴上是可调整的。

9.根据权利要求6所述的视镜替代系统，其中所述虚拟相机位置在两个轴上是可调整的。

10.根据权利要求6所述的视镜替代系统，其中所述虚拟相机位置在三个轴上是可调整的。

11.根据权利要求1所述的视镜替代系统，其中所述车辆控制器连接到所述车辆外部的至少一个数据源，并且其中来自所述至少一个数据源的数据由所述外推算法使用。

12.根据权利要求10所述的视镜替代系统，其中所述至少一个数据源包括到本地传感器的无线连接。

13.根据权利要求10所述的视镜替代系统，其中所述至少一个数据源包括经由远程无线连接连接到所述车辆控制器的车队管理系统。

14.根据权利要求1所述的视镜替代系统，其中所述外推图像是视频图像。

15.根据权利要求1所述的视镜替代系统，其中所述至少一个外推图像包括至少两个外推图像。