CN103648845A

CN103648845A - 用于使驾驶员可以预先获得示出围绕运输工具的选定区域的合成图像的辅助装置

Info

Publication number: CN103648845A
Application number: CN201280033987.6A
Authority: CN
Inventors: F·拉尔热
Original assignee: Peugeot Citroen Automobiles SA
Current assignee: PSA Automobiles SA
Priority date: 2011-07-08
Filing date: 2012-07-02
Publication date: 2014-03-19
Anticipated expiration: 2032-07-02
Also published as: FR2977550B1; EP2729328A1; EP2729328B1; WO2013007915A1; CN103648845B; ES2600855T3; FR2977550A1

Abstract

本发明涉及一种用于运输工具（V）的驾驶员的辅助装置（D）。该装置（D）包括处理设备（MT），其配置成，当存在指示所述运输工具（V）可以开始操控的至少一条初级信息时，获取图像数据组，所述数据组代表在部分围绕运输工具（V）并且构成选定区域（ZE）的一部分的至少一个获取区域（ZA）中在依次时刻下获得的中间图像，并且如果所述操控在一个时刻实际开始，以安排示出在所述时刻下所述选定区域（ZE）的选定视角下的合成图像（IZ），所述合成图像根据获得的所述图像数据组构建并且可以显示在所述运输工具（V）中的屏幕（EC）上。

Description

用于使驾驶员可以预先获得示出围绕运输工具的选定区域的合成图像的辅助装置

技术领域

本发明涉及运输工具，必要时为机动车辆，更确切地说，涉及尤其在靠近阶段，至少可以从视觉上辅助驾驶员操控运输工具的车载装置。

这里应当理解，“靠近阶段”指的是为了将运输工具放置于选定地点（例如停靠）而以较小速度操控运输工具的阶段。

背景技术

某些运输工具，尤其是机动车辆，配有用于在靠近阶段，例如通过提供对停靠有用的信息，来辅助驾驶员的装置。

这尤其是指的是被称为“倒车雷达”或者用于确定停车位对于容纳运输工具是否足够大的辅助装置（这种辅助装置尤其在专利文件US2009/167564和US2011/043380中进行了描述）。

这还指的是用于通过“中间”图像的历史提供俯视视角下运输工具停靠在其中的停车区域的合成图像的辅助装置。这种类型的辅助装置负责根据运输工具在不同图像之间执行的移动对获取区域中运输工具的至少一个摄像机所获得的依次照片相对彼此进行校准，以便逐步地构建出选定视角下（必要时是俯视视角）（这可能实际上涉及对应于摄像机视角延伸的局部视角）运输工具停车区域的合成图像，必要时是完整的合成图像。这需要能够在增量构建过程中存储每幅中间图像和合成图像的图像数据的储存设备。

操控辅助装置通常由驾驶员启动或者在挂倒档和/或运输工具速度变得小于预定临界值时以自动方式启动。当所述操控辅助装置不是基于使用图像历史时，其启动引起立刻显示选定视角（必要时俯视视角（或空中视角）），这可由驾驶员直接操作。然而当操控辅助装置基于使用图像历史时，其可以仅提供在其启动时围绕运输工具的区域的仅非常局限的局部视角。实际上，仅有被摄像机观测到的每个地面区域是可见的。围绕运输工具的完整区域的其它部分仅在操控期间随着运输工具的移动才能被提供给驾驶员。由于期望构建完整区域的合成图像，因此存在驾驶员不掌握信息的盲区，这可能会导致不适，甚至存在潜在的风险。

为了避免上述不便，图像历史的辅助装置可以持久地执行计算。但是这导致至少两个缺点。实际上，这不仅导致持久地电消耗，而且还使运输工具的车载网络中产生更大的数据流。此外，当辅助装置的处理设备安装在还负责其他功能的运输工具计算机中时，则持久地使用会白白地占用存储器资源和计算机的计算资源，而这些资源对于计算机所管理的其它一个或多个功能是有用的，甚至是必需的。

发明内容

因此，本发明的目的是改善具有图像历史的辅助装置的情况。

本发明尤其涉及一种用于运输工具的驾驶员的辅助装置，其包括处理设备，其配置成：

-当存在指示所述运输工具可以开始操控的至少一条初级信息时，获取图像数据组，所述数据组代表在部分围绕运输工具并且构成选定区域的一部分的至少一个获取区域中在依次时刻下获得的中间图像，并且

-如果所述操控在一个时刻实际开始，以安排示出在所述时刻下所述选定区域的选定视角下的合成图像，所述合成图像根据获得的所述图像数据组构建并且可以显示在所述运输工具中的屏幕上。

这里，应当理解，“选定视角”指的是在特殊角度下的视角，例如俯视视角或者前四分之三视角或者后视视角。此外，这里应当理解，“选定区域”指的是完整围绕运输工具的区域的全部或一部分。

由于本发明，辅助装置可以例如一旦在知道运输工具将要成为操控的对象时预先构建选定区域的合成图像。由此，如果该操控开始，驾驶员立即安排选定区域的合成图像。构建仅在操控开始之前一小会儿开始，不使用存储器资源和计算机的计算资源，并且仅在这一会儿期间以非持久的方式需要车载网络上的数据通信。在一个变型中，辅助装置可以例如一旦其知道运输工具将执行操控之后构建选定区域的合成图像。其实际上安排立即构建该合成图像所需的图像数据。

根据本发明的装置可以包括单独采用或组合采用的其它特征，特别是：

-处理设备可配置成当存在至少一条初级信息时开始所述获取图像数据组，所述至少一条初级信息（至少）选自以下：变得小于第一临界值的所述运输工具的即时速度，所述第一临界值本身大于与操控开始相关联的第二临界值、指示临近停车区域的定位信息、指示临近终点的定位信息，所述终点已经编程到安装在所述运输工具中的巡航辅助功能中、所述运输工具的转向灯使用信息、所述运输工具的刹车踏板的使用信息、所述运输工具的转向角信息、来自停车辅助功能的信息；

在使用代表变得小于所述第一临界值的即时速度的初级信息的情况下，所述第一临界值可选择为使得其与所述第二临界值的差距允许所述运输工具的移动量至少等于所述选定区域沿所述运输工具的移动方向的尺寸；

◆所述第一临界值可选择为使得其对应于所述运输工具要达到零速度所需的最小化刹车距离，其严格大于选定区域沿运输工具移动方向的尺寸；

-处理设备可配置成根据获得的图像数据构建选定视角下的运输工具的选定区域的示图；

-处理设备可配置成用于根据信息对中间图像彼此进行校正，所述信息分别与其所代表的获得的图像数据组相关联并且代表所述运输工具在不同中间图像之间所执行的移动量，以便逐步构建在所述选定视角下所述选定区域的所述合成图像；

-其可包括能够在依次时刻下获取所述图像数据组的至少其中一部分的获取设备；

获取设备可（至少）选自以下：与所述运输工具的后部分连成一体的观测摄像机，以及与所述运输工具的前部分连成一体的观测摄像机；

-处理设备配置成，当所述运输工具的即时速度变得小于与开始操控相关的第二临界值和/或在接收到由所述运输工具的驾驶员发出的要求在所述运输工具的所述屏幕上显示合成图像视图的指令的情况下，提供所述合成图像视图。

本发明还涉及一种运输工具，必要时是机动车辆类型，包括如前所述类型的辅助装置。

附图说明

通过检视以下详细说明和附图本发明的其它特征和优点将更加清楚，所附附图其中：

-图1示意性和功能性示出配备有根据本发明的辅助装置的一个实施例的机动车辆示例的俯视图，

-图2A至2D分别示意性示出为了逐步构建合成图像而获取图像数据的四个依次阶段的俯视图，第一阶段从指示运输工具可以开始操控的初级信息开始，以及

-图3示意性示出图1的运输工具的显示屏，所述显示屏中显示在图2D所示的第四阶段结束时整体围绕运输工具的选定区域的合成图像。

附图不仅用于完善本发明，必要时还参与本发明的定义。

具体实施方式

本发明还用于提供一种尤其在靠近阶段，至少可以从视觉上辅助驾驶员操控运输工具的装置D。

以下作为非限制性示例假设运输工具V是机动车辆。其涉及例如轿车、客车、卡车或公路运输车。然而，本发明不限于该类型的运输工具。其实际上涉及能够在地面或水上甚至在空中执行移动和操控的所有类型的陆运或海运（或河运）甚至是空中运输工具（例如无人驾驶飞机——靠近已知地理区域时预先起动用于构建选定区域视图）。

图1中示意性和功能性地示出轿车类型的机动车辆V，配有根据本发明的辅助装置D的一个实施例。

该轿车V传统上包括：前部分PV和与所述前部分PV相反的后部分PR、车载电脑OB以及这里配有与车载电脑OB联接的屏幕EC（中央位置）的中控台PB。

辅助装置D至少包括处理设备MT。

在所示的非限制性示例中，辅助装置D是并非作为运输工具V的车载电脑OB一部分的装备，但是优选与所述车载电脑联接。然而，其也可以是该车载电脑OB的一部分，至少是其一部分。因此，辅助装置D可以实施为电路形式，或者是软件模块（或信息模块），或者是电路和软件模块的组合。

处理设备MT配置（或设计）用于当其辅助装置D处置指示运输工具V可以（马上）开始操控的初级信息时起作用。应当注意，所述初级信息可以由运输工具V的其它装备（或元件）（可以是车载电脑OB或另外的计算机（例如巡航辅助装置））提供给辅助装置D，或者（例如当比较参数值时）由辅助装置D获得。

在代表可以马上执行操控，因此可以起动处理设备MT，的初级信息中，尤其列举以下：

-当变得小于第一临界值S1时运输工具V的即时速度，所述第一临界值S1本身大于与开始操控相关联的第二临界值S2，当运输工具V的速度例如可以由车载电脑OB或由运输工具V的通信网络周期性地提供给装置D，因此处理设备MT将接收到的每个速度值至少与第一临界值S1进行比较，

-指示临近停车区域的定位信息。该定位信息可以例如由至少暂时安装在运输工具V中的巡航辅助功能提供，所述定位信息包括（或者可以通向）公共信息数据基础（这例如是设置有地质功能的巡航辅助装备（或巡航器）或手机），

-指示运输工具V到达终点附近的定位信息，所述终点已经被驾驶员编程到至少暂时安装在运输工具V中的巡航辅助功能中，

-运输工具V的转向灯使用信息。该信息可以例如由车载电脑OB或者由通信网络提供给装置D，

-运输工具V的刹车踏板的使用信息。该信息可以例如由车载电脑OB或者由运输工具V的通信网络提供给装置D，以及

-运输工具V的转向角信息。该信息可以例如由车载电脑OB或者由运输工具V的通信网络提供给装置D，

-来自停车辅助功能的信息。该信息可以例如导致由驾驶员启动或者自动启动（例如在选定区域ZE中探测并且识别到表征潜在停车区域的元素，例如地面标记的情况下）。

当处理设备MT布置成使用代表变得小于第一临界值S1的即时速度的初级信息时，可以将所述第一临界值（S1）选择为使得其与第二临界值S2的差距允许运输工具V的移动量d_v，所述移动量至少等于选定区域ZE沿运输工具V的移动方向的尺寸（d_v≥dz）。

这里应当理解“选定区域”指的是整个围绕运输工具的区域的全部或一部分。

作为非限制性示例，第一临界值S1可以选择为使得其对应于运输工具V要达到零速度所需的最小化刹车距离d_m\n，其严格大于选定区域ZE的尺寸d_z（事先已知），即d_mir>dz。在这种情况下，第一临界值S1具有根据运输工具V变化更确切地说根据其刹车能力变化的值。

每当处理设备MT安排至少一条上述类型的初级信息时，其开始获取t0时刻的图像数据组，所述数据组代表在部分围绕运输工具V并且构成选定区域ZE的一部分的至少一个获取区域ZA（见图2A）中在依次时刻下获得的中间图像。

图像数据组由安装在运输工具V中至少一个适当地点处的获取设备MAi提供。

优选地，获取设备MAi包括与运输工具V连成一体的至少一个观测摄像机，所述至少一个观测摄像机位于能够观测其紧邻环境的至少一部分，特别是能够观测位于后防撞梁后方或前防撞梁前方的获取区域ZA的位置中（如图2A至2D中所示的示例）。每个（观测）摄像机MAi提供实时图像。

在图1中所示的非限制性示例中，获取设备MAi包括分别安放在运输工具V的前部和后部的中央位置中（例如在防撞梁或护罩中）的两个观测摄像机MA1（i=1）和MA2（i=2）。

应当注意，获取设备MAi必要时还可以包括通过波进行分析的分析设备，例如安放在运输工具V的前部和/或后部（例如在防撞梁或护罩中）的无线电探测器，所述无线电探测器处于能够探测紧邻环境中的障碍物的位置中。应当注意，通过波进行分析的分析设备提供诊断数据，通过所述诊断数据可以形成运输工具V的紧邻外部环境的2D、2.5D或者3D绘图。

同样非常重要的是，获取设备MAi的至少其中之一必要时可以是辅助装置D的一部分。因此，获取设备MAi的至少其中之一必要时可以是保证运输工具V中至少一项其它功能的装备。在后一种情况下，该装备获取的数据必须在该装置附近或者在运输工具V的信息总线上或者在运输工具V的车载计算机附近进行恢复。

当在开始获取图像数据组的时刻t0之后的某一时刻t1（因此与t0有关）操控实际开始（或马上开始）时，处理设备MT还负责安排在选定视角下示出的在时刻t1时至少部分围绕运输工具V的选定区域ZE的合成图像IZ（见图3），所述合成图像根据获得的图像数据组构建并且能够显示在运输工具V中的屏幕EC上。

这里，应当理解“选定视角”指的是在特殊角度下的视角，例如俯视视角或者前四分之三视角或者后视视角。

屏幕EC例如安装在运输工具V的中控台PB中。但这不是必须的。可以实际上涉及作为辅助装置D的一部分的屏幕，尤其是当装置（D）为便携式箱的形式时。

应当指出，选定区域ZE的合成图像IZ优选包括运输工具V（至少部分）的示意性视图。

处理设备MT优选配置成当在时刻t0之后一旦接收到至少一个代表通过获取设备MAL在至少一个获取区域ZA中获取的中间图像的一组图像数据就开始构建选定区域ZE的合成图像IZ。在这种情况下，如果在时刻t1时开始操控，驾驶员立即安排部分或整体围绕其运输工具的选定区域ZE的合成图像IZ。

为了逐步构建选定区域ZE的合成图像IZ，处理设备MT可以例如实施称为“图像历史”的技术，该类型的技术在专利FR0953271中进行了描述，其中所包含的技术并入该处引作参考。在图2A至2D非常简略地示出了这种技术。简单来说这种技术根据信息使中间图像（由获得图像数据组代表）彼此进行校正，所述信息分别与图像数据组相关联并且代表运输工具V在不同中间图像之间所执行的移动量，以便逐步构建在选定视角（如图3中所示（这里是俯视））下选定区域ZE的合成图像IZ。

应当注意，对于存储器的尺寸问题，直到接收下一组图像数据仅暂时地储存在选定视角下的正在构建的合成图像IZ，然后对由获取设备MAi提供的下一组数据相对于储存在正在构建的合成图像IZ中数据进行校正。

该储存在储存设备MS中进行，所述储存设备例如是存储器。应当注意，在图1中所示的非限制性示例中，储存设备MS是辅助装置D的一部分。然而这不是必须的。所述储存设备实际上是与辅助装置D联接或者至少与处理设备MT联接的运输工具V的另一个装置、装备或元件的一部分。

在图2A至2D中所示的非限制性示例中，仅简要地使用运输工具V的前摄像机MA1以逐步地构建在选定视角下（这里是俯视视角）的选定区域ZE（这里是完全围绕运输工具V的区域）的合成图像IZ。该前摄像机MA1周期性地获取位于运输工具V前方的获取区域ZA的实时图像，限定每个图像的图像数据被传输给处理设备MT，以便能够使其彼此进行校正，优选随着获取逐渐进行校正。

图2A示意性示出参与逐步构建在选定视角下（这里是俯视视角）的合成图像IZ的第一组图像数据的第一获取阶段。应当理解，该第一获取阶段在时刻t0之后由指示运输工具V可以开始操控的初级信息初始化。

图2B示意性示出参与逐步构建在选定视角下（这里是俯视视角）的合成图像IZ的第二组图像数据的第二获取阶段。应当理解，该第二获取阶段在运输工具V相对于其在时刻t0大致占据的位置移动（箭头F）第一距离之后初始化（在图2A中示出）。应当注意，在图2B中，矩形标记IZ体现通过校正第一组和第二组图像数据获得的中间阶段的合成图像。

图2C示意性示出参与逐步构建在选定视角下（这里是俯视视角）的合成图像IZ的第三组图像数据的第三获取阶段。应当理解，该第三获取阶段在运输工具V相对于其在前次获取时占据的位置再次移动（箭头F）第二距离之后初始化（在图2B中示出）。应当注意，在图2C中，矩形标记IZ体现通过校正第一组、第二组和第三组图像数据或者通过将第三组图像数据相对于正在构建的合成图像IZ的储存数据进行校正获得的另一中间阶段的合成图像。

图2D示意性示出参与逐步构建在选定视角下（这里是俯视视角）的合成图像IZ的第四组图像数据的第四获取阶段。应当理解，该第四获取阶段在运输工具V相对于其在前次获取时占据的位置再次移动（箭头F）第三距离之后初始化（在图2C中示出）。应当注意，在图2D中，矩形标记IZ体现通过校正第一组、第二组、第三组和第四组图像数据或者通过将第四组图像数据相对于正在构建的合成图像IZ的储存数据进行校正获得的最终合成图像。

应当指出，在一个实施变型中，处理设备MT可以控制在时刻t0和t1之间的依次图像数据组的储存，并且一旦时刻t1到来之后就根据所有这些储存的数据组构建选定区域ZE的合成图像IZ。为此，可以使用与上面所述相同的技术，但是通过连贯

非常迅速地进行校正。然而也可以使用本领域技术人员已知的任何其它校正技术，尤其是“拼接形成法”（génération de

）和“从运动求取结构”（structure à partir d umouvement）技术，这些尤其在活动机器人领域已知。可以非常快速地执行校正计算，因此驾驶员可以非常快速地布置选定区域ZE的合成图像IZ。

一旦处理设备MT已经构建好最终合成图像IZ，则布置以便最终显示在屏幕EC上。

应当注意，如果该最终合成图像IZ被立即显示出来，处理设备MT在由获取设备Mai每次新获取到一组图像数据时就继续更新，以使其能够作为前次（完整）合成图像IZ的更新显示在屏幕EC上。如果该最终合成图像IZ不立即显示，处理设备MT同样在每次由获取设备MAi新获取到一组图像数据时就继续更新，以使其有效地示出在将要显示的时刻至少部分围绕运输工具V的选定区域ZE的总体。

还应当注意，根据一个选定的实施例，处理设备MT可以配置成，当运输工具V的即时速度变得小于第二临界值S2（与开始操控相关）和/或在接收到由驾驶员发出的要求在运输工具V的屏幕EC上立即显示合成图像IZ视图的指令的情况下，提供（完整）合成图像IZ的视图，以显示在屏幕EC上。

这里可以使用任何本领域技术人员已知的人/机界面（或IHM），以允许驾驶员向辅助装置D指示要求在屏幕EC上显示（完整）合成图像IZ。该人/机界面（或IHM）可以是辅助装置D的一部分或者是运输工具V的另一装备。由此，人/机界面（或IHM）可以是限定在触摸屏（必要时EC）上的触摸输入设备形式，或者是能够在预先限定的菜单中移动以选择专门显示（完整）合成图像IZ的子菜单的机构，或者甚至是致动器。

对运输工具V的即时速度的分析可以例如由处理设备MT执行。在这种情况下，处理设备MT周期性地执行每个接收到的速度值（例如由车载电脑OB）和第二临界值S2的比较。

例如，非限制性地，第二临界值S2可以在10km/h至20km/h之间。

应当注意，根据本发明的辅助装置D可以必要时至少暂时地是车载装置的一部分（例如手机），为驾驶和/或操控提供一个或多个其它辅助功能或者巡航辅助功能又或停车辅助功能。其本身还可以补充地为驾驶和/或操控提供一个或多个其它辅助功能。在这些补充辅助功能中，尤其可以列举：探测构成障碍物的可能目标，探测跨越线，修正路线，根据其超过的运输工具与其隔开的距离调整运输工具的速度，探测适于运输工具的停车位，在窄道通过操控时进行辅助，或者在停车操控期间进行辅助。

本发明不限于以上描述的仅作为示例的运输工具辅助装置实施例，而是包括本领域技术人员在以下权利要求的范围中能够设想到的所有变型。

Claims

1.一种用于运输工具（V）的驾驶员的辅助装置（D），其特征在于，其包括处理设备（MT），其配置成，当存在指示所述运输工具（V）可以开始操控的至少一条初级信息时，获取图像数据组，所述数据组代表在部分围绕运输工具（V）并且构成选定区域（ZE）的一部分的至少一个获取区域（ZA）中在依次时刻下获得的中间图像，并且如果所述操控在一个时刻实际开始，以安排示出在所述时刻下所述选定区域（ZE）的选定视角下的合成图像（IZ），所述合成图像根据获得的所述图像数据组构建并且可以显示在所述运输工具（V）中的屏幕（EC）上。

2.根据权利要求1所述的装置，其特征在于，所述处理设备（MT）配置成当存在至少一条初级信息时开始所述获取图像数据组，所述至少一条初级信息从以下组选择，所述组至少包括：变得小于第一临界值的所述运输工具（V）的即时速度，所述第一临界值本身大于与操控开始相关联的第二临界值、指示临近停车区域的定位信息、指示临近终点的定位信息，所述终点已经编程到安装在所述运输工具（V）中的巡航辅助功能中、所述运输工具（V）的转向灯使用信息、所述运输工具（V）的刹车踏板的使用信息、所述运输工具（V）的转向角信息、来自停车辅助功能的信息。

3.根据权利要求2所述的装置，其特征在于，在使用代表变得小于所述第一临界值的即时速度的初级信息的情况下，所述第一临界值选择为使得其与所述第二临界值的差距允许所述运输工具（V）的移动量至少等于所述选定区域（ZE）沿所述运输工具（V）的移动方向的尺寸。

4.根据权利要求3所述的装置，其特征在于，所述第一临界值选择为使得其对应于所述运输工具（V）要达到零速度所需的最小化刹车距离，其严格大于选定区域（ZE）沿运输工具（V）移动方向的尺寸。

5.根据权利要求1至4中任一项所述的装置，其特征在于，所述处理设备（MT）配置成用于根据信息对中间图像彼此进行校正，所述信息分别与其所代表的获得的图像数据组相关联并且代表所述运输工具（V）在不同中间图像之间所执行的移动量，以便逐步构建在所述选定视角下所述选定区域（ZE）的所述合成图像（IZ）。

6.根据权利要求1至5中任一项所述的装置，其特征在于，其包括能够在依次时刻下获取所述图像数据组的至少其中一部分的获取设备（MAi）。

7.根据权利要求6所述的装置，其特征在于，所述获取设备（MAi）在以下组中选择，所述组至少包括：与所述运输工具（V）的后部分连成一体的观测摄像机，以及与所述运输工具（V）的前部分连成一体的观测摄像机。

8.根据权利要求1至7中任一项所述的装置，其特征在于，所述处理设备（MT）配置成，当所述运输工具（V）的即时速度变得小于与开始操控相关的第二临界值和/或在接收到由所述运输工具（V）的驾驶员发出的要求在所述运输工具（V）的所述屏幕（EC）上显示合成图像（IZ）视图的指令的情况下，提供所述合成图像（IZ）视图。

9.一种包括根据上述权利要求中任一项所述的辅助装置（D）的运输工具（V）。

10.根据权利要求9所述的运输工具，其特征在于，所述运动工具为机动车辆类型。