CN107547864B - 用于车辆的周围视域监控系统和方法 - Google Patents

Abstract

本发明涉及一种利用周围视域监控系统(20)示出车辆(10)下方地面的方法。周围视域监控系统(20)包括至少一个摄像机(21,22,23,24)、处理单元(100)和显示单元(140)。所述方法包括：利用至少一个摄像机(21,22,23,24)在地面(21”,22”,23”,24”)上拍摄至少一个图像，跟踪相对于车辆(10)的地面位置并且如果车辆(10)在地面(21”,22”,23”,24”)的至少一部分上移动则将地面显像为车下视域并且作为车速的函数。还提供了一种周围监控系统。

Description

用于车辆的周围视域监控系统和方法

技术领域

本发明涉及一种利用周围视域监控系统(around view monitoring system)示出车辆下方地面的方法和用于车辆的周围视域监控系统。所述方法和周围视域监控系统适于通过利用例如前、后或侧摄像机为驾驶员提供车下视域。

背景技术

周围视域监控系统通常用于监控车辆的环境。不仅从当停车时安全性的角度而且当为车辆提供附加功能时，监控车辆环境已经变得越来越重要了。附加功能可为车道检测，这仅是举例。车辆因而设置有定位在车辆周围不同位置处的摄像机从而得到车辆周围的全视图。

周围视域监控系统可围绕车辆的鸟瞰视域投影的捕获图像从而为驾驶员提供从上方观察车辆的感知。已经发现当倒车或停车时这是特别有用的。

美国专利申请号US 2016/0101734A1公开了车下图像供给仪器。仪器包括安装于车辆底部的多个底视摄像机。底视摄像机提供了车下图像，驾驶员可由其观察例如车辆的轮胎。但是提出的方案仍然具有某些缺陷。首先，当行驶时定位在车辆下方的摄像机很可能受到来自轮胎的污物、碎石乃至溅水的影响。更不用说来自其它车辆的污物、碎石或水的影响。摄像头过于靠近道路时具有被覆盖乃至损坏的高风险。第二：公开的仪器需要若干附加的摄像机才能得到车下全视图。

看起来本系统相对地敏感并且不必要地昂贵。

发明内容

本发明的一个目的是消除或至少减少上述缺陷或提供有用的可选方案。通过示出车下地面的方法和用于车辆的周围视域监控系统至少部分地满足至少一个目的。周围视域监控系统包括至少一个摄像机、处理单元和显示单元。所述方法包括利用至少一个摄像机拍摄地面上的至少一个图像。跟踪地面相对于车辆的位置并且如果车辆在至少一部分地面之上移动则将地面显像为车下视域且作为车速的函数。

所述方法提供了一种在实际上没有车下摄像机的情况下提供车下视域的容易和便宜的方式。当相对于车下地面上的目标定位车辆时例如当停车时所述方法和系统是非常有用的。这种目标可以是充电站、车辆升降机、车辆维修坑，仅作为示例。车辆例如可以是汽车、休闲客货车、运货汽车、公交车、小船、拖车。车辆优选陆地行驶车辆例如汽车。

根据一个方面，所述方法可包括提供来自至少一个摄像机的直播流(livestream)的步骤。图像可有利地与来自摄像机的直播流组合。这样，为驾驶员提供了在以前几个时刻拍摄的图像与来自摄像机的直播流组合的视域。

至少一个图像可与从至少一个摄像机供给的直播流拼合。这样，驾驶车辆的驾驶员可同时拥有例如车辆的鸟瞰视域、其环境和车下视域。这可简化当停车时车辆的驾驶和定位。

所述方法可包括在代表车辆的图像上叠置至少一个图像的步骤。这就为驾驶员提供了基准点并且将车辆轮廓关联于摄像机捕获的图像。当然，图像可适于关联于代表车辆的图像和/或代表车辆的图像可关联于另一个图像。代表车辆的图像优选是实际车辆的剪影(silhouette)、透明图片、轮廓等等或至少其类似物。

所述至少一个图像可以是静止图像例如快照或临时存储的流。所使用的特定图像类型根据期望的功能而改变。有时，单个的静止图像连续地被更新就足够了，并且有时期望具有高帧率。流可被限定为具有20每秒帧数以上的帧率。

周围视域监控系统可包括一个或多个摄像机例如至少一个前向摄像机、后向摄像机、第一和第二侧摄像机。第一和第二摄像机优选是相对侧摄像机即左右侧摄像机。至少两个所述摄像机拍摄的一个或多个图像可被组合以形成例如拼合的至少一个图像。当车辆转弯且车辆在两个视野重叠处的一部分地面(即穿过两个摄像机视野可能重叠的地面)之上行驶时这是非常有用的。

至少一个图像可被显象(visualized)为车速和可选择的更多车辆参数的函数。当车辆移动时，至少一个图像可在显示单元上移动从而示出或复制车辆运动。可选择地，如果车辆转弯，则该转弯应当通过类似的图像移动示出或复制在显示单元上。其它车辆参数例如可以是行进距离和/或转向角。通过车辆例如经由车轮滴答(wheel ticks)即车轮旋转的圈数或经由GPS定位或其它定位单元和方法测量行进距离。藉此，当驾驶时驾驶员能够得到很好的鸟瞰视域。

当从上方观察时车辆限定地面上的车辆周缘。优选在车辆周缘之外的地面上拍摄至少一个图像。周围视域监控系统不需要车下摄像机来形成车下视域。相反，驾驶员只需要驶过已经成像的地面就能将图像显示为车下视域。

至少一个图像有利地与直播流拼合从而形成遵循车辆周缘的接缝。这样，驾驶员将从显示单元得到很好的驾驶辅助。

至少一个图像被显象为3D图像。车辆可从上方被显象以形成鸟瞰视域，但车辆可选择地或附加地从侧面被显象。当从侧面显象时，如果地面上的目标例如充电站或石头被显象为3D目标，则可能是有利的。可利用3D摄像机或从两个不同的位置成像的两个独立摄像机形成目标的3D图像。

至少一个图像可设置有选定的每秒帧数，选定的每秒帧数被设定为车速的函数。在快速下，例如可在每秒高速下提供图像。车辆行进的越快，期望的每秒帧数越多。

提供用于车辆的周围视域监控系统也在本发明的范围内。周围视域监控系统包括至少一个摄像机、处理单元和显示单元。处理单元适于基于所述至少一个图像成像的地面相对于车辆跟踪地面区域并且如果车辆在地面区域的至少一部分上移动则将至少一个图像显象为车下视域。

所述系统提供了不需要车下摄像机的便宜系统。车下摄像机常常受到污物、碎石、水和雪特别是来自轮胎的飞溅的影响。本系统消除了对定位在车辆下方甚至车辆下侧处的摄像机的需要，从而为驾驶员提供车下视域。

附图说明

将参照附图详细公开本发明的非限定性实施例，其中：

图1示出具有周围视域监控系统和朝向侧面的视域的车辆；

图2示出从上方观察的图1的车辆；

图3示出图2的车辆同时示出摄像机视野；

图4示出用于车辆的周围视域监控系统的示意性方框图；

图5a示出带有所示摄像机视野的车辆，图5a还示出显示在显示单元上的可选显示视域；

图5b示出图5a的车辆，其中示出前摄像机视野，图5b还示出显示在显示单元上的可选显示视域；

图6a示出在已经移动之后图5a的车辆；

图6b示出在已经移动之后图5b的车辆；

图7a示出在已经移动更远之后图6a的车辆；

图7b示出在已经移动更远之后图6b的车辆，并且；

图8示出用于示出车下地面的方法的实施例的示意性方框图。

具体实施方式

图1示出形式为带有朝向侧面的视域的汽车的车辆10。车辆10包括具有多个摄像机的周围视域监控系统20。利用周围视域监控系统，驾驶员可得到例如鸟瞰视域，辅助驾驶员，例如当停车时。图2示出从上面观察的车辆10。周围视域监控系统20在所示实施例中具有四个摄像机：前摄像机21、后摄像机22以及第一和第二侧摄像机23、24(也称为左和右摄像机23、24)。应注意到，周围视域监控系统20可设置有一个或多个摄像机并且所述实施例中为了简单起见仅示出四个摄像机。周围视域监控系统20可设置有1、2、3、4、5、6、7、8、9或更多摄像机，仅作为示例。通过利用一个或多个摄像机，有可能拍摄图像并且处理图像例如将所述图像叠加在表示车辆的图像上。还可能作为车速和/或一个或多个附加车辆参数的函数移动地显像图像。相对于车辆跟踪已经成像的地面位置。这将提供车辆的虚拟车辆下方图像，同时给出了驶过地面的车辆的外观的延时透视。图像可进一步与车辆同步移动以加强在地面上驶过的车辆的外观。

图3示出带有前、后、左和右摄像机21、22、23、24所示视野21'、22'、23'、24'的车辆10。视野进一步示出周围的视域图像。当向车辆10中的驾驶员显示时，周围视域图像通常被示为如图3所示的车辆10的顶视图。周围视域图像可被现场直播到显示单元(未示出)。能够注意到，视野基本上遵循车辆的轮廓从而当显示在显示单元上时，现场直播的影像与车辆轮廓相关。

图4示意性地示出周围视域监控系统20的实施例。周围视域监控系统20包括管理和处理来自协作单元的数据的处理单元100、一个或多个摄像机110、一个或多个照明单元115、其它车辆传感器120和导航单元130。周围视域监控系统20进一步包括显示单元140、数据输入单元150、通信单元160和存储器单元180。电源例如车用蓄电池向周围视域监控系统提供电力。服务器系统200是可用的或最新的或数据处理和存储。

处理单元100可以是车载计算机、CPU等等。

一个或多个摄像机110可以是广角摄像机例如具有180度或更大视角的超广角摄像机。一个或多个摄像机当然可设置有光传感器。一个或多个摄像机可设置有附加数据采集单元例如雷达(radar)、激光雷达(lidar)、图像识别系统、目标检测单元、目标识别单元、目标跟踪单元等等。一个或多个照明单元可为发光二极管例如红外发光二极管从而在低光线情况下向所述摄像机提供照明。

车辆传感器120可以是任何车辆传感器，例如应变仪、速度计、油压表、燃料计、转向角传感器、阻尼传感器、座椅传感器、门传感器、光传感器、位置和导航传感器、加速度计、航向传感器、偏航角传感器、陀螺仪传感器、车轮传感器、车身倾斜传感器、电池传感器、轮胎传感器、室内和/或室外温度传感器、内部湿度传感器、节流阀传感器、曲轴传感器、水温传感器、进气口传感器等等。

导航单元130可以是一个或多个GPS单元或加强GPS单元、WiFi定位单元、路标导航单元等等及其组合。

显示单元140可以是车辆的固定显示单元，例如HUD、液晶屏幕，或移动显示单元例如移动装置、移动式电话、联想笔记本、ipad等等。它可能是触屏或经由按钮、声音命令、手势识别系统等等被操作。数据输入单元150使得使用者能够操纵、更改设定和/或操作周围视域监控系统20。要理解，显示单元和操作单元可由相同的装置形成，例如经由触屏操作装置。

通信单元160可适于与无线网络例如仅作为示例的3G、4G、5G电信网、WiFi、蓝牙通信。

存储器单元可能是数据存储器并且可存储由摄像机或其它单元捕获的数据。摄像机数据可被存储为mpeg格式例如mpeg1、2、3或4，AVI、M4V、3GPP、3GPP2、Nullsoft的视频流、jpeg或gif格式，以上仅列举了几种数据格式。

服务器系统200可以是适于存储或发送数据的基于云控制的服务器。数据可以是软件更新、数据处理等等。

参照附图5a-7b，将详述用于示出车下地面的方法的非限定性实施例。图5a、6a和7a示出从上方所见的车辆10，同时图5b、6b和7b示出带有朝向侧面的视域的车辆10。图5a、6a和7a示出车辆10移动从而示出处于不同的时间和按时间顺序的车辆10。类似地，图5b、6b和7b示出车辆10移动从而示出处于不同的时间和按时间顺序的车辆10。

图5a示出车辆10和由摄像机提供的视野21'、22'、23'、24'。仅作为示例，将通过利用前视野21’和通过说明笔直向前行驶的车辆10描述所述方法。为了描述所述方法，显示单元以类似于图5a所示的方式从上方示出车辆10，同时来自摄像机21、22、23、24的直播流在显示单元上示出相应视野21'、22'、23'、24'中的地面。图5b示出从侧面所见的前视野21'。要注意，周围视域监控系统的摄像机不直接对车辆10下面的地面进行成像。相反，前摄像机(未示出)连续地拍摄车辆10前方区域的图像，如表示从侧面所见的视野21'的括号所示，同时向显示单元现场直播所述区域即视野21'。一个或多个图像被临时地或永久性地存储。图像的存储可本地或远程地存储在服务器上。

如果期望则另一个摄像机即后摄像机22和两个侧摄像机23、24也可拍摄图像。应注意到，如果相同的摄像机用于拍摄一个或多个图像同时现场直播，则可从临时存储的直播流获取一个或多个图像。不一定需要独立地从直播流拍摄图像。因此有可能存储直播流从而自其获取车辆驶过的地面的图像。周围视域监控系统20可临时地存储来自优选所有视野21'、22'、23’、24'的周围环境的图像。为了示出地面上的目标，在图5a中示出用于电动车的充电站30。

图6a-6b示出在笔直向前行进有限距离后的车辆10。可看出，对视野21'表示的区域成像的前摄像机21仍然在车辆10前方成像从而向驾驶员现场直播地面区域。由前视野21'的前摄像机更早拍摄的图像对地面区域成像。成像的地面区域被称为地面区域21”。地面区域21”在特定时间相对于车辆10的位置固定。正如可收集的，当车辆10向前行进时，车辆10行进经过地面区域21”。有效地拍摄的地面区域21”上的图像变为车辆10的车下图像。观察例如如图5a、6a、7a所示显示车辆10的显示单元的驾驶员因而将地面区域21'上的拍摄图像视为当经过地面区域21”时车辆10下面的地面。但是，实际图像是在经过地面区域21”以前更早拍摄。因此车下摄像机不是必要的。可进一步看出，充电站30被显示在车辆10下方但是对应于车辆位移略微移动一定距离。

附图7a-7b以类似的方式示出在行进又一距离之后的车辆10。第一地面区域21”相对于车辆10甚至进一步移动从而显示车辆10如何行进经过地面。图像因此还根据车辆10如何移动即车辆10由驾驶员如何驾驶来直观地移动。可进一步看出，充电站30显示在车辆10下方，对应于车辆的位移略微进一步移动一定距离。通过该方法的辅助，即使车辆不具有直接在车辆下方成像的能力，驾驶员也很容易相对于例如充电站30定位车辆10。

因而跟踪已经成像的地面位置使得该图像可被视为当驾驶员驾驶车辆经过特定地面时的车下视域。可仅通过计算或位置测量、当然也可能通过其组合进行跟踪。

所述方法可进一步包括结合直播流中的图像的步骤。图像可因此与由周围视域的摄像机拍摄的直播流拼合，当移动经过特定地面区域时给驾驶员提供车辆10的包括车下视域的鸟瞰视域。通常地，所述方法因而可包括将第一时间拍摄的图像与第二时间拍摄的第二图像拼合并且在显示单元上同时显示那些图像的步骤。第二图像优选是直播流。所述方法因而可包括拍摄静止图像并且将该图像与来自摄像机的直播流拼合。第一与第二时间之间的时间差取决于车速。

作为一个选项：摄像机例如前摄像机连续地捕获向显示单元成像的例如前视野21'的图像和直播流。当如图5a-7b所示车辆10移动时,捕获的图像可被临时地存储和略微延迟地显示从而当车辆行进经过地面区域21”时显示车下地面。时间延迟取决于车速。

周围视域和车下视域可叠置在表示车辆的轮廓、剪影或其它图像上。车辆优选是透明的从而为驾驶员提供车下地面的适当视域即车下视域。

根据一个实施例，可应用所述方法从而显示车下地面上的目标例如充电站或点、车辆升降机、车辆维修坑、探井盖等等。仅作为示例，充电站30在图5a-7b中示出。因而当相对于地面上的目标定位车辆时可使用所述方法，因为当车辆经过已被成像的地面时车辆前、后或侧面处地面的图像可被成像随后显示为车辆的车下视域。根据所述方法，可显示目标的图像，或如果利用目标识别单元分辨目标则可仅显示目标。当可在显示单元上从侧面显象车辆同时目标的测量或估算高度例如如图5b、6b和7b所示被显象，这是特别有用的。

图像——不论是静止图像或临时存储的图像流即影像——作为车速的函数移动。因而图像可被显象为根据车辆如何移动而移动。在上述公开内容中，这通过笔直向前移动车辆来示出。转向角被设定为0°并且车辆的速度决定了当在显示单元上显示时图像移动的速度。可看出，不管车辆如何移动都可应用相同的方法。当向前或向后移动时车辆当然可以转弯。不论车辆如何移动，周围视域监控系统都能够对环境成像并且利用该图像且当在成像地面上行驶时将图像或地面上的目标显示为车下视域即车下地面的图像。这将提供车辆的全部鸟瞰视域以及车辆下方是什么，特别是如果拼合或以任何其它方式与由周围视域监控系统提供的直播流相关。

如上所述，相对于车辆跟踪地面的位置。已经成像的地面位置因而可与对地面拍摄的特定图像相关。这可通过精确定位例如图像的地理位置来完成。如果使用静止图像，则为每个静止图像或静止图像组提供例如GPS单元优选增强GPS设定的地理位置。可选择地，已经成像的地面位置可经由车速、行进距离与车辆位置相关并且作为转向角和转弯半径的函数。因此，通常GPS位置和/或计算位置可用于将图像的地面因而图像位置与车辆位置相关联。当然两个步骤的组合也是可能的。

在预定时间之后和/或车辆已经驾驶预定距离之后删除存储的图像。适宜的预定时间是5分钟或更少。这将防止过于陈旧的地面图像的使用，因为新的目标已经出现在地面上或已经移除了。

图8示出说明本发明的非限定性实施例的方框图。在步骤200，利用周围视域监控系统内可用的摄像机形成直播流。直播流在显示单元上显象。

在步骤210，周围视域监控系统的一个或多个摄像机用于产生图像即车辆环境的快照。摄像机在车辆前方、车辆后面和车辆侧面成像。应注意到，可使用除特别用于直播流之外的其它摄像机。

在步骤220，车辆移动并且可用的传感器将例如车速、行进距离和转向角发送至处理单元。其它传感器可选择地或附加地将车辆相对于图像的位置关联于例如GPS位置。

在步骤230，已被成像为图像的地面的相对位置与车辆相关联。如果车辆移动则图像相应地移动或被描绘为随着车辆移动。通过计算或通过测量作为图像主题的地面与车辆的相对位置来完成关联。如果车速是零，则图像静止即不移动。这就为驾驶员提供了车辆下方的视域，尽管是在车辆位于成像的地面侧面处时拍摄的地面的图像。

在240，如果车辆在所述图像成像的地面之上移动则图像与直播流拼合以提供车辆下方的摄像机视域。

在250，拼合的摄像机视域在显示单元上显示并且优选叠置代表车辆的图像从而为驾驶员提供了车辆、环境和车下地面的良好鸟瞰视域。

可以不同的方法完成图像拼合(stitching)。通常地，算法用于将一个图像中的象素坐标关联于第二图像中的象素坐标从而对齐图像。各个图像对或各个图像组被进一步对齐。图像中的特征例如道路上的石头、车道标线等等被匹配以减少找到图像之间对应物的时间。可以使用方法例如图像重合和/或要点检测。图像可进一步被校准以使图像一致。由于图像之间的曝光差异、摄像机响应与色差、晕光、和变形导致的缺陷可被减少或消除。之后可执行图像融合。当融合时，实施校准步骤并且校准步骤通常涉及重新设置图像以形成输出投影。目的是提供没有接缝的图像，或最小化图像之间的接缝。可调整图像中的颜色。

应注意到，此处公开的方法和设备可与定位在车辆下方的特别是被设置为在车辆下方录影的摄像机组合使用，例如作为备用系统或验证系统。

Claims (15)

1.一种利用周围视域监控系统(20)相对于车辆(10)下面地面上的目标定位所述车辆(10)的方法，所述周围视域监控系统(20)包括至少一个摄像机(21,22,23,24)、处理单元(100)和显示单元(140)，

其特征在于所述方法包括：

-利用至少一个摄像机(21,22,23,24)拍摄带有所述目标的地面(21”,22”,23”,24”)上的至少一个图像；

-跟踪带有所述目标的所述地面相对于所述车辆(10)的位置；

-如果所述车辆(10)在带有所述目标的所述地面(21”,22”,23”,24”)的至少一部分上移动，则将带有所述目标的所述地面显像为车下视域并且作为车速的函数；以及

显像所述车辆的侧视图同时显像所述目标的测量或估算高度。

2.根据权利要求1所述的方法，藉此所述方法包括提供来自至少一个摄像机(21,22,23,24)的直播流的步骤。

3.根据权利要求2所述的方法，藉此所述至少一个图像与从所述至少一个摄像机(21,22,23,24)供给的直播流拼合。

4.根据权利要求1-3任意一项所述的方法，藉此所述方法包括将所述至少一个图像叠置在代表所述车辆的图像上的步骤。

5.根据权利要求1-3任意一项所述的方法，藉此所述至少一个图像是静止图像或临时存储的流。

6.根据权利要求1-3任意一项所述的方法，藉此所述周围视域监控系统(20)包括至少一个前向摄像机(21)、一个后向摄像机(22)、第一和第二侧摄像机(23,24)。

7.根据权利要求6所述的方法，其中通过至少两个所述摄像机(21,22,23,24)拍摄所述一个或多个图像，它们拼合以形成所述至少一个图像。

8.根据权利要求1-3任意一项所述的方法，藉此所述至少一个图像被显像为至少一个附加车辆参数的函数。

9.根据权利要求8所述的方法，藉此所述附加车辆参数是转向角和/或行进距离。

10.根据权利要求1-3任意一项所述的方法，藉此所述车辆(10)限定了当从上方观察时所述地面上的车辆周缘，并且其中，所述至少一个图像在所述车辆周缘外部的地面上拍摄。

11.根据权利要求10所述的方法，藉此所述至少一个图像与直播流拼合以便形成遵循所述车辆周缘的拼合接缝。

12.根据权利要求1-3任意一项所述的方法，藉此所述至少一个图像显像为3D图像。

13.根据权利要求12所述的方法，藉此所述方法包括如下步骤：在代表所述车辆的至少一个图像上显像所述至少一个图像的侧视图。

14.根据权利要求1-3任意一项所述的方法，藉此所述至少一个图像设置有选定的每秒帧数，所述选定的每秒帧数被设定为所述车速的函数。

15.一种用于车辆(10)的周围视域监控系统，所述周围视域监控系统(20)包括至少一个摄像机(21,22,23,24)、处理单元(100)和显示单元(140)，其特征在于：

所述处理单元(100)适于基于由所述至少一个摄像机拍摄的带有目标的地面上的至少一个图像跟踪带有所述目标的地面相对于所述车辆(10)的位置；并且如果所述车辆(10)在所述地面区域(21”,22”,23”,24”)的至少一部分上移动则将所述至少一个图像显像为车下视域。

Images