CN110505469A - 用于车辆的环绕监测系统及其方法 - Google Patents

用于车辆的环绕监测系统及其方法 Download PDF

Info

Publication number
CN110505469A
CN110505469A CN201910393504.7A CN201910393504A CN110505469A CN 110505469 A CN110505469 A CN 110505469A CN 201910393504 A CN201910393504 A CN 201910393504A CN 110505469 A CN110505469 A CN 110505469A
Authority
CN
China
Prior art keywords
data
vehicle
view
periphery
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910393504.7A
Other languages
English (en)
Inventor
乔纳森·大卫阿什利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN110505469A publication Critical patent/CN110505469A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

公开了用于车辆的环绕监测系统及其方法。用于车辆(1)的环绕视图系统包括：三维几何单元(101)，其被配置成接收车辆周围环境数据，并且基于所接收的车辆周围环境数据来生成车辆周围环境的三维模型；以及视图生成单元(102)，其被配置成接收视觉数据，并且基于车辆周围环境数据和视觉数据的空间和/或时间信息将视觉数据映射至三维模型的各部分以形成虚拟环绕视图。

Description

用于车辆的环绕监测系统及其方法
技术领域
本公开内容涉及环绕监测系统，并且特别但非排他地涉及用于车辆的环绕监测系统。
背景技术
通常提供环绕监测系统以例如在停车或车辆自动驾驶时通过显示车辆及其周围事物的视图来辅助车辆的驾驶员。一般而言，环绕监测系统包括用于获得周围环境的图像或视频的至少一个摄像机以及用于显示基于所获得的图像或视频生成的视图的显示器。提供360度环绕视图的鸟瞰图或顶视图是特别有用的，因为它向用户提供了以其他方式不可获得的信息，例如，整个车辆相对于其周围事物的位置。
然而，在提供各种视图时，特别是鸟瞰图时，传统的环绕监测系统在虚拟视图中引入了大量的失真。发生这样的失真是由于通过在表面(例如围绕车辆表示的碗状表面)上投影图像而形成视图造成的，这导致图像的一些部分以未反映现实的方式被拉伸或压缩。
因此，本公开内容提供了以有效的方式生成具有减少的失真的、更多信息的环绕视图的环绕监测系统。
发明内容
本公开内容的目的是提供一种用于车辆的环绕监测系统、包括车辆的环绕视图的车辆、生成车辆的环绕视图的方法以及计算机程序产品。
根据本公开内容的一方面，一种车辆的环绕视图系统包括：三维几何单元，其被配置成接收车辆周围环境数据，并且基于所接收的车辆周围环境数据来生成车辆周围环境的三维模型；以及视图生成单元，其被配置成接收视觉数据，并且基于车辆周围环境数据和视觉数据的空间和/或时间信息将视觉数据映射至三维模型的各部分以形成虚拟环绕视图。
根据本公开内容的另一方面，提供了一种包括环绕视图系统的车辆。
根据本公开内容的另一方面，提供了一种生成车辆的环绕视图的方法。该方法包括：接收车辆周围环境数据；基于所接收的车辆周围环境数据来生成车辆周围环境的三维模型；接收视觉数据；以及基于车辆周围环境数据和视觉数据的空间和/或时间信息将视觉数据映射至三维模型的各部分以形成虚拟环绕视图。
根据这种配置，可以提供一种以有效的方式生成具有减少的失真的、更多信息的环绕视图的环绕监测系统。
附图说明
在下文中将参照附图仅通过示例的方式来描述本教导的实施方式，在附图中，相同的附图标记涉及相同的元件，并且在附图中：
图1是环绕视图系统的元件的框图；
图2是根据另一实施方式的环绕视图系统的元件的框图；
图3是示出用于提供环绕视图的代表性步骤的流程图；
图4A示出了范围区域的示例；
图4B示出了范围区域的另一示例；
图5示出了在范围区域中生成的本地3D对象的示例；
图6是车辆的示例顶视图；
图7是车辆的另一示例顶视图；
图8是与图6对应的图；以及
图9是与图7对应的图。
尽管本教导易于进行各种修改和替代形式，但是具体实施方式在附图中通过示例的方式被示出，并且在本文中进行了详细描述。然而，应当理解的是，附图及对其的详细描述并非旨在将范围限制于所公开的特定形式。
具体实施方式
根据本公开内容的一方面，用于车辆的环绕视图系统可以包括：三维几何单元，其被配置成接收车辆周围环境数据，并且基于所接收的车辆周围环境数据来生成车辆周围环境的三维(3D)模型；以及视图生成单元，其被配置成接收视觉数据，并且基于车辆周围环境数据和视觉数据的空间和/或时间信息将视觉数据映射至三维模型的各部分以形成虚拟环绕视图。
本公开内容可以生成车辆周围环境中的对象(例如，但不限于其他车辆、建筑结构或行人)的3D模型，其中，基于车辆周围环境数据和视觉数据的时间和/或空间数据将视觉数据(例如，图像和/或视频)附加至3D模型的各部分。视图生成单元可以包括图形处理单元(GPU)。当由三维几何单元和由视图生成单元处理时，工作范围内的对象的3D模型可以被转换成不同的格式。
车辆周围环境数据可以包括以下中的至少一个传感器数据(例如，雷达数据、激光雷达(LIDAR)数据、摄像机数据、激光扫描数据、自我运动数据、车辆移动数据)和来自外部源的信息。空间数据可以包括以下中的至少一个：摄像机位置(例如，限定倾斜、俯仰和偏航的X、Y、Z方向)和视场(例如，水平视场和垂直视场)。
由于通过比较车辆周围环境数据和视觉数据的时间和/或空间数据来将视觉数据映射至周围环境的3D模型上，因此环绕视图系统能够使用来自车辆内部或外部的各种源的视觉数据和车辆周围环境数据。
生成3D模型使得在车辆周围环境中识别的每个对象能够具有其自己的内部分辨率。因此，与例如如果使用3D网格来限定周围事物(其需要大量的数据集)相比，需要较少的数据集。因此，可以提供更有效的系统。
工作范围内的对象的至少一个3D模型可以具有大致长方体形状，其中，长方体的上部被配置成反映正在被建模的对象的上部形状。因此，提供了详细3D模型与简单长方体之间的中间形状。因此，与形成带纹理的3D模型相比，使用更少的数据来提供具有用于通过形状识别对象的足够的细节的对象。
此外，形成3D模型然后将视觉数据映射至3D模型上显著地减少了所生成的虚拟环绕视图中的任何失真。
在一些示例中，该系统可以包括无线通信单元，该无线通信单元用于实现车联网通信。因此，可以从外部源和/或内部源(例如，车辆的本地传感器和/或摄像机)来接收视觉数据和车辆周围环境数据。这使得能够提供更多样化且极致的虚拟环绕视图，因为系统不仅依赖于车辆自身的本地数据源，而且还使用来自外部源的数据。从外部源接收的环境数据可以包括以下中的至少一个：来自其他车辆的车辆数据和与车辆周围环境中的对象有关的3D模型信息。这样的车辆数据可以包括车辆大小、位置、取向中的至少一个，并且3D模型信息可以是标准可互换格式，其包括与结构大小、配置或车辆外观模型有关的数据。
在一些示例中，车辆周围环境数据可以包括与距车辆预定范围内的对象有关的数据，该数据包括以下中的至少一个：对象的位置数据；对象的纹理；以及车辆的自我运动数据。因此，系统可以接收相关数据。
在一些示例中，视图生成单元可以被配置成通过投影在视觉数据中检测到的纹理来映射图像。因此，可以提供更详细的虚拟环绕视图。这在虚拟环绕视图在特定区域上被放大时特别有用。
在一些示例中，该系统还可以包括数据存储单元，该数据存储单元用于存储历史数据，所述历史数据包括先前使用的以下中的至少一个：三维运动数据、三维模型和视觉数据。因此，可以通过重新使用可重复使用的任何数据来提供更有效的系统。此外，可以使用历史数据来为缺失最新数据的各部分提供数据，例如，用以重新呈现缺失的图像/视频区域。
在一些示例中，该系统还可以包括显示单元，该显示单元被配置成显示虚拟环绕视图图像。
在一些示例中，该系统还可以包括用户接口，该用户接口用于调整在显示单元上显示的虚拟环绕视图的视点。当可以由用户调整虚拟环绕视图的视点时，可以向用户展现附加有视觉数据的3D模型的对应虚拟环绕视图。
在一些示例中，三维几何单元和视图生成单元可以分别被配置成接收与预定范围内的对象有关的车辆周围环境数据和视觉数据。
在一些示例中，如果在预定范围内没有获得车辆周围环境数据，则可以应用增大的范围。
在一些示例中，视图生成单元可以被配置成基于视角来选择历史视觉数据。
在一些示例中，视图生成单元可以被配置成基于映射至虚拟环绕视图图像的区域上的视觉数据的时间数据来调整该区域的着色。
根据本公开内容的另一方面，可以提供包括根据本公开内容的任意组合的环绕视图系统的车辆。
根据本公开内容的另一方面，可以提供生成用于车辆的环绕视图的方法，该方法包括：接收车辆周围环境数据；基于所接收的车辆周围环境数据来生成车辆周围环境的三维模型；接收视觉数据；以及基于车辆周围环境数据和视觉数据的空间和/或时间信息将视觉数据映射至三维模型的各部分以形成虚拟环绕视图。
该方法可以重复以上步骤来跟踪周围车辆的环境中的对象并且形成更新的虚拟环绕视图。
该方法可以包括基于所接收的附加车辆周围环境数据来组装、修改以及销毁三维模型的至少一部分的另一步骤中的至少一个。特别是当车辆移动使得预定的范围区域改变时可能发生组装和破坏。例如，可以基于与当前范围(即，在构建三维模型时的范围内的区域)中的新的周围环境有关的数据来形成三维模型的新部分。作为另一示例，当三维模型的旧部分不再存在于当前范围内时，可以销毁三维模型的一些旧部分。作为又一示例，即使在车辆没有移动并且因此范围区域保持相同的情况下，也可以修改三维模型的各部分以反映所接收的车辆周围环境数据的任何变化。
该方法可以包括将使用过的数据作为历史数据存储在数据存储装置中以供以后使用的另一步骤。可以基于优先级对历史数据进行排序。例如，该历史数据可以被排序为，使得更频繁地使用的历史数据具有较高的优先级。如果历史数据是在距当前范围(其限定了区域范围，在该区域范围中，与该范围内的对象有关的数据被接收)非常远的地方获得的，则也可以删除这样的历史数据。
根据本公开内容的另一方面，可以提供一种计算机程序产品，该计算机程序产品包括用于使可编程计算机根据与该方法有关的以上条款的任意组合执行以上描述的方法的处理器可执行指令。
根据本公开内容，可以实现至少以下优点：从3D模型的角度看的减少的失真；基于来自外部源的数据的更多样化的且极致的虚拟视图；通过将周围环境数据与视觉数据进行分离(换言之，通过传感器进行的空间测量被视为与通过2D摄像机视图捕获的图像或视频的任何像素分离)而灵活使用来自各种源的数据；以及通过使用来自内部源和外部源二者的数据的更高质量的虚拟视图，这继而意味着不需要高质量的本地传感器和摄像机。
(实施方式)
以下参照附图仅通过示例的方式在下文中描述实施方式和示例。
本教导提出了用于使环绕视图中的失真最小化的多个方法。
图1是示出根据一个实施方式的环绕视图系统100的主要元件的框图。
可以看出，环绕视图系统100包括三维(3D)几何单元101，3D几何单元101被配置成接收与距车辆预定范围内的对象有关的车辆周围环境数据，以形成车辆周围的场景的3D模型。可以从各种不同的源(例如，车辆传感器103、历史数据存储装置107和无线通信单元108)接收这样的车辆环境数据。
环绕视图系统还包括视图生成单元102，视图生成单元102被配置成接收与距车辆预定范围内的对象有关的视觉数据，以及将所接收的视觉数据映射至由3D几何单元101生成的3D模型。可以从各种不同的源(例如，车辆摄像机104、历史数据存储装置107和无线通信单元108)接收视觉数据。
本地地安装在车辆上以访问车辆外部的周围环境信息的车辆传感器103可以是以下中的任一个或任意组合：简单的超声波传感器、复杂的相控阵传感器、深度识别算法、激光扫描仪、3D飞行时间传感器或在未来可能的数字全息3D感测技术。
同样本地地安装在车辆上、访问车辆外部的视图的车辆摄像机104可以是以下中的任一个或任意组合：180°周围摄像机；60°摄像机镜像摄像机；前保险杠、后面或侧面的摄像机。
无线通信单元108用于提供来自车辆外部的源的数据。例如，无线通信单元108可以被配置成实现车联网通信，包括与其他车辆400的车辆到车辆通信。无线通信单元108还可以用于访问来自外部网络300的其他数据。因此，可以经由无线通信单元接收来自其他车辆或结构的传感器数据或几何数据。在一些示例中，可以使用预先形成的周围环境的3D模型。这种预先形成的3D模型可以由3D几何单元101接收，以利用从车辆传感器103接收的数据进行进一步更新，例如，更新经过车辆或车辆附近的任何行人。
在接收到预先形成的3D模型的情况下，这些模型可以是标准可互换格式的，其中，V2X基础设施被配置成用于传播与3D模型有关的信息，例如，停车场的隔间大小和布局。具有实现V2V(车辆到车辆通信)能力的外部车辆还可以通过共享至这些属性的形状ID数据库的链接来共享它们已知的外观模型。被驱动车辆可以对这样的车辆形状ID及后续模型进行下载并缓存在数据存储装置中以重复使用。
历史数据存储装置107被配置成存储由3D几何单元101或视图生成单元102先前使用的各种数据。例如，这样的先前使用的数据可以包括之前已经使用过的任何3D模型或由3D几何单元101生成的3D模型、或者先前使用的图像。
在另一实施方式中，历史数据存储装置107和3D几何单元101还可以被配置成接收历史3D运动数据。使用车辆的自我运动数据并且通过保存已知3D几何形状的移动历史和特别是在自动驾驶期间(环绕视图系统最可能且最常使用时)捕获的图像来收集3D运动数据。通过车辆上的自我运动传感器(例如，车轮距离脉冲、方向盘输入、陀螺仪和加速度计)来收集车辆的自我运动数据。因此，一旦在车辆上安装环绕视图系统，在现有车辆系统中可以提供的这些传感器(以及上面提到的其他摄像机和传感器)就可以形成环绕视图系统的一部分。通过对象跟踪算法来检测外部对象的运动，并且在对象转移到当前范围(范围区域)(其是针对其生成3D模型的已知工作区域)的同时保存历史移动数据。使用3D运动数据来更新3D模型中的对象的位置和方向，该对象表示在当前范围区域内的车辆周围环境中的外部对象。换言之，当被驱动车辆(包括环绕视图系统的车辆)移动时，更新相对位置和方向。
视图生成单元102连接至显示输出106，在显示输出106中，向用户(例如，车辆的驾驶员或乘客)显示所生成的视图。视图生成单元102还连接至用户输入接口105，用户能够经由用户输入接口105调整在显示输出106上显示的透视图。显示输出106可以被配置成显示由视图生成单元102产生的虚拟周围图像，其中还指示了所测量的车辆的俯仰和侧倾。例如，这样的俯仰和侧倾信息可以显示在虚拟周围图像中的与车辆所在的地面相对应的部分上。
在其他实施方式中，用户输入接口也可以直接连接至3D几何单元101。尽管在该实施方式中将3D几何单元101和视图生成单元102描述为两个单独的单元，但是在一些实施方式中，这些单元可以如图2中所示的实施方式中那样更集成化。
由环绕视图系统100生成的环绕视图的限制通过预定义的范围来确定，其中，与该范围内的对象有关的数据通过环绕视图系统100获得。例如，该范围可以是距被定义为车辆中心的点10m的半径。该范围还可以被限定为预定形状，例如，具有例如5m、10m、15m或20m的预定半径的圆柱形或倒置截头圆锥形(倒置的平截头锥体)。根据是否确定了任何对象或者根据车辆的移动，该半径可以在较小值与较大值之间变化。也可以使用其他形状，例如，倒置的金字塔状平截头体或长方体形状。在一些示例中，范围区域可以具有圆形边缘，特别是在上边缘(即，不是底部)中。
如本领域的技术人员将理解的，将根据车辆的高度和/或宽度来确定锥形平截头体或圆柱体的高度，其中，锥形平截头体或圆柱体的高度高于车辆的高度，使得整个车辆放置在锥形平截头体或圆柱体内。根据用户请求的视图，或者根据是否数据正在被收集用于3D几何单元101或视图生成单元102，可以对范围进行调整。在一些情况下，如果环绕视图系统100无法检测用于构建本地3D模型的任何传感器信息，则执行自动调整大小机制以重新确定范围的大小。例如，自动调整大小机制可以继续增大范围直至接收到传感器数据。
通过该范围和形状确定的空间具有从车辆下侧延伸的平坦地面或底部。通过车辆自身的本地传感器(例如，车辆传感器103)、或者通过由车联网通信系统(V2X系统)提供的数据、或者通过从其他车辆400或外部网络300传送的数据对空间内的对象进行跟踪。外部网络300可以提供关于车辆环境的信息，例如，如果车辆在停车场中，可以由停车场或上方的CCTV捕获设施提供已知的几何形状。
例如，停车场可能已经具有其结构和周围环境的基本3D模型，并且3D几何单元101可以利用该基本3D模型开始，并利用针对车辆范围内的任何对象已经接收到的环境数据对该3D模型进行修改或更新。
作为另一示例，可以通过V2X系统或车辆到车辆通信系统(V2V)接收数据。从另一车辆400接收的数据可以包括车辆类型代码、绝对全球导航卫星系统(GNSS)和方向信息。以这种方式接收关于其他车辆的信息使得能够通过允许3D几何单元101获得附近的支持V2X或V2V的车辆的简单顶点模型来改善最终呈现。
必要时，例如，在无法经由本地传感器或摄像机获得信息的情况下，由环绕视图系统100使用经由无线通信单元108的数据或历史数据存储器107的数据。这意味着车辆不需要大量高质量的传感器和摄像机，因为周围图像使用来自外部源的数据生成。此外，由于无法经由本地传感器或摄像机获得的信息，因此使得可获得更极端角度的或更宽的环绕视图。例如，本地传感器或摄像机无法看到紧跟车辆前方的对象以外的范围。但是，使用外部源提供了附加信息。该信息可以用于组成虚拟环绕视图。例如，在从车辆的本地传感器或摄像机无法获得数据的地方，可以将来自外部源的图像或视频与来自主要本地车辆摄像机的任何实况视频或图像进行混合，以添加在车辆周围的相关区域内任何缺失的视觉数据。
在馈送来自实况摄像机并且历史图像交叠的地方，混合机制也可针对摄像机视图内的对象倾向于某些摄像机位置。当从历史数据存储装置107访问历史图像时，从与对象最垂直的角度拍摄的那些图像(例如，全侧视图、全前视图、全后视图，而不是偏离微小角度的侧视图)优于其他图像。例如，全侧视图、全前视图或全后视图优于偏离一定角度的视图。历史数据存储装置107可以根据图像的透视图按照优先级顺序对图像进行存储，其中，最垂直的图像被赋予最高优先级。
在使用历史自我运动数据或图像来重新呈现缺失的图像区域的情况下，可以引入某些图像区域的着色以在新的实况图像/视频与旧的图像/视频之间进行区分。例如，旧的历史图像的年龄可以改变混合度或增加透明度。该视觉区分向用户提供了所生成的虚拟环绕视图的置信水平。
历史数据存储装置107还可以连接至车辆的各个部分以同样地保存历史3D运动数据。例如，通过使用车辆的自我运动并且通过保持已知3D几何形状的移动历史，可以提供从本地车辆传感器的实况感测中无法获得的附加几何信息。
视图生成单元102基于视觉数据的时间和空间数据通过将视觉数据附加至3D模型中的被确定为相关的部分来将视觉数据映射至由3D几何单元101生成的3D模型上。附加图像或视频数据(视觉数据)可以包括基于视觉数据的时间和空间数据来定位、混合、缩放和置换图像或视频数据。当车辆移动时，3D几何单元101继续更新3D模型，并且3D几何单元101继续将视觉数据映射至3D模型。当车辆正在移动并且视频无法用于反映车辆的移动时，可以使用带时间戳的静态图像来代替视频。可以对视频或图像进行重新对准以适应虚拟视图的某些区域。
在没有提供感测的几何数据的情况下，视图生成单元102被配置成默认根据图像数据的时间和空间数据将图像数据附加至平坦地面和墙壁。
在映射期间，视图生成单元102优先处理3D模型中的与正在被呈现以对用户显示的部分对应的那些区域。在3D模型中的所有3D对象都附加有其对应的图像或视频的情况下，采用“阴影映射(shadow mapping)”机制来隐藏对象上的在其他对象后面的图像。因此，当向用户显示时，对象中的在其他对象后面的部分上的图像被隐藏。
在其最简单的形式中，周围环境的3D模型中的3D对象可以是具有圆形边缘的长方体。这种类型的表示具有针对对象可能的最低分辨率，因为它仅具有限定大小和百分比的圆的任何可视边缘(通常顶部可视边缘是圆形的)。
优选地，对3D模型中的3D对象进行建模以至少反映现实生活中的对象的上部的形状。例如，可以将另一车辆表示为长方体，其中对上部进行修改以反映车辆的上部的形状。下部可以保持为长方体的形状，使得例如，在车辆的3D模型中不详细地表示出车辆的车轮。换言之，车辆的模型可以看起来好像是通过模制形成的。其示例，另一车辆401的3D模型可见于图5。可以看出，虽然使用了低分辨率的传感器并且3D模型包括工作范围内的对象的简化表示，但是提供了对象的充足的细节使得用户能够容易地识别出对象的特征并识别出对象所代表的内容。可以将多个几何传感器与车辆的自我运动组合使用以对对象进行成形。因此，即使基于来自低分辨率的传感器的数据也可以创建3D模型。
由于本系统不是对从本地摄像机接收的图像或视频的简单投影，而是使用视觉数据的空间(例如，角度或位置)和时间信息将图像或视频(视觉数据)附加至由3D几何单元101生成的3D模型的各部分，因此能够使用并组合来自任何源的数据。
也就是说，在与车辆周围环境数据有关的传感器数据(其包括3D测量结果)与视觉数据(其包括由2D摄像机拍摄的2D图像和视频)之间存在明显的分离。因此，任何3D空间测量结果(例如，通过上面讨论的各种传感器)可以与由2D摄像机视图捕获的像素完全分离并且不与由2D摄像机视图捕获的像素相连。历史2D图像(或视频)以及空间中摄像机X、Y、Z位置和方向允许(在范围区域中)“工作区域”的重建并且在可获得信息的情况下在3D模型上填充纹理。特别是当视觉数据来自外部源时，使用摄像机的时间信息和历史位置以及方向来确定要将视觉数据映射至3D模型上的何处。
本系统基于图像或视频的空间和时间信息将图像或视频附加至3D模型的各部分还意味着可以消除可能通过投影引入的失真。
虽然以上实施方式被描述为包括无线通信单元108，但是在一些实施方式中，环绕视图系统100可以依赖于本地提供的数据而无需访问从无线通信单元108可获得的数据。换言之，即使无线通信不是结构的一部分，该系统也能够单独作用(即，仅使用车辆的本地传感器和摄像机)。即使在这种情况下，将视觉数据附加至3D模型的当前方法也显著地消除了用于向用户显示的虚拟视图中的任何失真。
此外，虽然上面描述了透视图可以由用户调整，但是可以自动地移动透视图，例如，根据车辆的移动或检测到的车辆周围环境，移动某个角度和距离。
如上所述，在捕获的图像/视频与3D模型中的对象的位置/大小之间不需要任何直接连接。视觉数据与3D模型的对象/各部分的位置/大小之间的所需的唯一关系是在被驱动车辆上对准的相对摄像机位置(分别相对于倾斜、俯仰和偏航的X、Y、Z方向)、视场(HFoV水平视场以及VFoV垂直视场)和/或与这些位置和视图相关的时间数据。
这些时间和空间数据形成视觉数据的一部分(例如，作为视觉数据的元数据)。因此，在从外部源接收视觉数据的情况下，对车辆周围环境数据和视觉数据的这种空间数据和时间数据进行比较和匹配，直到确定3D模型的映射视觉数据的部分。
在从内部源接收视觉数据的情况下，当本地车辆摄像机(附接至车辆)在空间中移动时，它们捕获图像并跟踪已知的全景图。考虑在被驱动车辆上对准的相对摄像机位置、方向和视场，只要确定周围环境的感测与图像捕获率之间在时间方面没有显著差异，则图像应当出现在3D模型的它们被捕获的位置处的重新生成的表面上。
如前所提及的，使用如本方法中的3D模型比使用3D网格更有利。例如，3D网格通常被限定为具有固定的间隔或标称分辨率(在X轴、Y轴和Z轴上)。为了限定准确的3D网格，需要大量数据集，这增加了所需的处理能力。本方法中的3D模型中的每个对象可以具有其自己的内部分辨率。因此，可以将在周围区域内已知的具有其自己的精细顶点模型的任何对象(例如，其他车辆)直接发送至GPU并且通过浮点精度进行定位。基本对象可以被限定为立方体，并且仅具有指定的大小和位置。可以由GPU对所有对象类型和分辨率进行混合和处理。
接收关于车辆类型、车辆位置和方向的信息是有用的，因为它可以被接收作为具有相对小尺寸的数据，但是提供了大量信息，同时保存了必须由环绕视图系统主动执行的任何附加工作。
图3是根据一个实施方式的由环绕视图系统100执行的步骤的流程图200。
更具体地，图3示出了3D几何单元101和视图生成单元102同时进行的步骤。这并不是说由上述单元所采取的每个步骤都是对准的(同时进行S202和S211)，而是3D几何单元101和视图生成单元102二者持续重复每个单元被配置以进行的步骤。换言之，由3D几何单元101重复地更新3D模型，并且同时将视觉数据重复地匹配至所更新的3D模型(或将所更新的视觉数据匹配至3D模型)。
在该实施方式中，在S202处，3D几何单元101从本地车辆传感器接收车辆传感器数据(车辆周围环境数据)。如果适用，则在S203处经由无线通信单元接收来自外部源的任何车辆周围环境数据。使用收集到的车辆周围环境数据，形成工作3D模型。初始地，对3D模型进行组装。这种组装在首次启动处理时发生，或者在车辆移动并且范围区域(工作区域)也移动时发生，这可能导致在新的工作区域中引入新的对象。同时，可以3D模型中的不再在工作区域中的部分可以被销毁，以减少处理的数据量。如本领域技术人员将理解的，所生成的虚拟视图不需要显示整个3D模型，而是可以将3D模型的仅一部分呈现为显示器上的2D图像/视频。跟踪工作范围内的所有对象，并且如果任何附加对象进入工作范围内或现有对象在工作范围内移动，则对3D模型进行修改，如在S204中可见。
在S205处，将(至少部分)经组装、修改或销毁的3D模型存储至数据库，使得可以通过视图生成单元102访问3D模型。
然后重复这些步骤，其中，基于新接收的车辆周围环境数据，更新3D模型内的车辆和对象的位置。
在S211处，视图生成单元102从数据库收集3D模型。如本领域的技术人员将理解的，可以以相同的形式将3D模型存储并传送至GPU，或者以更简单的形式存储在数据库中。例如，可以将3D转换成不同格式，以由GPU进行处理。将收集到的3D模型几何数据发送至视图生成单元102的GPU(S212)。然后，在S213中，由视图生成单元102接收来自本地车辆摄像机的图像/视频数据。在其他实施方式中，视图生成单元102还可以包括经由无线通信单元从外部源收集图像/视频数据的步骤。然后，在S214中，视图生成单元102的GPU将实况图像数据附加至3D模型几何形状。最后，在S215处，将来自历史数据存储装置107的任何历史图像数据附加至GPU中的其中没有可用的实况图像数据的3D模型几何形状。一旦S215完成，则呈现3D模型中的具有附加的图像数据的相关部分，以在显示器处显示为虚拟环绕视图。重复S211至S215，使得视图生成单元使用任何新的图像数据对所显示的虚拟环绕视图进行更新，并处理对3D模型所做的任何更新。
图4A和图4B示出了范围区域(工作区域)的示例。作为示例，示出了截头圆锥形范围区域(在图4A中)和圆柱体形范围区域(在图4B中)。其他形状也是可行的，例如，立方体或金字塔形范围区域。在车辆模型中间的点表示车辆的中心。范围距离被限定为范围区域的底部的半径。
图5示出了在工作范围区域中生成的本地3D对象的示例。车辆1被表示在范围区域的中心，其中，车辆距范围区域的壁足够远的距离。结构对象600(例如，其是建筑物的一部分)、其他车辆401、402以及另一对象500被形成在3D模型中。车辆1具有与其自身车辆类型和外观有关的数据。另一车辆402可以具有还经由车辆到车辆通信(V2V)发送的与其车辆类型、外观、位置和方向有关的数据，并且基于此，可以非常容易地形成车辆402的表示。以更简单的形式表示另一车辆401和对象500。车辆401和对象500二者均基于长方体形状，但是可以看出，车辆401和对象500的上部的形状被形成为与现实生活中的车辆和对象的原始形状更紧密地匹配。因此，在一些示例中，可以将至少一些对象表示为详细纹理模型与具有圆形边缘的长方体之间的中间形状。可以看出，这种中间形状可以显著地改进对象的识别。例如，即使没有以详细的方式表示长椅的腿，也可以将对象500识别为长椅。然而，当使用这种中间模具形状时，可以使用更少的数据来表示对象，而不会丢失太多细节并且一旦将图像附加至对象则显著地减少任何失真。
图6和图8示出了由环绕视图系统100生成的车辆的示例顶部环绕视图。
在该示例中，在慢速停车操纵期间使用环绕视图系统100以在该活动中对驾驶员进行辅助。也可以对车辆进行自动驾驶，并且驾驶员可以简单地监测自动系统。
图6和图8的重新创建的顶部环绕视图是从在车辆周围的通常环绕监测摄像机位置创建的。此处，在中心的车辆是包括环绕视图系统100的车辆。在所讨论的车辆的环境中，存在两辆车，在车辆的每一侧各存在一辆。可以看出，每辆车的表示略有不同。差异在于用于创建每辆车的表示的呈现机制。
左侧的车辆由下述圆形边缘框表示，该圆形边缘框是对象的3D模型的最简单形式之一。可以看出，已经将左侧的车辆的侧视图图像附加至左车辆的简单圆形边缘框3D模型。右侧的车辆是停放的车辆的理想纹理模型，并且对应的视频也覆盖在纹理模型上。左车辆演示了仅通过使用图像/视频数据和所测量的几何形状就可以实现的表示。换言之，所测量的几何形状与图像/视频的分离仍然可以提供下述虚拟视图，该虚拟视图以充分的方式表示现实向用户指示周围对象在哪里。因此，无论是仅使用低分辨率的传感器还是高分辨率的传感器，都可以创建这样的3D模型。通过组合来自尽可能多的源(包括内部源和外部源)的实况或历史图像/视频的数据，提供作为反映现实的表示的虚拟环绕视图。
尽管纹理模型提供了更详细的表示，但是图6和图8仍然示出了，即使具有附加至其上的对应图像的最简单形式的3D模型也能为驾驶员提供其中停放的车辆相对于驾驶员自己的车辆的位置的非常好的指示。
图7和图9示出了由环绕视图系统100生成的车辆的另一示例顶视图。
在此视图中，所有对象都被创建为纹理模型。在经由实现V2X通信的无线通信单元108接收来自其他车辆的信息时，该处理特别有效。
作为示例实现情况，此处描述了其中车辆处于自动停车模式的情况。车辆的驾驶员在进入停车场后将车辆置于自动停车模式。通过周围运动系统检测到车辆进入自动停车模式，并且周围运动系统开始生成虚拟环绕视图的处理。在其他实施方式中，周围运动系统可以被配置成接收来自驾驶员的输入而不是检测车辆已经被置于自动停车模式。例如，用户可以打开环绕视图系统。在显示器上向驾驶员提供虚拟环绕视图，并且然后驾驶员能够监测在停车场中被自动驾驶和停放的车辆。如果驾驶员希望，驾驶员可以在任何时候撤销自动停车模式并进行干预。
驾驶员还可以与用户接口交互以移动虚拟摄像机位置并修改显示器上显示的虚拟环绕视图的视点。例如，用户可以将虚拟摄像机移动至车辆上后方3至4米处。
车辆首先使用其内置的雷达和超声波传感器来识别车辆周围的具有预定范围的预定周围区域内的对象。例如，预定范围可以是车辆周围10米，其中，该区域可以由圆柱体形状或截头圆锥形状限定。也就是说，处于具有半径为10米的圆柱体或锥形平截头体内的任何对象，其中车辆置于被视为是周围环境的圆柱体或锥形平截头体的底部的中心，并且与这样的对象有关的数据被获得为环境数据。将与这些对象有关的环境数据传递至三维几何单元，该三维几何单元根据车辆的自我运动数据和传感器输入来构建粗略的本地三维场景。
除了粗略的本地三维场景以外，V2X通信系统还用于访问存储停车场结构的3D模型的停车场数据库。这种3D模型可以由停车场提供。车辆可以将3D模型存储在数据存储单元中，使得3D模型成为存储的历史数据的一部分以便日后在车辆返回至同一停车场时使用。
停车场中的其他车辆可以让其V2X(和V2V)系统运行，并且车辆能够经由V2V直接从其他车辆将车辆分类代码及其当前停车位置获得至系统。
使用由停车场提供的3D模型和所接收的车辆停放细节，可以形成车辆周围场景的更详细的三维模型。特别地，通过从其他车辆接收3D模型或信息，可以获得关于预定范围内的可能在另一对象后面使得车辆的本地传感器和雷达将无法感测或观察到这样的对象的任何对象的信息。因此，可以提供更加丰富的虚拟视图。
一旦3D几何单元已经组成了本地3D模型，则可以将预定范围调整为更宽的工作区域。例如，如果预定的工作范围具有圆柱体形状，则可以将圆柱体壁推出20米。
当前环绕视图系统的正常工作范围可以小于10米，标称为5米。在“工作区域”(范围区域)内跟踪到多个对象的情况下，则将壁(例如，锥形平截头体或圆柱体的壁)设置为距车辆中心足够远的距离。例如，多至20米的距离允许在该区域内看到更多的对象。
视图生成单元将接收到的相关视觉数据附加至3D模型的各部分。例如，从车辆自身的摄像机、其他车辆的摄像机以及来自停车场的上方CCTV系统的实况Wi-Fi流来接收相关视觉数据。一旦将相关视觉数据附加至3D模型，视觉生成单元就产生要在显示器上显示的3D模型的3D呈现图像。
在一些情况下，由车辆的摄像机拍摄的历史图像也可以用作所接收的视觉数据的部分。
在使用历史数据的情况下，可以使用图像的着色来演示图像的哪些部分是使用历史数据来呈现的(这部分确实意味着较低的置信度，因为它不是最新的数据)。例如，使用历史图像提供的该部分可以添加有红色的色调。
通过提供比仅使用自己的数据可获得的视图更宽的视图(使用来自外部源的数据)，向驾驶员提供了更多信息，以确定他们是否想要干预并且确定他们可能希望干预更长时间。
例如，如果用户发现存在可能在物理上非常接近车辆的结构并且该结构被着色为使用历史数据表示，则驾驶员可能更倾向于干预自动驾驶或实际检查以进行确认。另一方面，如果该结构被着色为使用实况数据表示，则驾驶员可以对正在显示的内容是对现实的准确表示具有更高地置信度。
当车辆移动时，3D几何单元和视图生成单元根据车辆移动继续更新周围图像。
如在背景技术部分中简要讨论的，已知方法需要高分辨率的摄像机和用于在具有预定形状的表面上投影的纹理化步骤。这需要高分辨率的摄像机和传感器，并且即使具有这样的高分辨率，由于在具有预定形状的表面上投影，因此也会引入显著的失真。
相反，本公开内容以有效的方式提供了具有最小失真的图像，其中，摄像机和传感器的分辨率不会像已知方法和装置那样多地影响最终虚拟视图的质量。
此外，与仅使用本地图像捕获和感测相比，将本地图像捕获和感测与外部图像和几何形状感测以及对象的3D运动的历史数据和视觉数据组合使用可以获得更宽的虚拟环绕视图。事实上，可以获得更详细和准确的视图，同时不需要高质量的本地图像捕获和/或感测设备。
因此，将理解的是，已经描述了用于提供周围运动系统的改进的视觉功能的多个方法。
还将理解的是，在保留本教导的整体方法的同时，可以进行各种修改和替换。
目前描述的方法可以在可编程计算机上实现。为了向可编程计算机提供该功能，可以提供下述计算机程序产品，该计算机程序产品可以被提供或传输至计算机以传递使计算机能够实现该功能的代码。产品可以通过物理介质(例如，计算机可读盘或便携式存设备)(其可以被统称为非暂态计算机可读介质)来分布和/或存储。产品还可以或可替选地通过暂态介质(例如，传输信道、通信信号或其他传播波形)(其可以被统称为暂态计算机可读介质)来分布和/或存储。
尽管已经相当详细地描述了以上实施方式，但是一旦完全理解以上公开内容，许多变型和修改对于本领域的技术人员将变得明显。
顺便提及，短语“单元”可以被称为设备、部分(portion)和部(section)。3D几何单元可以根据MPU(微处理单元)、CPU(中央处理单元)、GPU(图形处理单元)、其他ASIC(专用处理器)等进行配置。另外，由3D几何单元执行的部分或全部功能可以配置在具有一个或更多个IC等的硬件中。视图生成单元可以根据MPU(微处理单元)、CPU(中央处理单元)、GPU(图形处理单元)，其他ASIC(专用处理器)等进行配置。另外，由视图生成单元执行的部分或全部功能可以配置在具有一个或更多个IC等的硬件中。
车辆传感器103可以对应于本地车辆传感器，车辆摄像机104可以对应于本地车辆摄像机，显示输出106可以对应于显示器，以及用户输入接口105可以对应于用户接口。
注意，本申请中的流程图或流程图中的处理包括多个步骤(也称为部分)，每个步骤被表示为例如S200。此外，每个步骤可以分成若干子步骤，而若干步骤也可以组合成单个步骤。
本公开内容中描述的控制器和方法可以由下述专用计算机实现，该专用计算机通过配置存储器和被编程为执行以计算机程序实现的一个或更多个特定功能的处理器而创建。可替选地，本公开内容中描述的控制单元、控制器和方法可以由下述专用计算机来实现，该专用计算机通过配置由一个或更多个专用硬件逻辑电路提供的处理器而创建。此外可替选地，本公开内容中描述的控制单元、控制器和方法可以由下述一个或更多个专用计算机来实现，所述一个或更多个专用计算机通过配置存储器和被编程为执行一个或更多个特定功能的处理器以及由一个或更多个硬件逻辑电路提供的处理器的组合而创建。计算机程序可以作为由计算机执行的指令存储在有形的非暂态计算机可读介质中。
虽然已经举例了根据本公开内容的用于车辆的环绕监测系统的各种实施方式、配置和各方面，但是本公开内容的实施方式、配置和各方面不限于上面描述的那些。例如，根据在不同实施方式、配置和各方面中公开的技术元素的适当组合获得的实施方式、配置和各方面也包括在本公开内容的实施方式、配置和各方面的范围内。

Claims (25)

1.一种用于车辆(1)的环绕视图系统，包括：
三维几何单元(101)，其被配置成接收车辆周围环境数据，并且基于所接收的车辆周围环境数据来生成车辆周围环境的三维模型；以及
视图生成单元(102)，其被配置成接收视觉数据，并且基于所述车辆周围环境数据和所述视觉数据的空间和/或时间信息将所述视觉数据映射至所述三维模型的各部分以形成虚拟环绕视图。
2.根据权利要求1所述的环绕视图系统，包括无线通信单元(108)，所述无线通信单元(108)被配置成实现车联网通信。
3.根据权利要求2所述的环绕视图系统，其中，所述三维几何单元被配置成经由所述无线通信单元从外部源接收至少一些车辆周围环境数据。
4.根据权利要求2所述的环绕视图系统，其中，所述视图生成单元被配置成经由所述无线通信单元从外部源接收至少一些视觉数据。
5.根据权利要求1所述的环绕视图系统，其中，所述三维几何单元被配置成从本地车辆传感器(103)接收至少一些车辆周围环境数据。
6.根据权利要求1所述的环绕视图系统，其中，所述视图生成单元被配置成从本地车辆摄像机(104)接收至少一些视觉数据。
7.根据权利要求1所述的环绕视图系统，其中，所述车辆周围环境数据包括与距所述车辆预定范围内的对象有关的数据，所述数据包括以下中的至少一个：所述对象的位置数据；所述对象的纹理；或所述车辆的自我运动数据。
8.根据权利要求1所述的环绕视图系统，其中，所述视图生成单元被配置成通过投影在所述视觉数据中检测到的纹理来映射图像。
9.根据权利要求1所述的环绕视图系统，包括数据存储单元(107)，所述数据存储单元(107)被配置成存储历史数据，所述历史数据包括先前使用的以下数据中的至少一个：三维运动数据、三维模型或视觉数据。
10.根据权利要求1所述的环绕视图系统，包括显示单元(106)，所述显示单元(106)被配置成显示所述虚拟环绕视图。
11.根据权利要求1所述的环绕视图系统，包括用户接口(105)，所述用户接口(105)被配置成调整在显示单元上显示的所述虚拟环绕视图的视点。
12.根据权利要求1所述的环绕视图系统，其中，所述三维几何单元和所述视图生成单元被分别配置成接收与预定范围内的对象有关的车辆周围环境数据和视觉数据。
13.根据权利要求12所述的环绕视图系统，其中，如果在所述预定范围内没有获得车辆周围环境数据，则应用增大的范围。
14.根据权利要求9所述的环绕视图系统，其中，所述视图生成单元被配置成基于视角来选择历史视觉数据。
15.根据权利要求1至14中任一项所述的环绕视图系统，其中，所述视图生成单元被配置成基于映射至所述虚拟环绕视图的区域上的所述视觉数据的时间数据来调整所述区域的着色。
16.一种车辆，包括根据权利要求1至15中任一项所述的环绕视图系统。
17.一种生成车辆(1)的环绕视图的方法，所述方法包括：
接收车辆周围环境数据；
基于所接收的车辆周围环境数据来生成车辆周围环境的三维模型；
接收视觉数据；以及
基于所述车辆周围环境数据和所述视觉数据的空间和/或时间信息将所述视觉数据映射至所述三维模型的各部分以形成虚拟环绕视图。
18.根据权利要求17所述的方法，其中，车辆周围环境数据能够从外部源经由无线通信和从本地车辆传感器(103)中的至少一个接收。
19.根据权利要求17所述的方法，其中，视觉数据能够从外部源经由无线通信和从本地车辆摄像机(104)中的至少一个接收。
20.根据权利要求17所述的方法，还包括：在显示器(106)上显示所述虚拟环绕视图。
21.根据权利要求17所述的方法，还包括：基于所接收的附加的车辆周围环境数据来组装、修改或销毁所述三维模型的至少一部分。
22.根据权利要求17所述的方法，其中，接收与预定范围内的对象有关的车辆周围环境数据和视觉数据。
23.根据权利要求17至22中任一项所述的方法，还包括将使用过的数据作为历史数据存储在数据存储装置中以供以后使用的步骤。
24.根据权利要求23所述的方法，其中，基于所述历史数据的重复使用频率和/或所述历史数据中的位置数据是否落入当前范围内来清除所述数据存储装置的历史数据。
25.一种计算机程序产品，其存储在非暂态有形存储介质中，并且包括用于使可编程计算机执行根据权利要求17至24中任一项所述的方法的处理器可执行指令。
CN201910393504.7A 2018-05-17 2019-05-13 用于车辆的环绕监测系统及其方法 Pending CN110505469A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1808052.3A GB2573792B (en) 2018-05-17 2018-05-17 Surround monitoring system for vehicles
GB1808052.3 2018-05-17

Publications (1)

Publication Number Publication Date
CN110505469A true CN110505469A (zh) 2019-11-26

Family

ID=62723235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910393504.7A Pending CN110505469A (zh) 2018-05-17 2019-05-13 用于车辆的环绕监测系统及其方法

Country Status (4)

Country Link
US (1) US11043023B2 (zh)
JP (1) JP2019200781A (zh)
CN (1) CN110505469A (zh)
GB (1) GB2573792B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
KR20200055596A (ko) * 2018-11-13 2020-05-21 삼성전자주식회사 차량에 탑재되는 단말 장치가 영상을 전송하는 방법 및 차량의 주행을 제어하는 원격 제어 장치가 영상을 수신하는 방법
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11180162B1 (en) 2020-05-07 2021-11-23 Argo AI, LLC Systems and methods for controlling vehicles using an amodal cuboid based algorithm
US11628856B2 (en) 2020-06-29 2023-04-18 Argo AI, LLC Systems and methods for estimating cuboids from LiDAR, map and image data
CN112572419B (zh) * 2020-12-22 2021-11-30 英博超算(南京)科技有限公司 一种提高代客泊车启动安全性的车周盲区监控系统
US11557129B2 (en) 2021-04-27 2023-01-17 Argo AI, LLC Systems and methods for producing amodal cuboids
US11978259B2 (en) 2021-07-09 2024-05-07 Ford Global Technologies, Llc Systems and methods for particle filter tracking
CN118015599A (zh) * 2024-04-09 2024-05-10 深圳市前海铼停科技有限公司 一种基于图像拼接的双目停车识别方法、系统和处理器

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001224013A (ja) * 2000-02-09 2001-08-17 Sony Corp 運転支援装置及び運転支援方法
JP2007314129A (ja) * 2006-05-29 2007-12-06 Fujitsu Ten Ltd 駐車支援装置
JP2008074275A (ja) * 2006-09-21 2008-04-03 Aisin Aw Co Ltd 運転支援装置、運転支援システム、および運転支援方法
JP2009248630A (ja) * 2008-04-02 2009-10-29 Nissan Motor Co Ltd 情報表示装置
CN102834853A (zh) * 2010-04-08 2012-12-19 株式会社东芝 车辆周围监测装置、车辆周围监测方法及车辆装置
CN102917205A (zh) * 2011-08-05 2013-02-06 哈曼贝克自动系统股份有限公司 车辆环绕视图系统
CN103971392A (zh) * 2013-01-31 2014-08-06 北京四维图新科技股份有限公司 面向导航的三维视频数据处理方法、装置、系统及终端
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
CN104228683A (zh) * 2013-06-14 2014-12-24 奥迪股份公司 用于运行调车和/或泊车用的驾驶员辅助系统的方法
CN106164931A (zh) * 2014-03-25 2016-11-23 康蒂-特米克微电子有限公司 用于在车辆显示装置上显示目标的方法和装置
US20180043829A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and Apparatus for Providing Automatic Mirror Setting Via Inward Facing Cameras
CN107792179A (zh) * 2017-09-27 2018-03-13 浙江零跑科技有限公司 一种基于车载环视系统的泊车引导方法
CN107914708A (zh) * 2016-10-07 2018-04-17 福特全球技术公司 后方障碍物检测和距离估算

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4123096B2 (ja) * 2003-07-24 2008-07-23 株式会社デンソー 三次元デジタル地図作成装置および三次元デジタル地図表示システム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
US9905039B2 (en) * 2014-02-21 2018-02-27 Qualcomm Incorporated View independent color equalized 3D scene texturing
DE102015206477A1 (de) * 2015-04-10 2016-10-13 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
JP6415382B2 (ja) * 2015-04-30 2018-10-31 三菱電機株式会社 移動体用画像生成装置及びナビゲーション装置
EP3308361B1 (de) 2015-06-11 2024-04-10 Continental Autonomous Mobility Germany GmbH Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
CN107176101A (zh) * 2017-05-24 2017-09-19 维森软件技术（上海）有限公司 同步显示方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001224013A (ja) * 2000-02-09 2001-08-17 Sony Corp 運転支援装置及び運転支援方法
JP2007314129A (ja) * 2006-05-29 2007-12-06 Fujitsu Ten Ltd 駐車支援装置
JP2008074275A (ja) * 2006-09-21 2008-04-03 Aisin Aw Co Ltd 運転支援装置、運転支援システム、および運転支援方法
JP2009248630A (ja) * 2008-04-02 2009-10-29 Nissan Motor Co Ltd 情報表示装置
CN102834853A (zh) * 2010-04-08 2012-12-19 株式会社东芝 车辆周围监测装置、车辆周围监测方法及车辆装置
CN102917205A (zh) * 2011-08-05 2013-02-06 哈曼贝克自动系统股份有限公司 车辆环绕视图系统
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
CN103971392A (zh) * 2013-01-31 2014-08-06 北京四维图新科技股份有限公司 面向导航的三维视频数据处理方法、装置、系统及终端
CN104228683A (zh) * 2013-06-14 2014-12-24 奥迪股份公司 用于运行调车和/或泊车用的驾驶员辅助系统的方法
CN106164931A (zh) * 2014-03-25 2016-11-23 康蒂-特米克微电子有限公司 用于在车辆显示装置上显示目标的方法和装置
US20180043829A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and Apparatus for Providing Automatic Mirror Setting Via Inward Facing Cameras
CN107914708A (zh) * 2016-10-07 2018-04-17 福特全球技术公司 后方障碍物检测和距离估算
CN107792179A (zh) * 2017-09-27 2018-03-13 浙江零跑科技有限公司 一种基于车载环视系统的泊车引导方法

Also Published As

Publication number Publication date
US11043023B2 (en) 2021-06-22
GB2573792A8 (en) 2019-12-11
GB2573792B (en) 2022-11-09
US20190355171A1 (en) 2019-11-21
JP2019200781A (ja) 2019-11-21
GB2573792A (en) 2019-11-20
GB201808052D0 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
CN110505469A (zh) 用于车辆的环绕监测系统及其方法
JP7424866B2 (ja) 環境内のオブジェクトのレーン割り当てを決定するための障害物及びレーン検出の活用
JP7399164B2 (ja) 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出
US11210537B2 (en) Object detection and detection confidence suitable for autonomous driving
US20190028632A1 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
EP2973420B1 (en) System and method for distortion correction in three-dimensional environment visualization
CN106462996B (zh) 无失真显示车辆周边环境的方法和装置
JP2022546397A (ja) 自律運転アプリケーションのためのマップ作成及びローカリゼーション
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
JP2021095117A (ja) 顔のランドマーク及び関連する信頼値を使用したニューラルネットワークベースの顔分析
CN115315709A (zh) 自主系统中用于行为预测的基于模型的增强学习及应用
JP2021195124A (ja) 入力としてグレアを使用する注視判定
JP2022105256A (ja) マルチビュー自動車及びロボット工学システムにおける画像合成
CN114258319A (zh) 一种投影方法及装置、车辆及ar-hud
CN109891463A (zh) 图像处理设备和图像处理方法
CN115136148A (zh) 投影使用鱼眼镜头捕获的图像用于自主机器应用中的特征检测
CN110335336A (zh) 用于天气效果的3d粒子系统的高效渲染的方法和系统
CN114973050A (zh) 自动驾驶应用中深度神经网络感知的地面实况数据生成
WO2023192754A1 (en) Image stitching with an adaptive three-dimensional bowl model of the surrounding environment for surround view visualization
CN110720025B (zh) 移动物体的地图的选择方法、装置、系统和车辆/机器人
US20220092317A1 (en) Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems
CN107848460A (zh) 用于车辆的系统、方法和设备以及计算机可读介质
CN115218888A (zh) 用于更新高清地图的系统和方法
JP2023087616A (ja) 自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減
CN113313813A (zh) 一种可主动预警的车载3d全景环视系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191126