CN112004051A - 用于车辆的图像显示系统、相应的方法和存储介质 - Google Patents

用于车辆的图像显示系统、相应的方法和存储介质 Download PDF

Info

Publication number
CN112004051A
CN112004051A CN201910445678.3A CN201910445678A CN112004051A CN 112004051 A CN112004051 A CN 112004051A CN 201910445678 A CN201910445678 A CN 201910445678A CN 112004051 A CN112004051 A CN 112004051A
Authority
CN
China
Prior art keywords
vehicle
view
image
auxiliary
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910445678.3A
Other languages
English (en)
Other versions
CN112004051B (zh
Inventor
孙铎
唐帅
曲彤
杨岳
李赫瑄
孙琬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to CN201910445678.3A priority Critical patent/CN112004051B/zh
Publication of CN112004051A publication Critical patent/CN112004051A/zh
Application granted granted Critical
Publication of CN112004051B publication Critical patent/CN112004051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

一种用于车辆的图像显示系统、相应的车辆、方法、计算机设备和可读存储介质。图像显示系统包括：主图像获取单元，用于获取关于当前车辆周围环境的一个或多个主图像以及根据主图像生成的第一俯视图和/或车辆用户视角的第一视图；图像处理单元，用于识别第一俯视图和/或第一视图中的障碍物，并且确定由于障碍物所造成的在第一俯视图和/或第一视图中的遮挡区域；辅助图像获取单元，用于根据障碍物和/或遮挡区域在第一俯视图和/或第一视图中的位置，通过当前车辆周围的一个或多个相邻车辆和/或其他互连设备获取能够观察先前被遮挡的遮挡区域的一个或多个辅助图像。使用本发明的方案能够为车辆更好地呈现周围环境。

Description

用于车辆的图像显示系统、相应的方法和存储介质
技术领域
本发明涉及车辆技术领域，更具体而言，涉及一种用于为车辆显示周围环境的图像显示系统、包括其的车辆及相应的方法、计算机设备和计算机可读存储介质。
背景技术
车辆中通常安装有图像采集装置和车载显示器，以便于为车辆用户呈现车辆周围环境图像，例如使得驾驶员能够知晓车辆四周的环境图像，方便驾驶员采取适当的驾驶策略以降低碰撞风险。
然而，在现有的车辆中，车载显示器通常只显示关于周围环境图像的俯视图或者某一视角的视图。如果在该俯视图中或者某一视角的视图中存在障碍物，则导致车辆用户无法知晓被该障碍物遮挡的区域中是否存在与当前车辆存在碰撞风险的物体，从而影响车辆的驾驶安全性。
因此，需要一种改进的图像显示系统及方法。
发明内容
为解决上述技术问题，本发明提出了一种用于为车辆更好地显示周围环境的方案。
根据本发明的一个方面，提供一种用于为车辆显示周围环境的图像显示系统，其中，所述图像显示系统包括：
主图像获取单元，被配置用于获取关于当前车辆周围环境的一个或多个主图像以及根据所述主图像生成的用于观察当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图；
图像处理单元，被配置用于识别所述第一俯视图和/或所述第一视图中的障碍物，并且确定由于所述障碍物所造成的在所述第一俯视图和/或所述第一视图中的遮挡区域；
辅助图像获取单元，被配置用于根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，通过所述当前车辆周围的一个或多个相邻车辆和/或其他互连设备获取能够观察先前被遮挡的所述遮挡区域的一个或多个辅助图像。
在一个实施方案中，所述图像处理单元被进一步配置用于将所述一个或多个主图像和所述一个或多个辅助图像进行拼接和/或融合处理，以生成第二俯视图和/或车辆用户视角的第二视图。
在一个实施方案中，所述图像显示系统进一步包括图像显示单元，所述图像显示单元被配置用于：
将所述一个或多个辅助图像作为分立的图像显示在所述第一俯视图和/或所述第一视图的内部或外部的任意位置；和/或
将经过拼接和/或融合处理生成的所述第二俯视图和/或车辆用户视角的第二视图作为整体图像显示在所述图像显示单元上。
在一个实施方案中，所述图像显示单元被进一步配置用于：显示在当前车辆周围的所述一个或多个相邻车辆的视图，以供用户从所述一个或多个相邻车辆中选择期望从其获得辅助图像的至少一个相邻车辆；以及
所述辅助图像获取单元被进一步配置用于在接收到用户通过所述图像显示单元对至少一个相邻车辆的选择后，通过向该至少一个相邻车辆发送请求，以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
在一个实施方案中，所述辅助图像获取单元被进一步配置用于：
根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，自动选择所述当前车辆周围的一个或多个相邻车辆中的位于与所述位置相对应的位置处的至少一个相邻车辆，并且向该至少一个相邻车辆发送请求以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
在一个实施方案中，所述辅助图像获取单元被进一步配置用于：如果在所述至少一个相邻车辆的图像采集装置所采集的辅助图像中仍然存在其他障碍物和由于该其他障碍物所造成的其他遮挡区域，则进一步向所述至少一个相邻车辆周围的一个或多个附加的相邻车辆和/或其他附加的互连设备发送请求，以获取能够观察所述其他遮挡区域的一个或多个附加的辅助图像。
根据本发明的另一方面，提供一种车辆，其包括根据上述任一项所述的图像显示系统。
根据本发明的又一方面，提供一种用于为车辆显示周围环境的方法，其中，所述方法包括：
获取关于当前车辆周围环境的一个或多个主图像以及根据所述主图像生成的用于观察当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图；
识别所述第一俯视图和/或所述第一视图中的障碍物，并且确定由于所述障碍物所造成的在所述第一俯视图和/或所述第一视图中的遮挡区域；
根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，通过所述当前车辆周围的一个或多个相邻车辆和/或其他互连设备获取能够观察先前被遮挡的所述遮挡区域的一个或多个辅助图像。
在一个实施方案中，所述方法进一步包括：
将所述一个或多个主图像和所述一个或多个辅助图像进行拼接和/或融合处理，以生成第二俯视图和/或车辆用户视角的第二视图。
在一个实施方案中，所述方法进一步包括：
将所述一个或多个辅助图像作为分立的图像显示在所述第一俯视图和/或所述第一视图的内部或外部的任意位置；和/或
将经过拼接和/或融合处理生成的所述第二俯视图和/或车辆用户视角的第二视图作为整体图像显示。
在一个实施方案中，所述方法进一步包括：显示在当前车辆周围的所述一个或多个相邻车辆的视图，以供用户从所述一个或多个相邻车辆中选择期望从其获得辅助图像的至少一个相邻车辆；以及
在接收到用户对至少一个相邻车辆的选择后，通过向该至少一个相邻车辆发送请求，以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
在一个实施方案中，所述方法进一步包括：
根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，自动选择所述当前车辆周围的一个或多个相邻车辆中的位于与所述位置相对应的位置处的至少一个相邻车辆，并且向该至少一个相邻车辆发送请求以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
在一个实施方案中，所述方法进一步包括：如果在所述至少一个相邻车辆的图像采集装置所采集的辅助图像中仍然存在其他障碍物和由于该其他障碍物所造成的其他遮挡区域，则进一步向所述至少一个相邻车辆周围的一个或多个附加的相邻车辆和/或其他附加的互连设备发送请求，以获取能够观察所述其他遮挡区域的一个或多个附加的辅助图像。
根据本发明的再一方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
根据本发明的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述任一项所述的方法。
利用本发明的上述方案，能够识别出当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图中的障碍物，并且确定该障碍物所造成的遮挡区域，然后根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，通过相邻车辆和/或其他互连设备获取一个或多个辅助图像来观察先前被遮挡的所述遮挡区域。通过所述辅助图像能够扩大当前车辆的用户的视野，使用户观察到先前被遮挡的所述遮挡区域，从而便于用户更好地观察周围环境，以降低当前车辆与遮挡区域中的潜在风险对象的碰撞风险，提高行驶安全性，或者便于用户更好地规划行驶策略。
附图说明
以示例的方式参考以下附图描述本发明的非限制性且非穷举性实施方案，其中：
图1示出根据本发明一个实施方案的用于为车辆显示周围环境的图像显示系统的示意图；
图2示出根据本发明一个实施方案的用于为车辆显示周围环境的方法的流程图；
图3示出根据本发明一个实施方案的用于图像显示系统和相应方法的一个应用示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施方案对本申请进行进一步详细说明。应当理解，此处描述的具体实施方案仅仅用以解释本申请，并不用于限定本申请。本发明中所提及的方位“前”、“后”、“左”和“右”是基于以车辆的行驶方向为“前”作为参照建立坐标系而定义的。
图1示出根据本发明一个实施方案的用于为车辆显示周围环境的图像显示系统100的示意图。
如图1中所示，所述图像显示系统100至少包括主图像获取单元110、图像处理单元120和辅助图像获取单元130。
具体地，所述主图像获取单元110被配置用于获取关于当前车辆101周围环境的一个或多个主图像以及根据所述主图像生成的用于观察当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图。
所述图像处理单元120被配置用于识别所述第一俯视图和/或所述第一视图中的障碍物，并且确定由于所述障碍物所造成的在所述第一俯视图和/或所述第一视图中的遮挡区域。
所述辅助图像获取单元130被配置用于根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，通过所述当前车辆周围的一个或多个相邻车辆和/或其他互连设备获取能够观察先前被遮挡的所述遮挡区域的一个或多个辅助图像。
具体地，所述主图像获取单元110可以被配置为通过当前车辆101的图像采集装置来获取所述一个或多个主图像。所述图像采集装置可以为例如设置在当前车辆的前、后、左、右和/或顶部的至少一个摄像装置(例如一个、两个、四个、五个、六个或更多个摄像装置)。所述主图像获取单元110还能够进一步获取根据所述一个或多个主图像生成的用于观察当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图。所述第一俯视图和/或车辆用户视角的第一视图可以是本发明的所述图像处理单元120或者本领域已知的其他图像处理装置使用现有的图像拼接和/或融合等图像处理技术基于所述一个或多个主图像生成的。
在本发明中，所述“俯视图”是指能够从车辆顶部俯视车辆周围环境的视图，所述“车辆用户视角”的视图是指从位于车辆中的用户的视角能够观察到周围环境的前视图、后视图、左视图、右视图等视图。所述当前车辆的“周围环境”应做广义的理解，例如可以包括在当前车辆周围的外部环境(周围的交通基础设施和交通参与者)以及当前车辆的车身外侧的状况。
在许多情况下，在当前车辆周围会存在影响当前车辆的图像采集装置所采集的图像视野的障碍物，例如，所述障碍物可以是相邻车辆、道路基础设施、建筑物、或其他各种移动或静止的障碍物。这样，所述主图像获取单元110所获取的一个或多个主图像以及由此生成的第一俯视图和/或车辆用户视角的第一视图中会存在影响车辆驾驶员或其他用户观看周围环境的所述障碍物。所述图像处理单元120被配置为识别所述障碍物并且确定所述障碍物所造成的在所述第一俯视图和/或所述第一视图中的遮挡区域，这些障碍物和遮挡区域会导致用户无法观察到障碍物背后是否存在与当前车辆具有潜在碰撞风险的对象。
根据这些障碍物和/或遮挡区域在所述第一俯视图和/或所述第一视图中的位置，本发明中的辅助图像获取单元130能够通过使用WiFi、蓝牙、LTE、V2V、V2I或者V2X技术向障碍物本身(在该障碍物是互连车辆或互连基础设施的情况下)或者障碍物附近的互连的相邻车辆或其他互连设备(例如基础设施、移动终端或在线服务器)发送请求，以获取该互连车辆或互连基础设施的图像采集装置采集或上传至在线服务器的能够观察先前被遮挡的所述遮挡区域的一个或多个辅助图像。
在一个实施方案中，所述图像显示系统100可以进一步包括图像显示单元，所述图像显示单元被配置用于将所述一个或多个辅助图像作为分立的图像显示在所述第一俯视图和/或所述第一视图的内部或外部的任意位置。例如，为了简单起见，如果未对所述一个或多个主图像和所述一个或多个辅助图像进行拼接和/或融合处理以生成第二俯视图和/或车辆用户视角的第二视图，则可以仅仅将所述一个或多个辅助图像与所述第一俯视图和/或所述第一视图分开显示在所述图像显示单元上。
在另一个实施方案中，所述图像处理单元120可以被进一步配置用于接收所述一个或多个主图像和所述一个或多个辅助图像，并且将所述一个或多个主图像和所述一个或多个辅助图像进行拼接和/或融合处理，以生成第二俯视图和/或车辆用户视角的第二视图。由此，用户能够观察到看起来无遮挡的第二俯视图和/或车辆用户视角的第二视图，从而使车辆用户更加清楚地观察到原先被障碍物遮挡的区域中是否存在与当前车辆具有潜在碰撞风险的对象，以便于车辆驾驶员选择更加安全的驾驶策略。有利地，所述图像显示单元被配置用于将经过拼接和/或融合处理生成的所述第二俯视图和/或车辆用户视角的第二视图作为整体图像显示在所述图像显示单元上。
例如，在当前车辆的用户观察到当前车辆的车载图像显示单元中正在显示的第一俯视图和/或第一视图中存在障碍物时，其可以手动点击该障碍物和/或障碍物导致的遮挡区域，在图像显示单元检测到用户的手动点击动作之后，使用所获取的辅助图像填充该遮挡区域，或者以悬浮窗的形式将辅助图像分开显示在所述遮挡区域附近或者在第一俯视图和/或第一视图外部。或者，也可以在用户滑动操作所述第一俯视图和/或第一视图时，或者在用户放大显示所述遮挡区域时，自动使用所获取的辅助图像填充该遮挡区域，例如呈现经过拼接和/或融合处理生成的所述第二俯视图和/或车辆用户视角的第二视图。
在一个实施方案中，所述主图像获取单元和所述辅助图像获取单元可以分别通过图像处理单元的第一输入接口和第二输入接口实现，它们分别可以用于至少获取主图像和辅助图像。
图2示出根据本发明一个实施方案的用于为车辆显示周围环境的方法的流程图。
如图2中所示，所述的用于为车辆显示周围环境的方法200包括：
S210：获取关于当前车辆101周围环境的一个或多个主图像以及根据所述主图像生成的用于观察当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图；
S220：识别所述第一俯视图和/或所述第一视图中的障碍物，并且确定由于所述障碍物所造成的在所述第一俯视图和/或所述第一视图中的遮挡区域；以及
S230：根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，通过所述当前车辆周围的一个或多个相邻车辆和/或其他互连设备获取能够观察先前被遮挡的所述遮挡区域的一个或多个辅助图像。
在一个实施方案中，所述方法可以进一步包括：将所述一个或多个辅助图像作为分立的图像显示在所述第一俯视图和/或所述第一视图的内部或外部的任意位置。
在一个实施方案中，所述方法可以进一步包括：将所述一个或多个主图像和所述一个或多个辅助图像进行拼接和/或融合处理，以生成第二俯视图和/或车辆用户视角的第二视图；以及优选的，将经过拼接和/或融合处理生成的所述第二俯视图和/或车辆用户视角的第二视图作为整体图像显示。
应理解，可以根据本文中关于图像显示系统所描述的实施方案中的方法步骤特征，对本发明的用于为车辆显示周围环境的方法进行类似扩展。
图3示出根据本发明一个实施方案的用于图像显示系统和相应方法的一个应用示意图。
下面将结合图3对通过相邻车辆获取辅助图像的情况对本发明做进一步说明。但是，应当理解，对于通过其他互连设备(例如，互连基础设施、移动终端或者在线服务器)获取辅助图像的情况也是从本发明的具体实施方案的教导中可想到的。
对于本发明的图像显示系统100而言，如图3所示，所述图像显示单元可以被进一步配置用于显示在当前车辆101周围的所述一个或多个相邻车辆的示意视图，以供用户从所述一个或多个相邻车辆中选择期望从其获得辅助图像的至少一个相邻车辆(例如图3中所示的201)。
相邻车辆的用户可以自愿选择将其车辆的图像采集装置所采集的图像进行互联分享或者不进行互联分享。优选地，所述图像显示单元可以区别显示进行互联的相邻车辆和不进行互联的相邻车辆(例如，用不同的颜色进行显示)，以供当前车辆101的用户更清楚地知晓哪些相邻车辆是能够进行互联的，并从中选择期望从其获得辅助图像的至少一个相邻车辆(例如，201或者其他相邻车辆中的任一个)。
所述辅助图像获取单元130被进一步配置用于：在接收到用户通过所述图像显示单元对至少一个相邻车辆201的选择后，通过向该至少一个相邻车辆201发送请求，以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
所述辅助图像获取单元130被进一步配置用于：根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，自动选择所述当前车辆周围的一个或多个相邻车辆中的位于与所述位置相对应的位置处的至少一个相邻车辆，并且向该至少一个相邻车辆发送请求以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
优选地，所述辅助图像获取单元130可以进一步根据所述遮挡区域相对于当前车辆的角度，选择获取上述至少一个相邻车辆的位于与所述角度对应的位置处的图像采集装置所采集的辅助图像；或者在接收到上述至少一个相邻车辆的所有图像采集装置所采集的图像之后提取出位于与所述角度对应的位置处的图像采集装置所采集的辅助图像。例如，如果遮挡区域主要分布在相邻车辆201的左侧，则可仅获取该相邻车辆201的左侧图像采集装置所采集的辅助图像；或者在接收到该相邻车辆的所有图像采集装置所采集的图像之后提取出左侧图像采集装置所采集的辅助图像。
在一个实施方案中，在如图3所示用户在当前车辆101的图像显示单元中点击选择期望从其获得辅助图像的至少一个相邻车辆201之后，该图像显示单元可以呈现从该至少一个相邻车辆201的视角所观察到的俯视图和/或相邻车辆201用户视角的各种视图，以供当前车辆101的用户从中选择能够便于观察在先被遮挡的遮挡区域的辅助图像。
所述辅助图像获取单元130被进一步配置用于：如果在所述至少一个相邻车辆的图像采集装置所采集的辅助图像中仍然存在其他障碍物和由于该其他障碍物所造成的其他遮挡区域，则进一步向所述至少一个相邻车辆周围的一个或多个附加的相邻车辆和/或其他附加的互连设备发送请求，以获取能够观察所述其他遮挡区域的一个或多个附加的辅助图像。优选地，该过程可进一步扩展至距离更远的附加的相邻车辆和/或其他附加的互连设备周围的再一些相邻车辆和/或互连设备，以使得所述当前车辆101可以直接和间接获取到各种辅助图像的最大范围不受限制，例如可以为40米、50米、100米或更远距离。
对于本发明的用于为车辆显示周围环境的方法200而言，结合图3的实施方案可知，所述方法可以进一步包括：显示在当前车辆周围的所述一个或多个相邻车辆的视图，以供用户从所述一个或多个相邻车辆中选择期望从其获得辅助图像的至少一个相邻车辆；以及
在接收到用户对至少一个相邻车辆的选择后，通过向该至少一个相邻车辆发送请求，以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
所述方法可以进一步包括：根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，自动选择所述当前车辆周围的一个或多个相邻车辆中的位于与所述位置相对应的位置处的至少一个相邻车辆，并且向该至少一个相邻车辆发送请求以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
优选地，所述方法可以进一步包括：根据所述遮挡区域相对于当前车辆的角度，选择获取上述至少一个相邻车辆的位于与所述角度对应的位置处的图像采集装置所采集的辅助图像；或者在接收到上述至少一个相邻车辆的所有图像采集装置所采集的图像之后提取出位于与所述角度对应的位置处的图像采集装置所采集的辅助图像。
所述方法可以进一步包括：如果在所述至少一个相邻车辆的图像采集装置所采集的辅助图像中仍然存在其他障碍物和由于该其他障碍物所造成的其他遮挡区域，则进一步向所述至少一个相邻车辆周围的一个或多个附加的相邻车辆和/或其他附加的互连设备发送请求，以获取能够观察所述其他遮挡区域的一个或多个附加的辅助图像。
本发明的另一方面还提供一种车辆，其包括上述的图像显示系统100。
本发明的再一方面还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现上述任一项所述的方法。例如，在一个实施方案中，所述计算机程序在被处理器执行时能够指示处理器和/或相应部件实现以下步骤：获取关于当前车辆周围环境的一个或多个主图像以及根据所述主图像生成的用于观察当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图；识别所述第一俯视图和/或所述第一视图中的障碍物，并且确定由于所述障碍物所造成的在所述第一俯视图和/或所述第一视图中的遮挡区域；根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，通过所述当前车辆周围的一个或多个相邻车辆和/或其他互连设备获取能够观察先前被遮挡的所述遮挡区域的一个或多个辅助图像。
另外，应理解上述图像显示系统100中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
在一个实施方案中，提供了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意一个实施方案中的方法的步骤。该计算机设备可以是服务器或者车载终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本发明的用于为车辆显示周围环境的方法。
本领域技术人员可以理解，图1中示出的图像显示系统100的示意图仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现根据本发明的上述实施方案的方法中的全部或部分步骤，可以通过计算机程序来指示相关的硬件完成，所述的计算机程序可存储于非易失性的计算机可读存储介质中，该计算机程序在执行时，可执行包括如上述各方法的实施方案中所述的步骤。本申请所提供的各实施方案中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。
以上实施方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施方案中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
尽管结合实施方案对本发明进行了描述，但本领域技术人员应理解，上文的描述和附图仅是示例性而非限制性的，本发明不限于所公开的实施方案。在不偏离本发明的精神的情况下，各种改型和变体是可能的。

Claims (15)

1.一种用于为车辆显示周围环境的图像显示系统，其特征在于，所述图像显示系统包括：
主图像获取单元，被配置用于获取关于当前车辆周围环境的一个或多个主图像以及根据所述主图像生成的用于观察当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图；
图像处理单元，被配置用于识别所述第一俯视图和/或所述第一视图中的障碍物，并且确定由于所述障碍物所造成的在所述第一俯视图和/或所述第一视图中的遮挡区域；
辅助图像获取单元，被配置用于根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，通过所述当前车辆周围的一个或多个相邻车辆和/或其他互连设备获取能够观察先前被遮挡的所述遮挡区域的一个或多个辅助图像。
2.根据权利要求1所述的图像显示系统，其中，所述图像处理单元被进一步配置用于将所述一个或多个主图像和所述一个或多个辅助图像进行拼接和/或融合处理，以生成第二俯视图和/或车辆用户视角的第二视图。
3.根据权利要求2所述的图像显示系统，其中，所述图像显示系统进一步包括图像显示单元，所述图像显示单元被配置用于：
将所述一个或多个辅助图像作为分立的图像显示在所述第一俯视图和/或所述第一视图的内部或外部的任意位置；和/或
将经过拼接和/或融合处理生成的所述第二俯视图和/或车辆用户视角的第二视图作为整体图像显示在所述图像显示单元上。
4.根据权利要求3所述的图像显示系统，其中，所述图像显示单元被进一步配置用于：显示在当前车辆周围的所述一个或多个相邻车辆的视图，以供用户从所述一个或多个相邻车辆中选择期望从其获得辅助图像的至少一个相邻车辆，以及
所述辅助图像获取单元被进一步配置用于在接收到用户通过所述图像显示单元对至少一个相邻车辆的选择后，通过向该至少一个相邻车辆发送请求，以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
5.根据权利要求1所述的图像显示系统，其中，所述辅助图像获取单元被进一步配置用于：
根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，自动选择所述当前车辆周围的一个或多个相邻车辆中的位于与所述位置相对应的位置处的至少一个相邻车辆，并且向该至少一个相邻车辆发送请求以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
6.根据权利要求5所述的图像显示系统，其中，所述辅助图像获取单元被进一步配置用于：如果在所述至少一个相邻车辆的图像采集装置所采集的辅助图像中仍然存在其他障碍物和由于该其他障碍物所造成的其他遮挡区域，则进一步向所述至少一个相邻车辆周围的一个或多个附加的相邻车辆和/或其他附加的互连设备发送请求，以获取能够观察所述其他遮挡区域的一个或多个附加的辅助图像。
7.一种车辆，其特征在于，包括根据权利要求1-6中任一项所述的图像显示系统。
8.一种用于为车辆显示周围环境的方法，其特征在于，所述方法包括：
获取关于当前车辆周围环境的一个或多个主图像以及根据所述主图像生成的用于观察当前车辆周围环境的第一俯视图和/或车辆用户视角的第一视图；
识别所述第一俯视图和/或所述第一视图中的障碍物，并且确定由于所述障碍物所造成的在所述第一俯视图和/或所述第一视图中的遮挡区域；
根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，通过所述当前车辆周围的一个或多个相邻车辆和/或其他互连设备获取能够观察先前被遮挡的所述遮挡区域的一个或多个辅助图像。
9.根据权利要求8所述的方法，其中，所述方法进一步包括：
将所述一个或多个主图像和所述一个或多个辅助图像进行拼接和/或融合处理，以生成第二俯视图和/或车辆用户视角的第二视图。
10.根据权利要求9所述的方法，其中，所述方法进一步包括：
将所述一个或多个辅助图像作为分立的图像显示在所述第一俯视图和/或所述第一视图的内部或外部的任意位置；和/或
将经过拼接和/或融合处理生成的所述第二俯视图和/或车辆用户视角的第二视图作为整体图像显示。
11.根据权利要求10所述的方法，其中，所述方法进一步包括：显示在当前车辆周围的所述一个或多个相邻车辆的视图，以供用户从所述一个或多个相邻车辆中选择期望从其获得辅助图像的至少一个相邻车辆，以及
在接收到用户对至少一个相邻车辆的选择后，通过向该至少一个相邻车辆发送请求，以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
12.根据权利要求8所述的方法，其中，所述方法进一步包括：
根据所述障碍物和/或所述遮挡区域在所述第一俯视图和/或所述第一视图中的位置，自动选择所述当前车辆周围的一个或多个相邻车辆中的位于与所述位置相对应的位置处的至少一个相邻车辆，并且向该至少一个相邻车辆发送请求以获取该至少一个相邻车辆的能够便于观察所述遮挡区域的至少一个图像采集装置所采集的辅助图像。
13.根据权利要求12所述的方法，其中，所述方法进一步包括：如果在所述至少一个相邻车辆的图像采集装置所采集的辅助图像中仍然存在其他障碍物和由于该其他障碍物所造成的其他遮挡区域，则进一步向所述至少一个相邻车辆周围的一个或多个附加的相邻车辆和/或其他附加的互连设备发送请求，以获取能够观察所述其他遮挡区域的一个或多个附加的辅助图像。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8至13中任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现权利要求8至13中任一项所述的方法。
CN201910445678.3A 2019-05-27 2019-05-27 用于车辆的图像显示系统、相应的方法和存储介质 Active CN112004051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910445678.3A CN112004051B (zh) 2019-05-27 2019-05-27 用于车辆的图像显示系统、相应的方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910445678.3A CN112004051B (zh) 2019-05-27 2019-05-27 用于车辆的图像显示系统、相应的方法和存储介质

Publications (2)

Publication Number Publication Date
CN112004051A true CN112004051A (zh) 2020-11-27
CN112004051B CN112004051B (zh) 2022-10-25

Family

ID=73461680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910445678.3A Active CN112004051B (zh) 2019-05-27 2019-05-27 用于车辆的图像显示系统、相应的方法和存储介质

Country Status (1)

Country Link
CN (1) CN112004051B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114228617A (zh) * 2021-12-28 2022-03-25 阿波罗智能技术(北京)有限公司 图像生成方法、装置、设备、存储介质和车辆
CN114228618A (zh) * 2021-11-30 2022-03-25 一汽解放汽车有限公司 牵引车行驶影像的生成方法、装置和计算机设备
CN114596541A (zh) * 2022-02-08 2022-06-07 星河智联汽车科技有限公司 一种获取前车视野的方法、装置、设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020181803A1 (en) * 2001-05-10 2002-12-05 Kenichi Kawakami System, method and program for perspective projection image creation, and recording medium storing the same program
US20110157361A1 (en) * 2009-12-31 2011-06-30 Industrial Technology Research Institute Method and system for generating surrounding seamless bird-view image with distance interface
CN102740056A (zh) * 2011-03-31 2012-10-17 富士通天株式会社 图像显示系统
CN102997899A (zh) * 2011-09-14 2013-03-27 现代自动车株式会社 提供车辆的周围环境信息的系统和方法
US20150145995A1 (en) * 2013-11-22 2015-05-28 At&T Intellectual Property I, L.P. Enhanced view for connected cars
CN105291984A (zh) * 2015-11-13 2016-02-03 中国石油大学(华东) 一种基于多车协作的行人及车辆检测的方法及系统
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
CN105730341A (zh) * 2016-03-11 2016-07-06 广东钛马车联网信息科技有限公司 一种前车视野查看装置、系统及方法
CN108062864A (zh) * 2016-11-09 2018-05-22 奥迪股份公司 一种用于车辆的交通场景可视化系统和方法及车辆
CN108367714A (zh) * 2015-10-30 2018-08-03 邦迪克斯商用车系统有限责任公司 填充由镜子或其他车辆部件遮挡的周围视野区域
CN108382305A (zh) * 2018-02-11 2018-08-10 北京车和家信息技术有限公司 一种影像显示方法、装置及车辆
CN108583435A (zh) * 2018-04-25 2018-09-28 北京新能源汽车股份有限公司 基于车辆的显示控制方法、装置和车辆
CN108648488A (zh) * 2018-05-04 2018-10-12 姜鹏飞 一种扩大驾驶员视野范围的方法及系统
CN108995591A (zh) * 2018-08-01 2018-12-14 北京海纳川汽车部件股份有限公司 车辆全景透视显示方法、系统及具有其的车辆
CN109286785A (zh) * 2018-09-19 2019-01-29 深圳市杰普特光电股份有限公司 一种环境信息共享系统及方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020181803A1 (en) * 2001-05-10 2002-12-05 Kenichi Kawakami System, method and program for perspective projection image creation, and recording medium storing the same program
US20110157361A1 (en) * 2009-12-31 2011-06-30 Industrial Technology Research Institute Method and system for generating surrounding seamless bird-view image with distance interface
CN102740056A (zh) * 2011-03-31 2012-10-17 富士通天株式会社 图像显示系统
CN102997899A (zh) * 2011-09-14 2013-03-27 现代自动车株式会社 提供车辆的周围环境信息的系统和方法
US20150145995A1 (en) * 2013-11-22 2015-05-28 At&T Intellectual Property I, L.P. Enhanced view for connected cars
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
CN108367714A (zh) * 2015-10-30 2018-08-03 邦迪克斯商用车系统有限责任公司 填充由镜子或其他车辆部件遮挡的周围视野区域
CN105291984A (zh) * 2015-11-13 2016-02-03 中国石油大学(华东) 一种基于多车协作的行人及车辆检测的方法及系统
CN105730341A (zh) * 2016-03-11 2016-07-06 广东钛马车联网信息科技有限公司 一种前车视野查看装置、系统及方法
CN108062864A (zh) * 2016-11-09 2018-05-22 奥迪股份公司 一种用于车辆的交通场景可视化系统和方法及车辆
CN108382305A (zh) * 2018-02-11 2018-08-10 北京车和家信息技术有限公司 一种影像显示方法、装置及车辆
CN108583435A (zh) * 2018-04-25 2018-09-28 北京新能源汽车股份有限公司 基于车辆的显示控制方法、装置和车辆
CN108648488A (zh) * 2018-05-04 2018-10-12 姜鹏飞 一种扩大驾驶员视野范围的方法及系统
CN108995591A (zh) * 2018-08-01 2018-12-14 北京海纳川汽车部件股份有限公司 车辆全景透视显示方法、系统及具有其的车辆
CN109286785A (zh) * 2018-09-19 2019-01-29 深圳市杰普特光电股份有限公司 一种环境信息共享系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王铮等: "基于双目视觉的AGV障碍物检测与避障", 《计算机集成制造系统》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114228618A (zh) * 2021-11-30 2022-03-25 一汽解放汽车有限公司 牵引车行驶影像的生成方法、装置和计算机设备
CN114228617A (zh) * 2021-12-28 2022-03-25 阿波罗智能技术(北京)有限公司 图像生成方法、装置、设备、存储介质和车辆
CN114596541A (zh) * 2022-02-08 2022-06-07 星河智联汽车科技有限公司 一种获取前车视野的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112004051B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN112004051B (zh) 用于车辆的图像显示系统、相应的方法和存储介质
CN110696822A (zh) 自动泊车控制方法、装置、设备及存储介质
EP4246491A1 (en) Navigation method, apparatus, and system
KR101811157B1 (ko) 사발형 영상 시스템
EP3306918B1 (en) Information presentation system
EP2280547A1 (en) Vehicle surroundings monitoring device and vehicle surroundings monitoring method
CN108382305B (zh) 一种影像显示方法、装置及车辆
US20120170812A1 (en) Driving support display device
EP2660104A2 (en) Apparatus and method for displaying a blind spot
CN104885448A (zh) 驾驶辅助装置以及图像处理程序
EP3503531B1 (en) Image display apparatus
CN111833627B (zh) 车辆视觉范围扩展方法、装置、系统和计算机设备
CN110796711B (zh) 全景系统标定方法、装置、计算机可读存储介质及车辆
CN111169381A (zh) 一种车辆影像显示方法、装置、车辆和存储介质
CN112261357A (zh) 远程移车方法、装置、车辆及存储介质
CN112406855A (zh) 自动泊车方法、装置、车辆及存储介质
CN111213194A (zh) 显示控制装置、显示控制方法及显示系统
CN104517096A (zh) 环景监视系统的图像处理方法和系统
CN111783595A (zh) 一种车辆泊车方法、装置、车载设备及存储介质
JP2015154125A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
CN103496339A (zh) 一种通过3d显示汽车全景的显示系统及其实现方法
CN111094115A (zh) 用于运行车辆的显示单元的方法、装置、计算机程序和计算机程序产品
CN116923252A (zh) 一种基于车辆泊车系统的车辆信息采集方法
KR20160134005A (ko) 드론 및 주변차량을 이용한 시야 확보 방법 및 이를 이용한 디스플레이 시스템
JP6485310B2 (ja) 情報提供システム、情報提供方法及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant