CN107231544A - 用于生成车辆的混合摄像机视图的系统和方法 - Google Patents

用于生成车辆的混合摄像机视图的系统和方法 Download PDF

Info

Publication number
CN107231544A
CN107231544A CN201710161797.7A CN201710161797A CN107231544A CN 107231544 A CN107231544 A CN 107231544A CN 201710161797 A CN201710161797 A CN 201710161797A CN 107231544 A CN107231544 A CN 107231544A
Authority
CN
China
Prior art keywords
view
vehicle
image
time delay
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710161797.7A
Other languages
English (en)
Inventor
特里·哈格蒂
乔纳森·迪德里希
布拉德·伊格纳恰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107231544A publication Critical patent/CN107231544A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

实施例包括一种车辆，该车辆包含用于拍摄车辆周围的视野之内的图像的多个摄像机；处理器，该处理器用于使用当前拍摄到的图像来生成视野之内的区域的实时视图并且使用存储在存储器中的先前拍摄到的图像来生成视野之外的区域的时间延迟视图；以及用于显示包含实时视图和时间延迟视图的混合视图的显示器。实施例还包括一种车辆摄像机系统，该车辆摄像机系统包含多个摄像机和处理器，该多个摄像机被配置为拍摄车辆周围的视野之内的图像，该处理器被配置为使用当前拍摄到的图像来生成视野之内的区域的实时视图、使用存储在存储器中的先前拍摄到的图像来生成视野之外的区域的时间延迟视图、并且通过将时间延迟视图整合到实时视图中来生成车辆的混合视图。

Description

用于生成车辆的混合摄像机视图的系统和方法
技术领域
本申请总体上涉及车辆摄像机系统，并且更具体地涉及生成包括摄像机系统的视野之内的车辆周围环境和视野之外的区域的混合摄像机视图。
背景技术
现有的环视或360°视野摄像机系统收集由位于车辆周围的各个位置处的摄像机拍摄到的图像，并且生成在车辆显示器上显示以便车辆操作者查看的车辆周围环境的实况视图。这些系统可以将图像处理技术应用于由每个摄像机在给定的时间点拍摄到的图像以生成实况视图。例如，图像处理技术可以包括用于识别摄像机图像之间的共同特征、根据共同特征对准图像、并且将图像组合或拼接在一起以形成车辆周围环境的全景视图的图像配准或其它技术。现有的图像处理技术还包括减少图像失真、将信息覆盖到图像上、和/或均衡图像特性(例如亮度或对比度)以形成更均匀的全景图像。
现有的车辆摄像机系统还使用图像处理以在组合图像以形成全景或环视图像之前和/或之后并且在将所得到的图像作为车辆周围环境的实况视频馈送在车辆显示器上显示之前改变拍摄到的图像的视角。例如，每一个摄像机可以被定位在车辆上以拍摄对应于相对于车辆的特定视野的图像，例如，前视图、左侧视图、右侧视图和后视图。图像处理技术可以被用于将由每一个摄像机拍摄到的图像的视角变换成例如俯视图或自上而下视图(top-down view)。
例如，图1A描绘了在现有的360°视野摄像机系统的当前视野之内的常规车辆10周围的区域。摄像机系统可以包括至少前部摄像机、左侧摄像机、右侧摄像机和后部摄像机，并且每一个摄像机可以被定位在车辆10上以从相应的视野(例如，分别为前部、左侧、右侧和后部视野)拍摄车辆周围环境的图像数据。车辆摄像机系统可以被配置为改变由每一个摄像机拍摄到的图像的视角和/或对由每一个摄像机拍摄到的图像应用其他图像处理技术，以获得在该摄像机的视野之内的区域的相应的俯视图，例如如图1A所示的前部摄像机俯视图、左侧摄像机俯视图、右侧摄像机俯视图和后部摄像机俯视图。
为了说明，图1B示出了停放在停车场14内的停车位13中的车辆10的示例性俯视图像12，图像12被显示在车辆显示器16上。俯视图像12可以由现有的360°视野摄像机系统使用从车辆10上的前部、左侧、右侧和后部摄像机拍摄到的图像数据并且应用上述图像处理技术而生成。特别地，前部摄像机图像数据可以被转换成表示在前部摄像机的视野之内的停车场区域的俯视图的图像，左侧摄像机图像数据可以被转换成表示在左侧摄像机的视野之内的停车场区域的俯视图的图像，右侧摄像机图像数据可以被转换成表示在右侧摄像机的视野之内的停车场区域的俯视图的图像，并且后部摄像机图像数据可以被转换成表示在后部摄像机的视野之内的停车场区域的俯视图的图像。
现有的360°视野摄像机系统的一个缺点是所得到的环视图像或由其组成的实况视频馈送限于在车辆摄像机的当前视野之内拍摄到的图像数据。例如，在图1A中，灰色阴影区域表示从当前视野中排除或在当前视野之外的车辆10下方以及紧密围绕车辆10的区域18。也就是说，每一个车辆摄像机的当前视野不包括图1A所示的区域18的任何部分。因此，现有的摄像机系统不具有呈现表示区域18或系统的当前视野之外的其他区域的图像数据的能力，并且可能将这些区域描绘为环绕图像12内的不可识别的灰色区域，如图1B所示。
因此，在本领域中仍然需要可以提供关于在车辆摄像机的当前视野之外的一个或多个区域的图像数据或其他信息的车辆摄像机系统和方法。
发明内容
本发明旨在通过提供被配置为生成车辆周围环境的混合摄像机视图的系统和方法来解决上述以及其他问题，该混合摄像机视图包括在车辆摄像机的当前视野之内的区域的实况视频或实时视图和表示邻近车辆摄像机的当前视野或在车辆摄像机的当前视野之外的区域的补充或时间延迟视图，补充视图是使用存储的由车辆摄像机先前拍摄到的图像数据生成的。
例如，一个实施例提供了一种车辆，该车辆包含用于拍摄车辆周围的视野之内的图像的多个摄像机；处理器，该处理器用于使用当前拍摄到的图像来生成视野之内的区域的实时视图并且使用存储在存储器中的先前拍摄到的图像来生成视野之外的区域的时间延迟视图；以及用于显示包含实时视图和时间延迟视图的混合视图的显示器。
另一个示例实施例提供了一种方法，该方法包含：从存储器中检索示出车辆周围的区域的存储的图像；基于检索到的图像由处理器来生成车辆下方的表面的时间延迟视图；由处理器组合时间延迟视图与由位于车辆周围的摄像机拍摄到的实时图像以形成车辆的混合视图；以及将混合视图提供至车辆显示器以在其上显示。
另一个示例实施例提供了一种车辆摄像机系统，该车辆摄像机系统包含：多个摄像机和处理器，该多个摄像机被配置为拍摄车辆周围的视野之内的图像，该处理器被配置为使用当前拍摄到的图像来生成视野之内的区域的实时视图、使用存储在存储器中的先前拍摄到的图像来生成视野之外的区域的时间延迟视图、以及通过将时间延迟视图整合到实时视图中来生成车辆的混合视图。
如可以领会的是，本公开是由所附的权利要求来限定。本说明书概述了实施例的多个方面并且不应该被用于限制权利要求。根据本文所描述的技术，其他实施例是可预期的，如基于对以下附图和具体实施例的考查对本领域普通技术人员来说将是显而易见的，并且这样的实施例旨在包含在本申请的范围之内。
附图说明
为了更好地理解本发明，可以参照以下附图中所示的实施例。附图中的部件不一定按比例绘制并且相关元件可以被省略，或在某些情况下比例可以被夸大，以便强调和清楚地说明在此所描述的新颖性特征。此外，系统部件可以不同地布置，如本领域中已知的那样。进一步地，在附图中，贯穿几个视图，相同的附图标记指代相应的部分。
图1A是定义现有的车辆摄像机系统的当前视野的图示；
图1B是通过现有的车辆摄像机系统在图1A所示的视野之内拍摄到的示例性图像数据的图示；
图2是根据某些实施例表示使用第一图像处理技术生成的混合摄像机视图的示例性图像数据的图示；
图3是根据某些实施例表示使用第二图像处理技术生成的混合摄像机视图的示例性图像数据的图示；
图4是根据某些实施例示出用于生成图2和/或3的混合摄像机视图的示例性车辆计算系统的框图；
图5是根据某些实施例用于提供图2和/或3的混合摄像机视图的示例方法的流程图。
具体实施方式
虽然本发明可以实施为各种形式，但是在附图中示出并且将在下文中描述一些示例性和非限制性实施例，要理解的是，本公开应被认为是本发明的例证，而不是旨在将本发明限制为所说明的具体实施例。
在本申请中，转折连词的使用旨在包括连词。定冠词或不定冠词的使用并不旨在表示基数。特别是，参考“该”对象或“一个(a/an)”对象旨在还表示可能的复数个这样的对象之一。
本文提供了用于使用根据实施例的车辆摄像机系统生成车辆及其周围环境(包括车辆下方的区域)的混合摄像机视图的系统和方法。该车辆摄像机系统(例如，图4所示的车辆摄像机系统402)可以包括位于车辆上的各个位置处以拍摄相对于车辆的不同视图的多个摄像机。例如，该车辆摄像机系统可以包括前视摄像机、后视摄像机、左视摄像机和右视摄像机(例如，图4所示的摄像机404-410)。由车辆摄像机在给定的时间点拍摄到的视图可以共同形成车辆摄像机系统的当前视野，并且可以作为车辆周围环境的实况视频馈送的一部分在车辆显示器上显示。如图1A所示，由于例如摄像机系统的每一个车辆摄像机的角度和/或位置和/或其他限制，车辆下方以及紧密围绕或紧邻车辆的区域(即，区域18)可能被从常规摄像机系统的当前视野中排除或者在常规摄像机系统的当前视野之外。根据实施例，本文所描述的混合摄像机视图利用表示车辆摄像机系统的当前视野之外的至少一个区域的存储的图像数据来补充车辆周围环境的实况视频馈送，从而为车辆操作者提供更完整的车辆附近的图片。
更具体地，图2说明了根据本文所论述的技术可以由处理器(例如，图4所示的处理器412)生成的示例性混合摄像机视图200。类似于图1B所示的图像12，混合摄像机视图200示出停放在停车场14内的停车位13中的车辆100，并且混合摄像机视图200被显示在车辆显示器201上以呈现给车辆操作者。然而，如图2所示，混合摄像机视图200在一个视图内同时呈现(i)实时视图202，其包含对应于车辆摄像机系统的当前视野之内的区域的图像数据，例如，常规的实况视频馈送；和(ii)补充或时间延迟视图208，其包含对应于邻近车辆摄像机系统的当前视野和/或在车辆摄像机系统的当前视野之外的一个或多个区域的存储的图像数据。例如，在图2中，实时视图202包含表示车辆100周围(例如，在前侧、左侧、右侧和后侧)并且在当前视野之内的停车场区域的实况或拍摄到的图像数据，并且补充视图208包含表示大部分在车辆100下方并且没有被实时视图202拍摄到的停车场104的区域的存储的图像数据。
在实施例中，实时视图202可以构成实况视频馈送，该实况视频馈送通过将由车辆摄像机当前拍摄到的图像(本文中也被称为“当前拍摄到的图像”)实时地或接近实时地组合或拼接在一起而生成。处理器可以被配置为使用各种图像处理技术来生成实时视图202，诸如，例如，图像配准、校正、平移和旋转。在实施例中，由车辆摄像机拍摄到的每一个图像除了图像数据之外还可以包括时间分量，诸如，例如，时间戳。图像配准技术可以被用于处理拍摄到的图像并且将图像数据内的每一个像素映射到三维(3D)空间中相应的位置，其中第三维度是时间并且像素被分配其余两个维度内的坐标。像素配准可以被用于识别由前部、左侧、右侧和后部摄像机同时拍摄到的图像，并且沿着共同特征或像素匹配或对准这些图像。在一些情况下，实时视图202可以通过将对准的图像拼接在一起以形成全景图像或诸如此类而生成。
在实施例中，由车辆摄像机拍摄到的图像可以被周期性地存储在存储器(例如，图4所示的数据存储设备414)中以便将来检索和处理。存储当前拍摄到的图像的速率和/或存储在存储器中的图像的数量可以基于例如车辆100的速度、车辆100的行驶方向、车辆摄像机系统的当前视野、可用的存储器的量和/或其他相关因素来调节。在一些情况下，图像数据可以在被删除以便为新拍摄到的图像数据形成空间之前被临时地存储在存储器中持续预定量的时间。每一个图像可以与其时间分量和/或像素配准相关联地存储以用于未来图像处理。
根据实施例，补充视图208可以通过组合存储在存储器中并且示出当前视野之外的区域的先前拍摄到的图像的部分而生成。例如，在许多情况下，车辆摄像机将在车辆100到达该区域之前的时刻已拍摄当前在车辆100下方的区域。例如，在图2的情况下，当车辆100接近并且进入停车位13时，车辆摄像机可以拍摄区域108的图像。补充视图208可以通过以下方式生成：收集这些图像或将这些图像存储在存储器中，并且将先前拍摄到的图像数据的相关部分组合或拼接在一起以形成现在在车辆摄像机的当前视野之外的区域的表示。例如，使用用于每一个图像的像素配准，处理器可以识别示出车辆100下方的路面或区域108的其他部分的每一个存储的图像中的某些特征或像素，沿着共同特征对准所识别的图像，并且组合对准的图像以形成补充视图208。
在实施例中，处理器可以被配置为利用由车辆摄像机当前拍摄到并且显示在车辆显示器201上的实况图像数据来空间地校正存储在存储器中的先前拍摄到的图像，以便形成车辆100下方的道路的紧密结合的虚拟视图，如图2中的补充视图208所示。在实施例中，车辆动态传感器(例如，图4所示的车辆动态传感器416)可以被用于追踪车辆的当前运动状态(例如，横摆率、纵向和横向加速度等)并且相应地校准车辆摄像机系统。用于生成补充视图208的存储的图像可以基于车辆的当前移动状态被适当地平移和旋转，使得补充视图208和/或其中所示的路面被显示在车辆显示器201上相对于车辆100的当前位置和实时视图202的当前取向的正确的位置处。例如，当车辆100正进入停车位13时，可以预先拍摄区域18的存储的图像，并且因此可以以一定角度拍摄区域18内的路面。但是在图2中，车辆100当前平行于停车位13停放并且在停车位13的正上方。因此，当生成补充视图208时，相应的存储的图像可能需要被校准(例如，平移、旋转等)以匹配车辆的当前位置。
假定需要存储的图像数据来形成补充视图208，与同时显示在车辆显示器201上的实时视图202相比，补充视图208必须至少有些时间延迟。一定量的时间延迟也可以根据车辆100的速度(如果行驶的话)以及其他因素(诸如，例如，存储器、处理器、摄像机和显示器的处理速度、图像处理技术的类型和复杂程度、以及其它考虑)而引入，如可以领会的那样。
在实施例中，补充视图208可以被连续地或周期性地更新，例如，当新拍摄到的图像数据被存储在存储器中和/或当车辆100移动到新位置时，以便保持补充视图208尽可能接近实时。例如，一旦当前拍摄到的图像数据被存储在存储器中作为新的先前拍摄到的图像数据，处理器就可以使用新存储的图像来生成时间延迟视图208的更新版本，并且更新的时间延迟视图可以在车辆显示器201上呈现以代替当前正在显示的时间延迟视图208。根据可用的处理速度，补充视图208可以使用刚好在实时视图202所述的图像之前由车辆摄像机拍摄到的图像数据来生成。在实施例中，处理器可以被配置为独立地更新混合摄像机视图200的这两个部分，以便实时视图202可以实时更新而补充视图208继续接收如本文所述的时间延迟内容。
在一些情况下，补充视图208可能不可用直到足够的图像数据已被存储在存储器中和/或车辆100开始移动。例如，当首次开启车辆和/或摄像机系统时，由于车辆摄像机还没有拍摄任何图像，所以可能没有图像数据存储在存储器中。另外，为了形成例如车辆100下方的路面的时间延迟视图的目的，车辆摄像机系统将不具有对应于该区域的图像数据，直到车辆100移动到新的位置。因此，当首次开启摄像机系统并且直到车辆100开始移动时，补充视图208可能不可用。在这样的情况下，混合摄像机视图200可以在为补充视图208保留的空间中简要地包括空白图像。一旦车辆100开始移动并且车辆摄像机开始拍摄图像，存储器就将开始接收当前拍摄到的图像进行存储。一旦将这些图像存储在存储器中，处理器就可以开始形成补充视图208。
在实施例中，补充视图208可以被配置为提供车辆100下方的路面的虚拟视图的“玻璃底(glass-bottom)”视图。例如，车辆100的至少部分透明图像210可以覆盖补充视图208中所示的图像数据，使得车辆100下方的路面以及位于其上的任何对象可以通过车辆图像210看到。在图2中，玻璃底补充视图208显示在车辆100的发动机罩区域下方的地面上的对象212(例如，充电线圈)，并且车辆100的前端已越过停车线214。在一些实施例中，混合摄像机视图200可以被车辆操作者使用以帮助将车辆100精确地定位在车辆100下方的无线车辆充电线圈或其他结构上方和/或在划定的停车位内对准车辆100。车辆图像210可以被预先选择为与车辆100相同或相似的品牌、型号和/或颜色。在一些情况下，车辆图像210可以由车辆100或类似车辆的一个或多个照片组成。
在实施例中，混合摄像机视图200可以通过将补充视图208整合到实时视图202中而生成。例如，实时视图202可以包括空白空间、灰色阴影区域或者表示在车辆摄像机系统的当前视野之外的不可识别的区域(例如，如图1B中所描绘的区域18所示)的其他标记。最初可以在车辆显示器201上显示空白空间，例如，当首次开启车辆显示器201并且在由车辆摄像机系统拍摄到的图像数据已被存储在存储器中之前。一旦存储器具有足够的存储的图像以形成区域18的表示，处理器就可以利用补充视图208来替换实时视图202的空白空间，从而形成混合摄像机视图200。
根据实施例，处理器可以被配置为使用图像配准和/或其他图像处理技术来将补充视图208的边缘与实时视图202的边缘对准，使得混合摄像机视图200提供车辆周围环境的视觉上紧密结合的图像，如图2所示。例如，为了形成混合摄像机视图200，处理器可以被配置为使用特征检测、匹配和对准技术来识别实时视图202的边缘；使用实时视图202中的当前拍摄到的图像作为参考，识别补充视图208中的先前拍摄到的图像中匹配出现在当前拍摄到的图像的边缘处的特征的某些特征；并且沿着这些匹配特征将先前拍摄到的图像与当前拍摄到的图像对准，以便将补充视图208整合到实时视图202的空白空间中。
在图2中，混合摄像机视图200示出了车辆100的俯视视角。图像处理技术可以被用于根据需要将补充视图208和实时视图202或其中包括的图像的原始视角转换成所示的俯视视图。在其他情况下，混合摄像机视图200可以从不同的视点来呈现，诸如，例如，鸟瞰视图、鸟瞰拍摄视图或在车辆上向下看或者从原始以其他方式改变的任何其他俯视图。在一个实施例中，混合摄像机视图200可以被配置为示出车辆100的三维视图，使得摄像机看起来位于车辆100上方(例如，10英尺高)，并且离开车辆100的一侧(例如，从后左或后右角)。在一些情况下，处理器还可以使用校正技术来使用于形成混合摄像机视图200的图像平坦化，以便实现所需的视角，诸如，例如，二维俯视图。
在图2中，补充视图208以虚线来描绘仅仅为了说明。也就是说，在所示的实施例中，混合摄像机视图200可以在补充视图208与实时视图202之间不包含分界，使得二者看起来形成一个紧密结合的图像。在其他实施例中，补充视图208可以被呈现有一个或多个区分特性，以在视觉上区分时间延迟的补充视图208与实时视图202。在一些情况下，区分特性可以是轻微的，例如轮廓，像图2中用于指示补充视图208的外边缘或边界的虚线。在其他情况下，对应于补充视图208的整个区域可以具有区分特性。
例如，包括在补充视图208中的记录的图像可以以黑白显示，而包括在实时视图202中的实时图像可以以彩色显示。作为另一个示例，补充视图208可以利用不同的图像处理技术(例如边缘检测)来显示以区分时间延迟区域与实时视图202。图3示出了通过利用与实时视图302相比颠倒的颜色(例如，深色变浅和浅色变深等)显示补充视图308来区分实时视图302和补充视图308的示例混合摄像机视图300。用于视觉上区分在同一混合摄像机视图200内的实时视图202和补充视图208的其他技术也是可预期的。
图4示出了根据实施例被配置为生成混合摄像机视图(例如混合摄像机视图200和/或300)的示例性车辆计算系统(VCS)400。VCS 400可以被包括在任何类型的车辆中，包括，例如，图2所示的车辆100。在实施例中，车辆计算系统400可以是车辆100的车辆电子系统或信息娱乐系统的一部分，例如由福特汽车公司(FORD MOTOR)制造的同步系统。VCS 400的其它实施例可以包括与下面所描述和图4所示的部件不同的、更少的或附加的部件。
如图所示，车辆计算系统400可以包含车辆摄像机系统402。车辆摄像机系统402包括多个摄像机，该多个摄像机包括前视摄像机404、后视摄像机406、左视摄像机408和右视摄像机410。多个摄像机可以分别位于例如车辆100的前侧、后侧、左侧和右侧处，以便拍摄图1A所示的视野。
如图所示，VCS 400还包括数据处理器412、数据存储设备414、车辆动态传感器416和车辆数据总线418。VCS 400可以进一步包括负责监测和控制车辆100的电气系统或子系统的各种电子控制单元(ECU)。每一个ECU可以包括例如用于收集、接收和/或传送数据的一个或多个输入和输出、用于存储数据的存储器、以及用于处理数据和/或基于此生成新信息的处理器。在所示的实施例中，VCS 400的ECU包括人机界面(HMI)402并且在某些情况下还包括车辆摄像机系统402。尽管未示出，但是VCS 400可以包括其它ECU，诸如，例如，用于控制和监测车辆100的约束系统的约束控制模块(RCM)、用于控制和监测车辆100的发动机和变速器系统的动力传动系统控制模块(PCM)、用于使车辆100能够连接到一个或多个无线网络的远程信息处理控制单元(TCU)、以及用于控制和监测车辆100的车身中的各种电子配件的车身控制模块(BCM)。
VCS 400的ECU可以通过车辆数据总线418(例如，控制器局域网(CAN)总线)互连，车辆数据总线418将数据传递到各种ECU和VCS 400的其他部件(例如，车辆动态传感器416)以及与VCS 400通信的其他车辆和/或辅助部件并且传递来自它们的数据。此外，数据处理器412可以经由数据总线418与ECU、传感器416和数据存储设备414中的任何一个通信，以便执行一个或多个功能，包括与混合视图模块422相关的功能。
在一些情况下，车辆摄像机系统402可以被实施为包含单独的存储器和单独的处理器的电子控制单元(ECU)，该单独的存储器用于存储混合视图模块422和/或用于执行本文所描述的图像处理技术的其他程序模块或软件指令，该单独的处理器用于执行存储在ECU存储器中的指令。在其他情况下，车辆摄像机系统402将由摄像机404-410拍摄到的图像424提供至数据处理器412，以根据存储在数据存储设备414中的指令进行处理，如图4所示。在这种情况下，混合视图模块422和由摄像机404-410拍摄到的图像424可以被存储在数据存储设备414中，如图4所示。在实施例中，数据处理器412可以从数据存储设备414中检索存储的图像424中的一个或多个，以便生成图2所示的补充视图208或以其他方式执行包括在混合视图模块422中的指令。另外，数据存储设备414还可以存储可以被用于生成混合摄像机视图200的储备图像426(诸如，例如，图2所示的车辆图像210)和/或其他预先配置的图像。
人机界面(HMI)420(也被称为“用户界面”)可以是用于允许用户与车辆100交互、用于向车辆操作者呈现车辆信息并且用于向车辆操作者显示混合摄像机视图的ECU。HMI420可以包含仪表板(IP)428、媒体显示屏430(例如，图2所示的车辆显示器201)、以及用于输入、键入、接收、捕获、显示或输出与车辆计算系统400、车辆摄像机系统402和/或本文所公开的技术相关联的数据的一个或多个输入设备(未示出)和/或输出设备(未示出)。HMI420可以被配置为经由数据总线418来与VCS 400的其他ECU和/或数据处理器412交互，以便将经由HMI 420接收到的信息或输入提供至VCS 400的适当部件并且向车辆操作者呈现从VCS 400的各种部件接收到的信息或输出，包括用于在媒体显示屏430和/或IP 428上显示的混合摄像机视图。
在实施例中，仪表板428(也被称为“仪表盘”或“组合仪表”)包括位于驾驶员座椅前方的控制面板，用于容纳仪表和用于车辆100的操作的控制器，包括，例如，方向盘、各种仪表(例如，速度计、里程表、燃料计等)和各种车辆指示器，诸如，例如，挡位选择器的选择的位置、座椅安全带警告、低燃料、低轮胎压力等。在一些情况下，仪表板428包括用于电子地或数字地显示各种仪表或与其相关的值以及各种车辆指示器的显示屏。在这种情况下，混合摄像机视图可以被显示在IP 428的显示屏上。
媒体显示屏430可以与仪表板428分开，用于显示其他车辆信息，诸如，例如，导航系统信息、音频系统信息、由外部车辆摄像机404-410当前拍摄到的视频和/或图像、由车载摄像机(未示出)拍摄到的图像、加热和空调信息等。在实施例中，VCS 400可以将混合摄像机视图提供至媒体显示屏430以在其上显示。
车辆动态传感器416可以包括用于检测、监测和/或测量车辆100的当前运动的任何类型的传感器。例如，在一些实施例中，车辆动态传感器416可以包括轮速传感器、横向加速度传感器、纵向加速度传感器、方向盘传感器、转向角传感器和横摆率传感器。这些传感器416的输出可以经由车辆数据总线418被提供至处理器412。基于接收到的输出，处理器412可以确定车辆的当前运动状态，包括，例如，横摆率、纵向和横向加速度、俯仰和侧倾速率等。车辆的运动状态可以被混合视图模块422使用以将混合摄像机视图校准到车辆的当前位置。
混合视图模块422可以包含用于以下操作的软件指令：使用对应于当前围绕车辆的区域并且在摄像机404-410的当前视野之内的实况图像数据来生成实时视图；使用对应于车辆100下方和/或紧密围绕车辆100并且在当前视野之外(例如，图1A所示的区域18)的区域(例如，路面)的存储的先前拍摄到的图像数据来生成补充或时间延迟视图；并且通过组合补充视图与实时视图来生成混合摄像机视图。另外，混合视图模块422可以包含用于下列操作的软件指令：将时间延迟视图更新为存储在存储器中的新拍摄到的图像数据；将混合摄像机视图提供至HMI 420以便显示给车辆操作者，以及执行与混合摄像机视图相关联的其它功能。在一些情况下，混合视图模块422是独立的模块，其可以被添加到现有的车辆摄像机系统中以使得现有系统能够生成混合摄像机视图。在其他情况下，混合视图模块422可以被配置为用于替换用于处理和显示拍摄到的图像数据的现有软件的新单元。
数据处理器412可以包含下列中的一个或多个：微处理器、微控制器、可编程逻辑阵列、专用集成电路、逻辑设备或用于处理、输入、输出、操纵、存储、或检索数据的其他电子设备。在实施例中，数据处理器412可以包括中央处理单元(CPU)和/或图形处理单元(GPU)。在一些实施例中，VCS 400可以包含通用计算机，该通用计算机编程有存储在数据存储设备414(例如，电子存储器)或其他地方中的各种编程指令或模块。
数据存储设备414可以包含下列中的一个或多个：电子存储器、非易失性随机存取存储器(例如RAM)、触发器(flip-flop)、计算机可写或计算机可读存储介质、磁性或光学数据存储设备、磁盘或光盘驱动器、硬盘驱动器、或用于存储、检索、读取或写入数据的其它电子设备。数据存储设备414存储一个或多个由数据处理器412执行的软件程序模块或软件指令，包括混合视图模块422。
图5示出了根据实施例用于生成车辆及其周围环境的混合摄像机视图的示例方法500。方法500可以由包括在例如连接到车辆(例如，图2所示的车辆100)的车辆计算系统(例如，图4所示的车辆计算系统400)和/或车辆摄像机系统(例如，图4所示的车辆摄像机系统402)中的一个或多个处理器(或控制器)执行。在一个实施例中，方法500至少部分由VCS400的数据处理器412执行，该数据处理器412执行存储在数据存储设备414中的软件，例如，混合视图模块422，并且与VCS 400和/或耦合到其的车辆摄像机系统402的一个或多个部件交互。
在一些实施例中，方法500可以开始于步骤502，在步骤502，处理器和/或车辆摄像机系统接收由定位在车辆周围的摄像机(例如，图4所示的车辆摄像机404-410)当前拍摄到的实时或实况图像并且将其存储在存储器中。在其他实施例中，方法500可以开始于步骤504。在步骤504，处理器和/或车辆摄像机系统从存储器中检索示出车辆周围的区域(包括车辆下方的区域或路面)的存储的图像。存储的图像可以是先前拍摄到的图像或者是由摄像机在拍摄在步骤502接收的实时图像之前的时间点拍摄到的图像。
在步骤506，处理器和/或车辆摄像机系统基于检索到的图像来生成车辆下方的表面(例如，图1B中所示的区域18)的时间延迟视图(例如，图2所示的补充视图208)。例如，车辆下方的表面可以在车辆摄像机的当前视野之外，如图1A所示。因此，在步骤502中接收和存储的实时图像可以不包括表示车辆下方的区域的图像数据。
在一些实施例中，方法500进一步包括步骤508，在步骤508，处理器和/或车辆摄像机系统使用在步骤502接收和存储的实时图像来生成车辆周围的区域的实时视图(例如，图2所示的实时视图202)。例如，实时视图可以通过对准和组合实时图像的相应方面而生成。在步骤510，处理器和/或车辆摄像机系统将时间延迟视图与实时视图或其中包括的实时图像组合，以形成车辆的混合视图。例如，实时视图可以包括对应于车辆下方的表面的位置的空白空间，并且时间延迟视图可以被整合到该空白空间中以形成混合视图。
在一些实施例中，方法500还包括步骤512，在步骤512，处理器和/或车辆摄像机系统格式化混合视图以包括时间延迟视图的第一特性和实时视图的第二不同的特性。例如，实时视图可以以彩色显示，并且时间延迟视图可以以黑白显示。方法500进一步包括步骤514，在步骤514，处理器和/或车辆摄像机系统将混合视图提供至车辆显示器(例如，图4所示的显示器430)以在其上显示。
在一些实施例中，方法500进一步包括步骤516，在步骤516，处理器和/或车辆摄像机系统基于从存储器中检索到的一组新的存储的图像(例如，新拍摄到的图像数据)来更新时间延迟视图。同样在一些实施例中，方法500进一步包括步骤516，在步骤516，处理器和/或车辆摄像机系统将更新后的时间延迟视图提供至车辆显示器，以替换当前正在显示的时间延迟视图。一旦车辆和/或车辆摄像机系统关闭，方法500就可以结束。
在某些实施例中，附图——例如，图5——中的过程描述或框可以表示代码的模块、段、或部分，代码包括用于执行过程中的特定逻辑功能或步骤的一个或多个可执行指令。任何替代实施方式被包括在本文所描述的实施例的范围之内，其中功能可以根据涉及的功能按与所示或所讨论的顺序之外的顺序执行，包括大体上同时或以相反的顺序，如本领域普通技术人员所理解的那样。
应当强调的是，上述实施例，特别是，任何“优选”实施例，是实施方式的可能示例，仅仅阐述用于清楚地理解本发明的原理。在大体上不脱离本文所描述的技术的精神和原理的前提下，可以对上述实施例作出许多变化和修改。所有这样的修改在此旨在被包括在本公开的范围之内，并且受以下权利要求保护。

Claims (20)

1.一种车辆，所述车辆包含：
多个摄像机，所述多个摄像机用于拍摄所述车辆周围的视野之内的图像；
处理器，所述处理器用于使用当前拍摄到的图像来生成所述视野之内的区域的实时视图并且使用存储在存储器中的先前拍摄到的图像来生成所述视野之外的区域的时间延迟视图；以及
显示器，所述显示器用于显示包含所述实时视图和所述时间延迟视图的混合视图。
2.根据权利要求1所述的车辆，进一步包含所述存储器，其中所述存储器将所述当前拍摄到的图像存储为新的先前拍摄到的图像，并且一旦所述新图像被存储在所述存储器中，所述处理器就更新所述时间延迟视图。
3.根据权利要求1所述的车辆，其中所述视野之外的所述区域包括所述车辆下方的路面，并且所述处理器通过组合示出所述车辆下方的所述路面的所述先前拍摄到的图像来生成所述时间延迟视图。
4.根据权利要求1所述的车辆，其中所述处理器通过组合来自每一个所述摄像机的所述当前拍摄到的图像来生成所述实时视图，所述实时视图包括对应于所述视野之外的所述区域的空白空间。
5.根据权利要求4所述的车辆，其中所述处理器通过将所述时间延迟视图整合到所述实时视图的所述空白空间中来生成所述混合视图。
6.根据权利要求1所述的车辆，进一步包含格式化所述混合视图以包括所述时间延迟视图的第一特性和所述实时视图的第二不同的特性。
7.根据权利要求1所述的车辆，其中所述先前拍摄到的图像是由所述多个摄像机在拍摄所述当前拍摄到的图像之前的时间点拍摄到的图像。
8.一种方法，所述方法包含：
从存储器中检索示出车辆周围的区域的存储的图像；
基于所述检索到的图像由处理器来生成所述车辆下方的表面的时间延迟视图；
由所述处理器组合所述时间延迟视图与由位于所述车辆周围的摄像机拍摄到的实时图像以形成所述车辆的混合视图；以及
将所述混合视图提供至车辆显示器以在其上显示。
9.根据权利要求8所述的方法，其中所述实时图像被组合以形成所述车辆周围的所述区域的实时视图，所述实时视图包括对应于所述车辆下方的所述表面的位置的空白空间。
10.根据权利要求9所述的方法，其中组合所述时间延迟视图与所述实时图像包括将所述时间延迟视图整合到所述实时视图的所述空白空间中以形成所述混合视图。
11.根据权利要求9所述的方法，进一步包含格式化所述混合视图以包括所述时间延迟视图的第一特性和所述实时视图的第二不同的特性。
12.根据权利要求11所述的方法，其中所述实时视图以彩色显示并且所述时间延迟视图以黑白显示。
13.根据权利要求8所述的方法，进一步包含：
基于从所述存储器中检索到的一组新的存储的图像由所述处理器来更新所述时间延迟视图；以及
将所述更新后的时间延迟视图提供至所述车辆显示器以替换当前正在显示的所述时间延迟视图。
14.根据权利要求8所述的方法，其中所述存储的图像是由所述摄像机在拍摄所述实时图像之前的时间点拍摄到的图像。
15.一种车辆摄像机系统，所述车辆摄像机系统包含：
多个摄像机，所述多个摄像机被配置为拍摄所述车辆周围的视野之内的图像；
处理器，所述处理器被配置为：
使用当前拍摄到的图像来生成所述视野之内的区域的实时视图，
使用存储在存储器中的先前拍摄到的图像来生成所述视野之外的区域的时间延迟视图，以及
通过将所述时间延迟视图整合到所述实时视图中来生成所述车辆的混合视图。
16.根据权利要求15所述的车辆摄像机系统，其中所述处理器通过组合来自每一个所述摄像机的所述当前拍摄到的图像来生成所述实时视图，所述实时视图包括对应于所述视野之外的所述区域的空白空间。
17.根据权利要求16所述的车辆摄像机系统，其中所述处理器将所述时间延迟视图整合到所述实时视图的所述空白空间中。
18.根据权利要求15所述的车辆摄像机系统，其中所述处理器被进一步配置为格式化所述混合视图以包括所述时间延迟视图的第一特性和所述实时视图的第二不同的特性。
19.根据权利要求15所述的车辆摄像机系统，所述处理器被进一步配置为一旦新图像被存储在所述存储器中就更新所述时间延迟视图。
20.根据权利要求15所述的车辆摄像机系统，其中所述视野之外的所述区域包括所述车辆下方的路面，并且所述处理器通过组合示出所述车辆下方的所述路面的所述先前拍摄到的图像来生成所述时间延迟视图。
CN201710161797.7A 2016-03-24 2017-03-17 用于生成车辆的混合摄像机视图的系统和方法 Pending CN107231544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/080,148 US10576892B2 (en) 2016-03-24 2016-03-24 System and method for generating a hybrid camera view in a vehicle
US15/080,148 2016-03-24

Publications (1)

Publication Number Publication Date
CN107231544A true CN107231544A (zh) 2017-10-03

Family

ID=58688224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710161797.7A Pending CN107231544A (zh) 2016-03-24 2017-03-17 用于生成车辆的混合摄像机视图的系统和方法

Country Status (6)

Country Link
US (1) US10576892B2 (zh)
CN (1) CN107231544A (zh)
DE (1) DE102017105635A1 (zh)
GB (1) GB2550265A (zh)
MX (1) MX2017003802A (zh)
RU (1) RU2017109670A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965246A (zh) * 2018-05-31 2018-12-07 北京车和家信息技术有限公司 车联网数据的处理方法、装置及系统
CN114401864A (zh) * 2019-09-20 2022-04-26 大陆汽车有限责任公司 充电支持情况下在本车内显示本车周围环境的方法和装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US20180152628A1 (en) * 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
GB2559758B (en) * 2017-02-16 2021-10-27 Jaguar Land Rover Ltd Apparatus and method for displaying information
GB2559759B (en) * 2017-02-16 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for displaying information
US11074463B2 (en) * 2017-05-02 2021-07-27 Qualcomm Incorporated Dynamic sensor operation and data processing based on motion information
US20190100106A1 (en) * 2017-10-02 2019-04-04 Hua-Chuang Automobile Information Technical Center Co., Ltd. Driving around-view auxiliary device
JP7052652B2 (ja) * 2018-09-06 2022-04-12 トヨタ自動車株式会社 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム
WO2020202870A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 電子機器および撮像システム
US11320281B2 (en) * 2020-03-04 2022-05-03 Ford Global Technologies, Llc On-demand vehicle imaging systems and methods
KR102366944B1 (ko) 2020-06-17 2022-02-28 (주)베이다스 조감 시점 영상을 생성하는 방법 및 장치
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer
DE102022123561A1 (de) 2022-09-15 2024-03-21 Valeo Schalter Und Sensoren Gmbh Frontkamerasystem für ein Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050174429A1 (en) * 2004-02-04 2005-08-11 Nissan Motor Co., Ltd. System for monitoring vehicle surroundings
JP3778849B2 (ja) * 2001-12-18 2006-05-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
CN101102482A (zh) * 2006-07-06 2008-01-09 日产自动车株式会社 车辆图像显示系统以及图像显示方法
CN101808236A (zh) * 2009-02-12 2010-08-18 株式会社电装 车辆周边显示设备
CN105073496A (zh) * 2013-01-14 2015-11-18 罗伯特·博世有限公司 用于产生车辆的车辆周围环境的全方位视野图像的方法和设备、用于提供至少一个用于车辆的驾驶员辅助功能的方法、用于车辆的全方位视野系统
CN107021015A (zh) * 2015-11-08 2017-08-08 欧特明电子股份有限公司 用于图像处理的系统及方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2365843Y (zh) 1998-05-10 2000-02-23 江明山 机动车全天候全方位的电子观察器
JP4593070B2 (ja) 2001-12-12 2010-12-08 株式会社エクォス・リサーチ 車両の画像処理装置
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
US20070150138A1 (en) * 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
JP4321543B2 (ja) 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP2008114691A (ja) 2006-11-02 2008-05-22 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視映像表示方法
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
CN102027744A (zh) * 2008-05-19 2011-04-20 松下电器产业株式会社 车辆周围监视装置和车辆周围监视方法
WO2010128640A1 (ja) * 2009-05-07 2010-11-11 コニカミノルタホールディングス株式会社 ステレオ画像取得装置
CN102906593B (zh) 2010-05-19 2015-06-17 三菱电机株式会社 车辆后方监视装置
US10090885B2 (en) 2011-04-13 2018-10-02 Qualcomm Incorporated Antenna alignment and vehicle guidance for wireless charging of electric vehicles
WO2013003527A1 (en) 2011-06-28 2013-01-03 Wireless Ev Charge, Llc Alignment, verification, and optimization of high power wireless charging systems
US9260026B2 (en) 2011-07-21 2016-02-16 Ut-Battelle, Llc Vehicle to wireless power transfer coupling coil alignment sensor
US8816637B2 (en) 2011-10-06 2014-08-26 Ford Global Technologies, Llc Vehicle guidance system with interface
US8483899B2 (en) 2011-10-06 2013-07-09 Ford Global Technologies, Llc Vehicle guidance system
JP6014664B2 (ja) 2012-06-08 2016-10-25 日立建機株式会社 自走式産業機械の表示装置
DE102012215376A1 (de) 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Fremdkörpererkennung bei induktivem Laden
US9236758B2 (en) 2012-11-15 2016-01-12 Delphi Technologies, Inc. System and method to align a source resonator and a capture resonator for wireless electrical power transfer
CN202923500U (zh) 2012-11-27 2013-05-08 德尔福电子(苏州)有限公司 电动车辆无线充电引导系统
US20140232331A1 (en) 2013-02-15 2014-08-21 Qualcomm Incorporated Vehicle wireless charging pad mounting systems
US8823551B1 (en) 2013-03-07 2014-09-02 Delphi Technologies, Inc. System to align a vehicle within a parking location using thermal targets
US9975488B2 (en) 2014-01-30 2018-05-22 Nissan Motor Co., Ltd. Parking assistance device and parking assistance method
WO2015134840A2 (en) 2014-03-06 2015-09-11 Sensedriver Technologies, Llc Vehicular visual information system and method
KR101611194B1 (ko) 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR101670847B1 (ko) 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3778849B2 (ja) * 2001-12-18 2006-05-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
US20050174429A1 (en) * 2004-02-04 2005-08-11 Nissan Motor Co., Ltd. System for monitoring vehicle surroundings
CN101102482A (zh) * 2006-07-06 2008-01-09 日产自动车株式会社 车辆图像显示系统以及图像显示方法
CN101808236A (zh) * 2009-02-12 2010-08-18 株式会社电装 车辆周边显示设备
CN105073496A (zh) * 2013-01-14 2015-11-18 罗伯特·博世有限公司 用于产生车辆的车辆周围环境的全方位视野图像的方法和设备、用于提供至少一个用于车辆的驾驶员辅助功能的方法、用于车辆的全方位视野系统
CN107021015A (zh) * 2015-11-08 2017-08-08 欧特明电子股份有限公司 用于图像处理的系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965246A (zh) * 2018-05-31 2018-12-07 北京车和家信息技术有限公司 车联网数据的处理方法、装置及系统
CN114401864A (zh) * 2019-09-20 2022-04-26 大陆汽车有限责任公司 充电支持情况下在本车内显示本车周围环境的方法和装置

Also Published As

Publication number Publication date
MX2017003802A (es) 2018-08-16
DE102017105635A1 (de) 2017-09-28
US20170274822A1 (en) 2017-09-28
GB201704326D0 (en) 2017-05-03
US10576892B2 (en) 2020-03-03
RU2017109670A3 (zh) 2020-06-01
RU2017109670A (ru) 2018-09-24
GB2550265A (en) 2017-11-15

Similar Documents

Publication Publication Date Title
CN107231544A (zh) 用于生成车辆的混合摄像机视图的系统和方法
US11220216B2 (en) Vehicle-trailer rearview vision system and method
CN110758243B (zh) 一种车辆行驶过程中的周围环境显示方法和系统
CN104969286B (zh) 显示控制系统
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
CN104321224B (zh) 具有摄像机监控系统的机动车
KR20080002753A (ko) 운송 수단 내에서 정보의 표시 방법 및 자동차용 조합식기기
CN106564432A (zh) 车辆用视角控制装置和方法以及包括该装置的车辆
CN105075247A (zh) 车辆的控制装置及程序
CN107499307A (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
JP2018531530A5 (zh)
CN103810686A (zh) 无缝拼接全景辅助驾驶系统及方法
CN109643439A (zh) 周边监视装置
JP6429892B2 (ja) 車載表示手段上にオブジェクトを表示するための方法、並びに、装置
CN107176101A (zh) 同步显示方法
CN107027329A (zh) 将行进工具的周围环境的局部图像拼接成一个图像
JP5548069B2 (ja) 画像処理装置、及び、画像処理方法
US20220092291A1 (en) Methods and systems for labeling lidar point cloud data
EP3497616B1 (en) Method for assisting a driver of a motor vehicle in driving the motor vehicle, driver assistance system as well as motor vehicle
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
JP2013100057A (ja) 運転支援装置
CN111669543A (zh) 用于停车解决方案的车辆成像系统和方法
CN114503044A (zh) 用于在3d点云中自动标记对象的系统和方法
KR102628276B1 (ko) 차량 및 차량의 클러스터 제어방법
US20240087215A1 (en) Method for generating an advanced surround view and advanced surround view monitoring system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171003

RJ01 Rejection of invention patent application after publication