CN113808013A - 生成鸟瞰视点图像的方法及装置 - Google Patents

生成鸟瞰视点图像的方法及装置 Download PDF

Info

Publication number
CN113808013A
CN113808013A CN202110514457.4A CN202110514457A CN113808013A CN 113808013 A CN113808013 A CN 113808013A CN 202110514457 A CN202110514457 A CN 202110514457A CN 113808013 A CN113808013 A CN 113808013A
Authority
CN
China
Prior art keywords
vehicle
bird
eye view
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110514457.4A
Other languages
English (en)
Inventor
李俊锡
全丙澯
李智惠
河政穆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nc&co Ltd
Original Assignee
Vadas Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vadas Co ltd filed Critical Vadas Co ltd
Publication of CN113808013A publication Critical patent/CN113808013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

根据本发明，为了生成鸟瞰视点图像，使用安装在车辆上的多个摄像机来生成当前时刻的多个图像，并基于多个图像来生成当前时刻的初始鸟瞰视点图像，其中，所述初始鸟瞰视点图像具有孔区域，并基于从前一时刻到当前时刻车辆移动的移动信息，在前一时刻的前一鸟瞰视点图像上确定当前时刻车辆所在的目标区域，并通过基于目标区域填充初始鸟瞰视点图像的孔区域的至少一部分，生成当前时刻的鸟瞰视点图像。

Description

生成鸟瞰视点图像的方法及装置
技术领域
以下实施例涉及一种用于在车辆运行时生成鸟瞰视点图像的技术。
背景技术
随着图像捕获和处理技术的发展，最近生产的车辆已配备由摄像机，并且向用户或车辆提供用于辅助车辆驾驶的鸟瞰视点系统。鸟瞰视点系统可以通过使用由多个摄像机捕获的图像来生成鸟瞰视点图像或俯视图。鸟瞰视点图像可以为驾驶员提供从空中俯视车辆等屏幕，从而完全消除车辆前方、后方、左侧及右侧的盲点。
发明内容
要解决的技术问题
根据一实施例，可以提供一种用于生成鸟瞰视点图像的方法及装置。
根据另一实施例，可以提供一种用于生成鸟瞰视点图像的方法及装置，其显示车辆所在区域的地板。
解决问题的技术方法
根据一实施例的由电子装置执行的鸟瞰视点图像生成方法，包括以下步骤：使用安装在车辆上的多个摄像机来生成当前时刻的多个图像；基于所述多个图像来生成所述当前时刻的初始鸟瞰视点图像，其中，所述初始鸟瞰视点图像具有孔区域；生成从前一时刻到所述当前时刻所述车辆移动的移动信息；基于所述移动信息，在所述前一时刻的前一鸟瞰视点图像上确定所述当前时刻所述车辆所在的目标区域；以及通过基于所述目标区域填充所述初始鸟瞰视点图像的所述孔区域的至少一部分，生成所述当前时刻的鸟瞰视点图像。
所述初始鸟瞰视点图像的所述孔区域可以包括所述当前时刻所述车辆所在的区域。
所述初始鸟瞰视点图像的所述孔区域可以对应于所述多个摄像机的视角(viewing angle)之外的区域。
生成所述移动信息的步骤，可以包括以下步骤：接收所述车辆的方向盘的转向角及所述车辆的速度；基于所述转向角及所述速度来计算所述车辆的目标轮的旋转角度及所述目标轮的实际移动距离；以及通过将所述实际移动距离转换为鸟瞰视点的图像平面的比例来计算目标移动距离，其中，所述移动信息可以包括所述旋转角度及所述目标移动距离。
基于所述移动信息来确定所述目标区域的步骤，可以包括以下步骤：基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度；以及基于计算出的所述车辆沿所述水平方向移动的距离、沿所述垂直方向移动的距离以及围绕所述中心点旋转的角度，将在所述前一鸟瞰视点图像上所述当前时刻所述车辆所在的区域确定为所述目标区域。
基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的步骤，可以包括以下步骤：通过Ackerman-Jantoud型，基于所述移动信息来计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度。
基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的步骤，可以包括以下步骤：基于所述车辆的目标轮的旋转角度来计算预设的虚拟的中心轮的旋转角度；基于所述车辆的轨道(track)长度、所述车辆的轴距(wheelbase)长度及所述中心轮的所述旋转角度来确定所述中心点；基于所述目标轮的实际移动距离来计算所述中心轮的实际移动距离；以及基于所述中心点及所述中心轮的实际移动距离来计算所述车辆在所述鸟瞰视点图像平面上沿所述水平方向移动的距离、沿所述垂直方向移动的距离以及围绕所述中心点旋转的角度。
通过基于所述目标区域填充所述初始鸟瞰视点图像的所述孔区域的至少一部分，生成所述当前时刻的鸟瞰视点图像的步骤，可以包括以下步骤：在车辆区域图像上累积部分目标区域，其中，所述部分目标区域通过从所述目标区域中排除所述前一鸟瞰视点图像中所述车辆在所述前一时刻所处的区域而获得；在所述车辆区域图像中，将所述当前时刻所述车辆所在的区域确定为复制区域；以及通过将所述复制区域复制到所述初始鸟瞰视点图像的所述孔区域的至少一部分来生成所述鸟瞰视点图像。
在车辆区域图像上累积部分目标区域，其中，所述部分目标区域通过从所述目标区域中排除所述前一鸟瞰视点图像中所述车辆在所述前一时刻所处的区域而获得的步骤，可以包括以下步骤：计算从基准时间到所述前一时间的所述车辆的累积旋转角；通过从所述目标区域中排除所述前一鸟瞰视点图像中所述车辆在所述前一时刻所处的区域来生成部分目标区域；旋转所述部分目标区域以对应于所述累积旋转角度；以及在所述车辆区域图像上累积所述旋转的部分目标区域。
所述电子装置可以被安装在自动驾驶车辆或支持先进驾驶辅助系统(ADAS，Advanced Driver Assistance Systems)的车辆。
根据另一侧面的生成鸟瞰视点图像的电子装置，包括：处理器，其执行用于生成鸟瞰视点图像的程序；以及存储器，其存储所述程序，其中，所述程序被配置成执行以下步骤：使用安装在车辆上的多个摄像机来生成当前时刻的多个图像；基于所述多个图像来生成所述当前时刻的初始鸟瞰视点图像，其中，所述初始鸟瞰视点图像具有孔区域；生成从前一时刻到所述当前时刻所述车辆移动的移动信息；基于所述移动信息，在所述前一时刻的前一鸟瞰视点图像上确定所述当前时刻所述车辆所在的目标区域；以及通过基于所述目标区域填充所述初始鸟瞰视点图像的所述孔区域的至少一部分，生成所述当前时刻的鸟瞰视点图像。
所述电子装置还可以包括用于生成所述多个图像的多个摄像机。
生成所述移动信息的步骤，可以包括以下步骤：接收所述车辆的方向盘的转向角及所述车辆的速度；基于所述转向角及所述速度来计算所述车辆的目标轮的旋转角度及所述目标轮的实际移动距离；以及通过将所述实际移动距离转换为鸟瞰视点的图像平面的比例来计算目标移动距离，其中，所述移动信息可以包括所述旋转角度及所述目标移动距离。
基于所述移动信息来确定所述目标区域的步骤，可以包括以下步骤：基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度；以及基于计算出的所述车辆沿所述水平方向移动的距离、沿所述垂直方向移动的距离以及围绕所述中心点旋转的角度，将在所述前一鸟瞰视点图像上所述当前时刻所述车辆所在的区域确定为所述目标区域。
基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的步骤，可以包括以下步骤：基于所述车辆的目标轮的旋转角度来计算预设的虚拟的中心轮的旋转角度；基于所述车辆的轨道(track)长度、所述车辆的轴距(wheelbase)长度及所述中心轮的所述旋转角度来确定所述中心点；基于所述目标轮的实际移动距离来计算所述中心轮的实际移动距离；以及基于所述中心点及所述中心轮的实际移动距离来计算所述车辆在所述鸟瞰视点图像平面上沿所述水平方向移动的距离、沿所述垂直方向移动的距离以及围绕所述中心点旋转的角度。
所述电子装置可以被安装在自动驾驶车辆或支持先进驾驶辅助系统(ADAS，Advanced Driver Assistance Systems)的车辆。
发明效果
可以提供一种用于生成鸟瞰视点图像的方法及装置。
可以提供一种用于生成鸟瞰视点图像的方法及装置，其显示车辆所在区域的地板。
附图说明
图1为显示根据一示例的对于运行车辆的鸟瞰视点的图像的附图。
图2为显示根据一示例的包括孔区域的初始鸟瞰视点图像的附图。
图3为显示根据一实施例的电子装置的结构图。
图4为显示根据一示例的生成鸟瞰视点图像的方法的流程图。
图5为显示根据一示例的对于前一时刻的初始前一鸟瞰视点图像及对于当前时刻的初始鸟瞰视点图像的附图。
图6为显示根据一示例的生成从前一时刻到当前时刻车辆移动的移动信息的方法的流程图。
图7为显示根据一示例的在前一鸟瞰视点图像上被确定的当前时刻车辆所在的目标区域的附图。
图8为显示根据一示例的基于移动信息在前一鸟瞰视点图像上确定当前时刻车辆所在的目标区域的方法的流程图。
图9为显示根据一示例的基于移动信息计算车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的方法的流程图。
图10为显示根据一示例的基于移动信息确定中心点的方法的附图。
图11为显示根据一示例的使用虚拟的中心轮来计算车辆相对于中心点旋转的角度的方法的附图。
图12为显示根据一示例的基于车辆相对于中心点旋转的角度计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离的方法的附图。
图13为显示根据一示例的通过基于目标区域填充初始鸟瞰视点图像的孔区域的至少一部分来生成当前时刻的鸟瞰视点图像的方法的流程图。
图14为显示根据一示例的在车辆区域图像上累积部分目标区域的方法的流程图，其中，所述部分目标区域通过从目标区域中排除前一鸟瞰视点图像中车辆在前一时刻所处的区域而获得。
图15为显示根据一示例的旋转部分目标区域以对应于累积旋转角度的方法的附图。
图16为显示根据一示例将旋转的部分目标区域移动到车辆区域图像的中心的方法的附图。
图17为显示根据一示例的基于在车辆区域图像上确定的复制区域来生成当前时刻的鸟瞰视点图像的方法的附图。
图18为显示根据一示例的车辆区域图像的附图。
图19为显示根据一示例的在车辆区域图像上确定的复制区域及使用复制区域来生成的鸟瞰视点图像的附图。
主要组件符号说明
300：电子装置
310：通信部
320：处理器
330：存储器
340：摄像机
具体实施方式
以下，将参照附图对实施例进行详细说明。然而，能够对实施例进行多种变更，本发明的权利范围并非受到实施例的限制或限定。对于实施例的全部应变、等同物或替代物均包括在权利范围内。
实施例中使用的术语仅用于说明特定实施例，并非用于限定实施例。在内容中没有特别说明的情况下，单数表达包括复数含义。在本说明书中，“包括”或者“具有”等术语用于表达存在说明书中所记载的特征、数字、步骤、操作、构成要素、配件或其组合，并不排除还具有一个或以上的其他特征、数字、步骤、操作、构成要素、配件或其组合，或者附加功能。
在没有其他定义的情况下，包括技术或者科学术语在内的在此使用的全部术语，都具有本领域普通技术人员所理解的通常的含义。通常使用的与词典定义相同的术语，应理解为与相关技术的通常的内容相一致的含义，在本申请中没有明确言及的情况下，不能过度理想化或解释为形式上的含义。
并且，在参照附图进行说明的过程中，与附图标记无关，相同的构成要素赋予相同的附图标记，并省略对此的重复的说明。在说明实施例的过程中，当判断对于相关公知技术的具体说明会不必要地混淆实施例时，省略对其详细说明。
此外，在对实施例的组件的描述中，可以使用第一、第二、A、B、(a)、(B)等术语。这些术语仅用于区分其构成元素和另一构成元素，该元素的性质、序列或顺序不受这些术语的限制。当一构成元素被描述为“连接”、“结合”或“接触”到另一构成元素时，应理解为其构成元素可以直接连接或附加到另一构成元素，也可以理解为另一构成元素“连接”、“结合”或“接触”到各构成元素之间。
对于包括在某一实施例的构成要素和具有公共功能的元素，可以在另一实施例中使用相同的名称来描述。除非另外提及，关于某一实施例的描述可以适用于其他实施例，在重复的范围内，将省略其详细描述。
图1示出了根据一示例的对于运行车辆的鸟瞰视点的图像；图2示出了根据一示例的包括孔区域的初始鸟瞰视点图像。
如果可以从鸟瞰的角度观察行驶车辆110，则可以获得关于车辆110的周围情况的大量信息。例如，可以获得位于车辆110周围的车辆之间的位置关系、车辆速度及障碍物等作为信息。
为了从鸟瞰视角观察车辆110，生成图像的摄像机应位于车辆110的上方，但是该方法在现实中难以使用。因此，可以考虑以下方法：通过使用安装在车辆110中的摄像机拍摄车辆的侧面，将捕获的图像转换为鸟瞰图并合成转换为鸟瞰图的图像来生成车辆110的鸟瞰视点图像。向车辆110的用户提供多个图像或鸟瞰视点图像的系统可以是全景监视(AVM，Around View Monitoring)系统。
然而，如下面图2所示，基于从车辆110的侧面拍摄的图像生成的初始鸟瞰视点图像200，对于摄像机的视角(viewing angle)之外的区域的车辆110的区域，显示孔区域210。孔区域210是图像的对应像素中不存在关于像素值的信息的区域。
孔区域210在鸟瞰视点图像中发生的非自然断开使得用户感觉到与实际驾驶环境的距离感。根据一侧面，作为填充孔区域210的方法，可以考虑在前一鸟瞰视点图像上确定与孔区域210对应的区域，并基于所确定的区域填充孔区域210的方法。填充孔区域210的方法可以基于透明车辆底盘(TVC，Transparent Vehicle Chassis)技术。在TVC技术中，当使用前一时刻的图像重建孔区域210时，可以消除这种断开感。
此外，当应用TVC技术生成鸟瞰视点图像时，图像中会出现车辆所覆盖道路的地面。用户还可以通过鸟瞰视点图像掌握限速、儿童保护区显示等路面显示信息。尤其，由于当用户停车时可以实时地抓住整个停车线，因此可以进行停车。具体地，由于用户能够掌握车辆的地板表面，因此可以准确掌握停车位中的信息(例如，停车线、停车标志等)。
下面将参考图3至图19详细描述通过填充初始鸟瞰视点图像的孔区域来生成鸟瞰视点图像的方法。
图3为显示根据一实施例的电子装置的结构图。
根据一侧面，电子装置300包括通信部310、处理器320、存储器330及摄像机340。电子装置300可以被包括在车辆内。例如，电子装置300可以是电子控制单元(ECU，electroniccontrol unit)等装置。又例如，电子装置300可以是连接到ECU的独立装置。
通信部310连接到处理器320、存储器330及摄像机340以发送和接收数据。通信部310可以连接到其他外部设备以发送和接收数据。在下文中，发送/接收“A”可以指发送/接收“指示A的信息(information)或数据”。
通信部310可以被实现为电子装置300中的电路网络(circuitry)。例如，通信部310可以包括内部总线(internal bus)和外部总线(external bus)。又例如，通信部310可以是连接电子装置300和外部装置的元件。通信部310可以是接口(interface)。通信部310可以从外部装置接收数据，并将其发送到处理器320和存储器330。
处理器320处理由通信部310接收的数据及存储在存储器330中的数据。“处理器”可以是在硬件中实现的数据处理装置，该硬件具有用于执行期望操作(desiredoperations)的物理结构的电路。例如，期望操作可以包括程序中包括的代码(code)或指令(instructions)。例如，在硬件中实现的数据处理装置可以包括微处理器(microprocessor)、中央处理单元(central processing unit)、处理器核心(processorcore)、多核处理器(multi-core processor)、多处理器(multiprocessor)、专用集成电路(ASIC，Application-Specific Integrated Circuit)及现场可编程门阵列(FPGA，FieldProgrammable Gate Array)。
处理器320执行存储在存储器(例如，存储器330)中的计算机可读代码(例如，软件)和由处理器320诱导的指令。
存储器330存储由通信部310接收的数据及由处理器320处理的数据。例如，存储器330可以存储程序(或应用程序或软件)。所存储的程序可以是被编码以生成鸟瞰视点图像并由处理器320执行的一组语法(syntax)。
根据一侧面，存储器330可以包括一个或多个易失性存储器、非易失性存储器及随机存取存储器(RAM，Random Access Memory)、闪存、硬盘驱动器及光盘驱动器。
存储器330存储用于操作电子装置300的指令集(例如，软件)。用于操作电子装置300的指令集由处理器320执行。
摄像机340通过拍摄场景来生成图像。摄像机340可以包括多个摄像机。例如，多个摄像机可以分别布置在车辆的前方、后方、左侧及右侧。
将参考图4至图19详细描述通信部310、处理器320、存储器330及摄像机340。
图4为显示根据一示例的生成鸟瞰视点图像的方法的流程图。
下面的步骤(步骤410至步骤450)由上面参考图3描述的电子装置300来执行。
在步骤410中，电子装置300使用安装在车辆上的多个摄像机来生成当前时刻的多个图像。多个摄像机中的每一个可以连续地生成图像。例如，由第一摄像机最近生成的图像可以是当前时刻的图像，并且在该时刻之前生成的图像可以是前一时刻的图像。通过同步多个摄像机的拍摄周期，可以同时生成多个图像。
在步骤420，电子装置300基于多个图像来生成当前时刻的初始鸟瞰视点图像。由于多个图像不包括关于车辆本身的图像信息，因此初始鸟瞰视点图像具有与车辆区域相对应的孔区域。即，孔区域包括车辆当前时刻所在的区域。孔区域对应于偏离多个摄像机的视角(viewing angle)的区域。由于初始鸟瞰视点图像中的车辆区域始终是恒定的，因此可以将初始鸟瞰视点图像中的孔区域设置为感兴趣区域(ROI，Region of Interest)。
为了生成鸟瞰视点图像，必须合并由多个摄像机捕获的多个图像。为了合并多个图像，必须匹配图像的坐标系。换言之，可以通过将多个图像转换为车辆预设的公共坐标系来生成部分鸟瞰视点图像，并且可以通过合并部分鸟瞰视点图像来生成初始鸟瞰视点图像。例如，可以通过扭曲(warping)每个图像来生成部分鸟瞰视点图像。
根据一侧面，为了生成准确的鸟瞰视点图像，可能需要周期性地或在每次碰撞时校准多个摄像机。校准多个摄像机的方法并不限于此，并且可以使用各种方法。
参照图5，示出了根据一示例的在前一时刻生成的鸟瞰视点图像510和在当前时刻生成的初始鸟瞰视点图像522。前一时刻是指最近生成的鸟瞰视点图像510(以下，将最近生成的鸟瞰视点图像称为“前一鸟瞰视点图像”)或生成作为前一鸟瞰视点图像510的基础的多个图像的时间。图示的前一鸟瞰视点图像510包括车辆在前一时刻所在的区域512。基于当前时刻，区域512可以是填充满信息的区域。初始鸟瞰视点图像520包括车辆在当前时刻所在的区域522。基于当前时刻，区域522可以是未填充信息的孔区域。
根据一侧面，在硬件上实现TVC技术时，主要考虑的是存储器的有效利用。鸟瞰视点图像使用相对较大的存储器空间。当前一鸟瞰视点图像和当前鸟瞰视点图像全部存储时，存储器使用效率会降低，程序运行速度也会较慢。因此，当共享用于存储前一鸟瞰视点图像的存储区域和用于存储当前鸟瞰视点图像的存储区域时，可以提高程序的操作效率。
在步骤430中，电子装置300生成车辆从前一时刻到当前时刻已移动的移动信息。根据一侧面，可以获得从前一时刻到当前时刻车辆的方向盘的转向角和车辆的速度，并且可以基于此来生成在鸟瞰视点的图像平面的比例上车辆所移动的移动信息。下面将参照图6详细描述生成车辆移动信息的方法。
根据另一侧面，可以提供从前一时刻到当前时刻车辆车轮的旋转角度及车轮的实际移动距离作为移动信息。例如，可以基于连接到车轮的至少一个传感器来直接测量车轮的旋转角度和实际移动距离。
在步骤440中，电子装置300基于移动信息确定在前一鸟瞰视点图像上当前时刻车辆所在的目标区域。参照图7，基于移动信息确定在前一鸟瞰视点图像510上当前时刻车辆所在的目标区域710。例如，在前一鸟瞰视点图像510上，可以将根据与来自车辆在前一时刻所处的区域512的移动信息相对应的移动量所移动的区域确定为目标区域710。
下面将参考图8至图12详细描述确定目标区域的方法。
在步骤450中，电子装置300通过基于目标区域填充初始鸟瞰视点图像的孔区域的至少一部分，生成当前时刻的鸟瞰视点图像。将参考图13至图19详细描述生成当前时刻的鸟瞰视点图像的方法。
图6为显示根据一示例的生成从前一时刻到当前时刻车辆移动的移动信息的方法的流程图。
根据一侧面，参照图4描述的步骤430可以包括以下步骤(步骤610至步骤630)。
在步骤610中，电子装置300接收车辆方向盘的转向角和车辆速度。例如，在车辆中安装有控制器局域网(CAN，Controller Area Network)，并且可以通过CAN装置生成车辆的方向盘的转向角和车速。电子装置300可以从CAN装置接收车辆的方向盘的转向角和车辆的速度。
在步骤620中，电子装置300基于方向盘的转向角和车辆的速度来计算车辆的目标轮的旋转角度和目标轮的实际移动距离。
例如，当由方向盘旋转的车轮为前轮时，可以通过将方向盘的转向角乘以预设系数来计算作为目标轮的每个前轮的旋转角度。
例如，可以基于速度和前一时刻与当前时刻之间的差(以下，前一时刻与当前时刻之间的差为“目标时刻”)来计算目标车轮或车辆在目标时刻已移动的实际移动距离。
在步骤630中，电子装置300通过将目标轮的实际移动距离转换为鸟瞰视点的图像平面的比例来计算目标移动距离。例如，可以通过将实际移动距离乘以预设值来计算目标移动距离。例如，当1m对应于鸟瞰视点的图像平面上的100个像素的长度并且实际移动距离为50cm时，计算出的目标移动距离可以对应于50个像素的长度。
移动信息包括所生成的目标轮的旋转角度和目标移动距离。换言之，移动信息是车辆从前一时刻到当前时刻在鸟瞰视点的图像平面上所移动的信息。
图8为显示根据一示例的基于移动信息在前一鸟瞰视点图像上确定当前时刻车辆所在的目标区域的方法的流程图。
根据一侧面，参照图4描述的步骤440可以包括以下步骤(步骤810至步骤820)。
在步骤810中，电子装置300基于移动信息计算车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度。
根据一侧面，为了基于移动信息计算车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度，可以使用Ackerman-Jantoud型。
下面将参照图9至图12详细描述计算车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的方法。
在步骤820中，电子装置300基于车辆沿水平方向移动的距离(第一距离)、沿垂直方向移动的距离(第二距离)以及围绕中心点旋转的角度(目标角度)，将在前一鸟瞰视点图像上当前时刻车辆所在的区域确定为目标区域。
在参照图7的示例中，基于车辆沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度，将在前一鸟瞰视点图像510上当前时刻车辆所在的区域710确定为目标区域。在前一时刻车辆所在的区域512中，车辆的中心沿水平方向移动第一距离、沿垂直方向移动第二距离、相对于中心点以目标角度旋转的区域可以是当前时刻车辆所在的区域710。
图9为显示根据一示例的基于移动信息计算车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的方法的流程图。
根据一侧面，参照图8描述的步骤810可以包括以下步骤(步骤910至步骤940)。
在步骤910中，电子装置300基于车辆的目标车轮的旋转角度来计算预设的虚拟的中心车轮的旋转角度。
例如，可以将中心轮预设为位于以直线连接前轮的轴上。具体地，中心轮可以位于上述轴的中心，但并不限于所描述的实施例。作为另一示例，可以将中心轮预设为左前轮或右前轮。
当中心轮被预设为位于前轮之间的中心时，可以计算每个前轮的旋转角度的平均值作为中心轮的旋转角。
在步骤920中，电子装置300基于车辆的轨道(track)长度、轴距(wheelbase)长度及中心轮的旋转角度来确定中心点。
在参照图10的示例中，基于车辆1000的轨道长度1004、轴距长度1005及中心轮1003的旋转角度θM来确定中心点1030。可以基于目标轮1001、1002来预设中心轮1003。例如，中心轮的旋转角度θM可以是中心轮对齐时旋转的角度。将延伸旋转中心轮1003的中心轴的虚拟的直线1020和延伸后轮的轴的虚拟的直线1010的交点确定为中心点1030。中心轮1003和后轮1001、1002的后轴相交的点(例如，后轴的中心)与中心点1030之间的距离可以是参考长度1040。
在步骤930中，电子装置300基于目标轮的实际移动距离来计算中心轮的实际移动距离。
当中心轮被预设为位于前轮之间的中心时，可以计算每个前轮的实际移动距离的平均值作为中心轮的实际移动距离。
在步骤940中，电子装置300基于中心点及中心轮的实际移动距离，计算车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度。
在参照图11所示的示例中，可以通过以中心轮1003为中心将前一时刻的中心轮1003移动实际移动距离，确定当前时刻的车辆1110的中心轮1103的位置。可以基于中心轮1103的位置来确定中心轮1103的移动角度dθ。
参照图11所示的前一时刻的车辆1000与当前时刻的车辆1110之间的位置关系基于车辆的中心参照图12来表示。确定车辆1000的中心位置1210和车辆1110的中心位置1220。以中心点1030为中心，确定后轴与中心位置1210之间的角度θC；以中心点1030为中心，确定中心位置1210与中心位置1220之间的角度dθ。中心位置1210与中心位置1220之间的角度dθ与图11的移动角度dθ相同。确定中心位置1210与中心位置1220之间的水平轴距离1230和垂直轴距离1240。
基于移动到车辆1110的水平轴的距离1230、移动到垂直轴的距离1240及围绕中心点1030旋转的角度dθ，将在前一鸟瞰视点图像510上当前时刻车辆所在的区域710确定为目标区域。
图13为显示根据一示例的通过基于目标区域填充初始鸟瞰视点图像的孔区域的至少一部分来生成当前时刻的鸟瞰视点图像的方法的流程图。
根据一侧面，参照图4描述的步骤450可以包括以下步骤(步骤1310至步骤1330)。
在步骤1310中，电子装置300在车辆区域图像上累积部分目标区域，其中，所述部分目标区域通过从目标区域中排除前一鸟瞰视点图像中车辆在前一时刻所处的区域而获得。车辆区域图像可以是仅累积对应于每时刻的车辆区域的图像。车辆区域图像的中心可以每当随时刻改变而改变。例如，前一时刻的车辆区域图像的中心可以基于沿水平方向移动的距离1230和沿垂直方向移动的距离1240而移动。因此，当前时刻的车辆区域可以位于车辆区域图像的中心。
根据一侧面，可以在存储器330上预设用于存储车辆区域图像的区域。
下面将参照图14至图16详细描述在车辆区域图像中累积部分目标区域的方法。
在步骤1320中，电子装置300在车辆区域图像上将当前时刻车辆所在的区域确定为复制区域。在参照图17的示例中，在车辆区域图像1600上将当前时刻车辆所在的区域确定为复制区域1710。
在步骤1330中，电子装置300通过将复制区域复制到初始鸟瞰视点图像的孔区域的至少一部分来生成鸟瞰视点图像。在参照图17的示例中，通过将复制区域1710复制到初始鸟瞰视点图像520的孔区域522的至少一部分来生成当前时刻的鸟瞰视点图像。
图14为显示根据一示例的在车辆区域图像上累积部分目标区域的方法的流程图，其中，所述部分目标区域通过从目标区域中排除前一鸟瞰视点图像中车辆在前一时刻所处的区域而获得。
根据一侧面，参照图13描述的步1310可以包括以下步骤(步骤1410至步骤1440)。
在步骤1410中，电子装置300计算车辆从基准时刻到前一时刻的累积旋转角度。例如，基准时刻可以是开始生成车辆区域图像的初始时刻。计算车辆在第一时刻与第二时刻之间的第一旋转角度，计算车辆在第二时刻与第三时刻之间的第二旋转角度，并且，当基准时刻为第一时刻，前一时刻为第三时刻时，可以将第一旋转角度及第二旋转角度之和计算为累积旋转角度。
在步骤1420中，电子装置300生成部分目标区域，其中，所述部分目标区域通过从目标区域中排除前一鸟瞰视点图像中车辆在前一时刻所处的区域而获得。
在参照图15的示例中，生成部分目标区域1520，其中，所述部分目标区域1520通过从目标区域710中排除前一鸟瞰视点图像510中车辆在前一时刻所处的区域1510而获得。尽管显示为在车辆区域1510中没有信息，但是可以基于前一时刻的车辆区域图像来预填充前一鸟瞰视点图像510的区域1510。因此，由于当前时刻的车辆区域图像可能已包括关于车辆在前一时刻所处的区域的信息，因此可以在目标区域的前一时刻图像中排除车辆在前一时刻所处的区域，以减少处理的数据量。
在步骤1430中，电子装置300旋转部分目标区域以对应于车辆的累积旋转角度。
在参照图15的示例中，旋转部分目标区域1520，以基于相对于前一时刻的车辆区域图像1530的中心对应于累积旋转角度θacc。
在步骤1440中，电子装置300在车辆区域图像中累积旋转的部分目标区域。可以将累积部分目标区域的车辆区域图像的中心移动到部分目标图像的中心。累积当前时刻的部分目标区域的车辆区域图像可以是针对当前时刻生成的图像。
在参照图16的示例中，通过累积相对于前一时刻的车辆区域图像1530被旋转的部分目标区域1520来生成预备车辆区域图像。通过将预备车辆区域图像的中心移动到部分目标区域1520的中心来生成当前时刻的车辆区域图像1600。
在执行步骤1440之后，可以执行参照图13描述的步骤(步骤1320及步骤1330)。
在参照图17的示例中，通过步骤1320，在车辆区域图像1600上，将当前时刻车辆所在的区域确定为复制区域1710。复制区域1710可以包括部分目标区域1520。在复制区域1710中，不被包括在部分目标区域1520的区域可以是从当前时刻的前一时刻复制的区域。
通过步骤1330，将复制区域1710复制到初始鸟瞰视点图像520的孔区域522的至少一部分，从而生成鸟瞰视点图像。
图18为显示根据一示例的车辆区域图像的附图。
图示的车辆区域图像1800可以是从初始时刻到当前时刻连续生成的部分目标区域所累积的图像。换言之，车辆区域图像1800可以是车辆已移动的地板区域的图像。
图19为显示根据一示例的在车辆区域图像上确定的复制区域及使用复制区域来生成的鸟瞰视点图像的附图。
在车辆区域图像1800上，将当前时刻车辆所在的区域确定为复制区域1910。通过将复制区域1910复制到初始鸟瞰视点图像200的孔区域210的至少一部分来生成鸟瞰视点图像。
根据实施例的方法以能够通过多种计算机手段执行的程序命令的形式体现，并记录在计算机读写介质中。所述计算机读写介质能够以单独或者组合的形式包括程序命令、数据文件、数据结构等。记录在所述介质的程序指令能够是为实现实施例而特别设计与构成的指令，或者是计算机软件领域普通技术人员能够基于公知使用的指令。计算机读写记录介质能够包括硬盘、软盘以及磁带等磁性媒介(magnetic media)；与CD-ROM、DVD等类似的光学媒介(optical media)；与光磁软盘(floptical disk)类似的磁光媒介(magneto-optical media)，以及与只读存储器(ROM)、随机存取存储器(RAM)、闪存等类似的为存储并执行程序命令而特别构成的硬件装置。程序指令的例子不仅包括通过编译器生成的机器语言代码，还包括通过使用解释器等能够由计算机执行的高级语言代码。为执行实施例的操作，所述硬件装置能够构成为以一个以上的软件模块实现操作的方式，反之亦然。
软件能够包括计算机程序(computer program)、代码(code)、指令(instruction)，或其中的一个以上的组合，能够使加工装置按照所期待的方式操作，或者，单独或共同(collectively)命令加工装置。为通过加工装置进行解释或者向加工装置提供命令或数据，软件和/或数据能够永久或临时体现于(embody)任何类型的设备、构成要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置，或者传送的信号波(signal wave)。软件分布于通过网络连接的计算机系统上，能够以分布式存储或执行。软件及数据能够存储于一个以上的计算机读写存储介质中。
综上，通过有限的附图对实施例进行了说明，本领域普通技术人员能够基于所述记载进行多种更改与应变。例如，所说明的技术按照与说明的方法不同的顺序执行，和/或所说明的系统、结构、装置、电路等构成要素按照与说明的方法不同的形态进行结合或组合，或者由其他构成要素或者等同物置换或代替，也能得到适当的结果。
由此，其他体现，其他实施例以及权利要求范围的等同物，均属于本发明的权利要求范围。

Claims (17)

1.一种由电子装置执行的鸟瞰视点图像生成方法，其特征在于，
包括以下步骤：
使用安装在车辆上的多个摄像机来生成当前时刻的多个图像；
基于所述多个图像来生成所述当前时刻的初始鸟瞰视点图像，其中，所述初始鸟瞰视点图像具有孔区域；
生成从前一时刻到所述当前时刻所述车辆移动的移动信息；
基于所述移动信息，在所述前一时刻的前一鸟瞰视点图像上确定所述当前时刻所述车辆所在的目标区域；以及
通过基于所述目标区域填充所述初始鸟瞰视点图像的所述孔区域的至少一部分，生成所述当前时刻的鸟瞰视点图像。
2.根据权利要求1所述的鸟瞰视点图像生成方法，其特征在于，
所述初始鸟瞰视点图像的所述孔区域包括所述当前时刻所述车辆所在的区域。
3.根据权利要求1所述的鸟瞰视点图像生成方法，其特征在于，
所述初始鸟瞰视点图像的所述孔区域对应于所述多个摄像机的视角之外的区域。
4.根据权利要求1所述的鸟瞰视点图像生成方法，其特征在于，
生成所述移动信息的步骤，包括以下步骤：
接收所述车辆的方向盘的转向角及所述车辆的速度；
基于所述转向角及所述速度来计算所述车辆的目标轮的旋转角度及所述目标轮的实际移动距离；以及
通过将所述实际移动距离转换为鸟瞰视点的图像平面的比例来计算目标移动距离，
其中，所述移动信息包括所述旋转角度及所述目标移动距离。
5.根据权利要求4所述的鸟瞰视点图像生成方法，其特征在于，
基于所述移动信息来确定所述目标区域的步骤，包括以下步骤：
基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度；以及
基于计算出的所述车辆沿所述水平方向移动的距离、沿所述垂直方向移动的距离以及围绕所述中心点旋转的角度，将在所述前一鸟瞰视点图像上所述当前时刻所述车辆所在的区域确定为所述目标区域。
6.根据权利要求5所述的鸟瞰视点图像生成方法，其特征在于，
基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的步骤，包括以下步骤：
通过Ackerman-Jantoud型，基于所述移动信息来计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度。
7.根据权利要求5所述的鸟瞰视点图像生成方法，其特征在于，
基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的步骤，包括以下步骤：
基于所述车辆的目标轮的旋转角度来计算预设的虚拟的中心轮的旋转角度；
基于所述车辆的轨道长度、所述车辆的轴距长度及所述中心轮的所述旋转角度来确定所述中心点；
基于所述目标轮的实际移动距离来计算所述中心轮的实际移动距离；以及
基于所述中心点及所述中心轮的实际移动距离来计算所述车辆在所述鸟瞰视点图像平面上沿所述水平方向移动的距离、沿所述垂直方向移动的距离以及围绕所述中心点旋转的角度。
8.根据权利要求1所述的鸟瞰视点图像生成方法，其特征在于，
通过基于所述目标区域填充所述初始鸟瞰视点图像的所述孔区域的至少一部分，生成所述当前时刻的鸟瞰视点图像的步骤，包括以下步骤：
在车辆区域图像上累积部分目标区域，其中，所述部分目标区域通过从所述目标区域中排除所述前一鸟瞰视点图像中所述车辆在所述前一时刻所处的区域而获得；
在所述车辆区域图像中，将所述当前时刻所述车辆所在的区域确定为复制区域；以及
通过将所述复制区域复制到所述初始鸟瞰视点图像的所述孔区域的至少一部分来生成所述鸟瞰视点图像。
9.根据权利要求8所述的鸟瞰视点图像生成方法，其特征在于，
在车辆区域图像上累积部分目标区域，其中，所述部分目标区域通过从所述目标区域中排除所述前一鸟瞰视点图像中所述车辆在所述前一时刻所处的区域而获得的步骤，包括以下步骤：
计算从基准时间到所述前一时间的所述车辆的累积旋转角；
通过从所述目标区域中排除所述前一鸟瞰视点图像中所述车辆在所述前一时刻所处的区域来生成部分目标区域；
旋转所述部分目标区域以对应于所述累积旋转角度；以及
在所述车辆区域图像上累积所述旋转的部分目标区域。
10.根据权利要求1所述的鸟瞰视点图像生成方法，其特征在于，
所述电子装置被安装在自动驾驶车辆或支持先进驾驶辅助系统的车辆。
11.一种计算机可读记录介质，其包括用于执行权利要求1所述的方法的程序。
12.一种生成鸟瞰视点图像的电子装置，其特征在于，
包括：
处理器，其执行用于生成鸟瞰视点图像的程序；以及
存储器，其存储所述程序，
其中，所述程序被配置成执行以下步骤：
使用安装在车辆上的多个摄像机来生成当前时刻的多个图像；
基于所述多个图像来生成所述当前时刻的初始鸟瞰视点图像，其中，所述初始鸟瞰视点图像具有孔区域；
生成从前一时刻到所述当前时刻所述车辆移动的移动信息；
基于所述移动信息，在所述前一时刻的前一鸟瞰视点图像上确定所述当前时刻所述车辆所在的目标区域；以及
通过基于所述目标区域填充所述初始鸟瞰视点图像的所述孔区域的至少一部分，生成所述当前时刻的鸟瞰视点图像。
13.根据权利要求12所述的电子装置，其特征在于，
还包括：
用于生成所述多个图像的多个摄像机。
14.根据权利要求12所述的电子装置，其特征在于，
生成所述移动信息的步骤，包括以下步骤：
接收所述车辆的方向盘的转向角及所述车辆的速度；
基于所述转向角及所述速度来计算所述车辆的目标轮的旋转角度及所述目标轮的实际移动距离；以及
通过将所述实际移动距离转换为鸟瞰视点的图像平面的比例来计算目标移动距离，
其中，所述移动信息包括所述旋转角度及所述目标移动距离。
15.根据权利要求14所述的电子装置，其特征在于，
基于所述移动信息来确定所述目标区域的步骤，包括以下步骤：
基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度；以及
基于计算出的所述车辆沿所述水平方向移动的距离、沿所述垂直方向移动的距离以及围绕所述中心点旋转的角度，将在所述前一鸟瞰视点图像上所述当前时刻所述车辆所在的区域确定为所述目标区域。
16.根据权利要求15所述的电子装置，其特征在于，
基于所述移动信息，计算所述车辆在鸟瞰视点的图像平面上沿水平方向移动的距离、沿垂直方向移动的距离以及围绕中心点旋转的角度的步骤，包括以下步骤：
基于所述车辆的目标轮的旋转角度来计算预设的虚拟的中心轮的旋转角度；
基于所述车辆的轨道长度、所述车辆的轴距长度及所述中心轮的所述旋转角度来确定所述中心点；
基于所述目标轮的实际移动距离来计算所述中心轮的实际移动距离；以及
基于所述中心点及所述中心轮的实际移动距离来计算所述车辆在所述鸟瞰视点图像平面上沿所述水平方向移动的距离、沿所述垂直方向移动的距离以及围绕所述中心点旋转的角度。
17.根据权利要求12所述的电子装置，其特征在于，
所述电子装置被安装在自动驾驶车辆或支持先进驾驶辅助系统的车辆。
CN202110514457.4A 2020-06-17 2021-05-11 生成鸟瞰视点图像的方法及装置 Pending CN113808013A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0073341 2020-06-17
KR1020200073341A KR102366944B1 (ko) 2020-06-17 2020-06-17 조감 시점 영상을 생성하는 방법 및 장치

Publications (1)

Publication Number Publication Date
CN113808013A true CN113808013A (zh) 2021-12-17

Family

ID=78823289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110514457.4A Pending CN113808013A (zh) 2020-06-17 2021-05-11 生成鸟瞰视点图像的方法及装置

Country Status (3)

Country Link
KR (1) KR102366944B1 (zh)
CN (1) CN113808013A (zh)
DE (1) DE102021205154B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792414A (zh) * 2022-03-31 2022-07-26 北京鉴智科技有限公司 一种用于载体的目标变量检测方法及其系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023202306B3 (de) 2023-03-14 2024-06-06 Continental Autonomous Mobility Germany GmbH Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, Bildaufnahmeeinrichtung und Fahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110084780A (ko) * 2010-01-18 2011-07-26 현대모비스 주식회사 도로의 곡률반경 산출방법
KR101378337B1 (ko) * 2012-10-30 2014-03-27 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
US20180164831A1 (en) * 2016-12-09 2018-06-14 Lg Electronics Inc. Around view monitoring apparatus for vehicle, driving control apparatus, and vehicle
KR20180113020A (ko) * 2017-04-05 2018-10-15 엘지이노텍 주식회사 차량의 사각영역 표시장치 및 그 표시방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10576892B2 (en) 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
DE102018207976A1 (de) 2018-05-22 2019-11-28 Continental Automotive Gmbh Verfahren und Vorrichtung zum Anzeigen einer Fahrzeugumgebung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110084780A (ko) * 2010-01-18 2011-07-26 현대모비스 주식회사 도로의 곡률반경 산출방법
KR101378337B1 (ko) * 2012-10-30 2014-03-27 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
US20180164831A1 (en) * 2016-12-09 2018-06-14 Lg Electronics Inc. Around view monitoring apparatus for vehicle, driving control apparatus, and vehicle
KR20180113020A (ko) * 2017-04-05 2018-10-15 엘지이노텍 주식회사 차량의 사각영역 표시장치 및 그 표시방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792414A (zh) * 2022-03-31 2022-07-26 北京鉴智科技有限公司 一种用于载体的目标变量检测方法及其系统

Also Published As

Publication number Publication date
KR20210156360A (ko) 2021-12-27
KR102366944B1 (ko) 2022-02-28
DE102021205154B4 (de) 2023-07-27
DE102021205154A1 (de) 2021-12-23

Similar Documents

Publication Publication Date Title
US11657604B2 (en) Systems and methods for estimating future paths
US11417017B2 (en) Camera-only-localization in sparse 3D mapped environments
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
US8319618B2 (en) Image processing apparatus, image processing method, and recording medium
US8018488B2 (en) Vehicle-periphery image generating apparatus and method of switching images
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
US20170359561A1 (en) Disparity mapping for an autonomous vehicle
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
CN113808013A (zh) 生成鸟瞰视点图像的方法及装置
JP4154980B2 (ja) 移動体周辺監視装置
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
US20190266416A1 (en) Vehicle image system and method for positioning vehicle using vehicle image
CN114290995B (zh) 透明a柱的实现方法、装置、汽车及介质
WO2022052508A1 (zh) 一种测距方法、装置、终端设备和汽车
JP5557036B2 (ja) 退出判定装置、退出判定プログラム及び退出判定方法
KR20140088779A (ko) 차량의 후방 모니터링 장치 및 방법
EP4194883A1 (en) Device and method for determining objects around a vehicle
WO2024157367A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US20240029451A1 (en) Visual presentation of vehicle positioning relative to surrounding objects
CN111942288B (zh) 车辆影像系统及使用车辆影像的车辆定位方法
US20230037900A1 (en) Device and Method for Determining Objects Around a Vehicle
CN117177212A (zh) 一种车载系统安全警示方法、装置、设备及介质
JP2004114976A (ja) 移動体周辺監視装置
CN118387127A (zh) 远程驾驶辅助方法、装置、设备、存储介质及程序产品
CN118665518A (zh) 远程驾驶辅助方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230607

Address after: 323 Banqiao Road, Puntang District, Gyeonggi do, South Korea

Applicant after: NC&Co., Ltd.

Address before: 394-109, Jiguo Road, Shinan District, poshang, gyeongshang North Road, South Korea

Applicant before: VADAS CO.,LTD.