CN117036158A - 鸟瞰图图像和分割图的生成 - Google Patents

鸟瞰图图像和分割图的生成 Download PDF

Info

Publication number
CN117036158A
CN117036158A CN202310515094.5A CN202310515094A CN117036158A CN 117036158 A CN117036158 A CN 117036158A CN 202310515094 A CN202310515094 A CN 202310515094A CN 117036158 A CN117036158 A CN 117036158A
Authority
CN
China
Prior art keywords
eye view
view image
bird
segmentation map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310515094.5A
Other languages
English (en)
Inventor
丁司昊
E·U·萨马尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN117036158A publication Critical patent/CN117036158A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

描述了用于生成鸟瞰图(BEV)图像和分割图的技术。根据一个或更多个实施例，提供一种系统，该系统包括执行被存储在至少一个存储器中的计算机可执行部件的处理器；计算机可执行部件包括机器学习模型部件，其基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。该系统还包括：生成器，其产生合成鸟瞰图图像和分割图；以及鉴别器，其预测合成鸟瞰图图像和分割图是真实的还是生成的。

Description

鸟瞰图图像和分割图的生成
技术领域
本申请涉及有利于鸟瞰图(bird’s eye view，简称BEV)图像和分割图(segmentation maps)的生成的技术。
背景技术
近来，汽车中的驾驶员辅助和车辆自动化特征迅速增加，例如车道检测、物体检测、泊车辅助等。因此，汽车制造商正在寻求改进这些功能的方法。例如，鸟瞰图图像能够用于多种功能，例如自动驾驶、自动泊车辅助或输出到显示屏以辅助驾驶员。在这方面，准确生成鸟瞰图图像能够导致提高驾驶员辅助和车辆自动化功能的性能，以及改善驾驶员体验。
鸟瞰图生成的一个主要问题是限制和/或防止鸟瞰图中的失真。例如，退出鸟瞰图生成经常产生扭曲的和/或包括因变换过程引起的伪影(artifacts)的鸟瞰图图像。这种失真和伪影的增加可能造成处理图像不准确和难以处理，导致驾驶员辅助和自动化特征的性能降低，并限制鸟瞰图图像对驾驶员的有用性。
发明内容
下面给出提供对本发明的一个或更多个实施例的基本理解的概要。本概要不旨在标识核心或关键要件或描绘不同实施例的任何范围或权利要求的任何范围。其唯一目的是以简化的形式提出概念，作为稍后提出的更详细说明的序曲。在本文中描述的一个或更多个实施例中，提出了有利于鸟瞰图图像和分割图的生成的系统、计算机实现的方法、装置和/或计算机程序产品。
根据一个或更多个实施例，提供了一种有利于鸟瞰图图像生成的系统。所述系统包括执行被存储在至少一个存储器中的计算机可执行部件的处理器。所述计算机可执行部件能够包括机器学习部件，所述机器学习部件基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。
在一个或更多个实现方式中，机器学习部件能够包括生成器部件，所述生成器部件产生合成鸟瞰图图像和/或分割图。机器学习部件还能够包括鉴别器部件，所述鉴别器部件预测合成鸟瞰图图像和分割图是真实的还是生成的。例如，能够利用所述鉴别器的预测来训练所述生成器以产生更准确的合成鸟瞰图图像和分割图。
在一些实施例中，结合所公开的系统描述的要件能够以不同的形式实现，例如计算机实现的方法、计算机程序产品或其他形式。
一个或更多个系统、计算机实现的方法和/或计算机程序产品的一个优点是能够生成无伪影或失真的合成鸟瞰图图像。因此，能够避免从其他变换过程生成的鸟瞰图图像中固有的失真或伪影，从而导致更准确和更容易理解的鸟瞰图图像。
附图说明
图1A-1C示出了鸟瞰图图像的各种示例。
图2示出了有利于鸟瞰图图像和分割图的生成的示例性且非限制性的系统的框图。
图3示出了有利于鸟瞰图图像和分割图的生成的示例性且非限制性的系统的框图。
图4示出了有利于使用生成对抗模型(generative adversarial model，GAN)来生成鸟瞰图图像和分割图的示例性且非限制性的系统的框图。
图5A和5B示出了在有利于鸟瞰图图像和分割图的生成的非限制性的系统中使用的生成器的各种示例。
图6示出了有利于使用共享编码层来生成鸟瞰图图像和分割图的示例性且非限制性的生成器的框图。
图7示出了有利于使用共享解码层来生成鸟瞰图图像和分割图的示例性且非限制性的生成器的框图。
图8示出了有利于预测鸟瞰图图像是真实的还是生成的示例性且非限制性的鉴别器的框图。
图9示出了有利于预测鸟瞰图图像是真实的还是生成的示例性且非限制性的鉴别器的框图。
图10示出了有利于预测鸟瞰图图像和分割图是真实的还是生成的示例性且非限制性的鉴别器1000的框图。
图11示出了使用输入跳跃连接(input skip connection)有利于鸟瞰图图像的生成的示例性且非限制性的生成器的框图。
图12示出了在不使用输入跳跃连接的情况下有利于鸟瞰图图像的生成的示例性且非限制性的生成器的框图。
图13-14示出了合成鸟瞰图图像的示例。
图15示出了有利于鸟瞰图图像和分割图的生成的示例性计算机实现的方法的高级流程图。
具体实施方式
以下详细描述仅是说明性的，并不旨在限制实施例和/或实施例的应用或使用。而且不旨在受前述发明内容部分或具体实施方式部分中提供的任何明示或暗示信息的约束。
所公开的主题旨在有利于鸟瞰图(BEV)图像和分割图的生成，由此改善驾驶员辅助和车辆自动化功能以及驾驶员体验。例如，能够利用机器学习模型来生成使由现有鸟瞰图生成技术产生的失真和/或伪影最小化或被消除的鸟瞰图图像和分割图。
现在转向附图，图1A-1C示出了根据所公开主题的一个或更多个实施例的鸟瞰图图像和分割图的各种示例。例如，图1A的图片101示出了现有的拼接的鸟瞰图图像。图片101能够通过将两个或更多个图像拼接在一起以产生鸟瞰图的变换过程产生。为了捕获车辆周围的区域，鱼眼摄像机经常被用来拍摄被拼接在一起以形成图片101的图片。如图所示，该过程导致图片101具有因变换和拼接过程而引起的大量失真和伪影，从而限制了图片101的准确性和有用性。图1B的图片102示出了希望的鸟瞰图图像。例如，如图所示，图片102没有失真或伪影，从而提高了其准确性和有用性。图1C的图片103示出了希望的分割图。如图片103所示，图片103也没有失真或伪影，从而提高了其准确性和有用性。
图2示出了根据所公开主题的一个或更多个实施例的有利于鸟瞰图图像和分割图的生成的示例性、非限制性的系统200的框图。
系统200能够包括计算设备201。计算设备201能够进一步包括机器学习模型部件202、设备总线216、处理器218和/或存储器220。机器学习模型部件202能够基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。例如，机器学习模型部件202能够被训练成接收诸如图1A的图片101的拼接图像作为输入，并且输出已去除拼接图像中存在的失真和伪影的诸如图1B的图片102的合成鸟瞰图图像。在一个实施例中，机器学习模型部件202能够包括生成对抗模型(GAN)，其包括生成器部件204和鉴别器部件206。生成对抗模型能够被训练成其中生成器和鉴别器相互竞争的对抗模型。因此，在训练期间，生成器基于训练集使用编码器和解码器层生成新的数据表示，并且鉴别器预测所述新的数据表示是真实的(例如，训练集的一部分)还是假的(例如，由生成器生成的)。生成器和鉴别器都能够试图优化它们各自的损失函数，以便击败对方。这样，基于鉴别器的预测是否正确，生成器和鉴别器都能够被更新以提高所述新的数据表示的精度。
因此，在一个实施例中，生成器部件204能够接收拼接的鸟瞰图图像作为输入，并产生试图减少和/或消除存在于拼接图像中的失真和/或伪影的合成鸟瞰图图像。然后，能够将拼接图像和合成鸟瞰图图像传送给鉴别器部件206，鉴别器部件206预测合成鸟瞰图图像是真实的还是假的。如果鉴别器部件206做出正确的预测，则生成器部件204能够优化损失函数以产生更新的合成鸟瞰图图像，该更新的合成鸟瞰图图像然后能够被传送到鉴别器部件206用于第二预测。一旦生成器部件204成功地愚弄鉴别器部件206，就能够输出合成鸟瞰图图像。在一个实施例中，生成器部件204和鉴别器部件206还能够被用于基于拼接图像生成分割图。例如，如下面更详细描述的，在各种实施例中，分割图能够被用于辅助合成鸟瞰图图像的生成、辅助鉴别器部件206、和/或输出到另一部件或显示屏。
图3示出了根据所公开主题的一个或更多个实施例的有利于鸟瞰图图像和分割图的生成的示例性、非限制性的系统300的框图。根据示例性实施例，系统300可以被部署在诸如车辆322的车辆上或内，以生成车辆322的鸟瞰图图像。
系统300能够包括系统200的计算设备201和摄像机312。在一个实施例中，摄像机312能够包括位于车辆322的外部的一个或更多个摄像机。例如，第一摄像机能够位于车辆322的前部，第二摄像机位于车辆322的左侧，第三摄像机位于车辆322的右侧，和/或第四摄像机位于车辆322的后部。在一个实施例中，摄像机312的一个或更多个摄像机能够包括广角或鱼眼镜头。应当理解，已设想了任何合适的布置、数量、位置和/或类型的摄像机。计算设备201还能够包括变换部件310。变换部件310能够从摄像机312接收一个或更多个图像。变换部件310然后能够对来自摄像机312的图像执行变换和/或拼接操作，以产生诸如图1A的图片101的拼接图像，该拼接图像能够被传送到机器学习模型部件202以生成车辆322的合成鸟瞰图图像。此外，合成鸟瞰图图像能够被输出到位于车辆322内的显示屏。例如，显示屏能够位于仪表板内或方向盘后面，以向车辆322的驾驶员提供合成鸟瞰图图像。应当理解，已设想了使用任何合适的显示屏和/或定位。在另一示例中，能够将合成鸟瞰图图像传送给车辆自动化功能部件。例如，车辆自动化部件能够利用合成鸟瞰图图像来辅助执行车辆322的自动驾驶、车道检测、自动泊车辅助、物体检测和告警、和/或其他自动车辆功能。
摄像机312能够经由系统总线306可操作地耦接到计算设备201。计算设备201能够有利于执行和控制车辆的一个或更多个操作，包括摄像机312、变换部件310和/或机器学习模型部件202的操作。就此而言，系统200和300的实施例能够包括在一台或更多台机器内实现(例如，在与一台或更多台机器相关联的一个或更多个计算机可读存储介质中实现)的一个或更多个机器可执行部件。当能够由一台或更多台机器(例如，处理器、计算机、计算设备、虚拟机等)执行时，这些部件能够引起一台或更多台机器执行所描述的操作。
例如，计算设备201还能够包括或可操作地耦接到至少一个存储器220和至少一个处理器218。在各种实施例中，至少一个存储器220能够存储可执行指令(例如，变换部件310和/或机器学习模型部件202)，当可执行指令由至少一个处理器218执行时，可执行指令有利于执行由可执行指令定义的操作。计算设备201还能够包括通信地耦接计算设备201的各种部件(例如，变换部件310和/或机器学习模型部件202)的设备总线216。
图4示出了根据所公开主题的一个或更多个实施例的有利于使用生成对抗模型来生成鸟瞰图图像和分割图的示例性、非限制性的系统400的框图。
系统400能够包括生成器部件204和鉴别器部件206。如上所述，生成器部件204能够接收拼接图像401(例如，由变换部件310产生的图像)，并利用损失函数和一个或更多个编码器和解码器层来产生合成鸟瞰图图像402。鉴别器部件206能够接收合成鸟瞰图图像402和拼接图像401作为输入。鉴别器部件206能够预测合成鸟瞰图图像402是真实的还是利用损失函数和一个或更多个编码器和解码器层生成的。如果生成器部件204成功地愚弄了鉴别器部件206(例如，鉴别器部件206的预测不正确)，则能够输出合成鸟瞰图图像402。例如，合成鸟瞰图图像402能够被输出到显示屏，以向车辆的驾驶员通知车辆周围的物体。在另一示例中，合成鸟瞰图图像402能够被传送给车辆自动化功能，例如自动泊车辅助或自动驾驶功能。如果鉴别器部件206将合成鸟瞰图图像正确地标识为生成的，则生成器部件204能够产生更新的合成鸟瞰图图像402，以便试图再次愚弄鉴别器。应当理解，在一个或更多个实施例中，该反馈循环能够继续，直到达到阈值标准，例如定义的迭代次数、定义的时间量或定义的精度阈值。在另一实施例中，生成器部件204能够基于拼接图像来产生分割图。例如，生成器部件204能够利用损失函数以及一个或更多个编码器和解码器层来产生分割图。如下文更详细地描述的，在一些实施例中，生成器204能够与合成鸟瞰图图像402并行或顺序地产生分割图。
图5A示出了根据所公开主题的一个或更多个实施例的有利于鸟瞰图图像的生成的示例性、非限制性的基本编码器解码器生成器(basic encoder decoder generator)500的框图。
生成器500能够包括编码器层502和解码器层503。编码器层502能够接收诸如图1A的图片101的拼接图像401作为输入，并且将拼接图像401编码为向量。解码器层503能够接收被编码为向量的拼接图像401作为输入，并对该向量进行解码以产生合成鸟瞰图图像402。
图5B示出了根据所公开主题的一个或更多个实施例的有利于鸟瞰图图像的生成的示例性、非限制性的U-Net编码器解码器生成器520的框图。
生成器520能够包括编码器层512和解码器层513。编码器层512能够接收诸如图1A的图片101的拼接图像401作为输入，并且将拼接图像401编码为向量。解码器层513能够接收被编码为向量的拼接图像401和编码器层512的各个层的输出510作为输入。解码器层能够利用这些输入来对被编码的向量进行解码以产生合成鸟瞰图图像402，这能够导致合成鸟瞰图图像402的精度提高。
图6示出了根据所公开主题的一个或更多个实施例的有利于使用共享编码层来生成鸟瞰图图像和分割图的示例性、非限制性的生成器600的框图。
生成器600能够包括第一部分610和第二部分620。第一部分610能够接收拼接图像401(例如图1A的图片101)作为输入，并且利用一个或更多个编码层和一个或更多个解码层来生成合成鸟瞰图图像402。第二部分620能够使用与第一部分610共享的编码器层602以及一个或更多个解码器层来生成合成鸟瞰图图像402的分割图601。应当理解，通过利用第一部分610与第二部分620之间的共享编码器层602，生成器600能够并行地生成合成鸟瞰图图像402和分割图601，这在一些情况下能够实现合成鸟瞰图图像402和分割图601的更快生成。在一些实施例中，分割图601能够以与合成鸟瞰图图像402相同或相似的方式被传送到一个或更多个车辆自动化功能或输出到用于驾驶员的显示屏。
图7示出了根据所公开主题的一个或更多个实施例的有利于使用共享解码层来生成鸟瞰图图像和分割图的示例性、非限制性的生成器700的框图。
生成器700能够包括第一部分710和第二部分720。第一部分710能够接收拼接图像401(例如图1A的图片101)作为输入，并且利用一个或更多个编码层和一个或更多个解码层来生成合成鸟瞰图图像402。第二部分720能够使用与第一部分710共享的解码器层701来生成合成鸟瞰图图像402的分割图601。应当理解，通过利用第一部分710与第二部分720之间的共享解码器层701，生成器700能够并行地生成合成鸟瞰图图像402和分割图601，这在一些情况下能够实现合成鸟瞰图图像402和分割图601的更快生成。
图8示出了根据所公开的主题的一个或更多个实施例的有利于预测鸟瞰图图像是真实的还是生成的示例性、非限制性的鉴别器(discriminator)800的框图。
鉴别器800能够包括一个或更多个编码层802。鉴别器800能够接收拼接图像401和合成鸟瞰图图像402作为输入。编码层802能够对拼接图像401和合成鸟瞰图图像402进行编码。例如，在一个实施例中，编码层802能够将图像编码为向量。基于被编码的拼接图像401和被编码的合成鸟瞰图图像402，鉴别器800能够预测合成鸟瞰图图像402是真实的还是生成的。
图9示出了根据所公开主题的一个或更多个实施例的有利于预测鸟瞰图图像是真实的还是生成的示例性、非限制性的鉴别器的框图。
鉴别器900能够包括一个或更多个编码层902。鉴别器900能够接收拼接图像401、分割图601和合成鸟瞰图图像402作为输入。编码层902能够对拼接图像401、分割图601和合成鸟瞰图图像402进行编码。例如，在一个实施例中，编码层902能够将图像编码为向量。基于被编码的拼接图像401、被编码的分割图601、和被编码的合成鸟瞰图图像402，鉴别器900能够预测合成鸟瞰图图像402和分割图601是真实的还是生成的。在一些情况下，通过利用分割图601、合成鸟瞰图图像402和拼接图像401作为输入，与仅利用合成鸟瞰图图像402和拼接图像401作为输入相比，鉴别器900能够提高其预测的准确性。
图10示出了根据所公开主题的一个或更多个实施例的有利于预测鸟瞰图图像和分割图是真实的还是生成的示例性、非限制性的鉴别器1000的框图。
鉴别器1000能够包括第一鉴别器1010和第二鉴别器1020。第一鉴别器1010能够接收拼接图像401和合成鸟瞰图图像402作为输入，并且如上所述预测合成鸟瞰图图像是真实的还是生成的。第二鉴别器1020能够接收拼接图像401和分割图601作为输入，并如上所述预测分割图601是真实的还是生成的。应当理解，通过利用第一鉴别器1010和第二鉴别器1020，第一鉴别器和第二鉴别器能够更好地专门化，潜在地导致更准确的预测和总体上更好的合成鸟瞰图图像和分割图。
图11示出了根据所公开主题的一个或更多个实施例的使用输入跳跃连接有利于鸟瞰图图像的生成的示例性、非限制性的生成器1100的框图。
生成器1100能够包括第一部分1110和第二部分1120。第一部分1110能够接收拼接图像401作为输入，并利用一系列编码和解码层来生成分割图601。第二部分1120能够接收分割图601和拼接图像401作为输入，并利用一系列编码和解码层来生成合成鸟瞰图图像402。当第二部分接收拼接图像401和分割图601作为输入时，生成器1110利用输入跳跃连接。此外，应当理解，通过使用分割图601作为第二部分1120的输入，生成器1100能够顺序地生成分割图601和合成鸟瞰图图像，从而潜在地提高合成鸟瞰图图像402的精度。
图12示出了根据所公开主题的一个或更多个实施例的在不使用输入跳跃连接的情况下有利于鸟瞰图图像的生成的示例性、非限制性的生成器1200的框图。
生成器1200能够包括第一部分1210和第二部分1220。第一部分1210能够接收拼接图像401作为输入，并利用一系列编码和解码层来生成分割图601。第二部分1120能够接收分割图601作为输入，并利用一系列编码和解码层来生成合成鸟瞰图图像402。应当理解，通过使用分割图601作为第二部分1220的输入，生成器1200能够顺序地生成分割图601和合成鸟瞰图图像，从而潜在地提高合成鸟瞰图图像的精度。
图13示出了使用所公开主题的一个或更多个实施例生成的合成鸟瞰图图像的示例。
列1301示出用作对生成器(诸如生成器部件204)的输入的示例性拼接图像。列1302示出了使用利用共享编码层的生成器和鉴别器和来自列1301的对应输入拼接图像生成的合成鸟瞰图图像。列1303示出使用利用共享编码层的生成器和将合成鸟瞰图图像、拼接图像和分割图作为输入的鉴别器(诸如鉴别器900)生成的鸟瞰图图像。列1304示出使用利用共享编码层的生成器和将合成鸟瞰图图像和拼接图像作为输入的第一鉴别器及将分割图和拼接图像作为输入的第二鉴别器生成的合成鸟瞰图图像，其中第一鉴别器和第二鉴别器例如是第一鉴别器1010和第二鉴别器1020。
列1312示出了使用利用共享解码层的生成器和鉴别器和来自列1301的对应输入拼接图像生成的合成鸟瞰图图像。列1313示出使用利用共享解码层的生成器和将合成的鸟瞰图图像、拼接图像和分割图作为输入的鉴别器(例如，鉴别器900)生成的鸟瞰图图像。列1314示出使用利用共享解码层的生成器和将合成鸟瞰图图像和拼接图像作为输入的第一鉴别器及将分割图和拼接图像作为输入的第二鉴别器生成的合成鸟瞰图图像，其中第一鉴别器和第二鉴别器例如是第一鉴别器1010和第二鉴别器1020。列1305示出了对应于合成鸟瞰图图像的实际鸟瞰图图像的示例。
图14示出了使用所公开主题的一个或更多个实施例生成的合成鸟瞰图图像的示例。列1401示出用作生成器(诸如生成器部件204)的输入的示例性拼接图像。列1402示出使用利用共享解码器层的生成器和将合成鸟瞰图图像、拼接图像和分割图作为输入的鉴别器(例如，鉴别器900)生成的鸟瞰图图像。列1403示出使用利用共享解码层的生成器和将合成鸟瞰图图像和拼接图像作为输入的第一鉴别器及将分割图和拼接图像作为输入的第二鉴别器生成的合成鸟瞰图图像，其中，第一鉴别器和第二鉴别器例如是第一鉴别器1010和第二鉴别器1020。
列1412示出了使用利用输入跳跃连接的生成器和将合成鸟瞰图图像、拼接图像和分割图作为输入的鉴别器(诸如鉴别器900)生成的鸟瞰图图像。列1413示出了使用利用输入跳跃连接的生成器、将合成鸟瞰图图像和拼接图像作为输入的第一鉴别器和将分割图和拼接图像作为输入的第二鉴别器生成的合成鸟瞰图图像，其中，第一鉴别器和第二鉴别器例如是第一鉴别器1010和第二鉴别器1020。
列1422示出了使用没有输入跳跃连接的生成器和将合成鸟瞰图图像、拼接图像和分割图作为输入的鉴别器(例如，鉴别器900)生成的鸟瞰图图像。列1423示出了使用没有输入跳跃连接的生成器、将合成鸟瞰图图像和拼接图像作为输入的第一鉴别器和将分割图和拼接图像作为输入的第二鉴别器生成的合成鸟瞰图图像，其中第一鉴别器和第二鉴别器例如是第一鉴别器1010和第二鉴别器1020。列1405示出了与合成鸟瞰图图像相对应的实际鸟瞰图图像的示例用于比较。
图15示出了能够使用所公开主题的一个或更多个实施例有利于鸟瞰图图像的生成的示例性、非限制性的方法的流程图。为了简明起见，省略了对各个实施例中使用的类似元件和/或过程的重复描述。
在1501，计算机实现的方法1500能够包括由可操作地耦接到处理器(例如，218)的系统(例如，计算设备201和/或机器学习模型部件202)接收由变换过程产生的拼接图像。
在1502，计算机实现的方法1500能够包括由系统(例如，计算设备201、机器学习模型部件202、生成器部件204和/或鉴别器部件206)基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。
在上述示例中，应当理解，系统200能够提供与车辆功能相关的鸟瞰图图像的生成和使用的改进。例如，通过生成不含有拼接图像中存在的伪影或失真的合成鸟瞰图图像，系统200能够改进利用鸟瞰图图像作为输入的自动车辆功能(诸如道路车道检测、物体检测(object detection)、泊车辅助和其他功能)的性能，因为系统200能够生成更清楚地捕获车辆周围的物体和区域的更准确和更可用的鸟瞰图图像。此外，系统200能够通过视觉显示器(例如位于车辆内的显示屏)将合成的鸟瞰图输出给驾驶员或操作员以改善用户的驾驶体验。因此，系统200的实际应用是，与现有的鸟瞰图生成方法相比，系统200能够被用来提供改进自动车辆功能的性能的输入。
本发明的一个或更多个实施例可以是集成的任何可能的技术细节级别的系统、方法、装置和/或计算机程序产品。计算机程序产品能够包括其上具有用于使处理器执行本发明的各个方面的计算机可读程序指令的计算机可读存储介质。计算机可读存储介质能够是有形设备，其能够保留和存储用于由指令执行设备使用的指令。计算机可读存储介质能够是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备，或上述的任何适当组合。计算机可读存储介质的更具体示例的非详尽列表还能够包括以下介质：便携式计算机磁盘；硬盘；随机存取存储器(RAM)；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；静态随机存取存储器(SRAM)；便携式光盘只读存储器(CD-ROM)；数字多功能盘(DVD)；记忆棒；软盘；机械编码设备，例如穿孔卡或凹槽中的凸起结构，其上记录有指令；以及上述的任何适当组合。本文所使用的计算机可读存储介质不应被解释为瞬态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤缆线的光脉冲)、或通过导线传输的电信号。
本文所述的计算机可读程序指令能够从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。用于执行本发明的操作的计算机可读程序指令能够是汇编指令、指令集架构(instruction-set-architecture，简称ISA)指令、机器指令、机器相关指令(machinedependent instructions)、微码(microcode)、固件指令(firmware instructions)、状态设置数据、集成电路的配置数据，或者以一种或多种编程语言的任何组合编写的源代码或目标代码，其中编程语言包括面向对象的编程语言，例如Smalltalk、C++等，以及过程编程语言，例如“C”编程语言或类似编程语言。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路能够通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，从而执行本发明的各方面。
本文参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个块、以及流程图中的块和/或方框图中的块的组合能够通过计算机可读程序指令来实现。这些计算机可读程序指令能够被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令，创建用于实现在流程图和/或框图块中指定的功能/动作的装置。这些计算机可读程序指令也能够存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得具有存储在其中的指令的计算机可读存储介质包括具有实现在一个或更多个流程图和/或框图块中指定的功能/动作的各方面的指令的制造品。计算机可读程序指令也能够加载到计算机、其他可编程数据处理设备或其他设备上，以引起在计算机、其他可编程设备或其他装置上执行一系列操作动作，从而产生计算机实现的过程，使得在计算机、其它可编程设备、或者其他设备执行的指令实现在一个或更多个流程图块和/或框图块中指定的功能/动作。
附图中的流程图和框图说明了根据本发明各实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个块能够表示指令的模块、段或部分，其包括用于实现指定逻辑功能的一个或更多个可执行指令。在一些替代实施方式中，块中所示的功能能够按附图中所示顺序出现。还将注意到，框图和/或流程图的每个块以及框图和/或者流程图中的块的组合能够由基于专用硬件的系统来实现，该基于专用硬件的系统执行指定的功能或动作或者执行专用硬件和计算机指令的组合。
尽管上述主题是在一台计算机和/或多台计算机上运行的计算机程序产品的计算机可执行指令的广义语境下描述的，但本领域技术人员将认识到，本公开也能够与其他程序模块的组合实现或能够被与其他程序模块的组合实现。所示的方面还能够在分布式计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。但是，本公开的一些方面(如果不是所有方面)能够在独立计算机上实践。在分布式计算环境中，程序模块能够位于本地和远程存储器存储设备中。
如本申请中所使用的，术语“部件”、“系统”、“平台”、“接口”等能够指代和/或能够包括计算机相关的实体(entity)或与具有一个或更多个特定功能的操作机器相关的实体。本文公开的实体能够是硬件、硬件和软件的组合、软件、或执行中的软件。例如，部件能够是但不限于在处理器运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。举例来说，在服务器上运行的应用程序和服务器都能够是部件。一个或更多个部件可以驻留在执行的进程和/或线程内，并且部件能够被限制在一台计算机上和/或分布在两台或更多台计算机之间。在另一示例中，各个部件能够从其上存储有各种数据结构的各种计算机可读介质执行。部件能够经由本地和/或远程进程进行通信，例如根据具有一个或更多个数据包的信号(例如，来自一个部件的数据，该部件与本地系统、分布式系统中的另一个部件交互，和/或通过诸如因特网之类的网络经由该信号与其他系统交互)。作为另一示例，部件能够是具有通过由电路或电子电路操作的机械部件提供的特定功能的装置，该电路或电子电路由处理器执行的软件或固件应用程序操作。在这种情况下，处理器能够位于装置的内部或外部，并且能够执行软件或固件应用程序的至少一部分。作为又一示例，部件能够是通过不具有机械部件的电子部件提供特定功能的装置，其中电子部件能够包括处理器或其他装置来执行至少部分赋予电子部件的功能的软件或固件。在一个方面中，部件能够经由例如云计算系统内的虚拟机来仿真电子部件。
正如在本说明书中所使用的，术语“处理器”能够指基本上任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；平行平台；以及具有分布式共享存储器的并行平台。此外，处理器能够指集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑控制器(PLC)、复杂的可编程逻辑器件(CPLD)、离散门或晶体管逻辑、离散硬件部件、或其被设计为执行本文所述功能的任何组合。此外，处理器能够利用纳米级架构，例如但不限于基于分子和量子点的晶体管、开关和栅极，以便优化空间使用或提高用户设备的性能。处理器还能够被实现为计算处理单元的组合。在本公开中，诸如“存储”、“存储器”、“数据存储”、“数据存储器”、“数据库”以及与部件的操作和功能相关的基本上任何其他信息存储部件之类的术语被用来指代“存储器部件”、包含在“存储器”中的实体、或包括存储器的部件。应当理解，本文所描述的存储器和/或存储器部件能够是易失性存储器或非易失性存储，或者能够包括易失性和非易失存储器。此外，本文公开的系统或计算机实现的方法的存储器部件旨在包括但不限于包括这些和任何其他合适类型的存储器。
上述内容仅包括系统和计算机实现方法的示例。当然，为了描述一个或更多个实施例的目的，不可能描述部件或计算机实现的方法的每一种可想得到的组合，但是本领域的普通技术人员能够认识到，这些实施例的许多进一步的组合和排列是可能的。各种实施例的描述是为了说明的目的而提出的，但并不旨在穷举或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变型对于本领域的普通技术人员来说将是明显的。
此外，在详细说明书、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”、“占有”等的情况下，这些术语旨在以类似于术语“包括”的方式包含在内，因为“包括”在用作权利要求中的过渡词时将被解释。此处使用的术语被选择为最好地解释实施例的原理、实际应用、或对市场上所发现技术的技术改进，或者使本领域普通技术人员能够理解此处公开的实施例。此外，“或”一词旨在表示包容性的“或”，而不是排他性的“或。”也就是说，除非另有规定或上下文明确，否则“X使用A或B”旨在表示任何自然的包容性排列。也就是说，如果X使用A；X使用B；或X使用A和B，则在上述任何情况下，“X使用A或B”均成立。此外，除非另有规定或上下文明确单数形式，否则主题说明书和附图中使用的词“一”和“一个”或“一台”通常应解释为“一个或更多个”或“一台或更多台”。如本文所用，术语“示例”和/或“示例性的”用于表示用作示例、实例或说明。为了避免疑义，本文公开的主题不受这些实例的限制。此外，本文中描述为“示例”和/或“示例性”的任何方面或设计不一定被解释为优于其他方面或设计，也不意味着排除本领域普通技术人员已知的等同示例性结构和技术。

Claims (20)

1.一种系统，包括：
存储计算机可执行部件的存储器；以及
处理器，其执行被存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：
机器学习模型部件，其基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。
2.根据权利要求1所述的系统，其中，所述机器学习模型部件包括：
生成器，其产生所述合成鸟瞰图图像和分割图；以及
鉴别器，其预测所述合成鸟瞰图图像和所述分割图是真实的还是生成的。
3.根据权利要求2所述的系统，其中，所述生成器基于所述鉴别器的预测进行更新。
4.根据权利要求2所述的系统，其中，所述生成器并行地产生所述合成鸟瞰图图像和所述分割图。
5.根据权利要求2所述的系统，其中，所述生成器依次产生所述合成鸟瞰图图像和所述分割图。
6.根据权利要求2所述的系统，其中，所述鉴别器包括第一鉴别器和第二鉴别器。
7.根据权利要求6所述的系统，其中，所述第一鉴别器预测所述合成鸟瞰图图像是真实的还是生成的，并且其中，所述第二鉴别器预测所述分割图是真实的还是生成的。
8.一种计算机实现的方法，包括：
基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。
9.根据权利要求8所述的计算机实现的方法，其中，所述生成包括：
产生所述合成鸟瞰图图像和分割图；以及
预测所述合成鸟瞰图图像和所述分割图是真实的还是生成的。
10.根据权利要求9所述的计算机实现的方法，进一步包括：
基于预测更新所述合成鸟瞰图图像。
11.根据权利要求9所述的计算机实现的方法，其中，所述合成鸟瞰图图像和所述分割图是并行产生的。
12.根据权利要求9所述的计算机实现的方法，其中，所述合成鸟瞰图图像和所述分割图是依次产生的。
13.根据权利要求12所述的计算机实现的方法，其中，所述合成鸟瞰图图像和所述分割图是使用输入跳跃连接产生的。
14.根据权利要求9所述的计算机实现的方法，其中，所述合成鸟瞰图图像和所述分割图是使用生成器的共享编码器层产生的。
15.一种计算机程序产品，包括具有包含在其中的程序指令的计算机可读存储介质，所述程序指令能由处理器执行以使所述处理器：
由所述处理器基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。
16.根据权利要求15所述的计算机程序产品，其中，所述程序指令还能由所述处理器执行以使所述处理器：
产生所述合成鸟瞰图图像和分割图；以及
由所述处理器预测所述合成鸟瞰图图像和所述分割图是真实的还是生成的。
17.根据权利要求16所述的计算机程序产品，其中，所述合成鸟瞰图图像和所述分割图是并行产生的。
18.根据权利要求16所述的计算机程序产品，其中，所述合成鸟瞰图图像和所述分割图是依次产生的。
19.根据权利要求18所述的计算机程序产品，其中，所述合成鸟瞰图图像和所述分割图是使用输入跳跃连接产生的。
20.根据权利要求16所述的计算机程序产品，其中，所述合成鸟瞰图图像和所述分割图是使用生成器的共享编码器层产生的。
CN202310515094.5A 2022-05-09 2023-05-09 鸟瞰图图像和分割图的生成 Pending CN117036158A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/662,580 US20230360279A1 (en) 2022-05-09 2022-05-09 Generation of bird's-eye-view images and segmentation maps
US17/662,580 2022-05-09

Publications (1)

Publication Number Publication Date
CN117036158A true CN117036158A (zh) 2023-11-10

Family

ID=86330880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310515094.5A Pending CN117036158A (zh) 2022-05-09 2023-05-09 鸟瞰图图像和分割图的生成

Country Status (3)

Country Link
US (1) US20230360279A1 (zh)
EP (1) EP4275958A1 (zh)
CN (1) CN117036158A (zh)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
WO2010088840A1 (en) * 2009-02-06 2010-08-12 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
CN103609100B (zh) * 2011-06-09 2017-09-29 爱信精机株式会社 图像生成装置
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
US9441975B2 (en) * 2012-06-05 2016-09-13 Apple Inc. System and method for generating signal coverage information from client metrics
JP6289284B2 (ja) * 2014-06-20 2018-03-07 ルネサスエレクトロニクス株式会社 半導体装置及び制御方法
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
WO2017094300A1 (ja) * 2015-11-30 2017-06-08 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10452927B2 (en) * 2017-08-09 2019-10-22 Ydrive, Inc. Object localization within a semantic domain
US10643320B2 (en) * 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
US20190286921A1 (en) * 2018-03-14 2019-09-19 Uber Technologies, Inc. Structured Prediction Crosswalk Generation
US10650238B2 (en) * 2018-03-28 2020-05-12 Boohma Technologies Llc Opportunity to view an object in image processing
US11378654B2 (en) * 2018-08-02 2022-07-05 Metawave Corporation Recurrent super-resolution radar for autonomous vehicles
US11812197B2 (en) * 2018-08-09 2023-11-07 Sony Corporation Information processing device, information processing method, and moving body
WO2020050498A1 (ko) * 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
CN111771229B (zh) * 2019-01-30 2023-11-21 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的点云重影效果检测系统
US11554785B2 (en) * 2019-05-07 2023-01-17 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation
IT201900012813A1 (it) * 2019-07-24 2021-01-24 Ambarella Int Lp Switchable display during parking maneuvers
US11532168B2 (en) * 2019-11-15 2022-12-20 Nvidia Corporation Multi-view deep neural network for LiDAR perception
US11189007B2 (en) * 2019-12-03 2021-11-30 Imagry (Israel) Ltd Real-time generation of functional road maps
US20210197720A1 (en) * 2019-12-27 2021-07-01 Lyft, Inc. Systems and methods for incident detection using inference models
US20210197813A1 (en) * 2019-12-27 2021-07-01 Lyft, Inc. Systems and methods for appropriate speed inference
US11288522B2 (en) * 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11461915B2 (en) * 2020-01-06 2022-10-04 Qualcomm Incorporated Object size estimation using camera map and/or radar information
US11403851B2 (en) * 2020-08-04 2022-08-02 Verizon Connect Development Limited Systems and methods for utilizing machine learning and other models to reconstruct a vehicle accident scene from video

Also Published As

Publication number Publication date
US20230360279A1 (en) 2023-11-09
EP4275958A1 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
US11321853B2 (en) Self-supervised visual odometry framework using long-term modeling and incremental learning
Abualsaud et al. Laneaf: Robust multi-lane detection with affinity fields
US10891715B2 (en) Deep neural network for image enhancement
US10796201B2 (en) Fusing predictions for end-to-end panoptic segmentation
CN111915663B (zh) 图像深度预测神经网络
CN107506707B (zh) 采用嵌入式系统中的小规模卷积神经网络模块的人脸检测
US10068140B2 (en) System and method for estimating vehicular motion based on monocular video data
US20200242408A1 (en) Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
CN109624990B (zh) 用于基于关键帧的自主车辆操作的系统及计算机实现方法
CN111497863A (zh) 基于轨迹的行动分析判断车辆模式是否变更的方法和装置
CN112639878B (zh) 无监督深度预测神经网络
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111860227A (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
CN113516662B (zh) 基于多分辨率融合的点云分割方法和装置
CN114022799A (zh) 一种自监督单目深度估计方法和装置
EP3663965A1 (en) Method for predicting multiple futures
CN115147598A (zh) 目标检测分割方法、装置、智能终端及存储介质
CN112230632B (zh) 用于自动驾驶的方法、装置、设备和存储介质
CN115699103A (zh) 一种使用可解释自聚焦注意预测行为的方法和装置
CN110660103A (zh) 一种无人车定位方法及装置
CN112800822A (zh) 利用结构约束和物理约束进行3d自动标记
CN111553242A (zh) 用于预测驾驶行为的生成对抗网络的训练方法和电子设备
CN117036158A (zh) 鸟瞰图图像和分割图的生成
CN117392181A (zh) 运动信息的预测方法、计算机设备、存储介质及智能设备
EP3690750B1 (en) Method and device for calibrating physics engine of virtual world simulator to be used for learning of deep learning-based device, and a learning method and learning device for real state network used therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination