CN112907723A - 具有三维对象显示的方法和装置 - Google Patents

具有三维对象显示的方法和装置 Download PDF

Info

Publication number
CN112907723A
CN112907723A CN202011213458.7A CN202011213458A CN112907723A CN 112907723 A CN112907723 A CN 112907723A CN 202011213458 A CN202011213458 A CN 202011213458A CN 112907723 A CN112907723 A CN 112907723A
Authority
CN
China
Prior art keywords
road surface
pitch angle
line segment
groups
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011213458.7A
Other languages
English (en)
Inventor
金知妍
金祐湜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112907723A publication Critical patent/CN112907723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B60K2360/176—
    • B60K2360/177—
    • B60K35/211—
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Abstract

提供了具有三维对象显示的方法和装置。一种显示三维(3D)对象的方法包括：从单个相机获取行驶图像；基于道路表面的曲率的变化，将包括道路表面的线段标记分类为一个或多个组；针对该一个或多个组中的每个组估计与道路表面和单个相机之间的倾斜角相对应的俯仰角；生成道路表面的3D信息；以及基于道路表面的3D信息来显示视觉地叠加在道路表面上的3D对象。

Description

具有三维对象显示的方法和装置
相关申请的交叉引用
本申请要求于2019年11月19日在韩国知识产权局提交的韩国专利申请No.10-2019-0148843的权益，其全部公开内容通过引用并入本文以用于所有目的。
技术领域
以下描述涉及具有三维(3D)对象显示的方法和装置。
背景技术
道路表面的三维(3D)信息用于生成供自动驾驶和先进驾驶辅助系统(ADAS)用的信息。例如，可以通过以下方式来获得道路表面的3D信息：通过使用立体相机所获取的左图像和右图像之间的比较来计算视差，并基于视差来估计包括道路表面在内的所有区域的深度信息。然而，当使用单个相机时，难以通过计算视差来估计深度信息。因此，可能难以使用单个相机来获取道路表面的3D信息。
发明内容
提供本发明内容部分以使用简化形式介绍下面在具体实施方式中进一步描述的一些构思。本发明内容部分不意在确认所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。
在一个总体方面，一种显示三维(3D)对象的方法包括：从单个相机获取包括道路表面的行驶图像；基于道路表面的曲率的变化程度，将道路表面的线段标记分类为一个或多个组；针对该一个或多个组中的每个组，估计与道路表面和单个相机之间的倾斜角相对应的道路表面的俯仰角；针对该一个或多个组中的每个组，使用俯仰角来生成道路表面的3D信息；以及基于道路表面的3D信息来显示视觉地叠加在道路表面上的3D对象。
将线段标记分类为一个或多个组可以包括基于线段的曲率的变化程度对线段标记进行分组。
将线段标记分类为一个或多个组可以包括：将线段的曲率的变化程度与参考改变进行比较；以及基于比较的结果，基于曲率的变化程度大于参考改变的点来将线段标记分类为多个组。
该一个或多个组中的每个组可以在道路表面上形成彼此不同的对应平面。
估计俯仰角可以包括：将针对该一个或多个组中每个组的行驶图像的部分图像转换为针对该一个或多个组中每个组的鸟瞰(BEV)图像，并且基于针对该一个或多个组中每个组的BEV图像来估计道路表面的俯仰角。
估计俯仰角可以包括：将满足第一条件和第二条件中至少之一的俯仰角估计为道路表面的俯仰角，该第一条件为针对该一个或多个组中每个组的BEV图像中包括的线段标记彼此平行，该第二条件为这些线段标记具有相同长度。
估计俯仰角可以包括：基于初始俯仰角来计算针对该一个或多个组中每个组的BEV图像中包括的线段标记的位置，重复调整俯仰角直到满足第一条件和第二条件中至少之一，并且将满足第一条件和第二条件中至少之一的俯仰角确定为道路表面的俯仰角。
行驶图像可以包括随时间的图像序列。生成道路表面的3D信息可以包括：针对该一个或多个组中的每个组随时间平滑道路表面的俯仰角，并且使用经平滑的俯仰角来生成行驶图像中包括的道路表面的3D信息。
平滑俯仰角可以包括：使用时间滤波器，针对该一个或多个组中的每个组随时间平滑道路表面的俯仰角。
显示3D对象可以包括：渲染反映道路表面的3D信息的3D道路模型；以及在3D道路模型上显示3D对象。
该方法还可以包括：从行驶图像中提取与行驶车道相对应的道路表面的线段，并计算所提取的线段的曲率。
提取道路表面的线段可以包括：通过从行驶图像中搜索边缘来检测行驶图像中包括的长度大于或等于预定长度的线段，并且通过基于行驶方向对检测到的线段进行分组来估计与行驶车道相对应的道路表面的线段。
该方法还可以包括：从行驶图像中提取行驶车道的左线和右线，并且计算行驶车道的左线和右线的曲率。
该方法还可以包括输出道路表面的3D信息。
行驶图像可以包括RGB图像和灰度图像中至少之一。
在另一个总体方面，一种用于显示3D对象的装置包括：通信接口，被配置为从单个相机获取行驶图像；处理器，被配置为基于行驶图像中包括的道路表面的线段的曲率的变化程度来将线段标记分类为一个或多个组，针对该一个或多个组中的每个组估计与道路表面与单个相机之间的倾斜角相对应的道路表面的俯仰角，针对该一个或多个组中的每个组使用道路表面的俯仰角来生成行驶图像中包括的道路表面的3D信息，以及基于道路表面的3D信息来在道路表面上表示3D对象；以及显示器，被配置为显示表示3D对象的3D道路模型。
处理器可以被配置为基于线段的曲率的变化程度对线段标记进行分组。
处理器可以被配置为：将线段的曲率的变化程度与参考改变进行比较；以及基于比较的结果，基于曲率的变化程度大于参考改变的点来将线段标记分类为多个组。
该一个或多个组中的每个组可以在道路表面上形成彼此区别的平面。
处理器可以被配置为：将针对该一个或多个组中每个组的行驶图像的部分图像转换为针对该一个或多个组中每个组的鸟瞰(BEV)图像，并且基于针对该一个或多个组中每个组的BEV图像来估计道路表面的俯仰角。
处理器可以被配置为：将满足第一条件和第二条件中至少之一的俯仰角估计为道路表面的俯仰角，该第一条件为针对该一个或多个组中每个组的BEV图像中包括的线段标记彼此平行，该第二条件为这些线段标记具有相同长度。
处理器可以被配置为：基于初始俯仰角来计算针对该一个或多个组中每个组的BEV图像中包括的线段标记的位置，重复调整俯仰角直到满足第一条件和第二条件中至少之一，并且将满足第一条件和第二条件中至少之一的俯仰角确定为道路表面的俯仰角。
行驶图像可以包括随时间的图像序列。处理器可以被配置为：针对该一个或多个组中的每个组随时间平滑道路表面的俯仰角，并且使用经平滑的俯仰角来生成行驶图像中包括的道路表面的3D信息。
处理器可以被配置为：使用时间滤波器，针对该一个或多个组中的每个组随时间平滑道路表面的俯仰角。
处理器可以被配置为：渲染反映道路表面的3D信息的3D道路模型，并且在3D道路模型上表示3D对象。
处理器可以被配置为：从行驶图像中提取与行驶车道相对应的道路表面的线段，并计算所提取的线段的曲率。
处理器可以被配置为：通过从行驶图像中搜索边缘来检测行驶图像中包括的长度大于或等于预定长度的线段，并且通过基于行驶方向对检测到的线段进行分组来估计与行驶车道相对应的道路表面的线段。
处理器可以被配置为：从行驶图像中提取行驶车道的左线和右线，并且计算行驶车道的左线和右线的曲率。
通信接口可以被配置为输出道路表面的3D信息。
在另一个总体方面，一种用于显示三维(3D)对象的装置包括单个相机传感器、处理器和显示器。单个相机传感器被配置为获取包括道路表面的行驶图像。处理器被配置为：基于道路表面的线段的曲率的变化程度来将道路表面的线段标记分类为一个或多个组，针对该一个或多个组中的每个组估计与道路表面与单个相机传感器之间的倾斜角相对应的道路表面的俯仰角，针对该一个或多个组中的每个组使用俯仰角来生成道路表面的3D信息。显示器被配置为基于3D信息来输出视觉地叠加在道路表面上的3D对象。
其他特征和方面将通过以下具体实施方式部分、附图和权利要求变得清楚明白。
附图说明
图1是示出显示三维(3D)对象的示例方法的流程图。
图2示出了从行驶图像中提取道路表面的线段标记的示例方法。
图3示出了将线段标记分类为至少一组的示例方法。
图4示出了估计俯仰角的示例方法。
图5示出了估计俯仰角的示例方法。
图6示出了平滑俯仰角的示例方法。
图7示出了在道路表面上显示的示例3D对象。
图8和9示出了用于显示3D对象的装置的示例。
贯穿附图和具体实施方式，除非另有描述或规定，否则相同的附图标记应被理解为指代相同的元件、特征以及结构。附图可以不按比例绘制，并且为了清楚、图示和方便，可以扩大附图中元件的相对尺寸、比例和描绘。
具体实施方式
提供以下详细描述以帮助读者全面理解本文描述的方法、装置和/或系统。然而，在理解了本申请的公开内容之后，本文中描述的方法、装置和/或系统的各种改变、修改和等同物将是显而易见的。例如，本文中描述的操作顺序仅仅是示例，并不限于在本文中阐述的那些操作顺序，而是可以改变(这在理解本申请的公开内容之后将是显而易见的)，除了必须以一定顺序进行的操作之外。此外，为了更加清楚和简洁，可以省略对本领域已知的特征的描述。
本文描述的特征可以以不同形式来实施，并且不被解释为限于本文描述的示例。相反，提供本文中描述的示例仅仅是为了说明实现本文中描述的方法、装置和/或系统的许多可行方式中的一些，在理解本申请的公开之后这些方式将是显而易见的。
本公开所公开的示例的以下结构或功能描述仅仅出于描述这些示例的目的，且这些示例可以以各种形式实施。示例不意在限制，而是旨在在权利要求的范围内覆盖各种修改、等同物和替代方案。
尽管使用“第一”或“第二”等术语来解释各种组件，但这些组件不限于这些术语。这些术语应该仅用于将一个组件与另一组件区分开来。例如，在根据本公开的构思的权利范围内，“第一”组件可以被称为“第二”组件，或者类似地，“第二”组件可以被称为“第一”组件。
应理解，当提及一个组件“连接”到另一个组件时，该组件可以直接连接或耦接到该另一个组件，或者可以存在介于中间的组件。
除非上下文另外清楚指示，否则本文中使用的单数形式也意在包括复数形式。还应理解，术语“包括”和/或“包含”当在本说明书中使用时，规定了存在所声明的特征、整数、步骤、操作、元件、组件或其组合，但是并没有排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合。
除非本文中另外定义，否则本文中使用的所有术语(包括技术或科学术语)具有与鉴于本申请的公开内容而通常所理解的意义相同的意义。除非本文另外定义，否则常用字典中定义的术语应被解释为具有与相关领域和本申请的公开内容中的上下文含义相匹配的含义，并且不应被解释为理想的或过度形式化的含义。
在下文中，将参考附图来详细描述示例，并且附图中相同的附图标记始终表示相同的元件。
以下示例可以包括或应用于智能车辆的增强现实(AR)导航系统中的线段显示，或包括视觉信息的生成，和/或辅助自动车辆的转向。此外，这些示例可以用于在包括智能系统的示例实施例中显示包括三维(3D)对象在内的视觉信息，例如安装用于车辆中的驾驶辅助或全自动驾驶的平视显示器(HUD)、或其他显示器，以便辅助进行安全舒适的驾驶。些示例包括或适用于例如自动车辆、智能车辆、智能手机、增强现实(AR)HUD或移动设备。
图1是示出显示3D对象的示例方法的流程图。参照图1，在操作110中，用于显示3D对象的装置(在下文中，被称为“显示装置”)从单个相机获取行驶图像。行驶图像可以包括道路表面图像和/或包括车辆、车道、路缘、人行道和/或周围环境在内的道路图像，如图2的非限制示例中的行驶图像210所示。行驶图像可以包括例如RGB图像或灰度图像。行驶图像可以是单个帧图像或随时间收集的一系列帧图像。在本文中，应注意，针对示例或实施例使用术语“可以”(例如，关于示例或实施例可以包括或实现什么)意味着存在至少一个包括或实现这种特征的示例或实施例，但并非所有示例和实施例限于此。
显示装置可以使用安装在行驶车辆正面的单个相机来针对每一帧获取一个或多个行驶图像。单个相机的校准信息可以是预先确定的。
在操作120中，显示装置基于行驶图像中所包括的道路表面的线段的所确定的曲率变化，将线段标记分类为一个或多个组。在下面的描述中，“线段标记”对应于例如用于对线段进行标记的一部分或全部标记。例如，显示装置可以基于线段的曲率变化程度对线段标记进行分组。
在操作120之前，显示装置可以从行驶图像中提取与行驶车道相对应的道路表面的线段。例如，显示装置可以从行驶图像提取行驶车道的左线和右线。显示装置可以通过检测线段标记来提取线段，或者基于车道概率图根据行驶图像的每个像素的线段概率来提取线段。下面将参照图2进一步描述显示装置提取道路表面的线段的方法。
在操作120中，显示装置可以计算所提取的线段的曲率。例如，显示装置可以计算用于将行驶车道与其他车道相区分的左线和右线的曲率、和/或行驶车道以外的其他车道的左线和右线的曲率。显示装置可以计算线段的曲率中的每一个的变化程度例如改变。显示装置可以将基于线段的曲率中的每一个的变化程度而被视为直线的线段标记部分分类到一个组中。下面将参考图3进一步描述显示装置将线段标记分类为一个或多个组的示例方法。
在操作130中，针对该一个或多个组中的每个组，显示装置估计与单个相机和道路表面之间的倾斜角相对应的道路表面的俯仰角(pitch angle)。例如，由于道路表面的局部区域逐渐变化，因此道路上的行进方向可以表示为道路表面的角度变化。因此，可以基于道路表面的俯仰角来生成道路表面的3D信息。例如，显示装置可以将行驶图像中针对该一个或多个组中每个组的部分图像转换为针对该一个或多个组中每个组的鸟瞰(BEV)图像。显示装置可以基于针对该一个或多个组中每个组的BEV图像来估计道路表面的俯仰角。下面将参照图4和图5进一步描述显示装置估计俯仰角的示例方法。
在操作140中，针对该一个或多个组中的每个组，显示装置基于道路表面的俯仰角来生成行驶图像中包括的道路表面的3D信息。例如，当行驶图像包括随时间的图像序列时，显示装置可以针对该一个或多个组中的每个组，随时间平滑道路表面的俯仰角。下面将参照图6进一步描述显示装置平滑俯仰角的方法。显示装置可以基于经平滑的俯仰角来生成行驶图像中包括的道路表面的3D信息。
由于假定每组线段标记是一平面，所以假定道路表面的3D信息中的侧倾角(rollangle)为零。另外，从BEV图像可以预期偏航角(yaw angle)，并且在操作130中估计俯仰角。显示装置可以基于侧倾角、偏航角和俯仰角来生成道路表面的3D信息。
在操作150中，显示装置基于道路表面的3D信息在道路表面上显示3D对象。下面将参照图7进一步描述显示装置在道路表面上显示3D对象的示例方法。
在下面的描述中，术语“道路”是指车辆行进的路径，并且包括各种类型的道路，作为非限制性示例，例如高速公路、国道、局部道路、快速路或公路。在示例中，道路包括一个或多个车道。
术语“车道”是指通过在道路的表面上标记的线段所区分的道路空间。术语“行驶车道”是指多个车道之中行驶车辆正在行进的车道，即，被行驶车辆占据和使用的车道空间。单个车道由其左线和右线与其他车道区分开。
术语“线段”被理解为各种类型的线段标记，例如，以颜色标记的实线或虚线。在道路表面上颜色例如可以包括白色、黄色或浅蓝色。除了用于区分车道的线段之外，属于线段标记的各类线段还可以包括例如之字形线、公交车道线或人行道分隔线。在下面的描述中，线段之中用于区分单个车道的左线和右线被称为“车道边界线”，以将左线和右线与其他线段区分开。
另外，术语“行驶车辆”是指在道路上行进的车辆之中用户的车辆，并且对应于例如自动车辆、或配备有先进驾驶辅助系统(ADAS)的智能车辆或智慧车辆。
图2示出了从行驶图像中提取道路表面的线段标记的示例方法。在图2中，在操作220中，显示装置在行驶图像210中搜索边缘。例如，作为非限制性示例，显示装置可以使用Canny边缘检测方案或Hough变换方案在行驶图像210中搜索边缘。
在操作230中，显示装置从在操作220中发现的边缘检测长度大于或等于预定长度的线段。该预定长度可以对应于例如道路表面上车道虚线的长度或与车道虚线的长度相似的长度。
在操作240中，显示装置从在操作230中检测到的线段中选择预定线段。预定线段可以对应于例如行驶车道的左右车道边界线。例如，显示装置可以基于行驶方向对长度大于或等于预定长度的线段(例如，线段标记)进行分组，并且可以从表示分组的线段标记之中线段特征或边缘的预定区域中选择预定线段。在示例中，当未从预定区域中选择预定线段时，显示装置可以预测具有成为线段的最高可能性的候选线段，并且可以选择该预定线段。
在操作250中，显示装置对在操作240中选择的预定线段执行线段拟合。行驶道路的线段标记可以是实线和/或虚线。例如，当线段标记是虚线或部分虚线时，显示装置可以通过连接虚线或部分虚线的标记来构造单条直线或单条曲线。显示装置可以对预定线段(即，车道边界线)执行线段拟合。
例如，在其中一部分线段标记被障碍物遮挡和/或不可见的示例中，显示装置可以基于已知信息(例如，车道的宽度、除线段之外车道的颜色、看到部分的部分线段)来预测线段。显示装置可以基于预测线段的似然性来估计置信度值，并且可以使用该置信度值来生成道路表面的3D信息。
在操作260中，显示装置通过在操作250中进行了线段拟合的预定线段来分离道路表面上的线段。
通过上述处理，显示装置可以如图2中描绘的图像270所示分离道路表面上的线段275。
根据示例，显示装置可以使用例如预先训练来识别道路表面的线段标记的卷积神经网络(CNN)、深度神经网络(DNN)或支持向量机(SVM)，从行驶图像中提取各种线段或线段标记。可以预先训练CNN以识别道路表面图像的各种线段标记，并且可以是例如基于区域的CNN。例如，可以训练CNN以识别线段标记的边界框以及要从行驶图像中检测的线段。
图3示出了将线段标记分类为一个或多个组的示例方法。在图3中，线段标记311和313被分类为第一组310，并且线段标记331和333被分类为第二组330。
通过上述处理分离的线段可以对应于用于区分行驶车道的车道边界线。行驶车道可以是例如直线区段或弯曲区段。显示装置可以基于例如行驶车辆正在行进的行驶车道的左线和右线的曲率来区分直线区段和弯曲区段，使得直线区段和弯曲区段两者可以用直线标记表示。
在一个或多个示例中，包括单个相机以在车辆行进的方向上捕获前视图像。在该示例中，在所捕获的行驶图像中的行驶车道的左线和右线的线段标记之中，相同高度的线段标记被预测为具有相同的深度。因此，相同高度的左线和右线的线段标记被分类为一组。高度可以指一组的下端与同一组的上端之间的距离。显示装置可以基于左线的曲率变化和右线的曲率变化两者对线段标记进行分组。
显示装置可以将参考改变与基于相同高度分割为一组的左线和右线中的每一条线段的曲率的变化程度进行比较。显示装置可以基于左线和右线的曲率的变化程度大于参考改变的点将线段标记分类为组。
例如，图3的点340和350被描绘为左线和右线中每一条线段的曲率的变化程度大于参考改变的点。显示装置基于点340和350将线段标记311和313分类为第一组310并将线段标记331和333分类为第二组330。在该示例中，对应于第一组310的道路表面形成具有平行四边形形状的相对平面。另外，对应于第二组330的道路表面形成具有与第一组310可区分的平行四边形形状的相对平面。
在示例中，当在行驶图像中仅形成一组时，行驶图像中的整个道路表面可以形成单个平面。在另一示例中，当在行驶图像中形成多于一组(例如，五组)时，行驶图像中的道路表面可以分割成五个区段，并且与道路表面中的五个区段中至少相邻的区段相对应的曲率可以被预测为彼此相对不同。
图4示出了估计俯仰角的示例方法。图4示出了示出线段标记415的部分图像410、通过转换部分图像410所获得的鸟瞰(BEV)图像420、以及其中线段标记415的位置按照从BEV图像420所估计的俯仰角进行调整后的图像430。
显示装置将行驶图像中针对每个组(例如，该示例中的一组)的部分图像410转换为BEV图像420。在该示例中，通过转换与通过对行驶图像中的线段标记415进行分类而形成的一组相对应的部分图像410而不是转换整个行驶图像，来获得BEV图像420。
部分图像41()中的线段标记415被显示为朝向灭点(vanishing point)收敛。当部分图像410被转换为BEV图像420时，当从上方观看部分图像410时，出现在BEV图像420中的线段标记可以彼此平行。在部分图像410中的道路表面例如具有倾斜角的示例中，出现在BEV图像420中的线段标记可以以预定角度发散或收敛，而不是彼此平行。在示例中，可以确定使得出现在BEV图像420中的线段标记彼此平行的角度，并且该角度可以对应于俯仰角。
例如，显示装置可以使用反透视映射(IPM)将部分图像410转换为BEV图像420。IPM从具有距离效果的部分图像410中去除距离效果，并将部分图像410的平面的位置信息转换为世界坐标系的位置信息。通过IPM，将部分图像410的平面的位置信息转换为世界坐标系的位置信息。
例如，假定由于行驶车辆不沿侧倾角方向移动而不存在侧倾值。在该示例中，部分图像410的平面上的偏航角yaw(ψ)和俯仰角pitch(θ)可以分别表示为
Figure BDA0002758197680000111
和
Figure BDA0002758197680000121
另外，与部分图像410相对应的世界坐标(xworld，yworld，zworld)例如如下面的公式1所示进行表示。
公式1：
Figure BDA0002758197680000122
显示装置可以从部分图像410的世界坐标(xworld，yworld，zworld)中去除距离效果，并将部分图像410的平面的位置信息转换为世界坐标系的位置信息，例如如下面的公式2所示。
公式2：
Figure BDA0002758197680000123
在公式2中，
Figure BDA0002758197680000124
显示装置可以通过基于与部分图像410相对应的边界框的中央部分应用IPM来获取BEV图像420。在一个或多个示例中，显示装置可以将IPM应用于检测到的线段标记415，排除部分图像410的背景部分，从而减少计算量。
在一个或多个示例中，显示装置可以基于预先获取的单个相机的校准信息通过执行IPM来估计与部分图像410相对应的BEV图像420。校准信息可以包括例如外部参数。
显示装置可以基于BEV图像420估计道路表面的俯仰角。可以基于道路表面的梯度θ来改变BEV图像420的参考位置。例如，当部分图像410被转换为BEV图像420时，显示装置可以将满足第一条件和第二条件中至少之一的角度估计为道路表面的俯仰角，该第一条件为部分图像410中的线段标记415即同一组中包括的左右线段标记415彼此平行，该第二条件为线段标记415具有相同长度。
显示装置基于初始俯仰角来计算针对每个组的BEV图像420中包括的线段标记的位置。显示装置可以重复调整俯仰角，直到BEV图像420中包括的线段标记满足第一条件和第二条件中的任一者或两者。显示装置将满足第一条件和第二条件中任一者或两者的俯仰角确定为道路表面的俯仰角。
当在BEV图像420中反映了使线段标记415满足上述条件的俯仰角时，BEV图像420中包括的线段标记的位置可以调整为使得线段标记可以彼此平行，如图像430所示。
图5示出了估计俯仰角的示例方法。图5示出了行驶图像510和BEV图像530。
例如，在具有预定梯度的行驶道路的行驶图像510中出现的线段标记511、513和515彼此不平行。显示装置使用上述IPM来转换行驶图像510，优化俯仰角以满足上述条件，并生成BEV图像530。在BEV图像530中，线段标记531、533和535彼此平行。
在该示例中，即使未单独校正偏航角，也不影响通过优化的俯仰角提取的线段标记531、533和535的平行条件。
在公式2中，
Figure BDA0002758197680000131
的坐标系表示具有平坦道路表面的参考平面。另外，Z例如对应于捕获行驶图像510的单个相机的高度。
当Z被反映时，可以计算优化的俯仰角，这将在下面描述。
例如，将BEV图像530中包括的道路表面的线段标记531、533和535各自的斜率定义为
Figure BDA0002758197680000132
在该示例中，显示装置可以通过执行优化以满足例如下面示出的公式3来估计俯仰角。
公式3：
Figure BDA0002758197680000141
显示装置可以通过上述优化来估计转换为BEV图像530的道路表面的3D信息中的俯仰角。
图6示出了平滑俯仰角的示例方法。图6示出了示出与随时间变化的行驶图像相对应的俯仰角的曲线图610、以及与行驶图像中变化的俯仰角相对应的BEV图像620、630、640和650。
如图6的BEV图像620、630、640和650所示，随时间估计的俯仰角的值变化。因此，可以随时间平滑针对一个或多个组中每个组的道路表面的俯仰角。例如，显示装置可以使用时间滤波器(例如，卡尔曼滤波器)随时间平滑针对每个组的道路表面的俯仰角。显示装置可以基于经平滑的俯仰角来生成行驶图像中包括的道路表面的3D信息。
图7示出了在道路表面上显示并叠加的示例3D对象。图7示出了行驶图像710，其包括出现在行驶图像710中的限速显示对象720、车速显示对象730和道路坡向显示对象740。
在图7的示例中，来自行驶图像710的每个组被假定为平面，因此，道路表面的3D信息的侧倾角被认为不存在。另外，从行驶图像710的BEV图像获取偏航角，并且通过上述图1至图6的处理来估计俯仰角。
显示装置基于与在上述处理中获取的道路表面的俯仰角、侧倾角和偏航角相关联的3D信息来渲染反映道路表面的3D信息的3D道路模型，并3D道路模型上显示3D对象。
显示装置在行驶图像710的道路表面上显示3D对象，3D对象包括例如限速显示对象720、车速显示对象730和道路坡向显示对象740。由显示装置在行驶图像710的道路表面上显示的3D对象不必限于此，并且可以显示各种3D对象，例如，行人对象、车辆对象或宠物对象。3D对象可以是3D虚拟对象，例如，AR对象，其可以视觉地叠加在现实世界环境(例如，道路表面)中。
显示装置可以在道路表面上叠加3D虚拟对象，或者允许道路表面和3D虚拟对象之间的交互。
图8示出了用于显示3D对象的示例显示装置800。在图8中，显示装置800包括单相机810、相机处理器820、处理器830、图形处理器840、显示器850和存储器860。相机处理器820、处理器830、图形处理器840和存储器860经由通信总线870彼此通信。
显示装置800接收由单相机810捕获的行驶图像，并输出行驶图像中包括的道路表面的3D信息和/或3D道路模型。
单相机810捕获行驶图像。
相机处理器820通过基于单相机810的校准信息(例如，外部参数)执行IPM，将行驶图像中针对一个或多个组中每个组的部分图像转换为针对该一个或多个组中每个组的BEV图像。
处理器830基于行驶图像中的道路表面的线段的曲率变化将线段标记分类为一个或多个组。处理器830基于针对该一个或多个组中每个组的BEV图像来估计道路表面的俯仰角。处理器830针对该一个或多个组中的每个组基于道路表面的俯仰角来生成行驶图像中包括的道路表面的3D信息。
图形处理器840渲染反映道路表面的3D信息的3D道路模型，并在3D道路模型上表示3D对象。
显示器850显示表示3D对象的3D道路模型。
除了由单相机810捕获的行驶图像之外，存储器860还存储在相机处理器820、处理器830和/或图形处理器840的处理过程中生成的数据和最终结果。
图9是示出用于显示3D对象的示例显示装置900的框图。在图9中，显示装置900包括单个相机910、通信接口920、处理器930和显示器940。显示装置900还包括存储器950。单个相机910、通信接口920、处理器930、显示器940和存储器950经由通信总线905彼此通信。
显示装置900可以包括例如自动车辆、智能车辆、智能电话或移动设备。
单个相机910捕获行驶图像。
通信接口920从单个相机910获取行驶图像。通信接口920输出由处理器930生成的道路表面的3D信息。
处理器930基于行驶图像中包括的道路表面的线段的曲率变化将线段标记分类为一个或多个组。针对该一个或多个组中的每个组，处理器930估计与单个相机910和道路表面之间的倾斜角相对应的道路表面的俯仰角。针对该一个或多个组中的每个组，处理器930基于俯仰角来生成行驶图像中包括的道路表面的3D信息。处理器930基于道路表面的3D信息在道路表面上表示3D对象。
显示器940显示表示3D对象的3D道路模型。显示器940可以包括例如AR HUD。
存储器950存储行驶图像和/或表示3D对象的3D道路模型。
此外，处理器930例如通过一个或多个处理来执行本文参考图1至图8描述的一个或多个处理或方法，所述一个或多个处理通过执行指令而配置为执行本文描述的一个或多个或所有处理或方法。处理器930是具有在物理上被构造为执行期望操作的电路的硬件实现数据处理设备。例如，期望操作包括例如包括在程序中的代码或这种指令。硬件实现数据处理设备包括例如微处理器、中央处理单元(CPU)、处理器核、多核处理器、多处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
处理器930执行程序，并控制显示装置900。处理器930所执行的程序的代码存储在存储器950中。
存储器950存储在处理器930的上述处理过程中生成的各种信息。此外，存储器950存储各种数据和程序。例如，存储器950包括易失性存储器或非易失性存储器。存储器950包括诸如硬盘之类的高容量存储介质以存储各种数据。
显示装置800、单相机810、单个相机910、相机处理器820、处理器830、930、显示器850、940、图形处理器840、存储器860、950、通信接口920、显示装置、处理器、装置、单元、模块、设备和本文描述的其他组件由硬件组件实现。可用于执行本申请中所描述的操作的硬件组件的示例在适当情况下包括控制器、传感器、发生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行本申请中所描述的操作的任何其他电子组件。在其他示例中，执行本申请中所描述的操作的一个或多个硬件组件由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可以通过一个或多个处理元件来实现，处理元件诸如逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以定义的方式响应并执行指令以实现期望结果的任何其他设备或设备组合。在一个示例中，处理器或计算机包括或连接到存储由该处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，例如，操作系统(OS)和在OS上运行的一个或多个软件应用，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在对本申请中描述的示例进行描述时可以使用单数术语“处理器”或“计算机”，但是在其他示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其他硬件组件可以由一个或多个其他处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同的处理配置中的任一种或多种，处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理、和多指令多数据(MIMD)多处理。
执行本申请中所描述的操作的图1至图9的方法由计算硬件执行，例如，由如上所述实现的一个或多个处理器或计算机执行，所述一个或多个处理器或计算机执行指令或软件，以执行本申请中所描述的通过这些方法执行的操作。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器或者处理器和控制器执行，并且一个或多个其他操作可以由一个或多个其它处理器或者另一处理器和另一控制器执行。一个或多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或其任何组合，用于单独或共同指示或配置该一个或多个处理器或计算机以作为机器或专用计算机操作从而执行由上述硬件组件和方法执行的操作。在一个示例中，指令或软件包括由该一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一示例中，指令或软件包括由该一个或多个处理器或计算机使用解释器执行的更高级代码。可以基于附图中所示的框图和流程图以及说明书中的对应描述(公开了用于执行由上述硬件组件和方法执行的操作的算法)，使用任何编程语言来编写指令或软件。
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储设备、硬盘驱动器(HDD)、固态驱动器(SSD)、卡式存储器如多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及被如下配置的任何其它装置：以非暂时性方式存储指令或软件以及任何相关数据、数据文件和数据结构，并且向一个或多个处理器或计算机提供指令或软件以及任何相关数据、数据文件和数据结构，使得该一个或多个处理器或计算机可以执行该指令。在一个示例中，指令或软件以及任何相关数据、数据文件和数据结构分布在联网的计算机系统上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何相关数据、数据文件和数据结构。
尽管本公开包括具体示例，但是在理解了本申请的公开内容之后将清楚，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文描述的示例应被认为仅是描述性的，而不是为了限制的目的。对每个示例中特征或方面的描述应认为适用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合和/或被其他组件或其等同物替换或补充，则可以实现合适的结果。因此，本公开的范围不是由具体实施方式部分来限定，而是由权利要求及其等同物来限定，并且在权利要求及其等同物的范围内的所有变化都应解释为包括在本公开中。

Claims (32)

1.一种处理器实现的显示三维对象的方法，所述方法包括：
从单个相机获取包括道路表面的行驶图像；
基于所述道路表面的线段的曲率的变化程度来将所述道路表面的线段标记分类为一个或多个组；
针对所述一个或多个组中的每个组，估计与所述道路表面与所述单个相机之间的倾斜角相对应的所述道路表面的俯仰角；
针对所述一个或多个组中的每个组，使用所述道路表面的俯仰角来生成所述道路表面的三维3D信息；以及
基于所述3D信息，显示视觉地叠加在所述道路表面上的3D对象。
2.根据权利要求1所述的方法，其中，将所述线段标记分类包括基于所述线段的曲率的变化程度对所述线段标记进行分组。
3.根据权利要求1所述的方法，其中，将所述线段标记分类包括：
将所述线段的曲率的变化程度与参考改变进行比较；以及
基于所述比较的结果，基于曲率的变化程度大于所述参考改变的点，将所述线段标记分类为多个组。
4.根据权利要求1所述的方法，其中，所述一个或多个组中的每个组在所述道路表面上形成彼此不同的对应平面。
5.根据权利要求1所述的方法，其中，针对所述一个或多个组中的每个组估计所述道路表面的俯仰角包括：
将针对所述一个或多个组中每个组的所述行驶图像的部分图像转换为针对所述一个或多个组中每个组的鸟瞰BEV图像；以及
基于针对所述一个或多个组中每个组的所述BEV图像，针对所述一个或多个组中每个组估计所述道路表面的俯仰角。
6.根据权利要求5所述的方法，其中，针对所述一个或多个组中的每个组估计所述道路表面的俯仰角包括：
将满足第一条件和第二条件中的任一者或两者的俯仰角估计为所述道路表面的俯仰角，所述第一条件为针对所述一个或多个组中每个组的所述BEV图像中包括的线段标记彼此平行，所述第二条件为所述线段标记具有相同长度。
7.根据权利要求6所述的方法，其中，针对所述一个或多个组中每个组估计所述道路表面的俯仰角包括：
基于初始俯仰角来计算针对所述一个或多个组中每个组的所述BEV图像中包括的所述线段标记的位置；
重复调整所述俯仰角，直到满足所述第一条件和所述第二条件中的任一者或两者；以及
将满足所述第一条件和所述第二条件中的任一者或两者的俯仰角确定为所述道路表面的俯仰角。
8.根据权利要求1所述的方法，其中，
所述行驶图像包括随时间的图像序列，以及
生成所述道路表面的3D信息包括：
针对所述一个或多个组中的每个组，随时间平滑所述道路表面的俯仰角；以及
使用经平滑的俯仰角来生成所述行驶图像中包括的所述道路表面的3D信息。
9.根据权利要求8所述的方法，其中，平滑所述道路表面的俯仰角包括：使用时间滤波器，针对所述一个或多个组中的每个组随时间平滑所述道路表面的俯仰角。
10.根据权利要求1所述的方法，其中，显示所述3D对象包括：
渲染反映所述道路表面的3D信息的3D道路模型；以及
显示视觉地叠加在所述3D道路模型上的所述3D对象。
11.根据权利要求1所述的方法，还包括：
从所述行驶图像中提取与行驶车道相对应的所述道路表面的线段；以及
计算所提取的线段的曲率。
12.根据权利要求11所述的方法，其中，提取所述道路表面的线段包括：
通过在所述行驶图像中搜索边缘来检测所述行驶图像中包括的长度大于或等于预定长度的线段；以及
通过基于行驶方向对检测到的线段进行分组，估计与所述行驶车道相对应的所述道路表面的线段。
13.根据权利要求11所述的方法，还包括：
从所述行驶图像中提取所述行驶车道的左线和右线；以及
计算所述行驶车道的左线和右线的曲率。
14.根据权利要求1所述的方法，还包括：
输出所述道路表面的3D信息。
15.根据权利要求1所述的方法，其中，所述行驶图像包括RGB图像和灰度图像中的任一者或两者。
16.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使所述处理器执行权利要求1所述的方法。
17.一种用于显示三维对象的装置，所述装置包括：
通信接口，被配置为从单个相机获取包括道路表面的行驶图像；
处理器，被配置为：基于所述道路表面的线段的曲率的变化程度来将所述道路表面的线段标记分类为一个或多个组，针对所述一个或多个组中的每个组估计与所述道路表面与所述单个相机之间的倾斜角相对应的所述道路表面的俯仰角，针对所述一个或多个组中的每个组使用所述道路表面的俯仰角来生成所述道路表面的三维3D信息，并且基于所述3D信息来表示视觉地叠加在所述道路表面上的3D对象；以及
显示器，被配置为显示表示所述3D对象的3D道路模型。
18.根据权利要求17所述的装置，其中，所述处理器进一步被配置为：基于所述线段的曲率的变化程度来对所述线段标记进行分组。
19.根据权利要求17所述的装置，其中，所述处理器进一步被配置为：将所述线段的曲率的变化程度与参考改变进行比较，并且基于所述比较的结果来基于曲率的变化程度大于所述参考改变的点将所述线段标记进行分类为多个组。
20.根据权利要求17所述的装置，其中，所述一个或多个组中的每个组在所述道路表面上形成彼此不同的对应平面。
21.根据权利要求17所述的装置，其中，所述处理器进一步被配置为：将针对所述一个或多个组中每个组的所述行驶图像的部分图像转换为针对所述一个或多个组中每个组的鸟瞰BEV图像，并且基于针对所述一个或多个组中每个组的所述BEV图像来估计所述道路表面的俯仰角。
22.根据权利要求21所述的装置，其中，所述处理器进一步被配置为：将满足第一条件和第二条件中的任一者或两者的俯仰角估计为所述道路表面的俯仰角，所述第一条件为针对所述一个或多个组中每个组的所述BEV图像中包括的线段标记彼此平行，所述第二条件为所述线段标记具有相同长度。
23.根据权利要求22所述的装置，其中，所述处理器进一步被配置为：基于初始俯仰角来计算针对所述一个或多个组中每个组的所述BEV图像中包括的线段标记的位置，重复调整所述俯仰角直到满足所述第一条件和所述第二条件中的任一者或两者，并且将满足所述第一条件和所述第二条件中的任一者或两者的俯仰角确定为所述道路表面的俯仰角。
24.根据权利要求17所述的装置，其中，
所述行驶图像包括随时间的图像序列，以及
所述处理器还被配置为：针对所述一个或多个组中的每个组随时间平滑所述道路表面的俯仰角，并且使用经平滑的俯仰角来生成所述行驶图像中包括的所述道路表面的3D信息。
25.根据权利要求24所述的装置，其中，所述处理器进一步被配置为：使用时间滤波器，针对所述一个或多个组中的每个组随时间平滑所述道路表面的俯仰角。
26.根据权利要求17所述的装置，其中，所述处理器进一步被配置为：渲染反映所述道路表面的3D信息的3D道路模型，并且在所述3D道路模型上表示所述3D对象。
27.根据权利要求17所述的装置，其中，所述处理器进一步被配置为：从所述行驶图像中提取与行驶车道相对应的所述道路表面的线段，并且计算所提取的线段的曲率。
28.根据权利要求27所述的装置，其中，所述处理器进一步被配置为：通过从所述行驶图像中搜索边缘来检测所述行驶图像中包括的长度大于或等于预定长度的线段，并且通过基于行驶方向对检测到的线段进行分组来估计与所述行驶车道相对应的所述道路表面的线段。
29.根据权利要求27所述的装置，其中，所述处理器进一步被配置为：从所述行驶图像中提取所述行驶车道的左线和右线，并且计算所述行驶车道的左线和右线的曲率。
30.根据权利要求17所述的装置，其中，所述通信接口被配置为输出所述道路表面的3D信息。
31.一种用于显示三维对象的装置，包括：
单个相机传感器，被配置为获取包括道路表面的行驶图像；以及
处理器，被配置为：
基于所述道路表面的线段的曲率的变化程度来将所述道路表面的线段标记分类为一个或多个组，
针对所述一个或多个组中的每个组估计与所述道路表面与所述单个相机传感器之间的倾斜角相对应的所述道路表面的俯仰角，以及
针对所述一个或多个组中的每个组使用所述俯仰角来生成所述道路表面的3D信息。
32.根据权利要求31所述的装置，还包括：显示器，被配置为基于所述3D信息来输出视觉地叠加在所述道路表面上的3D对象。
CN202011213458.7A 2019-11-19 2020-11-03 具有三维对象显示的方法和装置 Pending CN112907723A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190148843A KR20210061069A (ko) 2019-11-19 2019-11-19 3차원 객체를 표시하는 방법 및 장치
KR10-2019-0148843 2019-11-19

Publications (1)

Publication Number Publication Date
CN112907723A true CN112907723A (zh) 2021-06-04

Family

ID=72292456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011213458.7A Pending CN112907723A (zh) 2019-11-19 2020-11-03 具有三维对象显示的方法和装置

Country Status (4)

Country Link
US (1) US11453337B2 (zh)
EP (1) EP3825904B1 (zh)
KR (1) KR20210061069A (zh)
CN (1) CN112907723A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022250468A1 (en) * 2021-05-26 2022-12-01 Samsung Electronics Co., Ltd. Method and electronic device for 3d object detection using neural networks
CN113942458B (zh) * 2021-10-29 2022-07-29 禾多科技（北京）有限公司 用于车载摄像头调整系统的控制方法、装置、设备和介质
KR102598898B1 (ko) * 2022-10-07 2023-11-06 주식회사 자동차공학연구소 가상 도로주행 공간의 설계 방법 및 가상 도로주행 공간의 설계 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3922194B2 (ja) * 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
KR100631082B1 (ko) 2004-10-19 2006-10-02 주식회사 세인시스템 단일 카메라를 사용한 3차원 영상정보 획득방법 및 이를이용한 영상검지방법
WO2007096952A1 (ja) * 2006-02-22 2007-08-30 Navitime Japan Co., Ltd. 地図表示システムおよび地図表示システムにおける地図表示方法ならびに地図表示装置およびプログラム
JP2013123970A (ja) 2011-12-14 2013-06-24 Toshiba Corp 表示装置
CN104813230A (zh) 2012-11-30 2015-07-29 汤姆逊许可公司 使用单个相机捕捉三维图像的方法和系统
CN103854008B (zh) 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
DE102014012285A1 (de) 2014-08-22 2016-02-25 Jenoptik Robot Gmbh Verfahren und Achsenzähl-Vorrichtung zur berührungslosen Achsenzählung eines Fahrzeugs sowie Achsenzählsystem für den Straßenverkehr
KR101634283B1 (ko) 2015-12-18 2016-06-30 주식회사 싸인텔레콤 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
US10210402B2 (en) 2016-03-15 2019-02-19 Mobileye Vision Technologies Ltd. Road plane output with lateral slope
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
JP7090597B2 (ja) 2016-09-28 2022-06-24 トムトム グローバル コンテント ベスローテン フエンノートシャップ 位置特定基準データを生成及び使用する方法及びシステム
US10528802B2 (en) * 2018-01-09 2020-01-07 Futurewei Technologies, Inc. Head pose and distraction estimation
KR20200036335A (ko) 2018-09-28 2020-04-07 삼성전자주식회사 차로를 결정하는 방법 및 장치

Also Published As

Publication number Publication date
US20210146839A1 (en) 2021-05-20
US11453337B2 (en) 2022-09-27
EP3825904B1 (en) 2024-01-24
EP3825904A1 (en) 2021-05-26
KR20210061069A (ko) 2021-05-27

Similar Documents

Publication Publication Date Title
CN110155053B (zh) 提供用于驾驶车辆的信息的方法和设备
EP3462377B1 (en) Method and apparatus for identifying driving lane
KR102628654B1 (ko) 차선을 표시하는 방법 및 장치
US10915763B2 (en) Method and apparatus with lane determination
US11842447B2 (en) Localization method and apparatus of displaying virtual object in augmented reality
US11294392B2 (en) Method and apparatus for determining road line
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
CN112907723A (zh) 具有三维对象显示的方法和装置
US11486727B2 (en) Map generation device, map generation method, and map generation computer program
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
US11049275B2 (en) Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof
CN111060094A (zh) 车辆定位方法和装置
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
US10891795B2 (en) Localization method and apparatus based on 3D color map
US11176719B2 (en) Method and apparatus for localization based on images and map data
KR20200100810A (ko) 자율 주행을 위한 자차 위치 예측 방법 및 자율 주행 장치
KR20200060194A (ko) 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치
KR102519666B1 (ko) 이미지 변환 장치 및 방법
CN111091038A (zh) 训练方法、计算机可读介质和检测消失点的方法及装置
CN112800822A (zh) 利用结构约束和物理约束进行3d自动标记
JP6660367B2 (ja) 車外環境認識装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2023102768A (ja) 道路地図生成システム及び使用方法
US20240119740A1 (en) Method and apparatus with lane line determination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination