CN113196341A - 用于对道路的表面上的对象进行检测和建模的方法 - Google Patents

用于对道路的表面上的对象进行检测和建模的方法 Download PDF

Info

Publication number
CN113196341A
CN113196341A CN201880100208.7A CN201880100208A CN113196341A CN 113196341 A CN113196341 A CN 113196341A CN 201880100208 A CN201880100208 A CN 201880100208A CN 113196341 A CN113196341 A CN 113196341A
Authority
CN
China
Prior art keywords
road
scanned
vehicles
model
remote server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880100208.7A
Other languages
English (en)
Inventor
薛海涛
全冬兵
杨长鸿
J·赫布斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Investment China Co ltd
Continental Automotive GmbH
Original Assignee
Continental Investment China Co ltd
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Investment China Co ltd, Continental Automotive GmbH filed Critical Continental Investment China Co ltd
Publication of CN113196341A publication Critical patent/CN113196341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission

Abstract

一种用于对道路(40)的表面上的对象(60)进行检测和建模的方法，包括扫描道路(40)和生成被扫描的道路(40)的3D模型的步骤。被扫描的道路的3D模型包含道路(40)的3D表面的描述。在一个另外的步骤中，创建道路(40)的俯视图像。通过评估道路(40)的俯视图像来在道路(40)的表面上检测对象(60)。将检测到的对象(60)投影在被扫描的道路(40)的3D模型中的道路(40)的表面上。对投影在被扫描的道路(40)的3D模型中的道路(40)的表面上的对象(60)进行建模。

Description

用于对道路的表面上的对象进行检测和建模的方法
技术领域
本公开内容涉及一种用于对道路的表面上的对象进行检测和建模的方法。此外，本公开内容涉及一种用于对道路的表面上的对象进行检测和建模的系统。
背景技术
先进的驾驶辅助系统和自主驾驶汽车需要关于道路以及车辆可以在其上行驶的其他区域的高精度地图。使用常规卫星导航系统(例如GPS、Galileo、GLONASS)或其他已知的定位技术(诸如三角测量等)不能够实现以数厘米的准确度确定车辆在道路上或甚至在道路的车道上的位置。然而，特别地，当自动驾驶车辆在具有多个车道的道路上移动时，需要准确地确定其在车道上的横向位置和纵向位置。
以高精度确定车辆的位置的一种已知的方法涉及一个或多个摄像机捕获道路标记/道路涂绘(paint)的图像，以及将捕获的图像中沿着道路的道路标记/道路涂绘或对象的独特特征与从数据库获得的对应的参考图像进行比较，在所述参考图像中提供了道路标记/涂绘或对象的相应的位置。这种确定位置的方法仅当数据库提供高度准确的位置数据和图像时并且当数据库被定期地或以合适的间隔被更新时才提供足够准确的结果。
道路标记可以由在行驶时捕获道路图像的专用车辆捕获和登记，或可以从航空照片或卫星图像提取。后一变体可以被认为是有利的，因为垂直视图或俯视图像示出了在大体上平坦的表面上的道路标记/涂绘和其他特征的很少失真。
然而，航空照片和卫星图像可能不会提供对于生成道路标记/涂绘以及其他道路特征的高度准确的地图足够的细节。此外，航空照片和卫星图像不太适合提供从地面视角最佳地查看到的对象和道路特征上的细节。
期望提供一种用于对道路的表面上的对象进行检测和建模的方法，该方法允许确定对象在道路的表面上的准确三维位置。另一期望是提供一种用于对道路的表面上的对象进行检测和建模的系统，该系统允许提供对象在道路的表面上的准确三维位置。
发明内容
权利要求1中限定了一种用于对道路的表面上的对象进行检测和建模的方法的一实施方案。
根据所述用于对道路的表面上的对象进行检测和建模的方法，在第一步骤中，扫描所述道路。在随后的第二步骤中，生成被扫描的道路的3D模型。所述3D模型包含所述道路的3D表面的描述。在随后的第三步骤中，创建所述道路的俯视图像。
在该方法的第四步骤中，通过评估所述道路的所述俯视图像来在所述道路的所述表面上检测所述对象。在该方法的第五步骤中，将检测到的对象投影在所述被扫描的道路的所述3D模型中的所述道路的所述表面上。在该方法的最后第六步骤中，对投影在所述被扫描的道路的所述3D模型中的所述道路的所述表面上的所述对象进行建模。
对位于道路的表面上的对象/道路涂绘进行检测和对检测到的对象/道路涂绘进行建模的常规方法常常提供道路涂绘或对象的不准确的三维位置以及道路的表面上的道路涂绘或对象的不正确的逻辑信息。特别地，由于一旦从由摄像机系统捕获的每一帧检测到一块涂绘(painting)，非常难以从不同的帧得到检测结果之间的关联性。此外，在现实世界中，道路的表面上的检测到的对象或检测到的涂绘可能是任意形状的，使得用于进行涂绘检测和建模的常规方法以大误差表示它。
呈现的用于对道路的表面上的对象进行检测和建模的方法将关于3D道路表面的信息和来自在不同时间沿着道路行驶的分散的车辆的道路的表面上的检测到的对象或道路涂绘信息融合(merge)，以调整和改善道路表面估计和道路涂绘/对象检测。所述用于对道路的表面上的对象进行检测和建模的方法的框架可以分为四个基本部分。
在该方法的第一部分中，由沿着道路行驶的每个车辆估计道路表面。每个车辆将向远程服务器报告相应的检测到的道路表面。在远程服务器中，将从沿着道路行驶的多个车辆获得的不同信息合并(conflate)。因此，可以在远程服务器中计算更准确的道路表面模型。
在该方法的第二部分中，将由车辆的面向前的摄像机单元捕获的道路路线从前摄像机视图转变为鸟瞰视图。特别地，对于由摄像机单元捕获的每一帧，首先进行逆透视转变，然后将提取图像的部分以组合成道路的完整路线的大图像。将在被扫描的道路的俯视/鸟瞰图像中检测道路的表面上的对象或道路涂绘。
在该方法的第三部分中，从2D俯视/鸟瞰图像到道路表面的3D模型执行3D对象/涂绘投影。在将检测到的对象/道路涂绘从2D俯视/鸟瞰图像投影到道路表面的3D模型之后，评估道路的3D模型以获得对象/道路涂绘的3D位置和对象/道路涂绘的逻辑信息。
在该方法的最后第四部分中，以3D方式对道路的表面上的检测到的对象/道路涂绘进行建模。由于道路的表面上的对象/道路涂绘可能具有任何形状，因此可以使用非均匀有理B样条(Non-Uniform Rational B-Spline，NURBS)技术用于对检测到的对象/道路涂绘进行3D建模。NURBS曲线拟合算法可以有利地表示任何形式的曲线，使得NURBS算法允许精确地表示道路的表面上的任何对象/道路涂绘。与通过所提出的NURBS曲线拟合算法对对象/道路涂绘进行3D建模相比，用于对道路的表面上的对象/道路涂绘进行建模的常规方法通常通过多段线表示检测到的对象/道路涂绘，这消耗了大量的存储容量。然而，NURBS算法将极大地压缩数据。
权利要求11限定了一种用于对道路的表面上的对象进行检测和建模的系统。
根据一可能的实施方案，该系统包括：多辆车辆，其沿着所述道路行驶；以及远程服务器，其在空间上远离所述多个车辆定位。所述车辆中的每个包括相应的摄像机单元以扫描所述道路。此外，所述车辆中的每个被实施用以生成被扫描的道路的3D模型。所述3D模型包含所述道路的所述表面的描述。所述车辆中的每个被实施用以创建所述道路的相应的单独的俯视图并且将所述道路的相应的单独的俯视图转发到所述远程服务器。
所述远程服务器被实施用以通过评估和合并所述被扫描的道路的所述相应的单独的俯视图像来创建所述被扫描的道路的俯视图像。所述远程服务器还被实施用以通过评估所述道路的所述俯视图像来检测所述道路的所述表面上的所述对象。此外，所述远程服务器被实施用以将检测到的对象投影在所述被扫描的道路的所述3D模型中的所述道路的所述表面上。所述远程服务器还被实施用以对投影在所述被扫描的道路的所述3D模型中的所述道路的所述表面上的所述对象进行建模。
在下面的详细描述中阐明了附加特征和优点。应理解，前述的一般描述和下面的详细描述都仅仅是示例性的，并且意在提供用于理解权利要求的本质和特征的概述或框架。
附图说明
附图被包括以提供进一步理解，并且被并入说明书中并且构成说明书的一部分。这样，从结合附图进行的以下详细描述将更充分地理解本公开内容，在附图中：
图1示出了一种用于对道路的表面上的对象进行检测和建模的方法的流程图；
图2示出了一种用于对道路的表面上的对象进行检测和建模的系统的示例性简化块图；
图3A示出了由摄像机单元捕获的第一简化情景以及对道路的捕获的图片的用于进一步处理的区域的选择，以及
图3B示出了由摄像机单元捕获的第二简化情景以及对道路的捕获的图片的用于进一步处理的区域的选择。
具体实施方式
在下面参考图1以及参考图2解释了用于对道路的表面上的对象进行检测和建模的方法，图1例示了该方法的一系列不同步骤，图2例示了一种用于对道路的表面上的对象进行检测和建模的系统的组件。
在该方法的步骤S1中，车辆扫描该车辆行驶所沿的道路40。根据图2中所示出的系统的一可能的实施方案，多个车辆10a、10b和10c沿着道路40行驶，并且在行驶过程期间扫描该道路的路线。为此目的，所述车辆中的每个包括相应的摄像机单元11。摄像机单元11可以被实施为车载的、面向前的摄像机。相应的摄像机单元11可以包括CCD传感器阵列。优选地，可以提供简单的单目摄像机。替代地，可以使用立体摄像机，该立体摄像机可以具有彼此相距一距离安装的两个成像传感器。图3A和图3B示出了由摄像机单元11捕获的两个紧接的图片50a、50b。
在该方法的步骤S2中，生成被扫描的道路40的3D模型。该3D模型包含道路40的3D表面的描述。即使提供单目摄像机作为摄像机单元11，车辆沿着道路的移动使得能够生成被扫描的道路40的3D模型。被扫描的道路40的生成的3D模型可以被解释为点云。特别地，可以通过评估在沿着道路行驶时由车辆10a、10b和10c中的每个的相应的处理器单元12捕获的图片来生成密集的或半密集的点云。
根据该方法的一可能的实施方案，可以由车辆10a、10b和10c中的每个生成被扫描的道路40的相应的单独的3D模型。相应的单独的3D模型可以由车辆10a、10b和10c中的每个转发到在空间上远离多个车辆10a、10b和10c定位的远程服务器20。为了将被扫描的道路40的相应的生成的单独的3D模型传输到远程服务器20，车辆10a、10b和10c中的每个包括通信系统13。
远程服务器20通过评估和合并从车辆10a、10b和10c接收的被扫描的道路40的相应的单独的3D模型来生成被扫描的道路40的3D模型。从车辆10a、10b和10c接收的单独的3D模型中的每个存储在远程服务器20的存储单元22中。特别地，在沿着道路行驶时由车辆中的每个生成的各个点云通过远程服务器20的处理器单元21进行匹配，以提供道路40的3D模型。该3D模型包含关于道路表面的信息，使得远程服务器20可以执行道路表面估计。被扫描的道路的准确的道路表面模型可以通过处理器单元21通过将由车辆10a、10b和10c中的每个生成的各个单独的3D模型合并和匹配来构造。
在该方法的步骤S3中，创建道路40的俯视/鸟瞰图像。特别地，由车辆10a、10b和10c中的每个创建被扫描的道路40的相应的单独的俯视/鸟瞰图像。相应的单独的俯视/鸟瞰图像由车辆10a、10b和10c的通信系统13中的每个转发到远程服务器20。远程服务器20可以通过评估和合并被扫描的道路40的相应的单独的俯视图像来创建被扫描的道路40的俯视图像。位于道路的表面上的对象，例如道路涂绘，可以通过处理器单元21通过评估被扫描的道路40的3D模型和被扫描的道路40的俯视图像来检测。
在下面参考图3A和图3B描述了由车辆10a、10b和10c中的每个对被扫描的道路40的相应的单独的俯视图像的创建。
图3A示出了由沿着道路40行驶的车辆10a、10b和10c中的一个的摄像机单元11捕获的简化情景的第一图片50a。图3B示出了在晚于第一图片短时间由车辆10a、10b和10c中的同一个的摄像机单元11捕获的简化情景的第二图片50b。捕获的图片50a、50b中的每个中的虚线包围图片50a、50b中的每个中的一个区(zone)，在所述区中摄像机单元11的摄像机光学元件导致最小失真。
当车辆向前移动时，情景中的特征朝向车辆移动并且最终经过车辆，使由摄像机单元11捕获该情景。在图3B中，与图3A中所示出的情景相比，车辆已经向前移动了一定距离，使得位于道路40的表面上的对象/道路涂绘60(例如，方向箭头)已经移动到前景中并且，在图3A中被示出在背景区域中的交通标志30已经移动到捕获的图片50b中的中心区域内。摄像机光学元件导致最小失真的区位于捕获的图片50a、50b中的每个的中心区域中。
如图3A和图3B中所示出的，由车辆10a、10b和10c中的每个的相应的摄像机单元11时间延迟地捕获一系列至少第一相应的单独的图片50a和第二相应的单独的图片50b。由车辆10a、10b和10c中的每个从第一图片50a选择相应的第一区域51。相应的第一区域51位于第一图片50a的一个域中，在所述区中摄像机单元11的光学元件导致最小失真。此外，由车辆10a、10b和10c中的每个从第二图片50b选择相应的第二区域52。相应的第二区域52位于第二图片50b的一个区中，在所述区中摄像机单元11的光学元件导致最小失真。
由车辆10a、10b和10c中的每个将所选择的相应的第一区域51转变为相应的第一俯视透视图。此外，由车辆10a、10b和10c中的每个将所选择的相应的第二区域52转变为相应的第二俯视透视图。为了创建相应的单独的俯视/鸟瞰图像，由车辆10a、10b和10c中的每个将相应的第一俯视透视图和第二俯视透视图缝合在一起。
可以由车辆10a、10b和10c中的每个的相应的处理器单元12执行用以获得相应的所选择的区域的俯视透视图的转变和将俯视透视图缝合在一起的步骤。该转变可以是将区域51、52中的每个从摄像机单元11的视图转变为鸟瞰视图的逆透视转变。
在该方法的步骤S4中，通过评估道路40的俯视图像来检测道路40的表面上的对象/道路涂绘60，例如图3A和图3B中所示出的方向箭头。此步骤允许检测位于道路40的表面上的对象，诸如道路涂绘或其他对象，例如，下水道的盖。
在该方法的步骤S5中，将检测到的对象60投影在被扫描的道路40的3D模型中的道路40的表面上。为了执行投影步骤，由远程服务器20的处理器单元21比较和匹配由摄像机单元11捕获的道路的图片50a、50b、道路的俯视图像和被扫描的道路的3D模型的点云。
匹配过程使得能够将检测到的对象60投影在被扫描的道路40的3D模型中。根据一可能的实施方案，在将在道路40的俯视图像中检测到的对象60投影在被扫描的道路的3D模型中的道路40的表面上之后，确定关于对象60的3D位置和逻辑信息。
在该方法的步骤S6中，对投影在被扫描的道路的3D模型中的道路40的表面上的对象60进行建模。为此目的，可以使用数学曲线拟合算法。特别地，可以使用非均匀有理B样条技术来执行曲线拟合。此所谓的NURBS技术可以表示任何形式的曲线，使得能够精确地表示检测到的对象/道路涂绘。
参考符号列表
10 车辆
11 摄像机单元
12 处理器单元
13 通信单元
20 远程服务器
21 处理器单元
22 存储单元
30 交通标志
40 道路
50 捕获的图像
51、52 所选择的区域
60 道路涂绘。

Claims (12)

1.一种用于对道路的表面上的对象进行检测和建模的方法，包括：
-扫描所述道路(40)，
-生成被扫描的道路(40)的3D模型，所述3D模型包含所述道路(40)的3D表面的描述，
-创建所述道路(40)的俯视图像，
-通过评估所述道路(40)的所述俯视图像来检测所述道路(40)的所述表面上的所述对象(60)，
-将检测到的对象(60)投影在所述被扫描的道路(40)的所述3D模型中的所述道路(40)的所述表面上，
-对投影在所述被扫描的道路(40)的所述3D模型中的所述道路(40)的所述表面上的所述对象(60)进行建模。
2.根据权利要求1所述的方法，
其中由沿着所述道路(40)行驶的多个车辆(10a、10b、10c)扫描所述道路(40)，所述车辆(10a、10b、10c)中的每个包括相应的摄像机单元(11)。
3.根据权利要求2所述的方法，
其中所述被扫描的道路(40)的相应的单独的3D模型由所述车辆(10a、10b、10c)中的每个生成并且转发到远程服务器(20)。
4.根据权利要求3所述的方法，
其中所述远程服务器(20)通过评估和合并从相应的车辆(10a、10b、10c)接收的所述被扫描的道路(40)的所述相应的单独的3D模型来生成所述被扫描的道路(40)的所述3D模型。
5.根据权利要求1至4中任一项所述的方法，
其中所述被扫描的道路(40)的生成的3D模型被解释为点云。
6.根据权利要求2至5中任一项所述的方法，
-其中所述被扫描的道路(40)的相应的单独的俯视图像由所述车辆(10a、10b、10c)中的每个创建并且转发到远程服务器(20)，
-其中所述远程服务器(20)通过评估和合并所述被扫描的道路(40)的所述相应的单独的俯视图像来创建所述被扫描的道路(40)的所述俯视图像。
7.根据权利要求6所述的方法，
-其中由所述车辆(10a、10b、10c)中的每个的所述相应的摄像机单元(11)捕获一系列至少第一相应的单独的图片(50a)和第二相应的单独的图片(50b)，
-其中由所述车辆(10a、10b、10c)中的每个从第一图片(50a)选择相应的第一区域(51)，所述第一区域位于所述第一图片(50a)的一个区中，在所述区中所述摄像机单元(11)的光学元件导致最小失真，
-其中由所述车辆(10a、10b、10c)中的每个从第二图片(50b)选择相应的第二区域(52)，所述第二区域位于所述第二图片(50b)的一个区中，在所述区中所述摄像机单元(11)的光学元件导致最小失真，
-其中所选择的相应的第一区域(51)由所述车辆(10a、10b、10c)中的每个转变为相应的第一俯视透视图，并且所选择的相应的第二区域(52)由所述车辆(10a、10b、10c)中的每个转变为相应的第二俯视透视图，
-其中由所述车辆(10a、10b、10c)中的每个将相应的第一俯视透视图和第二俯视透视图缝合在一起以创建所述相应的单独的俯视图像。
8.根据权利要求1至7中任一项所述的方法，
其中在将在所述道路(40)的所述俯视图像中检测到的所述对象(60)投影在所述被扫描的道路(40)的所述3D模型中的所述道路(40)的所述表面上之后，确定关于所述对象(60)的3D位置和逻辑信息。
9.根据权利要求1至8中任一项所述的方法，
其中通过非均匀有理B样条曲线拟合技术来对投影在所述被扫描的道路(40)的所述3D模型中的所述道路(40)的所述表面上的所述对象(60)进行建模。
10.根据权利要求1至9中任一项所述的方法，
其中投影在所述被扫描的道路的所述3D模型中的所述道路(40)的所述表面上的所述对象(60)是道路涂绘。
11.一种用于对道路的表面上的对象进行检测和建模的系统，包括：
-多辆车辆(10a、10b、10c)，其沿着所述道路(40)行驶，
-远程服务器(20)，其在空间上远离所述多个车辆(10a、10b、10c)定位，
-其中所述车辆(10a、10b、10c)中的每个包括相应的摄像机单元(11)以扫描所述道路(40)，
-其中所述车辆(10a、10b、10c)中的每个被实施用以生成被扫描的道路(40)的3D模型，所述3D模型包含所述道路(40)的所述表面的描述，
-其中所述车辆(10a、10b、10c)中的每个被实施用以创建所述道路(40)的相应的单独的俯视图像并且将所述相应的单独的俯视图像转发到所述远程服务器(20)，
-其中所述远程服务器(20)被实施用以通过评估和合并所述被扫描的道路(40)的所述相应的单独的俯视图像来创建所述被扫描的道路(40)的俯视图像，
-其中所述远程服务器(20)被实施用以通过评估所述道路(40)的所述俯视图像来检测所述道路(40)的所述表面上的所述对象(60)，
-其中所述远程服务器(20)被实施用以将检测到的对象(60)投影在所述被扫描的道路(40)的所述3D模型中的所述道路(40)的所述表面上，
-其中所述远程服务器(20)被实施用以对投影在所述被扫描的道路(40)的所述3D模型中的所述道路(40)的所述表面上的所述对象(60)进行建模。
12.根据权利要求11所述的系统，
其中所述远程服务器(20)被实施用以通过非均匀有理B样条曲线拟合技术来对所述对象(60)进行建模。
CN201880100208.7A 2018-12-13 2018-12-13 用于对道路的表面上的对象进行检测和建模的方法 Pending CN113196341A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/120886 WO2020118619A1 (en) 2018-12-13 2018-12-13 Method for detecting and modeling of object on surface of road

Publications (1)

Publication Number Publication Date
CN113196341A true CN113196341A (zh) 2021-07-30

Family

ID=71076195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880100208.7A Pending CN113196341A (zh) 2018-12-13 2018-12-13 用于对道路的表面上的对象进行检测和建模的方法

Country Status (7)

Country Link
US (2) US11715261B2 (zh)
EP (1) EP3895135A4 (zh)
JP (1) JP2022513830A (zh)
KR (1) KR20210102953A (zh)
CN (1) CN113196341A (zh)
CA (1) CA3122865A1 (zh)
WO (1) WO2020118619A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182762A1 (ko) * 2022-03-21 2023-09-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069395A (zh) * 2015-05-17 2015-11-18 北京工业大学 基于地面三维激光扫描技术的道路标线自动识别方法
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
CN107851125A (zh) * 2015-08-11 2018-03-27 大陆汽车有限责任公司 通过车辆和服务器数据库进行两步对象数据处理以生成、更新和传送精确道路特性数据库的系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483442B2 (en) * 2007-02-16 2013-07-09 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
DE102014208664A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
CN104766366B (zh) * 2015-03-31 2019-02-19 东北林业大学 一种三维虚拟现实演示的建立方法
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CA3029124A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
CN110832348B (zh) * 2016-12-30 2023-08-15 辉达公司 用于自主车辆的高清晰度地图的点云数据丰富
EP3645972A4 (en) * 2017-06-30 2021-01-13 SZ DJI Technology Co., Ltd. CARD GENERATION SYSTEMS AND METHODS
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069395A (zh) * 2015-05-17 2015-11-18 北京工业大学 基于地面三维激光扫描技术的道路标线自动识别方法
CN107851125A (zh) * 2015-08-11 2018-03-27 大陆汽车有限责任公司 通过车辆和服务器数据库进行两步对象数据处理以生成、更新和传送精确道路特性数据库的系统和方法
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
CN107798724A (zh) * 2016-09-02 2018-03-13 德尔福技术有限公司 自动化车辆3d道路模型和车道标记定义系统

Also Published As

Publication number Publication date
KR20210102953A (ko) 2021-08-20
JP2022513830A (ja) 2022-02-09
EP3895135A1 (en) 2021-10-20
WO2020118619A1 (en) 2020-06-18
US11715261B2 (en) 2023-08-01
EP3895135A4 (en) 2022-08-24
US20210304492A1 (en) 2021-09-30
CA3122865A1 (en) 2020-06-18
US20230351687A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
CN110832275B (zh) 基于双目图像更新高分辨率地图的系统和方法
CN110859044B (zh) 自然场景中的集成传感器校准
De Silva et al. Fusion of LiDAR and camera sensor data for environment sensing in driverless vehicles
JP2021508815A (ja) 妨害物体の検出に基づいて高精細度マップを補正するためのシステムおよび方法
JP2012185011A (ja) 移動体位置測定装置
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
CN113034540A (zh) 基于摄像机的自动化精密道路地图生成系统及方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20230351687A1 (en) Method for detecting and modeling of object on surface of road
WO2020118623A1 (en) Method and system for generating an environment model for positioning
NL2016718B1 (en) A method for improving position information associated with a collection of images.
WO2022133986A1 (en) Accuracy estimation method and system
Trusheim et al. Cooperative localisation using image sensors in a dynamic traffic scenario
Deliś et al. Video imagery orientation acquired using a low cost mobile mapping system
CN113874681A (zh) 点云地图质量的评估方法和系统
Tou et al. Producing a three-dimensional road map for car navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination