CN109840880A - 一种路面识别方法和装置 - Google Patents

一种路面识别方法和装置 Download PDF

Info

Publication number
CN109840880A
CN109840880A CN201810824707.2A CN201810824707A CN109840880A CN 109840880 A CN109840880 A CN 109840880A CN 201810824707 A CN201810824707 A CN 201810824707A CN 109840880 A CN109840880 A CN 109840880A
Authority
CN
China
Prior art keywords
road surface
point
data
pixel
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810824707.2A
Other languages
English (en)
Other versions
CN109840880B (zh
Inventor
王泮渠
陈鹏飞
朱力耕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Future Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd filed Critical Beijing Tusimple Future Technology Co Ltd
Priority to CN202310839833.6A priority Critical patent/CN116912793A/zh
Publication of CN109840880A publication Critical patent/CN109840880A/zh
Application granted granted Critical
Publication of CN109840880B publication Critical patent/CN109840880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明公开一种路面识别方法和装置，用以解决现有技术中根据图像数据无法可靠有效地识别路面的问题。该方法包括：路面识别装置获取一个驾驶环境的一个图像数据和一个点云数据，其中，图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据的像素点和点云数据的投影点；从点云数据中识别出路面点云数据点；在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；将路面点云投影点保存到路面点集合中；将路面点集合对应的像素点确定为路面像素点。

Description

一种路面识别方法和装置
技术领域
本发明涉及机器视觉领域，具体地，涉及一种路面识别方法和装置。
背景技术
在自动驾驶技术中，路面的识别对于无人驾驶车辆的安全可靠的行驶是一个重要的技术点。目前通常是对无人驾驶车辆的车载摄像头采集到的图像数据进行分析处理，识别并得到路面的表达。
但是，在很多情况下车载摄像头获得的图像数据的质量不可靠，例如在一些天气条件下、一些光线条件下、以及其它一些不利于采集图像数据的条件下。根据这样的图像数据无法进行可靠有效的路面的识别处理。
发明内容
有鉴于此，本发明实施例提供了一种路面识别方法和装置，用以解决现有技术中根据图像数据无法可靠有效地识别路面的问题。
一方面，本申请实施例提供了一种路面识别方法，包括：
路面识别装置获取一个驾驶环境的一个图像数据和一个点云数据，其中，图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；
将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据的像素点和点云数据的投影点；
从点云数据中识别出路面点云数据点；
在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；
将路面点云投影点保存到路面点集合中；
将路面点集合对应的像素点确定为路面像素点。
另一方面，本申请实施例提供了一种路面识别装置，包括：
获取单元，用于获取一个驾驶环境的一个图像数据和一个点云数据，其中，图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；
投影单元，用于将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据的像素点和点云数据的投影点；
确定单元，用于从点云数据中识别出路面点云数据点；在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；将路面点云投影点保存到路面点集合中；将路面点集合对应的像素点确定为路面像素点。
另一方面，本申请实施例提供了一种路面识别装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
获取一个驾驶环境的一个图像数据和一个点云数据，其中图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；
将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据和点云数据的投影点；
从点云数据中识别出路面点云数据点；
在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；
将路面点云投影点保存到路面点集合中；
将路面点集合对应的像素点确定为路面像素点。
根据本申请实施例提供的技术方案，通过获取一个驾驶环境的图像数据和点云数据，将点云数据投影到图像数据上得到投影数据，并从点云数据中识别出路面数据点，根据路面数据点和投影数据识别得到图像数据中的路面像素数据，能够根据点云数据和图像数据来共同确定图像数据中的路面数据；点云数据相比图像数据具有更高的准确性、适用于更多的场景，从而能够解决现有技术中根据图像数据无法可靠有效地识别路面的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的路面识别方法的处理流程图；
图2为本申请实施例提供的路面识别方法的另一个处理流程图；
图3为图1中执行步骤102得到的投影数据的一个示例；
图4为根据申请实施例的经过RANSAC处理和DBSCAN处理后的路面投影数据的一个示例；
图5为经过图2中步骤101～105c处理后的路面点集合的一个示例；
图6为经过图2中步骤101～105e处理后的路面点集合的一个示例；
图7为本申请实施例提供的路面识别装置的结构框图；
图8为本申请实施例提供的路面识别装置的另一个结构框图；
图9为本申请实施例提供的路面识别装置的另一个结构框图；
图10为具体应用中的一个路面识别装置的结构框图；
图11为本申请实施例提供的路面识别装置的另一个结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在现有技术中，自动驾驶技术中通常通过图像数据来识别路面。但是在很多情况下的图像数据的质量容易受到环境等因素的影响，导致无法根据图像数据进行可靠有效的路面识别处理。
针对现有技术中的上述问题，本申请实施例提供了一种路面识别方法和装置。在本申请实施例提供的方法中，通过获取一个驾驶环境的图像数据和点云数据，将点云数据投影到图像数据上得到投影数据，并从点云数据中识别出路面数据点，根据路面数据点和投影数据识别得到图像数据中的路面像素数据，能够根据点云数据和图像数据来共同确定图像数据中的路面数据，点云数据相比图像数据具有更高的准确性、适用于更多的场景，从而能够解决现有技术中根据图像数据无法可靠有效地识别路面的问题。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1示出了本申请实施例提供的路面识别方法的处理流程图，包括：
步骤101、路面识别装置获取一个驾驶环境的一个图像数据和一个点云数据，其中，图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达(Light Detection and Ranging equipment，LIDAR)；
在车载摄像头获取的多帧连续数据中，以及在车载激光雷达获取的多个连续的点云数据中，路面识别装置依次获取其中的一个图像数据以及对应的一个点云数据，对获取的图像数据和点云数据进行下述处理。
步骤102、将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据的像素点和点云数据的投影点；
可以采用多种方法将三维的点云数据投影到二维的图像数据上，例如，可以将三维的点云数据和二维的图像数据都转换到一个共同的坐标空间中；或者通过坐标转换，将三维的点云数据投影到二维的图像数据上。本申请这里不对投影方法做具体限定。
将点云数据投影到图像数据上之后，投影数据中包括的数据点包括图像数据的像素点和点云数据的投影点。在下面的描述中，投影数据中的点或数据点均包括像素点和投影点。
步骤103、从点云数据中识别出路面点云数据点；
在本申请实施例中，通过随机抽样一致(Random Sample Consensus，RANSAC)算法对获取到的点云数据进行平面表达式拟合，排除掉不属于平面的异常点，将属于平面的点云数据点确定为路面点云数据点。
本领域普通技术人员还可以采用其它等同或者替代的方法来识别路面数据点。
需要说明的是，步骤102和步骤103的处理不分先后，可以同时执行处理，也可以顺序执行处理。
步骤104、在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；
在上述步骤103中从点云数据中识别得到了路面点云数据点，根据该路面点云数据点，可以在投影数据中确定对应的投影点也即路面点云投影点，并在投影数据中保留该部分投影点，得到路面投影数据。在下面的描述中，路面投影数据中的点或数据点均包括像素点和路面点云投影点。
步骤105、将路面点云投影点保存到路面点集合中；
步骤106、将路面点集合对应的像素点确定为路面像素点。
例如，在一个实施例中，可以将路面点云投影点划分到一个道路点集合(RoadPoint Set，RPS)中，并将点云投影点中的其它点划分到其它的非路面点集合(Non-RoadPoint Sets，NPRS)中。
通过路面像素点表达的图像区域即为道路表面。
从而，本申请实施例通过上述处理能够根据点云数据和图像数据来共同确定图像数据中的路面表达，点云数据相比图像数据具有更高的准确性、受环境因素的影响较小，从而能够解决现有技术中根据图像数据无法可靠有效地识别路面的问题。
另一方面，由于点云数据本身可能存在噪声、假阴性识别或者假阳性识别的问题，通过点云数据识别得到的路面点集合中也可能存在噪声。并且点云数据的密度较为稀疏，通过路面点云投影点对应的像素点来表达路面，可能存在表达不准确的问题。针对这些问题，在图1所示方法的基础上，本申请实施例提供的路面的识别方法，如图2所示，在步骤106之前还可以进一步地包括如下所述的处理步骤：
步骤105a、采用具有噪声的基于密度的聚类方法(Density-based SpatialClustering of Applications with Noise，DBSCAN)对路面点集合中的点进行聚类操作并确定噪声点，从路面点集合中删除噪声点；
在上述步骤103中，通过RANSAC对点云数据进行拟合的过程中，有可能会将噪声点也确定为路面数据点，这些噪声点可能是由于噪声、激光雷达校准、光线或者不规则表面、或者激光雷达的错误估计(例如极远点、小路沿等等)造成的。采用DBSCAN方法可以将一个空间中的一组数据点进行聚类操作，将紧密聚集在一起的数据点聚类到一起，将孤立的点确定为异常点或噪声点。从而对路面像素数据进行DBSCAN处理，能够确定出路面点集合中的噪声点，并从路面点集合中删除掉噪声点。
本领域的普通技术人员还可以采用其它等同或者替代方法来删除路面数据点中的噪声点。
图3中示出了上述步骤102得到的投影数据的一个示例，图4中示出了经过RANSAC处理和DBSCAN处理后的路面投影数据的一个示例。对比图3和图4可知，图4中去掉了车辆等物体的点云数据的投影点。
对路面点集合中的点进行去噪处理后，还可以进一步地进行扩大处理，来增加路面点集合中的点的密度。
步骤105b、对路面点集合中的点，在相邻的两个点之间增加像素点，将增加的像素点保存到路面点集合中；
由于点云数据的密度较为稀疏，通过路面点云投影点对应的像素点来进行路面表达，可能存在表达不准确或者表达不连贯的问题。本申请实施例对路面点集合中的点进行扩大处理或者插值处理，来增加数据点的密度，可以通过密度更大的数据点对路面进行更为连贯的表达。
例如，在图像空间中，对于路面点集合中的一个路面点云投影点，确定该点在一个方向上的相邻点，并在该点和相邻点之间插入预定数量的像素点，或者根据该点和相邻点的距离以及预定的数据点密度，确定需要插入的点的数量，并插入相应数量的点。
本领域的普通技术人员还可以采用其它等同或者替代方法来对进行扩大处理或者插值处理，本申请这里不做具体限定。
根据点云数据识别得到的路面点云数据点中，可能存在假性识别的问题，可以通过下述处理排除假性识别的数据点。
步骤105c、在图像空间中，对于路面点集合中的一个点，将该点以下的像素点确定为路面像素点，将确定的路面像素点保存到路面点集合中；对于不属于路面点集合中的一个点，将该点预定范围内的像素点确定为非路面像素点，从路面点集合中删除非路面像素点。
该处理基于两个假设，第一、在图像空间中，路面点以下的点都是路面点，第二、非路面点附近的点也是非路面点。通过第一个假设，可以识别出算法导致的路面空洞，并相应地确定填充空洞的像素点，将填充的像素点保存到路面点集合中，可以解决假阴性识别的问题。通过第二个假设，可以进一步地去除路面点集合中的噪声，可以解决假阳性识别的问题。
其中，将路面点集合中的点以下的像素点确定为路面像素点，具体地可以在图像空间中，将路面点集合中的一个点以下的全部像素点确定为路面像素点，将路面像素点保存到路面集合中；通过该操作能够填补路面空洞。
不属于路面点集合中的一个点，可以是上述的非路面点集合NRPS中的一个点，也可以是路面投影数据中路面点集合对应的像素点之外的其它像素点；将该点作为当前点，确定该点预定范围内的像素点为非路面点，如果路面点集合中包括该非路面点，则在路面点集合中删除该非路面点，还可以将该非路面点保存到非路面点集合中。
图5中示出了经过上述步骤101～105c处理后的路面点集合的一个示例。对比图4和图5可以看出，相比于图4，经过步骤105b的扩大处理之后，图5中的道路点集合中的点能够密集连续地表达道路表面，经过步骤105c的假性检验处理之后，图5中的路面点集合中的点能够较为准确地表达道路表面，排除了对图像右侧车辆轮胎处的假性检测和图像左侧的一些假性检测。
本领域的普通技术人员还可以采用其它等同或者替代方法来对解决排除假性识别的问题，本申请这里不做具体限定。
在上述处理的基础上，还可以对路面点集合中的点进行优化处理，如下所述。
步骤105d、采用高斯平滑滤波器对路面点集合中的点进行平滑加密处理，将加密的像素点保存到路面点集合中；
该处理基于一点假设，也即道路表面是平滑的；通过高斯平滑滤波器能够对路面点集合中的全部点进行平滑，得到一些加密后的像素点，并将加密的像素点保存到路面点集合中，能够排除由于激光雷达本身或者是算法导致的一些噪声，使得路面点集合中的点能够表达出更加平滑的道路表面。
步骤105e、识别路面点集合中的最大连通分量，并在路面点集合中保留最大连通分量对应的数据点。
该处理基于一点假设，也即道路表面是连续的，通过识别并保留路面点集合中的最大分量，可以排除掉一些相反方向的路面或者天空对应的数据点。
图6示出了经过上述步骤101～105e处理后的路面点集合的示意图。对比图5和图6可以看出，相比于图5，图6中排除了图像左侧的反向道路的数据表达，能够更加准确地表达当前的可驾驶道路表面。
本申请实施例通过上述步骤105a～105e的处理，能够进一步地对道路点集合中的点进行优化处理，使得道路点集合中的点能够更可靠有效地表达道路表面。
需要说明的是，上述步骤105a～105e的处理，可以根据具体应用场景的需要来选择设置，可以选择其中的部分处理，也可以选择全部的处理；所选择的步骤的执行顺序也可以根据具体应用场景的需要而设置，可以设置为与图2相同的执行顺序，也可以设置为不同于图2的执行顺序。
通过如图2所示的处理，能够得到有效可靠的路面像素点，从而得到可靠有效的路面像素表达。能够解决现有技术中通过图像数据无法对路面进行可靠有效的表达的问题。
在图1或图2所示处理的基础上，还可以在步骤106之后，包括输出处理：在二维空间中输出路面像素点，得到路面地图。也即，在图像空间中输出由路面像素点表达的路面地图。该步骤可以通过可视化处理实现，在显示装置上显示路面地图，为相关人员提供可视图像参考；也可以直接将路面像素点输出给其它的处理装置，为其它的识别或控制处理提供数据基础。
更进一步地，在图1或图2所示处理的基础上，还可以在步骤106之后包括：将路面像素点数据保存为训练深度神经网络的训练数据。自动驾驶技术或者其它技术，通常会基于多种训练数据来训练深度神经网络，以达到自动识别或者自动控制等功能，通过图1或者图2所示处理得到的路面像素点数据，能够有效可靠地表达道路表面，从而能够作为真实数据(ground truth)来训练深度神经网络。
基于相同的发明构思，本申请实施例还提供了一种路面识别装置。
图7示出了本申请实施例提供的路面识别装置的结构框图，包括：
获取单元71，用于获取一个驾驶环境的一个图像数据和一个点云数据，其中，图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；
投影单元72，用于将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据的像素点和点云数据的投影点；
确定单元73，用于从点云数据中识别出路面点云数据点；在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；将路面点云投影点保存到路面点集合中；将路面点集合对应的像素点确定为路面像素点。
在一些实施例中，确定单元73从点云数据中识别出路面点云数据点，包括：采用随机抽样一致算法(Random Sample Consensus Algorithm，RANSAC)对点云数据进行平面表达式拟合，得到路面点云数据点。
在一些实施例中，确定单元73还用于对路面点集合进行去噪处理，包括：采用具有噪声的基于密度的聚类方法(Density-based Spatial Clustering of Applicationswith Noise，DBSCAN)对路面点集合中的点进行聚类操作并确定噪声点，从路面点集合中删除噪声点。
在一些实施例中，确定单元73在去噪处理之后还包括对路面点集合进行扩大处理：对路面点集合中的点，在相邻的两个点之间增加像素点，将增加的像素点保存到路面点集合中。
在一些实施例中，确定单元73在进行扩大处理之后还包括：在图像空间中，对于路面点集合中的一个点，将该点以下的像素点确定为路面像素点，将确定的路面像素点保存到路面点集合中。
在一些实施例中，确定单元73在进行扩大处理之后还包括：在图像空间中，对于路面点集合中的一个点，将该点以下的像素点确定为路面像素点，将确定的路面像素点保存到路面点集合中。
在一些实施例中，确定单元73在进行扩大处理之后还包括：对于不属于路面点集合中的一个点，将该点周围预定范围内的像素点确定为非路面像素点，从路面点集合中删除非路面像素点。
在一些实施例中，确定单元73还用于：采用高斯平滑滤波器对路面点集合中的点进行平滑加密处理，将加密的像素点保存到路面点集合中。
在一些实施例中，确定单元73还用于：识别路面点集合中的最大连通分量，并在路面点集合中保留最大连通分量对应的数据点。
在一些实施例中，在图7所示装置的基础上，如图8所示，装置还包括训练数据单元74，用于将路面像素点数据保存为训练深度神经网络的训练数据。
在一些实施例中，在图7所示装置的基础上，如图8所示，装置还包括输出单元75，用于在二维空间中输出路面像素点数据，得到路面地图。
在一些实施例中，还可以将图8和图9装置合并设置，该装置中同时包括训练数据单元74和输出单元75。
本申请实施例通过图7、图8或图9所示的装置，能够根据点云数据和图像数据来共同确定图像数据中的路面表达，点云数据相比图像数据具有更高的准确性、受环境因素的影响较小，从而能够解决现有技术中根据图像数据无法可靠有效地识别路面的问题。
图10中示出了在具体应用中的一个路面识别装置的结构框图，该装置包括：数据获取模块210、映射模块215、第一非路面点过滤模块220、第二非路面点过滤模块225、像素扩大和后处理模块230、像素平滑模块235。
其中，数据获取模块210对应于图7、图8或图9中的获取单元71、映射模块215对应于图7、图8或图9中的投影单元72，第一非路面点过滤模块220、第二非路面点过滤模块225、像素扩大和后处理模块230、以及像素平滑模块235对应于图7、图8或图9中的确定模块73。
数据获取模块210获取一个驾驶环境的一个图像数据、LIDAR点云数据、以及GPS/IMU数据。
映射模块215将数据获取模块210获取到的LIDAR点云数据投影到图像数据中，得到投影数据。
第一非路面点过滤模块220对数据获取模块210获取的LIDAR点云数据进行RANSAC处理，过滤掉噪声点，得到路面点云数据点。
第二非路面点过滤模块225根据模块215得到的投影数据和模块220得到的路面点云数据点，在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点。
像素扩大和后处理模块230在模块225得到路面投影数据上，对路面点集合中的点，在相邻的两个点之间增加像素点，将增加的像素点保存到路面点集合中。进一步地，在图像空间中，对于路面点集合中的一个点，将该点以下的像素点确定为路面像素点，将确定的路面像素点保存到路面点集合中；对于不属于路面点集合中的一个点，将该点周围预定范围内的像素点确定为非路面像素点，从路面点集合中删除非路面像素点。
像素平滑模块235对像素扩大和后处理模块230得到的数据，采用高斯平滑滤波器对路面点集合中的点进行平滑加密处理，将加密的像素点保存到路面点集合中；识别路面点集合中的最大连通分量，并在路面点集合中保留最大连通分量对应的数据点；在二维空间中输出路面像素点数据，得到可驾驶路面地图。
图10所示的装置能够输出得到有效可靠的二维空间中的路面地图。
基于相同的发明构思，本申请实施例还提供了一种路面识别装置。
图11示出了本申请实施例提供的路面识别装置的结构框图，该装置包括一个处理器1101和至少一个存储器1102，至少一个存储器1102中存储有至少一条机器可执行指令，处理器1101执行至少一条机器可执行指令以实现：
获取一个驾驶环境的一个图像数据和一个点云数据，其中图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；
将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据和点云数据的投影点；
从点云数据中识别出路面点云数据点；
在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；
将路面点云投影点保存到路面点集合中；
将路面点集合对应的像素点确定为路面像素点。
在一些实施例中，处理器1101执行至少一条机器可执行指令以实现从点云数据中识别出路面点云数据点，包括：采用随机抽样一致算法(RANSAC)对点云数据进行平面表达式拟合，得到路面点云数据点。
在一些实施例中，处理器1101执行至少一条机器可执行指令还实现对路面点集合进行去噪处理，包括：采用具有噪声的基于密度的聚类方法(DBSCAN)对路面点集合中的点进行聚类操作并确定噪声点，从路面集合中删除噪声点。
在一些实施例中，处理器1101执行至少一条机器可执行指令在实现去噪处理之后，还实现对路面点集合进行扩大处理：对路面点集合中的点，在相邻的两个点之间增加像素点，将增加的像素点保存到路面点集合中。
在一些实施例中，处理器1101执行至少一条机器可执行指令实现扩大处理之后，还实现：在图像空间中，对路面点集合中的一个点，将该点以下的像素点确定为路面像素点，将确定的路面像素点保存到路面点集合中。
在一些实施例中，处理器1101执行至少一条机器可执行指令实现扩大处理之后，还实现：对于不属于路面点集合中的一个点，将该点周围预定范围内的像素点确定为非路面像素点，从路面点集合中删除该非路面像素点。
在一些实施例中，处理器1101执行至少一条机器可执行指令还实现：采用高斯平滑滤波器对路面集合中的点进行平滑加密处理，将加密的像素点保存到路面点集合中。
在一些实施例中，处理器1101执行至少一条机器可执行指令还实现：识别路面点集合中的最大连通分量，并在路面点集合中保留最大连通分量对应的数据点。
在一些实施例中，处理器1101执行至少一条机器可执行指令还实现：将路面像素点数据保存为训练深度神经网络的训练数据。
在一些实施例中，处理器1101执行至少一条机器可执行指令还实现：在二维空间中输出路面像素点数据，得到路面地图。
本申请通过图11所示的装置，能够根据点云数据和图像数据来共同确定图像数据中的路面表达，点云数据相比图像数据具有更高的准确性、受环境因素的影响较小，从而能够解决现有技术中根据图像数据无法可靠有效地识别路面的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (30)

1.一种路面识别方法，其特征在于，包括：
路面识别装置获取一个驾驶环境的一个图像数据和一个点云数据，其中，图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；
将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据的像素点和点云数据的投影点；
从点云数据中识别出路面点云数据点；
在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；
将路面点云投影点保存到路面点集合中；
将路面点集合对应的像素点确定为路面像素点。
2.根据权利要求1所述的方法，其特征在于，从点云数据中识别出路面点云数据点，包括：
采用随机抽样一致算法(RANSAC)对点云数据进行平面表达式拟合，得到路面点云数据点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括对路面点集合进行去噪处理，包括：
采用具有噪声的基于密度的聚类方法(DBSCAN)对路面点集合中的点进行聚类操作并确定噪声点，从路面点集合中删除噪声点。
4.根据权利要求1所述的方法，其特征在于，在去噪处理之后还包括对路面点集合进行扩大处理：
对路面点集合中的点，在相邻的两个点之间增加像素点，将增加的像素点保存到路面点集合中。
5.根据权利要求4所述的方法，其特征在于，在扩大处理之后还包括：
在图像空间中，对于路面点集合中的一个点，将该点以下的像素点确定为路面像素点，将确定的路面像素点保存到路面点集合中。
6.根据权利要求4所述的方法，其特征在于，在扩大处理之后还包括：
对于不属于路面点集合中的一个点，将该点周围预定范围内的像素点确定为非路面像素点，从路面点集合中删除非路面像素点。
7.根据权利要求5或6所述的方法，其特征在于，还包括：
采用高斯平滑滤波器对路面点集合中的点进行平滑加密处理，将加密的像素点保存到路面点集合中。
8.根据权利要求5或6所述的方法，其特征在于，还包括：
识别路面点集合中的最大连通分量，并在路面点集合中保留最大连通分量对应的数据点。
9.根据权利要求1所述的方法，其特征在于，还包括：
将路面像素点数据保存为训练深度神经网络的训练数据。
10.根据权利要求1所述的方法，其特征在于，还包括：
在二维空间中输出路面像素点数据，得到路面地图。
11.一种路面识别装置，其特征在于，包括：
获取单元，用于获取一个驾驶环境的一个图像数据和一个点云数据，其中，图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；
投影单元，用于将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据的像素点和点云数据的投影点；
确定单元，用于从点云数据中识别出路面点云数据点；在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；将路面点云投影点保存到路面点集合中；将路面点集合对应的像素点确定为路面像素点。
12.根据权利要求11所述的装置，其特征在于，确定单元从点云数据中识别出路面点云数据点，包括：
采用随机抽样一致算法(RANSAC)对点云数据进行平面表达式拟合，得到路面点云数据点。
13.根据权利要求11所述的装置，其特征在于，确定单元还用于对路面点集合进行去噪处理，包括：
采用具有噪声的基于密度的聚类方法(DBSCAN)对路面点集合中的点进行聚类操作并确定噪声点，从路面点集合中删除噪声点。
14.根据权利要求11所述的装置，其特征在于，确定单元在去噪处理之后还包括对路面点集合进行扩大处理：
对路面点集合中的点，在相邻的两个点之间增加像素点，将增加的像素点保存到路面点集合中。
15.根据权利要求14所述的装置，其特征在于，确定单元在进行扩大处理之后还包括：
在图像空间中，对于路面点集合中的一个点，将该点以下的像素点确定为路面像素点，将确定的路面像素点保存到路面点集合中。
16.根据权利要求14所述的装置，其特征在于，确定单元在进行扩大处理之后还包括：
对于不属于路面点集合中的一个点，将该点周围预定范围内的像素点确定为非路面像素点，从路面点集合中删除非路面像素点。
17.根据权利要求15或16所述的装置，其特征在于，确定单元还用于：
采用高斯平滑滤波器对路面点集合中的点进行平滑加密处理，将加密的像素点保存到路面点集合中。
18.根据权利要求15或16所述的装置，其特征在于，确定单元还用于：
识别路面点集合中的最大连通分量，并在路面点集合中保留最大连通分量对应的数据点。
19.根据权利要求11所述的装置，其特征在于，所述装置还包括训练数据单元，用于将路面像素点数据保存为训练深度神经网络的训练数据。
20.根据权利要求11所述的装置，其特征在于，所述装置还包括输出单元，用于在二维空间中输出路面像素点数据，得到路面地图。
21.一种路面识别装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以实现：
获取一个驾驶环境的一个图像数据和一个点云数据，其中图像数据来自于自动驾驶车辆的车载摄像头，点云数据来自于自动驾驶车辆的车载激光雷达；
将点云数据投影到图像数据上得到投影数据，投影数据中包括图像数据和点云数据的投影点；
从点云数据中识别出路面点云数据点；
在投影数据中保留与路面点云数据点对应的投影点，得到路面投影数据，路面投影数据中包括路面点云投影点和图像数据的像素点；
将路面点云投影点保存到路面点集合中；
将路面点集合对应的像素点确定为路面像素点。
22.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令以实现从点云数据中识别出路面点云数据点，包括：
采用随机抽样一致算法(RANSAC)对点云数据进行平面表达式拟合，得到路面点云数据点。
23.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现对路面点集合进行去噪处理，包括：
采用具有噪声的基于密度的聚类方法(DBSCAN)对路面点集合中的点进行聚类操作并确定噪声点，从路面集合中删除噪声点。
24.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令在实现去噪处理之后，还实现对路面点集合进行扩大处理：
对路面点集合中的点，在相邻的两个点之间增加像素点，将增加的像素点保存到路面点集合中。
25.根据权利要求24所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现扩大处理之后，还实现：
在图像空间中，对路面点集合中的一个点，将该点以下的像素点确定为路面像素点，将确定的路面像素点保存到路面点集合中。
26.根据权利要求24所述的装置，其特征在于，处理器执行至少一条机器可执行指令实现扩大处理之后，还实现：
对于不属于路面点集合中的一个点，将该点周围预定范围内的像素点确定为非路面像素点，从路面点集合中删除该非路面像素点。
27.根据权利要求25或26所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：
采用高斯平滑滤波器对路面集合中的点进行平滑加密处理，将加密的像素点保存到路面点集合中。
28.根据权利要求25或26所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：
识别路面点集合中的最大连通分量，并在路面点集合中保留最大连通分量对应的数据点。
29.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：
将路面像素点数据保存为训练深度神经网络的训练数据。
30.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还实现：
在二维空间中输出路面像素点数据，得到路面地图。
CN201810824707.2A 2017-11-27 2018-07-25 一种路面识别方法和装置 Active CN109840880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310839833.6A CN116912793A (zh) 2017-11-27 2018-07-25 一种路面识别方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USUS15/822,467 2017-11-27
US15/822,467 US10528851B2 (en) 2017-11-27 2017-11-27 System and method for drivable road surface representation generation using multimodal sensor data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310839833.6A Division CN116912793A (zh) 2017-11-27 2018-07-25 一种路面识别方法和装置

Publications (2)

Publication Number Publication Date
CN109840880A true CN109840880A (zh) 2019-06-04
CN109840880B CN109840880B (zh) 2023-07-14

Family

ID=66632474

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810824707.2A Active CN109840880B (zh) 2017-11-27 2018-07-25 一种路面识别方法和装置
CN202310839833.6A Pending CN116912793A (zh) 2017-11-27 2018-07-25 一种路面识别方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310839833.6A Pending CN116912793A (zh) 2017-11-27 2018-07-25 一种路面识别方法和装置

Country Status (2)

Country Link
US (1) US10528851B2 (zh)
CN (2) CN109840880B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311709A (zh) * 2020-02-05 2020-06-19 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN112105956A (zh) * 2019-10-23 2020-12-18 北京航迹科技有限公司 用于自动驾驶的系统和方法
CN112258566A (zh) * 2020-12-22 2021-01-22 中智行科技有限公司 一种路面的采集点识别方法、装置及服务器
CN112740225A (zh) * 2020-09-30 2021-04-30 华为技术有限公司 一种路面要素确定方法及装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962979B2 (en) 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
WO2019153245A1 (en) * 2018-02-09 2019-08-15 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for deep localization and segmentation with 3d semantic map
US11925446B2 (en) * 2018-02-22 2024-03-12 Vayyar Imaging Ltd. Radar-based classification of vehicle occupants
US10599146B2 (en) * 2018-03-26 2020-03-24 Ford Global Technologies, Llc Action-conditioned vehicle control
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
US10796457B2 (en) * 2018-06-26 2020-10-06 Intel Corporation Image-based compression of LIDAR sensor data with point re-ordering
CN110148144B (zh) * 2018-08-27 2024-02-13 腾讯大地通途（北京）科技有限公司 点云数据的分割方法和装置、存储介质、电子装置
US11823461B1 (en) 2018-09-28 2023-11-21 Direct Current Capital LLC Systems and methods for perceiving a scene around a mobile device
EP3633404B1 (en) * 2018-10-02 2022-09-07 Ibeo Automotive Systems GmbH Method and apparatus for optical distance measurements
US10796402B2 (en) 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment
US10762360B2 (en) 2018-11-19 2020-09-01 Waymo Llc Automatically detecting unmapped drivable road surfaces for autonomous vehicles
US11718324B2 (en) 2019-04-11 2023-08-08 Isee, Inc. Instance segmentation imaging system
US11460581B2 (en) * 2019-06-10 2022-10-04 Toyota Research Institute, Inc. Systems and methods for reducing LiDAR points
US20220262136A1 (en) * 2019-06-27 2022-08-18 Zenuity Ab Method and system for estimating a drivable surface
US20210004566A1 (en) * 2019-07-02 2021-01-07 GM Global Technology Operations LLC Method and apparatus for 3d object bounding for 2d image data
CN110458772B (zh) * 2019-07-30 2022-11-15 五邑大学 一种基于图像处理的点云滤波方法、装置和存储介质
CN112581505B (zh) * 2020-12-24 2022-06-03 天津师范大学 一种简易的激光雷达点云与光学影像自动配准方法
US11708066B2 (en) 2021-01-21 2023-07-25 Motional Ad Llc Road surface condition guided decision making and prediction
US20230085098A1 (en) * 2021-09-10 2023-03-16 Transportation Ip Holdings, Llc Vehicle Network Monitoring System
CN113743391A (zh) * 2021-11-08 2021-12-03 江苏天策机器人科技有限公司 应用于低速自主驾驶机器人的三维障碍物检测系统与方法
US20240037825A1 (en) * 2022-07-26 2024-02-01 International Business Machines Corporation Restoration of a kinetic event using video
CN115205501B (zh) * 2022-08-10 2023-05-23 小米汽车科技有限公司 路面状况的显示方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379913B1 (en) * 2011-08-26 2013-02-19 Skybox Imaging, Inc. Adaptive image acquisition and processing with image analysis feedback
WO2017020466A1 (zh) * 2015-08-04 2017-02-09 百度在线网络技术（北京）有限公司 基于激光点云的城市道路识别方法、装置、存储介质及设备
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US7038577B2 (en) 2002-05-03 2006-05-02 Donnelly Corporation Object detection system for vehicle
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
WO2005098739A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Pedestrian detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8553088B2 (en) 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US8064643B2 (en) 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN102365651A (zh) 2009-03-26 2012-02-29 皇家飞利浦电子股份有限公司 用于通过使用基于色彩频率的显著图来修改图像的方法和装置
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US9002632B1 (en) 2009-07-19 2015-04-07 Aaron T. Emigh Fuel cost optimized routing
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9179072B2 (en) 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
EP2641401B1 (en) 2010-11-15 2017-04-05 Huawei Technologies Co., Ltd. Method and system for video summarization
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
CN103718427B (zh) 2011-07-28 2017-04-12 本田技研工业株式会社 无线送电方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9111355B1 (en) 2013-03-13 2015-08-18 Hrl Laboratories, Llc Selective color processing for vision systems that enables optimal detection and recognition
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
CN110906949B (zh) 2013-06-13 2024-01-09 移动眼视力科技有限公司 用于导航的计算机实施方法、导航系统和车辆
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
WO2015083009A1 (en) 2013-12-04 2015-06-11 Mobileye Vision Technologies Ltd. Systems and methods for mimicking a leading vehicle
WO2015103159A1 (en) 2013-12-30 2015-07-09 Tieman Craig Arnold Connected vehicle system with infotainment interface for mobile devices
EP3736732A1 (en) 2014-01-30 2020-11-11 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
EP3108264A2 (en) 2014-02-20 2016-12-28 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
WO2015177648A1 (en) 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
CN106796648B (zh) 2014-06-03 2020-11-24 御眼视觉技术有限公司 用于检测对象的系统和方法
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
US10505660B2 (en) 2015-07-23 2019-12-10 Nec Corporation Route switching device, route switching system, and route switching method
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10067509B1 (en) 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US11175146B2 (en) * 2017-05-11 2021-11-16 Anantak Robotics Inc. Autonomously moving machine and method for operating an autonomously moving machine
US10915114B2 (en) * 2017-07-27 2021-02-09 AI Incorporated Method and apparatus for combining data to construct a floor plan
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379913B1 (en) * 2011-08-26 2013-02-19 Skybox Imaging, Inc. Adaptive image acquisition and processing with image analysis feedback
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification
WO2017020466A1 (zh) * 2015-08-04 2017-02-09 百度在线网络技术（北京）有限公司 基于激光点云的城市道路识别方法、装置、存储介质及设备
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN TAN 等: "Robust Curb Detection with Fusion of 3D-Lidar and Camera Data", 《SENSORS》 *
袁夏 等: "一种基于激光雷达的路面提取算法", 《中国图象图形学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112105956A (zh) * 2019-10-23 2020-12-18 北京航迹科技有限公司 用于自动驾驶的系统和方法
WO2021077315A1 (en) * 2019-10-23 2021-04-29 Beijing Voyager Technology Co., Ltd. Systems and methods for autonomous driving
CN111311709A (zh) * 2020-02-05 2020-06-19 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN112740225A (zh) * 2020-09-30 2021-04-30 华为技术有限公司 一种路面要素确定方法及装置
CN112740225B (zh) * 2020-09-30 2022-05-13 华为技术有限公司 一种路面要素确定方法及装置
CN112258566A (zh) * 2020-12-22 2021-01-22 中智行科技有限公司 一种路面的采集点识别方法、装置及服务器
CN112258566B (zh) * 2020-12-22 2021-03-23 中智行科技有限公司 一种路面的采集点识别方法、装置及服务器

Also Published As

Publication number Publication date
CN109840880B (zh) 2023-07-14
CN116912793A (zh) 2023-10-20
US10528851B2 (en) 2020-01-07
US20190164018A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
CN109840880A (zh) 一种路面识别方法和装置
US11915502B2 (en) Systems and methods for depth map sampling
EP3407294B1 (en) Information processing method, device, and terminal
CN109492507B (zh) 红绿灯状态的识别方法及装置、计算机设备及可读介质
CN110019570B (zh) 用于构建地图的方法、装置及终端设备
JP6259928B2 (ja) 車線データの処理方法、装置、記憶媒体及び機器
CN111369617B (zh) 一种基于卷积神经网络的单目视图的3d目标检测方法
CN111881790A (zh) 一种高精度地图制作中道路人行横道自动化提取方法和装置
CN103996198A (zh) 复杂自然环境下感兴趣区域的检测方法
CN112258519B (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN109840463A (zh) 一种车道线识别方法和装置
CN111721281A (zh) 位置识别方法、装置和电子设备
CN109636842A (zh) 车道线修正方法、装置、设备及存储介质
CN111829532A (zh) 一种飞行器重定位系统和重定位方法
CN114565908A (zh) 车道线的检测方法、装置、电子设备及存储介质
CN112639822B (zh) 一种数据处理方法及装置
EP3044734B1 (en) Isotropic feature matching
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质
CN112580489A (zh) 交通灯检测方法、装置、电子设备及存储介质
CN112132845A (zh) 三维模型的单体化方法、装置、电子设备和可读介质
Li et al. Feature point extraction and tracking based on a local adaptive threshold
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
CN110910379B (zh) 一种残缺检测方法及装置
CN115240150A (zh) 基于单目相机的车道偏离预警方法、系统、设备及介质
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant