CN114445415A - 可行驶区域的分割方法以及相关装置 - Google Patents

可行驶区域的分割方法以及相关装置 Download PDF

Info

Publication number
CN114445415A
CN114445415A CN202111531686.3A CN202111531686A CN114445415A CN 114445415 A CN114445415 A CN 114445415A CN 202111531686 A CN202111531686 A CN 202111531686A CN 114445415 A CN114445415 A CN 114445415A
Authority
CN
China
Prior art keywords
point cloud
cloud data
initial
area
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111531686.3A
Other languages
English (en)
Inventor
欧勇盛
陈凯
刘超
江国来
王志扬
熊荣
郑雷雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111531686.3A priority Critical patent/CN114445415A/zh
Publication of CN114445415A publication Critical patent/CN114445415A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了可行驶区域的分割方法以及相关装置，该方法包括：获取目标区域的图像数据和点云数据；对图像数据进行分割，确定图像数据中的初始可行驶区域；利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域。通过上述方式，能够提升点云数据的可用性，以及提升对可行驶区域的分割精度。

Description

可行驶区域的分割方法以及相关装置
技术领域
本申请涉及图像处理技术领域，特别涉及可行驶区域的分割方法以及相关装置。
背景技术
随着科技的发展，自主移动设备应用的场景越来越多，而每一自主移动设备在移动过程中，需要提前确定可行驶区域，或者实时确定可行驶区域。
而场景越复杂，确定可行驶区域的方式的精度较差。
发明内容
为了解决上述问题，本申请提供可行驶区域的分割方法以及相关装置，能够提升点云数据的可用性，以及提升对可行驶区域的分割精度。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种可行驶区域的分割方法，该方法包括：获取目标区域的图像数据和点云数据；对图像数据进行分割，确定图像数据中的初始可行驶区域；利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域。
其中，利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域，包括：利用点云数据确定出初始可行驶区域中的异常像素点；在初始可行驶区域中滤除异常像素点，得到最终可行驶区域。
其中，利用点云数据确定出初始可行驶区域中的异常像素点，包括：对点云数据的三维坐标信息进行坐标转换，得到对应图像数据的二维坐标信息；基于二维坐标信息和初始可行驶区域对点云数据进行滤除，得到滤除后的点云数据；利用滤除后的点云数据确定出初始可行驶区域中的异常像素点。
其中，利用滤除后的点云数据确定出初始可行驶区域中的异常像素点，包括：对滤除后的点云数据按照垂直角度进行分类，得到对应每一垂直角度的第一点集，其中，垂直角度为采集点云数据的雷达组件中激光束的发射角度；确定出所有第一点集中点数量小于预设数量的目标第一点集；将目标第一点集对应的像素点作为异常像素点。
其中，该方法还包括：对滤除后的点云数据按照预设方向进行分类，得到对应每一预设方向的第二点集；其中，预设方向为雷达组件中激光束的投影方向；基于第二点集，确定出初始可行驶区域的边缘像素点。
其中，基于第二点集，确定出初始可行驶区域的边缘，包括：获取第二点集中的点的垂直角度；将垂直角度作为序号，对第二点集中的点按照从小到大进行排序；若出现相邻序号不连续，则保留较小序号；将较小序号对应的像素点作为初始可行驶区域的边缘。
其中，利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域之后，包括：利用最终可行驶区域对应的点云数据构建栅格地图。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种可行驶区域的分割装置，该分割装置包括处理器以及与处理器耦接的存储器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序，以实现如上述技术方案提供的方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种自主移动设备，该自主移动设备包括：图像采集组件，用于采集目标区域的图像数据；雷达组件，用于采集点云数据；处理器，与图像采集组件和雷达组件连接，用于对图像数据进行分割，确定图像数据中的初始可行驶区域；以及利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现如上述技术方案提供的方法。
本申请实施例的有益效果是：区别于现有技术，本申请提供的可行驶区域的分割方法，该方法包括：获取目标区域的图像数据和点云数据；对图像数据进行分割，确定图像数据中的初始可行驶区域；利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域。通过上述方式，利用点云数据对初始可行驶区域进行修正，能够提升点云数据的可用性，以及提升对可行驶区域的分割精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的可行驶区域的分割方法第一实施例的流程示意图；
图2和图3是本申请提供的可行驶区域的分割方法一应用场景示意图；
图4是本申请提供的可行驶区域的分割方法第二实施例的流程示意图；
图5是本申请提供的步骤43一实施例的流程示意图；
图6是本申请提供的步骤433一实施例的流程示意图；
图7是本申请提供的雷达坐标系一实施例的示意图；
图8和图9是本申请提供的可行驶区域的分割方法另一应用场景示意图；
图10是本申请提供的可行驶区域的分割方法第三实施例的流程示意图；
图11是本申请提供的雷达组件一实施例的结构示意图；
图12是本申请提供的步骤102一实施例的流程示意图；
图13和图14是本申请提供的可行驶区域的分割方法另一应用场景示意图；
图15是本申请提供的可行驶区域的分割装置一实施例的结构示意图；
图16是本申请提供的自主移动设备一实施例的结构示意图；
图17是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请提供的可行驶区域的分割方法第一实施例的流程示意图。该方法包括：
步骤11：获取目标区域的图像数据和点云数据。
其中，图像数据可以基于是图像采集组件采集得到。点云数据可以是基于雷达组件采集得到。其中，雷达组件可以包括预设数量的激光雷达。如，机械式激光雷达或者固态激光雷达。
其中，图像采集组件和雷达组件可以设置在同一装置上。
在一些实施例中，该装置可以是自主移动设备，如自主移动的机器人。该机器人可以在室内移动或者室外移动。如办公室、大厅或园区。
该机器人通过获取目标区域的图像数据和点云数据来确定可以可行驶区域，便于机器人进行路径规划，进行移动。在室外环境中，场景复杂度急剧升高。诸如不平整的路面，高低斜坡，路沿等诸多干扰项的存在，致使相关技术识别可行驶区域的精度较低。
如，园区中除了可行驶区域，还存在有楼宇、花坛草坪灯非行驶区域，则在进行地图构建、路径规划时，需要对这些非行驶区域进行滤除。
步骤12：对图像数据进行分割，确定图像数据中的初始可行驶区域。
在一些实施例中，可以利用已训练的图像分割网络对图像数据进行分割，得到图像数据中的初始可行驶区域。
如图2所示，利用已训练的图像分割网络对图像数据进行分割，得到图像数据中的初始可行驶区域A。
其中，图像分割网络可以是基于FCN(Fully Convolutional Network，全卷积网络)，SegNet、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF或DeepMask构建的。
步骤13：利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域。
因图像分割网络因分割精度原因，往往存在分割后的区域存在异常区域，即该区域不属于可行驶区域。基于此，本申请提出利用点云数据对初始可行驶区域进行修正，以滤除异常区域。
如，可以将点云数据投影至初始可行驶区域，先确定出与初始可行驶区域的像素点对应的点云数据，然后根据点云数据的坐标，对点云数据进行分类，确定出在基于图像数据横向上的点云数据。
因可行驶区域横向上是连续的，所以可行驶区域拥有连续多个点云数据。则可以将分类后的点云数据小于设定数量的类确定为异常点云数据，将这些点云数据对应的像素点确定为异常像素点，则可以将这些异常像素点滤除，得到最终可行驶区域。
基于上述方式，将图2中的初始可行驶区域A进行修正，得到如图3所示的最终可行驶区域A'。
在本实施例中，利用点云数据对初始可行驶区域进行修正，以对初始可行驶区域中的错误像素点进行滤除，不仅能够提升点云数据的可用性，还可以提升对可行驶区域的分割精度。
参阅图4，图4是本申请提供的可行驶区域的分割方法第二实施例的流程示意图。该方法包括：
步骤41：获取目标区域的图像数据和点云数据。
步骤42：对图像数据进行分割，确定图像数据中的初始可行驶区域。
步骤41和步骤42与上述实施例具有相同或相似的技术方案，这里不再赘述。
步骤43：利用点云数据确定出初始可行驶区域中的异常像素点。
在一些实施例中，可以根据点云数据的几何特性进行异常点的确定。
具体地，参阅图5，步骤43可以是以下流程：
步骤431：对点云数据的三维坐标信息进行坐标转换，得到对应图像数据的二维坐标信息。
在一些实施例中，在进行图像数据和点云数据之前，对采集图像数据的图像采集组件进行标定，以及确定雷达组件与图像采集组件之间的位置关系。
其中，使用棋盘格标定法对图像采集组件内参进行标定，得到内参矩阵K以及畸变参数。其中，内参矩阵K用以下公式表示：
Figure BDA0003411027840000061
其中，fx表示图像采集组件对应的坐标系的x方向上焦距，fy表示图像采集组件对应的坐标系的y方向上焦距，Cx表示图像采集组件对应的坐标系的x方向上主点偏移，Cy表示图像采集组件对应的坐标系的y方向上主点偏移。
其中，畸变参数包括k1，k2，k3，p1和p2。其中，k1，k2和k3表示不同的径向畸变参数，p1和p2表示不同的切向畸变参数。
采用以下方式进行外参标定。如，在进行视觉激光融合前，要对图像采集组件和雷达组件进行标定，这里采用棋盘格标定板的方法。在对图像采集组件和雷达组件进行固定之后，图像采集组件的部分使用PnP(Perspective-n-Point，透视n点)算法检测棋盘格标定板的姿态，雷达组件的部分在对收集到的激光点云圈出标定板所在的区域之后，进行RANSAC(RANdom SAmple Consensus，随机抽样一致算法)拟合来得到标定板在雷达组件的坐标下的空间位置。移动标定板，在采样几组数据之后，计算得出图像采集组件和雷达组件的外参。以及对应的外参关系。
外参关系可以采用以下公式表示：
Figure BDA0003411027840000071
其中，Pc表示采集到的图像数据中的空间信息，PL表示采集到的点云数据中的空间信息，
Figure BDA0003411027840000072
表示外参关系。其中，L对应雷达组件，C对应图像采集组件。
因此，步骤431可以通过以下方式进行表示：
首先，确定点云数据中每一点的三维坐标信息，利用以下公式进行坐标转换，得到基于图像采集组件的三维坐标信息。
Figure BDA0003411027840000073
其中，(x y z)表示点云数据中的点在图像采集组件的坐标系下的三维坐标信息，(x* y* z*)表示点云数据中的点在雷达组件的坐标系下的三维坐标信息。
然后将点云数据中的点在图像采集组件的坐标系下的三维坐标信息投影至图像数据的二维坐标系上，得到对应图像数据的二维坐标信息。具体的，采用以下公式：
Figure BDA0003411027840000074
r2＝x2+y2；
d＝1+k1*r2+k2*(r2)2+k3*(r2)3；
Px＝fx*(X*d+2*p1*X*Y+p2*(r2+2*X2))+Cx
Py＝fy*(Y*d+2*p2*X*Y+p1*(r2+2*Y2))。
其中，(Px,Py)表示对应图像数据的二维坐标信息。
其中，可以在得到点云数据中每个点对应图像数据的二维坐标信息后，基于图像数据的尺寸，对点云数据进行滤除。
因雷达组件获取的点云数据的区域远大于图像采集组件的图像视野对应的区域，因此，通过滤除的方式将不对应图像数据的点云数据中的点滤除。
步骤432：基于二维坐标信息和初始可行驶区域对点云数据进行滤除，得到滤除后的点云数据。
在一些实施例中，因初始可行驶区域已经确定，则可以根据初始可行驶区域对应的像素点的坐标信息，对点云数据进行滤除，得到滤除后的点云数据。此时，可以直接滤除点云数据中与初始可行驶区域无关的点。
步骤433：利用滤除后的点云数据确定出初始可行驶区域中的异常像素点。
在一些实施例中，参阅图6，步骤433可以是以下流程：
步骤4331：对滤除后的点云数据按照垂直角度进行分类，得到对应每一垂直角度的第一点集。
其中，垂直角度为采集点云数据的雷达组件中激光束的发射角度。
结合图7的雷达坐标系进行说明：如，利用以下公式确定出每一点云数据中的垂直角度：
Figure BDA0003411027840000081
其中，V表示垂直角度，即采集点云数据的雷达组件的中激光束的发射角度，(x* y*z*)表示点云数据中点在雷达组件的坐标系下的三维坐标信息。
基于此，点云数据中的每一点均具有一垂直角度。此时，将同一垂直角度的点作为一个集合，得到多个不同垂直角度的第一点集。即，同一垂直角度的点，是由同一激光束采集得到。
步骤4332：确定出所有第一点集中点数量小于预设数量的目标第一点集。
基于可行驶区域的特点，雷达组件采集到的对应的点几乎在同一弧线上，且数量很多。即，每一雷达组件中的激光束能够采集到多个点。而非可行驶区域，因图像分割，导致剩余的点变少。
基于此特点，设置预设数量，确定出数量小于预设数量的垂直角度的第一点集。如，预设数量设置为30、40或50。具体地，需要根据雷达组件的实际性能进行设置。
步骤4333：将目标第一点集对应的像素点作为异常像素点。
若第一点集中点的数量小于预设数量，说明这些点不具备可行驶区域的特性，则将这些点对应的像素点作为异常像素点。
结合图8进行说明：
对图8所示的图像数据进行分割，确定图像数据中的初始可行驶区域B和初始可行驶区域C。可以看出，初始可行驶区域C并不是可行驶区域，因此，通过对对应初始可行驶区域B和初始可行驶区域C的点云数据按照垂直角度进行分类，得到对应每一垂直角度的第一点集。
因点云数据中的点具有三维坐标信息，则可以利用确定垂直角度的方式，将同一垂直角度的点确定出来。以此区分出距离雷达组件相同距离的点。按照垂直角度进行分类，即按照每一雷达组件的激光束进行分类，得到对应每一垂直角度的第一点集。
因分割错误通常是边缘出现非行驶区域，则原本的点分割而被滤除，因此，这些区域的属于同一垂直角度的点变少。则可以设置相应的预设数量进行排除。
因此，将初始可行驶区域B对应的点按照垂直角度进行分类，得到的第一点集大致可以按照该区域中的树叶、树干和建筑物得到对应的点集。
此时，树叶、树干和建筑物对应的点集中的点的数量小于预设数量，则将这些点集中的点对应的像素点作为异常像素点。
步骤44：在初始可行驶区域中滤除异常像素点，得到最终可行驶区域。
结合图8和图9进行说明：
在确定出初始可行驶区域B为异常区域，则滤除掉初始可行驶区域B对应的异常像素点，得到如图8所示的最终可行驶区域C'。
在本实施例中，利用点云数据中的特性，对初始可行驶区域中对应的异常像素点进行滤除，不仅能够提升点云数据的可用性，还可以提升对可行驶区域的分割精度。
在其他实施例中，参阅图10，本申请还可以包括以下流程：
步骤101：对滤除后的点云数据按照预设方向进行分类，得到对应每一预设方向的第二点集；其中，预设方向为雷达组件中激光束的投影方向。
结合图11进行说明：
在图11中雷达组件包括激光雷达a、激光雷达b、激光雷达c、激光雷达d和激光雷达e。激光雷达a、激光雷达b、激光雷达c、激光雷达d和激光雷达e沿z轴方向设置。即激光雷达a、激光雷达b、激光雷达c、激光雷达d和激光雷达e的三维坐标信息仅z轴坐标不同，x轴坐标相同，y轴坐标相同。
基于此，可以利用以下公式对应确定预设方向。
Figure BDA0003411027840000101
其中，H表示的角度可以用于表征所有激光雷达在同一时刻采集的激光点，即所有激光雷达在同一时刻朝向同一预设方向进行扫描，(x*,y*)为基于图7雷达坐标系下的激光点的坐标。
激光雷达a、激光雷达b、激光雷达c、激光雷达d和激光雷达e同时绕z轴进行转动扫描，则激光雷达a的激光束a1、激光雷达b的激光束b1、激光雷达c的激光束c1、激光雷达d的激光束d1和激光雷达e的激光束e1构成一个平面，即激光束a1、激光束b1、激光束c1、激光束d1和激光束e1在工作时，同一时刻的激光束a1、激光束b1、激光束c1、激光束d1和激光束e1的投影朝向同一方向。
在一些实施例中，激光束a1、激光雷达b的激光束b1、激光雷达c的激光束c1、激光雷达d的激光束d1和激光雷达e的激光束e1构成一个平面垂直于x轴和y轴构成的平面。
步骤102：基于第二点集，确定出初始可行驶区域的边缘。
参阅图12，步骤102可以是以下流程：
步骤1021：获取第二点集中的点的垂直角度。
其中，垂直角度可以采用以下公式进行计算：
Figure BDA0003411027840000111
获取第二点集中的点的y轴坐标。
步骤1022：将垂直角度作为序号，对第二点集中的点按照从小到大进行排序。
将垂直角度作为序号，对第二点集中的点按照从小到大进行排序。
在一些实施例中，若雷达组件包括16个激光雷达，则在工作时，同一时刻在预设方向上能够采集到16个点。即，在整个图像数据对应点云数据可以按照预设方向分为扫描频率对应数据量个第二点集，即每一第二点集包括16个点。
因图像分割，导致点云数据中的部分点被滤除，则此时分类的第二点集中部分第二点集中并没有16个点。另外，每一点因还具有垂直角度，则可以确定该点对应的激光雷达。按照垂直角度进行排序，得到一个序列。
具体地，按照垂直角度对应的激光雷达的索引进行排序。如，15度对应激光雷达1，17度对应激光雷达2，19度对应激光雷达3等。由此得到排序后的集合。
步骤1023：若出现相邻序号不连续，则保留较小序号。
若出现相邻序号不连续，则保留较小序号。如，序号包括1-40，60-80。则40和60相邻，但是不连续，则保留40以及比40小的所有序号。
以16个激光雷达为例，进行说明：
如，第一个第二点集中具有16个点，则对应的排序为激光雷达1-激光雷达16。第二个第二点集中具有14个点，对应的排序为激光雷达1-激光雷达7、激光雷达10-激光雷达16。即激光雷达7和激光雷达10相邻，但是不连续，则保留激光雷达1-激光雷达7对应的点，激光雷达10-激光雷达16删除。
步骤1024：将较小序号对应的像素点作为初始可行驶区域的边缘像素点。
此时，激光雷达7对应的点对应的图像数据上的像素点作为初始可行驶区域的边缘像素点。
按照上述方式，可以对所有第二点集进行处理，确定出初始可行驶区域的所有边缘像素点。
在其他实施例中，还可以利用最终可行驶区域对应的点云数据构建栅格地图。
在构建栅格地图时，需要采用图10所述的方式，将无效区域进行筛选，然后基于最终可行驶区域对应的点云数据构建栅格地图。
如，使用上述的异常点滤除方法可以过滤掉由图像分割错的点，然后利用确定边缘像素点的方式，确定最终可行驶区域对应的点云数据。基于最终可行驶区域对应的点云数据的点使用占据概率的方式构建栅格地图。
先使用Bresenham算法计算出每个点方向上哪些格子表示占据，哪些表示空闲。初始状态下皆为1，对于占据格子概率值不变，而空闲格子概率值为0，则可以表示出当前可行驶区域范围。
结合图13进行说明：
图13是按照上述异常点后得到可行驶区域D、可行驶区域E和可行驶区域F的点云数据。而在Bresenham算法来计算区域是否被占据。因为直接投射过去之后，可行驶区域E和可行驶区域F明显的添加了算法认为不属于可行驶路面的区域。则这些属于无效区域。因此，采用上述确定边缘像素点的方式，将无效区域直接滤除，得到如图14所示的图像数据，以及最终可行驶区域D'。
可以理解，无效区域在当前图像数据中属于无效区域，但是因移动机器人的移动，在下一图像数据中无效区域可能是有效区域，因此，对单帧图像进行无效区域的滤除，并不影响整体栅格地图的构建。
参阅图15，图15是本申请提供的可行驶区域的分割装置一实施例的结构示意图。该分割装置150包括处理器151以及与处理器151耦接的存储器152；其中，存储器152用于存储计算机程序，处理器151用于执行计算机程序，以实现以下方法：
获取目标区域的图像数据和点云数据；对图像数据进行分割，确定图像数据中的初始可行驶区域；利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域。
可以理解，处理器151还用于执行计算机程序，以实现上述任一实施例的技术方案，这里不做赘述。
参阅图16，图16是本申请提供的自主移动设备一实施例的结构示意图。该自主移动设备160包括：图像采集组件161、雷达组件162和处理器163。
其中，图像采集组件161用于采集目标区域的图像数据；雷达组件162用于采集点云数据；处理器163与图像采集组件161和雷达组件162连接，用于对图像数据进行分割，确定图像数据中的初始可行驶区域；以及利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域。
可以理解，处理器163还用于执行计算机程序，以实现上述任一实施例的技术方案，这里不做赘述。
在一些实施例中，自主移动设备160可以是移动机器人，其中，处理器163可以使用普通x86架构计算机，运行Ubuntu操作系统，在该系统的基础上安装ROS机器人操作系统。雷达组件162使用16线激光传感器，例如、Velodyne16、Robosense16等和图像采集组件161使用单目相机。使用相机标定方法对相机内参进行标定，使用激光-相机标定方法对相机和激光雷达的外参进行标定。
其中，在ROS机器人操作系统上运行激光SLAM方法，同时对图像进行语义分割。以及根据激光和相机的内外参关系，将激光点云的信息投影到图片上。然后按照本申请提出的上述任一技术方案，将不属于行驶区域的激光点云滤除。采用过滤后的激光点云拟合出该帧下的可行驶区域。
参阅图17，图17是本申请提供的计算机可读存储介质一实施例的结构示意图。该计算机可读存储介质170用于存储计算机程序171，计算机程序171在被处理器执行时，用于实现以下方法：
获取目标区域的图像数据和点云数据；对图像数据进行分割，确定图像数据中的初始可行驶区域；利用点云数据对初始可行驶区域进行修正，得到最终可行驶区域。
可以理解，计算机程序171在被处理器执行时，还用于实现上述任一实施例的技术方案，这里不做赘述。
终上所述，本申请提供上述任一实施例的技术方案，利用点云数据对初始可行驶区域进行修正，能够提升点云数据的可用性，以及提升对可行驶区域的分割精度。以及本申请的技术方案可以剔除视觉分割过程中存在的明显错误分割的点，从而提高点云数据的可用性。以及通过去除无效区域的方式，能够避免进入无效区域，同时在筛选之后可以直接使用占据栅格的方式来进行可行驶区域填充或者绘制二维栅格地图。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述电路或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种可行驶区域的分割方法，其特征在于，所述方法包括：
获取目标区域的图像数据和点云数据；
对所述图像数据进行分割，确定所述图像数据中的初始可行驶区域；
利用所述点云数据对所述初始可行驶区域进行修正，得到最终可行驶区域。
2.根据权利要求1所述的方法，其特征在于，所述利用所述点云数据对所述初始可行驶区域进行修正，得到最终可行驶区域，包括：
利用所述点云数据确定出所述初始可行驶区域中的异常像素点；
在所述初始可行驶区域中滤除所述异常像素点，得到所述最终可行驶区域。
3.根据权利要求2所述的方法，其特征在于，所述利用所述点云数据确定出所述初始可行驶区域中的异常像素点，包括：
对所述点云数据的三维坐标信息进行坐标转换，得到对应所述图像数据的二维坐标信息；
基于所述二维坐标信息和所述初始可行驶区域对所述点云数据进行滤除，得到滤除后的所述点云数据；
利用所述滤除后的所述点云数据确定出所述初始可行驶区域中的异常像素点。
4.根据权利要求3所述的方法，其特征在于，所述利用所述滤除后的所述点云数据确定出所述初始可行驶区域中的异常像素点，包括：
对滤除后的所述点云数据按照垂直角度进行分类，得到对应每一垂直角度的第一点集；其中，所述垂直角度为采集点云数据的雷达组件中激光束的发射角度；
确定出所有所述第一点集中点数量小于预设数量的目标第一点集；
将所述目标第一点集对应的像素点作为异常像素点。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对所述滤除后的所述点云数据按照预设方向进行分类，得到对应每一预设方向的第二点集；其中，所述预设方向为所述雷达组件中激光束的投影方向；
基于所述第二点集，确定出所述初始可行驶区域的边缘。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第二点集，确定出所述初始可行驶区域的边缘，包括：
获取所述第二点集中的点的垂直角度；
将所述垂直角度作为序号，对所述第二点集中的点按照从小到大进行排序；
若出现相邻序号不连续，则保留较小序号；
将所述较小序号对应的像素点作为所述初始可行驶区域的边缘像素点。
7.根据权利要求1所述的方法，其特征在于，所述利用所述点云数据对所述初始可行驶区域进行修正，得到最终可行驶区域之后，包括：
利用最终可行驶区域对应的所述点云数据构建栅格地图。
8.一种可行驶区域的分割装置，其特征在于，所述分割装置包括处理器以及与所述处理器耦接的存储器；
其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现如权利要求1-7任一项所述的方法。
9.一种自主移动设备，其特征在于，所述自主移动设备包括：
图像采集组件，用于采集目标区域的图像数据；
雷达组件，用于采集点云数据；
处理器，与所述图像采集组件和所述雷达组件连接，用于对所述图像数据进行分割，确定所述图像数据中的初始可行驶区域；以及利用所述点云数据对所述初始可行驶区域进行修正，得到最终可行驶区域。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序在被处理器执行时，用于实现如权利要求1-7任一项所述的方法。
CN202111531686.3A 2021-12-14 2021-12-14 可行驶区域的分割方法以及相关装置 Pending CN114445415A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111531686.3A CN114445415A (zh) 2021-12-14 2021-12-14 可行驶区域的分割方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111531686.3A CN114445415A (zh) 2021-12-14 2021-12-14 可行驶区域的分割方法以及相关装置

Publications (1)

Publication Number Publication Date
CN114445415A true CN114445415A (zh) 2022-05-06

Family

ID=81364545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111531686.3A Pending CN114445415A (zh) 2021-12-14 2021-12-14 可行驶区域的分割方法以及相关装置

Country Status (1)

Country Link
CN (1) CN114445415A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114814796A (zh) * 2022-07-01 2022-07-29 陕西欧卡电子智能科技有限公司 基于高精度地图的水面可行驶区域提取方法、装置及设备

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528588A (zh) * 2015-12-31 2016-04-27 百度在线网络技术（北京）有限公司 一种车道线识别方法及装置
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN109683170A (zh) * 2018-12-27 2019-04-26 驭势科技（北京）有限公司 一种图像行驶区域标注方法、装置、车载设备及存储介质
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置
WO2020083349A1 (zh) * 2018-10-24 2020-04-30 长沙智能驾驶研究院有限公司 用于智能驾驶设备的数据处理方法、装置和存储介质
CN111640323A (zh) * 2020-06-08 2020-09-08 北京享云智汇科技有限公司 一种路况信息获取方法
CN112069856A (zh) * 2019-06-10 2020-12-11 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN112164138A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 一种点云数据筛选方法及装置
CN112348122A (zh) * 2020-12-03 2021-02-09 苏州挚途科技有限公司 可行驶区域的标注方法、装置和电子设备
CN112419154A (zh) * 2020-11-26 2021-02-26 三一专用汽车有限责任公司 可行驶区域检测方法、装置、设备和计算机可读存储介质
CN112529011A (zh) * 2020-12-10 2021-03-19 深圳先进技术研究院 目标检测方法及相关装置
WO2021051344A1 (zh) * 2019-09-19 2021-03-25 深圳市大疆创新科技有限公司 高精度地图中车道线的确定方法和装置
CN112578404A (zh) * 2019-09-27 2021-03-30 北京地平线机器人技术研发有限公司 一种行驶路径的确定方法及装置
CN113064179A (zh) * 2021-03-22 2021-07-02 上海商汤临港智能科技有限公司 一种点云数据筛选方法、车辆控制方法及装置
CN113111887A (zh) * 2021-04-26 2021-07-13 河海大学常州校区 一种基于相机和激光雷达信息融合的语义分割方法及系统
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN113343875A (zh) * 2021-06-18 2021-09-03 深圳亿嘉和科技研发有限公司 一种用于机器人的可行驶区域感知方法
CN113421217A (zh) * 2020-03-02 2021-09-21 北京京东乾石科技有限公司 可行驶区域检测方法和装置
CN113420687A (zh) * 2021-06-29 2021-09-21 三一专用汽车有限责任公司 可行驶区域的获取方法、装置和车辆
CN113537049A (zh) * 2021-07-14 2021-10-22 广东汇天航空航天科技有限公司 地面点云数据处理方法、装置、终端设备及存储介质
WO2021238306A1 (zh) * 2020-05-25 2021-12-02 华为技术有限公司 一种激光点云的处理方法及相关设备

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528588A (zh) * 2015-12-31 2016-04-27 百度在线网络技术（北京）有限公司 一种车道线识别方法及装置
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
WO2020083349A1 (zh) * 2018-10-24 2020-04-30 长沙智能驾驶研究院有限公司 用于智能驾驶设备的数据处理方法、装置和存储介质
CN109683170A (zh) * 2018-12-27 2019-04-26 驭势科技（北京）有限公司 一种图像行驶区域标注方法、装置、车载设备及存储介质
CN112069856A (zh) * 2019-06-10 2020-12-11 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
WO2020248614A1 (zh) * 2019-06-10 2020-12-17 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
WO2021051344A1 (zh) * 2019-09-19 2021-03-25 深圳市大疆创新科技有限公司 高精度地图中车道线的确定方法和装置
CN112578404A (zh) * 2019-09-27 2021-03-30 北京地平线机器人技术研发有限公司 一种行驶路径的确定方法及装置
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN113421217A (zh) * 2020-03-02 2021-09-21 北京京东乾石科技有限公司 可行驶区域检测方法和装置
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
WO2021238306A1 (zh) * 2020-05-25 2021-12-02 华为技术有限公司 一种激光点云的处理方法及相关设备
CN111640323A (zh) * 2020-06-08 2020-09-08 北京享云智汇科技有限公司 一种路况信息获取方法
CN112164138A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 一种点云数据筛选方法及装置
CN112419154A (zh) * 2020-11-26 2021-02-26 三一专用汽车有限责任公司 可行驶区域检测方法、装置、设备和计算机可读存储介质
CN112348122A (zh) * 2020-12-03 2021-02-09 苏州挚途科技有限公司 可行驶区域的标注方法、装置和电子设备
CN112529011A (zh) * 2020-12-10 2021-03-19 深圳先进技术研究院 目标检测方法及相关装置
CN113064179A (zh) * 2021-03-22 2021-07-02 上海商汤临港智能科技有限公司 一种点云数据筛选方法、车辆控制方法及装置
CN113111887A (zh) * 2021-04-26 2021-07-13 河海大学常州校区 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN113343875A (zh) * 2021-06-18 2021-09-03 深圳亿嘉和科技研发有限公司 一种用于机器人的可行驶区域感知方法
CN113420687A (zh) * 2021-06-29 2021-09-21 三一专用汽车有限责任公司 可行驶区域的获取方法、装置和车辆
CN113537049A (zh) * 2021-07-14 2021-10-22 广东汇天航空航天科技有限公司 地面点云数据处理方法、装置、终端设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BASAVARAJ CHOUGULA等: "Road segmentation for autonomous vehicle: A review", 2020 3RD INTERNATIONAL CONFERENCE ON INTELLIGENT SUSTAINABLE SYSTEMS (ICISS), 5 September 2020 (2020-09-05), pages 362 - 365 *
SRIRAM JAYACHANDRAN RAGURAMAN等: "Intelligent Drivable Area Detection System using Camera and Lidar Sensor for Autonomous Vehicle", 2020 IEEE INTERNATIONAL CONFERENCE ON ELECTRO INFORMATION TECHNOLOGY (EIT), 1 August 2020 (2020-08-01), pages 429 - 436 *
ZIYI LIU等: "A Co-Point Mapping-Based Approach to Drivable Area Detection for Self-Driving Cars", ENGINEERING, 15 August 2018 (2018-08-15), pages 479 - 490 *
谭亮: "智能汽车激光雷达障碍物检测方法研究", 中国优秀硕士学位论文全文数据库, no. 2, 15 February 2019 (2019-02-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114814796A (zh) * 2022-07-01 2022-07-29 陕西欧卡电子智能科技有限公司 基于高精度地图的水面可行驶区域提取方法、装置及设备
CN114814796B (zh) * 2022-07-01 2022-09-30 陕西欧卡电子智能科技有限公司 基于高精度地图的水面可行驶区域提取方法、装置及设备

Similar Documents

Publication Publication Date Title
CN110031824B (zh) 激光雷达联合标定方法及装置
CN110458898B (zh) 相机标定板、标定数据采集方法、畸变校正方法及装置
CN111179358B (zh) 标定方法、装置、设备及存储介质
JP6811296B2 (ja) コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体
CN112907676B (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
CN111750820B (zh) 影像定位方法及其系统
CN111815707B (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN109977466B (zh) 一种三维扫描视点规划方法、装置及计算机可读存储介质
CN110223380B (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
KR20220025028A (ko) 시각적 비콘 기반의 비콘 맵 구축 방법, 장치
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN111950440A (zh) 一种识别与定位门的方法、装置及存储介质
US20220155451A1 (en) Detecting three-dimensional structure models at runtime in vehicles
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN112308928A (zh) 一种无标定装置的相机与激光雷达自动标定方法
CN112525147A (zh) 自动驾驶设备测距方法及相关装置
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
CN114445415A (zh) 可行驶区域的分割方法以及相关装置
CN113076824B (zh) 车位获取方法、装置、车载终端及存储介质
Collins et al. Site model acquisition and extension from aerial images
CN117392237A (zh) 一种鲁棒的激光雷达-相机自标定方法
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
JP2023168262A (ja) データ分割装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination