CN115115655A - 目标分割方法、装置、电子设备、存储介质及程序产品 - Google Patents

目标分割方法、装置、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN115115655A
CN115115655A CN202210692872.3A CN202210692872A CN115115655A CN 115115655 A CN115115655 A CN 115115655A CN 202210692872 A CN202210692872 A CN 202210692872A CN 115115655 A CN115115655 A CN 115115655A
Authority
CN
China
Prior art keywords
target
depth image
pixel points
image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210692872.3A
Other languages
English (en)
Inventor
彭慧玲
陈王双懿
邓皓匀
陈剑斌
任凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210692872.3A priority Critical patent/CN115115655A/zh
Publication of CN115115655A publication Critical patent/CN115115655A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标分割方法，该方法包括：将获取的目标物体对应的三维点云转换成深度图像；计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，根据第一角度值确定属于地面点的像素点；将属于地面点的像素点从所述深度图像中移除，得到目标图像；计算所述目标图像中两个相邻像素点形成的第二角度值，根据第二角度值确定属于同一目标的像素点，以完成同一目标的确认；对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。本发明充分利用了深度投影图像，减少了使用DBSCAN算法排序的耗时，提高了算法速率。

Description

目标分割方法、装置、电子设备、存储介质及程序产品
技术领域
本申请涉及图像分割技术领域，具体涉及一种目标分割方法、装置、电子设备、存储介质及程序产品。
背景技术
自动驾驶系统中，激光雷达传感器输出的点云可以得到目标大小、距离、headingangle等有效信息，需要准确分割点云，拟合boundingbox才能为后续的追踪、融合等模块提供目标的可靠信息，实现环境感知保证自动驾驶技术的安全。对于传统算法，激光雷达点云首先需要对地面点云进行滤除，减小对目标分割的影响。常见的DBSCAN算法解决地面滤除和目标分割的问题适用于点云数量较少的情况，例如点云数量在两三百左右的毫米波雷达；如果同样用来处理数量在十几万的激光雷达点云，对cpu的占用和计算耗时会大大增加，不能达到软件实车运行的要求。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种目标分割方法、装置、电子设备、存储介质及程序产品，以解决上述技术问题。
本发明提供的一种目标分割方法，所述方法包括：
将获取的目标物体对应的三维点云转换成深度图像；
计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，并将所述深度图像所有列像素的第一角度值分别与第一指定阈值进行比较，得到第一比较结果，根据第一比较结果确定属于地面点的像素点；
将属于地面点的像素点从所述深度图像中移除，得到目标图像；
计算所述目标图像中两个相邻像素点形成的第二角度值，并将所述目标图像所有列像素的第二角度值分别与第二指定阈值进行比较，得到第二比较结果，根据第二比较结果确定属于同一目标的像素点，以完成同一目标的确认；
对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。
于本发明一示例性实施例中，在得到属于同一目标的所有目标点后，还包括：
获取所述目标与点云数据获取装置的距离；
根据所述距离，在距离范围与像素阈值的关联关系表中查找与所述距离对应的像素阈值；其中，不同的像素阈值对应不同的距离范围；
删除像素小于像素阈值的像素点。
于本发明一示例性实施例中，在将三维点云数据转换成深度图像的步骤中，至少一个点对应一个像素点；若每一个像素点对应多个点，则对所述多个点中的与激光雷达距离最大的点进行转换，得到该点对应的深度图像数据。
于本发明一示例性实施例中，在将所述三维点云转换成深度图像的步骤后，所述方法还包括：
判断所述深度图像的每一列像素中是否存在不具有深度值的像素点，记为待修复点；
确定所述待修复点的相邻像素点，作为修复参考点，并将所述修复参考点的深度值的平均值作为待修复点的深度值；其中，所述修复参考点的深度值的差大于深度差阈值。
于本发明一示例性实施例中，在计算得到第一角度值后，还包括：以所述第一角度值作为矩阵元素构建角度图像，并对所述角度图像进行平滑滤波。
于本发明一示例性实施例中，所述根据第一比较结果确定属于地面点的像素点，包括：
若所述第一比较结果为所述第一角度值小于所述第一指定阈值，则将所述第一角度值对应的两个相邻像素点标记为地面点。
于本发明一示例性实施例中，所述根据第二比较结果确定属于同一目标的像素点，包括：
若所述第二比较结果为所述第二角度值大于所述第二指定阈值，则将所述第二角度值对应的两个相邻像素点标记为同一目标的点。
于本发明一示例性实施例中，在将所述三维点云转换成深度图像前，还包括：
设置投影参数，所述投影参数包括竖直方向与水平方向的投影角度；
根据所述投影参数将所述三维点云投影到所述深度图像上，以将所述三维点云转换成深度图像。
本发明提供的一种目标分割装置，所述装置包括：
深度图像获取模块，用于将获取的目标物体对应的三维点云转换成深度图像；
地面点确定模块，用于计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，并将所述深度图像所有列像素的第一角度值分别与第一指定阈值进行比较，得到第一比较结果，根据第一比较结果确定属于地面点的像素点；
移除模块，用于将所述地面点从所述深度图像中移除，得到目标图像；
目标确定模块，用于计算所述目标图像中两个相邻像素点形成的第二角度值，并将所述目标图像所有列像素的第二角度值分别与第二指定阈值进行比较，得到第二比较结果，根据第二比较结果确定属于同一目标的像素点，以完成同一目标的确认；
目标分割模块，用于对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。
本发明提供的一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现所述的目标分割方法。
本发明提供的一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行所述的目标分割方法。
本发明提供的一种计算机程序产品，其特征在于，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行所述的目标分割方法的计算机程序。
本发明的有益效果：
本发明中的一种目标分割方法，包括：将获取的目标物体对应的三维点云转换成深度图像；计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，并将所述深度图像所有列像素的第一角度值分别与第一指定阈值进行比较，得到第一比较结果，根据第一比较结果确定属于地面点的像素点；将属于地面点的像素点从所述深度图像中移除，得到目标图像；计算所述目标图像中两个相邻像素点形成的第二角度值，并将所述目标图像所有列像素的第二角度值分别与第二指定阈值进行比较，得到第二比较结果，根据第二比较结果确定属于同一目标的像素点，以完成同一目标的确认；对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。本发明利用深度图像，先识别出深度图像中的地面，然后移除地面，得到包括目标的图像，再然后，识别出目标图像中属于同一个目标的像素，从而识别出目标，最后对目标进行分割。本发明充分利用了深度投影图像，减少了使用DBSCAN算法排序的耗时，提高了算法速率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请的一示例性实施例示出的目标分割方法的实施环境示意图；
图2是本申请的一示例性实施例示出的目标分割方法的流程图；
图3是本申请的一示例性实施例示出图像修复的流程示意图；
图4是本申请的一示例性实施例示出确定地面像素点的流程图；
图5是本申请的一示例性实施例示出两个相邻像素点的角度示意图；
图6是本申请的另一示例性实施例示出两个相邻像素点的角度示意图；
图7是本申请的另一示例性实施例示出确定同一个目标的流程图；
图8是本申请的另一示例性实施例示出的目标图像中两个相邻像素点的角度的示意图；
图9是本申请的另一示例性实施例示出的采用本发明的目标分割方法的对比结果图；
图10是本申请的另一示例性实施例示出的未设置分段阈值与设置分段阈值后目标分割结果对比图；
图11是本申请的另一示例性实施例示出的使用本发明目标分割方法与基于深度投影的一般分割算法的时间效率对比图；
图12是本申请的一示例性实施例示出的目标分割装置的框图；
图13示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
图1是本申请一种示例性目标分割方法实施环境的示意图。请参阅图1，该实施环境中包括终端设备101和服务器102，终端设备101和服务器102之间通过有线或者无线网络进行通信。
应该理解，图1中的终端设备101和服务器102的数目仅仅是示意性的。根据实际需要，可以具有任意数目的终端设备101和服务器102。
其中，终端设备101对应客户端，其可以是任意具有用户输入接口的电子设备，包括但不限于智能手机、平板、笔记本电脑、计算机、车载电脑等等，其中，用户输入接口包括但不限于触摸屏、键盘、物理按键、音频拾取装置等。
其中，服务器102对应服务端，其可以是提供各种服务的服务器，其可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器，本处不对此进行限制。
终端设备101可以通过3G(第三代的移动信息技术)、4G(第四代的移动信息技术)、5G(第五代的移动信息技术)等无线网络与服务端102进行通信，本处也不对此进行限制。
由于，现有技术中存在目标分割耗时长、精度不高的问题，为了解决这些问题，本申请的实施例分提出一种目标分割方法、一种软件分割装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品，以下将对这些实施例进行详细描述。
请参阅图2，图2是本申请的一示例性实施例示出的目标分割方法的流程图。该方法可以应用于图1所示的实施环境，并由该实施环境中的终端设备101具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。
请参阅图2，图2为本申请一示例性的一种目标分割方法的流程图，该目标分割方法至少包括步骤S210至步骤S250，包括：
步骤S210将获取的目标物体对应的三维点云转换成深度图像；
步骤S220计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，并将所述深度图像所有列像素的第一角度值分别与第一指定阈值进行比较，得到第一比较结果，根据第一比较结果确定属于地面点的像素点；
步骤S230将属于地面点的像素点从所述深度图像中移除，得到目标图像；
步骤S240计算所述目标图像中两个相邻像素点形成的第二角度值，并将所述目标图像所有列像素的第二角度值分别与第二指定阈值进行比较，得到第二比较结果，根据第二比较结果确定属于同一目标的像素点，以完成同一目标的确认；
步骤S250对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。
本发明利用深度图像，先识别出深度图像中的地面，然后移除地面，得到包括目标的图像，再然后，识别出目标图像中属于同一个目标的像素，从而识别出目标，最后对目标进行分割。本发明充分利用了深度投影图像，减少了使用DBSCAN算法排序的耗时，提高了算法速率。
以下通过具体实施例对本发明的目标分割方法的详细步骤进行说明。
在步骤，S210将获取的目标物体对应的三维点云转换成深度图像；
需要说明是，本申请实施例中的目标分割方法可以应用在例如自动驾驶系统中。自动驾驶(Autonomous vehicles；Self-driving automobile)又称无人驾驶、电脑驾驶，是一种通过电脑系统实现无人驾驶。自动驾驶依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作。
目标物体可以为任意形态或形状的物体，在一个示例性实施例中，该目标物体可以为车辆。目标物体对应的三维点云的获取可以为三维激光扫描仪或三维光学检测仪或三维激光雷达等可直接采集三维点云的设备，也可以为上述设备中的组成部件，例如其内部的处理器或微处理器等。三维点云是表示目标物体表面特性的海量点的集合。
在一个示例性实施例中，可以通过三维激光雷达来获取目标物体对应的三维点云。具体的，三维激光雷达广泛应用于无人驾驶汽车，无人小型飞机，无人运货车，移动测绘车，街景车，游艇，机场等各个方面。三维激光雷达的工作原理与雷达非常相近，以激光作为信号源，由激光器发射出的脉冲激光，打到地面的树木、道路、桥梁和建筑物上，引起散射，一部分光波会反射到激光雷达的接收器上，根据激光测距原理计算，就得到从三维激光雷达到目标点的距离，脉冲激光不断地扫描目标物，就可以得到目标物上全部目标点的数据，用此数据进行成像处理后，就可得到精确的三维立体图像。
深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离(深度)值作为像素值的图像。它直接反映了景物可见表面的几何形状，利用它可以很方便地解决3D目标描述中的许多问题。当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成三维点云。深度图像经过坐标转换可以计算为三维点云数据，当然三维点云数据也可以反算为深度图像数据。
在本申请一示例性实施例中，由于对应目标物体的像素点的数量远远小于目标物体的点云数量，因此，在将点云投影到深度图像过程中，将2到3个点云投影到一个像素点。而且为了使点云在图像上形成合理投影，防止投影不均导致的像素修复增多，可以在将所述三维点云转换成深度图像前，根据统计点云在水平方向和竖直方向的分布情况，设置投影参数，包括竖直方向与水平方向的投影角度；根据所述投影参数将所述三维点云投影到所述深度图像上，以将所述三维点云转换成深度图像。
具体地，根据三维激光雷达点云分布情况，保证相对平均地投影到像素中，设置水平方向像素角度为0.2°，像素数量为FOV/0.2°＝701，垂直方向角度为0.4°*8+0.3*15+0.2°*27+0.15°*8+0.2°*20+0.3°*8+0.4°*5，像素数量为91。其中，8表示在0.4°的扫描区域内具有8个像素点，15表示在0.3°的扫描区域内具有15个像素点，27表示在0.2°的扫描区域内具有27个像素点，8表示在0.15°的扫描区域内具有8个像素点，20表示在0.2°的扫描区域内具有8个像素点，8表示在0.3°的扫描区域内具有8个像素点，5表示在0.4°的扫描区域内具有5个像素点。
在本申请一示例性实施例中，将三维点云的三维坐标系(x,y,z)转换到深度图像的(row,col,depth)坐标中。具体地，先将三维空间中的点投影到可以展开的圆柱形表面上，以将其平面化，然后三维点云中任意三维数据点(x,y,z)通过下式转化为二维深度图的元素(Row,Col)，三维数据点到激光雷达的距离dis作为该点的像素值。计算点的深度
Figure BDA0003700935620000091
计算水平角度
Figure BDA0003700935620000092
计算垂直角度
Figure BDA0003700935620000093
根据投影参数得到每个点云投影的像素(Row,Col)，
在本申请一示例性实施例中，在将所述三维点云数据转换成深度图像的步骤中，至少一个点对应一个像素点；若每一个像素点对应多个点，则对所述多个点中的与激光雷达距离最大的点进行转换，得到该点对应的深度图像数据。
在本实施例中，将2到3个点云投影到深度图像上，在投影的过程中，不记录所有点云的索引，只记录一个深度值最大的点云的索引，以做到降采样处理，这样可以减少30％左右的点云数量。
请参阅图3，图3为图像修复的流程示意图。由于很可能出现在深度投影图像像素上没有点云投影的情况，因此，于本发明一示例性实施例中，在将所述三维点云转换成深度图像的步骤后，所述方法还包括：
S310判断所述深度图像的每一列像素中是否存在不具有深度值的像素点，记为待修复点；
S320确定所述待修复点的相邻像素点，作为修复参考点，并将所述修复参考点的深度值的平均值作为待修复点的深度值。
需要说明的是，所述修复参考点的深度值的差大于深度差阈值。具体地，对于没有深度的当前像素点，查找竖直方向(同一列像素)邻近的四个像素点，在满足上下点云深度差阈值的前提下，当前像素点通过临近点深度均值修复，
Figure BDA0003700935620000101
其中，curDepth为待修复点的深度值，counter为参与修复的点的数量，prevDepth1为在修复点之上与待修复点相邻的第一个点，prevDepth2为在修复点之上与待修复点相邻的第二个点，nextDepth1为在修复点之下与待修复点相邻的第一个点，nextDepth2为在修复点之下与待修复点相邻的第二个点。
在步骤S220中，计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，并将所述深度图像所有列像素的第一角度值分别与第一指定阈值进行比较，得到第一比较结果，根据第一比较结果确定属于地面点的像素点。
其中，所述根据第一比较结果确定属于地面点的像素点，包括：若所述第一比较结果为所述第一角度值小于所述第一指定阈值，则将所述第一角度值对应的两个相邻像素点标记为地面点。
于本发明一示例性实施例中，请参阅图4，图4为确定地面像素点的具体步骤，如图所示，确定属于地面点的像素点的流程，包括：
S410随机选择所述深度图像的某一列像素中的两个相邻像素点，并计算两个相邻像素点的第一角度值，并与第一指定阈值进行比较。
需要说明的是，在选择两个相邻像素点时，先从低往上寻找，由于最底部一排的像素点的角度值都是0，因此，可以从倒数第二排选择起点开始。
请参阅图5、6，图5为一实施例中两个相邻像素点的角度示意图，图6为另一实施例中两个相邻像素点的角度示意图，即第一角度值＝arctan(dy/dx)；其中，dx为两个相邻像素点横坐标的差值，dy为两个相邻像素点纵坐标的差值。
S420将第一角度值小于第一指定阈值的对应的像素点标记为当前地面点；
其中，第一指定阈值可以45°，即在第一角度值小于45°时，表明深度图像中对应的两个像素点角度差值足够小，符合地面情况，则对应像素点认为是为地面点，并作为当前地面点。在进行具体标记时，可以将该点标记为1。
S430从所述当前地面点开始，向未标记的相邻点进行搜索，确定为地面点的所有像素点；
S440遍历所有列像素，重复上述步骤，完成所有地面点的标记。
在步骤S230中，将属于地面点的像素点从所述深度图像中移除，得到目标图像。
由于通过将三维激光雷达的点云数据投影得到的深度图像中包括地面与目标物体，因此，在对目标进行分割前，先要从深度图像中确定出目标物体，因此，需要将地面点从所述深度图像中移除，从而得到属于目标物体的深度图像。
在步骤S240中，计算所述目标图像中两个相邻像素点形成的第二角度值，并将所述目标图像所有列像素的第二角度值分别与第二指定阈值进行比较，得到第二比较结果，根据第二比较结果确定属于同一目标的像素点，以完成同一目标的确认。
其中，所述根据第二比较结果确定属于同一目标的像素点，包括：若所述第二比较结果为所述第二角度值大于所述第二指定阈值，则将所述第二角度值对应的两个相邻像素点标记为同一目标的点。
请参阅图7，图7为确定同一个目标的流程为：
首先选择开始像素点，遍历每一个像素点，判断像素点的像素是否大零，若大于，则表示该像素点已经被标记为目标点，然后继续查找下一像素点。若该像素点没有被标记为目标点，则判断该像素点是否具有深度信息，如果未被标记并且有投影的深度信息，则以开始像素点作为当前像素点向四周查找与当前像素点相邻的像素点的角度距离，即第二角度值。
请参阅图8，图8为目标图像中两个相邻像素点的角度的示意图。若两个相邻像素点是同一行的相邻像素，则α是水平方向的夹角，即两条激光线的夹角；若两个相邻像素点是同一列的相邻像素，则α是竖直方向的夹角。如图7所示，dy＝d2*sin(α),dx＝d1-d2*cos(α)，则第二角度值β＝arctan(dy/dx)。当β角度大于第二指定阈值时，表明两个像素点之间符合同一目标点距离相近的情况，则将满足这一条件的像素点标记为同一个目标的点。
在步骤S250中，对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。
请参阅图9，图9为采用本发明的目标分割方法的对比结果图。从图中可以看出，使用本发明对原始点云进行处理，获取的目标的点云数量大幅减少，减少了数据数量，提高了处理效率。
于本发明一示例性实施例中，在得到属于同一目标的所有目标点后，还包括：
获取所述目标与点云数据获取装置的距离；根据所述距离，在距离范围与像素阈值的关联关系表中查找与所述距离对应的像素阈值；删除像素小于像素阈值的像素点。
需要说明的是，距离范围与像素阈值的关联关系表记录了距离范围与像素阈值对应的关系。例如，距离范围A到B对应像素阈值C，距离范围A1到B1对应像素阈值C1，距离范围A2到B2对应像素阈值C2等等。查找与所述距离对应的像素阈值具体可以指，若目标与雷达的距离在A与B之间，则对应的像素阈值为C1，则在标记属于同一目标的像素点时，删除像素小于像素阈值C1的像素点，即保留的像素点的最小像素值为C1。
具体地，设置近、中、远三个距离范围与对应的像素阈值，0到20m为近距离，同一标记的目标保留最小阈值为40像素；20到70m为中距离，保留最小阈值为25像素；大于70m为远距离，保留最小阈值为10像素；当目标的像素点数量大于分段阈值时，才保留该目标，否则不满足最小目标像素数量，不作为目标保留。请参阅图10，图10为未设置分段阈值与设置分段阈值后目标分割结果对比图。从图10可以看出，远距离目标也没有目标丢失的情况。
于本发明一示例性实施例中，在计算得到第一角度值后，还包括：以所述第一角度值作为矩阵元素构建角度图像，并对所述角度图像进行平滑滤波。
具体地，可以通过SavitskyGolay滤波算法平滑角度图像。更加具体地，首先根据图像大小设置滤波参数，然后通过openCV的filter2D函数完成滤波。
SavitzkyGolay滤波拟合法是根据NDVI时间序列曲线的平均趋势，确定合适的滤波参数，用多项式实现滑动窗内的最小二乘拟合；利用Savitzky-Golay滤波方法(基于最小二乘的卷积拟合算法)进行迭代运算，模拟整个NDVI时序数据获得长期变化趋势。
请参阅图11，图11为使用本发明目标分割方法与基于深度投影的一般分割算法的时间效率对比图。如图11是在相同点云测试数据的情况下，本发明分割方法与基于深度投影的一般分割算法的时间效率对比图，本发明的分割方法的处理时间均值在55ms左右，一般方法耗时均值在95ms左右，本发明的分割方法的运算速率更高。
请参阅图12，图12为本申请一示例性实施例一种目标分割装置的原理框图，该目标分割装置包括：
深度图像获取模块1201，用于将获取的目标物体对应的三维点云转换成深度图像；
地面点确定模块1202，用于计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，并将所述深度图像所有列像素的第一角度值分别与第一指定阈值进行比较，得到第一比较结果，根据第一比较结果确定属于地面点的像素点；
移除模块1203，用于将所述地面点从所述深度图像中移除，得到目标图像；
目标确定模块1204，用于计算所述目标图像中两个相邻像素点形成的第二角度值，并将所述目标图像所有列像素的第二角度值分别与第二指定阈值进行比较，得到第二比较结果，根据第二比较结果确定属于同一目标的像素点，以完成同一目标的确认；
目标分割模块1205，用于对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。
需要说明的是，上述实施例所提供的分割装置与上述实施例所提供的分割方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的分割装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的分割方法。
图13示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图13示出的电子设备的计算机系统1300仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图13所示，计算机系统1300包括中央处理单元(Central Processing Unit，CPU)1301，其可以根据存储在只读存储器(Read-Only Memory，ROM)1302中的程序或者从储存部分1308加载到随机访问存储器(Random Access Memory，RAM)1303中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1303中，还存储有系统操作所需的各种程序和数据。CPU1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(Input/Output，I/O)接口1305也连接至总线1304。
以下部件连接至I/O接口1305：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1307；包括硬盘等的储存部分1308；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入储存部分1308。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的目标分割方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的目标分割方法。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种目标分割方法，其特征在于，所述方法包括：
将获取的目标物体对应的三维点云转换成深度图像；
计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，并将所述深度图像所有列像素的第一角度值分别与第一指定阈值进行比较，得到第一比较结果，根据第一比较结果确定属于地面点的像素点；
将属于地面点的像素点从所述深度图像中移除，得到目标图像；
计算所述目标图像中两个相邻像素点形成的第二角度值，并将所述目标图像所有列像素的第二角度值分别与第二指定阈值进行比较，得到第二比较结果，根据第二比较结果确定属于同一目标的像素点，以完成同一目标的确认；
对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。
2.根据权利要求1所述目标分割方法，其特征在于，在得到属于同一目标的所有目标点后，还包括：
获取所述目标与点云数据获取装置的距离；
根据所述距离，在距离范围与像素阈值的关联关系表中查找与所述距离对应的像素阈值；其中，不同的像素阈值对应不同的距离范围；
删除像素小于像素阈值的像素点。
3.根据权利要求1所述的目标分割方法，其特征在于，在将三维点云数据转换成深度图像的步骤中，至少一个点对应一个像素点；若每一个像素点对应多个点，则对所述多个点中的与激光雷达距离最大的点进行转换，得到该点对应的深度图像数据。
4.根据权利要求1、2或3所述的目标分割方法，其特征在于，在将所述三维点云转换成深度图像的步骤后，所述方法还包括：
判断所述深度图像的每一列像素中是否存在不具有深度值的像素点，记为待修复点；
确定所述待修复点的相邻像素点，作为修复参考点，并将所述修复参考点的深度值的平均值作为待修复点的深度值；其中，所述修复参考点的深度值的差大于深度差阈值。
5.根据权利要求1所述的目标分割方法，其特征在于，在计算得到第一角度值后，还包括：以所述第一角度值作为矩阵元素构建角度图像，并对所述角度图像进行平滑滤波。
6.根据权利要求4所述的目标分割方法，其特征在于，所述根据第一比较结果确定属于地面点的像素点，包括：
若所述第一比较结果为所述第一角度值小于所述第一指定阈值，则将所述第一角度值对应的两个相邻像素点标记为地面点。
7.根据权利要求1或6所述的目标分割方法，其特征在于，所述根据第二比较结果确定属于同一目标的像素点，包括：
若所述第二比较结果为所述第二角度值大于所述第二指定阈值，则将所述第二角度值对应的两个相邻像素点标记为同一目标的点。
8.根据权利要求1所述的目标分割方法，其特征在于，在将所述三维点云转换成深度图像前，还包括：
设置投影参数，所述投影参数包括竖直方向与水平方向的投影角度；
根据所述投影参数将所述三维点云投影到所述深度图像上，以将所述三维点云转换成深度图像。
9.一种目标分割装置，其特征在于，所述装置包括：
深度图像获取模块，用于将获取的目标物体对应的三维点云转换成深度图像；
地面点确定模块，用于计算所述深度图像所有列像素中每一列的两个相邻像素点形成的第一角度值，并将所述深度图像所有列像素的第一角度值分别与第一指定阈值进行比较，得到第一比较结果，根据第一比较结果确定属于地面点的像素点；
移除模块，用于将所述地面点从所述深度图像中移除，得到目标图像；
目标确定模块，用于计算所述目标图像中两个相邻像素点形成的第二角度值，并将所述目标图像所有列像素的第二角度值分别与第二指定阈值进行比较，得到第二比较结果，根据第二比较结果确定属于同一目标的像素点，以完成同一目标的确认；
目标分割模块，用于对所述同一目标进行分割，并根据三维点云与深度图像的射映关系将目标的深度图像反投影为点云数据。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至8中任一项所述的目标分割方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如权利要求1至8中任一项所述的目标分割方法。
12.一种计算机程序产品，其特征在于，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行如权利要求1至8中任一项所述的目标分割方法的计算机程序。
CN202210692872.3A 2022-06-17 2022-06-17 目标分割方法、装置、电子设备、存储介质及程序产品 Pending CN115115655A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210692872.3A CN115115655A (zh) 2022-06-17 2022-06-17 目标分割方法、装置、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210692872.3A CN115115655A (zh) 2022-06-17 2022-06-17 目标分割方法、装置、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN115115655A true CN115115655A (zh) 2022-09-27

Family

ID=83328199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210692872.3A Pending CN115115655A (zh) 2022-06-17 2022-06-17 目标分割方法、装置、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN115115655A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375699A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 点云分割方法、移动机器人及计算机可读存储介质
CN115797229A (zh) * 2023-02-06 2023-03-14 北京鉴智科技有限公司 图像处理方法及装置
CN117197211A (zh) * 2023-09-04 2023-12-08 北京斯年智驾科技有限公司 一种深度图像生成方法、系统、装置及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375699A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 点云分割方法、移动机器人及计算机可读存储介质
CN115797229A (zh) * 2023-02-06 2023-03-14 北京鉴智科技有限公司 图像处理方法及装置
CN117197211A (zh) * 2023-09-04 2023-12-08 北京斯年智驾科技有限公司 一种深度图像生成方法、系统、装置及介质
CN117197211B (zh) * 2023-09-04 2024-04-26 北京斯年智驾科技有限公司 一种深度图像生成方法、系统、装置及介质

Similar Documents

Publication Publication Date Title
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN115115655A (zh) 目标分割方法、装置、电子设备、存储介质及程序产品
CN110570429B (zh) 一种基于三维点云的轻量级实时语义分割方法
US8805058B2 (en) Site modeling using image data fusion
CN110866449A (zh) 识别道路中目标对象的方法和装置
CN111524168B (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN113706480B (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN110390706B (zh) 一种物体检测的方法和装置
CN114140592A (zh) 高精地图生成方法、装置、设备、介质及自动驾驶车辆
CN116977963A (zh) 基于bev视角的自动驾驶多模态协同感知方法及系统
Arora et al. Static map generation from 3D LiDAR point clouds exploiting ground segmentation
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN114550117A (zh) 一种图像检测方法和装置
CN113763438B (zh) 一种点云配准方法、装置、设备及存储介质
CN112132845B (zh) 三维模型的单体化方法、装置、电子设备和可读介质
CN115409861A (zh) 基于图像处理的激光雷达地面点云分割方法、装置、设备及介质
Elkhrachy Feature extraction of laser scan data based on geometric properties
CN110557622B (zh) 基于结构光的深度信息获取方法及装置、设备及介质
CN117423102A (zh) 点云数据处理方法以及相关设备
CN113421217A (zh) 可行驶区域检测方法和装置
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
Chu et al. Convergent application for trace elimination of dynamic objects from accumulated lidar point clouds
CN112184901A (zh) 一种深度图确定方法及装置
Salah et al. Summarizing large scale 3D mesh for urban navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination