CN111444811B - 一种三维点云目标检测的方法 - Google Patents

一种三维点云目标检测的方法 Download PDF

Info

Publication number
CN111444811B
CN111444811B CN202010207425.5A CN202010207425A CN111444811B CN 111444811 B CN111444811 B CN 111444811B CN 202010207425 A CN202010207425 A CN 202010207425A CN 111444811 B CN111444811 B CN 111444811B
Authority
CN
China
Prior art keywords
point cloud
dimensional
virtual
scene
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010207425.5A
Other languages
English (en)
Other versions
CN111444811A (zh
Inventor
冯建峰
杜量
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202010207425.5A priority Critical patent/CN111444811B/zh
Publication of CN111444811A publication Critical patent/CN111444811A/zh
Application granted granted Critical
Publication of CN111444811B publication Critical patent/CN111444811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种三维点云目标检测的方法，包括以下步骤：通过深度传感器和图像传感器获取三维场景的点云信息作为神经网络的训练数据集,利用计算机渲染的目标点云模型补全场景中目标由于视角遮挡和远距离缺失的点云，作为虚拟训练数据集，搭建两个三维目标检测网络，一个用于输入真实数据，一个用于输入虚拟数据,将真实的三维场景点云数据和虚拟的三维场景点云数据分别输入各自的点云特征编码网络进行特征提取；本发明模拟了这种联想感知的过程，并将其运用到了深度神经网络中，通过迁移学习技术将真实场景中不完整的点云信息编码特征域迁移到虚拟的完整点云信息编码特征域中，使神经网络能够主动将不完整的点云关联到完整的点云。

Description

一种三维点云目标检测的方法
技术领域
本发明涉及计算机视觉技术领域，具体为一种三维点云目标检测的方法。
背景技术
现如今，三维目标检测在自主驾驶和机器人场景感知方面应用的最为广泛且十分重要。
但是，现有技术中存在以下缺点：
1、通过激光雷达、深度相机和双目相机获取三维场景的点云数据用于目标检测，但随着目标到深度传感器距离的增加，点云的密度会急剧下降，导致了巨大的密度变化，此外由于遮挡，目标的某些部分可能是不可见的，导致了同一类别的目标点云有巨大的分布差距，综上，由于点云的表征形式差异过大，三维目标检测结果很容易出错；
2、目前的目标检测算法通常基于深度神经网络，随着人工智能的不断发展，深度神经网络以其精度高，鲁棒性强的优势，被广泛运用于自动驾驶领域的大多数任务中，深度神经网络在二维目标检测领域的性能远超其他类型的算法，这是由于二维图像不存在三维点云稀疏性和不规则性的问题，但是正是因为这些三维点云的表征问题，导致了三维目标检测算法对远距离和被遮挡的点云检测性能不佳。
发明内容
针对现有技术的不足，本发明提供了一种三维点云目标检测的方法，解决了背景技术中提到的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种三维点云目标检测的方法，包括以下步骤：
S1、通过深度传感器和图像传感器获取三维场景的点云信息作为神经网络的训练数据集；
S2、利用计算机渲染的目标点云模型补全场景中目标由于视角遮挡和远距离缺失的点云，作为虚拟训练数据集，搭建两个三维目标检测网络，一个用于输入真实数据，一个用于输入虚拟数据；
S3、将步骤S1中真实的三维场景点云数据和步骤S2、中虚拟的三维场景点云数据分别输入各自的点云特征编码网络进行特征提取；
S4、将步骤S3中提取到的真实和虚拟场景的点云特征进行误差函数计算；
S5、将步骤S3中真实和虚拟的特征进行解码输出三维目标检测的预测结果，与真值结果进行误差函数计算；
S6、回传步骤S5和S6中的误差损失，更新权重训练网络，直至网络收敛完成训练。
进一步地，所述深度传感器为激光雷达，RGB-D深度相机，双面相机其中的一个，以获取场景三维坐标和颜色信息。
进一步地，所述计算机渲染的点云模型为CAD的点云模型或者从训练数据集中挑选出更为完整的点云模型，且从训练数据集中挑选出更为完整的点云模型作为虚拟模型，以补全或替换原有的不完整的点云模型。
进一步地，所述点云特征编码网络为利用神经网络对输入的数据或特征进行编码，以得到数据和特征更为高级抽象的编码；
对于离散稀疏的点云数据，一是首先体素化整个场景，再用稀疏卷积对这些体素进行编码得到高维特征，二是用神经网络直接对点进行编码得到高维特征。
进一步地，所述特征误差函数为两特征间的二范数。
本发明与现有技术相比具备以下有益效果：本发明模拟了这种联想感知的过程，并将其运用到了深度神经网络中，通过迁移学习技术将真实场景中不完整的点云信息编码特征域迁移到虚拟的完整点云信息编码特征域中，使神经网络能够主动将不完整的点云关联到完整的点云，生成补全缺失的特征信息。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种三维点云目标检测的方法，包括以下步骤：
S1、通过深度传感器(深度传感器为激光雷达，RGB-D深度相机，双面相机其中的一个，以获取场景三维坐标和颜色信息)和图像传感器获取三维场景的点云信息(包括三维坐标和颜色信息)作为神经网络的训练数据集；
S2、利用计算机渲染的目标点云模型(车辆，行人等)补全场景中目标由于视角遮挡和远距离缺失的点云(计算机渲染的点云模型为CAD的点云模型或者从训练数据集中挑选出更为完整的点云模型，且从训练数据集中挑选出更为完整的点云模型作为虚拟模型，以补全或替换原有的不完整的点云模型)，作为虚拟训练数据集，搭建两个三维目标检测网络，一个用于输入真实数据(真实网络)，一个用于输入虚拟数据(虚拟网络)；
S3、将步骤S1中真实的三维场景点云数据和步骤S2、中虚拟的三维场景点云数据分别输入各自的点云特征编码网络(点云特征编码网络为利用神经网络对输入的数据或特征进行编码，以得到数据和特征更为高级抽象的编码)进行特征提取，对于离散稀疏的点云数据，一是首先体素化整个场景，再用稀疏卷积对这些体素进行编码得到高维特征，二是用神经网络直接对点进行编码得到高维特征；
S4、将步骤S3中提取到的真实和虚拟场景的点云特征进行误差函数计算；
S5、将步骤S3中真实和虚拟的特征进行解码输出三维目标检测的预测结果，与真值结果进行误差函数计算；
S6、回传步骤S5和S6中的误差损失(特征误差函数为两特征间的二范数)，更新权重训练网络，直至网络收敛完成训练。
工作时，通过深度传感器和图像传感器获取三维场景的点云信息(包括三维坐标和颜色信息)作为神经网络的训练数据集，利用计算机渲染的目标点云模型(车辆，行人等)补全场景中目标由于视角遮挡和远距离缺失的点云，作为虚拟训练数据集，搭建两个三维目标检测网络，一个用于输入真实数据(真实网络)，一个用于输入虚拟数据(虚拟网络)，将真实的三维场景点云数据和步骤S2中虚拟的三维场景点云数据分别输入各自的点云特征编码网络进行特征提取，将提取到的真实和虚拟场景的点云特征进行误差函数计算，将真实和虚拟的特征进行解码输出三维目标检测的预测结果，与真值结果进行误差函数计算，回传误差损失，更新权重训练网络，直至网络收敛完成训练。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种三维点云目标检测的方法，其特征在于：包括以下步骤：
S1、通过深度传感器和图像传感器获取三维场景的点云信息作为神经网络的训练数据集；
S2、利用计算机渲染的目标点云模型补全场景中目标由于视角遮挡和远距离缺失的点云，作为虚拟训练数据集，搭建两个三维目标检测网络，一个用于输入真实数据，一个用于输入虚拟数据；
S3、将步骤S1中真实的三维场景点云数据和步骤S2、中虚拟的三维场景点云数据分别输入各自的点云特征编码网络进行特征提取；
S4、将步骤S3中提取到的真实和虚拟场景的点云特征进行误差函数计算；
S5、将步骤S3中真实和虚拟的特征进行解码输出三维目标检测的预测结果，与真值结果进行误差函数计算；
S6、回传步骤S4中的误差损失，更新权重训练网络，直至网络收敛完成训练；
所述计算机渲染的点云模型为CAD的点云模型或者从训练数据集中挑选出更为完整的点云模型，且从训练数据集中挑选出更为完整的点云模型作为虚拟模型，以补全或替换原有的不完整的点云模型；
所述点云特征编码网络为利用神经网络对输入的数据或特征进行编码，以得到数据和特征更为高级抽象的编码；
对于离散稀疏的点云数据，一是首先体素化整个场景，再用稀疏卷积对这些体素进行编码得到高维特征，二是用神经网络直接对点进行编码得到高维特征。
2.根据权利要求1所述的一种三维点云目标检测的方法，其特征在于：所述深度传感器为激光雷达，RGB-D深度相机，双面相机其中的一个，以获取场景三维坐标和颜色信息。
3.根据权利要求1所述的一种三维点云目标检测的方法，其特征在于：所述步骤S4中误差函数为两特征间的二范数。
CN202010207425.5A 2020-03-23 2020-03-23 一种三维点云目标检测的方法 Active CN111444811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010207425.5A CN111444811B (zh) 2020-03-23 2020-03-23 一种三维点云目标检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010207425.5A CN111444811B (zh) 2020-03-23 2020-03-23 一种三维点云目标检测的方法

Publications (2)

Publication Number Publication Date
CN111444811A CN111444811A (zh) 2020-07-24
CN111444811B true CN111444811B (zh) 2023-04-28

Family

ID=71650940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010207425.5A Active CN111444811B (zh) 2020-03-23 2020-03-23 一种三维点云目标检测的方法

Country Status (1)

Country Link
CN (1) CN111444811B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257605B (zh) * 2020-10-23 2021-07-23 中国科学院自动化研究所 基于自标注训练样本的三维目标检测方法、系统及装置
CN113326554A (zh) * 2020-11-18 2021-08-31 上海慕荣电气有限公司 一种基于点云数据的变电站设备地基沉降演化过程观测方法
CN112329799A (zh) * 2020-12-01 2021-02-05 上海大学 一种点云彩色化算法
CN112509109A (zh) * 2020-12-10 2021-03-16 上海影创信息科技有限公司 一种基于神经网络模型的单视图光照估计方法
CN112927359B (zh) * 2021-03-22 2024-01-30 南京大学 一种基于深度学习和体素的三维点云补全方法
CN113066189B (zh) * 2021-04-06 2022-06-14 海信视像科技股份有限公司 一种增强现实设备及虚实物体遮挡显示方法
CN113079340A (zh) * 2021-04-07 2021-07-06 西北工业大学 基于Hololens2的三维全息视频会议系统
CN112767554B (zh) * 2021-04-12 2021-07-16 腾讯科技（深圳）有限公司 一种点云补全方法、装置、设备及存储介质
CN113850270B (zh) * 2021-04-15 2024-06-21 北京大学 基于点云-体素聚合网络模型的语义场景补全方法及系统
CN112990442B (zh) * 2021-04-21 2021-08-06 北京瑞莱智慧科技有限公司 基于空间位置的数据确定方法、装置及电子设备
CN113192201B (zh) * 2021-05-08 2023-08-01 上海皓桦科技股份有限公司 点云数据的数据拟合方法、装置及介质
CN113281779B (zh) * 2021-05-20 2022-07-12 中山大学 一种3d物体快速检测方法、装置、设备及介质
CN113834444B (zh) * 2021-09-24 2022-09-23 云南特可科技有限公司 一种适用于暗光环境的多维测量方法
CN115096288B (zh) * 2022-06-21 2023-03-17 哈尔滨工业大学 移动机器人导航轨迹解算精度和能力测试方法
CN116528065B (zh) * 2023-06-30 2023-09-26 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法
CN116778262B (zh) * 2023-08-21 2023-11-10 江苏源驶科技有限公司 一种基于虚拟点云的三维目标检测方法和系统
CN117197743A (zh) * 2023-09-13 2023-12-08 南京北新智能科技有限公司 一种基于多帧二维点云识别的皮带纵向撕裂检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236043A (zh) * 2013-04-28 2013-08-07 北京农业信息技术研究中心 一种植物器官点云修复方法
CN109147040A (zh) * 2018-08-28 2019-01-04 浙江大学 基于模板的人体点云孔洞修补方法
CN110264567A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种基于标记点的实时三维建模方法
CN110442917A (zh) * 2019-07-09 2019-11-12 武汉工程大学 基于点云的参数化模型重建方法
CN110555908A (zh) * 2019-08-28 2019-12-10 西安电子科技大学 基于室内移动目标背景修复的三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9472022B2 (en) * 2012-10-05 2016-10-18 University Of Southern California Three-dimensional point processing and model generation
WO2018065158A1 (en) * 2016-10-06 2018-04-12 Siemens Aktiengesellschaft Computer device for training a deep neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236043A (zh) * 2013-04-28 2013-08-07 北京农业信息技术研究中心 一种植物器官点云修复方法
CN109147040A (zh) * 2018-08-28 2019-01-04 浙江大学 基于模板的人体点云孔洞修补方法
CN110264567A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种基于标记点的实时三维建模方法
CN110442917A (zh) * 2019-07-09 2019-11-12 武汉工程大学 基于点云的参数化模型重建方法
CN110555908A (zh) * 2019-08-28 2019-12-10 西安电子科技大学 基于室内移动目标背景修复的三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bird , Thomas Wright , Simon Watson, Barry Lennox.Autonomous void detection and characterisation in point clouds and triangular meshes.《International Journal of Computational Vision and Robotics》.2019,第368-386页. *
朱庆,李世明,胡翰,钟若飞,吴波,谢林甫.面向三维城市建模的多点云数据融合方法综述.武汉大学学报(信息科学版).2018,第1962-1971页. *

Also Published As

Publication number Publication date
CN111444811A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111444811B (zh) 一种三维点云目标检测的方法
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN115100339B (zh) 图像生成方法、装置、电子设备和存储介质
US11274922B2 (en) Method and apparatus for binocular ranging
CN106940704A (zh) 一种基于栅格地图的定位方法及装置
Han et al. Stereo matching using genetic algorithm with adaptive chromosomes
CN115082639A (zh) 图像生成方法、装置、电子设备和存储介质
CN113610172B (zh) 神经网络模型训练方法和装置、传感数据融合方法和装置
CN113850900B (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
CN113312973B (zh) 一种手势识别关键点特征提取方法及系统
CN115861601B (zh) 一种多传感器融合感知方法及装置
Kong et al. Local Stereo Matching Using Adaptive Cross‐Region‐Based Guided Image Filtering with Orthogonal Weights
CN112734837A (zh) 图像匹配的方法及装置、电子设备及车辆
CN112819873A (zh) 高泛化性的跨域道路场景语义分割方法和系统
EP3759649B1 (en) Object recognition from images using cad models as prior
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
CN117036607A (zh) 基于隐式神经渲染的自动驾驶场景数据生成方法及系统
CN111260706A (zh) 一种基于单目相机的稠密深度图计算方法
CN116630953A (zh) 一种基于神经体渲染的单目图像3d目标检测方法
CN114615505A (zh) 基于深度熵编码的点云属性压缩方法、装置和存储介质
Karimi et al. A Framework for Generating Disparity Map from Stereo Images using Deep Learning
Zahari et al. Stereo matching algorithm for autonomous vehicle navigation using integrated matching cost and non-local aggregation
CN114266900B (zh) 一种基于动态卷积的单目3d目标检测方法
Nagao et al. Fitting three-dimensional models to stereo images using a genetic algorithm
Fu [Retracted] Application and Analysis of RGB‐D Salient Object Detection in Photographic Camera Vision Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant