CN110516751A - 三维数据的处理方法、系统及设备 - Google Patents

三维数据的处理方法、系统及设备 Download PDF

Info

Publication number
CN110516751A
CN110516751A CN201910812662.1A CN201910812662A CN110516751A CN 110516751 A CN110516751 A CN 110516751A CN 201910812662 A CN201910812662 A CN 201910812662A CN 110516751 A CN110516751 A CN 110516751A
Authority
CN
China
Prior art keywords
data
cloud
model
point cloud
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910812662.1A
Other languages
English (en)
Inventor
康志恒
李柠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910812662.1A priority Critical patent/CN110516751A/zh
Publication of CN110516751A publication Critical patent/CN110516751A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种三维数据的处理方法、系统及设备，包括：采集三维传感数据；处理三维传感数据，以得到点云分布数据；根据点云分布数据构建特征拓扑结构，据以处理得边缘特征关系数据；以边缘特征关系数据构建一点云分类模型；以点云分类模型处理点云分布数据，以得到零件分割数据和场景分割数据；处理零件分割数据和场景分割数据，以得到场景分类结果。本发明解决了现有技术存在的信息分割及局部检测效果较差的技术问题。

Description

三维数据的处理方法、系统及设备
技术领域
本发明涉及一种图像检测技术，特别是涉及一种三维数据的处理方法、系统及设备。
背景技术
随着无人驾驶、高精地图、智慧城市、增强现实、大数据等新概念的提出，许多场景下需要进行3D环境感知和交互。激光雷达，深度立体相机等3D传感器在机器人，无人驾驶领域应用广泛。针对三维点云数据的研究也逐渐从低层次几何特征提取向高层次语义理解过渡。针对无序点云数据的深度学习方法研究却进展缓慢，其中，点云具有无序性。受采集设备以及坐标系影响，同一个物体使用不同的设备或者位置扫描，三维点的排列顺序千差万别，这样的数据很难直接通过End2End(端到端)模型处理。点云具有稀疏性。在机器人和自动驾驶的场景中，激光雷达的采样点覆盖相对于场景的尺度来讲，具有很强的稀疏性。点云信息量有限，点云的数据结构就是一些三维空间的点坐标构成的点集，本质是对三维世界几何形状的低分辨率重采样，因此只能提供片面的几何信息。此外，现有技术中的深度学习网络欠缺对于局部信息的感知能力。
综上所述，现有技术中存在信息分割及局部检测效果较差的技术问题。
发明内容
鉴于以上现有技术存在信息分割及局部检测效果较差的技术问题，本发明的目的在于提供一种三维数据的处理方法、系统及设备，解决现有技术存在的信息分割及局部检测效果较差的技术问题，一种三维数据的处理方法，包括：采集多维传感数据；处理多维传感数据，以得到点云分布数据；根据点云分布数据构建特征拓扑结构，据以处理得边缘特征关系数据；以边缘特征关系数据构建一点云分类模型；以点云分类模型处理点云分布数据，以得到零件分割数据和场景分割数据；处理零件分割数据和场景分割数据，以得到场景分类结果。
于本发明的一实施方式中，处理多维传感数据的步骤，包括：提取多维传感数据中的点特征数据；获取特征维度信息；根据特征维度信息转换点特征数据，以得到点云分布数据。
于本发明的一实施方式中，根据点云分布数据构建特征拓扑结构的步骤，包括：处理点云分布数据，以得到关联特征距离数据和点云向量数据；根据关联特征距离数据获取点云相似数据；根据点云相似数据分类点云向量数据，以得到边缘特征关系数据。
于本发明的一实施方式中，以边缘特征关系数据构建一点云分类模型的步骤，包括：获取池化数据和全局残差数据；根据池化数据和边缘特征关系数据构建点云分类模型；根据全局残差数据调整点云分类模型。
于本发明的一实施方式中，以点云分类模型处理点云分布数据，以得到零件分割数据和场景分割数据的步骤，包括：获取对齐变换数据，据以处理点云分布数据为点云输入数据；根据点云分类模型构建零件模型和场景模型；以零件模型对点云输入数据进行零件分割，以得到零件分割数据；以场景模型对点云输入数据进行场景分割，以得到场景分割数据。
于本发明的一实施方式中，一种多维数据的处理系统，包括：图像采集设备，用以采集多维传感数据；立体处理器，用以处理多维传感数据，以得到点云分布数据，立体处理器与图像采集设备连接；边缘处理器，用以根据点云分布数据构建特征拓扑结构，据以处理得边缘特征关系数据，边缘处理器与立体处理器连接；模型处理器，用于以边缘特征关系数据构建点云分类模型，模型处理器与边缘处理器连接；分割处理器，用于以点云分类模型处理点云分布数据，以得到零件分割数据和场景分割数据，分割处理器与模型处理器连接，分割处理器与立体处理器连接；融合处理器，用以处理零件分割数据和场景分割数据，以得到场景分类结果，融合处理器和分割处理器连接，融合处理器与模型处理器连接。
于本发明的一实施方式中，立体处理器，包括：提取装置，用以提取多维传感数据中的点特征数据；维度接口，用以获取特征维度信息；点云生成装置，用以根据特征维度信息转换点特征数据，以得到点云分布数据，点云生成装置与提取装置连接，点云生成装置与维度接口连接。
于本发明的一实施方式中，边缘处理器，包括：分布装置，用以处理点云分布数据，以得到关联特征距离数据和点云向量数据；距离处理装置，用以根据关联特征距离数据获取点云相似数据，距离处理装置与分布装置连接；边缘处理装置，用以根据点云相似数据分类点云向量数据，以得到边缘特征关系数据，边缘处理装置与距离处理装置连接，边缘处理装置与分布装置连接。
于本发明的一实施方式中，模型处理器，包括：池化及残差存储器，用以存储并输出池化数据和全局残差数据；构建处理器，用以根据池化数据和边缘特征关系数据构建点云分类模型，构建处理器与池化及残差存储器连接；模型调节装置，用以根据全局残差数据调整点云分类模型，模型调节装置与构建处理器连接，模型调节装置与池化及残差存储器连接。
于本发明的一实施方式中，一种多维数据的处理电子设备，包括处理器和存储器，存储器存储有程序指令，其特征在于：处理器运行程序指令实现多维数据的处理方法。
如上所述，本发明目的在于提供的一种三维数据的处理方法、系统及设备，以克服现有技术的不足，本发明设计了一种类金字塔网络结构，用来对3D点云场景数据进行分类、零件分割和场景语义分割，设计一种边缘特征提取算子，利用金字塔特征融合模块对3D点云数据进行端到端的训练，完成3D数据检测处理任务：点云分类，3D物体零件分割和3D场景语义分割。该方法适用于3维场景下的目标检测系统。
综上，本发明提供一种三维数据的处理方法、系统及设备，解决了现有技术存在的信息分割及局部检测效果较差的技术问题。
附图说明
图1显示为本发明的三维数据的处理系统的装置连接示意图。
图2显示为本发明的一种三维数据的处理方法步骤示意图。
图3显示为图1中的步骤S2在一实施例中的具体步骤流程图。
图4显示为图1中的步骤S3在一实施例中的具体步骤流程图。
图5显示为图1中的步骤S4在一实施例中的具体步骤流程图。
图6显示为图1中的步骤S5在一实施例中的具体步骤流程图。
图7显示为本发明的图像部件分割示意图。
图8显示为本发明的图像语义分割示意图。
图9显示为图1中的立体处理器2在一实施例中的具体连接示意图。
图10显示为图1中的边缘处理器3在一实施例中的具体连接示意图。
图11显示为图1中的模型处理器4在一实施例中的具体连接示意图。
图12显示为本发明的三维数据的处理电子设备组件连接示意图。
元件标号说明
1 图像采集设备
2 立体处理器
3 边缘处理器
4 模型处理器
5 分割处理器
6 融合处理器
21 提取装置
22 维度接口
23 点云生成装置
31 分布装置
32 距离处理装置
33 边缘处理装置
41 池化及残差存储器
42 构建处理器
43 模型调节装置
10 处理器
20 存储器
步骤标号说明
S1～S6方法步骤
S21～S23方法步骤
S31～S33方法步骤
S41～S43方法步骤
S51～S54方法步骤
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
请参阅图1至图12，须知，本说明书所附图式所绘示的结构，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如”上”、”下”、”左”、”右”、”中间”及”一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
请参阅图1和图2，显示为显示为本发明的三维数据的处理系统的装置连接示意图及本发明的三维数据的处理方法步骤示意图，如图1和图2所示，一种三维数据的处理方法，包括S1、采集多维传感数据，在一实施例中，可采用图像传感采集设备例如监控摄像头获取多维传感数据，在本实施例中，多维传感数据可包括例如三维坐标数据、颜色数据及形状数据等，在一实施例中，前端监控设备例如红外监控摄像头、室内触发相机等获取图像数据，获取的图像数据处理可采用例如安装于后台例如总控室的总控主机或数据处理器等，在一实施例中，图像采集设备可采用例如数字摄像机、模拟摄像机、枪机、球机、彩色摄像机等，在一实施例中，数字摄像机是通过例如双绞线传输压缩的数字视频信号，模拟摄像机是通过例如同轴电缆传输模拟信号。数字摄像机与模拟摄像机的区别出来传输方式之外还有清晰度，数字摄像机像素可达到例如百万高清效果。枪机可用于户外，对防水防尘等级要求较高；半球多用于室内，一般镜头较小，可视范围广，球机可进行例如360度角监控，红外摄像机，一体机等。根据安装环境的具体需求选择合适的监控摄像机。彩色摄像机：适用于景物细部辨别，例如辨别衣着或景物的颜色。因有颜色而使信息量增大。S2、处理多维传感数据，以得到点云分布数据。在一实施例中，可采用例如统计的方式获取例如点云三维坐标各个维度下的信息例如分布情况。S3、根据点云分布数据构建特征拓扑结构，据以处理得边缘特征关系数据，在一实施例中，基于例如马氏距离的边缘特征提取结构，可用以对特征空间里的例如高维特征向量等进行选取，筛选掉网络中不必要的特征，在一实施例中，特征拓扑结构可为例如针对点云数据的旋转对齐网络，用以预测例如一仿射变换矩阵，保证了模型的对特定空间转换的不变性，在一实施例中，可构建网络拓扑结构例如有向无环图，并使用例如马氏距离作为KNN(k-NearestNeighbor，K最近邻分类算法)里的距离进行边缘特征处理，在一实施例中，本发明采用了一种深度学习网络，用来训练点云集，并在每层网络间加入边缘特征提取算子。S4、以边缘特征关系数据构建一点云分类模型，在一实施例中，点云分类模型可采用例如类金字塔网络结构，其采用例如4个不同尺寸的卷积核，以增强网络的特征表达能力。S5、以点云分类模型处理点云分布数据，以得到零件分割数据和场景分割数据，在一实施例中，利用例如金字塔特征的融合模块搭建例如3D点云处理网络，以进行例如对3D数据的分类、3D物体零件分割和3D场景语义分割任务等。S6、处理零件分割数据和场景分割数据，以得到场景分类结果，在一实施例中，可采用例如融合处理器将例如零件分割数据和场景分割数据融合为场景分类结果。在一实施例中，三维数据的处理系统中安装的存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使三维数据的处理系统执行三维数据的处理方法，存储器例如池化及残差处理器51可包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
请参阅图3，显示为图1中的步骤S2在一实施例中的具体步骤流程示意图，如图3所示，统计三维传感数据的步骤S2，包括S21、提取三维传感数据中的点特征数据。S22、获取特征维度信息，在一实施例中，可考虑例如有点云空间n个点X＝{x1，x2，…，xn}，每个点有F维特征，可包括每个点的例如空间坐标、RGB信息、法向量特征等。在这里假设点云特征维数F＝3，即每个点只有点的三维坐标信息，即
xi＝{x，y，z}
在深度神经网络架构中，每一层都会在前一层的输出上操作，在本实施例中，维度F可表示例如给定层的特征维度。S23、根据特征维度信息统计点特征数据，以得到点云分布数据。
请参阅图4，显示为图1中的步骤S3在一实施例中的具体步骤流程示意图，如图4所示，根据点云分布数据构建特征拓扑结构的步骤S3，包括S31、处理点云分布数据，以得到关联特征距离数据和点云向量数据，在一实施例中，设此时有一个例如有向图G＝(V，E)表示点云的局部结构，其中V＝{1，2，…，n}表示顶点集，表示点与点之间的边集。通过KNN(k-NearestNeighbor，K最近邻分类算法)构建例如有向图G，在KNN(k-NearestNeighbor，K最近邻分类算法)方法中，使用例如马氏距离代替传统的欧氏距离计算。S32、根据关联特征距离数据获取点云相似数据，在一实施例中，关联特征距离例如马氏距离表示数据的协方差距离，是一种有效的计算两个未知样本集的相似度的方法，与欧氏距离不同的是它考虑到各种特性之间的联系。假设样本集共有n个点中，点的集合为
X＝(x1，x2，…，xn)T
集合的均值为μ＝(μ1，μ2，…μn)其中μi为xi为期望值，即μi＝E(xi)协方差矩阵的第(i，j)项被定义为Sij＝conv(xi，xj)＝E[(xi-μi)(xj-μj)]故协方差矩阵为
得到协方差矩阵，则马氏距离可被定义为在本实施例中，马氏距离不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差)计算出的二点之间的马氏距离相同，马氏距离还可以排除变量之间的相关性的干扰。S33、根据点云相似数据分类点云向量数据，以得到边缘特征关系数据，在一实施例中，在对点云进行分类判别时，针对点云的例如无序性和稀疏性以及机器无法统一地对点云的形状进行有效表达的问题，本发明采用关联特征距离例如马氏距离，来评判两个未知样本的相似度，相似度越高，表明这两个样本的形状越接近，越有可能归为一类，在一实施例中，本发明的三维数据的分析系统涉及的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现三维数据的处理方法，实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质可包括例如ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
请参阅图5，显示为图1中的步骤S4在一实施例中的具体步骤流程示意图，如图5所示，以边缘特征关系数据构建一点云分类模型的步骤S4，包括S41、获取池化数据和全局残差数据。S42、根据池化数据和边缘特征关系数据构建点云分类模型，在一实施例中，分类网络利用边缘特征提取算子学习局部特征，利用残差网络结构学习全局特征，把各个特征进行融合进行3D物体分类任务。可在例如ModelNet40上评估分类网络的性能。ModelNet40是一个物体分类标准数据集，包含有例如40种物体，共例如12311个CAD模型，其中例如9843个模型作为训练集，例如2468个模型作为测试集，在一实施例中，点集中无序的n个点的属性直接作为网络的输入，每个点的属性包括例如三维坐标(x，y，z)，以及每个点的颜色、法向量等，为了网络的普适性和简洁性，只采用输入点的(x，y，z)三维坐标属性直接作为网络的输入，在一实施例中，在训练过程中，均匀的采样例如1024个点作为网络的输入，通过例如以下两种方法来为了增强样本的鲁棒性：1.旋转点云——随机地使点云绕着目标轴(比如z轴)旋转一定的小角度；2.抖动点云——用一个均值为例如0，标准差为例如0.01的高斯噪声来抖动每一个点；在模型的最后，使用最大池化层，解决点云训练时是无序性的问题，通过训练，模型在测试集上达到了例如91.5％的准确率。S43、根据全局残差数据调整点云分类模型，在一实施例中，随着网络层数的加深，由于网络对学习率等参数的敏感性，可能发生梯度消失的情况，加入残差网络模块，加强模型的表达能力。
请参阅图6、图7和图8，显示为图1中的步骤S5在一实施例中的具体步骤流程示意图、本发明的图像部件分割示意图和图像语义分割示意图，如图6、图7和图8所示，以点云分类模型处理点云分布数据，以得到零件分割数据和场景分割数据的步骤S5，包括S51、获取对齐变换数据，据以处理点云分布数据为点云输入数据，在一实施例中，输入点和特征点的旋转对齐网络，点云经过例如某些旋转或者软变化，点或物体的语义标签必须是不变的，所以通过学习3D点云集合，设计了一种旋转对齐网络，使得点或物体的标签具有不变性。通过一个微型网络预测一个仿射变换矩阵，然后直接应用到输入点的坐标上，在一实施例中，该思想还可以进一步扩展到特征空间的对齐。我们可以在点特征上插入另一个对齐网络，并预测一个特征变换矩阵来对齐来自不同输入点云的特征。然而，特征空间中的变换矩阵比空间变换矩阵具有更高的维数，极大地增加了优化的难度。因此，在softmax训练损失函数中添加了一个正则化项，将特征变换矩阵约束为接近正交矩阵，即
其中，A为特征矩阵，I为单位矩阵。通过增加正则项，模型更加稳定，性能更好。S52、根据点云分类模型构建零件模型和场景模型。S53、以零件模型对点云输入数据进行零件分割，以得到零件分割数据，在一实施例中，所谓零件分割，对于给定的一个3D物体模型，给每一个点分配一个零件标签。使用ShapeNet标准数据集进行研究，ShapeNet包含了例如16个物体类别，共例如16881个模型，这些模型一共被例如50个零件组成，大多数物体类别由两到三个零件组成，如图7所示，物体类别可为例如飞行器1’、机动车2’、椅子3’、乐器4’及凳子5’等。S54、以场景模型对点云输入数据进行场景分割，以得到场景分割数据，在一实施例中，零件语义分割可以看成是每一个点的分类问题，基于基本网络模型设计零件语义分割模型，这是对分类网络的一个扩展，金字塔特征池化模块将所有特征层聚合起来，对每一个点进行预测，如图8所示，场景类别可为例如图中的会议室1”和会议室2”等。
请参阅图1，显示为本发明的三维数据的处理系统的具体装置连接示意图，如图1所示，一种三维数据的处理系统包括图像采集设备1、立体处理器2、边缘处理器3、模型处理器4、分割处理器5和融合处理器6，图像采集设备1，用以采集多维传感数据，在一实施例中，可采用图像传感采集设备例如监控摄像头获取多维传感数据，在本实施例中，多维传感数据可包括例如三维坐标数据、颜色数据及形状数据等，在一实施例中，前端监控设备例如红外监控摄像头、室内触发相机等获取图像数据，获取的图像数据处理可采用例如安装于后台例如总控室的总控主机或数据处理器等，在一实施例中，图像采集设备可采用例如数字摄像机、模拟摄像机、枪机、球机、彩色摄像机等，在一实施例中，数字摄像机是通过例如双绞线传输压缩的数字视频信号，模拟摄像机是通过例如同轴电缆传输模拟信号。数字摄像机与模拟摄像机的区别出来传输方式之外还有清晰度，数字摄像机像素可达到例如百万高清效果。枪机可用于户外，对防水防尘等级要求较高；半球多用于室内，一般镜头较小，可视范围广，球机可进行例如360度角监控，红外摄像机，一体机等。根据安装环境的具体需求选择合适的监控摄像机。彩色摄像机：适用于景物细部辨别，例如辨别衣着或景物的颜色。因有颜色而使信息量增大。立体处理器2，用以处理多维传感数据，以得到点云分布数据，立体处理器2与图像采集设备1连接，在一实施例中，可采用例如统计的方式获取例如点云三维坐标各个维度下的信息例如分布情况。边缘处理器3，用以根据点云分布数据构建特征拓扑结构，据以处理得边缘特征关系数据，边缘处理器3与立体处理器2连接，在一实施例中，基于马氏距离的边缘特征提取结构，其作用为对特征空间里的高维特征向量进行选取，筛选掉网络中不必要的特征，在一实施例中，特征拓扑结构可为例如针对点云数据的旋转对齐网络，其作用为预测一个仿射变换矩阵，保证了模型的对特定空间转换的不变性，在一实施例中，可构建网络拓扑结构例如有向无环图，并使用例如马氏距离作为KNN(k-NearestNeighbor，K最近邻分类算法)里的距离进行边缘特征处理，在一实施例中，本发明采用了一种深度学习网络，用来训练点云集，并在每层网络间加入边缘特征提取算子。模型处理器4，用于以边缘特征关系数据构建点云分类模型，模型处理器4与边缘处理器3连接，在一实施例中，整个网络可包括例如：旋转对齐网络、局部特征提取算子模块、金字塔特征池化模块和残差网络模块等，在一实施例中，点云分类模型可采用例如类金字塔网络结构，其采用例如4个不同尺寸的卷积核，以增强网络的特征表达能力。分割处理器5，用于以点云分类模型处理点云分布数据，以得到零件分割数据和场景分割数据，分割处理器5与模型处理器4连接，分割处理器5与立体处理器2连接。在每个金字塔特征池化模块之间，加入边缘特征提取算子，使用MLP共享参数，完成推理，将零件分割网络扩展到语义分割网络，只不过要把每一个点标记为语义分割对象。使用了例如Stanford 3D语义分析数据集，这个数据集包含了例如6个区域，共例如271间房，其中每一个点都用来自例如13个类别(例如椅子、桌子、地板、墙壁等)的语义标签中的一个标注，在语义分割网络里面，每一个点由例如9维向量表示，即三维坐标xyz，颜色RGB和法向量。在训练阶段，随机采样例如4096个点作为网络的输入，在测试阶段，对所有点进行预测。融合处理器6，用以处理零件分割数据和场景分割数据，以得到场景分类结果，融合处理器6和分割处理器5连接，融合处理器6与模型处理器4连接，在一实施例中，基于网络的语义分割输出，可进一步构建例如三维目标检测系统等，在一实施例中，上述的立体处理器2、边缘处理器3、模型处理器4、分割处理器5和融合处理器6等可以是例如通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
请参阅图9，显示为图1中的立体处理器2在一实施例中的具体组件连接示意图，如图9所示，立体处理器2包括提取装置21、维度接口22和点云生成装置23，提取装置21，用以提取多维传感数据中的点特征数据。维度接口22，用以获取特征维度信息，在一实施例中，可考虑例如有点云空间n个点X＝{x1，x2，…，xn}，每个点有F维特征，可包括每个点的例如空间坐标、RGB信息、法向量特征等。在这里假设点云特征维数F＝3，即每个点只有点的三维坐标信息，即
xi＝{x，y，z}
在深度神经网络架构中，每一层都会在前一层的输出上操作，在本实施例中，维度F可表示例如给定层的特征维度。点云生成装置23，用以根据特征维度信息转换点特征数据，以得到点云分布数据，点云生成装置23与提取装置21连接，点云生成装置23与维度接口22连接。
请参阅图10，显示为图1中的边缘处理器3在一实施例中的具体组件连接示意图，如图10所示，边缘处理器3包括分布装置31、距离处理装置32和边缘生成装置33，分布装置31，用以处理点云分布数据，以得到关联特征距离数据和点云向量数据，在一实施例中，假设点集中的某一个点xi周围xi1，xi2，…ximm个点，(xi，xi1)，...(xi，xim)描述点与点之间的边集，设定k值，其中k≤m，选取最靠近点xi的k个马氏距离作为点xi的边缘特征。相同的，这种方法可以适用在卷积层中，这时每个点的特征维数例如F≥3。距离处理装置32，用以根据关联特征距离数据获取点云相似数据，距离处理装置32与分布装置31连接，在一实施例中，关联特征距离例如马氏距离表示数据的协方差距离，是一种有效的计算两个未知样本集的相似度的方法，与欧氏距离不同的是它考虑到各种特性之间的联系。假设样本集共有n个点中，点的集合为
X＝(x1，x2，…，xn)T
集合的均值为μ＝(μ1，μ2，…μn)其中μi为xi为期望值，即μi＝E(xi)协方差矩阵的第(i，j)项被定义为Sij＝conv(xi，xj)＝E[(xi-μi)(xj-μj)]故协方差矩阵为
得到协方差矩阵，则马氏距离可被定义为在本实施例中，马氏距离不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差)计算出的二点之间的马氏距离相同，马氏距离还可以排除变量之间的相关性的干扰。边缘处理装置33，用以根据点云相似数据分类点云向量数据，以得到边缘特征关系数据，边缘处理装置33与距离处理装置32连接，边缘处理装置33与分布装置31连接。
请参阅图11，显示为图1中的模型处理器4在一实施例中的具体组件连接示意图，如图11所示，模型处理器4包括池化及残差存储器41、构建处理器42和模型调节装置43，池化及残差存储器41，用以存储并输出池化数据和全局残差数据，在一实施例中，三维数据的处理系统中安装的存储器用于存储计算机程序，存储器可能包含例如随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括例如非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。构建处理器42，用以根据池化数据和边缘特征关系数据构建点云分类模型，构建处理器42与池化及残差存储器41连接，在一实施例中，由金字塔池化产生不同层次的特征最后被平滑的连接成一个FC层做分类，这样可以去除CNN(Convolutional Neural Networks，卷积神经网络)固定大小的图像分类约束，减少不同区域之间的信息损失。该模块融合例如4种不同金字塔尺度的特征，卷积核可设置为例如1 x 1，3 x 3，5 x 5或7 x 7等规格，通过例如4个卷积核对特征图进行降采样，再通过双线性插值获得未池化前的大小，最终将所有特征图组合到一起。模型调节装置43，用以根据全局残差数据调整点云分类模型，模型调节装置43与构建处理器42连接，模型调节装置43与池化及残差存储器41连接，在一实施例中，随着网络层数的加深，由于网络对学习率等参数的敏感性，可能发生梯度消失的情况，加入残差网络模块，加强模型的表达能力。
请参阅图12，显示为本发明的三维数据的处理电子设备组件连接示意图，如图12所示，一种电子设备，包括处理器10和存储器20，存储器20存储有程序指令，在一实施例中，处理器10运行程序指令实现三维数据的处理方法，处理器10可以为中央处理器(CentralProcessingUnit，CPU)或處理芯片，所述存储器20可以为随机存取存储器(RandomAccess Memory，RAM)类型的内部存储器，所述处理器10、存储器20可以集成为一个或多个独立的电路或硬件，如：专用集成电路(Application SpecificIntegrated Circuit，ASIC)。
综上所述，本本发明目的在于提供的一种三维数据的处理方法、系统及设备，以克服现有技术的不足，本发明设计了一种类金字塔网络结构，用来对3D点云场景数据进行分类、零件分割和场景语义分割，设计一种边缘特征提取算子，利用金字塔特征融合模块对3D点云数据进行端到端的训练，完成3D数据检测处理任务：点云分类，3D物体零件分割和3D场景语义分割。该方法适用于3维场景下的目标检测系统。
综上，本发明提供一种三维数据的处理方法、系统及设备，解决了现有技术存在的信息分割及局部检测效果较差的技术问题，具有很高的商业价值和实用性。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种多维数据的处理方法，其特征在于，包括：
采集多维传感数据；
处理所述多维传感数据，以得到点云分布数据；
根据所述点云分布数据构建特征拓扑结构，据以处理得边缘特征关系数据；
以所述边缘特征关系数据构建一点云分类模型；
以所述点云分类模型处理所述点云分布数据，以得到零件分割数据和场景分割数据；
处理所述零件分割数据和所述场景分割数据，以得到场景分类结果。
2.根据权利要求1所述的多维数据的处理方法，其特征在于，所述处理所述多维传感数据的步骤，包括：
提取所述多维传感数据中的点特征数据；
获取特征维度信息；
根据所述特征维度信息转换所述点特征数据，以得到点云分布数据。
3.根据权利要求1所述的多维数据的处理方法，其特征在于，所述根据所述点云分布数据构建特征拓扑结构的步骤，包括：
处理所述点云分布数据，以得到关联特征距离数据和点云向量数据；
根据所述关联特征距离数据获取点云相似数据；
根据所述点云相似数据分类所述点云向量数据，以得到所述边缘特征关系数据。
4.根据权利要求1所述的多维数据的处理方法，其特征在于，所述以边缘特征关系数据构建一点云分类模型的步骤，包括：
获取池化数据和全局残差数据；
根据所述池化数据和所述边缘特征关系数据构建所述点云分类模型；
根据所述全局残差数据调整所述点云分类模型。
5.根据权利要求1所述的多维数据的处理方法，其特征在于，所述以所述点云分类模型处理所述点云分布数据，以得到零件分割数据和场景分割数据的步骤，包括：
获取对齐变换数据，据以处理点云分布数据为点云输入数据；
根据所述点云分类模型构建零件模型和场景模型；
以所述零件模型对所述点云输入数据进行零件分割，以得到零件分割数据；
以所述场景模型对所述点云输入数据进行场景分割，以得到场景分割数据。
6.一种多维数据的处理系统，其特征在于，包括：
图像采集设备，用以采集多维传感数据；
立体处理器，用以处理所述多维传感数据，以得到点云分布数据；
边缘处理器，用以根据所述点云分布数据构建特征拓扑结构，据以处理得边缘特征关系数据；
模型处理器，用于以所述边缘特征关系数据构建点云分类模型；
分割处理器用于以所述点云分类模型处理所述点云分布数据，以得到零件分割数据和场景分割数据；及
融合处理器，用以处理所述零件分割数据和所述场景分割数据，以得到场景分类结果。
7.根据权利要求6所述的多维数据的处理系统，其特征在于，所述立体处理器，包括：
提取装置，用以提取所述多维传感数据中的点特征数据；
维度接口，用以获取特征维度信息；及
点云生成装置，用以根据特征维度信息转换所述点特征数据，以得到点云分布数据。
8.根据权利要求6所述的多维数据的处理系统，其特征在于，所述边缘处理器，包括：
分布装置，用以处理所述点云分布数据，以得到关联特征距离数据和点云向量数据；
距离处理装置，用以根据所述关联特征距离数据获取点云相似数据；及
边缘处理装置，用以根据所述点云相似数据分类所述点云向量数据，以得到所述边缘特征关系数据。
9.根据权利要求6所述的多维数据的处理系统，其特征在于，所述模型处理器，包括：
池化及残差存储器，用以存储并输出池化数据和全局残差数据；
构建处理器，用以根据所述池化数据和所述边缘特征关系数据构建所述点云分类模型；及
模型调节装置，用以根据所述全局残差数据调整所述点云分类模型。
10.一种多维数据的处理电子设备，包括处理器和存储器，所述存储器存储有程序指令，其特征在于：所述处理器运行程序指令实现如权利要求1至权利要求5任一项所述的多维数据的处理方法。
CN201910812662.1A 2019-08-29 2019-08-29 三维数据的处理方法、系统及设备 Pending CN110516751A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910812662.1A CN110516751A (zh) 2019-08-29 2019-08-29 三维数据的处理方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910812662.1A CN110516751A (zh) 2019-08-29 2019-08-29 三维数据的处理方法、系统及设备

Publications (1)

Publication Number Publication Date
CN110516751A true CN110516751A (zh) 2019-11-29

Family

ID=68629260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910812662.1A Pending CN110516751A (zh) 2019-08-29 2019-08-29 三维数据的处理方法、系统及设备

Country Status (1)

Country Link
CN (1) CN110516751A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444814A (zh) * 2020-03-23 2020-07-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN112052884A (zh) * 2020-08-17 2020-12-08 南京审计大学 一种基于局部边缘特征增强的点云分类方法及系统
CN112613378A (zh) * 2020-12-17 2021-04-06 上海交通大学 3d目标检测方法、系统、介质及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930246A (zh) * 2012-10-16 2013-02-13 同济大学 一种基于点云片段分割的室内场景识别方法
CN105824024A (zh) * 2016-05-05 2016-08-03 河海大学 一种新的水下闸门防蛙人立体预警识别系统
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930246A (zh) * 2012-10-16 2013-02-13 同济大学 一种基于点云片段分割的室内场景识别方法
CN105824024A (zh) * 2016-05-05 2016-08-03 河海大学 一种新的水下闸门防蛙人立体预警识别系统
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHARLES R. QI.ET AL: "PointNet++: Deep Hierarchical Feature Learning on", 《ARXIV》 *
HE K，ZHANG X，REN S，ET AL.: "Deep residual learning for", 《PROCEEDINGS OF THE IEEE CONFERENCE》 *
R. QI CHARLES: "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
黄海: "《现实虚拟技术》", 30 January 2014, 北京邮电大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444814A (zh) * 2020-03-23 2020-07-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111444814B (zh) * 2020-03-23 2023-10-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN112052884A (zh) * 2020-08-17 2020-12-08 南京审计大学 一种基于局部边缘特征增强的点云分类方法及系统
CN112613378A (zh) * 2020-12-17 2021-04-06 上海交通大学 3d目标检测方法、系统、介质及终端
CN112613378B (zh) * 2020-12-17 2023-03-28 上海交通大学 3d目标检测方法、系统、介质及终端

Similar Documents

Publication Publication Date Title
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
Zhang et al. A review of deep learning-based semantic segmentation for point cloud
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN104049754B (zh) 实时手跟踪、姿态分类和界面控制
CN108460338A (zh) 人体姿态估计方法和装置、电子设备、存储介质、程序
Geng et al. Using deep learning in infrared images to enable human gesture recognition for autonomous vehicles
CN110516751A (zh) 三维数据的处理方法、系统及设备
Shen et al. Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm
CN107368790B (zh) 行人检测方法、系统、计算机可读存储介质及电子设备
Raparthi et al. Machine Learning Based Deep Cloud Model to Enhance Robustness and Noise Interference
CN115222896B (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
CN110070106A (zh) 烟雾检测方法、装置及电子设备
Ward et al. RGB-D image-based object detection: from traditional methods to deep learning techniques
JP2019185787A (ja) 地理的地域内のコンテナのリモート決定
CN115620141A (zh) 一种基于加权可变形卷积目标检测方法和装置
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
CN110147460B (zh) 基于卷积神经网络与多视角图的三维模型检索方法及装置
Fan et al. A novel sonar target detection and classification algorithm
CN114299339A (zh) 一种基于区域相关性建模的三维点云模型分类方法及系统
CN108280158A (zh) 基于梯度方向累加热核特征的非刚性三维模型检索方法
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
Chirgaiya et al. Tiny object detection model based on competitive multi-layer neural network (TOD-CMLNN)
CN115909319A (zh) 一种基于分层图网络在点云上用于3d对象检测方法
CN113139540B (zh) 背板检测方法及设备
Chen et al. Aircraft recognition from remote sensing images based on machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129