CN108009557A - 一种基于共享权重卷积网络的三维模型局部特征描述方法 - Google Patents

一种基于共享权重卷积网络的三维模型局部特征描述方法 Download PDF

Info

Publication number
CN108009557A
CN108009557A CN201711417032.1A CN201711417032A CN108009557A CN 108009557 A CN108009557 A CN 108009557A CN 201711417032 A CN201711417032 A CN 201711417032A CN 108009557 A CN108009557 A CN 108009557A
Authority
CN
China
Prior art keywords
data
sample
training
network model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711417032.1A
Other languages
English (en)
Inventor
潘翔
卢捷
程志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201711417032.1A priority Critical patent/CN108009557A/zh
Publication of CN108009557A publication Critical patent/CN108009557A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

一种基于共享权重网络的三维模型局部特征点描述方法，包括如下步骤：(1)三维扫描数据的样本采集：采用3D扫描设备对不同现实场景进行扫描，每个场景采集得到不同视角的三维数据；(2)三维数据的样本分类：将相同场景下采集的三维扫描数据序列放在同一个文件夹内；并将每一类扫描数据所在的文件夹命名为对应的场景名称；(3)数据集的制作：采用3D扫描设备的配套软件和参数完成三维数据配准，形成用于卷积网络训练和测试的数据集；(4)网络模型训练。

Description

一种基于共享权重卷积网络的三维模型局部特征描述方法
技术领域
本发明涉及三维模型几何处理和图形学领域，尤其涉及三维模型形状分析问题。
背景技术
在计算机图形学领域，一个主要问题是如何完成对真实物理世界的感知和建模。在不同的三维数据之间建立对应关系，是三维模型配准和重建的前提和基础。近年来，随着三维扫描软硬件技术的飞速发展，三维模型匹配这项研究已经成为包括对象姿态估计，对象检索，三维重建和相机定位在内的许多应用的重中之重。
近几年来，以SIFT为代表的局部特征描述方法已经广泛应用于在不同的三维数据之间建立对应关系。但是，这种特征匹配方法容易受局部噪声影响，容易导致错误匹配。因此对于从真实环境中经过3D扫描得到的部分物体表面数据效果不够稳定和精确。结构索引(Structural Indexing)采用溅射(Splash)特征和3D曲线来分别描述物体的表面和边缘，并对这两种特征进行编码作为索引值。类似的工作还包括扩展的主曲线拟合、锥曲率。COSMOS描述符先定面小区域上的归一化形状索引特征，接着再根据形状索引特征得到最大一致性表面片，两者联合起来则构成对任意形状物体的表达。旋转图像(Spin image)以当前点法向为参考坐标系，对相邻点进行采样，根据法向构造二维直方图。考虑到法向参考坐标系的不稳定性，Kokkinos等人考虑采用傅里叶变换克服局部坐标二义性问题，得到更为稳定的特征。Tombari等人采用特征值分解去除参考坐标系的二义性，从而使定义的局部形状描述符更为稳定有效。等距不变量则根据曲面顶点到参考点的测地距离把三维表面划分成多层次区域，然后对不变核进行积分。王洪申等人提出了一种局部曲面特征。他们首先把曲面分割成具有一系列具有相似曲率特征值的不同区域，然后对区域用定义高维向量表达其形状的几何特征和拓扑特征。Sun等人采用热核信号构造特征描述符和感兴趣点模型。热核信号实际上是一种扩展的多尺度曲率特征，而且在非刚性变换下具有很好的稳定。小波信号(WKS)基是对HKS的一个扩展，该信号对低频信号不敏感，因此在噪声干扰下更为稳定。近年来，有研究人员考虑结合HKS和WKS两个局部形状描述用于三维数据匹配。采用多个特征通常能够得到更好的匹配效果，但是会增加算法复杂度。MeshHOG是把图像中的HoG局部特征描述符被扩展到三维空间，得到在旋转、平移和拉伸下具有稳定下的局部特征。
近年来，深度卷积网络作为人工智能的一个重要分支，极大地促进了机器学习的发展，受到世界各国相关领域研究人员和高科技公司的重视，语音、图像和自然语言处理是深度学习算法应用最广泛的三个主要研究领域。为此，可以通过深度卷积网络对三维模型局部特征进行大数据学习，解决已有几何特征点匹配的不可靠问题。
发明内容
本发明为克服已有特征点提取方法的不足之处，提供一种基于共享权重网络的三维模型局部特征点描述方法。本发明方法对三维模型进行体素离散化，然后对局部特征点采用共享权重网络输出特征向量。本发明方法通过深度学习技术有效提高了局部特征描述符的类内聚类性和类间可分性，提高了局部特征描述符的稳定性。
本发明是通过以下技术方案达到上述目的：
一种基于共享权重网络的三维模型局部特征点描述方法，包括如下步骤：
(1)三维扫描数据的样本采集：采用3D扫描设备对不同现实场景进行扫描，每个场景采集得到不同视角的三维数据；
(2)三维数据的样本分类：将相同场景下采集的三维扫描数据序列放在同一个文件夹内；并将每一类扫描数据所在的文件夹命名为对应的场景名称；
(3)数据集的制作：采用3D扫描设备的配套软件和参数完成三维数据配准，形成用于卷积网络训练和测试的数据集；
(4)网络模型训练：
(4.1)调用代码从训练数据集中提取包含两帧数据的同一个匹配对，分别提取像素点周围的体素化信息，将其标签设为匹配；提取不同场景下的两帧数据，各随机得到一个像素点，分别提取像素点周围的体素化信息，将其标签设为不匹配；
(4.2)在初始化后网络模型中输入一对相匹配的样本数据和一对不匹配的样本数据，通过反复迭代训练直至达到线性回归值收敛，得到最小的损失函数，并保存最小损失函数对应的最优网络模型；
作为优选，所述步骤(4.2)采用两个相同结构，共享权重的卷积神经网络，其中每个神经网络包含7个卷积层和1个池化层，通过一个损失函数对两个神经网络的输出进行反馈调节。训练时设定批处理数据大小为64,最大迭代次数为10000000，创建迭代器读取训练样本和标签，并输入网络模型进行训练，通过反复迭代训练直到达到最大迭代次数，输出每次训练得到的损失函数，保存最小的损失函数对应的最优网络模型。
本发明的有益效果在于：本发明通过深度学习、训练共享权重网络模型，通过大数据学习对局部特征进行描述。方法有效提高了局部特征描述符的类内聚类性和类间可分性，提高了局部特征描述符的稳定性。
附图说明
图1是本发明方法的流程示意图；
图2是本发明实施例用到的网络框架示意图。
具体实施方式
下面结合附图对本发明进行进一步描述。
实施例：本实施案例中的三维扫描数据分为12类，每一类对应一个场景。按场景分类的扫描数据总共有10000对，7500对用于训练，2500对用于训练。如图1所示，一种基于Siamese网络的三维模型局部特征描述方法包括三维扫描数据的样本采集、样本分类、数据集的制作、网络模型训练和配准重建五大过程，具体如下：
步骤一、三维扫描数据的样本采集。
步骤1.1：采用3D扫描设备对教室、实验室、卧室等场景进行扫描，每个场景从不同视点采集从而获得一组含RGB-D数据和相机外参的扫描数据序列；
步骤二、样本分类。
步骤2.1：将相同场景下的ply文件放在同一个文件夹内，并将每个文件夹命名为对应的场景名称；
步骤三、数据集制作。
步骤3.1：本发明先在通过并行编程与计算平台上对所有的点云数据进行预处理。接着对整个点云空间并进行体素化，并根据距离变换得到每个体素的深度值，依此找到最接近模型表面的特征点；
步骤3.2：提取同个文件夹中包含同一个随机特征点的两个数据，别提取围绕特征点的区域深度值，将这一对样本标签为匹配(Y＝0)；提取不同场景下的两个数据，各随机得到一个特征点，别提取围绕特征点的邻域的深度值，将这一对样本标签设为不匹配(Y＝1)；
步骤3.3：按照步骤3.2，将每个场景文件夹的的三维数据随机两两配对成5000对匹配的样本，然后将不同场景的三维数据随机两两配对成5000对不匹配的样本。
步骤3.4：将总共10000对带标签的样本随机打乱分布，然后取四分之三样本作为训练集，剩余四分之一作为测试集。保证训练集和测试集的匹配和不匹配的样本数据比例都接近于1：1。
步骤四、网络模型训练。
步骤4.1：本发明采用了共享权重卷积网络结构，该网络由两个相同结构、共享权重的卷积神经网络组成，其中每个神经网络包含7个卷积层和1个池化层，通过一个损失函数L2对两个神经网络的输出进行反馈调节。训练时设定批处理数据大小为64,最大迭代次数为10000000，创建迭代器读取训练样本和标签，并输入网络模型。
步骤4.2：在初始化后的网络模型中输入一对相匹配的样本数据，通过一样的卷积神经网络后分别生成一个512维的局部几何特征描述向量，对这两个向量求相似性度量(欧氏距离)；然后，再对该网络模型中输入一对不匹配的样本数据，通过一样的卷积神经网络后也分别生成一个512维的局部几何特征描述向量，对这两个向量求相似性度量。
步骤4.3：用总体损失函数L2来衡量该模型的优劣，目的是最小化相匹配样本对的相似性度量，最大化不匹配样本对的相似性度量。通过反复迭代训练直到达到最大迭代次数，输出每次训练得到的损失函数，保存最小的损失函数对应的最优网络模型。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于共享权重网络的三维模型局部特征点描述方法，包括如下步骤：
(1)三维扫描数据的样本采集：采用3D扫描设备对不同现实场景进行扫描，每个场景采集得到不同视角的三维数据；
(2)三维数据的样本分类：将相同场景下采集的三维扫描数据序列放在同一个文件夹内；并将每一类扫描数据所在的文件夹命名为对应的场景名称；
(3)数据集的制作：采用3D扫描设备的配套软件和参数完成三维数据配准，形成用于卷积网络训练和测试的数据集；
(4)网络模型训练：
(4.1)调用代码从训练数据集中提取包含两帧数据的同一个匹配对，分别提取像素点周围的体素化信息，将其标签设为匹配；提取不同场景下的两帧数据，各随机得到一个像素点，分别提取像素点周围的体素化信息，将其标签设为不匹配；
(4.2)在初始化后网络模型中输入一对相匹配的样本数据和一对不匹配的样本数据，通过反复迭代训练直至达到线性回归值收敛，得到最小的损失函数，并保存最小损失函数对应的最优网络模型。
2.如权利要求1所述的一种基于共享权重网络的三维模型局部特征点描述方法，其特征在于：所述步骤(4.2)采用两个相同结构，共享权重的卷积神经网络，其中每个神经网络包含7个卷积层和1个池化层，通过一个损失函数对两个神经网络的输出进行反馈调节；训练时设定批处理数据大小为64,最大迭代次数为10000000，创建迭代器读取训练样本和标签，并输入网络模型进行训练，通过反复迭代训练直到达到最大迭代次数，输出每次训练得到的损失函数，保存最小的损失函数对应的最优网络模型。
CN201711417032.1A 2017-12-25 2017-12-25 一种基于共享权重卷积网络的三维模型局部特征描述方法 Pending CN108009557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711417032.1A CN108009557A (zh) 2017-12-25 2017-12-25 一种基于共享权重卷积网络的三维模型局部特征描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711417032.1A CN108009557A (zh) 2017-12-25 2017-12-25 一种基于共享权重卷积网络的三维模型局部特征描述方法

Publications (1)

Publication Number Publication Date
CN108009557A true CN108009557A (zh) 2018-05-08

Family

ID=62060818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711417032.1A Pending CN108009557A (zh) 2017-12-25 2017-12-25 一种基于共享权重卷积网络的三维模型局部特征描述方法

Country Status (1)

Country Link
CN (1) CN108009557A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875813A (zh) * 2018-06-04 2018-11-23 北京工商大学 一种基于几何图像的三维网格模型检索方法
CN109446887A (zh) * 2018-09-10 2019-03-08 易诚高科（大连）科技有限公司 一种针对图像质量主观评测的图像场景描述生成方法
CN109840556A (zh) * 2019-01-24 2019-06-04 浙江大学 一种基于孪生网络的图像分类识别方法
CN110910433A (zh) * 2019-10-29 2020-03-24 太原师范学院 一种基于深度学习的点云匹配方法
CN113807233A (zh) * 2021-09-14 2021-12-17 电子科技大学 基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006055413A2 (en) * 2004-11-11 2006-05-26 The Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN105574510A (zh) * 2015-12-18 2016-05-11 北京邮电大学 一种步态识别方法及装置
CN105740855A (zh) * 2016-03-24 2016-07-06 博康智能信息技术有限公司 一种基于深度学习的前后车牌检测识别方法
CN105913492A (zh) * 2016-04-06 2016-08-31 浙江大学 一种rgbd图像中物体形状的补全方法
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006055413A2 (en) * 2004-11-11 2006-05-26 The Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN105574510A (zh) * 2015-12-18 2016-05-11 北京邮电大学 一种步态识别方法及装置
CN105740855A (zh) * 2016-03-24 2016-07-06 博康智能信息技术有限公司 一种基于深度学习的前后车牌检测识别方法
CN105913492A (zh) * 2016-04-06 2016-08-31 浙江大学 一种rgbd图像中物体形状的补全方法
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875813A (zh) * 2018-06-04 2018-11-23 北京工商大学 一种基于几何图像的三维网格模型检索方法
CN108875813B (zh) * 2018-06-04 2021-10-08 北京工商大学 一种基于几何图像的三维网格模型检索方法
CN109446887A (zh) * 2018-09-10 2019-03-08 易诚高科（大连）科技有限公司 一种针对图像质量主观评测的图像场景描述生成方法
CN109446887B (zh) * 2018-09-10 2022-03-25 易诚高科（大连）科技有限公司 一种针对图像质量主观评测的图像场景描述生成方法
CN109840556A (zh) * 2019-01-24 2019-06-04 浙江大学 一种基于孪生网络的图像分类识别方法
CN109840556B (zh) * 2019-01-24 2020-10-23 浙江大学 一种基于孪生网络的图像分类识别方法
CN110910433A (zh) * 2019-10-29 2020-03-24 太原师范学院 一种基于深度学习的点云匹配方法
CN113807233A (zh) * 2021-09-14 2021-12-17 电子科技大学 基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法
CN113807233B (zh) * 2021-09-14 2023-04-07 电子科技大学 基于高次项参考曲面学习的点云特征提取方法、分类方法和分割方法

Similar Documents

Publication Publication Date Title
CN108009557A (zh) 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN104834922B (zh) 基于混合神经网络的手势识别方法
CN109993748B (zh) 一种基于点云处理网络的三维网格物体分割方法
CN106022228B (zh) 一种基于网格纵横局部二值模式的三维人脸识别方法
CN108319957A (zh) 一种基于超点图的大规模点云语义分割方法
CN105426919B (zh) 基于显著性指导非监督特征学习的图像分类方法
CN105608690B (zh) 一种基于图论和半监督学习相结合的图像分割方法
CN106446933B (zh) 基于上下文信息的多目标检测方法
CN104200240B (zh) 一种基于内容自适应哈希编码的草图检索方法
CN108389251A (zh) 基于融合多视角特征的投影全卷积网络三维模型分割方法
CN110490081A (zh) 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法
CN105868706A (zh) 一种基于稀疏自编码的三维模型识别方法
CN105930497B (zh) 基于图像边缘和线条特征的三维模型检索方法
Seidl et al. Automated classification of petroglyphs
CN106096612A (zh) 实蝇图像识别系统及方法
Zhang et al. 3D object retrieval with multi-feature collaboration and bipartite graph matching
CN107992783A (zh) 人脸图像处理方法及装置
Yi CNN-based flow field feature visualization method
CN108537887A (zh) 基于3d打印的草图与模型库三维视图匹配方法
CN105930859B (zh) 基于线性流形聚类的雷达信号分选方法
Gao et al. Classification of 3D terracotta warrior fragments based on deep learning and template guidance
CN111858997A (zh) 一种基于跨领域匹配的服装样板生成方法
Qin et al. A new improved convolutional neural network flower image recognition model
CN109887009A (zh) 一种点云局部匹配方法
CN103617417A (zh) 植物自动识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180508

RJ01 Rejection of invention patent application after publication