CN113901938A - 基于牙齿3d点云的身份识别方法及系统 - Google Patents
基于牙齿3d点云的身份识别方法及系统 Download PDFInfo
- Publication number
- CN113901938A CN113901938A CN202111224936.9A CN202111224936A CN113901938A CN 113901938 A CN113901938 A CN 113901938A CN 202111224936 A CN202111224936 A CN 202111224936A CN 113901938 A CN113901938 A CN 113901938A
- Authority
- CN
- China
- Prior art keywords
- sample
- point cloud
- tooth
- data
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 126
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 6
- 210000004195 gingiva Anatomy 0.000 claims description 6
- 230000036541 health Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000012856 packing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明涉及身份识别方法领域，具体是基于牙齿3D点云的身份识别方法及系统，包括以下步骤：建立数据库步骤：通过数据采集单元对牙齿和牙龈进行采集初始样本，将采集到的所有初始样本经过模型网络提取的特征向量并记录到数据库中；生成虚拟样本步骤：将模型网络提取的特征向量经过数据预处理产生预定量的虚拟样本；测试虚拟样本步骤：通过损失函数测试虚拟样本是否匹配到数据库中对应目标的初始样本。本发明利用生成虚拟样本的方法，将军人残留的牙齿上的数据与虚拟样本进行匹配，使得可以对军人残留牙齿碎片进行收集并简单处理后再进行扫描，而后将扫描数据传输到多维信息平台进行数据匹配，快速进行军人身份识别。
Description
技术领域
本发明涉及身份识别方法领域，具体是基于牙齿3D点云的身份识别方法及系统。
背景技术
由于3D视觉技术相较于2D视觉能获取更丰富更全面的环境信息，近来很多基于3D点云的视觉技术应用逐渐兴起，已经成为机器人导航、无人驾驶、增强/虚拟现实、工业检测、医疗辅助等领域的关键技术。当前基于深度学习的2D计算机视觉技术日趋成熟，在很多领域取得了很不错的进展。但真实世界是三维空间，单纯利用2D的技术对真实世界进行建模存在着先天的缺陷，即深度信息的缺失，我们不能从2D图片中获得物体的绝对尺度和位置。随着3D传感器的进步，基于3D点云的视觉技术从虚拟网络逐渐发展转向物理实际中的应用。
目前基于深度学习的3D点云目标识别方法主要应用的为基于体素化CNN的3D点云识别，体素化CNN通常会将点云体素化为3D网格，然后将3D卷积神经网络应用于体素表示中，提取3D点云的高维特征表示并进行形状分类。VoxNet的体积占用网格可以实现强大的3D对象识别，基于卷积的深层信念网络3DShapeNets可以学习到各种3D形状中点的分布，这些方法已取得令人鼓舞的表现，但由于数据稀疏性和计算量大，体素表示收到分辨率的限制，因此无法将其很好地应用到密集的3D数据。为此，OctNet首先分层使用混合网格八叉树结构分割点云，而FPNN和Vote3D都提供了一些处理稀疏问题的方法，但在稀疏体积上处理对于大型点云来说仍是一项挑战，比如在出现大规模战争的场景下，战亡军人残骸已腐烂、焦化或碎片化，军人所有身份信息资料丢失的特殊情况时，如何通过牙齿3D云点进行识别的这些军人的身份识别成为问题。
中国专利号202110440881.9公开了一种基于深度学习的点云补全方法，该方法包括：对原始点云集进行预处理；构建编解码器网络；将预处理后的点云数据输入编码器中获取输入点云的特征向量；将输入点云的特征向量输入解码器得到缺失部分点云；将缺失部分点云与输入残缺点云拼接得到完整的补全点云；设置损失函数，优化网络，得到最终优化输出结果。
现有技术无法通过军人残留的牙齿进行身份识别，因为军人牙齿在战争中容易缺失，从而使得军人牙齿的数据丢失，导致军人残留的牙齿无法与原始数据进行匹配。因此，亟需设计基于牙齿3D点云的身份识别方法及系统来解决上述的问题。
发明内容
本发明的目的在于提供基于牙齿3D点云的身份识别方法及系统，以解决上述背景技术中提出的问题。
本发明的技术方案是：基于牙齿3D点云的身份识别方法，包括以下步骤：
建立数据库步骤：通过数据采集单元对牙齿和牙龈进行采集初始样本，将采集到的所有初始样本经过模型网络提取的特征向量并记录到数据库中；
生成虚拟样本步骤：将模型网络提取的特征向量经过数据预处理产生预定量的虚拟样本；
测试虚拟样本步骤：通过损失函数测试虚拟样本是否匹配到数据库中对应目标的初始样本；
身份识别步骤：将每一个待识别样本的未知牙齿点云数据输入模型网络得到特征向量，利用特征向量在数据库中进行匹配搜索，利用损失函数计算待识别样本的特征向量与数据库中成员的特征向量之间的欧式距离，判断距离最小值是否小于设定的类内距离，该最小距离对应待识别样本的ID。
进一步地，所述模型网络包括主干网络和分割网络，所述主干网络包括转换网络和多层感知机，所述主干网络用于得到提取牙齿样本的全局特征和局部特征，所述分割网络用于将牙齿点特征与和牙龈点特征进行分割；
在所述生成虚拟样本步骤中，数据预处理的方法为：
选择批次样本步骤：从训练样本集中先随机选择N个牙齿的初始样本，每个牙齿样本包含n个点，每个点的属性为3D坐标值；
生成用于分割的标注数据label_seg步骤：根据每个牙齿样本的标注信息，将标号大于0的点全部标为1；
生成虚拟正样本步骤：根据标注信息，将每个初始样本随机选择预定量的牙齿进行删除；
数据打包步骤：将得到的虚拟正样本与初始样本一起作为一个批次的样本集samples，并且将样本集samples与用于分割任务的标注label_seg和用于身份识别任务的标注label_reg三部分打包作为数据预处理的输出，然后输入模型网络进行学习。
进一步地，所述模型网络提取初始样本特征向量的方法，包括以下步骤：
采集口腔数据步骤：对样本进行口腔健康数据、口腔三维形态数据采集，将采集的数据构成基础数据并储存为STL格式的三维模型数据；
生成牙齿3D点云步骤：使用开源软件对牙齿模型数据进行单个牙齿对象的标注，标注方法是将不同位置的牙齿以及牙龈标注为不同的类别号得到牙齿3D点云；
点云数据对齐步骤：将牙齿3D点云经过主干网络中第一个转换网络进行点云数据对齐；
输出特征向量步骤：将点云数据对齐的牙齿3D点云经过第一个两层的多层感知机后输出的特征向量；
输出全局特征向量步骤：由第二个多层感知机进行特征向量的对齐后，再经过一个三层的多层感知机提取高维度特征，最后，经过一个最大池化得到维度为1024的全局特征向量；
点云拼接步骤：将得到的局部特征和全局特征进行拼接，拼接时将全局特征向量复制n份，每一份与每个点云对应的局部特征向量进行拼接；
牙齿点云分割步骤：将经过多层感知机进行特征融合得到最后用于分割的点特征，在经过一个多层感知机后得到分割结果；
提取牙齿点云步骤：将分割结果进行二值化后得到牙齿部分点云对应的特征向量，将提取出的牙齿点云对应的特征作为最后的输出；
匹配特征向量步骤：直接基于输出的特征向量计算距离损失函数，并利用搜索机制在数据库中得到最佳匹配的对象。
进一步地，在所述测试虚拟样本步骤中，损失函数为：
其中，xi是第i个样本的牙齿初始样本特征，
是第i个样本的第j个虚拟样本特征，mk和ml分别对应两个不同对象的牙齿初始样本特征，α1和α2为间隔，θ为是模型的权重参数集，l((xi,mk,ml)；θ)为一个batch中基于第i个样本的虚拟正样本特征计算的loss，L是一个batch上计算的总的loss。
进一步地，所述label_seg为二值数据，每个所述初始样本对应的label_seg大小为1×n×1，在计算所述分割任务的损失函数值时，根据所述label_seg会得到一个one-hot的ground truth(GT)向量，所述ground truth(GT)向量的大小为1×n×2。
进一步地，所述初始样本被删除牙齿的数量不超过总牙齿的20％，所述随机删除预定量牙齿的数据将作为每个对象对应初始样本的虚拟正样本，所述虚拟正样本大小为(N×m)×n×3，其中m为设定的虚拟样本个数。
进一步地，所述虚拟样本的分割标注label_seg的大小为(N×m)×n×1，对每个所述初始样本及对应的虚拟样本赋予相同的对象ID，作为对象的编号，得到身份识别任务需要的标注label_reg，所述计算损失函数值时，根据每个所述样本的ID号组合正样本对和负样本对，即相同ID的样本之间组合成正样本对，不同ID的样本之间组合成负样本对。
进一步地，所述样本集的大小为(N×(m+1))×n×3，所述标注label_seg的大小为(N×(m+1))×n×1，所述标注label_reg的大小为(N×(m+1))×1。
进一步地，所述训练过程包括以下步骤：
获取小批量数据步骤：将样本数据进行预处理后得到一个批量的输入数据；
点云分割步骤：输入数据到分割模型只计算分割损失，并通过分割损失反向传播对网络进行训练，直至模型收敛，其中分割损失采用最基本的交叉熵；
目标识别步骤：将分割支路的权重进行冻结，然后基于分割结果得到距离loss，并由距离loss反向传播对网络其它部分进行调优。
进一步地，所述样本大小为N×n×3，所述label_seg中标号0代表牙龈，标号1表示牙齿。
基于牙齿3D点云的身份识别系统，包括：
建立数据库模块：将采集到的所有初始样本经过模型网络提取的特征向量并记录到数据库中；
生成虚拟样本模块：将模型网络提取的特征向量经过数据预处理产生预定量的虚拟样本；
测试虚拟样本模块：通过损失函数测试虚拟样本是否匹配到数据库中对应目标的初始样本；
身份识别模块：将每一个待识别样本的未知牙齿点云数据输入模型网络得到特征向量，利用特征向量在数据库中进行匹配搜索，利用损失函数计算待识别样本的特征向量与数据库中成员的特征向量之间的欧式距离，判断距离最小值是否小于设定的类内距离，该最小距离对应待识别样本的ID。
进一步地，所述模型网络包括主干网络和分割网络，所述主干网络包括转换网络和多层感知机，所述主干网络用于得到提取牙齿样本的全局特征和局部特征，所述分割网络用于将牙齿点特征与和牙龈点特征进行分割；
在所述生成虚拟样本模块中，所述数据预处理包括：
选择批次样本单元：从训练样本集中先随机选择N个牙齿的初始样本，每个牙齿样本包含n个点，每个点的属性为3D坐标值；
生成用于分割的标注数据label_seg单元：根据每个牙齿样本的标注信息，将标号大于0的点全部标为1；
生成虚拟正样本单元：根据标注信息，将每个初始样本随机选择预定量的牙齿进行删除；
数据打包单元：将得到的虚拟正样本与初始样本一起作为一个批次的样本集samples，并且将样本集samples与用于分割任务的标注label_seg和用于身份识别任务的标注label_reg三部分打包作为数据预处理的输出，然后输入模型网络进行学习。
进一步地，所述模型网络提取初始样本特征向量包括：
采集口腔数据模块：对样本进行口腔健康数据、口腔三维形态数据采集，将采集的数据构成基础数据并储存为STL格式的三维模型数据；
生成牙齿3D点云模块：使用开源软件对牙齿模型数据进行单个牙齿对象的标注，标注方法是将不同位置的牙齿以及牙龈标注为不同的类别号得到牙齿3D点云；
点云数据对齐模块：将牙齿3D点云经过主干网络中第一个转换网络进行点云数据对齐；
输出特征向量模块：将点云数据对齐的牙齿3D点云经过第一个两层的多层感知机后输出的特征向量；
输出全局特征向量模块：由第二个多层感知机进行特征向量的对齐后，再经过一个三层的多层感知机提取高维度特征，最后，经过一个最大池化得到维度为1024的全局特征向量；
点云拼接模块：将得到的局部特征和全局特征进行拼接，拼接时将全局特征向量复制n份，每一份与每个点云对应的局部特征向量进行拼接；
牙齿点云分割模块：将经过多层感知机进行特征融合得到最后用于分割的点特征，在经过一个多层感知机后得到分割结果；
提取牙齿点云模块：将分割结果进行二值化后得到牙齿部分点云对应的特征向量，将提取出的牙齿点云对应的特征作为最后的输出；
匹配特征向量模块：直接基于输出的特征向量计算距离损失函数，并利用搜索机制在数据库中得到最佳匹配的对象。
进一步地，在所述测试虚拟样本模块中，损失函数为：
其中，xi是第i个样本的牙齿初始样本特征，
是第i个样本的第j个虚拟样本特征，mk和ml分别对应两个不同对象的牙齿初始样本特征，α1和α2为间隔，θ为是模型的权重参数集，l((xi,mk,ml)；θ)为一个batch中基于第i个样本的虚拟正样本特征计算的loss，L是一个batch上计算的总的loss。
本发明通过改进在此提供基于牙齿3D点云的身份识别方法及系统，与现有技术相比，具有如下改进及优点：
(1)本发明利用生成虚拟样本的方法，将军人残留的牙齿上的数据与虚拟样本进行匹配，使得可以对军人残留牙齿碎片进行收集并简单处理后再进行扫描，而后将扫描数据传输到多维信息平台进行数据匹配，快速进行军人身份识别。
(2)本发明利用最小化类内距离和最大化类间距离设计了距离loss，使得同一人在不同状态下的牙齿特征在特征空间上具有很好的聚合性，不同人的牙齿特征在特征空间中具有很好的分离性，进而提高了通过牙齿3D点云识别身份信息的准确性。
(3)本发明采用网络模型结构对牙齿点云进行分割，能很好地将牙齿和牙龈部分区分开，便于去除非牙齿部分的点云数量，防止牙齿部分的特征会被弱化，从而更利于识别任务。
附图说明
下面结合附图和实施例对本发明作进一步解释:
图1是本发明的方法流程图；
图2是本发明的网络模型结构示意图；
图3是本发明的主干网络结构示意图；
图4是本发明的身份识别匹配结果图。
具体实施方式
下面将结合附图1至图4对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明通过改进在此提供基于牙齿3D点云的身份识别方法，如图1-图4包括以下步骤：
建立数据库步骤：通过数据采集单元对牙齿和牙龈进行采集初始样本，将采集到的所有初始样本经过模型网络提取的特征向量并记录到数据库中；
生成虚拟样本步骤：将模型网络提取的特征向量经过数据预处理产生预定量的虚拟样本；
测试虚拟样本步骤：通过损失函数测试虚拟样本是否匹配到数据库中对应目标的初始样本；
身份识别步骤：将每一个待识别样本的未知牙齿点云数据输入模型网络得到特征向量，利用特征向量在数据库中进行匹配搜索，利用损失函数计算待识别样本的特征向量与数据库中成员的特征向量之间的欧式距离，判断距离最小值是否小于设定的类内距离，该最小距离对应待识别样本的ID。
进一步地，模型网络包括主干网络和分割网络，主干网络包括转换网络和多层感知机，主干网络用于得到提取牙齿样本的全局特征和局部特征，分割网络用于将牙齿点特征与和牙龈点特征进行分割；
在生成虚拟样本步骤中，数据预处理的方法为：
选择批次样本步骤：从训练样本集中先随机选择N个牙齿的初始样本，每个牙齿样本包含n个点，每个点的属性为3D坐标值；
生成用于分割的标注数据label_seg步骤：根据每个牙齿样本的标注信息，将标号大于0的点全部标为1；
生成虚拟正样本步骤：根据标注信息，将每个初始样本随机选择预定量的牙齿进行删除，初始样本被删除牙齿的数量不超过总牙齿的20％，预定量的数量范围为1-5颗，优选为4颗牙齿；
数据打包步骤：将得到的虚拟正样本与初始样本一起作为一个批次的样本集samples，并且将样本集samples与用于分割任务的标注label_seg和用于身份识别任务的标注label_reg三部分打包作为数据预处理的输出，然后输入模型网络进行学习。
进一步地，模型网络提取初始样本特征向量的方法，包括以下步骤：
采集口腔数据步骤：对样本进行口腔健康数据、口腔三维形态数据采集，将采集的数据构成基础数据并储存为STL格式的三维模型数据；
生成牙齿3D点云步骤：使用开源软件对牙齿模型数据进行单个牙齿对象的标注，标注方法是将不同位置的牙齿以及牙龈标注为不同的类别号得到牙齿3D点云；
点云数据对齐步骤：将牙齿3D点云经过主干网络中第一个转换网络进行点云数据对齐；
输出特征向量步骤：将点云数据对齐的牙齿3D点云经过第一个两层的多层感知机后输出的特征向量；
输出全局特征向量步骤：由第二个多层感知机进行特征向量的对齐后，再经过一个三层的多层感知机提取高维度特征，最后，经过一个最大池化得到维度为1024的全局特征向量；
点云拼接步骤：将得到的局部特征和全局特征进行拼接，拼接时将全局特征向量复制n份，每一份与每个点云对应的局部特征向量进行拼接；
牙齿点云分割步骤：将经过多层感知机进行特征融合得到最后用于分割的点特征，在经过一个多层感知机后得到分割结果；
提取牙齿点云步骤：将分割结果进行二值化后得到牙齿部分点云对应的特征向量，将提取出的牙齿点云对应的特征作为最后的输出；
匹配特征向量步骤：直接基于输出的特征向量计算距离损失函数，并利用搜索机制在数据库中得到最佳匹配的对象。
进一步地，在测试虚拟样本步骤中，损失函数为：
其中，xi是第i个样本的牙齿初始样本特征，
是第i个样本的第j个虚拟样本特征，mk和ml分别对应两个不同对象的牙齿初始样本特征，α1和α2为间隔，θ为是模型的权重参数集，l((xi,mk,ml)；θ)为一个batch中基于第i个样本的虚拟正样本特征计算的loss，L是一个batch上计算的总的loss。
进一步地，label_seg为二值数据，每个初始样本对应的label_seg大小为1×n×1，在计算分割任务的损失函数值时，根据label_seg会得到一个one-hot的ground truth(GT)向量，ground truth(GT)向量的大小为1×n×2。
进一步地，初始样本被删除牙齿的数量不超过总牙齿的20％，随机删除预定量牙齿的数据将作为每个对象对应初始样本的虚拟正样本，虚拟正样本大小为(N×m)×n×3，其中m为设定的虚拟样本个数。
进一步地，虚拟样本的分割标注label_seg的大小为(N×m)×n×1，对每个初始样本及对应的虚拟样本赋予相同的对象ID，作为对象的编号，得到身份识别任务需要的标注label_reg，计算损失函数值时，根据每个样本的ID号组合正样本对和负样本对，即相同ID的样本之间组合成正样本对，不同ID的样本之间组合成负样本对。
进一步地，样本集的大小为(N×(m+1))×n×3，标注label_seg的大小为(N×(m+1))×n×1，标注label_reg的大小为(N×(m+1))×1。
进一步地，训练过程包括以下步骤：
获取小批量数据步骤：将样本数据进行预处理后得到一个批量的输入数据；
点云分割步骤：输入数据到分割模型只计算分割损失，并通过分割损失反向传播对网络进行训练，直至模型收敛，其中分割损失采用最基本的交叉熵；
目标识别步骤：将分割支路的权重进行冻结，然后基于分割结果得到距离loss，并由距离loss反向传播对网络其它部分进行调优。
进一步地，样本大小为N×n×3，label_seg中标号0代表牙龈，标号1表示牙齿。
基于牙齿3D点云的身份识别系统，包括：
建立数据库模块：将采集到的所有初始样本经过模型网络提取的特征向量并记录到数据库中；
生成虚拟样本模块：将模型网络提取的特征向量经过数据预处理产生预定量的虚拟样本；
测试虚拟样本模块：通过损失函数测试虚拟样本是否匹配到数据库中对应目标的初始样本；
身份识别模块：将每一个待识别样本的未知牙齿点云数据输入模型网络得到特征向量，利用特征向量在数据库中进行匹配搜索，利用损失函数计算待识别样本的特征向量与数据库中成员的特征向量之间的欧式距离，判断距离最小值是否小于设定的类内距离，该最小距离对应待识别样本的ID。
进一步地，模型网络包括主干网络和分割网络，主干网络包括转换网络和多层感知机，主干网络用于得到提取牙齿样本的全局特征和局部特征，分割网络用于将牙齿点特征与和牙龈点特征进行分割；
在生成虚拟样本模块中，数据预处理包括：
选择批次样本单元：从训练样本集中先随机选择N个牙齿的初始样本，每个牙齿样本包含n个点，每个点的属性为3D坐标值；
生成用于分割的标注数据label_seg单元：根据每个牙齿样本的标注信息，将标号大于0的点全部标为1；
生成虚拟正样本单元：根据标注信息，将每个初始样本随机选择预定量的牙齿进行删除；
数据打包单元：将得到的虚拟正样本与初始样本一起作为一个批次的样本集samples，并且将样本集samples与用于分割任务的标注label_seg和用于身份识别任务的标注label_reg三部分打包作为数据预处理的输出，然后输入模型网络进行学习。
进一步地，模型网络提取初始样本特征向量包括：
采集口腔数据模块：对样本进行口腔健康数据、口腔三维形态数据采集，将采集的数据构成基础数据并储存为STL格式的三维模型数据；
生成牙齿3D点云模块：使用开源软件对牙齿模型数据进行单个牙齿对象的标注，标注方法是将不同位置的牙齿以及牙龈标注为不同的类别号得到牙齿3D点云；
点云数据对齐模块：将牙齿3D点云经过主干网络中第一个转换网络进行点云数据对齐；
输出特征向量模块：将点云数据对齐的牙齿3D点云经过第一个两层的多层感知机后输出的特征向量；
输出全局特征向量模块：由第二个多层感知机进行特征向量的对齐后，再经过一个三层的多层感知机提取高维度特征，最后，经过一个最大池化得到维度为1024的全局特征向量；
点云拼接模块：将得到的局部特征和全局特征进行拼接，拼接时将全局特征向量复制n份，每一份与每个点云对应的局部特征向量进行拼接；
牙齿点云分割模块：将经过多层感知机进行特征融合得到最后用于分割的点特征，在经过一个多层感知机后得到分割结果；
提取牙齿点云模块：将分割结果进行二值化后得到牙齿部分点云对应的特征向量，将提取出的牙齿点云对应的特征作为最后的输出；
匹配特征向量模块：直接基于输出的特征向量计算距离损失函数，并利用搜索机制在数据库中得到最佳匹配的对象。
进一步地，在测试虚拟样本模块中，损失函数为：
其中，xi是第i个样本的牙齿初始样本特征，
是第i个样本的第j个虚拟样本特征，mk和ml分别对应两个不同对象的牙齿初始样本特征，α1和α2为间隔，θ为是模型的权重参数集，l((xi,mk,ml)；θ)为一个batch中基于第i个样本的虚拟正样本特征计算的loss，L是一个batch上计算的总的loss。
本发明的工作原理为：建立数据库步骤：通过数据采集单元对牙齿和牙龈进行采集初始样本，将采集到的所有初始样本经过模型网络提取的特征向量并记录到数据库中；生成虚拟样本步骤：将模型网络提取的特征向量经过数据预处理产生预定量的虚拟样本；测试虚拟样本步骤：通过损失函数测试虚拟样本是否匹配到数据库中对应目标的初始样本；身份识别步骤：将每一个待识别样本的未知牙齿点云数据输入模型网络得到特征向量，利用特征向量在数据库中进行匹配搜索，利用损失函数计算待识别样本的特征向量与数据库中成员的特征向量之间的欧式距离，判断距离最小值是否小于设定的类内距离，该最小距离对应待识别样本的ID；将所有相关人员的牙齿点云数据输入模型网络，得到每个样本的高维特征向量，这些特征向量被存储在人员数据库中，并对所有样本产生虚拟样本，将每一个待识别样本的未知牙齿点云数据输入模型网络，首先由分割网络可以得到待识别样本的牙齿和牙龈的二分类结果；然后，网络输出的特征向量会在数据库中进行匹配搜索，计算待识别样本的特征向量与数据库中成员的特征向量之间的欧式距离；最后，判断距离最小值是否小于设定的类内距离，如果小于则说明匹配成功，该最小距离对应的人员ID即为待识别样本的ID，否则说明待识别样本并非数据库中成员。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (14)
1.基于牙齿3D点云的身份识别方法，其特征在于：包括以下步骤：
建立数据库步骤：通过数据采集单元对牙齿和牙龈进行采集初始样本，将采集到的所有初始样本经过模型网络提取的特征向量并记录到数据库中；
生成虚拟样本步骤：将模型网络提取的特征向量经过数据预处理产生预定量的虚拟样本；
测试虚拟样本步骤：通过损失函数测试虚拟样本是否匹配到数据库中对应目标的初始样本；
身份识别步骤：将每一个待识别样本的未知牙齿点云数据输入模型网络得到特征向量，利用特征向量在数据库中进行匹配搜索，利用损失函数计算待识别样本的特征向量与数据库中成员的特征向量之间的欧式距离，判断距离最小值是否小于设定的类内距离，该最小距离对应待识别样本的ID。
2.根据权利要求1所述的基于牙齿3D点云的身份识别方法，其特征在于：所述模型网络包括主干网络和分割网络，所述主干网络包括转换网络和多层感知机，所述主干网络用于得到提取牙齿样本的全局特征和局部特征，所述分割网络用于将牙齿点特征与和牙龈点特征进行分割；
在所述生成虚拟样本步骤中，数据预处理的方法为：
选择批次样本步骤：从训练样本集中先随机选择N个牙齿的初始样本，每个牙齿样本包含n个点，每个点的属性为3D坐标值；
生成用于分割的标注数据label_seg步骤：根据每个牙齿样本的标注信息，将标号大于0的点全部标为1；
生成虚拟正样本步骤：根据标注信息，将每个初始样本随机选择预定量的牙齿进行删除；
数据打包步骤：将得到的虚拟正样本与初始样本一起作为一个批次的样本集samples，并且将样本集samples与用于分割任务的标注label_seg和用于身份识别任务的标注label_reg三部分打包作为数据预处理的输出，然后输入模型网络进行学习。
3.根据权利要求1所述的基于牙齿3D点云的身份识别方法，其特征在于：所述模型网络提取初始样本特征向量的方法，包括以下步骤：
采集口腔数据步骤：对样本进行口腔健康数据、口腔三维形态数据采集，将采集的数据构成基础数据并储存为STL格式的三维模型数据；
生成牙齿3D点云步骤：使用开源软件对牙齿模型数据进行单个牙齿对象的标注，标注方法是将不同位置的牙齿以及牙龈标注为不同的类别号得到牙齿3D点云；
点云数据对齐步骤：将牙齿3D点云经过主干网络中第一个转换网络进行点云数据对齐；
输出特征向量步骤：将点云数据对齐的牙齿3D点云经过第一个两层的多层感知机后输出的特征向量；
输出全局特征向量步骤：由第二个多层感知机进行特征向量的对齐后，再经过一个三层的多层感知机提取高维度特征，最后，经过一个最大池化得到维度为1024的全局特征向量；
点云拼接步骤：将得到的局部特征和全局特征进行拼接，拼接时将全局特征向量复制n份，每一份与每个点云对应的局部特征向量进行拼接；
牙齿点云分割步骤：将经过多层感知机进行特征融合得到最后用于分割的点特征，在经过一个多层感知机后得到分割结果；
提取牙齿点云步骤：将分割结果进行二值化后得到牙齿部分点云对应的特征向量，将提取出的牙齿点云对应的特征作为最后的输出；
匹配特征向量步骤：直接基于输出的特征向量计算距离损失函数，并利用搜索机制在数据库中得到最佳匹配的对象。
4.根据权利要求1所述的基于牙齿3D点云的身份识别方法，其特征在于：在所述测试虚拟样本步骤中，损失函数为：
其中，xi是第i个样本的牙齿初始样本特征，
是第i个样本的第j个虚拟样本特征，mk和ml分别对应两个不同对象的牙齿初始样本特征，α1和α2为间隔，θ为是模型的权重参数集，l((xi,mk,ml)；θ)为一个batch中基于第i个样本的虚拟正样本特征计算的loss，L是一个batch上计算的总的loss。
5.根据权利要求2所述的基于牙齿3D点云的身份识别方法，其特征在于：所述label_seg为二值数据，每个所述初始样本对应的label_seg大小为1×n×1，在计算所述分割任务的损失函数值时，根据所述label_seg会得到一个one-hot的ground truth(GT)向量，所述ground truth(GT)向量的大小为1×n×2。
6.根据权利要求2所述的基于牙齿3D点云的身份识别方法，其特征在于：所述初始样本被删除牙齿的数量不超过总牙齿的20％，所述随机删除预定量牙齿的数据将作为每个对象对应初始样本的虚拟正样本，所述虚拟正样本大小为(N×m)×n×3，其中m为设定的虚拟样本个数。
7.根据权利要求2所述的基于牙齿3D点云的身份识别方法，其特征在于：所述虚拟样本的分割标注label_seg的大小为(N×m)×n×1，对每个所述初始样本及对应的虚拟样本赋予相同的对象ID，作为对象的编号，得到身份识别任务需要的标注label_reg，所述计算损失函数值时，根据每个所述样本的ID号组合正样本对和负样本对，即相同ID的样本之间组合成正样本对，不同ID的样本之间组合成负样本对。
8.根据权利要求1所述的基于牙齿3D点云的身份识别方法，其特征在于：所述样本集的大小为(N×(m+1))×n×3，所述标注label_seg的大小为(N×(m+1))×n×1，所述标注label_reg的大小为(N×(m+1))×1。
9.根据权利要求1所述的基于牙齿3D点云的身份识别方法，其特征在于：所述训练过程包括以下步骤：
获取小批量数据步骤：将样本数据进行预处理后得到一个批量的输入数据；
点云分割步骤：输入数据到分割模型只计算分割损失，并通过分割损失反向传播对网络进行训练，直至模型收敛，其中分割损失采用最基本的交叉熵；
目标识别步骤：将分割支路的权重进行冻结，然后基于分割结果得到距离loss，并由距离loss反向传播对网络其它部分进行调优。
10.根据权利要求2所述的基于牙齿3D点云的身份识别方法，其特征在于：所述样本大小为N×n×3，所述label_seg中标号0代表牙龈，标号1表示牙齿。
11.基于牙齿3D点云的身份识别系统，其特征在于：包括：
建立数据库模块：将采集到的所有初始样本经过模型网络提取的特征向量并记录到数据库中；
生成虚拟样本模块：将模型网络提取的特征向量经过数据预处理产生预定量的虚拟样本；
测试虚拟样本模块：通过损失函数测试虚拟样本是否匹配到数据库中对应目标的初始样本；
身份识别模块：将每一个待识别样本的未知牙齿点云数据输入模型网络得到特征向量，利用特征向量在数据库中进行匹配搜索，利用损失函数计算待识别样本的特征向量与数据库中成员的特征向量之间的欧式距离，判断距离最小值是否小于设定的类内距离，该最小距离对应待识别样本的ID。
12.根据权利要求11所述的基于牙齿3D点云的身份识别系统，其特征在于：所述模型网络包括主干网络和分割网络，所述主干网络包括转换网络和多层感知机，所述主干网络用于得到提取牙齿样本的全局特征和局部特征，所述分割网络用于将牙齿点特征与和牙龈点特征进行分割；
在所述生成虚拟样本模块中，所述数据预处理包括：
选择批次样本单元：从训练样本集中先随机选择N个牙齿的初始样本，每个牙齿样本包含n个点，每个点的属性为3D坐标值；
生成用于分割的标注数据label_seg单元：根据每个牙齿样本的标注信息，将标号大于0的点全部标为1；
生成虚拟正样本单元：根据标注信息，将每个初始样本随机选择预定量的牙齿进行删除；
数据打包单元：将得到的虚拟正样本与初始样本一起作为一个批次的样本集samples，并且将样本集samples与用于分割任务的标注label_seg和用于身份识别任务的标注label_reg三部分打包作为数据预处理的输出，然后输入模型网络进行学习。
13.根据权利要求11所述的基于牙齿3D点云的身份识别系统，其特征在于：所述模型网络提取初始样本特征向量包括：
采集口腔数据模块：对样本进行口腔健康数据、口腔三维形态数据采集，将采集的数据构成基础数据并储存为STL格式的三维模型数据；
生成牙齿3D点云模块：使用开源软件对牙齿模型数据进行单个牙齿对象的标注，标注方法是将不同位置的牙齿以及牙龈标注为不同的类别号得到牙齿3D点云；
点云数据对齐模块：将牙齿3D点云经过主干网络中第一个转换网络进行点云数据对齐；
输出特征向量模块：将点云数据对齐的牙齿3D点云经过第一个两层的多层感知机后输出的特征向量；
输出全局特征向量模块：由第二个多层感知机进行特征向量的对齐后，再经过一个三层的多层感知机提取高维度特征，最后，经过一个最大池化得到维度为1024的全局特征向量；
点云拼接模块：将得到的局部特征和全局特征进行拼接，拼接时将全局特征向量复制n份，每一份与每个点云对应的局部特征向量进行拼接；
牙齿点云分割模块：将经过多层感知机进行特征融合得到最后用于分割的点特征，在经过一个多层感知机后得到分割结果；
提取牙齿点云模块：将分割结果进行二值化后得到牙齿部分点云对应的特征向量，将提取出的牙齿点云对应的特征作为最后的输出；
匹配特征向量模块：直接基于输出的特征向量计算距离损失函数，并利用搜索机制在数据库中得到最佳匹配的对象。
14.根据权利要求11所述的基于牙齿3D点云的身份识别系统，其特征在于：在所述测试虚拟样本模块中，损失函数为：
其中，xi是第i个样本的牙齿初始样本特征，
是第i个样本的第j个虚拟样本特征，mk和ml分别对应两个不同对象的牙齿初始样本特征，α1和α2为间隔，θ为是模型的权重参数集，l((xi,mk,ml)；θ)为一个batch中基于第i个样本的虚拟正样本特征计算的loss，L是一个batch上计算的总的loss。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111224936.9A CN113901938A (zh) | 2021-10-21 | 2021-10-21 | 基于牙齿3d点云的身份识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111224936.9A CN113901938A (zh) | 2021-10-21 | 2021-10-21 | 基于牙齿3d点云的身份识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113901938A true CN113901938A (zh) | 2022-01-07 |
Family
ID=79192849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111224936.9A Pending CN113901938A (zh) | 2021-10-21 | 2021-10-21 | 基于牙齿3d点云的身份识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113901938A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI799181B (zh) * | 2022-03-10 | 2023-04-11 | 國立臺中科技大學 | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 |
-
2021
- 2021-10-21 CN CN202111224936.9A patent/CN113901938A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI799181B (zh) * | 2022-03-10 | 2023-04-11 | 國立臺中科技大學 | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543606B (zh) | 一种加入注意力机制的人脸识别方法 | |
| CN109919031B (zh) | 一种基于深度神经网络的人体行为识别方法 | |
| CN112241997B (zh) | 基于多尺度点云上采样的三维模型建立、修复方法及系统 | |
| CN104715254B (zh) | 一种基于2d和3d sift特征融合的一般物体识别方法 | |
| CN101719286B (zh) | 融合单视点场景分析的多视点三维场景重建方法及其系统 | |
| CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN113205466A (zh) | 一种基于隐空间拓扑结构约束的残缺点云补全方法 | |
| CN111814661A (zh) | 基于残差-循环神经网络的人体行为识别方法 | |
| CN113157678B (zh) | 一种多源异构数据关联方法 | |
| CN114049356B (zh) | 一种结构表观裂缝检测方法、装置及系统 | |
| CN112766229B (zh) | 基于注意力机制的人脸点云图像智能识别系统及方法 | |
| CN113221852B (zh) | 一种目标识别方法及装置 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN111906782B (zh) | 一种基于三维视觉的智能机器人抓取方法 | |
| CN114239560A (zh) | 三维图像分类方法、装置、设备和计算机可读存储介质 | |
| CN116229019A (zh) | 面向数字孪生的大场景融合三维重建方法及系统 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN114626476A (zh) | 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置 | |
| CN114648669A (zh) | 一种域自适应双目视差计算的动车组故障检测方法及系统 | |
| CN113901938A (zh) | 基于牙齿3d点云的身份识别方法及系统 | |
| CN104598898B (zh) | 一种基于多任务拓扑学习的航拍图像快速识别系统及其快速识别方法 | |
| CN113516232B (zh) | 一种基于自注意力机制的穿墙雷达人体姿态重构方法 | |
| CN113139432A (zh) | 基于人体骨架和局部图像的工业包装行为识别方法 | |
| WO2023202401A1 (zh) | 点云数据中目标的检测方法、装置和计算机可读存储介质 | |
| CN112686202A (zh) | 一种基于3d重建的人头识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |