CN113555109A - 基于改良pct神经网络的手术术前规划装置 - Google Patents
基于改良pct神经网络的手术术前规划装置 Download PDFInfo
- Publication number
- CN113555109A CN113555109A CN202110770623.7A CN202110770623A CN113555109A CN 113555109 A CN113555109 A CN 113555109A CN 202110770623 A CN202110770623 A CN 202110770623A CN 113555109 A CN113555109 A CN 113555109A
- Authority
- CN
- China
- Prior art keywords
- neural network
- pct
- attention
- preoperative
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 210000004373 mandible Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000004513 dentition Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 230000036346 tooth eruption Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于改良PCT神经网络的手术术前规划装置，包括：术前采集模块，用于采集术前点云数据，并从所述术前点云数据中得到训练样本集；模型构建模块，用于构建PCT神经网络模型，并通过所述训练样本集对所述PCT神经网络模型进行训练，得到训练好的PCT神经网络模型；分割模块，用于将待术前规划的术前点云数据输入至所述训练好的PCT神经网络模型，得到术前点云的分割结果。本发明能够提升识别的准确率。
Description
技术领域
本发明涉及临床术前规划技术领域，特别是涉及一种基于改良PCT神经网络的手术术前规划装置。
背景技术
下颌骨是面部下三分之一的骨性支架，同时为面部唯一具有运动功能的骨，其特有的形态时个体形貌特征与行使正常功能的基础。正常的上、下颌骨相对关系、完整的牙列及良好的咬合关系是进行咀嚼、吞咽、语言等重要功能的前提。
传统的点云分割技术主要基于非深度学习的方法，该类方法主要对点云进行了简单的分割，每个物体并不含有特定的语音信息，需要后续进行人工标注，效率低下。而Charles在2017年CVPR上提出PointNet模型，第一个直接对原始点云数据进行分割的端到端的深度神经网络模型。该方法利用对称函数解决点云的无序性，得到每个点的全局特征，但并没有考虑点的局部特征。
发明内容
本发明所要解决的技术问题是提供一种基于改良PCT神经网络的手术术前规划装置，能够提升识别的准确率。
本发明解决其技术问题所采用的技术方案是：提供一种基于改良PCT神经网络的手术术前规划装置，包括：术前采集模块，用于采集术前点云数据，并从所述术前点云数据中得到训练样本集；模型构建模块，用于构建PCT神经网络模型，并通过所述训练样本集对所述PCT神经网络模型进行训练，得到训练好的PCT神经网络模型；分割模块，用于将待术前规划的术前点云数据输入至所述训练好的PCT神经网络模型，得到术前点云的分割结果。
所述PCT神经网络模型的转换层包括输入嵌入单元、位置编码单元和自注意单元；所述自注意单元将所述输入嵌入单元和位置编码单元的总和作为输入，并通过线性层为每个输入计算三个向量：query,key和value；通过query和key向量来获得任意两个输入单元之间的注意力权重，并将注意力特征定义为具有所述注意力权重的所有值向量的加权和。
所述输入嵌入单元包括两个LBR层和两个SG层，所述LBR层充当点的嵌入，使用两个级联的SG层来逐渐扩大特征聚集过程中的感受域。
所述自注意单元采用偏移-注意层，所述偏移-注意层用于计算出自注意特征和输入特征之间的通过元素逐项减法的偏移量。
所述自注意单元还通过采用残差卷积模块来建立不同层注意力图之间的联系，其公式为：
其中，
为第i个转换层的注意力图与第i-1个转换层的注意力图之间的联系，
为通过自注意力机制获取的第i个转换层的注意力图，α为一个常数项系数，CNN()为1×1卷积。
所述PCT神经网络模型采用的损失函数为
其中，yj为真实标签，
为预测标签，n为点的数量，Mi为惩罚因子。
所述惩罚因子
其中，di为预测标签为1或2的点到神经点集的最小距离，dmax为距离阈值，β为常数。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明利用改良PCT神经网络的机器学习方法，通过训练样本集的学习，可以较快地完成下颌角截骨术的截骨区域的点云数据分类。与传统的其他算法相比，改良PCT神经网络具有更准确的识别效果。该方法完成了高效安全的机器人手术智能术前规划，提高了整形颅颌面手术机器人系统的智能程度。
附图说明
图1是本发明实施方式的结构方框图；
图2是本发明实施方式训练的精度和损失随训练次数的变化图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于改良PCT神经网络的手术术前规划装置，如图1所示，包括：术前采集模块，用于采集术前点云数据，并从所述术前点云数据中得到训练样本集；模型构建模块，用于构建PCT神经网络模型，并通过所述训练样本集对所述PCT神经网络模型进行训练，得到训练好的PCT神经网络模型；分割模块，用于将待术前规划的术前点云数据输入至所述训练好的PCT神经网络模型，得到术前点云的分割结果。
下面以下颌角截骨术术前规划为例进一步说明本发明。
本实施方式利用改良PCT神经网络的机器学习方法，通过训练样本集的学习，可以较快地完成下颌角截骨术的截骨区域的点云数据分类。
所述PCT神经网络的转换层(Transformer)包含三个主要模块，分别为：输入嵌入模块，位置(顺序)编码模块和自注意模块。自注意模块是核心组件，它基于全局上下文为其输入特征生成精细化的注意特征。首先，自注意模块将所述输入嵌入模块和位置编码模块的总和作为输入，并通过训练有素的线性层为每个输入计算三个向量：query,key和value。然后，可以通过query和key向量来获得任意两个输入单元之间的注意力权重。最后，注意力特征定义为具有注意力权重的所有值向量的加权和。显然，每个输入单元的输出注意特征与所有输入特征有关，从而使其能够学习全局上下文。
PCT神经网络是一种适用于点云语义分割的网络。PCT的核心思想是利用Transformer固有的顺序不变性，解决点云的无序性问题，并通过注意机制进行特征学习。PCT编码器首先将输入坐标嵌入到新的特征空间中，嵌入的特征经过4个堆叠的注意力模块后，通过线性层生成输出特征。然后经过最大池化和平均池化得到点云的全局特征表示，接着将逐点特征与全局特征拼接在一起，最后得到各个点的标签。
具有点嵌入功能的PCT是提取全局特征的有效网络。但是，它忽略了在点云学习中必不可少的局部邻域信息。利用PointNet++和DGCNN的思想来设计局部点云聚合策略，以优化点嵌入，增强PCT的局部特征提取能力。本实施例中的输入嵌入模块包括两个LBR层和两个SG(采样和分组)层。LBR层充当点的嵌入，使用两个级联的SG层来逐渐扩大特征聚集过程中的感受域。该种方法在下颌骨点云分割模型中可以兼顾全局特征和局部特征。
所述自注意模块用于计算数据序列中不同项目之间的语义关联，设Q、K、V分别为输入特征的线性变化生成的查询矩阵、键矩阵和值矩阵：
其中，Wq,Wk,Wv为共享可学习的线性变化，并确定查询的尾数和键向量，Fin为自注意模块的输入，
的上标表示特征的维度，N表示点的数量。将da设置为de/4，以提高计算效率。步骤如下：
(1)通过矩阵点和计算注意力权重：
(2)将这些权重归一化，得出A＝(α)i,j
(3)自注意输出特征是相应的注意权重度对值向量的加权和：Fsa＝A·V，其中，A是与邻接矩阵E相当的注意力矩阵。
(4)SA的输出特征Fout＝SA(Fin)＝LBR(Fsa)+Fin，其中，LBR()由线性层、批归一化层和Relu激活函数组成。
卷积网络显示了使用拉普拉斯矩阵L＝D-E替换邻接矩阵E的优势，其中D是对角度矩阵。将Transformer应用于点云时，将原始的自注意模块替换为偏移-注意层(offset-attention)可以增强PCT。offset-attention层计算出自注意特征和输入特征之间通过元素逐项减法的偏移量。该偏移量增强了简单版本中使用的自注意功能，将Fout修改为：
Fout＝OA(Fin)＝LBR(Fin-Fsa)+Fin
Fin-Fsa＝Fin-AV＝Fin-AFinWv≈(I-A)Fin≈LFin
此处，Wv被忽略了，因为它是线性层的权重矩阵。I是与拉普拉斯矩阵的对角度矩阵D相当的恒等矩阵。通过修改注意力计算方式来完善归一化：
在PCT算法中，自注意模块用于编码输入数据之间的依赖关系。每一层的自注意模块是独立学习的，没有很好的概括能力，有时无法捕获精确的模式。一种方法是简单地在各层之间共享自注意模块，即直接通过残差连接将来自不同层的注意力图连接起来，然而这或许并不有效，因为不同的层可能需要来自不同抽象级别的注意力图。因此，采用残差卷积模块来建立不同层注意力图之间的联系。
对于第i个Transformer层，通过自注意力机制获取的注意力图为
(式2的结果，未经过权重归一化)。则残差卷积模块的计算方式如下：
其中，
为第i个转换层的注意力图与第i-1个转换层的注意力图之间的联系，α为一个常数项系数，本实施例取0.5，CNN()为1×1卷积，目的是使上一层的注意力图适应当前层的注意力抽象级别。
点云语义分割的常用损失函数为交叉熵损失函数：
其中，yj是真实标签，
是预测标签，n为点的数量。
在下颌骨点云语义分割实验中，截骨区离神经要保持一定的距离，设该距离的阈值为dmax。对于预测标签为1或2的点pi，计算这些点到神经点集的最小距离di。当di＜dmax时，表面该点的标签分类有误，为其添加惩罚因子：
其中，β为常数，本实施例取2。
添加惩罚因子后的损失函数为
传统的PointNet、DGCNN、PT算法是处理点云分割比较经典的一种算法，但是改良PCT神经网络对于非等效点云的分割上可能有更好的效果。为了进一步研究各算法对于下颌角截骨术患者点云分割的效果，将训练样本集的数据分别在各算法框架下运行，实验结果见表1。通过训练后的结果对测试样本集进行相应的测试，以正确率、召回率、F1值以及平均耗时作为各算法的评判依据进行。
表1不同采样点的数据预处理训练效果
| 点数 | 精确率 | 准确率 | 召回率 | F1值 |
| 2048 | 99.73 | 97.71 | 98.97 | 98.34 |
| 4096 | 99.82 | 98.96 | 98.75 | 98.87 |
| 8192 | 98.55 | 92.15 | 89.65 | 90.75 |
对于采样点的分层研究表明，当在数据预处理时，使用4096点数进行训练样本集的训练效果最好。
如图2所示，改良PCT神经网络的学习过程，通过在训练样本集的实验，可以看出在175-200次左右，训练的结果可以趋于稳定。
完成测试后，可以将待术前规划的下颌骨截骨手术术前点云数据输入至所述训练好的PCT神经网络模型，得到术前点云的分割结果。
Claims (7)
1.一种基于改良PCT神经网络的手术术前规划装置，其特征在于，包括：术前采集模块，用于采集术前点云数据，并从所述术前点云数据中得到训练样本集；模型构建模块，用于构建PCT神经网络模型，并通过所述训练样本集对所述PCT神经网络模型进行训练，得到训练好的PCT神经网络模型；分割模块，用于将待术前规划的术前点云数据输入至所述训练好的PCT神经网络模型，得到术前点云的分割结果。
2.根据权利要求1所述的基于改良PCT神经网络的手术术前规划装置，其特征在于，所述PCT神经网络模型的转换层包括输入嵌入单元、位置编码单元和自注意单元；所述自注意单元将所述输入嵌入单元和位置编码单元的总和作为输入，并通过线性层为每个输入计算三个向量：query,key和value；通过query和key向量来获得任意两个输入单元之间的注意力权重，并将注意力特征定义为具有所述注意力权重的所有值向量的加权和。
3.根据权利要求2所述的基于改良PCT神经网络的手术术前规划装置，其特征在于，所述输入嵌入单元包括两个LBR层和两个SG层，所述LBR层充当点的嵌入，使用两个级联的SG层来逐渐扩大特征聚集过程中的感受域。
4.根据权利要求2所述的基于改良PCT神经网络的手术术前规划装置，其特征在于，所述自注意单元采用偏移-注意层，所述偏移-注意层用于计算出自注意特征和输入特征之间的通过元素逐项减法的偏移量。
5.根据权利要求2所述的基于改良PCT神经网络的手术术前规划装置，其特征在于，所述自注意单元还通过采用残差卷积模块来建立不同层注意力图之间的联系，其公式为：
其中，
为第i个转换层的注意力图与第i-1个转换层的注意力图之间的联系，
为通过自注意力机制获取的第i个转换层的注意力图，α为一个常数项系数，CNN()为1×1卷积。
6.根据权利要求2所述的基于改良PCT神经网络的手术术前规划装置，其特征在于，所述PCT神经网络模型采用的损失函数为
其中，yj为真实标签，
为预测标签，n为点的数量，Mi为惩罚因子。
7.根据权利要求5所述的的基于改良PCT神经网络的手术术前规划装置，其特征在于，所述惩罚因子
其中，di为预测标签为1或2的点到神经点集的最小距离，dmax为距离阈值，β为常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110770623.7A CN113555109A (zh) | 2021-07-08 | 2021-07-08 | 基于改良pct神经网络的手术术前规划装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110770623.7A CN113555109A (zh) | 2021-07-08 | 2021-07-08 | 基于改良pct神经网络的手术术前规划装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113555109A true CN113555109A (zh) | 2021-10-26 |
Family
ID=78131413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110770623.7A Pending CN113555109A (zh) | 2021-07-08 | 2021-07-08 | 基于改良pct神经网络的手术术前规划装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113555109A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109567942A (zh) * | 2018-10-31 | 2019-04-05 | 上海盼研机器人科技有限公司 | 采用人工智能技术的颅颌面外科手术机器人辅助系统 |
| CN111340812A (zh) * | 2020-02-20 | 2020-06-26 | 中南大学 | 基于深度神经网络的交互式肝脏图像分割方法 |
| CN112633330A (zh) * | 2020-12-06 | 2021-04-09 | 西安电子科技大学 | 点云分割方法、系统、介质、计算机设备、终端及应用 |
-
2021
- 2021-07-08 CN CN202110770623.7A patent/CN113555109A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109567942A (zh) * | 2018-10-31 | 2019-04-05 | 上海盼研机器人科技有限公司 | 采用人工智能技术的颅颌面外科手术机器人辅助系统 |
| CN111340812A (zh) * | 2020-02-20 | 2020-06-26 | 中南大学 | 基于深度神经网络的交互式肝脏图像分割方法 |
| CN112633330A (zh) * | 2020-12-06 | 2021-04-09 | 西安电子科技大学 | 点云分割方法、系统、介质、计算机设备、终端及应用 |
Non-Patent Citations (1)
| Title |
|---|
| 国孟昊等: "PCT：Point cloud transformer", 《COMPUTATIONAL VISUAL MEDIA》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414462B (zh) | 一种无监督的跨域行人重识别方法及系统 | |
| CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
| CN110427938A (zh) | 一种基于深度学习的不规则文字识别装置和方法 | |
| CN108717570A (zh) | 一种脉冲神经网络参数量化方法 | |
| CN106022363B (zh) | 一种适用于自然场景下的中文文字识别方法 | |
| CN107122712B (zh) | 基于cnn和双向vlad的掌纹图像识别方法 | |
| CN111461025B (zh) | 一种自主进化的零样本学习的信号识别方法 | |
| CN111382727B (zh) | 一种基于深度学习的犬脸识别方法 | |
| CN110675421B (zh) | 基于少量标注框的深度图像协同分割方法 | |
| CN108460340A (zh) | 一种基于3d稠密卷积神经网络的步态识别方法 | |
| CN109492610B (zh) | 一种行人重识别方法、装置及可读存储介质 | |
| CN113743544A (zh) | 一种跨模态神经网络构建方法、行人检索方法及系统 | |
| CN115393902A (zh) | 一种基于对比语言图像预训练模型clip的行人重识别方法 | |
| CN106203373A (zh) | 一种基于深度视觉词袋模型的人脸活体检测方法 | |
| CN110633689B (zh) | 基于半监督注意力网络的人脸识别模型 | |
| CN109858351B (zh) | 一种基于层级实时记忆的步态识别方法 | |
| CN107452374A (zh) | 基于单向自标注辅助信息的多视角语言识别方法 | |
| CN113555109A (zh) | 基于改良pct神经网络的手术术前规划装置 | |
| CN111401434A (zh) | 一种基于无监督特征学习的图像分类方法 | |
| CN116543338A (zh) | 一种基于注视目标估计的学生课堂行为检测方法 | |
| CN115909488A (zh) | 一种姿态引导和动态特征提取的遮挡行人重识别方法 | |
| CN106570910B (zh) | 基于自编码特征和近邻模型的图像自动标注方法 | |
| CN115830666A (zh) | 一种基于时空特征解耦的视频表情识别方法及应用 | |
| CN113052132A (zh) | 基于面部关键点轨迹特征图的视频情感识别方法 | |
| CN113158902A (zh) | 一种基于知识蒸馏的自动化训练识别模型的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211026 |