CN110265147B - 神经网络及其训练方法、预测方法、设备及存储介质 - Google Patents
神经网络及其训练方法、预测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN110265147B CN110265147B CN201910368965.9A CN201910368965A CN110265147B CN 110265147 B CN110265147 B CN 110265147B CN 201910368965 A CN201910368965 A CN 201910368965A CN 110265147 B CN110265147 B CN 110265147B
- Authority
- CN
- China
- Prior art keywords
- contact pressure
- network
- sample data
- joint
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 title claims abstract description 38
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000009826 distribution Methods 0.000 claims abstract description 44
- 230000009467 reduction Effects 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 abstract description 9
- 210000000588 acetabulum Anatomy 0.000 description 56
- 210000000689 upper leg Anatomy 0.000 description 45
- 238000012360 testing method Methods 0.000 description 12
- 210000004394 hip joint Anatomy 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 210000001624 hip Anatomy 0.000 description 5
- 206010003246 arthritis Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 210000004197 pelvis Anatomy 0.000 description 3
- 210000000709 aorta Anatomy 0.000 description 2
- 230000037396 body weight Effects 0.000 description 2
- 210000000845 cartilage Anatomy 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 208000023178 Musculoskeletal disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- LIWAQLJGPBVORC-UHFFFAOYSA-N ethylmethylamine Chemical compound CCNC LIWAQLJGPBVORC-UHFFFAOYSA-N 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000000266 injurious effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明适用计算机技术领域，提供了一种神经网络及其训练方法、预测方法、设备及存储介质，主要构建一神经网络，利用其中的全连接网络对预测用数据进行处理，得到关节接触压力编码，再利用其中的反卷积网络，对关节接触压力编码进行处理，得到关节接触压力分布。这样，相对于现有的FEM进行关节接触压力分布的分析，更为快速、及时，从而能高效服务于临床应用。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种神经网络及其训练方法、预测方法、设备及存储介质。
背景技术
髋关节因在人们日常活动中承受身体重量而具有重要作用，健康的髋关节每天能够承受数以千次的、超过身体重量几倍的高压力的作用。由于髋关节频繁受到高压力的作用，所以容易遭受许多疾病的困扰。髋关节炎是最常见的肌肉骨骼疾病之一，因此，如果能找到髋关节炎形成的原因，则可以采取措施远离此疾病。髋关节炎成因中，髋关节接触压力的异常是最显著的一个方面，所以，日常活动中髋关节接触压力的量化，对髋关节炎相关的临床防治方面具有重要的指导作用。由于人体髋关节具有复杂的生理结构以及对于实验者不能进行伤害性实验，现有基本都使用有限单元法(Finite Element Method，FEM)在模拟的计算机模型上，进行髋关节接触压力的分析。
但是，由于基于FEM求解髋关节接触压力分布需要较长的时间，从而在时间敏感的临床应用中，不能把分析结果及时反馈给临床医师，尤其当需要批量进行处理时，及时性无法满足要求。
发明内容
本发明的目的在于提供一种神经网络及其训练方法、预测方法、设备及存储介质，旨在解决现有技术所存在的、因采用FEM求解关节接触压力分布而导致的效率低下的问题。
一方面，本发明提供了一种神经网络的训练方法，所述神经网络包括：基于分层结构的全连接网络及基于低秩近似法的反卷积网络，所述训练方法包括：
以关节接触压力分布样本数据作为第一样本数据，利用所述低秩近似法对所述第一样本数据进行处理，得到所述反卷积网络的第一参数，以及关节接触压力样本编码；
以所述关节接触压力样本编码、各关节部位形状样本数据、关节部位之间距离样本数据及关节部位中心点作用力样本数据作为第二样本数据，训练所述全连接网络的第二参数。
进一步的，所述反卷积网络包括：位于处理前端的、具有第一预设数目卷积核的第一反卷积层，以及位于处理后端的、具有第二预设数目卷积核的第二反卷积层。
进一步的，以关节接触压力分布样本数据作为第一样本数据，利用所述低秩近似法对所述第一样本数据进行处理，得到所述反卷积网络的第一参数，以及关节接触压力样本编码，具体包括：
采用所述第一样本数据、第一右奇异向量以及对应的第一特征值，得到作为第一左奇异向量的、所述第二反卷积层的第一子参数；
利用所述第一子参数对所述第一样本数据进行卷积处理，得到中间样本数据；
采用所述中间样本数据、第二右奇异向量以及对应的第二特征值，得到作为第二左奇异向量的、所述第一反卷积层的第二子参数；
利用所述第二子参数对所述中间样本数据进行卷积处理，得到所述关节接触压力样本编码。
进一步的，所述全连接网络包括：位于处理前端的、具有第三预设数目隐藏层的第一全连接子网络，以及位于处理后端的、具有第四预设数目隐藏层的第二全连接子网络，在训练时，所述第一全连接子网络用于对所述关节部位形状样本数据进行降维处理，所述第二全连接子网络用于由降维处理后的所述关节部位形状样本数据、所述关节部位之间距离样本数据及所述关节部位中心点作用力样本数据得到关节接触压力实时编码，根据所述关节接触压力实时编码以及所述关节接触压力样本编码所确定所述全连接网络的迭代目标函数，迭代更新所述第一全连接子网络的第三子参数以及所述第二全连接子网络的第四子参数。
进一步的，所述全连接网络构建的是从降维处理后的所述关节部位形状样本数据、所述关节部位之间距离样本数据及所述关节部位中心点作用力样本数据，到所述关节接触压力实时编码之间的非线性映射关系；所述全连接网络采用softplus作为激活函数；所述全连接网络采用自适应矩估计算法寻找所述第二参数。
进一步的，所述关节部位之间距离样本数据由各关节部位位置样本数据处理得来；所述关节接触压力分布样本数据由各所述关节部位形状样本数据、所述关节部位之间距离样本数据及所述关节部位中心点作用力样本数据通过有限单元法处理所获得。
另一方面，本发明还提供了一种关节接触压力的预测方法，所述预测方法包括：
获得预测用数据，所述预测用数据包括：各关节部位形状数据、关节部位之间距离数据及关节部位中心点作用力数据；
利用如上述训练方法训练所得所述全连接网络，对所述预测用数据进行处理，得到关节接触压力编码；
利用如上述训练方法训练所得所述反卷积网络，对所述关节接触压力编码进行处理，得到关节接触压力分布。
另一方面，本发明还提供了一种神经网络，包括：如上述的全连接网络及如上述的反卷积网络。
另一方面，本发明还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。
本发明主要构建一神经网络，利用其中的全连接网络对预测用数据进行处理，得到关节接触压力编码，再利用其中的反卷积网络，对关节接触压力编码进行处理，得到关节接触压力分布。这样，相对于现有的FEM进行关节接触压力分布的分析，更为快速、及时，从而能高效服务于临床应用。
附图说明
图1是本发明实施例一提供的神经网络的训练方法的实现流程图；
图2是本发明实施例三中步骤S101的细化流程图；
图3是本发明实施例五的关节接触压力的预测方法的实现流程图；
图4是本发明实施例六提供的神经网络的结构示意图；
图5是本发明实施例七提供的计算设备的结构示意图；
图6是本发明具体应用例的FEM和机器学习的流程图；
图7是本发明具体应用例的基于神经网络的髋臼接触压力预测模型示意图；
图8是本发明具体应用例的基于分层结构的全连接网络编码器示意图；
图9是本发明具体应用例的基于低秩近似法的反卷积网络解码器示意图；
图10是本发明具体应用例的髋臼接触压力预测模型在不同维度的髋臼和股骨形状下的性能对比示意图；
图11是本发明具体应用例的髋臼接触压力预测模型在不同网络深度下的性能对比示意图；
图12是本发明具体应用例中三组分别由PCA和基于层级结构的全连接网络编码器进行降维后建立的模型得到的预测结果，其中，第一列是基于PCA进行降维后得到的预测结果，第二列是由全连接网络编码器进行降维后得到的预测结果；第三列是对应的标签(基于FEM方法计算的接触压力分布)。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的神经网络的训练方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
本实施例中，神经网络包括：基于分层结构的全连接网络及基于低秩近似法的反卷积网络，在具体进行关节接触压力预测分析时，输入数据可从全连接网络一侧输入，然后依次经全连接网络、反卷积网络的处理，得到所需的输出数据。
在步骤S101中，以关节接触压力分布样本数据作为第一样本数据，利用低秩近似法(Low Rank Approximation，LRA)对第一样本数据进行处理，得到反卷积网络的第一参数，以及关节接触压力样本编码。
本实施例中，由于人体关节具有复杂的生理结构，并且对于实验者不能进行伤害性实验，因此，可利用现有的FEM或其他分析方法，由各关节部位形状样本数据、关节部位之间距离样本数据及关节部位中心点作用力样本数据，得到关节接触压力分布样本数据，当然，也可以通过经验数据人为设定得到。而其中关节部位之间距离样本数据可由各关节部位位置样本数据处理得来。
反卷积网络是基于LRA构建的，那么可同样利用LRA对第一样本数据进行处理，训练出反卷积网络工作所依赖的第一参数。反卷积网络中可包含相应数量的反卷积层进行反卷积操作。
当训练好第一参数后，可利用第一参数，进一步推导出与关节接触压力分布样本数据对应的关节接触压力样本编码。
各关节部位形状、关节部位之间距离及关节部位中心点作用力构成第一向量空间，关节接触压力分布对应第二向量空间，从第一向量空间向第二向量空间映射时，如果直接通过一个函数进行转化实现比较困难，因此，需要借助关节接触压力编码对应的第三向量空间进行过渡。反卷积网络即实现了从第三向量空间到第二向量空间的映射。
在步骤S102中，以关节接触压力样本编码、各关节部位形状样本数据、关节部位之间距离样本数据及关节部位中心点作用力样本数据作为第二样本数据，训练全连接网络的第二参数。
本实施例中，全连接网络为分层结构，全连接网络中包含相应数目的隐藏层。利用第二样本数据，训练出全连接网络工作所依赖的第二参数。
全连接网络实现了从上述第一向量空间到第三向量空间的映射。
实施本实施例，利用样本数据训练得到的一神经网络，利用其中的全连接网络对预测用数据进行处理，得到关节接触压力编码，再利用其中的反卷积网络，对关节接触压力编码进行处理，得到关节接触压力分布。这样，相对于现有的FEM进行关节接触压力分布的分析，更为快速、及时，从而能高效服务于临床应用。
实施例二：
本实施例在实施例一基础上，进一步提供了如下内容：
本实施例中，反卷积网络包括：位于处理前端的、具有第一预设数目卷积核的第一反卷积层，以及位于处理后端的、具有第二预设数目卷积核的第二反卷积层。
为了使误差保持在一定范围内，第一反卷积层和第二反卷积层中卷积核的数目将进行相应的配置，例如：第一反卷积层中卷积核的第一预设数目为256，第二反卷积层中卷积核的第二预设数目为3。当然，在其他具体应用中，第一预设数据、第二预设数目，乃至反卷积网络中所包含的反卷积层数目也可以采用其他数目。
实施例三：
本实施例在实施例二基础上，进一步提供了如下内容：
由于一般数据集的数量较少，无法让反卷积网络通过多次迭代的方法进行第一参数的自我学习，所以，反卷积网络中的第一参数是根据LRA获得的。在矩阵中，LRA是一种稀疏表示形式，即利用一个秩较低的矩阵来近似表达原矩阵，这样，不但能保留原矩阵的主要特征，还可以降低数据的存储空间和计算复杂度。
本实施例中，步骤S101具体包括如图2所示的流程：
在步骤S201中，采用第一样本数据、第一右奇异向量以及对应的第一特征值，得到作为第一左奇异向量的、第二反卷积层的第一子参数。
本实施例中，第二反卷积层工作所依赖的是第一子参数W5，那么，第二反卷积层的映射关系可以表示为：
S＝Tconv(R,W5)
其中，R为第二反卷积层的输入，S为第二反卷积层的输出，Tconv为反卷积运算。
对第一样本数据S*使用LRA，即：
其中，υ为对应的第一特征值，W5为第一左奇异向量，V为第一右奇异向量，为了使误差保持在一定范围内，i＝256，所以：
在步骤S202中，利用第一子参数对第一样本数据进行卷积处理，得到中间样本数据。
本实施例中，根据第一样本数据S*及W5，可经过卷积处理，求得中间样本数据R*：
R*＝conv(S*,W5)
在步骤S203中，采用中间样本数据、第二右奇异向量以及对应的第二特征值，得到作为第二左奇异向量的、第一反卷积层的第二子参数。
本实施例中，对R*使用LRA，得到第二子参数W4：
其中，μ为对应的第二特征值，W4为第二左奇异向量，U为第二右奇异向量，同样，为了使误差保持在一定范围内，j＝64，所以：
在步骤S204中，利用第二子参数对中间样本数据进行卷积处理，得到关节接触压力样本编码。
本实施例中，根据中间样本数据R*及W4，可经过卷积处理，求得关节接触压力样本编码β*：
β*＝conv(R*,W4)
实施例四：
本实施例在其他各实施例基础上，进一步提供了如下内容：
本实施例中，全连接网络包括：位于处理前端的、具有第三预设数目隐藏层的第一全连接子网络，以及位于处理后端的、具有第四预设数目隐藏层的第二全连接子网络。
在训练时，第一全连接子网络用于对关节部位形状样本数据进行降维处理，第二全连接子网络用于由降维处理后的关节部位形状样本数据、关节部位之间距离样本数据及关节部位中心点作用力样本数据得到关节接触压力实时编码，根据关节接触压力实时编码以及关节接触压力样本编码所确定全连接网络的迭代目标函数，迭代更新第一全连接子网络的第三子参数以及第二全连接子网络的第四子参数。
本实施例中，由于关节部位形状通常是由很多点构成的，具有很高的维数，而关节部位之间距离以及关节部位中心点作用力的维数通常远低于关节部位形状的维数，为了平衡关节部位形状、关节部位之间距离以及关节部位中心点作用力等各个变量对关节接触压力编码的影响，需要利用第一全连接子网络对关节部位形状进行降维处理。
第一全连接子网络可采用相应的、基于端对端的有监督学习的全连接神经网络，当然，在其他具体应用中，也可以采用主成分分析(Principal Component Analysis，PCA)进行处理。相较于PCA而言，基于端对端的有监督学习的全连接神经网络可在降维的同时，保留关节部位形状的信息，提高整个神经网络的预测精确度。
第二全连接子网络主要是寻找降维处理后的关节部位形状、关节部位之间距离及关节部位中心点作用力，与关节接触压力编码之间的非线性映射关系。
利用样本数据对第一全连接子网络和第二全连接子网络进行训练时，可以关节接触压力实时编码以及关节接触压力样本编码所确定的损失函数，作为全连接网络的迭代目标函数，从而在迭代次数达到预设限定次数或损失函数满足预设要求时，停止迭代，从而以迭代更新所得的、第一全连接子网络赖以工作的第三子参数以及第二全连接子网络赖以工作的第四子参数作为全连接网络的第二参数。
那么，全连接网络构建的是从降维处理后的关节部位形状样本数据、关节部位之间距离样本数据及关节部位中心点作用力样本数据，到关节接触压力实时编码之间的非线性映射关系。在具体实现时，全连接网络可采用softplus作为激活函数；全连接网络采用自适应矩估计(Adaptive Moment Estimation，Adam)算法寻找最优的第二参数。
实施例五：
图3示出了本发明实施例五提供的关节接触压力的预测方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S301中，获得预测用数据，该预测用数据包括：各关节部位形状数据、关节部位之间距离数据及关节部位中心点作用力数据。
在步骤S302中，利用如上述训练方法训练所得神经网络中的全连接网络，对预测用数据进行处理，得到关节接触压力编码。
在步骤S303中，利用如上述训练方法训练所得神经网络中的反卷积网络，对关节接触压力编码进行处理，得到关节接触压力分布。
实施例六：
图4示出了本发明实施例六提供的神经网络的结构，包括：如上述的全连接网络401及如上述的反卷积网络402。
在本发明实施例中，神经网络可由相应的硬件或软件单元实现，神经网络中各部分可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例七：
图5示出了本发明实施例七提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备包括处理器501及存储器502，处理器501执行存储器502中存储的计算机程序503时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S102。或者，处理器501执行计算机程序503时实现上述神经网络中各部分的功能，例如图4所示单元401至402的功能。
本发明实施例的计算设备可以为处理芯片、芯片组、单独的计算机或计算机组网等。该计算设备中处理器501执行计算机程序503时实现上述各方法时实现的步骤，可参考前述方法实施例的描述，在此不再赘述。
实施例八：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S102。或者，该计算机程序被处理器执行时实现上述神经网络中各部分的功能，例如图4所示单元401至402的功能。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
具体应用例：
下面通过一个具体应用例，即：基于神经网络的髋关节接触压力预测，对上述本发明各实施例进行具体的示例性说明。
基于FEM求解一帧髋臼接触压力的分布至少需要30分钟，等待的时间非常久，从而在时间敏感的临床应用中不能把结果及时反馈给临床医师，所以为了快速获得批量的髋臼接触压力的模拟结果，本章提出了基于机器学习的方法建立髋臼接触压力模型来预测髋臼接触压力的分布。分别基于FEM和机器学习的方法求解髋关节接触压力的流程图如图6所示。
所提出的模型中，以FEM的结果为真实值，基于监督学习和非监督学习的方法建立髋臼接触压力预测模型来快速的预测髋臼接触压力的分布。该模型主要包括两个模块：通过一个基于分层结构的全连接网找到髋臼形状、股骨形状、股骨中心点作用力、髋臼相对于股骨距离与髋臼接触压力编码之间关系，再根据基于LRA的反卷积网络把接触压力编码进行解码得到髋臼上接触压力的分布情况。
一、髋臼接触压力预测模型
利用FEM求解接触压力的输入信息有骨盆的形状和位置、髋臼的形状和位置、股骨的形状和位置以及在股骨中心点作用力，由于在设定边界条件时把骨盆的位置固定不变，所以根据机器学习建立的髋臼接触压力预测模型中忽略骨盆部位。在髋臼接触压力预测模型中，由于直接寻找股骨形状、髋臼形状、髋臼相对于股骨距离和股骨中心点作用力与髋臼上接触压力之间的关系比较困难，所以借助于第三个变量，即髋臼接触压力的编码。从髋臼接触压力到髋臼接触压力编码通常是采用降维的方式，反之，采用升维的方式。所以该预测模型的结构为：首先通过全连接神经网络找出股骨形状、髋臼形状、髋臼相对于股骨距离和股骨中心点作用力与髋臼上接触压力编码之间的非线性映射关系，然后基于LRA的卷积网络,把接触压力编码进行解码得到接触压力的分布，如图7所示。
1、髋臼接触压力编码模块
在研究髋臼上的接触压力时需要考虑股骨和髋臼之间的相对距离，通过坐标点求得二者之间分别在x,y,z方向上距离的绝对值；通过研究我们知道髋臼上的接触压力会受到股骨和髋臼的形状的影响以及股骨中心点作用力影响，所以得到髋臼接触压力编码的计算公式为：
β＝σ(K，G，F，DistKG)……(1)
其中K,G分别表示髋臼形状和股骨形状，F表示股骨中心点作用力，DistKG表示髋臼和股骨之间的相对距离。
在公式(1)中，每个样本的股骨和髋臼形状是由很多点构成，具有很高的维数，而股骨作用力和相对距离的维数远低于股骨形状和髋臼形状的维数，所以为了平衡各个变量对髋臼接触压力编码的影响，需要对股骨形状和髋臼形状进行降维。基于PCA的无监督学习方法是实现几何形状降维的一个主要方法。在PCA中，形状S可以由公式(2)表示：
其中S*表示平均形状，{Wi}和{λi}分别表示形状S所对应协方差矩阵的特征向量和特征值。i＝k。在公式(2)中，由于特征向量之间是正交的，所以S进行降维后选取的形状特征{γi}可以表示为：
其中
是列向量Wk的转置。根据公式(3)分别得到降维后的髋臼和股骨形状。从上面的过程中我们可以发现基于PCA对股骨和髋臼形状进行降维是人为选定的形状特征，通过这样的方式选取的形状特征并不能很好的代表股骨和髋臼形状，这样就会造成股骨和髋臼形状重要信息的丢失，影响整个髋臼接触压力预测模型的精确度。
而本例提出了一种基于端对端的有监督学习的全连接神经网络对股骨和髋臼形状进行降维，该全连接神经网络能够自主的提取最能代表股骨和髋臼形状的形状特征，从而在降维的同时保留了股骨和髋臼形状的信息，提高了整个髋臼接触压力预测模型的精确度。
为了实现整个髋臼编码器的网络能够端对端的进行有监督的寻找髋臼形状、股骨形状、股骨作用力和相对距离与髋臼接触压力编码之间的关系，我们建立了如图8所示的基于分层结构的全连接网络编码器。在该编码器中，第一部分网络是对髋臼形状和股骨形状进行降维处理,第二部分网络是寻找降维后的髋臼形状、股骨形状、以及股骨中心点作用力和髋臼相对于股骨距离与髋臼接触压力编码之间的非线性映射关系。分别对髋臼形状和股骨形状进行降维时所用到的全连接神经网络都含两层隐藏层，其映射关系分别由公式(4)和(5)表示：
K′＝σ1(WkK+bk)……(4)
G′＝σ2(WgG+bg)……(5)
其中K′＝(k′1，k′2，...，k′v)，G′＝(g′1，g′2，...，g′v)，W和b是对于网络的权重和偏置量。由于髋臼接触压力的编码还会受到股骨中心点作用力以及髋臼相对于股骨距离的影响，所以把降维后的髋臼形状、股骨形状、股骨中心点作用力以及髋臼相对于股骨距离一起连接到含l层隐藏层的第二部分网络中。在第二部分网络中每层的神经元数目都为128，该层网络的映射关系由公式(6)表示：
β＝σ3(WX+b)……(6)
其中X＝(K′，G′，F，DistKG)，β＝(β1，β2，...，βt)，(t＝64)。由于建立的基于分层结构的全连接网络编码器是非线性映射关系，所以使用softplus作为该网络模型的激活函数。公式(7)所示的均方差函数作为网络模型的损失函数：
其中β*是髋臼接触压力编码的真实值，根据LRA对髋臼接触压力分布进行编码得到的。同时该网络模型利用Adamx算法通过随机最优化的方式来寻找最优参数。
在该模块中髋臼接触压力编码由髋臼形状、股骨形状、股骨中心点作用力以及髋臼相对于股骨距离共同决定的，在每个样本中股骨中心点作用力和髋臼相对于股骨距离的维数是低维的，而髋臼形状和股骨形状的维数远远大于前面两个变量。当髋臼形状和股骨形状的维数太大时，髋臼接触压力只由髋臼形状和股骨形状决定，股骨中心点作用力以及髋臼相对于股骨距离对髋臼接触压力的大小几乎没有影响；而经过降维后髋臼形状和股骨形状的维数过低会造成选取的形状特征并不能完全代表原形状，从而影响髋臼接触压力编码的精确度。所以为了平衡各个因素对髋臼接触压力的影响，我们将通过实验对髋臼形状和股骨形状降维后的维数v的值进行确定。
在基于分层结构的全连接网络编码器中，当数据集确定的情况下，网络的层数也会影响整个髋臼接触压力预测模型性能的好坏。当网络层数过少时会发生网络的表达能力不够的情况，影响整个模型预测的精确度；而当网络层数过多会造成寻找网络的最优参数时梯度消失的情况，同样也会影响整个模型的精确度。所以为了使整个髋臼接触压力预测模型具有最优的预测结果，我们将会对非线性映射编码器的第二部分网络中隐藏层层数l的取值进行讨论。
2、髋臼接触压力解码模块
在由股骨形状、髋臼形状、髋臼相对于股骨距离和股骨中心点作用力组成的向量空间向由髋臼接触压力分布组成的向量空间映射时，直接通过一个函数转化比较困难，所以借助于第三个向量空间进行过渡，即髋臼接触压力编码。髋臼接触压力编码是由高维的髋臼接触压力分布映射在低维空间的数据，并且很好的保留了髋臼接触压力分布的特征。当通过基于分层结构的全连接网络编码器得到髋臼接触压力的编码后，通过如图9所示的基于低秩近似法的反卷积网络解码器得到髋臼接触压力的分布。该网络结构一共含有两层反卷积层，第一层的卷积核数目为256，第二层的卷积核的数目为3。在第一层的反卷积网络中，其映射关系可以通过公式(8)进行表示：
R＝Tconv(β，W4)……(8)
其中β为髋臼接触压力编码，W4为该层的网络参数。同样的，在第二层的反卷积网络中，其映射关系可以通过公式(9)来表示：
S＝Tconv(R，W5)……(9)
其中W5为该层的网络参数。
由于数据集的数量比较少，无法让网络解码器通过多次迭代的方法进行参数的自我学习，所以该网络模型的两层反卷积网络的参数是根据LRA获得。在矩阵中，LRA是一种稀疏表示形式，即利用一个秩较低的矩阵来近似表达原矩阵，不但能保留原矩阵的主要特征，而且可以降低数据的存储空间和计算复杂度。设髋臼接触压力的分布为S*，对S*使用LRA，即：
其中W5和V分别为左奇异向量和右奇异向量，ν为对应的特征值，为了使误差保持在一定范围内，i＝256，所以W5为：
根据S*和W5，通过公式(12)求得R*：
R*＝conv(S*，W5)……(12)
然后再对R*使用LRA得到W4，即：
其中W4和U分别为左奇异向量和右奇异向量，μ为对应得特征值，同样的，为了使误差保持在一定误差范围内，j＝64，所以W4为：
根据R*和W4，通过公式(15)求得β*：
β*＝conv(R*，W4)……(15)
3、髋臼接触压力预测模型的训练
在髋臼接触压力预测模型中，通过训练数据集学习到模型中两个模块的参数。由于髋臼接触压力预测模型中的两个模块具有不同的任务，所以两个模块基于监督学习或者无监督学习的方法进行单独的训练。在训练时，首先基于无监督学习方法中的LRA算法获得髋臼接触压力解码模块中的网络参数W4和W5，从而获得髋臼接触压力编码模块的真实值β*，然后将获得的髋臼接触压力编码作为髋臼接触压力编码模块的真实值对建立的基于分层结构的全连接网络编码器进行训练，获得该网络结构的最优参数。
二、实验结果与分析
1、髋臼接触压力预测模型的评价指标
为了评价所提出的基于机器学习的模型在预测接触压力的精确度，我们把基于FEM得到的794组由股骨与髋臼软骨的位置及形状、股骨中心点作用力和对应的髋臼上接触压力的分布组成的数据作为髋臼接触压力预测模型的训练数据集和测试数据集。其中股骨位置及形状、髋臼位置及形状、股骨中心点作用力作为输入，髋臼上接触压力的分布作为输出。
使用蒙特卡罗交叉验证的方法对训练得到的髋臼接触压力预测模型进行评价，即生成的模型在测试数据上预测髋臼接触压力的分布情况与真实髋臼接触压力(通过FEM获得的结果)的分布情况之间的对比。在每次交叉实验中，随机选取所有数据集的90％作为确定该模型中各个网络参数的训练数据，剩下10％的数据作为测试数据集来验证生成的髋臼接触压力预测模型的性能。
在判断建立的髋臼接触压力预测模型的精确度时采用两个性能指标，即：平均绝对误差(Mean Absolute Error，MAE)和归一化的平均绝对误差(Normalized MeanAbsolute Error，NMAE)。对于每个测试样本，MAE的定义为：
其中S(i)是i点由FEM得到的髋臼接触压力值，
是对应的由髋臼接触压力模型预测的髋臼接触压力值，||表示绝对值。同样的，NMAE的定义为：
其中max|S|表示从FEM得到的每个样本中髋臼接触压力的最大值。
我们知道，髋臼接触压力的最大值也是引起OA的关键因素，因此再增加两个指标来评估建立的髋臼接触压力预测模型的精确度，即：最大接触压力的绝对误差(AbsoluteError，AE)和归一化的绝对误差(NormalizedAbsoluteError，NAE)，对于每个样本，AE定义为：
AE＝|max{|S|}-max{|S*|}|……(18)
其中max|S|表示FEM得到的每个样本髋臼接触压力的最大值，max|S*|表示该样本由髋臼接触压力预测模型得到的髋臼接触压力的最大值。同样的，NAE定义为：
由于所建立的髋臼接触压力预测模型是对接触压力分布的预测，所以在四个性能指标中以第一个指标为主。主要从基于分层结构的全连接网络编码器的髋臼接触压力编码模块中的以下三个方面进行实验分析：1)髋臼和股骨形状维数的性能评估；2)网络层数对模型性能影响的测试；3)采用不同降维方法模型的性能比较。
2、髋臼和股骨形状维数的性能评估
由于髋臼接触压力编码是由髋臼形状、股骨形状、股骨中心点作用力以及髋臼相对于股骨距离共同决定的，而股骨中心点作用力和髋臼相对于股骨距离的维数远小于髋臼和股骨形状的维数，所以为了平衡各个变量对髋臼接触压力的影响，我们分别对髋臼形状和股骨形状进行降维，降维后二者具有相同的维数。在降维后髋臼形状的维度分别为16、32、64、128、256、512、1024的条件下建立髋臼接触压力预测模型对测试数据集的髋臼接触压力进行预测，得到如图10所示的结果。从图10我们可以看到当维度的对数小于6时，随着维度对数的增加，髋臼接触压力预测模型的性能指标中，MAE和AE的值变小；而当维度的对数大于6时，随着维度对数的增加，髋臼接触压力预测模型的各项性能指标值都几乎都呈上升趋势。由于评价髋臼接触压力预测模型的各项指标是预测值与标签值之间的误差，所以对应的值越小代表模型的性能越好。总体来说，当髋臼和股骨形状维度的对数为6时，髋臼接触压力预测模型的性能最好。说明此时既很好的保留了髋臼和股骨的形状特征，又平衡了各个变量对髋臼接触压力的影响。
3、网络层数对模型性能影响的测试
当数据集的量确定后，基于分层结构的全连接网络编码器中网络的层数对模型性能的好坏也会产生影响，所以为了确定图8中网络层数l取何值时建立的髋臼接触压力预测模型具有最优值，我们分别对l＝4,5,6,7,8,9进行了实验，得到如图11所示的结果。从图11中可以看到随着l的增加，髋臼接触压力预测模型的性能指标中，MAE和NMEA的值都呈下降趋势，而当l大于6后，髋臼接触压力预测模型的四项性能指标的值都呈上升趋势，所以当l＝6时建立的髋臼接触压力模型具有最好的性能。
4、采用不同降维方法模型的性能比较
Liang等利用深度学习建立深度学习模型对主动脉的生物力学分析，在对主动脉形状进行降维时采用的方法是基于无监督的PCA算法；而本例提出了基于有监督的端对端的全连接神经网络对髋臼和股骨形状进行降维。为了对比两种降维方式对整个髋臼接触压力预测模型性能的影响，我们在相同的条件下，分别基于PCA算法和全连接神经网络对髋臼形状和股骨形状进行降维，然后分别建立对应的髋臼接触压力预测模型，在测试数据集上分别对建立的模型进行测试，得到表1所示的结果。从表1中可以看到我们提出的采用全连接神经网络对髋臼形状和股骨形状进行降维后建立的髋臼接触压力预测模型的四项性能评价指标远远低于基于PCA算法对髋臼形状和股骨形状进行降维后建立的模型的性能评价指标。本文提出的基于全连接神经网络对几何形状进行降维时属于有监督的自动提取几何形状的关键特征，从而能够确保用低维的数据来表示整个形状的特征；而基于PCA算法对几何形状进行降维时属于无监督人为的对形状特征进行选取，所以选取的特征会造成一定量的形状信息缺失。
表1分别采用PCA和全连接网络进行降维后得到的髋臼接触压力预测的结果
为了更清晰地展现出分别基于PCA算法和全连接神经网络对髋臼形状和股骨形状进行降维对整个髋臼接触压力预测模型精确度的影响，我们在测试数据集上选取了三组数据进行可视化，得到如图12所示的结果，其对应预测的MAE和髋臼接触压力最大值分别如表2、3所示。从定性方面来看，根据图12中的热力图，我们可以看到无论是髋臼接触压力的分布还是接触压力的最大值以全连接网络进行降维的得到的预测结果和对应的标签非常相似，而以PCA方法进行降维得到的预测结果和对应的标签相差较大；从定量方面来看，根据表2、3我们可以看到以本例提出的降维方法在a、b、c三组中对应的MAE值和预测髋臼接触压力的最大值与标签值之间的差值都比PCA进行降维的结果更小。
表2图12中对应测试样本预测的MAE
表3图12中对应测试样本预测接触压力的最大值
三、小结
本例提出的髋臼接触压力预测模型是基于Matlab和Tensorflow。在一个主频为2.8GHZ、四核CPU、48GB内存的PC机上输入一组由髋臼位置和形状、股骨位置和形状以及股骨中心点作用力组成的数据，该模型在30s内就可以预测出髋臼接触压力的分布情况。在同样的条件下基于FEM大约30min才能获得髋臼接触压力的分布情况，当遇到数值收敛问题时，可能需要更多的时间。因此，研究者需要手动的调整FEM求解器中的参数来解决实验中出现的问题。当通过本章提出的髋臼接触压力预测模型确定FEM中输入和输出的关系，就可以用该模型来代替FEM，从而可以快速的得到髋臼接触压力的分布情况。
在本例中，我们提出了用机器学习的方法来代替有限元方法来直接评估日常活动中髋关节的受力情况。为此，我们构建了一种在训练过程中基于监督学习和非监督学习的新型结构的髋臼接触压力预测模型，该模型包含两个模块：基于分层结构的全连接神经网络编码器模块、髋臼接触压力的解码模块。通过交叉验证的方法对所建立的髋臼接触压力预测模型进行了评估，分别对选取髋臼形状、股骨形状的维度进行了讨论，也对髋臼接触压力编码模块中建立不同层数的髋臼接触压力编码器进行了对比，最后比较了分别采用PCA算法和全连接网络对髋臼形状、股骨形状进行降维后建立的髋臼接触压力预测模型的精确度。通过对这三个方面的实验，得出髋臼接触压力预测模型的最优模型为：采用全连接网络对髋臼形状和股骨形状降维到用64个形状特征进行表示、髋臼接触压力编码模块中基于分层结构的全连接网络编码器的层数为8层，该模型在测试数据集上的MAE、NMAE、AE、NAE分别为0.045MPa、2.58％、0.28MPa、10.75％。在一定误差范围内该模型预测到的髋臼接触压力的分布和FEM得到的结果很相近，这样就可以在极短的时间内批量的得到髋臼接触压力的分布。
由于每个样本数据集中髋臼软骨上较多网格点的接触压力最大值的数量级比较小，该模型在预测髋臼接触压力最大值与预测髋臼接触压力分布的性能方面相差较大，所以该模型在预测生物力学中最大值的数量级较小时的精度还有待提高。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种神经网络的训练方法，其特征在于，所述神经网络包括：基于分层结构的全连接网络及基于低秩近似法的反卷积网络，所述训练方法包括：
以关节接触压力分布样本数据作为第一样本数据，利用所述低秩近似法对所述第一样本数据进行处理，得到所述反卷积网络的第一参数，以及关节接触压力样本编码；
以所述关节接触压力样本编码、各关节部位形状样本数据、关节部位之间距离样本数据及关节部位中心点作用力样本数据作为第二样本数据，训练所述全连接网络的第二参数；
其中，所述全连接网络包括：位于处理前端的、具有第三预设数目隐藏层的第一全连接子网络，以及位于处理后端的、具有第四预设数目隐藏层的第二全连接子网络，在训练时，所述第一全连接子网络用于对所述关节部位形状样本数据进行降维处理，所述第二全连接子网络用于由降维处理后的所述关节部位形状样本数据、所述关节部位之间距离样本数据及所述关节部位中心点作用力样本数据得到关节接触压力实时编码，根据所述关节接触压力实时编码以及所述关节接触压力样本编码所确定所述全连接网络的迭代目标函数，迭代更新所述第一全连接子网络的第三子参数以及所述第二全连接子网络的第四子参数，所述全连接网络构建的是从降维处理后的所述关节部位形状样本数据、所述关节部位之间距离样本数据及所述关节部位中心点作用力样本数据，到所述关节接触压力实时编码之间的非线性映射关系，所述全连接网络采用softplus作为激活函数，所述全连接网络采用自适应矩估计算法寻找所述第二参数。
2.如权利要求1所述的训练方法，其特征在于，所述反卷积网络包括：位于处理前端的、具有第一预设数目卷积核的第一反卷积层，以及位于处理后端的、具有第二预设数目卷积核的第二反卷积层。
3.如权利要求2所述的训练方法，其特征在于，以关节接触压力分布样本数据作为第一样本数据，利用所述低秩近似法对所述第一样本数据进行处理，得到所述反卷积网络的第一参数，以及关节接触压力样本编码，具体包括：
采用所述第一样本数据、第一右奇异向量以及对应的第一特征值，得到作为第一左奇异向量的、所述第二反卷积层的第一子参数；
利用所述第一子参数对所述第一样本数据进行卷积处理，得到中间样本数据；
采用所述中间样本数据、第二右奇异向量以及对应的第二特征值，得到作为第二左奇异向量的、所述第一反卷积层的第二子参数；
利用所述第二子参数对所述中间样本数据进行卷积处理，得到所述关节接触压力样本编码。
4.如权利要求1所述的训练方法，其特征在于，所述关节部位之间距离样本数据由各关节部位位置样本数据处理得来；所述关节接触压力分布样本数据由各所述关节部位形状样本数据、所述关节部位之间距离样本数据及所述关节部位中心点作用力样本数据通过有限单元法处理所获得。
5.一种关节接触压力的预测方法，其特征在于，所述预测方法包括：
获得预测用数据，所述预测用数据包括：各关节部位形状数据、关节部位之间距离数据及关节部位中心点作用力数据；
利用如权利要求1至4中任一项所述训练方法训练所得所述全连接网络，对所述预测用数据进行处理，得到关节接触压力编码；
利用如权利要求1至4中任一项所述训练方法训练所得所述反卷积网络，对所述关节接触压力编码进行处理，得到关节接触压力分布。
6.一种神经网络结构，其特征在于，包括：如权利要求1至5中任一项所述的全连接网络及如权利要求1至5任一项所述的反卷积网络。
7.一种计算机设备，包括存储器及处理器，其特征在于，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至5任一项所述方法中的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910368965.9A CN110265147B (zh) | 2019-05-05 | 2019-05-05 | 神经网络及其训练方法、预测方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910368965.9A CN110265147B (zh) | 2019-05-05 | 2019-05-05 | 神经网络及其训练方法、预测方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110265147A CN110265147A (zh) | 2019-09-20 |
| CN110265147B true CN110265147B (zh) | 2023-05-05 |
Family
ID=67914201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910368965.9A Active CN110265147B (zh) | 2019-05-05 | 2019-05-05 | 神经网络及其训练方法、预测方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110265147B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647834A (zh) * | 2018-05-24 | 2018-10-12 | 浙江工业大学 | 一种基于卷积神经网络结构的交通流预测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016200202B4 (de) * | 2016-01-11 | 2023-07-13 | Siemens Healthcare Gmbh | Verfahren zur automatischen Ermittlung einer Gelenkbelastungsinformation, Bildaufnahmeeinrichtung, Patientenliege und Computerprogramm |
| US10261685B2 (en) * | 2016-12-29 | 2019-04-16 | Google Llc | Multi-task machine learning for predicted touch interpretations |
| CN108229657A (zh) * | 2017-12-25 | 2018-06-29 | 杭州健培科技有限公司 | 一种基于演化算法的深度神经网络训练与优化算法 |
| CN109086926B (zh) * | 2018-07-25 | 2022-03-18 | 南京理工大学 | 一种基于组合神经网络结构的短时轨道交通客流预测方法 |
-
2019
- 2019-05-05 CN CN201910368965.9A patent/CN110265147B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647834A (zh) * | 2018-05-24 | 2018-10-12 | 浙江工业大学 | 一种基于卷积神经网络结构的交通流预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110265147A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106600059B (zh) | 基于改进rbf神经网络的智能电网短期负荷预测方法 | |
| Jia et al. | An optimized RBF neural network algorithm based on partial least squares and genetic algorithm for classification of small sample | |
| CN113705772A (zh) | 一种模型训练方法、装置、设备及可读存储介质 | |
| CN105488563A (zh) | 面向深度学习的稀疏自适应神经网络、算法及实现装置 | |
| CN113128671B (zh) | 一种基于多模态机器学习的服务需求动态预测方法及系统 | |
| Yin | Learning nonlinear principal manifolds by self-organising maps | |
| CN108876044B (zh) | 一种基于知识增强神经网络的线上内容流行度预测方法 | |
| CN109389171A (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
| Wu et al. | A hybrid-forecasting model reducing Gaussian noise based on the Gaussian support vector regression machine and chaotic particle swarm optimization | |
| CN114969648A (zh) | 基于模态自适应调整降维的故障检测方法及系统 | |
| CN115796358A (zh) | 一种碳排放预测的方法及终端 | |
| Couckuyt et al. | Towards efficient multiobjective optimization: multiobjective statistical criterions | |
| CN110265147B (zh) | 神经网络及其训练方法、预测方法、设备及存储介质 | |
| CN115116619A (zh) | 一种脑卒中数据分布规律智能分析方法及系统 | |
| CN115482578A (zh) | 人脸表情图像的识别方法、装置、电子设备及存储介质 | |
| Kachuee et al. | Context-aware feature query to improve the prediction performance | |
| CN116304849A (zh) | 一种基于局部切空间排列及门控循环网络的二维活塞泵故障诊断方法 | |
| CN114625886A (zh) | 基于知识图谱小样本关系学习模型的实体查询方法及系统 | |
| CN114722273A (zh) | 基于局部结构特征增强的网络对齐方法、装置及设备 | |
| CN114357963A (zh) | 问诊模板生成方法、装置、电子设备及存储介质 | |
| Konstantinidis et al. | Kernel learning with tensor networks | |
| CN113761829A (zh) | 自然语言处理方法、装置、设备及计算机可读存储介质 | |
| Jang et al. | Classification via principal differential analysis | |
| Ding et al. | Fuzzy Neural Tangent Kernel Model for Identifying DNA N4-methylcytosine Sites | |
| Khan et al. | Variable selection with the modified Buckley–James method and the dantzig selector for high–dimensional survival data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |