CN115994936B - 点云融合模型获取方法、装置、电子设备及存储介质 - Google Patents

点云融合模型获取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115994936B
CN115994936B CN202310291154.XA CN202310291154A CN115994936B CN 115994936 B CN115994936 B CN 115994936B CN 202310291154 A CN202310291154 A CN 202310291154A CN 115994936 B CN115994936 B CN 115994936B
Authority
CN
China
Prior art keywords
point cloud
fusion model
influence coefficient
updating
cloud fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310291154.XA
Other languages
English (en)
Other versions
CN115994936A (zh
Inventor
邓涛
李志建
张晟东
张立华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202310291154.XA priority Critical patent/CN115994936B/zh
Publication of CN115994936A publication Critical patent/CN115994936A/zh
Application granted granted Critical
Publication of CN115994936B publication Critical patent/CN115994936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本申请属于数据融合技术领域，公开了一种点云融合模型获取方法、装置、电子设备及存储介质，所述方法包括：获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；从而可加速点云融合模型的网络参数收敛速度，进而提高点云融合模型的训练效率。

Description

点云融合模型获取方法、装置、电子设备及存储介质
技术领域
本申请涉及数据融合技术领域，具体而言，涉及一种点云融合模型获取方法、装置、电子设备及存储介质。
背景技术
目前，虚拟现实与无人机的结合应用越来越受到重视，虚拟现实不仅能为操作者提供远程操作，还能提供沉浸式的三维动态场景，虚拟现实技术所提供的第一视角的人机互动可以很大改善无人机飞行员的工作条件。其中，无人机虚拟场景三维重建是实现虚拟现实场景与无人机结合的关键技术。
通常地，在进行无人机虚拟场景三维重建时，一般需要采用点云融合模型来实现无人机采集到的点云数据的融合，这种点云融合模型在投入使用前需要进行大量训练工作，训练时间长，训练效率较低，需要寻求一种训练方法提高训练效率。
发明内容
本申请的目的在于提供一种点云融合模型获取方法、装置、电子设备及存储介质，可提高点云融合模型的训练效率。
第一方面，本申请提供了一种点云融合模型获取方法，用于对点云融合模型进行训练，所述点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；所述点云融合模型获取方法包括步骤：
A1.获取训练数据集；
A2.初始化所述点云融合模型的网络参数；
A3.利用所述训练数据集，根据改进梯度下降法迭代更新所述点云融合模型的所述网络参数，直到损失函数或所述网络参数收敛；每次迭代过程中，根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率。
该方法在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。
优选地，步骤A3中，每次迭代过程包括步骤：
A301.计算所述损失函数；
A302.更新一阶动量参数和二阶动量参数；
A303. 根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率；
A304.根据所述一阶动量参数、所述二阶动量参数和所述学习效率更新所述点云融合模型的所述网络参数；
A305.若所述损失函数和所述网络参数中的至少一个收敛，则停止迭代。
优选地，步骤A301包括：
根据以下公式计算损失函数：
Figure SMS_1
；
其中，
Figure SMS_2
为所述损失函数，/>
Figure SMS_3
为所述点云融合模型的输出数据，/>
Figure SMS_4
为所述输入样本的真值标签。
该损失函数的函数曲线光滑、连续，处处可导，便于改进梯度下降算法的使用，而且，随着误差的减小，梯度也在减小，这有利于提高损失函数的收敛速度。
优选地，步骤A302包括：
根据以下公式更新所述一阶动量参数和所述二阶动量参数：
Figure SMS_5
；
Figure SMS_6
；
其中，
Figure SMS_7
是更新后的所述一阶动量参数，/>
Figure SMS_8
是更新前的所述一阶动量参数，/>
Figure SMS_9
为更新后的所述二阶动量参数，/>
Figure SMS_10
为更新前的所述二阶动量参数，/>
Figure SMS_11
、/>
Figure SMS_12
为两个预设调整系数，/>
Figure SMS_13
为所述损失函数关于所述网络参数的梯度。
优选地，步骤A303包括：
根据以下公式计算第一影响系数和第二影响系数：
Figure SMS_14
；
Figure SMS_15
；
其中，
Figure SMS_16
为所述第一影响系数，/>
Figure SMS_17
为所述第二影响系数，/>
Figure SMS_18
为所述特征提取网络模块的输出数据，/>
Figure SMS_19
为所述特征融合网络模块的输出数据，/>
Figure SMS_20
为所述上采样网络模块的输出数据；
根据以下公式计算第三影响系数和第四影响系数：
Figure SMS_21
；
Figure SMS_22
；
Figure SMS_23
；
其中，
Figure SMS_24
为所述输入样本的第i个元素，/>
Figure SMS_25
为所述损失函数对所述输入样本的第i个元素的偏导数，/>
Figure SMS_26
为所述损失函数对所述输入样本的第2j-1个元素的偏导数，/>
Figure SMS_27
为所述损失函数对所述输入样本的第2j个元素的偏导数，/>
Figure SMS_28
为所述输入样本的元素总数量，/>
Figure SMS_29
为所述第三影响系数，/>
Figure SMS_30
为所述第四影响系数；
根据所述第一影响系数、所述第二影响系数、所述第三影响系数和所述第四影响系数，更新所述学习效率。
优选地，所述根据所述第一影响系数、所述第二影响系数、所述第三影响系数和所述第四影响系数，更新所述学习效率的步骤包括：
根据以下公式计算基准学习效率：
Figure SMS_31
；
其中，
Figure SMS_32
为所述基准学习效率，t为当前的迭代次数；
根据所述第一影响系数和所述第二影响系数，通过以下公式计算第一散度：
Figure SMS_33
；
其中，
Figure SMS_34
为所述第一散度，/>
Figure SMS_35
为所述第一散度的预设初始值；
根据所述第三影响系数和所述第四影响系数，通过以下公式计算第二散度：
Figure SMS_36
；
其中，
Figure SMS_37
为所述第二散度，/>
Figure SMS_38
为所述第二散度的预设初始值；
根据所述第一散度和所述第二散度，通过以下公式计算学习率修正系数：
Figure SMS_39
；
其中，
Figure SMS_40
为所述学习率修正系数；
根据所述基准学习效率和所述学习率修正系数，通过以下公式更新所述学习效率：
Figure SMS_41
；
其中，
Figure SMS_42
为更新后的所述学习效率。
上述更新学习效率的过程，引入损失函数对各网络模块的输出数据和输入样本各个元素的梯度，实现学习效率的自适应更新，有利于加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。
优选地，步骤A304包括：
根据以下公式更新所述点云融合模型的所述网络参数：
Figure SMS_43
；
其中，
Figure SMS_44
为更新后的所述网络参数，/>
Figure SMS_45
为更新前的所述网络参数，/>
Figure SMS_46
为预设的收敛阈值。
第二方面，本申请提供了一种点云融合模型获取装置，用于对点云融合模型进行训练，所述点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；所述点云融合模型获取装置包括：
第一获取模块，用于获取训练数据集；
初始化模块，初始化所述点云融合模型的网络参数；
更新模块，用于利用所述训练数据集，根据改进梯度下降法迭代更新所述点云融合模型的所述网络参数，直到损失函数或所述网络参数收敛；每次迭代过程中，根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率。
该装置在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述点云融合模型获取方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述点云融合模型获取方法中的步骤。
有益效果：
本申请提供的点云融合模型获取方法、装置、电子设备及存储介质，在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。
附图说明
图1为本申请实施例提供的点云融合模型获取方法的流程图。
图2为本申请实施例提供的点云融合模型获取装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为点云融合模型的结构示意图。
标号说明：1、第一获取模块；2、初始化模块；3、更新模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种点云融合模型获取方法，用于对点云融合模型进行训练，该点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；点云融合模型获取方法包括步骤：
A1.获取训练数据集；
A2.初始化点云融合模型的网络参数；
A3.利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率。
该方法在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。
其中，参考图4，该点云融合模型的输入层输入的是M×3×N维的数据（其中，M为单帧点云数据的点数，N为输入样本的元素总数量，即输入样本包含的点云数据的总帧数），经特征提取网络模块对输入的点云数据进行特征提取后，输出的数据记为
Figure SMS_48
，该输出数据/>
Figure SMS_51
为L×3×N维的数据（其中，L为由特征提取网络模块的网络结构决定的中间值）；特征融合网络模块对输出数据/>
Figure SMS_53
进行降维处理和特征融合处理后，输出的数据记为/>
Figure SMS_49
，该输出数据/>
Figure SMS_50
为k×3维的数据（其中，k为由特征融合网络模块的网络结构决定的中间值）；上采样网络模块对输出数据/>
Figure SMS_52
进行数据丰富后，输出的数据记为/>
Figure SMS_54
，该输出数据/>
Figure SMS_47
为J×3维的数据（其中，J为上采样后模型输出维数，且J=M×N）。
在本实施例中，特征提取网络模块通过ResNet-50网络实现对输入的点云数据的特征提取，特征提取网络模块的特征提取函数记为
Figure SMS_56
，该特征提取网络模块的网络参数记为/>
Figure SMS_59
；特征融合网络模块通过flatten方法对输出数据/>
Figure SMS_61
进行降维处理后，通过三层全连接网络实现特征融合，特征融合网络模块的特征融合函数记为/>
Figure SMS_57
，该特征融合网络模块的网络参数记为/>
Figure SMS_58
；上采样网络模块通过两层全卷积网络对输出数据/>
Figure SMS_60
进行数据丰富，上采样网络模块的上采样函数记为/>
Figure SMS_62
，该上采样网络模块的网络参数记为/>
Figure SMS_55
。
其中，训练数据集包括多个样本，每个样本包括多帧（N帧）连续的点云数据和对应的真值标签（即对多帧点云数据进行融合后的参考融合点云数据）。根据多帧连续的点云数据获取对应的真值标签的方法为现有技术，此处不对其进行详述。
其中，点云融合模型的网络参数包括特征提取网络模块的网络参数
Figure SMS_63
、特征融合网络模块的网络参数/>
Figure SMS_64
和上采样网络模块的网络参数/>
Figure SMS_65
。在对点云融合模型的网络参数进行初始化时可初始化为预设值，也可以进行随机初始化，具体根据实际需要选择。若把点云融合模型的网络参数记为/>
Figure SMS_66
，则/>
Figure SMS_67
。
在本实施例中，步骤A3中，每次迭代过程包括步骤：
A301.计算损失函数；
A302.更新一阶动量参数和二阶动量参数；
A303.根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；
A304.根据一阶动量参数、二阶动量参数和学习效率更新点云融合模型的网络参数；
A305.若损失函数和网络参数中的至少一个收敛，则停止迭代。
即当损失函数和网络参数均不收敛时，需要把下一个样本作为输入样本，把该输入样本的点云数据输入至点云融合模型，并重复步骤A301-A305进行下一次迭代，直到损失函数和网络参数中的至少一个收敛。
其中，损失函数可根据实际需要设置，例如可选择使用MSE损失函数，但不限于此。
在一些优选实施方式中，步骤A301包括：
根据以下公式计算损失函数：
Figure SMS_68
；
其中，
Figure SMS_69
为损失函数，/>
Figure SMS_70
为点云融合模型的输出数据，/>
Figure SMS_71
为输入样本的真值标签。
该损失函数的函数曲线光滑、连续，处处可导，便于改进梯度下降算法的使用，而且，随着误差的减小，梯度也在减小，这有利于提高损失函数的收敛速度。
具体地，步骤A302包括：
根据以下公式更新一阶动量参数和二阶动量参数：
Figure SMS_72
；
Figure SMS_73
；
其中，
Figure SMS_74
是更新后的一阶动量参数，/>
Figure SMS_78
是更新前的一阶动量参数，/>
Figure SMS_82
为更新后的二阶动量参数，/>
Figure SMS_75
为更新前的二阶动量参数，/>
Figure SMS_81
、/>
Figure SMS_85
为两个预设调整系数，/>
Figure SMS_87
为损失函数关于网络参数的梯度（即/>
Figure SMS_77
）。其中，/>
Figure SMS_79
、/>
Figure SMS_83
可根据实际需要设置，例如，可均设置为0.9，但不限于此；其中，对于首次迭代过程，/>
Figure SMS_86
，/>
Figure SMS_76
，/>
Figure SMS_80
、/>
Figure SMS_84
分别为一阶动量参数和二阶动量参数的预设初始值，可根据实际需要设置，例如均为0，但不限于此。
具体地，步骤A303包括：
根据以下公式计算第一影响系数和第二影响系数：
Figure SMS_88
；
Figure SMS_89
；
其中，
Figure SMS_91
为第一影响系数，/>
Figure SMS_94
为第二影响系数，/>
Figure SMS_97
为特征提取网络模块的输出数据，/>
Figure SMS_92
为特征融合网络模块的输出数据，/>
Figure SMS_95
为上采样网络模块的输出数据；其中/>
Figure SMS_98
表征了输出数据/>
Figure SMS_100
和输出数据/>
Figure SMS_90
的变化引起损失函数的变化的显著程度，/>
Figure SMS_93
表征了输出数据/>
Figure SMS_96
和输出数据/>
Figure SMS_99
的变化引起损失函数的变化的显著程度；
根据以下公式计算第三影响系数和第四影响系数：
Figure SMS_101
；
Figure SMS_102
；
Figure SMS_103
；
其中，
Figure SMS_105
为输入样本的第i个元素，/>
Figure SMS_108
为损失函数对输入样本的第i个元素的偏导数，/>
Figure SMS_110
为损失函数对输入样本的第2j-1个元素的偏导数，/>
Figure SMS_106
为损失函数对输入样本的第2j个元素的偏导数，/>
Figure SMS_107
为输入样本的元素总数量，/>
Figure SMS_109
为第三影响系数，/>
Figure SMS_111
为第四影响系数；其中，输入样本的第i个元素，即输入样本的第i帧点云数据，/>
Figure SMS_104
表征的输入样本的第i个元素的变化引起损失函数的变化的显著程度；
根据第一影响系数、第二影响系数、第三影响系数和第四影响系数，更新学习效率。
具体地，根据第一影响系数、第二影响系数、第三影响系数和第四影响系数，更新学习效率的步骤包括：
根据以下公式计算基准学习效率：
Figure SMS_112
；
其中，
Figure SMS_113
为基准学习效率，t为当前的迭代次数（即当前执行步骤A301-A305的次数）；随着迭代次数的增加，基准学习效率逐渐减小，有利于提高收敛速度；
根据第一影响系数和第二影响系数，通过以下公式计算第一散度：
Figure SMS_114
；
其中，
Figure SMS_115
为第一散度，/>
Figure SMS_116
为第一散度的预设初始值；/>
Figure SMS_117
表征了各网络模块的输出数据对整个点云融合模型的输出结果的影响，/>
Figure SMS_118
可根据实际需要设置，例如为1，但不限于此；
根据第三影响系数和第四影响系数，通过以下公式计算第二散度：
Figure SMS_119
；
其中，
Figure SMS_120
为第二散度，/>
Figure SMS_121
为第二散度的预设初始值；/>
Figure SMS_122
表征了输入样本对整个点云融合模型输出结果的影响，/>
Figure SMS_123
可根据实际需要设置，例如为1，但不限于此；
根据第一散度和第二散度，通过以下公式计算学习率修正系数：
Figure SMS_124
；
其中，
Figure SMS_125
为学习率修正系数；
根据基准学习效率和学习率修正系数，通过以下公式更新学习效率：
Figure SMS_126
；
其中，
Figure SMS_127
为更新后的学习效率。
上述更新学习效率的过程，引入损失函数对各网络模块的输出数据的梯度和对输入样本各个元素的梯度，实现学习效率的自适应更新，有利于加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。
具体地，步骤A304包括：
根据以下公式更新点云融合模型的网络参数：
Figure SMS_128
；
其中，
Figure SMS_129
为更新后的网络参数，/>
Figure SMS_130
为更新前的网络参数（/>
Figure SMS_131
），/>
Figure SMS_132
为预设的收敛阈值；其中，/>
Figure SMS_133
可根据实际需要设置，例如为0.003，但不限于此。
具体地，步骤A305中，若
Figure SMS_134
，则判定损失函数收敛，若/>
Figure SMS_135
，则判定网络参数收敛。停止迭代后，最后更新得到的网络参数/>
Figure SMS_136
即为点云融合模型最终的网络参数。
由上可知，该点云融合模型获取方法，通过获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；从而可加速点云融合模型的网络参数收敛速度，进而提高点云融合模型的训练效率。
参考图2，本申请提供了一种点云融合模型获取装置，用于对点云融合模型进行训练，点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；该点云融合模型获取装置包括：
第一获取模块1，用于获取训练数据集；
初始化模块2，初始化点云融合模型的网络参数；
更新模块3，用于利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率。
该装置在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。
其中，参考图4，该点云融合模型的输入层输入的是M×3×N维的数据（其中，M为单帧点云数据的点数，N为输入样本的元素总数量，即输入样本包含的点云数据的总帧数），经特征提取网络模块对输入的点云数据进行特征提取后，输出的数据记为
Figure SMS_138
，该输出数据/>
Figure SMS_141
为L×3×N维的数据（其中，L为由特征提取网络模块的网络结构决定的中间值）；特征融合网络模块对输出数据/>
Figure SMS_143
进行降维处理和特征融合处理后，输出的数据记为/>
Figure SMS_139
，该输出数据/>
Figure SMS_140
为k×3维的数据（其中，k为由特征融合网络模块的网络结构决定的中间值）；上采样网络模块对输出数据/>
Figure SMS_142
进行数据丰富后，输出的数据记为/>
Figure SMS_144
，该输出数据/>
Figure SMS_137
为J×3维的数据（其中，J为上采样后模型输出维数，且J=M×N）。
在本实施例中，特征提取网络模块通过ResNet-50网络实现对输入的点云数据的特征提取，特征提取网络模块的特征提取函数记为
Figure SMS_146
，该特征提取网络模块的网络参数记为/>
Figure SMS_148
；特征融合网络模块通过flatten方法对输出数据/>
Figure SMS_150
进行降维处理后，通过三层全连接网络实现特征融合，特征融合网络模块的特征融合函数记为/>
Figure SMS_147
，该特征融合网络模块的网络参数记为/>
Figure SMS_149
；上采样网络模块通过两层全卷积网络对输出数据/>
Figure SMS_151
进行数据丰富，上采样网络模块的上采样函数记为/>
Figure SMS_152
，该上采样网络模块的网络参数记为/>
Figure SMS_145
。
其中，训练数据集包括多个样本，每个样本包括多帧（N帧）连续的点云数据和对应的真值标签（即对多帧点云数据进行融合后的参考融合点云数据）。根据多帧连续的点云数据获取对应的真值标签的方法为现有技术，此处不对其进行详述。
其中，点云融合模型的网络参数包括特征提取网络模块的网络参数
Figure SMS_153
、特征融合网络模块的网络参数/>
Figure SMS_154
和上采样网络模块的网络参数/>
Figure SMS_155
。在对点云融合模型的网络参数进行初始化时可初始化为预设值，也可以进行随机初始化，具体根据实际需要选择。若把点云融合模型的网络参数记为/>
Figure SMS_156
，则/>
Figure SMS_157
。
在本实施例中，更新模块3在利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛的时候，每次迭代过程执行：
计算损失函数；
更新一阶动量参数和二阶动量参数；
根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；
根据一阶动量参数、二阶动量参数和学习效率更新点云融合模型的网络参数；
若损失函数和网络参数中的至少一个收敛，则停止迭代。
即当损失函数和网络参数均不收敛时，需要把下一个样本作为输入样本，把该输入样本的点云数据输入至点云融合模型，并进行下一次迭代，直到损失函数和网络参数中的至少一个收敛。
其中，损失函数可根据实际需要设置，例如可选择使用MSE损失函数，但不限于此。
在一些优选实施方式中，更新模块3在计算损失函数的时候，执行：
根据以下公式计算损失函数：
Figure SMS_158
；
其中，
Figure SMS_159
为损失函数，/>
Figure SMS_160
为点云融合模型的输出数据，/>
Figure SMS_161
为输入样本的真值标签。
该损失函数的函数曲线光滑、连续，处处可导，便于改进梯度下降算法的使用，而且，随着误差的减小，梯度也在减小，这有利于提高损失函数的收敛速度。
具体地，更新模块3在更新一阶动量参数和二阶动量参数的时候，执行：
根据以下公式更新一阶动量参数和二阶动量参数：
Figure SMS_162
；
Figure SMS_163
；
其中，
Figure SMS_167
是更新后的一阶动量参数，/>
Figure SMS_170
是更新前的一阶动量参数，/>
Figure SMS_174
为更新后的二阶动量参数，/>
Figure SMS_164
为更新前的二阶动量参数，/>
Figure SMS_169
、/>
Figure SMS_173
为两个预设调整系数，/>
Figure SMS_176
为损失函数关于网络参数的梯度（即/>
Figure SMS_166
）。其中，/>
Figure SMS_168
、/>
Figure SMS_172
可根据实际需要设置，例如，可均设置为0.9，但不限于此；其中，对于首次迭代过程，/>
Figure SMS_177
，/>
Figure SMS_165
，/>
Figure SMS_171
、/>
Figure SMS_175
分别为一阶动量参数和二阶动量参数的预设初始值，可根据实际需要设置，例如均为0，但不限于此。
具体地，更新模块3在根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率的时候，执行：
根据以下公式计算第一影响系数和第二影响系数：
Figure SMS_178
；
Figure SMS_179
；
其中，
Figure SMS_181
为第一影响系数，/>
Figure SMS_185
为第二影响系数，/>
Figure SMS_187
为特征提取网络模块的输出数据，/>
Figure SMS_182
为特征融合网络模块的输出数据，/>
Figure SMS_184
为上采样网络模块的输出数据；其中/>
Figure SMS_188
表征了输出数据/>
Figure SMS_190
和输出数据/>
Figure SMS_180
的变化引起损失函数的变化的显著程度，/>
Figure SMS_183
表征了输出数据/>
Figure SMS_186
和输出数据/>
Figure SMS_189
的变化引起损失函数的变化的显著程度；
根据以下公式计算第三影响系数和第四影响系数：
Figure SMS_191
；
Figure SMS_192
；
Figure SMS_193
；
其中，
Figure SMS_196
为输入样本的第i个元素，/>
Figure SMS_198
为损失函数对输入样本的第i个元素的偏导数，/>
Figure SMS_200
为损失函数对输入样本的第2j-1个元素的偏导数，/>
Figure SMS_195
为损失函数对输入样本的第2j个元素的偏导数，/>
Figure SMS_197
为输入样本的元素总数量，/>
Figure SMS_199
为第三影响系数，/>
Figure SMS_201
为第四影响系数；其中，输入样本的第i个元素，即输入样本的第i帧点云数据，/>
Figure SMS_194
表征的输入样本的第i个元素的变化引起损失函数的变化的显著程度；
根据第一影响系数、第二影响系数、第三影响系数和第四影响系数，更新学习效率。
具体地，根据第一影响系数、第二影响系数、第三影响系数和第四影响系数，更新学习效率具体包括：
根据以下公式计算基准学习效率：
Figure SMS_202
；
其中，
Figure SMS_203
为基准学习效率，t为当前的迭代次数；随着迭代次数的增加，基准学习效率逐渐减小，有利于提高收敛速度；
根据第一影响系数和第二影响系数，通过以下公式计算第一散度：
Figure SMS_204
；
其中，
Figure SMS_205
为第一散度，/>
Figure SMS_206
为第一散度的预设初始值；/>
Figure SMS_207
表征了各网络模块的输出数据对整个点云融合模型的输出结果的影响，/>
Figure SMS_208
可根据实际需要设置，例如为1，但不限于此；
根据第三影响系数和第四影响系数，通过以下公式计算第二散度：
Figure SMS_209
；
其中，
Figure SMS_210
为第二散度，/>
Figure SMS_211
为第二散度的预设初始值；/>
Figure SMS_212
表征了输入样本对整个点云融合模型输出结果的影响，/>
Figure SMS_213
可根据实际需要设置，例如为1，但不限于此；
根据第一散度和第二散度，通过以下公式计算学习率修正系数：
Figure SMS_214
；
其中，
Figure SMS_215
为学习率修正系数；
根据基准学习效率和学习率修正系数，通过以下公式更新学习效率：
Figure SMS_216
；
其中，
Figure SMS_217
为更新后的学习效率。
上述更新学习效率的过程，引入损失函数对各网络模块的输出数据的梯度和对输入样本各个元素的梯度，实现学习效率的自适应更新，有利于加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。
具体地，更新模块3在根据一阶动量参数、二阶动量参数和学习效率更新点云融合模型的网络参数的时候，执行：
根据以下公式更新点云融合模型的网络参数：
Figure SMS_218
；
其中，
Figure SMS_219
为更新后的网络参数，/>
Figure SMS_220
为更新前的网络参数（/>
Figure SMS_221
），/>
Figure SMS_222
为预设的收敛阈值；其中，/>
Figure SMS_223
可根据实际需要设置，例如为0.003，但不限于此。
具体地，若
Figure SMS_224
，则更新模块3判定损失函数收敛，若/>
Figure SMS_225
，则更新模块3判定网络参数收敛。停止迭代后，最后更新得到的网络参数/>
Figure SMS_226
即为点云融合模型最终的网络参数。
由上可知，该点云融合模型获取装置，通过获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；从而可加速点云融合模型的网络参数收敛速度，进而提高点云融合模型的训练效率。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的点云融合模型获取方法，以实现以下功能：获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的点云融合模型获取方法，以实现以下功能：获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率。其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-OnlyMemory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read OnlyMemory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种点云融合模型获取方法，用于对点云融合模型进行训练，所述点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；其特征在于，所述点云融合模型获取方法包括步骤：
A1.获取训练数据集；
A2.初始化所述点云融合模型的网络参数；
A3.利用所述训练数据集，根据改进梯度下降法迭代更新所述点云融合模型的所述网络参数，直到损失函数或所述网络参数收敛；每次迭代过程中，根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率；
所述根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率的步骤包括：
根据以下公式计算第一影响系数和第二影响系数：
Figure FDA0004212121160000011
Figure FDA0004212121160000012
其中，H1为所述第一影响系数，H2为所述第二影响系数，O1为所述特征提取网络模块的输出数据，O2为所述特征融合网络模块的输出数据，O3为所述上采样网络模块的输出数据；l为所述损失函数；
根据以下公式计算第三影响系数和第四影响系数：
Figure FDA0004212121160000013
Figure FDA0004212121160000021
Figure FDA0004212121160000022
其中，xi为所述输入样本的第i个元素，ri为所述损失函数对所述输入样本的第i个元素的偏导数，r2j-1为所述损失函数对所述输入样本的第2j-1个元素的偏导数，r2j为所述损失函数对所述输入样本的第2j个元素的偏导数，n为所述输入样本的元素总数量，K1为所述第三影响系数，K2为所述第四影响系数；
根据所述第一影响系数、所述第二影响系数、所述第三影响系数和所述第四影响系数，更新所述学习效率；
所述根据所述第一影响系数、所述第二影响系数、所述第三影响系数和所述第四影响系数，更新所述学习效率的步骤包括：
根据以下公式计算基准学习效率：
Figure FDA0004212121160000023
其中，η为所述基准学习效率，t为当前的迭代次数；
根据所述第一影响系数和所述第二影响系数，通过以下公式计算第一散度：
Figure FDA0004212121160000024
其中，ψ为所述第一散度，ψ0为所述第一散度的预设初始值；
根据所述第三影响系数和所述第四影响系数，通过以下公式计算第二散度：
Figure FDA0004212121160000031
其中，
Figure FDA0004212121160000035
为所述第二散度，/>
Figure FDA0004212121160000036
为所述第二散度的预设初始值；
根据所述第一散度和所述第二散度，通过以下公式计算学习率修正系数：
Figure FDA0004212121160000032
其中，μ为所述学习率修正系数；
根据所述基准学习效率和所述学习率修正系数，通过以下公式更新所述学习效率：
Figure FDA0004212121160000033
其中，
Figure FDA0004212121160000034
为更新后的所述学习效率。
2.根据权利要求1所述的点云融合模型获取方法，其特征在于，步骤A3中，每次迭代过程包括步骤：
A301.计算所述损失函数；
A302.更新一阶动量参数和二阶动量参数；
A303.根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率；
A304.根据所述一阶动量参数、所述二阶动量参数和所述学习效率更新所述点云融合模型的所述网络参数；
A305.若所述损失函数和所述网络参数中的至少一个收敛，则停止迭代。
3.根据权利要求2所述的点云融合模型获取方法，其特征在于，步骤A301包括：
根据以下公式计算损失函数：
Figure FDA0004212121160000041
其中，O为所述点云融合模型的输出数据，
Figure FDA0004212121160000042
为所述输入样本的真值标签。
4.根据权利要求3所述的点云融合模型获取方法，其特征在于，步骤A302包括：
根据以下公式更新所述一阶动量参数和所述二阶动量参数：
m′＝β1m+(1-β1)g；
v′＝β2v+(1-β2)g2；
其中，m′是更新后的所述一阶动量参数，m是更新前的所述一阶动量参数，v′为更新后的所述二阶动量参数，v为更新前的所述二阶动量参数，β1、β2为两个预设调整系数，g为所述损失函数关于所述网络参数的梯度。
5.根据权利要求4所述的点云融合模型获取方法，其特征在于，步骤A304包括：
根据以下公式更新所述点云融合模型的所述网络参数：
Figure FDA0004212121160000043
其中，θ′为更新后的所述网络参数，θ为更新前的所述网络参数，ε为预设的收敛阈值。
6.一种点云融合模型获取装置，用于对点云融合模型进行训练，所述点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；其特征在于，所述点云融合模型获取装置包括：
第一获取模块，用于获取训练数据集；
初始化模块，初始化所述点云融合模型的网络参数；
更新模块，用于利用所述训练数据集，根据改进梯度下降法迭代更新所述点云融合模型的所述网络参数，直到损失函数或所述网络参数收敛；每次迭代过程中，根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率；
更新模块在根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率的时候，执行：
根据以下公式计算第一影响系数和第二影响系数：
Figure FDA0004212121160000051
Figure FDA0004212121160000052
其中，H1为所述第一影响系数，H2为所述第二影响系数，O1为所述特征提取网络模块的输出数据，O2为所述特征融合网络模块的输出数据，O3为所述上采样网络模块的输出数据；l为所述损失函数；
根据以下公式计算第三影响系数和第四影响系数：
Figure FDA0004212121160000053
Figure FDA0004212121160000054
Figure FDA0004212121160000061
其中，xi为所述输入样本的第i个元素，ri为所述损失函数对所述输入样本的第i个元素的偏导数，r2j-1为所述损失函数对所述输入样本的第2j-1个元素的偏导数，r2j为所述损失函数对所述输入样本的第2j个元素的偏导数，n为所述输入样本的元素总数量，K1为所述第三影响系数，K2为所述第四影响系数；
根据所述第一影响系数、所述第二影响系数、所述第三影响系数和所述第四影响系数，更新所述学习效率；
更新模块在根据所述第一影响系数、所述第二影响系数、所述第三影响系数和所述第四影响系数，更新所述学习效率的时候，执行：
根据以下公式计算基准学习效率：
Figure FDA0004212121160000062
其中，η为所述基准学习效率，t为当前的迭代次数；
根据所述第一影响系数和所述第二影响系数，通过以下公式计算第一散度：
Figure FDA0004212121160000063
其中，ψ为所述第一散度，ψ0为所述第一散度的预设初始值；
根据所述第三影响系数和所述第四影响系数，通过以下公式计算第二散度：
Figure FDA0004212121160000071
其中，
Figure FDA0004212121160000075
为所述第二散度，/>
Figure FDA0004212121160000076
为所述第二散度的预设初始值；
根据所述第一散度和所述第二散度，通过以下公式计算学习率修正系数：
Figure FDA0004212121160000072
其中，μ为所述学习率修正系数；
根据所述基准学习效率和所述学习率修正系数，通过以下公式更新所述学习效率：
Figure FDA0004212121160000073
其中，
Figure FDA0004212121160000074
为更新后的所述学习效率。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-5任一项所述点云融合模型获取方法中的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-5任一项所述点云融合模型获取方法中的步骤。
CN202310291154.XA 2023-03-23 2023-03-23 点云融合模型获取方法、装置、电子设备及存储介质 Active CN115994936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310291154.XA CN115994936B (zh) 2023-03-23 2023-03-23 点云融合模型获取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310291154.XA CN115994936B (zh) 2023-03-23 2023-03-23 点云融合模型获取方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115994936A CN115994936A (zh) 2023-04-21
CN115994936B true CN115994936B (zh) 2023-06-30

Family

ID=85995386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310291154.XA Active CN115994936B (zh) 2023-03-23 2023-03-23 点云融合模型获取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115994936B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358413A (zh) * 2022-09-14 2022-11-18 清华大学 一种点云多任务模型的训练方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621486B2 (en) * 2016-08-12 2020-04-14 Beijing Deephi Intelligent Technology Co., Ltd. Method for optimizing an artificial neural network (ANN)
JP2024500818A (ja) * 2020-12-18 2024-01-10 ストロング フォース ヴィーシーエヌ ポートフォリオ ２０１９，エルエルシー バリューチェーンネットワークのためのロボットフリート管理及び付加製造
CN113850916A (zh) * 2021-09-26 2021-12-28 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358413A (zh) * 2022-09-14 2022-11-18 清华大学 一种点云多任务模型的训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN115994936A (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN111079532A (zh) 一种基于文本自编码器的视频内容描述方法
KR102232643B1 (ko) 엔드 투 엔드 모델링 방법 및 시스템
JP7055630B2 (ja) 音声認識のための学習方法、学習装置、コンピュータプログラム及び記憶媒体
CN109361404B (zh) 一种基于半监督深度学习网络的ldpc译码系统及译码方法
US11062208B2 (en) Update management for RPU array
CN107610069B (zh) 基于共享k-svd字典的dvs可视化视频去噪方法
CN106297828A (zh) 一种基于深度学习的误发音检测的检测方法和装置
CN109543165B (zh) 基于循环卷积注意力模型的文本生成方法及装置
US20190075309A1 (en) Video compressed sensing reconstruction method, system, electronic device, and storage medium
CN107291692B (zh) 基于人工智能的分词模型的定制方法、装置、设备和介质
CN111178039B (zh) 一种模型训练方法、装置、实现文本处理的方法及装置
CN115994936B (zh) 点云融合模型获取方法、装置、电子设备及存储介质
CN115223067A (zh) 应用于无人机的点云融合方法、装置、设备及存储介质
CN108009635A (zh) 一种支持增量更新的深度卷积计算模型
US20220027784A1 (en) Incremental learning through reverse data distribution
US11501045B2 (en) Method for analyzing a simulation of the execution of a quantum circuit
Liang et al. Exploiting noise correlation for channel decoding with convolutional neural networks
CN113747480B (zh) 5g切片故障的处理方法、装置及计算设备
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法
CN112184592A (zh) 一种图像修复方法、装置、设备及计算机可读存储介质
JP5683425B2 (ja) データ撹乱・再構築システム、データ再構築装置、データ再構築方法、データ再構築プログラム
WO2021014746A1 (ja) 情報処理方法、情報処理装置、および情報処理プログラム
CN110705331A (zh) 一种手语识别方法及装置
CN116051427B (zh) 点云去噪模型获取方法、点云融合方法及其相关设备
US20240169622A1 (en) Multi-modal image editing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant