CN117173438B - 一种深度耦合多源传感特性的景象匹配方法 - Google Patents
一种深度耦合多源传感特性的景象匹配方法 Download PDFInfo
- Publication number
- CN117173438B CN117173438B CN202311134283.4A CN202311134283A CN117173438B CN 117173438 B CN117173438 B CN 117173438B CN 202311134283 A CN202311134283 A CN 202311134283A CN 117173438 B CN117173438 B CN 117173438B
- Authority
- CN
- China
- Prior art keywords
- feature
- optimizing
- fine
- type
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000008878 coupling Effects 0.000 title abstract description 9
- 238000010168 coupling process Methods 0.000 title abstract description 9
- 238000005859 coupling reaction Methods 0.000 title abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 159
- 238000005457 optimization Methods 0.000 claims abstract description 46
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 238000010586 diagram Methods 0.000 claims description 143
- 230000006870 function Effects 0.000 claims description 85
- 238000012549 training Methods 0.000 claims description 60
- 238000003860 storage Methods 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000006872 improvement Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000011151 fibre-reinforced plastic Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本说明书公开了一种深度耦合多源传感特性的景象匹配方法，针对不同类型的传感器分别采集的每个类型的实时景象，通过该类型的差异特征提取模型，得到该类型的而精细特征图，进而基于各类型的精细特征图，通过差异计算及生成器，抽象化不同类型的精细特征图的特征信息分离出可用精细特征，实现细粒度特征寻优，生成寻优实时图，进而基于寻优实时图和预存的寻优基准图进行多尺度景象匹配，得到匹配结果。可见，通过抽象不同类型的精细特征图的特征信息，挖掘不同类型的实时景象的共性化特征，并进行融合与精细寻优，可以获得比原始特征更加丰富、精细的特征，从而提升景象匹配的准确性。
Description
技术领域
本说明书涉导航、制导与控制技术领域，尤其涉及一种深度耦合多源传感特性的景象匹配方法。
背景技术
自主导航设备是指在不需要其它配套设备提供信息支持的情况下，依靠自身的传感器、处理器能够确定载机的导航参数如位置、速度和姿态等信息的设备。武器装备的定位定姿精度是现代战争精确打击的核心，而高精度自主导航技术是保证定位定姿精度的核心需求。惯性导航可为高精度自主导航系统提供实时连续完备的导航信息，但长时误差积累大，必须与其它导航系统如天文、景象匹配、地磁匹配、仿生嗅觉等组合，进行误差修正与精度提升。卫星导航技术发展迅速，精度高且使用方便，但容易被干扰，不可充分依赖，因此，面向远程长航时高精度自主导航需求，依托多源集成的智慧融合算法，实现卫星拒止环境下具有长航时高精度定位、定姿能力的自主导航系统研制与应用试验具有重要意义。
景象匹配导航是自主导航领域极为关键的部分，通过实时图与基准图匹配获取所需定位信息。其中，实时图是由载体上可见光、红外或合成孔径雷达(Synthetic ApertureRadar，SAR)等探测设备获取，基准图则多来源于卫星和航拍影像。景象匹配导航技术正在向智能化、多传感器组合化的方向发展，能够在很大程度上弥补卫星和惯性导航的不足。
但是，不同传感器、不同场景、不同时间下获得的实时图和机载基准图特征不一致，可能会导致匹配精度低、鲁棒性差等问题，从而极大地制约着景象匹配导航技术的发展。
基于此，本说明书提供了一种深度耦合多源传感特性的景象匹配方法。
发明内容
本说明书提供一种深度耦合多源传感特性的景象匹配方法、装置、设备及可读存储介质，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种深度耦合多源传感特性的景象匹配方法，包括：
获取目标载体上配置的多个不同类型的传感器分别采集的多个类型的实时景象；
针对每个类型，将该类型的实时景象输入预先训练的精细特征提取模型，得到该类型的实时景象对应的该类型的第一精细特征图；
根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，并将所述各类型的第一共性精细特征进行融合，得到第一融合特征；
根据第一融合特征和预先训练的生成器，得到第一寻优特征；所述第一寻优特征包括所述各类型的第一精细特征图表征的差异特征以及共性特征；
根据所述第一寻优特征生成寻优实时图；
获取预先存储的寻优基准图，根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果。
可选地，获取预先存储的寻优基准图，具体包括：
预先获取多个类型的基准景象；
针对每个类型，将该类型的基准景象输入预先训练的精细特征提取模型，得到该类型的基准景象对应的该类型的第二精细特征图；
根据各类型的第二精细特征图之间的差异，从所述各类型的第二精细特征图中分别提取各类型的第二共性精细特征，并将所述各类型的第二共性精细特征进行融合，得到第二融合特征；
将所述第二融合特征输入预先训练的生成器，得到所述生成器输出的第二寻优特征；所述第二寻优特征包括所述各类型的第二精细特征图表征的差异特征以及共性特征；
根据所述第二寻优特征生成寻优基准图。
可选地，预先训练精细特征提取模型，具体包括：
预先获取参考景象，所述参考景象包括一个或多个类型的传感器采集的景象；
将所述参考景象输入待训练的精细特征提取模型，根据所述精细特征提取模型中第一特征提取子模型输出的特征图，和所述精细特征提取模型中第二特征提取子模型输出的特征图之间的差异，训练所述精细特征提取模型；其中，所述第一特征提取子模型的模型结构和所述第二特征提取子模型的模型结构互不相同。
可选地，根据所述精细特征提取模型中第一特征提取子模型输出的特征图，和所述精细特征提取模型中第二特征提取子模型输出的特征图之间的差异，训练所述精细特征提取模型，具体包括：
确定所述精细特征提取模型包含的关键权重，并对所述精细特征提取模型包含的各权重中除所述关键权重外的其他权重进行非关键权重的自适应分配，确定所述精细特征提取模型包含的自适应非关键权重；
通过所述精细特征提取模型中的第一特征提取子模型得到所述参考景象的第一特征图；
通过所述精细特征提取模型中的第二特征提取子模型得到所述参考景象的第二特征图；
根据所述第一特征图和所述第二特征图之间差异，对所述精细特征提取模型进行一阶段的训练，优化所述关键权重和所述自适应非关键权重，得到中间模型；
确定所述中间模型的包含的非关键权重，并对所述中间模型包含的各权重中除所述非关键权重外的其他权重进行关键权重的自适应分配，确定所述中间模型包括的自适应关键权重；
将所述参考景象输入所述中间模型，通过所述中间模型的第一特征提取子模型得到所述参考景象的第三特征图；
通过所述中间模型中的第二特征提取子模型得到所述参考景象的第四特征图；
根据所述第三特征图和所述第四特征图之间的差异，对所述中间模型进行二阶段的训练，优化所述非关键权重和所述自适应关键权重，得到训练完成的精细特征提取模型。
可选地，根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，具体包括：
根据散度函数确定各类型的精细特征图之间的差异，并根据所述各类型的精细特征图之间的差异，从所述各类型的精细特征图中分别提取各类型的差异特征；
根据所述各类型的差异特征，构建所述各类型的差异特征集合；
根据所述各类型的差异特征集合，从所述各类型的精细特征图中分别提取各类型的第一共性精细特征。
可选地，预先训练生成器，具体包括：
预先获取多个类型的传感器采集的各类型的参考景象；
将所述各类型的参考景象输入预先训练的精细特征提取模型，得到所述各类型的参考景象的精细特征图；
根据所述各类型的参考景象的精细特征图和所述各类型的参考景象的原始特征图之间的差异，确定所述各类型的特征图损失；
根据所述各类型的参考景象的精细特征图确定参考融合特征，并根据所述参考融合特征和待训练的生成器得到参考寻优特征，根据所述参考寻优特征得到生成器损失；
根据所述各类型的特征图损失、松弛标量、所述生成器损失和所述各类型的精细特征图之间的差异，确定第一约束函数；
根据所述各类型的特征图损失的期望和松弛标量确定第一目标优化函数；
通过在第一约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失；
根据所述各类型的精细特征图的特征分布和所述目标生成器损失，确定第二目标优化函数；
最小化所述第二目标优化函数，得到优化完成的生成器参数，并根据所述优化完成的生成器参数，确定训练完成的生成器。
可选地，通过在第一约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失之前，所述方法还包括：
根据所述各类型的特征图损失，和所述各类型的参考景象的精细特征图之间的差异，确定第二约束函数；
通过在第一约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失，具体包括：
通过在第一约束函数和第二约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失。
可选地，在根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果之前，所述方法还包括：
将所述寻优基准图输入预先训练的抗扰动优化器，得到优化后的寻优基准图；
将所述寻优实时图输入预先训练的抗扰动优化器，得到优化后的寻优实时图；
其中，所述抗扰动优化器是预先根据各类型的参考景象确定的参考寻优图，在所述参考寻优图上添加噪声得到噪声寻优图，将所述参考寻优图和所述噪声寻优图分别输入待训练的抗扰动优化器，得到第一寻优图和第二寻优图，以所述第一寻优图和所述第二寻优图之间差异的最小化为训练目标训练得到的；
根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果，具体包括：
根据优化后的寻优基准图和优化后的寻优实时图，通过多尺度景象匹配得到匹配结果。
本说明书提供了一种深度耦合多源传感特性的景象匹配装置，包括：
实时景象获取模块，用于获取目标载体上配置的多个不同类型的传感器分别采集的多个类型的实时景象；
第一精细特征图确定模块，用于针对每个类型，将该类型的实时景象输入预先训练的精细特征提取模型，得到该类型的实时景象对应的该类型的第一精细特征图；
第一融合特征确定模块，用于根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，并将所述各类型的第一共性精细特征进行融合，得到第一融合特征；
第一寻优特征确定模块，用于根据第一融合特征和预先训练的生成器，得到第一寻优特征；所述第一寻优特征包括所述各类型的第一精细特征图表征的差异特征以及共性特征；
寻优实时图确定模块，用于根据所述第一寻优特征生成寻优实时图；
匹配模块，用于获取预先存储的寻优基准图，根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述深度耦合多源传感特性的景象匹配方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述深度耦合多源传感特性的景象匹配方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
本说明书提供的深度耦合多源传感特性的景象匹配方法中，针对不同类型的传感器分别采集的每个类型的实时景象，通过该类型的差异特征提取模型，得到该类型的而精细特征图，进而基于各类型的精细特征图，通过差异计算及生成器的降维特征映射，抽象化不同类型的精细特征图的特征信息分离出可用精细特征，实现细粒度特征寻优，生成寻优实时图，进而基于寻优实时图和预存的寻优基准图进行多尺度景象匹配，得到匹配结果。可见，通过抽象不同类型的精细特征图的特征信息，挖掘不同类型的实时景象的共性化特征，并进行融合与精细寻优，可以获得比原始特征更加丰富、精细的特征，从而提升景象匹配的准确性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中一种深度耦合多源传感特性的景象匹配方法的流程示意图；
图2为本说明书中一种组件化弹性融合景象匹配自主导航平台示意图；
图3为本说明书中一种深度耦合多源传感特性的景象匹配方法的流程示意图；
图4为本说明书中一种景象匹配平台数据、控制及调度示意图；
图5为本说明书提供的一种深度耦合多源传感特性的景象匹配装置的示意图；
图6为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
另外，需要说明的是，本说明书中所有获取信号、信息或数据的动作都是在遵照所在地相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书提供的一种深度耦合多源传感特性的景象匹配方法的流程示意图。
S100：获取目标载体上配置的多个不同类型的传感器分别采集的多个类型的实时景象。
本说明书实施例中提供的一种深度耦合多源传感特性的景象匹配方法，该方法的执行过程可由用于景象匹配的服务器等电子设备执行，本说明书对执行该方法的电子设备的类型不做限定。
本方法主要应用于在航行途中对实时拍摄的实时景象与预先存储的基准景象进行匹配，以在基准景象中定位出实时景象所在的位置，进而确定出航行过程中所处的位置。因此，在此步骤中，可首先在此步骤中获取实时景象，并在后续步骤中获取基准景象。
其中，实时景象与基准景象中所包含的内容均为实际的景象。实时景象通常为通过目标载体上配置的多个不同类型的传感器实时采集到的景象，传感器可包括但不限于红外传感器、可见光传感器、SAR等。基准景象通常为通过卫星、观测站等设施采集到的景象。一般情况下，由于采集位置、采集方式的不同，基准景象中所包含的景象的范围通常要比实时景象中包含的范围大得多。因此，在一个区域内采集到实时景象后，可实现在包含该区域的基准景象中匹配出实时景象所在的位置。
S102：针对每个类型，将该类型的实时景象输入预先训练的精细特征提取模型，得到该类型的实时景象对应的该类型的第一精细特征图。
在本说明书实施例中，通过能够提取出精细化、差异化特征的精细特征提取模型，从不同的传感器、不同的视点、不同的时间和不同的天气条件下获得的各类型的实时景象中各类型的精细特征，建立各类型的第一特征图。从而避免景象匹配导航利用实时图和基准图进行匹配定位时，受到机载基准图类型的限制。
精细特征提取模型的模型结构本说明书不做限定，该精细特征提取模型的训练样本可以是通过不同类型的传感器预先获取的参考景象，采集该参考景象的传感器可以是与采集实时景象的传感器相同的红外传感器、可见光传感器、SAR等，也可以是与采集基准景象的设备相同的卫星、观测站等设施，本说明书对此不做限定。另外，本说明书采用自监督学习的方式，基于特征图之间的差异性主要体现在相同的数据输入通过不同的网络结构进行卷积运算，会分别得到数据上存在差异的特征图，因而，精细特征提取模型在训练阶段至少包含第一特征提取子模型和第二特征提取子模型，第一特征提取子模型和第二特征提取子模型的模型结构互不相同，利用不同网络结构产生的特征图进行差异分析，作为精细特征提取模型的损失函数，利用反向传播过程更新量化精细特征提取模型的参数从而实现模型训练。
由于精细特征提取模型在训练过程中会采用第一特征提取子模型和第二特征提取子模型分别输出的特征图之间的差异进行训练，但是在精细特征提取模型的应用过程中，可以不采用第一特征提取子模型和第二特征提取子模型分别输出的特征图的方式，而是仅基于第一特征提取子模型和第二特征提取子模型中的一个输出特征图即可。
S104：根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，并将所述各类型的第一共性精细特征进行融合，得到第一融合特征。
语义约束对多源传感信息处理中的数据优化、参数估计、特征评估等众多环节起到重要作用，现有的多源信息融合处理没有充分顾及特定特征分类、特征抽象、特征分离的语义约束信息，融合后的特征难以满足弹性传感信息融合的要求。本发明围绕将多源传感数据转化为融合多源特征的寻优数据的需求，以具有高质量精细特征的实时图/基准图为输入，引入差异特征、精细特征、分类寻优等语义约束信息，通过散度计算及降维特征映射，高度抽象多源传感数据的个性化参数和特征信息，分离差异特征，挖掘多源传感数据的共性化特征，实现细粒度特征寻优。
基于此，在此步骤中，根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，实现多源景象数据融合之前的特征分类、特征抽象和特征分离。
各类型的特征图分别在不同的特征域中，不同特征域的特征信息在数据层面和结构层面都存在一定的重复性及可重构性，因此通过衡量三者之间的差异，可以分离出不同特征源的差异特征信息和共性特征信息，其中，分离出的各类型的共性特征信息可作为从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，基于各类型的第一共性精细特征可构建针对不同特征域的共性精细特征集合，从而将数据从高维空间映射到低维空间。
将各类型的第一共性精细特征进行融合，得到第一融合特征，由于各类型的第一共性精细特征充分顾及特定特征分类、特征抽象、特征分离的语义约束信息，因此，融合后的第一融合特征可以满足弹性传感信息融合的要求。其中，各类型的第一共性精细特征融合的方式可以是拼接、加权融合等各种现有的特征融合方式，本说明书对此不做限定。
S106：根据第一融合特征和预先训练的生成器，得到第一寻优特征；所述第一寻优特征包括所述各类型的第一精细特征图表征的差异特征以及共性特征。
进一步，在得到第一融合特征之后，还可进行细粒度特征寻优。在实际应用中，第一融合特征中包含了多源传感器采集的各类型的实时图的特征，虽然经过了在特征分类、特征抽象、特征分离的语义约束下的特征融合，但是，第一融合特征中依然存在噪声和冗余信息。为了消除后续基于多源融合特征生成的实时图与基准图之间匹配可能存在的误差问题，可以增加特征寻优的过程，从第一融合特征中筛选出最相关的寻优特征。
具体的，本说明书采用预先训练的生成器，对第一融合特征中包含的特征信息进行寻优，得到第一寻优特征，该第一寻优特征中包括多源传感器采集的各类型实时图的共性精细特征的融合，其中不仅包括各类型的第一精细特征图表征的共性特征，还包括差异特征。生成器的模型结构本说明书不做限定，该生成器的训练可以是通过最小化损失来对参数进行更新，其中，生成器的损失可以基于各类型的原始特征图和精细特征图之间的特征图损失、各类型的精细特征图之间的差异确定。
S108：根据所述第一寻优特征生成寻优实时图。
具体的，第一寻优特征包括了各类型的第一精细特征图表征的差异特征以及共性特征，因此，第一寻优特征可以同时具备多源传感器采集的实时景象的共性特征和差异化特性，基于第一寻优特征生成的寻优实时图中融合了多源原始实时图的多源特征，实现精细寻优。
S110：获取预先存储的寻优基准图，根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果。
寻优基准图可在导航系统采集实时景象之前提前制备，基于多源传感器预先采集的各类型实时景象在系统运行前进行精细特征寻优，仅需执行一次基准图的特征寻优，就可的大寻优基准图并预存在系统存储单元中，而实时景象则是随着系统运行时，通过多源传感器获取并执行精细特征寻优的过程的。基于预先存储的寻优基准图，和实时获取的寻优实时图进行多尺度的景象匹配，能够更好地优化资源配置，满足自主导航平台灵活性、复杂度、轻量化等多重需求。另外，不同尺寸下的图像所包含的信息是不同的，能够从不同的角度描述图像的特征，因此，本说明书实施例中采用任意现有的多尺度景象匹配方案，本说明书对此不作限定。
如图2所示为本说明书提供的深度耦合多源传感特性的景象匹配方法的示意图。
本说明书提供的深度耦合多源传感特性的景象匹配方法中，区别于目前研究工作主要集中于算法模块设计与优化，本说明书提供的方法从平台端和原始数据端进行耦合性研究，在进行景象匹配之前，通过高度抽象多源传感数据的个性化参数和特征信息，挖掘多源传感数据的共性化特征进行弹性融合与精细寻优，获得比原始特征更加丰富、精细的特征图。
在本说明书一个或多个实施例中，上述步骤S110中获取的预先存储的寻优基准图，该寻优基准图的生成方法可与图1步骤S102至S108类似，具体的：
第一步：预先获取多个类型的基准景象。
第二步：针对每个类型，将该类型的基准景象输入预先训练的精细特征提取模型，得到该类型的基准景象对应的该类型的第二精细特征图。
第三步：根据各类型的第二精细特征图之间的差异，从所述各类型的第二精细特征图中分别提取各类型的第二共性精细特征，并将所述各类型的第二共性精细特征进行融合，得到第二融合特征。
第四步：将所述第二融合特征输入预先训练的生成器，得到所述生成器输出的第二寻优特征；所述第二寻优特征包括所述各类型的第二精细特征图表征的差异特征以及共性特征。
第五步：根据所述第二寻优特征生成寻优基准图。
在本说明书一个或多个实施例中，如图1步骤S102以及前述确定基准景象的第二精细特征图的步骤中所涉及的精细特征提取模型，给精细特征提取模型可采用下述方案迭代训练得到，如图3所示：
S200：获取参考景象，所述参考景象包括一个或多个类型的传感器采集的景象。
精细特征提取模型的训练样本可以是通过不同类型的传感器预先获取的参考景象，采集该参考景象的传感器可以是与采集实时景象的传感器相同的红外传感器、可见光传感器、SAR等，也可以是与采集基准景象的设备相同的卫星、观测站等设施，本说明书对此不做限定。
S202：将所述参考景象输入待训练的精细特征提取模型，根据所述精细特征提取模型中第一特征提取子模型输出的特征图，和所述精细特征提取模型中第二特征提取子模型输出的特征图之间的差异，训练所述精细特征提取模型。
本说明书采用自监督学习的方式，基于特征图之间的差异性主要体现在相同的数据输入通过不同的网络结构进行卷积运算，会分别得到数据上存在差异的特征图，因而，精细特征提取模型在训练阶段至少包含第一特征提取子模型和第二特征提取子模型，第一特征提取子模型和第二特征提取子模型的模型结构互不相同，利用不同网络结构产生的特征图进行差异分析，作为精细特征提取模型的损失函数，利用反向传播过程更新量化精细特征提取模型的参数从而实现模型训练。
其中S202具体可通过下述步骤实现：
第一步：确定所述精细特征提取模型包含的关键权重，并对所述精细特征提取模型包含的各权重中除所述关键权重外的其他权重进行非关键权重的自适应分配，确定所述精细特征提取模型包含的自适应非关键权重。
本说明书中，具体采用两阶段的权重自适应分配的训练方法。首先在一阶段进行关键权重分析和非关键权重自适应分配，依然采用模型结构互不相同的第一特征提取子模型和第二特征提取子模型产生的特征图进行差异分析，作为精细特征提取模型的损失函数。然后在一阶段的精细特征提取模型训练完成后，基于训练时优化的模型参数得到中间模型，基于中间模型执行二阶段的训练，在二阶段进行非关键权重分析和关键权重自适应分配，同样采用模型结构互不相同的第一特征提取子模型和第二特征提取子模型产生的特征图进行差异分析，作为中间模型的损失函数。经过最小化损失函数实现二阶段的训练，从而得到训练完成的精细特征提取模型。
从而，在此步骤中，首先进行关键权重分析得到精细特征提取模型包含的关键权重，并将除关键权重外的其余权重作为非关键权重进行自适应分配，得到自适应非关键权重。关键权重分析方法可以是现有的任意类型的关键权重分析方法，本说明书对此不做限定。
第二步：通过所述精细特征提取模型中的第一特征提取子模型得到所述参考景象的第一特征图，并通过所述精细特征提取模型中的第二特征提取子模型得到所述参考景象的第二特征图。
在此步骤中，将参考景象输入所述精细特征提取模型中的第一特征提取子模型得到所述参考景象的第一特征图，并将参考景象输入所述精细特征提取模型中的第二特征提取子模型得到所述参考景象的第二特征图。
一种可选的第一特征图和第二特征图的公式可如下：
Fori1＝u1(x；j；wmain；wless)
Fdiff1＝v1(x；j；wmain；wless)
其中，u1和v1分别表示第一特征提取子模型与第二特征提取子模型到当前第一阶段的正向传播函数，x为当前输入的数据，即参考景象，j表示经过一阶段特征模型迭代次数，wmain和wless分别表示关键权重与非关键权重的参数信息。
第三步：根据所述第一特征图和所述第二特征图之间差异，对所述精细特征提取模型进行一阶段的训练，优化所述关键权重和所述自适应非关键权重，得到中间模型。
由于模型的迭代更新过程依赖损失函数提供的更新信息，因此定义了利用均方误差的计算方法比较第一特征提取子模型与第二特征提取子模型分别输出的二者的特征图的差异信息：
其中，表示模型损失函数。由于特征图Fori和Fdiff尺寸相同，保障了特征图输出是可比较的，经过多次迭代更新之后，可以得到一阶段最优的模型参数，基于一阶段训练后，待训练的精细特征提取模型的模型参数经过优化，因此，基于待训练的精细特征模型的模型结构以及优化后的模型参数可以得到中间模型，该中间模型即为经过一阶段训练后的精细特征提取模型。
第四步：确定所述中间模型的包含的非关键权重，并对所述中间模型包含的各权重中除所述非关键权重外的其他权重进行关键权重的自适应分配，确定所述中间模型包括的自适应关键权重。
与前述第一步类似，此处首先进行的是非关键权重分析，得到中将模型的非关键权重，之后将剩余的其他权重作为关键权重进行自适应分配，得到自适应关键权重。
第五步：将所述参考景象输入所述中间模型，通过所述中间模型的第一特征提取子模型得到所述参考景象的第三特征图，并通过所述中间模型中的第二特征提取子模型得到所述参考景象的第四特征图。
此步骤与前述第二步类似，此处不再赘述。
一种可选的第一特征图和第二特征图的公式可如下：
Fori2＝u2(x；j；wmain；wless)
Fdiff2＝v2(x；j；wmain；wless)
其中，u2和v2分别表示第一特征提取子模型与第二特征提取子模型到当前第二阶段的正向传播函数，x为当前输入的数据，即参考景象，j表示经过二阶段特征模型迭代次数，wmain和wless分别表示关键权重与非关键权重的参数信息。
第六步：根据所述第三特征图和所述第四特征图之间的差异，对所述中间模型进行二阶段的训练，优化所述非关键权重和所述自适应关键权重，得到训练完成的精细特征提取模型。
与前述一阶段训练的过程类似，经过多次迭代更新之后，可以得到二阶段最优的模型参数。基于二阶段训练后，中间模型的模型参数经过优化，因此，基于中间模型的模型结构以及优化后的模型参数可以得到训练完成的精细特征提取模型，该精细特征提取模型为经过一阶段和二阶段训练后的精细特征提取模型。
在本说明书一个或多个实施例中，S104确定各类型的第一共性精细特征可按照下述方案实现：
首先，根据散度函数确定各类型的精细特征图之间的差异，并根据所述各类型的精细特征图之间的差异，从所述各类型的精细特征图中分别提取各类型的差异特征。
在本说明书中确定各类型的精细特征图之间的差异所采用的散度函数可以是如KL散度、JS散度、海林格尔距离等任意现有的散度函数，本说明书对此不做限定。
基于散度函数确定的各类型的精细特征图之间的差异，可以指示各类型的精细特征图分别包含的差异化特征信息和共性特征信息，因此，可以基于该差异，针对每个类型的精细特征图，根据各类型的精细特征图之间的差异，从该类型的精细特征图中分离出，该类型的精细特征图包含的与其他各类型的精细特征图存在差异的差异特征。
其次，根据所述各类型的差异特征，构建所述各类型的差异特征集合。
进一步的，将各类型的差异特征放入同一个集合中，即可构建各类型的差异特征集合。
之后，根据所述各类型的差异特征集合，从所述各类型的精细特征图中分别提取各类型的第一共性精细特征。
由于各类型的差异特征集合中包含了各类型的精细特征图分别包含的个性化特征信息，因此，基于各类型的差异特征集合中的差异特征，即可从各类型的精细特征图中分别提取各类型的精细特征图包含的共性特征，将其作为各类型的第一共性精细特征。
在本说明书一个或多个实施例中，S106涉及的生成器可按照下述方案迭代训练得到：
第一步：获取多个类型的传感器采集的各类型的参考景象。
生成器的训练样本可以是通过不同类型的传感器预先获取的参考景象，采集该参考景象的传感器可以是与采集实时景象的传感器相同的红外传感器、可见光传感器、SAR等，也可以是与采集基准景象的设备相同的卫星、观测站等设施，本说明书对此不做限定。
第二步：将所述各类型的参考景象输入预先训练的精细特征提取模型，得到所述各类型的参考景象的精细特征图。
由于生成器的迭代训练过程需要采用参考景象的精细特征图，因此，生成器的迭代训练过程一般在精细特征提取模型的训练过程之后。
第三步：根据所述各类型的参考景象的精细特征图和所述各类型的参考景象的原始特征图之间的差异，确定所述各类型的特征图损失。
其中，各类型的参考景象的原始特征图可以是根据现有任意类型的原始特征提取模型输出的，该原始特征提取模型可以是基于通用图像库中的通用图像训练得到。由于原始特征提取模型的模型结构与训练样本的类型与精细特征提取模型的模型结构与训练样本的类型均不一样，因此，参考景象的精细特征图和原始特征图之间存在差异。因此，在此步骤中可根据所述各类型的参考景象的精细特征图和所述各类型的参考景象的原始特征图之间的差异，确定所述各类型的特征图损失。
以各类型的精细特征图分别为FA、FB、FC为例，各类型的特征图损失的公式可如下所示：
其中，分别是精细特征图FA、FB、FC分别对应的特征图损失。FA0、FB0、FC0是各类型的原始特征图。Δ()是用于衡量精细特征图和原始特征图之间差异的函数。
第四步：根据所述各类型的参考景象的精细特征图确定参考融合特征，并根据所述参考融合特征和待训练的生成器得到参考寻优特征，根据所述参考寻优特征得到生成器损失。
根据各类型的参考景象的精细特征图确定参考融合特征、并根据所述参考融合特征和待训练的生成器得到参考寻优特征的方式与前述步骤S104～S106类似，此处不做赘述。
第五步：根据所述各类型的特征图损失、松弛标量、所述生成器损失和所述各类型的精细特征图之间的差异，确定第一约束函数。
对生成器进行训练，通过最小化损失来生成精细化的特征样本。固定的预训练模型m的约束方式可以通过固定生成器来学习结构性损失函数/>从而将目标优化问题转化为最小化问题来实现。同时，引入了非负的松弛标量ω来解决数据不均衡问题。
一种可选的第一约束函数的公式可如下所示：
其中，是松弛标量，/>为生成器损失，Δ(FA,FB,FC)为各类型的精心特征图之间的差异。
第六步：根据所述各类型的特征图损失的期望和松弛标量确定第一目标优化函数。
一种可选的第一目标优化函数的公式可如下所示：
其中，β非负超参数，PA，PB，PC为特征图FA，FB和Fc的特征分布。
第七步：通过在第一约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失。
第八步：根据所述各类型的精细特征图的特征分布和所述目标生成器损失，确定第二目标优化函数。
求解到结构性损失函数后将其进行固定，然后通过最小化目标优化函数的方式得到最理想的/>
一种可选的第二目标优化函数的公式可如下所示：
第九步：最小化所述第二目标优化函数，得到优化完成的生成器参数，并根据所述优化完成的生成器参数，确定训练完成的生成器。
可选地，还可以引入第二约束函数，从而在最小化第一目标优化函数时，是在第一约束函数以及第二约束函数的共同约束下进行。具体的，根据所述各类型的特征图损失，和所述各类型的参考景象的精细特征图之间的差异，确定第二约束函数。
一种可选的第二约束函数的确定公式如下：
设置第二约束函数的目的在于约束各类型的特征损失之间的差异在合理范围内。
在本说明书一个可选的实施例中，为了提高景象匹配的鲁棒性，可以在基于寻优实时图和寻优基准图进行多尺度景象匹配之前，还可以通过抗扰动优化器强化鲁棒性，具体方案如下：
首先，预先训练抗扰动优化器。
具体的抗扰动优化器训练过程可如下：
预先根据各类型的参考景象确定的参考寻优图，在所述参考寻优图上添加噪声得到噪声寻优图，将所述参考寻优图和所述噪声寻优图分别输入待训练的抗扰动优化器，得到第一寻优图和第二寻优图，以所述第一寻优图和所述第二寻优图之间差异的最小化为训练目标训练抗扰动优化器。
假设抗扰动优化器的表示为fd()，参考寻优图为x，则将所述参考寻优图输入待训练的抗扰动优化器，得到第一寻优图可以表示为fd(x)。在参考寻优图添加噪声Δx，则第二寻优图可表示为fd(x+Δx),所期望的最优结果是fd(x+Δx)无限接近于fd(x)。在本说明书中，设计了结合抗扰动因子的损失函数Loss(S),在精细寻优特征网络的损失函数Loss(y,fw(x))中引入了谱范数正则项，用谱范数的平方作为额外的正则化参数，公式如下：
其中，W代表权重矩阵，x和y分别表示抗扰动优化器的输入和输出。由公式可知，构建由原损失函数项和权重参数约束项共同作用的损失函数，可以利用约束项来优化抗扰动优化器的抗干扰能力，而且谱范数等于其最大特征根的绝对值，所以只需要确保矩阵满足自正交条件，即可实现抗扰动优化器参数的更新，提升整体鲁棒性。
其次，将所述寻优基准图输入预先训练的抗扰动优化器，得到优化后的寻优基准图。
然后，将所述寻优实时图输入预先训练的抗扰动优化器，得到优化后的寻优实时图。
从而，根据优化后的寻优基准图和优化后的寻优实时图，通过多尺度景象匹配得到匹配结果。
针对不同类型的传感器分别采集的每个类型的实时景象，通过该类型的差异特征提取模型，得到该类型的而精细特征图，进而基于各类型的精细特征图，通过差异计算及生成器的降维特征映射，抽象化不同类型的精细特征图的特征信息分离出可用精细特征，实现细粒度特征寻优，生成寻优实时图，进而基于寻优实时图和预存的寻优基准图进行多尺度景象匹配，得到匹配结果。可见，通过抽象不同类型的精细特征图的特征信息，挖掘不同类型的实时景象的共性化特征，并进行融合与精细寻优，可以获得比原始特征更加丰富、精细的特征，从而提升景象匹配的准确性。
图4为本说明书实施例提供的结合图1和图2提出的方法构建一种组件化景象匹配自主导航平台的控制、处理及调度的示意图。
对实时图和基准图进行多源特征精细寻优，弹性化地融合生成优质特征集合，提升对景象匹配算法的适用性。通过控制总线对各个处理节点的工作状态进行指令控制，任务控制单元、任务分发单元、存储调度单元、处理节点与控制总线之间互联；设计双冗余互联总线进行各个处理节点之间的优先级调度与数据流控制，降低导航系统冗余，应对片上过载，同时互为备份的功能也是对数据传输可靠性的一种保证。
本说明书一种深度耦合多源传感特性的景象匹配方法，从多源图像配准在新一代飞机与先进无人机上的应用出发，以多源信息集成为基础，弹性调整优化为手段，融合生成适应多种复杂环境的高精度、高可用性、高连续性和高可靠性的组件化弹性融合景象匹配方法。采用自研技术，推动AI技术持续为导航控制领域创造“智能+”价值，助力形成自主可控、全域连续可靠的导航技术体系，服务于无人系统的跨域智能无缝导航，对智能导航与位置服务领域发展具有推动意义。
图5为本说明书提供的一种深度耦合多源传感特性的景象匹配装置示意图，具体包括：
实时景象获取模块300，用于获取目标载体上配置的多个不同类型的传感器分别采集的多个类型的实时景象；
第一精细特征图确定模块302，用于针对每个类型，将该类型的实时景象输入预先训练的精细特征提取模型，得到该类型的实时景象对应的该类型的第一精细特征图；
第一融合特征确定模块304，用于根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，并将所述各类型的第一共性精细特征进行融合，得到第一融合特征；
第一寻优特征确定模块306，用于根据第一融合特征和预先训练的生成器，得到第一寻优特征；所述第一寻优特征包括所述各类型的第一精细特征图表征的差异特征以及共性特征；
寻优实时图确定模块308，用于根据所述第一寻优特征生成寻优实时图；
匹配模块310，用于获取预先存储的寻优基准图，根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果。
可选地，所述匹配模块310具体用于，预先获取多个类型的基准景象；针对每个类型，将该类型的基准景象输入预先训练的精细特征提取模型，得到该类型的基准景象对应的该类型的第二精细特征图；根据各类型的第二精细特征图之间的差异，从所述各类型的第二精细特征图中分别提取各类型的第二共性精细特征，并将所述各类型的第二共性精细特征进行融合，得到第二融合特征；将所述第二融合特征输入预先训练的生成器，得到所述生成器输出的第二寻优特征；所述第二寻优特征包括所述各类型的第二精细特征图表征的差异特征以及共性特征；根据所述第二寻优特征生成寻优基准图。
可选地，所述装置还包括：
第一训练模块312，具体用于获取参考景象，所述参考景象包括一个或多个类型的传感器采集的景象；将所述参考景象输入待训练的精细特征提取模型，根据所述精细特征提取模型中第一特征提取子模型输出的特征图，和所述精细特征提取模型中第二特征提取子模型输出的特征图之间的差异，训练所述精细特征提取模型；其中，所述第一特征提取子模型的模型结构和所述第二特征提取子模型的模型结构互不相同。
可选地，所述第一训练模块312，具体用于确定所述精细特征提取模型包含的关键权重，并对所述精细特征提取模型包含的各权重中除所述关键权重外的其他权重进行非关键权重的自适应分配，确定所述精细特征提取模型包含的自适应非关键权重；通过所述精细特征提取模型中的第一特征提取子模型得到所述参考景象的第一特征图；通过所述精细特征提取模型中的第二特征提取子模型得到所述参考景象的第二特征图；根据所述第一特征图和所述第二特征图之间差异，对所述精细特征提取模型进行一阶段的训练，优化所述关键权重和所述自适应非关键权重，得到中间模型；确定所述中间模型的包含的非关键权重，并对所述中间模型包含的各权重中除所述非关键权重外的其他权重进行关键权重的自适应分配，确定所述中间模型包括的自适应关键权重；将所述参考景象输入所述中间模型，通过所述中间模型的第一特征提取子模型得到所述参考景象的第三特征图；通过所述中间模型中的第二特征提取子模型得到所述参考景象的第四特征图；根据所述第三特征图和所述第四特征图之间的差异，对所述中间模型进行二阶段的训练，优化所述非关键权重和所述自适应关键权重，得到训练完成的精细特征提取模型。
可选地，所述第一融合特征确定模块304具体用于，根据散度函数确定各类型的精细特征图之间的差异，并根据所述各类型的精细特征图之间的差异，从所述各类型的精细特征图中分别提取各类型的差异特征；根据所述各类型的差异特征，构建所述各类型的差异特征集合；根据所述各类型的差异特征集合，从所述各类型的精细特征图中分别提取各类型的第一共性精细特征。
可选地，所述装置还包括：
第二训练模块314，具体用于获取多个类型的传感器采集的各类型的参考景象；将所述各类型的参考景象输入预先训练的精细特征提取模型，得到所述各类型的参考景象的精细特征图；根据所述各类型的参考景象的精细特征图和所述各类型的参考景象的原始特征图之间的差异，确定所述各类型的特征图损失；根据所述各类型的参考景象的精细特征图确定参考融合特征，并根据所述参考融合特征和待训练的生成器得到参考寻优特征，根据所述参考寻优特征得到生成器损失；根据所述各类型的特征图损失、松弛标量、所述生成器损失和所述各类型的精细特征图之间的差异，确定第一约束函数；根据所述各类型的特征图损失的期望和松弛标量确定第一目标优化函数；通过在第一约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失；根据所述各类型的精细特征图的特征分布和所述目标生成器损失，确定第二目标优化函数；最小化所述第二目标优化函数，得到优化完成的生成器参数，并根据所述优化完成的生成器参数，确定训练完成的生成器。
可选地，所述第二训练模块314还用于，根据所述各类型的特征图损失，和所述各类型的参考景象的精细特征图之间的差异，确定第二约束函数；
可选地，所述第二训练模块314具体用于，通过在第一约束函数和第二约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失。
可选地，所述装置还包括：
抗扰动优化模块316，具体用于将所述寻优基准图输入预先训练的抗扰动优化器，得到优化后的寻优基准图；将所述寻优实时图输入预先训练的抗扰动优化器，得到优化后的寻优实时图；其中，所述抗扰动优化器是预先根据各类型的参考景象确定的参考寻优图，在所述参考寻优图上添加噪声得到噪声寻优图，将所述参考寻优图和所述噪声寻优图分别输入待训练的抗扰动优化器，得到第一寻优图和第二寻优图，以所述第一寻优图和所述第二寻优图之间差异的最小化为训练目标训练得到的；
可选地，所述匹配模块310，具体用于根据优化后的寻优基准图和优化后的寻优实时图，通过多尺度景象匹配得到匹配结果。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1所示的深度耦合多源传感特性的景象匹配方法。
本说明书还提供了图6所示的电子设备的示意结构图。如图6所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的深度耦合多源传感特性的景象匹配方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (11)
1.一种深度耦合多源传感特性的景象匹配方法，其特征在于，包括：
获取目标载体上配置的多个不同类型的传感器分别采集的多个类型的实时景象；
针对每个类型，将该类型的实时景象输入预先训练的精细特征提取模型，得到该类型的实时景象对应的该类型的第一精细特征图；
根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，并将所述各类型的第一共性精细特征进行融合，得到第一融合特征；
根据第一融合特征和预先训练的生成器，得到第一寻优特征；所述第一寻优特征包括所述各类型的第一精细特征图表征的差异特征以及共性特征；
根据所述第一寻优特征生成寻优实时图；
获取预先存储的寻优基准图，根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果。
2.如权利要求1所述的方法，其特征在于，获取预先存储的寻优基准图，具体包括：
预先获取多个类型的基准景象；
针对每个类型，将该类型的基准景象输入预先训练的精细特征提取模型，得到该类型的基准景象对应的该类型的第二精细特征图；
根据各类型的第二精细特征图之间的差异，从所述各类型的第二精细特征图中分别提取各类型的第二共性精细特征，并将所述各类型的第二共性精细特征进行融合，得到第二融合特征；
将所述第二融合特征输入预先训练的生成器，得到所述生成器输出的第二寻优特征；所述第二寻优特征包括所述各类型的第二精细特征图表征的差异特征以及共性特征；
根据所述第二寻优特征生成寻优基准图。
3.如权利要求1所述的方法，其特征在于，预先训练精细特征提取模型，具体包括：
预先获取参考景象，所述参考景象包括一个或多个类型的传感器采集的景象；
将所述参考景象输入待训练的精细特征提取模型，根据所述精细特征提取模型中第一特征提取子模型输出的特征图，和所述精细特征提取模型中第二特征提取子模型输出的特征图之间的差异，训练所述精细特征提取模型；其中，所述第一特征提取子模型的模型结构和所述第二特征提取子模型的模型结构互不相同。
4.如权利要求3所述的方法，其特征在于，根据所述精细特征提取模型中第一特征提取子模型输出的特征图，和所述精细特征提取模型中第二特征提取子模型输出的特征图之间的差异，训练所述精细特征提取模型，具体包括：
确定所述精细特征提取模型包含的关键权重，并对所述精细特征提取模型包含的各权重中除所述关键权重外的其他权重进行非关键权重的自适应分配，确定所述精细特征提取模型包含的自适应非关键权重；
通过所述精细特征提取模型中的第一特征提取子模型得到所述参考景象的第一特征图；
通过所述精细特征提取模型中的第二特征提取子模型得到所述参考景象的第二特征图；
根据所述第一特征图和所述第二特征图之间差异，对所述精细特征提取模型进行一阶段的训练，优化所述关键权重和所述自适应非关键权重，得到中间模型；
确定所述中间模型的包含的非关键权重，并对所述中间模型包含的各权重中除所述非关键权重外的其他权重进行关键权重的自适应分配，确定所述中间模型包括的自适应关键权重；
将所述参考景象输入所述中间模型，通过所述中间模型的第一特征提取子模型得到所述参考景象的第三特征图；
通过所述中间模型中的第二特征提取子模型得到所述参考景象的第四特征图；
根据所述第三特征图和所述第四特征图之间的差异，对所述中间模型进行二阶段的训练，优化所述非关键权重和所述自适应关键权重，得到训练完成的精细特征提取模型。
5.如权利要求1所述的方法，其特征在于，根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，具体包括：
根据散度函数确定各类型的精细特征图之间的差异，并根据所述各类型的精细特征图之间的差异，从所述各类型的精细特征图中分别提取各类型的差异特征；
根据所述各类型的差异特征，构建所述各类型的差异特征集合；
根据所述各类型的差异特征集合，从所述各类型的精细特征图中分别提取各类型的第一共性精细特征。
6.如权利要求1所述的方法，其特征在于，预先训练生成器，具体包括：
预先获取多个类型的传感器采集的各类型的参考景象；
将所述各类型的参考景象输入预先训练的精细特征提取模型，得到所述各类型的参考景象的精细特征图；
根据所述各类型的参考景象的精细特征图和所述各类型的参考景象的原始特征图之间的差异，确定所述各类型的特征图损失；
根据所述各类型的参考景象的精细特征图确定参考融合特征，并根据所述参考融合特征和待训练的生成器得到参考寻优特征，根据所述参考寻优特征得到生成器损失；
根据所述各类型的特征图损失、松弛标量、所述生成器损失和所述各类型的精细特征图之间的差异，确定第一约束函数；
根据所述各类型的特征图损失的期望和松弛标量确定第一目标优化函数；
通过在第一约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失；
根据所述各类型的精细特征图的特征分布和所述目标生成器损失，确定第二目标优化函数；
最小化所述第二目标优化函数，得到优化完成的生成器参数，并根据所述优化完成的生成器参数，确定训练完成的生成器。
7.如权利要求6所述的方法，其特征在于，通过在第一约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失之前，所述方法还包括：
根据所述各类型的特征图损失，和所述各类型的参考景象的精细特征图之间的差异，确定第二约束函数；
通过在第一约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失，具体包括：
通过在第一约束函数和第二约束函数的条件下，最小化第一目标优化函数，确定目标生成器损失。
8.如权利要求1所述的方法，其特征在于，在根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果之前，所述方法还包括：
将所述寻优基准图输入预先训练的抗扰动优化器，得到优化后的寻优基准图；
将所述寻优实时图输入预先训练的抗扰动优化器，得到优化后的寻优实时图；
其中，所述抗扰动优化器是预先根据各类型的参考景象确定的参考寻优图，在所述参考寻优图上添加噪声得到噪声寻优图，将所述参考寻优图和所述噪声寻优图分别输入待训练的抗扰动优化器，得到第一寻优图和第二寻优图，以所述第一寻优图和所述第二寻优图之间差异的最小化为训练目标训练得到的；
根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果，具体包括：
根据优化后的寻优基准图和优化后的寻优实时图，通过多尺度景象匹配得到匹配结果。
9.一种深度耦合多源传感特性的景象匹配装置，其特征在于，包括：
实时景象获取模块，用于获取目标载体上配置的多个不同类型的传感器分别采集的多个类型的实时景象；
第一精细特征图确定模块，用于针对每个类型，将该类型的实时景象输入预先训练的精细特征提取模型，得到该类型的实时景象对应的该类型的第一精细特征图；
第一融合特征确定模块，用于根据各类型的第一精细特征图之间的差异，从所述各类型的第一精细特征图中分别提取各类型的第一共性精细特征，并将所述各类型的第一共性精细特征进行融合，得到第一融合特征；
第一寻优特征确定模块，用于根据第一融合特征和预先训练的生成器，得到第一寻优特征；所述第一寻优特征包括所述各类型的第一精细特征图表征的差异特征以及共性特征；
寻优实时图确定模块，用于根据所述第一寻优特征生成寻优实时图；
匹配模块，用于获取预先存储的寻优基准图，根据所述寻优基准图和所述寻优实时图，通过多尺度景象匹配得到匹配结果。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～8任一项所述的方法。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311134283.4A CN117173438B (zh) | 2023-09-04 | 2023-09-04 | 一种深度耦合多源传感特性的景象匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311134283.4A CN117173438B (zh) | 2023-09-04 | 2023-09-04 | 一种深度耦合多源传感特性的景象匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173438A CN117173438A (zh) | 2023-12-05 |
| CN117173438B true CN117173438B (zh) | 2024-02-27 |
Family
ID=88944437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311134283.4A Active CN117173438B (zh) | 2023-09-04 | 2023-09-04 | 一种深度耦合多源传感特性的景象匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173438B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103353988A (zh) * | 2013-06-17 | 2013-10-16 | 苏州科技学院 | 异源sar景象特征匹配算法性能评估方法 |
| CN106296717A (zh) * | 2016-08-25 | 2017-01-04 | 中国电子科技集团公司第十研究所 | 多波段sar图像匹配目标定位方法 |
| CN112598658A (zh) * | 2020-12-29 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 基于轻量级孪生卷积神经网络的病识别方法 |
| CN114037838A (zh) * | 2021-10-20 | 2022-02-11 | 北京旷视科技有限公司 | 神经网络的训练方法、电子设备及计算机程序产品 |
| CN114049584A (zh) * | 2021-10-09 | 2022-02-15 | 百果园技术(新加坡)有限公司 | 一种模型训练和场景识别方法、装置、设备及介质 |
| CN114503158A (zh) * | 2019-08-14 | 2022-05-13 | 辉达公司 | 使用配准模拟器训练的用于图像配准和图像分割的神经网络 |
| CN115329847A (zh) * | 2022-07-25 | 2022-11-11 | 上海交通大学 | 一种应用于无人系统的多源异构传感器前融合方法 |
| CN115527123A (zh) * | 2022-10-21 | 2022-12-27 | 河北省科学院地理科学研究所 | 一种基于多源特征融合的土地覆被遥感监测方法 |
| WO2023045149A1 (zh) * | 2021-09-26 | 2023-03-30 | 上海闻泰电子科技有限公司 | 图像融合方法、装置、电子设备和存储介质 |
| CN116310634A (zh) * | 2023-02-07 | 2023-06-23 | 北京邮电大学 | 面向多源遥感数据的融合图像模型训练方法、生成方法及装置 |
| CN116521303A (zh) * | 2023-07-04 | 2023-08-01 | 四川易诚智讯科技有限公司 | 一种基于多源数据融合的应急预案的动态显示方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11988792B2 (en) * | 2018-06-29 | 2024-05-21 | Logistics And Supply Chain Multi Tech R&D Centre Limited | Multimodal imaging sensor calibration method for accurate image fusion |
-
2023
- 2023-09-04 CN CN202311134283.4A patent/CN117173438B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103353988A (zh) * | 2013-06-17 | 2013-10-16 | 苏州科技学院 | 异源sar景象特征匹配算法性能评估方法 |
| CN106296717A (zh) * | 2016-08-25 | 2017-01-04 | 中国电子科技集团公司第十研究所 | 多波段sar图像匹配目标定位方法 |
| CN114503158A (zh) * | 2019-08-14 | 2022-05-13 | 辉达公司 | 使用配准模拟器训练的用于图像配准和图像分割的神经网络 |
| CN112598658A (zh) * | 2020-12-29 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 基于轻量级孪生卷积神经网络的病识别方法 |
| WO2023045149A1 (zh) * | 2021-09-26 | 2023-03-30 | 上海闻泰电子科技有限公司 | 图像融合方法、装置、电子设备和存储介质 |
| CN114049584A (zh) * | 2021-10-09 | 2022-02-15 | 百果园技术(新加坡)有限公司 | 一种模型训练和场景识别方法、装置、设备及介质 |
| CN114037838A (zh) * | 2021-10-20 | 2022-02-11 | 北京旷视科技有限公司 | 神经网络的训练方法、电子设备及计算机程序产品 |
| CN115329847A (zh) * | 2022-07-25 | 2022-11-11 | 上海交通大学 | 一种应用于无人系统的多源异构传感器前融合方法 |
| CN115527123A (zh) * | 2022-10-21 | 2022-12-27 | 河北省科学院地理科学研究所 | 一种基于多源特征融合的土地覆被遥感监测方法 |
| CN116310634A (zh) * | 2023-02-07 | 2023-06-23 | 北京邮电大学 | 面向多源遥感数据的融合图像模型训练方法、生成方法及装置 |
| CN116521303A (zh) * | 2023-07-04 | 2023-08-01 | 四川易诚智讯科技有限公司 | 一种基于多源数据融合的应急预案的动态显示方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Yongxian Zhang等.Air-Ground Multi-Source Image Matching Based on High-Precision Reference Image.《remote sensing》.2022,第14卷(第3期),第1-21页. * |
| 李俊廷.基于共性特征的红外与可见光图像配准算法研究与应用.《中国优秀硕士学位论文全文数据库 信息科技辑》.2022,(第1期),第I135-219页. * |
| 杜文超等.基于SAR图像的快速景象匹配方法.《雷达科学与技术》.2014,第12卷(第1期),第39-43页. * |
| 袁定兴.异源图像匹配的参考图制备与匹配方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2023,(第1期),第I138-1538页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117173438A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111190427B (zh) | 一种轨迹规划的方法及装置 | |
| CN112766468B (zh) | 一种轨迹预测方法、装置、存储介质及电子设备 | |
| CN116663618B (zh) | 一种算子优化方法、装置、存储介质及电子设备 | |
| CN116304720B (zh) | 一种代价模型训练的方法、装置、存储介质及电子设备 | |
| CN111797906B (zh) | 基于视觉和惯性里程定位的方法及装置 | |
| CN117194992B (zh) | 一种模型训练、任务执行方法、装置、存储介质及设备 | |
| CN116309823A (zh) | 一种位姿的确定方法、装置、设备及存储介质 | |
| CN116502679A (zh) | 一种模型构建方法、装置、存储介质及电子设备 | |
| CN117173438B (zh) | 一种深度耦合多源传感特性的景象匹配方法 | |
| Cai et al. | Finite Frequency Analysis and Synthesis for Singularly Perturbed Systems | |
| CN114372736A (zh) | 一种路线推荐的方法、装置、存储介质及电子设备 | |
| CN111797740A (zh) | 一种模型训练以及视觉定位方法及装置 | |
| CN117075918B (zh) | 一种模型部署方法、装置、存储介质及电子设备 | |
| CN117058525B (zh) | 一种模型的训练方法、装置、存储介质及电子设备 | |
| CN117077817B (zh) | 一种基于标签分布的个性化联邦学习模型训练方法及装置 | |
| CN115862675B (zh) | 一种情感识别方法、装置、设备及存储介质 | |
| CN116167431B (zh) | 一种基于混合精度模型加速的业务处理方法及装置 | |
| CN117870696B (zh) | 一种基于感知信息融合的路径导航方法、装置及电子设备 | |
| CN114611517B (zh) | 基于深度学习的命名实体识别方法、装置、设备和介质 | |
| CN117278100B (zh) | 一种基于天基信息系统的业务执行方法、装置及存储介质 | |
| CN115827880B (zh) | 一种基于情感分类的业务执行方法及装置 | |
| CN114332226A (zh) | 一种位姿优化方法及装置 | |
| CN117909738A (zh) | 一种预测模型训练以及获取建筑物高度的方法及装置 | |
| CN117870654A (zh) | 一种基于点云配准的地磁导航方法、装置、介质及设备 | |
| CN116721316A (zh) | 一种模型训练和地磁图优化方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |