CN113642627B - 一种基于深度学习的图像与决策多源异类信息融合识别方法和装置 - Google Patents

Abstract

本发明提供了一种基于深度学习的图像与决策多源异类信息融合识别方法和装置，涉及多源异类信息技术领域，获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；利用所述图像数据集与所述决策信息集，训练所述神经网络模型；根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。实现了图像与决策多源异类信息的自动识别融合，有效提高识别精准度的技术效果。

Description

一种基于深度学习的图像与决策多源异类信息融合识别方法 和装置

技术领域

本发明涉及多源异类信息技术领域，尤其涉及一种基于深度学习的图像与决策多源异类信息融合识别方法和装置。

背景技术

在多平台联合侦察的背景下，由于平台通信能力、自身计算能力等有所差异，导致多平台向指挥中心传输的信息可能存在多源异类信息的情况，比如图像数据相对较大，若平台计算能力弱不能执行图像识别任务时，则需将图像数据(数据量极高，占用带宽大)传输至指挥中心，在指挥中心将该平台的图像数据与可能存在的其他平台传输的决策信息(其数据量极低，占用带宽小)进行多源异类信息融合识别，从而得到目标的识别结果。

然而，现有的多源信息融合识别只能在同一层次中进行，即融合的信息要么都是信号或数据，要么都是特征或决策，无法对异类信息进行同步融合。

但本申请发明人在实现本申请实施例中技术方案的过程中，发现上述现有技术至少存在如下技术问题：

现有的多源信息融合识别方法，由于无法对不同层次的多源异类信息进行融合识别，从而造成单层次信息对目标识别带来的片面性，降低识别准确度的技术问题。

发明内容

本发明实施例提供了一种基于深度学习的图像与决策多源异类信息融合识别方法和装置，用以解决现有的多源信息融合识别方法，由于无法对不同层次的多源异类信息进行融合识别，从而造成单层次信息对目标识别带来的片面性，降低识别准确度的技术问题。实现了图像与决策多源异类信息的自动识别融合，有效提高识别精准度的技术效果。

鉴于上述问题，提出了本申请实施例以便提供一种基于深度学习的图像与决策多源异类信息融合识别方法和装置。

第一方面，本发明提供了一种基于深度学习的图像与决策多源异类信息融合识别方法，所述方法包括：获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；利用所述图像数据集与所述决策信息集，训练所述神经网络模型；根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。

优选的，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，包括：图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据。

优选的，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，还包括：卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。

优选的，所述利用所述图像数据集与所述决策信息集，训练所述神经网络模型，具体包括：

步骤a：对所述神经网络模型结点间的参数进行初始化；

步骤b：从所述图像数据集中提取图像数据经过所述图像数据输入模块处理后，获得图像数字化表示数据；

步骤c：从所述决策信息集中提取决策信息经过所述决策信息输入模块处理后，获得决策信息数字化表示数据；

步骤d：通过所述卷积池化层对所述图像数字化表示数据进行处理，假设所述神经网络模型各层的网络参数由权重(卷积核)W和偏置b组成，所述图像数据集与所述决策信息集的数据量个数均为M，若当前是卷积层，则所述卷积层各结点的数据张量过程为：

a^i,l＝σ(z^i,l)＝(W^l*a^i,l-1+b^l)

其中，i为所述图像数据集与所述决策信息集选取数据的次序号；

a^i,l为所述神经网络模型第l层的各结点数据张量；

a^i,l-1为所述神经网络模型第l-1层的各结点数据张量；

σ为各层的激活函数；若当前是池化层，则所述池化层各结点的数据张量过程为：

a^i,l＝pool(a^i,l-1)

其中，pool()为池化函数；

步骤e：将经所述卷积池化层处理后的图像数字化表示数据与所述决策信息数字化表示数据合并成一维向量，即组成所述全连接输入层结点；

步骤f：将所述全连接输入层结点依次向所述全连接中间层、所述全连接输出层输入，获得所述神经网络模型的正向推理输出结果，各全连接层正向推理过程为：

a^i,l＝σ(z^i,l)＝σ(W^la^i,l-1+b^l)

步骤g：计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量；

重复步骤b～步骤g，直至所述图像数据集与所述决策信息集中的数据被随机提取完毕，第一次全数据集训练结束；

步骤h：将所述第一次全数据集训练的模型输出结果与全数据集对应真实结果进行交叉熵损失函数运算，得到第一交叉熵损失，其推理过程为：

其中，J为所述神经网络模型的交叉熵损失；

n为目标类型数目和所述全连接输出层结点个数；

y_k为所述全连接输出层第k个结点的模型训练输出；

d_k为与第k个结点的模型训练输出相对应的真实结果，其中，k＝{1,2,…,n}；

步骤i：重复b～步骤h，获得第二交叉熵损失，其中，所述第二交叉熵损失为第二次全数据集训练的模型输出结果与全数据集对应真实结果的交叉熵损失函数运算结果；

步骤j：重复b～步骤i，计算所述第二交叉熵损失与所述第一交叉熵损失的差值，即第一损失差值；

步骤k：重复b～步骤j，获得第二损失差值，根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型。

优选的，所述计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量，包括：

所述全连接输出层的误差增量过程为：

δ^i,l＝σ′(z^i,l)E

其中，δ^i,l为所述神经网络模型第l层的误差增量；

E为所述全连接输出层各结点模型输出与真实结果的误差向量；

向所述全连接中间层以及全连接输入层反向推理的误差增量过程为：

δ^i,l＝(W^l+1)^Tδ^i,l+1⊙σ′(z^i,l)

通过所述全连接输入层的图像数字化表示数据结点的误差增量向所述卷积池化层进行反向推理，若当前为所述池化层，其推理过程为：

δ^i,l＝upsample(δ^i,l+1)⊙σ′(z^i,l)

其中，upsample()为上采样函数；

若当前为所述卷积层，其推理过程为：

δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ′(z^i,l)

其中，rot180()为矩阵各元素被翻转180度；

在各层误差增量计算完毕之后，更新所述神经网络模型各层结点参数，若为所述全连接输入层、所述全连接中间层或所述全连接输出层，则参数推理过程为：

若为所述卷积池化层，则参数推理过程为：

其中，α为参数变化学习率。

优选的，所述根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型，包括：获得预定阈值；判断所述第二损失差值与所述第一损失差值是否均小于所述预定阈值；若所述第二损失差值与所述第一损失差值均小于所述预定阈值，所述神经网络模型训练结束，获得训练后的神经网络模型。

优选的，所述根据所述训练后的神经网络模型对所述待识别图像数据与所述待融合决策信息进行并行融合计算，获得融合识别结果，包括：将所述待识别图像数据与所述待融合决策信息作为所述训练后的神经网络模型的输入项；经所述训练后的神经网络模型的并行融合计算分析之后，获得所述融合识别结果。

第二方面，本发明提供了一种基于深度学习的图像与决策多源异类信息融合识别装置，所述装置包括：

第一获得单元，所述第一获得单元用于获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；

第二获得单元，所述第二获得单元用于根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；

第一构造单元，所述第一构造单元用于构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；

第一训练单元，所述第一训练单元用于利用所述图像数据集与所述决策信息集，训练所述神经网络模型；

第三获得单元，所述第三获得单元用于根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。

优选的，所述第一构造单元包括：

图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；

决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据。

优选的，所述第一构造单元还包括：

卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；

全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；

全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；

全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。

优选的，所述第一训练单元包括：

步骤a：第一初始化单元，所述第一初始化单元用于对所述神经网络模型结点间的参数进行初始化；

步骤b：第四获得单元，所述第四获得单元用于从所述图像数据集中提取图像数据经过所述图像数据输入模块处理后，获得图像数字化表示数据；

步骤c：第五获得单元，所述第五获得单元用于从所述决策信息集中提取决策信息经过所述决策信息输入模块处理后，获得决策信息数字化表示数据；

步骤d：第一处理单元，所述第一处理单元用于通过所述卷积池化层对所述图像数字化表示数据进行处理，假设所述神经网络模型各层的网络参数由权重(卷积核)W和偏置b组成，所述图像数据集与所述决策信息集的数据量个数均为M，若当前是卷积层，则所述卷积层各结点的数据张量过程为：

a^i,l＝σ(z^i,l)＝(W^l*a^i,l-1+b^l)

其中，i为所述图像数据集与所述决策信息集选取数据的次序号；

a^i,l为所述神经网络模型第l层的各结点数据张量；

a^i,l-1为所述神经网络模型第l-1层的各结点数据张量；

σ为各层的激活函数；若当前是池化层，则所述池化层各结点的数据张量过程为：

a^i,l＝pool(a^i,l-1)

其中，pool()为池化函数；

步骤e：第一合并单元，所述第一合并单元用于将经所述卷积池化层处理后的图像数字化表示数据与所述决策信息数字化表示数据合并成一维向量，即组成所述全连接输入层结点；

步骤f：第六获得单元，所述第六获得单元用于将所述全连接输入层结点依次向所述全连接中间层、所述全连接输出层输入，获得所述神经网络模型的正向推理输出结果，各全连接层正向推理过程为：

a^i,l＝σ(z^i,l)＝σ(W^la^i,l-1+b^l)

步骤g：第一计算单元，所述第一计算单元用于计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量；

重复步骤b～步骤g，直至所述图像数据集与所述决策信息集中的数据被随机提取完毕，第一次全数据集训练结束；

步骤h：第七获得单元，所述第七获得单元用于将所述第一次全数据集训练的模型输出结果与全数据集对应真实结果进行交叉熵损失函数运算，得到第一交叉熵损失，其推理过程为：

其中，J为所述神经网络模型的交叉熵损失；

n为目标类型数目和所述全连接输出层结点个数；

y_k为所述全连接输出层第k个结点的模型训练输出；

d_k为与第k个结点的模型训练输出相对应的真实结果，其中，k＝{1,2,…,n}；

步骤i：第八获得单元，所述第八获得单元用于重复b～步骤h，获得第二交叉熵损失，其中，所述第二交叉熵损失为第二次全数据集训练的模型输出结果与全数据集对应真实结果的交叉熵损失函数运算结果；

步骤j：第二计算单元，所述第二计算单元用于重复b～步骤i，计算所述第二交叉熵损失与所述第一交叉熵损失的差值，即第一损失差值；

步骤k：第九获得单元，所述第九获得单元用于重复b～步骤j，获得第二损失差值，根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型。

优选的，所述第一计算单元包括：

所述全连接输出层的误差增量过程为：

δ^i,l＝σ′(z^i,l)E

其中，δ^i,l为所述神经网络模型第l层的误差增量；

E为所述全连接输出层各结点模型输出与真实结果的误差向量；

向所述全连接中间层以及全连接输入层反向推理的误差增量过程为：

δ^i,l＝(W^l+1)^Tδ^i,l+1⊙σ′(z^i,l)

通过所述全连接输入层的图像数字化表示数据结点的误差增量向所述卷积池化层进行反向推理，若当前为所述池化层，其推理过程为：

δ^i,l＝upsample(δ^i,l+1)⊙σ′(z^i,l)

其中，upsample()为上采样函数；

若当前为所述卷积层，其推理过程为：

δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ′(z^i,l)

其中，rot180()为矩阵各元素被翻转180度；

在各层误差增量计算完毕之后，更新所述神经网络模型各层结点参数，若为所述全连接输入层、所述全连接中间层或所述全连接输出层，则参数推理过程为：

若为所述卷积池化层，则参数推理过程为：

其中，α为参数变化学习率。

优选的，所述第九获得单元包括：

第十获得单元，所述第十获得单元用于获得预定阈值；

第一判断单元，所述第一判断单元用于判断所述第二损失差值与所述第一损失差值是否均小于所述预定阈值；

第十一获得单元，所述第十一获得单元用于若所述第二损失差值与所述第一损失差值均小于所述预定阈值，所述神经网络模型训练结束，获得训练后的神经网络模型。

优选的，所述第三获得单元包括：

第一输入单元，所述第一输入单元用于将所述待识别图像数据与所述待融合决策信息作为所述训练后的神经网络模型的输入项；

第十二获得单元，所述第十二获得单元用于经所述训练后的神经网络模型的并行融合计算分析之后，获得所述融合识别结果。

第三方面，本发明提供了一种基于深度学习的图像与决策多源异类信息融合识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；利用所述图像数据集与所述决策信息集，训练所述神经网络模型；根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；利用所述图像数据集与所述决策信息集，训练所述神经网络模型；根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明实施例提供的一种基于深度学习的图像与决策多源异类信息融合识别方法和装置，所述方法包括：获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；利用所述图像数据集与所述决策信息集，训练所述神经网络模型；根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。用以解决现有的多源信息融合识别方法，由于无法对不同层次的多源异类信息进行融合识别，从而造成单层次信息对目标识别带来的片面性，降低识别准确度的技术问题。实现了图像与决策多源异类信息的自动识别融合，有效提高识别精准度的技术效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1为本发明实施例中一种基于深度学习的图像与决策多源异类信息融合识别方法的流程示意图；

图2为本发明实施例中一种基于深度学习的图像与决策多源异类信息融合识别装置的结构示意图；

图3为本发明实施例中另一种基于深度学习的图像与决策多源异类信息融合识别装置的结构示意图；

图4为本发明实施例中神经网络模型的结构示意图；

图5为本发明实施例中神经网络模型的训练示意图。

附图标记说明：第一获得单元11，第二获得单元12，第一构造单元13，第一训练单元14，第三获得单元15，总线300，接收器301，处理器302，发送器303，存储器304，总线接口306。

具体实施方式

本发明实施例提供了一种基于深度学习的图像与决策多源异类信息融合识别方法和装置，解决了现有的多源信息融合识别方法，由于无法对不同层次的多源异类信息进行融合识别，从而造成单层次信息对目标识别带来的片面性，降低识别准确度的技术问题。

本发明提供的技术方案总体思路如下：获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；利用所述图像数据集与所述决策信息集，训练所述神经网络模型；根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。实现了图像与决策多源异类信息的自动识别融合，有效提高识别精准度的技术效果。

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

实施例一

图1为本发明实施例中一种基于深度学习的图像与决策多源异类信息融合识别方法的流程示意图。如图1所示，本发明实施例提供了一种基于深度学习的图像与决策多源异类信息融合识别方法，所述方法包括：

步骤110：获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；

具体而言，所述待识别图像数据可以是从传感器、摄像头等终端设备采集而来，亦可是人们使用手机、照相机或其他平台传输等方式获取的信息，即所述待识别图像数据为未经过分析判断、决策处理的原始数据，其为非一维向量数据，数据量极高、占用带宽大；所述待融合决策信息可以为平台或设备经过分析处理得到的结果信息，也可以是人通过思考得到的结论性信息，其中，所述待融合决策信息与所述待识别图像数据可来源于同一设备平台，也可来源于不同设备平台，即获取的途径可不相同，因而所述待识别图像数据与所述待融合决策信息为多源异类信息。举例而言，在多船舶的海域安全联合执法中，船舶A传输至指挥中心的数据可能是第一海域的实时图像，也可能是船舶负责人根据第一海域实时图像作出的第一判断信息，或者是船舶负责人根据第一海域历史图像作出的第二判断信息，与此同时船舶B传输至指挥中心的数据可能是第二海域实时图像，或者根据第二海域实时图像作出的第三判断信息，本发明提出的多源异类信息融合识别方法可以将所述第一海域实时图像与所述第二判断信息进行自动融合识别，也可以将所述第二判断信息与所述第二海域实时图像进行自动融合识别，简言之，本发明提出的方法可以对相同平台或不同平台的图像与决策信息进行自动融合识别，即图像和决策类型的混合信息相互之间组成有机的整体模型进行识别，并非互相独立进行识别，有效地避免了信息之间的损失以及单个类别的传感器、单个层次的信息对目标识别带来的片面性，提高了融合识别的精准度。本发明也可应用于公安侦破案件中。

步骤120：根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；

具体而言，为了对构造的基于深度学习的图像与决策多源异类信息融合识别神经网络模型进行训练，可大量收集图像数据与决策信息，形成图像数据样本集与决策信息样本集，简单来说，所述图像数据集就是很多个历史图像数据组成的集合，同理所述决策信息集也是很多个历史决策信息组成的集合。

步骤130：构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；

具体而言，如图4所示，与现有的卷积神经网络结构不同，所述基于深度学习的图像与决策多源异类信息融合识别神经网络模型将经卷积池化处理的图像数字化表示数据与决策数字化表示数据并联放入全连接层的输入层，可以同时处理图像数据和决策信息，可并行地对两种类型的数据进行训练和识别，全连接层采用的两类型数据的并联结构，可以将不同种类的数据进行相互关系的训练，得到更精确的融合识别模型。

在步骤130中，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，包括：图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据，即所述图像数据输入模块与所述决策信息输入模块将所述待识别图像数据与所述待融合决策信息处理成计算机可识别的数据。

在步骤130中，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，还包括：卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。

步骤140：利用所述图像数据集与所述决策信息集，训练所述神经网络模型；

具体而言，如图5所示，从所述图像数据集与所述决策信息集中提取历史图像数据与历史决策信息，输入至所述神经网络模型进行随机迭代训练，将训练好的参数与识别结果再逐层反馈，更新所述神经网络模型参数，直至达到预定条件，训练结束，得到训练后的神经网络模型。

在步骤140中，所述利用所述图像数据集与所述决策信息集，训练所述神经网络模型，具体包括：

步骤a：对所述神经网络模型结点间的参数进行初始化；

步骤b：从所述图像数据集中提取图像数据经过所述图像数据输入模块处理后，获得图像数字化表示数据；

步骤c：从所述决策信息集中提取决策信息经过所述决策信息输入模块处理后，获得决策信息数字化表示数据；

步骤d：通过所述卷积池化层对所述图像数字化表示数据进行处理，假设所述神经网络模型各层的网络参数由权重(卷积核)W和偏置b组成，所述图像数据集与所述决策信息集的数据量个数均为M，若当前是卷积层，则所述卷积层各结点的数据张量过程为：

a^i,l＝σ(z^i,l)＝(W^l*a^i,l-1+b^l)

其中，i为所述图像数据集与所述决策信息集选取数据的次序号；

a^i,l为所述神经网络模型第l层的各结点数据张量；

a^i,l-1为所述神经网络模型第l-1层的各结点数据张量；

σ为各层的激活函数；若当前是池化层，则所述池化层各结点的数据张量过程为：

a^i,l＝pool(a^i,l-1)

其中，pool()为池化函数；

步骤e：将经所述卷积池化层处理后的图像数字化表示数据与所述决策信息数字化表示数据合并成一维向量数据结点，即组成所述全连接输入层结点；

步骤f：将所述全连接输入层结点依次向所述全连接中间层、所述全连接输出层输入，获得所述神经网络模型的正向推理输出结果，各全连接层正向推理过程为：

a^i,l＝σ(z^i,l)＝σ(W^la^i,l-1+b^l)

步骤g：计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量；

重复步骤b～步骤g，直至所述图像数据集与所述决策信息集中的数据被随机提取完毕，第一次全数据集训练结束；

步骤h：将所述第一次全数据集训练的模型输出结果与全数据集对应真实结果进行交叉熵损失函数运算，得到第一交叉熵损失，其推理过程为：

其中，J为所述神经网络模型的交叉熵损失；

n为目标类型数目和所述全连接输出层结点个数；

y_k为所述全连接输出层第k个结点的模型训练输出；

d_k为与第k个结点的模型训练输出相对应的真实结果，其中，k＝{1,2,…,n}；

步骤i：重复b～步骤h，获得第二交叉熵损失，其中，所述第二交叉熵损失为第二次全数据集训练的模型输出结果与全数据集对应真实结果的交叉熵损失函数运算结果；

步骤j：重复b～步骤i，计算所述第二交叉熵损失与所述第一交叉熵损失的差值，即第一损失差值；

步骤k：重复b～步骤j，获得第二损失差值，根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型。

在步骤g中，所述计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量，包括：

所述全连接输出层的误差增量过程为：

δ^i,l＝σ′(z^i,l)E

其中，δ^i,l为所述神经网络模型第l层的误差增量；

E为所述全连接输出层各结点模型输出与真实结果的误差向量；

向所述全连接中间层以及全连接输入层反向推理的误差增量过程为：

δ^i,l＝(W^l+1)^Tδ^i,l+1⊙σ′(z^i,l)

通过所述全连接输入层的图像数字化表示数据结点的误差增量向所述卷积池化层进行反向推理，此处，由于所述决策信息数字化表示数据结点与所述卷积池化层提取的图像特征不相关，故误差增量不向前反馈，若当前为所述池化层，其推理过程为：

δ^i,l＝upsample(δ^i,l+1)⊙σ′(z^i,l)

其中，upsample()为上采样函数；

若当前为所述卷积层，其推理过程为：

δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ′(z^i,l)

其中，rot180()为矩阵各元素被翻转180度；

在各层误差增量计算完毕之后，更新所述神经网络模型各层结点参数，若为所述全连接输入层、所述全连接中间层或所述全连接输出层，则参数推理过程为：

若为所述卷积池化层，则参数推理过程为：

其中，α为参数变化学习率。

在步骤k中，所述根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型，包括：获得预定阈值，在本发明实施例中，所述预定阈值可以取值为0.05，然后判断所述第二损失差值与所述第一损失差值是否均小于所述预定阈值，若所述第二损失差值与所述第一损失差值均小于所述预定阈值，即连续两次损失差值均小于0.05，则所述神经网络模型训练结束，获得训练后的神经网络模型。

步骤150：根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。

进一步的，所述根据所述训练后的神经网络模型对所述待识别图像数据与所述待融合决策信息进行并行融合计算，获得融合识别结果，包括：

将所述待识别图像数据与所述待融合决策信息作为所述训练后的神经网络模型的输入项；

经所述训练后的神经网络模型的并行融合计算分析之后，获得所述融合识别结果。

具体而言，在所述神经网络模型训练好之后，将所述待识别图像数据与所述待融合决策信息输入至所述训练后的神经网络模型，所述训练好的神经网络模型对所述待识别图像数据与所述待融合决策信息进行并行网络训练，相比于人工判定图像数据和决策信息之间的相互关系，精准度更高，可有效提高融合识别的准确率。

实施例二

基于与前述实施例中一种基于深度学习的图像与决策多源异类信息融合识别方法同样的发明构思，本发明还提供一种基于深度学习的图像与决策多源异类信息融合识别装置，如图2所示，所述装置包括：

第一获得单元11，所述第一获得单元11用于获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；

第二获得单元12，所述第二获得单元12用于根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；

第一构造单元13，所述第一构造单元13用于构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；

第一训练单元14，所述第一训练单元14用于利用所述图像数据集与所述决策信息集，训练所述神经网络模型；

第三获得单元15，所述第三获得单元15用于根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。

优选的，所述第一构造单元13包括：

图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；

决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据。

优选的，所述第一构造单元13还包括：

卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；

全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；

全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；

全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。

优选的，所述第一训练单元14包括：

步骤a：第一初始化单元，所述第一初始化单元用于对所述神经网络模型结点间的参数进行初始化；

步骤b：第四获得单元，所述第四获得单元用于从所述图像数据集中提取图像数据经过所述图像数据输入模块处理后，获得图像数字化表示数据；

步骤c：第五获得单元，所述第五获得单元用于从所述决策信息集中提取决策信息经过所述决策信息输入模块处理后，获得决策信息数字化表示数据；

步骤d：第一处理单元，所述第一处理单元用于通过所述卷积池化层对所述图像数字化表示数据进行处理，假设所述神经网络模型各层的网络参数由权重(卷积核)W和偏置b组成，所述图像数据集与所述决策信息集的数据量个数均为M，若当前是卷积层，则所述卷积层各结点的数据张量过程为：

a^i,l＝σ(z^i,l)＝(W^l*a^i,l-1+b^l)

其中，i为所述图像数据集与所述决策信息集选取数据的次序号；

a^i,l为所述神经网络模型第l层的各结点数据张量；

a^i,l-1为所述神经网络模型第l-1层的各结点数据张量；

σ为各层的激活函数；若当前是池化层，则所述池化层各结点的数据张量过程为：

a^i,l＝pool(a^i,l-1)

其中，pool()为池化函数；

步骤e：第一合并单元，所述第一合并单元用于将经所述卷积池化层处理后的图像数字化表示数据与所述决策信息数字化表示数据合并成一维向量，即组成所述全连接输入层结点；

步骤f：第六获得单元，所述第六获得单元用于将所述全连接输入层结点依次向所述全连接中间层、所述全连接输出层输入，获得所述神经网络模型的正向推理输出结果，各全连接层正向推理过程为：

a^i,l＝σ(z^i,l)＝σ(W^la^i,l-1+b^l)

步骤g：第一计算单元，所述第一计算单元用于计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量；

重复步骤b～步骤g，直至所述图像数据集与所述决策信息集中的数据被随机提取完毕，第一次全数据集训练结束；

步骤h：第七获得单元，所述第七获得单元用于将所述第一次全数据集训练的模型输出结果与全数据集对应真实结果进行交叉熵损失函数运算，得到第一交叉熵损失，其推理过程为：

其中，J为所述神经网络模型的交叉熵损失；

n为目标类型数目和所述全连接输出层结点个数；

y_k为所述全连接输出层第k个结点的模型训练输出；

d_k为与第k个结点的模型训练输出相对应的真实结果，其中，k＝{1,2,…,n}；

步骤i：第八获得单元，所述第八获得单元用于重复b～步骤h，获得第二交叉熵损失，其中，所述第二交叉熵损失为第二次全数据集训练的模型输出结果与全数据集对应真实结果的交叉熵损失函数运算结果；

步骤j：第二计算单元，所述第二计算单元用于重复b～步骤i，计算所述第二交叉熵损失与所述第一交叉熵损失的差值，即第一损失差值；

步骤k：第九获得单元，所述第九获得单元用于重复b～步骤j，获得第二损失差值，根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型。

优选的，所述第一计算单元包括：

所述全连接输出层的误差增量过程为：

δ^i,l＝σ′(z^i,l)E

其中，δ^i,l为所述神经网络模型第l层的误差增量；

E为所述全连接输出层各结点模型输出与真实结果的误差向量；

向所述全连接中间层以及全连接输入层反向推理的误差增量过程为：

δ^i,l＝(W^l+1)^Tδ^i,l+1⊙σ′(z^i,l)

通过所述全连接输入层的图像数字化表示数据结点的误差增量向所述卷积池化层进行反向推理，若当前为所述池化层，其推理过程为：

δ^i,l＝upsample(δ^i,l+1)⊙σ′(z^i,l)

其中，upsample()为上采样函数；

若当前为所述卷积层，其推理过程为：

δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ′(z^i,l)

其中，rot180()为矩阵各元素被翻转180度；

在各层误差增量计算完毕之后，更新所述神经网络模型各层结点参数，若为所述全连接输入层、所述全连接中间层或所述全连接输出层，则参数推理过程为：

若为所述卷积池化层，则参数推理过程为：

其中，α为参数变化学习率。

优选的，所述第九获得单元包括：

第十获得单元，所述第十获得单元用于获得预定阈值；

第一判断单元，所述第一判断单元用于判断所述第二损失差值与所述第一损失差值是否均小于所述预定阈值；

第十一获得单元，所述第十一获得单元用于若所述第二损失差值与所述第一损失差值均小于所述预定阈值，所述神经网络模型训练结束，获得训练后的神经网络模型。

优选的，所述第三获得单元15包括：

第一输入单元，所述第一输入单元用于将所述待识别图像数据与所述待融合决策信息作为所述训练后的神经网络模型的输入项；

第十二获得单元，所述第十二获得单元用于经所述训练后的神经网络模型的并行融合计算分析之后，获得所述融合识别结果。

前述图1实施例一中的一种基于深度学习的图像与决策多源异类信息融合识别方法的各种变化方式和具体实例同样适用于本实施例的一种基于深度学习的图像与决策多源异类信息融合识别装置，通过前述对一种基于深度学习的图像与决策多源异类信息融合识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于深度学习的图像与决策多源异类信息融合识别装置的实施方法，所以为了说明书的简洁，在此不再详述。

实施例三

基于与前述实施例中一种基于深度学习的图像与决策多源异类信息融合识别方法同样的发明构思，本发明还提供一种基于深度学习的图像与决策多源异类信息融合识别装置，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种基于深度学习的图像与决策多源异类信息融合识别方法的任一方法的步骤。

其中，在图3中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口306在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。

处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

实施例四

基于与前述实施例中一种基于深度学习的图像与决策多源异类信息融合识别方法同样的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；利用所述图像数据集与所述决策信息集，训练所述神经网络模型；根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。

在具体实施过程中，该程序被处理器执行时，还可以实现实施例一中的任一方法步骤。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明实施例提供的一种基于深度学习的图像与决策多源异类信息融合识别方法和装置，所述方法包括：获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；利用所述图像数据集与所述决策信息集，训练所述神经网络模型；根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果。用以解决现有的多源信息融合识别方法，由于无法对不同层次的多源异类信息进行融合识别，从而造成单层次信息对目标识别带来的片面性，降低识别准确度的技术问题。实现了图像与决策多源异类信息的自动识别融合，有效提高识别精准度的技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于深度学习的图像与决策多源异类信息融合识别方法，其特征在于，所述方法包括：

获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；

根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；

构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；

利用所述图像数据集与所述决策信息集，训练所述神经网络模型；

根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果；

其中，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，包括：

图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；

决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据；

其中，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，还包括：

卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；

全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；

全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；

全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。

2.如权利要求1所述的方法，其特征在于，所述利用所述图像数据集与所述决策信息集，训练所述神经网络模型，具体包括：

步骤a：对所述神经网络模型结点间的参数进行初始化；

步骤b：从所述图像数据集中提取图像数据经过所述图像数据输入模块处理后，获得图像数字化表示数据；

步骤c：从所述决策信息集中提取决策信息经过所述决策信息输入模块处理后，获得决策信息数字化表示数据；

步骤d：通过所述卷积池化层对所述图像数字化表示数据进行处理，假设所述神经网络模型各层的网络参数由权重(卷积核)W和偏置b组成，所述图像数据集与所述决策信息集的数据量个数均为M，若当前是卷积层，则所述卷积层各结点的数据张量过程为：

a^i,l＝σ(z^i,l)＝(W^l*a^i,l-1+b^l)

其中，i为所述图像数据集与所述决策信息集选取数据的次序号；

a^i,l为所述神经网络模型第l层的各结点数据张量；

a^i,l-1为所述神经网络模型第l-1层的各结点数据张量；

σ为各层的激活函数；若当前是池化层，则所述池化层各结点的数据张量过程为：

a^i,l＝pool(a^i,l-1)

其中，pool()为池化函数；

步骤e：将经所述卷积池化层处理后的图像数字化表示数据与所述决策信息数字化表示数据合并成一维向量，即组成所述全连接输入层结点；

步骤f：将所述全连接输入层结点依次向所述全连接中间层、所述全连接输出层输入，获得所述神经网络模型的正向推理输出结果，各全连接层正向推理过程为：

a^i,l＝σ(z^i,l)＝σ(W^la^i,l-1+b^l)

步骤g：计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量；

重复步骤b～步骤g，直至所述图像数据集与所述决策信息集中的数据被随机提取完毕，第一次全数据集训练结束；

步骤h：将所述第一次全数据集训练的模型输出结果与全数据集对应真实结果进行交叉熵损失函数运算，得到第一交叉熵损失，其推理过程为：

其中，J为所述神经网络模型的交叉熵损失；

n为目标类型数目和所述全连接输出层结点个数；

y_k为所述全连接输出层第k个结点的模型训练输出；

d_k为与第k个结点的模型训练输出相对应的真实结果，其中，k＝{1,2,…,n}；

步骤i：重复b～步骤h，获得第二交叉熵损失，其中，所述第二交叉熵损失为第二次全数据集训练的模型输出结果与全数据集对应真实结果的交叉熵损失函数运算结果；

步骤j：重复b～步骤i，计算所述第二交叉熵损失与所述第一交叉熵损失的差值，即第一损失差值；

步骤k：重复b～步骤j，获得第二损失差值，根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型。

3.如权利要求2所述的方法，其特征在于，所述计算所述全连接输出层各结点与真实结果的误差向量E，反向推理所述神经网络模型各层的误差增量，包括：

所述全连接输出层的误差增量过程为：

δ^i,l＝σ′(z^i,l)E

其中，δ^i,l为所述神经网络模型第l层的误差增量；

E为所述全连接输出层各结点模型输出与真实结果的误差向量；

向所述全连接中间层以及全连接输入层反向推理的误差增量过程为：

δ^i,l＝(W^l+1)^Tδ^i,l+1⊙σ′(z^i,l)

通过所述全连接输入层的图像数字化表示数据结点的误差增量向所述卷积池化层进行反向推理，若当前为所述池化层，其推理过程为：

δ^i,l＝upsample(δ^i,l+1)⊙σ′(z^i,l)

其中，upsample()为上采样函数；

若当前为所述卷积层，其推理过程为：

δ^i,l＝δ^i,l+1*rot180(W^l+1)⊙σ′(z^i,l)

其中，rot180()为矩阵各元素被翻转180度；

在各层误差增量计算完毕之后，更新所述神经网络模型各层结点参数，若为所述全连接输入层、所述全连接中间层或所述全连接输出层，则参数推理过程为：

若为所述卷积池化层，则参数推理过程为：

其中，α为参数变化学习率。

4.如权利要求2所述的方法，其特征在于，所述根据所述第二损失差值与所述第一损失差值，确定所述神经网络模型训练结束，获得训练后的神经网络模型，包括：

获得预定阈值；

判断所述第二损失差值与所述第一损失差值是否均小于所述预定阈值；

若所述第二损失差值与所述第一损失差值均小于所述预定阈值，所述神经网络模型训练结束，获得训练后的神经网络模型。

5.如权利要求1所述的方法，其特征在于，所述根据所述训练后的神经网络模型对所述待识别图像数据与所述待融合决策信息进行并行融合计算，获得融合识别结果，包括：

将所述待识别图像数据与所述待融合决策信息作为所述训练后的神经网络模型的输入项；

经所述训练后的神经网络模型的并行融合计算分析之后，获得所述融合识别结果。

6.一种基于深度学习的图像与决策多源异类信息融合识别装置，其特征在于，所述装置包括：

第一获得单元，所述第一获得单元用于获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；

第二获得单元，所述第二获得单元用于根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；

第一构造单元，所述第一构造单元用于构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；

第一训练单元，所述第一训练单元用于利用所述图像数据集与所述决策信息集，训练所述神经网络模型；

第三获得单元，所述第三获得单元用于根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果；

其中，所述第一构造单元包括：

图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；

决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据；

其中，所述第一构造单元还包括：

卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；

全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；

全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；

全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。

7.一种基于深度学习的图像与决策多源异类信息融合识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；

根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；

构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；

利用所述图像数据集与所述决策信息集，训练所述神经网络模型；

根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果；

其中，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，包括：

图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；

决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据；

其中，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，还包括：

卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；

全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；

全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；

全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：

获得待识别图像数据与待融合决策信息，其中，所述待识别图像数据与所述待融合决策信息为多源异类信息；

根据所述待识别图像数据与所述待融合决策信息，获得图像数据集与决策信息集；

构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型；

利用所述图像数据集与所述决策信息集，训练所述神经网络模型；

根据所述训练后的神经网络模型，对所述待识别图像数据与所述待融合决策信息进行并行融合计算处理，获得融合识别结果；

其中，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，包括：

图像数据输入模块，所述图像数据输入模块用于对所述待识别图像数据处理之后获得待识别图像数字化表示数据；

决策信息输入模块，所述决策信息输入模块用于对所述待融合决策信息处理之后获得待融合决策信息数字化表示数据；

其中，所述构造基于深度学习的图像与决策多源异类信息融合识别神经网络模型，还包括：

卷积池化层，所述卷积池化层用于对所述待识别图像数字化表示数据进行卷积和池化处理之后，得到包含多个特征的图像降维数据；

全连接输入层，所述全连接输入层结点由所述包含多个特征的图像降维数据结点和所述待融合决策信息数字化表示数据结点合并组成一层数据结点；

全连接中间层，所述全连接中间层结点用于对经所述全连接输入层处理的所述包含多个特征的图像降维数据和所述待融合决策信息数字化表示数据进行全连接推理，计算所述待识别图像数据与所述待融合决策信息的相互关系；

全连接输出层，所述全连接输出层结点用于输出所述神经网络模型的识别结果。