CN110766139A - 一种复合神经网络模型及其建模方法 - Google Patents

一种复合神经网络模型及其建模方法 Download PDF

Info

Publication number
CN110766139A
CN110766139A CN201910999560.5A CN201910999560A CN110766139A CN 110766139 A CN110766139 A CN 110766139A CN 201910999560 A CN201910999560 A CN 201910999560A CN 110766139 A CN110766139 A CN 110766139A
Authority
CN
China
Prior art keywords
sparse
dictionary
layer
modeling
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910999560.5A
Other languages
English (en)
Inventor
李海峰
徐忠亮
丰上
马琳
徐聪
薄洪健
王子豪
熊文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201910999560.5A priority Critical patent/CN110766139A/zh
Publication of CN110766139A publication Critical patent/CN110766139A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种复合神经网络模型及其建模方法，包括：一个全连接稀疏建模模块、一个输入映射单层感知器层、一个字典学习单层感知器层以及一个反馈通路模块。全连接稀疏建模模块用于在系统的每一轮迭代中完成单一样本的稀疏建模，输入映射单层感知器层用于生成全连接稀疏建模模块所需的持续外输入，字典学习单层感知器层用于实现稀疏字典的学习和优化，反馈通路模块用于辅助全连接稀疏建模模块、提高建模的稀疏质量。本发明的优点是，通过Hopfield神经网络的全连接工作机制以及感知器神经网络模型的权值学习机制，实现一体化的数据驱动稀疏建模和字典学习，获取全局性更好、稀疏性能更优的建模结果。

Description

一种复合神经网络模型及其建模方法
技术领域
本发明涉及复合神经网络模型技术领域，特别涉及一种面向高稀疏质量稀疏建模的复合神经网络模型及其建模方法。
背景技术
作为信号处理领域中一门重要的信息压缩和特征提取方法，压缩感知(稀疏分解)技术在近年来得到了广泛的研究和应用，这类方法通过建立稀疏分解字典，可以将信号表达为少量稀疏重构系数与字典原子的线性组合，从而实现信号的压缩存储、传输，同时也可以作为一种有效的信号分析和特征提取手段。现有的压缩感知稀疏建模算法，如K-SVD及其改进算法等，常使用l1范数或其他近似稀疏约束项作为l0范数求解的最优凸近似，通过将l1范数视为约束项并最小化重构误差来实现l0范数的近似求解。这些方法虽然能够得到具备稀疏性的建模结果和字典学习结果，但受到求解算法的限制，其求解范式的稀疏约束项往往只能作为一个约束条件而非优化对象参与求解过程，稀疏度的限制往往不够充分，且求解过程的全局性也会受到影响、通常使用的贪婪求解算法会引入多种导致建模质量下降的问题，也很难得到接近训练样本数据集真实成分的字典学习结果。为了进一步提升现有稀疏分解算法的表现、使训练出的稀疏字典可以更好地提取训练样本集的固有特征、同时对每个单一样本也能求得全局上更优秀的稀疏表达系数向量，有必要对现有稀疏建模求解方法进行革新，引入具有良好全局性和优化效果的神经网络优化算法，以得到优化程度更高的稀疏分解结果。
发明内容
本发明针对现有技术的缺陷，提供了一种复合神经网络模型及其建模方法，解决了现有技术中存在的缺陷。
为了实现以上发明目的，本发明采取的技术方案如下，共包含3部分主要发明内容：
一种复合神经网络模型，包括：一个全连接稀疏建模模块、一个输入映射单层感知器层、一个字典学习单层感知器层以及一个反馈通路模块；
所述全连接稀疏建模模块与普通Hopfield神经网络结构相同，用于在系统的每一轮迭代中完成单一样本的稀疏建模，工作过程中需要接受来自输入映射感知器层的外输入，该模块收敛后的最终结果将提供给字典学习感知器层作为字典学习的依据；在该模块工作过程中，需要与反馈通路模块互相作用以提高建模的稀疏质量；
所述输入映射单层感知器层用于生成全连接稀疏建模模块所需的持续外输入，需要接收原始样本的输入并与稀疏字典作为感知器层的连接权值共同生成全连接建模层所需的输入，稀疏字典连接权值需要随时与字典学习单层感知器层保持一致；
所述字典学习单层感知器层用于实现稀疏字典的学习和优化，字典学习单层感知器层连接系数矩阵对应稀疏建模字典，需要接收全连接稀疏建模层对每个样本迭代收敛后的输出信号(即稀疏建模结果)，在输出端与期望输出信号(即原始样本信号)作比对，通过BP方式修正系数矩阵(即稀疏建模字典)实现字典学习，并同步影响输入映射感知器层的权值矩阵；
所述反馈通路模块用于辅助全连接稀疏建模模块、提高建模的稀疏质量，在全连接稀疏建模模块的工作过程中持续接收稀疏建模模块的输出，并将反馈结果输出至稀疏建模模块的输入端，调节全连接稀疏建模模块的网络行为；在这一模块中，使用不同的反馈结果计算方式将实现基于不同约束的稀疏建模。
本发明还公开了上述复合神经网络模型的建模方法，其特征在于，包括以下步骤：
步骤1.初始化；
所述步骤1进一步包括：
步骤101数据能量归一化：为了保证不同数据样本间的能量差异不会使稀疏建模结果失真，每帧数据都必须进行能量归一化处理，即系数向量除以所有采样点平方和的平方根，能量差异在重构过程中可以通过系数补偿加以恢复；
步骤102字典权值初始化：从理论上讲，随机初始化的字典最终也可以收敛至全局最优，然而较优的初始字典将能使系统更快收敛，因此可以使用训练样本集中相关度最小的若干个，也可以使用其他字典训练方式学习得到的字典作为初始状态；
步骤103连接与反馈权值和激活函数设置：设置复合神经网络的连接权值、反馈权值和激活函数；
步骤2.样本稀疏建模，该部分针对每个样本独立进行迭代以实现求解，不同样本之间互不干扰；具体的，迭代流程包括以下几个子步骤：
步骤201输入映射：样本输入全连接层的下半部分，与所有字典原子作内积后作为外输入，在整个过程中保持不变；
步骤202外输入与反馈量求和：将固定外输入与反馈量加和作为下一步的输入，第一轮迭代过程中反馈量为0；
步骤203Hopfield层输出更新：使用异步方式更新每一个神经元的输出，作为当前的稀疏建模结果；
步骤204收敛性判定：若满足事先设定的收敛条件(稀疏度及误差，满足要求)，则退出迭代，进入步骤206；否则进入步骤205；
步骤205计算反馈量：使用反馈通路计算每个神经元对应的反馈量，而后返回步骤202.
步骤206结束迭代：结果收敛，对字典学习层输出该数据样本的稀疏建模结果；
步骤3字典学习，在完成了样本集的稀疏建模后，如果需要进行字典学习则进入此步骤；该步骤包含以下子步骤：
步骤301设定字典学习率：一般来说，字典学习率不应设置过大，否则将会导致学习结果不收敛；
步骤302字典学习：使用样本集的稀疏建模结果，基于梯度下降法对每一个字典原子进行调整；
步骤303收敛性判定：如果字典对样本集整体的建模稀疏度及误差达到预设水平，则整个学习过程结束；否则返回步骤2，重新进行一轮稀疏建模及字典学习流程。
进一步地，所述步骤103中设置复合神经网络的权值和激活函数：
若降低重构误差是网络模型运算的主要目的之一，其外输入和全连接稀疏建模模块的连接权值就需要依照以下方式设置：
Figure BDA0002240855800000041
Figure BDA0002240855800000042
其中Tjk表示神经元j，k之间的连接权值(当j＝k时即为自反馈权值)，Ij表示神经元j的外输入；Tjk即为字典原子dj、dk内积的负值，Ij为样本y与字典原子dj的内积；
网络的自反馈权值需要根据求解模型使用的稀疏约束项决定，情况有如下两种：
a)对l1范数约束项，自反馈权值应设置为Tjj＝-η；
b)对于SPI稀疏约束项：
Figure BDA0002240855800000051
其反馈参数则为
Figure BDA0002240855800000052
式中μj、vj分别为系数向量a中系数绝对值大于aj及小于aj的个数；
全连接稀疏建模层一个可行的激活函数可以设置为：
这种权值和激活函数设置单独应用于权利要求1所述的全连接稀疏建模模块或普通的Hopfield神经网络时，可以作为独立的稀疏建模算法加以使用。
与现有技术相比，本发明的优点在于：
可以解决现有稀疏建模算法使用的稀疏约束项无法精确定量、且往往需要使用贪婪求解策略的问题，通过Hopfield神经网络的全连接工作机制以及感知器神经网络模型的权值学习机制，实现一体化的数据驱动稀疏建模和字典学习，获取全局性更好、稀疏性能更优的建模结果，并在此基础上得到更接近训练数据集成分分布的稀疏字典，在稀疏建模理论研究、数据信号的盲分离与分析、通信及其他信号处理领域的目标对象识别等领域具有广阔的潜在应用价值。
附图说明
图1是本发明目标成分字典构建及迭代优化流程示意图。
图2是本发明单一信号样本的稀疏建模网络模型结构
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
如图1所示，一种用于高稀疏质量稀疏建模的复合神经网络模型，包括：一个全连接稀疏建模模块、一个输入映射单层感知器层，一个字典学习单层感知器层，以及一个反馈通路模块。具体的，其稀疏建模层(包括全连接建模模块和反馈通路)的结构如图1所示。
使用该模型结构，可以经由数据驱动的方式自动对任意数据样本集进行稀疏建模和字典学习，也可以支持Online的字典学习模式，其中参数和权值的意义明确，系统可控性与可解释性较高。此外，其中的Hopfield建模模块和反馈通路(即全连接稀疏建模层)也可以作为稀疏建模方法独立使用。以上两种网络结构都在本专利权利保护范围内。
全连接稀疏建模模块用于在系统的每一轮迭代中完成单一样本的稀疏建模，工作过程中需要接受来自输入映射感知器层的外输入，该模块收敛后的最终结果将提供给字典学习感知器层作为字典学习的依据。在该模块工作过程中，需要与反馈通路模块互相作用以提高建模的稀疏质量。
输入映射单层感知器层用于生成全连接稀疏建模模块所需的持续外输入，需要接收原始样本的输入并与稀疏字典(作为感知器层的连接权值)共同生成全连接建模层所需的输入，其连接权值(即稀疏字典)需要随时与字典学习单层感知器层保持一致。
字典学习单层感知器层用于实现稀疏字典的学习和优化，其连接系数矩阵对应稀疏建模字典，需要接收全连接稀疏建模层对每个样本迭代收敛后的输出信号(即稀疏建模结果)，在输出端与期望输出信号(即原始样本信号)作比对，通过BP方式修正系数矩阵(即稀疏建模字典)实现字典学习，并同步影响输入映射感知器层的权值矩阵。
反馈通路模块用于辅助全连接稀疏建模模块、提高建模的稀疏质量，在全连接稀疏建模模块的工作过程中持续接收稀疏建模模块的输出，并将反馈结果输出至稀疏建模模块的输入端，调节全连接稀疏建模模块的网络行为。在这一模块中，使用不同的反馈结果计算方式(或反馈模块结构)将可以实现基于不同约束的稀疏建模。
在结合网络的感知器部分共同使用时(如图1所示)，网络结构能够完成队训练样本集的整个字典学习-稀疏建模过程；当不结合感知器部分单独使用时(即使用图2中所述结构)，网络则可以实现独立的稀疏建模。视反馈部分的结构不同，可以实现对基于不同稀疏约束范式的求解。
面向高稀疏质量稀疏建模的复合神经网络模型的建模方法，包括以下步骤：
步骤1.初始化
所述步骤1进一步包括：
步骤101数据能量归一化：为了保证不同数据样本间的能量差异不会使稀疏建模结果失真，每帧数据都必须进行能量归一化处理，即系数向量除以所有采样点平方和的平方根，能量差异在重构过程中可以通过系数补偿加以恢复。
步骤102字典权值初始化：从理论上讲，随机初始化的字典最终也可以收敛至全局最优，然而较优的初始字典将能使系统更快收敛，因此可以使用训练样本集中相关度最小的若干个，也可以使用其他字典训练方式学习得到的字典作为初始状态。
步骤103连接与反馈权值和激活函数设置：设置复合神经网络的连接权值、反馈权值和激活函数。
具体设置方法如下：
为了获得具有良好稀疏性能与较低重构误差的稀疏建模结果，网络的参数和激活函数设置需要满足一定的规则。一般来说，只要将低重构误差是网络模型运算的主要目的之一(求解范式中包括)，其外输入和全连接稀疏建模模块的连接权值就需要依照以下方式设置：
Figure BDA0002240855800000081
Figure BDA0002240855800000082
其中Tjk表示神经元j，k之间的连接权值(当j＝k时即为自反馈权值)，Ij表示神经元j的外输入。Tjk即为字典原子dj、dk内积的负值，Ij为样本y与字典原子dj的内积。网络的自反馈权值需要根据求解模型使用的稀疏约束项决定，以下给出两个典型示例：
a)对l1范数约束项，自反馈权值应设置为Tjj＝-η；
b)对于SPI稀疏约束项：
Figure BDA0002240855800000083
其反馈参数则为
式中μj、vj分别为系数向量a中系数绝对值大于aj及小于aj的个数。
全连接稀疏建模层一个可行的激活函数可以设置为：
Figure BDA0002240855800000091
激活函数可以在很大程度上影响网络的优化行为，k与b的值会直接决定网络的收敛速度和收敛结果，可以根据应用需求进行自适应调整。这种权值和激活函数设置用于Hopfield神经网络时，可以作为独立的稀疏建模算法加以使用，这种应用方法同样在本专利保护范围内。
步骤2.样本稀疏建模
该部分针对每个样本独立进行迭代以实现求解，不同样本之间互不干扰。具体的，迭代流程包括以下几个子步骤：
步骤201输入映射：样本输入全连接层的下半部分，与所有字典原子作内积后作为外输入，在整个过程中保持不变。
步骤202外输入与反馈量求和：将固定外输入与反馈量加和作为下一步的输入，第一轮迭代过程中反馈量为0。
步骤203 Hopfield层输出更新：使用异步方式更新每一个神经元的输出，作为当前的稀疏建模结果。
步骤204收敛性判定：若满足事先设定的收敛条件(稀疏度及误差，满足要求)，则退出迭代，进入步骤206；否则进入步骤205。
步骤205计算反馈量：使用反馈通路计算每个神经元对应的反馈量，而后返回步骤202.
步骤206结束迭代：结果收敛，对字典学习层输出该数据样本的稀疏建模结果。
步骤3字典学习
在完成了样本集的稀疏建模后，如果需要进行字典学习则进入此步骤。该步骤包含以下子步骤：
步骤301设定字典学习率：一般来说，字典学习率不应设置过大，否则将会导致学习结果不收敛。
步骤302字典学习：使用样本集的稀疏建模结果，基于梯度下降法对每一个字典原子进行调整。
步骤303收敛性判定：如果字典满足要求(对样本集整体的建模稀疏度及误差达到预设水平)，则整个学习过程结束；否则返回步骤2，重新进行一轮稀疏建模及字典学习流程。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种复合神经网络模型，其特征在于，包括：一个全连接稀疏建模模块、一个输入映射单层感知器层、一个字典学习单层感知器层以及一个反馈通路模块；
所述全连接稀疏建模模块与普通Hopfield神经网络结构相同，用于在系统的每一轮迭代中完成单一样本的稀疏建模，工作过程中需要接受来自输入映射感知器层的外输入，该模块收敛后的最终结果将提供给字典学习感知器层作为字典学习的依据；在该模块工作过程中，需要与反馈通路模块互相作用以提高建模的稀疏质量；
所述输入映射单层感知器层用于生成全连接稀疏建模模块所需的持续外输入，需要接收原始样本的输入并与稀疏字典作为感知器层的连接权值共同生成全连接建模层所需的输入，稀疏字典连接权值需要随时与字典学习单层感知器层保持一致；
所述字典学习单层感知器层用于实现稀疏字典的学习和优化，字典学习单层感知器层连接系数矩阵对应稀疏建模字典，需要接收全连接稀疏建模层对每个样本迭代收敛后的输出信号，在输出端与期望输出信号作比对，通过BP方式修正系数矩阵(即稀疏建模字典)实现字典学习，并同步影响输入映射感知器层的权值矩阵；
所述反馈通路模块用于辅助全连接稀疏建模模块、提高建模的稀疏质量，在全连接稀疏建模模块的工作过程中持续接收稀疏建模模块的输出，并将反馈结果输出至稀疏建模模块的输入端，调节全连接稀疏建模模块的网络行为；在这一模块中，使用不同的反馈结果计算方式将实现基于不同约束的稀疏建模。
2.根据权利要求1所述的一种复合神经网络模型的建模方法，其特征在于，包括以下步骤：
步骤1.初始化；
所述步骤1进一步包括：
步骤101数据能量归一化：为了保证不同数据样本间的能量差异不会使稀疏建模结果失真，每帧数据都必须进行能量归一化处理，即系数向量除以所有采样点平方和的平方根，能量差异在重构过程中可以通过系数补偿加以恢复；
步骤102字典权值初始化：从理论上讲，随机初始化的字典最终也可以收敛至全局最优，然而较优的初始字典将能使系统更快收敛，因此可以使用训练样本集中相关度最小的若干个，也可以使用其他字典训练方式学习得到的字典作为初始状态；
步骤103连接与反馈权值和激活函数设置：设置复合神经网络的连接权值、反馈权值和激活函数；
步骤2.样本稀疏建模，该部分针对每个样本独立进行迭代以实现求解，不同样本之间互不干扰；具体的，迭代流程包括以下几个子步骤：
步骤201输入映射：样本输入全连接层的下半部分，与所有字典原子作内积后作为外输入，在整个过程中保持不变；
步骤202外输入与反馈量求和：将固定外输入与反馈量加和作为下一步的输入，第一轮迭代过程中反馈量为0；
步骤203Hopfield层输出更新：使用异步方式更新每一个神经元的输出，作为当前的稀疏建模结果；
步骤204收敛性判定：若满足事先设定的收敛条件(稀疏度及误差，满足要求)，则退出迭代，进入步骤206；否则进入步骤205；
步骤205计算反馈量：使用反馈通路计算每个神经元对应的反馈量，而后返回步骤202.
步骤206结束迭代：结果收敛，对字典学习层输出该数据样本的稀疏建模结果；
步骤3字典学习，在完成了样本集的稀疏建模后，如果需要进行字典学习则进入此步骤；该步骤包含以下子步骤：
步骤301设定字典学习率：一般来说，字典学习率不应设置过大，否则将会导致学习结果不收敛；
步骤302字典学习：使用样本集的稀疏建模结果，基于梯度下降法对每一个字典原子进行调整；
步骤303收敛性判定：如果字典对样本集整体的建模稀疏度及误差达到预设水平，则整个学习过程结束；否则返回步骤2，重新进行一轮稀疏建模及字典学习流程。
3.根据权利要求2所述的方法，其特征在于：所述步骤103中设置复合神经网络的权值和激活函数：
若降低重构误差是网络模型运算的主要目的之一，其外输入和全连接稀疏建模模块的连接权值就需要依照以下方式设置：
Figure FDA0002240855790000031
Figure FDA0002240855790000032
其中Tjk表示神经元j，k之间的连接权值(当j＝k时即为自反馈权值)，Ij表示神经元j的外输入；Tjk即为字典原子dj、dk内积的负值，Ij为样本y与字典原子dj的内积；
网络的自反馈权值需要根据求解模型使用的稀疏约束项决定，情况有如下两种：
a)对l1范数约束项，自反馈权值应设置为Tjj＝-η；
b)对于SPI稀疏约束项：
Figure FDA0002240855790000041
其反馈参数则为
Figure FDA0002240855790000042
式中μj、νj分别为系数向量a中系数绝对值大于aj及小于aj的个数；
全连接稀疏建模层一个可行的激活函数可以设置为：
Figure FDA0002240855790000043
这种权值和激活函数设置单独应用于权利要求1所述的全连接稀疏建模模块或普通的Hopfield神经网络时，可以作为独立的稀疏建模算法加以使用。
CN201910999560.5A 2019-10-21 2019-10-21 一种复合神经网络模型及其建模方法 Pending CN110766139A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910999560.5A CN110766139A (zh) 2019-10-21 2019-10-21 一种复合神经网络模型及其建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910999560.5A CN110766139A (zh) 2019-10-21 2019-10-21 一种复合神经网络模型及其建模方法

Publications (1)

Publication Number Publication Date
CN110766139A true CN110766139A (zh) 2020-02-07

Family

ID=69332777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910999560.5A Pending CN110766139A (zh) 2019-10-21 2019-10-21 一种复合神经网络模型及其建模方法

Country Status (1)

Country Link
CN (1) CN110766139A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364877A (zh) * 2020-11-30 2021-02-12 北京工业大学 基于等角框架的冗余稀疏变换方法、装置及学习方法
CN112613230A (zh) * 2020-12-15 2021-04-06 云南电网有限责任公司 基于神经网络的网络切片资源动态划分方法及装置
CN115361258A (zh) * 2022-07-14 2022-11-18 鹏城实验室 一种大规模mimo稀疏信道估计方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080270055A1 (en) * 2007-02-21 2008-10-30 Christopher John Rozell Analog system for computing sparse codes
CN105849749A (zh) * 2013-11-15 2016-08-10 英特尔公司 使用分布式关联记忆库确定数据相关及其中的收敛的方法、系统和计算机程序产品
US20170293825A1 (en) * 2016-04-08 2017-10-12 Wuhan University Method and system for reconstructing super-resolution image
CN109977470A (zh) * 2019-02-20 2019-07-05 华中科技大学 一种基于忆阻Hopfield神经网络实现稀疏编码的电路及其操作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080270055A1 (en) * 2007-02-21 2008-10-30 Christopher John Rozell Analog system for computing sparse codes
CN105849749A (zh) * 2013-11-15 2016-08-10 英特尔公司 使用分布式关联记忆库确定数据相关及其中的收敛的方法、系统和计算机程序产品
US20170293825A1 (en) * 2016-04-08 2017-10-12 Wuhan University Method and system for reconstructing super-resolution image
CN109977470A (zh) * 2019-02-20 2019-07-05 华中科技大学 一种基于忆阻Hopfield神经网络实现稀疏编码的电路及其操作方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丰上 等: "音乐信号稀疏分析方法研究", 《音乐信号稀疏分析方法研究》 *
代月霞: "基于深度学习的EIT图像重建算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
李海峰 等: "面向事件相关电位成分的稀疏字典构建方法", 《信号处理》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364877A (zh) * 2020-11-30 2021-02-12 北京工业大学 基于等角框架的冗余稀疏变换方法、装置及学习方法
CN112613230A (zh) * 2020-12-15 2021-04-06 云南电网有限责任公司 基于神经网络的网络切片资源动态划分方法及装置
CN115361258A (zh) * 2022-07-14 2022-11-18 鹏城实验室 一种大规模mimo稀疏信道估计方法及相关设备
CN115361258B (zh) * 2022-07-14 2023-06-16 鹏城实验室 一种大规模mimo稀疏信道估计方法及相关设备

Similar Documents

Publication Publication Date Title
CN110766139A (zh) 一种复合神经网络模型及其建模方法
CN108900346B (zh) 基于lstm网络的无线网络流量预测方法
CN110020682B (zh) 一种基于小样本学习的注意力机制关系对比网络模型方法
Suliman et al. A review on back-propagation neural networks in the application of remote sensing image classification
US10762426B2 (en) Multi-iteration compression for deep neural networks
WO2020019236A1 (en) Loss-error-aware quantization of a low-bit neural network
Xia et al. Quaternion-valued echo state networks
Ding et al. Studies on optimization algorithms for some artificial neural networks based on genetic algorithm (GA).
CN111104513B (zh) 一种游戏平台用户问答业务的短文本分类方法
CN109345446B (zh) 一种基于对偶学习的图像风格转移算法
Honkela et al. Unsupervised variational Bayesian learning of nonlinear models
Koneru et al. Sparse artificial neural networks using a novel smoothed LASSO penalization
CN110472280A (zh) 一种基于生成对抗神经网络的功率放大器行为建模方法
KR100306848B1 (ko) 신경회로망을 이용한 선택적 주의집중 방법
WO2020198132A1 (en) Residual semi-recurrent neural networks
CN113780664A (zh) 基于tdt-ssa-bp的时间序列预测方法
Goh et al. Nonlinear adaptive prediction of complex-valued signals by complex-valued PRNN
CN108538301B (zh) 一种基于神经网络音频技术的智能数码乐器
Larsen et al. Adaptive regularization in neural network modeling
Huang et al. FPGA implementation of 4-channel ICA for on-line EEG signal separation
CN110598737B (zh) 一种深度学习模型的在线学习方法、装置、设备及介质
CN112906861A (zh) 神经网络优化方法及装置
CN113190664B (zh) 一种面向多轮对话中回复情感的动态决策方法
CN114363262B (zh) 一种空天地一体化网络下的混沌动态拥塞预测系统及方法
CN108304913A (zh) 一种利用脉冲神经元阵列来实现卷积功能的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207