CN109754008B - 基于矩阵分解的高维对称稀疏网络缺失信息的估计方法 - Google Patents
基于矩阵分解的高维对称稀疏网络缺失信息的估计方法 Download PDFInfo
- Publication number
- CN109754008B CN109754008B CN201811620484.4A CN201811620484A CN109754008B CN 109754008 B CN109754008 B CN 109754008B CN 201811620484 A CN201811620484 A CN 201811620484A CN 109754008 B CN109754008 B CN 109754008B
- Authority
- CN
- China
- Prior art keywords
- matrix
- dimensional
- sparse network
- objective function
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于矩阵分解的高维对称稀疏网络缺失信息的估计方法,本方法首先初始化低维潜在特征矩阵,确定其个数和矩阵内部元素的初始化数值;基于高维对称稀疏网络中的已知元素设计目标函数;利用梯度学习方法,设计目标函数的求解算法;通过求解算法,最小化目标函数,得到潜在特征矩阵;将潜在特征矩阵相乘,得到高维对称稀疏网络的估计矩阵,由估计矩阵得到高维对称稀疏网络中的缺失信息。本方法克服现有从高维稀疏矩阵中提取有用信息的缺陷,提高缺失信息估计准确度和计算效率,并保证满足预测对称性和非负性。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于矩阵分解的高维对称稀疏网络缺失信息的估计方法。
背景技术
随着工业4.0时代的到来,许多工业中的应用,如社会服务网络、电子商务系统、生物信息应用、无线传感网络等,其规模也呈现爆炸式增长。在某些情况下,由于观察这些应用的内部实体之间的关系存在困难。因此高维稀疏矩阵成为描述这种不完全关系的一种常见形式。
尽管高维稀疏矩阵是稀疏的,但是仍然包含着大量的有用信息。例如,在推荐系统中的用户偏好、生物工程中的蛋白质连接、无线传感网络中的相对距离等。目前,已经有大量的模型已经被提出并用来从这类高维稀疏矩阵中提出有用信息,其中基于矩阵二分解的潜在特征模型就是重要的一种。首先,初始化低维潜在特征矩阵时,即将原来的矩阵分解为两个潜在特征矩阵,由于潜在特征矩阵中自由变量的个数较少,故此预测出来的数据往往准确度较低,不够理想。其次,基于高维对称稀疏矩阵设计目标函数时,需要将已知稀疏矩阵预填充,这种计算方式的效率较低。
尽管某些工业中的数据可以为负数,然而对于某些数据而言,如用户的偏爱程度、潜在的蛋白质连接、可能的结点距离等,这些数据都是非负的。在某些情况下,如对于特定的社会服务网络、特定结点下的无线传感网络,表示这些网络的高维稀疏矩阵不仅内部元素是非负的而且是对称的,则此时基于矩阵二分解的潜在特征估计模型不能同时兼顾满足这两个约束条件。
如何高效合理地利用已知网络中的有效信息,同时满足对称性和非负性两个特征,已成为研究针对高维对称稀疏网络的缺失信息估计方法的一个重要课题。因此,本领域的技术人员致力于开发一种针对高维对称稀疏网络的缺失信息估计方法,以提高现有方法的估计准确度和计算效率,并保证满足预测对称性和非负性。
发明内容
本发明所要解决的技术问题是提供一种基于矩阵分解的高维对称稀疏网络缺失信息的估计方法,本方法克服现有从高维稀疏矩阵中提取有用信息的缺陷,提高缺失信息估计准确度和计算效率,并保证满足预测对称性和非负性。
为解决上述技术问题,本发明基于矩阵分解的高维对称稀疏网络缺失信息的估计方法包括如下步骤:
步骤一、初始化低维潜在特征矩阵,确定低维潜在特征矩阵的个数和矩阵内部元素的初始化数值;
步骤二、基于高维对称稀疏网络中的已知元素设计目标函数;
步骤三、依据设计的目标函数,利用梯度学习方法,设计目标函数的求解算法;
步骤四、通过求解算法,最小化目标函数,得到潜在特征矩阵;
步骤五、将潜在特征矩阵相乘,得到高维对称稀疏网络的估计矩阵,由估计矩阵得到高维对称稀疏网络中的缺失信息。
进一步,所述初始化低维潜在特征矩阵包括如下步骤:
1)确定潜在特征矩阵分别为V|N|×d,Sd×d和其中,N为高维对称稀疏矩阵的维数,d为潜在特征矩阵的维数,且d<<N;V|N|×d是一个行数为N、列数为d且内部元素为[0,1]之间的随机数矩阵;Sd×d是一个行数为d、列数为d且内部元素为[0,1]之间的随机数对称矩阵,是V|N|×d的转置矩阵;
2)对潜在特征矩阵的元素初始化时,随机赋予[0,1]之间的数值。
进一步,所述目标函数引入正则化项,用Q|N|×|N|表示高维对称稀疏网络,Λ表示已知元素的集合,则目标函数可以表示为:
其中,qi,j为已知的高维对称稀疏网络Q|N|×|N|中第(i,j)位置上的元素;vi,k为潜在特征矩阵V|N|×d中第(i,k)位置上的元素;sk,m为潜在特征矩阵Sd×d中第(k,m)位置上的元素;vj,m为潜在特征矩阵V|N|×d中第(j,m)位置上的元素;λv为目标函数中关于潜在特征矩阵V|N|×d和的正则化项参数;λs为目标函数中关于潜在特征矩阵Sd×d的正则化项参数。
进一步,所述梯度学习方法通过合理设计关于潜在特征矩阵V|N|×d的学习率ηi,k:
和关于潜在特征矩阵Sd×d的学习率ηk,m:
来消除迭代更新公式中的负数项,从而保证潜在特征的非负性。
由于本发明基于矩阵分解的高维对称稀疏网络缺失信息的估计方法采用了上述技术方案,即本方法首先初始化低维潜在特征矩阵,确定其个数和矩阵内部元素的初始化数值;基于高维对称稀疏网络中的已知元素设计目标函数;利用梯度学习方法,设计目标函数的求解算法;通过求解算法,最小化目标函数,得到潜在特征矩阵;将潜在特征矩阵相乘,得到高维对称稀疏网络的估计矩阵,由估计矩阵得到高维对称稀疏网络中的缺失信息。本方法克服现有从高维稀疏矩阵中提取有用信息的缺陷,提高缺失信息估计准确度和计算效率,并保证满足预测对称性和非负性。
附图说明
下面结合附图和实施方式对本发明作进一步的详细说明:
图1为本方法的流程框图;
图2为本发明实施例中的验证对称效果图;
图3为本发明实施例中的计算迭代收敛图。
具体实施方式
实施例如图1所示,本发明基于矩阵分解的高维对称稀疏网络缺失信息的估计方法包括如下步骤:
步骤一、初始化低维潜在特征矩阵,确定低维潜在特征矩阵的个数和矩阵内部元素的初始化数值;
步骤二、基于高维对称稀疏网络中的已知元素设计目标函数;
步骤三、依据设计的目标函数,利用梯度学习方法,设计目标函数的求解算法;
步骤四、通过求解算法,最小化目标函数,得到潜在特征矩阵;
步骤五、将潜在特征矩阵相乘,得到高维对称稀疏网络的估计矩阵,由估计矩阵得到高维对称稀疏网络中的缺失信息。
优选的,所述初始化低维潜在特征矩阵包括如下步骤:
1)确定潜在特征矩阵分别为V|N|×d,Sd×d和其中,N为高维对称稀疏矩阵的维数,d为潜在特征矩阵的维数,且d<<N;V|N|×d是一个行数为N、列数为d且内部元素为[0,1]之间的随机数矩阵;Sd×d是一个行数为d、列数为d且内部元素为[0,1]之间的随机数对称矩阵,是V|N|×d的转置矩阵;
2)对潜在特征矩阵的元素初始化时,随机赋予[0,1]之间的数值。
优选的,所述目标函数引入正则化项,用Q|N|×|N|表示高维对称稀疏网络,Λ表示已知元素的集合,则目标函数可以表示为:
其中,qi,j为已知的高维对称稀疏网络Q|N|×|N|中第(i,j)位置上的元素;vi,k为潜在特征矩阵V|N|×d中第(i,k)位置上的元素;sk,m为潜在特征矩阵Sd×d中第(k,m)位置上的元素;vj,m为潜在特征矩阵V|N|×d中第(j,m)位置上的元素;λv为目标函数中关于潜在特征矩阵V|N|×d和的正则化项参数;λs为目标函数中关于潜在特征矩阵Sd×d的正则化项参数。
优选的,所述梯度学习方法通过合理设计关于潜在特征矩阵V|N|×d的学习率ηi,k:
和关于潜在特征矩阵Sd×d的学习率ηk,m:
来消除迭代更新公式中的负数项,从而保证潜在特征的非负性。
本方法在设计的相关算法的作用下,可以充分利用网络中存在的已知信息,从而有效提高计算效率,利用潜在特征矩阵与其转置及中间数据关系对称矩阵三者相乘,保证估计出的矩阵具有对称性,合理地设计学习率η,保证潜在特征矩阵为非负矩阵,本方法针对现实工业中存在的高维对称稀疏网络可以直接应用。
在本发明的一个较佳的实施案例中,首先初始化低维潜在特征矩阵,并在此基础上依据高维对称稀疏网络中的已知元素,设计目标函数;其次利用梯度学习法设计算法,通过使得目标函数值最小,而获得潜在特征矩阵,最终通过潜在特征矩阵相乘,得到原来高维对称稀疏网络的估计矩阵,从而得到原来相对应的矩阵的估计值。
本方法具体包括以下步骤:
第一步:初始化低维潜在特征矩阵;
第二步:基于高维对称稀疏网络中的已知元素设计目标函数;
所谓的已知元素是指:只需考虑高维对称稀疏网路中的已知元素,因此针对高维对称稀疏网络不需要进行预填充处理。
所谓的设计目标函数是指:为防止估计过程出现过拟合现象,此引入正则化原则,用Q|N|×|N|表示高维对称稀疏网络,L表示已知元素的集合,则目标函数可以表示为:
第三步:依据以上提出的目标函数,利用梯度学习法,设计目标函数的求解算法;
和
其中:J为目标函数,qi,j为已知的高维对称稀疏网络Q|N|×|N|中第(i,j)位置上的元素;vi,k为潜在特征矩阵V|N|×d中第(i,k)位置上的元素;sk,m为潜在特征矩阵Sd×d中第(k,m)位置上的元素;vj,m为潜在特征矩阵V|N|×d中第(j,m)位置上的元素;λv为目标函数中关于潜在特征矩阵V|N|×d和的正则化项参数;λs为目标函数中关于潜在特征矩阵Sd×d的正则化项参数,ηi,k为关于潜在特征元素vi,k的迭代更新学习率,ηk,m为关于潜在特征元素sk,m的迭代更新学习率,ηj,m为关于潜在特征元素vj,m的迭代更新学习率;
第四步:通过以上设计算法最小化目标函数,得到潜在特征矩阵;
所谓的设计算法指的是:由于vi,k和vj,m两项等价,所以只需更新迭代vi,k和sk,m两项,在vi,k中,由第三步中的公式可以看出,其中的负数项为:
则,设学习率η为:
在sk,m中,由第三步的公式可以看出,其中的负数项为
则,设置学习率η为:
根据以上可以推导出来更新公式为:
所谓的得到潜在特征矩阵指的是:对以上公式进行迭代,当出现以下两种情况之一时,将会停止迭代,则此时得到的矩阵V和S,即为潜在特征矩阵。(1)当迭代的次数达到1000次,(2)当迭代前后两次的矩阵对应位置的数值之差小于10-6;
第五步:将初始化低维潜在特征矩阵相乘,得到高维对称稀疏网络的估计矩阵,从而得到高维对称稀疏网络中的缺失信息的估计值。
本方法采用矩阵三分解的思路,算法设计简单,依据原有的高维稀疏网络中的已有信息来设计目标函数,从而避免了将现有稀疏矩阵进行预填充的过程,从而提高了计算效率。在设计目标函数时,引入正则化项,从而避免了过拟合现象的发生,提高了预测数据的精准度。在潜在矩阵更新迭代时,利用梯度法并设计学习率η,从而巧妙地保证预测信息的非负性。
以下结合附图对本方法的构思,具体算法结构及产生的技术效果做进一步说明,以充分了解本发明的目的、特征和效果。
按照算法结构,本方法的步骤如下:
1、以某一声呐探测数据集为例,它是由美国索尔克研究所和加州大学及盟军信号航空航天技术中心共同公布的,这批数据由111个传感器在不同角度和不同状态下的金属声呐反射信号中采集,具体来说这个数据集包含1081600个数据,数据的大小范围为[0,1],数据集的数据密度为43.04%(已知数据的个数占数据集大小的百分比);
2、选取评价指标式来评价估计准确度,其中,|·|abs表示内部元素的绝对值,qi,j为高维对称稀疏网络Qi,j中第(i,j)位置上真实的缺失数据元素数据值,为高维对称稀疏网络Qi,j中第(i,j)位置上通过本发明提出的矩阵分解预测方法的缺失数据的估计预测值,Г表示缺失数据的集合,|Г|表示为缺失数据的集合中元素的个数;;NMAE越小则代表预测的准确度越高,反之,则表示预测精准度较差;设置参数n=3000,d=15,λv=λs=0.6,N=104,为方便计算将数据的大小范围扩充为[0,5];
3、按照以上参数及图1中的算法框架进行计算,与此同时,选取相同的参数和评价指标,将本方法与现有的基于矩阵二分解的针对高维对称稀疏网络的信息估计方法进行比较,并且重复实验五十次;
5、选取五十次实验结果中最好、最差和平均的NMAE并记录如下表1中,在d=15时,记录计算收敛过程,如图3所示;
表1
从表1和图3可以看出,本方法在预测精度方面,优于现有的矩阵二分解的信息估计模型,由此可看出,本方法可对高维对称稀疏网络中的缺失信息进行较高精度的预测。
本方法利用矩阵三分解技术进行稀疏数据估计,并且相关模型及算法设计简单易行,适用于相关工业数据分析,可以直接工作于现有的实际网络环境,具有计算效率高、数据存储量低、估计的数据分布对称、数据估计准确度高的特点。
Claims (2)
1.一种基于矩阵分解的高维对称稀疏网络缺失信息的估计方法,其特征在于本方法包括如下步骤:
其中,N为高维对称稀疏矩阵的维数,d为潜在特征矩阵的维数,且d<<N;V|N|×d是一个行数为N、列数为d且内部元素为[0,1]之间的随机数矩阵;Sd×d是一个行数为d、列数为d且内部元素为[0,1]之间的随机数对称矩阵,是V|N|×d的转置矩阵,初始化低维潜在特征矩阵,并随机赋予[0,1]之间的数值;
步骤二、基于高维对称稀疏网络中的已知元素设计目标函数;
步骤三、依据设计的目标函数,利用梯度学习方法,设计目标函数的求解算法;
步骤四、通过求解算法,最小化目标函数,得到潜在特征矩阵;
步骤五、将潜在特征矩阵相乘,得到高维对称稀疏网络的估计矩阵,由估计矩阵得到高维对称稀疏网络中的缺失信息;
其中,所述目标函数引入正则化项,用Q|N|×|N|表示高维对称稀疏网络,Λ表示已知元素的集合,则目标函数可以表示为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811620484.4A CN109754008B (zh) | 2018-12-28 | 2018-12-28 | 基于矩阵分解的高维对称稀疏网络缺失信息的估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811620484.4A CN109754008B (zh) | 2018-12-28 | 2018-12-28 | 基于矩阵分解的高维对称稀疏网络缺失信息的估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109754008A CN109754008A (zh) | 2019-05-14 |
CN109754008B true CN109754008B (zh) | 2022-07-19 |
Family
ID=66404403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811620484.4A Active CN109754008B (zh) | 2018-12-28 | 2018-12-28 | 基于矩阵分解的高维对称稀疏网络缺失信息的估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109754008B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597440A (zh) * | 2020-05-06 | 2020-08-28 | 上海理工大学 | 一种基于内在加权矩阵三分解低秩近似的推荐系统信息估计方法 |
WO2022006734A1 (zh) * | 2020-07-07 | 2022-01-13 | 香港中文大学(深圳) | 一种数据稀疏投影算法、系统、电子装置及存储介质 |
CN113156811B (zh) * | 2020-12-29 | 2022-10-11 | 上海理工大学 | 一种航天器姿态控制系统的自触发模糊模型预测控制器的设计方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495876A (zh) * | 2011-12-02 | 2012-06-13 | 浙江大学 | 一种基于非负局部坐标分解的聚类方法 |
CN105930308A (zh) * | 2016-04-14 | 2016-09-07 | 中国科学院西安光学精密机械研究所 | 基于低秩恢复的非负矩阵分解方法 |
CN105976070A (zh) * | 2016-05-27 | 2016-09-28 | 北京交通大学 | 基于重点元素的矩阵分解及微调方法 |
CN107133930A (zh) * | 2017-04-30 | 2017-09-05 | 天津大学 | 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法 |
CN107203787A (zh) * | 2017-06-14 | 2017-09-26 | 江西师范大学 | 一种无监督正则化矩阵分解特征选择方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10304008B2 (en) * | 2015-03-20 | 2019-05-28 | Nec Corporation | Fast distributed nonnegative matrix factorization and completion for big data analytics |
-
2018
- 2018-12-28 CN CN201811620484.4A patent/CN109754008B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495876A (zh) * | 2011-12-02 | 2012-06-13 | 浙江大学 | 一种基于非负局部坐标分解的聚类方法 |
CN105930308A (zh) * | 2016-04-14 | 2016-09-07 | 中国科学院西安光学精密机械研究所 | 基于低秩恢复的非负矩阵分解方法 |
CN105976070A (zh) * | 2016-05-27 | 2016-09-28 | 北京交通大学 | 基于重点元素的矩阵分解及微调方法 |
CN107133930A (zh) * | 2017-04-30 | 2017-09-05 | 天津大学 | 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法 |
CN107203787A (zh) * | 2017-06-14 | 2017-09-26 | 江西师范大学 | 一种无监督正则化矩阵分解特征选择方法 |
Non-Patent Citations (2)
Title |
---|
An Inherently Nonnegative Latent Factor Model for High-Dimensional and Sparse Matrices from Industrial Applications;Xin Luo 等;《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》;20180531;第14卷(第05期);第2011-2022页 * |
一种基于差分隐私保护的协同过滤推荐方法;何明 等;《计算机研究与发展》;20171231;第54卷(第07期);第1439-1451页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109754008A (zh) | 2019-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109118564B (zh) | 一种基于融合体素的三维点云标记方法和装置 | |
CN109754008B (zh) | 基于矩阵分解的高维对称稀疏网络缺失信息的估计方法 | |
WO2016168235A1 (en) | Fine-grained image classification by exploring bipartite-graph labels | |
CN110705029B (zh) | 一种基于迁移学习的振荡扑翼能量采集系统流场预测方法 | |
CN112488791A (zh) | 一种基于知识图谱卷积算法的个性化推荐方法 | |
CN111753952A (zh) | 学习包括高斯过程的概率模型的参数 | |
WO2023201924A1 (zh) | 对象缺陷检测方法、装置、计算机设备和存储介质 | |
Gong et al. | Missing value imputation for multi-view urban statistical data via spatial correlation learning | |
CN111260660B (zh) | 一种基于元学习的3d点云语义分割迁移方法 | |
CN111488498A (zh) | 基于图神经网络的“节点-图”跨层图匹配方法及系统 | |
CN110008348B (zh) | 结合节点和边进行网络图嵌入的方法和装置 | |
CN113066528B (zh) | 基于主动半监督图神经网络的蛋白质分类方法 | |
CN114399642A (zh) | 一种卷积神经网络荧光光谱特征提取方法 | |
CN117150937A (zh) | 一种模具温度预测方法、装置、设备及存储介质 | |
CN110163224A (zh) | 一种可在线学习的辅助数据标注方法 | |
CN114882279B (zh) | 基于直推式半监督深度学习的多标签图像分类方法 | |
CN110993121A (zh) | 一种基于双协同线性流形的药物关联预测方法 | |
CN113903016B (zh) | 分岔点检测方法、装置、计算机设备和存储介质 | |
CN116383441A (zh) | 社群检测方法、装置、计算机设备和存储介质 | |
CN111652246B (zh) | 一种基于深度学习的图像自适应稀疏化表征方法及装置 | |
CN115481256A (zh) | 基于卷积四元数的逆向关系旋转嵌入知识表示方法及系统 | |
JP6993250B2 (ja) | コンテンツ特徴量抽出装置、方法、及びプログラム | |
CN113704570A (zh) | 基于自监督学习式进化的大规模复杂网络社区检测方法 | |
Chattopadhyay et al. | A novel biclustering based missing value prediction method for microarray gene expression data | |
CN112883976A (zh) | 基于点云的语义分割方法、装置、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |