CN104851116A - 一种近红外光谱数据压缩方法、装置及系统 - Google Patents

Abstract

本发明实施例公开了一种近红外光谱数据压缩方法、装置及系统，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题。本发明实施例方法包括：近红外光谱数据压缩方法包括：根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合；对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数；通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果。

Description

一种近红外光谱数据压缩方法、装置及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种近红外光谱数据压缩方法、装置及系统。

背景技术

近红外光谱分析技术是一种快速、准确的分析技术，已经得到了广泛的应用。近红外光谱数据量大，需要较大的存储空间。而且通常样品数目非常大，少则数十，多则成百上千；相应地，存储空间少则几兆，多则成百上千兆。如果光谱数据量大，则需要较长时间建立和维护模型，从而导致模型建立和维护工作冗长繁琐。随着近红外光谱技术的进一步发展和研究的不断深入，如何在不丢失重要信息的前提下，有效地压缩数据，以节省存储空间，并在传输时节省网络资源，成为人们面临的问题。因此，在近红外光谱数据传输时，对光谱数据进行压缩处理是具有一定的实际意义的。稀疏表示是光谱图像处理及计算机视觉领域的关键技术之一，它要求把图像现行展开中大部分基函数的稀疏的绝对值都接近于零，只有少数基函数具有较大的非零系数，并且有限的大系数能够表示出原图的大部分信息，以此实现近红外光谱图像的压缩。

传统的文件传输方式采用的是直接将原文件发送给接收方，但网络具有动态性、不稳定性的特点，将原文件不经压缩直接发送给接收方不仅消耗过多的网络资源，而且在接收方占用的存储空间比较大。

因此，在众多的文件传输应用中，如何将近红外光谱数据文件进行有效压缩，从而实现资源利用，并能节省较大的存储空间的技术问题已经成为本领域技术人员亟待解决的技术问题。

发明内容

本发明实施例提供了一种近红外光谱数据压缩方法、装置及系统，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题。

本发明实施例中的一种近红外光谱数据压缩方法，包括：

根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合；

对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数；

通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。

优选地，

根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合具体包括：

通过使用K-SVD公式对所述近红外光谱数据对应的所述冗余字典进行训练，其中，||x_i||＜T₀，i＝1,2,3,…N，Y为校正集光谱Y^cal和验证集光谱Y^tst的光谱组合Y＝[Y^cal,Y^tst]，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字典，所述目标函数为

优选地，

对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数具体包括：

训练过程中的多个所述光谱样本通过使用OMP算法(OrthogonalMatching Pursuit，正交匹配追踪算法)结合所述K-SVD算法按照第一预置公式对所述光谱样本求解稀疏表示系数；

其中，所述第一预置公式为||x_i||₀＜T₀,i＝1,2,3,…,N。

优选地，

通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果具体包括：

通过对所述冗余字典中的原子依次进行所述光谱样本的逐列更新，所述逐列更新为每次对一个所述原子进行更新时，非更新原子对应的所述稀疏表示系数为固定；

通过第二预置公式对所述目标函数的惩罚函数进行表示，所述第二预置公式为 ${\left|\right|Y-\mathrm{DX}\left|\right|}_2^2={\left|\right|Y-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{d}_j{x}_T^j\left|\right|}_2^2={\left|\right|(Y-\underset{j\≠K}{\mathrm{\Σ}}{d}_j{x}_T^j)-d_k{x}_T^j\left|\right|}_2^2={\left|\right|E_k-d_k{x}_T^j\left|\right|}_2^2,$ 其中，为去掉第k个原子d_k后稀疏表示误差；

根据所述惩罚函数判断所述目标函数是否满足预置停止条件，若是，则所述近红外光谱数据稀疏表示完成，若否，则继续下一个所述光谱样本的所述稀疏分解步骤和所述字典更新步骤。

优选地，

所述第二预置公式中的所述X通过对所述稀疏表示系数的采用回归算法进行计算；

所述回归算法包括：

通过所述冗余字典D对所述校正集光谱Y^cal和所述验证集光谱Y^tst进行稀疏分解获取校正集稀疏表示系数X^cal和验证集稀疏表示系数X^tst；

根据所述校正集稀疏表示系数X^cal和校正集参数测量值C^cal建立待测参数的偏最小二乘预测模型；

将所述验证集稀疏表示系数X^tst输入至所述偏最小二乘预测模型，获取与所述验证集稀疏表示系数X^tst对应的预测值。

本发明实施例中的一种近红外光谱数据压缩装置，包括：

训练单元，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合；

稀疏表示单元，用于对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数；

更新单元，用于通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。

优选地，

所述训练单元，具体用于通过使用K-SVD公式对所述近红外光谱数据对应的所述冗余字典进行训练，其中，||x_i||＜T₀，i＝1,2,3,…N，Y为校正集光谱Y^cal和验证集光谱Y^tst的光谱组合Y＝[Y^cal,Y^tst]，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字典，所述目标函数为

所述稀疏表示单元，具体用于训练过程中的多个所述光谱样本通过使用OMP算法结合所述K-SVD算法按照第一预置公式对所述光谱样本求解稀疏表示系数。

优选地，

更新单元具体包括：

更新子单元，用于通过对所述冗余字典中的原子依次进行所述光谱样本的逐列更新，所述逐列更新为每次对一个所述原子进行更新时，非更新原子对应的所述稀疏表示系数为固定；

表示子单元，用于通过第二预置公式对所述目标函数的惩罚函数进行表示，所述第二预置公式为 ${\left|\right|Y-\mathrm{DX}\left|\right|}_2^2={\left|\right|Y-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{d}_j{x}_T^j\left|\right|}_2^2={\left|\right|(Y-\underset{j\≠K}{\mathrm{\Σ}}{d}_j{x}_T^j)-d_k{x}_T^j\left|\right|}_2^2={\left|\right|E_k-d_k{x}_T^j\left|\right|}_2^2,$ 其中， $E_k=(Y-\underset{j\≠K}{\Σ}{d}_j{x}_T^j)$ 为去掉第k个原子d_k后稀疏表示误差；

判断子单元，用于根据所述惩罚函数判断所述目标函数是否满足预置停止条件，若是，则所述近红外光谱数据稀疏表示完成，若否，则继续下一个所述光谱样本的所述稀疏分解步骤和所述字典更新步骤；

所述第二预置公式中的所述X通过对所述稀疏表示系数的采用回归算法进行计算；

所述回归算法包括：

通过所述冗余字典D对所述校正集光谱Y^cal和所述验证集光谱Y^tst进行稀疏分解获取校正集稀疏表示系数X^cal和验证集稀疏表示系数X^tst；

根据所述校正集稀疏表示系数X^cal和校正集参数测量值C^cal建立待测参数的偏最小二乘预测模型；

将所述验证集稀疏表示系数X^tst输入至所述偏最小二乘预测模型，获取与所述验证集稀疏表示系数X^tst对应的预测值。

本发明实施例中的一种近红外光谱数据压缩系统，包括：

客户端和服务器端，所述客户端和所述服务器端通信连接；

所述客户端包括第一通信模块、文件处理模块，文件支持模块，以及本发明实施例中提及的任意一种近红外光谱数据压缩装置；

所述第一通信模块，用于将所述客户端和所述服务端进行通信连接；

所述文件处理模块，用于提取待传输文件的文件信息；

所述近红外光谱数据压缩装置，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合，对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数，通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果，使得所述待传输文件压缩完成；

所述文件支持模块，用于将压缩后的待传输文件读取到缓冲区，并通过所述第一通信模块发送至所述服务端。

优选地，

所述服务器端包括：

监听模块、第二通信模块、响应模块、文件维护模块，所述监听模块、所述第二通信模块、所述响应模块、所述文件维护模块两两通信连接；

其中，所述监听模块在完成设置服务器IP地址和端口信息设置之后，所述第二通信模块与所述第一通信模块建立通信连接，所述监听模块对服务器端的端口进行监听，所述响应模块响应所述客户端传来的所述待传输文件，使得所述服务器端进行重复文件查询操作，若不存在所述重复文件，则接收所述缓冲区中的所述待传输文件，文件维护模块进行所述待传输文件的一致性和完整性检验，若检验通过，则所述响应模块将与所述待传输文件相对应的信息经过所述第二通信模块发送给所述客户端。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供了一种近红外光谱数据压缩方法、装置及系统，其中，本发明实施例提供的近红外光谱数据压缩方法包括：根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合；对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数；通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果。本实施例中，通过根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合，对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数，通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果，便实现了对近红外光谱数据的压缩，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例中的一种近红外光谱数据压缩方法的一个实施例的流程示意图；

图2为本发明实施例中的一种近红外光谱数据压缩方法的另一个实施例的流程示意图；

图3为本发明实施例中的一种近红外光谱数据压缩方法的另一个实施例的流程示意图；

图4为本发明实施例中的一种近红外光谱数据压缩装置的一个实施例的结构示意图；

图5为本发明实施例中的一种近红外光谱数据压缩装置的另一个实施例的结构示意图；

图6为本发明实施例中的一种近红外光谱数据压缩系统的一个实施例的结构示意图。

具体实施方式

本发明实施例提供了一种近红外光谱数据压缩方法、装置及系统，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例中的一种近红外光谱数据压缩方法的一个实施例包括：

101、根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数；

本实施例中，当需要对近红外光谱数据的文件进行压缩时，首先需要根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合。

102、对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数；

当根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数之后，需要对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数。

103、通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果。

当对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数，需要通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果。

前述的稀疏分解步骤和字典更新步骤将在后续实施例中进行详细的描述，此处不再赘述。

本实施例中，通过根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合，对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数，通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果，便实现了对近红外光谱数据的压缩，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题。

上面是对近红外光谱数据压缩方法的过程进行详细的描述，下面将对稀疏分解步骤和字典更新步骤进行详细的描述，请参阅图2，本发明实施例中的一种近红外光谱数据压缩方法的另一个实施例包括：

201、通过使用K-SVD公式对近红外光谱数据对应的冗余字典进行训练；

本实施例中，当需要对近红外光谱数据的文件进行压缩时，首先通过使用K-SVD公式对近红外光谱数据对应的冗余字典进行训练，其中，||x_i||＜T₀，i＝1,2,3,…N，Y为校正集光谱Y^cal和验证集光谱Y^tst的光谱组合Y＝[Y^cal,Y^tst]，光谱组合每一列代表一个光谱样本，D为冗余字典，目标函数为其每一列代表一个光谱样本，总计有N个样本。K-SVD方法的目标即是在已知Y的前提下使目标函数最小。

202、训练过程中的多个光谱样本通过使用OMP算法结合K-SVD算法按照第一预置公式对光谱样本求解稀疏表示系数；

当通过使用K-SVD公式对近红外光谱数据对应的冗余字典进行训练之后，需要训练过程中的多个光谱样本通过使用OMP算法结合K-SVD算法按照第一预置公式对光谱样本求解稀疏表示系数。

需要说明的是，第一预置公式为||x_i||₀＜T₀,i＝1,2,3,…,N。

前述的第一预置公式可以是根据近红外光谱的有限维空间Rⁿ中，近红外光谱y∈Rⁿ可由一组单位正交稀疏基D＝[d₁d₂…d_n]线性表示，y＝Dx,d_k∈R^k，因其稀疏性，表示系数x∈R^k中只有少数几个非零元素。矩阵D中列向量代表稀疏基，由于k＞n，则认为D是冗余的(过完备、超完备)的，称为冗余字典。

203、通过对冗余字典中的原子依次进行光谱样本的逐列更新，逐列更新为每次对一个原子进行更新时，非更新原子对应的稀疏表示系数为固定；

当训练过程中的多个光谱样本通过使用OMP算法结合K-SVD算法按照第一预置公式对光谱样本求解稀疏表示系数之后，需要通过对冗余字典中的原子依次进行光谱样本的逐列更新，逐列更新为每次对一个原子进行更新时，非更新原子对应的稀疏表示系数为固定。

204、通过第二预置公式对目标函数的惩罚函数进行表示；

当通过对冗余字典中的原子依次进行光谱样本的逐列更新之后，需要通过第二预置公式对目标函数的惩罚函数进行表示，第二预置公式为 ${\left|\right|Y-\mathrm{DX}\left|\right|}_2^2={\left|\right|Y-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{d}_j{x}_T^j\left|\right|}_2^2={\left|\right|(Y-\underset{j\≠K}{\mathrm{\Σ}}{d}_j{x}_T^j)-d_k{x}_T^j\left|\right|}_2^2={\left|\right|E_k-d_k{x}_T^j\left|\right|}_2^2,$ 其中， $E_k=(Y-\underset{j\≠K}{\Σ}{d}_j{x}_T^j)$ 为去掉第k个原子d_k后稀疏表示误差。

205、根据惩罚函数判断目标函数是否满足预置停止条件，若是，则执行步骤206，若否，则继续下一个光谱样本，并执行步骤202至205进行所示稀疏分解步骤和字典更新步骤；

当通过第二预置公式对目标函数的惩罚函数进行表示之后，需要根据惩罚函数判断目标函数是否满足预置停止条件，若是，则执行步骤206，若否，则继续下一个光谱样本，并执行步骤202至205进行所示稀疏分解步骤和字典更新步骤，前述的停止条件可以是疏表示误差达到停止条件，也可以是迭代次数达到预设的停止条件。

206、近红外光谱数据稀疏表示完成。

当根据惩罚函数判断目标函数是满足预置停止条件，则近红外光谱数据稀疏表示完成。需要说明的是，步骤205的停止条件判断还可以是重复下面步骤一和步骤二直到满足停止条件进行实现：

步骤一：找出残差r_i与字典中的某个原子d_j内积最大值对应的标号， ${\mathrm{\λ}}_i=\underset{j=1,2,...k}{\arg \max }\left|(r_i,d_j)\right|,$ 并更新索引集Λ_i＝Λ_i-1∪{λ_i}和 $D_i=\[D_{i-1},d_{{\mathrm{\λ}}_i}\];$

步骤二：由最小二乘法得到当前光谱的最优逼近x′_i＝argmin₂||y-D′_ix′||₂，并更新残差r_i＝y-D′_ix′_i。

本实施例中，通过根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合，对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数，通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果，便实现了对近红外光谱数据的压缩，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题，以及通过稀疏分解步骤和字典更新步骤的结合进行稀疏表示，有效地提高了近红外光谱数据的压缩效率。

上面是对稀疏分解步骤和字典更新步骤进行详细的描述，下面将对第二预置公式中的X通过对稀疏表示系数的采用回归算法进行计算的过程进行详细的描述，请参阅图3，本发明实施例中的一种近红外光谱数据压缩方法的另一个实施例包括：

301、通过冗余字典D对校正集光谱Y^cal和验证集光谱Y^tst进行稀疏分解获取校正集稀疏表示系数X^cal和验证集稀疏表示系数X^tst；

在图2实施例中的步骤202完成对近红外光谱冗余字典稀疏表示系数x的求解后，将x系数代替光谱y与该光谱对应的样本参数建立回归预测模型可以提高近红外光谱预测得精度，首先需要通过冗余字典D对校正集光谱Y^cal和验证集光谱Y^tst进行稀疏分解获取校正集稀疏表示系数X^cal和验证集稀疏表示系数X^tst。

302、根据校正集稀疏表示系数X^cal和校正集参数测量值C^cal建立待测参数的偏最小二乘预测模型；

当通过冗余字典D对校正集光谱Y^cal和验证集光谱Y^tst进行稀疏分解获取校正集稀疏表示系数X^cal和验证集稀疏表示系数X^tst之后，需要根据校正集稀疏表示系数X^cal和校正集参数测量值C^cal建立待测参数的偏最小二乘预测模型(PLS)。

303、将验证集稀疏表示系数X^tst输入至偏最小二乘预测模型，获取与验证集稀疏表示系数X^tst对应的预测值。

当根据校正集稀疏表示系数X^cal和校正集参数测量值C^cal建立待测参数的偏最小二乘预测模型之后，需要将验证集稀疏表示系数X^tst输入至偏最小二乘预测模型，获取与验证集稀疏表示系数X^tst对应的预测值，该预测值是指光谱的某一物理化学参数的预测值，主要用来用验证集光谱参数的这个预测值来评价光谱稀疏表示的准确性。

请参阅图4，本发明实施例中提供的一种近红外光谱数据压缩装置的一个实施例包括：

训练单元401，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合；

稀疏表示单元402，用于对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数；

更新单元403，用于通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果。

本实施例中，通过训练单元401根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合，稀疏表示单元402对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数，更新单元403通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果，便实现了对近红外光谱数据的压缩，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题。

上面是对近红外光谱数据压缩装置的各单元进行详细的描述，下面将对子单元进行详细的描述，请参阅图5，本发明实施例中提供的一种近红外光谱数据压缩装置的另一个实施例包括：

训练单元501，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合，训练单元501，具体用于通过使用K-SVD公式对近红外光谱数据对应的冗余字典进行训练，其中，||x_i||＜T₀，i＝1,2,3,…N，Y为校正集光谱Y^cal和验证集光谱Y^tst的光谱组合Y＝[Y^cal,Y^tst]，光谱组合每一列代表一个光谱样本，D为冗余字典，目标函数为

稀疏表示单元502，用于对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数，稀疏表示单元502，具体用于训练过程中的多个光谱样本通过使用OMP算法结合K-SVD算法按照第一预置公式对光谱样本求解稀疏表示系数；

更新单元503，用于通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果。

更新单元503具体包括：

更新子单元5031，用于通过对冗余字典中的原子依次进行光谱样本的逐列更新，逐列更新为每次对一个原子进行更新时，非更新原子对应的稀疏表示系数为固定；

表示子单元5032，用于通过第二预置公式对目标函数的惩罚函数进行表示，第二预置公式为 ${\left|\right|Y-\mathrm{DX}\left|\right|}_2^2={\left|\right|Y-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{d}_j{x}_T^j\left|\right|}_2^2={\left|\right|(Y-\underset{j\≠K}{\mathrm{\Σ}}{d}_j{x}_T^j)-d_k{x}_T^j\left|\right|}_2^2={\left|\right|E_k-d_k{x}_T^j\left|\right|}_2^2,$ 其中，为去掉第k个原子d_k后稀疏表示误差；

判断子单元5033，用于根据惩罚函数判断目标函数是否满足预置停止条件，若是，则近红外光谱数据稀疏表示完成，若否，则继续下一个光谱样本的所示稀疏分解步骤和字典更新步骤；

第二预置公式中的X通过对稀疏表示系数的采用回归算法进行计算；

回归算法包括：

通过冗余字典D对校正集光谱Y^cal和验证集光谱Y^tst进行稀疏分解获取校正集稀疏表示系数X^cal和验证集稀疏表示系数X^tst；

根据校正集稀疏表示系数X^cal和校正集参数测量值C^cal建立待测参数的偏最小二乘预测模型；

将验证集稀疏表示系数X^tst输入至偏最小二乘预测模型，获取与验证集稀疏表示系数X^tst对应的预测值。

本实施例中，通过训练单元501根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合，稀疏表示单元502对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数，更新单元503通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果，便实现了对近红外光谱数据的压缩，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题，以及通过稀疏分解步骤和字典更新步骤的结合进行稀疏表示，有效地提高了近红外光谱数据的压缩效率。

请参阅图6，本发明实施例中的一种近红外光谱数据压缩系统的一个实施例包括：

客户端61和服务器端62，客户端61和服务器端62通信连接；

客户端61包括第一通信模块611、文件处理模块612、文件支持模块613、以及本发明实施例中提及的任意一种近红外光谱数据压缩装置614；

第一通信模块611，用于将客户端61和服务端62进行通信连接；

文件处理模块612，用于提取待传输文件的文件信息；

近红外光谱数据压缩装置614，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合，对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数，通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果，使得待传输文件压缩完成；

文件支持模块613，用于将压缩后的待传输文件读取到缓冲区，并通过第一通信模块611发送至服务端62。

进一步地，

服务器端62包括：

监听模块621、第二通信模块622、响应模块623、文件维护模块624，监听模块621、第二通信模块622、响应模块623、文件维护模块624两两通信连接；

其中，监听模块621在完成设置服务器IP地址和端口信息设置之后，第二通信模块622与第一通信模块611建立通信连接，监听模块621对服务器端62的端口进行监听，响应模块623响应客户端61传来的待传输文件，使得服务器端62进行重复文件查询操作，若不存在重复文件，则接收缓冲区中的待传输文件，文件维护模块624进行待传输文件的一致性和完整性检验，若检验通过，则响应模块623将与待传输文件相对应的信息经过第二通信模块621发送给客户端61。

本实施例中的近红外光谱数据压缩系统不仅可以实现实验数据的共享，而且针对近红外光谱数据采用了压缩方法，节省了文件传输时网络资源同时也节省了较大的存储空间。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种近红外光谱数据压缩方法，其特征在于，包括：

根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合；

对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数；

通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。

2.根据权利要求1所述的近红外光谱数据压缩方法，其特征在于，根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合具体包括：

通过使用K-SVD公式对所述近红外光谱数据对应的所述冗余字典进行训练，其中，||x_i||＜T₀，i＝1,2,3,…N，Y为校正集光谱Y^cal和验证集光谱Y^tst的光谱组合Y＝[Y^cal,Y^tst]，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字典，所述目标函数为

3.根据权利要求2所述的近红外光谱数据压缩方法，其特征在于，对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数具体包括：

训练过程中的多个所述光谱样本通过使用OMP算法(OrthogonalMatching Pursuit，正交匹配追踪算法)结合所述K-SVD算法按照第一预置公式对所述光谱样本求解稀疏表示系数；

其中，所述第一预置公式为||x_i||₀＜T₀,i＝1,2,3,…,N。

4.根据权利要求3所述的近红外光谱数据压缩方法，其特征在于，通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果具体包括：

通过对所述冗余字典中的原子依次进行所述光谱样本的逐列更新，所述逐列更新为每次对一个所述原子进行更新时，非更新原子对应的所述稀疏表示系数为固定；

通过第二预置公式对所述目标函数的惩罚函数进行表示，所述第二预置公式为 $\left|\right|Y-\mathrm{DX}{\left|\right|}_2^2=\left|\right|Y-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{d}_j{x}_T^j{\left|\right|}_2^2=\left|\right|(Y-\underset{j\≠K}{\mathrm{\Σ}}{d}_j{x}_T^j)-d_k{x}_T^j{\left|\right|}_2^2=\left|\right|E_k-d_k{x}_T^j{\left|\right|}_2^2,$ 其中，为去掉第k个原子d_k后稀疏表示误差；

根据所述惩罚函数判断所述目标函数是否满足预置停止条件，若是，则所述近红外光谱数据稀疏表示完成，若否，则继续下一个所述光谱样本的所述稀疏分解步骤和所述字典更新步骤。

5.根据权利要求4所述的近红外光谱数据压缩方法，其特征在于，所述第二预置公式中的所述X通过对所述稀疏表示系数的采用回归算法进行计算；

所述回归算法包括：

通过所述冗余字典D对所述校正集光谱Y^cal和所述验证集光谱Y^tst进行稀疏分解获取校正集稀疏表示系数X^cal和验证集稀疏表示系数X^tst；

根据所述校正集稀疏表示系数X^cal和校正集参数测量值C^cal建立待测参数的偏最小二乘预测模型；

将所述验证集稀疏表示系数X^tst输入至所述偏最小二乘预测模型，获取与所述验证集稀疏表示系数X^tst对应的预测值。

6.一种近红外光谱数据压缩装置，其特征在于，包括：

训练单元，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合；

稀疏表示单元，用于对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数；

更新单元，用于通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。

7.根据权利要求6所述的近红外光谱数据压缩装置，其特征在于，所述训练单元，具体用于通过使用K-SVD公式对所述近红外光谱数据对应的所述冗余字典进行训练，其中，||x_i||＜T₀，i＝1,2,3,…N，Y为校正集光谱Y^cal和验证集光谱Y^tst的光谱组合Y＝[Y^cal,Y^tst]，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字典，所述目标函数为

所述稀疏表示单元，具体用于训练过程中的多个所述光谱样本通过使用OMP算法结合所述K-SVD算法按照第一预置公式对所述光谱样本求解稀疏表示系数。

8.根据权利要求7所述的近红外光谱数据压缩装置，其特征在于，更新单元具体包括：

更新子单元，用于通过对所述冗余字典中的原子依次进行所述光谱样本的逐列更新，所述逐列更新为每次对一个所述原子进行更新时，非更新原子对应的所述稀疏表示系数为固定；

表示子单元，用于通过第二预置公式对所述目标函数的惩罚函数进行表示，所述第二预置公式为 $\left|\right|Y-\mathrm{DX}{\left|\right|}_2^2=\left|\right|Y-\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{d}_j{x}_T^j{\left|\right|}_2^2=\left|\right|(Y-\underset{j\≠K}{\mathrm{\Σ}}{d}_j{x}_T^j)-d_k{x}_T^j{\left|\right|}_2^2=\left|\right|E_k-d_k{x}_T^j{\left|\right|}_2^2,$ 其中 $E_k=(Y-\underset{j\≠K}{\mathrm{\Σ}}{d}_j{x}_T^j)$ 为去掉第k个原子d_k后稀疏表示误差；

判断子单元，用于根据所述惩罚函数判断所述目标函数是否满足预置停止条件，若是，则所述近红外光谱数据稀疏表示完成，若否，则继续下一个所述光谱样本的所述稀疏分解步骤和所述字典更新步骤；

所述第二预置公式中的所述X通过对所述稀疏表示系数的采用回归算法进行计算；

所述回归算法包括：

通过所述冗余字典D对所述校正集光谱Y^cal和所述验证集光谱Y^tst进行稀疏分解获取校正集稀疏表示系数X^cal和验证集稀疏表示系数X^tst；

根据所述校正集稀疏表示系数X^cal和校正集参数测量值C^cal建立待测参数的偏最小二乘预测模型；

将所述验证集稀疏表示系数X^tst输入至所述偏最小二乘预测模型，获取与所述验证集稀疏表示系数X^tst对应的预测值。

9.一种近红外光谱数据压缩系统，其特征在于，包括：

客户端和服务器端，所述客户端和所述服务器端通信连接；

所述客户端包括第一通信模块、文件处理模块，文件支持模块，以及如权利要求5至8中任意一项提及的近红外光谱数据压缩装置；

所述第一通信模块，用于将所述客户端和所述服务端进行通信连接；

所述文件处理模块，用于提取待传输文件的文件信息；

所述近红外光谱数据压缩装置，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合，对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数，通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果，使得所述待传输文件压缩完成；

所述文件支持模块，用于将压缩后的待传输文件读取到缓冲区，并通过所述第一通信模块发送至所述服务端。

10.根据权利要求9所述的近红外光谱数据压缩系统，其特征在于，所述服务器端包括：

监听模块、第二通信模块、响应模块、文件维护模块，所述监听模块、所述第二通信模块、所述响应模块、所述文件维护模块两两通信连接；

其中，所述监听模块在完成设置服务器IP地址和端口信息设置之后，所述第二通信模块与所述第一通信模块建立通信连接，所述监听模块对服务器端的端口进行监听，所述响应模块响应所述客户端传来的所述待传输文件，使得所述服务器端进行重复文件查询操作，若不存在所述重复文件，则接收所述缓冲区中的所述待传输文件，文件维护模块进行所述待传输文件的一致性和完整性检验，若检验通过，则所述响应模块将与所述待传输文件相对应的信息经过所述第二通信模块发送给所述客户端。