CN104317792B - 采集的高维数据转换为低维数据的系统及方法 - Google Patents
采集的高维数据转换为低维数据的系统及方法 Download PDFInfo
- Publication number
- CN104317792B CN104317792B CN201410407886.1A CN201410407886A CN104317792B CN 104317792 B CN104317792 B CN 104317792B CN 201410407886 A CN201410407886 A CN 201410407886A CN 104317792 B CN104317792 B CN 104317792B
- Authority
- CN
- China
- Prior art keywords
- dimensional data
- high dimensional
- data
- mrow
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Abstract
一种采集的高维数据转换为低维数据的系统及方法，包括高维数据采集系统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统中包括有用于采集的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用于存放高维数据的队列。这样的结构结合其方法避免了现有技术中导致数据处理系统的硬件的处理效率效果不高、耗时耗力并且在并发执行处理方面严重的会导致死机怠慢处理进程以及如果在实时处理高维数据的环境下这将会导致数据的丢失乃至无法正常反映实时状态信息的缺陷。
Description
技术领域
本发明属于数据采集及处理技术领域，具体涉及一种采集的高维数据转换为低维数据的系统及方法。
背景技术
现有的在科学研究和工程应用中，很多通过数据采集系统采集来的如视频、音频、气候以及图像数据具有高维数据的特点，这种高维数据可以提供丰富而详尽的信息，但是高维数据的处理往往会产生维数过大导致的海量的处理时间，这种问题往往会导致数据处理系统的硬件的处理效率效果不高，耗时耗力并且在并发执行处理方面严重的会导致死机怠慢处理进程，如果在实时处理高维数据的环境下，这将会导致数据的丢失乃至无法正常反映实时状态信息。
发明内容
本发明的目的提供一种采集的高维数据转换为低维数据的系统及方法，包括高维数据采集系统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统中包括有用于采集的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用于存放高维数据的队列。这样的结构结合其方法避免了现有技术中导致数据处理系统的硬件的处理效率效果不高、耗时耗力并且在并发执行处理方面严重的会导致死机怠慢处理进程以及如果在实时处理高维数据的环境下这将会导致数据的丢失乃至无法正常反映实时状态信息的缺陷。
为了克服现有技术中的不足，本发明提供了一种采集的高维数据转换为低维数据的系统及方法的解决方案，具体如下：
一种采集的高维数据转换为低维数据的系统，包括高维数据采集系统1，所述的高维数据采集系统1同数据处理系统2相连接，所述的数据处理系统2中包括有用于采集的高维数据转换为低维数据的模块3，所述的数据处理系统2中包含有用于存放高维数据的队列4。
所述的采集的高维数据转换为低维数据的系统的方法，如下所示：
步骤1：首先高维数据采集系统进行针对视频、音频、气候或者图像数据这样的高维数据的采集，然后将采集到的高维数据发送到数据处理系统2；
步骤2：数据处理系统2接收到高维数据后，然后按照接收的先后顺序把高维数据依次存放到用于存放高维数据的队列4中，启动用于采集的高维数据转换为低维数据的模块3来设定一个n维空间对象V，所述的n维空间对象V内包含有k维空间对象S,k初始设置为0；
步骤3：数据处理系统2然后按先后顺序依次从用于存放高维数据的队列4取出一个高维数据，取出一个高维数据X后，就进行对该高维数据X的特征分量的提取及降维操作，所述的高维数据X表示为(x1,x2,…xn),n为该高维数据的维数；
步骤4：所述的进行对该高维数据的特征分量的提取及降维操作包括首先用于采集的高维数据转换为低维数据的模块3把该高维数据X投影到k维空间对象S所表示的k维空间中，该高维数据X投影到k维空间对象所表示的k维空间S中的方法是根据公式(1)用迭代方法来得到结果向量rk：
所述的i的取值范围为从1到k，k为目前空间对象S的维数，也是目前数据降维后低维的维数，第一系数rk为结果向量，当结果向量的长度||rk||2小于Tk时，k值不变，目前空间对象S也保持不变，在||rk||2大于等于Tk时，求得第k+1系数将bk+1作为新的空间基底加入原k维空间对象S，令空间对象S的维数增加1，k＝k+1。设定r0＝X，而ri＝ri-1-bibi TX，ri为中间向量，Ti为第i阈值，Xmax为在用于存放高维数据的队
列4中数据长度最长的那个高维数据；
步骤5：根据所得到的b1、b2…bk通过公式(2)得到针对该高维数据X的降维数据向量中分量非零的部分Y：
当高维数据的队列全部处理完毕后，根据最终k的取值，将全部高维数据的降维数据向量分量非零的部分补充上分量为零的部分，统一表示为k维的降维后数据向量。
应用本发明上述方案，还可以达到消除数据采集系统采集来的视频、音频、气候以及图像数据这样的高维数据的冗余度、简化高维数据的复杂度、揭示高维数据的内在结构和联系、提高维数据的处理效率、改善降维后的数据可理解性以及提高降维数据的准确反映高维数据的精度的效果。
附图说明
图1为本发明的原理结构示意图。
具体实施方式
绝大多数现有的降维方法都需要用户设定特征空间的维数(目标维数)，这样就重复降维的方法步骤多，导致占用系统的资源也多，并且增大的时间复杂度，许多传统的维数约减方法，需要导出特征向量或进行矩阵求逆运算，需要更大的时间复杂度或导致算法的不稳定。
下面结合附图对发明内容作进一步说明：
参照图1所示，采集的高维数据转换为低维数据的系统，包括高维数据采集系统1，所述的高维数据采集系统1同数据处理系统2相连接，所述的数据处理系统2中包括有用于采集的高维数据转换为低维数据的模块3，所述的数据处理系统2中包含有用于存放高维数据的队列4。
所述的采集的高维数据转换为低维数据的系统的方法，如下所示：
步骤1：首先高维数据采集系统进行针对视频、音频、气候或者图像数据这样的高维数据的采集，然后将采集到的高维数据发送到数据处理系统2；
步骤2：数据处理系统2接收到高维数据后，然后按照接收的先后顺序把高维数据依次存放到用于存放高维数据的队列4中，启动用于采集的高维数据转换为低维数据的模块3来设定一个n维空间对象V，所述的n维空间对象V内包含有k维空间对象S,k初始设置为0；；
步骤3：数据处理系统2然后按先后顺序依次从用于存放高维数据的队列4取出一个高维数据，取出一个高维数据X后，就进行对该高维数据X的特征分量的提取及降维操作，所述的高维数据X表示为(x1,x2,…xn),n为该高维数据的维数；
步骤4：所述的进行对该高维数据的特征分量的提取及降维操作包括首先用于采集的高维数据转换为低维数据的模块3把该高维数据X投影到k维空间对象S所表示的k维空间中，该高维数据X投影到k维空间对象所表示的k维空间S中的方法是根据公式(1)用迭代方法来得到结果向量rk：
所述的i的取值范围为从1到k，k为目前空间对象S的维数，也是目前数据降维后低维的维数，第一系数rk为结果向量，当结果向量的长度||rk||2小于Tk时，k值不变，目前空间对象S也保持不变，在||rk||2大于等于Tk时，求得第k+1系数将bk+1作为新的空间基底加入原k维空间对象S，令空间对象S的维数增加1，k＝k+1。设定r0＝X，而ri＝ri-1-bibi TX，ri为中间向量，Ti为第i阈值，Xmax为在用于存放高维数据的队列4中数据长度最长的那个高维数据，这样能够保证得到的b1、b2…bk能够标准正交，导致独立性就大，降低了冗余度，选取数据长度最长的那个高维数据就能有效的降低降维的误差；
步骤5：根据所得到的b1、b2…bk通过公式(2)得到针对该高维数据X的降维数据向量中分量非零的部分Y：
当高维数据的队列全部处理完毕后，根据最终k的取值，将全部高维数据的降维数据向量分量非零的部分补充上分量为零的部分，统一表示为k维的降维后数据向量。
本发明的方法能够解决绝大多数现有的降维方法的缺点，从而实现自适应地确定目标维数以及无需导出特征向量特征方程或进行矩阵求逆操作，以尽量小的导出数据的数量获取正交的成分向量。并且IOCA计算复杂度为O(Ndk)，N为数据个数，d为原始数据维数，k为目标维数IOCA只需遍历一次数据，便可同时获取正交成分和数据的低维表示，若b1,b2,...,bk为最终获取的正交基底，本发明可以保证这样对于每一个高维数据，都会使得降维后的结果数据经过重构后与原始数据的误差小于利用本发明的方法，在用于存放高维数据的队列中的高维数据数量为100000，当该高维数据的维数分别为1000和5000，运行十次得到如表1的耗时数据：
表1
由此可见降维的幅度较大，耗时也不长。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
Claims (1)
1.一种应用采集的高维数据转换为低维数据的系统的方法，其特征在于该系统包括高维数据采集系统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统中包括有用于采集的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用于存放高维数据的队列，应用该系统的方法，如下所示：
步骤1：首先高维数据采集系统进行针对视频、音频、气候或者图像数据这样的高维数据的采集，然后将采集到的高维数据发送到数据处理系统；
步骤2：数据处理系统接收到高维数据后，然后按照接收的先后顺序把高维数据依次存放到用于存放高维数据的队列中，启动用于采集的高维数据转换为低维数据的模块来设定一个n维空间对象V，所述的n维空间对象V内包含有k维空间对象S，k初始设置为0；
步骤3：数据处理系统然后按先后顺序依次从用于存放高维数据的队列取出一个高维数据，取出一个高维数据X后，就进行对该高维数据X的特征分量的提取及降维操作，所述的高维数据X表示为(x1,x2,…xn)，n为该高维数据的维数；
步骤4：所述的进行对该高维数据的特征分量的提取及降维操作包括首先用于采集的高维数据转换为低维数据的模块把该高维数据X投影到k维空间对象S所表示的k维空间中，该高维数据X投影到k维空间对象所表示的k维空间S中的方法是根据公式(1)用迭代方法来得到结果向量rk：
<mrow>
<msub>
<mi>r</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mi>X</mi>
<mo>-</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>b</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<mi>X</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
所述的i的取值范围为从1到k，k为目前空间对象S的维数，也是目前数据降维后低维的维数，第一系数rk为结果向量，当结果向量的长度||rk||2小于Tk时，k值不变，目前空间对象S也保持不变，在||rk||2大于等于Tk时，求得第k+1系数将bk+1作为新的空间基底加入原k维空间对象S，令空间对象S的维数增加1，k＝k+1，设定r0＝X，而ri＝ri-1-bibi TX，ri为中间向量，Ti为第i阈值，Xmax为在用于存放高维数据的队列中数据长度最长的那个高维数据；
步骤5：根据所得到的b1、b2…bk通过公式(2)得到针对该高维数据X的降维数据向量中分量非零的部分Y：
<mrow>
<mi>Y</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>X</mi>
<mi>T</mi>
</msup>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>X</mi>
<mi>T</mi>
</msup>
<msub>
<mi>b</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>...</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>X</mi>
<mi>T</mi>
</msup>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>...</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<mi>X</mi>
<mi>T</mi>
</msup>
<msub>
<mi>b</mi>
<mi>k</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
当高维数据的队列全部处理完毕后，根据最终k的取值，将全部高维数据的降维数据向量分量非零的部分补充上分量为零的部分，统一表示为k维的降维后数据向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410407886.1A CN104317792B (zh) | 2014-08-18 | 2014-08-18 | 采集的高维数据转换为低维数据的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410407886.1A CN104317792B (zh) | 2014-08-18 | 2014-08-18 | 采集的高维数据转换为低维数据的系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104317792A CN104317792A (zh) | 2015-01-28 |
| CN104317792B true CN104317792B (zh) | 2017-12-01 |
Family
ID=52373024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410407886.1A Active CN104317792B (zh) | 2014-08-18 | 2014-08-18 | 采集的高维数据转换为低维数据的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104317792B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1971537A (zh) * | 2005-11-25 | 2007-05-30 | 杭州中天微系统有限公司 | 一种矩阵数据存取方法及其矩阵数据存储装置 |
| CN101546332A (zh) * | 2009-05-07 | 2009-09-30 | 哈尔滨工程大学 | 基于量子遗传优化的流形降维医学图像检索方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8935308B2 (en) * | 2012-01-20 | 2015-01-13 | Mitsubishi Electric Research Laboratories, Inc. | Method for recovering low-rank matrices and subspaces from data in high-dimensional matrices |
-
2014
- 2014-08-18 CN CN201410407886.1A patent/CN104317792B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1971537A (zh) * | 2005-11-25 | 2007-05-30 | 杭州中天微系统有限公司 | 一种矩阵数据存取方法及其矩阵数据存储装置 |
| CN101546332A (zh) * | 2009-05-07 | 2009-09-30 | 哈尔滨工程大学 | 基于量子遗传优化的流形降维医学图像检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104317792A (zh) | 2015-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358293B (zh) | 一种神经网络训练方法及装置 | |
| WO2019019680A1 (zh) | 一种基于kd树和优化图变换的点云属性压缩方法 | |
| Kim et al. | Timing and tempo of early and successive adaptive radiations in Macaronesia | |
| CN102708576B (zh) | 基于结构字典的分块图像压缩感知重建方法 | |
| CN104392427B (zh) | 经验模态分解和稀疏表示相结合的sar图像去噪方法 | |
| Erişoğlu et al. | A mixture model of two different distributions approach to the analysis of heterogeneous survival data | |
| CN110007347A (zh) | 一种深度学习地震资料去噪方法 | |
| CN105279740A (zh) | 一种基于稀疏正则化的图像去噪方法 | |
| CN110060286B (zh) | 一种单目深度估计方法 | |
| CN104392243A (zh) | 基于核稀疏非负矩阵分解的高光谱图像非线性解混方法 | |
| CN111079615B (zh) | 一种基于莱维飞行细菌觅食进化的盲源分离方法 | |
| CN109858612A (zh) | 一种自适应形变空洞卷积方法 | |
| CN104318046A (zh) | 增量式的高维数据转换为低维数据的系统及方法 | |
| CN106210742A (zh) | 基于共性特征的批量图像压缩传输与还原的系统及方法 | |
| CN106156451A (zh) | 一种基于改进量子粒子群的波达方向估计技术 | |
| CN104317792B (zh) | 采集的高维数据转换为低维数据的系统及方法 | |
| CN105871382A (zh) | 一种Micaps第四类格点数据无损压缩算法 | |
| Yip | An inference procedure for a capture and recapture experiment with time-dependent capture probabilities | |
| CN103606189B (zh) | 一种面向非刚体三维重建的轨迹基选择方法 | |
| CN109522918B (zh) | 基于改进的局部奇异谱分析的高光谱图像特征提取方法 | |
| CN107633268A (zh) | 一种高光谱图像组合核最小噪声分离变换特征提取方法 | |
| CN101510943A (zh) | 利用超完备拓扑稀疏编码有效去除图像噪声的方法 | |
| CN110598727A (zh) | 基于迁移学习的模型构建方法、图像识别方法及其装置 | |
| CN101567079A (zh) | 基于Hopfield神经网络的运动模糊图像恢复方法 | |
| CN109447237A (zh) | 基于统计异常值的池化计算方法、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |