CN112199595A - 一种基于云计算的信息技术分析系统及数据分析处理方法 - Google Patents

Abstract

本发明公开了一种基于云计算的信息技术分析系统，包括数据采集模块、数据处理模块、云计算资源分配模块、云服务器计算模块和数据存储模块。本发明将采集的用户数据采用由用户使用年限和充值VIP等级组成的重要度进行标记，根据重要度标记分组成多组计算队列进行专项分析处理，并且在计算队列中按照重要度标记值由高到低排序进行处理，即优先处理重要度更高用户数据，更快获得重要度更高的用户数据结果从而优先给其推送信息和物品推荐，更快产生购买交易和金额收益，为软件提供商挣取更大的利益。

Description

一种基于云计算的信息技术分析系统及数据分析处理方法

技术领域

本发明涉及计算机技术领域，具体涉及一种基于云计算的信息技术分析系统及数据分析处理方法。

背景技术

近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据，而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的，利用大量的用户数据信息的处理分析能得到非常宝贵的商业价值，比如为用户推荐商品、节目等个性化定制；

处理此类用户大数据离不开云计算，云计算是分布式计算的一种，可以面向超大规模的分布式用户环境，基于互联网的相关服务的增加、使用和交付模式，通过多部服务器组成的系统进行处理和分析用户数据获得用户行为画像，通过这项技术，可以在很短的时间内(几秒种)完成对数以万计的数据的处理，从而达到强大的网络服务；

目前基于云计算的信息技术分析系统，大多从技术实现、数据安全和资源调度方面进行考虑，比如CN107690001A公开了一种基于云计算的信息技术分析系统，虽然实现了通过对云加密模块的改进，当处理器将分析后的数据发送至云加密模块时，能够根据不同种类的信息将其分别发送至文件加密子模块、认证信息加密子模块和云加密子模块，使不同种类的信息得到不同的保存与加密；在CN110933147A公开了一种基于云计算的信息技术分析系统，通过对用户的待处理程序进行重要度计算，确保重要数据处理的安全性，利用闲置的电脑进行云计算服务，提高计算机资源的利用率，避免现有的用户的笔记本、台式电脑的利用率不高，很多用户都是闲置，造成资源浪费；

CN107690001A虽然采用了加密技术保障了数据安全，但仍存在无法将数据信息匹配到对应的服务器内进行处理；无法利用闲置的电脑，来提高云计算的处理设备数量；而CN110933147A对CN107690001A进行了解决，利用重要度数据重要度标记确保数据信息安全得到进一步提高，并且提高了对闲置电脑的使用，CN110933147A和CN107690001A均从软件提供商角度考虑了资源调度和数据安全，将所有用户信息均平等化处理仅根据时间上的先来后到进行处理，忽视了对用户等级的重视，用户等级中充值金额和使用年限均表示了用户的经济效益，越优先分析经济效益高的用户信息就能越早为用户进行定制化推荐，从而让用户在购物网站、视频网站上产生金额消费带来越大的经济收益，因此需要对此类用户数据进行优先处理。

发明内容

本发明的目的在于提供一种基于云计算的信息技术分析系统，以解决现有技术中所有用户信息均平等化处理仅根据时间上的先来后到进行处理，忽视了对用户等级存在的经济效益的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种基于云计算的信息技术分析系统，包括数据采集模块、数据处理模块、云计算资源分配模块、云服务器计算模块和数据存储模块；

所述数据采集模块包括若干设置在用户本地软件后台的采集端口，若干所述采集端口用于采集用户数据信息并通过互联网络传输到软件提供商的数据处理模块中；

所述数据处理模块包括数据清洗模块和数据标记模块，所述数据清洗模块用于对数据采集模块传输来的用户数据进行去除重复值、缺失值处理和一致化处理等操作，数据标记模块用于对数据清洗模块处理后的用户数据进行重要度标记并将包含重要度标记的用户数据发送存储到数据存储模块中；

所述云服务器计算模块包括若干服务器和操作主机，若干所述服务器和操作主机根据处理数据的重要度被分为三个计算队列，分别为非常重要队列、重要队列和普通队列，所述计算队列中对应的服务器和操作主机编号信息存储在数据存储模块，所述计算队列中的服务器和操作主机对用户数据进行分析处理并将分析处理结果发送存储到数据存储模块；

所述数据存储模块用于提供数据存储和读取功能，所述存储和读取的数据包括用户数据、重要度标记、计算队列中对应的服务器和操作主机编号信息和分析处理结果；

所述云计算资源分配模块读取数据存储模块中用户数据的重要度标记，根据重要度标记读取与重要度标记相匹配的计算队列中对应的服务器和操作主机编号信息并将用户数据传输到相应的编号的服务器和操作主机中进行分析处理。

作为本发明的一种优选方案，所述数据采集模块采集的用户数据包括用户等级、用户行为和用户个人信息，所述用户等级包括使用年限和充值VIP等级，用户行为包括搜索、浏览和购买信息，所述用户个人信息包括年龄、性别、身高和体重。

作为本发明的一种优选方案，所述数据标记模块对用户数据进行重要度标记的具体步骤为：

步骤一：数据标记模块接收并读取经过数据清洗模块清洗后的由数据采集模块采集到的用户数据中的用户等级信息；

步骤二：根据软件提供商对于用户等级中使用年限和充值VIP等级的偏重程度，为使用年限和充值VIP等级设置权重因子分别标记为A1和A2；

步骤三：利用公式：重要度＝A1*使用年限+A2*充值VIP等级，其中A1+A2＝1，A1和A2的值均处于(0,1)之间，获得用户数据的重要度标记；

步骤四：将包含有重要度标记的用户数据发送到数据采集模块进行存储。

作为本发明的一种优选方案，所述云服务器计算模块分为三个计算队列及对三个队列中对应的服务器和操作主机编号的具体方法为：

步骤一：统计用户总数量并按照重要度标记值高低进行由高到低排序，将排序后的用户总数量按照顺序依次分成10％、30％和60％的非常重要用户、重要用户和普通用户；

步骤二：将若干服务器和操作主机按照30％、40％和30％的配比额度分别配置成三个计算队列分别为非常重要队列、重要队列和普通队列，并分别分配给10％、30％和60％的非常重要用户、重要用户和普通用户进行专用；

步骤三：非常重要队列中的服务器和操作主机均具有标记为1，重要队列中的服务器和操作主机均具有标记为2，普通队列中的服务器和操作主机均具有标记为3；

步骤四：对服务器和操作主机空闲和占用的分别标记为Free和Busy，服务器和操作主机由空闲变为占用状态时标记从Free变成Busy，服务器和操作主机由占用变为空闲状态时标记从Busy变成Free，非常重要队列中的占用的服务器和操作主机编号标记为1Busy，空闲的服务器和操作主机编号标记为1Free，重要队列中的占用的服务器和操作主机编号标记为2Busy，空闲的服务器和操作主机编号标记为2Free；普通队列中的占用的服务器和操作主机编号标记为3Busy，空闲的服务器和操作主机编号标记为3Free；

作为本发明的一种优选方案，所述云计算资源分配模块为用户数据分配分析处理的服务器和操作主机的具体过程为：

步骤一：将非常重要用户中的最低重要度标记值作为非常重要用户归类的最低阈值并标记为B1；将B1作为重要用户归类的最高阈值，将重要用户中最低重要度标记值作为重要用户归类的最低阈值标记为B2；将B2作为普通用户归类的最高阈值；

步骤二：依据步骤一中的阈值区间对来自于数据存储模块中待分析处理的用户数据依次进行归类到所属计算队列，具体方式为：

S1、逐条取出待分析处理用户数据并将该条用户数据的重要度标记依次与B1和B2相比较；

S2、重要度标记>(大于)B1，包含该重要度标记的用户数据归类为非常重要队列；

S3、B1>重要度标记>B2，包含该重要度标记的用户数据归类为重要队列；

S4、B2>重要度标记，包含该重要度标记的用户数据归类为普通队列。

步骤二：分别统计属于非常重要队列分析处理的待处理用户数据数量并按照重要度标记值高低依次排序、属于重要队列分析处理的待处理用户数量并按照重要度标记值高低依次排序和属于普通队列处理的待处理用户数量并按照重要度标记值高低依次排序；

步骤三：云计算资源分配模块为属于非常重要队列分析处理的待处理用户数据、属于重要队列分析处理的待处理用户数据和属于普通队列分析处理的待处理用户数据同步分配对应的服务器和操作主机，同步分配的具体方式如下：

T1、同步读取数据存储模块中非常重要队列中编号标记为1Free的服务器和操作主机并统计处于1Free的服务器和操作主机数量，若处于1Free的服务器和操作主机数量多于属于非常重要队列分析处理的待分析处理用户数据数量，则云计算资源分配模块随机在处于1Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为1Busy；若处于1Free的服务器和操作主机数量少于属于非常重要队列分析处理的待处理用户数据数量，则云计算资源分配模块根据处于1Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于1Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由1Busy更改为1Free，此时变成1Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成；

T2、同步读取数据存储模块中重要队列中编号标记为2Free的服务器和操作主机并统计处于2Free的服务器和操作主机数量，若处于2Free的服务器和操作主机数量多于属于重要队列分析处理的待分析处理用户数据数量，则云计算资源分配模块随机在处于2Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为2Busy；若处于2Free的服务器和操作主机数量少于属于重要队列分析处理的待处理用户数据数量，则云计算资源分配模块根据处于2Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于2Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由2Busy更改为2Free，此时变成2Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成；

T3、同步读取数据存储模块中普通队列中编号标记为3Free的服务器和操作主机并统计处于3Free的服务器和操作主机数量，若处于3Free的服务器和操作主机数量多于属于普通队列分析处理的待分析处理用户数据数量，则云计算资源分配模块随机在处于3Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为3Busy；若处于3Free的服务器和操作主机数量少于属于普通队列分析处理的待处理用户数据数量，则云计算资源分配模块根据处于3Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于3Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由3Busy更改为3Free，此时变成3Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成。

作为本发明的一种优选方案，所述服务器和操作主机总数量与用户总数量的配比值为1:3。

作为本发明的一种优选方案，本发明提供了一种基于云计算的信息技术分析系统的数据分析处理方法，包括以下步骤：

S100、数据采集模块在本地采集用户数据信息上传到软件提供商服务平台中的数据处理模块；

S200、数据处理模块中的数据清洗模块接收来自数据采集模块对数据进行去除重复值、缺失值处理和一致化处理等操作传输给数据标记模块，数据标记模块接收来自数据清洗模块的用户数据并对用户数据进行重要度计算和标记，并将包含重要度的用户数据发送存储到数据存储模块中；

S300、云计算资源分配模块读取数据存储模块中用户数据的重要度标记，根据重要度标记读取与重要度标记相匹配的计算队列中对应的服务器和操作主机编号信息并将用户数据传输到云服务计算模块中相应的编号的服务器和操作主机中；

S400、云服务计算模块中相应的编号的服务器和操作主机接收来自于云计算资源分配模块传输的用户数据并对其进行分析处理，处理完成后将处理结果存储到数据存储模块中以供后续定制化推荐系统读取。

本发明与现有技术相比较具有如下有益效果：

本发明将采集的用户数据采用由用户使用年限和充值VIP等级组成的重要度进行标记，根据重要度标记分组成多组计算队列进行专项分析处理，并且在计算队列中按照重要度标记值由高到低排序进行处理，即优先处理重要度更高用户数据，更快获得重要度更高的用户数据结果从而优先给其推送信息和物品推荐，更快产生购买交易和金额收益，为软件提供商挣取更大的利益。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例提供的基于云计算的信息技术分析系统结构示意图；

图2为本发明实施例提供的数据分析处理方法流程图。

图中的标号分别表示如下：

1-数据采集模块；2-数据处理模块；3-云计算资源分配模块；4-云服务器计算模块；5-数据存储模块；

201-数据清洗模块；202-数据标记模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于云计算的信息技术分析系统，包括数据采集模块1、数据处理模块2、云计算资源分配模块3、云服务器计算模块4和数据存储模块5，其中，数据采集模块1位于下载到本地的电脑、平板或其他智能终端设备的软件后台上，数据处理模块2、云计算资源分配模块3、云服务器计算模块4和数据存储模块5均在软件提供商所使用的服务平台上；

数据采集模块1包括若干设置在用户本地软件后台的采集端口，若干采集端口用于采集用户数据信息并通过互联网络传输到软件提供商的数据处理模块2中；

数据处理模块2包括数据清洗模块201和数据标记模块202，数据清洗模块201用于对数据采集模块1传输来的用户数据进行去除重复值、缺失值处理和一致化处理等操作，数据标记模块202用于对数据清洗模块201处理后的用户数据进行重要度标记并将包含重要度标记的用户数据发送存储到数据存储模块5中；

云服务器计算模块4包括若干服务器和操作主机，若干服务器和操作主机根据处理数据的重要度被分为三个计算队列，分别为非常重要队列、重要队列和普通队列，在实际使用中可根据用户总数量的需求将若干服务器和操作主机分为四个，五个或以上数量个计算队列，计算队列中对应的服务器和操作主机编号信息存储在数据存储模块5，计算队列中的服务器和操作主机对用户数据进行分析处理并将分析处理结果发送存储到数据存储模块5；

数据存储模块5用于提供数据存储和读取功能，存储和读取的数据包括用户数据、重要度标记、计算队列中对应的服务器和操作主机编号信息和分析处理结果；

云计算资源分配模块3读取数据存储模块5中用户数据的重要度标记，根据重要度标记读取与重要度标记相匹配的计算队列中对应的服务器和操作主机编号信息并将用户数据传输到相应的编号的服务器和操作主机中进行分析处理。

数据采集模块1采集的用户数据包括用户等级、用户行为和用户个人信息，用户等级包括使用年限和充值VIP等级，用户行为包括搜索、浏览和购买信息，用户个人信息包括年龄、性别、身高和体重，用户等级、用户行为和用户个人信息根据所需要由分析处理获得的用户画像结果决定，可以使用上述所列举的，但不仅限于此，根据实际需要进行调整。

使用年限的长短可以表征用户是否为稳定忠实用户，而使用年限越长在软件平台中累计消费额度高，可为软件平台带来稳健的收益，充值VIP等级等级越高表征为用户购买力、消费力越高，可以承担更高价格的商品，为软件平台带来单笔大收益，并且以上两种用户都希望软件平台提供更加优势的定制化推荐避免浪费时间获得更好的消费体验，因此将使用年限和充值VIP等级作为表征用户重要程度的因素较为合理。

数据标记模块202对用户数据进行重要度标记的具体步骤为：

步骤一：数据标记模块202接收并读取经过数据清洗模块201清洗后的由数据采集模块1采集到的用户数据中的用户等级信息；

步骤二：根据软件提供商对于用户等级中使用年限和充值VIP等级的偏重程度，为使用年限和充值VIP等级设置权重因子分别标记为A1和A2；

步骤三：利用公式：重要度＝A1*使用年限+A2*充值VIP等级，其中A1+A2＝1，A1和A2的值均处于0,1之间，获得用户数据的重要度标记；

将重要度直接用使用年限和充值VIP的权重和作为计算公式，简单直接，能够表达出重要度意义的同时计算量还小，有效的节省计算时间提高效率便于使用于大数据量的情况下；

A1和A2的取值由软件提供商自身决定，比如A1＝0.4，A2＝0.6，表示使用年限占重要度的40％，充值VIP等级占重要度的60％。

步骤四：将包含有重要度标记的用户数据发送到数据采集模块1进行存储。

云服务器计算模块4分为三个计算队列及对三个队列中对应的服务器和操作主机编号的具体方法为：

步骤一：统计用户总数量并按照重要度标记值高低进行由高到低排序，将排序后的用户总数量按照顺序依次分成10％、30％和60％的非常重要用户、重要用户和普通用户；

10％、30％和60％的分配比例在实际使用中可以进行调整，非常重要用户、重要用户和普通用户可以进行调整，调整方式有增删、更改，并要保持与分配比例一致，比如分配比例改为10％，20％，30％，40％，用户等级改为特别重要用户、非常重要用户、重要用户和普通用户，更改方式不仅限于此；

步骤二：将若干服务器和操作主机按照30％、40％和30％的配比额度分别配置成三个计算队列分别为非常重要队列、重要队列和普通队列，并分别分配给10％、30％和60％的非常重要用户、重要用户和普通用户进行专用；

按照步骤二的配比，设服务器和操作主机总数为C，用户总数量为D，非常重要队列中每个用户获得的分析处理资源：重要队列中每个用户获得的分析处理资源：普通队列中每个用户获得的分析处理资源＝(30％C/10％D):(40％C/30％D):(30％C/60％D)＝(3:4/3:0.5)*(C/D)，由比值公式可知非常重要队列中每个用户获得的分析处理资源、重要队列中每个用户获得的分析处理资源和普通队列中每个用户获得的分析处理资源是依次减少的，则重要度越大的用户占有的计算资源越多，需要等待的时间越少，越早获得用户分析结果，则越早进行用户定制。

同样30％、40％和30％的配比额度可以进行调整，需要遵守为重要度更高的计算队列提供充足的服务器和操作主机资源，并且配比额度组成结构要保持和10％、30％和60％的分配比例组成结构相同。

步骤三：非常重要队列中的服务器和操作主机均具有标记为1，重要队列中的服务器和操作主机均具有标记为2，普通队列中的服务器和操作主机均具有标记为3；

步骤四：对服务器和操作主机空闲和占用的分别标记为Free和Busy，服务器和操作主机由空闲变为占用状态时标记从Free变成Busy，服务器和操作主机由占用变为空闲状态时标记从Busy变成Free，非常重要队列中的占用的服务器和操作主机编号标记为1Busy，空闲的服务器和操作主机编号标记为1Free，重要队列中的占用的服务器和操作主机编号标记为2Busy，空闲的服务器和操作主机编号标记为2Free；普通队列中的占用的服务器和操作主机编号标记为3Busy，空闲的服务器和操作主机编号标记为3Free；

1、2、3Free和1、2、3Busy可以采用其他表示方式均在本发明的保护范围之内，本实施例为方便描述以此为例。

云计算资源分配模块3为用户数据分配分析处理的服务器和操作主机的具体过程为：

步骤一：将非常重要用户中的最低重要度标记值作为非常重要用户归类的最低阈值并标记为B1；将B1作为重要用户归类的最高阈值，将重要用户中最低重要度标记值作为重要用户归类的最低阈值标记为B2；将B2作为普通用户归类的最高阈值；

步骤二：依据步骤一中的阈值区间对来自于数据存储模块5中待分析处理的用户数据依次进行归类到所属计算队列，具体方式为：

S1、逐条取出待分析处理用户数据并将该条用户数据的重要度标记依次与B1和B2相比较；

S2、重要度标记>大于B1，包含该重要度标记的用户数据归类为非常重要队列；

S3、B1>重要度标记>B2，包含该重要度标记的用户数据归类为重要队列；

S4、B2>重要度标记，包含该重要度标记的用户数据归类为普通队列。

步骤二：分别统计属于非常重要队列分析处理的待处理用户数据数量并按照重要度标记值高低依次排序、属于重要队列分析处理的待处理用户数量并按照重要度标记值高低依次排序和属于普通队列处理的待处理用户数量并按照重要度标记值高低依次排序；

步骤三：云计算资源分配模块3为属于非常重要队列分析处理的待处理用户数据、属于重要队列分析处理的待处理用户数据和属于普通队列分析处理的待处理用户数据同步分配对应的服务器和操作主机，同步分配的具体方式如下：

T1、同步读取数据存储模块5中非常重要队列中编号标记为1Free的服务器和操作主机并统计处于1Free的服务器和操作主机数量，若处于1Free的服务器和操作主机数量多于属于非常重要队列分析处理的待分析处理用户数据数量，则云计算资源分配模块3随机在处于1Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块5中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为1Busy；若处于1Free的服务器和操作主机数量少于属于非常重要队列分析处理的待处理用户数据数量，则云计算资源分配模块3根据处于1Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于1Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由1Busy更改为1Free，此时变成1Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成；

T2、同步读取数据存储模块5中重要队列中编号标记为2Free的服务器和操作主机并统计处于2Free的服务器和操作主机数量，若处于2Free的服务器和操作主机数量多于属于重要队列分析处理的待分析处理用户数据数量，则云计算资源分配模块3随机在处于2Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块5中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为2Busy；若处于2Free的服务器和操作主机数量少于属于重要队列分析处理的待处理用户数据数量，则云计算资源分配模块3根据处于2Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于2Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由2Busy更改为2Free，此时变成2Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成；

T3、同步读取数据存储模块5中普通队列中编号标记为3Free的服务器和操作主机并统计处于3Free的服务器和操作主机数量，若处于3Free的服务器和操作主机数量多于属于普通队列分析处理的待分析处理用户数据数量，则云计算资源分配模块3随机在处于3Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块5中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为3Busy；若处于3Free的服务器和操作主机数量少于属于普通队列分析处理的待处理用户数据数量，则云计算资源分配模块3根据处于3Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于3Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由3Busy更改为3Free，此时变成3Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成。

T1、T2和T3三者之间同步执行，互不干扰相互独立。

服务器和操作主机总数量与用户总数量的配比值为1:3，即一个服务器和操作主机组合对应于三个用户，其比例在实际应用中可以根据需要进行调节，以求达到最佳的比例使满足用户使用感的同时避免服务器和操作主机数量冗余。

如图2所示，基于以上基于云计算的信息技术分析系统，本发明提供了一种数据分析处理方法，具体步骤如下：

S100、数据采集模块在本地采集用户数据信息上传到软件提供商服务平台中的数据处理模块；

S200、数据处理模块中的数据清洗模块接收来自数据采集模块对数据进行去除重复值、缺失值处理和一致化处理等操作传输给数据标记模块，数据标记模块接收来自数据清洗模块的用户数据并对用户数据进行重要度计算和标记，并将包含重要度的用户数据发送存储到数据存储模块中；

S300、云计算资源分配模块读取数据存储模块中用户数据的重要度标记，根据重要度标记读取与重要度标记相匹配的计算队列中对应的服务器和操作主机编号信息并将用户数据传输到云服务计算模块中相应的编号的服务器和操作主机中；

S400、云服务计算模块中相应的编号的服务器和操作主机接收来自于云计算资源分配模块传输的用户数据并对其进行分析处理，处理完成后将处理结果存储到数据存储模块中以供后续定制化推荐系统读取。

本发明将采集的用户数据采用由用户使用年限和充值VIP等级组成的重要度进行标记，根据重要度标记分组成多组计算队列进行专项分析处理，为重要度更高的用户提供充足的服务器和操作主机，避免无效的等待耽误信息处理，并且在计算队列中按照重要度标记值由高到低排序进行处理，优先处理重要度更高用户数据，更快获得重要度更高的用户数据结果从而优先给其推送信息和物品推荐，更快产生购买交易和金额收益，为软件提供商挣取更大的利益。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (7)

1.一种基于云计算的信息技术分析系统，其特征在于：包括数据采集模块(1)、数据处理模块(2)、云计算资源分配模块(3)、云服务器计算模块(4)和数据存储模块(5)；

所述数据采集模块(1)包括若干设置在用户本地软件后台的采集端口，若干所述采集端口用于采集用户数据信息并通过互联网络传输到软件提供商的数据处理模块(2)中；

所述数据处理模块(2)包括数据清洗模块(201)和数据标记模块(202)，所述数据清洗模块(201)用于对数据采集模块(1)传输来的用户数据进行去除重复值、缺失值处理和一致化处理等操作，数据标记模块(202)用于对数据清洗模块(201)处理后的用户数据进行重要度标记并将包含重要度的用户数据发送存储到数据存储模块(5)中；

所述云服务器计算模块(4)包括若干服务器和操作主机，若干所述服务器和操作主机根据处理数据的重要度被分为三个计算队列，分别为非常重要队列、重要队列和普通队列，所述计算队列中对应的服务器和操作主机编号信息存储在数据存储模块(5)，所述计算队列中的服务器和操作主机对用户数据进行分析处理并将分析处理结果发送存储到数据存储模块(5)；

所述数据存储模块(5)用于提供数据存储和读取功能，所述存储和读取的数据包括用户数据、重要度标记、计算队列中对应的服务器和操作主机编号信息和分析处理结果；

所述云计算资源分配模块(3)读取数据存储模块(5)中用户数据的重要度标记，根据重要度标记读取与重要度标记相匹配的计算队列中对应的服务器和操作主机编号信息并将用户数据传输到相应的编号的服务器和操作主机中进行分析处理。

2.根据权利要求1所述的一种基于云计算的信息技术分析系统，其特征在于：所述数据采集模块(1)采集的用户数据包括用户等级、用户行为和用户个人信息，所述用户等级包括使用年限和充值VIP等级，用户行为包括搜索、浏览和购买信息，所述用户个人信息包括年龄、性别、身高和体重。

3.根据权利要求2所述的一种基于云计算的信息技术分析系统，其特征在于：所述数据标记模块(202)对用户数据进行重要度标记的具体步骤为：

步骤一：数据标记模块(202)接收并读取经过数据清洗模块(201)清洗后的由数据采集模块(1)采集到的用户数据中的用户等级信息；

步骤二：根据软件提供商对于用户等级中使用年限和充值VIP等级的偏重程度，为使用年限和充值VIP等级设置权重因子分别标记为A1和A2；

步骤三：利用公式：重要度＝A1*使用年限+A2*充值VIP等级，其中A1+A2＝1，A1和A2的值均处于(0,1)之间，获得用户数据的重要度标记；

步骤四：将包含有重要度标记的用户数据发送到数据采集模块(1)进行存储。

4.根据权利要求3所述的一种基于云计算的信息技术分析系统，其特征在于：所述云服务器计算模块(4)分为三个计算队列及对三个队列中对应的服务器和操作主机编号的具体方法为：

步骤一：统计用户总数量并按照重要度标记值高低进行由高到低排序，将排序后的用户总数量按照顺序依次分成10％、30％和60％的非常重要用户、重要用户和普通用户；

步骤二：将若干服务器和操作主机按照30％、40％和30％的配比额度分别配置成三个计算队列分别为非常重要队列、重要队列和普通队列，并分别分配给10％、30％和60％的非常重要用户、重要用户和普通用户进行专用；

步骤三：非常重要队列中的服务器和操作主机均具有标记为1，重要队列中的服务器和操作主机均具有标记为2，普通队列中的服务器和操作主机均具有标记为3；

步骤四：对服务器和操作主机空闲和占用的分别标记为Free和Busy，服务器和操作主机由空闲变为占用状态时标记从Free变成Busy，服务器和操作主机由占用变为空闲状态时标记从Busy变成Free，非常重要队列中的占用的服务器和操作主机编号标记为1Busy，空闲的服务器和操作主机编号标记为1Free，重要队列中的占用的服务器和操作主机编号标记为2Busy，空闲的服务器和操作主机编号标记为2Free；普通队列中的占用的服务器和操作主机编号标记为3Busy，空闲的服务器和操作主机编号标记为3Free。

5.根据权利要求4所述的一种基于云计算的信息技术分析系统，其特征在于：所述云计算资源分配模块(3)为用户数据分配分析处理的服务器和操作主机的具体过程为：

步骤一：将非常重要用户中的最低重要度标记值作为非常重要用户归类的最低阈值并标记为B1；将B1作为重要用户归类的最高阈值，将重要用户中最低重要度标记值作为重要用户归类的最低阈值标记为B2；将B2作为普通用户归类的最高阈值；

步骤二：依据步骤一中的阈值区间对来自于数据存储模块(5)中待分析处理的用户数据依次进行归类到所属计算队列，具体方式为：

S1、逐条取出待分析处理用户数据并将该条用户数据的重要度标记依次与B1和B2相比较；

S2、重要度标记>(大于)B1，包含该重要度标记的用户数据归类为非常重要队列；

S3、B1>重要度标记>B2，包含该重要度标记的用户数据归类为重要队列；

S4、B2>重要度标记，包含该重要度标记的用户数据归类为普通队列；

步骤二：分别统计属于非常重要队列分析处理的待处理用户数据数量并按照重要度标记值高低依次排序、属于重要队列分析处理的待处理用户数量并按照重要度标记值高低依次排序和属于普通队列处理的待处理用户数量并按照重要度标记值高低依次排序；

步骤三：云计算资源分配模块(3)为属于非常重要队列分析处理的待处理用户数据、属于重要队列分析处理的待处理用户数据和属于普通队列分析处理的待处理用户数据同步分配对应的服务器和操作主机，同步分配的具体方式如下：

T1、同步读取数据存储模块(5)中非常重要队列中编号标记为1Free的服务器和操作主机并统计处于1Free的服务器和操作主机数量，若处于1Free的服务器和操作主机数量多于属于非常重要队列分析处理的待分析处理用户数据数量，则云计算资源分配模块(3)随机在处于1Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块(5)中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为1Busy；若处于1Free的服务器和操作主机数量少于属于非常重要队列分析处理的待处理用户数据数量，则云计算资源分配模块(3)根据处于1Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于1Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由1Busy更改为1Free，此时变成1Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成；

T2、同步读取数据存储模块(5)中重要队列中编号标记为2Free的服务器和操作主机并统计处于2Free的服务器和操作主机数量，若处于2Free的服务器和操作主机数量多于属于重要队列分析处理的待分析处理用户数据数量，则云计算资源分配模块(3)随机在处于2Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块(5)中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为2Busy；若处于2Free的服务器和操作主机数量少于属于重要队列分析处理的待处理用户数据数量，则云计算资源分配模块(3)根据处于2Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于2Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由2Busy更改为2Free，此时变成2Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成；

T3、同步读取数据存储模块(5)中普通队列中编号标记为3Free的服务器和操作主机并统计处于3Free的服务器和操作主机数量，若处于3Free的服务器和操作主机数量多于属于普通队列分析处理的待分析处理用户数据数量，则云计算资源分配模块(3)随机在处于3Free的服务器和操作主机中选择与待分析处理用户数据数量相同个数的服务器和操作主机，并将数据存储模块(5)中的待分析处理用户数据传送到选择的服务器和操作主机中进行分析处理，并将数据存储器中占用的服务器和操作主机编号标记改为3Busy；若处于3Free的服务器和操作主机数量少于属于普通队列分析处理的待处理用户数据数量，则云计算资源分配模块(3)根据处于3Free的服务器和操作主机数量从经过重要度标记值排序的待处理用户数据前部依次向后选择出与处于3Free的服务器和操作主机数量一致的用户数据进行优先处理，剩余用户数据进入等待状态，直至有用户数据使用完成将数据存储器中的服务器和操作主机编号由3Busy更改为3Free，此时变成3Free的服务器和操作主机供处于等待状态的剩余用户数据的按照排序进行使用，处于前部的用户数据越优先使用，如此循环直至所有用户数据被分析处理完成。

6.根据权利要求5所述的一种基于云计算的信息技术分析系统，其特征在于：所述服务器和操作主机总数量与用户总数量的配比值为1:3。

7.一种根据权利要求1-6任一项所述基于云计算的信息技术分析系统的数据分析处理方法，其特征在于，包括以下步骤：

S100、数据采集模块在本地采集用户数据信息上传到软件提供商服务平台中的数据处理模块；

S200、数据处理模块中的数据清洗模块接收来自数据采集模块对数据进行去除重复值、缺失值处理和一致化处理等操作传输给数据标记模块，数据标记模块接收来自数据清洗模块的用户数据并对用户数据进行重要度计算和标记，并将包含重要度的用户数据发送存储到数据存储模块中；

S300、云计算资源分配模块读取数据存储模块中用户数据的重要度标记，根据重要度标记读取与重要度标记相匹配的计算队列中对应的服务器和操作主机编号信息并将用户数据传输到云服务计算模块中相应的编号的服务器和操作主机中；

S400、云服务计算模块中相应的编号的服务器和操作主机接收来自于云计算资源分配模块传输的用户数据并对其进行分析处理，处理完成后将处理结果存储到数据存储模块中以供后续定制化推荐系统读取。

Images