CN115794045A - 基于大数据的软件开发应用数据处理方法 - Google Patents

Abstract

本发明公开了基于大数据的软件开发应用数据处理方法，涉及数据处理技术领域，用于解决软件开发过程中会产生大量数据信息，长时间会导致数据的堆积，占用大量的内存空间，影响整体的运行速率，在进行删除时，容易造成数据的丢失的问题；该应用数据处理方法通过转存系数合理的选出需要被转存的开发数据，通过优选系数合理的选出合适的转存点，将两者进行匹配后能够保证软件开发过程中产生大量的数据信息不会形成数据堆积，造成存储空间被严重占用，影响软件开发设备的运行状态，而且转存的开发数据未被删除，不会造成数据丢失，而且由于选择的转存点合理，使得被转存的开发数据能够高效被调用查看，提升软件开发的效率。

Description

基于大数据的软件开发应用数据处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及基于大数据的软件开发应用数据处理方法。

背景技术

软件开发是根据用户要求建造出软件系统或者系统中的软件部分的过程。软件开发是一项包括需求捕捉、需求分析、设计、实现和测试的系统工程，在软件开发的过程中，通常涉及到各种页面、动画、交互的渲染过程，由于图像数据能够带来极佳的视觉享受，很多软件在开发或应用时都需要对图像数据进行处理和展示，都涉及到图像数据的处理，其中将图像上传云端进行永久存储是软件开发和应用时的一项重要的数据处理任务，能够保证软件所需的图像数据不会丢失，同时在存储时为了节省存储空间往往需要对图像数据进行压缩，但是图像中无用的信息会使图像的压缩结果的压缩率不会太大，不够节约存储空间。

申请号为CN202211298878.9的专利公开了一种基于云计算的软件开发应用数据处理方法，包括：获得每个图像超像素块，对所有超像素块进行聚类获得超像素块集合，以及每个超像素块集合的所有参考像素块，根据参考像素块的无用信息获得同一个图像上超像素块之间的融合程度，根据融合程度对图像上的超像素块融合获得图像上新的超像素块，通过对新的超像素块不断融合获得图像上最终超像素块，根据所有图像上的最终超像素块对图像进行预处理和压缩存储，该发明剔除更多的冗余无用信息，使得图像中只包含少量的有用信息，使得对预处理后的图像进行压缩时这些有用信息可以被高压缩率压缩，既节省了存储空间又不损失太多有用信息，但仍然存在以下不足之处：该软件开发应用数据处理方法虽然可以节省存储空间，但是，软件开发过程中会产生大量数据信息，长时间会导致数据的堆积，占用大量的内存空间，影响整体的运行速率，在进行删除时，容易造成数据的丢失，因此，亟需一种基于大数据的软件开发应用数据处理方法来解决以上问题。

发明内容

为了克服上述的技术问题，本发明的目的在于提供基于大数据的软件开发应用数据处理方法：通过数据存储模块根据占量值以及存量值获得占存比，并根据占存比生成参数获取指令，通过参数获取模块接收到参数获取指令后采集开发数据的转存参数，通过参数分析模块根据转存参数获得转存系数，并根据转存系数筛选出开发数据中的转移数据，通过数据处理平台根据转移数据后获取预选转存点的优选参数，通过数据转存模块根据优选参数获得优选系数，并根据优选系数获得选中预选转存点，并将转移数据传输至选中预选转存点中储存，解决了现有的软件开发应用数据处理方法虽然可以节省存储空间，但是，软件开发过程中会产生大量数据信息，长时间会导致数据的堆积，占用大量的内存空间，影响整体的运行速率，在进行删除时，容易造成数据的丢失的问题。

本发明的目的可以通过以下技术方案实现：

基于大数据的软件开发应用数据处理方法，包括以下步骤：

步骤一：数据存储模块获取存储空间中所有的软件开发应用数据，并依次标记为开发数据i，i=1、……、n，n为自然数；

步骤二：数据存储模块获取存储空间的最大存储容量并将其标记为存量值CL；

步骤三：数据存储模块获取开发数据i的所占内存容量，并将标记为占量值ZLi；

步骤四：数据存储模块将占量值ZLi以及存量值CL代入公式

得到占存比ZC，其中β为误差调节因子，且β≥1，取β=1.138；

步骤五：数据存储模块将占存比ZC与预设占存阈值ZCy进行比较，若占存比ZC超过预设占存阈值ZCy，则生成参数获取指令，并将参数获取指令发送至参数获取模块；

步骤六：参数获取模块接收到参数获取指令后获取采集开发数据i的存储时间和当前时间的时间差，并将其标记为存时值CS；

步骤七：参数获取模块采集开发数据i的点击查看次数和点击查看总时间，并将其分别标记为点次值DC和点时值DS，将点次值DC和点时值DS代入公式

得到点击值DJ，其中g1、g2分别为点次值DC和点时值DS的预设权重系数，且g1+g2=1，0＜g1＜g2＜1，取g1=0.46，g2=0.54；

步骤八：参数获取模块采集开发数据i的最近一次的点击查看时间和当前时间的时间差，并将其标记为点前值DQ；

步骤九：参数获取模块将存时值CS、点击值DJ以及点前值DQ发送至参数分析模块；

步骤十：参数分析模块接收到存时值CS、点击值DJ以及点前值DQ后将三者代入公式

得到转存系数ZX，其中，ε为误差调节因子，且0＜ε＜1，取ε=0.89，f1、f2、f3分别为存时值CS、点击值DJ以及点前值DQ的预设比例系数，且2.822＜f3＜f1＜f2；

步骤十一：参数分析模块从数据存储模块获取存量值CL、占量值ZLi，将存量值CL与预设转移系数μ的乘积标记为转移量ZY，其中预设转移系数μ自行设置；

步骤十二：参数分析模块将开发数据i按照转存系数ZX从大到小的顺序进行排序，将自首位的开发数据i开始，依次对开发数据i的占量值ZLi进行求和，直至开发数据i的占量值ZLi之和大于转移量ZY，则将参与求和的开发数据i标记为转移数据，并将转移数据发送至数据处理平台；

步骤十三：数据处理平台接收到转移数据后，将所有用于转存转移数据的云服务器依次标记为预选转存点j，j=1、……、m，m为自然数；

步骤十四：数据处理平台获取预选转存点j的剩余存储容量与最大存储容量之比，并将其标记为余量比YL；

步骤十五：数据处理平台获取预选转存点j与数据处理平台之间的数据传输距离值，并将其标记为输距值SJ，获取预选转存点j的网络传输速度并将其标记为输速值SS，将输距值SJ、输速值SS代入公式

得到输传值SC，其中o1、o2分别为输距值SJ、输速值SS的预设权重系数，且o1+o2=1，0＜o2＜o1＜1，取o1=0.52，o2=0.48；

步骤十六：数据处理平台采集预选转存点j在存储数据过程中的数据缺失频率，并将其标记为失频值SP；

步骤十七：数据处理平台将余量比YL、输传值SC、失频值SP以及转移数据发送至数据转存模块；

步骤十八：数据转存模块将余量比YL、输传值SC、失频值SP代入公式

得到优选系数YX，其中e为自然常数，q1、q2、q3分别为余量比YL、输传值SC、失频值SP的预设权重系数，且q1+q2+q3=1，0＜q1＜q2＜q3＜1，取q1=0.22，q2=0.33，q3=0.45；

步骤十九：数据转存模块将最大优选系数YX所对应的预选转存点j标记为选中预选转存点；

步骤二十：数据转存模块将转移数据传输至选中预选转存点中储存。

作为本发明进一步的方案：基于大数据的软件开发应用数据处理方法，包括以下模块：

数据存储模块，用于根据占量值ZLi以及存量值CL获得占存比ZC，并根据占存比ZC生成参数获取指令，并将参数获取指令发送至参数获取模块；

参数获取模块，用于接收到参数获取指令后采集开发数据i的转存参数，并将转存参数发送至参数分析模块，其中转存参数包括存时值CS、点击值DJ以及点前值DQ；

参数分析模块，用于根据转存参数获得转存系数ZX，并根据转存系数ZX筛选出开发数据i中的转移数据，并将转移数据发送至数据处理平台；

数据处理平台，用于根据转移数据后获取预选转存点j的优选参数，并将优选参数以及转移数据发送至数据转存模块，其中优选参数包括余量比YL、输传值SC、失频值SP；

数据转存模块，用于根据优选参数获得优选系数YX，并根据优选系数YX获得选中预选转存点，并将转移数据传输至选中预选转存点中储存。

作为本发明进一步的方案：所述数据存储模块获得占存比ZC的具体过程如下：

获取存储空间中所有的软件开发应用数据，并依次标记为开发数据i，i=1、……、n，n为自然数；

获取存储空间的最大存储容量并将其标记为存量值CL；

获取开发数据i的所占内存容量，并将标记为占量值ZLi；

将占量值ZLi以及存量值CL代入公式

得到占存比ZC，其中β为误差调节因子，且β≥1，取β=1.138；

将占存比ZC与预设占存阈值ZCy进行比较，若占存比ZC超过预设占存阈值ZCy，则生成参数获取指令，并将参数获取指令发送至参数获取模块。

作为本发明进一步的方案：所述参数获取模块采集转存参数的具体过程如下：

接收到参数获取指令后获取采集开发数据i的存储时间和当前时间的时间差，并将其标记为存时值CS；

采集开发数据i的点击查看次数和点击查看总时间，并将其分别标记为点次值DC和点时值DS，将点次值DC和点时值DS代入公式

得到点击值DJ，其中g1、g2分别为点次值DC和点时值DS的预设权重系数，且g1+g2=1，0＜g1＜g2＜1，取g1=0.46，g2=0.54；

采集开发数据i的最近一次的点击查看时间和当前时间的时间差，并将其标记为点前值DQ；

将存时值CS、点击值DJ以及点前值DQ发送至参数分析模块。

作为本发明进一步的方案：所述参数分析模块获得转存系数ZX的具体过程如下：

接收到存时值CS、点击值DJ以及点前值DQ后将三者代入公式

得到转存系数ZX，其中，ε为误差调节因子，且0＜ε＜1，取ε=0.89，f1、f2、f3分别为存时值CS、点击值DJ以及点前值DQ的预设比例系数，且2.822＜f3＜f1＜f2；

从数据存储模块获取存量值CL、占量值ZLi，将存量值CL与预设转移系数μ的乘积标记为转移量ZY，其中预设转移系数μ自行设置；

将开发数据i按照转存系数ZX从大到小的顺序进行排序，将自首位的开发数据i开始，依次对开发数据i的占量值ZLi进行求和，直至开发数据i的占量值ZLi之和大于转移量ZY，则将参与求和的开发数据i标记为转移数据，并将转移数据发送至数据处理平台。

作为本发明进一步的方案：所述数据处理平台获取优选参数的具体过程如下：

接收到转移数据后，将所有用于转存转移数据的云服务器依次标记为预选转存点j，j=1、……、m，m为自然数；

获取预选转存点j的剩余存储容量与最大存储容量之比，并将其标记为余量比YL；

获取预选转存点j与数据处理平台之间的数据传输距离值，并将其标记为输距值SJ，获取预选转存点j的网络传输速度并将其标记为输速值SS，将输距值SJ、输速值SS代入公式

得到输传值SC，其中o1、o2分别为输距值SJ、输速值SS的预设权重系数，且o1+o2=1，0＜o2＜o1＜1，取o1=0.52，o2=0.48；

采集预选转存点j在存储数据过程中的数据缺失频率，并将其标记为失频值SP；

将余量比YL、输传值SC、失频值SP以及转移数据发送至数据转存模块。

作为本发明进一步的方案：所述数据转存模块获得优选系数YX的具体过程如下：

将余量比YL、输传值SC、失频值SP代入公式

得到优选系数YX，其中e为自然常数，q1、q2、q3分别为余量比YL、输传值SC、失频值SP的预设权重系数，且q1+q2+q3=1，0＜q1＜q2＜q3＜1，取q1=0.22，q2=0.33，q3=0.45；

将最大优选系数YX所对应的预选转存点j标记为选中预选转存点；

将转移数据传输至选中预选转存点中储存。

本发明的有益效果：

本发明的基于大数据的软件开发应用数据处理方法，通过数据存储模块根据占量值以及存量值获得占存比，并根据占存比生成参数获取指令，通过参数获取模块接收到参数获取指令后采集开发数据的转存参数，通过参数分析模块根据转存参数获得转存系数，并根据转存系数筛选出开发数据中的转移数据，通过数据处理平台根据转移数据后获取预选转存点的优选参数，通过数据转存模块根据优选参数获得优选系数，并根据优选系数获得选中预选转存点，并将转移数据传输至选中预选转存点中储存；该应用数据处理方法利用数据存储模块获得占存比，占存比用于衡量数据存储模块存储空间的被占用程度，占存比越大表示被占用程度越高，亟需进行数据处理，利用参数分析模块根据转存参数获得转存系数，转存系数用于衡量开发数据需要被转存的优先程度，开发数据越大表示开发数据越优先被转存，通过占量值对需要转存的开发数据进行判定，之后利用数据转存模块根据优选参数获得优选系数，优选系数用于衡量预选转存点被优先选中作为开发数据转存的优选程度，优选系数表示预选转存点越优先被选中；该应用数据处理方法通过转存系数合理的选出需要被转存的开发数据，通过优选系数合理的选出合适的转存点，将两者进行匹配后能够保证软件开发过程中产生大量的数据信息不会形成数据堆积，造成存储空间被严重占用，影响软件开发设备的运行状态，而且转存的开发数据未被删除，不会造成数据丢失，而且由于选择的转存点合理，使得被转存的开发数据能够高效被调用查看，提升软件开发的效率。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明中基于大数据的软件开发应用数据处理方法的原理框图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

请参阅图1所示，本实施例为基于大数据的软件开发应用数据处理方法，包括数据存储模块、参数获取模块、参数分析模块、数据处理平台以及数据转存模块；

其中，所述数据存储模块用于根据占量值ZLi以及存量值CL获得占存比ZC，并根据占存比ZC生成参数获取指令，并将参数获取指令发送至参数获取模块；

其中，所述参数获取模块用于接收到参数获取指令后采集开发数据i的转存参数，并将转存参数发送至参数分析模块，其中转存参数包括存时值CS、点击值DJ以及点前值DQ；

其中，所述参数分析模块用于根据转存参数获得转存系数ZX，并根据转存系数ZX筛选出开发数据i中的转移数据，并将转移数据发送至数据处理平台；

其中，所述数据处理平台用于根据转移数据后获取预选转存点j的优选参数，并将优选参数以及转移数据发送至数据转存模块，其中优选参数包括余量比YL、输传值SC、失频值SP；

其中，所述数据转存模块用于根据优选参数获得优选系数YX，并根据优选系数YX获得选中预选转存点，并将转移数据传输至选中预选转存点中储存。

实施例2：

请参阅图1所示，本实施例为基于大数据的软件开发应用数据处理方法，包括以下步骤：

步骤一：数据存储模块获取存储空间中所有的软件开发应用数据，并依次标记为开发数据i，i=1、……、n，n为自然数；

步骤二：数据存储模块获取存储空间的最大存储容量并将其标记为存量值CL；

步骤三：数据存储模块获取开发数据i的所占内存容量，并将标记为占量值ZLi；

步骤四：数据存储模块将占量值ZLi以及存量值CL代入公式

得到占存比ZC，其中β为误差调节因子，且β≥1，取β=1.138；

步骤五：数据存储模块将占存比ZC与预设占存阈值ZCy进行比较，若占存比ZC超过预设占存阈值ZCy，则生成参数获取指令，并将参数获取指令发送至参数获取模块；

步骤六：参数获取模块接收到参数获取指令后获取采集开发数据i的存储时间和当前时间的时间差，并将其标记为存时值CS；

步骤七：参数获取模块采集开发数据i的点击查看次数和点击查看总时间，并将其分别标记为点次值DC和点时值DS，将点次值DC和点时值DS代入公式

得到点击值DJ，其中g1、g2分别为点次值DC和点时值DS的预设权重系数，且g1+g2=1，0＜g1＜g2＜1，取g1=0.46，g2=0.54；

步骤八：参数获取模块采集开发数据i的最近一次的点击查看时间和当前时间的时间差，并将其标记为点前值DQ；

步骤九：参数获取模块将存时值CS、点击值DJ以及点前值DQ发送至参数分析模块；

步骤十：参数分析模块接收到存时值CS、点击值DJ以及点前值DQ后将三者代入公式

得到转存系数ZX，其中，ε为误差调节因子，且0＜ε＜1，取ε=0.89，f1、f2、f3分别为存时值CS、点击值DJ以及点前值DQ的预设比例系数，且2.822＜f3＜f1＜f2；

步骤十一：参数分析模块从数据存储模块获取存量值CL、占量值ZLi，将存量值CL与预设转移系数μ的乘积标记为转移量ZY，其中预设转移系数μ自行设置；

步骤十二：参数分析模块将开发数据i按照转存系数ZX从大到小的顺序进行排序，将自首位的开发数据i开始，依次对开发数据i的占量值ZLi进行求和，直至开发数据i的占量值ZLi之和大于转移量ZY，则将参与求和的开发数据i标记为转移数据，并将转移数据发送至数据处理平台；

步骤十三：数据处理平台接收到转移数据后，将所有用于转存转移数据的云服务器依次标记为预选转存点j，j=1、……、m，m为自然数；

步骤十四：数据处理平台获取预选转存点j的剩余存储容量与最大存储容量之比，并将其标记为余量比YL；

步骤十五：数据处理平台获取预选转存点j与数据处理平台之间的数据传输距离值，并将其标记为输距值SJ，获取预选转存点j的网络传输速度并将其标记为输速值SS，将输距值SJ、输速值SS代入公式

得到输传值SC，其中o1、o2分别为输距值SJ、输速值SS的预设权重系数，且o1+o2=1，0＜o2＜o1＜1，取o1=0.52，o2=0.48；

步骤十六：数据处理平台采集预选转存点j在存储数据过程中的数据缺失频率，并将其标记为失频值SP；

步骤十七：数据处理平台将余量比YL、输传值SC、失频值SP以及转移数据发送至数据转存模块；

步骤十八：数据转存模块将余量比YL、输传值SC、失频值SP代入公式

得到优选系数YX，其中e为自然常数，q1、q2、q3分别为余量比YL、输传值SC、失频值SP的预设权重系数，且q1+q2+q3=1，0＜q1＜q2＜q3＜1，取q1=0.22，q2=0.33，q3=0.45；

步骤十九：数据转存模块将最大优选系数YX所对应的预选转存点j标记为选中预选转存点；

步骤二十：数据转存模块将转移数据传输至选中预选转存点中储存。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (6)

1.基于大数据的软件开发应用数据处理方法，其特征在于，包括以下步骤：

步骤一：数据存储模块根据占量值以及存量值获得占存比，并根据占存比生成参数获取指令，并将参数获取指令发送至参数获取模块；

步骤二：参数获取模块接收到参数获取指令后采集开发数据的转存参数，并将转存参数发送至参数分析模块，其中转存参数包括存时值、点击值以及点前值；

步骤三：参数分析模块根据转存参数获得转存系数，并根据转存系数筛选出开发数据中的转移数据，并将转移数据发送至数据处理平台；

步骤四：数据处理平台根据转移数据后获取预选转存点的优选参数，并将优选参数以及转移数据发送至数据转存模块，其中优选参数包括余量比、输传值、失频值；

步骤五：数据转存模块根据优选参数获得优选系数，并根据优选系数获得选中预选转存点，并将转移数据传输至选中预选转存点中储存。

2.根据权利要求1所述的基于大数据的软件开发应用数据处理方法，其特征在于，所述数据存储模块获得占存比的具体过程如下：

获取存储空间中所有的软件开发应用数据，并依次标记为开发数据；

获取存储空间的最大存储容量并将其标记为存量值；

获取开发数据的所占内存容量，并将标记为占量值；

将占量值以及存量值经过分析代得到占存比；

将占存比与预设占存阈值进行比较，若占存比超过预设占存阈值，则生成参数获取指令，并将参数获取指令发送至参数获取模块。

3.根据权利要求1所述的基于大数据的软件开发应用数据处理方法，其特征在于，所述参数获取模块采集转存参数的具体过程如下：

接收到参数获取指令后获取采集开发数据的存储时间和当前时间的时间差，并将其标记为存时值；

采集开发数据的点击查看次数和点击查看总时间，并将其分别标记为点次值和点时值，将点次值和点时值经过分析得到点击值；

采集开发数据的最近一次的点击查看时间和当前时间的时间差，并将其标记为点前值；

将存时值、点击值以及点前值发送至参数分析模块。

4.根据权利要求1所述的基于大数据的软件开发应用数据处理方法，其特征在于，所述参数分析模块获得转存系数的具体过程如下：

接收到存时值、点击值以及点前值后将三者经过分析得到转存系数；

从数据存储模块获取存量值、占量值，将存量值与预设转移系数的乘积标记为转移量；

将开发数据按照转存系数从大到小的顺序进行排序，将自首位的开发数据开始，依次对开发数据的占量值进行求和，直至开发数据的占量值之和大于转移量，则将参与求和的开发数据标记为转移数据，并将转移数据发送至数据处理平台。

5.根据权利要求1所述的基于大数据的软件开发应用数据处理方法，其特征在于，所述数据处理平台获取优选参数的具体过程如下：

接收到转移数据后，将所有用于转存转移数据的云服务器依次标记为预选转存点；

获取预选转存点的剩余存储容量与最大存储容量之比，并将其标记为余量比；

获取预选转存点与数据处理平台之间的数据传输距离值，并将其标记为输距值，获取预选转存点的网络传输速度并将其标记为输速值，将输距值、输速值经过分析得到输传值；

采集预选转存点在存储数据过程中的数据缺失频率，并将其标记为失频值；

将余量比、输传值、失频值以及转移数据发送至数据转存模块。

6.根据权利要求1所述的基于大数据的软件开发应用数据处理方法，其特征在于，所述数据转存模块获得优选系数的具体过程如下：

将余量比、输传值、失频值经过分析得到优选系数；

将最大优选系数所对应的预选转存点标记为选中预选转存点；

将转移数据传输至选中预选转存点中储存。

Images