CN105574106B - 一种大数据平台的网络信息分析处理方法 - Google Patents

Abstract

本发明提供一种大数据平台的网络信息分析处理方法，该方法步骤如下：查询服务器接收客户端的用户发送的查询请求，提取查询请求中的查询关键词，对查询关键词进行扩展，使用扩展后的关键词执行查询以获得查询结果；并将查询结果发送至客户端；所述查询结果中包含用户所请求的大数据资源的多个资源下载地址；客户端的用户获得查询结果，对查询结果中的多个资源下载地址的有效性进行判断，在经判断有效的资源下载地址中选择一个最优的资源下载地址下载大数据资源；客户端的用户在完成大数据资源的下载之后，将大数据资源分享至云端服务器；云端服务器向具有大数据资源访问权限的用户提供大数据资源共享。

Description

一种大数据平台的网络信息分析处理方法

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据平台的网络信息分析处理方法。

背景技术

大数据是一种战略资源，基于大数据平台的数据分析可以为企业等带来巨大的经济效益。云计算为大数据提供了技术支撑。当前基于大数据平台的数据分析所面临一个重要困难，是如何提高大数据的网络数据分析效率；同时，如何安全有效地将大数据分析的结果共享至云端也是当前急需解决的课题。

发明内容

本发明的目的在于提供一种大数据平台的网络信息分析处理方法。

本发明的技术方案如下：

一种大数据平台的网络信息分析处理方法，其特征在于，

步骤1、查询服务器接收客户端的用户发送的查询请求，提取所述查询请求中的查询关键词，对所述查询关键词进行扩展，使用扩展后的关键词执行查询以获得查询结果；并将所述查询结果发送至客户端；其中，所述查询结果中包含用户所请求的大数据资源的多个资源下载地址；

步骤2、客户端的用户获得查询结果，对所述查询结果中的多个资源下载地址的有效性进行判断，在经判断有效的资源下载地址中选择一个最优的资源下载地址下载所述大数据资源；

步骤3、客户端的用户在完成所述大数据资源的下载之后，将所述大数据资源分享至云端服务器；

步骤4、所述云端服务器向具有大数据资源访问权限的用户提供所述大数据资源共享。

可选地，步骤1中，所述查询服务器在获得查询结果之后，将所述查询结果发送至客户端之前，执行以下步骤：

步骤1.1、对所述查询结果进行哈希计算，获得查询结果的原始哈希校验值；

步骤1.2、利用所述客户端的用户提供的加密密钥对所述查询结果及其原始哈希校验值进行加密处理；

其中，所述哈希校验值可以是MD5值。

可选地，步骤2中，在获得查询结果之后，对所述查询结果中的多个资源下载地址的有效性进行判断之前执行以下步骤：

步骤2.1、客户端的用户使用解密密钥对查询结果解密，获得所述查询结果的实际哈希值；

步骤2.2、将查询结果的原始哈希值和实际哈希值进行比对，如果两者相等，则保留该查询结果，执行步骤2.3；否则，丢弃该查询结果，返回步骤1；

步骤2.3、从所述查询结果中获得该用户所请求的大数据资源的多个资源下载地址。

可选地，步骤2中，所述对所述查询结果中的多个资源下载地址的有效性进行判断，在经判断有效的资源下载地址中选择一个最优的资源下载地址下载所述大数据资源具体包括以下步骤：

步骤2.4、对所述大数据资源的N个资源下载地址进行筛选，获得M个经筛选后的资源下载地址；其中，N、M都是自然数，且N>M；

步骤2.5、设预设的统计时间段的长度为T，客户端从第i个经筛选后的资源下载地址下载所述大数据资源时的平均通讯故障间隔时间为Δti，客户端从第i个经筛选后的资源下载地址下载所述大数据资源时的数据传输可靠率θi，则：

θi＝(Δti/T)×100％,其中，i＝1,2…,M；M为自然数；且T>Δti>0；

步骤2.6、客户端从第i个经筛选后的资源下载地址下载所述大数据资源的平均传输速率为vi，所述第i个经筛选后的资源下载地址的综合评价值为μi，通过以下公式计算μi：

μi＝(θi)^1/3*ln(e+vi)，其中，i＝1,2…,M；且M为自然数，e为自然底数；

步骤2.7、在M个经筛选后的资源下载地址中选择综合评价值最高的一个地址作为最优的资源下载地址，下载所述大数据资源。

可选地，所述步骤2.4具体包括以下步骤：

步骤2.4.1、对所述大数据资源的N个资源下载地址中的每一个执行以下操作：

确定客户端在预设的第二统计时间段内从第j个下载地址下载大数据资源时，所述第j个下载地址的热度值ψj，该热度值ψj根据客户端在所述预设的第二统计时间段内请求从所述第j个下载地址下载所述大数据资源的次数wj、以及下载的所述大数据资源的数据总量aj来确定，通过以下公式计算ψj：

ψj＝(aj)^1/2*ln(e+wj)，其中，j＝1,2…,N；且N为自然数，e为自然底数；

步骤2.4.2、将所述大数据资源的N个资源下载地址按照所述热度值从高至低进行排序，保留排序结果中的前M个下载地址，其中，通过以下公式计算M：

M＝[N*λ]，其中，符号[]表示对其中的内容取整运算，λ为预先设定的值，且0<λ<1。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

本发明的具体实施方案如下：

一种大数据平台的网络信息分析处理方法，其特征在于，

步骤1、查询服务器接收客户端的用户发送的查询请求，提取所述查询请求中的查询关键词，对所述查询关键词进行扩展，使用扩展后的关键词执行查询以获得查询结果；并将所述查询结果发送至客户端；其中，所述查询结果中包含用户所请求的大数据资源的多个资源下载地址；

步骤2、客户端的用户获得查询结果，对所述查询结果中的多个资源下载地址的有效性进行判断，在经判断有效的资源下载地址中选择一个最优的资源下载地址下载所述大数据资源；

步骤3、客户端的用户在完成所述大数据资源的下载之后，将所述大数据资源分享至云端服务器；

步骤4、所述云端服务器向具有大数据资源访问权限的用户提供所述大数据资源共享。

可选地，步骤1中，所述查询服务器在获得查询结果之后，将所述查询结果发送至客户端之前，执行以下步骤：

步骤1.1、对所述查询结果进行哈希计算，获得查询结果的原始哈希校验值；

步骤1.2、利用所述客户端的用户提供的加密密钥对所述查询结果及其原始哈希校验值进行加密处理；

其中，所述哈希校验值可以是MD5值。

可选地，步骤2中，在获得查询结果之后，对所述查询结果中的多个资源下载地址的有效性进行判断之前执行以下步骤：

步骤2.1、客户端的用户使用解密密钥对查询结果解密，获得所述查询结果的实际哈希值；

步骤2.2、将查询结果的原始哈希值和实际哈希值进行比对，如果两者相等，则保留该查询结果，执行步骤2.3；否则，丢弃该查询结果，返回步骤1；

步骤2.3、从所述查询结果中获得该用户所请求的大数据资源的多个资源下载地址。

可选地，步骤2中，所述对所述查询结果中的多个资源下载地址的有效性进行判断，在经判断有效的资源下载地址中选择一个最优的资源下载地址下载所述大数据资源具体包括以下步骤：

步骤2.4、对所述大数据资源的N个资源下载地址进行筛选，获得M个经筛选后的资源下载地址；其中，N、M都是自然数，且N>M；

步骤2.5、设预设的统计时间段的长度为T，客户端从第i个经筛选后的资源下载地址下载所述大数据资源时的平均通讯故障间隔时间为Δti，客户端从第i个经筛选后的资源下载地址下载所述大数据资源时的数据传输可靠率θi，则：

θi＝(Δti/T)×100％,其中，i＝1,2…,M；M为自然数；且T>Δti>0；

具体地，对于上述第i个经筛选后的资源下载地址，平均通讯故障间隔时间Δti是指客户端从所述第i个经筛选后的资源下载地址下载所述大数据资源时，发生通讯故障的各时刻之间时间间隔的平均值(这里假设通讯故障的持续时间长度较短，故而忽略掉发生通讯故障的时长)，因此可以等同视为正常无通讯故障工作时间的平均值；其值越大，说明数据通讯越稳定，即发生网络通讯故障的概率越低。

步骤2.6、客户端从第i个经筛选后的资源下载地址下载所述大数据资源的平均传输速率为vi，所述第i个经筛选后的资源下载地址的综合评价值为μi，通过以下公式计算μi：

μi＝(θi)^1/3*ln(e+vi)，其中，i＝1,2…,M；且M为自然数，e为自然底数；

步骤2.7、在M个经筛选后的资源下载地址中选择综合评价值最高的一个地址作为最优的资源下载地址，下载所述大数据资源。

可选地，所述步骤2.4具体包括以下步骤：

步骤2.4.1、对所述大数据资源的N个资源下载地址中的每一个执行以下操作：

确定客户端在预设的第二统计时间段内从第j个下载地址下载大数据资源时，所述第j个下载地址的热度值ψj，该热度值ψj根据客户端在所述预设的第二统计时间段内请求从所述第j个下载地址下载所述大数据资源的次数wj、以及下载的所述大数据资源的数据总量aj来确定，通过以下公式计算ψj：

ψj＝(aj)^1/2*ln(e+wj)，其中，j＝1,2…,N；且N为自然数，e为自然底数；

步骤2.4.2、将所述大数据资源的N个资源下载地址按照所述热度值从高至低进行排序，保留排序结果中的前M个下载地址，其中，通过以下公式计算M：

M＝[N*λ]，其中，符号[]表示对其中的内容取整运算，λ为预先设定的值，且0<λ<1。

本发明附加的方面和优点已在上面的描述中部分给出，部分将从上面的描述中变得明显，或通过本发明的实践了解到。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (1)

1.一种大数据平台的网络信息分析处理方法，其特征在于，

步骤1、查询服务器接收客户端的用户发送的查询请求，提取所述查询请求中的查询关键词，对所述查询关键词进行扩展，使用扩展后的关键词执行查询以获得查询结果；并将所述查询结果发送至客户端；其中，所述查询结果中包含用户所请求的大数据资源的多个资源下载地址；

步骤2、客户端的用户获得查询结果，对所述查询结果中的多个资源下载地址的有效性进行判断，在经判断有效的资源下载地址中选择一个最优的资源下载地址下载所述大数据资源；

步骤3、客户端的用户在完成所述大数据资源的下载之后，将所述大数据资源分享至云端服务器；

步骤4、所述云端服务器向具有大数据资源访问权限的用户提供所述大数据资源共享；

步骤1中，所述查询服务器在获得查询结果之后，将所述查询结果发送至客户端之前，执行以下步骤：

步骤1.1、对所述查询结果进行哈希计算，获得查询结果的原始哈希校验值；

步骤1.2、利用所述客户端的用户提供的加密密钥对所述查询结果及其原始哈希校验值进行加密处理；

其中，所述哈希校验值可以是MD5值；

步骤2中，在获得查询结果之后，对所述查询结果中的多个资源下载地址的有效性进行判断之前执行以下步骤：

步骤2.1、客户端的用户使用解密密钥对查询结果解密，获得所述查询结果的实际哈希值；

步骤2.2、将查询结果的原始哈希值和实际哈希值进行比对，如果两者相等，则保留该查询结果，执行步骤2.3；否则，丢弃该查询结果，返回步骤1；

步骤2.3、从所述查询结果中获得该用户所请求的大数据资源的多个资源下载地址；

步骤2中，所述对所述查询结果中的多个资源下载地址的有效性进行判断，在经判断有效的资源下载地址中选择一个最优的资源下载地址下载所述大数据资源具体包括以下步骤：

步骤2.4、对所述大数据资源的N个资源下载地址进行筛选，获得M个经筛选后的资源下载地址；其中，N、M都是自然数，且N>M；

步骤2.5、设预设的统计时间段的长度为T，客户端从第i个经筛选后的资源下载地址下载所述大数据资源时的平均通讯故障间隔时间为Δti，客户端从第i个经筛选后的资源下载地址下载所述大数据资源时的数据传输可靠率θi，则：

θi＝(Δti/T)×100％,其中，i＝1,2…,M；M为自然数；且T>Δti>0；

步骤2.6、客户端从第i个经筛选后的资源下载地址下载所述大数据资源的平均传输速率为vi，所述第i个经筛选后的资源下载地址的综合评价值为μi，通过以下公式计算μi：

μi＝(θi)^1/3*ln(e+vi)，其中，i＝1,2…,M；且M为自然数，e为自然底数；

步骤2.7、在M个经筛选后的资源下载地址中选择综合评价值最高的一个地址作为最优的资源下载地址，下载所述大数据资源；

所述步骤2.4具体包括以下步骤：

步骤2.4.1、对所述大数据资源的N个资源下载地址中的每一个执行以下操作：

确定客户端在预设的第二统计时间段内从第j个下载地址下载大数据资源时，所述第j个下载地址的热度值ψj，该热度值ψj根据客户端在所述预设的第二统计时间段内请求从所述第j个下载地址下载所述大数据资源的次数wj、以及下载的所述大数据资源的数据总量aj来确定，通过以下公式计算ψj：

ψj＝(aj)^1/2*ln(e+wj)，其中，j＝1,2…,N；且N为自然数，e为自然底数；

步骤2.4.2、将所述大数据资源的N个资源下载地址按照所述热度值从高至低进行排序，保留排序结果中的前M个下载地址，其中，通过以下公式计算M：

M＝[N*λ]，其中，符号[]表示对其中的内容取整运算，λ为预先设定的值，且0<λ<1。