CN116561188B - 一种具有筛选功能的大数据分析方法 - Google Patents

Abstract

本发明公开了一种具有筛选功能的大数据分析方法，包括以下步骤，S1：数据获取阶段：获取模块对通过客户信息库和移动端模块对客户的相关信息进行获取，获取到信息将通过整合模块汇集整合至目标数据库内；S2：数据筛选阶段：利用大数据服务器接入互联网大数据，然后利用分析模块和筛选模块对相关的数据进行初步筛选；S21：不符合筛选要求的数据将会经删除模块自动删除；S22：符合要求的数据将会通过第一展示模块展示出来，并存储在数据区模块内。该具有筛选功能的大数据分析方法，获取模块可通过客户信息库以及移动端模块对客户的数据进行多来源获取，同时整合模块可将并将获取的进行集中整合，进而便于丰富对比样本同时便于保证资源获取的全面性。

Description

一种具有筛选功能的大数据分析方法

技术领域

本发明涉及具有大数据分析技术领域，具体为一种具有筛选功能的大数据分析方法。

背景技术

大数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。经检索，发现现有技术中的大数据分析方法典型的如公开号CN114092224A一种大数据分析方法及装置，应用于大数据技术领域，其中该方法包括：接收待分析数据、再抽样子样本数目、计算统计量集合、模型评价指标、再抽样子样本数目、计算统计量集合、模型评价指标、结果整合方法及预设结果精度；循环确定最优样本数据，每个循环周期均执行以下操作：对待分析数据进行再抽样，得到周期子样本；根据计算统计量集合，得到周期子样本计算结果；根据模型评价指标，得到周期子样本计算结果精度；根据结果整合方法，将每一周期的子样本计算结果精度进行整合，得到周期整合结果精度；周期整合结果精度达到预设结果精度时，得到最优样本数据。本发明可以高效准确地进行大数据分析得到高精度的样本数据，使得在硬件有限的条件下进行高效准确地建模。

现有的大数据分析方法在分析数据时为了提高分析效率和关联度，大多是通过对比抽样样本的方式进行数据获取，而利用对比样本的方式分析大数据使得获取资源不够全面，另一方面现有的筛选对比方式程序单一，从而在筛选过程中存在一定的数据遗漏的问题，现有的针对上述问题，需要对现有设备进行改进。

发明内容

本发明的目的在于提供一种具有筛选功能的大数据分析方法，以解决上述背景技术中提出的现现有的大数据分析方法在分析数据时为了提高分析效率和关联度，大多是通过对比抽样样本的方式进行数据获取，而利用对比样本的方式分析大数据使得获取资源不够全面的问题。

为实现上述目的，本发明提供如下技术方案：一种具有筛选功能的大数据分析方法，包括以下步骤，其特征在于：

S1：数据获取阶段：

获取模块对通过客户信息库和移动端模块对客户的相关信息进行获取，获取到信息将通过整合模块汇集整合至目标数据库内；

S2：数据筛选阶段：

利用大数据服务器接入互联网大数据，然后利用分析模块和筛选模块对相关的数据进行初步筛选；

S21：不符合筛选要求的数据将会经删除模块自动删除；

S22：符合要求的数据将会通过第一展示模块展示出来，并存储在数据区模块内。

S3：数据对比阶段：

利用对比模块对数据区模块内的数据与现有的目标数据库内的数据进行对比；

S31：利用复检模块将对比之后的资源进行复检；

S4：利用通过关联度排列模块将资源进行排列；

S41：利用加密模块对即将进行传送的数据进行加密。

优选的，利用大数据服务器接入互联网大数据，分析模块将对接入的大数据进行分析处理，接着筛选模块将对分析之后相关的数据进行初步筛选。

优选的，删除模块将会把不符合筛选要求的数据自动删除，符合要求的数据将会通过第一展示模块展示出来，并存储在数据区模块内。

优选的，对比模块对数据区模块内的数据与现有的目标数据库内的数据进行对比，当数据区模块内数据不符合目标数据库内任一偏好数据时，忽略模块将会对相应的资源进行忽略，符合偏好需求的数据将会通过第二展示模块展示出来。

优选的，复检模块将会对展示的资源进行复检，符合复检要求的数据将会通过第三展示模块展示出来，不符合要求的数据若三次均未通过对比模块的对比分析之后将会再次忽略。

优选的，第三展示模块展示的内容选择通过关联度排列模块按数据关联度排列，也通过时间排列模块按数据发布时间前后排列。

优选的，所述第三展示模块包括关联度排列模块和时间排列模块，且关联度排列模块和时间排列模块均与分类模块连接。

优选的，分类模块将会把分类之后的数据存储至第二存储模块的内部。

优选的，加密模块将第二存储模块内的数据进行加密然后通过发送模块发送给客户，同时根据需求选择使用数字加密模块进行数字加密，或者利用文字加密模块进行文字加密。

与现有技术相比，本发明的有益效果是：该具有筛选功能的大数据分析方法，

（1）本发明通过客户信息库、移动端模块、获取模块以及整合模块的配合使用可有效解决现有的大数据分析方法在分析数据时为了提高分析效率和关联度，大多是通过对比抽样样本的方式进行数据获取，而利用对比样本的方式分析大数据使得获取资源不够全面的问题，获取模块可通过客户信息库以及移动端模块对客户的数据进行多来源获取，同时整合模块可将并将获取的进行集中整合，进而便于丰富对比样本，同时便于保证资源获取的全面性。

（2）本发明通过筛选模块和对比模块的配合使用可有效解决大数据容易因接入资源复杂重复而导致分析效率低的问题，筛选模块可对大数据服务器接入获取的信息进行筛选，对比模块可避免重复以及无用的数据反复与目标数据库内的数据进行对比，进而便于提高分析效率，同时重复以及无用的数据将会在筛选和对比时通过删除模块和忽略模块删除忽略掉，从而便于减少展示的资源，进而便于更加直观的通过相关的展示模块对资源进行查看获取。

（3）本发明通过对比模块、复检模块和第三展示模块的配合使用可有效解决现有的筛选对比方式程序单一，从而存在一定的数据遗漏的问题，复检模块可对用于第三展示模块展示的数据即经过筛选和对比的数据进行再次进行复检，符合复检要求的数据将会通过第三展示模块展示出来，不符合复检要求的数据将再次输出至对比模块内进行再次对比，若不符合复检要求的数据三次均未通过对比模块的对比分析之后将会由忽略模块再次忽略，从而可在一定程度上避免出现数据遗漏的问题。

（4）本发明通过第三展示模块、关联度排列模块、时间排列模块和分类模块的配合使用可有效解决分析获取的最终数据展示即查看方式单一，不便于满足使用者多样化的查看需求的问题，可利用第三展示模块内的关联度排列模块将最终数据按照与样本的关联度的高低从前至后进行排列，也可通过时间排列模块按照数据发布日期从新到旧进行排列，进而便于对相关数据进行快速准确找寻。

附图说明

图1为本发明筛选模块的工作流程示意图；

图2为本发明目标数据库生成工作流程示意图；

图3为本发明数据区模块、对比模块、目标数据库和第三展示模块之间的控制关系工作流程示意图；

图4为本发明复检模块的工作流程示意图；

图5为本发明第三展示模块和第二存储模块之间的输出关系工作流程示意图；

图6为本发明加密模块的构成以及输入输出关系工作流程示意图。

图中：1、客户信息库；2、移动端模块；3、获取模块；4、整合模块；5、目标数据库；6、大数据服务器；7、分析模块；8、筛选模块；9、第一展示模块；10、删除模块；11、数据区模块；12、对比模块；13、第二展示模块；14、忽略模块；15、复检模块；16、第三展示模块；17、关联度排列模块；18、时间排列模块；19、分类模块；20、第二存储模块；21、加密模块；22、数字加密模块；23、文字加密模块；24、发送模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-6，本发明提供一种技术方案：一种具有筛选功能的大数据分析方法，包括以下步骤，S1：数据获取阶段：

获取模块3对通过客户信息库1和移动端模块2对客户的相关信息进行获取，获取到信息将通过整合模块4汇集整合至目标数据库5内；

S2：数据筛选阶段：

利用大数据服务器6接入互联网大数据，然后利用分析模块7和筛选模块8对相关的数据进行初步筛选；

S21：不符合筛选要求的数据将会经删除模块10自动删除；

S22：符合要求的数据将会通过第一展示模块9展示出来，并存储在数据区模块11内。

S3：数据对比阶段：

利用对比模块12对数据区模块11内的数据与现有的目标数据库5内的数据进行对比；

S31：利用复检模块15将对比之后的资源进行复检；

S4：利用通过关联度排列模块17将资源进行排列；

S41：利用加密模块21对即将进行传送的数据进行加密。

利用大数据服务器6接入互联网大数据，分析模块7将对接入的大数据进行分析处理，接着筛选模块8将对分析之后相关的数据进行初步筛选。

删除模块10将会把不符合筛选要求的数据自动删除，符合要求的数据将会通过第一展示模块9展示出来，并存储在数据区模块11内。

对比模块12对数据区模块11内的数据与现有的目标数据库5内的数据进行对比，当数据区模块11内数据不符合目标数据库5内任一偏好数据时，忽略模块14将会对相应的资源进行忽略，符合偏好需求的数据将会通过第二展示模块13展示出来。

复检模块15将会对展示的资源进行复检，符合复检要求的数据将会通过第三展示模块16展示出来，不符合要求的数据若三次均未通过对比模块12的对比分析之后将会再次忽略。

第三展示模块16展示的内容选择通过关联度排列模块17按数据关联度排列，也通过时间排列模块18按数据发布时间前后排列。

第三展示模块16包括关联度排列模块17和时间排列模块18，且关联度排列模块17和时间排列模块18均与分类模块19连接。

分类模块19将会把分类之后的数据存储至第二存储模块20的内部。

加密模块21将第二存储模块20内的数据进行加密然后通过发送模块24发送给客户，同时根据需求选择使用数字加密模块22进行数字加密，或者利用文字加密模块23进行文字加密。

如图1、图2、图3、图4、图5和图6所示，在实际工作过程中，获取模块3可对通过客户信息库1和移动端模块2对客户之前的相关信息进行获取，获取到信息将通过整合模块4汇集整合至目标数据库5内，利用大数据服务器6接入网络大数据，分析模块7将对接入的大数据进行分析处理，接着筛选模块8将对分析之后相关的数据进行初步筛选，不符合筛选要求的数据将会输入删除模块10内，并经删除模块10自动完成删除，符合要求的数据将会通过第一展示模块9展示出来，并存储在数据区模块11内，对比模块12可将数据区模块11内的数据与现有的目标数据库5内的数据进行对比，当数据区模块11内数据不符合目标数据库5内任一偏好数据时，忽略模块14将会对相应的资源进行忽略，符合偏好需求的数据将会通过第二展示模块13展示出来，紧接着复检模块15将会对展示的资源进行复检，符合复检要求的数据将会通过第三展示模块16展示出来，不符合要求的数据若三次均未通过对比模块12的对比分析之后将会再次忽略，第三展示模块16展示的内容可选择通过关联度排列模块17按数据关联度的高低将其进行排列，也可通过时间排列模块18按数据发布时间前后将其进行排列，排列之后的数据经分类模块19分类之后将会存储至第二存储模块20的内部，接着可利用加密模块21将第二存储模块20内的数据进行加密然后通过发送模块24发送给客户，客户可在解密之后查看接收到的数据。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种具有筛选功能的大数据分析方法，包括以下步骤，其特征在于：

S1：数据获取阶段：

获取模块（3）对通过客户信息库（1）和移动端模块（2）对客户的相关信息进行获取，获取到信息将通过整合模块（4）汇集整合至目标数据库（5）内；

S2：数据筛选阶段：

利用大数据服务器（6）接入互联网大数据，然后利用分析模块（7）和筛选模块（8）对相关的数据进行初步筛选；

S21：不符合筛选要求的数据将会经删除模块（10）自动删除；

S22：符合要求的数据将会通过第一展示模块（9）展示出来，并存储在数据区模块（11）内；

S3：数据对比阶段：

利用对比模块（12）对数据区模块（11）内的数据与现有的目标数据库（5）内的数据进行对比；

S31：利用复检模块（15）将对比之后的资源进行复检；

S4：利用通过关联度排列模块（17）将资源进行排列；

S41：利用加密模块（21）对即将进行传送的数据进行加密；利用大数据服务器（6）接入互联网大数据，分析模块（7）将对接入的大数据进行分析处理，接着筛选模块（8）将对分析之后相关的数据进行初步筛选；删除模块（10）将会把不符合筛选要求的数据自动删除，符合要求的数据将会通过第一展示模块（9）展示出来，并存储在数据区模块（11）内；对比模块（12）对数据区模块（11）内的数据与现有的目标数据库（5）内的数据进行对比，当数据区模块（11）内数据不符合目标数据库（5）内任一偏好数据时，忽略模块（14）将会对相应的资源进行忽略，符合偏好需求的数据将会通过第二展示模块（13）展示出来；复检模块（15）将会对展示的资源进行复检，符合复检要求的数据将会通过第三展示模块（16）展示出来，不符合要求的数据若三次均未通过对比模块（12）的对比分析之后将会再次忽略；第三展示模块（16）展示的内容选择通过关联度排列模块（17）按数据关联度排列，也通过时间排列模块（18）按数据发布时间前后排列；所述第三展示模块（16）包括关联度排列模块（17）和时间排列模块（18），且关联度排列模块（17）和时间排列模块（18）均与分类模块（19）连接；分类模块（19）将会把分类之后的数据存储至第二存储模块（20）的内部；加密模块（21）将第二存储模块（20）内的数据进行加密然后通过发送模块（24）发送给客户，同时根据需求选择使用数字加密模块（22）进行数字加密，或者利用文字加密模块（23）进行文字加密。