CN112860754A - 一种基于大数据筛选相应用户的数据处理方法 - Google Patents

一种基于大数据筛选相应用户的数据处理方法 Download PDF

Info

Publication number
CN112860754A
CN112860754A CN202110264522.2A CN202110264522A CN112860754A CN 112860754 A CN112860754 A CN 112860754A CN 202110264522 A CN202110264522 A CN 202110264522A CN 112860754 A CN112860754 A CN 112860754A
Authority
CN
China
Prior art keywords
data
screening
information
processing method
big
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110264522.2A
Other languages
English (en)
Inventor
陈绍嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengji Culture Industry Shenzhen Co ltd
Original Assignee
Hengji Culture Industry Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengji Culture Industry Shenzhen Co ltd filed Critical Hengji Culture Industry Shenzhen Co ltd
Priority to CN202110264522.2A priority Critical patent/CN112860754A/zh
Publication of CN112860754A publication Critical patent/CN112860754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种基于大数据筛选相应用户的数据处理方法，其处理方法具体包括以下步骤S1、在网络基站服务器中建立相关的数据检验系统和筛选系统，且针对建立的数据检验系统和筛选系统进行测试检验，检测系统漏洞和错误日志，避免出现检测失误和数据错误的情况，安装放置于存储有大数据网络的服务器机组中,本发明涉及大数据处理技术领域。该基于大数据筛选相应用户的数据处理方法，通过可以让大数据库根据用户提供的数据指令和词条进行检索数据时更加便捷，检索速度更快，而且后续使用中不会轻易的泄露数据，让整体变的更加的安全，这样一来人们的使用隐私性便会大幅度提高，其检索速度也会大幅度缩短，这便于人们使用。

Description

一种基于大数据筛选相应用户的数据处理方法
技术领域
本发明涉及大数据处理技术领域，具体为一种基于大数据筛选相应用户的数据处理方法。
背景技术
大数据是T行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，大数据环境下数据量快速的积累，要想分析出海量数据所蕴含的价值，筛选出有价值的数据十分重要，而数据筛选在整个数据处理流程中处于至关重要的地位。数据筛选的目的是为了提高之前收集存储的相关数据的可用性，更利于后期数据分析。数据筛选包括数据抽取、数据清理、数据加载三个部分，大数据环境下数据量快速的积累，要想分析出海量数据所蕴含的价值，筛选出有价值的数据十分重要，而数据筛选在整个数据处理流程中处于至关重要的地位。数据量的增加及结构的复杂化，这使得面向大数据的数据筛选必然会耗费较多资源，因此要想快速准确筛选出有价值的数据选择合适的算法十分必要，而每个算法都有着自己使用所需要的环境，大数据环境下数据复杂度的增加提升了选择合适算法的困难；其次大数据的巨大数据量也使得通过单一算法分析出有价值的数据越来越困难。
现有的基于大数据筛选相应用户的数据处理方法筛选功能较为陈旧，而且筛选速度较为一般，也不具有隐私性，这样一来人们使用时将会带来较大的麻烦，不能在发出指令的第一时间就检索到相应的数据信息，而且在后续使用中非常容易出现数据泄露的情况，这极其不利于人们使用，给人们带来了麻烦。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于大数据筛选相应用户的数据处理方法，解决了上述背景技术中所提出的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据筛选相应用户的数据处理方法，其处理方法具体包括以下步骤
S1、在网络基站服务器中建立相关的数据检验系统和筛选系统，且针对建立的数据检验系统和筛选系统进行测试检验，检测系统漏洞和错误日志，避免出现检测失误和数据错误的情况，至终系统系统检验成功可以运行后，安装放置于存储有大数据网络的服务器机组中；
S2、大数据网络服务机组进行干涉，与数据检验系统和筛选系统进行交涉适配，可以进行双向配合，针对操作主次进行分层，直至交涉完整且控制方便为止；
S3、数据检验系统和筛选系统接收到外部搜索词条和信息后，立即通过与大数据网络进行交涉，获取权限后进入大数据网络数据库中进行针对性查重，检测出与该项信息和词条相符的数据信息，并对这些信息进行提取复制，且留存提取记录，再将这些提取的词条和数据信息进行整理反馈；
S4、数据检验系统和筛选系统再向提供查重信息的用户进行身份验证，检测其身份信息，并对该用户的身份信息进行验证，检测其是否具有查重权限，如若验证成功则将整理完成的数据信息展示给用户，如若验证失败则需重新验证；
S5、数据检验系统和筛选系统对大数据网络数据库中的数据进行查重提取后，并对该项数据进行标记，后续针对标记后的数据进行分类，针对其种类进行放置存储，使其分类的更加整洁，即使查找时也会更加方便；
S6、上述所有步骤进行运行时，均进行加密，所需操作都要验证使用身份，发出控制指令时，针对发出指令的用户进行验证，检验其是否具有权限，验明其身份后在进行下一步操作。
优选的，所述S2中控制系统的最高操控权限为人工操控，且大数据网络数据库优先于数据检验系统和筛选系统。
优选的，所述S1至S6中的加密验证均为人脸识别和数字密码，且省份数据是先前录入数据库中。
(三)有益效果
本发明提供了一种基于大数据筛选相应用户的数据处理方法。其有益效果为：该基于大数据筛选相应用户的数据处理方法，通过可以让大数据库根据用户提供的数据指令和词条进行检索数据时更加便捷，检索速度更快，而且后续使用中不会轻易的泄露数据，让整体变的更加的安全，这样一来人们的使用隐私性便会大幅度提高，其检索速度也会大幅度缩短，这便于人们使用。
附图说明
图1为本发明系统原理的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供一种技术方案：一种基于大数据筛选相应用户的数据处理方法，其处理方法具体包括以下步骤
S1、在网络基站服务器中建立相关的数据检验系统和筛选系统，且针对建立的数据检验系统和筛选系统进行测试检验，检测系统漏洞和错误日志，避免出现检测失误和数据错误的情况，至终系统系统检验成功可以运行后，安装放置于存储有大数据网络的服务器机组中；
S2、大数据网络服务机组进行干涉，与数据检验系统和筛选系统进行交涉适配，可以进行双向配合，针对操作主次进行分层，直至交涉完整且控制方便为止；
S3、数据检验系统和筛选系统接收到外部搜索词条和信息后，立即通过与大数据网络进行交涉，获取权限后进入大数据网络数据库中进行针对性查重，检测出与该项信息和词条相符的数据信息，并对这些信息进行提取复制，且留存提取记录，再将这些提取的词条和数据信息进行整理反馈；
S4、数据检验系统和筛选系统再向提供查重信息的用户进行身份验证，检测其身份信息，并对该用户的身份信息进行验证，检测其是否具有查重权限，如若验证成功则将整理完成的数据信息展示给用户，如若验证失败则需重新验证；
S5、数据检验系统和筛选系统对大数据网络数据库中的数据进行查重提取后，并对该项数据进行标记，后续针对标记后的数据进行分类，针对其种类进行放置存储，使其分类的更加整洁，即使查找时也会更加方便；
S6、上述所有步骤进行运行时，均进行加密，所需操作都要验证使用身份，发出控制指令时，针对发出指令的用户进行验证，检验其是否具有权限，验明其身份后在进行下一步操作。
本发明中，S2中控制系统的最高操控权限为人工操控，且大数据网络数据库优先于数据检验系统和筛选系统。
本发明中，S1至S6中的加密验证均为人脸识别和数字密码，且省份数据是先前录入数据库中。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于大数据筛选相应用户的数据处理方法，其处理方法具体包括以下步骤
S1、在网络基站服务器中建立相关的数据检验系统和筛选系统，且针对建立的数据检验系统和筛选系统进行测试检验，检测系统漏洞和错误日志，避免出现检测失误和数据错误的情况，至终系统系统检验成功可以运行后，安装放置于存储有大数据网络的服务器机组中；
S2、大数据网络服务机组进行干涉，与数据检验系统和筛选系统进行交涉适配，可以进行双向配合，针对操作主次进行分层，直至交涉完整且控制方便为止；
S3、数据检验系统和筛选系统接收到外部搜索词条和信息后，立即通过与大数据网络进行交涉，获取权限后进入大数据网络数据库中进行针对性查重，检测出与该项信息和词条相符的数据信息，并对这些信息进行提取复制，且留存提取记录，再将这些提取的词条和数据信息进行整理反馈；
S4、数据检验系统和筛选系统再向提供查重信息的用户进行身份验证，检测其身份信息，并对该用户的身份信息进行验证，检测其是否具有查重权限，如若验证成功则将整理完成的数据信息展示给用户，如若验证失败则需重新验证；
S5、数据检验系统和筛选系统对大数据网络数据库中的数据进行查重提取后，并对该项数据进行标记，后续针对标记后的数据进行分类，针对其种类进行放置存储，使其分类的更加整洁，即使查找时也会更加方便；
S6、上述所有步骤进行运行时，均进行加密，所需操作都要验证使用身份，发出控制指令时，针对发出指令的用户进行验证，检验其是否具有权限，验明其身份后在进行下一步操作。
2.根据权利要求1所述的一种基于大数据筛选相应用户的数据处理方法，其特征在于：所述S2中控制系统的最高操控权限为人工操控，且大数据网络数据库优先于数据检验系统和筛选系统。
3.根据权利要求1所述的一种基于大数据筛选相应用户的数据处理方法，其特征在于：所述S1至S6中的加密验证均为人脸识别和数字密码，且省份数据是先前录入数据库中。
CN202110264522.2A 2021-03-11 2021-03-11 一种基于大数据筛选相应用户的数据处理方法 Pending CN112860754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110264522.2A CN112860754A (zh) 2021-03-11 2021-03-11 一种基于大数据筛选相应用户的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110264522.2A CN112860754A (zh) 2021-03-11 2021-03-11 一种基于大数据筛选相应用户的数据处理方法

Publications (1)

Publication Number Publication Date
CN112860754A true CN112860754A (zh) 2021-05-28

Family

ID=75993997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110264522.2A Pending CN112860754A (zh) 2021-03-11 2021-03-11 一种基于大数据筛选相应用户的数据处理方法

Country Status (1)

Country Link
CN (1) CN112860754A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030101153A1 (en) * 2001-11-28 2003-05-29 Symbio Ip Limited Knowledge system
CN102622443A (zh) * 2012-03-13 2012-08-01 北京邮电大学 一种面向微博的定制化筛选系统及方法
CN104778208A (zh) * 2015-03-11 2015-07-15 赵业东 一种搜索引擎 seo 网站数据的优化抓取方法及系统
CN108009298A (zh) * 2017-12-27 2018-05-08 海口经济学院 一种互联网人物搜索信息整合分析控制方法
CN108171527A (zh) * 2018-03-09 2018-06-15 北京阿尔山金融科技有限公司 客户信息管理系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030101153A1 (en) * 2001-11-28 2003-05-29 Symbio Ip Limited Knowledge system
CN102622443A (zh) * 2012-03-13 2012-08-01 北京邮电大学 一种面向微博的定制化筛选系统及方法
CN104778208A (zh) * 2015-03-11 2015-07-15 赵业东 一种搜索引擎 seo 网站数据的优化抓取方法及系统
CN108009298A (zh) * 2017-12-27 2018-05-08 海口经济学院 一种互联网人物搜索信息整合分析控制方法
CN108171527A (zh) * 2018-03-09 2018-06-15 北京阿尔山金融科技有限公司 客户信息管理系统及方法

Similar Documents

Publication Publication Date Title
CN106874190B (zh) 用户界面的测试方法及服务器
CN110555630B (zh) 一种数据处理方法及装置
CN105825129A (zh) 一种融合通信中恶意软件鉴别方法和系统
CN115277243B (zh) 一种基于lru高速缓存的网络通信方法
CN111274218A (zh) 一种电力信息系统多源日志数据处理方法
CN112153378A (zh) 一种视频审核能力的测试方法及其系统
CN105183648A (zh) 一种可视化的自动拨测方法及系统
CN116383786B (zh) 一种基于物联网的大数据信息监管系统及方法
CN112860754A (zh) 一种基于大数据筛选相应用户的数据处理方法
CN116668107A (zh) 一种自动巡查及网络攻击溯源方法
CN113297583B (zh) 漏洞风险分析方法、装置、设备及存储介质
CN107391551B (zh) 一种基于数据挖掘的web业务数据分析方法及系统
CN115828243A (zh) 基于扫描方案的静态代码流程分析方法
CN115525897A (zh) 终端设备的系统检测方法、装置、电子装置和存储介质
CN109412861B (zh) 一种终端网络建立安全关联展示方法
CN114881142A (zh) 一种配网异常数据的处理方法及装置
CN114090011A (zh) 一种方便开发者使用的软件开发方法
CN107392415B (zh) 一种基于大数据的电信营业员画像信息处理方法及装置
CN114189585A (zh) 骚扰电话异常检测方法、装置及计算设备
CN113190461B (zh) 系统测试方法、装置和服务器
CN112565306B (zh) 一种app隐私数据收集的第三方服务器识别方法
CN111814021B (zh) 一种具有自动除错功能的企业信息收集系统
CN116719777B (zh) 阅读机器人读取ofd虚拟分区四性数据模仿人处理的技术
CN117633236A (zh) 分类数据生成方法、装置、设备和计算机存储介质
Rosselina et al. Framework design for the retrieval of instant messaging in social media as electronic evidence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210528