CN114064682A - 一种基于大数据的信息处理方法及系统 - Google Patents

一种基于大数据的信息处理方法及系统 Download PDF

Info

Publication number
CN114064682A
CN114064682A CN202210046514.5A CN202210046514A CN114064682A CN 114064682 A CN114064682 A CN 114064682A CN 202210046514 A CN202210046514 A CN 202210046514A CN 114064682 A CN114064682 A CN 114064682A
Authority
CN
China
Prior art keywords
information
area
log data
stored
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210046514.5A
Other languages
English (en)
Other versions
CN114064682B (zh
Inventor
侯宝元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruizhi Technology Group Co ltd
Original Assignee
Ruizhi Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruizhi Technology Group Co ltd filed Critical Ruizhi Technology Group Co ltd
Priority to CN202210046514.5A priority Critical patent/CN114064682B/zh
Publication of CN114064682A publication Critical patent/CN114064682A/zh
Application granted granted Critical
Publication of CN114064682B publication Critical patent/CN114064682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数字信息传输领域，尤其涉及一种基于大数据的信息处理方法及系统，包括：将存储空间划分为多个区域，并且为每个区域设置属性范围；响应于接收到信息存储请求，计算该信息的属性值；将该信息存储至属性范围可以包含该信息的属性值的区域内；响应于将该信息存储至存储空间的一个区域中，依据该区域中的所有信息更新该区域的日志数据；响应于接收到信息调用请求，获得该信息调用请求调用的信息所存储的区域；依据该区域所存储的所有信息，获得该区域当前的日志数据，并且依据该区域当前的日志数据和最后一次向该区域存储信息后更新的日志数据，响应或拒绝信息调用请求。本申请可以快速检测、排查信息平台的异常信息，提高了用户的体验。

Description

一种基于大数据的信息处理方法及系统
技术领域
本申请涉及数字信息传输领域，尤其涉及一种基于大数据的信息处理方法及系统。
背景技术
近年来，随着互联网、物联网的不断发展，信息平台（例如：银行后台、云后台等）的用户呈爆发式增长，所以用户的个人信息、使用信息等信息也不断的增长。然而，信息平台对海量的信息进行存储、管理的过程中，难以避免会出现一些异常信息，而异常信息的出现，必然会导致平台前端（例如：银行应用、银行前端、云应用等）对信息的调用出现错误，从而影响了用户的体验，所以有效的检测、排查信息平台的异常信息有着很重要的作用。但是，由于信息平台存储、管理的是海量的信息，所以信息平台在进行检测、排查异常信息时，往往需要消耗较多的时间，从而影响了信息平台的性能，进而影响了用户的体验。
因此，如何快速检测、排查信息平台的异常信息，以提高用户的体验，是目前本领域技术人员急需解决的技术问题。
发明内容
本申请提供了一种基于大数据的信息处理方法及系统，以快速检测、排查信息平台的异常信息，避免了影响信息平台的性能，提高了用户的体验。
为解决上述技术问题，本申请提供如下技术方案：
一种基于大数据的信息处理方法，包括如下步骤：步骤S110、将信息平台的存储空间划分为多个区域，并且为每个区域设置存储信息的属性范围；步骤S120、响应于接收到信息存储请求，计算该信息的属性值；步骤S130、将该信息存储至属性范围可以包含该信息的属性值的区域内；步骤S140、响应于将该信息存储至存储空间的一个区域中，依据该区域中存储的所有信息更新该区域的日志数据；步骤S150、响应于接收到平台前端的信息调用请求，获得该信息调用请求调用的信息所存储的区域；步骤S160、依据该区域所存储的所有信息，获得该区域当前的日志数据，并且依据该区域当前的日志数据和最后一次向该区域存储信息后更新的日志数据，响应或拒绝信息调用请求。
如上所述的基于大数据的信息处理方法，其中，优选的是，将该信息的多个特征值集合在一起形成特征集；分别计算特征集中的每个特征值与预设特征类别集中的每个预设特征类别的相似度；将与一个特征值相似度最高的预设特征类别的权重作为该特征值的权重；通过该信息的特征值和特征值的权重计算得到该信息的属性值；
如上所述的基于大数据的信息处理方法，其中，优选的是，依据该区域中存储的所有信息的属性值更新该区域的日志数据。
如上所述的基于大数据的信息处理方法，其中，优选的是，依据信息调用请求所请求信息，查询记录信息存储位置的FTL表，以获得该信息调用请求所调用的信息所存储的区域。
如上所述的基于大数据的信息处理方法，其中，优选的是，若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据相同，则从该区域中获取待调用的信息，并向平台前端发送待调用的信息，以响应信息调用请求；若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据不相同，则不从该区域中获取待调用的信息，并向平台前端发送调用失败的信息，以拒绝信息调用请求。
一种基于大数据的信息处理系统，包括：区域划分单元、属性值计算单元、存储单元、日志数据计算单元、区域获取单元和信息调用请求处理单元；区域划分单元将信息平台的存储空间划分为多个区域，并且为每个区域设置存储信息的属性范围；属性值计算单元响应于接收到信息存储请求，计算该信息的属性值；存储单元将该信息存储至属性范围可以包含该信息的属性值的区域内；日志数据计算单元响应于将该信息存储至存储空间的一个区域中，依据该区域中存储的所有信息更新该区域的日志数据；区域获取单元响应于接收到平台前端的信息调用请求，获得该信息调用请求调用的信息所存储的区域；日志数据计算单元依据该区域所存储的所有信息，获得该区域当前的日志数据，信息调用请求处理单元依据该区域当前的日志数据和最后一次向该区域存储信息后更新的日志数据，响应或拒绝信息调用请求。
如上所述的基于大数据的信息处理系统，其中，优选的是，将该信息的多个特征值集合在一起形成特征集；分别计算特征集中的每个特征值与预设特征类别集中的每个预设特征类别的相似度；将与一个特征值相似度最高的预设特征类别的权重作为该特征值的权重；通过该信息的特征值和特征值的权重计算得到该信息的属性值。
如上所述的基于大数据的信息处理系统，其中，优选的是，依据该区域中存储的所有信息的属性值更新该区域的日志数据。
如上所述的基于大数据的信息处理系统，其中，优选的是，依据信息调用请求所请求信息，查询记录信息存储位置的FTL表，以获得该信息调用请求所调用的信息所存储的区域。
如上所述的基于大数据的信息处理系统，其中，优选的是，若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据相同，则从该区域中获取待调用的信息，并向平台前端发送待调用的信息，以响应信息调用请求；若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据不相同，则不从该区域中获取待调用的信息，并向平台前端发送调用失败的信息，以拒绝信息调用请求。
相对上述背景技术，由于本申请提供的基于大数据的信息处理方法机系统将信息平台的存储空间划分为多个区域，对于异常信息的检测、排查可以以区域为单位进行，避免了检测全部存储空间的信息，因此本申请可以快速检测、排查信息平台的异常信息，避免影响信息平台的性能，从而提高了用户的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于大数据的信息处理方法的流程图；
图2是本申请实施例提供的基于大数据的信息处理系统的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
实施例一
请参阅图1，图1是本申请实施例提供的基于大数据的信息处理方法的流程图。
本申请提供了一种基于大数据的信息处理方法，包括如下步骤：
步骤S110、将信息平台的存储空间划分为多个区域，并且为每个区域设置存储信息的属性范围；
为了将信息按照不同的类别（例如：不同地区的个人信息、不同时间段的个人信息、不同种类的使用信息等类别）进行存储，需要将信息平台的存储空间划分为多个区域，并且为每个区域设置存储信息的属性范围，以待后续对信息进行存储时，可以依据该信息的属性值，将该信息存储至属性范围可以包含该属性值的区域内。
步骤S120、响应于接收到信息存储请求，计算该信息的属性值；
每个信息都具有多个特征值，将多个特征值集合在一起形成特征集
Figure 618585DEST_PATH_IMAGE001
，其中，
Figure 953751DEST_PATH_IMAGE002
为第1个特征值，
Figure 400782DEST_PATH_IMAGE003
为第2个特征值，
Figure 479596DEST_PATH_IMAGE004
为第
Figure 711995DEST_PATH_IMAGE005
个特征值，
Figure 952483DEST_PATH_IMAGE006
为第
Figure 903122DEST_PATH_IMAGE007
个特征值，
Figure 520048DEST_PATH_IMAGE007
为该信息的特征值的数量。例如：若该信息是转账信息，那么
Figure 606952DEST_PATH_IMAGE002
可以为付款方个人信息、
Figure 18342DEST_PATH_IMAGE003
可以为收款方个人信息、
Figure 938500DEST_PATH_IMAGE004
可以为转账交易时间、
Figure 359117DEST_PATH_IMAGE006
可以为转账交易金额；若该信息是注册信息，那么
Figure 300528DEST_PATH_IMAGE002
可以为注册方个人信息、
Figure 148399DEST_PATH_IMAGE003
可以为注册电话信息、
Figure 808050DEST_PATH_IMAGE004
可以为注册申请时间、
Figure 766779DEST_PATH_IMAGE006
可以为注册校验信息。
分别计算特征集
Figure 828276DEST_PATH_IMAGE008
中的每个特征值与预设特征类别集
Figure 847047DEST_PATH_IMAGE009
中的每个预设特征类别的相似度，其中，
Figure 977683DEST_PATH_IMAGE010
为第1个预设特征类别、
Figure 740103DEST_PATH_IMAGE011
为第2个预设特征类别、
Figure 656106DEST_PATH_IMAGE012
为第
Figure 580200DEST_PATH_IMAGE013
个预设特征类别，
Figure 214444DEST_PATH_IMAGE014
为第
Figure 780554DEST_PATH_IMAGE015
个预设特征类别，
Figure 285485DEST_PATH_IMAGE015
为预设特征类别的数量。例如：
Figure 911638DEST_PATH_IMAGE010
为付款方个人信息、
Figure 518331DEST_PATH_IMAGE011
为转账交易时间、
Figure 622554DEST_PATH_IMAGE016
为注册申请时间、
Figure 513149DEST_PATH_IMAGE014
为注册校验信息。具体的，通过公式
Figure 44625DEST_PATH_IMAGE017
计算特征集
Figure 387881DEST_PATH_IMAGE018
中的每个特征值与预设特征类别集
Figure 764636DEST_PATH_IMAGE019
中的每个预设特征类别的相似度；其中，
Figure 509738DEST_PATH_IMAGE020
为要素
Figure 461383DEST_PATH_IMAGE021
和要素
Figure 291935DEST_PATH_IMAGE022
的相对熵距离，
Figure 3539DEST_PATH_IMAGE023
即为
Figure 868727DEST_PATH_IMAGE024
和
Figure 742005DEST_PATH_IMAGE025
的相对熵距离，
Figure 794275DEST_PATH_IMAGE026
即为
Figure 43991DEST_PATH_IMAGE016
和
Figure 498106DEST_PATH_IMAGE025
的相对熵距离。
将与一个特征值相似度最高的预设特征类别的权重作为该特征值的权重。作为一个例子，分别计算特征集
Figure 807864DEST_PATH_IMAGE018
中的一个特征值
Figure 95233DEST_PATH_IMAGE027
与预设特征类别集
Figure 883060DEST_PATH_IMAGE019
中每个预设特征类别
Figure 457261DEST_PATH_IMAGE028
的相似度
Figure 672342DEST_PATH_IMAGE029
，在这些相似度中例如相似度
Figure 964783DEST_PATH_IMAGE030
最高，那么将相似度最高的的预设特征类别
Figure 290722DEST_PATH_IMAGE031
的权重作为特征值
Figure 250588DEST_PATH_IMAGE027
的权重
Figure 636570DEST_PATH_IMAGE032
。
通过该信息的特征值和特征值的权重计算得到该信息的属性值。具体的，通过公式
Figure 150728DEST_PATH_IMAGE033
计算得到该信息的属性值，其中，
Figure 529625DEST_PATH_IMAGE034
为该信息的可信度，若该信息可信，则
Figure 78418DEST_PATH_IMAGE034
为1，若该信息不可信，则
Figure 635301DEST_PATH_IMAGE034
为0。
步骤S130、将该信息存储至属性范围可以包含该信息的属性值的区域内；
待计算出该信息的属性值后，查看该信息的属性值是属于存储空间的哪个区域的属性范围，待查看出该信息的属性值所属的属性范围后，则将该信息存储至该属性范围所对应的区域中。
步骤S140、响应于将该信息存储至存储空间的一个区域中，依据该区域中存储的所有信息更新该区域的日志数据；
待该信息存储至上述获得的存储空间的一个区域中后，依据该区域中存储的所有信息的属性值更新该区域的日志数据。具体的，通过公式
Figure 902335DEST_PATH_IMAGE035
计算向存储空间的区域
Figure 835656DEST_PATH_IMAGE036
中存储信息后的日志数据
Figure 238955DEST_PATH_IMAGE037
，其中，
Figure 966740DEST_PATH_IMAGE038
为区域
Figure 455490DEST_PATH_IMAGE036
的总空间，
Figure 192502DEST_PATH_IMAGE039
为区域
Figure 715887DEST_PATH_IMAGE036
的已占用空间，
Figure 365305DEST_PATH_IMAGE040
为区域
Figure 341352DEST_PATH_IMAGE036
中已经存储的信息的数量，
Figure 616475DEST_PATH_IMAGE041
为区域
Figure 728788DEST_PATH_IMAGE036
中存储的第
Figure 63954DEST_PATH_IMAGE042
个信息的属性值，
Figure 527296DEST_PATH_IMAGE043
为自然常数，取值2.7183。
步骤S150、响应于接收到平台前端的信息调用请求，获得该信息调用请求调用的信息所存储的区域；
信息平台收到平台前端的信息调用请求后，依据信息调用请求所请求信息，查询记录信息存储位置的FTL表（FTL表是一种逻辑区块地址到物理区块地址的映射），从而获得该信息调用请求所调用的信息在信息平台的存储空间中所存储的区域。
步骤S160、依据该区域所存储的所有信息，获得该区域当前的日志数据，并且依据该区域当前的日志数据和最后一次向该区域存储信息后更新的日志数据，响应或拒绝信息调用请求；
待获得待调用的信息在信息平台的存储空间中所存储的区域后，根据该区域中的所有信息的属性值，计算得到该区域当前的日志数据。具体的，通过公式
Figure 340532DEST_PATH_IMAGE044
计算区域
Figure 572930DEST_PATH_IMAGE045
当前的日志数据
Figure 78997DEST_PATH_IMAGE046
。
若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据相同，即
Figure 13324DEST_PATH_IMAGE047
，则说明该区域中所存储的信息未发生异常，那么允许从信息平台的该区域中获取待调用的信息，并向平台前端发送待调用的信息，以响应信息调用请求；若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据不相同，即
Figure 630250DEST_PATH_IMAGE048
，则说明该区域中所存储的信息已经发生异常，那么不允许从该区域中获取待调用的信息，并向平台前端发送调用失败的信息，以拒绝信息调用请求。
实施例二
请参阅图2，图2是本申请实施例提供的基于大数据的信息处理系统的示意图。
本申请提供了一种基于大数据的信息处理系统200，包括：区域划分单元210、属性值计算单元220、存储单元230、日志数据计算单元240、区域获取单元250和信息调用请求处理单元260。
区域划分单元210将信息平台的存储空间划分为多个区域，并且为每个区域设置存储信息的属性范围。
为了将信息按照不同的类别（例如：不同地区的个人信息、不同时间段的个人信息、不同种类的使用信息等类别）进行存储，需要将信息平台的存储空间划分为多个区域，并且为每个区域设置存储信息的属性范围，以待后续对信息进行存储时，可以依据该信息的属性值，将该信息存储至属性范围可以包含该属性值的区域内。
属性值计算单元220响应于接收到信息存储请求，计算该信息的属性值。
每个信息都具有多个特征值，将多个特征值集合在一起形成特征集
Figure 717155DEST_PATH_IMAGE049
，其中，
Figure 659703DEST_PATH_IMAGE050
为第1个特征值，
Figure 832059DEST_PATH_IMAGE051
为第2个特征值，
Figure 252676DEST_PATH_IMAGE052
为第
Figure 194087DEST_PATH_IMAGE053
个特征值，
Figure 41957DEST_PATH_IMAGE054
为第
Figure 967188DEST_PATH_IMAGE055
个特征值，
Figure 925917DEST_PATH_IMAGE055
为该信息的特征值的数量。例如：若该信息是转账信息，那么
Figure 735216DEST_PATH_IMAGE056
可以为付款方个人信息、
Figure 488409DEST_PATH_IMAGE057
可以为收款方个人信息、
Figure 635356DEST_PATH_IMAGE052
可以为转账交易时间、
Figure 397776DEST_PATH_IMAGE054
可以为转账交易金额；若该信息是注册信息，那么
Figure 313779DEST_PATH_IMAGE056
可以为注册方个人信息、
Figure 769031DEST_PATH_IMAGE057
可以为注册电话信息、
Figure 137696DEST_PATH_IMAGE052
可以为注册申请时间、
Figure 438227DEST_PATH_IMAGE054
可以为注册校验信息。
分别计算特征集
Figure 474316DEST_PATH_IMAGE058
中的每个特征值与预设特征类别集
Figure 84158DEST_PATH_IMAGE059
中的每个预设特征类别的相似度，其中，
Figure 205698DEST_PATH_IMAGE060
为第1个预设特征类别、
Figure 309920DEST_PATH_IMAGE061
为第2个预设特征类别、
Figure 200516DEST_PATH_IMAGE062
为第
Figure 731991DEST_PATH_IMAGE063
个预设特征类别，
Figure 75248DEST_PATH_IMAGE064
为第
Figure 717582DEST_PATH_IMAGE065
个预设特征类别，
Figure 462684DEST_PATH_IMAGE065
为预设特征类别的数量。例如：
Figure 430640DEST_PATH_IMAGE066
为付款方个人信息、
Figure 261193DEST_PATH_IMAGE067
为转账交易时间、
Figure 457950DEST_PATH_IMAGE068
为注册申请时间、
Figure 57558DEST_PATH_IMAGE069
为注册校验信息。具体的，通过公式
Figure 930837DEST_PATH_IMAGE070
计算特征集
Figure 514265DEST_PATH_IMAGE071
中的每个特征值与预设特征类别集
Figure 763980DEST_PATH_IMAGE072
中的每个预设特征类别的相似度；其中，
Figure 218095DEST_PATH_IMAGE073
为要素
Figure 262275DEST_PATH_IMAGE074
和要素
Figure 67420DEST_PATH_IMAGE075
的相对熵距离，
Figure 855247DEST_PATH_IMAGE076
即为
Figure 678716DEST_PATH_IMAGE077
和
Figure 159376DEST_PATH_IMAGE078
的相对熵距离，
Figure 451817DEST_PATH_IMAGE079
即为
Figure 777756DEST_PATH_IMAGE068
和
Figure 206463DEST_PATH_IMAGE078
的相对熵距离。
将与一个特征值相似度最高的预设特征类别的权重作为该特征值的权重。作为一个例子，分别计算特征集
Figure 858024DEST_PATH_IMAGE071
中的一个特征值
Figure 637761DEST_PATH_IMAGE077
与预设特征类别集
Figure 767391DEST_PATH_IMAGE072
中每个预设特征类别
Figure 316184DEST_PATH_IMAGE080
的相似度
Figure 873068DEST_PATH_IMAGE081
，在这些相似度中例如相似度
Figure 645762DEST_PATH_IMAGE082
最高，那么将相似度最高的的预设特征类别
Figure 579083DEST_PATH_IMAGE068
的权重作为特征值
Figure 982382DEST_PATH_IMAGE077
的权重
Figure 975746DEST_PATH_IMAGE083
。
通过该信息的特征值和特征值的权重计算得到该信息的属性值。具体的，通过公式
Figure 464496DEST_PATH_IMAGE084
计算得到该信息的属性值，其中，
Figure 935929DEST_PATH_IMAGE085
为该信息的可信度，若该信息可信，则
Figure 193735DEST_PATH_IMAGE085
为1，若该信息不可信，则
Figure 358000DEST_PATH_IMAGE085
为0。
存储单元230将该信息存储至属性范围可以包含该信息的属性值的区域内。
待计算出该信息的属性值后，查看该信息的属性值是属于存储空间的哪个区域的属性范围，待查看出该信息的属性值所属的属性范围后，则将该信息存储至该属性范围所对应的区域中。
日志数据计算单元240响应于将该信息存储至存储空间的一个区域中，依据该区域中存储的所有信息更新该区域的日志数据。
待该信息存储至上述获得的存储空间的一个区域中后，依据该区域中存储的所有信息的属性值更新该区域的日志数据。具体的，通过公式
Figure 599626DEST_PATH_IMAGE086
计算向存储空间的区域
Figure 609170DEST_PATH_IMAGE087
中存储信息后的日志数据
Figure 236329DEST_PATH_IMAGE088
，其中，
Figure 305916DEST_PATH_IMAGE089
为区域
Figure 769259DEST_PATH_IMAGE087
的总空间，
Figure 582494DEST_PATH_IMAGE090
为区域
Figure 814892DEST_PATH_IMAGE087
的已占用空间，
Figure 320960DEST_PATH_IMAGE091
为区域
Figure 271598DEST_PATH_IMAGE087
中已经存储的信息的数量，
Figure 888525DEST_PATH_IMAGE092
为区域
Figure 975429DEST_PATH_IMAGE087
中存储的第
Figure 403131DEST_PATH_IMAGE093
个信息的属性值，
Figure 575486DEST_PATH_IMAGE094
为自然常数，取值2.7183。
区域获取单元250响应于接收到平台前端的信息调用请求，获得该信息调用请求调用的信息所存储的区域。
信息平台收到平台前端的信息调用请求后，依据信息调用请求所请求信息，查询记录信息存储位置的FTL表（FTL表是一种逻辑区块地址到物理区块地址的映射），从而获得该信息调用请求所调用的信息在信息平台的存储空间中所存储的区域。
日志数据计算单元240依据该区域所存储的所有信息，获得该区域当前的日志数据，信息调用请求处理单元260依据该区域当前的日志数据和最后一次向该区域存储信息后更新的日志数据，响应或拒绝信息调用请求。
待获得待调用的信息在信息平台的存储空间中所存储的区域后，根据该区域中的所有信息的属性值，计算得到该区域当前的日志数据。具体的，通过公式
Figure 996103DEST_PATH_IMAGE095
计算区域
Figure 203093DEST_PATH_IMAGE096
当前的日志数据
Figure 50964DEST_PATH_IMAGE097
。
若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据相同，即
Figure 710615DEST_PATH_IMAGE098
，则说明该区域中所存储的信息未发生异常，那么允许从信息平台的该区域中获取待调用的信息，并向平台前端发送待调用的信息，以响应信息调用请求；若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据不相同，即
Figure 669344DEST_PATH_IMAGE099
，则说明该区域中所存储的信息已经发生异常，那么不允许从该区域中获取待调用的信息，并向平台前端发送调用失败的信息，以拒绝信息调用请求。
由于本申请基于大数据的信息处理方法机系统将信息平台的存储空间划分为多个区域，对于异常信息的检测、排查可以以区域为单位进行，避免了检测全部存储空间的信息，因此本申请可以快速检测、排查信息平台的异常信息，避免影响信息平台的性能，从而提高了用户的体验。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于大数据的信息处理方法，其特征在于，包括如下步骤：
步骤S110、将信息平台的存储空间划分为多个区域，并且为每个区域设置存储信息的属性范围；
步骤S120、响应于接收到信息存储请求，计算该信息的属性值；
步骤S130、将该信息存储至属性范围可以包含该信息的属性值的区域内；
步骤S140、响应于将该信息存储至存储空间的一个区域中，依据该区域中存储的所有信息更新该区域的日志数据；
步骤S150、响应于接收到平台前端的信息调用请求，获得该信息调用请求调用的信息所存储的区域；
步骤S160、依据该区域所存储的所有信息，获得该区域当前的日志数据，并且依据该区域当前的日志数据和最后一次向该区域存储信息后更新的日志数据，响应或拒绝信息调用请求。
2.根据权利要求1所述的基于大数据的信息处理方法，其特征在于，
将该信息的多个特征值集合在一起形成特征集；
分别计算特征集中的每个特征值与预设特征类别集中的每个预设特征类别的相似度；
将与一个特征值相似度最高的预设特征类别的权重作为该特征值的权重；
通过该信息的特征值和特征值的权重计算得到该信息的属性值。
3.根据权利要求1或2所述的基于大数据的信息处理方法，其特征在于，依据该区域中存储的所有信息的属性值更新该区域的日志数据。
4.根据权利要求1或2所述的基于大数据的信息处理方法，其特征在于，依据信息调用请求所请求信息，查询记录信息存储位置的FTL表，以获得该信息调用请求所调用的信息所存储的区域。
5.根据权利要求1或2所述的基于大数据的信息处理方法，其特征在于，若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据相同，则从该区域中获取待调用的信息，并向平台前端发送待调用的信息，以响应信息调用请求；
若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据不相同，则不从该区域中获取待调用的信息，并向平台前端发送调用失败的信息，以拒绝信息调用请求。
6.一种基于大数据的信息处理系统，其特征在于，包括：区域划分单元、属性值计算单元、存储单元、日志数据计算单元、区域获取单元和信息调用请求处理单元；
区域划分单元将信息平台的存储空间划分为多个区域，并且为每个区域设置存储信息的属性范围；
属性值计算单元响应于接收到信息存储请求，计算该信息的属性值；
存储单元将该信息存储至属性范围可以包含该信息的属性值的区域内；
日志数据计算单元响应于将该信息存储至存储空间的一个区域中，依据该区域中存储的所有信息更新该区域的日志数据；
区域获取单元响应于接收到平台前端的信息调用请求，获得该信息调用请求调用的信息所存储的区域；
日志数据计算单元依据该区域所存储的所有信息，获得该区域当前的日志数据，信息调用请求处理单元依据该区域当前的日志数据和最后一次向该区域存储信息后更新的日志数据，响应或拒绝信息调用请求。
7.根据权利要求6所述的基于大数据的信息处理系统，其特征在于，
将该信息的多个特征值集合在一起形成特征集；
分别计算特征集中的每个特征值与预设特征类别集中的每个预设特征类别的相似度；
将与一个特征值相似度最高的预设特征类别的权重作为该特征值的权重；
通过该信息的特征值和特征值的权重计算得到该信息的属性值。
8.根据权利要求6或7所述的基于大数据的信息处理系统，其特征在于，依据该区域中存储的所有信息的属性值更新该区域的日志数据。
9.根据权利要求6或7所述的基于大数据的信息处理系统，其特征在于，依据信息调用请求所请求信息，查询记录信息存储位置的FTL表，以获得该信息调用请求所调用的信息所存储的区域。
10.根据权利要求6或7所述的基于大数据的信息处理系统，其特征在于，若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据相同，则从该区域中获取待调用的信息，并向平台前端发送待调用的信息，以响应信息调用请求；
若该区域当前的日志数据与最后一次向该区域存储信息后更新的日志数据不相同，则不从该区域中获取待调用的信息，并向平台前端发送调用失败的信息，以拒绝信息调用请求。
CN202210046514.5A 2022-01-17 2022-01-17 一种基于大数据的信息处理方法及系统 Active CN114064682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210046514.5A CN114064682B (zh) 2022-01-17 2022-01-17 一种基于大数据的信息处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210046514.5A CN114064682B (zh) 2022-01-17 2022-01-17 一种基于大数据的信息处理方法及系统

Publications (2)

Publication Number Publication Date
CN114064682A true CN114064682A (zh) 2022-02-18
CN114064682B CN114064682B (zh) 2022-04-08

Family

ID=80231025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210046514.5A Active CN114064682B (zh) 2022-01-17 2022-01-17 一种基于大数据的信息处理方法及系统

Country Status (1)

Country Link
CN (1) CN114064682B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010039550A1 (en) * 1998-12-28 2001-11-08 Gianfranco Putzolu Partitioning ownership of a databse among different database servers to control access to the database
US7047386B1 (en) * 2001-05-31 2006-05-16 Oracle International Corporation Dynamic partitioning of a reusable resource
CN104765794A (zh) * 2015-03-25 2015-07-08 深圳市创梦天地科技有限公司 一种数据库分区方法及装置
US20160350442A1 (en) * 2015-05-29 2016-12-01 Salesforce.Com, Inc. Database searching using a graph of nodes and edges formed using log node pairs
US20170169090A1 (en) * 2015-12-15 2017-06-15 Microsoft Technology Licensing, Llc Promoted properties in relational structured data
CN108959279A (zh) * 2017-05-17 2018-12-07 北京京东尚科信息技术有限公司 数据处理方法、数据处理装置、可读介质及电子设备
CN109299115A (zh) * 2018-11-30 2019-02-01 北京锐安科技有限公司 一种数据存储方法、装置、服务器及存储介质
CN111221917A (zh) * 2019-10-12 2020-06-02 中国平安财产保险股份有限公司 智能分区存储方法、装置及计算机可读存储介质
CN111913885A (zh) * 2020-08-07 2020-11-10 腾讯科技（深圳）有限公司 日志处理方法、装置、计算机可读存储介质及设备
CN113486026A (zh) * 2021-08-02 2021-10-08 北京字节跳动网络技术有限公司 数据处理方法、装置、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010039550A1 (en) * 1998-12-28 2001-11-08 Gianfranco Putzolu Partitioning ownership of a databse among different database servers to control access to the database
US7047386B1 (en) * 2001-05-31 2006-05-16 Oracle International Corporation Dynamic partitioning of a reusable resource
CN104765794A (zh) * 2015-03-25 2015-07-08 深圳市创梦天地科技有限公司 一种数据库分区方法及装置
US20160350442A1 (en) * 2015-05-29 2016-12-01 Salesforce.Com, Inc. Database searching using a graph of nodes and edges formed using log node pairs
US20170169090A1 (en) * 2015-12-15 2017-06-15 Microsoft Technology Licensing, Llc Promoted properties in relational structured data
CN108959279A (zh) * 2017-05-17 2018-12-07 北京京东尚科信息技术有限公司 数据处理方法、数据处理装置、可读介质及电子设备
CN109299115A (zh) * 2018-11-30 2019-02-01 北京锐安科技有限公司 一种数据存储方法、装置、服务器及存储介质
CN111221917A (zh) * 2019-10-12 2020-06-02 中国平安财产保险股份有限公司 智能分区存储方法、装置及计算机可读存储介质
CN111913885A (zh) * 2020-08-07 2020-11-10 腾讯科技（深圳）有限公司 日志处理方法、装置、计算机可读存储介质及设备
CN113486026A (zh) * 2021-08-02 2021-10-08 北京字节跳动网络技术有限公司 数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114064682B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN106445944A (zh) 一种数据查询请求的处理方法、装置及电子设备
CN106202581B (zh) 一种数据搜索方法及装置
CN112579606A (zh) 工作流数据处理方法、装置、计算机设备及存储介质
WO2022252512A1 (zh) 根因分析方法、装置、电子设备、介质和程序
CN107636655B (zh) 实时提供数据即服务（DaaS）的系统和方法
WO2021027777A1 (zh) 终端可信性识别方法、装置、设备与计算机可读存储介质
CN111651755A (zh) 入侵检测方法和装置
US20220121638A1 (en) Index data structures and graphical user interface
CN114064682B (zh) 一种基于大数据的信息处理方法及系统
CN113849702A (zh) 一种确定目标数据的方法、装置、电子设备及存储介质
CN111431884A (zh) 一种基于dns分析的主机失陷检测方法及装置
CN116150632A (zh) 智能家居中基于局部敏感哈希的物联网设备识别方法
CN115994830A (zh) 取数模型的构建方法和数据归集方法及相关装置
CN113706279B (zh) 欺诈分析方法、装置、电子设备及存储介质
CN112364243B (zh) 一种基于大数据的信息推荐系统
CN113269238A (zh) 一种基于密度峰值的数据流聚类方法及装置
CN113869455A (zh) 无监督聚类方法、装置、电子设备及介质
CN113326064A (zh) 划分业务逻辑模块的方法、电子设备及存储介质
CN112860810A (zh) 域名多重图嵌入表示方法、装置、电子设备及介质
CN112685128A (zh) 一种直播图片色情检测和图片过滤的方法
CN113010373A (zh) 数据监控方法、装置、电子设备及存储介质
CN104504011B (zh) 一种查存算法的比较方法
CN113986932B (zh) 数据处理方法、装置、计算机设备及可读存储介质
CN112615748B (zh) 系统关联关系视图构建方法、相关设备及可读存储介质
CN115002211B (zh) 基于云原生的售后微服务实现方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant