CN116821251A - 数据处理方法、数据处理装置、电子设备及存储介质 - Google Patents
数据处理方法、数据处理装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116821251A CN116821251A CN202310603477.8A CN202310603477A CN116821251A CN 116821251 A CN116821251 A CN 116821251A CN 202310603477 A CN202310603477 A CN 202310603477A CN 116821251 A CN116821251 A CN 116821251A
- Authority
- CN
- China
- Prior art keywords
- data
- index data
- target
- confirmed
- target index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012790 confirmation Methods 0.000 claims abstract description 29
- 230000004044 response Effects 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据处理方法、数据处理装置、电子设备及存储介质,可以应用于数据处理和金融技术领域。该方法包括:响应于数据处理请求,从目标数据库中获取满足预设指标访问条件的多个目标指标数据;基于数据搜索条件对多个目标指标数据进行分类处理,得到分类结果;针对每个目标指标数据,在分类结果表明目标指标数据为待确认数据的情况下,向待确认数据的数据属主发送与待确认数据对应的第一待确定信息;在数据属主未响应于第一待确认信息发送确认指令的情况下,将目标指标数据确定为待删除数据。
Description
技术领域
本公开涉及数据处理和金融领域,尤其涉及一种数据处理方法、数据处理装置、电子设备、计算机可读存储介质和程序产品。
背景技术
随着互联网技术的飞速发展,数据已经成为一项重要的生产资料,然而数据成几何倍数的增长,数据的保鲜性,数据的实时更新性变得越来越重要。
由于机房中服务器等存储资源及计算资源有限,而数据随着时间服务器存储的数据量越来越大,但是并非所有的数据在当前环境下都是有使用价值的数据,因此,此时服务器中可能存储有大量的无效数据,极大地浪费了存储资源和计算资源。
发明内容
鉴于上述问题,本公开提供了一种数据处理方法、数据处理装置、电子设备、计算机可读存储介质和程序产品。
根据本公开的第一个方面,提供了一种数据处理方法,包括:
响应于数据处理请求,从目标数据库中获取满足预设指标访问条件的多个目标指标数据;
基于数据搜索条件对多个上述目标指标数据进行分类处理,得到分类结果;
针对每个上述目标指标数据,在上述分类结果表明上述目标指标数据为待确认数据的情况下,向上述待确认数据的数据属主发送与上述待确认数据对应的第一待确定信息;
在上述数据属主未响应于上述第一待确认信息发送确认指令的情况下,将上述目标指标数据确定为待删除数据。
根据本公开的实施例,将上述目标指标数据确定为待删除数据之后,还包括:
将上述待删除数据的存储期限设定为预设存储期限。
根据本公开的实施例,在将上述目标指标数据确定为待删除数据之前,还包括:
在间隔预设时间之后,向上述数据属主发送与上述待确认数据对应的第二待确定信息;
在上述数据属主未响应于上述第二待确认信息发送二次确认指令的情况下,将上述目标指标数据确定为上述待删除数据。
根据本公开的实施例,将上述目标指标数据确定为上述待删除数据之后,还包括:
暂停上述待删除数据的加载任务和数据修改操作;
对上述待删除数据进行数据隐藏处理,其中,上述数据隐藏处理用于限制上述待删除数据的搜索权限。
根据本公开的实施例,数据处理方法还包括:
对上述待删除数据进行数据删除处理。
根据本公开的实施例,数据处理方法还包括:
在上述数据属主响应于目标待确认信息发送目标确认指令的情况下,将上述目标指标数据确定为可保留数据,其中,上述目标待确认信息包括上述第一待确定信息或第二待确认信息;
对上述可保留数据进行属性更新处理,得到更新后的指标数据。
根据本公开的实施例,从目标数据库中获取满足预设指标访问条件的多个目标指标数据,包括:
获取多个初始指标数据;
针对每个上述初始指标数据,在上述初始指标数据的数据创建时间与当前时刻的时间差大于预设时间差的情况下,将上述初始指标数据确定为中间指标数据;
针对每个上述中间指标数据,在预设时间段内上述中间指标数据的平均访问次数小于预设次数阈值的情况下,将上述中间指标数据确定为上述目标指标数据。
根据本公开的实施例,基于数据搜索条件对多个上述目标指标数据进行分类处理,得到分类结果,包括:
在上述目标指标数据的搜索次数小于预设阈值且与上述目标指标数据对应的产品的互联网热度小于预设热度阈值的情况下,将上述目标指标数据确定为上述待确认数据。
根据本公开的实施例,数据处理方法还包括:
在上述目标指标数据的搜索次数大于预设阈值和/或与上述目标指标数据对应的产品的互联网热度大于预设热度阈值的情况下,将上述目标指标数据确定为可保留数据;
对上述可保留数据进行属性更新处理,得到更新后的指标数据。
本公开的第二方面提供了一种数据处理装置,包括:
获取模块,用于响应于数据处理请求,从目标数据库中获取满足预设指标访问条件的多个目标指标数据;
分类模块,用于基于数据搜索条件对多个上述目标指标数据进行分类处理,得到分类结果;
确认模块,用于针对每个上述目标指标数据,在上述分类结果表明上述目标指标数据为待确认数据的情况下,向上述待确认数据的数据属主发送与上述待确认数据对应的第一待确定信息;
确定模块,用于在上述数据属主未响应于上述第一待确认信息发送确认指令的情况下,将上述目标指标数据确定为待删除数据。
本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。
根据本公开的实施例,通过从目标数据库中筛选满足预设指标访问条件的多个目标指标数据,基于数据搜索条件对多个目标指标数据进行分类,对于分类结果为待确认数据的目标指标数据,向数据属主发送第一待确认信息,在数据属主没有对第一待确认信息进行反馈时将该目标指标数据确定为待删除数据。通过对目标数据库中的指标数据进行是否需要删除,能够降低数据库中无用的指标数据的占用率,有效提高了数据库的有效使用率。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的数据处理方法的应用场景图;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3示意性示出了根据本公开实施例的目标指标数据的获取流程图;
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图5示意性示出了根据本公开实施例的数据处理装置的结构框图;以及
图6示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中,所涉及的数据(如包括但不限于用户个人信息)的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
目前很多企业由于自身业务系统、业务种类繁多,为此数据库、服务器都会面临如下的问题:数据膨胀,数据保鲜性差,数据服务于某些特定的业务,数据的实际使用率不高,部分数据块是长期休眠的状态,即无效地占着存储空间。
有鉴于此,本公开的实施例提供了一种数据处理方法、数据处理装置、电子设备及存储介质,该方法包括:响应于数据处理请求,从目标数据库中获取满足预设指标访问条件的多个目标指标数据;基于数据搜索条件对多个目标指标数据进行分类处理,得到分类结果;针对每个目标指标数据,在分类结果表明目标指标数据为待确认数据的情况下,向待确认数据的数据属主发送与待确认数据对应的第一待确定信息;在数据属主未响应于第一待确认信息发送确认指令的情况下,将目标指标数据确定为待删除数据。
图1示意性示出了根据本公开实施例的数据处理方法的应用场景图。
如图1所示,根据该实施例的应用场景100可以包括银行的机房。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2~图4对公开实施例的数据处理方法进行详细描述。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该实施例的数据处理方法包括操作S210~操作S240。
在操作S210,响应于数据处理请求,从目标数据库中获取满足预设指标访问条件的多个目标指标数据;
在操作S220,基于数据搜索条件对多个目标指标数据进行分类处理,得到分类结果;
在操作S230,针对每个目标指标数据,在分类结果表明目标指标数据为待确认数据的情况下,向待确认数据的数据属主发送与待确认数据对应的第一待确定信息;
在操作S240,在数据属主未响应于第一待确认信息发送确认指令的情况下,将目标指标数据确定为待删除数据。
根据本公开的实施例,数据处理请求可以根据服务器管理员定期或者实时在输入设备上输入的数据处理指令生成的,也可以由服务器定期自动生成,例如可以每个月生成一个数据处理请求,从而使得服务器执行数据处理方法。
根据本公开的实施例,预设指标访问条件可以指指标数据被访问的次数限制,例如可以将年访问次数小于365次的指标数据确定为目标指标数据,指标数据可以是理财、保险等产品数据。
根据本公开的实施例,数据搜索条件可以指用户在终端设备上对该目标指标数据的搜索次数,例如可以将某一个理财产品在一个时间段内被用户搜索的次数少于1次的目标指标数据划分为待确认数据。数据属主可以是该目标指标数据的开发人员、产品经理等具有数据处理权限的人员。
需要说明的是,上述实施例中的365次、1次等均可以根据实际情况具体设置,上述示例仅作为示例性说明,还可以为其他的次数,例如100次、0次等。
根据本公开的实施例,响应于数据处理请求,从目标数据库中获取预设指标访问条件的多个目标指标数据,例如包括多种指标访问次数较少的理财产品,利用数据搜索条件对上述多个目标指标数据进行分类,例如基于被用户搜索的次数、产品的网络热度等进行分类,从而将多个目标指标数据划分为多种类别,其中一个类别为待确认数据。
根据本公开的实施例,对于每个待确认数据,向该待确认数据的数据属主发送第一待确认信息,第一待确认信息可以是向数据属主该数据是否需要保留等信息。如果在一个时间段内(例如一天或一个月等)数据属主未响应于该第一待确认信息发送确认指令,则可以将该目标指标数据确认为待删除数据。
根据本公开的实施例,通过从目标数据库中筛选满足预设指标访问条件的多个目标指标数据,基于数据搜索条件对多个目标指标数据进行分类,对于分类结果为待确认数据的目标指标数据,向数据属主发送第一待确认信息,在数据属主没有对第一待确认信息进行反馈时将该目标指标数据确定为待删除数据。通过对目标数据库中的指标数据进行是否需要删除,能够降低数据库中无用的指标数据的占用率,有效提高了数据库的有效使用率。
根据本公开的实施例,将目标指标数据确定为待删除数据之后,还包括:将待删除数据的存储期限设定为预设存储期限。
根据本公开的实施例,预设存储期限可以根据具体情况具体设置,例如可以为一个月等。
根据本公开的实施例,为了降低该待删除数据存储在数据库中造成的数据库的数据冗余以及无效占用,可以将确定的待删除数据设定一个预设存储期限,在到达该预设存储期限后数据库自动将其进行删除,从而降低了数据库的无效占用,同时预设存储期限的设定能够避免直接删除该数据后发现该数据还有使用的可能造成的损失。
根据本公开的实施例,在将目标指标数据确定为待删除数据之前,还包括:
在间隔预设时间之后,向数据属主发送与待确认数据对应的第二待确定信息;
在数据属主未响应于第二待确认信息发送二次确认指令的情况下,将目标指标数据确定为待删除数据。
根据本公开的实施例,为了进一步保证数据的安全性,避免在一次确认后直接删除数据,后期发现该数据还有使用的可能从而造成的损失,因此可以在间隔一个预设时间后再次向数据属主发送第二待确定信息,若此次数据属主同样未对该第二待确定信息进行反馈,即未响应于第二待确认信息发送二次确认指令的情况下,此时将目标指标数据确定为待删除数据。其中预设时间可以根据实际需求进行设定,例如可以设定为一个月。
根据本公开的实施例,将目标指标数据确定为待删除数据之后,还包括:
暂停待删除数据的加载任务和数据修改操作;
对待删除数据进行数据隐藏处理,其中,数据隐藏处理用于限制待删除数据的搜索权限。
根据本公开的实施例,为了降低服务器中处理器的占用率,可以将待删除数据的所有加载任务和数据修改操作暂停,以使得处理器能够对其他的正常使用的指标数据进行加载,从而降低了处理器的无效使用率。
根据本公开的实施例,在暂停待删除数据的加载任务之后,可以对该待删除数据进行隐藏,以使得该待删除数据无法被用户搜索到。
根据本公开的实施例,数据处理方法还包括:
对待删除数据进行数据删除处理。
根据本公开的实施例,数据删除处理可以是数据库定期对多个待删除数据进行统一删除,例如在数据库中存储有多个待删除数据时,数据库每个月月底对内部的所有待删除数据进行一次统一删除处理,此种删除方式可以为待删除数据暂时保留一定时间,以免后续数据属主发现该待删除数据还有被使用的可能而数据库已经删除该数据造成的不必要的损失。
根据本公开的实施例,数据处理方法还包括:
在数据属主响应于目标待确认信息发送目标确认指令的情况下,将目标指标数据确定为可保留数据,其中,目标待确认信息包括第一待确定信息或第二待确认信息;
对可保留数据进行属性更新处理,得到更新后的指标数据。
根据本公开的实施例,若数据属主对目标待确认信息进行了反馈,例如,目标确认指令表明该目标指标数据要保留,则可以将目标指标数据确定为可保留数据,此后对该可保留数据进行属性更新处理,例如更新对应产品的资产口径,从而得到更新后的指标数据,该更新后的指标数据可以被用户搜索到以了解更新后的指标数据对应的产品。
根据本公开的实施例,通过向数据属主发送该目标指标数据的目标待确认信息,在数据属主对目标待确认信息有反馈时,及时对目标指标数据进行盘活,从而提高了数据库中存量数据的使用率,使得盘活后的数据(即更新后的指标数据)能够进一步被使用。
图3示意性示出了根据本公开实施例的目标指标数据的获取流程图。
如图3所示,从目标数据库中获取满足预设指标访问条件的多个目标指标数据,包括操作S310~操作S330。
在操作S310,获取多个初始指标数据;
在操作S320,针对每个初始指标数据,在初始指标数据的数据创建时间与当前时刻的时间差大于预设时间差的情况下,将初始指标数据确定为中间指标数据;
在操作S330,针对每个中间指标数据,在预设时间段内中间指标数据的平均访问次数小于预设次数阈值的情况下,将中间指标数据确定为目标指标数据。
在一种示例性的实施例中,对于目标数据库中存储的大量的初始指标数据,如果该初始指标数据的数据创建时间与当前时刻的时间差大于预设时间差的情况下,将初始指标数据确定为中间指标数据,例如,一个初始指标数据的投产时间不足一年(即本公开的预设时间差的一种示例),该初始指标数据不纳入此次数据处理作业中,若初始指标数据的投产时间为两年(≥1年),则将该初始指标数据确定为中间指标数据。
根据本公开的实施例,对于每个中间指标数据,如果该中间指标数据在预设时间段内中间指标数据的平均访问次数小于预设次数阈值的情况下,将中间指标数据确定为目标指标数据,例如年平均指标访问次数小于<365;或者月平均指标访问次数小于12;或者或者半年内指标访问次数小于1等的中间指标数据确定为目标指标数据。
需要说明的是,上述实施例中涉及的预设次数阈值可以根据实际情况具体修改,并非限定只能为上述示例。
根据本公开的实施例,基于数据搜索条件对多个目标指标数据进行分类处理,得到分类结果,包括:
在目标指标数据的搜索次数小于预设阈值且与目标指标数据对应的产品的互联网热度小于预设热度阈值的情况下,将目标指标数据确定为待确认数据。
根据本公开的实施例,搜索次数指的是用户通过相关软件对该目标指标数据对应的产品数据的搜索情况,例如多个用户在软件上搜索某一理财产品的总次数为1次,而预设阈值为2次,此时可以确定目标指标数据的搜索次数小于预设阈值。
根据本公开的实施例,产品的互联网热度可以指该产品的热搜,即某一项产品在互联网上的热度,例如某一产品在互联网上引起的反响程度小于设定的热度阈值,例如5,则可以将该目标指标数据确定为待确认数据。
根据本公开的实施例,数据处理方法还包括:
在目标指标数据的搜索次数大于预设阈值和/或与目标指标数据对应的产品的互联网热度大于预设热度阈值的情况下,将目标指标数据确定为可保留数据;
对可保留数据进行属性更新处理,得到更新后的指标数据。
根据本公开的实施例,如果一个目标指标数据的搜索次数大于预设阈值和与目标指标数据对应的产品的互联网热度大于预设热度阈值中任一一个条件满足时,则说明该目标指标数据对应的产品还有较大可能被用户所使用或购买,因此可以将确定为可保留数据并进行相应的资产口径的更新,从而以便于将更新后的指标数据重新推入市场或者其可以被用户搜索所得到。
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图4所示,在定期对数据库进行清理时,首先从数据库中获取多个初始指标数据,初始指标数据的数据创建时间与当前时刻的时间差大于预设时间差的情况下,将初始指标数据确定为中间指标数据,如果该中间指标数据在预设时间段内中间指标数据的平均访问次数小于预设次数阈值的情况下,将中间指标数据确定为目标指标数据。
根据本公开的实施例,在目标指标数据的搜索次数小于预设阈值且与目标指标数据对应的产品的互联网热度小于预设热度阈值的情况下,将目标指标数据确定为待确认数据。
根据本公开的实施例,向所述待确认数据的数据属主发送与所述待确认数据对应的第一待确定信息,如果在一个时间段内(例如一天或一个月等)数据属主未响应于该第一待确认信息发送确认指令,如果数据属主没有在规定时间内反馈,则间隔一个预设时间后再次向数据属主发送第二待确定信息,如果第二次数据属主同样没有反馈,则对该目标指标数据进行数据隐藏以及暂停对应的产品加载任务等,在间隔一个时间后对确认的待删除数据进行删除。
根据本公开的实施例,若两次向数据属主确认的过程中,任意一次数据属主有反馈,即数据属主响应于目标待确认信息发送了目标确认指令,则将所述目标指标数据确定为可保留数据,并对该可保留数据的属性进行更新,以使得更新后的指标数据可以再次被使用。
基于上述数据处理方法,本公开还提供了一种数据处理装置。以下将结合图5对该装置进行详细描述。
图5示意性示出了根据本公开实施例的数据处理装置的结构框图。
如图5所示,该实施例的数据处理装置500包括获取模块510、分类模块520、确认模块530、确定模块540。
获取模块510,用于响应于数据处理请求,从目标数据库中获取满足预设指标访问条件的多个目标指标数据;
分类模块520,用于基于数据搜索条件对多个目标指标数据进行分类处理,得到分类结果;
确认模块530,用于针对每个目标指标数据,在分类结果表明目标指标数据为待确认数据的情况下,向待确认数据的数据属主发送与待确认数据对应的第一待确定信息;
确定模块540,用于在数据属主未响应于第一待确认信息发送确认指令的情况下,将目标指标数据确定为待删除数据。
根据本公开的实施例,通过从目标数据库中筛选满足预设指标访问条件的多个目标指标数据,基于数据搜索条件对多个目标指标数据进行分类,对于分类结果为待确认数据的目标指标数据,向数据属主发送第一待确认信息,在数据属主没有对第一待确认信息进行反馈时将该目标指标数据确定为待删除数据。通过对目标数据库中的指标数据进行是否需要删除,能够降低数据库中无用的指标数据的占用率,有效提高了数据库的有效使用率。
根据本公开的实施例,数据处理装置500还包括设定模块。
设定模块,用于将待删除数据的存储期限设定为预设存储期限。
根据本公开的实施例,数据处理装置500还包括二次确认模块、第二确定模块。
二次确认模块,用于在间隔预设时间之后,向数据属主发送与待确认数据对应的第二待确定信息;
第二确定模块,用于在数据属主未响应于第二待确认信息发送二次确认指令的情况下,将目标指标数据确定为待删除数据。
根据本公开的实施例,数据处理装置500还包括处理模块、隐藏模块。
处理模块,用于暂停待删除数据的加载任务和数据修改操作;
隐藏模块,用于对待删除数据进行数据隐藏处理,其中,数据隐藏处理用于限制待删除数据的搜索权限。
根据本公开的实施例,数据处理装置还包括删除模块。
删除模块,用于对待删除数据进行数据删除处理。
根据本公开的实施例,数据处理装置500还包括第三确认模块、更新模块。
第三确认模块,用于在数据属主响应于目标待确认信息发送目标确认指令的情况下,将目标指标数据确定为可保留数据,其中,目标待确认信息包括第一待确定信息或第二待确认信息;
更新模块,用于对可保留数据进行属性更新处理,得到更新后的指标数据。
根据本公开的实施例,获取模块510包括获取单元、第一确定单元、第二确定单元。
获取单元,用于获取多个初始指标数据;
第一确定单元,用于针对每个初始指标数据,在初始指标数据的数据创建时间与当前时刻的时间差大于预设时间差的情况下,将初始指标数据确定为中间指标数据;
第二确定单元,用于针对每个中间指标数据,在预设时间段内中间指标数据的平均访问次数小于预设次数阈值的情况下,将中间指标数据确定为目标指标数据。
根据本公开的实施例,分类模块520包括第三确定单元。
第三确定单元,用于在目标指标数据的搜索次数小于预设阈值且与目标指标数据对应的产品的互联网热度小于预设热度阈值的情况下,将目标指标数据确定为待确认数据。
根据本公开的实施例,分类模块520还包括第四确定单元、更新单元。
第四确定单元,用于在目标指标数据的搜索次数大于预设阈值和/或与目标指标数据对应的产品的互联网热度大于预设热度阈值的情况下,将目标指标数据确定为可保留数据;
更新单元,用于对可保留数据进行属性更新处理,得到更新后的指标数据。
根据本公开的实施例,获取模块510、分类模块520、确认模块530、确定模块540中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,获取模块510、分类模块520、确认模块530、确定模块540中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块510、分类模块520、确认模块530、确定模块540中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图6示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的方框图。
如图6所示,根据本公开实施例的电子设备600包括处理器601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 603中,存储有电子设备600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备600还可以包括输入/输出(I/O)接口605,输入/输出(I/O)接口605也连接至总线604。电子设备600还可以包括连接至输入/输出(I/O)接口605的以下部件中的一项或多项:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至输入/输出(I/O)接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。
在该计算机程序被处理器601执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分609被下载和安装,和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (13)
1.一种数据处理方法,包括:
响应于数据处理请求,从目标数据库中获取满足预设指标访问条件的多个目标指标数据;
基于数据搜索条件对多个所述目标指标数据进行分类处理,得到分类结果;
针对每个所述目标指标数据,在所述分类结果表明所述目标指标数据为待确认数据的情况下,向所述待确认数据的数据属主发送与所述待确认数据对应的第一待确定信息;
在所述数据属主未响应于所述第一待确认信息发送确认指令的情况下,将所述目标指标数据确定为待删除数据。
2.根据权利要求1所述的方法,其中,将所述目标指标数据确定为待删除数据之后,还包括:
将所述待删除数据的存储期限设定为预设存储期限。
3.根据权利要求1所述的方法,在将所述目标指标数据确定为待删除数据之前,还包括:
在间隔预设时间之后,向所述数据属主发送与所述待确认数据对应的第二待确定信息;
在所述数据属主未响应于所述第二待确认信息发送二次确认指令的情况下,将所述目标指标数据确定为所述待删除数据。
4.根据权利要求3所述的方法,其中,将所述目标指标数据确定为所述待删除数据之后,还包括:
暂停所述待删除数据的加载任务和数据修改操作;
对所述待删除数据进行数据隐藏处理,其中,所述数据隐藏处理用于限制所述待删除数据的搜索权限。
5.根据权利要求1~4中任一项所述的方法,还包括:
对所述待删除数据进行数据删除处理。
6.根据权利要求1~4中任一项所述的方法,还包括:
在所述数据属主响应于目标待确认信息发送目标确认指令的情况下,将所述目标指标数据确定为可保留数据,其中,所述目标待确认信息包括所述第一待确定信息或第二待确认信息;
对所述可保留数据进行属性更新处理,得到更新后的指标数据。
7.根据权利要求1所述的方法,其中,从目标数据库中获取满足预设指标访问条件的多个目标指标数据,包括:
获取多个初始指标数据;
针对每个所述初始指标数据,在所述初始指标数据的数据创建时间与当前时刻的时间差大于预设时间差的情况下,将所述初始指标数据确定为中间指标数据;
针对每个所述中间指标数据,在预设时间段内所述中间指标数据的平均访问次数小于预设次数阈值的情况下,将所述中间指标数据确定为所述目标指标数据。
8.根据权利要求1所述的方法,其中,基于数据搜索条件对多个所述目标指标数据进行分类处理,得到分类结果,包括:
在所述目标指标数据的搜索次数小于预设阈值且与所述目标指标数据对应的产品的互联网热度小于预设热度阈值的情况下,将所述目标指标数据确定为所述待确认数据。
9.根据权利要求8所述的方法,还包括:
在所述目标指标数据的搜索次数大于预设阈值和/或与所述目标指标数据对应的产品的互联网热度大于预设热度阈值的情况下,将所述目标指标数据确定为可保留数据;
对所述可保留数据进行属性更新处理,得到更新后的指标数据。
10.一种数据处理装置,包括:
获取模块,用于响应于数据处理请求,从目标数据库中获取满足预设指标访问条件的多个目标指标数据;
分类模块,用于基于数据搜索条件对多个所述目标指标数据进行分类处理,得到分类结果;
确认模块,用于针对每个所述目标指标数据,在所述分类结果表明所述目标指标数据为待确认数据的情况下,向所述待确认数据的数据属主发送与所述待确认数据对应的第一待确定信息;
确定模块,用于在所述数据属主未响应于所述第一待确认信息发送确认指令的情况下,将所述目标指标数据确定为待删除数据。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~9中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~9中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310603477.8A CN116821251A (zh) | 2023-05-25 | 2023-05-25 | 数据处理方法、数据处理装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310603477.8A CN116821251A (zh) | 2023-05-25 | 2023-05-25 | 数据处理方法、数据处理装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116821251A true CN116821251A (zh) | 2023-09-29 |
Family
ID=88140249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310603477.8A Pending CN116821251A (zh) | 2023-05-25 | 2023-05-25 | 数据处理方法、数据处理装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116821251A (zh) |
-
2023
- 2023-05-25 CN CN202310603477.8A patent/CN116821251A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10380103B2 (en) | Object data updating method and apparatus in an object storage system | |
US9418085B1 (en) | Automatic table schema generation | |
US20170249310A1 (en) | Method and device for cache management | |
CN111258988B (zh) | 资产管理方法、装置、电子设备以及介质 | |
CN116302561A (zh) | 用于应用实例的状态控制方法、装置、设备及存储介质 | |
CN116821251A (zh) | 数据处理方法、数据处理装置、电子设备及存储介质 | |
CN114218283A (zh) | 异常检测方法、装置、设备、介质 | |
CN114693358A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN114780361A (zh) | 日志生成方法、装置、计算机系统及可读存储介质 | |
CN113449886A (zh) | 数据处理方法、处理装置、设备及存储介质 | |
CN109634868B (zh) | 金融数据分析系统自动化测试结果的处理方法及装置 | |
US11972018B2 (en) | Data categories for purpose-based processing of personal data | |
CN117149570A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN113419922A (zh) | 主机批量作业运行数据的处理方法及装置 | |
CN116737464A (zh) | 备份失效处置方法、装置、设备、介质和程序产品 | |
CN116383154A (zh) | 文件处理方法、文件处理装置、电子设备及存储介质 | |
CN114356928A (zh) | 风险分析方法、装置、电子设备及存储介质 | |
CN114661728A (zh) | 应用于redis数据库的key记录和管理的方法 | |
CN117520671A (zh) | 数据查询方法、装置、设备和存储介质 | |
CN114896260A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
CN116561803A (zh) | 一种安全策略信息处理方法、装置、设备及存储介质 | |
CN117743353A (zh) | 数据更新方法、装置、设备及存储介质 | |
CN117131018A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN116756753A (zh) | 作业系统命令控制方法、装置、设备、介质及产品 | |
CN115408461A (zh) | 数据信息获取方法、装置、电子设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |