CN111400334A - 数据处理方法、装置、存储介质及电子装置 - Google Patents

数据处理方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN111400334A
CN111400334A CN202010497364.0A CN202010497364A CN111400334A CN 111400334 A CN111400334 A CN 111400334A CN 202010497364 A CN202010497364 A CN 202010497364A CN 111400334 A CN111400334 A CN 111400334A
Authority
CN
China
Prior art keywords
version number
target
feature
page
feature page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010497364.0A
Other languages
English (en)
Other versions
CN111400334B (zh
Inventor
陈创
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010497364.0A priority Critical patent/CN111400334B/zh
Publication of CN111400334A publication Critical patent/CN111400334A/zh
Application granted granted Critical
Publication of CN111400334B publication Critical patent/CN111400334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2308Concurrency control
    • G06F16/2336Pessimistic concurrency control approaches, e.g. locking or multiple versions without time stamps
    • G06F16/2343Locking methods, e.g. distributed locking or locking implementation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2358Change logging, detection, and notification

Abstract

本发明公开了一种数据处理方法、装置、存储介质及电子装置。该方法包括:获取服务器发送给目标应用的操作日志,其中,操作日志中记录有服务器上已更新的目标特征页的第一版本号、对目标特征页进行更新的更新指令、目标特征页中更新指令所更新的特征集合;获取目标应用上已缓存的目标特征页的第二版本号;在第一版本号和第二版本号的版本号关系满足预定条件的情况下,在目标应用上根据操作日志对版本号为第二版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页;在第一版本号和第二版本号的版本号关系满足预定条件的情况下,在目标应用上对操作日志进行暂存。本发明能够提高实现数据强一致性的实时性以及数据准确度。

Description

数据处理方法、装置、存储介质及电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种数据处理方法、装置、存储介质及电子装置。
背景技术
目前,在存在多数据副本的情况下,为了提高数据的准确度,需要实现数据之间的强一致性。
对于数据强一致性的实现方式可以依赖于操作日志,具体的,可以在读数据的情况下,从服务器中获取该数据对应的操作日志。如果多个数据检索节点进行读数据,需要每一数据检索节点从系统中读取操作日志,来获取同步后的数据,这一过程导致服务器负载量较重,使得每一数据检索节点拉取同步后的数据的响应时间延长,降低了实现数据强一致性的实时性。并且由于响应时间延长,还有可能导致获取到的操作日志中的数据并非最新版本的数据,从而导致实现数据强一致性的准确度较低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、存储介质及电子装置,以至少能够提高实现数据强一致性的实时性以及数据准确度。
根据本发明实施例的一个方面,提供了一种数据处理方法,包括:获取服务器发送给目标应用的操作日志,其中,上述操作日志中记录有上述服务器上已更新的目标特征页的第一版本号、对上述目标特征页进行更新的更新指令、上述目标特征页中上述更新指令所更新的特征集合;获取上述目标应用上已缓存的上述目标特征页的第二版本号;在上述第一版本号和上述第二版本号的之间的版本号关系满足预定条件的情况下,在上述目标应用上根据上述操作日志对版本号为上述第二版本号的上述目标特征页进行更新,得到并缓存版本号为上述第一版本号的上述目标特征页;在上述第一版本号和上述第二版本号的版本号关系不满足预定条件的情况下,在上述目标应用上对上述操作日志进行暂存。
根据本发明实施例的一个方面,提供了一种数据处理方法,包括:在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与上述目标特征页的当前版本号的之间的版本号关系满足预定条件的版本号确定为上述目标特征页更新后的最新版本号;利用上述目标特征页更新后的上述最新版本号、对上述目标特征页进行更新的上述更新指令以及上述目标特征页中上述更新指令更新后的特征集合生成操作日志;将上述操作日志发送给目标应用。
根据本发明实施例的另一方面,还提供了一种数据处理装置,包括:第一获取单元,用于获取服务器发送给目标应用的操作日志,其中,上述操作日志中记录有上述服务器上已更新的目标特征页的第一版本号、对上述目标特征页进行更新的更新指令、上述目标特征页中上述更新指令所更新的特征集合;第二获取单元,用于获取上述目标应用上已缓存的上述目标特征页的第二版本号;第一更新单元,用于在上述第一版本号和上述第二版本号之间的版本号关系满足预定条件的情况下,在上述目标应用上根据上述操作日志对版本号为上述第二版本号的上述目标特征页进行更新,得到并缓存版本号为上述第一版本号的上述目标特征页;暂存单元,用于在上述第一版本号和上述第二版本号之间的版本号关系满足预定条件的情况下,在上述目标应用上对上述操作日志进行暂存。
根据本发明实施例的另一方面,还提供了一种数据处理装置,包括:确定单元,用于在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与上述目标特征页的当前版本号的之间的版本号关系满足预定条件的版本号确定为上述目标特征页更新后的最新版本号;生成单元,用于利用上述目标特征页更新后的上述最新版本号、对上述目标特征页进行更新的上述更新指令以及上述目标特征页中上述更新指令更新后的特征集合生成操作日志;发送单元,用于将上述操作日志发送给目标应用。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述数据处理方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过所述计算机程序执行上述的数据处理方法。
在本发明实施例中,获取服务器发送给目标应用的操作日志,其中,操作日志中记录有服务器上已更新的目标特征页的第一版本号、对目标特征页进行更新的更新指令、目标特征页中更新指令所更新的特征集合;获取目标应用上已缓存的目标特征页的第二版本号;在第一版本号和第二版本号之间的版本号关系满足预定条件的情况下,在目标应用上根据操作日志对版本号为第二版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页;在第一版本号和第二版本号之间的版本号关系不满足预定条件的情况下,在目标应用上对操作日志进行暂存。这种数据处理方法在目标特征页进行更新的情况下,可以直接利用操作日志来更新目标应用上的目标特征页,以使在特征数据读取时可以直接从目标应用中读取数据,无需再去服务器上获取数据,从而缩短了数据获取的响应时间,减少了因响应时间过长导致的数据准确度较低的情况发生的概率,能够提高实现数据强一致性的实时性以及数据准确度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的数据处理方法的网络环境的示意图;
图2是根据本发明实施例的一种可选的数据处理方法的流程图;
图3是根据本发明实施例的另一种可选的数据处理方法的流程图;
图4是根据本发明实施例的一种可选的数据处理系统的结构示意图;
图5是根据本发明实施例的一种可选的更新特征页信息的示意图;
图6是根据本发明实施例的一种可选的缓存操作日志的示意图;
图7是根据本发明实施例的一种可选的特征检索的示意图;
图8是根据本发明实施例的一种可选的数据处理装置的结构示意图;
图9是根据本发明实施例的另一种可选的数据处理装置的结构示意图;
图10是根据本发明实施例的一种可选的电子装置的结构示意图;
图11是根据本发明实施例的另一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种数据处理方法,可选地,作为一种可选的实施方式,上述数据处理方法可以但不限于应用于如图1所示的网络环境中的数据处理系统中,该数据处理系统包括用户设备102、网络110及服务器112。其中,用户设备102中包括人机交互屏幕104,处理器106及存储器108。人机交互屏幕104用于接收用户输入的用于查找目标特征的查询请求;处理器106,用于响应用户输入的查询请求,在存储器108中获取与目标检索条件相匹配的检索结果;人机交互屏幕104还用于显示该检索结果。存储器108用于存储上述在更新特征页时服务器返回的操作日志,操作日志中包括已更新的第一版本号、对目标特征页进行更新的更新指令、目标特征页中更新指令所更新的特征集合,以及存储器108还可以用于存储多个特征页信息,在处理器106从存储器108读取特征页信息的情况下,可以在存储器108中获取与目标检索条件相匹配的特征页,并根据该特征页确定出检索结果。进一步的,服务器112中包括数据库114及处理引擎116。其中,数据库114用于存储各个用户对应的特征库,每一特征库中包含多个特征页,每一特征页对应有多个特征。处理器引擎116用于根据更新指令更新目标特征页中的特征集合,并利用目标特征页更新后的最新版本号、对目标特征页进行更新的更新指令以及目标特征页中更新指令更新后的特征集合生成操作日志,还可以将操作日志发送给多个目标应用,以使安装每一目标应用的用户设备102缓存操作日志,实现特征的版本更新。具体的,可以执行以下步骤:
S101,服务器112在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与目标特征页的当前版本号之间的版本号关系满足预定条件的版本号确定为目标特征页更新后的最新版本号;
S102,服务器112利用目标特征页更新后的最新版本号、对目标特征页进行更新的更新指令以及目标特征页中更新指令更新后的特征集合生成操作日志;
S103,服务器112将操作日志发送给网络110;
S104,网络110将操作日志发送给用户设备102;
S105,用户设备102获取服务器发送给目标应用的操作日志,其中,操作日志中记录有服务器上已更新的目标特征页的第一版本号、对目标特征页进行更新的更新指令、目标特征页中更新指令所更新的特征集合;
S106,用户设备102获取目标应用上已缓存的目标特征页的第二版本号;
S107,用户设备102在第一版本号和第二版本号之间的版本号关系满足预定条件的情况下,在目标应用上根据操作日志对版本号为第二版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页;
S108,用户设备102在第一版本号和第二版本号的之间的版本号关系不满足预定条件的情况下,在目标应用上对操作日志进行暂存。
本发明实施例中,更新指令用于指示更新目标特征页中的特征集合,可以包括但不限于特征写入更新指令、特征删除更新指令以及特征更改更新指令等,本发明实施例中不做限定。其中,目标特征页对应有多个特征,更新指令指示更新的特征集合中的特征为目标特征页对应的多个特征中的特征。在服务器根据更新指令将目标特征页中的特征集合进行更新的情况下,可以将与目标特征页的当前版本号的版本号关系满足预定条件的版本号确定为目标特征页更新后的最新版本号。例如,在向服务器写入特征的情况下,待写入的特征对应的目标特征页的当前版本号为2,则可以将与当前版本号的版本号关系满足预定条件的版本号3作为目标特征页更新后的最新版本号,也即是,在将待写入特征写入目标特征页之后,目标特征页的版本号会更新为3,并且此时更新后的版本号3为目标特征页的最新版本号。其中,版本号关系可以为版本号之间的数值关系,预定条件可以由版本号的编码方式,例如,在版本号的编码方式为依次增加预设数值的情况下,预定条件可以为版本号之间的数值关系的差值等于该预设数值。其中,预设数值可以为1,也可以为0.1等,对于具体数值,本发明实施例中不做限定。进一步的,根据更新指令将目标特征页中的特征集合进行更新之后,可以将目标特征页更新后的最新版本号、对目标特征页进行更新的更新指令以及目标特征页更新指令更新后的特征集合生成操作日志,其中,目标特征页更新指令更新后的特征集合中至少包括更新后的特征数值。在服务器更新完目标特征页中的特征集合并生成操作日志之后,可以将操作日志通过网络发送给用户设备。用户设备在获取到操作日志之后,可以读取操作日志中目标特征页对应的更新后的最新版本号,也即是上述目标特征页的第一版本号,并获取目标应用上已缓存的目标特征页的第二版本号。其中,目标应用为用于检索特征的检索节点。在第一版本号和第二版本号之间的版本号关系满足预定条件的情况下,在目标应用上可以将版本号为第二版本号的目标特征页更新,得到并缓存版本号为第一版本号的目标特征页。在第一版本号和第二版本号之间的版本号关系不满足预定条件的情况下,可以在目标应用上对操作日志进行暂存。这一过程在对目标特征页进行更新的情况下,会在操作日志中存储有相应的版本号,利用操作日志中的版本号可以直接确定当前目标特征页的版本情况,无需额外设计检查点机制。进一步的,本发明在获得操作日志之后,会将操作日志在目标应用上进行缓存,从而无需占用服务器内存。综上,这种利用版本号确定版本情况且对目标应用进行缓存的数据处理方式,能够降低为了保证数据强一致性而造成的数据处理过程中的负载量。此外,对目标应用中的目标特征页更新并缓存的条件设置为目标特征页的版本号是连续的情况下进行更新并缓存,确保获取到的操作日志中的目标特征页的版本号是连续的,从而保证了操作日志的按序应用,减少了缓存中操作日志乱序导致数据出错的情况发生的概率,进而提高了数据安全性。
需要说明的是,本发明实施例中的数据处理方法可以但不限于应用于图1所示数据处理系统中,通过用户设备102和服务器112之间的数据交互完成,也可以但不限于应用于用户设备102中,由用户设备102独立完成。上述仅是示例,本实施例中对此不作任何限定。可选地,在本实施例中,上述终端设备可以是配置有目标客户端的终端设备,可以包括但不限于以下至少之一:手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices,移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,作为一种可选的实施方式,如图2所示,上述数据处理方法包括:
S201,获取服务器发送给目标应用的操作日志,其中,操作日志中记录有服务器上已更新的目标特征页的第一版本号、对目标特征页进行更新的更新指令、目标特征页中更新指令所更新的特征集合;
S202,获取目标应用上已缓存的目标特征页的第二版本号;
S203,在第一版本号和第二版本号之间的版本号关系满足预定条件的情况下,在目标应用上根据操作日志对版本号为第二版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页;
S204,在第一版本号的数值和第二版本号之间的版本号关系不满足预定条件的情况下,在目标应用上对操作日志进行暂存。
本发明实施例中,目标应用为具有检索特征功能的应用,目标应用的数量可以为多个,不同的用户可以在不同的目标应用中检索特征,目标应用可以看作用于检索特征的检索节点。进一步的,特征可以为人脸特征数据,也可以为其它物体的特征数据等,本发明实施例中不做限定。可选的,在服务器中的数据库中可以存储有多种特征,特征以特征页的形式存储,通过对特征页的管理能够实现对特征的管理。在需要对特征进行更新的时候,可以通过触发更新指令,使得服务器响应更新指令,对目标特征页进行更新,并生成操作日志。操作日志可以包括服务器上已更新的目标特征页的第一版本号、对目标特征页进行更新的更新指令以及目标特征页中更新指令所更新的特征集合。目标应用可以获取服务器发送的操作日志,并获取目标应用上已缓存的目标特征页的第二版本号。在第一版本号和第二版本号之间的版本号关系满足预定条件的情况下,在目标应用上根据操作日志对版本号为第二版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页的方式具体可以为:在目标应用上确定第二版本号的目标特征页对应的特征库,在该特征库中划分出包含目标特征页的目标区域,并在该目标区域中获取第二版本号的目标特征页中的特征对应的数据值,利用上述目标特征页中更新指令所更新的特征集合更新第二版本号的目标特征页中的特征对应的数据值,在更新完第二版本号的目标特征页中的特征对应的数据值之后,将目标特征页当前缓存的第二版本号更新为第一版本号,从而实现对目标特征页的更新。
进一步的,在第一版本号和第二版本号之间的版本号关系不满足预定条件的情况下,在目标应用上可以将操作日志暂存在队列中,如果在队列中存储的操作日志已满的情况下,此时接收到新的操作日志会进行丢弃,在这种情况下,可以触发懒加载机制,从服务器中的数据库中重新获取待更新缓存的操作日志。这一过程可以减少由于队列已满导致操作日志的数据丢失情况发生的概率,从而提高了数据安全性。
作为一种可选的实施方式,在目标应用上对操作日志进行缓存之后,还可以执行以下步骤:
在目标应用上已暂存的目标特征页的版本号为第三版本号的情况下,在目标应用上根据操作日志对版本号为第三版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页,其中,第三版本号和第一版本号的之间的版本号关系满足预定条件。
本发明实施例中,举例来说,如果第一版本号为3,第二版本号为1,则第一版本号和第二版本号之间的版本号关系不满足预定条件,此时将第一版本号暂存在队列里,直到和第一版本号的数版本号关系满足预定条件的版本号2也已暂存到队列中,此时可以对第二版本号的目标特征页进行更新,得到并缓存版本号为第三版本号的目标特征页,进一步的,可以对版本号为第三版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页。这一过程实现了操作日志按照版本号的顺序进行更新缓存,保证了操作日志的按序应用。
作为一种可选的实施方式,还可以执行以下步骤:
S1,在目标应用上获取目标检索请求,其中,目标检索请求用于请求满足目标检索条件的检索结果;
S2,在与目标检索条件相关的特征页包括目标特征页的情况下,在目标应用上获取服务器上目标特征页的最新版本号;
S3,在目标应用上已缓存的目标特征页的版本号为最新版本号的情况下,在目标应用上已缓存的目标特征页中查询满足目标检索条件的第一检索结果;
S4,在目标应用上已缓存的目标特征页的版本号不为最新版本号的情况下,在目标应用上从服务器上获取版本号为最新版本号的目标特征页;在目标应用上对版本号为最新版本号的目标特征页进行缓存;在目标应用上已缓存的版本号为最新版本号的目标特征页中查询满足目标检索条件的第二检索结果。
本发明实施例中,在目标应用上可以获取用户输入的目标检索请求,目标检索请求用于请求满足目标检索条件的检索结果。例如,用户可以输入用于获取目标对象的特征的目标检索请求,此时的目标检索条件即可为目标对象的名称等条件。在与目标检索条件相关的特征页包括目标特征页的情况下,可以在目标应用上获取服务器上目标特征页的最新版本号,并将目标应用上已缓存的目标特征页的版本号和服务器上目标特征页的最新版本号进行比对,如果目标应用上已缓存的目标特征页的版本号为该最新版本号,则说明目标应用中的特征为最新版本的特征,此时可以直接从目标应用上已缓存的目标特征页中查询满足目标检索条件的第一检索结果。如果目标应用上已缓存的目标特征页的版本号不为该最新版本号,则说明目标应用中的特征为历史版本的特征,此时可以利用服务器上最新版本号的目标特征页更新目标应用上已缓存的目标特征页,并在更新后的版本号为最新版本号的目标特征页中查询满足目标检索条件的第二检索结果。这一过程可以在检索特征的情况下,获取特征所在特征页对应的版本号,在确保特征页对应的版本号为最新版本号的情况下,在目标特征页中查询满足目标检索条件的检索结果,减少了检索结果为历史版本的特征的情况发生的概率,从而提高了检索结果的准确度。
作为一种可选的实施方式,在目标应用上对版本号为最新版本号的目标特征页进行缓存的情况下,还可以执行以下步骤:
在目标应用上缓存有与目标特征页相关的操作日志的情况下,在与目标特征页相关的操作日志中删除除最新版本号之外的其他版本号的目标特征页相关的信息。
本发明实施例中,可选的,还可以在目标应用上对版本号为最新版本号的目标特征页进行缓存的情况下,可以删除除最新版本号之外的历史版本号的目标特征页相关的信息。这一过程可以选择在目标特征页相关的操作日志中只保留最新版本号的目标特征页相关的信息,删除历史版本号的目标特征页相关的信息,减少操作日志的数据量。
作为一种可选的实施方式,在目标应用上已缓存的目标特征页中查询满足目标检索条件的第一检索结果之后,还可以执行以下步骤:
S1,在目标应用上从服务器上获取与版本号为最新版本号的目标特征页关联存储的元信息,其中,元信息至少包括目标特征页所在的特征库相匹配的状态控制信息;
S2,在状态控制信息指示特征库无异常的情况下,确定第一检索结果为准确结果;
S3,在状态控制信息指示特征库出现异常的情况下,从服务器上获取满足目标检索条件的第三检索结果。
本发明实施例中,在目标应用上已缓存的目标特征页中查询满足目标检索条件的第一检索结果之后,可以在目标应用上从服务器上获取与版本号为最新版本号的目标特征页关联存储的元信息。元信息可以包括但不限于目标特征页所在的特征库的状态控制信息,具体的,状态控制信息可以包括但不限于特征库的状态,如删库状态、写库状态和改库状态等,还可以包括特征库的标识等信息。如果状态控制信息指示特征库为未经修改的状态,将该特征库确定为无异常的特征库;如果状态控制信息指示特征库为被修改的状态,将该特征库确定为出现异常的特征库。具体的,如果此时目标特征页所处的特征库正处于删库状态,此时获得的第一检索结果为不准确的结果,该结果中可能存在特征的丢失,在这种情况下,可以从服务器上获取第三检索结果,从而提高了获取到的检索结果的准确度。
作为一种可选的实施方式,在目标应用上已缓存的版本号为最新版本号的目标特征页中查询满足目标检索条件的第二检索结果之后,还可以执行以下步骤:
S1,在服务器上获取版本号为最新版本号的目标特征页关联存储的元信息,元信息至少包括与目标特征页所在的特征库相匹配的状态控制信息;
S2,在状态控制信息指示特征库无异常的情况下,确定第二检索结果为准确结果;
S3,在状态控制信息指示特征库出现异常的情况下,从服务器上获取满足目标检索条件的第四检索结果。
作为一种可选的实施方式,在缓存版本号为第一版本号的目标特征页之后,还可以执行以下步骤:
S1,在目标应用上获取具有对应关系的特征集合和对象集合,其中,特征集合中的特征为目标特征页中操作日志更新的特征,对象集合包括特征集合中的特征所归属的对象;
S2,将具有对应关系的特征集合和对象集合更新到目标应用上已存储的具有对应关系的特征集合和对象集合中。
本发明实施例中,在目标应用上可以获取目标特征页中操作日志更新的特征集合,以及特征集合中特征所归属的对象构成的对象集合。将具有对应关系的该特征集合和该对象集合更新到目标应用上已存储的具有对应关系的特征集合和对象集合中。其中目标应用上已存储的具有对应关系的特征集合和对象集合中包含各个特征库中的特征以及每一特征对应的对象。例如,在各个特征库中的特征为人脸特征的情况下,与该特征对应的对象即可为该人脸特征对应的用户。这一过程可以实现更新具有对应关系的特征集合和对象集合,确保特征与对象的归属关系为最新版本的数据,进一步提高数据准确度。
请参阅图3,作为一种可选的实施方式,如图3所示,上述数据处理方法包括:
S301,在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与目标特征页的当前版本号之间的版本号关系满足预定条件版本号确定为目标特征页更新后的最新版本号;
S302,利用目标特征页更新后的最新版本号、对目标特征页进行更新的更新指令以及目标特征页中更新指令更新后的特征集合生成操作日志;
S303,将操作日志发送给目标应用。
本发明实施例中,在获取到更新指令的情况下,可以将目标特征页中的特征集合进行更新,此时可以将目标特征页的当前版本号的下一版本号确定为目标特征页更新后的最新版本号。例如,在目标特征页的当前版本号为2的情况下,可以将与当前版本号的之间的版本号关系满足预定条件的版本号3确定为目标特征页更新后的最新版本号。进一步的,可以利用更新后的最新版本号、更新指令以及更新指令更新后的特征集合生成操作日志,并发送给目标应用。
作为一种可选的实施方式,在将操作日志发送给目标应用之后,还可以执行以下步骤:
S1,获取与特征集合具有对应关系的对象集合,其中,特征集合中的特征为目标特征页中更新的特征,对象集合包括特征集合中的特征所归属的对象;
S2,将具有对应关系的特征集合和对象集合更新到服务器上已存储的具有对应关系的特征集合和对象集合中。
本发明实施例中,可以获取与目标特征页中更新的特征集合具有对应关系的对象集合,将具有对应关系的特征集合和对象集合更新到服务器上已存储的具有对应关系的特征集合和对象集合中。实现了服务器上特征归属对象的更新,提高了特征归属对象的信息准确度。
请参阅图4,图4是本发明实施例中公开的一种数据处理系统的结构示意图,如图4所示,上述数据处理方法可以应用到该数据处理系统中,图4的数据处理系统可以用于实现特征检索,该数据处理系统由接入层、路由表、多副本一致性哈希、服务管理器、图形处理器检索节点、中央处理器检索节点、特征管理模块以及数据库构成。其中,接入层用于接收用户输入的目标检索请求,目标检索请求用于请求满足目标检索条件的检索结果,路由表用于实现路由选择,多副本一致性哈希用于实现数据的分布式存储,数据可以存储于多个节点上,服务管理器用于查看在数据处理系统中运行的各个线程以及各个服务,图形处理器检索节点和中央处理器检索节点可以用于处理目标检索请求,获取检索结果。进一步的,数据库中包括特征数据库405以及版本管理数据库406,特征数据库405用于存储多个特征,版本管理数据库406用于存储特征页的版本号以及特征页所归属的特征库标识等信息。特征管理模块用于实现特征之间的数据强一致性,具体的,特征管理模块可以包括FeatureMgr401、Syncer402、Syncer Cache403以及Feature Cache404,通过调用FeatureMgr401可以触发上述更新指令,来对服务器中缓存的特征页中的特征集合进行更新,例如可以将待写入的特征写入数据库,生成相应的操作日志。Syncer402可以将操作日志推送至各个检索节点对应的Syncer Cache403,Syncer Cache403可以按照操作日志中目标特征页的版本号顺序,按序缓存操作日志。在读取数据的情况下,可以利用SyncerCache403中缓存的操作日志中的版本号与最新版本号进行比对,在确定Syncer Cache403中缓存的操作日志中的版本号为最新版本号的情况下,可以从Feature Cache404中获取目标特征页中相应的特征。
请参阅图5,图5是本发明实施例中公开的一种更新特征页信息的示意图,如图5所示,可以执行以下步骤:
S501,获取可用页page_1;
S502,分配版本号63;
S503,更新页大小;
S504,写入数据库;
S505,写扩散searcher;
S506,设置版本号;
S507,更新person。
本发明实施例中,在更新特征页信息的情况下,可以先获取需要更新的可用页page_1,如图5所示,可用页page_1包含四个字段信息,分别为page_1、v:62、a:62以及s:800,其中page_1用于表示可用页的标识,v:62用于表示该可用页当前的版本号为62,a:62表示该可用页待更新的版本号为62,此时还未对可用页执行更新操作,s:800表示该可用页的页大小为800。在获取到可用页之后,可以为可用页分配版本号63,表示需要将可用页从62版本号更新为63版本号,此时将可用页中的a:62更新为a:63。进一步的,在分配版本号之后,可以更新页大小,将可用页的页大小从s:800更新为s:801。其中,步骤S502至步骤S504是利用分布式锁实现的。在更新页大小之后,可以将更新指令指示更新目标特征页的特征集合写入数据库,在图5中,group_id表示特征库的标识,page_1表示特征页的标识,Person_id标识特征对应的对象标识,face_id表示特征标识,fea_0和fea_1表示具体写入的特征数据。其中,写入数据库的格式可以按照数据库中设置的存储字段来设置,本发明实施例中对此不做限定。在写入数据库之后,可以生成操作日志并将操作日志写扩散到各个检索节点。其中操作日志中可以包括更新指令、已更新的最新版本号以及更新的特征页中的特征集合,如图5所示,此时的更新指令为ADD,表示写入特征,此时的版本号为63,表示已更新为版本号为63的特征页,DATA表示更新的特征页中的特征集合的特征数据。在将操作日志写扩散到各个检索节点之后,各个检索节点可以根据操作日志设置每一检索节点缓存中的特征页,并更新每一检索节点缓存中的person数据,person数据可以包括每一对象对应的多个特征,如图5所示,该对象对应的多个特征有face_x 、face_y和face_z。
请参阅图6,图6是本发明实施例中公开的一种缓存操作日志的示意图,如图6所示,操作日志601中包含更新指令CMD,第一版本号version以及已更新的特征页中的特征集合数据,在将操作日志写扩散至各个检索节点的情况下,各个检索节点可以先执行步骤603,判断第一版本号和第二版本号之间的版本号关系是否满足预定条件,其中,第二版本号可以为检索节点的缓存602中的61,如果第一版本号为63,则说明第一版本号和第二版本号之间的版本号关系不满足预定条件,此时将操作日志暂存至队列。如果第一版本号为62,则说明第一版本号和第二版本号之间的版本号关系满足预定条件,此时执行步骤604至步骤605,利用分布式锁写入特征。具体的,在执行读锁操作的情况下,可以先获取需要更新的目标特征页对应的目标区域,具体可以通过分配page对应的slice来实现,进一步的可以获取待写入特征在该目标区域的返回值,具体可以通过查找face在slice中的index来实现。在完成读锁操作,获取到了待写入特征在目标区域的返回值之后,可以执行写锁操作,在检测出目标区域的数据未发生异常的情况下,可以在目标区域中写入待写入特征对应的数值,并更新版本号,也即是将第二版本号变更为第一版本号。
请参阅图7,图7是本发明实施例中公开的一种特征检索的示意图,如图7所示,可以执行以下步骤:
S701,获取服务器上特征页对应的最新版本号;
S702,获取目标应用中特征页对应的版本号;
S703,利用服务器上最新版本号的特征页更新目标应用中的特征页;
S704,读取第一数据块以及第二数据块;
S705,合并第一数据块与第二数据块,获得目标特征;
S706,利用元信息过滤脏数据。
本发明实施例中,在需要进行特征检索的情况下,可以在服务器上获取与检索条件对应的特征页的最新版本号,如图7所示,如果检索条件对应有多个特征页,每个特征页具有相应的版本号,例如图7中可以包括五个特征页,以及每一特征页对应的版本号,分别为152、63、2852、82以及3。进一步的,可以获取目标应用中特征页对应的版本号,可以包括152、63、2850以及82。针对目标特征页对应版本号,在服务器上的最新版本号为2852,以及在目标应用中特征页对应的版本号为2850,以及另一目标特征页在服务器上的最新版本号为3,以及在目标应用中特征页的版本号中没有版本号数据,此时生成需要更新的目标特征页对应的数据块。可以读取第一数据块和第二数据块,将第一数据块和第二数据块进行合并,写入目标应用的缓存中,再从目标应用的缓存中获得目标特征。利用元信息中的特征库的状态控制信息过滤脏数据,提高获取到的目标特征的准确度。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述数据处理方法的数据处理装置。如图8所示,该装置包括:
第一获取单元801,用于获取服务器发送给目标应用的操作日志,其中,操作日志中记录有服务器上已更新的目标特征页的第一版本号、对目标特征页进行更新的更新指令、目标特征页中更新指令所更新的特征集合;
第二获取单元802,用于获取目标应用上已缓存的目标特征页的第二版本号;
第一更新单元803,用于在第一版本号和第二版本号之间的版本号关系满足预定条件的情况下,在目标应用上根据操作日志对版本号为第二版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页;
暂存单元804,用于在第一版本号和第二版本号的之间的版本号关系不满足预定条件的情况下,在目标应用上对操作日志进行暂存。
作为一种可选的实施方式,上述装置还可以包括:
第二更新单元,用于在目标应用上对操作日志进行缓存之后,在目标应用上已暂存的目标特征页的版本号为第三版本号的情况下,在目标应用上根据操作日志对版本号为第三版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页,其中,第三版本号和第一版本号的之间的版本号关系满足预定条件。
作为一种可选的实施方式,在上述装置中,第一获取单元还可以用于在目标应用上获取目标检索请求,其中,目标检索请求用于请求满足目标检索条件的检索结果;并在与目标检索条件相关的特征页包括目标特征页的情况下,在目标应用上获取服务器上目标特征页的最新版本号;以及在目标应用上已缓存的目标特征页的版本号为最新版本号的情况下,在目标应用上已缓存的目标特征页中查询满足目标检索条件的第一检索结果;以及在目标应用上已缓存的目标特征页的版本号不为最新版本号的情况下,在目标应用上从服务器上获取版本号为最新版本号的目标特征页;
上述装置还可以包括:缓存单元,用于在目标应用上对版本号为最新版本号的目标特征页进行缓存;查询单元,用于在目标应用上已缓存的版本号为最新版本号的目标特征页中查询满足目标检索条件的第二检索结果。
作为一种可选的实施方式,上述装置还可以包括:
删除单元,用于在目标应用上对版本号为最新版本号的目标特征页进行缓存且目标应用上缓存有与目标特征页相关的操作日志的情况下,在与目标特征页相关的操作日志中删除除最新版本号之外的其他版本号的目标特征页相关的信息。
作为一种可选的实施方式,在上述装置中,第一获取单元还可以用于在目标应用上已缓存的目标特征页中查询满足目标检索条件的第一检索结果之后,在目标应用上从服务器上获取与版本号为最新版本号的目标特征页关联存储的元信息,其中,元信息至少包括目标特征页所在的特征库相匹配的状态控制信息;在状态控制信息指示特征库无异常的情况下,确定第一检索结果为准确结果;在状态控制信息指示特征库出现异常的情况下,从服务器上获取满足目标检索条件的第三检索结果。
作为一种可选的实施方式,在上述装置中,第一获取单元还可以用于在目标应用上已缓存的版本号为最新版本号的目标特征页中查询满足目标检索条件的第二检索结果之后,在服务器上获取版本号为最新版本号的目标特征页关联存储的元信息,元信息至少包括与目标特征页所在的特征库相匹配的状态控制信息;在状态控制信息指示特征库无异常的情况下,确定第二检索结果为准确结果;在状态控制信息指示特征库出现异常的情况下,从服务器上获取满足目标检索条件的第四检索结果。
作为一种可选的实施方式,在上述装置中,第一获取单元还可以用于在缓存版本号为第一版本号的目标特征页之后,在目标应用上获取具有对应关系的特征集合和对象集合,其中,特征集合中的特征为目标特征页中操作日志更新的特征,对象集合包括特征集合中的特征所归属的对象;将具有对应关系的特征集合和对象集合更新到目标应用上已存储的具有对应关系的特征集合和对象集合中。
根据本发明实施例的另一个方面,还提供了一种用于实施上述数据处理方法的数据处理装置。如图9所示,该装置包括:
确定单元901,用于在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与目标特征页的当前版本号的版本号关系满足预定条件的版本号确定为目标特征页更新后的最新版本号;
生成单元902,用于利用目标特征页更新后的最新版本号、对目标特征页进行更新的更新指令以及目标特征页中更新指令更新后的特征集合生成操作日志;
发送单元903,用于将操作日志发送给目标应用。
作为一种可选的实施方式,上述装置还可以包括:
第三获取单元,用于在将操作日志发送给目标应用之后,获取与特征集合具有对应关系的对象集合,其中,特征集合中的特征为目标特征页中更新的特征,对象集合包括特征集合中的特征所归属的对象;
第三更新单元,用于将具有对应关系的特征集合和对象集合更新到服务器上已存储的具有对应关系的特征集合和对象集合中。
根据本发明实施例的又一个方面,还提供了一种用于实施上述数据处理方法的电子设备,该电子设备可以是图1所示的终端设备或服务器,本实施例以该电子设备为终端设备为例来说明。如图10所示,该电子设备包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取服务器发送给目标应用的操作日志,其中,操作日志中记录有服务器上已更新的目标特征页的第一版本号、对目标特征页进行更新的更新指令、目标特征页中更新指令所更新的特征集合;
S2,获取目标应用上已缓存的目标特征页的第二版本号;
S3,在第一版本号和第二版本号的之间的版本号关系满足预定条件的情况下,在目标应用上根据操作日志对版本号为第二版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页;
S4,在第一版本号和第二版本号的之间的版本号关系不满足预定条件的情况下,在目标应用上对操作日志进行暂存。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的数据处理方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储操作指令等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述数据处理装置中的第一获取单元801、第二获取单元802、地已更新单元803以及暂存单元804。此外,还可以包括但不限于上述数据处理装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1008,用于显示上述检索结果;和连接总线1010,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本发明实施例的又一个方面,还提供了一种用于实施上述数据处理方法的电子设备,该电子设备可以是图1所示的终端设备或服务器,本实施例以该电子设备为服务器为例来说明。如图11所示,该电子设备包括存储器1102和处理器1104,该存储器1102中存储有计算机程序,该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与目标特征页的当前版本号之间的版本号关系满足预定条件的版本号确定为目标特征页更新后的最新版本号;
S2,利用目标特征页更新后的最新版本号、对目标特征页进行更新的更新指令以及目标特征页中更新指令更新后的特征集合生成操作日志;
S3,将操作日志发送给目标应用。
可选地,本领域普通技术人员可以理解,图11所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图11中所示更多或者更少的组件(如网络接口等),或者具有与图11所示不同的配置。
其中,存储器1102可用于存储软件程序以及模块,如本发明实施例中的数据处理方法和装置对应的程序指令/模块,处理器1104通过运行存储在存储器1102内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器1102可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1102可进一步包括相对于处理器1104远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1102具体可以但不限于用于存储操作指令等信息。作为一种示例,如图11所示,上述存储器1102中可以但不限于包括上述数据处理装置中的确定单元901、生成单元902以及发送单元903。此外,还可以包括但不限于上述数据处理装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1106包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1106为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:连接总线1108,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(P2P,Peer To Peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取服务器发送给目标应用的操作日志,其中,操作日志中记录有服务器上已更新的目标特征页的第一版本号、对目标特征页进行更新的更新指令、目标特征页中更新指令所更新的特征集合;
S2,获取目标应用上已缓存的目标特征页的第二版本号;
S3,在第一版本号和第二版本号之间的版本号关系满足预定条件的情况下,在目标应用上根据操作日志对版本号为第二版本号的目标特征页进行更新,得到并缓存版本号为第一版本号的目标特征页;
S4,在第一版本号和第二版本号之间的版本号关系不满足预定条件的情况下,在目标应用上对操作日志进行暂存。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与目标特征页的当前版本号的版本号关系满足预定条件的版本号确定为目标特征页更新后的最新版本号;
S2,利用目标特征页更新后的最新版本号、对目标特征页进行更新的更新指令以及目标特征页中更新指令更新后的特征集合生成操作日志;
S3,将操作日志发送给目标应用。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种数据处理方法,其特征在于,包括:
获取服务器发送给目标应用的操作日志,其中,所述操作日志中记录有所述服务器上已更新的目标特征页的第一版本号、对所述目标特征页进行更新的更新指令、所述目标特征页中所述更新指令所更新的特征集合;
获取所述目标应用上已缓存的所述目标特征页的第二版本号;
在所述第一版本号和所述第二版本号之间的版本号关系满足预定条件的情况下,在所述目标应用上根据所述操作日志对版本号为所述第二版本号的所述目标特征页进行更新,得到并缓存版本号为所述第一版本号的所述目标特征页;
在所述第一版本号和所述第二版本号之间的版本号关系不满足所述预定条件的情况下,在所述目标应用上对所述操作日志进行暂存。
2.根据权利要求1所述的方法,其特征在于,在所述目标应用上对所述操作日志进行暂存之后,所述方法还包括:
在所述目标应用上已暂存的所述目标特征页的版本号为第三版本号的情况下,在所述目标应用上根据所述操作日志对版本号为所述第三版本号的所述目标特征页进行更新,得到并缓存版本号为所述第一版本号的所述目标特征页,其中,所述第三版本号和所述第一版本号之间的版本号关系满足所述预定条件。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述目标应用上获取目标检索请求,其中,所述目标检索请求用于请求满足目标检索条件的检索结果;
在与所述目标检索条件相关的特征页包括所述目标特征页的情况下,在所述目标应用上获取所述服务器上所述目标特征页的最新版本号;
在所述目标应用上已缓存的所述目标特征页的版本号为所述最新版本号的情况下,在所述目标应用上已缓存的所述目标特征页中查询满足所述目标检索条件的第一检索结果;
在所述目标应用上已缓存的所述目标特征页的版本号不为所述最新版本号的情况下,在所述目标应用上从所述服务器上获取版本号为所述最新版本号的所述目标特征页;在所述目标应用上对版本号为所述最新版本号的所述目标特征页进行缓存;在所述目标应用上已缓存的版本号为所述最新版本号的所述目标特征页中查询满足所述目标检索条件的第二检索结果。
4.根据权利要求3所述的方法,其特征在于,在所述目标应用上对版本号为所述最新版本号的所述目标特征页进行缓存的情况下,所述方法还包括:
在所述目标应用上缓存有与所述目标特征页相关的操作日志的情况下,在与所述目标特征页相关的操作日志中删除除所述最新版本号之外的其他版本号的所述目标特征页相关的信息。
5.根据权利要求3所述的方法,其特征在于,在所述目标应用上已缓存的所述目标特征页中查询满足所述目标检索条件的第一检索结果之后,所述方法还包括:
在所述目标应用上从所述服务器上获取与版本号为所述最新版本号的所述目标特征页关联存储的元信息,其中,所述元信息至少包括所述目标特征页所在的特征库相匹配的状态控制信息;
在所述状态控制信息指示所述特征库无异常的情况下,确定所述第一检索结果为准确结果;
在所述状态控制信息指示所述特征库出现异常的情况下,从所述服务器上获取满足所述目标检索条件的第三检索结果。
6.根据权利要求3所述的方法,其特征在于,在所述目标应用上已缓存的版本号为所述最新版本号的所述目标特征页中查询满足所述目标检索条件的第二检索结果之后,所述方法还包括:
在所述服务器上获取版本号为所述最新版本号的所述目标特征页关联存储的元信息,所述元信息至少包括与所述目标特征页所在的特征库相匹配的状态控制信息;
在所述状态控制信息指示所述特征库无异常的情况下,确定所述第二检索结果为准确结果;
在所述状态控制信息指示所述特征库出现异常的情况下,从所述服务器上获取满足所述目标检索条件的第四检索结果。
7.根据权利要求1至6任一项所述的方法,其特征在于,在所述缓存版本号为所述第一版本号的所述目标特征页之后,所述方法还包括:
在所述目标应用上获取具有对应关系的特征集合和对象集合,其中,所述特征集合中的特征为所述目标特征页中所述操作日志更新的特征,所述对象集合包括所述特征集合中的特征所归属的对象;
将具有对应关系的特征集合和对象集合更新到所述目标应用上已存储的具有对应关系的特征集合和对象集合中。
8.一种数据处理方法,其特征在于,包括:
在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与所述目标特征页的当前版本号之间的版本号关系满足预定条件的版本号确定为所述目标特征页更新后的最新版本号;
利用所述目标特征页更新后的所述最新版本号、对所述目标特征页进行更新的所述更新指令以及所述目标特征页中所述更新指令更新后的特征集合生成操作日志;
将所述操作日志发送给目标应用。
9.根据权利要求8所述的方法,其特征在于,在所述将所述操作日志发送给所述目标应用之后,还包括:
获取与所述特征集合具有对应关系的对象集合,其中,所述特征集合中的特征为所述目标特征页中更新的特征,所述对象集合包括所述特征集合中的特征所归属的对象;
将具有对应关系的所述特征集合和对象集合更新到服务器上已存储的具有对应关系的特征集合和对象集合中。
10.一种数据处理装置,其特征在于,包括:
第一获取单元,用于获取服务器发送给目标应用的操作日志,其中,所述操作日志中记录有所述服务器上已更新的目标特征页的第一版本号、对所述目标特征页进行更新的更新指令、所述目标特征页中所述更新指令所更新的特征集合;
第二获取单元,用于获取所述目标应用上已缓存的所述目标特征页的第二版本号;
第一更新单元,用于在所述第一版本号和所述第二版本号之间的版本号关系满足预定条件的情况下,在所述目标应用上根据所述操作日志对版本号为所述第二版本号的所述目标特征页进行更新,得到并缓存版本号为所述第一版本号的所述目标特征页;
暂存单元,用于在所述第一版本号和所述第二版本号之间的版本号关系不满足所述预定条件的情况下,在所述目标应用上对所述操作日志进行暂存。
11.根据权利要求10所述的装置,其特征在于,还包括:
第二更新单元,用于在所述目标应用上对所述操作日志进行缓存之后,在所述目标应用上已暂存的所述目标特征页的版本号为第三版本号的情况下,在所述目标应用上根据所述操作日志对版本号为所述第三版本号的所述目标特征页进行更新,得到并缓存版本号为所述第一版本号的所述目标特征页,其中,所述第三版本号和所述第一版本号的之间的版本号关系满足所述预定条件。
12.一种数据处理装置,其特征在于,包括:
确定单元,用于在根据更新指令将目标特征页中的特征集合进行更新的情况下,将与所述目标特征页的当前版本号之间的版本号关系满足预定条件的版本号确定为所述目标特征页更新后的最新版本号;
生成单元,用于利用所述目标特征页更新后的所述最新版本号、对所述目标特征页进行更新的所述更新指令以及所述目标特征页中所述更新指令更新后的特征集合生成操作日志;
发送单元,用于将所述操作日志发送给目标应用。
13.根据权利要求12所述的装置,其特征在于,还包括:
第三获取单元,用于在所述将所述操作日志发送给所述目标应用之后,获取与所述特征集合具有对应关系的对象集合,其中,所述特征集合中的特征为所述目标特征页中更新的特征,所述对象集合包括所述特征集合中的特征所归属的对象;
第三更新单元,用于将具有对应关系的所述特征集合和对象集合更新到服务器上已存储的具有对应关系的特征集合和对象集合中。
14.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至7任一项或者8至9任一项中所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项或者8至9任一项中所述的方法。
CN202010497364.0A 2020-06-04 2020-06-04 数据处理方法、装置、存储介质及电子装置 Active CN111400334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010497364.0A CN111400334B (zh) 2020-06-04 2020-06-04 数据处理方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010497364.0A CN111400334B (zh) 2020-06-04 2020-06-04 数据处理方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN111400334A true CN111400334A (zh) 2020-07-10
CN111400334B CN111400334B (zh) 2020-10-09

Family

ID=71431905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010497364.0A Active CN111400334B (zh) 2020-06-04 2020-06-04 数据处理方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN111400334B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112187548A (zh) * 2020-10-09 2021-01-05 深圳壹账通智能科技有限公司 配置数据同步更新方法、装置、设备及存储介质
CN112214521A (zh) * 2020-11-20 2021-01-12 深圳前海微众银行股份有限公司 规则查询方法、装置、设备及计算机存储介质
CN112363997A (zh) * 2020-11-10 2021-02-12 中国平安人寿保险股份有限公司 数据版本管理方法、装置及存储介质
CN113596084A (zh) * 2021-06-24 2021-11-02 青岛海尔科技有限公司 家电状态反馈方法及系统、存储介质、电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819577A (zh) * 2009-01-08 2010-09-01 国际商业机器公司 维护文件系统客户端目录高速缓存的方法、系统和装置
CN105302587A (zh) * 2014-06-30 2016-02-03 腾讯科技(深圳)有限公司 数据更新方法及装置
CN105335190A (zh) * 2015-10-12 2016-02-17 广州视睿电子科技有限公司 一种局域网内应用软件的自动升级方法和装置
CN105511902A (zh) * 2015-11-09 2016-04-20 Tcl集团股份有限公司 一种安卓平台模块动态加载的方法及系统
CN107291710A (zh) * 2016-03-30 2017-10-24 杭州海康威视数字技术股份有限公司 一种用于分布式数据库系统的更新数据的方法及装置
US9953033B2 (en) * 2014-05-29 2018-04-24 Apple Inc. Wireless content synchronization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819577A (zh) * 2009-01-08 2010-09-01 国际商业机器公司 维护文件系统客户端目录高速缓存的方法、系统和装置
US9953033B2 (en) * 2014-05-29 2018-04-24 Apple Inc. Wireless content synchronization
CN105302587A (zh) * 2014-06-30 2016-02-03 腾讯科技(深圳)有限公司 数据更新方法及装置
CN105335190A (zh) * 2015-10-12 2016-02-17 广州视睿电子科技有限公司 一种局域网内应用软件的自动升级方法和装置
CN105511902A (zh) * 2015-11-09 2016-04-20 Tcl集团股份有限公司 一种安卓平台模块动态加载的方法及系统
CN107291710A (zh) * 2016-03-30 2017-10-24 杭州海康威视数字技术股份有限公司 一种用于分布式数据库系统的更新数据的方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112187548A (zh) * 2020-10-09 2021-01-05 深圳壹账通智能科技有限公司 配置数据同步更新方法、装置、设备及存储介质
CN112363997A (zh) * 2020-11-10 2021-02-12 中国平安人寿保险股份有限公司 数据版本管理方法、装置及存储介质
CN112363997B (zh) * 2020-11-10 2023-09-26 中国平安人寿保险股份有限公司 数据版本管理方法、装置及存储介质
CN112214521A (zh) * 2020-11-20 2021-01-12 深圳前海微众银行股份有限公司 规则查询方法、装置、设备及计算机存储介质
CN113596084A (zh) * 2021-06-24 2021-11-02 青岛海尔科技有限公司 家电状态反馈方法及系统、存储介质、电子装置
CN113596084B (zh) * 2021-06-24 2023-10-24 青岛海尔科技有限公司 家电状态反馈方法及系统、存储介质、电子装置

Also Published As

Publication number Publication date
CN111400334B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111400334B (zh) 数据处理方法、装置、存储介质及电子装置
KR102392944B1 (ko) 데이터 백업 방법, 저장 매체 및 컴퓨팅 기기
CN108038114B (zh) 一种路径查询方法、终端、计算机可读存储介质
CN110018998B (zh) 一种文件管理方法、系统及电子设备和存储介质
WO2011108021A1 (en) File level hierarchical storage management system, method, and apparatus
CN110019004B (zh) 一种数据处理方法、装置及系统
JP2017529625A (ja) 共有フォルダ及び共有ファイルの同期
CN111046034A (zh) 管理内存数据及在内存中维护数据的方法和系统
CN113360456B (zh) 数据归档方法、装置、设备以及存储介质
CN109947373B (zh) 一种数据处理方法和装置
CN107679182B (zh) 一种目录配置方法及装置
CN103078898A (zh) 文件系统、接口服务装置和数据存储服务提供方法
CN113961510B (zh) 一种文件处理方法、装置、设备及存储介质
CN111651424B (zh) 一种数据处理方法、装置、数据节点及存储介质
CN115840731A (zh) 文件处理方法、计算设备及计算机存储介质
CN114610680A (zh) 分布式文件系统元数据管理方法、装置、设备及存储介质
CN115964002A (zh) 一种电能表终端档案管理方法、装置、设备及介质
CN116303267A (zh) 数据访问方法、装置、设备以及存储介质
CN115129789A (zh) 一种分布式对象存储系统的桶索引存储方法、装置及介质
CN113853778B (zh) 一种文件系统的克隆方法及装置
US6625614B1 (en) Implementation for efficient access of extended attribute data
CN112307059B (zh) 一种排行榜管理方法、装置、计算机设备和存储介质
CN116821102B (zh) 数据迁移方法、装置、计算机设备和存储介质
CN117390078B (zh) 数据处理方法、装置、存储介质和计算机设备
US20230195761A1 (en) Spatial lsm tree apparatus and method for indexing blockchain based geospatial point data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant