CN117521152A - 数据更新方法、匿踪查询方法、电子设备及介质 - Google Patents
数据更新方法、匿踪查询方法、电子设备及介质 Download PDFInfo
- Publication number
- CN117521152A CN117521152A CN202410018118.0A CN202410018118A CN117521152A CN 117521152 A CN117521152 A CN 117521152A CN 202410018118 A CN202410018118 A CN 202410018118A CN 117521152 A CN117521152 A CN 117521152A
- Authority
- CN
- China
- Prior art keywords
- data
- updated
- index
- updating
- bucket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000004806 packaging method and process Methods 0.000 claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 58
- 239000012634 fragment Substances 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 14
- 238000013467 fragmentation Methods 0.000 claims description 13
- 238000006062 fragmentation reaction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 32
- 230000004044 response Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Bioethics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开是关于一种数据更新方法、匿踪查询方法、电子设备及介质,涉及计算机技术领域。该方法应用于数据提供方,包括由第二数据打包获得且支持匿踪查询的第一数据,以及由原始数据经预处理获得且支持数据更新的索引信息与第二数据;获得数据更新的第三数据时,不符合分配条件则基于原始数据和第三数据进行预处理,获得更新后的第二数据和索引信息;符合分配条件则基于该索引信息将第三数据更新到第二数据对应的索引位置,获得更新后的第二数据,分配条件包括索引信息不变、更新比例小于或等于比例阈值等;再打包获得更新后的第一数据。该方法降低了数据更新对匿踪查询的干扰,且避免了每次整体计算的高计算代价与消耗,提高更新效率。
Description
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种数据更新方法、匿踪查询方法、电子设备及计算机可读介质。
背景技术
匿踪查询是一种基于隐私保护的数据查询计算技术,能够在查询方从公共数据库或私人数据库中检索数据时保护查询方、数据提供方的隐私,使查询方不能获得所查询数据以外的其他信息,数据提供方也不能确定查询方所提供的查询条件。数据提供方通常需要及时对数据进行更新,如扩充新数据,修改或删除旧数据等,以保证数据的准确性,维持查询服务质量。
目前,常采用在线更新的方式,数据提供方在数据更新时需要对数据整体进行重新插值计算,使得更新代价高、消耗大,且效率低,不能适应查询服务对数据准确性、实时性的要求,服务质量存在进一步提升的空间。
发明内容
本公开的目的在于提供一种数据更新方法、匿踪查询方法、电子设备及计算机可读介质,该方案能够在匿踪查询中不影响服务质量的基础上,降低数据更新代价和消耗,且效率高,满足查询服务对数据准确性、实时性的要求。
根据本公开的第一方面提供了一种数据更新方法,该方法可以应用于匿踪查询中的数据提供方,该数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,该第一数据由第二数据打包获得,第二数据由原始数据经预处理获得,该方法可以包括:获取用于数据更新的第三数据;在基于第三数据进行更新时不符合分配条件的情况下,基于原始数据和第三数据进行预处理,获得更新后的第二数据与更新的索引信息;或,在基于第三数据进行更新时符合分配条件的情况下,基于索引信息将第三数据更新到第二数据的对应索引位置,获得更新后的第二数据;分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种;对更新后的第二数据进行打包,获得更新后的第一数据。
可选地,基于索引信息将第三数据更新到第二数据的对应索引位置,获得更新后的第二数据,包括:根据预设分片规则对第三数据进行分片处理,确定第三数据对应的至少一个分片索引;根据分片索引将第三数据分配到对应的分片;对分配有第三数据的每一分片进行不经意伪随机函数OPRF处理,分别获得第三数据对应的标识伪随机值与加密特征数据;基于第三数据对应的标识伪随机值与加密特征数据进行分桶更新,分桶更新包括插入、替换和删除中的至少一种;对每一发生分桶更新的分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得更新后的第二数据。
可选地,基于第三数据对应的标识伪随机值与加密特征数据进行分桶更新,包括:对第三数据对应的标识伪随机值进行哈希处理,获得第三数据对应的哈希索引;根据第三数据对应的哈希索引,将第三数据对应的标识伪随机值与加密特征数据插入对应索引位置的分桶;或,根据第三数据对应的哈希索引,在对应索引位置的分桶中基于第三数据对应的加密特征数据进行替换;或,根据第三数据对应的哈希索引,在对应索引位置的分桶中基于第三数据对应的标识伪随机值进行删除。
可选地,更新后的索引信息包括更新后的分片索引,基于原始数据和第三数据进行预处理,获得更新后的第二数据与更新的索引信息,包括:根据预设分片规则对原始数据和第三数据一同进行分片处理,原始数据包括标识数据以及对应的特征数据,每一更新后的分片对应一个更新后的分片索引;对每一更新后的分片进行不经意伪随机函数OPRF处理,分别获得更新后的标识伪随机值与更新后的加密特征数据;对更新后的标识伪随机值与更新后的加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对更新后的标识伪随机值与更新后的加密特征数据;对每一分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得更新后的第二数据。
可选地,更新后的索引信息还包括更新后的哈希索引,对更新后的标识伪随机值与更新后的加密特征数据进行哈希分桶处理,包括:对更新后的标识伪随机值进行哈希处理,获得更新后的哈希索引;每一更新后的哈希索引对应一个更新后的分桶;根据更新后的哈希索引将更新后的标识伪随机值与更新后的加密特征数据插入对应更新后的索引位置的分桶。
可选地,索引信息包括分片索引,获取用于数据更新的第三数据前,还包括:根据预设分片规则对原始数据进行分片处理,原始数据包括标识数据以及对应的特征数据,每一分片对应一个分片索引;对每一分片进行OPRF处理,分别获得标识数据对应的标识伪随机值,以及特征数据对应的加密特征数据;对标识伪随机值与加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对标识伪随机值与加密特征数据;对每一分桶,分别计算第一标识匹配多项式与第一特征多项式,获得第二数据;对第二数据中的第一标识匹配多项式进行打包,获得第一数据中的第二标识匹配多项式,以及对第二数据中的第一特征多项式进行打包,获得第一数据中的第二特征多项式,从而获得第一数据。
根据本公开的第二方面提供了一种匿踪查询方法,该方法可以应用于数据提供方,数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得,数据提供方采用前述第一方面的方法进行数据更新,该方法可以包括:响应于查询方的数据查询请求,调取第一数据进行检索,获得查询结果;向查询方返回查询结果。
根据本公开的第三方面提供了一种电子设备,该电子设备作为匿踪查询中的数据提供方,数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得,电子设备可以包括:接收模块,用于获取用于数据更新的第三数据;更新模块,用于在基于第三数据进行更新时不符合分配条件的情况下,基于原始数据和第三数据进行预处理,获得更新后的第二数据与更新的索引信息;或,更新模块,用于在基于第三数据进行更新时符合分配条件的情况下,基于索引信息将第三数据更新到第二数据的对应索引位置,获得更新后的第二数据;分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种;更新模块,还用于对更新后的第二数据进行打包,获得更新后的第一数据。
可选地,更新模块,具体用于根据预设分片规则对第三数据进行分片处理,确定第三数据对应的至少一个分片索引;根据分片索引将第三数据分配到对应的分片;对分配有第三数据的每一分片进行不经意伪随机函数OPRF处理,分别获得第三数据对应的标识伪随机值与加密特征数据;基于第三数据对应的标识伪随机值与加密特征数据进行分桶更新,分桶更新包括插入、替换和删除中的至少一种;对每一发生分桶更新的分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得更新后的第二数据。
可选地,更新模块,具体用于对第三数据对应的标识伪随机值进行哈希处理,获得第三数据对应的哈希索引;根据第三数据对应的哈希索引,将第三数据对应的标识伪随机值与加密特征数据插入对应索引位置的分桶;或,根据第三数据对应的哈希索引,在对应索引位置的分桶中基于第三数据对应的加密特征数据进行替换;或,根据第三数据对应的哈希索引,在对应索引位置的分桶中基于第三数据对应的标识伪随机值进行删除。
可选地,更新后的索引信息包括更新后的分片索引,更新模块,具体用于根据预设分片规则对原始数据和第三数据一同进行分片处理,原始数据包括标识数据以及对应的特征数据,每一更新后的分片对应一个更新后的分片索引;对每一更新后的分片进行不经意伪随机函数OPRF处理,分别获得更新后的标识伪随机值与更新后的加密特征数据;对更新后的标识伪随机值与更新后的加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对更新后的标识伪随机值与更新后的加密特征数据;对每一分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得更新后的第二数据。
可选地,更新后的索引信息还包括更新后的哈希索引,更新模块,具体用于对更新后的标识伪随机值进行哈希处理,获得更新后的哈希索引;每一更新后的哈希索引对应一个更新后的分桶;根据更新后的哈希索引将更新后的标识伪随机值与更新后的加密特征数据插入对应更新后的索引位置的分桶。
可选地,电子设备还包括:创建模块,用于根据预设分片规则对原始数据进行分片处理,原始数据包括标识数据以及对应的特征数据,每一分片对应一个分片索引;对每一分片进行OPRF处理,分别获得标识数据对应的标识伪随机值,以及特征数据对应的加密特征数据;对标识伪随机值与加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对标识伪随机值与加密特征数据;对每一分桶,分别计算第一标识匹配多项式与第一特征多项式,获得第二数据;对第二数据中的第一标识匹配多项式进行打包,获得第一数据中的第二标识匹配多项式,以及对第二数据中的第一特征多项式进行打包,获得第一数据中的第二特征多项式,从而获得第一数据。
可选地,电子设备还包括:查询模块,用于响应于查询方的数据查询请求,调取第一数据进行检索,获得查询结果;查询模块,还用于向查询方返回查询结果。
根据本公开的第四方面,提供了一种电子设备,包括:
处理器;以及
存储器,用于存储处理器的计算机程序;
其中,处理器配置为经由执行计算机程序来实现上述实现如第一方面的数据更新方法。
根据本公开的第五方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如第一方面的数据更新方法。
根据本公开的第六方面,提供了一种计算机程序产品,当其在电子设备上运行时,使得电子设备执行如实现如第一方面的数据更新方法。
本公开提供的数据更新方法,匿踪查询中的数据提供方可以包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得;在获得用于数据更新的第三数据时,基于第三数据进行更新不符合分配条件时,可以基于原始数据和第三数据进行预处理,获得更新后的第二数据和更新后的索引信息;或,基于第三数据进行更新符合分配条件的情况下,基于该索引信息将第三数据更新到第二数据对应的索引位置,获得更新后的第二数据,其中,分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种;再对更新后的第二数据进行打包,获得更新后的第一数据。该方法通过支持匿踪查询与数据更新的数据,降低了数据更新对匿踪查询的干扰,且通过区分是否符合分配条件选择不同的计算方式,避免了每次数据更新时需要整体进行计算的高计算代价与消耗,也提高了数据更新的效率,满足了查询服务对数据准确性、实时性的要求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种数据更新方法的步骤流程图之一。
图2为本公开实施例提供的一种数据更新方法的步骤流程图之二。
图3为本公开实施例提供的一种分桶更新的方法步骤流程图。
图4为本公开实施例提供的一种匿踪查询方法的步骤流程图。
图5为本公开实施例提供的一种电子设备的结构框图。
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
需要说明的是,本公开获取的数据,包括原始数据、第三数据等数据,均在明确告知用户或相关数据所属方对数据的采集内容、数据用途、处理方式等信息后,在用户或相关数据所属方同意、授权的情况下访问、采集、存储并应用于后续分析处理,且可以向用户或相关数据所属方发送访问、更正、删除该数据的途径,以及撤销同意、授权的方法。
图1为本公开实施例提供的一种数据更新方法的步骤流程图之一,该方法可以应用于匿踪查询中的数据提供方,数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得。
本公开实施例中,数据提供方可以在匿踪查询中提供查询、检索的数据,以向查询方返回符合业务需求的查询结果。其中,数据提供方对支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据进行了分离,其中第二数据由原始数据经预处理获得,对第二数据打包可以进一步获得第一数据,预处理可以包括数据分片、分桶、多项式计算等。通过分离支持匿踪查询,以及支持数据更新的数据,使得在数据更新中执行开销大、负担重的计算任务时不影响对匿踪查询的支持。
在本公开实施例中,在每个参与方中,如图1所示,该方法可以包括如下所示的步骤101至步骤104。
步骤101、获取用于数据更新的第三数据。
本公开实施例中,数据提供方在持有第一数据、第二数据的基础上,可以获取用于数据更新的第三数据。该第三数据可以包括需插入的待新增数据,可以包括需覆盖原数据的待替换数据,也可以是指示对原数据进行删除的待删除数据,根据实际业务需求并支持的数据处理方式,数据提供方可以获取不同的第三数据,本公开实施例对此不作具体限制。
步骤102、在基于第三数据进行更新时不符合分配条件的情况下,基于原始数据和第三数据进行预处理,获得更新后的第二数据与更新的索引信息。
本公开实施例中,在支持数据更新的第二数据和索引信息中,基于第三数据更新可以是根据该索引信息将第三数据插入或替换第二数据的对应索引位置,或对第二数据对应索引位置进行删除等不同更新操作。在实际采用第三数据进行数据更新前,可以先对基于第三数据进行的更新操作是否符合分配条件进行判断。该分配条件可以是将第三数据直接分配到已有第二数据中,第二数据发生变化不会导致打包后获得的第一数据发生影响匿踪查询的变化;或者,分配条件也可以是将第三数据直接分配到已有第二数据中,不会导致第二数据的变化过大。其中,分配条件的具体内容可以根据实际数据处理需求进行设置。
在基于第三数据的更新操作不符合分配条件时,可以以第三数据和原始数据为基础,作为新的原始数据整体进行预处理。此时,更新后的第二数据可以由对原始数据、第三数据整体进行分片、分桶、多项式计算等预处理后获得,以及该预处理过程中还获得了更新后的索引信息,以指向重新划分的数据分片、分桶等索引位置。此时,第二数据由原始数据经预处理获得,更新后的第二数据由原始数据与第三数据经预处理获得,实现了基于第三数据的数据更新。
或,步骤103、在基于第三数据进行更新时符合分配条件的情况下,基于索引信息将第三数据更新到第二数据的对应索引位置,获得更新后的第二数据;分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种。
具体的,分配条件可以包括索引信息不变,即将第三数据直接根据已有的索引信息分配到当前的第二数据中时,可以直接依照现有的数据分片、分桶进行更新,而不会引起数据分片、分桶等相关信息的变化;分配条件也可以包括更新比例小于或等于比例阈值,更新比例可以由原始数据的数据量以及第三数据中所指示待更新的数据量进行比较获得,该更新比例较小表示数据更新对数据提供方所持有数据的影响较小,而该更新比例较大表示数据更新对数据提供方所持有数据的影响较大,此时直接进行更新可能会导致索引信息的变化,或者可能导致数据更新过程中存在错漏,从而影响匿踪查询的准确性。
在基于第三数据的更新操作符合分配条件时,可以将第三数据基于索引信息更新到第二数据的对应索引位置,如根据对第二数据进行分片时所采用的分片规则对第三数据计算所属的分片,并将第三数据分配到对应所属分片中,进一步进行分桶、多项式计算等等,通过对第二数据中第三数据对应的索引位置进行更新,可以进行不影响匿踪查询服务的局部数据更新,提高了数据更新的效率与准确性。
步骤104、对更新后的第二数据进行打包,获得更新后的第一数据。
进一步的,可以对更新后的第二数据进行打包,以获得更新后的第一数据。其中,可以对更新后的第二数据中多项式发生变化的局部数据进行打包,并基于打包后的局部数据对第一数据进行更新;或者,也可以对更新后的第二数据整体进行打包,并以打包后的第二数据进行覆盖第一数据,获得更新后的第一数据,以采用更新后的第一数据支持后续的匿踪查询。
本公开提供的数据更新方法,匿踪查询中的数据提供方可以包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得;在获得用于数据更新的第三数据时,基于第三数据进行更新不符合分配条件时,可以基于原始数据和第三数据进行预处理,获得更新后的第二数据和更新后的索引信息;或,基于第三数据进行更新符合分配条件的情况下,基于该索引信息将第三数据更新到第二数据对应的索引位置,获得更新后的第二数据,其中,分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种;再对更新后的第二数据进行打包,获得更新后的第一数据。
该方法通过分离支持匿踪查询与支持数据更新的数据,降低了数据更新对匿踪查询的干扰,且通过区分是否符合分配条件选择不同的计算方式,避免了每次数据更新时需要进行整体计算的高计算成本与消耗,也提高了数据更新的效率,满足了查询服务对数据准确性、实时性的要求。
图2为本公开实施例提供的一种数据更新方法的步骤流程图之二,该方法应用于匿踪查询中的数据提供方,数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得。
本公开实施例中,第一数据、第二数据可对应参照前述图1的相关描述,为避免重复,在此不再赘述。
其中,分离支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据可以通过切分存储实现,如将第一数据存储在查询数据库中,将第二数据和索引信息存储在更新数据库中,响应于数据更新的请求可以调取更新数据库进行数据更新,响应于数据查询的请求可以调取查询数据库进行匿踪查询。在数据的生命周期中,数据更新通常属于匿踪查询的数据创建和存储阶段,实际查询过程属于匿踪查询的数据使用阶段,本公开实施例中根据不同阶段划分,对数据进行切分隔离存储,以减少实际查询过程中调用数据的加载时间,提高查询效率。
如,数据提供方配置有更新数据库DB1v1以及查询数据库DB2v1。DB1v1包括第二数据与索引信息,DB2v1包括第一数据。
在本公开一可选的方法实施例中,索引信息包括分片索引。
本公开实施例中,数据分片是指将数据按照不可区分度划分为不同的均衡数据子集,以降低单次查询中通信和计算成本,同时不暴露数据子集敏感信息的数据预处理方式。分片索引可以指示数据分片后不同数据所属的分片。
本公开实施例中,数据提供方可以预先对原始数据进行预处理,以获得所持有的第二数据与索引信息,以及对第二数据进行打包获得第一数据,则该方法可以包括如下步骤201至步骤216:
步骤201、根据预设分片规则对原始数据进行分片处理,原始数据包括标识数据以及对应的特征数据,每一分片对应一个分片索引。
本公开实施例中,原始数据可以是发生数据更新前数据提供方所采集和存储的标识-特征数据集,可以包括标识数据以及对应的特征数据,在匿踪查询中支持查询方根据标识数据获取对应的特征数据。其中,预设分片规则可以包括不可区分度、分片数等限制规则,基于预设分片规则对原始数据进行分片处理,可以以获得的每个分片为单位进行预处理、存储和数据更新。
如,原始数据为标识-特征数据集X,数据量为100000,不可区分度为10000,从而确定分片片数为10,每一分片对应分片索引为b(1、2、…、10);
另外,在实际应用中,不可区分度确认的可以是每一分片中数据流的大致范围,如不可区分度为10000时表示每一分片的数据量可以在10000上下波动,并非每一分片平均,具体波动幅度可以根据实际需求进行设置。
步骤202、对每一分片进行OPRF处理,分别获得标识数据对应的标识伪随机值,以及特征数据对应的加密特征数据。
本公开实施例中,可以利用OPRF(Oblivious Pseudo-Random Function,不经意伪随机函数)对每一分片中对应的标识数据与特征数据进行分别处理,如可以构造OPRF密钥,并基于OPRF密钥将原始数据转换为伪随机值,伪随机值中的一部分可以作为标识数据的标识伪随机值,另一部分用于对特征数据进行加密获得加密特征数据。标识伪随机值与加密特征数据也存在对应关系。在OPRF处理的基础上,还可以仅由数据提供方持有OPRF密钥,查询方可以通过与数据提供方的通信交互获得基于OPRF密钥处理后的输出结果。
如,分片b包括,其中/>为标识数据,/>为/>对应的特征数据。数据提供方构造OPRF密钥/>,进行伪随机函数处理/>获得伪随机值,其中,部分作为标识伪随机值/>,另一部分对特征数据加密获得加密特征数据/>,获得/>。
步骤203、对标识伪随机值与加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对标识伪随机值与加密特征数据。
本公开实施例中,哈希分桶是一种粒度细化的存储结构优化方式。通过对标识伪随机值进行哈希处理获得指向存储位置的哈希索引,由于哈希函数的设置可能导致不同标识伪随机值对应的哈希索引相同,从而导致地址冲突,因此可以将相同哈希索引的标识伪随机值与加密特征数据分配到同一分桶中。经哈希分桶处理后,每个分桶中可以包括一对或两对以上标识伪随机值与加密特征数据,在解决地址冲突的同时,也提高了信息查找效率。
在本公开一可选的方法实施例中,可以由哈希表记录哈希索引与其指向的存储位置。同时,将哈希表中每个存储位置作为一个分桶,则每个哈希索引对应一个分桶。哈希索引所对应的所有标识伪随机值与加密特征数据对被插入哈希表中对应的存储位置,即分配到对应的分桶中,实现哈希分桶处理。每个分桶中的标识伪随机值与加密特征数据对可以以链表的形式存储,在查询过程中可以先基于哈希索引确定对应的分桶,再在链表中确定具体标识伪随机值及其对应的加密特征数据。
进一步的,在分桶已满,但还需要继续插入标识伪随机值与加密特征数据的情况下,可以新增一张与前述哈希表结构相同的哈希表’,并将后续的伪随机值与加密特征数据插入哈希表’中哈希索引对应存储位置的分桶中。
步骤204、对每一分桶,分别计算第一标识匹配多项式与第一特征多项式,获得第二数据。
本公开实施例中,在哈希分桶处理的基础上,对每一分桶中的伪随机值与加密特征数据可以进行多项式计算,包括计算标识匹配多项式以及特征多项式。其中,标识匹配多项式可以通过如下公式(1)计算获得:
(1)
特征多项式可以通过如下公式(2)计算获得:
(2)
上述公式(1)、(2)中,c为多项式自变量,为明文随机值,/>是根据计算的牛顿插值多项式,k为分桶索引。
步骤205、对第二数据中的第一标识匹配多项式进行打包,获得第一数据中的第二标识匹配多项式,以及对第二数据中的第一特征多项式进行打包,获得第一数据中的第二特征多项式,从而获得第一数据。
本公开实施例中,在获得第一数据的基础上,可以对第一数据中的第一标识匹配多项式进行打包,获得第二标识匹配多项式;以及,对第一特征多项式进行打包,获得第二特征多项式,从而获得包括第二标识匹配多项式和第二特征多项式的第一数据。通过数据打包可以调整数据的存储结构,适应后续匿踪查询中的业务需求,如可以采用SIMD(SingleInstruction Multiple Data,单指令多数据)技术进行打包,使得第一数据在后续匿踪查询中支持并行化计算,有效提高查询效率。
基于前述步骤201至步骤205中对原始数据进行预处理和打包,数据提供方在获得第一数据、第二数据和索引信息后,可以将第二数据以及索引信息落盘为DB1v1,以及将第一数据落盘为DB2v1;
其中,DB1v1中的第二数据以及索引信息可以包括OPRF密钥、标识伪随机值-加密特征数据对为分片索引)、哈希表、第一标识匹配多项式、第一特征多项式;
其中,每个分片下,哈希表可以包括标识(ID)表与特征(Label)表,在哈希表中每一存储位置对应一个分桶,其中标识表记录每一分桶下的标识伪随机值,特征表记录每一分桶下标识伪随机值对应的加密特征数据。一个分片下哈希表的结构如下表1所示:
表1
如表1所示,该分片下包括分桶如表1所示,该分片下包括分桶idx 1、idx 2和idx 3 ,每一分桶中分别包括的标识伪随机值与加密特征数据对。
基于上述表1,对每一分桶进行多项式计算后获得第一标识匹配多项式与第一特征多项式如下表2所示:
表2
在此基础上,DB2v1中的第一数据可以包括OPRF密钥、第二标识匹配多项式、第二特征多项式;
第二标识匹配多项式和第二特征多项式可以由表2打包获得,如下表3所示:
表3
在数据更新时,数据提供方可以先加载DB1v1中的第二数据,输入第三数据进行数据更新,落盘时覆盖DB1v1获得DB1v2更新后的第二数据,并打包新增DB2v2更新后的第一数据;
而在数据更新过程中,DB2v1中的第一数据可以保留以提供查询服务,在DB2v2更新后的第一数据生成后再由DB2v2提供查询服务,此时数据提供方可以根据需求选择是否保留历史版本的DB2v1,在存储空间充足的情况下,保留DB2v1可以保证数据可追溯,支持版本回滚,提高数据可靠性与安全性;在存储空间有限的情况下,删除DB2v1可以节省存储空间,提高数据读写效率;
另外,响应于匿踪查询请求可以加载DB2v2进行计算,以返回查询结果,DB2v2仅包括查询计算所需的必要数据,可以有效提高加载、计算的效率,提高了匿踪查询的准确性和响应效率。
以上信息仅用于举例,根据实际业务需求DB1v1、DB2v1还可以包括其他数据库配置信息、匿踪查询配置信息等,本公开实施例对此不作具体限制。
步骤206、获取用于数据更新的第三数据。
本公开实施例中,步骤206可对应参照前述步骤101的相关描述,为避免重复,在此不再赘述。
如,获取用于数据更新的第三数据,其中/>为用于数据更新的标识数据,/>为用于数据更新的特征数据。
在本公开一可选的方法实施例中,更新后的索引信息包括更新后的分片索引。
步骤207、在基于第三数据进行更新时不符合分配条件的情况下,根据预设分片规则对原始数据和第三数据一同进行分片处理,原始数据包括标识数据以及对应的特征数据,每一更新后的分片对应一个更新后的分片索引。
本公开实施例中,基于第三数据进行更新时不符合分配条件,可能是以预设分片规则基于第三数据进行更新时分片片数发生增多或减少,或者第三数据相对原始数据的更新比例大于比例阈值。此时,可以对第三数据和原始数据进行整体分片,获得更新后的分片以及更新后的分片索引。其中,基于预设分片规则对原始数据和第三数据一同进行分片处理可对应参照前述步骤201对原始数据进行分片处理的相关描述,为避免重复,在此不再赘述。
如,前述原始数据的数据量为100000条,不可区分度为10000,分片片数为10,设定比例阈值为10%。此时,数据更新为新增第三数据8000条,则更新比例为8%,分片片数为11,不符合分配条件,则对原始数据和第三数据共108000条进行分片,并确认每一更新后的分片所对应的更新后的分片索引。
步骤208、对每一更新后的分片进行不经意伪随机函数OPRF处理,分别获得更新后的标识伪随机值与更新后的加密特征数据。
本公开实施例中,步骤208可对应参照前述步骤202的相关描述,为避免重复,在此不再赘述。
步骤209、对更新后的标识伪随机值与更新后的加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对更新后的标识伪随机值与更新后的加密特征数据。
本公开实施例中,步骤209可对应参照前述步骤203的相关描述,为避免重复,在此不再赘述。
在本公开一可选的一方法实施例中,更新后的索引信息还包括更新后的哈希索引。步骤209可以包括如下步骤A1至A2。
步骤A1、对更新后的标识伪随机值进行哈希处理,获得更新后的哈希索引;每一更新后的哈希索引对应一个更新后的分桶。
步骤A2根据更新后的哈希索引将更新后的标识伪随机值与更新后的加密特征数据插入对应更新后的索引位置的分桶。
本公开实施例中,步骤A1至步骤A2中对更新后的标识伪随机值与更新后的加密特征数据进行哈希分桶处理,可对应参照前述步骤203对标识伪随机值与加密特征数据进行哈希分桶处理的相关描述,为避免重复,在此不再赘述。
步骤210、对每一分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得更新后的第二数据。
本公开实施例中,步骤210可对应参照前述步骤204的相关描述,为避免重复,在此不再赘述。
或,步骤211、在基于第三数据进行更新时符合分配条件的情况下,根据预设分片规则对第三数据进行分片处理,确定第三数据对应的至少一个分片索引;分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种。
本公开实施例中,基于第三数据进行更新时符合分配条件,可能是以预设分片规则基于第三数据进行更新时分片片数不变,以及第三数据相对原始数据的更新比例小于或等于比例阈值。此时,可以基于预设分片规则对第三数据进行分片处理,以确定第三数据所属的至少一个分片以及该分片对应的分片索引。其中,基于预设分片规则对第三数据进行分片处理可对应参照前述步骤201对原始数据进行分片处理的相关描述,为避免重复,在此不再赘述。
如,前述原始数据的数据量为100000条,不可区分度为10000,分片片数为10,设定比例阈值为10%。此时,数据更新为新增第三数据2000条,则更新比例为2%,分片片数为10,符合分配条件,则对第三数据共2000条进行分片,并确认第三数据所属的分片对应的分片索引b=(10)。
步骤212、根据分片索引将第三数据分配到对应的分片。
本公开实施例中,在确定第三数据所属的分片后,根据分片索引可以将第三数据分配到对应的分片。
如,根据分片索引b=(10)将第三数据分配到对应的分片中。
步骤213、对分配有第三数据的每一分片进行不经意伪随机函数OPRF处理,分别获得第三数据对应的标识伪随机值与加密特征数据。
本公开实施例中,第二数据可以包括多个分片,由于数据更新仅发生在分配有第三数据的分片中,因此可以对分配有第三数据的每一分片进行OPRF处理。具体可以参照前述步骤202的相关描述,为避免重复,在此不再赘述。
如,通过OPRF计算将转化为/>。
步骤214、基于第三数据对应的标识伪随机值与加密特征数据进行分桶更新,分桶更新包括插入、替换和删除中的至少一种。
本公开实施例中,在已创建分桶,且分桶中包括至少一对标识为随机值与加密特征数据的基础上,基于第三数据对分片中分桶进行更新可以包括在对应分桶中插入标识为随机值与加密特征数据对,也可以包括将对应标识伪随机值的加密特征数据进行替换,也可以包括将对应标识伪随机值及其加密特征数据进行删除。具体可参照前述步骤203的相关描述,为避免重复,在此不再赘述。
在本公开一可选的方法实施例中,图3示出了本公开实施例中分桶更新的方法步骤流程图,步骤214中分桶更新的方法流程可以如图3所示,包括如下步骤B1至步骤B4。
步骤B1、对第三数据对应的标识伪随机值进行哈希处理,获得第三数据对应的哈希索引。
本公开实施例中,根据分片索引将第三数据分配到对应的分片后,可以在该分片中将第三数据更新到对应的分桶中。具体的,可以根据第三数据中的标识伪随机值确定对应的哈希索引。
以分片下包括前述表1为例:
如,在数据更新为新增数据的情况下,根据分片索引分配到对应分片上,经过OPRF处理后获得/>,对/>进行哈希处理,获得映射到DB1v1的哈希表中对应存储位置的哈希索引idx 2;
如,在数据更新为替换数据,其中/>为第二数据中已有的标识为随机值的情况下,根据分片索引分配/>到对应分片上,经过OPRF处理后获得,对/>进行哈希处理,获得映射到DB1v1的哈希表中对应存储位置的哈希索引idx 2。
如,在数据更新为删除数据,其中/>为第二数据中已有的标识为随机值的情况下,根据分片索引分配/>到对应分片上,经过OPRF处理后获得/>,对进行哈希处理,获得映射到DB1v1的哈希表中对应存储位置的哈希索引idx 2。
步骤B2、根据第三数据对应的哈希索引,将第三数据对应的标识伪随机值与加密特征数据插入对应索引位置的分桶。
如,在数据更新为新增数据的情况下,根据哈希索引idx 2,将插入表1对应索引位置的分桶,获得表4,如下所示:
表4
或,步骤B3、根据第三数据对应的哈希索引,在对应索引位置的分桶中基于第三数据对应的加密特征数据进行替换。
如,在数据更新为替换数据的情况下,根据哈希索引idx 2,将/>对应的加密特征数据,在表1对应索引位置的分桶中替换为/>获得表5,如下所示:/>
表5
或,步骤B4、根据第三数据对应的哈希索引,在对应索引位置的分桶中基于第三数据对应的标识伪随机值进行删除。
如,在数据更新为删除数据的情况下,根据哈希索引idx 2,将/>在表1对应索引位置的分桶中删除,获得表6,如下所示:
表6
步骤215、对每一发生分桶更新的分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得更新后的第二数据。
本公开实施例中,在分配有第三数据的每一分片中,由于数据更新仅发生在标识伪随机值映射到的分桶中,因此可以对每一发生分桶更新的分桶进行多项式计算,获得更新后的第二数据。其中,多项式计算的过程可对应参照前述步骤204的相关描述,为避免重复,在此不再赘述。需要说明的是,更新后的第二数据包括该分片中所有的数据,即既包括发生分桶更新的分桶,也包括未发生分桶更新的分桶。
如,对发生分桶更新的idx 2进行多项式计算,获得更新后的第一标识匹配多项式与更新后的第一特征多项式,如下表7所示:
表7
步骤216、对更新后的第二数据进行打包,获得更新后的第一数据。
本公开实施例中,对更新后的第二数据进行打包,可对应参照前述步骤205中对第二数据进行打包的相关描述,为避免重复,在此不再赘述。
进一步的,在表7的基础上,可以对更新后的第二数据,即更新后的第一标识匹配多项式、更新后的第一特征多项式进行打包,获得更新后的第二标识匹配多项式、更新后的第二特征多项式,即更新后的第一数据。
如,对表7中idx 1、idx 2、idx 3所示更新后的第一标识匹配多项式与更新后的第一特征多项式进行打包,获得更新后的第一数据如下表8所示:
表8
在前述数据更新的基础上进行数据落盘,获得包括更新后第二数据以及索引信息的DB1v2,以及更新后第一数据的DB2v2。
本公开提供的数据更新方法,匿踪查询中的数据提供方可以包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得;在获得用于数据更新的第三数据时,基于第三数据进行更新不符合分配条件时,可以基于原始数据和第三数据进行预处理,获得更新后的第二数据和更新后的索引信息;或,基于第三数据进行更新符合分配条件的情况下,基于该索引信息将第三数据更新到第二数据对应的索引位置,获得更新后的第二数据,其中,分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种;再对更新后的第二数据进行打包,获得更新后的第一数据。该方法通过分离支持匿踪查询与支持数据更新的数据,降低了数据更新对匿踪查询的干扰,且通过区分是否符合分配条件选择不同的计算方式,避免了每次数据更新时需要整体进行计算的高计算代价与消耗,也提高了数据更新的效率,满足了查询服务对数据准确性、实时性的要求。
图4还提供了一种匿踪查询方法的步骤流程图,该方法应用于数据提供方,数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得,该数据提供方采用前述图1至图3任一所述的方法进行数据更新。如图4所示,该方法可以包括:
步骤401、响应于查询方的数据查询请求,调取第一数据进行检索,获得查询结果。
步骤402、向查询方返回查询结果。
本公开实施例中,查询方可以发起数据查询请求,数据提供方响应于该数据查询请求,可以调取第一数据进行检索。基于第一数据查询仅计算所需的必要数据,可以有效提高加载、计算的效率,提高了匿踪查询的准确性和响应效率,仅在数据更新时调取第二数据与索引信息进行更新,在更新期间可以以历史版本的第一数据提供查询服务,在更新完成时基于第二数据的更新结果对第一数据进行替换,以提高匿踪查询服务中对查询服务支持的连贯性、实时性和准确性,进而提高了服务质量。
图5还提供了一种电子设备,该电子设备作为匿踪查询中的数据提供方,数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得,该电子设备可以包括:
接收模块501,用于获取用于数据更新的第三数据;
更新模块502,用于在基于第三数据进行更新时不符合分配条件的情况下,基于原始数据和第三数据进行预处理,获得更新后的第二数据与更新的索引信息;
或,更新模块502,用于在基于第三数据进行更新时符合分配条件的情况下,基于索引信息将第三数据更新到第二数据的对应索引位置,获得更新后的第二数据;分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种;
更新模块502,还用于对更新后的第二数据进行打包,获得更新后的第一数据。
在本公开一可选的实施例中,更新模块502,具体用于根据预设分片规则对第三数据进行分片处理,确定第三数据对应的至少一个分片索引;根据分片索引将第三数据分配到对应的分片;对分配有第三数据的每一分片进行不经意伪随机函数OPRF处理,分别获得第三数据对应的标识伪随机值与加密特征数据;基于第三数据对应的标识伪随机值与加密特征数据进行分桶更新,分桶更新包括插入、替换和删除中的至少一种;对每一发生分桶更新的分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得更新后的第二数据。
在本公开一可选的实施例中,更新模块502,具体用于对第三数据对应的标识伪随机值进行哈希处理,获得第三数据对应的哈希索引;根据第三数据对应的哈希索引,将第三数据对应的标识伪随机值与加密特征数据插入对应索引位置的分桶;或,根据第三数据对应的哈希索引,在对应索引位置的分桶中基于第三数据对应的加密特征数据进行替换;或,根据第三数据对应的哈希索引,在对应索引位置的分桶中基于第三数据对应的标识伪随机值进行删除。
在本公开一可选的实施例中,更新后的索引信息包括更新后的分片索引,更新模块502,具体用于根据预设分片规则对原始数据和第三数据一同进行分片处理,原始数据包括标识数据以及对应的特征数据,每一更新后的分片对应一个更新后的分片索引;对每一更新后的分片进行不经意伪随机函数OPRF处理,分别获得更新后的标识伪随机值与更新后的加密特征数据;对更新后的标识伪随机值与更新后的加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对更新后的标识伪随机值与更新后的加密特征数据;对每一分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得更新后的第二数据。
在本公开一可选的实施例中,更新后的索引信息还包括更新后的哈希索引,更新模块502,具体用于对更新后的标识伪随机值进行哈希处理,获得更新后的哈希索引;每一更新后的哈希索引对应一个更新后的分桶;根据更新后的哈希索引将更新后的标识伪随机值与更新后的加密特征数据插入对应更新后的索引位置的分桶。
在本公开一可选的实施例中,电子设备还包括:创建模块,用于根据预设分片规则对原始数据进行分片处理,原始数据包括标识数据以及对应的特征数据,每一分片对应一个分片索引;对每一分片进行OPRF处理,分别获得标识数据对应的标识伪随机值,以及特征数据对应的加密特征数据;对标识伪随机值与加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对标识伪随机值与加密特征数据;对每一分桶,分别计算第一标识匹配多项式与第一特征多项式,获得第二数据;对第二数据中的第一标识匹配多项式进行打包,获得第一数据中的第二标识匹配多项式,以及对第二数据中的第一特征多项式进行打包,获得第一数据中的第二特征多项式,从而获得第一数据。
在本公开一可选的实施例中,电子设备还包括:
查询模块503,用于响应于查询方的数据查询请求,调取第一数据进行检索,获得查询结果;
该查询模块503,还用于向查询方返回查询结果。
本公开提供的电子设备,可以作为匿踪查询中的数据提供方,匿踪查询中的数据提供方可以包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,第一数据由第二数据打包获得,第二数据由原始数据经预处理获得;在获得用于数据更新的第三数据时,基于第三数据进行更新不符合分配条件时,可以基于原始数据和第三数据进行预处理,获得更新后的第二数据和更新后的索引信息;或,基于第三数据进行更新符合分配条件的情况下,基于该索引信息将第三数据更新到第二数据对应的索引位置,获得更新后的第二数据,其中,分配条件包括索引信息不变、更新比例小于或等于比例阈值中的至少一种;再对更新后的第二数据进行打包,获得更新后的第一数据。该方法通过分离支持匿踪查询与支持数据更新的数据,降低了数据更新对匿踪查询的干扰,且通过区分是否符合分配条件选择不同的计算方式,避免了每次数据更新时需要整体进行计算的高计算代价与消耗,也提高了数据更新的效率,满足了查询服务对数据准确性、实时性的要求。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图6来描述根据本公开的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。
其中,存储单元存储有程序代码,程序代码可以被处理单元610执行,使得处理单元610执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过显示单元640和与显示单元640连接的输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器660通过总线630与电子设备600的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
在本公开的实施方式中,还提供了用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (11)
1.一种数据更新方法,其特征在于,所述方法应用于匿踪查询中的数据提供方,所述数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,所述第一数据由所述第二数据打包获得,所述第二数据由原始数据经预处理获得,所述方法包括:
获取用于数据更新的第三数据;
在基于所述第三数据进行更新时不符合分配条件的情况下,基于所述原始数据和所述第三数据进行所述预处理,获得更新后的第二数据与更新的索引信息;或,
在基于所述第三数据进行更新时符合分配条件的情况下,基于所述索引信息将所述第三数据更新到所述第二数据的对应索引位置,获得更新后的第二数据;所述分配条件包括所述索引信息不变、更新比例小于或等于比例阈值中的至少一种;
对所述更新后的第二数据进行打包,获得更新后的第一数据。
2.根据权利要求1所述的方法,其特征在于,所述基于所述索引信息将所述第三数据更新到第二数据的对应索引位置,获得更新后的第二数据,包括:
根据预设分片规则对所述第三数据进行分片处理,确定所述第三数据对应的至少一个分片索引;
根据所述分片索引将所述第三数据分配到对应的所述分片;
对分配有所述第三数据的每一所述分片进行不经意伪随机函数OPRF处理,分别获得所述第三数据对应的标识伪随机值与加密特征数据;
基于所述第三数据对应的标识伪随机值与加密特征数据进行分桶更新,所述分桶更新包括插入、替换和删除中的至少一种;
对每一发生所述分桶更新的分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得所述更新后的第二数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第三数据对应的标识伪随机值与加密特征数据进行分桶更新,包括:
对所述第三数据对应的标识伪随机值进行哈希处理,获得所述第三数据对应的哈希索引;
根据所述第三数据对应的哈希索引,将所述第三数据对应的标识伪随机值与加密特征数据插入对应索引位置的分桶;或,
根据所述第三数据对应的哈希索引,在对应索引位置的分桶中基于所述第三数据对应的加密特征数据进行替换;或,
根据所述第三数据对应的哈希索引,在对应索引位置的分桶中基于所述第三数据对应的标识伪随机值进行删除。
4.根据权利要求1所述的方法,其特征在于,所述更新后的索引信息包括更新后的分片索引,所述基于所述原始数据和所述第三数据进行所述预处理,获得所述更新后的第二数据与所述索引信息,包括:
根据预设分片规则对所述原始数据和所述第三数据一同进行分片处理,所述原始数据包括标识数据以及对应的特征数据,每一更新后的分片对应一个所述更新后的分片索引;
对每一所述更新后的分片进行不经意伪随机函数OPRF处理,分别获得更新后的标识伪随机值与更新后的加密特征数据;
对所述更新后的标识伪随机值与所述更新后的加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对所述更新后的标识伪随机值与所述更新后的加密特征数据;
对每一分桶,分别计算更新后的第一标识匹配多项式与更新后的第一特征多项式,获得所述更新后的第二数据。
5.根据权利要求4所述的方法,其特征在于,所述更新后的索引信息还包括更新后的哈希索引,所述对所述更新后的标识伪随机值与所述更新后的加密特征数据进行哈希分桶处理,包括:
对所述更新后的标识伪随机值进行哈希处理,获得所述更新后的哈希索引;每一所述更新后的哈希索引对应一个更新后的分桶;
根据所述更新后的哈希索引将所述更新后的标识伪随机值与所述更新后的加密特征数据插入对应所述更新后的索引位置的分桶。
6.根据权利要求1所述的方法,其特征在于,所述索引信息包括分片索引,所述获取用于数据更新的第三数据前,还包括:
根据预设分片规则对所述原始数据进行分片处理,所述原始数据包括标识数据以及对应的特征数据,每一分片对应一个分片索引;
对每一所述分片进行OPRF处理,分别获得标识数据对应的标识伪随机值,以及特征数据对应的加密特征数据;
对所述标识伪随机值与所述加密特征数据进行哈希分桶处理;其中,每个分桶中包括至少一对所述标识伪随机值与所述加密特征数据;
对每一分桶,分别计算第一标识匹配多项式与第一特征多项式,获得所述第二数据;
对所述第二数据中的所述第一标识匹配多项式进行打包,获得所述第一数据中的第二标识匹配多项式,以及对所述第二数据中的所述第一特征多项式进行打包,获得所述第一数据中的第二特征多项式,从而获得所述第一数据。
7.一种匿踪查询方法,其特征在于,应用于数据提供方,所述数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,所述第一数据由所述第二数据打包获得,所述第二数据由原始数据经预处理获得,所述数据提供方采用前述权利要求1至6任一所述的方法进行数据更新,所述方法包括:
响应于查询方的数据查询请求,调取第一数据进行检索,获得查询结果;
向所述查询方返回所述查询结果。
8.一种电子设备,其特征在于,所述电子设备作为匿踪查询中的数据提供方,所述数据提供方包括支持匿踪查询的第一数据,以及支持数据更新的索引信息与第二数据,所述第一数据由所述第二数据打包获得,所述第二数据由原始数据经预处理获得,所述电子设备包括:
接收模块,用于获取用于数据更新的第三数据;
更新模块,用于在基于所述第三数据进行更新时不符合分配条件的情况下,基于所述原始数据和所述第三数据进行所述预处理,获得更新后的第二数据与更新的索引信息;或,
所述更新模块,用于在基于所述第三数据进行更新时符合分配条件的情况下,基于所述索引信息将所述第三数据更新到第二数据的对应索引位置,获得更新后的第二数据;所述分配条件包括所述索引信息不变、更新比例小于或等于比例阈值中的至少一种;
所述更新模块,还用于对所述更新后的第二数据进行打包,获得更新后的第一数据。
9.根据权利要求8所述的电子设备,其特征在于,所述电子设备还包括:
查询模块,用于响应于查询方的数据查询请求,调取第一数据进行检索,获得查询结果;
所述查询模块,还用于向所述查询方返回所述查询结果。
10. 一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的计算机程序;
其中,所述处理器配置为经由执行所述计算机程序来执行权利要求1至6任一所述的数据更新方法,或权利要求7所述的匿踪查询方法。
11.一种计算机可读介质,所述计算机可读介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一所述的数据更新方法,或权利要求7所述的匿踪查询方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410018118.0A CN117521152B (zh) | 2024-01-05 | 2024-01-05 | 数据更新方法、匿踪查询方法、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410018118.0A CN117521152B (zh) | 2024-01-05 | 2024-01-05 | 数据更新方法、匿踪查询方法、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117521152A true CN117521152A (zh) | 2024-02-06 |
CN117521152B CN117521152B (zh) | 2024-05-07 |
Family
ID=89764915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410018118.0A Active CN117521152B (zh) | 2024-01-05 | 2024-01-05 | 数据更新方法、匿踪查询方法、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117521152B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120030169A1 (en) * | 2010-07-27 | 2012-02-02 | Microsoft Corporation | Application instance and query stores |
CN102937903A (zh) * | 2012-10-23 | 2013-02-20 | 珠海金山网络游戏科技有限公司 | 一种基于特征匹配的打包文件更新方法 |
WO2021129062A1 (zh) * | 2019-12-27 | 2021-07-01 | 中国银联股份有限公司 | 数据查询方法、装置、设备、系统及介质 |
CN115495463A (zh) * | 2022-09-21 | 2022-12-20 | 平安银行股份有限公司 | 一种数据处理方法、装置、智能设备及存储介质 |
CN115905710A (zh) * | 2022-12-27 | 2023-04-04 | 杭州海康威视数字技术股份有限公司 | 一种匿踪查询系统、方法、装置、电子设备及存储介质 |
CN116680324A (zh) * | 2023-06-05 | 2023-09-01 | 杭州博盾习言科技有限公司 | 数据匿踪查询方法及装置、存储介质、电子设备 |
CN116975018A (zh) * | 2023-05-22 | 2023-10-31 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
CN117149777A (zh) * | 2023-10-27 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 一种数据查询方法、装置、设备及存储介质 |
-
2024
- 2024-01-05 CN CN202410018118.0A patent/CN117521152B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120030169A1 (en) * | 2010-07-27 | 2012-02-02 | Microsoft Corporation | Application instance and query stores |
CN102937903A (zh) * | 2012-10-23 | 2013-02-20 | 珠海金山网络游戏科技有限公司 | 一种基于特征匹配的打包文件更新方法 |
WO2021129062A1 (zh) * | 2019-12-27 | 2021-07-01 | 中国银联股份有限公司 | 数据查询方法、装置、设备、系统及介质 |
CN115495463A (zh) * | 2022-09-21 | 2022-12-20 | 平安银行股份有限公司 | 一种数据处理方法、装置、智能设备及存储介质 |
CN115905710A (zh) * | 2022-12-27 | 2023-04-04 | 杭州海康威视数字技术股份有限公司 | 一种匿踪查询系统、方法、装置、电子设备及存储介质 |
CN116975018A (zh) * | 2023-05-22 | 2023-10-31 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
CN116680324A (zh) * | 2023-06-05 | 2023-09-01 | 杭州博盾习言科技有限公司 | 数据匿踪查询方法及装置、存储介质、电子设备 |
CN117149777A (zh) * | 2023-10-27 | 2023-12-01 | 腾讯科技(深圳)有限公司 | 一种数据查询方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
张曼;咸鹤群;张曙光;: "加密数据库快速关键词查询技术", 计算机工程与应用, no. 13, 1 July 2018 (2018-07-01) * |
Also Published As
Publication number | Publication date |
---|---|
CN117521152B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9558218B2 (en) | Truncating data associated with objects in a multi-tenant database | |
KR20200027413A (ko) | 데이터 저장 방법, 장치 및 시스템 | |
CN107704202B (zh) | 一种数据快速读写的方法和装置 | |
CN102629247A (zh) | 一种数据处理方法、装置和系统 | |
CN105740303A (zh) | 改进的对象存储的方法及装置 | |
US20230267116A1 (en) | Translation of tenant identifiers | |
CN112306957A (zh) | 获取索引节点号的方法、装置、计算设备和存储介质 | |
CN109408539B (zh) | 数据操作方法、装置、服务器和存储介质 | |
CN113918602A (zh) | 一种数据缓存方法、装置和电子设备 | |
CN117521152B (zh) | 数据更新方法、匿踪查询方法、电子设备及介质 | |
CN109783440B (zh) | 数据存储方法及数据检索方法、装置、介质、电子设备 | |
CN116010345A (zh) | 一种实现流批一体数据湖的表服务方案的方法、装置及设备 | |
US11151110B2 (en) | Identification of records for post-cloning tenant identifier translation | |
CN110674084A (zh) | 用于数据保护的方法、设备和计算机可读存储介质 | |
CN113127430B (zh) | 镜像信息处理方法、装置、计算机可读介质及电子设备 | |
CN109740027B (zh) | 数据交换方法、装置、服务器和存储介质 | |
CN113704242A (zh) | 一种数据处理方法和装置 | |
CN113127238B (zh) | 数据库中导出数据的方法及装置、介质和设备 | |
CN111090544A (zh) | 用于管理虚拟机的方法、设备和计算机程序产品 | |
CN111562940B (zh) | 项目数据构建方法以及装置 | |
US20230376200A1 (en) | Computer system, method of tracking lineage of data, and non-transitory computer-readable medium | |
US11243932B2 (en) | Method, device, and computer program product for managing index in storage system | |
US20210365327A1 (en) | Method, electronic deivce and computer program product for creating snapview backup | |
CN113900895B (zh) | 信息处理方法、信息处理装置、存储介质与电子设备 | |
EP4050862A1 (en) | Batch deletion method and apparatus for cache contents, device and readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |