CN111666493A - 页面数据生成方法、装置、计算机设备及存储介质 - Google Patents
页面数据生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111666493A CN111666493A CN202010365846.0A CN202010365846A CN111666493A CN 111666493 A CN111666493 A CN 111666493A CN 202010365846 A CN202010365846 A CN 202010365846A CN 111666493 A CN111666493 A CN 111666493A
- Authority
- CN
- China
- Prior art keywords
- data
- box
- information
- service terminal
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005192 partition Methods 0.000 claims abstract description 158
- 238000004364 calculation method Methods 0.000 claims abstract description 152
- 238000000926 separation method Methods 0.000 claims abstract description 89
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 230000001105 regulatory effect Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种页面数据生成方法,包括:通过预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到待分箱数据的分箱信息和数据分区;发送分箱信息至服务终端,以指示服务终端根据分箱信息对数据样本进行哈希运算得到分箱号;服务终端对分箱号对应的样本信息和分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果;接收服务终端发送的中间结果并进行引擎计算,得到计算结果;服务终端对计算结果进行整合,得到页面数据;数据支持终端根据页面数据进行页面展示。本发明还涉及区块链技术,所述页面数据存储于区块链中。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种页面数据生成方法、装置、计算机设备及存储介质。
背景技术
随着大数据时代来临,对用户的数据处理变得尤为重要,进而让一些应用发展也越来越迅速。例如:页面展示系统、推荐系统、语音助手或者精准广告系统等。
传统上,页面展示系统会根据不同的用户展示不同的页面数据。因此,页面展示系统通过与数据支持方进行通信,进而获取到页面数据。但是在与数据支持方进行数据信息交互过程中,往往会考虑到数据安全性,从而对数据进行大量的加密运算,随着用户数量增多,数据的运算量增大,进而导致页面展示系统和数据支持方信息交互过程中,数据处理和数据传输压力增加。
发明内容
本发明实施例提供一种页面数据生成方法、装置、计算机设备及存储介质,以解决系统数据处理和数据传输压力大的问题。
一种页面数据生成方法,包括:
根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到所述待分箱数据的分箱信息和数据分区;
将所述分箱信息发送至服务终端,以指示所述服务终端根据所述分箱信息对数据样本进行哈希运算,以得到分箱号,所述分箱号用于指示对应的数据分区;
接收所述服务终端返回的所述分箱号和请求访问指令,所述请求访问指令指示所述服务终端访问与所述分箱号对应的数据分区,对所述分箱号对应的样本信息和所述分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果;
接收所述服务终端发送的所述中间结果,并对所述中间结果进行引擎计算,得到计算结果;
将所述计算结果发送至所述服务终端,以指示服务终端对所述计算结果进行整合,得到页面数据;
接收所述服务终端发送的所述页面数据,以根据所述页面数据进行页面展示。
一种页面数据生成装置,包括:
分箱处理模块,用于根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到所述待分箱数据的分箱信息和数据分区;
分箱信息发送模块,用于将所述分箱信息发送至服务终端,以指示所述服务终端根据所述分箱信息对数据样本进行哈希运算,以得到分箱号,所述分箱号用于指示对应的数据分区;
分箱号接收模块,用于接收所述服务终端返回的所述分箱号和请求访问指令,所述请求访问指令指示所述服务终端访问与所述分箱号对应的数据分区,对所述分箱号对应的样本信息和所述分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果;
第一引擎计算模块,用于接收所述服务终端发送的所述中间结果,并对所述中间结果进行引擎计算,得到计算结果;
计算结果发送模块,用于将所述计算结果发送至所述服务终端,以指示所述服务终端对所述计算结果进行整合,得到页面数据;
页面数据接收模块,用于接收所述服务终端发送的所述页面数据,以根据所述页面数据进行页面展示。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述页面数据生成方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述页面数据生成方法的步骤。
上述页面数据生成方法、装置、计算机设备及存储介质,通过根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到待分箱数据的分箱信息和数据分区;发送分箱信息至服务终端,以指示服务终端根据分箱信息对数据样本进行哈希运算,以得到分箱号,所述分箱号用于指示对应的数据分区;接收服务终端返回的分箱号和请求访问指令,请求访问指令指示服务终端访问与分箱号对应的数据分区并进行引擎计算,得到中间结果;接收服务终端发送的中间结果,对中间结果进行引擎计算,得到计算结果;将计算结果发送至服务终端,以指示服务终端对计算结果进行整合,得到页面数据;接收服务终端发送的页面数据,以根据所述页面数据进行页面展示。通过哈希分箱的方式,对数据进行单向性的分箱操作,使得原来的数据库变成分布式数据库。当页面展示系统,推荐系统、语音助手或者精准广告系统需要获取数据支持方的数据时,能够快速的获取相对应的数据,有效减少系统整体计算需要的量级和复杂度,进而减少了数据传输的压力并节省时间。而通过引擎计算,能够快速生成页面数据。例如,在页面系统生成用户相对应的页面数据信息时,能够获取到更加准确全面的页面数据信息,即页面数据。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中页面数据生成方法的一应用环境示意图;
图2是本发明一实施例中页面数据生成方法的一流程图;
图3是本发明一实施例中页面数据生成方法的另一流程图;
图4是本发明一实施例中页面数据生成方法的另一流程图;
图5是本发明一实施例中页面数据生成方法的另一流程图;
图6是本发明一实施例中页面数据生成装置的一原理框图;
图7是本发明一实施例中页面数据生成装置的另一原理框图;
图8是本发明一实施例中页面数据生成装置的另一原理框图;
图9是本发明一实施例中页面数据生成装置的另一原理框图;
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的页面数据生成方法,该页面数据生成方法可应用如图1所示的应用环境中。具体地,该页面数据生成方法应用在页面数据生成系统中,该页面数据生成系统包括如图1所示的数据支持终端和服务终端,数据支持终端与服务终端通过网络进行通信,用于解决系统数据处理和数据传输压力大的问题。其中,数据支持终端用于为服务终端提供数据支持、响应服务终端的请求和进行页面数据生成方法中的计算等,数据支持终端可以为但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备和计算机集群。服务终端为服务请求方,向数据支持终端发送服务数据请求和进行页面数据生成方法中的计算等,服务终端可以为但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在一实施例中,如图2所示,提供一种页面数据生成方法,以该方法应用在图1中的数据支持终端为例进行说明,包括如下步骤:
S11:根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到待分箱数据的分箱信息和数据分区。
其中,预设的分箱策略指的是数据支持终端中对数据库中的待分箱数据进行分箱的规则,预设的分箱策略可以是数据支持终端中默认的策略,也可以是根据数据支持终端中所包含的分箱机器的数量来进行制定的策略。待分箱数据指的是数据库中等待进行分箱处理的数据,待分箱数据可以包括ID身份信息和该ID对应搜索记录的关键词数据,ID身份信息和该ID对应访问页面的数据或者ID身份信息和该ID对应下载应用软件的数据,待分箱数据还可以包括ID身份信息和该ID对应的静态数据等,静态数据可以为ID身份信息的年龄、性别或者居住地区等。分箱信息指的是根据预设的分箱策略对数据库中的待分箱数据进行分箱处理后得到的信息,分箱信息的实质是规则信息,用于指示服务终端根据分箱信息对数据样本进行相同的运算。数据分区指的是待分箱数据进行分箱处理后得到的分类区域,数据分区的分区数量是根据数据支持终端中所包含的分箱机器的数量和待分箱数据的数据量来确定的。
具体地,对数据库中的待分箱数据的ID身份信息进行分箱处理,通过哈希运算将待分箱数据的ID身份信息进行计算,得到所有ID身份信息的哈希值,根据预设的分箱策略和数据支持终端的计算资源,将所有ID身份信息的哈希值进行分箱,得到待分箱数据对应的分箱信息和数据分区。其中,数据支持终端的计算资源指的是数据支持终端中分箱机器的数量。
示例性地,假设在数据支持终端中,拥有40台分箱机器,对数据库中的待分箱数据进行分箱处理,若待分箱数据的数量过大,则可以将待分箱数据分成40份,即每一台分箱机器对应一个类别的待分箱数据,能够提高数据类别的全面性;若待分箱数据的数量较少,则可以将待分箱数据分成20份,即每两台分箱机器对应一个类别的待分箱数据,能够分担分箱机器被访问的压力。
S12:将分箱信息发送至服务终端,以指示服务终端根据分箱信息对数据样本进行哈希运算,以得到分箱号,分箱号用于指示对应的数据分区。
其中,服务终端为向数据支持终端发送服务请求的终端,服务终端可以但不限于各种个人计算机、笔记本电脑、智能手机和平板电脑。数据样本为服务终端中的数据,数据样本包括服务终端中用户的ID身份信息和该ID身份信息对应的特征信息。哈希运算为把任意长度的输入(又叫做预映射pre-image)通过散列算法变换成固定长度的输出的运算方法。分箱号是服务终端根据分箱信息对数据样本进行哈希运算后得到的,分箱号是与分箱信息相对应的,分箱号用于指示在数据支持终端中与该分箱号对应的数据分区。
具体地,在根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到待分箱数据的分箱信息和数据分区之后,将分箱信息发送至服务终端,在服务终端接收到分箱信息之后,服务终端根据分箱信息,对数据样本中的ID身份信息进行与数据支持终端相同哈希运算,得到第一哈希值,根据第一哈希值,得到数据样本的分箱号。
S13:接收服务终端返回的分箱号和请求访问指令,请求访问指令指示服务终端访问与分箱号对应的数据分区,对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果。
其中,请求访问指令为服务终端在根据分箱号确定访问数据支持终端中的数据分区之后,请求访问该数据分区的指令。分箱号对应的样本信息为服务终端的数据样本经过哈希运算得到的信息。分箱号对应的数据分区的数据信息为在数据分区中与分箱号对应的分区的数据信息。引擎计算的实质为确定分箱号对应的样本信息和分箱号对应的数据分区的数据信息中共有的ID身份信息的计算方式。中间结果为服务终端对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算得到的结果。
具体地,在服务终端根据分箱信息对数据样本进行哈希运算,得到分箱号之后,服务终端将分箱号和请求访问指令发送至数据支持终端中,数据支持终端接收分箱号和请求访问指令,该分箱号用于指示数据支持终端中与分箱号对应的数据分区,请求指令指示服务终端请求访问该对应的数据分区。
进一步地,在数据支持终端接收到请求访问指令之后,给予服务终端访问与分箱号对应的数据分区的权限。服务终端对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果。
S14:接收服务终端发送的中间结果,并对中间结果进行引擎计算,得到计算结果。
其中,引擎计算为数据支持终端对中间结果进行计算得到计算结果的计算方式,数据支持终端进行的引擎计算与服务终端进行的引擎计算是不同的。计算结果为数据支持终端对中间结果进行引擎计算得到的结果。
具体地,在服务终端对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果之后,服务终端将中间结果发送至数据支持终端中,数据支持终端对中间结果进引擎计算,得到计算结果。
在一具体实施例中,若中间结果包含了分箱号对应的样本信息和分箱号对应的数据分区的数据信息的交集信息,则数据支持终端在接收到该中间结果之后,对中间结果进行解密,得到第一计算结果。若中间结果没有包含分箱号对应的样本信息和分箱号对应的数据分区的数据信息的交集信息,则数据支持终端对该中间结果继续进行计算,得到第二计算结果。其中,第一计算结果和第二计算结果都为计算结果。
S15:将计算结果发送至服务终端,以指示服务终端对计算结果进行整合,得到页面数据。
其中,整合是指服务终端对接收到的计算结果进行整理。页面数据为服务终端对计算结果继续进行整合得到的信息。
具体地,在接收到服务终端发送的中间结果,并对中间结果进行引擎计算,得到计算结果之后,将计算结果发送至服务终端中,该计算结果指示服务终端对计算结果进行整合,以得到页面数据。由于在服务终端和数据支持终端中都至少包含一个数据分区,对数据进行引擎计算之后,需要对得到的计算结果进行整合,得到所有的数据分区的数据的交集ID身份信息,即页面数据。
S16:接收服务终端发送的页面数据,以根据页面数据进行页面展示。
具体地,在服务终端对计算结果进行整合,得到页面数据之后,服务终端将页面数据发送至数据支持终端中,数据支持终端接收页面数据,并根据该页面数据进行页面展示。需要强调的是,为进一步保证上述页面数据的私密和安全性,上述页面数据还可以存储于一区块链的节点中。
在本实施例中,通过根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到待分箱数据的分箱信息和数据分区;将分箱信息发送至服务终端,以指示服务终端根据分箱信息对数据样本进行哈希运算,以得到分箱号,所述分箱号用于指示对应的数据分区;接收服务终端返回的分箱号和请求访问指令,请求访问指令指示服务终端访问与分箱号对应的数据分区,对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果;接收服务终端发送的中间结果,对中间结果进行引擎计算,得到计算结果;将计算结果发送至服务终端,以指示服务终端对计算结果进行整合,得到页面数据;接收服务终端发送的页面数据,以根据页面数据进行页面展示。通过哈希分箱的方式,对数据进行单向性的分箱操作,使得原来的数据库变成分布式数据库。当页面展示系统,推荐系统、语音助手或者精准广告系统需要获取数据支持方的数据时,能够快速的获取相对应的数据,有效减少系统整体计算需要的量级和复杂度,进而减少了数据传输的压力并节省时间。而通过引擎计算,能够快速生成页面数据。例如,在页面系统生成用户相对应的页面数据信息时,能够获取到更加准确全面的页面数据信息,即页面数据。
在一实施例中,如图3所示,在步骤S11之前,即在根据预设的分箱策略对数据库中的待分箱数据进行分箱处理之前,页面数据生成方法还包括如下步骤:
S17:接收服务终端发送的预设的规则。
S18:采用预设的规则对数据库中数据的数据格式进行一致化操作,得到规则化数据。
其中,预设的规则为服务终端发送至数据支持终端的规则,预设的规则的实质为对服务终端和数据支持终端中的ID身份信息的数据格式进行统一的规则。数据格式指的是数据库中的数据的ID身份信息的命名格式。一致化操作指的是对数据库中的数据的ID身份信息的数据格式进行与服务终端的ID身份信息的数据统一的操作。规则化数据指的是数据格式一致的数据,该规则化数据是采用预设的规则对数据库中数据的数据格式进行一致化操作得到的。
具体地,服务终端将预设的规则发送至数据支持终端中,在接收到服务终端发送的预设的规则之后,采用预设的规则对数据库中的数据格式进行一致化操作,对数据库中的ID身份信息进行命名方式的统一化操作,得到统一化处理后的数据,即规则化数据。
示例性地,假设数据库中的一个ID身份信息为“X123”,而服务终端中的ID身份信息为“XX123”,实质上为两个身份信息都是同一个用户,但是ID身份信息表现形式不同,因此通过预设的规则对ID身份信息的数据格式进行统一,避免由于ID身份信息的数据格式的不同,导致服务终端和数据支持终端的数据出现无法匹配的情况。
S19:采用均匀加密算法对规则化数据进行处理,得到待分箱数据。
其中,均匀加密算法用于保证处理得到的待分箱数据的不可回溯性,并且使得待分箱数据能够均匀分布,均匀加密算法可以为均匀哈希算法。
具体地,在采用预设的规则对数据库中的数据格式进行一致化操作,得到规则化数据之后,采用均匀加密算法对规则化数据进行处理,得到待分箱数据。通过均匀加密算法对规则化数据进行处理,从而保证经过算法处理得到的数据的不可回溯性,使得到的待分箱数据之间遵循数据一致性和数据一对一匹配的原则,并且通过均匀加密算法对规则化数据进行处理,使得到的待分箱数据能够均匀分布,避免由于不均匀分布导致性能降低。
在本实施中,通过接收服务终端发送的预设的规则;采用预设的规则对数据库中的数据格式进行一致化操作,得到规则化数据;采用均匀加密算法对规则化数据进行加密,得到待分箱数据。通过预设的规则对数据支持终端的数据库中数据的数据格式进行一致化处理,并采用均匀加密算法对规则化数据进行处理,能够使得到的待分箱数据遵循数据一致性和数据一对一匹配的原则,且进行均匀加密算法处理得到的待分箱数据不可回溯,节省了服务流程需要的时间。
在一实施例中,如图4所示,在步骤S14之后,即在接收服务终端返回的分箱号和请求访问指令之后,页面数据生成方法还包括如下步骤:
S141:从数据分区中确定与分箱号对应的分区,得到目标分区。
其中,目标分区为数据分区中与分箱号对应的分区。
具体地,在接收到服务终端返回的分箱号之后,从数据分区中确定与该分箱号对应的分区,将该与该分箱号对应的分区作为目标分区。
S142:发送加密钥匙至服务终端中,以指示服务终端采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息。
其中,加密钥匙为数据支持终端提供给服务终端的钥匙,加密钥匙用于服务终端对分箱号对应的样本信息进行加密。第一私密钥匙为服务终端对样本信息进行加密的钥匙,该第一私密钥匙仅服务终端拥有。第一加密信息为服务终端采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密得到的信息。
具体地,在从数据分区中确定与该分箱号对应的分区之后,发送加密钥匙至服务终端中,服务终端在接收到该加密钥匙之后,采用加密钥匙和第一私密钥匙对分箱号的样本信息进行加密,得到第一加密信息。
S143:接收服务终端发送的第一加密信息,采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息,并将第二加密信息发送至服务终端。
其中,第二私密钥匙为仅数据支持终端拥有的钥匙。第二加密信息为采用第二私密钥匙对第一加密信息进行加密得到的信息。
具体地,在服务终端采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息之后,服务终端将第一加密信息发送至数据支持终端中,数据支持终端在接收第一加密信息后,采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息。
S144:采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密,得到第三加密信息。
其中,第二加密信息为采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密得到的信息。
具体地,在从数据分区中确定与分箱号对应的分区,得到目标分区之后,采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密,得到第二加密信息。
若在服务终端每次请求的时候,数据支持终端再采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密,这些操作会极大的增加响应时间,浪费大量的计算资源,并对数据支持终端计算的峰值有了更高的要求。同时,考虑到服务终端在请求访问数据支持终端时的安全性,在一定的周期之后,数据支持终端会更新加密钥匙,进一步保证了服务终端数据的安全性。
故可选地,数据支持终端可以提前采用加密钥匙和第二私密钥匙对数据分区中的数据信息进行加密,待接收到服务终端发送的分箱号之后,从数据分区中确定与该分箱号对应的分区,作为目标分区,此时确定的目标分区则不用进行S144:采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密,得到第三加密信息这一步骤。
进一步地,服务终端得到第一加密信息和数据支持终端得到第三加密信息,这两个步骤的顺序不是固定的,可以先由服务终端得到第一加密信息,也可以先由数据支持终端得到第三加密信息或者两个步骤同时进行。
S145:将第三加密信息发送至服务终端中,以指示服务终端对第二加密信息和第三加密信息进行引擎计算,得到中间结果。
具体地,在采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密,得到第三加密信息之后,将该第三加密信息发送至服务终端中,服务终端接收到第三加密信息之后,对第二加密信息和第三加密信息进行引擎计算,得到中间结果。
在本实施例中,通过从数据分区中确定与分箱号对应的分区,得到目标分区;发送加密钥匙至服务终端中,以指示数据支持终端采用加密钥匙和第一加密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息;接收服务终端发送的第一加密信息,采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息,并将第二加密信息发送至服务终端;采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密,得到第三加密信息;将第三加密信息发送至服务终端中,以指示服务终端对第二加密信息和第三加密信息进行引擎计算,得到中间结果。通过分箱号来确定目标分区,在保证数据的安全性的同时,能够提高确定目标分区的准确性。采用加密钥匙、第一私密钥匙和第二私密钥匙对数据信息加密的方式,保证服务终端和数据支持终端的ID身份信息不可见的情况下,找到服务终端和数据支持终端的共有的ID身份信息的数据信息,进一步提高了双方数据的安全性,同时保证了服务终端的用户的隐私性。
在一实施例中,在步骤S14之后,即在接收服务终端返回的分箱号和请求访问指令之后,页面数据生成方法还包括如下步骤:
S146:统计分箱号的接收次数,在接收到一定数量的分箱号之后,根据分箱号的接收次数,调整分箱号对应的数据分区的权重。
S147:若分箱号为第一分箱号,则提高该分箱号对应的数据分区的权重,所述第一分箱号指的是接收次数高于预设范围的分箱号。
S148:若分箱号为第二分箱号,则降低该分箱号对应的数据分区的权重,所述第二分箱号指的是接收次数低于预设范围的分箱号。
其中,接收次数指的是分箱号被发送至数据支持终端的次数。一定数量的分箱号可以根据服务终端请求访问次数来确定,也可以根据数据分区的数量来确定。第一分箱号指的是接收次数高于预设范围的分箱号。第二分箱号指的是接收次数低于预设范围的分箱号。预设范围是用于判断分箱号的接收次数是否符合要求的范围,预设范围可以设定为60%-80%、70%-90%或者80%-90%。
具体地,在接收到服务终端返回的分箱号之后,数据支持终端统计分箱号的接收次数,在每一次执行接收服务终端返回的分箱号这一步骤时,对返回的分箱号进行统计,在接收到一定数量的分箱号之后,若存在接收次数高于预设范围的分箱号,则提高该分箱号对应的数据分区的权重;若存在接收次数低于预设范围的分箱号,则降低该分箱号对应的数据分区的权重。
进一步地,当分箱号被判定为第一分箱号时,提高该分箱号对应的数据分区的权重的方法可以为:增加该分箱号对应的数据分区对应的分箱机器,能够减少该数据分区中数据的负载压力。当分箱号被判定为第二分箱号时,降低该分箱号对应的数据分区的权重的方法可以为:减少该分箱号对应的数据分区对应的分箱机器,或者将几个为第二分箱号对应的数据分区对应的分箱机器进行合并,减少分箱机器的资源消耗。
在本实施例中,通过统计分箱号的接收次数,在接收到一定数量的分箱号之后,根据分箱号的接收次数,调整分箱号对应的数据分区的权重;若分箱号为第一分箱号,则提高该分箱号对应的数据分区的权重,所述第一分箱号指的是接收次数高于预设范围的分箱号;若分箱号为第二分箱号,则降低该分箱号对应的数据分区的权重,所述第二分箱号指的是接收次数低于预设范围的分箱号。能够通过接收分箱号的次数,改变分箱号对应数据分区的分箱机器的数量,当某些数据分区的数据信息被使用的较少时,能够减少分箱机器或者合并分箱机器,提高了分箱机器的利用率,当某些数据分区的数据信息被多次使用时,能够增加数据分区的分箱机器,降低了数据过量可能带来的负载压力。
在一实施例中,如图5所示,提供一种页面数据生成方法,以该方法应用在图1中的服务终端为例进行说明,包括如下步骤:
S20:接收数据支持终端发送的分箱信息,所述分箱信息为数据支持终端根据预设的分箱策略对数据库中的待分箱数据进行分箱处理后得到的。
其中,数据支持终端为接收服务终端的服务请求并提供数据支持的终端,数据支持终端可以为但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和计算机集群。分箱信息指的是数据支持终端根据预设的分箱策略对数据库中的待分箱数据进行分箱处理后得到的信息,分箱信息的实质是规则信息,用于指示服务终端根据分箱信息对数据样本进行相同的哈希运算。预设的分箱策略指的是数据支持终端中对数据库中的待分箱数据进行分箱的规则,预设的分箱策略可以是数据支持终端中默认的策略,也可以是根据数据支持终端中所包含的分箱机器的数量来进行制定的策略。待分箱数据指的是数据支持终端的数据库中等待进行分箱处理的数据,待分箱数据可以包括ID身份信息和该用户搜索记录的关键词数据,ID身份信息和该用户访问页面的数据或者ID身份信息和该用户下载应用软件的数据等。
具体地,在数据支持终端根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到待分箱数据的分箱信息之后,数据支持终端发送分箱信息至服务终端,服务终端接收该分箱信息。
S21:根据分箱信息,对数据样本进行哈希运算,得到数据样本对应的分箱号,所述分箱号用于指示在数据支持终端中与该分箱号对应的数据分区。
其中,哈希运算为把任意长度的输入(又叫做预映射pre-image)通过散列算法变换成固定长度的输出的运算方法。数据样本为服务终端中的数据,数据样本包括服务终端中用户的ID身份信息和该ID身份信息对应的特征信息。分箱号是根据分箱信息对数据样本进行哈希运算后得到的,分箱号用于指示在数据支持终端中与该分箱号对应的数据分区。
具体地,在接收到数据支持终端发送的分箱信息之后,根据分箱信息,对数据样本中的ID身份信息进行哈希运算,得到第一哈希值,根据第一哈希值和数据样本中的特征信息,得到分箱号。
其中,特征信息为数据样本中的ID身份信息对应的特征信息。示例性地,某个ID身份信息在淘宝中搜索华为手机,而搜索华为手机的次数即为特征信息,假设该ID身份信息在京东中也搜索了华为手机,则在京东中搜索华为手机的次数则为另一个特征信息。
S22:发送分箱号和请求访问指令至数据支持终端中,并对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果。
其中,请求访问指令为服务终端在根据分箱号确定访问数据支持终端中的数据分区之后,请求访问该数据分区的指令。分箱号对应的样本信息为服务终端的数据样本经过哈希运算得到的信息。分箱号对应的数据分区的数据信息为在数据分区中与分箱号对应的分区的数据信息。引擎计算的实质为确定分箱号对应的样本信息和分箱号对应的数据分区的数据信息中共有的ID身份信息的计算方式。中间结果为对分箱号对应的样本信息和分箱号对应的数据分区的数据信息进行引擎计算后得到的结果。
具体地,在根据分箱信息,对数据样本进行哈希运算,得到数据样本对应的分箱号之后,根据分箱号确定数据支持终端中需要访问的数据分区,生成请求访问指令,发送分箱号和请求访问指令至数据支持终端中,访问分箱号对应的数据分区,对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果。
S23:发送中间结果至数据支持终端中,以指示数据支持终端对中间结果进行引擎计算,得到计算结果。
其中,计算结果为数据支持终端对中间结果进行引擎计算得到的结果。引擎计算为数据支持终端对中间结果进行计算得到计算结果的计算方式,数据支持终端进行的引擎计算与服务终端进行的引擎计算是不同的。
具体地,在对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果之后,将中间结果发送至数据支持终端中,以指示数据支持终端对中间结果进行引擎计算,得到计算结果。
在一具体实施例中,若中间结果包含了分箱号对应的样本信息和分箱号对应的数据分区的数据信息的交集信息,则数据支持终端在接收到该中间结果之后,对中间结果进行解密,得到第一计算结果。若中间结果没有包含分箱号对应的样本信息和分箱号对应的数据分区的数据信息的交集信息,则数据支持终端对该中间结果继续进行计算,得到第二计算结果。其中,第一计算结果和第二计算结果都为计算结果。
S24:接收数据支持终端发送的计算结果,并对计算结果进行整合,得到页面数据。
S25:将页面数据发送至数据支持终端中,以指示数据支持终端根据页面数据进行页面展示。
其中,整合是指服务终端对接收到的计算结果进行整理。页面数据为服务终端对计算结果继续进行整合得到的信息。
具体地,在数据支持终端对中间结果进行引擎计算,得到计算结果之后,数据支持终端将计算结果发送至服务终端中,服务终端对接收到的计算结果进行整合,得到页面数据,并将页面数据发送至数据支持终端中,数据支持终端在接收到页面数据之后,根据该页面数据进行页面展示。由于在服务终端和数据支持终端中都至少包含一个数据分区,对数据进行引擎计算之后,需要对得到的计算结果进行整合,得到所有的数据分区的数据的交集ID身份信息,即页面数据。
在本实施例中,通过接收数据支持终端发送的分箱信息,所述分箱信息为数据支持终端根据预设的分箱策略对数据库中的待分箱数据进行分箱处理后得到的;根据分箱信息,对数据样本进行哈希运算,得到数据样本对应的分箱号,所述分箱号用于指示在数据支持终端中与该分箱号对应的数据分区;发送分箱号和请求访问指令至数据支持终端中,并对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果;发送中间结果至数据支持终端中,以指示数据支持终端对中间结果进行引擎计算,得到计算结果;接收数据支持终端发送的计算结果,并对计算结果进行整合,得到页面数据,将页面数据发送至数据支持终端中,以指示数据支持终端根据页面数据进行页面展示。通过采用与数据支持终端相同的哈希算法对样本数据进行计算,并将生成的分箱号发送至数据支持终端进行调用,能够有效减少系统整体计算需要的量级和复杂度,从而减少了传输的压力和各个环节的时间。通过引擎计算,在数据信息交互环节上与数据支持终端进行通信,在保证访问正确的数据分区的同时,使得生成的页面数据更加准确,能够快速生成服务终端的用户的页面数据。
在一实施例中,在接收数据支持终端发送的分箱信息之前,页面数据生成方法还包括:
发送预设的规则至数据提供方中,以指示数据支持终端根据预设的规则对数据库中数据的数据格式进行一致化操作,得到规则化数据。
其中,预设的规则为服务终端发送至数据支持终端的规则,预设的规则的实质为对服务终端和数据支持终端中的ID身份信息的数据格式进行统一的规则。数据格式指的是数据库中的数据的ID身份信息的命名格式。一致化操作指的是对数据库中的数据的ID身份信息的数据格式进行与服务终端的ID身份信息的数据格式统一的操作。规则化数据指的是数据格式一致的数据,该规则化数据是采用预设的规则对数据库中数据的数据格式进行一致化操作得到的。
具体地,服务终端将预设的规则发送至数据支持终端中,在接收到服务终端发送的预设的规则之后,采用预设的规则对数据库中的数据进行一致化操作,对数据库中的ID身份信息进行命名方式的统一化操作,得到规则化数据。
示例性地,假设数据库中的一个ID身份信息为“X123”,而服务终端中的ID身份信息为“XX123”,实质上为两个身份信息都是同一个用户,但是ID身份信息表现形式不同,导致在数据匹配确定数据分区的过程中造成不对等的情况。
在本实施例中,通过发送预设的规则至数据提供方中,以指示数据支持终端根据预设的规则对数据库中的数据格式进行一致化操作,得到规则化数据。数据支持终端能够根据预设的规则,对数据库中数据的数据格式进行一致化操作,使得数据支持终端和服务终端中的数据的数据格式,能够使得到的待分箱数据遵循数据一致性和数据一对一匹配的原则,且进行均匀加密算法处理得到的待分箱数据不可回溯,节省了服务流程需要的时间。
在一实施例中,步骤S22中,即对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果具体包括以下步骤:
S221:接收数据支持终端发送的加密钥匙。
S222:采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息。
其中,加密钥匙为数据支持终端提供给服务终端的钥匙,加密钥匙用于服务终端对分箱号对应的样本信息进行加密。第一私密钥匙为服务终端对样本信息进行加密的钥匙,该第一私密钥匙仅服务终端拥有。第一加密信息为采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密得到的信息。
具体地,在接收到数据支持终端发送的加密钥匙之后,采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息。
S223:将第一加密信息发送至数据支持终端,以指示数据支持终端采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息。
其中,第二私密钥匙为仅数据支持终端拥有的钥匙。第二加密信息为数据支持终端采用第二私密钥匙对第一加密信息进行加密得到的信息。
具体地,在采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息之后,将第一加密信息发送至数据支持终端中,数据支持终端在接收到第一加密信息之后,采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息。
S224:接收数据支持终端发送的第二加密信息和第三加密信息,第三加密信息为数据支持终端采用加密钥匙和第二私密钥匙对分箱号对应的数据分区的数据信息进行加密得到的信息。
其中,第三加密信息为数据支持终端采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密得到的信息。
具体地,在数据支持终端采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息之后,数据支持终端将第二加密信息发送至服务终端。数据支持终端采用加密钥匙和第二私密钥匙对分箱号对应的数据分区的数据信息进行加密,得到第三加密信息。数据支持终端在得到第三加密信息之后,将第三加密信息发送至服务终端中。服务终端接收数据支持终端发送的第二加密信息和第三加密信息。
进一步地,服务终端得到第一加密信息和数据支持终端得到第三加密信息,这两个步骤的顺序不是固定的,可以先由服务终端得到第一加密信息,也可以先由数据支持终端得到第三加密信息或者两个步骤同时进行。
S225:对第二加密信息和第三加密信息进行引擎计算,得到中间结果。
具体地,在接收到数据支持终端发送的第二加密信息和第三加密信息之后,对第二加密信息和第三加密信息进行引擎计算,得到中间结果。
在本实施例中,通过接收数据支持终端发送的加密钥匙;采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息;将第一加密信息发送至数据支持终端,以指示数据支持终端采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息;接收数据支持终端发送的第二加密信息和第三加密信息,第三加密信息为数据支持终端采用加密钥匙和第二私密钥匙对分箱号对应的数据分区的数据信息进行加密得到的信息;对第二加密信息和第三加密信息进行引擎计算,得到中间结果。通过采用加密钥匙对服务终端中分箱号对应的样本信息加密,在保证分箱号对应的数据不可见的情况下,能够与数据支持终端进行数据的交互,从而保证了数据的安全性的同时,保证了服务终端的用户的隐私性。通过引擎计算,使得服务终端与数据支持终端在信息交互环节上更安全,生成的页面数据更加准确。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种页面数据生成装置,该页面数据生成装置与上述实施例中页面数据生成方法一一对应。如图6所示,该页面数据生成装置包括分箱处理模块11、分箱信息发送模块12、分箱号接收模块13、第一引擎模块14、计算结果发送模块15和页面数据接收模块16。各功能模块详细说明如下:
分箱处理模块11,用于根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到待分箱数据的分箱信息和数据分区。
分箱信息发送模块12,用于将发送分箱信息至服务终端,以指示服务终端根据分箱信息对数据样本进行哈希运算,以得到分箱号,分箱号用于指示对应的数据分区。
分箱号接收模块13,用于接收服务终端返回的分箱号和请求访问指令,请求访问指令指示服务终端访问与分箱号对应的数据分区,对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果。
第一引擎计算模块14,用于接收服务终端发送的中间结果,并对中间结果进行引擎计算,得到计算结果。
计算结果发送模块15,用于将计算结果发送至服务终端,以指示服务终端对计算结果进行整合,得到页面数据。需要强调的是,为进一步保证上述页面数据的私密和安全性,上述页面数据还可以存储于一区块链的节点中。
页面数据接收模块16,用于接收服务终端发送的页面数据,以根据页面数据进行页面展示。
可选地,如图7所示,页面数据生成装置还包括:
规则接收模块17,用于接收服务终端发送的预设的规则。
数据一致化模块18,用于采用预设的规则对数据库中数据的数据格式进行一致化操作,得到规则化数据。
均匀加密模块19,用于采用均匀加密算法对规则化数据进行处理,得到待分箱数据。
可选地,如图8所示,页面数据生成装置还包括:
目标分区确定模块141,用于从数据分区中确定与分箱号对应的分区,得到目标分区。
加密钥匙发送模块142,用于发送加密钥匙至服务终端中,以指示服务终端采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息。
第一加密信息接收模块143,用于接收服务终端发送的第一加密信息,采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息,并将第二加密信息发送至服务终端。
第一加密模块144,用于采用加密钥匙和第二私密钥匙对目标分区中的数据信息进行加密,得到第三加密信息。
第三加密信息发送模块145,用于将第三加密信息发送至服务终端中,以指示服务终端对第二加密信息和第三加密信息进行引擎计算,得到中间结果。
可选地,页面数据生成装置还包括:
分箱号统计模块146,用于统计分箱号的接收次数,在接收到一定数量的分箱号之后,根据分箱号的接收次数,调整分箱号对应的数据分区的权重。
权重提高模块147,用于当分箱号为第一分箱号时,提高该分箱号对应的数据分区的权重,所述第一分箱号指的是接收次数高于预设范围的分箱号。
权重降低模块148,用于当分箱号为第二分箱号时,则降低该分箱号对应的数据分区的权重,所述第二分箱号指的是接收次数低于预设范围的分箱号。
在一实施例中,提供一种页面数据生成装置,该页面数据生成装置与上述实施例中页面数据生成方法一一对应。如图9所示,该页面数据生成装置包括分箱信息接收模块20、哈希运算模块21、分箱号发送模块22、中间结果发送模块23和计算结果接收模块24。各功能模块详细说明如下:
分箱信息接收模块20,用于接收数据支持终端发送的分箱信息,所述分箱信息为数据支持终端根据预设的分箱策略对数据库中的待分箱数据进行分箱处理后得到的。
哈希运算模块21,用于根据分箱信息,对数据样本进行哈希运算,得到数据样本对应的分箱号,所述分箱号用于指示在数据支持终端中与该分箱号对应的数据分区。
分箱号发送模块22,用于发送分箱号和请求访问指令至数据支持终端中,并对分箱号对应的样本信息和该分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果。
中间结果发送模块23,用于发送中间结果至数据支持终端中,以指示数据支持终端对中间结果进行引擎计算,得到计算结果。
计算结果接收模块24,用于接收数据支持终端发送的计算结果,并对计算结果进行整合,得到页面数据。
页面数据发送模块25,用于将页面数据发送至数据支持终端中,以指示数据支持终端根据页面数据进行页面展示。
可选地,页面数据生成装置还包括:
规则发送模块,用于发送预设的规则至数据提供方中,以指示数据支持终端根据预设的规则对数据库中数据的数据格式进行一致化操作,得到规则化数据。
可选地,页面数据生成装置还包括:
加密钥匙接收模块221,用于接收数据支持终端发送的加密钥匙。
第二加密模块222,用于采用加密钥匙和第一私密钥匙对分箱号对应的样本信息进行加密,得到第一加密信息。
第二加密信息发送模块223,用于将第一加密信息发送至数据支持终端,以指示数据支持终端采用第二私密钥匙对第一加密信息进行加密,得到第二加密信息。
第二加密信息接收模块224,用于接收数据支持终端发送的第二加密信息和第三加密信息,第三加密信息为数据支持终端采用加密钥匙和第二私密钥匙对分箱号对应的数据分区的数据信息进行加密得到的信息。
第二引擎计算模块225,用于对第二加密信息和第三加密信息进行引擎计算,得到中间结果。
关于页面数据生成装置的具体限定可以参见上文中对于页面数据生成方法的限定,在此不再赘述。上述页面数据生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于上述实施例中页面数据生成方法中使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种页面数据生成方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中的页面数据生成方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中的页面数据生成方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种页面数据生成方法,其特征在于,包括:
根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到所述待分箱数据的分箱信息和数据分区;
将所述分箱信息发送至服务终端,以指示所述服务终端根据所述分箱信息对数据样本进行哈希运算,以得到分箱号,所述分箱号用于指示对应的数据分区;
接收所述服务终端返回的所述分箱号和请求访问指令,所述请求访问指令指示所述服务终端访问与所述分箱号对应的数据分区,对所述分箱号对应的样本信息和所述分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果;
接收所述服务终端发送的所述中间结果,并对所述中间结果进行引擎计算,得到计算结果;
将所述计算结果发送至所述服务终端,以指示所述服务终端对所述计算结果进行整合,得到页面数据;
接收所述服务终端发送的所述页面数据,以根据所述页面数据进行页面展示。
2.如权利要求1所述的页面数据生成方法,其特征在于,在所述根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到待分箱数据的分箱信息和数据分区之前,所述页面数据生成方法还包括:
接收所述服务终端发送的预设的规则;
采用所述预设的规则对数据库中数据的数据格式进行一致化操作,得到规则化数据;
采用均匀加密算法对所述规则化数据进行处理,得到待分箱数据。
3.如权利要求1所述的页面数据生成方法,其特征在于,在所述接收所述服务终端返回的所述分箱号和请求访问指令之后,所述页面数据生成方法还包括:
从所述数据分区中确定与所述分箱号对应的分区,得到目标分区;
发送加密钥匙至所述服务终端中,以指示所述服务终端采用所述加密钥匙和第一私密钥匙对所述分箱号对应的样本信息进行加密,得到第一加密信息;
接收所述服务终端发送的所述第一加密信息,采用第二私密钥匙对所述第一加密信息进行加密,得到第二加密信息;
采用加密钥匙和第二私密钥匙对所述目标分区中的数据信息进行加密,得到第三加密信息;
将所述第二加密信息和所述第三加密信息发送至所述服务终端中,以指示所述服务终端对所述第二加密信息和所述第三加密信息进行引擎计算,得到所述中间结果。
4.如权利要求1所述的页面数据生成方法,其特征在于,所述页面数据存储于区块链中,在所述接收所述服务终端返回的所述分箱号和请求访问指令之后,所述页面数据生成方法还包括:
统计所述分箱号的接收次数,根据所述分箱号的接收次数,调整所述分箱号对应的数据分区的权重;
若所述分箱号为第一分箱号,则提高所述分箱号对应的数据的权重,所述第一分箱号指的是接收次数高于预设范围的分箱号;
若所述分箱号为第二分箱号,则降低所述分箱号对应的数据的权重,所述第二分箱号指的是接收次数低于预设范围的分箱号。
5.一种页面数据生成方法,其特征在于,包括:
接收数据支持终端发送的分箱信息,所述分箱信息为所述数据支持终端根据预设的分箱策略对数据库中的待分箱数据进行分箱处理后得到的;
根据所述分箱信息,对数据样本进行哈希运算,得到所述数据样本对应的分箱号,所述分箱号用于指示在所述数据支持终端中与所述分箱号对应的数据分区,所述数据分区为所述数据支持终端根据预设的分箱策略对数据库中的待分箱数据进行分箱处理;
发送所述分箱号和请求访问指令至所述数据支持终端,并对所述分箱号对应的样本信息和所述分箱号对应的所述数据分区的数据信息进行引擎计算,得到中间结果;
发送所述中间结果至所述数据支持终端中,以指示所述数据支持终端对中间结果进行引擎计算,得到计算结果;
接收所述数据支持终端发送的计算结果,并对所述计算结果进行整合,得到页面数据;
将所述页面数据发送至所述数据支持终端,以指示所诉数据支持终端根据所述页面数据进行页面展示。
6.如权利要求5所述的页面数据生成方法,其特征在于,在所述接收数据支持终端发送的分箱信息之前,所述页面数据生成方法还包括:
发送预设的规则至所述数据支持终端中,以指示所述数据支持终端根据预设的规则对数据库中数据的数据格式进行一致化操作,得到规则化数据。
7.如权利要求5所述的页面数据生成方法,其特征在于,所述页面数据存储于区块链中,所述对所述分箱号对应的样本信息和所述分箱号对应的所述数据分区的数据信息进行引擎计算,得到中间结果,包括:
接收所述数据支持终端发送的加密钥匙;
采用所述加密钥匙和第一私密钥匙对所述分箱号对应的样本信息进行加密,得到第一加密信息;
将所述第一加密信息发送至数据支持终端,以指示所述数据支持终端采用第二私密钥匙对所述第一加密信息进行加密,得到第二加密信息;
接收所述数据支持终端发送的所述第二加密信息和第三加密信息,所述第三加密信息为所述数据支持终端采用所述加密钥匙和第二私密钥匙对所述分箱号对应的所述数据分区的数据信息进行加密得到的。
对所述第二加密信息和所述第三加密信息进行引擎计算,得到中间结果。
8.一种页面数据生成装置,其特征在于,包括:
分箱处理模块,用于根据预设的分箱策略对数据库中的待分箱数据进行分箱处理,得到所述待分箱数据的分箱信息和数据分区;
分箱信息发送模块,用于将所述分箱信息发送至服务终端,以指示所述服务终端根据所述分箱信息对数据样本进行哈希运算,以得到分箱号,所述分箱号用于指示对应的数据分区;
分箱号接收模块,用于接收所述服务终端返回的所述分箱号和请求访问指令,所述请求访问指令指示所述服务终端访问与所述分箱号对应的数据分区,对所述分箱号对应的样本信息和所述分箱号对应的数据分区的数据信息进行引擎计算,得到中间结果;
第一引擎计算模块,用于接收所述服务终端发送的所述中间结果,并对所述中间结果进行引擎计算,得到计算结果;
计算结果发送模块,用于将所述计算结果发送至所述服务终端,以指示所述服务终端对所述计算结果进行整合,得到页面数据;
页面数据接收模块,用于接收所述服务终端发送的所述页面数据,以根据所述页面数据进行页面展示。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述页面数据生成方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述页面数据生成方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010365846.0A CN111666493B (zh) | 2020-04-30 | 2020-04-30 | 页面数据生成方法、装置、计算机设备及存储介质 |
PCT/CN2020/136016 WO2021218177A1 (zh) | 2020-04-30 | 2020-12-14 | 页面数据生成方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010365846.0A CN111666493B (zh) | 2020-04-30 | 2020-04-30 | 页面数据生成方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111666493A true CN111666493A (zh) | 2020-09-15 |
CN111666493B CN111666493B (zh) | 2024-05-03 |
Family
ID=72383055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010365846.0A Active CN111666493B (zh) | 2020-04-30 | 2020-04-30 | 页面数据生成方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111666493B (zh) |
WO (1) | WO2021218177A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021218177A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安科技(深圳)有限公司 | 页面数据生成方法、装置、计算机设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246980A (zh) * | 2012-02-02 | 2013-08-14 | 阿里巴巴集团控股有限公司 | 信息输出方法及服务器 |
WO2019041670A1 (zh) * | 2017-08-31 | 2019-03-07 | 武汉斗鱼网络科技有限公司 | 一种降低功能页面请求次数的方法、存储介质、设备及系统 |
CN110347493A (zh) * | 2019-07-16 | 2019-10-18 | 广州虎牙科技有限公司 | 页面数据的处理方法、显示方法、装置、设备及存储介质 |
CN110727510A (zh) * | 2019-09-25 | 2020-01-24 | 浙江大搜车软件技术有限公司 | 用户数据处理方法、装置、计算机设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105187503B (zh) * | 2015-08-07 | 2018-11-09 | 北京思特奇信息技术股份有限公司 | 一种支持数据分区的服务连接方法及系统 |
US10949438B2 (en) * | 2017-03-08 | 2021-03-16 | Microsoft Technology Licensing, Llc | Database query for histograms |
CN110321347A (zh) * | 2019-05-30 | 2019-10-11 | 上海数据交易中心有限公司 | 数据匹配方法及装置、存储介质、终端 |
CN110990883A (zh) * | 2019-11-22 | 2020-04-10 | 金蝶软件(中国)有限公司 | 数据访问方法、装置、计算机可读存储介质和计算机设备 |
CN111666576B (zh) * | 2020-04-29 | 2023-08-04 | 平安科技(深圳)有限公司 | 数据处理模型生成方法和装置、数据处理方法和装置 |
CN111666493B (zh) * | 2020-04-30 | 2024-05-03 | 平安科技(深圳)有限公司 | 页面数据生成方法、装置、计算机设备及存储介质 |
-
2020
- 2020-04-30 CN CN202010365846.0A patent/CN111666493B/zh active Active
- 2020-12-14 WO PCT/CN2020/136016 patent/WO2021218177A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246980A (zh) * | 2012-02-02 | 2013-08-14 | 阿里巴巴集团控股有限公司 | 信息输出方法及服务器 |
WO2019041670A1 (zh) * | 2017-08-31 | 2019-03-07 | 武汉斗鱼网络科技有限公司 | 一种降低功能页面请求次数的方法、存储介质、设备及系统 |
CN110347493A (zh) * | 2019-07-16 | 2019-10-18 | 广州虎牙科技有限公司 | 页面数据的处理方法、显示方法、装置、设备及存储介质 |
CN110727510A (zh) * | 2019-09-25 | 2020-01-24 | 浙江大搜车软件技术有限公司 | 用户数据处理方法、装置、计算机设备和存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021218177A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安科技(深圳)有限公司 | 页面数据生成方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111666493B (zh) | 2024-05-03 |
WO2021218177A1 (zh) | 2021-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111666576B (zh) | 数据处理模型生成方法和装置、数据处理方法和装置 | |
US10831562B2 (en) | Method and system for operating a data center by reducing an amount of data to be processed | |
EP3961458B1 (en) | Blockchain-based service processing methods, apparatuses, devices, and storage media | |
CN111915019A (zh) | 联邦学习方法、系统、计算机设备和存储介质 | |
CN110716989A (zh) | 维度数据处理方法、装置、计算机设备和存储介质 | |
US20210311925A1 (en) | Blockchain transaction processing systems and methods | |
CN111680210B (zh) | 信息搜索方法、装置、搜索网关及存储介质 | |
CN113642014A (zh) | 一种基于混合云的数据访问系统及公有云服务器 | |
CN114428784A (zh) | 数据存取方法、装置、计算机设备及存储介质 | |
CN111666493B (zh) | 页面数据生成方法、装置、计算机设备及存储介质 | |
CN111046010A (zh) | 日志储存方法、装置、系统、电子设备和计算机可读介质 | |
CN116343976A (zh) | 医疗数据实时脱敏方法、装置、计算机设备及存储介质 | |
CN115130002A (zh) | 推荐请求处理方法、装置、计算机设备、存储介质 | |
CN116186649A (zh) | 跨系统访问方法、装置、计算机设备及存储介质 | |
US20220309178A1 (en) | Private searchable database | |
WO2021114621A1 (zh) | 基于人工智能的数据替换方法、装置、计算机设备和介质 | |
CN111367634A (zh) | 信息处理方法、信息处理装置及终端设备 | |
CN114070584B (zh) | 一种机密计算方法、装置、设备及存储介质 | |
CN113296879B (zh) | 容器创建方法以及装置 | |
EP4350533A1 (en) | Computer-implemented method and system for processing a service with sovereign data | |
CN115292066A (zh) | 一种数据的解密方法、装置、设备及介质 | |
CN116089457A (zh) | 一种数据处理方法、装置及设备 | |
CN118114263A (zh) | 数据存储方法、装置、服务器及存储介质 | |
CN115794331A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN114840550A (zh) | 指标生成方法、装置、计算机设备、介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |