CN113762340A - 数据处理方法及其装置、存储介质 - Google Patents
数据处理方法及其装置、存储介质 Download PDFInfo
- Publication number
- CN113762340A CN113762340A CN202110888468.9A CN202110888468A CN113762340A CN 113762340 A CN113762340 A CN 113762340A CN 202110888468 A CN202110888468 A CN 202110888468A CN 113762340 A CN113762340 A CN 113762340A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- user
- target data
- store
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法及其装置、存储介质,上述方法通过从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点处于同一区块链平台内;将所述行为交互数据进行融合,得到第一目标数据;将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店节点查询,即通过整合各个门店节点中相同用户的数据并通过预设大数据模型进行标签信息的构建,从而提高数据流量以及数据维度。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及数据处理方法及其装置、存储介质。
背景技术
随着大数据技术的不断发展,对于大数据地数据流量以及数据维度的要求也越来越高,因此,如何有效地增加数据流量以及扩展数据维度成为了亟待解决的问题。
发明内容
本发明的主要目的在于提供一种数据处理方法及其装置、存储介质。
为实现上述目的,本发明提供一种数据处理方法,所述数据处理方法包括以下步骤:
从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点处于同一区块链平台内;
将所述行为交互数据进行融合,得到第一目标数据;
将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询。
在一可选地实施例中,所述行为交互数据为用户历史购买记录、用户当前购买的产品信息或用户购买产品时所花费的时间中的至少一种。
在一可选地实施例中,所述将所述行为交互数据进行融合,得到第一目标数据的步骤,包括:
对所述行为交互数据进行归一化处理;
利用预设的数据融合算法对归一化处理后的所述行为交互数据进行融合,得到所述第一目标数据。
在一可选地实施例中,所述将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询的步骤,包括:
对所述第一目标数据进行清洗,获得第二目标数据;
用预先建立的数据分析模型对所述第二目标数据进行分析,获得目标数据;
将所述目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询。
在一可选地实施例中,所述对所述第一目标数据进行清洗,获得第二目标数据的步骤,包括:
识别所述第一目标数据的实体名称;
计算实体名称相同的所述第一目标数据的相似度值;
判断所述相似度值是否大于预定值,当所述相似度值大于预定值时,标记所述实体名称相同的所述第一目标数据为重复数据,得到所述第二目标数据。
在一可选地实施例中,所述数据分析模型为数据聚类分析模型,所述用预先建立的数据分析模型对所述第二目标数据进行分析,获得目标数据的步骤,包括:
基于预先建立的数据聚类分析模型对所述第二目标数据进行聚类,获得所述第二目标数据属于所述数据聚类分析模型中各个簇的簇概率;
将所述簇概率进行排序,获取所述簇概率中的最大概率;
判断所述最大概率是否大于或等于概率阈值;
若所述最大概率大于或等于所述概率阈值,则将所述最大概率对应的第二目标数据作为目标数据。
在一可选地实施例中,所述从N个门店节点中提取出目标用户所对应的行为交互数据的步骤之前,所述数据处理方法还包括:
获取N个门店节点中所有用户的通讯信息;
判断是否存在至少两个所述通讯信息相同;
若存在至少两个所述通讯信息相同,则确定所述通讯信息对应的用户为所述目标用户。
在一可选地实施例中,所述判断是否存在至少两个所述通讯信息相同的步骤之后,还包括:
若不存在至少两个所述通讯信息相同,则获取N个门店节点中所有用户的静态信息,所述静态信息包括用户的姓名、性别、年龄、住址以及职业;
判断是否存在至少两个所述静态信息的相似度大于预设阈值;
若存在至少两个所述静态信息的相似度大于预设阈值,则确定所述静态信息对应的用户为目标用户。
本发明实施例提出的一种数据处理方法,通过从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点处于同一区块链平台内;将所述行为交互数据进行融合,得到第一目标数据;将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店节点查询,即通过整合各个门店节点中相同用户的数据并通过预设大数据模型进行标签信息的构建,从而提高数据流量以及数据维度。
此外,为实现上述目的,本发明还提供一种数据处理装置,所述数据处理装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序,所述数据处理程序被所述处理器执行时实现如上述任一项所述的方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如上述任一项所述的数据处理方法的步骤。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明数据处理方法第一实施例的流程示意图;
图3为本发明数据处理方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
随着大数据技术的不断发展,对于大数据地数据流量以及数据维度的要求也越来越高,因此,如何有效地增加数据流量以及扩展数据维度成为了亟待解决的问题。
本发明提供一种解决方案,从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点处于同一区块链平台内;将所述行为交互数据进行融合,得到第一目标数据;将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店节点查询,即通过整合各个门店节点中相同用户的数据并通过预设大数据模型进行标签信息的构建,从而提高数据流量以及数据维度。
如图1所示,图1是本发明实施例方案涉及的终端的硬件运行环境示意图;
本发明实施例终端为数据处理装置。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,客户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。客户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选客户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的终端的结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、客户接口模块以及数据处理程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;客户接口1003主要用于连接客户端(客户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的数据处理程序,并执行以下操作:
从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点处于同一区块链平台内;
将所述行为交互数据进行融合,得到第一目标数据;
将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询。
进一步地,处理器1001可以调用存储器1005中存储的数据处理程序,还执行以下操作:
所述行为交互数据为用户历史购买记录、用户当前购买的产品信息或用户购买产品时所花费的时间中的至少一种限。
进一步地,处理器1001可以调用存储器1005中存储的数据处理程序,还执行以下操作:
所述将所述行为交互数据进行融合,得到第一目标数据的步骤,包括:
对所述行为交互数据进行归一化处理;
利用预设的数据融合算法对归一化处理后的所述行为交互数据进行融合,得到所述第一目标数据。
进一步地,处理器1001可以调用存储器1005中存储的数据处理程序,还执行以下操作:
对所述第一目标数据进行清洗,获得第二目标数据;
用预先建立的数据分析模型对所述第二目标数据进行分析,获得目标数据;
将所述目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询。
进一步地,处理器1001可以调用存储器1005中存储的数据处理程序,还执行以下操作:
识别所述第一目标数据的实体名称;
计算实体名称相同的所述第一目标数据的相似度值;
判断所述相似度值是否大于预定值,当所述相似度值大于预定值时,标记所述实体名称相同的所述第一目标数据为重复数据,得到所述第二目标数据。
进一步地,处理器1001可以调用存储器1005中存储的数据处理程序,还执行以下操作:
基于预先建立的数据聚类分析模型对所述第二目标数据进行聚类,获得所述第二目标数据属于所述数据聚类分析模型中各个簇的簇概率;
将所述簇概率进行排序,获取所述簇概率中的最大概率;
判断所述最大概率是否大于或等于概率阈值;
若所述最大概率大于或等于所述概率阈值,则将所述最大概率对应的第二目标数据作为目标数据。
进一步地,处理器1001可以调用存储器1005中存储的数据处理程序,还执行以下操作:
获取N个门店节点中所有用户的通讯信息;
判断是否存在至少两个所述通讯信息相同;
若存在至少两个所述通讯信息相同,则确定所述通讯信息对应的用户为所述目标用户。
进一步地,处理器1001可以调用存储器1005中存储的数据处理程序,还执行以下操作:
若不存在至少两个所述通讯信息相同,则获取N个门店节点中所有用户的静态信息,所述静态信息包括用户的姓名、性别、年龄、住址以及职业;
判断是否存在至少两个所述静态信息的相似度大于预设阈值;
若存在至少两个所述静态信息的相似度大于预设阈值,则确定所述静态信息对应的用户为目标用户。
参照图2,本发明第一实施例提供一种数据处理方法,数据处理方法包括:
S1、从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点处于同一区块链平台内;
S2、将所述行为交互数据进行融合,得到第一目标数据;
S3、将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店节点查询。
区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,本质上是一个去中心化的数据库。其中,区块链框架可以是能够实现本申请实施例相应功能的任意区块链框架,例如,比特币、以太坊、Fabric、Corda等。区块链平台可以指的是存储区块链的平台,例如,可以是分布式系统等。当然,区块链平台也可以直接代表区块链本身,在此不做限定。
在区块链平台的搭建过程中,可以将门店节点部署在区块链平台中,并且在部署完区块链平台后,门店节点内可对相关信息进行存储。其中,上述相关信息可以包括门店的基本信息或者用户在该门店产生的动态信息等,动态信息包括但不限于用户的购买记录、用户购买的产品信息以及用户购买产品时花费的时间等,在此并不进行限定。
本实施例中,上述数据处理方法的执行主体为数据处理装置,该数据处理装置可以为计算机、平板电脑、单片机等,也可以为客户的可访问设备(或客户要访问的设备,即目的设备)或代理设备,其中,所述代理设备可为智能网关,当然并不仅限于此。
进一步地,数据处理装置从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点为处于同一区块链平台内,N为大于等于2。
比如,用户在某一门店继续消费时,该门店会获取到用户的静态信息以及动态信息,并将用户的静态信息和动态信息保存至对应的门店节点内。其中,用户的动态信息即为行为交互数据,而所述行为交互数据为用户历史购买记录、用户当前购买的产品信息或用户购买产品时所花费的时间中的至少一种。
当然,在其他实施例中,上述行为交互数据还被可以为其他类型的动态信息,在此并不进行限定。
而用户的静态信息包括但不限于用户的姓名、用户的性别、用户的年龄、用户的学历、用户的国籍、用户的住址、用户的家庭状况和用户的工作情况中的至少一项,在此并不进行限定。
可选地,上述目标用户为N个门店所存在的相同用户。
即本实施例中,在获取目标用户的行为交互数据的步骤之前,所述数据处理方法还包括
获取N个门店节点中所有用户的通讯信息;
判断是否存在至少两个所述通讯信息相同;
若存在至少两个所述通讯信息相同,则确定所述通讯信息对应的用户为所述目标用户。
上述通讯信息为用户预留的手机号码以及邮箱等。比如,用户在门店进行消费时,门店会获取该用户预留的手机号码或邮箱等通讯信息,并将该通讯信息与该用户对应的行为交互数据关联存储至相应的门店节点内。即本实施例中,可通过获取N个门店节点中所有用户的通讯信息,并可通过比较获取到的所有通讯信息,从而确定对应的用户是否为相同用户,即目标用户。
具体地,判断是否存在至少两个所述通讯信息相同,若存在至少两个所述通讯信息相同,则确定所述通讯信息对应的用户为所述目标用户。比如,门店A中存在一个用户a的通讯信息为“1234”,而在门店C中也存在一个用户c的通讯信息为“1234”,那么,用户a与用户c为相同用户,即用户a或用户c为目标用户。
可选地,本实施例确定的目标用户有多个,即各个门店中只要存在通讯信息相同的用户即可确认为相同用户。
而上述判断是否存在至少两个所述通讯信息相同时,也可判断同一门店节点中获取到的多个通讯信息,比如,门店A中存在一个用户a的通讯信息为“1234”,门店A中存在一个用户a1的通讯信息也为“1234”,那么,用户a与用户a1也为相同用户,即用户a或用户a1为目标用户。
而在本实施例中,由于用户可能关联有两个或以上的通讯信息,即在不存在至少两个所述通讯信息相同,则获取N个门店节点中所有用户的静态信息,所述静态信息包括用户的姓名、性别、年龄、住址以及职当然业。当然,可以理解的是,上述静态信息还可以包括其他用户的基本属性信息,比如,用户的家庭情况、收入等,在此并不进行限定。
而在获取到用户的静态信息后,判断是否存在至少两个所述静态信息的相似度大于预设阈值,若存在至少两个所述静态信息的相似度大于预设阈值,则确定所述静态信息对应的用户为目标用户。
可选地,预设阈值为98%,即在至少两个用户的静态信息形似都大于98%时,则认为该至少两个用户为相同用户,即目标用户。而在其他实施例中,预设阈值还可以设置为99%、100%等数值,在此并不进行限定。
进一步地,用户在门店进行消费时,用户可选择是否注册成为会员用户,若用户选择注册成为会员用户,则用户需要填写用户的静态信息以及通讯信息,并在用户注册成功后,用户的静态信息以及通讯信息即可存储至门店节点内。而在用户在该门店消费后,门店会将用户的动态信息(行为交互数据)与该用户的静态信息以及通讯信息相关联后存储在门店节点内。
进一步地,在门店节点内未存储用户的通讯信息时,可通过用户的静态信息确定该用户是否为目标用户,在此并不一一赘述。
即本实施例中,在获取同一区块链平台内的N个门店节点存储的目标用户的行为交互数据(即动态信息)之后,将获取到的目标用户的行为交互数据写入至对应的区块链平台内,即通过区块链平台对目标用户的行为交互数据继续存储,以对数据的隐私部分进行保护,从而保证数据的不可篡改特性、真实性。
而在将目标用户的行为交互数据写入至区块链平台后,执行S2步骤,即将所述行为交互数据进行融合,得到第一目标数据。
具体地,目标用户为门店A中的用户a或门店B中的用户b或门店C中的用户c时,第一目标数据为用户a、用户b以及用户c的数据进行融合后的数据。当然,以上所述仅是为了方便本发明实施例的描述,并非对目标用户以及第一目标数据的限定。
进一步地,所述将所述行为交互数据进行融合,得到第一目标数据的步骤,包括:
对所述行为交互数据进行归一化处理;
利用预设的数据融合算法对归一化处理后的所述行为交互数据进行融合,得到所述第一目标数据。
即在将所述行为交互数据进行融合之前,对所述行为交互数据进行归一化处理,使得能够删除所述行为交互数据中的冗余部分,降低了数据传输和处理的难度;而通过将归一化处理后的所述行为交互数据进行融合,还可减少数据处理装置的数据处理量,降低数据处理装置的处理负担,从而提高数据处理的效率和效果。
进一步地,在对所述行为交互数据进行融合时,利用预设的数据融合算法对归一化处理后的所述行为交互数据进行融合,得到所述第一目标数据。本实施例中,预设的数据融合算法为用户预先设置的融合规则,可对多个行为交互数据进行融合。
进一步地,在获取到所述第一目标数据后,将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店节点查询。即本实施例中通过获取同一区块链平台内的各个门店节点中目标用户的行为交互数据进行融合,并将融合后的第一目标数据输入预设大数据模型中,以得到供各个门店节点查询的标签信息,从而通过整合各个门店节点中相同用户的数据并通过预设大数据模型进行标签信息的构建,从而提高数据流量以及数据维度。
可选地,预设大数据模型可以为预先训练好的神经网络模型或者机器学习模型等,在此并不进行限定。
本发明的实施例中,通过从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点处于同一区块链平台内;将所述行为交互数据进行融合,得到第一目标数据;将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店节点查询,即通过整合各个门店节点中相同用户的数据并通过预设大数据模型进行标签信息的构建,从而提高数据流量以及数据维度。
进一步地,参照图3,基于上述第一实施例提出本发明数据处理方法的第二实施例,在本实施例中,所述将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询的步骤,包括:
S31、对所述第一目标数据进行清洗,获得第二目标数据;
S32、用预先建立的数据分析模型对所述第二目标数据进行分析,获得目标数据;
S33、将所述目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询。
即本实施例中,在获取到第一目标数据之后且在将所述第一目标数据输入至预设大数据模型之前,需要对所述第一目标数据进行数据清洗以及分析,从而得到最终的数据。
具体地,对所述第一目标数据进行清洗,获得第二目标数据。即识别所述第一目标数据的实体名称,并计算实体名称相同的所述第一目标数据的相似度值,在得到相似度值后,判断所述相似度值是否大于预定值,当所述相似度值大于预定值时,标记所述实体名称相同的所述第一目标数据为重复数据,得到所述第二目标数据。即通过对所述第一目标数据进行清洗,以筛选出所述第一目标数据中重复的数据,从而得到所述第二目标数据。
进一步地,在对所述第一目标数据进行清洗之前,先对所述第一目标数据进行预清洗操作,即依次对所述第一目标数据执行缺失值清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗、关联性验证的清洗流程,从而得到清洗后的第一目标数据,此时,即可对清洗后的第一目标数据进行清洗,从而得到第二目标数据。
即本实施例中,通过两次数据清洗,以进一步提高第一目标数据的筛选效率。
而在得到第二目标数据之后,为了得到更加准确地目标数据,本实施例中通过预先建立的数据分析模型对所述第二目标数据进行分析,获得目标数据。
其中,本实施例中数据分析模型为数据聚类分析模型。具体地,基于预先建立的数据聚类分析模型对所述第二目标数据进行聚类,获得所述第二目标数据属于所述数据聚类分析模型中各个簇的簇概率,并将所述簇概率进行排序,获取所述簇概率中的最大概率,以通过判断所述最大概率是否大于或等于概率阈值确定目标数据,即若所述最大概率大于或等于所述概率阈值,则将所述最大概率对应的第二目标数据作为目标数据。
即将所述第二目标数据输入预先建立的数据聚类分析模型,预先基于高斯混合模型的最大期望聚类算法建立所述数据聚类分析模型,所述数据聚类分析模型对接收到的第二目标数据分别计算在所述数据聚类分析模型中各个簇的簇概率。可以理解地,所述数据聚类分析模型中各个簇的数据符合高斯分布,也即正态分布。在所述所述数据聚类分析模型对所述第二目标数据进行检测时,则计算所述第二目标数据与所述各个簇中正态分布对称轴的距离,距离越小则概率越大,反之距离越大则概率越小。若所述数据聚类分析模型中有k个簇,那么就能得出k个簇概率。可以将所述k个簇概率按从小到大或从大到小的顺序进行排序,获得排序后的簇概率,获取所述簇概率中的最大簇概率,将所述最大簇概率与阈值进行比较;可以理解地,阈值的设置会直接影响所述数据聚类分析模型对所述第二目标数据分析的准确性,故在实践中所述阈值可以根据需要具体设置,例如设置为80%,90%或95%,若所述最大簇概率小于所述阈值,则将所述最大簇概率对应的第二目标数据标记为异常肌酐检查数据。若所述最大概率大于或等于所述阈值,则将所述最大概率对应的第二目标数据标记为目标数据。即本实施例中基于聚类算法,通过数据聚类分析模型筛选异常地第二目标数据,提高了目标数据的准确性。
而在获取到目标数据后,即得到准确的目标数据后,即可将所述目标数据输入至预设大数据模型中,从而得到正确的标签信息,以供各个门店查询。
此外,本发明实施例还提出一种数据处理装置,该数据处理装置包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上述的数据处理方法的步骤。
该数据处理装置可以为智能手机、遥控器、计算机、平板电脑、智能手表等终端,也可以为单片机等控制器。
此外,本发明实施例还提出一种存储介质,该存储介质上存储有数据处理程序,所述数据处理程序被处理器执行如上述的数据处理方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取输入语句;基于预先初始化得到的初始化知识图谱,确定输入语句对应初始化知识图谱的节点;计算每个节点的结构化特征和非结构化特征;利用置信度传播机制,基于所确定的结构化特征和非结构化特征,确定初始化知识图谱中的各个节点的图嵌入特征,生成问答系统的知识图谱。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括以下步骤:
从N个门店节点中提取出目标用户所对应的行为交互数据,其中,N个门店节点处于同一区块链平台内;
将所述行为交互数据进行融合,得到第一目标数据;
将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询。
2.如权利要求1所述的数据处理方法,其特征在于,所述行为交互数据为用户历史购买记录、用户当前购买的产品信息或用户购买产品时所花费的时间中的至少一种。
3.如权利要求1所述的数据处理方法,其特征在于,所述将所述行为交互数据进行融合,得到第一目标数据的步骤,包括:
对所述行为交互数据进行归一化处理;
利用预设的数据融合算法对归一化处理后的所述行为交互数据进行融合,得到所述第一目标数据。
4.如权利要求1所述的数据处理方法,其特征在于,所述将所述第一目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询的步骤,包括:
对所述第一目标数据进行清洗,获得第二目标数据;
用预先建立的数据分析模型对所述第二目标数据进行分析,获得目标数据;
将所述目标数据输入至预设大数据模型中,得到标签信息,以供各个门店查询。
5.如权利要求4所述的数据处理方法,其特征在于,所述对所述第一目标数据进行清洗,获得第二目标数据的步骤,包括:
识别所述第一目标数据的实体名称;
计算实体名称相同的所述第一目标数据的相似度值;
判断所述相似度值是否大于预定值,当所述相似度值大于预定值时,标记所述实体名称相同的所述第一目标数据为重复数据,得到所述第二目标数据。
6.如权利要求4所述的数据处理方法,其特征在于,所述数据分析模型为数据聚类分析模型,所述用预先建立的数据分析模型对所述第二目标数据进行分析,获得目标数据的步骤,包括:
基于预先建立的数据聚类分析模型对所述第二目标数据进行聚类,获得所述第二目标数据属于所述数据聚类分析模型中各个簇的簇概率;
将所述簇概率进行排序,获取所述簇概率中的最大概率;
判断所述最大概率是否大于或等于概率阈值;
若所述最大概率大于或等于所述概率阈值,则将所述最大概率对应的第二目标数据作为目标数据。
7.如权利要求1所述的数据处理方法,其特征在于,所述从N个门店节点中提取出目标用户所对应的行为交互数据的步骤之前,所述数据处理方法还包括:
获取N个门店节点中所有用户的通讯信息;
判断是否存在至少两个所述通讯信息相同;
若存在至少两个所述通讯信息相同,则确定所述通讯信息对应的用户为所述目标用户。
8.如权利要求7所述的数据处理方法,其特征在于,所述判断是否存在至少两个所述通讯信息相同的步骤之后,还包括:
若不存在至少两个所述通讯信息相同,则获取N个门店节点中所有用户的静态信息,所述静态信息包括用户的姓名、性别、年龄、住址以及职业;
判断是否存在至少两个所述静态信息的相似度大于预设阈值;
若存在至少两个所述静态信息的相似度大于预设阈值,则确定所述静态信息对应的用户为目标用户。
9.一种数据处理装置,其特征在于,所述数据处理装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序,所述数据处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据处理方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如权利要求1至8中任一项所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110888468.9A CN113762340A (zh) | 2021-08-03 | 2021-08-03 | 数据处理方法及其装置、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110888468.9A CN113762340A (zh) | 2021-08-03 | 2021-08-03 | 数据处理方法及其装置、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113762340A true CN113762340A (zh) | 2021-12-07 |
Family
ID=78788506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110888468.9A Pending CN113762340A (zh) | 2021-08-03 | 2021-08-03 | 数据处理方法及其装置、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113762340A (zh) |
-
2021
- 2021-08-03 CN CN202110888468.9A patent/CN113762340A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110352425B (zh) | 区块链交易的认知监管合规性自动化 | |
CN109558748B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
AU2016355767A1 (en) | Order clustering method and device, and malicious information rejecting method and device | |
JP2017514218A (ja) | サードパーティアプリケーションの実行 | |
TWI729763B (zh) | 收集與驗證網路交通數據之系統以及方法 | |
CN112613917A (zh) | 基于用户画像的信息推送方法、装置、设备及存储介质 | |
CN110516173B (zh) | 一种非法网站识别方法、装置、设备及介质 | |
CN111563218B (zh) | 一种页面的修复方法及装置 | |
CN113778864A (zh) | 一种测试用例的生成方法和装置、电子设备和存储介质 | |
CN111178687A (zh) | 金融风险分类方法、装置及电子设备 | |
CN113297287B (zh) | 用户策略自动部署方法、装置及电子设备 | |
CN114331698A (zh) | 风险画像的生成方法、装置、终端及存储介质 | |
US11567851B2 (en) | Mathematical models of graphical user interfaces | |
CN112069304A (zh) | 一种保险业务的问答方法、装置、服务器以及存储介质 | |
CN111859862A (zh) | 文本的数据标注方法和装置、存储介质及电子装置 | |
CN111639903A (zh) | 一种针对架构变更的评审处理方法及相关设备 | |
CN110598115A (zh) | 一种基于人工智能多引擎的敏感网页识别方法及系统 | |
CN113672497B (zh) | 无埋点事件的生成方法、装置、设备及存储介质 | |
CN113762340A (zh) | 数据处理方法及其装置、存储介质 | |
CN110795424B (zh) | 特征工程变量数据请求处理方法、装置及电子设备 | |
CN112328779A (zh) | 训练样本构建方法、装置、终端设备及存储介质 | |
Ou et al. | Viopolicy-detector: An automated approach to detecting GDPR suspected compliance violations in websites | |
CN114880713B (zh) | 基于数据链路的用户行为分析方法、装置、设备及介质 | |
CN113535594B (zh) | 业务场景测试用例的生成方法、装置、设备和存储介质 | |
CN112380418B (zh) | 一种基于网络爬虫的数据处理方法、系统及云平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |