CN110879806A - 一种数据融合的方法、装置、设备和存储介质 - Google Patents
一种数据融合的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110879806A CN110879806A CN201911167366.7A CN201911167366A CN110879806A CN 110879806 A CN110879806 A CN 110879806A CN 201911167366 A CN201911167366 A CN 201911167366A CN 110879806 A CN110879806 A CN 110879806A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- stored
- fusion
- data source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012986 modification Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 235000008853 Zanthoxylum piperitum Nutrition 0.000 description 1
- 244000131415 Zanthoxylum piperitum Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及数据处理技术领域，具体涉及一种数据融合的方法、装置、设备和存储介质。本发明实施例公开了一种数据融合的方法，包括：接收数据源；比较所述数据源的质量与数据库中存储的数据的质量的高低；根据比较的结果确定所述数据源和所述存储的数据的融合策略；其中，所述融合策略为：如果所述数据源的质量高于所述数据库中存储的数据的质量，则融合策略为所述数据源可修改数据库中存储的数据；如果所述数据源的质量低于所述数据库中存储的数据的质量，则融合策略为所述数据源不可修改所述数据库中存储的数据。本申请尽量避免接收的低质量数据覆盖预先存储的高质量数据的情况发生，提高了数据融合的质量。
Description
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种数据融合的方法、装置、设备和存储介质。
背景技术
多源数据融合技术指利用相关手段将调查、分析获取到的所有信息全部综合到一起，并对信息进行统一的评价，最后得到统一的信息的技术。现有的多数据源客户数据融合的方法，主要在各个数据源中抽取需要的字段，配置好相关的映射后数据统一进入数据湖中。现有的多数据源客户数据融合过程中，常常有接收到的低质量的数据源覆盖掉原来存储的高质量的数据源的情况发生，造成融合后的数据源的质量下降。
发明内容
为此，本发明实施例提供一种数据融合方法、装置和设备，以解决现有技术中接收到的低质量的数据覆盖存储的高质量数据的问题。
为了实现上述目的，本发明实施例提供如下技术方案：一种数据融合的方法，包括：
接收数据源；
比较所述数据源的质量与数据库中存储的数据的质量的高低；
根据比较的结果确定所述数据源和所述存储的数据的融合策略；
根据所述融合策略将所述数据源融合进所述数据库；
其中，所述融合策略为：
如果所述数据源的质量高于所述数据库中存储的数据的质量，则融合策略为所述数据源可修改数据库中存储的数据；
如果所述数据源的质量低于所述数据库中存储的数据的质量，则融合策略为所述数据源不可修改所述数据库中存储的数据。
进一步地，融合策略为不可修改所述数据库中存储的数据，包括：向所述数据库中新增数据或者对所述数据库中存储的数据进行补全。
进一步地，如果确定融合策略包括对存储的数据进行补全，则根据所述融合策略将所述数据源融合进所述数据库，包括：
将所述数据库中存储的数据和所述数据源的字段进行比对以确定出所述数据库中存储的数据中的空字段；
判断所述空字段的融合策略是否是只新增；
如果否，则补全空字段。
进一步地，根据所述融合策略将所述数据源融合进所述数据库，包括：确定所述数据源中的数据字段，以及预先存储的所述数据字段的融合策略；
根据所述数据字段的融合策略将所述数据源中的数据字段融合进所述数据库。
进一步地，所述数据字段融合策略包括以下的一种或几种：
只新增：表示数据库中的存储的数据字段只可以新增数据；
只补全：表示数据库中的存储的数据字段只可以进行补全；
只修改：表示数据库中的存储的数据字段只可以被修改；
无规则：表示数据库中的存储的数据字段允许被修改或清空。
第二方面，本申请提出了一种数据融合的装置，包括：
接收模块，用于接收数据源；
比较模块，用于比较所述数据源的质量与数据库中存储的数据的质量高低；
策略确定模块，用于根据比较的结果确定所述数据源和所述存储的数据的融合策略；以及根据所述融合策略将所述数据源融合进所述数据库；
其中，所述融合策略为：
如果所述数据源的质量高于所述数据库中存储的数据的质量，则融合策略为所述数据源可修改数据库中存储的数据；
如果所述数据源的质量低于所述数据库中存储的数据的质量，则融合策略为所述数据源不可修改所述数据库中存储的数据。
进一步地，所述策略确定模块还用于，将所述数据库中存储的数据和所述数据源的字段进行比对以确定出所述数据库中存储的数据中的空字段；
判断所述空字段的融合策略是否是只新增；
如果否，则补全空字段。
进一步地，所述策略确定模块还用于，确定所述数据源中的数据字段，以及预先存储的所述数据字段的融合策略；
根据所述数据字段的融合策略将所述数据源中的数据字段融合进所述数据库。
根据本发明实施例的第三方面，本申请提出了一种电子设备，所述电子设备包括：至少一个处理器和至少一个存储器；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
根据本发明实施例的第四方面，本申请提出了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行如上述任一项所述的方法。
本发明实施例具有如下优点：进行数据融合时考虑到了数据源的质量，如果数据源的质量比较高，则可以修改数据库中的已经存储的数据；如果数据源的质量比较低，则不能够修改数据库中存储的数据，从而避免现有技术中低质量数据覆盖高质量数据的情况发生。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例提供的一种数据融合的应用场景图；
图2为本发明实施例提供的一种数据融合的方法流程图；
图3为本发明实施例提供的另一种数据融合的方法流程图；
图4为本发明实施例提供的另一种数据融合的装置结构示意图；
图5为本发明实施例提供的一种数据融合的设备结构示意图。
图中：41-接收模块；42-比较模块；43-策略确定模块；51-存储器；52-处理器。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
数据融合是指将多个接收到的数据源与已经存储的数据融合在一个数据库中，参见附图1所示的一种数据融合示意图。多个数据源包括数据源1、数据源2…数据源N；经过融合后进入数据湖中。
数据入库存储时，一个新的数据源往往包括以下的信息，注册数据和行为数据；比如，一个用户在一个购物网站上进行了购物；则该信息源中包括的注册数据为用户名、用户的手机号、用户的邮箱等；用户的行为数据包括：购物的行为、购买的产品等。在数据库中往往已经存储了该用户的一些信息，并且可能会有矛盾的情况，比如，数据源中记载了某个时刻客户在超市，但是数据库中记载的该时刻该用户却是在家里；面对矛盾的情况，经常需要用接收到的数据来对存储的数据进行修正。但是现有技术中，没有考虑到接收的数据源的质量；往往存在接收到的低质量的数据覆盖已经存储的高质量的数据的情况。
基于此，本申请提出了一种数据融合的方法，参见附图2所示的一种数据融合方法，该方法包括：
步骤S201，接收数据源；
其中，数据源包括注册数据源和行为数据源；有的数据源中包括了注册数据和行为数据；
注册数据包括：用户的名字、手机号、邮箱等注册信息；
行为数据包括：用户在网站上的行为信息，包括购物、发表评论、点赞、发邮箱、聊天等行为信息；
如果是注册数据，则数据的质量高；如果是行为数据，则数据的质量低。
步骤S202，比较所述数据源的质量与数据库中存储的数据的质量的高低；
其中，每一个数据源的质量是用标识来表示的；可以直接根据该数据源的标识来判断该数据源的高低。比如，如果该数据源的标识为1，则确定该数据源的质量最高；如果该数据源的标识为2，则标识该数据源的质量比较低；如果该数据源的标识为3，则表示该数据源的质量更低。
步骤S203，根据比较的结果确定所述数据源和所述存储的数据的融合策略；
其中，如果接收到的数据源的标识为1，质量最高；而存储的数据的标识为2，则确定接收到的数据源的质量高于存储的数据的质量。
步骤S204，根据所述融合策略将所述数据源和所述存储的数据进行融合；
其中，所述融合策略为：
如果所述数据源的质量高于所述数据库中存储的数据的质量，则融合策略为所述数据源可修改数据库中存储的数据；
如果所述数据源的质量低于所述数据库中存储的数据的质量，则融合策略为所述数据源不可修改所述数据库中存储的数据。
上述方法，进行数据融合时考虑到了接收到的数据源与存储的数据的相对质量，如果数据源的质量比较高，则可以修改数据库中的已经存储的数据；如果接收到的数据源的质量比较低，则不能够修改数据库中存储的数据，从而避免现有技术中低质量数据覆盖高质量数据的情况发生。
其中，融合策略为不可修改所述数据库中存储的数据，包括：向所述数据库中新增数据或者对所述数据库中存储的数据进行补全。
其中，所述数据源的融合策略包括以下的一种或几种：
修改不新增：是指用所述数据源对存储的数据进行修改但是不增加新的数据；
新增：是指用所述数据源对存储的数据进行增加新的数据；
新增且补全：是指用所述数据源对存储的数据进行增加新的数据并且补全不完整的数据；
新增且修改：是指用所述数据源对存储的数据进行增加新的数据并且修改已有的数据。
其中，举例说明如下：
接收到的数据源为：“张三在京东购物”，“李四在超市”，“王五点赞”；该数据源的质量标识为2；存储的数据为：“张三在”“李四不在超市”；该质量标识为4；
因为接收到的数据源的质量高于存储的数据的质量，所以用接收到的数据源来修改存储的数据；
把存储的数据“李四不在超市”修改为“李四在超市”。
并且还可以对存储的数据进行补全，把“张三在”修改为“张三在京东购物”；
还可以对存储的数据进行新增，新增“王五点赞”的内容。
为了加强对于数据源中的特殊字段的保护，在一种实施方式中，根据所述融合策略将所述数据源融合进所述数据库，包括：确定所述数据源中的数据字段；以及预先存储的所述数据字段的融合策略；
根据所述数据字段的融合策略将所述数据源中的数据字段融合进所述数据库。
其中，上述的数据字段可以是特定的数据字段，比如，客户的姓名、昵称等客户数据字段。为了加强对于特定数据字段的保护，本申请提出了字段融合策略；
其中，所述字段的融合策略包括以下的一种或几种：
只新增：表示存储的数据中的该数据字段只可以新增数据；
只补全：表示存储的数据中的该数据字段只可以进行补全；
只修改：表示存储的数据中的该数据字段只可以被修改；
无规则：表示存储的数据中的该数据字段允许被修改或清空。
举例说明，数据源为“张三在京东购物”；其中，特殊的字段为“张三”，此为姓名字段。姓名是注册的信息，预先设定注册信息的质量等级最高。姓名字段的融合策略是预先设定的。
如果存储的数据当中也包括了姓名字段，该姓名字段的融合策略可以有四种：
只新增：如果存储的数据当中没有张三，则将张三的名字新增到存储的数据库中；
只补全：如果存储的数据中的姓名为空字段，姓名不全，则可以进行补全，将空字段补全为“张三”；
只修改：如果存储的数据中的姓名为“张四”，确定是同一个人的情况下，则可以把“张四”修改为“张三”；其中，如果数据源中的邮箱、手机号与存储的数据中的邮箱、手机号是相同的，则可以确定是同一个人，确定是姓名错误。
无规则：存储的数据中的姓名字段允许被修改或清空。
在一种可能的实施方式中，如果确定融合策略包括对存储的数据进行补全，则根据所述融合策略将所述数据源融合进所述数据库，包括：
将所述数据库中存储的数据和所述数据源的字段进行比对以确定出所述数据库中存储的数据中的空字段；判断所述空字段的融合策略是否是只新增；如果否，则补全空字段。
其中，还是以上述例子进行说明，如果接收到的数据源为：
“张三在京东购物”，“李四在超市”，“王五点赞”，该数据源的质量标识为2；
存储的数据为：“张三在”，“李四不在超市”；该质量标识为4；
通过将接收到的数据源和存储的数据进行比较可以确定存储的数据中，“张三在”的字段是不完整的；确定需要对该字段进行补全。上述方法，可以识别出不完整的字段，并进行补全，使得信息更加完整而准确。
下面对于数据源融合策略和字段融合策略进行组合说明：
1.数据源融合策略：是指针对数据源的质量做出评估，制定相应的策略保证数据融合的质量。
只更新，不能新增(以下使用规则1表示)：由于数据源质量较差，只允许将已有数据中缺少的客户数据字段补全，不允许新增数据。
只新增(以下使用规则2表示)：数据源的数据质量低于已有数据，不能修改已有数据，只有新数据才可以入库。
新增且补全(以下使用规则3表示)：数据源的数据可以新增到数据库中，也可以将已有的数据进行补全(只补充缺少的数据字段内容，不允许覆盖有数据的字段内容)。
新增且修改(以下使用规则4表示)：数据源的数据质量很高，可以新增、并且可以补全和更改的已有的数据。
数据字段融合策略：数据融合前根据数据字段的特性，制定相应的策略保证特殊字段数据在融合后的准确性。
只新增(以下使用规则A表示)：此类数据字段只能进入系统时设定，一旦确定不能被任何数据更新和清除。
只补全(以下使用规则B表示)：此类数据字段如果缺少或空值时，可以被其他数据补全，字段有值时不能被更新。
只更新(以下使用规则C表示)：此类数据字段可以被更新和补全，但不可以被清空。
无规则(以下使用规则D表示)：此类数据字段允许被修改，甚至被清空。
注：客户的数据字段的规则权限向上兼容，依次为：D→C→B→A(→为包含)。
规则的组合：
“数据源融合策略”和“数据字段融合策略”是同时起作用的，是数据入库的两道门槛，只有同时满足才能入库。如果两种策略级别不一致时，以策略级别低的为准。所有融合策略形成的规则如表1所示：
表1
本申请的上述数据融合方法，参见附图1，制定了数据源的融合策略和客户字段融合策略；提高了数据源融合后的质量，尽量避免了低质量数据覆盖高质量数据的情况。
下面详细介绍一下另一种完整的数据融合方法，参见附图3所示的另一种数据融合方法流程：该方法包括：
应用程序调用接口API接口接收到联系人的信息；
其中，联系人信息比如为：张三。
API接口将联系人的信息发送给存储端storage；
存储端storage将联系人的消息发送给计算引擎Spark；
其中，消息的形式是kafka消息；
计算引擎Spark接收联系人的消息；并且将数据源保存备份，对消息加入时间戳并存储在分布式文件系统HDFS中；
判断是否匹配到联系人；
其中，该步骤中，用预先存储的联系人与接收到的联系人进行比对；
如果匹配成功，则判断联系人字段的融合策略是否是“只补全”；
如果是，则将接收到的联系人字段与预先存储的联系人字段进行比对；
判断联系人字段是否是“只更新”；如果否，则补全空字段；进入记录修改日志的步骤；
如果联系人字段的融合策略是只更新，则判断是否是“完全更新”；
如果是，则情况或更新字段；进入下一步记录修改日志的步骤；
如果否，则更新值变化字段；
其中，值变化字段是指字段中的部分内容发生了变化，则只对发生变化的部分内容进行更新。
进入下一步记录修改日志的步骤；
记录修改日志的步骤之后，更新联系人；修改映射关系Mapping；结束。
如果匹配失败，则判断联系人的字段的融合测量是否是“只新增”；
如果是，则新增联系人；修改映射关系Mapping；将新增联系人的信息存储在分布式数据库Hbase；结束。
与上述的方法对应，第二方面，本申请还提出了一种数据融合的装置，包括：
接收模块41，用于接收数据源；
比较模块42，用于比较所述数据源的质量与数据库中存储的数据的质量高低；
策略确定模块43，用于根据比较的结果确定所述数据源和所述存储的数据的融合策略；以及根据所述融合策略将所述数据源融合进所述数据库；
其中，所述融合策略为：
如果所述数据源的质量高于所述数据库中存储的数据的质量，则融合策略为所述数据源可修改数据库中存储的数据；
如果所述数据源的质量低于所述数据库中存储的数据的质量，则融合策略为所述数据源不可修改所述数据库中存储的数据。
在一种实施方式中，所述策略确定模块43还用于，将所述数据库中存储的数据和所述数据源的字段进行比对以确定出所述数据库中存储的数据中的空字段；
判断所述空字段的融合策略是否是只新增；
如果否，则补全空字段。
在一种实施方式中，所述策略确定模块43还用于，确定所述数据源中的特定的数据字段；以及预先存储的所述特定的数据字段的融合策略；
根据所述特定的数据字段的融合策略将所述数据源中的特定的数据字段融合进所述数据库。
第三方面，本申请还提出了一种数据融合的设备，包括至少一个处理器51和至少一个存储器52；
所述存储器51，用于存储一个或多个程序指令；
所述处理器52，用于运行一个或多个程序指令，用以执行上述任一项所述的方法。
第四方面，本申请还提出了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行上述任一项所述的方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种数据融合的方法，其特征在于，包括：
接收数据源；
比较所述数据源的质量与数据库中存储的数据的质量的高低；
根据比较的结果确定所述数据源和所述存储的数据的融合策略；
根据所述融合策略将所述数据源融合进所述数据库；
其中，所述融合策略为：
如果所述数据源的质量高于所述数据库中存储的数据的质量，则融合策略为所述数据源可修改数据库中存储的数据；
如果所述数据源的质量低于所述数据库中存储的数据的质量，则融合策略为所述数据源不可修改所述数据库中存储的数据。
2.如权利要求1所述的方法，其特征在于，融合策略为不可修改所述数据库中存储的数据，包括：向所述数据库中新增数据或者对所述数据库中存储的数据进行补全。
3.如权利要求2所述的方法，其特征在于，如果确定融合策略包括对存储的数据进行补全，则根据所述融合策略将所述数据源融合进所述数据库，包括：
将所述数据库中存储的数据和所述数据源的字段进行比对以确定出所述数据库中存储的数据中的空字段；
判断所述空字段的融合策略是否是只新增；
如果否，则补全空字段。
4.根据权利要求1所述的方法，其特征在于，根据所述融合策略将所述数据源融合进所述数据库，包括：确定所述数据源中的数据字段，以及预先存储的所述数据字段的融合策略；
根据所述数据字段的融合策略将所述数据源中的数据字段融合进所述数据库。
5.如权利要求4所述的方法，其特征在于，所述数据字段融合策略包括以下的一种或几种：
只新增：表示数据库中的存储的数据字段只可以新增数据；
只补全：表示数据库中的存储的数据字段只可以进行补全；
只修改：表示数据库中的存储的数据字段只可以被修改；
无规则：表示数据库中的存储的数据字段允许被修改或清空。
6.一种数据融合的装置，其特征在于，包括：
接收模块，用于接收数据源；
比较模块，用于比较所述数据源的质量与数据库中存储的数据的质量高低；
策略确定模块，用于根据比较的结果确定所述数据源和所述存储的数据的融合策略；以及根据所述融合策略将所述数据源融合进所述数据库；
其中，所述融合策略为：
如果所述数据源的质量高于所述数据库中存储的数据的质量，则融合策略为所述数据源可修改数据库中存储的数据；
如果所述数据源的质量低于所述数据库中存储的数据的质量，则融合策略为所述数据源不可修改所述数据库中存储的数据。
7.如权利要求6所述的装置，其特征在于，所述策略确定模块还用于，将所述数据库中存储的数据和所述数据源的字段进行比对以确定出所述数据库中存储的数据中的空字段；
判断所述空字段的融合策略是否是只新增；
如果否，则补全空字段。
8.根据权利要求6所述的装置，其特征在于，所述策略确定模块还用于，确定所述数据源中的数据字段，以及预先存储的所述数据字段的融合策略；
根据所述数据字段的融合策略将所述数据源中的数据字段融合进所述数据库。
9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器和至少一个存储器；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911167366.7A CN110879806A (zh) | 2019-11-25 | 2019-11-25 | 一种数据融合的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911167366.7A CN110879806A (zh) | 2019-11-25 | 2019-11-25 | 一种数据融合的方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110879806A true CN110879806A (zh) | 2020-03-13 |
Family
ID=69730207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911167366.7A Pending CN110879806A (zh) | 2019-11-25 | 2019-11-25 | 一种数据融合的方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110879806A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287644A (zh) * | 2020-09-30 | 2021-01-29 | 成都新潮传媒集团有限公司 | 一种数据提交方法、装置、计算机设备和可读存储介质 |
| CN113127467A (zh) * | 2021-04-20 | 2021-07-16 | 赛诺数据科技(南京)有限公司 | 基于自定义规则的etl任务失败平台处理方法及系统 |
| CN113555132A (zh) * | 2020-04-24 | 2021-10-26 | 华为技术有限公司 | 多源数据处理方法、电子设备和计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101026627A (zh) * | 2007-03-15 | 2007-08-29 | 上海交通大学 | 基于规则和可信度的多源数据融合系统 |
| CN101620783A (zh) * | 2008-06-30 | 2010-01-06 | 株式会社日立制作所 | 交通信息系统及交通信息处理方法 |
| CN105930540A (zh) * | 2016-03-23 | 2016-09-07 | 四川长虹电器股份有限公司 | 一种数据处理系统 |
| CN106790032A (zh) * | 2016-12-15 | 2017-05-31 | 华南师范大学 | 一种基于rbac的策略融合及敏感度计算方法及系统 |
| US9911131B1 (en) * | 2013-12-31 | 2018-03-06 | Massachusetts Mutual Life Insurance Company | Method and system for obtaining leads based on data derived from a variety of sources |
| CN108090208A (zh) * | 2017-12-29 | 2018-05-29 | 广东欧珀移动通信有限公司 | 融合数据处理方法及装置 |
-
2019
- 2019-11-25 CN CN201911167366.7A patent/CN110879806A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101026627A (zh) * | 2007-03-15 | 2007-08-29 | 上海交通大学 | 基于规则和可信度的多源数据融合系统 |
| CN101620783A (zh) * | 2008-06-30 | 2010-01-06 | 株式会社日立制作所 | 交通信息系统及交通信息处理方法 |
| US9911131B1 (en) * | 2013-12-31 | 2018-03-06 | Massachusetts Mutual Life Insurance Company | Method and system for obtaining leads based on data derived from a variety of sources |
| CN105930540A (zh) * | 2016-03-23 | 2016-09-07 | 四川长虹电器股份有限公司 | 一种数据处理系统 |
| CN106790032A (zh) * | 2016-12-15 | 2017-05-31 | 华南师范大学 | 一种基于rbac的策略融合及敏感度计算方法及系统 |
| CN108090208A (zh) * | 2017-12-29 | 2018-05-29 | 广东欧珀移动通信有限公司 | 融合数据处理方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113555132A (zh) * | 2020-04-24 | 2021-10-26 | 华为技术有限公司 | 多源数据处理方法、电子设备和计算机可读存储介质 |
| CN113555132B (zh) * | 2020-04-24 | 2024-09-17 | 华为技术有限公司 | 多源数据处理方法、电子设备和计算机可读存储介质 |
| CN112287644A (zh) * | 2020-09-30 | 2021-01-29 | 成都新潮传媒集团有限公司 | 一种数据提交方法、装置、计算机设备和可读存储介质 |
| CN112287644B (zh) * | 2020-09-30 | 2024-01-30 | 成都新潮传媒集团有限公司 | 一种数据提交方法、装置、计算机设备和可读存储介质 |
| CN113127467A (zh) * | 2021-04-20 | 2021-07-16 | 赛诺数据科技(南京)有限公司 | 基于自定义规则的etl任务失败平台处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110879806A (zh) | 一种数据融合的方法、装置、设备和存储介质 | |
| CN107563757B (zh) | 数据风险识别的方法及装置 | |
| CN111104392A (zh) | 一种数据库迁移方法、装置、电子设备及存储介质 | |
| CN110287696B (zh) | 一种反弹shell进程的检测方法、装置和设备 | |
| CN110427374B (zh) | 茶叶信息查询方法、设备、存储介质及装置 | |
| CN111062013B (zh) | 一种账号过滤方法、装置、电子设备及机器可读存储介质 | |
| CN107948255A (zh) | App的推送方法及计算机可读存储介质 | |
| CN109635276B (zh) | 一种信息匹配方法及终端 | |
| CN107436818A (zh) | 一种红包信息获取并发送的方法和装置 | |
| CN112560114B (zh) | 调用智能合约的方法及装置 | |
| CN111539206B (zh) | 一种确定敏感信息的方法、装置、设备及存储介质 | |
| CN106469182A (zh) | 一种基于映射关系的信息推荐方法及装置 | |
| CN111338716A (zh) | 基于规则引擎的数据处理方法、装置及终端设备 | |
| CA3142579A1 (en) | Method and apparatus for validation of event tracking acquired data | |
| CN114328017A (zh) | 一种数据库备份方法、系统、计算机设备和存储介质 | |
| CN104462451B (zh) | 数据库文件敏感内容的检测方法和装置 | |
| CN105007184A (zh) | 用户行为习惯的获取方法 | |
| CN111260759A (zh) | 一种路径确定方法及装置 | |
| CN109582829A (zh) | 一种处理方法、装置、设备及可读存储介质 | |
| CN112256691A (zh) | 一种数据映射方法、装置及电子设备 | |
| CN116185785A (zh) | 文件异常变更的预警方法及装置 | |
| CN110955760A (zh) | 判决结果的评价方法和相关装置 | |
| CN111125110B (zh) | 非主键字段的检查方法、装置、计算机设备及存储介质 | |
| US8656410B1 (en) | Conversion of lightweight object to a heavyweight object | |
| WO2020228564A1 (zh) | 一种应用服务方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200313 |