CN111813833A - 一种实时二度通联关系数据挖掘的方法 - Google Patents
一种实时二度通联关系数据挖掘的方法 Download PDFInfo
- Publication number
- CN111813833A CN111813833A CN202010671208.1A CN202010671208A CN111813833A CN 111813833 A CN111813833 A CN 111813833A CN 202010671208 A CN202010671208 A CN 202010671208A CN 111813833 A CN111813833 A CN 111813833A
- Authority
- CN
- China
- Prior art keywords
- data
- degree
- record
- time
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000007418 data mining Methods 0.000 title claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 69
- 238000004220 aggregation Methods 0.000 claims abstract description 33
- 230000002776 aggregation Effects 0.000 claims abstract description 33
- 238000005192 partition Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 239000003999 initiator Substances 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 17
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 230000002085 persistent effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000009412 basement excavation Methods 0.000 abstract 2
- 238000005065 mining Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000013499 data model Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种实时二度通联关系数据挖掘的方法，通过实时采集原始话单数据并对所述话单数据预处理从而形成明细数据，将所述明细数据以流式方式写入至满足预设条件的内存数据库中，所述内存数据库根据所述明细数据所处的分区，将计算模式以及所述明细数据调度到相应的分区，在所述内存数据库中对所述明细数据执行数据聚合逻辑，并实时计算出二度通联关系记录数据，从而实现实时二度通联关系数据挖掘。本发明利用内存数据库高吞吐、低延时、算子下沉等特性，实现了增量式的实时二度通联关系的挖掘，解决了传统二度通联关系挖掘的时效性问题，可以实时的获取分析结果，并进行快速决策。
Description
技术领域
本发明属于数据挖掘技术领域，特别是涉及一种实时二度通联关系数据挖掘的方法。
背景技术
二度通联关系挖掘是指基于话单数据，以用户与用户的公共的联系人为桥梁，发现他们之间的隐含关系的过程。该技术在电信精准营销、刑侦办案挖掘重点关系人、金融行业的风险监控等场景中有广泛的应用。
传统的二度通联关系的挖掘，用MapReduce的方式，以桥梁联系人为key，把两个通联关系表做join，最终形成二度通联关系表，Join需要传输大量数据，同时MapReduce在shuffle过程中中间结果需要多次排序和落地到HDFS，占用大量的内存和带宽。或者采用分布式图计算的方式，以联系人作为图的定点，以联系人之间之间的通话关系作为边，利用Spark Graphx、Flink Gelly等分布式图计算框架进行二度通联关系的挖掘，这些分布式图计算框架在内存使用效率、任务调度和并发性上面有了显著的优化，但是也只能基于有界数据，每次计算需要加载全部历史数据，内存资源需求大、计算周期长，得出的计算结果的时效性也较差。
发明内容
为解决上述技术问题，本发明提出了一种实时二度通联关系数据挖掘的方法。通过定义共享数据模型，并利用内存数据库高吞吐、低延时、算子下沉等特性，实现了增量式的实时二度通联关系的挖掘，解决了传统二度通联关系挖掘的时效性问题，可以实时的获取分析结果，并进行快速决策。
根据本发明的实施例，本发明提出了一种实时二度通联关系数据挖掘的方法，所述方法包括：
实时采集原始话单数据并对所述话单数据预处理以形成明细数据；
将所述明细数据以流式方式写入至满足预设条件的内存数据库中，所述内存数据库根据所述明细数据所处的分区，将计算模式以及所述明细数据调度到相应的分区，在所述内存数据库中对所述明细数据执行数据聚合逻辑，并实时计算出二度通联关系记录数据，从而实现实时二度通联关系数据挖掘。
在一个实施例中，所述实时采集原始话单数据并对所述话单数据预处理以形成明细数据，具体包括：
实时采集原始话单数据加入到消息队列中，从所述消息队列中提取数据进行预处理，去掉非法数据以及冗余数据，并与维表关联形成明细数据。
在一个实施例中，所述原始话单数据包括发起人ID、接收人ID、发起时间、联系时长。
在一个实施例中，所述从所述消息队列中提取数据进行预处理，去掉非法数据以及冗余数据，并与维表关联形成明细数据，还包括：
对采集的原始话单数据进行逐条数据的合法性检测，若当前数据合法，则进入下一步，否则丢弃当前数据并继续检查下一条数据的合法性；
采用布隆过滤器对经过合法性检查的数据进行冗余性检测，如果是冗余数据则丢弃，并继续检测下一条数据，如果不是冗余数据则进入下一步；
将经过冗余性检测的数据与维表数据关联，从而形成明细数据。
在一个实施例中，合法性检测的步骤包括：
整条记录的长度是否正确，如果正确则判定合法，否则判定为非法；
整条记录中联系发起人字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中联系接收人字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中通话时长字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中通话开始时间是否存在，如果存在则判定合法，否则判定为非法；
通话开始时间的格式是否正确，如果正确则判定合法，否则判定为非法。
在一个实施例中，所述冗余性检测的步骤包括：
读取满足合法性检测的数据；
提取数据中的发起人、接收人、通话开始时间3个字段；
使用布隆过滤器进行计算，并把计算结果与位图进行位与操作；
判断位与结果是否为0，如果为0则判定为不冗余，否则判定为冗余。
在一个实施例中，所述满足预设条件的内存数据库包括，所述内存数据库具有弹性扩展的分布式架构、支持多并发读写、高吞吐且毫秒级的延时、断电重启不会丢失数据的持久化存储以及算子下沉模式功能。
在一个实施例中，在所述内存数据库中对所述明细数据执行数据聚合逻辑，并实时计算出二度关系数据，具体包括：
内存数据库客户端获取数据分桶信息，并根据所述明细数据中发起人、接收人两个字段计算数据所处分桶位置，并定位到对应的服务器；
内存数据库客户端生成明细数据执行聚合任务实例，并与明细数据一起序列化之后，提交到服务器；
所述服务器在接收到所述聚合任务实例后，执行数据聚合逻辑，生成或更新聚合数据记录；
根据更新后的聚合数据记录，生成新的二度关系计算任务，并将其插入二度关系计算任务缓冲区中；
二度关系计算任务缓冲区对计算任务进行合并、调度和执行，最后生成二度通联关系记录。
在一个实施例中，所述服务器在接收到所述聚合任务实例后，执行数据聚合逻辑，生成或更新聚合数据记录，包括：根据任务实例中记录的发起人、接收人两个字段查询本地聚合数据表；查询获得聚合数据记录，如果不存在则创建该记录；如果存在，则进行更新，更新聚合数据记录中的通话次数、最长通话时间、总通话时长字段。
在一个实施例中，所述二度关系计算任务缓冲区对计算任务进行合并、调度和执行，最后生成二度通联关系记录，包括：
查询本地聚合数据表，分别找出该表中发起人ID等于二度关系计算任务中接收人ID的记录、接收人ID等于二度关系计算任务中发起人ID的记录，再分别以二度关系计算任务的发起人和接收人ID的记录的接收人组成二元组、以发起人ID的记录的发起人和二度关系计算任务的接收人组成二元组，将组成的两个二元组插入到二度关系计算任务的结果集中；
迭代结果集中的每一条记录，更新二度关系表，最后生成二度通联关系记录。
本发明为解决传统二度通联关系挖掘的时效性问题，提出了一种实时二度通联关系数据挖掘的方法，通过实时采集原始话单数据并对所述话单数据预处理从而形成明细数据，将所述明细数据以流式方式写入至满足预设条件的内存数据库中，所述内存数据库根据所述明细数据所处的分区，将计算模式以及所述明细数据调度到相应的分区，在所述内存数据库中对所述明细数据执行数据聚合逻辑，并实时计算出二度通联关系记录数据，从而实现实时二度通联关系数据挖掘。本发明通过定义共享数据模型，并利用内存数据库高吞吐、低延时、算子下沉等特性，实现了增量式的实时二度通联关系的挖掘，解决了传统二度通联关系挖掘的时效性问题，可以实时的获取分析结果，并进行快速决策。
附图说明
图1为本发明提出的实时二度通联关系数据挖掘的方法流程图；
图2为本发明提出的实时二度通联关系数据挖掘的方法数据处理过程一实施例图；
图3为本发明提出的实时二度通联关系数据挖掘的方法中形成明细数据的流程图；
图4为本发明提出的实时二度通联关系数据挖掘的方法中得到二度关系数据的流程图；
图5为本发明提出的实时二度通联关系数据挖掘的方法中原始操作数据层数据表字段示意图；
图6为本发明提出的实时二度通联关系数据挖掘的方法中明细数据层数据表字段示意图；
图7为本发明提出的实时二度通联关系数据挖掘的方法中聚合数据层数据表字段示意图；
图8为本发明提出的实时二度通联关系数据挖掘的方法中应用数据层数据表字段示意图示意图；
图9为本发明提出的实时二度通联关系数据挖掘的方法中原始操作数据与维表关联示意图；
图10为本发明提出的实时二度通联关系数据挖掘的方法中生成二度通联关系记录的过程示意图。
具体实施方式
为便于理解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1.
如图1所示，本发明提出了一种实时二度通联关系数据挖掘的方法，该方法包括：
步骤S100.实时采集原始话单数据并对所述话单数据预处理以形成明细数据；
步骤S200.将所述明细数据以流式方式写入至满足预设条件的内存数据库中，所述内存数据库根据所述明细数据所处的分区，将计算模式以及所述明细数据调度到相应的分区，在所述内存数据库中对所述明细数据执行数据聚合逻辑，并实时计算出二度通联关系记录数据，从而实现实时二度通联关系数据挖掘。
在本发明中，原始话单数据包括发起人ID、接收人ID、发起时间、联系时长。
根据本发明的实施例，在步骤S101中，如图2所示，101话单采集装置实时采集原始话单数据102(ODS)并加入消息队列103中，实时计算引擎104从消息队列103中消费数据，清洗处理掉非法数据以及冗余数据，并与维表关联形成明细数据105(DWD)，以减少后续计算量，提高资源利用率。处理之后的数据以流式写入提交到内存数据库109中。如图3所示，清洗处理掉非法数据以及冗余数据具体包括：
S101.对采集的原始话单数据进行逐条数据的合法性检测，若当前数据合法，则进入下一步，否则丢弃当前数据并继续检查下一条数据的合法性；
S102.采用布隆过滤器对经过合法性检查的数据进行冗余性检测，如果是冗余数据则丢弃，并继续检测下一条数据，如果不是冗余数据则进入下一步；
S103.将经过冗余性检测的数据与维表数据关联，从而形成明细数据。
根据本发明的实施例，在进行步骤S101中的合法性检测时，包括如下步骤：
整条记录的长度是否正确，如果正确则判定合法，否则判定为非法；
整条记录中联系发起人字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中联系接收人字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中通话时长字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中通话开始时间是否存在，如果存在则判定合法，否则判定为非法；
通话开始时间的格式是否正确，如果正确则判定合法，否则判定为非法。
在在进行步骤S102中的冗余性检测时，包括如下步骤：
读取满足合法性检测的数据；
提取数据中的发起人、接收人、通话开始时间3个字段；
使用布隆过滤器进行计算，并把计算结果与位图进行位与操作；
判断位与结果是否为0，如果为0则判定为不冗余，否则判定为冗余。
在步骤S200中，本发明通过设置预设条件来选择内存数据库，在本发明的实施例中，对内存数据的五个特征进行分析，包括系统架构、性能、数据可靠性，自带计算能力，访问接口，得到分析结果，基于该分析结果来判断内存数据库是否满足实时二度通联关系挖掘场景的特点。在二度通联关系挖掘的场景中，内存数据库主要存储三类数据，分别是中间计算结果，保存实时计算过程中状态，用来在发生故障时需要恢复现场；最终结果；维表数据，需要实时关联事实数据。通过分析内存数据库要存储的数据内容，以及数据访问特性，需要内存数据库满足如下特点：分布式架构，可以弹性扩展；需要比较好地支持多并发读写，高吞吐、并且延时需要在毫秒级；具备持久化存储能力，断电重启不会丢失数据；具备算子下沉的能力，并且能够根据数据的分布情况来迁移计算到数据所在节点，降低数据访问延时，提高计算效能；支持多种数据模型接口，既可以通过kv的方式进行简单的数据更新，也支持通过SQL的方式进行复杂数据查询，并且做到接口访问互通。
在本步骤中，如图2所示，内存数据库109采用流式方式接收数据，并将排序、合并等计算操作下沉到内存数据库中，根据数据所处的分区，将计算任务107调度到相关的分区，降低数据访问延时，提高计算速度。最后将计算的结果，聚合数据106(DWS)和二度通联关系108(ADS)再写入内存数据库109中。
在本实施例中，如图4所示，在内存数据库中对所述明细数据执行数据聚合逻辑，并实时计算出二度通联关系记录数据，从而实现实时二度通联关系数据挖掘，具体包括：
S201.内存数据库客户端获取数据分桶信息，并根据所述明细数据中发起人、接收人两个字段计算数据所处分桶位置，并定位到对应的服务器；
S202.内存数据库客户端生成明细数据执行聚合任务实例，并与明细数据一起序列化之后，提交到服务器；
S203.所述服务器在接收到所述聚合任务实例后，执行数据聚合逻辑，生成或更新聚合数据记录；
S204.根据更新后的聚合数据记录，生成新的二度关系计算任务，并将其插入二度关系计算任务缓冲区中；
S205.二度关系计算任务缓冲区对计算任务进行合并、调度和执行，最后生成二度通联关系记录。
在本实施例中，步骤S203中的所述服务器在接收到所述任务实例后，执行数据聚合逻辑，生成或更新聚合数据记录，包括：根据任务实例中记录的发起人、接收人两个字段查询本地聚合数据表；查询获得聚合数据记录，如果不存在则创建该记录；如果存在，则进行更新，更新聚合数据记录中的通话次数、最长通话时间、总通话时长字段。
在本实施例中，步骤S205中的二度关系计算任务缓冲区对计算任务进行合并、调度和执行，最后生成二度通联关系记录，包括：
查询本地聚合数据表，分别找出该表中发起人ID等于二度关系计算任务中接收人ID的记录、接收人ID等于二度关系计算任务中发起人ID的记录，再分别以二度关系计算任务的发起人和接收人ID的记录的接收人组成二元组、以发起人ID的记录的发起人和二度关系计算任务的接收人组成二元组，将组成的两个二元组插入到二度关系计算任务的结果集中；
迭代结果集中的每一条记录，更新二度关系表，最后生成二度通联关系记录。
实施例2.
本发明提出了一种实时二度通联关系数据挖掘的方法，该方法中需要对话单数据进行加工分析，在本实施例中给出了基于该数据加工过程的四个层次结构，具体为：
原始操作数据层(ODS)，明细数据层(DWD)，聚合数据层(DWS)和应用数据层(ADS)。原始操作数据层原始的话单数据，包括主叫，被叫，通话开始时间，通话时长等内容。这些数据因为信号波动、设备故障等原因，导致大量的非法和冗余数据产生，需要进行清洗。另外，为了减少后续关系挖掘过程中的join操作，需要提前将原始操作数据与维表数据进行关联，形成明细数据宽表。明细数据层就是ODS数据经过清洗并与维表关联之后形成的。在二度关系挖掘的过程中，一度联系人之间的通话次数、累积通话时长、最长通话时长等都是比较重要的特征，这些特征是通过多条明细数据聚合而成的，聚合数据层就包含了这些聚合之后的结果。最终挖掘出来的结果数据，也就是二度关系数据存放在ADS层，对应用提供访问。
基于上述步骤中划分的层次结构，分别定义各层次的数据表结构。参看图5，原始操作数据层(ODS)表主要包含发起人ID、接收人ID、发起时间、联系时长。参看图6，明细数据层(DWD)表主要包含发起人ID、发起人姓名、发起人所属区域ID、发起人所属区域、发起人职业ID、发起人职业、接收人ID、接收人姓名、接收人所属区域ID、接收人所属区域、接收人职业ID、接收人职业、发起时间、联系时。参看图7，聚合数据层(DWS)表主要包含发起人ID、发起人姓名、发起人所属区域ID、发起人所属区域、发起人职业ID、发起人职业、接收人ID、接收人姓名、接收人所属区域ID、接收人所属区域、接收人职业ID、接收人职业、联系次数、最长联系时长、权重。参看图8，应用数据层(ADS)表主要包含发起人ID、发起人姓名、发起人所属区域ID、发起人所属区域、发起人职业ID、发起人职业、二度联系人ID、二度联系人姓名、二度联系人所属区域ID、二度联系人所属区域、二度联系人职业ID、二度联系人职业、评分，如图9所示，将经过合法性以及冗余性检测清洗过的数据与维表数据进行关联，从而形成明细数据。。
在本实施例中，如图10所示，内存数据库采用流式方式接收数据，并将排序、合并等计算操作下沉到内存数据库中，根据数据所处的分区，将计算调度到相关的分区，降低数据访问延时，提高计算速度。最后将计算的结果再写入内存数据库中。
(1)内存数据库客户端1201获取数据分桶信息，并根据明细数据1202中发起人、接收人两个字段计算数据所处分桶位置，并定位到对应的服务器1203；
(2)内存数据库客户端生成明细数据执行聚合任务实例1204，并与明细数据一起序列化之后，提交到1203
(3)1203在接收到聚合任务实例1204后，执行数据聚合逻辑，生成或更新聚合数据记录1206，过程如下：
根据1204中记录的发起人、接收人两个字段查询本地聚合数据表1205；
查询获得聚合数据记录1206，如果不存在则创建该记录；
更新聚合数据记录1206中的通话次数、最长通话时间、总通话时长字段；
(4)1203根据更新后的聚合数据记录1206，生成新的二度关系计算任务1207，并将其插入二度关系计算任务缓冲区1208中
(5)二度关系计算任务缓冲区1208对计算任务进行合并、调度和执行，最后生成二度通联关系记录1209，过程如下：
查询本地聚合数据表1205，找出该表中发起人ID等于计算任务1207中接收人ID的记录1210，以1207的发起人和1210的接收人组成二元组，插入到1207的结果集1212中；
查询本地聚合数据表1205，找出该表中接收人ID等于计算任务1207中发起人ID的记录1211，以1211的发起人和1207的接收人组成二元组，插入到1207的结果集1212中；
迭代结果集1212中的每一条记录，更新二度关系表1213。从而实现实时二度通联关系数据挖掘。
对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。
Claims (10)
1.一种实时二度通联关系数据挖掘的方法，其特征在于，所述方法包括：
实时采集原始话单数据并对所述话单数据预处理以形成明细数据；
将所述明细数据以流式方式写入至满足预设条件的内存数据库中，所述内存数据库根据所述明细数据所处的分区，将计算模式以及所述明细数据调度到相应的分区，在所述内存数据库中对所述明细数据执行数据聚合逻辑，并实时计算出二度通联关系记录数据，从而实现实时二度通联关系数据挖掘。
2.根据权利要求1所述的实时二度通联关系数据挖掘的方法，其特征在于，所述实时采集原始话单数据并对所述话单数据预处理以形成明细数据，具体包括：
实时采集原始话单数据加入到消息队列中，从所述消息队列中提取数据进行预处理，去掉非法数据以及冗余数据，并与维表关联形成明细数据。
3.根据权利要求2所述的实时二度通联关系数据挖掘的方法，其特征在于，所述原始话单数据包括发起人ID、接收人ID、发起时间、联系时长。
4.根据权利要求3所述的实时二度通联关系数据挖掘的方法，其特征在于，所述从所述消息队列中提取数据进行预处理，去掉非法数据以及冗余数据，并与维表关联形成明细数据，还包括：
对采集的原始话单数据进行逐条数据的合法性检测，若当前数据合法，则进入下一步，否则丢弃当前数据并继续检查下一条数据的合法性；
采用布隆过滤器对经过合法性检查的数据进行冗余性检测，如果是冗余数据则丢弃，并继续检测下一条数据，如果不是冗余数据则进入下一步；
将经过冗余性检测的数据与维表数据关联，从而形成明细数据。
5.根据权利要求4所述的实时二度通联关系数据挖掘的方法，其特征在于，合法性检测的步骤包括：
整条记录的长度是否正确，如果正确则判定合法，否则判定为非法；
整条记录中联系发起人字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中联系接收人字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中通话时长字段是否存在，如果存在则判定合法，否则判定为非法；
整条记录中通话开始时间是否存在，如果存在则判定合法，否则判定为非法；
通话开始时间的格式是否正确，如果正确则判定合法，否则判定为非法。
6.根据权利要求4所述的实时二度通联关系数据挖掘的方法，其特征在于，所述冗余性检测的步骤包括：
读取满足合法性检测的数据；
提取数据中的发起人、接收人、通话开始时间3个字段；
使用布隆过滤器进行计算，并把计算结果与位图进行位与操作；
判断位与结果是否为0，如果为0则判定为不冗余，否则判定为冗余。
7.根据权利要求1所述的实时二度通联关系数据挖掘的方法，其特征在于，在所述满足预设条件的内存数据库包括，所述内存数据库具有弹性扩展的分布式架构、支持多并发读写、高吞吐且毫秒级的延时、断电重启不会丢失数据的持久化存储以及算子下沉模式功能。
8.根据权利要求7所述的实时二度通联关系数据挖掘的方法，其特征在于，所述内存数据库中对所述明细数据执行数据聚合逻辑，并实时计算出二度关系数据，具体包括：
内存数据库客户端获取数据分桶信息，并根据所述明细数据中发起人、接收人两个字段计算数据所处分桶位置，并定位到对应的服务器；
内存数据库客户端生成明细数据聚合执行任务实例，并与明细数据一起序列化之后，提交到服务器；
所述服务器在接收到所述任务实例后，执行数据聚合逻辑，生成或更新聚合数据记录；
根据更新后的聚合数据记录，生成新的二度关系计算任务，并将其插入二度关系计算任务缓冲区中；
二度关系计算任务缓冲区对计算任务进行合并、调度和执行，最后生成二度通联关系记录。
9.根据权利要求8所述的实时二度通联关系数据挖掘的方法，其特征在于，所述服务器在接收到所述任务实例后，执行数据聚合逻辑，生成或更新聚合数据记录，包括：根据任务实例中记录的发起人、接收人两个字段查询本地聚合数据表；查询获得聚合数据记录，如果不存在则创建该记录；如果存在，则进行更新，更新聚合数据记录中的通话次数、最长通话时间、总通话时长字段。
10.根据权利要求8所述的实时二度通联关系数据挖掘的方法，其特征在于，所述二度关系计算任务缓冲区对计算任务进行合并、调度和执行，最后生成二度通联关系记录，包括：
查询本地聚合数据表，分别找出该表中发起人ID等于二度关系计算任务中接收人ID的记录、接收人ID等于二度关系计算任务中发起人ID的记录，再分别以二度关系计算任务的发起人和接收人ID的记录的接收人组成二元组、以发起人ID的记录的发起人和二度关系计算任务的接收人组成二元组，将组成的两个二元组插入到二度关系计算任务的结果集中；
迭代结果集中的每一条记录，更新二度关系表，最后生成二度通联关系记录。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010671208.1A CN111813833B (zh) | 2020-07-13 | 2020-07-13 | 一种实时二度通联关系数据挖掘的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010671208.1A CN111813833B (zh) | 2020-07-13 | 2020-07-13 | 一种实时二度通联关系数据挖掘的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111813833A true CN111813833A (zh) | 2020-10-23 |
| CN111813833B CN111813833B (zh) | 2024-03-26 |
Family
ID=72843112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010671208.1A Active CN111813833B (zh) | 2020-07-13 | 2020-07-13 | 一种实时二度通联关系数据挖掘的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111813833B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115328974A (zh) * | 2022-10-12 | 2022-11-11 | 南斗六星系统集成有限公司 | 一种数据实时性检测方法、装置、设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101542235B1 (ko) * | 2015-01-23 | 2015-08-06 | 주식회사 프로이트 | 실시간 데이터 마이닝 방법 |
| CN105930466A (zh) * | 2016-04-21 | 2016-09-07 | 成都数联铭品科技有限公司 | 一种海量数据处理方法 |
| CN110619055A (zh) * | 2019-09-11 | 2019-12-27 | 深圳众赢维融科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-07-13 CN CN202010671208.1A patent/CN111813833B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101542235B1 (ko) * | 2015-01-23 | 2015-08-06 | 주식회사 프로이트 | 실시간 데이터 마이닝 방법 |
| CN105930466A (zh) * | 2016-04-21 | 2016-09-07 | 成都数联铭品科技有限公司 | 一种海量数据处理方法 |
| CN110619055A (zh) * | 2019-09-11 | 2019-12-27 | 深圳众赢维融科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 简伟光;: "数据整合与数据挖掘技术在医疗保险信息系统的研究与应用", 现代计算机(专业版), no. 11, 25 October 2010 (2010-10-25), pages 49 - 53 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115328974A (zh) * | 2022-10-12 | 2022-11-11 | 南斗六星系统集成有限公司 | 一种数据实时性检测方法、装置、设备及可读存储介质 |
| CN115328974B (zh) * | 2022-10-12 | 2022-12-13 | 南斗六星系统集成有限公司 | 一种数据实时性检测方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111813833B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105824744B (zh) | 一种基于b2b平台的实时日志采集分析方法 | |
| CN106790718A (zh) | 服务调用链路分析方法及系统 | |
| US9185235B2 (en) | Aggregating data in a mediation system | |
| CN106815254B (zh) | 一种数据处理方法和装置 | |
| CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
| CN110928851B (zh) | 处理日志信息的方法、装置、设备及存储介质 | |
| JP2017511066A (ja) | 位置情報サービスを実施するための方法、装置、およびシステム | |
| CN111177222A (zh) | 模型测试方法、装置及计算设备、存储介质 | |
| CN111638948B (zh) | 多通道高可用的大数据实时决策系统及决策方法 | |
| CN113612749A (zh) | 一种面向入侵行为的溯源数据聚类方法及装置 | |
| CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
| CN110704484A (zh) | 一种对海量实时数据流进行处理的方法及系统 | |
| CN109062769B (zh) | It系统性能风险趋势预测的方法、装置和设备 | |
| CN111522786A (zh) | 日志处理系统及方法 | |
| CN112738172A (zh) | 区块链节点的管理方法、装置、计算机设备和存储介质 | |
| CN109992469B (zh) | 一种合并日志的方法及装置 | |
| CN111813833B (zh) | 一种实时二度通联关系数据挖掘的方法 | |
| CN107133321B (zh) | 页面的搜索特性的分析方法和分析装置 | |
| JP2001077813A (ja) | ネットワーク情報管理装置とネットワーク情報管理方法およびその処理プログラムを記録した記録媒体 | |
| CN116600329A (zh) | 一种消息错误识别码定界方法及装置 | |
| CN106326400A (zh) | 基于多维数据集的数据处理系统 | |
| CN113269558A (zh) | 分布式系统中交易处理的方法及装置 | |
| CN113407491A (zh) | 数据处理方法及装置 | |
| CN111061719A (zh) | 数据收集方法、装置、设备和存储介质 | |
| CN116016262B (zh) | 一种基于并查集实时检测调用链连贯性的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |