CN117493618A - 一种基于人脉图谱的客户关系管理方法、装置及相关介质 - Google Patents
一种基于人脉图谱的客户关系管理方法、装置及相关介质 Download PDFInfo
- Publication number
- CN117493618A CN117493618A CN202311840644.7A CN202311840644A CN117493618A CN 117493618 A CN117493618 A CN 117493618A CN 202311840644 A CN202311840644 A CN 202311840644A CN 117493618 A CN117493618 A CN 117493618A
- Authority
- CN
- China
- Prior art keywords
- user
- message
- data
- graph
- file system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 59
- 238000007726 management method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 29
- 239000000463 material Substances 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000009517 secondary packaging Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 13
- 208000022417 sinus histiocytosis with massive lymphadenopathy Diseases 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000412611 Consul Species 0.000 description 2
- 241001362551 Samba Species 0.000 description 2
- 241001080526 Vertica Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 102100038367 Gremlin-1 Human genes 0.000 description 1
- 240000000797 Hibiscus cannabinus Species 0.000 description 1
- 101001032872 Homo sapiens Gremlin-1 Proteins 0.000 description 1
- 235000002905 Rumex vesicarius Nutrition 0.000 description 1
- 241001178520 Stomatepia mongo Species 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于人脉图谱的客户关系管理方法、装置及相关介质，该方法包括：响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息；其中，所述数字物料由第二用户传送；通过图计算服务监听所述第一MQ消息，并当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中；响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果。本发明可提高客户资源管理效果，从而提高营销成功率。
Description
技术领域
本发明涉及计算机软件技术领域，特别涉及一种基于人脉图谱的客户关系管理方法、装置及相关介质。
背景技术
随着企业数字化办公浪潮不断发展，企业销售人员的营销活动也逐渐从线下慢慢迁移到线上，因此大多企业采购了智能办公SaaS服务（Software as a Service，软件运营服务），从而通过小程序、App等线上方式来实现营销获客的行为活动。由于销售人员每天开展营销活动频次越来越高，那么通过营销活动带来的数据也越来越多，而当前大多数客户关系管理系统（CRM）只是单纯维护客户数据，例如客户资料更新、客户状态更新以及客户订单成交等，但是并没有对客户的相关行为数据进行分析，从而导致客户数据比较孤立，致使销售人员无法追溯客户完整数据业务链条，进而导致企业在进行线上营销的过程中所产生的效果并不理想。另外，当前大多数客户关系管理系统还容易出现如下问题：客户来源不清晰、客户浏览行为不明确、客户数据在业务层面不清晰等。因此，如何提高客户管理效果，从而提高线上营销效果是本领域技术人员需要解决的问题。
发明内容
本发明实施例提供了一种基于人脉图谱的客户关系管理方法、装置、计算机设备及存储介质，旨在提高对于客户资源的管理效果，从而提高营销成功率。
第一方面，本发明实施例提供了一种基于人脉图谱的客户关系管理方法，包括：
响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息；其中，所述数字物料由第二用户传送；
通过图计算服务监听所述第一MQ消息，并当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中；
响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果。
第二方面，本发明实施例提供了一种基于人脉图谱的客户关系管理装置，包括：
创建或更新单元，用于响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息；其中，所述数字物料由第二用户传送；
数据生成单元，用于通过图计算服务监听所述第一MQ消息，并当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中；
数据查询单元，用于响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于人脉图谱的客户关系管理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于人脉图谱的客户关系管理方法。
本发明实施例提供了一种基于人脉图谱的客户关系管理方法、装置、计算机设备及存储介质，该方法包括：响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息；其中，所述数字物料由第二用户传送；通过图计算服务监听所述第一MQ消息，并当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中；响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果。本发明实施例通过对第一用户生成人脉图谱，来提高对于第一用户的客户资源管理效果，同时使第二用户能够根据第一用户的人脉图谱，来从多维度地了解第一用户的浏览倾向，从而提高第二用户的营销成功率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于人脉图谱的客户关系管理方法的流程示意图；
图2为本发明实施例提供的一种基于人脉图谱的客户关系管理方法的逻辑框图；
图3为本发明实施例提供的一种基于人脉图谱的客户关系管理方法的另一逻辑框图；
图4为本发明实施例提供的一种基于人脉图谱的客户关系管理装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种基于人脉图谱的客户关系管理方法的流程示意图，具体包括：步骤S101~S103。
S101、响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息；其中，所述数字物料由第二用户传送；
S102、通过图计算服务监听所述第一MQ消息，并当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中；
S103、响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果。
本实施例中，首先根据第一用户浏览数字物料时产生的浏览动作，来创建或者更新关于第一用户的用户线索信息，然后发送有关于该用户线索信息的第一MQ消息。当图计算服务监听到该第一MQ消息时，对其进行图计算处理，以生成相应的人脉图谱数据，并保存是Hadoop分布式文件系统HDFS中。当第二用户需要进行数据查询时，通过图遍历语言对存储人脉图谱数据的HDFS进行查询，并从中提取相应的数据返回至第二用户。本实施例通过对第一用户生成人脉图谱，来提高对于第一用户的客户资源管理效果，同时使第二用户能够根据第一用户的人脉图谱，来从多维度地了解第一用户的浏览倾向，从而提高第二用户的营销成功率。
图计算是以图作为数据模型来表达问题并予以解决的过程，包括GraphLab、GraphX、Giraph及Gelly等等。其中，GraphLab是一种基于图像处理模型的开源图计算框架，框架使用C++语言开发实现。该框架是面向机器学习（ML）的流处理并行计算框架，可以运行在多处理机的单机系统、集群或是亚马逊的EC2 等多种环境下。框架的设计目标是像MapReduce一样高度抽象，可以高效执行与机器学习相关的、具有稀疏的计算依赖特性的迭代性算法，并且保证计算过程中数据的高度一致性和高效的并行计算性能。GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。Giraph是一种图计算引擎，基于hadoop，编程模型接近于Pregel，主要卖点是支持大图。
在具体实施例中，本实施例所述的第一用户为营销对象或者说客户，而第二用户即为销售人员，同时，客户的浏览动作可以发生在应用程序上，也可以发生在服务器网页资源上，还可以发生在终端小程序上等等。例如，当客户在应用程序上浏览销售人员分享的数字物料时，便会产生相应的浏览动作，此时便可以根据该浏览动作生成相应的人脉图谱，以使销售人员在后续查询过程中能够了解到客户的浏览动作，从而获取客户的兴趣爱好以及对数字物料的兴趣度，进而使整体线上营销活动更加智能化，并提高线上营销的时效性和体验感。当然，可以理解的是，本实施例在生成人脉图谱时，并不仅仅依靠客户的浏览数据，还会包含客户的信息，例如客户ID、客户历史浏览数据、购买数据等等，如此可以方便销售人员对客户资源数据的关系溯源，实现销售人员对客户资源的方便管理、及时掌握，防止客户资源流失等效果。
在实际应用场景中，企业的销售人员在移动终端App 开展线上营销活动，销售人员可不受场地与时间的限制来获取客户。销售人员通过在App查询客户浏览数字物料的信息，如浏览文章、视频、文件等，可以帮助销售人员实时的了解到用户的操作动向与兴趣爱好。人脉图谱的信息通常包括销售人员的所有的客户、客户浏览数字物料的统计数据以及通过客户介绍发展的客户对应的业务链条数据等。例如旅游图谱、美食图谱、服务质量、数据血缘管理、企业组织架构等业务场景中，可以采用顶点来表示现实世界里面的实体，用边来表示多个顶点之间的行为，然后使用图数据库来解决数据的存储以及查询问题，以及使用图计算来对业务进行建模，描述复杂的业务关系。
此外，在创建用户线索信息以及发送MQ消息等涉及到数据处理、数据传送的过程时，可以采用加密算法对其进行加密处理。例如可以采用对称式加密，即加密和解密使用同一个密钥，通常称之为“Session Key ”这种加密技术在当今被广泛采用，如DES加密标准就是一种典型的“对称式”加密法，它的Session Key长度为56bits。又或者是采用非对称式加密，即加密和解密所使用的不是同一个密钥，通常有两个密钥，称为“公钥”和“私钥”，它们两个必需配对使用，否则不能打开加密文件。这里的“公钥”是指可以对外公布的，“私钥”则不能，只能由持有人一个人知道。它的优越性就在这里，因为对称式的加密方法如果是在网络上传输加密文件就很难不把密钥告诉对方，不管用什么方法都有可能被别人窃听到。而非对称式的加密方法有两个密钥，且其中的“公钥”是可以公开的，也就不怕别人知道，收件人解密时只要用自己的私钥即可以，这样就很好地避免了密钥的传输安全性问题。
同时，还对用户的浏览动作数据和MQ消息等数据进行数据处理，包括缺失值处理和异常值处理等，对于检测到缺失值和删除的异常值，还可以对其进行插值填补。在实际应用过程中，可以采用属性的集中趋势度量（均值/中位数/众数）进行插补。
在一实施例中，所述步骤S101包括：
当第一用户对数字物料进行浏览时，判断所述第一用户是否为新用户；
若判定所述第一用户为新用户，则为所述第一用户创建用户账号，并发送关于用户账号创建成功的第二MQ消息；
若判定所述第一用户不为新用户，则获取所述第一用户的用户账号，并根据所述第一用户的浏览动作，对所述用户账号进行更新，然后发送关于用户浏览动作的第三MQ消息。
本实施例中，当第一用户浏览数字物料时，首先判断其是否为已经记录在册的客户，如果第一用户为新用户，则为其创建相应的用户账号，并在创建成功后发送MQ消息。而如果第一用户为老用户，则表明其已经存在相应的用户账户，那么此时可以依据对于数字物料的浏览动作来对老用户的用户账号进行更新，然后发送相应的MQ消息。
如图2所示，用户首先通过H5页面或者小程序进行数字物料界面，对其进行浏览，此时判断用户是否存在。如果用户存在，则通过数据统计服务获取更新统计数据，并发送MQ广播消息，而如果用户不存在，则通过用户中心服务创建用户，并发送MQ广播消息。
在一实施例中，所述步骤S101还包括：
基于所述第二MQ消息，调用客户关系管理系统生成关于第一用户的用户线索信息；
或者，基于所述第三MQ消息，调用客户关系管理系统获取所述第一用户的用户线索信息，并根据所述第一用户的浏览动作对所述线索信息进行更新；
根据所述用户线索信息发送所述第一MQ消息。
本实施例中，如果监听到第二MQ消息，则通过客户关系管理系统创建用户线索信息，如果监听到第三MQ消息，则通过客户关系管理系统更新用户线索信息。如图2所示，在创建用户线索信息之前，会对第一用户进行校验，即对其身份进行校验，并在校验通过后才能够创建用户线索信息。
在一实施例中，所述步骤S102包括：
通过消息队列接收所述第一MQ消息，并由消息队列输出对应的消息流；
利用Hadoop分布式系统中的yarn 组件将所述消息流保存至Hadoop分布式文件系统中。
本实施例利用大数据图计算服务监听MQ消息，然后由消息队列（Kafka）将监听到的MQ消息输出为消息流，并在Flink（一种分层架构系统）基础上接受来自Kafka的数据，再通过Hadoop分布式系统基础架构中的yarn组件，将Kafka输出的消息流保存到HDFS中，从而可以在HDFS对数据进行批处理分析。Flink是一种针对流数据+批数据的计算框架，其把批数据看作流数据的一种特例，延迟性较低(毫秒级)，且能够保证消息传输不丢失不重复。批量计算是指对静态数据的批量处理，即当开始计算之前数据已经准备到位，主要用于数据挖掘和验证业务模型，包括MapReduce、hive等等。其中，Hadoop MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算，概念"Map（映射）"和"Reduce（归约）"是它们的主要思想，极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上；hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源，防止造成"脏数据"的后果，主要包括zookeeper、eureka、consul等等。其中，Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Eureka是Netflix开发的服务发现框架，本身是一个基于REST的服务，主要用于定位运行在AWS域中的中间层服务，以达到负载均衡和中间层服务故障转移的目的。Consul是google开源的一个使用go语言开发的服务发现、配置管理中心服务。内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具。
集群管理及调度主要负责将集群中的硬件资源以一定的策略分配给不同的计算任务，主要包括Ambori、MESOS、YARN等等。其中，Ambori是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等等。MESOS是可以将整个数据中心的资源（包括CPU、内存、存储、网络等）进行抽象和调度，让应用共享集群资源，并无需关心资源的分布情况。YARN是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
具体来说，在Flink程序中，使用Kafka consumer API来连接Kafka，并订阅指定的topic，从而获取实时消息流。对获取的消息流进行transformations操作，实现业务逻辑。然后将转换后的数据写入HDFS。在这里，Flink提供了连接 HDFS的sink连接器，如此便可以指定HDFS的路径来存储结果数据。另外，在YARN session（内存集中管理模式）模式下，需要在提交Flink任务指定Hadoop的配置文件，以连接 HDFS集群。还有，本实施例中的yarn组件主要通过ResourceManager（资源管理）来负责资源的分配与调度，以及通过NodeManager启动容器来负责具体作业的运行。换句话说，在提交Flink作业时，需要指定Hadoop的配置，以连接YARN集群。而yarn组件的ResourceManager便可以根据资源情况将作业调度到空闲的NodeManager上执行。yarn组件为作业提供Computation资源，但不涉及作业对数据的处理。
在具体实施例中，在对获取的消息流进行transformations操作时，具体包括以下步骤：
（1）map(func)：对RDD中的每个元素应用一个函数，返回结果为新的RDD；
（2）filter(func)：过滤掉RDD中不符合条件的元素，返回值为新的RDD；
（3）flatMap(func)：与map类似，但每个输入项都可以映射到多个输出项，返回一个扁平化的新RDD；
（4）union(otherDataset)：将一个RDD与另一个RDD进行合并，返回一个包含两个RDD元素的新RDD；
（5）distinct(numTasks))：移除RDD中的重复项，返回包含不同元素的新RDD；
（6）groupByKey(numTasks)：将RDD中有相同键的元素分组成一个迭代器序列，返回一个(key, iterable)对的新RDD；
（7）reduceByKey(func, numTasks)：使用指定的reduce函数对具有相同key的值进行聚合；
（8）sortByKey(ascending, numTasks)：根据键排序RDD数据，返回一个排序后的新RDD。
进一步的，所述步骤S102还包括：
利用分布式图数据库对所述消息流进行图计算，得到人脉图谱数据；
将所述人脉图谱数据保存至Hadoop分布式文件系统中。
本实施例在将消息流保存至HDFS的同时，还会通过分布式图数据库JanusGraphServer对消息流进行图计算，以构建得到人脉图谱数据，并保存图数据中的顶点与边的对应关系，然后同样保存至HDFS中。具体来说，首先从Kafka中获取消息流，然后对获取的消息流进行预处理，包括数据清洗、格式转换以及数据筛选等等。如此可以确保数据的质量和适应性，以便后续的图计算和图数据库存储。接着将经过预处理的数据存储到JanusGraph图数据库中。这包括将数据以图的形式存储，定义节点和边的属性，以及建立适当的索引以优化查询性能。再利用大数据图计算服务执行图算法，具体可以包括遍历、路径分析、社交网络分析、图聚类等，通过这些图算法可对图结构数据进行深入分析和挖掘。在分析完成后，结果可以被输出到不同的目标，例如将计算结果存储回图数据库中，并输出到其他数据存储系统(MySQL、MongoDB、Redis)，又或者是通过Restful API或SDK提供给其他应用程序使用。
图数据库是NoSQL数据库的一种类型，它应用图形理论存储实体之间的关系信息。最常见例子就是社会网络中人与人之间的关系。关系型数据库用于存储“关系型”数据的效果并不好，其查询复杂、缓慢、超出预期，而图形数据库的独特设计恰恰弥补了这个缺陷，主要包括Neo4j、OrientDB等等。Neo4j是一个高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中，Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。OrientDB是一个开源的多模型NoSQL数据库，支持原生图形、文档全文、响应性、地理空间和面向对象等概念。它使用Java编写，速度非常快：在普通硬件上，每秒可存储 220,000 条记录。对于文档数据库，它还支持ACID事务处理。文档数据库被用来管理文档，在传统的数据库中，信息被分割成离散的数据段，而在文档数据库中，文档是处理信息的基本单位，包括mongoDB、CouchDB、MarkLogic等等。mongoDB是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为WEB 应用提供可扩展的高性能数据存储解决方案，它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大。CouchDB是一个开源的面向文档的数据库管理系统，可以通过 RESTfulJavaScript Object Notation (JSON) API 访问。术语 “Couch” 是 “Cluster OfUnreliable Commodity Hardware” 的首字母缩写，它反映了 CouchDB 的目标具有高度可伸缩性，提供了高可用性和高可靠性，即使运行在容易出现故障的硬件上也是如此。分析型数据库是面向分析应用的数据库，与传统的数据库不同，它可以对数据进行在线统计、数据在线分析、随即查询等操作，是数据库产品一个重要的分支，主要包括Greenplum、VERTICA、GBASE等等。其中，Greenplum是指Greenplum DW/BI软件可以在虚拟化x86服务器上运行无分享（shared-nothing）的大规模并行处理MPP架构。VERTICA是一款基于列存储的MPP（massively parallel processing）架构的数据库。Clickhouse是一款MPP架构的列式存储数据库，其从OLAP场景需求出发，定制开发了一套全新的高效列式存储引擎，并且实现了数据有序存储、主键索引、稀疏索引、数据Sharding、数据Partitioning、TTL、主备复制等丰富功能。以上功能共同为ClickHouse极速的分析性能奠定了基础。KV数据库是一种key-value分布式存储系统，其具有查询速度快、存放数据量大、支持高并发等优势，非常适合通过主键进行查询，但不能进行复杂的条件查询，主要包括redis及memcached等等。Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的API。memcached是一个自由开源的、高性能、分布式内存对象缓存系统。
另外，文件存储的数据是以一个个文件的形式来管理，操作对象是文件和文件夹，存储协议是NFS、SAMBA（SMB）、POSIX等，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式文件存储提供了并行化的能力，主要包括HDFS、ceph、GlusterFS等等。其中，HDFS是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System），是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。GlusterFS是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。
在一实施例中，所述步骤S103包括：
获取所述查询请求中的验证标识；
对所述验证标识进行校验；
若所述验证标识校验通过，则根据所述查询请求对所述Hadoop分布式文件系统进行数据查询；
若所述验证标识校验未通过，则向第二用户的终端返回校验失败通知。
进一步的，所述步骤S103还包括：
利用图遍历语言对分布式图数据库进行数据查询，得到数据查询结果；
对所述数据查询结果进行二次封装，并将封装后的数据查询结果返回至第二用户；其中，二次封装包括对所述数据查询结果进行补全操作。
本实施例中，结合图4，当接收当第二用户，即销售人员的查询请求时，首先对销售人员进行校验，具体的，通过查询请求中的验证标识（例如销售人员的标识ID等）来判断是否校验通过。如果校验不通过，则无法继续进行查询。如果校验通过，则可以根据查询请求，然后在大数据图计算服务下，通过图遍历语言gremlin对分布式图数据库进行查询，进而从HDFS中提取相应的查询人脉图谱结果。随后针对数据查询结果，对其进行二次封装后再返回至销售人员。本实施之所以对数据查询结果进行二次封装时，是考虑到人脉图谱中主要包含的ID标识，但是并没有存储ID标识对应的具体信息，因此在得到一系列ID标识后，会根据ID标识去查询对应的具体信息，例如通过card Id等工具对企业中心服务（即处理与销售人员相关的业务，如用户的创建、更新、删除等）进行查询，以对销售人员的ID标识补全销售人员信息，又例如通过user Id等对用户中心服务（即处理与客户相关的业务，如客户的创建、更新、删除等）进行查询，以补全用户ID标识对应的用户信息。
图4为本发明实施例提供的一种基于人脉图谱的客户关系管理装置400的示意性框图，该装置400包括：
创建或更新单元401，用于响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息；其中，所述数字物料由第二用户传送；
数据生成单元402，用于通过图计算服务监听所述第一MQ消息，并当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中；
数据查询单元403，用于响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果。
在一实施例中，所述创建或更新单元401包括：
用户判断单元，用于当第一用户对数字物料进行浏览时，判断所述第一用户是否为新用户；
账号创建单元，用于若判定所述第一用户为新用户，则为所述第一用户创建用户账号，并发送关于用户账号创建成功的第二MQ消息；
账号更新单元，用于若判定所述第一用户不为新用户，则获取所述第一用户的用户账号，并根据所述第一用户的浏览动作，对所述用户账号进行更新，然后发送关于用户浏览动作的第三MQ消息。
在一实施例中，所述创建或更新单元401还包括：
线索生成单元，用于基于所述第二MQ消息，调用客户关系管理系统生成关于第一用户的用户线索信息；
线索更新单元，用于或者，基于所述第三MQ消息，调用客户关系管理系统获取所述第一用户的用户线索信息，并根据所述第一用户的浏览动作对所述线索信息进行更新；
消息发送单元，用于根据所述用户线索信息发送所述第一MQ消息。
在一实施例中，所述数据生成单元402包括：
消息接收单元，用于通过消息队列接收所述第一MQ消息，并由消息队列输出对应的消息流；
消息流保存单元，用于利用Hadoop分布式系统中的yarn 组件将所述消息流保存至Hadoop分布式文件系统中。
在一实施例中，所述数据生成单元402还包括：
图计算单元，用于利用分布式图数据库对所述消息流进行图计算，得到人脉图谱数据；
图谱保存单元，用于将所述人脉图谱数据保存至Hadoop分布式文件系统中。
在一实施例中，所述数据查询单元403包括：
标识获取单元，用于获取所述查询请求中的验证标识；
标识校验单元，用于对所述验证标识进行校验；
校验通过单元，用于若所述验证标识校验通过，则根据所述查询请求对所述Hadoop分布式文件系统进行数据查询；
校验未通过单元，用于若所述验证标识校验未通过，则向第二用户的终端返回校验失败通知。
在一实施例中，所述数据查询单元403还包括：
数据库查询单元，用于利用图遍历语言对分布式图数据库进行数据查询，得到数据查询结果；
结果封装单元，用于对所述数据查询结果进行二次封装，并将封装后的数据查询结果返回至第二用户；其中，二次封装包括对所述数据查询结果进行补全操作。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于人脉图谱的客户关系管理方法，其特征在于，包括：
响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息；其中，所述数字物料由第二用户传送；
通过图计算服务监听所述第一MQ消息，并当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中；
响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果。
2.根据权利要求1所述的基于人脉图谱的客户关系管理方法，其特征在于，所述响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息，包括：
当第一用户对数字物料进行浏览时，判断所述第一用户是否为新用户；
若判定所述第一用户为新用户，则为所述第一用户创建用户账号，并发送关于用户账号创建成功的第二MQ消息；
若判定所述第一用户不为新用户，则获取所述第一用户的用户账号，并根据所述第一用户的浏览动作，对所述用户账号进行更新，然后发送关于用户浏览动作的第三MQ消息。
3.根据权利要求2所述的基于人脉图谱的客户关系管理方法，其特征在于，所述响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息，还包括：
基于所述第二MQ消息，调用客户关系管理系统生成关于第一用户的用户线索信息；
或者，基于所述第三MQ消息，调用客户关系管理系统获取所述第一用户的用户线索信息，并根据所述第一用户的浏览动作对所述线索信息进行更新；
根据所述用户线索信息发送所述第一MQ消息。
4.根据权利要求1所述的基于人脉图谱的客户关系管理方法，其特征在于，所述当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中，包括：
通过消息队列接收所述第一MQ消息，并由消息队列输出对应的消息流；
利用Hadoop分布式系统中的yarn 组件将所述消息流保存至Hadoop分布式文件系统中。
5.根据权利要求4所述的基于人脉图谱的客户关系管理方法，其特征在于，所述当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中，还包括：
利用分布式图数据库对所述消息流进行图计算，得到人脉图谱数据；
将所述人脉图谱数据保存至Hadoop分布式文件系统中。
6.根据权利要求1所述的基于人脉图谱的客户关系管理方法，其特征在于，所述响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果，包括：
获取所述查询请求中的验证标识；
对所述验证标识进行校验；
若所述验证标识校验通过，则根据所述查询请求对所述Hadoop分布式文件系统进行数据查询；
若所述验证标识校验未通过，则向第二用户的终端返回校验失败通知。
7.根据权利要求6所述的基于人脉图谱的客户关系管理方法，其特征在于，所述响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果，还包括：
利用图遍历语言对分布式图数据库进行数据查询，得到数据查询结果；
对所述数据查询结果进行二次封装，并将封装后的数据查询结果返回至第二用户；其中，二次封装包括对所述数据查询结果进行补全操作。
8.一种基于人脉图谱的客户关系管理装置，其特征在于，包括：
创建或更新单元，用于响应于第一用户对数字物料的浏览动作，创建或更新用户线索信息，并生成关于用户线索信息的第一MQ消息；其中，所述数字物料由第二用户传送；
数据生成单元，用于通过图计算服务监听所述第一MQ消息，并当监听到所述第一MQ消息时，对所述第一MQ消息进行图计算处理，以得到对应的人脉图谱数据，然后将所述人脉图谱数据存储至Hadoop分布式文件系统中；
数据查询单元，用于响应于第二用户对所述人脉图谱数据的查询请求，对所述查询请求进行校验，并在校验通过后通过图遍历语言对所述Hadoop分布式文件系统进行数据查询，并向第二用户返回对应的数据查询结果。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于人脉图谱的客户关系管理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于人脉图谱的客户关系管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311840644.7A CN117493618B (zh) | 2023-12-29 | 2023-12-29 | 一种基于人脉图谱的客户关系管理方法、装置及相关介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311840644.7A CN117493618B (zh) | 2023-12-29 | 2023-12-29 | 一种基于人脉图谱的客户关系管理方法、装置及相关介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117493618A true CN117493618A (zh) | 2024-02-02 |
| CN117493618B CN117493618B (zh) | 2024-04-09 |
Family
ID=89669286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311840644.7A Active CN117493618B (zh) | 2023-12-29 | 2023-12-29 | 一种基于人脉图谱的客户关系管理方法、装置及相关介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117493618B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838814A (zh) * | 2013-11-22 | 2014-06-04 | 南京欣网视讯信息技术有限公司 | 一种动态展示人脉图谱关系的方法 |
| CN110750774A (zh) * | 2019-10-21 | 2020-02-04 | 深圳众赢维融科技有限公司 | 身份识别的方法及装置 |
| CN115774824A (zh) * | 2023-02-10 | 2023-03-10 | 深圳市加推科技有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
| CN116739647A (zh) * | 2023-08-16 | 2023-09-12 | 深圳市加推科技有限公司 | 一种营销数据智能分析方法及系统 |
-
2023
- 2023-12-29 CN CN202311840644.7A patent/CN117493618B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838814A (zh) * | 2013-11-22 | 2014-06-04 | 南京欣网视讯信息技术有限公司 | 一种动态展示人脉图谱关系的方法 |
| CN110750774A (zh) * | 2019-10-21 | 2020-02-04 | 深圳众赢维融科技有限公司 | 身份识别的方法及装置 |
| CN115774824A (zh) * | 2023-02-10 | 2023-03-10 | 深圳市加推科技有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
| CN116739647A (zh) * | 2023-08-16 | 2023-09-12 | 深圳市加推科技有限公司 | 一种营销数据智能分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117493618B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200242129A1 (en) | System and method to improve data synchronization and integration of heterogeneous databases distributed across enterprise and cloud using bi-directional transactional bus of asynchronous change data system | |
| Varia | Cloud architectures | |
| Chauhan et al. | Performance evaluation of Yahoo! S4: A first look | |
| CN110019267A (zh) | 一种元数据更新方法、装置、系统、电子设备及存储介质 | |
| Azzam et al. | SMART-KG: hybrid shipping for SPARQL querying on the web | |
| CN107343021A (zh) | 国网云中应用的一种基于大数据的日志管理系统 | |
| CN112199427A (zh) | 一种数据处理方法和系统 | |
| US10182104B1 (en) | Automatic propagation of resource attributes in a provider network according to propagation criteria | |
| US11892976B2 (en) | Enhanced search performance using data model summaries stored in a remote data store | |
| Grinev et al. | Analytics for the real-time web | |
| Bansal et al. | Big data streaming with spark | |
| US20220044144A1 (en) | Real time model cascades and derived feature hierarchy | |
| CN117493618B (zh) | 一种基于人脉图谱的客户关系管理方法、装置及相关介质 | |
| Choudhary et al. | A real-time fault tolerant and scalable recommender system design based on Kafka | |
| US20230052612A1 (en) | Multilayer processing engine in a data analytics system | |
| US11609933B1 (en) | Atomic partition scheme updates to store items in partitions of a time series database | |
| CN107679096B (zh) | 数据集市间指标共享的方法和装置 | |
| US11841827B2 (en) | Facilitating generation of data model summaries | |
| Chakraborty et al. | A proposal for high availability of HDFS architecture based on threshold limit and saturation limit of the namenode | |
| CN114357280A (zh) | 一种信息推送方法、装置、电子设备及计算机可读介质 | |
| Pandit et al. | Log mining based on hadoop’s map and reduce technique | |
| Taori et al. | Big Data Management | |
| Sanaboyina | Performance evaluation of time series databases based on energy consumption | |
| Andersen et al. | Semi-clustering that scales: an empirical evaluation of GraphX | |
| US11757703B1 (en) | Access requests processing and failover handling across multiple fault tolerance zones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |