CN111178722A - 适用于销售线索评级和分配的机器学习系统、方法及介质 - Google Patents
适用于销售线索评级和分配的机器学习系统、方法及介质 Download PDFInfo
- Publication number
- CN111178722A CN111178722A CN201911330194.0A CN201911330194A CN111178722A CN 111178722 A CN111178722 A CN 111178722A CN 201911330194 A CN201911330194 A CN 201911330194A CN 111178722 A CN111178722 A CN 111178722A
- Authority
- CN
- China
- Prior art keywords
- model
- rating
- variable
- external data
- sales
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 63
- 238000010801 machine learning Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 46
- 230000000694 effects Effects 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000004220 aggregation Methods 0.000 claims abstract description 11
- 230000002776 aggregation Effects 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000008014 freezing Effects 0.000 claims abstract description 8
- 238000007710 freezing Methods 0.000 claims abstract description 8
- 238000013499 data model Methods 0.000 claims abstract description 6
- 238000012544 monitoring process Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000007637 random forest analysis Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 7
- 238000009795 derivation Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种适用于销售线索评级和分配的机器学习系统、方法及介质，包括：外部数据调用模块：调用评级所需的所有外部数据，将调用的外部数据和销售线索拼接在一起，传输至变量池处理模块；变量池处理模块：对评级所需的所有变量进行标准化及衍生工作；模型评级模块：根据经过标准化及衍生的变量完成变量分析、聚合及分箱，通过变量的多次筛选，参数的遍历，冻结最佳模型，实现部署时多模型同时工作，筛选出效果、性价比最佳的模型；分配模块：根据模型对销售线索的评级，结合员工的个人能力信息，将销售线索分配给员工。本发明能够构建机器学习的大数据模型，得出每条线索的意向评级分数；在线索评级之后可结合人员的能力智能分配。
Description
技术领域
本发明涉及计算机技术领域，具体地，涉及一种适用于汽车行业销售线索评级和分配的机器学习系统、方法及介质。
背景技术
随着移动互联网技术的发展，越来越来的购车者优先通过网络留资了解车型的相关信息，然后再入店-看车-试驾-购买，导致当前DCC(网电销)销量在整车销量里的占比已经达到30％以上，并且这个趋势还在逐年增高，经销商对于网络线索的重视程度也变得越来越高。
由于销售线索来自线上，渠道众多，来源复杂，其具有以下的一些特征：
(1)渠道种类和线索数量逐年增加，质量参差不齐
(2)随着终端需求越来越大，渠道端无效线索和参水线索情况也越发严重；
虽然DCC(网电销)对销量的贡献越来越大，但传统的跟进流程、管理思路当前还没有明显的变化，这也慢慢成为制约该流程精细化管理的绊脚石，这种方式的主要问题在于：
(1)在未知线索质量和有效性的情况下，被动式随机跟进线索，消耗了大量跟进无效或低意向线索的时间；
(2)无法让跟进专员有提前的预判，使得线索跟进工作较为枯燥，跟进专员持续跟进无效线索会影响工作积极性，员工的个人成就感降低，被跟进的客户体验也会变差。
(3)无法结合员工个人的能力，对评级线索进行智能分配，员工跟进的线索完全随机派发，员工的个人能力无法最大价值体现。
(4)DCC(网电销)清洗/跟进员工的离职率比较大，没有一个有效的机制让他们能够快速的上手，在处理过程中给予他们清晰的指导，形成一个自我有效管理的正向循环。
因此，传统的处理方式难以对工作中的人员效率、线索的价值实现最大程度的挖掘。
专利文献CN 110046933A公开了一种基于互联网的汽车销售线索自动化筛选系统，其主要功能点侧重在线索源的挖掘和线索信息的分类筛选，并不能给线索评级和智能分配。
专利文献CN 108647857A公开了一种基于层次分析法的汽车品牌线索分派方法，其主要功能点侧重针对汽车销售线索如何派发给对应的经销商，属于销售线索上游的处理流程，并不属于经销商端DCC(网电销)处理线索流程。
专利文献CN 109934673A公开了一种基于推荐系统的智能销售线索分配方法，其主要功能点侧重在线索信息和销售人员信息的结合形成线索智能分配给销售人员，并不属于汽车行业，有很多关于销售线索和销售人员的字段在汽车行业都是缺失的。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种适用于销售线索评级和分配的机器学习系统、方法及介质。
根据本发明提供的一种适用于销售线索评级和分配的机器学习系统，包括：
外部数据调用模块：调用评级所需的所有外部数据，将调用的外部数据和销售线索拼接在一起，传输至变量池处理模块；
变量池处理模块：对评级所需的所有变量进行标准化及衍生工作；
模型评级模块：根据经过标准化及衍生的变量完成变量分析、聚合及分箱，通过变量的多次筛选，参数的遍历，冻结最佳模型，实现部署时多模型同时工作，然后筛选出效果、性价比最佳的模型；
分配模块：根据模型对销售线索的评级，结合员工的个人能力信息，将销售线索分配给员工对应的账号。
优选地，所述外部数据调用模块包括：
调用跟进店意向、购车意向相关的外部数据；
调用的外部数据采用网络传输加密技术，接收时使用对应的key进行解密；
将调用的外部数据和销售线索拼接在一起。
优选地，所述变量池处理模块包括：变量规范配置子模块和变量处理子模块；
所述变量规范配置子模块包括：
定义原始留资数据输入的标准字段名称、数据格式；
定义原始留资数据输入的标准字段值域，超过值域的邮件报警；
所述变量处理子模块包括：
变量的衍生、聚合及分箱，针对同一变量输入规范化处理，将变量处理成后续输入训练的统一格式；
针对处理后的变量的层级，如果里面对应的正负样本个数少于30个数量以内，统一根据证据权重向上自动合并。
优选地，所述模型评级模块包括：模型训练子模块和模型部署子模块；
所述模型训练子模块包括：
将样本数据按照7:2:1的比例切分为，其中70％用于模型训练，20％用于模型测试，10％用于模型验证；
根据所述变量池处理模块的变量，计算所有的变量价值信息；
剩余的变量构建机器学习随机森林模型，计算变量的重要性，对变量进行初次筛选；
设计对应的模型变量框架，包括：a)框架输出模板：模型版本号-模型使用变量-头部提升度-头部召回-尾部提升度-尾部召回-模型洛伦兹曲线值-模型曲线下面积，其中提升度、召回又分为训练集、测试集、验证集；b)支持的算法包括逻辑回归、朴素贝叶斯、决策树、随机森林、XGBOOST、神经网络，最终综合训练集和验证集的结果，二次筛选出当前最优的变量和效果最好的模型；c)基于二次筛选的结果，通过网格搜索，确认最后的入模变量和模型参数；d)模型池构建：针对训练出来的结果，从外部数据类型、内部数据是否有留资地址、是否有留资渠道分别选择不同的最佳模型，形成包含多个模型的模型池；
所述模型部署子模块包括：
针对内部数据的情况设置不同的触发条件，根据不同外部数据部署4套模型；
每个主机厂/4S店调用时有4套不同的外部数据模型同时启动，按照25％：25％：25％：25％的比例同时运行
将最终的输出概率切换成对应的业务描述性语言；
运行一段时间后根据实际表现切换至效果、性价比最佳的模型。
优选地，所述分配模块包括：
智能分配：将评级结果较好的销售线索分配给高效员工，将评级结果较差的销售线索分配给低效员工；
平均分配：使各员工获取的各评级结果的销售线索的量一致；
随机分配：按照销售线索的到来时间先后顺序对员工进行循环分配。
优选地，所述适用于汽车销售线索评级和分配的机器学习系统还包括黑名单清洗模块，所述黑名单清洗模块包括：
企业内部黑名单子模块：过滤主机厂、经销商已收集的黑名单；
线上线索黑名单子模块：过滤线上虚假留资的黑名单；
外部黑名单子模块：过滤命中外部数据黑名单的销售线索。
优选地，所述适用于汽车销售线索评级和分配的机器学习系统还包括自主优化模块，所述自主优化模块获取销售线索的反馈信息，基于模型构建逻辑和评估指标，优化迭代所述模型。
优选地，所述适用于汽车销售线索评级和分配的机器学习系统还包括模型监控模块，所述模型监控模块包括：
模型入参变量监控：监控入参的变量是否值域超过模型训练的范围，监控模型应用实施时的输入数据的稳定性，以及实时根据反馈监控模型的效果和实验是否有差距。
根据本发明提供的一种适用于销售线索评级和分配的机器学习方法，包括：
外部数据调用步骤：调用评级所需的所有外部数据，将调用的外部数据和销售线索拼接在一起，传输至变量池处理步骤；
变量池处理步骤：对评级所需的所有变量进行标准化及衍生工作；
模型评级步骤：根据经过标准化及衍生的变量完成变量分析、聚合及分箱，通过变量的多次筛选，参数的遍历，冻结最佳模型，实现部署时多模型同时工作，然后筛选出效果、性价比最佳的模型；
分配步骤：根据模型对销售线索的评级，结合员工的个人能力信息，将销售线索分配给员工对应的账号。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
本发明是在网络线索跟进业务场景下，一方面通过使用线索留资数据，结合线索进店、线索成交、以及与购车意向相关的外部数据，构建机器学习的大数据模型，得出每一条线索的意向评级分数；另一方面在线索评级之后，结合DCC(网电销)人员的能力强弱评断数据，构建线索智能分配算法。
通过本发明一方面对网络线索进行评级，可以帮助经销商4S店DCC(网电销)部门更有针对性的跟进网络线索，针对不同等级线索制定不同的跟进策略；另外一方面通过对线索智能分配，可以最大化提升人员的效率，最终两者共同发挥作用，提高线索邀约进店转化率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的整体工作流程图；
图2为本发明线索监控模块的工作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供的适用于销售线索评级和分配的机器学习系统，包括如下模块。
一、黑名单清洗模块，其用于：
网络销售线索的初步清洗过滤，如果线索出现在黑名单的信息内，则在“评级结果”字段中设值：黑名单。确保这类手机号在首次或再次留资的时候直接被识别，不会浪费太多DCC(网电销)的精力。
在黑名单模块中，由以下子模块组成：
1)企业内部黑名单子模块，其用于过滤主机厂、经销商已收集黑名单的过滤。
(1)主机厂名单包括经销商已上报经销商内部员工及二网名单。
(2)经销商名单包括经销商内部已识别的个人名单及二网名单。
(3)主机厂、经销商需要过滤的其他特殊名单。
2)线上线索黑名单子模块，其用于线上虚假留资的客户/水军的过滤。
(1)该模块里面的信息来源于主机厂集客平台的3年内历史数据的统计。
(2)使用到的数据一方面是客户自己的留资数据，一方面是主机厂埋点收集到的浏览行为数据。
(3)通过统计并挖掘出水军的行为特性：相同批量简单浏览行为，数十次百次留资未进店/成交等挖掘出具体的名单信息。
3)外部黑名单子模块，其用于过滤命中外部数据黑名单的线索。
(1)该模块调用外部黑名单数据库包括：高危风控名单、运营商信息异常名单等。
(2)该模块会随着外部数据的扩充而不断优化和迭代。
二、外部数据调用模块，其用于：
调用评级所需要的所有外部数据信息。所有外部数据的选择都基于对业务的深入理解、内部头脑风暴等多方面考虑而来
(1)调用跟进店意向、购车意向相关的外部数据，其主要来源包括：移动互联网行为数据、地址轨迹类数据、运营商数据、银联数据等。
(2)采用安全的网络传输加密技术，接受到数据使用对应的key进行解密。
(3)将调用的新外部数据和线索信息拼接在一起，用作后续分析。
三、变量池处理模块，其用于：
网络线索评级相关的所有变量抽取、转化及加载处理工作。模型的原始变量主要来源于留资原始字段、外部数据字段、公开数据字段。其中留资原始字段包括用户姓名、联系方式、意向车型、意向经销商、留资省份、留资城市、来源渠道、留资时间等。变量池处理模块主要包括变量规范配置模块、变量处理模块。
1)变量规范配置模块，其用于：
(1)定义原始留资数据输入的标准字段名称、数据格式。
(2)定义原始留资数据输入的标准字段值域，超过值域的邮件报警。
2)变量处理模块，其用于：
变量的衍生、聚合及分箱，一方面针对同一变量输入规范化处理，确保不同主机厂、经销商维度一致，便于定制化的时候聚焦比较分析；另外一方面将变量处理成后续可以输入训练的统一格式。
针对处理后的变量层级，如果里面对应的正负样本个数少于30个数量以内，统一根据证据权重向上自动合并。
(1)历史数据聚合：针对3个月的历史信息，探索之前的留资次数、留资经销商的类别、留资经销商的个数等。
(2)码表类变量的变准化：涉及到的码表包括车型代码-价格表，留资城市-标准城市名称，留资省份-标准省份名称，来源渠道代码-来源渠道，经销商代码-经销商省份-经销商城市。
(3)公开数据衍生：包括国家行政区域划分、城市等级划分、手机号归属省份及城市、手机号对应运营商信息。
(4)地址类信息衍生：对应的经销商城市、留资城市、运营商城市之间比较得出新的衍生信息。
(5)时间类信息衍生：按照留资星期、留资是否工作日、留资是否工作时间等。
(6)车价等频分箱：针对车价，自动等频分箱10等份。
(7)外部变量衍生：居住区域/工作区域和经销商地址比较，资产水平和车价的衍生聚合，消费水平和车价的衍生聚合。
四、模型评级模块，其用于：
网络线索的评级工作，主要包含以下两个子模块：
1)模型训练模块：
(1)样本数据随机切分7:2:1，其中70％用于模型训练，20％用于模型测试，10％用于模型验证。
(2)经过变量处理模块统一处理字段，计算所有的变量价值信息。
(3)剩下的变量构建机器学习随机森林模型，计算变量重要性，结合2和3，从高到低排序，初次筛选头部对应的变量。
(4)根据业务背景，设计对应的模型变量框架，a)框架输出模板：模型版本号-模型使用变量-头部提升度-头部召回-尾部提升度-尾部召回-模型洛伦兹曲线值-模型曲线下面积，其中提升度、召回又分为训练集、测试集、验证集。b)支持的算法包括逻辑回归、朴素贝叶斯、决策树、随机森林、XGBOOST(备注：一种机器学习算法)、神经网络。最终综合训练集和验证集的结果，二次筛选出当前最优变量和效果最好模型。c)基于二次筛选的结果，通过网格搜索的大算力支持，确认最后的入模变量和模型参数。d)模型池构建：针对训练出来的结果，从外部数据类型【地理位置类、运营商类、银联类、手机APP埋码类】、内部数据是否有留资地址、是否有留资渠道分别选择不同的最佳模型，形成包含多个模型的模型池。
2)模型部署模块
(1)模型部署分两块：a)针对内部数据的情况，设置不同的触发条件；b)外部数据4种模型全部部署
(2)最终确保每个主机厂/4S店调用服务的时候会有4套不同的外部数据模型同时启动，按照25％：25％：25％：25％的比例同时运行。
(3)基于业务需求，最终的输出概率切换成对应的业务描述性语言，如高/中/低、优/良/中/差、5/4/3/2/1等。支持实际阈值、一段时间内阈值提取、比例提取等方式。
(4)运行一段时间后根据实际表现切换至效果、性价比最佳的模型。
四、模型监控模块，其用于：
对实际生产过程中模型的监控。
(1)模型入参变量监控：
a)变量值域监控：监控入参的变量是否值域超过之前模型训练的范围。如果超过之前训练的范围，则需要和业务沟通是后续的常规现象还是本次异常。
b)群体稳定性指数监控：监控该模型应用实施时的输入数据的稳定性。群体稳定性指数<0.25一般表示其稳定性可接受，超过该值则需要启动自检程序。其计算公式为群体稳定性指数＝∑(pactual-pbase)*ln(pactual/pbase)(备注：该公式是风控分类模型中的常用评估体系之一)；其中Pactual表示实际运营过程中各变量每个值的实际占，Pbase表示之前的对照组的值域，取训练集或者测试集的信息输入。
(2)模型反馈结果的监控：模型构建完成实施后，需要实时根据业务的反馈监控模型的效果和实验室是否有差距。当前我们采用监控洛伦兹曲线、头部提升度、头部提升度三个指标来衡量模型实际应用效果。
a)监控洛伦兹曲线是模型风险区分能力评估指标，衡量正负样本累计分布之间的差值，是风控分类模型中的常用评估体系之一。若洛伦兹曲线<0.2则模型预测准确性比较差，建议模型重构；0.2<洛伦兹曲线<0.75则表示模型有不错的区分能力；洛伦兹曲线>0.75需要考虑是否过拟，或者分模型构建。
b)头部提升度和头部提升度衡量的是与不利用模型相比，模型的预测能力“变好”了多少，头部(头部15％)提升度值越大，尾部(尾部15％)提升度越小表明模型的运行效果越好。
(备注：该公式是机器学习分类模型中的常用评估体系之一)，其中P-正样本数量，N-负样本数量，TP-正阳数量，FP-假阳数量，在评级模块中头部提升度一般大于2.5倍以上，尾部提升度一般小于0.4倍以下。
因为结果反馈诸如线索进店/成交，有一定的表现期才能够充分转化，基于之前的训练数据统计，进店2个星期转化80％以上，成交1个月转化80％以上，故入参变量监控频次按天/周统计，反馈结果指标监控统计频次为双周/1个月。
六、自主优化模块，其用于：
根据接受线索反馈信息后，基于之前的模型构建逻辑和评估指标，自动优化迭代模型。
(1)线索的反馈信息包括：线索是否有意向、线索是否到店、线索是否成交。
(2)当反馈数据进店、成交数量大于1500以上，针对线上所有的新鲜数据按照之前的模型设计、模型构建、模型评估过程，自动启动迭代程序，输出统计分析结果、评估结果和对应的模型配置文件。
(3)将自动迭代的统计信息和评估信息和之前的结果自动对比，输出对比报告。
(4)对比报告由人为审核，确认是否更新模型池和重新部署自主优化的模型。
七、智能分配模块，其用于：
智能分配评级后的销售线索，以使得线索转化率价值最大化。构建智能分配算法有如下几个假设前提：
(1)设定单条线索各评级等级工作量系数，该系数基于统计或者业务访谈而得。
(2)员工根据工作能力分为几个组别，一方面可以根据DCC经理的实际观察，另外一方面根据历史过往线索的实际转化来评估。
(3)能力越强的员工其对线索的转化率越高，同工作量系数，最终的转化率由统计或业务访谈而得。
(4)每个员工有一个当前工作量属性，用于累计已经分配到手的线索对应的工作量。
(5)在同组内员工其获取到的线索评级分布应尽可能一致。
(6)每个员工每日的期望工作量是完全一致的，根据每个用户设定的一定时期内的线索量，计算得到日均线索量、日均工作量、人均工作量。
(7)预先设定分配模式：智能分配、平均分配、随机分配：
a.智能分配：尽可能将评级结果较好的线索分配给高效员工，评级结果较差的线索分配给低效员工。
b.平均分配：严格控制各员工的各评级结果线索获得量趋于一致。
c.随机分配：完全按照线索到来的时间先后顺序对员工进行循环分配。
线索经过评级模块获得相应的评级等级后：
(1)根据设定好的分配模式、各等级工作量系数与员工分组情况，计算其应分配到的员工组别。根据设定好的分配模式与员工已分配的组别，在组内员工中根据员工的当前工作量，分配到组内员工个人。
(2)最终由于线索是实时采集和下发，故需要考虑整个算法的实时性与稳定性，程序采用多进程处理方式，各用户都采用独立的进程进行监听与运行，则每个用户的分配效率将不会相互影响，提高分配效率，并能保证效率的稳定。
如图1所示，本发明的模型构建和运行的数据流转分为两个阶段：
1)训练阶段：其数据流转分为如下环节：
(1)黑名单过滤模块。分别通过三个黑名单子模块的过滤，确认其是否是黑名单。
(2)外部数据调用模块。针对四种不同类型的外部数据，点菜式调用。
(3)变量池处理模块。结合内部、外部及政府公开数据，完成变量标准化及衍生工作。
(4)评级模块。完成变量分析、聚合及分箱，通过变量的多次筛选，参数的遍历，冻结最佳模型，以实现部署时多模型同时工作。
(5)线索分配模块。根据评级结果，结合员工个人能力强弱，实现智能分配。
2)运行阶段：根据训练阶段输出的结果，输出模型配置文件、变量处理逻辑、外部数据接口配置文件、分配算法，实际运行阶段除了以上五个模块需要，还有以下两个模块：
(1)自动迭代优化模块。确保在DCC(网电销)跟进反馈达到一定的数据量级的时候直接自动触发前面的(3)和(4)，并输出对应的比较结果和配置文件
(2)线索监控模块。针对入模变量和反馈结果实施监控【具体流程见图2】。
如图2，是线索监控数据流转处理图：线索正常评级后，DCC(网电销)会正常跟进和反馈，基于原始数据和反馈数据处理实施监控
(1)分布监控：包括入模变量和最后业务输出结果的群体稳定性监控，频次为每日。该监控如果超出后触发自检，不一定需要重建
(2)反馈结果监控：业务结果提升倍数和模型洛伦兹曲线监控，该结果如果异常需立马启动重建工作。
网络线索跟进和处理的工作主要由汽车行业经销商4S店DCC(网电销)部门负责。传统做法是DCC(网电销)部门经理从网络垂直媒体渠道/主机厂的集客平台获取原始的网络线索后，随机按照时间和数量分配给对应的DCC清洗/跟进人员，DCC相关人员收到线索后随机根据时间顺序进行跟进和拨打。经过本模型中线索评级和智能分配处理后，优化整个销售线索的跟进和处理流程，主要有如下的实施效果：
(1)DCC(网电销)处理网络线索前，黑名单清洗模块能甄别出无效线索。无效原因主要有：外部黑名单库、之前黑名单的标注、内部数据挖掘的黑名单信息等。通过该模块，一般能够清洗5％～10％的网络线索，该类线索的成交转化率接近于0.1％，远远低于自然转化率，帮助DCC(网电销)部门节省了大量无效线索的跟进处理时间。
(2)剔除了无效线索后，经过评级模块，对网络线索进行评级，让DCC清洗或跟进专员在跟进处理前知晓该类线索的整体转化率情况，一方面避免高质量的线索被浪费，另一方面可以让DCC专员有针对性的跟进各类线索，有效的指导DCC处理线索的流程
(3)经过评级模块后，智能分配模块帮助DCC经理从随机到智能分配，之前的随机分配中，不能确保每条优质线索都被合理的跟进，存在优质线索被随机浪费的情况。结合员工能力的差异，以效率/进店率最大化为目标去构建智能分配算法，能够确保优质的线索优先给予能力强(历史线索转化率高)的员工，实现整体转化效果最大化。同时该分配算法也能够作为一把标尺，衡量员工对于不同类型线索转化的能力，可以让DCC经理有针对性、差异化的管理。
经过本模型的多个模块处理，可以有效帮助经销商4S店在处理网络线索的过程中节约时间成本、提升人员效率，帮助DCC(网电销)部门合理制定线索跟进策略从而发挥线索的最大价值，并最终提升网络线索的整体进店转化率。
(1)本发明通过采用大数据挖掘技术，调用外部黑名单库及自身黑名单库，构建黑名单过滤模块，从而实现了甄别无效线索，帮助DCC(网电销)部门节省了大量无效线索的跟进处理时间。
(2)本发明通过采用大数据的机器学习技术，以线索进店和成交为导向的效果反馈数据，结合有业务意义的外部数据，构建销售线索评级模型，并智能化的迭代优化升级，从而实现了线索评级的准确度，帮助经销商调整销售跟进策略，最大限度挖掘线索价值。
(3)本发明通过采用线索智能分配，从而实现了用数据代替人工经验去决策，一方面改变了随机分配带来的线索浪费，另一方面好的线索优先给能力强的员工，让员工效率更高。
(4)本发明通过采用与线索购车意向相关的不同类型/来源的外部数据，构建模型库，覆盖当前业务场景里各种实际情况，从而实现了每家经销商构建符合自家特性、效果最佳的模型。
在上述一种适用于销售线索评级和分配的机器学习系统的基础上，本发明还提供一种适用于销售线索评级和分配的机器学习方法，包括：
外部数据调用步骤：调用评级所需的所有外部数据，将调用的外部数据和销售线索拼接在一起，传输至变量池处理步骤。
变量池处理步骤：对评级所需的所有变量进行标准化及衍生工作。
模型评级步骤：根据经过标准化及衍生的变量完成变量分析、聚合及分箱，通过变量的多次筛选，参数的遍历，冻结最佳模型，实现部署时多模型同时工作，然后筛选出效果、性价比最佳的模型。
分配步骤：根据模型对销售线索的评级，结合员工的个人能力信息，将销售线索分配给员工对应的账号。
本发明还提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种适用于销售线索评级和分配的机器学习系统，其特征在于，包括：
外部数据调用模块：调用评级所需的所有外部数据，将调用的外部数据和销售线索拼接在一起，传输至变量池处理模块；
变量池处理模块：对评级所需的所有变量进行标准化及衍生工作；
模型评级模块：根据经过标准化及衍生的变量完成变量分析、聚合及分箱，通过变量的多次筛选，参数的遍历，冻结最佳模型，实现部署时多模型同时工作，然后筛选出效果、性价比最佳的模型；
分配模块：根据模型对销售线索的评级，结合员工的个人能力信息，将销售线索分配给员工对应的账号。
2.根据权利要求1所述的适用于销售线索评级和分配的机器学习系统，其特征在于，所述外部数据调用模块包括：
调用跟进店意向、购车意向相关的外部数据；
调用的外部数据采用网络传输加密技术，接收时使用对应的的key进行解密；
将调用的外部数据和销售线索拼接在一起。
3.根据权利要求1所述的适用于销售线索评级和分配的机器学习系统，其特征在于，所述变量池处理模块包括：变量规范配置子模块和变量处理子模块；
所述变量规范配置子模块包括：
定义原始留资数据输入的标准字段名称、数据格式；
定义原始留资数据输入的标准字段值域，超过值域的邮件报警；
所述变量处理子模块包括：
变量的衍生、聚合及分箱，针对同一变量输入规范化处理，将变量处理成后续输入训练的统一格式；
针对处理后的变量的层级，如果里面对应的正负样本个数少于30个数量以内，统一根据证据权重向上自动合并。
4.根据权利要求1所述的适用于销售线索评级和分配的机器学习系统，其特征在于，所述模型评级模块包括：模型训练子模块和模型部署子模块；
所述模型训练子模块包括：
将样本数据按照7:2:1的比例切分为，其中70％用于模型训练，20％用于模型测试，10％用于模型验证；
根据所述变量池处理模块的变量，计算所有的变量价值信息；
剩余的变量构建机器学习随机森林模型，计算变量的重要性，对变量进行初次筛选；
设计对应的模型变量框架，包括：a)框架输出模板：模型版本号-模型使用变量-头部提升度-头部召回-尾部提升度-尾部召回-模型洛伦兹曲线值-模型曲线下面积，其中提升度、召回又分为训练集、测试集、验证集；b)支持的算法包括逻辑回归、朴素贝叶斯、决策树、随机森林、XGBOOST、神经网络，最终综合训练集和验证集的结果，二次筛选出当前最优的变量和效果最好的模型；c)基于二次筛选的结果，通过网格搜索，确认最后的入模变量和模型参数；d)模型池构建：针对训练出来的结果，从外部数据类型、内部数据是否有留资地址、是否有留资渠道分别选择不同的最佳模型，形成包含多个模型的模型池；
所述模型部署子模块包括：
针对内部数据的情况设置不同的触发条件，根据不同外部数据部署4套模型；
每个主机厂/4S店调用时有4套不同的外部数据模型同时启动，按照25％：25％：25％：25％的比例同时运行
将最终的输出概率切换成对应的业务描述性语言；
运行一段时间后根据实际表现切换至效果、性价比最佳的模型。
5.根据权利要求1所述的适用于销售线索评级和分配的机器学习系统，其特征在于，所述分配模块包括：
智能分配：将评级结果较好的销售线索分配给高效员工，将评级结果较差的销售线索分配给低效员工；
平均分配：使各员工获取的各评级结果的销售线索的量一致；
随机分配：按照销售线索的到来时间先后顺序对员工进行循环分配。
6.根据权利要求1所述的适用于销售线索评级和分配的机器学习系统，其特征在于，所述适用于汽车销售线索评级和分配的机器学习系统还包括黑名单清洗模块，所述黑名单清洗模块包括：
企业内部黑名单子模块：过滤主机厂、经销商已收集的黑名单；
线上线索黑名单子模块：过滤线上虚假留资的黑名单；
外部黑名单子模块：过滤命中外部数据黑名单的销售线索。
7.根据权利要求1所述的适用于销售线索评级和分配的机器学习系统，其特征在于，所述适用于汽车销售线索评级和分配的机器学习系统还包括自主优化模块，所述自主优化模块获取销售线索的反馈信息，基于模型构建逻辑和评估指标，优化迭代所述模型。
8.根据权利要求1所述的适用于销售线索评级和分配的机器学习系统，其特征在于，所述适用于汽车销售线索评级和分配的机器学习系统还包括模型监控模块，所述模型监控模块包括：
模型入参变量监控：监控入参的变量是否值域超过模型训练的范围，监控模型应用实施时的输入数据的稳定性，以及实时根据反馈监控模型的效果和实验是否有差距。
9.一种适用于销售线索评级和分配的机器学习方法，其特征在于，包括：
外部数据调用步骤：调用评级所需的所有外部数据，将调用的外部数据和销售线索拼接在一起，传输至变量池处理步骤；
变量池处理步骤：对评级所需的所有变量进行标准化及衍生工作；
模型评级步骤：根据经过标准化及衍生的变量完成变量分析、聚合及分箱，通过变量的多次筛选，参数的遍历，冻结最佳模型，实现部署时多模型同时工作，然后筛选出效果、性价比最佳的模型；
分配步骤：根据模型对销售线索的评级，结合员工的个人能力信息，将销售线索分配给员工对应的账号。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求9所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911330194.0A CN111178722B (zh) | 2019-12-20 | 2019-12-20 | 适用于销售线索评级和分配的机器学习系统、方法及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911330194.0A CN111178722B (zh) | 2019-12-20 | 2019-12-20 | 适用于销售线索评级和分配的机器学习系统、方法及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111178722A true CN111178722A (zh) | 2020-05-19 |
| CN111178722B CN111178722B (zh) | 2023-05-02 |
Family
ID=70652052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911330194.0A Active CN111178722B (zh) | 2019-12-20 | 2019-12-20 | 适用于销售线索评级和分配的机器学习系统、方法及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178722B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553751A (zh) * | 2020-06-04 | 2020-08-18 | 上海燕汐软件信息科技有限公司 | 一种销售信息数据处理方法、装置及设备 |
| CN116562468A (zh) * | 2023-07-10 | 2023-08-08 | 深圳格隆汇信息科技有限公司 | 基于crm系统的自适应线索派发和分配方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622410A (zh) * | 2016-07-15 | 2018-01-23 | 北京易车互联信息技术有限公司 | 购车线索质量的评级方法和评级装置 |
| CN109598095A (zh) * | 2019-01-07 | 2019-04-09 | 平安科技（深圳）有限公司 | 评分卡模型的建立方法、装置、计算机设备和存储介质 |
| CN109934673A (zh) * | 2019-02-25 | 2019-06-25 | 校宝在线（杭州）科技股份有限公司 | 一种基于推荐系统的智能销售线索分配方法 |
| CN110009479A (zh) * | 2019-03-01 | 2019-07-12 | 百融金融信息服务股份有限公司 | 信用评价方法及装置、存储介质、计算机设备 |
| CN110347665A (zh) * | 2019-06-27 | 2019-10-18 | 杭州数跑科技有限公司 | 销售线索清洗方法、装置、电子设备及存储介质 |
-
2019
- 2019-12-20 CN CN201911330194.0A patent/CN111178722B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622410A (zh) * | 2016-07-15 | 2018-01-23 | 北京易车互联信息技术有限公司 | 购车线索质量的评级方法和评级装置 |
| CN109598095A (zh) * | 2019-01-07 | 2019-04-09 | 平安科技（深圳）有限公司 | 评分卡模型的建立方法、装置、计算机设备和存储介质 |
| CN109934673A (zh) * | 2019-02-25 | 2019-06-25 | 校宝在线（杭州）科技股份有限公司 | 一种基于推荐系统的智能销售线索分配方法 |
| CN110009479A (zh) * | 2019-03-01 | 2019-07-12 | 百融金融信息服务股份有限公司 | 信用评价方法及装置、存储介质、计算机设备 |
| CN110347665A (zh) * | 2019-06-27 | 2019-10-18 | 杭州数跑科技有限公司 | 销售线索清洗方法、装置、电子设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553751A (zh) * | 2020-06-04 | 2020-08-18 | 上海燕汐软件信息科技有限公司 | 一种销售信息数据处理方法、装置及设备 |
| CN111553751B (zh) * | 2020-06-04 | 2023-08-15 | 上海燕汐软件信息科技有限公司 | 一种销售信息数据处理方法、装置及设备 |
| CN116562468A (zh) * | 2023-07-10 | 2023-08-08 | 深圳格隆汇信息科技有限公司 | 基于crm系统的自适应线索派发和分配方法及系统 |
| CN116562468B (zh) * | 2023-07-10 | 2024-02-06 | 深圳格隆汇信息科技有限公司 | 基于crm系统的自适应线索派发和分配方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111178722B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109597936B (zh) | 一种新用户筛选系统及方法 | |
| CN108921702A (zh) | 基于大数据的园区招商方法及装置 | |
| KR102652425B1 (ko) | 분위별 변수 영향도 분석이 가능한 인공지능 데이터 자동 분석 방법 및 분석 시스템 | |
| CN111127105A (zh) | 用户分层模型构建方法及系统、运营分析方法及系统 | |
| CN112150237B (zh) | 多模型融合的订单逾期预警方法、装置、设备及存储介质 | |
| Chen et al. | A patent time series processing component for technology intelligence by trend identification functionality | |
| CN109636482B (zh) | 基于相似度模型的数据处理方法及系统 | |
| CN111144938B (zh) | 适用于汽车行业的销售线索评级的方法和系统 | |
| CN110147389A (zh) | 帐号处理方法和装置、存储介质及电子装置 | |
| CN109711424A (zh) | 一种基于决策树的行为规则获取方法、装置及设备 | |
| CN111178722A (zh) | 适用于销售线索评级和分配的机器学习系统、方法及介质 | |
| CN111079937A (zh) | 一种快速建模的方法 | |
| CN114118691A (zh) | 基于业务量的排班方案处理方法、装置、设备和介质 | |
| CN116915710A (zh) | 流量预警方法、装置、设备及可读存储介质 | |
| CN102117464A (zh) | 具有动态层级的营销投资优化器 | |
| CN114757596B (zh) | 电力业务监测预警方法、系统和可读存储介质 | |
| CN111460260A (zh) | 多类型数据的数据处理系统、方法及介质 | |
| Ewieda et al. | Customer retention: detecting churners in telecoms industry using data mining techniques | |
| CN114781901A (zh) | 一种分析经济运行监测指数的方法 | |
| CN115049107A (zh) | 一种基于物联采集边缘计算的电量预测系统 | |
| Shevtsova | International trade and productivity: The role of industry and export destination | |
| CN113361746A (zh) | 一种配电网物资品类优化方法 | |
| CN105321001A (zh) | 售电数据处理方法和装置 | |
| Pribil et al. | A churn analysis using data mining techniques: Case of electricity distribution company | |
| CN114155038B (zh) | 受疫情影响用户识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Machine learning systems, methods, and media suitable for sales lead rating and allocation Effective date of registration: 20231212 Granted publication date: 20230502 Pledgee: Industrial Bank Co.,Ltd. Shanghai Dahua sub branch Pledgor: Shanghai shuce Software Co.,Ltd. Registration number: Y2023310000837 |