CN113672732A - 用于对业务数据进行分类的方法和设备 - Google Patents

用于对业务数据进行分类的方法和设备 Download PDF

Info

Publication number
CN113672732A
CN113672732A CN202110953914.XA CN202110953914A CN113672732A CN 113672732 A CN113672732 A CN 113672732A CN 202110953914 A CN202110953914 A CN 202110953914A CN 113672732 A CN113672732 A CN 113672732A
Authority
CN
China
Prior art keywords
data
classification
model
classification information
business
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110953914.XA
Other languages
English (en)
Other versions
CN113672732B (zh
Inventor
凌悦
付宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengdoushi Shanghai Science and Technology Development Co Ltd
Original Assignee
Shengdoushi Shanghai Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shengdoushi Shanghai Technology Development Co Ltd filed Critical Shengdoushi Shanghai Technology Development Co Ltd
Priority to CN202110953914.XA priority Critical patent/CN113672732B/zh
Publication of CN113672732A publication Critical patent/CN113672732A/zh
Application granted granted Critical
Publication of CN113672732B publication Critical patent/CN113672732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种用于对业务数据进行分类的方法，其包括使用分类模型预测与业务数据对应的分类信息，该方法还包括：在业务流程中对已由分类模型预测其分类信息的业务数据进行处理期间，对业务数据的分类信息进行校准；以及在完成业务数据的处理时，将业务数据以及与该业务数据对应的经校准的分类信息用作分类模型的更新的训练数据，并且更新该分类模型。

Description

用于对业务数据进行分类的方法和设备
技术领域
本申请涉及数据处理，特别是涉及对业务数据进行分类的方法和设备。
背景技术
在诸如餐饮业的诸多服务行业中，意见反馈(特别是用户投诉)是获取针对所提出的产品和/或服务的用户和市场响应的重要渠道。尤其是在餐饮行业中，由于涉及到食品公共卫生安全，必须认真对待和及时处理用户的投诉。用户的投诉信息中可能包含用户投诉信息所对应的类别，因此应将投诉信息分发给与其类别对应的业务人员进行处理。
在传统服务业中通常使用人工方式对用户的投诉信息进行分类，因此需要维护数量庞大的客户服务部门，导致较高的人力成本。近些年提出用于采用算法自动进行分类的模型来替代人工分类。分类模型建模得越精确，分类效果越好。但是，如果用于对分类模型建模或调整模型参数时的已知数据过少，将无法获得确定模型参数的足够信息。
随着诸如机器学习方法的引入，大大提高了分类模型的建模速度和精度。机器学习方法需要使用训练数据对诸如神经网络的机器学习模型的参数进行训练，但是用于构成训练数据的已知数据过少仍然阻碍分类模型的参数优化。另外，人工提供的训练数据无法避免由于疏漏导致的包含错误信息(例如分类标签)的训练数据，导致所训练的分类模型的预测结果不能准确反映投诉信息所属的类别。
因此，存在对现有的投诉数据分类进行改进的需求。
发明内容
为了克服上文中所提及的现有技术中存在的至少一个缺陷，本申请的实施例提出用于对业务数据、尤其是投诉数据进行分类的方法、设备及其计算机可读存储介质。
根据本申请的一方面，提出一种用于对业务数据进行分类的方法，其包括使用分类模型预测与业务数据对应的分类信息，该方法还包括：在业务流程中对已由分类模型预测其分类信息的业务数据进行处理期间，对业务数据的分类信息进行校准；以及在完成业务数据的处理时，将业务数据以及与该业务数据对应的经校准的分类信息用作分类模型的更新的训练数据，并且更新该分类模型。
根据本申请的另一方面，提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序包括可执行指令，当可执行指令被处理器执行时，实施如上所述的方法。
根据本申请的又一方面，提出一种用于对业务数据进行分类的设备，其包括处理器以及用于存储处理器的可执行指令的存储器，其中，处理器被配置为执行可执行指令以实施如上所述的方法。
本申请提供的业务数据分类方案将算法迭代嵌入业务流程中，形成算法+业务流程的闭环迭代，实现AI算法自学习持续升级。通过使用回流的更新的流式训练数据对模型重新进行训练，让模型对模型结果进行自学习，实现算法的闭环更新迭代。在闭环模型参数的更新迭代过程中，由于总是选择模型预测的分类信息与人工校准的分类信息一致的业务数据作为更新的训练数据，因此无论是由于模型预测错误还是由于人工疏漏或主观因素而导致错误标注的样本，最终都会被从分类模型的训练数据集中移除，不再影响模型参数和预测结果的优化，提升机器学习分类模型的质量。此外，通过在每次处理业务数据的同时对分类信息进行人工校准，不再需要专门耗费大量的人力资源来集中标注和准备训练数据。这种回流的流式数据的训练样本输入对于训练样本过少的问题的解决尤为重要。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请的保护范围。
附图说明
下面参照附图详细描述本申请的示例性实施例。在附图中：
图1示出使用开环方式对投诉数据进行分类的过程的框图；
图2示出根据本申请的一个实施例的用于使用闭环方式对业务数据进行分类的过程的示例性框图；
图3示出根据本申请的一个实施例的用于对业务数据进行分类的方法的示例性流程图；
图4示出根据本申请的一个实施例的用于对业务数据进行分类的电子设备的示例性结构框图。
具体实施方式
现在将参考附图更全面地描述本申请的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本申请的内容更加全面和完整，并将示例性实施例的构思全面地传达给本领域的技术人员。在图中，为了清晰起见，可能会夸大部分元件的尺寸或加以变形。在图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、元件等。在其它情况下，不详细示出或描述公知结构、方法或者操作以避免模糊本申请的关键内容。
在本申请中，业务数据是在业务流程中处理的数据以用于支持业务应用。根据业务数据所涉及的领域，可以包括与用户、行为和/或产品等相关的数据。对于服务业的客户服务流程环节，来自用户的投诉数据是业务数据的重要组成部分。投诉数据包含从用户获得的投诉信息，体现了针对产品服务提供商(例如餐饮业的门店)所提供的产品、服务等的用户和市场反馈。提供商通过处理投诉数据可以及时获取自身产品和服务的优点和缺陷，相应地调整服务、生产和市场策略。投诉或建议通常是一段评价，基于文字或其他表现形式(主要是文本数据)，属于一种典型的非结构化的业务数据。投诉信息涉及多个类别，则通过对诸如投诉数据的业务数据进行分类和分析，可以在不同类别维度基于不同的业务指标，发现不同的业务问题，从而选择对应类别的专业业务人员(例如用于处理投诉的客服人员)针对性地处理。在餐饮业中，分类信息指示的业务类别可包括食品的质量、食品的口味和服务的质量等。因此，业务数据的正确分类是业务流程中的重要环节。
在使用诸如机器学习方法的自动化业务数据分类方法中，目前越来越受到广泛关注的机器学习模型(例如包括神经网络模型)被应用到业务数据的分类预测中。采用机器学习模型进行业务数据分类，基本遵循以下步骤：1)建立待预测的业务数据的类别并选择相应的模型架构构建分类模型；
2)收集训练数据以形成训练数据集，并基于训练数据集对分类模型进行训练以得到分类模型的最优参数，其中，训练数据可以包括业务数据以及与业务数据对应的经人工或模型标注的类别(也称为训练数据的标签)；3)利用训练好的分类模型预测所提供的业务数据的类别。
来自用户或市场的投诉信息一般以符合语言习惯的文本数据和/或其他形式的数据作为载体，并且主要是以文本数据作为载体，例如来自门店的用户反馈簿，公司网站或第三方平台的用户评价，甚至包括行业分析等。上述文本数据通常格式不统一，并且其中包括较多对业务数据进行分类没有积极意义的噪音数据(例如标点符号、连词、助词，甚至表情符号等)。因此，为了提高分类模型的分类效率，还需要其中对诸如投诉数据的业务数据进行文本预处理以获得分类模型可以识别的格式化数据，使得分类模型可以从格式化文本数据中提取出能够体现文本数据中包括的关键信息的特征信息，抓取关键特征到类别之间的映射。最后，机器学习或深度学习模型输出与输入的业务数据(例如非结构化的文本数据)相对应的类别信息，完成最终的业务数据分类。
在本文中，以服务业的投诉数据的分类为例介绍根据本申请的业务数据的分类的方案。但是，本领域技术人员应当理解，本申请的分类方案可以应用于需要对数据进行分类的其他业务应用场景。例如，该分类方案还可以适用于对其它服务行业的类似业务数据诸如市民/居民意见和建议、产品和服务咨询、产品评价、新产品试用反馈等进行分类和处理，甚至还可以适用于任何其它需要分类以区别处理的业务数据。
对于投诉数据进行分类，需要对诸如以文本数据为载体的投诉数据进行处理。文本数据的自动化处理可以采用诸如自然语言处理(NLP)模型。NLP模型在文本数据的处理、识别和分类应用中性能优异。NLP模型作为典型的深度学习模型，可以对文本数据进行分段以提取文本数据中的关键词，以及进一步对关键词进行分类。因此，NLP模型也可以作为文本数据的分类模型使用。下文中，以NLP模型为例介绍本申请的业务数据分类过程，但是本领域技术人员应当理解，本申请的分类模型不仅限于NLP模型，而是包括任何能够提取业务数据的特征并基于该特征输出预测的分类信息，以指导业务流程中的相应处理的分类模型。分类模型也不仅限于机器学习模型或深度学习模型(例如DNN的各种神经网络模型)，还可以包括实现分类功能的其他模型，例如树形结构等。
图1示出对投诉数据进行分类的过程100。来自用户的投诉数据通常是句子或段落形式的文本数据。文本数据可以是一系列文本字符串，其可以来自于获取用户投诉信息的平台或软件(例如App)的语音输入或文字输入。当使用语音输入时，还需要使用语音识别软件或算法将语音中的文字转换为文本数据。文本数据也可以由图像或符号(例如大拇指)经图像处理转换而来。
投诉数据的分类过程100主要包括在用于对文本数据进行处理和分类的NLP中台上进行的过程部分以及在用于基于自动化分类的投诉数据处理的业务平台(例如客户服务平台)上进行的过程部分。
首先，在NLP中台上收集训练数据构成训练数据集对NLP模型进行模型训练。在使用NLP模型之前，至少需要对模型参数进行一次模型训练以确定NLP模型的参数。构成初始训练数据集的初始训练数据是经过标记的训练数据。标记训练数据时，使用人工或其他方式标记训练数据的对应正确结果(例如标签)，以用于NLP模型的监督训练和学习。在本实施例中，经过标记的训练数据可以是具有标签(即分类信息)的所搜集的投诉数据。
然后，将来自业务平台所提供的投诉数据作为输入，使用训练好的NLP模型来预测与投诉数据对应的分类信息。NLP模型生成预测分类输出的过程主要包括两个部分。前一部分包括提取文本数据的特征信息，后一部分则包括确定与所提取的特征信息对应的分类信息。从模型功能和处理逻辑的角度，可以将NLP模型分为分别实现上述两个部分过程的子模型，其中特征提取子模型完成提取特征的功能，分类子模型则使用诸如文本多分类预测算法完成特征分类的功能。
特征提取子模型对特征信息进行提取的过程中，具体可以包括对输入的投诉数据进行分段以及提取关键词的操作。分段意味着将诸如一个连续的句子或段落形式的文本数据或文本字符串按照自然语义、关键词划分等规则切割成多个独立的词语。所切割出的词语应当是包括根据业务规则定义的多个关键词的词语的组合。根据业务规则，需要在客户服务过程中对具有重要意义或者说具有高风险的关键词进行提取。NLP模型对关键词的提取可以使用多层网络，随着网络层的深入，越后面的层所能分割和提取的特征信息越抽象，关键词的提取结果越准确。
分类子模型则基于特征提取子模型所提取的关键词，基于业务规则所定义的关键词与关键词的分类信息之间的映射，确定与至少一个关键词对应的分类信息，即与输入的投诉数据相对应的分类信息。
由于来自业务平台的用户投诉数据可能不符合NLP模型的规范化输入的数据格式，因此可以在将投诉数据输入到特征提取子模型之前，对投诉数据进行预处理，以使投诉数据适合于所使用的NLP模型所能支持的数据格式。对文本数据进行预处理的操作可以独立于NLP模型，位于投诉数据输入和NLP模型的输入之间作为NLP中台的一个前序模块，也可以并入NLP模型中作为特征提取子模型前的预处理模型以改善NLP模型对投诉数据的格式的适应性。预处理操作例如包括分词、词性标注、命名实体识别、去除停止词等，也可以包括对提供的投诉数据进行格式化处理。
业务平台获取来自NLP模型的预测的分类信息，选择与分类结果对应的业务类别的业务人员并将与该分类结果对应的投诉数据分发给该业务人员。业务人员基于所分发的投诉数据进行处理并在投诉处理完成后对该条投诉任务进行结案。该处理包括与提出投诉信息的用户进行沟通，分析投诉数据中对应的问题并与问题涉及的部门进行沟通，生成投诉数据分析和统计信息以指导企业的工作(例如餐饮门店的产品、服务和人员管理等)。
在上述过程中可看到，与NLP模型有关的模型训练和分类预测(包括投诉数据的预处理)在NLP中台上进行，而基于分类结果的投诉数据的分发和处理在业务平台上进行，二者是串联的关系。通常业务人员可能会发现所分发的投诉数据并不是本专业类别的投诉数据，即分类分发是不正确的。但是，业务人员在进行业务处理时，并不向NLP中台提供有关预测分类信息是否正确的反馈。实际上，上述过程形成一个开环过程。
基于监督的业务分类过程可以根据一段时间内累计的业务人员对分类预测信息的反馈信息生成更新的训练数据，并且使用更新的训练数据集定期离线地更新用于自动化分类的NLP模型参数以提高NLP模型的分类性能。
例如，随着NLP模型的不断使用，在一段时间内业务平台的业务变化使得用户的投诉信息涉及的主题发生变化。例如，餐饮门店在一段时间内更新推出新的菜品，提供新的服务等，使得用户和市场对门店的产品和服务等产生新的诉求，甚至会产生新的投诉数据所对应的类别而需要门店或企业设立新的投诉处理业务类别、设定新的关键词来进行相应的处理。在投诉信息中出现新的投诉内容而使得NLP模型的分类预测结果无法适应新的投诉信息情况而越来越不准确时，需要对NLP模型的参数进行更新。通常可以定期地采用更新的训练数据集离线地重新训练NLP模型。采用离线更新而不是在线和/或实时地训练模型和更新模型参数的原因在于，分类模型一般结构复杂，使得其训练过程通常比较耗时，从而无法满足日益增加的投诉数据的分类时间的要求。使用更新的训练数据集训练分类模型是一个迭代过程，即在每次更新过程中，都使用一段时间内的更新训练数据集在现有分类模型的参数集合基础上不断调整和优化参数，使得分类模型可以适应新的投诉信息和业务规则。
这种离线的模型训练方式实际上相当于开环的投诉数据分类过程。开环分类过程具有以下缺点：1)模型的分类性能取决于更新的训练数据集，当定期更新的间隔无法跟随投诉信息的更新速度时将落后于投诉信息的变化；2)NLP模型的预测结果还依赖于训练数据集中的训练数据样本的数量和质量。因此，如果训练数据样本数量过少，则无法提供足够多的经标记的训练数据，导致NLP模型的训练欠拟合而参数无法达到最优或模型泛化能力过低，即，NLP模型仅针对所提供的少量训练数据样本收敛，但对于这些训练数据样本所没有覆盖的其他投诉数据类别的预测效果不理想，甚至对这些少量数据样本所属的业务类别的分类效果也不够好。进一步，如果由于人为失误或其他原因导致训练数据样本的标记标签有误，则还容易导致模型的学习结果出现偏差而不能准确预测与投诉数据对应的分类，增大预测错误率。为了避免训练数据样本数量过少，必须不断地重新进行训练过程来提高NLP模型的性能，使得训练速度更慢，更新周期更长并且消耗更多的算力。
为了及时地更新NLP模型的参数，可以将业务平台上业务人员对来自NLP中台输出的预测分类结果的校准信息与NLP中台上用于训练NLP模型的训练数据集进行同步和更新，实现分类模型的分类预测输出到分类模型的模型训练之间的闭环监督过程。该过程如图2所示。相比图1中所示的投诉数据的分类过程，图2中的业务流程中由业务人员实时地校准和标记所分发的投诉数据的类别信息，并更新训练数据集以用于对NLP模型进行参数优化和迭代。
例如业务人员接受来自分发流转的投诉数据进行相应处理并在投诉处理完成后对该条投诉任务进行结案。在业务人员对该投诉数据的处理进行结案时(例如在系统中进行结案确认操作时)或者在接收到所分发的投诉数据到结案确认之间的过程中的任何阶段，都可以对投诉数据(业务数据)的预测分类信息进行校准。即，业务人员根据业务规则和分类标准评价该分类信息是否正确，并且通过人工重新确定业务数据的分类标记(打标签)。其中，当分类信息所指示的业务类别不正确时，业务人员可以更改该业务数据的分类标记从而指示正确的类别；当分类信息所指示的业务类别正确时，业务人员可以保持该分类信息不变，或者附加肯定标记指示业务数据的分类信息正确。通过上述方式，可以实现业务人员对分类信息的校准，从而在完成业务数据处理的同时实时地获取该业务数据的分类信息更新。根据本申请的实施例，可以将预测分类信息与校准的分类信息一致的那些业务数据作为正确或正向的训练数据样本以更新训练数据集。而模型预测的分类信息与人工校准的分类信息不一致从而需要调整其分类信息的业务数据，可以作为可疑样本保存，以便日后复查。
然后，经由业务平台与NLP中台的同步接口，通过数据同步的经过校准的更新的训练数据样本被提供给NLP中台的NLP模型构成更新的模型训练数据集以再次对分类模型进行训练。
另外，通过业务人员重新对业务数据进行人工打分类标签，还可实现高风险关键词的强召回操作。对于包含高风险关键词的业务数据，无论模型预测的分类信息与人工标注的分类信息是否一致，都将包含该高风险关键词的业务数据与对应的经校准的人工标注的分类信息用作更新的训练数据样本来更新分类模型。这种对于高风险关键词的强召回操作可以使NLP模型提供对这些高风险关键词的分类性能。例如，在餐饮业的投诉数据中，高风险关键词可以包括与食品安全事件相关的关键词，例如异物、鸡毛、虫子、腹泻等，从而帮助品牌方及时发现食品安全等严重事件。
在使用更新的训练数据集(即由初始训练数据和被同步的更新训练数据构成的训练数据集)对分类模型重新进行训练的过程中，模型参数得到迭代更新，从而实现从分类模型的预测分类、基于预测分类的业务数据分发和处理、基于分类校准的数据同步、训练数据的更新和准备以及分类模型的训练之间的闭环循环。
为了提高实时地在线训练模型的效率，可以仅对分类模型中的分类子模型进行模型参数更新和迭代。分类模型中的特征提取子模型主要用于提取业务数据中的特征信息，例如采用NLP模型提取文本数据中的关键词或根据语义提取文本特征。在业务规则中对于所提取的特征信息(例如关键词或文本特征)不发生较大变动的情况下，特征提取子模型的模型参数已经足够优化而无需再根据更新训练数据进行迭代更新，因此对于分类模型的再次训练可以跳过该特征提取子模型中的结构。对于分类子模型的模型参数的迭代更新，可以采用Fine-tuning(微调)的方式更新其参数组合，从而有针对性地提高分类模型的分类性能。实际上，业务流程中的业务人员对分类信息进行校准的目的在于避免自动化分类预测中的错误，这种校准的影响必然需要作用于分类模型中负责分类功能的部分。通过仅更新分类模型的部分结构，可以有效地提高模型更新的速度和效率。当业务规则的改变和业务数据的变化使得分类模型中的特征提取子模型也需要更新时，才考虑使用更新的训练数据集对整个分类模型进行训练以进一步更新分类子模型之外的其他模型部分。
根据本申请的实施例，NLP模型采用Bert模型。Bert模型是当前影响最大的预训练语言模型，它基于Transformer模型构建，尤其是在文本分类任务上表现良好。
对分类子模型的更新可以使用在Bert模型基础上附加更新模块、例如softmax网络模块来实现。softmax网络在模型训练时可以基于更新的训练数据集调整分类子模型的参数，例如仅调整用于从特征信息生成分类信息的神经网络的最后一层的参数而保持其它层的参数不变。Softmax网络更新分类子模型的模型参数的训练速度较快。当仅调整分类子模型的神经网络最后一层的参数时训练速度更快。通过这种训练部分分类模型的方式，使得在线更新和迭代模型参数成为可能。
除了实时地基于更新的训练数据集训练模型的更新迭代过程，还可以采用定期地训练模型的方式。例如，每累积一定数量的更新训练数据样本再更新模型参数，取得分类模型优化在准确性和时效性之间的折衷。定期更新例如可以包括每隔几天、一周、几周或更长的时间，或者包括一天、几小时、一小时或更短的时间等的任何其它指定长度的更新。即使定期更新，也可以通过部分训练分类模型获得相比传统的对整个模型进行训练更好的性能。
可以使用初始的训练数据和不断增加的、更新的训练数据样本叠加构成累加的训练数据集来更新分类模型。也可以使用由从当前时刻起之前的一段时间(也称为时间窗口)内的更新的训练数据构成的训练数据集来更新分类模型，此时在该时间窗口之前的训练数据将随着时间的流逝被从训练数据集中移除。采用时间窗口内的训练数据更新训练数据集可以跟随业务数据的实时变化(例如与时间窗口这段时间内的投诉信息相适应)，体现分类性能在时间上的对业务数据的跟踪。
本申请提供的业务数据分类方案将算法迭代嵌入业务流程中，形成算法+业务流程的闭环迭代，实现AI算法自学习持续升级。通过使用回流的更新的流式训练数据对模型重新进行训练，让模型对模型结果进行自学习，实现算法的闭环更新迭代。在闭环模型参数的更新迭代过程中，由于总是选择模型预测的分类信息与人工校准的分类信息一致的业务数据作为更新的训练数据，因此无论是由于模型预测错误还是由于人工疏漏或主观因素而导致错误标注的样本，最终都会被从分类模型的训练数据集中移除，不再影响模型参数和预测结果的优化，提升机器学习分类模型的质量。此外，通过在每次处理业务数据的同时对分类信息进行人工校准，不再需要专门耗费大量的人力资源来集中标注和准备训练数据。这种回流的流式数据的训练样本输入对于训练样本过少的问题的解决尤为重要。
根据本公开的实施例，还提出用于对业务数据进行分类的方法300。
该方法300包括以下步骤：
在步骤S310中，使用分类模型预测与业务数据对应的分类信息。一般在使用分类模型之前，基于初始训练数据训练分类模型。此外，在使用分类模型预测与业务数据对应的分类信息之前，还可对业务数据进行预处理。分类模型可包括第一子模型和第二子模型。第一子模型被配置为提取业务数据的特征信息，第二子模型被配置为确定与该特征信息对应的分类信息。业务数据例如可以是文本数据。在此，第一子模型例如被配置为对文本数据进行文本向量化，其中，向量化后的数值表示文本特征。例如，可根据语义提取文本数据的文本特征。在一种简单的示例中，例如可对文本数据进行分段以及提取至少一个关键词。第二子模型例如被配置为根据文本特征与对应分类信息之间的映射关系，确定与该文本数据对应的分类信息。在上述简单示例中，即基于至少一个关键词确定该文本数据的分类信息。优选地，分类模型可以为Bert模型。文本数据优选来自语音输入和/或文字输入，或者由图像或符号例如经图像处理转化而来。更优选地，业务数据例如是投诉数据、尤其是餐饮行业的投诉数据。由此，分类信息例如可指示如下业务类别中的至少一个：食品的质量；食品的口味；服务的质量。
在步骤S320中，在业务流程中对已由分类模型预测其分类信息的业务数据进行处理期间，对业务数据的分类信息进行校准。所述业务流程例如可包括：选择与分类信息所指示的业务类别对应的业务人员处理业务数据；在完成业务数据的处理时执行结案并且对分类信息进行校准。对分类信息进行校准例如可包括：当分类信息所指示的业务类别不正确时，调整分类信息以指示正确的业务类别；以及当分类信息所指示的业务类别正确时，保持分类信息。
在步骤S330中，在完成业务数据的处理时，将业务数据以及与该业务数据对应的经校准的分类信息用作分类模型的更新的训练数据。优选地，在由所述分类模型预测的业务数据中，选择其分类信息与经校准的分类信息一致的业务数据以及与该业务数据对应的经校准的分类信息，作为更新的训练数据。
在步骤S340中，通过模型训练更新分类模型。例如，可使用初始训练数据和更新的训练数据更新分类模型。另选地，也可使用当前时刻之前的一段时间内的更新的训练数据来更新分类模型。分类模型的更新可以基于更新的训练数据实时地或定期地进行。例如，对于分类模型为Bert模型的情况，更新分类模型包括：在分类模型中使用softmax网络，通过Fine-tuning方式基于更新的训练数据来更新第二子模型。
然后，又回到步骤S310，使用更新的分类模型来预测新业务数据的分类信息。由此形成一个封闭的循环。
在本申请的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序包括可执行指令，该可执行指令被例如处理器执行时可以实现上述实施例中所述用于对业务数据进行分类的方法的步骤。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书中业务数据分类方法中描述的根据本申请各种示例性实施例的步骤。
根据本申请的实施例的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本申请中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请方法操作的程序代码，所述程序设计语言包括面向对象的程序设计语言、诸如Java、C++等，还包括常规的过程式程序设计语言、诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本申请的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述实施例中的用于对业务数据进行分类的方法的步骤。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图4来描述根据本申请的这种实施方式的电子设备400。图4示出的电子设备400仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书业务数据分类方法中描述的根据本申请各种示例性实施方式的步骤。例如，所述处理单元410可以执行如图3所示的方法的相应步骤。
所述存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。
所述存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，但可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本申请实施方式的业务数据分类方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请真正的范围和精神由所附的权利要求指出。

Claims (20)

1.一种对业务数据进行分类的方法，该方法包括使用分类模型预测与所述业务数据对应的分类信息，
其特征在于，所述方法还包括：
在业务流程中对已由所述分类模型预测其分类信息的所述业务数据进行处理期间，对所述分类信息进行校准；以及
在完成所述业务数据的处理时，将所述业务数据以及与所述业务数据对应的经校准的分类信息用作所述分类模型的更新的训练数据，并且更新所述分类模型。
2.根据权利要求1所述的方法，其特征在于，在由所述分类模型预测的业务数据中，选择其分类信息与经校准的分类信息一致的业务数据以及与该业务数据对应的所述经校准的分类信息，作为所述更新的训练数据。
3.根据权利要求1或2所述的方法，其特征在于，所述分类模型包括第一子模型和第二子模型，第一子模型被配置为提取所述业务数据的特征信息，第二子模型被配置为确定与所述特征信息对应的分类信息。
4.根据权利要求3所述的方法，其特征在于，所述业务数据是文本数据。
5.根据权利要求4所述的方法，其特征在于，第一子模型被配置为对所述业务数据进行文本向量化，其中，向量化后的数值表示文本特征；第二子模型被配置为根据文本特征与对应分类信息之间的映射关系，确定与所述业务数据对应的分类信息。
6.根据权利要求5所述的方法，其特征在于，所述第一子模型被配置为对所述业务数据进行分段以及提取至少一个关键词。
7.根据权利要求6所述的方法，其特征在于，所述第二子模型被配置为基于所述至少一个关键词确定与所述业务数据对应的分类信息。
8.根据权利要求5所述的方法，其特征在于，所述分类模型为Bert模型，更新所述分类模型包括：在所述分类模型中使用softmax网络通过Fine-tuning方式基于所述更新的训练数据来更新所述第二子模型。
9.根据权利要求1或2所述的方法，其特征在于，更新所述分类模型进一步包括：基于所述更新的训练数据实时地或定期地更新所述分类模型。
10.根据权利要求1或2所述的方法，其特征在于，在使用所述分类模型预测与所述业务数据对应的分类信息之前，对所述业务数据进行预处理。
11.根据权利要求1或2所述的方法，其特征在于，在使用所述分类模型之前，基于初始训练数据训练所述分类模型。
12.根据权利要求11所述的方法，其特征在于，使用所述初始训练数据和所述更新的训练数据更新所述分类模型。
13.根据权利要求1或2所述的方法，其特征在于，使用当前时刻之前的一段时间内的所述更新的训练数据更新所述分类模型。
14.根据权利要求1或2所述的方法，其特征在于，所述业务数据为投诉数据。
15.根据权利要求14所述的方法，其特征在于，所述业务数据为餐饮行业的投诉数据。
16.根据权利要求15所述的方法，其特征在于，所述业务流程包括：
选择与所述分类信息所指示的业务类别对应的业务人员处理所述投诉数据；
在完成所述投诉数据的处理时执行结案并且对所述分类信息进行校准。
17.根据权利要求16所述的方法，其特征在于，对所述分类信息进行校准包括：
当所述分类信息所指示的业务类别不正确时，调整所述分类信息以指示正确的业务类别；以及
当所述分类信息所指示的业务类别正确时，保持所述分类信息。
18.根据权利要求16或17所述的方法，所述分类信息指示如下业务类别中的至少一个：
食品的质量；
食品的口味；
服务的质量。
19.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括可执行指令，当该可执行指令被处理器执行时使所述处理器实施根据权利要求1至18中任一项所述的方法。
20.一种用于对业务数据进行分类的设备，其特征在于，该设备包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器被配置为执行所述可执行指令以实施根据权利要求1至18中任一项所述的方法。
CN202110953914.XA 2021-08-19 2021-08-19 用于对业务数据进行分类的方法和设备 Active CN113672732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110953914.XA CN113672732B (zh) 2021-08-19 2021-08-19 用于对业务数据进行分类的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110953914.XA CN113672732B (zh) 2021-08-19 2021-08-19 用于对业务数据进行分类的方法和设备

Publications (2)

Publication Number Publication Date
CN113672732A true CN113672732A (zh) 2021-11-19
CN113672732B CN113672732B (zh) 2024-04-26

Family

ID=78543860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110953914.XA Active CN113672732B (zh) 2021-08-19 2021-08-19 用于对业务数据进行分类的方法和设备

Country Status (1)

Country Link
CN (1) CN113672732B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114328389A (zh) * 2021-12-31 2022-04-12 浙江汇鼎华链科技有限公司 一种云计算环境下的大数据文件分析处理系统及方法
CN115545353A (zh) * 2022-11-29 2022-12-30 支付宝(杭州)信息技术有限公司 一种业务风控的方法、装置、存储介质及电子设备
CN115859693A (zh) * 2023-02-17 2023-03-28 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法及装置

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110040706A1 (en) * 2009-08-11 2011-02-17 At&T Intellectual Property I, Lp Scalable traffic classifier and classifier training system
CN102508860A (zh) * 2011-09-29 2012-06-20 广州中浩控制技术有限公司 一种基于xbrl实例文档的数据挖掘方法
CN105447637A (zh) * 2015-11-23 2016-03-30 裴兆欣 一种政务数据管理系统及处理方法
CN105630827A (zh) * 2014-11-05 2016-06-01 阿里巴巴集团控股有限公司 一种信息处理方法、系统及辅助系统
US20160379135A1 (en) * 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Just in time classifier training
CN108921119A (zh) * 2018-07-12 2018-11-30 电子科技大学 一种障碍物实时检测和分类方法
CN109492091A (zh) * 2018-09-28 2019-03-19 科大国创软件股份有限公司 一种基于卷积神经网络的投诉工单智能分类方法
CN109684475A (zh) * 2018-11-21 2019-04-26 斑马网络技术有限公司 投诉的处理方法、装置、设备以及存储介质
CN110163224A (zh) * 2018-01-23 2019-08-23 天津大学 一种可在线学习的辅助数据标注方法
CN110543891A (zh) * 2019-07-23 2019-12-06 百度(中国)有限公司 数据标注方法、装置、系统及存储介质
CN110889309A (zh) * 2018-09-07 2020-03-17 上海怀若智能科技有限公司 金融单据分类管理系统及方法
CN111026815A (zh) * 2019-12-05 2020-04-17 电子科技大学广东电子信息工程研究院 基于用户辅助修正下的实体对特定关系抽取方法
CN111340148A (zh) * 2020-05-22 2020-06-26 支付宝(杭州)信息技术有限公司 一种业务分类模型的训练方法、业务分类方法以及终端
CN111737464A (zh) * 2020-06-12 2020-10-02 网易（杭州）网络有限公司 文本分类方法、装置和电子设备
CN112132179A (zh) * 2020-08-20 2020-12-25 中国人民解放军战略支援部队信息工程大学 基于少量标注样本的增量学习方法及系统
CN112434809A (zh) * 2021-01-26 2021-03-02 成都点泽智能科技有限公司 基于主动学习的模型训练方法、装置及服务器
CN112446441A (zh) * 2021-02-01 2021-03-05 北京世纪好未来教育科技有限公司 模型训练数据筛选方法、装置、设备及存储介质
EP3792811A1 (en) * 2019-09-12 2021-03-17 Beijing Xiaomi Intelligent Technology Co., Ltd. Method and device for optimizing training set for text classification
CN112861667A (zh) * 2021-01-26 2021-05-28 北京邮电大学 一种基于多类别目标分割的机器人抓取检测方法
CN112861894A (zh) * 2019-11-27 2021-05-28 华为技术有限公司 一种数据流分类方法、装置及系统
CN113204975A (zh) * 2021-05-21 2021-08-03 上海明略人工智能(集团)有限公司 一种基于远程监督的敏感文风识别方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110040706A1 (en) * 2009-08-11 2011-02-17 At&T Intellectual Property I, Lp Scalable traffic classifier and classifier training system
CN102508860A (zh) * 2011-09-29 2012-06-20 广州中浩控制技术有限公司 一种基于xbrl实例文档的数据挖掘方法
CN105630827A (zh) * 2014-11-05 2016-06-01 阿里巴巴集团控股有限公司 一种信息处理方法、系统及辅助系统
US20160379135A1 (en) * 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Just in time classifier training
CN105447637A (zh) * 2015-11-23 2016-03-30 裴兆欣 一种政务数据管理系统及处理方法
CN110163224A (zh) * 2018-01-23 2019-08-23 天津大学 一种可在线学习的辅助数据标注方法
CN108921119A (zh) * 2018-07-12 2018-11-30 电子科技大学 一种障碍物实时检测和分类方法
CN110889309A (zh) * 2018-09-07 2020-03-17 上海怀若智能科技有限公司 金融单据分类管理系统及方法
CN109492091A (zh) * 2018-09-28 2019-03-19 科大国创软件股份有限公司 一种基于卷积神经网络的投诉工单智能分类方法
CN109684475A (zh) * 2018-11-21 2019-04-26 斑马网络技术有限公司 投诉的处理方法、装置、设备以及存储介质
CN110543891A (zh) * 2019-07-23 2019-12-06 百度(中国)有限公司 数据标注方法、装置、系统及存储介质
EP3792811A1 (en) * 2019-09-12 2021-03-17 Beijing Xiaomi Intelligent Technology Co., Ltd. Method and device for optimizing training set for text classification
CN112861894A (zh) * 2019-11-27 2021-05-28 华为技术有限公司 一种数据流分类方法、装置及系统
CN111026815A (zh) * 2019-12-05 2020-04-17 电子科技大学广东电子信息工程研究院 基于用户辅助修正下的实体对特定关系抽取方法
CN111340148A (zh) * 2020-05-22 2020-06-26 支付宝(杭州)信息技术有限公司 一种业务分类模型的训练方法、业务分类方法以及终端
CN111737464A (zh) * 2020-06-12 2020-10-02 网易（杭州）网络有限公司 文本分类方法、装置和电子设备
CN112132179A (zh) * 2020-08-20 2020-12-25 中国人民解放军战略支援部队信息工程大学 基于少量标注样本的增量学习方法及系统
CN112434809A (zh) * 2021-01-26 2021-03-02 成都点泽智能科技有限公司 基于主动学习的模型训练方法、装置及服务器
CN112861667A (zh) * 2021-01-26 2021-05-28 北京邮电大学 一种基于多类别目标分割的机器人抓取检测方法
CN112446441A (zh) * 2021-02-01 2021-03-05 北京世纪好未来教育科技有限公司 模型训练数据筛选方法、装置、设备及存储介质
CN113204975A (zh) * 2021-05-21 2021-08-03 上海明略人工智能(集团)有限公司 一种基于远程监督的敏感文风识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
傅群超;王枞;: "用于文本分类的多探测任务语言模型微调", 北京邮电大学学报, no. 06, 15 December 2019 (2019-12-15) *
叶立武;吴倩;王玮;王东;: "数据挖掘方法在保险领域的应用前景", 保险职业学院学报, no. 02, 15 April 2018 (2018-04-15) *
唐子惠: "《医学人工智能导论》", 上海科学技术出版社, pages: 381 *
宋冬;: "计量检定及校准中计算机技术的应用研究", 仪器仪表标准化与计量, no. 03, 26 June 2020 (2020-06-26), pages 381 *
杨体东;付晓东;刘骊;岳昆;刘利军;冯勇;: "基于多维度评价信息的在线服务信誉度量", 小型微型计算机系统, no. 12, 11 December 2018 (2018-12-11) *
梁霄波;: "电信客户细分中基于聚类算法的数据挖掘技术研究", 现代电子技术, no. 15, 1 August 2016 (2016-08-01) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114328389A (zh) * 2021-12-31 2022-04-12 浙江汇鼎华链科技有限公司 一种云计算环境下的大数据文件分析处理系统及方法
CN114328389B (zh) * 2021-12-31 2022-06-17 浙江汇鼎华链科技有限公司 一种云计算环境下的大数据文件分析处理系统及方法
CN115545353A (zh) * 2022-11-29 2022-12-30 支付宝(杭州)信息技术有限公司 一种业务风控的方法、装置、存储介质及电子设备
CN115545353B (zh) * 2022-11-29 2023-04-18 支付宝(杭州)信息技术有限公司 一种业务风控的方法、装置、存储介质及电子设备
CN115859693A (zh) * 2023-02-17 2023-03-28 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法及装置

Also Published As

Publication number Publication date
CN113672732B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US11663409B2 (en) Systems and methods for training machine learning models using active learning
US11394667B2 (en) Chatbot skills systems and methods
US20200143288A1 (en) Training of Chatbots from Corpus of Human-to-Human Chats
CN113672732B (zh) 用于对业务数据进行分类的方法和设备
US20190180196A1 (en) Systems and methods for generating and updating machine hybrid deep learning models
US20190333118A1 (en) Cognitive product and service rating generation via passive collection of user feedback
EP3144822A1 (en) Tagging text snippets
US20190179903A1 (en) Systems and methods for multi language automated action response
WO2021051560A1 (zh) 文本分类方法和装置、电子设备、计算机非易失性可读存储介质
US20180341632A1 (en) Conversation utterance labeling
CN112270379A (zh) 分类模型的训练方法、样本分类方法、装置和设备
CN111191000B (zh) 一种智能语音机器人的对话管理方法、装置和系统
WO2019113122A1 (en) Systems and methods for improved machine learning for conversations
US8538915B2 (en) Unified numerical and semantic analytics system for decision support
US11580299B2 (en) Corpus cleaning method and corpus entry system
US20220044148A1 (en) Adapting prediction models
CN109710766B (zh) 一种工单数据的投诉倾向分析预警方法及装置
US20230237276A1 (en) System and Method for Incremental Estimation of Interlocutor Intents and Goals in Turn-Based Electronic Conversational Flow
CN110555205A (zh) 否定语义识别方法及装置、电子设备、存储介质
CN115359799A (zh) 语音识别方法、训练方法、装置、电子设备及存储介质
US20220067579A1 (en) Dynamic ontology classification system
CN111861596A (zh) 一种文本分类方法和装置
US11288701B2 (en) Method and system for determining equity index for a brand
CN114757178A (zh) 核心产品词提取方法、装置、设备及介质
CN114356924A (zh) 用于从结构化文档提取数据的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211119

Assignee: Baisheng Consultation (Shanghai) Co.,Ltd.

Assignor: Shengdoushi (Shanghai) Technology Development Co.,Ltd.

Contract record no.: X2023310000138

Denomination of invention: Method and equipment for classifying business data

License type: Common License

Record date: 20230714

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant