CN116228274A - 标签信息处理方法、装置、存储介质、电子设备及系统 - Google Patents

标签信息处理方法、装置、存储介质、电子设备及系统 Download PDF

Info

Publication number
CN116228274A
CN116228274A CN202310008046.7A CN202310008046A CN116228274A CN 116228274 A CN116228274 A CN 116228274A CN 202310008046 A CN202310008046 A CN 202310008046A CN 116228274 A CN116228274 A CN 116228274A
Authority
CN
China
Prior art keywords
tag information
target
sample
mining
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310008046.7A
Other languages
English (en)
Inventor
王泽慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310008046.7A priority Critical patent/CN116228274A/zh
Publication of CN116228274A publication Critical patent/CN116228274A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种标签信息处理方法、装置、存储介质、电子设备及系统。其中，该方法包括：获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。本申请解决了相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。

Description

标签信息处理方法、装置、存储介质、电子设备及系统
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种标签信息处理方法、装置、存储介质、电子设备及系统。
背景技术
随着移动互联网技术日趋成熟，可供用户选择的网络购物平台不断增多。在网络购物平台中通常会设置有机器客服，以用于向不同类型的用户提供订单服务，并及时解决用户在交易过程中所遇到的问题。
在相关技术中，通过分析机器客服与用户之间的对话，能够对相关对话中的用户人群进行定位，利用定位获得的用户人群体系能够帮助商家更好地服务用户。但是，当前网络购物平台所提供的定位标签一般是针对于大量商家而设计的行业标签，这种行业标签相对通用，难以满足不同商家具体的经营范围和服务需求，从而影响商家机器客服的服务质量。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种标签信息处理方法、装置、存储介质、电子设备及系统，以至少解决相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。
根据本申请其中一实施例，提供了一种标签信息处理方法，包括：获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
根据本申请其中一实施例，提供了一种标签信息处理方法，包括：接收来自于客户端的初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘以得到挖掘结果，以及对挖掘结果进行数据校验以得到目标标签信息，其中，目标数据集是由用户参与的历史对话内容确定的数据，目标标签信息用于对目标用户人群进行识别；将目标标签信息反馈至客户端。
根据本申请其中一实施例，提供了一种标签信息处理装置，包括：获取模块，用于获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；挖掘模块，用于基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；处理模块，用于对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
根据本申请其中一实施例，提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行本申请实施例中任意一项的标签信息处理方法。
根据本申请其中一实施例，提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行本申请实施例中任意一项的标签信息处理方法。
根据本申请其中一实施例，提供了一种标签信息处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
在本申请实施例中，通过获取由商家基于自身的经营范围和服务需求自定义的标签，进而基于该标签对目标数据集进行对话挖掘，得到挖掘结果，最后对挖掘结果进行数据校验，得到用于对目标用户人群进行识别的目标标签信息，达到了基于商家自身的经营范围和服务需求快速获取目标标签信息的目的，从而实现了基于商家的自定义标签对用户人群进行准确识别的技术效果，进而解决了相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。
容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种用于实现标签信息处理方法的计算机终端(或移动设备)的硬件结构框图；
图2是根据本申请实施例的一种标签信息处理方法的流程图；
图3是根据本申请实施例的一种标签信息处理方法的示意图；
图4是根据本申请实施例的一种标签信息处理系统的示意图；
图5是根据本申请实施例的一种可选的标签信息处理方法的流程图；
图6是根据本申请实施例的一种在云端服务器进行标签信息处理方法的示意图；
图7是根据本申请实施例的一种标签信息处理装置的结构框图；
图8是根据本申请实施例的一种可选的标签信息处理装置的结构框图；
图9是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
词频-逆文本频率指数(Term Frequency-Inverse Document Frequency，TF-IDE)：是一种用于信息检索和数据挖掘的常用加权技术，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
双向转换器的编码器(Bidirectional-Encoder Representation fromTransformers，BERT)：是一个预训练的语言表征模型，可以用预训练和下游微调方式处理任务。
预训练：即使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而减轻模型对特定任务的学习负担。
微调(Fine-tune)：原理为利用已知的网络结构和已知的网络参数，将输出层(Output)修改，并且微调最后一层前的若干层参数，从而能够有效利用深度神经网络强大的泛化能力，避免设计复杂的模型以及进行耗时良久的训练，因而Fine-tune是当数据量不足时的一个比较合适的选择。
提示学习(Prompt)：用户构造一段任务描述和少量示例作为输入，然后用语言模型生成输出，这种方法就叫做上下文学习(In-Context Learning)或Prompting。
循环神经网络(Recurrent Neural Network，RNN)：是一类以序列(Sequence)数据为输入，在序列的演进方向进行递归(Recursion)且所有循环单元按链式连接的递归神经网络(Recursive Neural Network)。
基准(Baseline)：是一种模型实现的基础方法。
准确率(Accuracy，ACC)：是一种最常见的评价指标，可以通过分类器正确分类的样本数除以所有样本数而获得，准确率越高，分类器的性能越好。
掩码语言模型(Masked Language Model，MLM)：通过随机将句子中的部分字段字隐藏，然后通过该隐藏字段的上下文来预测该隐藏字段，这样的语言模型可称为自编码语言模型(Autoencoder Language Model)
实施例1
根据本申请实施例，还提供了一种标签信息处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
随着可供用户选择的网络购物平台不断增多，基础的自助式购物已经不能吸引用户的目光，如何提供更精准、更个性化的服务，逐渐成为各个网络购物平台吸引用户的关键。
网络购物平台通过会为商家提供具备客服能力的对话机器人，从而面向不同类型的用户提供不同的解决方案，以快速解决用户的问题，促进商家成交。通过分析机器客服与用户之间的对话，能够对对话中的用户人群进行定位，利用定位获得的用户人群体系能够帮助商家更好地服务用户。相关技术中通常采用以下方式定位不同商家对应的用户群体：
一种方式是基于预设规则进行字符串匹配，从而获得需要圈选的用户人群，这种方式所圈选的用户人群虽然能够由商家精准可控，但维护成本较高，泛化性较差。例如，商家可以指定“喜欢粗面条”/“喜欢面条粗一点”这样的预设话术，进而利用预设话术进行字符串匹配，从而得到想要圈选的自定义用户人群。但这种方式对于预设话术的维护成本较高，并且泛化性较差。例如，针对“不喜欢细面条，也不喜欢正常宽度的面条”的人群，虽然也属于偏好粗面条的用户人群，但是无法根据上述预设话术进行召回。
另一种方式则是基于大量行为数据进行自定义用户标签，但这种方式对于特定样本的需求量较大，无法基于小规模的样本数据准确自定义标签。例如，利用“连续两个月购买粗面条次数大于1次”的行为规则来定义偏好粗面条的人群，通过类似的行为规则得到大量行为数据即为正样本，针对正样本进行特征抽取，再随机选取负样本，最终构建模型来给样本打分，通过预设阈值来区分样本是否为与行为规则相似的人群。但这种方式往往需要有较多的正样本，而一些小商家由于用户数据量较少，无法很妤地通过这种方式得到质量好的个性化人群。
因此，相关技术难以高效地为不同商家准确定位用户群体。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现标签信息处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备)可以包括一个或多个(图中采用102a，102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器(Microcontroller Unit，MCU)或可编程逻辑器件(Field Programmable Gate Array，FPGA)等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(Universal SerialBus，USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的标签信息处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的标签信息处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(Liquid Crystal Display，LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在上述运行环境下，本申请提供了如图2所示的标签信息处理方法。图2是根据本申请实施例的一种标签信息处理方法的流程图，如图2所示，所述方法包括：
步骤S20，获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
上述初始标签信息中还包括标签名、标签值以及标签示例，其中，标签名和标签值可以存储于自定义元标签库中，标签名、标签值以及标签示例可以存储于自定义标签示例库中。
上述商家可以为入驻网络购物平台的不同类型商家，商家的类型具体可以包括服饰类、食品类、服务类、日常用品类、文具书籍类等多种类型。商家的经营范围则是指商家可以从事的生产经营与服务项目，例如，某服饰类商家的经营范围包括服装、鞋子、帽子、围巾等产品；某面食类商家的经营范围则包括多种不同口味、不同粗细的面条。商家的服务需求可以为每个商家对应的用户偏好信息，例如，某服饰类商家的服务需求可以为客户对于服装款式或者服装颜色的偏好情况；某面食类商家的服务需求则可以为客户对于面条口味或者面条粗细的偏好情况。
初始标签信息可以由商家基于自身经营店铺的经验进行自定义。具体的，商家可以根据机器客服与网络店铺中的客户进行对话时的接待经验，结合自身的经营范围和服务需求定义初始标签信息中的标签名、标签值以及标签示例。例如，某面食类商家想要定义出面条粗细偏好的标签人群，则需要定义标签名为“面条粗细偏好”，标签值为“粗面条偏好”/“细面条偏好”，其中，“粗面条偏好”对应的标签示例为“我喜欢偏粗的面条”，“细面条偏好”对应的标签示例为“我喜欢偏细的面条”。
步骤S22，基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；
具体的，上述目标数据集可以为商家与用户之间的目标对话池，通过收集过往1-3个月内有用户参与的对话内容，并将其作为抽取数据的目标对话池，进而得到目标数据集。
基于初始标签信息对目标数据集进行对话挖掘所得到的挖掘结果可用于确定目标标签信息，从而帮助商家更灵活地了解自身的用户。
步骤S24，对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
在上述目标标签信息的生成过程中，由于充分考虑到商家自身的经营范围和服务需求，从而可以使得各个商家可以设计符合自身需求的目标标签信息，基于目标标签信息能够准确定位不同商家对应的目标用户人群，从而进一步提升商家的服务能力，以促进成交转化。
基于上述步骤S20至步骤S24，通过获取由商家基于自身的经营范围和服务需求自定义的标签，进而基于该标签对目标数据集进行对话挖掘，得到挖掘结果，最后对挖掘结果进行数据校验，得到用于对目标用户人群进行识别的目标标签信息，达到了基于商家自身的经营范围和服务需求快速获取目标标签信息的目的，从而实现了基于商家的自定义标签对用户人群进行准确识别的技术效果，进而解决了相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。
可选地，本申请实施例所提供的标签信息处理方法可以但不限于应用在机器客服的人群管理任务中。例如，机器客服可以利用目标标签信息对用户人群进行精准识别，进而可以针对识别出的不同人群进行精准服务，包括但不限于为相应用户人群精准推荐商品，或者精准解答相应用户人群在交易过程中的各种问题等。相较于相关技术中采用相对通用的行业标签进行用户人群的识别，通过本申请中标签处理方法获得的目标标签信息可以满足不同商家的个性化用户人群需求，并支持商家将目标标签信息应用于所能提供的多项服务之中，从而可以更好地为用户提供优质服务，以促进成交转化。
下面对上述实施例中的标签信息处理方法进行进一步介绍。
在一种可选的实施例中，在步骤S22，基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果包括：
步骤S221，基于初始标签信息，对历史时间段内产生的历史对话内容进行采集，得到目标数据集；
步骤S222，利用初始标签信息和目标数据集构建目标样本，其中，目标样本为训练初始语言模型的提示样本；
步骤S223，通过目标样本对初始语言模型进行训练，得到目标语言模型；
步骤S224，采用测试集和目标数据集对目标语言模型进行测试，得到挖掘结果。
具体的，上述历史时间段内产生的历史对话内容可以为过往1-3个月内有用户参与的对话内容，基于初始标签信息对历史时间段内产生的历史对话内容进行采集，从而可以得到目标对话池。
进一步的，利用初始标签信息和目标对话池构建目标样本，上述目标样本为训练初始语言模型的提示样本，上述初始语言模型可以为Fine-tune，提示样本可以为使用Prompt方法而获得的样本。
相关技术中基础的文本分类往往是基于文本和样本，选取RNN等模型结构进行样本训练，但这样的训练方式，需要大量的正样本，在本申请实施例中由商家自定义初始标签信息的场景下，由于商家能够提供可枚举的样本数量较少，因而当前的文本分类训练方式并不适用。
而随着近年来大规模预训练语言模型的兴起，基于预训练BERT后做Fine-tune的方法也逐渐兴起，这种方式既利用了语料场景丰富的先验信息，也能针对不同的细化需求进行灵活调整，在通过目标样本对初始语言模型进行训练时，可以采用预训练BERT后做Fine-tune的方法，作为模型训练的Baseline方法。
本申请实施例基于Prompt的方法设计提示样本，进而基于提示样本训练Fine-tune以获得自编码语言模型，利用自编码语言模型进一步获取挖掘结果。这种方式相比Baseline方法更能适配的样本数量较小时的应用场景，既能够充分利用了预训练过程中的信息，也能针对人群画像这样的特殊场景具有更强的适配性。
具体的，Prompt的方法在传统Fine-tune的基础上构造提示样本，从而基于提示样本进行Fine-tune的训练，能够将分类模型的任务转变为掩码语言模型的任务，进而得到训练成熟的自编码语言模型。
在实际处理过程中，分别基于Baseline的方法和Prompt的方法在人群画像上进行实验后，可以得到表1所示的实验结果。
ACC 大样本 小样本
Baseline 0.970 0.858
Prompt 0.959 0.896
表1 Baseline的方法和Prompt的方法在人群画像上实验结果对比表
如表1所示，在样本数据量较多的情况下，即基于大样本获取人群画像时，Baseline方法的ACC高于Prompt方法的ACC；但是，当样本减少到100以内时，即基于小样本获取人群画像时，Prompt方法的ACC高于Baseline方法的ACC。因此，在商家所提供的少量初始标签信息的基础之上，利用Prompt方法进行目标人群识别的准确度更高。
相较于相关技术中基于大量行为数据进行自定义客户标签方法，需要大量行为数据进行模型训练，本申请实施例的标签信息处理方法在进行模型训练时所需的数据量更小，因而在范围较小的应用环境下，尤其是针对中小规模商家的应用环境，基于少量数据进行初始语言模型的训练，仍然能够满足模型上线的准确率需求。另外，基于行为数据进行标签自定义的方式难以抽象和总结，原因在于行为数据和具体标签的对应关系通常需要根据大量的服务经验而确定，因而该方式中的模型的可解释性相对较差，维护成本较高。而本申请基于对话的Prompt方案则是通过文本的方式让商家进行自定义，相对而言对于目标语言模型的理解和维护成本低，同时文本的反馈方式也可以方便商家能够进行快速调优。
基于上述可选实施例方式，基于初始标签信息，对历史时间段内产生的历史对话内容进行采集，得到目标数据集，进而利用初始标签信息和目标数据集构建目标样本，接着通过目标样本对初始语言模型进行训练，得到目标语言模型，最后采用测试集和目标数据集对目标语言模型进行测试，得到挖掘结果，从而能够实现基于小样本对于目标对话池的快速挖掘，进一步保证对于用户人群识别的准确性。
在一种可选的实施例中，初始标签信息包括：标签名与标签值，在步骤S222，利用初始标签信息和目标数据集构建目标样本包括：
步骤S2221，利用标签名与标签值构建提示模板和答案模板，其中，提示模板用于在预设提示语句中设置待替换项，答案模板用于确定待替换项对应的答案范围；
步骤S2222，从目标数据集中获取初始样本，其中，初始样本包括：第一样本和第二样本，第一样本为训练初始语言模型的正样本，第二样本为训练初始语言模型的负样本；
步骤S2223，对提示模板与第一样本进行拼接，得到拼接样本；
步骤S2224，将拼接样本和第二样本确定为目标样本。
具体的，继续以上述面食类商家定义的初始标签信息为例，预设提示语句为“这个是xxx的人”，在利用标签名和标签值构建提示模板和答案模板时，提示模板可用于在预设提示语句中设置待替换项“xxx”，答案模板用于确定待替换项“xxx”对应的答案范围，该答案范国可以为“偏好粗面条”或者“偏好细面条”等具体的标签值。
随后从面食类商家与其用户的目标对话池中获取初始样本，该初始样本包括用于训练初始语言模型的正样本和负样本。当标签名为“面条粗细偏好”，标签值为“粗面条偏好”时，该标签值对应的正样本为“我喜欢吃偏粗的面条”等类似话术，该标签值对应的负样本则为“我不爱吃面条”等类似话术。
接着对提示模板与训练初始语言模型的正样本进行拼接，得到的拼接文本为“这是个偏好粗面条的人，我喜欢吃偏粗的面条”。
最后，将上述拼接文本与训练初始语言模型的负样本确定为目标样本，以用于对初始语言模型进行训练，以获得目标语言模型。
基于上述可选实施方式，通过利用标签名与标签值构建提示模板和答案模板，进而从目标数据集中获取初始样本，接着对提示模板与第一样本进行拼接，得到拼接样本，最后将拼接样本和第二样本确定为目标样本，能够快速获取用于训练初始语言模型的目标样本，并且可以充分利用模型的泛化性提高对于目标用户人群的召回率。
在一种可选的实施例中，初始标签信息还包括：标签示例，在步骤S2222，从目标数据集中获取初始样本包括：
步骤S31，采用预设统计方式在目标数据集中对标签示例进行样本扩充，得到第一样本；
步骤S33，对目标数据集进行负样本随机采样，得到第二样本；
步骤S33，将第一样本和第二样本确定为初始样本。
具体的，上述预设统计方式可以为TF-IDF，通过TF-IDF对标签示例进行样本扩充，从而得到与标签示例的描述相似的第一样本。其中，TF-IDF是一种统计方法，用以评估一个字词对于一个文件集或者一个语料库中的其中一份文件的重要程度，字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
进一步的，对目标对话池进行负样本随机采样，从而得到第二样本，将第一样本和第二样本确定为初始样本，从而完成对于正样本和负样本的收集。
基于上述可选实施例方式，采用预设统计方式在目标数据集中对标签示例进行样本扩充，得到第一样本，进而对目标数据集进行负样本随机采样，得到第二样本，最后将第一样本和第二样本确定为初始样本，从而能够快速完成训练正样本和训练负样本的收集，进一步提升模型的训练效率。
在一种可选的可选地实施例中，在步骤S224，采用测试集和目标数据集对目标语言模型进行测试，得到挖掘结果包括：
步骤S2241，采用测试集对目标语言模型进行测试，得到测试结果；
步骤S2242，从目标数据集中随机选取待评估样本，并采用目标语言模型对待评估样本进行测试，得到评估结果，其中，评估结果用于将待评估样本划分为第三样本和第四样本，第三样本为评估得到的正样本，第四样本为评估得到的负样本；
步骤S2243，将测试结果和评估结果确定为挖掘结果。
具体的，上述测试集中包括预先标注的测试数据，采用测试集对目标语言模型进行评分，能够利用测试结果对目标语言模型的模型效果进行确认，以进一步保证目标语言模型的稳定性。随后从整体的离线语料中随机选取待评估样本，并采用目标语言模型对待评估样本进行评分，能够得到评估后的正样本和负样本，从而可以利用在全量数据级上通过随机抽样选取的评估样本进行效果确认。最后，将测试集对应的测试结果以及评估后的正样本和负样本作为挖掘结果反馈至对应的商家。
基于上述可选实施方式，采用测试集对目标语言模型进行测试，得到测试结果，进而从目标数据集中随机选取待评估样本，并采用目标语言模型对待评估样本进行测试，得到评估结果，最后将测试结果和评估结果确定为挖掘结果，能够获得更加准确全面的挖掘结果。
在一种可选的实施例中，在步骤S24，对挖掘结果进行数据校验，得到目标标签信息包括：
步骤S241，对挖掘结果进行数据校验，确定挖掘结果是否满足预设条件，其中，挖掘结果满足预设条件包括：测试结果满足预设测试集指标要求，评估结果满足预设评分要求；
步骤S242，响应于挖掘结果满足预设条件，基于挖掘结果确定目标标签信息。
上述预设测试集指标要求包括针对准确率、召回率等指标要求，预设评分要求包括F1分数(F1 score)要求，其中F1分数是统计学中用来衡量二分类模型精确度的一种指标，它同时兼顾了分类模型的准确率和召回率。当测试结果满足预设的准确率和召回率，并且评估结果满足预设的F1分数，则可以确定挖掘结果满足预设条件，基于该挖掘结果可以确定出用于对目标用户人群进行准确识别的目标标签信息。
基于上述可选实施例，通过对挖掘结果进行数据校验，确定挖掘结果是否满足预设条件，进而在挖掘结果满足预设条件时，基于挖掘结果能够准确确定满足商家需求目标标签信息。
在一种可选的实施例中，本申请实施例的标签信息处理方法还包括：
步骤S243，响应于挖掘结果未满足预设条件，对评估结果进行标注，得到标注结果；
步骤S244，基于标注结果对目标语言模型进行优化，直至挖掘结果满足预设条件。
具体的，在挖掘结果未满足预设条件时，对评估结果进行标注，从而进一步确定评估结果中的正样本和负样本是否准确。例如，当评估结果中的正样本准确时，则对其标注为1，当评估结果中的正样本不准确时，则对其标注为0。
进一步的，基于标注结果对目标语言模型进行优化，以使得最终的挖掘结果能够满足预设条件，从而基于挖掘结果确定更加准确的目标标签信息。
基于上述可选实施方式，通过在挖掘结果未满足预设条件时，对评估结果进行标注，得到标注结果，进而基于标注结果对目标语言模型进行优化，直至挖掘结果满足预设条件，从而可以进一步优化目标语言模型的处理性能。
图3是根据本申请实施例的一种标签信息处理方法的示意图，如图3所示，该方法包括以下步骤：
步骤S301，获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
步骤S302，基于初始标签信息，对历史时间段内产生的历史对话内容进行采集，得到目标数据集；
步骤S303，利用初始标签信息和目标数据集构建目标样本，其中，目标样本为训练初始语言模型的提示样本；
步骤S304，通过目标样本对初始语言模型进行训练，得到目标语言模型；
步骤S305，采用测试集对目标语言模型进行测试，得到测试结果；
步骤S306，从目标数据集中随机选取待评估样本，并采用目标语言模型对待评估样本进行测试，得到评估结果；
步骤S307，将测试结果和评估结果确定为挖掘结果；
步骤S308，对挖掘结果进行数据校验，判断挖掘结果是否满足预设条件；
步骤S309，响应于挖掘结果未满足预设条件，对评估结果进行标注，得到标注结果；
步骤S310，基于标注结果对目标语言模型进行优化，直至挖掘结果满足预设条件；
步骤S311，响应于挖掘结果满足预设条件，基于挖掘结果确定目标标签信息。
基于上述步骤S301至步骤S311，通过获取由商家基于自身的经营范围和服务需求自定义的标签，进而基于该标签对目标数据集进行对话挖掘，得到挖掘结果，最后对挖掘结果进行数据校验，得到用于对目标用户人群进行识别的目标标签信息，达到了基于商家自身的经营范围和服务需求快速获取目标标签信息的目的，从而实现了基于商家的自定义标签对用户人群进行准确识别的技术效果，进而解决了相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。
图4是根据本申请实施例的一种标签信息处理系统的示意图，如图4所示，商家发起自定义标签任务，标签信息处理系统的自定义元标签库可以存储商家定义的标签名和标签值，自定义标签示例库可以存储商家定义的标签名、标签值以及标签示例。标签信息处理系统基于商家定义的初始标签信息在目标对话池进行对话挖掘，并将挖掘结果反馈给商家，商家针对挖掘结果进行数据校验，判断挖掘结果是否满足预设条件。在挖掘结果满足预设条件时，则成功沉淀出商家的自定义标签，即获得目标标签信息，将目标标签信息存储至自定义标签示例库；在挖掘结果不满足预设条件时，标签信息处理系统根据商家标注的负样本进行模型的调优，得到更新的挖掘结果，再由商家对新的挖掘结果进行重新评估。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
根据本申请其中一实施例，还提供了一种标签信息处理方法，该标签信息处理方法在云端服务器上运行，图5是根据本申请实施例的一种可选的标签信息处理方法的流程图，如图5所示，该方法包括：
步骤S50，接收来自于客户端的初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
步骤S52，基于初始标签信息对目标数据集进行对话挖掘以得到挖掘结果，以及对挖掘结果进行数据校验以得到目标标签信息，其中，目标数据集是由用户参与的历史对话内容确定的数据，目标标签信息用于对目标用户人群进行识别；
步骤S54，将目标标签信息反馈至客户端。
基于上述步骤S50至步骤S54，通过从客户端获取由商家基于自身的经营范围和服务需求自定义的标签，进而基于该标签对目标数据集进行对话挖掘，得到挖掘结果，最后对挖掘结果进行数据校验，得到用于对目标用户人群进行识别的目标标签信息，并将目标标签信息反馈至客户端，达到了基于商家自身的经营范围和服务需求快速获取目标标签信息的目的，从而实现了基于商家的自定义标签对用户人群进行准确识别的技术效果，进而解决了相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。
可选地，图6是根据本申请实施例的一种在云端服务器进行标签信息处理方法的示意图，如图6所示，客户端将初始标签信息上传至云端服务器，云端服务器基于初始标签信息对目标数据集进行对话挖掘以得到挖掘结果，以及对挖掘结果进行数据校验以得到目标标签信息，然后云端服务器会向上述客户端反馈目标标签信息，最终的目标标签信息会通过客户端的图形用户界面展现给用户。
需要说明的是，本申请实施例所提供的上述标签信息处理方法，可以但不限于适用于机器客服的人群管理任务等实际应用场景，通过SaaS服务端和客户端进行交互的方式，基于初始标签信息对目标数据集进行对话挖掘以得到挖掘结果，以及对挖掘结果进行数据校验，以自动得到目标标签信息，并将返回的目标标签信息通过客户端提供给用户。
实施例3
根据本申请其中一实施例，还提供了一种用于实施上述标签信息处理方法的标签信息处理装置，图7是根据本申请实施例的一种标签信息处理装置的结构框图，如图7所示，该标签信息处理装置700包括：
获取模块701，用于获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
挖掘模块702，用于基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；
处理模块703，用于对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
可选地，挖掘模块702还用于：基于初始标签信息，对历史时间段内产生的历史对话内容进行采集，得到目标数据集；利用初始标签信息和目标数据集构建目标样本，其中，目标样本为训练初始语言模型的提示样本；通过目标样本对初始语言模型进行训练，得到目标语言模型；采用测试集和目标数据集对目标语言模型进行测试，得到挖掘结果。
可选地，初始标签信息包括：标签名与标签值，挖掘模块702还用于：利用标签名与标签值构建提示模板和答案模板，其中，提示模板用于在预设提示语句中设置待替换项，答案模板用于确定待替换项对应的答案范围；从目标数据集中获取初始样本，其中，初始样本包括：第一样本和第二样本，第一样本为训练初始语言模型的正样本，第二样本为训练初始语言模型的负样本；对提示模板与第一样本进行拼接，得到拼接样本；将拼接样本和第二样本确定为目标样本。
可选地，初始标签信息还包括：标签示例，挖掘模块702还用于：采用预设统计方式在目标数据集中对标签示例进行样本扩充，得到第一样本；对目标数据集进行负样本随机采样，得到第二样本；将第一样本和第二样本确定为初始样本。
可选地，挖掘模块702还用于：采用测试集对目标语言模型进行测试，得到测试结果；从目标数据集中随机选取待评估样本，并采用目标语言模型对待评估样本进行测试，得到评估结果，其中，评估结果用于将待评估样本划分为第三样本和第四样本，第三样本为评估得到的正样本，第四样本为评估得到的负样本；将测试结果和评估结果确定为挖掘结果。
可选地，处理模块703还用于：对挖掘结果进行数据校验，确定挖掘结果是否满足预设条件，其中，挖掘结果满足预设条件包括：测试结果满足预设测试集指标要求，评估结果满足预设评分要求；响应于挖掘结果满足预设条件，基于挖掘结果确定目标标签信息。
可选地，标签信息处理装置700还包括：标注模块704，用于响应于挖掘结果未满足预设条件，对评估结果进行标注，得到标注结果；优化模块705，用于基于标注结果对目标语言模型进行优化，直至挖掘结果满足预设条件。
此处需要说明的是，上述获取模块701、挖掘模块702和处理模块703对应于实施例1中的步骤S20至步骤S24，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器(例如，存储器104)中并由一个或多个处理器(例如，处理器102a，102b，……，102n)处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例1提供的计算机终端10中。
图8是根据本申请实施例的一种可选的标签信息处理装置的结构框图，如图8所示，该标签信息处理装置800包括：
接收模块801，用于接收来自于客户端的初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
处理模块802，基于初始标签信息对目标数据集进行对话挖掘以得到挖掘结果，以及对挖掘结果进行数据校验以得到目标标签信息，其中，目标数据集是由用户参与的历史对话内容确定的数据，目标标签信息用于对目标用户人群进行识别；
反馈模块803，将目标标签信息反馈至客户端。
此处需要说明的是，上述接收模块801、处理模块802和反馈模块803对应于实施例2中的步骤S50至步骤S54，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。
实施例4
本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行标签信息处理方法中以下步骤的程序代码：获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
可选地，图9是根据本申请实施例的一种计算机终端的结构框图。如图9所示，该计算机终端90可以包括：一个或多个(图中仅示出一个)处理器92、存储器94、存储控制器、以及外设接口，其中，外设接口与射频模块、音频模块和显示屏连接。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的标签信息处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的标签信息处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
可选地，上述处理器还可以执行如下步骤的程序代码：基于初始标签信息，对历史时间段内产生的历史对话内容进行采集，得到目标数据集；利用初始标签信息和目标数据集构建目标样本，其中，目标样本为训练初始语言模型的提示样本；通过目标样本对初始语言模型进行训练，得到目标语言模型；采用测试集和目标数据集对目标语言模型进行测试，得到挖掘结果。
可选地，上述处理器还可以执行如下步骤的程序代码：利用标签名与标签值构建提示模板和答案模板，其中，提示模板用于在预设提示语句中设置待替换项，答案模板用于确定待替换项对应的答案范围；从目标数据集中获取初始样本，其中，初始样本包括：第一样本和第二样本，第一样本为训练初始语言模型的正样本，第二样本为训练初始语言模型的负样本；对提示模板与第一样本进行拼接，得到拼接样本；将拼接样本和第二样本确定为目标样本。
可选地，上述处理器还可以执行如下步骤的程序代码：采用预设统计方式在目标数据集中对标签示例进行样本扩充，得到第一样本；对目标数据集进行负样本随机采样，得到第二样本；将第一样本和第二样本确定为初始样本。
可选地，上述处理器还可以执行如下步骤的程序代码：采用测试集对目标语言模型进行测试，得到测试结果；从目标数据集中随机选取待评估样本，并采用目标语言模型对待评估样本进行测试，得到评估结果，其中，评估结果用于将待评估样本划分为第三样本和第四样本，第三样本为评估得到的正样本，第四样本为评估得到的负样本；将测试结果和评估结果确定为挖掘结果。
可选地，上述处理器还可以执行如下步骤的程序代码：对挖掘结果进行数据校验，确定挖掘结果是否满足预设条件，其中，挖掘结果满足预设条件包括：测试结果满足预设测试集指标要求，评估结果满足预设评分要求；响应于挖掘结果满足预设条件，基于挖掘结果确定目标标签信息。
可选地，上述处理器还可以执行如下步骤的程序代码：响应于挖掘结果未满足预设条件，对评估结果进行标注，得到标注结果；基于标注结果对目标语言模型进行优化，直至挖掘结果满足预设条件。
可选地，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收来自于客户端的初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘以得到挖掘结果，以及对挖掘结果进行数据校验以得到目标标签信息，其中，目标数据集是由用户参与的历史对话内容确定的数据，目标标签信息用于对目标用户人群进行识别；将目标标签信息反馈至客户端。
在该实施例的电子设备中，提供了一种标签信息处理方法，通过获取由商家基于自身的经营范围和服务需求自定义的标签，进而基于该标签对目标数据集进行对话挖掘，得到挖掘结果，最后对挖掘结果进行数据校验，得到用于对目标用户人群进行识别的目标标签信息，达到了基于商家自身的经营范围和服务需求快速获取目标标签信息的目的，从而实现了基于商家的自定义标签对用户人群进行准确识别的技术效果，进而解决了相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。
本领域普通技术人员可以理解，图9所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，计算机终端90还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例5
根据本申请其中一实施例，还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例一所提供的标签信息处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于初始标签信息，对历史时间段内产生的历史对话内容进行采集，得到目标数据集；利用初始标签信息和目标数据集构建目标样本，其中，目标样本为训练初始语言模型的提示样本；通过目标样本对初始语言模型进行训练，得到目标语言模型；采用测试集和目标数据集对目标语言模型进行测试，得到挖掘结果。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：利用标签名与标签值构建提示模板和答案模板，其中，提示模板用于在预设提示语句中设置待替换项，答案模板用于确定待替换项对应的答案范围；从目标数据集中获取初始样本，其中，初始样本包括：第一样本和第二样本，第一样本为训练初始语言模型的正样本，第二样本为训练初始语言模型的负样本；对提示模板与第一样本进行拼接，得到拼接样本；将拼接样本和第二样本确定为目标样本。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用预设统计方式在目标数据集中对标签示例进行样本扩充，得到第一样本；对目标数据集进行负样本随机采样，得到第二样本；将第一样本和第二样本确定为初始样本。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用测试集对目标语言模型进行测试，得到测试结果；从目标数据集中随机选取待评估样本，并采用目标语言模型对待评估样本进行测试，得到评估结果，其中，评估结果用于将待评估样本划分为第三样本和第四样本，第三样本为评估得到的正样本，第四样本为评估得到的负样本；将测试结果和评估结果确定为挖掘结果。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对挖掘结果进行数据校验，确定挖掘结果是否满足预设条件，其中，挖掘结果满足预设条件包括：测试结果满足预设测试集指标要求，评估结果满足预设评分要求；响应于挖掘结果满足预设条件，基于挖掘结果确定目标标签信息。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：响应于挖掘结果未满足预设条件，对评估结果进行标注，得到标注结果；基于标注结果对目标语言模型进行优化，直至挖掘结果满足预设条件。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收来自于客户端的初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；基于初始标签信息对目标数据集进行对话挖掘以得到挖掘结果，以及对挖掘结果进行数据校验以得到目标标签信息，其中，目标数据集是由用户参与的历史对话内容确定的数据，目标标签信息用于对目标用户人群进行识别；将目标标签信息反馈至客户端。
在该实施例的计算机可读存储介质中，提供了一种标签信息处理方法，通过获取由商家基于自身的经营范围和服务需求自定义的标签，进而基于该标签对目标数据集进行对话挖掘，得到挖掘结果，最后对挖掘结果进行数据校验，得到用于对目标用户人群进行识别的目标标签信息，达到了基于商家自身的经营范围和服务需求快速获取目标标签信息的目的，从而实现了基于商家的自定义标签对用户人群进行准确识别的技术效果，进而解决了相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。
实施例6
根据本申请其中一实施例，还提供了一种标签信息处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：
获取初始标签信息，其中，初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
基于初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，目标数据集是由用户参与的历史对话内容确定的数据；
对挖掘结果进行数据校验，得到目标标签信息，其中，目标标签信息用于对目标用户人群进行识别。
在该实施例的标签信息处理系统中，提供了一种标签信息处理方法，通过获取由商家基于自身的经营范围和服务需求自定义的标签，进而基于该标签对目标数据集进行对话挖掘，得到挖掘结果，最后对挖掘结果进行数据校验，得到用于对目标用户人群进行识别的目标标签信息，达到了基于商家自身的经营范围和服务需求快速获取目标标签信息的目的，从而实现了基于商家的自定义标签对用户人群进行准确识别的技术效果，进而解决了相关技术中由于使用通用标签进行用户人群识别而导致识别结果不准确的技术问题。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种标签信息处理方法，其特征在于，包括：
获取初始标签信息，其中，所述初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
基于所述初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，所述目标数据集是由用户参与的历史对话内容确定的数据；
对所述挖掘结果进行数据校验，得到目标标签信息，其中，所述目标标签信息用于对目标用户人群进行识别。
2.根据权利要求1所述的标签信息处理方法，其特征在于，基于所述初始标签信息对所述目标数据集进行对话挖掘，得到所述挖掘结果包括：
基于所述初始标签信息，对历史时间段内产生的所述历史对话内容进行采集，得到所述目标数据集；
利用所述初始标签信息和所述目标数据集构建目标样本，其中，所述目标样本为训练初始语言模型的提示样本；
通过所述目标样本对所述初始语言模型进行训练，得到目标语言模型；
采用测试集和所述目标数据集对所述目标语言模型进行测试，得到所述挖掘结果。
3.根据权利要求2所述的标签信息处理方法，其特征在于，所述初始标签信息包括：标签名与标签值，利用所述初始标签信息和所述目标数据集构建所述目标样本包括：
利用所述标签名与所述标签值构建提示模板和答案模板，其中，所述提示模板用于在预设提示语句中设置待替换项，所述答案模板用于确定所述待替换项对应的答案范围；
从所述目标数据集中获取初始样本，其中，所述初始样本包括：第一样本和第二样本，所述第一样本为训练所述初始语言模型的正样本，所述第二样本为训练所述初始语言模型的负样本；
对所述提示模板与所述第一样本进行拼接，得到拼接样本；
将所述拼接样本和所述第二样本确定为所述目标样本。
4.根据权利要求3所述的标签信息处理方法，其特征在于，所述初始标签信息还包括：标签示例，从所述目标数据集中获取所述初始样本包括：
采用预设统计方式在所述目标数据集中对所述标签示例进行样本扩充，得到所述第一样本；
对所述目标数据集进行负样本随机采样，得到所述第二样本；
将所述第一样本和所述第二样本确定为所述初始样本。
5.根据权利要求2所述的标签信息处理方法，其特征在于，采用所述测试集和所述目标数据集对所述目标语言模型进行测试，得到所述挖掘结果包括：
采用所述测试集对所述目标语言模型进行测试，得到测试结果；
从所述目标数据集中随机选取待评估样本，并采用所述目标语言模型对所述待评估样本进行测试，得到评估结果，其中，所述评估结果用于将所述待评估样本划分为第三样本和第四样本，所述第三样本为评估得到的正样本，所述第四样本为评估得到的负样本；
将所述测试结果和所述评估结果确定为所述挖掘结果。
6.根据权利要求5所述的标签信息处理方法，其特征在于，对所述挖掘结果进行数据校验，得到所述目标标签信息包括：
对所述挖掘结果进行数据校验，确定所述挖掘结果是否满足预设条件，其中，所述挖掘结果满足所述预设条件包括：所述测试结果满足预设测试集指标要求，所述评估结果满足预设评分要求；
响应于所述挖掘结果满足所述预设条件，基于所述挖掘结果确定所述目标标签信息。
7.根据权利要求6所述的标签信息处理方法，其特征在于，所述标签信息处理方法还包括：
响应于所述挖掘结果未满足所述预设条件，对所述评估结果进行标注，得到标注结果；
基于所述标注结果对所述目标语言模型进行优化，直至所述挖掘结果满足所述预设条件。
8.一种标签信息处理方法，其特征在于，包括：
接收来自于客户端的初始标签信息，其中，所述初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
基于所述初始标签信息对目标数据集进行对话挖掘以得到挖掘结果，以及对所述挖掘结果进行数据校验以得到目标标签信息，其中，所述目标数据集是由用户参与的历史对话内容确定的数据，所述目标标签信息用于对目标用户人群进行识别；
将所述目标标签信息反馈至所述客户端。
9.一种标签信息处理装置，其特征在于，包括：
获取模块，用于获取初始标签信息，其中，所述初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
挖掘模块，用于基于所述初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，所述目标数据集是由用户参与的历史对话内容确定的数据；
处理模块，用于对所述挖掘结果进行数据校验，得到目标标签信息，其中，所述目标标签信息用于对目标用户人群进行识别。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任意一项所述的标签信息处理方法。
11.一种电子设备，其特征在于，包括：
存储器，存储有可执行程序；
处理器，用于运行所述程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的标签信息处理方法。
12.一种标签信息处理系统，其特征在于，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：
获取初始标签信息，其中，所述初始标签信息是由商家基于自身的经营范围和服务需求自定义的标签；
基于所述初始标签信息对目标数据集进行对话挖掘，得到挖掘结果，其中，
所述目标数据集是由用户参与的历史对话内容确定的数据；
对所述挖掘结果进行数据校验，得到目标标签信息，其中，所述目标标签信息用于对目标用户人群进行识别。
CN202310008046.7A 2023-01-04 2023-01-04 标签信息处理方法、装置、存储介质、电子设备及系统 Pending CN116228274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310008046.7A CN116228274A (zh) 2023-01-04 2023-01-04 标签信息处理方法、装置、存储介质、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310008046.7A CN116228274A (zh) 2023-01-04 2023-01-04 标签信息处理方法、装置、存储介质、电子设备及系统

Publications (1)

Publication Number Publication Date
CN116228274A true CN116228274A (zh) 2023-06-06

Family

ID=86586508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310008046.7A Pending CN116228274A (zh) 2023-01-04 2023-01-04 标签信息处理方法、装置、存储介质、电子设备及系统

Country Status (1)

Country Link
CN (1) CN116228274A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493530A (zh) * 2023-12-27 2024-02-02 苏州元脑智能科技有限公司 资源需求分析方法、装置、电子设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117493530A (zh) * 2023-12-27 2024-02-02 苏州元脑智能科技有限公司 资源需求分析方法、装置、电子设备以及存储介质
CN117493530B (zh) * 2023-12-27 2024-03-22 苏州元脑智能科技有限公司 资源需求分析方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN108665355B (zh) 金融产品推荐方法、装置、设备和计算机存储介质
CN109783730A (zh) 产品推荐方法、装置、计算机设备和存储介质
CN110837551A (zh) 一种在线数据采集的方法及系统
KR101827345B1 (ko) 다중 알고리즘 및 자기학습기능을 적용한 개인화 추천 시스템 및 추천 방법
CN109064265A (zh) 基于网络平台的购车推荐方法及系统
CN112148973B (zh) 一种信息推送的数据处理方法及装置
CN107767152B (zh) 产品购买倾向分析方法及服务器
CN113077276A (zh) 行为数据的处理方法和系统、存储介质及处理器
CN112529665A (zh) 基于组合模型的产品推荐方法、装置及计算机设备
CN112288554B (zh) 商品推荐方法和装置、存储介质及电子装置
CN111582932A (zh) 场景间信息推送方法、装置、计算机设备及存储介质
CN108520045B (zh) 数据的服务响应方法及装置
CN116228274A (zh) 标签信息处理方法、装置、存储介质、电子设备及系统
CN110555749B (zh) 基于神经网络的信用行为预测方法以及装置
US20160117380A1 (en) System and method for creating interactive meta-content
CN110502639B (zh) 基于问题贡献度的信息推荐方法、装置、及计算机设备
KR20130055726A (ko) 신뢰도 있는 설문응답을 추출하는 모바일 설문조사 시스템 및 그 방법
CN117313736A (zh) 评论文本的隐式需求识别方法及装置
CN111951051A (zh) 一种为客户推荐产品的方法、装置和系统
US11977565B2 (en) Automated data set enrichment, analysis, and visualization
CN116127188A (zh) 目标反馈值确定方法、装置、电子设备及存储介质
CN115049456A (zh) 金融产品组合的推荐方法及其装置、电子设备
CN111399731B (zh) 图片的操作意图处理方法、推荐方法、装置、电子设备及存储介质
CN113297520A (zh) 页面设计辅助处理方法、装置及电子设备
KR20220118703A (ko) 머신러닝 기반 온라인 쇼핑 리뷰 감정 예측 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination