CN113343666B - 评分的置信度的确定方法、装置、设备及存储介质 - Google Patents

评分的置信度的确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113343666B
CN113343666B CN202110722680.8A CN202110722680A CN113343666B CN 113343666 B CN113343666 B CN 113343666B CN 202110722680 A CN202110722680 A CN 202110722680A CN 113343666 B CN113343666 B CN 113343666B
Authority
CN
China
Prior art keywords
scoring
model
matrix
neural network
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110722680.8A
Other languages
English (en)
Other versions
CN113343666A (zh
Inventor
陈亚蕾
赖晓彬
汪亚男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110722680.8A priority Critical patent/CN113343666B/zh
Publication of CN113343666A publication Critical patent/CN113343666A/zh
Application granted granted Critical
Publication of CN113343666B publication Critical patent/CN113343666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供一种评分的置信度的确定方法、评分的置信度的确定装置、电子设备及计算机可读存储介质，其中，方法包括：获取多个评分对象中每两个对象之间的三元组关系特征；获取多个评分对象中每一对象的结构化的评分参考数据；基于三元组关系特征和评分参考数据，生成待输入向量；将待输入向量输入至评分模型，得到评分模型输出的每一对象对评分方案进行评分的置信度。

Description

评分的置信度的确定方法、装置、设备及存储介质
技术领域
本申请实施例涉及金融科技(Fintech)的数据处理技术领域，涉及但不限于一种评分的置信度的确定方法、评分的置信度的确定装置、电子设备及计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，然而，由于金融行业的安全性、实时性要求，金融科技也对技术提出了更高的要求。
金融科技领域下，目前，在推出产品时，针对产品提出营销投放方案即评分方案，以促进产品的推广。在营销冷启动阶段即评分方案初次提出的情况下，评分方案的选择直接影响到产品的推广效果。当前在营销冷启动阶段，很多评分方案的选择依赖于业务专家的经验，当有多名专家参与评分方案的打分时，并不存在一个客观的标准来评判多名专家所给出的评分的可信度。进而即使有多名专家参与打分也难以保证本次营销投放取得好的投放效果。
发明内容
本申请实施例提供一种评分的置信度的确定方法、评分的置信度的确定装置、电子设备及计算机可读存储介质，以解决相关技术中当有多名专家参与评分方案的打分时，并不存在一个客观的标准来评判多名专家所给出的评分的可信度的问题，本申请结合多个评分对象的多方位的相关信息，得到多个评分对象对于评分方案进行评分的置信度，以便于在选取评分方案时能够选择置信度高的评分方案进行投放，进而实现精准营销的效果。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种评分的置信度的确定方法，包括：
获取多个评分对象中每两个对象之间的三元组关系特征；
获取所述多个评分对象中每一对象的结构化的评分参考数据；
基于所述三元组关系特征和所述评分参考数据，生成待输入向量；
将所述待输入向量输入至评分模型，得到所述评分模型输出的所述每一对象对评分方案进行评分的置信度。
一种评分的置信度的确定装置，包括：
获取模块，用于获取多个评分对象中每两个对象之间的三元组关系特征；
所述获取模块，用于获取所述多个评分对象中每一对象的结构化的评分参考数据；
处理模块，用于基于所述三元组关系特征和所述评分参考数据，生成待输入向量；
所述处理模块，用于将所述待输入向量输入至评分模型，得到所述评分模型输出的所述每一对象对评分方案进行评分的置信度。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行存储器中存储的可执行指令时，实现上述的评分的置信度的确定方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的评分的置信度的确定方法。
本申请实施例具有以下有益效果：
通过获取多个评分对象中每两个对象之间的三元组关系特征；获取多个评分对象中每一对象的结构化的评分参考数据；基于三元组关系特征和评分参考数据，生成待输入向量；将待输入向量输入至评分模型，得到评分模型输出的每一对象对评分方案进行评分的置信度。可见，本申请提供的评分的置信度的确定方法，在对评分方案进行评分的过程中，不仅参考了多个评分对象中两两之间的关系，而且还参考了每一个评分对象的评分参考数据，实现了多方位引入评分场景中多个评分对象的相关信息，从而解决了相关技术中当有多名专家参与评分方案的打分时，并不存在一个客观的标准来评判多名专家所给出的评分的可信度的问题，本申请结合多个评分对象的多方位的相关信息，得到多个评分对象对于评分方案进行评分的置信度，以便于在选取评分方案时能够选择置信度高的评分方案进行投放，进而实现精准营销的效果。
附图说明
图1是本申请实施例提供的一种终端的一个可选的结构示意图；
图2是本申请实施例提供的评分的置信度的确定方法的一个可选的流程示意图；
图3是本申请实施例提供的生成待输入向量的流程图；
图4是本申请实施例提供的将分隔处理后的结果映射到经过训练得到的语言模型向量空间的结果示意图；
图5是本申请实施例提供的一种得到评分模型输出的每一对象对评分方案进行评分的置信度的示意图；
图6是本申请实施例提供的评分的置信度的确定方法的一个可选的流程示意图；
图7是本申请实施例提供的评分模型确定评分的置信度的流程示意图；
图8是本申请实施例提供的评分的置信度的确定方法的一个可选的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)，智能机器人等任意具有屏幕显示功能的终端，也可以实施为服务器。下面，将说明电子设备实施为终端时的示例性应用。
参见图1，图1是本申请实施例提供的终端100的结构示意图，图1所示的终端100包括：至少一个处理器110、至少一个网络接口120、用户接口130和存储器150。终端100中的各个组件通过总线系统140耦合在一起。可理解，总线系统140用于实现这些组件之间的连接通信。总线系统140除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图1中将各种总线都标为总线系统140。
处理器110可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口130包括使得能够呈现媒体内容的一个或多个输出装置131，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口130还包括一个或多个输入装置132，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器150可以是可移除的，不可移除的或其组合。示例性地硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器150可选地包括在物理位置上远离处理器110的一个或多个存储设备。存储器150包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(Read Only Memory，ROM)，易失性存储器可以是随机存取存储器(Random Access Memory，RAM)。本申请实施例描述的存储器150旨在包括任意适合类型的存储器。在一些实施例中，存储器150能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统151，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块152，用于经由一个或多个(有线或无线)网络接口120到达其他计算设备，示例性地网络接口120包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(Universal Serial Bus，USB)等；
输入处理模块153，用于对一个或多个来自一个或多个输入装置132之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图1示出了存储在存储器150中的一种评分的置信度的确定装置154，该评分的置信度的确定装置154可以是终端100中的评分的置信度的确定装置，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块1541、处理模块1542，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的评分的置信度的确定方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(Application Specific Integrated Circuit，ASIC)、DSP、可编程逻辑器件(Programmable Logic Device，PLD)、复杂可编程逻辑器件(ComplexProgrammable Logic Device，CPLD)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或其他电子元件。
下面将结合本申请实施例提供的终端100的示例性应用和实施，说明本申请实施例提供的评分的置信度的确定方法。参见图2，图2是本申请实施例提供的评分的置信度的确定方法的一个可选的流程示意图，将结合图2示出的步骤进行说明，
S201，获取多个评分对象中每两个对象之间的三元组关系特征。
本申请实施例中，评分对象针对评分方案如营销投放方案、工程实施方案进行评分。多个评分对象至少包括营销投放方案所属领域的多个专家人员。针对选定的多个评分对象，获取两两之间的关系特征。这里，关系特征用于表征两个评分对象之间的关联关系，包括但不限于上下级关系、同学关系、师生关系等。
本申请实施例中，在获取到多个评分对象中两两之间的关系特征的情况下，生成两两之间的三元组关系特征。示例性的，多个评分对象中专家A与专家B之间的关系特征表征专家A是专家B的上级，此时，生成的专家A与专家B之间的三元组关系特征为(专家A，上级，专家B)。又一示例的，多个评分对象中专家C与专家D之间的关系特征表征专家C是专家D的同学，此时，生成的专家C与专家D之间的三元组关系特征为(专家C，同学，专家D)。
S202，获取多个评分对象中每一对象的结构化的评分参考数据。
本申请实施例中，结构化的评分参考数据指的是评分参考数据具有预设的数据结构。例如，预设的数据结构包括有序的词序列，而且有序的词序列用于对评分对象的信息进行描述说明。本申请的评分参考数据包括但不限于评分对象的基础信息、评分对象的过往执业经历信息、评分对象的综合能力信息。这里，评分对象的基础信息包含但不限于评分对象的社会身份、年龄、性别、居住地、籍贯。评分对象的过往执业信息包含评分对象取得的资格证的年份、注册资格证的年份、资格证的注册变更情况、在执业期间接受的培训考核信息、在执业期间取得的成绩(获得的表彰、奖励，取得的研究成果等)。评分对象的综合能力信息包括对事物的观察能力、决策能力、逻辑思维能力。
S203，基于三元组关系特征和评分参考数据，生成待输入向量。
本申请实施例中，在获取到多个评分对象中每两个对象之间的三元组关系特征和多个评分对象中每一对象的结构化的评分参考数据后，对获取到的上述数据进行切词处理，得到切词后的各个词，将各个词映射成待输入向量。需要说明的是，生成的待输入向量的形状为：批处理(batch)大小×序列长度×词嵌入维度。其中，batch大小是一个超参数，用于定义一次训练所选取的样本数。词嵌入维度指的是上述二维的各个词所要映射到的高维度的向量空间的维度，例如，词嵌入维度为100维。本申请在确定评分对象置信度的场景下，将词嵌入维度设置为100维，既确保了可以从更广阔的维度获取多个评分对象的关联关系，又确保了计算量不会过大，从而合理化确保了处理速率。当然，本申请还可以设置词嵌入维度为其他维度，例如300维。
本申请实施例中，将词映射成向量可以采用经过训练得到的语言模型向量空间进行处理。语言模型包括但不限于双向语言模型(Transformer)的编码器(BidirectionalEncoder Representation from Transformers，Bert)模型或用来产生词向量的相关模型(word to vector，word2vec)或生成式的预训练(Generative Pre-Training，GPT)模型、预训练RoBert模型。如此，可以灵活选择语言模型对词进行高维度的映射。
示例性的，图3是本申请提供的基于Bert模型生成待输入向量的流程图。假设图3中的(A)是待处理文本，即切词处理的对象。首先，提取待处理文本中所有的词，进而将提取的词按其出现的次数降序(这里，只取前50000个)排列，得到图3中的(B)中的列表。图3中的(B)中词‘network’出现的次数最多，词的标识信息(Identity document，id)为0；单词‘intention’出现的次数次之，id为1，以此类推，得到待处理文章中前50000个词对应的id和出现频率。然后，将每个词对应的id进行独热(one-hot)编码，图3中的(C)是将前50000个词进行one-hot编码后的结果示意图。其中，one-hot编码指的是使用N位状态寄存器来对N个状态进行编码，不同状态对应于不同的词，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。最后，将one-hot编码后的数据通过语言模型映射成向量，得到待输入向量M，图3中的(D)是最终生成的待输入向量。需要说明的是，M是一个50000×100的矩阵；其中，100表征词嵌入维度，50000表征序列长度。这里，由于仅选取了一个样本数据集合，那么batch大小为1。由上述可知，生成待输入向量的过程中，可以根据词出现的频率保留高频词汇，去除低频词汇，也就是说，仅选择相对关键的词进行处理，来提高神经网络的处理效率。
本申请实施例中，还可以将三元组关系特征和评分参考数据分开来处理，以生成待输入向量，例如，将每两个评分对象的三元组关系特征输入到一个语言模型中，得到三元组关系特征对应的第一待输入向量；将每一个评分对象的评分参考数据输入到另一个语言模型中，得到每一个评分对象的评分参考数据对应的第二待输入向量；将第一待输入向量和第二待输入向量进行拼接得到待输入向量。
在一些实施例中，S203基于三元组关系特征和评分参考数据，生成待输入向量，可以通过以下步骤实现：
第一步、将三元组关系特征和评分参考数据中的词，用与词对应的分隔标识进行分隔处理。
本申请实施例中，在获取到多个评分对象中每两个对象之间的三元组关系特征和多个评分对象中每一对象的结构化的评分参考数据后，对获取到的上述数据进行切词处理时，将三元组关系特征和评分参考数据中的词，用与词对应的分隔标识进行分隔处理，得到分隔处理的各个词，即切词后的各个词。当然，本申请还可以采用其他的切词处理方式，对上述数据进行切词处理，例如，使用诸如隐马尔科夫模型(Hidden Markov Model,HMM)、条件随机场(Conditional Random Fields,CRF)、支持向量机(Support Vector Machine，SVM)、深度学习等算法完成中文分词。
示例性的，在对上述词进行切词处理的过程中，还可以计算所有分词的词频-逆向文件频率(Term Frequency-inverse Document Frequency，TF-IDF)值，将TF-IDF值小于预设阈值例如0.0003的词全部过滤掉，然后对剩余的词进行切词处理。
这里，TF-IDF为一种针对关键词的统计分析方法，用于评估一个词对一个文档集或者一个语料库的重要程度。一个词的重要程度跟它在文章中出现的次数成正比，跟它在语料库出现的次数成反比。TF＝(某词在文档中出现的次数/文档的总词量),IDF＝log(语料库中文档总数/包含该词的文档数+1),TF-IDF的结果为TF×IDF。
示例性的，以(专家A，上级，专家B)为例，可以元组中的首个词即专家A前加个分割符[CLS]标识以区分不同的元组，在实体词即专家A与关系词即上级中加入[SEP]标识以区分不同语义的词。
第二步、将分隔处理后的结果映射到经过训练得到的语言模型向量空间中，得到待输入向量。
本申请实施例中，将分隔处理后的结果映射到经过训练得到的语言模型向量空间中，得到待输入向量，如此确保了可以从更广阔的维度获取多个评分对象的关联关系，防止了产生稀疏特征、使得词间失去语义关系这一现象。
图4是本申请提供的将分隔处理后的结果映射到经过训练得到的语言模型向量空间的结果示意图。以RoBert模型为例，在将分隔处理后的结果映射成向量的过程中，会随机遮蔽其中一个词，RoBert会从序列的前后双向获得信息，进而预测出被遮蔽的词。本申请采用RoBert模型随机遮蔽其中一个词能够防止信息泄露，同时能够更好的根据上下文关系，携带双向信息，以便于恢复出多个评分对象之间多维度的关联关系。
S204，将待输入向量输入至评分模型，得到评分模型输出的每一对象对评分方案进行评分的置信度。
本申请实施例中，评分模型用于对评分对象针对评分方案进行打分的可信度进行预测的模型。本申请在获得用于表征多个评分对象的多维度的关联关系的待输入向量的情况下，将待输入向量输入到评分模型中，得到评分模型输出每一对象对评分方案进行评分的置信度，置信度用于表征评分对象给出的对评分方案的评分结果的可信程度，在后续打分的场景中，置信度用作选取评分对象对评分方案所打的分的主要参考依据，以便于在选取评分方案时能够选择置信度高的评分方案进行投放，进而实现精准营销的效果。
本申请实施例中，评分模型是以分类模型例如快速分类(fasttext)模型为基础，以多层的Transformer为框架构建的一个模型。其中，Transformer包括多头注意力机制(Multi-Head Attention)和前馈神经网络模型(feed forward network)两个部分。其中，多头注意力机制(self-attention)能够捕获长距离依赖，并且能够学习到句子内部结构关系。
图5是本申请提供的一种评分的置信度的确定方法的流程示意图。将获得的三元组关系特征与评分参考数据对应的待输入向量输入到评分模型中，得到每一对象对营销策略进行评分的置信度。
本申请提供的评分的置信度的确定方法，通过获取多个评分对象中每两个对象之间的三元组关系特征；获取多个评分对象中每一对象的结构化的评分参考数据；基于三元组关系特征和评分参考数据，生成待输入向量；将待输入向量输入至评分模型，得到评分模型输出的每一对象对评分方案进行评分的置信度。可见，本申请提供的评分的置信度的确定方法，在对评分方案进行评分的过程中，不仅参考了多个评分对象中两两之间的关系，而且还参考了每一个评分对象的评分参考数据，实现了多方位引入评分场景中多个评分对象的相关信息，从而解决了当有多名专家参与评分方案的打分时，并不存在一个客观的标准来评判多名专家所给出的评分的可信度的问题，本申请结合多个评分对象的多方位的相关信息，得到多个评分对象对于评分方案进行评分的置信度，以便于在选取评分方案时能够选择置信度高的评分方案进行投放，进而实现精准营销的效果。
需要说明的是，本申请人在研究时发现，当前在营销冷启动阶段，很多评分方案的选择依赖于业务专家的经验，当有多名专家参与评分方案的打分时，并不存在一个客观的标准来评判多名专家所给出的评分的可信度。例如，相关技术中在有多名专家参与评分方案的打分时，采用依次轮询打分的方式，在一个打分场景中，选择上述多名专家中某一个专家的打分，直至多名专家都依次参与过打分，再重新轮询。明显，这种单一专家参与实际打分的情况，主观性太强。为此，本申请人先提出了一个多专家共同参与打分的方案，例如获得多名专家的打分后，采用求平均的方式，计算出针对某一评分方案的评分结果；或者根据一些专家的职级和/或从业经历对各个专家的打分设置权重，最终计算加权平均，得到对某一评分方案的评分结果。本申请人提出的改进后的方案相比相关计算中的方案，虽然打分后实际投放效果稍有提升，但仍旧未达到预期，为此，本申请提出了将多个评分对象中两两之间的关系，以及每一个评分对象的评分参考数据均引入评分参考中，同时将上述评分参考信息映射到高纬度空间中，更进一步扩大了打分的参考维度，实际结果表明，该方案实现了尽可能多的方位的引入，确保对打分的结果的评判更加的客观可信。
参见图6，图6是本申请实施例提供的评分的置信度的确定方法的一个可选的流程示意图，将结合图6示出的步骤进行说明，
S601，获取多个评分对象中每两个对象之间的三元组关系特征。
S602，获取多个评分对象中每一对象的结构化的评分参考数据。
S603，基于三元组关系特征和评分参考数据，生成待输入向量。
S604，将待输入向量输入至评分模型中的多头注意力机制模型，得到多头注意力机制模型输出的每一对象对评分方案的参考权重。
图7是本申请提供的评分模型确定评分的置信度的示意图。其中，评分模型包含多头注意力机制模型701和前馈神经网络模型702，h表征多头注意力机制模型的层数(图7中示意性地画出几层)。需要说明的是，多头注意力机制模型701包括多层，即多个子空间，不同的子空间关注的是不同方面的信息。
本申请实施例中，如图8所示，步骤S604将待输入向量输入至评分模型中的多头注意力机制模型，得到多头注意力机制模型输出的每一对象对评分方案的参考权重，可以通过如下的步骤实现：
S6041，将待输入向量输入至多头注意力机制模型，获取到待输入向量与第一权重矩阵相乘，得到的查询矩阵、键矩阵和值矩阵。
本申请实施例中，结合图7所示，将待输入向量输入至多头注意力机制模型701，先对待输入向量进行线性变换，此时多头注意力机制模型701将获取到的待输入向量与预设的第一权重矩阵相乘，得到查询矩阵、键矩阵和值矩阵。其中，第一权重矩阵包括预设的查询权重矩阵、预设的键权重矩阵和预设的值权重矩阵。需要说明的是，多头注意力机制模型中每一层关注的是待输入向量的不同方面的信息，每一层对应有一个第一权重矩阵；当待输入向量输入至多头注意力机制模型中，分别与每一层对应的第一权重矩阵相乘，得到每一层对应的查询矩阵、键矩阵和值矩阵。本申请实施例中，先对待输入向量进行线性变换可以有效的利用待输入向量上下文信息来增强当前词的语义表示。
本申请实施例中，通过多头注意力机制模型能够捕获长距离依赖，并且能够学习到句子内部结构，给输入变量与各个矩阵的相乘处理，以得到后续的参考权重，实现了给重要特征赋予更大的权重，后续可以更好训练模型，从而提高评分的置信度计算的准确性，以有助于营销投放取得好的投放效果。
S6042，基于查询矩阵、键矩阵和值矩阵，计算多头注意力机制模型的每一层第二权重矩阵。
本申请实施例中，结合图7所示，基于线性变换得到的每一层的查询矩阵、键矩阵和值矩阵，计算多头注意力机制模型的每一层第二权重矩阵，即计算注意力(attention)权重矩阵。在计算attention权重矩阵时，采用注意力打分函数对每一层的查询矩阵、键矩阵和值矩阵进行处理，得到多头注意力机制模型的每一层第二权重矩阵。其中，注意力打分函数包括但不限于缩放点积函数、加性模型函数、点积模型函数和双线性模型函数。
示例性的，采用缩放点积函数对每一层的查询矩阵、键矩阵和值矩阵进行处理时，先计算每一层的查询矩阵与键矩阵的点积，得到待输入向量中第i个词与查询矩阵的相关程度；这里，相关程度指的是每一层的查询矩阵查找并选中待输入向量中的第i个词的概率αi。这里，采用缩放点积函数还可以在向量维度太大时，点积计算得到的内积太大的情况下，引入了
Figure BDA0003137317480000121
缩放因子来对内积结果进行缩放，以维持计算地稳定性。
本申请实施例中，在计算出待输入向量中每一词被选择到的概率后，采用归一化函数将每个概率进行归一化处理，得到每一词被选中的归一化的概率，最后将每一层归一化后的概率与每一层值矩阵进行加权求和，得到每一层第二权重矩阵。
在一些实施例中，S6042基于查询矩阵、键矩阵和值矩阵，计算多头注意力机制模型的每一层第二权重矩阵，可以通过如下步骤实现：
将查询矩阵、键矩阵和值矩阵输入权重矩阵计算公式，得到每一层第二权重矩阵，权重矩阵计算公式如下：
Figure BDA0003137317480000131
其中，zi为第i层的第二权重矩阵，查询矩阵为Qi、键矩阵为Ki，值矩阵为Vi，
Figure BDA0003137317480000132
为缩放因子，/>
Figure BDA0003137317480000133
为Ki的转置矩阵，其中，i为大于等于2的正整数。
本申请实施例中，采用
Figure BDA0003137317480000134
作为缩放点积函数，使得终端在计算每一层第二权重矩阵的速度更快。同时，采用softmax函数进行归一化处理能够凸显候选的多个概率值中最大的值，抑制远远低于最大值的其他概率值，有效的将概率较大的值分配更高的权重，使得计算出来的每一层第二权重矩阵更加准确。
S6043，对多头注意力机制模型的所有层的第二权重矩阵进行合并处理，得到参考权重。
本申请实施例中，结合图7所示，在计算得到每一层对应的第二权重矩阵Zi后，对多头注意力机制模型的所有层的第二权重矩阵进行合并处理，即合并所有层的注意力权重矩阵，得到合并矩阵Zc。以多头注意力机制模型包含8层attention为例，Zc＝concact(Z1,....Z8),i＝1,...,8。最后，将合并矩阵Zc点乘预设的权重矩阵WO，得到参考权重矩阵Z＝ZCWO。
S605，将训练集数据输入至前馈神经网络模型，得到前馈神经网络模型针对训练集数据的输出结果。
本申请实施例中，前馈神经网络模型可以看作一个多层感知机，包含多个隐藏层的神经网络，层与层之间是全连接的，即相邻两层的任意两个节点都有连接。每一个神经元以上一层各个节点输出作为输入，通过线性变换和非线性函数激活，得到这个节点的输出，并传递给下一层的节点，输入层的节点不做任何处理，节点个数等于输入自变量的维度，输出层的节点个数等于输出应变量的维度。本申请中用神经网络对数据进行建模就是要找到最合适的参数，对数据进行最佳逼近，本申请对于分类问题选择了交叉熵损失函数来度量逼近效果，求取最优参数使得损失函数最小化。神经网络作为一个非常复杂的复合函数，求解最优参数时，需要链式求导，形成了梯度的反向传播。本申请将参考权重输入前馈神经网络训练模型中计算交叉熵损失。其中，交叉熵损失函数是用来衡量两个概率分布之间的距离的，也就是衡量两个概率之间的相似性。设p(x),q(x)的概率分布：∑xp(X＝x)＝1,
Figure BDA0003137317480000141
则用q来表示p的交叉熵为：H(p,q)＝-∑xp(X)log(q(X))。需要说明的是，前馈神经网络模型全连接可以是两层结构，第一层的激活函数是线性整流函数(RectifiedLinear Unit，ReLU)，第二层是一个线性激活函数。
本申请实施例中，在训练前馈神经网络模型的过程中，并将历史的与当前的营销投放方案类似的营销投放方案投放，让评分对象给出投放策略，根据历史真实的营销效果，得出评分对象对历史的营销投放方案打分的置信度。在评分对象给出的投放策略达到历史投放的真实的营销效果时，置信度为第一置信度，此时给评分对象对历史的营销投放方案的评分打出第一标签例如1。在评分对象给出的投放策略未达到历史投放的真实的营销效果时，置信度为第二置信度，此时给评分对象对历史的营销投放方案的评分打出第二标签例如0。
S606，获取输出结果与训练集数据的实际结果之间的误差。
本申请实施例中，在训练前馈神经网络模型的过程中，基于获得的输出结果与训练集数据的实际结果之间的误差，对前馈神经网络模型的模型参数进行链式求导，以确保前馈神经网络模型的交叉熵损失最小。
S607，将误差从前馈神经网络模型的输出层向隐藏层反向传播，直至传播到前馈神经网络模型的输入层。
本申请实施例中，当输出结果与训练集数据的实际结果之间的误差时，需要进行链式求导，形成了梯度的反向传播。这里，链式求导指的是微积分中的求导法则，用以求一个复合函数的导数。复合函数，指的是以一个函数作为另一个函数的自变量。如f(x)＝3x，g(x)＝x+3，g(f(x))就是一个复合函数，并且g(f(x))＝3x+3。链式法则由两个函数凑起来的复合函数，其导数等于里边函数代入外边函数的值之导数，乘以里边函数的导数。例如，若h(x)＝f(g(x))，则h′(x)＝f′(g(x))g′(x)。
S608，在反向传播的过程中，根据误差调整前馈神经网络模型的模型参数的值，不断迭代上述过程，直至前馈神经网络模型针对训练集数据的目标输出结果与实际结果之间的误差满足收敛条件，得到经过训练的前馈神经网络模型。
本申请示例中，基于历史评分方案、历史评分方案的实施效果以及评分专家对历史评分方案的评分结果，对前馈神经网络模型进行训练，得到经过训练的前馈神经网络模型。需要说明的是，本申请构建的经过训练的前馈神经网络模型实现的是多标签分类，即为每一个评分对象对评分方案打分的结果打上标签，从而得到每一个评分对象评分的标签。
需要说明的是，S605至S609涉及的训练前馈神经网络模型的步骤，可以在S601至S604任一步骤之前执行，对此，本申请不做任何限定，只要在S609实施之前，已经根据训练集数据，得到经过训练的前馈神经网络模型即可。
S609，将每一对象的评分方案的参考权重，输入至评分模型中的经过训练的前馈神经网络模型，得到经过训练的前馈神经网络模型输出的每一对象对评分方案进行评分的置信度。
其中，置信度包括用于表征每一对象对评分方案进行评分的准确性大于目标准确性的第一置信度，或者用于表征每一对象对评分方案进行评分的准确性小于目标准确性的第二置信度。
本申请实施例中，在得到每个评分对象对评分方案的置信度后，基于置信度，确定目标评分方案。这里，将至少一个评分对象的意见考虑到对目标评分方案的确定，若分类模型为fasttext模型，将fasttext模型原有的softmax分类器改为sigmoid分类器。softmax分类器针对多类别进行分类，最终只会输出一个正确答案，是互斥输出。然而，Sigmoid分类器针对多标签进行分类，最终会输出多个正确答案，并非独占输出，例如输出不同评分对象的置信度，在一种场景下，不同评分对象的置信度不同。其中，sigmoid分类器是用来做二分类的，它是将一个标量的数字转换成[0,1]之间的一个概率值，公式如下：sigmoid(x)＝1/(1+e^{-x})。
示例性的，若采用Sigmoid分类器将每种具体的类转化为唯一的one-hot类，设转换成的各个one-hot为["专家1","专家2","专家3","专家4"]，最终转为[1,1,0,0]。
本申请实施例中，在各个评分对象对于评分方案给出评分的情况下，评分模型得到各个评分对象所给出的评分的置信度，进而通过Sigmoid分类器对各个评分对象的评分的置信度进行归类即打上标签，若归为第一置信度即打上第一标签，则说明该置信度对应的评分对象的评分是可信的，以便于后续在选择评分方案进行投放时，根据第一置信度这一标签进行精准投放。若归为第二置信度即打上第二标签，则说明该置信度对应的评分对象的评分是不可信的，以便于后续在选择评分方案进行投放时，看到第二标签即使该评分专家打出的评分相对较高，也不会选择投放，从而实现精准营销。
下面继续说明本申请实施例提供的评分的置信度的确定装置154实施为软件模块的示例性结构，在一些实施例中，如图1所示，存储在存储器150的评分的置信度的确定装置154中的软件模块可以是终端100中的评分的置信度的确定装置，包括：
获取模块1541，用于获取多个评分对象中每两个对象之间的三元组关系特征；获取多个评分对象中每一对象的结构化的评分参考数据；
处理模块1542，用于基于三元组关系特征和评分参考数据，生成待输入向量；将待输入向量输入至评分模型，得到评分模型输出的每一对象对评分方案进行评分的置信度；其中，置信度包括用于表征每一对象对评分方案进行评分的准确性大于目标准确性的第一置信度，或者用于表征每一对象对评分方案进行评分的准确性小于目标准确性的第二置信度。
在一些实施例中，处理模块1542，用于将待输入向量输入至评分模型中的多头注意力机制模型，得到多头注意力机制模型输出的每一对象对评分方案的参考权重；
处理模块1542，用于将每一对象的评分方案的参考权重，输入至评分模型中的经过训练的前馈神经网络模型，得到经过训练的前馈神经网络模型输出的每一对象对评分方案进行评分的置信度；
在一些实施例中，获取模块1541，用于将待输入向量输入至多头注意力机制模型，获取到待输入向量与第一权重矩阵相乘，得到的查询矩阵、键矩阵和值矩阵；
处理模块1542，用于基于查询矩阵、键矩阵和值矩阵，计算多头注意力机制模型的每一层第二权重矩阵；
处理模块1542，用于对多头注意力机制模型的所有层的第二权重矩阵进行合并处理，得到参考权重；
在一些实施例中，处理模块1542，用于将查询矩阵、键矩阵和值矩阵输入权重矩阵计算公式，得到每一层第二权重矩阵，权重矩阵计算公式如下：
Figure BDA0003137317480000171
其中，zi为第i层的第二权重矩阵，查询矩阵为Qi、键矩阵为Ki，值矩阵为Vi，
Figure BDA0003137317480000172
为缩放因子，/>
Figure BDA0003137317480000173
为Ki的转置矩阵。
在一些实施例中，处理模块1542，用于将训练集数据输入至前馈神经网络模型，得到前馈神经网络模型针对训练集数据的输出结果；
获取模块1541，用于获取输出结果与训练集数据的实际结果之间的误差。
处理模块1542，用于将误差从前馈神经网络模型的输出层向隐藏层反向传播，直至传播到前馈神经网络模型的输入层；
处理模块1542，用于在反向传播的过程中，根据误差调整前馈神经网络模型的模型参数的值，不断迭代上述过程，直至前馈神经网络模型针对训练集数据的目标输出结果与实际结果之间的误差满足收敛条件，得到经过训练的前馈神经网络模型。
在一些实施例中，处理模块1542，用于将三元组关系特征和评分参考数据中的词，用与词对应的分隔标识进行分隔处理；
处理模块1542，用于将分隔处理后的结果映射到经过训练得到的语言模型向量空间中，得到待输入向量。
本申请提供的评分的置信度的确定装置，通过获取多个评分对象中每两个对象之间的三元组关系特征；获取多个评分对象中每一对象的结构化的评分参考数据；基于三元组关系特征和评分参考数据，生成待输入向量；将待输入向量输入至评分模型，得到评分模型输出的每一对象对评分方案进行评分的置信度。可见，本申请提供的评分的置信度的确定方法，在对评分方案进行评分的过程中，不仅参考了多个评分对象中两两之间的关系，而且还参考了每一个评分对象的评分参考数据，实现了多方位引入评分场景中多个评分对象的相关信息，从而解决了相关技术中当有多名专家参与评分方案的打分时，并不存在一个客观的标准来评判多名专家所给出的评分的可信度的问题，本申请结合多个评分对象的多方位的相关信息，得到多个评分对象对于评分方案进行评分的置信度，以便于在选取评分方案时能够选择置信度高的评分方案进行投放，进而实现精准营销的效果。
需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图2和图6示出的方法。
本申请提供的存储介质，当可执行指令被处理器执行时，通过获取多个评分对象中每两个对象之间的三元组关系特征；获取多个评分对象中每一对象的结构化的评分参考数据；基于三元组关系特征和评分参考数据，生成待输入向量；将待输入向量输入至评分模型，得到评分模型输出的每一对象对评分方案进行评分的置信度。可见，本申请提供的评分的置信度的确定方法，在对评分方案进行评分的过程中，不仅参考了多个评分对象中两两之间的关系，而且还参考了每一个评分对象的评分参考数据，实现了多方位引入评分场景中多个评分对象的相关信息，从而解决了相关技术中当有多名专家参与评分方案的打分时，并不存在一个客观的标准来评判多名专家所给出的评分的可信度的问题，本申请结合多个评分对象的多方位的相关信息，得到多个评分对象对于评分方案进行评分的置信度，以便于在选取评分方案时能够选择置信度高的评分方案进行投放，进而实现精准营销的效果。
在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器(FRAM，Ferromagnetic Random Access Memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM，Compact Disk-Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(超文本标记语言，Hyper Text Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (8)

1.一种评分的置信度的确定方法，应用于营销冷启动阶段，其特征在于，包括：
获取多个评分对象中每两个对象之间的三元组关系特征；
获取所述多个评分对象中每一对象的结构化的评分参考数据，其中，所述评分参考数据包括评分对象的基础信息、评分对象的过往执业经历信息；
将所述三元组关系特征和所述评分参考数据中的词，用与词对应的分隔标识进行分隔处理；
将分隔处理后的结果映射到经过训练得到的语言模型向量空间中，得到待输入向量；
将所述待输入向量输入至评分模型中的多头注意力机制模型，得到所述多头注意力机制模型输出的所述每一对象的评分方案的参考权重；
将所述每一对象的评分方案的参考权重，输入至所述评分模型中的经过训练的前馈神经网络模型，得到所述经过训练的前馈神经网络模型输出的所述每一对象对所述评分方案进行评分的置信度。
2.根据权利要求1中所述的方法，其特征在于，所述将所述待输入向量输入至所述评分模型中的多头注意力机制模型，得到所述头注意力机制模型输出的所述每一对象对所述评分方案的参考权重，包括：
将所述待输入向量输入至所述多头注意力机制模型，获取到所述待输入向量与第一权重矩阵相乘，得到的查询矩阵、键矩阵和值矩阵；
基于所述查询矩阵、所述键矩阵和所述值矩阵，计算所述多头注意力机制模型的每一层第二权重矩阵；
对所述多头注意力机制模型的所有层的第二权重矩阵进行合并处理，得到所述参考权重。
3.根据权利要求2所述的方法，其特征在于，所述基于所述查询矩阵、所述键矩阵和所述值矩阵，计算所述多头注意力机制模型的每一层第二权重矩阵，包括：
将所述查询矩阵、所述键矩阵和所述值矩阵输入权重矩阵计算公式，得到所述每一层第二权重矩阵，所述权重矩阵计算公式如下：
Figure QLYQS_2
其中，/>
Figure QLYQS_3
为第i层的所述第二权重矩阵，所述查询矩阵为/>
Figure QLYQS_4
、所述键矩阵为/>
Figure QLYQS_5
，所述值矩阵为/>
Figure QLYQS_6
，/>
Figure QLYQS_7
为缩放因子，/>
Figure QLYQS_8
为所述/>
Figure QLYQS_1
的转置矩阵。
4.根据权利要求1中所述的方法，其特征在于，所述将所述每一对象的评分方案的参考权重，输入至所述评分模型中的经过训练的前馈神经网络模型，得到所述经过训练的前馈神经网络模型输出的所述每一对象对所述评分方案进行评分的置信度之前，所述方法包括：
将训练集数据输入至前馈神经网络模型，得到所述前馈神经网络模型针对所述训练集数据的输出结果；
获取所述输出结果与所述训练集数据的实际结果之间的误差；
将所述误差从所述前馈神经网络模型的输出层向隐藏层反向传播，直至传播到所述前馈神经网络模型的输入层；
在反向传播的过程中，根据所述误差调整所述前馈神经网络模型的模型参数的值，不断迭代上述过程，直至所述前馈神经网络模型针对所述训练集数据的目标输出结果与所述实际结果之间的误差满足收敛条件，得到所述经过训练的前馈神经网络模型。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述置信度包括用于表征所述每一对象对所述评分方案进行评分的准确性大于目标准确性的第一置信度，或者用于表征所述每一对象对所述评分方案进行评分的准确性小于所述目标准确性的第二置信度。
6.一种评分的置信度的确定装置，应用于营销冷启动阶段，其特征在于，包括：
获取模块，用于获取多个评分对象中每两个对象之间的三元组关系特征；
所述获取模块，用于获取所述多个评分对象中每一对象的结构化的评分参考数据，其中，所述评分参考数据包括评分对象的基础信息、评分对象的过往执业经历信息；
处理模块，用于将所述三元组关系特征和所述评分参考数据中的词，用与词对应的分隔标识进行分隔处理；将分隔处理后的结果映射到经过训练得到的语言模型向量空间中，得到待输入向量；
所述处理模块，用于将所述待输入向量输入至评分模型中的多头注意力机制模型，得到所述多头注意力机制模型输出的所述每一对象的评分方案的参考权重；将所述每一对象的评分方案的参考权重，输入至所述评分模型中的经过训练的前馈神经网络模型，得到所述经过训练的前馈神经网络模型输出的所述每一对象对所述评分方案进行评分的置信度。
7.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至5任一项所述的方法。
CN202110722680.8A 2021-06-29 2021-06-29 评分的置信度的确定方法、装置、设备及存储介质 Active CN113343666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110722680.8A CN113343666B (zh) 2021-06-29 2021-06-29 评分的置信度的确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110722680.8A CN113343666B (zh) 2021-06-29 2021-06-29 评分的置信度的确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113343666A CN113343666A (zh) 2021-09-03
CN113343666B true CN113343666B (zh) 2023-07-14

Family

ID=77481177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110722680.8A Active CN113343666B (zh) 2021-06-29 2021-06-29 评分的置信度的确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113343666B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447684A (zh) * 2018-09-25 2019-03-08 平安科技（深圳）有限公司 一种电子评分方法、计算机可读存储介质及服务器
CN111695352A (zh) * 2020-05-28 2020-09-22 平安科技（深圳）有限公司 基于语义分析的评分方法、装置、终端设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205427846U (zh) * 2016-02-26 2016-08-03 云南六个人网络科技有限公司 网络专家可信度判断装置
US10586188B2 (en) * 2016-11-08 2020-03-10 Wipro Limited Method and system for dynamic recommendation of experts for resolving queries
CN106779279A (zh) * 2016-11-10 2017-05-31 广东工业大学 一种工业用户能效评估方法及系统
CN110442618B (zh) * 2019-07-25 2023-04-18 昆明理工大学 融合专家信息关联关系的卷积神经网络评审专家推荐方法
CN110837966A (zh) * 2019-11-07 2020-02-25 延安大学 一种基于sna的混合多属性群决策的建筑设备优选方法
CN111160699A (zh) * 2019-11-26 2020-05-15 清华大学 一种专家推荐方法及系统
CN111198991A (zh) * 2020-01-03 2020-05-26 长沙理工大学 一种基于信任度和专家用户的协同过滤推荐方法
CN111783459A (zh) * 2020-05-08 2020-10-16 昆明理工大学 一种基于改进Transformer+CRF的老挝语命名实体识别方法
CN111695779B (zh) * 2020-05-14 2023-03-28 华南师范大学 一种知识追踪方法、装置及存储介质
CN112100394B (zh) * 2020-08-10 2023-07-21 淮阴工学院 一种用于推荐医疗专家的知识图谱构建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447684A (zh) * 2018-09-25 2019-03-08 平安科技（深圳）有限公司 一种电子评分方法、计算机可读存储介质及服务器
CN111695352A (zh) * 2020-05-28 2020-09-22 平安科技（深圳）有限公司 基于语义分析的评分方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于概化理论的评标专家评分信度分析;吴志永 等;洛阳理工学院学报(自然科学版)(第04期);第37-42页 *

Also Published As

Publication number Publication date
CN113343666A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN111554268B (zh) 基于语言模型的语言识别方法、文本分类方法和装置
CN111708873B (zh) 智能问答方法、装置、计算机设备和存储介质
CN107066464B (zh) 语义自然语言向量空间
CN111553479B (zh) 一种模型蒸馏方法、文本检索方法及装置
CN111930942B (zh) 文本分类方法、语言模型训练方法、装置及设备
CN112231569B (zh) 新闻推荐方法、装置、计算机设备及存储介质
US11562203B2 (en) Method of and server for training a machine learning algorithm for estimating uncertainty of a sequence of models
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN113761153B (zh) 基于图片的问答处理方法、装置、可读介质及电子设备
US20210056127A1 (en) Method for multi-modal retrieval and clustering using deep cca and active pairwise queries
CN113343125B (zh) 一种面向学术精准推荐的异质科研信息集成方法及系统
CN111309878B (zh) 检索式问答方法、模型训练方法、服务器及存储介质
JP2022169743A (ja) 情報抽出方法、装置、電子機器及び記憶媒体
CN114611460A (zh) 数据处理方法、装置、设备和存储介质
CN112131345A (zh) 文本质量的识别方法、装置、设备及存储介质
CN113343666B (zh) 评分的置信度的确定方法、装置、设备及存储介质
WO2023173554A1 (zh) 坐席违规话术识别方法、装置、电子设备、存储介质
CN115129863A (zh) 意图识别方法、装置、设备、存储介质和计算机程序产品
CN113761126A (zh) 文本内容的识别方法、装置、设备及可读存储介质
Akalya devi et al. Multimodal emotion recognition framework using a decision-level fusion and feature-level fusion approach
CN114036267A (zh) 对话方法及系统
CA3066337A1 (en) Method of and server for training a machine learning algorithm for estimating uncertainty of a sequence of models
CN116402048B (zh) 一种可解释的区块链应用趋势分析方法及系统
Li et al. MAFH: Multilabel aware framework for bit-scalable cross-modal hashing
Nurhasanah et al. Fine-grained object recognition using a combination model of navigator–teacher–scrutinizer and spinal networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant