CN107679564A - 样本数据推荐方法及其装置 - Google Patents

样本数据推荐方法及其装置 Download PDF

Info

Publication number
CN107679564A
CN107679564A CN201710854234.6A CN201710854234A CN107679564A CN 107679564 A CN107679564 A CN 107679564A CN 201710854234 A CN201710854234 A CN 201710854234A CN 107679564 A CN107679564 A CN 107679564A
Authority
CN
China
Prior art keywords
sample data
disaggregated model
sample
data
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710854234.6A
Other languages
English (en)
Inventor
吴甜
贺文嵩
韩磊
周晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710854234.6A priority Critical patent/CN107679564A/zh
Publication of CN107679564A publication Critical patent/CN107679564A/zh
Priority to US16/102,837 priority patent/US11640551B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种样本数据推荐方法及其装置，其中，方法包括：将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率；针对每个分类模型，根据分类模型下每个样本数据的分类概率，获取每个样本数据到分类模型的分类边界的第一距离；其中，分类边界为分类模型的用于区分正负样本数据的边界；根据每个样本数据在每个分类模型下的第一距离，计算每个样本数据的目标距离；根据每个样本数据的目标距离，从所有的样本数据中选取目标样本数据进行推荐。该方法能够实现利用推荐的样本数据进行标注，降低人工标注数据的数量，从而降低标注成本，提高标注效率，进而融合多个分类模型的识别结果得到最优识别效果。

Description

样本数据推荐方法及其装置
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种样本数据推荐方法及其装置。
背景技术
机器学习方法依赖于训练样本的标注质量，想要得到较好的学习效果，需要高质量的人工标注样本。
大量人工标注的样本数据被用于机器学习方法的训练中，而这些样本数据中的大部分数据对机器学习方法的分类效果并没有显著作用。对于分类效果起到关键作用的数据是处于分类边界的样本数据。而通过人工对样本数据进行标注，为了使标注的样本数据具有正确的边界，需要专业人员制定标注规范，而后组织培训标注人员，且在样本数据标注后，还需进行交叉验证，从而保证标注数据的质量。人工标注样本数据的边界不仅人工成本较高，而且标注效果不佳，使得基于标准的样本数据进行分类模型训练后，基于该分类模型识别处于边界附近的数据时，往往识别效果不佳。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种样本数据推荐方法，以实现利用推荐的样本数据进行标注，降低人工标注数据的数量，从而降低标注成本，提高标注效率，进而融合多个分类模型的识别结果得到最优识别效果。此外，本实施例中，支持多个分类模型的样本数据推荐功能，适用范围广，可以灵活拓展，且实现方式简单，易于工程实践，用于解决现有人工标注样本数据的边界不仅人工成本较高，而且标注效果不佳，使得基于标准的样本数据进行分类模型训练后，基于该分类模型识别处于边界附近的数据时，往往识别效果不佳的问题。
本发明的第二个目的在于提出一种样本数据推荐装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机程序产品。
本发明的第五个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种样本数据推荐方法，包括：
将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率；
针对每个分类模型，根据所述分类模型下每个样本数据的分类概率，获取每个样本数据到所述分类模型的分类边界的第一距离；其中，所述分类边界为所述分类模型的用于区分正负样本数据的边界；
根据每个样本数据在每个分类模型下的所述第一距离，计算每个样本数据的目标距离；
根据每个样本数据的所述目标距离，从所有的样本数据中选取目标样本数据进行推荐。
本发明实施例的样本数据推荐方法，通过将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率，针对每个分类模型，根据分类模型下每个样本数据的分类概率，获取每个样本数据到分类模型的分类边界的第一距离，而后根据每个样本数据在每个分类模型下的第一距离，计算每个样本数据的目标距离，进而根据每个样本数据的目标距离，从所有的样本数据中选取目标样本数据进行推荐。由此，可以实现利用推荐的样本数据进行标注，降低人工标注数据的数量，从而降低标注成本，提高标注效率，进而融合多个分类模型的识别结果得到最优识别效果。此外，本实施例中，支持多个分类模型的样本数据推荐功能，适用范围广，可以灵活拓展，且实现方式简单，易于工程实践。
为达上述目的，本发明第二方面实施例提出了一种样本数据推荐装置，包括：
输入获取模块，用于将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率；
距离获取模块，用于针对每个分类模型，根据所述分类模型下每个样本数据的分类概率，获取每个样本数据到所述分类模型的分类边界的第一距离；其中，所述分类边界为所述分类模型的用于区分正负样本数据的边界；
计算模块，用于根据每个样本数据在每个分类模型下的所述第一距离，计算每个样本数据的目标距离；
选取推荐模块，用于根据每个样本数据的所述目标距离，从所有的样本数据中选取目标样本数据进行推荐。
本发明实施例的样本数据推荐装置，通过将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率，针对每个分类模型，根据分类模型下每个样本数据的分类概率，获取每个样本数据到分类模型的分类边界的第一距离，而后根据每个样本数据在每个分类模型下的第一距离，计算每个样本数据的目标距离，进而根据每个样本数据的目标距离，从所有的样本数据中选取目标样本数据进行推荐。由此，可以实现利用推荐的样本数据进行标注，降低人工标注数据的数量，从而降低标注成本，提高标注效率，进而融合多个分类模型的识别结果得到最优识别效果。此外，本实施例中，支持多个分类模型的样本数据推荐功能，适用范围广，可以灵活拓展，且实现方式简单，易于工程实践。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括：存储器和处理器其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如本发明实施例第一方面所述的样本数据推荐方法。
为达上述目的，本发明第四方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如第一方面实施例所述的样本数据推荐方法。
为达上述目的，本发明第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现如第一方面实施例所述的样本数据推荐方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种样本数据推荐方法的流程示意图；
图2为本发明实施例中分类模型的分类边界示意图；
图3为本发明实施例所提供的另一种样本数据推荐方法的流程示意图；
图4为本发明实施例所提供的又一种样本数据推荐方法的流程示意图；
图5为本发明实施例所提供的一种样本数据推荐装置的结构示意图；
图6为本发明实施例所提供的另一种样本数据推荐装置的结构示意图；
图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的样本数据推荐方法及其装置。
图1为本发明实施例所提供的一种样本数据推荐方法的流程示意图。
如图1所示，该样本数据推荐方法包括以下步骤：
步骤101，将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率。
本发明实施例中，待分类多个样本数据为多个需要进行分类的样本数据。该待分类的多个样本数据为未标注过的样本数据。预设的至少一个分类模型为预先训练好的分类模型，例如可以为领域(domain)分类模型、意图分类模型和/或槽位分类模型等，对此不作限制。
本实施例中，由于预设的至少一个分类模型为预先训练好的分类模型，因此，将待分类多个样本数据，输入到预设的至少一个分类模型中，可以得到每个分类模型对每个样本数据的分类概率。
步骤102，针对每个分类模型，根据分类模型下每个样本数据的分类概率，获取每个样本数据到分类模型的分类边界的第一距离。
其中，分类边界为分类模型的用于区分正负样本数据的边界。
需要说明的是，大量的样本数据被用于机器学习方法的训练中，而这些样本数据中的大部分数据对机器学习方法的分类效果并没有显著作用。对于分类效果起到关键作用的数据是处于分类边界的样本数据，这些处于分类边界的样本数据对于优化分类边界，提升分类效果起到关键作用。
由于对分类效果起关键作用的样本数据为处于分类边界的样本数据，因此，本实施例中，可以确定每个分类模型的分类边界，从而根据每个分类模型的分类边界，获取每个样本数据到该分类模型的分类边界的第一距离。
作为一种示例，例如，参见图2，图2为本发明实施例中分类模型的分类边界示意图。其中，原点表示正样本数据，叉表示负样本数据，曲线21表示该分类模型的分类边界，处在分界边界附近的正负样本数据，对分类效果的影响显著。
作为一种可能的实现方式，本实施例中，针对每个分类模型，可以根据分类模型下每个样本数据的分类概率和预设的第一公式，获取每个样本数据到分类模型的分类边界的第一距离。其中，第一公式可以为：
其中，di n表示样本数据i到分类模型n的分类边界的第一距离，表示分类模型n的分类边界的边界概率，表示样本数据i在分类模型n中的分类概率。
举例而言，当分类模型n为domain分类模型时，通过domain分类模型对样本数据i的分类概率为0.4，即为0.4，且获取的domain分类模型的分类边界的边界概率为0.5(概率低于0.5的为负样本数据，概率大于等于0.5的为正样本数据)，即为0.5，则通过公式(1)将样本数据i的分类概率与边界概率做差值，得到样本数据i的第一距离为0.1。
或者，也可以通过其它算法获得每个样本数据到分类模型的分类边界的第一距离，对此不作限制。
步骤103，根据每个样本数据在每个分类模型下的第一距离，计算每个样本数据的目标距离。
本发明实施例中，通过针对多个分类模型进行主动学习，融合多个分类模型的结果得到最优效果。由于每个分类模型的权重不一致，具体实现时，可以利用加权距离方法，得到每个样本数据的目标距离。
具体地，可以获取每个分类模型的权重，其中，所有分类模型的权重之和等于1，即：
其中，wn表示分类模型n的权重，N表示分类模型的个数。
在得到每个分类模型的权重后，可以将每个分类模型的第一距离和权重相乘，得到第一数据，而后将每个分类模型的第一数据相加，得到样本数据的目标距离，则可以得到目标距离为：
其中，Di表示样本数据i的目标距离。
例如，当预设的至少一个分类模型的个数为3个时，分别为domain分类模型、意图分类模型、槽位分类模型，则可以得到：且
或者，也可以通过其它算法计算每个样本数据的目标距离，对此不作限制。
步骤104，根据每个样本数据的目标距离，从所有的样本数据中选取目标样本数据进行推荐。
本实施例中，在计算得到每个样本数据的目标距离后，可以根据每个样本数据的目标距离，从所有的样本数据中选取目标数据进行推荐。
可以理解的是，步骤103中的Di越小，表明样本数据i与分类模型的分类边界的距离越近，则越需要进行人工标注。因此，本实施例中，可以对每个样本数据的目标距离按照从小到大的顺序进行排序，而后可以按照排序结果，从所有的样本数据中选取部分样本数据作为目标样本数据进行推荐。由于推荐的为排序靠前的部分样本数据，便于人工标注，能够有效降低人工标注数据的数量，从而降低标注成本，提高标注效率。此外，由于推荐的样本数据距离分类边界的距离较近，因此，能够有效优化分类模型的识别效果。
或者，可以从所有的样本数据中选取全部样本数据作为目标样本数据进行推荐，而后可以利用推荐的样本数据进行标注，能够实现融合多个分类模型的识别结果得到最优识别效果。
与现有技术中不同的是，现有技术中，通过推荐当前分类模型置信度较低的样本数据，或者，推荐多次分类模型训练产生不同结果的样本数据，或者，推荐使分类模型产生较大变化的样本数据，或者，标注出错率最低的样本数据。这种方式下，通过推荐当前分类模型置信度较低的样本数据，很容易针对某一个类别，推荐大量该类别的样本数据，无法考虑样本数据比例的均衡问题，而通过推荐多次分类模型训练产生不同结果的样本数据、推荐使分类模型产生较大变化的样本数据和标注出错率最低的样本数据，均具有一定的随机性，且实现过程较为复杂，计算量较大，很难在工程上实现。
而本发明实施例中，根据每个样本的目标距离，从所有的样本数据中选取目标样本数据进行推荐，不仅可以融合多个分类模型的识别结果得到最优识别效果，而且还可以支持多个分类模型的样本数据推荐功能，适用范围广，可以灵活拓展，且实现方式简单，易于工程实践。
本实施例的样本数据推荐方法，通过将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率，针对每个分类模型，根据分类模型下每个样本数据的分类概率，获取每个样本数据到分类模型的分类边界的第一距离，而后根据每个样本数据在每个分类模型下的第一距离，计算每个样本数据的目标距离，进而根据每个样本数据的目标距离，从所有的样本数据中选取目标样本数据进行推荐。由此，可以实现利用推荐的样本数据进行标注，降低人工标注数据的数量，从而降低标注成本，提高标注效率，进而融合多个分类模型的识别结果得到最优识别效果。此外，本实施例中，支持多个分类模型的样本数据推荐功能，适用范围广，可以灵活拓展，且实现方式简单，易于工程实践。
作为本发明实施例的一种可能的实现方式，参见图3，从所有的样本数据中选取部分或者全部样本数据作为目标样本数据进行推荐，具体包括以下步骤：
步骤301，将每个样本数据的目标距离与预设的距离阈值范围比较。
可以理解的是，由于对分类效果起关键作用的样本数据为处于分类边界的样本数据，因此，预设的距离阈值范围可以设置在分类模型的分类边界的边界概率附近。
例如，当分类模型的分类边界的边界概率为0.5，则预设的距离范围可以为[0.5-Δ，0.5+Δ]，其中，Δ可以通过人工设定，例如Δ可以为0.2，则预设的距离范围为[0.3，0.7]。
可选地，将每个样本数据的目标距离与预设的距离阈值范围比较，可以得到样本数据的目标距离超过距离阈值范围的结果，或者，样本数据的目标距离不超过距离阈值范围的结果。
步骤302，选取目标距离未超过距离阈值范围的所有样本数据作为目标样本数据。
本实施例中，选取的样本数据为目标距离未超过距离阈值范围的样本数据，而后将选取的样本数据作为目标样本数据，从而将目标样本数据进行推荐，进而利用推荐的样本数据进行标注，能够有效降低人工标注数据的数量，从而降低标注成本，提高标注效率。
本实施例的样本数据推荐方法，通过将每个样本数据的目标距离与预设的距离阈值范围比较，选取目标距离未超过距离阈值范围的所有样本数据作为目标样本数据。由此，可以利用推荐的样本数据进行标注，进一步降低人工标注数据的数量，从而降低标注成本，提高标注效率。
本发明实施例中，还可以根据实际任务的不同需求，调整每个分类模型的权重，下面结合图4对上述过程进行详细说明。
图4为本发明实施例所提供的又一种样本数据推荐方法的流程示意图。
如图4所示，该样本数据推荐方法包括以下步骤：
步骤401，接收权重调整指令；其中，权重调整指令中包括调整后每个分类模型的权重。
本发明实施例中，权重调整指令可以由研发人员触发。具体实现时，可以根据实际任务的不同需求，调整每个分类模型的权重。可以理解的是，分类模型的权重越高，表明该分类模型的分类边界的第一距离越重要，因此，可以推荐较多样本数据到该分类模型。
例如，以query解析任务中的主动学习方法为例，当想要提高query解析任务中槽位的识别效果时，可以调高槽位分类模型的权重。
步骤402，根据权重调整指令调整每个分类模型的权重。
由于权重调整指令中包括调整后每个分类模型的权重，因此，本实施例中，可以根据权重调整指令调整每个分类模型的权重。
本步骤中，根据任务的实际需求，动态调整各个分类模型的权重，能够有效提升该方法的灵活性及适用性。
步骤402，重新将每个分类模型的第一距离与权重相乘，得到第一数据，并利用每个分类模型的第一数据相加后更新目标距离。
在调整每个分类模型的权重后，可以重新将每个分类模型的第一距离与权重相乘，得到第一数据，并利用每个分类模型的第一数据相加后更新目标距离，能够进一步优化分类模型的识别效果。
本实施例的样本数据推荐方法，通过接收权重调整指令，而后根据权重调整指令调整每个分类模型的权重，最后，重新将每个分类模型的第一距离与权重相乘，得到第一数据，并利用每个分类模型的第一数据相加后更新目标距离。由此，可以实现根据任务的实际需求，动态调整各个分类模型的权重，能够有效提升该方法的灵活性及适用性。此外，根据调整后的权重获取更新的目标距离，能够进一步优化分类模型的识别效果。
为了实现上述实施例，本发明还提出一种样本数据推荐装置。
图5为本发明实施例所提供的一种样本数据推荐装置的结构示意图。
如图5所示，该样本数据推荐装置500包括：输入获取模块510、距离获取模块520、计算模块530，以及选取推荐模块540。其中，
输入获取模块510，用于将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率。
距离获取模块520，用于针对每个分类模型，根据分类模型下每个样本数据的分类概率，获取每个样本数据到分类模型的分类边界的第一距离；其中，分类边界为分类模型的用于区分正负样本数据的边界。
计算模块530，用于根据每个样本数据在每个分类模型下的第一距离，计算每个样本数据的目标距离。
具体实现时，计算模块530，具体用于获取每个分类模型的权重；其中，所有分类模型的权重之和等于1；将每个分类模型的第一距离与权重相乘，得到第一数据；将每个分类模型的第一数据相加，得到样本数据的目标距离。
选取推荐模块540，用于根据每个样本数据的目标距离，从所有的样本数据中选取目标样本数据进行推荐。
进一步地，在本发明实施例的一种可能的实现方式中，在图5的基础上，参见图6，该样本数据推荐装置500还进一步包括：
接收模块550，用于在得到样本数据的目标距离之后，接收权重调整指令；其中，权重调整指令中包括调整后每个分类模型的权重。
调整模块560，用于根据权重调整指令调整每个分类模型的权重。
相乘更新模块570，用于重新将每个分类模型的第一距离与权重相乘，得到第一数据，并利用每个分类模型的第一数据相加后更新目标距离。
具体实现时，距离获取模块520，包括：
获取子模块521，用于获取分类模型的分类边界的边界概率。
处理子模块522，用于将样本数据的分类概率与边界概率做差值，得到样本数据的第一距离。
具体实现时，选取推荐模块540，包括：
排序子模块541，用于对每个样本数据的目标距离按照从小到大的顺序进行排序。
推荐子模块542，用于按照排序结果，从所有的样本数据中选取部分或者全部样本数据作为目标样本数据进行推荐。
具体实现时，推荐子模块542，具体用于将每个样本数据的目标距离与预设的距离阈值范围比较；选取目标距离未超过距离阈值范围的所有样本数据作为目标样本数据。
需要说明的是，前述图1-图4实施例对样本数据推荐方法的解释说明也适用于该实施例的样本数据推荐装置500，此处不再赘述。
本实施例的样本数据推荐装置，通过将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率，针对每个分类模型，根据分类模型下每个样本数据的分类概率，获取每个样本数据到分类模型的分类边界的第一距离，而后根据每个样本数据在每个分类模型下的第一距离，计算每个样本数据的目标距离，进而根据每个样本数据的目标距离，从所有的样本数据中选取目标样本数据进行推荐。由此，可以实现利用推荐的样本数据进行标注，降低人工标注数据的数量，从而降低标注成本，提高标注效率，进而融合多个分类模型的识别结果得到最优识别效果。此外，本实施例中，支持多个分类模型的样本数据推荐功能，适用范围广，可以灵活拓展，且实现方式简单，易于工程实践。
为了实现上述实施例，本发明还提出一种计算机设备。
图7示出了适于用来实现本申请实施方式的示例性计算机设备20的框图。图7显示的计算机设备20仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备20以通用计算设备的形式表现。计算机设备20的组件可以包括但不限于：一个或者多个处理器或者处理单元21，系统存储器22，连接不同系统组件(包括系统存储器22和处理单元21)的总线23。
总线23表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备20典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备20访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器22可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线23相连。存储器22可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器22中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备20也可以与一个或多个外部设备50(例如键盘、指向设备、显示器60等)通信，还可与一个或者多个使得用户能与该计算机设备20交互的设备通信，和/或与使得该计算机设备20能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口24进行。并且，计算机设备20还可以通过网络适配器25与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器25通过总线23与计算机设备20的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备20使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元21通过运行存储在系统存储器22中的程序，从而执行各种功能应用以及数据处理，例如实现图1-图4所示的样本数据推荐方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory；以下简称：ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network；以下简称：LAN)或广域网(Wide Area Network；以下简称：WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如前述实施例所述的样本数据推荐方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例所述的样本数据推荐方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种样本数据推荐方法，其特征在于，包括：
将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率；
针对每个分类模型，根据所述分类模型下每个样本数据的分类概率，获取每个样本数据到所述分类模型的分类边界的第一距离；其中，所述分类边界为所述分类模型的用于区分正负样本数据的边界；
根据每个样本数据在每个分类模型下的所述第一距离，计算每个样本数据的目标距离；
根据每个样本数据的所述目标距离，从所有的样本数据中选取目标样本数据进行推荐。
2.根据权利要求1所述的样本数据推荐方法，其特征在于，所述根据所述分类模型下每个样本数据的分类概率，获取每个样本数据到所述分类模型的分类边界的第一距离，包括：
获取所述分类模型的所述分类边界的边界概率；
将所述样本数据的所述分类概率与所述边界概率做差值，得到所述样本数据的所述第一距离。
3.根据权利要求2所述的样本数据推荐方法，其特征在于，所述根据每个样本数据在每个分类模型下的所述第一距离，计算每个样本数据的目标距离，包括：
获取每个分类模型的权重；其中，所有分类模型的权重之和等于1；
将每个分类模型的第一距离与所述权重相乘，得到第一数据；
将每个分类模型的所述第一数据相加，得到所述样本数据的目标距离。
4.根据权利要求3所述的样本数据推荐方法，其特征在于，所述得到所述样本数据的目标距离之后，还包括：
接收权重调整指令；其中，所述权重调整指令中包括调整后每个分类模型的所述权重；
根据所述权重调整指令调整每个分类模型的权重；
重新将每个分类模型的第一距离与所述权重相乘，得到所述第一数据，并利用每个分类模型的所述第一数据相加后更新所述目标距离。
5.根据权利要求1-4任一项所述的样本数据推荐方法，其特征在于，所述根据每个样本数据的所述目标距离，从所有的样本数据中选取目标样本数据进行推荐，包括：
对每个样本数据的所述目标距离按照从小到大的顺序进行排序；
按照排序结果，从所有的样本数据中选取部分或者全部样本数据作为所述目标样本数据进行推荐。
6.根据权利要求5所述的样本数据推荐方法，其特征在于，所述从所有的样本数据中选取部分或者全部样本数据作为所述目标样本数据进行推荐，包括：
将每个样本数据的所述目标距离与预设的距离阈值范围比较；
选取所述目标距离未超过所述距离阈值范围的所有样本数据作为所述目标样本数据。
7.一种样本数据推荐装置，其特征在于，包括：
输入获取模块，用于将待分类多个样本数据，输入到预设的至少一个分类模型中，获取每个分类模型对每个样本数据的分类概率；
距离获取模块，用于针对每个分类模型，根据所述分类模型下每个样本数据的分类概率，获取每个样本数据到所述分类模型的分类边界的第一距离；其中，所述分类边界为所述分类模型的用于区分正负样本数据的边界；
计算模块，用于根据每个样本数据在每个分类模型下的所述第一距离，计算每个样本数据的目标距离；
选取推荐模块，用于根据每个样本数据的所述目标距离，从所有的样本数据中选取目标样本数据进行推荐。
8.根据权利要求7所述的样本数据推荐装置，其特征在于，所述距离获取模块，包括：
获取子模块，用于获取所述分类模型的所述分类边界的边界概率；
处理子模块，用于将所述样本数据的所述分类概率与所述边界概率做差值，得到所述样本数据的所述第一距离。
9.根据权利要求8所述的样本数据推荐装置，其特征在于，所述计算模块，具体用于：
获取每个分类模型的权重；其中，所有分类模型的权重之和等于1；
将每个分类模型的第一距离与所述权重相乘，得到第一数据；
将每个分类模型的所述第一数据相加，得到所述样本数据的目标距离。
10.根据权利要求9所述的样本数据推荐装置，其特征在于，还包括：
接收模块，用于在所述得到所述样本数据的目标距离之后，接收权重调整指令；其中，所述权重调整指令中包括调整后每个分类模型的所述权重；
调整模块，用于根据所述权重调整指令调整每个分类模型的权重；
相乘更新模块，用于重新将每个分类模型的第一距离与所述权重相乘，得到所述第一数据，并利用每个分类模型的所述第一数据相加后更新所述目标距离。
11.根据权利要求7-10任一项所述的样本数据推荐装置，其特征在于，所述选取推荐模块，包括：
排序子模块，用于对每个样本数据的所述目标距离按照从小到大的顺序进行排序；
推荐子模块，用于按照排序结果，从所有的样本数据中选取部分或者全部样本数据作为所述目标样本数据进行推荐。
12.根据权利要求11所述的样本数据推荐装置，其特征在于，所述推荐子模块，具体用于：
将每个样本数据的所述目标距离与预设的距离阈值范围比较；
选取所述目标距离未超过所述距离阈值范围的所有样本数据作为所述目标样本数据。
13.一种计算机设备，其特征在于，包括存储器和处理器其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-6中任一所述的样本数据推荐方法。
14.一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-6中任一项所述的样本数据推荐方法。
15.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的样本数据推荐方法。
CN201710854234.6A 2017-09-20 2017-09-20 样本数据推荐方法及其装置 Pending CN107679564A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710854234.6A CN107679564A (zh) 2017-09-20 2017-09-20 样本数据推荐方法及其装置
US16/102,837 US11640551B2 (en) 2017-09-20 2018-08-14 Method and apparatus for recommending sample data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710854234.6A CN107679564A (zh) 2017-09-20 2017-09-20 样本数据推荐方法及其装置

Publications (1)

Publication Number Publication Date
CN107679564A true CN107679564A (zh) 2018-02-09

Family

ID=61136534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710854234.6A Pending CN107679564A (zh) 2017-09-20 2017-09-20 样本数据推荐方法及其装置

Country Status (2)

Country Link
US (1) US11640551B2 (zh)
CN (1) CN107679564A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629377A (zh) * 2018-05-10 2018-10-09 北京达佳互联信息技术有限公司 一种分类模型的损失值获取方法及装置
CN110245757A (zh) * 2019-06-14 2019-09-17 上海商汤智能科技有限公司 一种图像样本的处理方法及装置、电子设备和存储介质
WO2019211676A1 (en) * 2018-05-01 2019-11-07 International Business Machines Corporation Epilepsy seizure detection and prediction using techniques such as deep learning methods
CN110610197A (zh) * 2019-08-19 2019-12-24 北京迈格威科技有限公司 一种困难样本挖掘和模型训练方法、装置和电子设备
CN110825974A (zh) * 2019-11-22 2020-02-21 厦门美柚股份有限公司 推荐系统内容排序方法及装置
CN111008278A (zh) * 2019-11-22 2020-04-14 厦门美柚股份有限公司 内容推荐方法及装置
CN111881287A (zh) * 2019-09-10 2020-11-03 马上消费金融股份有限公司 一种分类模糊性分析方法及装置
CN112819003A (zh) * 2021-04-19 2021-05-18 北京妙医佳健康科技集团有限公司 一种提升体检报告ocr识别准确率的方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI734059B (zh) * 2018-12-10 2021-07-21 財團法人工業技術研究院 動態預測模型建立方法、電子裝置及使用者介面
CN112749235A (zh) * 2019-10-31 2021-05-04 北京金山云网络技术有限公司 解析分类结果的方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853400A (zh) * 2010-05-20 2010-10-06 武汉大学 基于主动学习和半监督学习的多类图像分类方法
CN102270192A (zh) * 2011-07-27 2011-12-07 浙江工业大学 一种基于svm主动学习的多标签分类控制方法
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法
US20160162802A1 (en) * 2014-12-07 2016-06-09 Microsoft Technology Licensing, Llc. Active Machine Learning
CN107067025A (zh) * 2017-02-15 2017-08-18 重庆邮电大学 一种基于主动学习的数据自动标注方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295305B (zh) * 2007-04-25 2012-10-31 富士通株式会社 图像检索装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853400A (zh) * 2010-05-20 2010-10-06 武汉大学 基于主动学习和半监督学习的多类图像分类方法
CN102270192A (zh) * 2011-07-27 2011-12-07 浙江工业大学 一种基于svm主动学习的多标签分类控制方法
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法
US20160162802A1 (en) * 2014-12-07 2016-06-09 Microsoft Technology Licensing, Llc. Active Machine Learning
CN107067025A (zh) * 2017-02-15 2017-08-18 重庆邮电大学 一种基于主动学习的数据自动标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAN LENG等: "Combining Active Learning and Semi-supervised Learning to Construct SVM Classifier", 《KNOWLEDGE-BASED SYSTEMS》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11219405B2 (en) 2018-05-01 2022-01-11 International Business Machines Corporation Epilepsy seizure detection and prediction using techniques such as deep learning methods
WO2019211676A1 (en) * 2018-05-01 2019-11-07 International Business Machines Corporation Epilepsy seizure detection and prediction using techniques such as deep learning methods
GB2588523B (en) * 2018-05-01 2022-03-09 Ibm Epilepsy seizure detection and prediction using techniques such as deep learning methods
CN112106074A (zh) * 2018-05-01 2020-12-18 国际商业机器公司 使用例如深度学习方法的技术的癫痫发作检测和预测
GB2588523A (en) * 2018-05-01 2021-04-28 Ibm Epilepsy seizure detection and prediction using techniques such as deep learning methods
CN108629377A (zh) * 2018-05-10 2018-10-09 北京达佳互联信息技术有限公司 一种分类模型的损失值获取方法及装置
CN110245757A (zh) * 2019-06-14 2019-09-17 上海商汤智能科技有限公司 一种图像样本的处理方法及装置、电子设备和存储介质
CN110245757B (zh) * 2019-06-14 2022-04-01 上海商汤智能科技有限公司 一种图像样本的处理方法及装置、电子设备和存储介质
CN110610197A (zh) * 2019-08-19 2019-12-24 北京迈格威科技有限公司 一种困难样本挖掘和模型训练方法、装置和电子设备
CN111881287A (zh) * 2019-09-10 2020-11-03 马上消费金融股份有限公司 一种分类模糊性分析方法及装置
CN111008278A (zh) * 2019-11-22 2020-04-14 厦门美柚股份有限公司 内容推荐方法及装置
CN110825974A (zh) * 2019-11-22 2020-02-21 厦门美柚股份有限公司 推荐系统内容排序方法及装置
CN111008278B (zh) * 2019-11-22 2022-06-21 厦门美柚股份有限公司 内容推荐方法及装置
CN110825974B (zh) * 2019-11-22 2022-06-21 厦门美柚股份有限公司 推荐系统内容排序方法及装置
CN112819003A (zh) * 2021-04-19 2021-05-18 北京妙医佳健康科技集团有限公司 一种提升体检报告ocr识别准确率的方法及装置

Also Published As

Publication number Publication date
US11640551B2 (en) 2023-05-02
US20190087685A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
CN107679564A (zh) 样本数据推荐方法及其装置
US20220327384A1 (en) System and Methods for Customizing Neural Networks
CN107678561A (zh) 基于人工智能的语音输入纠错方法及装置
CN107436922A (zh) 文本标签生成方法和装置
US10699453B2 (en) Digital media environment for style-aware patching in a digital image
US11055338B2 (en) Dynamic facet tree generation
CN107220232A (zh) 基于人工智能的关键词提取方法及装置、设备与可读介质
CN107515862A (zh) 语音翻译方法、装置及服务器
CN108537176A (zh) 目标弹幕的识别方法、装置、终端及存储介质
CN108038107A (zh) 基于卷积神经网络的语句情感分类方法、装置及其设备
CN108460098A (zh) 信息推荐方法、装置和计算机设备
CN111191445B (zh) 广告文本分类方法及装置
CN107992602A (zh) 搜索结果展示方法和装置
CN110175336A (zh) 翻译方法、装置和电子设备
CN110197658A (zh) 语音处理方法、装置以及电子设备
CN105210085A (zh) 使用最短连线特征的图像标记
CN107766577B (zh) 一种舆情监测方法、装置、设备及存储介质
US11249945B2 (en) Cognitive data descriptors
CN108090211A (zh) 热点新闻推送方法和装置
CN107203611A (zh) 基于图片内容的信息提供方法和装置
CN110008476A (zh) 语义解析方法、装置、设备及存储介质
US11928876B2 (en) Contextual sentiment analysis of digital memes and trends systems and methods
WO2024114382A1 (zh) 文本分析方法、情感分类模型、装置、介质、终端及产品
CN107844531A (zh) 答案输出方法、装置和计算机设备
CN108304381A (zh) 基于人工智能的实体建边方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209