CN109272003A - 一种消除深度学习模型中未知错误的方法与装置 - Google Patents

一种消除深度学习模型中未知错误的方法与装置 Download PDF

Info

Publication number
CN109272003A
CN109272003A CN201710579742.8A CN201710579742A CN109272003A CN 109272003 A CN109272003 A CN 109272003A CN 201710579742 A CN201710579742 A CN 201710579742A CN 109272003 A CN109272003 A CN 109272003A
Authority
CN
China
Prior art keywords
deep learning
unknown error
learning model
picture
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710579742.8A
Other languages
English (en)
Inventor
杨静
倪梦珺
贺樑
李梦婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201710579742.8A priority Critical patent/CN109272003A/zh
Publication of CN109272003A publication Critical patent/CN109272003A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种消除深度学习模型中未知错误的方法，包括获取未知错误的类型步骤，获取相似图片步骤，建立文字描述模板步骤，众包发布步骤，获取反馈步骤以及重新训练步骤，对深度学习模型在不涉及内部复杂结构的修改前提下，通过加入少量外部数据的方式即有效减少模型产生的广泛分布于数据中的未知错误。采用了文字描述模板，通过机器算法协助完成训练图片标注，大大简化了众包任务中的人工部分，减少了人工过程中错误，从而有效提高深度学习模型的准确性。

Description

一种消除深度学习模型中未知错误的方法与装置
技术领域
本发明涉及通过深度学习模型进行图片标识(Image Caption)的技术领域，尤其是一种消除深度学习模型中未知错误的方法与装置。
背景技术
深度学习模型在Image Caption领域的应用日趋成熟，但是深度学习相应存在的问题是内部的难解释性，即无法显式地详细说明模型表现与优化效果发生的原因，也因此很难在原始模型上进一步改进。
未知错误(Unknown unknowns)是一类广泛存在于各类数据集中的问题，它是由训练数据和测试数据分布不一致导致的一种极难避免或完全消除的问题。解决这类问题的主要难点在于，通过常规的模型评测指标等方法根本无法侦测这类问题，目前只能通过在实际应用中发现或完全人工检测的方式得知该类错误实例。前者危害巨大，在实际使用中造成极大的危险隐患；后者需要投入大量的人力成本，且在海量数据情形下几乎无法进行。
发明内容
针对以上现有问题，本发明的目的在于提供一种针对深度学习中的未知错误的消除方法。
根据本发明的第一个方面，提供一种消除深度学习模型中未知错误的方法，根据训练图片集合训练深度学习模型，将验证图片集合输入深度学习模型以获得与验证图片对应的描述标签，包括以下步骤：获取未知错误的类型步骤，对验证图片集合根据主题划分为验证图片子集，确定出现未知错误的验证图片的场景并获取未知错误的类型；获取相似图片步骤，根据验证图片的场景以及未知错误的类型，获取相似图片集合；建立文字描述模板步骤，建立相似图片的文字描述模板；众包发布步骤，将相似图片集合和文字描述模板以及主题发布至众包平台；获取反馈步骤，获取众包平台返回的与相似图片对应的文字描述模板反馈；重新训练步骤，将文字描述模板反馈以及对应的相似图片放入训练图片集合，以训练深度学习模型。
优选地，建立文字描述模板步骤包括：根据描述标签建立基础模板；确定未知错误在描述标签中出现位置；在基础模板上的对应未知错误的出现位置建立空白标签。
优选地，文字描述模板反馈包括反馈标签，反馈标签对应于与发布的主题相符的相似图片的文字描述模板的空白标签。
优选地，获取相似图片步骤包括根据出现未知错误的验证图片的场景以及未知错误的类型，提取关键字，将关键字与验证图片子集的主题进行匹配，计算匹配度高于阈值的关键字的出现频率，使用出现频率高于阈值的关键字检索相似图片，以获取相似图片集合。
优选地，深度学习模型使用卷积神经网络(CNN)以及递归神经网络(RNN)算法。
优选地，还包括：验证步骤，将文字描述模板反馈以及对应的相似图片放入临时集合，根据反馈标签进行可信度计算，以确定文字描述模板反馈以及对应的相似图片是否放入训练图片集合。
根据本发明的第一个方面，提供一种消除深度学习模型中未知错误的装置，包括：存储单元，用于存储程序，程序被处理单元执行时实现第一方面的消除深度学习模型中未知错误的方法的步骤；执行单元，用于执行存储单元中程序。
本发明的一种消除深度学习模型中未知错误的方法与装置，对深度学习模型在不涉及内部复杂结构的修改前提下，通过加入少量外部数据的方式即有效减少模型产生的广泛分布于数据中的未知错误。采用了文字描述模板，通过机器算法协助完成训练图片标注，大大简化了众包任务中的人工部分，减少了人工过程中错误，从而有效提高深度学习模型的准确性。
附图说明
以下结合附图和具体实施例对本发明的技术方案进行详细的说明，以使本发明的特性和优点更为明显。
图1为本发明实施例的消除深度学习模型中未知错误的方法的流程示意图；
图2为本发明实施例的图1中步骤S103的详细流程示意图；
图3为本发明实施例的消除深度学习模型中未知错误的方法的信息流向示意图；
图4为本发明的消除深度学习模型中未知错误的装置的模块示意图。
具体实施方式
以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。
一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
现有的深度学习模型属于神经网络，试图通过模拟大脑认知的机理解决各种机器学习问题。深度学习与传统模式识别方法的最大不同在于它所采用的特征是从大数据中自动学习得到，而非采用手工设计。使用深度学习模型进行图片标识，是将包括大量训练图片的训练图片集合用于提取特征，从而训练得到深度学习模型，然后将验证图片集合输入深度学习模型以获得与训练图片集合对应的描述标签，从而验证深度学习模型的识别准确性。未知错误是指描述标签对于训练图片不匹配，且难以找到不匹配发生的原因。当描述标签中出现未知错误时，需要消除该未知错误。下面通过实施例具体说明本发明的消除深度学习模型中未知错误的方法。
图1为本发明实施例的消除深度学习模型中未知错误的方法的流程示意图，如图1所示，本发明的消除深度学习模型中未知错误的方法包括步骤：
S101：获取未知错误的类型，对验证图片集合根据主题划分为验证图片子集，确定出现未知错误的验证图片的场景并获取未知错误的类型。
S102：获取相似图片，根据验证图片的场景以及未知错误的类型，获取相似图片集合。
S103：建立文字描述模板，建立相似图片的文字描述模板。
S104：众包发布，将相似图片集合和文字描述模板以及主题发布至众包平台。
S105：获取反馈，获取众包平台返回的与相似图片对应的文字描述模板反馈。
S106：验证，根据反馈标签进行可信度计算。
S107：重新训练，将文字描述模板反馈以及对应的相似图片放入训练图片集合，以训练深度学习模型。
图3为本发明实施例的消除深度学习模型中未知错误的方法的信息流向示意图。结合图3与图1，训练图片集合501中包括多张训练图片101以及用于描述训练图片101的训练图片标签201。根据训练图片集合501训练初始的深度学习模型301，从而得到训练后的深度学习模型301。本实施例中初始的深度学习模型301优选地使用Google基于TensorFlow框架发布的开源模型NIC。NIC模型采用的是一层CNN(卷积神经网络，Convolutional NeuralNetwork)与RNN(递归神经网络，Recurrent neural Network)的叠加，输入为要描述预测的图片，经过CNN分类后，通过多层LSTMs(长短期记忆，Long Short-Term Memory),生成置信度最高的描述句子序列，其特点是将生成句子描述的过程视为从图像到句子的翻译过程，能通过大量标注训练数据的学习，得到对新图片很好的描述输出。验证图片集合502中包括多张验证图片102以及用于描述验证图片102的验证图片标签202。将验证图片集合502中的多张验证图片102输入训练后的深度学习模型301，深度学习模型301输出与验证图片102对应的描述标签105。通过核对描述标签105以及验证图片标签202的一致性，确定深度学习模型301是否存在错误。
当验证发现深度学习模型301中存在未知错误时，首先，如步骤S101，获取未知错误的类型，即对验证图片集合502根据主题划分为验证图片子集5021，5022，确定出现未知错误的验证图片102的场景并获取未知错误的类型。具体而言，为了准确定位未知错误以及在后续步骤S102中获取相似图片，首先需要对验证图片集合502根据主题进行划分。主题是图片的主体内容，例如人和飞盘，例如特定品牌的产品。主题划分可以通过提取验证图片标签202中主体关键词，并分类而完成。同一个验证图片子集5021，5022中的验证图片102的主题相同，不同验证图片子集5021，5022中的验证图片102的主题不同。在出现未知错误的一个验证图片子集5022中确定出现未知错误的验证图片102的场景。场景是指图片的环境信息，例如体育场。提取出现未知错误的验证图片102对应的验证图片标签202以提取场景关键词。比对出现未知错误的验证图片102的描述标签105与验证图片标签202，以确定未知错误的类型。未知错误的类型是指对于描述标签与验证图片标签202不匹配的描述，例如图片人物性别混淆问题。
接着，如步骤S102，根据步骤S101中获取的验证图片102的场景以及未知错误的类型，获取相似图片集合503。具体而言，根据出现未知错误的验证图片的场景以及未知错误的类型，从对应的描述标准答案中提取场景相关的关键字。将关键字与步骤S101中出现未知错误的验证图片子集5022的主题进行匹配，计算匹配度高于阈值的关键字的出现频率，使用出现频率高于阈值的关键字检索相似图片103，以获取相似图片集合503。
图2为本发明实施例的图1中步骤S103的详细流程示意图。结合图1，图2以及图3，如步骤S103，建立文字描述模板203。具体而言，首先如步骤S1031根据描述标签105建立基础模板。接着如步骤S1032确定未知错误在描述标签105中出现位置。通过比较描述标签105与验证图片标签202，计算描述标签105与验证图片标签202不一致位置的出现概率，以确定未知错误可能存在的位置。如步骤S1033，在基础模板上的对应未知错误的出现位置建立空白标签，以建立文字描述模板203。
接着，如步骤S104，将相似图片集合503和文字描述模板203以及验证图片子集5022的主题发布至众包平台401。
如步骤S105，获取众包平台401返回的与相似图片103对应的文字描述模板反馈204。文字描述模板反馈204包括反馈标签，反馈标签对应于与发布的主题相符的相似图片103的文字描述模板203的空白标签。也就是说，由众包平台401的用户完成对相似图片103的筛选，排除与发布的主题不一致的相似图片103，并对于与发布的主题相符的相似图片103，完成与空白标签对应的反馈标签的标注，由众包平台401返回包括反馈标签的文字描述模板反馈204，从而获取众包平台401返回的与相似图片103对应的文字描述模板反馈204。
通过建立文字描述模板203，采用在文字描述模板203建立空白标签，并由众包平台401的用户完成相似图片103筛选以及与空白标签对应的反馈标签标注，从而在在不可避免地需要借助人工协助提供正确标签时，大大减少了人工部分，降低了收集图片标注的成本，减少了人工过程中错误。
如步骤S106，将文字描述模板反馈204以及对应的相似图片103放入临时集合504，根据反馈标签进行可信度计算，以确定文字描述模板反馈204以及对应的相似图片103是否放入训练图片集合。具体而言，可信度计算包括在S104众包发布步骤中，发布冗余的相似图片103以及文字描述模板203，对步骤S105获取的文字描述模板反馈204进行统计，计算文字描述模板反馈204一致度概率，一致度概率超出阈值，则进入步骤S107，将文字描述模板反馈204以及对应的相似图片103放入训练图片集合501，以重新训练深度学习模型301。
在其他实施例中，也可以不具有步骤S106的验证步骤，而直接进入步骤S107，将文字描述模板反馈204以及对应的相似图片103放入训练图片集合501，以重新训练深度学习模型301。然而，验证步骤能够保证文字描述模板反馈204以及对应的相似图片103的准确性，从而有效保证重新训练深度学习模型301的准确性。
需要注意的是，步骤S102至步骤S107是可以不断重复的，以不断迭代，以消除未知错误，获取优化的深度学习模型301。
本发明的消除深度学习模型中未知错误的方法，在原始训练图片集合501以及外部数据上共同深度学习模型301，得到修正后的模型参数，从而消除未知错误。消除原始深度学习模型301中存在的未知错误时是将原始深度学习模型301视为黑盒模型，不对模型内部复杂结构进行任何改动，因此其适合于在实际应用中的模型改进，不仅开发人员，甚至终端用户也可以在不涉及模型内部技术的前提下，对深度学习模型301在特定主题场景下的表现进行优化。
本发明还提供了一种消除深度学习模型中未知错误的装置，图4为本发明的消除深度学习模型中未知错误的装置的模块示意图。如图4所示，本发明的消除深度学习模型中未知错误的装置600包括通信单元601，存储单元602以及执行单元603。通信单元601用于与外部进行通信，例如发出或接收众包平台401的数据。存储单元602用于存储程序以及各个数据集合。执行单元603用于执行存储单元602中程序，存储单元602中程序被处理单元603执行时实现上述消除深度学习模型中未知错误的方法的步骤。具体步骤参考上述对消除深度学习模型中未知错误的方法的描述，此处不再赘述。
需要说明的是，本发明是对通过深度学习技术进行图片标识的一种应用。在本发明的实现过程中，会涉及到对深度学习算法，图片标识技术的应用。如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能以及深度学习的知识实现本发明。前述原始的深度学习模型，深度学习的具体算法以及深度学习的具体步骤均可参考现有技术中的结构与方法，凡本发明申请文件提及的均属此范畴，申请人不再一一列举。
以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。除上述实施例外，本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。

Claims (7)

1.一种消除深度学习模型中未知错误的方法，根据训练图片集合训练深度学习模型，将验证图片集合输入所述深度学习模型以获得与验证图片对应的描述标签，其特征在于，包括以下步骤：
获取未知错误的类型步骤，对所述验证图片集合根据主题划分为验证图片子集，确定出现未知错误的验证图片的场景并获取所述未知错误的类型；
获取相似图片步骤，根据所述验证图片的场景以及所述未知错误的类型，获取相似图片集合；
建立文字描述模板步骤，建立所述相似图片的文字描述模板；
众包发布步骤，将相似图片集合和所述文字描述模板以及主题发布至众包平台；
获取反馈步骤，获取所述众包平台返回的与相似图片对应的文字描述模板反馈；
重新训练步骤，将所述文字描述模板反馈以及对应的相似图片放入训练图片集合，以训练所述深度学习模型。
2.如权利要求1所述的消除深度学习模型中未知错误的方法，其特征在于，所述建立文字描述模板步骤包括：
根据描述标签建立基础模板；
确定未知错误在描述标签中出现位置；
在基础模板上的对应未知错误的出现位置建立空白标签。
3.如权利要求2所述的消除深度学习模型中未知错误的方法，其特征在于，
所述文字描述模板反馈包括反馈标签，所述反馈标签对应于与发布的主题相符的相似图片的文字描述模板的空白标签。
4.如权利要求1所述的消除深度学习模型中未知错误的方法，其特征在于，
所述获取相似图片步骤包括根据出现未知错误的验证图片的场景以及未知错误的类型，提取关键字，将所述关键字与验证图片子集的主题进行匹配，计算匹配度高于阈值的关键字的出现频率，使用出现频率高于阈值的关键字检索相似图片，以获取相似图片集合。
5.如权利要求1所述的消除深度学习模型中未知错误的方法，其特征在于，所述深度学习模型使用了卷积神经网络(CNN)以及递归神经网络(RNN)算法。
6.如权利要求1所述的消除深度学习模型中未知错误的方法，其特征在于还包括：
验证步骤，将所述文字描述模板反馈以及对应的相似图片放入临时集合，根据反馈标签进行可信度计算，以确定所述文字描述模板反馈以及对应的相似图片是否放入所述训练图片集合。
7.一种消除深度学习模型中未知错误的装置，其特征在于，包括：
存储单元，用于存储程序，所述程序被处理单元执行时实现权利要求1至6中任意一项所述消除深度学习模型中未知错误的方法的步骤；
执行单元，用于执行存储单元中所述程序。
CN201710579742.8A 2017-07-17 2017-07-17 一种消除深度学习模型中未知错误的方法与装置 Pending CN109272003A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710579742.8A CN109272003A (zh) 2017-07-17 2017-07-17 一种消除深度学习模型中未知错误的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710579742.8A CN109272003A (zh) 2017-07-17 2017-07-17 一种消除深度学习模型中未知错误的方法与装置

Publications (1)

Publication Number Publication Date
CN109272003A true CN109272003A (zh) 2019-01-25

Family

ID=65147675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710579742.8A Pending CN109272003A (zh) 2017-07-17 2017-07-17 一种消除深度学习模型中未知错误的方法与装置

Country Status (1)

Country Link
CN (1) CN109272003A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070143A (zh) * 2019-04-29 2019-07-30 北京达佳互联信息技术有限公司 获取训练数据的方法、装置、设备及存储介质
CN110188593A (zh) * 2019-04-11 2019-08-30 浙江工业大学 一种用于提高人脸识别深度神经网络训练效率和效果的验证集反馈方法
US11386299B2 (en) 2018-11-16 2022-07-12 Yandex Europe Ag Method of completing a task
US11416773B2 (en) 2019-05-27 2022-08-16 Yandex Europe Ag Method and system for determining result for task executed in crowd-sourced environment
US11475387B2 (en) 2019-09-09 2022-10-18 Yandex Europe Ag Method and system for determining productivity rate of user in computer-implemented crowd-sourced environment
US11481650B2 (en) 2019-11-05 2022-10-25 Yandex Europe Ag Method and system for selecting label from plurality of labels for task in crowd-sourced environment
US11727329B2 (en) 2020-02-14 2023-08-15 Yandex Europe Ag Method and system for receiving label for digital task executed within crowd-sourced environment
US11727336B2 (en) 2019-04-15 2023-08-15 Yandex Europe Ag Method and system for determining result for task executed in crowd-sourced environment

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299432A1 (en) * 2009-05-20 2010-11-25 Genieo Innovation Ltd. System and method for management of information streams delivered for use by a user
CN102867025A (zh) * 2012-08-23 2013-01-09 百度在线网络技术（北京）有限公司 一种获取图片标注数据的方法和装置
CN103425715A (zh) * 2012-05-25 2013-12-04 百度在线网络技术（北京）有限公司 一种确定图片文本标注的方法和系统
CN103646109A (zh) * 2013-12-25 2014-03-19 武汉大学 一种基于机器学习的空间数据匹配方法
US20150142807A1 (en) * 2013-11-15 2015-05-21 Saffron Technology, Inc. Methods, systems and computer program products for using a distributed associative memory base to determine data correlations and convergence therein
CN105426826A (zh) * 2015-11-09 2016-03-23 张静 一种基于标签噪声纠正的众包标注数据质量提升方法
CN105608318A (zh) * 2015-12-18 2016-05-25 清华大学 众包标注整合方法
US20160162464A1 (en) * 2014-12-09 2016-06-09 Idibon, Inc. Techniques for combining human and machine learning in natural language processing
CN105787490A (zh) * 2016-03-24 2016-07-20 南京新与力文化传播有限公司 基于深度学习的商品潮流识别方法及装置
CN106156029A (zh) * 2015-03-24 2016-11-23 中国人民解放军国防科学技术大学 基于集成学习的多标签不平衡虚拟资产数据分类方法
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成系统
US20170083929A1 (en) * 2015-09-22 2017-03-23 Adobe Systems Incorporated Reinforcement machine learning for personalized intelligent alerting
CN106778858A (zh) * 2016-12-10 2017-05-31 浙江工业大学 一种基于小子集分组的聚类方法
CN106725401A (zh) * 2017-01-12 2017-05-31 成都信息工程大学 基于深度学习的自动血压测量方法
US20170200061A1 (en) * 2016-01-11 2017-07-13 Netradyne Inc. Driver behavior monitoring
CN106951963A (zh) * 2017-03-29 2017-07-14 苏州大学 一种知识精炼的方法以及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299432A1 (en) * 2009-05-20 2010-11-25 Genieo Innovation Ltd. System and method for management of information streams delivered for use by a user
CN103425715A (zh) * 2012-05-25 2013-12-04 百度在线网络技术（北京）有限公司 一种确定图片文本标注的方法和系统
CN102867025A (zh) * 2012-08-23 2013-01-09 百度在线网络技术（北京）有限公司 一种获取图片标注数据的方法和装置
US20150142807A1 (en) * 2013-11-15 2015-05-21 Saffron Technology, Inc. Methods, systems and computer program products for using a distributed associative memory base to determine data correlations and convergence therein
CN103646109A (zh) * 2013-12-25 2014-03-19 武汉大学 一种基于机器学习的空间数据匹配方法
US20160162464A1 (en) * 2014-12-09 2016-06-09 Idibon, Inc. Techniques for combining human and machine learning in natural language processing
CN106156029A (zh) * 2015-03-24 2016-11-23 中国人民解放军国防科学技术大学 基于集成学习的多标签不平衡虚拟资产数据分类方法
US20170083929A1 (en) * 2015-09-22 2017-03-23 Adobe Systems Incorporated Reinforcement machine learning for personalized intelligent alerting
CN105426826A (zh) * 2015-11-09 2016-03-23 张静 一种基于标签噪声纠正的众包标注数据质量提升方法
CN105608318A (zh) * 2015-12-18 2016-05-25 清华大学 众包标注整合方法
US20170200061A1 (en) * 2016-01-11 2017-07-13 Netradyne Inc. Driver behavior monitoring
CN105787490A (zh) * 2016-03-24 2016-07-20 南京新与力文化传播有限公司 基于深度学习的商品潮流识别方法及装置
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成系统
CN106778858A (zh) * 2016-12-10 2017-05-31 浙江工业大学 一种基于小子集分组的聚类方法
CN106725401A (zh) * 2017-01-12 2017-05-31 成都信息工程大学 基于深度学习的自动血压测量方法
CN106951963A (zh) * 2017-03-29 2017-07-14 苏州大学 一种知识精炼的方法以及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ATTENBERG J等: "Beat the Machine:Challenging Humans to Find a Predictive Model"s "Unknown Unknowns"", 《JOURNAL OF DATA & INFORMATION QUALITY》 *
杨河彬等: "一种融入用户点击模型Word2Vec查询词聚类", 《小型微型计算机系统》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386299B2 (en) 2018-11-16 2022-07-12 Yandex Europe Ag Method of completing a task
CN110188593A (zh) * 2019-04-11 2019-08-30 浙江工业大学 一种用于提高人脸识别深度神经网络训练效率和效果的验证集反馈方法
CN110188593B (zh) * 2019-04-11 2021-05-18 浙江工业大学 提高人脸识别深度网络训练效率和效果的验证集反馈方法
US11727336B2 (en) 2019-04-15 2023-08-15 Yandex Europe Ag Method and system for determining result for task executed in crowd-sourced environment
CN110070143A (zh) * 2019-04-29 2019-07-30 北京达佳互联信息技术有限公司 获取训练数据的方法、装置、设备及存储介质
CN110070143B (zh) * 2019-04-29 2021-07-16 北京达佳互联信息技术有限公司 获取训练数据的方法、装置、设备及存储介质
US11416773B2 (en) 2019-05-27 2022-08-16 Yandex Europe Ag Method and system for determining result for task executed in crowd-sourced environment
US11475387B2 (en) 2019-09-09 2022-10-18 Yandex Europe Ag Method and system for determining productivity rate of user in computer-implemented crowd-sourced environment
US11481650B2 (en) 2019-11-05 2022-10-25 Yandex Europe Ag Method and system for selecting label from plurality of labels for task in crowd-sourced environment
US11727329B2 (en) 2020-02-14 2023-08-15 Yandex Europe Ag Method and system for receiving label for digital task executed within crowd-sourced environment

Similar Documents

Publication Publication Date Title
CN109272003A (zh) 一种消除深度学习模型中未知错误的方法与装置
CN109299284B (zh) 一种基于结构信息与文本描述的知识图谱表示学习方法
CN108932304B (zh) 基于跨模态的视频时刻定位方法、系统及存储介质
CN109472033B (zh) 文本中的实体关系抽取方法及系统、存储介质、电子设备
Nie et al. Operations guided neural networks for high fidelity data-to-text generation
CN109446927B (zh) 基于先验知识的双人交互行为识别方法
CN105678253B (zh) 半监督人脸年龄估计装置及半监督人脸年龄估计方法
CN110033022A (zh) 文本的处理方法、装置和存储介质
CN103544486B (zh) 基于自适应标记分布的人类年龄估计方法
CN108416065A (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN106844368A (zh) 用于人机对话的方法、神经网络系统和用户设备
CN110147544B (zh) 一种基于自然语言的指令生成方法、装置以及相关设备
Laraba et al. Dance performance evaluation using hidden Markov models
CN102043774A (zh) 机器翻译测评装置和方法
Deng et al. Real‐time mocap dance recognition for an interactive dancing game
CN108664465A (zh) 一种自动生成文本方法以及相关装置
CN106257455A (zh) 一种基于依存关系模板抽取观点评价对象的Bootstrapping算法
WO2024099037A1 (zh) 数据处理、实体链接方法、装置和计算机设备
CN110222148A (zh) 适用于语法分析的置信度评估方法及装置
Xu et al. Text-guided human image manipulation via image-text shared space
WO2020135054A1 (zh) 视频推荐方法、装置、设备及存储介质
CN110399547A (zh) 用于更新模型参数的方法、装置、设备和存储介质
CN114239805A (zh) 跨模态检索神经网络及训练方法、装置、电子设备、介质
CN113705792A (zh) 基于深度学习模型的个性化推荐方法、装置、设备及介质
CN108959375A (zh) 一种基于规则与深度学习的知识抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190125

WD01 Invention patent application deemed withdrawn after publication