CN108897869B - 语料标注方法、装置、设备和存储介质 - Google Patents
语料标注方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN108897869B CN108897869B CN201810713479.1A CN201810713479A CN108897869B CN 108897869 B CN108897869 B CN 108897869B CN 201810713479 A CN201810713479 A CN 201810713479A CN 108897869 B CN108897869 B CN 108897869B
- Authority
- CN
- China
- Prior art keywords
- corpus
- intention
- word
- labeled
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000011218 segmentation Effects 0.000 claims description 47
- 230000004048 modification Effects 0.000 claims description 19
- 238000012986 modification Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 25
- 238000012790 confirmation Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例公开了一种语料标注方法、装置、设备和存储介质，其中，该方法包括：在语料标注区域中展示各待标注语料；若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。本发明实施例可以实现大量样本的快速标注，提高了语料标注的效率和准确率。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种语料标注方法、装置、设备和存储介质。
背景技术
在人工智能的人机对话领域需要使用自然语言处理(Natural LanguageProcessing，NLP)与机器学习技术对大量的对话语料进行训练，要想在人机对话中让机器更智能的理解人的目的(即意图)和实现该目的的关键信息(即词槽)就需要人工标注大量(上万至百万)的对话语料，标出每一条训练语料中人的意图和词槽，让机器从这些标注好的语料中学习规律，拟合出可以预测相同领域的对话意图和词槽，从而实现机器对人类语言的理解，进一步让机器帮助人类，满足人类的需求。
标注大量语料需要标注员人工进行，标注方法是否科学，系统工具是否高效好用对标注的效率起到了关键作用。现有的语料标注方式需要单独对每一行对话样本进行标注导入系统，或者在系统内先自动对连续的对话语句分词然后对分词逐一进行标注，例如对“明天有雨吗”进行分词得到“明天”、“有”、“雨”和“吗”，先标注意图为“下雨”，再分别对这三个分词进行词槽的标注。现有的语料标注方式步骤分割，可操作性低，标注大量样本时极易导致操作疲劳，降低标注效率。
发明内容
本发明实施例提供了一种语料标注方法、装置、设备和存储介质，可以提高语料标注的效率和准确率。
第一方面，本发明实施例提供了一种语料标注方法，包括：
在语料标注区域中展示各待标注语料；
若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。
第二方面，本发明实施例还提供了一种语料标注装置，该装置包括：
展示模块，用于在语料标注区域中展示各待标注语料；
意图模块，用于若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的语料标注方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的语料标注方法。
本发明实施例通过在语料标注区域中展示各待标注语料，若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。本发明实施例可以实现大量样本的快速标注，提高了语料标注的效率和准确率。
附图说明
图1为本发明实施例一中的语料标注方法的流程图；
图2为本发明实施例一中的待标注语料的示意图；
图3为本发明实施例一中的意图标注的示意图；
图4为本发明实施例一中的词槽标注的示意图；
图5为本发明实施例二中的语料标注方法的流程图；
图6为本发明实施例二中的意图标注修改的示意图；
图7为本发明实施例二中的意图标注批量确认的示意图；
图8为本发明实施例二中的分词处理的示意图；
图9为本发明实施例二中的词槽修改的示意图；
图10为本发明实施例二中的意图编辑页面的示意图；
图11为本发明实施例二中的词槽添加的示意图；
图12为本发明实施例三中的语料标注装置的结构示意图；
图13为本发明实施例四中的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的语料标注方法的流程图，本实施例可适用于标注语料的情况，该方法可以由语料标注装置执行，该装置可以采用软件和/或硬件的方式实现，例如，该装置可配置于设备中。如图1所示，该方法具体可以包括：
S110、在语料标注区域中展示各待标注语料。
当用户打开系统中的语料标注工具标注语料时，系统可以获取用户输入的对话样本或者通过互联网获取大量的对话样本，将获取到的对话样本作为待标注语料，并对待标注语料进行分词，在语料标注区域(即对话样本集)中展示各待标注语料，展示的内容包括各待标注语料的分词结果以及各待标注语料的标注状态。
图2为本发明实施例一中的待标注语料的示意图，如图2所示，框选的部分展示了各待标注语料的分词结果，最后一列展示了各待标注语料的标注状态，图中的四个待标注语料都处于未标注的状态。
S120、若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。
在语料标注区域中展示各待标注语料之后，当检测到用户选择至少一个待标注语料且选择对应的意图标注控件时，则依据用户对意图标注控件的操作可以确定所述至少一个待标注语料的意图标注。其中，所述意图标注控件可以位于语料标注区域中，以便快速实现意图标注。
图3为本发明实施例一中的意图标注的示意图，如图3所示，意图标注控件即为框选出的“请标注意图”，用户点击第一个对话样本(即第一个待标注语料)的“请标注意图”，即选择了对第一个待标注语料进行意图标注。
可选地，依据用户操作确定所述至少一个待标注语料的意图标注，包括：将用户从候选意图列表中选择的候选意图作为所述至少一个待标注语料的意图标注；或者，将用户输入的意图关键词与候选意图列表中包括的候选意图进行匹配，将匹配到的候选意图作为当前意图。现有技术中，当意图比较多时，在选择意图的时候只能在下拉列表中拖动滚动条一个一个看，直到看到正确的意图，导致意图标注的效率较低。本实施例中在意图比较多时可根据意图名或意图别名快速检索定位目标意图，大大提高意图的标注效率。
具体的，意图标注控件中可以设置候选意图列表，候选意图列表中包括预设的多个候选意图，如图3所示，点击第一个待标注语料的意图控件“请标注意图”时，即可显示候选意图列表中以及其中的候选意图供用户选择，图中框选的“ASK_TEMP”为用户选择的候选意图，选择“ASK_TEMP”之后即完成了对第一个待标注语料的意图标注。或者，如图3所示，意图标注控件中还可以包括“自定义技能”，用户在此输入意图关键词，并通过匹配算法计算该意图关键词与候选意图列表中包括的候选意图的匹配度，将匹配度大于预设匹配度阈值的候选意图作为当前意图。
当一个待标注语料完成意图标注之后，语料标注区域中的标注状态可以通过点击“确认”控件保存该意图标注。
可选地，在语料标注区域中展示各待标注语料之后，还包括：在语料标注区域中展示各待标注语料的分词结果；若检测到用户选择任一待标注语料中包括的任一词语，且该待标注语料标注有意图，则展示该待标注语料的意图所关联的候选词槽供用户选择；将用户从所述候选词槽中选择的词槽作为该词语的词槽标注。
具体的，对任一待标注语料完成意图标注之后，对于该待标注语料包括的词语，若检测到用户选择任一词语，则将用户从候选词槽中选择的词槽作为该词语的词槽标注，从而实现对该待标注语料包括的所有词语的词槽标注。其中，候选词槽是预设的与该待标注语料的意图所关联的的词槽。
示例性的，图4为本发明实施例一中的词槽标注的示意图，如图4所示，第一个待标注语料的意图标注为“ASK_TEMP”，框选的词语“后天”为第一个待标注语料中的一个词语，点击“后天”之后，展示意图“ASK_TEMP”所关联的候选词槽供用户选择，图中的候选词槽为“user_loc”和“user_time”，图中框选的词槽“user_time”为用户为“后天”选择的词槽，用户点击词槽“user_time”之后就完成了词语“后天”的词槽标注，可以在标注状态中点击“确认”控件保存该词语的词槽标注。并且，词槽标注的结果可以直接显示在语料标注区域中，将语料标注区域中的“后天”改为“[D:user_time:后天]”。按照上述方式可以完成第一个待标注语料中的所有词语的词槽标注。
当一个待标注语料完成意图标注，并且完成了该待标注语料包括的所有词语的词槽标注，则语料标注区域中的标注状态可以从“未标注”状态变为“已标注”状态。
本实施例通过在语料标注区域中展示各待标注语料，选择任一待标注语料的意图标注控件和任一待标注语料包括的任一词语，通过用户操作可以分别确定至少一个待标注语料的意图标注和词槽标注。意图标注和词槽标注都可以在一个标注区域中完成，减少了标注操作的步骤，可以实现大量样本的快速标注，提高了语料标注的效率和准确率。
在上述技术方案的基础上，可选地，依据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：若检测到用户选择任一标注有意图的语料中包括的任一标注有词槽的词语，则展示该语料的意图所关联的候选词槽供用户选择；采用用户选择的候选词槽替换该词语的原词槽。
可选地，依据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：若检测到用户选择任一标注有意图的语料中包括的任一标注有词槽的词语，则在所述语料标注区域中展示移除词槽控件供用户使用；若检测到用户点击所述移除词槽控件，则删除该词语的词槽。
可选地，据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：若检测到用户选择任一标注有意图的语料，则在所述语料标注区域中展示添加词槽控件供用户使用；若检测到用户选择添加词槽控件，则依据用户输入添加该语料的意图的候选词槽。
可选地，依据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：若检测到用户选择至少两个标注有意图的语料，则在所述语料标注区域中展示修改意图控件供用户使用；若检测到用户选择所述修改意图控件，则依据用户操作批量确定所述至少两个标注有意图的语料的新意图标注。
可选地，在语料标注区域中展示各待标注语料的分词结果之后，还包括：若检测到用户选择任一未标注词槽的词语，则在所述语料标注区域中展示切词控件供用户使用；若检测到用户选择切词控件，则对该词语进行分词处理。
可选地，在语料标注区域中展示各待标注语料的分词结果之后，还包括：若检测到用户连续选择任一语料中包括的至少两个词语，则将所述至少两个词语合并成一个词语。
实施例二
图5为本发明实施例二中的语料标注方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述语料标注方法。相应的，本实施例的方法具体包括：
S210、在语料标注区域中展示各待标注语料。
当用户打开系统中的语料标注工具标注语料时，系统可以获取用户输入的对话样本或者通过互联网获取大量的对话样本，将获取到的对话样本作为待标注语料，并对待标注语料进行分词，在语料标注区域(即对话样本集)中展示各待标注语料，展示的内容包括各待标注语料的分词结果以及各待标注语料的标注状态。
S220、若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。
在语料标注区域中展示各待标注语料之后，当检测到用户选择至少一个待标注语料且选择对应的意图标注控件时，则依据用户对意图标注控件的操作可以确定所述至少一个待标注语料的意图标注。其中，所述意图标注控件可以位于语料标注区域中，以便快速实现意图标注。可选地，依据用户操作确定所述至少一个待标注语料的意图标注，包括：将用户从候选意图列表中选择的候选意图作为所述至少一个待标注语料的意图标注；或者，将用户输入的意图关键词与候选意图列表中包括的候选意图进行匹配，将匹配到的候选意图作为当前意图。
可选地，依据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：若检测到用户选择至少两个标注有意图的语料，则在所述语料标注区域中展示修改意图控件供用户使用；若检测到用户选择所述修改意图控件，则依据用户操作批量确定所述至少两个标注有意图的语料的新意图标注。
现有技术中标注语料是单个语料完成标注后再标注另一个，对一些相同意图无词槽或都是负例(例如天气场景，订票不是天气场景，属于负例)的语料没法批量标注，导致标注效率低下。
图6为本发明实施例二中的意图标注修改的示意图，如图6所示，框选的三个语料为用户选择的标注有意图的语料，框选的“修改意图”为修改意图控件，若用户点击“修改意图”，则将用户从候选意图列表中的选择的意图作为三个语料的新意图标注。通过修改意图控件可以批量完成多个标注有意图的语料的意图标注的修改，并且当至少一个待标注语料都属于同一个意图时，通过修改意图控件也可以批量完成多个待标注语料的意图标注。
当一个待标注语料完成意图标注之后，语料标注区域中的标注状态可以通过点击“确认”控件保存该意图标注，也可以在至少两个待标注语料完成意图标注之后，通过批量确认控件进行批量确认以保存至少两个待标注语料的意图标注。图7为本发明实施例二中的意图标注批量确认的示意图，如图7所示，框选的部分可以实现批量确认，可以针对选中的待确认语料进行批量确认，也可以针对对话样本集中所有待确认的语料进行批量确认。
S230、若检测到用户选择任一待标注语料中包括的任一词语，且该待标注语料标注有意图，则展示该待标注语料的意图所关联的候选词槽供用户选择，将用户从所述候选词槽中选择的词槽作为该词语的词槽标注。
具体的，在语料标注区域中展示各待标注语料的分词结果，若任一待标注语料完成意图标注之后，对于该待标注语料包括的词语，若检测到用户选择任一词语，则将用户从候选词槽中选择的词槽作为该词语的词槽标注，从而实现对该待标注语料包括的所有词语的词槽标注。其中，候选词槽是预设的与该待标注语料的意图所关联的词槽。
可选地，在语料标注区域中展示各待标注语料的分词结果之后，还包括：若检测到用户选择任一未标注词槽的词语，则在所述语料标注区域中展示切词控件供用户使用；若检测到用户选择切词控件，则对该词语进行分词处理。具体的，若用户在标注词槽之前发现分词错误时，可以选择任一未标注词槽的词语，通过展示在语料标注区域中的切词控件对该词语进行分词处理。图8为本发明实施例二中的分词处理的示意图，如图8所示，点击切词控件“切词”后，可以将框选的词语“京津”分词为“京”和“津”，分词完成后，可以针对该分词处理后的词语标注词槽，“京”可以标注“起点”词槽，“津”可以标注“终点”词槽。
现有技术中当系统分词错误时，例如将“喝酒吧”分为“喝”和“酒吧”，无法对分词进行干预纠正，从而无法完成语料的标注，本实施例中对分词错误的情况提供了灵活的切词工具，可以保障任何分词错误都可以被快速纠正。
可选地，在语料标注区域中展示各待标注语料的分词结果之后，还包括：若检测到用户连续选择任一语料中包括的至少两个词语，则将所述至少两个词语合并成一个词语。即当任一语料中的至少两个词语需要合并为一个分词时，用户可以选定一个分词后继续追加选择后面的分词既可将至少两个词语合并为一个词语，例如，点击“明”后继续点击“后”和“天”，即可将三个词语“明”“后”“天”合并为一个词语“明后天”。现有技术中若系统分词粒度太细，两个词语的词槽标注相同时，需要分别点击两个词语后标注词槽，也导致标注效率较低，本实施例中可以实现分词合并标注，提高效率和操作体验。
S240、若检测到用户选择任一标注有意图的语料中包括的任一标注有词槽的词语，则展示该语料的意图所关联的候选词槽供用户选择，采用用户选择的候选词槽替换该词语的原词槽。
当任一标注有意图的语料中包括的任一词语的词槽标注错误时，若检测到用户选择该词语，则可以展示该语料的意图所关联的候选词槽，根据用户选择的操作将用户选择的候选词槽替换该词语的原词槽。图9为本发明实施例二中的词槽修改的示意图，如图9所示，将“北京”的原词槽“user_time”替换为“user_loc”。
可选地，若检测到用户选择任一标注有意图的语料中包括的任一标注有词槽的词语，则在所述语料标注区域中展示移除词槽控件供用户使用；若检测到用户点击所述移除词槽控件，则删除该词语的词槽。如图9所示，当用户选择“北京”，点击“移除”时，“北京”对应的词槽“user_time”会被删除。
可选地，若检测到用户选择任一标注有意图的语料，则在所述语料标注区域中展示添加词槽控件供用户使用；若检测到用户选择添加词槽控件，则依据用户输入添加该语料的意图的候选词槽。图10为本发明实施例二中的意图编辑页面的示意图，如图10所示，选择意图“WIND”并点击“添加词槽”之后，可以在新的页面打开意图“WIND”的意图编辑页面，再次点击“添加词槽”，则显示图11中的页面。图11为本发明实施例二中的词槽添加的示意图，如图11所示，根据用户输入的“user_time”将该时间词槽添加到意图“WIND”的候选词槽中。
现有技术中，在标注的过程如果发现某个意图下缺少某个词槽时没法立即添加词槽，需要切换当前标注页面到意图定义页面，在意图定义页面添加词槽后在回到之前的样本标注页面，在标注过程中跳出标注流程完善意图定义后再回到标注的操作代价太大，也会导致标注效率的大大降低。本实施例中可以对任一语料包括的任一词语的词槽标注进行修改和删除，并在缺少词槽时可以添加新的词槽，并在流程上让分支流程完成后可无缝回到原有的操作流程上，大大减少了原来异常情况对标注效率的影响。
本实施例通过在语料标注区域中展示各待标注语料，选择任一待标注语料的意图标注控件和任一待标注语料包括的任一词语，通过用户操作可以分别确定至少一个待标注语料的意图标注和词槽标注。本实施例可以对相同意图的语料实现批量标注和修改；可以对任一语料包括的任一词语的词槽标注进行修改和删除，并在缺少词槽时可以添加新的词槽；对分词错误的情况提供了灵活的切词工具，可以保障任何分词错误都可以被快速纠正，并且可以实现分词合并标注；意图标注和词槽标注都可以在一个标注区域中完成，减少了标注操作的步骤，可以实现大量语料的快速标注，提高了语料标注的效率和准确率；
实施例三
图12为本发明实施例三中的语料标注装置的结构示意图，本实施例可适用于实现语料标注的情况。本发明实施例所提供的语料标注装置可执行本发明任意实施例所提供的语料标注方法，具备执行方法相应的功能模块和有益效果。该装置具体包括展示模块310和意图模块320，其中：
展示模块310，用于在语料标注区域中展示各待标注语料；
意图模块320，用于若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。
可选地，意图模块320具体用于：
将用户从候选意图列表中选择的候选意图作为所述至少一个待标注语料的意图标注；或者，
将用户输入的意图关键词与候选意图列表中包括的候选意图进行匹配，将匹配到的候选意图作为当前意图。
可选地，该装置还包括词槽模块，用于：
在语料标注区域中展示各待标注语料的分词结果；
若检测到用户选择任一待标注语料中包括的任一词语，且该待标注语料标注有意图，则展示该待标注语料的意图所关联的候选词槽供用户选择；
将用户从所述候选词槽中选择的词槽作为该词语的词槽标注。
可选地，该装置还包括词槽修改模块，所述词槽修改模块用于：
若检测到用户选择任一标注有意图的语料中包括的任一标注有词槽的词语，则展示该语料的意图所关联的候选词槽供用户选择；
采用用户选择的候选词槽替换该词语的原词槽。
可选地，该装置还包括词槽删除模块，所述词槽删除模块用于：
若检测到用户选择任一标注有意图的语料中包括的任一标注有词槽的词语，则在所述语料标注区域中展示移除词槽控件供用户使用；
若检测到用户点击所述移除词槽控件，则删除该词语的词槽。
可选地，该装置还包括词槽添加模块，所述词槽添加模块用于：
若检测到用户选择任一标注有意图的语料，则在所述语料标注区域中展示添加词槽控件供用户使用；
若检测到用户选择添加词槽控件，则依据用户输入添加该语料的意图的候选词槽。
可选地，词槽模块包括分词单元，所述分词单元用于：
若检测到用户选择任一未标注词槽的词语，则在所述语料标注区域中展示切词控件供用户使用；
若检测到用户选择切词控件，则对该词语进行分词处理。
可选地，词槽模块还包括合并单元，所述合并单元用于：
若检测到用户连续选择任一语料中包括的至少两个词语，则将所述至少两个词语合并成一个词语。
可选地，该装置还包括意图修改模块，所述意图修改模块用于：
若检测到用户选择至少两个标注有意图的语料，则在所述语料标注区域中展示修改意图控件供用户使用；
若检测到用户选择所述修改意图控件，则依据用户操作批量确定所述至少两个标注有意图的语料的新意图标注。
本实施例通过在语料标注区域中展示各待标注语料，选择任一待标注语料的意图标注控件和任一待标注语料包括的任一词语，通过用户操作可以分别确定至少一个待标注语料的意图标注和词槽标注。本实施例中标注操作都集中一个区域，且可连续快速完成操作，在标注大量样本的情况下效率大大提升；标注方法是在一个列表中可直接进行意图和词槽的标注，不用像现有技术中一个样本标注完成后还要操作系统切换到下一个对话样本。同时可以对相同意图的样本进行批量标注和修改，大大减少了标注操作的步骤，也极大提高了效果；分词合并标注的效率更高，合并结果所见即所得，且可自然过度到最后的词槽标注，操作体验也大大提升。对分词错误的情况提供了灵活的切词工具，可以保障任何分词错误都可以被快速纠正，并顺利完成词槽的标注，解决了现有技术无法解决的问题。在标注的过程发现某个意图下缺少词槽时设计了快捷添加词槽的入口，并在产品流程上让分支流程完成后可无缝回到原有的操作流程上，大大减少了原来异常情况对标注效率的影响。在意图比较多时可根据意图名或意图别名快速检索定位目标意图，大大提高意图的标注效率。
实施例四
图13为本发明实施例四中的设备的结构示意图。图13示出了适于用来实现本发明实施方式的示例性设备412的框图。图13显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图13所示，设备412以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图13未显示，通常称为“硬盘驱动器”)。尽管图13中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图13所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的语料标注方法，该方法包括：
在语料标注区域中展示各待标注语料；
若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的语料标注方法，该方法包括：
在语料标注区域中展示各待标注语料；
若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种语料标注方法，其特征在于，包括：
在语料标注区域中展示各待标注语料；
若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注；
其中，在语料标注区域中展示各待标注语料之后，还包括：
在语料标注区域中展示各待标注语料的分词结果；
若检测到用户选择任一待标注语料中包括的任一词语，且该待标注语料标注有意图，则展示该待标注语料的意图所关联的候选词槽供用户选择；
将用户从所述候选词槽中选择的词槽作为该词语的词槽标注。
2.根据权利要求1所述的方法，其特征在于，依据用户操作确定所述至少一个待标注语料的意图标注，包括：
将用户从候选意图列表中选择的候选意图作为所述至少一个待标注语料的意图标注；或者，
将用户输入的意图关键词与候选意图列表中包括的候选意图进行匹配，将匹配到的候选意图作为当前意图。
3.根据权利要求1所述的方法，其特征在于，依据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：
若检测到用户选择任一标注有意图的语料中包括的任一标注有词槽的词语，则展示该语料的意图所关联的候选词槽供用户选择；
采用用户选择的候选词槽替换该词语的原词槽。
4.根据权利要求1所述的方法，其特征在于，依据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：
若检测到用户选择任一标注有意图的语料中包括的任一标注有词槽的词语，则在所述语料标注区域中展示移除词槽控件供用户使用；
若检测到用户点击所述移除词槽控件，则删除该词语的词槽。
5.根据权利要求1所述的方法，其特征在于，依据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：
若检测到用户选择任一标注有意图的语料，则在所述语料标注区域中展示添加词槽控件供用户使用；
若检测到用户选择添加词槽控件，则依据用户输入添加该语料的意图的候选词槽。
6.根据权利要求1所述的方法，其特征在于，在语料标注区域中展示各待标注语料的分词结果之后，还包括：
若检测到用户选择任一未标注词槽的词语，则在所述语料标注区域中展示切词控件供用户使用；
若检测到用户选择切词控件，则对该词语进行分词处理。
7.根据权利要求1所述的方法，其特征在于，在语料标注区域中展示各待标注语料的分词结果之后，还包括：
若检测到用户连续选择任一语料中包括的至少两个词语，则将所述至少两个词语合并成一个词语。
8.根据权利要求1所述的方法，其特征在于，依据用户操作确定所述至少一个待标注语料的意图标注之后，还包括：
若检测到用户选择至少两个标注有意图的语料，则在所述语料标注区域中展示修改意图控件供用户使用；
若检测到用户选择所述修改意图控件，则依据用户操作批量确定所述至少两个标注有意图的语料的新意图标注。
9.一种语料标注装置，其特征在于，包括：
展示模块，用于在语料标注区域中展示各待标注语料；
意图模块，用于若检测到用户选择所述各待标注语料中的至少一个待标注语料，且选择语料标注区域中的意图标注控件，则依据用户操作确定所述至少一个待标注语料的意图标注；
词槽模块，用于在语料标注区域中展示各待标注语料的分词结果；若检测到用户选择任一待标注语料中包括的任一词语，且该待标注语料标注有意图，则展示该待标注语料的意图所关联的候选词槽供用户选择；将用户从所述候选词槽中选择的词槽作为该词语的词槽标注。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的语料标注方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的语料标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810713479.1A CN108897869B (zh) | 2018-06-29 | 2018-06-29 | 语料标注方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810713479.1A CN108897869B (zh) | 2018-06-29 | 2018-06-29 | 语料标注方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108897869A CN108897869A (zh) | 2018-11-27 |
| CN108897869B true CN108897869B (zh) | 2020-10-27 |
Family
ID=64347821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810713479.1A Active CN108897869B (zh) | 2018-06-29 | 2018-06-29 | 语料标注方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108897869B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036186A (zh) * | 2019-06-04 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 语料标注方法、装置、计算机存储介质及电子设备 |
| CN110688844A (zh) * | 2019-08-22 | 2020-01-14 | 阿里巴巴集团控股有限公司 | 一种文本标注方法及装置 |
| CN110674638B (zh) * | 2019-09-23 | 2023-12-01 | 百度在线网络技术（北京）有限公司 | 语料标注系统及电子设备 |
| CN111178021A (zh) * | 2019-11-29 | 2020-05-19 | 厦门快商通科技股份有限公司 | 一种项目对齐标注工具创建方法及系统 |
| CN111611366B (zh) * | 2020-05-20 | 2023-08-11 | 北京百度网讯科技有限公司 | 意图识别优化处理方法、装置、设备及存储介质 |
| CN111639705B (zh) * | 2020-05-29 | 2021-06-29 | 江苏云从曦和人工智能有限公司 | 一种批量图片标注方法、系统、机器可读介质及设备 |
| CN114442876A (zh) * | 2020-10-30 | 2022-05-06 | 华为终端有限公司 | 一种标注工具的管理方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662930A (zh) * | 2012-04-16 | 2012-09-12 | 乐山师范学院 | 一种语料标注方法及装置 |
| CN106020504A (zh) * | 2016-05-17 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 信息输出方法和装置 |
| CN106610932A (zh) * | 2015-10-27 | 2017-05-03 | 中兴通讯股份有限公司 | 一种语料处理方法和装置及语料分析方法和装置 |
| CN106782509A (zh) * | 2016-12-02 | 2017-05-31 | 乐视控股（北京）有限公司 | 一种语料标注方法和装置及终端 |
| CN107590216A (zh) * | 2017-08-31 | 2018-01-16 | 北京百度网讯科技有限公司 | 答案获得方法、装置和计算机设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5858456B2 (ja) * | 2011-01-21 | 2016-02-10 | 国立研究開発法人情報通信研究機構 | 情報検索サービス提供装置及びコンピュータプログラム |
-
2018
- 2018-06-29 CN CN201810713479.1A patent/CN108897869B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662930A (zh) * | 2012-04-16 | 2012-09-12 | 乐山师范学院 | 一种语料标注方法及装置 |
| CN106610932A (zh) * | 2015-10-27 | 2017-05-03 | 中兴通讯股份有限公司 | 一种语料处理方法和装置及语料分析方法和装置 |
| CN106020504A (zh) * | 2016-05-17 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 信息输出方法和装置 |
| CN106782509A (zh) * | 2016-12-02 | 2017-05-31 | 乐视控股（北京）有限公司 | 一种语料标注方法和装置及终端 |
| CN107590216A (zh) * | 2017-08-31 | 2018-01-16 | 北京百度网讯科技有限公司 | 答案获得方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108897869A (zh) | 2018-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108897869B (zh) | 语料标注方法、装置、设备和存储介质 | |
| CN113807098B (zh) | 模型训练方法和装置、电子设备以及存储介质 | |
| CN107291828B (zh) | 基于人工智能的口语查询解析方法、装置及存储介质 | |
| CN107832662B (zh) | 一种获取图片标注数据的方法和系统 | |
| CN110705299B (zh) | 实体和关系的联合抽取方法、模型、电子设备及存储介质 | |
| CN110276023B (zh) | Poi变迁事件发现方法、装置、计算设备和介质 | |
| CN108932218B (zh) | 一种实例扩展方法、装置、设备和介质 | |
| CN107301248B (zh) | 文本的词向量构建方法和装置、计算机设备、存储介质 | |
| WO2021174864A1 (zh) | 基于少量训练样本的信息抽取方法及装置 | |
| CN111753524B (zh) | 文本断句位置的识别方法及系统、电子设备及存储介质 | |
| CN110457683B (zh) | 模型优化方法、装置、计算机设备及存储介质 | |
| CN111737991B (zh) | 文本断句位置的识别方法及系统、电子设备及存储介质 | |
| CN111160004B (zh) | 一种断句模型的建立方法及装置 | |
| CN112836052A (zh) | 一种汽车评论文本观点挖掘方法、设备及存储介质 | |
| US20120158742A1 (en) | Managing documents using weighted prevalence data for statements | |
| CN111597800B (zh) | 同义句的获取方法及装置、设备及存储介质 | |
| CN111626055B (zh) | 文本处理方法及装置、计算机存储介质、电子设备 | |
| CN109815481B (zh) | 对文本进行事件抽取的方法、装置、设备和计算机存储介质 | |
| CN112070093B (zh) | 生成图像分类模型的方法、图像分类方法、装置和设备 | |
| CN110738055A (zh) | 文本的实体识别方法、设备及存储介质 | |
| CN111353311A (zh) | 一种命名实体识别方法、装置、计算机设备及存储介质 | |
| CN114373460A (zh) | 车载语音助手的指令确定方法、装置、设备及介质 | |
| CN113204667A (zh) | 音频标注模型的训练与音频标注的方法、装置 | |
| CN110162757B (zh) | 一种表格结构提取方法及系统 | |
| CN112989050B (zh) | 一种表格分类方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |