CN111914078A - 数据处理方法、装置 - Google Patents
数据处理方法、装置 Download PDFInfo
- Publication number
- CN111914078A CN111914078A CN202010814849.8A CN202010814849A CN111914078A CN 111914078 A CN111914078 A CN 111914078A CN 202010814849 A CN202010814849 A CN 202010814849A CN 111914078 A CN111914078 A CN 111914078A
- Authority
- CN
- China
- Prior art keywords
- information
- feedback result
- labeling
- feedback
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000002372 labelling Methods 0.000 claims abstract description 109
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 abstract description 23
- 230000000694 effects Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种数据处理方法、装置。其中,该方法包括:接收目标对象的请求信息;展示与所述请求信息对应的反馈结果;获取所述目标对象针对所述反馈结果的标注信息,并采用所述标注信息对所述反馈结果进行标注,其中,该标注信息用于标记所述反馈结果是否与所述目标对象的目标需求一致;在所述标注信息指示所述反馈结果错误的情况下,继续等待与所述请求信息对应的下一个反馈结果。本申请解决了由于相关技术中智能问答系统采用按键输入的方式对智能系统给出的答案进行标注造成的标注方式单一、且一般都是在交互结束后进行标注,因此,标注不及时的的技术问题。
Description
技术领域
本申请涉及智能问答领域,具体而言,涉及一种数据处理方法、装置。
背景技术
当前的主流智能问答系统,用户在于系统进行问答交互行为后,系统需要人工辅助来判断自己的回复正确与否,再对回复错误的原因进行机器分析,从而优化自己的语音、语义模型,通过自学习来提高模型质量、准确度,而这一人工判断的方式,目前仍采取按键形式,例如,用户对系统进行三个问题的询问,前两个问题机器回答正确,最后一个问题回答错误,在智能问答系统(简称:系统)的角度讲,需要得到系统回答错误及错误原因的反馈,于是采取的方式为手动按键输入,对此条数据进行标注,以与系统进行信息交互,而用户在使用过程中,其目的在于解决自己的疑问,一般不会去点击标注按钮,且采用按键输入这种形式一般都是在用户与系统问答过程完成之后,才会让用户针对系统给出的答案进行标注,因此,存在标注不及时的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理方法、装置,以至少解决由于相关技术中智能问答系统采用按键输入的方式对智能系统给出的答案进行标注造成的标注方式单一、且一般都是在交互结束后进行标注,因此,标注不及时的的技术问题。
根据本申请实施例的一个方面,提供了一种数据处理方法,包括:接收目标对象的请求信息;展示与请求信息对应的反馈结果;获取目标对象针对反馈结果的标注信息,并采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致;在标注信息指示反馈结果错误的情况下,继续等待与请求信息对应的下一个反馈结果。
可选地,获取目标对象针对反馈结果的标注信息,包括:接收来自目标对象的语音信息;识别语音信息,并从识别结果中提取标注信息。
可选地,在标注信息指示反馈结果错误的情况下,在从识别结果中提取标注信息时,方法还包括:从识别结果中提取反馈结果的错误原因信息;并将错误原因信息和标注信息反馈至智能问答系统中。
可选地,将错误原因信息和标注信息反馈至智能问答系统中之后,方法还包括:智能问答系统根据错误原因信息进行语义分析,基于语义分析结果确定与请求信息对应的反馈结果;并将反馈结果推送至用于展示与请求信息对应的反馈结果的终端中。
可选地,获取目标对象针对反馈结果的标注信息之后,方法还包括:将标注了标注信息的反馈结果存储至机器学习模型的训练集中:采用存储了反馈结果的训练集对机器学习模型进行训练,得到目标机器学习模型;向目标对象展示提示信息,该提示信息用于指示是否采用目标机器学习模型继续确定与请求信息对应的反馈结果。
可选地,获取目标对象针对反馈结果的标注信息,包括:确定在展示反馈结果之后的预设时长内是否收到针对反馈结果的反馈信息,该反馈信息用于指示反馈结果错误;在未收到反馈信息时,采用第一标记对反馈结果进行标注,并将第一标记作为标注信息,其中,第一标记用于指示反馈结果正确;在收到反馈信息且反馈信息指示反馈结果错误时,采用第二标记对反馈结果进行标注,并将第二标记作为标注信息;在收到反馈信息且反馈信息指示反馈结果正确时,采用第一标记对反馈结果进行标注,并将第一标记作为标注信息。
可选地,获取目标对象针对反馈结果的标注信息,包括:在人机交互界面中展示标注选项,其中,该标注选项包括:用于指示反馈结果正确的第一标注信息和用于指示反馈结果错误的第二标注信息;接收目标对象的语音指令;依据语音指令从从第一标注信息和第二标注信息中选择一个标注信息作为反馈结果的最终标注信息。
根据本申请实施例的另一方面,还提供了一种数据处理方法,包括:在智能问答系统的问答过程中,获取目标对象对目标问题的反馈结果的标注信息;采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致。
根据本申请实施例的另一方面,还提供了一种数据处理装置,包括:接收模块,用于接收目标对象的请求信息;展示模块,用于展示与请求信息对应的反馈结果;标注模块,用于获取目标对象针对反馈结果的标注信息,并采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致;处理模块,用于在标注信息指示反馈结果错误的情况下,继续等待与请求信息对应的下一个反馈结果。
根据本申请实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行任意一种数据标注方法。
在本申请实施例中,采用语音输入标注用户反馈结果的方式,通过接收目标对象的请求信息;展示与所述请求信息对应的反馈结果;获取所述目标对象针对所述反馈结果的标注信息,并采用所述标注信息对所述反馈结果进行标注,其中,该标注信息用于标记所述反馈结果是否与所述目标对象的目标需求一致;在所述标注信息指示所述反馈结果错误的情况下,继续等待与所述请求信息对应的下一个反馈结果,达到了接收用户输入的语音形式的标注信息对系统给出的反馈结果进行标注目的,从而实现了在交互过程中,接收语音形式的标注信息及时对反馈结果进行及时、同步标注的技术效果,进而解决了由于相关技术中智能问答系统采用按键输入的方式对智能系统给出的答案进行标注造成的标注方式单一、且一般都是在交互结束后进行标注,因此,标注不及时的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种数据处理方法的流程示意图;
图2是本申请实施例一种可选的智能问答系统交互过程的流程示意图;
图3是本申请实施例的另一种数据处理方法的流程示意图;
图4是本申请实施例的一种数据处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例,现将本申请实施例涉及的部分名词或技术术语解释如下:
ASR:自动语音识别技术(Automatic Speech Recognition)是一种将人的语音转换为文本的技术。语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。
VPR:声纹识别(Voice Print Recognition)提供基于生物特征识别技术的身份校验和鉴别,从而确定说话人是否为本人或集群中的某个人,通过专用的电声转换仪器(声谱仪、语图仪等)将声波特征绘制成的波谱图形,它是各种声学特征图谱的集合,声纹是生物特征的一种,对于人体来说,声纹是长期稳定的特征信号,通过声纹鉴别技术可以区分不同个体。
NLU:自然语言理解技术(Nature Langue Understand)提供自然语言处理的技术,从而以完成各类人机交互任务,具体包括但不限于智能问答、知识查询、知识图谱结构化查询、信息核对、信息抽取等等,自然语言处理技术根据输入的文本,来判断其所表达的意图,并依照预先设定的交互方式进行后续处理。
TA:文本分析技术(Text Analyze)是一套针对汉字文本数据进行分析的技术,利用自然语言处理技术,让计算机具备文字理解和分析能力,帮助客户自动化处理海量文本数据,提升文字处理效率和文本挖掘深度,实现对文本的全覆盖、高精准度的统计分析。
TTS:语音合成(test to speech,简称TTS)。将文字转化为语音的一种技术,类似于人类的嘴巴,通过不同的音色说出想表达的内容。在语音合成技术中,主要分为语言分析部分和声学系统部分,也称为前端部分和后端部分,语言分析部分主要是根据输入的文字信息进行分析,生成对应的语言学规格书,想好该怎么读;声学系统部分主要是根据语音分析部分提供的语音学规格书,生成对应的音频,实现发声的功能。
智能问答系统:智能问答系统是指以一问一答的形式,精确地定位网站用户所需要的提问知识,通过与网站用户进行交互,为网站用户提供个性化的信息服务。
根据本申请实施例,提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的数据处理方法,如图1所示,该方法包括如下步骤:
步骤S102,接收目标对象的请求信息;
步骤S104,展示与请求信息对应的反馈结果;
步骤S106,获取目标对象针对反馈结果的标注信息,并采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致;
步骤S108,在标注信息指示反馈结果错误的情况下,继续等待与请求信息对应的下一个反馈结果。
该数据处理方法中,首先,接收目标对象的请求信息,然后,展示与请求信息对应的反馈结果,其次,获取目标对象针对反馈结果的标注信息,并采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致,最后,在标注信息指示反馈结果错误的情况下,继续等待与请求信息对应的下一个反馈结果,其中,获取目标对象针对反馈结果的标注信息中,包括:接收来自目标对象的语音信息;识别语音信息,并从识别结果中提取标注信息,达到了接收用户输入的语音形式的标注信息对系统给出的反馈结果进行标注目的,从而实现了在交互过程中,接收语音形式的标注信息及时对反馈结果进行及时、同步标注的技术效果,进而解决了由于相关技术中智能问答系统采用按键输入的方式对智能系统给出的答案进行标注造成的标注方式单一、且一般都是在交互结束后进行标注,因此,标注不及时技术问题。
需要说明的是,本申请实施中的智能问答系统,包括但不限于:服务器系统、终端系统等或者安装于终端或服务器的应用软件等。
本申请一些可选的实施例中,在标注信息指示反馈结果错误的情况下,在从对目标对象的语音信息识别结果中提取标注信息时,可以从识别结果中提取反馈结果的错误原因信息;并将错误原因信息和标注信息反馈至智能问答系统中。
例如,当用户咨询“如何办理银行卡?”,而系统给出的针对这个问题,给出的反馈结果为“请携带个人身份证前往营业点进行办理”,此时用户针对上述反馈结果返回来的语音信息为“错误,我想咨询的是办理银行卡的具体流程”,即用户真实需求(反馈结果的错误原因信息)是“办理银行卡的具体流程”,此时,可以将“办理银行卡的具体流程”和用户的标注信息“错误”均反馈至智能问题系统。
在将错误原因信息和标注信息反馈至智能问答系统中之后,可以通过如下步骤重新确定一个新的反馈结果:智能问答系统根据错误原因信息进行语义分析,基于语义分析结果确定与请求信息对应的反馈结果;并将反馈结果推送至用于展示与请求信息对应的反馈结果的终端中。
本申请一些可选的实施例中,获取目标对象针对反馈结果的标注信息之后,可以采用机器学习模型确定反馈结果,具体地,可以将标注了标注信息的反馈结果存储至机器学习模型的训练集中:然后采用存储了反馈结果的训练集对机器学习模型进行训练,得到目标机器学习模型;最后,向目标对象展示提示信息,该提示信息用于指示是否采用目标机器学习模型继续确定与请求信息对应的反馈结果。
容易注意到的是,获取目标对象针对反馈结果的标注信息,可以通过以下方式确定标注信息的类型:确定在展示反馈结果之后的预设时长内是否收到针对反馈结果的反馈信息,该反馈信息用于指示反馈结果错误,具体地,在未收到反馈信息时,可以采用第一标记对反馈结果进行标注,并将第一标记作为标注信息,其中,第一标记用于指示反馈结果正确,例如,当系统针对用户提出问题给出了一个反馈结果,并在30秒之内没有收到用户针对这个反馈结果的反馈信息,则可以认为用户对该反馈结果满意或者可以认为该反馈结果正确,并用第一标记对这个反馈结果进行标注,第一标记的作用为指示反馈结果正确;在收到反馈信息且反馈信息指示反馈结果错误时,采用第二标记对反馈结果进行标注,并将第二标记作为标注信息,显而易见的,第二标记用于指示反馈结果错误;在收到反馈信息且反馈信息指示反馈结果正确时,同样采用第一标记对反馈结果进行标注,并将第一标记作为标注信息。
本申请一些实施例中,可以通过以下步骤获取目标对象针对反馈结果的标注信息,具体地:首先,系统可以在人机交互界面中展示标注选项,其中,该标注选项包括:用于指示反馈结果正确的第一标注信息和用于指示反馈结果错误的第二标注信息;然后,该系统接收目标对象的语音指令,依据语音指令从第一标注信息和第二标注信息中选择一个标注信息作为反馈结果的最终标注信息。第一标注信息和第二标注信息的表现形式包括但不限于:文字,例如,正确和错误;数字或字母标记,例如,1表示正确,2表示错误等。
在智能问答系统,以上交互过程可以通过以下方式实现,如图2所示:系统可以通过采音设备,先对用户进行音频收集,同时通过声纹识别技术VPR,识别用户个体,即判定出对话语音中属于用于本人的部分,然后在通过自动语音识别技术ASR,对采集到地音频进行处理,将语音信息转译成文本信息,然后对文本信息进行处理,例如,可以通过文本分析TA、自然语言理解引擎NLU进行文本逻辑理解,得出用户诉求,即用户反馈的系统答复是否准确,不准确的原因等,之后,系统可以自动对问答过程中涉及的问题及答案进行准确性标注,若有不准确原因,再根据不准确原因进行修正处理;另外,系统可以将标注的数据反馈引擎,进行模型训练,然后系统通过TTS语音合成技术,将模型训练结果以语音的形式反馈用户;用户语音确认是否启用新版模型,系统在接收到用户的确启用信息后,可以进行转译,诉求分析,执行用户的启用、停用等操作。
另外,系统也需要定期进行模型的优化,来给系统输入新的问答逻辑,而相关技术中采取的方式为人工按键标注,例如,最近一个月的业务有所变化,回答逻辑也随之改变,此时标注人员就要以最新的回答方式为准,标注大批量工单,告诉机器该如何面对这些新增/改变的业务,根据本申请实施例提供的方法,可以接收语音形式的标注信息完成标注。
图3是本申请实施例的另一种数据处理方法,如图3所示,该方式包括以下步骤:
S202,在智能问答系统的问答过程中,获取目标对象对目标问题的反馈结果的标注信息;
S204,采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致。
该数据处理方法中,首先,在智能问答系统的问答过程中,获取目标对象对目标问题的反馈结果的标注信息;最后,采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致,达到了接收用户输入的语音形式的标注信息对系统给出的反馈结果进行标注目的,从而实现了在交互过程中,接收语音形式的标注信息及时对反馈结果进行及时、同步标注的技术效果,进而解决了由于相关技术中智能问答系统采用按键输入的方式对智能系统给出的答案进行标注造成的标注方式单一、且一般都是在交互结束后进行标注导致的标注不及时技术问题。
上述智能问答系统的问答过程可以包括:接收目标对象的请求信息,然后展示与请求信息对应的反馈结果,进一步获取目标对象针对反馈结果的标注信息,并采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致。
本申请一些可选的实施例中,在标注信息指示反馈结果错误的情况下,在从对目标对象的语音信息识别结果中提取标注信息时,可以从识别结果中提取反馈结果的错误原因信息;并将错误原因信息和标注信息反馈至智能问答系统中。
在将错误原因信息和标注信息反馈至智能问答系统中之后,可以通过如下步骤重新确定一个新的反馈结果:智能问答系统根据错误原因信息进行语义分析,基于语义分析结果确定与请求信息对应的反馈结果;并将反馈结果推送至用于展示与请求信息对应的反馈结果的终端中。
容易注意到的是,获取目标对象针对反馈结果的标注信息,可以通过以下方式确定标注信息的类型:确定在展示反馈结果之后的预设时长内是否收到针对反馈结果的反馈信息,该反馈信息用于指示反馈结果错误,具体地,在未收到反馈信息时,可以采用第一标记对反馈结果进行标注,并将第一标记作为标注信息,其中,第一标记用于指示反馈结果正确,例如,当系统针对用户提出问题给出了一个反馈结果,并在30秒之内没有收到用户针对这个反馈结果的反馈信息,则可以认为用户对该反馈结果满意或者可以认为该反馈结果正确,并用第一标记对这个反馈结果进行标注,第一标记的作用为指示反馈结果正确;在收到反馈信息且反馈信息指示反馈结果错误时,采用第二标记对反馈结果进行标注,并将第二标记作为标注信息,显而易见的,第二标记用于指示反馈结果错误;在收到反馈信息且反馈信息指示反馈结果正确时,同样采用第一标记对反馈结果进行标注,并将第一标记作为标注信息。
图4是本申请实施例的一种数据处理装置,该装置用于实现图1所示的数据处理方法,如图4所示,该数据处理装置包括:
接收模块40,用于接收目标对象的请求信息;
展示模块42,用于展示与请求信息对应的反馈结果;
标注模块44,用于获取目标对象针对反馈结果的标注信息,并采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致;
处理模块46,用于在标注信息指示反馈结果错误的情况下,继续等待与请求信息对应的下一个反馈结果。
该装置中,接收模块40,用于接收目标对象的请求信息,展示模块42,用于展示与请求信息对应的反馈结果,标注模块44,用于获取目标对象针对反馈结果的标注信息,并采用标注信息对反馈结果进行标注,其中,该标注信息用于标记反馈结果是否与目标对象的目标需求一致,处理模块46,用于在标注信息指示反馈结果错误的情况下,继续等待与请求信息对应的下一个反馈结果,达到了接收用户输入的语音形式的标注信息对系统给出的反馈结果进行标注目的,从而实现了在交互过程中,接收语音形式的标注信息及时对反馈结果进行及时、同步标注的技术效果,进而解决了由于相关技术中智能问答系统采用按键输入的方式对智能系统给出的答案进行标注造成的标注方式单一、且一般都是在交互结束后进行标注,因此,标注不及时技术问题。
本申请实施例还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行任意一种数据标注方法。
具体地,上述存储介质用于存储执行以下功能的程序指令,实现以下功能:
接收目标对象的请求信息;展示与所述请求信息对应的反馈结果;获取所述目标对象针对所述反馈结果的标注信息,并采用所述标注信息对所述反馈结果进行标注,其中,该标注信息用于标记所述反馈结果是否与所述目标对象的目标需求一致;在所述标注信息指示所述反馈结果错误的情况下,继续等待与所述请求信息对应的下一个反馈结果。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
接收目标对象的请求信息;
展示与所述请求信息对应的反馈结果;
获取所述目标对象针对所述反馈结果的标注信息,并采用所述标注信息对所述反馈结果进行标注,其中,该标注信息用于标记所述反馈结果是否与所述目标对象的目标需求一致;
在所述标注信息指示所述反馈结果错误的情况下,继续等待与所述请求信息对应的下一个反馈结果。
2.根据权利要求1所述的方法,其特征在于,获取所述目标对象针对所述反馈结果的标注信息,包括:
接收来自所述目标对象的语音信息;
识别所述语音信息,并从识别结果中提取所述标注信息。
3.根据权利要求2所述的方法,其特征在于,在所述标注信息指示所述反馈结果错误的情况下,在从识别结果中提取所述标注信息时,所述方法还包括:
从所述识别结果中提取所述反馈结果的错误原因信息;并将所述错误原因信息和所述标注信息反馈至智能问答系统中。
4.根据权利要求3所述的方法,其特征在于,将所述错误原因信息和所述标注信息反馈至智能问答系统中之后,所述方法还包括:
所述智能问答系统根据所述错误原因信息进行语义分析,基于语义分析结果确定与所述请求信息对应的反馈结果;并将所述反馈结果推送至用于展示与所述请求信息对应的反馈结果的终端中。
5.根据权利要求1所述的方法,其特征在于,获取所述目标对象针对所述反馈结果的标注信息之后,所述方法还包括:
将标注了所述标注信息的反馈结果存储至机器学习模型的训练集中:
采用存储了所述反馈结果的训练集对所述机器学习模型进行训练,得到目标机器学习模型;
向所述目标对象展示提示信息,该提示信息用于指示是否采用所述目标机器学习模型继续确定与所述请求信息对应的反馈结果。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,获取所述目标对象针对所述反馈结果的标注信息,包括:
确定在展示所述反馈结果之后的预设时长内是否收到针对所述反馈结果的反馈信息,该反馈信息用于指示所述反馈结果错误;
在未收到所述反馈信息时,采用第一标记对所述反馈结果进行标注,并将所述第一标记作为所述标注信息,其中,所述第一标记用于指示所述反馈结果正确;
在收到所述反馈信息且所述反馈信息指示所述反馈结果错误时,采用第二标记对所述反馈结果进行标注,并将所述第二标记作为所述标注信息;
在收到所述反馈信息且所述反馈信息指示所述反馈结果正确时,采用所述第一标记对所述反馈结果进行标注,并将所述第一标记作为所述标注信息。
7.根据权利要求1至5中任意一项所述的方法,其特征在于,获取所述目标对象针对所述反馈结果的标注信息,包括:
在人机交互界面中展示标注选项,其中,该标注选项包括:用于指示所述反馈结果正确的第一标注信息和用于指示所述反馈结果错误的第二标注信息;
接收所述目标对象的语音指令;
依据所述语音指令从从所述第一标注信息和第二标注信息中选择一个标注信息作为所述反馈结果的最终标注信息。
8.一种数据处理方法,其特征在于,包括:
在智能问答系统的问答过程中,获取目标对象对目标问题的反馈结果的标注信息;
采用所述标注信息对所述反馈结果进行标注,其中,该标注信息用于标记所述反馈结果是否与所述目标对象的目标需求一致。
9.一种数据处理装置,其特征在于,包括:
接收模块,用于接收目标对象的请求信息;
展示模块,用于展示与所述请求信息对应的反馈结果;
标注模块,用于获取所述目标对象针对所述反馈结果的标注信息,并采用所述标注信息对所述反馈结果进行标注,其中,该标注信息用于标记所述反馈结果是否与所述目标对象的目标需求一致;
处理模块,用于在所述标注信息指示所述反馈结果错误的情况下,继续等待与所述请求信息对应的下一个反馈结果。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的数据标注方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010814849.8A CN111914078B (zh) | 2020-08-13 | 2020-08-13 | 数据处理方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010814849.8A CN111914078B (zh) | 2020-08-13 | 2020-08-13 | 数据处理方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111914078A true CN111914078A (zh) | 2020-11-10 |
CN111914078B CN111914078B (zh) | 2024-09-10 |
Family
ID=73284039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010814849.8A Active CN111914078B (zh) | 2020-08-13 | 2020-08-13 | 数据处理方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111914078B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095049A (zh) * | 2021-03-19 | 2021-07-09 | 广州文远知行科技有限公司 | 标注行为事件的方法、装置、计算机设备和存储介质 |
CN115497458A (zh) * | 2022-08-04 | 2022-12-20 | 北京百度网讯科技有限公司 | 智能语音助手的持续学习方法、装置、电子设备及介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104252864A (zh) * | 2013-06-28 | 2014-12-31 | 国际商业机器公司 | 实时语音分析方法和系统 |
CN108717468A (zh) * | 2018-06-11 | 2018-10-30 | 泰康保险集团股份有限公司 | 一种数据更新方法、装置、介质和电子设备 |
CN108932945A (zh) * | 2018-03-21 | 2018-12-04 | 北京猎户星空科技有限公司 | 一种语音指令的处理方法及装置 |
EP3457334A1 (en) * | 2017-09-18 | 2019-03-20 | Tata Consultancy Services Limited | Method and system for inferential data mining |
US20190197184A1 (en) * | 2017-12-26 | 2019-06-27 | Adobe Inc. | Constructing content based on multi-sentence compression of source content |
CN110019703A (zh) * | 2017-09-21 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 数据标记方法及装置、智能问答方法及系统 |
CN110472034A (zh) * | 2019-08-21 | 2019-11-19 | 北京百度网讯科技有限公司 | 问答系统的检测方法、装置、设备及计算机可读存储介质 |
JP2020035286A (ja) * | 2018-08-31 | 2020-03-05 | ファナック株式会社 | 知識提供プログラム、知識提供装置及び販売管理システム |
CN110909133A (zh) * | 2018-09-17 | 2020-03-24 | 上海智臻智能网络科技股份有限公司 | 一种智能问答的测试方法、装置、电子设备及存储介质 |
CN110929875A (zh) * | 2019-10-12 | 2020-03-27 | 平安国际智慧城市科技股份有限公司 | 基于机器学习的智能语言学习方法、系统、装置及介质 |
-
2020
- 2020-08-13 CN CN202010814849.8A patent/CN111914078B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104252864A (zh) * | 2013-06-28 | 2014-12-31 | 国际商业机器公司 | 实时语音分析方法和系统 |
EP3457334A1 (en) * | 2017-09-18 | 2019-03-20 | Tata Consultancy Services Limited | Method and system for inferential data mining |
CN110019703A (zh) * | 2017-09-21 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 数据标记方法及装置、智能问答方法及系统 |
US20190197184A1 (en) * | 2017-12-26 | 2019-06-27 | Adobe Inc. | Constructing content based on multi-sentence compression of source content |
CN108932945A (zh) * | 2018-03-21 | 2018-12-04 | 北京猎户星空科技有限公司 | 一种语音指令的处理方法及装置 |
CN108717468A (zh) * | 2018-06-11 | 2018-10-30 | 泰康保险集团股份有限公司 | 一种数据更新方法、装置、介质和电子设备 |
JP2020035286A (ja) * | 2018-08-31 | 2020-03-05 | ファナック株式会社 | 知識提供プログラム、知識提供装置及び販売管理システム |
CN110909133A (zh) * | 2018-09-17 | 2020-03-24 | 上海智臻智能网络科技股份有限公司 | 一种智能问答的测试方法、装置、电子设备及存储介质 |
CN110472034A (zh) * | 2019-08-21 | 2019-11-19 | 北京百度网讯科技有限公司 | 问答系统的检测方法、装置、设备及计算机可读存储介质 |
CN110929875A (zh) * | 2019-10-12 | 2020-03-27 | 平安国际智慧城市科技股份有限公司 | 基于机器学习的智能语言学习方法、系统、装置及介质 |
Non-Patent Citations (1)
Title |
---|
杨力平: "智能电网大数据实时流处理方法研究", 硕士学位论文, 15 March 2017 (2017-03-15), pages 2 - 47 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095049A (zh) * | 2021-03-19 | 2021-07-09 | 广州文远知行科技有限公司 | 标注行为事件的方法、装置、计算机设备和存储介质 |
CN113095049B (zh) * | 2021-03-19 | 2024-08-16 | 广州文远知行科技有限公司 | 标注行为事件的方法、装置、计算机设备和存储介质 |
CN115497458A (zh) * | 2022-08-04 | 2022-12-20 | 北京百度网讯科技有限公司 | 智能语音助手的持续学习方法、装置、电子设备及介质 |
CN115497458B (zh) * | 2022-08-04 | 2023-09-22 | 北京百度网讯科技有限公司 | 智能语音助手的持续学习方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111914078B (zh) | 2024-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020253362A1 (zh) | 基于情绪分析的业务处理方法、装置、设备及存储介质 | |
KR101689290B1 (ko) | 대화에서 정보를 추출하는 장치 | |
CN109360550B (zh) | 语音交互系统的测试方法、装置、设备和存储介质 | |
US7143033B2 (en) | Automatic multi-language phonetic transcribing system | |
US7650283B2 (en) | Dialogue supporting apparatus | |
CN110597952A (zh) | 信息处理方法、服务器及计算机存储介质 | |
US20120016671A1 (en) | Tool and method for enhanced human machine collaboration for rapid and accurate transcriptions | |
CN101158947A (zh) | 机器翻译的方法和装置 | |
CN104488027A (zh) | 声音处理系统以及终端装置 | |
CN109448460A (zh) | 一种背诵检测方法及用户设备 | |
CN112185358A (zh) | 意图识别方法、模型的训练方法及其装置、设备、介质 | |
CN111914078B (zh) | 数据处理方法、装置 | |
CN110427455A (zh) | 一种客服服务方法、装置和存储介质 | |
CN111883137A (zh) | 基于语音识别的文本处理方法及装置 | |
CN113284502A (zh) | 一种智能客服语音交互方法及系统 | |
KR20130086971A (ko) | 음성인식 질의응답 시스템 및 그것의 운용방법 | |
KR20140123369A (ko) | 음성인식 질의응답 시스템 및 그것의 운용방법 | |
CN111142834A (zh) | 一种业务处理方法及系统 | |
CN111581338B (zh) | 一种农业技术服务机器人人机融合咨询问答方法及系统 | |
CN113743102A (zh) | 识别字符的方法、装置以及电子设备 | |
CN112242132A (zh) | 语音合成中的数据标注方法、装置和系统 | |
CN115691503A (zh) | 语音识别方法、装置、电子设备和存储介质 | |
CN114547288A (zh) | 一种客服信息展示方法、装置、设备及介质 | |
CN113822029A (zh) | 客服辅助方法、装置和系统 | |
Lane et al. | Local word discovery for interactive transcription |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |