CN110689903B - 智能音箱的评测方法、装置、设备和介质 - Google Patents
智能音箱的评测方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN110689903B CN110689903B CN201910903908.6A CN201910903908A CN110689903B CN 110689903 B CN110689903 B CN 110689903B CN 201910903908 A CN201910903908 A CN 201910903908A CN 110689903 B CN110689903 B CN 110689903B
- Authority
- CN
- China
- Prior art keywords
- request
- interactive voice
- user
- evaluated
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000002452 interceptive effect Effects 0.000 claims abstract description 208
- 238000011156 evaluation Methods 0.000 claims abstract description 153
- 230000004044 response Effects 0.000 claims abstract description 16
- 230000015654 memory Effects 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 10
- 238000012854 evaluation process Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 description 23
- 230000008901 benefit Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种智能音箱的评测方法、装置、设备和介质,涉及人工智能领域。具体实现方案为:确定待评测请求交互语音,请求交互语音至少包括用户请求语音和音箱响应内容;将待评测请求交互语音向目标评测用户进行播放,并采集用户反馈评分;基于待评测请求交互语音、至少一个目标评测用户的属性以及评分,生成待评测请求交互语音交互内容的所属类别的评测结果。本申请实施例通过根据评测用户的不同属性对交互语音进行评测,得到不同属性对应的评测结果。克服了对不同属性用户群的需求难以区分的技术问题,通过自动抽取交互语音数据进行评测,进而达到自动评估获取的语音交互内容,提高评测数据采集效率的技术效果。
Description
技术领域
本申请涉及计算机技术领域,具体涉及人工智能技术,尤其涉及一种智能音箱的评测方法、装置、设备和介质。
背景技术
智能音箱集成了很多人工智能技术,逐渐实现了多种业务功能。智能音箱的一种功能之一,就是能够根据用户的语音请求为用户推送相应的数据或进行交互问答。但是,不同用户群的相同请求,会希望得到不同的响应。例如,对于“播放一首歌”的请求,不同年龄段的用户希望听到的歌曲是不同的。
如果要区分用户群,可以采用先验方案或后验方案。但先验方案存在客户配合度不高的问题,后验方案是从日志中进行方案评估,因此对于工作人员来说工作量很大,且对工作人员的经验要求很高。
发明内容
本申请实施例提供一种智能音箱的评测方法、装置、设备和介质,以高效的对智能音箱的交互功能进行评测数据采集。
第一方面,本申请实施例提供一种智能音箱的评测方法,该方法包括:
确定待评测请求交互语音,所述请求交互语音至少包括用户请求语音和音箱响应内容;
将所述待评测请求交互语音向目标评测用户进行播放,并采集用户反馈评分;
基于所述待评测请求交互语音、至少一个目标评测用户的属性以及评分,生成所述待评测请求交互语音交互内容的所属类别的评测结果。
上述申请中的一个实施例具有如下优点或有益效果:提供一种智能音箱的评测方法,通过获取待评测请求交互语音,并向目标评测用户进行播放,采集用户的反馈评分,以此生成所属类别的评测结果。克服了对不同属性用户群的内容需求难以区分的技术问题,进而达到自动评估获取的语音交互内容,提高评测数据采集效率的技术效果。
可选的,确定所述待评测请求交互语音包括:
从历史交互日志中截取完整的请求交互语音,作为候选请求交互语音;
按照设定筛选规则,从所述候选请求交互语音中确定所述待评测请求交互语音。
上述申请中的一个实施例具有如下优点或有益效果:能够根据设定的筛选规则从候选请求交互语音中识别出待评测请求交互语音。
可选的,按照设定筛选规则,从所述候选请求交互语音中确定所述待评测请求交互语音包括:
从所述候选请求交互语音中,将持续时长在设定阈值之内的候选请求交互语音,确定为所述待评测请求交互语音。
上述申请中的一个实施例具有如下优点或有益效果:通过交互语音的持续时长与设定阈值进行比较,进行待评测请求交互语音的确定,从而实现了自动筛选合适的请求交互语音。
可选的,从所述候选请求交互语音中,将持续时长在设定阈值之内的候选请求交互语音,确定为所述待评测请求交互语音之后,还包括:
根据目标评测用户的历史评测参与度确定对应持续时长的待评测请求交互语音,其中,历史评测参与度与所述持续时长呈正比。
上述申请中的一个实施例具有如下优点或有益效果:能够根据目标评测用户的历史评测参与度的高低,匹配相对应时长的待评测请求交互语音,以使评测用户达到良好体验。
可选的,将所述待评测请求交互语音向目标评测用户进行播放之前,还包括:
根据当前的待评测请求交互语音的所属类别,确定与所属类别的匹配度高于第一门限值和/或低于第二门限值的用户群,分别作为所述待评测请求的目标评测用户。
上述申请中的一个实施例具有如下优点或有益效果:能够通过待评测请求交互语音的所属类别,确定该待评测请求的目标评测用户,从而使得评测用户与待评测请求交互语音的内容是对应的,能够进行精准评测,提高效率。
可选的,所述目标评测用户的属性包括下述至少一个:年龄、性别和地域。
上述申请中的一个实施例具有如下优点或有益效果:能够根据目标评测用户的属性,快速匹配与其对应的待评测请求交互语音。
可选的,将所述待评测请求交互语音向目标评测用户进行播放之前,还包括:
接收到用户通过智能音箱输入的评测请求。
上述申请中的一个实施例具有如下优点或有益效果:通过接收到用户的评测请求,合理分配与该用户对应的待评测请求交互语音。
可选的,基于所述待评测请求交互语音、至少一个目标评测用户的属性以及评分,生成所述待评测请求交互语音交互内容的所属类别的评测结果包括:
针对所述待评测请求交互语音交互内容的所属类别,根据所述目标评测用户的至少一个属性,对不同属性值的目标评测用户的评分进行统计;
针对每个所述属性,确定评分统计结果的差异性;
如果所述差异性达到差异门限值,则确定所述交互内容的所属类别,针对所述属性的用户群具有不同的匹配度,作为所述评测结果。
上述申请中的一个实施例具有如下优点或有益效果:能够确定出不同用户群对应的不同匹配度,以此生成评测结果。
第二方面,本申请实施例提供一种智能音箱的评测装置,该装置包括:
请求交互语音确定模块,用于确定待评测请求交互语音,所述请求交互语音至少包括用户请求语音和音箱响应内容;
评分采集模块,用于将所述待评测请求交互语音向目标评测用户进行播放,并采集用户反馈评分;
评测结果生成模块,用于基于所述待评测请求交互语音、至少一个目标评测用户的属性以及评分,生成所述待评测请求交互语音交互内容的所属类别的评测结果。
第三方面,本申请实施例提供一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任意实施例所提供的智能音箱的评测方法。
第四方面,本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机本申请任意实施例所提供的智能音箱的评测方法。
上述申请中的一个实施例具有如下优点或有益效果:提供一种智能音箱的评测方法,通过获取待评测请求交互语音,并向目标评测用户进行播放,采集用户的反馈评分,以此生成所属类别的评测结果。克服了对不同属性用户群的内容需求难以区分的技术问题,进而达到自动评估获取的语音交互内容,提高评测数据采集效率的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请第一实施例提供的一种智能音箱的评测方法的流程示意图;
图2是本申请第二实施例提供的一种智能音箱的评测方法的流程示意图;
图3是本申请第三实施例提供的一种智能音箱的评测装置的结构示意图;
图4是本申请第四实施例提供的一种电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
第一实施例
图1是本申请第一实施例提供的一种智能音箱的评测方法的流程示意图,本实施例可适用于对已生成的请求交互语音通过智能音箱匹配不同用户群进行评测的情况。该方法可由一种智能音箱的评测装置来执行,该装置可采用硬件和/或软件的方式来实现,可配置于电子设备中,该电子设备典型的是智能音箱或服务器。该方法具体包括如下:
S110、确定待评测请求交互语音,请求交互语音至少包括用户请求语音和音箱响应内容。
在本申请实施例中,待评测请求交互语音是即将播放给用户进行评测的语音内容。可以由智能音箱本地化确定,例如从预设的交互语音库中随机提取,或者也可以由服务器自动获取,再提供给智能音箱。请求交互语音包括用户请求语音和音箱响应内容。用户请求语音为用户向智能音箱发送的语音数据。例如,某一用户对该智能音箱说:“我想听歌”之类表示该用户想得到智能音箱响应的话语;音箱响应内容为该智能音箱接收到请求用户发送的语音数据后,反馈给该请求用户的内容。其中,该反馈内容可以是语音回答、或音频内容,如果是带显示屏的智能音箱,则音箱响应内容可以是视频或图像。例如,智能音箱接收到某一请求用户“我要听歌”的语音数据后,则推荐一首歌曲,为用户播放,该歌曲为智能音箱的响应内容。如果用户请求语音是“天气如何”,则音箱响应内容可能是“今天天气晴”,用语音播报出来。
S120、将待评测请求交互语音向目标评测用户进行播放,并采集用户反馈评分。
在本申请实施例中,如果是服务器,可以将待评测请求交互语音推送给智能音箱向用户播放,所采集的反馈评分表达了用户对该交互语音的满意程度。可以是“好”或“不好”,也可以是分值等表达形式,一般是可量化的反馈结果。例如,打分为6-10分表示回复的比较好,打分为0-5分表示回复的不好。
待评测请求交互语音可以是一轮交互,也可以是多轮交互,可以顺序播放,也可以得到反馈评分后再播放下一条。
S130、基于待评测请求交互语音、至少一个目标评测用户的属性以及评分,生成待评测请求交互语音交互内容的所属类别的评测结果。
在本申请实施例中,服务器或智能音箱可以收集和记录多次评测的反馈评分,从而进行评测。具体可以是,从数据库中抽取出已存储的评估数据,从多个维度进行统计。具体的,对于一条请求交互语音,可以按照目标评测用户的属性进行分类,而后统计分类后的评分结果。属性可以是一项或多项,则分类可以是每个属性独立分类,或多个属性组合分类。例如,首先区分出不同年龄段的目标评测用户的评分,对于同一年龄段,需要区分目标评测者的性别,然后对于不同性别的评分,根据地域再进行划分,最终会得到类似的评分统计结果。一条请求交互语音会有几种不同的评分类型,例如,“上海老年男性用户评分”、“上海老年女性用户评分”、“上海青年男性用户评分”、“上海青年女性用户评分”、“上海儿童男性用户评分”和“上海儿童女性用户评分”。
通常,一条请求交互语音的评测结果的样本量太少,所以可以将请求交互语音按照内容进行聚类,形成所属类别。例如,歌曲推荐类别、百科问答类别。类别的划分粒度可以按照需求确定。在确定待评测请求交互语音时也可以预先确定其所属类别。对于同一类别的请求交互语音的评分结果可以一起统计。
对于用户的属性,可以在评测过程中识别,也可以基于历史数据进行确定。例如,可根据用户的语音解析出特征,如语音、语色、语调等,来判断用户的年龄、性别,并会根据用户设备的ip,判断用户所在地域信息,会把这些属性、评分和待评测请求交互语音对应一起存入数据库。
本实施例的技术方案,通过获取待评测请求交互语音,并向目标评测用户进行播放,采集用户的反馈评分,以此生成所属类别的评测结果。克服了对不同属性用户群的需求内容难以区分的技术问题,进而达到自动评估获取的语音交互内容,提高评测数据采集效率的技术效果。
第二实施例
本实施例在上述第一实施例的基础上,提供了智能音箱的评测方法的一个优选实施方式,能够快捷、自动的确定待评测请求交互语音。图2是本申请第二实施例提供的一种智能音箱的评测方法的流程示意图。该方法具体包括如下:
S210、从历史交互日志中截取完整的请求交互语音,作为候选请求交互语音。
在本申请实施例中,历史交互日志中保存的是所有使用智能音箱的用户与该智能音箱之间的交互语音,从所有的交互语音中截取完整的请求交互语音,即请求用户的请求内容与智能音箱反馈给该请求用户的内容能够得到相互匹配。
示例性的,请求用户对智能音箱的第一个请求内容为“播放一首歌”,智能音箱接收到该请求数据后,开始播放歌曲;随后,请求用户的第二个请求内容为“播放一首慢节奏的歌曲”,智能音箱对该请求未作出任何反应。在上述这段交互语音中,由于第二个请求内容的交互语音不完整,此时,就需要截取部分交互语音,作为候选请求交互语音。
在本申请实施例中,通过抽取线上的日志,并对该日志进行切分,尽量切分为多段的交互,具体的,可以按照时间来对交互进行切分,例如,如果相邻的两次请求相距时间超过20分钟,认为是两段交互。进而,在每段交互中,按照内容切分出一次完整的请求交互语音,作为候选请求交互语音。
进行请求交互语音提取的操作可以设定每周更新一次,或者根据系统的迭代频率同步来更新,以保证用户评测的数据是最新的线上数据。
S220、按照设定筛选规则,从所述候选请求交互语音中确定所述待评测请求交互语音;
候选请求交互语音虽然是一次完整的用户与智能音箱的交互,但是交互内容不一定适合进行评测,所以进一步基于设定筛选规则进行筛选,以精准确定适宜的请求交互语音。
设定筛选规则可以从多个角度进行筛选,例如:
按照设定筛选规则,从所述候选请求交互语音中确定所述待评测请求交互语音可具体包括:
从候选请求交互语音中,将持续时长在设定阈值之内的候选请求交互语音,确定为待评测请求交互语音。
具体的,候选请求交互语音的时间长短不一,可以根据每段候选请求交互语音的时长来进行筛选。例如,如果该段候选请求交互语音的持续时长小于30秒,则认定该段交互语音为短款交互,相反的,如果该段候选请求交互语音时长大于30秒,则可以认定该段交互语音为长款交互。从评测用户的接受度来看,一般倾向于不要占据用户过多时间,所以会选择短小的候选请求交互语音作为待评测请求交互语音。
可选的,此后还可以进一步包括:根据目标评测用户的历史评测参与度确定对应持续时长的待评测请求交互语音,其中,历史评测参与度与所述持续时长呈正比。
即,对于积极参与评测的用户,表明其对评测的接受度、参与度较高,则可以提供持续时长更长的请求交互语音。
S230、根据当前的待评测请求交互语音的所属类别,确定与所属类别的匹配度高于第一门限值和/或低于第二门限值的用户群,分别作为待评测请求的目标评测用户。
在确定待评测请求交互语音之后,可以任意确定目标评测用户,推送待评测请求交互语音进行播放。但是优选是基于待评测请求交互语音的所属类别精准确定目标评测用户。
在本实施例中,待评测请求交互语音的所属类别可以是音乐、美食和教育等,根据用户和所属类别的匹配度与设定门限阈值进行比较,从而确定待评测请求的目标评测用户。例如,本实施例中的第一门限值设定为80%,第二门限值为20%。用户和所属类别的匹配度反映了该用户对该类别的感兴趣程度,可量化表达。感兴趣程度可以根据用户的历史评测结果或对智能音箱的历史使用结果来确定。也可以基于用户协同关系确定,例如,大量18岁-20岁的用户对歌曲推荐交互感兴趣,则基于用户协同关系可确定在18-20岁范围内的用户与歌曲推荐交互的匹配度高,是目标评测用户;反之,40-50岁范围内的用户与歌曲推荐交互的匹配度低,也是目标评测用户。
以所属类别为教育进行举例,在100名用户中,45名用户与教育的匹配度大于等于80%,15名用户与教育的匹配度小于等于20%,40名用户与教育的匹配度为20%-80%之间,那么,45名用户组成的用户群和15名用户组成的用户群将分别作为待评测请求的目标评测用户。上述思路是将请求交互语音,分别向明显感兴趣的用户和明显不感兴趣的用户进行推送,以测试他们的反映。有可能评分结果与匹配度一致,则表明历史的用户群与请求交互语音的匹配策略是正确的,反之,历史匹配策略是不正确的,需要纠正。
目标评测用户可以是由服务器主动确定,也可以是接收到用户通过智能音箱输入的评测请求时再确定。用户输入评测请求,表明用户希望主动参与进行评测,例如可以是用户希望智能音箱的匹配策略与自身需求一致,则可以主动参与评测。
S240、将待评测请求交互语音向目标评测用户进行播放,并采集用户反馈评分。
S250、针对待评测请求交互语音交互内容的所属类别,根据目标评测用户的至少一个属性,对不同属性值的目标评测用户的评分进行统计。
在本申请实施例中,目标评测用户的属性包括下述至少一个:年龄、性别和地域。例如,根据待评测请求交互语音交互内容的所属类别为音乐,目标评测用户的属性为年龄进行统计,即统计不同年龄段的用户所反馈的评分。
S260、针对每个属性,确定评分统计结果的差异性。
具体的,对于每个属性,可得到多个评分值,则可以分析评分值的分布,可能会均匀分布、集中分布、或两级分化分布。两级分化分布则表明差异性较大,例如,少年年龄段的评分值集中的较高,老年年龄段的评分值集中的较低,则说明差异性较大。
S270、如果差异性达到差异门限值,则确定交互内容的所属类别,针对属性的用户群具有不同的匹配度,作为评测结果。
在本实施例中,示例性的,如果老年用户对音乐交互语音的评分为8分,中年用户对音乐交互语音的评分为2分,儿童用户对音乐交互语音的评分为1分,则表明差异较大,则可确定音乐交互内容对不同年龄的用户有不同的匹配度。可能推荐经典老歌,是老年人喜欢的,而不是年轻人喜欢的。
本实施例的技术方案,通过从完整的候选交互语音中,根据持续时长与设定阈值的关系,确定待评测请求交互语音,并根据当前的待评测请求交互语音的所属类别,确定待评测请求的目标评测用户,对智能音箱中的交互语音进行评测,得到不同属性交互语音的评测结果。本申请实施例通过用户的历史评测参与度确定对应时长的待评测请求交互语音,根据目标评测用户的属性不同,对交互语音进行评测,克服了对不同属性用户群的内容需求难以区分的技术问题,进而达到自动评估获取的语音交互内容,提高评测数据采集效率的技术效果。
第三实施例
图3是本申请第三实施例提供的一种智能音箱的评测装置的结构示意图,本实施例可适用于对已生成的请求交互语音通过智能音箱匹配不同用户群进行评测的情况,该装置配置于电子设备,可实现本申请任意实施例所述的智能音箱的评测方法。该装置具体包括如下:
请求交互语音确定模块310,用于确定待评测请求交互语音,所述请求交互语音至少包括用户请求语音和音箱响应内容;
评分采集模块320,用于将所述待评测请求交互语音向目标评测用户进行播放,并采集用户反馈评分;
评测结果生成模块330,用于基于所述待评测请求交互语音、至少一个目标评测用户的属性以及评分,生成所述待评测请求交互语音交互内容的所属类别的评测结果。
可选的,所述请求交互语音确定模块310包括:
候选请求交互语音确定模块3101,用于从历史交互日志中截取完整的请求交互语音,作为候选请求交互语音;
请求交互语音确定子模块3102,用于按照设定筛选规则,从所述候选请求交互语音中确定所述待评测请求交互语音。
可选的,所述请求交互语音确定子模块3102,具体用于:
从所述候选请求交互语音中,将持续时长在设定阈值之内的候选请求交互语音,确定为所述待评测请求交互语音。
可选的,所述请求交互语音确定子模块3102,还具体用于:
根据目标评测用户的历史评测参与度确定对应持续时长的待评测请求交互语音,其中,历史评测参与度与所述持续时长呈正比。
可选的,所述装置还包括:
目标评测用户确定模块340,用于根据当前的待评测请求交互语音的所属类别,确定与所属类别的匹配度高于第一门限值和/或低于第二门限值的用户群,分别作为所述待评测请求的目标评测用户;
评测请求接收模块350,用于接收到用户通过智能音箱输入的评测请求。
可选的,所述目标评测用户的属性包括下述至少一个:年龄、性别和地域。
可选的,所述评测结果生成模块330,具体用于:
针对所述待评测请求交互语音交互内容的所属类别,根据所述目标评测用户的至少一个属性,对不同属性值的目标评测用户的评分进行统计;
针对每个所述属性,确定评分统计结果的差异性;
如果所述差异性达到差异门限值,则确定所述交互内容的所属类别,针对所述属性的用户群具有不同的匹配度,作为所述评测结果。
本实施例的技术方案,通过各个功能模块之间的相互配合,实现了请求交互语音的确定、评分的采集以及评测结果的生成。本申请实施例通过获取待评测请求交互语音,并向目标评测用户进行播放,采集用户的反馈评分,以此生成所属类别的评测结果。克服了对不同属性用户群的内容需求难以区分的技术问题,进而达到自动评估获取的语音交互内容,提高评测数据采集效率的技术效果。
第四实施例
根据本申请的实施例,本申请还提供了一种电子设备和一种存储有计算机指令的非瞬时计算机可读存储介质。
如图4所示,该电子设备包括:一个或多个处理器401、存储器402,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的智能音箱的评测方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的智能音箱的评测方法。
存储器402作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的智能音箱的评测方法对应的程序指令/模块。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的智能音箱的评测方法。
存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据智能音箱的评测方法的电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至智能音箱的评测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
智能音箱的评测方法的电子设备还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图4中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息,以及产生与智能音箱的评测方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过获取待评测请求交互语音,并向目标评测用户进行播放,采集用户的反馈评分,以此生成所属类别的评测结果。克服了对不同年龄段感兴趣的内容难以区分的技术问题,进而达到自动评估获取的语音交互内容,提高评测数据采集效率的技术效果。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (11)
1.一种智能音箱的评测方法,其特征在于,包括:
确定待评测请求交互语音,所述请求交互语音至少包括用户请求语音和音箱响应内容;
将所述待评测请求交互语音向目标评测用户进行播放,并采集用户反馈评分;
基于所述待评测请求交互语音、获取到的至少一个目标评测用户的属性以及用户反馈评分,生成所述待评测请求交互语音交互内容的所属类别的评测结果;
其中,所述目标评测用户的属性在评测过程中识别确定,和/或基于历史数据确定。
2.根据权利要求1所述的方法,其特征在于,确定所述待评测请求交互语音包括:
从历史交互日志中截取完整的请求交互语音,作为候选请求交互语音;
按照设定筛选规则,从所述候选请求交互语音中确定所述待评测请求交互语音。
3.根据权利要求2所述的方法,其特征在于,按照设定筛选规则,从所述候选请求交互语音中确定所述待评测请求交互语音包括:
从所述候选请求交互语音中,将持续时长在设定阈值之内的候选请求交互语音,确定为所述待评测请求交互语音。
4.根据权利要求3所述的方法,其特征在于,从所述候选请求交互语音中,将持续时长在设定阈值之内的候选请求交互语音,确定为所述待评测请求交互语音之后,还包括:
根据目标评测用户的历史评测参与度确定对应持续时长的待评测请求交互语音,其中,历史评测参与度与所述持续时长呈正比。
5.根据权利要求1所述的方法,其特征在于,将所述待评测请求交互语音向目标评测用户进行播放之前,还包括:
根据当前的待评测请求交互语音的所属类别,确定与所属类别的匹配度高于第一门限值和/或低于第二门限值的用户群,分别作为所述待评测请求的目标评测用户。
6.根据权利要求1所述的方法,其特征在于,所述目标评测用户的属性包括下述至少一个:年龄、性别和地域。
7.根据权利要求1所述的方法,其特征在于,将所述待评测请求交互语音向目标评测用户进行播放之前,还包括:
接收到用户通过智能音箱输入的评测请求。
8.根据权利要求1所述的方法,其特征在于,基于所述待评测请求交互语音、至少一个目标评测用户的属性以及评分,生成所述待评测请求交互语音交互内容的所属类别的评测结果包括:
针对所述待评测请求交互语音交互内容的所属类别,根据所述目标评测用户的至少一个属性,对不同属性值的目标评测用户的评分进行统计;
针对每个所述属性,确定评分统计结果的差异性;
如果所述差异性达到差异门限值,则确定所述交互内容的所属类别,针对所述属性的用户群具有不同的匹配度,作为所述评测结果。
9.一种智能音箱的评测装置,其特征在于,所述装置包括:
请求交互语音确定模块,用于确定待评测请求交互语音,所述请求交互语音至少包括用户请求语音和音箱响应内容;
评分采集装置,用于将所述待评测请求交互语音向目标评测用户进行播放,并采集用户反馈评分;
评测结果生成装置,用于基于所述待评测请求交互语音、获取到的至少一个目标评测用户的属性以及用户反馈评分,生成所述待评测请求交互语音交互内容的所属类别的评测结果;
其中,所述目标评测用户的属性在评测过程中识别确定,和/或基于历史数据确定。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的智能音箱的评测方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的智能音箱的评测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910903908.6A CN110689903B (zh) | 2019-09-24 | 2019-09-24 | 智能音箱的评测方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910903908.6A CN110689903B (zh) | 2019-09-24 | 2019-09-24 | 智能音箱的评测方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110689903A CN110689903A (zh) | 2020-01-14 |
CN110689903B true CN110689903B (zh) | 2022-05-13 |
Family
ID=69110047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910903908.6A Active CN110689903B (zh) | 2019-09-24 | 2019-09-24 | 智能音箱的评测方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110689903B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362806A (zh) * | 2020-03-02 | 2021-09-07 | 北京奇虎科技有限公司 | 智能音响的评测方法、系统、存储介质及其计算机设备 |
CN117476038A (zh) * | 2020-05-21 | 2024-01-30 | 北京百度网讯科技有限公司 | 模型评测方法、装置及电子设备 |
CN113096690A (zh) * | 2021-03-25 | 2021-07-09 | 北京儒博科技有限公司 | 一种发音评测方法、装置、设备及存储介质 |
CN113220590A (zh) * | 2021-06-04 | 2021-08-06 | 北京声智科技有限公司 | 语音交互应用的自动化测试方法、装置、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8229129B2 (en) * | 2007-10-12 | 2012-07-24 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus for extracting target sound from mixed sound |
CN106462253A (zh) * | 2016-07-07 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 基于交互信息的评分方法及系统 |
CN106998567A (zh) * | 2016-01-26 | 2017-08-01 | 上海大唐移动通信设备有限公司 | 一种语音质量测试方法、测试装置及用户设备 |
CN108388926A (zh) * | 2018-03-15 | 2018-08-10 | 百度在线网络技术(北京)有限公司 | 语音交互满意度的确定方法及设备 |
CN108763329A (zh) * | 2018-05-08 | 2018-11-06 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互系统智商水平的评测方法、装置以及计算机设备 |
CN108899012A (zh) * | 2018-07-27 | 2018-11-27 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评测方法、系统、计算机设备和存储介质 |
CN108986786A (zh) * | 2018-07-27 | 2018-12-11 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评级方法、系统、计算机设备和存储介质 |
CN208400483U (zh) * | 2018-10-31 | 2019-01-18 | 中国铁道科学研究院集团有限公司 | 视音频质量主观评价试验室 |
-
2019
- 2019-09-24 CN CN201910903908.6A patent/CN110689903B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8229129B2 (en) * | 2007-10-12 | 2012-07-24 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus for extracting target sound from mixed sound |
CN106998567A (zh) * | 2016-01-26 | 2017-08-01 | 上海大唐移动通信设备有限公司 | 一种语音质量测试方法、测试装置及用户设备 |
CN106462253A (zh) * | 2016-07-07 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 基于交互信息的评分方法及系统 |
CN108388926A (zh) * | 2018-03-15 | 2018-08-10 | 百度在线网络技术(北京)有限公司 | 语音交互满意度的确定方法及设备 |
CN108763329A (zh) * | 2018-05-08 | 2018-11-06 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互系统智商水平的评测方法、装置以及计算机设备 |
CN108899012A (zh) * | 2018-07-27 | 2018-11-27 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评测方法、系统、计算机设备和存储介质 |
CN108986786A (zh) * | 2018-07-27 | 2018-12-11 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 语音交互设备评级方法、系统、计算机设备和存储介质 |
CN208400483U (zh) * | 2018-10-31 | 2019-01-18 | 中国铁道科学研究院集团有限公司 | 视音频质量主观评价试验室 |
Non-Patent Citations (1)
Title |
---|
"藏语统计参数语音合成的合成语音的音质评测 ";徐世鹏;《中国优秀硕士学位论文全文数据库信息科技辑》;20170115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110689903A (zh) | 2020-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689903B (zh) | 智能音箱的评测方法、装置、设备和介质 | |
US11061966B2 (en) | Method for processing fusion data and information recommendation system | |
EP3819791A2 (en) | Information search method and apparatus, device and storage medium | |
CN112328816B (zh) | 媒体信息展示方法、装置、电子设备及存储介质 | |
CN103718166A (zh) | 信息处理设备、信息处理方法和计算机程序产品 | |
CN110460881A (zh) | 属性标签的管理方法、装置、计算机设备及存储介质 | |
CN109545185B (zh) | 交互系统评价方法、评价系统、服务器及计算机可读介质 | |
CN114095749B (zh) | 推荐及直播界面展示方法、计算机存储介质、程序产品 | |
CN111246257B (zh) | 视频推荐方法、装置、设备及存储介质 | |
CN104317804A (zh) | 发布投票信息的方法和装置 | |
CN106231362A (zh) | 一种基于主播节目的信息推荐方法、电子设备及服务器 | |
US20170169062A1 (en) | Method and electronic device for recommending video | |
CN113315989B (zh) | 直播处理方法、直播平台、装置、系统、介质及设备 | |
CN111104583A (zh) | 一种直播间推荐方法、存储介质、电子设备及系统 | |
CN112380131A (zh) | 模块测试方法、装置及电子设备 | |
CN111460292A (zh) | 模型评估方法、装置、设备和介质 | |
CN109558384A (zh) | 日志分类方法、装置、电子设备和存储介质 | |
CN114391144A (zh) | 信息推送方法、装置、电子设备及计算机可读介质 | |
CN113741930A (zh) | 应用升级方法、装置、电子设备及计算机可读存储介质 | |
CN111918073B (zh) | 直播间的管理方法和装置 | |
CN111490929B (zh) | 视频片段推送方法、装置、电子设备、存储介质 | |
CN107483391A (zh) | 多媒体文件的推送方法和装置 | |
CN110674632A (zh) | 一种确定安全级别的方法及装置、存储介质和设备 | |
CN111681052B (zh) | 一种语音交互方法、服务器和电子设备 | |
CN114449301B (zh) | 物品发送方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |