CN112383451B - 一种基于语音交互的智能家电智能化水平测试系统及方法 - Google Patents

Abstract

本发明公开了一种基于语音交互的智能家电智能化水平测试系统，包括硬件系统、算法系统和软件系统三大模块；所述硬件系统用于自主导航，依据软件系统提供的测试方案进行指令集播放、录取智能家电状态视频传回软件系统，所述算法系统用于提供语音合成算法、冰箱响应视频音频自动提取算法、冰箱动作识别算法、视频识别算法、语音识别算法，所述软件系统用于用户管理、设置语音指令集管理、测试方案设置及调用相关算法对智能家电的响应视频音频进行自动分析并生成测试报告。测试场景覆盖全面，采用自动化方式进行测试，测试过程可复现，可对不同类型或相同类型的多个产品进行测试结果对比，进而给出不同家电的智能化水平。

Description

一种基于语音交互的智能家电智能化水平测试系统及方法

技术领域

本发明涉及智能家电领域，具体涉及一种基于语音交互的智能家电智能化水平测试系统及方法。

背景技术

随着人工智能技术的发展，语音交互技术的应用已从智能电视、空调、冰箱扩展到了热水器、扫地机器人、净化器、浴霸等各种家电和家居的品类上，已成为家电智能化发展的必然趋势。但在语音交互功能快速发展的同时，却鲜有人考虑其最终的实现效果，适用于智能家电语音交互效果评价的自动化测试系统少之又少，与当前语音交互技术的发展严重不配，用户普遍反映智能家电的语音交互体验感差。

目前中国家电研究院及各大厂商仍然采用人工的方法对智能家电的语音交互功能进行测试，然而人工方式存在以下缺陷：第一，由于人为主观性，将会带来例如语音播报内容不一致、语音响度(分贝量)不一致等问题，即缺乏标准性；第二，人工测试无法定量地记录测试过程中的完整信息，且后续不好进行测试效果的复检；第三，面对众多的家电种类和各式各样的家电型号，完成所有的测试工作将要投入大量的人力成本、时间成本，同时还存在着劳动强度大和工作效率低的问题。因此，本发明提出了一种对基于语音交互的智能家电进行智能化水平判定的自动化测试系统及方法。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于语音交互的智能家电智能化水平测试系统及方法。

根据本申请实施例提供的技术方案，一种基于语音交互的智能家电智能化水平测试系统，其特征是：包括硬件系统、算法系统和软件系统三大模块；

所述硬件系统用于自主导航，依据软件系统提供的测试方案进行指令集播放、录取智能家电状态视频传回软件系统，包括语音机器人、摄像机、计算机和噪声源；所述语音机器人用来替代人实现对待测家电智能水平的自动化测试工作；所述摄像机设有两个，一个安装在冰箱门上，录制智能冰箱的视频响应情况，另一个固定在地面上录制冰箱的动作响应及冰箱的响应音频，并将录制的视频传回软件系统；所述计算机用作软件系统、算法系统的实现载体和冰箱响应视频、音频及测试结果的存储器，计算机借助无线局域网，通过TCPIP协议与语音机器人进行通讯，向语音机器人工控机发送测试信息并接收语音机器人的测试状态反馈，计算机和所述摄像机通过USB接口有线连接，语音机器人根据工作状态向计算机发送摄像机启停信号，计算机接收信号并完成相应动作；

所述算法系统用于提供语音合成算法、冰箱响应视频音频自动提取算法、冰箱动作识别算法、视频识别算法、语音识别算法；所述语音合成算法可根据文本指令自动生成不同性别、不同年龄段、不同地域口音类型的音频文件，调用语音合成算法代替人工录制；所述冰箱响应视频音频自动提取算法对录制的语音机器人播放的音频与冰箱的响应音频视频进行自动切分，首先，对语音指令集进行右对齐操作，每条语音指令均处理成统一时长，对于时长不够的语音指令，左补静音帧；然后，通过实验测得每条语音指令对应的标答时长，对于某一固定点位，音频/视频的组成为：音频/视频总时长＝语音指令1播放时长+语音指令1响应时长+语音指令2播放时长+语音指令2响应时长+……；测试过程中记录每个点位语音指令集播放的开始时刻，并根据语音机器人发送的指令集编号分别读取每条指令对应的播放时长及该指令的响应时间,根据语音指令播放开始时刻、语音指令播放时长、冰箱响应时长自动提取冰箱的响应视频音频；所述冰箱语音识别算法、视频识别算法和动作识别算法分别以冰箱的响应音频、响应视频为输入对智能家电的响应进行自动分析，输出冰箱对语音指令的响应，并生成每个测试点位的测试报告及整体测试的测试报告，语音识别算法将提取的冰箱的响应音频作为输入，将音频转换成文本，冰箱对语音指令进行响应时会同步将响应内容显示在冰箱自带的显示屏上，视频识别算法主要对显示屏文字进行检测,先采用基于颜色及像素聚类的方法检测文本区域，再用tesseract算法对文本区域中的文字进行识别，最后输出检测结果；动作识别算法旨在判断冰箱能否按照指令内容打开对应冰箱门，按照一定的步长K从冰箱的响应视频中抽取图像，得到图像集I，利用Logisticsregression对图像集进行分类，输出冰箱门开关状态；最后，将各个算法的输出分别与冰箱标答进行比对，若单个场景下冰箱对语音指令响应的成功次数≥系统设定的单个场景成功阈值，则判定冰箱对并对该指令的响应为“成功”，否则为“失败”；若成功场景次数/总场景次数≥总体测试成功阈值，则判定冰箱对该指令的总体测试为“成功”，否则为“失败”；

所述软件系统用于用户管理、设置语音指令集管理、测试方案设置及调用相关算法对智能家电的响应视频音频进行自动分析并生成测试报告，包括用户管理模块、家电模块、语音指令集模块及测试模块，并将各功能点在用户界面显示；用户管理模块通过个人基本信息添加管理员及子管理员，管理员具有所有权限，子管理员具有除家电类型管理及删除权限外的所有权限，家电模块展示当前系统可以直接进行测试的家电类型，查看对应家电的语音指令集，可新增家电类型及删除已有家电类型；语音指令集模块可直接上传集内集外语音指令或通过调用语音合成算法将指令文本作为输入生成语音指令；测试模块主要包括测试方案设置、测试结果数据自动处理、测试报告生成，选择家电品类新建测试，在用户界面选择测试点位、手动输入电动无极升降器高度、选择需要测试的语音指令及语音指令声压级、信噪比、口音、性别、语速、噪声种类，并将上述变量传递给语音机器人，在本测试方案中，单个测试点位为一个测试场景，测试人员可在用户界面上人工输入每个场景播放测试集的次数、每个场景成功阈值,即每个场景下成功多少次记为本场景识别成功、每次测试总体成功阈值,即成功场景次数/总场景次数≥N时记为总体“成功”，设置完毕后软件系统向语音机器人发送开始测试指令,测试模块还包括测试数据的自动处理及测试报告的生成，摄像机分别录制每个测试点位的冰箱响应视频及音频，调用算法对冰箱响应视频及音频进行自动切分，将切分后的视频作为冰箱视频识别算法及动作识别算法的输入、切分后的音频作为语音识别的输入分别对冰箱的响应进行智能化水平判断，并根据测试方案中设置的播放次数及成功阈值生成单个场景的测试报告及总体测试报告；

本发明中，所述语音机器人包括磁导航移动平台、电动无极升降器、舵机转向器和语音播放器，所述磁导航移动平台可移动到指定点位进行指令集播放，模拟人在房间中的不同发声位置，所述磁导航移动平台安装在所述电动无极升降器的底部，所述电动无极升降器可无级调节高度，模拟人的不同身高；所述电动无极升降器的顶端固定有用于支撑语音播放器的舵机转向器，用来模拟人的不同发声朝向。

一种如权利要求1所述的一种基于语音交互的智能家电智能化水平测试系统的测试方法，其特征是：包括以下步骤：

A.用户管理

(1)管理员子管理员通过用户名及密码登陆系统；

(2)管理员子管理员可编辑个人信息，管理员可添加子管理员；

B.家电管理

(1)管理员子管理员通过“家电类型”“品牌-型号”信息添加新的测试家电，若该家电类型已经存在，则可直接在该“家电类型”分类下添加“品牌-型号”信息，后续测试需要的指令集以及生成的测试结果均显示在对应的测试家电分类下；

(2)管理员可点击对应家电“品牌-型号”下的删除按钮，删除该家电的家电信息、测试指令文本、指令集及测试结果；

C.语音指令集管理

(1)若已有测试家电的指令集音频，则可通过“上传语音指令集”将音频文件上传到对应的“家电类型”-“品牌型号”下；

(2)普通话指令集音频可通过语音合成的方式生成，点击“上传指令集文本”，将测试指令集上传到对应的“家电类型”-“品牌型号”下；另外，一个家电可以对应不同的指令集文本；选择需要进行测试的指令集文本作为输入调用语音合成算法将语音指令集生成到对应家电的“品牌型号”下；

(3)管理员子管理员可批量选择语音进行播放试听，管理员可将不需要的指令集删除；

D.测试方案设置

(1)语音指令集选取：勾选需要进行测试的语音指令，同一条语音指令可被重复选择，根据家电的应答规则可调整指令集播放顺序；

(2)勾选测试点位，设置电动无极升降器高度，设置单个场景指令集播放次数，选择噪声种类、声压级、信噪比、语速、性别；

(3)新建测试后，点击测试开始，后台向硬件系统传递测试开始信号，并传递软件系统所设定测试指令，硬件系统依据设定点位自动规划路径，开始测试；到达一个点位后，硬件系统按照软件系统提供的指令序列进行测试，包括改变高度，改变分贝，增加噪音，语音播放的同时摄像头录制冰箱的响应视频；

新建测试的流程如下：

a.可选择家电品类新建测试；

b.选择语音测试指令集，测试方案；

c.通过计算移动次数，及语音播放时长，提供一个整个测试过程的大概估时，并显示；

d.若已有语音指令集，则直接选择待测指令集；

e.若无语音指令集，则上传文本格式的语音指令，调用语音合成功能，生成语音指令集；

(4)选择测试变量，新建测试整体可选择变量如下:

a.选择测试点位；

b.高度可人工输入，所述高度范围为1.0m-1.8m；

c.指令声压级、信噪比、口音、性别、语速、噪声种类；

d.可人工输入每个场景播放测试集的次数；

e.可人工输入每个场景成功阈值；

f.可人工输入每次测试总体成功阈值；

g.指令集内容导入后可生成两列测试集，所述两列测试集为集内指令集和集外指令集；

E、测试结果识别功能

测试过程中，每测试一种情况，便将测试结果数据以及当前测试的参数传回软件系统保存；软件系统通过接口将数据输入识别算法中，算法结束后生成测试报告，并保存至数据库；

F、测试结果管理

通过软件系统可查看之前测试结果，测试结果按整体和单个测试进行显示；测试报告的显示界面中不仅能显示测试成功不成功未知次数统计，同时也可以显示测试进行时的时间、本次测试场景数量、唤醒率、平均唤醒时间、识别率、平均识别响应时间、误唤醒频度，以及单个测试显示测试点位、高度、分贝、对应测试语音以及测试结果视频。

综上所述，本申请的有益效果：测试场景覆盖全面，指定全面的集内指令集及集外指令集，测试过程中考虑有效声源的性别、年龄段、语言类型以及指令集播放的语速、响度等因素，制定了明确的测试步骤及评价标准，采用自动化方式进行测试，测试过程可复现，可对不同类型或相同类型的多个产品进行测试结果对比，进而给出不同家电的智能化水平。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明的测试系统流程图；

图2为本发明中硬件系统的原理图；

图3为本发明中语音机器人的控制系统框架图；

图4为本发明中语音机器人的结构示意图；

图5为本发明中语音机器人的测试点位图。

图中标号：磁导航移动平台-1；电动无极升降器-2；舵机转向器-3；语音播放器-4。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

一种基于语音交互的智能家电智能化水平测试系统，包括硬件系统、算法系统和软件系统三大模块；

如图2、图3和图5所示，所述硬件系统用于自主导航，依据软件系统提供的测试方案进行指令集播放、录取智能家电状态视频传回软件系统，包括语音机器人、摄像机、计算机和噪声源；所述语音机器人用来替代人实现对待测家电智能水平的自动化测试工作；所述摄像机设有两个，一个安装在冰箱门上，录制智能冰箱的视频响应情况，另一个固定在地面上录制冰箱的动作响应及冰箱的响应音频，并将录制的视频传回软件系统；所述计算机用作软件系统、算法系统的实现载体和冰箱响应视频、音频及测试结果的存储器，计算机借助无线局域网，通过TCPIP协议与语音机器人进行通讯，向语音机器人工控机发送测试信息并接收语音机器人的测试状态反馈，计算机和所述摄像机通过USB接口有线连接，语音机器人根据工作状态向计算机发送摄像机启停信号，计算机接收信号并完成相应动作；

所述算法系统用于提供语音合成算法、冰箱响应视频音频自动提取算法、冰箱动作识别算法、视频识别算法、语音识别算法；所述语音合成算法可根据文本指令自动生成不同性别、不同年龄段、不同地域口音类型的音频文件，调用语音合成算法代替人工录制；所述冰箱响应视频音频自动提取算法对录制的语音机器人播放的音频与冰箱的响应音频视频进行自动切分，首先，对语音指令集进行右对齐操作，每条语音指令均处理成统一时长，对于时长不够的语音指令，左补静音帧；然后，通过实验测得每条语音指令对应的标答时长，对于某一固定点位，音频/视频的组成为：音频/视频总时长＝语音指令1播放时长+语音指令1响应时长+语音指令2播放时长+语音指令2响应时长+……；测试过程中记录每个点位语音指令集播放的开始时刻，并根据语音机器人发送的指令集编号分别读取每条指令对应的播放时长及该指令的响应时间,根据语音指令播放开始时刻、语音指令播放时长、冰箱响应时长自动提取冰箱的响应视频音频；所述冰箱语音识别算法、视频识别算法和动作识别算法分别以冰箱的响应音频、响应视频为输入对智能家电的响应进行自动分析，输出冰箱对语音指令的响应，并生成每个测试点位的测试报告及整体测试的测试报告，语音识别算法将提取的冰箱的响应音频作为输入，将音频转换成文本，冰箱对语音指令进行响应时会同步将响应内容显示在冰箱自带的显示屏上，视频识别算法主要对显示屏文字进行检测,先采用基于颜色及像素聚类的方法检测文本区域，再用tesseract算法对文本区域中的文字进行识别，最后输出检测结果；动作识别算法旨在判断冰箱能否按照指令内容打开对应冰箱门，按照一定的步长K从冰箱的响应视频中抽取图像，得到图像集I，利用Logisticsregression对图像集进行分类，输出冰箱门开关状态。最后，将各个算法的输出分别与冰箱标答进行比对，若单个场景下冰箱对语音指令响应的成功次数≥系统设定的单个场景成功阈值，则判定冰箱对并对该指令的响应为“成功”，否则为“失败”；若成功场景次数/总场景次数≥总体测试成功阈值，则判定冰箱对该指令的总体测试为“成功”，否则为“失败”；所述软件系统用于用户管理、设置语音指令集管理、测试方案设置及调用相关算法对智能家电的响应视频音频进行自动分析并生成测试报告，包括用户管理模块、家电模块、语音指令集模块及测试模块，并将各功能点在用户界面显示；用户管理模块通过个人基本信息添加管理员及子管理员，管理员具有所有权限，子管理员具有除家电类型管理及删除权限外的所有权限，家电模块展示当前系统可以直接进行测试的家电类型，查看对应家电的语音指令集，可新增家电类型及删除已有家电类型；语音指令集模块可直接上传集内集外语音指令或通过调用语音合成算法将指令文本作为输入生成语音指令；测试模块主要包括测试方案设置、测试结果数据自动处理、测试报告生成，选择家电品类新建测试，在用户界面选择测试点位、手动输入电动无极升降器高度、选择需要测试的语音指令及语音指令声压级、信噪比、口音、性别、语速、噪声种类，并将上述变量传递给语音机器人，在本测试方案中，单个测试点位为一个测试场景，测试人员可在用户界面上人工输入每个场景播放测试集的次数、每个场景成功阈值,即每个场景下成功多少次记为本场景识别成功、每次测试总体成功阈值,即成功场景次数/总场景次数≥N时记为总体“成功”，设置完毕后软件系统向语音机器人发送开始测试指令,测试模块还包括测试数据的自动处理及测试报告的生成，摄像机分别录制每个测试点位的冰箱响应视频及音频，调用算法对冰箱响应视频及音频进行自动切分，将切分后的视频作为冰箱视频识别算法及动作识别算法的输入、切分后的音频作为语音识别的输入分别对冰箱的响应进行智能化水平判断，并根据测试方案中设置的播放次数及成功阈值生成单个场景的测试报告及总体测试报告。

如图4所示，所述语音机器人包括磁导航移动平台1、电动无极升降器2、舵机转向器3和语音播放器4，所述磁导航移动平台1可移动到指定点位进行指令集播放，模拟人在房间中的不同发声位置，所述磁导航移动平台1安装在所述电动无极升降器2的底部，所述电动无极升降器2可无级调节高度，模拟人的不同身高；所述电动无极升降器2的顶端固定有用于支撑语音播放器4的舵机转向器3，用来模拟人的不同发声朝向。

如图1所示，一种基于语音交互的智能家电智能化水平测试方法，包括以下步骤：

A.用户管理

(1)管理员子管理员通过用户名及密码登陆系统；

(2)管理员子管理员可编辑个人信息，管理员可添加子管理员。

B.家电管理

(1)管理员子管理员通过“家电类型”“品牌-型号”信息添加新的测试家电，若该家电类型已经存在，则可直接在该“家电类型”分类下添加“品牌-型号”信息，后续测试需要的指令集以及生成的测试结果均显示在对应的测试家电分类下；

(2)管理员可点击对应家电“品牌-型号”下的删除按钮，删除该家电的家电信息、测试指令文本、指令集及测试结果。

C.语音指令集管理

(1)若已有测试家电的指令集音频，则可通过“上传语音指令集”将音频文件上传到对应的“家电类型”-“品牌型号”下；

(2)普通话指令集音频可通过语音合成的方式生成，点击“上传指令集文本”，将测试指令集上传到对应的“家电类型”-“品牌型号”下；另外，一个家电可以对应不同的指令集文本；选择需要进行测试的指令集文本作为输入调用语音合成算法将语音指令集生成到对应家电的“品牌型号”下；

(3)管理员子管理员可批量选择语音进行播放试听，管理员可将不需要的指令集删除。

D.测试方案设置

(1)语音指令集选取：勾选需要进行测试的语音指令，同一条语音指令可被重复选择，根据家电的应答规则可调整指令集播放顺序；

(2)勾选测试点位，设置电动无极升降器高度，设置单个场景指令集播放次数，选择噪声种类、声压级、信噪比、语速、性别；

(3)新建测试后，点击测试开始，后台向硬件系统传递测试开始信号，并传递软件系统所设定测试指令，硬件系统依据设定点位自动规划路径，开始测试；到达一个点位后，硬件系统按照软件系统提供的指令序列进行测试，包括改变高度，改变分贝，增加噪音，语音播放的同时摄像头录制冰箱的响应视频。

新建测试的流程如下：

a.可选择家电品类新建测试；

b.选择语音测试指令集，测试方案(循迹路线，测试高度区间以及段数，测试分贝大小区间以及段数)；

c.通过计算移动次数，及语音播放时长，提供一个整个测试过程的大概估时，并显示；

d.若已有语音指令集，则直接选择待测指令集；

e.若无语音指令集，则上传文本格式的语音指令，调用语音合成功能，生成语音指令集；

(4)选择测试变量，新建测试整体可选择变量如下:

a.选择测试点位；

b.高度可人工输入，所述高度范围为1.0m-1.8m；

c.指令声压级、信噪比、口音、性别、语速、噪声种类；

d.可人工输入每个场景播放测试集的次数；

e.可人工输入每个场景成功阈值(即：每个场景下成功多少次记为本场景识别成功)；

f.可人工输入每次测试总体成功阈值(即：成功场景次数总场景次数≥N时记为总体“成功”)；g.指令集内容导入后可生成两列测试集，所述两列测试集为集内指令集和集外指令集。

E、测试结果识别功能

测试过程中，每测试一种情况，便将测试结果数据(视频)以及当前测试的参数传回软件系统保存；软件系统通过接口将数据输入识别算法中，算法结束后生成测试报告，并保存至数据库。

F、测试结果管理

通过软件系统可查看之前测试结果，测试结果按整体和单个测试进行显示；测试报告的显示界面中不仅能显示测试成功不成功未知次数统计，同时也可以显示测试进行时的时间、本次测试场景数量、唤醒率、平均唤醒时间、识别率、平均识别响应时间、误唤醒频度，以及单个测试显示测试点位、高度、分贝、对应测试语音以及测试结果视频。

本发明中的系统具有以下特征：

1.测试场景覆盖全面。为使测试环境与智能家电的实际应用环境一致，根据家电种类将测试环境分为客厅、卧室、厨房三种，房间面积通过对中国国内普通住宅面积进行统计后得到，卧室平均面积约20m2，客厅的平均面积约30-40m2，厨房平均面积为8-10m2。故规定，模拟卧室时，测试房间面积约15-25m2,且具备必要家居：床；模拟客厅时，测试房间面积30-40m2，且具备必要家居：沙发、电视、桌、椅；模拟厨房时，测试房间面积为8-10m2，且具备必要家居：厨具。以此来高度还原实际室内对声音的吸收、反射等作用。

考虑有效声源与智能家电相对位置对指令集识别效果的影响，本发明对多个不同的测试点位进行测试；设计一款可自动升降高度的语音机器人，按照中国人平均身高统计数据将升降杆的升降范围设置为1-1.8m，升降杆可实现该范围内的无级升降；依据家庭实际常出现的噪声种类，本发明将测试过程中的噪音种类设置为：房间门窗噪音、新闻联播噪音、音乐噪音、电视剧噪音、交通噪音、厨房噪音。

2.指定全面的集内指令集及集外指令集，测试过程中考虑有效声源的性别、年龄段、语言类型以及指令集播放的语速、响度等因素。目前市场上针对不同类型智能家电的语音指令集并没有明确的规定，不同厂商的指令集内容各自为营。厂商自定义的用于训练开发家电语音识别系统的命令集成为集内指令集，不在该指令集内的指令为集外指令集，一般智能家电对于集内指令集的识别正确率较高，但是由于不同地域、不同用户有不同的语言习惯，因此有必要对一些常用的集外指令集进行测试，作为评价家电智能话水平的一个指标，在测试过程中同时考虑有效声源的性别、年龄段、语言类型(标准普通话、带方言口音的普通话)以及指令集播放的语速、响度等因素。

3.制定了明确的测试步骤及评价标准，采用自动化方式进行测试，测试过程可复现，可对不同类型或相同类型的多个产品进行测试结果对比，进而给出不同家电的智能化水平。

以上描述仅为本申请的较佳实施例以及对所运用技术原理等方案的说明。同时，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (2)

1.一种基于语音交互的智能家电智能化水平测试系统，其特征是：包括硬件系统、算法系统和软件系统三大模块；

所述硬件系统用于自主导航，依据软件系统提供的测试方案进行指令集播放、录取智能家电状态视频传回软件系统，包括语音机器人、摄像机、计算机和噪声源；所述语音机器人用来替代人实现对待测家电智能水平的自动化测试工作；所述摄像机设有两个，一个安装在冰箱门上，录制智能冰箱的视频响应情况，另一个固定在地面上录制冰箱的动作响应及冰箱的响应音频，并将录制的视频传回软件系统；所述计算机用作软件系统、算法系统的实现载体和冰箱响应视频、音频及测试结果的存储器，计算机借助无线局域网，通过TCPIP协议与语音机器人进行通讯，向语音机器人工控机发送测试信息并接收语音机器人的测试状态反馈，计算机和所述摄像机通过USB接口有线连接，语音机器人根据工作状态向计算机发送摄像机启停信号，计算机接收信号并完成相应动作；

所述算法系统用于提供语音合成算法、冰箱响应视频音频自动提取算法、冰箱动作识别算法、视频识别算法、语音识别算法；所述语音合成算法可根据文本指令自动生成不同性别、不同年龄段、不同地域口音类型的音频文件，调用语音合成算法代替人工录制；所述冰箱响应视频音频自动提取算法对录制的语音机器人播放的音频与冰箱的响应音频视频进行自动切分，首先，对语音指令集进行右对齐操作，每条语音指令均处理成统一时长，对于时长不够的语音指令，左补静音帧；然后，通过实验测得每条语音指令对应的标答时长，对于某一固定点位，音频/视频的组成为：音频/视频总时长＝语音指令1播放时长+语音指令1响应时长+语音指令2播放时长+语音指令2响应时长+……；测试过程中记录每个点位语音指令集播放的开始时刻，并根据语音机器人发送的指令集编号分别读取每条指令对应的播放时长及该指令的响应时间,根据语音指令播放开始时刻、语音指令播放时长、冰箱响应时长自动提取冰箱的响应视频音频；所述冰箱语音识别算法、视频识别算法和动作识别算法分别以冰箱的响应音频、响应视频为输入对智能家电的响应进行自动分析，输出冰箱对语音指令的响应，并生成每个测试点位的测试报告及整体测试的测试报告，语音识别算法将提取的冰箱的响应音频作为输入，将音频转换成文本，冰箱对语音指令进行响应时会同步将响应内容显示在冰箱自带的显示屏上，视频识别算法主要对显示屏文字进行检测,先采用基于颜色及像素聚类的方法检测文本区域，再用tesseract算法对文本区域中的文字进行识别，最后输出检测结果；动作识别算法旨在判断冰箱能否按照指令内容打开对应冰箱门，按照一定的步长K从冰箱的响应视频中抽取图像，得到图像集I，利用Logisticsregression对图像集进行分类，输出冰箱门开关状态；最后，将各个算法的输出分别与冰箱标答进行比对，若单个场景下冰箱对语音指令响应的成功次数≥系统设定的单个场景成功阈值，则判定冰箱对并对该指令的响应为“成功”，否则为“失败”；若成功场景次数/总场景次数≥总体测试成功阈值，则判定冰箱对该指令的总体测试为“成功”，否则为“失败”；

所述软件系统用于用户管理、设置语音指令集管理、测试方案设置及调用相关算法对智能家电的响应视频音频进行自动分析并生成测试报告，包括用户管理模块、家电模块、语音指令集模块及测试模块，并将各功能点在用户界面显示；用户管理模块通过个人基本信息添加管理员及子管理员，管理员具有所有权限，子管理员具有除家电类型管理及删除权限外的所有权限，家电模块展示当前系统可以直接进行测试的家电类型，查看对应家电的语音指令集，可新增家电类型及删除已有家电类型；语音指令集模块可直接上传集内集外语音指令或通过调用语音合成算法将指令文本作为输入生成语音指令；测试模块主要包括测试方案设置、测试结果数据自动处理、测试报告生成，选择家电品类新建测试，在用户界面选择测试点位、手动输入电动无极升降器高度、选择需要测试的语音指令及语音指令声压级、信噪比、口音、性别、语速、噪声种类，并将上述变量传递给语音机器人，在本测试方案中，单个测试点位为一个测试场景，测试人员可在用户界面上人工输入每个场景播放测试集的次数、每个场景成功阈值,即每个场景下成功多少次记为本场景识别成功、每次测试总体成功阈值,即成功场景次数/总场景次数≥N时记为总体“成功”，设置完毕后软件系统向语音机器人发送开始测试指令,测试模块还包括测试数据的自动处理及测试报告的生成，摄像机分别录制每个测试点位的冰箱响应视频及音频，调用算法对冰箱响应视频及音频进行自动切分，将切分后的视频作为冰箱视频识别算法及动作识别算法的输入、切分后的音频作为语音识别的输入分别对冰箱的响应进行智能化水平判断，并根据测试方案中设置的播放次数及成功阈值生成单个场景的测试报告及总体测试报告；

所述语音机器人包括磁导航移动平台(1)、电动无极升降器(2)、舵机转向器(3)和语音播放器(4)，所述磁导航移动平台(1)可移动到指定点位进行指令集播放，模拟人在房间中的不同发声位置，所述磁导航移动平台(1)安装在所述电动无极升降器(2)的底部，所述电动无极升降器(2)可无级调节高度，模拟人的不同身高；所述电动无极升降器(2)的顶端固定有用于支撑语音播放器(4)的舵机转向器(3)，用来模拟人的不同发声朝向。

2.一种如权利要求1所述的一种基于语音交互的智能家电智能化水平测试系统的测试方法，其特征是：包括以下步骤：

A.用户管理

(1)管理员子管理员通过用户名及密码登陆系统；

(2)管理员子管理员可编辑个人信息，管理员可添加子管理员；

B.家电管理

(1)管理员子管理员通过“家电类型”“品牌-型号”信息添加新的测试家电，若该家电类型已经存在，则可直接在该“家电类型”分类下添加“品牌-型号”信息，后续测试需要的指令集以及生成的测试结果均显示在对应的测试家电分类下；

(2)管理员可点击对应家电“品牌-型号”下的删除按钮，删除该家电的家电信息、测试指令文本、指令集及测试结果；

C.语音指令集管理

(1)若已有测试家电的指令集音频，则可通过“上传语音指令集”将音频文件上传到对应的“家电类型”-“品牌型号”下；

(2)普通话指令集音频可通过语音合成的方式生成，点击“上传指令集文本”，将测试指令集上传到对应的“家电类型”-“品牌型号”下；另外，一个家电可以对应不同的指令集文本；选择需要进行测试的指令集文本作为输入调用语音合成算法将语音指令集生成到对应家电的“品牌型号”下；

(3)管理员子管理员可批量选择语音进行播放试听，管理员可将不需要的指令集删除；

D.测试方案设置

(1)语音指令集选取：勾选需要进行测试的语音指令，同一条语音指令可被重复选择，根据家电的应答规则可调整指令集播放顺序；

(2)勾选测试点位，设置电动无极升降器高度，设置单个场景指令集播放次数，选择噪声种类、声压级、信噪比、语速、性别；

(3)新建测试后，点击测试开始，后台向硬件系统传递测试开始信号，并传递软件系统所设定测试指令，硬件系统依据设定点位自动规划路径，开始测试；到达一个点位后，硬件系统按照软件系统提供的指令序列进行测试，包括改变高度，改变分贝，增加噪音，语音播放的同时摄像头录制冰箱的响应视频；

新建测试的流程如下：

a.可选择家电品类新建测试；

b.选择语音测试指令集，测试方案；

c.通过计算移动次数，及语音播放时长，提供一个整个测试过程的大概估时，并显示；

d.若已有语音指令集，则直接选择待测指令集；

e.若无语音指令集，则上传文本格式的语音指令，调用语音合成功能，生成语音指令集；

(4)选择测试变量，新建测试整体可选择变量如下:

a.选择测试点位；

b.高度可人工输入，所述高度范围为1.0m-1.8m；

c.指令声压级、信噪比、口音、性别、语速、噪声种类；

d.可人工输入每个场景播放测试集的次数；

e.可人工输入每个场景成功阈值；

f.可人工输入每次测试总体成功阈值；

g.指令集内容导入后可生成两列测试集，所述两列测试集为集内指令集和集外指令集；

E、测试结果识别功能

测试过程中，每测试一种情况，便将测试结果数据以及当前测试的参数传回软件系统保存；

软件系统通过接口将数据输入识别算法中，算法结束后生成测试报告，并保存至数据库；

F、测试结果管理

通过软件系统可查看之前测试结果，测试结果按整体和单个测试进行显示；测试报告的显示界面中不仅能显示测试成功不成功未知次数统计，同时也可以显示测试进行时的时间、本次测试场景数量、唤醒率、平均唤醒时间、识别率、平均识别响应时间、误唤醒频度，以及单个测试显示测试点位、高度、分贝、对应测试语音以及测试结果视频。

Images