CN115713936A - 基于智能家居的语音控制方法和装置 - Google Patents
基于智能家居的语音控制方法和装置 Download PDFInfo
- Publication number
- CN115713936A CN115713936A CN202211299428.1A CN202211299428A CN115713936A CN 115713936 A CN115713936 A CN 115713936A CN 202211299428 A CN202211299428 A CN 202211299428A CN 115713936 A CN115713936 A CN 115713936A
- Authority
- CN
- China
- Prior art keywords
- voice
- information
- user
- voiceprint
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Selective Calling Equipment (AREA)
Abstract
本申请公开了一种基于智能家居的语音控制方法和装置,涉及人工智能技术领域。具体实现方案为:获取采集到的操作者的初始语音信息;对初始语音信息进行声纹特征识别,得到声纹特征信息;基于预设的映射关系,根据声纹特征信息,确定与操作者对应的语音截断时间和方言类型;基于语音截断时间,获取待识别的语音信息;获取与方言类型对应的语音识别模型;基于语音识别模型,对语音信息进行识别,以生成控制指令;将控制指令发送给家居用电设备,以对家居用电设备进行控制。本申请可以有效解决老人在通过语音交互来利用智能家居控制设备控制用电设备时的语音交互说的慢、方言口音严重的问题,提高语音识别准确度,进而实现了对用电设备的精准控制。
Description
技术领域
本申请涉及人工智能技术领域,具体一种基于智能家居的语音控制方法和装置。
背景技术
随着中国老龄化社会的发展,老人的占比在逐年提升,老年群体因为其记忆差,视力差,学习力差等生理特性,经常在各种电子设备前望而怯步,如何帮助老人跨越电子设备的使用鸿沟,语音交互是一种很好的解决方案。
由于智能家居需要对各种各样的用电设备进行智能控制,而长辈群体因为其生理特征,在使用智能家居的控制设备时,在语音交互上存在一些障碍,比如方言问题、语速问题等等。因而,如何对智能家居进行优化,从而使得老人在使用智能家居设备时,可以更好地适应智能家居设备的交互方式,从而实现老人对智能家居设备的精准控制,是我们当前需要考虑的问题。
发明内容
本申请提供了一种基于智能家居的语音控制方法和装置,可应用于老年人通过语音交互的方式,利用智能家居控制设备来控制用电设备的场景。
根据本申请的第一方面,提供了一种基于智能家居的语音控制方法,包括:
获取采集到的智能家居控制设备的操作者的初始语音信息;
对所述初始语音信息进行声纹特征识别,得到声纹特征信息;
基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间和方言类型;
基于所述第一语音截断时间,获取待识别的目标语音信息;
获取与所述方言类型对应的语音识别模型;
基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备;
将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。
根据本申请的第二方面,提供了一种基于智能家居的语音控制装置,包括:
第一获取模块,用于获取采集到的智能家居控制设备的操作者的初始语音信息;
第一识别模块,用于对所述初始语音信息进行声纹特征识别,得到声纹特征信息;
第一确定模块,用于基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间和方言类型;
第二获取模块,用于基于所述第一语音截断时间,获取待识别的目标语音信息;
第三获取模块,用于获取与所述方言类型对应的语音识别模型;
第二识别模块,用于基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备;
控制模块,用于将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。
根据本申请的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面所述的方法。
根据本申请的第四方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第二方面所述的方法。
根据本申请的第五方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第三方面所述的方法。
本公开实施例中,该装置可以首先获取采集到的智能家居控制设备的操作者的初始语音信息,然后对所述初始语音信息进行声纹特征识别,得到声纹特征信息,之后基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间和方言类型,然后基于所述第一语音截断时间,获取待识别的目标语音信息,之后获取与所述方言类型对应的语音识别模型,之后基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备,之后将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。由此,由于是基于操作者对应的第一语音截断时间获取的用户的语音信息,并进行了方言识别,因而,可以有效解决老人在通过语音交互来利用智能家居控制设备控制用电设备时的语音交互说的慢、方言口音严重的问题,提高语音识别准确度,进而实现了对用电设备的精准控制。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例所提供的一种基于智能家居的语音控制方法的流程图;
图2为本申请实施例所提供的另一种基于智能家居的语音控制方法的流程图;
图3为本申请实施例所提供的另一种基于智能家居的语音控制方法的流程图;
图4为本申请实施例所提供的一种基于智能家居的语音控制装置的结构框图;
图5是本申请实施例所提供的一种电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面结合参考附图描述本申请实施例的基于智能家居的语音控制方法和装置。
图1为本申请实施例所提供的一种基于智能家居的语音控制方法的流程图。需要说明的是,本申请实施例的基于智能家居的语音控制方法可应用于本申请实施例的基于智能家居的语音控制装置,以下简称为“装置”。
如图1所示,该语音识别方法可以包括但不限于以下步骤。
步骤101,获取采集到的智能家居控制设备的操作者的初始语音信息。
其中,智能家居控制设备为用于控制各个用电设备按照指定的工作模式进行工作。
具体的,可以基于智能家居控制设备部署的语音采集设备(比如麦克风),来采集到操作者的初始语音信息。
在本申请的实施例中,该初始语音信息可理解是在不知道智能家居控制设备操作者的身份的情况下,智能家居控制设备所采集到的语音信息,例如,该初始语音信息可以是用于唤醒该智能家居控制设备的唤醒词语音信息。
步骤102,对初始语音信息进行声纹特征识别,得到声纹特征信息。
举例而言,在获得智能家居控制设备操作者的初始语音信息时,可以将该初始语音信息输入至声纹特征提取模型中,获得该声纹特征提取模型输出的声纹特征信息,该声纹特征信息即为智能家居控制设备操作者的声纹特征,以便可以基于该声纹特征信息即可确定与智能家居控制设备进行语音交互的是哪个操作者。
在一种实现方式中,该声纹特征提取模型可以是利用训练数据预先训练好的。也就是说,可以利用训练数据预先训练出声纹特征提取模型,使得该声纹特征提取模型具有提取声纹特征的能力。其中,该声纹特征提取模型的训练方式可采用相关技术中的训练方式,本申请对此不再赘述。
步骤103,基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间和方言类型。
具体的,可以预先在数据库中存储有散列表,也即hash表,用以记录每个操作者对应的第一语音截断时间和方言类型。
其中,第一语音截断时间可以为与操作者的说话语速对应的智能家居控制设备的聆听时间,也即拾音时间。若操作者的说话语速非常的快,则第一语音截断时间则比较短,若操作者的说话语速非常的慢,则第一语音截断时间则比较长。
其中,方言类型可以为河南话、东北话、上海话等等,在此不做限定。
需要说明的是,智能家居控制设备可以基于该第一语音截断时间,对该操作者的语音进行采集,以获取该操作者的语音信息。
在一种实现方式中,可以根据声纹特征信息,从预先建立的声纹特征与第一语音截断时间之间的映射关系中,获取与操作者对应的第一语音截断时间。
在本申请的实施例中,可以预先建立声纹特征与第一语音截断时间之间的映射关系,其中,该映射关系中可以包括一个或多个声纹特征信息,每个声纹特征信息代表一个操作者。也就是说,该映射关系中可以表示一个或多个操作者与其第一语音截断时间的对应关系。
举例而言,假设三个操作者(比如操作者1、操作者2和操作者3)共用同一个智能家居控制设备A,映射关系中包含有:操作者1的声纹特征信息11与其对应的第一语音截断时间12,操作者2的声纹特征信息21与其对应的第一语音截断时间22,操作者3的声纹特征信息31与其对应的第一语音截断时间32。例如,操作者1的声纹特征信息11对应的第一语音截断时间为“600毫秒”,操作者2的声纹特征信息21对应的第一语音截断时间为“1200毫秒”,操作者3的声纹特征信息31对应的第一语音截断时间为“1400毫秒”。
在本申请的实施例中,映射关系中的第一语音截断时间可以是基于大量实验而设定的经验值,或者,还可以是利用经过训练的第一语音截断时间优化模型进行预测而得到的。其中,该第一语音截断时间优化模型的输入是唤醒词与指令词之间的间隔时间、指令词中各分词之间的间隔时间,该第一语音截断时间优化模型的输出是第一语音截断时间预测值。
可以理解,由于在一定时间内操作者的说话语速通常会保持在一定范围内,所以可以利用第一语音截断时间优化模型预测出该操作者的第一语音截断时间,并将该操作者的第一语音截断时间保存到该映射关系中,以便操作者在一定时间内进行语音交互时,基于该映射关系的第一语音截断时间,采集该操作者输入的语音信息。
在一种实现方式中,假设智能家居控制设备上部署有经过训练的第一语音截断时间优化模型,可以在确定智能家居控制设备操作者的身份后,利用该操作者输入的语音信息和第一语音截断时间优化模型,预测出适合该操作者的第一语音截断时间,即可以实现实时预测适合该操作者的第一语音截断时间,以保证在该第一语音截断时间期限,该操作者能够说完本次的交互讲话。
步骤104,基于所述第一语音截断时间,获取待识别的目标语音信息。
举例而言,智能家居控制设备上通常部署有语音采集设备(比如麦克风),在确定与该智能家居控制设备操作对应的第一语音截断时间时,可以基于该第一语音截断时间,控制语音采集设备对该操作者的语音进行采集,采集到该操作者的目标语音信息。
可以理解,该目标语音信息是在确定操作者的身份之后,在切换到利用与该智能家居控制设备操作者对应的第一语音截断时间后进行语音采集的场景中,采集到的语音信息。也就是说,该目标语音信息可以是唤醒词语音信息,或者,还可以是无唤醒词的指令语音信息,或者还可以是包含唤醒词的指令语音信息。
步骤105,获取与方言类型对应的语音识别模型。
本公开实施例中的语音识别模型是专门用于识别老人方言的神经网络模型。
需要说明的是,语音识别模型是预先训练完成的。
具体的,可以批量招募会说各种各样的方言的老人用户,在自然条件下使用智能家居控制设备,要求每天按照一定的相同使用路径正常使用智能家居控制设备。进而可以根据采集得到的老人的方言数据对初始语音识别模型进行训练,从而得到专门用于识别老人方言的神经网络模型。
在本申请的实施例中,可以在云端服务器中部署多种方言类型的语音识别模型。在确定操作者的方言类型后,该装置可以从云端服务器中获取与该方言类型对应的语音识别模型并进行保存,以便后续利用该语音识别模型对对应操作者输入的语音信息进行识别。
步骤106,基于语音识别模型,对目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备。
其中,家居用电设备可以为家庭中的智能用电设备。
其中,语音识别模型可以为预先训练完成的方言识别模型,通过该方言识别模型,可以对目标语音信息进行识别,进而可以对该操作者的方言识别的更加准确。
步骤107,将控制指令发送给所述家居用电设备,以对家居用电设备进行控制。
其中,智能家居控制设备中可以包含有通讯模块,从而可以与家居用电设备之间通过通讯协议进行通讯。
其中,控制指令中包含有待控制的家居用电设备,以及对待控制的家居用电设备的控制参数,比如用电时间、用电功率、控制模式。
比如,若家居用电设备为空调,则控制指令可以为“将空调开启,以16℃除湿模式运行2小时”。
具体的,该装置在将控制指令发送给家居用电设备之后,家居用电设备可以执行该控制指令的指令行为。
本公开实施例中,该装置可以首先获取采集到的智能家居控制设备的操作者的初始语音信息,然后对所述初始语音信息进行声纹特征识别,得到声纹特征信息,之后基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间和方言类型,然后基于所述第一语音截断时间,获取待识别的目标语音信息,之后获取与所述方言类型对应的语音识别模型,之后基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备,之后将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。由此,由于是基于操作者对应的第一语音截断时间获取的用户的语音信息,并进行了方言识别,因而,可以有效解决老人在通过语音交互来利用智能家居控制设备控制用电设备时的语音交互说的慢、方言口音严重的问题,提高语音识别准确度,进而实现了对用电设备的精准控制。
图2为本申请实施例所提供的一种基于智能家居的语音控制方法的流程图。如图2所示,该语音识别方法可以包括但不限于以下步骤。
步骤201,响应于确定用户首次启动智能家居控制设备,获取当前用户输入的年龄信息,并对所述用户进行人脸识别,以获取人脸特征信息。
其中,用户输入的年龄信息用于表征用户当前的年龄。
可选的,该装置还可以在智能家居控制设备中的显示屏中展示方言类型录入提示信息,以提示当前用户录入至少一个方言类型。然后获取所述用户录入的所述至少一个方言类型。
需要说明的是,通过用户直接录入的方言类型更加准确可信。
考虑到一个人可能有多种方言,比如河南话,山西话。因而该装置可以预先录入至少一个方言类型,也即用户会的所有方言。
步骤202,根据所述年龄信息和所述人脸特征信息,判断所述用户是否为老人。
可选的,若年龄高于55岁,则可以确定用户为老人。
若人脸特征信息显示有皱纹且很多,也可以判断用户为老人。
步骤203,在所述用户为老人时,在显示屏中显示语音采集提示信息,其中,所述提示信息中包含有预设数量的目标对话语句。
步骤204,启动声音采集模式,以获取所述用户的语料声音信息,其中,所述语料声音信息中包含有所述目标对话语句对应的语音。
具体的,在硬件开箱阶段,首次启动智能家居控制设备后,选择设备所在家庭的家庭成员(老人、孩子、年轻人…),当用户选择家有老人时,如果选择去优化语音模型,则进入声音采集阶段。
其中,目标对话语句也即用户在声音采集阶段需要用语料声音信息录入的语句。
声音采集:声音采集阶段,用户需要依次按照屏幕上的字幕提示,按照各种各样的方言语速独处屏幕上的问题,同时在录入屏幕上文字后。也可自行随意说出超过一定字数的对话指令。
声音档案记录:完成用户声音采集后。同时记录用户的声纹信息作为该用户的声音标记。
步骤205,响应于确定用户声音采集完成,将所述语料声音信息输入至预先训练生成的方言识别模型中,以判断所述用户对应的方言类型。
可选的,该装置可以将当前获取的用户的所述语料声音信息作为训练语料,然后基于预设的映射关系,确定与所述方言类型对应的待训练的初始语音识别模型,之后基于所述训练语料,对所述初始语音识别模型进行训练,以获取训练完成的语音识别模型。
步骤206,获取采集到的智能家居控制设备的操作者的初始语音信息;
步骤207,对所述初始语音信息进行声纹特征识别,得到声纹特征信息;
步骤208,基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间;
步骤209,基于所述第一语音截断时间,获取待识别的目标语音信息;
步骤210,获取与所述方言类型对应的语音识别模型;
步骤211,基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备;
步骤212,将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。
需要说明的是,步骤206-212的具体实现方式可以参照上述实施例,此处不做赘述。
综上所述,通过老人声音的个性化识别,从而记录老人的声纹、方言类型等信息。在智能家居控制设备首次被使用时,记录了用户的信息,并在确认用户为老人的情况下,记录老人的语料声音信息,并且可以进一步地将每次老人控制智能家居设备的语音信息作为训练数据从而实现了方言识别模型识别的准确性以及语音识别模型识别的准确度,提高了老人对智能家居控制的精准度。
图3为本申请实施例所提供的一种基于智能家居的语音控制方法的流程图。如图3所示,该语音识别方法可以包括但不限于以下步骤。
步骤301,获取指定周期内采集的任一用户在语音交互过程中的历史语音信息。
其中,指定周期可以为1个月,3个月。
比如,该装置可以每1个月获取任一用户在语音交互过程中的所有语音数据。
其中,历史语音信息为历史时间获取的语音信息。
其中,语音交互过程为用户使用智能家居控制设备控制的过程。
步骤302,对所述历史语音信息进行处理,以从所述历史语音信息中提取出所述任一用户的声纹信息。
步骤303,根据预设的声纹信息与设定语速值的对应关系以及提取出的所述当前用户的声纹信息,确定所述当前用户的设定语速值。
步骤304,根据所述设定语速值,确定所述智能家居控制设备当前进行语音识别的第二语音截断时间。
具体地,唤醒语音即预设的用于唤醒智能家居控制设备的语音。当用户想要进行语音控制时,需要先说出唤醒语音以唤醒语音设备。预先设置用户的设定语速值,并保存用户的声纹信息与用户的设定语速值的对应关系,当接收到唤醒语音时,从该唤醒语音中提取出当前用户的声纹信息,从而根据预设的声纹信息与设定语速值的对应关系以及提取的当用户的声纹信息确定当前用户的设定语速值,从而根据所述设定语速值设置所述智能家居控制设备当前进行语音识别的断点间隔时间。在一种具体实施方式中,所述断点间隔时间等于设定语速值的倒数与预设时间之和,即,每说两个字的平均间隔时间预设时间之和,例如,设定语速值为V,预设时间为10s,则断点间隔时间t=(1/V)+10s。
进一步地,将该断点间隔时间作为第二语音截断时间。
步骤305,基于所述第二语音截断时间,更新所述映射关系中与所述声纹特征信息对应的第一语音截断时间。
其中,具体的,可以以第二语音截断时间,代替所述映射关系中与所述声纹特征信息对应的第一语音截断时间。从而实现对语音截断时间的更新。
综上所述,通过对第一语音截断时间进行更新,可以提高语音识别的准确度。
图4为本申请实施例所提供的一种基于智能家居的语音控制装置的结构框图。如图4所示,该装置可以包括:
第一获取模块410,用于获取采集到的智能家居控制设备的操作者的初始语音信息;
第一识别模块420,用于对所述初始语音信息进行声纹特征识别,得到声纹特征信息;
第一确定模块430,用于基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间和方言类型;
第二获取模块440,用于基于所述第一语音截断时间,获取待识别的目标语音信息;
第三获取模块450,用于获取与所述方言类型对应的语音识别模型;
第二识别模块460,用于基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备;
控制模块470,用于将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。
可选的,所述第一获取模块,还包括:
第一获取单元,用于响应于确定用户首次启动智能家居控制设备,获取当前用户输入的年龄信息,并对所述用户进行人脸识别,以获取人脸特征信息;
第一判断单元,用于根据所述年龄信息和所述人脸特征信息,判断所述用户是否为老人;
显示单元,用于在所述用户为老人时,在显示屏中显示语音采集提示信息,其中,所述提示信息中包含有预设数量的目标对话语句;
第二获取单元,用于启动声音采集模式,以获取所述用户的语料声音信息,其中,所述语料声音信息中包含有所述目标对话语句对应的语音;
第二判断单元,用于响应于确定用户声音采集完成,将所述语料声音信息输入至预先训练生成的方言识别模型中,以判断所述用户对应的方言类型。
可选的,所述第一获取单元,还用于:
在所述智能家居控制设备中的显示屏中展示方言类型录入提示信息,以提示当前用户录入至少一个方言类型;
获取所述用户录入的所述至少一个方言类型。
可选的,所述第二判断单元,还用于:
将当前获取的用户的所述语料声音信息作为训练语料;
基于预设的映射关系,确定与所述方言类型对应的待训练的初始语音识别模型;
基于所述训练语料,对所述初始语音识别模型进行训练,以获取训练完成的语音识别模型。
可选的,该装置,还包括:
第四获取模块,用于获取指定周期内采集的任一用户在语音交互过程中的历史语音信息;
第二确定模块,用于对所述历史语音信息进行处理,以从所述历史语音信息中提取出所述任一用户的声纹信息;
第三确定模块,用于根据预设的声纹信息与设定语速值的对应关系以及提取出的所述当前用户的声纹信息,确定所述当前用户的设定语速值;
第四确定模块,用于根据所述设定语速值,确定所述智能家居控制设备当前进行语音识别的第二音截断时间;
更新模块,用于基于所述第二语音截断时间,更新所述映射关系中与所述声纹特征信息对应的第一语音截断时间。
本公开实施例中,该装置可以首先获取采集到的智能家居控制设备的操作者的初始语音信息,然后对所述初始语音信息进行声纹特征识别,得到声纹特征信息,之后基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间和方言类型,然后基于所述第一语音截断时间,获取待识别的目标语音信息,之后获取与所述方言类型对应的语音识别模型,之后基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备,之后将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。由此,由于是基于操作者对应的第一语音截断时间获取的用户的语音信息,并进行了方言识别,因而,可以有效解决老人在通过语音交互来利用智能家居控制设备控制用电设备时的语音交互说的慢、方言口音严重的问题,提高语音识别准确度,进而实现了对用电设备的精准控制。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图5所示,是根据本申请实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备、智能音箱、智能家居控制设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,该电子设备包括:一个或多个处理器1301、存储器1302,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器1301为例。
存储器1302即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的上述基于智能家居的语音控制方法中任意一种或多种方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的上述基于智能家居的语音控制方法中任意一种或多种方法。
存储器1302作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请上述任一实施例所述方法对应的程序指令/模块。处理器1301通过运行存储在存储器1302中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的上述基于智能家居的语音控制方法中任意一种或多种方法。
存储器1302可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器1302可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1302可选包括相对于处理器1301远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括:输入装置1303和输出装置1304。处理器1301、存储器1302、输入装置1303和输出装置1304可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置1303可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1304可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (10)
1.一种基于智能家居的语音控制方法,其特征在于,包括:
获取采集到的智能家居控制设备的操作者的初始语音信息;
对所述初始语音信息进行声纹特征识别,得到声纹特征信息;
基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间;
基于所述第一语音截断时间,获取待识别的目标语音信息;
获取与所述方言类型对应的语音识别模型;
基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备;
将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。
2.根据权利要求1所述的方法,其特征在于,在所述获取采集到的智能家居控制设备的操作者的语音信息之前,还包括:
响应于确定用户首次启动智能家居控制设备,获取当前用户输入的年龄信息,并对所述用户进行人脸识别,以获取人脸特征信息;
根据所述年龄信息和所述人脸特征信息,判断所述用户是否为老人;
在所述用户为老人时,在显示屏中显示语音采集提示信息,其中,所述提示信息中包含有预设数量的目标对话语句;
启动声音采集模式,以获取所述用户的语料声音信息,其中,所述语料声音信息中包含有所述目标对话语句对应的语音;
响应于确定用户声音采集完成,将所述语料声音信息输入至预先训练生成的方言识别模型中,以判断所述用户对应的方言类型。
3.根据权利要求1所述的方法,其特征在于,在所述响应于确定用户首次启动智能家居控制设备之后,还包括:
在所述智能家居控制设备中的显示屏中展示方言类型录入提示信息,以提示当前用户录入至少一个方言类型;
获取所述用户录入的所述至少一个方言类型。
4.根据权利要求2所述的方法,其特征在于,在所述判断所述用户对应的方言类型之后,还包括:
将当前获取的用户的所述语料声音信息作为训练语料;
基于预设的映射关系,确定与所述方言类型对应的待训练的初始语音识别模型;
基于所述训练语料,对所述初始语音识别模型进行训练,以获取训练完成的语音识别模型。
5.根据权利要求1所述的方法,其特征在于,还括:
获取指定周期内采集的任一用户在语音交互过程中的历史语音信息;
对所述历史语音信息进行处理,以从所述历史语音信息中提取出所述任一用户的声纹信息;
根据预设的声纹信息与设定语速值的对应关系以及提取出的所述当前用户的声纹信息,确定所述当前用户的设定语速值;
根据所述设定语速值,确定所述智能家居控制设备当前进行语音识别的第二音截断时间;
基于所述第二语音截断时间,更新所述映射关系中与所述声纹特征信息对应的第一语音截断时间。
6.一种基于智能家居的语音控制装置,其特征在于,包括:
第一获取模块,用于获取采集到的智能家居控制设备的操作者的初始语音信息;
第一识别模块,用于对所述初始语音信息进行声纹特征识别,得到声纹特征信息;
第一确定模块,用于基于预设的映射关系,根据所述声纹特征信息,确定与所述操作者对应的第一语音截断时间和方言类型;
第二获取模块,用于基于所述第一语音截断时间,获取待识别的目标语音信息;
第三获取模块,用于获取与所述方言类型对应的语音识别模型;
第二识别模块,用于基于所述语音识别模型,对所述目标语音信息进行识别,以生成控制指令,其中,所述控制指令中包含待控制的家居用电设备;
控制模块,用于将所述控制指令发送给所述家居用电设备,以对所述家居用电设备进行控制。
7.根据权利要求6所述的装置,其特征在于,所述第一获取模块,还包括:
第一获取单元,用于响应于确定用户首次启动智能家居控制设备,获取当前用户输入的年龄信息,并对所述用户进行人脸识别,以获取人脸特征信息;
第一判断单元,用于根据所述年龄信息和所述人脸特征信息,判断所述用户是否为老人;
显示单元,用于在所述用户为老人时,在显示屏中显示语音采集提示信息,其中,所述提示信息中包含有预设数量的目标对话语句;
第二获取单元,用于启动声音采集模式,以获取所述用户的语料声音信息,其中,所述语料声音信息中包含有所述目标对话语句对应的语音;
第二判断单元,用于响应于确定用户声音采集完成,将所述语料声音信息输入至预先训练生成的方言识别模型中,以判断所述用户对应的方言类型。
8.根据权利要求6所述的装置,其特征在于,所述第一获取单元,还用于:
在所述智能家居控制设备中的显示屏中展示方言类型录入提示信息,以提示当前用户录入至少一个方言类型;
获取所述用户录入的所述至少一个方言类型。
9.根据权利要求7所述的装置,其特征在于,所述第二判断单元,还用于:
将当前获取的用户的所述语料声音信息作为训练语料;
基于预设的映射关系,确定与所述方言类型对应的待训练的初始语音识别模型;
基于所述训练语料,对所述初始语音识别模型进行训练,以获取训练完成的语音识别模型。
10.根据权利要求6所述的装置,其特征在于,还包括:
第四获取模块,用于获取指定周期内采集的任一用户在语音交互过程中的历史语音信息;
第二确定模块,用于对所述历史语音信息进行处理,以从所述历史语音信息中提取出所述任一用户的声纹信息;
第三确定模块,用于根据预设的声纹信息与设定语速值的对应关系以及提取出的所述当前用户的声纹信息,确定所述当前用户的设定语速值;
第四确定模块,用于根据所述设定语速值,确定所述智能家居控制设备当前进行语音识别的第二音截断时间;
更新模块,用于基于所述第二语音截断时间,更新所述映射关系中与所述声纹特征信息对应的第一语音截断时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211299428.1A CN115713936A (zh) | 2022-10-21 | 2022-10-21 | 基于智能家居的语音控制方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211299428.1A CN115713936A (zh) | 2022-10-21 | 2022-10-21 | 基于智能家居的语音控制方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115713936A true CN115713936A (zh) | 2023-02-24 |
Family
ID=85231332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211299428.1A Pending CN115713936A (zh) | 2022-10-21 | 2022-10-21 | 基于智能家居的语音控制方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115713936A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116110112A (zh) * | 2023-04-12 | 2023-05-12 | 广东浩博特科技股份有限公司 | 基于人脸识别的智能开关的自适应调节方法以及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109412910A (zh) * | 2018-11-20 | 2019-03-01 | 三星电子(中国)研发中心 | 控制智能家居设备的方法和装置 |
CN109979474A (zh) * | 2019-03-01 | 2019-07-05 | 珠海格力电器股份有限公司 | 语音设备及其用户语速修正方法、装置和存储介质 |
CN111599367A (zh) * | 2020-05-18 | 2020-08-28 | 珠海格力电器股份有限公司 | 一种智能家居设备的控制方法、装置、设备及介质 |
US20220076674A1 (en) * | 2018-12-28 | 2022-03-10 | Samsung Electronics Co., Ltd. | Cross-device voiceprint recognition |
CN114360531A (zh) * | 2021-12-10 | 2022-04-15 | 上海小度技术有限公司 | 语音识别方法、控制方法、模型训练方法及其装置 |
-
2022
- 2022-10-21 CN CN202211299428.1A patent/CN115713936A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109412910A (zh) * | 2018-11-20 | 2019-03-01 | 三星电子(中国)研发中心 | 控制智能家居设备的方法和装置 |
US20220076674A1 (en) * | 2018-12-28 | 2022-03-10 | Samsung Electronics Co., Ltd. | Cross-device voiceprint recognition |
CN109979474A (zh) * | 2019-03-01 | 2019-07-05 | 珠海格力电器股份有限公司 | 语音设备及其用户语速修正方法、装置和存储介质 |
CN111599367A (zh) * | 2020-05-18 | 2020-08-28 | 珠海格力电器股份有限公司 | 一种智能家居设备的控制方法、装置、设备及介质 |
CN114360531A (zh) * | 2021-12-10 | 2022-04-15 | 上海小度技术有限公司 | 语音识别方法、控制方法、模型训练方法及其装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116110112A (zh) * | 2023-04-12 | 2023-05-12 | 广东浩博特科技股份有限公司 | 基于人脸识别的智能开关的自适应调节方法以及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107134279A (zh) | 一种语音唤醒方法、装置、终端和存储介质 | |
KR20210106397A (ko) | 음성 전환 방법, 장치 및 전자 기기 | |
CN112509552B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
CN112100352A (zh) | 与虚拟对象的对话方法、装置、客户端及存储介质 | |
CN110853619A (zh) | 人机交互方法、控制装置、被控装置及存储介质 | |
CN104731549A (zh) | 一种基于鼠标的语音识别人机交互装置及其方法 | |
CN110992932B (zh) | 一种自学习的语音控制方法、系统及存储介质 | |
CN112382279B (zh) | 语音识别方法、装置、电子设备和存储介质 | |
CN111324727A (zh) | 用户意图识别方法、装置、设备和可读存储介质 | |
CN110675873B (zh) | 智能设备的数据处理方法、装置、设备及存储介质 | |
CN112466302B (zh) | 语音交互的方法、装置、电子设备和存储介质 | |
CN103106061A (zh) | 语音输入方法和装置 | |
CN114360531A (zh) | 语音识别方法、控制方法、模型训练方法及其装置 | |
CN115713936A (zh) | 基于智能家居的语音控制方法和装置 | |
KR20220011083A (ko) | 사용자 대화 중 정보 처리 방법, 장치, 전자 기기 및 기록 매체 | |
CN112466296A (zh) | 语音交互的处理方法、装置、电子设备及存储介质 | |
CN113096653A (zh) | 一种基于人工智能的个性化口音语音识别方法及系统 | |
CN110706701B (zh) | 语音技能推荐方法、装置、设备及存储介质 | |
CN110349577B (zh) | 人机交互方法、装置、存储介质及电子设备 | |
CN112133307A (zh) | 人机交互方法、装置、电子设备及存储介质 | |
CN113611316A (zh) | 人机交互方法、装置、设备以及存储介质 | |
KR102380717B1 (ko) | 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법 | |
CN112233665A (zh) | 模型训练的方法和装置、电子设备和存储介质 | |
CN112382292A (zh) | 基于语音的控制方法和装置 | |
KR20190021136A (ko) | Tts 모델을 생성하는 시스템 및 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |