CN117198292B - 一种语音融合处理方法、装置、设备及介质 - Google Patents
一种语音融合处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117198292B CN117198292B CN202311475017.8A CN202311475017A CN117198292B CN 117198292 B CN117198292 B CN 117198292B CN 202311475017 A CN202311475017 A CN 202311475017A CN 117198292 B CN117198292 B CN 117198292B
- Authority
- CN
- China
- Prior art keywords
- voice
- equipment
- target
- platform
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000007499 fusion processing Methods 0.000 title claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 230000010354 integration Effects 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 28
- 230000001360 synchronised effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013475 authorization Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 101710176296 Switch 2 Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 235000015107 ale Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种语音融合处理方法、装置、设备及介质。该方法包括：语音融合平台若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作。本发明的技术方案，语音融合平台可以在检测到音频指令时，通过与多个语音平台交互，进行调度决策，从而更好的识别和执行音频指令，提高语音交互的效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种语音融合处理方法、装置、设备及介质。
背景技术
随着云计算、大数据、人工智能等技术，以及智能家居、智慧医疗、智慧城市等应用场景的逐步发展，IoT（Internet of Things，物联网）的应用场景越来越广泛化。而在这些应用场景中，语音通信服务成为了用户最为迫切需要的服务之一，因此，各语音厂商为IoT场景接入服务应运而生；不同品牌的语音平台可以帮助企业快速构建物联网应用，实现多样化的语音交互应用，提高生产力和效率。但是，不同的智能家居设备有不同的通讯协议和技术标准，不同的语音厂商支持的设备类型和命令语法也不尽相同，导致用户在使用语音平台控制智能家居设备时面临诸多不便。
因此，如何利用语音融合平台，在检测到音频指令时，通过与多个语音平台交互，进行调度决策，从而更好的识别和执行音频指令，提高语音交互的效率，是目前亟待解决的问题。
发明内容
本发明提供了一种语音融合处理方法、装置、设备及介质，可以在检测到音频指令时，通过与多个语音平台交互，进行调度决策，从而更好的识别和执行音频指令，提高语音交互的效率。
根据本发明的一方面，提供了一种语音融合处理方法，由语音融合平台执行，包括：
若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；
确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；
将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作。
根据本发明的另一方面，提供了一种语音融合处理装置，配置于语音融合平台中，包括：
获取模块，用于若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；
转换模块，用于确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；
控制模块，用于将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的语音融合处理方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的语音融合处理方法。
本发明实施例的技术方案，语音融合平台若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作。通过这样的方式，语音融合平台可以在检测到音频指令时，通过与多个语音平台交互，进行调度决策，从而更好的识别和执行音频指令，提高语音交互的效率。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种语音融合处理方法的流程图；
图2是本发明实施例二提供的一种语音融合处理的架构示意图；
图3是本发明实施例三提供的一种语音融合处理装置的结构框图；
图4是本发明实施例四提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”、“候选”、“备选”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在相关技术中，以日常家庭使用智能家居设备为例，不同语音厂商设备控制智能家居存在以下痛点：
1. 兼容性问题：不同的智能家居设备有不同的通讯协议和技术标准，不同的语音厂商支持的设备类型和命令语法也不尽相同，这就导致了在不同的语音平台上使用同一设备的时候，存在兼容性问题，这会影响设备的使用效果和用户的使用体验。
2. 安全问题：物联网和智能家居设备的安全问题一直备受关注，由于语音操作可以直接控制设备的开关、温度、照明等操作，因此，如果语音平台存在漏洞或安全问题，可能会导致被攻击者控制用户设备。
3. 多标识冲突问题：不同的语音平台对同一个设备可能会有不同的标识，导致控制设备时出现冲突。例如，若在公司将智能插座编号为插座A，但在某个语音平台上插座A已被注册为另一类设备，就可能导致语音平台无法正确识别要控制哪个设备，从而影响用户的使用体验。
4. 语音识别准确率问题：当使用多个语音平台时，用户所说的命令可能会被不同的语音平台解释为不同的意思，因此，语音识别准确率的问题也很关键，影响智能家居控制的成功率。
综上：现有智能家居技术中存在语音助手之间的互操作性问题，用户需要面对不同语音助手之间的不兼容、无法共享技能和控制不统一等问题。针对上述问题，本申请提出的通过语音融合平台接入不同语音厂商的语音平台以进行语音融合处理有以下好处：
1. 提高语音交互的精度和效率：不同的语音厂商在语音识别和自然语言处理等方面具有不同的优势和特点，接入多个语音厂商可以提高语音交互的精度和效率，同时降低语音识别的误差率，提高交互体验。
2. 增强应用程序的兼容性：企业需要根据不同的应用场景选择不同的语音厂商来进行接入，以满足不同用户的需求。通过接入多个语音厂商，可以增强应用程序的兼容性，降低集成难度，并提高企业的开发效率。
3. 缩短开发周期：接入多个语音厂商可以减少开发周期和成本，提高产品的迭代速度和更新频率。此外，企业可以根据实际需求进行灵活的选择和组合，以适应快速变化的市场需求和用户喜好。
4. 提高安全性和稳定性：通过接入多个语音厂商，企业可以实现分布式的语音服务，提高系统的安全性和可靠性，减少风险和故障的影响，同时增强数据的安全性和隐私保护。
5. 因为用户喜好不同，可能会购买不同的语音设备，用户也有一直以来用的比较习惯等语音助手，在不影响用户习惯的前提下，企业有接入不同语音厂商的需求。
总之，不同厂商提供的语音融合平台之间的兼容性和互操作性有限，用户在使用智能家居设备时面临诸多不便。本发明提供一种整合各语音厂商方案，用户可以在不同语音平台之间无缝切换，并享受到更稳定、更便利的智能家居设备控制体验，具体的实现方式将在后续实施例详细介绍。
实施例一
图1是本发明实施例一提供的一种语音融合处理方法的流程图；本实施例可适用于语音融合平台对各语音平台进行协同控制从而对用户发出的语音进行处理的情况，尤其适用于语音融合平台与多个语音平台交互，综合协同控制多个语音平台，进行语音处理和设备控制的情况，该方法可以由语音融合处理装置来执行，该语音融合处理装置可以采用硬件和/或软件的形式实现，该语音融合处理装置可配置于电子设备中，如语音融合平台中。如图1所示，该语音融合处理方法包括：
S101、若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令。
其中，目标设备是指音频指令对应的目标进行控制或查询的设备。音频指令是指用户发出的期望对目标设备执行查询和/或控制的操作指令，例如可以是查询空调当前的设置温度或查询温度传感器感应到的当前的室外温度。语音平台是指不同厂商提供的语音平台，不同语音平台支持的设备类型和命令语法不同。候选语音指令是指各语音平台将音频指令基于自身命令语法进行转换生成的指令。候选语音指令例如可以是控制指令或查询指令，如查询空气盒子或者传感器当前的温度或湿度，又例如给空调设置风速，又例如打开某可控设备的开关。
可选的，各语音平台可以通过中控语音输入设备或者音箱设备，获取用户输入的音频指令，并转换为自身命令语法对应的候选语音指令，然后发送至语音融合平台。
可选的，若在预设一段时间内检测到多个音频指令，则可以对多个音频指令进行筛选或合并，确定出最优选的待执行音频指令，即目标音频指令，进一步获取各个语音平台对目标音频指令进行处理后生成的候选语音指令，执行本发明后续的融合处理操作，通过这样的方式，可以实现对多音频指令的智能屏蔽和调度，有效避免用户同时或重复发出不同音频指令时，重复执行语音融合处理的情况，节约资源并提高效率。
可选的，语音融合平台在与各语音平台交互进行语音融合处理之前，可以先将各语音平台的账号信息进行关联，实现各语音平台账户体系的互通，具体的，获取各个语音平台对音频指令进行处理后生成的候选语音指令之前，还包括：基于各语音平台对应的认证授权方式，分别执行与各语音平台的认证授权操作，以获取对各语音平台的控制权限；在检测到与各语音平台之间的认证授权完成时，将各个语音平台的不同用户账号进行关联，实现各语音平台账户体系的互通。其中，语音平台的数量可以为一个，也可以为至少两个，本发明对此不作限制。
可选的，可以进行账号维度或家庭维度的账号授权和鉴权，从而将各个语音平台的不同用户账号进行关联，若检测到用户发出的解除账号关联关系的请求，也可以执行解除关联关系操作，即取消授权操作。
可选的，语音融合平台在与各语音平台交互进行语音融合处理之前，可以先将各可控设备进行同步，便于后续对目标设备的协同控制，具体的，获取各个语音平台对音频指令进行处理后生成的候选语音指令之前，还包括：响应于设备同步请求，感应周围预设范围内的可控设备，以进行主动设备发现，确定发生变化的第一待同步设备；若检测到语音平台发出的被动发现信息，则确定被动发现信息中记录的发生变化的第二待同步设备；根据第一待同步设备和第二待同步设备的变化情况，进行设备同步操作，使得本机与各语音平台存储的设备信息一致。
其中，设备同步请求可以是用户发出的对周围预设范围内的可控设备的设备信息进行同步的请求。可控设备例如可以是家居设备。主动设备发现是指语音融合平台在用户的请求下，主动发现并识别智能家居设备，以便后续控制和操作。设备发生变化例如可以是设备重命名、设备状态变化（如上下线）、设备挂载位置变化（从房间A变化至房间B）。第一待同步设备是语音融合平台进行主动发现确定的发生了变化的设备。第二待同步设备是各语音平台发现的反馈至语音融合平台使得语音融合平台被动发现的发生了变化的设备。
可选的，对于第一待同步设备，语音融合平台可以主动通知各语音平台，在账号维度、家庭维度和设备维度进行设备同步操作，对于第二待同步设备，语音融合平台可以直接更新本机对应设备的设备信息，实现本机与各语音平台存储的设备信息的一致性。
S102、确定各候选语音指令对应的转换策略，并基于转换策略，将各候选语音指令转换为对应的标准语音指令。
其中，转换策略例如可以是直接转换策略、默认转换策略、枚举转换策略以及数学转换策略。标准语音指令是指语音融合平台将从不同语音平台得到的候选语音指令进行转化生成的对应IOT指令，即标准化语音指令。标准语音指令（也就是标准IOT指令）的格式例如可以是{"$K":$V}，其中$K表示控制指标（key），$V表征控制方式（value），例如，标准IOT指令{"switch": true}可以表示开关打开的指令信息。
可选的，可以向目标设备厂商的开发平台（如云平台）发出指定的目标设备的ID号码，并下发标准IOT指令，以对目标设备进行相关指令的操作。
需要说明的是，若在一个语音平台上将智能插座编号为插座A，但在另一个语音平台上插座A已被注册为另一类设备；用户所说的命令可能会被不同的语音平台解释为不同的意思，考虑到以上情况，本申请将各语音平台的候选语音指令进行转换和和整合，可以实现对设备的精准控制。
可选的，确定各候选语音指令对应的转换策略，包括：根据各候选语音指令的类别，在预设的语音控制配置表或语音查询配置表中进行查询；根据查询结果，确定对各候选语音指令的转换策略。
其中，各候选语音指令的类别可以为控制类或查询类。语音控制配置表可以表征预设的存储类别为控制类的语音指令，与其在控制不同品类或产品时，所需采用的转换策略的对应关系。语音查询配置表可以表征预设的存储类别为查询类的语音指令，与其在控制不同品类或产品时，所需采用的转换策略的对应关系。
示例性的，控制类指令可以根据语音控制配置表的“品类id或产品id”这个字段来找到对应的转换策略，查询类指令就根据语音查询配置表的“品类id或产品id”这个字段来找到对应的转换策略。对于配置表来说，“平台+品类id或产品id+语音指令”这3个维度加起来就是唯一的，通过这3个维度，可以找到转换策略并基于转换策略计算出对应要转化出来的标准语音指令。
转换策略可以为：直接转换策略、默认转换策略、枚举转换策略或数学转换策略。直接转换策略适用于简单指令的转换，如语音打开开关指令“turn On”直接转换为{"switch": true}的格式。
默认转换策略为通过一次值的占位符进行替换的转换策略，如语音打开开关指令“turn On”转换为{"switch_1":$V,"switch_2":$V,"switch_3":$V}并替换$V值的格式，即将默认开关候选语音指令对应为开启不同编号开关的标准语音指令。枚举转换策略为采用查枚举表的方式进行转换的策略，例如可用于语音给空调设置风速demo的情况，通过枚举表的方式罗列每个不同候选语音指令与标准语音指令的对应关系，从而将候选语音指令直接替换为其对应的标准语音指令，即将候选语音指令的语音指令格式转换为对应的标准指令格式{"$K":$V}，并替换$K和$V值。数学转换策略是指有数学公式参与计算的转换策略，例如候选语音指令设置传感器今日温度的数值可能是365，代表今天36.5度，这个时候需要先除10，再转换为标准语音指令。
示例性的，若接收到的候选语音指令属于预设的简单指令范围，则可以根据候选语义指令的语义信息，基于直接转换策略，生成对应的IOT指令，即标准语音指令。
S103、将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作。
其中，设备查询操作例如可以是查看设备状态或可显示的指标等。整合结果中可以包括整合生成的目标控制指令，还可以包括目标设备的通讯协议。目标控制指令是指从标注语音指令中合并筛选得到的指令，其本质也为IOT指令。
可选的，将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，包括：确定目标设备的通讯协议，以及各候选语音指令转换成的标准语音指令的语义信息；根据语义信息之间的关联性，对各候选语音指令转换成的标准语音指令进行整合，生成目标控制指令，并根据目标控制指令和目标设备的通讯协议，确定整合结果。
可选的，根据整合结果对目标设备执行设备控制和/或设备查询操作，包括：确定整合结果中的目标控制指令，并根据目标控制指令的语义信息，以及预设的各语音平台的优势功能，从候选语音平台中确定出目标语音平台；基于整合结果中目标设备的通讯协议，控制目标语音平台对目标设备执行设备控制和/或设备查询操作。
其中，语音平台的优势功能例如可以是安防、照明以及音响等。目标语音平台是指执行目标控制指令的最优选语音平台，也就是最适于执行目标控制指令的语音平台。
需要说明的是，不同的智能家居设备具有不同的通讯协议和技术标准，因此语音融合平台需要根据目标设备所采用的通讯协议，控制目标语音平台对目标设备执行设备控制和/或设备查询操作，通过这样的方式，可以准确快速且有效的实现对目标设备的控制和/或查询操作。
可选的，控制目标语音平台对目标设备执行设备控制和/或设备查询操作，包括：基于目标语音平台的指令格式，将目标语音指令转化为目标语音平台下可执行的最终语音指令；控制目标语音平台基于最终语音指令和整合结果中目标设备的通讯协议，对目标设备执行设备控制和/或设备查询操作。
可选的，确定最终语音指令后，可以控制目标语音平台向目标设备的厂商的开发平台（如云平台）发出指定的目标设备的ID号码，并对目标设备下发最终语音指令，实现对目标设备执行设备控制和/或设备查询操作。
可选的，进行设备控制时，若检测到设备存在多路开关，则需拆分来进行设备控制处理，具体的，对于特殊设备，比如三合一面板（即可以同时控制空调、地暖和新风的控制器，一般是带屏幕的开关设备，可切换要控制的机器并调对应模式和温度，风力等），固定拆分成空调地暖和新风；又比如多路开关、插座以及窗帘等，与多路开关一样，也需要拆分出多个子设备，比如3路开关就是3个按键的开关，每个开关可能对应的接着不同电器，可以给对应的开关命名，这样就成了3个开关，同时他也是一个大开关，控制着3个子设备，插座和窗帘也是一样的，多个插孔的插座如果有区分一个一个插座的开关，就和多路开关一样，窗帘有一边和两边可以分开操作的，也是类似2个开关，比如只拉左边或者只开右边部分。
需要说明的是，不同的语音平台支持的设备类型和命令语法不同，因此需要使得目标语音平台执行控制指令时，语音融合平台需要先将本机的标注格式的语音指令转换为目标语音平台下的指令，从而可以更好地控制目标语音平台执行操作。
需要说明的是，响应于用户发出的音频指令，语音融合平台进行整合后，还可以根据不同的应用场景选择接入不同的语音平台，或不同的语音平台组合，从而进行设备控制和设备查询，以满足不同用户的需求，根据用户需求，也可以提供灵活个性化的服务、定制化的解决方案和API接口。
本发明实施例的技术方案，语音融合平台若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作。通过这样的方式，语音融合平台可以在检测到音频指令时，通过与多个语音平台交互，进行调度决策，从而更好的识别和执行音频指令，提高语音交互的效率。
实施例二
图2是本发明实施例二提供的一种语音融合处理的架构示意图；本实施例在上述实施例的基础上，给出了一种IOT语音融合平台协同控制多个语音厂商的语义平台进行语音融合处理的优选实例。如图2所示，该语音融合处理的架构包括如下部分：
各厂商音箱（即各厂商语音平台的音频接入设备），以及集成各语音厂商语音SDK的中控语音输入设备，均用于与各语音平台进行配网，并将检测到的语音音波发送至各语音平台。
各语音平台，用于基于自身的账户体系，与IOT语音融合平台交互，进行账号授权，还用于基于ASR技术（Automatic Speech Recognition，自动语音识别），以及NLP技术 (Natural Language Processing，自然语言处理)，对语音音波进行处理，转换为智能家居技能、自定义技能或通用技能，得到语音指令和技能调用请求发送至IOT语音融合平台。
IOT语音融合平台可以通过与各语音平台的认证授权，实现账号体系的统一；还可以基于指令转换模块，将从语音平台接收到的表征智能家居技能的候选语音指令转换为标准语音指令，再通过厂商对接模块，将标准语音指令转换为厂商指令，通过与IOT厂商对接，实现与各设备厂商云服务的对接，从而进行设备控制，具体可以控制基于Wi-Fi是设备，以及基于中控网关的设备（如zigbee设备）。
IOT语音融合平台还可以通过定制化的自定义技能接出模块，将语音技能向用户提供使得用户可以进行自定义。
可选的，本申请中语音融合平台与各语音平台的授权认证过程，可采用标准的OAuth2.0授权模式。
本申请提供的IOT语音融合平台将物联网技术与语音通信技术进行了融合，从而实现了对物联网设备的语音控制、智能家居的语音管理等功能。同时，IOT语音融合平台还具有安全性、可靠性及智能性等特点，能够更好地满足用户的需求。
具体的，本申请提供的融合多家语音厂商能力的IOT语音融合平台的创新点主要体现在以下几个方面：
1. 跨平台适配能力：IOT语音融合平台能够支持多种语音平台的接入，实现与目前市场上主流的语音助手（如阿里天猫精灵、百度的小度、微软小冰、亚马逊Alexa等）的对接，从而确保跨平台的兼容性和互通性，为用户提供更广泛的语音交互选择。
2. 统一指令协议：IOT语音融合平台的智能语音引擎支持多种指令协议，能够将各种不同类型的智能设备进行标准化整合，为用户提供更加统一的设备控制体验。
3. 智能屏蔽与调度控制：IOT语音融合平台利用语音识别技术，对多平台语音指令进行智能屏蔽和调度，避免同时或重复发出不同语音助手的命令，从而避免对设备控制造成混乱。
4. 高度可定制化：IOT语音融合平台能够根据业务需求进行个性化定制，满足不同企业、用户的特定需求和定制化应用场景，如根据用户的不同需求提供灵活个性化的服务，定制化的解决方案和API接口，便于用户进行平台的二次开发，集成和部署。
综上所述，本发明提出了一种统一的技术架构，通过开发适配各语音助手的中间件，实现智能家居技能模型的整合，通过该技术架构，不同语音助手提供的智能家居技能模型可以集成到一个统一的平台上，便于用户进行控制和操作，为智能家居领域的语音交互提供了更强的功能和更好的用户体验。
实施例三
图3是本发明实施例三提供的一种语音融合处理装置的结构框图；本实施例可适用于语音融合平台对各语音平台进行协同控制从而对用户发出的语音进行处理的情况，该语音融合处理装置可以采用硬件和/或软件的形式实现，并配置于具有语音融合处理功能的设备中，如语音融合平台中。如图3所示，该语音融合处理装置具体包括：
获取模块301，用于若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；
转换模块302，用于确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；
控制模块303，用于将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作。
本发明实施例的技术方案，语音融合平台若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作。通过这样的方式，语音融合平台可以在检测到音频指令时，通过与多个语音平台交互，进行调度决策，从而更好的识别和执行音频指令，提高语音交互的效率。
进一步的，控制模块303具体用于：
确定目标设备的通讯协议，以及各候选语音指令转换成的标准语音指令的语义信息；
根据语义信息之间的关联性，对各候选语音指令转换成的标准语音指令进行整合，生成目标控制指令，并根据目标控制指令和目标设备的通讯协议，确定整合结果。
进一步的，控制模块303可以包括：
平台确定单元，用于确定整合结果中的目标控制指令，并根据目标控制指令的语义信息，以及预设的各语音平台的优势功能，从候选语音平台中确定出目标语音平台；
控制单元，用于基于整合结果中目标设备的通讯协议，控制目标语音平台对目标设备执行设备控制和/或设备查询操作。
进一步的，控制单元具体用于：
基于目标语音平台的指令格式，将目标语音指令转化为目标语音平台下可执行的最终语音指令；
控制目标语音平台基于最终语音指令和整合结果中目标设备的通讯协议，对目标设备执行设备控制和/或设备查询操作。
进一步的，转换模块302具体用于：
根据各候选语音指令的类别，在预设的语音控制配置表或语音查询配置表中进行查询；所述类别为控制类或查询类；
根据查询结果，确定对各候选语音指令的转换策略；所述转换策略为：直接转换策略、默认转换策略、枚举转换策略或数学转换策略。
进一步的，上述装置还用于：
基于各语音平台对应的认证授权方式，分别执行与各语音平台的认证授权操作，以获取对各语音平台的控制权限；
在检测到与各语音平台之间的认证授权完成时，将各个语音平台的不同用户账号进行关联，实现各语音平台账户体系的互通。
进一步的，上述装置还用于：
响应于设备同步请求，感应周围预设范围内的可控设备，以进行主动设备发现，确定发生变化的第一待同步设备；
若检测到语音平台发出的被动发现信息，则确定被动发现信息中记录的发生变化的第二待同步设备；
根据第一待同步设备和第二待同步设备的变化情况，进行设备同步操作，使得本机与各语音平台存储的设备信息一致。
实施例四
图4是本发明实施例四提供的电子设备的结构示意图。图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如语音融合处理方法。
在一些实施例中，语音融合处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的语音融合处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行语音融合处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种语音融合处理方法，其特征在于，由语音融合平台执行，包括：
若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；
确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；
将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作；
其中，根据整合结果对目标设备执行设备控制和/或设备查询操作，包括：确定整合结果中的目标控制指令，并根据目标控制指令的语义信息，以及预设的各语音平台的优势功能，从候选语音平台中确定出目标语音平台；基于整合结果中目标设备的通讯协议，控制目标语音平台对目标设备执行设备控制和/或设备查询操作。
2.根据权利要求1所述的方法，其特征在于，将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，包括：
确定目标设备的通讯协议，以及各候选语音指令转换成的标准语音指令的语义信息；
根据语义信息之间的关联性，对各候选语音指令转换成的标准语音指令进行整合，生成目标控制指令，并根据目标控制指令和目标设备的通讯协议，确定整合结果。
3.根据权利要求1所述的方法，其特征在于，控制目标语音平台对目标设备执行设备控制和/或设备查询操作，包括：
基于目标语音平台的指令格式，将目标语音指令转化为目标语音平台下可执行的最终语音指令；
控制目标语音平台基于最终语音指令和整合结果中目标设备的通讯协议，对目标设备执行设备控制和/或设备查询操作。
4.根据权利要求1所述的方法，其特征在于，确定各候选语音指令对应的转换策略，包括：
根据各候选语音指令的类别，在预设的语音控制配置表或语音查询配置表中进行查询；所述类别为控制类或查询类；
根据查询结果，确定对各候选语音指令的转换策略；所述转换策略为：直接转换策略、默认转换策略、枚举转换策略或数学转换策略。
5.根据权利要求1所述的方法，其特征在于，获取各个语音平台对音频指令进行处理后生成的候选语音指令之前，还包括：
基于各语音平台对应的认证授权方式，分别执行与各语音平台的认证授权操作，以获取对各语音平台的控制权限；
在检测到与各语音平台之间的认证授权完成时，将各个语音平台的不同用户账号进行关联，实现各语音平台账户体系的互通。
6.根据权利要求1所述的方法，其特征在于，获取各个语音平台对音频指令进行处理后生成的候选语音指令之前，还包括：
响应于设备同步请求，感应周围预设范围内的可控设备，以进行主动设备发现，确定发生变化的第一待同步设备；
若检测到语音平台发出的被动发现信息，则确定被动发现信息中记录的发生变化的第二待同步设备；
根据第一待同步设备和第二待同步设备的变化情况，进行设备同步操作，使得本机与各语音平台存储的设备信息一致。
7.一种语音融合处理装置，其特征在于，配置于语音融合平台中，包括：
获取模块，用于若检测到对目标设备的音频指令，则获取各个语音平台对音频指令进行处理后生成的候选语音指令；
转换模块，用于确定各候选语音指令对应的转换策略，并基于所述转换策略，将各候选语音指令转换为对应的标准语音指令；
控制模块，用于将各候选语音指令转换成的标准语音指令进行整合，确定整合结果，并根据整合结果对目标设备执行设备控制和/或设备查询操作；
其中，控制模块包括：平台确定单元，用于确定整合结果中的目标控制指令，并根据目标控制指令的语义信息，以及预设的各语音平台的优势功能，从候选语音平台中确定出目标语音平台；控制单元，用于基于整合结果中目标设备的通讯协议，控制目标语音平台对目标设备执行设备控制和/或设备查询操作。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的语音融合处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的语音融合处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311475017.8A CN117198292B (zh) | 2023-11-08 | 2023-11-08 | 一种语音融合处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311475017.8A CN117198292B (zh) | 2023-11-08 | 2023-11-08 | 一种语音融合处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117198292A CN117198292A (zh) | 2023-12-08 |
| CN117198292B true CN117198292B (zh) | 2024-02-02 |
Family
ID=88996509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311475017.8A Active CN117198292B (zh) | 2023-11-08 | 2023-11-08 | 一种语音融合处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117198292B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109671421A (zh) * | 2018-12-25 | 2019-04-23 | 苏州思必驰信息科技有限公司 | 离线导航的定制和实现方法及装置 |
| CN109710727A (zh) * | 2017-10-26 | 2019-05-03 | 哈曼国际工业有限公司 | 用于自然语言处理的系统和方法 |
| CN109767758A (zh) * | 2019-01-11 | 2019-05-17 | 中山大学 | 车载语音分析方法、系统、存储介质以及设备 |
| CN113555013A (zh) * | 2020-04-23 | 2021-10-26 | 百度在线网络技术（北京）有限公司 | 一种语音交互的方法、装置、电子设备及存储介质 |
| WO2023049866A2 (en) * | 2021-09-24 | 2023-03-30 | Sonos, Inc. | Concurrency rules for network microphone devices having multiple voice assistant services |
| CN116384342A (zh) * | 2022-12-30 | 2023-07-04 | 北京梧桐车联科技有限责任公司 | 语义转换方法、装置、设备、存储介质及计算机程序 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130196293A1 (en) * | 2012-01-31 | 2013-08-01 | Michael C. Wood | Phonic learning using a mobile computing device having motion sensing capabilities |
| KR20210091328A (ko) * | 2020-06-29 | 2021-07-21 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | 애플릿의 음성 제어방법, 기기 및 저장매체 |
| US20230215430A1 (en) * | 2022-01-04 | 2023-07-06 | International Business Machines Corporation | Contextual attention across diverse artificial intelligence voice assistance systems |
-
2023
- 2023-11-08 CN CN202311475017.8A patent/CN117198292B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109710727A (zh) * | 2017-10-26 | 2019-05-03 | 哈曼国际工业有限公司 | 用于自然语言处理的系统和方法 |
| KR20190046631A (ko) * | 2017-10-26 | 2019-05-07 | 하만인터내셔날인더스트리스인코포레이티드 | 자연어 프로세싱을 위한 시스템 및 방법 |
| CN109671421A (zh) * | 2018-12-25 | 2019-04-23 | 苏州思必驰信息科技有限公司 | 离线导航的定制和实现方法及装置 |
| CN109767758A (zh) * | 2019-01-11 | 2019-05-17 | 中山大学 | 车载语音分析方法、系统、存储介质以及设备 |
| CN113555013A (zh) * | 2020-04-23 | 2021-10-26 | 百度在线网络技术（北京）有限公司 | 一种语音交互的方法、装置、电子设备及存储介质 |
| WO2023049866A2 (en) * | 2021-09-24 | 2023-03-30 | Sonos, Inc. | Concurrency rules for network microphone devices having multiple voice assistant services |
| CN116384342A (zh) * | 2022-12-30 | 2023-07-04 | 北京梧桐车联科技有限责任公司 | 语义转换方法、装置、设备、存储介质及计算机程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117198292A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6965384B2 (ja) | スマート機器ウェイクアップ方法、スマート機器、及びコンピュータ可読記憶媒体 | |
| US10185534B2 (en) | Control method, controller, and recording medium | |
| US10284705B2 (en) | Method and apparatus for controlling smart device, and computer storage medium | |
| US9577692B2 (en) | Subscriber identification module management method and electronic device supporting the same | |
| EP3561643B1 (en) | Method and terminal for implementing voice control | |
| CN112929246B (zh) | 操作指令的处理方法、存储介质及用户终端 | |
| CN108683574A (zh) | 一种设备控制方法、服务器和智能家居系统 | |
| CN112335204B (zh) | 由助理客户端设备本地控制和/或注册智能设备 | |
| US11721343B2 (en) | Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same | |
| US20160117184A1 (en) | Flexible device templates for connected consumer devices | |
| US10929009B2 (en) | Electronic device for outputting graphic indication | |
| CN117198292B (zh) | 一种语音融合处理方法、装置、设备及介质 | |
| CN113593555A (zh) | 通过语音方式控制程序的方法、设备及程序产品 | |
| CN113434218A (zh) | 微服务配置方法、装置、电子设备和介质 | |
| CN113012695A (zh) | 智能控制方法、装置、电子设备及计算机可读存储介质 | |
| CN113110883B (zh) | 区块链系统的启动方法、装置、设备和存储介质 | |
| CN113253995B (zh) | 区块链系统的开发方法、装置、设备和存储介质 | |
| JP7413611B1 (ja) | ライト制御のためのユーザコマンドに関するより適切な入力モダリティの選択 | |
| WO2024002810A1 (en) | Determining access rights for a component based on username inclusion in the component's name | |
| CN114579494A (zh) | 一种接口调用方法、装置、设备及介质 | |
| CN116182215A (zh) | 智能化吸油烟机控制方法、装置、终端设备及存储介质 | |
| CN115456602A (zh) | 一种会议室管理方法、装置、设备及介质 | |
| CN116631396A (zh) | 控件的显示方法、装置、电子设备及介质 | |
| CN117616724A (zh) | 用于在物联网（iot）环境中控制远程设备的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |