CN118158012A - 组合命令的确定方法和装置、存储介质及电子装置 - Google Patents

组合命令的确定方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN118158012A
CN118158012A CN202410345388.2A CN202410345388A CN118158012A CN 118158012 A CN118158012 A CN 118158012A CN 202410345388 A CN202410345388 A CN 202410345388A CN 118158012 A CN118158012 A CN 118158012A
Authority
CN
China
Prior art keywords
control command
information
action
determining
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410345388.2A
Other languages
English (en)
Inventor
宁乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Haier Uplus Intelligent Technology Beijing Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Haier Uplus Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd, Haier Uplus Intelligent Technology Beijing Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202410345388.2A priority Critical patent/CN118158012A/zh
Publication of CN118158012A publication Critical patent/CN118158012A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种组合命令的确定方法和装置、存储介质及电子装置，涉及智慧家庭技术领域，该组合命令的确定方法包括：解析第一用户发送的语音信息，以获取语音信息中的第一动作信息和控制命令信息，其中，第一动作信息用于指示用户的第一动作信息，控制命令信息用于指示用户控制执行设备的信息；确定与第一动作信息相匹配的目标动作图像，以及确定控制命令信息对应的目标控制命令；将目标动作图像和目标控制命令进行关联，以确定目标动作图像和目标控制命令的第一组合命令。采用上述技术方案，解决了现有技术中需要通过用户在APP端自行设置快捷按键或者手势命令以控制智能家电设备，设置流程过于繁琐的问题。

Description

组合命令的确定方法和装置、存储介质及电子装置
技术领域
本申请涉及智慧家庭技术领域，具体而言，涉及一种组合命令的确定方法和装置、存储介质及电子装置。
背景技术
智能家电设备已经逐渐融入现代家居生活，为提高人们的生活舒适度、减轻家务负担、丰富人们的娱乐做出了巨大的贡献。随着生活节奏的加快，以及用户对生活品质的更高追求，这些因素对智能家电设备使用的便利性的要求提出了新的挑战和要求。以扫地机器人为例，目前对于扫地机器人的控制一般基于应用程序(APPlication，简称为APP)远程操控、语音操控、手势操控等，一些快捷按键的设置或者手势命令需要用户在APP端进行自定义创建。
随着科技的进步和生活节奏的加快，以及老龄用户的增加，用户对于智能家电设备的操作需求由繁入简，要求更加快捷和便利。自定义指令和自定义场景的方式大多依赖用户按APP引导进行操作，需要多个步骤的定义、设置、保存和命名等。当老龄用户使用自定义指令实现自己的需求时往往需要求助于他人或付出学习成本；年轻用户在繁忙的工作当中希望更加便捷、快速的实现设备的自定义控制。
也就是说，现有的自定义方式基本都依赖于在APP端按设定流程的引导，通过几个步骤对特有的手势、面容、指令等进行识别、自定义，关联控制命令后保存，储存于本地或云端形成自定义指令。全部的自定义流程需要在手机上进行操作，对手机的依赖性很大，对老龄用户的要求更高。
针对现有技术中需要通过用户在APP端自行设置快捷按键或者手势命令以控制智能家电设备，设置流程过于繁琐的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种组合命令的确定方法和装置、存储介质及电子装置，以至少解决现有技术中需要通过用户在APP端自行设置快捷按键或者手势命令以控制智能家电设备，设置流程过于繁琐的问题。
根据本申请实施例的一个实施例，提供了一种组合命令的确定方法，包括：解析第一用户发送的语音信息，以获取所述语音信息中的第一动作信息和控制命令信息，其中，所述第一动作信息用于指示用户的第一动作信息，所述控制命令信息用于指示所述用户控制执行设备的信息；确定与所述第一动作信息相匹配的目标动作图像，以及确定所述控制命令信息对应的目标控制命令；将所述目标动作图像和所述目标控制命令进行关联，以确定所述目标动作图像和所述目标控制命令的第一组合命令。
在一个示例性实施例中，确定与所述第一动作信息相匹配的目标动作图像之前，所述方法还包括：获取多个动作图像，其中，所述多个动作图像包括：静态动作图像、动态动作图像；通过图像处理算法对所述多个动作图像中的每个动作图像进行特征提取，以确定所述每个动作图像的第一特征；根据所述每个动作图像以及所述每个动作图像的第一特征确定动作意图集合，其中，所述动作意图集合用于确定所述语音信息与多个目标动作图像的关联关系。
在一个示例性实施例中，根据每个动作图像以及每个动作图像的第一特征确定动作意图集合，包括：确定所述第一特征与预设特征库中的每个标准特征的相似度，以及在多个标准特征中确定所述相似度大于预设阈值的第二特征；根据所述第二特征确定所述每个动作图像的特征值；根据所述特征值确定所述每个动作图像对应的第二动作信息，并根据所述多个动作图像与所述每个动作图像对应的第二动作信息的对应关系确定所述动作意图集合。
在一个示例性实施例中，确定所述控制命令信息对应的目标控制命令，包括：对所述控制命令信息进行分类，以确定所述目标控制命令对应的执行设备，其中，所述执行设备用于执行所述目标控制命令；根据是否云端服务器与所述执行设备具备关联关系确定所述控制命令信息是否有效，其中，所述云端服务器为解析所述语音信息的服务器；在所述控制命令信息有效的情况下，对所述控制命令信息进行解析，以根据解析结果确定所述目标控制命令。
在一个示例性实施例中，根据是否云端服务器与所述执行设备具备关联关系确定所述控制命令信息是否有效，包括：在所述云端服务器与所述执行设备具备关联关系的情况下，确定所述控制命令信息有效；在所述云端服务器与所述执行设备不具备关联关系的情况下，触发报警机制，以指示所述控制命令信息无效，并存储所述控制命令信息与所述执行设备的第二对应关系。
在一个示例性实施例中，在存储所述控制命令信息与所述执行设备的第二对应关系之后，所述方法还包括：确定所述云端服务器的关联范围内是否存在所述执行设备；在所述关联范围内不存在所述执行设备的情况下，实时检测所述关联范围内的设备存在情况；在检测到所述关联范围内存在所述执行设备的情况下，指示所述云端服务器与所述执行设备进行关联，并调用所述第二对应关系，以确定所述第二对应关系中的控制命令有效。
在一个示例性实施例中，在将所述目标动作图像和所述目标控制命令进行关联之后，所述方法还包括：在识别到第二用户的目标动作的情况下，获取动作意图集合，并在所述动作意图集合中确定与所述目标动作相匹配的第一动作图像；在所述第一动作图像与所述目标动作图像一致的情况下，确定是否根据所述第一动作图像成功发送所述目标控制命令；在确定成功根据所述第一动作图像发送所述目标控制命令的情况下，确定所述第一组合命令验证通过；在确定未根据所述第一动作图像发送所述目标控制命令的情况下，将错误信息上传至日志系统，并将所述第一动作图像与所述目标控制命令相关联，以形成所述第一动作图像和所述目标控制命令的第二组合命令。
根据本申请实施例的另一个实施例，还提供了一种组合命令的确定装置，包括：解析模块，用于解析第一用户发送的语音信息，以获取所述语音信息中的第一动作信息和控制命令信息，其中，所述第一动作信息用于指示用户的第一动作信息，所述控制命令信息用于指示所述用户控制执行设备的信息；确定模块，用于确定与所述第一动作信息相匹配的目标动作图像，以及确定所述控制命令信息对应的目标控制命令；关联模块，用于将所述目标动作图像和所述目标控制命令进行关联，以确定所述目标动作图像和所述目标控制命令的第一组合命令。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述组合命令的确定方法。
根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的组合命令的确定方法。
在本申请实施例中，解析第一用户发送的语音信息，以获取用于指示用户的动作信息的第一动作信息，以及用于指示用户控制执行设备的信息的控制命令信息。进一步的，确定与第一动作信息相匹配的目标动作图像，以及确定控制命令信息对应的目标控制命令。将目标动作图像和目标控制命令进行关联，以形成目标动作图像与目标控制命令的第一组合命令。也就是说，通过语音信息解析出语音信息中的第一动作信息和控制命令信息。根据第一动作信息和控制命令信息确定目标动作图像和目标控制命令，将目标动作图像和目标控制命令进行关联，以形成第一组合命令。采用上述技术方案，解决了现有技术中需要通过用户在APP端自行设置快捷按键或者手势命令以控制智能家电设备，设置流程过于繁琐的问题，进而可以达到设置流程简单，不需要用户的过多设置即可完成的技术效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例的一种组合命令的确定方法的硬件环境示意图；
图2是根据本申请实施例的组合命令的确定方法的流程图；
图3是根据本申请实施例的智能生成自定义手势命令的方法的基本流程图；
图4是根据本申请实施例的智能生成自定义手势命令的方法的示意图；
图5是根据本申请实施例的对手势的分析存储过程示意图；
图6是根据本申请实施例的一种组合命令的确定装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种组合命令的确定方法。该组合命令的确定方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(Intelligence House)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述组合命令的确定方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。图1是本申请实施例的一种组合命令的确定方法的硬件环境示意图，如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
在本实施例中提供了一种组合命令的确定方法，应用于上述终端设备，图2是根据本申请实施例的组合命令的确定方法的流程图，该流程包括如下步骤：
步骤S202，解析第一用户发送的语音信息，以获取所述语音信息中的第一动作信息和控制命令信息，其中，所述第一动作信息用于指示用户的第一动作信息，所述控制命令信息用于指示所述用户控制执行设备的信息；
举例来讲，在上述“语音信息”为“当我比耶的时候，去扫地”的情况下，第一动作信息为“比耶”；控制命令信息为“去扫地”。
步骤S204，确定与所述第一动作信息相匹配的目标动作图像，以及确定所述控制命令信息对应的目标控制命令；
上述目标动作图像的数量为一个或者多个，本申请实施例对比不做限定。
步骤S206，将所述目标动作图像和所述目标控制命令进行关联，以确定所述目标动作图像和所述目标控制命令的第一组合命令。
通过上述步骤，解析第一用户发送的语音信息，以获取用于指示用户的动作信息的第一动作信息，以及用于指示用户控制执行设备的信息的控制命令信息。进一步的，确定与第一动作信息相匹配的目标动作图像，以及确定控制命令信息对应的目标控制命令。将目标动作图像和目标控制命令进行关联，以形成目标动作图像与目标控制命令的第一组合命令。也就是说，通过语音信息解析出语音信息中的第一动作信息和控制命令信息。根据第一动作信息和控制命令信息确定目标动作图像和目标控制命令，将目标动作图像和目标控制命令进行关联，以形成第一组合命令。采用上述技术方案，解决了现有技术中需要通过用户在APP端自行设置快捷按键或者手势命令以控制智能家电设备，设置流程过于繁琐的问题。进而可以达到设置流程简单，不需要用户的过多设置即可完成的技术效果。
可选地，在上述步骤S204的确定与所述第一动作信息相匹配的目标动作图像之前，所述方法还包括：获取多个动作图像，其中，所述多个动作图像包括：静态动作图像、动态动作图像；通过图像处理算法对所述多个动作图像中的每个动作图像进行特征提取，以确定所述每个动作图像的第一特征；根据每个动作图像以及每个动作图像的第一特征确定动作意图集合，其中，所述动作意图集合用于确定所述语音信息与所述多个目标动作图像的关联关系。
上述多个动作图像可以包括静态动作图像和动态动作图像，例如：静态的比心图像和动态的比心图像，其中，静态动作图像/动态动作图像可以包含多种，即不同用户在作表达同一个含义的动作可能不同，这就需要获取多种代表同一个含义的图像。例如：双手比心和单手比心等。
进一步的，通过图像识别和特征提取的方法对多个动作图像进行图像识别和特征提取，确定多个动作图像的第一特征。
其中，根据每个动作图像以及每个动作图像的第一特征确定动作意图集合，包括：确定所述第一特征与预设特征库中的每个标准特征的相似度，以及在多个标准特征中确定所述相似度大于预设阈值的第二特征；根据所述第二特征确定所述每个动作图像的特征值；根据所述特征值确定所述每个动作图像对应的第二动作信息，并根据所述多个动作图像与所述每个动作图像对应的第二动作信息的对应关系确定所述动作意图集合。
在确定多个动作图像中每个动作图像的第一特征之后，可以通过将第一特征与预设特征库中的每个标准特征作对比，以确定第一特征与标准特征的相似度。也就是说，多个动作图像中可能对存在部分动作图像并不是标准图像或者部分动作图像并不清晰等情况，因此，上述将第一特征与标准特征作对比的技术方案可以看作是一个筛选的过程，进而可能防止在将动作图像与目标控制命令进行关联的过程中，系统不能准确识别动作图像的含义的情况。
进一步的，根据实际情况确定一个预设阈值，确定第一特征中与标准特征的相似度大于预设阈值的第二特征，进而确定每个动作图像的第二动作信息，并确定动作意图集合。其中，预设阈值可以根据实际应用具体设定，例如：80％、85％等。
可选的，确定所述控制命令信息对应的目标控制命令，包括：对所述控制命令信息进行分类，以确定所述目标控制命令对应的执行设备，其中，所述执行设备用于执行所述目标控制命令；根据是否云端服务器与所述执行设备具备关联关系确定所述控制命令信息是否有效，其中，所述云端服务器为解析所述语音信息的服务器；在所述控制命令信息有效的情况下，对所述控制命令信息进行解析，以根据解析结果确定所述目标控制命令。
通过上述方案可知，需要确定目标控制命令对应的执行设备，例如：在目标控制命令是扫地的情况下，对应的执行设备即为扫地机器人，在目标控制命令为刷碗的情况下，对应的执行设备即为刷碗机。
进一步的，需要确定目标设备与云端服务器是否有关联关系，只有在云端服务器与执行设备具有关联关系的情况下，才可以确定控制命令信息有效，进而可以通过本申请的技术方案控制执行设备执行相应的控制命令。
其中，根据是否云端服务器与所述执行设备具备关联关系确定所述控制命令信息是否有效，包括：在所述云端服务器与所述执行设备具备关联关系的情况下，确定所述控制命令信息有效；在所述云端服务器与所述执行设备不具备关联关系的情况下，触发报警机制，以指示所述控制命令信息无效，并存储所述控制命令信息与所述执行设备的第二对应关系。
通过上述技术方案，在云端服务器与执行设备不具备关联关系的情况下，可以存储控制命令信息与执行设备的第二对应关系，以在云端服务器中更新关联关系，即在执行设备与云端服务器进行关联之后，直接调用第二对应关系。
其中，在存储所述控制命令信息与所述执行设备的第二对应关系之后，所述方法还包括：确定所述云端服务器的关联范围内是否存在所述执行设备；在所述关联范围内不存在所述执行设备的情况下，实时检测所述关联范围内的设备存在情况；在检测到所述关联范围内存在所述执行设备的情况下，指示所述云端服务器与所述执行设备进行关联，并调用所述第二对应关系，以确定所述第二对应关系中的控制命令有效。
可以理解的是，在云端服务器与执行设备不存在关联关系的情况，且已经存储控制命令信息与执行设备的第二对应关系的情况下，可以确定云端服务器的关联范围，例如：关联范围为一个家庭，或一个会议室等。可以实时检测关联范围内是否存在执行设备，在关联范围内存在执行设备的情况下，可以询问是否允许云端服务器与执行设备进行关联，进而关联执行设备与云端服务器，调用第二对应关系。在关联范围内不存在关联关系的情况下，检测关联范围内的设备存在情况，以确定执行设备是否添加至关联范围内。
在将所述目标动作图像和所述目标控制命令进行关联之后，所述方法还包括：在识别到第二用户的目标动作的情况下，获取动作意图集合，并在所述动作意图集合中确定与所述目标动作相匹配的第一动作图像；在所述第一动作图像与所述目标动作图像一致的情况下，确定是否根据所述第一动作图像成功发送所述目标控制命令；在确定成功根据所述第一动作图像发送所述目标控制命令的情况下，确定所述第一组合命令验证通过；在确定未根据所述第一动作图像发送所述目标控制命令的情况下，将错误信息上传至日志系统，并将所述第一动作图像与所述目标控制命令相关联，以形成所述第一动作图像和所述目标控制命令的第二组合命令。
在识别到第二用户的目标动作的情况下，可以通过目标动作对第一组合命令进行验证，在通过第一动作成功执行第一组合命令中的控制命令的情况下，确定验证通过。在验证未通过的情况下，可以上传错误信息，进而形成用于识别目标动作的第二组合命令。
为了更好的理解上述组合命令的确定方法的过程，以下再结合可选实施例对上述组合命令的确定的实现方法流程进行说明，但不用于限定本申请实施例的技术方案。
在本实施例中提供了一种智能生成自定义手势命令的方法，仅需用户对设备或APP口语化说出使用的手势描述以及使用此手势时的命令(如，我比个5的时候就开始打扫卫生)，即可完成用户端的操作，经云端处理和计算后形成手势自定义命令，经用户确认后确定手势自定义命令校验通过，后续用户进行对设备出示相应的手势即可控制设备进行工作。
图3是根据本申请实施例的智能生成自定义手势命令的方法的基本流程图，图4是根据本申请实施例的智能生成自定义手势命令的方法的示意图，如图3、图4所示，具体如下步骤：
步骤S301，用户输入，例如：“我比个耶开始打扫卫生”；
用户录入的语音语料需要包含两个部分的必要内容，即步骤S302-1的手势描述和步骤S302-2的控制命令。录入预料后上传至云端对语料进行拆分，并行解析。
步骤S302-1，手势描述意图解析：“比个耶”；
步骤S302-2，控制命令意图解析：“开始打扫卫生”；
对语料的意图解析过程可以在后台进行调整和训练，由于使用数据的增加和模型训练，意图解析的准确率和效率会更加准确和高效。
步骤S303-1，对比手势意图集合，映射手势图片；
步骤S303-2，控制命令意图，启动扫地机指令；
步骤S304-1，解析出手势图片；
图5是根据本申请实施例的对手势的分析存储过程示意图，如图5所示：在云端服务器中会录入大量的动态图片(即本申请的动态动作图像)、静态图片(即本申请的静态动作图像)，利用图像识别算法对手势图像进行特征点识别，形成描述集合。云端服务器的集合持续性更新迭代，实时对图片进行增量和解析，以解析出最优的图片，根据用户描述的不同，对比出的最优图片可能是多张(即本申请的动作意图集合)，也可能是单张。
步骤S304-2，生成手势自定义命令(即本申请的第一组合命令)；
根据最优图片和控制命令生成手势自定义命令。
步骤S305，二次确认；
在用户确定手势自定义命令与输入意图一致的情况下，确定手势自定义命令通过验证。
步骤S306，设备识别手势，接收指令后执行动作。
进而用户可以直接出示手势，设备(即本申请的执行设备)识别手势后即可下发对应的设备控制命令(即本申请的目标控制命令)。
简化用户自定义流程和步骤，有效减少用户误操作带来的体验感下降的问题，进一步减少软件端容错代码的设计，使得APP占存储空间更小。同时，简化了前端页面的架构，无需引导用户进行流程化的创建规则，页面设计简化，降低了前端的开发成本。进一步的，有效提高了自定义创建的成功率和使用率，缩短了自定义命令的交互时长。在需要变更和算法优化时仅需调整云端，降低对用户造成使用体验的影响。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
图6是根据本申请实施例的一种组合命令的确定装置的结构框图；如图6所示，包括：
解析模块62，用于解析第一用户发送的语音信息，以获取所述语音信息中的第一动作信息和控制命令信息，其中，所述第一动作信息用于指示用户的第一动作信息，所述控制命令信息用于指示所述用户控制执行设备的信息；
确定模块64，用于确定与所述第一动作信息相匹配的目标动作图像，以及确定所述控制命令信息对应的目标控制命令；
关联模块66，用于将所述目标动作图像和所述目标控制命令进行关联，以确定所述目标动作图像和所述目标控制命令的第一组合命令。
通过上述装置，解析第一用户发送的语音信息，以获取用于指示用户的动作信息的第一动作信息，以及用于指示用户控制执行设备的信息的控制命令信息。进一步的，确定与第一动作信息相匹配的目标动作图像，以及确定控制命令信息对应的目标控制命令。将目标动作图像和目标控制命令进行关联，以形成目标动作图像与目标控制命令的第一组合命令。也就是说，通过语音信息解析出语音信息中的第一动作信息和控制命令信息。根据第一动作信息和控制命令信息确定目标动作图像和目标控制命令，将目标动作图像和目标控制命令进行关联，以形成第一组合命令。采用上述技术方案，解决了现有技术中需要通过用户在APP端自行设置快捷按键或者手势命令以控制智能家电设备，设置流程过于繁琐的问题。进而可以达到设置流程简单，不需要用户的过多设置即可完成的技术效果。
在一个示例性实施例中，所述确定模块64，还用于获取多个动作图像，其中，所述多个动作图像包括：静态动作图像、动态动作图像；通过图像处理算法对所述多个动作图像中的每个动作图像进行特征提取，以确定所述每个动作图像的第一特征；根据每个动作图像以及每个动作图像的第一特征确定动作意图集合，其中，所述动作意图集合用于确定所述语音信息与所述多个目标动作图像的关联关系。
在一个示例性实施例中，所述确定模块64，还用于确定所述第一特征与预设特征库中的每个标准特征的相似度，以及在多个标准特征中确定所述相似度大于预设阈值的第二特征；根据所述第二特征确定所述每个动作图像的特征值；根据所述特征值确定所述每个动作图像对应的第二动作信息，并根据所述多个动作图像与所述每个动作图像对应的第二动作信息的对应关系确定所述动作意图集合。
在一个示例性实施例中，所述确定模块64，还用于对所述控制命令信息进行分类，以确定所述目标控制命令对应的执行设备，其中，所述执行设备用于执行所述目标控制命令；根据是否云端服务器与所述执行设备具备关联关系确定所述控制命令信息是否有效，其中，所述云端服务器为解析所述语音信息的服务器；在所述控制命令信息有效的情况下，对所述控制命令信息进行解析，以根据解析结果确定所述目标控制命令。
在一个示例性实施例中，所述确定模块64，还用于在所述云端服务器与所述执行设备具备关联关系的情况下，确定所述控制命令信息有效；在所述云端服务器与所述执行设备不具备关联关系的情况下，触发报警机制，以指示所述控制命令信息无效，并存储所述控制命令信息与所述执行设备的第二对应关系。
在一个示例性实施例中，所述确定模块64，还用于确定所述云端服务器的关联范围内是否存在所述执行设备；在所述关联范围内不存在所述执行设备的情况下，实时检测所述关联范围内的设备存在情况；在检测到所述关联范围内存在所述执行设备的情况下，指示所述云端服务器与所述执行设备进行关联，并调用所述第二对应关系，以确定所述第二对应关系中的控制命令有效。
在一个示例性实施例中，所述关联模块66，还用于在识别到第二用户的目标动作的情况下，获取动作意图集合，并在所述动作意图集合中确定与所述目标动作相匹配的第一动作图像；在所述第一动作图像与所述目标动作图像一致的情况下，确定是否根据所述第一动作图像成功发送所述目标控制命令；在确定成功根据所述第一动作图像发送所述目标控制命令的情况下，确定所述第一组合命令验证通过；在确定未根据所述第一动作图像发送所述目标控制命令的情况下，将错误信息上传至日志系统，并将所述第一动作图像与所述目标控制命令相关联，以形成所述第一动作图像和所述目标控制命令的第二组合命令。
本申请的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，解析第一用户发送的语音信息，以获取所述语音信息中的第一动作信息和控制命令信息，其中，所述第一动作信息用于指示用户的第一动作信息，所述控制命令信息用于指示所述用户控制执行设备的信息；
S2，确定与所述第一动作信息相匹配的目标动作图像，以及确定所述控制命令信息对应的目标控制命令；
S3，将所述目标动作图像和所述目标控制命令进行关联，以确定所述目标动作图像和所述目标控制命令的第一组合命令。
本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，解析第一用户发送的语音信息，以获取所述语音信息中的第一动作信息和控制命令信息，其中，所述第一动作信息用于指示用户的第一动作信息，所述控制命令信息用于指示所述用户控制执行设备的信息；
S2，确定与所述第一动作信息相匹配的目标动作图像，以及确定所述控制命令信息对应的目标控制命令；
S3，将所述目标动作图像和所述目标控制命令进行关联，以确定所述目标动作图像和所述目标控制命令的第一组合命令。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种组合命令的确定方法，其特征在于，包括：
解析第一用户发送的语音信息，以获取所述语音信息中的第一动作信息和控制命令信息，其中，所述第一动作信息用于指示用户的第一动作信息，所述控制命令信息用于指示所述用户控制执行设备的信息；
确定与所述第一动作信息相匹配的目标动作图像，以及确定所述控制命令信息对应的目标控制命令；
将所述目标动作图像和所述目标控制命令进行关联，以确定所述目标动作图像和所述目标控制命令的第一组合命令。
2.根据权利要求1所述的组合命令的确定方法，其特征在于，确定与所述第一动作信息相匹配的目标动作图像之前，所述方法还包括：
获取多个动作图像，其中，所述多个动作图像包括：静态动作图像、动态动作图像；
通过图像处理算法对所述多个动作图像中的每个动作图像进行特征提取，以确定所述每个动作图像的第一特征；
根据所述每个动作图像以及所述每个动作图像的第一特征确定动作意图集合，其中，所述动作意图集合用于确定所述语音信息与多个目标动作图像的关联关系。
3.根据权利要求2所述的组合命令的确定方法，其特征在于，根据每个动作图像以及每个动作图像的第一特征确定动作意图集合，包括：
确定所述第一特征与预设特征库中的每个标准特征的相似度，以及在多个标准特征中确定所述相似度大于预设阈值的第二特征；
根据所述第二特征确定所述每个动作图像的特征值；
根据所述特征值确定所述每个动作图像对应的第二动作信息，并根据所述多个动作图像与所述每个动作图像对应的第二动作信息的对应关系确定所述动作意图集合。
4.根据权利要求1所述的组合命令的确定方法，其特征在于，确定所述控制命令信息对应的目标控制命令，包括：
对所述控制命令信息进行分类，以确定所述目标控制命令对应的执行设备，其中，所述执行设备用于执行所述目标控制命令；
根据是否云端服务器与所述执行设备具备关联关系确定所述控制命令信息是否有效，其中，所述云端服务器为解析所述语音信息的服务器；
在所述控制命令信息有效的情况下，对所述控制命令信息进行解析，以根据解析结果确定所述目标控制命令。
5.根据权利要求4所述的组合命令的确定方法，其特征在于，根据是否云端服务器与所述执行设备具备关联关系确定所述控制命令信息是否有效，包括：
在所述云端服务器与所述执行设备具备关联关系的情况下，确定所述控制命令信息有效；
在所述云端服务器与所述执行设备不具备关联关系的情况下，触发报警机制，以指示所述控制命令信息无效，并存储所述控制命令信息与所述执行设备的第二对应关系。
6.根据权利要求5所述的组合命令的确定方法，其特征在于，在存储所述控制命令信息与所述执行设备的第二对应关系之后，所述方法还包括：
确定所述云端服务器的关联范围内是否存在所述执行设备；
在所述关联范围内不存在所述执行设备的情况下，实时检测所述关联范围内的设备存在情况；
在检测到所述关联范围内存在所述执行设备的情况下，指示所述云端服务器与所述执行设备进行关联，并调用所述第二对应关系，以确定所述第二对应关系中的控制命令有效。
7.根据权利要求1所述的组合命令的确定方法，其特征在于，在将所述目标动作图像和所述目标控制命令进行关联之后，所述方法还包括：
在识别到第二用户的目标动作的情况下，获取动作意图集合，并在所述动作意图集合中确定与所述目标动作相匹配的第一动作图像；
在所述第一动作图像与所述目标动作图像一致的情况下，确定是否根据所述第一动作图像成功发送所述目标控制命令；
在确定成功根据所述第一动作图像发送所述目标控制命令的情况下，确定所述第一组合命令验证通过；
在确定未根据所述第一动作图像发送所述目标控制命令的情况下，将错误信息上传至日志系统，并将所述第一动作图像与所述目标控制命令相关联，以形成所述第一动作图像和所述目标控制命令的第二组合命令。
8.一种组合命令的确定装置，其特征在于，包括：
解析模块，用于解析第一用户发送的语音信息，以获取所述语音信息中的第一动作信息和控制命令信息，其中，所述第一动作信息用于指示用户的第一动作信息，所述控制命令信息用于指示所述用户控制执行设备的信息；
确定模块，用于确定与所述第一动作信息相匹配的目标动作图像，以及确定所述控制命令信息对应的目标控制命令；
关联模块，用于将所述目标动作图像和所述目标控制命令进行关联，以确定所述目标动作图像和所述目标控制命令的第一组合命令。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN202410345388.2A 2024-03-25 2024-03-25 组合命令的确定方法和装置、存储介质及电子装置 Pending CN118158012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410345388.2A CN118158012A (zh) 2024-03-25 2024-03-25 组合命令的确定方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410345388.2A CN118158012A (zh) 2024-03-25 2024-03-25 组合命令的确定方法和装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN118158012A true CN118158012A (zh) 2024-06-07

Family

ID=91301418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410345388.2A Pending CN118158012A (zh) 2024-03-25 2024-03-25 组合命令的确定方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN118158012A (zh)

Similar Documents

Publication Publication Date Title
CN112051743A (zh) 设备控制方法、冲突处理方法、相应的装置及电子设备
CN109377995B (zh) 一种控制设备的方法与装置
CN114911535B (zh) 应用程序组件配置方法、存储介质及电子装置
CN108932947B (zh) 语音控制方法及家电设备
WO2024036694A1 (zh) 控制指令的发送方法、控制装置、存储介质及电子装置
CN114821236A (zh) 智慧家庭环境感知方法、系统、存储介质及电子装置
CN114755931A (zh) 控制指令的预测方法和装置、存储介质及电子装置
CN109343481B (zh) 一种控制设备的方法与设备
CN114915514B (zh) 意图的处理方法和装置、存储介质及电子装置
CN116072113A (zh) 控制指令的确定方法及装置、存储介质及电子装置
CN118158012A (zh) 组合命令的确定方法和装置、存储介质及电子装置
CN116165931A (zh) 智能设备的控制方法和系统、装置、存储介质及电子装置
CN116540556A (zh) 基于用户习惯的设备控制方法及装置
CN115479370A (zh) 一种空调控制方法、装置、设备和空调
CN110970019A (zh) 智能家居系统的控制方法和装置
CN114839901B (zh) 智能设备的控制方法和装置、存储介质及电子装置
CN116364079A (zh) 设备控制方法、装置和存储介质及电子装置
CN117809629B (zh) 基于大模型的交互系统更新方法、装置及存储介质
CN115171699B (zh) 唤醒参数的调整方法和装置、存储介质及电子装置
CN115171702B (zh) 数字孪生声纹特征处理方法、存储介质及电子装置
CN116600172A (zh) 视频播放方法、装置、存储介质及电子装置
CN116303535A (zh) 数据查询方法及装置、存储介质及电子装置
CN116339850A (zh) 目标应用的启动方法和装置、存储介质及电子装置
CN118170038A (zh) 一种智能家居控制方法、控制模型、存储介质及电子装置
CN116312518A (zh) 语音指令的响应方法及装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination