CN110716706A - 智能人机交互指令转换方法及系统 - Google Patents

智能人机交互指令转换方法及系统 Download PDF

Info

Publication number
CN110716706A
CN110716706A CN201911046204.8A CN201911046204A CN110716706A CN 110716706 A CN110716706 A CN 110716706A CN 201911046204 A CN201911046204 A CN 201911046204A CN 110716706 A CN110716706 A CN 110716706A
Authority
CN
China
Prior art keywords
sensor
instruction
semantic
instruction set
atomic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911046204.8A
Other languages
English (en)
Other versions
CN110716706B (zh
Inventor
姜维
沈世星
王志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Water Resources and Electric Power
Original Assignee
North China University of Water Resources and Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Water Resources and Electric Power filed Critical North China University of Water Resources and Electric Power
Priority to CN201911046204.8A priority Critical patent/CN110716706B/zh
Publication of CN110716706A publication Critical patent/CN110716706A/zh
Application granted granted Critical
Publication of CN110716706B publication Critical patent/CN110716706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种智能人机交互指令转换方法及系统，其中，智能人机交互指令转换方法包括：获取多源传感器中任一传感器的传感器信息，所述传感器信息包括所述任一传感器的标识信息以及所述任一传感器捕获到的数据；对所述传感器信息进行语义识别和分析，以将所述传感器信息转换为语义指令；获取所述语义指令对应的目标原子指令集，以基于所述目标原子指令集完成对家居家电的调控。通过本发明的技术方案，提高了智能家居和家电的人机交互的便捷性，降低操作的复杂程度。

Description

智能人机交互指令转换方法及系统
技术领域
本发明涉及智能家居技术领域，具体而言，涉及一种智能人机交互指令转换方法和一种智能人机交互指令转换系统。
背景技术
随着技术的发展，智能家电与智能家居系统有了极大的发展，但是智能家电的控制大多数停留在物理控制（具体依靠用户手动近距离操作机械或电子元器件完成控制），或者无线控制阶段（通过接入网络使用智能终端进行控制），有一些设备可以通过用户的语义指令完成智能家居与智能家电的控制（如智能音箱）。未来对智能家具与智能家电的语义控制将成为一种非常重要的方式，语义控制的指令来源并不只有一种（通常包括音频、视频、手势信号或人体传感器），但最终都要转换为电子指令用于控制家居和家电。当前情况，每种传感器语义指令都需要单独设置控制逻辑与系统，重用性差，缺乏灵活与扩展性，使得人机交互过程比较繁杂。
发明内容
本发明正是基于上述技术问题至少之一，提出了一种新的智能人机交互指令转换方案，提高了智能家居和家电的人机交互的便捷性，降低操作的复杂程度。
有鉴于此，本发明提出了一种新的智能人机交互指令转换方法，包括：获取多源传感器中任一传感器的传感器信息，所述传感器信息包括所述任一传感器的标识信息以及所述任一传感器捕获到的数据；对所述传感器信息进行语义识别和分析，以将所述传感器信息转换为语义指令；获取所述语义指令对应的目标原子指令集，以基于所述目标原子指令集完成对家居家电的调控。
在上述技术方案中，优选地，所述获取所述语义指令对应的目标原子指令集的步骤，具体包括：从预定义的指令转换字典中查找与所述语义指令对应的原子指令集，并将其作为所述目标原子指令集，其中，所述指令转换字典中存储多个预设语义指令，以及每个预设语义指令与原子指令集之间的关联关系。
在上述任一项技术方案中，优选地，还包括：若所述任一传感器为新增传感器，则构建所述任一传感器的语义指令与原子指令集之间的关联关系，并添加至所述指令转换字典。
在上述任一项技术方案中，优选地，所述任一传感器的标识信息包括所述任一传感器的名称及类型以及在网络中的地址。
根据本发明的第二方面，提出了一种智能人机交换指令转换系统，包括：注册轮询模块，用于获取多源传感器中任一传感器的传感器信息，所述传感器信息包括所述任一传感器的标识信息以及所述任一传感器捕获到的数据；识别模块，用于对所述传感器信息进行语义识别和分析，以将所述传感器信息转换为语义指令；指令转换模块，用于获取所述语义指令对应的目标原子指令集，以基于所述目标原子指令集完成对家居家电的调控。
在上述技术方案中，优选地，所述指令转换模块具体用于：从预定义的指令转换字典中查找与所述语义指令对应的原子指令集，并将其作为所述目标原子指令集，其中，所述指令转换字典中存储多个预设语义指令，以及每个预设语义指令与原子指令集之间的关联关系。
在上述任一项技术方案中，优选地，所述识别模块还用于若所述任一传感器为新增传感器，则构建所述任一传感器的语义指令与原子指令集之间的关联关系，并添加至所述指令转换字典。
在上述任一项技术方案中，优选地，所述任一传感器的标识信息包括所述任一传感器的名称及类型以及在网络中的地址。
通过以上技术方案，在获取到任一传感器的传感器信息时，对传感器信息进行识别以及转化，转化成语义信息，并基于语义信息查找相应的原子指令集，基于原子指令集完成对家居家电的调控，无需再针对每种传感器语义指令单独设置控制逻辑与系统，增加了灵活与扩展性，提高了智能家居和家电的人机交互的便捷性，降低操作的复杂程度。
附图说明
图1示出了根据本发明的实施例的智能人机交互指令转换方法的示意流程图；
图2示出了根据本发明的实施例的智能人机交互指令转换系统的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示，根据本发明的实施例的智能人机交互指令转换方法，包括：
步骤102，获取多源传感器中任一传感器的传感器信息，传感器信息包括任一传感器的标识信息以及任一传感器捕获到的数据。其中，任一传感器的标识信息包括任一传感器的名称及类型以及在网络中的地址。多源传感器包括声音传感器、视频传感器、手势传感器、人体传感器等。
步骤104，对传感器信息进行语义识别和分析，以将传感器信息转换为语义指令。具体地，不同的传感器信息对应不用识别算法，利用该传感器信息对应的识别算法对其进行分析，得到语义指令。具体地，对于声音传感器获取到的信息（如“开灯”语音信息），通过已经训练好的前馈与循环神经网络模型将“开灯”的语音信号转换为“打开照明”的语义指令，对于视频传感器获取到的信息（如“前臂上指”的视频信号），可通过已经训练好的卷积深度神经网络将“前臂上指”的视频信号转换为“打开照明”的语义指令，对于手势传感器获取到的信息（“手指平画”的手势信号），可通过相应已训练好的算法模型将“手指平画”转换为“打开照明”的语义指令等等。
步骤106，获取语义指令对应的目标原子指令集，以基于目标原子指令集完成对家居家电的调控。
具体地，从预定义的指令转换字典中查找与语义指令对应的原子指令集，并将其作为目标原子指令集，其中，指令转换字典中存储多个预设语义指令，以及每个预设语义指令与原子指令集之间的关联关系。
进一步地，还包括：若任一传感器为新增传感器，则构建任一传感器的语义指令与原子指令集之间的关联关系，并添加至指令转换字典。
如图2所示，根据本发明的实施例的智能人机交换指令转换系统200包括：注册轮询模块202、识别模块204及指令转换模块206。
其中，注册轮询模块202用于获取多源传感器中任一传感器的传感器信息，传感器信息包括任一传感器的标识信息以及任一传感器捕获到的数据，具体地，注册轮询模块202将多种传感器的标识信息记录在设备注册文件中，通过查询设备注册文件轮流向各个传感器获取传感器数据，并将数据传送给识别模块204。注册轮询模块202需要注册新的传感器只需将传感器的标识信息加入设备注册文件即可，传感器的标识信息包括其在网络中的地址、名称与传感器的类型。
识别模块204用于对传感器信息进行语义识别和分析，以将传感器信息转换为语义指令。具体地，识别模块中包含多种不同识别算法，不同识别算法针对不同的传感器类型数据进行分析，最终得到语义指令。具体地，对于声音传感器获取到的信息（如“开灯”语音信息），通过已经训练好的前馈与循环神经网络模型将“开灯”的语音信号转换为“打开照明”的语义指令，对于视频传感器获取到的信息（如“前臂上指”的视频信号），可通过已经训练好的卷积深度神经网络将“前臂上指”的视频信号转换为“打开照明”的语义指令，对于手势传感器获取到的信息（“手指平画”的手势信号），可通过相应已训练好的算法模型将“手指平画”转换为“打开照明”的语义指令等等。
指令转换模块206用于获取语义指令对应的目标原子指令集，以基于目标原子指令集完成对家居家电的调控。多源传感器包括声音传感器、视频传感器、手势传感器、人体传感器等。
进一步地，指令转换模块206具体用于：从预定义的指令转换字典中查找与语义指令对应的原子指令集，并将其作为目标原子指令集，其中，指令转换字典中存储多个预设语义指令，以及每个预设语义指令与原子指令集之间的关联关系。指令转换模块首先需要将智能家居和家电指令分解为不可再分的具有单一功能的原子指令，形成原子指令的集合，再将原子指令按照常用操作形成常用原子指令集合，每一个操作对应一个原子指令集合，最后将识别模块的语义指令与常用原子指令集合形成对应关系，写入指令转换字典。指令转换模块206从识别模块204中得到语义指令，再从指令转换字典中查询该语义指令对应的原子指令集，并将电气指令发给智能网关，完成智能家居家电的控制，指令转换字典中信息包含传感器名称、语义指令名称、智能家居名称与对应的原子指令集。
进一步地，识别模块204还用于若任一传感器为新增传感器，则构建任一传感器的语义指令与原子指令集之间的关联关系，并添加至指令转换字典。当注册轮询模块202增添了新的传感器类型，识别模块204也需要增加新对应的识别算法，同时需要将相应的识别算法信息加入识别算法文件，识别算法信息包含传感器名称、传感器类型与传感器对应算法名称。
上述实现指令转换的过程，无需再针对每种传感器语义指令单独设置控制逻辑与系统，增加了灵活与扩展性，提高了智能家居和家电的人机交互的便捷性，降低操作的复杂程度。
上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种智能人机交换指令转换方法，其特征在于，包括：
获取多源传感器中任一传感器的传感器信息，所述传感器信息包括所述任一传感器的标识信息以及所述任一传感器捕获到的数据；
对所述传感器信息进行语义识别和分析，以将所述传感器信息转换为语义指令；
获取所述语义指令对应的目标原子指令集，以基于所述目标原子指令集完成对家居家电的调控。
2.根据权利要求1所述的智能人机交换指令转换方法，其特征在于，所述获取所述语义指令对应的目标原子指令集的步骤，具体包括：
从预定义的指令转换字典中查找与所述语义指令对应的原子指令集，并将其作为所述目标原子指令集，其中，所述指令转换字典中存储多个预设语义指令，以及每个预设语义指令与原子指令集之间的关联关系。
3.根据权利要求2所述的智能人机交换指令转换方法，其特征在于，还包括：
若所述任一传感器为新增传感器，则构建所述任一传感器的语义指令与原子指令集之间的关联关系，并添加至所述指令转换字典。
4.根据权利要求1所述的智能人机交换指令转换方法，其特征在于，所述任一传感器的标识信息包括所述任一传感器的名称及类型以及在网络中的地址。
5.一种智能人机交换指令转换系统，其特征在于，包括：
注册轮询模块，用于获取多源传感器中任一传感器的传感器信息，所述传感器信息包括所述任一传感器的标识信息以及所述任一传感器捕获到的数据；
识别模块，用于对所述传感器信息进行语义识别和分析，以将所述传感器信息转换为语义指令；
指令转换模块，用于获取所述语义指令对应的目标原子指令集，以基于所述目标原子指令集完成对家居家电的调控。
6.根据权利要求5所述的智能人机交换指令转换系统，其特征在于，所述指令转换模块具体用于：
从预定义的指令转换字典中查找与所述语义指令对应的原子指令集，并将其作为所述目标原子指令集，其中，所述指令转换字典中存储多个预设语义指令，以及每个预设语义指令与原子指令集之间的关联关系。
7.根据权利要求6所述的智能人机交换指令转换系统，其特征在于，所述识别模块，还用于若所述任一传感器为新增传感器，则构建所述任一传感器的语义指令与原子指令集之间的关联关系，并添加至所述指令转换字典。
8.根据权利要求5所述的智能人机交换指令转换系统，其特征在于，所述任一传感器的标识信息包括所述任一传感器的名称及类型以及在网络中的地址。
CN201911046204.8A 2019-10-30 2019-10-30 智能人机交互指令转换方法及系统 Active CN110716706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046204.8A CN110716706B (zh) 2019-10-30 2019-10-30 智能人机交互指令转换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046204.8A CN110716706B (zh) 2019-10-30 2019-10-30 智能人机交互指令转换方法及系统

Publications (2)

Publication Number Publication Date
CN110716706A true CN110716706A (zh) 2020-01-21
CN110716706B CN110716706B (zh) 2023-11-14

Family

ID=69213529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046204.8A Active CN110716706B (zh) 2019-10-30 2019-10-30 智能人机交互指令转换方法及系统

Country Status (1)

Country Link
CN (1) CN110716706B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556141A (zh) * 2020-04-26 2020-08-18 重庆市勘测院 基于Json数据片的智能网关数据采集系统及方法
CN112904747A (zh) * 2021-01-29 2021-06-04 成都视海芯图微电子有限公司 一种基于智能感知的控制系统及控制方法
CN114267404A (zh) * 2022-03-03 2022-04-01 深圳佰维存储科技股份有限公司 eMMC测试方法、装置、可读存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298443A (zh) * 2011-06-24 2011-12-28 华南理工大学 结合视频通道的智能家居语音控制系统及其控制方法
CN103200254A (zh) * 2013-03-27 2013-07-10 江苏航天智联信息科技发展有限公司 一种面向水利物联网的多源异构数据的获取与传输方法
CN105137789A (zh) * 2015-08-28 2015-12-09 青岛海尔科技有限公司 一种智能物联家电的控制方法、装置及相关设备
WO2016058367A1 (zh) * 2014-10-15 2016-04-21 珠海格力电器股份有限公司 智能家居控制系统
WO2016145797A1 (zh) * 2015-07-20 2016-09-22 中兴通讯股份有限公司 智能家居控制方法、装置及系统
CN106325095A (zh) * 2016-10-25 2017-01-11 广州华睿电子科技有限公司 一种智能语音管家机器人系统
CN108604236A (zh) * 2015-10-30 2018-09-28 康维达无线有限责任公司 语义物联网的restful操作
CN108803879A (zh) * 2018-06-19 2018-11-13 驭势（上海）汽车科技有限公司 一种人机交互系统的预处理方法、设备及存储介质
US20190122046A1 (en) * 2017-10-24 2019-04-25 Google Llc Sensor Based Semantic Object Generation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298443A (zh) * 2011-06-24 2011-12-28 华南理工大学 结合视频通道的智能家居语音控制系统及其控制方法
CN103200254A (zh) * 2013-03-27 2013-07-10 江苏航天智联信息科技发展有限公司 一种面向水利物联网的多源异构数据的获取与传输方法
WO2016058367A1 (zh) * 2014-10-15 2016-04-21 珠海格力电器股份有限公司 智能家居控制系统
WO2016145797A1 (zh) * 2015-07-20 2016-09-22 中兴通讯股份有限公司 智能家居控制方法、装置及系统
CN105137789A (zh) * 2015-08-28 2015-12-09 青岛海尔科技有限公司 一种智能物联家电的控制方法、装置及相关设备
CN108604236A (zh) * 2015-10-30 2018-09-28 康维达无线有限责任公司 语义物联网的restful操作
CN106325095A (zh) * 2016-10-25 2017-01-11 广州华睿电子科技有限公司 一种智能语音管家机器人系统
US20190122046A1 (en) * 2017-10-24 2019-04-25 Google Llc Sensor Based Semantic Object Generation
CN108803879A (zh) * 2018-06-19 2018-11-13 驭势（上海）汽车科技有限公司 一种人机交互系统的预处理方法、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴志勇等: "基于语义推理的智能家居系统研究", 《电视技术》 *
吴志勇等: "基于语义推理的智能家居系统研究", 《电视技术》, vol. 40, no. 07, 17 July 2016 (2016-07-17), pages 40 - 44 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556141A (zh) * 2020-04-26 2020-08-18 重庆市勘测院 基于Json数据片的智能网关数据采集系统及方法
CN112904747A (zh) * 2021-01-29 2021-06-04 成都视海芯图微电子有限公司 一种基于智能感知的控制系统及控制方法
CN114267404A (zh) * 2022-03-03 2022-04-01 深圳佰维存储科技股份有限公司 eMMC测试方法、装置、可读存储介质及电子设备

Also Published As

Publication number Publication date
CN110716706B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN110716706B (zh) 智能人机交互指令转换方法及系统
CN108447480B (zh) 智能家居设备控制的方法、智能语音终端和网络设备
JP6667931B2 (ja) 音声情報から時間情報を認識するための方法およびデバイス
CN107515900B (zh) 智能机器人及其事件备忘系统和方法
CN106647311B (zh) 智能中控系统、设备、服务器及智能设备控制方法
CN107688329B (zh) 智能家居控制方法和智能家居控制系统
CN102902664B (zh) 一种智能终端上的人工智能自然语言运行系统
CN105629750A (zh) 一种智能家居控制方法及系统
CN111462741B (zh) 语音数据处理方法、装置及存储介质
CN109308159A (zh) 智能设备控制方法、装置、系统、电子设备及存储介质
CN105550361B (zh) 日志处理方法及装置和问答信息处理方法及装置
CN102819751A (zh) 一种基于动作识别的人机互动方法及装置
CN113990324A (zh) 一种语音智能家居控制系统
CN110531632A (zh) 控制方法及系统
CN104134339A (zh) 语音遥控方法和装置
CN108320740A (zh) 一种语音识别方法、装置、电子设备及存储介质
CN103036988A (zh) 一种物联网演示控制系统及控制方法
CN105373720B (zh) 一种应用于移动终端的模块控制方法及装置
CN101072259A (zh) 信息提示方法、设备控制方法、设备控制系统及通讯系统
WO2018023514A1 (zh) 一种家居背景音乐控制系统
WO2018023523A1 (zh) 一种运动及情感识别家居控制系统
CN103369383A (zh) 空间遥控器的控制方法、装置、空间遥控器及多媒体终端
CN109361944A (zh) 具有语言识别功能的遥控器
WO2018023518A1 (zh) 一种语音交互识别智能终端
CN104062910A (zh) 命令生成装置、设备的智能控制方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant