CN117348854A - 基于自然语言对话生成物联网控制流程的方法及装置 - Google Patents
基于自然语言对话生成物联网控制流程的方法及装置 Download PDFInfo
- Publication number
- CN117348854A CN117348854A CN202311178580.9A CN202311178580A CN117348854A CN 117348854 A CN117348854 A CN 117348854A CN 202311178580 A CN202311178580 A CN 202311178580A CN 117348854 A CN117348854 A CN 117348854A
- Authority
- CN
- China
- Prior art keywords
- internet
- things
- control
- user
- control flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012360 testing method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 239000002689 soil Substances 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/33—Intelligent editors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/75—Structural analysis for program understanding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了基于自然语言对话生成物联网控制流程的方法及装置，其中方法包括获取用户输入的文本信息或语音信息，解析所述语音信息成为文本信息；基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本；将所述控制逻辑或所述控制脚本转换为控制流程图，所述控制流程图用于表示对于所述物联网设备控制的自动化任务。本发明通过与用户的交互可以识别用户的控制意图，结合用于物联网设备控制的词库可以自动生成控制物联网设备的流程图，可以降低用户的学习成本，更好地让用户理解自动化流程。
Description
技术领域
本发明涉及软件开发领域，尤其涉及基于自然语言对话生成物联网控制流程的方法及装置。
背景技术
随着近些年物联网技术在国内的迅捷发展，物联网及其相关领域被赋予了更多的科技内涵，在技术手段和管理理念上也引起了革命性变革。家庭物联网系统是智能家居为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。
传统物联网自动化流程需要通过脚本编写或绘制流程图来创建。制定这些流程需要深入的专业知识、对设备的了解以及编程或图形设计技巧。这种门槛较高的设计方式限制了物联网自动化技术的普及和广泛使用。
发明内容
针对上述技术问题，本发明提供了一种基于自然语言对话生成物联网控制流程的方法及装置，可以通过用户与系统的对话自动生成物联网的控制流程。
本发明的第一方面，提供一种基于自然语言对话生成物联网控制流程的方法，包括：
获取用户输入的文本信息或语音信息，解析所述语音信息成为文本信息；
基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本；
将所述控制逻辑或所述控制脚本转换为控制流程图，所述控制流程图用于表示对于所述物联网设备控制的自动化任务。
在一可能的实现方式中，所述的基于自然语言对话生成物联网控制流程的方法，还包括：对所述控制流程图进行分析，并根据分析结果生成模拟测试用例，所述控制流程图包括触发节点与执行节点。
在一可能的实现方式中，所述的基于自然语言对话生成物联网控制流程的方法中，所述控制流程图使用JSON、XML、YAML或TOML中的至少一个描述语言进行存储。
在一可能的实现方式中，所述的基于自然语言对话生成物联网控制流程的方法，还包括，当用户的意图无法由当前部署的物联网设备满足时，从已知的硬件特性库中推荐可以满足用于意图的新物联网设备；其中所述硬件特性库为根据硬件设备编写的驱动描述文件，用以表征硬件设备的基本信息以及其功能节点和工作范围。
在一可能的实现方式中，所述基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本，包括：
利用NLP模型识别所述文本信息并根据所述文本信息中的关键词确定用户的意图，根据所述用户的意图与所述用于物联网设备控制词库生成可读与可执行的控制逻辑或控制脚本；并输出对应所述控制逻辑或所述控制脚本的自然语言用于解释所述控制逻辑或所述控制脚本。
本发明的第二方面，提供一种基于自然语言对话生成物联网控制流程的装置，包括：
获取解析模块，用于获取用户输入的文本信息或语音信息，解析所述语音信息成为文本信息；
逻辑生成模块，用于基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本；
流程生成模块用于将所述控制逻辑或所述控制脚本转换为控制流程图，所述控制流程图用于表示对于所述物联网设备控制的自动化任务。
在一可能的实现方式中，所述的基于自然语言对话生成物联网控制流程的装置，还包括：
测试用例生成模块，用于对所述控制流程图进行分析，并根据分析结果生成模拟测试用例，所述控制流程图包括触发节点与执行节点。
在一可能的实现方式中，所述的基于自然语言对话生成物联网控制流程的装置，还包括：
设备推荐模块，用于当用户的意图无法由当前部署的物联网设备满足时，从已知的硬件特性库中推荐可以满足用于意图的新物联网设备；其中所述硬件特性库为根据硬件设备编写的驱动描述文件，用以表征硬件设备的基本信息以及其功能节点和工作范围。
本发明的第三方面，提供一种电子设备，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如本发明实施例的第一方面所述的基于自然语言对话生成物联网控制流程的方法。
本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如本发明实施例的第一方面所述的基于自然语言对话生成物联网控制流程的方法。
本发明通过与用户的交互可以识别用户的控制意图，结合用于物联网设备控制的词库可以自动生成控制物联网设备的流程图，可以降低用户的学习成本，更好地让用户理解自动化流程；
用户可以通过图形化界面直接对生成的流程图进行调整，使其更符合用户的具体需求。
附图说明
图1为本发明实施例中一种基于自然语言对话生成物联网控制流程的方法的流程示意图。
图2为本发明实施例中一种基于自然语言对话生成物联网控制流程的方法的示意图。
图3为本发明实施例中一种基于自然语言对话生成物联网控制流程的装置的模块示意图。
图4为根据本发明的一个实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了基于自然语言的物联网自动化流程生成方法。用户通过与系统的对话，表达需求和意图。NLP模型对这些输入进行解析，结合已知的物联网设备，生成相应的自动化控制流程图。此外，系统还可以生成相应的测试用例，并在虚拟环境中执行，为用户展示流程的效果。用户可以根据需要继续与系统对话，对流程进行进一步的优化和调整。如果现有的物联网设备不能满足用户的需求，系统还会根据用户的需求推荐新的硬件设备。
具体请参阅图1，本发明提供一种基于自然语言对话生成物联网控制流程的方法，包括：
步骤110：获取用户输入的文本信息或语音信息，解析所述语音信息成为文本信息。
本发明系统支持用户文本输入。对于拥有智能音箱或其他语音设备的用户，还可以通过语音设备与本系统的连接进行语音输入。
例如，使用GPT模型的生成预训练变换器对自然语言进行处理，比如使用GPT-4实现的对于文本信息的解析任务，GPT-4具有更强大的自然语言理解和生成能力。实际使用过程中，可对GPT模型进行Fine-tuning，特别是在物联网(IoT)领域的专业词汇和用法上，以便模型能更准确地理解和解析用户输入。Fine-tuning是指在一个已经训练好的模型基础上，进一步在特定任务上进行训练，从而使模型适应该任务的特定数据和要求。通常情况下，我们会使用一个在大规模数据上预训练的模型作为基础模型，然后在特定的任务上进行fine-tuning，以获得更好的性能。
步骤120：基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本。
在该步骤中，用户的输入数据会经过多个预处理，包括文本清洗、分词和与预先定义的物联网(IoT)设备词库进行匹配。对文本信息进行分词后，可与物联网的词库进行匹配，然后与系统环境中的场所、设备名称、设备功能及用户功能进行比对。当用户输入可纠正时，将自动完成纠正；否则，会通过对话来确认用户输入。其中系统环境中的场所、设备名称、设备功能及用户功能可以提前进行预置，或者根据GPT模型实际训练需求而定。
GPT模型的Transformer Encoder用于理解用户输入的上下文。GPT模型的Transformer Decoder用于生成自动化控制流程的自然语言描述。
在一种实施方式中，GPT模型会识别用户输入中的关键动作词，例如“开”、“关”、“调节”等，与物联网设备相关的参数，例如“灯”，“温度”等。GPT模型根据对文本信息的解析结果，会生成一个初步的自动化的控制逻辑或控制脚本。由GPT模型的Fine-tune将流程逻辑的自然语言描述映像成相应的流程脚本。其中，所述控制流程图使用JSON、XML、YAML或TOML中的至少一个描述语言进行存储，这样可以方便地进行传输、备份以及版本控制。
在本发明的其他实施例中，除了GPT模型外，也可以考虑使用其他NLP模型，如BERT、Transformer等模型。
步骤130：将所述控制逻辑或所述控制脚本转换为控制流程图，所述控制流程图用于表示对于所述物联网设备控制的自动化任务。
在该步骤中，GPT模型中设置一个专门生成流程图的输出层，可在GPT模型中定制可以被添加的输出层，用于生成更为结构化的流程图或脚本。
其中流程图主要由Trigger(触发)和Action(执行)两种节点组成。当Trigger节点在系统中被加载时，它会通过自动化解释引擎动态挂载到消息总线上并监听相应事件。当监听到触发信息时，执行相应的控制逻辑或控制脚本。
与现有技术相比较，用户可以通过简单的自然语言对话创建复杂的物联网自动化流程，极大地降低了技术门槛。用户不再需要深入学习编程或设计技能，只需简单地描述他们的需求。流程图的形式和自然语言描述使得自动化流程更容易被理解和记忆。流程图的存储方式方便了数据的传输和备份，同时也方便了版本控制。本发明可在本地运行，本地运行确保了用户数据的隐私和安全。
进一步地，本发明还可以对控制流程图进行分析以及修改。本发明中基于自然语言对话生成物联网控制流程的方法，还包括：对所述控制流程图进行分析，并根据分析结果生成模拟测试用例，所述控制流程图包括触发节点与执行节点。
具体的，本发明提供一种虚拟环境，其是一个完全模拟的软件环境，可反映实际的物理环境和设备，也可以是完全虚拟的实验环境。本发明通过对流程图进行分析，可以生成大量的模拟测试用例。例如，如果流程图中的Trigger节点涉及温度和时间，模拟测试用例将生成大量的温度变化曲线，并分析输出结果是否与用户输入的自然语言描述匹配。
进一步地，当用户提出的需求无法由当前部署的设备满足时，系统会从所有已知的硬件特性库中推荐可以满足用户需求的新硬件。具体的，当用户的意图无法由当前部署的物联网设备满足时，从已知的硬件特性库中推荐可以满足用于意图的新物联网设备；其中所述硬件特性库为根据硬件设备编写的驱动描述文件，用以表征硬件设备的基本信息以及其功能节点和工作范围。本发明可以针对用户的具体需求推荐最适合的新硬件，从而实现更加精确和高效的自动化控制。
例如，用户希望创建一个自动化流程，以实现家里植物自动浇水的功能。用户的需求可能是：“我希望当土壤湿度低于一定水平，并且当我不在家的时候，系统能自动浇水。”GPT模型首先解析这个需求，识别关键词和参数，比如“土壤湿度”，“不在家”，“自动浇水”。GPT模型然后会检查与用户账户关联的现有物联网设备清单。假设用户已经有一个智能门锁和智能灯泡。GPT模型通过智能门锁的状态用于判断用户是否在家，智能灯泡则与用户的意图无关。GPT模型发现虽然用户有智能门锁，但缺少能够测量土壤湿度和执行浇水任务的设备。在确认现有硬件不能满足用户需求后，GPT模型会生成一个用于测量土壤湿度和执行浇水任务的硬件推荐列表，包括一个智能浇水系统和一个土壤湿度传感器。GPT模型还会解释为什么推荐这些设备，比如：“智能浇水系统可以根据土壤湿度来自动浇水，而土壤湿度传感器则可以提供准确的湿度读数。”通过这种方式，GPT模型不仅能够解析用户的需求，还能推荐适当的新硬件设备以满足这些需求。这种推荐过程是基于模型对物联网设备和其功能的深入理解，以及对用户需求的准确解析。
请参阅图2，本发明还提供一种基于自然语言对话生成物联网控制流程的方法，包括：
步骤210：获取用户输入的文本信息。用户可以手动输入文本文字，也可以利用智能音响等输入语音信息，该语音信息将会被转译为文本文字。
步骤220：利用NLP模型识别所述文本信息并根据所述文本信息中的关键词确定用户的意图，根据所述用户的意图与所述用于物联网设备控制词库生成可读与可执行的控制逻辑或控制脚本。
本发明可利用GPT-4或BERT、Transformer等模型识别文本文字，并根据文本文字中的关键词确定用户的意图。确定用户的意图后则可以相应地选择根据用户意图控制网络网设备。每个物联网设备都有其使用场所、设备名称、设备功能及用户功能等信息，采用物联网设备控制词库表示。物联网设备控制词库与用户输入的文本文字有对应关系，通过这种对应关系可以将用户的意图转换为控制逻辑。比如，用户输入的文本文字中有“打开”、“关闭”等关键词，物联网设备中也对应有“打开”、“关闭”的执行指令，表示为“on”、“off”。通过定制GPT等模型的输出层可以根据上述对应关系生成结构化的控制逻辑或控制脚本。
步骤230：输出对应所述控制逻辑或所述控制脚本的自然语言用于解释所述控制逻辑或所述控制脚本。系统在输出时采用触发条件和执行任务表示，每个控制逻辑或控制脚本都有对应的自然语言描述，这些描述与流程脚本中的变量是一致的。
步骤240：将所述控制逻辑或所述控制脚本转换为控制流程图，所述控制流程图用于表示对于所述物联网设备控制的自动化任务。流程图主要由Trigger和Action两种节点组成。当Trigger节点在系统中被加载时，它会通过自动化解释引擎动态挂载到消息总线上并监听相应事件，当监听到相应事件时执行Action节点对应的控制任务。利用图形化界面，所述控制流程图可展示给用户，用户可以对所述控制流程图进行调节，即改变节点实现。例如Trigger节点不变，改变一个Action为两个Action，即同时执行两个设备控制。采用本发明提供的方法，用户不再需要深入学习编程或设计技能，只需简单地描述他们的需求，且使用流程图的形式和自然语言描述使得自动化流程更容易被理解和记忆。
请参阅图3所示，本发明还提供一种基于自然语言对话生成物联网控制流程的装置，包括：
获取解析模块31，用于获取用户输入的文本信息或语音信息，解析所述语音信息成为文本信息。
逻辑生成模块32，用于基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本。示例地，利用NLP模型识别所述文本信息并根据所述文本信息中的关键词确定用户的意图，根据所述用户的意图与所述用于物联网设备控制词库生成可读与可执行的控制逻辑或控制脚本；并输出对应所述控制逻辑或所述控制脚本的自然语言用于解释所述控制逻辑或所述控制脚本。
流程生成模块33，用于将所述控制逻辑或所述控制脚本转换为控制流程图，所述控制流程图用于表示对于所述物联网设备控制的自动化任务。所述控制流程图使用JSON、XML、YAML或TOML中的至少一个描述语言进行存储。
所述的基于自然语言对话生成物联网控制流程的装置，还包括：
测试用例生成模块34，用于对所述控制流程图进行分析，并根据分析结果生成模拟测试用例，所述控制流程图包括触发节点与执行节点。
所述的基于自然语言对话生成物联网控制流程的装置，还包括：
设备推荐模块35，用于当用户的意图无法由当前部署的物联网设备满足时，从已知的硬件特性库中推荐可以满足用于意图的新物联网设备；其中所述硬件特性库为根据硬件设备编写的驱动描述文件，用以表征硬件设备的基本信息以及其功能节点和工作范围。
如图4所示，本发明还提供一种电子设备，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述基于自然语言对话生成物联网控制流程的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述基于自然语言对话生成物联网控制流程的方法。
可以理解，计算机可读存储介质可以包括：能够携带计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。
在本发明的某些实施方式中，基于自然语言对话生成物联网控制流程的装置可以包括控制器，控制器是一个单片机芯片，集成了处理器、存储器，通信模块等。处理器可以是指控制器包含的处理器。处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明地优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于自然语言对话生成物联网控制流程的方法，其特征在于，包括：
获取用户输入的文本信息或语音信息，解析所述语音信息成为文本信息；
基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本；
将所述控制逻辑或所述控制脚本转换为控制流程图，所述控制流程图用于表示对于所述物联网设备控制的自动化任务。
2.根据权利要求1所述的基于自然语言对话生成物联网控制流程的方法，其特征在于，还包括：对所述控制流程图进行分析，并根据分析结果生成模拟测试用例，所述控制流程图包括触发节点与执行节点。
3.根据权利要求2所述的基于自然语言对话生成物联网控制流程的方法，其特征在于，所述控制流程图使用JSON、XML、YAML或TOML中的至少一个描述语言进行存储。
4.根据权利要求1所述的基于自然语言对话生成物联网控制流程的方法，其特征在于，还包括，当用户的意图无法由当前部署的物联网设备满足时，从已知的硬件特性库中推荐可以满足用于意图的新物联网设备；其中所述硬件特性库为根据硬件设备编写的驱动描述文件，用以表征硬件设备的基本信息以及其功能节点和工作范围。
5.根据权利要求1所述的基于自然语言对话生成物联网控制流程的方法，其特征在于，所述基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本，包括：
利用NLP模型识别所述文本信息并根据所述文本信息中的关键词确定用户的意图，根据所述用户的意图与所述用于物联网设备控制词库生成可读与可执行的控制逻辑或控制脚本；并输出对应所述控制逻辑或所述控制脚本的自然语言用于解释所述控制逻辑或所述控制脚本。
6.一种基于自然语言对话生成物联网控制流程的装置，其特征在于，包括：
获取解析模块，用于获取用户输入的文本信息或语音信息，解析所述语音信息成为文本信息；
逻辑生成模块，用于基于所述文本信息确定用户意图并与用于物联网设备控制的词库进行匹配，根据匹配结果生成对于所述物联网设备的控制逻辑或控制脚本；
流程生成模块用于将所述控制逻辑或所述控制脚本转换为控制流程图，所述控制流程图用于表示对于所述物联网设备控制的自动化任务。
7.根据权利要求6所述的基于自然语言对话生成物联网控制流程的装置，其特征在于，还包括：
测试用例生成模块，用于对所述控制流程图进行分析，并根据分析结果生成模拟测试用例，所述控制流程图包括触发节点与执行节点。
8.根据权利要求6所述的基于自然语言对话生成物联网控制流程的装置，其特征在于，还包括：
设备推荐模块，用于当用户的意图无法由当前部署的物联网设备满足时，从已知的硬件特性库中推荐可以满足用于意图的新物联网设备；其中所述硬件特性库为根据硬件设备编写的驱动描述文件，用以表征硬件设备的基本信息以及其功能节点和工作范围。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5中任一项所述的基于自然语言对话生成物联网控制流程的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1至5中任一项所述的基于自然语言对话生成物联网控制流程的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311178580.9A CN117348854A (zh) | 2023-09-13 | 2023-09-13 | 基于自然语言对话生成物联网控制流程的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311178580.9A CN117348854A (zh) | 2023-09-13 | 2023-09-13 | 基于自然语言对话生成物联网控制流程的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117348854A true CN117348854A (zh) | 2024-01-05 |
Family
ID=89362177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311178580.9A Pending CN117348854A (zh) | 2023-09-13 | 2023-09-13 | 基于自然语言对话生成物联网控制流程的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117348854A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117609478A (zh) * | 2024-01-22 | 2024-02-27 | 中科物栖(南京)科技有限公司 | 基于自然语言的物联网应用生成方法、装置和设备 |
-
2023
- 2023-09-13 CN CN202311178580.9A patent/CN117348854A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117609478A (zh) * | 2024-01-22 | 2024-02-27 | 中科物栖(南京)科技有限公司 | 基于自然语言的物联网应用生成方法、装置和设备 |
| CN117609478B (zh) * | 2024-01-22 | 2024-04-09 | 中科物栖(南京)科技有限公司 | 基于自然语言的物联网应用生成方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102373905B1 (ko) | 어시스턴트 애플리케이션을 위한 음성 사용자 인터페이스 단축 | |
| US8438031B2 (en) | System and method for relating syntax and semantics for a conversational speech application | |
| US8001469B2 (en) | Automatic generation of interactive systems from a formalized description language | |
| US20210200948A1 (en) | Corpus cleaning method and corpus entry system | |
| US20090119104A1 (en) | Switching Functionality To Control Real-Time Switching Of Modules Of A Dialog System | |
| US20200192319A1 (en) | Systems, methods, and apparatus to augment process control with virtual assistant | |
| CN117348854A (zh) | 基于自然语言对话生成物联网控制流程的方法及装置 | |
| US11226801B2 (en) | System and methods for voice controlled automated computer code deployment | |
| KR20160132748A (ko) | 전자 장치 및 그 제어 방법 | |
| Lago et al. | Managing non-trivial internet-of-things systems with conversational assistants: A prototype and a feasibility experiment | |
| CN111462741B (zh) | 语音数据处理方法、装置及存储介质 | |
| US8315874B2 (en) | Voice user interface authoring tool | |
| CN115238045A (zh) | 一种生成式事件论元抽取方法、系统及存储介质 | |
| Michael et al. | Retico: An open-source framework for modeling real-time conversations in spoken dialogue systems | |
| US20230011461A1 (en) | Method and system for generating engineering diagrams in an engineering system | |
| KR102421274B1 (ko) | 음성 제어 시스템 | |
| CN117235527A (zh) | 端到端容器化的大数据模型构建方法、装置、设备及介质 | |
| CN114117445A (zh) | 漏洞分类方法、装置、设备及介质 | |
| JP7448240B2 (ja) | 効率的な対話構成 | |
| KR20220030680A (ko) | 인공지능 비전문가를 위한 인공지능 서비스 제공 시스템 및 방법 | |
| CN109785836B (zh) | 交互方法和装置 | |
| CN113312880B (zh) | 文本形式转换方法、装置及电子设备 | |
| CN116186644B (zh) | 人机交互开发方法、装置、存储介质及电子设备 | |
| KR20060120004A (ko) | 대화 시스템을 위한 대화 제어 장치 | |
| US11942105B2 (en) | Electronic device and method for determining abnormal noise |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |