CN117055845A - 一种基于大语言模型的物联网智能应用方法及装置 - Google Patents

一种基于大语言模型的物联网智能应用方法及装置 Download PDF

Info

Publication number
CN117055845A
CN117055845A CN202311324669.1A CN202311324669A CN117055845A CN 117055845 A CN117055845 A CN 117055845A CN 202311324669 A CN202311324669 A CN 202311324669A CN 117055845 A CN117055845 A CN 117055845A
Authority
CN
China
Prior art keywords
internet
things
language model
information
calling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311324669.1A
Other languages
English (en)
Other versions
CN117055845B (zh
Inventor
陈永立
秦小禹
何建新
张伊楠
李翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boundless Beijing Technology Co ltd
Original Assignee
Boundless Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boundless Beijing Technology Co ltd filed Critical Boundless Beijing Technology Co ltd
Priority to CN202311324669.1A priority Critical patent/CN117055845B/zh
Publication of CN117055845A publication Critical patent/CN117055845A/zh
Application granted granted Critical
Publication of CN117055845B publication Critical patent/CN117055845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/10Requirements analysis; Specification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/448Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4494Execution paradigms, e.g. implementations of programming paradigms data driven
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/75Information technology; Communication
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本文涉及智能物联网领域,提供了一种基于大语言模型的物联网智能应用方法及装置,方法包括:获取物联网设备驱动程序的基础需求信息;根据基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表;接收用户根据问卷列表输入的详细需求信息;调用大语言模型对详细需求信息及基础需求信息进行理解和推理总结得到需求摘要;根据需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型生成物联网设备驱动程序。本文借助大语言模型的对自然语言的理解能力,能够引导用户完善需求信息,进而根据需求信息、预设编码要求信息及已有驱动程序样本约束大语言模型的推理,能够提高物联网驱动程序开发效率同时可以保证开发精度。

Description

一种基于大语言模型的物联网智能应用方法及装置
技术领域
本文涉及物联网设备领域,尤其涉及一种基于大语言模型的物联网智能应用方法及装置。
背景技术
现有技术中,对于物联网中大多数设备,并无原生驱动,而是只提供了某些协议(例如Modbus,MQTT,OPC UA等)的通信方式,因此,在调用设备能力方面非常困难。而现有技术中,开发一个设备自动化应用至少需要如下三个步骤:
(1)研究学习设备的通信协议;
(2)编写设备驱动;
(3)编写自动化应用来调用驱动,进而使用设备能力。
上述每一步骤都需要大量的知识积累和应用经验,并且对于一个设备自动化应用的开发经验很难复用到其他设备之上,因此,物联网设备的应用开发存在效率低及复杂的问题。
另外,现有技术中,对于物联网中的设备而言,不具备和通用人工智能对接的条件,对于物联网设备的控制,需要专业技术人员发出专业指令,该种控制方式存在技术门槛高,不便于用户操作的问题。另外,现有指令有限仅能控制物联网设备重复动作,不具有理解用户意图并进行动作的能力。
现在大语言模型只具备文本理解能力,不具备和物理设备进行互操作的能力,不具备直接通过智能作用到物理世界的接入能力。
发明内容
本文用于解决现有技术中未见大语言模型解决物联网智能应用开发的方案以及物联网应用开发存在效率低、复杂以及对技术人员门槛要求高的问题。
为了解决上述技术问题,本文一方面提供一种基于大语言模型的物联网智能应用方法,包括:
获取物联网设备驱动程序的基础需求信息;
根据所述基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表;
接收用户根据问卷列表输入的详细需求信息;
调用大语言模型对所述详细需求信息及所述基础需求信息进行理解和推理总结得到需求摘要;
根据所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型,生成物联网设备驱动程序。
作为本文进一步实施例中,生成物联网设备驱动程序之后,还包括:
根据所述物联网设备驱动程序,调用所述大语言模型生成测试程序;
利用所述测试程序对所述物联网设备的驱动程序进行可用性测试;
若可用性测试出错,则根据错误信息、所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本调用大语言模型生成新的物联网设备驱动程序,并重新执行测试过程。
作为本文进一步实施例中,获取物联网设备驱动程序的基础需求信息,包括:
接收用户输入的物联网设备驱动程序的基础需求信息;
根据所述物联网设备驱动程序的基础需求信息判断是否为已知设备,若是,则调取并显示已知设备的交互页面,由用户完善基础需求信息。
作为本文进一步实施例中,所述预设问卷要求信息包括:第一预设比例的判断题,第二预设比例的具有选项的选择题,第三预设比例的具有回答示例的问答题;
所述基础需求信息包括:设备名称、通信协议、生产厂商、网络地址、支持的操作系统、编程语言、物联网设备数字孪生控制动作的微服务API。
作为本文进一步实施例中,基于大语言模型的物联网智能应用方法还包括:
根据所述基础需求信息中的编程语言及通信协议匹配函数库;
根据所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型进一步为:根据所述需求摘要、已有物联网设备驱动程序样本及匹配出的函数库,调用大语言模型。
作为本文进一步实施例中,基于大语言模型的物联网智能应用方法还包括;
接收物联网应用程序的需求信息;
根据所述物联网应用程序的需求信息,确定相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息;
根据所述物联网应用程序的需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息、以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序。
作为本文进一步实施例中,基于大语言模型的物联网智能应用方法还包括:
根据所述应用程序调用所述大语言模型生成测试程序;
利用所述测试程序对所述应用程序进行可用性测试;
若可用性测试出错,则根据错误信息、所述物联网应用程序的需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息、以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序,并重新执行测试过程。
作为本文进一步实施例中,生成物联网驱动程序之前还包括:
构建物联网设备数字孪生及API动作语义库,将所述物联网设备数字孪生及API动作语义库配置于大语言模型的插件以及管理平台,其中,所述API动作语义库包括物联网设备数字孪生控制动作的微服务API及标准控制语句的对应关系;
生成物联网驱动程序之后还包括:
安装所述物联网设备驱动程序至管理平台;
接收用户输入的自然语言描述的物联网设备控制语句;
根据所述物联网设备控制语句,调用所述大语言模型利用API动作语义库推理语义范畴得到API动作指令及参数值;
发送所述API动作指令及参数值至管理平台,由管理平台将所述API动作指令转换为目标物联网设备的物理动作指令,根据物理动作指令及参数值控制相应物联网设备。
作为本文进一步实施例中,基于大语言模型的物联网智能应用方法还包括:
构建语义相关度参数,并将其配置于大语言模型的插件;
所述大语言模型利用所述API动作语义库及所述语义相关度参数推理语义范畴,若未推理出满足所述语义相关度参数的API动作指令及参数值,则根据语义相关度最高的微服务API生成问题问卷;
接收用户根据问题问卷输入的新的自然语言描述的物联网设备控制语句,并重新执行确定API动作指令及参数值及其之后的步骤。
本文第二方面提供一种基于大语言模型的物联网智能应用装置,包括驱动程序生成模块,驱动程序生成模块包括:
获取单元,用于获取物联网设备驱动程序的基础需求信息;
第一调用单元,用于根据所述基础需求信息及预设问卷要求信息调用大语言模型生成问卷列表;
接收单元,用于接收用户根据问卷列表输入的详细需求信息;
第二调用单元,用于调用大语言模型对详细需求信息及所述基础需求信息进行理解和推理总结得到需求摘要;
第三调用单元,用于根据所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型生成物联网设备驱动程序。
本文第三方面提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前述任一实施例所述的方法。
本文第四方面提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被计算机设备的处理器执行所述计算机程序时实现前述任一实施例所述的方法。
本文提供的基于大语言模型的物联网智能应用方法及装置,通过获取物联网设备驱动程序的基础需求信息;根据基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表;接收用户根据问卷列表输入的详细需求信息,能够利用大语言模型生成问卷列表,进而引导用户输入对物联网设备驱动程序有效的详细需求信息。通过调用大语言模型对详细需求信息及基础需求信息进行理解和推理总结得到需求摘要,能够减少无用信息,同时保留输入语言的信息熵,提高大语言模型生成物联网设备驱动程序的效率。根据需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型生成物联网设备驱动程序,能够提高物联网设备驱动程序生成效率及精度。
进一步的,根据物联网应用程序的需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序,能够提高应用程序开发效率及精度。
进一步的,构建物联网设备数字孪生及API动作语义库,将物联网设备数字孪生及API动作语义库配置于大语言模型的插件以及管理平台;安装物联网设备驱动程序至管理平台;接收用户输入的自然语言描述的物联网设备控制语句;根据物联网设备控制语句,调用大语言模型利用API动作语义库推理语义范畴得到API动作指令及参数值;发送API动作指令及参数值至管理平台,由管理平台将API动作指令转换为目标物联网设备的物理动作指令,根据物理动作指令及参数值控制相应物联网设备,能够使得用户通过自然语言描述对物联网设备进行控制,扩展物联网设备的控制方式,降低对物联网设备控制人员的专业要求,提高用户体验。
为让本文的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本文的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本文实施例基于大语言模型的物联网智能应用系统的结构图;
图2示出了本文实施例基于大语言模型的物联网智能应用方法的第一流程图;
图3示出了本文实施例基于大语言模型的物联网智能应用方法的第二流程图;
图4示出了本文实施例基于大语言模型的物联网智能应用方法的第三流程图;
图5示出了本文实施例基于大语言模型的物联网智能应用方法的第四流程图;
图6示出了本文实施例基于大语言模型的物联网智能应用方法的第五流程图;
图7示出了本文实施例基于大语言模型的物联网智能应用方法的第六流程图;
图8示出了本文实施例基于大语言模型的物联网智能应用方法的第七流程图;
图9示出了本文实施例基于大语言模型的物联网智能应用装置的第一结构图;
图10示出了本文实施例基于大语言模型的物联网智能应用装置的第二结构图;
图11示出了本文实施例基于大语言模型的物联网智能应用装置的第三结构图;
图12示出了本文实施例计算机设备的结构图。
附图符号说明:
101、客户端;
102、服务器端;
103、大语言模型;
901、获取单元;
902、第一调用单元;
903、接收单元;
904、第二调用单元;
905、第三调用单元;
1001、接收单元;
1002、API确定单元;
1003、调用单元;
1101、接收单元;
1102、调用单元;
1103、发送单元;
1202、计算机设备;
1204、处理器;
1206、存储器;
1208、驱动机构;
1210、输入/输出模块;
1212、输入设备;
1214、输出设备;
1216、呈现设备;
1218、图形用户接口;
1220、网络接口;
1222、通信链路;
1224、通信总线。
具体实施方式
下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本文一部分实施例,而不是全部的实施例。基于本文中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文保护的范围。
需要说明的是,本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或装置产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行。
本文一实施例中,提供一种基于大语言模型的物联网智能应用系统,用于解决现有技术中未见大语言模型解决物联网智能应用开发的方案以及物联网应用开发存在效率低、复杂对技术人员门槛要求高的问题。具体的,如图1所示,基于大语言模型的物联网智能应用系统包括:客户端101、服务器端102及大语言模型103。
在本说明书一些实施例中,客户端101可以为台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备等。其中,智能可穿戴设备可以包括智能手环、智能手表、智能眼镜、智能头盔等。当然,客户端101并不限于上述具有一定实体的电子设备,其还可以为运行于上述电子设备中的软件。
客户端101提供有交互界面,用于供用户输入物联网设备驱动程序的基础需求信息以及根据问卷列表输入详细需求信息,并将其发送至服务器端102。
其中,基础需求信息包括设备名称(文本),设备通信协议(选项),设备生产厂家(选项+文本),网络地址(可选输入,IP地址),支持的操作系统(选项),编程语言(选项),物联网设备数字孪生控制动作的微服务API(名称,描述等文本信息),其他补充信息(文本输入),其中,编程语言包括但不限于C 语言,go 语言,Python 语言。微服务API用于规定大语言模型的物理动作及含义,为大语言模型通过语言世界的逻辑推理到物理世界动作的媒介。
详细需求信息根据大语言模型生成的问卷列表而定。
服务器端102用于获取物联网设备驱动程序的基础需求信息;根据基础需求信息及预设问卷要求信息,调用大语言模型103生成问卷列表;发送问卷列表至客户端101展示;接收用户根据问卷列表输入的详细需求信息;调用大语言模型103对详细需求信息及基础需求信息进行理解和推理总结得到需求摘要;根据需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型103生成物联网设备驱动程序。
详细的说,本文使用的大语言模型为现有技术公开的大模型,例如ChatGPT-4等,本文对此不作具体限定。
预设问卷要求信息包括第一预设比例的判断题,第二预设比例的具有选项的选择题,第三预设比例的具有回答示例的问答题。一些实施方式中,第一预设比例为30%,第二预设比例为50%,第三预设比例为20%。该种设置预设问卷要求信息的方式能够便生成快速地、准确地引导用户输入详细需求信息的调查问卷。
通过大语言模型对详细需求信息及基础需求信息进行理解和推理总结得到需求摘要,能够保留输入语言的信息熵,减少因为庞大的详细需求信息及基础需求信息占用大语言模型的API token(例如问卷可能产生5k的token消耗,但是需求摘要一般能浓缩到1k以下,通过提示来控制),同时还能提升基于问卷更加精炼和理解性的描述,降低无关提示引起的误差。通过生成需求摘要,可以大幅降低用户输入的信息噪音。
已有物联网设备驱动程序样本可由开发人员开发或指定,通过在调用大语言模型生成物联网设备驱动程序时加入已有物联网设备驱动程序样本,能够帮助大语言模型更好的理解生成物联网驱动程序的任务,提升物联网驱动代码的可用性。
预设编码要求信息包括但不限于角色设定、语言设定、协议设定、编码要求设定、编码质量要求设定等。通过预设编码要求信息的设定,能够提升大语言模型生成物联网设备驱动程序的可用性。
本文一实施例中,提供一种基于大语言模型的物联网智能应用方法,应用于服务器端,如图2所示,包括:
步骤201,获取物联网设备驱动程序的基础需求信息。本步骤执行时包括:
步骤2011,接收用户输入的物联网设备驱动程序的基础需求信息。
步骤2012,根据物联网设备驱动程序的基础需求信息判断是否为已知设备,若是,则调取并显示已知设备的交互页面,由用户完善基础需求信息。
其中,已知设备即已知物联网设备,其交互页面为预先开发页面,其中包含有指导用户完善基础需求信息的必要项。通过步骤2011及步骤2012能够提高用户对已知物联网设备基础需求信息输入的效率及精度。
步骤202,根据基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表。
具体的,根据基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表即将基础需求信息及预设问卷要求信息输入至大语言模型中,由大语言模型推理得到问卷列表。问卷列表能够引导用户输入生成物联网驱动代码的详细需求信息,进而缩小代码编写的需求范围,提高代码的有效性。
预设问卷要求信息包括对问卷列表题型的限制,例如选择题(单选题及多选题)、判断题、文本数据等形式,通过将预设问卷要求信息输入至大语言模型,能够让大语言模型生成封闭性提问和开放性提问,精准缩小驱动编写的范围提高精确度。
步骤203,接收用户根据问卷列表输入的详细需求信息。
具体实施时,可将问卷列表发送至客户端显示,用户通过客户端显示的问卷列表选择知识范围的答案或根据问答题选择作答,即输入详细需求信息。
步骤204,调用大语言模型对详细需求信息及基础需求信息进行理解和推理总结得到需求摘要。
需求摘要为大语言模型基于详细需求信息及基础需求信息进行推理后的一个简要文字表达,要求保留语义关键信息(即保留输入信息熵),去掉信息噪音和重复矛盾的信息,一般字数会要求压缩5倍以上,进而减少大语言模型API token的占用(例如问卷可能产生5k的token消耗,但是需求摘要一般能浓缩到1k以下),降低无关提示引起的误差。
上述步骤202至步骤204的步骤可称为对大语言模型微调过程,使得大语言模型更好的理解目标意图和知识边界,生成更加符合意图的代码,同时提供友好的用户体验。
步骤205,根据需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型生成物联网设备驱动程序。物联网设备驱动程序的API为硬件设备API,即可直接与硬件设备通信的API。
本文一实施例中,如图3所示,生成物联网设备驱动程序之后,还包括:
步骤301,根据物联网设备驱动程序,调用大语言模型生成测试程序。
本步骤实施时,可将物联网设备驱动程序以及生成测试程序的自然语言描述的需求信息输入至大语言模型,大语言模型通过推理输入信息生成测试程序。
步骤302,利用测试程序对物联网设备的驱动程序进行可用性测试。
步骤303,若可用性测试出错,则根据错误信息、需求摘要、预设编码要求信息及已有物联网设备驱动程序样本调用大语言模型生成新的物联网设备驱动程序,并返回继续执行步骤301及步骤302。
本实施例能够实现驱动程序的自动测试,并根据测试结果及大语言模型重新生成新的物联网驱动程序,并对新的物联网驱动程序进行测试,直至测试结果不再出错为止。
具体实施时,为了进一步保证物联网驱动程序的有效性,还可在测试程序测试成功后进行人工测试,当人工测试报错时,则重复步骤303,当人工测试通过时,完成物联网设备驱动程序开发。
本文一实施例中,为了进一步提高物联网设备驱动程序的可用性,如图4所示,还包括:
步骤401,根据基础需求信息中的编程语言及通信协议匹配函数库。
步骤402,根据需求摘要、预设编码要求信息、已有物联网设备驱动程序样本及匹配出的函数库,调用大语言模型生成物联网设备驱动程序。
本实施例通过编程语言及通信协议匹配函数库,并将匹配出的函数库(例如git地址或库名或已知公开)作为约束条件输入至大语言模型中,即让大语言模型使用匹配出的函数库来生成驱动代码,能够提高驱动代码的生成效率及可用性。
本文一实施例中,基于大语言模型的物联网智能应用方法实施之前还包括:构建物联网设备数字孪生及API动作语义库,将物联网设备数字孪生及API动作语义库配置于大语言模型的插件以及管理平台。
其中,API动作语义库包括物联网设备数字孪生控制动作的微服务API(即设备数字孪生的操控映射)及标准控制语句的对应关系。微服务API一般为标准的web接口,以HTTP协议形式表示。具体的,例如标准控制语句“获取网络摄像头A的图片”,被映射为微服务API的地址localhost:3000/capture;标准控制语句“获取网络摄像头视频”,被映射为微服务API的地址localhost:3000/stream;标准控制语句“控制网络摄像头左转”(5度一个单位),被映射为微服务API的地址localhots:3000/moveleft等等。
进一步的,如图5所示,基于大语言模型的物联网智能应用方法生成驱动程序之后,还包括:
步骤501,安装物联网设备驱动程序至管理平台。
步骤502,接收用户输入的自然语言描述的物联网设备控制语句。
本步骤中,用户可通过对话页面输入自然语言描述的物联网设备控制语句,物联网设备控制语句包括物联网设备名称、地址以及动作,例如开启某地某一位置的摄像头并拍照。实施时,对话页面可预先展示提示信息以供用户输入有效的控制语句。
步骤503,根据物联网设备控制语句,调用大语言模型利用API动作语义库推理语义范畴得到API动作指令及参数值。其中,参数值用于限定动作的具体数值,例如转动多少度、挪动多少毫米等。
例如,用户输入的物联网控制语句为“控制网络摄像头左转10度后拍照”,此时大语言模型会推理出两个动作左转及拍照,相应的,利用API动作语义库能够推理出的参数值为左转10度,调用两次微服务API地址localhost:3000/moveleft,调用一次微服务API地址localhost:3000/capture。
步骤504,发送API动作指令及参数值至管理平台,由管理平台根据API动作指令及参数值控制相应物联网设备。
微服务API与物联网设备的真实动作是一一对应的,即调用微服务API等价与物联网设备的动作,近实时传导。
具体实施时,若物联网设备执行动作后存在展示信息,例如图像、视频、数字、文字等,会将展示信息发送至管理平台,管理平台会调用大语言模型中内置的反馈模块将展示信息反馈至对话页面中。
本实施例能够使得用户通过自然语言描述的控制语句实现对物联网设备的控制。
进一步的,为了提高大语言模型识别API动作指令及参数值的准确度,如图6所示,还包括:
步骤601,构建语义相关度参数,并将其配置于大语言模型的插件。
其中,语义相关度参数为0~1之间的值,可根据实际需求进行设定,例如为0.7。
步骤602,大语言模型利用所述API动作语义库及所述语义相关度参数推理语义范畴,若未推理出满足所述语义相关度参数的API动作指令及参数值,则根据语义相关度最高的微服务API生成问题问卷。
以语义相关度参数为0.7为例,输入的控制语句为“我想看图片”,此时大语言模型识别出“我想看图片”与API动作语义库中拍照语句的关联系数为 0.4,且该关联系数为最大关联值,显然,该值没有达到 0.7,此时,会由大语言模型根据拍照语句生成问题问卷以确认和提醒是否为拍照这个动作。例如,大语言模型生成的问题问卷为“您是否想通过相机拍照看下目前相机所能拍到的照片?”,如果用户回答“是”,则将匹配出的与语句相关度系数提升至高于0.7 的数值,从而根据匹配出的语句的微服务API,触发物联网设备的动作并将返回结果。
步骤603,接收用户根据问题问卷输入的新的自然语言描述的物联网设备控制语句,并重新执行确定API动作指令及参数值及其之后的步骤。
本文一实施例中,如图7所示,基于大语言模型的物联网智能应用方法还包括:
步骤701,接收物联网应用程序的需求信息。
本步骤实施时,用户可通过客户端输入物联网应用程序的需求信息,举例来说,物联网应用程序的需求信息为自然语言描述的物联网应用程序实现的功能,例如构建楼宇智能照明系统,要求室内无人时3分钟关灯,室内有人时实时开灯,并就环境光线亮度提供舒适的照明亮度。
步骤702,根据物联网应用程序的需求信息,确定相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息。
本步骤中,从物联网应用程序的需求信息中确定物联网相关设备,例如步骤701举例的需求信息,可确定出相关物联网设备包括楼宇内照明设备,红外设备(用于检测室内是否有人),光感设备(用于检测环境光线亮度)。微服务API用于大语言模型调用,进而实现物联网设备的控制。
步骤703,根据所述物联网应用程序的需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息、以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序。
本步骤中,编程通用要求信息包括编程语言、结构性提示信息、边界提示信息。结构性提示信息包括:遵守最佳编程实践,代码格式美观,命名规范。边界提示信息包括:代码需注意错误日志准确输出,注意异常情况处理,对参数范围和动作范围需要计算和考虑设备的安全规格。
本实施例能够利用大语言模型生成可用性强的应用程序,且该应用程序结合管理平台(安装有物联网设备驱动程序以及API动作语义库,其中,所述API动作语义库包括物联网设备数字孪生控制动作的微服务API及标准控制语句的对应关系),能够实现物联网设备的自动化控制。
进一步实施例中,如图8所示,为了保证应用程序的有效性,还包括:
步骤801,根据应用程序调用大语言模型生成测试程序。
本步骤实施时,为了提高测试程序提高效率及准确性,还可根据预先设定的系统提示及应用程序调用大语言模型生成测试程序。预先设定的系统提示例如为要求单元测试、覆盖正向场景、少量异常场景、用何种语言编写、用最稳定的测试框架、并提供测试运行指南等。
步骤802,利用测试程序对应用程序进行可用性测试。
步骤803,若可用性测试出错,则根据错误信息、物联网应用程序的需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序,并重新执行步骤801及其之后的步骤。
基于同一发明构思,本文还提供一种基于大语言模型的物联网智能应用装置,如下面的实施例所述。由于基于大语言模型的物联网智能应用装置解决问题的原理与基于大语言模型的物联网智能应用方法相似,因此基于大语言模型的物联网智能应用装置的实施可以参见基于大语言模型的物联网智能应用方法,重复之处不再赘述。
具体的,如图9所示,基于大语言模型的物联网智能应用装置,包括驱动程序生成模块,驱动程序生成模块包括:
获取单元901,用于获取物联网设备驱动程序的基础需求信息;
第一调用单元902,用于根据所述基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表;
接收单元903,用于接收用户根据问卷列表输入的详细需求信息;
第二调用单元904,用于调用大语言模型对详细需求信息及所述基础需求信息进行理解和推理总结得到需求摘要;
第三调用单元905,用于根据所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型生成物联网设备驱动程序。
本实施例通过获取物联网设备驱动程序的基础需求信息;根据基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表;接收用户根据问卷列表输入的详细需求信息,能够利用大语言模型生成问卷列表,进而引导用户输入对物联网设备驱动程序有效的详细需求信息。通过调用大语言模型对详细需求信息及所述基础需求信息进行理解和推理总结得到需求摘要,能够减少无用信息,同时保留输入语言的信息熵,提高大语言模型生成物联网设备驱动程序的效率。根据需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型生成物联网设备驱动程序,能够提高物联网设备驱动程序生成效率及精度。
如图10所示,基于大语言模型的物联网智能应用装置还包括:应用程序生成模块,包括:
接收单元1001,用于接收物联网应用程序的需求信息;
API确定单元1002,用于根据需求信息,确定相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息;
调用单元1003,用于根据需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息、以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序。
本实施例根据物联网应用程序的需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息、以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序,能够提高应用程序开发效率及精度。
利用大语言模型生成物联网设备驱动程序之前需构建物联网设备数字孪生及API动作语义库,将所述物联网设备数字孪生及API动作语义库配置于大语言模型的插件以及管理平台,其中,所述API动作语义库包括物联网设备数字孪生控制动作的微服务API及标准控制语句的对应关系。利用大语言模型生成物联网设备驱动程序之后需将物联网设备驱动程序安装至管理平台。
如图11所示,基于大语言模型的物联网智能应用装置还包括:物联网设备控制模块,包括:
接收单元1101,用于接收用户输入的自然语言描述的物联网设备控制语句;
调用单元1102,用于根据物联网设备控制语句,调用大语言模型利用API动作语义库推理语义范畴得到API动作指令及参数值;
发送单元1103,用于发送API动作指令及参数值至管理平台,由管理平台将API动作指令转换为目标物联网设备的物理动作指令,根据物理动作指令及参数值控制相应物联网设备。
本实施例通过接收用户输入的自然语言描述的物联网设备控制语句;根据物联网设备控制语句,调用大语言模型利用API动作语义库推理语义范畴得到API动作指令及参数值;发送API动作指令及参数值至管理平台,由管理平台将API动作指令转换为目标物联网设备的物理动作指令,根据物理动作指令及参数值控制相应物联网设备,能够使得用户通过自然语言描述对物联网设备的控制,扩展物联网设备的控制方式,降低对物联网设备控制人员的专业要求,提高用户体验。
本文一实施例中,提供一种计算机设备,如图12所示,计算机设备1202可以包括一个或多个处理器1204,诸如一个或多个中央处理单元(CPU),每个处理单元可以实现一个或多个硬件线程。计算机设备1202还可以包括任何存储器1206,其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的,比如,存储器1206可以包括以下任一项或多种组合:任何类型的RAM,任何类型的ROM,闪存设备,硬盘,光盘等。更一般地,任何存储器都可以使用任何技术来存储信息。进一步地,任何存储器可以提供信息的易失性或非易失性保留。进一步地,任何存储器可以表示计算机设备1202的固定或可移除部件。在一种情况下,当处理器1204执行被存储在任何存储器或存储器的组合中的相关联的指令时,计算机设备1202可以执行相关联指令的任一操作。计算机设备1202还包括用于与任何存储器交互的一个或多个驱动机构1208,诸如硬盘驱动机构、光盘驱动机构等。
计算机设备1202还可以包括输入/输出模块1210(I/O),其用于接收各种输入(经由输入设备1212)和用于提供各种输出(经由输出设备1214)。一个具体输出机构可以包括呈现设备1216和相关联的图形用户接口1218 (GUI)。在其他实施例中,还可以不包括输入/输出模块1210(I/O)、输入设备1212以及输出设备1214,仅作为网络中的一台计算机设备。计算机设备1202还可以包括一个或多个网络接口1220,其用于经由一个或多个通信链路1222与其他设备交换数据。一个或多个通信总线1224将上文所描述的部件耦合在一起。
通信链路1222可以以任何方式实现,例如,通过局域网、广域网(例如,因特网)、点对点连接等、或其任何组合。通信链路1222可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
本文实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前述任一实施例所述的方法。
本文实施例还提供一种计算机可读指令,其中当处理器执行所述指令时,其中的程序使得处理器执行前述任一实施例所述的方法。
应理解,在本文的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本文实施例的实施过程构成任何限定。
还应理解,在本文实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本文所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外,在本文各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本文的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本文的方法及其核心思想;同时,对于本领域的一般技术人员,依据本文的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本文的限制。

Claims (10)

1.一种基于大语言模型的物联网智能应用方法,其特征在于,包括:
获取物联网设备驱动程序的基础需求信息;
根据所述基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表;
接收用户根据问卷列表输入的详细需求信息;
调用大语言模型对所述详细需求信息及所述基础需求信息进行理解和推理总结得到需求摘要;
根据所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型生成物联网设备驱动程序。
2.如权利要求1所述的方法,其特征在于,生成物联网设备驱动程序之后,还包括:
根据所述物联网设备驱动程序,调用所述大语言模型生成测试程序;
利用所述测试程序对所述物联网设备的驱动程序进行可用性测试;
若可用性测试出错,则根据错误信息、所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本调用大语言模型生成新的物联网设备驱动程序,并重新执行测试过程。
3.如权利要求1所述的方法,其特征在于,获取物联网设备驱动程序的基础需求信息,包括:
接收用户输入的物联网设备驱动程序的基础需求信息;
根据所述物联网设备驱动程序的基础需求信息判断是否为已知设备,若是,则调取并显示已知设备的交互页面,由用户完善基础需求信息。
4.如权利要求1所述的方法,其特征在于,所述预设问卷要求信息包括:第一预设比例的判断题,第二预设比例的具有选项的选择题,第三预设比例的具有回答示例的问答题;
所述基础需求信息包括:设备名称、通信协议、生产厂商、网络地址、支持的操作系统、编程语言、物联网设备数字孪生控制动作的微服务API。
5.如权利要求1所述的方法,其特征在于,还包括:
根据所述基础需求信息中的编程语言及通信协议匹配函数库;
根据所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型进一步为:根据所述需求摘要、预设编码要求信息、已有物联网设备驱动程序样本及匹配出的函数库,调用大语言模型。
6.如权利要求1所述的方法,其特征在于,生成物联网驱动程序之前还包括:
构建物联网设备数字孪生及API动作语义库,将所述物联网设备数字孪生及API动作语义库配置于大语言模型的插件以及管理平台,其中,所述API动作语义库包括物联网设备数字孪生控制动作的微服务API及标准控制语句的对应关系;
生成物联网驱动程序之后还包括:
安装所述物联网设备驱动程序至管理平台;
接收用户输入的自然语言描述的物联网设备控制语句;
根据所述物联网设备控制语句,调用所述大语言模型利用API动作语义库推理语义范畴得到API动作指令及参数值;
发送所述API动作指令及参数值至管理平台,由管理平台将所述API动作指令转换为目标物联网设备的物理动作指令,根据物理动作指令及参数值控制相应物联网设备。
7.如权利要求6所述的方法,其特征在于,还包括:
构建语义相关度参数,并将其配置于大语言模型的插件;
所述大语言模型利用所述API动作语义库及所述语义相关度参数推理语义范畴,若未推理出满足所述语义相关度参数的API动作指令及参数值,则根据语义相关度最高的微服务API生成问题问卷;
接收用户根据问题问卷输入的新的自然语言描述的物联网设备控制语句,并重新执行确定API动作指令及参数值及其之后的步骤。
8.如权利要求1所述的方法,其特征在于,还包括;
接收物联网应用程序的需求信息;
根据所述物联网应用程序的需求信息,确定相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息;
根据所述物联网应用程序的需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息、以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序。
9.如权利要求8所述的方法,其特征在于,还包括:
根据所述应用程序调用所述大语言模型生成测试程序;
利用所述测试程序对所述应用程序进行可用性测试;
若可用性测试出错,则根据错误信息、所述物联网应用程序的需求信息、相关物联网设备的数字孪生控制动作的微服务API和对应的自然语言描述信息、以及编程通用要求信息,调用大语言模型生成带有设备数字孪生控制动作的微服务API的应用程序,并重新执行测试过程。
10.一种基于大语言模型的物联网智能应用装置,其特征在于,包括驱动程序生成模块,驱动程序生成模块包括:
获取单元,用于获取物联网设备驱动程序的基础需求信息;
第一调用单元,用于根据所述基础需求信息及预设问卷要求信息,调用大语言模型生成问卷列表;
接收单元,用于接收用户根据问卷列表输入的详细需求信息;
第二调用单元,用于调用大语言模型对所述详细需求信息及所述基础需求信息进行理解和推理总结得到需求摘要;
第三调用单元,用于根据所述需求摘要、预设编码要求信息及已有物联网设备驱动程序样本,调用大语言模型生成物联网设备驱动程序。
CN202311324669.1A 2023-10-13 2023-10-13 一种基于大语言模型的物联网智能应用方法及装置 Active CN117055845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311324669.1A CN117055845B (zh) 2023-10-13 2023-10-13 一种基于大语言模型的物联网智能应用方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311324669.1A CN117055845B (zh) 2023-10-13 2023-10-13 一种基于大语言模型的物联网智能应用方法及装置

Publications (2)

Publication Number Publication Date
CN117055845A true CN117055845A (zh) 2023-11-14
CN117055845B CN117055845B (zh) 2023-12-29

Family

ID=88664951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311324669.1A Active CN117055845B (zh) 2023-10-13 2023-10-13 一种基于大语言模型的物联网智能应用方法及装置

Country Status (1)

Country Link
CN (1) CN117055845B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117667979A (zh) * 2023-12-08 2024-03-08 暨南大学 基于大语言模型的数据挖掘方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840072A (zh) * 2019-02-02 2019-06-04 北京字节跳动网络技术有限公司 信息处理方法和装置
CN113204330A (zh) * 2021-06-01 2021-08-03 李麟 一种基于人工智能的程序开发设计方法及系统
CN113780012A (zh) * 2021-09-30 2021-12-10 东南大学 基于预训练语言模型的抑郁症访谈对话生成方法
CN113849162A (zh) * 2021-09-28 2021-12-28 哈尔滨工业大学 一种利用模型驱动和深度神经网络相结合的代码生成方法
US20230046961A1 (en) * 2020-01-16 2023-02-16 Nippon Telegraph And Telephone Corporation Program generation apparatus, program generation method and program
US20230176829A1 (en) * 2021-12-07 2023-06-08 Microsoft Technology Licensing, Llc Multi-modal program inference

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840072A (zh) * 2019-02-02 2019-06-04 北京字节跳动网络技术有限公司 信息处理方法和装置
US20230046961A1 (en) * 2020-01-16 2023-02-16 Nippon Telegraph And Telephone Corporation Program generation apparatus, program generation method and program
CN113204330A (zh) * 2021-06-01 2021-08-03 李麟 一种基于人工智能的程序开发设计方法及系统
CN113849162A (zh) * 2021-09-28 2021-12-28 哈尔滨工业大学 一种利用模型驱动和深度神经网络相结合的代码生成方法
CN113780012A (zh) * 2021-09-30 2021-12-10 东南大学 基于预训练语言模型的抑郁症访谈对话生成方法
US20230176829A1 (en) * 2021-12-07 2023-06-08 Microsoft Technology Licensing, Llc Multi-modal program inference

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117667979A (zh) * 2023-12-08 2024-03-08 暨南大学 基于大语言模型的数据挖掘方法、装置、设备及介质

Also Published As

Publication number Publication date
CN117055845B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
US20180060818A1 (en) Conference assistance system and conference assistance method
US11735182B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
US11398223B2 (en) Electronic device for modulating user voice using artificial intelligence model and control method thereof
US11347801B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
CN100361076C (zh) 在含有图形用户界面的计算机上执行任务的方法
US11200893B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
CN105843734A (zh) 一种自动化测试方法、装置及计算设备
Vermeulen et al. PervasiveCrystal: Asking and answering why and why not questions about pervasive computing applications
US20190079916A1 (en) Using syntactic analysis for inferring mental health and mental states
Horvitz et al. Harnessing models of users’ goals to mediate clarification dialog in spoken language systems
KR102469712B1 (ko) 전자 장치 및 이의 자연어 생성 방법
Beguš Modeing unsupervised phonetic and phonological learning in Generative Adversarial Phonology
CN117055845B (zh) 一种基于大语言模型的物联网智能应用方法及装置
US20230237312A1 (en) Reinforcement learning techniques for selecting a software policy network and autonomously controlling a corresponding software client based on selected policy network
CN110457023A (zh) 任务创建方法、装置、存储介质及电子设备
KR20200044175A (ko) 전자 장치 및 그의 비서 서비스 제공 방법
CN114550545A (zh) 一种课程生成、课程展示方法以及装置
JPH0831084B2 (ja) 情報処理システムのユーザー支援方法
CN111444170B (zh) 基于预测业务场景的自动机器学习方法和设备
US20230116720A1 (en) Integrated Control System for Edge Devices
Neßelrath et al. Rapid development of multimodal dialogue applications with semantic models
US10996932B1 (en) Pipeline for software application development
US20230153062A1 (en) Verbal interface systems and methods for verbal control of digital devices
US20240028923A1 (en) Extracting enriched target-oriented common sense from grounded graphs to support next step decision making
US20230237275A1 (en) Systems and methods for an end-to-end evaluation and testing framework for task-oriented dialog systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant