CN115794065A - 一种基于ai语音交互的可视化智能编程方法 - Google Patents

一种基于ai语音交互的可视化智能编程方法 Download PDF

Info

Publication number
CN115794065A
CN115794065A CN202211360597.1A CN202211360597A CN115794065A CN 115794065 A CN115794065 A CN 115794065A CN 202211360597 A CN202211360597 A CN 202211360597A CN 115794065 A CN115794065 A CN 115794065A
Authority
CN
China
Prior art keywords
processor
module
database
voice
nlu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211360597.1A
Other languages
English (en)
Other versions
CN115794065B (zh
Inventor
吴玉鑫
侯高峰
刘明美
余祖波
马沛东
宋军伟
陈辉
杜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongben Technology Co ltd
Original Assignee
Zhongben Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongben Technology Co ltd filed Critical Zhongben Technology Co ltd
Priority to CN202211360597.1A priority Critical patent/CN115794065B/zh
Publication of CN115794065A publication Critical patent/CN115794065A/zh
Application granted granted Critical
Publication of CN115794065B publication Critical patent/CN115794065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Machine Translation (AREA)

Abstract

本发明公开了一种基于AI语音交互的可视化智能编程方法,包括处理器、数据库、可视化平台界面、语音接收模块、ASR语音识别模块、NLU自然语言理解模块、DM对话管理模块,所述处理器包括用于存储计算机程序的存储模块以及用于数据处理的数据处理单元;本发明能够自主学习、提高开发效率、降低人为操作误差。

Description

一种基于AI语音交互的可视化智能编程方法
技术领域
本发明属于智能编程技术领域,涉及一种基于AI语音交互的可视化智能编程方法。
背景技术
可视化编程,亦即可视化程序设计:以所见即所得的编程思想为原则,力图实现编程工作的可视化,即随时可以看到结果,程序与结果的调整同步。可视化编程是与传统的编程方式相比而言的,可视,指的是无须编程,仅通过直观的操作方式即可完成界面的设计工作,随着互联网技术的发展和不断进步,不再要求程序员输入复杂的代码来实现系统功能,只需要通过拖拉拽的可视化编程方式,控制容器布局、控制组件元素,配置相关的事件及参数,就可以完成业务功能。这种新型的编程方式逐渐替代了传统的程序编码方式,然而由于程序编码是一项复杂的工作,不是一次就能成功的,通常需要程序员进行无数次的调整和修改,不仅操作繁琐,且编程不够完善就会出现错误的编程结果。
针对上述问题,申请公布号为CN112506502A的中国发明专利申请,公开了一种基于人机交互的可视化编程方法、装置、设备和存储介质,通过在用户进行可视化编程过程中,获取用户在前景层选择的目标可视化程序元素和构建的目标可视化程序元素之间的逻辑关系,根据目标可视化程序元素之间的逻辑关系,对目标可视化程序元素进行代码转换,得到目标程序,运行目标程序,并通过背景层展示目标程序的运行效果,用户在前景层创建程序过程中的每一步操作,都可以都通过背景层进行实时展示,用户不需要在不同软件之间进行反复切换,不仅方便了用户的可视化编程操作,而且提高了程序的可视化展示效果,提升了用户的使用体验,然而该技术方案中,并没有将目标匹配到的关联性的关键词与目标内容进行关联绑定操作并且自动存储进数据库中进行数据库的丰富。
发明内容
本发明的目的是克服现有技术的不足而提供一种能够自主学习、提高开发效率、降低人为操作误差的基于AI语音交互的可视化智能编程方法。
本发明采用的技术方案如下:
一种基于AI语音交互的可视化智能编程方法,包括处理器、数据库、可视化平台界面、语音接收模块、ASR语音识别模块、NLU自然语言理解模块、DM对话管理模块,所述处理器包括用于存储计算机程序的存储模块以及用于数据处理的数据处理单元;
步骤S1、构建数据库,将语义数据数据模型库中的分词与编码段进行一一对应构建数据库;
步骤S2、接收以及分析语音信息,语音接收模块接受语音并发送信号至ASR语音识别模块转换为文本信息,ASR语音识别模块将文本信息发送至NLU自然语言理解模块进行提取关键词,NLU自然语言理解模块再将关键词发送至处理器,处理器的数据处理单元将关键词转换为编码段;
步骤S3、判断分析结果,处理器将关键词的编码段与数据库中的数据进行对比,通过大数据分析得到判断的结果,并以执行动作的指令呈现在可视化平台界面上;
步骤S4、执行结果,处理器根据步骤S3的结果通过语音交互选择执行动作指令;
步骤S5、如果在步骤S3中,处理器在数据库搜索不到关键词,处理器发送信号至NLU自然语言理解模块提取语义相近的联想词,根据联想词,处理器检索数据库中的动作,获取检索结果后,在可视化平台上通过DM对话管理将联想词数据进行整理;
步骤S6、数据绑定,处理器在可视化平台上通过DM对话管理将联想词与数据库中的动作进行关联绑定;
步骤S7、保存数据,处理器通过将步骤S6中关联绑定的数据存入存储模块中。
与现有技术相比,本发明的有益效果是:
1、本发明中在数据库中检索不到对应关键词时,会根据NLU自然语言理解模块提取语义相近的联想词,根据联想词去检索数据库中的动作,检索到结果后,处理器在可视化平台上通过DM对话管理将联想词的数据进行整理并与数据库中的动作进行关联绑定,再将关联绑定的数据存入存储模块中,实现自主学习数据库,通过语音交互结合可视化编程动作实现AI语音交互的可视化智能编程,可以达到快速编程的效果,语音交互结合可视化编程动作能更大的提高开发效率,降低人为操作误差,也大大降低对编程人员的技术能力要求。
进一步,步骤S1、构建数据库的步骤包括:
步骤S11、将语义数据模型库中内置的分词和可视化平台上的执行指令的编码段的进行一一对应绑定,构建数据库;
步骤S12、结合上千个定制项目,整理分词及指令,完善数据库;
步骤S13、自主学习,若根据NLU自然语言理解模块的结果检索不到数据库中对应的动作,基于NLU自然语言理解模块的结果提取语义相近的联想词,根据联想词检索数据库中的动作,当检索到结果后,处理器会自动将本次的联想词和与数据库中的动作关联绑定,存入存储模块中。
进一步,步骤S2、接收以及分析语音信息的步骤包括:
步骤S21、通过语音接收模块以及ASR语音识别模块接收语音并将语音信息转换为文本;
步骤S22、ASR语音识别模块将文本信息发送至NLU自然语言理解模块,NLU自然语言理解模块将NLU自然语言理解模块转换出的文本进行分词,提取关键词;
步骤S23、NLU自然语言理解模块将关键词发送至DM对话管理模块,处理器通过DM对话管理模块将关键词呈现在可视化平台界面上。
进一步,步骤S3、判断分析结果的步骤包括:
步骤S31、处理器将步骤S23提取出的呈现在可视化平台上的关键词与数据库中的数据信息进行对比;
步骤S32、处理器对比后的结果以执行动作的方式呈现在可视化平台上,供语音选择执行动作。
进一步,步骤S4、执行结果的步骤包括:
步骤S41、根据步骤S32中语音选择的执行动作,通过语音接收模块以及ASR语音识别模块将选择的执行动作发送至处理器,处理器选择可视化页面上的执行动作进行自动执行。
总之,本发明具有能够自主学习、提高开发效率、降低人为操作误差的优点。
附图说明
图1为本发明的方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种基于AI语音交互的可视化智能编程方法,包括处理器、数据库、可视化平台界面、语音接收模块、ASR语音识别模块、NLU自然语言理解模块、DM对话管理模块,所述处理器包括用于存储计算机程序的存储模块以及用于数据处理的数据处理单元;
步骤S1、构建数据库,将语义数据数据模型库中的分词与编码段进行一一对应构建数据库;
步骤S2、接收以及分析语音信息,语音接收模块接受语音并发送信号至ASR语音识别模块转换为文本信息,ASR语音识别模块将文本信息发送至NLU自然语言理解模块进行提取关键词,NLU自然语言理解模块再将关键词发送至处理器,处理器的数据处理单元将关键词转换为编码段;
步骤S3、判断分析结果,处理器将关键词的编码段与数据库中的数据进行对比,通过大数据分析得到判断的结果,并以执行动作的指令呈现在可视化平台界面上;
步骤S4、执行结果,处理器根据步骤S3的结果通过语音交互选择执行动作指令;
步骤S5、如果在步骤S3中,处理器在数据库搜索不到关键词,处理器发送信号至NLU自然语言理解模块提取语义相近的联想词,根据联想词,处理器检索数据库中的动作,获取检索结果后,在可视化平台上通过DM对话管理将联想词数据进行整理;
步骤S6、数据绑定,处理器在可视化平台上通过DM对话管理将联想词与数据库中的动作进行关联绑定;
步骤S7、保存数据,处理器通过将步骤S6中关联绑定的数据存入存储模块中
如图1所示,步骤S1、构建数据库的步骤包括:
步骤S11、将语义数据模型库中内置的分词和可视化平台上的执行指令的编码段的进行一一对应绑定,构建数据库;
步骤S12、结合上千个定制项目,整理分词及指令,完善数据库;
步骤S13、自主学习,若根据NLU自然语言理解模块的结果检索不到数据库中对应的动作,基于NLU自然语言理解模块的结果提取语义相近的联想词,根据联想词检索数据库中的动作,当检索到结果后,处理器会自动将本次的联想词和与数据库中的动作关联绑定,存入存储模块中。
如图1所示,步骤S2、接收以及分析语音信息的步骤包括:
步骤S21、通过语音接收模块以及ASR语音识别模块接收语音并将语音信息转换为文本;
步骤S22、ASR语音识别模块将文本信息发送至NLU自然语言理解模块,NLU自然语言理解模块将NLU自然语言理解模块转换出的文本进行分词,提取关键词;
步骤S23、NLU自然语言理解模块将关键词发送至DM对话管理模块,处理器通过DM对话管理模块将关键词呈现在可视化平台界面上;
步骤S3、判断分析结果的步骤包括:
步骤S31、处理器将步骤S23提取出的呈现在可视化平台上的关键词与数据库中的数据信息进行对比;
步骤S32、处理器对比后的结果以执行动作的方式呈现在可视化平台上,供语音选择执行动作;
步骤S4、执行结果的步骤包括:
步骤S41、根据步骤S32中语音选择的执行动作,通过语音接收模块以及ASR语音识别模块将选择的执行动作发送至处理器,处理器选择可视化页面上的执行动作进行自动执行。
本发明在具体实施时,首先,通过ASR语音识别模块以及NLU自然语言理解模块识别语音并将语音转换为文本,提取出关键词;其次,数据处理单元将提取的关键词信息处理成编码段和存储模块中的数据库信息进行对比,获取可执行的操作动作并将可执行的操作动作呈现在可视化平台界面上;然后,通过语音交互选择执行动作,在可视化操作页面自动执行,实现自动编程的目的;
在将提取的关键词信息和存储模块中的数据库信息进行对比的过程中,若检索不到相应的动作,处理器将会发送信号给NLU自然语言理解模块,提取语义相近的联想词,根据联想词检索数据库中的动作,当检索到对应结果后,处理器会自动将本次的联想词和与数据库中的动作关联绑定,存入存储模块中实现通过自主学习进行编程以及丰富数据库。
尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于AI语音交互的可视化智能编程方法,其特征在于,包括处理器、数据库、可视化平台界面、语音接收模块、ASR语音识别模块、NLU自然语言理解模块、DM对话管理模块,所述处理器包括用于存储计算机程序的存储模块以及用于数据处理的数据处理单元;
步骤S1、构建数据库,将语义数据数据模型库中的分词与编码段进行一一对应构建数据库;
步骤S2、接收以及分析语音信息,语音接收模块接受语音并发送信号至ASR语音识别模块转换为文本信息,ASR语音识别模块将文本信息发送至NLU自然语言理解模块进行提取关键词,NLU自然语言理解模块再将关键词发送至处理器,处理器的数据处理单元将关键词转换为编码段;
步骤S3、判断分析结果,处理器将关键词的编码段与数据库中的数据进行对比,通过大数据分析得到判断的结果,并以执行动作的指令呈现在可视化平台界面上;
步骤S4、执行结果,处理器根据步骤S3的结果通过语音交互选择执行动作指令;
步骤S5、如果在步骤S3中,处理器在数据库搜索不到关键词,处理器发送信号至NLU自然语言理解模块提取语义相近的联想词,根据联想词,处理器检索数据库中的动作,获取检索结果后,在可视化平台上通过DM对话管理将联想词数据进行整理;
步骤S6、数据绑定,处理器在可视化平台上通过DM对话管理将联想词与数据库中的动作进行关联绑定;
步骤S7、保存数据,处理器通过将步骤S6中关联绑定的数据存入存储模块中。
2.根据权利要求1所述的基于AI语音交互的可视化智能编程方法,其特征在于,步骤S1、构建数据库的步骤包括:
步骤S11、将语义数据模型库中内置的分词和可视化平台上的执行指令的编码段的进行一一对应绑定,构建数据库;
步骤S12、结合上千个定制项目,整理分词及指令,完善数据库;
步骤S13、自主学习,若根据NLU自然语言理解模块的结果检索不到数据库中对应的动作,基于NLU自然语言理解模块的结果提取语义相近的联想词,根据联想词检索数据库中的动作,当检索到结果后,处理器会自动将本次的联想词和与数据库中的动作关联绑定,存入存储模块中。
3.根据权利要求1所述的基于AI语音交互的可视化智能编程方法,其特征在于,步骤S2、接收以及分析语音信息的步骤包括:
步骤S21、通过语音接收模块以及ASR语音识别模块接收语音并将语音信息转换为文本;
步骤S22、ASR语音识别模块将文本信息发送至NLU自然语言理解模块,NLU自然语言理解模块将NLU自然语言理解模块转换出的文本进行分词,提取关键词;
步骤S23、NLU自然语言理解模块将关键词发送至DM对话管理模块,处理器通过DM对话管理模块将关键词呈现在可视化平台界面上。
4.根据权利要求3所述的基于AI语音交互的可视化智能编程方法,其特征在于,步骤S3、判断分析结果的步骤包括:
步骤S31、处理器将步骤S23提取出的呈现在可视化平台上的关键词与数据库中的数据信息进行对比;
步骤S32、处理器对比后的结果以执行动作的方式呈现在可视化平台上,供语音选择执行动作。
5.根据权利要求4所述的基于AI语音交互的可视化智能编程方法,其特征在于,步骤S4、执行结果的步骤包括:
步骤S41、根据步骤S32中语音选择的执行动作,通过语音接收模块以及ASR语音识别模块将选择的执行动作发送至处理器,处理器选择可视化页面上的执行动作进行自动执行。
CN202211360597.1A 2022-11-01 2022-11-01 一种基于ai语音交互的可视化智能编程方法 Active CN115794065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211360597.1A CN115794065B (zh) 2022-11-01 2022-11-01 一种基于ai语音交互的可视化智能编程方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211360597.1A CN115794065B (zh) 2022-11-01 2022-11-01 一种基于ai语音交互的可视化智能编程方法

Publications (2)

Publication Number Publication Date
CN115794065A true CN115794065A (zh) 2023-03-14
CN115794065B CN115794065B (zh) 2023-11-03

Family

ID=85434939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211360597.1A Active CN115794065B (zh) 2022-11-01 2022-11-01 一种基于ai语音交互的可视化智能编程方法

Country Status (1)

Country Link
CN (1) CN115794065B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992286A (zh) * 2017-12-06 2018-05-04 广州华旻信息科技有限公司 智能编码方法、装置、终端设备及存储介质
CN108845797A (zh) * 2018-06-28 2018-11-20 深圳市乾乾编程科技有限公司 一种语音识别型编程方法、装置及计算机设备
US20190074003A1 (en) * 2017-09-01 2019-03-07 4Q Catalyst, LLC Methods and Systems for Voice-Based Programming of a Voice-Controlled Device
KR20190061488A (ko) * 2017-11-28 2019-06-05 윤종식 음성인식을 통한 인공지능 프로그램코딩 시스템 및 그 방법
CN110209791A (zh) * 2019-06-12 2019-09-06 百融云创科技股份有限公司 一种多轮对话智能语音交互系统及装置
US20200026488A1 (en) * 2017-02-14 2020-01-23 Jong Sik Yoon Coding system and coding method using voice recognition
CN112130839A (zh) * 2019-06-25 2020-12-25 北京搜狗科技发展有限公司 一种构建数据库、语音编程的方法及相关装置
CN112667762A (zh) * 2020-12-25 2021-04-16 贵州北斗空间信息技术有限公司 一种零编程快速构建gis系统的方法
CN112965687A (zh) * 2021-03-19 2021-06-15 成都启英泰伦科技有限公司 一种多用户语音识别产品开发平台和开发方法
CN115145547A (zh) * 2022-06-25 2022-10-04 平安银行股份有限公司 基于语音的编程方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200026488A1 (en) * 2017-02-14 2020-01-23 Jong Sik Yoon Coding system and coding method using voice recognition
US20190074003A1 (en) * 2017-09-01 2019-03-07 4Q Catalyst, LLC Methods and Systems for Voice-Based Programming of a Voice-Controlled Device
KR20190061488A (ko) * 2017-11-28 2019-06-05 윤종식 음성인식을 통한 인공지능 프로그램코딩 시스템 및 그 방법
CN107992286A (zh) * 2017-12-06 2018-05-04 广州华旻信息科技有限公司 智能编码方法、装置、终端设备及存储介质
CN108845797A (zh) * 2018-06-28 2018-11-20 深圳市乾乾编程科技有限公司 一种语音识别型编程方法、装置及计算机设备
CN110209791A (zh) * 2019-06-12 2019-09-06 百融云创科技股份有限公司 一种多轮对话智能语音交互系统及装置
CN112130839A (zh) * 2019-06-25 2020-12-25 北京搜狗科技发展有限公司 一种构建数据库、语音编程的方法及相关装置
CN112667762A (zh) * 2020-12-25 2021-04-16 贵州北斗空间信息技术有限公司 一种零编程快速构建gis系统的方法
CN112965687A (zh) * 2021-03-19 2021-06-15 成都启英泰伦科技有限公司 一种多用户语音识别产品开发平台和开发方法
CN115145547A (zh) * 2022-06-25 2022-10-04 平安银行股份有限公司 基于语音的编程方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115794065B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
JP7130194B2 (ja) ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
CN108847241A (zh) 将会议语音识别为文本的方法、电子设备及存储介质
CN103309846B (zh) 一种自然语言信息的处理方法及装置
CN108710704B (zh) 对话状态的确定方法、装置、电子设备及存储介质
CN110164435A (zh) 语音识别方法、装置、设备及计算机可读存储介质
CN110020422A (zh) 特征词的确定方法、装置和服务器
US20090003713A1 (en) Method and apparatus for classifying and ranking interpretations for multimodal input fusion
CN102148031A (zh) 语音识别与交互系统及方法
CN114254158B (zh) 视频生成方法及其装置、神经网络的训练方法及其装置
CN112001175A (zh) 流程自动化方法、装置、电子设备及存储介质
JP2021131858A (ja) エンティティワードの認識方法と装置
CN113051362B (zh) 数据的查询方法、装置和服务器
CN110473527B (zh) 一种语音识别的方法和系统
CN110890090B (zh) 基于上下文的辅助交互控制方法及系统
US20220165257A1 (en) Neural sentence generator for virtual assistants
CN112084791A (zh) 一种对话过程意图提取及说法提示方法、系统及其电子设备
CN111930912A (zh) 对话管理方法及系统、设备和存储介质
CN116320607A (zh) 智能视频生成方法、装置、设备及介质
CN103020311B (zh) 一种用户检索词的处理方法及系统
US10628632B2 (en) Generating a structured document based on a machine readable document and artificial intelligence-generated annotations
EP4254279A1 (en) Machine learning pipeline augmented with explanation
CN115794065B (zh) 一种基于ai语音交互的可视化智能编程方法
CN111723580B (zh) 基于语音识别与图像识别的电力调度厂站信息图效验方法
CN110705220B (zh) 应用于智能语音鼠标的文本编辑方法、装置、系统和存储介质
CN1275174C (zh) 具有语音辨识辅助功能的中文输入方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant