CN110709831A - 用于智能辅导的增强型视觉诊断系统 - Google Patents

Abstract

系统，方法，以及用于执行操作的计算机程序产品，所述操作包括：经由辅导应用程序的聊天界面接收文本输入；通过应用于所述文本输入的至少一个分类器识别文本输入中的概念；将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一者；基于第一机器学习(ML)模型生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句，以及执行所述第一程序代码语句以基于经由所述聊天界面接收的所述文本输入来修改所述辅导应用程序的可视化界面。

Description

用于智能辅导的增强型视觉诊断系统

背景技术

本发明涉及计算机软件，更具体地说，涉及为智能辅导提供增强的可视对话界面的计算机软件。

智能辅导系统在不需要来自人类教师的干预的情况下向用户提供学习体验。一些智能辅导提供基于文本的通信接口，允许用户经由文本与智能辅导聊天(反之亦然)。然而，智能辅导系统的其他组件(诸如图形学习界面)与基于文本的用户通信隔离。类似地，当用户与系统的其他组件交互时，基于文本的通信界面与该交互隔离。

发明内容

在本发明的一个实施例中，方法包括通过辅导应用程序的聊天界面接收文本输入；通过应用于所述文本输入的至少一个分类器识别文本输入中的概念；将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；基于第一机器学习(ML)模型生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句，以及执行所述第一程序代码语句以基于经由所述聊天界面接收的所述文本输入来修改所述辅导应用程序的可视化界面。

在本发明的另一个实施例中，系统包括处理器和存储指令的存储器；当由处理器执行时，执行操作，所述操作包括：经由辅导应用程序的聊天界面接收文本输入；通过应用于所述文本输入的至少一个分类器识别文本输入中的概念；将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；基于第一机器学习(ML)模型生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句，以及执行所述第一程序代码语句以基于经由所述聊天界面接收的所述文本输入来修改所述辅导应用程序的可视化界面。

在本发明的另一个实施例中，计算机可读存储媒质中包含计算机可读程序代码；所述计算机可读程序代码可由处理器执行以执行操作，所述操作包括：经由辅导应用程序的聊天界面接收文本输入；通过应用于所述文本输入的至少一个分类器识别文本输入中的概念；将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；基于第一机器学习(ML)模型生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句，以及执行所述第一程序代码语句以基于经由所述聊天界面接收的所述文本输入来修改所述辅导应用程序的可视化界面。

附图说明

图1示出了根据本发明的一个实施例的提供增强的可视对话界面的智能辅导系统的示例组件；

图2A-2D描绘了根据本发明的多个实施例的用于智能辅导的增强的视觉对话界面的实例；

图3是示出根据本发明的一个实施例的为智能辅导提供增强的可视对话界面的示例方法的流程图；

图4是示出根据本发明的一个实施例的训练分类器的示例方法的流程图；

图5是示出根据本发明的一个实施例的用于翻译文本输入以生成修改可视化的语句的示例方法的流程图；

图6是示出根据本发明的一个实施例的转换在可视化界面接收的用户输入以创建自然语言语句的示例方法的流程图；并且，

图7是示出根据本发明的一个实施例的提供用于智能辅导的增强的可视对话界面的示范性系统的框图。

具体实施方式

在此披露的本发明的实施例提供了一种改进的用户和智能辅导的不同组件之间的通信的增强型智能辅导系统。例如，当用户经由智能辅导的基于文本的通信界面发出基于文本的语句时，本文公开的实施例动态地生成修改智能辅导的可视化界面的对应语句。类似地，如果用户修改可视化界面的图形元素，则在此公开的本发明的实施例生成被提供给智能辅导的基于文本的通信界面的自然语言语句。

图1示出了提供增强的可视对话界面的智能辅导系统100的示例组件。通常，智能辅导是用于为用户提供虚拟学习环境的应用。如图所示，智能辅导系统100包括文本界面101、翻译组件102和可视化组件103。文本界面101提供用户与聊天引擎110之间的基于文本的通信信道。通常，聊天引擎110是经由文本、表情符号、图标等与用户对话的“机器人(bot)”。例如，聊天引擎110可向用户输出多个选择问题。用户然后可以提供指定回答的用户输入111。然后，聊天引擎110可验证用户输入111中提供的答案，并返回验证的结果(例如，用户的答案是正确的还是不正确的)。以这种方式，聊天引擎110和用户可在用户从智能辅导100接收学习指令的同时交谈。

可视化组件103被配置为输出图形学习元素(诸如示例图形学习元素131-135)以供显示。示例图形学习元素包括任何类型的图形对象，诸如图表、图、示意图、可点击概念节点等。如图所示，用户可以经由用户输入136与图形学习元件131-135交互。例如，用户可改变图形学习元件131-135中的一个或多个的颜色以反映他们对与每个相应图形学习元件131-135相关联的主题的舒适度水平。

翻译组件102一般被配置成增强文本界面101和可视化组件103。例如，如果文本界面101中的用户输入111指定“向我示出绿色圈”，则翻译组件102将生成程序代码语句，该程序代码语句在被可视化组件103处理时生成、渲染和输出所请求的绿色圈。作为另一个示例，如果用户输入136将图形学习元件131-135中的一个移动到新位置，则翻译组件102接收描述移动的程序代码语句，并且生成反映移动的自然语言语句(例如，“你已经移动对象”)，该自然语言语句然后经由文本界面101输出。

如图所示，翻译组件102包括事件映射器120、一个或多个分类器121、实体至文本映射器122、分类数据模型123和可视命令124的数据存储。事件映射器120将由聊天引擎110输出的文本映射到事件和/或概念。一般而言，聊天引擎110与用户之间的会话可包括多个阶段(例如，问题、回答、搜索、建议、比较等)。事件映射器120将文本映射到这样的事件。例如，如果用户在文本界面中提供对问题的正确回答，则事件映射器将把来自聊天引擎110的响应映射到“正确回答”的示例概念。分类器121代表自然语言分类器、自然语言处理算法和语言解析器，诸如标识用户模仿(或命令)的解析器。通常，分类器121分析用户输入111的文本以对会话的文本进行分类并且识别会话的文本中的任何实体(例如，人、地方、事物、学习概念等)。分类器121随后将分类数据提供给分类数据模型123，分类数据模型123是基于分类数据生成可视命令124的机器学习模型。可视命令124是可由可视化组件103执行以相应地修改用户界面的代码语句。代码语句可以是针对视觉输出设计的任何类型的编程语言，诸如R(例如，ggplot2)、JavaScript、MATLAB或基于图形语法的任何其他语言。用于在图中生成散点图的示例代码语句是“ggplot(data,aes(x＝my_x,y＝my_y))+geom_point(shape＝1)”。因此，更一般地，针对这样的示例语句对分类器121进行训练以产生关于对开放式数量的输入查询的响应的分类。

当用户输入136被可视化部件103接收时，生成可视命令124(例如，代码语句)来描述并实现用户输入136。例如，如果用户将圆131的形状改变为方形，则由可视化组件103生成可视命令124代码语句，该可视命令124代码语句在被执行时将圆131的形状改变为方形。这种代码语句还可以采用任何类型的编程语言，诸如R(例如，ggplot2)、JavaScript、MATLAB或基于图形语法的任何其他语言。然后将可视命令124提供给翻译组件102，翻译组件102然后将实体至文本映射器122应用于接收到的可视命令124。实体至文本映射器122是基于接收到的可视命令124生成自然语言语句的机器学习模型。例如，实体至文本映射器122可以响应于将圆131改变为方形的代码语句生成自然语言语句“你将圆型改变为方形”。实体至文本映射器122然后可以将自然语言语句提供给聊天引擎110，聊天引擎110经由文本界面101向用户输出自然语言语句。

图2A描绘了根据一个实施例的示例图形用户界面(GUI)200，该GUI200包括由智能辅导100提供的增强的视觉对话。如图所示，GUI200包括聊天界面201和可视化界面202。作为文本界面101的示例输出的聊天界面201是允许用户和聊天引擎110经由文本和其他符号(symbols)来通信的GUI。可视化界面202是由可视化组件103生成的GUI，该GUI输出用于促进用户学习的图形对象。

如图所示，聊天引擎110经由聊天界面201向示例用户“student1”呈现多项选择问题。多项选择问题涉及长期存储器。此外，如图所示，可视化界面202向用户呈现与人类存储器相关的多个概念节点203-207。用户可点击概念节点203-207中的一个以接收与每个概念相关的信息，诸如教程、图表等。如图所示，用户“student1”经由聊天界面201提交了对多项选择问题的响应。

图2B描绘了在智能辅导100确定由用户“student1”提供的多选择响应不正确之后的GUI 200的示例输出。如图所示，聊天界面201包括来自聊天引擎110的指示该响应不正确的文本响应。然而，如图所示，GUI202已被更新以突出显示概念节点205，因为该概念节点对应于“长期存储器”的概念，“长期存储器”是聊天界面201中的会话的主题。如先前所指示的，聊天界面201的文本由分类器121分析，分类器121包括自然语言分类器、自然语言处理器和其他类型的解析器。类似地，聊天引擎110向事件映射器120提供对话的文本，事件映射器120将该文本映射到对应的事件。在图2B中所描绘的示例中，事件映射器120可以将对话的文本映射到“不正确回答”的事件，因为用户提供了对多选择问题的不正确回答。类似地，分类器121可以对用户提供的输入进行分类以确定用户需要更好地理解概念“长期存储器”。照此，分类数据模型123可基于聊天界面201的文本生成指定突出显示概念节点205的代码语句(例如，可视命令124)。当由可视化组件103执行时，代码语句突出GUI202中的概念节点105。

图2C描绘了本发明的实施例，其中，用户“student1”已经修改了GUI202。具体地，用户“student1”改变了概念节点205的颜色(或阴影)，例如，反映用户已经浏览了相应的辅件，并且对于长期存储器的概念更舒适。为了实现该改变，可视化组件103生成并执行修改概念节点205的外观的代码语句。可视化组件103将代码语句提供给翻译组件102。可视命令124随后将代码语句提供给实体至文本映射器122，实体至文本映射器122生成对应于代码语句的自然语言语句。然后，在聊天界面201中输出自然语言语句。因此，如图所示，聊天界面201将聊天引擎110描绘为输出“用户student1改变长期存储器概念节点的颜色”的示例自然语言语句。虽然改变概念节点205的颜色是操纵GUI202的用户输入的实例，但是可以类似地处理任何类型的用户交互。例如，如果用户将概念节点203移动到不同的位置，则翻译组件102可以生成“用户student1移动与声明性存储器相关联的概念节点”的示例自然语言语句。

图2D描绘了本发明的一个实施例，其中用户经由GUI 201向聊天引擎110提交强制性语句。具体地，如图所示，用户已经陈述了“请向我展示在短期存储器上的一些信息”。翻译组件102的组件分析该语句，并确定用户已指示聊天引擎110执行某一动作。作为响应，翻译组件102生成代码语句，当由可视化组件103执行时，该代码语句突出与短期存储器相对应的概念节点204，如GUI 202中所反映的。

除了突出概念节点204之外，翻译组件102可以生成经由GUI 202向用户提供提示的语句。此外，翻译组件102可以修改GUI201、202的布局(例如，并排、嵌入在GUI202中的GUI201等)。另外，翻译组件102可生成突出从GUI202中的一个视觉实体到另一视觉实体(诸如从对应于用户理解的主题的概念节点)到图中的回答概念的路径的语句。此外，翻译组件102可以生成突出GUI202中的多于一个实体的语句，诸如强调概念节点204-205以向用户显示短期和长期存储器之间的差异。此外，智能辅导100可以生成允许用户读取/摄取大量文本的概念节点，或者提供长项目列表上的元素组合的比较，其中这样的组合数量对于预训练而言将是不切实际的大。除了阅读文本之外，智能辅导100通过识别文本中的概念并创建用于显示在GUI202中的概念节点的图形来引入文本中包含的知识实体的视觉指南。概念节点的图允许用户通过选择给定节点来了解每个相关联的主题。

图3是流程图，展示了用于为智能辅导提供增强的视觉对话系统的示例方法300。如图所示，方法300开始于参见图4更详细描述的框310，其中分类器121被训练。通常，为了训练分类器，提供允许分类器计算期望结果的标记输入。例如，训练可以提供具有类似概念的不同自然语言语句(例如，“向我示出绿色圆圈”、“在哪里是绿色圆圈”、“让我们看到绿色圆圈”等)。作为另一示例，训练可提供被标记以生成对应的自然语言语句的不同程序代码语句(例如，修改可视化界面202的语句)。分类器121的训练可产生用于将自然语言映射到代码语句以修改可视化界面202的元素的一个或多个机器学习(ML)模型，以及将基于与可视化界面202的用户交互而生成的代码语句映射到自然语言语句的ML模型。

在框320处，聊天引擎110可以经由聊天界面201向用户输出文本通信。文本通信可以是任何类型的基于学习的通信，诸如问题、学习资料等。在框330，智能辅导100接收用户输入。可经由聊天界面201和/或可视化界面202接收用户输入。例如，用户可经由聊天界面201键入响应和/或操纵输出以经由可视化界面202显示的图形对象。在框340处，在确定输入是经由聊天界面接收到的基于文本的输入时，翻译组件102将文本输入转换成代码语句以修改可视化界面201。例如，如果用户键入陈述“我不理解专利”的消息，则翻译组件102可以生成可视化界面201可执行的代码语句以输出关于专利的教程。

在框350处，当确定通过可视化界面202接收到输入时，翻译组件102基于基于用户输入生成的代码语句生成自然语言语句。例如，如果用户输入指定打开专利教程，则可视化界面202生成在可视化界面202中输出专利教程的代码语句。代码语句然后被翻译组件102翻译成自然语言语句，诸如“你已打开专利教程”。在框360，基于翻译的输入修改GUI200。例如，自然语言语句“你已打开专利教程”可以经由文本界面101输出。作为另一示例，可视化组件103可以执行由翻译组件102生成的代码语句以修改可视化界面202(例如，输出专利上的教程)。在框370处，翻译组件102可以更新当前用户的机器学习模型。用户ML模型考虑用户提供的输入、反映用户的交互历史的任何历史动作和用户的学习进度。用户的ML模型随后被翻译组件102使用以随后修改可视化界面202和/或聊天界面201。

图4是示出对应于训练分类器的框310的示例方法400的流程图。如图所示，方法400开始于块410，其中翻译组件410接收训练数据集，该训练数据集可以可选地包括用户历史和/或用户数据。在框420，训练数据集用于训练分类器121。通常，训练数据集包括标记输入数据，该标记输入数据包括“正确”响应的指示。例如，训练数据集可包括多个不同的命令和每个用户命令的类型的对应指示。训练数据集还可以包括基于每个用户命令的类型生成以修改可视化组件103的适当代码语句的指示。类似地，训练数据可以包括基于与可视化组件103的图形元素的用户交互、与该交互相关联的事件和与该事件和/或交互相关联的自然语言语句而生成的代码语句。基于训练数据，分类器121在框430生成文本至可视化ML模型。在框440处，分类器121生成可视化至文本ML模型。

图5是一个流程图，展示了根据一个实施例的与框340相对应的用于翻译文本输入以生成修改可视化的语句的示例方法500。如图所示，方法500开始于框510，其中分类器121处理所接收的文本输入以识别其中的概念。在框520处，翻译组件102例如基于在框430处生成的文本到可视化ML模型将概念映射到视觉等效物。在框530处，翻译组件102可以基于在框520处确定的映射来生成程序代码语句。在框540，翻译组件102将所生成的代码语句传输到可视化组件103。在框550处，可视化组件103执行接收到的代码语句以修改可视化界面202。

图6是流程图，展示了对应于框350的示例方法600，用于翻译在可视化界面处接收的用户输入以创建自然语言语句。如图所示，方法600开始于框610，其中翻译组件102从可视化组件103接收程序代码语句，其中程序代码语句描述经由可视化界面202接收的用户输入。在框620，翻译组件102使用ML模型来对程序代码语句进行分类。在框630处，翻译组件102将经分类的程序代码语句翻译为自然语言语句。在框640，聊天引擎110经由聊天界面201输出自然语言语句。

图7是示出了提供用于智能辅导的增强的视觉对话系统的示例系统700的框图。联网系统700包括计算机702。计算机702还可以经由网络730连接到其他计算机(例如，客户端系统750)。通常，网络730可以是电信网络和/或广域网(WAN)。在特定实施例中，网络730是互联网。

计算机702通常包括处理器704，该处理器经由总线720从存储器706和/或存储装置708获得指令和数据。计算机702还可以包括连接到总线720的一个或多个网络接口设备718、输入设备722和输出设备724。计算机702通常在操作系统(未示出)的控制下。操作系统的示例包括UNIX操作系统、Microsoft Windows操作系统的版本和Linux操作系统的分布。(UNIX是美国和其他国家的开放组的注册商标)。微软和Windows是微软公司在美国、其他国家或两者的商标。Linux是Linus Torvalds在美国、其他国家或两者的注册商标。更一般地，可以使用支持本文公开的功能的任何操作系统。处理器704是执行指令、逻辑和数学处理的可编程逻辑器件，并且可以表示一个或多个CPU。网络接口设备718可以是允许计算机702经由网络730与其他计算机通信的任何类型的网络通信设备。

存储器708表示硬盘驱动器、固态驱动器、闪存设备、光学介质等。通常，存储器708存储由计算机702使用的应用程序和数据。此外，可以认为存储器706和存储装置708包括物理上位于其他位置的存储器；例如，在经由总线720耦合到计算机702的另一计算机上。

输入装置722可以是用于向计算机702提供输入的任何装置。例如，可以使用键盘和/或鼠标。输入设备722表示各种各样的输入设备，包括键盘、鼠标、控制器等。此外，输入装置722可以包括一组按钮、开关或用于控制计算机702的其他物理装置机构。输出设备724可以包括输出设备，诸如监视器、触摸屏显示器等。

如所示，存储器706包含智能辅导100，以上更详细地描述。如图所示，存储器708包含ML模型715，其存储任何上述ML模型。通常，系统700被配置为实现以上参见图1-6描述的所有功能。客户端系统750是包括智能辅导100的用户实例的用户系统。用户经由至少呈现在客户端系统750的显示设备(未示出)上的GUI 200-202访问智能辅导100的功能。

有利地，在此披露的本发明的实施例提供了用于更紧密地集成智能辅导系统的不同部件的技术。更具体地，本文公开的本发明的实施例将由聊天界面中的聊天bot生成的用户文本和文本翻译成修改智能辅导的可视化界面的程序代码语句。另外，本文公开的本发明的实施例基于响应于修改可视化界面的用户输入而生成的代码语句来生成自然语言语句。这样做改进了智能辅导系统的功能，向用户提供了更大的学习体验。这样做还产生包括视觉空间元素以及自然语言的用户交互模型，从而允许在非空间域中进行数据摄取和训练机器学习模型。

已经出于说明的目的呈现了对本发明的不同实施例的描述，但不旨在是详尽的或局限于所披露的实施例。在不背离本发明的范围的情况下，许多修改和变化对本领域的普通技术人员将是清楚的。选择本文中使用的术语以最佳地解释本发明的原理、实际应用或对市场上找到的技术的技术改进，或者使得本领域普通技术人员能够理解本文中公开的实施例。

在上文中，参考了在此呈现的本发明的实施例。然而，本发明的范围不限于具体描述的实施例。相反，所叙述的特征和元件的任意组合，无论是否涉及不同实施例，都预期用于实施和实践本发明。此外，尽管本文公开的本发明的实施例可以实现胜过其他可能的解决方案或者胜过现有技术的优点，但是特定优点是否通过给定的实施例来实现并不限制本发明的范围。因此，所陈述的方面、特征、实施例和优点仅仅是说明性的，并且不被认为是所附权利要求的元素或限制，除非在权利要求中明确陈述。同样，提及“本发明”不应被解释为在此披露的任何发明主题的概括，并且不应被认为是所附权利要求的一个要素或限制，除非在权利要求书中明确陈述。

本发明的多个方面可以采取以下形式：完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合了软件和硬件方面的实施例，这些实施例在此可以统称为“电路”、“模块”或“系统”。

本发明可以体现在系统、方法和/或计算机程序产品中。计算机程序产品可包括其上具有计算机可读程序指令的计算机可读存储媒质(或媒质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明的实施例可以通过云计算基础设施被提供给终端用户。云计算通常是指通过网络将可伸缩计算资源提供为服务。更正式地，云计算可被定义为在计算资源与其底层技术架构(例如，服务器、存储、网络)之间提供抽象的计算能力，使得能够方便地、按需网络访问可配置计算资源的共享池，该可配置计算资源的共享池能够以最小的管理努力或服务提供商交互被快速供应和释放。因此，云计算允许用户访问“云”中的虚拟计算资源(例如，存储、数据、应用和甚至完整的虚拟化计算系统)，而不考虑用于提供计算资源的底层物理系统(或这些系统的位置)。

典型地，云计算资源基于每次使用支付被提供给用户，其中，仅针对实际使用的计算资源(例如，用户所消耗的存储空间量或用户所实例化的虚拟化系统的数量)对用户收费。用户可在任何时间并从互联网上的任何地方访问驻留在云中的任何资源。在本发明的上下文中，用户可访问云中可用的应用或相关数据。例如，智能辅导100可以在云中的计算系统上执行。在这种情况下，智能辅导100可以生成ML模型715并将其存储在云中的存储位置处。这样做允许用户从附接到连接到云(例如，互联网)的网络的任何计算系统访问该信息。

虽然前述内容针对本发明的实施例，但是在不背离本发明的基本范围的情况下可以设计本发明的其他和进一步实施例，并且本发明的范围由以下权利要求书确定。

Claims (20)

1.一种方法，包括：

通过辅导应用程序的聊天界面接收文本输入；

通过应用于所述文本输入的至少一个分类器来识别所述文本输入中的概念；

将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；

基于第一机器学习(ML)模型，生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句；以及

基于经由所述聊天界面接收的所述文本输入，执行所述第一程序代码语句以修改所述辅导应用程序的可视化界面。

2.根据权利要求1的方法，其中该第一程序代码语句包括图形语句的语法，该方法进一步包括：

输出所述可视化界面以供显示，其中所述可视化界面包括包含所述第一视觉对象的多个视觉对象，其中所述程序代码语句修改所述多个视觉对象中的至少一个。

3.根据权利要求2的方法，进一步包括：

接收输入，所述输入修改经由所述可视化界面输出以供显示的所述多个对象中的第二视觉对象；

生成第二程序代码语句以修改所述第二视觉对象；

执行所述第二程序代码语句以修改所述第二视觉对象；

基于第二ML模型，生成与所述第二程序代码语句对应的实体；

基于所述实体与概念之间的映射生成自然语言语句；以及

通过所述聊天界面输出所述自然语言语句。

4.根据权利要求3的方法，进一步包括在接收该文本输入之前：训练所述至少一个分类器以基于训练数据生成所述第一和第二机器学习模型。

5.根据权利要求4的方法，其中该训练数据包括：(i)用于生成自然语言语句的多个标记的程序代码语句，以及(ii)用于生成程序代码语句的多个标记的自然语言语句。

6.根据权利要求1的方法，进一步包括：

由聊天引擎通过所述聊天界面输出第一消息；

由应用于所述第一消息的所述至少一个分类器对所述第一消息中的概念进行分类；

将所述第一消息中的所述概念映射到与所述第一消息中的所述概念相关联的事件；

生成对应于所述第一消息中的与所述概念相关联的所述事件的第二程序代码语句；以及

执行所述第二程序代码语句以基于由所述聊天引擎输出的所述第一消息来修改所述辅导应用程序的可视化界面。

7.根据权利要求1的方法，其中，文本输入包括对经由聊天界面输出的问题的响应。

8.一种计算机程序产品，包括：

计算机可读存储介质，具有随其体现的计算机可读程序代码，所述计算机可读程序代码可由处理器执行以执行操作，所述操作包括：

通过辅导应用程序的聊天界面接收文本输入；

通过应用于所述文本输入的至少一个分类器来识别所述文本输入中的概念；

将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一者；

基于第一机器学习(ML)模型，生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句；以及

基于经由所述聊天界面接收的所述文本输入，执行所述第一程序代码语句以修改所述辅导应用程序的可视化界面。

9.根据权利要求8的计算机程序产品，其中该第一程序代码语句包括图形语句的语法，该操作进一步包括：

输出所述可视化界面以供显示，其中所述可视化界面包括多个对象，其中所述程序代码语句修改所述多个对象中的至少一个对象。

10.根据权利要求9的计算机程序产品，进一步包括：

接收输入，所述输入修改经由所述可视化界面输出以供显示的所述多个对象中的至少一个对象；

生成第二程序代码语句以修改所述多个对象中的所述至少一个对象；

执行所述第二程序代码语句以修改所述多个对象中的所述至少一个对象；

基于第二ML模型，生成与所述第二程序代码语句对应的实体；

基于所述实体与概念之间的映射生成自然语言语句；以及

通过所述聊天界面输出所述自然语言语句。

11.根据权利要求10的计算机程序产品，该操作进一步包括在接收该文本输入之前：

训练所述至少一个分类器以基于训练数据生成所述第一和第二机器学习模型。

12.根据权利要求11的计算机程序产品，其中该训练数据包括：(i)用于生成自然语言语句的多个标记的程序代码语句，以及(ii)用于生成程序代码语句的多个标记的自然语言语句。

13.根据权利要求8的计算机程序产品，该操作进一步包括：

由聊天引擎通过所述聊天界面输出第一消息；

由应用于所述第一消息的所述至少一个分类器对所述第一消息中的概念进行分类；

将所述第一消息中的所述概念映射到与所述第一消息中的所述概念相关联的事件；

生成对应于所述第一消息中的与所述概念相关联的所述事件的第二程序代码语句；以及

执行所述第二程序代码语句以基于由所述聊天引擎输出的所述第一消息来修改所述辅导应用程序的可视化界面。

14.根据权利要求8的计算机程序产品，其中该文本输入包括对经由该聊天界面输出的问题的响应。

15.一种系统，包括：

处理器；以及

存储器，其存储一个或多个指令，所述指令在由所述处理器执行时执行操作，所述操作包括：

通过辅导应用程序的聊天界面接收文本输入；

通过应用于所述文本输入的至少一个分类器来识别所述文本输入中的概念；

将所述文本输入中的所述概念映射到视觉动作和第一视觉对象中的至少一个；

基于第一机器学习(ML)模型，生成与所述视觉动作和所述第一视觉对象中的所述至少一个相对应的第一程序代码语句；以及

基于经由所述聊天界面接收的所述文本输入，执行所述第一程序代码语句以修改所述辅导应用程序的可视化界面。

16.根据权利要求15的系统，其中该第一程序代码语句包括图形语句的语法，该操作进一步包括：

输出所述可视化界面以供显示，其中所述可视化界面包括多个对象，其中所述程序代码语句修改所述多个对象中的至少一个对象。

17.根据权利要求16的系统，进一步包括：

接收输入，所述输入修改经由所述可视化界面输出以供显示的所述多个对象中的至少一个对象；

生成第二程序代码语句以修改所述多个对象中的所述至少一个对象；

执行所述第二程序代码语句以修改所述多个对象中的所述至少一个对象；

基于第二ML模型，生成与所述第二程序代码语句对应的实体；

基于所述实体与概念之间的映射生成自然语言语句；以及

通过所述聊天界面输出所述自然语言语句。

18.根据权利要求17的系统，该操作进一步包括：在接收该文本输入之前：

训练所述至少一个分类器以基于训练数据生成所述第一和第二机器学习模型。

19.根据权利要求18的系统，其中该训练数据包括：(i)用于生成自然语言语句的多个标记的程序代码语句，以及(ii)用于生成程序代码语句的多个标记的自然语言语句。

20.根据权利要求15的系统，其中，所述文本输入包括对经由聊天界面输出的问题的响应，所述操作进一步包括：

由聊天引擎通过所述聊天界面输出第一消息；

由应用于所述第一消息的所述至少一个分类器对所述第一消息中的概念进行分类；

将所述第一消息中的所述概念映射到与所述第一消息中的所述概念相关联的事件；

生成对应于所述第一消息中的与所述概念相关联的所述事件的第二程序代码语句；以及

执行所述第二程序代码语句以基于由所述聊天引擎输出的所述第一消息来修改所述辅导应用程序的可视化界面。

Images