CN114341795A - 用于系统设计的会话设计机器人 - Google Patents

Abstract

用于工程系统设计中的会话对话的系统和方法包括设计机器人，设计机器人被配置为在图形用户界面上生成设计仪表板，该设计仪表板通过呈现系统设计视图组件来呈现系统设计视图信息的文本表示。仪表板的对话框特征接收纯文本字符串，该字符串传达用户对系统元素的系统设计视图和系统元素的属性的请求。设计机器人使用针对系统设计元素的设计活动目标定义的上下文，将纯文本的用户请求转换成向量化上下文的用户请求。基于向量化的用户请求从设计存储库中检索系统设计视图信息。在对话框中显示对用户请求的纯文本字符串响应，该响应传达与系统设计相关的系统设计信息。

Description

用于系统设计的会话设计机器人

技术领域

本申请涉及工程设计软件。更具体地说，本申请涉及用于访问和操作由工程设计软件应用程序管理的系统设计信息的会话设计机器人用户界面。

背景技术

系统工程(包括软件工程)的目的是设计满足限定的系统目标的系统及其体系结构和系统元素。今天，设计这样的系统的过程是高度手动的，并且通常需要多次迭代来满足系统的目标。系统设计过程的一部分可以包括权衡分析，以便在所有架构级别(例如，系统级别、子系统级别、组件级别)上做出明智的设计决策，以实现系统目标。为了做出这样明智的设计决策，需要访问各种系统设计信息，如系统元素及其属性，称为“系统设计视图”。

当前的系统受到对系统设计视图的繁琐访问的阻碍，这些系统设计视图从文档化的系统架构和设计中提取信息。通常，这样的系统设计视图是由系统架构的分解原则构成的。例如，在单个设计域中，查看系统元素及其属性相对容易。然而，如果系统设计过程包括对替代系统元素的系统性考虑，那么访问系统设计视图的传统方法就有局限性。例如，用户必须在相同或不同的系统设计工具(例如，Sys ML或CyPhyML)中打开不同的系统设计，才能访问感兴趣的系统设计视图。这是一项主要的手动工作，特别是要求用户离开当前运行的系统设计工具，比较系统元素及其属性，或者选择性能“更好”的系统元素。因此，设计过程由于查看系统元素及其属性的效率低下而受到阻碍，尤其是当所需的系统视图跨越不同的设计域边界时。此外，基于属性来比较竞争系统元素是低效的(例如，“比较电池_l和电池_2”，或“哪种电池性能最好”)。在传统的解决方案中，基于属性定义感兴趣的系统视图和比较供选择的系统元素大多是低效的手动工作。

发明内容

用于工程设计的系统，提供设计空间内的会话设计机器人，作为对工程设计界面的改进。设计机器人转换用户对系统设计视图的请求，通过文本字符串(纯文本输入)或通过用户陈述(语音输入)来表达。从系统设计存储库中检索系统设计视图信息。使用图形用户界面(GUI)的对话框特征将会话设计机器人响应作为音频和/或文本陈述传达给用户。对话框集成在GUI上的系统设计仪表板中，该设计仪表板包括系统设计视图的呈现，并且还可以包括检索的系统设计视图的属性和参数。对话框可以以纯文本字符串和/或语音对话的会话对话形式与用户通信。

附图说明

参考以下附图描述本实施例的非限制性和非穷尽性实施例，其中，除非另有说明，否则在整个附图中相同的参考数字指的是相同的元件。

图1示出根据本公开的实施例的用于具有会话设计系统的工程设计的系统的示例。

图2示出根据本公开的实施例的用于会话设计系统的转换器的配置的示例。

图3示出根据本公开的实施例的用于映射上下文化的对话结构的示例。

图4示出根据本公开的实施例的会话设计机器人操作的流程图示例。

图5示出根据本公开的实施例的用于集成会话设计机器人的工程系统的仪表板的示例。

图6示出可实现本公开的实施例的计算环境的示例。

具体实施方式

公开了用于工程设计系统的方法和系统，该工程设计系统将会话设计机器人集成到设计视图仪表板中，以提高设计效率。在涉及多个学科(如电气、机械、自动化等)工程师贡献的复杂系统设计中，当一个工程师在各自的设计领域(或学科)内工作时，了解整个系统(包括其他领域)是有用的，以便在实现一个设计领域的更改或添加时可以监测整个系统的影响。具体地，所公开的解决方案通过系统设计视图通知工程师，以改进对在单个设计域内考虑的竞争设计的评估。与传统的工程系统不同，所公开的解决方案学习系统组件的上下文信息，使得每个组件被表示为链接到以各种格式可供用户访问的组件特性的虚拟对象。在这些格式之一中，会话对话系统将用户目标映射到对信息的正式请求，并提供以会话格式的推荐增强的结果显示。使用图形用户界面，用户可以以纯文本字符串或通过语音命令提交请求，例如“设备Beta的设计212的最佳电池是什么？”。系统响应可以包括以纯文本字符串或音频语音响应的方式通过名称(例如，电池_14)对工程设计元素的引用，以及在可视显示器上检索作为用户可访问的对象的设计元素。然后可以使用各种对象操作来操作所检索的对象。该会话对话系统解决诸如元素和元素属性的低效系统设计视图的技术问题，特别是对于跨越系统元素边界的实例，以及基于属性和性能解决竞争的系统设计元素。对话界面的优点是，系统可以通过一个或多个查询/响应交换重定向用户查询，帮助用户将请求集中到最适合检索系统信息的形式。

图1示出根据本公开实施例的具有集成会话对话系统的工程设计系统的示例。在实施例中，针对目标对象或系统执行设计工程项目。计算设备110包括处理器115和存储器111(例如，非暂时性计算机可读介质)，存储器上存储有各种计算机应用程序、模块或可执行程序。工程应用112可以包括用于建模工具中的一个或多个的软件、模拟引擎、计算机辅助设计(CAD)工具和用户可经由显示设备116和用户接口模块114访问的其他工程工具，用户接口模块114驱动显示设备116的显示馈送并将用户输入处理回处理器115，所有这些对于执行计算机辅助设计(例如以物理设计的2D或3D渲染的形式)和系统设计分析(例如设计参数、性能参数和目标的高维设计空间可视化)是有用的。诸如局域网(LAN)、广域网(WAN)或基于互联网的网络的网络130将计算设备110连接到设计数据存储库150。

在实施例中，由用于工程工具112的应用软件生成的工程数据被监视并组织成由设计存储库150存储的系统设计数据。系统设计数据是在设计项目和设计修订过程中从工程工具112导出的系统元素和元素属性的积累。在一些实施例中，从供应商(例如与设计中的系统相关的组件的供应商或制造商)获得元素的系统设计数据。例如，系统设计数据可以包括技术设计参数、传感器信号信息、操作范围参数(例如，电压、电流、温度、应力等)。在由工程工具112执行的模拟的实例中，模拟结果数据可以附加到各个元素的系统设计数据，这对于选择竞争的设计元素是有用的。作为实际的示例，不同电池的电池性能可以通过对电池驱动无人机的各种设计的几个模拟来记录。在其他方面，原型的测试和实验可以产生系统设计数据，该系统设计数据可以附加到系统设计数据中的设计元素并存储在设计存储库150中。因此，设计存储库150可以包含关于各种设计的结构化和静态域知识。

设计机器人120是算法模块，其被配置为以用户可访问的各种交互格式提供系统设计视图信息，例如用户仪表板和会话设计对话框，该会话设计对话框将对以纯文本字符串或语音输入表示的设计视图的用户请求转换为可映射到系统设计数据的正式请求。在实施例中，设计机器人120作为本地实例安装在存储器111中，用于与工程工具112的应用软件交互。或者，设计机器人实现可以是基于云或基于Web的操作，如设计机器人140模块所示，或者是由设计机器人120和140共享的分割操作。在此，为了简单起见，参考设计机器人120来描述设计机器人的配置和功能，然而，相同的配置和功能适用于由设计机器人140实现的任何实施例。在一个方面，当一个或多个工程工具112在后台运行时，设计机器人120成为用户的活动界面，允许用户使用系统设计视图执行对设计的查询和修改。因此，设计机器人120允许用户通过设计机器人120生成的图形用户界面间接操作用于工程工具112的应用软件。在一个方面，设计机器人120模块管理在后台操作的工程工具112。例如，用户可以直接与设计机器人120的图形用户界面(GUI)(在显示设备116上作为设计对话框125呈现给用户)交互以进行设计组件分析的请求，然后设计机器人120将请求传送到由工程工具112控制的设计空间，工程工具112在后台执行分析并将结果返回给通过GUI将结果呈现给用户的设计双方120。

用户接口模块114提供系统应用软件模块112、120与诸如显示设备116、用户输入设备126(例如，键盘、触摸屏和/或鼠标)和音频I/O设备127(例如，麦克风128、扬声器129)的用户设备之间的接口。设计仪表板121和设计对话框125在操作期间由设计机器人120生成为交互式GUI，并呈现到诸如计算机监视器或移动设备屏幕的显示设备116上。用户输入设备126使用键盘或其他文本机制接收纯文本字符串形式的用户输入。用户对设计数据的请求可以在设计对话框125中作为纯文本字符串提交给设计机器人120，同时在设计仪表板121上查看系统设计的各个方面。音频接口可以配置有语音传感器(例如，麦克风)和回放设备(音频扬声器)。声音用户请求可由音频I/O设备127接收，并由用户接口模块114处理以转换为文本字符串请求，该文本字符串请求可显示在对话框中。设计机器人120被配置为转换文本字符串请求，将请求映射到系统设计数据，以及从设计存储库150检索设计视图。从所检索的数据中，设计机器人120提取响应信息并生成以用于在设计对话框125中查看的纯文本字符串形式的对话响应、用于在音频I/O设备127上向用户播放音频的语音响应或两者的组合。设计仪表板121被配置为具有与由工程应用112生成的设计视图元素相关的属性和度量的设计视图元素(例如，2D或3D呈现)的图形显示。

设计机器人120被配置用于使用转换器113模块和多模态对话管理器(MDM)115的转换功能，执行将设计空间对象上下文转换为会话对话，反之亦然。系统设计过程中的用户输入以会话形式处理，以改善用户体验，允许设计者探索并找到具有减少交互复杂性和认知负荷的设计替代方案。以会话形式处理在用户界面上发布的查询的优点，消除了学习和/或记忆复杂交互语言的需要，减少设计者的认知负荷。转换器113模块包括若干组件，用于根据模态处理输入和输出。

图2示出根据本公开的实施例的用于会话设计系统的转换器的配置的示例。图1的MDM 115和转换器113的操作在图2中更详细地示出。在实施例中，转换器113模块包括多个组件，这些组件被布置成处理与系统设计视图相关的语音和文本对话。使用自动语音识别(ASR)组件215(如Kaldi)和自然语言理解(NLU)组件217(如NER、MITIE)处理从麦克风128接收的语音命令，自动语音识别组件215用于将语音命令转换为数字语音数据，自然语言理解(NLU)组件217被配置为从数字文本数据中提取用户请求的语言含义。使用自然语言生成组件237(例如，基于模板的生成)和文本到语音组件235来处理语音响应，以便在扬声器129上进行音频回放。在连接到GUI 225的设备126、116处的文本输入和输出由自然语言理解组件217和自然语言生成组件237转换。MDM 115被配置为处理用于工程设计应用中的复杂对话框。MDM基于用户输入模态处理输入。例如，如果用户输入模态是语音，则MDM控制转换器113使用语音和文本这两种模态来处理语音命令，以便对话框可以显示语音对话的文本。MDM与设计空间交换信息，响应于提交的设计视图请求检索请求的信息。为了支持复杂的对话，MDM 115在逻辑容器中构造对话结构作为映射上下文化的元素。

图3示出根据本公开的实施例的用于映射上下文化的对话结构的示例。设计机器人120被配置为针对系统设计的元素使用设计活动目标定义的上下文，将纯文本用户请求转换为向量化的上下文用户请求。可以实现机器学习过程以提取相关上下文。在实施例中，从MDM 115接收到的与系统设计视图数据请求相关的转换的对话的字符串中，逻辑容器301由用于设计应用的所有使用的上下文构造，该设计应用包括为上下文1、2、……上下文X生成的上下文映射310、311、312。在实施例中，使用机器学习过程来实现对话结构构造，机器学习过程记录接收到的数据请求并根据概率分布预测它与哪个设计活动上下文相关，并且预测上下文中的一个或多个目标或子目标中的哪一个。在另一实施例中，MDM 115应用基于规则的算法来识别(a)用户意图、和/或(b)系统实体，在系统配置期间根据已知的设计组件和对于定义的设计活动上下文的预期用户意图定义规则。例如，用户意图规则可以定义为“对于上下文1如果意图A被识别，那么执行任务1A”；系统实体规则可以定义为“对于上下文2如果实体＝‘电池’，那么执行任务B”。因此，MDM 115响应于接收到的用户输入来选择规则。

在每个上下文映射中，对话元素(例如，对话的句子中单词的向量表示)被划分为槽值320和子目标321的向量。子目标321是上下文中的元素，并反映用例的单个步骤，因此称为“子目标”。它被称为“子目标”，而不是“步骤”，因为对话框没有强制执行步骤的顺序。用户的意图可以分配给一个上下文中的任何子目标。作为示例，对于上下文“设计空间探索(DesignSpaceExploration)”，潜在的子目标可以是“更改表示(GetRepresentationChanged)”或“更改奖励(GetRewardChanged)”。为子目标321分配相应上下文的子目标概率分布322。由MDM 115计算上下文概率分布331，用于对上下文映射310、311、312进行排序。每个上下文都可以与具有特定目标的用例进行比较。对话步骤被分组，根据这些步骤可能大约及时使用，而不会丢失相应槽值的上下文。整个系统设计工作流程的每一个步骤(例如，设计空间构造、设计组合、设计空间探索)都被分配到上下文中。例如，对于设计空间探索任务，上下文元素或子目标可以反映用例的单个步骤。在一个方面，设计空间探索上下文是指响应于一个或多个特定技术参数变化而探索对系统设计的变化影响的设计活动。设计组合上下文涉及确定第一组件的系统设计空间是否与另一组件兼容(例如，应用设计空间分布映射)。设计空间构造上下文定义设计空间的限制。对话框映射并不强制序列步骤，而是将用户意图分配给一个上下文中的任何子目标。例如，在“设计空间探索”的上下文中，潜在的子目标可以是“更改表示”或“更改奖励”。槽值是每个子目标的候选值，每个槽值对于上下文是全局的，因此槽值可以在相同上下文的子目标之间共享。这避免用户必须在不同的对话步骤之间重复信息。对于子目标“更改表示”，电池1容量的潜在槽值可能是“4150mAh”、“5100mAh”、“5850mAh”。对于子目标“更改奖励”，潜在的槽值是：“成本”(首先显示最低成本)、“可靠性”(首先显示最高可靠性)。整个对话的上下文概率分布331指定选择上下文的可能性。每个上下文的子目标概率分布322指定子目标被选择的可能性。对于对话结构301，MDM 115(1)保留上下文并重用槽值，使得交互变得更有效；(2)支持混合发起对话，但可以执行一定的子目标序列；(3)自动澄清未知槽值；和(4)基础槽值。举例说明，子目标的结构由以下元素组成：(a)输入——定义用于识别子目标的意图；识别子目标中使用的实体；(b)声明——声明子目标所需的内部变量；(c)澄清——要求缺少实体值；(d)基础——如果要求，请用户确认槽值；(e)输出——考虑不同的模态选择响应标识符和响应参数，选择具有动作参数的动作命令，以概率指定下一上下文/子目标和前一上下文/子目标，并选择输出模态。

设计机器人120被配置为处理各种对话类型，包括以下示例：

·请求另一个团队成员的支持(例如：上下文“团队协作(TeamCollaboration)”；子目标：获取团队成员(GetTeamMember)；槽值：“电池”、“控制器”、……)

·请求筛选和排序设计(例如，上下文：“设计空间探索”；子目标：“获取比较设计(GetCompareDesign)”，带有槽“设计ID”(槽值:1、2、3)和槽“属性”(槽值：“性能”、“可靠性”、“成本”、“耐久性”)

·请求比较设计(例如，上下文：“设计空间探索”；子目标：“获得最佳设计(GetBestDesign)”；槽“属性”和槽值“性能”、“可靠性”、“成本”、“耐久性”、……)

·请求大多数约束属性(例如，上下文：“设计组合(DesignComposition)”；子目标：“获取最受制约设计(GetMostContrainingDesign)”)

在实施例中，当从设计存储库150检索所请求的系统设计视图时，将向量化的请求与储存库中的系统设计的对象进行比较，这些对象根据公共方案被格式化为向量化的对象，并且通过找到与请求向量距离最短的对象向量来确定匹配。在一个方面，将存储的系统设计信息配置为具有向量化节点的知识图。比较可以通过应用索引查找来执行，其中知识图节点由向量来索引。

图4示出根据本公开的实施例的会话设计机器人操作的流程图示例。用户请求纯文本字符串401被输入到对话框中，并且由设计机器人120经由用户接口模块114接收，并且由转换器113模块和MDM 115转换405成如上所述的设计视图请求406。或者，在音频I/O设备127处接收语音用户请求402，由用户接口模块114处理，并由转换器113模块和MDM 115转换。在一个方面，使用转换器算法将声音请求转换成文本字符串请求，并显示在设计对话框中，用于用户反馈和确认所接收的请求。例如，ASR组件(例如，Kaldi)被训练以学习领域特定的表达(例如，设计、组件、性能、电池等)，并且在接收到用户话语时，它将语音转换成文本字符串。

在415，设计机器人120基于系统设计视图请求406从设计存储库150检索设计视图信息416。在425，设计机器人120以一种或多种格式在仪表板上呈现具有上下文对象的系统设计视图，例如系统组件的图形显示426。在435，设计机器人120还将系统设计视图对话作为对话框125中的文本响应436或机器语音响应437输出到音频I/O设备127，作为对用户请求401、402的响应。

图5示出根据本公开的实施例的用于集成设计机器人的工程系统的具有对话框的仪表板的示例。仪表板500例如是可以在计算机监视器的一部分上显示给用户的图形用户界面。仪表板的功能包括为用户提供具有对工程设计活动最重要的系统设计视图信息的交互式GUI，允许用常规方法通常需要几个小时的设计活动在几分钟内执行。例如，设计参数和设计组件可以在系统设计视图中快速交换，因为任何目标组件的关键上下文信息都可以立即查看。在实施例中，仪表板500可以与工程应用112集成为单独的屏幕视图，该屏幕视图可以从用于目标设计的工程工具切换开和关。或者，仪表板500可以与显示在屏幕的第二部分上的一个或多个工程工具一起显示在屏幕的第一部分上。如图所示，仪表板屏幕部分可以包括设计目标501、设计要求502、环境条件文件503、系统设计文件504、可视化系统设计视图505、设计度量507、目标组件视图508、目标组件细节509、系统设计组件条510、设计建议511、对话框512、团队聊天513和排名靠前的设计514。会话对话框512是仪表板500显示器的一部分，允许用户键入对设计视图信息的纯文本字符串请求，并通过设计机器人操作向用户显示具有从设计存储库提取的设计视图信息的对话响应。除了对话框特征之外，设计视图以图形方式呈现为系统设计505，其中目标组件508与用户设计视图请求相关。例如，如图所示，系统设计505涉及由可视系统设计视图505所示的电动四翼无人机，并且目标组件508是与对话框512中的当前会话相关的呈现电池。在实施例中，设计机器人120生成具有用于系统设计视图对象的上下文信息的仪表板500，由此，诸如图5中所示的电池1的组件以具有上下文指示符(例如，粗体、特殊颜色、下划线)的文本显示，以向用户指示可访问该组件的上下文信息。例如，电池1的上下文信息作为文本字符串呈现在对话框512回答块中，并且作为可视系统设计视图中的覆盖，示出为目标组件细节509。此外，当在对话框512(例如，电池1)、团队聊天513(例如，电池5、电池6)或仪表板500中的其他地方引用任何对象时，该对象以允许用户以各种方式操纵该对象的上下文指示符(例如，下划线、高亮显示、粗体文本等)显示。例如，团队聊天513中的对象电池5可以被拖入可视系统设计视图505，并且设计机器人120将不同的电池集成到系统设计中，包括用电池5的目标组件显示508和细节509来更新仪表板500。

仪表板500中的目标部分501是技术设计参数的交互式显示，允许用户输入用于系统设计的参数设置，并以可视方式记录设置，例如图5中所示的滑动条，可以使用指针设备(如鼠标或通过触摸屏)来调整该滑动条。要求文件502存在于仪表板500上，以指示当前上传的包含活动系统设计的设计要求的文件。仪表板500的环境条件文件503部分示出当前上传的用于系统设计的文件，作为系统设计分析的输入，例如系统设计可能遇到并且需要令人满意地执行的预期环境条件。系统设计文件504示出当前上传的系统设计文件，该系统设计文件包含用于用户通过仪表板500可访问的各种系统设计的数据。可视系统设计视图505提供包括在组件条510中识别的所有组件的整个系统设计配置的可视呈现。作为对话框512的主题的目标组件，可视地呈现为呈现的目标组件508和组件属性509的显示，组件属性可以包括但不限于：类型、重量、能量、容量、电压、成本和用于进一步信息的URL链接。

设计机器人120和对话应用125一起工作以形成会话对话系统，该系统将以会话对话内的请求形式提交的用户目标转换为以用于设计活动的上下文目标或子目标形式的系统设计视图请求。表1提供系统设计视图请求转换的一组非限制性示例。

表1

当会话对话系统通过对系统元素(例如“系统设计1”、“电池1”)的引用而响应时，系统元素可以作为对象访问，并且可以作为对象处理，包括但不限于以下对象操作：查看、打开、关闭、保存、另存为、发送、共享、移动、剪切‘n’粘贴、复制‘n’粘贴、删除、修改、排列、排序、拖‘n’放。例如，如图5所示，系统元素电池1可以作为对象处理，并且通过选择操作(例如，用计算机鼠标点击)，详细信息和特征被视为目标对象详细信息509，并且可视表示被视为目标组件视图508。

系统设计视图对请求的响应可以采用各种形式，取决于请求的上下文。例如，仪表板可以显示以下中的一个或多个：目标组件和/或系统的性能和属性可以显示在仪表板上，在目标组件处放大的系统的可视显示，功耗随时间的图表。

图6示出可实现本公开的实施例的计算环境的示例。计算环境600包括计算机系统610，计算机系统610可包括通信机制，例如用于在计算机系统610内通信信息的系统总线621或其他通信机制。计算机系统610还包括与系统总线621耦合用于处理信息的一个或多个处理器620。在实施例中，计算环境600对应于具有用于有效设计开发的会话对话特征的工程设计系统，其中计算机系统610涉及下面更详细描述的计算机。

处理器620可以包括一个或多个中央处理单元(CPU)，图形处理单元(GPU)或本领域中已知的任何其他处理器。更一般而言，本文所述的处理器是用于执行存储在计算机可读介质上的机器可读指令以执行任务的设备，并且可以包括硬件和固件中的任何一个或组合。处理器还可包括存储用于执行任务的可执行的机器可读指令的存储器。处理器通过操纵、分析、修改、转换或传递供可执行过程或信息设备使用的信息、和/或通过将信息路由到输出设备，来对信息进行作用。处理器可以例如使用或包括计算机、控制器或微处理器的能力，并且可以使用可执行指令来进行调节，以执行通用计算机没有执行的特殊目的功能。处理器可以包括任何类型的合适处理单元，包括但不限于中央处理单元、微处理器、精简指令集计算机(RISC)微处理器、复杂指令集计算机(CISC)微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SoC)、数字信号处理器(DSP)等。此外，处理器620可以具有任何合适的微体系结构设计，包括任何数量的组成组件，诸如，例如寄存器、多路复用器、算术逻辑单元、用于控制对高速缓存存储器的读/写操作的高速缓存控制器、分支预测器等。处理器的微体系结构设计可能能够支持多种指令集中的任何一种。处理器可以与能够在其间进行交互和/或通信的任何其他处理器耦接(电形式和/或作为包括可执行组件)。用户界面处理器或生成器是包括用于生成显示图像或其一部分的电子电路或软件或两者的组合的已知元件。用户界面包括一个或多个使得用户能够与处理器或其他设备进行交互的显示图像。

系统总线621可以包括系统总线、存储器总线、地址总线或消息总线中的至少一种，并且可以允许在计算机系统610的各个组件之间交换信息(例如，数据(包括计算机可执行代码)、信令等)。系统总线621可以包括但不限于存储器总线或存储器控制器、外围总线、加速图形端口等。系统总线621可以与任何合适的总线架构相关联，包括但不限于工业标准架构(ISA)、微通道架构(MCA)、增强型ISA(EISA)、视频电子标准协会(VESA)架构、加速图形端口(AGP)架构、外围组件互连(PCI)架构、PCI-快捷架构、国际个人计算机存储卡协会(PCMCIA)架构、通用串行总线(USB)架构等。

继续参考图6，计算机系统610还可以包括耦接到系统总线621的系统存储器630，用于存储信息和将由处理器620执行的指令。系统存储器630可包括易失性和/或非易失性存储器形式的计算机可读存储介质，例如只读存储器(ROM)631和/或随机存取存储器(RAM)632。RAM 632可以包括其他动态存储设备(例如，动态RAM、静态RAM、以及同步DRAM)。ROM631可以包括其他静态存储设备(例如，可编程ROM、可擦除PROM和电可擦除PROM)。另外，系统存储器630可用于在处理器620执行指令期间存储临时变量或其他中间信息。可以在ROM631中存储基本输入/输出系统633(BIOS)，该基本输入/输出系统633(BIOS)包含诸如在启动期间帮助在计算机系统610内的元件之间传递信息的基本例程。RAM 632可以包含数据和/或程序模块，这些数据和/或程序模块可以被处理器620立即访问和/或当前被处理器620操作。系统存储器630可以附加地包括例如操作系统634、应用程序635和其他程序模块636。应用模块635可以包括针对图1或图2描述的前述模块，并且还可以包括用于开发应用程序的用户端口，允许输入参数在必要时被输入和修改。

操作系统634可以被上传到存储器630中，并且可以提供在计算机系统610上执行的其他应用软件与计算机系统610的硬件资源之间的接口。更具体地，操作系统634可以包括一组用于管理计算机系统610的硬件资源以及向其他应用程序提供公共服务(例如，管理各种应用程序之间的存储器分配)的计算机可执行指令。在某些示例实施例中，操作系统634可以控制被描绘为存储在数据存储装置640中的一个或多个程序模块的执行。操作系统634可以包括现在已知或将来可以开发的任何操作系统，包括但不限于任何服务器操作系统、任何大型机操作系统或任何其他专有或非专有操作系统。

计算机系统610还可以包括磁盘/介质控制器643，其耦接到系统总线621以控制一个或多个用于存储信息和指令的存储设备，例如磁性硬盘641和/或可移动介质驱动器642(例如，软盘驱动器，光盘驱动器，磁带驱动器，闪存驱动器和/或固态驱动器)。可以使用适当的设备接口(例如，小型计算机系统接口(SCSI)，集成电路设备(IDE)，通用串行总线(USB)或火线)将存储装置640添加到计算机系统610。存储设备641、642可以在计算机系统610的外部。

计算机系统610可以包括用户输入/输出接口模块660，以处理来自用户输入设备661的用户输入，用户输入设备661可以包括一个或多个设备，例如键盘、触摸屏、平板和/或指向设备，用于与计算机用户交互并向处理器620提供信息。用户接口模块660还处理到用户显示设备662的系统输出(例如，经由交互式GUI显示器)。

计算机系统610可以响应于处理器620执行包含在诸如系统存储器630的存储器中的一个或多个指令的一个或多个序列，来执行本发明实施例的部分或全部处理步骤。这样的指令可以从存储装置640的另一计算机可读介质(例如磁性硬盘641或可移动介质驱动器642)读入系统存储器630。磁性硬盘641和/或可移动介质驱动器642可以包含本公开的实施例使用的一个或多个数据存储和数据文件。数据存储装置640可以包括但不限于数据库(例如，关系的、面向对象的等)、文件系统、平面文件、数据存储在计算机网络的一个以上节点上的分布式数据存储器、对等网络数据存储器等。数据存储内容和数据文件可以被加密以提高安全性。处理器620还可以在多处理布置中使用，以执行系统存储器630中包含的一个或多个指令序列。在替代实施例中，可以使用硬连线电路来代替软件指令或与软件指令结合使用。因此，实施例不限于硬件电路和软件的任何特定组合。

如上所述，计算机系统610可以包括至少一个计算机可读介质或存储器，用于保存根据本发明的实施例编程的指令并且用于包含本文描述的数据结构、表、记录或其他数据。如本文所使用的术语“计算机可读介质”是指参与向处理器620提供指令以供执行的任何介质。计算机可读介质可以采用许多形式，包括但不限于非暂时性、非易失性介质、易失性介质和传递介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘和磁光盘，例如磁性硬盘641或可移动介质驱动器642。易失性介质的非限制性示例包括动态存储器，例如系统存储器630。传递介质的非限制性示例包括同轴电缆、铜线和光纤、包括构成系统总线621的布线。传递介质也可以采用声波或光波的形式，例如在无线电波和红外数据通信过程中产生的那些。

用于执行本公开的操作的计算机可读介质指令可以是汇编程序指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或以一种或多种编程语言的任意组合编写的源代码或目标代码，该编程语言包括面向对象的编程语言，例如Smalltalk、C++等，以及常规的过程编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化，从而执行计算机可读程序指令，以便执行本公开的多个方面。

本文参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读介质指令来实现。

计算环境600还可以包括使用到诸如远程计算设备673的一个或多个远程计算机的逻辑连接在网络环境中操作的计算机系统610。网络接口670可允许例如经由网络671与其他远程设备673或系统和/或存储设备641、642进行通信。远程计算设备673可以是个人计算机(膝上型计算机或台式计算机)、移动设备、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括以上相对于计算机系统610描述的许多或全部元件。当在网络环境中使用时，计算机系统610可以包括调制解调器672，用于通过诸如互联网的网络671建立通信。调制解调器672可以经由用户网络接口670或经由另一适当机制连接到系统总线621。

网络671可以是本领域中通常已知的任何网络或系统，包括互联网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或一系列连接、蜂窝电话网络或能够促进计算机系统610与其他计算机(例如，远程计算设备673)之间的通信的任何其他网络或介质。网络671可以是有线的、无线的或其组合。可以使用以太网、通用串行总线(USB)、RJ-6或本领域通常已知的任何其他有线连接来实现有线连接。可以使用Wi-Fi、WiMAX和蓝牙、红外、蜂窝网络、卫星或本领域通常已知的任何其他无线连接方法来实现无线连接。另外，多个网络可以单独工作或彼此通信以促进网络671中的通信。

应当理解，图6描述的存储在系统存储器630中的程序模块、应用、计算机可执行指令、代码等仅是示例性的，并且不是穷举性的，并且被描述为受任何特定模块支持的处理可以替代地分布在多个模块中或由不同模块执行。另外，可以提供各种程序模块、脚本、插件、应用程序编程接口(API)、或本地托管在计算机系统610、远程设备673和/或托管在可通过一个或多个网络671访问的其他计算设备上的任何其他合适的计算机可执行代码，以支持由图6所示的程序模块、应用或计算机可执行代码提供的功能和/或其他或替代功能。此外，功能可以被有区别地模块化，使得被描述为由图6中所示的程序模块集合共同支持的处理可以由更少或更多数量的模块来执行，或者被描述为由任何特定模块支持的功能可以至少部分地由另一模块支持。另外，支持本文所述功能的程序模块可以形成一个或多个应用程序的一部分，该应用程序可以根据任何合适的计算模型(例如客户端-服务器模型，对等模型等)在任何数量的系统或设备上执行。另外，被描述为由图6中描绘的任何程序模块支持的任何功能可以至少部分地在任意数量的设备上以硬件和/或固件来实现。

还应理解，在不偏离本公开的范围的情况下，计算机系统610可以包括超出所描述或描绘的那些的替代和/或附加的硬件、软件或固件组件。更具体地说，应该理解，被描述为形成计算机系统610的一部分的软件、固件或硬件组件仅仅是说明性的，并且在各种实施例中，一些组件可以不存在或者可以提供附加组件。尽管已经将各种说明性程序模块描绘和描述为存储在系统存储器630中的软件模块，但应当理解，被描述为由程序模块支持的功能可以通过硬件、软件和/或固件的任何组合来启用。还应理解，在各种实施例中，上述模块中的每一个可以表示所支持的功能的逻辑分区。描述该逻辑分区是为了便于解释该功能，并且该逻辑分区可能不代表用于实现该功能的软件、硬件和/或固件的结构。因此，应当理解，在各种实施例中，描述为由特定模块提供的功能可至少部分地由一个或多个其他模块提供。此外，在某些实施例中可以不存在一个或多个所示模块，而在其他实施例中，可以存在未示出的附加模块，并且可以支持所述功能和/或附加功能的至少一部分。此外，虽然某些模块可被描绘和描述为另一模块的子模块，但在某些实施例中，这些模块可被提供为独立模块或作为其他模块的子模块。

尽管已经描述了本公开的特定实施例，但本领域普通技术人员将认识到许多其他修改和替代实施例都在本公开的范围内。例如，关于特定设备或组件描述的任何功能和/或处理能力可由任何其他设备或组件执行。此外，尽管已经根据本公开的实施例描述了各种说明性实现和体系结构，但本领域普通技术人员将理解，对本文描述的说明性实现和体系结构的许多其他修改也在本公开的范围内。此外，应当理解，在此描述为基于另一操作、元素、组件、数据等的任何操作、元素、组件、数据等可以另外基于一个或多个其他操作、元素、组件、数据等。因此，“基于”一词或其变体应解释为“至少部分基于”。

图中的流程图和框图示出根据本公开的各种实施例的系统、方法和计算机程序产品的可行实现的体系结构、功能和操作。就这一点而言，流程图或框图中的每个块可以表示指令的模块、段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些可选的实现方式中，块中所述的功能可能以图中所述的顺序以外的顺序出现。例如，事实上，根据所涉及的功能，连续示出的两个块可以基本上同时执行，或者这些块有时可以以相反的顺序执行。还将注意，方框图和/或流程图的每个块，以及框图和/或流程图中的块组合可以由基于专用硬件的系统实现，这些系统执行指定的功能或动作或执行专用硬件和计算机指令的组合。

Claims (15)

1.一种用于工程系统设计中的会话对话的系统，所述系统包括：

处理器；以及

存储器，存储有由所述处理器执行的模块，所述模块包括：

设计机器人，被配置为在图形用户界面上生成设计仪表板，所述设计仪表板通过呈现系统设计视图组件来呈现系统设计视图信息的文本表示，所述仪表板包括：

对话框特征，被配置为接收传达用户对系统设计视图的请求的纯文本字符串，所述系统设计视图包括系统元素的视图和所述系统元素的属性；

其中所述设计机器人还被配置为：

针对系统设计元素使用设计活动目标定义的上下文，将纯文本的用户请求转换成向量化上下文的用户请求，其中所述向量化上下文的用户请求基于先前用户请求的机器学习提取相关上下文；

从设计存储库中检索所述系统设计视图信息；并且

生成对所述用户请求的纯文本字符串响应，所述纯文本字符串响应传达与系统设计相关的系统设计信息，纯文本响应显示在对话框中。

2.如权利要求1所述的系统，其中，存储在所述设计存储库中的信息被格式化为向量化的对象，其中所述设计机器人还被配置为通过将向量化的用户请求与所述向量化的对象进行比较以及检索与向量化的请求距离最短的对象来检索所述系统设计信息。

3.如权利要求1所述的系统，其中，所述对话框特征被配置为接收传达所述用户对所述系统设计视图的请求的语音命令，所述系统还包括：

自动语音识别组件，被配置为将所述语音命令转换为数字文本数据；以及

自然语言理解组件，被配置为从所述数字文本数据中提取用户请求的语言含义；

其中所述设计机器人还被配置为基于所述用户请求的所述语言含义检索系统设计视图数据。

4.如权利要求3所述的系统，还包括：

多模态对话管理器，被配置为使用机器学习过程在逻辑容器中构造对话结构作为映射上下文化的元素，所述机器学习过程记录接收的数据请求并根据概率分布预测哪个设计活动上下文与相应的数据请求相关。

5.如权利要求4所述的系统，其中，所述对话结构包括：

一组上下文，每个上下文表示设计活动上下文，其中每个上下文分组一组子目标，每个子目标是上下文中的元素并反映用例的单个步骤，并且每个上下文包括一组槽值作为每个子目标的候选值，所述槽值对于所述上下文是全局的，用于在相同上下文的子目标之间共享。

6.如权利要求5所述的系统，其中，所述对话结构还包括：

对于每个上下文，指定所述上下文中每个子目标被选择的可能性的子目标概率分布。

7.如权利要求5所述的系统，其中，所述对话结构还包括：

指定任意一个上下文被选择的可能性的整个对话结构的上下文概率分布。

8.如权利要求3所述的系统，还包括：

多模态对话管理器，被配置为使用基于规则的学习过程在逻辑容器中构造对话结构作为映射上下文化的元素，所述基于规则的学习过程记录接收的数据请求并基于识别的用户意图或系统实体应用定义的规则。

9.一种用于工程系统设计中会话对话的计算机实现的方法，所述方法包括：

在图形用户界面上生成设计仪表板，所述设计仪表板通过呈现系统设计视图组件来呈现系统设计视图信息的文本表示，所述仪表板包括用于显示用户和工程设计软件之间的会话对话的对话框；

在所述对话框中接收传达所述用户对系统设计视图的请求的纯文本字符串，所述系统设计视图包括系统元素的视图和所述系统元素的属性；

针对系统设计的元素使用设计活动目标定义的上下文，将纯文本的用户请求转换成向量化上下文的用户请求，其中所述向量化上下文的用户请求基于先前用户请求的机器学习提取相关上下文；

从设计存储库中检索所述系统设计视图信息；并且

生成对用户请求的纯文本字符串响应，所述纯文本字符串响应传达与系统设计相关的系统设计信息，纯文本响应显示在所述对话框中。

10.如权利要求9所述的方法，其中，存储在所述设计存储库中的信息被格式化为向量化的对象，所述方法还包括：

通过将向量化的用户请求与所述向量化的对象进行比较以及检索与向量化的请求距离最短的对象，来检索所述系统设计信息。

11.如权利要求9所述的方法，其中，对话框特征被配置为接收传达所述用户对所述系统设计视图的请求的语音命令，所述系统还包括：

将所述语音命令转换为数字文本数据；并且

从所述数字文本数据中提取用户请求的语言含义；

基于所述用户请求的语言含义检索系统设计视图数据。

12.如权利要求11所述的方法，还包括：

使用机器学习过程在逻辑容器中构造对话结构作为用于映射上下文化的元素，所述机器学习过程记录接收的数据请求并根据概率分布预测哪个设计活动上下文与相应的数据请求相关。

13.如权利要求12所述的方法，其中，所述对话结构包括：

一组上下文，每个上下文表示设计活动上下文，其中每个上下文分组一组子目标，每个子目标是上下文中的元素并反映用例的单个步骤，并且每个上下文包括一组槽值作为每个子目标的候选值，所述槽值对于所述上下文是全局的，用于在相同上下文的所述子目标之间共享。

14.如权利要求13所述的方法，其中，所述对话结构还包括：

对于每个上下文，指定所述上下文中每个子目标被选择的可能性的子目标概率分布。

15.如权利要求13所述的方法，其中，所述对话结构还包括：

指定任意一个上下文被选择的可能性的整个对话结构的上下文概率分布。

Images