CN110462644A - 用于系统的自动化和控制的认知工程技术的系统和方法 - Google Patents

Abstract

一种执行认知工程的方法，包括从至少一个用户工具中提取人类知识，从网络物理系统(CPS)接收系统信息，将人类知识和接收到的系统信息组织成数字孪生图(DTG)，对DTG执行一种或多种机器学习技术以生成与CPS相关的工程选项，以及在至少一个用户工具中向用户提供生成的工程选项。该方法可包括：将多个用户动作记录在至少一个用户工具中，以时间顺序储存多个用户动作以创建系列用户动作，以及储存与多个储存的系列用户动作相关的历史数据。

Description

用于系统的自动化和控制的认知工程技术的系统和方法

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2017年1月24日提交的题为“CENTAUR：用于自动化和控制的认知工程技术”的美国临时专利申请序号62/449,756的优先权，其全部内容通过引用并入本文。

技术领域

本申请涉及自动化和控制。更具体地，本申请涉及数字建模自动化和控制系统。

背景技术

诸如可编程逻辑控制器(PLC)的网络物理系统(CPS)构件被编程以执行特定任务，但是它们不能实现自感知。此外，当前的CPS缺乏人工智能(AI)能力。

目前，尝试将AI集成到CPS中。例如，最近的研究表明，PLC和边缘设备，例如智能传感器，可以使用AI技术编程以实现新的能力。然而，尽管机器可经常胜过人类对应者，但机器通常可在人类操作员或设计者的帮助下更有效地工作。期望通过利用基于与人类知识相结合的传感器数据的机器学习的提供更多能力的设备和系统。

发明内容

根据本发明实施方式的各方面，一种执行认知工程的方法包括：从至少一个用户工具中提取人类知识，从网络物理系统(CPS)接收系统信息，将人类知识和接收的系统信息组织成数字孪生图(DTG)，对DTG执行一种或多种机器学习技术以生成与CPS相关的工程选项，并且在至少一个用户工具中将生成的工程选项提供给用户。

根据一个实施方式，方法还包括：在至少一个用户工具中记录多个用户动作，按照时间顺序储存多个用户动作以创建系列用户动作，以及储存与多个储存的系列用户动作相关的历史数据。

在一个实施方式中，至少一个用户工具是计算机辅助技术(CAx)工程前端。

根据另一实施方式，从至少一个用户工具中提取人类知识包括以计算机辅助技术(CAx)记录由用户执行的建模步骤的时间序列。在其他实施方式中，从至少一个用户工具中提取人类知识包括在以算机辅助技术(CAx)记录由用户执行的模拟设置步骤的时间序列。

根据实施方式，从至少一个用户工具中提取人类知识包括以计算机辅助技术(CAx)记录由用户执行的材料分配步骤的时间序列。

根据其他实施方式的各方面，根据权利要求1的方法还包括将DTG布置在分层架构中，分层架构包括：包含DTG的核心、定义提供域专用数据的一般语法和语义抽象的数字孪生界面语言的第一层、包括认知CPS的构件的第二层、以及包括高级CPS应用的第三层。

根据其它的实施方式，认知CPS的构件包括用于提供CPS的自感知的应用、用于提供CPS的自配置的应用、用于通过CPS的弹性架构提供自修复的应用、以及用于CPS中的构件的生成设计的应用。在一些实施方式中，DTG被配置为随时间改变。DTG可以通过以下中的至少一个随时间改变：增加节点；移除节点；增加连接两个节点的边；以及移除先前连接两个节点的边。此外，在第一时间点与第二时间点之间发生的DTG的改变创建了因果关系，该因果关系可以被一个或多个机器学习技术用来生成工程选项。

根据实施方式，一种或多种机器学习技术包括强化学习、生成式对抗网络和/或深度学习。

在一些实施方式中，DTG可以包括多个子图，每个子图表示CPS的构件，其中连接第一子图和第二子图的边表示由第一子图表示的第一构件和由第二子图表示的第二构件之间的关系。

在其他实施方式中，DTG包括多个节点和多个边，每个边连接多个节点中的两个节点，并且每个边表示相关联的两个节点之间的关系，该关系涉及用于改进CPS的未来设计的数据。

根据本公开的实施方式的各方面的用于认知工程的系统包括用于在至少一个用户工具中提取和储存用户动作的数据库、包括至少一个物理构件的网络物理系统(CPS)、与数据库和至少一个物理构件通信的被配置为构造表示CPS的数字孪生图的计算机处理器、以及至少一种机器学习技术，机器学习技术能够由计算机处理器执行且被配置为产生CPS的至少一个工程选项。系统可还包括提取工具，提取工具能够由计算机处理器操作，被配置为记录和保存在至少一个用户工具中执行的用户动作的时间序列，且将用户动作的多个时间序列的历史记录储存在数据库中。至少一个用户工具可包括计算机辅助技术(CAx)。

附图说明

当结合附图阅读以下详细描述时，本发明的前述和其他方面将得到最好的理解。为了说明本发明，在附图中示出了目前优选的实施方式，然而，应当理解，本发明不限于所公开的特定手段。附图中包括以下附图：

图1是根据本公开的实施方式的各方面的数字孪生图的图示。

图2是根据本公开的实施方式的各方面的包括多个相互关联的图的系统的图。

图3是根据本公开的实施方式的各方面的随时间变化的数字孪生图变换的图示。

图4是根据本公开的实施方式的各方面的用于智能设计的使用中产品(PiU)数据的使用的图示。

图5是根据本公开的实施方式的各方面的用于基于过去的经验实现未来目标的时间线的图示。

图6是根据本公开的实施方式的各方面的用于基于经验数据和提取的人类知识的机器学习的架构的框图。

图7是用于实现本公开的实施方式的各方面的计算机系统的框图。

具体实施方式

用于自动化和控制的认知工程技术(CENTAUR)是用于复杂网络物理系统(CPS)的设计、工程和操作的转换方法，其中人类知识与人工智能系统配对以共同发现先前未知的新的自动化和控制方法。所发现的方法可以实现空前水平的性能、可靠性、弹性和灵活性。华尔街定量分析人员说过：“没有人强过机器，而且没有机器强过有机器的人”。基于这种观点，CENTAUR旨在创建与人类协作的CPS，其行为类似于活的生物体，因为它们知道自己和它们的环境(自感知)、设计它们自己的计划(自我规划)，并且识别问题并重新配置自己(自修复)。为了实现这种设想，创建了数字孪生，其提供与真实操作环境(OE)和包含在其中的CPS共同发展的OE的逼真数字表示。CENTAUR是与来自人类的知识相结合的人工智能系统如何转换CPS和物联网(IoT)的实例。

在数字孪生的帮助下，CENTAUR有潜力从根本上改变复杂CPS(例如高速列车)的设计方式。此外，数字孪生还可以帮助改善CPS在系统的系统(SoS)(例如具有IoT设备的工厂)中彼此交互的方式。像CENTAUR这样的系统可以帮助工程师去做他们今天无法做的事情，大大扩展他们可以解决的问题并创建新的工作方式。利用这种系统，工程师可以开发出在考虑不确定性和未知因素的影响的同时实现最佳结果的优良策略和设计系统。以下是CENTAUR将具有最高影响的五个方面：

1.处理复杂性。CENTAUR将帮助从大量信息中生成新的见解，同时了解大型系统的各种元素之间的交互和关系。以此方式，可预测未来条件，且可更好地理解由设计决策产生的后果。

2.获取跨域的专业知识和设计意图。CENTAUR将帮助我们解决老龄化劳动力的由于损耗而失去经验和知识的问题，并允许理解“大局”以解决跨域问题。

3.数据和事实驱动的决策。CENTAUR在基于现有数据提供假设、场景和推论来做出决策时将更加客观，而不是依赖于传统的人类专业知识，或者限于采用何种生成设计方法。

4.发现。CENTAUR将帮助发现和探索新的和对立的想法。通过广泛使用组合仿真和数据的混合方法，CENTAUR将使用代表现有和理论CPS的数字孪生。实验可以“在计算机上”而不是在现实系统中进行。

5.感觉扩展。CENTAUR将允许处理和感知描述世界的大量原始数据。认知工程技术允许检测和发现人类操作员不能推理的信息，并允许使用这些见解来改进现有的和将来的设计。

CENTAUR架构

CENTAUR的中心是数据。现有技术的CPS实践强调运行时数据，因为许多CPS配备有监视其性能的传感器。这些CPS定义描述数据项之间关系的平面语义定义。然而，这些语义定义是静态的，不能适应变化的条件，也不能基于对过去知识的分析来更新。该传感器数据是容易获得的，并且可以用于在CPS的操作中节省数百万美元的有用应用。例如，当前部署在大型燃气轮机(300MW)中的预测和健康监测(PHM)应用是帮助保持空前效率(例如>60％)的竞争优势之一。然而，与流行的观念相反，运行时不是容易获得的CPS数据的唯一来源。相反，可以在整个CPS价值链上找到解决方案。从这个优点可以获得在设计、工程、制造、操作、维护和退役CPS过程中的独特见解。CENTAUR首次利用了两个未开发的非常有用的数据源：工作时工程(EaW)和使用中产品(PiU)。下面更详细地提供关于EaW和PiU的细节。

图1是根据本公开的实施方式的各方面的认知工程架构100的示图。基本概念是利用两种新形式的数据——EaW(设计数据)流140和PiU数据流150(运行时数据)——来创建和维护CPS的数字孪生。不同的数字孪生可以覆盖物理和网络系统的不同方面。以数字孪生图101(由知识因果图实现)的形式表示这些孪生将使语义和因果连接起来，从而能够自动捕获不同子系统之间或在SoS中的横切信息/知识。知识因果图可以不被视为一个时间点的快照，而是被视为跨越时间线102的一部分的系列知识因果图。如分层架构100所示，DTG101位于核心。在第一层中，数字孪生界面语言120提供关于域专用数据(例如时间序列数据、传感器数据、控制模型、CAD模型等)的一般语法和语义抽象。该抽象120将实现：a)用户定义定制查询；b)与各种机器学习(ML)工具的交互；c)促进自主CPS功能的交互；以及d)与数据库的交互。使用该语言抽象120，诸如强化学习160、生成式对抗网络161和深度学习162等各种ML工具以及其他ML方法163可被用于创建可被称为“认知CPS”的东西。这个概念受到以下的启发，即人体发挥功能和表现出诸如自我意识134、自修复、自感知123、自配置122的能力的方式，除去分布在边缘设备中但通过“大脑”集中控制的智能，仍会出现这样的能力。认知CPS将像人体一样发挥作用，其知道在CPS的每个子系统中发生了什么，并且能够自主地发挥作用以实现其个体和集体目标，包括弹性架构131和驱动生成式设计120。因此，第三层包括高级CPS应用，例如高级预测和健康监控(PHM)130、自主任务调度132和自主过程规划133。当与人及其人工智能联接时，CENTAUR将比以前任何人、组或计算机更智能地发挥作用。

CENTAUR中的知识表示和备选数据源

为了实现CENTAUR，介绍了CPS知识表示和备选数据源的突破。首先，通过异构信息源的连续流入来捕获知识表示。数据被自动提取并用于构造动态图，其中机器学习算法可以有效地操作。此外，以新颖的方式使用备选数据源来为CPS的设计和操作提供新颖的见解。使用动态数字孪生图以及EaW和PiU数据流克服了这些问题。

数字孪生图

数字孪生是与真实对象共同进化的对象的逼真数字表示。在称为数字孪生图(DTG)的链接数据集的网络中维护每个对象以及对象之间的交互和相互关系。现有技术的链接数据方法依赖于强调语义的平面结构或图。然而，这种平面方法省去了其他非常重要的维度，包括图形随时间的演变、对象之间的已知和紧急关系、不确定性和功能能力。

因此，DTG的目标是：

·“表达性”，其中其管理不能仅通过逻辑表达或第一原理理解的因果关系；

·“敏捷性”，其中算法和人将组装、填充、配置、改变和解决知识表示中的不确定性；

·以及“自适应性”，其中它在该过程期间集成了新的专家知识源。

图2示出DTG 101是怎样的以数字方式表示现实世界对象240及其关系的信息结构。在DTG中表示真实世界物联网(IoT)对象，例如汽车210、人220、建筑物、飞机、公路、房屋、运输系统。真实世界对象不是由单个节点表示，而是由DTG 101中的子图211、221、231表示。例如，汽车“T39BTT”210由子图221中的多个DTU 203表示。子图221中的DTU表示例如CAD设计、服务记录、其当前状态(在哪里、其速度等)、其制造信息(在哪里生产、由哪些机器生产等)。类似地，另一个子图221表示人“John Doe”，并且其DTU持有他的身份、健康记录、议程等。注意，存在经由其相应子图221、211将“John Doe”连接到汽车“T39BTT”的边223，并且这可以表示例如“John当前正在驾驶T39BTT汽车”。一旦John到达其目的地并关闭其汽车，该“驾驶”边223将从DTG 101消失。注意，尽管DTG 101改变，但是所有事务都由底层DTG记录以便进一步分析。利用“John”和他的“T39BTT”汽车之间的历史信息，例如，可以预测John将在第二天早晨何时醒来以驾驶他的汽车去工作，并且OEM 231可以使用该信息在John睡眠时通过空中向汽车210推送软件更新。OEM 231的这种更新也更新DTG 101。像这样的交互不断地更新DTG101。CENTAUR将使用从DTG 101合成的分级动态贝叶斯模型(HDBM)在不确定性下进行推理。HDBM将捕获操作环境的实体、它们的因果关系、以及关于它们的状态的观念。概率推理算法然后将从具有丰富结构和连接的连续信息流中及时提取见解。

DTG 101在图形随着节点203和边201的创建和消除而连续发展的意义上是动态的。这是因为DTG 101由数据、查询、模拟、模型、新供应商、新消费者以及它们之间的动态关系连续地更新。即使DTG 101可以包括具有数十亿节点203和边201的大图形，在云平台中运行的现有数据库(例如，GraphX、链接数据)和算法(例如，Pregel、MapReduce)可以帮助有效地搜索和更新DTG 101。DTG 101表示也适用于基于图论和分类方法与新数学引擎平滑集成。根据快照的时间序列捕获DTG 101的恒定时空演变。DTG 101的当前快照报告操作环境(OE)和OE的构件(例如CPS)的状态。过去的快照提供了历史的观点，可用于借助监督学习识别已知模式和借助非监督学习识别未知模式。在创建这些学习的模型之后，DTG 101还可被用于预测结果。

图3是DTG的快照的图示，其中在Tn拍摄的快照包括四个节点303({A，B，C，D})和四个边305({e1，e2，e3，e4})。Tn 301和Tn+1 310快照之间的转换被称为DTG变换315，其中通过操作修改图形结构。在这种情况下，“移除e3”311和“增加e5”313边。因此，所得Tn+1 310快照由四个节点({A，B，C，D}和四个边({e1，e2，e4，e5})组成。从Tn+1 310到Tn+2 320的第二转换325由“移除A”321、“移除e5”322、移除31 323、“增加X”326、“增加Y”327，和“增加e6”328操作组成。在Tn+2 320处得到的图由五个节点({B，C，D，X，Y)}和三个边({e2，e4，e6})组成。实际上，其他图形结构已经示出按每天数十亿次变化的规模变化。DTG为数字孪生提供了灵活的计算和数据结构。

根据实例可以更好地理解DTG的一些优点。例如，在军事场景中考虑识别资源组(已分配和未分配)的问题，该资源组可能成本有效地(重新)分配任务。与简单地识别已知要执行使命或任务的可用资源不同，DTG可以将问题提升到功能维度，将资源与它可以执行的使命或任务分离。这允许打破通常在传统链接数据方法中出现的模糊知识。相反，资源可以被视为多功能的、跨机构的和高度敏捷的力量。因此，这可能导致用于资源识别问题的新解决方案，其中所识别的资源中的一些可能来自不同的域/机构，其甚至在解决该问题的传统方法中没有被考虑。这在DTG中是可能的，因为在类别理论意义上，维度是类别，并且类别之间的关系是指定类别之间相互关系和依赖性的映射(函子)。关键使能者是类别理论是组成性的，这意味着储存在DTG中的知识是动态的(而不是如在链接数据方法中那样是静态的)，并且可以连续地组成新的维度、关系和映射以生成新的见解并确定类别的等效性。

工作中的工程(EaW)

EaW数据是指在设计和工程期间由人产生的数据。例如，CAx(计算机辅助X)前端将应用于工具的工程动作(例如建模步骤、模拟设置、材料分配)记录为时间序列数据。这些时间序列记录来自于在同一设计过程上工作的多个工程师。数据可以被匿名化以确保各个用户可以保持匿名。然后将这些记录储存在用于机器学习算法的DTG中，机器学习算法识别由人类做出的要求、约束和工程决策(包含在动作中)之间的相关性。结果获得辅助人类设计者的决策支持系统。当与人关联时，该系统可预期人的下一步骤并用于校正任何可能的错误、测试设计决策的可行性、减少设置模拟的手动动作，并执行设计空间探索。EaW数据中表示的人类行为捕获了他们个人的专业知识、判断、直觉、创造力、文化背景和道德。因此，该EaW数据可以被视为提取的人类知识。能够访问数千小时的EaW数据的认知设计系统可以：

·学习最有经验的工程师的“商业秘密”并且教授新手工程师；

·生成对工程师更自然的人机交互并且帮助他们不同地思考和工作；

·将设计意图具体化为有助于我们更好地理解设计决策如何转化为最佳结果的解释；

·提供工程师自己可能没有想到的新见解(例如，“当与艾丽丝合作时，机械师高度满意并且生产率提高15％”)。

在工程和设计工具中生成EaW数据流。可以记录和保存用户动作。保存的数据可以从用户工具中自动提取以提供人类知识的形式。用户在用户工具中跟随的工作流(例如，用户采取的步骤顺序)提供了用户“如何”做他们的事的故事。执行的步骤以及它们被执行的顺序捕捉人类行为。人类行为是人类知识的代表。储存的知识可以被合并到数字孪生图中，并且被机器学习技术重新使用，以改进当前和将来的设计选择和操作控制。

EaW数据流代表随时间变化的因果关系。捕获过去动作的实例，并且不仅仅提供当前状态，而是提供定义在EaW数据流的时间间隔上改变的不同数字孪生图的不同动作的时间序列。

正在使用的产品(PiU)

PiU数据很容易与运行时数据混淆。PiU数据是指CPS在使用中产生的数据，其可用于改进下一代CPS的设计。这不同于CPS使用时生成的运行时数据，而是用于优化其将来的操作。在生命周期方面，PiU允许从操作到(下一代)设计的反馈环路，而运行时数据允许从操作到(未来)操作或维护的前馈环路。两者之间的另一个重要区别是，运行时数据捕获CPS相对于其自身及其操作的行为，而PiU数据捕获CPS相对于其环境及其与其他系统的交互的行为。例如，汽车的rpm、温度和振动是可用于优化燃烧和估计磨损和破损的运行时数据。相同汽车的位置、地理和气象条件、驾驶员人口统计和使用模式是可以用来重新设计其天窗并使其更便于使用的PiU数据。因此，能够访问PiU数据的认知设计系统例如可以：

·使得终端用户更好地运作满足其实际需要的下一代产品；

·基于数据和使用模式而不是调查或访谈来将新要求快速地并入产品设计周期中；

·自动合成紧急要求；

·监测开箱即用的状况和改进所部署的产品中的软件逻辑(例如，特斯拉固件进行空中更新以改进其汽车的功能)；

·将来自同一用户所使用的不同产品的多个PiU源互相关联以识别新产品；

·产品开发组织可以更好地细分其市场。

图4是PiU的潜在益处的图示。根据一个非限制性实例，CENTAUR可以解析进行烧烤的人的数百万图片和视频。在标记之后，数百万个叉401和刀403被识别为烧烤中常用的器具。该呈PiU数据流405形式的知识在DTG 407中被表示，可以被深度学习409和推理算法411使用以生成对潜在新产品413“叉勺”的见解和要求，该新产品413将两者的功能组合在单个器具中。当使用和提供新产品413来更新DTG 407时，可以生成另外的PiU数据417。然后，结合EaW，CENTAUR可以向设计者415建议想法，并且逐步引导他们通过新产品的工程过程。目标是与当前产品设计实践相比，在一小部分时间内生产新颖、有用、非显而易见的产品。

图5是包括过去中的时间点t_p 501、当前时间t_c 503和未来中的时间点t_f 505的时间线500的图示。未来点505可以是要达到的目标。例如，要达到的目标可以是CPS中的服务等级。该目标可以以多种方式实现。路径520表示系统可以在时间505从当前点503到达目标的多种方式。类似地，过去501和当前时间503之间的路径可以包括多个路径510。使用过去的知识，可基于所提议的动作将导致成功结果并实现目标505的可能性来开发并概率性地分析未来动作。

如上所陈述，根据本公开中描述的实施方式的数字孪生图被扩展到传统的平面语义构造之外，以对所储存的数据采用概率方法。这样，在EaW数据流中提取和保存的知识信息可以作为概率分布被捕获。DTG的每个边和节点可以与概率值相关联。在一些实施方式中，概率可以被配置为落在0和1之间。概率值为1可以表示相对确定的预测结果，而接近零的概率值表示比高概率值更不可能的预测结果。边及其相关概率值表示DTG中因果关系的不确定性。通过将边组织为概率分布，根据在此描述的实施方式的DTG不仅可以被视为真或假，而且可以表示落在这些极端情况之间的可能性。

图6是根据本公开的实施方式的各方面的认知工程架构的框图。工程工具601捕捉人类动作和这些动作的顺序，并随时间储存这些动作。动作在表示所提取的人类知识605的工作数据603处定义工程。所提取的人类知识605反映在一个或多个数字孪生图607中。数字孪生图607随时间变化，并且DTG的过去版本被储存为DTG历史数据609。所提取的人类知识605经由DTG 607包含在DTG历史数据609中。生产数据613可由与CPS系统的构件相关联的传感器所捕获的各种状态或条件来捕获。生产数据作为使用中的产品数据615提供给数字孪生图607。生产数据613也经由DTG 607存在于DTG历史数据609中。机器学习技术611，包括上面在图1中描述的那些，作用于DTG 607和DTG历史数据609，以产生优化的工程和操作控制动作。工程改进被提供回DTG 607，并向工程师提供通过其他方式不能实现的解决方案。优化的操作动作被提供给CPS控制系统617的控制器。CPS向CPS中的物理致动器和控制器提供优化的控制动作。

图7示出了其中可以实现本发明的实施方式的示例性计算环境700。诸如计算机系统710和计算环境700的计算机和计算环境是本领域技术人员已知的，因此在此简要描述。

如图7所示，计算机系统710可包括诸如系统总线721的通信机制或用于在计算机系统710内传送信息的其他通信机制。计算机系统710还包括与系统总线721联接的一个或多个处理器720，用于处理信息。

处理器720可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或本领域已知的任何其他处理器。更一般地，这里使用的处理器是用于执行储存在计算机可读介质上的机器可读指令、用于执行任务，并且可以包括硬件和固件中的任何一个或其组合的设备。处理器还可以包括储存可执行以用于执行任务的机器可读指令的存储器。处理器通过操纵、分析、修改、转换或传输由可执行程序或信息设备使用的信息，和/或通过将信息路由到输出设备来对信息产生作用。处理器可以使用或包括例如计算机、控制器或微处理器的能力，并且可以使用可执行指令来调节以执行不是由通用计算机执行的专用功能。处理器可以与能够在其间进行交互和/或通信的任何其他处理器联接(电联接和/或包括可执行部件)。用户界面处理器或生成器是包括用于生成显示图像或其部分的电子电路或软件或两者的组合的已知元件。用户界面包括使用户能够与处理器或其他设备交互的一个或多个显示图像。

继续参考图7，计算机系统710还包括联接到系统总线721的系统存储器730，用于储存将由处理器720执行的信息和指令。系统存储器730可以包括易失性和/或非易失性存储器形式的计算机可读储存介质，例如只读存储器(ROM)731和/或随机存取存储器(RAM)732。RAM 732可以包括其他动态储存设备(例如动态RAM、静态RAM和同步DRAM)。ROM 731可以包括其他静态储存设备(例如可编程ROM、可擦除PROM和电可擦除PROM)。此外，系统存储器730可用于在处理器720执行指令期间储存临时变量或其他中间信息。基本输入/输出系统733(BIOS)包含有助于诸如在启动期间在计算机系统710内的元件之间传递信息的基本例程，它可以储存在ROM 731中。RAM 732可包含处理器720可立即访问和/或当前正在其上操作的数据和/或程序模块。系统存储器730还可以包括例如操作系统734、应用程序735、其他程序模块736和程序数据737。

计算机系统710还包括联接到系统总线721的盘控制器740，以控制用于储存信息和指令的一个或多个储存设备，诸如硬磁盘741和可移动介质驱动器742(例如软盘驱动器、光盘驱动器、磁带驱动器和/或固态驱动器)。可以使用适当的设备接口(例如小型计算机系统接口(SCSI)、集成设备电子设备(IDE)、通用串行总线(USB)或火线)将储存设备增加到计算机系统710。

计算机系统710还可以包括联接到系统总线721的显示控制器765，以控制显示器或监视器766，例如阴极射线管(CRT)或液晶显示器(LCD)，用于向计算机用户显示信息。计算机系统包括输入接口760和一个或多个输入设备，例如键盘762和指示设备761，用于与计算机用户交互并向处理器720提供信息。例如，指示设备761可以是鼠标、光笔、跟踪球或指示棒，用于向处理器720传送方向信息和命令选择，并用于控制显示器766上的光标移动。显示器766可以提供触摸屏界面，其允许输入以补充或替换指示设备761的方向信息和命令选择的通信。在一些实施方式中，可由用户佩戴的增强现实设备767可以提供允许用户与物理和虚拟世界两者交互的输入/输出功能。增强现实设备767与显示控制器765和用户输入界面760通信，允许用户与由显示控制器765在增强现实设备767中生成的虚拟项目交互。用户还可以提供由增强现实设备767检测并作为输入信号发送到用户输入界面760的姿势。

计算机系统710可以响应于处理器720执行包含在诸如系统存储器730的存储器中的一个或多个指令的一个或多个序列，来执行本发明实施方式的处理步骤的一部分或全部。这些指令可从另一计算机可读介质(例如硬磁盘741或可移动介质驱动器742)读入系统存储器730。硬磁盘741可以包含由本发明的实施方式使用的一个或多个数据储存和数据文件。数据储存内容和数据文件可以被加密以提高安全性。处理器720还可以用在多处理装置中以执行包含在系统存储器730中的一个或多个指令序列。在替代实施方式中，可以使用硬连线电路来代替软件指令或与软件指令组合。因此，实施方式不限于硬件电路和软件的任何特定组合。

如上所陈述，计算机系统710可包括至少一个计算机可读介质或存储器，用于保存根据本发明实施方式编程的指令，并用于包含数据结构、表、记录或本文的其他数据。这里使用的术语“计算机可读介质”是指参与向处理器720提供指令以供执行的任何介质。计算机可读介质可以采取多种形式，包括但不限于非瞬态、非易失性介质、易失性介质和传输介质。非易失性介质的非限制性实例包括光盘、固态驱动器、磁盘和磁光盘，诸如硬磁盘741或可移动介质驱动器742。易失性介质的非限制性实例包括动态存储器，诸如系统存储器730。传输介质的非限制性实例包括同轴电缆、铜线和光纤，包括构成系统总线721的导线。传输介质还可以采用声波或光波的形式，例如在无线电波和红外数据通信期间产生的声波或光波。

计算环境700还可包括使用到诸如远程计算设备780等一个或多个远程计算机的逻辑连接在网络化环境中操作的计算机系统710。远程计算设备780可以是个人计算机(膝上型或台式)、移动设备、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括以上相对于计算机系统710描述的许多或全部元件。当在联网环境中使用时，计算机系统710可以包括调制解调器772，用于通过诸如因特网的网络771建立通信。调制解调器772可经由用户网络接口770或经由另一适当机制连接到系统总线721。

网络771可以是本领域公知的任何网络或系统，包括因特网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或系列连接、蜂窝电话网络，或能够促进计算机系统710与其他计算机(例如远程计算设备780)之间的通信的任何其他网络或介质。网络771可以是有线的、无线的或其组合。有线连接可以使用以太网、通用串行总线(USB)、RJ-6或本领域公知的任何其他有线连接来实现。无线连接可以使用Wi-Fi、WiMAX和蓝牙、红外、蜂窝网络、卫星或本领域公知的任何其他无线连接方法来实现。另外，若干网络可单独工作或彼此通信以促进网络771中的通信。

如这里所使用的，可执行应用包括代码或机器可读指令，用于例如响应于用户命令或输入来调节处理器以实现预定功能，诸如操作系统、上下文数据获取系统或其他信息处理系统的功能。可执行程序是用于执行一个或多个特定过程的一段代码或机器可读指令、子程序、或代码的其他不同部分或可执行应用的一部分。这些处理可以包括接收输入数据和/或参数，对接收到的输入数据执行操作和/或响应于接收到的输入参数执行功能，以及提供结果输出数据和/或参数。

这里使用的图形用户界面(GUI)包括由显示处理器生成的一个或多个显示图像，并且使得用户能够与处理器或其他设备交互，以及实现相关联的数据获取和处理功能。GUI还包括可执行程序或可执行应用。可执行程序或可执行应用调节显示处理器以生成表示GUI显示图像的信号。这些信号被提供给显示用户观看的图像的显示设备。处理器在可执行程序或可执行应用的控制下，响应于从输入设备接收的信号来操纵GUI显示图像。这样，用户可以使用输入设备与显示图像交互，使得用户能够与处理器或其他设备交互。

这里的功能和处理步骤可以响应于用户命令自动地或全部地或部分地执行。响应于一个或多个可执行指令或设备操作来执行自动执行的活动(包括步骤)，而无需用户直接启动该活动。

附图的系统和过程不是排他性的。根据本发明的原理可以导出其他系统、过程和菜单以实现相同的目的。尽管已经参考特定实施方式描述了本发明，但是应当理解，这里示出和描述的实施方式和变型仅用于说明的目的。在不脱离本发明的范围的情况下，本领域技术人员可以实现对当前设计的修改。如本文所描述，可以使用硬件部件、软件部件和/或其组合来实现各种系统、子系统、代理、管理器和过程。除非使用短语“用于……的装置”明确地陈述元件，否则本文中权利要求元素不应根据35U.S.C.112，第六款的规定来解释。

Claims (20)

1.一种执行认知工程的方法，包括：

从至少一个用户工具中提取人类知识；

从网络物理系统(CPS)接收系统信息；

将所述人类知识和接收的系统信息组织成数字孪生图(DTG)；

对DTG执行一种或多种机器学习技术，以生成与CPS相关的工程选项；以及

在所述至少一个用户工具中，向用户提供生成的工程选项。

2.根据权利要求1所述的方法，还包括：

在所述至少一个用户工具中记录多个用户动作；

按时间顺序储存所述多个用户动作，以创建系列用户动作；以及

储存与多个储存的系列用户动作相关的历史数据。

3.根据权利要求1所述的方法，其中，所述至少一个用户工具是计算机辅助技术(CAx)工程前端。

4.根据权利要求1所述的方法，其中，从所述至少一个用户工具中提取人类知识包括：

以计算机辅助技术(CAx)记录由用户执行的建模步骤的时间序列。

5.根据权利要求1所述的方法，其中，从所述至少一个用户工具中提取人类知识包括：

以计算机辅助技术(CAx)记录由用户执行的模拟设置步骤的时间序列。

6.根据权利要求1所述的方法，其中，从所述至少一个用户工具中提取人类知识包括：

以计算机辅助技术(CAx)记录由用户执行的材料分配步骤的时间序列。

7.根据权利要求1所述的方法，还包括：

将所述DTG布置在分层架构中，所述分层架构包括：

包含所述DTG的核心；

定义数字孪生界面语言的第一层，所述数字孪生界面语言提供域专用数据的一般语法和语义抽象；

包括认知CPS的构件的第二层；以及

包括高级CPS应用的第三层。

8.根据权利要求7所述的方法，其中，认知CPS的构件包括：

用于提供所述CPS的自感知的应用；

用于提供所述CPS的自配置的应用；

用于通过所述CPS的弹性架构提供自修复的应用；以及

用于所述CPS中的构件或子系统的生成设计的应用。

9.根据权利要求1所述的方法，其中，所述DTG被配置为随时间改变。

10.根据权利要求9所述的方法，其中，所述DTG通过以下中的至少一项随时间改变：

增加节点；

移除节点；

增加连接两个节点的边；以及

移除先前连接两个节点的边。

11.根据权利要求10所述的方法，其中，在第一时间点与第二时间点之间发生的所述DTG的改变创建能够由所述一种或多种机器学习技术用来生成所述工程选项的因果关系。

12.根据权利要求1所述的方法，其中，所述一种或多种机器学习技术包括强化学习。

13.根据权利要求1所述的方法，其中，所述一种或多种机器学习技术包括生成式对抗网络。

14.根据权利要求1所述的方法，其中，所述一种或多种机器学习技术包括深度学习。

15.根据权利要求1所述的方法，其中，所述DTG包括多个子图，每个子图表示所述CPS的构件。

16.根据权利要求15所述的方法，其中，所述DTG包括连接第一子图和第二子图的边，所述边表示由所述第一子图表示的第一构件与由所述第二子图表示的第二构件之间的关系。

17.根据权利要求1所述的方法，其中，所述DTG包括多个节点和多个边，每个边连接所述多个节点中的两个节点，并且每个边表示相关联的两个节点之间的关系，所述关系涉及用于改进所述CPS的未来设计的数据。

18.一种用于认知工程的系统，包括：

数据库，用于在至少一个用户工具中提取和储存用户动作；

包括至少一个物理构件的网络物理系统(CPS)；

与所述数据库和所述至少一个物理构件通信的计算机处理器，所述计算机处理器被配置为构造表示CPS的数字孪生图；以及

至少一种机器学习技术，所述机器学习技术能够由所述计算机处理器执行且被配置为生成所述CPS的至少一个工程选项。

19.根据权利要求15所述的系统，还包括：

提取工具，所述提取工具能够由所述计算机处理器操作，所述提取工具被配置为记录和保存在所述至少一个用户工具中执行的用户动作的时间序列，且将用户动作的多个时间序列的历史记录储存在所述数据库中。

20.根据权利要求15所述的系统，其中，所述至少一个用户工具包括计算机辅助技术(CAx)。