CN113454548A - 流水线的动态训练 - Google Patents

流水线的动态训练 Download PDF

Info

Publication number
CN113454548A
CN113454548A CN201980092196.2A CN201980092196A CN113454548A CN 113454548 A CN113454548 A CN 113454548A CN 201980092196 A CN201980092196 A CN 201980092196A CN 113454548 A CN113454548 A CN 113454548A
Authority
CN
China
Prior art keywords
station
operator
operators
workstation
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980092196.2A
Other languages
English (en)
Inventor
马修·C·普特曼
瓦迪姆·潘斯基
恩索尔·金
安德鲁·桑德斯特罗姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nano Electronic Imaging Co ltd
Nanotronics Imaging Inc
Original Assignee
Nano Electronic Imaging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nano Electronic Imaging Co ltd filed Critical Nano Electronic Imaging Co ltd
Publication of CN113454548A publication Critical patent/CN113454548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31027—Computer assisted manual assembly CAA, display operation, tool, result
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31046—Aid for assembly, show display on screen next workpiece, task, position to be assembled, executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40556—Multisensor to detect contact errors in assembly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)

Abstract

所公开的技术的方面提供了人工智能过程控制(AIPC)，用于自动检测流水线工艺的制造工作流程中的误差，并通过更新给各个工位处装配操作员的指令或指导来执行误差缓解。在一些实施方式中，所公开的技术利用一个或更多个机器学习模型来执行误差检测和/或传播纠正检测到的误差或改进制造的产品所需的必要指令/装配修改。

Description

流水线的动态训练
相关申请的交叉引用
本申请要求于2019年2月28日提交的第16/289,422号美国专利申请的优先权，其全部内容通过引用并入本文。
技术领域
本主题技术为流水线工作流程提供改进，并且特别地，包括用于基于使用机器学习模型做出的反馈和前馈误差传播预测来自适应地更新流水线操作员指令的系统和方法。如下文进一步详细讨论的，该技术的一些方面包括基于对制造偏差或装配偏差做出的推断来自动调整在一个或更多个操作站处提供的指导视频的系统和方法。
背景技术
在传统的流水线工作流程中，检测制造误差并确定如何通过在下游流程中的修改来校正误差需要人工(操作员)监控和专业知识。注意，装配和制造以及流水线和生产线在本文中可互换使用。由于依赖人工装配误差检测，误差很可能被忽视(或未报告)，并随后在装配过程中向下游传播。此外，许多装配工人只接受过执行有限任务的训练，因此可能无法识别如何修改他们自己的工作流程以最好地纠正源自装配工作流程中上游的误差。
在传统的制造工作流程中，人工检查过程的一部分中人为误差的修复通常通过对该人工节点采取校正措施来处理。如果那个人继续存在问题，她通常会被另外的人取代，另外的人和我们所有人一样，容易受到许多相同的限制。多年日以继夜地重复一个动作而没有差错是很困难的，而且大多数装配工都没有采取校正措施的权利。即使给予了这些权利，权利也会是不一致的，并且仅根据人员在应用该单一流程节点时的经验来了解。此外，没有从任何错误中学习的机制，甚至没有任何积极的校正措施。
进一步地，流水线的电子监控是有限的，并且不包括为流水线中的下游步骤提供即时调整以补偿上游步骤中出现的误差的强大机制。此外，需要新机制来评估操作员动作的变化和/或装配模式的变化如何影响最终的制造产品，并提供校正措施以提高制造产品的性能和/或特性。
发明内容
在一些方面，所公开的技术涉及一种用于优化流水线中工作流程的方法，该方法包括以下步骤：接收来自布置在流水线中第一工位处的第一图像捕获设备的第一动作数据，基于第一动作数据计算第一操作员执行的动作的误差方差，以及基于误差方差识别制品中的偏差，其中，第一动作数据对应于与第一工位相关联的第一操作员(从一个或更多个操作员中选择)在与制品交互时执行的动作。在一些方面，该方法可进一步包括用于基于所计算的误差方差自动调整提供给一个或更多个操作员中至少一个操作员的装配指令以生成修改的装配指令的步骤。
在另外的方面，所公开的技术包括一种用于优化流水线中工作流程的系统，该系统包括多个图像捕获设备，以及装配指令模块，其中，每个图像捕获设备布置在流水线中多个工位的一个或更多个工位处，装配指令模块被配置为自动修改提供给多个工位的一个或更多个工位的引导和指令，其中，装配指令模块与多个图像捕获设备耦接。装配指令模块可以被配置为执行操作，操作包括从多个图像捕获设备中的第一图像捕获设备接收第一动作数据，以及基于第一动作数据计算由第一操作员执行的动作的误差方差，并且其中，第一图像捕获设备布置在流水线中的第一工位，其中，第一动作数据对应于与第一工位相关联的第一操作员在与制品交互时执行的动作。在一些实施方式中，装配指令模块可以进一步被配置为执行用于基于误差方差识别制品中的偏差的操作，并基于所计算的误差方差自动调整提供给一个或更多个操作员中的至少一个操作员的装配指令以生成修改的装配指令。
在另一方面，所公开的技术涉及非暂时性计算机可读介质，包括存储在其上的指令，当由一个或更多个处理器执行时，指令被配置为使处理器执行的指令包括：接收来自布置在流水线中第一工位处的第一图像捕获设备的第一动作数据，基于第一动作数据计算由第一操作员执行的动作的误差方差，以及基于误差方差识别制品中的偏差，其中，第一动作数据对应于从一个或更多个操作员中选择的与第一工位相关联的第一操作员在与制品交互时执行的动作。在一些实施方式中，指令可以进一步被配置为使处理器执行用于基于所计算的误差方差自动调整提供给一个或更多个操作员中的至少一个的装配指令以生成修改的装配指令的操作。
附图说明
所附权利要求中阐述了主题技术的某些特征。然而，为了提供进一步理解而包括附图示出所公开的方面，并且与说明书一起用于解释本主题技术的原理。图中：
图1概念性地示出了根据所公开的技术的一些方面的示例性生产线部署的流程图。
图2示出了根据所公开的技术的一些方面的用于在给定的操作站处执行装配误差校正的过程的示例。
图3示出了可以利用其实现本主题技术的一些方面的电子系统的示例。
具体实施方式
下面阐述的详细描述旨在作为对本主题技术的各种配置的描述，并不旨在表示可以实施本主题技术的唯一配置。附图并入本文并构成详细描述的一部分。详细描述包括用于提供对本主题技术的更透彻理解的具体细节。然而，清楚且明显的是，本主题技术不限于在此阐述的具体细节并且可以在没有这些细节的情况下实施。在一些情况下，结构和组件以框图形式示出以避免混淆本主题技术的概念。
所公开的技术的方面通过提供用于跟踪、训练和逐步改进生产线装配和最终的制造产品的方法来解决传统流水线工艺流程的前述限制。通过向每个装配操作员提供动态视觉反馈和指令来实现改进，并且在一些实施方式中，操作员反馈是基于误差的，误差可以包括但不限于在生产线中的一处或多处检测到的装配误差、低效的过程和/或动作、劣质产品。
通过实施所公开的技术，与手动实施方法相比，可以显着提高误差校正的速度，例如，通过基于近实时的误差检测快速更改或改变在每个工位(或者所有工位)处提供的参考/指令信息。尽管本文描述的一些实施例讨论了视频形式的参考/指令信息的使用，但也考虑了其他格式。例如，装配/制造指令可以作为提供给装配操作员的听觉、视觉和/或触觉提示来提供。举例来说，听觉指令信息可包括语音指令或其他听觉指示器。视觉装配指令信息可以包括视频或动画格式，例如使用增强现实(A/R)系统或虚拟现实(V/R)系统。在一些方面，视觉装配指令可以作为动画提供，其提供关于在流水线中给定工位处的操作员如何操纵工件(或工具)的示例。此外，在一些方面，装配/制造指令可包括机器指令，例如，可由机器人装配操作员或机器装配操作员接收并实施的机器指令。本文使用的术语操作员可以指人类、机器人或使用动作来装配制造产品的机器。此外，术语操作员包括人工辅助制造实施，例如在人工操作员与机器人或机器工具协同工作或由机器人或机器工具辅助的情况下。
在装配/制造指令作为参考/指令视频被提供的情况下，此视频有时被称为标准操作协议(SOP)。由于最小的硬件要求，例如，为每个操作员使用摄像机和显示器，可以有效地部署所公开技术的系统，而可以在集中计算资源处(例如在计算集群中或云环境中)执行机器学习训练、更新和误差传播。
在一些方面，视频指令信息可以作为增强现实显示器的部分提供给一个或更多个操作员。即，可以使用增强现实向操作员传达来自标准装配/制造方法的指令或偏差，其中，显示器以增强视频、动画图形和/或表示记录场景的视频数据的混合形式提供。举例来说，增强现实显示器可以向正在装配的工件和/或正在装配/制造过程中使用的工具的实时馈送提供作为动画或图形覆盖提供的指令或指导。
在一些实施方式中，所公开的技术的系统包括布置在生产线中各个操作工位处的一个或更多个视频或动作捕获设备。捕获设备配置为记录操作员在该特定工位处与零件、设备、材料或其他工具(“组件”)的动作/交互。在一些方面，可以使用视频记录来捕获操作员动作，然而，也考虑了其他的动作捕获格式，例如，使用表示操作员动作和/或操作员与工具或制造产品交互的三维(3D)点云。进一步地，可以通过记录特定工位的一位或多位专家的动作以及专家与该工位处组件的交互来创建每个工位的参考视频。可以提取每个专家的动作路径，并且在使用多位专家的实施例中，可以对提取的动作路径集合(例如，平均值)执行计算以创建特定工位的参考视频。参考视频可以是在特定工位处待执行的动作路径的数字或动画渲染的形式。请注意，专家可以指任何在提供指导的特定装配步骤方面有技能或知识渊博的人。
在一些实施例中，布置在生产线中各个操作工位处的视频或动作捕获设备还可以捕获在相应的工位处的工件/组件/工具的属性(例如，质量、抗拉强度、缺陷数量)，可将其用于计算装配误差。
通过捕获操作员在其各自工位处的交互，可以通过将捕获的交互与表示理想/专家操作员交互/工作流程的基准(基本事实)模型进行比较来检测操作员误差。也就是说，来自理想化交互模型的操作员偏差可用于计算装配误差，这些误差可以在装配链中的不同位置进行修复，例如，通过更改在不同工位处提供的操作员指令/指导进行修复。此外，可以在每个工位处捕获组件的质量，并将其与该工位的基准组件进行比较。组件与基准组件的偏差还可用于为特定工位处组件指定质量等级或计算操作员/装配误差，这些误差可通过更改提供给各个工位的操作员指令/指导来进行修复。
装配校正可以以各种方式执行，这取决于期望的实施方式。在一些方面，操作员变化/误差可用于执行分类，例如，通过将零件分类为质量等级(例如，A、B、C等)，随后将那些零件引导到适当的生产线中。在另外的方面，检测到的装配误差可用于更改给定工位处的过程以提高质量并减少变化。也就是说，检测到的装配误差可用于在同一工位处自动提供指令或指导，例如，纠正在该工位处引起的误差(例如，工位内返工)。
例如，装配误差检测可用于驱动对在已知发生误差的给定工位处提供的操作员指令或视频的更新/改变。举例来说，如果误差/偏差被识别为源自在第一工位处工作的第一操作员，通过更改例如经由第一工位处的显示设备提供给第一操作员的装配指令来减少与离开第一工位的制品相关联的误差方差。
在另外的方面，检测到的装配误差可用于更改后续工位装配以克服工位方差。也就是说，误差检测可用于基于由上游操作员引起的误差自动触发新/更新装配指南的下游传播。例如，由第一操作员执行的动作的误差方差可用于调整提供给与第一工位下游的第二工位相关联的第二操作员的装配指令。
在又一方面，在跨所有工位检测到的误差方差均可以被前向传播以确保可以在整个剩余下游装配链的过程中执行全部返工或部分返工。即，通过调整提供给一个或更多个下游操作员的装配指令可以修复/减少跨一个或更多个工位产生的误差。在一个示例中，由在第一工位处的第一操作员引起的制品中的误差方差可以通过由在第二工位处的第二操作员和在第三工位处的第三操作员顺序执行的操作来修复，即，通过调整在第二工位和第三工位处提供的装配指令来修复。
在另外的示例中，跨多个工位累积的误差方差可以由一个或更多个后续工位减少。例如，通过调整提供给第三工位处和第四工位(例如，分别给第三操作员和第四操作员)的装配指令，可以随后修复跨第一工位和第二工位累积的制品中的误差方差。
通过将装配流程中每个操作员/操作工位视为网络节点，机器学习模型可用于通过减少每个节点(工位)处的装配方差以最小化误差来优化装配过程。通过最小化单个节点(操作员)方差，以及执行实时更新以减轻前向误差传播，所公开的技术的系统可以极大地减少最终产品的制造方差。此外，通过准确量化和跟踪装配工作流程中来自特定部分的误差贡献，可以按产品质量或偏差量对产品进行分级和分类。因此，某些质量分类的产品可以被转向到不同的制造过程或不同的客户，即，取决于产品质量。
机器学习/人工智能(AI)模型可用于执行误差检测和/或执行优化工位装配变化所需的修改。举例来说，可以使用多种训练数据来源训练机器学习模型，包括但不限于：最终产品等级、最终产品方差统计、期望的最终产品特性(例如，装配时间、所使用材料的量、物理特性、缺陷数量等)、工位特定组件等级、工位特定组件方差、期望的工位组件特性。此外，可以基于来自专家或“主设计师”提供的输入训练或初始化部署的机器学习模型，以便制度知识可以在用于执行误差检测和误差定量计算的理想化模型中表示。
如本领域技术人员所理解的，在不脱离所公开的技术的情况下，基于机器学习的分类技术可以根据期望的实现方式而变化。例如，机器学习分类方案可以单独或联合应用以下的一项或更多项：隐马尔可夫模型、循环神经网络、卷积神经网络(CNN)、深度学习；贝叶斯符号方法、全面对抗网络(GAN)、支持向量机、图像配准方法以及适用的基于规则的系统。在使用回归算法的情况下，可能包括但不限于：随机梯度下降回归量和/或被动积极回归量等。
机器学习分类模型还可基于聚类算法(例如，小批量K均值(K-means)聚类算法)、推荐算法(例如，Miniwise哈希算法，或欧几里得局部敏感哈希(LSH)算法)，和/或异常检测算法，例如局部异常因子。此外，机器学习模型可以采用降维方法，例如，采用以下中的一种或更多种：小批量字典学习算法、增量主成分分析(PCA)算法、隐狄利克雷分配算法和/或小批量K-means算法等。
在一些实施方式中，可以部署多种不同类型的机器学习训练/人工智能模型。举例来说，可以使用一般形式的机器学习来动态调整流水线过程，从而优化制造产品。正如本领域技术人员所认识到的，所选择的机器学习/人工智能模型并不只是包含一组装配/制造指令，而是一种对整个流水线过程及其对最终的制造产品产生的影响提供反馈的方法，以及为流水线中的下游操作工位提供动态调整的方式，以补偿上游操作工位中发生的动作。这种基于人工智能的反馈和前馈模型在本文中被称为人工智能过程控制(AIPC)。
在一些实施例中，可以选择最佳的/期望的制造产品的设计，并且可以根据所选择的设计部署熟练的操作员来执行在每个操作工位处执行的用于装配制造产品的每个步骤。最佳可以基于最终产品的期望的性能和/或特性(例如，如果制造产品是纸飞机，那么最佳的纸飞机可能是实现期望飞行目标的飞机)，最大限度地减少最终制造产品中的误差，或其他一些标准。多个成像设备可用于捕获操作员的动作以及其与正在装配的制造产品的交互，以生成视频、图像和/或3D点云数据。捕获的数据可以提供粒度信息，例如：在装配制造产品时关于制造产品的操作员手部坐标、一只手与另一只手的关系以及在装配制造产品时手指(在一些实施例中，为手指中的关节)与制造产品的关系。从熟练的操作员处收集的数据可用作为最佳的/期望的制造产品的装配的基本事实。进一步地，为了了解操作员动作或误差的变化如何影响最终的制造产品，可以部署许多操作员执行最佳制造产品的装配中的一个或更多个步骤。这可以针对流水线中的每个操作工位完成。所得的最终产品及其各自的装配工艺可以相互比较并与基本事实进行比较，以确定操作员动作中的误差和/或变化如何影响制造产品的特性和/或性能(例如，操作员的速度可能会导致质量较差的飞机)。在实际装配过程(即，人类、机器人或机器在一个或更多个工位处执行动作的过程)期间基于操作员收集的数据在本文中将被称为“实际训练数据”。可以用模拟数据补充实际训练数据，以获得更丰富的数据集，并为实现最佳的制造产品提供额外的变化。注意，术语“最佳的”和“期望的”在本文中可互换使用。
在一些实施例中，本文所讨论的不同的AI/机器学习/深度学习模型可以按照如下所述的特定顺序进行部署以实现人工智能过程控制(AIPC)来优化制品的装配。参照图1(例如，与AIPC深度学习模型112相关)和图2更详细地讨论其中可以实现AIPC深度学习模型的示例性过程。可用于实现AIPC深度学习模型的硬件系统和/或设备的示例在图3和下面相应的描述中提供。
第一，可以在流水线过程中使用CNN，以在每个操作工位处对不同配置中操作员的手部和制品的特征进行分类。
第二，强化学习(RL)和RL代理可用于实现来自CNN分类的期望结果和预定义的期望结果，并由于实现期望结果而得到奖励。RL代理可以是有监督的或无监督的。
第三，生成对抗网络(GAN)可用于在冲突的RL代理之间进行选择。GAN可以涉及最少的人工监督，仅依靠人工来选择要输入哪些RL代理来作为GAN的节点。
第四，RNN可以将获胜的RL作为输入节点来创建反馈和前馈系统，使得学习可以是连续的和无监督的。
下面更详细地讨论这四种AI/机器学习模型的实现：
在一些实施例中，可以将实际训练数据输入到CNN中以对装配过程中的相关数据进行分类，例如，对装配的每个步骤中每个操作工位处使用哪些手指/手部进行分类，对在任何时间和空间点处被操作员的手指接触的正在被装配的产品的部分进行分类，以及对在任何时间和空间点处正在被装配的制造产品的形状或配置进行分类。
在进一步的实施例中，还可以收集不跟踪手部动作但表示制造产品的装配模式中不同变化的数据(例如，如果制造产品是折叠的纸飞机，则可以根据更改折叠顺序、实施折叠变化和/或引入潜在误差来收集数据，如果制造产品是一件衣服，例如，可以根据缝合顺序、实施缝合变化和/或引入潜在的误差来收集数据)。该数据可以从实际训练数据中模拟和/或收集。可以比较最终的制造产品和它们各自的装配过程，以确定装配模式中的误差或变化如何影响制造产品的特性和/或性能。
在一些方面，用于生成机器学习模型的训练数据可以组合地或单独地来自模拟数据和/或来自实际训练数据。在一些实施例中，可以使用模拟数据结果来构建机器学习模型，例如(但不限于)强化学习(RL)代理。在其他实施例中，可以使用实际训练数据构建机器学习模型，例如(但不限于)强化学习(RL)代理。RL代理因实现良好的/期望的结果而得到奖励，并且因不良的结果而受到惩罚。
在一些情况下，许多RL代理(一些基于实际训练数据，一些基于模拟数据)可以被部署以协同工作，并被配置为最大化累积奖励：例如，装配具有与理想模型/理想示例有最小偏差的制造产品。可以奖励RL代理的示例性结果包括：以尽可能少的步骤完成完美的制造产品，减少实现制造产品所需的材料或时间的量。基于模拟数据的RL代理和基于实际训练数据的RL代理可用于确定产生最佳的/期望的制品的最佳的动作模式和/或最佳的装配模式。
这两组RL代理(例如，基于实际训练数据创建的RL代理和基于模拟数据创建的RL代理)如今可以协作，甚至竞争，因为它们都因做出最佳的/期望的制造产品的动作而获得奖励。在一些实施例中，从基于模拟的RL代理获得的数据(其导致最佳的制造产品的最佳的装配模式)可用于减少实际训练数据集的可能性空间。例如，可以使用模拟RL代理来确定最佳的装配模式，然后可以仅针对最佳的装配模式收集实际训练数据，而不是针对非最佳的装配模式收集实际训练数据。通过仅专注于收集实际训练数据或最佳的装配模式，可以收集较少的训练数据和/或可使用较大的容量以收集更多实际训练数据，但仅针对最佳的装配模式。
仅依靠强化学习来优化流水线是有限的，因为奖励有时会发生冲突。例如，在产品的装配中，一些RL代理可能会因为最少的假移动数量(例如，折叠并立即对该折叠撤消折叠，或添加缝合并立即取消该缝合)而被奖励，而其他RL代理可能会因为速度被奖励。因为速度而被奖励的RL代理可能会确定更多的假移动会导致更快的装配时间，因为在装配过程中的下游需要更少的修正。做出此类实现权衡决策并不是人类容易算出的事情。即使具有经验和大量的示例，人类仍然缺乏理解最终结果如何从以不同方式工作的不同操作员产生的微妙之处的计算能力。
为了解决这些相互冲突的RL代理优化，可以部署GAN以充当仲裁者。冲突可以发生在基于实际训练数据的RL代理之间、基于模拟数据的RL代理之间和/或基于实际训练数据的RL代理与基于模拟数据的RL代理之间。
在一些实施例中，GAN可以测试每个RL代理并存储结果以创建更加稳健的神经网络。GAN通过采用RL代理并使用在零和博弈中产生胜者和败者的模型来工作。在GAN中，有“生成器”和“鉴别器”。在这种情况下，生成器将存储来自冲突RL代理的奖励数据，而鉴别器将评估其中哪些与创建期望的制造产品的任务最相关。GAN使用深度网络节点(或神经元)来决定如何对节点进行加权。由于每个RL代理都认为它已经做出了最佳的决策，因此GAN的作用是确定哪个冲突RL代理实际上做出了最适当的选择，鉴别器相应地调整权重。当冲突RL代理之间进行零和博弈时，会在冲突RL代理之间产生一组胜者，只有那些胜者才会用于优化流水线中工作流程所使用的机器学习模型。尽管可能已经产生了大量数据来确定获胜的RL代理，但结果比用于创建和查找这些用作为输入节点的胜者的数据要稀疏得多。
在一些实施例中，一旦确定了哪些RL代理在GAN的较量中幸存下来并得到正确的奖励，它们就可以被输入到被称为循环神经网络(RNN)的另外的AI系统中。RNN与CNN有很多相似之处，因为它是深度学习神经网络，通过输入数据的各种形式的加权来优化最终结果。与CNN不同的一个区别是，CNN是从输入到输出的线性过程，RNN是反馈所得输出的循环，甚至内部节点作为新的训练信息。RNN既是反馈系统又是前馈系统。
人工智能过程控制(AIPC)的真实应用涉及向流水线中已经完成其任务的操作员提供反馈(例如，通过自动修改视频指令)，以及向流水线中下游尚未完成其任务(“前馈”)的操作员提供指令(还例如，通过自动修改视频指令)。该反馈-前馈系统或AIPC可以利用本文所述的AI方法实现，并且在一些实施例中，以本文所述的特定顺序实现，以便流水线中的操作员可以做出优化最终制造产品的选择，无需额外的人工监督。
在一些实施例中，这涉及将以上系统仅压缩为RNN，并且以两种方式查看在创建一个或更多个制造产品的过程中的每个移动：成功或不成功。每个移动都作为训练。如果RNN的输出节点不是最优的，那么网络可以反馈给流水线中的实际个体以做出不同的选择，并且在通过RNN的许多节点和层的路径中，可以重新加权权重并将输出标记为成功或不成功。随着过程的迭代，权重本身的准确性会提高。此外，网络可以了解什么是有效的，什么是无效的，即使执行装配的个体并不了解。这增加到训练集。还允许在装配过程的不同阶段进行调整。在某些情况下，可能会发现在任何给定时刻生产具有特定特征的制品的最佳的方法是不回到起点，而是随着过程的进展调整指令。然后，RNN总是针对最佳的制造产品进行优化，并学习向已执行其任务的生产线中操作工位处的每个操作员提供反馈，并向尚未执行其任务的生产线中操作工位处的操作员前馈信息。
图1概念性地示出了根据所公开的技术的一些方面的用于实施生产线部署的示例性过程100的流程图。图1的过程开始于步骤102，其中，开始生产部署。示例性生产线的工作流程通常包括在其中装配或制造工件(产品)的多个操作工位(节点)。各个节点可以按顺序组织，以便每个后续节点处的工作仅在前一个节点处的操作完成后才开始。
在步骤104中，生成和/或更新一个或更多个参考视频。如上所述的视频，可用于向特定节点(本文也称为操作工位)提供制造/装配指令。也就是说，可以向工作流程中的每个节点提供参考视频，该参考视频为如何完成制造工作流程中与该特定节点对应的步骤提供指导。
在步骤106中，将在步骤104中生成的每个视频部署到相应的工位/节点。举例来说，给定的工作流可以包括十个节点，每个节点具有各自的和不同的/唯一的参考视频。在其他实施方式中，视频的数量可以少于节点的总数。根据实施方式，在各个工位/节点处部署的参考视频可能是唯一的，或者可能提供类似的指导/指令。如下文进一步详细讨论的，参考视频的内容可以是动态的，并且可以随时间更新/增强。
在步骤108中，在每个工位/节点处捕获动作的连续记录。动作记录产生的动作数据可以描述操作员与工作流程中其节点/工位处的工件/组件/工具的交互。即，在每个节点捕获的动作数据可以表示与产品装配或制造的特定部分相对应的一个或更多个操作员动作，并且可以与由与该节点相关联的参考视频提供的指令相对应。在某些情况下，动作捕获可以包括视频数据的捕获，即，捕获在该工位处操作员的全部动作或部分动作的记录。在其他实施例中，动作捕获可以包括3D点云的记录，例如，在图像捕获设备的视野中记录一个或更多个特定点的动作。操作员的动作以及组件的属性(例如，组件质量、抗拉强度、缺陷数量)都可以在工作流程中的每个节点/工位上捕获。
在步骤110中，可以计算过程方法分析偏差，其中，可以分析在步骤108中为一个或更多个工位捕获的动作数据以识别与比较模型的任何偏差，例如，比较模型包括(或表示)相应工位的理想化的动作曲线。如图1所示，步骤110可以利用AIPC深度学习模型(步骤112)，例如，其可以被配置为识别/分类与比较模型的动作偏差，并就装配或制造过程可能如何受到影响做出推断。该比较可以在每个工位级别和/或整个过程级别上进行。分析还可以考虑每个工位处的组件属性或组件与基线的偏差，以及工位的动作偏差如何影响组件的质量。
在步骤112中调用的AIPC深度学习模型可以基于各种类型的训练数据的集合，例如，可以包括给定工位/节点的理想的或质控的装配/制造交互的示例。还可以使用由领域/行业信息115提供的数据、客户对使用过程100制造的特定产品的反馈(步骤111)提供的数据、对使用过程100(步骤113)制造的特定产品的质量控制检查的反馈提供的数据来增强(或调整)AIPC深度学习模型。应当理解的是，AIPC深度学习模型可以使用多种计算系统来实现，计算系统包括分布式硬件和/或软件模块。举例来说，AIPC深度学习模型可以使用分布式系统来实现，分布式系统包括多个图像捕获设备和多个显示设备，这些设备部署在流水线处并耦接到一个或更多个被配置为实现各种AI/机器学习模型和/或分类器的系统。
一旦在步骤110中检测/识别出与比较模型的偏差，就可以使用AIPC深度学习模型112生成步骤114中的自动调整。如上所讨论的，视频调整可以针对提升工作流程中一个或更多个工位处的制造/装配质量。例如，视频调整可以应用于已知的(或预测的)会产生误差的给定节点/工位，例如，为了以减少或修复原点误差的方式改变提供给操作员的指令或指导。在其他实施方式中，视频调整可应用于在产生误差的工位的下游，例如，在制造工作流程完成之前校正误差。在进一步的实施方式中，一旦工作流程完成，就可以分析整个工作流程并且可以对工作流程中的一个或更多个工位进行调整。
在一些实施例中，在检测到误差之后立即实时进行调整。在其他实施例中，以固定间隔或在工作流程完成之后进行调整。
在一些方面，在步骤114确定的自动调整可以在步骤117总结和/或作为生产质量报告提供。例如，从动作偏差的分析(步骤110)产生的调整可以用于产生一个或更多个质量报告，该质量报告基于与装配/制造过程的理想化模型的已识别偏差来描述工件的各个质量方面。
图2示出了根据本技术的一些方面的用于执行可用于促进装配误差校正的误差检测分析的示例性过程200。
从步骤210处开始，可以实施使用理想化的视频指导来改进制造/装配的过程。在步骤215中，执行一个或更多个装配工位的视频跟踪。视频跟踪可以包括在给定工位/节点处人工操作员的记录。在一些实施例中，视频跟踪可进一步包括在给定工位/节点处组件属性的捕获。
在步骤220至步骤224中，执行处理以分析来自装配工位的记录视频。例如，在一些实施例中，可以执行背景提取以隔离所记录视频中的移动/组件。在一些方面，一旦完成背景提取，处理过的视频仅包含与装配操作员(步骤224)和在相应装配步骤(步骤220)中使用的涉及的组件有关的动作/视频数据。在步骤220中，可以执行附加的处理以隔离零件/组件。如过程200的示意图所示，步骤220可以包括附加的处理操作，附加的处理操作包括异常检测(步骤221)、表面变化的检测(222)以及部件分类和/或质量评分(步骤223)。应当理解的是，任何视频处理步骤都可以使用各种信号和/或图像处理技术来执行，包括但不限于一个或更多个AI/机器学习算法和/或分类器的使用，例如，执行异常检测(221)，检测表面变化(222)，和/或执行评分/分类(步骤223)。
在处理步骤220至步骤224完成之后，过程200可以进行到步骤226，其中，执行动作比较。动作比较(步骤226)可以包括涉及一个或更多个工位/节点处的一个或更多个工位操作员的过程装配工位视频数据与相应的理想化视频/动作数据的比较。跨多个工位/节点执行的动作比较可用于推断/预测最终零件/组件质量的变化。
在步骤228中，可以执行各种零件/组件的方差/质量分类。举例来说，零件/组件可以被分为不同的质量等级和/或可根据它们相关联的分类/差异进行拆卸或维修。
在确定分类/差异之后，过程200可以进行到步骤230，其中，执行整个过程/工作流程的分析，例如，基于在步骤226和步骤228中确定的每个工位/节点的分类/差异。通过分析整个工作流程，可以对视频进行自动调整，以解决如上所述的检测到的偏差/缺陷。
图3示出了可以用于实现所公开的技术的系统的示例性处理设备。处理设备300包括主中央处理单元(CPU)362、接口368和总线315(例如，PCI总线)。当在适当软件或固件的控制下动作时，CPU 362负责执行所公开的技术的各种误差检测监控和过程调整步骤。CPU362优选地在包括操作系统和任何适当应用软件的软件的控制下完成所有这些功能。CPU362可以包括一个或更多个处理器363，例如来自摩托罗拉(Motorola)系列微处理器或MIPS系列微处理器的处理器。在可替代的实施例中，处理器363是专门设计的用于控制AIPC系统310的运行的硬件。在特定的实施例中，存储器361(例如非易失性RAM和/或ROM)也形成CPU 462的部分。然而，存在许多不同的可以将存储器耦接到系统的方式。
在一些方面，处理设备310可以包括图像处理系统370或可以与图像处理系统370耦接。图像处理系统370可以包括多种图像捕获设备，例如，能够监控操作员移动并生成动作数据的摄像机。举例来说，图像处理系统370可以被配置为捕获视频数据和/或输出/生成3D点云。
接口368通常被提供作为接口卡(有时称为“线卡”)。通常，它们通过网络控制数据包的发送和接收，有时支持与路由器一起使用的其他外围设备。可以提供的接口包括以太网接口、帧中继接口、电缆接口、DSL接口、令牌环接口等。此外，可以提供各种超高速接口，例如快速令牌环接口、无线接口、以太网接口、千兆以太网接口、ATM接口、HSSI接口、POS接口、FDDI等。通常，这些接口可以包括适于与适当的介质通信的端口。在某些情况下，它们还可能包括独立的处理器，在某些情况下，还包括易失性RAM。独立处理器可以控制诸如分组交换、介质控制和管理之类的通信密集型任务。通过为通信密集型任务提供单独的处理器，这些接口允许主微处理器362高效地执行路由计算、网络诊断、安全功能等。
虽然图3所示的系统是本发明的一种具体的处理设备，但它绝不是可以实现本发明的唯一的网络设备架构。例如，经常使用具有处理通信以及路由计算等的单处理器的架构。进一步地，也可以使用其他类型接口和介质。
不管网络设备的配置如何，都可以采用一个或更多个存储器或存储器模块(包括存储器361)，其被配置为存储用于通用网络操作的程序指令和本文所述的漫游、路由优化和路由功能的机制。例如，程序指令可以控制操作系统的操作和/或一个或更多个应用程序的操作。一个或更多个存储器还可以被配置为存储诸如移动绑定、注册和关联表等的表。
各种实施例的逻辑操作被实现为：(1)在通用计算机内的可编程电路上运行一系列计算机实现的步骤、操作或过程，(2)在特定用途的可编程电路上运行的一系列计算机实现的步骤、操作或过程；和/或(3)在可编程电路内互连的机器模块或程序引擎。系统300可以实践全部或部分所述方法，可以是所述系统的部分，和/或可以根据所述非暂时性计算机可读存储介质中的指令进行操作。此类逻辑操作可以被实现为模块，该模块配置为控制处理器363以根据模块的编程来执行特定功能。
应当理解的是，所公开的过程中的步骤的任何特定顺序或层次是对示例性方法的说明。基于设计偏好，应当理解的是，过程中步骤的特定顺序或层次可以重新排列，或者仅执行所示步骤的部分。一些步骤可以被同时执行。例如，在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施例中各个系统组件的分离不应理解作为在所有实施例中都需要此类分离，应当理解的是，所描述的程序组件和系统一般可以集成在单个软件产品中或打包成多种软件产品。
提供前述描述以使本领域技术人员能够实践本文描述的各种方面。对这些方面的各种修改对于本领域技术人员来说将是显而易见的，并且本文定义的一般原理可以应用于其他方面。因此，权利要求不旨在限于本文所示的方面，而是被赋予与语言权利要求一致的全部范围，其中，除非具体来说，否则引用单数形式元素并不旨在表示“一个且仅一个”，而是“一个或更多个”。
诸如“方面”之类的短语并不暗示此方面对于本主题技术是必不可少的或者此方面适用于本主题技术的所有配置。与一方面相关的公开可适用于所有配置，或者可适用于一种或更多种配置。诸如方面之类的短语可以指一个或更多个方面，反之亦然。诸如“配置”之类的短语并不暗示此配置对于本主题技术是必不可少的或者此配置适用于本主题技术的所有配置。与配置相关的公开可适用于所有配置，或者可适用于一种或更多种配置。诸如配置之类的短语可以指一种或更多种配置，反之亦然。
本文中使用的词语“示例性”意指“作为示例或说明”。本文中描述为“示例性”的任何方面或设计不一定被解释为比其他方面或设计优选或有利。

Claims (20)

1.一种用于优化流水线中工作流程的方法，所述方法包括：
接收来自布置在流水线中第一工位处的第一图像捕获设备的第一动作数据，其中，所述第一动作数据对应于从一个或更多个操作员中选择的与所述第一工位相关联的第一操作员在与制品交互时执行的动作；
基于所述第一动作数据计算由所述第一操作员执行的所述动作的误差方差；
基于所述误差方差识别所述制品中的偏差；以及
基于所述计算的误差方差自动调整提供给所述一个或更多个操作员中的至少一个操作员的装配指令以生成修改的装配指令。
2.根据权利要求1所述的方法，其中，所述修改的装配指令被配置为向所述一个或更多个操作员中的至少一个操作员提供用于减少或消除所述制品中的已识别偏差的指令。
3.根据权利要求1所述的方法，其中，所述一个或更多个操作员包括所述第一操作员。
4.根据权利要求1所述的方法，其中，所述一个或更多个操作员包括与第二工位相关联的第二操作员，并且其中，在所述流水线中，所述第二工位位于所述第一工位的下游。
5.根据权利要求1所述的方法，其中，所述一个或更多个操作员包括与第二工位相关联的第二操作员和与第三工位相关联的第三操作员，以及
其中，在所述流水线中，所述第二工位位于所述第一工位的下游，在所述流水线中，所述第三工位位于所述第二工位的下游。
6.根据权利要求1所述的方法，进一步包括：
接收来自布置在流水线中第四工位处的第四图像捕获设备的第四动作数据，其中，所述第四动作数据对应于与所述第四工位相关联的第四操作员在与所述制品交互时执行的动作，以及
其中，进一步基于所述第四操作员执行的动作计算所述误差方差。
7.根据权利要求1所述的方法，其中，使用一个或更多个机器学习模型来执行识别所述制品的装配偏差。
8.一种用于优化流水线中工作流程的系统，所述系统包括：
多个图像捕获设备，其中，每个所述图像捕获设备布置在流水线中多个工位中的一个或更多个工位处；以及
装配指令模块，被配置为自动修改提供给所述多个工位中一个或更多个工位的引导和指令，其中，所述装配指令模块与所述多个图像捕获设备耦接，并且其中，所述装配指令模块被配置为执行包括以下操作的操作：
由所述装配指令模块从所述多个图像捕获设备中的第一图像捕获设备接收第一动作数据，其中，所述第一图像捕获设备布置在所述流水线的第一工位处，其中，所述第一动作数据对应于从一个或更多个操作员中选择的与所述第一工位相关联的第一操作员在与制品交互时执行的动作；
基于所述第一动作数据计算所述第一操作员执行的所述动作的误差方差；
基于所述误差方差识别所述制品中的偏差；以及
基于所述计算的误差方差自动调整提供给所述一个或更多个操作员中的至少一个操作员的装配指令以生成修改的装配指令。
9.根据权利要求8所述的系统，其中，所述修改的装配指令被配置为向所述一个或更多个操作员中至少一个操作员提供用于减少或消除所述制品中的已识别偏差的指令。
10.根据权利要求8所述的系统，其中，所述一个或更多个操作员包括所述第一操作员。
11.根据权利要求8所述的系统，其中，所述一个或更多个操作员包括与第二工位相关联的第二操作员，并且其中，在所述流水线中，所述第二工位位于所述第一工位的下游。
12.根据权利要求8所述的系统，其中，所述一个或更多个操作员包括与第二工位相关联的第二操作员和与第三工位相关联的第三操作员，以及
其中，在所述流水线中，所述第二工位位于所述第一工位的下游，在所述流水线中，所述第三工位位于所述第二工位的下游。
13.根据权利要求8所述的系统，进一步包括：
接收来自布置在流水线中第四工位处的第四图像捕获设备的第四动作数据，其中，所述第四动作数据对应于与所述第四工位相关联的第四操作员在与所述制品交互时执行的动作，以及
其中，进一步基于所述第四操作员执行的动作计算所述误差方差。
14.根据权利要求8所述的系统，其中，使用一个或更多个机器学习模型来执行识别所述制品的装配偏差。
15.一种非暂时性计算机可读介质，包括存储在其上的指令，当由一个或更多个处理器执行时，所述指令被配置为使所述处理器执行指令，包括：
接收来自布置在流水线中第一工位处的第一图像捕获设备的第一动作数据，其中，所述第一动作数据对应于从一个或更多个操作员中选择的与所述第一工位相关联的第一操作员在与制品交互时执行的动作；
基于所述第一动作数据计算由所述第一操作员执行的动作的误差方差；
基于所述误差方差识别所述制品中的偏差；以及
基于所述计算的误差方差自动调整提供给所述一个或更多个操作员中的至少一个操作员的装配指令以生成修改的装配指令。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述修改的装配指令被配置为向所述一个或更多个操作员中的至少一个操作员提供用于减少或消除所述制品中的已识别偏差的指令。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述一个或更多个操作员包括所述第一操作员。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，所述一个或更多个操作员包括与第二工位相关联的第二操作员，并且其中，在所述流水线中，所述第二工位位于所述第一工位的下游。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述一个或更多个操作员包括与第二工位相关联的第二操作员和与第三工位相关联的第三操作员，以及
其中，在所述流水线中，所述第二工位位于所述第一工位的下游，在所述流水线中，所述第三工位位于所述第二工位的下游。
20.根据权利要求15所述的非暂时性计算机可读介质，进一步包括配置用于使所述处理器执行以下操作的指令：
接收来自布置在流水线中第四工位处的第四图像捕获设备的第四动作数据，其中，所述第四动作数据对应于与所述第四工位相关联的第四操作员在与所述制品交互时执行的动作，以及
其中，进一步基于所述第四操作员执行的动作计算所述误差方差。
CN201980092196.2A 2019-02-28 2019-09-30 流水线的动态训练 Pending CN113454548A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/289,422 US10481579B1 (en) 2019-02-28 2019-02-28 Dynamic training for assembly lines
US16/289,422 2019-02-28
PCT/US2019/053746 WO2020176137A1 (en) 2019-02-28 2019-09-30 Dynamic training for assembly lines

Publications (1)

Publication Number Publication Date
CN113454548A true CN113454548A (zh) 2021-09-28

Family

ID=68536277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980092196.2A Pending CN113454548A (zh) 2019-02-28 2019-09-30 流水线的动态训练

Country Status (7)

Country Link
US (4) US10481579B1 (zh)
EP (1) EP3908892A4 (zh)
JP (1) JP7437054B2 (zh)
KR (1) KR20210133250A (zh)
CN (1) CN113454548A (zh)
TW (1) TWI830791B (zh)
WO (1) WO2020176137A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253232A (zh) * 2021-12-01 2022-03-29 中国电子科技集团公司第二十九研究所 一种生产线中加工工位的配置方法及系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112018070565A2 (pt) 2016-04-07 2019-02-12 Bp Exploration Operating Company Limited detecção de eventos de fundo de poço usando características de domínio da frequência acústicas
US11084225B2 (en) 2018-04-02 2021-08-10 Nanotronics Imaging, Inc. Systems, methods, and media for artificial intelligence process control in additive manufacturing
GB201820331D0 (en) 2018-12-13 2019-01-30 Bp Exploration Operating Co Ltd Distributed acoustic sensing autocalibration
US10481579B1 (en) 2019-02-28 2019-11-19 Nanotronics Imaging, Inc. Dynamic training for assembly lines
US11209795B2 (en) 2019-02-28 2021-12-28 Nanotronics Imaging, Inc. Assembly error correction for assembly lines
EP3736754A1 (en) * 2019-05-09 2020-11-11 Siemens Aktiengesellschaft A method and apparatus for providing predictions of key performance indicators of a complex manufacturing system
KR20220054673A (ko) 2019-09-10 2022-05-03 나노트로닉스 이미징, 인코포레이티드 제조 공정을 위한 시스템, 방법 및 매체
WO2021073741A1 (en) 2019-10-17 2021-04-22 Lytt Limited Fluid inflow characterization using hybrid das/dts measurements
KR20220117194A (ko) * 2019-12-20 2022-08-23 보에 테크놀로지 그룹 컴퍼니 리미티드 추론 연산 장치, 모델 훈련 장치, 및 추론 연산 시스템
US11720068B2 (en) * 2020-01-06 2023-08-08 Opro.Ai Inc. Autonomous industrial process control system and method that provides autonomous retraining of forecast model
WO2021151504A1 (en) * 2020-01-31 2021-08-05 Lytt Limited Maching learning using time series data
JP2023515015A (ja) * 2020-02-21 2023-04-12 ナノトロニクス イメージング インコーポレイテッド 製造プロセスのためのシステム、方法、及び媒体
TWI801820B (zh) * 2020-03-09 2023-05-11 美商奈米創尼克影像公司 用於製造流程之系統及方法
AU2021204532A1 (en) 2020-03-17 2021-10-07 Freeport-Mcmoran Inc. Methods and systems for deploying equipment required to meet defined production targets
CA3180595A1 (en) 2020-06-11 2021-12-16 Lytt Limited Systems and methods for subterranean fluid flow characterization
EP4168647A1 (en) 2020-06-18 2023-04-26 Lytt Limited Event model training using in situ data
JP2023530944A (ja) * 2020-06-18 2023-07-20 ナノトロニクス イメージング インコーポレイテッド 製造プロセスのためのシステム、方法、および媒体
EP3961327B1 (en) 2020-08-27 2023-11-01 Omron Europe B.V. Assembly assistance device and method
US11335443B1 (en) 2020-09-07 2022-05-17 OpenNano Pte. Ltd. Phenotypic patient data derivation from economic data
JP2022100660A (ja) * 2020-12-24 2022-07-06 セイコーエプソン株式会社 ロボットの制御プログラムを作成する処理をプロセッサーに実行させるコンピュータープログラム、並びに、ロボットの制御プログラムを作成する方法及びシステム
KR20220133712A (ko) * 2021-03-25 2022-10-05 현대자동차주식회사 차량의 품질 관리 시스템 및 그 방법
LU102785B1 (en) 2021-04-14 2022-10-14 Dillygence Sas Simulation process of a manufacturing system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167613A (ja) * 2001-11-30 2003-06-13 Sharp Corp 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体
US20070036421A1 (en) * 2005-08-10 2007-02-15 Tadanobu Toba Method and apparatus for inspecting defects of semiconductor device
US20090198464A1 (en) * 2008-01-31 2009-08-06 Caterpillar Inc. System and method for assembly inspection
US20090281753A1 (en) * 2008-03-31 2009-11-12 Noam Noy method and system for photovoltaic cell production yield enhancement
US20110141265A1 (en) * 2009-12-10 2011-06-16 Mark Edwin Holtkamp System and Method for Monitoring Hot Glass Containers to Enhance Their Quality and Control the Forming Process
US20150286202A1 (en) * 2012-11-13 2015-10-08 Fuji Machine Mfg. Co., Ltd. Board production state monitoring system
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测系统及方法
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1129509B (it) * 1980-01-14 1986-06-04 Tasco Spa Procedimento ed apparecchiatura per il ritrovamento in tempo reale di difetti in oggetti industriali
JPS6224873U (zh) 1985-07-30 1987-02-16
EP0263473B1 (en) * 1986-10-03 1994-07-27 Omron Tateisi Electronics Co. Apparatus for inspecting packaged electronic device
US5815198A (en) * 1996-05-31 1998-09-29 Vachtsevanos; George J. Method and apparatus for analyzing an image to detect and identify defects
EP1183578B1 (de) 1999-03-02 2003-08-20 Siemens Aktiengesellschaft Augmented-reality-system zur situationsgerechten unterstützung der interaktion zwischen einem anwender und einer technischen vorrichtung
US6650779B2 (en) 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
JP3732053B2 (ja) * 1999-09-27 2006-01-05 株式会社日立製作所 製造職場の不良の起こし易さ評価方法及びその装置、製品の組立作業不良率評価方法及びその装置並びに記録媒体
DE10057928C1 (de) * 2000-11-22 2002-02-21 Inb Vision Ag Verfahren zur Erkennung von Abweichungen der Oberflächenform von einer vorgegebenen Form
JP2002230337A (ja) * 2001-02-06 2002-08-16 Hitachi Ltd 企業間取引方法及び企業間取引仲介方法
JP2004104576A (ja) 2002-09-11 2004-04-02 Mitsubishi Heavy Ind Ltd 作業用ウェアラブル装置、遠隔作業指示装置、遠隔作業指示方法および遠隔作業指示プログラム
US7202793B2 (en) 2002-10-11 2007-04-10 Attention Technologies, Inc. Apparatus and method of monitoring a subject and providing feedback thereto
JP4004474B2 (ja) * 2004-01-27 2007-11-07 大阪瓦斯株式会社 観察対象者の動作解析システム
JP2005250990A (ja) 2004-03-05 2005-09-15 Mitsubishi Electric Corp 作業支援装置
US8103087B2 (en) * 2006-01-20 2012-01-24 Hitachi High-Technologies Corporation Fault inspection method
JP5018143B2 (ja) * 2006-03-13 2012-09-05 株式会社日立製作所 設計支援方法およびそのシステム
JP4784752B2 (ja) 2006-06-30 2011-10-05 サクサ株式会社 画像処理装置
JP5136026B2 (ja) * 2007-11-30 2013-02-06 オムロン株式会社 工程改善支援装置、工程改善支援用プログラム、および工程改善支援用プログラムを記録した記録媒体
DE102007062376A1 (de) 2007-12-22 2009-06-25 Dietz-Automotive Gmbh & Co. Kg Verfahren zur Montage einer Baugruppe
SG192295A1 (en) * 2012-01-10 2013-08-30 K One Ind Pte Ltd Flexible assembly line for tray packaging
WO2014138087A1 (en) 2013-03-04 2014-09-12 Rite-Hite Holding Corporation Methods and apparatus for video based process monitoring and control
JP6113631B2 (ja) 2013-11-18 2017-04-12 東芝三菱電機産業システム株式会社 作業確認システム
US10413246B2 (en) * 2014-06-23 2019-09-17 Eldad Izhak HOCHMAN Detection of human-machine interaction errors
US9846934B2 (en) * 2015-04-13 2017-12-19 Anchor Semiconductor Inc. Pattern weakness and strength detection and tracking during a semiconductor device fabrication process
JP6156441B2 (ja) * 2015-05-14 2017-07-05 オムロン株式会社 作業管理システムおよび作業管理方法
JP2017091091A (ja) 2015-11-06 2017-05-25 三菱電機株式会社 作業情報生成装置
EP3391638A4 (en) * 2015-12-16 2019-08-14 Martineau, Pierre R. METHOD AND DEVICE FOR REMANENT IMAGE CONTROL
CN108604393B (zh) 2016-03-04 2022-12-30 日铁系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及计算机可读取的存储介质
DE102016203674A1 (de) 2016-03-07 2017-09-07 Homag Gmbh Verfahren zum Betreiben einer Durchlaufmaschine sowie Durchlaufmaschine
JP6608778B2 (ja) 2016-08-01 2019-11-20 株式会社日立製作所 作業動作指示装置
EP3518643B1 (en) * 2016-09-26 2024-03-27 Fuji Corporation System for monitoring outside work area of component mounting machine
US20180150070A1 (en) * 2016-11-29 2018-05-31 Caterpillar Inc. Portable inspection and control device
JP6506245B2 (ja) 2016-12-26 2019-04-24 ファナック株式会社 組付動作を学習する機械学習装置および部品組付システム
US10409614B2 (en) * 2017-04-24 2019-09-10 Intel Corporation Instructions having support for floating point and integer data types in the same register
CN111356964A (zh) 2017-09-30 2020-06-30 西门子股份公司 一种数控机床的故障诊断方法和装置
US11106902B2 (en) * 2018-03-13 2021-08-31 Adobe Inc. Interaction detection model for identifying human-object interactions in image content
US10733723B2 (en) * 2018-05-22 2020-08-04 Midea Group Co., Ltd. Methods and system for improved quality inspection
DE112018000122T8 (de) 2018-06-14 2020-04-09 Mitsubishi Electric Corporation Maschinelles-Lernen-Vorrichtung, Korrekturparameter-Anpassungssystem und Maschinelles-Lernen-Verfahren
US11209795B2 (en) 2019-02-28 2021-12-28 Nanotronics Imaging, Inc. Assembly error correction for assembly lines
US10481579B1 (en) * 2019-02-28 2019-11-19 Nanotronics Imaging, Inc. Dynamic training for assembly lines

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167613A (ja) * 2001-11-30 2003-06-13 Sharp Corp 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体
US20070036421A1 (en) * 2005-08-10 2007-02-15 Tadanobu Toba Method and apparatus for inspecting defects of semiconductor device
US20090198464A1 (en) * 2008-01-31 2009-08-06 Caterpillar Inc. System and method for assembly inspection
US20090281753A1 (en) * 2008-03-31 2009-11-12 Noam Noy method and system for photovoltaic cell production yield enhancement
US20110141265A1 (en) * 2009-12-10 2011-06-16 Mark Edwin Holtkamp System and Method for Monitoring Hot Glass Containers to Enhance Their Quality and Control the Forming Process
US20150286202A1 (en) * 2012-11-13 2015-10-08 Fuji Machine Mfg. Co., Ltd. Board production state monitoring system
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测系统及方法
CN107886500A (zh) * 2017-10-13 2018-04-06 北京邮电大学 一种基于机器视觉和机器学习的产品生产监控方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253232A (zh) * 2021-12-01 2022-03-29 中国电子科技集团公司第二十九研究所 一种生产线中加工工位的配置方法及系统

Also Published As

Publication number Publication date
EP3908892A4 (en) 2022-10-12
TWI830791B (zh) 2024-02-01
TW202034231A (zh) 2020-09-16
US11156982B2 (en) 2021-10-26
JP7437054B2 (ja) 2024-02-22
WO2020176137A1 (en) 2020-09-03
US20230324874A1 (en) 2023-10-12
KR20210133250A (ko) 2021-11-05
US11675330B2 (en) 2023-06-13
JP2022522436A (ja) 2022-04-19
US10481579B1 (en) 2019-11-19
US20200278657A1 (en) 2020-09-03
US20220043420A1 (en) 2022-02-10
EP3908892A1 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
US11675330B2 (en) System and method for improving assembly line processes
US11703824B2 (en) Assembly error correction for assembly lines
CN113544604A (zh) 流水线的装配误差校正
US11084225B2 (en) Systems, methods, and media for artificial intelligence process control in additive manufacturing
US10518357B2 (en) Machine learning device and robot system to learn processing order of laser processing robot and machine learning method thereof
US20180079076A1 (en) Machine learning device, robot system, and machine learning method for learning operation program of robot
CN109117380B (zh) 一种软件质量评价方法、装置、设备及可读存储介质
US10442023B2 (en) Simulation apparatus of wire electric discharge machine having function of determining welding positions of core using machine learning
EP3493120A1 (en) Training a neural network model
CN113728285B (zh) 用于增材制造中人工智能过程控制的系统、方法以及介质
WO2020176908A1 (en) Assembly error correction for assembly lines
US20210311440A1 (en) Systems, Methods, and Media for Manufacturing Processes
Schmitz et al. Enabling rewards for reinforcement learning in laser beam welding processes through deep learning
TWM592123U (zh) 推論系統或產品品質異常的智能系統
JP2023516776A (ja) 製造プロセスのためのシステム、方法及び媒体
EP4075221A1 (en) Simulation process of a manufacturing system
WO2021056733A1 (zh) 智能逻辑分析系统
Srivastava et al. Feature Clustering and Ensemble Learning Based Approach for Software Defect Prediction
KR20230165997A (ko) 분석/예측에 최적화된 시계열 데이터와 인공지능모듈 제공 방법
CN117726217A (zh) 一种烟用商标纸上机适应性预测方法及系统
Devedzic et al. Conceptual Framework for NPN Logic Based Decision Analysis
Chowdary Back-propagation artificial neural network approach for selection of a rapid prototyping machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination