CN114519841A - 生产线监视方法及其监视系统 - Google Patents

生产线监视方法及其监视系统 Download PDF

Info

Publication number
CN114519841A
CN114519841A CN202011221185.0A CN202011221185A CN114519841A CN 114519841 A CN114519841 A CN 114519841A CN 202011221185 A CN202011221185 A CN 202011221185A CN 114519841 A CN114519841 A CN 114519841A
Authority
CN
China
Prior art keywords
action type
training
video
action
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011221185.0A
Other languages
English (en)
Inventor
罗健麟
王志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Budweilei Technology Holding Co ltd
Original Assignee
Budweilei Technology Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Budweilei Technology Holding Co ltd filed Critical Budweilei Technology Holding Co ltd
Priority to CN202011221185.0A priority Critical patent/CN114519841A/zh
Priority to US17/238,162 priority patent/US11790538B2/en
Priority to JP2021161311A priority patent/JP7302769B2/ja
Publication of CN114519841A publication Critical patent/CN114519841A/zh
Priority to US18/462,441 priority patent/US12020444B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种生产线监视方法及其监视系统。监视系统用于：获取操作者的多个影像；基于影像辨识模型，判断多个影像的操作者的动作类型；决定动作类型的发生时间及动作周期；以及记录动作类型的发生时间及动作周期。

Description

生产线监视方法及其监视系统
技术领域
本发明是关于一种生产线监视方法及其监视系统，进一步特定言之，是关于一种基于机器学习技术的生产线监视方法及其监视系统。
背景技术
传统工业产品的制作流程中，各种装置的零件组装仍需要人工协助。具体而言，单一装置多需配置许多零件，而不同零件于装置上的组装，通常于工厂的生产线的各站台上，经由操作员人工完成。
惟人工操作的失误或各种因素产生的延迟，常常造成生产线输出的瓶颈，因此，生产线上需要监视装置来记录并确定造成生产线输出瓶颈的原因，以利后续效率的改善。
然而，习知的监视装置多仅有影像记录的功能，因此，当得知生产线上发生状况时，一般仍需针对记录此生产线的影像，透过人工的方式对影像进行搜寻并判断失误或延迟的因素。
发明内容
本发明的一些实施例提供了一种用于监视系统的生产线监视方法，包含：获取操作者的多个影像；基于影像辨识模型，判断多个影像的操作者的动作类型；决定动作类型的发生时间及动作周期；以及记录动作类型、发生时间及动作周期。
本发明的一些实施例提供了一种用于监视系统的生产线监视方法，包含：获取视频，其中，视频包含多个视频片段；基于影像辨识模型，判断各视频片段的动作类型；接收使用者设定以变更多个视频片段的第一视频片段的动作类型；以及根据第一视频片段的动作类型调整影像辨识模型。
本发明的一些实施例提供了一种用于生产线监视的监视系统，包含处理器以及储存单元。储存单元储存程序以及影像辨识模型。程序执行时，使处理器：获取操作者的多个影像；基于影像辨识模型，判断多个影像的操作者的动作类型；决定动作类型的发生时间及动作周期；以及记录动作类型、发生时间及动作周期。
上述已经相当广泛地概述了本发明的特征及技术优点，以便可以更好地理解本发明的以下实施方式。下文中将对本发明的另外的特征及优点进行描述，并且这些特征及优点形成本发明的申请专利范围的主题。熟习此项技术者应当理解的是，所揭示的概念及具体实施例可以容易地用作修改或设计用于实现本发明的相同目的的其他结构或制程的基础。熟习此项技术者还应该认识到，此类等同的构造不脱离如所附申请专利范围中所阐述的本发明的精神及范畴。
附图说明
当与附图一起阅读以下实施方式时，可以根据以下实施方式最好地理解本发明的各态样。应注意，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了讨论的清晰起见，可以任意地增大或减小各种特征的尺寸。
当结合附图考虑时，可以藉由参考实施方式及申请专利范围得出对本发明更彻底的理解，其中贯穿附图，相似的参考数字是指类似的元件。
图1A是本发明的一些实施例的监视系统的方块图。
图1B是本发明的一些实施例的监视系统的使用示意图。
图2A是本发明的一些实施例的监视系统的方块图。
图2B是本发明的一些实施例的监视系统的使用示意图。
图2C至2F是本发明的一些实施例的影像撷取装置所撷取的画面的示意图。
图3A是本发明的一些实施例的监视系统的方块图。
图3B是本发明的一些实施例的监视系统的使用示意图。
图3C至3F是本发明的一些实施例的影像撷取装置所撷取的画面的示意图。
图4A至4B是本发明的一些实施例的生产线监视方法的流程图。
图5A至5G是本发明的一些实施例的生产线监视方法的流程图。
具体实施方式
现在使用特定语言描述了附图中展出的本发明的实施例或实例。应当理解的是，在此不意欲限制本发明的范畴。对于本发明所关联的一般熟习此项技术者，所描述的实施例的任何改变或修改以及本文件所描述的原理的任何进一步应用都被认为是通常发生的。参考数字可以在整个实施例中重复，但这并不一定意味着一个实施例的一或多个特征适用于另一个实施例，即使此等实施例共用相同的参考数字。
应当理解，尽管本文可以使用术语第一、第二、第三等来描述各种元件、组件、区域、层或部分，但是此等元件、组件、区域、层或部分不受此等术语的限制。相反，此等术语仅用于将一个元件、组件、区域、层或部分与另一个元件、组件、区域、层或部分进行区分。因此，在不脱离本发明构思的教导的情况下，下文所讨论的第一元件、组件、区域、层或部分可以被称为第二元件、组件、区域、层或部分。
本文所使用的术语只是为了描述特定示例实施例并且不意欲限制本发明构思。如这里所使用的，除非上下文另外清楚地指明，否则单数形式「一个/种(a/an)」及「该(the)」意欲还包括复数形式。应进一步理解的是，当在本说明书中使用时，术语「包含(comprises及comprising)」指出所陈述的特征、整数、步骤、操作、元件或组件的存在，但不排除存在或添加一或多个其他特征、整数、步骤、操作、元件、组件或其组。
生产线上人工操作的失误或其他因素造成的延迟，常导致生产线输出的瓶颈，惟习知生产线上的监视装置仅为单纯影像记录，因此，仍需透过人工的方式搜寻影像以找出失误或延迟的因素，而此种侦错方式的效率以及使用弹性非常低，并无法有效地改善生产线输出的瓶颈。据此，为了更快速且精确地找出造成生产线上失误或延迟的因素，进而提升生产线输出的效率，需要创新的监视方法及监视系统。
请参考图1A，其是本发明的一些实施例的监视系统1的方块图。监视系统1包括处理器11及储存单元13。储存单元13储存程序130以及影像辨识模型132。其中，影像辨识模型132可以包含机器学习(machine learning)技术相关的模型。进一步来说，影像辨识模型132主要是根据机器学习演算法，利用多个训练资料产生的机器学习模型。
具体而言，在一些实施例中，一些影像资料以及此些影像资料所实际对应的动作类型可做为训练资料，用以基于机器学习演算法训练影像辨识模型132(亦即产生影像辨识模型132)。如此一来，影像辨识模型132便可用于接收影像资料，并输出影像中操作者的动作类型。举例来说，影像辨识模型132于接收操作者的影像序列后，判断操作者正在进行"拾起"或"放下"的动作，并输出动作类型为"拾起"或"放下"。
处理器11及储存单元13经由通信总线(communication bus)17电性连接。透过通信总线17，处理器11可执行储存于储存单元13中的程序130。程序130执行时可以产生一或多个中断(interrupt)，例如：软件中断(software interrupt)，以使处理器11执行具有生产线监视功能的程序130。下文将进一步描述程序130的功能。
请参考图1B，其是本发明的一些实施例的监视系统1的使用示意图。详言之，当生产线机台92的操作需要被监视及分析时，可将影像撷取装置91装设于生产线机台92所在的环境，用以撷取与生产线机台92相关的影像。其中，监视系统1可透过网络连线(有线网络或无线网络)与影像撷取装置91连线。
在一些实施例中，当操作者93于生产线机台92上进行操作时，影像撷取装置91可针对生产线机台92的位置，撷取操作者93的多个影像910，并透过网络将多个影像910传送至监视系统1。换言之，监视系统1可透过网络自影像撷取装置91获取操作者93的多个影像910。
接着，利用前述产生并储存于储存单元13的影像辨识模型132，监视系统1的处理器11可判断多个影像910的操作者93的动作类型。其中，由于多个影像910带有时间戳记(timestamp)的相关信息，因此，处理器11可判断多个影像910的撷取时间，并进一步地决定多个影像910所代表的动作类型的发生时间以及动作周期。处理器11可将动作类型、发生时间以及动作周期记录于储存单元13，俾利后续使用。
请参考图2A，其是本发明的一些实施例的监视系统2的方块图。监视系统2包括处理器21、储存单元23以及输入装置25。储存单元23储存程序230、影像辨识模型232以及训练资料234。其中，影像辨识模型232可以包含机器学习技术相关的模型，用于接收视频资料(即影像序列资料)，并输出视频中操作者的动作类型。
处理器21、储存单元23以及输入装置25经由通信总线27电性连接。透过通信总线27，处理器21可执行储存于储存单元23中的程序230。程序230执行时可以产生一或多个中断，例如：软件中断，以使处理器21执行具有生产线监视功能的程序230。下文将进一步描述程序230的功能。
在一些实施例中，影像辨识模型232主要是根据机器学习演算法，利用多个训练资料234产生的机器学习模型。详言之，一些视频资料以及此些视频资料所实际对应的动作类型可做为训练资料，用以基于机器学习演算法训练影像辨识模型232(亦即产生影像辨识模型232)。
更详细来说，每一训练资料234可以包括：(1)视频资料；及(2)与此视频资料相对应的动作类型，而程序230执行时，使处理器21自储存单元23中撷取训练资料234，并利用机器学习演算法，根据多个训练资料234训练影像辨识模型232。
换句话说，多个训练资料234的视频资料可以在训练阶段期间用作训练输入资料，多个训练资料234的动作类型可以在训练阶段期间用作训练输出资料。在处理器21产生影像辨识模型232之后，可将影像辨识模型232储存于储存单元23中以待后续使用。
须说明，在一些实施例中，机器学习演算法主要是引入卷积神经网络(Convolutional Neural Network,CNN)演算法，以基于训练资料234构建用于判断动作类型的影像辨识模型232。在一些范例中，CNN演算法可包含YOLO(you only look once)演算法、R3D(ResNet 3D)演算法等影像处理及影像辨识演算法，惟其并非用以限制本发明中机器学习演算法的态样。
在一些实施例中，在用于训练影像辨识模型232的CNN演算法的程序码中，存在用于训练影像辨识模型232的训练函数(function)。在影像辨识模型232的训练期间，训练函数可以包括用于接收训练资料234的部分。
进一步地，视频资料可以用作训练输入资料，与视频资料相对应的动作类型可以用作训练输出资料。接着，可以在执行CNN演算法的程序码的主函数(main function)后执行训练函数，以训练影像辨识模型232。在基于CNN演算法并利用训练资料产生影像辨识模型232之后，影像辨识模型232可以用于判断输入视频所对应的动作类型。
请参考图2B，其是本发明的一些实施例的监视系统2的使用示意图。详言之，当生产线机台82的操作需要被监视及分析时，可将影像撷取装置81装设于生产线机台82所在的环境，用以撷取与生产线机台82相关的视频。其中，监视系统2可透过网络连线(有线网络或无线网络)与影像撷取装置81连线。
在一些实施例中，当操作者83于生产线机台82上进行操作时，影像撷取装置81可针对生产线机台82的位置，即时(real-time)撷取操作者83的视频810(例如：视频串流)，并透过网络将视频810传送至监视系统2。换言之，监视系统2可透过网络自影像撷取装置81获取操作者83的视频810。
在一些实施例中，为了增加影像辨识模型232转换的准确度，可利用生产机台82现场摄得的视频作为反馈资料调整影像辨识模型232。详细来说，视频810可包含多个视频片段，利用前述产生并储存于储存单元23的影像辨识模型232，监视系统2的处理器21可判断每一视频片段的操作者83的动作类型。
当处理器21利用影像辨识模型232判断完视频810的每一视频片段的操作者83的动作类型后，监视系统2可向使用者提供视频片段以及相应的动作类型，俾利使用者判断是否有影像辨识模型232的转换偏误。在一些实施例中，监视系统2可透过显示器(未绘示)以及图形用户界面(graphical user interface,GUI)向使用者提供视频片段以及相应的动作类型。
接着，若使用者判断特定视频片段及其相应的动作类型是影像辨识模型232的转换偏误，使用者便可透过输入装置25输入使用者设定，藉以将此特定视频片段的动作类型变更为正确的动作。
随后，处理器21便可利用此特定视频片段以及更正后动作类型更新训练资料234，并重新利用更新后的多个训练资料234产生影像辨识模型232。更详细来说，处理器21可利用原有的训练资料234、至少一特定视频片段、相应于此至少一特定视频片段的至少一动作类型，基于机器学习演算法产生影像辨识模型234。
如此一来，由于影像辨识模型232重新用以进行的训练资料中，包含针对生产线机台82以及操作者83的相关资料(即至少一特定视频片段及相应于此至少一特定视频片段的至少一动作类型)，则更新后的影像辨识模型232应用于生产线机台82的环境时将有更高的转换准确度。
利用生产机台82现场摄得的视频作为反馈资料调整影像辨识模型232的技术，可透过下述范例更清楚地理解。举例来说，视频810包含十个视频片段"C1-C10"，利用前述产生并储存于储存单元23的影像辨识模型232，监视系统2的处理器21可判断视频片段"C1-C10"中每一视频片段的操作者83的动作类型(例如："拾起"动作或"放下"动作)。
当处理器21利用影像辨识模型232判断完视频片段"C1-C10"的动作类型后，监视系统2便向使用者提供视频片段"C1-C10"及其各自相应的动作类型，透过显示器以及GUI，俾利使用者判断是否有影像辨识模型232的转换偏误。
在此范例中，视频片段"C1"及"C8"的动作类型分别被监视系统2判断为"拾起动作"及"放下动作"。惟使用者判断视频片段"C1"及"C8"的动作类型应分别为"放下动作"及"拾起动作"，因此，使用者透过输入装置25输入使用者设定，分别将视频片段"C1"及"C8"的动作类型修正为"放下动作"及"拾起动作"。随后，处理器21将视频片段"C1"及"C8"以及更正后动作类型更新训练资料234，并重新利用更新后的多个训练资料234产生影像辨识模型232。
在一些实施例中，透过前述步骤更新影像辨识模型232后，当操作者83于生产线机台82上持续进行操作时，影像撷取装置81可针对生产线机台82的位置，撷取操作者83的视频812，并透过网络将视频812传送至监视系统2。换言之，监视系统2可透过网络自影像撷取装置81获取操作者83的视频812。其中，视频812包含多个视频片段。
接着，利用前述已更新并储存于储存单元23的影像辨识模型232，监视系统2的处理器21可判断视频812的每一视频片段的动作类型。其中，由于每一视频片段带有时间戳记的相关信息，因此，处理器21可判断各视频片段的撷取时间，并进一步地决定各视频片段所代表的动作类型的发生时间以及动作周期。处理器21可将动作类型以及动作周期记录于储存单元23，俾利后续使用。
在一些实施例中，处理器21可针对所有储存于储存单元23的每一视频片段，判断相应的动作类型的动作周期是否超过周期门槛值。若是，则标注此动作类型及相应的视频片段，并将此视频片段相应的动作类型、发生时间以及发生周期记录于记录档中。如此一来，使用者便可利用记录档，有效率地于视频812中调出被标注的视频片段，并进一步理解此些视频片段中动作类型的动作周期超过周期门槛值的原因，以快速地排除造成延迟的因素。
举例来说，预设"拾起"动作应在3秒内完成，则处理器21针对所有相应于"拾起"的动作的视频片段，判断其动作周期是否超过3秒值。若是，则标注此动作类型及相应的视频片段，并将此视频片段相应的动作类型、发生时间以及发生周期记录于记录档中。则使用者便可利用记录档，有效率地于视频812中调出被标注的视频片段，并进一步理解此些视频片段中动作类型的动作周期超过3秒的原因，以快速地排除造成延迟的因素。
在一些实施例中，处理器21可针对所有储存于储存单元23的连续二视频片段，判断相应的二动作类型的发生时间的时间差是否超过时间门槛值。若是，则标注此二动作类型及相应的二视频片段，并将此二视频片段相应的动作类型、发生时间以及发生周期记录于记录档中。如此一来，使用者便可利用记录档，有效率地于视频812中调出被标注的二视频片段，并进一步理解相应的二动作类型的发生时间的时间差超过时间门槛值的原因，以快速地排除造成延迟的因素。
举例来说，预设连续发生的"拾起"动作以及"放下"动作间，相关的零件配置操作应在10秒内完成，则处理器21针对连续发生的"拾起"动作以及"放下"动作的二视频片段，判断时间差是否超过10秒。若是，则标注此二动作类型及相应的二视频片段，并将此二视频片段相应的动作类型、发生时间以及发生周期记录于记录档中。如此一来，使用者便可利用记录档，有效率地于视频812中调出被标注的二视频片段，并进一步理解相应的二动作类型的发生时间的时间差超过10秒的原因，以快速地排除造成延迟的因素。
请参考图2C，其是本发明的一些实施例的影像撷取装置81所撷取的画面的示意图。在一些实施例中，由于影像撷取装置81所撷取的影像或视频范围较大，因此，处理器21利用影像辨识模型232处理影像或视频时，将花费较多的硬件资源以及时间。
惟影像撷取装置81所撷取的影像或视频并非全部需要被监视，因此，可针对所撷取的影像或视频，定义需要监视的较小范围的区域，而处理器21仅需针对较小范围的区域，利用影像辨识模型232进行影像或视频的处理，如此，便可大幅加快处理速度。
请参考图2D，其是本发明的一些实施例的影像撷取装置81所撷取的画面的另一示意图。具体而言，使用者可以透过输入装置25输入使用者设定，用以于影像撷取装置81所撷取的影像范围上定义监视区域80A，而处理器21仅需针对监视区域80A的影像或视频，利用影像辨识模型232进行处理。如此一来，由于监视区域80A的影像或视频尺寸较小，因此，便可大幅可加快监视系统2的处理速度。
在一些实施例中，当生产线机台82现场的环境发生变动时(例如：影像撷取装置81角度被调整、操作员配置变动、操作员位置变动等等)，可能造成原本欲监测的范围偏离监视区域80A，并导致影像辨识模型232转换误差提升。此时，使用者可直接调整监视区域80A的位置，以降低生产线机台82现场的环境变动带来的偏差。
请参考图2E，其是本发明的一些实施例的影像撷取装置81所撷取的画面的另一示意图。具体而言，由于生产线机台82现场的环境发生变动，使得监视区域80A内的影像或视频并非需要监视的内容，因此，可能导致影像辨识模型232的转换误差提升。
请参考图2F，其是本发明的一些实施例的影像撷取装置81所撷取的画面的另一示意图。具体而言，使用者可以透过输入装置25输入另一使用者设定，用以于影像撷取装置81所撷取的影像范围上移动监视区域80A，使需要监视的区域恢复正常。
在一些实施例中，影像撷取装置81所撷取的画面，可先传送至监视系统2。随后，监视系统2可透过一般显示器(未绘示)显示此些画面，并透过如键盘或滑鼠的输入装置25接收使用者设定，俾利监视系统2完成相关操作。
在一些实施例中，影像撷取装置81所撷取的画面，可先传送至监视系统2。随后，监视系统2可透过网络将画面传送至远端显示器(例如：手持智慧装置、笔记型电脑等)此些画面，并透过如网络介面的输入装置25接收使用者设定，俾利监视系统2完成相关操作。
请参考图3A，其是本发明的一些实施例的监视系统3的方块图。监视系统3包括处理器31、储存单元33以及输入装置35。储存单元33储存程序330、影像辨识模型332A、影像辨识模型332B以及训练资料334A、334B。其中，影像辨识模型332A、332B可以包含机器学习技术相关的模型，用于判断视频资料(即影像序列资料)中操作者的动作类型或物品的数量变化。
处理器31、储存单元33以及输入装置35经由通信总线37电性连接。透过通信总线37，处理器31可执行储存于储存单元33中的程序330。程序330执行时可以产生一或多个中断，例如：软件中断，以使处理器31执行具有生产线监视功能的程序330。下文将进一步描述程序330的功能。
在一些实施例中，影像辨识模型332A主要是根据机器学习演算法，利用多个训练资料334A产生的机器学习模型。详言之，一些视频资料以及此些视频资料所实际对应的动作类型可做为训练资料，用以基于机器学习演算法训练影像辨识模型332A(亦即产生影像辨识模型332A)。
更详细来说，每一训练资料334A可以包括：(1)视频资料；及(2)与此视频资料相对应的动作类型，而程序330执行时，使处理器31自储存单元33中撷取训练资料334A，并利用机器学习演算法，根据多个训练资料334A训练影像辨识模型332A。
换句话说，多个训练资料334A的视频资料可以在训练阶段期间用作训练输入资料，多个训练资料334A的动作类型可以在训练阶段期间用作训练输出资料。在处理器31产生影像辨识模型332A之后，可将影像辨识模型332A储存于储存单元33中以待后续使用。
在一些实施例中，多个训练资料334A中，用作训练输入资料的视频资料，包含操作员的动作的影像资料。而与视频资料相对应的动作类型可以用作训练输出资料。接着，可以执行CNN演算法的程序码以训练影像辨识模型332A。在基于CNN演算法并利用训练资料产生影像辨识模型332A之后，影像辨识模型332A可以用于判断输入视频所对应的动作类型。
在一些实施例中，影像辨识模型332B主要是根据机器学习演算法，利用多个训练资料334B产生的机器学习模型。详言之，一些视频资料以及此些视频资料所实际对应的物件数量变化可做为训练资料，用以基于机器学习演算法训练影像辨识模型332B(亦即产生影像辨识模型332B)。
更详细来说，每一训练资料334B可以包括：(1)视频资料；及(2)与此视频资料相对应的物件数量变化(例如：增加或减少)，而程序330执行时，使处理器31自储存单元33中撷取训练资料334B，并利用机器学习演算法，根据多个训练资料334B训练影像辨识模型332B。
换句话说，多个训练资料334B的视频资料可以在训练阶段期间用作训练输入资料，多个训练资料334B的物件数量变化可以在训练阶段期间用作训练输出资料。在处理器31产生影像辨识模型332B之后，可将影像辨识模型332B储存于储存单元33中以待后续使用。
在一些实施例中，多个训练资料334B中，用作训练输入资料的视频资料，包含物件数量变动的影像资料。而与视频资料相对应的物件数量变化可以用作训练输出资料。接着，可以执行CNN演算法的程序码以训练影像辨识模型332B。在基于CNN演算法并利用训练资料产生影像辨识模型332B之后，影像辨识模型332B可以用于判断输入视频所对应的物件数量变化。
更详细来说，视频资料纪录特定物件(例如：产品零组件)的数量变化，而特定物件的数量变化可代表不同的动作行为。举例而言，当特定物件的数量在此视频资料中发生减少的变化时，代表操作员的动作是"拾起"特定物件的机率较高。当特定物件的数量在此视频资料中发生增加的变化时，代表操作员的动作是"放下"特定物件的机率较高。据此，利用影像资料中特定物件的数量变化，可协助提升动作类型判断结果的准确率。
请参考图3B，其是本发明的一些实施例的监视系统3的使用示意图。详言之，当生产线机台72的操作需要被监视及分析时，可将影像撷取装置71装设于生产线机台72所在的环境，用以撷取与生产线机台72相关的视频。其中，监视系统3可透过网络连线(有线网络或无线网络)与影像撷取装置71连线。
在一些实施例中，当操作者73于生产线机台72上进行操作时，影像撷取装置71可针对生产线机台72的位置，即时撷取操作者73的视频710(例如：视频串流)，并透过网络将视频710传送至监视系统3。换言之，监视系统3可透过网络自影像撷取装置71获取操作者73的视频710。其中，视频710包含多个视频片段。
接着，使用者可以透过输入装置35输入使用者设定，用以于影像撷取装置71所撷取的影像范围上定义监视区域70A以及70B，而处理器31仅需针对监视区域70A以及70B的影像或视频，利用影像辨识模型332A、332B进行处理。
随后，利用前述储存于储存单元33的影像辨识模型332A，监视系统3的处理器31可判断视频710的每一视频片段中，监视区域70A以及70B的动作类型。其中，由于每一视频片段带有时间戳记的相关信息，因此，处理器31可判断各视频片段的撷取时间，并进一步地决定各视频片段中，监视区域70A以及70B所代表的动作类型的发生时间以及动作周期。处理器31可将动作类型以及动作周期记录于储存单元33，俾利后续使用。
在一些实施例中，针对每一视频片段的监视区域70A以及70B，监视系统3的处理器31可进一步利用影像辨识模型332B判断物件数量的变化，并据以更新操作者73的动作类型。请参考图3C至图3D，其是本发明的一些实施例的影像撷取装置71所撷取的画面的示意图。举例而言，针对特定视频片段的监视区域70A，监视系统3的处理器31可先利用影像辨识模型332A判断动作类型为"拾起"。
接着，针对此特定视频片段的监视区域70A，监视系统3的处理器31可进一步利用影像辨识模型332B判断视频片段中物件74数量减少。据此，由于监视区域70A中，特定视频片段的动作类型为"拾起"，且物件74数量的减少确实为"拾起"导致，因此，可将特定动作类型准确地确认为"拾起"。
需说明，针对特定视频片段的监视区域70A，当监视系统3的处理器31利用影像辨识模型332A判断动作类型为"放下"，惟利用影像辨识模型332B判断视频片段中物件74数量减少时，表示影像辨识模型332A的判断可能有误。据此，基于利用影像辨识模型332B判断视频片段中物件74数量减少，监视系统3的处理器31可将相应特定视频片段的动作类型由"放下"更新为"拾起"。
请参考图3E至图3F，其是本发明的一些实施例的影像撷取装置71所撷取的画面的示意图。举例而言，针对特定视频片段的监视区域70B，监视系统3的处理器31可先利用影像辨识模型332A判断动作类型为"放下"。
接着，针对此特定视频片段的监视区域70B，监视系统3的处理器31可进一步利用影像辨识模型332B判断视频片段中物件74数量增加。据此，由于监视区域70B中，特定视频片段的动作类型为"放下"，且物件74数量的增加确实为"放下"导致，因此，可将特定动作类型准确地确认为"放下"。
同样地，针对特定视频片段的监视区域70B，当监视系统3的处理器31利用影像辨识模型332A判断动作类型为"拾起"，惟利用影像辨识模型332B判断视频片段中物件74数量增加时，表示影像辨识模型332A的判断可能有误。据此，基于利用影像辨识模型332B判断视频片段中物件74数量增加，监视系统3的处理器31可将相应特定视频片段的动作类型由"拾起"更新为"放下"。
需特别说明，前述实施例中，处理器使用影像辨识模型判断影像或视频资料的动作类型时，主要可先利用影像辨识模型辨识并追踪操作者的手部，并进一步透过操作者的手部的动作，判断影像或视频的操作者的动作类型。
本发明的一些实施例包含生产线监视方法，其流程图如图4A至4B所示。这些实施例的生产线监视方法由一监视系统(如前述实施例的监视系统)实施。方法的详细操作如下。
首先，由监视系统执行步骤S401，获取操作者的多个影像。其中，监视系统可由设置于生产线机台的影像撷取装置获取操作者的多个影像。由监视系统执行步骤S402，基于影像辨识模型，判断多个影像的操作者的动作类型。其中，影像辨识模型可以包含机器学习技术相关的模型，用于接收影像资料并输出影像中操作者的动作类型。
接着，由于多个影像可带有时间戳记的相关信息，因此，监视系统执行步骤S403，根据多个影像的操作者的动作类型，决定动作类型的发生时间及动作周期。由监视系统执行步骤S404，记录动作类型、发生时间及动作周期，俾利后续使用。
在一些实施例中，于步骤S402后，为了增加判断准确度，监视系统可执行步骤S402’，基于另一影像辨识模型，根据多个影像的物件数量变化更新动作类型。
本发明的一些实施例包含生产线监视方法，其流程图如图5A至5F所示。这些实施例的生产线监视方法由一监视系统(如前述实施例的监视系统)实施。方法的详细操作如下。
在一些实施例中，生产线监视方法须提供包含机器学习技术相关的影像辨识模型，用于接收影像资料并输出影像中操作者的动作类型，因此，需先利用训练资料训练并产生影像辨识模型。
请参考图5A，其是本发明的一些实施例的生产线监视方法的影像辨识模型产生的流程图。由监视系统执行步骤S501，基于机器学习演算法，利用多个训练资料产生影像辨识模型。其中，每一训练资料包含训练输入及训练输出。训练输入包含训练视频片段，训练输出包含与训练视频片段相对应的训练动作类型。由监视系统执行步骤S502，储存影像辨识模型，俾利后续使用。
在一些实施例中，为了增加影像辨识模型的准确度，可利用生产机台现场摄得的视频作为反馈调整影像辨识模型。请参考图5B，其是本发明的一些实施例的生产线监视方法的影像辨识模型更新的流程图。由监视系统执行步骤S503，获取视频。其中，监视系统可由设置于生产线机台的影像撷取装置获取操作者的视频，且视频包含多个视频片段。
由监视系统执行步骤S504，基于前述产生的影像辨识模型，判断各视频片段的操作者的动作类型。由监视系统执行步骤S505，使用者提供视频片段以及相应的动作类型向，俾利使用者判断是否有影像辨识模型的转换偏误。
当使用者判断有影像辨识模型的转换偏误，导致特定视频片段与其相应的动作类型不符，使用者便可针对特定视频片段及其相应的动作类型进行变更。由监视系统执行步骤S506，接收使用者设定以变更此视频片段的动作类型。
针对所有视频片段判断完毕后，由监视系统执行步骤S507，根据特定视频片段及变更后的动作类型调整影像辨识模型。详言之，监视系统根据原有的训练资料、特定视频片段、相应于特定视频片段的动作类型以及机器学习演算法产生影像辨识模型。
如此一来，由于影像辨识模型重新进行的训练具有针对生产线机台以及操作者的相关信息(即特定视频片段及相应于此特定视频片段的动作类型)，则更新后的影像辨识模型应用于生产线机台的判断时将有更高的准确度。
在一些实施例中，可基于更新后的影像辨识模型监视生产线机台状态。请参考图5C，其是本发明的一些实施例的生产线监视方法的流程图。由监视系统执行步骤S508，获取生产线机台的操作者的视频。其中，视频包含多个视频片段。由监视系统执行步骤S509，基于影像辨识模型，判断各视频片段的操作者的动作类型。
接着，由于多个视频片段可带有时间戳记的相关信息，因此，监视系统执行步骤S510，根据各视频片段的操作者的动作类型，决定动作类型的发生时间及动作周期。由监视系统执行步骤S511，记录动作类型、发生时间及动作周期，俾利后续使用。
在一些实施例中，监视系统可判断视频的动作是否发生延迟。请参考图5D，其是本发明的一些实施例的生产线监视方法的流程图。由监视系统执行步骤S512，针对各视频片段的操作者的动作类型，判断动作周期是否超过周期门槛值。若是，监视系统执行步骤S513，标注此动作类型及相应的视频片段，并将此视频片段相应的动作类型、发生时间以及发生周期记录于记录档中，俾利使用者利用记录档有效率地于视频中调出被标注的视频片段。若否，监视系统重复执行步骤S512，针对下一视频片段的操作者的动作类型，判断动作周期是否超过周期门槛值。
在一些实施例中，监视系统可判断视频的动作与动作间是否发生延迟。请参考图5E，其是本发明的一些实施例的生产线监视方法的流程图。由监视系统执行步骤S514，计算二视频片段的动作类型的发生时间的时间差。由监视系统执行步骤S515，判断时间差是否超过时间门槛值。若是，监视系统执行步骤S516，标注此动作类型及相应的二视频片段，并将此二视频片段相应的动作类型、发生时间以及发生周期记录于记录档中，俾利使用者利用记录档有效率地于视频中调出被标注的视频片段。若否，监视系统重复执行步骤S514，针对下一对视频片段计算相应动作类型的发生时间的时间差，判断动作周期是否超过周期门槛值。
在一些实施例中，可选择性地增加以下步骤，以加速影像处理的速度及效率。请参考图5F，其是本发明的一些实施例的生产线监视方法的流程图。由监视系统执行步骤S517，接收使用者设定，用以于所需撷取的视频上定义监视区域。换句话说，使用者设定是用以于影像撷取装置所撷取的影像范围上定义监视区域。其中，由于监视区域的影像或视频尺寸较小，因此，可大幅可加快监视系统的处理速度。
在一些实施例中，可选择性地增加以下步骤，以降低生产线机台现场的环境变动带来的偏差。请参考图5G，其是本发明的一些实施例的生产线监视方法的流程图。由监视系统执行步骤S518，接收使用者设定，用以移动监视区域。换句话说，使用者设定是用以于影像撷取装置所撷取的影像范围上移动监视区域。
前述本发明的监视系统及生产线监视方法，可透过自动化及人工智慧的方式，更快速且精确地找出造成生产线上失误或延迟的因素，进而提升生产线输出的效率，并有效地改善生产线输出的瓶颈。
应当特别理解，上述实施例中提到的处理器可以是中央处理单元(CPU)、能够执行相关指令的其他硬件电路元件或者熟习此项技术者基于上文揭示内容熟知的计算电路的组合。此外，上述实施例中提到的储存单元可以包括用于储存资料的记忆体(诸如ROM、RAM等)或储存装置(诸如快闪记忆体、HDD、SSD等)。
进一步地，上述实施例中提到的通信总线可以包括用于在诸如处理器、储存单元、输入装置等元件之间传输资料的通信介面，并且可以包括电总线介面、光学总线介面或者甚至无线总线介面。然而，此类描述并不意欲限制本发明的硬件实施方案实施例。
尽管已经对本发明及其优点进行详细说明，但是应当理解的是，在不背离由所附申请专利范围定义的本发明的精神及范畴的前提下，本文可以作出各种改变、替换及替代。例如，上文所讨论的许多制程可以以不同的方法实施，并且由其他制程或其组合代替。
此外，本申请的范畴并不意欲限于本说明书中描述的制程、机器、制造、物质组合物、构件、方法及步骤的具体实施例。如一般熟习此项技术者将自本发明的揭示内容容易地理解，可以根据本发明利用执行与本文所述的对应实施例中的功能基本上相同的功能或实现与本文所述的对应实施例中的结果基本上相同的结果的当前存在或随后待开发的制程、机器、制造、物质组合物、构件、方法或步骤。因此，所附申请专利范围意欲在其范畴内包括此类制程、机器、制造、物质组合物、构件、方法或步骤。
符号说明：
1:监视系统
11:处理器
13:储存单元
130:程序
132:影像辨识模型
17:通信总线
2:监视系统
21:处理器
23:储存单元
230:程序
232:影像辨识模型
234:训练资料
25:输入装置
27:通信总线
3:监视系统
31:处理器
33:储存单元
330:程序
332A:影像辨识模型
332B:影像辨识模型
334:训练资料
35:输入装置
37:通信总线
70A:监视区域
70B:监视区域
71:影像撷取装置
710:视频
72:生产线机台
73:操作者
74:物件
80A:监视区域
81:影像撷取装置
810:视频
812:视频
82:生产线机台
83:操作者
91:影像撷取装置
910:影像
92:生产线机台
93:操作者
S401-S404:步骤
S501-S518:步骤

Claims (20)

1.一种用于监视系统的生产线监视方法，包含：
获取一操作者的多个影像；
基于一影像辨识模型，判断所述这些影像的该操作者的一动作类型；
决定该动作类型的一发生时间及一动作周期；以及
记录该动作类型、该发生时间及该动作周期。
2.如权利要求1的生产线监视方法，进一步包含：
判断该动作周期是否超过一周期门槛值；
当该动作周期超过该周期门槛值，标记该动作类型。
3.如权利要求1的生产线监视方法，进一步包含：
计算该动作类型的该发生时间与另一动作类型的发生时间的一时间差；
判断该时间差是否超过一时间门槛值；
当该时间差超过该时间门槛值，标记该动作类型以及该另一动作类型。
4.如权利要求1的生产线监视方法，进一步包含：
接收一使用者设定，用以在所述这些影像上定义一监视区域；
其中，基于该影像辨识模型判断所述这些影像的该操作者的该动作类型的步骤更包含：
基于该影像辨识模型，判断所述这些影像的该监视区域内的该动作类型。
5.如权利要求4的生产线监视方法，更包含：
接收另一使用者设定，用以移动所述这些影像上定义的该监视区域。
6.如权利要求4的生产线监视方法，其中，所述这些影像具有一影像尺寸，该监视区域具有一区域尺寸，该监视区域尺寸系小于该影像尺寸。
7.如权利要求1的生产线监视方法，进一步包含：
基于该影像辨识模型，辨识所述这些影像的该操作者的至少一手部，并判断该操作者的该至少一手部的该动作类型。
8.如权利要求1的生产线监视方法，进一步包含：
基于一机器学习(Machine Learning)演算法，利用多个训练资料产生该影像辨识模型，其中每一训练资料包含一训练输入及一训练输出，该训练输入包含多个训练影像，该训练输出包含与所述这些训练影像相对应的一训练动作类型。
9.如权利要求1的生产线监视方法，进一步包含：
基于另一影像辨识模型，根据所述这些影像的一物件数量变化更新所述这些影像的该操作者的该动作类型。
10.一种用于监视系统的生产线监视方法，包含：
获取一视频，其中，该视频包含多个视频片段；
基于一影像辨识模型，判断各该视频片段的一动作类型；
接收一使用者设定以变更所述这些视频片段的一第一视频片段的该动作类型；以及
根据该第一视频片段的该动作类型调整该影像辨识模型。
11.如权利要求10的生产线监视方法，进一步包含：
利用多个训练资料以及一机器学习(Machine Learning)演算法产生该影像辨识模型，其中，每一训练资料包含一训练输入及一训练输出，该训练输入包含一训练视频片段，该训练输出包含与该训练视频片段相对应的一训练动作类型。
12.如权利要求11的生产线监视方法，其中，根据该第一视频片段的该动作类型调整该影像辨识模型的步骤进一步包含：
利用所述这些训练资料、该第一视频片段、相应于该第一视频片段的该动作类型以及该机器学习演算法产生该影像辨识模型。
13.一种用于生产线监视的监视系统，包含：
一处理器；以及
一储存单元，储存一程序以及一影像辨识模型，该程序执行时使该处理器：
获取一操作者的多个影像；
基于该影像辨识模型，判断所述这些影像的该操作者的一动作类型；
决定该动作类型的一发生时间及一动作周期；以及
记录该动作类型、该发生时间及该动作周期。
14.如权利要求13的监视系统，其中，该程序被执行时进一步使该处理器：
判断该动作周期是否超过一周期门槛值；
当该动作周期超过该周期门槛值，标记该动作类型。
15.如权利要求13的监视系统，其中，该程序被执行时进一步使该处理器：
计算该动作类型的该发生时间与另一动作类型的发生时间的一时间差；
判断该时间差是否超过一时间门槛值；
当该时间差超过该该时间门槛值，标记该动作类型以及该另一动作类型。
16.如权利要求13的监视系统，更包含：
一输入装置，用以接收一使用者设定；
其中，该程序被执行时进一步使该处理器：
根据该使用者设定在所述这些影像上定义一监视区域；
基于该影像辨识模型，判断所述这些影像的该监视区域内的该动作类型。
17.如权利要求16的监视系统，其中，该输入装置更用以接收另一使用者设定，该程序被执行时进一步使该处理器：
根据该另一使用者设定移动所述这些影像上定义的该监视区域。
18.如权利要求13的监视系统，其中，该程序被执行时进一步使该处理器：
基于一机器学习(Machine Learning)演算法，利用多个训练资料产生该影像辨识模型，其中每一训练资料包含一训练输入及一训练输出，该训练输入包含多个训练影像，该训练输出包含与所述这些训练影像相对应的一训练动作类型。
19.如权利要求18的监视系统，进一步包含：
一输入装置，用以接收一使用者设定；
其中，该程序被执行时进一步使该处理器：
根据该使用者设定变更所述这些影像的该操作者的该动作类型；
根据所述这些影像的该操作者的该动作类型调整该影像辨识模型。
20.如权利要求18的监视系统，其中，该程序被执行时进一步使该处理器：
基于该机器学习演算法，利用所述这些训练资料、所述这些影像以及相应于所述这些影像的该操作者的该动作类型产生该影像辨识模型。
CN202011221185.0A 2020-11-05 2020-11-05 生产线监视方法及其监视系统 Pending CN114519841A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011221185.0A CN114519841A (zh) 2020-11-05 2020-11-05 生产线监视方法及其监视系统
US17/238,162 US11790538B2 (en) 2020-11-05 2021-04-22 Production line monitoring method and monitoring system thereof
JP2021161311A JP7302769B2 (ja) 2020-11-05 2021-09-30 生産ライン監視方法および生産ライン監視システム
US18/462,441 US12020444B2 (en) 2020-11-05 2023-09-07 Production line monitoring method and monitoring system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011221185.0A CN114519841A (zh) 2020-11-05 2020-11-05 生产线监视方法及其监视系统

Publications (1)

Publication Number Publication Date
CN114519841A true CN114519841A (zh) 2022-05-20

Family

ID=81379088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011221185.0A Pending CN114519841A (zh) 2020-11-05 2020-11-05 生产线监视方法及其监视系统

Country Status (3)

Country Link
US (2) US11790538B2 (zh)
JP (1) JP7302769B2 (zh)
CN (1) CN114519841A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629726B (zh) * 2023-05-31 2023-11-17 常州润来科技有限公司 一种精密铜管包装车间的环境监测管理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194559A (zh) * 2017-05-12 2017-09-22 杭州电子科技大学 一种基于三维卷积神经网络的工作流识别方法
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
JP2019075009A (ja) * 2017-10-18 2019-05-16 パナソニックＩｐマネジメント株式会社 作業支援システム、厨房支援システム、作業支援方法、及びプログラム
CN110321852A (zh) * 2019-07-05 2019-10-11 名创优品（横琴）企业管理有限公司 一种动作类型识别方法、装置、存储介质及计算机设备
US20190384989A1 (en) * 2018-06-19 2019-12-19 Toshiba Tec Kabushiki Kaisha Image processing apparatus
CN111222428A (zh) * 2019-12-27 2020-06-02 北京容联易通信息技术有限公司 一种基于监控视频的器件紧固操作的检测方法
CN111507261A (zh) * 2020-04-17 2020-08-07 无锡雪浪数制科技有限公司 一种基于视觉目标定位的工序操作质量监控方法
CN111565293A (zh) * 2019-02-14 2020-08-21 电装波动株式会社 分析作业人员的手工作业的状态的装置与方法以及程序
WO2020176908A1 (en) * 2019-02-28 2020-09-03 Nanotronics Imaging, Inc. Assembly error correction for assembly lines

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS602796B2 (ja) 1981-12-04 1985-01-23 横河電機株式会社 薄膜ｒｆスクイド
JP2005242418A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 作業評価装置、作業評価方法をコンピュータに実現させる作業評価プログラムおよび当該作業評価プログラムを記憶した記憶媒体
EP2030171A1 (en) * 2006-04-10 2009-03-04 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
JP5686108B2 (ja) * 2012-02-24 2015-03-18 株式会社ダイフク 誤作業防止装置および誤作業防止装置が設けられた仕分け設備
CN103473530B (zh) 2013-08-30 2016-06-15 天津理工大学 基于多视图和多模态特征的自适应动作识别方法
AU2015222869B2 (en) * 2014-02-28 2019-07-11 Genius Sports Ss, Llc System and method for performing spatio-temporal analysis of sporting events
JP6524619B2 (ja) 2014-08-18 2019-06-05 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
JP6002796B1 (ja) 2015-03-30 2016-10-05 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
US20220375056A1 (en) * 2016-01-15 2022-11-24 Instrumental, Inc. Method for predicting defects in assembly units
CA2959844C (en) * 2016-03-01 2024-05-28 Vab Solutions Inc. Tracking system and methods for tracking wood products in a production line
JP2019101919A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラムおよび記憶媒体
US10769422B2 (en) * 2018-09-19 2020-09-08 Indus.Ai Inc Neural network-based recognition of trade workers present on industrial sites
JP7087882B2 (ja) * 2018-09-26 2022-06-21 オムロン株式会社 品質予測装置、品質予測方法、及び品質予測プログラム
KR20200073588A (ko) * 2018-12-14 2020-06-24 강준걸 작업자 동작인식을 이용한 생산라인 모니터링 시스템 및 이를 이용하여 생산라인을 모니터링하는 방법
JP7263074B2 (ja) 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
EP3783545A1 (en) * 2019-08-19 2021-02-24 Siemens Aktiengesellschaft System and method for automatically capturing technology transfer knowledge
US10769718B1 (en) * 2020-02-19 2020-09-08 Nicom Living LLC Method, medium, and system for live preview via machine learning models
JP7471878B2 (ja) * 2020-03-18 2024-04-22 東芝テック株式会社 映像処理装置
JP7443114B2 (ja) * 2020-03-25 2024-03-05 東芝テック株式会社 作業監視システム
US20220392055A1 (en) * 2021-06-07 2022-12-08 Elementary Robotics, Inc. Machine-Learning Based Continuous Camera Image Triggering for Quality Assurance Inspection Processes

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194559A (zh) * 2017-05-12 2017-09-22 杭州电子科技大学 一种基于三维卷积神经网络的工作流识别方法
JP2019075009A (ja) * 2017-10-18 2019-05-16 パナソニックＩｐマネジメント株式会社 作業支援システム、厨房支援システム、作業支援方法、及びプログラム
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统
US20190384989A1 (en) * 2018-06-19 2019-12-19 Toshiba Tec Kabushiki Kaisha Image processing apparatus
CN111565293A (zh) * 2019-02-14 2020-08-21 电装波动株式会社 分析作业人员的手工作业的状态的装置与方法以及程序
WO2020176908A1 (en) * 2019-02-28 2020-09-03 Nanotronics Imaging, Inc. Assembly error correction for assembly lines
CN110321852A (zh) * 2019-07-05 2019-10-11 名创优品（横琴）企业管理有限公司 一种动作类型识别方法、装置、存储介质及计算机设备
CN111222428A (zh) * 2019-12-27 2020-06-02 北京容联易通信息技术有限公司 一种基于监控视频的器件紧固操作的检测方法
CN111507261A (zh) * 2020-04-17 2020-08-07 无锡雪浪数制科技有限公司 一种基于视觉目标定位的工序操作质量监控方法

Also Published As

Publication number Publication date
US20220138963A1 (en) 2022-05-05
US20230419509A1 (en) 2023-12-28
US12020444B2 (en) 2024-06-25
JP2022075518A (ja) 2022-05-18
JP7302769B2 (ja) 2023-07-04
US11790538B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
EP3800588B1 (en) System and method using knowledge distillation for training a machine learning classifier
CN109086873B (zh) 递归神经网络的训练方法、识别方法、装置及处理设备
US20160253618A1 (en) Method and apparatus for work quality control
JP2008538832A (ja) 歩行者の追跡による、ビデオ系列からの３次元道路配置の推定
JP6809891B2 (ja) 画像処理システム及び画像処理方法
JP6805199B2 (ja) 設備監視システム
JP2023145545A (ja) 製造プロセスのためのシステム、方法、および媒体
JP6715282B2 (ja) 品質監視システム
JP7103530B2 (ja) 映像分析方法、映像分析システム及び情報処理装置
JP6703279B2 (ja) 異常検知装置、異常検知方法、及び異常検知プログラム
CN114418073B (zh) 脉冲神经网络训练方法、存储介质、芯片及电子产品
US12020444B2 (en) Production line monitoring method and monitoring system thereof
JP2018010368A (ja) 工程判断装置及び工程判断方法
US11982992B2 (en) Task and cycle time detection method and system
JP7104611B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN106922194B (zh) 异常检测装置以及异常检测方法
JP2016005263A (ja) 複数の撮影画像からパノラマ画像を生成する画像生成システム、端末、プログラム及び方法
CN110798681B (zh) 成像设备的监测方法、装置和计算机设备
TWI839583B (zh) 生產線監視方法及其監視系統
US11763484B2 (en) Location estimation system and location estimation method
CN115424127A (zh) 器件安装检测方法、装置和计算机设备和存储介质
KR102097354B1 (ko) 자동화 시스템의 모니터링 장치
CN115665369B (zh) 视频处理方法、装置、电子设备和存储介质
WO2023132131A1 (ja) 検査装置、検査方法およびプログラム
JP7401747B2 (ja) 類別プログラム、類別装置及び類別方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination