CN111105109A - 操作检测装置、操作检测方法及操作检测系统 - Google Patents

操作检测装置、操作检测方法及操作检测系统 Download PDF

Info

Publication number
CN111105109A
CN111105109A CN201811249823.2A CN201811249823A CN111105109A CN 111105109 A CN111105109 A CN 111105109A CN 201811249823 A CN201811249823 A CN 201811249823A CN 111105109 A CN111105109 A CN 111105109A
Authority
CN
China
Prior art keywords
detection
unit
event
object information
image input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811249823.2A
Other languages
English (en)
Inventor
吴勇明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dainengben Co Ltd
Dynabook Inc
Original Assignee
Dainengben Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainengben Co Ltd filed Critical Dainengben Co Ltd
Priority to CN201811249823.2A priority Critical patent/CN111105109A/zh
Priority to JP2019118627A priority patent/JP6828093B2/ja
Publication of CN111105109A publication Critical patent/CN111105109A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供操作检测装置、操作检测方法及操作检测系统，该操作检测装置的特征在于，具有：对象检测模型获取部，获取基于多幅训练图像的对象检测模型；对象信息获取部，根据多幅训练图像和由上述对象检测模型获取部所获取的对象检测模型，获取对象信息；检测图像输入部，输入用于检测操作的检测图像；以及操作检测部，根据由上述对象信息获取部所获取的对象信息和由上述检测图像输入部所输入的检测图像，检测出操作。

Description

操作检测装置、操作检测方法及操作检测系统
技术领域
本发明涉及一种操作检测装置、操作检测方法及操作检测系统，尤其涉及一种对生产线上的操作员的操作进行检测的操作检测装置、操作检测方法及操作检测系统。
背景技术
目前，各行各业中，广泛应用各种产品的制造生产或装配生产的生产线。在每一条生产线上，每一个生产单位只专注处理某一个片段的工作，以提高工作效率及产量。通常，可根据工厂需求、产品的复杂度以及制造或装配的复杂度等，在生产线上布置多个工位，每一个工位上的操作员都人工地重复进行与其他操作员不同的操作，在一个工位完成操作之后流到下一个工位进行操作，最后完成制造/装配。
因此，整条生产线上的每一个工位上的操作员的操作，直接关系到产品的质量和整条生产线的效率。为了保证产品的质量和整条生产线的效率，通常会综合考虑各种因素来为整条生产线上的每一个工位设定相应的操作工序，并配备相应的操作规范，操作规范通常包括操作工序所包括的多个动作和基准时间。但实际上，由于是人工操作且操作环境存在不稳定因素，对于每一个操作员而言，一方面难以保证重复的多次操作都相同，另一方面也难以确保重复的多次操作的每次操作都严格符合操作规范。而且各个操作员之间也存在着技能差异。因此这种不能保证重复性、相对于操作规范的偏差和技能差异，不仅可能会引发产品的缺陷等质量问题，而且还可能会影响整个生产线的生产线平衡。生产线平衡作为对各个工位的操作平均化、调整操作负荷，以使各操作时间尽可能相近的技术手段与方法，它的好坏直接关系到生产线的生产效率和产品质量。
为此，需要对生产线上的每个工位的操作员的操作情况进行掌握，进而获取生产线平衡信息。目前，为了掌握生产线上的每个工位的操作情况，主要由IE工程师(也称为工业工程师)人工利用秒表对每一个工位计测工时来进行。这种方法可以通过人工直观地观察到工位上的操作员是否进行的操作，可以记录工位上的操作员完成包括多个动作的操作的开始时间、结束时间等信息。
但是由IE工程师人工记录来把握生产线上的操作状况的方法，存在如下问题点：依靠人眼观察及手动操作，因而记录数据不够精准；记录到的数据有限；IE工程师进行计测时可能会对工位上的操作员心理造成影响从而此时进行的操作不能反映平时的操作；生产线平衡需要在IE工程师完成测量后经分析处理才能获得因而无法实施监测生产线；由于IE工程师记录的时间有限因而对于生产线上的异常操作或错误操作，不一定记录下来，从而出现产品缺陷时难以确定缺陷原因，难以及时有效地纠正造成产品缺陷的原因。
因此，迫切需要一种不依赖人工来检测并掌握生成线上的操作员的操作的操作检测装置、操作检测方法及操作检测系统。
发明内容
本发明是为了解决上述现有技术中存在的问题而做出的，目的在于提供一种操作检测装置、操作检测方法及操作检测系统，不依赖于人工、能够精确、实时地检测生产线上的各操作员的操作，能够准确地检测生产线上的各操作员的操作时间信息以调整生产线平衡，能够不遗漏地检测操作异常以预测或检测产品缺陷，能够追踪生产线上操作员的操作，利于对操作员的操作进行分析评价以改进生产线。
为了达成上述目的，本发明提供的操作检测装置，其特征在于，具有：对象检测模型获取部，获取基于多幅训练图像的对象检测模型；对象信息获取部，根据多幅训练图像和由上述对象检测模型获取部所获取的对象检测模型，获取对象信息；检测图像输入部，输入用于检测操作的检测图像；以及操作检测部，根据由上述对象信息获取部所获取的对象信息和由上述检测图像输入部所输入的检测图像，检测出操作。
另外，本发明提供的操作检测装置，其特征在于，上述操作检测部具备：事件生成单元，根据由上述对象信息获取部所获取的对象信息，生成事件；操作模式生成单元，根据由上述事件生成单元所生成的事件，生成操作模式；以及操作检测单元，根据由上述检测图像输入部所输入的检测图像和由上述操作模式生成单元所生成的操作模式，检测出操作。
另外，本发明提供的操作检测装置，其特征在于，上述操作检测部具备：事件生成单元，根据由上述对象信息获取部所获取的对象信息，生成事件；动作模式生成单元，根据由上述事件生成单元所生成的事件，生成动作模式；操作模式生成单元，根据由上述动作模式生成单元所生成的动作模式，生成操作模式；以及操作检测单元，根据由上述检测图像输入部所输入的检测图像和由上述操作模式生成单元所生成的操作模式，检测出操作。
另外，本发明提供的操作检测装置，其特征在于，上述操作检测部具备：事件生成单元，根据由上述对象信息获取部所获取的对象信息，生成事件；动作模式生成单元，根据由上述事件生成单元所生成的事件，生成动作模式；操作模式生成单元，根据由上述事件生成单元所生成的事件和由上述动作模式生成单元所生成的动作模式，生成操作模式；以及操作检测单元，根据由上述检测图像输入部所输入的检测图像和由上述操作模式生成单元所生成的操作模式，检测出操作。
另外，本发明提供的操作检测装置，其特征在于，还具备：操作时间检测部，根据所检测出的操作，检测操作的开始时间和结束时间。
另外，本发明提供的操作检测装置，其特征在于，上述对象信息至少包括对象名称、对象类别和对象位置。
另外，本发明提供的操作检测装置，其特征在于，上述检测图像为动态图像。
另外，本发明提供的操作检测方法，其特征在于，包括：对象检测模型获取步骤，获取基于多幅训练图像的对象检测模型；对象信息获取步骤，根据多幅训练图像和由上述对象检测模型获取步骤所获取的对象检测模型，获取对象信息；检测图像输入步骤，输入用于检测操作的检测图像；以及操作检测步骤，根据由上述对象信息获取步骤所获取的对象信息和由上述检测图像输入步骤所输入的检测图像，检测出操作。
另外，本发明提供的操作检测系统，其特征在于，具有：训练图像获取装置，获取拍摄有对象的多幅训练图像；对象检测模型生成装置，根据上述训练图像获取装置所获取的多幅训练图像，生成对象检测模型；以及如上所述的操作检测装置。
发明的效果
根据本发明提供的操作检测装置、操作检测方法及操作检测系统，不依赖于人工、能够精确、实时地检测生产线上的各操作员的操作，能够准确地检测生产线上的各操作员的操作时间信息以调整生产线平衡，能够不遗漏地检测操作异常以预测或检测产品缺陷，能够追踪生产线上操作员的操作，利于对操作员的操作进行分析评价以改进生产线。
附图说明
图1是本发明的第一实施方式的操作检测装置的构成的示意图。
图2是本发明的标记出对象的一幅训练图像的示意图。
图3是第一实施方式的操作检测装置的动作流程图。
图4是本发明的第一实施方式的实施例1的操作检测部的构成的示意图。
图5是本发明的事件生成方法的一例的示意图。
图6是本发明的对象类型的详细的一个示例图。
图7是本发明的对象类型的详细的一个示例图。
图8是本发明的对象类型的详细的一个示例图。
图9是本发明的对象类型的详细的一个示例图。
图10是本发明的事件的一个示例图。
图11是本发明的根据事件生成的操作模式的一个示例图。
图12是本发明的第一实施方式的实施例1的操作检测装置的动作流程图。
图13是本发明的第一实施方式的实施例1的操作检测装置涉及的事件的示例图。
图14是本发明的第一实施方式的实施例2的操作检测部的构成的示意图。
图15是本发明的根据事件生成的动作模式的一个示例图。
图16是本发明的根据事件生成的动作模式的一个示例图。
图17是本发明的根据事件生成的动作模式序列的一个示例图。
图18是本发明的第一实施方式的实施例2的操作检测装置的动作流程图。
图19是本发明的第一实施方式的实施例2的操作检测装置涉及的事件的示例图。
图20是本发明的第一实施方式的实施例2的操作检测装置根据动作模式生成的操作模式的一个示例图。
图21是本发明的第一实施方式的实施例3的操作检测装置根据事件和动作模式生成的操作模式的一个示例图。
图22是本发明的第一实施方式的实施例3的操作检测装置的动作流程图。
图23是本发明的第二实施方式的操作检测装置的构成的示意图。
图24是本发明的第二实施方式的操作检测装置的动作流程图。
图25是本发明的操作检测系统的构成的示意图。
具体实施方式
以下，参照附图对本发明的操作检测装置、操作检测方法及操作检测系统进行说明。
(第一实施方式)
※操作检测装置100的构成
首先，参照图1，对本发明的第一实施方式的操作检测装置100的构成进行说明。另外，操作检测装置包括各种部件，图1中仅示出了与本发明的技术思想有关的部件，而省略了其他部件。
另外，本说明书中，以操作检测装置应用于电子产品的装配生产线中检测生产线中的各工位的操作员的操作的情况为例进行说明。本发明的操作检测装置，根据对生产线中的各工位的操作员的操作进行拍摄得到的动态图像来检测该操作。
如图1所示，本发明的操作检测装置100具备：对象检测模型获取部101、对象信息获取部102、检测图像输入部103以及操作检测部104。
对象检测模型获取部101，用于获取对象检测模型，该对象检测模型是基于多幅训练图像而获得的。
这里，对象检测模型获取部101可以通过有线或无线通信从该操作检测装置100的外部装置(未图示)获取对象检测模型。
该外部装置例如为对象检测模型生成部件，例如可以应用如下方法生成对象检测模型：对于对生产线中的各工位的操作员的操作进行拍摄而得到的作为训练图像集的动态图像进行处理，提取多幅训练图像，对所提取的多幅训练图像进行标记处理，在多幅训练图像的每幅训练图像中标记出一个以上的对象，例如如图2所示出的一幅训练图像中标记出了“机身”、“手”、“手”这些对象，之后根据该标记出一个以上的对象的多幅训练图像进行深度学习，来生成(训练出)对象检测模型。这里，通过深度学习来生成对象检测模型的方法仅为一例，并不限定于此，只要能够获得精确的对象检测模型，可以应用公知或未来可能出现的各种方法，这里不予赘述。
对象信息获取部102，根据多幅训练图像和由对象检测模型获取部101所获取的对象检测模型，获取对象信息。例如，对多幅训练图像应用通过例如深度学习而训练出的对象检测模型，从而能够获取多幅训练图像中包含的对象信息。能够获取的对象信息与对象检测模型有关，可以根据需要的对象信息而针对性地获得对象检测模型。这里，对象信息至少包括对象名称、对象类别和对象位置。
检测图像输入部103，可以是摄影机，通过对生产线中的各工位的操作员的操作进行拍摄而得到动态图像作为检测图像；还可以是具备数据接收功能的有线或无线通信模块/部件，通过有线或无线通信从外部获取对生产线中的各工位的操作员的操作进行拍摄而得到动态图像作为检测图像。
操作检测部104，根据由对象信息获取部102所获取的对象信息和由检测图像输入部所输入的检测图像，检测出操作。这里，操作检测部104例如可以基于由对象信息获取部101所获取的对象信息，对于检测图像进行例如图像处理、模式识别等的处理，从而检测出操作。这里，操作是指生产线中的各工位的操作员，通过手或工具等对于电子产品装配生产线上的工件、部件、容器等进行例如取放、安装、对位、固定等的各种操作。也就是说，操作可以通过对象及其位置的变化来体现。
另外，上述的对象检测模型获取部101、对象信息获取部102、操作检测部104为不同的部件或模块，但它们中的一部分或全部可以整合成一个部件或模块。
※操作检测装置100的动作
下面，基于动作流程图对本发明的第一实施方式的操作检测装置100及其应用的操作检测方法进行说明。
图3是本发明的第一实施方式的操作检测装置100的动作流程图。
如图3所示，在步骤S300中，操作检测装置100通过对象检测模型获取部101获取基于多幅训练图像的对象检测模型，之后进入到步骤S302。
在步骤S302中，操作检测装置100通过对象信息获取部102，根据多幅训练图像和由对象检测模型获取部101所获取的对象检测模型，获取对象信息。这里设为获取到包括对象名称、对象类别和对象位置的对象信息，之后，进入到步骤S304。
在步骤S304中，操作检测装置100通过检测图像输入部103而被输入了对生产线中的各工位的操作员的操作进行拍摄而得到的动态图像作为检测图像，之后进入到步骤S306。
在步骤S306中，操作检测装置100通过操作检测部104，根据由对象信息获取部102所获取的对象信息和由检测图像输入部所输入的检测图像，检测出操作，之后结束处理。
根据本实施方式的操作检测装置100，通过应用对生产线中的各工位的操作员的操作进行拍摄而得到的动态图像进行操作检测，从而能够不依赖于人工，从而能够避免现有技术那样、通过IE工程师人工进行操作观测带来的问题，另外，还利用基于深度学习等方法的对象检测模型，从而能够精确地检测、定位并追踪反映于检测图像中的生产线上的各操作员的操作涉及的对象并获取该对象的对象信息，从而能够准确、及时有效地检测到操作，能够不遗漏地检测操作异常以预测或检测产品缺陷，能够追踪生产线上操作员的操作以评估操作员。此外，通过准确及时检测出操作，能够利用该操作搜索并定位动态图像中的特定动作，从而利于对操作员的操作进行分析评价，以改进生产线。
下面，对第一实施方式的操作检测装置100的各实施例进行说明。
(实施例1)
下面，对本发明的第一实施方式的操作检测装置100的实施例1进行说明。
在实施例1中，操作检测装置100的结构如图1所示，同样具备对象检测模型获取部101、对象信息获取部102、检测图像输入部103以及操作检测部104，这里不再重复叙述。
另外，实施例1中的操作检测部104的结构如图4所示那样，包括事件生成单元1041、操作模式生成单元1043以及操作检测单元1045。
事件生成单元1041，根据由对象信息获取部102所获取的对象信息，生成事件。这里，事件包括由对象交互即对象位置发生变化而在对象间产生关系或对象间关系发生变化而产生的事件、以及对象在图像(拍摄视野)中出现或消失这样的事件。
下面，以电子产品的装配生产线为例，对事件的生成进行说明。图5示出了电子产品的装配生产线中的事件生成的一个方法例。即，总的来说，事件是基于对象、对象位置及对象关系生成的。
另外，关于对象，如图5所示，在电子产品的装配生产线中，对象类别可以为“手”、“容器”、“工件”、“部件”、“工具”。这里，分类为“容器”、“工件”、“部件”、“工具”这样的、对象类别的分类方法仅仅是一个例子，并不限定于此，可以根据生产线涉及的对象及/或实际的需要来进行其他分类。
另外，如图5所示，对象关系例如可以为“上”、“下”、“左”、右”、“中心”。
另外，通过根据对象的位置和对象关系，来生成事件，举例来说，基于如上所述的对象、对象的位置及对象关系，可生成“从前方拿东西”、“在机身上操作”、“使用螺丝刀”、“使用扫描枪”、“在主板上操作”等由对象交互而产生的事件。另外，可生成“Usb PCB出现”、“主板出现”、“主板消失”、“机身出现”等对象在图像(视野)中出现或消失这样的事件。图10示出了“机身上安装操作-左上”这一事件。如图10所示，该事件的事件类型为“在工件上操作”，生成该事件的对象为“机身”这一工件，“机身上安装操作-左上”这一事件涉及的操作的位置相当于对象的位置，为“水平左部垂直上部”，这一事件的SOP时间为“不确定”。这里，SOP时间是“机身上安装操作-左上”这一事件发生所耗费的基准时间，该SOP时间可以在装置出厂前预先设定，可以出厂后由用户来进行设定或调整。另外，图10中，SOP时间为“不确定”，但SOP时间也可以为具体的时间长度，例如1.0秒、2.0秒等。
另外，关于操作模式生成单元1043，根据由事件生成单元1041所生成的事件，生成操作模式。这里，操作模式是指，通过事件如何构成操作。另外，操作模式为一个以上。此外，可以根据一个事件生成操作模式，也可以根据一个以上的事件生成操作模式。图11示出了根据事件生成的操作模式的一例。如图11所示，操作名为“安装SYS PCB到COVER上”这一操作根据两个事件生成，在序号为“0”的事件之后进行序号为“1”的事件。图11仅仅是一个例子，并非限定。
另外，关于操作检测单元1045，根据由检测图像输入部103所输入的检测图像和由操作模式生成单元1043所生成的操作模式，检测出操作。例如，当从由检测图像输入部103所输入的检测图像中识别到符合由操作模式生成单元1043所生成的如图11所示的操作模式的操作的情况下，检测到该操作。根据操作模式从检测图像中检测出符合操作模式的操作的方法，例如可以应用现有的模式识别等技术，这里不予赘述。
(实施例1的动作)
下面，结合图12对实施例1的操作检测装置100执行的动作即操作检测方法进行说明。另外，图12所示的步骤S3060～步骤S3064为操作检测部104的动作，因而图12所示的动作流程是用步骤S3060～步骤S3064对图3中的步骤S306予以替换而得到的。
如图12所示，动作开始之后，操作检测装置100执行步骤S300～步骤S304，操作检测装置100执行的步骤S300～步骤S304的动作与前述的关于第一实施方式的图3的步骤S300～S304的动作相同，这里不予赘述，即当在步骤S304中输入了检测图像后，进入到步骤S3060。
在步骤S3060中，操作检测装置100通过事件生成单元1041，根据在步骤S302中由对象信息获取部102所获取的对象信息，生成事件，之后进入到步骤S3062。这里，例如设为生成了图13所示的两个事件。
在步骤S3062中，操作检测装置100通过操作模式生成单元1043，根据在步骤S3060中由事件生成单元1041所生成的事件(如图13所示)，生成操作模式，之后进入到步骤S3064。这里，设为生成了图11所示的操作模式。
在步骤S3064中，操作检测装置100通过操作检测单元1045，根据在步骤S304中由检测图像输入部所输入的检测图像和在步骤S3062中由操作模式生成单元1043所生成的操作模式(如图11所示)，检测出操作。
根据本实施例的操作检测装置100，具备如上所述的第一实施方式的技术效果。此外，由于利用基于深度学习等方法的对象检测模型而精确地检测、定位并追踪反映于检测图像中的生产线上的各操作员的操作涉及的对象并获取该对象的对象信息，来生成事件，从而能够通过检测事件来准确、及时有效地检测到操作，这样，对于生产线上操作员所进行的重复多次操作的检测而言，能够提高检测效率，有利于提高检测操作的实时性，从而利于实时掌握进而调整生产线平衡，有利于提高生产率，也能够更早发现生产线上的异常操作，从而及时有效地发现缺陷产品，并能够尽早做出调整以避免生产出更多的缺陷产品。
(实施例2)
下面，对本发明的第一实施方式的操作检测装置100的实施例2进行说明。
实施例2的操作检测装置100的结构如图1所示，同样具备对象检测模型获取部101、对象信息获取部102、检测图像输入部103以及操作检测部104，这里不再重复叙述。
另外，实施例2中的操作检测部104的结构如图14所示那样，与实施例1的区别在于，还具备动作模式生成单元1042。
动作模式生成单元1042，根据由事件生成单元1041所生成的事件，生成动作模式。这里，动作模式是指，通过事件如何构成动作。另外，动作模式可以为一个以上而构成动作模式序列。此外，可以根据一个事件生成动作模式，也可以根据一个以上的事件即事件序列生成动作模式。图15和图16分别示出了根据事件生成的操作模式的一例。如图15所示，动作名为“扫描”这一动作根据两个事件生成，在序号为“0”的事件之后进行序号为“1”的事件。如图16所示，动作名为“打螺丝”这一动作也同样根据两个事件生成，在序号为“0”的事件之后进行序号为“1”的事件。
另外，动作模式生成单元1042也可以生成如图17所示那样的动作模式序列。
另外，在实施例2中，操作模式生成单元1043，根据由动作模式生成单元1042所生成的动作模式，生成操作模式，操作检测单元1045，根据由检测图像输入部103所输入的检测图像和由操作模式生成单元1043所生成的操作模式，检测出操作。
(实施例2的动作)
下面，结合图18对实施例2的操作检测装置100执行的动作即操作检测方法进行说明。另外，图18所示的步骤S3060～步骤S3065为操作检测部104的动作，因而图18所示的动作流程是用步骤S3060～步骤S3065对图3中的步骤S306予以替换而得到的。
如图18所示，动作开始之后，操作检测装置100执行步骤S300～步骤S304，操作检测装置100执行的步骤S300～步骤S304的动作与前述的关于第一实施方式的图3的步骤S300～S304的动作相同，这里不予赘述，即当在步骤S304中输入了检测图像后，进入到步骤S3060。
在步骤S3060中，操作检测装置100通过事件生成单元1041，根据在步骤S302中由对象信息获取部102所获取的对象信息，生成事件，之后进入到步骤S3061。这里，例如设为生成了图19所示的4个事件。
在步骤S3061中，操作检测装置100通过动作模式生成单元1042，根据在步骤S3060中由事件生成单元1041所生成的事件(如图19所示)，生成动作模式，之后进入到步骤S3063。这里，设为生成了图16所示的两个动作模式。
在步骤S3063中，操作检测装置100通过操作模式生成单元1043，根据在步骤S3061中由动作模式生成单元1042所生成的动作模式(如图16所示)，生成操作模式，之后进入到步骤S3065。这里，设为生成了图20所示的操作模式。
在步骤S3065中，操作检测装置100通过操作检测单元1045，根据在步骤S304中由检测图像输入部所输入的检测图像和在步骤S3063中由操作模式生成单元1043所生成的操作模式(如图20所示)，检测出操作。
根据本实施例的操作检测装置100，具备如上所述的第一实施方式和实施例1的技术效果。此外，由于利用基于深度学习等方法的对象检测模型而精确地检测、定位并追踪反映于检测图像中的生产线上的各操作员的操作涉及的对象并获取该对象的对象信息，来生成事件，进而根据事件生成动作模式，从而能够通过检测动作模式来准确、及时有效地检测到操作，动作模式为比事件更为完整的行为，这样，对于生产线上操作员所进行的重复多次操作的检测而言，相比于实施例1，不用重复检测对象并生成事件，而仅根据生成的动作模式，就能够快速地检测操作，从而能够进一步提高检测效率，更有利于提高检测操作的实时性，从而更利于实时掌握进而调整生产线平衡，更有利于提高生产率，也能够更早发现生产线上的异常操作，从而更及时有效地发现缺陷产品，并能够尽早做出调整以避免生产出更多的缺陷产品。
(实施例3)
下面，对本发明的第一实施方式的操作检测装置100的实施例3进行说明。
实施例3的操作检测装置100的结构与实施例2相同，这里不再重复叙述，仅对不同之处进行说明。
在实施例3中，相对于实施例2的不同点在于，操作模式生成单元1043，根据由事件生成单元1041所生成的事件和由动作模式生成单元1042所生成的动作模式，生成操作模式。
(实施例3的动作)
图22是操作检测装置100执行的实施例3的动作即操作检测方法的流程。在图22中，对与实施例2的操作检测装置100执行的动作相同的动作标注相同的符号，并省略重复的说明。
如图22所示，其与实施例2的操作检测装置100的动作流程即图18的区别在于，用步骤S3066代替了步骤S3063。
另外，在步骤S3066中，操作检测装置100通过操作模式生成单元1043，根据在步骤S3060中由事件生成单元1041所生成的事件和在步骤S3061中由动作模式生成单元1042所生成的动作模式，生成操作模式，之后进入到步骤S3065。这里，设为生成了图21所示的操作模式。
然后，在步骤S3065中，操作检测装置100通过操作检测单元1045，根据在步骤S304中由检测图像输入部所输入的检测图像和在步骤S3063中由操作模式生成单元1043所生成的操作模式(如图21所示)，检测出操作。
根据本实施例的操作检测装置100，具备如上所述的第一实施方式、实施例1及实施例2的技术效果，这里省略重复的说明。
(第二实施方式)
下面，对第二实施方式的操作检测装置100A进行说明。
※操作检测装置100A的构成
图23是本发明的第二实施方式的操作检测装置100A的构成的示意图。在图23中，对与第一实施方式的操作检测装置100的结构的示意图即图1中相同的构件标注相同的符号并省略说明。
第二实施方式的操作检测装置100A与第一实施方式的操作检测装置100的不同点在于，第二实施方式的操作检测装置100A具备操作时间检测部105。
操作时间检测部105，根据由操作检测部104所检测出的操作，检测操作的开始时间和结束时间。
例如，操作时间检测部105根据由操作检测部104所检测出的操作，借助检测图像中包括的时间信息来确定操作的开始时间和结束施加。
另外，操作施加检测部105还可以根据由操作检测部104所检测出的操作，进而依据生成该操作的操作模式的事件和/或动作模式包括的时间信息，来检测操作的开始时间和结束时间。
※操作检测装置100A的动作
图24是本发明的第二实施方式的操作检测装置100A的动作流程图。在图24中，对与第一实施方式的操作检测装置100执行的动作即图3所示的动作相同的动作标注相同的符号，并省略重复的说明。
如图24所示，其与第一实施方式的操作检测装置100执行的动作即图3所示的动作的区别在于，在执行了步骤S300～步骤S306之后，并不结束处理，而是进入到步骤S240。
在步骤S240中，操作时间检测部105，根据由操作检测部104所检测出的操作，检测操作的开始时间和结束时间，之后结束处理。
根据第二实施方式的操作检测装置100A，能够具备第一实施方式及各实施例的技术效果，除此以外，还能够在检测操作的基础上，检测操作的开始时间和结束时间。由此，能够不依赖于例如IE工程师，就能够实时、准确、有效地获取生产线上的各工位的操作员的操作时间的信息，进而能够实时、准确地分析生产线平衡，从而能够及时作出调整，以保证生产率和生产线生产的产品的质量。
以上，详细叙述了本发明的操作检测装置以及操作检测方法的具体表现形态，但本发明的具体表现形态不限于此，也可以以操作检测系统、集成电路、程序及记录有程序的介质等各种形态表现出来。
图25是表示本发明的操作检测系统的构成的示意图。
如图25所示，本发明的操作检测系统1000，具备：训练图像获取装置200、对象检测模型生成装置300以及操作检测装置100。
这里，操作检测装置100即为前述的操作检测装置100，因此这里省略详细的说明，另外，本发明的操作检测系统当然也能够具备操作检测装置100A。
训练图像获取装置200，用于获取拍摄有对象的多幅训练图像。该训练图像获取装置200可以是摄影机，通过对生产线中的各工位的操作员的操作进行拍摄而得到动态图像作为训练图像；还可以是具备数据接收功能的有线或无线通信模块/部件，通过有线或无线通信从外部获取对生产线中的各工位的操作员的操作进行拍摄而得到动态图像作为训练图像。
对象检测模型生成装置300，根据训练图像获取装置200所获取的多幅训练图像，生成对象检测模型。该对象检测模型生成装置300，例如可以应用如下方法生成对象检测模型：对于对生产线中的各工位的操作员的操作进行拍摄而得到的作为训练图像集的动态图像进行处理，提取多幅训练图像，对所提取的多幅训练图像进行标记处理，在多幅训练图像的每幅训练图像中标记出一个以上的对象，之后根据该标记出一个以上的对象的多幅训练图像进行深度学习，来生成(训练出)对象检测模型。这里，通过深度学习来生成对象检测模型的方法仅为一例，并不限定于此，只要能够获得精确的对象检测模型，可以应用公知或未来可能出现的各种方法。
本发明的操作检测系统，根据包括的操作检测装置，而具备相应的操作检测装置的技术效果，这里不予赘述。
(变形例)
上述对各实施方式进行了说明，但本发明并不限定于上述实施方式、实施例及变形例。例如，本领域技术人员对于上述的各实施方式、实施例及变形例适当进行了结构要素的追加、删除、设计变更的方式、将各实施方式、实施例或变形例的特征适当组合后的方式，只要符合本发明的技术思想，都包含于本发明的范围。
例如，在第二实施方式中，也可以应用第一实施方式的实施例1～3，来检测操作。

Claims (9)

1.一种操作检测装置，其特征在于，具有：
对象检测模型获取部，获取基于多幅训练图像的对象检测模型；
对象信息获取部，根据多幅训练图像和由上述对象检测模型获取部所获取的对象检测模型，获取对象信息；
检测图像输入部，输入用于检测操作的检测图像；以及
操作检测部，根据由上述对象信息获取部所获取的对象信息和由上述检测图像输入部所输入的检测图像，检测出操作。
2.如权利要求1所述的操作检测装置，其特征在于，
上述操作检测部具备：
事件生成单元，根据由上述对象信息获取部所获取的对象信息，生成事件；
操作模式生成单元，根据由上述事件生成单元所生成的事件，生成操作模式；以及
操作检测单元，根据由上述检测图像输入部所输入的检测图像和由上述操作模式生成单元所生成的操作模式，检测出操作。
3.如权利要求1所述的操作检测装置，其特征在于，
上述操作检测部具备：
事件生成单元，根据由上述对象信息获取部所获取的对象信息，生成事件；
动作模式生成单元，根据由上述事件生成单元所生成的事件，生成动作模式；
操作模式生成单元，根据由上述动作模式生成单元所生成的动作模式，生成操作模式；以及
操作检测单元，根据由上述检测图像输入部所输入的检测图像和由上述操作模式生成单元所生成的操作模式，检测出操作。
4.如权利要求1所述的操作检测装置，其特征在于，
上述操作检测部具备：
事件生成单元，根据由上述对象信息获取部所获取的对象信息，生成事件；
动作模式生成单元，根据由上述事件生成单元所生成的事件，生成动作模式；
操作模式生成单元，根据由上述事件生成单元所生成的事件和由上述动作模式生成单元所生成的动作模式，生成操作模式；以及
操作检测单元，根据由上述检测图像输入部所输入的检测图像和由上述操作模式生成单元所生成的操作模式，检测出操作。
5.如权利要求1至4中任一项所述的操作检测装置，其特征在于，还具备：
操作时间检测部，根据所检测出的操作，检测操作的开始时间和结束时间。
6.如权利要求1至4中任一项所述的操作检测装置，其特征在于，
上述对象信息至少包括对象名称、对象类别和对象位置。
7.如权利要求1至4中任一项所述的操作检测装置，其特征在于，
上述检测图像为动态图像。
8.一种操作检测方法，其特征在于，包括：
对象检测模型获取步骤，获取基于多幅训练图像的对象检测模型；
对象信息获取步骤，根据多幅训练图像和由上述对象检测模型获取步骤所获取的对象检测模型，获取对象信息；
检测图像输入步骤，输入用于检测操作的检测图像；以及
操作检测步骤，根据由上述对象信息获取步骤所获取的对象信息和由上述检测图像输入步骤所输入的检测图像，检测出操作。。
9.一种操作检测系统，其特征在于，具有：
训练图像获取装置，获取拍摄有对象的多幅训练图像；
对象检测模型生成装置，根据上述训练图像获取装置所获取的多幅训练图像，生成对象检测模型；以及
权利要求1～7所述的操作检测装置。
CN201811249823.2A 2018-10-25 2018-10-25 操作检测装置、操作检测方法及操作检测系统 Pending CN111105109A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811249823.2A CN111105109A (zh) 2018-10-25 2018-10-25 操作检测装置、操作检测方法及操作检测系统
JP2019118627A JP6828093B2 (ja) 2018-10-25 2019-06-26 操作検出装置、操作検出方法及び操作検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811249823.2A CN111105109A (zh) 2018-10-25 2018-10-25 操作检测装置、操作检测方法及操作检测系统

Publications (1)

Publication Number Publication Date
CN111105109A true CN111105109A (zh) 2020-05-05

Family

ID=70388533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811249823.2A Pending CN111105109A (zh) 2018-10-25 2018-10-25 操作检测装置、操作检测方法及操作检测系统

Country Status (2)

Country Link
JP (1) JP6828093B2 (zh)
CN (1) CN111105109A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511367B (zh) * 2022-10-21 2023-07-25 上海数瞳信息科技有限公司 生产线的质量智能管理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014240800A (ja) * 2013-06-12 2014-12-25 株式会社ブリヂストン 検査補助装置
CN105531995A (zh) * 2013-05-10 2016-04-27 罗伯特·博世有限公司 用于使用多个摄像机进行对象和事件识别的系统和方法
WO2016098264A1 (ja) * 2014-12-19 2016-06-23 富士通株式会社 分析装置における処理方法、処理プログラム、分析装置、検出動作の設定方法および設定プログラム
JP2017091009A (ja) * 2015-11-04 2017-05-25 日本電気株式会社 異常作業検出システムおよび異常作業検出方法
CN108491759A (zh) * 2018-02-10 2018-09-04 合肥迪宏自动化有限公司 一种基于深度学习的工序检测装置及其工序检测方法
KR101900237B1 (ko) * 2017-10-20 2018-09-19 주식회사 삼진엘앤디 획득한 영상에 대한 상황 판단 데이터를 이용한 현장 판단 방법
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6907634B2 (ja) * 2017-03-28 2021-07-21 日本電気株式会社 作業支援装置、作業支援方法、及び作業支援プログラム
JP6330093B1 (ja) * 2017-08-21 2018-05-23 ミライアプリ株式会社 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置
US20210073096A1 (en) * 2017-11-17 2021-03-11 Mitsubishi Electric Corporation Three-dimensional space monitoring device and three-dimensional space monitoring method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531995A (zh) * 2013-05-10 2016-04-27 罗伯特·博世有限公司 用于使用多个摄像机进行对象和事件识别的系统和方法
JP2014240800A (ja) * 2013-06-12 2014-12-25 株式会社ブリヂストン 検査補助装置
WO2016098264A1 (ja) * 2014-12-19 2016-06-23 富士通株式会社 分析装置における処理方法、処理プログラム、分析装置、検出動作の設定方法および設定プログラム
JP2017091009A (ja) * 2015-11-04 2017-05-25 日本電気株式会社 異常作業検出システムおよび異常作業検出方法
KR101900237B1 (ko) * 2017-10-20 2018-09-19 주식회사 삼진엘앤디 획득한 영상에 대한 상황 판단 데이터를 이용한 현장 판단 방법
CN108491759A (zh) * 2018-02-10 2018-09-04 合肥迪宏自动化有限公司 一种基于深度学习的工序检测装置及其工序检测方法
CN108681690A (zh) * 2018-04-04 2018-10-19 浙江大学 一种基于深度学习的流水线人员规范操作检测系统

Also Published As

Publication number Publication date
JP2020068009A (ja) 2020-04-30
JP6828093B2 (ja) 2021-02-10

Similar Documents

Publication Publication Date Title
US20240087104A1 (en) Method for monitoring manufacture of assembly units
US11449980B2 (en) System and method for combined automatic and manual inspection
JP6922168B2 (ja) 表面実装ラインの品質管理システム及びその制御方法
US11360456B2 (en) Apparatus and method for identifying differences between a real installation and a digital twin of the installation
US10330724B2 (en) Measurement arrangement
JP2019191117A (ja) 画像処理装置、画像処理方法及びプログラム
CN106168582B (zh) 检查装置及检查方法
KR102228957B1 (ko) 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
CN108693839B (zh) 智能加工调变系统及方法
CN110738630A (zh) 递归性深度学习系统的训练方法与检测系统
JP2019169022A (ja) 品質監視システム
EP3629281A1 (en) Quality estimation device, quality estimation method, and quality estimation program
CN111105109A (zh) 操作检测装置、操作检测方法及操作检测系统
US11714402B2 (en) Universal automatic test system for digital plugboard based on imagine processing
CN114998357B (zh) 基于多信息分析的工业检测方法、系统、终端和介质
CN107315664A (zh) 显卡自动检测系统及方法
KR20150104766A (ko) 검사공정에서의 불량 이력 추적 방법
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
JP2002031605A (ja) 欠陥確認装置および自動外観検査装置
KR102579226B1 (ko) 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템
CN117665546B (zh) 一种pcba板的自动化测试方法及系统
Nakano et al. Development of Automatic Work Analysis for Assembly Work using Motion Picture Analysis of Hand Position and Motion
KR102406289B1 (ko) 부품 실장 장치의 영상 관리 방법
US20210055235A1 (en) Method to Automatically Inspect Parts Using X-Rays
CN117314829A (zh) 一种基于计算机视觉的工业零件质检方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination