CN113811825A - 作业分析装置、作业分析方法及程序 - Google Patents

作业分析装置、作业分析方法及程序 Download PDF

Info

Publication number
CN113811825A
CN113811825A CN202080032397.6A CN202080032397A CN113811825A CN 113811825 A CN113811825 A CN 113811825A CN 202080032397 A CN202080032397 A CN 202080032397A CN 113811825 A CN113811825 A CN 113811825A
Authority
CN
China
Prior art keywords
work
operator
steps
unit
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080032397.6A
Other languages
English (en)
Inventor
北角一哲
田中清明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN113811825A publication Critical patent/CN113811825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

分析包括多个工序的作业的作业分析装置的特征在于具备：接收部，接收作业区域的拍摄图像；检测部，分析所述拍摄图像，检测在所述作业区域进行作业的作业者的位置以及方向；判定部，基于所述作业者的位置以及方向，判定所述作业者作业中的工序；以及生成部，按照每个所述工序计测作业时间，生成表示所述作业者实施过的作业的工序的时序图。

Description

作业分析装置、作业分析方法及程序
技术领域
本发明涉及作业分析装置、作业分析方法以及程序。
背景技术
以往的流水线生产方式适合单个产品的大量生产，但有时难以应对多品种的少量生产。因此，适合多品种少量生产的单元生产方式正在普及。单元(cell)生产方式是1人或者少数的作业者在将部件或工具配置成U字型等的被称为单元的生产线完成产品的组装的单元生产方式。
为了提取并改善基于单元生产方式的生产工序中的问题点，提出通过拍摄影像跟踪人并分析各工序中的作业者的作业时间以及移动量等的技术、自动地记录作业者的活动路线的技术(例如，参照专利文献1、2)。
先行技术文献
专利文献
专利文献1：日本特开2018-073176号公报
专利文献2：日本特开2018-010366号公报
发明内容
发明所要解决的课题
然而，即使分析作业者的活动路线，例如在U字型的单元生产线中存在如下的情况：不清楚由各单元围起的移动区域中的作业者的方向，无法准确地掌握正在对哪个单元(作业台)进行作业。在该情况下，难以准确地计测在各单元实施的工序的作业时间，较难检测作业者的工序遗漏或评价单元的配置是否适当。
本发明在一个方面是为了解决上述的课题而完成的，其目的在于提供更准确地掌握在单元生产方式中由作业者进行的作业的工序的技术。
用于解决课题的手段
为了解决上述课题，在本发明的一个方面采用以下的结构。
本发明的第一方面提供作业分析装置，其是分析包括多个工序的作业的作业分析装置，其特征在于，具备：接收部，接收作业区域的拍摄图像；检测部，分析上述拍摄图像，检测在上述作业区域进行作业的作业者的位置以及方向；判定部，基于上述作业者的位置以及方向，判定上述作业者作业中的工序；以及生成部，按照每个上述工序计测作业时间，生成表示上述作业者实施过的作业的工序的时序图。
“作业区域”是用于实施包含多个工序的一系列的作业的区域。例如，在单元生产方式中，在作业区域中，按工序顺序配置与各工序对应的作业台，在各作业台配置在各个工序所使用的部件以及工具等。“拍摄图像”是例如通过广角相机或者鱼眼相机拍摄作业区域而得到的图像。“时序图”是包括作业者实施过的工序的顺序以及每个工序的作业时间(以下，也称为实绩时间)的数据，通过表或者图表等显示方式提示给用户。
上述的作业分析装置能够从作业区域的拍摄图像检测作为作业者的人体，并基于作业者的位置以及方向更准确地掌握作业者正在实施哪个工序。另外，作业分析装置能够通过计测每个工序的作业时间来生成时序图，更准确地掌握由作业者进行的作业的工序。
作业分析装置也可以还具备拍摄部，该拍摄部拍摄上述拍摄图像并发送给上述接收部。作业分析装置与相机(拍摄部)构成为一体，被设置于能够拍摄整个作业区域的位置。这样的作业分析装置能够通过简单的装置分析作业区域中的作业。
作业分析装置也可以还具备配置分析部，该配置分析部将上述时序图所包含的工序与作为基准的作业所包含的基准工序进行对比，针对在与上述基准工序对应的作业台上的部件的配置分析是否需要改善。时序图表示作业者实施过的工序以及作业时间的信息。作为基准的作业是预先决定的工序的流程(基准工序)。按照基准工序来配置作业区域中的作业台。作业分析装置通过对时序图所包含的工序与基准工序进行对比，能够针对作业者实施过的工序高精度地分析是否需要改善。
也可以在上述时序图所包含的工序的顺序与上述基准工序的顺序不同的情况下，上述配置分析部针对上述部件的配置分析为需要改善。配置分析部对时序图所包含的工序的顺序和基准工序的顺序进行对比。配置分析部能够通过简单的判定分析是否需要改善部件配置。
上述配置分析部也可以对上述时序图所包含的工序间的迁移进行评分，并在针对各工序间的迁移的分数的合计为规定的阈值以上的情况下，针对上述部件的配置分析为需要改善。即使在时序图所包含的工序的顺序与基准工序的顺序不同的情况下，当针对各工序间的迁移的分数的合计小于规定的阈值时，配置分析部分析为不需要改善。这样，配置分析部通过对时序图所包含的工序间的迁移进行评分，从而能够灵活地分析是否需要改善。
作业分析装置还可以具备工序分析部，在上述时序图所包含的工序的由上述作业者进行的作业时间相对于预先为该工序决定的标准时间缩短规定的比例以上的情况下，上述工序分析部分析为上述作业者遗漏该工序的作业。“标准时间”是按照基准工序的各工序决定的标准的作业时间，能够与作为基准的作业所包含的基准工序的信息一起存储于作业分析装置的辅助存储装置。设想在由作业者进行的工序的作业时间相对于标准时间缩短规定的比例以上的情况下，不实施该工序。该情况下，工序分析部能够将作业时间缩短规定的比例以上的工序分析为作业遗漏。工序分析部通过更准确地掌握作业者的作业，能够适当地对用户提示作业遗漏。
本发明的第二方面提供作业分析方法，其是分析包括多个工序的作业的作业分析方法，其特征在于，包括：接收步骤，接收作业区域的拍摄图像；检测步骤，分析上述拍摄图像，检测在上述作业区域进行作业的作业者的位置以及方向；判定步骤，基于上述作业者的位置以及方向，判定上述作业者作业中的工序；以及生成步骤，按照上述作业中的每个工序计测作业时间，生成上述作业者实施过的作业的时序图。
本发明也能够作为用于实现所述的方法的程序、非暂时地存储该程序的记录介质来把握。此外，上述单元以及处理分别只要可能则能够相互组合来构成本发明。
发明效果
根据本发明，能够提供更准确地掌握单元生产方式中作业者的作业内容的技术。
附图说明
图1是表示本发明所涉及的作业分析装置的应用例的图。
图2是例示作业分析装置的功能构成的图。
图3是例示作业分析处理的流程图。
图4是对作业者的方向的检测方法的例子进行说明的图。
图5是对作业者的方向的检测方法的例子进行说明的图。
图6是对作业中的工序的判定方法进行说明的图。
图7是表示以表形式示出时序图的例子的图。
图8是表示绘制(graph)时序图的例子的图。
图9是对在作业台上的部件的配置分析的例子进行说明的图。
图10是对基于评分的部件的配置分析的例子进行说明的图。
图11是对工序分析的例子进行说明的图。
具体实施方式
＜应用例＞
参照图1，对本发明所涉及的作业分析装置的应用例进行说明。作业分析装置1经由网络接收由设置于作业区域的上方的相机2拍摄到的图像。作业分析装置1从接收到的拍摄图像检测作业者的位置以及身体的方向，基于检测结果来生成表示作业者的作业工序的流程的时序图。作业分析装置1通过将所生成的时序图与作为基准的作业的时序图(基准工序)进行对比，从而例如分析在作业台上的部件的配置、以及作业者的作业工序等是否适当。
作业分析装置1接收由相机2拍摄的拍摄图像。作业分析装置1根据拍摄图像检测人体，并检测人体的位置以及方向。作业分析装置1能够基于人体的位置以及方向来判定作业者的作业内容，即正在多个作业台(单元)中的哪个作业台进行作业。
作业分析装置1通过计测各作业台的作业时间，从而能够生成表示作业者的作业工序的流程的时序图。作业分析装置1通过将所生成的时序图与预先准备的基准的时序图进行对比，从而分析是否适当地配置作业台、作业者的作业工序等是否适当等。作业分析装置1的分析结果被提示给用户。用户能够将作业分析装置1的分析结果例如利用于作业台的配置更换，放置于作业台的部件的更换、基准的时序图的重新修改等。
相机2可以设置为俯视作业区域，也可以朝向作业者的移动区域设置于作业台的周围。相机2也可以设置多台，例如按照每个作业台设置。相机2只要能够拍摄能够识别作业区域中的作业者的位置以及身体的方向的范围即可，例如，能够使用广角相机或者鱼眼相机。
此外，作业分析装置1也可以与相机2(拍摄部)一体地构成。另外，拍摄图像中的人体的检测处理等作业分析装置1的处理的一部分也可以由相机2执行。并且，作业分析装置1的分析结果也可以发送至外部的装置并提示给用户。
上述的作业分析装置1分析作业区域的拍摄图像来检测作业者的位置以及方向。作业分析装置1通过检测作业者的方向，从而能够更准确地掌握作业者正在对哪个作业台进行作业，即，正在实施哪个工序的作业。另外，作业分析装置1能够更准确地生成表示由作业者进行的作业的工序的流程的时序图。因此，作业分析装置1能够更准确地分析是否适当地配置作业台、由作业者进行的工序的流程是否适当等。
＜实施方式＞
(装置结构)
参照图1，对实施方式所涉及的作业分析装置1的硬件构成的一个例子进行说明。作业分析装置1具备：处理器101、主存储装置102、辅助存储装置103、通信接口104、输出装置105。处理器101通过将存储于辅助存储装置103的程序读出到主存储装置102并执行，从而实现作为在图2中说明的各功能构成的功能。通信接口(I/F)104是用于进行有线或者无线通信的接口。输出装置105例如是显示器等用于进行输出的装置。
作业分析装置1也可以是个人计算机、服务器计算机、平板终端、智能手机那样的通用的计算机，或可以如车载计算机那样是嵌入式计算机。但是，一个装置或者整个装置的功能也可以通过ASIC、FPGA等专用的硬件装置来实现。
作业分析装置1通过有线(USB电缆、LAN电缆等)或者无线(WiFi等)与相机2连接，接收由相机2拍摄到的图像数据。相机2是具有包括透镜的光学系统以及拍摄元件(CCD、CMOS等图像传感器)的拍摄装置。
接下来，参照图2，对作业分析装置1的功能构成的一个例子进行说明。图2是例示作业分析装置1的功能构成的图。作业分析装置1包括：接收部10、检测部11、工序管理表12、判定部13、时序图生成部14、配置分析部15、工序分析部16、输出部17。
接收部10具有从相机2接收拍摄图像的功能。接收部10将接收到的拍摄图像交给检测部11。接收部10也可以将接收到的拍摄图像储存至辅助存储装置103。
检测部11具有分析相机2的拍摄图像并检测作为作业者的人体的功能。检测部11包括：人体检测部11A、位置检测部11B、方向检测部11C。人体检测部11A使用检测人体的算法根据拍摄图像检测人体。位置检测部11B检测所检测到的人体的位置。人体的位置例如能够设为包围检测到的人体的矩形的中心的坐标。方向检测部11C检测所检测到的人体朝向哪个作业台。方向检测部11C例如通过将人体的拍摄图像作为教师数据的AI或者基于头部与手臂的位置关系等来检测作业者的方向。
工序管理表12储存与各工序有关的信息。例如，在工序管理表12中，将作业台的位置信息同该作业台所对应的工序建立对应地储存。作业台的位置信息能够根据相机2的设置位置而预先计算，并存储至工序管理表12。另外，工序管理表12储存与作为基准的作业有关的信息。例如，在工序管理表12中，储存作为基准的作业所包含的基准工序的信息、以及实施各基准工序的作业的标准的作业时间(标准时间)。
判定部13具有判定作业者正在实施哪个工序的作业的功能。判定部13参照工序管理表12，根据由检测部11检测到的人体(作业者)的位置以及方向来确定作业者面对的作业台，判定作业者正在实施的作业的工序。
时序图生成部14具有生成时序图的功能。时序图生成部14基于判定部13的判定结果来计测作业者正在实施的工序的作业时间。作业时间例如能够根据作业者停留在与该工序对应的作业台的拍摄图像的帧数、以及帧频计算。时序图生成部14基于各工序中的作业时间来生成时序图。
配置分析部15具有分析在作业台上的部件的配置是否适当的功能。配置分析部15能够将生成的时序图所包含的工序(的流程)与基准工序(的流程)进行对比来分析部件的配置是否适当。
工序分析部16基于分析时序图所包含的工序(作业者实施过的工序)中是否有作业遗漏的工序的功能。通过将由时序图生成部14生成的时序图所包含的工序与作为基准的作业所包含的基准工序进行对比来确认所生成的时序图中是否没有作业遗漏。
输出部17具有使时序图生成部14生成的时序图、配置分析部15以及工序分析部16的分析结果显示于显示器等的功能。输出部17也可以将所生成的时序图以及分析结果发送至外部装置，并在外部装置上显示。
(作业分析处理)
按照图3，对作业分析处理的整个流程进行说明。图3是例示作业分析处理的流程图。图3的作业分析处理表示在作业者实施一系列的作业的期间，依次分析从相机2接收到的拍摄图像，并在由作业者进行的作业完成后，生成时序图的例子。此外，时序图并不限于在由作业者进行的作业完成后生成的情况，也可以与拍摄图像的接收以及分析并行地生成。
在步骤S20中，接收部10从相机2接收拍摄图像。接收部10将接收到的拍摄图像交给检测部11。
在步骤S21中，检测部11根据从接收部10取入的拍摄图像检测人体(人体检测部11A)，并检测所检测到的人体的位置以及方向。此外，人体检测可以使用任何的算法。例如，可以使用组合了HoG、Haar－like等图像特征和提升的识别器，可以使用基于深度学习(例如，R－CNN、Fast R－CNN、YOLO、SSD等)的人体识别。
另外，检测部11(位置检测部11B)检测所检测到的人体的拍摄图像中的位置。人体的位置例如能够确定为包围所检测到的人体的矩形的中心的坐标。此外，人体的位置也可以通过例如将作业区域分割为格子状，根据存在于哪个区域来确定。
另外，检测部11(方向检测部11C)检测所检测到的人体(作业者)的方向。此处，参照图4以及图5，对检测作业者的方向的方法进行说明。图4以及图5是对作业者的方向的检测方法的例子进行说明的图。
图4是表示1台相机2被设置为俯视作业区域的情况下的例子。图4的(A)是从天花板侧拍摄作业者得到的拍摄图像中的作业者的周围的图像。方向检测部11C例如能够通过将从头上侧拍摄的人体的拍摄图像作为教师数据而学习到的CNN等AI检测作业者的方向。
另外，如图4的(B)所示，方向检测部11C也可以通过AI单独检测以x轴为基准的脸的方向θface以及身体的方向θbody。该情况下，方向检测部11C能够对脸的方向θface以及身体的方向θbody乘以权重系数α、β，并将通过以下的式1计算出的方向定义为人体的方向。
θ＝αθface+βθbody(0≤θ≤2π，α+β＝1)…(式1)
例如设为α＝β＝1/2，人体的方向也可以设为脸的方向θface与身体的方向θbody的平均值。另外，也可以设为α＝2/3、β＝1/3，使脸的方向θface优先来确定(检测)人体的方向。
并且，方向检测部11C也可以基于头部、手臂、手的相互的位置关系来检测人体的方向。例如，方向检测部11C也可以将2等分从头部的中心延伸到左右每个手的前端的线段的线段的方向作为人体的方向。
图5是表示多台相机2被设置为从作业者的横侧拍摄的情况下的例子。图5的(A)是通过设置于作业台的相机2从横侧拍摄作业者的拍摄图像。方向检测部11C能够例如通过将从作业者的横侧拍摄的人体的拍摄图像作为教师数据而学习到的CNN等AI来检测人体的方向。
另外，如图5的(B)所示，方向检测部11C也可以通过AI单独检测以y轴(相机2的正面)为基准的脸的方向θface以及身身体的方向θbody。该情况下，方向检测部11C能够对脸的方向θface以及身体的方向θbody乘以权重系数α、β，并将通过以下的式2计算出的方向定义为人体的方向。
θ＝αθface+βθbody(－π/2≤θ≤π/2，α+β＝1)…(式2)
与图4的情况同样地，α以及β能够根据脸的方向θface或者身体的方向θbody的优先度适当地设定。
并且，方向检测部11C也可以基于头部、身体、手臂、手的相互的位置关系来检测人体的方向。例如，方向检测部11C也可以基于手臂相对于身体的角度来推断人体的方向。
在图3的步骤S22中，判定部13判定在步骤S21中所检测到的人体(作业者)作业中的工序。此处，通过图6对作业中的工序的判定进行说明。作业中的工序能够基于作业者的位置或者方向进行判定。
图6是对作业中的工序的判定方法进行说明图。图6是例示用于实施包含工序A～G的作业的作业区域。在作业区域设置有与工序A～G的每个工序对应的作业台(以下，分别如作业台A～G那样记载)。由作业台A～G围起的区域是作业者在作业中移动的移动区域。移动区域被分为三个移动区域a～c。移动区域a是由作业台C、作业台D、作业台E围起的区域。移动区域b是作业台B与作业台F之间的区域。移动区域c是作业台A与作业台G之间的区域。作业台A～G以及移动区域a～c的位置信息预先被存储至工序管理表12。
判定部13从工序管理表12获取移动区域a～c的位置信息，并基于在步骤S21中检测到的作业者的位置信息来判定作业者存在于哪个移动区域。另外，判定部13能够从工序管理表12获取作业台A～G的位置信息，并基于在步骤S21中所检测到的作业者的位置以及方向的信息来判定正在对哪个作业台进行作业。即，判定部13能够判定作业者正在进行哪个工序的作业。另外，判定部13能够判定作业者从当前作业中的工序移到下一个工序的定时。
判定部13能够通过对直到作业者移到下一个工序为止的拍摄图像的帧数进行计数来计算各工序的作业时间。判定部13也可以将计算出的各工序的作业时间储存至辅助存储装置103。
在步骤S23中，检测部11(人体检测部11A)判定作业者的作业是否完成。例如在根据从接收部10获取的拍摄图像未检测到人体的情况下，人体检测部11A能够判定为作业者的作业完成。另外，在作业者从实施最后的工序的作业台G向实施最初的工序的作业台A改变方向的情况下，人体检测部11A可以判定为作业者的作业完成。在由作业者进行的一系列的作业完成的情况下(步骤S23：“是”)，处理进入步骤S24。在作业者的作业未完成的情况下(步骤S23：“否”)，处理返回到步骤S20。返回到步骤S20，在直到作业完成为止的期间，针对从接收部10取入的拍摄图像的各帧，重复从步骤S20到步骤S22的处理。
在步骤S24中，时序图生成部14生成表示作业者实施过的工序的流程的时序图。所生成的时序图例如被显示于作为输出装置105的显示器等。此处，使用图7以及图8，对时序图生成部14生成的时序图的例子进行说明。图7以及图8表示作业者X以及作业者Y实施了包含工序A～工序G的作业的情况下的时序图的例子。
图7是以表形式示出时序图的例子的图。表形式的时序图T70包括工序、标准时间、作业者X、作业者Y的字段。工序字段表示各作业者实施的作业所包含的工序。标准时间字段表示为了实施各工序的作业而假设的标准时间。标准时间是根据各工序的作业内容而预先决定的时间，被储存至工序管理表12。在图7的例子中，标准时间的单位是分钟。作业者X字段表示作业者X实施各工序的作业所需要的时间。作业者Y字段表示作业者Y实施各工序的作业所需要的时间。作业者X字段以及作业者Y字段所示的时间的单位是分钟。
作业者X实施工序C、D所需要的时间均为2分钟。工序C、D的标准时间均为3分钟。作业者X以比标准时间短的时间实施工序C、D，与作业者X的工序C、D对应的栏由虚线围起以强调显示。与此相对，作业者Y实施工序A、D所需要的时间分别为5分钟、6分钟。工序A、D的标准时间均分别为2分钟、3分钟。作业者Y以比标准时间长的时间实施工序A、D，与作业者Y的工序A、D对应的栏由二重线围起以强调显示。
在由各作业者进行的各工序的作业时间比标准时间短的情况下或者长的情况下，时序图T70能够强调显示对应的栏。由此，用户能够容易地掌握各作业者的作业的延迟等。此外，强调显示并不限于由虚线或者二重线包围的情况，也可以改变强调显示的栏的背景色来进行强调。
图8是表示绘制时序图的例子的图。图8所示的时序图T80的纵轴为工序，横轴为时间。图8的时序图T80是对图7所示的作业者X以及作业者Y的作业时间进行绘制得到的图。用户能够通过时序图T80容易地掌握各作业者的整个作业所花费的作业时间。
在图3的步骤S25中，配置分析部15基于各作业者的时序图来分析放置于各作业台的部件的配置是否适当。另外，工序分析部16将各作业者的时序图与作为基准的作业进行对比，分析由作业者进行的作业的工序。工序分析部16例如能够通过判定为不实施作业时间较短的工序来进行工序遗漏的分析。
此处，使用图9～图11，对配置分析部15以及工序分析部16的分析方法的例进行说明。图9以及图10是用于说明部件的配置分析的例子的图。另外，图11是用于说明工序分析的例子的图。
图9是对部件在作业台上的配置分析的例子进行说明的图。在图9的例子中，配置分析部15通过将时序图所包含的工序的顺序和作为基准的作业所包含的基准工序的顺序进行对比来分析放置于各作业台的部件的配置。图9所示的时序图T90的纵轴为工序，横轴为时间。另外，作为基准的作业的基准工序是“基准工序：A→B→C→D→E→F→G”。
在图9所示的时序图T90中，作业者实施过的实绩工序为“实绩工序：A→B→C→D→C→D→C→E→F→G”。从工序C到工序E(在图9的时序图T90中由矩形围起的部分)的工序与基准工序不同。该情况下，认为作业者为了将在工序C中所使用的部件放置于作业台D而反复在作业台C与作业台D之间的移动。这样，在由作业者进行的实绩工序的顺序与基准工序的顺序不同的情况下，配置分析部15针对部件的配置分析为需要改善。
图10是对基于评分的部件的配置分析的例子进行说明的图。图10示出在各工序间迁移时的分数。假设基准工序为“基准工序：A→B→C→D→E”进行说明。对于基准工序的分数的合计(以下，称为得分)，在工序间每移动一次时就+1，基准工序的得分＝5。
计算以下的三个模式得分。
模式1：A→B→C→D→E得分＝4
模式2：A→B→C→B→C→D→E得分＝6
模式3：A→B→D→B→C→D→E得分＝8
若基于图10所示的分数来计算各模式的得分，则由于模式1与基准工序相同，所以得分＝4。模式2除了基准工序之外还产生“(B)→C→B”的工序，得分＝6。模式3除了基准工序之外还产生“(B)→D→B”的工序，所以得分＝8。
在这样计算出的实绩工序的得分为规定的阈值以上的情况下，配置分析部15针对部件的配置分析为需要改善。例如，在将规定的阈值设为7的情况下，配置分析部15能够将模式1以及模式2的实绩工序判定为正常，并判定为需要改善模式3的实绩工序。
针对图10所例示的工序间的迁移的追加的分数、以及用于判定是否需要改善的规定的阈值并不限于上述的例子。例如，针对工序间的迁移的追加的分数也可以设为与工序所对应的作业台间的距离对应的分数。另外，规定的阈值也可以根据一系列的作业所包含的工序的数量而增减。
图11是对工序分析的例子进行说明图。图11所示的分析结果T110包括工序、标准时间、第一次、第二次的字段。工序字段表示各作业者实施的作业所包含的工序。标准时间字段表示为了实施各工序的作业而假设的标准时间。标准时间是根据各工序的作业内容而预先决定的时间，储存至工序管理表12。在图11的例子中，标准时间的单位为分钟。第一次字段表示在第一次的作业中各工序的实施所需要的作业时间。第二次字段表示在第二次的作业中各工序的实施所需要的作业时间。第一次字段以及第二次字段所示的时间的单位为分钟。另外，第一次字段以及第二次字段表示作业时间、及相对于标准时间的增减的比例。在各工序的作业时间缩短规定的比例以上例如缩短80％以上的情况下，工序分析部16能够分析为作业者遗漏该工序的作业。
在图11的例子中，第二次的作业中的工序B的作业时间为1，与标准时间5相比较，缩短80％。如果将规定的比例设为80％，则工序分析部16分析为在第二次的作业中，工序B是作业遗漏。在除了作业遗漏之外，在各工序的作业时间增长规定的比例的情况下，工序分析部16能够分析为实施了额外的作业。
在图3的步骤S26中，输出部17将在步骤S24中所生成的时序图以及在步骤S25中分析的结果显示于作业分析装置1具备的显示器等。输出部17也可以根据用户的指示切换时序图的显示和分析结果的显示。另外，输出部17也可以根据用户的指示切换时序图的显示方式(例如，表形式、图表等显示方式)。
＜实施方式的作用效果＞
在上述实施方式中，作业分析装置1能够基于作业者的位置以及方向更准确地掌握作业者正在对哪个作业台进行作业，即，正在实施哪个工序。
作业分析装置1通过时序图生成部14生成时序图。配置分析部15能够通过将时序图所包含的工序与作为基准的作业的基准工序进行对比而针对部件的配置分析是否需要改善。另外，配置分析部15也可以基于为工序间的迁移所设定的分数对时序图所示的工序的流程进行评分。配置分析部15通过对时序图所包含的工序间的迁移进行评分，能够灵活地分析是否需要改善。
工序分析部16能够基于时序图所包含的工序的由作业者进行的作业时间更准确地分析是否有作业遗漏。
＜其它＞
上述实施方式只是例示性地说明本发明的构成例。本发明并不限于上述的具体的方式，能够在其技术思想的范围内进行各种变形。例如，图10所示的追加的分数以及规定的阈值、图11中用于分析作业遗漏的规定的比例等只是用于说明的例示。图10所示的追加的分数也可以根据工序间的移动距离而使追加的分数增减。
另外，在上述实施方式中，作为生成的时序图的显示方式，例示了图7所示的表形式以及图8所示的曲线图的方式，但并不限于此。时序图也可以以在图7的表中更换行列的方式显示。另外，也可以通过棒状图、圆形图等各种形态的图表显示时序图。
＜附记1＞
(1)一种作业分析装置(1)，其是分析包括多个工序的作业的作业分析装置(1)，其特征在于，包括：
接收部(10)，接收作业区域的拍摄图像；
检测部(11)，分析上述拍摄图像，检测在上述作业区域进行作业的作业者的位置以及方向；
判定部(13)，基于上述作业者的位置以及方向，判定上述作业者作业中的工序；以及
生成部(14)，按照每个上述工序计测作业时间，生成表示上述作业者实施过的作业的工序的时序图。
(2)一种作业分析方法，其是分析包括多个工序的作业的作业分析方法，其特征在于，包括：
接收步骤(S20)，接收作业区域的拍摄图像；
检测步骤(S21)，分析上述拍摄图像，检测在上述作业区域进行作业的作业者的位置以及方向；
判定步骤(S22)，基于上述作业者的位置以及方向，判定上述作业者作业中的工序；以及
生成步骤(S23)，按照上述作业中的每个工序计测作业时间，生成上述作业者实施过的作业的时序图。
附图标记说明
1：作业分析装置；101：处理器；102：主存储装置；103：辅助存储装置；104：通信I/F；105：输出装置；10：接收部；11：检测部；11A：人体检测部；11B：位置检测部；11C：方向检测部；12：工序管理表13：判定部；14：时序图生成部；15：配置分析部；16：工序分析部；17：输出部；2：相机。

Claims (8)

1.一种作业分析装置，其是分析包括多个工序的作业的作业分析装置，其特征在于，具备：
接收部，接收作业区域的拍摄图像；
检测部，分析所述拍摄图像，检测在所述作业区域进行作业的作业者的位置以及方向；
判定部，基于所述作业者的位置以及方向，判定所述作业者作业中的工序；以及
生成部，按照每个所述工序计测作业时间，生成表示所述作业者实施过的作业的工序的时序图。
2.根据权利要求1所述的作业分析装置，其特征在在于，
还具备拍摄部，所述拍摄部拍摄所述拍摄图像并发送给所述接收部。
3.根据权利要求1或2所述的作业分析装置，其特征在于，
还具备配置分析部，所述配置分析部将所述时序图所包含的工序与作为基准的作业所包含的基准工序进行对比，针对在与所述基准工序对应的作业台上的部件的配置分析是否需要改善。
4.根据权利要求3所述的作业分析装置，其特征在于，
在所述时序图所包含的工序的顺序与所述基准工序的顺序不同的情况下，所述配置分析部针对所述部件的配置分析为需要改善。
5.根据权利要求3所述的作业分析装置，其特征在于，
所述配置分析部对所述时序图所包含的工序间的迁移进行评分，并在针对各工序间的迁移的分数的合计为规定的阈值以上的情况下，针对所述部件的配置分析为需要改善。
6.根据权利要求1至5中任一项所述的作业分析装置，其特征在于，
还具备工序分析部，在所述时序图所包含的工序的由所述作业者进行的作业时间相对于预先为该工序决定的标准时间缩短规定的比例以上的情况下，所述工序分析部分析为所述作业者遗漏该工序的作业。
7.一种作业分析方法，其是分析包括多个工序的作业的作业分析方法，其特征在于，包括：
接收步骤，接收作业区域的拍摄图像；
检测步骤，分析所述拍摄图像，检测在所述作业区域进行作业的作业者的位置以及方向；
判定步骤，基于所述作业者的位置以及方向，判定所述作业者作业中的工序；以及
生成步骤，按照所述作业中的每个工序计测作业时间，生成所述作业者实施过的作业的时序图。
8.一种程序，用于使计算机执行权利要求7所述的作业分析方法的各步骤。
CN202080032397.6A 2019-05-09 2020-02-19 作业分析装置、作业分析方法及程序 Pending CN113811825A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-088930 2019-05-09
JP2019088930A JP7234787B2 (ja) 2019-05-09 2019-05-09 作業分析装置、作業分析方法およびプログラム
PCT/JP2020/006530 WO2020225958A1 (ja) 2019-05-09 2020-02-19 作業分析装置、作業分析方法およびプログラム

Publications (1)

Publication Number Publication Date
CN113811825A true CN113811825A (zh) 2021-12-17

Family

ID=73044632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080032397.6A Pending CN113811825A (zh) 2019-05-09 2020-02-19 作业分析装置、作业分析方法及程序

Country Status (5)

Country Link
US (1) US20220215327A1 (zh)
JP (1) JP7234787B2 (zh)
CN (1) CN113811825A (zh)
DE (1) DE112020002321T5 (zh)
WO (1) WO2020225958A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7395988B2 (ja) * 2019-11-22 2023-12-12 オムロン株式会社 作業指示システムおよび作業指示方法
JP2023132997A (ja) * 2022-03-11 2023-09-22 オムロン株式会社 作業認識装置、作業認識方法、及び作業認識プログラム
JP2024041592A (ja) 2022-09-14 2024-03-27 トヨタ自動車株式会社 作業状況監視システム、作業状況監視方法、及び、作業状況監視プログラム
KR102513608B1 (ko) * 2022-11-24 2023-03-22 방재웅 건설공사의 품질 관리를 위한 스마트 검측 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293757A (ja) * 2005-04-12 2006-10-26 Sharp Corp 設備位置自動調整システム
WO2007100138A1 (ja) * 2006-03-03 2007-09-07 Jasi Corporation 労働者単位で管理する生産管理システム
JP2012022602A (ja) * 2010-07-16 2012-02-02 Mitsubishi Electric Corp 作業改善分析システム
JP2015022156A (ja) * 2013-07-19 2015-02-02 日立Ｇｅニュークリア・エナジー株式会社 運転訓練再生装置
WO2016098265A1 (ja) * 2014-12-19 2016-06-23 富士通株式会社 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置
WO2016121076A1 (ja) * 2015-01-30 2016-08-04 株式会社日立製作所 倉庫管理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180743A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 作業管理装置、作業管理方法およびプログラム記憶媒体
JP7119532B2 (ja) 2018-04-20 2022-08-17 コニカミノルタ株式会社 生産性向上支援システムおよび生産性向上支援プログラム
US10866579B2 (en) * 2019-03-01 2020-12-15 Toyota Motor Engineering & Manufacturing North America, Inc. Automated manufacturing process tooling setup assist system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293757A (ja) * 2005-04-12 2006-10-26 Sharp Corp 設備位置自動調整システム
WO2007100138A1 (ja) * 2006-03-03 2007-09-07 Jasi Corporation 労働者単位で管理する生産管理システム
JP2012022602A (ja) * 2010-07-16 2012-02-02 Mitsubishi Electric Corp 作業改善分析システム
JP2015022156A (ja) * 2013-07-19 2015-02-02 日立Ｇｅニュークリア・エナジー株式会社 運転訓練再生装置
WO2016098265A1 (ja) * 2014-12-19 2016-06-23 富士通株式会社 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置
WO2016121076A1 (ja) * 2015-01-30 2016-08-04 株式会社日立製作所 倉庫管理システム

Also Published As

Publication number Publication date
DE112020002321T5 (de) 2022-01-27
JP2020184250A (ja) 2020-11-12
WO2020225958A1 (ja) 2020-11-12
JP7234787B2 (ja) 2023-03-08
US20220215327A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
CN113811825A (zh) 作业分析装置、作业分析方法及程序
JP5398341B2 (ja) 物体認識装置及び物体認識方法
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
JP6587489B2 (ja) 画像処理装置、画像処理方法および画像処理システム
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN104811660A (zh) 控制装置及控制方法
CN110738135A (zh) 一种工人作业工步规范视觉识别判定与指导方法及系统
CN112189210A (zh) 作业分析装置和作业分析方法
US20180144206A1 (en) Setting apparatus, setting method, and storage medium
WO2022014252A1 (ja) 情報処理装置および情報処理方法
JP7222231B2 (ja) 行動認識装置、行動認識方法及びプログラム
US10872422B2 (en) Information processing device, imaging device, information processing method, and storage medium
JP2009032033A (ja) 動作境界検出方法および作業分析システム
US20130265420A1 (en) Video processing apparatus, video processing method, and recording medium
EP3477544A1 (en) Information processing apparatus, information processing method, imaging apparatus, network camera system, and program
US20220050009A1 (en) Structure deflection measurement apparatus
US20220122290A1 (en) Visual Line Analysis Apparatus, Visual Line Analysis Method, and Visual Line Analysis System
US20230062785A1 (en) Estimation apparatus, estimation method, and computer program product
CN116134480A (zh) 图像处理装置、图像处理方法以及程序
JP7161684B2 (ja) データ取得装置、及びデータ処理方法
US11610385B2 (en) Information processing apparatus, control method, and non-transitory storage medium
US10952648B2 (en) Measurement device and measurement method
WO2022239291A1 (ja) 物体検知装置及び方法
JP2019192155A (ja) 画像処理装置、撮影装置、画像処理方法およびプログラム
JP7129209B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination