CN117480512A - 移动式作业分析设备及作业分析方法 - Google Patents

Abstract

一种移动式作业分析设备1被用于在记录作业运动图像时基于流水线作业的作业运动图像进行作业分析。该移动式作业分析设备1包括：第一边界设置单元，其被配置为接收用户操作的输入，并且在作业运动图像上为每个作业元素设置边界；边界检测单元，其被配置为检测与每个工序相关联的识别信息，通过该识别信息识别流水线作业中的第一工序的作业与第二工序的作业之间的边界；和第二边界设置单元，其被配置为当检测到与第二工序相关联的识别信息时，基于该识别信息，在作业运动图像上自动设置第一工序的作业与第二工序的作业之间的边界。

Description

移动式作业分析设备及作业分析方法

技术领域

本发明涉及一种移动式作业分析设备和作业分析方法，并且更具体地，涉及一种能够记录作业的运动图像并基于作业的运动图像来执行作业分析的移动式作业分析设备和作业分析方法。

背景技术

在相关技术中，存在能够捕捉作业的图像，显示作业的运动图像(在下文中，称为作业运动图像)并分析作业的操作以便“可视化”人、机器和物体的运动或时间从而实现生产现场的作业时间、劳动力消耗和成本的减少的作业分析设备。

另外，在上述作业分析设备中，存在便携式的移动式作业分析设备(例如，参照专利文献1、2)，以便捕捉在包括多个工序的流水线作业(line work)中的每个工序的作业的图像，。

专利文献1：JP-A-2002-288703

专利文献2：JP-A-2013-211000

发明内容

技术问题

根据如上所述的移动式作业分析设备，作业分析员可以记录作业运动图像并且基于作业运动图像实时执行作业分析。因此，作业分析员的负担重，因此需要一种使得作业分析员能够高效地执行作业分析的技术。

特别是，希望有能够在包括多个工序的流水线作业中为每个工序指定作业元素，并能够高效地分析作业元素的技术。

本发明是鉴于上述问题而完成的，本发明的目的在于提供一种作业分析员可以通过其记录作业运动图像，并基于作业运动图像执行作业分析的移动式作业分析设备以及作业分析方法。

技术方案

为了解决上述问题，本发明的第一方面涉及一种移动式作业分析设备，包括：图像捕捉单元，其被配置为捕捉作业的图像并记录作为作业的运动图像的作业运动图像。移动式作业分析设备被配置为记录作业运动图像并基于作业运动图像来执行作业分析，并且在包括多个工序的作业期间，移动式作业分析设备是便携式的，以捕捉工序中的每个工序的作业的图像。移动式作业分析设备还包括：第一边界设置单元，其被配置为接收用户操作的输入，以及在由图像捕捉单元记录的作业运动图像上为每个作业元素设置边界；边界检测单元，其被配置为检测识别信息，通过该识别信息识别该作业中的第一工序的作业与在第一工序之后的第二工序的作业之间的边界；第二边界设置单元，其被配置为当检测到该识别信息时，基于该识别信息，在该作业运动图像上设置作业元素之间的边界，该作业元素是第一工序的作业和第二工序的作业；类型指定单元，其被配置为为通过由该第一边界设置单元和第二边界设置单元设置边界而限定的作业元素中的每个作业元素，指定包括有效操作和无效操作中的至少一者的类型，该有效操作指示在该作业中已经执行有效操作，该无效操作指示在该作业中已经执行无效操作；和存储单元，其被配置为存储由类型指定单元为其指定类型的作业元素。

为了解决上述问题，本发明的第二方面涉及一种由移动式计算机执行的作业分析方法，该移动式计算机包括图像捕捉单元，其被配置为捕捉作业的图像并且记录作为作业的运动图像的作业运动图像，该移动式计算机被配置为记录该作业运动图像并且基于该作业运动图像来执行作业分析，并且在包括多个工序的作业期间，该移动式计算机是便携式的，以捕捉工序中的每个工序的作业的图像。该作业分析方法包括：接收用户操作的输入，并在由图像捕捉单元记录的作业运动图像上为每个作业元素设置边界；检测识别信息，通过该识别信息来识别该作业中的第一工序的作业与在该第一工序之后的第二工序的作业之间的边界；当检测到该识别信息时，基于该识别信息，在该作业运动图像上设置作业元素之间的边界，该作业元素是该第一工序的作业和该第二工序的作业，为通过设置该边界而限定的作业元素中的每个作业元素，指定包括有效操作和无效操作中的至少一者的类型，该有效操作指示在该作业中已经执行了有效操作，该无效操作指示在该作业中已经执行了无效操作，并且存储为其指定该类型的作业元素。

有益效果

根据本发明的移动式作业分析设备和作业分析方法，作业分析员能够记录作业运动图像，并且基于作业运动图像来执行作业分析。另外，在作业的分析中，可以为每个工序指定作业元素，并且能够高效地分析作业元素。

附图说明

图1是实施例的作业分析系统的整体配置图；

图2示出了作业分析系统的硬件配置；

图3示出了作业分析系统的功能；

图4示出了菜单屏幕的示例；

图5A示出了图像捕捉屏幕的示例；

图5B示出了作业元素列表显示在图像捕捉屏幕上的状态；

图6示出了作业分析屏幕的示例；

图7示出了周期分析屏幕的示例；

图8示出了堆叠分析屏幕的示例；

图9示出作业元素列表数据的示例；

图10示出了作业相关数据的示例；以及

图11是示出作业分析方法的示例的过程流程图。

具体实施方式

以下，将参考图1至图11描述本发明的实施例。

如图1所示，本实施例的作业分析系统S主要包括：在捕捉作业的图像并记录作业的动态图像的同时实时执行作业分析时使用的移动式作业分析设备1、和通过网络与作业分析设备1连接，从作业分析设备1获取与作业分析相关的分析数据并在基于该分析数据创建作业分析(详细分析)或作业标准时使用的外部分析设备100。

在本实施例中，术语“作业”是由相互关联地执行的多个工序构成的流水线作业或单元式(cell)作业，并且包括由工人执行的作业和由机器(诸如机器人)执行的作业。

术语“流水线作业”是指一系列的工序的集合(aggregate)，并且是通过将工序按预定线形状排列的被称为流水线生产法的方法执行的作业。另外，术语“单元式作业”是指一系列的工序的集合，并且是通过将工序按流水线作业的预定线形状中的特殊形状(诸如U形、两条平行线形)排列的被称为单元式生产法的方法执行的作业流水线作业。由于此类单元式作业是一种类型的流水线作业，因此在下文中，“单元式作业”也包括在被称为流水线作业的作业中。

例如，可以例示通过诸如接合、分离和处理的各个工序来组装产品或组装件的组装线。术语“工序(工序的作业)”表示一系列作业元素的集合，并且其示例包括发动机安装(attachment)、保险杠安装、轮胎安装等。

术语“作业元素”表示一系列操作的集合，并且其示例包括衬套(bush)的制备、衬套设置位置的确认、衬套的设置以及车身的组装。术语“操作”表示当细分作业时的最小单位。

<作业分析系统的硬件结构>

如图1所示，作业分析设备1是执行作业分析的分析员所使用的移动终端，并且该作业分析设备1是便携式的，以便在包括多个工序的流水线作业期间，捕捉每个工序的作业的图像。

如图5A和图5B所示，作业分析设备1可以在显示作业运动图像时实时地执行作业分析(实时分析)，或者如图6所示，可以在图像捕捉之后显示作业运动图像时针对每个周期执行作业分析(作业时间分析)。

另外，作业分析设备1也可以显示如图7所示的周期分析屏幕或如图8所示的堆叠分析屏幕，然后执行确认每个周期的作业(作业元素)的变化(variation)的周期分析。此时的周期包括一个或多个工序，并且是在其期间组装某一产品或组装件的一系列工序的集合，这表示简单“流水线作业”。

在作业分析设备1中执行的作业分析和周期分析也被称为“简单分析”和“第一作业分析”。

具体地，如图2所示，作业分析设备1是移动式计算机，其包括用作数据运算和控制处理设备的CPU 2、包括ROM、RAM和HDD(SSD)的存储设备3、通过网络发送和接收信息数据的通信接口4、显示以字符或图像的形式的信息的显示单元5、当预定命令要输入到CPU时由用户操作的输入单元6，以及捕捉作业的图像并记录作业运动图像的图像捕捉单元7(具体地，图像捕捉相机)。

作业分析设备1针对每个周期以划分的方式存储由图像捕捉单元7记录的作业运动图像(作业运动图像数据)。另外，也可以针对每个工序以划分的方式存储作业运动图像。

作业分析设备1的存储设备3除了存储执行作为计算机所必需的功能的主程序之外，还存储作业分析程序，并且通过由CPU执行该程序来展示作业分析设备1的功能。

如图2所示，作业分析设备1还可以经由网络与外部分析设备100进行通信，并且发送与作业分析相关的分析数据(严格地说，简单分析数据)。作为分析数据，具体地，除了“作业运动图像数据”之外，还发送图10所示的“作业相关数据”。当然，也可以发送在作业分析设备1中执行的简单分析之后的分析数据。

如图1和图2所示，外部分析设备100是外部分析员使用的计算机，并且包括CPU101、存储设备102、通信接口103、显示单元104、输入单元105、输出以文字或图像形式的信息的输出单元106，类似于作业分析设备1。

外部分析设备100可以经由网络与作业分析设备1进行通信，接收与作业分析相关的分析数据，并基于分析数据来执行作业分析。可替代地，外部分析设备100也可以与作业分析设备1执行实时通信，与作业现场的分析员一起共享作业运动图像，并且基于作业运动图像来执行作业分析(实时分析)和与作业有关的作业注释的分配。

在外部分析设备100中执行的作业分析也被称为“详细分析”或“第二作业分析”。第二作业分析包括第一作业分析，并且是不同于第一作业分析的作业分析。

更具体地，作为更详细的分析内容，外部分析设备100接收用户操作的输入，为每个作业元素设置“评级率”，并计算“作业标准时间”。另外，也可以为每个作业元素设置“分类”或“作业类型”。

术语“评级率”是指用于基于预定标准对物体进行分类或数字化的数值。例如，“评级率”是用于评估在作业运动图像中显示的工人是否成熟、工人是否熟悉作业等的评估值。

术语“作业标准时间”是指具有作业适宜性的成熟工人在预定作业条件下以正常作业步调(具有必要的空闲时间)进行作业所需的时间。通常通过相对于有效操作时间对额定速率进行积分来计算作业标准时间。

术语“分类”是指通过针对每个作业元素从“操作”、“半操作”和“非操作”的分类中选择一个而输入的项目。术语“操作”表示人正在作业的状态，术语“半操作”表示机器正在运转的状态，并且术语“非操作”表示人和机器都不运转的待机状态。

术语“作业类型”例如是指针对每个作业元素从“手工作业”、“工具作业”、“机械作业”的分类中选择一个而输入的项目。

由外部分析设备100生成的分析数据(严格地说，详细分析数据)与不同于简单分析数据的信息相关联，并且响应于来自作业分析设备1的数据请求而从外部分析设备100发送到作业分析设备1。作业分析设备1可以接收并输出详细分析数据。

结果，当分析员想要确认比第一作业分析更详细的分析内容时，分析员可以向外部请求第二作业分析，并且可以确认作业分析设备1中的第二作业分析的结果。

这意味着，可以根据作业的重要性和改进内容的考虑程度来执行作业分析，并且分析员和工人可以通过任何作业分析(第一作业分析和第二作业分析)输出和确认作业分析设备1的作业结果。

<作业分析系统的功能>

如图3所示，当从功能方面进行描述时，作业分析设备1包括存储诸如“作业运动图像数据”、“作业元素列表数据”和“作业相关数据”的各种程序和各种类型的数据的存储单元10、屏幕显示单元11、边界设置单元12、边界检测单元13、第二边界设置单元14、作业时间计算单元15、类型指定单元16、工人信息获取单元17、分析数据生成单元18、通信单元19和分析数据输出单元20，作为主要构成要素。

这些构成要素由CPU、ROM、RAM、HDD、通信接口、各种程序等来配置。

当也从功能方面对外部分析设备100进行描述时，外部分析设备100包括存储各种程序和各种类型的数据的存储单元110、向作业分析设备1发送各种类型的数据以及从作业分析设备1接收各种类型的数据的通信单元111、显示作业分析屏幕的屏幕显示单元112、以及接收用户操作的输入并执行作业分析的分析执行单元113，作为主要构成要素。

以下，将详细描述作业分析设备1的功能。尽管在本实施例中，作业分析设备1被配置为包括存储单元10，但本实施方式仅为一个示例，并且存储单元10也可以在设置在作业分析设备1之外的外部存储设备中实施。在该情况下，作业分析设备1和外部存储设备可以经由通信路径彼此连接。

<<分析屏幕的显示>>

屏幕显示单元11例如接收用户操作的输入，执行安装在作业分析设备1中的软件，并显示作为用户登录时的初始屏幕的“菜单屏幕”。

具体地，如图4所示，屏幕显示单元11显示允许用户从多个选择项中选择预定选择项的列表屏幕作为菜单屏幕30。

当屏幕显示单元11接收菜单屏幕30上的选择项31“捕捉运动图像”的用户选择时，屏幕转换到图5A所示的图像捕捉屏幕40。另外，当接收菜单屏幕30上的选择项32“分析作业”的用户选择时，屏幕转换到图6所示的作业分析屏幕50。此外，屏幕可以从作业分析屏幕50转换到图7所示的周期分析屏幕60或图8所示的堆叠图屏幕70。

术语“用户操作”被假定为由用户执行的触摸面板操作，并且还可以是除了触摸面板操作之外的操作，例如，由语音执行的操作、手势操作等。

这里，图5A和图5B中所示的“图像捕捉屏幕40”是用于记录作业运动图像并基于作业运动图像实时执行作业分析的显示屏幕。

“作业分析屏幕50”、“周期分析屏幕60”和“堆叠图屏幕70”是用于在记录作业运动图像之后执行作业分析的显示屏幕，并且分析员通过根据作业分析的目的切换显示屏幕来使用显示屏幕。

在图6所示的“作业分析屏幕50”上，可以显示图像捕捉之后的作业运动图像，并且针对每个周期将其划分为作业元素，然后可以执行作业元素时间的计算、类型设置等。在图7所示的“周期分析屏幕60”上显示作业元素列表，而在图8所示的“堆叠图屏幕70”上显示堆叠图，然后可以执行确认每个周期的作业(作业元素)的变化、作业元素的重新布置、工序的组织(重组、置换、重新布置)。

屏幕显示单元11包括运动图像显示单元11a、操作按钮显示单元11b、作业元素列表显示单元11c、位置信息显示单元11d和堆叠图显示单元11e，作为特定的功能单元。

运动图像显示单元11A在显示屏幕上显示通过捕捉作业的图像而获得的“作业运动图像”，并且具体地，在图5A和图5B所示的图像捕捉屏幕40上实时显示作业运动图像41，并且在图6所示的作业分析屏幕50上显示图像捕捉之后的作业运动图像51。

尽管在本实施例中，将图6所示的作业分析屏幕描述为在图像捕捉之后显示作业运动图像的示例，但是当分析员执行预定屏幕改变操作时，还可以临时显示作业分析屏幕以代替图5A或图5B，或者直到执行新的屏幕改变操作为止。

操作按钮显示单元11b接收用户的操作，在显示屏幕上显示被配置为为每个作业元素设置用于划分实时显示的作业运动图像的边界的“边界设置按钮”和被配置为针对通过设置边界而定义的每个作业元素指定指示已经作为作业执行有效操作的有效操作或者指示已经作为作业执行无效操作的无效操作的“类型指定按钮”。

具体地，操作按钮显示单元11b在图5A所示的图像捕捉屏幕40上与作业运动图像41的一部分重叠的位置(具体地，右端位置)处显示边界设置按钮42和类型指定按钮43。在该情况下，每个操作按钮是由软件实施的操作按钮，并且也可以单独设置由硬件构成的操作按钮，并且也可以通过此类操作按钮来执行操作。

另外，操作按钮显示单元11b在图像捕捉屏幕40上显示被配置为执行图像捕捉的开始和停止(临时停止)的图像捕捉执行按钮44和被配置为当一个周期的作业的图像捕捉完成时切换到下一个周期的作业的图像捕捉的周期切换按钮45。

在本实施例中，“边界”是指边界上的点，该边界是线。

在图像捕捉屏幕40上，边界设置按钮42、类型指定按钮43、图像捕捉执行按钮44和周期切换按钮45在显示屏幕的右端位置处布置在一条线上。

因此，当分析员用手握持作业分析设备1时，例如，分析员可以仅用右手的拇指容易地操作按钮42至45。

当接收到对边界设置按钮42执行的预定用户操作(例如，操作按钮上的长按操作)时，可以通过使用人工智能(AI)的图像识别在作业运动图像上自动设置边界(自动设置一直持续到由用户操作释放)。

另外，当接收到对类型指定按钮43的预定用户操作时，可以为作业元素指定“有效操作”、“无效操作”、“不必要的操作”和“验证操作”中的类型。此时的类型是针对通过设置边界来划分捕捉的作业运动图像而获得的每个作业元素指示该作业元素的作业的认证结果的信息。也就是说，类型是在分析员实时执行的作业分析中认证的认证结果。

此时的术语“有效操作”和术语“无效操作”表示如上所述的操作。另外，术语“不必要的操作”是指作为作业而有效的操作，但是是被识别为的“不必要”的操作(不同于无效操作的操作)作为分析结果。此外，术语“验证操作”是指不能被识别为“有效操作”或“无效操作”并且被识别为需要进一步验证的操作。在如图6所示的作业分析屏幕上，类型被设置为“验证操作”的作业元素可以被改变为“有效操作”、“无效操作”和“不必要的操作”。

当接收到对操作按钮的向上拖动操作时，可以指定“有效操作”，当接收到向下拖动操作时，可以指定“无效操作”，当接收到向左拖动操作时，可以指定“不必要的操作”，并且当接收到向右拖动操作时，可以指定“验证操作”。

作业元素列表显示单元11c在显示屏幕上显示“作业元素列表数据”，该“作业元素列表数据”包括关于每个所定义的作业元素的作业时间的信息，以及关于合计每个作业元素的作业时间的总时间的信息。

这里，如图9所示，“作业元素列表数据”是指示作业(流水线作业)中的每个作业元素的详细信息的数据表，并通过接收用户操作的输入(也可以是自动输入)等而创建并更新。

具体地，“作业元素列表数据”包括“作业时间信息”和所有作业元素的“总时间信息”，并且存储在存储单元10中，其中，至少用于识别作业元素的识别号(No.)、作业元素名称、作业时间和类型彼此相关联。

另外，作业时间包括关于所有周期的平均作业时间、最大作业时间、最小作业时间和每个周期的作业时间的信息。

参照图9所示的“作业元素列表数据”，可以看出，在识别号“1”和作业元素名称“作业元素1-1”下，周期3的作业时间“10.50(秒)”是最佳的一圈(lap)(最小时间)，并且周期1的作业时间“12.00秒”是最差的一圈(最大时间)。另外，可以看出，其类型是“有效(有效操作)”。

应当注意，周期3表示第三周期，而周期1表示第一周期。

如图5A和图5B所示，作业元素列表显示单元11c在图像捕捉屏幕40上与作业运动图像41的一部分重叠的位置处弹出并显示作业元素列表46。然后，接收用户操作等的输入，并且更新作业元素列表46中的关于作业元素的信息和关于作业时间(总时间)的信息。

随着作业元素列表46的信息的更新，“作业元素列表数据”的信息也被更新并存储在存储单元10中。

在作业元素列表46中，除了关于识别号(No.)、作业元素名称、作业时间、类型的信息之外，还显示关于当前正在捕捉图像的作业的周期、作业的总时间的信息。

另外，对预定的作业元素赋予指示作业时间在全部周期中是最好的一圈或最差的一圈的指示标记46a、46b，和指示作业时间比前一周期更早或更晚的指示标记46c、46d。

也可以对每个预定的作业赋予指示与预先设置的基准时间相比误差最小、误差最大的指示标记。

通过这样做，可以在作业现场执行良好作业、不良作业等的分析，并且因此工人可以立即做出作业的改进建议。另外，也可以提出作业元素的组织(重组、替换和重新布置)。

参照图5B中所示的作业元素列表46，可以看出，识别号“1”和作业元素名称“作业元素1-1”下的周期3的作业时间“10.50(秒)”是最佳的一圈，并且识别号“2”和作业元素名称“作业元素1-2”下的周期3的作业时间“12.50(秒)”是最差的一圈(参见指示标记46a和46B)。

另外，可以看出，识别号“3”和作业元素名称“作业元素1-3”下的周期3的作业时间“9.50(秒)”比周期2的作业时间更早(参见指示标记46c)。

尽管在本实施例中，以数值显示作业时间和作业元素列表46的总时间，但本实施例仅是一个示例，也可以使用图表显示或图示显示。

另外，作业元素列表显示单元11c可以在与图6所示的作业分析屏幕50中显示作业运动图像51的显示区域(显示窗口)不同的显示区域中显示作业元素列表52，并且可以在图7所示的周期分析屏幕60上的整体显示区域上显示作业元素列表61。

在图6所示的作业分析屏幕50的作业元素列表52中，显示关于识别号(No.)、作业元素名称、作业时间、类型、总时间、周期的信息。当由用户操作周期切换按钮53和54时，可以切换要分析的周期(“周期3”可以切换到另一周期)。

在图7所示的周期分析屏幕60的作业元素列表61中，还包括关于识别号(No.)、作业元素名称、全部周期的平均作业时间、最大作业时间、最小作业时间、每个周期的作业时间、类型的信息，还包括作业元素的总时间的信息。

优选地，以不同的显示模式显示在所有周期中最佳的一圈和最差的一圈的周期。

位置信息显示单元11d在显示屏幕上显示当前正在捕捉其图像的作业场所(工序的作业场所)的“位置信息”。位置信息是由边界检测单元13检测的位置信息，并且是通过检测在每个工序的作业场所提供的识别标记M或通过从外部基站ST接收GNSS信号而计算的位置信息。

具体地，如图5B所示，位置信息显示单元11d可以在图像捕捉屏幕40上与作业运动图像41的一部分重叠的位置处显示位置信息47。

在位置信息47中，显示当前正在捕捉其图像的作业场所“第二工序”。因此，可以指定当前图像捕捉地点是流水线作业中的哪个工序的作业场所。在本实施例中，可以指定正在捕捉其图像的作业(作业元素)是“第二工序”的作业(作业元素)。

位置信息47不限于是工序的名称，并且还可以是与每个工序相关联的作业场所的名称或地理信息(地理坐标)。

堆叠图显示单元11e显示横轴表示周期而纵轴表示作业时间的图表，其是针对每个周期依次堆叠作业元素以形成柱状图的堆叠图。

具体地，堆叠图显示单元11e在图8所示的堆叠图屏幕70上显示堆叠作业元素的堆叠图71和指示由用户设置的作业节拍时间的时间线72。

在堆叠图屏幕70上，分析员可以比较各个周期的堆叠图71和根据时间线72的各个周期的层级(level)作业(作业元素)。

当分析流水线作业时，堆叠图显示单元11e也可以显示横轴表示工序而纵轴表示作业时间的图表，其是针对每个工序依次堆叠作业元素的堆叠图。通过使用堆叠图，分析员可以组织工序。

<<作业元素的边界设置>>

边界设置单元12接收预定的用户操作的输入，并且在作业运动图像上为每个作业元素设置边界。

具体地，边界设置单元12接收由用户在图5A所示的图像捕捉屏幕40上执行的对边界设置按钮42的按压操作，并且在正在捕捉的作业运动图像41上设置边界。通过设置边界，针对每个作业元素划分正在捕捉其图像的作业(添加新的作业元素)。

另外，边界设置单元12还可以接收由用户在图6所示的作业分析屏幕50上轻击作业运动图像51的操作，并且在图像捕捉之后的作业运动图像51上设置边界。通过设置边界，针对每个作业元素划分图像捕捉之后的作业。

如上所述，边界设置单元12可以在正在捕捉的作业运动图像41上实时设置边界，以便将作业划分为作业元素，并且可以类似地在图像捕捉之后的作业运动图像51上设置边界，以便将作业划分为作业元素。

在作业分析屏幕50的预定位置(下端位置)处显示指示正在再现作业运动图像51的再现时间点的进度条55。在进度条55上设置由边界设置单元12设置的边界55a。此时，通过接收由用户对预定边界55a执行的拖动操作，可以精细地调整边界55a的位置(可以精细地调整预定作业元素的作业时间)。

边界检测单元13检测用于识别工序的“识别信息”，以便识别流水线作业中的第一工序的作业和在第一工序之后的第二工序的作业之间的边界。“识别信息”可以与每个工序相关联，并且在该情况下，可以识别由边界定义的工序。尽管下面将描述检测与每个工序相关联的识别信息的情况，但是本发明不限于此。

当检测到与第二工序相关联的“识别信息”时，第二边界设置单元14基于识别信息在作业运动图像上设置第一工序的作业(作业元素)与第二工序的作业(作业元素)之间的边界。

在本实施例中，“识别信息”对应于图1中所示的设置在每个工序的作业位置处的“识别标记M”或通过从图1中所示的外部基站ST接收GNSS信号而计算的“位置信息”。当然，识别信息不限于识别标记或位置信息，并且作为要识别的目标的“作业设备”、“信标”等也可以被采用作为识别信息。

具体地，如图1所示，边界检测单元13(也称为标记检测单元)通过作业运动图像检测设置在每个工序的作业位置处的“识别标记M”作为“识别信息”。

然后，例如，当检测到设置在第二工序的作业位置处的识别标记M时，第二边界设置单元14基于识别标记M在作业运动图像上自动设置边界。

换句话说，第二边界设置单元14以检测到第二工序中的识别标记M的时间点为基准，自动设置第二工序的作业(作业元素)的开始时间点。

另外，第二边界设置单元14还可以以不再检测到第二工序中的识别标记M的时间点为基准，自动设置第二工序的作业(作业元素)的结束时间点。

通过这样做，可以自动设置每个工序的作业(作业元素)的开始时间点(结束时间点)和开始位置(结束位置)，并且因此可以在周期之间精确地对准(统一)开始时间点和开始位置。结果，可以实时高效地执行作业分析。

可替代地，边界检测单元13(也称为位置信息检测单元)从图1所示的外部基站ST接收GNSS信号作为“识别信息”，以便检测每个工序的作业位置的“位置信息”。

然后，当检测到第二工序的作业位置的位置信息时，第二边界设置单元14基于该位置信息在作业运动图像上自动设置边界。

换句话说，第二边界设置单元14检测到第二工序的作业位置的位置信息的时间点为基准，自动地设置第二工序的作业(作业元素)的开始时间点。

另外，第二边界设置单元14也可以以不再检测到第二工序的作业位置的位置信息的时间点为基准，自动设置第二工序的作业(作业元素)的结束时间点。第二边界设置单元14通过基于识别信息设置边界来定义第一工序和第二工序，换句话说，定义第一工序的作业和第二工序的作业，并且更具体地，定义第一工序的最后作业元素和第二工序的第一作业元素。

同样利用上述方法，可以实时有效地执行作业分析。

在上述配置中，边界检测单元13检测“识别标记M”和“位置信息”两者作为“识别信息”。

此时，根据作业场所的大小或通信状态，可以仅检测“识别标记M”和“位置信息”中的一个。也就是说，可以被配置为使得仅以高检测精度检测识别信息。

可替代地，可以优先考虑“识别标记M”，并且当检测到“识别标记M”时可以自动设置边界，并且当在特定时间段内没有检测到“识别标记M”时可以基于“位置信息”自动设置边界。可替代地，也可以优先考虑“位置信息”。

其他“识别信息”也可以由边界检测单元13检测。

在上述配置中，由边界设置单元12设置的边界和由第二边界设置单元14自动设置的边界可以根据不同显示模式来区分。可替代地，由边界设置单元12设置的边界和由第二边界设置单元14设置的边界可以与不同的类型(例如，边界的手动设置、边界的自动设置)关联地进行存储。

此外，在由第二边界设置单元14设置的边界中，基于“识别标记M”的边界和基于“位置信息”的边界可以与不同的类型(例如，自动设置边界线1和自动设置边界线2)相关联。

结果，可以容易地识别是通过用户操作执行边界的设置还是基于“识别信息”自动执行边界的设置，因此有助于作业分析。

<<作业元素分析>>

作业时间计算单元15基于设置边界的作业运动图像，计算工序的作业(作业元素)的作业时间。

具体地，当在图5B所示的图像捕捉屏幕40上的作业运动图像41上设置边界并且针对每个作业元素划分作业运动图像41时，作业时间计算单元15计算每个作业元素的作业时间。另外，以作业的开始时间点为基准，计算作业元素的总时间。

在图6所示的作业分析屏幕50上也以相同的方式计算作业元素的作业时间(总时间)。

类型指定单元16在记录作业运动图像时接收基于作业运动图像的用户操作的输入，并且为每个所定义的作业元素指定类型，诸如“有效操作”、“无效操作”、“不必要的操作”和“验证操作”。

具体地，类型指定单元16接收由用户在图5B所示的图像捕捉屏幕40上对类型指定按钮43执行的拖动操作，并且为每个作业元素指定类型。

另外，类型指定单元16也可以通过接收图6所示的作业分析屏幕50或图7所示的周期分析屏幕60上的预定用户操作的输入来为每个作业元素指定类型。

工人信息获取单元17基于在其上设置边界的作业运动图像获取工序的作业(作业元素)的“工人属性信息”。

这里，“工人属性信息(数据)”是其中工人的工人ID、工人姓名、性别、年龄、经验年数和技能中的至少一者与预定作业(作业元素)相关联的信息，并且被存储在存储单元10中。

具体地，工人信息获取单元17接收用户操作的输入，并生成每个工序或作业(作业元素)的“工人属性信息”。

可替代地，工人信息获取单元17可以通过在作业运动图像上执行工人的图像识别(面部识别)并且从预先登记的登记工人中提取匹配的工人，来生成每个工序或作业(作业元素)的“工人属性信息”。

分析数据生成单元18生成“作业相关信息(作业相关数据)”作为由作业分析设备1分析的“简单分析数据”的一个示例。

如图10所示，“作业相关数据”是指示流水线作业中的每个作业元素的分析结果的数据表，其通过接收用户操作的输入等(也可以是自动输入)来创建并更新，并存储在存储单元10(也称为作业相关存储单元)中。

具体地，“作业相关数据”是至少标识ID、作业运动图像、关于作业场所的信息、工人的属性信息、由边界检测单元13检测到的识别信息、关于作业时间的信息以及关于类型的信息针对每个作业(每个作业元素)相互关联的数据。

虽然省略了关于作业时间的信息的细节，但是关于每个周期的作业时间、平均作业时间、最大作业时间、最小作业时间和总时间的信息也被包括在如图9所示的“作业元素列表信息”中。

参照图10所示的“作业相关数据”，可以看出，在标识ID“001”和作业元素名称“作业元素1-1”下包括作业运动图像“001.mp4”、作业场所“第一工序”、工人“广一郎(BroadIchiro)”、识别信息“识别标记”、作业时间“-”和类型“有效(有效操作)”。

通信单元19经由网络与外部执行数据通信。

具体地，通信单元19经由网络与外部分析设备100进行通信，并作为与作业分析相关的简单分析数据发送“作业相关数据”。

接收“作业相关数据”的外部分析设备100基于该数据执行作业分析(详细分析)，并生成“详细分析数据”。应该注意到，也可以生成指示作业标准的内容的“作业标准数据”。另外，外部分析设备100可以通过使用至少作业运动图像和关于类型的信息相互关联的数据(其是作业相关数据的一部分)来生成详细分析数据，而不是通过使用作业相关数据来生成详细分析数据。

通信单元19再次与外部分析设备100进行通信，并接收“详细分析数据”。

分析数据输出单元20输出“详细分析数据”。

具体地，分析数据输出单元20输出“详细分析数据”并显示在作业分析设备1的显示屏幕上，以便将“详细分析数据”的内容提示给分析员或工人。

“详细分析数据”也可以通过使用外部打印设备输出并打印。

利用上述配置，可以实现作业分析设备1，其能够在分析员在分析流水线作业期间记录作业运动图像时，针对每个工序指定作业元素，并高效地分析作业元素。

另外，通过使用作业分析设备1，分析员可以立即向工人提供作业的改进指导(反馈)。

<作业分析方法>

接下来，将参照图11描述由作业分析设备1执行的作业分析程序(作业分析方法)的处理。

根据本实施例的程序是被配置为实施屏幕显示单元11、边界设置单元12、边界检测单元13、第二边界设置单元14、作业时间计算单元15、类型指定单元16、工人信息获取单元17、分析数据生成单元18、通信单元19和分析数据输出单元20作为包括存储单元10的作业分析设备1的功能构成要素的程序，并且作业分析设备1的CPU执行作业分析程序。

作业分析设备1的存储单元10主要存储“作业运动图像数据”、“作业元素列表数据”、“作业相关数据”和“作业历史数据”。

图11所示的流程示出了“作业分析方法”的处理流程的一部分。具体地，示出了记录作业运动图像并基于作业运动图像实时执行作业分析的方法的处理流程。

在图11所示的作业分析方法的处理流程中，首先，屏幕显示单元11接收图4所示的菜单屏幕30上的选择项31“捕捉运动图像”的用户选择，并从显示图5A和图5B所示的图像捕捉屏幕40的步骤S1开始。

作业分析设备1接收用户操作的输入，执行专用的Web应用(作业分析程序)，并且在用户登录时首先显示“菜单屏幕”。

接下来，在步骤S2中，作业分析设备1(图像捕捉单元7)接收预定用户操作的选择，并且开始流水线作业的图像捕捉(开始作业运动图像的记录)。

具体地，作业分析设备1接收由用户在图5A和图5B所示的图像捕捉屏幕40上对图像捕捉执行按钮44执行的操作，并且开始流水线作业的第一工序的作业的图像捕捉。

此时，边界检测单元13检测与每个工序相关联的“识别信息”。“识别信息”可以是设置在每个工序的作业位置处的“识别标记M”，或者可以是每个工序的作业位置的“位置信息”。

另外，工人信息获取单元17通过作业运动图像获取工序的作业(作业元素)的“工人属性信息”。此时，可以通过接收用户操作的输入来生成“工人属性信息”，或者可以通过图像识别来自动生成“工人属性信息”。

接下来，在步骤S3中，边界设置单元12接收预定用户操作的输入，并在作业运动图像上为每个作业单元设置“边界”。

具体地，在图5A和图5B所示的图像捕捉屏幕40上接收由用户在边界设置按钮42上执行的操作，并且在正在捕捉的作业运动图像41上设置“边界”。通过设置“边界”，添加新的作业元素。

此时，当在图像捕捉屏幕40上的作业运动图像41上设置边界并且针对每个作业元素划分作业运动图像41时，作业时间计算单元15自动计算每个作业元素的作业时间。另外，基于作业的开始时间点来计算作业元素的总时间。

分析员可以确认通过图5B所示的作业元素列表46计算的关于作业时间的信息。

接下来，在步骤S4中，作业分析设备1(也称为检测确定单元)确定边界检测单元13是否已经检测到新的“识别信息”。

新的“识别信息”对应于与第一工序之后的第二工序相关联的“识别信息”。

当确定检测到新的“识别信息”时(步骤S4：是)，过程进行到步骤S5。另一方面，当确定没有检测到新的“识别信息”时(步骤S4：否)，过程返回到步骤S3。

接下来，在步骤S5中，第二边界设置单元14基于与第二工序相关联的“识别信息”，在作业运动图像上自动设置第一工序的作业与第二工序的作业之间的“边界”。

具体地，以检测到与第二工序相关联的“识别信息”的时间点为基准，在作业运动图像上自动设置第二工序的作业的开始时间点(边界)。

接下来，在步骤S6中，作业分析设备1(图像捕捉单元7)连续地执行流水线作业的第二工序的作业的图像捕捉(连续地记录作业运动图像)。

然后，在步骤S7中，与步骤S3类似，边界设置单元12接收预定用户操作的输入，并在作业运动图像上为每个作业元素设置“边界”。

接下来，在步骤S8中，作业分析设备1(也称为检测确定单元)确定边界检测单元13是否已经检测到新的“识别信息”。

新的“识别信息”对应于与第二工序之后的第三工序相关联的“识别信息”。

当确定检测到新的“识别信息”时(步骤S8：是)，过程返回到步骤S5，并且针对第三工序重复步骤S5到S8。重复该过程直到最后的工序。

另一方面，当确定没有检测到新的“识别信息”时(步骤S8：否)，过程进行到步骤S9。

最后，在步骤S9中，当作业分析设备1接收到由用户操作执行的作业运动图像的记录的停止时(步骤S9：是)，图11的过程结束。

另一方面，当作业分析设备1继续记录作业运动图像时(步骤S9：否)，过程返回到步骤S7。

根据上述作业分析程序的配置，分析员可以记录作业运动图像，为每个工序指定作业元素，并且在分析流水线作业期间有效地分析作业元素。

响应于用户操作的请求，将通过执行作业分析程序而生成的“简单分析数据”从作业分析设备1发送到外部分析设备100。

外部分析设备100基于“简单分析数据”执行详细作业分析，生成“详细分析数据”，并将“详细分析数据”发送到作业分析设备1。

作业分析设备1接收“详细分析数据”并输出“详细分析数据”。在作业不需要详细分析数据的情况下，可以直接输出“简单分析数据”。

<其他实施例>

尽管在如图1所示的上述实施例中，作业分析设备1被用于流水线作业的作业分析，但是，作业分析设备1也可以被用于流水线作业以外的作业的作业分析。

尽管在如图2所示的上述实施例中，作业分析设备1是移动终端并且包括显示单元5和图像捕捉单元7，但是不一定必须包括显示单元5。

也就是说，作业分析设备1不限于包括“显示单元(显示器)”、“图像捕捉单元(图像捕捉相机)”和“分析功能”。

例如，作业分析设备1可以是包括图像捕捉单元和分析功能的移动终端，并且经由网络与作业分析设备1通信的外部分析设备可以具有包括用于显示作业运动图像的“显示设备”的系统配置。

尽管在如图6至图9所示的上述实施例中，作业分析设备1可以切换并显示作业分析屏幕50、周期分析屏幕60、堆叠图屏幕70，并且可以从各种视角执行作业分析，但显示屏幕并不限定于此类显示屏幕。

例如，可以显示同时显示多个作业运动图像的“作业比较屏幕”，并且可以执行比较不同周期或工人的作业运动图像的“作业比较分析”。

在上述实施例中，通过使用作业分析设备1(移动终端)来启动专用的Web应用，并且在Web浏览器上执行作业分析程序。

另外，作业分析程序可以存储在作业分析设备1可读的记录介质中，并且作业分析设备1可以读取并执行该程序以执行处理。记录介质对应于例如磁盘、磁光盘、CD-ROM、DVD-ROM、半导体存储器等。

在上述实施例中，主要描述了根据本发明的作业分析设备以及作业分析方法。

但是，上述实施例仅是用于使本发明容易理解的示例，并不限定本发明。本发明可以在不背离其主旨的情况下进行修改和改进，并且当然其等效物也包括在本发明中。

如上所述，移动式作业分析设备1可以在作业(流水线作业)的分析期间检测用于识别第一工序的作业与第二工序的作业之间的边界的识别信息，并且在检测到识别信息时设置(自动设置)边界。

因此，作业分析员可以记录作业运动图像并且有效地执行作业分析。

该申请基于日本专利申请No.2021-091768，其通过引用整体并入本文。

Claims (6)

1.一种移动式作业分析设备，包括：

图像捕捉单元，被配置为捕捉作业的图像并记录作为所述作业的运动图像的作业运动图像，

其中，所述移动式作业分析设备被配置为记录所述作业运动图像，并且基于所述作业运动图像来执行作业分析，以及

在包括多个工序的作业期间，所述移动式作业分析设备是便携式的，以捕捉所述工序中的每个工序的作业的图像，

所述移动式作业分析设备还包括：

第一边界设置单元，被配置为接收用户操作的输入，并且在由所述图像捕捉单元记录的所述作业运动图像上，为每个作业元素设置边界；

边界检测单元，被配置为检测识别信息，通过所述识别信息识别所述作业中的第一工序的作业与在所述第一工序之后的第二工序的作业之间的边界；

第二边界设置单元，被配置为当检测到所述识别信息时，基于所述识别信息，在所述作业运动图像上设置作业元素之间的边界，所述作业元素是所述第一工序的作业和所述第二工序的作业；

类型指定单元，被配置为为通过由所述第一边界设置单元和所述第二边界设置单元设置所述边界而限定的作业元素中的每个作业元素，指定包括有效操作和无效操作中的至少一者的类型，所述有效操作指示在所述作业中已经执行有效操作，所述无效操作指示在所述作业中已经执行无效操作；以及

存储单元，被配置为存储由所述类型指定单元为其指定所述类型的所述作业元素。

2.根据权利要求1所述的移动式作业分析设备，还包括：

作业时间计算单元，被配置为基于设置所述边界的所述作业运动图像，计算所述工序的所述作业和/或所述作业元素的作业时间；

工人信息获取单元，被配置为基于设置所述边界的所述作业运动图像，获取所述工序的所述作业和/或所述作业元素的工人的属性信息；以及

作业相关数据存储单元，被配置为存储作业相关数据，其中，至少所述作业和/或所述作业元素的所述作业运动图像、所述作业时间、所述工人的属性信息和由所述边界检测单元检测的所述识别信息针对所述工序的每个作业和/或每个作业元素而相互关联。

3.根据权利要求2所述的移动式作业分析设备，还包括：

通信单元，被配置为经由网络与外部执行数据通信，将所述作业相关数据发送到执行作业分析的外部分析设备，并且从所述外部分析设备接收基于所述作业相关数据的分析数据；以及

分析数据输出单元，被配置为输出所述分析数据。

4.根据权利要求1至3中的任一项所述的移动式作业分析设备，还包括：

运动图像显示单元，被配置为在显示屏幕上实时显示所述作业运动图像；以及

作业元素列表显示单元，被配置为在所述显示屏幕上显示作业元素列表信息，所述作业元素列表信息包括关于由所述第一边界设置单元限定的所述作业元素中的每个作业元素的作业时间的信息和关于通过合计所述作业元素中的每个作业元素的作业时间而获得的总时间的信息，

其中，所述作业元素列表显示单元被配置为在与所述显示屏幕上显示的所述作业运动图像的一部分重叠的位置处显示所述作业元素列表信息。

5.根据权利要求1至4中的任一项所述的移动式作业分析设备，还包括：

运动图像显示单元，被配置为在显示屏幕上实时显示所述作业运动图像；以及

操作按钮显示单元，被配置为接收用户操作，并且在所述显示屏幕上显示边界设置按钮和类型指定按钮，所述边界设置按钮用于在所述作业运动图像上为所述作业元素中的每个作业元素实时设置所述边界，所述类型指定按钮用于为所定义的作业元素中的每个作业元素指定有效操作或无效操作，所述有效操作指示已经执行有效操作，所述无效操作指示已经执行无效操作，

其中，所述操作按钮显示单元在与所述显示屏幕上显示的所述作业运动图像的一部分重叠的位置处显示所述边界设置按钮和所述类型指定按钮。

6.一种由移动式计算机执行的作业分析方法，所述移动式计算机包括图像捕捉单元，所述图像捕捉单元被配置为捕捉作业的图像并且记录作为所述作业的运动图像的作业运动图像，所述移动式计算机被配置为记录所述作业运动图像并且基于所述作业运动图像来执行作业分析，并且在包括多个工序的作业期间，所述移动式计算机是便携式的，以捕捉所述工序中的每个工序的作业的图像，所述作业分析方法包括：

接收用户操作的输入，并且在由所述图像捕捉单元记录的所述作业运动图像上为每个作业元素设置边界，

检测识别信息，通过所述识别信息，识别所述作业中的第一工序的作业与在所述第一工序之后的第二工序的作业之间的边界，

当检测到所述识别信息时，基于所述识别信息，在所述作业运动图像上设置所述作业元素之间的所述边界，所述作业元素是所述第一工序的作业和所述第二工序的作业，

针对通过设置所述边界而限定的作业元素中的每个作业元素指定包括有效操作和无效操作中的至少一者的类型，所述有效操作指示在所述作业中已经执行有效操作，所述无效操作指示在所述作业中已经执行无效操作，以及

存储为其指定所述类型的所述作业元素。