CN212208037U - 作业辅助装置及系统 - Google Patents

Abstract

本实用新型提供一种对作业人员利用作业台所执行的生产作业进行辅助的作业辅助装置及系统，包括：获取至少包含作业人员的操作熟练度、作业能力、身体特征及培训情况中的一个在内的个体特征信息；获取至少包含作业内容及作业方法在内的状态信息；基于价值函数，根据状态信息及个体特征信息，利用强化学习的策略算法来决定下一步作业台指示并执行；在下一步作业台指示被执行后，从作业台获取至少包含作业质量、作业成本、作业时间及作业人员的动作在内的判断信息；以及对判断信息与各判断信息的阈值分别进行比较，根据基于比较结果而计算出的报酬、个体特征信息以及执行了下一步作业台指示后的状态信息，来对价值函数进行更新并提供。

Description

作业辅助装置及系统

技术领域

本实用新型涉及作业辅助装置及系统，特别涉及对不同作业人员利用作业台所执行的生产作业进行辅助的作业辅助装置、以及具备该作业辅助装置的作业辅助系统。

背景技术

在制造业中，为了提高作业效率并减少培训时间，以往提出有如下技术：利用专用软件为作业台上的作业人员设定作业指示书，由作业人员根据作业指示书的指示进行生产作业，并利用图片、动画、声音、LED灯等多种方式引导作业人员，从而提高作业效率，减少新人培训时间。另外，为了防止取料出错并提高产品质量，以往还提出有如下技术：利用专用LED防错模组来提示使用部件及工具，利用视觉及扭力自动检测来防止零件组装错误或螺丝拧紧扭力不合格，从而提高产品质量。

然而，在由多个作业人员根据既定的工程计划利用由多个处理机械所构成的非全自动作业台来执行生产作业的情况下，需要分别针对多个作业人员进行适当的作业台指示。

为了解决上述问题，提出有如下方案：基于多个处理机械的当前状态、以及对与多个处理机械的处理和作业人员的作业有关的执行顺序进行规定的工程计划，提取出作业人员所执行的下一作业候补，基于每个作业人员针对每种作业的作业能力，从上述下一作业候补中选出针对某个作业人员的下一作业(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本专利特开2017-199150号公报

实用新型内容

本实用新型所要解决的技术问题

然而，每一个作业人员都有其独特的个体特征，换言之，操作人员的个体特征的数量是无穷的。因此，要了解与每一个操作人员的个体特征相适应的作业台指示一般需要耗费大量的时间和精力，即使运用上述专利文献1的方案，也难以针对每一个操作人员提出最合适的作业台指示。

另外，在根据作业人员的个体特征和所生产的产品的每个种类来对作业内容、作业方法、作业设备等进行优化时，即使对有经验的技术人员来说，也需要耗费大量的时间。而且，由于技术人员的技术能力的差异，例如，会导致不同技术人员在同一作业步骤中所决定的适合于作业人员的某个个体特征的作业台指示产生较大差异。

此外，在决定作业台指示时，从生产线量产的产品制造成本的观点来看，针对作业人员的某个个体特征导出能对成本进行抑制的作业内容和作业方法是十分重要的。然而，存在以下问题：即使对熟练的技术人员来说，也难以针对作业人员的某个个体特征导出既能将产品质量保持得较高、又能抑制成本上升的作业台指示。

本实用新型是鉴于上述问题而完成的，其目的在于，提供一种作业辅助装置、以及具备该作业辅助装置的作业辅助系统，在通过多项作业来制造产品的生产线上，能针对每个作业人员适当调整作业台指示，从而能优化作业内容、作业方法、作业设备等，缩短作业时间，降低作业成本，提高作业质量。

解决技术问题的技术方案

为了解决上述问题，本实用新型的第一方面所涉及的作业辅助装置对作业人员利用作业台所执行的生产作业进行辅助，其特征在于，包括：个体特征信息获取部，该个体特征信息获取部从所述作业台获取至少包含所述作业人员的操作熟练度、作业能力、身体特征及培训情况中的一个在内的个体特征信息；状态信息获取部，该状态信息获取部从所述作业台获取至少包含作业内容及作业方法在内的状态信息；指示调整部，该指示调整部基于价值函数，根据来自所述状态信息获取部的所述状态信息、以及来自所述个体特征信息获取部的所述个体特征信息，利用强化学习的策略算法来决定下一步的作业台指示，并对所述作业人员或所述作业台执行所述下一步的作业台指示；判断信息获取部，该判断信息获取部在所述下一步的作业台指示被执行后，从所述作业台获取至少包含作业质量、作业成本、作业时间及所述作业人员的动作在内的判断信息；以及学习部，该学习部对来自所述判断信息获取部的所述判断信息与各所述判断信息的阈值分别进行比较，基于比较结果对报酬进行计算，根据所计算出的所述报酬、所述个体特征信息以及执行了所述下一步的作业台指示后由所述状态信息获取部所获取到的所述状态信息，来对所述价值函数进行更新，将更新后的所述价值函数提供给所述指示调整部。

另外，为了解决上述问题，本实用新型的第二方面所涉及的作业辅助系统包括：如上述本实用新型的第一方面所述的作业辅助装置；信息获取部，该信息获取部至少包括设置于所述作业台的电动螺丝刀和摄像头，通过所述电动螺丝刀来获取与所述作业时间相关的信息，通过所述摄像头来获取与所述作业质量相关的信息、以及与所述作业人员的动作相关的骨纹信息；以及通信部，该通信部将所述信息获取部所获取到的信息通过至少包括4G技术或5G技术在内的网络通信技术发送至所述作业辅助装置。

实用新型效果

根据本实用新型所涉及的作业辅助装置、以及具备该作业辅助装置的作业辅助系统，在通过多项作业来制造产品的生产线上，能针对每个作业人员适当调整作业台指示，从而能优化作业内容、作业方法、作业设备等，缩短作业时间，降低作业成本，提高作业质量。

附图说明

图1是表示本实用新型的实施方式1所涉及的作业辅助系统的结构的框图。

图2是用于对通信部的结构例进行说明的框图。

图3是用于对个体特征信息获取部获取个体特征信息的方式进行说明的示意图。

图4是用于对权重设定部设定权重的方式进行说明的示意图。

图5是表示初始指示信息提供部的具体结构的框图。

图6是用于对初始指示信息提供部的工作方式进行说明的示意图。

图7是用于初始阶段和调整后的指示信息进行说明的示意图。

图8是用于对指示信息原则/规则提供部所存储的作业原则/规则进行说明的图。

图9是策略算法中随机选取的作业内容、作业方法的一个示例。

图10是策略算法中随机选取的作业内容、作业方法的另一个示例。

图11是用于对作业辅助装置的动作进行说明的信号流向图。

图12是用于对作业辅助装置的学习过程进行说明的整体流程图。

图13是图12中的报酬计算过程的流程图。

图14是用于对本实用新型的实施方式2所涉及的作业辅助系统进行说明的示意图。

具体实施方式

下面，参照附图，对本实用新型的实施方式进行说明。

实施方式1.

图1是表示本实施方式1所涉及的作业辅助系统的结构的框图。如图1所示，作业辅助系统包括作业辅助装置100、作业台200和通信部300。

作业台200包括信息获取部10和作业台指示部11。

作为信息获取部10，例如可以是SD/HD/2K/4K/8K以及具有类似分辨率的摄像头、热感成像仪、电动螺丝刀和各种传感器等信息收集设备，或者ID读卡器、键盘、鼠标等输入设备等。通过信息获取部10，可以即时获取与在作业台200上进行作业的作业人员相关的各种信息、与作业过程相关的各种信息、以及与产品相关的各种信息。作为一个示例，例如可以根据电动螺丝刀的动作时间等来获取与作业时间相关的信息。另外，也可以利用摄像头所拍摄到的产品图像等来获取与作业质量相关的信息，或者利用摄像头来获取与作业人员的动作相关的骨纹信息等。

此外，作为作业台指示部11，例如可以是用于显示作业指示书或指示动画的显示器、发出警告声的扬声器、发出指示灯光的LED等输出设备等。作业人员可以根据作业台指示部11的引导来进行作业，从而能提高作业效率、防止出错。另外，作业台指示部11也可以是安装于作业台200的自动执行机构，从而使作业台200根据其指示来自动进行作业。

作业台200通过通信部300与后述的作业辅助装置100相连接。作为通信部300，既可以采用通信电缆等有线方式来进行连接，也可以采用包括4G技术或5G技术在内的网络通信技术等无线方式来进行连接。下面参照图2对利用网络通信技术来实现通信部300的结构例进行说明。

图2是用于对通信部300的结构例进行说明的框图。如图2所示，例如可以将SD/HD/2K/4K/8K以及具有类似分辨率的摄像头所收集到的信息、或者来自现场的PLC(Programmable Logic Controller：可编程序逻辑控制器)的操作指令经由边缘计算机(edge computer)和路由器，利用已知的4G或5G通信技术来传输至云端或外部系统，再由未图示的作业辅助装置从云端或外部系统读取信息并加以利用。另外，也可以由未图示的作业辅助装置将作业台指示传输至云端或外部系统，再由通信部300从云端或外部系统读取上述作业台指示，并利用4G或5G通信技术，经由路由器和边缘计算机，对SD/HD/2K/4K/8K以及具有类似分辨率的摄像头的拍摄时刻或拍摄对象进行控制，或者对PLC发送指令。

回到图1，作业辅助装置100包括个体特征信息获取部1、状态信息获取部2、指示调整部3、判断信息获取部4和学习部5，用于对作业人员利用作业台200所执行的生产作业进行辅助。下面，对作业辅助装置100的具体结构进行说明。

个体特征信息获取部1经由通信部300从作业台200的信息获取部10获取个体特征信息。此处，所谓个体特征信息，是指与作业人员的个体特征相关的信息，例如包括作业人员的操作熟练度、作业能力、身体特征及培训情况等。关于个体特征信息获取部1获取个体特征信息的具体方式，将在下文中进行说明。

状态信息获取部2经由通信部300从作业台200的信息获取部10获取状态信息。此处，所谓状态信息，是指与作业人员利用作业台200所执行的生产作业相关的信息，例如包括作业内容及作业方法等。关于作业内容、作业方法的具体示例，将在下文中进行说明。

指示调整部3用于决定下一步的作业台指示，包括指示输出部31、指示决定部32及价值函数存储部33。价值函数存储部33与后述的学习部5的价值函数更新部52相连接，从价值函数更新部52获取更新后的价值函数。指示决定部32分别与个体特征信息获取部1和状态信息获取部2相连接，从个体特征信息获取部1获取个体特征信息，从状态信息获取部2获取状态信息。另外，指示决定部32从价值函数存储部33获取其中所存储的价值函数，利用强化学习的策略算法来决定下一步的作业台指示。指示输出部31将从指示决定部32所获取的下一步的作业台指示经由通信部300输出至作业台200的作业台指示部11，从而由作业人员根据作业台指示部11的引导来执行该下一步的作业台指示，或者，由作业台200直接根据作业台指示部11的指示来进行作业。

判断信息获取部4经由通信部300与信息获取部10相连接，在作业台200或作业人员执行了下一步的作业台指示后，从作业台200的信息获取部10获取判断信息。此处，所谓判断信息，是指用于对作业结果进行判断的信息，例如包括作业质量、作业成本、作业时间及作业人员的动作等。

学习部5用于对价值函数进行学习，包括报酬计算部51和价值函数更新部52。报酬计算部51从判断信息获取部4获取判断信息，将所获取到的各判断信息分别与各判断信息的阈值进行比较，基于比较结果来对报酬进行计算。关于报酬计算的具体方法，将在下文中进行说明。价值函数更新部52从报酬计算部51获取所计算出的报酬，并且，分别从上述个体特征信息获取部1和状态信息获取部2获取个体特征信息以及执行了下一步的作业台指示后的状态信息，然后，根据所获取到的这些信息，来对价值函数进行更新。此外，价值函数更新部52还与上述指示调整部3的价值函数存储部33相连接，将更新后的价值函数提供给价值函数存储部33来进行存储。

另外，对于价值函数更新部52更新价值函数的方法，可以采用任何的学习算法。作为一个示例，例如可以列举出应用强化学习(Reinforcement Learning)的情况。所谓强化学习是指某环境内的智能体(行动主体)观测当前的状态，决定应该采取的行动。智能体通过选择行动来从环境得到报酬，学习通过一连串的行动而得到最多报酬的对策。作为强化学习的代表性方法，已知有Q学习(Q-learning)和TD学习(TD–learning,时间差学习)。例如，在Q学习的情况下，行动价值函数Q(s,a)的一般的更新式(行动价值表)由数学式1表示。

[数学式1]

在数学式1中,s_t表示时刻t的状态，a_t表示时刻t的行动。由于行动a_t，状态变为s_t+1。r_t+1表示通过该状态的变化得到的报酬，γ表示折扣率，α表示学习系数。此处，在应用Q学习的情况下，使上述指示决定部32所决定的下一步的作业台指示成为执行行动a_t的指示。

对于数学式1所示的更新式，若时刻t+1的最佳行动a的行为价值大于时刻t执行的行动a的行动价值Q，则增大时刻t的行动价值Q，相反的情况下，则减小时刻t的行动价值Q。换言之,以使时刻t的行动a_t的行动价值Q接近时刻t+1的最佳行动价值的方式更新行动价值函数Q(s,a)。由此,某环境中的最佳行动价值依次传播到其以前的环境中的行动价值。

下面参照图3对个体特征信息获取部1获取个体特征信息的方式进行详细说明。

图3是用于对个体特征信息获取部1获取个体特征信息的方式进行说明的示意图。如图3所示，信息获取部10可以通过摄像头等信息输入装置来对在作业台200上进行操作的作业人员的身份进行识别，例如，通过摄像头来对作业人员的身高、手臂长度等特征量进行更新，或进行人脸识别等。或者，也可以利用读卡器来读取作业人员的身份识别卡中的例如二维码等信息，从而对作业人员的身份进行识别。此外，如图3所示，作为获取作业人员的个体特征信息的方式，例如有如下两种方式：①将操作熟练度、作业能力、身体特征及培训情况等作业人员的个体状态直接保存于作业人员的身份识别卡中，由作业台200侧的信息获取部10直接从身份识别卡中读取个体状态；②先由信息获取部10通过上述方式对作业人员的身份进行识别从而获得作业人员ID(作业人员的身份标识号)，再以所获得的作业人员ID为关键词，从例如设置于作业台200的个体特征信息存储部12中检索获得个体特征信息。

通过上述方式，可以实时获取在作业台200上进行生产作业的作业人员的个体特征信息，从而能便于后续的指示调整部3根据作业人员的个体特征来决定与该作业人员相适应的作业台指示，提高生产效率。

此外，如图1所示，作业辅助装置100还可以包括权重设定部6。该权重设定部6与学习部5的报酬计算部51相连接，报酬计算部51根据该权重设定部6所设定的各判断信息的权重来对与各判断信息相对应的报酬的增减量进行变更。下面参照图4对权重设定部6设定权重的方式进行详细说明。

图4是用于对权重设定部6设定权重的方式进行说明的示意图。如图4所示，权重设定部6可以从判断信息获取部4获取判断信息来作为权重判断数据。另外，权重设定部6也可以通过未图示的输入装置接受用户指令来作为权重判断数据。权重设定部6在接收到权重判断数据后，基于该权重判断数据来对各判断信息设定权重。

作为基于判断信息来对各判断信息设定权重的示例1，例如可以采用如下方式：根据判断信息来判断作业质量、作业成本、作业时间及作业人员动作中的至少一个的提高或恶化的程度，根据上述提高或恶化的程度来决定相对应的权重。具体而言，例如，在作业质量的层面上，若不良率、临时故障造成暂停的件数、设备故障件数等减少或直行率提高，则分别根据其减少或提高的程度来增大与作业质量相关的权重，不良率、临时故障造成暂停的件数、设备故障件数减少或直行率提高的程度越大，则报酬的增加量即权重越大。另外，在作业成本的层面上，若产品的制造成本削减，则根据其削减的程度来增大与作业成本有关的权重，制造成本削减的程度越大，则报酬的增加量即权重越大。另外，在作业时间的层面上，若作业时间减少，则根据其减少的程度来增大与作业时间相关的权重，作业时间减少的程度越大，则报酬的增加量即权重越大。另外，在作业人员动作的层面上，若作业人员的多余动作减少，则根据其减少的程度来增大与作业人员动作相关的权重，多余动作减少的程度越大，则报酬的增减量即权重越大。以上对判断信息中的任意一个的提高程度变大时权重也随之增大的情况进行了说明。而与之相对，在判断信息中的任意一个恶化的情况下，权重也可以随着恶化程度的加深而增大。

另外，作为基于判断信息来对各判断信息设定权重的示例2，例如可以采用如下方式：对各判断信息分别预先设定上限和下限的阈值，当判断信息收敛于该上限与下限的阈值范围内时，设定为某一固定权重，当判断信息中的某一个偏离该上限与下限的阈值范围时，根据偏离量来决定相对应的权重。

另外，作为基于判断信息来对各判断信息设定权重的示例3，例如可以采用如下方式：分别对各判断信息预先设定阈值，权重设定部6基于各判断信息与各相应阈值之间的偏离量，来决定相对应的权重。具体而言，例如基于状态信息来分别对判断信息预先设定阈值，判断信息与阈值之间的偏离量越大，则权重设定部6将权重设定得越大。此外，在判断信息与阈值之间的偏离量的变化率增大的情况下，也可以进一步基于偏离量的变化率来设定权重，偏离量的变化率越大则权重设定部6将权重设定得越大。由此，在偏离量以加速度方式增大的情况下，能进一步设定较大的权重。

此外，也可以将上述示例2与示例3的权重设定方式进行组合，在上限与下限的范围内的上限附近设定阈值。具体而言，例如由于作业时间会因工序不同而发生较大变动，因此，在上限与下限的范围内的上限附近，作业时间有时会超过上限。为了避免这种风险，优选将阈值设定在下限以上的接近上限的位置处。由此，能使作业时间稳定于上限与下限的范围内的下限附近，从而能降低作业时间超出上限的概率。由此，可以将上述示例1～3的多个示例进行组合来使用。

另外，作为基于用户指令来对各判断信息设定权重的示例，如图3所示，用户例如可以根据所生产的产品的供求状况等，来决定要赋予各判断信息的权重，并通过未图示的输入装置将权重输入至权重设定部6。例如，在用户根据供求状况而判断为仅需将判断信息中的一项或几项与阈值进行比较的情况下，只要将无须比较的判断信息的权重设为0即可。由此，能根据用户的需求将注意力集中于作业过程中的某个或某几个方面的优化，从而能进一步减轻作业辅助装置的工作负担，提高作业辅助的效率。

然后，权重设定部6在对各判断信息设定权重后，将各权重存储于权重存储部61，以供学习部5在计算报酬时使用。

此外，如图1所示，作业辅助装置100还可以包括初始指示信息提供部7。该初始指示信息提供部7与指示调整部3的指示决定部32相连接，将学习初始阶段要指示作业人员执行的作业台指示、即初始作业台指示提供给指示调整部3。下面，参照图5～图7，对初始指示信息提供部7的具体结构和工作方式进行详细说明。

图5是表示初始指示信息提供部7的具体结构的框图。如图5所示，初始指示信息提供部7包括初始作业信息提供部71、初始设备/工具信息提供部72和初始教育信息提供部73。初始作业信息提供部71用于提供与作业指示有关的信息。初始设备/工具信息提供部72用于提供与作业设备/工具有关的信息。初始教育信息提供部73用于提供与作业人员的教育有关的信息。

图6是用于对初始指示信息提供部7的工作方式进行说明的示意图，图7是用于初始阶段和调整后的指示信息进行说明的示意图。如图6所示，例如有作业人员A、作业人员B和作业人员C这三个作业人员在作业台200上进行作业。其中，作业人员A的身体特征为“右撇子、身高较高”，熟练度为“熟练工”，作业能力为“高”。另外，作业人员B的身体特征为“左撇子、身高较矮”，熟练度为“初学者”，作业能力为“低”。另外，作业人员C的身体特征为“右撇子、身高中等”，熟练度为“中级工”，作业能力为“高”。

首先，如图6中①所示，在学习开始后，初始指示信息提供部7中的初始作业信息提供部71、初始设备/工具信息提供部72和初始教育信息提供部73分别将初始作业指示内容、初始教育指示内容和初始设备/工具的制作/设定指示内容提供给指示调整部3。作为决定初始指示信息的方法的示例，例如可以由作为用户的生产技术人员通过未图示的输入装置来输入至初始指示信息提供部7，也可以参照预先保存于该初始指示信息提供部7的到目前为止的作业履历来决定。

接着，如图6中②所示，由作业人员A～C基于从指示调整部3经由未图示的通信部传送至作业台200而被作业台指示部11所提示的初始指示信息，来实施相应的作业。作为指示信息的具体内容的一个示例如图7所示。作为初始作业指示内容的一个示例的初始作业信息由初始作业信息提供部71所提供，包括作业1～10这十个作业步骤，其中，标注“○”的步骤例如是要指示作业人员按下“完成确定按钮”来进行作业确认的按钮，未标注“○”的步骤则是不需要指示作业人员按下“完成确认按钮”的步骤，而标注“标准”的步骤是如后述图9、10所述示例中作为标准作业方法的作业方法A的步骤。另外，作为初始设备/工具的制作/设定指示内容的一个示例的初始设备/工具信息由初始设备/工具信息提供部72所提供，包括不同设备/工具的高度、纵深和宽度的设定，其中，标注“标准”的项目为该项目的标准设定值。另外，作为初始教育指示内容的一个示例的初始教育信息由初始教育信息提供部73所提供，包括作业1～10这十个作业步骤所对应的教育设定，其中，标注“未完成”的步骤是指未对作业人员实施该步骤所对应的教育。

然后，如图6中③所示，作业台200将实施作业后的指示信息、即作业实际结果和状态信息、教育实际结果和状态信息、以及设备/工具的制作/设定实际结果和状态信息作为判断信息、个体特征信息和状态信息，经由信息获取部10及未图示的通信部发送至学习部5，由学习部5对判断信息与各判断信息的阈值分别进行比较，基于比较结果来对报酬进行计算，根据所计算出的报酬、个体特征信息以及状态信息来对价值函数进行更新，并将更新后的价值函数和报酬提供给指示调整部3。

之后，如图6中④所示，指示调整部3基于学习结果即更新后的价值函数，根据状态信息和个体特征信息，利用强化学习的策略算法，即参照来自后述的指示信息原则/规则提供部8的作业、教育、设备/工具的原则/规则，来决定调整后的指示信息、即图中的调整后作业指示内容、调整后教育指示内容和调整后设备/工具的制作/设定指示内容，并用该调整后的指示信息替换前述的初始指示信息。

此后，如图6中⑤所示，作业人员基于调整后的指示信息，继续进行生产活动。如图7所示，由于作业人员的个体特征的不同，因此，例如分别对作业人员A～C设有不同的调整后作业信息，其中，标注“选项B”和“选项C”的步骤分别是如后述图9、10所述示例中作为选项B和选项C的作业方法的作业方法B和作业方法C的步骤。另外，分别对作业人员A～C设有不同的调整后设备/工具信息，其中，标注“高”和“低”的项目分别表示设备/工具的高度和纵深设得比标准设定值要高或低。另外，分别对作业人员A～C设有不同的调整后教育信息，其中，标注“未完成/不需要”的步骤是因作业人员为熟练工而无需进行教育的步骤，标注“未完成/需要”的步骤是因作业人员为初学者而需要进行但未完成教育的步骤，标注“已完成”的步骤是作业人员为中级工而已完成教育的步骤。

如图6所示，反复执行上述③～⑤，从而形成用于学习的循环。在经过多个上述循环后，最终能针对具有不同个体特征的作业人员，分别给予不同的作业台指示。

此外，如图1所示，作业辅助装置100还可以包括指示信息原则/规则提供部8。该指示信息原则/规则提供部8与指示调整部3的指示决定部32相连接，其中存储有作业人员利用作业台200执行生产作业时的作业原则/规则。下面，参照图8～图10，对指示信息原则/规则提供部8所存储的作业原则/规则以及指示调整部的策略算法的示例进行详细说明。

图8是用于对指示信息原则/规则提供部8所存储的作业原则/规则进行说明的图，图9是策略算法中随机选取的作业内容、作业方法的一个示例，图10是策略算法中随机选取的作业内容、作业方法的另一个示例。如图8所示，指示信息原则/规则提供部8包括作业信息原则/规则提供部81、设备/工具信息原则/规则提供部82和教育信息原则/规则提供部83。在作业信息原则/规则提供部81、设备/工具信息原则/规则提供部82和教育信息原则/规则提供部83中，分别存储有作业原则·规则表、设备·工具原则·规则表、以及教育原则·规则表。其中，针对“关于作业的原则/规则”和“关于设备/工具的配置的原则/规则”等项目，分别规定了“减少基本的动作数量”、“同时执行动作”、“缩短动作的距离”、“轻松地执行动作”和“根据身体特征来进行优化”等不同的原则/规则。另外，针对“关于教育的原则/规则”项目规定了“根据作业工序区分”、“根据作业熟练度区分”和“身体特征”等不同的原则/规则。指示决定部32例如可以从指示信息原则/规则提供部8的作业信息原则/规则提供部81、设备/工具信息原则/规则提供部82和教育信息原则/规则提供部83分别获取如图8所示的各原则·规则表，并且，作为策略算法，根据状态信息将随机选取的指示内容与各原则·规则表中的具体的原则/规则相关联，并根据个体特征信息来对作业内容、作业场所、作业设备和工具、以及作业人员教育进行优化，从而决定下一步的作业台指示。

作为策略算法的一个示例，如图9所示，以装箱作业为例，根据状态信息中的作业内容和作业方法，将随机选取的例如作为标准的作业方法A“所有的列都从左向右进行装箱”、作为选项B的作业方法B“每1列都变更装箱的作业方向”和作为选项C的作业方法C“所有的列都从右向左进行装箱”等具体的作业方法与上述作业原则·规则表中的原则/规则相关联，并且，基于作业人员是左撇子还是右撇子等作业人员的个体特征信息来变更作业方法，从而对作业时间、作业质量等进行优化，来决定下一步的作业台指示。由此，能根据作业人员的个体特征来自动指定装箱作业的顺序。

另外，作为策略算法的另一个示例，如图10所示，以拧螺丝作业为例，根据状态信息中的作业内容和作业方法，将随机选取的按照例如作为标准的作业方法A的①→⑥的顺序拧螺丝、按照作为选项B的作业方法B的①→⑥的顺序拧螺丝和按照作为选项C的作业方法C的①→⑥的顺序拧螺丝等具体的作业方法与作业原则·规则表中的原则/规则相关联，并且，基于作业人员是左撇子还是右撇子等作业人员的个体特征信息来变更作业方法，从而对作业时间、作业质量等进行优化，从6的阶乘即总计6！＝720种方案中选择最合适的下一步的作业台指示。由此，在螺丝固定位置确定后，能根据作业人员的个体特征来自动指定拧螺丝作业的顺序。

关于作业台指示的种类，以上对相同工序中的步骤的变更、作业方法的变更等进行了说明，但本实用新型并不局限于此。例如，也可以通过修改作业指示书的内容、或如图7所示对作业人员进行再教育、或制作专用设备/工具等来对作业台指示进行变更。或者，也可以将上述各种作业台指示进行组合。

此外，如图1所示，作业辅助装置100还可以包括循环控制部9。该循环控制部9分别对个体特征信息获取部1、状态信息获取部2、指示调整部3、判断信息获取部4及学习部5的循环动作进行控制，包括步管理部91和回合管理部92。关于步管理和回合管理的具体方式，将在后述学习过程的说明中一并进行说明。

下面，参照图11～图13，对作业辅助装置100的工作原理进行说明。图11是用于对作业辅助装置100的动作进行说明的信号流向图，图12是用于对作业辅助装置100的学习过程进行说明的整体流程图，图13是图12中的报酬计算过程的流程图。

如图11所示，作业台200相当于强化学习中的“环境”；个体特征信息获取部1、状态信息获取部2、指示调整部3、判断信息获取部4、学习部5组成了强化学习中的“代理”。通过权重设定部6、初始指示信息提供部7、指示信息原则/规则提供部8来对学习中所使用的参数进行设定。

如图11、图12所示，在作业辅助的学习开始后，首先，指示调整部3从初始指示信息提供部7获取初始作业台指示。其中，初始作业台指示的决定方法如上所述。接下来，由未图示的循环控制部9中的回合管理部92发出回合开始指示，并由步管理部91发出步开始指示。

接着，指示调整部3对作业台200上的作业人员或作业台200执行该初始作业台指示。在作业台200执行了初始作业台指示后，个体特征信息获取部1从作业台200获取作业人员的个体特征信息，状态信息获取部2从作业台200获取下一状态的状态信息，并且，学习部5的报酬计算部51根据在执行了初始作业台指示后由判断信息获取部4从作业台200所获取到的判断信息来计算报酬。关于报酬计算的具体流程，将在下文中进行说明。接下来，价值函数更新部52将报酬计算部51所计算出的报酬作为经验保存于未图示的存储器，并根据所计算出的该报酬、以及来自个体特征信息获取部1的个体特征信息和来自状态信息获取部2的下一状态的状态信息，来对价值函数进行更新，将更新后的价值函数发送至指示调整部3中的价值函数存储部33。

然后，步管理部91对是否满足回合结束条件进行判断。此处，所谓回合结束条件，是指学习部5的报酬计算部51的比较结果为任意一个判断信息偏离预先设定的条件值的情况，或者，是指学习中的循环动作的步数超过预先决定的步数上限的情况。另外，所谓判断信息偏离预先设定的条件值的情况，是指例如作业质量比预先设定的作业质量条件值要差、或作业成本比预先设定的作业成本条件值要高、或作业时间比预先设定的作业时间条件值要长、或作业人员动作中的多余动作比预先设定的作业人员动作条件值要多等情况。

在步管理部91判断为不满足上述回合结束条件的情况下(“满足回合结束条件？”判断结果为“否”)，流程返回至步开始阶段，指示调整部3基于存储于价值函数存储部33的最新的行动价值函数，根据来自个体特征信息获取部1的个体特征信息、以及来自状态信息获取部2的当前的状态信息，利用强化学习的策略算法来决定下一步的作业台指示，并对作业人员或作业台200执行该作业台指示，由此开始重复执行上述学习步骤。

另一方面，在步管理部91判断为满足上述回合结束条件的情况下(“满足回合结束条件？”判断结果为“是”)，结束一个回合的学习，接着，由回合管理部92对是否满足学习结束条件进行判断。此处所谓学习结束条件，是指学习中的循环动作的回合数超过预先决定的回合数上限的情况。

在回合管理部92判断为不满足上述学习结束条件的情况下(“满足学习结束条件？”判断结果为“否”)，流程返回至回合开始阶段，重新开始下一个回合的学习。在这种情况下，重复执行上述步的学习过程。

另一方面，在回合管理部92判断为满足上述学习结束条件的情况下(“满足学习结束条件？”判断结果为“是”)，则结束整个学习过程。

下面，对指示调整部利用强化学习的策略算法来决定下一步的作业台指示的具体方法进行说明。这里，以ε-greedy策略为例来进行说明。在学习起始阶段，由于经验不足，可能无法立即判断出价值最大的下一步的作业台指示。此时，可先采用ε-greedy策略，以ε＝0.1的探索速率来随机地选择行动，而在除此以外的greedy的行动选择中，选择价值最大的行动。然后，逐步减小ε，最终使算法收敛。例如，在学习起始阶段，可以在通过初始指示信息提供部7而预先对各种行动条件赋予初始值的基础上，根据作业人员的个体特征而使至少一个作业内容或作业方法在一个范围内进行变动，由此来开始进入循环，对与某个个体特征相对应的、使判断信息在规定范围内成为最佳状态的作业内容、作业方法与行动的组合进行学习。此外，除了采用ε-greedy策略以外，在学习起始阶段，也可以采用遗传算法等其它强化学习的行动策略算法，以一定的概率来随机地选择行动，从而展开学习。

下面对图12的学习过程中的报酬计算的方法进行说明。如图13所示，在报酬计算开始后，首先，在步骤S101中，学习部5中的报酬计算部51从判断信息获取部4获取判断信息，并前进至步骤S102。在步骤S102中，报酬计算部51将判断信息中与作业质量有关的判断信息与预先设定的作业质量阈值进行比较。在本实施方式中，以合格率作为与作业质量有关的判断信息的一个示例来进行说明。当合格率低于作业质量阈值时(步骤S102：低)，前进至步骤S103，报酬计算部51以由权重设定部6采用以上所说明的权重设定方式所设定的权重来减少报酬，例如-10，并前进至步骤S106。当合格率等于作业质量阈值时(步骤S102：相同)，前进至步骤S104，报酬计算部51使报酬保持不变，并前进至步骤S106。当合格率高于作业质量阈值时(步骤S102：高)，前进至步骤S105，报酬计算部51以由权重设定部6采用以上所说明的权重设定方式所设定的权重来增加报酬，例如+10，并前进至步骤S106。

在步骤S106中，报酬计算部51将判断信息中与作业成本有关的判断信息与预先设定的作业成本阈值进行比较。当作业成本高于作业成本阈值时(步骤S106：高)，前进至步骤S107，报酬计算部51以由权重设定部6采用以上所说明的权重设定方式所设定的权重来减少报酬，例如-3，并前进至步骤S110。当作业成本等于作业成本阈值时(步骤S106：相同)，前进至步骤S108，报酬计算部51使报酬保持不变，并前进至步骤S110。当作业成本低于作业成本阈值时(步骤S106：低)，前进至步骤S109，报酬计算部51以由权重设定部6采用以上所说明的权重设定方式所设定的权重来增加报酬，例如+3，并前进至步骤S110。

在步骤S110中，报酬计算部51将判断信息中与作业时间有关的判断信息与预先设定的作业时间阈值进行比较。当作业时间比作业时间阈值要长时(步骤S110：长)，前进至步骤S111，报酬计算部51以由权重设定部6采用以上所说明的权重设定方式所设定的权重来减少报酬，例如-5，并前进至步骤S114。当作业时间等于作业时间阈值时(步骤S110：相同)，前进至步骤S112，报酬计算部51使报酬保持不变，并前进至步骤S114。当作业时间比作业时间阈值要短时(步骤S110：短)，前进至步骤S113，报酬计算部51以由权重设定部6采用以上所说明的权重设定方式所设定的权重来增加报酬，例如+5，并前进至步骤S114。

在步骤S114中，报酬计算部51将判断信息中与作业人员动作有关的判断信息与预先设定的作业人员动作阈值进行比较。当作业人员动作与作业人员动作阈值相比增加了多余动作时(步骤S114：增加多余动作)，前进至步骤S115，报酬计算部51以由权重设定部6采用以上所说明的权重设定方式所设定的权重来减少报酬，例如-1，然后结束报酬计算处理，并将计算结果发送至价值函数更新部52。当作业人员动作的动作数量与作业人员动作阈值相比未发生变化时(步骤S114：动作数量不变)，前进至步骤S116，报酬计算部51使报酬保持不变，然后结束报酬计算处理，并将计算结果发送至价值函数更新部52。当作业人员动作与作业人员动作阈值相比减少了多余动作时(步骤S114：减少多余动作)，前进至步骤S117，报酬计算部51以由权重设定部6采用以上所说明的权重设定方式所设定的权重来增加报酬，例如+1，然后结束报酬计算处理，并将计算结果发送至价值函数更新部52。

此外，图12、图13中虽未示出，但在开始报酬计算之前还可以预先执行权重设定步骤。在该权重设定步骤中，由权重设定部6利用上文中所说明的各种方式来对各判断信息设定权重，并将所设定的权重发送至报酬计算部51。由此，在报酬计算过程中报酬计算部51可根据所设定的各判断信息的权重来对与各判断信息相对应的报酬的增减量进行变更。

以上对本实用新型的实施方式1进行了说明。根据本实施方式所涉及的作业辅助装置、具备该作业辅助装置的作业辅助系统、以及用于该作业辅助装置的作业辅助方法，获取至少包含作业人员的操作熟练度、作业能力、身体特征及培训情况中的一个在内的个体特征信息，根据状态信息以及个体特征信息，利用强化学习的策略算法来决定下一步的作业台指示，在下一步的作业台指示被执行后，获取至少包含作业质量、作业成本、作业时间及作业人员的动作在内的判断信息，对该判断信息与各判断信息的阈值分别进行比较，基于比较结果对报酬进行计算，根据所计算出的所述报酬、个体特征信息以及执行了该下一步的作业台指示后的状态信息，来对价值函数进行更新，由此，不仅能根据作业人员的个体特征来优化作业台指示的内容，而且，无须依赖于技术水平、经验等存在差异的技术人员的经验等来决定适合于作业人员的某个个体特征的作业台指示，因此，能缩短优化作业台指示所需的时间，减小所获得的作业台指示的质量差异，降低作业成本，提高作业质量。

另外，由于对各判断信息设定权重，根据各判断信息的权重来对与各判断信息相对应的报酬的增减量进行变更，由此，能根据实际作业过程中作业质量、作业成本、作业时间及作业人员动作各自对作业过程的影响程度、或者用户对作业质量、作业成本、作业时间及作业人员动作所提出的不同要求，来对作业质量、作业成本、作业时间及作业人员动作各自对于报酬的影响程度进行适当调整，因此，能进一步优化作业内容、作业方法、作业设备等，缩短作业时间，降低作业成本，提高作业质量。

实施方式2.

图14是用于对本实施方式2所涉及的作业辅助系统进行说明的示意图。与实施方式1的作业辅助系统的不同之处在于，本实施方式2的作业辅助系统包括多个作业台，作业辅助装置100’的指示调整部3’分别向各作业台发送不同的作业台指示。另外，虽然图中省略了图示，但作业辅助装置100’中的其它结构、通信部300的结构以及各作业台的结构与实施方式1相同，此处省略说明。

如图14所示，本实施方式2的作业辅助系统例如包括3个作业台A～C，指示调整部3’例如将某个工序的作业步骤#1发送至作业台A，将相同工序的另一作业步骤#2发送至作业台B，将相同工序的又一作业步骤#3发送至作业台C，从而由各作业台A～C分别针对相同工序的不同作业方法进行学习。由此，能进一步缩短学习所耗费的时间，提高学习效率。

以上实施方式2举出了3个作业台的示例，但本实用新型并不局限于此，也可以将2个或4个以上的多个作业台用于学习。

另外，以上对通过硬件来实现本实用新型的各实施方式的作业辅助装置的情况进行了说明，但本实用新型并不局限于此。也可以通过软件来实现本实用新型的作业辅助方法，或者通过软件与硬件的结合来实现本实用新型。此外，也可以将用于执行本实用新型的作业辅助方法的程序存储于各种计算机可读取介质，并在需要时将其加载至例如CPU等中来执行。作为计算机可读取介质并无特别限定，例如可使用HDD、CD-ROM、CD-R、MO、MD、DVD等光盘、IC卡、软盘、以及掩模ROM、EPROM、EEPROM、闪存ROM等半导体存储器等。

此外，应当认为本次披露的实施方式的所有方面仅是举例表示，并非是限制性的。本实用新型的范围由权利要求书来表示，而并非由上述实施方式来表示，本实用新型的范围还包括与权利要求书等同的含义及范围内的所有的修正和变形。

工业上的实用性

本实用新型的作业辅助装置、系统、方法及计算机可读取介质对于各行业的非全自动作业台的人工作业的辅助是有用的。

标号说明

1 个体特征信息获取部

2 状态信息获取部

3 指示调整部

3’ 指示调整部

4 判断信息获取部

5 学习部

6 权重设定部

7 初始指示信息提供部

8 指示信息原则/规则提供部

9 循环控制部

10 信息获取部

11 作业台指示部

12 个体特征信息存储部

31 指示输出部

32 指示决定部

33 价值函数存储部

51 报酬计算部

52 价值函数更新部

61 权重存储部

91 步管理部

92 回合管理部

100 作业辅助装置

100’ 作业辅助装置

200 作业台

300 通信部

Claims (11)

1.一种作业辅助装置，该作业辅助装置对作业人员利用作业台所执行的生产作业进行辅助，其特征在于，包括：

个体特征信息获取部，该个体特征信息获取部从所述作业台获取至少包含所述作业人员的操作熟练度、作业能力、身体特征及培训情况中的一个在内的个体特征信息；

状态信息获取部，该状态信息获取部从所述作业台获取至少包含作业内容及作业方法在内的状态信息；

指示调整部，该指示调整部基于价值函数，根据来自所述状态信息获取部的所述状态信息、以及来自所述个体特征信息获取部的所述个体特征信息，利用强化学习的策略算法来决定下一步的作业台指示，并对所述作业人员或所述作业台执行所述下一步的作业台指示；

判断信息获取部，该判断信息获取部在所述下一步的作业台指示被执行后，从所述作业台获取至少包含作业质量、作业成本、作业时间及所述作业人员的动作在内的判断信息；以及

学习部，该学习部对来自所述判断信息获取部的所述判断信息与各所述判断信息的阈值分别进行比较，基于比较结果对报酬进行计算，根据所计算出的所述报酬、所述个体特征信息以及执行了所述下一步的作业台指示后由所述状态信息获取部所获取到的所述状态信息，来对所述价值函数进行更新，将更新后的所述价值函数提供给所述指示调整部。

2.如权利要求1所述的作业辅助装置，其特征在于，

所述个体特征信息保存于使用所述作业台的所述作业人员的身份识别卡中，或者，所述个体特征信息通过以使用所述作业台的所述作业人员的身份标识号为关键词而从个体特征信息存储部检索获得。

3.如权利要求1所述的作业辅助装置，其特征在于，

还包括权重设定部，该权重设定部对各所述判断信息设定权重，

所述学习部根据所述权重设定部所设定的各所述判断信息的所述权重来对与各所述判断信息相对应的报酬的增减量进行变更。

4.如权利要求3所述的作业辅助装置，其特征在于，

所述权重设定部基于来自所述判断信息获取部的所述判断信息来对所述判断信息设定所述权重。

5.如权利要求3所述的作业辅助装置，其特征在于，

所述权重设定部基于用户指令来对所述判断信息设定所述权重。

6.如权利要求1至5的任一项所述的作业辅助装置，其特征在于，

还包括初始指示信息提供部，该初始指示信息提供部根据用户的输入或保存于该初始指示信息提供部的作业履历，来决定初始作业台指示，并将该初始作业台指示提供给所述指示调整部，

所述指示调整部对所述作业人员或所述作业台执行所述初始作业台指示，

所述判断信息获取部在所述初始作业台指示被执行后，从所述作业台获取所述判断信息，

所述学习部对来自所述判断信息获取部的所述判断信息与各所述判断信息的阈值分别进行比较，基于比较结果对报酬进行计算，根据所计算出的所述报酬、所述个体特征信息以及执行了所述初始作业台指示后由所述状态信息获取部所获取到的所述状态信息，来对所述价值函数进行更新，将更新后的所述价值函数提供给所述指示调整部。

7.如权利要求1至5的任一项所述的作业辅助装置，其特征在于，

还包括指示信息原则/规则提供部，该指示信息原则/规则提供部存储有所述作业人员利用所述作业台执行生产作业时的作业原则/规则，

所述指示调整部从所述指示信息原则/规则提供部获取所述作业原则/规则，并且，作为所述策略算法，根据所述状态信息将随机选取的作业内容、作业方法与所述作业原则/规则相关联，并根据所述个体特征信息来对作业内容、作业方法、作业场所、作业设备和工具、以及作业人员教育进行优化，从而决定所述下一步的作业台指示。

8.如权利要求1至5的任一项所述的作业辅助装置，其特征在于，

还包括循环控制部，该循环控制部对所述状态信息获取部、所述个体特征信息获取部、所述指示调整部、所述判断信息获取部及所述学习部的循环动作进行控制，包括步管理部和回合管理部，

所述步管理部在所述学习部的所述比较结果为任意一个所述判断信息偏离预先设定的条件值的情况下，或者在所述循环动作的步数超过预先决定的步数上限的情况下，使得结束一个回合的循环而进入下一个回合，

所述回合管理部在所述循环动作的回合数超过预先决定的回合数上限的情况下，使得结束学习。

9.如权利要求1至5的任一项所述的作业辅助装置，其特征在于，

所述作业台指示的种类包括相同工序中的步骤的变更、作业指示书的修改、作业人员再教育的实施、以及专用设备/工具的制作使用中的任意一个或多个的组合。

10.一种作业辅助系统，其特征在于，包括：

如权利要求1至9的任一项所述的作业辅助装置；

信息获取部，该信息获取部至少包括设置于所述作业台的电动螺丝刀和摄像头，通过所述电动螺丝刀来获取与所述作业时间相关的信息，通过所述摄像头来获取与所述作业质量相关的信息、以及与所述作业人员的动作相关的骨纹信息；以及

通信部，该通信部将所述信息获取部所获取到的信息通过至少包括4G技术或5G技术在内的网络通信技术发送至所述作业辅助装置。

11.如权利要求10所述的作业辅助系统，其特征在于，

包括多个所述作业台，

多个所述作业台分别针对相同工序的不同作业方法进行学习。

Images