CN112470180A - 作业辅助系统以及作业辅助方法 - Google Patents

Abstract

一种作业辅助系统，其具备：影像获取装置(11)，其获取熟练人员(2)所进行的作业的影像；语音获取装置(12)，其获取作业中的熟练人员的语音；作业检验信息生成装置，其基于由影像获取装置(11)获取的作业的影像和由语音获取装置(12)获取的语音的信息，生成作为作业检验基准的作业检验信息；影像获取装置(21)，其获取作业人员(3)所进行的作业的影像；判定装置，其判定作业人员(3)的作业的成败；以及辅助信息输出装置(23)，其将判定装置的判定结果作为作业辅助信息进行输出。判定装置通过基于作业检验信息将熟练人员(2)的作业影像与作业人员(3)的作业影像进行对比，来判定作业的成败。

Description

作业辅助系统以及作业辅助方法

技术领域

本发明涉及作业辅助系统以及作业辅助方法。

背景技术

作业人员在实际现场中进行维护、检修等各种作业之前，要进行训练以使得作业人员掌握所需的技能和知识。例如以将熟练人员进行的作业作为样板来向作业人员传达熟练人员的作业技能的方式进行训练(例如，参照专利文献1。)。

在专利文献1中公开了以下技术：基于熟练人员的现场作业的内容、以及作业中的设备音、熟练人员的视线等感知信息，获取熟练人员的判断基准，并基于此生成用于培育作业人员的培育信息。

另一方面，在现场作业中，即使是受过训练的人员也需要各种信息，例如作业工序的信息、作业对象机器的信息以及使用的作业工具的信息等。已知有如下辅助系统：其向在现场作业的作业人员提供需要的信息以辅助现场作业(例如，参照专利文献2。)。

在专利文献2中公开了以下作业辅助装置：其具备：计测部，其用于掌握作为作业对象的物体的放置状况；信息处理部，其控制计量部，并且对获得的信息进行适当的信息处理，而且构建提示作业人员的视觉信息；以及显示部，其用于对作业人员提供叠加在作为对象的物体上的视觉信息；所述作业辅助装置在作业现场指示作业人员需要进行的作业。

现有技术文献

专利文献

专利文献1：日本特开2018-132556号公报

专利文献2：日本特开2009-069954号公报

发明内容

发明要解决的问题

然而，在专利文献2等中记载的以往的作业辅助装置中，有助于将熟练人员的高级的作业技能传达给作业人员，但是没有考虑过可靠地判定作业技能低的作业人员的作业的成败来防止作业错误。在实际的作业现场中，作业技能低、不习惯日语的外籍工人进行作业的情况在增加，并且发生作业错误或忘记作业、以及作业中的伤害事故也呈增加趋势。由事故发生引起的社会影响很大，作为防止再次发生的对策，除了提高作业质量以外，有时还要求两人作业进行确认，并将作业检验表或作业报告书详细化。另外，由于以往由作业人员等进行检验表的生成或作业报告书的制作，因此费功夫且效率差。

本发明用于解决如上所述的问题，其目的在于提供作业辅助系统以及作业辅助方法，以即使对于作业技能低的作业人员，也能够通过可靠地进行作业检验来防止作业错误。

用于解决问题的方案

本发明的作业辅助系统，为了达成上述目的，(1)其特征在于：作业辅助系统1，1A具备：信息获取装置120，其获取来自作业人员的信息；判定装置100，其判定所述作业的成败；以及信息输出装置23，其基于源自所述判定装置的判定结果输出作业辅助信息；所述判定装置基于所述信息获取装置获取的来自所述作业人员的信息，按照预定的判定基准判定作业的成败。

在本发明中，判定装置基于信息获取装置获取的影像或语音等来自作业人员的信息，按照预定的判定基准判定作业的成败；信息输出装置基于判定装置的判定结果输出作业辅助信息。根据该构成，即使是作业技能低的作业人员，也能够根据来自作业人员的信息可靠地判定作业的成败，并通过反馈给作业人员，防止作业错误。

本发明的作业辅助系统，为了达成上述目的，(2)其特征在于：具备：第一影像获取装置11，其获取第一作业人员2所进行的作业的影像；语音获取装置12，其获取所述作业中的所述第一作业人员的语音；作业检验信息生成装置340，其基于由所述第一影像获取装置获取的作业的影像和由所述语音获取装置获取的语音的信息，生成作为作业检验基准的作业检验信息70；第二影像获取装置21，其获取第二作业人员3所进行的作业的影像；判定装置338，其判定所述第二作业人员的作业的成败；以及辅助信息输出装置23，其将源自所述判定装置的判定结果作为作业辅助信息进行输出；所述判定装置通过基于所述作业检验信息将所述第一作业人员的作业影像与所述第二作业人员的作业影像进行对比，来判定作业的成败。

根据该构成，由于判定装置通过基于作业检验信息将熟练人员(第一作业人员)的作业影像与现场的作业人员(第二作业人员)的作业影像进行对比来判定作业的成败，因此能够可靠地进行作业检验(判定作业的成败)。通过基于作业检验的结果，利用语音或影像指出作业错误，能够引导重新进行作业。因此，即使对于作业技能低的作业人员，也能够通过可靠地进行作业检验而防止作业错误。

另外，在本发明的作业辅助系统中，(3)所述判定装置还可以通过所述第一作业人员的作业影像所包含的特定的对象物是否包含于所述第二作业人员的作业影像中来判定作业的成败。

根据该构成，通过基于作业中必须的特定的对象物的有无判定作业的成败，能够可靠地检测忘记作业。

另外，在本发明的作业辅助系统中，(4)所述判定装置还可以通过所述第一作业人员的作业影像未包含的特定的对象物是否包含于所述第二作业人员的作业影像中来判定作业的成败。

根据该构成，通过基于作业中不需要的对象物的有无判定作业的成败，能够可靠地检测误作业(作业内容的错误)。

另外，在本发明的作业辅助系统中，(5)所述判定装置还可以通过所述第一作业人员的作业影像所包含的特定的对象物是否以预定顺序包含于所述第二作业人员的作业影像中来判定作业的成败。

根据该构成，通过基于作业中必须的对象物是否以预定顺序出现判定作业的成败，能够可靠地检测工序错误。

另外，在本发明的作业辅助系统中，(6)所述作业检验信息生成装置还可以基于所述第一作业人员的语音的信息将所述第一作业人员的作业影像分割为要素作业，所述判定装置对每个所述要素作业判定作业的成败。

根据该构成，即使是长时间的作业，通过分割为适当的所需时间的要素作业，也能够更可靠地判定作业的成败。

另外，在本发明的作业辅助系统中，(7)所述辅助信息输出装置还可以利用语音和视频中的至少一方选择性地输出所述作业辅助信息。

根据该构成，能够根据作业环境选择最佳方法(仅语音/仅视频/语音和视频)来进行作业辅助。

另外，本发明的作业辅助系统还可以具备(8)语言转换装置314，所述语言转换装置将传达由所述辅助信息输出装置输出的所述作业辅助信息的语音转换为指定的语言。

根据该构成，即使对于不懂日语的外籍作业人员也能够进行作业辅助。

另外，本发明的作业辅助系统还可以包括(9)作业报告书制作装置341，所述作业报告书制作装置制作包括源自所述判定装置的判定结果的作业报告书。

根据该构成，由于在现场的作业的完成时作业报告书自动制作，因此省去了作业人员制作作业报告书的工夫。

另外，本发明的作业辅助系统还可以具备(10)注意引起控制装置338，所述注意引起控制装置基于所述作业检验信息以及所述第二作业人员的作业的经时信息，在作业中的特定阶段之前，使所述辅助信息输出装置将注意信息作为所述作业辅助信息进行输出。

根据该构成，由于注意引起控制装置基于作业检验信息以及经时信息(例如作业经过时长或作业阶段)，在需要注意引起的特定阶段之前输出注意信息，因此能够有效地防止作业错误或事故。由此，能够提高作业的质量。

另外，在本发明的作业辅助系统中，(11)所述作业检验信息生成装置还可以基于所述第一作业人员的作业中的语音的信息将所述特定阶段确定为所述作业检验信息。

根据该构成，能够容易地指定需要注意引起的特定阶段。

另外，本发明的作业辅助系统，(12)所述经时信息还可以是从所述第二作业人员的作业开始起的经过时长的信息。

根据该构成，能够容易地进行注意引起。

另外，本发明的作业辅助系统，(13)所述经时信息还可以是根据所述第二作业人员的作业影像认定的作业阶段的信息。

根据该构成，能够在更适当的时间进行注意引起。

另外，本发明的作业辅助系统还可以是如下构成：(14)其具备：服务器30，其至少具备所述作业检验信息生成装置；第一终端10，其具有所述第一影像获取装置以及所述语音获取装置，并与所述服务器连接；以及第二终端20，其具有所述第二影像获取装置以及所述辅助信息输出装置，并与所述服务器连接。

根据该构成，通过使用服务器，能够简化现场的作业人员携带的第二终端的结构。

另外，本发明的作业辅助方法，其特征在于，(15)包括：第一影像获取步骤，其获取第一作业人员2所进行的作业的影像；语音获取步骤，其获取所述作业中的所述第一作业人员的语音；作业检验信息生成步骤，其基于由所述第一影像获取步骤获取的作业的影像和由所述语音获取步骤获取的语音的信息，生成作为作业检验基准的作业检验信息70；第二影像获取步骤，其获取第二作业人员3所进行的作业的影像；判定步骤，其判定所述第二作业人员的作业的成败；以及辅助信息输出步骤，其将所述判定步骤的判定结果作为作业辅助信息进行输出；所述判定步骤通过基于所述作业检验信息将所述第一作业人员的作业影像与所述第二作业人员的作业影像进行对比，来判定作业的成败。

根据该构成，由于判定步骤中通过基于作业检验信息将熟练人员(第一作业人员)的作业影像与现场的作业人员(第二作业人员)的作业影像进行对比来判定作业的成败，因此能够可靠地进行作业检验(判定作业的成败)。通过基于作业检验的结果，利用语音或影像指出作业错误，能够引导重新进行作业。因此，即使对于作业技能低的作业人员，也能够通过可靠地进行作业检验而防止作业错误。

在本发明的作业辅助系统中，(16)所述判定装置还可以是如下构成：其具备：作业指示部102，其使指示所述作业的作业信息从所述信息输出装置输出；信息检测部105，其在由所述信息输出装置输出所述指示信息后，从所述信息获取装置获取的信息中检测响应所述指示信息的响应信息；以及判定部112，其基于所述信息检测部检测的所述响应信息判定作业的成败。

根据该构成，在作业开始时，作业指示部和作业输出装置利用语音或画面显示将作业的指示信息传达给作业人员，在作业结束时，信息获取部利用语音或画面操作等获取来自作业人员的信息。此时，信息检测部检测响应指示信息的响应信息，判定部根据该响应信息的内容判定作业的成败。例如，若响应信息的内容是表示“完成”或“结束”的信息，则判定作业成功，若是表示“完成”或“结束”以外的信息，则判定作业失败或者未完成。这样，作业辅助系统与作业人员通过利用例如语音或画面进行对话，来辅助作业人员的作业。能够利用简化的结构低成本地构建作业辅助系统，由于作业人员可以自由使用双手，因此使用很方便，由于基于作业人员的发声或画面操作等来自作业人员的信息来判定作业的成败，因此能够有效地防止作业错误。

在本发明的作业辅助系统中，(17)所述判定装置还可以是如下构成：其还具备询问确认部107，所述询问确认部在所述判定部判定作业成功后，使得确认作业的完成的询问信息从所述信息输出装置输出；所述判定部在由所述信息输出装置输出询问信息后，基于所述信息检测部检测的所述响应信息判定作业的成败。

根据该构成，由于在判定部判定作业成功后，询问确认部和信息输出装置进行确认作业的完成的询问，因此能够提高作业人员注意到作业错误的可能性，并且能够有效地减少作业错误。

在本发明的作业辅助系统中，(18)所述判定装置还可以是如下构成：其还具备注意信息输出部103，所述注意信息输出部使作业的注意信息从所述信息输出装置输出。

根据该构成，在作业开始时等，通过注意信息输出部使作业的注意信息从信息输出装置输出，能够提醒作业人员的注意，并且能够有效地减少作业错误和作业事故。

本发明的作业辅助系统还可以是如下构成：(19)其还具备图像获取装置122，所述图像获取装置获取作业的对象物的图像；所述判定装置还具备图像信息获取部109，所述图像信息获取部获取所述图像获取装置获取的所述作业的对象物的图像信息；所述判定部在所述图像信息获取部未获取到所述作业的对象物的图像信息时判定作业未完成；所述作业指示部在所述判定部以未获取到所述图像信息为理由判定作业未完成时，使得请求图像信息的指示信息从所述信息输出装置输出。

根据该构成，由于判定部在图像信息获取部未获取到作业的对象物的图像信息(证据照片)时判定作业未完成，因此作业人员会更加仔细地进行作业，能够更有效地减少作业错误。另外，通过获取作业的对象物的图像信息(证据照片)，能够实现可追溯性，而且，还能够在作业比较模型的机器学习中作为监督数据进行使用。

在本发明的作业辅助系统中，(20)所述判定部还可以是如下构成：其具备：第一判定部114，其在由所述信息输出装置输出所述指示信息后，基于所述信息检测部检测的所述响应信息判定作业的成败；第二判定部115，其在由所述信息输出装置输出询问信息后，基于所述信息检测部检测的所述响应信息判定作业的成败；以及第三判定部116，其在所述图像信息获取部未获取到所述作业的对象物的图像信息时判定作业未完成，在获取到所述作业的对象物的图像信息时，在由所述信息输出装置输出所述指示信息后，基于所述信息检测部检测的所述响应信息判定作业的成败；所述判定部根据作业的重要程度选择所述第一～第三判定部的任意一个进行使用。

根据该构成，由于判定部根据作业的重要程度选择第一～第三判定部的任意一个进行使用，因此可以如下灵活地应对，对于重要性低的作业使用判定基准宽松的例如第一判定部，对于重要性高的作业使用判定基准严格的例如第二判定部或第三判定部，能够在不降低作业效率的情况下有效地减少作业错误。

在本发明的作业辅助系统中，还可以是如下构成：(21)所述判定部判定所述图像信息获取部获取的图像信息是否适当，所述作业指示部在所述判定部判定所述图像信息不适当时，使得请求图像信息的指示信息从所述信息输出装置输出。

根据该构成，通过判定部利用图像信息获取部获取的图像信息(证据照片)是否是在适当的拍摄位置或适当的拍摄方向拍摄的信息等观点来判定其是否适当，从而能够防止获取到不适当的图像信息(证据照片)。另外，也提醒了作业人员的注意，能够减少作业错误。

在本发明的作业辅助系统中，(22)所述判定部还可以是如下构成：其基于所述图像信息获取部获取的图像信息判定作业的完成。

根据该构成，由于判定部基于图像信息获取部获取的图像信息(证据照片)判定作业的完成，因此能够更准确地判定作业的完成。

本发明的作业辅助系统还可以是如下构成：(23)其还具备影像获取装置21，所述影像获取装置获取所述作业人员所进行的作业的影像；所述判定装置还具备影像信息获取部109，所述影像信息获取部获取所述影像获取装置获取的影像的信息；所述判定部基于所述影像获取部获取的所述作业人员的作业的影像判定作业的完成。

根据该构成，由于判定部基于影像信息获取部获取的影像信息(证据影像)判定作业的完成，因此能够更准确地判定作业的完成。另外，通过获取作业的影像信息(证据影像)，还能够实现可追溯性，而且，还能够在作业比较模型的机器学习中作为监督数据进行使用。

本发明的作业辅助系统还可以是如下构成：(24)其还具备传感器装置，所述传感器装置检测与作业相关的信息；所述判定装置还具备传感器信息获取部123，所述传感器信息获取部获取所述传感器装置检测出的所述与作业相关的信息；所述判定部基于所述传感器信息获取部获取的与所述作业相关的信息判定作业的完成。

根据该构成，由于判定部基于传感器装置以及传感器信息获取部获取的与作业相关的信息判定作业的完成，因此能够更准确地判定作业的完成。

在本发明的作业辅助系统中，(25)所述作业指示部还可以是如下构成：其在所述判定部判定作业未完成时，使表示作业未完成的信息实时从所述信息输出装置输出。

根据该构成，在因作业错误等而作业未完成时通过作业指示部以及信息输出装置将信息实时通知给作业人员，能够更有效地防止作业错误。

本发明的作业辅助系统还可以是如下构成：(26)其还具备：数据获取部118，其在所述判定部判定作业正常完成时，获取与该作业相关的数据；以及作业文件生成部，其基于所述数据获取部获取的与所述作业相关的数据生成作业文件。

根据该构成，由于利用作业文件生成部自动生成检验表或作业报告书等作业文件，因此减轻了作业人员的负担，防止了记载错误或记载遗漏，并且减少了制作作业所需要的工时。

在本发明的作业辅助系统中，(27)所述作业文件生成部还可以是如下构成：其在所述判定部基于由所述信息检测部检测的所述响应信息判定作业完成时，生成所述作业文件。

根据该构成，由于将表示来自作业人员的“完成”的响应信息作为契机，利用作业文件生成部自动生成检验表或作业报告书等作业文件，因此减轻了作业人员的负担，防止了记载错误或记载遗漏，并且减少了制作作业所需要的工时。

在本发明的作业辅助系统中，(28)还可以是如下构成：所述数据获取部获取由所述判定部做出的作业的成败的判定结果以及该作业所需要的作业时长的信息；所述作业文件生成部生成包含所述判定结果和所述作业时长的信息的所述作业文件。

根据该构成，由于作业文件生成部包含作业的成败的判定结果和作业时长的信息并生成作业文件，因此能够生成更适当的作业文件。

在本发明的作业辅助系统中，(29)所述判定装置还可以是如下构成：其根据作业人员的技能水平变更由所述判定部判定的作业的范围。

根据该构成，由于根据作业人员的技能水平变更由判定部判定的作业的范围，因此能够更有效地进行作业辅助。例如，对于技能水平高的作业人员，通过对作业A和作业B组合的范围的作业判定作业的成败，能够在作业A和作业B之间不中断地进行作业。另外，例如对于技能水平低的作业人员，通过分别判定作业A和作业B的作业的成败，能够细致地进行作业辅助。

在本发明的作业辅助系统中，还可以是如下构成：(30)所述信息获取装置获取作业中的语音的信息，所述信息输出装置利用语音输出待输出的信息。

根据该构成，由于作业人员的双手自由使用，因此作业性良好，并且能够通过语音对话更有效地对作业人员进行作业辅助。

在本发明的作业辅助系统中，还可以是如下构成：(31)所述信息获取装置获取作业人员的画面操作的信息，所述信息输出装置画面显示待输出的信息。

根据该构成，利用作业人员的智能手机等的画面，能够以简单的结构有效地进行作业辅助。

在本发明的作业辅助系统中，还可以是如下构成：(32)所述信息获取装置获取作业中的语音的信息以及作业人员的画面操作的信息，所述信息输出装置利用语音输出待输出的信息并且画面显示待输出的信息。

根据该构成，由于能够对作业人员同时进行智能手机等的画面显示的作业辅助和语音对话的作业辅助，因此能够实现可靠且便利性高的作业辅助。

发明效果

根据本发明，提供了作业辅助系统以及作业辅助方法，其即使对于作业技能低的作业人员，也能够通过可靠地进行作业检验而防止作业错误。

附图说明

图1是本发明的第一实施方式的作业辅助系统的构成图。

图2是图1所示的熟练人员终端的构成图。

图3是图1所示的作业人员终端构成图。

图4是图1所示的作业信息生成服务器的构成图。

图5是图4所示的熟练人员作业行动信息记录数据库的构成图。

图6是图4所示的现场作业人员作业信息记录数据库的构成图。

图7是图4所示的作业对象机器信息记录数据库的构成图。

图8是示出分割熟练人员的作业影像以及作业语音的方法的说明图。

图9是示出生成作业检验信息的方法的说明图。

图10A是示出作业检验(判定作业的成败)的方法的说明图。

图10B是示出作业检验(判定作业的成败)的方法的说明图。

图11是示出作业检验(判定作业的成败)的另一方法的说明图。

图12是示出作业检验(判定作业的成败)的又一方法的说明图。

图13是示出注意引起的方法的说明图。

图14是示出注意引起的另一方法的说明图。

图15是本发明的一实施方式所涉及的作业辅助方法的流程图。

图16是图15所示的作业检验信息生成步骤的流程图。

图17是图15所示的作业检验实施步骤的流程图。

图18是示出本发明的第二实施方式所涉及的作业辅助系统的示意构成的图。

图19是示出本发明的第二实施方式所涉及的作业辅助系统的功能框的图。

图20是示出图19所示的控制装置的示意构成的图。

图21是说明作业辅助模式1的图。

图22是说明作业辅助模式2的图。

图23是说明作业辅助模式3的图。

图24是说明作业辅助模式4的图。

图25是说明图像数据或影像数据的使用方法的图。

图26是示出作业人员终端的显示画面的一例的图。

图27是示出作业人员终端的显示画面的一例的图。

图28是示出作业人员终端的显示画面的一例的图。

图29是示出作业人员终端的显示画面的一例的图。

图30是示出作业人员终端的显示画面的一例的图。

图31是示出作业人员终端的显示画面的一例的图。

图32是示出作业人员终端的显示画面的一例的图。

具体实施方式

以下参照附图对本发明的实施方式的作业辅助系统进行说明。

(第一实施方式)

本发明的第一实施方式的作业辅助系统1，是通过实时判定在现场由作业人员3进行的作业的成败从而防止作业错误的系统。具体而言，作业辅助系统1基于熟练人员2的作业记录(作业影像、作业语音)生成作业检验信息，并基于作业检验信息，通过将熟练人员2的作业影像与作业人员3的作业影像进行对比，判定作业人员3的作业的成败。此外，辅助对象的作业不限于维护、维修作业，还可以是在现场进行的任何作业。

图1是示出了本发明的第一实施方式的作业辅助系统1的结构的构成图。如图1所示，作业辅助系统1具备熟练人员终端10，作业人员终端20，以及作业信息生成服务器30，这些通过网络4互相连接。

熟练人员终端10与影像获取装置(例如摄像机)11以及语音获取装置(例如麦克风)12利用有限或近距离无线进行连接。另外，作业人员终端20与影像获取装置(例如摄像机)21、语音获取装置(例如麦克风)22以及辅助信息输出装置(例如耳机、扬声器、显示器等)23利用有限或近距离无线进行连接。作业信息生成服务器30与存储有各种数据库的存储装置31连接。

在本实施方式中，影像获取装置11以及语音获取装置12构成为与熟练人员终端10连接，但不限于此。影像获取装置11以及语音获取装置12还可以分别通过网络4与作业信息生成服务器30连接。在该情况下，熟练人员终端10不是必需的。

另外，在本实施方式中，影像获取装置21、语音获取装置22以及辅助信息输出装置23构成为与作业人员终端20连接，但不限于此。影像获取装置21、语音获取装置22以及辅助信息输出装置23还可以分别通过网络4与作业信息生成服务器30连接。在该情况下，作业人员终端20不是必需的。

此外，本实施方式的熟练人员2、作业人员3、熟练人员终端10、以及作业人员终端20分别与本发明的第一作业人员、第二作业人员、第一终端、以及第二终端对应。另外，本实施方式的影像获取装置11以及影像获取装置21分别与本发明的第一影像获取装置以及第二影像获取装置对应。

(熟练人员终端)

首先，对熟练人员终端10进行说明。

熟练人员终端10例如是智能手机、平板电脑终端、头戴式显示器(HMD)、笔记本电脑等。另外，熟练人员终端10从熟练人员2佩戴的影像获取装置(例如挂耳式摄像机)11获取作业的影像(作业影像)，从熟练人员2佩戴的语音获取装置(例如麦克风)12获取作业中熟练人员2发出的语音(作业语音)。影像获取装置11可以是能够携带的例如挂耳式摄像机，也可以是固定在任意地方使用的固定摄像机。

影像获取装置11以及语音获取装置12的任意一方、双方还可以并入熟练人员终端10。

图2是示出熟练人员终端10的结构的构成图。如图2所示，熟练人员终端10具备控制部14；存储器15，其存储各种处理程序；存储设备16，其存储各种数据库；通信部17；影像获取部11a；语音获取部12a；显示部13；以及电源供给部18。

控制部14可以是使用计算机的结构，所述计算机具有CPU(Central ProcessingUnit)、ROM(Read Only Memory)、RAM(Random Access Memory)、输出入接口、以及外部存储装置等，该功能的一部分或者全部能够通过由CPU执行存储器15中存储的各种处理程序而实现。

通信部17通过网络4与作业信息生成服务器30进行通信。

语音获取部12a从语音获取装置12获取作业时的熟练人员2的语音，语音获取装置12例如是麦克风等。

影像获取部11a获取影像获取装置11拍摄的熟练人员2的作业影像，影像获取装置11例如是挂耳式摄像机等。

显示部13用于向熟练人员2提示作业信息等，具体而言，显示部13由智能手机、平板电脑等显示部构成。

电源供给部18供给驱动熟练人员终端10所需要的电力。

存储器15中存储有各种处理程序，所述各种处理程序构成影像记录处理部15b、语音记录处理部15a、以及信息收发处理部15c。这些处理程序通过由控制部14的CPU执行，能够实现各自的处理功能。

影像记录处理部15b通过由控制部14的CPU执行处理程序，驱动并控制影像获取部11a，从而执行记录(录像)作业的影像的处理。作业影像是视频，但是也可以是静止图像。在任意情况下，构成视频或静态图像的各图像与时间信息(时刻、从开始时的经过时长等)相对应，并记录在存储设备16的熟练人员作业行动信息记录数据库16a中。

语音记录处理部15a通过由控制部14的CPU执行处理程序，驱动并控制语音获取部12a，从而执行记录作业中的语音的处理。语音的信息与时间信息(时刻、从开始时的经过时长等)相对应，并记录在存储设备16的熟练人员作业行动信息记录数据库16a中。

信息收发处理部15通过由控制部14的CPU执行处理程序，驱动并控制通信部17，从而执行与作业信息生成服务器30收发信息的处理。

存储设备16中存储有熟练人员作业行动信息记录数据库16a。

图5是示出熟练人员作业行动信息记录数据库16a的结构例的构成图。如图5所示，熟练人员作业行动信息记录数据库16a的各记录(行)中记录的项目例如是熟练人员2的作业人员No、作业No、记录影像、记录语音、以及作业时长等。

作业人员No是唯一分配给各作业人员的标识号。作业No是为了确定作业而唯一分配的号码。记录影像是记录了作业的视频文件名。记录语音是记录了作业时的语音的语音文件名。作业时长是作业所需要的时间。

在熟练人员作业行动信息记录数据库16a中，每当熟练人员2进行由作业No确定的作业时，追加记录(行)数据。

此外，在获取熟练人员2的作业影像和作业语音，并且将这些数据发送给作业信息生成服务器30，并存储于作业信息生成服务器30的存储装置31中时，熟练人员终端10中还可以存储有熟练人员作业行动信息记录数据库16a。

(作业人员终端)

接着对作业人员终端进行说明。

作业人员终端20例如是智能手机、平板电脑终端、头戴式显示器(HMD)、笔记本电脑等。另外，作业人员终端20从作业人员3佩戴的影像获取装置(例如挂耳式摄像机)21获取作业的影像(作业影像)，从作业人员3佩戴的语音获取装置(例如针式麦克风)22获取作业中作业人员3发出的语音(作业语音)。另外，作业人员终端20将作业辅助信息输出至辅助信息输出装置23(例如耳机、扬声器等)。

影像获取装置21、语音获取装置22以及辅助信息输出装置23中的任意一个或两个或全部还可以并入作业人员终端20。

图3是示出作业人员终端20的结构的构成图。如图3所示，作业人员终端20具备控制部24；存储器25，其存储各种处理程序；存储设备26，其存储各种数据库；通信部27；语音获取部22a；影像获取部21a；显示部23a；语音/影像输出部23b；以及电源供给部28。显示部23a在利用视频或静止图像显示作业辅助信息时，也作为辅助信息输出装置发挥功能。

由于作业人员终端20的控制部24、存储有各种处理程序的存储器25、通信部27、语音获取部22a、影像获取部21a、显示部23a、以及电源供给部28与熟练人员终端10的对应结构要素具有相同的功能，因此省略详细说明。

语音/影像输出部23b为了利用语音和/或影像向作业人员3传达作业辅助信息(作业的成败、注意引起等)，向辅助信息输出装置23(耳机、扬声器、显示器等)输出语音和/或数据。

存储器25中存储有各种处理程序，所述各种处理程序构成影像记录处理部25b、语音记录处理部25a、以及信息收发处理部25c。这些处理程序通过由控制部24的CPU执行，能够实现各自的处理功能。由于上述处理程序与熟练人员终端10的对应处理程序实现相同的功能，因此省略详细说明。

存储设备26中存储有现场作业人员作业信息记录数据库26a。

图6是示出现场作业人员作业信息记录数据库26a的结构例的构成图。如图6所示，现场作业人员作业信息记录数据库26a的各记录(行)中记录的项目例如是作业人员No、作业日期和时间、作业No、要素作业No、检验项目、作业时长、作业成败、记录视频、以及记录语音等。

作业人员No是唯一分配给各作业人员的标识号。作业日期和时间是作业人员3进行作业的日期。作业No是为了确定作业而唯一分配的号码。要素作业No是将作业分割成要素作业时确定要素作业的号码。检验项目表示检验内容。作业时长是作业人员3进行要素作业所需要的时间。作业成败是作业的成败的判定结果。记录视频是记录了作业的视频文件名。记录语音是记录了作业时的语音的语音文件名。

在现场作业人员作业信息记录数据库26a中，每当作业人员3进行由作业No确定的作业时，追加记录(行)数据。

此外，现场作业人员作业信息记录数据库26a可以存储于作业人员终端20的存储设备26以及作业信息生成服务器30的存储设备302的任意一方或双方中。

(作业信息生成服务器)

接着，对作业信息生成服务器30进行说明。

图4是作业信息生成服务器30的构成图。如图4所示，作业信息生成服务器30具备控制部300；存储器301，其存储各种处理程序；存储设备302，其存储各种数据库；通信部307；显示部303；认证部308；外部机器连接部311；电源供给部312；作业人员终端管理部330；以及作业分析/解析部335。

控制部300可以是使用计算机的结构，所述计算机具有CPU、ROM、RAM、输出入接口、以及外部存储装置等，作业信息生成服务器30功能的一部分或者全部能够通过由CPU执行存储器301中存储的各种处理程序而实现。

通信部307通过网络4与熟练人员终端10以及作业人员终端20进行通信。

显示部303由液晶显示器等构成，能够显示熟练人员2和/或作业人员3的作业影像或系统管理状况等。

认证部308使用公知的认证方法确认用户的使用资格，只有具有使用资格的用户才能够使用作业信息生成服务器30。

外部机器连接部311能够根据需要与外部机器连接，外部机器例如是监控装置、打印机装置、外部存储装置等。

电源供给部312供给驱动作业信息生成服务器30所需要的电力。

<存储器>

存储器301中存储有各种处理程序，所述各种处理程序构成影像数据处理部313、语音数据处理部314、信息重叠处理部315、信息收发处理部316、位置数据处理部318、以及空间数据处理部319。这些处理程序通过由控制部300的CPU执行，能够实现各自的处理功能。

影像数据处理部313通过由控制部300的CPU执行处理程序，对从熟练人员终端10以及作业人员终端20发送的作业影像数据进行各种数据处理。影像数据处理部313例如进行图像识别处理，能够识别作业对象机器、熟练人员2或作业人员3的臂或手、以及作业工具等。另外，影像数据处理部313例如对于作业影像(视频)所包含的各图像进行特征点的提取或特征量的计算。基于这些特征点或特征量的信息，能够判定两图像是否相似，以及判定图像中的对象物的有无等。

语音数据处理部314通过由控制部300的CPU执行处理程序，对从熟练人员终端10以及作业人员终端20发送的作业语音数据进行各种数据处理。具体而言，语音数据处理部314具备语音识别处理部、语言转换处理部等。

语音识别处理部对从熟练人员终端10发送的熟练人员2的语音数据或者从作业人员终端20发送的作业人员3的语音数据执行语音识别处理，并将其转换为文本数据。另外，语言转换处理部将对熟练人员2的作业语音进行语音识别处理得到的日语的文本数据转换(翻译)为指定的外语。辅助信息输出装置23将翻译成外语并传达作业辅助信息的文本数据以语音或/和影像的形式输出。此外，本实施方式的语音数据处理部314与本发明的语言转换装置相对应。

信息重叠处理部315通过由控制部300的CPU执行处理程序，例如，在增强现实的画面中执行重叠显示作业工序的信息的处理。

信息收发处理部316通过由控制部300的CPU执行处理程序，驱动并控制通信部307，从而执行与熟练人员终端10以及作业人员终端20收发信息的处理。

位置数据处理部318通过由控制部300的CPU执行处理程序，对从熟练人员终端10以及作业人员终端20发送的位置数据执行各种数据处理。

空间数据处理部319通过由控制部300的CPU执行处理程序，对从熟练人员终端10以及作业人员终端20发送的空间(距离)数据执行各种数据处理。

<作业人员终端管理部>

作业人员终端管理部330具备作业辅助信息传送部331以及机器状态管理部332。

作业辅助信息传送部331将作业辅助信息传送至作业人员终端20。具体而言，作业辅助信息传送部331将进行的作业的成败的判定结果，或在要注意阶段之前给予作业人员3的注意引起的消息等作业辅助信息传送至作业人员终端20。作业人员终端20将接收的作业辅助信息的数据通过语音/影像输出部23b发送至辅助信息输出装置23。辅助信息输出装置23能够利用语音以及影像(视频)中的至少一方选择性地输出作业辅助信息。作业辅助信息的影像数据还可以显示在显示部23a上。在该情况下，显示部23a作为辅助信息输出装置23发挥功能。

作为作业的成败的判定结果、在作业失败时发送的语音或影像的信息例如是在卸下螺钉的作业中“卸下的螺钉是错误的！”等。作业的成败的判定结果是作业成功的情况下，也可以不特别发送消息，或者也可以发送“卸下螺钉的作业已正常结束”等消息。作为用于注意引起的语音或影像的消息例如是在部件更换的作业中“小心触电！”等。

作为作业辅助信息，例如还可以包括作业工序、环境信息以及状态信息。作为作业工序的说明，例如举出“作业1：请卸下螺钉”的消息。作为环境信息，例如举出现场环境的温度、湿度。作为状态信息，举出作业的进度、经过时长等。

机器状态管理部332包括作业对象机器，并且机器状态管理部332存储并管理与作业有关的机器的规格以及其状态，以及与作业现场的环境有关的信息。

<作业分析/解析部>

作业分析/解析部335具备作业行动记录汇总部336、作业记录分析部338、分析结果输出部339、作业检验信息生成部340、以及作业报告书制作部341。此外，本实施方式的作业记录分析部338与本发明的判定装置以及注意引起控制装置相对应。

作业行动记录汇总部336获取并汇总熟练人员2或者作业人员3的作业行动的记录(作业影像、作业语音)。熟练人员2的作业行动的信息存储于熟练人员作业行动信息记录数据库323中，所述熟练人员作业行动信息记录数据库323存储于存储设备302中，作业人员3的作业行动的信息存储于现场作业人员作业信息记录数据库324中。

作业记录分析部338基于作业检验信息将作业人员3的作业记录(作业影像、作业语音等作业行动信息)与熟练人员2的作业记录(作业影像、作业语音等作业行动信息)进行对比和分析，判定作业人员3的作业的成败。

另外，作业记录分析部338基于作业检验信息以及作业人员3的作业的经时信息(经过时长或者作业阶段的信息)，在作业中的特定阶段之前进行如下控制：使辅助信息输出装置23将注意信息作为作业辅助信息输出。

分析结果输出部339将作业记录的分析结果输出到作业人员终端管理部330的作业辅助信息传送部331或作业报告书制作部341等。

作业检验信息生成部340基于熟练人员作业行动信息记录数据库323中存储的熟练人员2的作业影像以及作业语音，生成作业检验信息70。生成的作业检验信息存储于存储设备302的适当的地方，例如现场作业人员作业信息记录数据库324或熟练人员作业行动信息记录数据库323等。

作业报告书制作部341以电子文件的形式制作作业报告书，并将其存储于存储设备302的适当的地方，例如现场作业人员作业信息记录数据库324等，作业报告书包括由作业记录分析部338得到的作业人员3的各作业的成败的判定结果以及各作业所需要的时间等信息。作业报告书中还一并记录有作业人员No、作业人员名、作业日期和时间、作业No(作业内容)等。作业报告书根据需要被发送到作业人员终端20，作业人员3能够看到作业报告书的内容。

<存储设备>

存储设备302中存储有熟练人员作业行动信息记录数据库323、现场作业人员作业信息记录数据库324、以及作业对象机器信息记录数据库325。存储设备302与图1的存储装置31相对应。

由于熟练人员作业行动信息记录数据库323以及现场作业人员作业信息记录数据库324与熟练人员终端10或者作业人员终端20的对应数据库结构相同，因此省略详细说明。此外，熟练人员作业行动信息记录数据库323以及现场作业人员作业信息记录数据库324中存储的作业影像的信息也可以是对构成影像的各图像进行图像处理而得到的特征点或特征量等信息，以代替原来的影像数据。

图7是示出作业对象机器信息记录数据库325的结构的构成图。如图7所示，作业对象机器信息记录数据库325的各记录(行)中记录的项目是机器No、作业No、规格、以及图像。

机器No是在由作业No确定的作业中确定作为对象的机器的标识号。作业No是为了确定作业唯一分配的号码。规格栏中填入记录了由机器No确定的机器的规格(spec)的信息的文件名。图像栏中填入由机器No确定的机器的图像文件名。

接着，参照图8对在生成作业检验信息过程中分割影像信息以及语音的信息的方法进行说明。

作业检验信息生成部340基于熟练人员2的作业语音的信息，将熟练人员2的作业影像以及作业语音分割成要素作业，作业记录分析部338对每个要素作业判定作业的成败。

具体而言，首先影像获取装置11获取熟练人员2的作业影像，语音获取装置12获取熟练人员2的作业语音。熟练人员终端10接收获取的作业影像以及作业语音的数据，并将其存储在熟练人员作业行动信息记录数据库16a中。作业影像是视频文件51，其包含以预定时间间隔拍摄的一系列图像。作业语音是语音文件52，其包含熟练人员2发出的语音。熟练人员终端10通过通信部17，将存储于熟练人员作业行动信息记录数据库16a中的熟练人员2的作业影像(视频文件51)以及作业语音(语音文件52)发送至作业信息生成服务器30。

作业信息生成服务器30将熟练人员2的作业影像以及作业语音存储在熟练人员作业行动信息记录数据库323中。接着，语音数据处理部314对熟练人员2的作业语音的数据实施语音识别处理。接着，作业检验信息生成部340从语音识别处理的结果中找到“作业1实施○○○”等消息，并确定各要素作业(作业1，作业2，……)的开始时间。作业检验信息生成部340基于各要素作业的开始时间的信息，将作业影像以及作业语音的文件分割成各要素作业，并存储在存储设备302内的适当的地方。

接着，参照图9对由作业检验信息生成部340进行的作业检验信息70的生成处理进行说明。

作业检验信息70的生成处理与熟练人员2的作业影像以及作业语音的分割处理同时进行，但不限于此，也可以在分割处理之前或者之后。

作业检验信息生成部340使用语音数据处理部314，对熟练人员作业行动信息记录数据库323中记录的熟练人员2的作业语音的数据实施语音识别处理，从而确定应该检验成败的作业(作业检验项目)以及应该注意的事项(注意事项)，并将其作为作业检验信息70存储在存储设备302内的适当的地方。

为了确定作业检验项目，例如，确定包含有表示各作业的开始的特定的语句(例如“作业1”，作业“2”等)的作业开始消息(例如“作业1卸下螺钉”，“作业2取下盖子”等)，并获取该消息内容和时间(从作为基准的时刻的经过时长)。

如图9所示，例如，作业检验信息生成部340在从熟练人员2的作业语音中确定了“作业1卸下螺钉”，“作业2取下盖子”，“作业3更换部件”，“作业4盖上盖子”，“作业5拧紧螺钉”等的作业开始消息时，在作业检验信息70的作业No、作业时长、作业检验项目的各栏中记录确定的信息。

作业检验项目不只可以从作业开始信息中获取，还可以在各作业的作业中从熟练人员2发出的消息中获取作业检验项目。例如，从熟练人员2的“将更换好的部件放入回收箱中”的消息中，将“将更换好的部件放入回收箱中”这一内容记录在作业检验项目栏中，并且将该时间也记录下来。

另外，作业检验信息生成部340，为了从熟练人员2的作业语音中确定注意事项，例如，确定表示注意引起的注意消息，并获取该消息内容和经过时长(从作为基准的时刻(例如作业开始时)的经过时长)。

例如，如图9所示，在作业检验消息生成部340从熟练人员2的作业语音中确定了“小心触电”或“小心夹手”的注意消息时，在注意事项和经过时长的各栏中将确定的信息作为作业检验信息70进行记录。

<作业成败判定方法1>

接着，参照图10A和图10B对作业检验中的作业成败判定方法1进行说明。

作业记录分析部338通过熟练人员2的作业影像中包含的特定的对象物是否包含于作业人员3的作业影像中来判定作业的成败。

具体而言，作业记录分析部338将作业人员3的作业影像与熟练人员作业行动信息记录数据库323中记录的熟练人员2的作业影像进行对比。该对比处理在获取现场的作业人员3的作业影像的同时实时进行。若不损害实时性，则可以将现场的作业人员3的作业影像临时存储在现场作业人员作业信息记录数据库324中，并且使用该数据库中记录的作业人员3的作业影像的数据。

如图10A所示，例如，在作业检验项目是作业1的“卸下螺钉”时，在作业1的熟练人员2的作业影像中存在从对象机器上卸下作业对象的螺钉的图像A。因此，若在作业人员3的作业影像中不存在从对象机器上卸下螺钉的图像A，则能够判定未实施“卸下螺钉”的作业。其中，调查在作业人员3的作业影像中是否存在相当于卸下螺钉的图像A的图像，若存在，则判定作业成功(图10A)，若不存在，则判定作业失败(图10B)。

在作业人员3的作业影像中是否存在与特定状态的对象物的图像A对应的图像，例如，能够通过比较的图像是否具有与图像A相同的特征点或/和特征量来判断。

作业人员3的作业影像中的图像A的有无的判断是判断在熟练人员2的图像A出现的时间t1的±Δt的范围内在作业人员的作业影像中是否存在与图像A对应的图像。通过限定如此对比判断的图像范围，可以迅速地判定作业的成败。

在本实施方式中，在作业人员3的作业影像中利用经过时长将对比的图像范围限定在预定范围内，但不限于此。还可以对比判断从作业人员3的作业影像的最初的图像S到最后的图像E的全部图像。另外，在对比过程中发现存在与图像A对应的图像时，可以省略关于后面的图像的对比。

如图10B所示，在时间t1±Δt的范围内，在作业人员3的作业影像中不存在与图像A对应的图像时，在经过从作业1的开始时间ts开始的时间t1+Δt后的适当时间点，利用语音或/和影像进行注意引起“请卸下螺钉”等。

在此，对作业人员3的作业开始、作业结束的判断方法进行说明。如图10A和图10B所示，作业1中的熟练人员2的作业影像的开头存在拍摄特定的对象物的图像S，并在末尾存在图像E。例如，若在作业人员3的作业影像中出现与图像S对应的图像，则判断作业1开始，若作业人员3的作业影像中出现与图像E对应的图像，则判断作业1结束。如此，能够判断作业人员3是开始还是结束了通过作业No唯一确定的作业(或者要素作业)。

作为其他方法，对作业人员3在语音获取装置22(例如麦克风)发出的语音通过语音数据处理部314进行语音识别处理，例如若检测“开始作业1”等消息语音，则以此作为信号判断在作业影像中作业1已经开始。

<作业成败判定方法2>

接着，参照图11对作业检验中的另一作业成败判定方法2进行说明。

在作业成败判定方法2中，作业记录分析部338通过熟练人员2的作业影像中不包含的对象物是否包含于作业人员3的作业影像中来判定作业的成败。

具体而言，作业记录分析部338将作业人员3的作业影像与熟练人员作业行动信息记录数据库323中记录的熟练人员2的作业影像进行对比。该对比处理在获取现场的作业人员3的作业影像的同时实时进行。若不损害实时性，则可以将现场的作业人员3的作业影像临时存储在现场作业人员作业信息记录数据库324中，并且使用该数据库中记录的作业人员3的作业影像的数据。

如图11所示，例如，在作业检验项目是作业1的“卸下螺钉”时，在作业1的熟练人员2的作业影像中不存在从对象机器上卸下作业对象的螺钉以外的螺钉的图像B。因此，若在作业人员3的作业影像中存在从对象机器上卸下螺钉以外的螺钉的图像B，则能够判定没有成功实施“卸下螺钉”的作业。其中，调查在作业人员3的作业影像中是否存在与熟练人员2的作业影像的各图像中的任意一个均不对应的图像，若存在，则判定作业成功，若不存在，则判定作业失败(图11)。

在作业人员3的作业影像中是否存在与熟练人员2的作业影像的各图像中的任意一个均不对应的图像，例如，能够通过图像的特征点或/和特征量是否相似来判断。

作业人员3的作业影像中是否存在与熟练人员2的作业影像中的图像对应的图像的判断还可以是判断在作业人员3的作业影像的图像出现的时间t1的±Δt的范围内是否存在与熟练人员2的作业影像对应的图像。通过限定如此对比判断的图像范围，可以迅速地判定成败。

如图11所示，例如，在作业人员3的作业影像中存在与熟练人员2的作业影像的各图像中的任意一个均不对应的图像B时，利用语音或/和影像进行注意引起“卸下的螺钉是错误的”等。

<作业成败判定方法3>

接着，参照图12对作业检验中的又一作业成败判定方法3进行说明。

在作业成败判定方法3中，作业记录分析部338通过熟练人员2的作业影像中包含的特定的对象物是否以预定顺序包含于作业人员3的作业影像中来判定作业的成败。

具体而言，作业记录分析部338将作业人员3的作业影像与熟练人员作业行动信息记录数据库323中记录的熟练人员2的作业影像进行对比。该对比处理在获取现场的作业人员3的作业影像的同时实时进行。若不损害实时性，则可以将现场的作业人员3的作业影像临时存储在现场作业人员作业信息记录数据库324中，并且使用该数据库中记录的作业人员3的作业影像的数据。

如图12所示，例如，根据熟练人员2的作业影像或/和作业语音，在发现关于作业1应该按照作业工序1、作业工序2、作业工序3的顺序进行作业的情况下，作业的成败判定如下。首先，从熟练人员2的作业影像确定与作业工序1、2、3分别对应的图像A、B、C。接着，调查在作业人员3的作业影像中是否存在与图像A、B、C分别对应的图像，并且这些是否以该顺序出现。若在作业人员3的作业影像中以该顺序存在与图像A、B、C分别对应的图像，则判定作业成功，若不存在，则判定作业失败(图12)。

在作业人员3的作业影像中是否存在与熟练人员2的作业影像的图像A、B、C分别对应的图像，例如，能够通过对比的两图像的特征点或/和特征量是否相似来判断。

作业人员3的作业影像中是否存在与熟练人员2的作业影像中的图像A、B或C对应的图像的判断还可以是判断在熟练人员2的作业影像的图像A、B或C出现的时间t1的±Δt的范围内是否存在与作业人员3的作业影像对应的图像。通过限定如此对比判断的图像范围，可以迅速地判定成败。

如图12所示，在作业人员3的作业影像中没有以该顺序存在与图像A、B、C分别对应的图像时，利用语音或/和影像进行注意引起“作业工序是错误的！”等。

<注意引起方法1>

接着，参照图13对注意引起方法1进行说明。

在该注意引起方法1中，作业记录分析部338基于作业检验信息以及作业人员3的作业的经时信息，在作业中的特定阶段之前使辅助信息输出装置将注意信息作为作业辅助信息进行输出。

其中，“特定阶段”是在作业中应该进行注意引起的阶段，例如，在“更换部件”作业3中为了更换相当于“把持部件”阶段，或是在“盖上盖子”作业4中相当于“将盖子载置在主体上”。作业检验信息生成部340基于熟练人员2的作业语音的信息将特定阶段确定为作业检验信息。

在本实施方式中，“经时信息”是从作业人员3的作业开始的经过时长的信息。作业检验信息生成部340分析作业人员2的作业语音，例如提取“小心触电”等注意事项，并且记录发出该消息的时间(从作业开始时的经过时长)。

如图13所示，作业记录分析部338监控从作业人员3的作业开始时的经过时长，在比特定阶段(对应于图像D)的时间t2提前Δt的时间t1，以语音或/和影像的方式注意引起例如“小心触电”。t1＝t2-Δt。

<注意引起方法2>

接着，参照图14对另一注意引起方法2进行说明。

在本实施方式中，基于从作业人员3的作业开始的经过时长进行注意引起，但是不限于此结构，还可以基于根据作业人员3的作业影像认定的作业阶段的信息进行注意引起。

如图14所示，作业检验信息生成部340预先分析熟练人员2的作业影像，在应该进行注意引起的特定阶段(对应于图像D)之前确认并记录作业阶段1、2、3(分别对应于图像A、B、C)以该顺序存在。然后，若作业记录分析部338在作业人员3的作业中对作业影像进行实时分析，监控与图像A、B、C对应的图像的出现，并检测与图像C对应的图像，则以语音或/和影像的方式注意引起例如“小心触电”。在与图像D对应的特定阶段之前的作业阶段进行可靠的注意引起。

接着，对本实施方式的作业辅助方法进行说明。

图15是本实施方式的作业辅助方法的流程图。

在作业信息生成服务器30中，预先，作业检验信息生成部340基于熟练人员2的作业语音将熟练人员2的作业影像以及作业语音分割为要素作业，并且基于熟练人员2的作业影像以及作业语音生成作业检验信息70(S1)。在作业人员3进行作业时，在作业信息生成服务器30中，作业记录分析部338基于作业检验信息70，对作业人员3进行的作业实时实施作业检验(S2)。在作业结束后，在作业信息生成服务器30中，作业报告书制作部341基于作业检验的实施结果制作作业报告书(S3)。

接着，对作业检验信息70的生成方法进行说明。

图16是示出作业检验信息70的生成方法的流程图。

首先，获取熟练人员2的作业中的影像、语音(S10)。具体而言，将由熟练人员2佩戴的影像获取装置(例如挂耳式摄像机)11拍摄的影像，以及由语音获取装置(例如麦克风)12获取的语音输入熟练人员终端10，并通过网络4发送至作业信息生成服务器30。在作业信息生成服务器30中，接收的作业影像以及作业语音存储在熟练人员作业行动信息记录数据库323中。

接着，基于熟练人员2的作业语音将熟练人员2的作业影像以及作业语音的文件分割为要素作业(S11)。具体而言，在作业信息生成服务器30中利用语音数据处理部314对熟练人员2的作业语音进行语音识别处理。语音识别处理的结果为，检测确定“作业1实施○○○”等要素作业的消息，并确定各要素作业(作业1，作业2，……)的开始时间。然后，基于各要素作业的开始时间的信息，将作业影像以及作业语音的文件分割为各要素作业。

接着，从熟练人员2的作业语音中提取作业检验项目(S12)。具体而言，根据在作业信息生成服务器30中对熟练人员2的作业语音进行语音识别处理的结果，提取作业检验项目。例如，若检测“作业1卸下螺钉”，“作业2取下盖子”，“作业3更换部件”，“作业4盖上盖子”，“作业5拧紧螺钉”等消息，则提取作业1“卸下螺钉”，作业2“取下盖子”，作业3“更换部件”，作业4“盖上盖子”，作业5“拧紧螺钉”作为作业检验项目。作业检验信息生成部340将作业检验项目和作业所需要的时长一同作为作业检验信息70进行存储。

另外，作业检验信息生成部340，例如，若检测“小心触电”、“小心夹手”等注意引起的消息，则将该消息作为注意事项进行识别，并与从基准时间点(例如作业开始时)开始的经过时长的信息一同作为作业检验信息70进行存储。

接着，参照图17，对作业人员3进行的作业实施作业检验的方法进行说明。

首先，作业信息生成服务器30的作业记录分析部338从作业检验信息70中获取最初的作业检验项目(S20)。具体而言，取出与存储设备302中存储的作业检验消息70的作业1对应的作业检验项目、作业时长等。

接着，作业记录分析部338判断作业检验信息70中是否存在与作业1对应的注意事项，即判断是否需要注意引起(S21)。若需要注意引起(S21中的是)，则作业记录分析部338在从作业开始的预定的经过时长内，使辅助信息输出装置23利用语音或/和影像进行注意引起(S22)。例如，在从作业3开始60秒时，利用语音或/和影像对作业人员3进行注意引起“小心触电”。若不需要注意引起(S21中的否)，则进入步骤S23。

在步骤S23中，作业记录分析部338通过将熟练人员2的作业影像与作业人员3的作业影像进行对比，而对作业人员3的作业实施作业检验。具体而言，按顺序使用上述的作业成败判定方法1～3中的任意一个或任意的组合判定作业的成败。还可以根据作业的内容改变作业成败判定方法。

若通过判定作业检验项目不合格(失败)(S24中的否)，则作业记录分析部338使辅助信息输出装置23以语音或/和影像的方式警告作业人员3(S25)。例如，若作业5的“拧紧螺钉”的作业检验项目没有顺利实施，则将消息“请拧紧螺钉”通过辅助信息输出装置23以语音或/和影像的方式通知作业人员3。接收到警告的作业人员3重新进行作业(S26)，返回步骤S23，并实施作业检验。

若通过判定作业检验项目合格(成功)(S24中的是)，则进入步骤S27，作业记录分析部338将作业检验项目的合格、作业时长等信息存储在存储设备302的现场作业人员作业信息记录数据库324等中(S27)。然后，若作业检验信息70中具有应该作业检验的其他作业检验项目(S28中的是)，则返回步骤S20，重复上述步骤。若作业检验信息70中没有应该作业检验的其他作业检验项目(S28中的否)，则结束作业检验。

接着，对作用、效果进行说明。

如上所述，本实施方式的作业辅助系统1，作业检验信息生成部340基于由语音获取装置12获取的语音的信息生成作为作业检验基准的作业检验消息70，并且作业记录分析部338通过基于作业检验信息将熟练人员2的作业影像与现场的作业人员3的作业影像进行对比而判定作业的成败。

根据该构成，由于作业记录分析部338通过基于作业检验信息70将熟练人员2的作业影像与现场的作业人员3的作业影像进行对比来判定作业的成败，因此能够可靠地进行作业检验(判定作业的成败)。通过基于作业检验的结果，利用语音或影像指出作业错误，能够引导重新进行作业。因此，即使对于作业技能低的作业人员，也能够通过可靠地进行作业检验而防止作业错误。

另外，在本实施方式的作业辅助系统1中，作业记录分析部338还可以通过熟练人员2的作业影像所包含的特定的对象物是否包含于作业人员3的作业影像中来判定作业的成败。根据该构成，通过基于作业中必须的特定的对象物的有无判定作业的成败，能够可靠地检测忘记作业。

另外，在本实施方式的作业辅助系统1中，作业记录分析部338还可以通过熟练人员2的作业影像未包含的特定的对象物是否包含于作业人员3的作业影像中来判定作业的成败。根据该构成，通过基于作业中不需要的对象物的有无判定作业的成败，能够可靠地检测误作业(作业内容的错误)。

另外，在本实施方式的作业辅助系统1中，作业记录分析部338还可以通过熟练人员2的作业影像所包含的特定的对象物是否以预定顺序包含于作业人员3的作业影像中来判定作业的成败。根据该构成，通过基于作业中必须的对象物是否以预定顺序出现判定作业的成败，能够可靠地检测工序错误。

另外，在本实施方式的作业辅助系统1中，作业检验信息生成部340还可以基于熟练人员2的语音的信息将熟练人员2的作业影像分割为要素作业，作业记录分析部338对每个要素作业判定作业的成败。根据该构成，即使是长时间的作业，通过分割为适当的所需时间的要素作业，也能够更可靠地判定作业的成败。

另外，在本实施方式的作业辅助系统1中，辅助信息输出装置23能够利用语音和影像(视频或静止图像)中的至少一方选择性地输出作业辅助信息。根据该构成，能够根据作业环境选择最佳方法(仅语音/仅视频/语音和视频)来进行作业辅助。

另外，本实施方式的作业辅助系统1还具备语音数据处理部314，所述语音数据处理部314将传达由辅助信息输出装置23输出的作业辅助信息的语音转换为指定的语言。根据该构成，即使对于不懂日语的外籍作业人员也能够通过该外国人能够理解的外语进行作业辅助。

另外，本实施方式的作业辅助系统1还包括作业报告书制作部341，所述作业报告书制作部341制作包括作业记录分析部338的作业的判定结果的作业报告书。根据该构成，由于在现场的作业的完成时作业报告书自动制作，因此省去了作业人员3制作作业报告书的工夫。

另外，在本实施方式的作业辅助系统1中，作业记录分析部338基于作业检验信息70以及从作业人员3的作业开始的经过时长的信息，在作业中的特定阶段之前，使辅助信息输出装置23将注意信息作为作业辅助信息进行输出。根据该构成，由于作业记录分析部338基于作业检验信息70以及经过时长，在需要注意引起的特定阶段之前输出注意信息，因此能够有效地防止作业错误或事故。由此，能够提高作业的质量。

另外，在本实施方式的作业辅助系统1中，作业检验信息生成部340基于熟练人员2的作业中的语音的信息将特定阶段确定为作业检验信息。根据该构成，能够容易地指定需要注意引起的特定阶段。

另外，在本实施方式的作业辅助系统1中，作业记录分析部338还可以基于根据作业检验信息70以及作业人员3的作业影像认定的作业阶段的信息，在作业中的特定阶段之前使作业信息输出装置23将注意信息作为作业辅助信息进行输出。根据该构成，能够在更适当的时间进行注意引起。

另外，本实施方式的作业辅助系统1还可以是如下构成：其具备：作业信息生成服务器30，其至少具备作业检验信息生成部340；熟练人员终端10，其具有影像获取装置11以及语音获取装置12，并与作业信息生成服务器30连接；以及作业人员终端20，其具有影像获取装置21以及辅助信息输出装置23，并与作业信息生成服务器30连接。根据该构成，通过使用服务器，能够简化现场的作业人员携带的作业人员终端20的结构。

此外，本实施方式是如下构成：作业信息生成服务器30具有作业记录分析部338、以及熟练人员作业行动信息记录数据库323等，并且进行作业人员3的作业检验(判定成败)，但是该结构不限于此。还可以是如下构成：作业人员终端20具有作业记录分析部338、熟练人员作业行动信息记录数据库323、以及现场作业人员作业信息记录数据库324等，并且在作业人员终端20中进行作业人员3的作业检验(判定成败)。另外，本实施方式是如下构成：作业信息生成服务器30具有作业报告书制作部341，并且进行作业报告书的制作，但是该结构不限于此。还可以是如下构成：作业人员终端20具有作业报告书制作部341，并且在作业人员终端20中进行作业报告书的制作处理。

装备情况的作业人员终端20的智能手机当然还可以是平板电脑终端等其他的移动终端。

图19是示出本发明的第二实施方式的作业辅助系统1A的功能框的图。如图19所示，作业辅助系统1A在作业辅助服务器30A侧具备控制装置100以及存储设备302，在作业人员3侧具备辅助信息输出装置23、信息获取装置120、图像获取装置122、影像获取装置21、以及传感器装置123。信息获取装置120获取来自作业人员3的语音或画面操作等的信息，并且其具备语音获取装置22以及画面操作获取装置121。此外，本实施方式的控制装置100与本发明的判定装置对应。

控制装置100基于信息获取装置120获取的来自作业人员3的信息，按照预定的判定基准判定作业的成败，并且其具备对话部101、信息输出入部108、判定部112以及文件制作部117。

对话部101进行与作业人员3的语音对话，或者作为辅助信息输出装置23利用作业人员终端3附属的触摸面板等的画面(以下也简称为“画面”)进行对话，并且其具备作业指示部102、注意信息输出部103、信息检测部104以及询问确认部107。信息检测部104检测信息获取装置120获取的信息，并且其具备发声检测部105和画面操作检测部106。

作业指示部102基于存储设备302的作业检验信息存储部130中存储的作业检验信息，使得指示作业的指示信息从辅助信息输出装置23输出。来自辅助信息输出装置23的输出可以是语音、画面显示以及语音+画面显示中的任意一种输出方式(以下相同)。例如，作业指示部102在作业开始时，使“请实施螺钉拧紧作业”的指示消息通过语音从辅助信息输出装置23输出。

作业指示部102还可以基于影像获取装置21获取的作业的影像或传感器装置123获取的作业信息等，在判定部112判定作业未完成时，使表示作业未完成的注意信息通过语音实时从辅助信息输出装置23输出。在由于作业错误等原因导致的作业未完成的情况下，通过作业指示部102利用语音将注意信息实时通知作业人员3，能够有效地防止作业错误。

注意信息输出部103基于存储设备302的作业检验信息存储部130中存储的作业检验信息，使得指示作业的注意信息从辅助信息输出装置23输出。来自辅助信息输出装置23的输出可以是语音、画面显示以及语音+画面显示中的任意一种输出方式。例如，注意信息输出部103在作业开始时，继“请实施螺钉拧紧作业”的指示消息之后，使“请不要双手拿螺钉和螺丝刀”的注意消息通过语音从辅助信息输出装置23输出。这样，在作业开始时等，通过注意信息输出部103使作业的注意消息通过语音等从辅助信息输出装置23输出，能够提醒作业人员3注意，并且能够有效地减少作业错误和作业事故。

另外，本实施方式的作业辅助方法，在作业检验信息生成步骤S1中，基于由语音获取步骤S10获取的语音文件52的信息，而生成作为作业检验基准的作业检验信息70，并且在判定步骤S2中，通过基于作业检验信息70将熟练人员2的作业影像与现场的作业人员3的作业影像进行对比而判定作业的成败。

根据该构成，由于判定步骤S2中通过基于作业检验信息70将熟练人员2的作业影像与现场的作业人员3的作业影像进行对比来判定作业的成败，因此能够可靠地进行作业检验(判定作业的成败)。通过基于作业检验的结果，利用语音或影像指出作业错误，能够引导重新进行作业。因此，即使对于作业技能低的作业人员，也能够通过可靠地进行作业检验而防止作业错误。

(第二实施方式)

接着，参照附图对本发明的第二实施方式进行说明。在以下的说明中，与第一实施方式的结构要素相同的结构要素使用相同的附图标记表示，并且适当地省略其详细说明。

图18是示出本发明的第二实施方式的作业辅助系统1A的示意构成的图。作业辅助系统1A通过与现场的作业人员3例如利用语音或终端画面进行对话，而辅助作业人员3的作业。具体而言，如图18所示，作业辅助系统1A具备作业人员终端20和作业辅助服务器30A，并且这些通过网络4互相连接。作业辅助服务器30A还可以包括作业信息生成服务器30的构成。

作业人员终端20与获取作业影像的影像获取装置(例如挂耳式摄像机)21、作为获取作业中的语音的信息获取装置的语音获取装置(例如麦克风)22、输出作业辅助信息的辅助信息输出装置(例如耳机、扬声器、显示器、AR(Augmented Reality)眼镜等)23，获取作业的对象物的图像(例如照片)的图像获取装置(例如摄像机)122、以及感知与作业相关的信息的传感器装置123利用有限或近距离无线进行连接。作业辅助服务器30A与存储有各种数据库的存储装置31连接。此外，本实施方式的辅助信息输出装置23与本发明的信息输出装置对应。

作业人员终端20例如是智能手机或平板电脑终端等移动终端，语音获取装置22、图像获取装置122、影像获取装置21以及辅助信息输出装置23中的任意一个或全部可以内置于作业人员终端20中。例如，辅助信息输出装置23可以是内置于智能手机或平板电脑终端等作业人员终端20内的扬声器或显示器等。作业人员终端20还可以具备作为信息获取装置的画面操作获取终端(例如触摸面板)121，所述画面操作获取终端获取作业人员的画面操作的信息(参照图19)。与作业人员终端20连接的上述各种装置，无论是内置的还是外部机器，根据作业内容、作业环境、作业人员的技能水平以及后面说明的作业辅助模式等，只适当装备需要的装置进行使用。

作为作业人员3的代表性的装备，没有限制，举例而言，有(i)仅作为作业人员终端20的智能手机，(ii)作为作业人员终端20的智能手机和作为辅助信息输出装置23的耳机，(iii)作为作业人员终端20的智能手机和作为辅助信息输出装置23的AR眼镜，(iv)作为作业人员终端20的智能手机和作为辅助信息输出装置23的耳机以及作为影像获取装置21的挂耳式摄像机，(v)作为作业人员终端20的智能手机和作为辅助信息输出装置23的耳机以及作为传感器装置123的身体传感器，等情况。

在(i)的装备情况中，作业人员3携带带有触摸面板的智能手机进行作业，通过利用智能手机的触摸面板的画面显示以及画面操作与作业辅助系统1A进行画面上的对话，而接受作业辅助。在该装备情况中，能够低成本地构建作业辅助系统。

在(ii)的装备情况中，作业人员3携带智能手机并佩戴耳机而进行作业，通过利用耳机和智能手机内置的麦克风与作业辅助系统1A进行语音对话，而接受作业辅助。在该装备情况中，能够低成本地构建作业辅助系统，并且由于在作业中作业人员3不需要操作智能手机，自由使用双手，因此作业性良好。

在(iii)的装备情况中，作业人员3携带智能手机并佩戴AR眼镜而进行作业，利用AR眼镜显示的影像接受作业辅助。在该装备情况中，由于作业人员3自由使用双手，因此作业性良好，另外由于利用AR技术能够将作业对象物重叠从而显示辅助信息，因此可以进行高性能的辅助。

在(iv)的装备情况中，作业人员3携带智能手机并佩戴耳机和挂耳式摄像机而进行作业，将作业的影像信息从挂耳式摄像机发送至作业辅助系统1A，并且从耳机利用语音接受作业辅助。在该装备情况中，由于作业人员3自由使用双手，因此作业性良好，另外由于能够基于作业的影像信息更准确地判定作业的成败，因此可以进行高性能的辅助。

在(v)的装备情况中，作业人员3携带智能手机并佩戴耳机和身体传感器而进行作业，将身体信息(例如，动作、指尖感觉、指尖压力等)从身体传感器发送至作业辅助系统1A，并且从耳机利用语音接受作业辅助。在该装备情况中，由于作业人员3自由使用双手，因此作业性良好，另外由于能够基于作业人员3的身体信息更准确地判定作业的成败，因此可以进行高性能的辅助。

在上述的各装备情况中，根据需要，智能手机使用内置了摄像机功能、扬声器功能、麦克风功能、显示功能、触摸传感器功能中的任意一个或全部的智能手机。此外，作为上述各

信息检测部104在由辅助信息输出装置23输出指示信息后，从信息获取装置120获取的信息中检测响应指示信息的响应信息。

发声检测部105利用公知的语音识别技术，在由辅助信息输出装置23输出指示信息后，从语音获取装置22获取的语音的信息中检测响应指示信息的语音响应信息。例如，发声检测部105在作业结束时或询问确认时，检测作业人员发出的“完成”的话语。表示由发声检测部105检测的响应信息的语音的信息，作为作业的证明存储在语音存储部133中，语音存储部133设置在存储设备302中。

作为发声检测部105检测的作业人员3的特定的发声，不限于“完成”，当然也可以是其他单词、单词组合、短语、句子、造词等。

画面操作获取装置121作为辅助信息输出装置23获取相对于作业人员终端3附属的触摸面板等的画面的作业人员3的操作(例如，点击、双击、软键输入等)的信息。以下，将由作业人员3进行的画面的操作称为“画面操作”。

询问确认部107在后面说明的判定部112判定作业成功之后，使得确认作业完成的询问信息从辅助信息输出装置23输出。来自辅助信息输出装置23的输出可以是语音、画面显示以及语音+画面显示中的任意一种输出方式。例如，询问确认部107使“截止到最后了吗？”的询问确认消息通过语音从辅助信息输出装置23输出。

另外，信息输出入部108输入来自内置或连接于作业人员终端20的图像获取装置122、影像获取装置21以及传感器装置123等的信息，并且向辅助信息输出装置23输出各种辅助信息，其具备图像、影像信息获取部109、传感器信息获取部110、以及辅助信息输出部111。

图像、影像信息获取部109获取图像获取装置122获取的作业的对象物的图像信息，并且/或者，获取影像获取装置21获取的影像的信息。由图像、影像信息获取部109获取的图像信息以及影像信息存储在图像、影像存储部131中，图像、影像存储部131设置于存储设备302。图像、影像存储部131中存储的作业的图像信息以及影像信息作为作业的证明，或者用于基于公知的AI(人工智能)技术的作业比较模型的机器学习。此外，本实施方式的图像、影像信息获取部109与本发明的图像信息获取部以及影像信息获取部对应。

传感器信息获取部110获取传感器装置123检测出的与作业相关的信息。作为传感器装置123，例如举出，穿戴于作业人员3而检测作业人员3的动作的动作传感器、穿戴于作业人员3的指尖而检测指尖的感觉和压力的传感器、检测现场的气味的气味传感器、温度传感器、湿度传感器、味觉传感器、检测现场的设备音或音响的声音传感器、检测振动的振动传感器、加速度传感器、检测作业人员3的视线的视线传感器等。还可以基于传感器信息获取部110获取的信息，利用判定部判定作业的完成。通过这样操作，能够更准确地判定作业的完成。

辅助信息输出部111基于源自控制装置100的判定部112的判定结果，使作业辅助信息输出至辅助信息输出装置23。来自辅助信息输出装置23的输出可以是语音、画面显示以及语音+画面显示中的任意一种输出方式。

另外，判定部112基于信息检测部104检测的响应信息判定作业的成败，其具备判定切换部113、第一判定部114、第二判定部115以及第三判定部116。

判定切换部113根据作业的重要程度选择第一判定部114、第二判定部115以及第三判定部116中的任意一个，由判定切换部113选择的判定部判定作业的成败。

第一判定部114在由作业指示部102以及辅助信息输出装置23输出指示信息后，基于信息检测部104检测的响应信息判定作业的成败。例如，在由辅助信息输出装置23通过语音输出“请实施螺钉拧紧作业”的指示消息之后，基于信息检测部104的发声检测部105检测的作业人员3的发声(响应信息)判定作业的成败。在该情况下，若作业人员3的发声是例如“完成”，则第一判定部114判定作业完成，若不是“完成”，则第一判定部114判定作业未完成。

第二判定部115在由询问确认部107以及辅助信息输出装置23输出询问信息后，基于信息检测部104检测的响应信息判定作业的成败。例如，在由辅助信息输出装置23通过语音输出“截止到最后了吗？”的询问消息之后，基于信息检测部104的发声检测部105检测的作业人员3的发声(响应信息)判定作业的成败。在该情况下，若作业人员3的发声是例如“完成”，则第二判定部115判定作业完成，若不是“完成”，则第二判定部115判定作业未完成。

这里询问的消息不仅是确认作业的结束的上述表现，还可以是通过语音输出的确认灯的颜色或输入数值(例如，“灯的颜色是什么色？”或“输入数值是多少？”)的消息，确认作业的结束状态(例如“阀门的朝向是哪个方向？”)的消息等。该响应可以是具体回答的完成通知，例如灯的颜色是“绿色”，或阀门的朝向是“右”方向等。另外，可以多次重复这些询问和响应。

第三判定部116在图像、影像信息获取部109没有获取作业的对象物的照片等图像信息的情况下，判定作业未完成，在获取了作业的对象物的图像信息的情况下，在由辅助信息输出装置23输出指示信息后，基于信息检测部104检测的响应信息判定作业的成败。例如，在由辅助信息输出装置23通过语音输出“请实施螺钉拧紧作业”的指示消息之后，在图像、影像信息获取部109获取了作业的对象物的照片等图像信息的情况下，基于信息检测部104的发声检测部105检测的作业人员3的发声(响应信息)判定作业的成败。在该情况下，若作业人员3的发声是例如“完成”，则第三判定部116判定作业完成，若不是“完成”，则第三判定部116判定作业未完成。

第三判定部116还可以以图像、影像信息获取部109获取的图像信息(证据照片)是否是在适当的拍摄位置或适当的拍摄方向拍摄的等为基准判定其是否适当。作业指示部102在第三判定部116判定图像信息不适当或者未被上传的情况下，使请求图像信息的指示信息通过语音等从辅助信息输出装置23输出。由此，能够防止获取到不适当的图像信息(证据照片)。另外，还能够提醒作业人员3的注意，并且减少作业错误。

在本实施方式中，由于判定部12根据作业的重要程度选择第一～第三判定部114、115、116中的任意一个进行使用，因此可以如下灵活地应对，对于重要程度低的作业使用判定基准宽松的例如第一判定部114，对于重要程度高的作业使用判定基准严格的例如第二判定部115或第三判定部116，能够在不降低作业效率的情况下有效地减少作业错误。

另外，文件制作部117具有制作与作业有关的必要的文件(例如，检验表、作业报告书等)的功能，其具备数据获取部118和作业文件生成部119。

数据获取部118在判定部112判定作业正常完成时，获取与该作业相关的数据。具体而言，数据获取部118例如获取判定部112的作业的成败的判定结果以及该作业所需要的作业时长的信息。

作业文件生成部119基于数据获取部118获取的与作业相关的数据生成检验表、作业报告书等作业文件。具体而言，作业文件生成部119例如在判定部112基于由信息检测部104检测的发声或画面操作等响应信息判定作业完成时，生成检验表等作业文件。这样，由于将表示来自作业人员3的“完成”的相关信息作为契机，利用作业文件生成部119自动生成检验表等作业文件，因此减轻了作业人员3的负担，防止了记载错误或记载遗漏，并且减少了制作作业所需要的工时。另外，作业文件生成部119生成检验表等的包含判定部112的判定结果和作业时长的信息的作业文件。由此，能够制作更适当的作业文件。

另外，存储设备302是存储与作业相关的信息以及各种数据库等的存储装置，其包括作业检验信息存储部130、语音存储部133、图像、影像存储部131、以及作业文件存储部132。

作业检验信息存储部130中存储有作为作业检验(判定作业的成败)的基础的作业检验信息70。

语音存储部133将由信息检测部104的发声检测部105检测的作业人员3的发声的语音的信息作为作业的证明，与作业项目、作业日期和时间等信息关联存储。语音存储部133中存储的语音的信息有助于确保可追溯性。

图像、影像存储部131将由图像、影像信息获取部109获取的图像信息以及影像信息与作业项目、作业日期和时间等信息关联存储。这些图像信息或影像信息作为作业的证明，有助于确保可追溯性，另外能够用于基于AI技术的作业比较模型的机器学习。

作业文件存储部132存储由作业文件生成部119生成的检验表或作业报告书等作业文件的信息。

本实施方式的控制装置100还可以根据作业人员的技能水平变更由判定部112判定成败的作业的范围。由此，能够更有效地进行作业辅助。例如，对于技能水平高的作业人员，通过对作业A和作业B组合的范围的作业判定作业的成败，能够在作业A和作业B之间不中断地进行作业。另外，例如对于技能水平低的作业人员，通过分别判定作业A和作业B的作业的成败，能够细致地进行作业辅助。

图20是示出本实施方式的控制装置100的示意构成的图。如图20所示，控制装置100具备利用总线143互相连接的CPU140、ROM141、RAM142、输出入I/F144、以及通信I/F145，图19所示的控制装置100的各功能框例如通过将ROM141或存储设备302等中存储的各种程序读取到RAM142中并由CPU140执行而实现。

接着，参照附图对本实施方式中的作业辅助模式(方法)进行说明。以下，首先对语音作业辅助进行说明，接着对画面显示作业辅助进行说明。

<语音作业辅助>

在语音作业辅助的情况下，作业辅助系统1A例如具备：作业辅助服务器30A，其具备控制装置100；作业人员终端20，其通过网络4与作业辅助服务器30A连接；以及辅助信息输出装置23，其输出辅助信息。以下，对在使用智能手机(对应于作业人员终端20)、利用Bruetooth(注册商标)与智能手机连接的耳机(对应于辅助信息输出装置23)、以及智能手机中内置的麦克风(对应于语音获取装置22)的情况下的作业辅助模式1～4进行说明。

此外，在本构成中，也可以不是单独的语音，而是与智能手机等智能设备的画面并用的混合型。此时，智能设备中还可以显示作业的详情或作业视频、当前作业在作业整体中的位置或不明点询问的联系等。

[作业辅助模式1]

图21是说明本实施方式的作业辅助模式1的图。虚线内示出了对作业B的作业辅助。以下，按顺序对作业辅助的各步骤进行说明。

(1)作业指示步骤：在作业B开始时，作业辅助系统1A中的作业辅助服务器30A的作业指示部102将指示作业的指示信息发送至作业人员终端20(智能手机)，辅助信息输出装置23(耳机)通过语音输出该指示信息。指示信息例如是由“请实施螺钉拧紧作业”的语音发出的指示消息。而且，可以追加说明作业的内容。

(2)注意引起步骤：继输出指示信息之后，作业辅助系统1A的注意信息输出部103将作业中的注意信息发送至作业人员终端20(智能手机)，通过语音从辅助信息输出装置23(耳机)向作业人员3输出注意信息。注意信息例如是由“请不要双手拿螺钉和螺丝刀”的语音发出的注意消息。该注意引起还可以对与作业错误或防止意外/事故或作业效率化有关的作业的办法和诀窍进行指示。

(3)完成通知步骤：在作业结束时，作业人员3通过语音进行完成通知。具体而言，作业人员3发声“完成”，语音获取装置22(智能手机内置的麦克风)获取该发声语音，发声检测部105从由语音获取装置22获取的语音的信息中检测作为响应指示信息的响应信息的“完成”的语音的信息。其中，完成通知不仅是完成等结束状态，还可以是具体回答的完成通知，例如灯的颜色是“绿色”或阀门的朝向是“右”方向等。

然后，判定部112基于发声检测部105检测的发声的信息判定作业的成败。例如，若作业人员3的发声内容是“完成”，则判定作业成功并向下一个作业C转移，若不是“完成”，则判定作业失败或未完成。

这样，在作业辅助模式1中，由于通过作业辅助系统1与作业人员3利用语音进行对话，以辅助作业人员3的作业，因此能够利用简化的构成，低成本地构建作业辅助系统1A，由于作业人员3可以自由使用双手，因此使用很方便，由于基于作业人员3的发声来判定作业的成败，因此能够有效地防止作业错误。

[作业辅助模式2]

图22是说明本实施方式的作业辅助模式2的图。虚线内示出了对作业B的作业辅助。以下，按顺序对作业辅助的各步骤进行说明。

(1)作业指示步骤：在作业B开始时，作业辅助系统1A中的作业辅助服务器30A的作业指示部102将指示作业的指示信息发送至作业人员终端20(智能手机)，辅助信息输出装置23(耳机)通过语音输出该指示信息。指示信息例如是由“请实施螺钉拧紧作业”的语音发出的指示消息。此时，可以追加说明作业的内容。

(2)注意引起步骤：继输出指示信息之后，作业辅助系统1A的注意信息输出部103成”，则判定作业成功并向下一个作业C转移，若不是“完成”，则判定作业失败或未完成。

这样，在作业辅助模式3中，由于判定部112在图像·影像信息获取部109未获取作业的对象物的图像信息(照片数据)时判定作业未完成，因此作业人员3会更加仔细地进行作业，能够更有效地减少作业错误。另外，通过获取作业对象物的图像信息(证据照片)，还能够实现可追溯性，而且，该图像信息还能够在作业成败模型的机器学习中作为监督数据进行使用。

另外，在作业辅助模式3中，判定部112还可以基于图像、影像信息获取部109获取的图像信息(照片数据)判定作业的完成。由此，能够更准确地判定作业的完成。

在利用图像获取装置122(摄像机)拍摄作业人员3的作业时，作业图像作为证明存储在图像·影像存储部131中，在后面说明的作业报告书中记载语音数据和路径。

[作业辅助模式4]

图24是说明本实施方式的作业辅助模式4的图。在作业辅助模式4中例如使用检测作业人员3的动作或指尖的感觉等身体信息的传感器装置123以及影像获取装置21(挂耳式摄像机)。以下，按顺序对作业辅助的各步骤进行说明。

(1)作业指示步骤：在作业B开始时，作业辅助系统1A中的作业辅助服务器30A的作业指示部102将指示作业的指示信息发送至作业人员终端20(智能手机)，辅助信息输出装置23(耳机)通过语音输出该指示信息。指示信息例如是由“请实施螺钉拧紧作业”的语音发出的指示消息。

(2)注意引起步骤：继输出指示信息之后，作业辅助系统1A的注意信息输出部103将作业中的注意信息发送至作业人员终端20(智能手机)，通过语音从辅助信息输出装置23(耳机)向作业人员3输出注意信息。注意信息例如是由“请不要双手拿螺钉和螺丝刀”的语音发出的注意消息。

(3)传感器信息获取步骤：在作业中，传感器信息获取部110获取由传感器装置123获取的作业人员3的身体信息。

(4)指出步骤：判定部112基于传感器信息获取部110获取的作业人员3的身体信息识别作业状况，并判定作业的完成。在作业未正常实施时，辅助信息输出部111将意思为作业不正常的注意信息发送至作业人员终端20(智能手机)，通过语音从辅助信息输出装置23(耳机)向作业人员3输出注意信息。注意信息例如是由“是否进行螺钉拧紧作业？”的语音发出的注意消息。

(5)正常自动确认步骤：判定部112基于图像、影像信息获取部109获取的作业人员将作业中的注意信息发送至作业人员终端20(智能手机)，通过语音从辅助信息输出装置23(耳机)向作业人员3输出注意信息。注意信息例如是由“请不要双手拿螺钉和螺丝刀”的语音发出的注意消息。该注意引起还可以对与作业错误或防止意外/事故或作业效率化有关的作业的办法和诀窍进行指示。

(3)完成通知步骤：在作业结束时，作业人员3通过语音进行完成通知。具体而言，作业人员3发声“完成”，语音获取装置22(智能手机内置的麦克风)获取该发声语音，发声检测部105从由语音获取装置22获取的语音的信息中检测作为响应指示信息的响应信息的“完成”的语音的信息。其中，完成通知不仅是完成等结束状态，还可以是具体回答的完成通知，例如灯的颜色是“绿色”，或阀门的朝向是“右”方向等。

(4)询问确认步骤：在完成通知后，作业辅助系统1A的询问确认部107利用语音对作业人员3进行询问确认。具体而言，若判定部112判定作业成功，则询问确认部107将确认作业完成的询问信息发送至作业人员终端20(智能手机)，通过语音从辅助信息输出装置23输出询问信息。询问信息例如是由“截止到最后了吗？”的语音发出的询问消息。该询问消息还可以是具体的问题，例如“灯的颜色是什么色？”或“阀门的朝向是哪个方向？”等。

(5)完成通知步骤：在接收询问消息之后，作业人员3通过语音进行完成通知。具体而言，作业人员3发声“完成”，语音获取装置22(智能手机内置的麦克风)获取该发声语音，发声检测部105从由语音获取装置22获取的语音的信息中检测作为响应指示信息的响应信息的“完成”的语音的信息。另外，还可以根据询问消息发声具体的状态或状况。另外，还可以多次重复(4)和(5)。

然后，判定部112在由辅助信息输出装置输出询问语音之后，基于发声检测部105检测的作业人员3的发声的信息判定作业的成败。例如，若作业人员3的发声内容是“完成”，则判定作业成功并向下一个作业C转移，若不是“完成”，则判定作业失败或未完成。

这样，在作业辅助模式2中，由于在判定部112判定作业成功后，询问确认部107和辅助信息输出装置23进行确认作业完成的询问，因此能够提高作业人员3注意到作业错误的可能性，并且能够有效地减少作业错误。

[作业辅助模式3]

图23是说明本实施方式的作业辅助模式3的图。虚线内示出了对作业B的作业辅助。在作业辅助模式3中也使用了图像获取装置122(智能手机中内置的摄像机)。以下，按顺序对作业辅助的各步骤进行说明。

(1)作业指示步骤：在作业B开始时，作业辅助系统1A中的作业辅助服务器30A的作业指示部102将指示作业的指示信息发送至作业人员终端20(智能手机)，辅助信息输出装置23(耳机)通过语音输出该指示信息。指示信息例如是由“请实施螺钉拧紧作业。完成后，请上传目标部分的照片。”的语音发出的指示消息。此时，可以提及作业的内容。

(2)注意引起步骤：继输出指示信息之后，作业辅助系统1A的注意信息输出部103将作业中的注意信息发送至作业人员终端20(智能手机)，通过语音从辅助信息输出装置23(耳机)向作业人员3输出注意信息。注意信息例如是由“请不要双手拿螺钉和螺丝刀”的语音发出的注意消息。该注意引起还可以对与作业错误或防止意外/事故或作业效率化有关的作业的办法和诀窍进行指示。

(3)照片上传步骤：若作业结束，则作业人员3利用图像获取装置122(内置摄像机)拍摄进行了作业的对象部分，并由图像、影像信息获取部109获取拍摄的照片数据。

(4)完成通知步骤：在上传照片之后，作业人员通过语音进行完成通知。具体而言，作业人员3发声“完成”，语音获取装置22(智能手机内置的麦克风)获取该发声语音，发声检测部105从由语音获取装置22获取的语音的信息中检测作为响应指示信息的响应信息的“完成”的语音的信息。此时，可以将发送的照片与正确图像进行比较，确认是否正确，并通知该结果。此时，若与正确图像不同，则可以使对象作业从头重新进行。

然后，判定部112基于发声检测部105检测的作业人员3的发声的信息判定作业的成败。例如，若作业人员3的发声内容是“完成”，则判定作业成功并向下一个作业C转移，若不是“完成”，则判定作业失败或未完成。

(5)重新请求步骤：判定部112在图像、影像信息获取部109未获取作业的对象物的图像信息(照片数据)时判定作业未完成，作业指示部102使重新请求图像信息(照片数据)的指示信息通过语音从辅助信息输出装置输出。该指示信息例如是由“照片未上传。请再次上传。”的语音发出的重新请求消息。

另外，还可以将本框中的发送图像与预先保存的正确图像实施比较，确认是否正确，并发送该结果。在该情况下，若判定其与正确图像不同，则可以控制对象作业从头重新进行。

(6)完成通知步骤：在接收重新请求消息之后，作业人员3通过语音进行完成通知。具体而言，作业人员3发声“完成”，语音获取装置22(智能手机内置的麦克风)获取该发声语音，发声检测部105从由语音获取装置22获取的语音的信息中检测作为响应指示信息的响应信息的“完成”的语音的信息。

然后，判定部112在由辅助信息输出装置输出重新请求的语音之后，基于发声检测部105检测的作业人员3的发声的信息判定作业的成败。例如，若作业人员3的发声内容是“完3的作业的影像进行影像识别，自动确认作业是否正常进行(作业的完成)。由此，能够更准确地判定作业的完成。

具体而言，可以利用影像获取装置21使用视频拍摄作业人员3的作业影像，并通过图像、影像信息获取部109而存储在图像、影像存储部131中，若与原来获取的样板作业影像相比差异较大，则判断作业错误，利用辅助信息输出装置23向作业人员3指出作业错误。这可以在作业中也可以在作业结束后进行。对于作业人员的作业进度，可以利用影像或身体传感器进行识别。另外，通过与存储的正常声音数据进行比较，还可以检测异常噪声等并指出给作业人员。另外，还可以识别振动传感器或周围环境传感器(天气、温度、湿度、风向、亮度、时间)等的信息，从而根据预设的算法指出作业的错误或判断。

(6)结束通知步骤：代替(5)，作业人员还可以通过语音进行结束通知。具体而言，作业人员3发声(复述)“螺钉拧紧作业结束”，语音获取装置22(智能手机内置的麦克风)获取该发声语音，发声检测部105从由语音获取装置22获取的语音的信息中检测作为响应指示信息的响应信息的“螺钉拧紧作业结束”的语音的信息。

然后，判定部112基于发声检测部105检测的作业人员3的发声的信息判定作业的成败。例如，若作业人员3的发声内容是“螺钉拧紧作业结束”，则判定作业成功并向下一个作业C转移，若不是“螺钉拧紧作业结束”，则判定作业失败或未完成。

(7)在根据传感器信息获取部110获取的传感器信息或图像、影像信息获取部109获取的影像信息，判定部112判定作业正常完成时，还可以不进行结束通知而向作业C转移。在作业C中，可以省略在作业开始时进行的作业指示和注意引起的步骤。由此，能够在作业B和作业C之间不中断地进行作业。

接着，参照图25对图像数据或影像数据的利用方法进行说明。

由图像、影像信息获取部109获取的图像(照片)数据以及影像数据被发送至存储设备302的图像、影像存储部131存储。通过获取作业对象物的照片数据(证据照片)或影像数据作为证明，能够实现可追溯性。另外，通过将图像、影像存储部131中存储的照片数据和影像数据与原来储备的作业结束状态的照片数据(证据照片)或影像数据进行比较，还可以在现场实时指出作业错误。

图像、影像存储部131中存储的照片数据和影像数据在作业比较模型136的机器学习中作为监督数据进行使用。具体而言，人对图像、影像存储部131中存储的照片数据和影像数据进行作业的成败的判定，根据该判定结果，对各照片数据或影像数据添加标签。具体而言，例如，对观点添加标签(i)拍摄位置是否正确，(ii)是否正常结束等。使用添加了标签的照片数据或影像数据(监督数据)进行作业比较模型136的机器学习。在机器学习中，将熟练人员进行作业时拍摄的照片数据以及影像数据也作为监督数据进行使用。

<画面作业辅助>

接着，对画面作业辅助进行说明。

上述的语音作业辅助有时只由语音进行作业辅助，但是也可以与由辅助信息输出装置23(智能手机中内置的触摸面板)的画面并用进行作业辅助。以下，对在语音作业辅助模式1～4中并用的画面作业辅助进行说明。

[画面作业辅助模式1]

图26是示出上述的语音作业辅助模式1中的辅助信息输出装置23(触摸面板)的显示画面的一例的图，其示出了作业引导画面151。

作业引导画面151具备作业指示区151、样板作业区153、以及注意引起区154，作为软键，其具有完成软键155、重新启动软键156、作业详情软键157、作业导航软键158、以及查询软键159。

作业指示区152显示从作业辅助系统1A到作业人员3的作业指示消息。例如，显示“请拧紧侧面的螺钉。结束后请按下完成。”等作业指示消息。

样板作业区153是为了供作业人员3参考而显示由熟练人员等进行样板作业的视频的区域。该样板作业的视频通常是在点击时或者作业开始时的同时进行播放。另外，样板作业的视频还可以识别作业人员3的作业，从而同步播放。点击该区域时还可以放大显示视频。另外，样板作业的视频还可以调整视频位置进行播放，以使得作业人员3当前的作业阶段与样板作业的作业阶段一致(同步)。作业人员3当前的作业状况基于由影像获取装置21或语音获取装置22等获取的影像信息或语音的信息被识别。

注意引起区154例如显示“用双手拿螺丝刀，以免掉落”等注意消息。

完成软键155例如显示“完成”，若在作业结束时作业人员3按下完成软键155，则将完成信息通知作业辅助系统1A。

重新启动软键156例如显示“从头开始”，若作业人员3按下重新启动软键156，则样板作业区中显示的样板作业的视频从头开始播放。

作业详情软键157在作业人员3按下时显示作业的手册等技术资料。

作业导航软键158在作业人员3按下时显示当前作业在一系列作业整体中的位置。例如，在一系列作业的流程图中，可以通过增大表示当前的作业的文字的大小，改变文字的颜色等突出显示当前的作业的位置。

查询软键159在作业人员按下时显示查询地址的信息。

上述各软键由作业人员3按下选择，除此之外，也可以利用语音识别技术选择作业人员3发出的语音。例如，若作业人员发出“查询”，在可以显示查询地址的信息。

[画面作业辅助模式2]

图27是示出源自上述的语音的作业辅助模式2中的辅助信息输出装置23(触摸面板)的显示画面的一例的图，其示出了询问确认时的画面。

图27的询问确认时的画面是在图26的作业引导画面151中作业结束时，作业人员3按下完成软键155之后显示的画面。询问确认区160例如显示“截止到最后了吗”的询问确认消息，若作业人员3按下显示“是”的响应消息161，则将完成信息通知作业辅助系统1A。

[画面作业辅助模式3]

图28是示出上述的语音作业辅助模式3中的辅助信息输出装置23(触摸面板)的显示画面的一例的图，其示出了作业引导画面151。

作业指示区152显示从作业辅助系统1A到作业人员3的作业指示消息。例如，显示“请拧紧侧面的螺钉。结束后请上传对象部分的照片。”等作业指示消息。

注意引起区154例如显示“用双手拿螺丝刀，以免掉落”等注意消息。

照片拍摄软键163例如显示“照片”，若作业人员3按下照片拍摄软键163，则转至摄像机功能的画面，并且拍摄作业对象物的照片。拍摄的照片被上传到作业辅助系统1A。

作业人员根据作业指示消息进行作业，若作业完成，则点击照片拍摄软键163，拍摄作业对象物的照片，并将照片数据上传到作业辅助系统1A。接着，作业人员3点击完成软键155，通知作业辅助系统1A完成。

图29是示出了作业辅助模式3中的辅助信息输出装置23(触摸面板)的显示画面的一例的图，其示出了重新请求上传照片数据时的画面。

图29的重新请求上传照片数据时的画面是在图28的作业引导画面151中作业人员3按下完成软键155后，在判定部112无法确认上传照片数据，或者不是适当的照片数据的情况下显示的画面。重新请求区164例如显示“未上传照片。请再次上传。”的重新请求消息，若作业人员3按下显示“重新拍摄照片”的照片重新拍摄软键165，则转至摄像机功能的画面，并可以拍摄作业对象物的照片。拍摄的照片数据被上传到作业辅助系统1A。接着，作业人员3按下完成软键155，通知作业辅助系统1A完成。

[画面作业辅助模式4]

图30是示出上述的语音作业辅助模式4中的辅助信息输出装置23(触摸面板)的显示画面的一例的图，其示出了指出作业错误时的画面。

图30的指出作业错误时的画面示出了在判定部112基于由传感器装置123获取的传感器信息进行作业识别，并判断作业错误时显示的画面。指出区166例如显示“是否进行拧紧螺钉的作业？”的指出消息。作业人员3在作业结束时点击显示例如“螺钉拧紧作业结束”的作业结束软键167，通知作业辅助系统1A作业完成。

如上所述，本实施方式的作业辅助系统1A能够并用语音对话作业辅助和画面上对话作业辅助从而进行作业辅助，但不限于此。也可以只进行语音对话作业辅助或只进行画面上对话作业辅助。在只进行画面上对话作业辅助时，作业人员可以携带至少内置有触摸面(辅助信息输出装置23)的智能手机(作业人员终端20)。另外，在并用语音对话和画面上的对话时，由作业人员3进行的完成通知可以通过语音进行，也可以通过画面操作进行。

<作业文件>

作业辅助服务器30A的作业文件生成部119在整体作业结束后，基于数据获取部118获取的与各作业相关的数据，自动制作检验表、作业报告书、作业分析书等作业文件，并存储在存储设备302中。存储设备302中存储的作业文件能够根据需要显示在作业人员终端20或作业辅助服务器的显示器上。由文件制作部117制作的作业文件的形式或记载事项能够任意设定。

图31示出了辅助信息输出装置23(触摸面板)显示的作业文件画面168。作业文件画面168示出了兼有检验表的作业报告书。作业报告书的上部记载了作业日期和时间、作业地点、作业内容、作业负责人等确定作业的信息，下部设置有作业ID栏、作业名称栏、作业时长栏、完成复选框栏、证明栏、质量栏、重试/详情确认栏。

作业时长栏包括标准时长和作业时长，“标准时长”是在提取(生成)作业检验信息时要求的标准作业时长或者预设的标准作业时长，同栏的“作业时长”是在现场作业中实际计测的作业时长。

在完成栏中，源自判定部112的作业成败的判定结果显示在在复选框中。例如，基于对语音作业指示进行响应的语音完成通知的作业成败的判定结果(作业辅助模式1)，基于对语音询问确认进行响应的语音完成通知的作业成败的判定结果(作业辅助模式2)，基于对作业辅助指示进行响应的照片上传以及语音完成通知的作业成败的判定结果(作业辅助模式3)，以及基于对语音作业指示以及语音作业错误之处进行响应的语音完成通知的作业成败的判定结果(作业辅助模式4)等显示在完成栏的复选框中。

在证明栏中，对作业指示进行响应的完成通知的语音数据文件(作业辅助模式1)、对语音询问确认进行响应的完成通知的语音数据文件(作业辅助模式2)、对上传的图像(照片)的数据文件(作业辅助模式3)、对作业指示以及指出作业错误响应的完成通知的语音数据文件(作业辅助模式4)创建链接。

质量栏中例如记载了基于由影像获取装置21(挂耳式摄像机)获取的作业的影像或作业时长等判定的作业的质量(从上到下按A、B、C的顺序划分)。

重试/详情确认栏中记载了在作业中进行重试或详情确认的次数。

图32示出了辅助信息输出装置23(触摸面板)显示的作业分析书画面169。作业分析书画面169是显示表示分析作业的结果的作业分析书的画面。作业分析书的上部记载了作业日期和时间、作业地点、作业内容、作业负责人等确定作业的信息，下部对比显示各作业ID的作业时长与标准时长，以看到二者的分别，并且示出了作业时长与全部作业的标准时长的比值(％)。另外，重试/详情确认的次数按每个作业ID显示。在重试/详情确认次数显示附近显示“详情”软键，若点击，则显示查询内容或详情确认历史记录。然后，基于实际作业时长与标准作业时长的比值、重试/详情确认的次数，显示判定的整体作业水平(从上到下按A、B、C的顺序划分)。

作业分析书画面169的右下部显示“推荐的教育程序”软键，若点击，则基于判定的作业水平启动推荐的教育程序的Web应用程序。

在本实施方式中，以现场的作业为例进行说明，本技术也可以实施于烹饪或家电/家具的安装、组装辅助等。对烹饪的例进行说明。为了保存作为各家庭特有的烹调方法的俗称“妈妈的味道”，并教给下一代，可以考虑使用本技术进行传承。对提取了下一个烹饪工序或烹调中的注意点或防止意外的要点等的辅助内容，通过智能手机或平板电脑，使用语音或画面，使用本说明书中记载的技术能够将其应用于进行烹饪辅助的使用方法。另外，还可以使用味觉传感器，将其与预先保存了各工序的调味数值的味觉数值进行比较，从而指出差异。另外，还可以将其与预先保存的装盘的图像进行比较，从而指出差异。

如上述说明，本发明具有如下效果：即使对于作业技能低的作业人员，也能够通过可靠地进行作业检验来防止作业错误，有用于作业辅助系统以及作业辅助方法整体。

[附记1]

附记1的作业辅助系统1如下。

[背景技术]

在包括维护、检修等的各种现象作业中，需要作业工序的信息、作业对象机器的信息、以及使用的作业工具的信息等多种信息。另一方面，作业人员的作业技能高低不等。其中，提出了辅助系统，其向在现场作业的作业人员提供需要的信息以辅助现场作业(例如，参照日本特开2009-069954号公报等)。

在日本特开2009-069954号公报中，公开了以下作业辅助装置：其具备：计测部，其用于掌握作为作业对象的物体的放置状况；信息处理部，其控制计量部，并且对获得的信息进行适当的信息处理，而且构建提示作业人员的视觉信息；以及显示部，其用于对作业人员提供叠加在作为对象的物体上的视觉信息；所述作业辅助装置在作业现场指示作业人员需要进行的作业。

[发明内容]

[发明要解决的问题]

然而，在日本特开2009-069954号公报中记载的以往的作业辅助装置中，有助于将熟练人员的高级作业技能传达给作业人员，但是没有考虑可靠地防止作业技能低的作业人员犯的作业错误。在实际的作业现场中，作业技能低、不习惯日语的外籍工人进行作业的情况在增加，并且发生作业错误或忘记作业、以及作业中的伤害事故也呈增加趋势。由事故发生引起的社会影响很大，作为防止再次发生的对策，除了提高作业质量以外，有时还要求两人作业进行确认，并将作业检验表或作业报告书详细化。

本发明用于解决如上所述的问题，其目的在于提供作业辅助系统，所述作业辅助系统即使对于作业技能低的作业人员，也能够可靠地防止作业错误。

[用于解决问题的方案]

本发明的作业辅助系统(1)，为了达成上述目的，其特征在于：具备：第一影像获取装置(11)，其获取第一作业人员(2)所进行的作业的影像；语音获取装置(12)，其获取所述作业中的所述第一作业人员的语音；作业检验信息生成装置(30)，其基于由所述第一影像获取装置获取的作业的影像和由所述语音获取装置获取的语音的信息，生成作为作业检验基准的作业检验信息(70)；第二影像获取装置(21)，其获取第二作业人员(3)所进行的作业的影像；辅助信息输出装置(23)，其输出向所述第二作业人员的作业辅助信息；以及注意引起控制装置(30)，其基于所述作业检验信息以及所述第二作业人员的作业的经时信息，在作业中的特定阶段之前，使所述辅助信息输出装置将注意信息作为所述作业辅助信息进行输出。

根据该构成，由于注意引起控制装置基于作业检验信息以及经时信息(例如作业经过时长或作业阶段)，在需要注意引起的特定阶段之前输出注意信息，因此即使对于作业技能低的作业人员，也能够可靠地防止作业错误。

[附记2]

附记2的作业辅助系统1A如下。

在专利文献2等中记载的以往的作业辅助装置中，也没有考虑不损害作业人员的作业性的情况下低成本地进行作业辅助。在实际的作业现场中，作业技能低、不习惯日语的外籍工人进行作业的情况在增加，并且要求作业人员用容易作业的轻微装备以低成本进行作业辅助。

本发明目的在于提供作业辅助系统，所述作业辅助系统即使对于作业技能低的作业人员，也能够不损害作业人员的作业性的情况下以简单的结构进行作业辅助。

本发明的作业辅助系统，为了达成上述目的，其特征在于：作业辅助系统(1A)具备：信息获取装置(120)，其获取来自作业人员的信息；判定装置(100)，其判定所述作业的成败；以及信息输出装置(23)，其输出作业辅助信息；所述判定装置具备：作业指示部(102)，其使指示所述作业的作业信息从所述信息输出装置输出；信息检测部(104)，其在由所述信息输出装置输出所述指示信息后，从所述信息获取装置获取的信息中检测响应所述指示信息的响应信息；以及判定部(112)，其基于所述信息检测部检测的所述响应信息判定作业的成败。

根据该构成，在作业开始时，作业指示部和作业输出装置利用语音或画面显示将作业的指示信息传达给作业人员，在作业结束时，信息获取部利用语音或画面操作等获取来自作业人员的信息。此时，信息检测部检测响应指示信息的响应信息，判定部根据该响应信息的内容判定作业的成败。这样，作业辅助系统与作业人员通过利用例如语音或画面进行对话，来辅助作业人员的作业。能够利用简化的结构低成本地构建作业辅助系统，由于作业人员可以自由使用双手，因此使用很方便，由于基于作业人员的发声或画面操作等来自作业人员的信息来判定作业的成败，因此能够有效地防止作业错误。

附图标记说明

1、1A 作业辅助系统

2 熟练人员(第一作业人员)

3 作业人员(第二作业人员)

4 网络

10 熟练人员终端(第一终端)

11 影像获取装置(第一影像获取装置)

12、22 语音获取装置

20 作业人员终端(第二终端)

21 影像获取装置(第二影像获取装置)

23 辅助信息输出装置

30 作业信息生成服务器(服务器)

30A 作业辅助服务器

31 数据库

51 视频文件

52 语音文件

60 要素作业信息

61 要素作业一的作业记录

62 要素作业二的作业记录

63 要素作业三的作业记录

70 作业检验信息

100控制装置(判定装置)

101 对话部

102 作业指示部

103 注意信息输出部

104 信息检测部

105 发声检测部

106 画面操作检测部

107 询问确认部

108 信息输出入部

109图像、影像信息获取部

110 传感器信息获取部

111 辅助信息输出部

112 判定部

113 判定切换部

114 第一判定部

115 第二判定部

116 第三判定部

117 文件制作部

118 数据获取部

119 作业文件制作部

120 信息获取部

121 画面操作获取装置

122 图像获取装置

123 传感器装置

130 作业检验信息存储部

131 图像·影像存储部

132 作业文件存储部

150 作业人员终端的显示器的画面

151 作业引导画面

152 作业指示区

153 样板作业区

154 注意引起区

155 完成软键

156 重新启动软键

157 作业详情软键

158 作业导航软键

159 查询软键

160 询问确认区

161 响应软键

163 照片拍摄软键

164 重新请求区

165 照片重新拍摄软键

166 指出区

167 响应软键

168 作业报告书画面

169 作业分析书画面

314 语音数据处理部(语言转换装置)

323 熟练人员作业行动信息记录数据库

324 现场作业人员作业信息记录数据库

338 作业记录分析部(判定装置、注意引起控制装置)

340 作业检验信息生成部(作业检验信息生成装置)

341 作业报告书制作部(作业报告书制作装置)

Claims (32)

1.一种作业辅助系统，其特征在于，具备：

信息获取装置，其获取来自作业人员的信息；

判定装置，其判定所述作业的成败；以及

信息输出装置，其基于源自所述判定装置的判定结果输出作业辅助信息；

所述判定装置基于所述信息获取装置获取的来自所述作业人员的信息，按照预定的判定基准判定作业的成败。

2.一种作业辅助系统，其特征在于，具备：

第一影像获取装置，其获取第一作业人员所进行的作业的影像；

语音获取装置，其获取所述作业中的所述第一作业人员的语音；

作业检验信息生成装置，其基于由所述第一影像获取装置获取的作业的影像和由所述语音获取装置获取的语音的信息，生成作为作业检验基准的作业检验信息；

第二影像获取装置，其获取第二作业人员所进行的作业的影像；

判定装置，其判定所述第二作业人员的作业的成败；以及

辅助信息输出装置，其将源自所述判定装置的判定结果作为作业辅助信息进行输出；

所述判定装置通过基于所述作业检验信息将所述第一作业人员的作业影像与所述第二作业人员的作业影像进行对比，来判定作业的成败。

3.根据权利要求2所述的作业辅助系统，其特征在于，

所述判定装置通过所述第一作业人员的作业影像所包含的特定的对象物是否包含于所述第二作业人员的作业影像中来判定作业的成败。

4.根据权利要求2所述的作业辅助系统，其特征在于，

所述判定装置通过所述第一作业人员的作业影像未包含的特定的对象物是否包含于所述第二作业人员的作业影像中来判定作业的成败。

5.根据权利要求2所述的作业辅助系统，其特征在于，

所述判定装置通过所述第一作业人员的作业影像所包含的特定的对象物是否以预定顺序包含于所述第二作业人员的作业影像中来判定作业的成败。

6.根据权利要求2～5中任一项所述的作业辅助系统，其特征在于，

所述作业检验信息生成装置基于所述第一作业人员的语音信息将所述第一作业人员的作业影像分割为要素作业，所述判定装置对每个所述要素作业判定作业的成败。

7.根据权利要求2～6中任一项所述的作业辅助系统，其特征在于，

所述辅助信息输出装置能够利用语音和视频中的至少一方选择性地输出所述作业辅助信息。

8.根据权利要求2～7中任一项所述的作业辅助系统，其特征在于，还具备：

语言转换装置，其将传达由所述辅助信息输出装置输出的所述作业辅助信息的语音转换为指定的语言。

9.根据权利要求2～8中任一项所述的作业辅助系统，其特征在于，还包括：

作业报告书制作装置，其制作包括源自所述判定装置的判定结果的作业报告书。

10.根据权利要求2～9中任一项所述的作业辅助系统，其特征在于，还具备：

注意引起控制装置，其基于所述作业检验信息以及所述第二作业人员的作业的经时信息，在作业中的特定阶段之前，使所述辅助信息输出装置将注意信息作为所述作业辅助信息进行输出。

11.根据权利要求10所述的作业辅助系统，其特征在于，

所述作业检验信息生成装置基于所述第一作业人员的作业中的语音信息将所述特定阶段确定为所述作业检验信息。

12.根据权利要求10或11所述的作业辅助系统，其特征在于，

所述经时信息是从所述第二作业人员的作业开始起的经过时长的信息。

13.根据权利要求10或11所述的作业辅助系统，其特征在于，

所述经时信息是根据所述第二作业人员的作业影像认定的作业阶段的信息。

14.根据权利要求2～13中任一项所述的作业辅助系统，其特征在于，具备：

服务器，其至少具备所述作业检验信息生成装置；

第一终端，其具有所述第一影像获取装置以及所述语音获取装置，并与所述服务器连接；以及

第二终端，其具有所述第二影像获取装置以及所述辅助信息输出装置，并与所述服务器连接。

15.一种作业辅助方法，其特征在于，包括：

第一影像获取步骤，其获取第一作业人员所进行的作业的影像；

语音获取步骤，其获取所述作业中的所述第一作业人员的语音；

作业检验信息生成步骤，其基于由所述第一影像获取步骤获取的作业的影像和由所述语音获取步骤获取的语音的信息，生成作为作业检验基准的作业检验信息；

第二影像获取步骤，其获取第二作业人员所进行的作业的影像；

判定步骤，其判定所述第二作业人员的作业的成败；以及

辅助信息输出步骤，其将所述判定步骤的判定结果作为作业辅助信息进行输出；

所述判定步骤通过基于所述作业检验信息将所述第一作业人员的作业影像与所述第二作业人员的作业影像进行对比，来判定作业的成败。

16.根据权利要求1所述的作业辅助系统，其特征在于，

所述判定装置具备：

作业指示部，其使指示所述作业的作业信息从所述信息输出装置输出；

信息检测部，其在由所述信息输出装置输出所述指示信息后，从所述信息获取装置获取的信息中检测响应所述指示信息的响应信息；以及

判定部，其基于所述信息检测部检测的所述响应信息判定作业的成败。

17.根据权利要求16所述的作业辅助系统，其特征在于，

所述判定装置还具备询问确认部，所述询问确认部在所述判定部判定作业成功后，使确认作业的完成的询问信息从所述信息输出装置输出；所述判定部在由所述信息输出装置输出询问信息后，基于所述信息检测部检测的所述响应信息判定作业的成败。

18.根据权利要求16或17所述的作业辅助系统，其特征在于，

所述判定装置还具备注意信息输出部，所述注意信息输出部使作业的注意信息从所述信息输出装置输出。

19.根据权利要求16～18中任一项所述的作业辅助系统，其特征在于，还具备：

图像获取装置，所述图像获取装置获取作业的对象物的图像，所述判定装置还具备图像信息获取部，所述图像信息获取部获取所述图像获取装置获取的所述作业的对象物的图像信息，所述判定部在所述图像信息获取部未获取到所述作业的对象物的图像信息时判定作业未完成，所述作业指示部在所述判定部以未获取到所述图像信息为理由判定作业未完成时，使请求图像信息的指示信息从所述信息输出装置输出。

20.根据权利要求19所述的作业辅助系统，其特征在于，

所述判定部具备：

第一判定部，其在由所述信息输出装置输出所述指示信息后，基于所述信息检测部检测的所述响应信息判定作业的成败；

第二判定部，其在由所述信息输出装置输出询问信息后，基于所述信息检测部检测的所述响应信息判定作业的成败；以及

第三判定部，其在所述图像信息获取部未获取到所述作业的对象物的图像信息时判定作业未完成，在获取到所述作业的对象物的图像信息时，在由所述信息输出装置输出所述指示信息后，基于所述信息检测部检测的所述响应信息判定作业的成败；

所述判定部根据作业的重要程度选择并使用所述第一～第三判定部中的任意一个。

21.根据权利要求19或20所述的作业辅助系统，其特征在于，

所述判定部判定所述图像信息获取部获取的图像信息是否适当，所述作业指示部在所述判定部判定所述图像信息不适当时，使请求图像信息的指示信息从所述信息输出装置输出。

22.根据权利要求19～21中任一项所述的作业辅助系统，其特征在于，

所述判定部基于所述图像信息获取部获取的图像信息判定作业的完成。

23.根据权利要求16～22中任一项所述的作业辅助系统，其特征在于，还具备：

影像获取装置，其获取所述作业人员所进行的作业的影像，所述判定装置还具备影像信息获取部，所述影像信息获取部获取所述影像获取装置获取的影像的信息，所述判定部基于所述影像获取部获取的所述作业人员的作业的影像判定作业的完成。

24.根据权利要求16～23中任一项所述的作业辅助系统，其特征在于，还具备：

传感器装置，所述传感器装置检测与作业相关的信息，所述判定装置还具备传感器信息获取部，所述传感器信息获取部获取所述传感器装置检测出的所述与作业相关的信息，所述判定部基于所述传感器信息获取部获取的所述与作业相关的信息判定作业的完成。

25.根据权利要求23或24所述的作业辅助系统，其特征在于，

所述作业指示部在所述判定部判定作业未完成时，使表示作业未完成的信息实时从所述信息输出装置输出。

26.根据权利要求16～25中任一项所述的作业辅助系统，其特征在于，还具备：

数据获取部，其在所述判定部判定作业正常完成时，获取与该作业相关的数据；以及

作业文件生成部，其基于所述数据获取部获取的与所述作业相关的数据生成作业文件。

27.根据权利要求26所述的作业辅助系统，其特征在于，

所述作业文件生成部在所述判定部基于由所述信息检测部检测的所述响应信息判定作业完成时，生成所述作业文件。

28.根据权利要求26或27所述的作业辅助系统，其特征在于，

所述数据获取部获取由所述判定部做出的作业的成败的判定结果以及该作业所需要的作业时长的信息；所述作业文件生成部生成包含所述判定结果和所述作业时长的信息的所述作业文件。

29.根据权利要求16～28中任一项所述的作业辅助系统，其特征在于，

所述判定装置根据作业人员的技能水平，变更由所述判定部判定的作业的范围。

30.根据权利要求16～29中任一项所述的作业辅助系统，其特征在于，

所述信息获取装置获取作业中的语音的信息，所述信息输出装置利用语音输出待输出的信息。

31.根据权利要求16～29中任一项所述的作业辅助系统，其特征在于，

所述信息获取装置获取作业人员的画面操作的信息，所述信息输出装置画面显示待输出的信息。

32.根据权利要求16～29中任一项所述的作业辅助系统，其特征在于，

所述信息获取装置获取作业中的语音的信息以及作业人员的画面操作的信息，所述信息输出装置利用语音输出待输出的信息并且画面显示待输出的信息。

Images