CN111328402A - 作业辅助装置、作业辅助方法以及程序 - Google Patents

Abstract

本发明的目的在于，对作业者高精度地通知作业工序错误等的发生，从而提高其作业效率。作业辅助装置具备：存储部，将至少包括第一工序和在第一工序之后进行的第二工序的作业与代表在所述第一工序和所述第二工序中分别进行的作业的每个工序的代表图像建立对应地进行保存；输入部，输入所述作业者正在进行作业的过程中的图像；确认部，将输入的所述图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施；以及通知部，对所述作业者通知所述确认的结果。

Description

作业辅助装置、作业辅助方法以及程序

技术领域

(关于相关申请的记载)

本发明是基于日本专利申请：日本特愿2017-209179号(2017年10月30日申请)的优先权主张的发明，该申请的全部记载内容以引用的方式并入本说明书中进行记载。

本发明涉及作业辅助装置、作业辅助方法以及程序。

背景技术

在专利文献1中公开了一种维修辅助系统，其在发电厂或变电站等的现场设备的维修/检查作业中，能够减轻作业者的负担，并且能够实现维修/检查作业业务的省力化。在该文献中，记载有设置服务器10的内容，该服务器10具备保存有与维修/检查作业有关的信息的多个数据库。另一方面，作业者携带的移动终端6具备如下功能：利用安装于作业者所戴的头盔1的照相机2针对维修作业的每个规定的工序拍摄其进展状况，并传输到服务器10。然后，服务器10根据由照相机2拍摄到的进展状况从数据库中提取作业所需的数据，并从安装于作业者所戴的头盔1的显示器5提供作业所需的信息。

在专利文献2中公开了一种作业管理系统，其能够不依赖于监视者而分析并评价作业状态、作业现场的状况等。根据该文献，该作业管理系统的输入部1拍摄熟练度高的作业者推进作业的状况，并使用公知的图像处理方法将该动态图像图案化后存储于存储部3。另外，该作业管理系统的检测部2拍摄普通的作业者推进作业的状况，并使用公知的图像处理方法将该动态图像图案化后存储于存储部3，或者提供给中央处理装置4。然后，该作业管理系统的中央处理装置4对两个动态图像进行比较，判定普通的作业者相对于熟练度高的作业者的作业速度之差、作业顺序的错误。

现有技术文献

专利文献

专利文献1：日本特开2005-216137号公报

专利文献2：日本特开2003-167613号公报

发明内容

发明所要解决的课题

以下的分析由本发明给出。在将作业者派遣到现场来进行维修或维护作业的情况下，有时会发生作业工序错误。根据本发明人的分析，这些作业错误的大多数是由作业者的误识别、遗忘、忽视、确信等引起的，仅通过确认作业中的特定场景，就能够判定该错误。关于这一点，专利文献1仅进行了如下的概括性的记载，即，服务器10的主控制部11“承担根据针对每个规定的维修工序从所述移动终端6传输来的维修作业的进展状况，判定该工序的维修作业的好坏的作业好坏判定单元的作用”。

另外，专利文献2的方法是预先拍摄熟练度高的作业者的作业影像，并与普通的作业者的作业影像进行比较的方法，普通的作业者的作业评价的好坏全凭熟练程度高的作业者的作业影像。另外，认为专利文献2的方法可用于该文献的图2所示的台上作业等，但有时无法用于作业现场的环境每次可能不同的访问型、出差型的作业的确认。

本发明的目的在于，提供一种能够对作业者高精度地通知作业工序错误等的发生，有助于其作业效率的提高的作业辅助装置、作业辅助方法以及程序。

用于解决课题的技术方案

根据第一观点，提供一种作业辅助装置，其具备：存储部，将至少包括第一工序和在第一工序之后进行的第二工序的作业与代表在所述第一工序和所述第二工序中分别进行的作业的每个工序的代表图像建立对应地进行保存；输入部，输入所述作业者正在进行作业的过程中的图像；确认部，将输入的所述图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施；以及通知部，对所述作业者通知所述确认的结果。

根据第二观点，提供一种作业辅助方法，计算机能够访问将至少包括第一工序和在第一工序之后进行的第二工序的作业与代表在所述第一工序和所述第二工序中进行的作业的每个工序的代表图像建立对应地进行保存的单元，所述作业辅助方法包括以下步骤：所述计算机输入所述作业者正在进行作业的过程中的图像；所述计算机将输入的所述图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施；以及所述计算机对所述作业者通知所述确认的结果。本方法绑定于作为作业辅助装置发挥功能的计算机这一特定的机器。

根据第三观点，提供一种程序，计算机能够访问将至少包括第一工序和在第一工序之后进行的第二工序的作业与代表在所述第一工序和所述第二工序中进行的作业的每个工序的代表图像建立对应地进行保存的单元，所述程序使所述计算机执行以下处理：输入所述作业者正在进行作业的过程中的图像；将输入的所述图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施；以及对所述作业者通知所述确认的结果。另外，该程序可以记录于计算机可读取(非瞬态)存储介质。即，本发明还可以体现为计算机程序产品。

发明效果

根据本发明，能够对作业者高精度地通知作业工序错误等的发生，从而提高其作业效率。即，本发明将背景技术中所记载的作业辅助装置变换为飞跃性地提高了确认该作业工序有无错误的功能的装置。

附图说明

图1是表示本发明的一个实施方式的结构的图。

图2是表示本发明的一个实施方式的其他结构例的图。

图3是用于说明在本发明的一个实施方式的作业辅助装置的存储部中准备的信息的图。

图4是用于说明本发明的一个实施方式的动作的图。

图5是表示本发明的第一实施方式的结构的图。

图6是表示在本发明的第一实施方式中使用的可穿戴终端的结构的图。

图7是表示本发明的第一实施方式的服务器的结构的图。

图8是表示在本发明的第一实施方式的服务器的作业信息数据库(作业信息DB)中保存的信息的一例的图。

图9是表示在本发明的第一实施方式的可穿戴终端和服务器的工序图像数据库(工序图像DB)中保存的信息的一例的图。

图10是表示本发明的第一实施方式的可穿戴终端的动作的流程图。

图11是表示本发明的第二实施方式的结构的图。

具体实施方式

首先，参照附图对本发明的一个实施方式的概要进行说明。另外，该概要中附注的附图标记是作为用于帮助理解的一例而出于方便的目的附注于各要素的附图标记，并不意在将本发明限定于图示的方式。另外，在以后的说明中参照的附图等的框间的连接线包括双向和单向这两者。对于单向箭头，示意性地表示主要的信号(数据)流，并不排除双向性。另外，在图中的各框的输入输出的连接点具有端口或接口，但图示省略。

本发明在其一个实施方式中，如图1所示，可以由具备存储部11a、输入部12a、确认部13a、通知部14a的作业辅助装置10a来实现。存储部11a将至少包括第一工序和在第一工序之后进行的第二工序的“作业”与代表在所述第一工序和所述第二工序中分别进行的作业的每个工序的代表图像建立对应地进行保存。

输入部12a输入所述作业者正在进行所选择的所述作业的过程中的图像。

确认部13a将输入的所述图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施。

通知部14a对所述作业者通知所述确认的结果。

另外，图1所示的作业辅助装置10a也可以由如图2所示的计算机10b来实现。这种情况下，存储器11b作为上述的存储部11a发挥功能，输入单元12b作为输入部12a发挥功能。另外，存储器11b中还包括各种磁盘驱动器等辅助存储装置。另外，输入单元12b可以是对正在进行作业的过程中的图像进行拍摄的照相机、从这样的照相机接收图像的输入接口等。另外，确认部13a和通知部14a可以在处理器13b中，通过进行上述的确认部13a的确认处理和使其结果从输出单元14b输出(通知)的计算机程序来实现。

在此，以辅助某个应用程序向计算机的安装作业为例，说明本实施方式的动作。设为在该应用程序中，在安装工序(第二工序)之前需要进行卸载旧版本的程序的卸载作业(第一工序)。图3示出了在这种情况下存储于存储部11a的代表图像的例子。在图3的例子中，存储显示有在卸载过程中显示在监视器上的子窗口的图像来作为第一工序的代表图像。同样地，存储显示有在安装过程中显示在监视器上的子窗口的图像来作为第二工序的代表图像。

然后，当向输入部12a例如经由照相机输入了作业者正在进行所选择的作业的过程中的图像时，确认部13a将所输入的图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施。例如，当所输入的图像与第一工序的代表图像一致时，确认部13a判定为作业被正确地开始。其后，当输入了与第二工序的代表图像一致的图像时，确认部13a判定为作业被正确地进行。这里，确认部13a也可以使通知部14a对作业者通知作业正在被正确地进行。这样，作业者能够确认正确地执行了应用程序的安装作业的情况。其后，即使应用程序的动作产生了问题，作业者也得到了安装作业本身已正确地完成这一信息，所以能够认识到问题存在于其他地方。

另一方面，在所输入的图像与第一工序的代表图像一致之前，与第二工序的代表图像一致的情况下，确认部13a判定为在第一工序之前进行了第二工序。在这种情况下，优选为，确认部13a使通知部14a对作业者通知没有正确地进行作业。如此，作业者可以认识到弄错了应用程序的安装作业。由此，能够在进入下一个作业或工序之前，重新进行程序的安装。另外，此时，确认部13a也可以指示通知部14a通知具体的修正作业的内容。例如，在图4的例子的情况下，考虑确认部13a对作业者通知应该在进行V1.1的应用程序的卸载和V1.0的应用程序的卸载后，进行V1.1的安装的情况。

[第一实施方式]

接着，参照附图，对使用可穿戴终端作为作业辅助装置的本发明的第一实施方式进行详细说明。图5是表示本发明的第一实施方式的作业辅助装置的结构的图。参照图5，示出了作业者100a穿戴的眼镜型的可穿戴终端(作业者穿戴终端)100与服务器200经由网络101连接的结构。另外，在以下的实施方式中，对使用可穿戴终端作为作业图像的输入装置的情况进行说明，但作为作业图像的输入装置，并不限于可穿戴终端。例如，也可以将智能手机或其他带有照相机的业务用终端用作作业图像的输入装置。另外，照相机自身也可以是独立的结构，可以将从照相机发送来的图像经由上述可穿戴终端、智能手机、业务用终端等发送到作业辅助装置。另外，作为眼镜型的可穿戴终端，可以使用被称为智能眼镜或头戴式耳机型终端的终端。

另外，作为可穿戴终端100和服务器200相对于网络101的连接形式(通信方式)，可以使用各种方式。例如，可以考虑经由移动通信网的连接、基于无线LAN(Local AreaNetwork：局域网)的连接等。此外，可穿戴终端100和服务器200也可以通过Bluetooth(注册商标)或红外通信等近距离无线通信与网络101连接。当然，也可以采用可穿戴终端100和服务器200经由有线LAN等有线通信与网络101连接的方法。

图6是表示本发明的第一实施方式的可穿戴终端的结构的图。参照图6，示出了可穿戴终端100，其具备控制部102、通信部103、图像输入部104、声音输入部105、输入部106、显示部107、声音输出部108、计时部109和存储部110。

通信部103经由网络101进行可穿戴终端100与服务器200之间的数据的通信。

图像输入部104例如可以由拍摄装置(照相机)构成。具体而言，图像输入部104根据来自控制部102的指示，获取作业者目视确认的区域的图像(可以是动画，也可以是每隔规定间隔(拍摄时间间隔可以比动态图像宽)拍摄到的静态图像)。图像输入部104保存获取到存储部110的工序图像DB111中的图像。此外，图像输入部104不一定要为摄影装置(照相机)，也可以是能够连接摄影装置(照相机)等的接口。

声音输入部105可以由麦克风(microphone)构成。可以经由声音输入部105从作业者受理基于声音的指示，来控制可穿戴终端100的动作。也可以从该声音输入部105获取特定的装置等作业对象发出的声音、作业者周围的声音，来进行作业是否正确地进行的确认。

输入部106由触摸面板、摇杆、鼠标、键盘等信息输入单元构成。可以从作业者经由输入部106受理指示，来控制可穿戴终端100的动作。另外，作业者也可以将经由输入部106所输入的信息(例如，工序图像DB的修正数据)存储到存储部110的工序图像DB111等。另外，也可以适当省略上述的声音输入部105或输入部106。例如，在由图像输入部104识别作业者的手势而受理来自作业者的指示的情况下，可以省略声音输入部105或输入部106。

另外，上述的图像输入部104、声音输入部105、输入部106中的图像等或声音等信息的输入在控制部102指示的定时进行。

显示部107由按照来自控制部102的指示显示输出图像(也可以是动画)的液晶显示器或有机EL(Electro Luminescence：电致发光)显示器构成。

声音输出部108按照来自控制部102的指示输出声音。例如，在需要取得对作为作业对象的装置进行的操作时的动作音的情况下，控制部102可以使显示部107或声音输出部108输出对作业者催促必要的操作的执行的消息(声音引导等)。另外，也可以代替声音输出部108，使用用于促使作业者注意的振动马达、产生振动的器件、灯作为输出单元。

计时部109测量从作业开始到各工序为止的所需时间(经过时间)。通过将测量出的所需时间与标准时间或最大允许时间进行比较，能够掌握作业有无滞后、是否发生故障等。

控制部102控制上述的可穿戴终端100的各部分，将从图像输入部104输入的图像与代表图像或错误图像进行对照，来进行作业的进展管理(参照图10的流程图)。另外，本实施方式的控制部102通过将各工序的所需时间(经过时间)与另行规定的标准时间或最大允许时间进行比较，由此管理作业的进展。另外，本实施方式的控制部102具有在预先规定的警告触发条件成立时向作业者输出警告的功能。这样的控制部102也可以通过从存储部110读取用于控制可穿戴终端100的各部分的程序112并使处理器执行该程序112来实现。

存储部110作为工序图像数据库(工序图像DB)111发挥功能。在该工序图像DB111登记从服务器200接收到的工序图像信息。关于工序图像信息的详细情况，将在后文详细说明。

图7是表示本发明的第一实施方式的服务器200的结构的图。参照图7，示出了服务器200，其具备控制部202、通信部203、图像输入部204、声音输入部205、输入部206、显示部207、声音输出部208和存储部209。

通信部203经由网络101进行可穿戴终端100与服务器200之间的数据的通信。

图像输入部204是从可穿戴终端100侧受理作业者目视确认的区域的图像(可以是动画，也可以是每隔规定间隔(拍摄时间间隔可以比动态图像宽)拍摄到的静态图像)的接口。

声音输入部205是从可穿戴终端100侧接收声音数据的接口。可以经由声音输入部205从作业者受理基于声音的指示，来控制服务器200的动作。也可以从该声音输入部205获取特定的装置等作业对象发出的声音、作业者周围的声音，来进行作业是否正确地进行的确认。

输入部206由触摸面板、摇杆、鼠标、键盘等信息输入单元构成。可以从作业者经由输入部206受理指示，来控制服务器200的动作。另外，作业者也可以将经由输入部206所输入的信息(例如，工序图像DB的修正数据)存储到存储部209的工序图像DB211等。

显示部207由向服务器200侧的操作者输出必要的消息等或者显示输入和输出内容的液晶显示器或有机EL显示器构成。

声音输出部208根据来自控制部202的指示，对服务器侧的操作者输出催促必要的操作的执行的消息(声音引导等)。另外，也可以代替声音输出部208，使用通过光来促使操作者注意的灯等作为输出单元。

控制部202控制上述的服务器200的各部分。该控制部202也可以通过从存储部209读取用于控制服务器200的各部分的程序(未图示)并使处理器执行该程序来实现。另外，在从可穿戴终端100向服务器200侧发送从图像输入部104输入的图像的情况下，可以在该控制部202中，进行用于进行作业的进展管理(参照图10的流程图)的处理。具体而言，控制部202将从可穿戴终端100接收到的图像与代表图像或错误图像进行对照，以进行作业的进展管理。另外，也可以在控制部202中记录从开始作业起的经过时间，通过与另行规定的标准的所需时间进行比较，由此判定作业有无滞后。

在此，对保存于服务器200的存储部209的信息进行说明。在存储部209登记作业信息和工序图像信息，从而分别作为作业信息数据库(作业信息DB)210、工序图像数据库(工序图像DB)211发挥功能。

图8是表示保存于作业信息DB210的信息的一例的图。参照图8，示出了将唯一赋予的作业编号与由装置名称、作业种类、故障内容确定的“作业”建立对应而成的条目。该作业信息DB210用于在从可穿戴终端100接收到工序图像的发送请求时，根据所输入的作业内容确定作业编号。例如，在某作业者进行不启动的个人计算机的故障修理的情况下，该作业被确定为1号的作业。另外，作业的内容并不限于图8的例子，也可以登记用于确定能够应用本发明的各种各样的“作业”的信息。例如，除了图8的例子之外，也可以将装置拆除作业、定期检查作业登记到作业信息DB210。另外，例如，如果是汽车的换油，则在装置字段设定表示汽车的车型名称或型号(款式)的信息，在作业种类字段设定换油(另外，故障内容字段可以与图8的4号的服务器4的设置同样地为空白，也可以设定是否需要机油元件的更换等)。

图9是表示保存于工序图像DB211的信息的一例的图。参照图9，将2号作业的“作业”中的各工序的代表图像与用于利用该代表图像等来进行工序的进展管理的信息建立对应地登记。图9的例子中，登记有在图8的作业信息DB中被确定为2号作业的进行打印机2的故障修理(卡纸)时的信息。另外，图9示出了在构成2号作业的6个工序中，直到工序3为止均正常地进行，在工序4中检测出作业错误的状态。以下，对图9的各项目进行说明。

“代表图像”字段是用于登记在各工序中用于确认正确地进行了作业的图像的字段。该代表图像优选为拍摄作业者(例如，可以是装置的维修作业者)目视确认的区域(严格地说，是与假定输入至可穿戴终端100的图像相同的区域)所得的图像，以便易于在可穿戴终端100中确认图像的一致。更优选为，将代表图像的角度、大小、像素数量等设定为与输入到可穿戴终端100的图像相同。

另外，为了防止误判定，优选为，代表图像不是在其他工序中也能够拍摄到的图像，而是仅可在该工序中获得的图像。另外，该代表图像也可以是与假定输入至可穿戴终端100的图像的一部分进行对照的图像。另外，假定输入至可穿戴终端100的图像与代表图像的角度、大小、像素数量等并不一定要一致。例如，也可以采用通过坐标变换使任一方的图像成为倾斜的图像，或者变换图像的大小、像素数量，从而对双方进行对照的方法。

作为代表图像的例子，可举出硬盘更换作业中的硬盘驱动器的外观图像、电路基板或机械部件的更换作业中的假定了在对象装置中的安装状态的电路基板或机械部件的外观图像。另外，作为代表图像的另一例，可举出设备连接作业中的作业对象装置的露出到外部的连接器的外观、表示其连接状态的图像。

图9的“拍摄图像”字段是登记从可穿戴终端100的图像输入部104输入的图像中的、取得了与代表图像或错误图像(后述)之间的对照的图像的字段。在图9的例子中，在服务器200侧的工序图像DB211设置有“拍摄图像”字段，但在仅在可穿戴终端100侧与代表图像进行对照的情况下，服务器200侧的工序图像DB211的“拍摄图像”字段可以省略。如上所述，在图9的例子中，由于确认了工序1～3，所以在“拍摄图像”字段登记有被判定为与代表图像一致的图像。图9的工序4由于被检测到与错误图像的一致，因此在“拍摄图像”字段登记有被判定为与错误图像一致的图像。

图9的“实施状况”字段是记录通过在可穿戴终端100的控制部102或服务器200的控制部202中与代表图像进行对照而被确认的工序的进展状况等的字段。在图9的例子中，在服务器200侧的工序图像DB211设置有“实施状况”字段，但在仅在可穿戴终端100侧与代表图像进行对照的情况下，服务器200侧的工序图像DB211的“实施状况”字段可以省略。如上所述，在图9的例子中，由于确认了工序1～3，所以在“实施状况”字段登记有“作业开始”、“工序确认”这样的信息。图9的工序4由于被检测到与错误图像的一致，所以在“实施状况”字段登记有“错误检测”这一信息。另外，由于工序5以后没有进行，因此登记有“未实施”这一初始状态的信息。

图9的“顺序信息”字段是登记各工序的下一个工序的作业内容等的字段。“顺序信息”字段的内容根据需要，经由显示部107或声音输出部108通知给作业者。

图9的“通知信息”字段是登录在到达各工序时通知给作业者的信息的字段。例如，在拍摄图像与代表图像吻合，判定为作业开始的情况下，登记到通知信息字段中的内容被通知给作业者。与作业信息之间的差异在于，作业信息是从传达作业内容的观点出发而创建的，与此相对，通知信息设定有注意事项、联络事项、在进行下一个工序作业方面用于防止作业错误的唤起注意的信息。另外，作为上述的作业信息、通知信息，可以采用文字、声音、动作、图形等方式。另外，也可以在可穿戴终端100的眼镜型的屏幕重叠显示表示上述作业信息或通知信息的文字或图形，以辅助作业者的作业。

“错误图像”字段是用于登记在各工序中用于检测发生了作业失误的图像的字段。该错误图像也与代表图像同样地，优选为拍摄作业者(例如，可以是装置的维修作业者)目视确认的区域(严格地说，是与假定输入至可穿戴终端100的图像相同的区域)所得的图像，以便易于在可穿戴终端100中确认图像的一致。更优选为，将错误图像的角度、大小、像素数量等设定为与输入到可穿戴终端100的图像相同。

另外，为了防止误判定，优选为，错误图像也不是在其他工序中也能够拍摄到的图像，而是仅可在该工序中获得的图像。另外，该错误图像也可以是与假定输入至可穿戴终端100的图像的一部分进行对照的图像。另外，假定输入至可穿戴终端100的图像与错误图像的角度、大小、像素数量等并不一定要一致。例如，也可以采用通过坐标变换使任一方的图像成为倾斜的图像，或者变换图像的大小、像素数量，从而对双方进行对照的方法。

图9的“标准时间”字段是登记各个工序间的标准作业时间的字段。通过将该标准时间与实际的作业时间进行比较，能够掌握作业的进展程度(滞后程度)。另外，图9的“最大允许时间”字段是登记作为各工序间的所需时间而允许的时间的字段(即，最大允许时间>标准时间)。图9的“经过时间”字段是登记各工序之间的实际所需时间的字段。另外，在图9的例子中，作为最终工序的工序6的标准时间和最大允许时间为空白，其原因在于，由于与该工序的代表图像一致，从而作业结束，不需要进行判定。

图9的“滞后判定”字段是存储各工序的进展与标准所需时间相比是提前还是滞后的判定结果的字段。在图9的例子中，在经过时间比标准时间短的情况下，设为“提前判定”。例如，就工序3而言，由于相对于标准时间15分钟，经过时间为8分钟，所以为“提前判定”。在图9的例子中，在经过时间比最大允许时间长的情况下，设为“延迟判定”。例如，就工序2、4而言，由于经过时间比最大允许时间长，因此为“延迟判定”。在图9的例子中，在经过时间比最大允许时间短但比标准时间长的情况下，设为“滞后判定”。例如，就工序1而言，相对于标准时间5分钟，经过时间为8分钟，最大允许时间为10分钟，因此为“滞后判定”。另外，这些判定基准只不过是一例，可以根据进行判定的作业类别、性质适当变更。例如，除了图9所示的以工序为单位的判定以外，还可以设定累积标准时间或累积最大允许时间，并与累积的经过时间进行比较而得到判定结果。

此外，标准时间与最大允许时间之间的关系也可以根据工序的内容适当设定。非常简单地说，可以将标准时间加上规定时间所得的时间作为最大允许时间，也可以将标准时间乘以规定的比率所得的时间作为最大允许时间。

可以在图9的“滞后判定”字段进行了更新的定时，通过声音或图像对作业者通知该判定结果、延迟量等。由此，作业者能够掌握作业的滞后和其程度。

图9的“警告信息”字段是存储在设定于“警告触发条件”字段的条件成立时被通知给作业者的警告内容的字段。例如，在图9的例子中，在工序2和工序4中设定有警告信息、该警告触发条件。由此，对于作业中的特别重要的工序，能够在发生错误或延迟时向作业者进行警告(通知)。

接着，参照附图对本实施方式的动作进行详细说明。图10是表示本发明的第一实施方式的可穿戴终端的动作的流程图。参照图10，首先，作业者从可穿戴终端100的输入部106输入图8所示的用于确定作业的信息(装置名称、作业种类、故障内容等)(步骤S301)。

可穿戴终端100的控制部102对服务器200发送所输入的所述信息，请求作业编号的确定和与所确定的作业编号对应的工序图像的发送。服务器200从作业信息DB210确定与从可穿戴终端100接收到的信息(装置名称、作业种类、故障内容等)相对应的作业编号。接着，服务器200从工序图像DB211确定与作业编号对应的数据，并将该数据与作业编号一起发送到可穿戴终端100。可穿戴终端100将从服务器200接收到的信息存储到工序图像DB111(步骤S302)。

可穿戴终端100的控制部102将表示工序数的变量设定为“1”，并开始与输入图像之间的对照动作(步骤S303)。

可穿戴终端100的控制部102从图像输入部104获取作业者目视确认的区域的图像(步骤S304)。所获取的图像被临时保存于工序图像DB111的拍摄图像字段。可穿戴终端100的控制部102将所获取的图像与工序图像DB111的相应的作业编号的工序数为1的代表图像进行比较(步骤S305)。这里，在所获取的图像与工序图像DB111的相应的作业编号的工序数为1的代表图像不一致的情况下(步骤S305的“不一致”)，可穿戴终端100的控制部102判定为没有开始作业。因此，可穿戴终端100的控制部102继续从图像输入部104获取作业者目视确认的区域的图像(向步骤S304)。

另外，步骤S305以下的图像彼此的对照可以使用各种方法。对于其具体例将在后文详细说明。

另一方面，在所获取的图像与工序图像DB111的相应的作业编号的工序数为1的代表图像一致的情况下(步骤S305的“一致”)，可穿戴终端100的控制部102识别为作业已开始(步骤S306)。在该阶段，例如图9的1号工序的实施状况成为“作业开始”，通过计时部109开始经过时间的计数。

可穿戴终端100的控制部102对表示工序数的变量加(增加)1，并开始输入图像与下一个工序之间的对照动作(步骤S307)。

可穿戴终端100的控制部102从图像输入部104获取作业者目视确认的区域的图像(步骤S308)。所获取的图像被临时保存于工序图像DB111的拍摄图像字段。可穿戴终端100的控制部102将所获取的图像与工序图像DB111的相应的工序数的代表图像进行比较(步骤S309)。这里，在所获取的图像与工序图像DB111的相应的工序数的代表图像不一致的情况下(步骤S309的“不一致”)，可穿戴终端100的控制部102进行所获取的图像与比当前工序数靠前的所有工序的代表图像之间的对照(步骤S316)。这里，在所获取的图像与比当前工序数靠前的所有工序的代表图像均不一致的情况下(步骤S316的“不一致”)，可穿戴终端100的控制部102返回到步骤S309，继续进行所获取的图像与工序图像DB111的相应的工序数的代表图像之间的对照。

另一方面，在步骤S316中所比较的代表图像中的任一个与所获取的图像一致的情况下，可穿戴终端100的控制部102识别为没有以正确的作业顺序进行作业(步骤S317)。然后，可穿戴终端100的控制部102经由显示部107或声音输出部108对作业者通知作业的顺序错误(步骤S318)。此时，可穿戴终端100的控制部102也可以输出相应的工序的作业信息或通知信息，对作业者指示正确的作业内容或返回作业的内容。

另一方面，在步骤S309中，在所获取的图像与工序图像DB111的相应的工序数的代表图像一致的情况下(步骤S309的“一致”)，可穿戴终端100的控制部102识别为正在以正确的作业顺序进行作业(步骤S310)。在这种情况下，可穿戴终端100的控制部102经由显示部107或声音输出部108对作业者通知正在以正确的顺序进行作业(步骤S311)。

接着，可穿戴终端100的控制部102确认表示工序数的变量是否与最终工序数一致(步骤S312)。这里，在表示工序数的变量小于最终工序数的情况下，由于作业尚未结束，所以可穿戴终端100的控制部102返回到步骤S308，继续进行所获取的图像与工序图像DB111的相应的工序数的代表图像之间的比较(步骤S312的“不是最终工序”)。

另一方面，在表示工序数的变量与最终工序数一致的情况下，可穿戴终端100的控制部102识别为相应的作业编号的全部工序已正确地进行(步骤S313)。可穿戴终端100的控制部102经由显示部107或声音输出部108，对作业者通知作业以正确的顺序完成(步骤S314)。由此，一系列的作业的进展管理完成。

另外，虽然在图10的流程图中被省略，但穿戴终端100的控制部102在确认了步骤S309的新图像与下一个工序的代表图像一致的定时等，进行该时间点的经过时间与前一个工序的标准时间、最大允许时间之间的比较。根据该比较的结果，可穿戴终端100的控制部102确认前一个工序的滞后等，并更新工序图像DB的滞后判定字段的内容。另外，在检测出滞后的情况下，穿戴式终端100的控制部102对作业者通知作业滞后等。虽然在图10的流程图中被省略，但穿戴终端100的控制部102以规定的周期确认在图9的工序图像DB111的警告触发条件字段中所规定的条件是否成立。这里，在判定为在警告触发条件字段中所规定的条件成立的情况下，可穿戴终端100的控制部102使用在警告信息字段中所设定的内容来对作业者进行警告。

根据以上所说明的本实施方式的可穿戴终端100和服务器200，能够实时地观测作业者正在进行的作业，并确认是否正在以正确的顺序进行。另外，在本实施方式中，还能够对作业者提供在各工序中所需要的信息或者发出作业有无滞后、警告。因此，能够使作业工序进展的管理省力化、自动化。

对应用了本实施方式的工序的进展管理的例子进行说明。

(工序1)拆下罩的工序

作为代表图像，使用罩整体的图像。该图像也可以使用预先附加有标记的罩的图像。另外，也可以代替该标记，准备罩外形的形状或大小(也考虑成像倍率)能够识别罩这样的图像。由此，检测出作业的开始。

(工序2)罩的固定

就罩的固定而言，进行由能够拆卸的多个螺栓(意味着阳螺纹)实现的螺纹固定。在该情况下，通过将螺纹固定后的罩图像用作代表图像，能够检测出正在正确地进行罩的固定的情况。或者，也可以代替与该代表图像之间的对照而采用如下方法：预先存储这些螺栓的位置，从所取得的拍摄图像检测罩部，并从该罩整体的位置切割出各螺栓的相对位置部分的图像，通过在该切割出的图像中，检测并判断螺栓特有的颜色(例如，镀锌的颜色)部分是否存在于螺栓的头部的大小落入的规定范围的区域内，来判断在该位置是否存在螺栓。假如在罩的4角这4个位置存在用螺栓安装罩的部分，则在检测出在该区域中存在螺栓，判断为在所有的位置均存在螺栓的情况下，判断为正确地安装并固定了罩。

而且，在存在所述螺栓的安装顺序的情况(例如，存在必须按照罩的右上、左下(右上的对角)、左上、右下(左上的对角)的顺序进行拧紧这一顺序的情况)下，也可以将工序2细化。例如，在每次拧紧螺栓时，均预先准备在按照该顺序被安装的螺栓的位置增加螺栓的像的代表图像，从而能够将拍摄图像与遵循所述拧紧螺栓的顺序的代表图像按照该顺序进行匹配。然后，在图像按照该顺序一致的情况下，能够判断为螺栓按照规定的顺序被拧紧。

(工序3)电缆的拔出

准备对电缆的端部在装置的规定位置与端子连接、即插入到端子的状态进行拍摄所得的代表图像和对没有电缆的状态进行拍摄所得的代表图像。然后，在从图像输入部104所取得的图像从插入了所述电缆的端部的图像变化为没有电缆的图像的情况下，能够判断为电缆按照作业顺序被拔出。

或者，也可以将被拔出的连接器的装置侧的图像作为代表图像，根据与从图像输入部104所取得的图像一致的情况，判断为电缆被正确地拔出。

(工序4)开关的操作

在开关、拨动开关等的操作部分按照开关的接通、断开发生变化的情况下，或者在进行开关的接通断开时，存在开关的一部分颜色发生改变的变化的情况下，将开关为接通状态的图像和为断开状态的图像分别作为代表图像进行准备。在从图像输入部104所取得的图像与开关为接通状态的图像一致之后与开关断开的图像一致的情况下，能够判断为开关被正确地操作。然后，在通过使开关断开而完成一系列作业的情况下，能够确认作业通过本工序而结束。

[第二实施方式]

接着，对本发明的第二实施方式进行说明。图11是表示本发明的第二实施方式的可穿戴终端100b的结构的图。与图6所示的第一实施方式的可穿戴终端100在结构上的不同点在于，在存储部110a配置有作业信息DB113。

具体而言，本实施方式的可穿戴终端100b由于具备作业信息DB113，所以能够通过可穿戴终端100b单体来确定作业编号。另外，在可穿戴终端100b的工序图像DB111预先存储有该作业者进行的作业所需的数据。并且，本实施方式的可穿戴终端100b从工序图像DB111中读取并设置与所确定的作业编号相对应的数据。以后的动作与图10所示的第一实施方式的步骤S303以后相同，因此省略说明。

如上所述，根据本实施方式，能够通过可穿戴终端100b单体来检查作业者的作业，特别适合应用于在通信基础设施不完备的场所进行作业的情况。

最后，对本发明的一些变形实施方式进行说明。

[可穿戴终端]

作为上述的可穿戴终端，可以使用被称为智能眼镜或头戴式耳机终端的头戴型，并且能够在穿戴者的视野中显示信息的终端。另外，在这样的可穿戴终端中，也可以使用如下类型的设备：将在作业者的视网膜上成像的光束直接照射到对象者的眼睛，使图像成像在视网膜上，而使对象者将其识别为视场上的图像(虚像)。

更优选地，也可以在上述智能眼镜或头戴式耳机终端的内侧安装对穿戴者的眼睛的运动进行感测的传感器。例如，这些具备传感器的可穿戴终端检测作业者在难以看到映出到显示部107的图像时进行的眯眼睛的动作。在进行了这样的动作时，这些可穿戴终端缩放从图像输入部104获得的输入图像，并在显示部107中进行放大显示。另外，可以根据从上述传感器获得的反射光量是否在规定范围内且持续规定时间以上等来判断是否进行了上述眯眼睛的动作。另外，为了提高上述传感器的精度，优选为向眼球方向照射辅助光以输入反射光，该照射光优选为不可见光(优选为近红外光)，并且其光强度优选为不影响眼球及视网膜的范围。

另外，还优选为，在上述的可穿戴终端等终端中内置对装置的姿势进行检测的3轴加速度传感器，以对重力方向进行检测。由此，能够获得拍摄方向、对象物在图像范围内的大小、对象装置的倾斜等信息。由此，在下述匹配中，能够适当地进行图像的倾斜的修正、大小的变更等前置处理。

[与代表图像之间的匹配处理]

对在上述图10的步骤S305、S309、S316中进行的、从图像输入部104获取的图像与代表图像的一致判定处理的变形例进行说明。从图像输入部104获取的图像与代表图像的一致判定可以使用被称为图像匹配处理的方法来进行，图像匹配处理是提取图像中的特征点，并进行特征点彼此之间的匹配的处理。

在特定作业的工序的确认中，为了易于进行从图像输入部104获取的图像与代表图像的匹配，优选将从图像输入部104获取的图像与代表图像调整成以预先规定的角度或大小被拍摄。例如，作为代表图像，优选使用由与作业者穿戴的可穿戴终端100相同的可穿戴终端的照相机拍摄到的图像。另外，代表图像优选不是在其他工序中也能够检测到的图像，而是仅可在该工序中获得的图像。

另外，优选为，在从图像输入部104获取的图像或代表图像中的至少一方倾斜，或者大小不同的情况下，在通过坐标变换来修正倾斜，或者变更图像的大小等后进行匹配。在特定作业的工序的确认中，可以将电路基板的拍摄图像作为代表图像。在电路基板的匹配中，可以识别外形来进行一致检测，也可以通过预先规定的形状、颜色(为了从背景中浮现，为与背景颜色不同的颜色)来进行一致检测。另外，也可以向作为作业对象的对象物和代表图像这两者预先赋予多个标记(至少3点。通过3点能够进行图像的位置、大小以及角度的检测。而且，能够进行用于图像一致判断的图像大小的调整和姿势的对准)，并使用这些标记作为特征点进行匹配。另外，在使用标记的情况下，也可以进行基于与比较对象图像的背景之间的色差的2值化，提取各标记的位置来进行匹配。而且，也可以根据这些标记，提取其位置(拍摄面内的X、Y方向，在与拍摄方向垂直的面内分别垂直相交的轴)、姿势(角度θz，以与拍摄面垂直的方向为中心的旋转方向)、大小来进行匹配。

另外，除了利用上述标记的一致判定以外，还可以计算相对于基准位置的各部位的图案的一致度，并使用该一致度进行最终的同一性判断。更具体而言，可以使用如下方法：根据调整角度和大小后的图像与比较图像之间的差分来进行判断，例如在图像整体中将每个像素的亮度标准化以使亮度的平均值相一致之后，根据具有规定以上的亮度差的部分的面积的差分来进行判断。

另外，在所述匹配处理中，为了减少运算量，也可以在以规定的阈值(Threshold)进行2值化所得的图像间进行匹配。此外，在所述匹配中，也可以不是图像整体，而是提取其一部分来进行匹配。例如，可以进行如下的匹配处理：对从图像输入部104获取的图像的预先规定的比例的一部分图像与代表图像是否以规定程度以上的程度一致进行判断。在这种情况下，可以使从图像输入部104获取的图像的一部分区域以规定的比例移动，每次移动时均进行匹配处理，根据是否获得规定以上的一致度来检测从图像输入部104获取的图像内是否存在代表图像。

此外，也可以在从由图像输入部104获取的图像中进行切割时，使所述预先规定的比例以规定间隔从一倍变化到规定倍率，并反复进行在所取得的图像中是否存在与代表图像一致的区域的判断。由此，即使图像的大小发生变化，也能够检测出图像的一致。

另外，也可以采用每当移动图像的区域时，就使图像旋转规定角度，并且每次均进行匹配的方法。通过确认直到旋转360度为止的期间是否获得规定以上的一致度，从而即使对象图像发生旋转，也能够进行正确的判断。

[部件更换作业时对作业者的指导]

另外，在作业是部件更换作业的情况下，在更换被存储了部件更换的图像的部件时，有时将更换前的部件的图像作为代表图像，来进行作为更换对象的部件的图像对照。此时，优选规定在对更换部件的作业进行拍摄的过程中，可获得不与其他物品等重叠的图像这样的作业顺序。这样的作业顺序能够通过通知信息等传达给作业者。

另外，在所述作业顺序中，还优选为，指示把持作为更换对象的部件，使得以与拍摄方向中心轴垂直的方向的轴(两轴)为中心的倾斜不会成为规定角度以上。如此，新旧部件在图像中不会重叠，能够分别检测。此外，如此，能够追踪各部件的移动，并利用图像判断没有进行错误的安装的情况。通过如上所述，在比较两个图像时，能够省略对作为匹配对象的图像的姿势或大小进行调整的前置处理。另外，通过如上所述，由于在两个图像中拍摄的部件的姿势类似，位置也没有大幅不同，因此匹配的判定变得容易，能够提高其精度。

而且，通过规定这样的作业顺序，能够以相对较短的时间间隔(以检测对象图像不会大幅移动的程度的时间间隔拍摄图像)拍摄包含拆下的部件的图像。并且，通过计算对象部件的位置的变化，能够检测出将拆下的部件和更换部件弄错而再次安装拆下的部件的情况。

另外，还优选为，在再次安装了拆下的部件的情况下(可以在图像中，追踪拆下的部件的图像，并在接近安装位置规定距离以内时作出判断)，通知警告。通过进行这样的通知，能够防止未进行部件等的更换这样的更换失误。

以上，对本发明的各实施方式进行了说明，但本发明并不限定于上述的实施方式，在不脱离本发明的基本技术思想的范围内，可以加以进一步的变形/置换/调整。例如，各附图所示的网络结构、各要素的结构、消息的表现形式是用于帮助理解本发明的一例，并不限于这些附图所示的结构。

最后，总结本发明的优选方式。

[第一方式]

(参照基于上述第一观点的作业辅助装置)

[第二方式]

可以采用如下结构：上述的作业辅助装置的所述存储部将所述代表图像与所述作业者所负责的多种作业中的每一种作业建立对应地进行保存，

所述确认部还从所述作业者受理与要开始的作业有关的信息的输入，并且，

基于从所述作业者输入的信息来确定要开始的作业，并确认该确定的作业是否正在以规定的顺序被实施。

[第三方式]

可以采用如下结构：上述的作业辅助装置的所述存储部除了存储有所述代表图像以外，还存储有表示进行了错误的作业时的状况的错误图像，而且，

所述确认部将输入的所述图像与所述错误图像进行对照，来确认是否进行了错误的作业，

所述通知部在由所述确认部判定为进行了错误的作业的情况下，对所述作业者通知发生了错误。

[第四方式]

可以采用如下结构：上述的作业辅助装置的所述存储部将从所述第一工序到所述第二工序的所需时间与所述第一工序的代表图像、所述第二工序的代表图像建立对应地进行保存，而且，

所述确认部确认从所述第一工序到所述第二工序为止的作业是否产生了延迟，

所述通知部对所述作业者通知所述作业有无延迟。

[第五方式]

可以采用如下结构：上述的作业辅助装置的所述存储部还保存在所述第二工序之后进行的第三工序的代表图像，

所述确认部当在所述第一工序之后输入的图像与所述第三工序的代表图像一致的情况下，判定为所述作业发生了顺序错误，

所述通知部对所述作业者通知所述作业发生了顺序错误。

[第六方式]

可以采用如下结构：上述的作业辅助装置的所述存储部还保存在所述第二工序之后进行的工序的代表图像，

所述确认部当在所述第一工序之后输入的图像与应当在所述第二工序之后进行的工序的代表图像中的任一个代表图像一致的情况下，判定为所述作业发生了顺序错误，

所述通知部对所述作业者通知所述作业发生了顺序错误。

[第七方式]

在上述的作业辅助装置中，

作为作业者正在进行作业的过程中的图像，能够使用由所述作业者穿戴的可穿戴终端的照相机拍摄到的图像。

[第八方式]

在上述的作业辅助装置中，

作为代表图像，能够使用由与所述作业者穿戴的可穿戴终端相同的可穿戴终端的照相机拍摄到的图像。

[第九方式]

上述的作业辅助装置可以通过如下结构来实现，即，包括：

作业辅助装置(可穿戴终端)，从作业者受理与要开始的作业有关的信息的输入；以及

服务器，基于从所述作业者输入的信息，确定要开始的作业，并将与该确定的作业对应的数据提供给作业辅助装置(可穿戴终端)。

[第十方式]

(参照基于上述第二观点的作业辅助方法)

[第十一方式]

(参照基于上述第三观点的程序)

另外，上述第十～第十一方式与第一方式同样地，能够展开为第二～第九方式。

另外，将上述的专利文献的各公开内容以引用的方式并入本说明书中。在本发明的全部公开(包括权利要求书)的范围内，还能够基于其基本技术思想，进行实施方式或实施例的变更/调整。另外，在本发明的公开的范围内，能够进行各种公开要素(包括各个权利要求的各要素、各实施方式或实施例的各要素、各附图的各要素等)的多种组合、或者选择(包括部分删除)。即，本发明当然包括本领域技术人员按照包括权利要求书在内的全部公开、技术思想可获得的各种变形、修正。特别地，对于本说明书所记载的数值范围，应当理解的是，在该范围内所包含的任意数值或小范围是被具体记载的，除非另有记载。

标号说明

10a 作业辅助装置

11a 存储部

12a 输入部

13a 确认部

14a 通知部

10b 计算机

11b 存储器

12b 输入单元

13b 处理器

14b 输出单元

100、100b 可穿戴终端

100a 作业者

101 网络

102、202 控制部

103、203 通信部

104、204 图像输入部

105、205 声音输入部

106、206 输入部

107、207 显示部

108、208 声音输出部

109 计时部

110、110a、209 存储部

111、211 工序图像数据库(工序图像DB)

112 程序

113、210 作业信息数据库(作业信息DB)

200 服务器

Claims (10)

1.一种作业辅助装置，具备：

存储部，将至少包括第一工序和在第一工序之后进行的第二工序的作业与代表在所述第一工序和所述第二工序中分别进行的作业的每个工序的代表图像建立对应地进行保存；

输入部，输入作业者正在进行作业的过程中的图像；

确认部，将输入的所述图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施；以及

通知部，对所述作业者通知所述确认的结果。

2.根据权利要求1所述的作业辅助装置，其中，

所述存储部将所述代表图像与所述作业者所负责的多种作业中的每一种作业建立对应地进行保存，

所述确认部还从所述作业者受理与要开始的作业有关的信息的输入，并且，

基于从所述作业者输入的信息来确定要开始的作业，并确认该确定的作业是否正在以规定的顺序被实施。

3.根据权利要求1或2所述的作业辅助装置，其中，

所述存储部除了存储有所述代表图像以外，还存储有表示进行了错误的作业时的状况的错误图像，而且，

所述确认部将输入的所述图像与所述错误图像进行对照，来确认是否进行了错误的作业，

所述通知部在由所述确认部判定为进行了错误的作业的情况下，对所述作业者通知发生了错误。

4.根据权利要求1～3中任一项所述的作业辅助装置，其中，

所述存储部将从所述第一工序到所述第二工序的所需时间与所述第一工序的代表图像、所述第二工序的代表图像建立对应地进行保存，而且，

所述确认部确认从所述第一工序到所述第二工序为止的作业是否产生了延迟，

所述通知部对所述作业者通知所述作业有无延迟。

5.根据权利要求1～4中任一项所述的作业辅助装置，其中，

所述存储部还保存在所述第二工序之后进行的第三工序的代表图像，

所述确认部当在所述第一工序之后输入的图像与所述第三工序的代表图像一致的情况下，判定为所述作业发生了顺序错误，

所述通知部对所述作业者通知所述作业发生了顺序错误。

6.根据权利要求1～4中任一项所述的作业辅助装置，其中，

所述存储部还保存在所述第二工序之后进行的工序的代表图像，

所述确认部当在所述第一工序之后输入的图像与应当在所述第二工序之后进行的工序的代表图像中的任一个代表图像一致的情况下，判定为所述作业发生了顺序错误，

所述通知部对所述作业者通知所述作业发生了顺序错误。

7.根据权利要求1至6中任一项所述的作业辅助装置，其中，

所述作业者正在进行作业的过程中的图像是由所述作业者穿戴的可穿戴终端的照相机拍摄到的图像。

8.根据权利要求7所述的作业辅助装置，其中，

作为所述代表图像，使用由与所述作业者穿戴的可穿戴终端相同的可穿戴终端的照相机拍摄到的图像。

9.一种作业辅助方法，

计算机能够访问将至少包括第一工序和在第一工序之后进行的第二工序的作业与代表在所述第一工序和所述第二工序中进行的作业的每个工序的代表图像建立对应地进行保存的单元，

所述作业辅助方法包括以下步骤：

所述计算机输入作业者正在进行作业的过程中的图像；

所述计算机将输入的所述图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施；以及

所述计算机对所述作业者通知所述确认的结果。

10.一种程序，

计算机能够访问将至少包括第一工序和在第一工序之后进行的第二工序的作业与代表在所述第一工序和所述第二工序中进行的作业的每个工序的代表图像建立对应地进行保存的单元，

所述程序使所述计算机执行以下处理：

输入作业者正在进行作业的过程中的图像；

将输入的所述图像与所述代表图像进行对照，来确认所述作业是否正在以规定的顺序被实施；以及

对所述作业者通知所述确认的结果。

Images