CN114731389A - 远程作业辅助系统 - Google Patents

Abstract

进行作业的作业人员能够一边确保充足的视野和安全性，一边根据需要用眼睛确认来自处于远处的辅助人员的图像信息。远程作业辅助系统(1)包括可穿戴设备(10)、移动终端(20)以及辅助人员终端(40)。可穿戴设备(10)具有拍摄部(11)、声音输入部(12)以及声音输出部(13)。移动终端(20)具有显示部(21)。辅助人员终端(40)与可穿戴设备(10)之间进行声音的发送、接收，辅助人员终端接收来自可穿戴设备(10)的图像，并向移动终端(20)发送图像。

Description

远程作业辅助系统

技术领域

本申请涉及一种远程作业辅助系统，用于供位于远处的辅助人员对位于作业现场的作业人员进行辅助。

背景技术

已知一种远程作业辅助系统，使作业人员装备摄像头终端，辅助人员从远处对摄像头终端进行操作，从而对作业人员进行辅助。专利文献1(日本特开2018-207420号公报)公开了一种作业辅助系统，即使作业人员处没有显示设备，也能够通过声音的交流来确认作业对象物。

发明内容

发明所要解决的技术问题

可穿戴设备也已设计了各种类型。在眼镜型设备中，能够在相当于眼镜的镜片的部分或其附近显示信息。在眼镜型设备用于对作业人员进行辅助的情况下，若在眼镜镜片处显示从辅助人员发送来的图像等，则作业人员的视野会变窄，作业效率会降低，也可能引起会发生危险的事态。不过，相反地，在没有显示器的作业人员终端(可穿戴设备)中，作业人员无法确认从辅助人员发送来的图像，这就陷入了两难的境地。

解决技术问题所采用的技术方案

第一观点的远程作业辅助系统包括可穿戴设备、移动终端、辅助人员终端。可穿戴设备将安装于现场作业人员。可穿戴设备具有拍摄部、声音输入部、声音输出部。可穿戴设备对图像进行发送，对声音进行发送、接收。移动终端与可穿戴设备分开而被现场作业人员携带。移动终端具有显示接收到的图像的显示部。辅助人员终端被对现场作业人员进行远程辅助的辅助人员利用。辅助人员终端具有声音输入部、声音输出部、显示部。辅助人员终端与可穿戴设备之间进行声音的发送、接收，辅助人员终端接收来自可穿戴设备的图像，并向移动终端发送图像。

在第一观点的远程作业辅助系统中，可穿戴设备不包括显示器，现场作业人员能够确保充足的视野，能够安全进行作业。另一方面，由于能够在需要时使图像显示于移动终端，因此，也能够通过显示部的画面查看来自远程辅助人员的指示内容。

在第一观点的系统的基础上，在第二观点的远程作业辅助系统中，可穿戴设备是挂脖式设备。

在第二观点的远程作业辅助系统中，由于可穿戴设备是挂脖式设备，因此，现场作业人员能够以免提的方式进行作业，而且，能够在视野不受阻碍的情况下高效地作业。

在第一观点或第二观点的系统的基础上，在第三观点的远程作业辅助系统中，辅助人员终端的显示部显示通过可穿戴设备的拍摄部拍摄到的视频以及静止图。

在第一观点至第三观点中任一观点的系统的基础上，在第四观点的远程作业辅助系统中，通过可穿戴设备的拍摄部拍摄到的图像在辅助人员终端处被选择、加工或附加信息，并且被发送至移动终端，显示于移动终端的显示部。

通过利用第四观点的远程作业辅助系统，现场作业人员在不需要特别注意拍摄的情况下对现场的图像进行加工、利用附加信息后的图像并接收支持，能够提高作业的效率。

在第一观点至第四观点中任一观点的系统的基础上，在第五观点的远程作业辅助系统中，现场作业人员以及辅助人员的发声被声音识别，并且作为文本信息显示于辅助人员终端的显示部。

在第五观点的远程作业辅助系统中，辅助人员能够一边通过文本信息对与现场作业人员的通话进行确认一边进行辅助，因此，也不需要做记录，能够进行高效作业。

在第五观点的系统的基础上，在第六观点的远程作业辅助系统中，文本信息还显示于移动终端的显示部。

在第六观点的远程作业辅助系统中，现场作业人员能够通过文本来确认与辅助人员的通话。

在第一观点至第六观点中任一观点的系统的基础上，在第七观点的远程作业辅助系统中，具有第一线路和第二线路。第一线路将辅助人员终端与可穿戴设备连接。第二线路将辅助人员终端与移动终端连接。第一线路在现场作业人员进行作业的期间被连续使用。第二线路在现场作业人员进行作业的期间根据需要被连接。

第七观点的远程作业辅助系统将第一线路和第二线路分开使用，仅在需要时使用第二线路，因此，现场作业人员仅在需要时使用第二线路即可，因此，不需要对移动终端进行不必要操作。

在第一观点至第七观点中任一观点的系统的基础上，在第八观点的远程作业辅助系统中，从通过拍摄部拍摄到的图像或者/以及现场作业人员及辅助人员的发声自动提取现场作业人员进行作业的作业进展。根据自动提取出的图像、发声对作业的进展情况或作业的结束时间进行推定。在辅助人员终端的显示部显示推定出的进展情况或结束时间。

在第八观点的远程作业辅助系统中，辅助人员能够对作业的进展情况进行监控。

在第一观点至第八观点中任一观点的系统的基础上，在第九观点的远程作业辅助系统中，辅助人员终端访问对现场作业辅助信息进行存储的数据库，对现场作业辅助信息进行提取、加工，并发送至移动终端。

通过利用第九观点的远程作业辅助系统，现场作业人员接受对现场作业辅助信息进行提取、加工后的信息，因此，能够高效地推进作业。

在第一观点至第九观点中任一观点的系统的基础上，在第十观点的远程作业辅助系统中，从辅助人员终端向现场作业人员进行的辅助包括基于声音进行的辅助、基于加工后的图像进行的辅助、基于在辅助人员终端输入的文本进行的辅助、基于辅助人员的发声被文本化的文字进行的辅助中的任意一者或基于这些的组合进行的辅助。

在第一观点至第十观点中任一观点的系统的基础上，在第十一观点的远程作业辅助系统中，远程作业辅助系统包括能够与同一服务器连接的多个设备。多个设备包括可穿戴设备、移动终端以及辅助人员终端。服务器根据规定的条件来指定多个设备中的至少一个以上的设备，并且根据指定来呼出构成连接对象的设备。

在第十一观点的系统的基础上，在第十二观点的远程作业辅助系统中，服务器获取现场作业人员的作业现场的环境信息。服务器根据环境信息来呼出多个设备中的至少一个以上的设备。

在第十一观点的系统的基础上，在第十三观点的远程作业辅助系统中，服务器对现场作业人员进行的作业的进展进行管理。服务器根据作业的进展来呼出多个设备中的至少一个以上的设备。

在第十一观点的系统的基础上，在第十四观点的远程作业辅助系统中，服务器对现场作业人员以及辅助人员的发声进行声音识别。服务器根据通过声音识别获取到的关键词来呼出多个设备中的至少一个以上的设备。

在第十一观点至第十四观点中任一观点的系统的基础上，在第十五观点的远程作业辅助系统中，服务器还从辅助人员终端接受现场作业人员利用的多个设备中的至少一个以上的设备的指定。

在第一观点至第十五观点中任一观点的系统的基础上，在第十六观点的远程作业辅助系统中，多个设备能够在设备间进行彼此通信。

第十七观点的辅助人员终端被对现场作业人员进行远程辅助的辅助人员利用。辅助人员终端具有声音输入部、声音输出部以及显示部。辅助人员终端与可穿戴设备之间进行声音的发送、接收，并且接收来自可穿戴设备的图像。可穿戴设备将安装于现场作业人员，具有拍摄部、声音输入部以及声音输出部。可穿戴设备对图像进行发送，对声音进行发送、接收。辅助人员终端向移动终端发送图像。移动终端与可穿戴设备分开而被现场作业人员携带。移动终端具有对图像接收部接收到的图像进行显示的显示部。

第十八观点的服务器是与多个设备连接的服务器。多个设备包括可穿戴设备、移动终端以及辅助人员终端。可穿戴设备将安装于现场作业人员，具有拍摄部、声音输入部以及声音输出部，可穿戴设备对图像进行发送，对声音进行发送、接收移动终端与可穿戴设备分开而被现场作业人员携带，具有对图像接收部接收到的图像进行显示的显示部。辅助人员终端被对现场作业人员进行远程辅助的辅助人员利用，具有声音输入部、声音输出部以及显示部。服务器根据规定的条件对多个设备中的至少一个以上的设备进行指定，根据指定来呼出构成通信对象的设备。

附图说明

图1是第一实施方式的可穿戴设备10的立体图。

图2是第一实施方式的远程作业辅助系统1的整体概略图。

图3是表示第一实施方式的辅助人员终端40的显示部43的显示画面的一例的图。

图4是示意性地表示第二实施方式的远程作业辅助系统的图。

具体实施方式

＜第1实施方式＞

(1)整体结构

如图2所示，第一实施方式的远程作业辅助系统1具有可穿戴设备10、移动终端20、服务器30、辅助人员终端40、数据库50。可穿戴设备10和移动终端20由现场作业人员“AAA_aaa”、“BBB_bbb”以及“CCC_ccc”分别持有。现场作业人员是分别被派遣至多个现场的多个作业人员。图2中，在三个现场派遣了三个作业人员，不过，现场的个数、作业人员的人数不限定于此。辅助人员终端40配置成供与现场作业人员相隔远处的辅助人员利用。

可穿戴设备10、移动终端20、服务器30、辅助人员终端40、数据库50与共用的网络连接，能够彼此进行通信。

另外，在本说明书中，有时将现场作业人员称为作业人员，意思是相同的。

此外，在本说明书中，“作业”是指设备的修理、保养维护作业、用于设置设备的现场调查、设置、安装中的任意一者。

(2)详细结构

(2-1)可穿戴设备10

如图1所示，可穿戴设备10是挂脖式设备。可穿戴设备10是环状的，设置成环的一部分开口的形状。以利用其开口的部分而插入脖子并使开口的部分来到前方的方式安装该可穿戴设备。

可穿戴设备10是挂脖式，因此，即使安装着，也能够以免提的方式进行作业。此外，也不会像眼镜型那样对视野产生影响。

可穿戴设备10具有主体19、拍摄部11、声音输入部12、声音输出部13、手势传感器14、控制部15、通信部16、电源开关(未图示)。

在主体19的两端部配置有拍摄部11和手势传感器14。

拍摄部11是摄像头。摄像头在作业人员的作业过程中连续且持续地拍摄作业人员的前方。拍摄到的图像是视频。也可以是静止图。拍摄到的图像通过通信部16并经由网络被送至服务器30。被送至服务器30的图像被保存于服务器30的存储部32。同时，被送至服务器30的图像显示于辅助人员终端40的显示部43。

手势传感器14具有开关的功能。通过安装人员(作业人员)在手势传感器之前示出签名，就能够进行可穿戴设备的操作。例如，该操作是开启、关闭拍摄部11的拍摄等。此外，也可被作业人员使用来呼出使用辅助人员终端40的辅助人员。可穿戴设备10也可具有机械式或电子式开关以代替手势传感器14，或者，具有手势传感器14以及机械式或电子式开关。

声音输入部12是麦克风。麦克风具有方向性，优先对安装人员发出的声音进行收音。声音输入部12也可被作业人员利用来呼出使用辅助人员终端40的辅助人员以代替手势传感器14，或者，声音输入部12也可与手势传感器14一起被作业人员利用来呼出使用辅助人员终端40的辅助人员。例如，通过作业人员发出“请求帮助”的声音，发声达到服务器30，在服务器30进行声音识别，从而文本化。服务器30根据文本化后的声音数据来识别作业人员正在寻求辅助的事情，使辅助人员终端40的作业人员识别信息112的该作业人员的名字“AAA aaa”闪烁(忽亮忽灭)。由此，辅助人员知晓作业人员“AAA aaa”正在寻求辅助的事情。

声音输出部13是扬声器。声音输出部13配置于可穿戴设备10的安装人员(作业人员)的身体的后侧。

本实施方式的可穿戴设备10具有声音输入部12、声音输出部13、进行声音的发送、接收的通信部16。因此，安装可穿戴设备10的作业人员能够将设备作为电话使用，从而能够与辅助人员进行通话。

通信部16通过第一线路T1与网络连接。能够将通过声音输入部12输入的声音和通过拍摄部11拍摄到的图像作为电子数据发送至网络。此外，通过网络来接收作为电子数据的声音。

控制部15是计算机。控制部15具有处理器和存储部。控制部15对拍摄部11、声音输入部12、声音输出部13、手势传感器14、通信部16进行控制。控制部15接收并执行输入至手势传感器14的控制指令。控制部15执行服务器30的指令、辅助人员操作辅助人员终端40而输入的指令。

(2-2)移动终端20

移动终端20被作业人员携带或持有。移动终端20也可以是智能手机、平板电脑、PC等。移动终端20具有显示部21、通信部22、控制部23。移动终端20通过第二线路T2与网络连接。

通信部22通过网络接收图像。图像可以是视频也可以是静止图。

显示部21是显示器。显示部21显示通过网络接收到的图像。在辅助人员终端40处经过辅助人员加工后的图像经由网络被发送至移动终端20，显示于显示部21。图像可以是视频也可以是静止图。

控制部23是计算机。控制部23具有处理器和存储部。控制部23对显示部21、通信部22进行控制。

与可穿戴设备10不同的是，移动终端20在作业人员的作业过程中不需要始终与辅助人员终端40(或者服务器30)连接。只要在通过辅助人员终端40将图像(包括文本信息)送至移动终端20时连接即可。

(2-3)服务器30

服务器30是计算机。服务器30具有处理器31、存储部32。存储部32保存有应用程序、数据。在本实施方式中，存储于存储部32的远程作业辅助系统1的应用程序被处理器31读取并执行。远程作业辅助系统1的应用程序是WEB应用程序。在辅助人员终端40和移动终端20中启动浏览器，通过浏览器访问远程作业辅助系统1的应用程序。

若可穿戴设备10被作业人员启动，则可穿戴设备10与服务器30连接，将可穿戴设备10的拍摄部11拍摄到的图像发送至服务器30。拍摄到的图像被累积于服务器30的存储部32。同时，通过启动辅助人员终端40的浏览器，能够通过辅助人员终端40的显示部43来浏览拍摄到的图像。

此外，在作业人员的作业过程中，远程作业辅助系统1的应用程序根据来自可穿戴设备10的连接请求或来自辅助人员终端40的连接请求，使作业人员与辅助人员双向的通话成为可能。

服务器30通过声音识别的方式将从可穿戴设备10获得的声音以及从辅助人员终端40获得的声音转换成文本信息。文本信息按照每一作业存储于存储部32。此外，文本信息被发送至辅助人员终端40，显示于辅助人员终端40的显示部43。此外，文本信息根据需要也被发送至移动终端20，显示于移动终端20的显示部21。

服务器30对所有正在通信的可穿戴设备10的声音数据进行收集，并将其以文本信息的方式保存于存储部32。在来自当前虽然与辅助人员终端40连接但未受到辅助的作业人员“BBB bbb”的声音包含请求辅助的言语的情况下，服务器30使辅助人员终端40的作业人员识别信息112的该作业人员的名字“BBB bbb”闪烁(忽亮忽灭)。

服务器30还可具有自动翻译功能。将经过声音识别后的声音数据翻译成其他语言。例如，在现场作业人员说英语而远处的辅助人员说日语的情况下，也可将现场作业人员说的英语以日语的声音传递给辅助人员。或者，也可以日语的方式显示辅助人员终端40的显示部43的发声记录116。也可将英语和日语合并显示。

作业辅助时产生的图像、文本化后的声音信息、经过辅助人员加工后的图像保存于服务器30的存储部32。这些信息也可保存于其他场所。例如，也可保存于数据库50。也可保存于辅助人员终端40的存储部。

(2-4)数据库50

数据库50包括对端子数据进行保存的存储部。数据库50与网络连接。在本实施方式中，数据库50保存有用于设备修理、保养维护的现场作业辅助信息。现场作业辅助信息的保存不限于数据库50。也可保存于服务器30的存储部32。也可保存于辅助人员终端40的存储部。

(2-5)辅助人员终端40

辅助人员终端40被对现场作业人员进行远程辅助的辅助人员利用。辅助人员终端40也可以是PC。辅助人员终端40具有声音输入部41、声音输出部42、显示部43、通信部44、控制部45。

声音输入部41是麦克风。声音输出部42是扬声器。本实施方式的可穿戴设备40具有声音输入部41、声音输出部42、进行声音的发送、接收的通信部44。因此，辅助人员能够将辅助人员终端40作为电话使用，从而能够与现场作业人员进行通话。

通信部44与网络连接。通过网络来接收作为电子数据的声音。通信部44还接收在服务器30中进行声音识别而文本化的文本信息。通信部44接收通过可穿戴设备10的拍摄部11拍摄到的图像。另一方面，通信部44能够将通过声音输入部41输入的声音、由辅助人员在辅助人员终端40中进行加工后的图像作为电子数据发送至网络。

显示部43是显示器。

控制部45是计算机。控制部45具有处理器和存储部。控制部45对声音输入部41、声音输出部42、显示部43、通信部44进行控制。控制部45的存储部存储有浏览器(程序)。控制部45读取并执行浏览器程序。若远程作业辅助系统1的应用程序被服务器30执行，那么，通过在辅助人员终端40的控制部45使用浏览器，能够利用辅助人员终端40对作业进行辅助。

另外，关于本实施方式的可穿戴设备10、移动终端20、服务器30、辅助人员终端40等之间的通信，也可分开使用多个通信协议。

在本实施方式中，对于视频以及声音的通信协议，例如，采用WebRTC。WebRTC是标准协议，其具有虽然安全但设计自由度不高(只能改变解析度等参数)的特征。对于静止图的通信协议，可以采用HTTPS、MQTT或WebSocket。这些通信协议能够自由设计，无论是视频、文本、静止图等，均能够应对，具有服务器侧的设计性高的特征。

(2-5-1)辅助人员终端40的显示部43的显示画面

图3中示出了正在执行远程作业辅助系统1的应用程序时的、辅助人员终端40的显示部43的浏览器的显示画面的一例。

显示部43的画面显示有作业进展111、作业人员识别信息112、现场的实况图像113、辅助人员加工图像114、参考文献列表115、发声记录116。

作业进展111表示使用辅助人员终端的辅助人员“今天”参与的作业现场的个数(或者作业人员的人数)。此处，示出了“今天”已经结束的作业为两件的情况。

在作业进展111处也可显示作业的进展情况(可以％的方式示出)、作业的预计结束时刻。为此，服务器30可以从通过可穿戴设备10的拍摄部11拍摄到的图像或者/以及作业人员和辅助人员的发声自动提取，对作业的进展情况或作业的结束时间进行自动推定。

作业人员识别信息112描述有“当前在线新手”。这是指当前正在利用与辅助人员终端40连接的可穿戴设备10的作业人员。此处，显示有作业人员的图标(照片)和作业人员的名字“AAA aaa”。此外，在作业人员“AAA aaa”的图标之前显示有“LIVE”。此处，“LIVE”的显示表明辅助人员终端40与可穿戴设备10的连接是活跃的。活跃是指下述状态：作业人员“AAA aaa”的实况图像113显示于画面且声音与作业人员“AAA aaa”以能够通话的方式连接。

另外，在图3的作业人员识别信息112中，显示有五名作业人员，不过，非活跃的作业人员的一部分也可被隐藏显示，通过拖动滚动条可以显示。此外，也可将活跃的作业人员显示得较大，除此以外的作业人员的名字部分或全部被隐藏。

作业人员识别信息112不限于显示图标、作业人员的名字，也可显示作业人员的ID号、现场的住所、作业中的设备(此处是空调机)的型号、ID号、作业的ID等。作业人员识别信息112是辅助人员能够确定作业人员或作业的信息。

此外，活跃的作业人员的显示方法不限于“LIVE”的显示。利用辅助人员终端40的辅助人员只要能够识别活跃的作业人员即可。也可将连接中的作业人员识别信息放大，使其闪烁、改变其颜色、使其弹出。

实况图像113示出了关于活跃的作业人员的、正在通过该作业人员“AAA aaa”的可穿戴设备10的拍摄部11进行拍摄的实况影像。图3中示出了空调机的室外单元的图像。在活跃的状态下，声音与作业人员“AAA aaa”连接，因此，辅助人员通过声音进行指示，使作业人员移动，其结果是，能够使可穿戴设备10的拍摄部11的位置移动，从而使图像移动。

辅助人员加工图像114是从实况图像113提出图像并进行加工而成的。在图3的辅助人员加工图像114中，风扇的图的中央部设有圆形的标记，以手写的方式示出了“从此处打开风扇”的指示。这是辅助人员在辅助人员终端40上通过触摸笔输入的方式写入的文字、记号。通过将辅助人员加工图像114发送至作业人员的移动终端20并显示于显示部21，能够高效地辅助作业人员。

参考文献列表115是辅助人员进行辅助时参考的参考文献(现场作业辅助信息)的列表。现场作业辅助信息也可包括现场调查确认项目、施工作业顺序手册或保养维护信息。辅助人员能够从保存于数据库50的现场作业辅助信息之中提取出施工所需的文献，进一步从该文献之中提取出所需的部分，并且根据需要设置标记后，发送至作业人员的移动终端20。

发声记录116将活跃的作业人员“AAA aaa”的发声文本和辅助人员的发声文本分开显示。

(3)使用远程作业辅助系统1进行的现场作业人员的辅助的说明

接着，对使用本实施方式的远程作业辅助系统1进行的作业人员的辅助的方法进行说明。

为了进行设备的修理、维护，作业人员到达现场并开始作业。此处，作为设备，假定是空调机。当作业开始时，现场作业人员将可穿戴设备10安装于身体，将电源开关接通。

首先，作业人员在手势传感器14的前方发送签名，启动拍摄部11。拍摄部11开始拍摄。此外，可穿戴设备10与服务器30的远程作业辅助系统1的应用程序连接。拍摄到的图像通过通信部16并经由网络被送至服务器30，并且被累积于服务器30的存储部32。

当辅助人员开始辅助时，在辅助人员终端40启动浏览器，与服务器30的远程作业辅助系统1的应用程序连接。

可穿戴设备10的电源接通和辅助人员终端40与服务器30的远程作业辅助系统1的应用程序的连接也可不同时。哪一个在前均可。在可穿戴设备10的拍摄部11启动且辅助人员终端40在浏览器上与服务器30的远程作业辅助系统1的应用程序连接的状态下，两者连接。

利用辅助人员终端40的辅助人员适当选择作业人员，开始辅助。

当作业人员寻求辅助人员的辅助时，在手势传感器14的前方示出表示想要接受辅助的手势。辅助的请求也可以通过声音等别的方法进行。作业人员的辅助请求使作业人员识别信息112的作业人员的名字“AAA aaa”在辅助人员终端40的显示部43的画面中闪烁(忽亮忽灭)。当辅助人员同意作业人员的辅助请求时，通过点击其名字“AAA aaa”，与作业人员“AAA aaa”的连接变得活跃。换言之，作业人员识别信息112的作业人员“AAA aaa”被标记“Live”的记号，可穿戴设备10拍摄到的图像以实况的方式显示于实况图像113，作业人员“AAA aaa”与辅助人员的通话变得可能。

辅助人员一边与作业人员“AAA aaa”进行通话，一边对从作业人员“AAA aaa”的可穿戴设备10发送来的视频进行确认，对作业辅助内容进行研究。

在从辅助人员侧访问作业人员的情况下，若点击作业人员识别信息112的作业人员的名字“AAA aaa”，那么，与作业人员“AAA aaa”的连接变得活跃，可穿戴设备10拍摄到的图像以实况的方式显示于实况图像113，作业人员“AAA aaa”与辅助人员的通话变得可能。

作为辅助的方法，最简单的是，辅助人员一边与作业人员“AAA aaa”进行通话，一边向作业人员提出建议。作业人员与辅助人员的发声内容在服务器30中进行声音识别而文本化，被存储于服务器30的存储部32。同时，将其显示于辅助人员终端40的显示部43的发声记录116。辅助人员一边通过发声记录116确认发声内容，一边考虑辅助内容，不断提出建议。此外，也可将辅助人员的发声或通话内容文本化后的信息发送至作业人员“AAA aaa”的移动终端20并使其显示于显示部21，由此，进行辅助。

此外，辅助人员从实况图像113适当选择(剪取)图像作为静止图(抓拍)，使该静止图显示于辅助人员加工图像114。辅助人员进一步对上述显示的图像进行加工。具体而言，对所需的部分进行剪取、标记、写入文字。被辅助人员书写后的图像被发送至作业人员“AAAaaa”的移动终端20。作业人员“AAA aaa”对移动终端20的显示部21进行确认，对辅助人员发送的图像进行确认。如此，作业人员接受辅助人员提供的辅助，并且不断推进作业。

以上，对辅助人员制作而成的辅助人员加工图像是静止图的情况进行了说明，不过，也可以是视频。

辅助人员提供的辅助信息不仅仅是上述通过可穿戴设备10拍摄且被加工后的图像，也可以是从参考文献(现场作业辅助信息)提取或加工后的图像或文字(抓拍)。现场作业辅助信息也可显示于画面的参考文献列表115，也可通过在参考文献列表115的窗口进行检索而获得。在参考文献列表115中检索而获得的现场作业辅助信息是保存于数据库50的信息。例如，在辅助人员判断为为了辅助需要确认操作说明书的情况下，点击参考文献列表115的操作说明书。如此，新的窗口弹出，显示操作说明书的页面。辅助人员选择操作说明书的特定页面，剪取所需的部分，使剪取到的图像(抓拍)显示于辅助人员加工图像114。在此，辅助人员对操作说明书的特定页面的图像(抓拍)进行标记、文字记入等加工。与通过可穿戴设备10拍摄、选择并加工后的图像相同的是，上述加工后的图像作为辅助人员加工图像被发送至作业人员的移动终端20。作业人员能够将辅助人员加工图像作为参考来推进作业。

此外，以上，对现场作业辅助信息保存于数据库50的情况进行了说明。现场作业辅助信息也可保存于服务器30的存储部32。或者，也可保存于辅助人员终端40的存储部。现场作业辅助信息也可以是从其他来源获得的信息。例如，可以是Web站的信息。

如上文说明的那样，辅助人员不断推进作业人员“AAA aaa”的辅助作业。当在作业人员“AAA aaa”的辅助结束后或在辅助过程中存在来自作业人员“BBB bbb”的辅助请求时，辅助人员终端40的浏览器的显示画面的作业人员识别信息112的作业人员的名字“BBBbbb”闪烁(忽亮忽灭)。在看到该辅助请求的辅助人员能够开始进行作业人员“BBB bbb”的辅助的情况下，点击作业人员的名字“BBB bbb”。这样一来，与作业人员“BBB bbb”的连接变得活跃。换言之，作业人员识别信息112的作业人员揂“BBB bbb”被标记“Live”的记号，可穿戴设备10拍摄到的图像以实况的方式显示于实况图像113，作业人员“BBB bbb”与辅助人员的通话变得可能。

如上所述那样，进行针对多个作业人员的作业辅助。通过使用本实施方式的远程作业辅助系统1进行作业，可穿戴设备10拍摄到的图像、包括作业人员与辅助人员的通话在内的声音、辅助人员制作而成的辅助人员加工图像等不断累积于服务器30的存储部32。这些信息按照每一作业进行存储。服务器30也可以在存储的信息的基础上自动制作报告书。

(4)特征

(4-1)

本实施方式的远程作业辅助系统1包括可穿戴设备10、移动终端20、辅助人员终端40。可穿戴设备10供现场作业人员安装而使用。可穿戴设备10包括拍摄部11，能够向辅助人员终端40发送作业人员周围的拍摄图像。此外，通过可穿戴设备10和辅助人员终端40，能够像电话那样使用而进行通话。

可穿戴设备10不包括显示部。在可穿戴设备例如像眼镜型设备那样包括显示部的情况下，作业人员的视野受限，作业人员也可能遭遇危险。反过来说，若不包括显示部，则具有上述担忧减少这样的优点。

此外，由于作业人员携带着移动终端20，因此，能够根据需要使来自辅助人员的辅助信息显示于移动终端20的显示部21。

(4-2)

本实施方式的可穿戴设备10是挂脖式设备。因此，作业人员能够以免提的方式进行作业。

(4-3)

可穿戴设备10的拍摄部11拍摄的图像是视频或静止图。

通过拍摄视频，能够在辅助人员终端40的显示部43持续地显示实况图像113。

当辅助人员制作辅助人员加工图像时，通过使用静止图，能够更简便地制作。

(4-4)

通过可穿戴设备10的拍摄部11拍摄到的图像在辅助人员终端40处被选择、加工或附加信息，并且被发送至移动终端20，显示于移动终端20的显示部21。

通过活用可穿戴设备10和移动终端20这两者，作业人员不需要多余地查看辅助人员的辅助信息，并且，作业人员能够在必要时在移动终端20上查看。

(4-5)

作业人员以及辅助人员的发声被声音识别，并且作为文本信息显示于辅助人员终端40的显示部43的发声记录116。

由于发声记录作为文本信息显示于辅助人员终端40，因此，辅助人员容易确认通话内容，此外，还能够利用此对作业人员进行辅助。此外，作为发声内容的文本信息的记录也可活用于报告书的制作。

(4-6)

上述文本信息还可显示于移动终端20的显示部21。即使是作业人员，也能够通过显示部21以文本的形式确认与辅助人员之间的发声，这非常有用。此外，辅助人员也可将重要的发声内容文本提取出并显示于作业人员的移动终端20。

(4-7)

远程作业辅助系统1具有：第一线路T1，所述第一线路T1将辅助人员终端40与可穿戴设备10连接；第二线路T2，所述第二线路T2将辅助人员终端40与移动终端20连接。第一线路T1在作业人员进行作业的期间被连续使用，第二线路T2在作业人员进行作业的期间根据需要被连接。

如此，作业人员能够在不始终查看画面的情况下进行作业。

(4-8)

远程作业辅助系统1的服务器30将通过可穿戴设备10的拍摄部11拍摄到的图像存储于服务器30的存储部32。此外，对作业人员以及辅助人员的发声进行声音识别而文本化，并存储于服务器30的存储部32。服务器30也可根据这些图像、文本化后的文字等来推定作业的进展情况、作业的结束时间，并将其显示于辅助人员终端40的显示部43。作业的进展情况可以○○％结束等的方式推定、显示。如此，辅助人员能够知晓作业的进展。

(4-9)

辅助人员终端40使参考文献列表115显示于显示部43。参考文献是指现场作业辅助信息。现场作业辅助信息保存于网络上的数据库50。辅助人员能够通过参考文献列表115访问现场作业辅助信息的内容。辅助人员对现场作业辅助信息的内容进行提取、加工，并发送至移动终端20。

辅助人员如上所述那样对现场作业辅助信息进行加工并送达作业人员，由此，作业人员不需要大量查看庞大的资料，作业人员的效率提升。

(4-10)

本实施方式的远程作业辅助系统1进行的作业辅助包括基于各种手段进行的辅助。换言之，辅助包括基于声音进行的辅助、基于加工后的图像进行的辅助、基于在辅助人员终端输入的文字进行的辅助、基于辅助人员的发声被文本化的文字进行的辅助中的任意一者或基于这些的组合进行的辅助。

基于声音进行的辅助与基于电话进行的辅助相同。

基于加工后的图像进行的辅助包括利用通过可穿戴设备10拍摄到的图像进行的辅助、对现场作业辅助信息进行加工而利用其进行的辅助。

基于在辅助人员终端40输入的文字进行的辅助是以下述方式实现的辅助：辅助人员在辅助人员终端40中输入文字，该文字被发送至移动终端20并显示于显示部21。

基于辅助人员的发声被文本化的文字进行的辅助是辅助人员的发声被文本化且将文本化后的信息送达作业人员的移动终端20的辅助。作业人员可能漏听辅助人员的发言，也可能忘记辅助人员的发言。为此，针对重要的发声，有时将其文本化并进行发送，形成有效的辅助。

(5)变形例

(5-1)变形例1A

在第一实施方式中，如图3所示，仅活跃的作业人员“AAA aaa”的实况图像113显示于显示部43。在变形例1A中，连接着的所有作业人员“AAA aaa”、“BBB bbb”、“CCC ccc”、“DDD ddd”以及“EEE eee”的实况图像显示于实况图像113。换言之，非活跃的作业人员的实况影像也同时显示于实况图像113。不过，活跃的作业人员“AAA aaa”在上方显示得较大，非活跃的作业人员“BBB bbb”、“CCC ccc”、“DDD ddd”以及“EEE eee”的影像在下方显示得较小。如此，通过变形例1A的显示部43，辅助人员能够知晓非活跃的作业人员、换言之未进行辅助的作业人员的大致动向。例如，当作业人员想要进行不理想的动作时，辅助人员能够利用此来引起作业人员的注意。

(5-2)变形例1B

在第一实施方式中，对声音进行声音识别而使其文本化是在服务器30中执行的。在变形例1B中，声音识别以及文本化是在可穿戴设备10或辅助人员终端40中进行的。因此，可穿戴设备10或辅助人员终端40将声音的音频数据和声音的文本数据这两者发送至网络。此外，可穿戴设备10或辅助人员终端40可不仅具有声音识别功能，还具有翻译功能。

(5-3)变形例1C

在第一实施方式中，可穿戴设备10是挂脖式。可穿戴设备10也可以是其他形式。优选，安装于身体而且是免提的。变形例1C的可穿戴设备10安装于头部。具体而言，是头盔、帽子或头带这样的方式。

(5-4)变形例1D

在第一实施方式的远程作业辅助系统1中，现场作业人员持有并使用可穿戴设备10和移动终端20。远程作业辅助系统1还可利用其他设备。其他设备可经由网络与辅助人员终端40连接。其他设备也可与服务器30连接。

在变形例1D中，其他设备是与现场作业人员利用的可穿戴设备10的拍摄部11不同的网络摄像头。网络摄像头将与可穿戴设备10的拍摄部11不同的场所的拍摄图像、虽然是相同场所但从另一角度拍摄到的拍摄图像经由网络发送至辅助人员终端。

(5-5)变形例1E

在第一实施方式中，可穿戴设备10、移动终端20分别单独通过第一线路T1或第二线路T2与网络连接。在变形例1E中，可穿戴设备10与移动终端20彼此以P2P的方式连接。

在变形例1E中，可穿戴设备10与网络(或者辅助人员终端40)的连接可以通过第一线路连接，也可以是，可穿戴设备10与移动终端20暂时以P2P的方式进行通信，接着，移动终端20与网络通过第二线路连接。

(5-6)变形例1F

另一通信设备能够通过近距离无线通信技术与可穿戴设备10连接。近距离无线通信技术可以是蓝牙(注册商标)、红外线通信、Wi-Fi。

(5-7)变形例1G

在第一实施方式中，辅助人员发出的声音被发送至可穿戴设备10，从辅助人员终端40发送来的图像被发送至移动终端20。

在变形例1G中，现场作业人员能够利用可穿戴设备10、智能手机即移动终端20、作为其他设备的PC。

当从辅助人员终端40发送图像时，辅助人员可以选择发送至移动终端20或PC。

或者，也可构成为：服务器30控制图像从辅助人员终端40向作业人员的发送，辅助人员终端40发出对发送图像的作业人员的设备进行指定的指令，服务器30接受该指令。

(5-8)变形例1H

本实施方式的作业人员辅助系统能够用于其他的用途，例如，能够用于培训目的。

培训内容是设备修理、保养维护等现场作业。听讲人员作为作业人员参加。听讲人员(作业人员)优选是1名到2名。优选，以最少的人数进行需要熟练的作业。

培训的讲习人员是辅助人员。优选，讲习人员是多名，各讲习人员持有不同的观点，对听讲人员进行指导。因此，讲习人员想要观察不同的地方、角度。例如，对于作业本身了解的讲习人员想要确认听讲人的手的动作。对设备了解的人想要鸟瞰包括听讲人在内的设备整体的状态，想要对附着于设备的仪表等测量设备一并进行确认。

讲习人员(辅助人员)敦促听讲人员(作业人员)切换能够对想要确认的地方、视场进行拍摄的可穿戴设备10以及智能手机等移动终端20，或者增加这些设备。由此，听讲人员(作业人员)能够从讲习人员并从各种观点、角度接受到与自身实施的作业相关的辅助、教育。

＜第二实施方式＞

(6)第二实施方式的远程作业辅助系统

图4中示出了对第二实施方式的远程作业辅助系统进行示意性说明的图。

第二实施方式的远程作业辅助系统基本上原样包括第一实施方式的远程作业辅助系统1的结构。换言之，第二实施方式的远程作业辅助系统包括可穿戴设备10、移动终端20、服务器30、辅助人员终端40、数据库50。与第一实施方式相同地，远程作业辅助系统进行作业辅助，其结果是，不断累积可穿戴设备10拍摄到的图像、对作业人员的发声、辅助人员的发声进行声音识别而文本化的文本、辅助人员制作而成的辅助图像、作业报告书等。针对新发生的故障修理等作业，第二实施方式的服务器30将可穿戴设备10拍摄到的图像等数据与过去累积的数据进行比较，对正在发生类似的设备异常或正在发生类似的设备故障进行自动辨别。如此，本实施方式的远程作业辅助系统1能够对设备的异常或故障进行诊断。

服务器30在设备的异常或故障的诊断成功的情况下向辅助人员提出与过去相同的合适辅助方法。或者，直接向作业人员提出与过去相同的合适辅助方法。

此外，本实施方式的远程作业辅助系统对未来的设备故障进行预测。

(7)变形例

(7-1)变形例2A

变形例2A的结构与第二实施方式基本相同。在变形例2A中，服务器30不断累积作业辅助数据，有时，能够对设备的操作手册、修理维护作业手册中的不适当之处进行自动识别。在上述这样的情况下，服务器30提出对操作手册、修理维护作业手册进行修正、优化。

＜第三实施方式＞

(8)第三实施方式的远程作业辅助系统

第三实施方式的远程作业辅助系统1的结构如图2所述的那样与第一实施方式的远程作业辅助系统1的结构相同。远程作业辅助系统1包括多个设备。多个设备包括可穿戴设备10、移动终端20以及辅助人员终端40。多个设备也可还包括其他设备。其他设备是可穿戴设备10、移动终端20以外的供作业人员利用的设备，可以是对声音或图像的输入或输出进行辅助的设备。作为具体的其他设备的例子，可以是摄像头、智能手机、智能手表、智能眼镜、耳麦、可穿戴设备等。也可以是与变形例1D相同的网络摄像头、与变形例1F相同的通信设备。

在本实施方式中，服务器30也与多个设备连接，多个设备收集到的信息被收集于服务器，被累积于存储部32。信息例如是通过可穿戴设备10拍摄到的图像、通过可穿戴设备10或辅助人员终端40收集到的声音。

在本实施方式中，服务器30根据规定的条件来指定多个设备中的至少一个以上的设备，并且根据指定来呼出构成连接对象的设备。对于服务器30的规定条件的判断，可以使用AI技术。

在本实施方式中，服务器30获取现场作业人员的作业现场的环境信息，将其累积于存储部32。此处，环境信息是作业现场的光照度、噪声的程度、气温、湿度、作业是否是高处作业这样的信息。服务器30也可敦促作业人员根据环境信息使用、选择设备，从而呼出被选择的设备。

例如，服务器30根据从可穿戴设备10发送来的声音信息而获取作业人员身处工厂等噪声大的环境这样的信息。在该情况下，服务器30敦促作业人员使用可穿戴设备10以外的包括方向性麦克风的设备。作业人员接通包括方向性麦克风的设备的电源，由此，服务器30呼出包括方向性麦克风的设备。

作为另一例，服务器30根据从可穿戴设备10发送来的图像信息而获取作业人员身处暗处这样的信息。在该情况下，服务器30敦促作业人员使用可穿戴设备10以外的带有灯的摄像头(例如移动终端20或其他数码摄像头等)。作业人员准备带有灯的摄像头，服务器30呼出带有灯的摄像头。

(9)变形例

(9-1)变形例3A

在变形例3A中，服务器30对现场作业人员进行的作业的进展进行管理，并且将作业的进展存储于存储部32。服务器30根据作业的进展来呼出所述多个设备中的至少一个以上的设备。

例如，当作业人员使用智能眼镜进行作业时，服务器30在根据作业进展判断出下一作业是高处作业的情况下，敦促作业人员摘下视野狭窄的智能眼镜。

作为另一例，在根据作业进展判断出作业是需要从两个以上的视点进行确认的作业的情况下，服务器30敦促作业人员使用拍摄整体的摄像头和拍摄手附近的摄像头这两个摄像头。当作业人员能够使用两个摄像头时，则服务器30呼出两个摄像头。

(9-2)变形例3B

在变形例3B中，服务器30对现场作业人员以及辅助人员的发声进行声音识别。服务器30根据通过声音识别获取到的关键词来呼出多个设备中的至少一个以上的设备。

例如，当在作业人员与辅助人员的对话之中出现“爬”、“在梯子上”这样的词时，服务器30敦促作业人员利用耳麦。当作业人员安装耳麦时，服务器30呼出耳麦。

当在作业人员与辅助人员的对话之中出现“听不清”、“声音小”这样的词时，敦促作业人员利用装有方向性麦克风的设备。当作业人员能够利用装有方向性麦克风的设备时，服务器30呼出装有方向性麦克风的设备。

当在作业人员与辅助人员的对话之中出现“看不清”、“放大点”这样的词时，敦促作业人员利用智能手机、智能眼镜。当作业人员能够利用智能手机、智能眼镜时，服务器30呼出智能手机、智能眼镜。

(9-3)变形例3C

与变形例1H相同的是，变形例3C的远程作业辅助系统1用于培训目的。在本实施方式中，在变形例1H的基础上，服务器30还从辅助人员终端40接受现场作业人员利用的多个设备中的至少一个以上的设备的指定。

以上，对本公开的实施方式进行了说明，但应当理解的是，能够在不脱离权利要求书记载的本公开的主旨和范围的情况下进行形态和细节的多种变更。

符号说明

1远程作业辅助系统

10可穿戴设备

11拍摄部

12声音输入部

13声音输出部

20移动终端

21显示部

22通信部

40辅助人员终端

41声音输入部

42声音输出部

43显示部

T1第一线路

T2第二线路

现有技术文献

专利文献

专利文献1：日本特开2018-207420号公报。

Claims (18)

1.一种远程作业辅助系统，其特征在于，包括：

可穿戴设备(10)，所述可穿戴设备将安装于现场作业人员，具有拍摄部(11)、声音输入部(12)以及声音输出部(13)，所述可穿戴设备对图像进行发送，对声音进行发送、接收；

移动终端(20)，所述移动终端与所述可穿戴设备分开而被所述现场作业人员携带，具有显示接收到的图像的显示部(21)；以及

辅助人员终端(40)，所述辅助人员终端被对所述现场作业人员进行远程辅助的辅助人员利用，具有声音输入部(41)、声音输出部(42)以及显示部(43)，与所述可穿戴设备之间进行声音的发送、接收，所述辅助人员终端接收来自所述可穿戴设备的图像，并向所述移动终端发送图像。

2.如权利要求1所述的远程作业辅助系统，其特征在于，

所述可穿戴设备是挂脖式设备。

3.如权利要求1或2所述的远程作业辅助系统，其特征在于，

所述辅助人员终端的所述显示部显示通过所述可穿戴设备的所述拍摄部拍摄到的视频以及静止图。

4.如权利要求1至3中任一项所述的远程作业辅助系统，其特征在于，

通过所述可穿戴设备的所述拍摄部拍摄到的图像在所述辅助人员终端处被选择、加工或附加信息，并且被发送至所述移动终端，显示于所述移动终端的显示部。

5.如权利要求1至4中任一项所述的远程作业辅助系统，其特征在于，

所述现场作业人员以及所述支援人员的发声被声音识别，并且作为文本信息显示于所述辅助人员终端的显示部。

6.如权利要求5所述的远程作业辅助系统，其特征在于，

所述文本信息还显示于所述移动终端的显示部。

7.如权利要求1至6中任一项所述的远程作业辅助系统，其特征在于，具有：

第一线路(T1)，所述第一线路将所述辅助人员终端与所述可穿戴设备连接；以及

第二线路(T2)，所述第二线路将所述辅助人员终端与所述移动终端连接，

所述第一线路在所述现场作业人员进行作业的期间被连续使用，

所述第二线路在所述现场作业人员进行作业的期间根据需要被连接。

8.如权利要求1至7中任一项所述的远程作业辅助系统，其特征在于，

从通过所述拍摄部拍摄到的图像或者/以及所述现场作业人员及所述辅助人员的发声自动提取所述现场作业人员进行作业的作业进展，对作业的进展情况或作业的结束时间进行推定，在所述辅助人员终端的所述显示部显示所述进展情况或所述结束时间。

9.如权利要求1至8中任一项所述的远程作业辅助系统，其特征在于，

所述辅助人员终端访问对现场作业辅助信息进行存储的数据库(50)，对所述现场作业辅助信息进行提取、加工，并发送至所述移动终端。

10.如权利要求1至9中任一项所述的远程作业辅助系统，其特征在于，

通过所述辅助人员终端向所述现场作业人员进行的辅助包括基于声音进行的辅助、基于加工后的图像进行的辅助、基于在所述辅助人员终端输入的文字进行的辅助、基于辅助人员的发声被文本化的文字进行的辅助中的任意一者或基于这些的组合进行的辅助。

11.如权利要求1至10中任一项所述的远程作业辅助系统，其特征在于，

所述远程作业辅助系统包括能够与同一服务器连接的多个设备，

所述多个设备包括所述可穿戴设备、所述移动终端以及所述辅助人员终端，

所述服务器根据规定的条件来指定所述多个设备中的至少一个以上的设备，并且根据所述指定来呼出构成连接对象的设备。

12.如权利要求11所述的远程作业辅助系统，其特征在于，

所述服务器获取所述现场作业人员的作业现场的环境信息，

所述服务器根据所述环境信息来呼出所述多个设备中的至少一个以上的设备。

13.如权利要求11所述的远程作业辅助系统，其特征在于，

所述服务器对所述现场作业人员进行的作业的进展进行管理，

所述服务器根据作业的进展来呼出所述多个设备中的至少一个以上的设备。

14.如权利要求11所述的远程作业辅助系统，其特征在于，

所述服务器对所述现场作业人员以及所述辅助人员的发声进行声音识别，

所述服务器根据通过所述声音识别获取到的关键词来呼出所述多个设备中的至少一个以上的设备。

15.如权利要求11至14中任一项所述的远程作业辅助系统，其特征在于，

所述服务器还从所述辅助人员终端接受所述现场作业人员利用的所述多个设备中的至少一个以上的设备的指定。

16.如权利要求1至15中任一项所述的远程作业辅助系统(1)，其特征在于，

所述多个设备能够在设备间进行彼此通信。

17.一种辅助人员终端(40)，所述辅助人员终端(40)被对现场作业人员进行远程辅助的辅助人员利用，具有声音输入部(41)、声音输出部(42)以及显示部(43)，其特征在于，

所述辅助人员终端与可穿戴设备(10)之间进行声音的发送、接收，并且接收来自所述可穿戴设备的图像，所述可穿戴设备将安装于现场作业人员，具有拍摄部(11)、声音输入部(12)以及声音输出部(13)，

所述辅助人员终端向移动终端(20)发送图像，所述移动终端与所述可穿戴设备分开而被现场作业人员携带，具有对图像接收部(22)接收到的图像进行显示的显示部(21)。

18.一种服务器(30)，所述服务器与包括可穿戴设备(10)、移动终端(20)以及辅助人员终端(40)在内的多个设备连接，

所述可穿戴设备将安装于现场作业人员，具有拍摄部(11)、声音输入部(12)以及声音输出部(13)，所述可穿戴设备对图像进行发送，对声音进行发送、接收，

所述移动终端与所述可穿戴设备分开而被现场作业人员携带，具有对图像接收部(22)接收到的图像进行显示的显示部(21)，

所述辅助人员终端被对现场作业人员进行远程辅助的辅助人员利用，具有声音输入部(41)、声音输出部(42)以及显示部(43)，

其特征在于，

所述服务器根据规定的条件对所述多个设备中的至少一个以上的设备进行指定，根据所述指定来呼出构成通信对象的设备。

Images