CN112424726A - 信息处理装置、信息处理系统、方法以及程序 - Google Patents

Abstract

检修数据接收部(120)从便携式设备接收在针对诊断对象的检修作业中由便携式设备收集到的检修数据。学习部(130)将过去收集到的检修数据输入至神经网络，使神经网络对诊断对象有无损伤的诊断进行学习。诊断部(140)将检修数据接收单元接收到的检修数据输入至神经网络，根据神经网络的输出而对诊断对象有无损伤进行诊断。指示部(150)根据诊断部(140)对诊断对象进行诊断得到的诊断结果，对检修作业的指示的内容进行判别，将与判别出的结果相应的指示发送至便携式设备。

Description

信息处理装置、信息处理系统、方法以及程序

技术领域

本发明涉及信息处理装置、信息处理系统、方法以及程序。

背景技术

就工厂设备而言，为了维持安全以及品质，机器的维护检修不可或缺。因此，例如，在化工厂中，为了对管道、罐体等进行检修，多个作业者一边在工厂内巡视一边进行检修。

作为作业者日常进行的非破坏检修，存在目视检修和锤击检修。例如，作业者对管道进行目视，或者，根据敲击管道时的击打音，判断在管道中是否产生了损伤。目视检修和锤击检修是基于作业者的手工作业进行的检修，因此作业者为了准确地判断有无异常的产生，需要作业者积累经验，具有熟练的技能。因此，经验尚浅的作业者与具有熟练的技能的作业者同行而积累作业的经验。另外，在具有熟练的技能的作业者不在场的情况下，存在经验尚浅的作业者一边阅读手册或者从控制管理室接收电话指示一边进行作业这一实情。

专利文献1记载了如下内容，即，就所记载的信息处理系统而言，在工厂中，将作业者所读取的计量仪器的指示值和对生产装置的工作参数进行了调整的调整量从作业者所携带的可佩戴式计算机发送至主机。主机将收集到的计量仪器的指示值和由作业者做出的工作参数的调整量发送至其他作业者所携带的可佩戴式计算机。

专利文献1：日本特开2001-22505号公报

发明内容

在专利文献1中，在作业者之间，只是共享其他作业者所负责的计量仪器的指示值和工作参数的调整量，最终，作业者自己需要根据自己所负责的仪器的指示值，进行有无异常的产生的判断。但是，对于经验尚浅的作业者，难以进行适当的判断。

本发明就是鉴于上述实情而提出的，其目的在于根据检修数据而对诊断对象进行诊断，对作业者提示关于检修的适当流程。

为了达成上述目的，在本发明涉及的信息处理装置中，检修数据接收单元从便携式设备接收在针对诊断对象的检修作业中由便携式设备收集到的检修数据。学习单元将过去收集到的检修数据输入至神经网络，使神经网络对诊断对象有无损伤的诊断进行学习。诊断单元将检修数据接收单元接收到的检修数据输入至神经网络，根据神经网络的输出而对诊断对象有无损伤进行诊断。指示单元将与诊断单元对诊断对象进行诊断得到的诊断结果相应的指示发送至便携式设备。

发明的效果

本发明涉及的信息处理装置将在针对诊断对象的检修作业中由便携式设备收集到的检修数据输入至神经网络，根据神经网络的输出而对诊断对象有无损伤进行诊断。将与诊断结果相应的指示发送至便携式设备。通过具有这样的结构，从而能够根据检修数据而对诊断对象进行诊断，对作业者提示关于检修的适当流程。

附图说明

图1是表示实施方式涉及的信息处理系统的硬件结构的框图。

图2是表示实施方式涉及的便携式设备的结构的一个例子的图。

图3A是实施方式涉及的信息处理装置的功能框图。

图3B是表示实施方式涉及的处置表的数据的一个例子的图。

图4A是表示实施方式涉及的便携式设备的显示面板所显示的图像的一个例子的图。

图4B是表示实施方式涉及的便携式设备的显示面板所显示的图像的其他例子的图。

图5是表示图像的一个例子的图，该图像示出关于实施方式涉及的锤击检修的指示。

图6是表示图像的其他例子的图，该图像示出关于实施方式涉及的锤击检修的指示。

图7是表示图像的一个例子的图，该图像示出关于实施方式涉及的维护作业的指示。

图8是表示实施方式涉及的信息处理装置的显示器所显示的厂区的地图的图像的一个例子的图。

图9是表示实施方式涉及的检修作业处理的流程图。

图10是表示变形例1涉及的处置表的数据的一个例子的图。

具体实施方式

以下，一边参照附图一边对本发明的实施方式涉及的信息处理系统1详细进行说明。

(实施方式)

如图1所示，本发明的实施方式1涉及的信息处理系统1包含信息处理装置100和多个便携式设备200。信息处理系统1例如是对化工厂、钢厂等的维护检修业务进行管理的系统。信息处理装置100根据便携式设备200收集到的工厂内的设备的检修数据，进行在工厂内的设备中是否产生了损伤的诊断。

信息处理装置100设置于工厂的控制管理室。一边对工厂的厂区进行巡视一边进行检修作业的作业者50各自携带有便携式设备200。便携式设备200如图2所示，是作业者50所佩戴的可佩戴式计算机。具体地说，便携式设备200被一体地安装于作业者50所戴着的安全帽10。如图1所示，信息处理装置100与便携式设备200进行无线通信。例如，信息处理装置100将针对作业者50的指示发送至便携式设备200。便携式设备200将取得的检修数据发送至信息处理装置100。检修数据是表示诊断对象的状态的数据。在实施方式中，检修数据包含由作业者50进行的锤击检修的击打音的声音数据、对诊断对象进行拍摄得到的图像数据、气体浓度的测定值。

作为硬件结构，信息处理装置100具有：存储器101，其存储各种数据；输入装置102，其对用户的输入操作进行检测；输出装置103，其将图像输出至显示装置；无线通信电路104，其与其他装置进行无线通信；以及处理器105，其对信息处理装置100整体进行控制。存储器101、输入装置102、输出装置103、无线通信电路104都经由总线109而与处理器105连接，与处理器105进行通信。

存储器101包含易失性存储器和非易失性存储器，存储器101存储程序和各种数据。另外，存储器101被用作处理器105的工作存储器。另外，存储器101存储用于实现信息处理装置100中的检修作业处理的程序1000。

输入装置102包含键盘、鼠标、触控面板等，对控制管理室内的用户的输入操作进行检测，将表示检测到的用户的输入操作的信号输出至处理器105。

输出装置103包含显示器、触控面板等，显示基于从处理器105供给的信号的图像。输出装置103例如对控制管理室内的用户的操作进行响应，将工厂的厂区的地图显示于显示器。另外，输出装置103将便携式设备200拍摄到的图像数据显示于显示器。

无线通信电路104具有天线104a，无线通信电路104包含用于与其他装置进行无线通信的网络接口电路。无线通信电路104将从处理器105供给的数据变换为电信号，将电信号承载于电波而输出。另外，无线通信电路104接收从其他装置输出的电波，将承载于电波的电信号恢复为数据而输出至处理器105。

处理器105包含CPU(Central Processing Unit)，处理器105执行在存储器101存储的各种程序，实现信息处理装置100的各种功能。处理器105还具有AI(ArtificialIntelligence)用的专用处理器。

如图2所示，便携式设备200是与作业者50所戴着的安全帽10一体地安装的AR(Augmented Reality)的头戴式显示器。如图1所示，作为硬件结构，便携式设备200具有：存储器201，其存储各种数据；输出装置202，其对作业者50提示从信息处理装置100供给的信息；收集装置203，其收集与检修相关的数据；无线通信电路204，其与其他装置进行无线通信；以及处理器205，其对便携式设备200整体进行控制。存储器201、输出装置202、收集装置203、无线通信电路204都经由总线209而与处理器205连接，与处理器205进行通信。

存储器201包含易失性存储器、非易失性存储器，存储器201存储程序和各种数据。存储器201被用作处理器205的工作存储器。另外，存储器201存储用于实现便携式设备200中的检修数据收集处理的程序2000。存储器201被收容于图2所示的主体部20。

输出装置202具有显示面板202a和扬声器202b。显示面板202a按照处理器205的控制，将从信息处理装置100接收到的图像显示于显示面板202a。在显示面板202a显示的图像例如是表示针对作业者50的作业指示的图像。如图2所示，在实施方式中，显示面板202a配置为位于作业者50的一只眼睛之前。显示面板202a具有覆盖作业者50的一只眼睛的程度的大小。

如图1所示，扬声器202b按照处理器205的控制，将从信息处理装置100接收到的声音输出。从扬声器202b输出的声音例如是表示针对作业者50的作业指示的声音。扬声器202b被收容于图2所示的主体部20。

如图1所示，收集装置203具有照相机203a、传声器203b、气体检测传感器203c和GPS(Global Positioning System)接收器203d，按照处理器205的控制，收集检修涉及的各种数据。

如图2所示，照相机203a被以镜头朝向与作业者50的视线相同的方向的方式配置于作业者50的面部的侧面。照相机203a对在作业者50所面对的方向上存在的诊断对象进行拍摄。照相机203a在电源接通的期间持续地进行拍摄，将拍摄到的图像数据输出至处理器205。

如图2所示，传声器203b位于作业者50的面部的侧面，安装于被安全帽10与照相机203a夹着的位置。传声器203b收集作业者50所发出的声音、由锤击检修产生的击打音等。传声器203b如果检测到声音的输入，则将收集到的声音输出至处理器205。

气体检测传感器203c吸引周围的空气，测定空气中的指定的气体的浓度，将测定值输出至处理器205。如图2所示，气体检测传感器203c经由电缆203e而与主体部20连接。气体检测传感器203c经由电缆203e而将测定值输出至处理器205。这是为了使得作业者50能够移动气体检测传感器203c而吸引周围的气体。

图1所示的GPS接收器203d根据从GPS卫星接收到的卫星电波，确定作业者50的当前位置，将表示确定出的位置的位置数据输出至处理器205。GPS接收器203d所输出的位置数据由3维坐标表示。在GPS接收器203d中，以规定的期间为单位，例如，每隔1分钟，将表示作业者50的当前位置的信息输出至处理器205。GPS接收器203d被收容于图2所示的主体部20。

图1所示的无线通信电路204具有天线204a，无线通信电路204与其他装置的无线通信电路进行无线通信。无线通信电路204将从处理器205供给的数据变换为电信号，将电信号承载于电波而输出。另外，无线通信电路204接收从其他装置输出的电波，将承载于电波的电信号恢复为数据而输出至处理器205。无线通信电路204被收容于图2所示的主体部20。

图1所示的处理器205包含CPU，处理器205执行在存储器201存储的各种程序，实现便携式设备200的各种功能。

另外，处理器205执行程序2000，执行检修数据的收集处理。处理器205以规定的期间为单位，将照相机203a所输出的图像数据经由无线通信电路204而发送至信息处理装置100。如果传声器203b输出声音数据，则处理器205将该声音数据经由无线通信电路204而发送至信息处理装置100。如果气体检测传感器203c输出气体浓度的测定值，则处理器205将该测定值经由无线通信电路204而发送至信息处理装置100。除了检修数据以外，处理器205还以规定的期间为单位，将GPS接收器203d输出的表示作业者50的当前位置的信息经由无线通信电路204而发送至信息处理装置100。处理器205被收容于图2所示的主体部20。

如图3A所示，信息处理装置100在功能上具有：存储部110，其存储检修以及诊断涉及的各种数据；检修数据接收部120，其从便携式设备200接收检修数据；学习部130，其进行深度学习；诊断部140，其根据检修数据接收部120所接收到的检修数据和学习部130的学习结果而对诊断对象有无损伤进行诊断；以及指示部150，其对针对作业者50的指示的内容进行判别，将判别出的指示的内容输出至便携式设备200。检修数据接收部120是本发明的检修数据接收单元的一个例子。学习部130是本发明的学习单元的一个例子。诊断部140是本发明的诊断单元的一个例子。指示部150是本发明的指示单元的一个例子。

在实施方式中，信息处理装置100使用已完成学习的神经网络而诊断在诊断对象中是否产生了损伤。信息处理装置100所输出的诊断结果是在诊断对象中未产生损伤这一诊断结果、或者在诊断对象中产生了损伤这一诊断结果中的任一者。

存储部110存储检修以及诊断涉及的各种数据。具体地说，存储部110存储：与检修作业相关的检修手册111；与检修的实施相关的履历数据112；用于检修的各种基准数据113；对神经网络进行定义的学习模型114；学习数据115；以及处置表116，其储存有表示针对诊断对象的处置的内容的数据。存储部110的功能由存储器101实现。处置表116是本发明的处置信息存储单元的一个例子。

检修手册111包含与检修对象的位置、检修方法相关的信息。检修手册111包含工厂的厂区的地图数据和表示工厂的厂区中的诊断对象即管道、罐体等的位置的位置数据。此外，诊断对象的位置数据由3维坐标表示。

并且，检修手册111包含表示在锤击检修时对诊断对象进行敲击的位置的信息。关于表示对诊断对象进行敲击的位置的信息，也由3维坐标表示。例如，在诊断对象是在厂区中延伸的管道的情况下，有时在对1根管道的锤击检修中，必须对多个部位进行敲击。在这样的情况下，检修手册111不仅包含对管道进行敲击的位置，还包含表示对管道进行敲击的顺序的信息。

具体地说，履历数据112包含：检修履历的数据，其包含从便携式设备200接收到的检修数据和实施该检修的日期时间；对诊断对象进行确定的信息；以及诊断结果数据。如前所述，在检修数据中包含对诊断对象进行拍摄得到的图像数据、由作业者进行的锤击检修的击打音的声音数据、气体浓度的测定值。对诊断对象进行确定的信息例如是表示诊断对象的位置的信息。诊断结果数据包含表示诊断部140根据检修数据而诊断出的诊断结果的数据。例如，诊断结果数据示出诊断对象是否产生损伤。

基准数据113包含表示锤击检修的声音的适当大小的基准值。指示部150在从便携式设备200接收到的击打音的大小小于该基准值的情况下，经由便携式设备200而对作业者50作出更强地进行敲击的指示。并且，基准数据113存储气体浓度的阈值，该气体浓度的阈值为判断是否产生了气体泄漏的基准。

学习模型114包含对神经网络的形状、规模进行定义的信息。具体地说，学习模型114包含表示学习模型的数学式、中间层的总数、各层的神经元(节点)的数量、各神经元的加权系数等。在实施方式中，存储部110存储适用于图像识别的学习模型和适用于声音识别的学习模型。这是由于诊断部140将对诊断对象进行拍摄得到的图像数据、击打音的声音数据输入至已完成学习的神经网络，根据神经网络的输出而进行诊断。存储部110所存储的学习模型的各神经元的加权系数通过学习部130的学习而更新。

学习数据115包含在后述学习部130的学习中，针对各个过去收集到的检修数据而分类为检修对象存在损伤或者检修对象不存在损伤得到的数据。

例如，假设诊断对象是管道。在这种情况下，学习数据115包含将产生了损伤的管道的图像数据、对产生了损伤的管道进行敲击时的击打音的声音数据与表示关于各个诊断对象的有无损伤的值组合后的数据。并且，学习数据115包含将未产生损伤的管道的图像数据、对未产生损伤时的管道进行敲击时的击打音的声音数据与表示关于各个诊断对象的有无损伤的值组合后的数据。学习数据115所包含的图像数据、声音数据可以是在过去的检修时由便携式设备200收集到的数据，也可以是由其他机器，例如，单独的照相机、传声器等收集到的数据。此外，学习数据115根据与诊断对象的材质、诊断对象的大小、内部流动的气体等诊断对象相关的前提而被分组。就学习数据115所包含的检修数据是关于存在损伤的检修对象的数据，还是关于不存在损伤的检修对象的数据的分类而言，例如是根据熟练的作业者基于在过去的检修中收集到的图像、声音数据而判断出的诊断结果得出的。

处置表116是针对每个诊断对象，定义了在诊断为诊断对象中产生了损伤等的情况下作业者50应采取的应对方法的表。在图3B所示的例子中，定义了在诊断为产生了气体泄漏的情况下，作为应对方法而将阀关闭。定义了在诊断为管道产生了损伤的情况下，进行报告。这是因为，在这种情况下需要管道的更换，在向控制管理室进行报告之后，进行管道的修补作业、更换作业等。

检修数据接收部120从便携式设备200接收诊断对象涉及的检修数据的输入。检修数据接收部120的功能由无线通信电路104和处理器105实现。检修数据接收部120将从便携式设备200接收到的检修数据与接收时的日期时间以及便携式设备200的位置数据相关联地输出至诊断部140。并且，检修数据接收部120将接收到的检修数据与接收时的日期时间以及对发送源的便携式设备200进行识别的信息相关联地储存至存储部110。

学习部130将学习数据115输入至由学习模型114定义的结构的神经网络，例如，通过反向传播法以使得神经网络的输出接近预先求出的真实值的方式调整神经网络的中间层的神经元的加权系数，决定诊断部140的诊断所使用的学习模型。在实施方式中，对不存在损伤和存在损伤进行判别，因而学习部130配置2个输出层的神经元。作为学习数据，准备多组将过去的检修数据与表示检修对象有无损伤的神经元的编号组合后的数据。学习部130将各学习数据的检修数据供给至神经网络，使用反向传播法对中间层与输出层的各神经元的加权系数进行调整，以使得对应编号所示的输出层的神经元触发。通过学习，用调整后的加权系数更新学习模型114的加权系数的值。这样，使神经网络对输入与输出之间的关系进行学习。学习部130的功能由处理器105实现。

示出被赋予神经网络的学习数据115的例子。例如，学习数据115包含：(a)损伤的管道的图像数据与表示存在损伤的值之间的组合；(b)未损伤的管道的图像数据与表示不存在损伤的值之间的组合；(c)损伤的管道的击打音的声音数据与表示存在损伤的值之间的组合；以及(d)未损伤的管道的击打音的声音数据与表示不存在损伤的值之间的组合。

采用了适于图像识别的学习模型的神经网络将(a)的图像数据设为输入，将表示产生了损伤这一情况的值设为输出，对中间层的神经元的加权系数进行调整，并且，将(b)的图像数据设为输入，将表示未产生损伤这一情况的值设为输出，对中间层的神经元的加权系数进行调整。

另外，采用了适于声音识别的学习模型的神经网络将(c)的声音数据设为输入，将表示产生了损伤这一情况的值设为输出，对中间层的神经元的加权系数进行调整，并且，将(d)的声音数据设为输入，将表示未产生损伤这一情况的值设为输出，对中间层的神经元的加权系数进行调整。此外，上述的学习是一个例子，学习数据115也可以仅包含(a)～(d)中的一部分的数据。在这种情况下也能够进行深度学习。

因此，如果对已完成学习的神经网络输入新的检修数据，则神经网络输出表示关于诊断对象有无损伤的值。即，已完成学习的神经网络能够对诊断对象有无损伤进行判断。这样，已完成学习的神经网络能够根据便携式设备200所收集的图像数据、声音数据，对管道是否存在损伤进行诊断。学习部130的学习需要在从便携式设备200供给检修数据之前预先进行。

诊断部140向实现已由学习部130完成学习的学习模型的神经网络输入从便携式设备200接收到的检修数据，根据神经网络的输出而对诊断对象有无损伤进行诊断。诊断部140的功能由处理器105实现。诊断部140将例如便携式设备200所拍摄的位于工厂的管道的拍摄图像输入至采用了已完成学习的学习模型的神经网络，根据神经网络的输出值而对诊断对象是否有损伤进行诊断。诊断部140将诊断的结果输出至指示部150。

另外，诊断部140将便携式设备200所收集到的击打音的声音输入至采用了已完成学习的学习模型的神经网络，根据神经网络的输出值而对诊断对象是否有损伤进行诊断。诊断部140将诊断的结果输出至指示部150。

另外，诊断部140在便携式设备200所测定出的气体浓度的测定值超过基准数据113所定义的阈值的情况下，判别为产生了气体泄漏。诊断部140将诊断的结果输出至指示部150。

指示部150对检修作业的指示的内容进行判别，将与判别出的结果相应的检修作业的指示发送至便携式设备200。这里，在指示部150所判别的检修作业的指示中，存在(i)不依赖于诊断部140的诊断结果的作业指示和(ii)基于诊断部140的诊断结果的作业指示。

作为(i)的例子，例如，指示部150指示作业者50向检修对象的位置移动。在这种情况下，指示部150取得便携式设备200的GPS接收器203d所求出的表示作业者50的位置的位置数据，并且从检修手册111取得检修对象的位置数据。指示部150将表示工厂的厂区的地图上的作业者50的当前的位置数据以及诊断对象的位置数据和向诊断对象的位置移动的指示发送至便携式设备200。

因此，便携式设备200的处理器205将如图4A所示的工厂的厂区的地图的图像和表示诊断对象的位置30的图像显示于显示面板202a。在图示的例子中，将作业者50的当前位置由涂黑的人形的图像表示，将诊断对象的位置30由涂黑的星形的图像表示。并且，从作业者50至诊断对象的位置30为止的路径由箭头表示。并且，指示部150也可以将表示以声音方式输出指示的信号发送至便携式设备200。在这种情况下，便携式设备200的处理器205从扬声器202b输出指示移动至指定的位置30的声音。

并且，指示部150也可以对便携式设备200进行控制，以在作业者50移动过程中，如图4B所示那样将表示路线的箭头的图像显示于显示面板202a。在这种情况下，便携式设备200的处理器205将箭头的图像显示于显示面板202a。因此，在显示面板202a上，重叠地显示现实的厂区的通路和箭头的图像。

如果指示部150根据从便携式设备200接收的位置数据和检修手册111所包含的工厂的厂区的地图数据而判别为作业者50已到达诊断对象的位置30，则指示部150将检修作业的指示发送至便携式设备200。具体地说，指示部150为了向作业者50示出对诊断对象进行敲击的部位，将检修手册111所包含的在锤击检修中进行敲击的位置的信息和对该部位进行敲击的指示发送至便携式设备200。

因此，便携式设备200的处理器205如图5所示，将表示作业者50应敲击的位置的图像和“敲击”这一指示显示于显示面板202a。在图示的例子中，诊断对象是管道1001、1002中的管道1002，由斜线表示的部位示出敲击的位置。因此，在显示面板202a上，重叠地显示现实的管道1001、1002、“敲击”这一指示和表示应敲击的位置的图像。并且，指示部150也可以将表示以声音方式输出指示的信号发送至便携式设备200。在这种情况下，便携式设备200的处理器205从扬声器202b输出指示对诊断对象进行敲击的声音。

指示部150如果从便携式设备200接收到击打音的声音数据，则对该声音的大小是否为足够的大小进行判别，在击打音的大小不是足够的大小的情况下，将更强地进行敲击的指示发送至便携式设备200。因此，便携式设备200的处理器205如图6所示，将更强地进行敲击的指示显示于显示面板202a。在图示的例子中，显示为表示指示内容的“稍微更强地进行敲击”。并且，指示部150也可以将表示以声音方式输出指示的信号发送至便携式设备200。在这种情况下，便携式设备200的处理器205从扬声器202b输出指示更强地进行敲击的声音。

指示部150还将对气体浓度进行检测的指示发送至便携式设备200。因此，便携式设备200的处理器205将使用气体检测传感器203c而对气体浓度进行检测的指示显示于显示面板202a。并且，指示部150也可以将表示以声音方式输出指示的信号发送至便携式设备200。在这种情况下，便携式设备200的处理器205从扬声器202b输出指示使用气体检测传感器203c而对气体浓度进行检测的声音。

另外，指示部150在诊断部140的诊断结果示出产生了损伤的情况下，以如下方式作出(ii)基于诊断部140的诊断结果的作业指示。例如，在诊断部140判别为产生了气体泄漏的情况下，指示部150基于诊断结果和处置表116，将作业者50应进行的指示发送至便携式设备200。由于诊断结果为产生了气体泄漏，因而如图3B所示，将阀顺时针地旋转这一操作是应进行的处置。指示部150将表示作为对象的阀的位置的信息和表示对阀进行旋转的方向的信息发送至便携式设备200。

因此，便携式设备200的处理器205如图7所示，针对作为对象的阀，将“旋转而关闭”这一指示和表示对阀进行旋转的方向的箭头的图像显示于显示面板202a。因此，在显示面板202a上，重叠地显示现实的阀、对阀进行旋转的指示即“旋转而关闭”这一指示和表示旋转方向的箭头的图像。并且，指示部150也可以将表示以声音方式输出指示的信号发送至便携式设备200。在这种情况下，便携式设备200的处理器205从扬声器202b输出表示将阀关闭的指示的声音。

并且，指示部150以使控制管理室的监视员能够确认厂区中的作业者50的位置的方式，将如图4A、图8所示的画面显示于输出装置103的显示器。在图4A中，在工厂的厂区的地图上，显示有关于携带了便携式设备200的作业者全员的位置。在图8中，显示有由虚线表示的移动中的作业者50和表示移动路径的箭头。因此，监视员能够确认接收到移动的指示的作业者50的动向。指示部150的功能由无线通信电路104和处理器105实现。

一边参照图9，一边对具有上述结构的信息处理装置100与便携式设备200协同地对作业者50作出指示的检修作业处理进行说明。

如图4A所示，假设作业者50在戴着安装有便携式设备200的安全帽10的状态下处于工厂的厂区内。作业者50携带有锤击检修用的锤子。这里，信息处理装置100对作业者50指示诊断对象的检修。此外，学习部130完成了神经网络的学习，在存储部110储存有已完成学习的学习模型。

另外，如前所述，便携式设备200的照相机203a、传声器203b和气体检测传感器203c分别在规定的定时(timing)取得检修数据。便携式设备200的处理器205将检修数据发送至信息处理装置100。并且，GPS接收器203d也在规定的定时取得位置数据。处理器205将位置数据发送至信息处理装置100。

指示部150将对作业者50的向诊断对象的位置30移动的指示发送至便携式设备200(步骤S11)。具体地说，指示部150将信号发送至便携式设备200，该信号包含工厂的地图数据、表示作业者50的当前位置的坐标值以及表示诊断对象的位置30的坐标值、移动指示。响应于此，便携式设备200将如图4A所示的工厂的厂区的地图的图像和向该位置的移动指示显示于显示面板202a。并且，便携式设备200的处理器205从扬声器202b输出指示向位置30进行移动的声音。作业者50根据指示，向指定的位置30移动。

指示部150根据从便携式设备200接收的位置数据和检修手册111所包含的工厂的厂区的地图数据，对作业者50是否已到达指定的位置30进行判别(步骤S12)。如果判别为作业者50已达到指定的位置30(步骤S12；Yes)，则指示部150对是否从便携式设备200接收到对诊断对象进行拍摄得到的图像数据进行判别(步骤S13)。此外，如前所述，便携式设备200的照相机203a持续地进行拍摄，便携式设备200以规定的期间为单位将图像数据发送至信息处理装置100。指示部150如果判别为已接收到图像数据(步骤S13；Yes)，则为了诊断处理，将接收到的图像数据储存于存储部110。另一方面，指示部150如果判别为未从便携式设备200接收到图像数据(步骤S13；No)，则直至接收到图像数据为止进行等待。

指示部150将对作业者50的锤击检修的指示发送至便携式设备200(步骤S14)。作为锤击检修的指示，将包含表示检修手册111所含的对检修对象进行敲击的部位的信息的信号发送至便携式设备200。便携式设备200基于从指示部150接收到的信号，如图5所示将表示应敲击的位置的图像显示于显示面板202a。并且，便携式设备200从扬声器202b输出指示对诊断对象进行敲击的声音。作业者50按照指示而实施了锤击检修。因此，便携式设备200将声音数据发送至信息处理装置100。

指示部150对是否已从便携式设备200接收到击打音的声音数据进行判别(步骤S15)。这里，指示部150对接收到的击打音的大小是否大于或等于基准数据113所包含的表示锤击检修的声音的适当大小的基准值进行判别。

在从便携式设备200接收到的击打音的大小小于基准值的情况下，指示部150判别为未接收到适当大小的击打音的声音数据(步骤S15；No)。在这种情况下，指示部150再次作出关于锤击检修的指示(步骤S14)。具体地说，指示部150将更强地敲击诊断对象的指示发送至便携式设备200。响应于此，便携式设备200如图6所示，将指示更强地进行敲击的信息显示于显示面板202a。并且，便携式设备200从扬声器202b输出指示更强地进行敲击的声音。作业者50按照指示更强地敲击了诊断对象。

指示部150如果判别为已从便携式设备200接收到足够大小的击打音的声音数据(步骤S15；Yes)，则将声音数据储存于存储部110。接着，指示部150将对气体浓度进行测定的指示发送至便携式设备200(步骤S16)。响应于此，便携式设备200将指示气体浓度的测定的信息显示于显示面板202a。并且，便携式设备200从扬声器202b输出指示对气体浓度进行测定的声音。作业者50按照指示，使用气体检测传感器203c而对气体浓度进行了测定。因此，便携式设备200将测量值的数据发送至信息处理装置100。

指示部150对是否已从便携式设备200接收到气体浓度的测量值的数据进行判别(步骤S17)。指示部150如果判别为例如在等待了规定的时间之后，从便携式设备200接收到气体浓度的测量值的数据(步骤S17；Yes)，则将测定值的数据储存于存储部110。另一方面，指示部150如果判别为例如在等待了规定的时间之后，仍未从便携式设备200接收到气体浓度的测量值的数据(步骤S17；No)，则再次执行步骤S16的处理。

接着，诊断部140根据检修数据接收部120所接收到的检修数据，对诊断对象有无损伤进行诊断(步骤S18)。

具体地说，诊断部140按照以下方式进行诊断处理。诊断部140将检修数据接收部120所接收到的图像数据输入至采用了已由学习部130完成学习的图像解析用学习模型的神经网络，对诊断对象是否损伤进行诊断。接着，诊断部140将检修数据接收部120所接收到的声音数据输入至采用了已由学习部130完成学习的声音解析用学习模型的神经网络，对诊断对象是否损伤进行诊断。并且，诊断部140基于检修数据接收部120所接收到的气体浓度的测定值是否超过基准数据113的阈值，对是否产生了气体泄漏进行判别。在判别为产生了气体泄漏的情况下，诊断部140诊断为诊断对象存在损伤。并且，诊断部140将诊断结果记录于存储部110的履历数据112。

指示部150对作业者50提示诊断结果和作业指示(步骤S19)。这里，指示部150在基于图像数据的诊断结果、基于声音数据的诊断结果、基于气体浓度的测定值的诊断结果中的至少1个诊断结果示出诊断对象存在损伤的情况下，将诊断对象存在损伤这一情况对作业者50进行提示。指示部150将表示基于处置表116的应对方法的信息与诊断结果一起发送至便携式设备200。

例如，设为诊断对象是管道，基于气体浓度的测定值的诊断结果示出诊断对象存在损伤这一情况。在这种情况下，指示部150将关闭作为诊断对象的管道的阀的指示发送至便携式设备200。因此，便携式设备200将从信息处理装置100接收到的诊断结果以及应对方法显示于显示面板202a。

此外，当在步骤S17中，诊断部140诊断为诊断对象未产生损伤的情况下，指示部150也可以在步骤S18中不对作业者50提示作业指示。

然后，指示部150再次执行步骤S11，将向下一个诊断对象的位置的移动指示发送至便携式设备200。以上是信息处理装置100所进行的检修作业处理。

如以上所说明的那样，在实施方式所涉及的信息处理系统1中，对作业者50提示关于检修的适当流程，根据检修数据对诊断对象进行诊断，对作业者50指示应进行的作业。因此，即使是经验尚浅的作业者50，也能够以适当流程进行检修。并且，信息处理装置100根据检修数据进行诊断，基于诊断结果而对作业者50提示应对方法，因此，即使是经验尚浅的作业者50，也能够进行适当处置。

另外，通过按照信息处理装置100的指示，积累锤击检修的经验，从而即使是经验尚浅的作业者，也能够学会敲击位置、敲击强度等。并且，控制管理室的监视员不需要像以往那样，通过电话对经验尚浅的作业者50说明作业的方法。

(变形例1)

在实施方式中，诊断部140对诊断对象的损伤的有/无进行了诊断，但不限于此。例如，也可以预先定义表示损伤的程度的等级，诊断部140除了对诊断对象有无损伤进行诊断以外，还可以在存在损伤的情况下，对损伤的等级和/或损伤的原因等其他事项进行诊断。

在这种情况下，学习部130与判别的事项的数量相匹配地配置神经网络的输出层的神经元的数量。例如，在对不存在损伤、存在损伤等级1、存在损伤等级2、…、存在损伤等级n进行判别的情况下，配置(n+1)个输出层的神经元。例如，在对不存在损伤、存在损伤原因1、存在损伤原因2、…、存在损伤原因m进行判别的情况下，配置(m+1)个输出层的神经元。作为学习数据，准备多组将检修数据与表示检修对象有无损伤和损伤的程度和/或原因的输出层的神经元的编号组合后的数据。学习部130将各学习数据的检修数据供给至神经网络，使用反向传播法等而对中间层和输出层的各神经元的加权系数进行调整，以使得对应编号所示的输出层的神经元触发。即，学习部130使神经网络对学习数据进行学习。诊断部140向已完成学习的神经网络输入从便携式设备200接收到的检修数据，根据神经网络的输出而对诊断对象的损伤的程度和或/原因进行诊断。此外，即使在存在损伤的情况下，在损伤的程度、原因较轻的情况下，有时虽然需要持续的监视，但不需要紧急地进行维护作业。

指示部150例如也可以根据损伤的程度，基于如图10所示的处置表116a，对便携式设备200作出作业的指示。此外，在图10所示的例子中，示出了等级的值越大，则产生越大的损伤这一情况。

(变形例2)

在实施方式中，对信息处理装置100具有预先储存有处置的内容的数据的处置表116的例子进行了说明，但不限于此。也可以是学习部130对与诊断结果相应的处置的内容进行学习，诊断部140对诊断对象有无损伤进行诊断，并且对处置的内容进行判别。诊断部140的诊断对象有无损伤的诊断方法如前所述。

例如，对处置1、处置2、…、处置p进行判别。在这种情况下，作为学习数据，准备多组将诊断结果的数据与表示处置内容的输出层的神经元的编号组合后的数据。学习部130将各学习数据的诊断结果的数据供给至神经网络，通过反向传播法等而对各神经元的加权系数进行调整。作为学习数据，例如，能够使用与在过去的检修作业中由熟练的作业者判断出的诊断结果和处置的内容相关的数据。诊断部140在对诊断对象有无损伤进行诊断之后，将诊断结果输入至已完成学习的神经网络，根据神经网络的输出而对处置的内容进行判别。

在实施方式中，信息处理装置100对作业者50作出了锤击检修、将阀关闭等指示，但对作业者50的指示不限于此。例如，信息处理装置100对作业者50提示计量仪器的位置，对作业者50作出以使其移动至计量仪器的位置的指示。信息处理装置100也可以使移动后的作业者50使用照相机203a拍摄计量仪器所示的值，对作业者50指示与计量仪器的值相应的适当作业。

在实施方式中，信息处理装置100对便携式设备200发送移动指示，作业者50在移动目的地进行了锤击检修、诊断对象的拍摄，但不限于此。例如，也可以设为作业者50正在巡视厂区，信息处理装置100在根据从便携式设备200接收到的位置数据而判别为作业者50位于诊断对象的附近时，对便携式设备200发送锤击检修、诊断对象的拍摄的指示。

另外，在根据履历数据112所记录的检修的履历而知晓针对诊断对象的检修是在过去一定期间内实施的情况下，信息处理装置100也可以不对作业者50指示该诊断对象的检修。

信息处理装置100也可以在作业者50到达了诊断对象的位置时，将履历数据112所记录的检修的履历和过去的诊断结果发送至便携式设备200。因此，便携式设备200将从信息处理装置100接收到的检修的履历和过去的诊断结果显示于显示面板202a。

在上述实施方式中，对便携式设备200具有照相机203a、传声器203b、气体检测传感器203c、GPS接收器203d的例子进行了说明，但便携式设备200也可以不具有这些的全部。例如，也可以是一部分作业者携带不具有照相机203a的便携式设备200，仅进行锤击检修。也可以是其余的作业者携带不具有传声器203b的便携式设备200，仅进行诊断对象的拍摄。另外，便携式设备200也可以具有其他传感器，例如，温度传感器、湿度传感器、压力传感器。

在实施方式中，对通过由信息处理装置100的处理器105进行运算而实现神经网络的例子进行了说明，但神经网络也可以不通过软件实现。例如，也可以使用由LSI芯片构成神经元的神经芯片，通过硬件而实现神经网络。或者，也能够采用使用了由SQUID(Superconducting Quantum Interference Device：超导量子干涉设备)实现的模拟电路的神经网络、使用了光的光神经网络等。

作为对上述程序进行记录的记录介质，能够使用包含磁盘、光盘、光磁盘、闪存、半导体存储器、磁带在内的计算机可读取记录介质。

本发明能够在不脱离广义的精神和范围的情况下，实现各种实施方式以及变形。另外，上述实施方式用于对本发明进行说明，并不限定本发明的范围。即，本发明的范围不是由实施方式而是由权利要求书示出。并且，在权利要求书的范围内及与其等同的发明的意义的范围内实施的各种变形被视为处在本发明的范围内。

标号的说明

1信息处理系统，10安全帽，20主体部，30位置，50作业者，100信息处理装置，101、201存储器，102输入装置，103、202输出装置，104、204无线通信电路，104a、204a天线，105、205处理器，109、209总线，110存储部，111检修手册，112履历数据，113基准数据，114学习模型，115学习数据，116处置表，120检修数据接收部，130学习部，140诊断部，150指示部，200便携式设备，202输出装置，202a显示面板，202b扬声器，203收集装置，203a照相机，203b传声器，203c气体检测传感器，203d GPS接收器，203e电缆，1000、2000程序，1001、1002管道。

Claims (10)

1.一种信息处理装置，其具有：

检修数据接收单元，其从便携式设备接收在针对诊断对象的检修作业中由所述便携式设备收集到的检修数据；

学习单元，其将过去收集到的检修数据输入至神经网络，使该神经网络对所述诊断对象有无损伤的诊断进行学习；

诊断单元，其将所述检修数据接收单元接收到的所述检修数据输入至所述神经网络，根据所述神经网络的输出而对所述诊断对象有无损伤进行诊断；以及

指示单元，其将与所述诊断单元对所述诊断对象进行诊断得到的诊断结果相应的指示发送至所述便携式设备。

2.根据权利要求1所述的信息处理装置，其中，

所述检修数据包含所述便携式设备对所述诊断对象进行拍摄得到的图像数据和通过由作业者进行的锤击检修所产生的击打音的声音数据，

所述诊断单元根据所述检修数据接收单元接收到的所述图像数据和所述击打音的声音数据，对所述诊断对象有无损伤进行诊断。

3.根据权利要求2所述的信息处理装置，其中，

所述指示单元将表示作业者对所述诊断对象进行敲击的位置的信息供给至所述便携式设备，使所述便携式设备的显示装置显示对所述诊断对象进行敲击的位置。

4.根据权利要求2或3所述的信息处理装置，其中，

所述指示单元根据从所述便携式设备取得的所述击打音的声音数据，对作业者敲击所述诊断对象的强度是否适当进行判别，在判别为作业者敲击所述诊断对象的强度不适当的情况下，将改变敲击强度的指示供给至所述便携式设备，经由所述便携式设备而将指示通知给作业者。

5.根据权利要求1至4中任一项所述的信息处理装置，其中，

还具有：处置信息存储单元，其储存表示与诊断结果相关联的针对诊断对象的处置的内容的信息，

所述指示单元将进行与和由所述诊断单元得到的所述诊断对象的诊断结果一致的所述处置信息存储单元的诊断结果相关联的处置的指示发送至所述便携式设备。

6.根据权利要求1至5中任一项所述的信息处理装置，其中，

所述指示单元将表示至所述诊断对象为止的路径的信息供给至所述便携式设备，使所述便携式设备的显示装置对至所述诊断对象为止的所述路径进行显示。

7.根据权利要求6所述的信息处理装置，其中，

所述指示单元在根据从所述便携式设备接收到的表示作业者的当前位置的信息而判别为作业者已到达所述诊断对象的附近的情况下，将表示检修作业的指示发送至所述便携式设备。

8.一种信息处理系统，其具有便携式设备和能够与所述便携式设备彼此进行通信的信息处理装置，其中，

所述便携式设备具有将在针对诊断对象的检修作业中收集到的检修数据发送至所述信息处理装置的单元，

所述信息处理装置具有：

检修数据接收单元，其从所述便携式设备接收所述检修数据；

诊断单元，其将所述检修数据输入至神经网络，根据所述神经网络的输出而对诊断对象有无损伤进行诊断；以及

指示单元，其将与所述诊断单元的诊断结果相应的指示发送至所述便携式设备。

9.一种方法，其由能够与便携式设备彼此进行通信的计算机执行，该方法包含以下步骤：

从所述便携式设备接收在针对诊断对象的检修作业中由所述便携式设备收集到的检修数据；

将所述检修数据输入至神经网络，根据所述神经网络的输出而对诊断对象有无损伤进行诊断；以及

将与在进行所述诊断的步骤中诊断出的关于所述诊断对象的诊断结果相应的指示发送至所述便携式设备。

10.一种程序，其使计算机进行如下操作：

从便携式设备接收在针对诊断对象的检修作业中由所述便携式设备收集到的检修数据，

将所述检修数据输入至神经网络，根据所述神经网络的输出而对诊断对象有无损伤进行诊断，

将与诊断结果相应的指示发送至所述便携式设备。

Images