CN113016017B - 知识信息提取系统及知识信息提取方法 - Google Patents

Abstract

为了能够提取熟练者的知识信息，以使该知识信息成为能够适当管理及编辑的状态，知识信息提取系统(1)具备：作业影像获取装置(11)，其获取作业实施者实施的作业的影像；作业语音获取装置(12)，其获取作业实施者及观察者中的至少一方关于作业发出的语音；作业行为记录数据库(31)，其将作业的影像及语音分别记录为作业影像数据及作业语音数据；知识信息提取编辑装置(40)，其基于作业影像数据及作业语音数据提取并编辑熟练者对作业熟知的信息作为知识信息，其中，所述作业实施者及观察者中的至少一方是对作业熟知的熟练者；以及知识信息数据库(32)，其记录所提取的知识信息。

Description

知识信息提取系统及知识信息提取方法

技术领域

本发明涉及一种知识信息提取系统及知识信息提取方法。需要说明的是，在本说明书中，在对各种装置的维护、检查等各种作业中，将对该作业熟练的作业者(熟练者)所掌握的有用的技能(Skill)、知识等信息称为知识信息。

背景技术

以往，对各种装置进行维护、检查等各种作业。在进行这样的作业的作业者中，对该作业熟练的熟练者根据长年进行该作业的经验，掌握了用于不引起错误、事故而熟练且短时间内进行作业的各种技能、知识等。

拥有大量作业者的企业需要将这样的熟练者的技能、知识等信息作为知识信息进行积累，并训练其他作业者继承知识信息，从而能够作为企业始终实施适当且高效的作业。

另一方面，近来，由劳动生产人口的减少、老龄化导致的熟练作业者的大量退休、作业者的全球化、短期间就业者的增加等成为社会的问题。由于这些社会性问题，熟练者所掌握的技能、知识等不能被其他作业者继承而消失，存在引起错误、事故的增加、作业的不均匀化等的担忧。

考虑到这样的近来的状况，要求开发一种新技术，该新技术能够高效且可靠地积累熟练者所掌握的技能、知识等各种信息作为知识信息。

专利文献1中公开了一种作业者培养装置，该装置对记录有作业者的作业内容的操作履历、作业者能够感知的感知信息等各种大数据进行积累，并且在生成用于培养作业者的培养信息时，对大数据进行解析，生成作业者在作业实施时判断作业内容时的判断逻辑，根据生成的判断逻辑，生成并输出与作业者的技能水平相应的按技能分类的解决方案。

现有技术文献

专利文献

专利文献1：日本特开2018-132556号公报

发明内容

发明要解决的问题

然而，根据专利文献1的公开技术，虽然通过对积累的大数据进行解析，能够按照支援对象的作业者的技能分类生成指示基于哪样的感知信息进行了作业的解决方案，但是存在如下问题：为了生成解决方案，每次都需要对大数据进行解析。即，在专利文献1的公开技术中，未考虑提取熟练者的知识信息，进行适当管理以作为企业的资产使下一代继承。

本发明是为了解决如述的问题而做出的，目的在于提供一种知识信息提取系统及知识信息提取方法，能够提取熟练者的知识信息，以使该知识信息成为能够适当管理及编辑的状态。

用于解决问题的方案

本发明的知识信息提取系统(1)为了实现上述目的，(1)其具备：

作业影像获取装置(11)，其获取作业实施者实施的作业的影像；

作业语音获取装置(12)，其获取所述作业实施者及观察所述作业的观察者中的至少一方关于所述作业所发出的语音；

作业行为记录数据库(31)，其将由所述作业影像获取装置获取的所述作业的影像及由所述作业语音获取装置获取的所述语音分别记录为作业影像数据及作业语音数据；

知识信息提取编辑装置(40)，其基于记录在所述作业行为记录数据库中的所述作业图像数据及所述作业语音数据，提取并编辑熟练者对所述作业熟知的信息作为知识信息，其中，所述作业实施者及所述观察者中的至少一方是对所述作业熟知的所述熟练者；以及

知识信息数据库(32)，其记录由所述知识信息提取编辑装置提取的所述知识信息。

通过该配置，能够提取熟练者的知识信息，以使该知识信息成为能够适当管理及编辑的状态。其结果，通过以能够作为企业的资产继承到下一代的方式高效地管理及利用知识信息，能够抑制因知识信息的消失而导致的生产性的降低、作业水平的不均匀化，并且能够防止作业中的错误、事故等的发生。

在本发明的知识信息提取系统中，(2)所述知识信息提取编辑装置可以具备：提取编辑处理部(41)，其允许从所述作业影像数据及所述作业语音数据中提取或编辑所述知识信息的用户操作；显示部(42)，其显示在所述提取编辑处理部中所使用的图形用户界面；以及操作输入部(43)，其允许所述图形用户界面中的用户操作。

通过该配置，能够提供用于从记录有作业的影像及语音中提取或编辑知识信息的图形用户界面，用户能够容易地进行知识信息的提取作业、以及追加、变更等编辑作业。

在本发明的知识信息提取系统中，(3)所述知识信息提取编辑装置可以配置为，基于包含有与所述作业相关的内容的语音，将所述作业影像数据及所述作业语音数据分割成要素作业。

通过该配置，即使是长时间的作业，也能够通过分割成适当的所需时间的要素作业，按照要素作业对知识信息进行管理。

在本发明的知识信息提取系统中，(4)所述知识信息提取编辑装置可以配置为，具备将所述作业语音数据转换成文本数据的语音识别处理部(44)，并从由所述语音识别处理部得到的所述文本数据中提取与所述作业相关的知识信息。

通过该配置，能够容易地从记录有作业的语音中提取知识信息。

在本发明的知识信息提取系统中，(5)所述知识信息提取编辑装置可以配置为，提取与同一作业相关的多个熟练者所提供的知识信息，并生成将所述多个熟练者的知识信息融合而成的融合知识信息。

通过该配置，能够将依赖于各个熟练者的个人技能、知识等进行融合，并作为融合知识信息进行管理。

在本发明的知识信息提取系统中，(6)在根据规定的作业中产生的条件而存在多个分支作业的情况下，所述作业影像获取装置及所述作业语音获取装置获取各分支作业的影像及语音，以由所述作业行为记录数据库记录为所述各分支作业的分支作业影像数据及分支作业语音数据，

所述知识信息提取编辑装置可以配置为，从所述各分支作业的所述分支作业影像数据及分支作业语音数据中提取所述熟练者对所述各分支作业熟知的信息作为知识信息，并将所述各分支作业的知识信息追加到与所述规定的作业相关的知识信息中。

通过该配置，即使在作业根据规定的作业中产生的条件而分支的情况下，也能够提取与各分支作业的作业内容相关的知识信息，并将与规定的作业相关的知识信息追加到该知识信息中并进行管理。

在本发明的知识信息提取系统中，(7)所述知识信息提取编辑装置可以配置为，提取所述作业的作业项目、作业内容、作业顺序、作业时间作为所述知识信息。

通过该配置，能够提取作业的作业项目、作业内容、作业顺序、作业时间作为知识信息并进行管理。

在本发明的知识信息提取系统中，(8)所述知识信息提取编辑装置可以配置为，提取在所述作业中应注意的要点作为所述知识信息。

通过该配置，能够进一步提取在作业中应注意的要点作为知识信息并进行管理。

在本发明的知识信息提取系统中，(9)所述作业影像获取装置可以配置为，从所述作业实施者的视角拍摄作为所述作业实施者的熟练者所实施的作业的影像，所述作业语音获取装置可以配置为，对所述作业中的所述熟练者的语音进行拾音。

通过该配置，例如，通过熟练者在佩戴有带麦克风的摄像机的状态下进行作业，能够记录熟练者实际单独实施的作业的影像及语音。

在本发明的知识信息提取系统中，(10)所述作业影像获取装置可以配置为，从观察所述作业实施者的观察者的视角对作为所述作业实施者的熟练者所实施的作业的影像进行拍摄，所述作业语音获取装置可以配置为，对所述熟练者和所述观察者的对话语音进行拾音。

通过该配置，例如，熟练者正在实施的作业的状态能够被其身旁的观察者记录为影像，并且能够将观察者针对作业内容向熟练者适当询问的对话记录为语音，无需使熟练者佩戴带麦克风的摄像机等就能够记录作业的影像及语音。

在本发明的知识信息提取系统中，(11)所述作业影像获取装置可以配置为，从所述作业实施者的视角拍摄所述作业实施者实施的作业的影像，所述作业语音获取装置可以配置为，对所述作业实施者和指导所述作业的熟练者的对话语音进行拾音。

通过该配置，例如，作业实施者能够在佩戴有摄像机的状态下进行作业并记录作业的影像，并且熟练者能够按照OJT(On the Job Training)的要领指导由作业实施者进行的作业，并记录作业实施者和熟练者的对话语音。

在本发明的知识信息提取系统中，(12)所述熟练者可以通过网络确认由所述作业影像获取装置获取的所述作业的影像，并通过所述网络与所述作业实施者进行对话。

通过该配置，即使在作业实施者与熟练者位于相隔较远的场所的情况下，熟练者也能够对由作业实施者进行的作业进行远程指导，并记录远程指导中作业实施者与熟练者的对话语音。

在本发明的知识信息提取系统中，(13)所述作业语音获取装置可以配置为，对所述熟练者针对来自第三者的与作业相关的询问进行回答的语音进行拾音。

通过该配置，能够记录包含第三者向熟练者进行询问而问出的熟练者所熟知的信息的熟练者的语音。

在本发明的知识信息提取系统中，(14)所述作业语音获取装置可以配置为，对所述熟练者在所述作业前或所述作业后关于所述作业内容所发出的语音进行拾音。

通过该配置，能够通过在作业前或作业后例如对熟练者关于作业进行采访，来记录熟练者在采访中关于作业内容所发出的语音。

在本发明的知识信息提取系统中，(15)所述知识信息提取系统可以配置为，具备感知信息检测装置(13)，感知信息检测装置(13)检测所述作业实施者在作业时所感知的感知信息，

所述作业行为记录数据库除了所述作业影像数据及所述作业语音数据以外，还记录由所述感知信息检测装置检测的感知信息作为感知数据，

所述知识信息提取编辑装置可以配置为，除了所述作业影像数据及所述作业语音数据以外，还基于所述感知数据，提取所述熟练者熟知的信息作为所述知识信息。

通过该配置，能够检测作业实施者通过五官所感知的感知信息并记录为感知数据，并且能够提取基于该感知数据的知识信息。

在本发明的知识信息提取系统中，(16)所述知识信息提取系统可以具备作业手册生成装置(50)，作业手册生成装置(50)基于所述知识信息数据库中所记录的所述知识信息生成与所述作业相关的作业手册。

通过该配置，能够基于积累的知识信息，容易地生成将作业的流程、注意要点等汇总而成的作业手册。

在本发明的知识信息提取系统中，(17)所述知识信息提取系统可以具备作业引导内容生成装置(60)，作业引导内容生成装置(60)基于所述知识信息数据库中所记录的所述知识信息，生成用于支援由作业者实施的所述作业的作业引导内容。

通过该配置，能够基于积累的知识信息，容易地生成用于支援由作业者实施的作业的作业引导内容。

在本发明的知识信息提取系统中，(18)所述作业引导内容生成装置可以配置为，生成与支援所述作业的支援对象的所述作业者的技能相应的所述作业引导内容。

通过该配置，能够基于积累的知识信息，容易地生成与作业者的技能相应的适当的作业引导内容。

在本发明的知识信息提取系统中，(19)所述知识信息提取编辑装置可以配置为，更新所述知识信息，以消除使用所述作业引导内容实际支援所述作业时所产生的不清楚点。

通过该配置，能够通过对实际进行作业支援时所发现的不清楚点进行反馈来改善知识信息。

本发明的知识信息提取方法为了实现上述目的，(20)可以具包括：

作业影像获取步骤，其获取作业实施者实施的作业的影像；

作业语音获取步骤，其获取所述作业实施者及观察所述作业的观察者中的至少一方关于所述作业所发出的语音；

作业行为信息记录步骤，其将在所述作业影像获取步骤中所获取的所述作业的影像及在所述作业语音获取步骤中所获取的所述语音，分别作为作业影像数据及作业语音数据记录在作业行为记录数据库(31)中；

知识信息提取编辑步骤，其基于在所述作业行为信息记录步骤中所记录的所述作业影像数据及所述作业语音数据，提取熟练者对所述作业熟知的信息作为知识信息，其中，所述作业实施者及所述观察者中的至少一方是对所述作业熟知的所述熟练者；以及

知识信息记录步骤，其将在所述知识信息提取编辑步骤中所提取的所述知识信息记录在知识信息数据库(32)中。

通过该动作，能够提取熟练者的知识信息，以使该知识信息成为能够适当管理及编辑的状态。其结果，通过高效地管理及利用知识信息以使其能够作为企业的资产继承到下一代，能够抑制因知识信息的消失而导致的生产性的降低、作业水平的不均匀化，并且能够防止作业中错误、事故等的发生。

发明效果

根据本发明，能够提取熟练者的知识信息，以使该知识信息成为能够适当管理及编辑的状态，并且通过高效地管理及利用知识信息以使其能够作为企业的资产继承到下一代，能够抑制因知识信息的消失而导致的生产性的降低、作业水平的不均匀化，并且能够防止作业中错误、事故等的发生。

附图说明

图1是示出本发明的实施方式的知识信息提取系统的结构的一例的结构图。

图2是示出本实施方式中的作业者终端的结构的一例的结构图。

图3是示出本实施方式的数据库管理服务器的结构的一例的结构图。

图4是示出本实施方式的知识信息提取编辑装置的结构的一例的结构图。

图5是示出本实施方式的作业手册生成装置的结构的一例的结构图。

图6是示出本实施方式的作业引导内容生成装置的结构的一例的结构图。

图7是示出本实施方式的处理的概要的流程图。

图8是作为本实施方式的作业记录方法的一例示出从熟练者视角获取影像的方法的图。

图9示出本实施方式中关于熟练者视角的拍摄方法中的影像及语音的获取的具体事例。

图10是作为本实施方式的作业记录方法的一例，示出从观察者视角获取影像的方法的图。

图11是作为本实施方式的作业记录方法的一例，示出从OJT中的作业者视角获取影像的方法的图。

图12是作为本实施方式的作业记录方法的一例，示出用于实现从远程OJT中的作业者视角获取影像的方法的结构的结构图。

图13是示出在本实施方式中实施通过听取形式从熟练者问出与作业相关的信息的方法的具体事例的图。

图14是示出本实施方式的作业行为记录数据库的数据结构的一例的图。

图15是示出本实施方式的知识信息的提取及编辑的处理的流程图。

图16是示出本实施方式的知识信息数据库的数据结构的一例的图。

图17是示出本实施方式的知识信息的提取作业及编辑作业中所使用的GUI的一例的图。

图18是示出在本实施方式中显示多个熟练者的作业的GUI的一例的图

图19是示出在本实施方式中用于使用户能够定义作业的顺序的GUI的一例的图。

具体实施方式

以下，参照附图对本发明的实施方式的知识信息提取系统及知识信息提取方法进行说明。

本实施方式的知识信息提取系统是对各种装置的维护、检查等各种作业中的技能、知识等信息进行提取并进行记录及管理的系统。在这样的作业中，有时存在对该作业熟练的被称作熟练者的作业者。熟练者具有长年进行该作业的经验，掌握有用于以良好的手法在短时间内进行作业而不会引起错误、事故的各种技能、知识等。本实施方式的知识信息提取系统配置为，提取熟练者所掌握的有用的技能、知识等信息作为知识信息并适当地管理知识信息。需要说明的是，知识信息的提取对象即作业不限定于维护、检查作业，可以是在作业现场进行的任意作业。

图1是示出本发明的实施方式的知识信息提取系统1的结构的一例的结构图。如图1所示，知识信息提取系统1具备作业者终端10和数据库管理服务器30，其通过有线或无线相互连接。作业者终端10及数据库管理服务器30的连接方式没有特别限定，可以通过例如因特网、LAN(局域网)等任意的网络连接，也可以通过电缆等直接连接。

在作业者终端10上通过有线或近距离无线连接有作业影像获取装置(例如摄像机)11、作业语音获取装置(例如麦克风)12、各种传感器(感知信息检测装置)13。在数据库管理服务器30上连接有作业行为记录数据库(作业行为记录DB)31、知识信息数据库(知识信息DB)32。

进一步地，在数据库管理服务器30上连接有知识信息提取编辑装置40、作业手册生成装置50、作业引导内容生成装置60等各种装置。图1中特别图示出在知识信息提取编辑装置40上连接有显示装置41、语音输出装置42、及操作输入装置43的结构。

(作业者终端)

首先，对作业者终端10进行说明。作业者终端10是配置于作业现场的具有拍摄功能及录音功能的终端，例如为智能手机、平板终端、HMD(头戴式显示器)、PC(个人计算机)、摄录机等。在作业者终端10上连接有摄像机等具有拍摄功能的作业影像获取装置11、麦克风等具有拾音功能的作业语音获取装置12、各种传感器13。

作业影像获取装置11例如为摄像机，具有对在作业现场实际实施的作业的状态进行拍摄的功能、即具有获取作业时的影像的功能。需要说明的是，也可以设置多个作业影像获取装置11以对作业者的作业的状态进行拍摄

作业语音获取装置12例如为麦克风，具有对作业现场中的各种语音、特别是作业者发出的语音、作业者与其周边的人物进行对话的对话语音进行拾音的功能、即具有获取作业时的语音的功能。需要说明的是，作业语音获取装置12不仅可以对位于作业现场的人物的语音、对话语音进行拾音，而且也可以对例如由作业对象的装置、部件、工具产生的各种语音进行拾音。另外，也可以设置多个作业语音获取装置12对作业者及其他人物的语音、作业现场中的各种语音进行拾音。

各种传感器13是检测作业现场中的各种状态的一个或多个传感器。各种传感器13具有检测在作业现场中实施作业的作业者通过五官在感觉上感知的各种感知信息的功能。

各种传感器13例如包括检测作业现场中的气味的气味传感器、检测作业者的动作、指尖的感觉、指尖的压力等的身体传感器、检测作业者所感觉到的振动的振动传感器、检测作业现场的温度、作业对象的装置、部件等的温度的温度传感器、检测作业现场的湿度的湿度传感器、味觉传感器等。

各种传感器13是可以任意选择地安装的构成要素，不一定必须在作业者终端10连接各种传感器13。由各种传感器13检测到的感知信息用于在基于作业中所记录的影像及语音而提取的熟练者的知识信息中附加作业者在感觉上所感知的信息，由此，能够积累更详细的知识信息。

图2是示出本实施方式中的作业者终端10的结构的一例的结构图。图2所示，作业者终端10具备影像获取部11a、语音获取部12a、传感器连接部13a、控制部14、存储各种处理程序的存储器15、存储装置16、通信部17、用户界面连接部(UI连接部)18、电源供给部19，它们通过总线20相互连接。

影像获取部11a配置为，与作业影像获取装置11连接，以能够从作业影像获取装置11获取由作业影像获取装置11拍摄的作业时的影像。

语音获取部12a配置为，与作业语音获取装置12连接，以能够从作业语音获取装置12获取由作业语音获取装置12拾音的作业时的语音。

传感器连接部13a配置为，与各种传感器13连接，以能够从各种传感器13获取由各种传感器13检测的感知信息。

控制部14是对作业者终端10中的各种动作进行处理及控制的硬件，例如是执行存储于存储器15中的各种处理程序中所记述的各种命令，以实现并控制作业者终端10中的各种功能的处理器。控制部14可以是例如进行通用数据处理的CPU(中央处理器)、进行专门用于特定目的的数据处理的DSP(数字信号处理器)或GPU(图形处理单元)等，也可以是设计自由度高的FPGA(现场可编程门阵列)等。

存储器15是存储由控制部14执行的各种处理程序的存储介质。存储器15中例如存储有影像记录程序15a、语音记录程序15b、感知信息记录程序15c、信息收发程序15d，但不限定于这些处理程序，也可以存储有其他应用程序、系统程序等各种处理程序。通过由控制部14执行存储于存储器15中的各种处理程序，能够在作业者终端10中实现各种处理程序中记述的处理功能。

在由控制部14执行影像记录程序15a的情况下，在作业者终端10中实现了如下处理功能：驱动、控制影像获取部11a从作业影像获取装置11获取作业时的影像，并作为图像数据记录(录像)在存储装置16中。该影像是以在知识信息提取时能够进行确认作业中作业者进行了什么样的行为、作业对象的装置、部件接受了什么样的操作等的方式记录的。优选作业时的影像为动态图像，但也可以是静止图像。将从作业影像获取装置11获取的作业时的影像与时间信息(时刻、从开始时的经过时间等)相关联地存储于存储装置16。

在由控制部14执行语音记录程序15b的情况下，在作业者终端10中实现了如下处理功能：驱动、控制语音获取部12a从作业语音获取装置12获取作业时的语音，并作为语音数据记录(录音)在存储装置16中。该语音是以在知识信息提取时能够确认包含与作业相关的内容的熟练者的讲话、从作业对象的装置、部件产生的各种语音等的方式记录的。将从作业语音获取装置12获取的作业时的语音与时间信息(时刻、从开始时的经过时间等)相关地存储于存储装置16中。

需要说明的是，影像数据及语音数据的压缩形式、编码形式没有特别限定。另外，可以将影像数据及语音数据存储于一个多媒体文件中，也可以分别存储于不同的文件中。

在由控制部14执行感知信息记录程序15c的情况下，在作业者终端10中实现了如下处理功能：通过传感器连接部13a从各种传感器13获取作业时的感知信息，并作为感知数据记录于存储装置16中。将从各种传感器13获取的作业时的感知信息与时间信息(时刻、从开始时的经过时间等)相关联地存储于存储装置16中。

在由控制部14执行信息收发程序15d的情况下，在作业者终端10中实现了如下处理功能：驱动、控制通信部17与连接于网络5的其他通信装置收发信息。在本实施方式中，通过信息收发程序15d的执行，使得存储于存储装置16中的影像数据、语音数据、感知数据发送至数据库管理服务器30。

存储装置16是能够存储各种数据的辅助存储装置，例如为HDD(硬盘驱动器)等磁盘、SSD(固态硬盘)等半导体存储器、光磁盘、光盘。存储装置16可以是内置于作业者终端10的记录介质，也可以是能够从作业者终端10移除的可移动记录介质。在本实施方式中，将影像数据、语音数据、感知数据存储于存储装置16，但不限定于这些数据，也可以将其他各种数据存储于存储装置16。需要说明的是，在本说明书中，有时将影像数据、语音数据、感知数据、照片数据等记录作业的状态的数据统称为作业行为记录数据。

通信部17配置为，与连接至网络5的其他通信装置、特别是数据库管理服务器30进行通信。在通信部17中进行的通信所采用的通信标准、通信方式没有特别限定。

用户界面连接部18表示能够连接用户界面的配置，该用户界面允许来自用户的信息输入及向用户的信息输出。虽省略了图示，但用户界面连接部18上例如连接有显示信息的显示器等显示装置、输出语音的耳机、扬声器等语音输出装置、允许用户输入的鼠标、键盘、操作开关等操作输入装置为代表的各种用户界面装置。用户使用与用户界面连接部18连接的各种用户界面装置，能够在确认作业者终端10中处理的各种信息的同时，输入期望的指示以对作业者终端10进行操作。

电源供给部19供给用于驱动作业者终端10所需的电力。

需要说明的是，在本实施方式中，配置为，将作业时记录的作业行为记录数据存储于存储装置16后，通过网络5向数据库管理服务器30发送，但不限定与该配置。例如，也可以将作业时的影像、语音、感知信息不以文件的形式存储于存储装置16，而向数据库管理服务器30实时地进行流式传送，并在数据库管理服务器30中加工成文件形式的影像数据、语音数据、感知数据。

另外，将存储有作业行为记录数据的存储装置16从作业者终端10移除而搬运至数据库管理服务器30，由此，能够将作业行为记录数据从作业者终端10移动至数据库管理服务器30而无需进行通过网络5的数据传送。

(数据库管理服务器)

接下来，对数据库管理服务器30进行说明。数据库管理服务器30是用于进行数据库的创建、运用、管理的服务器。本实施方式的数据库管理服务器30与知识信息提取编辑装置40协作而具有进行作业行为记录数据库(作业行为记录DB)31、知识信息数据库(知识信息DB)32的创建、运用、管理的功能。

图3是示出本实施方式的数据库管理服务器30的结构的一例的结构图。如图3所示，数据库管理服务器30具备控制部301、通信部302、存储装置303、数据库连接部(DB连接部)304、存储各种处理程序的存储器305、用户界面连接部(UI连接部)306、外部装置连接部307、认证部308、以及电源供给部309，它们通过总线310相互连接。

控制部301是对数据库管理服务器30中的各种动作进行处理及控制的硬件，例如是执行存储于存储器305中的各种处理程序中所记述的各种命令，以实现并控制数据库管理服务器30中的各种功能的处理器。控制部301可以是例如进行通用数据处理的CPU(中央处理器)、进行专门用于特定目的的数据处理的DSP(数字信号处理器)或GPU(图形处理单元)等，也可以是设计自由度高的FPGA(现场可编程门阵列)等。

通信部302配置为，与连接至网络5的其他通信装置、特别是作业者终端10进行通信。在通信部302进行的通信中所采用的通信标准、通信方式没有特别限定。

存储装置303是能够存储各种数据的辅助存储装置，例如是HDD(硬盘驱动器)等磁盘、SSD(固态硬盘)等半导体存储器、光磁盘、光盘。存储装置16可以是内置于数据库管理服务器30的记录介质，也可以是能够从数据库管理服务器30移除的可移动记录介质。在本实施方式中，存储装置303用于存储从作业者终端10接收的影像数据、语音数据、感知数据，但也可以将其他各种数据存储于存储装置303。

数据库连接部304表示允许访问数据库的数据库接口。数据库连接部304与存储有作业行为记录数据库31、知识信息数据库32的信息存储装置连接，从而具有进行向数据库的数据写入/读取的功能。需要说明的是，在图1及图3中图示出了存储有作业行为记录数据库31、知识信息数据库32的信息存储装置配置于数据库管理服务器30的外部的结构，但不限定于该结构。例如，也可以将作业行为记录数据库31、知识信息数据库32存储于数据库管理服务器30的存储装置303。

存储器305是存储由控制部301执行的各种处理程序的存储介质。存储器305中例如存储有数据库处理程序(DB处理程序)305a、信息收发程序305b，但不限于这些处理程序，也可以存储其他应用程序、系统程序等各种处理程序。通过由控制部301执行在存储器305中存储的各种处理程序，能够在数据库管理服务器30中实现各种处理程序中所记述的处理功能。

在通过控制部301执行数据库处理程序305a的情况下，在数据库管理服务器30中，实现了进行各种数据库处理的处理功能。在本实施方式中，通过执行数据库处理程序305a，从而例如对作业行为记录数据库31进行从作业者终端10接收的作业行为记录数据的登记处理。另外，例如针对知识信息数据库32，进行由知识信息提取编辑装置40提取的知识信息的登记处理。

在通过控制部301执行信息收发程序305b的情况下，在数据库管理服务器30中实现了如下处理功能:驱动、控制通信部302与连接至网络5的其他通信装置进行信息的收发。在本实施方式中，通过执行信息收发程序305b，从作业者终端10接收作业行为记录数据并存储于存储装置303。

用户界面连接部306表示能够连接用户界面的配置，该用户界面允许来自用户的信息输入及向用户的信息输出。虽省略图示，但界面连接部306上例如连接有显示信息的显示器等显示装置、输出语音的耳机、扬声器等语音输出装置、允许用户输入的鼠标、键盘、操作开关等操作输入装置为代表的各种用户界面装置。用户使用连接至用户界面连接部306的各种用户界面装置，能够确认在数据库管理服务器30中处理的各种信息的同时，输入期望的指示以对数据库管理服务器30进行操作。

外部装置连接部307配置为，能够与知识信息提取编辑装置40、作业手册生成装置50、作业引导内容生成装置60等各种外部装置连接。需要说明的是，这些外部装置与网络5连接，外部装置连接部307可以配置为通过网络5与这些外部装置进行通信。

认证部308具有采用公知的认证方法确认用户的利用资格的功能。只有利用资格在认证部308中认证了的用户才能够利用数据库管理服务器30。在本实施方式中，也可以将记述有认证部308的处理的认证处理程序预先存储于存储器305中，通过由控制部301执行认证处理程序来实现认证部308。

电源供给部309用于供给驱动数据库管理服务器30所需的电力。

需要说明的是，在本实施方式中，数据库管理服务器30对数据库进行一元化管理，知识信息提取编辑装置40、作业手册生成装置50、作业引导内容生成装置60配置为通过数据库管理服务器30进行对数据库的访问。然而，也可以在知识信息提取编辑装置40、作业手册生成装置50、作业引导内容生成装置60中的每一个装置中设置的存储装置中存储数据库，并进行数据库的同步、复制。

(知识信息提取编辑装置)

接下来，对知识信息提取编辑装置40进行说明。知识信息提取编辑装置40是用于进行知识信息的提取及编辑的装置。本实施方式的知识信息提取编辑装置40与数据库管理服务器30协作而具有如下功能：从存储在作业行为记录数据库31中的作业行为记录数据中提取知识信息、编辑知识信息。

图4是示出本实施方式的知识信息提取编辑装置的结构的一例的结构图。如图4所示，知识信息提取编辑装置40具备控制部401、外部装置连接部402、存储装置403、用户界面连接部(UI连接部)404、存储各种处理程序的存储器405、以及电源供给部406。它们通过总线410相互连接。

控制部401是对知识信息提取编辑装置40中的各种动作进行处理及控制的硬件，例如是执行存储于存储器405中的各种处理程序中所记述的各种命令，以实现并控制知识信息提取编辑装置40中的各种功能的处理器。控制部401可以为例如进行通用数据处理的CPU(中央处理器)、进行专门用于特定目的的数据处理的DSP(数字信号处理器)或GPU(图形处理单元)等，也可以为设计自由度高的FPGA(现场可编程门阵列)等。

外部装置连接部402配置为能够与数据库管理服务器30等各种外部装置连接。需要说明的是，这些外部装置与网络5连接，外部装置连接部402可以配置为通过网络5与这些外部装置进行通信。

存储装置403是能够存储各种数据的辅助存储装置，例如是HDD(硬盘驱动器)等磁盘、SSD(固态硬盘)等半导体存储器、光磁盘、光盘。存储装置403可以是内置于知识信息提取编辑装置40的记录介质，也可以是能够从知识信息提取编辑装置40移除的可移动记录介质。在存储装置403中存储有各种数据。另外，可以将存储于作业行为记录数据库31、知识信息数据库32中的数据的一部分或全部存储于存储装置403。

用户界面连接部404表示能够连接用户界面的配置，该用户界面允许来自用户的信息输入及对用户的信息输出。用户界面连接部404上例如连接有显示信息的显示器等显示装置41、输出语音的耳机、扬声器等语音输出装置42、允许用户输入的鼠标、键盘、操作开关等操作输入装置43为代表的各种用户界面装置。

在知识信息提取编辑装置40中，由用户进行知识信息的提取作业、编辑作业。知识信息提取编辑装置40能够在显示装置41上显示作业时的影像，并且显示用于用户进行知识信息的提取作业、编辑作业的GUI(图形用户界面)。另外，知识信息提取编辑装置40能够通过语音输出装置42播放输出作业时的语音，并能够通过操作输入装置43接受来自用户的指示输入。

存储器405是存储由控制部401执行的各种处理程序的存储介质。存储器405中例如存储有影像数据处理程序405a、语音数据处理程序405b、知识信息提取程序405c、知识信息编辑程序405d、数据库访问程序405e，但不限于这些处理程序，也可以存储有其他应用程序、系统程序等各种处理程序。通过由控制部401执行存储于存储器405中的各种处理程序，能够在知识信息提取编辑装置40中实现在各种处理程序中所记述的处理功能。

在由控制部401执行影像数据处理程序405a的情况下，实现了如下处理功能：进行存储于作业行为记录数据库31中的影像数据的播放、图像捕捉。

在由控制部401执行语音数据处理程序405b的情况下，实现了如下处理功能：进行存储于作业行为记录数据库31中的语音数据的播放、语音识别(从语音数据向文本数据的转换)。

在由控制部401执行知识信息提取程序405c的情况下，实现了如下处理功能：读取存储于作业行为记录数据库31中的作业行为记录数据，从作业行为记录数据中提取熟练者的知识信息，并将提取的知识信息存储于知识信息数据库32中。

在由控制部401执行知识信息编辑程序405d的情况下，实现了如下处理功能：对从存储于作业行为记录数据库31中的作业行为记录数据中提取的熟练者的知识信息、存储于知识信息数据库32中的知识信息进行编辑，并将编辑完成后的知识信息存储于知识信息数据库32中。

需要说明的是，在本实施方式中，知识信息提取程序405c及知识信息编辑程序405d向用户提供用于进行知识信息的提取作业及编辑作业的GUI。如后面所述，用户通过在该GUI上进行操作输入，能够容易地进行知识信息的提取、编辑。

在由控制部401执行数据库访问程序405e的情况下，在知识信息提取编辑装置40中实现了如下处理功能：驱动、控制外部装置连接部402与数据库管理服务器30连接，并访问作业行为记录数据库31、知识信息数据库32。此时，可以发送与数据库管理服务器30的利用资格有关的信息，在数据库管理服务器30的认证部308中接受用户的利用资格的认证。

电源供给部406供给用于驱动知识信息提取编辑装置40所需的电力。

(作业手册生成装置)

接下来，对作业手册生成装置50进行说明。作业手册生成装置50是用于生成与作业相关的作业手册的装置。

作业手册生成装置50与数据库管理服务器30协作而具有如下功能：基于知识信息数据库32中所记录的知识信息，生成反映了该知识信息的作业手册。

图5是示出本实施方式的作业手册生成装置50的结构的一例的结构图。如图5所示，作业手册生成装置50具备控制部501、外部装置连接部502、存储装置503、用户界面连接部(UI连接部)504、存储各种处理程序的存储器505、以及电源供给部506，它们通过总线510相互连接。

需要说明的是，图5所示的作业手册生成装置50除了由于存储于存储器505中的处理程序不同，而使得通过处理程序的执行而实现的功能不同这一点以外，具有与上述的知识信息提取编辑装置40同样的结构。但是，在图5中，省略了能够与用户界面连接部(UI连接部)504连接的装置的图示。

具体而言，图5所示的作业手册生成装置50的控制部501、外部装置连接部502、存储装置503、用户界面连接部504、电源供给部506与图4所示的知识信息提取编辑装置40的控制部401、外部装置连接部402、存储装置403、用户界面连接部404、电源供给部406相同，因此在此省略说明。

需要说明的是，在本实施方式中，针对作业手册生成装置50为与知识信息提取编辑装置40及作业引导内容生成装置60分开的装置的情况进行了说明，但也可以用与知识信息提取编辑装置40和/或作业引导内容生成装置60同一装置(一个装置)来实现。进一步地，可以在知识信息提取编辑装置40中执行的提取编辑工具中导入作业手册生成功能，并能够通过图17中所图示的GUI上的操作生成作业手册。

存储器505是存储由控制部501执行的各种处理程序的存储介质。存储器505中例如存储有作业手册生成程序505a、数据库访问程序505b，但不限于这些处理程序，也可以存储有其他应用程序、系统程序等各种处理程序。通过由控制部501执行存储于存储器505中的各种处理程序，能够在作业手册生成装置50中实现各种处理程序中所记述的处理功能。

在由控制部501执行作业手册生成程序505a的情况下，实现如下处理功能：基于存储于知识信息数据库32中的知识信息生成作业手册。

在由控制部501执行数据库访问程序505b的情况下，在作业手册生成装置50中，实现如下处理功能：驱动、控制外部装置连接部502与数据库管理服务器30连接，并访问作业行为记录数据库31、知识信息数据库32。此时，可以发送与数据库管理服务器30的利用资格有关的信息，并在数据库管理服务器30的认证部308中接受用户的利用资格的认证。

(作业引导内容生成装置)

接下来，对作业引导内容生成装置60进行说明。作业引导内容生成装置60是用于生成作业引导内容的装置，所述作业引导内容用于支援由作业者实施的作业。作业引导内容生成装置60与数据库管理服务器30协作而具有如下功能：基于知识信息数据库32中所记录的知识信息，生成反映了该知识信息的作业引导内容。作业引导内容是例如经加工的信息，以能够在通过对作业者提供作业所需的信息而进行作业支援的作业支援装置中利用。

图6是示出本实施方式的作业引导内容生成装置60的结构的一例的结构图。如图6所示，作业引导内容生成装置60具备控制部601、外部装置连接部602、存储装置603、用户界面连接部(UI连接部)604、存储各种处理程序的存储器605、以及电源供给部606，它们通过总线610相互连接。

需要说明的是，图6所示的作业引导内容生成装置60除了由于存储器605中存储的处理程序不同而使得通过执行处理程序而实现的功能不同这一点以外，具有与上述的知识信息提取编辑装置40同样的结构。然而，在图6中，省略了能够与用户界面连接部(UI连接部)604连接的装置的图示。

具体而言，图6所示的作业引导内容生成装置60的控制部601、外部装置连接部602、存储装置603、用户界面连接部604、电源供给部606与图4所示的知识信息提取编辑装置40的控制部401、外部装置连接部402、存储装置403、用户界面连接部404、电源供给部406相同，因此在此省略说明。

另外，在本实施方式中，对作业引导内容生成装置60为与知识信息提取编辑装置40及作业手册生成装置50分开的装置的情况进行了说明，但也可以用与知识信息提取编辑装置40和/或作业手册生成装置50同一装置(一个装置)实现。进一步地，可以在知识信息提取编辑装置40中执行的提取编辑工具中导入作业引导内容生成功能，并能够通过图17中图示的GUI上的操作生成作业引导内容。

存储器605是存储由控制部601执行的各种处理程序的存储介质。存储器605中存储有例如作业引导内容生成程序605a、技能信息获取程序605b、数据库访问程序605c，但不限定于这些处理程序，也可以存储有其他应用程序、系统程序等、各种处理程序。通过由控制部601执行存储于存储器605中的各种处理程序，能够在作业引导内容生成装置60中实现各种处理程序中所记述的处理功能。

在由控制部601执行作业引导内容生成程序605a的情况下，实现如下处理功能：基于知识信息数据库32中存储的知识信息生成作业引导内容。另外，根据来自技能信息获取程序605b的指示，实现如下处理功能：指示生成与技能信息相应的作业引导内容。

在由控制部601执行技能信息获取程序605b的情况下，实现如下处理功能：获取成为基于作业引导内容的作业支援的对象的作业者的技能信息并对作业引导内容生成程序605a指示生成与技能信息相应的作业引导内容。需要说明的是，作业者的技能信息可以从管理作业者信息的作业者管理数据库(未图示)获取，也可以根据作业者的工作年数、职务、年龄等信息推定。另外，用户也可以适当输入技能信息。

在由控制部601执行数据库访问程序605c的情况下，在作业引导内容生成装置60中实现如下处理功能：驱动、控制外部装置连接部602与数据库管理服务器30连接，并对作业行为记录数据库31、知识信息数据库32进行访问。此时，可以发送与数据库管理服务器30的利用资格有关的信息，并在数据库管理服务器30的认证部308中接受用户的利用资格的认证。

(本实施方式的处理的概要)

接下来，对本实施方式的处理的概要进行说明。

图7是示出本实施方式的处理的概要的流程图。如图7所示，本实施方式的处理可以大致分为四个阶段。

在第一阶段中，记录实际实施的作业的状态作为作业行为记录数据(步骤S1)。例如作业的状态通过影像、语音记录。另外，熟练者作为该作业的作业实施者或作业指导者进行参与。在第二阶段中，将作业行为记录数据登记于作业行为记录数据库31(步骤S2)。在第三阶段中，从登记在作业行为记录数据库31中的作业行为记录数据中提取并编辑知识信息，并将知识信息登记于知识信息数据库32(步骤S3)。在第四阶段中，利用登记于知识信息数据库32中的知识信息，生成作业手册、作业引导内容(步骤S4)。

需要说明的是，图7所示的处理的概要是一例，不一定必须按照图7所示的流程来自己执行处理。例如，在图7中，示出了在将记录了作业的状态的作业行为记录数据暂时登记于作业行为记录数据库31之后，实施知识信息的提取及编辑的处理的流程，但也可以在进行作业行为记录数据的记录的同时实时进行知识信息的提取(即，在图7的步骤S1的处理过程中同时实施步骤S3的处理)。在该情况下，关于实际实施的作业，通过当场对熟练者指出或询问，能够高效地从熟练者问出与作业相关的信息，并且能够实时汇总成知识信息。另外，如后面所述，在熟练者使用“这”、“那”、“这样地”等指示代词进行说明的情况下，也能够当场立即问出该指示代词具体指什么，从而准确地提取熟练者的知识信息。

(作业记录方法)

接下来，对本实施方式的作业记录方法进行说明。

在本实施方式中，通过作业影像获取装置11将作业中的熟练者的技能、知识记录为图像。此时，只要能获取拍摄了反映熟练者的技能、知识的作业的影像即可。作为一例，可以拍摄熟练者自身实施的作业的状态，或者可以在接受来自熟练者的指导的同时，拍摄非熟练者实施的作业的状态。另外，对于难以知晓作业的结束的作业、重要的作业(例如与错误、事故相关联的作业)，可以使用影像捕捉功能、静态摄影机(例如作业实施者自身所拥有的智能手机上搭载的摄像机)等，记录该作业完成时的状态、进行重要的作业的状态作为照片，并将该照片数据也作为知识信息进行记录。

同样地，在本实施方式中，通过作业语音获取装置12，语音将作业中的熟练者的技能、知识记录为语音。此时，只要能获取包含熟练者的技能、知识的语音即可，例如，只要能够对包含基于熟练者的技能、知识的发言的熟练者的语音进行拾音即可。作为一例，可以对熟练者自身在实施作业的同时发出的语音进行拾音。在该情况下，即使在熟练者自身实施作业的情况下，也可以例如使熟练者以像对非熟练者按照OJT的要领进行作业指导的方式讲话，并对其发出的语音进行拾音。或者也可以对在熟练者指导由非熟练者实施的作业时的熟练者的语音进行拾音。另外，也可以在作业前/作业后对熟练者进行采访，对熟练者关于作业所提及的评论进行拾音。

记录作业中的熟练者的技能、知识的方法没有特别限定，例如可以采用以下列举的几个方法。

(熟练者视角的拍摄方法)

图8是作为本实施方式的作业记录方法的一例，示出从熟练者视角获取影像的方法的图。在本说明书中，有时将图9的作业记录方法记载为熟练者视角的拍摄方法。在图8中，作为一例，示出了作业实施者进行配电盘的配线的拆卸及安装作业的状态。

实际实施作业的作业实施者是该作业中的熟练者，熟练者佩戴有例如耳挂式的带麦克风的摄像机111，并单独进行作业。带麦克风的摄像机111与图1所示的作业影像获取装置11及作业语音获取装置12对应。需要说明的是，虽然在此省略说明，但可以进一步通过各种传感器13检测感知信息。

带麦克风的摄像机111通过从作为作业实施者的熟练者的视角(熟练者观察到的景象)拍摄作业的状态，能够拍摄作业的状态。另外，作为作业实施者的熟练者在作业过程中边讲解该作业整体的流程、作业项目、各作业中的注意要点等各种信息边实施作业，带麦克风的摄像机111能够对熟练者发出的语音进行拾音。另外，作为作业实施者的熟练者可以使用影像捕捉功能、静态摄影机等拍摄作业过程中的状态(进行重要的作业的状态)、作业完成时的状态(作业完成的证据照片)。

根据熟练者视角的拍摄方法，能够拍摄熟练者实际实施的作业的状态，并且能够对熟练者的语音进行拾音。特别地，通过熟练者将耳挂式的带麦克风的摄像机111佩戴于头部并进行拍摄，能够从熟练者的视角详细地拍摄作业的状态。然而，例如在带麦克风的摄像机111的佩戴成为作业的障碍这样的情况下，也可以在能够记录作业的状态的位置固定设置摄像机、麦克风。此外，对于熟练者视角的拍摄方法而言，即使是熟练者一人在作业现场的情况下，也可以拍摄由熟练者单独实施的作业的状态，并且对熟练者发出的作业的详细解说进行拾音。在该情况下，熟练者例如像对非熟练者按照OJT的要领进行作业的指导那样对作业的详细内容进行讲解，能够对包含能够提取为知识信息的熟练者的技术诀窍等的熟练者的语音进行拾音。

图9中示出与熟练者视角的拍摄方法中的影像及语音的获取相关的具体事例。在图9中，横轴表示时间轴，沿着时间轴示意性地示出了由熟练者分别进行的作业的实施、影像的记录、语音的记录的状态。

在此，作为具体的作业，实施了存在于规定的装置内部的部件的更换作业。将部件的更换作业设为作业1“拆下螺丝”、作业2“取下盖子”、作业3“更换部件”、作业4“关闭盖子”、作业5“紧固螺丝”这5个作业。

在图9中，在从开始部件的更换作业前的时间Ts至部件的更换作业结束后的时间Te为止期间，进行影像及语音的记录。即，在作业过程中，影像及语音的记录始终持续进行。

熟练者在作业过程中讲解与作业相关的信息，在图9中示意性地图示出语音的记录。具体而言，开始作业时，记录讲话P1“现在开始进行装置内部的部件更换”，实施作业1时记录讲话P2“先拆下螺丝”及讲话P3“从下侧的螺丝开始拆卸。将拆下的螺丝放入箱中”，实施作业2时记录讲话P4“接下来取下盖子”，实施作业3时记录讲话P5“接下来更换部件”及讲话P6“请注意触电”，实施作业4时记录讲话P7“接下来关闭盖子”，实施作业5时记录讲话P8“最后紧固螺丝”及讲话P9“从上侧的螺丝开始安装”，作业结束时记录讲话P10“至此部件更换结束”。

(观察者视角的拍摄方法)

图10是作为本实施方式的作业记录方法的一例，示出从观察者视角获取影像的方法的图。在本说明书中，有时将图10的作业记录方法记载为观察者视角的拍摄方法。在图10中，作为一例，示出了作业实施者进行配电盘的配线的拆卸及安装作业、以及位于作业现场的其他人物(观察者)用摄录机112对该作业进行拍摄及拾音的状态。摄录机112与图1所示的作业影像获取装置11及作业语音获取装置12对应。需要说明的是，虽然在此省略说明，但可以进一步通过各种传感器13对感知信息进行检测。

根据观察者视角的拍摄方法，可以拍摄熟练者实际实施的作业的状态，并且对熟练者的语音进行拾音。特别地，通过观察者在作业者的近旁(监视作业)拍摄作业的状态，能够不强迫熟练者佩戴带麦克风的摄像机111而减轻熟练者的负担，熟练者能够与通常同样地实施作业。需要说明的是，在该情况下，也可以将摄像机、麦克风固定设置，例如将摄录机112设置于三脚架上等。另外，作为作业实施者的熟练者、观察者也可以使用影像捕捉功能、静态摄影机等，对作业过程中的状态(进行重要的作业的状态)、作业完成时的状态(作业完成的证据照片)进行拍摄。

另外，根据观察者视角的拍摄方法，能够通过摄录机112对熟练者发出的作业的详细解说进行拾音。在该情况下，熟练者例如像对非熟练者按照OJT的要领进行作业的指导那样对作业的详细内容进行讲解，由此能够对包含能够提取为知识信息的熟练者的技术诀窍等的熟练者的语音进行拾音。此外，例如观察者与熟练者自由地进行对话，观察者针对作业对作业过程中的熟练者进行各种询问，由此能够对从熟练者问出的作业的详细情况、注意要点等进行拾音。

在观察者视角的拍摄方法中，也与图9中示意性地示出的事例同样地进行影像及语音的记录。然而，在观察者视角的拍摄方法中，观察者与熟练者能够自由地进行对话，例如观察者可以以“现在进行的作业是什么？”、“在该作业中有什么应注意的要点？”等的方式进行询问，从而从熟练者问出作业的详细情况。另外，观察者自身也可以以“现在开始进行拆下螺丝的作业”等的方式对与作业相关的内容进行讲解。

(OJT中的作业者视角的拍摄方法)

图11是作为本实施方式的作业记录方法的一例，示出OJT中的以作业者视角获取影像的方法的图。在本说明书中，有时将图11的作业记录方法记载为作业者视角的拍摄方法。在图11中，作为一例，示出了在作业实施者进行滚筒式洗涤干燥机的分解维护作业的同时，位于作业现场的其他人物(熟练者)按照OJT的要领进行作业的指导的状态。实际实施作业的作业实施者可以是该作业的非熟练者，边从熟练者接受指导边自己实施作业。另外，作业实施者佩戴有例如耳挂式的带麦克风的摄像机111进行作业。带麦克风的摄像机111与图1所示的作业影像获取装置11及作业语音获取装置12对应。需要说明的是，虽然在此省略说明，但也可以进一步通过各种传感器13对感知信息进行检测。

带麦克风的摄像机111通过从作业实施者的视角拍摄作业的状态，能够拍摄作业的状态。另外，作业实施者边接受包含该作业整体的流程、作业项目、各作业中的注意要点等各种信息的来自熟练者的指导边实施作业，带麦克风的摄像机111能够对熟练者与作业实施者的对话语音进行拾音。需要说明的是，在该情况下，作业实施者也可以不佩戴带麦克风的摄像机111，而在能够记录作业的状态的位置固定设置摄像机、麦克风，此外，也可以是其他人物(观察者)使用摄录机112等进行作业实施者的作业的拍摄及作业实施者和熟练者的对话语音的拾音。另外，作业实施者、熟练者也可以使用影像捕捉功能、静态摄影机等拍摄作业过程中的状态(进行重要的作业的状态)、作业完成时的状态(作业完成的证据照片)。

根据作业者视角的拍摄方法，能够在拍摄作业者实施的作业的状态的同时，拍摄熟练者按照OJT的要领指导作业的状态，并且对包含作业的详细情况、注意要点等的熟练者的语音进行拾音。另外，也可以不强迫熟练者佩戴带麦克风的摄像机111而减轻熟练者的负担。另外，熟练者按照OJT的要领对作业的详细情况、注意要点等进行讲话，因此，熟练者的语音中容易包含有作为知识信息有用的信息。此时，通过作业者在作业过程中对熟练者进行询问，能够从熟练者问出与作业相关的更详细的信息。

在OJT中的作业者视角的拍摄方法中，也与图9中示意性地示出的事例同样地进行影像及语音的记录。然而，在作业者视角的拍摄方法中，熟练者指导作业，例如以“请先拆卸螺丝”、“部件更换时请注意触电”等的方式，记录熟练者从指导作业的立场发出的语音。

(远程OJT中的作业者视角的拍摄方法)

图12是作为本实施方式的作业记录方法的一例，示出用于实现从远程OJT中的作业者视角获取影像的方法的结构的结构图。对于图12所示的结构而言，在图11所示的作业者视角的拍摄方法中，熟练者无需赶往作业现场就能够从远离作业现场的远程处按照OJT的要领指导作业。

在图12中，作业者终端10除了摄像机等作业影像获取装置11、麦克风等作业语音获取装置12、各种传感器13以外，还具备扬声器等语音输出装置21。另一方面，熟练者终端90具备显示器等显示装置91、扬声器等语音输出装置92、麦克风等语音获取装置93。

此外，作业者终端10及熟练者终端90配置为，通过网络5实时进行通信。作业者终端10与熟练者终端90之间的通信所采用的通信标准、通信方式没有特别限定。

关于影像，将通过作业语音获取装置12拍摄的作业的影像从作业者终端10发送至熟练者终端90，以使熟练者能够在显示装置91中观看该影像。即，熟练者无需赶赴作业现场就能够在熟练者终端90的显示装置91上确认作业的状态。另外，作为作业实施者的非熟练者可以使用影像捕捉功能、静态摄影机等拍摄作业过程中的状态(进行重要的作业的状态)、作业完成时的状态(作业完成的证据照片)。在该情况下，作为作业实施者的非熟练者可以使用影像捕捉功能、静态摄影机等进行拍摄，或者熟练者也可以使用影像捕捉功能捕捉显示在熟练者终端90的显示装置91上的影像。

另一方面，关于语音，将通过作业语音获取装置12拾音的语音从作业者终端10发送至熟练者终端90，以使熟练者能够通过语音输出装置92收听该语音。此外，也可以将通过语音获取装置93拾音的语音从熟练者终端90发送至作业者终端10，以使作业实施者能够通过语音输出装置21收听该语音。即，作业实施者与熟练者能够通过网络5进行对话，特别地，熟练者能够边在显示装置91上确认作业的状态边进行该作业的指导。

可以将拍摄了作业的状态的影像及作业实施者和熟练者的对话语音作为影像数据及语音数据存储于作业者终端10的存储装置16后，发送至数据库管理服务器30，或者也可以存储于熟练者终端90的存储装置后，从熟练者终端90发送至数据库管理服务器30。另外，可以将在作业者终端10与熟练者终端90之间通信的数据实时流式发送至数据库管理服务器30。

在远程OJT中的作业者视角的拍摄方法中，也与图9中示意性地示出的事例同样地进行影像及语音的记录。然而，在作业者视角的拍摄方法中，熟练者指导作业，例如以“请先拆卸螺丝”、“部件更换时请注意触电”等的方式记录熟练者从指导作业的立场发出的语音。

(听取形式)

在上述的各种作业记录方法中，对正在实施作业的熟练者的语音进行拾音，但也可以作业前或作业后对熟练者关于作业内容发出的语音进行拾音。例如，有时最好在作业前或作业后将与作业相关的信息汇总，并从熟练者准确地问出。听取形式的提问应答具有如下优点：能够事先详细调查并准备对熟练者的确认事项。

特别地，在熟练者自身单独实施作业的熟练者视角的拍摄方法中，熟练者可能会专注于作业，而较少对与作业相关的信息进行讲话，因此，在作业前或作业后，以听取形式从熟练者问出与作业相关的信息是有用的。

图13中示出实施通过听取形式从熟练者问出与作业相关的信息的方法的具体事例。在图13中，横轴表示时间轴，沿着时间轴示意性地示出进行与听取形式的提问应答有关的语音的记录的状态。

在图13中，在熟练者自身实施作业的作业区间前设置信息获取区间，在信息获取区间，对熟练者询问以下列举的询问项目(作业项目、技术诀窍、是否需要询问确认、是否需要证据照片)，以语音记录熟练者发出的回答。具体而言，询问者询问作业项目的询问Q1“接下来的作业项目是什么？”，记录熟练者针对该询问的关于作业项目的回答A1。另外，询问者询问技术诀窍的询问Q2“需要注意的事项是什么？”，记录熟练者针对该询问的关于注意事项的回答A2。

另外，询问者询问是否需要询问确认的询问Q3“在实际的作业后进行询问确认吗？”，记录熟练者针对该询问的关于确认水平的回答A3。需要说明的是，询问确认是指提取为知识信息后，使用该知识信息进行作业引导(作业支援)时进行再确认的处理。具体而言，在基于设定为“需要询问确认”的知识信息实施作业支援的情况下，例如，在作业者紧固螺丝而结束作业后，向作业者提示“将螺丝紧固至最后了吗？”等确认消息。

另外，询问者询问是否需要证据照片的询问Q4“留下作业结果的证据照片吗？如果留下，则拍摄哪张照片？”，记录熟练者针对该询问的关于确认水平的回答A4。

进一步地，询问者结束一系列的询问时，以讲话Q5“那么请开始作业。如果需要拍摄照片则也请进行照片的拍摄。作业结束时请说结束”等方式催促作业的开始，从而能够移动至作业区间。

需要说明的是，在图13中，在进行了听取形式的提问回答后(作业开始前)实施作业，但也可以在作业结束后进行听取形式的提问回答。另外，在听取形式的提问回答前后进行的作业的拍摄方法没有特别限定，可以进行上述的熟练者视角的拍摄方法、观察者视角的拍摄方法、OJT形式或远程OJT形式中的作业者视角的拍摄方法中的任一方法。另外，也可以不在作业开始前或作业结束后，而在作业实施中(即图13的作业区间中)进行听取形式的提问回答。

另外，询问者并不一定是人类，例如也可以是能够通过学习生成有用的询问结构的AI(人工智能)等计算机作为询问者进行询问。

另外，在上述的各种拍摄方法、听取形式的提问回答中，熟练者可能会以通常的口语进行说明，特别是使用“这”、“那”、“这样”等指示代词进行说明。包含这样的指示代词的表述对于在当场接受说明的人而言是可以理解的，但另一方面，从熟练者的语音中提取知识信息时，可能难以理解指示代词指的是什么。

由此，在熟练者的讲话中包含指示代词的情况下，期望询问者能够问出该指示代词具体是指什么，由此能够更准确地提取知识信息。另外，在AI等计算机通过听取形式对熟练者进行询问的情况下，也可以在计算机中设置如下功能：检测出熟练者的讲话中包含指示代词并询问该指示代词具体指的是什么。

另外，在此，通过对利用听取形式的提问回答的语音进行拾音，从而将熟练者发出的注意要点等记录为语音数据，但也可以例如分发记载有询问事项的调查问卷并使熟练者填写回答，将该回答加工并记录为文本数据等。

(向作业行为记录数据库的登记)

接下来，针对对本实施方式的向作业行为记录数据库31的登记进行说明。

在本实施方式中，数据库管理服务器30将在作业者终端10记录了作业的状态的作业行为记录数据登记于作业行为记录数据库31。在向作业行为记录数据库31的登记中，例如将影像数据、语音数据与时间信息(时刻、从作业开始时的经过时间等)相关联地记录为记录。

图14是示出本实施方式的作业行为记录数据库31的数据结构的一例的图。图14所示的作业行为记录数据库31的各记录(行)中例如记录有熟练者的作业者编号(作业者No.)、作业日期时间、作业编号(作业No.)、记录影像、记录语音、作业时间等各项目。在此虽然省略图示，但由各种传感器13检测的感知数据、作业时所拍摄的照片数据也同样记录于记录的项目中。

作业者编号的项目中存储有实施了作业的熟练者或进行了作业的指导的熟练者的识别编号。作业日期时间的项目中存储有实施了作业的日期时间。作业编号的项目中存储有用于确定作业而唯一分配的识别编号。记录影像及记录语音的项目中分别存储有记录了作业的影像数据及语音数据的识别信息。影像数据及语音数据的识别信息例如为影像数据及语音数据的文件名，能够根据该识别信息，确定例如存储于作业行为记录数据库31的规定的区域中的影像文件及语音文件。作业时间的项目中存储有作业所需的时间。

另外，记录(行)由作业的记录单元进行管理，通过作业者终端10按照作业的记录追加登记分配了不同的作业编号的记录(行)。由此，每当用图像、语音记录作业的状态语音时，该记录便作为记录积累于作业行为记录数据库31。

需要说明的是，在图14所示的作业行为记录数据库31中，示出了影像数据及语音数据分别存储于为不同的文件(mpeg文件及mp3文件)的状态，但也可以存储为相同的多媒体文件。

(知识信息的提取及编辑)

接下来，对本实施方式的知识信息的提取及编辑进行说明。

在本实施方式中，知识信息提取编辑装置40从登记在作业行为记录数据库31中的作业记录数据中提取并编辑知识信息，并登记于知识信息数据库32中。

图15是示出本实施方式的知识信息的提取及编辑的处理的流程图。

如图15所示，首先，知识信息提取编辑装置40与数据库管理服务器30协作，在作业行为记录数据库31中确定知识提取对象的作业，并读取该作业的影像数据及语音数据(步骤S31)。

接下来，知识信息提取编辑装置40在沿着作业时间对影像数据及语音数据进行同步播放的同时，将语音数据中所包含的熟练者的语音转换成文本数据(步骤S32)。需要说明的是，在将语音数据转换成文本数据的处理中，用户可以在收听语音数据的同时进行将需要的语音转换成文字的作业，也可以使用安装在知识信息提取编辑装置40中的语音识别技术将语音数据自动转换成文本数据。

接下来，在知识信息提取编辑装置40中，用户进行知识信息的提取及编辑(步骤S33)。与知识信息的提取及编辑相关联，在知识信息提取编辑装置40中，能够通过用户对在显示装置41上显示的GUI(图形用户界面)进行操作来详细地设定知识信息。由用户设定的知识信息例如为在知识提取对象的作业中所实施的作业项目、作业内容、作业顺序、作业时间等。

作业项目是包含在该作业中进行什么(即作业的目的)的信息。作业内容是包含具体实施的作业内容(即作业中的行为)的信息。作业顺序是包含实施作业内容(即作业中的行为)的顺序的信息。作业时间是包含各作业所需的时间的信息通过这些作业项目、作业内容、作业顺序、作业时间的各信息，能够把握作业的目的、在作业中所实施的一系列的流程。

此外，也可以从熟练者的语音中提取在作业中应注意的要点(注意要点)作为知识信息。注意要点是用于在作业中防止错误、事故的注意要点、用于高效地实施作业的诀窍、注意要点等。

需要说明的是，提取知识信息时，可以将作业分成几个要素作业。要素作业是指在某一作业中所包含的多个作业单元。例如在图9所示的事例中，一个大的作业“装置内的部件更换”中包含作业1“拆下螺丝”、作业2“取下盖子”、作业3“更换部件”、作业4“关闭盖子”、作业5“紧固螺丝”这五个要素作业。即使是长时间的作业，通过分割成适当的所需时间的要素作业，也能够使处理简单，能够按照要素作业来管理知识信息。需要说明的是，不限定于将一个作业(大分类)分成多个要素作业(小分类)的两级分类，也可以通过三级以上的分类对作业进行分类。

而且，在知识信息的提取及编辑完成的情况下，知识信息提取编辑装置40与数据库管理服务器30协作，将提取及编辑后的知识信息存储于知识信息数据库32(步骤S34)。需要说明的是，在图15所示的流程图中，对基于影像数据及语音数据的知识信息的提取及编辑进行了说明，但也可以进一步从感知数据中提取知识信息。另外，也可以对暂时进行提取及编辑而存储于知识信息数据库32中的知识信息进行再编辑。

以下，针对知识信息的提取及编辑，参照图9所示的事例进行具体说明。例如，在图9所示的事例中，根据熟练者视角的拍摄方法，熟练者自身在实际进行作业的同时，会说出与作业相关的信息，该作业的状态记录为作业行为记录数据(影像数据及语音数据)。

知识信息提取编辑装置40从作业行为记录数据库31中读取该作业行为记录数据，在沿着作业时间对影像数据及语音数据进行同步播放的同时，对语音数据进行语音识别处理，将语音数据中所含的熟练者的语音转换成文本数据。

在图9所示的事例中的作业“装置内的部件更换”中包含作业1“拆下螺丝”、作业2“取下盖子”、作业3“更换部件”、作业4“关闭盖子”、作业5“紧固螺丝”这五个要素作业。知识信息提取编辑装置40的用户能够从语音数据转换后的文本数据中确定记录在该作业行为数据中的作业的作业项目、各要素作业的作业内容及开始时间。

具体而言，根据熟练者的讲话P1“现在开始进行装置内部的部件更换”，能够确定该作业为“装置内的部件更换”。另外，根据讲话P2“先拆下螺丝”，能够确定作为第一个要素作业进行作业1“拆下螺丝”、以及作业1的开始时间。另外，根据讲话P4“接下来取下盖子”，能够确定作为第二个要素作业进行作业2“拆下盖子”、以及作业2的开始时间。另外，根据讲话P5“接下来更换部件”，能够确定作为第三个要素作业进行作业3“部件的更换”、以及作业3的开始时间。另外，根据讲话P7“接下来关闭盖子”，能够确定作为第四个要素作业进行作业4“关闭盖子”、以及作业4的开始时间。另外，根据讲话P8“最后紧固螺丝”，能够确定作为第五个要素作业进行作业5“紧固螺丝”、以及作业5的开始时间。另外，根据熟练者的讲话P10“至此部件更换结束”，能够确定该作业结束的结束时间。需要说明的是，在为以听取形式拍摄的数据的情况下，可以通过图13的作业区间的开始(在上述的例子中，询问者向熟练者催促作业的开始以移动至作业区间的时机)确定作业的开始时间。

另外，知识信息提取编辑装置40的用户能够从记录在作业行为记录数据中的熟练者的语音中提取与作业相关的各种信息。

具体而言，根据熟练者的讲话P3“从下侧的螺丝开始拆卸。将拆下的螺丝放入箱中”，能够将“从下侧的螺丝开始拆卸”及“将拆下的螺丝放入箱中”确定为作业1“拆下螺丝”的注意要点。另外，根据熟练者的讲话P6“请注意触电”，能够将“注意触电”确定为作业3“部件的更换”的注意要点。另外，根据熟练者的讲话P9“从上侧的螺丝开始安装”，能够将“从上侧的螺丝开始安装”确定为作业5“紧固螺丝”的注意要点。

需要说明的是，知识信息提取编辑装置40的用户通过直接收听语音数据或确认影像数据，可以确定在哪个时机正在实施什么样的作业，或者可以确定作业的注意要点。

另外，从在作业前或作业后以听取形式实施的提问回答的语音数据中也同样地能够确定注意要点。例如，在图13所示的事例中，进行是否需要询问确认的询问Q3“实际的作业后进行询问确认吗？”，在熟练者针对该询问Q3的回答A3为“是”的情况下，提取“实施询问确认”的信息。

将在知识信息提取编辑装置40中从作业行为记录数据提取的与作业相关的各种信息作为熟练者的知识信息存储于知识信息数据库32。

图16是示出本实施方式的知识信息数据库32的数据结构的一例的图。图16所示的知识信息数据库32的各记录(行)中例如记录有知识信息编号(No.)、作业项目、要素作业编号(要素作业No.)、作业内容、作业时间、要点、熟练者的作业者编号(作业者No.)、作业编号(作业No.)等各项目。

作业编号的项目中存储有用于确定知识信息而唯一分配的识别编号。作业项目的项目中存储有在该作业中进行什么(即作业的目的)。要素作业编号(要素作业No.)的项目中存储有用于确定要素作业的识别编号。要素作业编号的识别编号也是表示作业顺序的信息。作业内容的项目中存储有在各要素作业中具体实施的作业内容(即作业中的行为)。作业时间的项目中存储有各要素作业所需的作业时间。作业时间例如可以根据各要素作业的开始时间算出。要点的项目中存储有在作业中应注意的要点(为了防止受伤、错误而在作业前要注意的要点、为了防止错误而在作业后再次确认的要点等)、基于熟练者的技能、知识的各种信息。作业者编号的项目中存储有实施了作为知识信息的提取对象的作业的熟练者或进行了作业的指导的熟练者的识别编号。作业编号的项目中存储有用于确定作为知识信息的提取对象的作业而唯一分配的识别编号。存储于作业编号的项目中的识别编号与知识信息的原始数据即作业行为记录数据(影像数据、语音数据、感知数据、照片数据等)相关联，以能够确定存储在作业行为记录数据库31的规定的区域中的作业行为记录数据。

需要说明的是，在此，虽然进行将一个作业(大分类)分成多个要素作业(小分类)的两级分类，但也可以分类为三级以上。在该情况下，例如只要通过在数据库中设定指示分类级之间的关系的项目，就能够适当地管理级结构。

存储在知识信息数据库32中的信息中的、例如存储在作业项目、作业内容、作业顺序、作业时间的各项目中的信息表示要实施的作业的流程。在存储在知识信息数据库32中的知识信息中包含基于熟练者的经验的作业的顺序、在作业中实施的行为，通过基于该知识信息实施作业，能够实施与熟练者同样适当且高效的作业。

另外，存储在知识信息数据库32中的信息中的、例如存储在要点的项目中的信息表示基于熟练者的经验的作业的注意要点。该信息对于抑制作业中的错误、事故并实施高效的作业是有用的信息。

(知识信息提取编辑用GUI)

接下来，对在知识信息提取编辑装置40的显示装置41上显示的GUI进行说明。在知识信息提取编辑装置40中，用户能够在显示装置41中确认并适当地修改从作业时记录的影像数据、作业时记录的语音数据转换的文本数据等修改，并进行知识信息的提取作业及编辑作业。

图17是示出在本实施方式的知识信息的提取作业及编辑作业中所使用的GUI的一例的图。图17中图示出在显示装置41的画面上显示的GUI。

在显示装置41的画面上显示的GUI具有多个显示区域。在GUI的左上侧设定有显示作业时记录的影像数据(拍摄动态图像)的动态图像显示区域421。在GUI的右上侧设定有显示成为提取或编辑的对象的知识信息的知识信息显示区域422。在GUI的中央部设定有显示成为提取或编辑的对象的要素作业的作业项目，在该要素作业前后实施的要素作业的作业项目的作业项目显示区域423。在GUI的下侧设定有显示影像数据、语音数据的时间线的时间线显示区域424。

知识信息提取编辑装置40读入知识信息的提取对象即期望的作业行为记录数据(影像数据及语音数据)时，影像数据及语音数据显示于时间线显示区域424。时间线显示区域424在横轴方向上设定有时间线(时间轴)，如图17所示，影像数据的缩略图图像显示于时间线上。另外，语音数据也同样地显示于时间线上，尤其是，在通过语音识别处理从语音数据转换的文本数据所存在的时间位置上显示音符记号。

在时间线显示区域424中例如通过鼠标等指定确定的时间(时间代码)时，与指定的时间对应的影像在动态图像显示区域421中播放。另外，例如在通过鼠标等指定音符记号时，输出与音符记号对应的语音，并显示通过语音识别处理得到的文本。用户可以在确认影像、语音(或者语音转换后的文本)的同时，指定期望的时间而将一个作业分割成多个要素作业，在知识信息显示区域422中，针对各要素作业设定作业项目(作业名)。各要素作业的分割及设定于各要素作业中的作业名反映在作业项目显示区域423的显示中。

在知识信息显示区域422中显示通过鼠标等指定的要素作业的信息。在图17所示的GUI的显示例中，在知识信息显示区域422中显示作为显示对象指定的要素作业的ID(要素作业编号)、要素作业的时间(作业时间)、要素作业的作业名(作业项目)、要素作业中的注意要点及询问确认消息(要点)。

另外，在知识信息显示区域422中显示的信息是能够编辑的，用户能够使用键盘等进行适当修改。在知识信息显示区域422中自动显示例如通过语音识别处理从语音数据转换的文本数据，用户可以使用键盘等进行适当修改。或者用户可以从知识信息显示区域422为空白的状态使用键盘等输入信息。

在GUI上编辑后的知识信息通过用户输入保存的指示，从而存储于如图16所示的知识信息数据库32。另外，也可以读入存储在知识信息数据库32中的知识信息，进行不足的知识信息的追加、修改等后，再次存储于知识信息数据库32。

这样，通过向用户提供用于从记录了作业的影像数据及语音数据中提取或编辑知识信息的GUI，从而用户能够容易地进行知识信息的提取作业、追加、变更等编辑作业。

另外，图18是示出在本实施方式中显示多个熟练者的作业的GUI的一例的图。在图18中，在横轴方向上设定有时间轴，并显示有多个熟练者A～D关于某个特定的作业(同一作业)实施的作业的顺序及作业时间。

存在多个熟练者A～D关于某个特定的作业(同一作业)分别具有不同的技术诀窍的情况。例如，在图18所示的作业中，正在实施“电脑侧面的螺丝紧固作业”、“电脑背面的螺丝紧固作业”、“外壳的组装”的各作业，但多个熟练者A～D的作业所需的时间分别不同。另外，特别是熟练者C以与其他熟练者A、B、D不同的顺序实施作业。

根据图18所示的GUI的显示，能够在视觉上把握多个熟练者实施的作业的顺序、时间等差异，能够进行使该差异明确的讨论。另外，作为与图17所示的GUI同样的结构，还可以在知识信息显示区域422中显示图18所示的多个熟练者实施的各个作业的知识信息。

此外，通过对图18所示的GUI上进行操作，能够生成将与同一作业相关的多个熟练者的知识信息融合(合并)而成的融合知识信息。在该情况下，可以在知识信息提取编辑装置40中设置对多个熟练者所提供的知识信息进行比较的功能，通过例如强调显示等示出在多个知识信息之间的差异点、类似或共通点。此外，可以通过对多个熟练者所提供的知识信息进行比较，自动对类似或共通点进行融合，从而自动生成融合知识信息。

另外，如图9的具体例及图16的知识信息数据库32的记录所示，在上述实施方式中，例如如在“作业1”结束后开始“作业2”，在“作业2”结束后开始作业3…那样，定义了沿着时间轴在一个方向上流动的作业。

然而，在实际实施的作业中，存在根据作业中产生的条件而转移至多个分支作业的情况。作为存在这样的分支作业的一例，例如可列举在作业中在指示灯点亮为红色时需要实施其他作业(例如当初未计划的其他部件的更换)的情况等。

为了定义存在这样的分支作业的作业，在知识信息提取编辑装置40中可以允许用户定义作业的顺序。图19是示出在本实施方式中用于使用户能够定义作业的顺序的GUI的一例的图。

例如，在知识信息提取编辑装置40的GUI上准备有每个作业编号或要素作业编号(作业ID)的框。用户通过在画面上操作鼠标等时，按照创建流程图的要领配置及连接每个作业ID的框，能够定义作业的顺序。图19中示出每个作业ID的框配置于GUI上的状态的一例。在图19中，如下所述地进行定义：首先实施“ID001”的作业，接下来实施“ID002”的作业，然后配置条件分支，指示灯点亮为红色时，实施“ID004”的作业，指示灯未点亮为红色时，实施“ID003”的作业。

需要说明的是，在需要追加分支作业的情况下，只要仅实施该分支作业(例如在指示灯点亮为红色的情况下实施的其他部件的更换作业)，并记录分支作业影像数据及分支作业语音数据，从这些数据中提取熟练者对分支作业熟知的信息作为知识信息，并追加到知识信息数据库32的记录中即可。

在本实施方式中，各作业或各要素作业通过知识信息数据库32的记录单元进行管理。通过这样的记录单元的管理，用户可以捕捉各作业或各要素作业作为一个单元(对象)。其结果，用户能够通过对象的组合的变更、对象的重新排列等这样的直觉上的操作，以描绘流程图的形式容易地定义各作业或各要素作业的顺序、组合。

(知识信息的利用)

接下来，对本实施方式的知识信息的利用进行说明。

登记在知识信息数据库32中的知识信息可以用于作业手册的生成、作业引导内容的生成等各种用途。

(作业手册的生成)

作业手册生成装置50配置为，能够利用登记在知识信息数据库32中的知识信息生成作业手册。在由作业手册生成装置50生成的作业手册中例如记载有熟练者实施的各作业或各要素作业的顺序、行为、作业时的注意要点等。

作业手册的形式没有特别限定，例如可以以文件数据的形式生成，并通过网络5向各事业所、作业者分发，也可以印刷成纸质介质并分发。另外，例如也可以生成动态图像形式的作业手册(动态图像手册)，通过web阅览动态图像手册。在该情况下，在作业手册中也可以包含记录了作业过程中的状态、作业完成时的状态的照片数据。作业实施者通过将该照片数据与实际的作业状态进行比较，能够在视觉上确认是否为导致错误、事故的状态、作业完成时的状态是否为正确的状态等。此外，也可以使得能够阅览在作业手册的生成中所利用的知识信息的原始数据即作业行为记录数据(影像数据及语音数据)，由此能够确认实际的作业时的状态。

(作业引导内容的生成)

作业引导内容生成装置60配置为，能够利用登记在知识信息数据库32中的知识信息生成作业引导内容。作业引导内容例如为在具有进行非熟练作业者的作业的支援、引导或作业训练的功能的作业支援装置中使用的信息。

在由作业引导内容生成装置60生成的作业引导内容中包含例如由熟练者实施的各作业或各要素作业的顺序、行为、作业时的注意要点等。另外，在作业引导内容中可以包含记录了作业过程中的状态、作业完成时的状态的照片数据，接受作业支援的作业者能够对该照片数据与实际的作业状态进行比较。作业支援装置可以在非熟练作业者实施作业时，基于作业引导内容通过影像、图像、语音、文本等提示作业的顺序、行为、作业时的注意要点等，由此能够引导实施基于熟练者所提供的知识信息的作业，可以代替熟练者进行作业的指导，由此能够防止作业错误、事故等，进行非熟练作业者的作业训练。

需要说明的是，作业引导内容生成装置60也可以生成与支援作业的支援对象的作业者的技能相应的作业引导内容。例如，针对对作业生疏的作业者，不省略地提示知识信息中包含的作业的顺序、行为、作业时的注意要点等，并生成例如通过询问确认等促使确认作业这样的作业引导内容，另一方面，针对对作业有些熟练程度的作业者，可以生成省略了提示的信息、询问确认等的作业引导内容。

(作业支援时所产生的不清楚点的反馈编辑)

另外，在使用作业引导内容实际支援作业时，例如有时会产生接受作业支援的作业者不能理解、不能引导作业的地方。在这样的情况下，期望将作业支援时所产生的不清楚点反馈给知识信息，以更新知识信息，以免产生该不清楚点。此时，根据需要，对熟练者进行用于消除不清楚点的询问，并在知识信息提取编辑装置40中进行反映了来自熟练者的回答的知识信息的编辑，由此能够改善知识信息。

另外，本发明的技术也可以应用于如下用途：以作业支援的内容生成的容易化为目的，提取并保存由与熟练者无关的作业者实施的作业的作业项目、作业顺序的用途。

另外，在本实施方式中，将实施对各种装置的维护、检查等的现场的作业作为一例进行了说明，但本发明的技术除此以外，也可以在料理、家电/家具的安装或组装支援等中实施。

以下，针对本发明的技术应用于料理的情况的一例进行说明。

料理的领域中存在例如作为各家庭特有的烹调方法的所谓“母亲的味道”。通过使用本发明的技术，能够将该“母亲的味道”作为知识信息进行保存，并传承到下一代。

具体而言，通过利用本发明的技术，能够将“母亲的味道”的烹调的状态记录为影像数据及语音数据，并从影像数据及语音数据中提取“母亲的味道”的知识信息并进行管理。特别地，通过使用搭载于智能手机、平板电脑的摄像机及麦克风进行记录，能够简单地记录在各家庭中进行烹调时的状态。

另外，记录“母亲的味道”的烹调的状态时，记录熟知“母亲的味道”的人(与上述实施方式同样，可以是对“母亲的味道”进行烹调的烹调实施者，也可以是对“母亲的味道”的烹调进行指导的烹调指导者)的语音。此时，优选以提问形式从例如智能手机询问接下来的料理工序、烹调中的注意要点、防止受伤的要点等，使熟知“母亲的味道”的人进行回答。另外，也可以是作为作业实施者的熟练者、观察者使用影像捕捉功能、静态摄影机等，将各料理工序中的完成状态、最终的装盘状态等记录为影像或图像。另外，也可以使用味觉传感器等记录能够确定各工序的调味的数字数据(调味数据)。

与上述实施方式同样，可以利用从以如此方式记录的烹调的状态中提取的“母亲的味道”的知识信息生成烹调手册。另外，可以通过智能手机、平板电脑以画面、语音生成用于将“母亲的味道”传承到下一代的的烹调引导内容。

需要说明的是，本发明不限定于上述的实施方式、变形例，在不脱离本发明的技术思想的范围内的各种变形例及设计变更等均包含于其技术范围内。

如上所述，本发明具有能够提取熟练者的知识信息，以使该知识信息成为能够适当管理及编辑的状态的效果，并且对知识信息的提取及利用所涉及的所有技术都是有用的。

附图标记说明：

1 知识信息提取系统

2 作业实施者

5 网络

10 作业者终端

11 作业影像获取装置

11a 影像获取部

12 作业语音获取装置

12a 语音获取部

13 各种传感器(感知信息检测装置)

13a 传感器连接部

14、301、401、501、601 控制部

15、305、405、505、605 存储器

15a 影像记录程序

15b 语音记录程序

15c 感知信息记录程序

15d、305b 信息收发程序

16、303、403、503、603 存储装置

17、302 通信部

18、306、404、504、604 用户界面连接部(UI连接部)

19、309、406、506、606 电源供给部

20、310、410、510、610 总线

21、42、92 语音输出装置

30 数据库管理服务器

31 作业行为记录数据库(作业行为记录DB)

32 知识信息数据库(知识信息DB)

40 知识信息提取编辑装置

41、91 显示装置

43 操作输入装置

50 作业手册生成装置

60 作业引导内容生成装置

90 熟练者终端

93 语音获取装置

111 带麦克风的摄像机

112 摄录机

304 数据库连接部

305a 数据库处理程序

307、402、502、602 外部装置连接部

308 认证部

405a 影像数据处理程序

405b 语音数据处理程序

405c 知识信息提取程序

405d 知识信息编辑程序

405e、505b、605c 数据库访问程序

421 动态图像显示区域

422 知识信息显示区域

423 作业项目显示区域

424 时间线显示区域

505a 作业手册生成程序

605a 作业引导内容生成程序

605b 技能信息获取程序

Claims (19)

1.一种知识信息提取系统，其特征在于，具备：

作业影像获取装置，其获取作业实施者实施的作业的影像；

作业语音获取装置，其获取所述作业实施者及观察所述作业的观察者中的至少一方关于所述作业所发出的语音；

作业行为记录数据库，其将由所述作业影像获取装置获取的所述作业的影像及由所述作业语音获取装置获取的所述语音分别记录为作业影像数据及作业语音数据；

知识信息提取编辑装置，其基于记录在所述作业行为记录数据库中的所述作业影像数据及所述作业语音数据，提取并编辑熟练者对所述作业熟知的信息作为知识信息，其中，所述作业实施者及所述观察者中的至少一方是对所述作业熟知的所述熟练者；以及

知识信息数据库，其记录由所述知识信息提取编辑装置提取的所述知识信息，

所述知识信息提取编辑装置具备：提取编辑处理部，其允许从所述作业影像数据及所述作业语音数据中提取或编辑所述知识信息的用户操作；显示部，其显示在所述提取编辑处理部中所使用的图形用户界面；以及操作输入部，其允许所述图形用户界面中的用户操作，

所述图形用户界面具有：动态图像显示区域，其显示与所述作业影像数据相关的影像；知识信息显示区域，其以能够由所述用户操作编辑的状态显示所述知识信息；以及时间线显示区域，其显示用于确定所述作业影像数据及所述作业语音数据的播放位置的时间线。

2.根据权利要求1所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置基于包含与所述作业相关的内容的语音将所述作业影像数据及所述作业语音数据分割成要素作业。

3.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置具备将所述作业语音数据转换成文本数据的语音识别处理部，从由所述语音识别处理部得到的所述文本数据中提取与所述作业相关的知识信息。

4.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置提取与同一作业相关的多个熟练者所提供的知识信息，生成将所述多个熟练者的知识信息融合而成的融合知识信息。

5.根据权利要求1或2所述的知识信息提取系统，其特征在于，

在根据规定的作业中产生的条件而存在多个分支作业的情况下，所述作业影像获取装置及所述作业语音获取装置获取各分支作业的影像及语音，以由所述作业行为记录数据库记录为所述各分支作业的分支作业影像数据及分支作业语音数据，

所述知识信息提取编辑装置从所述各分支作业的所述分支作业影像数据及分支作业语音数据中提取所述熟练者对所述各分支作业熟知的信息作为知识信息，并将所述各分支作业的知识信息追加到与所述规定的作业相关的知识信息中。

6.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置提取所述作业的作业项目、作业内容、作业顺序、作业时间作为所述知识信息。

7.根据权利要求6所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置提取在所述作业中应注意的要点作为所述知识信息。

8.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述作业影像获取装置从所述作业实施者的视角拍摄作为所述作业实施者的熟练者所实施的作业的影像，所述作业语音获取装置对所述作业过程中的所述熟练者的语音进行拾音。

9.根据权利要求或2所述的知识信息提取系统，其特征在于，

所述作业影像获取装置从观察所述作业实施者的观察者的视角拍摄作为所述作业实施者的熟练者所实施的作业的影像，所述作业语音获取装置对所述熟练者与所述观察者的对话语音进行拾音。

10.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述作业影像获取装置从所述作业实施者的视角拍摄所述作业实施者所实施的作业的影像，所述作业语音获取装置对所述作业实施者与指导所述作业的熟练者的对话语音进行拾音。

11.根据权利要求10所述的知识信息提取系统，其特征在于，

所述熟练者通过网络确认由所述作业影像获取装置获取的所述作业的影像，并通过所述网络与所述作业实施者进行对话。

12.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述作业语音获取装置对所述熟练者针对来自第三者的与作业相关的询问进行回答的语音进行拾音。

13.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述作业语音获取装置对所述熟练者在所述作业前或所述作业后关于所述作业所发出的语音进行拾音。

14.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取系统具备感知信息检测装置，所述感知信息检测装置检测所述作业实施者在作业时所感知的感知信息，

所述作业行为记录数据库除了所述作业影像数据及所述作业语音数据以外，还记录由所述感知信息检测装置检测的感知信息作为感知数据，

所述知识信息提取编辑装置除了所述作业影像数据及所述作业语音数据以外，还基于所述感知数据提取所述熟练者熟知的信息作为所述知识信息。

15.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取系统具备作业手册生成装置，该作业手册生成装置基于所述知识信息数据库中所记录的所述知识信息，生成与所述作业相关的作业手册。

16.根据权利要求1或2所述的知识信息提取系统，其特征在于，

所述知识信息提取系统具备作业引导内容生成装置，所述作业引导内容生成装置基于所述知识信息数据库中所记录的所述知识信息，生成用于对由作业者实施的所述作业进行支援的作业引导内容。

17.根据权利要求16所述的知识信息提取系统，其特征在于，

所述作业引导内容生成装置生成与支援所述作业的支援对象的所述作业者的技能相应的所述作业引导内容。

18.根据权利要求16所述的知识信息提取系统，其特征在于，

所述知识信息提取编辑装置更新所述知识信息，以消除使用所述作业引导内容实际支援所述作业时所产生的不清楚点。

19.一种知识信息提取方法，其特征在于，包括：

作业影像获取步骤，其获取作业实施者实施的作业的影像；

作业语音获取步骤，其获取所述作业实施者及观察所述作业的观察者中的至少一方关于所述作业所发出的语音；

作业行为信息记录步骤，其将在所述作业影像获取步骤中所获取的所述作业的影像及在所述作业语音获取步骤中所获取的所述语音，分别作为作业影像数据及作业语音数据记录在作业行为记录数据库中；

知识信息提取编辑步骤，其基于在所述作业行为信息记录步骤中所记录的所述作业影像数据及所述作业语音数据，提取熟练者对所述作业熟知的信息作为知识信息，其中，所述作业实施者及所述观察者中的至少一方是对所述作业熟知的所述熟练者；以及

知识信息记录步骤，其将在所述知识信息提取编辑步骤中所提取的所述知识信息记录于知识信息数据库，

在所述知识信息提取编辑步骤中执行如下处理：提取编辑处理，允许从所述作业影像数据及所述作业语音数据中提取或编辑所述知识信息的用户操作；显示处理，显示在所述提取编辑处理部中所使用的图形用户界面；以及操作输入处理，允许在所述图形用户界面中使用操作输入部的所述用户操作，

所述图形用户界面具有：动态图像显示区域，其显示与所述作业影像数据相关的影像；知识信息显示区域，其以能够由所述用户操作编辑的状态显示所述知识信息；以及时间线显示区域，其显示用于确定所述作业影像数据及所述作业语音数据的播放位置的时间线。

Images