CN111712840A - 注释方法、注释装置、注释程序以及识别系统 - Google Patents

注释方法、注释装置、注释程序以及识别系统 Download PDF

Info

Publication number
CN111712840A
CN111712840A CN201980012349.8A CN201980012349A CN111712840A CN 111712840 A CN111712840 A CN 111712840A CN 201980012349 A CN201980012349 A CN 201980012349A CN 111712840 A CN111712840 A CN 111712840A
Authority
CN
China
Prior art keywords
time
time interval
sensor data
interval
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980012349.8A
Other languages
English (en)
Other versions
CN111712840B (zh
Inventor
中嶋宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111712840A publication Critical patent/CN111712840A/zh
Application granted granted Critical
Publication of CN111712840B publication Critical patent/CN111712840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Recording Measured Values (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种能够更准确地对传感器数据赋予所期望的信息的注释技术。本发明的一方面的注释方法是由计算机执行下述步骤：获取将传感器的输出按时间序列排列而成的传感器数据；以及对所获取的传感器数据赋予多个标签。多个标签包含第一标签及第二标签，第一标签被赋予给第一时间区间，第二标签被赋予给在时间序列上处于第一时间区间之后的第二时间区间。并且，第一时间区间及第二时间区间被设定为具有在时间序列上局部重复的重复区间。

Description

注释方法、注释装置、注释程序以及识别系统
技术领域
本发明涉及一种注释(annotation)方法、注释装置、注释程序以及识别系统。
背景技术
以往，在各种场景中，进行对于目标数据赋予标签(label)的注释处理。例如，为了表示动态图像数据的各部分的内容，有时会对所述动态图像数据的各部分进行注释处理。而且，例如在专利文献1中提出了一种方法：利用从加速度传感器获得的传感器数据、及被赋予给所述传感器数据且表示所述传感器数据所表示的行动种类的标签，来学习用户的行动模型。标签表示所赋予的时间区间内的数据的某些信息，例如，如专利文献1那样，被利用于监督学习中的正解数据(教学数据)等的各种用途。
现有技术文献
专利文献
专利文献1：日本专利特开2012-248017号公报
发明内容
发明所要解决的问题
以往，在对传感器的输出按时间序列连续排列而成的传感器数据进行注释的情况下，以时间区间来分割所述传感器数据，对所获得的各时间区间赋予各标签。但是，本申请发明人发现，此种注释方法中存在如下所述的问题。
即，在传感器数据中，传感器的输出是连续排列的，从在某时间区间表现的某状态逐渐转变成在下个时间区间表现的另一状态，因此难以准确决定各时间区间的边界的时刻。而且，基于同样的理由，在各时间区间的边界，有可能无法唯一决定所赋予的标签的内容。本申请发明人发现：由于这些原因，在以往的注释方法中，存在难以对传感器数据准确地赋予所期望的信息的问题。
例如，设想下述案例(case)：对从穿戴于用户的加速度传感器获得的传感器数据，赋予表示正在步行(步行状态)、正坐在椅子上(坐位状态)、已从椅子站起(起立状态)等的用户行动状态的标签。在此案例中，当用户采取从步行状态转变为坐位状态、从坐位状态转变为起立状态等的用于变更行动状态的动作时，行动状态的切换时机模糊不清，因此难以准确决定所述行动状态切换的时刻。而且，对于各行动状态正在转变的区间，是赋予表示转变前的行动状态的标签为好，还是赋予表示转变后的行动状态的标签为好并不明确。因此，难以唯一决定对各行动状态正在转变的区间赋予的标签的内容。因此，在此案例中，以往的注释方法难以对传感器数据准确地赋予表示用户的行动状态的信息。
本发明在一方面是有鉴于此种实际情况而完成，其目的在于提供一种能够对传感器数据更准确地赋予所期望的信息的注释技术。
解决问题的技术手段
为了解决所述问题，本发明采用以下的结构。
即，本发明的一方面的注释方法中，由计算机执行下述步骤：获取将传感器的输出按时间序列排列而成的传感器数据；以及对所获取的传感器数据赋予多个标签。所述多个标签包含第一标签及第二标签，所述第一标签被赋予给第一时间区间，所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间。并且，所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
所述注释方法中，当对传感器数据赋予多个标签时，在被赋予第一标签的第一时间区间、与被赋予第二标签且处于第一时间区间之后的第二时间区间之间，设置在时间序列上局部重复的重复区间。由此，能够使第一时间区间与第二时间区间的边界具备时间上的宽度，从而也可不将由第一标签所示的状态向由第二标签所示的状态迁移的时机决定为一点。即，在从第一标签的状态向第二标签的状态迁移的时机不明的情况下，能够视为在重复区间内的任一时刻(时机)发生了所述迁移，或者利用重复区间其自身来作为所述迁移的发生区间。因此，根据所述注释方法，能够利用重复区间来适当地表示发生状态迁移的区间，因此与将边界决定为一点的以往方法相比，能够更准确地对传感器数据赋予所期望的信息。
另外，对于“传感器”，只要能够顺着时间序列来获取某些数据，则其种类并无特别限定，可根据实施方式来适当选择。“传感器”例如可为生物传感器(可测定脉搏、体温、肌电、心电、脑波等的传感器)、活动量传感器(可测定振动、加速度等的传感器)、运动传感器、摄像机、麦克风(microphone)、测力传感器(load cell)等。
“传感器数据”是在时间轴上将传感器的输出沿着时间序列排列而成，其种类可根据传感器的种类来适当决定。“传感器数据”例如可为数值数据、文本数据、图像数据及声音数据的至少任一种。而且，“传感器数据”是传感器的输出沿着时间序列排列而成，因此也可称作“时间序列数据”。
“标签”是对传感器数据中的目标时间区间赋予某些信息，其内容可根据实施方式来适当决定。标签例如可被设定为表示目标时间区间的数据的内容、特征等。标签也可被利用于机器学习等的信息处理。在“标签”可利用于监督学习的情况下，所述“标签”也可被称作“教学数据”或“正解数据”。此时，标签的内容也可为由学习器通过监督学习而学会的推论的正解。另外，以下，被赋予有多个标签的传感器数据也称作“带标签的传感器数据”。
所述一方面的注释方法中，所述计算机也可设定暂定划分所述第一时间区间与所述第二时间区间的边界时刻，以包含所设定的所述边界时刻之前及之后的至少一个时刻的方式，来设定具有规定时宽的所述重复区间。根据所述方法，能够以暂定的边界时刻为基准来简便地设定重复区间，因此能够降低注释的成本。
所述一方面的注释方法中，所述规定时宽可基于所述第一标签及所述第二标签的至少一者的种类来决定。根据所述方法，能够基于所赋予的标签的种类来适当设定重复区间，因此能够更准确地对传感器数据赋予所期望的信息。另外，与标签种类相应的重复区间的时宽的具体的值可根据实施方式来适当决定。例如，设想通过传感器来监测工厂的作业员的“目测”、“抓持”、“搬运”及“调整”的动作的场景。在此场景中，设想为：从“目测”状态向“抓持”状态迁移时与从“抓持”状态向“搬运”状态迁移时相比，通常，所述状态的迁移耗费的时间长。因此，在此场景中，可将赋予“目测”标签的时间区间与赋予“抓持”标签的时间区间之间的重复区间的时宽设定为，比赋予“抓持”标签的时间区间与赋予“搬运”标签的时间区间之间的重复区间的时宽长。
所述一方面的注释方法中，所述规定时宽可为固定值。根据所述方法，能够抑制设定重复区间所耗费的计算量，因此能够降低注释的成本。
所述一方面的注释方法中，所述计算机也可从用户受理时刻的指定，将所指定的所述时刻设定为所述边界时刻。根据所述方法，能够利用简便的方法来设定作为重复区间的基准的边界时刻，因此能够降低注释的成本。
所述一方面的注释方法中，所述计算机也可受理关于暂定划分所述第一时间区间与所述第二时间区间的边界时刻的多个指定，也可基于通过所述多个指定而给予的边界时刻的平均及偏差的至少任一个来设定所述重复区间。根据所述方法，能够基于通过多个指定而给予的边界时刻的平均及偏差的至少任一个来适当地设定重复区间，因此能够更准确地对传感器数据赋予所期望的信息。
所述一方面的注释方法中，所述计算机也可受理所述第一时间区间与所述第二时间区间重复的区间的指定，也可将所指定的所述区间设定为所述重复区间。根据所述方法，能够简便地设定重复区间，因此能够降低注释的成本。
所述一方面的注释方法中，所述计算机也可基于所述传感器的采样周期，以所述重复区间包含对所述传感器的所述输出分别进行采样的多个采样点的方式，来设定所述重复区间的时宽。根据所述方法，重复区间被设定为包含多个采样点。由此，能够避免重复区间实质上被设定为仅包含一个时间点，从而能够使第一时间区间与第二时间区间的边界切实地具备时间上的宽度。
所述一方面的注释方法中，所述计算机也可对从所述第一时间区间的所述开始时刻直至所述第二时间区间的所述开始时刻为止的区间，赋予第一值来作为所述第一标签，也可对从所述第一时间区间的所述结束时刻直至所述第二时间区间的所述结束时刻为止的区间，赋予第二值来作为所述第二标签，也可对从所述第一时间区间的所述结束时刻直至所述第二时间区间的所述开始时刻为止的区间，以从所述第一值向所述第二值迁移的方式赋予一个或多个值来作为所述重复区间的标签。根据所述方法，对重复区间赋予表示从由第一标签所示的状态向由第二标签所示的状态迁移的状态的标签，由此，能够更准确地对传感器数据赋予所期望的信息。另外，若对重复区间赋予的标签的内容与第一标签及第二标签的内容不同，则也可与第一标签及第二标签区分开来，将对重复区间赋予的标签称作“第三标签”。
所述一方面的注释方法中，所述多个标签各自也可被设定为，表示针对被赋予所述各标签的时间区间内的所述传感器数据的规定推论的正解。根据所述方法，能够生成可利用于监督学习的带标签的传感器数据。
所述一方面的注释方法中，所述计算机也可进一步执行下述步骤：获取评估结果数据，所述评估结果数据表示对学习完毕的学习器的评估结果，所述学习完毕的学习器被构建为具有下述能力，即，通过利用所述传感器数据及所述多个标签来实施监督学习，从而进行所述规定推论；以及基于所获取的所述评估结果数据所表示的所述评估结果，来变更所述重复区间的时宽。在对传感器数据适当地赋予有各标签的情况下，通过利用所述带标签的传感器数据的监督学习而构建的学习完毕的学习器进行规定推论的能力变高(即，对所述学习完毕的学习器的评估变高)。另一方面，在因重复区间的时宽不准确等而未能对传感器数据适当地赋予各标签的情况下，通过利用所述带标签的传感器数据的监督学习而构建的学习完毕的学习器进行规定推论的能力变低(即，对所述学习完毕的学习器的评估变低)。所述方法中，通过变更重复区间的时宽，能够调整赋予各标签的时间区间，从而能够对传感器数据的各时间区间适当地赋予各标签。因此，根据所述方法，能够生成可构建进行规定推论的能力高的学习完毕的学习器的、带标签的传感器数据。另外，“学习完毕的学习器”也可被称作“识别器”或“分类器”。
所述一方面的注释方法中，所述评估结果也可针对与所述传感器数据不同的其他传感器数据，通过借助所述学习完毕的学习器进行所述规定推论时的正答率来表达，若由所述评估结果数据所表示的所述正答率为规定的阈值以下，则所述计算机也可通过缩窄或加宽所述重复区间的时宽来变更所述重复区间的时宽。根据所述方法，能够生成带标签的传感器数据，所述带标签的传感器数据可构建具有一定水准以上的进行规定推论的能力的学习完毕的学习器。
另外，作为所述各形态的注释方法的其他形态，本发明的一方面也可为能够执行以上的各步骤的信息处理装置，也可为程序，还可为存储有此种程序且计算机或其他装置、机械等可读取的存储介质。此处，所谓计算机等可读取的存储介质，是指通过电、磁、光学、机械或化学作用来保存程序等信息的介质。
例如，本发明的一方面的注释装置是一种信息处理装置，包括：数据获取部，获取将传感器的输出按时间序列排列而成的传感器数据；以及标签赋予部，对所获取的传感器数据赋予多个标签，所述多个标签包含第一标签及第二标签，所述第一标签被赋予给第一时间区间，所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
而且，例如，本发明的一方面的注释程序用于使计算机执行下述步骤：获取将传感器的输出按时间序列排列而成的传感器数据；以及对所获取的传感器数据赋予多个标签，其中，所述多个标签包含第一标签及第二标签，所述第一标签被赋予给第一时间区间，所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
而且，也可构成利用通过使用所述传感器数据及多个标签的监督学习而构建的学习完毕的学习器来实施规定推论的系统、信息处理装置、信息处理方法、程序、及存储有此种程序且计算机或其他装置、机械等可读取的存储介质。
例如，本发明的一方面的识别系统包括：数据获取部，获取将传感器的输出按时间序列排列而成的传感器数据，所述传感器对工厂的作业员的行动状态进行监测；标签赋予部，对所获取的所述传感器数据赋予多个标签，且所述多个标签各自被设定为，表示针对被赋予所述各标签的时间区间内的所述传感器数据所表示的所述作业员的行动状态的正解；学习处理部，以具有下述能力的方式来构建学习完毕的学习器，即，通过利用所述传感器数据及所述多个标签来实施监督学习，从而对所述作业员的行动状态的种类进行推测；目标数据获取部，获取作为对所述作业员的行动状态进行推测的目标的目标传感器数据；状态推测部，将所述目标传感器数据输入至所述学习完毕的学习器，从所述学习完毕的学习器获得输出，由此来推测所述目标传感器数据所表示的所述作业员的行动状态；以及输出部，输出对所述作业员的行动状态进行推测所得的结果，所述多个标签包含第一标签及第二标签，所述第一标签被赋予给第一时间区间，所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
而且，例如，本发明的一方面的识别系统包括：数据获取部，获取将传感器的输出按时间序列排列而成的传感器数据；标签赋予部，对所获取的所述传感器数据赋予多个标签，且所述多个标签各自被设定为，表示针对被赋予所述各标签的时间区间内的所述传感器数据的规定推论的正解；学习处理部，以具有下述能力的方式来构建学习完毕的学习器，即，通过利用所述传感器数据及所述多个标签来实施监督学习，从而进行所述规定推论；目标数据获取部，获取作为进行所述规定推论的目标的目标传感器数据；推论部，将所述目标传感器数据输入至所述学习完毕的学习器，从所述学习完毕的学习器获得输出，由此来对所述目标传感器数据实施规定推论；以及输出部，输出实施所述规定推论所得的结果，所述多个标签包含第一标签及第二标签，所述第一标签被赋予给第一时间区间，所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
发明的效果
根据本发明，可提供一种能够更准确地对传感器数据赋予所期望的信息的注释技术。
附图说明
图1示意性地例示适用本发明的场景的一例。
图2示意性地例示实施方式的注释装置的硬件结构的一例。
图3示意性地例示实施方式的学习装置的硬件结构的一例。
图4示意性地例示实施方式的识别装置的硬件结构的一例。
图5示意性地例示实施方式的注释装置的软件结构的一例。
图6示意性地例示实施方式的学习装置的软件结构的一例。
图7A示意性地例示实施方式的学习装置所进行的学习器的机器学习的过程。
图7B示意性地例示实施方式的学习装置所进行的学习完毕的学习器的性能评估的过程。
图8示意性地例示实施方式的识别装置的软件结构的一例。
图9例示实施方式的注释装置的处理流程的一例。
图10示意性地例示赋予第一标签的第一时间区间与赋予第二标签的第二时间区间的关系。
图11A示意性地例示设定重复区间的第一方法的过程。
图11B示意性地例示设定重复区间的第一方法的过程。
图11C示意性地例示设定重复区间的第一方法的过程。
图12示意性地例示设定重复区间的第二方法的一例。
图13示意性地例示设定重复区间的第三方法的一例。
图14示意性地例示对重复区间设定的标签的内容的一例。
图15示意性地例示对传感器数据的注释的一例。
图16例示实施方式的学习装置的处理流程的一例。
图17例示与实施方式的注释装置对重复区间的修正相关的处理流程的一例。
图18例示实施方式的识别装置的处理流程的一例。
图19示意性地例示适用本发明的其他场景的一例。
图20示意性地例示另一形态的识别装置的软件结构的一例。
具体实施方式
以下，基于附图来说明本发明的一方面的实施方式(以下也称作“本实施方式”)。但是，以下说明的本实施方式在所有方面不过是本发明的例示。当然能够不脱离本发明的范围而进行各种改良或变形。即，在本发明的实施时，也可适当采用与实施方式相应的具体构成。另外，对于在本实施方式中出现的数据，通过自然语言进行了说明，更具体而言，以计算机可识别的伪语言、命令、参数、机器语言等来指定。
§1适用例
首先，使用图1来说明适用本发明的场景的一例。图1示意性地例示本实施方式的识别系统100的适用场景的一例。本实施方式的识别系统100是用于对工厂的作业员的行动状态进行监测的系统，包括经由网络而分别连接的注释装置1、学习装置2及识别装置4。
注释装置1是获取将传感器的输出按时间序列排列而成的传感器数据，并对所获取的传感器数据赋予多个标签的信息处理装置。对于传感器，只要能够顺着时间序列来获取某些数据，则其种类并无特别限定，可根据实施方式来适当选择。传感器例如可为生物传感器(可测定脉搏、体温、肌电、心电、脑波等的传感器)、活动量传感器(可测定振动、加速度等的传感器)、运动传感器、摄像机、麦克风、测力传感器等。
而且，传感器数据是在时间轴上将传感器的输出沿着时间序列排列而成，其种类可根据传感器的种类来适当决定。传感器数据例如可为数值数据、文本数据、图像数据及声音数据的至少任一种。由于传感器数据是传感器的输出沿着时间序列排列而成，因此也可被称作“时间序列数据”。
本实施方式中，为了对工厂的作业员的状态进行监测，利用摄像机31及活动量传感器32来作为传感器的一例。摄像机31可为公知的摄像装置，生成图像数据来作为传感器数据122。而且，活动量传感器32例如为加速度传感器，被安装于作业员的衣服。活动量传感器32生成数值数据来作为传感器数据122。摄像机31及活动量传感器32是本发明的“对工厂的作业员的状态进行监测的传感器”的一例。本实施方式的注释装置1从摄像机31及活动量传感器32获取传感器数据122。另外，图1中，为了简化，作为传感器数据122，仅例示了从活动量传感器32获得的数值数据。本实施方式中，从摄像机31获得的图像数据也与从活动量传感器32获得的数值数据同样地受到处理，因而省略图示。
接下来，本实施方式的注释装置1对所获取的传感器数据122赋予多个标签，由此生成带标签的传感器数据124。此时，对传感器数据122所设定的多个时间区间包含在时间序列上彼此邻接的第一时间区间及第二时间区间。第二时间区间被设定为，在时间序列上连续于第一时间区间之后。而且，所赋予的多个标签包含第一标签1231及第二标签1232。第一标签1231被赋予给第一时间区间，第二标签1232被赋予给第二时间区间。
被赋予标签的各时间区间是在传感器数据122中，通过开始时刻与结束时刻而在时间序列(时间轴)上设定的区间。本实施方式中，第一时间区间的开始时刻被设定为第二时间区间的开始时刻之前，且第一时间区间的结束时刻被设定为第二时间区间的结束时刻之前，与此相对，第一时间区间的结束时刻被设定为第二时间区间的开始时刻之后。由此，本实施方式中，第一时间区间及第二时间区间被设定为，具有在时间序列上局部重复的重复区间。所述重复区间可视为被赋予有对第一时间区间及第二时间区间分别赋予的第一标签1231及第二标签1232这两者的时间区间。而且，对于所述重复区间，也能够赋予与第一标签1231及第二标签1232不同的标签(例如，表示从第一标签1231向第二标签1232迁移的标签)。
对各时间区间赋予的各标签是对传感器数据中的目标时间区间赋予某些信息，其内容可根据实施方式来适当决定。而且，各标签例如可被设定为表示目标时间区间的数据的内容、特征等。本实施方式中，各标签的内容被设定为，表示对被赋予所述各标签的时间区间内的传感器数据122的规定推论的正解。具体而言，传感器数据122是从用于对工厂的作业员的状态进行监测的摄像机31及活动量传感器32获得，因此各标签被设定为，表示所赋予的时间区间的传感器数据122所表示的作业员的行动状态的正解。
因此，作为规定推论的一例，所生成的带标签的传感器数据124可利用于监督学习，所述监督学习用于使学习器学会基于从摄像机及活动量传感器获得的传感器数据来对作业员的行动状态的种类进行推测的能力。因此，本实施方式的学习装置2从注释装置1获取带标签的传感器数据124，利用所获取的带标签的传感器数据124来实施学习器的监督学习。由此，本实施方式的学习装置2将学习完毕的学习器构建为具有下述能力，即，基于从摄像机及活动量传感器获得的传感器数据来推测作业员的行动状态的种类。
具体而言，学习装置2经由网络等而从注释装置1获取带标签的传感器数据124。并且，学习装置2使学习器(后述的神经网络5)进行学习，以使其在输入目标时间区间的传感器数据122时，输出与对所输入的传感器数据122的时间区间赋予的标签对应的值。由此，学习装置2利用带标签的传感器数据124来构建学习完毕的学习器，所述学习完毕的学习器基于从摄像机及活动量传感器获得的数据来推测作业员的行动状态的种类。
并且，本实施方式的识别装置4利用所述学习完毕的学习器来进行作业员的行动状态的推测。即，本实施方式的识别装置4从摄像机31及活动量传感器32获取作为对作业员的行动状态进行推测的目标的目标传感器数据。继而，识别装置4将目标传感器数据输入至学习完毕的学习器，并从所述学习完毕的学习器获得输出，由此来推测所述目标传感器数据所表示的作业员的行动状态。并且，识别装置4输出对作业员的行动状态进行推测所得的结果。
如上所述，本实施方式的注释方法中，在对传感器数据122赋予多个标签时，在被赋予第一标签1231的第一时间区间与被赋予第二标签1232的第二时间区间之间，设置在时间序列上局部重复的重复区间。由此，能够使第一时间区间与第二时间区间的边界具备时间上的宽度，从而也可不将由第一标签1231所示的状态向由第二标签1232所示的状态迁移的时机决定为一点。即，能够视为从由第一标签1231所示的状态向由第二标签1232所示的状态的迁移是在图1所示的重复区间内的任一时刻发生，或者通过重复区间来表示发生所述迁移的区间。
因此，根据本实施方式的注释方法，能够通过设定在第一时间区间与第二时间区间之间的重复区间，来适当表示发生从由第一标签1231所示的状态向由第二标签1232所示的状态的迁移的区间。因此，与将时间区间的边界决定为一点的以往方法相比，能够更准确地对传感器数据122赋予所期望的信息。
而且，在以往的方法中，若因将各时间区间的边界时刻设定为错误的时刻，或者对从某状态转变为其他状态的区间赋予了表示任一状态的标签，而对传感器数据赋予的信息不准确，则有可能在利用标签的场景下造成各种不良影响。例如设想下述场景：利用通过所述案例而获得的带标签的传感器数据来实施监督学习，所述监督学习使学习器获得针对传感器数据进行推测用户行动状态的推论的能力。此时，有可能因尽管尚处于步行状态的时刻，但将此时刻设定为向下个行动状态迁移的边界时刻，或者对从步行状态向坐位状态转变的区间赋予了表示“步行状态”的标签等，而进行未能准确反映用户的行动状态的标签赋予。若未准确反映用户的行动状态来进行标签赋予，则至少部分标签不会准确表示用户的行动状态。由此，在利用此部分的标签来作为正解数据(教学数据)时，将会实施错误的学习，从而通过监督学习而构建的学习完毕的学习器的性能(即，推论的能力)有可能降低。
与此相对，根据本实施方式，能够对传感器数据122更准确地赋予包含正解数据的所期望的信息。因此，通过利用所述带标签的传感器数据124来实施监督学习，便能够构建推论能力相对较高的学习完毕的学习器。例如，在监督学习中利用带标签的传感器数据124的学习装置2中，能够构建基于从摄像机及活动量传感器获得的数据来对作业员的行动状态的种类进行推测的能力更高的、学习完毕的学习器。由此，识别装置4能够高精度地推测作业员的行动状态。
§2结构例
[硬件结构]
<注释装置>
接下来，使用图2来说明本实施方式的注释装置1的硬件结构的一例。图2示意性地例示本实施方式的注释装置1的硬件结构的一例。
如图2所示，本实施方式的注释装置1是由控制部11、存储部12、通信接口13、外部接口14、输入装置15、输出装置16及驱动器17电连接而成的计算机。另外，图2中，将通信接口及外部接口分别记作“通信I/F”及“外部I/F”。
控制部11包含作为硬件处理器的中央处理器(Central Processing Unit，CPU)、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)等，且构成为，基于程序及各种数据来执行信息处理。存储部12是存储器的一例，例如包含硬盘驱动器(hard disk drive)、固态硬盘(solid state drive)等。本实施方式中，存储部12存储注释程序121、传感器数据122、标签数据123等各种信息。
注释程序121是用于获取传感器数据122，并使注释装置1执行对所获取的传感器数据122进行注释的后述的信息处理(图9、图17)的程序，包含所述信息处理的一连串命令。标签数据123是用于对被赋予给传感器数据122的多个标签进行管理的数据。带标签的传感器数据124包含传感器数据122及标签数据123。详情将后述。
通信接口13例如是有线局域网(Local Area Network，LAN)模块、无线LAN模块等，是用于进行经由网络的有线或无线通信的接口。注释装置1能够通过所述通信接口13来与学习装置2进行经由网络的数据通信。另外，与学习装置2之间的网络的种类例如可从国际互联网(Internet)、无线通信网、移动通信网、电话网、专用网等中适当选择。
外部接口14例如是通用串行总线(Universal Serial Bus，USB)端口(port)、专用端口等，是用于与外部装置连接的接口。外部接口14的种类及数量可根据所连接的外部装置的种类及数量来适当选择。本实施方式中，注释装置1经由外部接口14而连接于摄像机31及活动量传感器32。
摄像机31及活动量传感器32是本发明的“传感器”的一例。为了对工厂的作业员的状态进行监测，例如摄像机31被配置在可拍摄作业员的场所，活动量传感器32被安装于作业员的衣服。另外，在摄像机31及活动量传感器32包括通信接口的情况下，注释装置1可经由通信接口13而非外部接口14来连接于摄像机31及活动量传感器32。
输入装置15例如是鼠标、键盘等用于进行输入的装置。而且，输出装置16例如是显示器、扬声器等用于进行输出的装置。标签对传感器数据122的赋予既可由装置自动进行，也可通过用户操作装置来进行。在由用户进行标签赋予的情况下，所述用户利用输入装置15及输出装置16来操作注释装置1，由此能够对传感器数据122赋予标签。
驱动器17例如是光盘(Compact Disk，CD)驱动器、数字多功能光盘(DigitalVersatile Disk，DVD)驱动器等，是用于读取存储在存储介质91中的程序的驱动器装置。驱动器17的种类可根据存储介质91的种类来适当选择。所述注释程序121及传感器数据122中的至少任一者也可存储在所述存储介质91中。
存储介质91是通过电、磁、光学、机械或化学作用来保存所述程序等信息，以便计算机或其他装置、机械等能够读取所记录的程序等信息的介质。注释装置1也可从所述存储介质91获取所述注释程序121及传感器数据122中的至少任一者。
此处，图2中，作为存储介质91的一例，例示了CD、DVD等碟型的存储介质。但是，存储介质91的种类并不限定于碟型，也可为碟型以外。作为碟型以外的存储介质，例如可列举快闪存储器(flash memory)等半导体存储器。
另外，关于注释装置1的具体的硬件结构，可根据实施方式来适当地进行构成元件的省略、替换及追加。例如，控制部11也可包含多个硬件处理器。硬件处理器可包含微处理器、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)等。存储部12也可包含控制部11中所含的RAM及ROM。通信接口13、外部接口14、输入装置15及输出装置16中的至少任一者也可予以省略。注释装置1也可包含多台计算机。此时，各计算机的硬件结构既可一致，也可不一致。而且，注释装置1除了专为所提供的服务设计的信息处理装置以外，还可为通用的服务器(server)装置、通用的个人计算机(Personal Computer，PC)等。
<学习装置>
接下来，使用图3来说明本实施方式的学习装置2的硬件结构的一例。图3示意性地例示本实施方式的学习装置2的硬件结构的一例。
如图3所示，本实施方式的学习装置2是由控制部21、存储部22、通信接口23、输入装置24、输出装置25及驱动器26电连接而成的计算机。另外，图3中，与图2同样，将通信接口记作“通信I/F”。
控制部21～驱动器26及存储介质92分别具有与所述注释装置1的控制部11～通信接口13、输入装置15～驱动器17及存储介质91同样的结构。控制部21包含作为硬件处理器的CPU、RAM、ROM等，且构成为，基于程序及数据来执行各种信息处理。存储部22例如包含硬盘驱动器、固态硬盘等。存储部22存储学习程序221、带标签的传感器数据124、学习结果数据222、评估用数据集223、评估结果数据224等各种信息。
学习程序221是用于使学习装置2执行后述的监督学习的信息处理(图16)的程序，且包含所述信息处理的一连串命令，所述监督学习用于使学习器学会利用带标签的传感器数据124来进行规定推论的能力。学习结果数据222是用于进行通过所述监督学习而构建的学习完毕的学习器的设定的数据。评估用数据集223是用于对通过所述监督学习而构建的学习完毕的学习器所具有的推论能力进行评估的数据集。评估结果数据224表示利用评估用数据集223来对所述学习完毕的学习器所具有的进行推论的能力进行评估的结果。详情将后述。
通信接口23例如是有线LAN模块、无线LAN模块等，是用于进行经由网络的有线或无线通信的接口。学习装置2能够通过所述通信接口23来与注释装置1进行经由网络的数据通信。
输入装置24例如是鼠标、键盘等用于进行输入的装置。而且，输出装置25例如是显示器、扬声器等用于进行输出的装置。操作员能够经由输入装置24及输出装置25来操作学习装置2。
驱动器26例如是CD驱动器、DVD驱动器等，是用于读取存储在存储介质92中的程序的驱动器装置。驱动器26的种类可根据存储介质92的种类来适当选择。所述学习程序221、带标签的传感器数据124及评估用数据集223的至少一个也可被存储在所述存储介质92中。
存储介质92是通过电、磁、光学、机械或化学作用来保存所述程序等信息，以便计算机或其他装置、机械等能够读取所记录的程序等信息的介质。学习装置2也可从所述存储介质92获取所述学习程序221、带标签的传感器数据124及评估用数据集223的至少一个。
此处，图3中，与图2同样，作为存储介质92的一例，例示了CD、DVD等碟型的存储介质。但是，存储介质92的种类与所述存储介质91同样，并不限定于碟型，也可为碟型以外。
另外，关于学习装置2的具体的硬件结构，与所述注释装置1同样，可根据实施方式来适当地进行构成元件的省略、替换及追加。而且，学习装置2除了专为所提供的服务设计的信息处理装置以外，还可为通用的服务器装置、PC等。
<识别装置>
接下来，使用图4来说明本实施方式的识别装置4的硬件结构的一例。图4示意性地例示本实施方式的识别装置4的硬件结构的一例。
如图4所示，本实施方式的识别装置4是由控制部41、存储部42、通信接口43、外部接口44、输入装置45、输出装置46及驱动器47电连接而成的计算机。另外，图4中，与图2同样，将通信接口及外部接口分别记作“通信I/F”及“外部I/F”。
控制部41～驱动器47及存储介质94分别具有与所述注释装置1的控制部11～驱动器17及存储介质91同样的结构。控制部41包含作为硬件处理器的CPU、RAM、ROM等，且构成为，基于程序及数据来执行各种信息处理。存储部42例如包含硬盘驱动器、固态硬盘等，存储识别程序421、学习结果数据222等各种信息。识别程序421是用于使识别装置4执行后述的信息处理(图18)的程序，且包含所述信息处理的一连串命令，所述信息处理是用于利用由学习装置2所构建的学习完毕的学习器来推测作业员的行动状态。详情将后述。
通信接口43例如是有线LAN模块、无线LAN模块等，被用于与注释装置1及学习装置2进行经由网络的数据通信。外部接口44例如是USB端口、专用端口等，被用于连接至摄像机31及活动量传感器32。输入装置45例如是鼠标、键盘等用于进行输入的装置。而且，输出装置46例如是显示器、扬声器等用于进行输出的装置。用户能够经由输入装置45及输出装置46来操作识别装置4。
驱动器47例如是CD驱动器、DVD驱动器等，是用于读取存储在存储介质94中的程序的驱动器装置。驱动器47的种类可根据存储介质94的种类来适当选择。所述识别程序421及学习结果数据222的至少一个也可被存储在所述存储介质94中。存储介质94是通过电、磁、光学、机械或化学作用来保存所述程序等信息，以便计算机或其他装置、机械等能够读取所记录的程序等信息的介质。识别装置4也可从所述存储介质94获取所述识别程序421及学习结果数据222的至少一个。此处，图4中，与图2及图3同样，作为存储介质94的一例，例示了CD、DVD等碟型的存储介质。但是，存储介质94的种类与所述同样，并不限定于碟型，也可为碟型以外。
另外，关于识别装置4的具体的硬件结构，与所述注释装置1及学习装置2同样，可根据实施方式来适当地进行构成元件的省略、替换及追加。而且，识别装置4除了专为所提供的服务设计的信息处理装置以外，还可为通用的服务器装置、PC等。
[软件结构]
<注释装置>
接下来，使用图5来说明本实施方式的注释装置1的软件结构的一例。图5示意性地例示本实施方式的注释装置1的软件结构的一例。
注释装置1的控制部11将存储在存储部12中的注释程序121展开到RAM中。并且，控制部11通过CPU来解释及执行在RAM中展开的注释程序121，从而控制各构成元件。由此，如图5所示，本实施方式的注释装置1构成为包括数据获取部111、标签赋予部112及区间修正部113来作为软件模块的计算机。即，本实施方式中，各软件模块是通过控制部11(CPU)来实现。
数据获取部111获取将传感器(本实施方式中为摄像机31、活动量传感器32)的输出按时间序列排列而成的传感器数据122。标签赋予部112对所获取的传感器数据122赋予多个标签。此时，标签赋予部112在传感器数据122的至少一部分中，在被分别赋予标签且在时间序列(时间轴)上连续的两个时间区间之间，设置在时间序列(时间轴)上局部重复的重复区间。
具体而言，所赋予的多个标签包含所述第一标签1231及第二标签1232。标签赋予部112将赋予第一标签1231的第一时间区间、及在时间序列上邻接于第一时间区间之后且赋予第二标签1232的第二时间区间设定为如下。
即，标签赋予部112在对传感器数据122设定赋予各标签的各时间区间时，将第一时间区间的开始时刻设定为第二时间区间的开始时刻之前，且将第一时间区间的结束时刻设定为第二时间区间的结束时刻之前。另一方面，标签赋予部112将第一时间区间的结束时刻设定为第二时间区间的开始时刻之后。由此，标签赋予部112将第一时间区间及第二时间区间设定为，在彼此邻接的第一时间区间及第二时间区间之间，设置在时间序列上局部重复的重复区间。标签赋予部112将像这样进行了标签赋予的结果作为标签数据123予以保存。
另外，对各时间区间赋予的各标签的内容可根据实施方式来适当决定。本实施方式中，标签赋予部112将各标签的内容设定为，表示对被赋予各标签的时间区间内的传感器数据122的规定推论的正解。因此，各标签也可被称作“教学数据”或“正解数据”。
本实施方式中，传感器数据122是从用于对工厂的作业员的状态进行监测的摄像机31及活动量传感器32获得，因此标签赋予部112能够将各标签的内容设定为，表示所赋予的时间区间内的作业员的行动状态。由此，作为规定推论的一例，标签赋予部112能够生成可利用于监督学习的带标签的传感器数据124，所述监督学习用于使学习器学会基于从摄像机及活动量传感器获得的数据来推测作业员的行动状态的能力。
区间修正部113获取评估结果数据224，所述评估结果数据224表示对被构建为具有进行规定推论的能力的学习完毕学习器的评估结果。并且，区间修正部113基于由所获取的评估结果数据所示的评估结果，来进行重复区间的时宽变更。在对重复区间的时宽进行了变更的情况下，区间修正部113将变更内容反映至标签数据123。
<学习装置>
接下来，使用图6来说明本实施方式的学习装置2的软件结构的一例。图6示意性地例示本实施方式的学习装置2的软件结构的一例。
学习装置2的控制部21将存储在存储部22中的学习程序221展开到RAM中。并且，控制部21通过CPU来解释及执行在RAM中展开的学习程序221，从而控制各构成元件。由此，如图6所示，本实施方式的学习装置2构成为包括学习数据获取部211、学习处理部212及性能评估部213来作为软件模块的计算机。即，本实施方式中，各软件模块是通过控制部21(CPU)来实现。
学习数据获取部211获取利用于机器学习的学习用数据集125。学习处理部212利用学习用数据集125来实施神经网络5的监督学习。由此，学习处理部212构建学会了进行规定推论的能力的学习完毕的神经网络5。神经网络5是“学习器”的一例。性能评估部213利用评估用数据集223来评估所构建的学习完毕的神经网络5的性能，并将其评估结果作为评估结果数据224予以保存。
(学习过程)
此处，进一步使用图7A来说明学习处理部212所进行的监督学习的过程。图7A示意性地例示本实施方式的学习处理部212所进行的神经网络5的监督学习的过程。
首先，对被利用于监督学习的学习用数据集125进行说明。学习用数据集125包含传感器数据1251及标签1252的对，是由带标签的传感器数据124而生成。具体而言，以赋予标签的时间区间为单位来提取带标签的传感器数据124，由此便能够生成学习用数据集125。即，传感器数据1251是以目标时间区间来确定的传感器数据122的部分，标签1252是被分配给所述时间区间的标签。
接下来，对通过监督学习来学会进行规定推论的能力的学习模型即神经网络5进行说明。本实施方式的神经网络5是所谓的多层结构的神经网络，从输入侧起依序包括输入层51、中间层(隐藏层)52及输出层53。但是，神经网络5的层数也可不限定于此例，可根据实施方式来适当选择。
各层51～53包括一个或多个神经元(neuron)(节点)。各层51～53中所含的神经元的个数可根据实施方式来适当设定。例如，输入层51的神经元的数量可根据传感器数据1251来适当设定。而且，输出层51的神经元的数量可根据标签1252的种类的数量来设定。
邻接的层的神经元彼此适当结合，对于各结合，设定有权重(结合负载)。图7A的示例中，各神经元与邻接的层的所有神经元相结合。但是，神经元的结合也可不限定于此例，可根据实施方式来适当设定。
对于各神经元设定有阈值，基本上，根据各输入与各权重之积的和是否超过阈值来决定各神经元的输出。学习处理部212构建神经网络5，所述神经网络5在对输入层51输入各学习用数据集125的传感器数据1251时，从输出层53输出与跟所输入的传感器数据1251相关联的标签1252对应的值。并且，学习处理部212将表示所构建的神经网络5的结构(例如神经网络的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元的传递函数)、各神经元间的结合的权重、及各神经元的阈值的信息作为学习结果数据222而保存到存储部22中。
(评估过程)
接下来，进一步使用图7B来说明性能评估部213对学习完毕的神经网络5的性能评估的过程。图7B示意性地例示本实施方式的性能评估部213对学习完毕的神经网络5的性能评估的过程。
对于学习完毕的神经网络5的性能评估，利用评估用数据集223。评估用数据集223与学习用数据集125同样，包含传感器数据2231及标签2232的对。评估用数据集223的传感器数据2231是本发明的“与传感器数据不同的其他传感器数据”的一例。
所述评估用数据集223可根据实施方式而适当生成。例如，评估用数据集223可由带标签的传感器数据124中的、作为所述学习用数据集125而利用的部分以外的其他部分所生成。此时，评估用数据集223能够利用与所述学习用数据集125同样的方法而生成。而且，例如，评估用数据集223也可通过操作员对从摄像机及活动量传感器获得的传感器数据适当进行标签赋予而生成。
性能评估部213将评估用数据集223的传感器数据2231输入至学习完毕的神经网络5的输入层51，执行所述学习完毕神经网络5的运算处理，由此，从输出层53获得输出值。所述输出值表示通过学习完毕的神经网络5对传感器数据2231进行规定推论所得的结果。
因此，性能评估部213通过对所获得的输出值与跟所输入的传感器数据2231相关联的标签2232进行比较，来判定学习完毕的神经网络5对传感器数据2231的规定推论是否正确。由此，本实施方式的性能评估部213能够获得以通过学习完毕的神经网络5对传感器数据2231进行规定推论时的正答率来表达的评估结果。性能评估部213将所获得的评估结果的信息作为评估结果数据224而保存到存储部22中。
另外，所述正答率是利用于评估的评估用数据集223中的、学习完毕的神经网络5所作出的规定推论为正确的评估用数据集223的比例。相反，能够将利用于评估的评估用数据集223中的、学习完毕的神经网络5所作出的规定推论为错误的评估用数据集223的比例称作“误答率”。所述误答率与正答率为表里一体的关系。因此，本实施方式中，以误答率来表达评估结果等同于以正答率来表达评估结果。
<识别装置>
接下来，使用图8来说明本实施方式的识别装置4的软件结构的一例。图8示意性地例示本实施方式的识别装置4的软件结构的一例。
识别装置4的控制部41将存储在存储部42中的识别程序421展开到RAM中。并且，控制部41通过CPU来解释及执行在RAM中展开的识别程序421，从而控制各构成元件。由此，如图8所示，本实施方式的识别装置4构成为包括目标数据获取部411、状态推测部412及输出部413来作为软件模块的计算机。
目标数据获取部411获取作为对作业员的行动状态进行推测的目标的目标传感器数据422。状态推测部412包含学习完毕的神经网络5。具体而言，状态推测部412参照学习结果数据222，来进行利用于作业员的行动状态推测的、学习完毕的神经网络5的设定。接下来，状态推测部412对学习完毕的神经网络5输入目标传感器数据422，实施学习完毕的神经网络5的运算处理，由此，从所述学习完毕的神经网络5获得输出值。并且，状态推测部412基于从所述学习完毕的神经网络5获得的输出值，来推测目标传感器数据422所表示的作业员的行动状态。输出部413输出由状态推测部412对作业员的行动状态进行推测所得的结果。
<其他>
关于注释装置1、学习装置2及识别装置4的各软件模块，将以后述的运行例来进行详细说明。另外，本实施方式中，对注释装置1、学习装置2及识别装置4的各软件模块均通过通用的CPU来实现的示例进行了说明。但是，以上的各软件模块的一部分或全部也可通过一个或多个专用的处理器来实现。而且，关于注释装置1、学习装置2及识别装置4各自的软件结构，也可根据实施方式来适当地进行软件模块的省略、替换及追加。
§3运行例
[注释处理]
接下来，使用图9来说明注释装置1所进行的注释处理。图9是例示注释装置1所进行的注释处理的流程的一例的流程图。另外，以下说明的处理流程是本发明的“注释方法”的一例。但是，以下说明的处理流程不过是一例，各处理可尽可能变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换及追加。
(步骤S101)
步骤S101中，控制部11作为数据获取部111而运行，获取将传感器的输出按时间序列排列而成的传感器数据122。当获取传感器数据122时，将处理推进至下个步骤S102。
本实施方式中，摄像机31及活动量传感器32作为传感器而连接于注释装置1。因此，控制部11也可从摄像机31及活动量传感器32直接获取传感器数据122。而且，控制部11也可并非从传感器直接获取传感器数据122，而是经由其他的信息处理装置、存储介质等而间接地获取传感器数据122。获取传感器数据122的过程可根据实施方式来适当决定。
而且，传感器数据122既可为传感器的输出信号其自身，也可为通过对传感器的输出信号适用某些信息处理而获得的数据。传感器数据的内容只要能够赋予标签，则也可无特别限定。本实施方式中，控制部11能够从摄像机31及活动量传感器32获取图像数据及数值数据来作为传感器数据122。
(步骤S102及步骤S103)
步骤S102中，控制部11作为标签赋予部112而运行，对所获取的传感器数据122设定多个时间区间。接下来的步骤S103中，控制部11对所设定的各时间区间赋予一个或多个标签。由此，控制部11对传感器数据122赋予多个标签。
此处，进一步使用图10来说明赋予标签的方法。图10示意性地例示赋予第一标签1231的第一时间区间与赋予第二标签1232的第二时间区间的关系。本实施方式中，控制部11以下述方式来赋予包含第一标签1231及第二标签1232的多个标签，即，在传感器数据122的至少一部分，在时间序列(时间轴)上连续的两个时间区间之间，设置在时间序列(时间轴)上局部重复的重复区间。
具体而言，控制部11将被赋予第一标签1231的第一时间区间、及在时间序列上邻接于第一时间区间之后且被赋予第二标签1232的第二时间区间设定为如下。即，如图10所例示的那样，控制部11在对传感器数据122设定赋予各标签的各时间区间时，将第一时间区间的开始时刻设定为第二时间区间的开始时刻之前，且将第一时间区间的结束时刻设定为第二时间区间的结束时刻之前。另一方面，控制部11将第一时间区间的结束时刻设定为第二时间区间的开始时刻之后。由此，控制部11在时间序列(时间轴)上连续的第一时间区间及第二时间区间之间，设定在时间序列上局部重复的重复区间，以作为从第二时间区间的开始时刻直至第一时间区间的结束时刻为止之间的时间区间。
决定各时间区间的开始时刻及结束时刻的方法可根据实施方式来适当选择。例如，各时间区间的开始时刻及结束时刻也可由操作员等用户经由输入装置15来指定。而且，例如，各时间区间的开始时刻及结束时刻既可通过适当分析传感器数据122来决定，也可基于与获得传感器数据122的传感器不同的其他传感器的输出来决定。作为一例，设想对赋予表示作业员抓持了目标物的标签的时间区间进行设定的场景。在此场景中，控制部11也可通过对从摄像机31获得的传感器数据122(图像数据)进行图像分析来决定所述时间区间的开始时刻。除此以外，控制部11也可基于被安装于目标物的压力传感器的输出来决定所述时间区间的开始时刻。
在先决定了各时间区间的开始时刻及结束时刻的情况下，控制部11也可将所决定的第二时间区间的开始时刻设定为重复区间的开始时刻，并将所决定的第一时间区间的结束时刻设定为重复区间的结束时刻。另一方面，在通过后述的设定方法等而先决定了重复区间的范围的情况下，控制部11也可将所决定的重复区间的开始时刻设定为第二时间区间的开始时刻，将所决定的重复区间的结束时刻设定为第一时间区间的结束时刻。
另外，“第一”及“第二”的名称不过表示时间序列上的相对的位置关系。图10的示例中，被赋予第一标签1231的第一时间区间在与较此第一时间区间而在时间序列上位于之前的时间区间之间的关系上，也可作为被赋予第二标签的第二时间区间进行处理。同样，被赋予第二标签1232的第二时间区间在与较此第二时间区间而在时间序列上位于之后的时间区间之间的关系上，也可作为被赋予第一标签的第一时间区间进行处理。
而且，重复区间的时宽可根据实施方式来适当决定。例如，在对摄像机31、活动量传感器32等传感器的输出进行数字信号处理的情况下，如图10所例示的那样，通过在每个采样周期对传感器的输出进行采样，从而获得传感器数据122。此时，控制部11也可基于传感器的采样周期，以重复区间包含对传感器的输出分别进行采样的多个采样点的方式来设定重复区间的时宽。即，控制部11也可以成为采样周期的两倍以上的方式来设定重复区间的时宽。由此，能够避免重复区间实质上被设定为仅包含一个时间点，从而能够使第一时间区间与第二时间区间的边界切实地具备时间上的宽度。图10的示例中，控制部11以包含六个采样点的方式来设定重复区间。
而且，设定重复区间(即，决定重复区间的范围)的方法可根据实施方式来适当选择。例如，控制部11也可通过从操作员受理重复区间的开始时刻及结束时刻的输入，来决定重复区间的范围。本实施方式中，能够通过以下的三种方法来决定重复区间的范围。
(A-1)第一方法
首先，进一步使用图11A～图11C来说明用于设定重复区间的第一方法。图11A～图11C示意性地例示设定重复区间的第一方法的过程。第一方法中，控制部11基于暂定的边界时刻来决定重复区间的范围。
具体而言，如图11A所例示的那样，控制部11在第一时间区间的开始时刻与第二时间区间的结束时刻之间，设定暂定划分第一时间区间与第二时间区间的边界时刻。设定边界时刻的方法可根据实施方式来适当选择。例如，控制部11也可经由输入装置15而从用户受理时刻的指定，将所指定的时刻设定为边界时刻。边界时刻的指定既可通过数值的输入来进行，也可通过时间线(time line)上的位置的指定来进行。而且，例如，边界时刻既可与所述开始时刻及结束时刻同样，通过对传感器数据122进行适当分析来设定，也可基于与获得传感器数据122的传感器不同的其他传感器的输出来设定。
继而，如图11B所例示的那样，控制部11以包含所设定的暂定的边界时刻之前及之后的至少一个时刻的方式，来设定具有规定时宽的重复区间。由此，控制部11能够决定重复区间的范围。另外，图11B的示例中，控制部11以包含边界时刻的前后两者的时刻的方式来设定重复区间。但是，基于边界时刻的重复区间的设定方法也可不限定于此例，控制部11也可以仅包含边界时刻的前后任一个时刻的方式来设定重复区间。
重复区间的规定时宽可根据实施方式来适当决定。例如，规定时宽也可为固定值。固定值既可在注释程序121内预先给予，也可通过操作员等用户的输入来给予。此时，控制部11也可在传感器数据122中，以暂定的边界时刻为基准，来设定具有所给予的固定值的时宽的重复区间。由此，能够抑制在步骤S102中设定重复区间所耗费的计算量。
而且，例如，规定时宽可基于第一标签1231及第二标签1232的至少一者的种类来决定。此时，注释装置1也可将表示标签的种类与所设定的时宽的值的对应关系的对应信息保持在存储部12中。并且，控制部11也可参照对应信息，以暂定的边界时刻为基准，来设定具有与对第一时间区间赋予的第一标签1231及对第二时间区间赋予的第二标签1232的至少一者的种类对应的值的时宽的重复区间。由此，能够基于所赋予的标签的种类，来适当设定重复区间的时宽，因此能够更准确地对传感器数据122赋予所期望的信息。
另外，与标签的种类相应的重复区间的时宽的具体的值可根据实施方式来适当决定。例如，本实施方式中，设想通过摄像机31及活动量传感器32来对工厂的作业员的“目测”、“抓持”、“搬运”及“调整”的动作进行监测的场景。此时设想为：从“目测”状态向“抓持”状态迁移时与从“抓持”状态向“搬运”状态迁移时相比，通常，所述状态的迁移耗费的时间长。因此，在所述对应信息中，与“目测”及“抓持”对应的时宽的值也可被设定为大于与“抓持”及“搬运”对应的时宽的值。
最后，如图11C所示，控制部11将重复区间的结束时刻设定为第一时间区间的结束时刻，将第一时间区间的开始时刻与重复区间的结束时刻之间的范围设定为第一时间区间的范围。而且，控制部11将重复区间的开始时刻设定为第二时间区间的开始时刻，将重复区间的开始时刻与第二时间区间的结束时刻之间的范围设定为第二时间区间的范围。由此，控制部11能够以在彼此之间具有重复区间的方式来设定第一时间区间及第二时间区间。
另外，第一时间区间的开始时刻及第二时间区间的结束时刻可如上述那样适当决定。而且，图11A～图11C所示的第一时间区间在与所述第一时间区间之前的时间区间的关系上，作为第二时间区间进行处理的情况下，控制部11也可将依与之前的时间区间的关系而设定的重复区间的开始时刻设定为第一时间区间的开始时刻。同样，图11A～图11C所示的第二时间区间在与所述第二时间区间之后的时间区间的关系上，作为第一时间区间进行处理的情况下，控制部11也可将依与之后的时间区间的关系而设定的重复区间的结束时刻设定为第二时间区间的结束时刻。以下的第二方法及第三方法中也同样。
(A-2)第二方法
接下来，进一步使用图12来说明用于设定重复区间的第二方法。图12示意性地例示设定重复区间的第二方法的一例。第二方法中，利用关于边界时刻的多个指定的波动来决定重复区间的范围。
具体而言，控制部11受理关于边界时刻的多个指定，所述边界时刻暂定划分第一时间区间与第二时间区间。与第一方法同样，控制部11也可经由输入装置15而从用户受理边界时刻的指定。而且，边界时刻的指定既可通过数值的输入来进行，也可通过时间线上的位置的指定来进行。此时，控制部11既可从一位用户受理边界时刻的多个指定，也可从一位用户仅受理一个指定。受理边界时刻的多个指定的方法可根据实施方式来适当决定。
继而，控制部11算出通过多个指定而给予的边界时刻的平均及偏差的至少任一个，基于所算出的平均及偏差的至少任一个来设定重复区间。偏差可通过方差、标准偏差等来给予。例如，控制部11也可将所算出的边界时刻的平均时刻设定为重复区间的基准(例如中央的时刻等)。而且，控制部11也可将所算出的方差或标准偏差的n倍的值(n为任意数字)设定为重复区间的时宽。由此，能够基于通过多个指定而给予的边界时刻的平均及偏差，来决定重复区间的范围。在决定了重复区间的范围后，控制部11能够通过与所述第一方法同样的方法，来决定第一时间区间及第二时间区间各自的范围。根据所述第二方法，能够利用关于边界时刻的多个指定的波动，来适当地设定重复区间，因此能够更准确地对传感器数据122赋予所期望的信息。
另外，在未利用平均及偏差的其中任一者的情况下，由未利用的值所确定的重复区间的属性可适当决定。例如在未利用平均的情况下，控制部11也可将通过多个指定而给予的边界时刻的任一个设定为重复区间的基准(例如中央的时刻、开始时刻、结束时刻等)。而且，例如在未利用偏差的情况下，控制部11也可利用与所述第一方法同样的方法，来决定重复区间的时宽的值。
(A-3)第三方法
接下来，进一步使用图13来说明用于设定重复区间的第三方法。图13示意性地例示设定重复区间的第三方法的一例。第三方法中，直接受理重复区间的范围的指定。
具体而言，控制部11受理第一时间区间与第二时间区间重复的区间的指定。并且，控制部11将所指定的区间设定为重复区间。设定了重复区间后，控制部11能够通过与所述第一方法同样的方法，来决定第一时间区间及第二时间区间各自的范围。根据所述第三方法，能够简便地设定重复区间，因此能够抑制步骤S102的处理所耗费的计算量。
另外，受理重复区间的指定的方法可根据实施方式来适当决定。例如，控制部11也可将用于显示第一时间区间及第二时间区间各自的范围的时间线输出至输出装置16(例如显示器)，在所述时间线上受理第一时间区间与第二时间区间重复的区间的指定。此时，操作员等用户通过操作输入装置15，便能够在时间线上指定重复区间的范围。
(B)标签的内容
接下来，对所赋予的标签的内容进行说明。所赋予的标签的内容可根据实施方式来适当决定。本实施方式中，控制部11将各标签的内容设定为，表示对被赋予各标签的时间区间内的传感器数据122的规定推论的正解。具体而言，传感器数据122是从用于对工厂的作业员的状态进行监测的摄像机31及活动量传感器32获得。因此，控制部11也可将各标签的内容设定为，表示对应的各时间区间内所表示的作业员的行动状态。由此，能够生成可利用于监督学习的、带标签的传感器数据124，所述监督学习用于使学习器学会进行规定推论的能力。作为规定推论的一例，可列举基于从摄像机及活动量传感器获得的数据来推测作业员的行动状态的能力。
另外，决定标签内容的方法可根据实施方式来适当选择。例如，控制部11也可将所赋予的标签的候补的一览输出至输出装置16(例如显示器)，以受理对各时间区间赋予的标签的选择。此时，用户操作输入装置15来从一览中选择所期望的标签，由此便能够决定对于目标时间区间赋予的标签的内容。而且，例如，标签的内容既可通过对传感器数据122的对应的时间区间的部分进行适当分析来决定，也可基于与获得传感器数据122的传感器不同的其他传感器的输出来决定。例如，控制部11也可利用已通过机器学习而学会了根据传感器数据来决定标签内容的能力的识别器，来决定对传感器数据122赋予的标签的内容。
而且，标签的数据格式可根据实施方式来适当决定。标签的内容例如可通过数值、文本、图像及声音的至少任一种来指定。作为具体例，对于传感器数据122的各时间区间，可赋予表示工厂的作业员的“目测”、“抓持”、“搬运”、“调整”等行动状态的文本来作为标签。而且，作为其他的具体例，对于传感器数据122的各时间区间，可赋予表示工厂的作业员的视野方向(角度)、手的位置、目标物的位置等的数值来作为标签。
而且，对于重复区间，也可赋予与第一标签1231及第二标签1232不同的标签。例如，对于重复区间，也可赋予表示从由第一标签1231所示的状态向由第二标签1232所示的状态迁移的标签。而且，例如在标签的内容是通过数值来指定的情况下，对于重复区间，也可赋予从第一标签1231的值向第二标签1232的值迁移的一个或多个值来作为标签。
图14示意性地例示对重复区间设定的标签的内容的一例。此时，控制部11对于从第一时间区间的开始时刻直至第二时间区间的开始时刻为止的区间，赋予第一值来作为第一标签1231。而且，控制部11对于从第一时间区间的结束时刻直至第二时间区间的结束时刻为止的区间，赋予第二值来作为第二标签1232。并且，控制部11对于从第一时间区间的结束时刻直至第二时间区间的开始时刻为止的重复区间，以从第一值向第二值迁移的方式而赋予一个或多个值来作为标签。
对重复区间赋予的标签的值是从第一值直至第二值之间的值。如图14中所例示的那样，在第一值小于第二值，且对重复区间赋予多个值来作为标签的情况下，控制部11以从重复区间的开始时刻朝向结束时刻而单调递增的方式，来选择对重复区间赋予的多个值。另一方面，在第一值大于第二值，且对重复区间赋予多个值来作为标签的情况下，控制部11以从重复区间的开始时刻朝向结束时刻而单调递减的方式，来选择对重复区间赋予的多个值。
(C)其他
根据以上，控制部11能够对传感器数据122设定包含彼此局部重复的第一时间区间及第二时间区间的多个时间区间，并对所设定的各时间区间赋予各标签。当对传感器数据122赋予多个标签时，控制部11将处理推进至下个步骤S104。
图15示意性地例示通过所述处理而对传感器数据122赋予了表示工厂的作业员的行动状态的标签的示例。对于图15所例示的传感器数据122，设定有四个时间区间T1～T4，对于所设定的各时间区间T1～T4，分别赋予有表示“目测”、“抓持”、“搬运”及“调整”的标签(文本)L1～L4。“目测”表示作业员正以视觉确认目标物的状态。“抓持”表示作业员正用手拿着目标物的状态。“搬运”表示作业员正用手运送目标物的状态。“调整”表示作业员正进行调节目标物的位置等其他行动的状态。
图15的示例中，在被赋予有“目测”标签L1的时间区间T1与被赋予有“抓持”标签L2的时间区间T2之间的关系上，时间区间T1相当于第一时间区间，时间区间T2相当于所述第二时间区间。“目测”标签L1相当于第一标签1231，“抓持”标签L2相当于第二标签1232。同样地，在被赋予有“抓持”标签L2的时间区间T2与被赋予有“搬运”标签L3的时间区间T3之间的关系上，时间区间T2相当于第一时间区间，时间区间T3相当于所述第二时间区间。“抓持”标签L2相当于第一标签1231，“搬运”标签L3相当于第二标签1232。而且，在被赋予有“搬运”标签L3的时间区间T3与被赋予有“调整”标签L4的时间区间T4之间的关系上，时间区间T3相当于第一时间区间，时间区间T4相当于所述第二时间区间。“搬运”标签L3相当于第一标签1231，“调整”标签L4相当于第二标签1232。
而且，图15的示例中，在时间序列(时间轴)上连续的两个时间区间(T1，T2)、(T2，T3)及(T3，T4)各自之间所设定的重复区间的时宽是根据对各时间区间赋予的标签的种类来决定。具体而言，设想为：从“目测”状态向“抓持”状态迁移时与从“抓持”状态向“搬运”状态迁移时相比，通常，所述状态的迁移耗费的时间长。因此，图15的示例中，时间区间(T1，T2)之间的重复区间的时宽被设定为长于时间区间(T2，T3)之间的重复区间。而且设想为：从“搬运”状态向“调整”状态迁移时与从“抓持”状态向“搬运”状态迁移时相比，通常，所述状态的迁移耗费的时间长。因此，图15的示例中，时间区间(T3，T4)之间的重复区间的时宽被设定为长于时间区间(T2，T3)之间的重复区间。这样，在时间序列上设有多个重复区间时，各重复区间的时宽可决定为，根据对构成各重复区间的至少两个时间区间赋予的至少两个标签的种类而不同。
另外，图15的示例中，在传感器数据122的多个邻接的时间区间各自之间设有重复区间。但是，设定重复区间的部分也可不限于此例。重复区间只要设在对传感器数据122设定的多个邻接的时间区间中的至少一部分即可。即，在传感器数据122中，也可存在邻接的时间区间之间未设有重复区间的部分。在未设有重复区间的部分，邻接的时间区间可与以往同样，通过边界时刻来划分。
(步骤S104)
步骤S104中，控制部11作为标签赋予部112而运行，将通过所述步骤S102及步骤S103进行了标签赋予的结果作为标签数据123而保存到存储部12中。由此，控制部11结束本运行例的注释处理，换言之，结束带标签的传感器数据124的生成处理。
另外，控制部11也可在所述步骤S104的处理完成后，在任意时机，将所生成的带标签的传感器数据124经由网络而转发至网络附加存储器(Network Attached Storage，NAS)、学习装置2等其他信息处理装置中。而且，控制部11也可将所生成的带标签的传感器数据124经由驱动器17而转发至存储介质。并且，转发完成后，控制部11也可从存储部12中删除所生成的带标签的传感器数据124。
[学习处理]
接下来，使用图16来说明学习装置2的运行例。图16是例示学习装置2的处理流程的一例的流程图。另外，以下说明的处理流程不过是一例，各处理可尽可能地变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换及追加。
(步骤S201)
步骤S201中，控制部21作为学习数据获取部211而运行，获取利用于神经网络5的监督学习的学习用数据集125。学习用数据集125包含传感器数据1251及标签1252的对，是由带标签的传感器数据124所生成。
学习用数据集125可适当获取。例如，控制部21也可经由网络而从注释装置1、NAS等，或者经由驱动器26而从存储介质获取带标签的传感器数据124。并且，控制部21也可通过以赋予标签的时间区间为单位来提取带标签的传感器数据124，从而生成学习用数据集125。由此，控制部21能够获取学习用数据集125。
而且，例如，学习用数据集125的生成也可由学习装置2以外的其他信息处理装置来进行。此时，控制部21能够经由网络、存储介质等来获取由其他信息处理装置所生成的学习用数据集125。所获取的学习用数据集125的件数可适当决定为能够实施神经网络5的监督学习的程度。当获取学习用数据集125时，控制部21将处理推进至下个步骤S202。
另外，在由带标签的传感器数据124生成学习用数据集125时，重复区间的处理可根据实施方式来适当决定。例如，重复区间的部分也可被废弃。即，在带标签的传感器数据124中，提取从第一时间区间的开始时刻直至第二时间区间的开始时刻为止的区间与从第一时间区间的结束时刻直至第二时间区间的结束时刻为止的区间，由此，也可生成与各个区间对应的学习用数据集125。
而且，例如，重复区间的部分也可被编入第一时间区间及第二时间区间这两部分。即，在带标签的传感器数据124中，提取从第一时间区间的开始时刻直至结束时刻为止的区间与从第二时间区间的开始时刻直至结束时刻为止的区间，由此，也可生成与各个区间对应的学习用数据集125。
而且，例如在对重复区间赋予有与第一标签1231及第二标签1232不同的标签的情况下，在带标签的传感器数据124中，提取从第二时间区间的开始时刻直至第一时间区间的结束时刻为止的重复区间，由此，也可生成与重复区间对应的学习用数据集125。此时，在带标签的传感器数据124中，提取从第一时间区间的开始时刻直至第二时间区间的开始时刻为止的区间与从第一时间区间的结束时刻直至第二时间区间的结束时刻为止的区间，由此，也可生成与各个区间对应的学习用数据集125。
(步骤S202)
步骤S202中，控制部21作为学习处理部212而运行，利用所获取的学习用数据集125来实施神经网络5的监督学习，以使其在输入传感器数据1251时，输出与标签1252对应的输出值。
具体而言，首先，控制部21准备作为进行学习处理的目标的神经网络5。所准备的神经网络5的结构、各神经元间的结合的权重的初始值及各神经元的阈值的初始值既可由模板(template)给予，也可通过操作员的输入来给予。而且，在进行再学习的情况下，控制部21也可基于作为进行再学习的目标的学习结果数据222来准备神经网络5。
接下来，控制部21利用在步骤S201中获取的学习用数据集125的传感器数据1251来作为输入数据(训练数据)，利用标签1252来作为教学数据(正解数据)，实施神经网络5的学习处理。对于所述神经网络5的学习处理，也可使用随机梯度下降法等公知的学习方法。
例如，控制部21对神经网络5的输入层51输入传感器数据1251。并且，控制部21从输入侧起依序进行各层51～53中所含的各神经元的点燃判定。由此，控制部21从神经网络5的输出层53获得输出值。接下来，控制部21算出从输出层53获得的输出值与跟标签1252对应的值的误差。继而，控制部21通过误差反向传播(Back propagation)法，使用所算出的输出值的误差，来算出各神经元间的结合的权重及各神经元的阈值各自的误差。并且，控制部21基于所算出的各误差，来进行各神经元间的结合的权重及各神经元的阈值各自的值的更新。
控制部21对于各件学习用数据集125重复所述一连串处理，直至从神经网络5输出的输出值与跟标签1252对应的值一致为止。由此，控制部21能够构建学习完毕的神经网络5，所述学习完毕的神经网络5在输入传感器数据1251时，输出与标签1252对应的输出值。
通过所述监督学习，能够使神经网络5学会进行规定推论的能力。本实施方式中，在所述注释处理中，各标签的内容被设定为，表示对应的各时间区间内所表示的作业员的行动状态。因此，通过本步骤S202的处理，能够构建学习完毕的神经网络5，所述学习完毕的神经网络5学会了基于从摄像机及活动量传感器获得的数据来推测作业员的行动状态的种类的能力。当神经网络5的学习处理完成时，控制部21将处理推进至下个步骤S203。
(步骤S203)
步骤S203中，控制部21作为学习处理部212而运行，将表示所构建的神经网络5的结构、各神经元间的结合的权重及各神经元的阈值的信息作为学习结果数据222而保存到存储部22中。当学习结果数据222的保存完成时，控制部21将处理推进至下个步骤S204。
(步骤S204)
步骤S204中，控制部21作为性能评估部213而运行，获取评估用数据集223。并且，控制部21利用所获取的评估用数据集223，对所构建的学习完毕的神经网络5的性能进行评估。
评估用数据集223与学习用数据集125同样，包含传感器数据2231及标签2232的对。所述评估用数据集223可根据实施方式而适当生成。例如，可由带标签的传感器数据124中的、作为所述学习用数据集125而利用的部分以外的其他部分而生成。此时，评估用数据集223能够以与所述学习用数据集125同样的方法来生成。
而且，例如准备摄像机及活动量传感器，通过所准备的摄像机及活动量传感器，在各种条件下观察工厂的作业员。并且，通过对所获得的传感器数据赋予表示作业员的行动状态的标签，从而能够生成评估用数据集223。此时，传感器数据能够通过与所述步骤S101同样的方法而获得。而且，对传感器数据设定的各时间区间的范围能够通过与所述步骤S102同样的方法来决定。进而，对传感器数据赋予的标签的内容能够通过与所述步骤S103同样的方法来决定。
另外，此种评估用数据集223的生成既可由学习装置2来进行，也可由学习装置2以外的其他信息处理装置来进行。例如，控制部21既可按照操作员等对输入装置24的操作来手动生成评估用数据集223，也可通过程序的处理而自动生成评估用数据集223。由此，控制部21能够获取评估用数据集223。而且，在由其他信息处理装置生成评估用数据集223的情况下，控制部21能够经由网络、存储介质等来获取由其他信息处理装置所生成的评估用数据集223。另外，所获取的评估用数据集223的件数可适当决定为能够对神经网络5的性能进行评估的程度。
接下来，控制部21对通过步骤S202而构建的学习完毕的神经网络5的输入层51，输入所获取的评估用数据集223的传感器数据2231。并且，控制部21进行学习完毕的神经网络5的运算处理，换言之，从输入侧起依序进行各层51～53中所含的各神经元的点燃判定。由此，控制部21从学习完毕的神经网络5的输出层53获得输出值。所述输出值表示由学习完毕的神经网络5对传感器数据2231进行规定推论所得的结果。本实施方式中，所述输出值可表示对传感器数据2231所表示的作业员的行动状态进行推测所得的结果。
因此，控制部21对所获得的输出值、与跟所输入的传感器数据2231相关联即跟所输入的传感器数据2231成对的标签2232进行比较。并且，控制部21基于其比较结果来判定学习完毕的神经网络5对传感器数据2231的规定推论是否正确。
若输出值与标签2232的值一致，则控制部21判定为学习完毕的神经网络5对传感器数据2231的规定推论正确。另一方面，若输出值与标签2232的值不一致，则控制部21判定为学习完毕的神经网络5对传感器数据2231的规定推论不正确。
通过对所获取的所有评估用数据集223执行所述一连串处理，控制部21能够算出由学习完毕的神经网络5对传感器数据2231进行规定推论时的正答率来作为评估结果。在获得对被构建为具有进行规定推论的能力的学习完毕的神经网络5的评估结果后，控制部21将处理推进至下个步骤S205。
(步骤S205)
步骤S205中，控制部21作为性能评估部213而运行，将通过步骤S204所获得的评估结果的信息作为评估结果数据224而保存到存储部22中。由此，控制部21结束本运行例的处理流程。
另外，控制部21也可在任意时机，将在所述处理流程中生成的学习结果数据222及评估结果数据224发送至其他信息处理装置。例如，控制部21也可经由网络、存储介质等，将所生成的学习结果数据222发送至用于对工厂的作业员的行动状态进行推测的其他信息处理装置。在其他信息处理装置中，借助从学习装置2获取的学习结果数据222，学习完毕的神经网络5变得可利用，所述学习完毕的神经网络5学会了基于从摄像机及活动量传感器获得的数据来推测作业员的行动状态的能力。而且，例如控制部21也可经由网络、存储介质等来将所生成的评估结果数据224发送至注释装置1、NAS等。注释装置1能够将评估结果数据224利用于以下的重复区间的修正处理。
[重复区间的修正]
接下来，使用图17来说明注释装置1对重复区间的修正处理。图17是例示与注释装置1对重复区间的修正相关的处理流程的一例的流程图。另外，包括所述注释处理在内，以下说明的处理流程是本发明的“注释方法”的一例。但是，以下说明的处理流程不过是一例，各处理可尽可能变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换及追加。
(步骤S301)
步骤S301中，控制部11作为区间修正部113而运行，获取评估结果数据224。评估结果数据224表示对学习完毕的神经网络5的评估结果，所述学习完毕的神经网络5被构建为具有下述能力，即，通过利用带标签的传感器数据124来实施监督学习，从而进行规定推论。获取评估结果数据224的方法可根据实施方式来适当选择。例如，控制部11也可经由网络、存储介质等来从学习装置2、NAS等获取评估结果数据224。当获取评估结果数据224时，控制部11将处理推进至下个步骤S302。
(步骤S302)
步骤S302中，控制部11作为区间修正部113而运行，基于由所获取的评估结果数据224所示的评估结果，来变更在所述步骤S102中所设定的重复区间的时宽。
本实施方式中，由评估结果数据224所示的评估结果可通过由学习完毕的神经网络5对传感器数据2231进行规定推论时的正答率来表达。因此，控制部11在由评估结果数据224所示的正答率为规定的阈值以下的情况下，也可通过缩窄或加宽重复区间的时宽来变更重复区间的时宽。另外，基于评估结果来变更重复区间的时宽的方法也可不限定于此例，可根据实施方式来适当决定。
(步骤S303)
步骤S303中，控制部11作为区间修正部113而运行，在通过步骤S302而变更了重复区间的时宽的情况下，将所述变更内容反映至标签数据123。由此，控制部11结束本运行例的重复区间的修正处理。
另外，控制部11也可经由网络、存储介质等来将变更了重复区间的时宽后的带标签的传感器数据124发送至学习装置2。学习装置2也可利用由变更了重复区间的时宽后的带标签的传感器数据124所生成的学习用数据集125，再次实施神经网络5的监督学习。进而，学习装置2也可对再次构建的神经网络5进行评估，以再次生成评估结果数据224。并且，控制部11也可获取再次生成的评估结果数据224，并再次执行重复区间的时宽的变更处理。这样，也可交替地反复执行学习装置2对神经网络5的学习处理及评估处理与注释装置1对重复区间的修正处理。
在执行所述反复处理的过程中，控制部11可在所述步骤S302中适当决定是缩窄还是加宽重复区间的时宽。例如，在初次执行步骤S302的处理时，控制部11也可选择重复区间的时宽的缩窄或加宽的哪一种。而且，在第二次以后的处理中，控制部11也可基于此前执行的重复区间的时宽的变更与通过此变更后的一连串处理所获得的评估结果，来适当决定是缩窄还是加宽重复区间的时宽。例如假设：在此前执行的步骤S302的处理中缩窄了重复区间的时宽的结果为，通过此变更后的一连串处理所获得的评估结果发生了恶化(例如正答率有所下降)。此时，控制部11也可通过加宽重复区间的时宽来变更重复区间的时宽。另一方面，在评估结果有所好转(例如正答率有所提高)的情况下，控制部11也可通过进一步缩窄重复区间的时宽来变更重复区间的时宽。
[识别处理]
接下来，使用图18来说明通过识别装置4来推测作业员的行动状态的处理。图18是例示本实施方式的识别装置4的处理流程的一例的流程图。另外，以下说明的处理流程不过是一例，各处理可尽可能变更。而且，对于以下说明的处理流程，可根据实施方式来适当地进行步骤的省略、替换及追加。
(步骤S401)
步骤S401中，控制部41作为目标数据获取部411而运行，获取作为对作业员的行动状态进行推测的目标的目标传感器数据422。当获取目标传感器数据422时，将处理推进至下个步骤S402。
本实施方式中，摄像机31及活动量传感器32作为对作业员的行动状态进行监测的传感器而连接于识别装置4。因此，控制部41也可从摄像机31及活动量传感器32直接获取目标传感器数据422。而且，控制部41也可并非从传感器直接获取目标传感器数据422，而是经由其他信息处理装置、存储介质等来间接地获取目标传感器数据422。获取目标传感器数据422的过程可根据实施方式来适当决定。
(步骤S402)
步骤S402中，控制部41作为状态推测部412而运行，参照学习结果数据222来进行利用于作业员的行动状态推测的学习完毕的神经网络5的设定。接下来，控制部41对学习完毕的神经网络5输入目标传感器数据422，执行学习完毕的神经网络5的运算处理。由此，控制部41从学习完毕的神经网络5获取输出值，所述输出值与对于目标传感器数据422所表示的作业员的行动状态进行推测所得的结果对应。
具体而言，控制部41对学习完毕的神经网络5的输入层51输入目标传感器数据422，从输入侧起依序进行各层中所含的各神经元的点燃判定。由此，控制部41从学习完毕的神经网络5的输出层53获取与对于目标传感器数据422推测作业员的行动状态所得的结果对应的输出值。
另外，所述学习装置2中，也可以学习完毕的神经网络5的输出值直接表示作业员的行动状态的方式来进行学习处理。此时，控制部41通过从学习完毕的神经网络5获得输出值，从而能够确定作业员的行动状态。而且，识别装置4也可将使学习完毕的神经网络5的输出值与作业员的行动状态相关联的表格式等的参照信息(未图示)保持在存储部42中。此时，控制部41通过参照所述参照信息，能够确定与从学习完毕的神经网络5获得的输出值对应的作业员的行动状态。由此，当推测作业员的行动状态时，控制部41将处理推进至下个步骤S403。
(步骤S403)
步骤S403中，控制部41作为输出部413而运行，输出通过步骤S402对作业员的行动状态进行推测的结果。由此，控制部41结束本运行例的处理流程。
另外，输出方法及输出内容可根据实施方式来适当决定。例如，控制部41也可将表示作业员的理想行动状态的行动信息(未图示)保持在存储部42中。此时，控制部41也可对通过步骤S402而推测的结果与由行动信息所示的理想行动状态进行对比，由此来判定通过连接于识别装置4的摄像机31及活动量传感器32而监测的作业员的行动状态是否理想。并且，若通过步骤S402而推测的结果与行动信息所示的理想行动状态不一致，即，若作业员的行动状态不理想，则控制部41也可经由输出装置46等来输出对行动状态进行修正的指示。另一方面，若通过步骤S402而推测的结果与行动信息所示的理想行动状态一致，即，若作业员的行动状态为理想，则控制部41既可进行用于将此情况通知给作业员自身、监督作业员的监督者等的输出，也可省略本步骤S403的输出处理。
而且，例如，识别装置4也可推测多个作业员的行动状态。此时，识别装置4也可判定是否存在步骤S402中推测出的各作业员的行动状态与由行动信息所示的理想行动状态的差值大于阈值的时间区间。并且，若存在各作业员的行动状态与理想行动状态的差值大于阈值的时间区间，则控制部41也可经由输出装置46等来输出对所述时间区间的工序进行改善的指示。此时，控制部41也可将在所述时间区间内最多的行动状态设定为正解行动，并输出指示以进行所设定的正解行动。而且，控制部41也可在作业工序中输出所述时间区间所处的位置。另一方面，若不存在此种时间区间，则控制部41也可省略本步骤S403的输出处理。
[特征]
如上所述，本实施方式的注释装置1通过所述步骤S102，在被赋予第一标签1231的第一时间区间与被赋予第二标签1232的第二时间区间之间，设置在时间序列上局部重复的重复区间。由此，能够使第一时间区间与第二时间区间的边界具备时间上的宽度，从而避免将从由第一标签1231所示的状态向由第二标签1232所示的状态迁移的时机决定为一点。即，能够视为从由第一标签1231所示的状态向由第二标签1232所示的状态的迁移是在重复区间内的任一时刻发生，或者通过重复区间来表示发生所述迁移的区间。
因此，根据本实施方式，能够通过设定在第一时间区间与第二时间区间之间的重复区间，来适当表示发生从由第一标签1231所示的状态向由第二标签1232所示的状态的迁移的区间。因此，与将时间区间的边界决定为一点的以往方法相比，能够更准确地对传感器数据122赋予所期望的信息。而且，在利用由所获得的带标签的传感器数据124而生成的学习用数据集125的学习装置2中，通过所述步骤S201～S203的处理，能够构建基于从摄像机及活动量传感器获得的数据来推测作业员的行动状态的种类的能力更高的学习完毕的学习器。
而且，本实施方式中，能够交替地反复执行学习装置2对神经网络5的学习处理及评估处理与注释装置1对重复区间的修正处理。在执行所述反复处理的过程中，通过所述步骤S302的处理，能够调整重复区间的时宽，以使对学习完毕的神经网络5的评估结果好转。因此，根据本实施方式，能够生成带标签的传感器数据124，所述带标签的传感器数据124可构建具有一定水准以上的进行规定推论的能力的学习完毕的神经网络5。由此，在利用学习完毕的神经网络5的识别装置4中，能够以一定水准以上的性能来实施规定推论。所述实施方式中，识别装置4能够精度良好地推测步骤S402中的作业员的行动状态。
§4变形例
以上，详细说明了本发明的实施方式，但直至前述为止的说明在所有方面不过是本发明的例示。当然能够不脱离本发明的范围而进行各种改良或变形。例如，能够进行如下所述的变更。另外，以下，关于与所述实施方式同样的构成元件，使用同样的符号，关于与所述实施方式同样的点，适当省略说明。以下的变形例能适当组合。
<4.1>
所述实施方式中，识别系统100包含注释装置1、学习装置2及识别装置4这三个装置。但是，识别系统100的结构也可不限定于此例。例如，注释装置1、学习装置2及识别装置4也可包含一体的计算机。而且，例如从注释装置1、学习装置2及识别装置4选择的两个装置也可包含一体的计算机。
<4.2>
所述实施方式中，注释装置1对于从对工厂的作业员的状态进行监测的摄像机31及活动量传感器32获得的传感器数据122进行标签赋予(注释)。但是，可适用所述注释装置1的场景也可不限于此例。
而且，所述实施方式中，各标签的内容被设定为，表示对被赋予所述各标签的时间区间内的传感器数据122的规定推论的正解。但是，各标签的内容也可不限于此例，可根据注释装置1的适用场景来适当决定。
进而，所述实施方式中，传感器数据122是从对作业员的行动状态进行监测的传感器获取。但是，获取传感器数据的目标也可不限于作业员，例如也可为作业员以外的人，还可为人以外的目标物(例如机器人等机器)。除此以外，获取传感器数据的目标的数量也可不限于一个，也可为两个以上(例如作为目标的人及机器)。
图19示意性地例示适用本发明的其他场景的一例。图19例示了对司机D的行动状态进行推测的场景。图19所示的识别系统100A除了将所述实施方式的传感器数据122替换为从监测司机D的传感器获得的传感器数据以外，可与所述识别系统100同样地构成。而且，识别装置4A除了被设置在目标车辆中以外，可与所述识别装置4同样地构成。学习完毕的神经网络例如被构成为，根据所输入的目标传感器数据，而输出与对司机D的状态进行推测的结果对应的输出值。根据所述识别系统100A，能够对搭乘于车辆的司机D的状态进行监测。
另外，识别装置4A在所述步骤S402中，推测司机D的状态。由此，识别装置4A也可在所述步骤S403中，进行与司机D的状态相应的车辆控制。例如，若在司机D正在手动驾驶车辆时，推测为司机D处于不适合于驾驶的状态，则识别装置4A也可输出警告以中止驾驶。而且，在车辆可实施不依赖于司机D的驾驶操作的自动驾驶模式的情况下，当推测为司机D处于不适合于驾驶的状态时，识别装置4A也可将车辆的运行模式由手动驾驶模式切换为自动驾驶模式，或者禁止从自动驾驶模式向手动驾驶模式的切换。
而且，图19的示例中，作为监测司机D的传感器的一例，在车内设置有摄像机31。但是，监测司机D的传感器也可不限定于此种摄像机，可根据实施方式来适当选择。例如，作为监测司机D的传感器，除了所述活动量传感器32以外，也可使用脑波传感器、脉搏传感器等生物传感器。
而且，所述实施方式及图19的示例中，本发明被适用于对工厂的作业员、汽车的司机等人的行动状态进行推测的场景。但是，适用本发明的场景也可不限于此种对人的行动状态进行推测的场景。本发明可适用于对传感器数据实施规定推论的所有场景。
此时，通过适当变更传感器数据122及标签数据123的内容，能够直接利用所述实施方式的注释装置1及学习装置2。即，注释装置1在所述步骤S103中，将所述各标签的内容设定为，表示对被赋予各标签的时间区间内的传感器数据的规定推论的正解。而且，学习装置2在所述步骤S202中，构建获得了下述能力的学习完毕的学习器，即，通过利用传感器数据及多个标签来实施监督学习，从而进行对传感器数据中所含的特征进行识别等的规定推论。进而，识别装置4利用由学习装置2所构建的学习完毕的学习器来实施规定推论。
图20示意性地例示本变形例的识别装置4B的软件结构的一例。识别装置4B的硬件结构及处理流程可与所述实施方式的识别装置4的硬件结构及处理流程同样。即，识别装置4B的控制部41在所述步骤S401中，作为目标数据获取部411B而运行，获取作为进行规定推论的目标的目标传感器数据422B。接下来，控制部41在所述步骤S402中，参照学习结果数据222B来设定学习完毕的神经网络5B。学习结果数据222B是通过学习装置2实施监督学习而生成，所述监督学习用于使学习器学会进行所述规定推论的能力。控制部41将目标传感器数据422B输入至学习完毕的神经网络5B，实施学习完毕的神经网络5B的运算处理，由此，从所述学习完毕的神经网络5B获得与对于目标传感器数据422B进行规定推论的结果对应的输出值。由此，控制部41对于目标传感器数据422B实施规定推论。并且，控制部41在所述步骤S403中，作为输出部413而运行，输出实施规定推论的结果。另外，所实施的推论的种类可根据实施方式来适当决定。例如，在传感器数据为声音数据的情况下，规定推论也可为声音识别。
<4.3>
所述实施方式中，注释装置1对于传感器数据122，与从活动量传感器32获得的数值数据同样地对从摄像机31获得的图像数据进行处理。但是，在获取多种数据来作为传感器数据122的情况下，在各种数据间，处理也可不同。例如，在所述步骤S102及S103中，控制部11也可在从摄像机31获得的图像数据与从活动量传感器32获得的数值数据中进行不同的标签赋予。
<4.4>
所述实施方式中，由评估结果数据224所示的评估结果可通过由学习完毕的神经网络5对传感器数据2231进行规定推论时的正答率来表达。但是，评估结果的表达方法也可不限定于此例，可根据实施方式来适当决定。
而且，所述实施方式中，评估结果数据224是由学习装置2所生成。但是，所述评估结果数据224也可由学习装置2以外的其他信息处理装置来生成。即，神经网络5的学习处理(步骤S201～S203)与评估处理(步骤S204及S205)可由各不相同的计算机来执行。
<4.5>
所述实施方式中，作为学习器的一例，利用了神经网络(神经网络5)。但是，可利用于所述实施方式的学习器的种类可不限于神经网络。例如，所述实施方式中，也可使用线性回归模型、支持向量机(support vector machine)等来作为学习器。
符号的说明
1：注释装置
11：控制部
12：存储部
13：通信接口
14：外部接口
15：输入装置
16：输出装置
17：驱动器
111：数据获取部
112：标签赋予部
113：区间修正部
121：注释程序
122：传感器数据
123：标签数据
1231：第一标签
1232：第二标签
124：带标签的传感器数据
125：学习用数据集
1251：传感器数据
1252：标签
2：学习装置
21：控制部
22：存储部
23：通信接口
24：输入装置
25：输出装置
26：驱动器
211：学习数据获取部
212：学习处理部
213：性能评估部
221：学习程序
222：学习结果数据
223：评估用数据集
224：评估结果数据
31：摄像机
32：活动量传感器
4：识别装置
41：控制装置
42：存储部
43：通信接口
44：外部接口
45：输入装置
46：输出装置
47：驱动器
411：对象数据获取部
412：状态推测部
413：输出部
421：识别程序
5：神经网络(学习器)
51：输入层
52：中间层(隐藏层)
53：输出层
91：存储介质
92：存储介质

Claims (15)

1.一种注释方法，由计算机执行下述步骤：
获取将传感器的输出按时间序列排列而成的传感器数据；以及
对所获取的传感器数据赋予多个标签，其中，
所述多个标签包含第一标签及第二标签，
所述第一标签被赋予给第一时间区间，
所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，
所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
2.根据权利要求1所述的注释方法，其中，
所述计算机设定用于暂定划分所述第一时间区间与所述第二时间区间的边界时刻，
以包含所设定的所述边界时刻之前及之后的至少一个时刻的方式，来设定具有规定时宽的所述重复区间。
3.根据权利要求2所述的注释方法，其中，
所述规定时宽是基于所述第一标签及所述第二标签的至少一者的种类来决定。
4.根据权利要求2所述的注释方法，其中，
所述规定时宽为固定值。
5.根据权利要求2至4中任一项所述的注释方法，其中，
所述计算机从用户受理时刻的指定，将所指定的所述时刻设定为所述边界时刻。
6.根据权利要求1所述的注释方法，其中，
所述计算机受理关于暂定划分所述第一时间区间与所述第二时间区间的边界时刻的多个指定，
基于通过所述多个指定而给予的边界时刻的平均及偏差的至少任一个来设定所述重复区间。
7.根据权利要求1所述的注释方法，其中，
所述计算机受理所述第一时间区间与所述第二时间区间重复的区间的指定，将所指定的所述区间设定为所述重复区间。
8.根据权利要求1至7中任一项所述的注释方法，其中，
所述计算机基于所述传感器的采样周期，以所述重复区间包含对所述传感器的所述输出分别进行采样的多个采样点的方式，来设定所述重复区间的时宽。
9.根据权利要求1至8中任一项所述的注释方法，其中，
所述计算机对从所述第一时间区间的所述开始时刻直至所述第二时间区间的所述开始时刻为止的区间，赋予第一值来作为所述第一标签，
对从所述第一时间区间的所述结束时刻直至所述第二时间区间的所述结束时刻为止的区间，赋予第二值来作为所述第二标签，
对从所述第一时间区间的所述结束时刻直至所述第二时间区间的所述开始时刻为止的区间，以从所述第一值向所述第二值迁移的方式赋予一个或多个值来作为所述重复区间的标签。
10.根据权利要求1至9中任一项所述的注释方法，其中，
所述多个标签各自被设定为，表示针对被赋予所述各标签的时间区间内的所述传感器数据的规定推论的正解，
所述计算机进一步执行下述步骤：
获取评估结果数据，所述评估结果数据表示对学习完毕的学习器的评估结果，所述学习完毕的学习器被构建为通过利用所述传感器数据及所述多个标签来实施监督学习，从而具有进行所述规定推论的能力；以及
基于所获取的所述评估结果数据所表示的所述评估结果，来变更所述重复区间的时宽。
11.根据权利要求10所述的注释方法，其中，
所述评估结果针对与所述传感器数据不同的其他传感器数据，通过借助所述学习完毕的学习器进行所述规定推论时的正答率来表达，
若由所述评估结果数据所表示的所述正答率为规定的阈值以下，则所述计算机通过缩窄或加宽所述重复区间的时宽来变更所述重复区间的时宽。
12.一种注释装置，包括：
数据获取部，获取将传感器的输出按时间序列排列而成的传感器数据；以及
标签赋予部，对所获取的传感器数据赋予多个标签，
所述多个标签包含第一标签及第二标签，
所述第一标签被赋予给第一时间区间，
所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，
所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
13.一种注释程序，用于使计算机执行下述步骤：
获取将传感器的输出按时间序列排列而成的传感器数据；以及
对所获取的传感器数据赋予多个标签，其中，
所述多个标签包含第一标签及第二标签，
所述第一标签被赋予给第一时间区间，
所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，
所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
14.一种识别系统，包括：
数据获取部，获取将传感器的输出按时间序列排列而成的传感器数据，所述传感器对工厂的作业员的行动状态进行监测；
标签赋予部，对所获取的所述传感器数据赋予多个标签，且所述多个标签各自被设定为，表示针对被赋予所述各标签的时间区间内的所述传感器数据所表示的所述作业员的行动状态的正解；
学习处理部，构建通过利用所述传感器数据及所述多个标签来实施监督学习，从而具有对所述作业员的行动状态的种类进行推测的能力的学习完毕的学习器；
目标数据获取部，获取作为对所述作业员的行动状态进行推测的目标的目标传感器数据；
状态推测部，将所述目标传感器数据输入至所述学习完毕的学习器，从所述学习完毕的学习器获得输出，由此来推测所述目标传感器数据所表示的所述作业员的行动状态；以及
输出部，输出对所述作业员的行动状态进行推测所得的结果，其中，
所述多个标签包含第一标签及第二标签，
所述第一标签被赋予给第一时间区间，
所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，
所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
15.一种识别系统，包括：
数据获取部，获取将传感器的输出按时间序列排列而成的传感器数据；
标签赋予部，对所获取的所述传感器数据赋予多个标签，且所述多个标签各自被设定为，表示针对被赋予所述各标签的时间区间内的所述传感器数据的规定推论的正解；
学习处理部，构建通过利用所述传感器数据及所述多个标签来实施监督学习，从而具有进行所述规定推论的能力的学习完毕的学习器；
目标数据获取部，获取作为进行所述规定推论的目标的目标传感器数据；
推论部，将所述目标传感器数据输入至所述学习完毕的学习器，从所述学习完毕的学习器获得输出，由此来对所述目标传感器数据实施规定推论；以及
输出部，输出实施所述规定推论所得的结果，
所述多个标签包含第一标签及第二标签，
所述第一标签被赋予给第一时间区间，
所述第二标签被赋予给在所述时间序列上处于所述第一时间区间之后的第二时间区间，
所述第一时间区间的开始时刻为所述第二时间区间的开始时刻之前，且所述第一时间区间的结束时刻为所述第二时间区间的结束时刻之前，与此相对，所述第一时间区间的所述结束时刻为所述第二时间区间的开始时刻之后，由此，所述第一时间区间及所述第二时间区间被设定为具有在所述时间序列上局部重复的重复区间。
CN201980012349.8A 2018-03-13 2019-03-13 注释方法、注释装置、存储介质以及识别系统 Active CN111712840B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018045861A JP6844562B2 (ja) 2018-03-13 2018-03-13 アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システム
JP2018-045861 2018-03-13
PCT/JP2019/010181 WO2019176991A1 (ja) 2018-03-13 2019-03-13 アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システム

Publications (2)

Publication Number Publication Date
CN111712840A true CN111712840A (zh) 2020-09-25
CN111712840B CN111712840B (zh) 2023-11-03

Family

ID=67907154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980012349.8A Active CN111712840B (zh) 2018-03-13 2019-03-13 注释方法、注释装置、存储介质以及识别系统

Country Status (4)

Country Link
US (1) US20200397346A1 (zh)
JP (1) JP6844562B2 (zh)
CN (1) CN111712840B (zh)
WO (1) WO2019176991A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430312B2 (en) * 2018-07-05 2022-08-30 Movidius Limited Video surveillance with neural networks
JP7259322B2 (ja) * 2018-12-26 2023-04-18 富士通株式会社 情報処理装置、学習モデル生成プログラム及び学習モデル生成方法
WO2021100128A1 (ja) * 2019-11-19 2021-05-27 三菱電機株式会社 教師データ生成装置、教師データ生成方法、教師データ生成プログラムおよび記憶媒体
JP2021125183A (ja) * 2020-02-10 2021-08-30 オムロン株式会社 作業負荷分析装置、作業負荷分析方法、プログラム
DE112021001435T5 (de) * 2020-03-05 2023-01-12 Fanuc Corporation Maschinen-Lern-Vorrichtung
US11410443B2 (en) 2020-03-13 2022-08-09 Nec Corporation Labelling training method and system for implementing the same
JP7293156B2 (ja) * 2020-03-13 2023-06-19 株式会社東芝 情報処理装置、情報処理方法およびプログラム
DE112021001882T5 (de) 2020-03-26 2023-01-12 Sony Semiconductor Solutions Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
CN113592981B (zh) * 2021-07-01 2022-10-11 北京百度网讯科技有限公司 图片标注方法、装置、电子设备和存储介质
WO2023188264A1 (ja) * 2022-03-31 2023-10-05 日本電気株式会社 情報処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142750A (ja) * 2005-11-17 2007-06-07 National Agency For The Advancement Of Sports & Health 映像閲覧システム、コンピュータ端末並びにプログラム
JP2010227326A (ja) * 2009-03-27 2010-10-14 Advanced Telecommunication Research Institute International 行動識別システム
CN102282516A (zh) * 2009-02-17 2011-12-14 株式会社日立制作所 异常检测方法及异常检测系统
JP2017228091A (ja) * 2016-06-22 2017-12-28 日本電信電話株式会社 歩行状態学習方法、歩行状態推定方法、路面状況理解方法、装置、及びプログラム
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予系统以及存储有程序的记录介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111009B1 (en) * 1997-03-14 2006-09-19 Microsoft Corporation Interactive playlist generation using annotations
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム
WO2017037839A1 (ja) * 2015-08-31 2017-03-09 株式会社日立製作所 情報処理装置及び情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142750A (ja) * 2005-11-17 2007-06-07 National Agency For The Advancement Of Sports & Health 映像閲覧システム、コンピュータ端末並びにプログラム
CN102282516A (zh) * 2009-02-17 2011-12-14 株式会社日立制作所 异常检测方法及异常检测系统
JP2010227326A (ja) * 2009-03-27 2010-10-14 Advanced Telecommunication Research Institute International 行動識別システム
JP2017228091A (ja) * 2016-06-22 2017-12-28 日本電信電話株式会社 歩行状態学習方法、歩行状態推定方法、路面状況理解方法、装置、及びプログラム
CN107689027A (zh) * 2016-08-04 2018-02-13 松下电器（美国）知识产权公司 注释赋予方法、注释赋予系统以及存储有程序的记录介质

Also Published As

Publication number Publication date
CN111712840B (zh) 2023-11-03
WO2019176991A1 (ja) 2019-09-19
JP6844562B2 (ja) 2021-03-17
US20200397346A1 (en) 2020-12-24
JP2019159819A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
CN111712840B (zh) 注释方法、注释装置、存储介质以及识别系统
Schlegel et al. Towards a rigorous evaluation of XAI methods on time series
Edmonds et al. A tale of two explanations: Enhancing human trust by explaining robot behavior
JP2020522817A (ja) 意味分析方法、装置、および記憶媒体
JP2020017952A (ja) 警告するための方法と装置
US20180174062A1 (en) Root cause analysis for sequences of datacenter states
JP6911498B2 (ja) 学習装置、学習方法、及び学習プログラム
CN105579922B (zh) 信息处理装置以及分析方法
CN112673378A (zh) 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序
JP2019535091A (ja) 畳み込みニューラルネットワークを使用したシーケンスの処理
CN113424208A (zh) 学习装置、推测装置、数据生成装置、学习方法以及学习程序
EP3096282A1 (en) Multi-dimensional sensor data based human behaviour determination system and method
US11842575B2 (en) Method and system for vehicle analysis
JP2019159961A (ja) 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置
JP7164028B2 (ja) 学習システム、データ生成装置、データ生成方法、及びデータ生成プログラム
Male et al. Recognition of human activity and the state of an assembly task using vision and inertial sensor fusion methods
CN116057542A (zh) 分布式机器学习模型
EP4361963A1 (en) Processing videos based on temporal stages
KR20190140546A (ko) 영상 기반 힘 예측 시스템 및 그 방법
US20210073674A1 (en) Automated explainer of reinforcement learning actions using occupation measures
JP6679360B2 (ja) 情報提供装置および情報提供方法
KR20180126311A (ko) 대상 시스템의 상태 진단 및 원인 분석 시스템 및 방법
JP6158053B2 (ja) 学習支援装置、学習支援方法、およびプログラム
JP6429819B2 (ja) 情報提供装置および情報提供方法
CN109598347A (zh) 用于确定因果关系的方法、系统和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant