CN114730392A - 解析装置、解析方法以及解析程序 - Google Patents

解析装置、解析方法以及解析程序 Download PDF

Info

Publication number
CN114730392A
CN114730392A CN202080080058.5A CN202080080058A CN114730392A CN 114730392 A CN114730392 A CN 114730392A CN 202080080058 A CN202080080058 A CN 202080080058A CN 114730392 A CN114730392 A CN 114730392A
Authority
CN
China
Prior art keywords
data
feature
type
target
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080080058.5A
Other languages
English (en)
Inventor
桥本敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN114730392A publication Critical patent/CN114730392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的一方面涉及的解析装置通过多个识别器分别试行对象数据中包含的特征的类别的识别,该多个识别器构成为识别各不相同的类别的特征的存在,解析装置判定为在多个识别器中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征,并判定为在包括一识别器在内的所有识别器的识别成立的第二数据部分中不包含对象类别的特征。

Description

解析装置、解析方法以及解析程序
技术领域
本发明涉及解析装置、解析方法以及解析程序。
背景技术
存在一种利用识别器而根据感测数据识别对象者的动作种类的技术(例如专利文献1)。能够用于识别动作种类的识别器例如能够通过机器学习等各种方法来生成。作为一例,从观测对象者动作的传感器获取感测数据,在获取到的感测数据中,对出现对象种类的动作的数据部分赋予指示该动作的种类的标签,由此能够创建学习数据。然后,通过将所创建的学习数据使用于机器学习,能够生成获得了识别动作种类的能力的识别器(例如专利文献2)。
现有技术文献
专利文献
专利文献1:日本特开2013-041323号公报
专利文献2:日本特开2012-248017号公报
专利文献3:日本专利第5081999号公报
发明内容
发明要解决的技术问题
本申请发明人发现现有的识别方法中存在如下问题。即,识别中利用的感测数据可能包含与不同种类的动作相关的信息、与动作以外的现象相关的信息等对象种类的动作所特有的信息以外的信息。例如,各种类的动作的数据部分中有时会包含图像数据所包含的背景信息等与动作无关的信息。另外,在存在不同种类的动作共通的举止的情况下,各种类的动作的数据部分中有时会包含与该共通的举止相关的信息。特别是,在从某一动作向另一动作转变的期间,有时会在对应的数据部分中包含与多个种类的动作相关的信息。该各动作所特有的信息以外的信息会对识别造成不良影响,从而存在有可能使识别器的识别精度降低这一问题。作为一例,假设在第一种类的动作及第二种类的动作中存在共通的特征。在识别器构成为基于该共通特征的存在识别为正在执行第一种类的动作的情况下,有可能因为该共通特征的存在而使识别第一种类的动作的识别器的精度降低。在发生上述动作转变的期间,因为识别器对所得到的感测数据的识别精度降低,从而难以准确地确定对象动作的开始时刻及结束时刻。
在通过机器学习生成识别器的情况下,作为谋求提高识别器的识别性能的方法,考虑有准备在各种条件下捕捉到各动作的学习数据,即提高学习数据的质量。然而,准备在所有条件下捕捉到各动作的学习数据花费成本,是困难的。另外,难以唯一地确定从某一动作向另一动作转变的时机。例如,因为由不同的操作员进行作业、操作员的判定基准发生变化、感测数据所表现的动作的特征不同等原因,在从某一动作向另一动作转变的期间,指示动作的种类的标签的切换时刻可能发生变动。作为一例,可能出现在同一学习数据内,在一部分中,在动作的转变的较早的时机切换标签,而在另一部分中,在动作的转变的较晚的时机切换标签。由于该分界的偏差被反映到机器学习中,从而有可能无望提高识别器的识别性能。因此,通过提高学习数据的质量来谋求提高识别器的识别性能是有限的。
需要指出,这样的问题并非根据感测数据识别对象者的动作种类的场景所特有的。该问题在识别数据中包含的某些特征的类别(class)的各种场景中都可能发生。识别数据中包含的某些特征的类别的场景除了上述识别对象者的动作的种类的场景以外,例如还是根据对生产线上的作业的工序进行观测而得到的数据识别工序的种类的场景、根据对对象者的状态进行观测而得到的数据识别对象者的状态的类别的场景(例如专利文献3)等。在这些场景中,若利用现有的识别方法,则由于对象类别的特征所特有的信息以外的信息会对识别造成不良影响,从而也可能使识别器的识别精度降低。
本发明的一方面是鉴于这样的实际情况而完成的,其目的在于,提供谋求数据中包含的特征的类别的识别精度提高的技术。
用于解决技术问题的技术方案
本发明为了解决上述技术问题而采用以下的构成。
即,本发明的一方面涉及的解析装置具备:数据获取部,获取对象数据;识别处理部,通过多个识别器分别试行所述对象数据中包含的特征的类别的识别,所述多个识别器构成为识别各不相同的类别的特征的存在;以及判定部,基于所述试行的结果,在所述对象数据内判定包含各类别的所述特征的数据部分,所述判定部判定为在所述多个识别器中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征,并判定为在包括所述一识别器在内的所有识别器的识别成立的第二数据部分中不包含所述对象类别的特征。
在该构成中,按识别对象的每个类别准备识别器。在一识别器的识别成立而剩余识别器的识别不成立的情况下,能够推测出发生对应的对象类别的特征所特有的现象的可能性高。因此,判定为这样的数据部分中包括由一识别器识别的对象类别的特征。另一方面,在包括一识别器在内的所有识别器的识别成立的情况下,能够推测出发生并非对应的对象类别的特征所特有而是所有类别的特征共通的现象的可能性高。因此,判定为这样的数据部分中不包括一识别器的识别对象类别的特征。由此,能够防止对只不过发生各类别的特征共通的现象但并不真正包含对象类别的特征的数据部分误识别为包含对象类别的特征。因此,根据本实施方式,能够谋求数据中包含的特征的类别的识别精度提高。
上述一方面涉及的解析装置也可以还具备赋予部,所述赋予部对所述第一数据部分赋予指示包含所述对象类别的特征的信息。根据该构成,能够更高精度地识别数据中包含的特征的类别,因此,通过向对象数据赋予指示该识别结果的信息,从而能够生成可用于机器学习的品质良好的学习数据。
在上述一方面涉及的解析装置中,所述各识别器也可以构成为:根据包含识别对象的类别的特征的第一数据,生成包含所述识别对象的类别的特征的与所述对象数据相同种类的第二数据,所述识别处理部也可以基于由所述各识别器生成的生成数据与所述对象数据的比较,试行所述对象数据中包含的特征的类别的识别。根据该构成,在利用构成为生成包含对应类别的特征的数据的识别器的识别处理中,能够谋求数据中包含的特征的类别的识别精度提高。需要指出,第一数据可以是与第二数据相同种类的数据。或者,第一数据可以是捕捉到与第二数据相同的现象的与第二数据不同种类的数据。另外,在第一数据及第二数据均为时序数据的情况下,各识别器也可以根据从对象时刻起将来或过去的第一数据生成对象时刻的第二数据。
在上述一方面涉及的解析装置中,所述第一数据与所述第二数据可以为相同种类,所述识别处理部也可以通过向所述各识别器提供所述对象数据,从而生成所述生成数据。根据该构成,在利用构成为生成包含对应类别的特征的数据的识别器的识别处理中,能够简化识别数据中包含的特征的类别的处理。
在上述一方面涉及的解析装置中,所述对象数据可以是时序数据,所述判定部也可以基于所述试行的结果在所述时序数据内判定包含各类别的所述特征的所述数据部分的时间区间。根据该构成,针对时序数据,能够谋求特征的类别的识别精度提高。
在上述一方面涉及的解析装置中,所述对象数据可以是多维数据,所述判定部也可以基于所述试行的结果在所述多维数据内判定包含各类别的所述特征的所述数据部分的范围。根据该构成,针对多维数据,能够谋求特征的类别的识别精度提高。
在上述一方面涉及的解析装置中,所述各识别器可以构成为将受试者的不同种类的动作的执行作为所述特征的存在进行识别,所述判定部也可以基于所述试行的结果在所述对象数据内判定出现各种类的所述动作的执行的所述数据部分。根据该构成,在解析对象者的动作的场景中,能够谋求该动作的种类的识别精度提高。
在上述一方面涉及的解析装置中,所述各识别器也可以构成为将生产线中的不同种类的工序的执行作为所述特征的存在进行识别,所述判定部也可以基于所述试行的结果在所述对象数据内判定出现各种类的所述工序的执行的所述数据部分。根据该构成,在解析生产线中的作业的工序的场景中,能够谋求该作业的工序的种类的识别精度提高。
作为上述各方式涉及的解析装置的其他方式,本发明的一方面可以是实现以上各构成的信息处理方法,也可以是程序,还可以是存储有这样的程序的可被计算机及其他装置、机械等读取的存储介质。在此,可被计算机等读取的存储介质是指通过电、磁、光学、机械或化学作用蓄积程序等信息的介质。
例如,本发明的一方面涉及的解析方法由计算机执行如下步骤:获取对象数据;通过多个识别器分别试行所述对象数据中包含的特征的类别的识别,所述多个识别器构成为识别各不相同的类别的特征的存在;以及基于所述试行的结果,在所述对象数据内判定包含各类别的所述特征的数据部分,并且,判定为在所述多个识别器中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征,并判定为在包括所述一识别器在内的所有识别器的识别成立的第二数据部分中不包含所述对象类别的特征。
另外,例如,本发明的一方面涉及的解析程序用于使计算机执行如下步骤:获取对象数据;通过多个识别器分别试行所述对象数据中包含的特征的类别的识别,所述多个识别器构成为识别各不相同的类别的特征的存在;以及基于所述试行的结果,在所述对象数据内判定包含各类别的所述特征的数据部分,并且,判定为在所述多个识别器中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征,并判定为在包括所述一识别器在内的所有识别器的识别成立的第二数据部分中不包含所述对象类别的特征。
发明效果
根据本发明,能够谋求数据中包含的特征的类别的识别精度提高。
附图说明
图1示意性地例示出适用本发明的场景的一例。
图2示意性地例示出实施方式涉及的解析装置的硬件构成的一例。
图3示意性地例示出实施方式涉及的模型生成装置的硬件构成的一例。
图4示意性地例示出实施方式涉及的解析装置的软件构成的一例。
图5示意性地例示出实施方式涉及的模型生成装置的软件构成的一例。
图6例示出实施方式涉及的模型生成装置的处理过程的一例。
图7例示出实施方式涉及的解析装置的处理过程的一例。
图8示意性地例示出实施方式涉及的类别识别的判定基准的一例。
图9A示意性地例示出对时序数据执行特征的类别识别的结果的一例。
图9B示意性地例示出对多维数据执行特征的类别识别的结果的一例。
图10示意性地例示出适用本发明的其他场景的一例。
图11示意性地例示出适用本发明的其他场景的一例。
图12示意性地例示出适用本发明的其他场景的一例。
图13示意性地例示出其他方式涉及的识别器的训练场景的一例。
图14示意性地例示出其他方式涉及的识别器的利用场景的一例。
具体实施方式
以下,基于附图对本发明的一方面涉及的实施方式(以下也表述为“本实施方式”)进行说明。不过,以下说明的本实施方式在所有方面都只不过是本发明的例示。毋庸置疑,可在不脱离本发明范围的情况下进行各种改良及变形中的至少任一者。也就是说,在实施本发明时,也可以适当采用符合实施方式的具体构成。需要说明的是,本实施方式中利用自然语言来说明出现的数据,但是,更为具体而言,利用计算机可识别的模拟语言、指令、参数、机器语言等进行指定。
§1适用例
图1示意性地例示出本发明的适用场景的一例。如图1所示,本实施方式涉及的解析系统100具备解析装置1及模型生成装置2。
本实施方式涉及的解析装置1是构成为对获取的对象数据121中包含的特征的类别进行识别的计算机。首先,本实施方式涉及的解析装置1获取对象数据121。对象数据121的种类也可以没有特别限定,可以根据实施方式适当地选择。对象数据121例如可以是图像数据、声音数据、数值数据、文本数据、其他通过传感器得到的测量数据等。以下,将通过传感器得到的测量数据也称为“感测数据”。对象数据121例如也可以是通过利用传感器观测某些对象而得到的感测数据。传感器例如可以是图像传感器(照相机)、红外线传感器、声音传感器(麦克风)、超声波传感器、压力传感器、加速度传感器、环境传感器、生命传感器、医疗检查装置、车载传感器等。照相机例如可以是普通的RGB照相机、深度照相机、红外线照相机等。环境传感器例如可以是气压计、温度计、湿度计、声压计、声音传感器、紫外线传感器、照度计、雨量计、气体传感器等。生命传感器例如可以是血压计、脉搏计、心率计、心电仪、肌电仪、体温计、皮肤电反应计、微波传感器、脑电图仪、脑磁图仪、活动量计、血糖值测量器、眼电位传感器、眼球运动测量器等。医疗检查装置例如可以是CT(Computed Tomography:计算机断层扫描)装置、MRI(Magnetic Resonance Imaging:磁共振成像)装置等。车载传感器例如可以是图像传感器、Lidar(light detection and ranging:光探测和测距)传感器、毫米波雷达、超声波传感器、加速度传感器等。
接着,本实施方式涉及的解析装置1通过多个识别器5分别试行对象数据121中包含的特征的类别的识别,该多个识别器5构成为识别各不相同的类别的特征的存在。特征只要与数据中出现的某些现象相关便可没有特别限定,可以根据实施方式适当地选择。特征例如可以是与对象者执行的动作、生产线中的作业的工序、对象者的状态等相关的特征。识别对象的特征并不限于当前的现象,也可以是与将来或过去的现象相关的特征。另外,类别可以根据特征适当设定。类别例如可以改称为“分类(category)”等。所设定的类别的数量及识别器的数量分别可以并无特别限定,可根据实施方式适当确定。如后所述,在本实施方式中,各识别器5使用训练完毕的神经网络。
然后,本实施方式涉及的解析装置1基于试行的结果在对象数据121内判定包含各类别的特征的数据部分。本实施方式涉及的解析装置1判定为在多个识别器5中的一识别器的识别成立而剩余的识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征。另一方面,本实施方式涉及的解析装置1判定为在包括一识别器在内的所有识别器5的识别成立的第二数据部分中不包含该对象类别的特征。由此,能够识别对象数据121的各部分中包含的特征的类别。
另一方面,本实施方式涉及的模型生成装置2是构成为通过实施机器学习而生成解析装置1中可利用的各识别器5的计算机。本实施方式涉及的模型生成装置2获取学习数据3。学习数据3的构成可以根据各识别器5采用的模型的种类适当地确定。在本实施方式中,学习数据3由多个学习数据集30构成。多个学习数据集30是识别器的机器学习中使用的学习数据的一例。各学习数据集30由训练数据31及正解数据32的组合构成。训练数据31是与对象数据121相同种类的数据的样本。正解数据32指示对于训练数据31的特征的识别任务的正解。正解数据32也可以称为“教师信号”、“标签”等。学习数据3也可以按每个识别器5分别获取。
本实施方式涉及的模型生成装置2使用所获取的学习数据3按每个识别器5实施机器学习。在本实施方式中,模型生成装置2对对象的识别器5进行训练,以使关于各学习数据集30,由对象的识别器5对训练数据31判定是否存在对应类别的特征的结果符合正解数据32。由此,能够生成获得了识别对应类别的特征的存在的能力的训练完毕的各识别器5。需要指出,“训练完毕”也可以称为“机器学习完毕”、简称为“学习完毕”等。另外,模型生成装置2也可以简称为“生成装置”、“学习装置”等。
如上所述,在本实施方式中,按识别对象的每个类别准备识别器5。能够推测出在多个识别器5中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含一识别器已知而剩余识别器未知的类别的特征。也就是说,能够推测出该第一数据部分中出现一识别器负责识别的对象类别的特征所特有的现象的可能性高。因此,本实施方式涉及的解析装置1判定为第一数据部分中包含由该一识别器所识别的对象类别的特征。另一方面,能够推测出在包括一识别器在内的所有识别器5的识别成立的第二数据部分中包含所有识别器5已知的无用特征。也就是说,能够推测出该第二数据部分中发生并非一识别器负责的对象类别的特征特有的而是所有类别的特征共通的现象的可能性高。因此,本实施方式涉及的解析装置1判定为第二数据部分中不包含一识别器的识别对象的类别的特征。由此,能够防止对只不过发生各类别的特征共通的现象但并不真正包含对象类别的特征的数据部分误识别为包含对象类别的特征。因此,根据本实施方式,能够谋求数据中包含的特征的类别的识别精度提高。
需要指出,在图1的例子中,解析装置1及模型生成装置2经由网络相互连接。网络的种类例如可以从因特网、无线通信网、移动通信网、电话网、专用网等中适当地进行选择。不过,在解析装置1与模型生成装置2之间进行数据交互的方法也可以不限定于这样的例子,可以根据实施方式适当地选择。例如,在解析装置1与模型生成装置2之间,可以利用存储介质进行数据的交互。
另外,在图1的例子中,解析装置1及模型生成装置2分别由单独的计算机构成。然而,本实施方式涉及的解析系统100的构成也可以不限定于这样的例子,可以根据实施方式适当确定。例如,解析装置1及模型生成装置2也可以为一体的计算机。另外,例如,解析装置1及模型生成装置2中的至少一方也可以由多台计算机构成。
§2构成例
[硬件构成]
<解析装置>
图2示意性地例示出本实施方式涉及的解析装置1的硬件构成的一例。如图2所示,本实施方式涉及的解析装置1是与控制部11、存储部12、通信接口13、外部接口14、输入装置15、输出装置16以及驱动器17电连接的计算机。需要指出,在图2中,将通信接口及外部接口记载为“通信I/F”及“外部I/F”。
控制部11包括作为硬件处理器的CPU(Central Processing Unit:中央处理单元)、RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)等,构成为基于程序及各种数据执行信息处理。存储部12是存储器的一例,例如由硬盘驱动器、固态硬盘等构成。在本实施方式中,存储部12存储解析程序81、多份学习结果数据225等各种信息。
解析程序81是用于使解析装置1执行识别数据中包含的特征的类别的后述信息处理(图7)的程序。解析程序81包括该信息处理的一系列命令。各份学习结果数据225表示通过机器学习生成的与对应的训练完毕的识别器5相关的信息。
通信接口13例如为有线LAN(Local Area Network:局域网)模块、无线LAN模块等,是用于经由网络进行有线或无线通信的接口。解析装置1也可以利用通信接口13与其他信息处理装置之间经由网络执行数据通信。外部接口14例如为USB(Universal Serial Bus:通用串行总线)端口、专用端口等,是用于与外部装置连接的接口。外部接口14的种类及数量可以任意地选择。在通过传感器获取对象数据121的情况下,解析装置1可以经由通信接口13及外部接口14中的至少一方与对象传感器连接。
输入装置15例如是鼠标、键盘等用于进行输入的装置。另外,输出装置16例如是显示器、扬声器等用于进行输出的装置。用户等操作员能够利用输入装置15及输出装置16操作解析装置1。
驱动器17例如为CD驱动器、DVD驱动器等,是用于读入存储介质91中存储的程序等各种信息的驱动装置。存储介质91是以计算机及其他装置、机械等能够读取所存储的程序等各种信息的方式通过电、磁、光学、机械或化学作用蓄积该程序等信息的介质。上述解析程序81及学习结果数据225中的至少任一者也可以存储于存储介质91中。解析装置1也可以从该存储介质91获取上述解析程序81及学习结果数据225中的至少任一者。需要指出,在图2中,作为存储介质91的一例,例示出CD、DVD等盘式存储介质。但是,存储介质91的种类可以并不限于盘式,也可以为盘式以外的类型。作为盘式以外的存储介质,例如可以举出闪存等半导体存储器。驱动器17的种类可以根据存储介质91的种类任意选择。
需要指出,关于解析装置1的具体的硬件构成,能够根据实施方式适当地省略、替换以及增加构成要素。例如,控制部11也可以包括多个硬件处理器。硬件处理器可以由微处理器、FPGA(field-programmable gate array:现场可编程门阵列)、DSP(digital signalprocessor:数字信号处理器)等构成。存储部12也可以由控制部11包括的RAM及ROM构成。也可以省略通信接口13、外部接口14、输入装置15、输出装置16以及驱动器17中的至少任一者。解析装置1也可以由多台计算机构成。该情况下,各计算机的硬件构成可以一致,也可以不一致。另外,解析装置1除了是设计为所提供的服务专用的信息处理装置以外,也可以是通用的服务器装置、PC(Personal Computer:个人计算机)、PLC(programmable logiccontroller:可编程逻辑控制器)等。
<模型生成装置>
图3示意性地例示出本实施方式涉及的模型生成装置2的硬件构成的一例。如图3所示,本实施方式涉及的模型生成装置2是与控制部21、存储部22、通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27电连接的计算机。
模型生成装置2的控制部21~驱动器27及存储介质92分别可以与上述解析装置1的控制部11~驱动器17及存储介质91各自同样地构成。控制部21包括作为硬件处理器的CPU、RAM、ROM等,构成为基于程序及数据执行各种信息处理。存储部22例如由硬盘驱动器、固态硬盘等构成。存储部22存储生成程序82、学习数据3、多份学习结果数据225等各种信息。
生成程序82是用于使模型生成装置2执行通过实施机器学习而生成训练完毕的识别器5的后述信息处理(图6)的程序。生成程序82包含该信息处理的一系列命令。生成程序82也可以称为“模型生成程序”、“学习程序”等。学习数据3用于识别器5的机器学习。各份学习结果数据225作为针对对应的识别器5执行生成程序82的结果而生成。生成程序82及学习数据3中的至少任一者也可以存储于存储介质92中。另外,模型生成装置2也可以从存储介质92获取生成程序82及学习数据3中的至少任一者。
需要指出,关于模型生成装置2的具体的硬件构成,可以根据实施方式适当地省略、替换以及追加构成要素。例如,控制部21也可以包括多个硬件处理器。硬件处理器可以由微处理器、FPGA、DSP等构成。存储部22也可以由控制部21包括的RAM及ROM构成。也可以省略通信接口23、外部接口24、输入装置25、输出装置26以及驱动器27中的至少任一者。模型生成装置2也可以由多台计算机构成。该情况下,各计算机的硬件构成可以一致,也可以不一致。另外,模型生成装置2除了是被设计为所提供的服务专用的信息处理装置以外,也可以是通用的服务器装置、通用的PC等。
[软件构成]
<解析装置>
图4示意性地例示出本实施方式涉及的解析装置1的软件构成的一例。解析装置1的控制部11将存储于存储部12的解析程序81展开至RAM。然后,控制部11通过CPU对展开至RAM的解析程序81中包含的命令进行解释及执行,来控制各构成要素。由此,如图4所示,本实施方式涉及的解析装置1作为具备作为软件模块的数据获取部111、识别处理部112、判定部113、赋予部114以及输出部115的计算机进行动作。即,在本实施方式中,解析装置1的各软件模块通过控制部11(CPU)实现。
数据获取部111获取作为识别任务的执行对象的对象数据121。识别处理部112具备多个识别器5,该多个识别器5构成为通过保持多份学习结果数据225来识别各不相同的类别的特征的存在。识别处理部112通过多个识别器5分别试行所获取的对象数据121中包含的特征的类别的识别。
判定部113基于试行的结果在对象数据121内判定包含各类别的特征的数据部分。判定部113判定为在多个识别器5中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征。另一方面,判定部113判定为在包括一识别器在内的所有识别器5的识别成立的第二数据部分中不包含该对象类别的特征。
赋予部114对对象数据121赋予指示判定结果的信息(以下也称为“标签”)。该赋予处理包括对第一数据部分赋予指示包含对象类别的特征的信息(以下也称为“标签”)。输出部115输出与识别特征的类别的结果相关的信息。
<模型生成装置>
图5示意性地例示出本实施方式涉及的模型生成装置2的软件构成的一例。模型生成装置2的控制部21将存储于存储部22的生成程序82展开至RAM。然后,控制部21通过CPU对展开至RAM的生成程序82中包含的命令进行解释及执行,来控制各构成要素。由此,如图5所示,本实施方式涉及的模型生成装置2作为具备作为软件模块的学习数据获取部211、学习处理部212以及保存处理部213的计算机进行动作。即,在本实施方式中,模型生成装置2的各软件模块与上述解析装置1同样地通过控制部21(CPU)实现。
学习数据获取部211获取学习数据3。学习处理部212使用学习数据3按每个识别器5实施机器学习。在本实施方式中,所获取的学习数据3由多个学习数据集30构成。各学习数据集30由训练数据31及正解数据32的组合构成。学习处理部212对对象的识别器5进行训练,以使关于各学习数据集30,由对象的识别器5对训练数据31判定是否存在对应类别的特征的结果符合正解数据32。
保存处理部213生成与通过机器学习构建的训练完毕的识别器5相关的信息作为学习结果数据225。然后,保存处理部213将生成的学习结果数据225保存至规定的存储区域。规定的存储区域可以根据实施方式适当地选择。
(识别器的构成)
各识别器5可以利用能够实施机器学习的任意的模型。如图5所例示的,在本实施方式中,各识别器5由多层结构的全连接型神经网络构成。各识别器5具备输入层51、中间(隐藏)层52以及输出层53。
不过,各识别器5的结构也可以不限定于这样的例子,可以根据实施方式适当确定。例如,中间层52的数量也可以不限定于一个,也可以为两个以上。或者,也可以省略中间层52。构成各识别器5的神经网络的层的数量可以任意选择。关于多个识别器5中的至少任一者的组合,可以是至少部分地结构一致,或者也可以不一致。
各层51~53具备一个或多个神经元(节点)。各层51~53中包含的神经元(节点)的数量也可以并无特别限定,可以根据实施方式适当地选择。输入层51中包含的神经元的数量可以根据输入的数据及其形式适当地确定。输出层53中包含的神经元的数量可以根据识别结果等输出的数据及其形式来确定。相邻的层的神经元彼此适当地连接。在图5的例子中,各神经元与相邻的层的所有神经元连接。然而,各神经元的连接关系也可以不限定于这样的例子,可以根据实施方式适当地设定。
各连接设定有权重(连接权)。各神经元设定有阈值,基本上,根据各输入与各权重之积的和是否超过阈值来确定各神经元的输出。阈值也可以通过激活函数来表现。该情况下,通过将各输入与各权重之积的和输入激活函数,并执行激活函数的运算,从而确定各神经元的输出。激活函数的种类可以任意选择。各层51~53中包含的各神经元间的连接的权重及各神经元的阈值是各识别器5的运算处理中利用的运算参数的一例。各识别器5的运算参数的值通过上述机器学习被调节为能够得到适合于对象类别的识别的输出。
学习处理部212针对各学习数据集30向识别器5的输入层51输入训练数据31,从输出层53获取与对训练数据31识别是否存在对应类别的特征的结果对应的输出值。在识别器5的机器学习中,学习处理部212调节识别器5的运算参数的值,以使所获取的输出值与正解数据32所示的正解之间的误差变小。由此,关于学习数据3,能够生成获得了识别对应类别的特征的存在的能力的训练完毕的识别器5。
需要指出,识别器5的输入及输出的数据形式也可以并无特别限定,可以根据实施方式适当地确定。识别器5的输入层51可以构成为接收原样的对象数据122的输入,或者也可以构成为接收被应用了任意的预处理的对象数据121的输入。另外,识别器5的输出层53例如可以构成为对属于对应类别的程度进行回归。该情况下,输出层53的输出可以构成为通过归一化为0至1的范围而指示属于对应类别的概率。
保存处理部213生成用于再现通过机器学习生成的训练完毕的识别器5的学习结果数据225。只要能够再现训练完毕的识别器5,则学习结果数据225的构成可以是任意的。例如,保存处理部213生成指示所生成的训练完毕的识别器5的运算参数的值的信息作为学习结果数据225。根据情况,学习结果数据225中也可以还包含指示训练完毕的识别器5的结构的信息。结构例如可以通过神经网络中的输入层至输出层的层的数量、各层的种类、各层中包含的神经元的数量、相邻的层的神经元彼此的连接关系等来进行指定。保存处理部213将所生成的学习结果数据225保存至规定的存储区域。
<其他>
关于解析装置1及模型生成装置2的各软件模块,在后述的动作例中进行详细说明。需要指出,在本实施方式中,对解析装置1及模型生成装置2的各软件模块均由通用的CPU实现的例子进行说明。但是,以上的软件模块的一部分或全部也可以通过一个或多个专用的处理器实现。另外,关于解析装置1及模型生成装置2各自的软件构成,也可以根据实施方式适当地省略、替换以及追加软件模块。
§3动作例
[模型生成装置]
图6是表示与本实施方式涉及的模型生成装置2进行的识别器5的机器学习相关的处理过程的一例的流程图。以下说明的处理过程仅为一例,各步骤可以在可能的范围内进行变更。进而,对于以下说明的处理过程,可以根据实施方式适当地省略、替换以及追加步骤。
(步骤S101)
在步骤S101中,控制部21作为学习数据获取部211进行动作,获取学习数据3。在本实施方式中,学习数据3由多个学习数据集30构成。
各学习数据集30可以适当地生成。例如,设想在真实空间或虚拟空间中执行识别特征的类别的任务的场景,获取与作为识别任务的执行对象的对象数据121相同种类的数据的样本作为训练数据31。获取样本的方法可以根据实施方式适当选择。在作为识别任务的执行对象的数据为感测数据的情况下,能够通过在各种条件下利用传感器观测对象来获取训练数据31。观测的对象可以根据识别类别的特征进行选择。然后,将指示识别所获取的训练数据31中包含的特征的类别的结果(正解)的信息作为正解数据32与训练数据31建立关联。识别训练数据31中包含的特征的类别的方法可以任意地选择。例如,可以由操作员手动地识别训练数据31中包含的特征的类别。或者,可以通过任意的识别器自动识别训练数据31中包含的特征的类别。另外,正解数据32的构成只要能够以可用于多个识别器5中的至少任一个识别器5的机器学习的方式指定识别任务的正解,便可以无特别限定,可以根据实施方式适当地确定。例如,正解数据32可以由指示训练数据31的各部分中是否存在对象类别的特征的信息构成。或者,正解数据32可以由指示训练数据31的各部分中包含的特征的类别的信息构成。
各学习数据集30可以通过计算机的动作自动生成,也可以通过至少部分地包含操作员的操作而手动生成。另外,各学习数据集30的生成可以由模型生成装置2进行,也可以由模型生成装置2以外的其他计算机进行。在由模型生成装置2生成学习数据集30的情况下,控制部21通过自动地或者通过操作员经由输入装置15的操作手动地执行上述生成处理,从而获取多个学习数据集30。另一方面,在由其他计算机生成各学习数据集30的情况下,控制部21例如经由网络、存储介质92等获取由其他计算机生成的多个学习数据集30。也可以由模型生成装置2生成一部分的学习数据集30,由一个或多个其他计算机生成其他的学习数据集30。
获取的学习数据集30的份数可以任意选择。学习数据3也可以按每个识别器5单独获取。关于多个识别器5中的至少任一者的组合,获取的学习数据3的至少一部分也可以不同。当获取到学习数据3时,控制部21使处理进入下一步骤S102。
(步骤S102)
在步骤S102中,控制部21作为学习处理部212进行动作,使用所获取的学习数据3按每个识别器5实施机器学习。通过该机器学习,控制部21生成被训练为识别各不相同的类别的特征的存在的多个识别器5。
具体而言,首先,控制部21准备构成作为机器学习的处理对象的识别器5的神经网络。神经网络的结构(例如层的数量、各层中包含的神经元的数量、相邻的层的神经元彼此的连接关系等)、各神经元间的连接的权重的初始值以及各神经元的阈值的初始值可以通过模板提供,也可以通过操作员输入提供。另外,在进行再学习的情况下,控制部21也可以基于通过过去的机器学习而得到的学习结果数据准备对象的识别器5。
接着,控制部21对对象的识别器5进行训练,以使关于各学习数据集30,由对象的识别器5对训练数据31识别是否存在对应类别的特征的结果符合正解数据32。该训练处理可以使用随机梯度下降法、小批量梯度下降法等。
例如,控制部21向对象的识别器5提供训练数据31,执行对象的识别器5的运算处理。即,控制部21向对象的识别器5的输入层51输入训练数据31,从输入侧起依次进行各层51~53中包含的各神经元的点火判定(即,进行正向传播的运算)。通过该运算处理,控制部21从输出层53获取与对训练数据31识别是否存在对应类别的特征的结果对应的输出值。
接着,控制部21计算从输出层53得到的输出值与由正解数据32所示的正解的误差。在误差(损失)的计算中,可以使用损失函数。损失函数是评价机器学习模型的输出与正解的差分(即,差异程度)的函数,从输出层53得到的输出值与正解的差分值越大,则通过损失函数算出的误差的值越大。用于计算误差的损失函数的种类也可以没有特别限定,可以根据实施方式适当地选择。
控制部21通过误差反向传播(Back propagation)法而使用算出的输出值的误差的梯度计算对象的识别器5的各运算参数(各神经元间的连接的权重、各神经元的阈值等)的值的误差。控制部21基于算出的各误差更新对象的识别器5的各运算参数的值。各运算参数的值的更新程度可以根据学习率进行调节。学习率可以通过操作员的指定来提供,也可以作为程序内的设定值而提供。
控制部21通过上述一系列的更新处理,调节对象的识别器5的各运算参数的值,以使关于各学习数据集30,算出的误差之和变小。例如,控制部21也可以反复通过上述一系列处理调节对象的识别器5的各运算参数的值,直到满足执行规定次数、所算出的误差之和在阈值以下等规定的条件为止。作为该调节处理的结果,控制部21能够关于学习数据3生成获得了识别对应类别的特征的存在的能力的训练完毕的识别器5。
控制部21按每个识别器5执行上述训练处理,以使其获得识别各自负责的类别的特征的存在的能力。由此,控制部21能够生成被训练为识别各不相同的类别的特征的存在的多个识别器5。当各识别器5的机器学习完成时,控制部21使处理进入下一步骤S103。
(步骤S103)
在步骤S103中,控制部21作为保存处理部213进行动作,生成与通过机器学习生成的训练完毕的各识别器5相关的信息作为学习结果数据225。然后,控制部21将所生成的各份学习结果数据225保存至规定的存储区域。
规定的存储区域例如可以是控制部21内的RAM、存储部22、外部存储装置、存储介质或它们的组合。存储介质例如可以为CD、DVD等,控制部21也可以经由驱动器27将各份学习结果数据225保存至存储介质中。外部存储装置例如可以为NAS(Network AttachedStorage:网络附加存储)等数据服务器。该情况下,控制部21也可以利用通信接口23而经由网络将各份学习结果数据225保存至数据服务器中。另外,外部存储装置例如也可以是经由外部接口24与模型生成装置2连接的外置的存储装置。
当各份学习结果数据225的保存完成时,控制部21结束本动作例所涉及的处理过程。
需要指出,生成的学习结果数据225可以在任意的时机向解析装置1提供。例如,控制部21也可以作为步骤S103的处理或者与步骤S103的处理分开地将学习结果数据225传送至解析装置1。解析装置1也可以通过接收该传送而获取学习结果数据225。另外,例如,解析装置1也可以利用通信接口13而经由网络访问模型生成装置2或数据服务器,从而获取学习结果数据225。另外,例如,解析装置1也可以经由存储介质91获取学习结果数据225。另外,例如,学习结果数据225也可以预先嵌入解析装置1。
进而,控制部21也可以通过定期或不定期地重复上述步骤S101~步骤S103的处理而更新或新生成学习结果数据225。在该重复时,可以适当地执行学习数据3的至少一部分的变更、修改、追加、删除等。然后,控制部21也可以通过任意的方法向解析装置1提供更新后的或者新生成的学习结果数据225,从而来更新解析装置1所保持的学习结果数据225。
[解析装置]
图7是表示本实施方式涉及的解析装置1的处理过程的一例的流程图。以下说明的处理过程是解析方法的一例。不过,以下说明的各处理过程仅为一例,各步骤可以在可能的范围内进行变更。进而,对于以下说明的各处理过程,可以根据实施方式适当地省略、替换以及追加步骤。
(步骤S201)
在步骤S201中,控制部11作为数据获取部111进行动作,获取对象数据121。对象数据121是作为识别任务的执行对象的规定种类的数据的样本。获取对象数据121的方法可以根据数据的种类适当地选择。在对象数据121为感测数据的情况下,控制部11通过利用传感器观测可能产生与识别类别的特征相关的现象的对象,从而能够获取对象数据121。当获取到对象数据121时,控制部11使处理进入下一步骤S202。
(步骤S202)
在步骤S202中,控制部11作为识别处理部112进行动作,参照学习结果数据225进行构成为识别各不相同的类别的特征的存在的多个训练完毕的识别器5的设定。接着,控制部11将获取到的对象数据121输入各识别器5的输入层51,执行各识别器5的正向传播的运算处理。作为该运算处理的结果,控制部11能够从各识别器5的输出层53获取与对对象数据121识别是否存在对应类别的特征的结果对应的输出值。由此,控制部11通过各识别器5试行所获取到的对象数据121中包含的特征的类别的识别。
(步骤S203)
在步骤S203中,控制部11作为判定部113进行动作,根据试行的结果在对象数据121内判定包含各类别的特征的数据部分。控制部11判定为在多个识别器5中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征。另一方面,控制部11判定为在包括一识别器在内的所有识别器5的识别成立的第二数据部分中不包含该对象类别的特征。
图8例示出用于通过本实施方式涉及的各识别器5识别特征的类别的判定基准的一例。在图8的例子中,设想使用三个识别器5a~5c作为多个识别器5。以下,为了便于说明,分别称为第一识别器5a、第二识别器5b以及第三识别器5c。将由各识别器5a~5c识别的类别分别称为第一类别、第二类别以及第三类别。范围61表示通过第一识别器5a识别为存在第一类别的特征的数据的集合。同样地,范围62表示通过第二识别器5b识别为存在第二类别的特征的数据的集合。范围63表示通过第三识别器5c识别为存在第三类别的特征的数据的集合。
在本实施方式中,控制部11判定为第一识别器5a的识别成立而剩余识别器(5b、5c)的识别不成立的属于范围610的数据部分中包含第一类别的特征。同样地,控制部11判定为第二识别器5b的识别成立而剩余识别器(5a、5c)的识别不成立的属于范围620的数据部分中包含第二类别的特征。控制部11判定为第三识别器5c的识别成立而剩余识别器(5a、5b)的识别不成立的属于范围630的数据部分中包含第三类别的特征。属于各范围(610、620、630)的数据部分是第一数据部分的一例。
相对于此,控制部11判定为所有识别器5a~5c的识别成立的属于范围600的数据部分中不包含第一类别~第三类别的特征。属于范围600的数据部分是第二数据部分的一例。属于该范围600的数据部分的处理可以根据实施方式适当确定。例如,控制部11也可以判定为在属于范围600的数据部分中出现了第一类别~第三类别的特征共通的现象。
另外,在识别器5的数量为三个以上的情况下,可能产生多个识别器5中的两个以上的识别器的识别成立而剩余一个以上的识别器的识别不成立的数据部分。在图8的例子中,属于各范围(640、650、660)的数据部分相当于此。关于该数据部分的处理,也可以根据实施方式适当确定。例如,控制部11也可以判定为该数据部分中出现了识别成立的类别的特征之间的过渡性现象。作为一例,控制部11也可以判定为属于范围640的数据部分中出现了第一类别的特征与第二类别的特征之间的过渡性现象。
作为识别的判定的单位的数据部分可以是对象数据121的一部分或全部。数据部分可以根据对象数据121的种类适当确定。对象数据121例如可以包括时序数据、多维数据等多个要素。时序数据包括沿着时间序列排列的多个要素。每一时刻的要素的数量可以是任意的。时序数据例如可以为动态图像数据等按时间序列得到的感测数据。多维数据每一时刻包括多个要素。多维数据例如可以为动态图像数据、静态图像数据等。多维数据也可以通过利用多个不同的传感器使时间同步地观测同一对象而得到。该情况下,各传感器的种类也可以不同。另外,多维数据可以由将同一内容进行不同表达(例如,不同的措辞、不同的方言、不同的语言(语言例如是自然语言、编程语言等)等)的文本数据构成。该情况下,可以将各表达作为各维进行处理。多维数据例如可以改称为“多次元数据”等。
图9A示意性地例示出在对象数据121为时序数据时对对象数据121执行特征的类别识别的结果的一例。在对象数据121为时序数据的情况下,控制部11也可以基于上述识别的试行的结果,在时序数据内判定包含各类别的特征的数据部分的时间区间。在图9A的例子中,控制部11判定为在第一识别器5a的识别成立而剩余识别器(5b、5c)的识别不成立的时间区间1211的数据部分中包含第一类别的特征。另一方面,控制部11判定为在包括第一识别器5a在内的所有识别器5a~5c的识别成立的时间区间1212的数据部分中不包含第一类别的特征。
该情况下,控制部11能够将各识别器5a~5c对对象数据121的判定结果从外侧进入各范围(610、620、630)的时间点判定为各类别的特征的出现的开始时间点。另一方面,能够将各识别器5a~5c对对象数据121的判定结果向外侧离开各范围(610、620、630)的时间点判定为各类别的特征的出现的结束时间点。
图9B示意性地例示出在对象数据121为多维数据时对对象数据121执行特征的类别识别的结果的一例。在对象数据121为多维数据的情况下,控制部11也可以基于上述识别的试行的结果在多维数据内判定包含各类别的特征的数据部分的范围。在图9B的例子中,控制部11判定为在第一识别器5a的识别成立而剩余识别器(5b、5c)的识别不成立的范围1215的数据部分中包含第一类别的特征。另一方面,控制部11判定为在包括第一识别器5a在内的所有识别器5a~5c的识别成立的范围1216的数据部分中不包含第一类别的特征。
综上所述,控制部11能够基于识别的试行的结果在对象数据121内判定包含各类别的特征的数据部分。当该判定处理完成时,控制部11使处理进入下一步骤S204。
(步骤S204)
在步骤S204中,控制部11作为赋予部114进行动作,对对象数据121赋予指示判定结果的标签。控制部11对第一数据部分赋予指示包含对象类别的特征的标签。在上述图8的例子中,控制部11对属于各范围(610、620、630)的数据部分赋予指示包含各类别的特征的标签。
对其他数据部分的标签的赋予可以是任意的。例如,可以省略对其他数据部分赋予标签。或者,控制部11也可以对所有识别器5的识别成立的数据部分(上述图8的例子中为属于范围600的数据部分)赋予指示出现所有类别的特征共通的现象的标签。另外,控制部11也可以对多个识别器5中两个以上的识别器的识别成立而剩余一个以上的识别器的识别不成立的数据部分(上述图8的例子中为属于各范围(640、650、660)的数据部分)赋予指示出现各类别的特征之间的过渡性现象的标签。
由此,当生成了带标签的对象数据121时,控制部11使处理进入下一步骤S205。
(步骤S205)
在步骤S205中,控制部11作为输出部115进行动作,输出与识别对象数据121中包含的特征的类别的结果相关的信息。
输出目的地及输出的信息的内容分别可以根据实施方式适当确定。例如,控制部11也可以将通过步骤S202及步骤S203识别对象数据121中包含的特征的类别的结果原样输出至输出装置16。在构成为各识别器5输出属于对应类别的概率的情况下,控制部11也可以将从各识别器5得到的属于各类别的概率的值作为该识别结果输出至输出装置16。另外,例如,控制部11也可以基于识别特征的类别的结果执行某些信息处理。然后,控制部11也可以将该信息处理的执行结果作为与类别识别的结果相关的信息输出。该信息处理的执行结果的输出可以包括根据识别结果输出特定的消息、根据识别结果对控制对象装置的动作进行控制、等等。输出目的地例如可以是输出装置16、其他的计算机的输出装置、控制对象装置等。另外,例如,作为步骤S205的输出处理,控制部11也可以将通过步骤S204生成的带标签的对象数据121保存于规定的存储区域。规定的存储区域例如可以是控制部11内的RAM、存储部12、外部存储装置、存储介质或者它们的组合。
当与类别识别的结果相关的信息的输出完成时,控制部11结束本动作例涉及的处理过程。需要指出,在规定期间内,控制部11也可以继续重复执行步骤S201~步骤S205的一系列信息处理。重复的时机可以是任意的。由此,解析装置1也可以继续执行对对象数据121的特征的识别任务。
[特征]
如上所述,在本实施方式中,通过上述步骤S101~步骤S103的处理,按识别对象的每个类别生成训练完毕的识别器5。在上述步骤S203中,判定为多个识别器5中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分包含由该一个识别器识别的对象类别的特征。另一方面,判定为包括一识别器在内的所有识别器5的识别成立的第二数据部分不包含一识别器的识别对象的类别的特征。通过该识别处理,如上所述,能够防止对只不过发生各类别的特征共通的现象但并不真正包含对象类别的特征的数据部分误识别为包含对象类别的特征。因此,根据本实施方式,能够谋求数据中包含的特征的类别的识别精度提高。
另外,在本实施方式中,通过上述步骤S204,能够生成带标签的对象数据121,该标签适当地指示各部分中包含的特征的类别。带标签的对象数据121可以用于机器学习,该机器学习用于获得识别与对象数据121相同种类的数据中包含的特征的类别的能力。由于被赋予的标签适当地指示对象数据121中包含的特征的类别,因此,根据带标签的对象数据121,能够提供质量良好的学习数据。
§4变形例
以上,对本发明的实施方式进行了详细说明,但至此为止说明在所有方面均只不过是本发明的例示。毋庸置疑,能够在不脱离本发明的范围的情况下进行各种改良或变形。例如,可进行如下这样的变更。需要指出,以下,关于与上述实施方式同样的构成要素,使用相同的附图标记,对于与上述实施方式同样的点,适当省略说明。以下的变形例可适当地进行组合。
<4.1>
上述实施方式涉及的解析系统100可以适用于识别数据中包含的某些特征的类别的所有场景。上述实施方式涉及的解析系统100例如可以适用于识别对象者的动作的种类的场景、识别生产线中的作业的工序的种类的场景、识别对象者的状态的类别的场景等。以下,例示出限定了适用场景的变形例。
(A)识别对象者的动作的种类的场景
图10示意性地例示出第一变形例涉及的动作解析系统100A的适用场景的一例。本变形例是将上述实施方式适用于利用通过对对象者RA的动作进行观测的传感器SA而得到的感测数据来识别对象者RA的动作的种类的场景的例子。动作的种类是特征的类别的一例。
在本变形例中,将通过传感器SA得到的感测数据作为对象数据及训练数据进行处理。识别对象的动作及种类分别可以根据实施方式适当确定。识别对象的动作例如也可以为举手、侧脸等简单的动作。或者,识别对象的动作例如也可以是与工厂中的某些作业相关的动作等连贯的动作。该情况下,识别对象的动作可以是与生产线中的不同种类的工序相关的动作。另外,动作的种类例如可以根据作业的种类、作业人员的属性、动作的好坏等进行设定。作业的种类例如可以包括视觉辨认、把持、搬运、调整等基本动作的种类。作业人员的属性例如可以包括作业人员的标识(或者名称)、工龄、熟练度、状态(例如健康度、疲劳度等)等。作业人员的属性可以按个人进行设定,也可以按一人或多人所属的各组进行设定。传感器SA例如可以是照相机、加速度传感器、运动传感器、压力传感器、麦克风等。照相机例如可以是普通的RGB照相机、深度照相机、红外线照相机等。除了这些限定之外,本变形例涉及的动作解析系统100A可以与上述实施方式涉及的解析系统100同样地构成。
(模型生成装置)
在本变形例中,模型生成装置2的控制部21在上述步骤S101中获取由多个学习数据集30A构成的学习数据。各学习数据集30A由训练数据31A及正解数据32A的组合构成。训练数据31A能够通过利用传感器SA或与其相同种类的传感器观测受试者的动作而得到。正解数据32A指示对于训练数据31A的动作的识别任务的正解。
控制部21使用所获取的学习数据实施上述步骤S102的机器学习,从而生成多个训练完毕的识别器5A,该多个训练完毕的识别器5A分别构成为将受试者的不同种类的动作的执行作为特征的存在进行识别。控制部21通过上述步骤S103的处理,生成与所生成的训练完毕的各识别器5A相关的信息作为学习结果数据,并将所生成的学习结果数据保存至规定的存储区域。生成的学习结果数据可以在任意的时机向解析装置1提供。
(解析装置)
在本变形例中,解析装置1可以经由通信接口13或外部接口14与传感器SA连接。传感器SA可以适当地配置于能够观测对象者RA的动作的地方。控制部11在上述步骤S201中从传感器SA获取对象数据121A。对象数据121A可以为时序数据及多维数据中的至少一方。控制部11通过上述步骤S202的处理,利用各识别器5A试行所获取的对象数据121A中出现的动作的种类的识别。
在上述步骤S203中,控制部11基于试行的结果在对象数据121A内判定出现各种类的动作的执行的数据部分。控制部11判定为在多个识别器5A中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中出现由该一识别器识别的对象种类的动作的执行。另一方面,控制部11判定为在包括一识别器在内的所有识别器5A的识别成立的第二数据部分中没有出现该对象种类的动作的执行。
例如,设想对象者RA是工厂的作业人员,通过四个识别器5A识别该作业人员的视觉辨认、把持、搬运以及调整这四个动作的场景。该情况下,控制部11也可以判定为在所有识别器5A的识别成立的第二数据部分出现所有动作共通的举止,在得到该数据部分的时刻哪个种类的动作都未被执行。另一方面,控制部11能够判定为在仅任一识别器5A的识别成立的数据部分出现对应种类的动作特有的举止,在得到该数据部分的时刻执行了该对应种类的动作。
另外,例如,设想准备了识别熟练人员及初学人员各自的动作的两个识别器5A的场景。该情况下,控制部11能够判定为在两个识别器5A的识别成立的第二数据部分出现熟练人员及初学人员共通的动作的执行。另一方面,控制部11能够判定为在仅与熟练人员对应的识别器5A的识别成立的数据部分出现熟练人员特有的动作的执行。同样地,控制部11能够判定为在仅与初学人员对应的识别器5A的识别成立的数据部分出现初学人员特有的动作的执行。
在上述步骤S204中,控制部11对对象数据121A赋予指示判定结果的标签。控制部11对第一数据部分赋予指示出现对象种类的动作的执行的标签。
在上述步骤S205中,控制部11输出与识别对象数据121A中出现的对象者RA的动作的种类的结果相关的信息。例如,控制部11也可以将识别对象者RA的动作的种类的结果原样输出至输出装置16。识别结果也可以通过执行了各种类的动作的概率来表现。
(特征)
在本变形例中,能够防止对于只不过发生各种类的动作共通的现象但并未真正执行对象种类的动作的数据部分误识别为执行了对象种类的动作。因此,根据本变形例,能够谋求数据中出现的对象者RA的动作种类的识别精度提高。需要指出,在本变形例中,识别对象也可以不限于人物的动作。识别对象的动作可以包括工业用机器人、移动机器人(例如无人机等)等机械的动作。该情况下,识别对象的动作可以包括机械和人协作的动作。另外,动作的种类例如可以包括机械的动作是否适当、机械的状态(例如,正常/故障之分、故障的程度等)等。
(B)识别驾驶员的状态的场景
图11示意性地例示出第二变形例涉及的状态解析系统100C的适用场景的一例。本变形例是将上述实施方式适用于利用通过对驾驶车辆的驾驶员RC进行观测的传感器SC而得到的感测数据识别驾驶员RC的状态的类别的场景的例子。驾驶员RC的状态是特征的一例。驾驶员RC是对象者的一例。
在本变形例中,将通过传感器SC得到的感测数据作为对象数据及训练数据进行处理。识别对象的状态及类别分别可以根据实施方式适当确定。识别对象的状态例如可以包括驾驶员的行动、健康状态、困倦度、疲劳度、富余度等。另外,状态的类别例如可以根据行动的种类、健康状态的种类、困倦度的程度、疲劳度的程度、富余度的程度等进行设定。传感器SC例如可以是照相机、生命传感器等。生命传感器例如可以是血压计、脉搏计、心率计、心电仪、肌电仪、体温计、皮肤电反应计、微波传感器、脑电图仪、脑磁图仪、活动量计、血糖值测量器、眼电位传感器、眼球运动测量器等。除了这些限定以外,本变形例涉及的状态解析系统100C可以与上述实施方式涉及的解析系统100同样地构成。
(模型生成装置)
在本变形例中,模型生成装置2的控制部21在上述步骤S101中获取由多个学习数据集30C构成的学习数据。各学习数据集30C由训练数据31C及正解数据32C的组合构成。训练数据31C能够通过利用传感器SC或者与其相同种类的传感器对驾驶车辆的受试者进行观测而得到。正解数据32C指示对于训练数据31C的状态的识别任务的正解。
控制部21使用所获取的学习数据实施上述步骤S102的机器学习,从而生成多个训练完毕的识别器5C,该多个训练完毕的识别器5C构成为将各不相同的类别的状态的出现作为特征的存在加以识别。控制部21通过上述步骤S103的处理生成与所生成的训练完毕的各识别器5C相关的信息作为学习结果数据,并将生成的学习结果数据保存至规定的存储区域。生成的学习结果数据可以在任意的时机向解析装置1提供。
(解析装置)
在本变形例中,解析装置1可以经由通信接口13或外部接口14与传感器SC连接。传感器SC可以适当地配置于能够观测驾驶员RC的状态的地方。控制部11在上述步骤S201中从传感器SC获取对象数据121C。对象数据121C可以是时序数据及多维数据中的至少一方。控制部11通过上述步骤S202的处理,利用各识别器5C试行所获取的对象数据121C中出现的状态的类别的识别。
在上述步骤S203中,控制部11基于试行的结果在对象数据121C内判定出现各类别的状态的数据部分。控制部11判定为在多个识别器5C中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中出现由该一个识别器识别的对象类别的状态。另一方面,控制部11判定为在包括一识别器在内的所有识别器5C的识别成立的第二数据部分中没有出现该对象类别的状态。
在上述步骤S204中,控制部11对对象数据121B赋予指示判定结果的标签。控制部11对第一数据部分赋予指示出现对象类别的状态的标签。
在上述步骤S205中,控制部11输出与识别对象数据121C中出现的驾驶员RC的状态的类别的结果相关的信息。例如,控制部11也可以将识别驾驶员RC的状态的类别的结果原样输出至输出装置16。另外,例如,控制部11也可以根据识别出的驾驶员RC的状态向输出装置16输出警告等特定的消息。作为一例,在识别出困倦度及疲劳度中的至少一方的类别的情况下,控制部11也可以根据驾驶员RC的状态被识别为困倦度及疲劳度中的至少一方高的类别这一情况,从输出装置16输出提示驾驶员RC将车辆停在停车场等进行休息的警告。
另外,例如在车辆具备控制自动驾驶的动作的控制装置(未图示)的情况下,控制部11也可以基于驾驶员RC的状态的类别的识别结果向控制装置发送用于指示车辆的自动驾驶的动作的指令。作为具体例,设想控制装置构成为能够切换控制车辆的行驶的自动驾驶模式及通过驾驶员RC的操纵控制车辆的行驶的手动驾驶模式。在该情形下,当车辆正以自动驾驶模式行驶,并从驾驶员RC或系统接收到从自动驾驶模式向手动驾驶模式切换时,控制部11也可以判定驾驶员RC的状态是否被识别为富余度高的类别。然后,在驾驶员RC的状态被识别为富余度高的类别的情况下,控制部11也可以向控制装置发送允许从自动驾驶模式向手动驾驶模式切换的指令。另一方面,在驾驶员RC的状态被识别为富余度低的类别的情况下,控制部11也可以向控制装置发送不允许从自动驾驶模式向手动驾驶模式切换的通知,并维持以自动驾驶模式行驶。
另外,当车辆以手动驾驶模式行驶时,控制部11也可以判定驾驶员RC的状态是否被识别为困倦度及疲劳度中的至少一方高的类别。然后,在驾驶员RC的状态被识别为困倦度及疲劳度中的至少一方高的类别的情况下,控制部11也可以向控制装置发送指示从手动驾驶模式切换为自动驾驶模式并在停车场等安全场所停车的指令。另一方面,不是那样的情况下,控制部11也可以使车辆维持以手动驾驶模式行驶。
另外,在车辆以手动驾驶模式行驶时,控制部11也可以判定驾驶员RC的状态是否被识别为富余度低的类别。然后,在驾驶员RC的状态被识别为富余度低的类别的情况下,控制部11也可以向控制装置发送减速指令。另一方面,不是那样的情况下,控制部11也可以维持通过驾驶员RC的操作使车辆行驶。需要指出,在本变形例中,车辆的控制装置和解析装置1可以由一体的计算机构成。
(特征)
在本变形例中,能够防止对于只不过发生各类别的状态共通的现象但并未真正出现对象类别的状态的数据部分误识别为出现对象类别的状态。因此,根据本变形例,能够谋求数据中出现的驾驶员RC的状态的类别的识别精度提高。
(C)识别健康状态的类别的场景
图12示意性地例示出第三变形例涉及的状态解析系统100D的适用场景的一例。本变形例是将上述实施方式适用于利用通过对对象者RD的健康状态进行观测的传感器SD而得到的感测数据识别对象者RD的健康状态的类别的场景的例子。健康状态是特征的一例。
在本变形例中,将通过传感器SD得到的感测数据作为对象数据及训练数据进行处理。识别对象的健康状态及类别分别可以根据实施方式适当确定。识别对象的健康状态例如可以与能够根据得到的感测数据推测的特定疾病相关。健康状态的类别例如可以根据是否健康、是否有生病的预兆、有预兆或出现的疾病的种类、是否是通过服用特定药或者实施特定治疗方法有望改善的疾病、等等来进行设定。传感器SD例如可以是照相机、生命传感器、医疗检查装置等。医疗检查装置例如可以是CT装置、MRI装置等。除了这些限定以外,本变形例涉及的状态解析系统100D可以与上述实施方式涉及的解析系统100同样地构成。
(模型生成装置)
在本变形例中,模型生成装置2的控制部21在上述步骤S101中获取由多个学习数据集30D构成的学习数据。各学习数据集30D由训练数据31D及正解数据32D的组合构成。训练数据31D能够通过利用传感器SD或与其相同种类的传感器观测受试者的健康状态而得到。正解数据32D指示对于训练数据31D的健康状态的识别任务的正解。
控制部21使用所获取的学习数据实施上述步骤S102的机器学习,从而生成多个训练完毕的识别器5D,该多个训练完毕的识别器5D构成为将各不相同的类别的健康状态的出现作为特征的存在加以识别。控制部21通过上述步骤S103的处理生成与所生成的训练完毕的各识别器5D相关的信息作为学习结果数据,并将生成的学习结果数据保存至规定的存储区域。生成的学习结果数据可以在任意的时机向解析装置1提供。
(解析装置)
在本变形例中,解析装置1可以经由通信接口13或外部接口14与传感器SD连接。传感器SD可以适当地配置于能够观测对象者RD的健康状态的地方。控制部11在上述步骤S201中从传感器SD获取对象数据121D。对象数据121D可以是时序数据及多维数据中的至少一方。控制部11通过上述步骤S202的处理,利用各识别器5D试行所获取的对象数据121D中出现的健康状态的类别的识别。
在上述步骤S203中,控制部11基于试行的结果在对象数据121D内判定出现各类别的健康状态的数据部分。控制部11判定为在多个识别器5D中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中出现由该一识别器识别的对象类别的健康状态。另一方面,控制部11判定为在包括一识别器在内的所有识别器5D的识别成立的第二数据部分中没有出现该对象类别的健康状态。
在上述步骤S204中,控制部11对对象数据121B赋予指示判定结果的标签。控制部11对第一数据部分赋予指示出现对象类别的健康状态的标签。
在上述步骤S205中,控制部11输出与识别对象数据121D中出现的对象者RD的健康状态的类别的结果相关的信息。例如,控制部11也可以将对象者RD的健康状态的类别的识别结果原样输出至输出装置16。另外,例如,在识别出的健康状态的类别对应于有规定疾病的预兆的情况下,控制部11也可以向输出装置16输出提示在医院进行审查的消息。另外,例如,控制部11也可以向所登记的医院的终端发送对象者RD的健康状态的类别的识别结果。需要指出,作为发送目的地的终端的信息可以存储于RAM、ROM、存储部12、存储介质91、外部存储装置等规定的存储区域。
(特征)
在本变形例中,能够防止对于只不过发生各类别的健康状态共通的现象但并未真正出现对象类别的健康状态的数据部分误识别为出现对象类别的健康状态。因此,根据本改变例,能够谋求数据中出现的对象者RD的健康状态的类别的识别精度提高。
<4.2>
在上述实施方式中,各识别器5使用全连接型的神经网络。但是,构成各识别器5的神经网络的种类也可以不限定于这样的例子。各识别器5例如可以使用卷积神经网络、递归型神经网络等。另外,构成各识别器5的机器学习模型的种类也可以不限于神经网络。各识别器5除了神经网络以外,例如也可以使用支持向量机、回归模型、决策树模型等。各识别器5除了机器学习模型以外,也可以使用基于规则的模型。各识别器5也可以通过机器学习模型及基于规则的模型的组合而构成。各识别器5的构成只要能够识别特征的类别,便可以无特别限定,可以根据实施方式适当确定。学习数据的构成可以根据各识别器5的构成适当确定。
另外,在上述实施方式中,各识别器5的输入及输出的形式也可以没有特别限定,可以根据实施方式适当确定。例如,各识别器5也可以构成为还接收对象数据121以外的信息的输入。各识别器5也可以构成为还输出特征类别的识别结果以外的信息。特征类别的识别结果的表现形式也可以没有特别限定,可以根据实施方式适当确定。识别对象类别的特征的存在可以包括:对存在对象类别的特征的概率进行回归,基于所得到的概率判定是否存在对象类别的特征。
另外,在上述实施方式中,在各识别器5(图8的例子中为识别器5a~5c)的结构的至少一部分共通的情况下,可以在各识别器5之间共享运算参数的至少一部分。在各识别器5的结构一致的情况下,各识别器5的一部分或全部的运算参数可以在各识别器5之间共享。在共享各识别器5的全部运算参数的情况下,一个识别器作为各识别器5进行动作。该情况下,一个识别器的输入层可以构成为还接收独热向量(one-hot bector)等指示识别对象的类别(即,作为哪个识别器5进行动作)的信息的输入。
另外,在上述实施方式中,各识别器5构成为接收对象数据121的输入,并直接输出特征的类别的识别结果。但是,通过各识别器5识别对象数据121中包含的特征的类别的方式也可以不限定于这样的例子。作为其他例子,各识别器可以构成为生成包含对应类别的特征的生成数据。该情况下,通过对各识别器生成的生成数据和对象数据121进行比较,能够识别对象数据121中包含的特征的类别。
图13示意性地例示出本变形例涉及的各识别器7的训练场景的一例。本变形例涉及的各识别器7构成为:根据包含识别对象的类别的特征的第一数据35生成包含同一识别对象的类别的特征的与对象数据121相同种类的第二数据36。作为构成的一例,各识别器7具备编码器71及解码器72。编码器71构成为将第一数据35转换为特征量(潜在变量)。解码器72构成为根据特征量生成第二数据36。特征量的形式可以没有特别限定,可以任意确定。编码器71及解码器72分别可以由能够进行机器学习的模型构成。构成它们各自的机器学习模型的种类可以任意选择。与上述各识别器5同样地,编码器71及解码器72可以使用神经网络。
在本变形例中,模型生成装置2的控制部21在上述步骤S101中获取由第一数据35及第二数据36的组合构成的学习数据。第一数据35及第二数据36以包含各识别器7的识别对象的类别的特征的方式被获取。若捕捉到相同的现象,则能够根据任意的数据生成不同种类的数据。因此,第一数据35可以是捕捉到与第二数据36相同的现象的与第二数据36不同种类的数据。作为一例,设想通过照相机及运动传感器观测受试者的动作的场景。该情况下,第一数据35可以通过照相机及运动传感器中的任一方得到,第二数据36可以通过另一方得到。或者,第一数据35及第二数据36也可以是相同种类。即,第一数据35及第二数据36也可以为同一信号。该情况下,学习数据由单一的数据构成。
在上述步骤S102中,控制部21使用对应的学习数据按每个识别器7执行机器学习。机器学习的方法可以根据各识别器7的构成适当选择。作为一例,在编码器71及解码器72分别由神经网络构成的情况下,控制部21将包含对应的识别对象的类别的特征的第一数据35输入编码器71,执行编码器71的运算处理。由此,控制部21从编码器71获取与将第一数据35转换为特征量的结果对应的输出值。接着,控制部21将从编码器71得到的特征量输入解码器72,执行解码器72的运算处理。由此,控制部21从解码器72获取与根据特征量生成的生成数据229对应的输出值。
控制部21计算所得到的生成数据229与第二数据36的误差。控制部21通过误差反向传播法,使用算出的误差的梯度计算编码器71及解码器72的各运算参数的值的误差。控制部21基于算出的各误差更新编码器71及解码器72的各运算参数的值。控制部21通过该一系列的更新处理调节编码器71及解码器72的各运算参数的值,以使算出的误差之和变小。
通过以上的机器学习,控制部21能够生成训练完毕的识别器7,该训练完毕的识别器7获得了根据包含识别对象的类别的特征的第一数据35生成包含同一识别对象的类别的特征的与对象数据121相同种类的第二数据36的能力。控制部21通过按每个类别获取学习数据并执行上述机器学习,能够生成多个训练完毕的识别器7,该多个训练完毕的识别器7获得了生成包含各不相同的类别的特征的与对象数据121相同种类的数据的能力。
需要指出,在第一数据35及第二数据36为不同种类及相同种类的任一种情形下,在第一数据35及第二数据36为时序数据的情况下,各识别器7也可以被训练为根据从对象时刻起将来或过去的第一数据35生成对象时刻的第二数据36。另外,在上述机器学习中,除了上述更新处理以外,控制部21也可以还计算从编码器71得到的特征量与从规定的概率分布(例如高斯分布等)得到的值的误差,并进一步调节编码器71的各运算参数的值以使该误差之和变小。由此,控制部21也可以将编码器71的输出值归一化。
图14示意性地例示出本变形例涉及的各识别器7的利用场景的一例。在本变形例中,解析装置1的控制部11在上述步骤202中将与第一数据35相同种类的输入数据123输入各识别器7的编码器71,执行各识别器7的运算处理。由此,控制部11从解码器72获取根据输入数据123生成的与对象数据121相同种类的生成数据125所对应的输出值。在第一数据35是与第二数据36不同种类的数据的情况下,控制部11与对象数据121分开地获取提供给各识别器7的输入数据123。控制部11能够获取捕捉到与对象数据121相同现象的不同种类的数据作为输入数据123。另一方面,在第一数据35及第二数据36为相同种类的情况下,控制部11通过将对象数据121作为输入数据123提供给各识别器7,生成生成数据125。该情况下,省略获取与对象数据121不同的数据的工夫,与之相应地能够简化步骤S202的处理。
接着,控制部11基于由各识别器7生成的生成数据125和对象数据121的比较,试行对象数据121中包含的特征的类别的识别。通过上述机器学习,各识别器7构成为生成关于对应类别的特征再现性高、关于其他类别的特征再现性低的数据。因此,在对象数据121中包含对象类别的特征的情况下,通过对应的识别器7生成的生成数据125与对象数据121之间的差异(以下也称为重构误差)变小(即,一致度变大)。相对于此,在对象数据121中不包含对象类别的特征的情况下,通过对应的识别器7生成的生成数据125与对象数据121之间的差异变大。因此,作为识别处理的一例,在通过对应的识别器7生成的生成数据125与对象数据121之间的差异小于阈值的情况下,控制部11可以识别为对象数据121中包含对象类别的特征(即,对应的识别器7的识别成立)。另一方面,在并非那样的情况下,控制部11可以识别为对象数据121中不包含对象类别的特征(即,对应的识别器7的识别不成立)。阈值可以适当确定。由此,控制部11能够基于通过各识别器7生成的生成数据125和对象数据121的比较,试行对象数据121中包含的特征的类别的识别。在对象数据121为时序数据或多维数据的情况下,控制部11能够基于各数据部分的重构误差判定对应类别的识别是否成立。例如,在对象数据121为动态图像数据的情况下,帧单位或像素单位等计算重构误差的数据部分的单位可以根据实施方式适当确定。步骤S203及其之后的处理可以与上述实施方式是同样的。
根据本变形例,在利用被构成为生成包含对应的类别的特征的数据的识别器7的识别处理中,能够谋求数据中包含的特征的类别的识别精度提高。需要指出,在本变形例中,各识别器7的构成只要能够根据第一数据35生成第二数据36,便也可以不限定于这样的例子,可以根据实施方式适当确定。例如,各识别器7也可以不分离为编码器71及解码器72。
在上述变形例中,各识别器7通过自监督学习学会重构所提供的数据的能力。通过自监督学习使各识别器学会的能力也可以不限定于这样的例子。通过自监督学习使各识别器学会的能力例如也可以是将包含对应类别的特征的按照规定规则转换后的数据恢复为转换前的操作。
作为一例,按照规定规则进行转换可以是对时序数据中的时间顺序进行重新排列。该情况下,恢复为转换前的操作是将重新排列了时间序列的顺序的数据恢复为原来的时间序列。作为其他的例子,按照规定规则进行转换可以是对多维数据中的值的配置(例如,图像数据的像素的配置)进行重新排列。该情况下,恢复为转换前的操作是将重新排列了配置的数据的各值恢复为原来的配置。作为其他的例子,按照规定规则进行转换可以是对数据的一部分赋予缺损。该情况下,恢复为转换前的操作是将一部分被赋予缺损的数据复原。
需要指出,各规则可以通过操作员的指定、程序内的设定等来提供。使各识别器学会的操作的规则可以全部一致,或者,也可以是使至少任一个识别器学会的操作的规则与使其他识别器学会的操作的规则不同。通过将包含对应类别的特征的按照规定规则转换后的数据用作上述第一数据35,并将转换前的数据用作上述第二数据36,从而能够使各识别器学会进行将按照规定规则转换后的数据恢复为转换前的操作的能力。
学会这样的能力的各识别器能够以与上述各识别器7同样的方法加以利用。即,控制部11通过按照与使各识别器学会的能力对应的规定规则对对象数据121进行转换,从而生成输入数据。接着,控制部11将所生成的输入数据提供给各识别器,执行各识别器的运算处理。由此,控制部11从各识别器获取与对输入数据执行恢复原样的操作的结果对应的输出数据。控制部11将从各识别器得到的输出数据与对象数据121进行比较。
对象数据121越类似于对应识别器的机器学习中使用的数据,则对应识别器越能够将输入数据适当地恢复为对象数据121,因此,输出数据与对象数据121之间的差异变小。另一方面,若不是那样的话,则输出数据与对象数据121之间的差异变大。因此,作为识别处理的一例,也可以是在通过对应识别器得到的输出数据与对象数据121的差异小于阈值的情况下,控制部11识别为对象数据121中包含对象类别的特征。另一方面,若不是那样的话,控制部11可以识别为在对象数据121中不包含对象类别的特征。
<4.3>
在上述实施方式中,可以省略步骤S204的处理。该情况下,可以从解析装置1的软件构成中省略赋予部114。另外,在上述实施方式中,各识别器5也可以由模型生成装置2以外的计算机生成。该情况下,可以从解析系统100的构成中省略模型生成装置2。
附图标记说明
1…解析装置、
11…控制部、12…存储部、
13…通信接口、14…外部接口、
15…输入装置、16…输出装置、17…驱动器、
111…数据获取部、112…识别处理部、
113…判定部、114…赋予部、115…输出部、
121…对象数据、
81…解析程序、91…存储介质、
2…模型生成装置、
21…控制部、22…存储部、
23…通信接口、24…外部接口、
25…输入装置、26…输出装置、27…驱动器、
211…学习数据获取部、212…学习处理部、
213…保存处理部、
225…学习结果数据、
82…生成程序、92…存储介质、
3…学习数据、30…学习数据集、
31…训练数据、32…正解数据、
5…识别器、
51…输入层、52…中间(隐藏)层、
53…输出层。

Claims (10)

1.一种解析装置,具备:
数据获取部,获取对象数据;
识别处理部,通过多个识别器分别试行所述对象数据中包含的特征的类别的识别,所述多个识别器构成为识别各不相同的类别的特征的存在;以及
判定部,基于所述试行的结果,在所述对象数据内判定包含各类别的所述特征的数据部分,所述判定部判定为在所述多个识别器中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征,并判定为在包括所述一识别器在内的所有识别器的识别成立的第二数据部分中不包含所述对象类别的特征。
2.根据权利要求1所述的解析装置,其中,
所述解析装置还具备赋予部,所述赋予部对所述第一数据部分赋予指示包含所述对象类别的特征的信息。
3.根据权利要求1或2所述的解析装置,其中,
所述各识别器构成为根据包含识别对象的类别的特征的第一数据,生成包含所述识别对象的类别的特征的与所述对象数据相同种类的第二数据,
所述识别处理部基于由所述各识别器生成的生成数据与所述对象数据的比较,试行所述对象数据中包含的特征的类别的识别。
4.根据权利要求3所述的解析装置,其中,
所述第一数据与所述第二数据为相同种类,
所述识别处理部通过向所述各识别器提供所述对象数据,从而生成所述生成数据。
5.根据权利要求1至4中任一项所述的解析装置,其中,
所述对象数据是时序数据,
所述判定部基于所述试行的结果在所述时序数据内判定包含各类别的所述特征的所述数据部分的时间区间。
6.根据权利要求1至5中任一项所述的解析装置,其中,
所述对象数据是多维数据,
所述判定部基于所述试行的结果在所述多维数据内判定包含各类别的所述特征的所述数据部分的范围。
7.根据权利要求1至6中任一项所述的解析装置,其中,
所述各识别器构成为将受试者的不同种类的动作的执行作为所述特征的存在进行识别,
所述判定部基于所述试行的结果在所述对象数据内判定出现各种类的所述动作的执行的所述数据部分。
8.根据权利要求1至6中任一项所述的解析装置,其中,
所述各识别器构成为将生产线中的不同种类的工序的执行作为所述特征的存在进行识别,
所述判定部基于所述试行的结果在所述对象数据内判定出现各种类的所述工序的执行的所述数据部分。
9.一种解析方法,由计算机执行以下步骤:
获取对象数据;
通过多个识别器分别试行所述对象数据中包含的特征的类别的识别,所述多个识别器构成为识别各不相同的类别的特征的存在;以及
基于所述试行的结果,在所述对象数据内判定包含各类别的所述特征的数据部分,并且,判定为在所述多个识别器中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征,并判定为在包括所述一识别器在内的所有识别器的识别成立的第二数据部分中不包含所述对象类别的特征。
10.一种解析程序,用于使计算机执行以下步骤:
获取对象数据;
通过多个识别器分别试行所述对象数据中包含的特征的类别的识别,所述多个识别器构成为识别各不相同的类别的特征的存在;以及
基于所述试行的结果,在所述对象数据内判定包含各类别的所述特征的数据部分,并且,判定为在所述多个识别器中的一识别器的识别成立而剩余识别器的识别不成立的第一数据部分中包含由该一识别器识别的对象类别的特征,并判定为在包括所述一识别器在内的所有识别器的识别成立的第二数据部分中不包含所述对象类别的特征。
CN202080080058.5A 2019-12-24 2020-11-20 解析装置、解析方法以及解析程序 Pending CN114730392A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019233146A JP7400449B2 (ja) 2019-12-24 2019-12-24 解析装置、解析方法、及び解析プログラム
JP2019-233146 2019-12-24
PCT/JP2020/043315 WO2021131446A1 (ja) 2019-12-24 2020-11-20 解析装置、解析方法、及び解析プログラム

Publications (1)

Publication Number Publication Date
CN114730392A true CN114730392A (zh) 2022-07-08

Family

ID=76575233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080058.5A Pending CN114730392A (zh) 2019-12-24 2020-11-20 解析装置、解析方法以及解析程序

Country Status (5)

Country Link
US (1) US20220406036A1 (zh)
EP (1) EP4083873A4 (zh)
JP (1) JP7400449B2 (zh)
CN (1) CN114730392A (zh)
WO (1) WO2021131446A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233559A1 (ja) * 2022-05-31 2023-12-07 日本電気株式会社 学習装置、判定装置、学習方法および記録媒体
WO2024038505A1 (ja) * 2022-08-16 2024-02-22 日本電気株式会社 映像処理装置、映像処理システム及び映像処理方法
CN116211316B (zh) * 2023-04-14 2023-07-28 中国医学科学院阜外医院 多导联心电信号的类型识别方法、系统及辅助系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5520886B2 (ja) 2011-05-27 2014-06-11 日本電信電話株式会社 行動モデル学習装置、方法、及びプログラム
JP5081999B1 (ja) 2011-06-22 2012-11-28 株式会社日立エンジニアリング・アンド・サービス 異常予兆診断結果の表示方法
JP5953673B2 (ja) 2011-08-11 2016-07-20 日本電気株式会社 行動識別装置、行動識別方法、及びプログラム
JP2017102671A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 識別装置、調整装置、情報処理方法及びプログラム
JP6928880B2 (ja) 2018-03-14 2021-09-01 オムロン株式会社 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Also Published As

Publication number Publication date
WO2021131446A1 (ja) 2021-07-01
EP4083873A4 (en) 2023-07-26
JP2021101318A (ja) 2021-07-08
JP7400449B2 (ja) 2023-12-19
EP4083873A1 (en) 2022-11-02
US20220406036A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
KR101864380B1 (ko) 수술영상데이터 학습시스템
CN114730392A (zh) 解析装置、解析方法以及解析程序
EP3648016A1 (en) Scalable artificial intelligence model generation systems and methods for healthcare
EP3384856A1 (en) Cell abnormality diagnosing system using dnn learning, and diagnosis managing method of same
CN110119775B (zh) 医疗数据处理方法、装置、系统、设备和存储介质
US20190362835A1 (en) System and method for generating textual descriptions from medical images
KR20190088375A (ko) 수술영상데이터 학습시스템
CN111915584A (zh) 一种基于ct影像的病灶随访评估方法及系统
CN113723513B (zh) 多标签图像分类方法、装置及相关设备
EP4116893A1 (en) Model generation device, estimation device, model generation method, and model generation program
CN113673244A (zh) 医疗文本处理方法、装置、计算机设备和存储介质
Fareed et al. ADD-Net: an effective deep learning model for early detection of Alzheimer disease in MRI scans
CN113990500A (zh) 一种生命体征参数的监测方法、装置以及储存介质
CN114129169B (zh) 一种生物电信号数据识别方法、系统、介质和设备
KR20220007030A (ko) 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법
KR102429447B1 (ko) 안면 표정 인식을 이용한 기분장애 진단을 위한 정보 제공 시스템
Hoxhallari et al. The potential of explainable artificial intelligence in precision livestock farming
Sujatha et al. Detection of Bipolar Disorder Using Machine Learning with MRI.
CN113822439A (zh) 任务预测方法、装置、设备及存储介质
CN111915553A (zh) 基于时序建模的部位识别方法和装置
JP2020190913A (ja) 読影支援装置および読影支援方法
CN114449701B (zh) 基于病历信息的灯光类型调控方法、装置及电子设备
EP4369284A1 (en) Image enhancement using generative machine learning
EP4302699A1 (en) System and method for processing ultrasound imaging data
US20240062907A1 (en) Predicting an animal health result from laboratory test monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination