CN117296067A - 机器学习装置、分类装置以及控制装置 - Google Patents

机器学习装置、分类装置以及控制装置 Download PDF

Info

Publication number
CN117296067A
CN117296067A CN202180097691.XA CN202180097691A CN117296067A CN 117296067 A CN117296067 A CN 117296067A CN 202180097691 A CN202180097691 A CN 202180097691A CN 117296067 A CN117296067 A CN 117296067A
Authority
CN
China
Prior art keywords
data
video data
unit
tag
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180097691.XA
Other languages
English (en)
Inventor
上野智史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN117296067A publication Critical patent/CN117296067A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

即使用较少的训练数据也能够生成判定精度高的学习完成模型。机器学习装置具有：视频数据特征量提取部，其从包含作业员的视频数据中提取作业员动作的特征量；训练数据提取部，其在提取出预先登记的特定动作的特征量时，将该特定动作的作业内容标记到视频数据，并提取该视频数据与作业内容之组的训练数据；运行数据特征量提取部，其从工业机械的运行数据中提取与提取出的训练数据关联的特征量；赋予标签基准制作部，其根据训练数据的特征量和运行数据的特征量，制作视频数据用以及运行数据用的赋予标签基准；标签赋予部，其根据视频数据用以及运行数据用的基准，对未被标记的视频数据以及运行数据进行标记；学习部，其使用包含标记后的视频数据的训练数据进行机器学习，并生成根据视频数据来对作业员的作业进行分类的学习完成模型。

Description

机器学习装置、分类装置以及控制装置
技术领域
本发明涉及机器学习装置、分类装置以及控制装置。
背景技术
在工厂等生产现场，为了提高作业效率，对生产线上作业员的作业动作进行解析，实现生产设备、作业内容等的改善。
例如，提出了如下技术：使作业员佩戴传感器、激光器，并且利用视频摄像头拍摄作业者，从由传感器、激光器以及视频摄像头分别测定出的跟踪数据中提取节拍(tact)单位作业以及最小单位作业，根据提取出的最小单位作业来计算特征向量，根据计算出的特征向量进行该作业员的作业动作的分析处理，检测作业错误、检测作业者的姿势变化、检测实质作业时间等。例如，参照专利文献1。
现有技术文献
专利文献
专利文献1：日本特开2006-209468号公报
发明内容
发明要解决的课题
准备等作业根据工厂或机械的不同而动作不同，因此，为了生成进行高精度判定的学习完成模型或分类器，需要按现场或按机械来制备训练数据。
然而，为了进行生成学习完成模型或分类器的深度学习，需要大量的训练数据，存在收集训练数据花费精力和时间这样的问题。
因此，期望即使用较少的训练数据也能生成判定精度高的学习完成模型。
用于解决课题的手段
(1)本公开的机器学习装置的一方式具有：视频数据特征量提取部，其从由至少一个摄像头拍摄到的包含作业员的视频数据中，提取表示所述作业员的动作的特征量；训练数据提取部，其在提取出由所述视频数据特征量提取部提取出的所述特征量中的、表示预先登记的特定动作的特征量时，将提取出的所述特定动作表示的作业内容标记到对应的视频数据，并提取标记后的所述视频数据的输入数据与所述作业内容的标签数据之组的训练数据；运行数据特征量提取部，其从工业机械的运行数据中提取与提取出的所述训练数据关联的特征量；赋予标签基准制作部，其根据提取出的所述训练数据的视频数据的特征量和所述运行数据的特征量，分别制作视频数据用的赋予标签基准、以及运行数据用的赋予标签基准；标签赋予部，其根据所述视频数据用的赋予标签基准和所述运行数据用的赋予标签基准，对未被标记的视频数据以及运行数据进行标记；以及学习部，其使用所述训练数据进行机器学习，并生成学习完成模型，其中，所述训练数据包含由所述标签赋予部标记后的所述视频数据，学习完成模型用于根据输入的视频数据来对作业员执行的作业进行分类。
(2)本公开的分类装置的一方式具有：学习完成模型，其由(1)的机器学习装置生成；输入部，其输入由至少一个摄像头拍摄到的包含作业员的视频数据；以及作业判定部，其根据所述学习完成模型，从由所述输入部输入的所述视频数据中判定所述作业员的作业。
(3)本公开的控制装置的一方式具有(2)的分类装置。
发明效果
根据一方式，即使用较少的训练数据也能够生成判定精度高的学习完成模型。
附图说明
图1是表示一实施方式的控制系统的功能结构例的功能框图。
图2是表示由摄像头拍摄到的视频的一例的图。
图3是表示作业的时间序列的一例的图。
图4A是示出表示工具更换的作业内容的手势的一例的图。
图4B是示出表示工具更换的作业内容的手势的一例的图。
图5是表示产品A用的准备时间宽度的一例的图。
图6A是表示每个作业的训练数据的一例的图。
图6B是表示每个作业的训练数据的一例的图。
图7是表示存储在判定结果存储部中的数据的一例的图。
图8是对运用阶段中分类装置的分类处理进行说明的流程图。
具体实施方式
以下，使用附图对本公开的一实施方式进行说明。在此，例示了机床作为工业机械的情况。此外，本发明也能够应用于工业用机器人、服务用机器人、锻压机械以及注射成型机等工业机械。
＜一实施方式＞
图1是表示一实施方式的控制系统的功能结构例的功能框图。如图1所示，控制系统1具有：机床10、摄像头20、分类装置30以及机器学习装置40。
机床10、以规定的帧频拍摄视频(动态图像)的摄像头20、分类装置30以及机器学习装置40可以经由未图示的连接接口彼此直接连接。另外，机床10、摄像头20、分类装置30以及机器学习装置40也可以经由LAN(Local Area Network)、因特网等未图示的网络相互连接。此时，机床10、摄像头20、分类装置30以及机器学习装置40具有：用于通过该连接相互进行通信的未图示的通信部。此外，如后所述，机床10所包含的控制装置110也可以包含分类装置30以及机器学习装置40。
机床10对于本领域技术人员而言是公知的机床，包含控制装置110。机床10根据来自控制装置110的动作指令进行动作。
控制装置110例如对于本领域技术人员而言是公知的数值控制装置，根据控制信息生成动作指令，将生成的动作指令发送到机床10。由此，控制装置110控制机床10的动作。
具体而言，控制装置110是通过控制机床10来使机床10进行规定的机械加工的装置。对控制装置110提供记述了机床10的动作的加工程序。控制装置110根据提供的加工程序来制作动作指令，并将该动作指令发送到机床10，由此控制机床10的马达，其中，动作指令包含针对各轴的移动指令、对驱动主轴的马达的旋转指令等。由此，执行机床10的规定的机械加工。
另外，控制装置110将包含动作指令、门的开闭、马达的转矩值等的机床10的运行数据发送到分类装置30。并且，控制装置110也可以根据控制装置110所包含的时钟(未图示)的时钟信号，将表示测定出动作指令、门的开闭、马达的转矩值等的时刻的时刻信息，附加到运行数据中并输出到分类装置30。另外，控制装置110例如也可以以规定的时间间隔检查后述的摄像头20所包含的时钟(未图示)的时刻并使其相互同步。
此外，在机床10是机器人等的情况下，控制装置110可以是机器人控制装置等。
另外，控制装置110的控制对象的装置不限于机床10、机器人，可以广泛应用于所有工业机械。工业机械例如包含机床、工业用机器人、服务用机器人、锻压机械以及注射成型机这样的各种机械。
在本实施方式中，作为控制装置110，例示数值控制装置。
摄像头20例如是监视摄像头等数字摄像头，配置在配置有机床10的工厂内。摄像头20将以规定的帧频拍摄到的帧图像作为视频输出到分类装置30。另外，摄像头20根据摄像头20所包含的时钟(未图示)的时钟信号，取得拍摄各帧图像的时刻，将表示取得的时刻的时刻信息附加到视频中，输出到分类装置30。
图2是表示由摄像头20拍摄到的视频的一例的图。在图2中，表示摄像头20拍摄三台机床10而得的视频。
此外，在图1中，配置有一台摄像头20，但也可以配置两台以上的摄像头20来拍摄机床10。
分类装置30也可以在运用阶段取得由摄像头20拍摄并附加了时刻信息的视频。另外，分类装置30例如也可以从控制装置110取得机床10的运行数据。分类装置30通过将取得的视频输入到从后述的机器学习装置40提供的学习完成模型，能够判定(分类)视频中拍摄到的作业员对机床10进行的作业内容。
另外，分类装置30也可以将取得的机床10的运行数据以及由摄像头20拍摄到的视频数据发送到后述的机器学习装置40。
另外，分类装置30可以在运用阶段接收由后述的机器学习装置40生成的学习完成模型，向接收到的学习完成模型输入由摄像头20拍摄到的视频数据，由此，判定(分类)视频内的作业员的作业内容，将该判定结果显示在控制装置110所包含的液晶显示器等显示部(未图示)。并且，分类装置30在判定结果存在错误的情况下，取得在控制装置110中输入的正确作业内容，将判定出的视频数据的输入数据和取得的正确作业内容的标签数据输出到机器学习装置40，由此，使机器学习装置40更新学习完成模型。
在对分类装置30进行说明之前，对用于生成学习完成模型的机器学习进行说明。
＜机器学习装置40＞
机器学习装置40例如取得由摄像头20拍摄到的视频数据，如后所述，从取得的视频数据中提取表示作业员的动作的特征量。
机器学习装置40在提取了提取出的特征量中的、如后所述作为预先登记的作业员的特定动作的手势的特征量时，将提取出的手势表示的作业内容的标签标记到对应的视频数据，提取标记后的视频数据的输入数据与作业内容的标签数据之组的训练数据。
另外，机器学习装置40取得机床10的运行数据，如后所述从取得的运行数据中提取与上述的训练数据关联的特征量，如后所述根据提取出的训练数据和运行数据的特征量，分别制作视频数据用的赋予标签基准以及运行数据用的赋予标签基准。
机器学习装置40根据视频数据用的赋予标签基准和运行数据用的赋予标签基准，至少对未标记的视频数据进行标记。
机器学习装置40通过包含新标记的视频数据的训练数据(training data)进行监督学习，构建后述的学习完成模型。
由此，机器学习装置40即使用较少的训练数据也能够构建判定精度高的学习完成模型，并可以将构建出的学习完成模型提供给分类装置30。
对机器学习装置40进行具体说明。
如图1所示，机器学习装置40具有：视频数据取得部401、视频数据特征量提取部402、训练数据提取部403、运行数据取得部404、运行数据特征量提取部405、赋予标签基准制作部406、标签赋予部407、学习部408以及存储部409。
存储部409例如是ROM(Read Only Memory)、HDD(Hard Disk Drive)等，储存机器学习装置40所包含的处理器(未图示)要执行的系统程序以及机器学习应用程序等。另外，存储部409存储由后述的学习部408生成的学习完成模型，并且具有训练数据提取签名存储部4091。
训练数据提取签名存储部4091例如将赋予为标签的作业内容和表示各作业内容的特定动作(手势等)对应起来进行储存。
图3是表示作业的时间序列的一例的图。
如图3所示，作业内容包含“待机”、“产品A用的准备”、“清扫”、“工具更换”。另外，作业内容也可以定义为“产品B用的准备”等，由作业员等用户自由地定义。
图4A和图4B是示出表示工具更换的作业内容的手势的一例的图。图4A示出表示工具更换的开始的手势的一例，图4B示出表示工具更换的结束的手势的一例。
即，作业员在各作业的开始时和结束时朝向摄像头20进行按工具更换等作业内容预先登记的手势(特定动作)，由此，明示正在进行哪个作业。由此，能够对视频数据赋予由手势表示的作业内容的标签，可以作为训练数据。
由此，能够容易地收集用于生成根据视频数据来判定作业内容的学习完成模型的训练数据。
视频数据取得部401经由分类装置30取得由摄像头20拍摄到的包含作业员的视频数据。
视频数据特征量提取部402从取得的视频数据中提取表示作业员的动作的特征量。
具体而言，视频数据特征量提取部402使用公知的方法(例如，菅野滉介、奥健太、川越恭二、《多次元時系列データからのモーション検出·分類手法》、DEIM Forum 2016G4-5、或者上園翔平、小野智司、《LSTM Autoencoderを用いたマルチモーダル系列データの特徴抽出》、人工智能学会研究会资料、SIG-KBS-B802-01、2018)，从附加了时刻信息的视频数据中提取作业员的身体(手指、手臂、腿等)关节的坐标、角度的时间序列数据的特征量。另外，视频数据特征量提取部402取得从视频数据中提取出的身体关节的坐标、从角度的时间序列数据中提取的统计特征量(平均值、峰值等)。另外，视频数据特征量提取部402根据身体关节的坐标和角度来判断细微的动作并提取特征量(数值控制(NC)操作或机床10内的作业等、是否为构成准备的细微动作、是准备时该准备的时刻等)。
另外，视频数据特征量提取部402也可以使用由后述的运行数据取得部取得的机床10的运行数据来提取表示作业员的动作的特征量。
例如，视频数据特征量提取部402可以根据运行数据掌握机床10的门的开闭时间，在视频数据内存在在相同的时间变化的部位时，将该部位判断为机床10的门。由此，在该部位处作业员将上半身进入时，视频数据特征量提取部402可以提取“机床内的作业”这样的特征量。另外，视频数据特征量提取部402也可以在作业员的上半身朝向机床10的上方时，提取“用自动工具更换装置(ATF)进行作业”等特征量，在作业员的上半身朝向机床10的下方时，提取“用工作台进行作业”等特征量。
另外，视频数据特征量提取部402可以从运行数据中在作业员进行NC操作的时间，在视频数据中有作业员按下按钮的部位时，将该部位判断为NC区域。由此，在将手放置于该部位时，视频数据特征量提取部402可以提取“NC操作”这样的特征量。
训练数据提取部403在提取出由视频数据特征量提取部402提取出的特征量中的、表示预先登记的特定动作即手势的特征量时，将提取出的手势表示的作业内容标记到对应的视频数据，提取标记后的视频数据的输入数据与作业内容的标签数据之组作为训练数据。
运行数据取得部404经由分类装置30取得机床10的运行数据。
运行数据特征量提取部405提取与从机床10的运行数据中提取出的训练数据关联的特征量。
具体而言，运行数据特征量提取部405例如根据由训练数据提取部403提取出的训练数据的作业开始和结束时刻来计算时间宽度，或者对被标记的每个作业计算时间宽度的平均值。
图5是表示产品A用的准备时间宽度的一例的图。
如图5所示，运行数据特征量提取部405以重叠的同时计算出的产品A用的准备时间宽度来切出时间，按切出的时间从机床10的运行数据中提取以下信息作为运行数据的特征量：与要分类的作业关联的机床10的信号信息(根据卡盘的开闭、马达的转矩计算出的工具异常值等)、判断是否进行相同的加工的信息(加工程序、制造编号)、以及机床10的运行状态以及运行状态推移(例如，从工具更换的警报恢复为通常运行等作业内容的变化)。
此外，视频数据特征量提取部402也可以与运行数据特征量提取部405的情况一样，以重叠的同时计算出的各作业的时间宽度切出视频数据，提取该时间的视频数据的特征量。
赋予标签基准制作部406根据提取出的训练数据的视频数据的特征量和运行数据的特征量，分别制作视频数据用的赋予标签基准以及运行数据用的赋予标签基准。
图6A以及图6B是表示每个作业的训练数据的一例的图。在图6A中表示准备作业(运行状态为停止中)时的训练数据，在图6B中表示工具更换(运行状态为警报中)时的训练数据。此外，图6A的卡盘开闭信号在机床内作业开始时从“闭”变化为“开”，在机床内作业结束时从“开”变化为“闭”。另一方面，图6B的卡盘开闭信号在机床内作业期间保持“闭”。另外，运行状态有运行中、(网络)切断中、紧急停止中、暂时停止中、手动运转中、预热运转中等。
对图6A和图6B所示的训练数据的每个作业，赋予标签基准制作部406例如计算由视频数据特征量提取部402提取出的特征量的平均值。赋予标签基准制作部406对训练数据的每个作业，计算计算出的特征量平均值与未被标记的视频数据的特征量之间的马氏距离(Mahalanobis’distance)等距离，作为视频数据用的赋予标签基准。
另外，赋予标签基准制作部406对图6A以及图6B所示的训练数据的每个作业，计算由运行数据特征量提取部405提取出的特征量的平均值。赋予标签基准制作部406对训练数据的每个作业，计算计算出的特征量平均值与未被标记的运行数据的特征量之间的马氏距离等距离，作为运行数据用的赋予标签基准。
此外，赋予标签基准制作部406计算距离，但不限于此，例如也可以进行机器学习(例如，CART(Classification And Regression Tree)等决策树算法)，制作分类器来计算分类为哪个作业的概率。
标签赋予部407根据视频数据用的赋予标签基准和运行数据用的赋予标签基准，通过半监督学习对未被标记的视频数据以及运行数据进行标记。
具体而言，标签赋予部407例如根据由赋予标签基准制作部406计算出的视频数据以及运行数据的距离(基准)和(式1)来计算加权后的距离(基准)，在计算出的距离比一定以上的距离小时，对未被标记的视频数据以及运行数据进行标记。此外，加权系数“0.8”、“0.2”是一个例子，可以使用任意值。
(式1)
使用了两个基准的距离＝根据视频数据计算出的距离×0.8+根据运行数据计算出的距离×0.2
另外，标签赋予部407也可以判断对未被标记的视频数据以及运行数据赋予哪个标签。
由此，标签赋予部407能够以较少的训练数据进行复杂作业的标记，并且即使在视频数据中有一些不同部分，由于运行数据的特征量大致相同，因此也能够进行标记。
此外，标签赋予部407也可以在由赋予标签基准制作部406计算出概率作为视频数据以及运行数据的基准时，根据视频数据以及运行数据的概率(基准)和(式2)来计算加权后的概率，在计算出的概率比一定以上的概率小时，对未被标记的视频数据以及运行数据进行标记。
(式2)
使用了两个基准的概率＝根据视频数据计算出的概率×0.8+根据运行数据计算出的概率×0.2
另外，赋予标签基准(例如，特征量的平均值)也可以使用标记后的视频数据以及运行数据依次更新。例如，可以是赋予标签基准制作部406根据公知方法(例如，引导法的共同训练等)，根据训练数据和标记了的数据再次计算基准，标签赋予部407根据该基准进行标记。
学习部408使用包含由标签赋予部407标记后的视频数据的训练数据进行机器学习(例如，梯度提升、神经网络等)，来构建学习完成模型361，该学习完成模型361用于根据输入的视频数据来对作业员执行的作业进行分类。
并且，学习部408对分类装置30提供构建出的学习完成模型361。
此外，学习部408也可以在将学习完成模型361提供给分类装置30之后，从分类装置30取得了新的视频数据的输入数据与作业内容的标签数据之组的训练数据时，使用取得的训练数据再次进行机器学习，更新学习完成模型361。
另外，学习部408可以通过在线学习进行，也可以通过批量学习进行，还可以通过小批量学习进行。
在线学习是每当从分类装置30取得训练数据时立即进行监督学习的学习方法。另外，批量学习是如下学习方法：在反复从分类装置30取得训练数据的期间，收集与反复对应的多个训练数据，使用收集到的全部训练数据来进行监督学习。并且，小批量学习是在线学习和批量学习中间的方法，是每当在某种程度上积累了训练数据时进行监督学习的学习方法。
以上，对用于生成分类装置30具有的学习完成模型361的机器学习进行了说明。
接着，对运用阶段中的分类装置30进行说明。
＜运用阶段中的分类装置30＞
如图1所示，运用阶段中的分类装置30构成为包含以下部分：输入部301、作业判定部302、判定结果写入部303、判定结果修正读入部304、判定数据解析部305以及存储部306。
此外，为了实现图1的功能块的动作，分类装置30具有CPU(Central ProcessingUnit)等未图示的运算处理装置。另外，分类装置30具有储存各种控制用程序的ROM、HDD等未图示的辅助存储装置、用于储存运算处理装置执行程序时暂时需要的数据的RAM这样的未图示的主存储装置。
并且，在分类装置30中，运算处理装置从辅助存储装置读入OS、应用软件，使读入的OS、应用软件在主存储装置中展开，同时进行根据这些OS、应用软件的运算处理。根据该运算结果，分类装置30控制各硬件。由此，实现图1的功能块执行的处理。即，分类装置30可以通过硬件与软件协作来实现。
存储部306是ROM、HDD等，也可以与各种控制用程序一起具有学习完成模型361以及判定结果存储部362。
判定结果存储部362将针对由后述的作业判定部302判定出的视频数据的判定结果与判定出的视频数据中的特征量对应起来进行存储。
输入部301输入由摄像头20拍摄到的包含作业员的视频数据。
作业判定部302根据学习完成模型361，从由输入部301输入的视频数据中判定作业员的作业。
判定结果写入部303将作业判定部302的判定结果显示于控制装置110的显示部(未图示)。
由此，作业员能够判定学习完成模型361进行的分类的优劣。
判定结果修正读入部304在判定结果存在错误时，取得由作业员经由控制装置110所包含的键盘、触摸面板等输入部(未图示)输入的正确作业内容，将判定出的视频数据的输入数据和取得的正确作业内容的标签数据输出到机器学习装置40，使机器学习装置40更新学习完成模型361。
此外，结果的读入、修正的写入可以使用例如后述的存储部306、PMC区域等。
判定数据解析部305根据存储在判定结果存储部362中的判定结果和判定出的视频数据中的特征量，检测特征量有无异常。
具体而言，判定数据解析部305例如使用k附近法等公知的无监督异常检测的算法，如图7所示，从判定结果存储部362的相同结果的数据中检测特征量有无异常。
或者，例如判定为准备作业的视频数据有100个，在99个视频数据中检测到卡盘开闭信号的从ON(开)到OFF(闭)的特征量，在1个视频数据中未检测到卡盘开闭信号的从ON(开)到OFF(闭)的特征量时，判定数据解析部305可以将未检测到的一个视频数据判定为异常。此外，这样被判定为异常的1个视频数据也可以通过上述的k附近法等公知的无监督异常检测的算法而判定为异常。
并且，判定数据解析部305也可以在检测出卡盘开闭信号等的特征量的异常时，将检测结果显示于控制装置110的显示部(未图示)。
这样，判定数据解析部305通过检测卡盘开闭信号等特征量的异常，能够知晓判定结果错误，能够检测作业内容异常。
＜运用阶段中的分类装置30的分类处理＞
接着，对本实施方式的分类装置30的分类处理的动作进行说明。
图8是对运用阶段中的分类装置30的分类处理进行说明的流程图。这里所示的流程在从摄像头20输入视频数据的期间被反复执行。
在步骤S11中，输入由摄像头20拍摄到的包含作业员的视频数据。
在步骤S12中，作业判定部302将在步骤S11中输入的视频数据输入到学习完成模型361，判定作业员的作业。
在步骤S13中，判定结果写入部303将步骤S12的判定结果显示于控制装置110的显示部(未图示)。
在步骤S14中，判定结果修正读入部304判定是否取得了由作业员经由控制装置110的输入部(未图示)输入的正确作业内容。在取得了输入的正确作业内容时，处理进入到步骤S15。另一方面，在未取得输入的正确作业内容时，处理进入到步骤S16。
在步骤S15中，判定结果修正读入部304将判定出的视频数据的输入数据和取得的正确作业内容的标签数据输出到机器学习装置40，使机器学习装置40更新学习完成模型361。
在步骤S16中，判定数据解析部305根据储存在判定结果存储部362中的判定结果和判定出的视频数据中的特征量，检测特征量有无异常。
根据以上内容，一实施方式的机器学习装置40制作如下基准：作业者朝向摄像头20通过每个作业的手势明示该作业的开始时和结束时，提取该期间的视频数据的输入数据和该作业的标签数据之组的训练数据，并且还使用在与训练数据相同的时刻收集到的机床10的运行数据，对视频数据以及运行数据赋予标签的基准。机器学习装置40根据制作出的基准，通过半监督学习，从视频数据和运行数据双方的观点出发，对未被标记的视频数据进行标记。由此，机器学习装置40即使是少的训练数据也能够生成判定精度高的学习完成模型，不需要新设备，就能够以对作业员较少的负担简单地生成学习完成模型361。
另外，分类装置30能够使用学习完成模型361，从摄像头20容易地分类并识别作业员执行的复杂的任意作业。
以上，对一实施方式进行了说明，但分类装置30和机器学习装置40不限于上述的实施方式，还包含可以达成目的的范围内的变形、改良等。
＜变形例1＞
在上述的实施方式中，例示了机器学习装置40为与控制装置110以及分类装置30不同的装置，但也可以使控制装置110或者分类装置30具有机器学习装置40的一部分或者全部的功能。
＜变形例2＞
另外，例如在上述的实施方式中，例示了分类装置30为与控制装置110不同的装置，但也可以使控制装置110具有分类装置30的一部分或全部的功能。
或者，例如也可以是服务器具有分类装置30的输入部301、作业判定部302、判定结果写入部303、判定结果修正读入部304、判定数据解析部305以及存储部306中的一部分或者全部。另外，也可以在云上利用虚拟服务器功能等来实现分类装置30的各功能。
并且，分类装置30也可以是将分类装置30的各功能适当地分散到多个服务器的分散处理系统。
＜变形例3＞
另外，例如在上述的实施方式中，学习部408使用视频数据的输入数据与作业内容的标签数据之组的训练数据进行机器学习，构建根据输入的视频数据对作业员执行的作业进行分类的学习完成模型361，但不限定于此。例如，在分类装置30的作业判定部302能够取得视频数据和运行数据双方时，学习部408可以使用视频数据和运行数据的输入数据与作业内容的标签数据之组的训练数据进行机器学习，构建根据输入的视频数据和运行数据对作业员执行的作业进行分类的学习完成模型361。
此外，一实施方式中的分类装置30以及机器学习装置40所包含的各功能能够通过硬件、软件或者它们的组合来分别实现。在此，通过软件实现是指通过计算机读入并执行程序来实现。
分类装置30以及机器学习装置40所包含的各结构部可以通过包含电子电路等的硬件、软件或者它们的组合来实现。在通过软件实现的情况下，构成该软件的程序被安装于计算机。另外，这些程序既可以记录于可移动介质来发布给用户，也可以通过经由网络下载到用户的计算机来进行发布。另外，在由硬件构成的情况下，例如能够通过ASIC(Application Specific Integrated Circuit)、门阵列、FPGA(Field Programmable GateArray)、CPLD(Complex Programmable Logic Device)等集成电路(IC)构成上述装置所包含的各构成部的功能的一部分或者全部。
程序可以使用各种类型的非暂时性的计算机可读介质(Non-transitorycomputer readable medium)来储存，并提供给计算机。非暂时性的计算机可读介质包含各种类型的有实体的记录介质(Tangible storage medium)。非暂时性的计算机可读介质的例子包含磁记录介质(例如，软盘、磁带、硬盘驱动器)、光磁记录介质(例如，光磁盘)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半导体存储器(例如，掩模ROM、PROM(ProgrammableROM)、EPROM(Erasable PROM)、闪存ROM、RAM)。另外，程序也可以通过各种类型的暂时性的计算机可读介质(Transitory computer readable medium)提供给计算机。暂时性的计算机可读介质的例子包含电信号、光信号和电磁波。暂时性的计算机可读介质可以经由电线和光纤等有线通信路径或无线通信路径将程序提供给计算机。
此外，描述在记录介质中记录的程序的步骤，当然包含按该顺序呈时间序列进行的处理，也包含未必呈时间序列进行的处理、以及并列地或者个别地执行的处理。
换言之，本公开的机器学习装置、分类装置以及控制装置可以采取具有如下结构的各种实施方式。
(1)本公开的机器学习装置40，具有：视频数据特征量提取部402，其从由至少一个摄像头20拍摄到的包含作业员的视频数据中，提取表示作业员的动作的特征量；训练数据提取部403，其在提取出由视频数据特征量提取部402提取出的特征量中的、表示预先登记的特定动作的特征量时，将提取出的特定动作表示的作业内容标记到对应的视频数据，并提取标记后的视频数据的输入数据与作业内容的标签数据之组的训练数据；运行数据特征量提取部405，其从机床10的运行数据中提取与提取出的训练数据关联的特征量；赋予标签基准制作部406，其根据提取出的训练数据的视频数据的特征量和运行数据的特征量，分别制作视频数据用的赋予标签基准、以及运行数据用的赋予标签基准；标签赋予部407，其根据视频数据用的赋予标签基准和运行数据用的赋予标签基准，对未被标记的视频数据以及运行数据进行标记；以及学习部408，其使用训练数据进行机器学习，并生成学习完成模型361，其中，训练数据包含由标签赋予部407标记后的视频数据，学习完成模型361用于根据输入的视频数据来对作业员执行的作业进行分类。
根据该机器学习装置40，即使用较少的训练数据也能够生成判定精度高的学习完成模型。
(2)在(1)所述的机器学习装置40中，也可以是，视频数据特征量提取部402根据视频数据和运行数据中的机床10的变化时间，在视频数据中提取表示在机床10内作业员的动作的特征量、或者表示作业员对机床10的操作的特征量。
由此，机器学习装置40可以生成能够更详细地判定作业员的作业内容的学习完成模型361。
(3)在(1)或者(2)所述的机器学习装置40中，也可以是，赋予标签基准制作部406对训练数据的每个作业计算由视频数据特征量提取部402提取出的特征量的平均值，对训练数据的每个作业，将计算出的特征量的平均值与未被标记的视频数据的特征量之间的距离作为视频数据用的赋予标签基准，对训练数据的每个作业计算由运行数据特征量提取部405提取出的特征量的平均值，对训练数据的每个作业，将计算出的特征量的平均值与未被标记的运行数据的特征量之间的距离作为运行数据用的赋予标签基准。
由此，机器学习装置40能够以较少的训练数据进行复杂作业的标记。
(4)本公开的分类装置30，具有：学习完成模型361，其由(1)～(3)中任一项所述的机器学习装置40生成；输入部301，其输入由至少一个摄像头20拍摄到的包含作业员的视频数据；以及作业判定部302，其根据学习完成模型361，从由输入部301输入的视频数据中判定作业员的作业。
根据该分类装置30，能够从视频数据中高精度地判定作业员的作业。
(5)在(4)所述的分类装置30中，也可以是，分类装置30具有：判定结果写入部303，其使控制机床10的控制装置110显示作业判定部302的判定结果；以及判定结果修正读入部304，其在判定结果存在错误的情况下，取得在控制装置110中输入的正确作业内容，将判定出的视频数据的输入数据和取得的正确作业内容的标签数据输出到机器学习装置40，使机器学习装置40更新学习完成模型361。
由此，作业员能够判定学习完成模型361进行的分类的优劣，分类装置30能够通过从作业员接受正确作业内容来更新学习完成模型361。
(6)在(4)或者(5)所述的分类装置30中，也可以是，分类装置30具有：判定数据解析部305，其根据作业判定部302的判定结果和判定出的视频数据中的特征量，检测特征量有无异常。
由此，分类装置30通过检测异常，能够知晓判定结果错误，能够检测作业内容异常。
(7)也可以是，分类装置30具有(1)～(3)中任一项所述的机器学习装置40。
由此，分类装置30能够获得与上述的(1)～(6)中任一项相同的效果。
(8)本公开的控制装置110，具有：(4)～(7)中任一项所述的分类装置30。
根据该控制装置110，能够获得与上述的(1)～(7)中任一项相同的效果。
符号说明
1 控制系统
10 机床
110 控制装置
20 摄像头
30 分类装置
301 输入部
302 作业判定部
303 判定结果写入部
304 判定结果修正读入部
305 判定数据解析部
361 学习完成模型
362 判定结果存储部
40 机器学习装置
401 视频数据取得部
402 视频数据特征量提取部
403 训练数据提取部
404 运行数据取得部
405 运行数据特征量提取部
406 赋予标签基准制作部
407 标签赋予部
408 学习部
4091训练数据提取签名存储部。

Claims (8)

1.一种机器学习装置，其特征在于，具有：
视频数据特征量提取部，其从由至少一个摄像头拍摄到的包含作业员的视频数据中，提取表示所述作业员的动作的特征量；
训练数据提取部，其在提取出由所述视频数据特征量提取部提取出的所述特征量中的、表示预先登记的特定动作的特征量时，将提取出的所述特定动作表示的作业内容标记到对应的视频数据，并提取标记后的所述视频数据的输入数据与所述作业内容的标签数据之组的训练数据；
运行数据特征量提取部，其从工业机械的运行数据中提取与提取出的所述训练数据关联的特征量；
赋予标签基准制作部，其根据提取出的所述训练数据的视频数据的特征量和所述运行数据的特征量，分别制作视频数据用的赋予标签基准、以及运行数据用的赋予标签基准；
标签赋予部，其根据所述视频数据用的赋予标签基准和所述运行数据用的赋予标签基准，对未被标记的视频数据以及运行数据进行标记；以及
学习部，其使用所述训练数据进行机器学习，并生成学习完成模型，其中，所述训练数据包含由所述标签赋予部标记后的所述视频数据，学习完成模型用于根据输入的视频数据来对作业员执行的作业进行分类。
2.根据权利要求1所述的机器学习装置，其特征在于，
所述视频数据特征量提取部根据视频数据和运行数据中的所述工业机械的变化时间，在视频数据中提取表示在所述工业机械内所述作业员的动作的特征量、或者表示所述作业员对所述工业机械的操作的特征量。
3.根据权利要求1或2所述的机器学习装置，其特征在于，
所述赋予标签基准制作部对所述训练数据的每个作业计算由所述视频数据特征量提取部提取出的特征量的平均值，对所述训练数据的每个作业，将计算出的所述特征量的平均值与未被标记的视频数据的特征量之间的距离作为视频数据用的赋予标签基准，并且对所述训练数据的每个作业计算由所述运行数据特征量提取部提取出的特征量的平均值，对所述训练数据的每个作业，将计算出的所述特征量的平均值与未被标记的运行数据的特征量之间的距离作为运行数据用的赋予标签基准。
4.一种分类装置，其特征在于，具有：
学习完成模型，其由权利要求1～3中任一项所述的机器学习装置生成；
输入部，其输入由至少一个摄像头拍摄到的包含作业员的视频数据；以及
作业判定部，其根据所述学习完成模型，从由所述输入部输入的所述视频数据中判定所述作业员的作业。
5.根据权利要求4所述的分类装置，其特征在于，
所述分类装置具有：
判定结果写入部，其使控制所述工业机械的控制装置显示所述作业判定部的判定结果；以及
判定结果修正读入部，其在所述判定结果存在错误的情况下，取得在所述控制装置中输入的正确作业内容，将判定出的所述视频数据的输入数据和取得的所述正确作业内容的标签数据输出到所述机器学习装置，使所述机器学习装置更新所述学习完成模型。
6.根据权利要求4或5所述的分类装置，其特征在于，
所述分类装置具有：判定数据解析部，其根据所述作业判定部的判定结果和判定出的所述视频数据中的特征量，检测所述特征量有无异常。
7.根据权利要求4～5中任一项所述的分类装置，其特征在于，
所述分类装置具有权利要求1～3中任一项所述的机器学习装置。
8.一种控制装置，其特征在于，具有：
权利要求4～7中任一项所述的分类装置。
CN202180097691.XA 2021-05-07 2021-05-07 机器学习装置、分类装置以及控制装置 Pending CN117296067A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/017578 WO2022234678A1 (ja) 2021-05-07 2021-05-07 機械学習装置、分類装置、及び制御装置

Publications (1)

Publication Number Publication Date
CN117296067A true CN117296067A (zh) 2023-12-26

Family

ID=83932057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180097691.XA Pending CN117296067A (zh) 2021-05-07 2021-05-07 机器学习装置、分类装置以及控制装置

Country Status (5)

Country Link
US (1) US20240193919A1 (zh)
JP (1) JPWO2022234678A1 (zh)
CN (1) CN117296067A (zh)
DE (1) DE112021007196T5 (zh)
WO (1) WO2022234678A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11887367B1 (en) 2023-04-19 2024-01-30 OpenAI Opco, LLC Using machine learning to train and use a model to perform automatic interface actions based on video and input datasets

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209468A (ja) 2005-01-28 2006-08-10 Yakahi Kikuko 作業動作解析装置、作業動作解析方法および作業動作解析プログラム
JP6857547B2 (ja) * 2017-05-25 2021-04-14 日本電信電話株式会社 移動状況認識モデル学習装置、移動状況認識装置、方法、及びプログラム
US11151410B2 (en) * 2018-09-07 2021-10-19 International Business Machines Corporation Generating and augmenting transfer learning datasets with pseudo-labeled images
JP2020144660A (ja) * 2019-03-07 2020-09-10 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN111563424B (zh) * 2020-04-20 2022-08-30 清华大学 基于半监督学习的行人再识别方法及装置

Also Published As

Publication number Publication date
DE112021007196T5 (de) 2024-01-18
JPWO2022234678A1 (zh) 2022-11-10
WO2022234678A1 (ja) 2022-11-10
US20240193919A1 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
JP4752721B2 (ja) 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
CN111308925B (zh) 信息处理装置、生产指示辅助方法
US10740122B2 (en) System module of simulating machine operation screen based on non-invasive data-extraction system
US9841753B2 (en) Monitoring system of a dynamical arrangement of pieces taking part in a process related to a manufacturing executing system
JP6832327B2 (ja) 生産プロセス中に異常なワークピースを自動検出するためのデータ駆動方法
CN111693794B (zh) 异常检测装置以及异常检测方法
JPWO2017090098A1 (ja) 設備管理装置および方法
CN111507261B (zh) 一种基于视觉目标定位的工序操作质量监控方法
JP7275062B2 (ja) 時変システム動作における異常検出のためのシステム、方法およびコンピュータ読取可能記憶媒体
CN108563204B (zh) 控制方法、装置、电子设备及计算机可读存储介质
CN117296067A (zh) 机器学习装置、分类装置以及控制装置
TW202028901A (zh) 異常因子推估裝置、異常因子推估方法及程式產品
CN117358615A (zh) 一种自动喷码印刷缺陷检测方法及系统
Male et al. Recognition of human activity and the state of an assembly task using vision and inertial sensor fusion methods
JP7486751B2 (ja) 作業稼働率測定装置及び作業稼働率測定方法
JP2021163293A (ja) 作業分析装置及び作業分析プログラム
US20220198802A1 (en) Computer-implemental process monitoring method, device, system and recording medium
US11321656B2 (en) Difference extracting device
KR102466433B1 (ko) 영상 분석 기반 작업 동작 인식 장치 및 방법
US11966218B2 (en) Diagnosis device, diagnosis method and program
JP7331572B2 (ja) 製造原価算出予測システム、製造原価算出予測方法、および製造原価算出予測プログラム
Bauters et al. Real time trajectory matching and outlier detection for assembly operator trajectories
JP2019096033A (ja) ノイズ発生原因推定装置
EP3910565A1 (en) Information management device and information management method
Karel et al. Real time trajectory matching and outlier detection for assembly operator trajectories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination