CN110678727A - 判定装置、判定方法和判定程序 - Google Patents

判定装置、判定方法和判定程序 Download PDF

Info

Publication number
CN110678727A
CN110678727A CN201780091249.XA CN201780091249A CN110678727A CN 110678727 A CN110678727 A CN 110678727A CN 201780091249 A CN201780091249 A CN 201780091249A CN 110678727 A CN110678727 A CN 110678727A
Authority
CN
China
Prior art keywords
abnormality
data
cause
determination
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780091249.XA
Other languages
English (en)
Other versions
CN110678727B (zh
Inventor
雨宫智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN110678727A publication Critical patent/CN110678727A/zh
Application granted granted Critical
Publication of CN110678727B publication Critical patent/CN110678727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G05B23/0281—Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Manipulator (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

为了高精度地分析异常原因，原因分析部(34)取得机器人(22)的测试数据，根据检测异常时使用的阈值来从测试数据中提取与异常有关的数据(进行稀疏化)。而且，原因分析部(34)将稀疏化后的传感器数据转换为关注于多个传感器之间的类似关系的曲线图结构的结构数据，使用转换后的结构数据来生成也能够应用于如无法通过最大似然估计法计算的复杂的模型(非参数模型)的异常原因识别器。

Description

判定装置、判定方法和判定程序
技术领域
本发明涉及判定装置、判定方法和判定程序。
背景技术
在世界各国的生产现场，主要通过引入产业用机器人来实现自动化和节省劳动力，由此实现了削减成本和提高生产效率。产业用机器人自身从几十年前起被引入生产现场，但是，仅单纯地反复进行所公开的动作，因此，无法灵活地应对产品的变化。此外，无法应对变化，有可能大量地形成不良产品，因此，作业人员需要逐一调整机器人。
近年来，利用作为人工智能的1个领域的机械学习技术来积极地进行了使机器人自身自主地判断并应对的智能化后的自动化生产线的研究开发。此外，为了实现生产设备的自主判断，已知有用于高精度地检测作业异常的技术(例如，参照专利文献1等)。
现有技术文献
专利文献
专利文献1：日本特开2010-78467号公报
发明内容
发明要解决的课题
为了实现生产机器人的自主判断，在检测出作业异常的情况下，要求在部件等产生损坏之前迅速地使生产机器人停止。另一方面，为了分析并估计作业异常的原因，优选能够获得详细的传感器数据，但是，当在异常检测之后迅速地使生产机器人停止时，在此之后无法取得传感器数据，因此，难以估计异常原因。
另外，不限于生产机器人，在其它机器人、装置中也存在相同的课题。
在一个侧面中，本发明的目的在于提供一种能够高精度地分析异常原因的判定装置、判定方法和判定程序。
用于解决问题的手段
在一个方式中，判定装置，其具有：取得部，其取得与装置的动作有关的传感器数据；提取部，其根据在使用所取得的所述传感器数据来检测异常时使用的阈值，从所述传感器数据中提取与异常有关的数据；转换部，其将所提取的与所述异常有关的数据转换为关注于多个传感器之间的类似关系的曲线图结构的结构数据；以及生成部，其使用转换后的所述结构数据来生成识别异常原因的识别器。
发明效果
能够高精度地分析异常原因。
附图说明
图1是用于说明第1实施方式的作业装置的整体结构的图。
图2是示出传感器的输出值的变化的一例的图。
图3是示出处理装置的硬件结构的图。
图4是示出处理装置的功能框图。
图5是示出事先准备阶段中的处理装置的处理的流程图。
图6是示出运用阶段中的处理装置的处理的流程图。
图7的(a)～图7的(c)是用于说明图5、图6的处理的图。
图8的(a)是示出稀疏化后的传感器数据的一例的图，图8的(b)是示出按照每个异常模式而生成的大量的数据的一例的图。
图9的(a)是用于对第1实施方式与比较例的准确率进行比较的曲线图，图9的(b)是示出在比较例中根据稀疏化模型而生成的大量数据的一例的图。
图10是示出第2实施方式的运用阶段中的处理装置的处理的流程图。
具体实施方式
《第1实施方式》
以下，根据图1～图9详细地说明第1实施方式。
图1是用于说明第1实施方式的作业装置100的整体结构的图。如图1所示，作业装置100具有机器人22、控制器14、照相机12和处理装置10等。
机器人22例如为产业用机器人。机器人22例如具有工作台25和机械手26。机械手26使用作用部28来进行作业。机械手26执行的作业例如为如下作业等：拾取搭载在印刷基板上的部件，将部件输送至印刷基板上，将部件搭载于印刷基板。作用部28例如为手动机构等。工作台25支承机械手26。机器人22通过控制器14进行控制。控制器14根据一系列的作业的时间序列的示教数据列，使机器人22进行动作。这里，示教数据列例如可以经由图3所示的输入输出接口97而从外部取得，也可以预先存储到HDD 96等中。
传感器24设置在机械手26上，检测机器人22进行的作业的状况。作为传感器24，例如，可以使用检测机械手26的应变的应变传感器、3轴或6轴力传感器、载荷传感器、压力传感器、加速度传感器、麦克风等。假设对于机械手26设置有多个传感器24。另外，在使用3轴或6轴力传感器作为传感器24的情况下，能够检测作用点的力向量和/或转矩。图2示出了传感器24的输出值的变化的一例。另外，在图2中，横轴表示从机器人22的作业开始起的时间(时刻)，纵轴表示传感器24的输出值(传感器值)。如图2所示，在机器人22进行一系列的动作的期间内，传感器24的输出值(用实线表示的波形)发生变化。另外，在图2中，用虚线上下夹持的范围表示在后述的异常判断中使用的阈值。
返回图1，照相机12例如为CCD(Charge Coupled Device；电荷耦合元件)传感器或CMOS(Complimentary Metal Oxide Semiconductor；互补性金属氧化膜半导体)传感器等二维图像传感器。但是，不限于此，照相机12也可以为一维图像传感器。
处理装置10根据照相机12所取得的图像数据、传感器24检测的数据、作用部28的坐标位置等，判定机器人22的作业状况是否合格(是正常还是异常)。此外，在判定为异常的情况下，处理装置10确定异常的原因。另外，以下，为了方便说明，将照相机12所取得的图像数据、传感器24检测的数据、作用部28的坐标位置等各种数据称作“传感器数据”。
图3示出处理装置10的硬件结构。如图3所示，处理装置10具有CPU(CentralProcessing Unit：中央处理器)90、ROM(Read Only Memory：只读存储器)92、RAM(RandomAccess Memory：随机存取存储器)94、存储部(这里为HDD(Hard Disk Drive：硬盘驱动器))96、输入输出接口97、显示部93、输入部95和便携型存储介质用驱动器99等。这些处理装置10的构成各部件与总线98连接。显示部93包括液晶显示器等，输入部95包括键盘、鼠标、输入按钮等。在处理装置10中，通过由CPU 90执行ROM 92或HDD 96所存储的程序(包括判定程序)或便携型存储介质用驱动器99从便携型存储介质91读取出的程序(包括判定程序)，可实现如图4所示的各部件的功能。
图4是处理装置10的功能框图。处理装置10通过由CPU90执行程序，作为传感器数据取得部30、作为异常检测执行部的异常判断部32、作为异常原因识别部的原因分析部34和动作校正部36发挥功能。另外，图4所示的学习数据存储部40通过HDD 96等来实现。学习数据存储部40中存储有后述的各种数据。
传感器数据取得部30取得传感器数据(照相机12所取得的图像数据、传感器24检测的数据、作用部28的坐标位置等)，并发送到异常判断部32。
异常判断部32使用从传感器数据取得部30接收到的传感器数据来判断是否产生异常。具体而言，异常判断部32使用根据学习数据存储部40所存储的异常检测识别器信息获得的异常检测识别器来判断是否产生异常。另外，异常判断部32使用事先存储到学习数据存储部40中的学习数据的一部分(称作训练数据)来生成异常检测识别器信息，并存储到学习数据存储部40中。
原因分析部34根据由异常判断部32判断为异常时的传感器数据来分析异常的原因。具体而言，原因分析部34使用根据学习数据存储部40所存储的异常原因识别器信息来获得的异常原因识别器，进行原因分析。另外，原因分析部34使用事先存储到学习数据存储部40中的学习数据的一部分(称作测试数据)来生成异常原因识别器信息，并存储到学习数据存储部40中。这里，异常原因中包括嵌合位置偏差x方向异常、销损坏异常等。嵌合位置偏差x方向异常表示由于形成在印刷基板上的孔与设置在部件上的销在x方向上的位置偏差而产生的异常。此外，销损坏异常表示由于设置在部件上的销的损坏(弯曲等)而引起的异常。这些各异常根据消除异常所需的手段、措施进行分类。在本实施方式中，各异常被分类为需要使机器人22停止的异常、需要使机器人22再次执行动作(重试)的异常、需要对机器人22的动作进行校正的异常。
在原因分析部34的分析结果、异常的原因为能够通过校正进行对应的原因的情况下，动作校正部36对机器人22的动作进行校正。
学习数据存储部40存储异常判断部32用于进行异常判断的数据、原因分析部34用于进行原因分析的数据。例如，学习数据存储部40存储异常判断部32使用的训练数据、原因分析部34使用的测试数据。并且，存储异常判断部32使用的异常检测识别器信息、原因分析部34使用的异常原因识别器信息。
接着，遵循图5、图6的流程图，详细地说明处理装置10的处理。
(事先准备阶段)
图5利用流程图示出了事先准备阶段中的处理装置10的处理。
这里，在本实施方式中，如上所述，学习数据存储部40中存储有两种数据(训练数据和测试数据)，作为学习数据。训练数据是用于生成异常检测识别器信息的数据，测试数据是用于生成异常原因识别器信息的数据。
在图5的步骤S10中，异常判断部32从学习数据存储部40取得训练数据。
接着，在步骤S12中，异常判断部32根据训练数据，生成用于异常检测的异常检测识别器。具体而言，异常判断部32根据训练数据，求出如在图2中用虚线表示的用于异常检测的阈值。另外，阈值按照每个传感器或每个传感器组来求出。异常判断部32根据阈值的信息，生成异常检测识别器。另外，异常判断部32预先将所求出的阈值的信息作为异常检测识别器信息存储到学习数据存储部40中。另外，作为异常检测算法，可以使用各种算法，但是，通过使用异常检测算法的阈值，能够获得各传感器的异常得分值(或异常值)。
接着，在步骤S14中，原因分析部34从学习数据存储部40取得测试数据。例如，取得如图7的(a)所示的测试数据x1…x6等。另外，i表示传感器的编号，xi表示传感器i的测试数据。
接着，在步骤S16中，原因分析部34使用异常检测的阈值，对测试数据进行稀疏化。能够通过稀疏化，仅提取与异常有关的数据。具体而言，原因分析部34将测试数据依次输入到异常检测识别器，取得异常得分值。而且，原因分析部34利用在异常检测中使用的阈值对所取得的异常得分值进行稀疏化。这里，当设稀疏化后的异常得分为si、阈值为thi时，最自然的传感器数据的稀疏化能够通过下式(1)表示。
【式1】
这里，ai(xi)表示异常得分值，当设D为传感器i中的学习数据时，能够通过下式(2)表示。
【式2】
ai(xi)＝-ln p(xi|D) …(2)
图7的(b)的上段示出了稀疏化后的传感器数据si的一例。与源数据(图7的(a)的数据)同样，稀疏化后的传感器数据为时间序列数据。因此，稀疏化后的传感器数据需要预先变为任意一个代表值。这里，设定每个窗宽度(参照图7的(b)的上段的虚线框)，设其平均值为代表值。对全部传感器和全部测试数据实施这些代表值，准备用于生成异常原因识别器的数据组。另外，图8的(a)中示出了稀疏化后的传感器数据(与异常有关的数据)的一例。图8的(a)利用三维坐标示出了传感器1～3的稀疏化后的传感器数据的关系作为一例。在图8的(a)中以相同的形状表示的各个点表示在产生相同原因的异常时所获得的数据(稀疏化后)。
接着，在步骤S18中，原因分析部34生成设异常得分之间的类似关系为边、传感器为点的曲线图结构。图7的(b)的下段示出了曲线图结构的一例。
这里，能够在不使用L1正则化(拉索：Lasso)这样的技术的情况下，也应用无法通过最大似然估计法计算的复杂模型，因此，将作为方差-协方差矩阵(精度矩阵)的一般表现的Gram矩阵用于结构化。用下式(3)表现Gram矩阵K。另外，k为常数。
【式3】
Figure BDA0002289267230000061
另外，K按照每个异常模式p来生成。
这里，矩阵元素如式(4)那样表示。<>为内积的符号，为Hilbert空间。
【式4】
Figure BDA0002289267230000062
将该Gram矩阵的矩阵元素称作半正定核。该半正定核以Hilbert空间为前提，满足下述(5)所示的3个条件(内积的公理)。
【式5】
(a)对称性:k(xi,xj)＝k(xj,xi)
(b)半正定性值：k(xi,xj)≥0
(c)线形性：k(αxi+βyi,xj)＝αk(xi,xj)+βk(yi,xj) …(5)
在本技术中重要的是性质(a)、(b)。根据性质(a)，Gram矩阵为对称矩阵，根据性质(b)，Gram矩阵具有半正定值性。对称矩阵是有用的，但是，半正定值性在使用Gram矩阵来生成概率模型时成为问题。即，还假设固有值为0的情况，在该情况下，Gram矩阵为奇异矩阵，概率模型收敛至原点。因此，实施固有值分解，仅提取固有值大于0的固有值和固有向量，重新构成(维度压缩)对固有值大于0的固有值进行矩阵化所得的对角化矩阵和排列与所选择的固有值对应的固有向量所得的正交矩阵。
因此，在下一个步骤S20中，原因分析部34导出正定值Gram矩阵。该情况下，原因分析部34通过用以下的式(6)进行谱分解，对Gram矩阵进行正定值化。这时，作为核，可使用高斯核。
【式6】
其中，
Figure BDA0002289267230000072
是正定值矩阵
Figure BDA0002289267230000073
是正交矩阵
Figure BDA0002289267230000074
是对角化矩阵
接着，在步骤S22中，原因分析部34根据正定值Gram矩阵估计概率分布。这里，作为根据正定值Gram矩阵了I获得的概率模型之一，考虑有核密度估计，通过下式(7)表示。
【式7】
Figure BDA0002289267230000075
其中，
Figure BDA0002289267230000076
是核密度估计
H是带宽矩阵
N是学习数据数
核密度估计为非参数的概率密度估计方法，视作克服直方图密度估计的不连续性后的扩展。与正态分布等参数模型不同，作为优点列举了表现能力非常高以根据数据分布估计模型，还能够对应与正态分布不同的母集合分布(当然，母集合也能够在正态分布中使用)。
接着，在步骤S24中，原因分析部34使用概率分布来生成多个数据。该情况下，使用用上式(7)表示的核密度估计，按照每个异常模式大量地生成数据。图8的(b)中示出了使用核密度估计来按照每个异常模式而生成的大量数据的一例。另外，相同形状的图示表示根据相同的异常模式的核密度估计而获得的大量数据。此外，图8的(b)的各轴为第1主成分～第3主成分(对从3个传感器获得的传感器数据进行稀疏化后的成分)。
接着，在步骤S26中，原因分析部34根据所生成的数据，生成异常原因识别器。这里，原因分析部34根据按照每个异常原因而生成的大量数据生成异常原因识别器p(Cp|x)，对原因进行分类。另外，Cp表示异常的等级，p表示异常模式的标签(例如，设嵌合位置偏差x方向异常为p＝1、销损坏异常为p＝2等)。异常原因识别器的算法能够用于分类即可。例如，可以使用支持向量机(Support Vector Machine：SVM)。该情况下，可以使用高斯核作为核。
如上所述，当到步骤S26为止的处理结束时，图5的处理结束。在本实施方式中，通过进行图5的处理，根据与异常有关的数据，生成还能够对应于非正态分布的结构化模型，生成异常原因识别器，该异常原因识别器根据大量数据估计异常模式，该大量数据是根据所生成的结构化模型而生成的。由此，可生成能够对应于非正态分布并能够高精度地估计异常模式的异常原因识别器。
(运用阶段)
图6利用流程图示出了运用阶段中的处理装置10的处理。
作为进行图6的处理的前提，假设已经执行了图5的处理。在图6的处理中，首先，在步骤S50中，异常判断部32将从作业开始起的时间t设定为0。另外，当开始了图6的处理时，从作业开始起的时间t随着时间经过而被更新。
接着，在步骤S52中，异常判断部32判断t是否小于作业结束时间T。在该步骤S52的判断为否定的情况、即在从作业开始起的时间t为作业结束时间T以上的情况(作业已结束的情况)下，结束图6的全部处理。另一方面，在步骤S52的判断为肯定的情况下，转移到步骤S54。
接着，在步骤S54中，异常判断部32取得传感器数据xjt。另外，j表示传感器编号。接着，在步骤S56中，异常判断部32使用上式(1)计算异常得分sjt。如上所述，在本实施方式中，输出异常得分的异常检测算法为前提，因此，能够按照每个传感器或每个传感器组计算异常得分sjt。
接着，在步骤S58中，异常判断部32使用异常检测识别器来判断是否异常。该情况下，异常判断部32使用在图5的步骤S12中所生成的异常检测识别器，在传感器数据从阈值的范围(用图2的虚线夹持的范围)偏离的情况下，判断为异常。在步骤S58的判断为否定的情况下、即正常的情况下，返回步骤S52，但是，在肯定的情况下，转移到步骤S60。
当转移到步骤S60时，异常判断部32使机器人22临时停止。
接着，在步骤S62中，原因分析部34使用异常原因识别器来进行原因判定。该情况下，原因分析部34将异常判断前后的异常得分sjt代入异常原因识别器中，判定是何种异常。图7的(c)示意性示出了本步骤S62的处理内容。另外，在本实施方式中，如上所述，各异常被分类为需要机器人22的停止的异常即“异常1”、需要机器人22的重试的异常即“异常2”和需要机器人22的动作的校正的异常即“异常3”。因此，原因分析部34根据判定结果(异常的原因)，判定异常相当于异常1～3中的哪一个。
这里，在本实施方式中，原因分析部34使用的异常原因识别器是根据稀疏化后的传感器数据、即与异常有关的重要数据而生成的异常原因识别器。此外，原因分析部34使用的异常原因识别器是如还能够应用于无法通过最大似然估计法计算的复杂模型的异常原因识别器。因此，原因分析部34能够使用在检测出异常的定时或之后的定时所获得的传感器数据来高精度地进行异常原因的分析。
接着，在步骤S64中，原因分析部34判断步骤S62的判定结果是否为异常1。在该步骤S64的判断为肯定的情况下，转移到步骤S66，在使机器人22停止之后，结束图6的全部处理。
另一方面，当步骤S64的判断为否定并转移到步骤S68时，原因分析部34判断是否处于异常2。在该步骤S68的判断为肯定的情况下，转移到步骤S70，原因分析部34指示机器人22执行重试。
与此相对，在步骤S68的判断为否定的情况下，处于异常3，因此，原因分析部34转移到步骤S72，对动作校正部36发出指示以执行校正。动作校正部36通过对应于异常原因的校正方法对机器人22的动作进行校正。
另外，在进行步骤S70或步骤S72的处理之后，返回步骤S52，反复执行步骤S52以后的处理。由此，即使在机器人22产生了异常的情况下立即使机器人22停止，也能够高精度地判定异常原因，能够进行适合所判定的异常原因的对应(停止、重试、校正等)。
根据之前的说明可知，利用原因分析部34实现了作为取得测试数据的取得部、对测试数据进行稀疏化并提取与异常有关的数据的提取部、将稀疏化后的测试数据转换为关注于多个传感器之间的类似关系的曲线图结构的结构数据的转换部和生成异常原因识别器的生成部的功能。
如以上所详细地说明那样，根据本第1实施方式，原因分析部34取得机器人22的传感器数据(测试数据)，根据在检测异常时使用的阈值来从测试数据中提取与异常有关的数据(稀疏化后的传感器数据)。而且，原因分析部34将稀疏化后的传感器数据转换为关注于多个传感器之间的类似关系的曲线图结构的结构数据，使用转换后的结构数据来生成异常原因识别器。由此，在本实施方式中，原因分析部34使用的异常原因识别器成为使用稀疏化后的传感器数据来生成并也能够应用于无法通过最大似然估计法计算的复杂模型(非参数模型)的异常原因识别器。因此，原因分析部34能够使用在检测出异常的定时或之后的定时所获得的传感器数据来高精度地进行异常原因的分析。由此，能够在机器人22所制造的产品的一部分(部件等)被破坏之前使机器人22停止。
例如，当从异常判断之后经过400msec(毫秒)左右时，产品的一部分被破坏，但是，在本实施方式中，能够根据异常判断，在短时间(例如，100msec左右)内进行原因分析，所以能够在不破坏产品的一部分的情况下，高精度进行原因分析。例如，即使在异常判断之后使用部件未损坏的阶段的传感器数据(从异常判断起100msec之后的数据)，根据本实施方式，获得了如97％的较高的准确率(参照图9的(a))。另外，本发明人在进行采用了使用高斯图形模型来对传感器组的依存关系进行结构化的技术的异常分析(比较例)时，根据基于稀疏化后的传感器数据的模型而大量地生成的数据如图9的(b)那样。对图9的(b)与图8的(b)进行比较可知，在比较例(图9的(b))中，混入了各异常模式的数据，但是，在本发明(图8的(b))中，各异常模式的数据为相对分离的状态。在该比较例的情况下，当使用异常判断之后且部件未损坏的阶段的传感器数据(从异常判断起100msec后的数据)时，准确率为72％左右(参照图9的(a))。另外，在图9的(a)的例子中，使用了162个数据，作为测试数据。关于测试数据的详细内容，正常数据为17个、销弯曲为5个、＝x方向、-x方向、＝y方向、-y方向的偏差为35个。
此外，在本实施方式中，原因分析部34通过使测试数据中的、利用阈值规定的范围(正常范围)中包含的传感器数据的值为0，进行稀疏化。由此，能够简单并且适当地进行稀疏化，仅取得与异常有关的数据。
此外，在本实施方式中，原因分析部34对Gram矩阵进行维度压缩。由此，能够使固有值仅成为大于0的固有值，因此，无需多余的计算，容易进行模型化，进而能够提高异常原因的确定性能。
《第2实施方式》
接着，遵循图10的流程图来说明第2实施方式。在该第2实施方式中，变更第1实施方式的图6的处理的一部分，提高异常检测识别器的精度。另外，在图10的处理中，与图6的处理不同的部分用粗线表示。
在该第2实施方式中，与第1实施方式同样，执行步骤S50～S70的处理，但是，在步骤S58的判断为否定的情况下，转移到步骤S174，该方面与第1实施方式不同。此外，在步骤S68之后的步骤S171中，判断是否为“异常3”，在判断为肯定的情况下，转移到步骤S72，在判断为否定的情况(判定为正常的情况)下，转移到步骤S178，该方面不同。
在图10的处理中，在异常判断部32使用异常检测识别器而判断为正常(S58：否)但是原因分析部34使用异常原因识别器而判断为存在某些异常的情况(S174：是)并且判断为如异常1或3那样需要进行校正或停止的异常的情况(S176)下，使机器人22临时停止(S178)。然后，原因分析部34进行用于使作业者判断是正常还是异常的输出(显示等)，使作业者判断是正常还是异常，根据该结果(在作业者判断为异常的情况下)，执行对各识别器进行更新(重新学习)的处理(S180)。
此外，在异常判断部32使用异常检测识别器而判断为异常(S58：是)但是原因分析部34使用了异常原因识别器的原因判定(S62)的结果为判定为正常的情况(S171：否定)下，也同样使机器人22临时停止(S178)。然后，原因分析部34进行用于使作业者判断是正常还是异常的输出(显示等)，使作业者判断是正常还是异常，根据该结果，执行对各识别器进行更新(重新学习)的处理(S180)。
另外，在步骤S180之后，返回步骤S50。
另外，在本实施方式中，原因分析部34作为进行基于使用异常检测识别器的判断结果和使用异常原因识别器的判断结果的输出的输出部发挥功能。
如以上所说明，根据本第2实施方式，处理装置10执行图10的处理，由此确认异常检测的结果与异常原因分析的结果是否一致，在存在矛盾的情况下，使作业者判断是处于正常还是处于异常。而且，在作业者判断为处于异常的情况下，异常判断部32重新学习各识别器。由此，通过使用重新学习后的识别器，能够提高异常原因的确定精度。
另外，在上述第1实施方式和第2实施方式中，对将本发明应用于生产机器人(产业用机器人)的异常检测和异常原因判定的情况进行了说明，但是不限于此。例如，也可以将本发明应用于除了生产机器人以外的机器人的异常检测和异常原因判定，还可以将本发明应用于除了机器人以外的装置的异常检测和异常原因判定。
另外，上述的处理功能能够通过计算机实现。该情况下，可提供记述有处理装置应该具有的功能的处理内容的程序。通过利用计算机执行该程序，在计算机上实现上述处理功能。记述有处理内容的程序能够预先记录在可由计算机读取的记录介质(但是，除了载波以外)中。
在使程序流通的情况下，例如，以记录有该程序的DVD(Digital Versatile Disc：数字多功能光盘)、CD-ROM(Compact Disc Read Only Memory：只读式光盘)等便携型记录介质的形式销售。此外，还能够预先将程序存储到服务器计算机的存储装置中，并将该程序经由网络从服务器计算机传输到其它计算机。
执行程序的计算机例如将便携型记录介质所记录的程序或从服务器计算机传输的程序存储到自己的存储装置中。然后，计算机从自己的存储装置读取程序，执行遵循程序的处理。另外，计算机还能够从便携型记录介质直接读取程序，遵循该程序执行处理。此外，计算机还能够在每次从服务器计算机传输程序时，依次遵循受理到的程序执行处理。
上述的实施方式为本发明的优选实施例。但是，不限定于此，能够在不脱离本发明的主旨的范围内实施各种变形。
标号说明
10：处理装置(判定装置)；22：机器人(装置)；24：传感器；32：异常判断部(异常检测执行部)；34：原因分析部(取得部、提取部、转换部、生成部、异常原因识别部、输出部)。

Claims (11)

1.一种判定装置，其具有：
取得部，其取得与装置的动作有关的传感器数据；
提取部，其根据在使用所取得的所述传感器数据来检测异常时使用的阈值，从所述传感器数据中提取与异常有关的数据；
转换部，其将所提取的与所述异常有关的数据转换为关注于多个传感器之间的类似关系的曲线图结构的结构数据；以及
生成部，其使用转换后的所述结构数据来生成识别异常原因的识别器。
2.根据权利要求1所述的判定装置，其特征在于，
所述提取部使所述传感器数据中的、由所述阈值规定的正常范围内包含的传感器数据的值成为0。
3.根据权利要求1或2所述的判定装置，其特征在于，
所述结构数据为Gram矩阵。
4.根据权利要求3所述的判定装置，其特征在于，
所述生成部对所述结构数据进行维度压缩。
5.根据权利要求1～4中的任意一项所述的判定装置，其特征在于，该判定装置还具有：
异常检测执行部，其执行使用所述阈值的异常检测；
异常原因识别部，其执行使用所述识别器的异常原因的识别；以及
输出部，其进行基于所述异常检测的结果和所述异常原因的识别结果的输出。
6.一种判定方法，其特征在于，由计算机执行以下处理：
取得与装置的动作有关的传感器数据；
根据在使用所取得的所述传感器数据来检测异常时使用的阈值，从所述传感器数据中提取与异常有关的数据；
将所提取的与所述异常有关的数据转换为关注于多个传感器之间的类似关系的曲线图结构的结构数据；以及
使用转换后的所述结构数据来生成识别异常原因的识别器。
7.根据权利要求6所述的判定方法，其特征在于，
在所述提取的处理中，使所述传感器数据中的、由所述阈值规定的正常范围内包含的传感器数据的值成为0。
8.根据权利要求6或7所述的判定方法，其特征在于，
所述结构数据为Gram矩阵。
9.根据权利要求8所述的判定方法，其特征在于，
在所述生成的处理中，对所述结构数据进行维度压缩。
10.根据权利要求6～9中的任意一项所述的判定方法，其特征在于，
执行使用所述阈值的异常检测，
执行使用所述识别器的异常原因的识别，
所述计算机还执行如下处理，该处理进行基于所述异常检测的结果和所述异常原因的识别结果的输出。
11.一种判定程序，其使计算机执行以下处理：
取得与装置的动作有关的传感器数据；
根据在使用所取得的所述传感器数据来检测异常时使用的阈值，从所述传感器数据中提取与异常有关的数据；
将所提取的与所述异常有关的数据转换为关注于多个传感器之间的类似关系的曲线图结构的结构数据；以及
使用转换后的所述结构数据来生成识别异常原因的识别器。
CN201780091249.XA 2017-06-02 2017-06-02 判定装置、判定方法和存储介质 Active CN110678727B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020581 WO2018220813A1 (ja) 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム

Publications (2)

Publication Number Publication Date
CN110678727A true CN110678727A (zh) 2020-01-10
CN110678727B CN110678727B (zh) 2021-08-31

Family

ID=64455239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780091249.XA Active CN110678727B (zh) 2017-06-02 2017-06-02 判定装置、判定方法和存储介质

Country Status (4)

Country Link
US (1) US11487280B2 (zh)
JP (1) JP6795093B2 (zh)
CN (1) CN110678727B (zh)
WO (1) WO2018220813A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114402575A (zh) * 2020-03-25 2022-04-26 株式会社日立制作所 行动识别服务器、行动识别系统和行动识别方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6937330B2 (ja) * 2019-03-04 2021-09-22 株式会社東芝 機械学習モデル圧縮システム、機械学習モデル圧縮方法及びプログラム
US11679500B2 (en) * 2020-12-14 2023-06-20 Honda Motor Co., Ltd. Target object retrieval
JP2022167670A (ja) * 2021-04-23 2022-11-04 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
CN115238753B (zh) * 2022-09-21 2022-12-06 西南交通大学 一种基于局部离群因子的自适应shm数据清洗方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101660974A (zh) * 2008-08-29 2010-03-03 丰田自动车株式会社 用于车辆的异常分析系统和用于车辆的异常分析方法
JP2010078467A (ja) * 2008-09-26 2010-04-08 Internatl Business Mach Corp <Ibm> 時系列データ解析システム、方法及びプログラム
CN101946238A (zh) * 2008-02-22 2011-01-12 惠普开发有限公司 检测传感器联网环境中的异常
CN102326065A (zh) * 2009-03-24 2012-01-18 日立建机株式会社 工程机械的异常检测装置
CN102844721A (zh) * 2010-02-26 2012-12-26 株式会社日立制作所 故障原因诊断系统及其方法
CN103699118A (zh) * 2013-12-18 2014-04-02 北京航天测控技术有限公司 一种航天器运行异常状态的分析方法及装置
CN106250709A (zh) * 2016-08-18 2016-12-21 中国船舶重工集团公司第七�三研究所 基于传感器关联网络的燃气轮机异常检测与故障诊断算法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH065486B2 (ja) * 1981-03-26 1994-01-19 株式会社安川電機 ロボットの軌跡制御方法
US6035243A (en) * 1993-10-22 2000-03-07 Xerox Corporation System for handling defects produced during the automated assembly of palletized elements
US5475797A (en) * 1993-10-22 1995-12-12 Xerox Corporation Menu driven system for controlling automated assembly of palletized elements
EP0770967A3 (en) * 1995-10-26 1998-12-30 Koninklijke Philips Electronics N.V. Decision support system for the management of an agile supply chain
JP2001252884A (ja) * 2000-03-06 2001-09-18 Matsushita Electric Ind Co Ltd ロボット、ロボットシステムおよびロボットの制御方法
US9053222B2 (en) * 2002-05-17 2015-06-09 Lawrence A. Lynn Patient safety processor
US20070028220A1 (en) * 2004-10-15 2007-02-01 Xerox Corporation Fault detection and root cause identification in complex systems
US7477960B2 (en) * 2005-02-16 2009-01-13 Tokyo Electron Limited Fault detection and classification (FDC) using a run-to-run controller
JP4210270B2 (ja) * 2005-06-07 2009-01-14 ファナック株式会社 ロボット制御装置及びロボット制御方法
US7596718B2 (en) * 2006-05-07 2009-09-29 Applied Materials, Inc. Ranged fault signatures for fault diagnosis
US7716011B2 (en) * 2007-02-28 2010-05-11 Microsoft Corporation Strategies for identifying anomalies in time-series data
WO2008140363A1 (en) * 2007-05-14 2008-11-20 Volvo Technology Corporation Remote diagnosis modellin
WO2008157503A1 (en) * 2007-06-15 2008-12-24 Shell Oil Company Remote monitoring systems and methods
US8229586B2 (en) * 2007-12-12 2012-07-24 Comau Inc. Method and apparatus for assembling a complex product in a parallel process system
JP5311294B2 (ja) * 2010-04-28 2013-10-09 株式会社安川電機 ロボットの接触位置検出装置
JP5218470B2 (ja) * 2010-04-28 2013-06-26 株式会社安川電機 ロボットの作業成否判定装置、および方法
JP5621967B2 (ja) * 2010-07-09 2014-11-12 富士電機株式会社 異常データ分析システム
JP5501903B2 (ja) * 2010-09-07 2014-05-28 株式会社日立製作所 異常検知方法及びそのシステム
US20130060524A1 (en) * 2010-12-01 2013-03-07 Siemens Corporation Machine Anomaly Detection and Diagnosis Incorporating Operational Data
EP4325488A3 (en) 2014-02-28 2024-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoding device, encoding device, decoding method, encoding method, terminal device, and base station device
JP6398383B2 (ja) * 2014-07-01 2018-10-03 株式会社Ihi 異常診断装置
US9699049B2 (en) * 2014-09-23 2017-07-04 Ebay Inc. Predictive model for anomaly detection and feedback-based scheduling
US10891558B2 (en) * 2015-01-21 2021-01-12 Anodot Ltd. Creation of metric relationship graph based on windowed time series data for anomaly detection
WO2016147656A1 (ja) * 2015-03-16 2016-09-22 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
JP6313730B2 (ja) * 2015-04-10 2018-04-18 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法
US10733813B2 (en) * 2017-11-01 2020-08-04 International Business Machines Corporation Managing anomaly detection models for fleets of industrial equipment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101946238A (zh) * 2008-02-22 2011-01-12 惠普开发有限公司 检测传感器联网环境中的异常
CN101660974A (zh) * 2008-08-29 2010-03-03 丰田自动车株式会社 用于车辆的异常分析系统和用于车辆的异常分析方法
JP2010078467A (ja) * 2008-09-26 2010-04-08 Internatl Business Mach Corp <Ibm> 時系列データ解析システム、方法及びプログラム
CN102326065A (zh) * 2009-03-24 2012-01-18 日立建机株式会社 工程机械的异常检测装置
CN102844721A (zh) * 2010-02-26 2012-12-26 株式会社日立制作所 故障原因诊断系统及其方法
CN103699118A (zh) * 2013-12-18 2014-04-02 北京航天测控技术有限公司 一种航天器运行异常状态的分析方法及装置
CN106250709A (zh) * 2016-08-18 2016-12-21 中国船舶重工集团公司第七�三研究所 基于传感器关联网络的燃气轮机异常检测与故障诊断算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114402575A (zh) * 2020-03-25 2022-04-26 株式会社日立制作所 行动识别服务器、行动识别系统和行动识别方法
CN114402575B (zh) * 2020-03-25 2023-12-12 株式会社日立制作所 行动识别服务器、行动识别系统和行动识别方法

Also Published As

Publication number Publication date
US11487280B2 (en) 2022-11-01
JP6795093B2 (ja) 2020-12-02
WO2018220813A1 (ja) 2018-12-06
CN110678727B (zh) 2021-08-31
US20200089209A1 (en) 2020-03-19
JPWO2018220813A1 (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
CN110678727B (zh) 判定装置、判定方法和存储介质
US20200210702A1 (en) Apparatus and method for image processing to calculate likelihood of image of target object detected from input image
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
CN108108753B (zh) 一种基于支持向量机的复选框选择状态的识别方法及装置
JP7316731B2 (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
Hyttinen et al. Learning the tactile signatures of prototypical object parts for robust part-based grasping of novel objects
JP5207870B2 (ja) 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置
US10960550B2 (en) Identification code reading apparatus and machine learning device
Shafii et al. Learning to grasp familiar objects using object view recognition and template matching
Nogales et al. Real-time hand gesture recognition using the leap motion controller and machine learning
Nagata et al. Pick and place robot using visual feedback control and transfer learning-based CNN
WO2015030689A2 (en) A tool and method for robust, scale and orientation invariant object detection and classification
Thoduka et al. Using visual anomaly detection for task execution monitoring
JP2013015891A (ja) 画像処理装置、画像処理方法及びプログラム
Mao et al. Learning fine pinch-grasp skills using tactile sensing from real demonstration data
Lin et al. Inference of 6-DOF robot grasps using point cloud data
CN112533739B (zh) 机器人控制装置、机器人控制方法以及存储介质
Marcon et al. Towards real-time object recognition and pose estimation in point clouds
Sileo et al. Real-time object detection and grasping using background subtraction in an industrial scenario
Lin et al. A framework for robot grasp transferring with non-rigid transformation
Kwiatkowski et al. The good grasp, the bad grasp, and the plateau in tactile-based grasp stability prediction
Gu et al. Automated assembly skill acquisition through human demonstration
WO2014160760A2 (en) Method and apparatus for using post assembly process interaction signatures to detect assembly failures
US20210326754A1 (en) Storage medium, learning method, and information processing apparatus
CN117890851B (zh) 一种应用于智能电表自动化检定线的故障处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant