CN116457736A - 学习装置、推断装置、诊断系统、模型生成方法及程序 - Google Patents

学习装置、推断装置、诊断系统、模型生成方法及程序 Download PDF

Info

Publication number
CN116457736A
CN116457736A CN202080099225.0A CN202080099225A CN116457736A CN 116457736 A CN116457736 A CN 116457736A CN 202080099225 A CN202080099225 A CN 202080099225A CN 116457736 A CN116457736 A CN 116457736A
Authority
CN
China
Prior art keywords
production facility
data
learning
data indicating
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080099225.0A
Other languages
English (en)
Inventor
阿多大树
生山知
名女松谕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN116457736A publication Critical patent/CN116457736A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01KMEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/14Supports; Fastening devices; Arrangements for mounting thermometers in particular locations
    • G01K1/143Supports; Fastening devices; Arrangements for mounting thermometers in particular locations for measuring surface temperatures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40607Fixed camera to observe workspace, object, workpiece, global
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

学习装置(10)具有:数据取得部,其取得学习用数据,该学习用数据包含表示生产设备(2)的设定的设定数据、表示由照相机(4)对生产设备(2)进行拍摄而得到的拍摄图像的图像数据、表示由温度传感器(5)测定出的生产设备(2)的表面温度的温度数据、表示由距离传感器(6)测定出的从距离传感器(6)至生产设备(2)为止的距离的距离数据和表示由生产设备(2)处理的工件(3)的合格与否的合格与否数据;以及模型生成部,其基于学习用数据而生成用于对由生产设备(2)处理的工件(3)的合格与否进行推断的学习模型。

Description

学习装置、推断装置、诊断系统、模型生成方法及程序
技术领域
本发明涉及学习装置、推断装置、诊断系统、模型生成方法及程序。
背景技术
在生产现场,由机器人臂、带式输送机等生产设备对工件进行加工、搬运工件等而处理工件,由此生产产品。
在生产设备存在异常时会发生下述问题,即,在工件的加工时会进行错误的加工,在工件的搬运时会对工件造成损伤等。而且,如果没有发现在生产设备存在异常而继续生产,则会生产出大量不合格品。因此,需要对生产设备进行诊断的技术。
在专利文献1公开了下述技术,即,基于制造机械的状态、制造机械周围的环境的状态和制造出的产品的检查结果而生成学习模型,在产生不合格品时,基于生成的学习模型对与异常相关的变量进行确定。通过对与异常相关的变量进行确定,从而例如能够基于该变量对制造机械的控制进行变更,抑制产生不合格品。
专利文献1:日本特开2017-199074号公报
发明内容
在专利文献1的技术中,没有使用对制造机械进行外部观察而得到的信息,因此有可能无法高精度地对与异常相关的变量进行确定。例如,在制造机械所具有的臂和传感器都发生位置偏移的情况下,通过专利文献1的技术有可能无法高精度地对与异常相关的变量进行确定。即,专利文献1的技术在生产设备的诊断这一方面在精度存在问题。
本发明就是鉴于上述情况而提出的,其目的在于提供能够高精度地对生产设备进行诊断的学习装置等。
为了达到上述的目的,本发明所涉及的学习装置具有:
学习用数据取得单元,其取得学习用数据,该学习用数据包含表示生产设备的设定的设定数据、表示由拍摄装置对所述生产设备进行拍摄而得到的拍摄图像的图像数据、表示由温度传感器测定出的所述生产设备的表面温度的温度数据、表示由距离传感器测定出的从所述距离传感器至所述生产设备为止的距离的距离数据和表示由所述生产设备处理的工件的合格与否的合格与否数据;以及
模型生成单元,其基于所述学习用数据而生成用于对由所述生产设备处理的工件的合格与否进行推断的学习模型。
发明的效果
根据本发明,能够高精度地对生产设备进行诊断。
附图说明
图1是表示本发明的实施方式1所涉及的诊断系统的整体结构的图。
图2是表示本发明的实施方式1所涉及的生产设备的臂将工件刮擦时的一个例子的图。
图3是表示从多方向对本发明的实施方式1所涉及的生产设备进行感测的一个例子的图。
图4是表示在本发明的实施方式1所涉及的数据服务器中保存的数据的一个例子的图。
图5是表示本发明的实施方式1所涉及的学习装置的功能结构的图。
图6是表示本发明的实施方式1所涉及的推断装置的功能结构的图。
图7是表示本发明的实施方式1所涉及的学习装置及推断装置的硬件结构的一个例子的图。
图8是表示通过本发明的实施方式1所涉及的学习装置进行的模型生成的动作的一个例子的流程图。
图9是表示通过本发明的实施方式1所涉及的推断装置进行的推断的动作的一个例子的流程图。
图10是表示在本发明的实施方式2所涉及的数据服务器中保存的数据的一个例子的图。
具体实施方式
下面,参照附图对本发明的实施方式所涉及的诊断系统进行说明。在各附图中,对相同或同等的部分标注同一标号。
(实施方式1)
参照图1对实施方式1所涉及的诊断系统1进行说明。诊断系统1是对在生产现场F设置的生产设备2进行诊断的诊断系统。诊断系统1具有生产设备2、照相机4、温度传感器5、距离传感器6、检查装置7、学习装置10、推断装置20和数据服务器30。生产设备2、照相机4、温度传感器5、距离传感器6、检查装置7、学习装置10及推断装置20分别能够通信地与数据服务器30连接。诊断系统1是本发明所涉及的诊断系统的一个例子。
学习装置10、推断装置20及数据服务器30例如设置于在生产现场F的某工厂设置的管理室。另外,生产设备2、照相机4、温度传感器5、距离传感器6及检查装置7和数据服务器30例如通过工厂内网络进行连接。学习装置10及推断装置20和数据服务器30例如通过管理室内的本地网络进行连接。
生产设备2设置于生产现场F,是为了生产产品而处理工件3的生产设备。此外,将由生产设备2对工件3进行加工、对工件3进行搬运等汇总而表现为“由生产设备2处理工件3”。生产设备2例如包含机器人臂、加工机、带式输送机等生产用机械。另外,生产设备2能够通信地与数据服务器30连接,根据需要将生产设备2的设定数据发送至数据服务器30。设定数据例如是表示生产设备2所具有的传感器及致动器的参数设定的数据。生产设备2是本发明所涉及的生产设备的一个例子。
在图1所示的例子中,生产设备2包含机器人臂,能够将工件3抓持而搬运。生产设备2通过在机器人臂的前端设置的可动式的手部分而从侧面抓持工件3。更详细地说,生产设备2在将手部分比工件的宽度扩开的状态下使手部分下降至工件3的侧面为止,然后将手部分闭合,由此能够抓持工件3。
在这里,考虑在生产设备2的机器人臂的手部分发生异常,无法将手部分比工件的宽度扩开的情况。在该情况下,例如如图2所示,如果使手部分下降至工件3的侧面为止,则手部分会刮擦工件3,对工件3造成损伤。此外,图2所示的箭头表示使手部分下降至工件3的侧面为止,锯齿线表示工件3和手部分刮擦的部位。如果在没有发现如上所述的生产设备2的异常的情况下继续生产,则会产生出大量不合格品。因此,需要通过诊断系统1诊断在生产设备2是否存在异常。
照相机4是在生产现场F设置的照相机。照相机4对生产设备2进行拍摄,将表示拍摄而得到的拍摄图像的图像数据发送至数据服务器30。照相机4例如是具有镜头和拍摄元件的数字照相机。照相机4是本发明所涉及的拍摄装置的一个例子。
温度传感器5是在生产现场F设置的温度传感器。温度传感器5对生产设备2的表面温度进行测定,将表示表面温度的温度数据发送至数据服务器30。温度传感器5例如是通过对红外线进行受光而能够得到生产设备2的热图像的热图像传感器。在温度传感器5为热图像传感器时,生产设备2的热图像示出生产设备2的表面温度分布,因此温度数据成为表示生产设备2的表面温度分布的数据。温度传感器5是本发明所涉及的温度传感器的一个例子。
距离传感器6是在生产现场F设置的距离传感器。距离传感器6对从距离传感器6自身至生产设备2为止的距离进行测定,将表示距离的距离数据发送至数据服务器30。距离传感器6例如是发出激光,对发出的激光的反射光进行受光,基于受光的反射光能够对从距离传感器6至生产设备2的各部分为止的距离进行测定的LiDAR(Light Detection AndRanging)传感器。在距离传感器6为LiDAR传感器时,距离数据成为表示生产设备2的深度图像的数据。距离传感器6是本发明所涉及的距离传感器的一个例子。
在图1中将照相机4、温度传感器5及距离传感器6分别示出1个,但如图3所示,优选将多组照相机4、温度传感器5及距离传感器6设置于生产现场F,通过多组照相机4、温度传感器5及距离传感器6从多方向对生产设备2进行感测。通过从多方向对生产设备2进行感测,从而通过后面记述的模型生成而生成的模型的精度提高,诊断的精度也提高。
此外,照相机4、温度传感器5及距离传感器6在将图像数据、温度数据及距离数据向数据服务器30发送时,表示取得了这些数据的日期时间的数据也发送至数据服务器30。
检查装置7是对由生产设备2处理的工件3之中的一部分工件3进行抽取而检查的装置。检查装置7例如每当在由生产设备2对20个工件3进行处理时,对1个工件3进行抽取而检查。检查装置7对工件3进行检查而检查工件3的合格与否,将表示工件3的合格与否的合格与否数据发送至数据服务器30。检查装置7例如对抽取的工件3进行拍摄,将通过拍摄而得到的工件3的拍摄图像与预先准备的合格品图像进行比较,由此对工件3进行检查。
表示工件的合格与否的合格与否数据可以仅是表示工件3良好或不良的2值数据,也可以是包含成为导致判断为良好或者不良的根据的数据在内的数据。例如检查装置7在对工件3进行检查而检测到对工件3造成了损伤的情况下,合格与否数据可以是仅表示不良的数据,也可以是表示对工件造成了损伤的数据,具体地说,可以是表示发生损伤的部位的数据。
此外,检查装置7在将合格与否数据向数据服务器30发送时,表示检查出的工件3由生产设备2处理的日期时间的数据也发送至数据服务器30。其目的在于,对合格与否数据是针对在哪个时刻被处理的工件3进行确定。
数据服务器30对从生产设备2接收到的设定数据、从照相机4接收到的图像数据、从温度传感器5接收到的温度数据、从距离传感器6接收到的距离数据及从检查装置7接收到的合格与否数据进行保存。另外,数据服务器30对与这些数据一并发送出的前述的与时刻相关的数据也进行保存。在数据服务器30中保存的数据例如如图4所示。另外,数据服务器30除了前述的各种数据以外,还对由学习装置10生成的后面记述的学习模型进行保存。数据服务器30将保存的学习模型发送至推断装置20。
此外,数据服务器30将包含设定数据、图像数据、温度数据、距离数据及合格与否数据在内的学习用数据发送至学习装置10。数据服务器30将包含设定数据、图像数据、温度数据及距离数据在内的推断用数据发送至推断装置20。关于学习及推断的详细内容在后面记述。
学习装置10是通过机器学习而生成学习模型的学习装置,该学习模型基于从数据服务器30接收到的包含设定数据、图像数据、温度数据、距离数据及合格与否数据在内的学习用数据,用于对由生产设备2处理得到的工件3的合格与否进行推断。学习装置10特别是基于对生产设备2进行外部观察得到的数据即图像数据、温度数据及距离数据而生成学习模型,因此能够生成精度良好的学习模型。学习装置10将生成的学习模型发送至数据服务器30而保存。关于学习装置10的功能结构在后面记述。学习装置10是本发明所涉及的学习装置的一个例子。
关于基于对生产设备2进行外部观察得到的数据而得到精度良好的学习模型,再次参照图2所示的例子而概略地进行说明。如前所述,在图2中,生产设备2的机器人臂的手部分刮擦工件3。在手部分刮擦工件3时,在手部分的表面产生摩擦热。因此,手部分的表面温度上升,上升的表面温度由温度传感器5测定的。在学习用数据中包含表示该上升的表面温度的数据,因此在通过学习装置10进行的学习中,将工件不良和手部分的表面温度的上升相关联地学习。因此,与不使用对生产设备2进行外部观察得到的数据而生成学习模型的情况相比,得到精度良好的学习模型。
另外,在图2中发生了手部分没有扩开这一异常,因此表示由照相机4拍摄到的拍摄图像的图像数据及表示由距离传感器6测定出的距离的距离数据也可以说是反映了该异常的数据。因此,使用对生产设备2进行外部观察得到的数据而生成学习模型,由此得到精度良好的学习模型。
推断装置20是基于从数据服务器30接收到的包含设定数据、图像数据、温度数据及距离数据在内的推断用数据和由学习装置10生成的学习模型,对由生产设备2处理得到的工件3的合格与否进行推断的推断装置。在推断为工件不良时,推定为在生产设备2存在异常。与学习用数据不同,推断用数据不包含合格与否数据。因此,推断装置20能够对不成为检查装置7的检查对象的工件3的合格与否进行推断。关于推断装置20的功能结构在后面记述。推断装置20是本发明所涉及的推断装置的一个例子。
接下来,参照图5对学习装置10的功能结构进行说明。学习装置10具有通信部11、数据取得部12和模型生成部13。
通信部11与数据服务器30进行通信。通信部11特别是从数据服务器30接收学习用数据而发送至数据取得部12,从模型生成部13接收学习模型而发送至数据服务器30。通信部11例如是与工厂内网络和本地网络相对应的网络接口。
数据取得部12经由通信部11,从数据服务器30取得包含设定数据、图像数据、温度数据、距离数据及合格与否数据在内的学习用数据。在这里,学习用数据例如如图4所示,包含与图像数据、温度数据及距离数据相关联的取得日期时间和与合格与否数据相关联的处理日期时间一致那样的图像数据、温度数据、距离数据及合格与否数据。如上所述的学习用数据成为与对1个工件3进行处理时相关的数据。数据取得部12是本发明所涉及的学习用数据取得单元的一个例子。
模型生成部13基于由数据取得部12取得的学习用数据,生成用于对由生产设备2处理的工件3的合格与否进行推断的学习模型。另外,模型生成部13经由通信部11,将生成的学习模型发送至数据服务器30而保存。模型生成部13是本发明所涉及的模型生成单元的一个例子。
模型生成部13通过机器学习而生成学习模型。作为机器学习的方法,能够采用有教师学习、教师学习、强化学习、有半教师学习等各种学习方法。例如在采用有教师学习的情况下,模型生成部13将设定数据、图像数据、温度数据及距离数据作为输入,将合格与否数据作为输出而进行学习,由此能够生成用于对由生产设备2处理的工件3的合格与否进行推断的学习模型。另外,例如在采用无教师学习的情况下,模型生成部13将包含合格与否数据在内的全部学习数据作为输入而进行学习,由此将学习用数据聚类,能够生成用于对由生产设备2处理的工件3的合格与否进行推断的学习模型。此外,在应用上述的各机器学习的方法时,例如可以一并使用深度学习。
接下来,参照图6对推断装置20的功能结构进行说明。推断装置20具有通信部21、数据取得部22、推断部23和通知部24。
通信部21与数据服务器30进行通信。通信部21特别是从数据服务器30对推断用数据及学习模型进行接收而发送至数据取得部22。通信部21例如是与工厂内网络和本地网络相对应的网络接口。
数据取得部22经由通信部21,从数据服务器30取得包含设定数据、图像数据、温度数据及距离数据在内的推断用数据。如前所述,推断用数据不包含合格与否数据。另外,数据取得部22经由通信部21,从数据服务器30取得学习模型。数据取得部22是本发明所涉及的推断用数据取得单元的一个例子。
推断部23基于由数据取得部22取得的推断用数据和学习用模型,对由生产设备2处理的工件3的合格与否进行推断。推断部23基于推断结果对通知部24进行控制,将生产设备2的诊断结果通知给用户。此外,用户例如是诊断系统1的管理者。推断部23例如在推断为由生产设备2处理的工件3良好或不良时,对通知部24进行控制,将表示在生产设备2没有异常的主旨或存在异常的主旨的诊断结果通知给用户。在工件3不良时,其不良的原因是生产设备2异常的可能性高,因此能够将工件3的合格与否与生产设备2的正常/异常相关联。此外,即使生产设备2正常,工件3也有可能变得不良,因此推断部23例如可以仅在判定为不良的工件3的数量大于或等于一定数量时,将表示生产设备2异常的主旨的诊断结果通知给用户。推断部23是本发明所涉及的推断单元的一个例子。
通知部24基于推断部23的控制,将生产设备2的诊断结果通知给用户。通知部24例如是显示器。在该情况下,通知部24通过使文字、图标等在显示器显示,从而通知诊断结果。或者,通知部24也可以具有绿色的灯和红色的灯。在该情况下,通知部24在诊断结果正常时使绿色的灯点灯,在诊断结果异常时使红色的灯点灯,由此通知诊断结果。
接下来,参照图7对学习装置10及推断装置20的硬件结构的一个例子进行说明。图7所示的学习装置10及推断装置20例如由个人计算机、微控制器等计算机实现。
学习装置10及推断装置20具有经由总线1000彼此连接的处理器1001、存储器1002、接口1003和次级存储装置1004。
处理器1001例如是CPU(Central Processing Unit:中央运算装置)。处理器1001将在次级存储装置1004中存储的动作程序读入至存储器1002而执行,由此实现学习装置10及推断装置20的各功能。
存储器1002例如是由RAM(Random Access Memory)构成的主存储装置。存储器1002对由处理器1001从次级存储装置1004读入的动作程序进行存储。另外,存储器1002作为由处理器1001执行动作程序时的工件存储器起作用。
接口1003例如是串行端口、USB(Universal Serial Bus)端口、网络接口等I/O(Input/Output)接口。通过接口1003而实现通信部11及通信部21的功能。另外,在接口1003连接显示器、灯等,由此实现通知部24的功能。
次级存储装置1004例如是闪存、HDD(Hard Disk Drive)、SSD(Solid StateDrive)。次级存储装置1004对由处理器1001执行的动作程序进行存储。
接下来,参照图8对通过学习装置10进行的模型生成的动作的一个例子进行说明。学习装置10所示的动作例如在学习装置10的启动时开始。
学习装置10的数据取得部12从数据服务器30取得学习用数据(步骤S101)。此外,在数据服务器30中没有对充分的学习用数据进行保存时,数据取得部12直至向数据服务器30中追加充分的学习用数据为止等待。检查装置7对通过生产设备2处理得到的工件3之中的仅一部分工件3进行检查,因此有可能合格与否数据没有充分地保存于数据服务器30。
学习装置10的模型生成部13基于通过步骤S101取得的学习用数据,生成用于对工件的合格与否进行推断的学习模型(步骤S102)。
模型生成部13将通过步骤S102生成的学习模型发送至数据服务器30而保存(步骤S103)。而且重复从步骤S101起的动作。
接下来,参照图9,对通过推断装置20进行的推断的动作的一个例子进行说明。推断装置20所示的动作例如在推断装置20的启动时开始。
推断装置20的数据取得部22从数据服务器30取得推断用数据(步骤S201)。接下来,数据取得部22取得由学习装置10保存于数据服务器30的学习模型(步骤S202).
推断装置20的推断部23基于通过步骤S201取得的推断用数据和通过步骤S202取得的学习模型,对通过生产设备2处理得到的工件3的合格与否进行推断(步骤S203)。
推断部23基于步骤S203中的推断结果,对通知部24进行控制而将诊断结果通知给用户(步骤S204)。而且重复从步骤S201起的动作。
以上,对实施方式1所涉及的诊断系统1进行了说明。根据实施方式1所涉及的诊断系统1,基于包含对生产设备2进行外部观察而得到的数据即图像数据、温度数据及距离数据在内的学习用数据而生成学习数据,因此能够高精度地生成学习模型,该学习模型用于对由生产设备2处理的工件3的合格与否进行推断。而且,推断装置20基于包含对生产设备2进行外部观察而得到的数据在内的推断用数据和高精度地生成的学习模型,能够高精度地对由生产设备2处理的工件3的合格与否进行推断。能够将工件3的合格与否与生产设备2的正常/异常相关联,因此根据实施方式1所涉及的诊断系统1,能够高精度地对生产设备2进行诊断。
(实施方式2)
下面,对实施方式2所涉及的诊断系统1进行说明。实施方式2所涉及的诊断系统1与实施方式1的不同点在于,在用于对由生产设备2处理的工件3的合格与否进行推断的基础上,还通过对生产设备2的劣化状态进行推断而对生产设备2进行诊断。
此外,诊断系统1的整体结构、学习装置10的功能结构及推断装置20的功能结构与图1、图5及图6所示的结构大致相同,因此仅对不同点进行说明。
首先,与实施方式1的不同点在于,生产设备2在设定数据的基础上,还将表示生产设备2的运转履历的履历数据和表示生产设备2的设置环境的环境数据发送至数据服务器30。因此,在数据服务器30中保存的数据例如成为图10所示。另外,与此相伴,与实施方式1相比,学习用数据及推断用数据还包含履历数据和环境数据。
接下来,学习装置10的模型生成部13与实施方式1的不同点在于,在用于对工件3的合格与否进行推断的学习模型的基础上,还生成用于对生产设备2的劣化状态进行推断的学习模型。实施方式2所涉及的模型生成部13例如通过无教师学习对还包含履历数据和环境数据在内的学习用数据进行学习,由此能够生成与生产设备2的劣化状态相应地聚类的学习模型。其原因在于,在生产设备2的劣化状态、运转履历和设置环境之间存在相关关系。
例如,在生产设备2包含轴承、橡胶等寿命部件的情况下,如果该寿命部件磨损,则在生产设备2的动作发生偏差。该偏差反映于图像数据及距离数据。另外,如果该寿命部件磨损,则能量损耗变多,生产设备2的温度上升。该温度上升反映于温度数据。因此,在生产设备2的劣化状态和图像数据、温度数据及距离数据之间存在相关关系。另外,生产设备2的劣化容易度与生产设备2的运转状况及设置环境相应地变化。因此,基于包含图像数据、温度数据、距离数据、履历数据及环境数据在内的学习用数据而生成学习模型,由此能够生成用于对生产设备2的劣化状态进行推断的学习模型。
另外,设想到对于运转履历短、设置环境不恶劣,但处理得到的工件3经常变得不良的生产设备2,以及运转履历长、设置环境也恶劣,但处理得到的工件3没有不良的生产设备2而言,在劣化状态没有大差别。因此,与实施方式1同样地学习用数据包含设定数据、图像数据、温度数据、距离数据及合格与否数据,由此与仅单纯地基于履历数据和环境数据而生成学习模型相比,能够生成精度良好的模型。
而且,与实施方式1的不同点在于,推断装置20的推断部23基于还包含履历数据和环境数据在内的推断用数据和由学习装置10生成的用于对生产设备2的劣化状态进行推断的学习模型,还进一步对生产设备2的劣化状态进行推断。推断装置20的推断部23对通知部24进行控制,作为诊断结果将表示生产设备2的劣化状态的信息通知给用户。
以上,对实施方式2所涉及的诊断系统1进行了说明。根据实施方式2所涉及的诊断系统1,学习用数据及推断用数据还包含履历数据和环境数据,由此通过大致与实施方式1相同的结构,能够高精度地对生产设备2的劣化状态进行诊断。
(变形例)
在上述各实施方式中,设为各种数据发送至数据服务器30而被保存。但是,数据服务器30不是必须的。例如,也可以是诊断系统1不具有数据服务器30,设定数据、图像数据、温度数据、距离数据及合格与否数据被直接发送至学习装置10及推断装置20,学习模型从学习装置10直接发送至推断装置20。
在上述各实施方式的说明中,示出了学习装置10、推断装置20及数据服务器30存在于同一网络上的例子,但它们也可以存在于不同的网络。例如,可以是学习装置10及推断装置20存在于工厂内网络上,数据服务器30存在于互联网上。
在图7所示的硬件结构中,学习装置10及推断装置20具有次级存储装置1004。但是,并不限定于此,也可以是将次级存储装置1004设置于学习装置10或者推断装置20的外部,经由接口1003将学习装置10或者推断装置20与次级存储装置1004连接的方式。在该方式中,USB闪存驱动器、存储器卡等可移动介质也能够作为次级存储装置1004使用。
另外,也可以取代图7所示的硬件结构,而是通过使用了ASIC(ApplicationSpecific Integrated Circuit:面向特定用途的集成电路)、FPGA(Field ProgrammableGate Array)等的专用电路而构成学习装置10及推断装置20。另外,在图7所示的硬件结构中,也可以将学习装置10及推断装置20的功能的一部分例如通过与接口1003连接的专用电路而实现。
学习装置10及推断装置20所使用的程序能够储存于CD-ROM(Compact Disc ReadOnly Memory)、DVD(Digital Versatile Disc)、USB闪存驱动器、存储器卡、HDD等计算机可读取的记录介质而进行发布。而且,将该程序安装于特定或通用的计算机,由此能够使该计算机作为学习装置10及推断装置20起作用。
另外,也可以将上述的程序储存于互联网上的其他服务器所具有的存储装置,从该服务器下载上述的程序。
本发明在不脱离本发明的广义的精神和范围的情况下,能够实现各种实施方式及变形。另外,上述的实施方式用于对本发明进行说明,并不对本发明的范围进行限定。即,本发明的范围不是实施方式,而是由权利要求书示出。而且,在权利要求书内及与其同等的发明的意义的范围内实施的各种变形视作本发明的范围内。
标号的说明
1诊断系统,2生产设备,3工件,4照相机,5温度传感器,6距离传感器,7检查装置,10学习装置,11通信部,12数据取得部,13模型生成部,20推断装置,21通信部,22数据取得部,23推断部,24通知部,30数据服务器,1000总线,1001处理器,1002存储器,1003接口,1004次级存储装置,F生产现场。

Claims (9)

1.一种学习装置,其具有:
学习用数据取得单元,其取得学习用数据,该学习用数据包含表示生产设备的设定的设定数据、表示由拍摄装置对所述生产设备进行拍摄而得到的拍摄图像的图像数据、表示由温度传感器测定出的所述生产设备的表面温度的温度数据、表示由距离传感器测定出的从所述距离传感器至所述生产设备为止的距离的距离数据和表示由所述生产设备处理的工件的合格与否的合格与否数据;以及
模型生成单元,其基于所述学习用数据而生成用于对由所述生产设备处理的工件的合格与否进行推断的学习模型。
2.根据权利要求1所述的学习装置,其中,
由所述学习用数据取得单元取得的所述学习用数据还包含表示所述生产设备的运转履历的履历数据和表示所述生产设备的设置环境的环境数据,
所述模型生成单元还基于所述学习用数据而生成用于对所述生产设备的劣化状态进行推断的学习模型。
3.一种推断装置,其具有:
推断用数据取得单元,其取得推断用数据,该推断用数据包含表示生产设备的设定的设定数据、表示由拍摄装置对所述生产设备进行拍摄而得到的拍摄图像的图像数据、表示由温度传感器测定出的所述生产设备的表面温度的温度数据和表示由距离传感器测定出的从所述距离传感器至所述生产设备为止的距离的距离数据;以及
推断单元,其基于由权利要求1记载的学习装置的所述模型生成单元生成的所述学习模型和所述推断用数据,对由所述生产设备处理的工件的合格与否进行推断。
4.根据权利要求3所述的推断装置,其中,
所述推断用数据还包含表示所述生产设备的运转履历的履历数据和表示所述生产设备的设置环境的环境数据,
所述推断单元还基于由权利要求2记载的学习装置的所述模型生成单元生成的所述学习模型和所述推断用数据,对所述生产设备的劣化状态进行推断。
5.一种诊断系统,其具有:
权利要求1所记载的学习装置;以及
权利要求3所记载的推断装置。
6.一种模型生成方法,
取得学习用数据,该学习用数据包含表示生产设备的设定的设定数据、表示由拍摄装置对所述生产设备进行拍摄而得到的拍摄图像的图像数据、表示由温度传感器测定出的所述生产设备的表面温度的温度数据、表示由距离传感器测定出的从所述距离传感器至所述生产设备为止的距离的距离数据和表示由所述生产设备处理的工件的合格与否的合格与否数据,
基于所述学习用数据而生成用于对由所述生产设备处理的工件的合格与否进行推断的学习模型。
7.根据权利要求6所述的模型生成方法,其中,
所述学习用数据还包含表示所述生产设备的运转履历的履历数据和表示所述生产设备的设置环境的环境数据,
基于所述学习用数据而生成用于对所述生产设备的劣化状态进行推断的学习模型。
8.一种程序,其使计算机进行下述动作:
取得学习用数据,该学习用数据包含表示生产设备的设定的设定数据、表示由拍摄装置对所述生产设备进行拍摄而得到的拍摄图像的图像数据、表示由温度传感器测定出的所述生产设备的表面温度的温度数据、表示由距离传感器测定出的从所述距离传感器至所述生产设备为止的距离的距离数据和表示由所述生产设备处理的工件的合格与否的合格与否数据,
基于所述学习用数据而生成用于对由所述生产设备处理的工件的合格与否进行推断的学习模型。
9.根据权利要求8所述的程序,其中,
所述学习用数据还包含表示所述生产设备的运转履历的履历数据和表示所述生产设备的设置环境的环境数据,
基于所述学习用数据而生成用于对所述生产设备的劣化状态进行推断的学习模型。
CN202080099225.0A 2020-12-18 2020-12-18 学习装置、推断装置、诊断系统、模型生成方法及程序 Pending CN116457736A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/047532 WO2022130640A1 (ja) 2020-12-18 2020-12-18 学習装置、推論装置、診断システム、モデル生成方法及びプログラム

Publications (1)

Publication Number Publication Date
CN116457736A true CN116457736A (zh) 2023-07-18

Family

ID=81289243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080099225.0A Pending CN116457736A (zh) 2020-12-18 2020-12-18 学习装置、推断装置、诊断系统、模型生成方法及程序

Country Status (4)

Country Link
US (1) US20230153983A1 (zh)
JP (1) JP7055258B1 (zh)
CN (1) CN116457736A (zh)
WO (1) WO2022130640A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021567A (ja) * 2015-07-10 2017-01-26 日本信号株式会社 保守管理システム
JP2017167847A (ja) * 2016-03-16 2017-09-21 株式会社東芝 運用計画案作成装置、運用計画案作成方法、プログラムおよび運用計画案作成システム
WO2018105296A1 (ja) * 2016-12-07 2018-06-14 株式会社日立製作所 品質管理装置及び品質管理方法
JP6715282B2 (ja) * 2018-03-26 2020-07-01 株式会社東芝 品質監視システム
JPWO2019239606A1 (ja) * 2018-06-15 2020-06-25 三菱電機株式会社 工作機械の加工寸法予測装置、工作機械の加工寸法予測システム、工作機械の設備異常判定装置、工作機械の加工寸法予測方法及びプログラム
JP2020140365A (ja) * 2019-02-27 2020-09-03 トヨタ自動車株式会社 製品品質不良予測システム

Also Published As

Publication number Publication date
JPWO2022130640A1 (zh) 2022-06-23
JP7055258B1 (ja) 2022-04-15
WO2022130640A1 (ja) 2022-06-23
US20230153983A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
EP3454289A1 (en) Plant abnormality detection method and system
CN110244666B (zh) 生产线监视装置、生产线监视系统、生产线监视方法
CN111132820B (zh) 用于监视相同对象的3d打印作业系列的对象的质量的方法和装置
TW201908896A (zh) 工具狀況監視及匹配
CN111542791B (zh) 使用设施诊断系统的设施诊断方法
CN113095438A (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
WO2019176990A1 (ja) 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
KR20140147621A (ko) 수질 센서 장애 제어 장치 및 방법
US11521120B2 (en) Inspection apparatus and machine learning method
WO2015191906A1 (en) Automatic recipe stability monitoring and reporting
US11682112B2 (en) Inspection device and machine learning method
CN111814557A (zh) 动作流检测方法、装置、设备及存储介质
US20240046443A1 (en) Analysis apparatus, analysis system, analysis program, and analysis method
WO2020234894A1 (en) System and method for determining a health condition and an anomaly of an equipment
US20210055241A1 (en) Apparatus and method for detecting defective component using infrared camera
TW201837631A (zh) 智慧加工調變系統及方法
CN116457736A (zh) 学习装置、推断装置、诊断系统、模型生成方法及程序
JP6708695B2 (ja) 検査装置
KR102303406B1 (ko) 산업설비의 이상유무 진단장치 및 방법
US20200356081A1 (en) System and a Method to Enable Zero Defect Production
KR101569145B1 (ko) 전력설비 감시 장치
WO2020044779A1 (ja) 設置環境推定装置及びプログラム
JP7332028B2 (ja) アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体
CN109507631A (zh) 一种提高接驳率的检定方法和装置
US20230297675A1 (en) Inspection device, inspection method, and medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination