CN116583797A - 问题解析辅助程序、问题解析辅助装置、问题解析辅助方法及三维数据显示程序 - Google Patents

问题解析辅助程序、问题解析辅助装置、问题解析辅助方法及三维数据显示程序 Download PDF

Info

Publication number
CN116583797A
CN116583797A CN202080100334.XA CN202080100334A CN116583797A CN 116583797 A CN116583797 A CN 116583797A CN 202080100334 A CN202080100334 A CN 202080100334A CN 116583797 A CN116583797 A CN 116583797A
Authority
CN
China
Prior art keywords
data
unit
display
time
control object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080100334.XA
Other languages
English (en)
Inventor
山冈孝行
中村元彦
三根健司
菊田宏和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN116583797A publication Critical patent/CN116583797A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/058—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31455—Monitor process status
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31472—Graphical display of process

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • General Factory Administration (AREA)
  • Processing Or Creating Images (AREA)

Abstract

问题解析辅助程序使计算机执行程序动作显示步骤、波形显示步骤及动态图像显示步骤之中的至少1个显示步骤即处理步骤、日志数据取得步骤、动作再现步骤、三维数据显示步骤和时刻同步步骤。日志数据取得步骤取得将运转部的状态和控制信号的输入输出数据按照时间序列记录的日志数据。动作再现步骤生成基于日志数据使假想的控制对象再现了动作的动作再现模拟数据。三维数据显示步骤将动作再现模拟数据作为三维数据而在显示部进行显示。时刻同步步骤在通过三维数据显示步骤显示的三维数据和通过处理步骤显示的数据之间使时刻同步。在三维数据显示步骤中，基于显示设定信息使三维数据在显示部进行显示。

Description

问题解析辅助程序、问题解析辅助装置、问题解析辅助方法及 三维数据显示程序
技术领域
本发明涉及对控制对象的问题的解析进行辅助的问题解析辅助程序、问题解析辅助装置、问题解析辅助方法及三维数据显示程序。
背景技术
在专利文献1公开了一种故障解析辅助装置，其在包含控制装置和控制装置所涉及的控制对象的装置在内的生产设备中发生了问题的情况下，对问题的解析进行辅助。专利文献1所记载的故障解析辅助装置具有控制信息记录部和模拟部。控制信息记录部基于由传声器收集到的制造设备的音响信号、由照相机拍摄到的生产设备的图像信号、从可编程控制器输出的制造设备的控制信号，创建制造设备的图像信息、音响信号、控制信息的日志文件。模拟部将图像信息重现而输出至显示器，将音响信号重现而输出至扬声器，从控制信息的输入接点对可编程控制器的动作进行仿真，将仿真结果和控制信息的输出接点进行比较，对差异进行检测。模拟部将仿真得到的可编程控制器的内部信息通过梯形图形式而输出至显示器。模拟部在将输出的图像信息、音响信息及梯形图形式的仿真所得到的可编程控制器的内部信息进行输出时，使它们大致同步。
专利文献1：日本特开2000－250775号公报
发明内容
但是，根据上述现有技术，图像信息是相对于生产设备从特定的方向拍摄到的，因此在由模拟部输出的图像信息中，只能够对来自特定的方向的状态进行确认。另外，关于照相机的拍摄范围以外的生产设备，得不到图像信息。因此，存在难以掌握生产设备的全部问题这样的问题。另外，存在下述问题，即，为了对来自多个方向的状态进行观察，必须设置多台照相机。
本发明就是鉴于上述情况而提出的，其目的在于得到不设置多台照相机，就能够从任意的方向对在生产设备产生的问题部位的状态进行确认的问题解析辅助程序。
为了解决上述的课题，并达到目的，本发明的对具有运转部的控制对象的问题的解析进行辅助的问题解析辅助程序使计算机执行程序动作显示步骤、波形显示步骤及动态图像显示步骤之中的至少1个显示步骤即处理步骤、日志数据取得步骤、动作再现步骤、三维数据显示步骤和时刻同步步骤。日志数据取得步骤取得将运转部的状态和控制信号的输入输出数据按照时间序列记录的日志数据。动作再现步骤生成基于日志数据使假想的控制对象再现了动作的动作再现模拟数据。三维数据显示步骤将动作再现模拟数据作为三维数据而在显示部进行显示。程序动作显示步骤从日志数据将由控制装置执行的控制程序的执行状况在显示部进行显示。波形显示步骤从日志数据将运转部的状态及控制信号的输入输出数据通过相对于时间的波形在显示部进行显示。动态图像显示步骤将对控制对象的状态进行拍摄得到的动态图像数据在显示部进行显示。时刻同步步骤在通过动作再现步骤再现、通过三维数据显示步骤显示的三维数据和通过处理步骤显示的数据之间使时刻同步。在三维数据显示步骤中，基于显示设定信息，使改变视点的位置后的三维数据在显示部进行显示，该显示设定信息表示将假想的控制对象作为三维数据而在显示部进行显示时的视点的位置。
发明的效果
本发明所涉及的问题解析辅助程序具有下述效果，即，不设置多台照相机，就能够从任意的方向对在生产设备产生的问题部位的状态进行确认。
附图说明
图1是表示实施方式1所涉及的问题解析辅助系统的结构的一个例子的框图。
图2是表示在实施方式1所涉及的问题解析辅助系统中设为解析对象的控制对象的一个例子的图。
图3是表示实施方式1所涉及的程序动作显示画面的一个例子的图。
图4是表示实施方式1所涉及的波形显示画面的一个例子的图。
图5是表示实施方式1所涉及的动态图像显示画面的一个例子的图。
图6是表示实施方式1所涉及的三维数据显示画面的一个例子的图。
图7是表示实施方式1所涉及的问题解析辅助方法的顺序的一个例子的流程图。
图8是表示实施方式1所涉及的指定出时刻的情况下的问题解析辅助方法的顺序的一个例子的流程图。
图9是表示图2所示的设备所使用的托盘的一个例子的侧视图。
图10是表示在图2所示的设备所使用的托盘中正常地载置有工件的状态的一个例子的侧视图。
图11是表示设备处于正常状态的情况下的日志数据的一个例子的图。
图12是表示基于图11的日志数据而生成的波形显示画面的一个例子的图。
图13是表示在设备中发生了问题的情况下的工件向托盘的配置状态的一个例子的图。
图14是表示在设备中发生了问题的情况下的日志数据的一个例子的图。
图15是表示基于图14的日志数据而生成的波形显示画面的一个例子的图。
图16是示意地表示实施方式1所涉及的问题解析辅助装置中的波形显示画面及三维数据显示画面的一个例子的图。
图17是表示实施方式2所涉及的问题解析辅助系统的结构的一个例子的框图。
图18是表示实施方式2所涉及的问题解析辅助系统的结构的其他例的框图。
图19是表示实施方式3所涉及的问题解析辅助系统的结构的一个例子的框图。
图20是表示实施方式3所涉及的指定出指定时刻的情况下的问题解析辅助方法的顺序的一个例子的流程图。
图21是表示实施方式4所涉及的问题解析辅助系统的结构的一个例子的框图。
图22是表示实施方式4所涉及的问题解析辅助系统的控制装置中的日志数据的保存方法的顺序的一个例子的流程图。
图23是表示实施方式5所涉及的问题解析辅助系统的结构的一个例子的框图。
图24是表示将实施方式1至6所涉及的问题解析辅助装置的功能通过计算机系统实现的情况下的硬件结构的一个例子的图。
具体实施方式
下面，基于附图对本发明的实施方式所涉及的问题解析辅助程序、问题解析辅助装置、问题解析辅助方法及三维数据显示程序详细地进行说明。
实施方式1
图1是表示实施方式1所涉及的问题解析辅助系统的结构的一个例子的框图。问题解析辅助系统1具有控制对象10、控制装置20和问题解析辅助装置30。
控制对象10按照由控制装置20实施的控制进行动作，具有运转部。控制对象10在实施方式1中是问题的解析对象。控制对象10的一个例子是工厂的生产线或者装置。运转部的一个例子是带式输送机、机器人臂、机器人手。
图2是表示在实施方式1所涉及的问题解析辅助系统中设为解析对象的控制对象的一个例子的图。该控制对象10是通过机器人手133对载置于托盘110的工件100进行抓持，在测定出工件100的尺寸后，进行将工件100返回托盘110这一动作的试验用的设备。
控制对象10具有托盘110、输送机构120、机器人手机构130、传感器141、传感器142和检查部150。
托盘110对检查对象的工件100进行载置。输送机构120使托盘110在第1地点121和第2地点122之间移动。在这里，输送机构120具有将支撑台101上的第1地点121和第2地点122连结的导轨123、和在导轨123上使托盘110移动的未图示的移动机构。
机器人手机构130具有：垂直地设置于支撑台101的中央部，能够旋转的轴131；与轴131连接，具有臂的功能的主体部132；以及设置于主体部132的一个端部的机器人手133。在图2的例子中，轴131进行旋转，以使得机器人手133在第1地点121和第2地点122之间能够移动。另外，机器人手133在第1地点121处能够对载置于托盘110的工件100进行抓持，能够在第2地点122处将抓持的工件100载置于托盘110。在图2的例子中，包含机器人手133的机器人手机构130成为运转部。
传感器141对托盘110存在于第1地点121进行检测。传感器142对托盘110存在于第2地点122进行检测。在一个例子中，传感器141、142是具有发光元件141A、142A和受光元件141B、142B的透过型或者分离型的光传感器。
检查部150配置于第1地点121和第2地点122的中间，进行工件100的检查。
在图2所示的试验用的设备中，机器人手机构130在第1地点121处从托盘110对工件100进行抓持，进行旋转而使工件100移动至检查部150为止。检查部150进行工件100的检查。并且，机器人手机构130从检查部150旋转至第2地点122为止，在移动而来到第2地点122的托盘110对工件100进行载置。然后，机器人手机构130旋转而返回至第1地点121为止。在试验用的设备中，重复进行以上的动作。
返回至图1，控制装置20是与控制对象10电连接，按照预先确定的控制程序对控制对象10的动作进行控制的装置。另外，在实施方式1中，控制装置20是将包含运转部的状态、与控制对象10之间的控制信号的输入输出数据及控制对象10的实际的动作结果在内的控制对象信息按照时间序列进行记录的装置。控制装置20具有仪器控制部21、日志记录部22和动态图像记录部23。
仪器控制部21保存对控制对象10进行控制的控制程序，基于控制程序对控制对象10进行控制。在一个例子中，仪器控制部21具有：输入部，其被输入来自控制对象10的信息；运算处理部，其按照控制程序进行运算处理；以及输出部，其将运算处理部的结果输出至控制对象10。仪器控制部21从输入部取得表示控制对象10的状态的输入数据，按照控制程序使用输入数据通过运算处理部进行运算而计算用于对控制对象10进行控制的输出数据，从输出部将输出数据输出至控制对象10。仪器控制部21的一个例子是可编程逻辑控制器或者机器人控制器。
日志记录部22取得随着时间的经过而对包含由仪器控制部21在与控制对象10之间交换的输入数据及输出数据在内的输入输出数据、和表示控制对象10的运转部的状态的状态数据进行观测所得到的时间序列数据即日志数据。输入数据的一个例子是从由仪器控制部21进行控制的控制对象10的传感器141、142得到的传感器141、142的检测值、或者对传感器141、142的检测值进行运算或者加工后的值。输出数据的一个例子是仪器控制部21使用输入数据而执行控制程序所得到的执行结果，是针对控制对象10输出的控制信号。状态数据的一个例子在运转部为机器人手机构130的情况下，是机器人手机构130的轴值、电动机的旋转速度、通过传感器141、142得到的工件100的位置等。图2的试验用的设备中的轴131的角度是状态数据的一个例子，由控制装置20的仪器控制部21保存。下面，也将输入数据和输出数据汇总而称为输入输出数据。即，日志数据是将运转部的状态、控制对象10和对控制对象10进行控制的控制装置20之间的控制信号的输入输出数据按照时间序列进行记录的数据。
动态图像记录部23对通过拍摄控制对象10的拍摄部71拍摄到的数据即动态图像数据进行记录。动态图像数据是动作记录数据的一个例子，包含拍摄到的时刻信息。
在一个例子中，在控制对象10包含对产品进行制造的生产线或者装置的情况下，将控制对象10和控制装置20合并而成为生产设备。
问题解析辅助装置30是使基于日志数据使假想的控制对象再现动作的仿真结果和使用日志数据及动态图像数据的至少一者而再现的实际的控制对象10的动作状态的时刻同步而显示，对在控制对象10中发生了问题的情况下的问题的解析进行辅助的装置。在一个例子中，问题解析辅助装置30能够与控制装置20进行通信。问题解析辅助装置30具有显示部31、日志数据取得部32、时刻同步部33、程序动作显示处理部34、波形显示处理部35、动态图像显示处理部36、动作再现部37、显示设定信息存储部38、三维数据显示处理部39和时刻取得部40。
显示部31对由问题解析辅助装置30用于对问题解析进行辅助的信息进行视觉显示。显示部31的一个例子是液晶显示装置等显示装置。问题解析辅助装置30可以具有1个显示部31，也可以具有多个显示部31。在一个例子中，问题解析辅助装置30可以与后面记述的程序动作显示处理部34、波形显示处理部35、动态图像显示处理部36及三维数据显示处理部39各自相对应地具有多个显示部31。
日志数据取得部32从控制装置20的日志记录部22取得日志数据。在一个例子中，日志数据取得部32接收来自问题解析辅助装置30的用户的指示，从日志记录部22取得日志数据。用户是问题解析辅助装置30的使用者、对控制对象10的动作进行管理的管理者等。日志数据取得部32可以从控制装置20的日志记录部22通过文件而集中取得日志文件，也可以通过数据流等随时通信等而取得日志文件。
时刻同步部33在由日志数据取得部32取得的日志数据和从控制装置20的动态图像记录部23取得的动态图像数据之间使时刻同步。具体地说，时刻同步部33在向动作再现部37、程序动作显示处理部34及波形显示处理部35传送的日志数据和向动态图像显示处理部36传送的动态图像数据之间，使传送的数据的时刻同步。时刻同步部33参照日志数据所包含的时刻信息和动作记录数据所包含的时刻信息，对向各个处理部传送的数据的时刻进行调整。
程序动作显示处理部34将由控制装置20执行的控制程序的执行状况在显示部31进行显示。具体地说，程序动作显示处理部34进行下述处理，即，将表示由仪器控制部21执行的控制程序的执行状况的程序动作显示画面在显示部31进行显示。由仪器控制部21执行的控制程序通常是梯形图程序。该梯形图程序通过以继电器控制电路的考虑为基础的继电器符号语言进行记述。因此，程序动作显示处理部34生成将控制程序的1个即梯形图程序通过电路图形式显示出的程序动作显示画面。程序动作显示处理部34生成将由仪器控制部21执行的控制程序的接点、线圈等程序结构要素通过电路形式的程序显示出的程序动作显示画面。另外，程序动作显示处理部34从指定出的时刻的日志数据取得与各程序结构要素相对应的输入输出数据的值或者状态数据的值，在程序动作显示画面的程序结构要素的附近进行显示。此外，在程序动作显示画面上，可以将接点的接通或者断开的状态改变显示方式而进行显示。在程序动作显示处理部34所涉及的梯形图程序中使执行状况进行显示，使输入输出数据的值或者状态数据的值进行显示的技术能够通过公知的方法而实现。程序动作显示处理部34使生成的程序动作显示画面在显示部31进行显示。此外，程序动作显示处理部34对与由仪器控制部21执行的控制程序相同的控制程序进行保存。
图3是表示实施方式1所涉及的程序动作显示画面的一个例子的图。程序动作显示画面200具有对梯形图程序进行显示的程序动作显示区域210、和接收与由程序动作显示区域210显示的时刻相关的操作的时刻操作区域220。
在程序动作显示区域210，读入的程序通过梯形图程序的形式即电路形式进行显示。通常，无法在程序动作显示区域210内对全部梯形图程序进行显示，因此在程序动作显示区域210设置使显示的区域在水平方向变化的水平滚动条211和使显示的区域在垂直方向变化的垂直滚动条212。
时刻操作区域220是对在程序动作显示区域210显示的程序的再现时刻和与程序的重现相关的操作按钮进行显示的区域。时刻操作区域220具有：重现操作按钮226，其在程序动作显示区域210接收与电路的动作的重现相关的操作；以及滑块227，其能够表示重现时刻的大致的位置，并且对任意的重现时刻进行指定。与滑块227的位置相对应的时刻的状态在程序动作显示区域210进行显示。另外，时刻操作区域220具有在程序动作显示区域210对重现中的程序的时刻进行显示的时刻显示部228。滑块227是时刻指示部的一个例子。
返回至图1，波形显示处理部35从日志数据将运转部的状态及控制信号的输入输出数据通过相对于时间的波形在显示部31进行显示。具体地说，波形显示处理部35生成将日志数据中的控制对象10的输入输出数据或者运转部的状态数据的值相对于时间进行绘制而成的波形显示画面，将生成的波形显示画面在显示部31进行显示。
图4是表示实施方式1所涉及的波形显示画面的一个例子的图。波形显示画面230具有对波形数据231进行显示的波形显示区域240。在波形显示区域240对日志数据所包含的控制对象10的输入输出数据及运转部的状态数据的波形数据231进行显示。通常来说，无法在波形显示区域240内对全部输入输出数据及状态数据的波形数据231进行显示，因此在波形显示区域240设置使显示的区域在水平方向变化的水平滚动条241和使显示的区域在垂直方向变化的垂直滚动条242。多个波形数据231的横轴即时间轴示出了共用的时间段。波形显示区域240具有表示时刻的光标243。光标243遍及在垂直方向排列的多个波形数据231而设置，能够在时间轴方向进行移动。光标243是时刻指示部的一个例子。光标243能够由用户对任意的时刻进行指定。
返回至图1，动态图像显示处理部36将对控制对象10的状态进行拍摄得到的动态图像数据在显示部31进行显示。具体地说，动态图像显示处理部36按照在动态图像记录部23中记录的动态图像数据的格式，生成将动态图像数据重现显示的动态图像显示画面，将生成的动态图像显示画面在显示部31进行显示。
图5是表示实施方式1所涉及的动态图像显示画面的一个例子的图。动态图像显示画面250具有动态图像显示区域260和时刻操作区域270。在动态图像显示区域260中重现动态图像数据。时刻操作区域270是接收与通过动态图像显示区域260重现的动态图像数据的重现相关的操作的区域，是表示通过动态图像显示区域260重现的动态图像数据的重现时刻的区域。时刻操作区域270具有：操作按钮271，其与动态图像显示区域260中的动态图像数据的重现相关；以及滑块272，其能够表示重现时刻的大致的位置，并且对任意的重现时刻进行指定。与滑块272的位置相对应的时刻的状态在动态图像显示区域260进行显示。另外，时刻操作区域270具有对重现中的动态图像数据的时刻进行显示的时刻显示部273。滑块272是时刻指示部的一个例子。
返回至图1，动作再现部37生成使与控制对象10相对应的假想的控制对象基于日志数据而再现动作的动作再现模拟数据。具体地说，动作再现部37在计算机上生成具有与控制对象10相同结构的假想的控制对象，生成基于日志数据而再现假想的控制对象的动作的动作再现模拟数据。即，动作再现部37使用日志数据对假想的控制对象的动作进行仿真。动作再现模拟数据是能够将假想的控制对象三维地表现的形式的数据，通过对角度进行指定，从而能够对任意的方向的假想的控制对象进行显示。假想的控制对象只要对控制对象10的主要部分进行再现即可。但是，在假想的控制对象直至细节为止具有与控制对象10相同结构的情况下，得到动作再现部37的仿真的结果与实际更接近的结果。
显示设定信息存储部38对设定信息进行存储，该设定信息表示将假想的控制对象作为三维数据而在显示部31进行显示时的视点的位置。具体地说，显示设定信息存储部38对与将动作再现模拟数据进行三维显示的假想的控制对象的三维数据在显示部31显示时的视点的位置有关的设定即显示设定信息进行存储。在一个例子中，对假想的控制对象的三维数据进行显示时的视点的位置是默认确定的。在将假想的控制对象的位置固定的状态下，能够以由用户指定出的角度在水平面内使视点的位置旋转，或以由用户指定出的角度在铅垂面内使视点的位置旋转。在本说明书中，使视点的位置在水平面内旋转的角度被称为方位角，使视点的位置在铅垂面内旋转的角度被称为极角。包含由用户通过未图示的输入部而输入的方位角及极角在内的显示角度成为显示设定信息，存储于显示设定信息存储部38。显示设定信息存储部38默认对包含预先确定的显示角度的显示设定信息进行存储。
此外，显示设定信息存储部38不仅对显示角度进行指定，也可以对显示控制对象10的区域进行指定。在一个例子中，显示设定信息以由用户指定出的部分被放大显示的方式，可以在显示角度的基础上还包含假想的控制对象的位置及放大率。
三维数据显示处理部39将动作再现模拟数据作为三维数据而在显示部31进行显示。具体地说，三维数据显示处理部39生成将由动作再现部37生成的动作再现模拟数据基于显示设定信息而三维地显示的三维数据显示画面，将生成的三维数据显示画面在显示部31进行显示。此时，三维数据显示处理部39从显示设定信息存储部38取得显示设定信息，按照对在设定于显示设定信息的假想的控制对象进行显示时的视点的位置，生成显示出动作再现模拟数据的三维数据显示画面。
图6是表示实施方式1所涉及的三维数据显示画面的一个例子的图。三维数据显示画面280具有三维数据显示区域290和时刻操作区域300。在三维数据显示区域290中，将动作再现模拟数据三维地显示出的三维数据被重现。时刻操作区域300是接收与由三维数据显示区域290重现的三维数据的重现相关的操作的区域，是表示由三维数据显示区域290重现的三维数据的重现时刻的区域。时刻操作区域300具有：操作按钮301，其与三维数据显示区域290中的三维数据的重现相关；以及滑块302，其能够表示重现时刻的大致的位置，并且对任意的重现时刻进行指定。与滑块302的位置相对应的时刻的状态在三维数据显示区域290进行显示。另外，时刻操作区域300具有对重现中的动态图像数据的时刻进行显示的时刻显示部303。滑块302是时刻指示部的一个例子。
时刻取得部40在程序动作显示画面200、波形显示画面230、动态图像显示画面250及三维数据显示画面280的任意的时刻指示部被操作的情况下，取得由被操作的时刻指示部指定的时刻即指定时刻，将指定时刻传送至时刻同步部33。通过时刻指示部即光标243及滑块227、272、302进行的指定时刻的取得，是通过公知的图像显示技术而实现的。
时刻同步部33如果从时刻取得部40被传送指定时刻，则将传送的时刻的日志数据传送至动作再现部37、程序动作显示处理部34及波形显示处理部35，将动态图像数据传送至动态图像显示处理部36。由此，动作再现部37生成被传送的时刻的动作再现模拟数据，在三维数据显示处理部39对三维数据进行显示。另外，程序动作显示处理部34及波形显示处理部35各自对被传送的时刻的程序及波形数据231进行显示，动态图像显示处理部36对被传送的时刻的动态图像数据进行显示。其结果，成为在由三维数据显示处理部39显示的三维数据、由程序动作显示处理部34显示的电路、由波形显示处理部35显示的波形数据231和由动态图像显示处理部36显示的动态图像数据之间取得了同步的状态。
此外，在图1中，示出了问题解析辅助装置30具有程序动作显示处理部34、波形显示处理部35和动态图像显示处理部36的结构，但只要具有程序动作显示处理部34、波形显示处理部35及动态图像显示处理部36之中的大于或等于1个显示处理部即可。在该情况下，时刻取得部40在由三维数据显示处理部39显示的三维数据的时刻或者由程序动作显示处理部34、波形显示处理部35及动态图像显示处理部36之中的至少1个显示处理部即处理部显示的数据的时刻被指定出的情况下，取得指定出的时刻而作为指定时刻，输出至时刻同步部33。时刻同步部33将与指定时刻相对应的日志数据传送至动作再现部37，将与指定时刻相对应的日志数据或者动态图像数据传送至程序动作显示处理部34、波形显示处理部35及动态图像显示处理部36之中的至少1个处理部。即，时刻同步部33在由动作再现部37再现、由三维数据显示处理部39显示的三维数据和由程序动作显示处理部34、波形显示处理部35及动态图像显示处理部36之中的至少1个处理部显示的数据之间使时刻同步。
接下来，对问题解析辅助系统1中的问题解析辅助方法进行说明。图7是表示实施方式1所涉及的问题解析辅助方法的顺序的一个例子的流程图。在这里，用户使控制装置20动作，日志记录部22对日志数据进行记录，动态图像记录部23对动态图像数据进行记录。
问题解析辅助装置30的用户按照来自未图示的输入部的操作，对问题解析辅助装置30指定执行问题解析辅助方法。由此，日志数据取得部32从控制装置20的日志记录部22取得日志数据(步骤S11)。
接下来，时刻同步部33从动态图像记录部23取得动态图像数据(步骤S12)，使日志数据和动态图像数据的时刻同步，向动作再现部37、程序动作显示处理部34及波形显示处理部35传送日志数据，向动态图像显示处理部36传送动态图像数据(步骤S13)。
程序动作显示处理部34具有与预先由控制装置20的仪器控制部21执行的控制程序相同的控制程序，使用该控制程序和日志数据，对实际的控制程序的动作状况进行显示。程序动作显示处理部34将控制程序通过电路形式进行显示，从日志数据取得与控制程序的程序结构要素相对应的值而生成显示出的程序动作显示画面200(步骤S14)。而且，程序动作显示处理部34将程序动作显示画面200在显示部31进行显示(步骤S15)。
波形显示处理部35生成将日志数据所包含的从仪器控制部21取得的输入输出数据和控制对象10的运转部的状态数据相对于时间绘制而成的波形显示画面230(步骤S16)，将波形显示画面230在显示部31进行显示(步骤S17)。波形显示画面230示出日志数据的仪器控制部21中的输入输出数据的信号状态，或示出运转部的动作状态。另外，在波形显示画面230中，在被传送的时刻的位置处对光标243进行配置。
动态图像显示处理部36生成将经由时刻同步部33从控制装置20的动态图像记录部23传送的动态图像数据重现的动态图像显示画面250(步骤S18)，将动态图像显示画面250在显示部31进行显示(步骤S19)。
动作再现部37预先具有假想的控制对象的三维数据，该假想的控制对象具有与控制对象10相同的结构，使用该三维数据和日志数据，进行使假想的控制对象再现动作的仿真处理。而且，动作再现部37生成基于日志数据使假想的控制对象动作的动作再现模拟数据(步骤S20)。动作再现部37使用从时刻同步部33传送的时刻不同的日志数据，使假想的控制对象的动作再现。
三维数据显示处理部39从显示设定信息存储部38取得显示设定信息(步骤S21)，按照显示设定信息，生成将动作再现模拟数据显示出的三维数据显示画面280(步骤S22)。三维数据显示处理部39以针对控制对象10预先设定的视点位置的方向为基准，生成以默认设定或者由用户设定的方位角及极角的方位使视点位置移动后的三维数据显示画面280。如上所述，由动作再现部37生成的动作再现模拟数据为三维数据，因此在进行显示的情况下，能够将观察控制对象10的视点位置设为任意的方向。而且，三维数据显示处理部39将三维数据显示画面280在显示部31进行显示(步骤S23)。
步骤S15的程序动作显示画面200的显示、步骤S17的波形显示画面230的显示、步骤S19的动态图像显示画面250的显示和步骤S23的三维数据显示画面280的显示的时刻取得了同步。
在步骤S15、S17、S19及S23后，处理返回至步骤S13，重复执行上述的处理。由此，随着时间的流逝，程序动作显示画面200、波形显示画面230、动态图像显示画面250及三维数据显示画面280在显示部31进行显示。即，与由动态图像显示处理部36重现的动态图像显示画面250同步，在程序动作显示画面200示出程序的动作状况，在波形显示处理部35示出输入输出数据的信号状态及运转部的动作状态。另外，在三维数据显示处理部39中，对使计算机上的假想的控制对象基于日志数据而再现动作的仿真结果进行显示。用户参照这些显示画面，由此能够对控制对象10的问题部位进行解析。
接下来，对程序动作显示画面200、波形显示画面230、动态图像显示画面250及三维数据显示画面280的任意者由用户指定出时刻的情况下的处理进行说明。图8是表示实施方式1所涉及的指定出时刻的情况下的问题解析辅助方法的顺序的一个例子的流程图。在这里，根据图7，设为在显示部31显示出程序动作显示画面200、波形显示画面230、动态图像显示画面250及三维数据显示画面280的状态。
首先，程序动作显示画面200、波形显示画面230、动态图像显示画面250及三维数据显示画面280之中的任意者的时刻指示部由用户进行操作。时刻指示部是滑块227、272、302或者光标243。时刻取得部40对时刻指示部被操作进行检测，读取指定时刻(步骤S31)，将读取的指定时刻传送至时刻同步部33(步骤S32)。
时刻同步部33将接收到的指定时刻的日志数据传送至程序动作显示处理部34、波形显示处理部35及动作再现部37，将接收到的指定时刻的动态图像数据传送至动态图像显示处理部36(步骤S33)。
程序动作显示处理部34基于接收到的指定时刻的日志数据而生成程序动作显示画面200(步骤S34)，将程序动作显示画面200在显示部31进行显示(步骤S35)。波形显示处理部35基于接收到的指定时刻的日志数据而生成波形显示画面230(步骤S36)，将波形显示画面230在显示部31进行显示(步骤S37)。动态图像显示处理部36使用接收到的指定时刻的动态图像数据而生成动态图像显示画面250(步骤S38)，将动态图像显示画面250在显示部31进行显示(步骤S39)。
动作再现部37生成基于接收到的指定时刻的日志数据使假想的控制对象再现动作的动作再现模拟数据(步骤S40)。
三维数据显示处理部39从显示设定信息存储部38取得显示设定信息(步骤S41)，按照显示设定信息，生成将动作再现模拟数据显示出的三维数据显示画面280(步骤S42)。而且，三维数据显示处理部39将三维数据显示画面280在显示部31进行显示(步骤S43)。
然后，时刻同步部33将指定时刻的下一个时刻的日志数据传送至程序动作显示处理部34、波形显示处理部35及动作再现部37，将指定时刻的下一个时刻的动态图像数据传送至动态图像显示处理部36(步骤S44)。然后，处理转入步骤S34、S36、S38、S40。而且，重复上述的动作状态的再现处理。
接下来，对实施方式1所涉及的问题解析辅助系统1中的问题解析辅助方法的具体例进行说明。在这里，举例出对图2所示的设备即控制对象10的问题进行解析的情况。另外，在这里，问题解析辅助装置30设为不具有程序动作显示处理部34和动态图像显示处理部36的结构。
图9是表示图2所示的设备所使用的托盘的一个例子的侧视图。在托盘110中，将托盘110的移动方向设为X方向，将上下方向设为Z方向，将与X方向及Z方向这两者垂直的方向设为Y方向。在图2所示的设备中，托盘110具有能够载置工件100的凹部111。如图2所示，在第1地点121或者第2地点122处，隔着托盘110在Y方向的两侧对发光元件141A、142A和受光元件141B、142B进行配置。传感器141、142用于对工件100进行检测，以传感器141、142的光路不被托盘110的部件遮挡的方式设置凹部111。在该例中，凹部111是在Y方向延伸的槽状。即，在第1地点121及第2地点122处，传感器141、142的光路包含于凹部111。
图10是表示在图2所示的设备所使用的托盘中正常地载置有工件的状态的一个例子的侧视图。在托盘110位于第1地点121或者第2地点122的情况下，在工件100正常地载置于托盘110的状态下，工件100存在于传感器141、142的光路上。即，传感器141、142的受光元件141B、142B不对来自发光元件141A、142A的光进行受光，因此在传感器141、142中，判定为工件100存在于第1地点121或者第2地点122。另一方面，在受光元件141B、142B持续受光来自发光元件141A、142A的光的期间，判定为工件100不存在于第1地点121或者第2地点122。
在图2所示的设备中，进行以下的第1工序至第7工序的动作。
第1工序：载置有工件100的托盘110移动至第1地点121为止。
第2工序：如果传感器141检测到工件100，则将接通信号进行输出。
第3工序：如果传感器141输出接通信号，则机器人手机构130的机器人手133在第1地点121处对工件100进行抓持。
第4工序：托盘110从第1地点121移动至第2地点122为止。
第5工序：机器人手机构130旋转，在由检查部150执行工件100的检查后，进一步将工件100运送至第2地点122为止，在第2地点122的托盘110对工件100进行载置。
第6工序：工件100载置于托盘110，如果传感器142检测到工件100，则将接通信号进行输出。
第7工序：如果传感器142输出接通信号，则机器人手机构130旋转，机器人手133返回至第1地点121为止。
在这里，日志记录部22将来自传感器141及传感器142的输入信号和机器人手机构130的主轴即轴131的角度作为日志数据而通过时间序列进行记录。但是，轴131的角度的值不是角度，而是通过将机器人手机构130的机器人手133存在于第1地点121的情况设为0，将存在于第2地点122的情况设为100的情况下的相对值表示。下面，轴131的角度称为轴角度。
图11是表示设备处于正常状态的情况下的日志数据的一个例子的图。如图11所示，该情况下的日志数据具有时刻、传感器141的值、传感器142的值和轴角度。但是，在传感器141、142中，接通被标记“1”，断开被标记为“0”。
图12是表示基于图11的日志数据而生成的波形显示画面的一个例子的图。在图12的波形显示画面230中显示出3个波形数据231a、231b、231c和光标243。波形数据231a是示出传感器141的信号状态的波形，波形数据231b是示出传感器142的信号状态的波形，波形数据231c是轴角度的波形。这些波形的横轴示出了时间。
在处于正常状态的情况下，图12的波形数据231a、231b、231c所示设备进行动作。如果在第1地点121处传感器141成为接通，则机器人手机构130旋转至第2地点122为止，在第2地点122处旋转动作停止。如果在第2地点122处传感器142成为接通，则机器人手机构130在相反方向旋转至第1地点121为止，在第1地点121处旋转动作停止。
在这里，在第5工序中，设为在机器人手机构130的机器人手133将工件100载置于托盘110时发生了问题。图13是表示在设备中发生了问题的情况下的工件向托盘的配置状态的一个例子的图。在图13中，在第2地点122处托盘110的位置偏移，工件100在没有嵌入托盘110的凹部111的状态下载置于托盘110。其结果，成为传感器142的光路不被工件100遮挡的状态。即，传感器142没有检测到载置有工件100的情况，因此传感器142持续检测到断开状态。
图14是表示在设备中发生了问题的情况下的日志数据的一个例子的图。图15是表示基于图14的日志数据而生成的波形显示画面的一个例子的图。在图15的波形显示画面230显示出3个波形数据232a、232b、232c和光标243。波形数据232a是示出传感器141的信号状态的波形，波形数据232b是示出传感器142的信号状态的波形，波形数据232c是轴角度的波形。这些波形的横轴示出了时间。
在正常时的情况下，在与第6工序相对应的时刻从“11：11：17”至“11：11：18”时传感器142应该成为接通，但在图14及图15中，传感器142成为断开。其结果，机器人手机构130之后继续是第2地点122的轴角度的值从“100”的位置不变的状态。
接下来，由用户进行对问题现象进行确认的作业。由用户从问题解析辅助装置30的未图示的输入部输入日志数据确认的指示等，由此开始问题解析辅助方法。
日志数据取得部32从控制装置20的日志记录部22取得日志数据。此时，日志数据取得部32优选取得问题发生时的周边的时间的日志数据。时刻同步部33将日志数据传送至波形显示处理部35及动作再现部37。波形显示处理部35按照日志数据而生成包含传感器141、传感器142及轴角度的波形数据232a、232b、232c在内的图15所示的波形显示画面230，在显示部31进行显示。动作再现部37生成基于日志数据使具有与图2所示的设备相同的结构的假想的控制对象动作的动作再现模拟数据。三维数据显示处理部39生成包含三维数据的三维数据显示画面280，在显示部31进行显示，该三维数据是将按照指定出动作再现模拟数据的显示设定信息对假想的控制对象进行显示时的视点的位置改变而得到的。此时，在三维数据显示画面280进行显示的假想的控制对象的时刻和在波形显示画面230进行显示的时刻指定部的时刻取得了同步。
图16是示意地表示实施方式1所涉及的问题解析辅助装置中的波形显示画面及三维数据显示画面的一个例子的图。如图16所示，在显示部31显示出波形显示画面230和三维数据显示画面280。在波形显示画面230示出了图15所示的波形数据232a、232b、232c和表示波形数据232a、232b、232c中的时刻的光标243。在三维数据显示画面280示出了对某时刻的假想的控制对象的动作状态进行仿真的结果的三维图。如上所述，三维数据显示画面280的某时刻与波形显示画面230的光标243所处的时刻对应。
在一个例子中，用户通过使图16的波形显示画面230的光标243移动，从而对希望重现的时刻进行指定。时刻取得部40取得与波形显示画面230的光标243的位置相对应的时刻。在这里，设为图14的日志数据是在斜线阴影的时刻即“11：11：15”取得的。时刻取得部40将所取得的时刻通知给时刻同步部33，时刻同步部33将所取得的时刻的日志数据传送至动作再现部37。而且，在动作再现部37中，使用所取得的时刻的日志数据，生成使假想的控制对象动作的动作再现模拟数据，三维数据显示处理部39使将动作再现模拟数据三维地显示出的三维数据显示画面280在显示部31进行显示。由此，能够通过三维数据显示画面280对由波形显示画面230指定出的时刻的控制对象10的状态进行确认。
如果用户指定了下一个时刻，则同样地，将波形显示处理部35和三维数据显示处理部39的时刻同步的内容在显示部31进行显示。此外，此后的时刻也可以不由用户指定而是自动地前进。但是，在该情况下，上述的处理内容也不变。
通过重复上述的动作，从而用户能够一边通过日志数据的波形数据的显示和控制对象10的三维数据的显示这两者对各时刻的状态进行确认，一边对问题的状态原因进行确认。
此外，在上述例子中示出了通过波形显示处理部35对重现时刻进行指定的例子，但即使从图16的三维数据显示画面280的滑块302对重现时刻进行指定，也能够通过与上述相同的处理对波形数据和假想的控制对象的动作进行确认。
在实施方式1中，时刻同步部33使从控制装置20取得的日志数据和从控制装置20的动态图像记录部23取得的动态图像数据的时刻同步，传送至程序动作显示处理部34、波形显示处理部35及动态图像显示处理部36之中的至少1个处理部和动作再现部37。在程序动作显示处理部34中，将由控制装置20的仪器控制部21执行的控制程序通过电路形式进行显示，并且从由时刻同步部33指定出的时刻的日志数据取得与程序结构要素相对应的输入输出数据的值或者状态数据的值，对在程序结构要素的附近配置的程序动作显示画面200进行显示。波形显示处理部35将输入输出数据的值或者状态数据的值相对于时刻进行波形显示，在从时刻同步部33指定出的时刻对配置有光标243的波形显示画面230进行显示。动态图像显示处理部36将动态图像数据中的由时刻同步部33指定出的时刻的动态图像数据在动态图像显示画面250进行显示。动作再现部37使用由时刻同步部33指定出的时刻的日志数据，生成再现了具有与控制对象10相同结构的假想的控制对象的动作的动作再现模拟数据。三维数据显示处理部39对将动作再现模拟数据作为三维数据而显示出的三维数据显示画面280进行显示。由此，基于日志数据而再现了与控制对象10的实际的动作的结果即程序动作显示画面200、波形显示画面230及动态图像显示画面250之中的至少1个同步的假想的控制对象的动作的三维数据显示画面280，与程序动作显示画面200、波形显示画面230及动态图像显示画面250的至少1个画面一起进行显示。而且，将这些画面提供给用户，由此能够对由用户实施的控制对象10的问题状态的解析进行辅助。
三维数据显示处理部39按照显示设定信息存储部38中的显示设定信息，能够改变将假想的控制对象在显示部31进行显示的视点的位置。由此，不通过多个拍摄部71对控制对象10进行拍摄，就能够从任意的方向对假想的控制对象的动作进行确认。即，关于控制对象10即生产设备、构成生产设备的装置，能够向用户提供可多面地掌握仪器的状态及动作的全貌的环境。因此，不设置多台拍摄部71而不会使成本增大，由用户进行的问题发生时的原因的确定变得容易，使得早日恢复，能够使生产设备、装置及仪器的运转率提高。
实施方式2
在专利文献1中，公开了在将音响信息及梯形图形式的仿真所得到的可编程控制器的内部信息进行输出时使其大致同步。即，在故障的解析时使解析者听到重现的音响信号，由此对有无发生故障进行检测。在该方法中，存在下述问题，即，对于不熟练解析的解析者而言，会漏听与故障的发生有关的声音。因此，实施方式2就是鉴于上述情况而提出的，其目的在于得到能够一种不依赖于解析者的熟练度，使用音响数据对检测在生产设备产生的问题的发生进行辅助的问题解析辅助装置。
在实施方式1中，示出了问题解析辅助装置30，该问题解析辅助装置30使程序动作显示数据、波形数据231及动态图像数据的至少1个和将基于日志数据而再现了假想的控制对象的动作的动作再现模拟数据三维地显示出的三维数据的时刻同步显示。在实施方式2中，对问题解析辅助装置进行说明，该问题解析辅助装置使程序动作显示数据、波形数据231及动态图像数据的至少1个和对将由控制对象10发出的声音进行录音得到的音响数据进行分析后的音响分析数据的时刻同步显示。
图17是表示实施方式2所涉及的问题解析辅助系统的结构的一个例子的框图。此外，对与实施方式1相同的结构要素标注同一标号，省略其说明。实施方式2所涉及的问题解析辅助系统1A具有控制对象10、控制装置20A和问题解析辅助装置30A。
控制装置20A在实施方式1的结构的基础上，还具有音响记录部24。对通过传声器72对由音响记录部24、控制对象10发出的声音进行录音的数据即音响数据进行记录。音响数据包含录音的时刻信息。
问题解析辅助装置30A从实施方式1将动作再现部37、显示设定信息存储部38及三维数据显示处理部39去除，还具有音响分析显示处理部41。音响分析显示处理部41取得对由控制对象10发出的声音进行录音的音响数据，将对音响数据进行分析得到的分析结果在显示部31进行显示。具体地说，音响分析显示处理部41关于从控制装置20的音响记录部24取得的音响数据而进行时间－频率解析，生成包含三维图形等音响分析结果的音响分析显示画面，将音响分析显示画面在显示部31进行显示。时间－频率解析的一个例子是小波变换。此外，图示省略，但音响分析显示画面与三维数据显示画面280同样地，具有对音响分析结果进行显示的音响分析结果显示区域和时刻操作区域。时刻操作区域具有对在音响分析结果显示区域显示的音响分析结果中的时刻进行指定的功能。关于由音响分析显示处理部41处理的音响数据而进行时间－频率解析，使该结果进行显示的技术能够通过公知的方法而实现。
时刻同步部33使来自日志数据取得部32的日志数据、来自动态图像记录部23的动态图像数据及来自音响记录部24的音响数据的时刻同步，传送至程序动作显示处理部34、波形显示处理部35、动态图像显示处理部36及音响分析显示处理部41。由此，与实施方式1同样地，在程序动作显示画面200、波形显示画面230及动态图像显示画面250和音响分析显示画面之间使时刻同步。
此外，与实施方式1的情况同样地，问题解析辅助装置30A只要具有程序动作显示处理部34、波形显示处理部35及动态图像显示处理部36之中的大于或等于1个即可。另外，实施方式2所涉及的问题解析辅助方法与实施方式1中的说明相同，因此省略其说明。
图18是表示实施方式2所涉及的问题解析辅助系统的结构的其他例的框图。此外，对与实施方式1及图17相同的结构要素标注同一标号，省略其说明。图18所示的问题解析辅助系统1B具有控制对象10、控制装置20A和问题解析辅助装置30B。
问题解析辅助装置30B在实施方式1的问题解析辅助装置30的结构中，还具有图17中说明的音响分析显示处理部41。通过如上所述的结构，在程序动作显示画面200、波形显示画面230及动态图像显示画面250、三维数据显示画面280和音响分析显示画面之间使时刻同步。
此外，与实施方式1的情况同样地，问题解析辅助装置30B只要具有程序动作显示处理部34、波形显示处理部35及动态图像显示处理部36之中的大于或等于1个即可。
在实施方式2中，将从控制对象10发出的声音作为音响数据而由控制装置20A的音响记录部24进行记录。而且，在问题解析辅助装置30A、30B的音响分析显示处理部41中，对包含对音响数据进行分析得到的分析结果的音响分析显示画面进行显示。另外，向音响分析显示处理部41输入的音响数据、向程序动作显示处理部34及波形显示处理部35输入的日志数据和向动态图像显示处理部36输入的动态图像数据通过时刻同步部33使时刻同步。如上所述，音响数据被视觉化，因此不依赖于解析者的熟练度，使用音响数据就能够对在生产设备产生的问题的发生的检测进行辅助。即，与控制对象10的实际的动作的结果即程序动作显示画面200、波形显示画面230及动态图像显示画面250之中的至少1个同步的音响分析显示画面，与程序动作显示画面200、波形显示画面230及动态图像显示画面250的至少1个画面一起进行显示。而且，将这些画面提供给用户，由此能够对由用户实施的控制对象10的问题状态的解析进行辅助。
例如，使用户听到重现的音响数据而进行判断对于不熟练问题的解析的用户而言，有可能漏听问题的声音。但是，用户通过参照包含通过时间－频率解析等方法对音响数据进行分析得到的分析结果的音响分析显示画面，从而能够容易地提取解析结果中的异常的点。即，即使是不熟练问题的解析的用户，也能够从音响分析显示画面对认为存在问题的部位进行提取。
实施方式3
在实施方式1中，在由时刻取得部40取得指定时刻后使假想的控制对象中的动作再现的情况下，动作再现部37基于日志数据使假想的控制对象再现了动作。但是，仅通过日志数据，无法使假想的控制对象再现与实际的控制对象10相同的动作。其原因在于，没有对假想的控制对象中的初始状态进行定义。例如，在实施方式1中，如图13所示，例示出由于工件100没有嵌入托盘110的凹部111而引起问题发生的情况。在该情况下，在通过动作再现部37使假想的控制对象再现动作时，必须通过假想的控制对象对图14的“11：11：17”的时刻的工件100相对于第2地点122的托盘110的实际的位置进行定义。如果在没有定义的情况下，动作再现部37会设为工件100没有正常地嵌入托盘110的凹部111而再现假想的控制对象的动作。即，在三维数据显示画面280中在“11：11：17”的时刻以工件100嵌入托盘110的凹部111的正常的状态进行显示。其结果，观察到该情况的用户有可能没有找到传感器142未成为接通的原因。因此，在实施方式3中，对以成为与实际的控制对象10相同的动作的方式能够再现假想的控制对象的动作的问题解析辅助系统进行说明。
图19是表示实施方式3所涉及的问题解析辅助系统的结构的一个例子的框图。实施方式3所涉及的问题解析辅助系统1C具有控制对象10、控制装置20和问题解析辅助装置30C。此外，对与实施方式1相同的结构要素标注同一标号，省略其说明。另外，在实施方式3中，动态图像显示处理部36设为是必须的结构要件。
问题解析辅助装置30C在实施方式1的结构中还具有初始状态生成部42。初始状态生成部42根据指定时刻的动态图像数据的图像，生成表示构成控制对象10的部件的状态的初始状态信息。具体地说，初始状态生成部42如果从时刻取得部40取得指定时刻，则参照指定时刻的动态图像数据，生成构成控制对象10的初始状态信息。在一个例子中，从动态图像数据取得指定时刻的截屏图像，从截屏图像取得控制对象10的运转部及工件100的位置及配置状态，生成初始状态信息。而且，初始状态生成部42将初始状态信息传送至动作再现部37。初始状态生成部42在一个例子中，对指定时刻的工件100的位置进行确定而再现，或对指定时刻的机器人手机构130的状态进行确定而再现。从图像取得图像所包含的对象物的配置关系的技术能够通过公知的方法而实现。此外，在这里，在生成初始状态信息时，使用了指定时刻的动态图像数据的截屏图像，但如果是能够取得构成指定时刻的控制对象10的部件的状态的数据，则也可以使用其他数据。
动作再现部37基于初始状态信息对指定时刻的假想的控制对象的部件的状态进行设定，生成基于日志数据而再现了设定有初始状态信息的假想的控制对象的动作的动作再现模拟数据。具体地说，动作再现部37在对指定时刻的假想的控制对象的动作进行再现时，基于初始状态信息对假想的控制对象的运转部及假想的工件100的位置及配置状态进行设定。而且，动作再现部37根据设定出的初始状态信息，基于日志数据而再现假想的控制对象的动作。
接下来，对实施方式3所涉及的问题解析辅助方法中的指定出指定时刻的情况下的三维数据的显示方法进行说明。图20是表示实施方式3所涉及的指定出指定时刻的情况下的问题解析辅助方法的顺序的一个例子的流程图。在这里，按照实施方式1的图7，设为处于在显示部31显示出程序动作显示画面200、波形显示画面230、动态图像显示画面250及三维数据显示画面280的状态。
首先，由用户对程序动作显示画面200、波形显示画面230、动态图像显示画面250及三维数据显示画面280之中的任意的时刻指示部进行操作。时刻指示部是滑块227、272、302或者光标243。时刻取得部40对时刻指示部被操作进行检测，读取指定时刻(步骤S51)，将读取的指定时刻传送至时刻同步部33及初始状态生成部42(步骤S52)。
初始状态生成部42经由时刻同步部33而取得指定时刻的动态图像数据(步骤S53)，从指定时刻的动态图像数据取得控制对象10的运转部及工件100的位置及配置状态，生成包含指定时刻的控制对象10的运转部及工件100的位置及配置状态在内的初始状态信息(步骤S54)。而且，初始状态生成部42将初始状态信息传送至动作再现部37(步骤S55)。
时刻同步部33将接收到的指定时刻的日志数据传送至程序动作显示处理部34、波形显示处理部35及动作再现部37，将接收到的指定时刻的动态图像数据传送至动态图像显示处理部36(步骤S56)。
然后，程序动作显示处理部34、波形显示处理部35及动态图像显示处理部36进行与图8的步骤S34至S39相同的处理(步骤S57至S62)。另外，动作再现部37生成使设定有指定时刻的初始状态信息的假想的控制对象，基于指定时刻的日志数据而再现了动作的动作再现模拟数据(步骤S63)。然后，进行与图8的步骤S41至S43相同的处理(步骤S64至S66)。
另外，在步骤S58、S60、S62及S66后，执行与图8的步骤S44相同的处理(步骤S67)，处理返回至步骤S57、S59、S61及S63。即，指定时刻的下一个时刻的程序动作显示画面200、波形显示画面230、动态图像显示画面250及三维数据显示画面280通过相同的顺序在显示部31进行显示。
在实施方式3中，初始状态生成部42取得指定时刻的控制对象10的运转部及工件100的位置及配置状态，生成包含该运转部及工件100的位置及配置状态在内的初始状态信息。动作再现部37基于初始状态信息和指定时刻的日志数据，对假想的控制对象的动作进行再现。由此，指定时刻的假想的控制对象中的运转部及工件100的位置及配置状态与实际的控制对象10的工件100的位置及配置状态变得相同，从该状态起进行基于日志数据的动作的再现。即，在三维数据显示处理部39中，能够对与实际的控制对象10的动作相同的动作进行再现。另外，通过时刻指示部而改变指定时刻，从而通过指定时刻而改变初始状态。用户通过反复试验而变更指定时刻，由此能够通过程序动作显示画面200及波形显示画面230对发生了问题的状态进行显示。在该情况下，在三维数据显示画面280中对问题的发生进行显示，能够将问题的原因提供给用户。
此外，已知下述方法，即，在使记录有实际的控制对象10的动作的动态图像数据和将通过动作再现部37而再现了假想的控制对象的动作的动作再现模拟数据三维地显示出的三维数据同步而显示的情况下，基于动态图像数据及三维数据而重置，例如返回至动态图像数据的最初的时刻。在该方法中，为了通过动作再现部37从不是最初的时刻的指定时刻再现日志数据，需要从动态图像数据的最初的时刻至指定时刻为止而进行重现，效率低。即，为了观察指定时刻的三维数据，必须等待从动态图像数据的最初的时刻至指定时刻为止的仿真所需的时间。另外，如上所述，在表示进行再现的假想的控制对象的动作的三维数据和表示实际的控制对象10的动作的动态图像数据之间，有时动作偏离。其原因在于，在开始仿真的时刻，即使使三维数据的状态与动态图像数据相一致，指定时刻的状态在三维数据和动态图像数据之间也有可能不同。
另一方面，在实施方式3中，根据指定时刻的动态图像数据的图像而忠实地再现了动作再现的开始时刻即指定时刻的假想的控制对象的初始状态，因此能够忠实地再现使用了动作再现部37中的日志数据的假想的控制对象的过去的动作状态。另外，如上所述再现的假想的控制对象的动作，与通过动态图像显示处理部36显示的实际的控制对象10的动作相同。并且，从指定时刻进行假想的控制对象的动作的再现，因此从动态图像数据的最初的时刻至指定时刻为止无需进行仿真，不使用户等待而能够提供指定时刻的假想的控制对象的动作。
另外，在上述说明中，对在实施方式1的结构中设置初始状态生成部42的情况进行了说明，但也可以在实施方式2的图18的结构中设置初始状态生成部42。在该情况下，也能够得到与上述的效果相同的效果。
实施方式4
在实施方式1的结构中，不知道何时发生问题，因此希望在控制装置20、20A的日志记录部22及动态图像记录部23中能够对尽可能长的期间的日志数据及动态图像数据进行记录。因此，必须增大日志记录部22及动态图像记录部23的记录容量，存在问题解析辅助系统1、1A、1B、1C的制造成本提高这样的问题。在实施方式4中，对能够削减日志记录部22及动态图像记录部23的记录容量的问题解析辅助系统进行说明。
图21是表示实施方式4所涉及的问题解析辅助系统的结构的一个例子的框图。实施方式4所涉及的问题解析辅助系统1D具有控制对象10、控制装置20D和问题解析辅助装置30。此外，对与实施方式1相同的结构要素标注同一标号，省略其说明。
控制装置20D在实施方式1的结构的基础上还具有问题检测部25。问题检测部25对在由仪器控制部21执行控制程序时发生的问题进行检测。具体地说，问题检测部25持续地观察控制对象10的状态，对控制对象10中的问题的发生进行检测。问题检测部25如果检测到问题的发生，则将表示发生了问题的信号即检测信息通知给日志记录部22。检测信息在一个例子中，包含检测到问题发生的时刻。在控制程序中设定的能够设想的问题发生时接通的指示器是问题检测部25的一个例子。问题的一个例子是机器人手机构130等运转部中途停止的情况。在该情况下，图2的设备的机器人手机构130中的轴角度在预先确定的期间，在一个例子中为3秒而相同的情况下，将指示器立起，由此对问题进行检测。
另外，在实施方式4中，控制装置20D的日志记录部22的结构与实施方式1不同。日志记录部22具有第1记录部221、日志记录处理部222、日志保存处理部223和第2记录部224。
第1记录部221具有能够对预先确定的第1期间的日志数据进行记录的容量。第1期间在一个例子中能够设为10分钟。
日志记录处理部222在一个例子中，作为环形缓冲区而使用第1记录部221，将日志数据记录于第1记录部221。具体地说，日志记录处理部222将包含由仪器控制部21在与控制对象10之间交换的输入数据及输出数据在内的输入输出数据和表示控制对象10的运转部的状态的状态数据按照时间序列作为日志数据而记录于第1记录部221。例如，日志记录处理部222在第1记录部221对日志数据进行记录，但从记录开始起在10分钟后第1记录部221的容量饱和。此时，日志记录处理部222关于经过10分钟后的日志数据，从0分钟的日志数据起依次覆盖而记录于第1记录部221。由此，过去的日志数据被覆盖，10分钟之前的日志数据变得不存在。而且，在第1记录部221的可记录的容量中针对全部记录过的日志数据，同样地进行覆盖处理。
日志保存处理部223包含由问题检测部25检测到问题的时刻，将比第1期间短的第2期间的第1记录部221内的日志数据保存于第2记录部224。在一个例子中，第2期间包含问题发生的时刻的前后预先确定的时间，与第1期间相比设定得短。例如，能够将包含问题发生的时刻的前2分钟和后2分钟的4分钟期间设为第2期间。在该情况下，日志保存处理部223如果从问题检测部25接收到问题发生的检测，则在从问题发生的时刻起经过2分钟后，从第1记录部221取得包含问题发生的时刻的前后2分钟的4分钟期间的日志数据，进行保存于第2记录部224的处理。即，包含检测到问题发生的时刻的第2期间的日志数据作为文件而保存于第2记录部224。
第2记录部224对包含检测到问题发生的时刻的第2期间的日志数据的文件进行保存。第2记录部224是非易失性的记录部。第2记录部224只要具有能够对大于或等于1个日志数据的文件进行保存的容量即可。
实施方式4的问题解析辅助系统1D中的问题解析辅助方法与实施方式1中的说明相同，因此省略其说明。但是，问题解析辅助装置30的日志数据取得部32如果被输入日志数据确认的指示等，则将在控制装置20D的日志记录部22的第2记录部224中保存的日志数据读出。
在这里，对日志记录部22中的日志数据的记录方法进行说明。图22是表示实施方式4所涉及的问题解析辅助系统的控制装置中的日志数据的保存方法的顺序的一个例子的流程图。
首先，日志记录部22的日志记录处理部222将日志数据记录于第1记录部221，该日志数据是将控制对象10的输入输出数据及状态数据与时刻一起进行了记录(步骤S71)。接下来，日志记录处理部222判定是否取得了表示检测出问题的发生的检测信息(步骤S72)。在没有取得检测信息的情况下(步骤S72为No的情况下)，将处理返回至步骤S71，在第1记录部221对日志数据进行记录。
在取得了检测信息的情况下(步骤S72为Yes的情况下)，日志记录处理部222取得检测信息所包含的问题发生的时刻(步骤S73)，将从问题发生的时刻经过预先确定的期间的日志数据记录于第1记录部221(步骤S74)。
然后，日志保存处理部223判定从问题发生的时刻起是否经过预先确定的期间(步骤S75)。在从问题发生的时刻起没有经过预先确定的期间的情况下(步骤S75为No的情况下)，处理返回至步骤S74。另一方面，在从问题发生的时刻起经过预先确定的期间的情况下(步骤S75为Yes的情况下)，日志保存处理部223从第1记录部221取得包含问题发生的时刻的预先确定的第2期间的日志数据，作为文件而保存于第2记录部224(步骤S76)。然后，将处理返回至步骤S71。
此外，动态图像记录部23或者实施方式2中的音响记录部24也可以具有与实施方式4中说明的日志记录部22相同的结构。
在实施方式4中，日志记录部22具有：第1记录部221，其具有能够对第1期间的日志数据进行记录的容量；以及第2记录部224，其能够对比第1期间短的第2期间的日志数据作为文件进行保存。日志记录部22具有日志保存处理部223，该日志保存处理部223如果由问题检测部25检测到问题的发生，则将包含问题发生的时刻的预先确定的期间的日志数据从第1记录部221保存于第2记录部224。通过如上所述的结构，能够与实施方式1至3的情况相比而减小日志记录部22的记录容量。另外，用户从第2记录部224取得包含问题发生的时刻的期间的日志数据，执行问题解析即可，因此能够抑制从膨大的数据中对问题的发生场所进行探索的工作量。
实施方式5
在实施方式1至4中，假定问题的原因处于控制对象10中。但是，在控制对象10为生产设备的情况下，在生产设备的运转时，存在作业者等人参与的工序，另外还存在AGV(Automatic Guided Vehicle)、叉车等无人输送车或者无人输送机器人等无人输送物参与的工序。因此，人或者无人输送物与生产设备接触，由此有时在控制对象10发生问题。因此，在实施方式5中，对包含人或者无人输送物而能够进行问题原因的解析的问题解析辅助系统进行说明。
图23是表示实施方式5所涉及的问题解析辅助系统的结构的一个例子的框图。实施方式5所涉及的问题解析辅助系统1E具有控制对象10、控制装置20、问题解析辅助装置30E和由存在于与控制对象10相同区域的人61及无人输送物62保持的动作信息记录装置60。人61及无人输送物62的任一者存在于与控制对象10相同的区域即可，下面，举例出人61及无人输送物62这两者存在于与控制对象10相同区域的情况而进行说明。此外，对与实施方式1相同的结构要素标注同一标号，省略其说明。
动作信息记录装置60是对将保持动作信息记录装置60的人61及无人输送物62的动作与时间一起进行记录的动作信息进行记录的装置。在一个例子中，动作信息是将人61及无人输送物62的动作通过预先确定的时间间隔进行记录的信息。动作信息包含人61及无人输送物62的位置及状态的至少一者。在这里，举例出动作信息是将位置与时间一起记录的信息的情况。位置能够使用公知的技术而取得。例如，使用接收来自多个GPS(GlobalPositioning System)卫星的电波而对位置进行测定的技术、通过使用角速度传感器及加速度传感器的步行者航位推算(Pedestrian Dead Reckoning)而对地图上的移动轨迹进行推定的技术等。在后者的情况下，在对控制对象10进行设置的区域的例如入口处，设置对位置已知的信标信号进行发送的信号发送装置，以入口的位置为基准对移动轨迹进行推定，由此能够对设置控制对象10的区域内的人61及无人输送物62的位置进行推定。
问题解析辅助装置30E在实施方式1的结构中还具有动作信息取得部43。动作信息取得部43在由用户发出了取得日志数据的指示的情况下，从人61及无人输送物62的动作信息记录装置60取得动作信息。如上所述，在这里的动作信息是将人61及无人输送物62的位置按照时间序列记录的信息。
在实施方式5中，问题解析辅助装置30E的动作再现部37生成不仅基于日志数据而再现假想的控制对象的动作，还基于动作信息而再现了与人61相对应的假想的人及与无人输送物62相对应的假想的无人输送物的轨迹的动作再现模拟数据。动作再现模拟数据以假想的控制对象的位置和假想的人及假想的无人输送物的位置之间的关系，与实际的控制对象10的位置和人61及无人输送物62的位置之间的关系变得相同的方式进行了仿真。
三维数据显示处理部39对不仅再现了假想的控制对象，还再现了假想的人及假想的无人输送物的动作的三维数据而在显示部31进行显示。在一个例子中，在假想的人或者假想的无人输送物经过假想的控制对象的附近的情况下，将假想的人或者假想的无人输送物与假想的控制对象一起三维地进行显示。
实施方式5的问题解析辅助系统1E中的问题解析辅助方法，如上所述，除了动作再现部37基于日志数据而进行假想的控制对象的动作的再现，并且基于动作信息而进行假想的人及假想的无人输送物的动作的再现这一点以外，与实施方式1中的说明相同，因此省略其说明。另外，在上述说明中，对在实施方式1的结构中应用了实施方式5的情况进行了说明，但也可以在实施方式2至4的结构中应用实施方式5。
在实施方式5中，在存在于与控制对象10相同区域的人61或者无人输送物62设置动作信息记录装置60，通过动作信息记录装置60对人61或者无人输送物62的动作信息进行记录。在进行问题解析的情况下，问题解析辅助装置30E的动作信息取得部43从动作信息记录装置60取得动作信息。动作再现部37生成使用日志数据对假想的控制对象的动作进行再现，并且还使用动作信息对人61或者无人输送物62的动作进行了再现的动作再现模拟数据。三维数据显示处理部39将动作再现模拟数据三维地进行显示。由此，通过对三维数据显示画面280进行确认，从而能够确认问题的原因是否是由于人61或者无人输送物62与控制对象10接触而引起的。即，即使在控制对象10的问题的原因是外部原因的情况下，也能够通过问题解析辅助装置30E进行应对。
实施方式6
在实施方式1至5中，没有考虑将控制对象10包围的温度、湿度等环境。在实施方式6中，对考虑将控制对象10包围的环境而再现控制对象10的动作的问题解析辅助系统进行说明。
实施方式6所涉及的问题解析辅助系统1的结构，具有与实施方式1的图1所示相同的结构。但是，日志记录部22作为日志数据，还对从对配置控制对象10的区域的环境进行测量的环境数据测量部取得的环境数据进行记录。作为对控制对象10进行配置的区域的环境的一个例子，举出温度、湿度等。在该情况下，环境数据测量部成为温度测量部、湿度测量部。环境数据测量部可以对以配置控制对象10的区域为代表的环境数据进行测量，也可以对控制对象10的任意部分的环境数据进行测量。在后者的情况下，环境数据测量部设置于进行测量的部分。
另外，问题解析辅助装置30的动作再现部37不仅再现基于日志数据的假想的控制对象的动作，还生成使用包含由温度测量部测量出的温度信息和构成控制对象10的部件的材质在内的信息对假想的控制对象的形状的变化进行仿真得到的动作再现模拟数据。即，动作再现部37使用温度信息，还对构成控制对象10的各部件的膨胀进行仿真。由此，通过由于温度变化而伸缩的材料构成的部件的状态也能够再现。
三维数据显示处理部39在将动作再现模拟数据作为三维数据进行显示时，使构成三维数据的客体的状态与所取得的环境数据的等级相应地变化。在一个例子中，作为客体的状态的变化的例子，存在根据环境数据的值而使颜色变化的方法。在环境数据为温度的情况下，三维数据显示处理部39如热像仪那样使客体的颜色改变而进行显示。在该情况下，三维数据显示处理部39预先保存有将环境数据的值和进行显示的颜色相关联的设定信息，由此能够改变客体的颜色而进行显示。
此外，在上述说明中，举例出对温度或者湿度进行测定而作为环境数据的情况，除此以外，也可以对气压、粉尘密度等进行测定而作为环境数据。并且，在实施方式5的情况下，也可以加入存在于与控制对象10相同区域的人61即作业者的体温、无人输送物62的温度等。在该情况下，动作信息记录装置60对人61的体温或者无人输送物62的温度进行测量，能够将该结果包含于动作信息而记录。
实施方式6的问题解析辅助系统1中的问题解析辅助方法与实施方式1中的说明相同，因此省略其说明。另外，在上述说明中，对在实施方式1的结构中应用了实施方式6的情况进行了说明，但也可以在实施方式2至5的结构中应用实施方式6。
在实施方式6中，控制装置20的日志记录部22包含对控制对象10进行配置的区域的环境数据而对日志数据进行记录。问题解析辅助装置30的动作再现部37在使用日志数据而再现假想的控制对象的动作时，使用环境数据而进行包含构成假想的控制对象的部件的变化的物理仿真。由此，例如，在由于工厂内的温度上升而托盘110膨胀使工件100的位置偏移时等，也能够通过三维数据进行表现。其结果，在问题是由于包围控制对象10的环境引起的情况下，问题的原因的发现与以往相比变得容易。另外，装置或者工厂整体即控制对象10的状态更接近实际环境，因此能够使对问题的原因进行确定的问题解析的处理的精度进一步提高。
此外，在上述实施方式1至6的结构中，构成为动态图像数据从动态图像记录部23传送至问题解析辅助装置30，音响数据从音响记录部24传送至问题解析辅助装置30。但是，动态图像数据及音响数据与日志数据同样地，可以由日志数据取得部32取得。即，可以是日志数据取得部32从日志记录部22取得日志数据，并且从动态图像记录部23取得动态图像数据，从音响记录部24取得音响数据。而且，在时刻同步部33中，只要关于日志数据、动态图像数据及音响数据之中的问题解析所使用的数据进行同步即可。
在这里，对问题解析辅助装置30、30A、30B、30C、30E的硬件结构进行说明。实施方式1至6所涉及的问题解析辅助装置30、30A、30B、30C、30E通过个人计算机或者通用计算机这样的计算机系统而实现。
图24是表示将实施方式1至6所涉及的问题解析辅助装置的功能通过计算机系统实现的情况下的硬件结构的一个例子的图。在将问题解析辅助装置30、30A、30B、30C、30E的功能通过计算机系统实现的情况下，问题解析辅助装置30、30A、30B、30C、30E的功能如图24所示，具有处理器351、存储器352、存储装置353、输入装置354、显示装置355和通信装置356。处理器351进行运算处理。存储器352提供由处理器351用作工作区域的区域。存储装置353对用于作为问题解析辅助装置30、30A、30B、30C、30E而动作的程序进行存储。输入装置354是与用户之间的输入接口。显示装置355对用户显示信息。通信装置356具有与控制装置20、20A、20D或者其他各种装置的通信功能。处理器351、存储器352、存储装置353、输入装置354、显示装置355及通信装置356通过数据总线357连接。
在这里，处理器351可以是处理装置、运算装置、微处理器、微型计算机、CPU(Central Processing Unit)或者DSP(Digital Signal Processor)等。另外，存储器352是RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、EPROM(ErasableProgrammable ROM)或者EEPROM(注册商标)(Electrically EPROM)等非易失性或者易失性的半导体存储器、磁盘、软盘、光盘、压缩盘、迷你盘或者DVD(Digital Versatile Disc)等。
日志数据取得部32、时刻同步部33、程序动作显示处理部34、波形显示处理部35、动态图像显示处理部36、动作再现部37、三维数据显示处理部39、时刻取得部40、音响分析显示处理部41、初始状态生成部42及动作信息取得部43例如由处理器351执行在图24所示的存储器352中存储的程序，由此分别作为日志数据取得单元、时刻同步单元、程序动作显示单元、波形显示单元、动态图像显示单元、动作再现单元、三维数据显示单元、时刻取得单元、音响分析显示单元、初始状态生成单元及动作信息取得单元而实现。该程序成为问题解析辅助程序。另外，多个处理器351及多个存储器352可以协同动作而实现上述功能。另外，可以将日志数据取得部32、时刻同步部33、程序动作显示处理部34、波形显示处理部35、动态图像显示处理部36、动作再现部37、三维数据显示处理部39、时刻取得部40、音响分析显示处理部41、初始状态生成部42及动作信息取得部43的功能之中的一部分作为电子电路进行安装，将其他部分使用处理器351及存储器352而实现。并且，例如由处理器351执行在图24所示的存储器352中存储的程序，由此实现的动作再现单元及三维数据显示单元成为三维数据显示程序。
由问题解析辅助装置30、30A、30B、30C、30E执行的问题解析辅助方法的功能是通过软件、固件或者软件和固件的组合而实现的。软件或者固件作为程序记述而储存于存储装置353。处理器351将在存储装置353中存储的软件或者固件读出至存储器352而执行，由此实现日志数据取得部32、时刻同步部33、程序动作显示处理部34、波形显示处理部35、动态图像显示处理部36、动作再现部37、三维数据显示处理部39、时刻取得部40、音响分析显示处理部41、初始状态生成部42及动作信息取得部43的各种功能。即，计算机系统具有存储装置353，该存储装置353在日志数据取得部32、时刻同步部33、程序动作显示处理部34、波形显示处理部35、动态图像显示处理部36、动作再现部37、三维数据显示处理部39、时刻取得部40、音响分析显示处理部41、初始状态生成部42及动作信息取得部43的各种功能由处理器351执行时，对将实施方式1至6所涉及的问题解析辅助方法实施的步骤最终得以执行的问题解析辅助程序进行储存。
另外，包含三维数据显示程序的程序也能够经由通信介质而提供，也可以通过记录有程序的存储介质的形式而提供，该三维数据显示程序包含实现问题解析辅助装置30、30A、30B、30C、30E所执行的问题解析辅助方法的功能的问题解析辅助程序及问题解析辅助程序的一部分。记录有实现由问题解析辅助装置30、30A、30B、30C、30E执行的问题解析辅助方法的功能的程序的存储介质及记录有三维数据显示程序的存储介质，是存储有能够由计算机执行的程序的计算机可读取存储介质。
另外，这些程序可以说使计算机执行日志数据取得部32、时刻同步部33、程序动作显示处理部34、波形显示处理部35、动态图像显示处理部36、动作再现部37、三维数据显示处理部39、时刻取得部40、音响分析显示处理部41、初始状态生成部42及动作信息取得部43的各种功能所实现的处理。
显示装置355的具体例是监视器、显示器。输入装置354的具体例是键盘、鼠标、触摸面板。
如上所述，根据实施方式1至6所涉及的问题解析辅助装置30、30A、30B、30C、30E，与以往相比不使成本增大，就能够从任意的方向对在生产设备等的控制对象10产生的问题部位的状态进行确认。
以上的实施方式所示的结构表示一个例子，也能够与其他公知技术组合，也能够将实施方式彼此组合，在不脱离主旨的范围也能够将结构的一部分省略、变更。
标号的说明
1、1A、1B、1C、1D、1E问题解析辅助系统，10控制对象，20、20A、20D控制装置，21仪器控制部，22日志记录部，23动态图像记录部，24音响记录部，25问题检测部，30、30A、30B、30C、30E问题解析辅助装置，31显示部，32日志数据取得部，33时刻同步部，34程序动作显示处理部，35波形显示处理部，36动态图像显示处理部，37动作再现部，38显示设定信息存储部，39三维数据显示处理部，40时刻取得部，41音响分析显示处理部，42初始状态生成部，43动作信息取得部，60动作信息记录装置，61人，62无人输送物，71拍摄部，72传声器，100工件，101支撑台，110托盘，111凹部，120输送机构，121第1地点，122第2地点，123导轨，130机器人手机构，131轴，132主体部，133机器人手，141、142传感器，141A、142A发光元件，141B、142B受光元件，150检查部，200程序动作显示画面，210程序动作显示区域，211、241水平滚动条，212、242垂直滚动条，220、270、300时刻操作区域，221第1记录部，222日志记录处理部，223日志保存处理部，224第2记录部，226重现操作按钮，227、272、302滑块，228、273、303时刻显示部，230波形显示画面，231、231a、231b、231c、232a、232b、232c波形数据，240波形显示区域，243光标，250动态图像显示画面，260动态图像显示区域，271、301操作按钮，280三维数据显示画面，290三维数据显示区域，351处理器，352存储器，353存储装置，354输入装置，355显示装置，356通信装置，357数据总线。

Claims (10)

1.一种问题解析辅助程序，其对具有运转部的控制对象的问题的解析进行辅助，
该问题解析辅助程序的特征在于，
使计算机执行下述步骤：
日志数据取得步骤，取得将所述运转部的状态、所述控制对象和对所述控制对象进行控制的控制装置之间的控制信号的输入输出数据按照时间序列记录的日志数据；
动作再现步骤，生成基于所述日志数据使与所述控制对象相对应的假想的控制对象再现了动作的动作再现模拟数据；
三维数据显示步骤，将所述动作再现模拟数据作为三维数据而在显示部进行显示；
处理步骤，该步骤是从所述日志数据将由所述控制装置执行的控制程序的执行状况在所述显示部进行显示的程序动作显示步骤、从所述日志数据将所述运转部的状态及所述控制信号的输入输出数据通过相对于时间的波形在所述显示部进行显示的波形显示步骤、及将对所述控制对象的状态进行拍摄得到的动态图像数据在所述显示部进行显示的动态图像显示步骤之中的至少1个显示步骤；以及
时刻同步步骤，在通过所述动作再现步骤再现、通过所述三维数据显示步骤显示的所述三维数据和通过所述处理步骤显示的数据之间使时刻同步，
在所述三维数据显示步骤中，基于显示设定信息，使改变所述视点的位置后的所述三维数据在所述显示部进行显示，该显示设定信息表示将所述假想的控制对象作为所述三维数据而在所述显示部进行显示时的视点的位置。
2.根据权利要求1所述的问题解析辅助程序，其特征在于，
使所述计算机还执行时刻取得步骤，即，在通过所述三维数据显示步骤显示的所述三维数据的时刻或者通过所述处理步骤显示的数据的时刻被指定出的情况下，取得指定出的时刻而作为指定时刻，
在所述时刻同步步骤中，将所述动作再现步骤所使用的所述日志数据和所述处理步骤所使用的所述日志数据或者所述动态图像数据设为与通过所述时刻取得步骤所取得的所述指定时刻相对应的数据。
3.根据权利要求1或2所述的问题解析辅助程序，其特征在于，
使所述计算机还执行音响分析显示步骤，即，取得对由所述控制对象发出的声音进行录音的音响数据，将对所述音响数据进行分析得到的分析结果在所述显示部进行显示，
在所述时刻同步步骤中，在通过所述动作再现步骤使用并通过所述三维数据显示步骤显示的所述三维数据、通过所述处理步骤显示的数据和通过所述音响分析显示步骤显示的所述分析结果之间使时刻同步。
4.一种问题解析辅助程序，其对具有运转部的控制对象的问题的解析进行辅助，
该问题解析辅助程序的特征在于，
使计算机执行下述步骤：
日志数据取得步骤，取得将所述运转部的状态、所述控制对象和对所述控制对象进行控制的控制装置之间的控制信号的输入输出数据按照时间序列记录的日志数据；
动态图像显示步骤，将对所述控制对象的状态进行拍摄得到的动态图像数据在显示部进行显示；
动作再现步骤，生成基于所述日志数据使与所述控制对象相对应的假想的控制对象再现了动作的动作再现模拟数据；
三维数据显示步骤，将所述动作再现模拟数据作为三维数据而在所述显示部进行显示；
时刻同步步骤，在通过所述动作再现步骤再现并通过所述三维数据显示步骤显示的所述三维数据和通过所述动态图像显示步骤显示的所述动态图像数据之间使时刻同步；
时刻取得步骤，在通过所述三维数据显示步骤显示的三维数据的时刻或者通过所述动态图像显示步骤显示的所述动态图像数据的时刻被指定出的情况下，取得指定出的时刻而作为指定时刻，传送至时刻同步步骤；以及
初始状态生成步骤，根据表示构成所述指定时刻的所述控制对象的部件的状态的数据，生成包含构成所述控制对象的所述部件的位置及配置状态在内的初始状态信息，
在所述动作再现步骤中，基于所述初始状态信息对所述指定时刻的所述假想的控制对象的所述部件的状态进行设定，生成基于所述日志数据而再现了设定有所述初始状态信息的所述假想的控制对象的动作的所述动作再现模拟数据，
在所述三维数据显示步骤中，基于显示设定信息，使改变所述视点的位置后的所述三维数据在所述显示部进行显示，该显示设定信息表示将所述假想的控制对象作为所述三维数据而在所述显示部进行显示时的视点的位置。
5.根据权利要求1至4中任一项所述的问题解析辅助程序，其特征在于，
使所述计算机还执行动作信息取得步骤，即，取得将存在于与所述控制对象相同区域的人或者无人输送物的动作与时间一起记录的动作信息，
在所述动作再现步骤中，基于所述日志数据及所述动作信息，生成再现了所述假想的控制对象和与所述人相对应的假想的人或者与所述无人输送物相对应的假想的无人输送物的动作的所述动作再现模拟数据，
在所述三维数据显示步骤中，使包含所述假想的控制对象和所述假想的人或者所述假想的无人输送物在内的所述三维数据在所述显示部进行显示。
6.根据权利要求1至5中任一项所述的问题解析辅助程序，其特征在于，
所述日志数据还包含与对所述控制对象进行配置的环境相关的环境数据，
在所述动作再现步骤中，基于所述日志数据使所述假想的控制对象的动作再现，并且生成基于所述环境数据对构成所述控制对象的部件的变形进行模拟而得到的所述动作再现模拟数据。
7.根据权利要求6所述的问题解析辅助程序，其特征在于，
在所述三维数据显示步骤中，与所述环境数据的值相应地使所述三维数据中的客体的状态变化。
8.一种问题解析辅助装置，其对具有运转部的控制对象的问题的解析进行辅助，
该问题解析辅助装置的特征在于，具有：
日志数据取得部，其取得将所述运转部的状态、所述控制对象和对所述控制对象进行控制的控制装置之间的控制信号的输入输出数据按照时间序列记录的日志数据；
动作再现部，其生成基于所述日志数据使与所述控制对象相对应的假想的控制对象再现了动作的动作再现模拟数据；
三维数据显示处理部，其将所述动作再现模拟数据作为三维数据而在显示部进行显示；
处理部，其是从所述日志数据，将由所述控制装置执行的控制程序的执行状况在所述显示部进行显示的程序动作显示处理部、从所述日志数据将所述运转部的状态及所述控制信号的输入输出数据通过相对于时间的波形在所述显示部进行显示的波形显示处理部、及将对所述控制对象的状态进行拍摄得到的动态图像数据在所述显示部进行显示的动态图像显示处理部之中的至少1个显示处理部；以及
时刻同步部，其在通过所述动作再现部再现、通过所述三维数据显示处理部显示的所述三维数据和通过所述处理部显示的数据之间使时刻同步。
9.一种问题解析辅助方法，其通过具有日志数据取得部、动作再现部、三维数据显示处理部、显示处理部和时刻同步部的问题解析辅助装置，对具有运转部的控制对象的问题的解析进行辅助，
该问题解析辅助方法的特征在于，包含下述工序：
日志数据取得工序，所述日志数据取得部取得将所述运转部的状态、所述控制对象和对所述控制对象进行控制的控制装置之间的控制信号的输入输出数据按照时间序列记录的日志数据；
动作再现工序，所述动作再现部生成基于所述日志数据使与所述控制对象相对应的假想的控制对象再现了动作的动作再现模拟数据；
三维数据显示工序，所述三维数据显示处理部将所述动作再现模拟数据作为三维数据而在显示部进行显示；
所述显示处理部从所述日志数据，将由所述控制装置执行的控制程序的执行状况在所述显示部进行显示的程序动作显示工序、所述显示处理部从所述日志数据将所述运转部的状态及所述控制信号的输入输出数据通过相对于时间的波形在所述显示部进行显示的波形显示工序、及所述显示处理部将对所述控制对象的状态进行拍摄得到的动态图像数据在所述显示部进行显示的动态图像显示工序之中的至少1个显示处理工序即处理工序；以及
时刻同步工序，所述时刻同步部在通过所述动作再现工序再现、通过所述三维数据显示工序显示的所述三维数据和通过所述处理工序显示的数据之间使时刻同步。
10.一种三维数据显示程序，其特征在于，
使计算机执行下述步骤：
动作再现步骤，基于将所述运转部的状态、所述控制对象和对所述控制对象进行控制的控制装置之间的控制信号的输入输出数据按照时间序列进行记录的日志数据，生成使与具有运转部的控制对象相对应的假想的控制对象再现了动作的动作再现模拟数据；以及
三维数据显示步骤，将所述动作再现模拟数据作为三维数据而在显示部进行显示，
通过所述动作再现步骤再现、通过所述三维数据显示步骤显示的所述三维数据，在与从所述日志数据将由所述控制装置执行的控制程序的执行状况在所述显示部进行显示的程序动作显示画面、从所述日志数据将所述运转部的状态及所述控制信号的输入输出数据通过相对于时间的波形在所述显示部进行显示的波形显示画面、及将对所述控制对象的状态进行拍摄得到的动态图像数据在所述显示部进行显示的动态图像显示画面之中的至少1个显示画面之间使时刻同步。
CN202080100334.XA 2020-12-22 2020-12-22 问题解析辅助程序、问题解析辅助装置、问题解析辅助方法及三维数据显示程序 Pending CN116583797A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/048032 WO2022137358A1 (ja) 2020-12-22 2020-12-22 不具合解析支援プログラム、不具合解析支援装置、不具合解析支援方法および三次元データ表示プログラム

Publications (1)

Publication Number Publication Date
CN116583797A true CN116583797A (zh) 2023-08-11

Family

ID=81746649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080100334.XA Pending CN116583797A (zh) 2020-12-22 2020-12-22 问题解析辅助程序、问题解析辅助装置、问题解析辅助方法及三维数据显示程序

Country Status (4)

Country Link
US (1) US20230185267A1 (zh)
JP (2) JP7075541B1 (zh)
CN (1) CN116583797A (zh)
WO (1) WO2022137358A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023006301A (ja) * 2021-06-30 2023-01-18 オムロン株式会社 シミュレーションシステム、シミュレーションシステムの方法、およびシミュレーションのプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3440404B2 (ja) * 1998-03-11 2003-08-25 住友重機械工業株式会社 故障診断装置
JP2000250775A (ja) * 1999-03-01 2000-09-14 Omron Corp トラブル解析支援装置及びシミュレーション装置
JP2009151634A (ja) 2007-12-21 2009-07-09 Toshiba Corp 不整合処理検出装置、不整合処理検出プログラム、および不整合処理検出方法
JP5384178B2 (ja) 2008-04-21 2014-01-08 株式会社森精機製作所 加工シミュレーション方法及び加工シミュレーション装置
JP2013051282A (ja) * 2011-08-30 2013-03-14 Tokyo Electron Ltd 動画像生成装置、動画像生成方法及び動画像生成システム
JP6540472B2 (ja) * 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6392839B2 (ja) 2016-12-21 2018-09-19 ファナック株式会社 画像表示装置
WO2019069436A1 (ja) * 2017-10-05 2019-04-11 三菱電機株式会社 監視装置、監視システムおよび監視方法
JP6757385B2 (ja) * 2018-10-23 2020-09-16 株式会社キーエンス プログラマブルロジックコントローラおよびメインユニット
CN118786463A (zh) 2022-03-23 2024-10-15 三菱电机株式会社 显示数据生成程序、显示数据生成装置及显示数据生成方法

Also Published As

Publication number Publication date
US20230185267A1 (en) 2023-06-15
JP2022099341A (ja) 2022-07-04
JP7504149B2 (ja) 2024-06-21
WO2022137358A1 (ja) 2022-06-30
JPWO2022137358A1 (zh) 2022-06-30
JP7075541B1 (ja) 2022-05-25

Similar Documents

Publication Publication Date Title
US10432328B2 (en) Smart box for automatic feature testing of smart phones and other devices
JP2011009846A5 (zh)
CN103677259B (zh) 用于引导控制器的方法、多媒体装置及其目标跟踪装置
CN104766300B (zh) 具有集成gps映射的事件记录仪回放
CN106873549A (zh) 模拟装置以及模拟方法
US11360456B2 (en) Apparatus and method for identifying differences between a real installation and a digital twin of the installation
JP2009503711A (ja) 第２の対象物に対する第１対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体
JP7504149B2 (ja) 不具合解析支援装置、不具合解析支援方法および不具合解析支援プログラム
JP3879359B2 (ja) 画像記録装置
CN103472815A (zh) 信息处理装置及其信息处理系统
JPWO2020080480A1 (ja) 航空機検査支援装置および航空機検査支援方法
JP7427282B2 (ja) 検査装置及び検査プログラム
JPH09210722A (ja) 航空機の離着陸性能計測装置
JP7179238B1 (ja) 表示データ生成プログラム、表示データ生成装置及び表示データ生成方法
US20160254027A1 (en) Three-dimensional image processing system, three-dimensional image processing apparatus, and three-dimensional image processing method
CN112327009A (zh) 测试触控式移动装置的测试装置、系统及计算机存储介质
JP7359906B1 (ja) 情報処理装置、測定装置および測定方法
JPH06118062A (ja) 非破壊検査用欠陥記録・再生方法
JP2022120214A (ja) ガス検出端末装置及びガス検出システム
WO2019176150A1 (ja) 位置推定装置、位置推定方法及びプログラム
JPH0821722A (ja) 形状測定方法および装置
KR20160072055A (ko) 관성 센서의 교정 및 자체 테스트를 위한 장치 및 방법
JP6494085B2 (ja) 作業手順書の作成装置
US20240098363A1 (en) Inspection device and inspection method
JP5747664B2 (ja) 画像センサのマーカ検出機能試験方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination