JP2022099341A - 不具合解析支援プログラム、不具合解析支援装置、不具合解析支援方法および三次元データ表示プログラム - Google Patents

Abstract

【課題】複数台のカメラを設置せずに生産設備に生じる不具合の箇所の状態を任意の方向から確認することができる不具合解析支援プログラムを得ること。【解決手段】不具合解析支援プログラムは、コンピュータに、ログデータ取得ステップと、動作再現ステップと、三次元データ表示ステップと、処理ステップと、時刻同期ステップと、を実行させる。ログデータ取得ステップは、稼働部の状態と制御信号の入出力データとを時系列で記録したログデータを取得する。動作再現ステップは、仮想的な制御対象にログデータに基づいて動作を再現させた動作再現模擬データを生成する。三次元データ表示ステップは、動作再現模擬データを三次元データとして表示部に表示する。時刻同期ステップは、三次元データと、処理ステップによって表示されるデータと、の間で時刻を同期させる。三次元データ表示ステップでは、表示設定情報に基づいて三次元データを表示部に表示させる。【選択図】図１

Description

本開示は、制御対象の不具合の解析を支援する不具合解析支援プログラム、不具合解析支援装置、不具合解析支援方法および三次元データ表示プログラムに関する。

特許文献１には、制御装置と、制御装置による制御対象の装置と、を含む生産設備において、不具合が発生した場合に、不具合の解析を支援するトラブル解析支援装置が開示されている。特許文献１に記載のトラブル解析支援装置は、制御情報記録部と、模擬部と、を備える。制御情報記録部は、マイクロフォンにより集音した製造設備の音響信号、カメラにより撮像した生産設備の画像信号、プログラマブルコントローラから出力される製造設備の制御信号に基づき、製造設備の画像情報、音響信号、制御情報のログファイルを作成する。模擬部は、画像情報を再生してディスプレイに出力し、音響信号を再生してスピーカに出力し、制御情報の入力接点からプログラマブルコントローラの動作をシミュレーションし、シミュレーション結果と制御情報の出力接点とを比較して、差異を検出する。模擬部は、シミュレーションしたプログラマブルコントローラの内部情報をラダー形式でディスプレイに出力する。模擬部は、出力する画像情報、音響情報およびラダー形式のシミュレーションしたプログラマブルコントローラの内部情報を出力するときに、ほぼ同期させる。

特開２０００－２５０７７５号公報

しかしながら、上記従来の技術によれば、画像情報は、生産設備に対して特定の方向から撮像したものであるため、模擬部によって出力される画像情報では、特定の方向からの状態しか確認することができない。また、カメラの撮像範囲以外の生産設備については画像情報が得られない。このため、生産設備の不具合の全容をつかむことが困難になるという問題があった。また、複数の方向からの状態を観察するためには、複数台のカメラを設置しなければならないという問題があった。

本開示は、上記に鑑みてなされたものであって、複数台のカメラを設置せずに、生産設備に生じる不具合の箇所の状態を、任意の方向から確認することができる不具合解析支援プログラムを得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示の稼働部を有する制御対象の不具合の解析を支援する不具合解析支援プログラムは、コンピュータに、ログデータ取得ステップと、動作再現ステップと、三次元データ表示ステップと、プログラム動作表示ステップ、波形表示ステップおよび動画表示ステップのうち少なくとも１つの表示ステップである処理ステップと、時刻同期ステップと、を実行させる。ログデータ取得ステップは、稼働部の状態と、制御対象と制御対象を制御する制御装置との間の制御信号の入出力データと、を時系列で記録したログデータを取得する。動作再現ステップは、制御対象に対応する仮想的な制御対象に、ログデータに基づいて動作を再現させた動作再現模擬データを生成する。三次元データ表示ステップは、動作再現模擬データを三次元データとして表示部に表示する。プログラム動作表示ステップは、ログデータから、制御装置で実行される制御プログラムの実行状況を表示部に表示する。波形表示ステップは、ログデータから稼働部の状態および制御信号の入出力データを時間に対する波形で表示部に表示する。動画表示ステップは、制御対象の状態を撮像した動画データを表示部に表示する。時刻同期ステップは、動作再現ステップで再現され、三次元データ表示ステップによって表示される三次元データと、処理ステップによって表示されるデータと、の間で時刻を同期させる。三次元データ表示ステップでは、仮想的な制御対象を三次元データとして表示部に表示するときの視点の位置を示す表示設定情報に基づいて、視点の位置を変えた三次元データを表示部に表示させる。

本開示にかかる不具合解析支援プログラムは、複数台のカメラを設置せずに、生産設備に生じる不具合の箇所の状態を、任意の方向から確認することができるという効果を奏する。

実施の形態１による不具合解析支援システムの構成の一例を示すブロック図 実施の形態１による不具合解析支援システムで解析対象とされる制御対象の一例を示す図 実施の形態１によるプログラム動作表示画面の一例を示す図 実施の形態１による波形表示画面の一例を示す図 実施の形態１による動画表示画面の一例を示す図 実施の形態１による三次元データ表示画面の一例を示す図 実施の形態１による不具合解析支援方法の手順の一例を示すフローチャート 実施の形態１による時刻が指定された場合の不具合解析支援方法の手順の一例を示すフローチャート 図２に示される設備で使用される受け皿の一例を示す側面図 図２に示される設備で使用される受け皿にワークが正常に載置された状態の一例を示す側面図 設備が正常状態にある場合のログデータの一例を示す図 図１１のログデータに基づいて生成される波形表示画面の一例を示す図 設備に不具合が発生した場合の受け皿へのワークの配置状態の一例を示す図 設備に不具合が発生した場合のログデータの一例を示す図 図１４のログデータに基づいて生成される波形表示画面の一例を示す図 実施の形態１による不具合解析支援装置における波形表示画面および三次元データ表示画面の一例を模式的に示す図 実施の形態２による不具合解析支援システムの構成の一例を示すブロック図 実施の形態２による不具合解析支援システムの構成の他の例を示すブロック図 実施の形態３による不具合解析支援システムの構成の一例を示すブロック図 実施の形態３による指定時刻が指定された場合の不具合解析支援方法の手順の一例を示すフローチャート 実施の形態４による不具合解析支援システムの構成の一例を示すブロック図 実施の形態４による不具合解析支援システムの制御装置でのログデータの保存方法の手順の一例を示すフローチャート 実施の形態５による不具合解析支援システムの構成の一例を示すブロック図 実施の形態１から６にかかる不具合解析支援装置の機能をコンピュータシステムで実現する場合のハードウェア構成の一例を示す図

以下に、本開示の実施の形態にかかる不具合解析支援プログラム、不具合解析支援装置、不具合解析支援方法および三次元データ表示プログラムを図面に基づいて詳細に説明する。

実施の形態１．
図１は、実施の形態１による不具合解析支援システムの構成の一例を示すブロック図である。不具合解析支援システム１は、制御対象１０と、制御装置２０と、不具合解析支援装置３０と、を備える。

制御対象１０は、制御装置２０による制御にしたがって動作し、稼働部を有する。制御対象１０は、実施の形態１では、不具合の解析対象である。制御対象１０の一例は、工場のラインまたは装置である。稼働部の一例は、ベルトコンベア、ロボットアーム、ロボットハンドである。

図２は、実施の形態１による不具合解析支援システムで解析対象とされる制御対象の一例を示す図である。この制御対象１０は、受け皿１１０に載せられたワーク１００を、ロボットハンド１３３で掴み、ワーク１００の寸法を測定した後、ワーク１００を受け皿１１０に戻すという動作をする試験用の設備である。

制御対象１０は、受け皿１１０と、搬送機構１２０と、ロボットハンド機構１３０と、センサ１４１と、センサ１４２と、検査部１５０と、を備える。

受け皿１１０は、検査対象のワーク１００を載置する。搬送機構１２０は、受け皿１１０を第１地点１２１と第２地点１２２との間で移動させる。ここでは、搬送機構１２０は、支持台１０１上の第１地点１２１と第２地点１２２とを結ぶガイドレール１２３と、ガイドレール１２３上で受け皿１１０を移動させる図示しない移動機構と、を有する。

ロボットハンド機構１３０は、支持台１０１の中央部に垂直に設けられ、回転可能な軸１３１と、軸１３１に接続され、アームの機能を有する本体部１３２と、本体部１３２の一方の端部に設けられるロボットハンド１３３と、を有する。図２の例では、ロボットハンド１３３が第１地点１２１と第２地点１２２との間で移動可能なように、軸１３１が回転する。また、ロボットハンド１３３は、第１地点１２１で、受け皿１１０に載置されたワーク１００を把持することができ、第２地点１２２で把持したワーク１００を受け皿１１０に載置することができる。図２の例では、ロボットハンド１３３を含むロボットハンド機構１３０が稼働部となる。

センサ１４１は、第１地点１２１に受け皿１１０が存在することを検知する。センサ１４２は、第２地点１２２に受け皿１１０が存在することを検知する。一例では、センサ１４１，１４２は、発光素子１４１Ａ，１４２Ａと受光素子１４１Ｂ，１４２Ｂとを有する透過型または分離型のフォトセンサである。

検査部１５０は、第１地点１２１と第２地点１２２との中間に配置され、ワーク１００の検査を行う。

図２に示される試験用の設備では、ロボットハンド機構１３０が、第１地点１２１で受け皿１１０からワーク１００を把持し、回転してワーク１００を検査部１５０まで移動させる。検査部１５０は、ワーク１００の検査を行う。さらに、ロボットハンド機構１３０は、検査部１５０から第２地点１２２まで回転して、第２地点１２２に移動してきた受け皿１１０にワーク１００を載置する。その後、ロボットハンド機構１３０は、第１地点１２１まで回転して戻る。試験用の設備では、以上の動作を繰り返し行うものとする。

図１に戻り、制御装置２０は、制御対象１０と電気的に接続され、予め定められた制御プログラムにしたがって制御対象１０の動作を制御する装置である。また、実施の形態１では、制御装置２０は、稼働部の状態、制御対象１０との間の制御信号の入出力データ、および制御対象１０の実際の動作結果を含む制御対象情報を時系列で記録する装置である。制御装置２０は、機器制御部２１と、ログ記録部２２と、動画記録部２３と、を備える。

機器制御部２１は、制御対象１０を制御する制御プログラムを保持し、制御プログラムに基づいて制御対象１０を制御する。一例では、機器制御部２１は、制御対象１０からの情報が入力される入力部と、制御プログラムにしたがって演算処理を行う演算処理部と、演算処理部の結果を制御対象１０に出力する出力部と、を有する。機器制御部２１は、制御対象１０の状態を示す入力データを入力部から取得し、制御プログラムにしたがって入力データを用いて演算処理部で演算を行って制御対象１０を制御するための出力データを算出し、出力部から出力データを制御対象１０に出力する。機器制御部２１の一例は、プログラマブルロジックコントローラまたはロボットコントローラである。

ログ記録部２２は、機器制御部２１が制御対象１０との間でやり取りする入力データおよび出力データを含む入出力データと、制御対象１０の稼働部の状態を示す状態データと、を時間の経過とともに観測した時系列データであるログデータを取得する。入力データの一例は、機器制御部２１が制御している制御対象１０のセンサ１４１，１４２から得られるセンサ１４１，１４２の検出値、またはセンサ１４１，１４２の検出値を演算もしくは加工した値である。出力データの一例は、機器制御部２１が入力データを用いて制御プログラムを実行した実行結果であり、制御対象１０に対して出力する制御信号である。状態データの一例は、稼働部がロボットハンド機構１３０である場合には、ロボットハンド機構１３０の軸値、モータの回転速度、センサ１４１，１４２によるワーク１００の位置などである。図２の試験用の設備における軸１３１の角度は、状態データの一例であり、制御装置２０の機器制御部２１が保持している。以下では、入力データと出力データとはまとめて入出力データとも称される。すなわち、ログデータは、稼働部の状態と、制御対象１０と制御対象１０を制御する制御装置２０との間の制御信号の入出力データと、を時系列で記録したデータである。

動画記録部２３は、制御対象１０を撮像する撮像部７１で撮像したデータである動画データを記録する。動画データは、動作記録データの一例であり、撮像した時刻情報を含む。

一例では、制御対象１０が製品を製造するラインまたは装置を含む場合に、制御対象１０と制御装置２０とを合わせたものが、生産設備となる。

不具合解析支援装置３０は、ログデータに基づいて仮想的な制御対象に動作を再現させたシミュレーション結果と、ログデータおよび動画データの少なくとも一方を用いて再現した実際の制御対象１０の動作状態と、を時刻を同期させて表示し、制御対象１０に不具合が発生した場合の不具合の解析を支援する装置である。一例では、不具合解析支援装置３０は、制御装置２０と通信可能である。不具合解析支援装置３０は、表示部３１と、ログデータ取得部３２と、時刻同期部３３と、プログラム動作表示処理部３４と、波形表示処理部３５と、動画表示処理部３６と、動作再現部３７と、表示設定情報記憶部３８と、三次元データ表示処理部３９と、時刻取得部４０と、を備える。

表示部３１は、不具合解析支援装置３０による不具合解析を支援するための情報を視覚的に表示する。表示部３１の一例は、液晶表示装置などの表示装置である。不具合解析支援装置３０は、１つの表示部３１を有していてもよいし、複数の表示部３１を有していてもよい。一例では、不具合解析支援装置３０は、後述するプログラム動作表示処理部３４、波形表示処理部３５、動画表示処理部３６および三次元データ表示処理部３９のそれぞれに対応して、複数の表示部３１を有していてもよい。

ログデータ取得部３２は、制御装置２０のログ記録部２２からログデータを取得する。一例では、ログデータ取得部３２は、不具合解析支援装置３０のユーザからの指示を受けて、ログ記録部２２からログデータを取得する。ユーザは、不具合解析支援装置３０の使用者、制御対象１０の動作を管理する管理者等である。ログデータ取得部３２は、制御装置２０のログ記録部２２からファイルでの一括渡しによってログファイルを取得してもよいし、ストリーミング等の随時通信等によってログファイルを取得してもよい。

時刻同期部３３は、ログデータ取得部３２で取得したログデータと、制御装置２０の動画記録部２３から取得する動画データと、の間で時刻を同期させる。具体的には、時刻同期部３３は、動作再現部３７、プログラム動作表示処理部３４および波形表示処理部３５に渡すログデータと、動画表示処理部３６に渡す動画データと、の間で、渡すデータの時刻を同期させる。時刻同期部３３は、ログデータに含まれる時刻情報と、動作記録データに含まれる時刻情報と、を参照して、それぞれの処理部に渡すデータの時刻を調整する。

プログラム動作表示処理部３４は、制御装置２０で実行される制御プログラムの実行状況を表示部３１に表示する。具体的には、プログラム動作表示処理部３４は、機器制御部２１で実行される制御プログラムの実行状況を示すプログラム動作表示画面を表示部３１に表示する処理を行う。機器制御部２１で実行される制御プログラムは、一般的にラダープログラムである。このラダープログラムは、リレー制御回路の考えを基本とした、リレーシンボリック語によって記述されている。このため、プログラム動作表示処理部３４は、制御プログラムの１つであるラダープログラムを回路図形式で表示したプログラム動作表示画面を生成する。プログラム動作表示処理部３４は、機器制御部２１で実行される制御プログラムの接点、コイルなどのプログラム構成要素を回路形式のプログラムで表示したプログラム動作表示画面を生成する。また、プログラム動作表示処理部３４は、各プログラム構成要素に対応する入出力データの値または状態データの値を指定された時刻のログデータから取得し、プログラム動作表示画面のプログラム構成要素の近辺に表示する。なお、プログラム動作表示画面上で、接点のオンまたはオフの状態を、表示方式を変えて表示してもよい。プログラム動作表示処理部３４によるラダープログラムに、実行状況を表示させ、入出力データの値または状態データの値を表示させる技術は、公知の方法によって実現可能である。プログラム動作表示処理部３４は、生成したプログラム動作表示画面を表示部３１に表示する。なお、プログラム動作表示処理部３４は、機器制御部２１で実行される制御プログラムと同じ制御プログラムを保持している。

図３は、実施の形態１によるプログラム動作表示画面の一例を示す図である。プログラム動作表示画面２００は、ラダープログラムを表示するプログラム動作表示領域２１０と、プログラム動作表示領域２１０で表示される時刻に関する操作を受け付ける時刻操作領域２２０と、を有する。

プログラム動作表示領域２１０には、読み込んだプログラムがラダープログラムの形式、すなわち回路形式で表示される。一般的に、プログラム動作表示領域２１０内にすべてのラダープログラムを表示することができないので、プログラム動作表示領域２１０には、表示される領域を水平方向に変化させる水平スクロールバー２１１と、表示される領域を垂直方向に変化させる垂直スクロールバー２１２と、が設けられる。

時刻操作領域２２０は、プログラム動作表示領域２１０に表示されるプログラムの再現時刻と、プログラムの再生に関する操作ボタンと、を表示する領域である。時刻操作領域２２０は、プログラム動作表示領域２１０で回路の動作の再生に関する操作を受け付ける再生操作ボタン２２６と、再生時刻の大まかな位置を示すとともに、任意の再生時刻を指定することができるスライダ２２７と、を有する。スライダ２２７の位置に対応する時刻の状態がプログラム動作表示領域２１０に表示される。また、時刻操作領域２２０は、プログラム動作表示領域２１０で再生中のプログラムの時刻を表示する時刻表示部２２８を有する。スライダ２２７は、時刻指示部の一例である。

図１に戻り、波形表示処理部３５は、ログデータから稼働部の状態および制御信号の入出力データを時間に対する波形で表示部３１に表示する。具体的には、波形表示処理部３５は、ログデータ中の制御対象１０の入出力データまたは稼働部の状態データの値を時間に対してプロットした波形表示画面を生成し、生成した波形表示画面を表示部３１に表示する。

図４は、実施の形態１による波形表示画面の一例を示す図である。波形表示画面２３０は、波形データ２３１を表示する波形表示領域２４０を有する。波形表示領域２４０には、ログデータに含まれる制御対象１０の入出力データおよび稼働部の状態データの波形データ２３１が表示される。一般的に、波形表示領域２４０内にすべての入出力データおよび状態データの波形データ２３１を表示することができないので、波形表示領域２４０には、表示される領域を水平方向に変化させる水平スクロールバー２４１と、表示される領域を垂直方向に変化させる垂直スクロールバー２４２と、が設けられる。複数の波形データ２３１の横軸である時間軸は、共通の時間帯を示している。波形表示領域２４０は、時刻を示すカーソル２４３を有する。カーソル２４３は、垂直方向に配列される複数の波形データ２３１にわたって設けられ、時間軸方向に移動させることが可能である。カーソル２４３は、時刻指示部の一例である。カーソル２４３は、ユーザによって任意の時刻を指定することができる。

図１に戻り、動画表示処理部３６は、制御対象１０の状態を撮像した動画データを表示部３１に表示する。具体的には、動画表示処理部３６は、動画記録部２３に記録された動画データのフォーマットにしたがって、動画データを再生表示する動画表示画面を生成し、生成した動画表示画面を表示部３１に表示する。

図５は、実施の形態１による動画表示画面の一例を示す図である。動画表示画面２５０は、動画表示領域２６０と、時刻操作領域２７０と、を有する。動画表示領域２６０では、動画データが再生される。時刻操作領域２７０は、動画表示領域２６０で再生される動画データの再生に関する操作を受け付ける領域であり、動画表示領域２６０で再生される動画データの再生時刻を示す領域である。時刻操作領域２７０は、動画表示領域２６０での動画データの再生に関する操作ボタン２７１と、再生時刻の大まかな位置を示すとともに、任意の再生時刻を指定することができるスライダ２７２と、を有する。スライダ２７２の位置に対応する時刻の状態が動画表示領域２６０に表示される。また、時刻操作領域２７０は、再生中の動画データの時刻を表示する時刻表示部２７３を有する。スライダ２７２は、時刻指示部の一例である。

図１に戻り、動作再現部３７は、制御対象１０に対応する仮想的な制御対象に、ログデータに基づいて動作を再現させた動作再現模擬データを生成する。具体的には、動作再現部３７は、制御対象１０と同じ構成を有する仮想的な制御対象をコンピュータ上で生成し、ログデータに基づいて仮想的な制御対象の動作を再現する動作再現模擬データを生成する。すなわち、動作再現部３７は、仮想的な制御対象の動作をログデータを用いてシミュレーションする。動作再現模擬データは、仮想的な制御対象を三次元で表現することが可能な形式のデータであり、角度を指定することによって、任意の方向の仮想的な制御対象を表示することができる。仮想的な制御対象は、制御対象１０の主要部分を再現するものであればよい。ただし、仮想的な制御対象が制御対象１０と細部まで同じ構成を有する場合には、動作再現部３７でのシミュレーションの結果がより実際のものに近づいたものが得られる。

表示設定情報記憶部３８は、仮想的な制御対象を三次元データとして表示部３１に表示するときの視点の位置を示す設定情報を記憶する。具体的には、表示設定情報記憶部３８は、動作再現模擬データを三次元表示した仮想的な制御対象の三次元データを表示部３１に表示するときの視点の位置についての設定である表示設定情報を記憶する。一例では、仮想的な制御対象の三次元データを表示するときの視点の位置は、デフォルトで定められている。仮想的な制御対象の位置を固定した状態で、ユーザによって指定された角度だけ水平面内で視点の位置を回転させたり、ユーザによって指定された角度だけ鉛直面内で視点の位置を回転させたりすることができる。この明細書では、視点の位置を水平面内で回転させる角度は方位角と称され、視点の位置を鉛直面内で回転させる角度は極角と称される。ユーザによって図示しない入力部によって入力された方位角および極角を含む表示角度が、表示設定情報となり、表示設定情報記憶部３８に記憶される。表示設定情報記憶部３８は、デフォルトでは、予め定められた表示角度を含む表示設定情報が記憶されている。

なお、表示設定情報記憶部３８は、表示角度だけではなく、制御対象１０を表示する領域を指定するものであってもよい。一例では、表示設定情報は、ユーザによって指定された部分が拡大表示されるように、仮想的な制御対象の位置および拡大率を、表示角度に加えて含んでいてもよい。

三次元データ表示処理部３９は、動作再現模擬データを三次元データとして表示部３１に表示する。具体的には、三次元データ表示処理部３９は、動作再現部３７で生成された動作再現模擬データを表示設定情報に基づいて三次元的に表示する三次元データ表示画面を生成し、生成した三次元データ表示画面を表示部３１に表示する。このとき、三次元データ表示処理部３９は、表示設定情報記憶部３８から表示設定情報を取得し、表示設定情報に設定されている仮想的な制御対象を表示するときの視点の位置にしたがって、動作再現模擬データを表示した三次元データ表示画面を生成する。

図６は、実施の形態１による三次元データ表示画面の一例を示す図である。三次元データ表示画面２８０は、三次元データ表示領域２９０と、時刻操作領域３００と、を有する。三次元データ表示領域２９０では、動作再現模擬データを三次元的に表示した三次元データが再生される。時刻操作領域３００は、三次元データ表示領域２９０で再生される三次元データの再生に関する操作を受け付ける領域であり、三次元データ表示領域２９０で再生される三次元データの再生時刻を示す領域である。時刻操作領域３００は、三次元データ表示領域２９０での三次元データの再生に関する操作ボタン３０１と、再生時刻の大まかな位置を示すとともに、任意の再生時刻を指定することができるスライダ３０２と、を有する。スライダ３０２の位置に対応する時刻の状態が三次元データ表示領域２９０に表示される。また、時刻操作領域３００は、再生中の動画データの時刻を表示する時刻表示部３０３を有する。スライダ３０２は、時刻指示部の一例である。

時刻取得部４０は、プログラム動作表示画面２００、波形表示画面２３０、動画表示画面２５０および三次元データ表示画面２８０のいずれかの時刻指示部が操作された場合に、操作された時刻指示部によって指定される時刻である指定時刻を取得し、指定時刻を時刻同期部３３に渡す。時刻指示部であるカーソル２４３およびスライダ２２７，２７２，３０２による指定時刻の取得は、公知の画像表示技術により実現される。

時刻同期部３３は、時刻取得部４０から指定時刻が渡されると、渡された時刻のログデータを動作再現部３７、プログラム動作表示処理部３４および波形表示処理部３５に渡し、動画データを動画表示処理部３６に渡す。これによって、動作再現部３７は渡された時刻における動作再現模擬データを生成し、三次元データ表示処理部３９に三次元データを表示する。また、プログラム動作表示処理部３４および波形表示処理部３５のそれぞれは、渡された時刻におけるプログラムおよび波形データ２３１を表示し、動画表示処理部３６は渡された時刻における動画データを表示する。この結果、三次元データ表示処理部３９で表示される三次元データと、プログラム動作表示処理部３４で表示される回路と、波形表示処理部３５で表示される波形データ２３１と、動画表示処理部３６で表示される動画データと、の間で同期がとれた状態となる。

なお、図１では、不具合解析支援装置３０は、プログラム動作表示処理部３４と、波形表示処理部３５と、動画表示処理部３６と、を備える構成を示しているが、プログラム動作表示処理部３４、波形表示処理部３５および動画表示処理部３６のうち１つ以上の表示処理部を備えていればよい。この場合には、時刻取得部４０は、三次元データ表示処理部３９で表示される三次元データの時刻またはプログラム動作表示処理部３４、波形表示処理部３５および動画表示処理部３６のうち少なくとも１つの表示処理部である処理部で表示されるデータの時刻が指定された場合に、指定された時刻を指定時刻として取得し、時刻同期部３３に出力する。時刻同期部３３は、指定時刻に対応するログデータを動作再現部３７に渡し、指定時刻に対応するログデータまたは動画データをプログラム動作表示処理部３４、波形表示処理部３５および動画表示処理部３６のうち少なくとも１つの処理部に渡す。つまり、時刻同期部３３は、動作再現部３７で再現され、三次元データ表示処理部３９によって表示される三次元データと、プログラム動作表示処理部３４、波形表示処理部３５および動画表示処理部３６のうち少なくとも１つの処理部によって表示されるデータと、の間で時刻を同期させる。

つぎに、不具合解析支援システム１における不具合解析支援方法について説明する。図７は、実施の形態１による不具合解析支援方法の手順の一例を示すフローチャートである。ここでは、ユーザは、制御装置２０を動作させて、ログ記録部２２はログデータを記録し、動画記録部２３は動画データを記録しているものとする。

不具合解析支援装置３０のユーザは、図示しない入力部からの操作によって、不具合解析支援装置３０に不具合解析支援方法の実行を指示する。これによって、ログデータ取得部３２は、制御装置２０のログ記録部２２からログデータを取得する（ステップＳ１１）。

ついで、時刻同期部３３は、動画記録部２３から動画データを取得し（ステップＳ１２）、ログデータと動画データとの時刻を同期させて、動作再現部３７、プログラム動作表示処理部３４および波形表示処理部３５にはログデータを渡し、動画表示処理部３６には動画データを渡す（ステップＳ１３）。

プログラム動作表示処理部３４は、予め制御装置２０の機器制御部２１で実行される制御プログラムと同じ制御プログラムを有しており、この制御プログラムとログデータとを用いて、実際の制御プログラムの動作状況を表示する。プログラム動作表示処理部３４は、制御プログラムを回路形式で表示し、制御プログラムのプログラム構成要素に対応する値をログデータから取得して表示したプログラム動作表示画面２００を生成する（ステップＳ１４）。そして、プログラム動作表示処理部３４は、プログラム動作表示画面２００を表示部３１に表示する（ステップＳ１５）。

波形表示処理部３５は、ログデータに含まれる機器制御部２１から取得した入出力データと制御対象１０の稼働部の状態データとを時間に対してプロットした波形表示画面２３０を生成し（ステップＳ１６）、波形表示画面２３０を表示部３１に表示する（ステップＳ１７）。波形表示画面２３０は、ログデータの機器制御部２１での入出力データの信号状態を示したり、稼働部の動作状態を示したりするものである。また、波形表示画面２３０では、渡された時刻の位置にカーソル２４３が配置される。

動画表示処理部３６は、時刻同期部３３を介して制御装置２０の動画記録部２３から渡された動画データを再生する動画表示画面２５０を生成し（ステップＳ１８）、動画表示画面２５０を表示部３１に表示する（ステップＳ１９）。

動作再現部３７は、予め制御対象１０と同じ構成を有する仮想的な制御対象の三次元データを有しており、この三次元データとログデータとを用いて、仮想的な制御対象に動作を再現させるシミュレーション処理を行う。そして、動作再現部３７は、仮想的な制御対象をログデータに基づいて動作させた動作再現模擬データを生成する（ステップＳ２０）。動作再現部３７は、時刻同期部３３から渡される時刻の異なるログデータを用いて、仮想的な制御対象の動作を再現させる。

三次元データ表示処理部３９は、表示設定情報記憶部３８から表示設定情報を取得し（ステップＳ２１）、表示設定情報にしたがって、動作再現模擬データを表示した三次元データ表示画面２８０を生成する（ステップＳ２２）。三次元データ表示処理部３９は、制御対象１０に対して予め設定された視点位置の方向を基準として、デフォルトで設定されているまたはユーザによって設定される方位角および極角の方位だけ視点位置を移動させた三次元データ表示画面２８０を生成する。このように、動作再現部３７で生成される動作再現模擬データは、三次元データであるので、表示する場合に、制御対象１０を見る視点位置を任意の方向とすることができる。そして、三次元データ表示処理部３９は、三次元データ表示画面２８０を表示部３１に表示する（ステップＳ２３）。

ステップＳ１５でのプログラム動作表示画面２００の表示と、ステップＳ１７での波形表示画面２３０の表示と、ステップＳ１９での動画表示画面２５０の表示と、ステップＳ２３での三次元データ表示画面２８０の表示と、は、時刻が同期されている。

ステップＳ１５，Ｓ１７，Ｓ１９およびＳ２３の後、ステップＳ１３に処理が戻り、上記した処理が繰り返し実行される。これによって、時間の流れに従って、プログラム動作表示画面２００、波形表示画面２３０、動画表示画面２５０および三次元データ表示画面２８０が表示部３１に表示されることになる。つまり、動画表示処理部３６で再生される動画表示画面２５０と同期して、プログラム動作表示画面２００にはプログラムの動作状況が示され、波形表示処理部３５には入出力データの信号状態および稼働部の動作状態が示される。また、三次元データ表示処理部３９には、コンピュータ上の仮想的な制御対象を、ログデータに基づいて再現動作させたシミュレーション結果が表示される。ユーザは、これらの表示画面を参照することで、制御対象１０の不具合箇所を解析することが可能となる。

つぎに、プログラム動作表示画面２００、波形表示画面２３０、動画表示画面２５０および三次元データ表示画面２８０のいずれかでユーザによって時刻が指定された場合の処理について説明する。図８は、実施の形態１による時刻が指定された場合の不具合解析支援方法の手順の一例を示すフローチャートである。ここでは、図７にしたがって、表示部３１にプログラム動作表示画面２００、波形表示画面２３０、動画表示画面２５０および三次元データ表示画面２８０が表示されている状態にあるとする。

まず、プログラム動作表示画面２００、波形表示画面２３０、動画表示画面２５０および三次元データ表示画面２８０のうちのいずれかの時刻指示部がユーザによって操作される。時刻指示部は、スライダ２２７，２７２，３０２またはカーソル２４３である。時刻取得部４０は、時刻指示部が操作されたことを検知して、指定時刻を読み取り（ステップＳ３１）、読み取った指定時刻を時刻同期部３３に渡す（ステップＳ３２）。

時刻同期部３３は、受け取った指定時刻のログデータをプログラム動作表示処理部３４、波形表示処理部３５および動作再現部３７に渡し、受け取った指定時刻の動画データを動画表示処理部３６に渡す（ステップＳ３３）。

プログラム動作表示処理部３４は、受け取った指定時刻のログデータに基づいてプログラム動作表示画面２００を生成し（ステップＳ３４）、プログラム動作表示画面２００を表示部３１に表示する（ステップＳ３５）。波形表示処理部３５は、受け取った指定時刻のログデータに基づいて波形表示画面２３０を生成し（ステップＳ３６）、波形表示画面２３０を表示部３１に表示する（ステップＳ３７）。動画表示処理部３６は、受け取った指定時刻の動画データを用いて動画表示画面２５０を生成し（ステップＳ３８）、動画表示画面２５０を表示部３１に表示する（ステップＳ３９）。

動作再現部３７は、受け取った指定時刻のログデータに基づいて仮想的な制御対象に動作を再現させた動作再現模擬データを生成する（ステップＳ４０）。

三次元データ表示処理部３９は、表示設定情報記憶部３８から表示設定情報を取得し（ステップＳ４１）、表示設定情報にしたがって、動作再現模擬データを表示した三次元データ表示画面２８０を生成する（ステップＳ４２）。そして、三次元データ表示処理部３９は、三次元データ表示画面２８０を表示部３１に表示する（ステップＳ４３）。

その後は、時刻同期部３３は、指定時刻の次の時刻のログデータをプログラム動作表示処理部３４、波形表示処理部３５および動作再現部３７に渡し、指定時刻の次の時刻の動画データを動画表示処理部３６に渡す（ステップＳ４４）。その後、処理がステップＳ３４，Ｓ３６，Ｓ３８，Ｓ４０に移る。そして、上記した動作状態の再現処理を繰り返す。

つぎに、実施の形態１による不具合解析支援システム１での不具合解析支援方法の具体例について説明する。ここでは、図２に示される設備である制御対象１０の不具合を解析する場合を例に挙げる。また、ここでは、不具合解析支援装置３０は、プログラム動作表示処理部３４と、動画表示処理部３６と、を備えない構成であるとする。

図９は、図２に示される設備で使用される受け皿の一例を示す側面図である。受け皿１１０において、受け皿１１０の移動方向をＸ方向とし、上下方向をＺ方向とし、Ｘ方向およびＺ方向の両方に垂直な方向をＹ方向とする。図２に示される設備では、受け皿１１０は、ワーク１００を載置可能な凹部１１１を有している。図２に示されるように、第１地点１２１または第２地点１２２において、受け皿１１０を挟んでＹ方向の両側に発光素子１４１Ａ，１４２Ａと受光素子１４１Ｂ，１４２Ｂとが配置される。センサ１４１，１４２は、ワーク１００を検知するためのものであり、センサ１４１，１４２の光路が受け皿１１０の部材によって遮られないように、凹部１１１が設けられる。この例では、凹部１１１は、Ｙ方向に延在する溝状である。つまり、第１地点１２１および第２地点１２２では、センサ１４１，１４２の光路は凹部１１１に含まれる。

図１０は、図２に示される設備で使用される受け皿にワークが正常に載置された状態の一例を示す側面図である。第１地点１２１または第２地点１２２に受け皿１１０が位置する場合に、ワーク１００が正常に受け皿１１０に載置された状態では、センサ１４１，１４２の光路上にワーク１００が存在する。つまり、センサ１４１，１４２の受光素子１４１Ｂ，１４２Ｂは、発光素子１４１Ａ，１４２Ａからの光を受光しないため、センサ１４１，１４２では、ワーク１００が第１地点１２１または第２地点１２２に存在すると判定することになる。一方、受光素子１４１Ｂ，１４２Ｂが発光素子１４１Ａ，１４２Ａからの光を受光し続けている間は、ワーク１００は第１地点１２１または第２地点１２２に存在しないと判定することになる。

図２に示される設備では、以下の第１工程から第７工程の動作を行うものとする。
第１工程：第１地点１２１までワーク１００が載置された受け皿１１０が移動する。
第２工程：センサ１４１がワーク１００を検知するとオン信号を出力する。
第３工程：センサ１４１がオン信号を出力すると、ロボットハンド機構１３０のロボットハンド１３３が第１地点１２１でワーク１００を掴む。
第４工程：第１地点１２１から第２地点１２２まで受け皿１１０が移動する。
第５工程：ロボットハンド機構１３０が回転し、検査部１５０でワーク１００の検査が実行された後、さらに第２地点１２２までワーク１００を運び、第２地点１２２の受け皿１１０にワーク１００を載置する。
第６工程：ワーク１００が受け皿１１０に載置され、センサ１４２がワーク１００を検知するとオン信号を出力する。
第７工程：センサ１４２がオン信号を出力すると、ロボットハンド機構１３０が回転し、ロボットハンド１３３が第１地点１２１まで戻る。

ここで、ログ記録部２２は、センサ１４１およびセンサ１４２からの入力信号と、ロボットハンド機構１３０の主軸である軸１３１の角度と、をログデータとして時系列で記録するものとする。ただし、軸１３１の角度の値は、角度ではなく、ロボットハンド機構１３０のロボットハンド１３３が第１地点１２１に存在する場合を０とし、第２地点１２２に存在する場合を１００とした場合の相対値によって示されるものとする。以下では、軸１３１の角度は、軸角度と称する。

図１１は、設備が正常状態にある場合のログデータの一例を示す図である。図１１に示されるように、この場合のログデータは、時刻と、センサ１４１の値と、センサ１４２の値と、軸角度と、を有する。ただし、センサ１４１，１４２では、オンは「１」で表記され、オフは「０」で表記されている。

図１２は、図１１のログデータに基づいて生成される波形表示画面の一例を示す図である。図１２の波形表示画面２３０には、３つの波形データ２３１ａ，２３１ｂ，２３１ｃと、カーソル２４３と、が表示されている。波形データ２３１ａは、センサ１４１の信号状態を示す波形であり、波形データ２３１ｂは、センサ１４２の信号状態を示す波形であり、波形データ２３１ｃは、軸角度の波形である。これらの波形の横軸は時間を示している。

正常状態にある場合には、図１２の波形データ２３１ａ，２３１ｂ，２３１ｃに示されるように設備は動作する。第１地点１２１でセンサ１４１がオンになるとロボットハンド機構１３０が第２地点１２２まで回転し、第２地点１２２で回転動作が停止する。第２地点１２２でセンサ１４２がオンになるとロボットハンド機構１３０は、第１地点１２１まで反対方向に回転し、第１地点１２１で回転動作が停止する。

ここで、第５工程において、ロボットハンド機構１３０のロボットハンド１３３がワーク１００を受け皿１１０に載置するときに不具合が発生したものとする。図１３は、設備に不具合が発生した場合の受け皿へのワークの配置状態の一例を示す図である。図１３では、第２地点１２２で受け皿１１０の位置がずれて、ワーク１００が、受け皿１１０の凹部１１１に嵌らない状態で受け皿１１０に載置されている。この結果、センサ１４２の光路がワーク１００によって遮られない状態となる。つまり、センサ１４２はワーク１００が載置されたことを検知しないため、センサ１４２はオフ状態を検出し続けることになる。

図１４は、設備に不具合が発生した場合のログデータの一例を示す図である。図１５は、図１４のログデータに基づいて生成される波形表示画面の一例を示す図である。図１５の波形表示画面２３０には、３つの波形データ２３２ａ，２３２ｂ，２３２ｃと、カーソル２４３と、が表示されている。波形データ２３２ａは、センサ１４１の信号状態を示す波形であり、波形データ２３２ｂは、センサ１４２の信号状態を示す波形であり、波形データ２３２ｃは、軸角度の波形である。これらの波形の横軸は時間を示している。

正常時である場合には、第６工程に対応する時刻が「１１：１１：１７」から「１１：１１：１８」でセンサ１４２がオンになるはずであるが、図１４および図１５では、センサ１４２がオフになっている。この結果、ロボットハンド機構１３０は、その後、第２地点１２２の軸角度の値「１００」の位置から動かない状態が継続されている。

つぎに、不具合現象を確認する作業がユーザによって行われる。ユーザによって、不具合解析支援装置３０の図示しない入力部からログデータ確認の指示等が入力されることによって、不具合解析支援方法が開始される。

ログデータ取得部３２は、制御装置２０のログ記録部２２からログデータを取得する。このとき、ログデータ取得部３２は、不具合発生時の周辺の時間のログデータを取得することが望ましい。時刻同期部３３は、波形表示処理部３５および動作再現部３７にログデータを渡す。波形表示処理部３５は、ログデータにしたがってセンサ１４１、センサ１４２および軸角度の波形データ２３２ａ，２３２ｂ，２３２ｃを含む図１５に示される波形表示画面２３０を生成し、表示部３１に表示する。動作再現部３７は、図２に示される設備と同じ構成を有する仮想的な制御対象を、ログデータに基づいて動作させた動作再現模擬データを生成する。三次元データ表示処理部３９は、動作再現模擬データを指定された表示設定情報にしたがって仮想的な制御対象を表示する際の視点の位置を変えた三次元データを含む三次元データ表示画面２８０を生成し、表示部３１に表示する。このとき、三次元データ表示画面２８０に表示される仮想的な制御対象の時刻と、波形表示画面２３０に表示される時刻指定部の時刻と、は、同期している。

図１６は、実施の形態１による不具合解析支援装置における波形表示画面および三次元データ表示画面の一例を模式的に示す図である。図１６に示されるように、表示部３１には、波形表示画面２３０と、三次元データ表示画面２８０と、が表示されている。波形表示画面２３０には、図１５で示される波形データ２３２ａ，２３２ｂ，２３２ｃと、波形データ２３２ａ，２３２ｂ，２３２ｃにおける時刻を示すカーソル２４３と、が示されている。三次元データ表示画面２８０には、ある時刻における仮想的な制御対象の動作状態をシミュレーションした結果の三次元の図が示されている。上記したように、三次元データ表示画面２８０のある時刻は、波形表示画面２３０のカーソル２４３が位置する時刻と対応している。

一例では、ユーザは、再生したい時刻を図１６の波形表示画面２３０のカーソル２４３を移動させることによって指定する。時刻取得部４０は、波形表示画面２３０のカーソル２４３の位置に対応する時刻を取得する。ここでは、図１４のログデータで網掛けした時刻である「１１：１１：１５」が取得されたものとする。時刻取得部４０は、取得した時刻を時刻同期部３３に通知し、時刻同期部３３は、取得した時刻のログデータを動作再現部３７に渡す。そして、動作再現部３７では、取得した時刻のログデータを用いて、仮想的な制御対象を動作させた動作再現模擬データを生成し、三次元データ表示処理部３９は、動作再現模擬データを三次元的に表示した三次元データ表示画面２８０を表示部３１に表示する。これによって、波形表示画面２３０で指定された時刻における制御対象１０の状態を三次元データ表示画面２８０で確認することができる。

ユーザが次の時刻を指定すると、同様に、波形表示処理部３５と三次元データ表示処理部３９とで時刻が同期した内容を表示部３１に表示する。なお、これ以降の時刻は、ユーザ指定ではなく、自動的に進めてもよい。ただし、この場合でも、上記の処理の内容は変わらない。

上記した動作を繰り返すことによって、ユーザはログデータの波形データの表示と制御対象１０の三次元データの表示との両方で各時刻の状態を確認しながら不具合の状態原因を確認できるようになる。

なお、上記例では波形表示処理部３５で再生時刻を指定する例を示したが、図１６の三次元データ表示画面２８０のスライダ３０２から再生時刻を指定しても上記同様の処理で波形データと仮想的な制御対象の動作とを確認することができる。

実施の形態１では、時刻同期部３３が、制御装置２０から取得したログデータと、制御装置２０の動画記録部２３から取得した動画データと、の時刻を同期させて、プログラム動作表示処理部３４、波形表示処理部３５および動画表示処理部３６のうち少なくとも１つの処理部と、動作再現部３７と、に渡す。プログラム動作表示処理部３４では、制御装置２０の機器制御部２１で実行する制御プログラムを回路形式で表示するとともに、プログラム構成要素に対応する入出力データの値または状態データの値を時刻同期部３３から指定された時刻のログデータから取得し、プログラム構成要素の近辺に配置したプログラム動作表示画面２００を表示する。波形表示処理部３５は、入出力データの値または状態データの値を時刻に対して波形表示し、時刻同期部３３から指定された時刻にカーソル２４３を配置した波形表示画面２３０を表示する。動画表示処理部３６は、動画データ中の時刻同期部３３で指定された時刻の動画データを動画表示画面２５０に表示する。動作再現部３７は、時刻同期部３３で指定された時刻のログデータを用いて、制御対象１０と同じ構成を有する仮想的な制御対象の動作を再現した動作再現模擬データを生成する。三次元データ表示処理部３９は、動作再現模擬データを三次元データとして表示した三次元データ表示画面２８０を表示する。これによって、制御対象１０の実際の動作の結果であるプログラム動作表示画面２００、波形表示画面２３０および動画表示画面２５０のうち少なくとも１つと同期した仮想的な制御対象の動作をログデータに基づいて再現した三次元データ表示画面２８０が、プログラム動作表示画面２００、波形表示画面２３０および動画表示画面２５０の少なくとも１つの画面とともに表示される。そして、これらの画面をユーザに提供することによって、ユーザによる制御対象１０の不具合状態の解析を支援することができる。

三次元データ表示処理部３９は、表示設定情報記憶部３８中の表示設定情報にしたがって、仮想的な制御対象を表示部３１に表示する視点の位置を変えられるようにした。これによって、制御対象１０を複数の撮像部７１で撮像することなく、仮想的な制御対象の動作を任意の方向から確認することができる。つまり、制御対象１０である生産設備、生産設備を構成する装置について、機器の状態および動作の全容を多面的に把握することができる環境をユーザに提供することができる。このため、撮像部７１を複数台設置することによるコストを増大させずに、ユーザによる不具合発生時の原因の特定が容易となり、早期復旧に繋がり、生産設備、装置および機器の稼働率を向上させることができる。

実施の形態２．
特許文献１では、音響情報およびラダー形式のシミュレーションしたプログラマブルコントローラの内部情報を出力するときに、ほぼ同期させることが開示されている。つまり、トラブルの解析に当たって再生される音響信号を、解析者が聞くことによって、トラブルの発生の有無を検知している。この方法では、解析に熟練していない解析者によっては、トラブルの発生に関係する音を聞き逃してしまうという問題があった。そこで、実施の形態２は、上記に鑑みてなされたものであって、解析者の熟練度に依らずに、音響データを用いて生産設備に生じる不具合の発生の検知を支援することができる不具合解析支援装置を得ることを目的とする。

実施の形態１では、プログラム動作表示データ、波形データ２３１および動画データの少なくとも１つと、ログデータに基づいて仮想的な制御対象の動作を再現させた動作再現模擬データを三次元的に表示した三次元データと、の時刻を同期させて表示する不具合解析支援装置３０が示された。実施の形態２では、プログラム動作表示データ、波形データ２３１および動画データの少なくとも１つと、制御対象１０が発する音を録音した音響データを分析した音響分析データと、の時刻を同期させて表示する不具合解析支援装置について説明する。

図１７は、実施の形態２による不具合解析支援システムの構成の一例を示すブロック図である。なお、実施の形態１と同一の構成要素には同一の符号を付して、その説明を省略する。実施の形態２による不具合解析支援システム１Ａは、制御対象１０と、制御装置２０Ａと、不具合解析支援装置３０Ａと、を備える。

制御装置２０Ａは、実施の形態１の構成に加えて、音響記録部２４をさらに備える。音響記録部２４、制御対象１０が発する音をマイクロフォン７２で録音したデータである音響データを記録する。音響データは、録音した時刻情報を含む。

不具合解析支援装置３０Ａは、実施の形態１から動作再現部３７、表示設定情報記憶部３８および三次元データ表示処理部３９を除去し、音響分析表示処理部４１をさらに備える。音響分析表示処理部４１は、制御対象１０が発する音を録音した音響データを取得し、音響データを分析した分析結果を表示部３１に表示する。具体的には、音響分析表示処理部４１は、制御装置２０の音響記録部２４から取得した音響データについて時間－周波数解析を行い、三次元グラフなどの音響分析結果を含む音響分析表示画面を生成し、音響分析表示画面を表示部３１に表示する。時間－周波数解析の一例はウェーブレット変換である。なお、図示は省略するが、音響分析表示画面は、三次元データ表示画面２８０と同様に、音響分析結果を表示する音響分析結果表示領域と、時刻操作領域と、を有する。時刻操作領域は、音響分析結果表示領域に表示される音響分析結果における時刻を指定する機能を有する。音響分析表示処理部４１による音響データについて時間－周波数解析を行い、この結果を表示させる技術は、公知の方法によって実現可能である。

時刻同期部３３は、ログデータ取得部３２からのログデータ、動画記録部２３からの動画データおよび音響記録部２４からの音響データの時刻を同期させて、プログラム動作表示処理部３４、波形表示処理部３５、動画表示処理部３６および音響分析表示処理部４１に渡す。これによって、実施の形態１と同様に、プログラム動作表示画面２００、波形表示画面２３０および動画表示画面２５０と、音響分析表示画面と、の間では、時刻が同期される。

なお、実施の形態１の場合と同様に、不具合解析支援装置３０Ａは、プログラム動作表示処理部３４、波形表示処理部３５および動画表示処理部３６のうち１つ以上を備えていればよい。また、実施の形態２による不具合解析支援方法は、実施の形態１で説明したものと同様であるので、その説明を省略する。

図１８は、実施の形態２による不具合解析支援システムの構成の他の例を示すブロック図である。なお、実施の形態１および図１７と同一の構成要素には同一の符号を付して、その説明を省略する。図１８に示される不具合解析支援システム１Ｂは、制御対象１０と、制御装置２０Ａと、不具合解析支援装置３０Ｂと、を備える。

不具合解析支援装置３０Ｂは、実施の形態１の不具合解析支援装置３０の構成に、図１７で説明した音響分析表示処理部４１をさらに備えたものである。このような構成によって、プログラム動作表示画面２００、波形表示画面２３０および動画表示画面２５０と、三次元データ表示画面２８０と、音響分析表示画面と、の間では、時刻が同期される。

なお、実施の形態１の場合と同様に、不具合解析支援装置３０Ｂは、プログラム動作表示処理部３４、波形表示処理部３５および動画表示処理部３６のうち１つ以上を備えていればよい。

実施の形態２では、制御対象１０から発せられる音を音響データとして制御装置２０Ａの音響記録部２４で記録する。そして、不具合解析支援装置３０Ａ，３０Ｂの音響分析表示処理部４１では、音響データを分析した分析結果を含む音響分析表示画面を表示する。また、音響分析表示処理部４１に入力される音響データと、プログラム動作表示処理部３４および波形表示処理部３５に入力されるログデータと、動画表示処理部３６に入力される動画データと、は、時刻同期部３３によって時刻が同期されている。このように、音響データが視覚化されるので、解析者の熟練度に依らずに、音響データを用いて生産設備に生じる不具合の発生の検知を支援することができる。つまり、制御対象１０の実際の動作の結果であるプログラム動作表示画面２００、波形表示画面２３０および動画表示画面２５０のうち少なくとも１つと同期した音響分析表示画面が、プログラム動作表示画面２００、波形表示画面２３０および動画表示画面２５０の少なくとも１つの画面とともに表示される。そして、これらの画面をユーザに提供することによって、ユーザによる制御対象１０の不具合状態の解析を支援することができる。

例えば、再生される音響データをユーザが聞いて判断するだけでは、不具合の解析に熟練していないユーザでは、不具合の音を聞き逃してしまう可能性がある。しかし、ユーザは、音響データを時間－周波数解析などの手法で分析した分析結果を含む音響分析表示画面を参照することで、解析結果中の特異な点を容易に抽出することができる。つまり、不具合の解析に熟練していないユーザでも、音響分析表示画面から不具合と思われる箇所を抽出することができる。

実施の形態３．
実施の形態１では、時刻取得部４０で指定時刻が取得された後に、仮想的な制御対象での動作を再現させる場合に、動作再現部３７は、ログデータに基づいて仮想的な制御対象に動作を再現させていた。しかし、ログデータのみでは、仮想的な制御対象に、実際の制御対象１０と同じ動作を再現させることはできなかった。これは、仮想的な制御対象における初期状態が定義されていないからである。例えば、実施の形態１で、図１３のように、ワーク１００が受け皿１１０の凹部１１１に嵌り込まないことによる不具合が発生した場合を例示した。この場合、動作再現部３７で仮想的な制御対象に動作を再現させるには、図１４の「１１：１１：１７」の時点での第２地点１２２の受け皿１１０に対するワーク１００の実際の位置を、仮想的な制御対象で定義しておかなければならない。もし、定義していない場合には、動作再現部３７は、ワーク１００は受け皿１１０の凹部１１１に正常に嵌り込んだものとして仮想的な制御対象の動作を再現してしまう。つまり、三次元データ表示画面２８０には「１１：１１：１７」の時点でワーク１００が受け皿１１０の凹部１１１に嵌り込んだ正常な状態で表示される。この結果、これを見たユーザが、センサ１４２がオンにならない原因にたどり着けない可能性がある。そこで、実施の形態３では、実際の制御対象１０と同様の動作となるように仮想的な制御対象の動作を再現することができる不具合解析支援システムについて説明する。

図１９は、実施の形態３による不具合解析支援システムの構成の一例を示すブロック図である。実施の形態３による不具合解析支援システム１Ｃは、制御対象１０と、制御装置２０と、不具合解析支援装置３０Ｃと、を備える。なお、実施の形態１と同一の構成要素には同一の符号を付して、その説明を省略する。また、実施の形態３では、動画表示処理部３６は、必須の構成要件であるとする。

不具合解析支援装置３０Ｃは、実施の形態１の構成に、初期状態生成部４２をさらに備える。初期状態生成部４２は、指定時刻における動画データの画像から、制御対象１０を構成する部材の状態を示す初期状態情報を生成する。具体的には、初期状態生成部４２は、時刻取得部４０から指定時刻を取得すると、指定時刻における動画データを参照して、制御対象１０を構成する初期状態情報を生成する。一例では、動画データから指定時刻におけるスクリーンショット画像を取得し、スクリーンショット画像から制御対象１０の稼働部およびワーク１００の位置および配置状態を取得し、初期状態情報を生成する。そして、初期状態生成部４２は、初期状態情報を動作再現部３７に渡す。初期状態生成部４２は、一例では、指定時刻におけるワーク１００の位置を特定し、再現したり、指定時刻におけるロボットハンド機構１３０の状態を特定し、再現したりする。画像から画像に含まれる対象物の配置関係を取得する技術は、公知の方法によって実現可能である。なお、ここでは、初期状態情報を生成する際に、指定時刻における動画データのスクリーンショット画像を用いたが、指定時刻における制御対象１０を構成する部材の状態を取得することができるデータであれば他のデータを用いてもよい。

動作再現部３７は、初期状態情報に基づいて指定時刻における仮想的な制御対象の部材の状態を設定し、初期状態情報が設定された仮想的な制御対象の動作をログデータに基づいて再現させた動作再現模擬データを生成する。具体的には、動作再現部３７は、指定時刻における仮想的な制御対象の動作を再現する際に、初期状態情報に基づいて仮想的な制御対象の稼働部および仮想的なワーク１００の位置および配置状態を設定する。そして、動作再現部３７は、設定した初期状態情報から仮想的な制御対象の動作をログデータに基づいて再現する。

つぎに、実施の形態３による不具合解析支援方法における指定時刻が指定された場合の三次元データの表示方法について説明する。図２０は、実施の形態３による指定時刻が指定された場合の不具合解析支援方法の手順の一例を示すフローチャートである。ここでは、実施の形態１の図７にしたがって、表示部３１にプログラム動作表示画面２００、波形表示画面２３０、動画表示画面２５０および三次元データ表示画面２８０が表示されている状態にあるとする。

まず、プログラム動作表示画面２００、波形表示画面２３０、動画表示画面２５０および三次元データ表示画面２８０のうちのいずれかの時刻指示部がユーザによって操作される。時刻指示部は、スライダ２２７，２７２，３０２またはカーソル２４３である。時刻取得部４０は、時刻指示部が操作されたことを検知して、指定時刻を読み取り（ステップＳ５１）、読み取った指定時刻を時刻同期部３３および初期状態生成部４２に渡す（ステップＳ５２）。

初期状態生成部４２は、時刻同期部３３を介して指定時刻における動画データを取得し（ステップＳ５３）、指定時刻における動画データから制御対象１０の稼働部およびワーク１００の位置および配置状態を取得し、指定時刻における制御対象１０の稼働部およびワーク１００の位置および配置状態を含む初期状態情報を生成する（ステップＳ５４）。そして、初期状態生成部４２は、初期状態情報を動作再現部３７に渡す（ステップＳ５５）。

時刻同期部３３は、受け取った指定時刻のログデータをプログラム動作表示処理部３４、波形表示処理部３５および動作再現部３７に渡し、受け取った指定時刻の動画データを動画表示処理部３６に渡す（ステップＳ５６）。

その後、プログラム動作表示処理部３４、波形表示処理部３５および動画表示処理部３６は、図８のステップＳ３４からＳ３９と同様の処理を行う（ステップＳ５７からＳ６２）。また、動作再現部３７は、指定時刻の初期状態情報が設定された仮想的な制御対象に、指定時刻のログデータに基づいて動作を再現させた動作再現模擬データを生成する（ステップＳ６３）。その後は、図８のステップＳ４１からＳ４３と同様の処理を行う（ステップＳ６４からＳ６６）。

また、ステップＳ５８，Ｓ６０，Ｓ６２およびＳ６６の後は、図８のステップＳ４４と同様の処理を実行し（ステップＳ６７）、処理がステップＳ５７，Ｓ５９，Ｓ６１およびＳ６３に戻る。つまり、指定時刻のつぎの時刻におけるプログラム動作表示画面２００、波形表示画面２３０、動画表示画面２５０および三次元データ表示画面２８０が同様の手順によって表示部３１に表示される。

実施の形態３では、初期状態生成部４２が、指定時刻における制御対象１０の稼働部およびワーク１００の位置および配置状態を取得し、この稼働部およびワーク１００の位置および配置状態を含む初期状態情報を生成する。動作再現部３７は、初期状態情報と、指定時刻におけるログデータと、に基づいて、仮想的な制御対象の動作を再現する。これによって、指定時刻における仮想的な制御対象における稼働部およびワーク１００の位置および配置状態は、実際の制御対象１０のワーク１００の位置および配置状態と同様となり、この状態からログデータに基づいた動作の再現が行われることになる。つまり、三次元データ表示処理部３９では、実際の制御対象１０の動作と同じ動作を再現することが可能になる。また、時刻指示部で指定時刻を変えることによって、指定時刻によって初期状態が変わる。ユーザが指定時刻を試行錯誤で変更することによって、プログラム動作表示画面２００および波形表示画面２３０で不具合が発生している状態を表示することができる。この場合に、三次元データ表示画面２８０には、不具合の発生が表示されることになり、不具合の原因をユーザに提供することができる。

なお、実際の制御対象１０の動作を記録した動画データと、動作再現部３７で仮想的な制御対象の動作を再現した動作再現模擬データを三次元的に表示した三次元データと、を同期させて表示する場合には、動画データおよび三次元データをともにリセットして、例えば動画データの最初の時刻に戻す方法が知られている。この方法で、動作再現部３７でログデータを最初の時刻ではない指定時刻から再現するためには、動画データの最初の時刻から指定時刻まで再生を行う必要があり、非効率であった。つまり、指定時刻の三次元データを見るために、動画データの最初の時刻から指定時刻までのシミュレーションに要する時間だけ待たなければならなかった。また、このようにして再現される仮想的な制御対象の動作を表す三次元データと、実際の制御対象１０の動作を表す動画データと、の間では、動作がずれてしまう場合がある。これは、シミュレーションを開始する時刻で、三次元データの状態を動画データに合わせたとしても、指定時刻における状態が三次元データと動画データとの間で異なっている可能性があるためである。

一方、実施の形態３では、動作再現の開始時刻、すなわち指定時刻における仮想的な制御対象の初期状態を、指定時刻における動画データの画像から忠実に再現したので、動作再現部３７でのログデータを用いた仮想的な制御対象の過去の動作状態を忠実に再現することができる。また、このようにして再現される仮想的な制御対象の動作は、動画表示処理部３６で表示される実際の制御対象１０の動作と同様のものとなる。さらに、指定時刻から仮想的な制御対象の動作の再現を行うので、動画データの最初の時刻から指定時刻までをシミュレーションする必要がなく、ユーザに待たせることなく指定時刻における仮想的な制御対象の動作を提供することができる。

また、上記した説明では、実施の形態１の構成に初期状態生成部４２を設ける場合を説明したが、実施の形態２の図１８の構成に初期状態生成部４２を設けてもよい。この場合にも、上記した効果と同様の効果を得ることができる。

実施の形態４．
実施の形態１の構成では、いつ不具合が発生するかわからないため、制御装置２０，２０Ａのログ記録部２２および動画記録部２３ではできる限り長い期間におけるログデータおよび動画データを記録できるようにすることが望ましい。このため、ログ記録部２２および動画記録部２３の記録容量を大きくしなければならず、不具合解析支援システム１，１Ａ，１Ｂ，１Ｃの製造コストが高くなってしまうという問題点があった。実施の形態４では、ログ記録部２２および動画記録部２３の記録容量を削減することができる不具合解析支援システムについて説明する。

図２１は、実施の形態４による不具合解析支援システムの構成の一例を示すブロック図である。実施の形態４による不具合解析支援システム１Ｄは、制御対象１０と、制御装置２０Ｄと、不具合解析支援装置３０と、を備える。なお、実施の形態１と同一の構成要素には同一の符号を付して、その説明を省略する。

制御装置２０Ｄは、実施の形態１の構成に加えて不具合検知部２５をさらに備える。不具合検知部２５は、機器制御部２１で制御プログラムを実行した際に発生する不具合を検知する。具体的には、不具合検知部２５は、制御対象１０の状態を継続的に観察し、制御対象１０での不具合の発生を検知する。不具合検知部２５は、不具合の発生を検知すると、不具合が発生したことを示す信号である検知情報をログ記録部２２に通知する。検知情報は、一例では、不具合の発生を検知した時刻を含む。制御プログラムに設定される想定可能な不具合の発生時にオンするアナンシエータは、不具合検知部２５の一例である。不具合の一例は、ロボットハンド機構１３０などの稼働部が途中で止まってしまう場合である。この場合には、図２の設備のロボットハンド機構１３０における軸角度が、予め定められた期間、一例では３秒間、同じである場合に、アナンシエータを立てることによって、不具合が検知される。

また、実施の形態４では、制御装置２０Ｄのログ記録部２２の構成が実施の形態１とは異なる。ログ記録部２２は、第１記録部２２１と、ログ記録処理部２２２と、ログ保存処理部２２３と、第２記録部２２４と、を有する。

第１記録部２２１は、予め定められた第１期間のログデータを記録可能な容量を有する。第１期間は、一例では１０分とすることができる。

ログ記録処理部２２２は、一例では、リングバッファとして第１記録部２２１を使用し、ログデータを第１記録部２２１に記録する。具体的には、ログ記録処理部２２２は、機器制御部２１が制御対象１０との間でやり取りする入力データおよび出力データを含む入出力データと、制御対象１０の稼働部の状態を示す状態データと、を時系列でログデータとして第１記録部２２１に記録する。例えば、ログ記録処理部２２２は、第１記録部２２１にはログデータを記録するが、記録開始から１０分で第１記録部２２１の容量がいっぱいになってしまう。このとき、ログ記録処理部２２２は、１０分を経過した後のログデータについては、０分のログデータから順に上書きして、第１記録部２２１に記録する。これによって、過去のログデータは上書きされてしまい、１０分よりも前のログデータは存在しないことになる。そして、第１記録部２２１の記録可能な容量にすべてログデータが記録される毎に、同様に上書き処理がなされる。

ログ保存処理部２２３は、不具合検知部２５で不具合が検知された時刻を含み、第１期間よりも短い第２期間の第１記録部２２１内のログデータを第２記録部２２４に保存する。一例では、第２期間は、不具合の発生の時刻の前後予め定められた時間を含み、第１期間よりも短く設定される。例えば、不具合の発生の時刻の前２分と後２分とを含む４分間を第２期間とすることができる。この場合、ログ保存処理部２２３は、不具合検知部２５から不具合の発生の検知を受けると、不具合の発生の時刻から２分経過した後に、不具合の発生の時刻の前後２分を含む４分間のログデータを第１記録部２２１から取得し、第２記録部２２４に保存する処理を行う。つまり、不具合の発生が検知された時刻を含む第２期間のログデータは、ファイルとして第２記録部２２４に保存される。

第２記録部２２４は、不具合の発生が検知された時刻を含む第２期間のログデータのファイルを保存する。第２記録部２２４は、不揮発性の記録部である。第２記録部２２４は、１つ以上のログデータのファイルを保存することができる容量を有していればよい。

実施の形態４の不具合解析支援システム１Ｄにおける不具合解析支援方法は、実施の形態１で説明したものと同様であるので、その説明を省略する。ただし、不具合解析支援装置３０のログデータ取得部３２は、ログデータ確認の指示等が入力されると、制御装置２０Ｄのログ記録部２２の第２記録部２２４に保存されたログデータを読み出す。

ここで、ログ記録部２２でのログデータの記録方法について説明する。図２２は、実施の形態４による不具合解析支援システムの制御装置でのログデータの保存方法の手順の一例を示すフローチャートである。

まず、ログ記録部２２のログ記録処理部２２２は、制御対象１０の入出力データおよび状態データを時刻とともに記録したログデータを第１記録部２２１に記録する（ステップＳ７１）。ついで、ログ記録処理部２２２は、不具合の発生を検知したことを示す検知情報を取得したかを判定する（ステップＳ７２）。検知情報を取得していない場合（ステップＳ７２でＮｏの場合）には、ステップＳ７１に処理が戻り、第１記録部２２１にログデータを記録する。

検知情報を取得した場合（ステップＳ７２でＹｅｓの場合）には、ログ記録処理部２２２は、検知情報に含まれる不具合が発生した時刻を取得し（ステップＳ７３）、不具合が発生した時刻から予め定められた期間さらにログデータを第１記録部２２１に記録する（ステップＳ７４）。

その後、ログ保存処理部２２３は、不具合が発生した時刻から予め定められた期間が経過したかを判定する（ステップＳ７５）。不具合が発生した時刻から予め定められた期間が経過していない場合（ステップＳ７５でＮｏの場合）には、処理がステップＳ７４に戻る。一方、不具合が発生した時刻から予め定められた期間が経過した場合（ステップＳ７５でＹｅｓの場合）には、ログ保存処理部２２３は、不具合が発生した時刻を含む予め定められた第２期間のログデータを、第１記録部２２１から取得し、ファイルとして第２記録部２２４に保存する（ステップＳ７６）。その後、処理がステップＳ７１に戻る。

なお、動画記録部２３または実施の形態２における音響記録部２４も、実施の形態４で説明したログ記録部２２と同様の構成を有していてもよい。

実施の形態４では、ログ記録部２２は、第１期間のログデータを記録することができる容量を有する第１記録部２２１と、第１期間よりも短い第２期間のログデータをファイルとして保存することができる第２記録部２２４と、を有する。ログ記録部２２は、不具合検知部２５で不具合の発生が検知されると、不具合が発生した時刻を含む予め定められた期間のログデータを第１記録部２２１から第２記録部２２４に保存するログ保存処理部２２３を有する。このような構成によって、ログ記録部２２の記録容量を実施の形態１から３の場合に比して小さくすることができる。また、ユーザは、不具合が発生した時刻を含む期間のログデータを第２記録部２２４から取得して、不具合解析を実行すればよいので、不具合の発生場所を膨大なデータの中から探す手間を抑制することができる。

実施の形態５．
実施の形態１から４では、不具合の原因が制御対象１０にあると仮定していた。しかし、制御対象１０が生産設備である場合、生産設備の稼働時には、作業者などの人が関与する工程があり、またＡＧＶ（Automatic Guided Vehicle）、フォークリフト等の無人搬送車または無人搬送ロボットなどの無人搬送物が関与する工程もある。このため、人または無人搬送物が生産設備に接触することによって、制御対象１０に不具合が発生することもある。そこで、実施の形態５では、人または無人搬送物を含めて不具合の原因の解析を行うことができる不具合解析支援システムについて説明する。

図２３は、実施の形態５による不具合解析支援システムの構成の一例を示すブロック図である。実施の形態５による不具合解析支援システム１Ｅは、制御対象１０と、制御装置２０と、不具合解析支援装置３０Ｅと、制御対象１０と同じエリアに存在する人６１および無人搬送物６２が保持する動作情報記録装置６０と、を備える。人６１および無人搬送物６２のいずれか一方が制御対象１０と同じエリアに存在すればよいが、以下では、人６１および無人搬送物６２の両方が制御対象１０と同じエリアに存在する場合を例に挙げて説明する。なお、実施の形態１と同一の構成要素には同一の符号を付して、その説明を省略する。

動作情報記録装置６０は、動作情報記録装置６０を保持する人６１および無人搬送物６２の動作を時間とともに記録した動作情報を記録する装置である。一例では、動作情報は、人６１および無人搬送物６２の動作を予め定められた時間間隔で記録した情報である。動作情報は、人６１および無人搬送物６２の位置および状態の少なくとも一方を含む。ここでは、動作情報は、位置を時間とともに記録した情報である場合を例に挙げる。位置は、公知の技術を用いて取得することができる。例えば、複数のＧＰＳ（Global Positioning System）衛星からの電波を受信して位置を測定する技術、角速度センサおよび加速度センサを用いた歩行者自律航法（Pedestrian Dead Reckoning）によって、地図上での移動軌跡を推定する技術などが用いられる。後者の場合、制御対象１０が設けられるエリアの例えば入口に、位置が既知となるビーコン信号を送信する信号送信装置を設けておき、入口の位置を基準にして移動軌跡を推定することで、制御対象１０が設けられるエリア内での人６１および無人搬送物６２の位置を推定することができる。

不具合解析支援装置３０Ｅは、実施の形態１の構成に、動作情報取得部４３をさらに備える。動作情報取得部４３は、ユーザによってログデータの取得の指示があった場合に、人６１および無人搬送物６２の動作情報記録装置６０から動作情報を取得する。上記したように、ここでの動作情報は、人６１および無人搬送物６２の位置を時系列に記録した情報である。

実施の形態５では、不具合解析支援装置３０Ｅの動作再現部３７は、仮想的な制御対象の動作をログデータに基づいて再現するだけでなく、動作情報に基づいて、人６１に対応する仮想的な人および無人搬送物６２に対応する仮想的な無人搬送物の軌跡を再現した動作再現模擬データを生成する。動作再現模擬データは、仮想的な制御対象の位置と、仮想的な人および仮想的な無人搬送物の位置と、の関係が、実際の制御対象１０の位置と、人６１および無人搬送物６２の位置と、の関係と同じとなるようにシミュレーションしたものである。

三次元データ表示処理部３９は、仮想的な制御対象だけでなく、仮想的な人および仮想的な無人搬送物の動作を再現した三次元データを表示部３１に表示する。一例では、仮想的な制御対象の近くを仮想的な人または仮想的な無人搬送物が通過する場合には、仮想的な制御対象とともに、仮想的な人または仮想的な無人搬送物を三次元的に表示する。

実施の形態５の不具合解析支援システム１Ｅにおける不具合解析支援方法は、上記したように、動作再現部３７が、ログデータに基づいて仮想的な制御対象の動作の再現を行うとともに、動作情報に基づいて仮想的な人および仮想的な無人搬送物の動作の再現を行う点を除いて、実施の形態１で説明したものと同様であるので、その説明を省略する。また、上記した説明では、実施の形態１の構成に実施の形態５を適用した場合を説明したが、実施の形態２から４の構成に実施の形態５を適用してもよい。

実施の形態５では、制御対象１０と同じエリアに存在する人６１または無人搬送物６２に動作情報記録装置６０を設け、動作情報記録装置６０によって、人６１または無人搬送物６２の動作情報が記録される。不具合解析を行う場合に、不具合解析支援装置３０Ｅの動作情報取得部４３が動作情報記録装置６０から動作情報を取得する。動作再現部３７は、ログデータを用いて、仮想的な制御対象の動作を再現するとともに、動作情報を用いて人６１または無人搬送物６２の動作も再現した動作再現模擬データを生成する。三次元データ表示処理部３９は、動作再現模擬データを三次元的に表示する。これによって、三次元データ表示画面２８０を確認することで、不具合の原因が、人６１または無人搬送物６２が制御対象１０に接触したことによるものであるのか否かを確認することができるようになる。つまり、制御対象１０の不具合の原因が外部によるものである場合についても、不具合解析支援装置３０Ｅで対応することができる。

実施の形態６．
実施の形態１から５では、制御対象１０を取り巻く温度、湿度等の環境については考慮されていなかった。実施の形態６では、制御対象１０を取り巻く環境を考慮して制御対象１０の動作を再現する不具合解析支援システムについて説明する。

実施の形態６による不具合解析支援システム１の構成は、実施の形態１の図１で示したものと同様の構成を有する。ただし、ログ記録部２２は、ログデータとして、制御対象１０が配置されるエリアの環境を計測する環境データ計測部から取得した環境データも記録する。制御対象１０が配置されるエリアの環境の一例として、温度、湿度等が挙げられる。この場合、環境データ計測部は、温度計測部、湿度計測部となる。環境データ計測部は、制御対象１０が配置されるエリアを代表する環境データを計測するものであってもよいし、制御対象１０の任意の部分の環境データを計測するものであってもよい。後者の場合には、環境データ計測部は、計測する部分に設けられることになる。

また、不具合解析支援装置３０の動作再現部３７は、ログデータに基づく仮想的な制御対象の動作の再現だけでなく、温度計測部で計測された温度情報と、制御対象１０を構成する部品の材質を含む情報と、を用いて、仮想的な制御対象の形の変化をシミュレーションした動作再現模擬データを生成する。つまり、動作再現部３７は、温度情報を用いて、制御対象１０を構成する各部材の膨張についてもシミュレーションする。これによって、温度変化によって伸縮する素材で構成される部材の状態も再現することが可能となる。

三次元データ表示処理部３９は、動作再現模擬データを三次元データとして表示する際に、三次元データを構成するオブジェクトの状態を、取得した環境データのレベルに応じて変化させる。一例では、オブジェクトの状態の変化の例として、環境データの値によって色を変化させる方法がある。環境データが温度である場合には、三次元データ表示処理部３９は、サーモグラフィのようにオブジェクトの色を変えて表示する。この場合、三次元データ表示処理部３９は、環境データの値と表示する色とを対応付けた設定情報を予め保持しておくことで、オブジェクトの色を変えて表示することができる。

なお、上記した説明では、温度または湿度を環境データとして測定する場合を例に挙げたが、このほかに、気圧、粉塵密度等を環境データとして測定してもよい。さらに、実施の形態５の場合には、制御対象１０と同じエリアに存在する人６１である作業者の体温、無人搬送物６２の温度等を加えてもよい。この場合には、動作情報記録装置６０が、人６１の体温または無人搬送物６２の温度を計測し、この結果を動作情報に含めて記録することができる。

実施の形態６の不具合解析支援システム１における不具合解析支援方法は、実施の形態１で説明したものと同様であるので、その説明を省略する。また、上記した説明では、実施の形態１の構成に実施の形態６を適用した場合を説明したが、実施の形態２から５の構成に実施の形態６を適用してもよい。

実施の形態６では、制御装置２０のログ記録部２２は、制御対象１０が配置されるエリアの環境データを含めてログデータを記録する。不具合解析支援装置３０の動作再現部３７は、仮想的な制御対象の動作をログデータを用いて再現する際に、環境データを用いて仮想的な制御対象を構成する部材の変化を含む物理的なシミュレーションを行う。これによって、例えば、工場内の温度上昇によって受け皿１１０が膨張してワーク１００の位置がずれたときなども、三次元データで表現することができる。この結果、不具合が制御対象１０を取り巻く環境に起因する場合に、不具合の原因の発見が従来に比して容易になる。また、装置または工場全体である制御対象１０の状態が実環境により近づくため、不具合の原因を特定する不具合解析の処理の精度をより向上させることができる。

なお、上記した実施の形態１から６の構成では、動画データは動画記録部２３から、音響データは音響記録部２４から、不具合解析支援装置３０に渡される構成となっていた。しかし、動画データおよび音響データが、ログデータと同様にログデータ取得部３２によって取得されてもよい。つまり、ログデータ取得部３２は、ログ記録部２２からログデータを取得するとともに、動画記録部２３から動画データを取得し、音響記録部２４から音響データを取得してもよい。そして、時刻同期部３３で、ログデータ、動画データおよび音響データのうち不具合解析に使用されるデータについて同期させるようにすればよい。

ここで、不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅのハードウェア構成について説明する。実施の形態１から６による不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅは、パーソナルコンピュータまたは汎用コンピュータといったコンピュータシステムにより実現される。

図２４は、実施の形態１から６にかかる不具合解析支援装置の機能をコンピュータシステムで実現する場合のハードウェア構成の一例を示す図である。不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅの機能をコンピュータシステムで実現する場合、不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅの機能は、図２４に示されるように、プロセッサ３５１と、メモリ３５２と、記憶装置３５３と、入力装置３５４と、表示装置３５５と、通信装置３５６と、を備える。プロセッサ３５１は、演算処理を行う。メモリ３５２は、プロセッサ３５１によってワークエリアに用いる領域を提供する。記憶装置３５３は、不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅとして動作するためのプログラムを記憶する。入力装置３５４は、ユーザとの間の入力インタフェースである。表示装置３５５は、ユーザに情報を表示する。通信装置３５６は、制御装置２０，２０Ａ，２０Ｄまたは他の各種装置との通信機能を有する。プロセッサ３５１、メモリ３５２、記憶装置３５３、入力装置３５４、表示装置３５５および通信装置３５６はデータバス３５７で接続されている。

ここで、プロセッサ３５１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＣＰＵ（Central Processing Unit）、またはＤＳＰ（Digital Signal Processor）などであってもよい。また、メモリ３５２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、またはＥＥＰＲＯＭ（登録商標）（Electrically EPROM）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Digital Versatile Disc）などが該当する。

ログデータ取得部３２、時刻同期部３３、プログラム動作表示処理部３４、波形表示処理部３５、動画表示処理部３６、動作再現部３７、三次元データ表示処理部３９、時刻取得部４０、音響分析表示処理部４１、初期状態生成部４２および動作情報取得部４３は、例えば、図２４に示されるメモリ３５２に記憶されたプログラムをプロセッサ３５１が実行することにより、それぞれ、ログデータ取得手段、時刻同期手段、プログラム動作表示手段、波形表示手段、動画表示手段、動作再現手段、三次元データ表示手段、時刻取得手段、音響分析表示手段、初期状態生成手段および動作情報取得手段として実現される。このプログラムが、不具合解析支援プログラムとなる。また、複数のプロセッサ３５１および複数のメモリ３５２が連携して上記機能を実現してもよい。また、ログデータ取得部３２、時刻同期部３３、プログラム動作表示処理部３４、波形表示処理部３５、動画表示処理部３６、動作再現部３７、三次元データ表示処理部３９、時刻取得部４０、音響分析表示処理部４１、初期状態生成部４２および動作情報取得部４３の機能のうちの一部を電子回路として実装し、他の部分をプロセッサ３５１およびメモリ３５２を用いて実現するようにしてもよい。さらに、例えば、図２４に示されるメモリ３５２に記憶されたプログラムをプロセッサ３５１が実行することによって、実現される動作再現手段および三次元データ表示手段は、三次元データ表示プログラムとなる。

不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅが実行する不具合解析支援方法の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述されて記憶装置３５３に格納される。プロセッサ３５１は、記憶装置３５３に記憶されたソフトウェアまたはファームウェアをメモリ３５２に読み出して実行することにより、ログデータ取得部３２、時刻同期部３３、プログラム動作表示処理部３４、波形表示処理部３５、動画表示処理部３６、動作再現部３７、三次元データ表示処理部３９、時刻取得部４０、音響分析表示処理部４１、初期状態生成部４２および動作情報取得部４３の各種の機能を実現する。すなわち、コンピュータシステムは、ログデータ取得部３２、時刻同期部３３、プログラム動作表示処理部３４、波形表示処理部３５、動画表示処理部３６、動作再現部３７、三次元データ表示処理部３９、時刻取得部４０、音響分析表示処理部４１、初期状態生成部４２および動作情報取得部４３の各種の機能がプロセッサ３５１により実行されるときに、実施の形態１から６による不具合解析支援方法を実施するステップが結果的に実行されることになる不具合解析支援プログラムを格納するための記憶装置３５３を備える。

また、不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅが実行する不具合解析支援方法の機能を実現する不具合解析支援プログラムおよび不具合解析支援プログラムの一部を含む三次元データ表示プログラムを含むプログラムは、通信媒体を介して提供することも可能であるし、プログラムを記録した記憶媒体の形式で提供されてもよい。不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅが実行する不具合解析支援方法の機能を実現するプログラムを記録した記憶媒体および三次元データ表示プログラムを記録した記憶媒体は、コンピュータで実行可能なプログラムを記憶したコンピュータ可読記憶媒体である。

また、これらのプログラムは、ログデータ取得部３２、時刻同期部３３、プログラム動作表示処理部３４、波形表示処理部３５、動画表示処理部３６、動作再現部３７、三次元データ表示処理部３９、時刻取得部４０、音響分析表示処理部４１、初期状態生成部４２および動作情報取得部４３の各種の機能が実現する処理をコンピュータに実行させるものであるともいえる。

表示装置３５５の具体例は、モニタ、ディスプレイである。入力装置３５４の具体例は、キーボード、マウス、タッチパネルである。

上述したように、実施の形態１から６による不具合解析支援装置３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅによれば、生産設備などの制御対象１０に生じる不具合の箇所の状態を、従来に比してコストを増大させずに任意の方向から確認することが可能である。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ 不具合解析支援システム、１０ 制御対象、２０，２０Ａ，２０Ｄ 制御装置、２１ 機器制御部、２２ ログ記録部、２３ 動画記録部、２４ 音響記録部、２５ 不具合検知部、３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｅ 不具合解析支援装置、３１ 表示部、３２ ログデータ取得部、３３ 時刻同期部、３４ プログラム動作表示処理部、３５ 波形表示処理部、３６ 動画表示処理部、３７ 動作再現部、３８ 表示設定情報記憶部、３９ 三次元データ表示処理部、４０ 時刻取得部、４１ 音響分析表示処理部、４２ 初期状態生成部、４３ 動作情報取得部、６０ 動作情報記録装置、６１ 人、６２ 無人搬送物、７１ 撮像部、７２ マイクロフォン、１００ ワーク、１０１ 支持台、１１０ 受け皿、１１１ 凹部、１２０ 搬送機構、１２１ 第１地点、１２２ 第２地点、１２３ ガイドレール、１３０ ロボットハンド機構、１３１ 軸、１３２ 本体部、１３３ ロボットハンド、１４１，１４２ センサ、１４１Ａ，１４２Ａ 発光素子、１４１Ｂ，１４２Ｂ 受光素子、１５０ 検査部、２００ プログラム動作表示画面、２１０ プログラム動作表示領域、２１１，２４１ 水平スクロールバー、２１２，２４２ 垂直スクロールバー、２２０，２７０，３００ 時刻操作領域、２２１ 第１記録部、２２２ ログ記録処理部、２２３ ログ保存処理部、２２４ 第２記録部、２２６ 再生操作ボタン、２２７，２７２，３０２ スライダ、２２８，２７３，３０３ 時刻表示部、２３０ 波形表示画面、２３１，２３１ａ，２３１ｂ，２３１ｃ，２３２ａ，２３２ｂ，２３２ｃ 波形データ、２４０ 波形表示領域、２４３ カーソル、２５０ 動画表示画面、２６０ 動画表示領域、２７１，３０１ 操作ボタン、２８０ 三次元データ表示画面、２９０ 三次元データ表示領域、３５１ プロセッサ、３５２ メモリ、３５３ 記憶装置、３５４ 入力装置、３５５ 表示装置、３５６ 通信装置、３５７ データバス。

Claims (10)

1. 稼働部を有する制御対象の不具合の解析を支援する不具合解析支援プログラムであって、
   コンピュータに、
   前記稼働部の状態と、前記制御対象と前記制御対象を制御する制御装置との間の制御信号の入出力データと、を時系列で記録したログデータを取得するログデータ取得ステップと、
   前記制御対象に対応する仮想的な制御対象に、前記ログデータに基づいて動作を再現させた動作再現模擬データを生成する動作再現ステップと、
   前記動作再現模擬データを三次元データとして表示部に表示する三次元データ表示ステップと、
   前記ログデータから、前記制御装置で実行される制御プログラムの実行状況を前記表示部に表示するプログラム動作表示ステップ、前記ログデータから前記稼働部の状態および前記制御信号の入出力データを時間に対する波形で前記表示部に表示する波形表示ステップ、および前記制御対象の状態を撮像した動画データを前記表示部に表示する動画表示ステップのうち少なくとも１つの表示ステップである処理ステップと、
   前記動作再現ステップで再現され、前記三次元データ表示ステップによって表示される前記三次元データと、前記処理ステップによって表示されるデータと、の間で時刻を同期させる時刻同期ステップと、
   を実行させ、
   前記三次元データ表示ステップでは、前記仮想的な制御対象を前記三次元データとして前記表示部に表示するときの視点の位置を示す表示設定情報に基づいて、前記視点の位置を変えた前記三次元データを前記表示部に表示させることを特徴とする不具合解析支援プログラム。
2. 前記コンピュータに、
   前記三次元データ表示ステップで表示される前記三次元データの時刻または前記処理ステップで表示されるデータの時刻が指定された場合に、指定された時刻を指定時刻として取得する時刻取得ステップをさらに実行させ、
   前記時刻同期ステップでは、前記動作再現ステップで使用される前記ログデータと、前記処理ステップで使用される前記ログデータまたは前記動画データと、を、前記時刻取得ステップで取得した前記指定時刻に対応するデータとすることを特徴とする請求項１に記載の不具合解析支援プログラム。
3. 前記コンピュータに、
   前記制御対象が発する音を録音した音響データを取得し、前記音響データを分析した分析結果を前記表示部に表示する音響分析表示ステップをさらに実行させ、
   前記時刻同期ステップでは、前記動作再現ステップで使用され、前記三次元データ表示ステップで表示される前記三次元データと、前記処理ステップで表示されるデータと、前記音響分析表示ステップで表示される前記分析結果と、の間で時刻を同期させることを特徴とする請求項１または２に記載の不具合解析支援プログラム。
4. 稼働部を有する制御対象の不具合の解析を支援する不具合解析支援プログラムであって、
   コンピュータに、
   前記稼働部の状態と、前記制御対象と前記制御対象を制御する制御装置との間の制御信号の入出力データと、を時系列で記録したログデータを取得するログデータ取得ステップと、
   前記制御対象の状態を撮像した動画データを表示部に表示する動画表示ステップと、
   前記制御対象に対応する仮想的な制御対象に、前記ログデータに基づいて動作を再現させた動作再現模擬データを生成する動作再現ステップと、
   前記動作再現模擬データを三次元データとして前記表示部に表示する三次元データ表示ステップと、
   前記動作再現ステップで再現され、前記三次元データ表示ステップによって表示される前記三次元データと、前記動画表示ステップによって表示される前記動画データと、の間で時刻を同期させる時刻同期ステップと、
   前記三次元データ表示ステップで表示される三次元データの時刻または前記動画表示ステップによって表示される前記動画データの時刻が指定された場合に、指定された時刻を指定時刻として取得し、時刻同期ステップに渡す時刻取得ステップと、
   前記指定時刻における前記制御対象を構成する部材の状態を示すデータから、前記制御対象を構成する前記部材の位置および配置状態を含む初期状態情報を生成する初期状態生成ステップと、
   を実行させ、
   前記動作再現ステップでは、前記初期状態情報に基づいて前記指定時刻における前記仮想的な制御対象の前記部材の状態を設定し、前記初期状態情報が設定された前記仮想的な制御対象の動作を前記ログデータに基づいて再現させた前記動作再現模擬データを生成し、
   前記三次元データ表示ステップでは、前記仮想的な制御対象を前記三次元データとして前記表示部に表示するときの視点の位置を示す表示設定情報に基づいて、前記視点の位置を変えた前記三次元データを前記表示部に表示させることを特徴とする不具合解析支援プログラム。
5. 前記コンピュータに、
   前記制御対象と同じエリアに存在する人または無人搬送物の動作を時間とともに記録した動作情報を取得する動作情報取得ステップをさらに実行させ、
   前記動作再現ステップでは、前記ログデータおよび前記動作情報に基づいて、前記仮想的な制御対象と、前記人に対応する仮想的な人または前記無人搬送物に対応する仮想的な無人搬送物と、の動作を再現させた前記動作再現模擬データを生成し、
   前記三次元データ表示ステップでは、前記仮想的な制御対象と、前記仮想的な人または前記仮想的な無人搬送物と、を含む前記三次元データを前記表示部に表示させることを特徴とする請求項１から４のいずれか１つに記載の不具合解析支援プログラム。
6. 前記ログデータは、前記制御対象が配置される環境に関する環境データをさらに含み、
   前記動作再現ステップでは、前記ログデータに基づいて前記仮想的な制御対象の動作を再現させるとともに、前記環境データに基づいて前記制御対象を構成する部材の変形を模擬した前記動作再現模擬データを生成することを特徴とする請求項１から５のいずれか１つに記載の不具合解析支援プログラム。
7. 前記三次元データ表示ステップでは、前記環境データの値に応じて、前記三次元データ中のオブジェクトの状態を変化させることを特徴とする請求項６に記載の不具合解析支援プログラム。
8. 稼働部を有する制御対象の不具合の解析を支援する不具合解析支援装置であって、
   前記稼働部の状態と、前記制御対象と前記制御対象を制御する制御装置との間の制御信号の入出力データと、を時系列で記録したログデータを取得するログデータ取得部と、
   前記制御対象に対応する仮想的な制御対象に、前記ログデータに基づいて動作を再現させた動作再現模擬データを生成する動作再現部と、
   前記動作再現模擬データを三次元データとして表示部に表示する三次元データ表示処理部と、
   前記ログデータから、前記制御装置で実行される制御プログラムの実行状況を前記表示部に表示するプログラム動作表示処理部、前記ログデータから前記稼働部の状態および前記制御信号の入出力データを時間に対する波形で前記表示部に表示する波形表示処理部、および前記制御対象の状態を撮像した動画データを前記表示部に表示する動画表示処理部のうち少なくとも１つの表示処理部である処理部と、
   前記動作再現部で再現され、前記三次元データ表示処理部で表示される前記三次元データと、前記処理部によって表示されるデータと、の間で時刻を同期させる時刻同期部と、
   を備えることを特徴とする不具合解析支援装置。
9. ログデータ取得部と、動作再現部と、三次元データ表示処理部と、表示処理部と、時刻同期部と、を備える不具合解析支援装置で、稼働部を有する制御対象の不具合の解析を支援する不具合解析支援方法であって、
   前記ログデータ取得部が、前記稼働部の状態と、前記制御対象と前記制御対象を制御する制御装置との間の制御信号の入出力データと、を時系列で記録したログデータを取得するログデータ取得工程と、
   前記動作再現部が、前記制御対象に対応する仮想的な制御対象に、前記ログデータに基づいて動作を再現させた動作再現模擬データを生成する動作再現工程と、
   前記三次元データ表示処理部が、前記動作再現模擬データを三次元データとして表示部に表示する三次元データ表示工程と、
   前記表示処理部が、前記ログデータから前記制御装置で実行される制御プログラムの実行状況を前記表示部に表示するプログラム動作表示工程、前記表示処理部が、前記ログデータから前記稼働部の状態および前記制御信号の入出力データを時間に対する波形で前記表示部に表示する波形表示工程、および前記表示処理部が、前記制御対象の状態を撮像した動画データを前記表示部に表示する動画表示工程のうち少なくとも１つの表示処理工程である処理工程と、
   前記時刻同期部が、前記動作再現工程で再現され、前記三次元データ表示工程で表示される前記三次元データと、前記処理工程によって表示されるデータと、の間で時刻を同期させる時刻同期工程と、
   を含むことを特徴とする不具合解析支援方法。
10. コンピュータに、
    稼働部を有する制御対象に対応する仮想的な制御対象に、前記稼働部の状態と、前記制御対象と前記制御対象を制御する制御装置との間の制御信号の入出力データと、を時系列で記録したログデータに基づいて動作を再現させた動作再現模擬データを生成する動作再現ステップと、
    前記動作再現模擬データを三次元データとして表示部に表示する三次元データ表示ステップと、
    を実行させ、
    前記動作再現ステップで再現され、前記三次元データ表示ステップによって表示される前記三次元データは、前記ログデータから前記制御装置で実行される制御プログラムの実行状況を前記表示部に表示するプログラム動作表示画面、前記ログデータから前記稼働部の状態および前記制御信号の入出力データを時間に対する波形で前記表示部に表示する波形表示画面、および前記制御対象の状態を撮像した動画データを前記表示部に表示する動画表示画面のうち少なくとも１つの表示画面との間で時刻が同期されていることを特徴とする三次元データ表示プログラム。

Images