JP2023049535A - 制御システム - Google Patents

Abstract

【課題】制御対象の状態をより容易に判断するためのサポート情報を提供する。【解決手段】制御システムは、対象を撮像した画像を撮像時間と関連付けて収集し、対象の状態値を周期的に収集し、予め定められた長さの時間毎に当該時間において収集された状態値の代表値を取得する。制御システムは、取得された時間毎の代表値のうちからユーザ操作によって選択された代表値について、当該代表値に対応した上記時間において収集された状態値の時間波形、および、当該時間に該当する撮像時間が関連付けられた画像の動画像を並べて表示する。【選択図】図１５

Description

本技術は、制御対象を制御する制御システムに関し、特に、制御に関する情報を出力する制御システムに関する。

ＦＡ（Factory Automation）が適用される様々な生産現場において、生産設備としての機械や装置に対する予兆監視により設備稼働率を向上させたいというニーズが存在する。予兆監視は、監視対象である生産設備が異常の予兆を示す状態（以下、予兆状態という）を検出する仕組みを示す。予兆監視によって予兆状態が検出されると、ユーザは、設備を停止すべき状態になる前に、整備や交換などの保守作業を行うことができる。このような予兆監視を実現するために、運転中の機械や装置から収集されるデータを用いて、当該機械や装置に何らかの異常が生じているか否かをユーザが判断するのをサポートする仕組みが実用化されている。

例えば、特開２０２１－６０９６６号公報（特許文献１）では、システムは、産業機械の振動データを収集し周波数解析結果の値と閾値を比較してエラーを判定し（段落００５８を参照）、いつもと違う動作のデバイスが検出されたタイミングで取得されたカメラ画像を、デバイスの出力波形のビューと同一画面で表示する（図１９と段落００９３を参照）。

特開２０２１－６０９６６号公報

生産現場のユーザは、運転中の機械や装置から収集されるデータを用いて、当該機械や装置に何らかの異常が生じているか否かなど、制御対象の状態を、より容易に判断するためのサポート情報を得たいとのニーズがある。

本開示の一つの目的は、ユーザに、制御対象の状態をより容易に判断するためのサポート情報を提供することである。

本開示に係る対象を周期的に制御する制御システムは、対象を被写体として撮像可能な撮像範囲を有する撮像部と、撮像部によって撮像された画像を撮像時間と関連付けて収集する画像収集部と、対象の状態値を周期的に収集するデータ収集部と、周期的に収集された時系列の状態値のうち、予め定められた長さの時間毎に、当該時間において収集された状態値の代表値を取得する取得部と、取得部によって取得された予め定められた長さの時間毎の代表値のうちから、少なくとも１つの代表値を選択するユーザ操作を受付ける選択操作受付部と、選択された各少なくとも１つの代表値について、当該代表値に対応した予め定められた長さの時間において周期的に収集された状態値の時間波形、および、当該時間に該当する撮像時間が関連付けられた画像に基づき再生される動画像を並べて表示する波形表示部と、を備える。

この開示によれば、ユーザによって１つ以上の代表値が選択されたとき、当該代表値に対応する代表値の時間波形および再生される動画像を、当該代表値のサイクルタイムの時間における制御対象の挙動など状態の判断を支援する情報として、ユーザに提示できる。

上記の開示において、制御システムは、取得部によって取得された予め定められた長さの時間毎の代表値の時間波形を表示する代表値表示部を、さらに備える。

上述の開示によれば、代表値の時間波形を表示することで、ユーザに、制御対象の挙動など状態を表す情報を、制御対象の挙動など状態の判断を支援する情報として、ユーザに提示できる。

上記の選択操作受付部は、代表値の時間波形において、少なくとも１つの代表値を選択するユーザ操作を受付ける。

上述の開示によれば、ユーザに、代表値の選択を支援する情報として、代表値の時間波形を提供することができる。

上述の開示において、制御システムは、予め定められた長さの時間毎に、当該時間において取得された代表値と閾値に基づき対象の状態を監視する監視部を備え、代表値表示部は、代表値の時間波形において、各代表値の表示態様を当該代表値に基づく監視の結果で異ならせる。

上述の開示によれば、ユーザに、代表値の選択を支援する情報として、代表値の時間波形における各代表値の表示態様が示す監視結果を提供することができる。

上述の開示において、制御システムは、時間波形における部分波形を指定するユーザ操作を受付け、動画像は、受付けられたユーザ操作によって指定された部分波形の時間に該当する撮像時間が関連付けられた画像に基づき再生される動画像を含む。

上述の開示によれば、制御対象の挙動など状態の判断を支援する情報として、ユーザが指定した部分波形に該当する時間の部分画像のみを再生して提供できる。

上述の制御システムは、予め定められた長さの時間毎に、当該時間において取得された代表値と閾値に基づき対象の状態を監視する監視部と、予め定められた長さの時間であってユーザが指定した時間において周期的に収集された状態値から、閾値を設定する設定部と、をさらに備え、波形表示部は、さらに、閾値の設定に用いた状態値の代表値および選択された少なくとも１つの代表値それぞれについて、当該代表値に対応した予め定められた長さの時間において周期的に収集された状態値の時間波形、および、当該時間に該当する撮像時間が関連付けられた画像に基づき再生される動画像を並べて表示するよう構成される。

上述の開示によれば、代表値に対応する代表値の時間波形および再生される動画像として、ユーザが閾値を設定するために指定した時間において、周期的に収集された状態値の時間波形、および、当該時間に該当する撮像時間が関連付けられた画像を含めることができる。これにより、制御対象の挙動など状態の判断を支援する情報として、状態監視のための閾値を設定したときに用いた時間波形と画像とを、ユーザに提供できる。

本開示によれば、ユーザに、制御対象の状態をより容易に判断するためのサポート情報を提供することができる。

本実施の形態に係る制御システム１ａの全体構成を模式的に示す図である。 本実施の形態に係る制御システム１ｂの全体構成を模式的に示す図である。 本実施の形態に係るＰＬＣ１００のハードウェア構成例を示すブロック図である。 本実施の形態に係るサーバ２００のハードウェア構成例を示すブロック図である。 図４のＤＢ管理プログラム２１１が実行されることで提供されるＤＢマネージャーを模式的に示す図である。 本実施の形態に係る端末３００のハードウェア構成例を示すブロック図である。 本実施の形態に係る撮像装置４０の構成の一例を模式的に示す図である。 本実施の形態に係るＵＩツール３４０のモジュール構成の一例を示す図である。 本実施の形態に係る処理のシーケンスの一例を模式的に示す図である。 本実施の形態に係る時系列ＤＢ２５０の一例を模式的に示す図である。 本実施の形態に係る閾値の設定モードにおける処理の一例を示すフローチャートである。 本実施の形態に係る閾値の設定モードにおけるユーザ操作を支援するための情報の表示画面の一例を示す図である。 本実施の形態に係る閾値の設定モードにおけるユーザ操作を支援するための情報の表示画面の一例を示す図である。 本実施の形態に係る閾値の設定モードにおけるユーザ操作を支援するための情報の表示画面の一例を示す図である。 本実施の形態に係る閾値の設定モードにおけるユーザ操作を支援するための情報の表示画面の一例を示す図である。 本実施の形態に係る閾値の設定モードにおけるユーザ操作を支援するための情報の表示画面の一例を示す図である。 本実施の形態に係る運用モードにおける処理の一例を示すフローチャートである。 本実施の形態に係る運用モードにおいてユーザ操作を支援するための情報の表示画面の一例を示す図である。 本実施の形態に係る運用モードにおいてユーザ操作を支援するための情報の表示画面の一例を示す図である。 本実施の形態に係る運用モードにおいてユーザ操作を支援するための情報の表示画面の一例を示す図である。 本実施の形態に係る運用モードにおいてユーザ操作を支援するための情報の表示画面の一例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．適用例＞
まず、本発明が適用される場面の一例について説明する。

図１は、本実施の形態に係る制御システム１ａの全体構成を模式的に示す図である。図１を参照して、制御システム１ａは、ＦＡに適用されて、ＰＬＣシステム２と、サーバ２００と、制御システム１ａの開発および保守を担う端末３００とを含む。

ＰＬＣシステム２は、ラインとも称され、ＦＡの工場全体を制御するものであってもよいし、工場に設置された特定の製造設備や製造装置を制御するものであってもよい。ＰＬＣシステム２は、主たる構成要素として、制御対象を制御する「制御部」の典型例であるＰＬＣ（Programmable Logic Controller）１００と、「撮像部」および画像収集部４６を有する撮像装置４０と、ＵＩ（ユーザインターフェイス）ツール３４０を有する端末３００を含んで構成される。「撮像部」は、制御対象を被写体として撮像可能な撮像範囲を有するようアングルまたは光学系等が調整され得る。「撮像部」に関連して、照明装置が設けられてもよい。

ＰＬＣ１００は、フィールド機器１０に接続される。フィールド機器１０は、制御対象を制御するために必要な任意の装置を包含する。より具体的には、フィールド機器１０は、制御対象（例えば、製造設備、製造装置、製造設備あるいは製造装置に含まれるセンサおよびアクチュエータなど）との間で情報をやり取りするための装置を含む。図１に示す例では、フィールド機器１０はリレー群１４とサーボモータ１８を含む。フィールド機器１０は、さらに、図１に示すサーボドライバ１６およびリモートＩ／Ｏ（Input/Output）１２など、任意のデバイスを含み得る。

ＰＬＣ１００は、フィールド機器１０の状態値を含むデータを取得し、取得されるデータを用いて予め作成されたユーザプログラムに従って制御演算を実行することで、フィールド機器１０へ与えられる指令値を含むデータを生成する。本開示において、「状態値」は、フィールド機器１０から収集される当該フィールド機器１０の状態を示す入力値、フィールド機器１０へ出力される指令値、および、ＰＬＣ１００の内部で管理されるシステム状態値や内部値を含む。

図１に示す例では、ＰＬＣ１００とフィールド機器１０とは、制御系ネットワーク４を介して接続されているが、これに限らず、ハードワイヤーで接続されていてもよい。

制御系ネットワーク４としては、産業用の通信プロトコルを採用することが好ましい。このような通信プロトコルとしては、ＥｔｈｅｒＣＡＴ（登録商標）、ＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）、ＤｅｖｉｃｅＮｅｔ（登録商標）、ＣｏｍｐｏＮｅｔ（登録商標）などが知られている。

ＰＬＣシステム２は、情報系ネットワーク６およびゲートウェイまたはルータなどの中継装置２０を介して、インターネット８上に存在するクラウドベースのサーバ２００にアクセス可能になっている。情報系ネットワーク６は、例えばＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）のプロトコルが適用され得る。

サーバ２００は、ＰＬＣ１００および撮像装置４０と情報系ネットワーク６およびインターネット８を介して通信する。サーバ２００は、主に、ＰＬＣシステム２に関する情報を管理するととともに、各種サービスを提供する。

サーバ２００は、インターネット８を介してクラウド上に配置してもよいし、インターネット８を介することなく、ＰＬＣシステム２が存在するローカルネットワーク内に配置してもよい。サーバ２００の実装形態としては、要求される性能および機能などに応じて、任意に決定できる。サーバ２００は、ＮＡＳ（Network Attached Storage）を含んで構成されてもよい。

端末３００は、例えば汎用コンピュータから構成される。端末３００は、サーバ２００にアクセスして、後述するような各種処理を実現するためのユーザ操作が可能になっている。本実施の形態では、このユーザ操作は、端末３００の後述するアプリケーション３１２およびＵＩプログラム３１３が協働して、端末３００からインターネット８で接続されたサーバ２００のデスクトップ環境を操作するＧＵＩ（Graphical User Interface）を提供することで実現されてもよい。また、端末３００は、情報系ネットワーク６およびインターネット８を介さずに、ＰＬＣ００とＵＳＢ（Universal Serial Bus）通信によって情報を遣り取りしてもよい。ＰＬＣ１００が、汎用コンピュータの構成も兼ね備える場合は、ＰＬＣ１００によって、端末３００が提供するＵＩ（User Interface），ＧＵＩ等のサービスが提供されてもよい。

ＰＬＣ１００は、制御演算を実行することにより指令値を算出し、算出した指令値を制御対象に出力することで、制御対象を制御する。ＰＬＣ１００は、制御対象を、予め定められた制御周期に従い周期的に制御する。ＰＬＣ１００は、制御周期毎に状態値を収集時間と関連付けて収集するデータ収集部１１８ａを有する。

また、ＰＬＣ１００は、予め定められた長さの時間（後述するサイクルタイム）毎に、当該時間において取得された代表値と閾値に基づき制御対象の状態を監視する監視処理を実施する監視処理部１１９を有する。監視処理部１１９は、代表値取得部１１９ａと、閾値監視部１１９ｂと、閾値設定部１１９ｃとを含む。代表値取得部１１９ａは、制御対象から周期的に収集された時系列の状態値のうち、予め定められた長さの時間毎に、当該時間において収集された状態値の代表値を算出するなどして取得する。閾値監視部１１９ｂは、代表値取得部１１９ａによって取得された代表値を、閾値ファイル４００が有する閾値と比較する。閾値設定部１１９ｃは、閾値ファイル４００に閾値を設定する、または閾値ファイル４００の閾値を変更する。監視処理部１１９は、閾値監視部１１９ｂが出力する比較結果に基づき、監視結果を取得する。監視結果は、比較結果に基づき、例えば（代表値＞閾値）または（代表値≦閾値）の条件を満たすか否かを示す。

「代表値」は、処理対象の時系列データに含まれる情報を包含する用語であり、典型的には、制御対象から収集した時系列の状態値についての、最大値、最小値、中間値、平均値、標準偏差、分散などの特徴量を含み得る。

「サイクルタイム」は、時系列の状態値において、監視対象に何らかの異常が発生しているか否かを判定するための予め定められた長さの単位時間区間を意味する。すなわち、監視対象に何らかの異常が発生しているか否かを判定する予兆監視処理は、「サイクルタイム」毎に行われることになる。本実施の形態においては、サイクルタイムの時間の長さは、ユーザが任意に設定する状態値の種類に基づいて決定されるようにしてもよい。本実施の形態では、例えば、サイクルタイムは、１つのワーク（製品の完成品または部品）について１の工程を開始してから完了するまでにかかる時間を示す。サイクルタイムの開始は状態値の収集開始時間と定義することができる。

ＰＬＣ１００は、撮像装置４０に撮像開始指令３を送信する（ステップＳ１）。撮像装置４０は、ＰＬＣ１００から撮像開始指令３を受信すると、受信した撮像開始指令３に従い撮像を開始する（ステップＳ５ａ）。画像収集部４６は、撮像を開始し、撮像開始以降に撮像された画像を、撮像時間と関連付けて収集する。撮像装置４０は、収集された画像をサーバ２００に転送する（ステップＳ５ｂ）。ＰＬＣ１００は、ステップＳ３においてデータ収集部１１８ａが周期的に収集する状態値と、当該状態値から取得されたサイクルタイム毎の代表値と、ステップＳ４において監視処理部１１９が実施する監視処理の結果を示す監視データを、サーバ２００に転送する（ステップＳ６、ステップＳ６ａ、ステップＳ６ｂ）。サーバ２００は、撮像装置４０から送信される画像と、ＰＬＣ１００から送信される状態値と、代表値と、監視データとを格納する（ステップＳ１４）。

端末３００のＵＩツール３４０は、サイクルタイム毎の前記代表値のうちから、少なくとも１つの代表値を選択するユーザ操作を受付ける選択操作受付部と、選択された各代表値について、当該代表値に対応したサイクルタイムにおいて周期的に収集された状態値の時間波形、および、当該サイクルタイムに該当する撮像時間が関連付けられた撮像画像に基づき再生される動画像を並べて表示する波形表示部を提供する。ＵＩツール３４０は、サーバ２００をＷｅｂサーバとして、Ｗｅｂサーバから受信するＷｅｂページなどの画面情報に基づく画面をディスプレイに表示するＷｅｂブラウザを有して構成されてもよい。

したがって、制御システム１ａは、ユーザによって１つ以上の代表値が選択されたとき、当該代表値に対応する代表値の時間波形および再生画像（動画像を含む）を、当該代表値のサイクルタイムの時間における制御対象の挙動など状態を表す情報として、ユーザに提示できる。

本実施の形態では、閾値ファイル４００が有する閾値は変更可能である。より具体的には、ＵＩツール３４０は、閾値を設定または変更するためのユーザ操作を受け付ける閾値操作ツール３１１を有する。閾値操作ツール３１１は、受付けるユーザ操作に基づく閾値を入力し、入力した閾値をサーバ２００に転送する。サーバ２００は、予兆監視設定処理を実施する（ステップＳ１７）。予兆監視設定処理では、サーバ２００は、閾値操作ツール３１１から受信した閾値をＰＬＣ１００に転送する（ステップＳ７）。ＰＬＣ１００の閾値設定部１１９ｃは、サーバ２００から受信した閾値を閾値ファイル４００に上書きなどにより設定する。閾値設定部１１９ｃは、状態値の時間波形および代表値の時間波形の少なくとも一方が示す値の変化の傾向に基づき閾値ファイル４００の閾値を更新または設定してもよい。または、閾値設定部１１９ｃは、閾値監視部１１９ｂが出力する比較結果または監視処理部１１９が出力する監視結果に基づき、閾値ファイル４００の閾値を更新または設定してもよい。

ユーザは、閾値操作ツール３１１を操作することにより、監視処理部１１９の閾値設定部１１９ｃが予兆監視に用いる閾値を設定または変更することができる。制御システム１ａは、ユーザによって１つ以上の代表値が選択されたとき、当該代表値に対応するサイクルタイム毎の状態値の時間波形および再生画像（動画像を含む）を、閾値の設定または変更のためにユーザをサポートする情報として、ユーザに提示できる。

以下、本発明のより具体的な応用例について説明する。
＜Ｂ．システム構成＞
図２は、本実施の形態に係る制御システム１ｂの全体構成を模式的に示す図である。図２の制御システム１ｂは、図１に示したＰＬＣシステム２と撮像装置４０を、それぞれ、複数台有する。図２の制御システム１ｂは、異なる製造工程に設けられたＰＬＣシステム２－１，ＰＬＣシステム２－２，およびＰＬＣシステム２－３（以下、「ＰＬＣシステム２」とも総称する。）と、これら製造工程に設けられる撮像装置４０－１，撮像装置４０－２と有する。制御システム１ｂは、例えば、ＰＬＣシステム２－１を部品工程に設け、ＰＬＣシステム２－２を組み立て工程に設け、およびＰＬＣシステム２－３を検査工程に設けることで、一連の工程に対する分散制御を実現する。制御システム１ｂの他の構成は図１の制御システム１ａと同様なので説明は繰り返さない。撮像装置４０－１と撮像装置４０－２は、例えばカメラのアングルを異ならせることで、同じ制御対象（被写体）に対するカメラの向き（撮像方向）を異ならせた画像を撮像する。

以下の説明において、ＰＬＣシステム２－１，ＰＬＣシステム２－２，ＰＬＣシステム２－３は、図１に示すＰＬＣシステム２と同様の構成を有する。また、撮像装置４０－１と撮像装置４０－２は、図１の撮像装置４０と同様の構成を有する。ここでは３つのＰＬＣシステム２と２台の撮像装置４０とを示したが、ＰＬＣシステム２と撮像装置４０の台数は、これらに限定されない。以下では、ＰＬＣシステム２－１，ＰＬＣシステム２－２およびＰＬＣシステム２－３に共通の機能または構成の説明では「ＰＬＣシステム２」と総称し、撮像装置４０－１と撮像装置４０－２に共通の機能または構成の説明では「撮像装置４０」と総称する。なお、本実施の形態では、撮像装置４０は、制御系ネットワーク４に接続されてもよい。ＰＬＣ１００は、制御系ネットワーク４を介して、撮像装置４０から画像を受信し、受信した画像をサーバ２００に転送する。この場合、画像収集部４６は、撮像装置４０またはＰＬＣ１００に備えられる。

＜Ｃ．各装置の構成＞
次に、本実施の形態に係る制御システムを構成する装置の構成の一例について説明する。

（ｃ１：ＰＬＣ１００）
図３は、本実施の形態に係るＰＬＣ１００のハードウェア構成例を示すブロック図である。図４を参照して、ＰＬＣ１００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサ１０２と、チップセット１０４と、主メモリ１０６と、ストレージ１０９と、物理的回路で構成されるコネクタ１２１と接続する情報系ネットワークコントローラ１２７と、物理的回路で構成されるコネクタ１２３と接続する制御系ネットワークコントローラ１２２と、ＵＳＢ（Universal Serial Bus）コントローラ１２４と、カウンタ回路を含んで構成されるタイマ１２５と、メモリカードインターフェイス１２６とを含む。コネクタ１２１は、サーバ２００、ＰＬＣ１００および撮像装置４０が属する情報系ネットワーク６と接続し、コネクタ１２３は、情報系ネットワーク６とは異なるネットワークであって制御対象のフィールド機器１０が属する制御系ネットワーク４と接続する。

プロセッサ１０２は、ストレージ１０９に格納された各種プログラムを読み出して、主メモリ１０６に展開して実行することで、制御対象を制御するための制御演算および外部装置（サーバ２００、端末３００、撮像装置４０およびフィールド機器１０）と通信するための通信処理を実現する。チップセット１０４は、プロセッサ１０２と各コンポーネントとのデータ伝送などを制御する。

ストレージ１０９には、ＯＳ(Operating System)１１１と、システムプログラム１１３と、ユーザプログラム１１４と、閾値ファイル４００が格納される。システムプログラム１１３は、情報系ネットワーク６を介してサーバ２００を含む外部装置と通信するための通信ファームウェアおよび制御系ネットワーク４を介してフィールド機器１０と通信するための通信ファームウェアを含む。

ユーザプログラム１１４は、制御プログラム１１５、通信プログラム１１６およびＩＯ（Input／Output）リフレッシュ１１７、収集プログラム１１８、およびカメラ通信プログラム１２０を含む。ＩＯリフレッシュ１１７は、制御対象であるフィールド機器１０の状態値を、制御系ネットワーク４を介して収集しＩＯリフレッシュ領域１１２に格納する。また、ＩＯリフレッシュ１１７は、ＩＯリフレッシュ領域１１２に格納された指令値を、制御系ネットワーク４を介して制御対象に送信する。制御プログラム１１５は、ＩＯリフレッシュ領域１１２に格納された状態値を用いて制御対象の制御演算を実施して上記の指令値を算出する。収集プログラム１１８は、実行されると上記に述べたデータ収集部１１８ａのモジュールを実現する。カメラ通信プログラム１２０は、実行されると撮像装置４０と通信する。ストレージ１０９は、さらに、実行されると監視処理部１１９を実現する監視プログラム１１０を格納する。監視プログラム１１０は、実行されると代表値取得部１１９ａ、閾値監視部１１９ｂおよび閾値設定部１１９ｃを実現する、代表値取得プログラム１１０ａ、閾値監視プログラム１１０ｂおよび閾値設定プログラム１１０ｃを含む。ユーザプログラム１１４には、時刻同期プログラムを含む他の各種処理プログラムが含まれてもよい。

本実施の形態に係るユーザプログラム１１４は、いわゆる変数プログラムである。より具体的には、ユーザプログラム１１４は、当該プログラムが実行時に参照する状態値のデータ、内部計算用データなどはデータ別に入力変数、出力変数、および一時変数などを用いて利用できるよう構成される。

各ＰＬＣシステム２のＰＬＣ１００は、時刻同期プログラムに従い、情報系ネットワーク６に接続される他のＰＬＣ１００および撮像装置４０と、タイマの計時時間を、図示しないマスタタイマーの時間に一致させる時刻同期処理を実施する。また、各ＰＬＣシステム２のＰＬＣ１００は、時刻同期プログラムに従い、当該ＰＬＣ１００が接続する制御系ネットワーク４に接続されるフィールド機器１０が有するタイマと計時時間を一致させる時刻同期処理を実施する。マスタタイマーは、限定されないが、例えば情報系ネットワーク６上に設けられる。

情報系ネットワークコントローラ１２７は、コネクタ１２１に接続される情報系ネットワーク６を介した外部装置とのデータのやり取りを制御する。

制御系ネットワークコントローラ１２２は、コネクタ１２３に接続される制御系ネットワーク４を介したフィールド機器１０とのデータのやり取りを制御する。

ＵＳＢコントローラ１２４は、ＵＳＢ接続を介した外部装置（例えば、サポート装置、端末３００など）とのデータのやり取りを制御する。

メモリカードインターフェイス１２６は、メモリカード１２８が脱着自在に構成されており、メモリカード１２８に対してデータを書き込み、メモリカード１２８から各種データ（ユーザプログラム１１４およびデータなど）を読み出すことが可能になっている。

ＰＬＣ１００は、光学ドライブを有していてもよい。光学ドライブは、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）からプログラムを読み取って、ストレージ１０９などに格納する。

ＰＬＣ１００で実行される各種プログラムは、コンピュータ読取可能な記録媒体またはメモリカード１２８を介してインストールされてもよいが、ネットワーク上の任意のコンピュータなどのデバイスからダウンロードする方法でインストールするようにしてもよい。

図３には、プロセッサ１０２がプログラムを実行することで必要な処理が提供される構成例を示したが、これらの提供される処理の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。あるいは、ＰＬＣ１００の主要部を、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコンをベースとした産業用パソコン）を用いて実現してもよい。この場合には、仮想化技術を用いて、用途の異なる複数のＯＳを並列的に実行させるとともに、各ＯＳ上で必要なアプリケーションを実行させるようにしてもよい。

（ｃ２：サーバ２００）
図４は、本実施の形態に係るサーバ２００のハードウェア構成例を示すブロック図である。図４を参照して、サーバ２００は、プロセッサ２０２と、メインメモリ２０４と、入力部２０６と、出力部２０８と、ストレージ２１０と、光学ドライブ２１５と、外部装置と通信するためのＵＳＢコントローラ２２０と、インターネット８を含むネットワークを接続するネットワークコントローラ４１３を含む。これらのコンポーネントは、プロセッサバス２１８を介して接続されている。

プロセッサ２０２は、ＣＰＵやＧＰＵなどで構成され、ストレージ２１０に格納されたプログラムを読出して、メインメモリ２０４に展開して実行することで、後述するような各種処理を実現する。

メインメモリ２０４は、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ２１０は、例えば、ＨＤＤやＳＳＤなどの不揮発性記憶装置などで構成される。

ストレージ２１０には、基本的な機能を実現するためのＯＳ２１２に加えて、サーバ２００としての機能を提供するための各種プログラムが格納される。各種プログラムは、ＤＢ（Data Base）管理プログラム２１１と、閾値を管理する閾値管理プログラム２１３と、閾値を設定するための設定モードプログラム２１６と、設定された閾値に基づく予兆監視処理を運用する運用モードプログラム２１７とを含む。また、ストレージ２１０は、時系列ＤＢ２５０を格納する領域を有する。設定モードでは、閾値管理プログラム２１３および設定モードプログラム２１６が実行されることにより予兆監視設定処理（図１のステップＳ１７）が実施される。

入力部２０６は、キーボードやマウスなどで構成され、サーバ２００に対するユーザ操作を受付ける。出力部２０８は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ２０２からの処理結果などを出力する。

サーバ２００は、光学ドライブ２１５を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体２１４（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）から、その中に格納されたプログラムが読取られてストレージ２１０などにインストールされる。

図４には、プロセッサ２０２がプログラムを実行することで、サーバ２００として必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

図５は、図４のＤＢ管理プログラム２１１が実行されることで提供されるＤＢマネージャーを模式的に示す図である。図５を参照して、プロセッサ２０２により、ＤＢ管理プログラム２１１が実行されることで提供されるＤＢマネージャー２５３は、例えば、ＳＱＬ（Structured Query Language）に従うデータベース操作命令に従い、時系列ＤＢ２５０を管理（例えば、ＤＢの生成，集約，編集，解析，出力等）する。時系列ＤＢ２５０の詳細は後述する。

（ｃ３：端末３００）
図６は、本実施の形態に係る端末３００のハードウェア構成例を示すブロック図である。図６を参照して、端末３００は、ＣＰＵやＭＰＵなどのプロセッサ３０２と、光学ドライブ３０４と、主メモリ３０６と、ストレージ３１０と、ネットワークコントローラ３２０と、ＵＳＢコントローラ３２４と、入力部３２６と、表示部３２８とを含む。これらのコンポーネントは、バス３０８を介して接続される。

プロセッサ３０２は、ストレージ３１０に格納された各種プログラムを読み出して、主メモリ３０６に展開して実行することで、端末３００で必要な処理を実現する。

ストレージ３１０は、例えば、ＨＤＤやＳＳＤなどで構成される。ストレージ３１０には、ＯＳ３１９と、アプリケーション３１２と、ＵＩ（User Interface）プログラム３１３とを格納する。ＵＩプログラム３１３は、アプリケーション３１２と協働して実行されることで、ＵＩツール３４０を提供する。ＵＩプログラム３１３は、選択プログラム３１８と、波形変換プログラム３１４と、画像再生プログラム３１５と、閾値操作プログラム３１６と、画像調整プログラム３１７と、選択プログラム３１８を含む。選択プログラム３１８は、実行されると代表値取得部によって取得されたサイクルタイム毎の代表値のうちから、ユーザ操作に従い少なくとも１つの代表値を選択する。波形変換プログラム３１４は、選択された代表値に対応したサイクルタイムにおいて、収集された時系列の代表値を時間波形に変換し、変換後の時間波形をディスプレイに表示させる。画像再生プログラム３１５は、選択された代表値に対応したサイクルタイムにおいて、画像収集部４６によって収集された画像を、当該画像に関連付けられた撮像時間に従いディスプレイにおいて動画（映像）で再生する。閾値操作プログラム３１６は、実行されると閾値操作ツール３１１を実現する。画像調整プログラム３１７は、実行されると画像再生プログラム３１５によって表示されている画像の再生を、ユーザ操作に従い調整する。画像調整プログラム３１７によって実施される再生の調整は、画像のコマ送り、早送り、巻き戻しなどの画像の再生方向、再生速度等の調整を含む。なお、ストレージ３１０には、図５に示すプログラム以外の必要なプログラムが格納されてもよい。

ネットワークコントローラ３２０は、情報系ネットワーク６を介した各ＰＬＣ１００およびサーバ２００などの機器とのデータのやり取りを制御する。

ＵＳＢコントローラ３２４は、ＵＳＢ接続を介した外部装置とのデータのやり取りを制御する。

入力部３２６は、マウス、キーボード、タッチパネルなどで構成され、ユーザからの指示を受け付ける。表示部３２８は、ディスプレイ、各種インジケータなどで構成され、プロセッサ３０２からの処理結果などを出力する。入力部３２６および表示部３２８は、ディスプレイ一体型のタッチスクリーンを構成してもよい。

端末３００は、光学ドライブ３０４を有していてもよい。光学ドライブ３０４は、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体３０５（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）からプログラムを読み取って、ストレージ３１０などに格納する。

端末３００で実行される各種プログラムは、コンピュータ読取可能な記録媒体３０５を介してインストールされてもよいが、ネットワーク上の任意のサーバからダウンロードする形でインストールするようにしてもよい。

図６には、プロセッサ３０２がプログラムを実行することで必要な処理が提供される構成例を示したが、これらの提供される処理の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

（ｃ４：撮像装置）
図７は、本実施の形態に係る撮像装置４０の構成の一例を模式的に示す図である。図７を参照して、撮像装置４０は、基本的な構成要素として、レンズを含む光学系４１、撮像素子４２、画像処理エンジン４４および画像メモリ４７を有するプロセッサ回路を構成するＤＳＰ（Digital Signal Processor）４３、および情報系ネットワーク６に接続する通信回路を含む通信Ｉ／Ｆ（Inter Face）４８を備える。撮像装置４０は、ＤＳＰ４３および通信Ｉ／Ｆ４８の処理系と、光学系４１と撮像素子４２の撮像系とを一体的に有するが、処理系は撮像系から分離して構成されてもよい。

撮像範囲にある被写体からの反射光は光学系４１のレンズを介して、撮像素子４２が有する、たとえばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの光電変換素子に入射し、イメージセンサによって画像信号に変換される。画像処理エンジン４４は、撮像素子４２から画像信号を入力し、画像信号をタイマ４５が出力する時間に基づき処理し、フレーム画像単位のデジタルデータの画像に変換する。例えば１秒間にＮ（Ｎ＞１）枚のフレーム画像に変換する。画像処理エンジン４４は、フレーム画像を、タイマ４５が計時する撮像時間と関連付けて静止画または動画として画像メモリ４７に格納する。画像メモリ４７は、画像処理エンジン４４と協働することで、画像をタイマ４５が計時する撮像時間と関連付けて収集する画像収集部４６を構成する。

通信Ｉ／Ｆ４８は、情報系ネットワーク６を介してＰＬＣ１００から転送された撮像開始指令３を受信し、受信した撮像開始指令３をＤＳＰ４３に出力する。ＤＳＰ４３は、撮像開始指令３に応答して、撮像系から出力される画像信号の画像処理を開始する。

例えば、本実施の形態では、撮像装置４０は、撮像開始指令３に応答して、撮像を開始し、撮像開始以後から予め定められた期間にわたり撮像する。この期間の長さは、設定可能である。撮像開始の以降に撮像されたフレーム画像は、画像メモリ４７において、例えば静止画のファイル、または、動画のファイルとして格納される。

（ｃ５：ＵＩツールの構成）
図８は、本実施の形態に係るＵＩツール３４０のモジュール構成の一例を示す図である。ＵＩツール３４０は、プロセッサ３０２が、波形変換プログラム３１４、画像再生プログラム３１５、閾値操作プログラム３１６、画像調整プログラム３１７、および選択プログラム３１８を実行することにより実現される、「波形表示部」を構成する波形表示モジュール３４１、画像再生モジュール３４２、閾値を設定するための「閾値設定部」を構成する閾値操作モジュール３４３、画像調整モジュール３４４、および選択モジュール３４５をそれぞれ含む。

＜Ｄ．収集処理シーケンスの概要＞
図９は、本実施の形態に係る処理のシーケンスの一例を模式的に示す図である。図９のシーケンスは、ＰＬＣ１００と、撮像装置４０と、サーバ２００を含む装置間の通信と、各装置が実施する処理とのシーケンスを含む。

ＰＬＣ１００は、撮像装置４０に撮像開始指令３を送信する（ステップＳ１）。撮像開始指令３は、例えば制御システム１の予兆監視処理を開始するときに送信される。

撮像装置４０は、ＰＬＣ１００から撮像開始指令３を受信すると（ステップＳ１ａ）、受信した撮像開始指令３に従い撮像を開始する（ステップＳ５ａ）。画像処理エンジン４４は撮像して取得された画像について画像処理を実施する。

ＰＬＣ１００は、データ収集部１１８ａとして周期的に状態値を収集し（ステップＳ３）、監視処理部１１９として監視処理を実施する（ステップＳ４）。監視処理では、ＰＬＣ１００は、代表値取得部１１９ａとしてサイクルタイム毎に代表値を示す代表値を取得するとともに、閾値監視部１１９ｂとしてサイクルタイム毎に代表値を閾値と比較する（ステップＳ４ａ、ステップＳ４ｂ）。ＰＬＣ１００は、監視処理部１１９として監視結果を取得する。

撮像装置４０は、画像処理によって、撮像時間が関連付けられて画像メモリ４７に収集された撮像画像をサーバ２００に送信する（ステップＳ５ｂ）。例えば、撮像画像は、ファイル単位でサーバ２００に転送されてもよい。ＰＬＣ１００も、また、収集時間が関連付けられた制御に関するデータ、サイクルタイム毎に取得された代表値、およびサイクルタイム毎の監視結果をサーバ２００に送信する（ステップＳ６）。ＰＬＣ１００は、処理を終了するか否かを判定する(ステップＳ７０）。例えば、ユーザが、予兆監視処理を停止する指示を制御システム１に入力したとき、ＰＬＣ１００は、当該指示に基づき処理を終了すると判定する（ステップＳ７０でＹＥＳ）。処理を終了しないと判定されると（ステップＳ７０でＮＯ）、ステップＳ３に戻る。

サーバ２００は、ＰＬＣ１００から転送されるデータと撮像装置４０から転送される画像とを受信する（ステップＳ１１、ステップＳ１２）。サーバ２００は、ＤＢマネージャー２５３として、時系列ＤＢ２５０において、ＰＬＣ１００から受信したデータと撮像装置４０から受信した画像とについて、それぞれ、収集時間と撮像時間を関連付けて格納する処理を実施する（ステップＳ１４）。時系列ＤＢ２５０では、周期的に収集された状態値と、サイクルタイム毎の代表値と、サイクルタイム毎の監視結果と、撮像時間が関連付けされた画像データが、時系列のデータとして格納される。サーバ２００は、上記指示に基づき処理を終了と判定すると（ステップＳ５０でＹＥＳ）、処理を終了し、処理を終了しないと判定すると（ステップＳ５０でＮＯ）、ステップＳ１１に戻る。なお、撮像装置４０も、上記の指示に基づき処理を終了するか否かを判定するようにしてもよい。

本実施の形態では、上記に述べた時刻同期処理によって、ＰＬＣ１００と撮像装置４０との間でタイマが計時する時間は一致しているので、時系列ＤＢ２５０では、周期的に収集された状態値と、サイクルタイム毎の代表値と、サイクルタイム毎の監視結果と、撮像装置４０の撮像画像とを、互いの時間的なずれを無くして、時系列に管理することができる。

＜Ｅ．時系列ＤＢの一例＞
本実施の形態では、時系列ＤＢ２５０では、データは、例えばサイクルタイムに基づいて管理される。

図１０は、本実施の形態に係る時系列ＤＢ２５０の一例を模式的に示す図である。図１０を参照して、時系列ＤＢ２５０は、時系列ＤＢ２５１と、時系列ＤＢ２５２と、閾値を設定する場合に参照したサイクルタイムの収集データを示す参照データ７００を含む。時系列ＤＢ２５１には、予兆監視設定処理（ステップＳ１７）によって閾値ファイル４００に閾値を設定する設定モードにおいてデータが格納される。時系列ＤＢ２５２には、閾値ファイル４００に設定された閾値に基づき予兆監視処理を実施する運用モードにおいてデータが格納される。時系列ＤＢ２５１と時系列ＤＢ２５２は、同様の構成を有するので、時系列ＤＢ２５２を説明し、時系列ＤＢ２５１の詳細は繰り返さない。

サーバ２００のプロセッサ２０２は、運用モードにおいて、ＤＢマネージャー２５１として、ＰＬＣ１００から転送されるデータおよび撮像装置４０から転送された撮像画像を、時系列ＤＢ２５２に格納する。より具体的には、プロセッサ２０２は、サイクルタイム毎に、当該サイクルタイムにおいて収集されたデータおよび画像メモリ４７において収集されたファイル単位の撮像画像を、収集制御データ４３０、監視データ６００および収集画像データ５００として格納する。

収集制御データ４３０は、サイクルタイムを識別するＩＤ４１０と、収集対象である１つ以上の変数の状態値を収集開始した収集開始時間４１１と、時系列データ４２０とを含む。時系列データ４２０は、各変数について時系列の状態値４２１、４２２，・・・を含む。時系列の状態値４２１、４２２，・・・は、それそれ、当該変数の状態値と関連付けされた収集時間とを含む。ＰＬＣ１００は、状態値を、制御周期に同期した周期で収集することで、収集時間は、制御周期に同期した周期に基づく時間を示す。

収集画像データ５００は、撮像開始指令３を受信した時間を示す撮像タイミング５１０と、撮像された画像を示す時系列の画像データ５５０とを含む。画像データ５５０は、制御システムに設けられた撮像装置４０のそれぞれについてデータ５１５を含む。データ５１５は、対応の撮像装置４０の識別子５２０と、収集開始時間５２５と、時系列のフレーム画像を表す時系列フレーム５３０とを含む。収集開始時間５２５は、当該撮像装置４０が撮像開始指令３に応答して撮像し撮像画像の収集を開始した時間を示す。時系列フレーム５３０は、収集開始時間５２５以降に撮像して得られたフレーム画像の時系列の集合を示す。各フレーム画像は、撮像時間が関連付けされている。

監視データ６００は、サイクルタイムを識別するＩＤ６１０と、収集対象である１つ以上の変数それぞれについて、当該サイクルタイムに取得されたデータ６１を含む。図１０では、ある変数の監視データ６００について、１つのサイクルタイムについて示されているが、実際は、複数のサイクルタイムについて監視データ６００が格納される。データ６１は、各変数について、当該変数に対応の時系列データ４２０のうち、状態値から取得された代表値６１ａと、当該代表値６１ａに基づく監視結果６１ｂとを含む。監視結果６１ｂの“Ｔ”と“Ｆ”は、それぞれ、後述する“正常”と“異常”を示す。

参照データ７００は、閾値設定の際に参照されたサイクルタイムの識別子ＩＤ７１０、時系列データ７１１および画像データ７２２を含む。時系列データ７１１は、当該サイクルタイムで収集された時系列の状態値、代表値および監視結果を含む。画像データ７２２は、当該サイクルタイムの動画を構成する画像であって、撮像時間が関連付けされた複数のフレーム画像を含む。

＜Ｆ．設定モード＞
本実施の形態に係る閾値の設定モードを説明する。図１１は、本実施の形態に係る閾値の設定モードにおける処理の一例を示すフローチャートである。図１２～図１６は、本実施の形態に係る閾値の設定モードにおけるユーザ操作を支援するための情報の表示画面の一例を示す図である。設定モードでは、端末３００のＵＩツール３４０の閾値操作ツール３１１は、ユーザ操作に従って、サーバ２００に、時系列ＤＢ２５１を検索する設定モードプログラム２１６を起動する指令を送信する。サーバ２００は、指令に応答して設定モードプログラム２１６を起動する。

設定モードプログラム２１６は、起動されると、予兆監視設定処理（ステップＳ１７）を実施する。予兆監視設定処理では、サーバ２００は、端末３００の閾値操作ツール３１１に画面情報（例えばＷｅｂページ）に基づく図１２～図１６のＵＩ画面を表示部３２８のディスプレイに表示させ、ＵＩ画面を介して受付けるユーザ操作に従って閾値を決定し、ユーザ操作に従い決定した閾値を、閾値ファイル４００に設定するためにＰＬＣ１００に転送する。

図１１を参照して、端末３００は、閾値の設定対象となる変数（状態値）の代表値の指定操作を受付けるために、図１２の画面を表示する（ステップＴ１）。図１２の画面では、ユーザ操作に従って、制御対象の状態値のうち太枠で示される“溶接電流”が指定されるとともに、代表値の種類（例えば“平均値”）が指定されている。指定された情報は、サーバ２００に送信される。

サーバ２００は、端末３００から受信した情報に基づき時系列ＤＢ２５１から、“溶接電流”の変数に対応の“平均値”を示す時系列データ６１２を検索する。端末３００は、検索された時系列データ６１２に基づく画面情報を端末３００に送信する。

端末３００は、サーバ２００からの画面情報に基づき、ユーザが指定した変数が示す状態値のサイクルタイム毎の代表値を時系列に表示する（ステップＴ３）。例えば、図１３の（Ａ）の画面の領域Ｅ２において、横軸に時間をとり、縦軸に値をとるグラフにおいて、ユーザが指定した変数の状態値の代表値６１ａが時系列にプロットされた時間波形のグラフで表示される。このグラフでは、プロットされた各代表値６１ａは、対応の監視結果６１ｂに基づきプロットされた点の形状、色など表示態様を異ならせている。また、画面の領域Ｅ１では、領域Ｅ２で示される監視結果６１ｂに適用された閾値４９ａ，４９ｂが数値表示されるとともに、領域Ｅ２では、グラフにおいて閾値を示す時間軸に平行なバーとして表示される。ユーザは、画面のボタン１３１を操作すると、領域Ｅ２のグラフを図１３の（Ｂ）に示すヒストグラムに切り替えることができる。閾値が設定される前は、表示される閾値４９ａ，４９ｂは、例えばデフォルト値を含む。

図１３の（Ａ）に示す代表値の時間波形のグラフは、ユーザに、時間の経過に従う代表値の変化の傾向を把握するための支援情報を提供し、ヒストグラムは、ユーザに、代表値について、監視結果６１ｂが“正常”を示す個数と、“異常”を示す個数と、“正常”または“異常”の値の分布を値の階級毎に把握することを支援する情報を提供する。

図１４の画面は、表示される特徴量の個数を調整するユーザ操作を受付ける。ユーザは、図１４の図１３の（Ａ）または（Ｂ）で表示される代表値６１ａのトータル個数を、代表値６１ａの属性１４ｂを指定することで、指定した属性に基づき絞り込むことができる。属性は例えば、対応の監視結果６１ｂ、または、閾値に近いか否か等を含む。または、ユーザは、表示される代表値６１ａのトータル個数を、表示個数のパーセンテージ１４Ａを指定することにより、または、表示される特徴量が該当するサイクルタイムが抽出される期間長さを期間１４Ｃで指定することにより絞り込むことができる。

ユーザは、図１３の（Ａ）の領域Ｅ２にプロットされた１以上の代表値（点）を選択操作すると、端末３００は、選択モジュール３４５によって選択操作を受け付ける（ステップＴ５）。端末３００は、選択操作の情報をサーバ２００に送信する。選択操作の情報は、選択された代表値の時間波形上のプロット位置に対応した時間（以下、プロット時間と呼ぶ）の情報を含む。サーバ２００は、選択操作の情報が示すプロット時間に基づき、当該プロット時間が該当するサイクルタイムを判定し、判定されたサイクルタイムの状態値を時系列データ４２０から抽出するとともに、当該サイクルタイムの複数のフレーム画像を画像データ５５０から抽出する。サーバ２００は、当該サイクルタイムについて抽出された状態値と、複数のフレーム画像とを含む画像情報を端末３００に送信する。

端末３００は、サーバ２００から受信する画像情報に基づき図１５の画面を表示する。より具体的には、端末３００は、サーバ２００から受信するサイクルタイムの状態値を、波形表示モジュール３４１によって時間波形の画像として図１５の画面の領域Ｅ３に表示し、また、サーバ２００から受信するサイクルタイムで撮像されたフレーム画像を画像再生モジュール３４２によって動画として図１５の画面の領域Ｅ４において再生する（ステップＴ７、ステップＴ９）。

ステップＴ５では、ユーザは、例えば“異常”としてプロットされた１のサイクルの代表値と、“正常”としてプロットされた他のサイクルの代表値とを選択する。図１５の画面の領域Ｅ３では、縦軸に状態値の値をとり、横軸に時間の経過をとる１のグラフにおいて、“異常”として選択された代表値の状態値に基づく時間波形と、“正常”として選択された代表値の状態値に基づく時間波形とが表示される。また、本実施の形態では、図１５に示すように、ユーザが選択した“溶接電流”の時間波形に加えて、溶接電流に関連した他の変数の状態値（溶接電流に関連する電圧または溶接されるワークの温度など）の時間波形も表示されるようにしてもよい。

領域Ｅ３では、ユーザが選択した“溶接電流”の状態値について、“異常”と判定された時間波形の“正常”と判定された時間波形との両時間波形が重ねて表示されることになる。重ねて表示される両時間波形において、ズレている箇所、例えば予め定められたずれ量よりも多くズレているポイント１５０の部分波形は、ウィンドウ１５１で拡大表示することもできる。例えば、ユーザがポイント１５０を指定すると、指定された部分波形がウィンドウ１５１で拡大表示される。なお、拡大表示される箇所は、時間波形の任意の箇所であり、ポイント１５０に限定されない。このような時間波形画像は、ユーザに、異常時の状態値（溶接電流）が、正常時の状態値からどの程度ずれているかの特定、および、そのずれはサイクルタイムのどの時点で発生したかの特定を支援する情報を提供する。

時間波形が表示される図１５と同一画面の領域Ｅ４には、例えば右側に、“異常”として選択された状態値のサイクルタイムに対応のフレーム画像（以下、異常時画像という）が表示されて、その左側に、“正常”として選択された状態値のサイクルタイムに対応のフレーム画像（以下、正常時画像という）が表示される。領域Ｅ４に再生される画像は、図１５では、同一アングルからの撮像画像、すなわち同一の撮像装置４０によって撮像された画像であるが、再生画像は同一アングルの撮像画像に限定されない。例えば、図１６に示すように、“正常”または“異常”として選択された状態値のサイクルタイムの正常時画像または異常時画像について、制御対象を異なるアングルから撮像した画像、例えば、異なる撮像装置４０によって撮像された画像であってもよい。

図１５では、領域Ｅ３の時間波形のグラフにおいて、グラフの横軸が延びる方向に移動操作が可能な、より典型的にはスライド移動操作が可能なバー１５２を表示する。グラフの横軸は、波形が示す状態値が収集されたサイクルタイムの時間軸に対応する。したがって、バー１５２のグラフ横軸上の位置は、すなわち当該位置に対応するサイクルタイム中の時刻を示す。ユーザ操作によってバー１５２が、グラフ横軸に沿って移動すると、移動後の位置に対応の時刻（撮像時間）で撮像されたフレーム画像の正常時画像と異常時画像が、領域Ｅ４に並列に表示される。

ＵＩツール３４０によって、図１５のバー１５２は、領域Ｅ４の画像の再生速度に従ってグラフ横軸（時間軸）が延びる方向に自動的にスライド移動する。また、ユーザは、図１５のバー１５を操作して手動でスライド移動させる場合は、画像調整モジュール３４４は、ユーザ操作に基づく移動方向に従い、ＵＩツール３４０によって画像は巻き戻しまたは早送り再生される。また、画像調整モジュール３４４は、ユーザ操作に基づき、バー１５２の移動速度に従い、ＵＩツール３４０に再生速度を変更させることができる。

図１５では、時間波形がずれているポイント１５０が示される。ユーザは、バー１５２を、時間波形上のポイント１５０の位置に到達するようにスライド移動させて、ポイント１５０の位置に到達すると、ＵＩツール３４０は、当該ポイント１５０に対応の時間のフレーム画像を、時系列フレーム５３０から検索することで特定し再生する。

図１５では、ＵＩツール３４０は、時間波形がずれるポイント１５０について、ポイント１５０に対応の時間で撮像された異常時画像と正常時画像とを並べて同時に再生するから、再生画像が示す制御対象の挙動を、時間波形のずれ、すなわち異常の原因特定をサポートする情報として提供できる。より具体的には、領域Ｅ４に示す、ポイント１５０に対応の再生画像が示す制御対象の挙動に異常があれば、ユーザは異常の原因は制御対象の挙動を示す状態値（溶接電流）が異常値を示すと判定することができる。また、ポイント１５０に対応の再生画像が示す制御対象の挙動に異常がなければ、ユーザは、予兆監視に用いた閾値の設定が適切でないと推定することができる。

予兆監視に用いた閾値の設定が適切でないと推定した場合、ユーザは、例えば図１３の画面の領域Ｅ１に示される閾値４９ａを操作し変更する。閾値操作ツール３１１は、ユーザ操作を受付け、受付けたユーザ操作によって変更された変更後の閾値４９ａを、閾値ファイル４００に設定するためにサーバ２００に送信する（図１１のステップＴ１１）。サーバ２００は、端末３００から受信する変更後の閾値４９ａを、閾値ファイル４００に設定するために、ＰＬＣ１００に転送する。

また、サーバ２００は、閾値の設定に用いたユーザ指定のサイクルタイムの代表値、例えば監視結果が“異常”または“正常”を示す代表値のサイクルタイムでの収集データを、時系列ＤＢ２５１から検索し、参照データ７００として格納する。

＜Ｇ．運用モード＞
本実施の形態に係る運用モードを説明する。図１７は、本実施の形態に係る運用モードにおける処理の一例を示すフローチャートである。図１８～図２１は、本実施の形態に係る運用モードにおいてユーザ操作を支援するための情報の表示画面の一例を示す図である。これら表示画面は、ＵＩツール３４０によって表示部３２８のディスプレイに表示される。運用モードでは、端末３００のＵＩツール３４０は、ユーザ操作に従って、サーバ２００に、時系列ＤＢ２５２を検索する運用モードプログラム２１７を起動する指令を送信する。サーバ２００は、指令に応答して運用モードプログラム２１７を起動する。

運用モードでは、運用モードプログラム２１７は、ＰＬＣ１００から受信する各変数（状態値）の代表値６１ａに対応の監視結果６１ｂをモニタし、監視結果６１ｂを表示するための画面情報を端末３００に送信する。

図１７を参照して、端末３００は、サーバ２００からの画面情報に基づく画面を表示する。ＵＩツール３４０は、画面情報から異常が検出されたか否かを判定する（ステップＲ１）。異常が検出されないとき（ステップＲ１でＮＯ）、ステップＲ１が繰返されるが、異常が検出されると（ステップＲ１でＹＥＳ）、画面情報に基づき図１８の画面が表示される。図１８の画面は、状態値である“溶接電流”に基づく予兆監視の監視結果６１ｂが“異常”を示したことを通知するアイコン１６Ａを提示する。

図１８の画面において、端末３００は、ＵＩツール３４０によって、アイコン１６Ａを指定する操作を受付けると、受付けたユーザ操作の情報をサーバ２００に転送する（ステップＲ３）。サーバ２００は、端末３００から受信した情報に基づき時系列ＤＢ２５２から、“溶接電流”の変数に対応の“平均値”を示す時系列データ６１２を検索する。端末３００は、検索された時系列データ６１２に基づく画面情報を端末３００に送信し、端末３００は、サーバ２００からの画面情報に基づき図１９の（Ａ）の画面を表示する（ステップＲ５）。図１９の（Ａ）の代表値をプロットしたグラフは、図１３の領域Ｅ２で示したグラフと同様であり、説明は繰り返さない。図１９の（Ａ）のプロットのグラフは、図１９の（Ｂ）のヒストグラムとの間で相互に切替表示できる。このヒストグラムおよび切替表示の仕組みは、図１３で示したものと同様であり、説明は繰返さない。図１９の（Ａ）で表示される代表値のプロット個数を絞込むために、図１４のＵＩ画面が表示されてもよい。

端末３００は、図１９の（Ａ）において、ユーザ操作に基づき選択された“異常”の代表値と“正常”の代表値の状態値に基づく時間波形画像と、撮像画像に基づく動画像とを再生する（ステップＲ１１）。ステップＲ１１の処理は、ステップＴ７とＴ９の処理と同様であり説明は繰返さない。例えば図２０または図２１の画面が表示される。

図２０の画面において、バー１５２を移動させるユーザ操作を受付けるかが判定される（ステップＲ１５）。このユーザ操作を受付ないと判定されると（ステップＲ１５でＮＯ）、ユーザ操作に基づき処理を終了するかが判定される（ステップＲ１９）。処理は終了すると判定されると（ステップＲ１９でＹＥＳ）、処理を終了するが、処理は終了しないと判定されると（ステップＲ１９でＮＯ）、ステップＲ１１に戻る。

ステップＲ１５において、ユーザ操作に基づき、バー１５２の移動操作を受付けた判定されると（ステップＲ１５でＹＥＳ）、受付けた操作量に基づき、画像調整モジュール３４４によって、画像が再生（早送り、巻き戻し、コマ送りなど）される（ステップＲ１５）。その後、ステップＲ１９に移行する。

図１７のフローチャートは、異常が検出されたとき、例えば図１８の画面で表示されたアイコン１６Ａが操作されたとき、運用モードの処理（ステップＲ５～Ｒ１９）を実施するように構成されるが、これに限定されない。例えば、運用モードの処理（ステップＲ５～Ｒ１９）は、ユーザが任意の状態値の変数名を指定操作することで、当該変数の状態値について実施されるとしてもよい。

運用モードでは、図２０の画面において、並列表示される画像の組は、監視結果が異常時および正常時の画像の組としたが、この組合せに限定されず、図２１に示すように、異常時画像または正常時画像を異なるアングルから撮像した画像の組であってもよい。または、閾値を設定するために用いた参照データ７００の画像データ７１２の画像と、当該閾値に基づく運用時の画像との組であってもよい。代表値に対応する代表値の時間波形および再生される動画像として、設定モードで閾値設定に用いた参照データ７００が示す、周期的に収集された状態値の時間波形、および、当該時間に該当する撮像時間が関連付けられた画像の動画像を含めることができる。

これにより、例えば、ユーザは、並列表示される状態値の時間波形と動画像の組から、運用時の代表値の監視結果が“異常”を示しているが、状態値の時間波形は異常波形を含まない（ズレは大きくない）と判断したときは、設定モードで設定された閾値が適切でないと推定できる。

本実施の形態では、設定モードでは図１３の領域Ｅ２において、また、運用モードでは図１９の（Ａ）の画面において、ユーザが任意の代表値を選択操作すると、ＵＩツール３４０は、選択された代表値の時間波形と画像（動画）の組を表示するから、いずれのモードにおいても、ユーザに、制御対象の状態をより容易に判断するためのサポート情報を提供することができる。

なお、図１３の領域Ｅ２、または、図１９の（Ａ）では、ユーザが選択した２つの代表値それぞれについて、状態値の時間波形と動画の組が表示されたが、表示される組数は、２つに限定されない。つまり、ユーザが選択した代表値が３つ以上であれば、状態値の時間波形と動画の組が３つ表示される。また、ユーザが選択した代表値が１つであれば、状態値の時間波形と動画の１つの組が表示される。

＜Ｈ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
対象（１０）を周期的に制御する制御システム（１ａ、１ｂ）であって、
前記対象を被写体として撮像可能な撮像範囲を有する撮像部（４０）と、
前記撮像部によって撮像された画像を撮像時間と関連付けて収集する画像収集部（４６）と、
前記対象の状態値を前記周期的に収集するデータ収集部（１１８ａ）と、
前記周期的に収集された時系列の状態値のうち、予め定められた長さの時間毎に、当該時間において収集された前記状態値の代表値を取得する取得部（１１９ａ）と、
前記取得部によって取得された前記予め定められた長さの時間毎の前記代表値のうちから、少なくとも１つの代表値を選択するユーザ操作を受付ける選択操作受付部（３４５）と、
選択された各前記少なくとも１つの代表値について、当該代表値に対応した前記予め定められた長さの時間において前記周期的に収集された前記状態値の時間波形、および、当該時間に該当する前記撮像時間が関連付けられた前記画像に基づき再生される動画像を並べて表示する波形表示部（３４１、３４２）と、を備える、制御システム。
［構成２］
前記取得部によって取得された前記予め定められた長さの時間毎の前記代表値の時間波形を表示する代表値表示部（３４０）を、さらに備える、構成１に記載の制御システム。
［構成３］
前記選択操作受付部は、前記代表値の時間波形において、前記少なくとも１つの代表値を選択するユーザ操作を受付ける、構成２に記載の制御システム。
［構成４］
前記制御システムは、前記予め定められた長さの時間毎に、当該時間において取得された前記代表値と閾値に基づき前記対象の状態を監視する監視部（１１９）を備え、
前記代表値表示部は、
前記代表値の時間波形において、各代表値の表示態様を当該代表値に基づく前記監視の結果で異ならせる、構成３に記載の制御システム。
［構成５］
前記時間波形における部分波形（１５０）を指定するユーザ操作を受付け、
前記動画像は、受付けられた前記ユーザ操作によって指定された前記部分波形の時間に該当する前記撮像時間が関連付けられた前記画像に基づき再生される動画像を含む、構成１から４のいずれか１に記載の制御システム。
［構成６］
前記制御システムは、
前記予め定められた長さの時間毎に、当該時間において取得された前記代表値と閾値に基づき前記対象の状態を監視する監視部（１１９）と、
前記予め定められた長さの時間であってユーザが指定した時間において前記周期的に収集された前記状態値から、前記閾値を設定する設定部（２１６）と、をさらに備え、
前記波形表示部は、さらに、
前記閾値の設定に用いた前記状態値の前記代表値および前記選択された少なくとも１つの代表値それぞれについて、当該代表値に対応した前記予め定められた長さの時間において前記周期的に収集された前記状態値の時間波形、および、当該時間に該当する前記撮像時間が関連付けられた前記画像に基づき再生される動画像を並べて表示するよう構成される、構成１から５のいずれか１に記載の制御システム。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，１ａ，１ｂ 制御システム、３ 撮像開始指令、４ 制御系ネットワーク、６ 情報系ネットワーク、６１ａ 代表値、６１ｂ 監視結果、８ インターネット、１０ フィールド機器、１６Ａ アイコン、２０ 中継装置、４０ 撮像装置、４６ 画像収集部、４９ａ，４９ｂ 閾値、１１８ａ データ収集部、１１９ 監視処理部、１１９ａ 代表値取得部、１１９ｂ 閾値監視部、１１９ｃ 閾値設定部、１２０ カメラ通信プログラム、１５０ ポイント、１５１ ウィンドウ、２００ サーバ、２１６ 設定モードプログラム、２１７ 運用モードプログラム、２５０ 時系列ＤＢ２５０、３１４ 波形変換プログラム、３１５ 画像再生プログラム、３１６ 閾値操作プログラム、３１７ 画像調整プログラム、３１８ 選択プログラム、３２８ 表示部、３４０ ＵＩツール、３４１ 波形表示モジュール、３４２ 画像再生モジュール、３４３ 閾値操作モジュール、３４４ 画像調整モジュール、３４５ 選択モジュール、４００ 閾値ファイル。

Claims (6)

1. 対象を周期的に制御する制御システムであって、
   前記対象を被写体として撮像可能な撮像範囲を有する撮像部と、
   前記撮像部によって撮像された画像を撮像時間と関連付けて収集する画像収集部と、
   前記対象の状態値を前記周期的に収集するデータ収集部と、
   前記周期的に収集された時系列の状態値のうち、予め定められた長さの時間毎に、当該時間において収集された前記状態値の代表値を取得する取得部と、
   前記取得部によって取得された前記予め定められた長さの時間毎の前記代表値のうちから、少なくとも１つの代表値を選択するユーザ操作を受付ける選択操作受付部と、
   選択された各前記少なくとも１つの代表値について、当該代表値に対応した前記予め定められた長さの時間において前記周期的に収集された前記状態値の時間波形、および、当該時間に該当する前記撮像時間が関連付けられた前記画像に基づき再生される動画像を並べて表示する波形表示部と、を備える、制御システム。
2. 前記取得部によって取得された前記予め定められた長さの時間毎の前記代表値の時間波形を表示する代表値表示部を、さらに備える、請求項１に記載の制御システム。
3. 前記選択操作受付部は、前記代表値の時間波形において、前記少なくとも１つの代表値を選択するユーザ操作を受付ける、請求項２に記載の制御システム。
4. 前記制御システムは、前記予め定められた長さの時間毎に、当該時間において取得された前記代表値と閾値に基づき前記対象の状態を監視する監視部を備え、
   前記代表値表示部は、
   前記代表値の時間波形において、各代表値の表示態様を当該代表値に基づく前記監視の結果で異ならせる、請求項３に記載の制御システム。
5. 前記時間波形における部分波形を指定するユーザ操作を受付ける指定操作受付部を、さらに備え、
   前記動画像は、受付けられた前記ユーザ操作によって指定された前記部分波形の時間に該当する前記撮像時間が関連付けられた前記画像に基づき再生される動画像を含む、請求項１から４のいずれか１項に記載の制御システム。
6. 前記制御システムは、
   前記予め定められた長さの時間毎に、当該時間において取得された前記代表値と閾値に基づき前記対象の状態を監視する監視部と、
   前記予め定められた長さの時間であってユーザが指定した時間において前記周期的に収集された前記状態値から、前記閾値を設定する設定部と、をさらに備え、
   前記波形表示部は、
   前記閾値の設定に用いた前記状態値の前記代表値および前記選択された少なくとも１つの代表値それぞれについて、当該代表値に対応した前記予め定められた長さの時間において前記周期的に収集された前記状態値の時間波形、および、当該時間に該当する前記撮像時間が関連付けられた前記画像に基づき再生される動画像を並べて表示する設定波形表示部を、有する、請求項１から５のいずれか１項に記載の制御システム。
   

Images