JP2020198047A - 稼働監視装置及び稼働監視方法 - Google Patents

Abstract

【課題】複数の装置の稼働状態を効率的に監視することができる稼働監視装置及び稼働監視方法を提供する。【解決手段】稼働状態を表す状態ランプが付設された各装置を撮像する撮像装置から画像データを取得する取得部と、前記画像データの入力を受けて当該画像データに含まれた前記状態ランプの各々が表す各装置の稼働状態を出力するよう機能付けられた学習済みモデルに対し、前記取得部が取得した画像データを入力することで、前記状態ランプの各々が表す各装置の稼働状態を出力する処理部と、を備える。【選択図】図５

Description

本発明は、稼働監視装置及び稼働監視方法に関する。

機械部品等を製造する工場では、複数の装置が設置されることが一般的である。かかる装置には、自装置の稼働状態（稼働中、停止中、異常等）を示す状態ランプが付設されており、状態ランプを目視することで各装置の稼働状態を把握することが可能となっている。但し、個々の装置を直接見て状態ランプを確認する必要があるため、複数の装置の稼働状態を一度に確認することは困難である。

このため、従来、各装置の状態ランプをカメラで撮像した画像から状態ランプの発光状態を認識することで、複数の装置の稼働状態を認識する技術が提案されている。

特開２００７−１１４９６７号公報

しかしながら、上述の従来技術では、画像に含まれる状態ランプ毎に発光状態を認識するための画像処理が発生することになる。そのため、従来技術では、例えばリアルタイムで稼働監視を行うような場合に処理負荷が高くなる可能性があり、効率性の観点から更なる改善の余地があった。

本発明は、上記に鑑みてなされたものであって、複数の装置の稼働状態を効率的に監視することができる稼働監視装置及び稼働監視方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る稼働監視装置は、取得部と、処理部とを備える。取得部は、稼働状態を表す状態ランプが付設された各装置を撮像する撮像装置から画像データを取得する。処理部は、前記画像データの入力を受けて当該画像データに含まれた前記状態ランプの各々が表す各装置の稼働状態を出力するよう機能付けられた学習済みモデルに対し、前記取得部が取得した画像データを入力することで、前記状態ランプの各々が表す各装置の稼働状態を出力する。

本発明に係る稼働監視装置は、複数の装置の稼働状態を効率的に監視することができる。

実施形態の稼働監視装置が適用される工場内のレイアウトの一例を示す平面図である。 実施形態に係る状態ランプの構成例を示す図である。 実施形態の撮像装置によって撮像される画像データの一例を模式的に示す図である。 実施形態に係る稼働監視装置のハードウェア構成の一例を示す図である。 実施形態に係る稼働監視装置の機能構成の一例を示す図である。 実施形態に係る学習済みモデルの生成時の処理の一例を示す図である。 実施形態に係る学習済みモデルの運用時の処理の一例を示す図である。 実施形態の出力部が出力する稼働実績画面の一例を示す図である。 実施形態の稼働監視装置が実行する稼働監視処理の一例を示すフローチャートである。 実施形態の稼働監視装置が実行する稼働実績表示処理の一例を示すフローチャートである。 変形例１に係る学習済みモデルの生成時の処理の一例を示す図である。 変形例１に係る学習済みモデルの運用時の処理の一例を示す図である。 変形例１の稼働監視装置が実行する稼働監視処理の一例を示すフローチャートである。

以下に、本開示に係る稼働監視装置及び稼働監視方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能、且つ、容易に想到できるもの、或いは実質的に同一のものが含まれる。

図１は、実施形態の働監視装置が適用される工場Ｆ内のレイアウトの一例を示す平面図である。図１に示す工場Ｆは、機械部品の製造を行う工場の一例であり、機能や大きさ、メーカの異なる複数の装置が設置されている。図１では、工場Ｆ内に設置された６台の装置を、装置Ｍ１〜Ｍ６で示している。また、装置Ｍ１〜Ｍ６には、自装置の稼働状態を示す状態ランプＬＰ１〜ＬＰ６がそれぞれ付設されている。以下では、装置Ｍ１〜Ｍ６を総称して「装置Ｍ」ともいう。また、状態ランプＬＰ１〜ＬＰ６を総称して「状態ランプＬＰ」ともいう。

図２は、状態ランプＬＰの構成例を示す図である。状態ランプＬＰは、発光色が相違する複数（３つ）のライトＬＰａ〜ＬＰｃを上下方向に並べて配設したものである。状態ランプＬＰは、装置Ｍと協働することで、装置Ｍの稼働状態に応じた発光色のライトを点灯させる。例えば、状態ランプＬＰは、装置Ｍが稼働中である場合、青色のライトＬＰａを点灯させる。また、例えば、状態ランプＬＰは、装置Ｍが停止中である場合、黄色のライトＬＰｂを点灯させる。また、例えば、状態ランプＬＰは、装置Ｍが異常状態にある場合、赤色のライトＬＰｃを点灯させる。

なお、稼働状態の区分や、稼働状態に応じた状態ランプＬＰの点灯パターンは上記例に限らないものとする。例えば、状態ランプＬＰは、複数色のランプを組み合わせて点灯させることで装置Ｍの稼働状態を表してもよい。また、状態ランプＬＰは、ランプの消灯によって、装置Ｍの稼働状態を表してもよい。また、状態ランプＬＰは、ランプの点滅等によって、装置Ｍの稼働状態を表してもよい。

また、装置Ｍの稼働状態に応じた状態ランプＬＰの点灯パターンは、全ての装置Ｍで共通であってもよいし、一部又は全ての装置Ｍで相違していてもよい。例えば、装置Ｍの製造メーカや種別が異なる場合には、状態ランプＬＰの表示色や、稼働状態と点灯パターンとの対応関係が相違する可能性がある。本実施形態では、仕様の異なる状態ランプＬＰが混在するものとして説明を進める。

装置Ｍは、工場Ｆ内に設置された撮像装置１０（図１参照）によって撮像される。撮像装置１０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary MOS）等の撮像素子を有し、撮影した画像を電子データ（以下、画像データ）として取り込むことが可能なデジタルカメラである。撮像装置１０は、工場Ｆ内において、監視の対象となる装置Ｍ１〜Ｍ６の各々を撮像可能な位置に設けられる。具体的には、撮像装置１０は、装置Ｍ１〜Ｍ６の各々に設けられた状態ランプＬＰを撮像可能な位置に設けられる。

図３は、撮像装置１０によって撮像される画像データの一例を模式的に示す図である。図３に示すように、画像データＧ１には、装置Ｍ１〜Ｍ６の各々に設けられた状態ランプＬＰを表す領域（以下、ランプ領域という）が含まれる。つまり、画像データＧ１には、装置Ｍに付設された状態ランプＬＰの発光状態、つまり装置Ｍの稼働状態が視認可能な状態で表されている。

なお、図１では、１台の撮像装置１０によって監視対象の装置Ｍの全てを撮像する例を示しているが、撮像装置１０の台数はこれに限定されないものとする。例えば、１台の撮像装置１０で装置Ｍの全てを収めることができない場合には、複数台の撮像装置１０を用いて撮像を行ってもよい。この場合、例えば、後述する取得部２１１等において、複数台の撮像装置１０各々で同タイミングに撮像された画像データを画像処理によって合成することで、図３と同様に、各装置Ｍの状態ランプＬＰを含んだ画像データを得ることができる。

本実施形態に係る稼働監視装置２０は、工場Ｆ内又は工場Ｆとは異なる建屋内に設置され、撮像装置１０と有線又は無線により接続される。稼働監視装置２０は、例えばＰＣ（Personal Computer）やサーバ装置等の情報処理装置であり、撮像装置１０で撮像された画像データに基づき装置Ｍの稼働状態を監視する。以下、稼働監視装置２０について説明する。

図４は、本実施形態に係る稼働監視装置２０のハードウェア構成の一例を示す図である。図４に示すように、稼働監視装置２０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、記憶部２４、操作部２５、表示部２６、及び接続部２７を備える。

ＣＰＵ２１は、プロセッサの一例であり、ＲＯＭ２２や記憶部２４に記憶されたプログラムを実行することにより、稼働監視装置２０の各部を統括的に制御する。ＲＯＭ２２は、ＣＰＵ２１によって実行されるプログラム等を記憶する。ＲＡＭ２３は、プログラムの実行に必要なデータ等を一時的に記憶するワークエリアとして、ＣＰＵ２１に使用される。

記憶部２４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置である。記憶部２４は、ＣＰＵ２１が実行可能なプログラムや各種の情報を記憶する。例えば、記憶部２４は、装置Ｍの稼働状態の判定に係る学習済みモデル２４１を記憶する。また、例えば、記憶部２４は、装置Ｍの稼働状態の履歴を示すログデータ２４２を記憶する。

操作部２５は、操作者からの入力操作を受け付ける。例えば、操作部２５は、スイッチボタン、マウス、キーボード等によって実現される。表示部２６は、ＣＰＵ２１の制御の下、各種情報を表示する。例えば、表示部２６は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ等によって実現される。なお、操作部２５及び表示部２６は、タッチパネル構成であってもよい。

接続部２７は、撮像装置１０と接続可能なインタフェースである。例えば、撮像装置１０がネットワークカメラである場合、接続部２７は、ネットワークカードやネットワークアダプタ等によって実現され、ルータ等のネットワーク機器を介して撮像装置１０に接続される。また、撮像装置１０がＵＳＢ（Universal Serial Bus）等の規格に準拠した接続インタフェースを具備する場合、接続部２７は、その規格に準拠した接続インタフェースによって実現され、ＵＳＢケーブル等を介して撮像装置１０に接続される。

また、稼働監視装置２０は、図５に示す機能構成を備える。ここで、図５は、実施形態に係る稼働監視装置２０の機能構成の一例を示す図である。

図５に示すように、稼働監視装置２０は、取得部２１１、処理部２１２、記録部２１３、表示制御部２１４、報知部２１５、及び生成部２１６を機能部として備える。これら機能部の一部又は全ては、プロセッサ（ＣＰＵ２１）とメモリ（記憶部２４）に記憶された各種プログラムとの協働により実現されるソフトウェア構成であってもよいし、専用回路等で実現されるハードウェア構成であってもよい。

取得部２１１は、撮像装置１０で撮像された画像データを、接続部２７を介して取得する。取得部２１１が画像データを取得するタイミングは特に問わず、任意に設定することが可能である。例えば、取得部２１１は、所定の時間間隔毎に画像データを取得してもよい。また、取得部２１１は、撮像装置１０で常時撮像される動画像を画像データとして連続的に取得してもよい。

ところで、上述したように撮像装置１０が撮像する画像データには、装置Ｍの各々に付設された状態ランプＬＰが含まれている。そのため、画像データに表された状態ランプＬＰの発光色を画像処理等の既存技術を用いて解析することで、装置Ｍの稼働状態を自動で認識することできる。しかしながら、状態ランプＬＰの発光色を画像処理によって自動認識する手法では、状態ランプＬＰ毎に画像処理が発生するため、例えばリアルタイムで処理するような場合に処理負荷が高くなる可能性がある。

また、画像データ上での状態ランプＬＰの見え方は、工場Ｆ内の照明環境の影響を受けるため、状態ランプＬＰの発光色を画像処理により自動認識する既存の手法では、装置Ｍの稼働状態を正確に認識できない可能性がある。

例えば、工場Ｆでは、採光のための窓が設けられることが一般的である。この場合、工場Ｆ内の照明環境、つまり工場Ｆ内を照明する光色や明るさ等は、外光の影響を受けることになるため、時間帯（例えば日中と夜間）や天候等によって変化することになる。このように、画像データ上に表される状態ランプＬＰの発光色やその明るさは、同一の装置Ｍに付設された状態ランプＬＰであっても、時間帯によって変化するため不均一となる。そのため、上述した既存の手法では、照明環境による影響を排除又は加味することができず、装置Ｍの稼働状態を正確に認識できない可能性がある。

そこで、本実施形態の稼働監視装置２０では、各装置Ｍの稼働状態を効率的且つ高精度に判定するため、学習済みモデル２４１を用いることで、画像データから装置Ｍの稼働状態を導出する。

具体的には、処理部２１２は、取得部２１１によって取得された画像データを、学習済みモデル２４１に入力することで得られる出力結果に基づき、状態ランプの各々が表す装置Ｍの稼働状態を出力する。

ここで、学習済みモデル２４１は、機械学習によって生成されるモデルである。学習済みモデル２４１は、画像データの入力を受けて、当該画像データに含まれた状態ランプＬＰの各々が表す装置Ｍの稼働状態を出力するよう機能付けられている。学習済みモデル２４１は、稼働監視装置２０以外の外部装置で生成されたものであってもよいし、稼働監視装置２０で生成されたものであってもよい。本実施形態では、稼働監視装置２０の生成部２１６が学習済みモデル２４１を生成するものとして説明を進める。

図６は、本実施形態に係る学習済みモデル２４１の生成時（学習時）の処理の一例を示す図である。図６に示すように、学習時において、生成部２１６は、画像データを例題データとして入力する。また、生成部２１６は、画像データに表された状態ランプＬＰの各位置（ランプ領域）と、その状態ランプＬＰが表す装置Ｍの稼働状態とを対応付けたデータを回答データとして入力する。

例えば、図３に示した画像データＧ１を例題データとする場合、状態ランプＬＰ１〜ＬＰ６の各位置（ランプ領域）と、当該ランプ領域の各々に対して設定された、状態ランプＬＰが表す装置Ｍの稼働状態（動作中、停止中、異常）とが回答データとなる。なお、例題データと回答データとの組で構成される教師データは複数用意されるものとするが、照明環境及び装置Ｍの稼働状態の条件が異なる教師データを複数用意することが好ましい。

例えば、教師データは、一又は複数年間を通して撮像された画像データに基づき作成されたものであってもよい。また、教師データは、コンピュータシミュレーション等によって生成されたものであってもよい。この場合、教師データ（画像データ）は、例えば、撮像装置１０で撮像された画像データを基に生成された、照明環境及び装置Ｍの稼働状態の条件が異なるＣＧ（コンピュータグラフィックス）データを含んでもよい。このように、教師データをコンピュータシミュレーション等によって生成することで、教師データの準備に要する時間を短くすることができるため、学習済みモデル２４１の生成を効率的に行うことができる。

生成部２１６は、上述した教師データを用いて機械学習を実行することで、学習済みモデル２４１を生成する。具体的には、生成部２１６は、画像データに含まれた各ランプ領域について、様々な照明環境下におけるランプ領域の見え方と、そのランプ領域の表示内容（発光色、明るさ等）が表す装置Ｍの稼働状態との関係を学習させる。かかる学習済みモデル２４１は、例えば、ニューラルネットワーク（Neural Network）により構成することができる。ニューラルネットワークは、層状に並べた隣接層間が結合した構造を有し、情報が入力層側から出力層側に伝播するネットワークである。

例えば、生成部２１６は、上述したデータセットをニューラルネットワークに入力する。ここで、ニューラルネットワークにおいては、入力層側から出力層側に向かって一方向に、隣接層間でのみ結合しながら情報が伝播する。なお、多層のニューラルネットワークは、例えば、入力層と、複数の中間層（隠れ層）と、出力層とにより構成される。このようなニューラルネットワークでは、パラメータを調整することにより、任意の関数を表現することができる。

そして、生成部２１６は、例題データを入力した際にニューラルネットワークが好ましい結果を出力することができるよう、ニューラルネットワークのパラメータを調整する。具体的には、生成部２１６は、様々な照明環境下におけるランプ領域の見え方と、そのランプ領域の表示内容（発光色、明るさ等）が表す装置Ｍの稼働状態との関係から、何れの照明環境であっても装置Ｍの稼働状態を正確に出力することができるようパラメータを調整する。また、生成部２１６は、ランプ領域毎に上記のパラメータ調整を行うことで、ランプ領域毎に稼働状態を出力することが可能な学習済みモデル２４１を生成する。

これにより、生成部２１６は、画像データの入力を受けて当該画像データに含まれた各状態ランプＬＰが表す装置Ｍの稼働状態を出力するよう機能付けた学習済みモデル２４１を生成することができる。このように生成された学習済みモデル２４１では、外光の影響により工場Ｆ内の照明環境が変化するような場合であっても、その影響具合を加味して各装置Ｍの稼働状態を出力することができる。また、学習済みモデル２４１では、状態ランプＬＰ毎にパラメータ設定が調整されているため、例えば、装置Ｍ毎に状態ランプＬＰの仕様や照明環境が異なる場合であっても、各状態ランプＬＰが表す稼働状態を個別に出力することができる。

なお、学習済みモデル２４１がニューラルネットワークにより構成されるものとして説明したが、機械学習の手法はこれに限定されるものではない。学習済みモデル２４１は、ニューラルネットワーク以外の機械学習手法で生成されてもよい。例えば、生成部２１６は、ＳＶＭ（サポートベクターマシン）やディープラーニング等の他の機械学習手法によって生成されてもよい。

次に、図７を参照して、学習済みモデル２４１の運用時の処理の一例について説明する。ここで、図７は、実施形態に係る学習済みモデル２４１の運用時の処理の一例を示す図である。

まず、処理部２１２は、取得部２１１によって画像データが取得されると、その画像データを学習済みモデル２４１に入力する。そして、処理部２１２は、学習済みモデル２４１の出力結果に基づき、状態ランプＬＰの各々が表す装置Ｍの稼働状態を出力する。具体的には、処理部２１２は、学習済みモデル２４１が出力するランプ位置毎の稼働状態に基づき、当該ランプ位置に対応する装置Ｍを特定する。そして、処理部２１２は、特定した装置Ｍを識別する識別子と稼働状態とを対応付けた情報を出力する。

このように、処理部２１２は、状態ランプＬＰの発光色を認識するための画像処理を行うことなく、画像データに含まれた状態ランプＬＰの各々が表す装置Ｍの稼働状態を直ちに出力することができる。したがって、処理部２１２は、各装置Ｍの稼働状態を効率的に出力することができる。また、処理部２１２が出力する装置Ｍの稼働状態は、上述したように、外光による影響を加味した学習済みモデル２４１から導出されたものとなる。したがって、処理部２１２は、外光の影響により工場Ｆ内の照明環境が変化するような場合であっても、各装置Ｍの稼働状態を精度よく出力することができる。

図５に戻り、記録部２１３は、処理部２１２の出力結果に基づき、各装置Ｍの稼働状態の履歴をログデータ２４２として記録する。具体的には、記録部２１３は、前回記録した装置Ｍの稼働状態が他の稼働状態に変化したことを検出すると、装置Ｍを識別する識別子と、変化後の稼働状態と、稼働状態の変化が検出された日時とを対応付け、ログデータ２４２として記録する。

なお、ログデータ２４２の記録方法は上記例に限らないものとする。例えば、記録部２１３は、処理部２１２で稼働状態の判定が行われる度にログデータ２４２を記録してもよい。かかる記録方法によれば、装置Ｍの稼働状態が変化しない場合であっても、前回と同じ稼働状態又は「変化なし」を示す情報をログデータ２４２として記録することができる。また、例えば、記録部２１３は、装置Ｍ毎又は稼働状態毎にログデータ２４２を記録してもよい。

表示制御部２１４は、表示部２６を制御し、装置Ｍの状態監視に係る各種画面を表示出力させる。具体的には、表示制御部２１４は、処理部２１２の出力結果に基づき、各装置Ｍの稼働状態を表示部２６に表示させる。各装置Ｍの稼働状態の表示方法は特に問わず、種々の表示形態を採用することが可能である。例えば、表示制御部２１４は、工場Ｆ内での各装置Ｍのレイアウトを示したレイアウト画面を表示し、当該レイアウト画面に表された各装置Ｍを表すオブジェクトに、各装置Ｍの稼働状態を状態ランプＬＰの表示色等を用いて識別可能に表示させてもよい。かかる表示により、稼働監視装置２０のオペレータは、装置Ｍ全体の現在の稼働状態を容易に確認することができる。

また、表示制御部２１４は、記録部２１３によって記録されたログデータ２４２に基づき、所定期間内における各装置Ｍの稼働実績（稼働状況）を表した稼働実績画面を表示させる。例えば、表示制御部２１４は、操作部２５等を介して対象期間が指定されると、対象期間に記録されたログデータ２４２に基づき、対象期間内での各装置Ｍの稼働実績を表した稼働実績画面を表示させる。

図８は、実施形態の表示制御部２１４が出力（表示）する稼働実績画面の一例を示す図である。図８の稼働実績画面Ｇ２は、対象期間となった特定の日における装置Ｍ１〜Ｍ６の稼働実績をグラフで示したものである。装置Ｍ１〜Ｍ６のグラフは、対象期間として指定された日付の０時から２４時までを表しており、装置Ｍ１〜Ｍ６の稼働実績が時系列順に表示されている。ここでは、同一の稼働状態が継続した区間を当該稼働状態に対応する発光色（図２に示した状態ランプの表示色）で表しており、装置Ｍが稼働中、停止中、異常の何れの状態にあるかを示す。

このように、表示制御部２１４は、ログデータに基づき稼働実績画面Ｇ２を表示することで、稼働監視装置２０のオペレータは、対象期間における各装置Ｍの稼働実績を容易に確認することができる。また、稼働監視装置２０のオペレータは、グラフ中に占める各種ハッチング領域の大きさや割合等から、各装置Ｍの稼働率や異常の発生率を把握することができる。

なお、稼働実績画面Ｇ２の表示形態は、図８の例に限定されないものとする。例えば、表示制御部２１４は、円グラフ等の表示形態を用いることで、各装置Ｍの稼働時間を統計的に表示させてもよい。また、例えば、表示制御部２１４は、所的期間中に占める「稼働中」時間の割合や「異常」時間の割合を算出することで、稼働率や異常発生率を直接表示する形態としてもよい。

また、稼働実績画面Ｇ２の表示に係る対象期間は、１日単位に限らないものとする。例えば、対象期間は、複数の日付に亘る期間や、週、月、年の単位で指定することも可能である。

図５に戻り、報知部２１５は、処理部２１２の出力結果に基づき、異常状態にある装置Ｍを検出した場合に報知を行う。具体的には、報知部２１５は、処理部２１２及び記録部２１３と協働することで、何れかの装置Ｍの稼働状態が「異常」を示す状態に変化したことを検出すると異常発生の報知を行う。

なお、報知方法は特に問わず、種々の方法を採用することが可能である。例えば、報知部２１５は、表示制御部２１４と協働することで、異常が発生した装置Ｍを強調表示させてもよい。また、報知部２１５は、通信装置等を介して他の装置に異常が発生した装置Ｍを報知してもよい。

次に、上述した稼働監視装置２０の動作について説明する。まず、図９を参照して、稼働監視装置２０が実行する装置Ｍの稼働監視に係る処理（稼働監視処理）について説明する。

図９は、実施形態の稼働監視装置２０が実行する稼働監視処理の一例を示すフローチャートである。なお、本処理の前提として、取得部２１１により画像データの取得が順次行われているものとする（ステップＳ１１）。

処理部２１２は、取得部２１１で画像データが取得されると、その画像データを学習済みモデル２４１に入力する（ステップＳ１２）。処理部２１２は、学習済みモデル２４１の出力結果に基づき、画像データに含まれた状態ランプＬＰの各々が表す装置Ｍの稼働状態を出力する（ステップＳ１３）。ここで、表示制御部２１４は、処理部２１２の出力結果に基づき、各装置Ｍの最新の稼働状態を表示部２６に表示させてもよい。

続いて、記録部２１３は、処理部２１２の出力結果に基づき、稼働状態が変化した装置Ｍが存在するか否かを判定する（ステップＳ１４）。全ての装置Ｍの稼働状態が前回記録した稼働状態と同一である場合、記録部２１３は、稼働状態が変化した装置Ｍは存在しないと判定し（ステップＳ１４；Ｎｏ）、ステップＳ１１に処理を戻す。

一方、前回記録した稼働状態とは異なる装置Ｍが存在する場合、記録部２１３は、稼働状態が変化した装置Ｍが存在すると判定する（ステップＳ１４；Ｙｅｓ）。この場合、記録部２１３は、該当する装置Ｍの稼働状態を日時データと対応付け、ログデータ２４２として記録する（ステップＳ１５）。

続いて、報知部２１５は、稼働状態が変化した装置Ｍのうち、変化後の稼働状態が「異常」を示す装置Ｍが存在するか否かを判定する（ステップＳ１６）。存在しないと判定した場合には（ステップＳ１６；Ｎｏ）、報知部２１５は、報知を行うことなくステップＳ１１に処理を戻す。また、存在すると判定した場合（ステップＳ１６；Ｙｅｓ）、報知部２１５は、該当する装置Ｍの異常を報知した後（ステップＳ１７）、ステップＳ１１に処理を戻す。

稼働監視装置２０は、工場Ｆが稼働している間、上述の稼働監視処理を常時又は一定期間毎に実行することで各装置Ｍの稼働状態を監視する。そして、稼働監視装置２０は、各装置Ｍの稼働状態の履歴をログデータ２４２として記録する。

次に、図１０を参照して、稼働実績画面の表示に係る処理について説明する。図１０は、実施形態の稼働監視装置２０が実行する稼働実績表示処理の一例を示すフローチャートである。

まず、表示制御部２１４は、操作部２５等を介して、表示の対象となる対象期間の指定を受け付ける（ステップＳ２１）。対象期間が指定されると、表示制御部２１４は、その対象期間の間に記録されたログデータ２４２を記憶部２４から読み出す（ステップＳ２２）。

続いて、表示制御部２１４は、読み出したログデータ２４２に基づき、各装置Ｍの稼働実績を時系列順又は統計的に表した稼働実績画面を生成し（ステップＳ２３）、表示部２６に表示させる（ステップＳ２４）。

このように、稼働監視装置２０では、稼働監視で得られたログデータに基づき、対象期間における各装置Ｍの稼働実績を表した稼働実績画面を表示する。これにより、稼働監視装置２０は、対象期間における各装置Ｍの稼働実績を稼働監視装置２０のオペレータに容易に確認させることができるため、稼働監視に係る利便性の向上を図ることができる。

以上のように、本実施形態に係る稼働監視装置２０は、画像データの入力を受けて当該画像データに含まれた状態ランプＬＰの各々が表す装置Ｍの稼働状態を出力するよう機能付けられた学習済みモデル２４１に対し、撮像装置１０が撮像した画像データを入力することで、状態ランプＬＰの各々が表す各装置Ｍの稼働状態を出力する。これにより、稼働監視装置２０は、状態ランプＬＰの発光色を認識するための画像処理を行うことなく、各装置Ｍの稼働状態を直ちに出力することができるため、稼働状態の監視を効率的に行うことができる。

また、稼働監視装置２０は、状態ランプＬＰの発光に係る仕様が一部又は全部の装置Ｍで異なる場合であっても、各状態ランプＬＰの仕様に準じて稼働状態を出力することができる。したがって、稼働監視装置２０は、例えば製造メーカの異なる装置Ｍが混在するような場合であっても、各装置Ｍの稼働状態を効率的に監視することができる。

また、稼働監視装置２０は、外光による照明環境への影響具合を加味して生成された学習済みモデル２４１を用いて各装置Ｍの稼働状態を出力する。したがって、稼働監視装置２０は、例えば日中と夜間とのように、工場Ｆ内の照明環境が変化するような場合であっても、各装置Ｍの稼働状態を高精度に出力することができる。

なお、上述した実施形態は、稼働監視装置２０が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

［変形例１］
上述の実施形態では、画像データの入力を受けて、当該画像データに含まれる状態ランプＬＰの各々が表す装置Ｍの稼働状態を出力するよう機能付けられた学習済みモデル２４１を用いて稼働監視を行う形態を説明した。しかしながら、学習済みモデル２４１の形態は、これに限定されるものではない。例えば、装置Ｍの稼働状態をより高精度に導出（推論）するための付加データを追加入力可能な形態としてもよい。

そこで、本変形例では、画像データと、当該画像データが撮像された際の工場Ｆ内の照明環境に関係する付加データとから、装置Ｍの稼働状態を出力するよう機能付けられた学習済みモデル２４１を用いた例について説明する。なお、第１の実施形態と同様の構成要素については、同一の符号を付与し説明を適宜省略する。

まず、図１１を参照して、変形例１に係る学習済みモデル２４１の生成時の処理について説明する。図１１は、変形例１に係る学習済みモデル２４１の生成時の処理の一例を示す図である。

図１１に示すように、学習時において、生成部２１６は、画像データと当該画像データが撮像された際の照明環境に関係する付加データとの組を例題データとして入力する。また、生成部２１６は、画像データに表された状態ランプＬＰの各位置（ランプ領域）と、その状態ランプＬＰが表す装置Ｍの稼働状態とを対応付けたデータを回答データとして入力する。

ここで、付加データは、画像データが撮像された際の照明環境を直接又は間接的に表す情報である。付加データは、特に問わず種々の情報を用いることができる。

例えば、工場Ｆ内の照明環境は、外光の影響を受けるため、日中や夜間、季節等の時間帯と有意な関係を有する。そこで、画像データが撮像された日時を示す日時データを付加データとしてもよい。日時データを付加データとすることで、時間帯と照明環境との関係、つまり時間帯と状態ランプＬＰの各発光状態の見え方との関係を学習済みモデル２４１に反映することができる。

また、工場Ｆ内の照明環境は、外光の影響を受けるため、晴天や曇天等の工場Ｆ周辺の天候（空の様子）と有意な関係を有する。そこで、画像データが撮像された際の、工場Ｆ周辺の天候を示す天候データを付加データとしてもよい。天候データを付加データとすることで、天候と照明環境との関係、つまり天候と状態ランプＬＰの各発光状態の見え方との関係を学習済みモデル２４１に反映することができる。

また、工場Ｆ内の照明環境は、工場Ｆ内の環境光（照度及び光色（色温度））と有意な関係を有する。そこで、画像データが撮像された際の、工場Ｆ内の環境光を示す環境光データを付加データとしてもよい。かかる環境光データを付加データとすることで、環境光と状態ランプＬＰの各発光状態の見え方との関係を学習済みモデル２４１に反映することができる。

なお、付加データの取得方法は特に問わず、種々の方法を採用することが可能である。例えば、取得部２１１は、撮像装置１０から画像データを取得する度に、その取得した日時を示す日時データをＲＴＣ（Real Time Clock）等から取得してもよい。また、動画像を画像データとして取得する場合には、各フレームに記録されたタイムコードを日時データをとして取得してもよい。また、例えば、取得部２１１は、気象観測を行う外部の機関から提供される天候データを取得してもよい。また、例えば、取得部２１１は、照度計や色温度計等のセンサ装置で計測された環境光データを取得してもよい。

また、上述した日時データ、天候データ及び環境光データは、単独で入力されてもよいし、組み合わせて入力されてもよい。例えば、日時データ及び天候データを組み合わせて入力することで、外光の影響を受けやすい日中の天候を特徴付けることができる。また、例題データと回答データとの組で構成される教師データは複数用意されるものとするが、付加データ及び装置Ｍの稼働状態の条件が異なる教師データを複数用意することが好ましい。

例えば、教師データは、一又は複数年間を通して撮像された画像データに基づき作成されたものであってもよい。また、教師データは、コンピュータシミュレーション等によって生成されたものであってもよい。この場合、教師データ（画像データ）は、例えば、撮像装置１０で撮像された画像データを基に生成された、付加データ及び装置Ｍの稼働状態の条件が異なるＣＧデータを含んでもよい。このように、教師データをコンピュータシミュレーション等によって生成することで、教師データの準備に要する時間を短くすることができるため、学習済みモデル２４１の生成を効率的に行うことができる。

生成部２１６は、上述した教師データを用いて機械学習を実行することにより、本変形例に係る学習済みモデル２４１を生成する。具体的には、生成部２１６は、画像データに含まれた各ランプ領域について、ランプ領域の表示内容と、付加データが直接又は間接的に示す照明環境との関係から、様々な照明環境下における各稼働状態を表す光の見え方を学習させる。

そして、生成部２１６は、ランプ領域の表示内容と、付加データが示す照明環境との関係から、何れの照明環境であっても装置Ｍの稼働状態を正確に出力することができるようパラメータを調整する。これにより、生成部２１６は、取得部によって取得された画像データと当該画像データの撮像時の付加データとの入力を受けて、当該画像データに含まれた各状態ランプＬＰが表す装置Ｍの稼働状態を出力するよう機能付けた学習済みモデル２４１を生成することができる。

このように生成された学習済みモデル２４１では、外光の影響により工場Ｆ内の照明環境が変化するような場合であっても、その影響具合を加味して各装置Ｍの稼働状態を出力することができる。さらに、上述の実施形態と比較し、本変形例に係る学習済みモデル２４１では、撮像時の照明環境を直接又は間接的に特定可能な付加データを用いて稼働状態の導出を行うため、各装置Ｍの稼働状態をより高精度に出力することができる。

次に、図１２を参照して、変形例１に係る学習済みモデル２４１の運用時の処理の一例について説明する。ここで、図１２は、変形例１に係る学習済みモデル２４１の運用時の処理の一例を示す図である。

まず、処理部２１２は、取得部２１１によって画像データが取得されると、その画像データと当該画像データの撮影時に取得された付加データとを学習済みモデル２４１に入力する。そして、処理部２１２は、学習済みモデル２４１の出力結果に基づき、状態ランプＬＰの各々が表す装置Ｍの稼働状態を出力する。

このように、処理部２１２は、状態ランプＬＰの発光色を認識するための画像処理を行うことなく、画像データに含まれた状態ランプＬＰの各々が表す装置Ｍの稼働状態を直ちに出力することができる。したがって、処理部２１２は、各装置Ｍの稼働状態を効率的に出力することができる。また、処理部２１２が出力する装置Ｍの稼働状態は、上述したように、外光による影響を加味した学習済みモデル２４１から導出されたものとなる。したがって、処理部２１２は、外光の影響により工場Ｆ内の照明環境が変化するような場合であっても、各装置Ｍの稼働状態を精度よく出力することができる。

次に、本変形例に係る稼働監視装置２０の動作について説明する。図１３は、変形例１の稼働監視装置２０が実行する稼働監視処理の一例を示すフローチャートである。なお、本処理の前提として、取得部２１１による画像データの取得が順次行われているものとする（ステップＳ３１）。

処理部２１２は、取得部２１１で画像データが取得されると、その画像データと当該画像データの撮像時に取得された付加データとを学習済みモデル２４１に入力する（ステップＳ３２）。次いで、処理部２１２は、学習済みモデル２４１の出力に基づき、各装置Ｍの稼働状態を出力する（ステップＳ３３）。なお、ステップＳ３４〜ステップＳ３７の処理は、上述したステップＳ１４〜ステップＳ１７の処理と同様であるため説明を省略する。

以上のように、本変形例に係る稼働監視装置２０は、画像データと、当該画像データが撮像された際の付加データとの入力を受けて当該画像データに含まれた状態ランプＬＰの各々が表す装置Ｍの稼働状態を出力するよう機能付けられた学習済みモデル２４１に対し、撮像装置１０が撮像した画像データを入力することで、状態ランプＬＰの各々が表す各装置Ｍの稼働状態を出力する。これにより、稼働監視装置２０は、状態ランプＬＰの発光色を認識するための画像処理を行うことなく、各装置Ｍの稼働状態を直ちに出力することができるため、稼働状態の監視を効率的に行うことができる。

また、稼働監視装置２０は、外光による照明環境への影響具合を加味して生成された学習済みモデル２４１を用いて各装置Ｍの稼働状態を出力する。したがって、稼働監視装置２０は、例えば日中と夜間とのように、工場Ｆ内の照明環境が変化するような場合であっても、各装置Ｍの稼働状態を高精度に出力することができる。また、稼働監視装置２０は、工場Ｆ内の照明環境に関係する時間帯や天候、環境光等の付加データを用いて装置Ｍの稼働状態を導出するため、各装置Ｍの稼働状態をより高精度に出力することができる。

以上、本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…撮像装置、２０…状態監視装置、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…記憶部、２５…操作部、２６…表示部、２７…接続部、２１１…取得部、２１２…処理部、２１３…記録部、２１４…表示制御部、２１５…報知部、２１６…生成部、２４１…学習済みモデル、２４２…ログデータ

Claims (8)

1. 稼働状態を表す状態ランプが付設された各装置を撮像する撮像装置から画像データを取得する取得部と、
   前記画像データの入力を受けて当該画像データに含まれた前記状態ランプの各々が表す各装置の稼働状態を出力するよう機能付けられた学習済みモデルに対し、前記取得部が取得した画像データを入力することで、前記状態ランプの各々が表す各装置の稼働状態を出力する処理部と、
   を備える稼働監視装置。
2. 前記学習済みモデルは、前記画像データと当該画像データが撮像された際の照明環境に関係する付加データとの入力を受けて当該画像データに含まれた前記状態ランプの各々が表す各装置の稼働状態を出力するよう機能付けられており、
   前記処理部は、前記取得部が取得した画像データと当該画像データが撮像された際の付加データとを学習済みモデルに入力することで、前記状態ランプの各々が表す各装置の稼働状態を出力する請求項１に記載の稼働監視装置。
3. 前記付加データは、前記画像データが撮像された日時を示す日時データである請求項２に記載の稼働監視装置。
4. 前記付加データは、前記画像データが撮像された際の、前記各装置が設置された施設周辺の天候を示す天候データである請求項２に記載の稼働監視装置。
5. 前記付加データは、前記画像データが撮像された際の、前記各装置が設置された施設内の照度及び光色を示す環境光データである請求項２に記載の稼働監視装置。
6. 前記処理部から出力された前記各装置の稼働状態の履歴を記録する記録部と、
   前記記録部で記録された前記履歴に基づいて、所定期間における前記各装置の稼働実績を表す画面を表示する表示制御部と、
   を更に備える請求項１〜５の何れか一項に記載の稼働監視装置。
7. 前記処理部の出力結果に基づいて、前記稼働状態が異常を示す装置の報知を行う報知部を更に備える請求項１〜６の何れか一項に記載の稼働監視装置。
8. 稼働監視装置で実行される稼働監視方法であって、
   稼働状態を表す状態ランプが付設された各装置を撮像する撮像装置から画像データを取得する取得工程と、
   前記画像データの入力を受けて当該画像データに含まれた前記状態ランプの各々が表す各装置の稼働状態を出力するよう機能付けられた学習済みモデルに対し、前記取得工程で取得された画像データを入力することで、前記状態ランプの各々が表す各装置の稼働状態を出力する処理工程と、
   を含む稼働監視方法。

Images