JP2022149401A - 状態判定装置、状態判定方法、及びプログラム - Google Patents

Abstract

【課題】設備運転の運転人員の負荷軽減や省力化を図ることが可能な状態判定装置、状態判定方法、及びプログラムを提供する。【解決手段】前段の設備から後段の設備へ対象物を搬送する搬送設備において、前記対象物が搬送される様子を撮像可能に設けられた撮像装置から、前記対象物が撮像された画像を取得する画像取得部と、前記画像取得部によって取得された前記画像に基づき、前記画像内の前記対象物の搬送量を取得する搬送量取得部と、前記画像取得部によって取得された異なる時間に撮像された複数の前記画像に基づき、前記画像内の前記対象物の運動量を取得する運動量取得部と、前記搬送量取得部によって取得された前記対象物の搬送量及び前記運動量取得部によって取得された前記対象物の運動量に基づき、前記対象物の状態が要求される条件を満たすか否かを判定する状態判定部と、を備える、状態判定装置。【選択図】図２

Description

本発明は、状態判定装置、状態判定方法、及びプログラムに関する。

対象物が搬送される工程が含まれる設備において、当該対象物の状態を把握することは、設備の運転状態を制御するために重要である。
例えば、下水処理場において、下水中の固形分は、脱水設備にて脱水処理されて脱水汚泥（対象物の一例）となり、当該脱水汚泥に対して焼却設備にて焼却処理が行われたり、乾燥設備にて乾燥処理が行われたりする。脱水汚泥は、ベルトコンベアやスクリューコンベア等の搬送設備によって、脱水設備から焼却設備や乾燥設備へ搬送される。
脱水汚泥の搬送時、作業員は、脱水汚泥の状態が後工程の処理に適した状態であるか否かを目視によって判定し、判定結果に応じて脱水汚泥を後工程の設備へ供給して良いか否かを決定している場合がある。作業員の目視による判定では、作業員の経験によって判定の精度にばらつきが生じる恐れがある。
そこで、対象物の状態を作業員による目視以外の方法で判定することにより、判定の精度を高めるための技術が各種提案されている。

例えば、下記特許文献１には、脱水機の排出口から排出されたスラリー状汚泥（対象物の一例）を連続して採取し、押し固めた後にマイクロ波によって含水率を測定する技術が開示されている。

また、下記特許文献２には、水処理槽の汚泥水を搬送流路へ流し、搬送流路を通って搬送される汚泥水を撮像し、得られた画像に対して画像処理を行うことで、汚泥水に含まれる活性汚泥（対象物の一例）の状態を評価する技術が開示されている。

特開２０２０－１０１９号公報 国際公開第２０１７／０３０１３８号

しかしながら、特許文献１の技術では、スラリー状汚泥を採取するための設備や押し固めるための設備など、対象物の状態を把握するために多くの設備を設ける必要がある。また、特許文献１の技術では、スラリー状汚泥を押し固めて測定する必要があり、測定後の汚泥が塊となって後工程の設備へ搬送され、後工程の設備の運転に影響を及ぼす恐れがある。特許文献２の技術では、評価対象が活性汚泥であり、スラリー状汚泥の状態を判定することは困難であった。このように、設備面、コスト面、評価対象の相違等により、運転人員が目視によってスラリー状汚泥の状態の判定を行わざるを得ない場合があった。この場合、目視によるスラリー状汚泥の状態を判定する運転員を用意する必要があるほか、運転経験の違いにより判定結果が異なることがあった。

上述の課題を鑑み、本発明の目的は、設備運転の運転人員の負荷軽減や省力化を図ることが可能な状態判定装置、状態判定方法、及びプログラムを提供することにある。

上述の課題を解決するために、本発明の一態様に係る状態判定装置は、前段の設備から後段の設備へ対象物を搬送する搬送設備において、前記対象物が搬送される様子を撮像可能に設けられた撮像装置から、前記対象物が撮像された画像を取得する画像取得部と、前記画像取得部によって取得された前記画像に基づき、前記画像内の前記対象物の搬送量を取得する搬送量取得部と、前記画像取得部によって取得された異なる時間に撮像された複数の前記画像に基づき、前記画像内の前記対象物の運動量を取得する運動量取得部と、前記搬送量取得部によって取得された前記対象物の搬送量及び前記運動量取得部によって取得された前記対象物の運動量に基づき、前記対象物の状態が要求される条件を満たすか否かを判定する状態判定部と、を備える。

本発明の一態様に係る状態判定方法は、画像取得部が、前段の設備から後段の設備へ対象物を搬送する搬送設備において、前記対象物が搬送される様子を撮像可能に設けられた撮像装置から、前記対象物が撮像された画像を取得する過程と、搬送量取得部が、前記画像取得部によって取得された前記画像に基づき、前記画像内の前記対象物の搬送量を取得する過程と、運動量取得部が、前記画像取得部によって取得された異なる時間に撮像された複数の前記画像に基づき、前記画像内の前記対象物の運動量を取得する過程と、状態判定部が、前記搬送量取得部によって取得された前記対象物の搬送量及び前記運動量取得部によって取得された前記対象物の運動量に基づき、前記対象物の状態が要求される条件を満たすか否かを判定する過程と、を含む。

本発明の一態様に係るプログラムは、コンピュータを、前段の設備から後段の設備へ対象物を搬送する搬送設備において、前記対象物が搬送される様子を撮像可能に設けられた撮像装置から、前記対象物が撮像された画像を取得する画像取得手段と、前記画像取得手段によって取得された前記画像に基づき、前記画像内の前記対象物の搬送量を取得する搬送量取得手段と、前記画像取得手段によって取得された異なる時間に撮像された複数の前記画像に基づき、前記画像内の前記対象物の運動量を取得する運動量取得手段と、前記搬送量取得手段によって取得された前記対象物の搬送量及び前記運動量取得手段によって取得された前記対象物の運動量に基づき、前記対象物の状態が要求される条件を満たすか否かを判定する状態判定手段と、として機能させる。

本発明によれば、設備運転の運転人員の負荷軽減や省力化を図ることができる。

本発明の実施形態に係る状態判定システムの構成の一例を示す図である。 本発明の実施形態に係る状態判定装置の機能構成の一例を示すブロック図である。 本発明の実施形態に係る脱水汚泥画像の一例を示す図である。 本発明の実施形態に係る分類画像の一例を示す図である。 本発明の実施形態に係る状態判定システムにおける処理の流れを示すフローチャートである。 本発明の実施例に係る判定結果のＦ値を示す図である。 本発明の実施例に係る判定結果の混同行列を示す図である。 本発明の実施例に係る移動平均値を用いた場合の判定結果のグラフを示す図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。

＜１．概要＞
本発明は、所定の装置対象物を搬送する搬送設備において、対象物の状態が搬送先の装置で要求される条件を満たすか否かを判定する状態判定システムに関する。対象物の一例として、一定の粘性を有する物質であればよく、樹脂材料、化粧品クリーム、食品、汚泥、高分子ポリマー、ゲル状の電解液などであるである。なお、前述した物質に限定されるものではない。

また、本発明における搬送先の装置とは、対象物に何らかの処理を行う装置、または貯留する装置であれば良く、対象物の用途に応じて適宜選定される。一例として、乾燥装置、攪拌装置、分離装置、ろ過装置、焼却炉、焙焼炉などが挙げられるがこれらに限定されない。

対象物の状態が要求される条件は、例えば、対象物の性状が後工程の処理に適した状態であるか否かである。適した状態であるか否かの判定条件は、具体的に、対象物の含水率が適しているか否か、対象物の大きさが適しているか否か（大きな塊の有無）等である。
対象物の状態が要求される条件を満たすか否かは、後工程の処理に影響し得る。そのため、対象物の状態が要求される条件を満たすか否かの判定が必要となる。設備の管理者や作業者は、例えば、対象物の状態の判定結果に応じて対象物を後段の設備へ供給するか否かを判定し、各設備の運転を制御することができる。

以下では、本実施形態に係る状態判定システムを、水処理プラントに適用する例について説明する。具体的に、状態判定システムは、水処理プラントにおいて脱水機（前段の設備の一例）から乾燥機（後段の設備の一例）へ脱水汚泥（対象物の一例）が搬送される工程に適用される。当該工程において状態判定システムは、スクリューコンベア（搬送設備の一例）によって脱水機から乾燥機へ搬送される脱水汚泥の状態を判定する。
なお、状態判定システムの適用対象、前段の設備、後段の設備、搬送設備、及び対象物は、かかる例に限定されない。

＜２．状態判定システムの構成＞
以上、本発明の概要について説明した。続いて、図１を参照して、本発明の実施形態に係る状態判定システムの構成について説明する。図１は、本発明の実施形態に係る状態判定システム１の構成を示す図である。
図１に示すように、状態判定システム１は、撮像装置１０、状態判定装置２０、及び出力装置３０を備える。脱水機２から排出される脱水汚泥は、スクリューコンベア３によって乾燥機４へ搬送される。

撮像装置１０は、脱水汚泥が搬送される様子（搬送状態）を撮像した画像（静止画又は動画）を取得するカメラである。本実施形態に係る撮像装置１０は、一例として、脱水汚泥が搬送される様子を動画で撮像する。当該動画のフレームレートは、例えば３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）であるが、かかる例に限定されない。
撮像装置１０は、脱水機２から乾燥機４へ脱水汚泥を搬送するスクリューコンベア３において、脱水汚泥が搬送される様子を撮像可能に設けられる。撮像装置１０が設けられる位置は、脱水汚泥が搬送される様子を撮像可能であれば任意の位置であってよい。例えば、撮像装置１０は、スクリューコンベア３とは独立して設けられてもよいし、スクリューコンベア３に対して備え付けられてもよい。撮像装置１０をスクリューコンベア３に対して備え付ける場合、撮像装置１０は、スクリューコンベアの内部に備え付けられてもよいし、外部に備え付けられてもよい。
撮像装置１０は、状態判定装置２０と通信可能に接続されている。撮像装置１０は、撮像した脱水汚泥の画像（以下、「脱水汚泥画像」とも称される）を状態判定装置２０へ送信する。

状態判定装置２０は、脱水汚泥の状態が要求される条件を満たすか否かを判定する装置である。状態判定装置２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、サーバ等の端末である。
状態判定装置２０は、撮像装置１０が撮像した脱水汚泥画像を撮像装置１０から受信する。本実施形態に係る状態判定装置２０は、一例として、撮像装置１０から受信した脱水汚泥画像に基づき、脱水汚泥の状態を判定する。
状態判定装置２０は、出力装置３０と通信可能に接続されている。状態判定装置２０は、出力情報を出力装置３０へ送信する。本実施形態に係る状態判定装置２０は、一例として、脱水汚泥の状態の判定結果を示す判定結果情報を出力情報として、出力装置３０へ送信する。

出力装置３０は、状態判定装置２０から受信する出力情報を出力する装置である。出力装置３０は、例えば、ＰＣ、スマートフォン、タブレット端末、各設備に設けられた端末等の端末である。出力装置３０は、当該端末が備えるディスプレイ等の表示装置やスピーカ等の音声出力装置によって出力情報を出力する。本実施形態に係る出力装置３０は、一例として、状態判定装置２０から受信する判定結果情報を表示装置に表示させる。

＜３．状態判定装置の機能構成＞
以上、状態判定システム１の構成について説明した。続いて、図２から図４を参照して、状態判定装置２０の機能構成について説明する。図２は、本発明の実施形態に係る状態判定装置２０の機能構成の一例を示すブロック図である。
図２に示すように、状態判定装置２０は、通信部２００、制御部２１０、及び記憶部２２０を備える。

（１）通信部２００
通信部２００は、外部装置と通信を行う機能を有する。通信部２００は、外部装置から受信する情報を制御部２１０へ出力する。外部装置は、状態判定装置２０の外部に設けられた装置である。外部装置には、例えば、撮像装置１０、出力装置３０、及び制御対象となる装置等が含まれる。

通信部２００は、外部装置から受信する情報を制御部２１０へ出力する。例えば、通信部２００は、撮像装置１０が撮像した脱水汚泥画像を撮像装置１０から受信し、制御部２１０の画像取得部２１１へ出力する。

また、通信部２００は、制御部２１０から入力される情報を外部装置へ送信する。例えば、通信部２００は、制御部２１０の出力処理部２１５から入力される出力情報を出力装置３０へ送信する。

なお、通信部２００による通信は、有線通信又は無線通信のいずれによって実現されてもよい。

（２）制御部２１０
制御部２１０は、状態判定装置２０全般の動作を制御する機能を有する。制御部２１０は、例えば、状態判定装置２０がハードウェアとして備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にプログラムを実行させることによって実現される。
図２に示すように、制御部２１０は、画像取得部２１１、搬送量取得部２１２、運動量取得部２１３、状態判定部２１４、及び出力処理部２１５を備える。

（２－１）画像取得部２１１
画像取得部２１１は、スクリューコンベア３において搬送されている脱水汚泥が撮像された脱水汚泥画像を取得する機能を有する。例えば、画像取得部２１１は、通信部２００を介して、撮像装置１０から当該脱水汚泥画像を取得する。具体的に、画像取得部２１１は、撮像装置１０によって所定の期間に一定の時間間隔で撮像された複数の脱水汚泥画像を取得する。本実施形態における複数の脱水汚泥画像は、撮像装置１０によって撮像される動画を構成する１枚１枚の静止画である。画像取得部２１１は、取得した脱水汚泥画像を搬送量取得部２１２及び運動量取得部２１３へ出力する。

ここで、図３を参照して、本発明の実施形態に係る脱水汚泥画像について説明する。図３は、本実施形態に係る脱水汚泥画像の一例を示す図である。
図３には、撮像装置１０が撮像した動画を構成する複数のフレームの内の１フレームが脱水汚泥画像５０として示されている。脱水汚泥画像５０には、脱水汚泥５１、ブレード５２、ブレード５３、非対象物５４、及び背景５５が含まれている。脱水汚泥５１は、スクリューコンベア３によって搬送されている汚泥である。ブレード５２及びブレード５３は、スクリューコンベア３のスクリューの一部である。非対象物５４は、搬送されている脱水汚泥５１、ブレード５２、及びブレード５３のいずれでもない物体である。例えば、非対象物５４は、スクリューコンベア３の内壁に付着した脱水汚泥等である。背景５５は、脱水汚泥５１、ブレード５２、ブレード５３、及び非対象物５４のいずれにも該当しない領域である。例えば、脱水汚泥画像５０において物体が写っていない領域等である。

（２－２）搬送量取得部２１２
搬送量取得部２１２は、スクリューコンベア３によって搬送されている脱水汚泥の量（搬送量）を取得する機能を有する。例えば、搬送量取得部２１２は、画像取得部２１１によって取得された脱水汚泥画像に基づき、画像内の脱水汚泥の量を搬送量として取得する。具体的に、まず、搬送量取得部２１２は、脱水汚泥画像の領域を画像に含まれる要素ごとに分類する。ここで、画像に含まれる要素は、例えば、図３に示した脱水汚泥画像５０における脱水汚泥５１、ブレード５２、ブレード５３、非対象物５４、及び背景５５である。なお、画像に含まれる要素は、かかる例に限定されない。搬送量取得部２１２が脱水汚泥画像の領域を要素ごとに分類した画像は、以下では「分類画像」とも称される。

ここで、図４を参照して、本発明の実施形態に係る分類画像について説明する。図４は、本発明の実施形態に係る分類画像の一例を示す図である。
図４には、図３に示した脱水汚泥画像５０の領域が要素ごとに分類された分類画像６０が示されている。分類画像６０には、領域６１、領域６２、領域６３、領域６４、及び領域６５の５つの領域が示されている。領域６１は、図３の脱水汚泥画像５０における脱水汚泥５１の領域である。領域６２は、図３の脱水汚泥画像５０におけるブレード５２の領域である。領域６３は、図３の脱水汚泥画像５０におけるブレード５３の領域である。領域６４は、図３の脱水汚泥画像５０における非対象物５４の領域である。領域６５は、図３の脱水汚泥画像５０における背景５５の領域である。

脱水汚泥画像の領域を要素ごとに分類後、搬送量取得部２１２は、要素が脱水汚泥である領域に含まれる画素数に基づき、脱水汚泥の搬送量を算出（定量化）する。具体的に、搬送量取得部２１２は、脱水汚泥画像の脱水汚泥の領域に含まれる画素の数を搬送量として算出する。また、搬送量取得部２１２は、脱水汚泥画像の全画素における脱水汚泥の領域の画素の割合を搬送量として算出してもよい。

搬送量取得部２１２は、例えば、機械学習モデルを用いて、脱水汚泥の搬送量を取得する。当該機械学習モデルは、脱水汚泥画像の各画素と、各画素が示す要素との対応関係を学習したモデルである。機械学習モデルは、画像取得部２１１によって取得された脱水汚泥画像が入力されると、分類画像を出力する。搬送量取得部２１２は、機械学習モデルが出力した分類画像が示す脱水汚泥の領域の画素を数えることで、脱水汚泥の搬送量を算出することができる。

搬送量取得部２１２が用いる機械学習モデルは、例えば、セマンティックセグメンテーション（ＳＳ）によって機械学習を行ったモデル（以下、「ＳＳモデル」とも称される）である。セマンティックセグメンテーションは、画像内の全画素にラベルやカテゴリを関連付けるディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ)のアルゴリズムである。

ＳＳモデルは、学習時に脱水汚泥画像を学習用データとして用いる。学習済みのＳＳモデル（以下、「学習済みＳＳモデル」とも称される）は、脱水汚泥画像が入力データとして入力されると、入力された脱水汚泥画像に基づき類推した結果を、出力データとして出力する。本実施形態のＳＳモデルは、例えば、脱水汚泥画像を入力データとして、分類画像を出力データとして出力するように学習する。

学習済みＳＳモデルの生成では、例えば、教師有り学習が行われる。教師有り学習では、学習モデルに学習用のデータセットを用いた学習を行わせる。データセットは、入力データ（説明変数）と、当該入力データと対応する教師データ（目的変数）のセットである。入力データは、学習時の入力となるデータである。本実施形態に係る入力データは、例えば、脱水汚泥画像である。教師データは、入力データに基づき出力される出力データの正解を示すデータである。本実施形態に係る教師データは、例えば、入力データである脱水汚泥画像の各画素に対して、各画素が示す要素の正解を示す情報を付与した画像である。教師データが示す正解は、例えば、脱水汚泥画像に対して各要素に応じた着色を行うことで示すことができる。

なお、搬送量取得部２１２は、所定の期間に取得された複数の脱水汚泥画像ごとに得られる脱水汚泥の搬送量の移動平均値（ＭＡ：Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ）を算出し、算出した移動平均値を最終的に出力する搬送量としてもよい。

（２－３）運動量取得部２１３
運動量取得部２１３は、スクリューコンベア３によって搬送されている脱水汚泥の運動量を取得する機能を有する。運動量取得部２１３は、例えば、オプティカルフローを用いて脱水汚泥の運動量を取得する。オプティカルフローは、２枚の画像間（例えば動画のフレーム間）における物体の動きを数値化するための技術である。本実施形態では、運動量取得部２１３は、オプティカルフローを用いて、脱水汚泥の動きの方向と変位を定量化し、定量化した方向と変位の平均及び偏差を算出する。オプティカルフローによる解析結果は、オプティカルフローのアルゴリズムによって決定し、画素ごとに算出される。

具体的に、運動量取得部２１３は、画像取得部２１１によって取得された異なる時間に撮像された複数の脱水汚泥画像に基づき、画像内の脱水汚泥の運動量を取得する。より具体的に、運動量取得部２１３は、画像取得部２１１によって取得された第１の脱水汚泥画像と、第１の脱水汚泥画像よりも前に取得された第２の脱水汚泥画像とを比較し、特徴点の移動方向及び移動量を算出する。
運動量取得部２１３は、所定の期間に取得された複数の脱水汚泥画像において、第１の脱水汚泥画像及び第２の脱水汚泥画像の組み合わせが複数存在する場合、各組み合わせにおける脱水汚泥の移動方向及び移動量を算出する。そして、運動量取得部２１３は、得られた複数の移動方向及び移動量の平均及び偏差を、出力する運動量として算出する。

なお、脱水汚泥画像に含まれる要素の中には、搬送されている脱水汚泥の他に、ブレードの運動量も変化し得る。本実施形態では、ブレードの回転数が一定に保たれているとする。この場合、ブレードの運動量は常に一定の値が算出される。そのため、脱水汚泥が搬送されていない状況においては、運動量取得部２１３は、一定のブレードの運動量のみを算出する。一方、脱水汚泥が搬送されている場合、運動量取得部２１３は、一定のブレードの運動量に対して脱水汚泥の運動量が加わった運動量を算出する。即ち、予めブレードの運動量が分かっていれば、脱水汚泥画像全体の運動量からブレードの運動量を除き、脱水汚泥の運動量を算出してもよい。これより、本実施形態では、運動量取得部２１３は、脱水汚泥の運動量とブレードの運動量を分離して個々に算出する必要はない。
なお、ブレードの運動量は常に一定の値が算出されることと、画像取得部２１１によって取得された異なる時間に撮像された複数の脱水汚泥画像それぞれにブレードの運動量が含まれることとから、前述の通り第１の脱水汚泥画像と、第１の脱水汚泥画像よりも前に取得された第２の脱水汚泥画像とを比較し、特徴点の移動方向及び移動量を算出できることは言うまでもない。

また、運動量取得部２１３は、所定の期間に取得された複数の脱水汚泥画像ごとに得られる脱水汚泥の運動量の移動平均値を算出し、算出した移動平均値を最終的に出力する運動量としてもよい。

（２－４）状態判定部２１４
状態判定部２１４は、脱水汚泥の状態を判定する機能を有する。例えば、状態判定部２１４は、搬送量取得部２１２によって取得された脱水汚泥の搬送量及び運動量取得部２１３によって取得された脱水汚泥の運動量に基づき、脱水汚泥の状態が要求される条件を満たすか否かを判定する。そして、状態判定部２１４は、脱水汚泥の状態が要求される条件を満たすか否かを示す判定結果情報を出力処理部２１５へ出力する。本実施形態では、状態判定部２１４は、一例として、ＯＫ、ＧＲＡＹ、ＮＧの３種類の内のいずれかを判定結果情報として出力する。ＯＫは、脱水汚泥の状態が要求される条件を満たしていることを示す。ＧＲＡＹは、脱水汚泥の状態が要求される条件を満たすか否かが曖昧な状態であることを示す。ＮＧは、脱水汚泥の状態が要求される条件を満たしていないことを示す。

具体的に、状態判定部２１４は、機械学習モデルを用いて、脱水汚泥の状態を判定する。当該機械学習モデルは、脱水汚泥の搬送量と、脱水汚泥の運動量と、脱水汚泥の状態との対応関係を学習したモデルである。機械学習モデルは、搬送量取得部２１２によって取得された脱水汚泥の搬送量及び運動量取得部２１３によって取得された脱水汚泥の運動量が入力されると、脱水汚泥の状態が要求される条件を満たすか否かを示す情報を出力する。

状態判定部２１４が用いる機械学習モデルは、例えば、サポートベクターマシン（ＳＶＭ）によって機械学習を行ったモデル（以下、「ＳＶＭモデル」とも称される）である。
ＳＶＭモデルは、学習時に脱水汚泥の搬送量及び運動量を学習用データとして用いる。学習済みのＳＶＭモデル（以下、「学習済みＳＶＭモデル」とも称される）は、脱水汚泥の搬送量及び運動量が入力データとして入力されると、入力された脱水汚泥の搬送量及び運動量に基づき類推した結果を、出力データとして出力する。本実施形態のＳＶＭモデルは、例えば、脱水汚泥の搬送量及び運動量を入力データとして、脱水汚泥の状態が要求される条件を満たすか否かを示す情報を出力データとして出力するように学習する。

学習済みＳＶＭモデルの生成では、例えば、教師有り学習が行われる。教師有り学習では、学習モデルに学習用のデータセットを用いた学習を行わせる。データセットは、入力データ（説明変数）と、当該入力データと対応する教師データ（目的変数）のセットである。入力データは、学習時の入力となるデータである。本実施形態に係る入力データは、例えば、ある脱水汚泥画像における脱水汚泥の搬送量及び運動量である。教師データは、入力データに基づき出力される出力データの正解を示すデータである。本実施形態に係る教師データは、例えば、入力データである脱水汚泥の搬送量及び運動量の算出対象となった脱水汚泥画像における脱水汚泥の状態を、人が判定した結果（ＯＫ、ＧＲＡＹ、ＮＧのいずれか）である。

なお、状態判定部２１４は、所定の期間における脱水汚泥の搬送量の移動平均値及び脱水汚泥の運動量の移動平均値に基づき、脱水汚泥の状態を判定してもよい。人が目視によって脱水汚泥の状態を判定する場合、当該人は、脱水汚泥が搬送される様子を一定時間観察して判定する場合が多い。脱水汚泥の搬送量の移動平均値及び運動量の移動平均値は、所定の期間における脱水汚泥画像に基づき算出されている。即ち、状態判定部２１４は、脱水汚泥の搬送量の移動平均値及び運動量の移動平均値を用いることで、人が目視によって脱水汚泥の状態を判定する場合とより近い状態で脱水汚泥の状態を判定することができる。これにより、状態判定部２１４は、脱水汚泥の搬送量の移動平均値及び運動量の移動平均値を用いることで、脱水汚泥の状態の判定精度を向上することができる。

（２－５）出力処理部２１５
出力処理部２１５は、出力情報を出力装置３０へ出力する機能を有する。例えば、出力処理部２１５は、状態判定部２１４から出力される判定結果情報を出力装置３０に出力させる。例えば、出力処理部２１５は、通信部２００を介して、判定結果情報を出力装置３０へ送信し、表示させる。

（３）記憶部２２０
記憶部２２０は、各種情報を記憶する機能を有する。例えば、記憶部２２０は、各種モデルを記憶する。具体的に、記憶部２２０は、機械学習モデルを記憶する。

記憶部２２０は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。

＜４．処理の流れ＞
以上、本実施形態に係る状態判定装置２０の機能構成について説明した。続いて、図５を参照して、本発明の実施形態に係る状態判定システム１における処理の流れについて説明する。図５は、本実施形態に係る状態判定システム１における処理の流れの一例を示すフローチャートである。

図５に示すように、まず、撮像装置１０は、スクリューコンベア３にて搬送されている脱水汚泥の様子を撮像する（ステップＳ１０１）。

次いで、状態判定装置２０の画像取得部２１１は、通信部２００を介して、撮像装置１０が撮像した脱水汚泥画像を撮像装置１０から取得する（ステップＳ１０２）。画像取得部２１１は、取得した脱水汚泥画像を状態判定装置２０の搬送量取得部２１２及び運動量取得部２１３へ出力する。

次いで、搬送量取得部２１２は、脱水汚泥画像を学習済みＳＳモデルへ入力することで、脱水汚泥の搬送量を取得する（ステップＳ１０３）。

また、運動量取得部２１３は、搬送量取得部２１２の処理と並行して、オプティカルフローによって脱水汚泥の運動量を取得する（ステップＳ１０４）。

次いで、状態判定部２１４は、搬送量取得部２１２が取得した搬送量と運動量取得部２１３が取得した運動量とに基づき、脱水汚泥の状態を判定する（ステップＳ１０５）。判定後、状態判定部２１４は、判定結果情報を出力する。

次いで、出力処理部２１５は、状態判定部２１４が出力した判定結果情報を通信部２００から出力装置３０へ送信する（ステップＳ１０６）。

そして、出力装置３０は、受信した判定結果情報を出力する（ステップＳ１０７）。

＜５．実施例＞
以上、本実施形態に係る状態判定システム１における処理の流れについて説明した。続いて、図６から図８を参照して、本実施形態に係る状態判定システム１の実施例について説明する。図６は、本発明の実施例に係る判定結果のＦ値を示す図である。図７は、本発明の実施例に係る判定結果の混同行列を示す図である。図８は、本発明の実施例に係る移動平均値を用いた場合の判定結果のグラフを示す図である。

図６には、状態判定部２１４が、脱水汚泥の状態がＯＫ又はＯＫ以外（ＧＲＡＹ ｏｒ ＮＧ）のどちらであるかを判定した結果と、脱水汚泥の状態がＮＧ以外（ＯＫ ｏｒ ＧＲＡＹ）又はＮＧのどちらであるかを判定した結果が示されている。さらに、各結果には、搬送量取得部２１２が取得した搬送量と運動量取得部２１３が取得した運動量をそのまま学習済みＳＶＭモデルに入力して得られた判定結果のＦ値（ＳＶＭ）と、搬送量取得部２１２が取得した搬送量の移動平均値と運動量取得部２１３が取得した運動量の移動平均値を学習済みＳＶＭモデルに入力して得られた判定結果のＦ値（ＳＶＭ＋ＭＡ）とが示されている。

図６に示すように、脱水汚泥の状態がＯＫ又はＯＫ以外（ＧＲＡＹ ｏｒ ＮＧ）のどちらであるかを判定した際の判定結果では、ＳＶＭのＦ値は０．４６、ＳＶＭ＋ＭＡのＦ値は０．８８であった。また、脱水汚泥の状態がＮＧ以外（ＯＫ ｏｒ ＧＲＡＹ）又はＮＧのどちらであるかを判定した際の判定結果では、ＳＶＭのＦ値は０．５２、ＳＶＭ＋ＭＡのＦ値は０．６６であった。
以上より、いずれの場合も移動平均値を用いた方が判定の精度が向上することが分かる。また、移動平均値を用いた判定の場合、ＯＫ又はＯＫ以外（ＧＲＡＹ ｏｒ ＮＧ）の判定結果の方が、ＮＧ以外（ＯＫ ｏｒ ＧＲＡＹ）又はＮＧの判定結果よりも精度が高いことが分かる。これより、設備運転を安全に動作させることを優先する場合には、脱水汚泥の状態がＯＫ又はＯＫ以外（ＧＲＡＹ ｏｒ ＮＧ）のどちらであるかを判定した方が、実用性があると考えられる。

図７には、状態判定部２１４が、移動平均値を用いてＯＫ又はＯＫ以外（ＧＲＡＹ ｏｒ ＮＧ）の判定（即ち、ＯＫ，ＧＲＡＹ ｏｒ ＮＧのＳＶＭ＋ＭＡ）を行った際の混同行列が示されている。
図７に示すように、状態判定部２１４が、真値がＯＫの内でＯＫと判定した数、即ち真陽性（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）と判定した数は１８６７であった。
状態判定部２１４が、真値がＯＫの内でＧＲＡＹ ｏｒ ＮＧと判定した数、即ち偽陰性（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）と判定した数は２１７であった。
状態判定部２１４が、真値がＧＲＡＹ ｏｒ ＮＧの内でＯＫと判定した数、即ち偽陽性（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）と判定した数は１１７であった。
状態判定部２１４が、真値がＧＲＡＹ ｏｒ ＮＧの内でＧＲＡＹ ｏｒ ＮＧと判定した数、即ち真陰性（Ｔｒｕｅ Ｎｅｇａｔｉｖｅ）と判定した数は４８２であった。
図６に示す、脱水汚泥の状態がＯＫ又はＯＫ以外（ＧＲＡＹ ｏｒ ＮＧ）のどちらであるかを判定した際のＳＶＭ＋ＭＡのＦ値０．８８は、図７の混同行列に基づき算出された数値である。

図８には、状態判定部２１４が移動平均値を用いて判定を行った際の判定結果、移動平均値、真値の時系列変化を示すグラフがそれぞれ示されている。
図８の縦軸は真値を示し、横軸は計測時間を示す。このうち縦軸の値１．０は脱水汚泥の状態がＯＫであることを示し、－１．０は脱水汚泥の状態がＮＧを示す。図８において、一点鎖線のグラフは、作業員が画像から実際に判定した結果を示す。実線のグラフは、状態判定部２１４が画像ごとに判定した結果を示す。破線のグラフは、状態判定部２１４による判定結果の移動平均値を示す。移動平均を算出することで、搬送物の搬送量にばらつきが生じた場合であっても、作業員による判定結果に類似する状態判定ができる。

以上説明したように、本発明の実施形態に係る状態判定装置２０は、画像取得部２１１、搬送量取得部２１２、運動量取得部２１３、及び状態判定部２１４を備える。
画像取得部２１１は、脱水機２から乾燥機４へ脱水汚泥を搬送するスクリューコンベア３において、脱水汚泥が搬送される様子を撮像可能に設けられた撮像装置１０から、脱水汚泥が撮像された脱水汚泥画像を取得する。
搬送量取得部２１２は、画像取得部２１１によって取得された脱水汚泥画像に基づき、画像内の脱水汚泥の搬送量を取得する。
運動量取得部２１３は、画像取得部２１１によって取得された異なる時間に撮像された複数の脱水汚泥画像に基づき、画像内の脱水汚泥の運動量を取得する。
状態判定部２１４は、搬送量取得部２１２によって取得された脱水汚泥の搬送量及び運動量取得部２１３によって取得された脱水汚泥の運動量に基づき、脱水汚泥の状態が要求される条件を満たすか否かを判定する。

かかる構成により、スクリューコンベア３にて搬送されている脱水汚泥の状態が状態判定装置２０によって判定される。これにより、人が目視によって脱水汚泥の状態を判定する必要がなくなる。即ち、目視によって脱水汚泥の状態を判定する人員を用意する必要がなくなる。

よって、本発明の実施形態に係る状態判定装置２０は、設備運転の運転人員の負荷軽減や省力化を図ることを可能とする。

＜５．変形例＞
以上、本発明の実施形態について説明した。続いて、本発明の実施形態の変形例について説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

（１）第１の変形例
上述の実施形態では、状態判定システム１が水処理プラントに適用され、対象物が脱水汚泥である例について説明したが、かかる例に限定されない。例えば、具体的な対象物は、対象物が搬送される工程に応じたものであってよい。また、状態判定システム１は、例えば食品プラントに適用されてもよい。この場合、対象物の一例として、練り物が挙げられる。

（２）第２の変形例
上述の実施形態では、搬送設備がスクリューコンベア３である例について説明したが、かかる例に限定されない。例えば、対象物の搬送中に少なくとも対象物の運動量が変化する構成（例えば切替ダンパー）を有する設備であれば、搬送設備はベルトコンベア等であってもよい。

（３）第３の変形例
上述の実施形態では、撮像装置１０によって撮像される脱水汚泥画像が動画である例について説明したが、かかる例に限定されない。例えば、撮像装置１０は、スクリューコンベア３において搬送されている脱水汚泥を静止画で撮像してもよい。この場合、撮像装置１０は、一定の時間間隔で静止画を撮像することで複数の脱水汚泥画像を撮像する。これにより、画像取得部２１１は、撮像装置１０が静止画を撮像する場合であっても、所定の期間に一定の時間間隔で撮像された複数の脱水汚泥画像を取得することができる。

（４）第４の変形例
上述の実施形態では、状態判定部２１４がＳＶＭモデルを機械学習モデルとして用いる例について説明したが、かかる例に限定されない。例えば、状態判定部２１４は、決定木によって機械学習を行ったモデルを用いてもよい。

（５）第５の変形例
上述の実施形態では、判定結果情報を出力可能な出力装置３０に対して、出力処理部２１５が当該判定結果情報を出力する例について説明したが、かかる例に限定されない。例えば、出力処理部２１５は、判定結果情報に基づき設備の運転を制御可能な外部装置に対して、判定結果情報を出力してもよい。これにより、当該外部装置は、状態判定装置２０から受信する判定結果情報に基づき、設備の制御を行うことができる。
また、出力処理部２１５は、判定結果情報に基づき、制御対象となる設備に応じた制御信号を生成し、生成した制御信号を設備の運転を制御可能な外部装置に対して出力してもよい。これにより、当該外部装置は、状態判定装置２０から受信する制御信号に基づき、設備の制御を行うことができる。
以上より、人が判定結果情報に基づき設備の制御を行う手間を省くことができる。これより、設備運転の自動化及び運転人員の省力化を図ることが可能となる。

以上、本発明の変形例について説明した。なお、上述した実施形態における状態判定装置２０が備える構成の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

また、上述した実施形態における状態判定装置２０又は状態判定装置２０の制御部２１０の機能を少なくとも実現する制御装置は、制御対象の産業機械が設置されているプラント等に設けられる。なお、状態判定装置２０又は制御装置が設けられる場所はかかる例に限定されず、クラウド上に設けられてもよい。例えば、状態判定装置２０又は制御装置がサーバ装置である場合、状態判定装置２０又は制御装置はプラントに設けられたサーバ装置であってもよいし、クラウド上に設けられたサーバ装置（即ちクラウドサーバ）であってもよい。
また、状態判定装置２０又は制御装置を構成する各部の機能は、全ての機能がプラントに設けられた装置によって実現されてもよいし、クラウド上に設けられた装置によって実現されてもよい。また、状態判定装置２０又は制御装置を構成する各部の機能は、一部の機能がプラントに設けられた装置によって実現され、残りの機能がクラウド上に設けられた装置によって実現されてもよい。

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ 状態判定システム
２ 脱水機
３ スクリューコンベア
４ 乾燥機
１０ 撮像装置
２０ 状態判定装置
３０ 出力装置
２００ 通信部
２１０ 制御部
２１１ 画像取得部
２１２ 搬送量取得部
２１３ 運動量取得部
２１４ 状態判定部
２１５ 出力処理部
２２０ 記憶部

Claims (12)

1. 前段の設備から後段の設備へ対象物を搬送する搬送設備において、前記対象物が搬送される様子を撮像可能に設けられた撮像装置から、前記対象物が撮像された画像を取得する画像取得部と、
   前記画像取得部によって取得された前記画像に基づき、前記画像内の前記対象物の搬送量を取得する搬送量取得部と、
   前記画像取得部によって取得された異なる時間に撮像された複数の前記画像に基づき、前記画像内の前記対象物の運動量を取得する運動量取得部と、
   前記搬送量取得部によって取得された前記対象物の搬送量及び前記運動量取得部によって取得された前記対象物の運動量に基づき、前記対象物の状態が要求される条件を満たすか否かを判定する状態判定部と、
   を備える、状態判定装置。
2. 前記画像取得部は、前記撮像装置が所定の期間に一定の時間間隔で撮像した複数の画像を取得し、
   前記搬送量取得部は、前記所定の期間に取得された前記複数の画像ごとに得られる前記対象物の搬送量の移動平均値を算出し、
   前記運動量取得部は、前記所定の期間に取得された前記複数の画像ごとに得られる前記対象物の運動量の移動平均値を算出し、
   前記状態判定部は、前記所定の期間における前記対象物の搬送量の移動平均値及び前記対象物の運動量の移動平均値に基づき、前記対象物の状態を判定する、
   請求項１に記載の状態判定装置。
3. 前記状態判定部は、前記対象物の搬送量と、前記対象物の運動量と、前記対象物の状態との対応関係を学習した機械学習モデルを用いて、前記対象物の状態を判定する、
   請求項１又は請求項２に記載の状態判定装置。
4. 前記状態判定部が用いる機械学習モデルは、サポートベクターマシンによって機械学習を行ったモデルである、
   請求項３に記載の状態判定装置。
5. 前記搬送量取得部は、前記画像の領域を前記画像に含まれる要素ごとに分類し、前記要素が対象物である領域に含まれる画素数に基づき、前記対象物の搬送量を算出する、
   請求項１又は請求項２に記載の状態判定装置。
6. 前記搬送量取得部は、前記対象物の画像の各画素と、各画素が示す前記要素との対応関係を学習した機械学習モデルを用いて、前記対象物の搬送量を算出する、
   請求項５に記載の状態判定装置。
7. 前記搬送量取得部が用いる機械学習モデルは、セマンティックセグメンテーションによって機械学習を行ったモデルである、
   請求項６に記載の状態判定装置。
8. 前記運動量取得部は、前記画像取得部によって取得された第１の画像と、前記第１の画像よりも前に取得された第２の画像とを比較した際の特徴点の移動方向及び移動量に基づき、前記対象物の運動量を算出する、
   請求項１から請求項７のいずれか１項に記載の状態判定装置。
9. 前記運動量取得部は、オプティカルフローを用いて前記対象物の運動量を取得する、
   請求項８に記載の状態判定装置。
10. 前記状態判定部による判定の結果を、前記判定の結果に基づき設備の運転を制御可能な外部装置へ出力する出力処理部、
    をさらに備える、請求項１から請求項９のいずれか１項に記載の状態判定装置。
11. 画像取得部が、前段の設備から後段の設備へ対象物を搬送する搬送設備において、前記対象物が搬送される様子を撮像可能に設けられた撮像装置から、前記対象物が撮像された画像を取得する過程と、
    搬送量取得部が、前記画像取得部によって取得された前記画像に基づき、前記画像内の前記対象物の搬送量を取得する過程と、
    運動量取得部が、前記画像取得部によって取得された異なる時間に撮像された複数の前記画像に基づき、前記画像内の前記対象物の運動量を取得する過程と、
    状態判定部が、前記搬送量取得部によって取得された前記対象物の搬送量及び前記運動量取得部によって取得された前記対象物の運動量に基づき、前記対象物の状態が要求される条件を満たすか否かを判定する過程と、
    を含む、状態判定方法。
12. コンピュータを、
    前段の設備から後段の設備へ対象物を搬送する搬送設備において、前記対象物が搬送される様子を撮像可能に設けられた撮像装置から、前記対象物が撮像された画像を取得する画像取得手段と、
    前記画像取得手段によって取得された前記画像に基づき、前記画像内の前記対象物の搬送量を取得する搬送量取得手段と、
    前記画像取得手段によって取得された異なる時間に撮像された複数の前記画像に基づき、前記画像内の前記対象物の運動量を取得する運動量取得手段と、
    前記搬送量取得手段によって取得された前記対象物の搬送量及び前記運動量取得手段によって取得された前記対象物の運動量に基づき、前記対象物の状態が要求される条件を満たすか否かを判定する状態判定手段と、
    として機能させる、プログラム。

Images