JP2021179321A - 状態管理方法、プログラム、及び状態管理システム - Google Patents

Abstract

【課題】オブジェクトの状態をより分かりやすい態様で提供すること。【解決手段】状態管理方法は、オブジェクト２の状態を管理する方法である。状態管理方法は、オブジェクト２に生じている振動の大きさが可視化された態様で、オブジェクト２を含む画像ＩＭ１を表示する表示ステップを有する。【選択図】図３

Description

本開示は、一般に、状態管理方法、プログラム、及び状態管理システムに関する。より詳細には、オブジェクトの状態を管理する状態管理方法、プログラム、及び状態管理システムに関する。

特許文献１には、画像を利用した機械学習に関する学習用データ生成方法に関する開示がある。この学習用データ生成方法は、試料の評価用の画像から、明画素を含む第１領域と暗画素を含む第２領域とを抽出する抽出ステップを含む。また学習用データ生成方法は、第１領域の画素値の分布と第２領域の画素値の分布との差が小さくなるように第１領域と第２領域との少なくとも一方を補正する補正処理を実行して学習用データを生成する生成ステップを含む。

特開２０２０−５７１１２号公報

ところで、管理の対象であるオブジェクトを管理する者（ユーザ）にとっては、オブジェクトの状態がより分かりやすい態様で提供されることを望む場合がある。

本開示は上記事由に鑑みてなされ、オブジェクトの状態をより分かりやすい態様で提供できる、状態管理方法、プログラム、及び状態管理システムを提供することを目的とする。

本開示の一態様の状態管理方法は、オブジェクトの状態を管理する方法である。前記状態管理方法は、前記オブジェクトに生じている振動の大きさが可視化された態様で、前記オブジェクトを含む画像を表示する表示ステップを有する。

本開示の一態様のプログラムは、１以上のプロセッサに上記の状態管理方法を実行させるためのプログラムである。

本開示の一態様の状態管理システムは、オブジェクトの状態を管理するシステムである。前記状態管理システムは、前記オブジェクトに生じている振動の大きさが可視化された態様で、前記オブジェクトを含む画像を表示させる表示処理部を備える。

本開示によれば、オブジェクトの状態をより分かりやすい態様で提供できる、という利点がある。

図１は、一実施形態に係る状態管理システムを含むシステム全体の概略構成図である。 図２Ａは、同上の状態管理システムにおける画像フレームを説明するための概念図である。図２Ｂは、同上の画像フレームから変換されたエッジ画像を説明するための概念図である。 図３は、同上の状態管理システムにおいて、監視中のオブジェクトの振動の大きさがヒートマップにより可視化された概念図である。 図４は、同上の状態管理システムにおいて、正常状態の動画像中のある注目画素の画素値の変動の一例を示すグラフである。 図５は、同上の状態管理システムにおける動作（監視モード）を説明するためのフローチャート図である。

（１）概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

本実施形態の一態様に係る状態管理方法は、オブジェクト２（図２Ａ参照）の状態を管理する方法である。本実施形態では一例として、オブジェクト２は、工場における生産ラインで製造される部品２１、及び、生産ラインに設置される（生産）設備Ｅ１の両方に相当することを想定する。ただし、オブジェクト２は、部品２１及び設備Ｅ１のいずれか一方のみに相当してもよい。

本実施形態では、設備Ｅ１は、複数の部品２１を搬送する搬送設備であるとする。したがって、搬送品である各部品２１は、設備Ｅ１によって例えば一方向に沿って搬送されていく。しかし、設備Ｅ１は、搬送設備に限定されない。設備Ｅ１の具体的な他の例としては、プレス設備、板金設備、溶接設備、切削設備、金型製造設備、射出成型機、取出機、実装設備、組立設備、及び、検査測定機器が挙げられる。

状態管理方法は、状態管理システム１００（図１参照）上で用いられる。状態管理システム１００は、１又は複数の撮像部３（図１では１つ）、及びオブジェクト２に関する学習済みモデルを用いて、オブジェクト２（部品２１及び設備Ｅ１）を監視する。監視対象のオブジェクト２に異常が発生すれば、状態管理システム１００は、異常の発生を外部に通知する。また状態管理システム１００は、設備Ｅ１を管理する設備管理システムに対して、発生した異常の種類に応じた制御を実行するように信号を送信してもよい。例えば、部品２１に関する異常（部品の落下又は向きの不具合等）、或いは、設備Ｅ１に関する異常（設備異常）が発生すれば、状態管理システム１００は、設備Ｅ１の稼働を緊急停止させるように、設備管理システムに信号を送信してもよい。

ここで本実施形態の一態様に係る状態管理方法は、オブジェクト２に生じている振動の大きさが可視化された態様で、オブジェクト２を含む画像ＩＭ１（図３参照）を表示する表示ステップを有している。「振動」は、例えば、稼働中にある設備Ｅ１の動力系（アクチュエータ、モータ等）に常時生じている設備Ｅ１に固有の微細な振動であったり、設備Ｅ１からの振動の影響を受けて搬送中の部品２１に常時生じている振動であったりし得る。設備Ｅ１が搬送設備であれば、「振動」は、主に部品２１の搬送方向Ａ１（図２Ａ及び図２Ｂ参照）と交差する方向の成分が支配的となり得る。

オブジェクト２の状態に何かしらの異常が発生すると、オブジェクト２に生じている「振動」にも影響する。例えば設備Ｅ１が経年劣化したり、設備Ｅ１に故障が発生したり、異物が混入したりして、設備Ｅ１に異常が発生すると、オブジェクト２の「振動」の大きさは変化する可能性がある。また部品２１が落下したり、部品２１の重量に異常があったり、設備Ｅ１に対する部品２１の位置又は向きに不具合が生じたりしても、オブジェクト２の「振動」の大きさは変化する可能性がある。状態管理システム１００は、オブジェクト２の「振動」の大きさを監視することで、オブジェクト２の状態（異常状態、又は異常の一歩手前の予兆を示す状態）を判定できる。

ここで上述の通り本実施形態の一態様に係る状態管理方法は、表示ステップを有しているため、オブジェクト２に生じている振動の大きさの「見える化」が容易に図られる。オブジェクト２の状態を管理するユーザは、画像ＩＭ１を通じて、オブジェクト２における（比較的大きな）振動の発生箇所、或いは振動のばらつき等を確認できる。結果的に、状態管理方法には、オブジェクト２の状態をより分かりやすい態様で提供できる、という利点がある。

また本実施形態の別の態様に係る状態管理システム１００は、オブジェクト２の状態を管理するシステムである。状態管理システム１００は、オブジェクト２に生じている振動の大きさが可視化された態様で、オブジェクト２を含む画像ＩＭ１を表示させる表示処理部１４（図１参照）を備えている。この状態管理システム１００においても、オブジェクト２の状態をより分かりやすい態様で提供できる、という利点がある。

状態管理システム１００は、１以上のプロセッサ及び１以上のメモリを有するコンピュータシステムを主構成とする。言い換えれば、本実施形態に係る状態管理方法は、コンピュータシステム（状態管理システム１００）上で用いられる。つまり、状態管理方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、本実施形態に係る状態管理方法を、１以上のプロセッサに実行させるためのプログラムである。

（２）詳細
本実施形態に係る状態管理方法、プログラム、及び状態管理システム１００の詳細について、図１〜図５を参照しながら説明する。

（２．１）全体の構成
本実施形態の状態管理システム１００は、管理する対象（オブジェクト２）の状態判定を行うように構成される。ここでは一例として、管理する対象が、上述の通り、工場の設備Ｅ１（生産設備）、及び部品２１である場合について説明する。したがって、状態管理システム１００を利用するユーザは、例えば、工場内で生産ラインを管理する管理者であるとする。しかし、状態管理システム１００は、製造工程で用いられるだけでなく、倉庫での管理工程又は搬送工程でも適用され得る。また状態管理システム１００は、工場以外にも、研究所、事務所及び教育施設等の施設においても導入され得る。また管理する対象の規模も特に限定されない。

状態管理システム１００の機能は、例えば１台のサーバ装置に全て搭載されていることを想定する。しかし、状態管理システム１００の機能の一部は、別のサーバ装置、或いは、パーソナルコンピュータ、スマートフォン又はタブレット端末等の情報端末に、分散して設けられてもよい。

状態管理システム１００は、オブジェクト２に関する教師データを用いて生成された「学習済みモデル」、及び動画像Ｍ１（図１及び図２Ａ参照）に基づいて、稼働中にあるオブジェクト２の状態判定を行う。

本開示でいう「動画像」は、そのフレームレートについて特に限定されず、１コマ（フレーム）と１コマの間隔が比較的長い（コマ送り）ものも含む。動画像Ｍ１は、被写体Ｈ１（図２Ａ参照）としてオブジェクト２の少なくとも一部を含む。言い換えると、状態管理システム１００は、画像内で振動が生じ得るオブジェクト２の状態を管理する。ここでは一例として、設備Ｅ１が、複数の部品２１を順次搬送する搬送設備であるとする。動画像Ｍ１は、必ずしも搬送設備の全体を被写体Ｈ１として含むことは必須ではなく、搬送設備の全体のうち、ユーザが所望する局所的な部位のみを被写体Ｈ１として含んでもよい。

ここでは図２Ａは、動画像Ｍ１中の、時系列で連続するある３つの画像フレームＦ１（ｔ１）〜Ｆ１（ｔ３）を示している。各画像フレームＦ１には、設備Ｅ１の一部、及び搬送中の１個の部品２１が被写体Ｈ１として含まれている。

設備Ｅ１は、稼働中において、例えば、前工程の設備で成形された（成形）部品２１を次工程の設備まで搬送するように、搬送開始の位置から搬送終了の位置まで搬送方向Ａ１に沿って、複数の部品２１を一定の搬送速度で順次搬送する搬送動作を実行する。複数の部品２１は、一定の間隔を保ちながら搬送される。ここでは一例として、動画像Ｍ１中の搬送方向Ａ１は、左から右へと、水平方向に沿う直線的な方向であるが、特に限定されない。搬送方向Ａ１は、曲線的な方向でもよいし、また勾配のある方向でもよい。

状態管理システム１００は、１又は複数の撮像部３と通信可能に接続されている。撮像部３は、例えばＣＣＤ（Charge-Coupled Device）等の二次元のセンサ（例えばエリアイメージセンサ）を含む。すなわち、動画像Ｍ１は、二次元のセンサで撮像される。エリアイメージセンサの代わりにラインイメージセンサが用いられてもよいが、エリアイメージセンサの方が信頼性のより高い振動に関するデータ（後述する振動データＤ４）を得ることができる。また動画像Ｍ１は、三次元のセンサで撮像されたものでもよい。三次元のセンサとして、例えば、ＴＯＦ（Time of Flight）方式の３Ｄセンサが適用されてもよい。

撮像部３は、工場内において固定的に設置されている。撮像部３は、工場内に設置されている設備Ｅ１の特定の領域を、例えば上方又は側方から撮像する。工場内で生産ラインが稼働中の間、撮像部３で撮像された画像（動画像Ｍ１）のデータは、常時、状態管理システム１００に送信される。

撮像部３は、稼働中の設備Ｅ１によって搬送されている部品２１が少なくとも１個、動画像Ｍ１の画像フレームＦ１（図２Ａ参照）内に概ね収まる画角で、設備Ｅ１を撮像する。

また状態管理システム１００は、提示装置４と通信可能に接続されている。提示装置４は、一例として、据え置き型でタッチパネル式のディスプレイ（表示部）を、ユーザインタフェースとして有していることを想定する。言い換えると、ユーザインタフェースは、例えば、タッチパネルディスプレイを含み、ユーザの操作（タップ操作等）の受け付けと、ユーザへの情報の表示を行う。ユーザインタフェースは、例えば、キーボード、ポインティングデバイス、メカニカルなスイッチ、又はジェスチャセンサ等の入力装置を有していてもよい。また、ユーザインタフェースは、音声入出力部を有していてもよい。提示装置４は、スマートフォン又はタブレット端末等の携帯型の情報端末にて実現されてもよい。

（２．２）状態管理システム
状態管理システム１００は、図１に示すように、処理部１０と、第１通信部１６と、第２通信部１７と、データ格納部１８と、を備えている。

第１通信部１６は、撮像部３と通信するための通信インタフェースである。第１通信部１６は、例えば工場内のローカルネットワークを介して、有線又は無線にて撮像部３と通信し、撮像部３で撮像された動画像Ｍ１を含む信号を受信する。

第２通信部１７は、提示装置４と通信するための通信インタフェースである。第２通信部１７は、例えば有線にて提示装置４と通信し、（後述する）表示処理部１４で生成された確認データＤ１を含む信号を提示装置４に送信する。また第２通信部１７は、確認データＤ１の編集に関する指示信号を提示装置４から受信する。また第２通信部１７は、（後述する）設定データＤ２を含む信号を、提示装置４から受信する。

データ格納部１８は、学習済みモデルを含む種々のデータを格納可能に構成される。データ格納部１８は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な不揮発性メモリを含む。

処理部１０は、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１０の各部として機能する。プログラムは、ここでは処理部１０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

処理部１０は、図１に示すように、推定部１１、判定部１２、学習部１３、表示処理部１４、及び設定部１５を有している。言い換えると、処理部１０は、推定部１１としての機能、判定部１２としての機能、学習部１３としての機能、表示処理部１４としての機能、及び設定部１５としての機能を有している。

推定部１１及び判定部１２は、稼働中のオブジェクト２の状態を評価する評価部Ｃ１を構成する。評価部Ｃ１は、いわゆる推論フェーズのための機能を有している。評価部Ｃ１は、生産ラインが稼働中の間、データ格納部１８に格納される学習済みモデルを参照し、撮像部３で撮像された動画像Ｍ１に基づいて、オブジェクト２における異常（異常の予兆でもよい）の有無を評価する。

状態管理システム１００は、評価部Ｃ１がオブジェクト２に異常「有り」と判定すると、工場内の設備Ｅ１を管理する設備管理システムに、その旨を含む信号を送信する。設備管理システムは、異常が発生した設備Ｅ１を含む工程、及び、その工程の前後の工程に対して、発生した異常の種類に応じた制御を実行する。設備管理システムは、例えば、設備Ｅ１に異常が発生すれば、設備Ｅ１の搬送動作、並びに設備Ｅ１の前後の工程の設備の動作を緊急停止させ得る。

また状態管理システム１００は、評価部Ｃ１がオブジェクト２に異常「有り」と判定すると、その旨をユーザに通知する。例えば、状態管理システム１００は、異常「有り」の旨を、ユーザが携帯するスマートフォン又はタブレット端末、ユーザが所有するパーソナルコンピュータ、或いは、ユーザが装着するウェアラブル端末等から通知させる。通知先は、提示装置４でもよい。状態管理システム１００は、撮像部３で撮像された動画像Ｍ１において、異常が発生したタイミングの画像だけでなく、その前後の画像をメモリに録画して、ユーザに提示することが好ましい。

評価部Ｃ１の推定部１１は、被写体Ｈ１としてオブジェクト２を含む動画像Ｍ１から、振動の大きさ及び周期のうちの少なくとも一方（ここでは両方）に関する振動データＤ４（図４参照）を抽出する（抽出ステップ）ように構成される。振動データＤ４は、例えば、動画像Ｍ１における複数の画素の各々の画素値の変化に関する情報を含む。つまり、振動データＤ４は、動画像Ｍ１中の複数の画像フレームＦ１（ｔ１）、Ｆ１（ｔ２）、Ｆ１（ｔ３）…での各画素の画素値の変化に関する情報を含む。またここでは、推定部１１は、動画像Ｍ１における複数の画素のうち注目する１以上の画素の画素値の変化に関する情報に基づいて、振動の大きさ及び周期のうちの少なくとも一方（ここでは両方）を推定する（推定ステップ）ように構成される。推定部１１は、この推定結果に基づいて、振動データＤ４を抽出する。さらに「注目する１以上の画素」とは、オブジェクト２のエッジ２Ａに対応する画像領域Ｒ１を構成する画素である。

本実施形態の表示処理部１４は、エッジ検出の機能を有している。すなわち、表示処理部１４は、動画像Ｍ１中のオブジェクト２のエッジ２Ａを検出するエッジ検出処理を実行する。エッジ２Ａは、設備Ｅ１の搬送レールの縁部分、及び部品２１の外郭の縁部分等を含み得る。表示処理部１４は、画像フレームＦ１（ｔ１）、Ｆ１（ｔ２）、Ｆ１（ｔ３）…を、エッジ２Ａを際立たせるように可視化された態様のエッジ画像Ｆ２（ｔ１）、Ｆ２（ｔ２）、Ｆ２（ｔ３）…にそれぞれ変換する（図２Ｂ参照）。表示処理部１４は、変換後のエッジ画像Ｆ２（ｔ１）、Ｆ２（ｔ２）、Ｆ２（ｔ３）…からなる動画像Ｍ２を生成する。図２Ｂでは、表示処理部１４により検出されたエッジ２Ａが白色で、エッジ２Ａ以外の背景部分が黒色で可視化されたエッジ画像Ｆ２が示されている。

表示処理部１４は、例えばＳｏｂｅｌ検出法を利用して、エッジ画像Ｆ２への変換を行う。つまり、表示処理部１４は、各画像フレームＦ１に対して、垂直方向、及び水平方向にＳｏｂｅｌフィルタを施すことにより、対応するエッジ画像Ｆ２を生成する。ただし、エッジ画像Ｆ２への変換方法は、特に限定されず、Ｓｏｂｅｌ検出法以外にも、例えば、Ｃａｎｎｙ検出法、Ｌａｐｌａｃｉａｎ検出法等の他のエッジ検出法が利用されてもよい。

推定部１１は、表示処理部１４が生成したエッジ画像Ｆ２におけるエッジ２Ａに対応する画像領域Ｒ１の画素（注目する１以上の画素）における画素値（輝度値）の変化に基づいて、振動の大きさと振動の周期を推定して、振動データＤ４を抽出する。要するに、振動データＤ４は、エッジ２Ａに対応する画像領域Ｒ１の画素値（輝度値）の変化に着目して得られる。振動データＤ４の詳細については後述する。

上述の通り、オブジェクト２に生じる「振動」は、稼働中にある設備Ｅ１に常時生じている固有の振動であったり、設備Ｅ１からの振動の影響を受けて部品２１に常時生じている振動であったりし得る。設備Ｅ１の動力系等に異常が発生するか、又は経年劣化が進むことで、或いは、部品２１に不具合があれば、オブジェクト２の「振動」にも影響が出始める。

評価部Ｃ１の判定部１２は、オブジェクト２のエッジ２Ａに対応する画像領域Ｒ１の画素値の、時間経過に伴う変動から、その振動（の大きさ及び周期）が、許容される正常時の振動か否かを判定することで、オブジェクト２の状態判定を行う。言い換えると、判定部１２は、振動データＤ４に基づいて、オブジェクト２に関する特定状態について判定する（判定ステップ）ように構成される。簡単に言えば、判定部１２は、エッジ２Ａの画素値の変動から振動の大きさ及び周期を推定してオブジェクト２の状態を診断する。

判定部１２は、振動データＤ４を監視し、振動の大きさが異常に変化したことを検知すると、「異常」有りと判定する。本実施形態では、判定部１２は、学習済みモデルに基づいて、正常な振動の大きさと、異常な振動の大きさとを区別する。

また判定部１２は、振動データＤ４を監視し、振動の周期性の崩れ（変化）を検知すると、「異常」有りと判定する。本実施形態では、判定部１２は、学習済みモデルに基づいて、正常な振動の周期と、異常な振動の周期（又は周期性の消失）とを区別する。

設定部１５は、判定部１２が「異常」有りと判定するための閾値を設定するように構成される。閾値は、振動の大きさに関する第１閾値（変動幅Ｗ１）を含み得る。また閾値は、振動の周期に関する第２閾値（変動周期Ｔ１）を含み得る。設定部１５は、第２通信部１７を介して、ユーザの入力指示を受け付ける提示装置４から、判定用の第１閾値及び第２閾値に関する設定データＤ２（図１参照）を含む信号を受信する。設定部１５は、提示装置４から設定データＤ２を取得すると、データ格納部１８に格納する。

学習部１３は、例えば学習用に撮像部３で撮像された動画像Ｍ１に基づいて、評価用モデル（学習済みモデル）を生成する。学習部１３は、学習用データセットにより、人工知能のプログラム（アルゴリズム）に、「振動」に関するオブジェクト２の正常状態、異常状態、及びマージン（許容範囲）等を学習させる。人工知能のプログラムは、機械学習のモデルであって、例えば、階層モデルの一種であるニューラルネットワークが用いられる。学習部１３は、ニューラルネットワークに学習用データセットで機械学習（例えば、深層学習）を行わせることで、学習済みモデルを生成する。学習部１３は、新たに取得した学習用データセットを用いて再学習を行うことで、学習済みモデルの性能の向上を図ってよい。例えばオブジェクト２に新しい種類の異常が見つかれば、学習部１３に、新しい異常に関する再学習を行わせることも可能である。

本実施形態では、学習部１３は、上述した推論フェーズの場合と同様に、表示処理部１４に、撮像部３から学習用に正常状態のサンプルデータとして取得した動画像Ｍ１を、エッジ画像Ｆ２からなる動画像Ｍ２に変換させる。そして、学習部１３は、推定部１１に正常状態の振動データＤ４を抽出させて、そのデータ（学習用データ）に基づいて学習済みモデルを生成する。学習部１３は、異常状態のサンプルデータとして取得した動画像Ｍ１から、推定部１１に異常状態の振動データＤ４を抽出させて、そのデータを学習用データとして加えてもよい。例えば、部品２１の位置や向きに不具合がある状態で、設備Ｅ１によって搬送中におけるオブジェクト２の動画像Ｍ１が、異常状態のサンプルデータとして用意されてもよい。

表示処理部１４は、確認データＤ１、及び監視データＤ３を、提示装置４の表示部に表示させるように構成される。表示処理部１４は、第２通信部１７を介して、確認データＤ１及び監視データＤ３を、提示装置４に送信する。

確認データＤ１は、後述する学習モードで得られる学習結果のデータであり、ユーザに提示して、ユーザに視覚的な「確認」を行わせるためのデータである。確認データＤ１は、正常状態の「振動」に対応する振動データＤ４に基づいて生成される。確認データＤ１は、正常状態におけるエッジ画像Ｆ２からなる動画像Ｍ２を含んでもよい。

監視データＤ３は、後述する監視モード中に得られる監視結果のデータ（リアルタイムのデータ）であり、ユーザに提示して、ユーザに視覚的な「確認」を行わせるためのデータである。監視データＤ３は、「振動」の大きさが可視化された態様でのオブジェクト２の画像ＩＭ１（図３参照）を含む。言い換えると、表示処理部１４は、「振動」の大きさが可視化された態様のオブジェクト２の画像ＩＭ１を表示する（表示ステップ）。

表示処理部１４は、エッジ２Ａに対応する画像領域Ｒ１について、正常時の振動の大きさ（教師データ）に対する監視時の振動の大きさの差分値を演算する。表示処理部１４は、正常時の振動の大きさよりも相対的に振動が大きい箇所が分かりやすくなるように、動画像Ｍ２をベースとして、演算した差分値について「ヒートマップ」で可視化した態様の監視データＤ３を生成して、提示装置４の表示部に表示させる。表示処理部１４は、画素単位でヒートマップの階調を調整する。つまり、表示処理部１４は、差分値が小さい箇所ほど淡い色（青色）の表示色でエッジ２Ａの画素を表示し、差分値が大きい箇所ほど濃い色（赤色）の表示色でエッジ２Ａの画素を表示させる。図３では、ヒートマップをグレイスケールで表示する。要するに、監視データＤ３は、複数のエッジ画像Ｆ２からなる動画像Ｍ２が、相対的に振動が大きい箇所が際立つように加工されたデータである。

このように構成された処理部１０は、学習モード、ユーザ設定モード、及び監視モードを動作モードとして実行可能である。処理部１０は、例えば一連の動作の流れとして、学習モード、ユーザ設定モード、及び監視モードの順に実行していく。

［学習モード］
以下、処理部１０の学習モードについて説明する。

撮像部３は、生産ライン（設備Ｅ１）が正常状態で稼働している様子を撮像し、その動画像Ｍ１をサンプルデータとして状態管理システム１００に送信する。動画像Ｍ１のフレームレートは、例えば数十ｆｐｓである。

学習モードにおいて、処理部１０の学習部１３は、動画像Ｍ１の解析を行い、表示処理部１４に、Ｓｏｂｅｌ検出法等によってエッジ画像Ｆ２への変換を行わせる。エッジ２Ａとその周辺部位との境界では、画素の輝度値の変化が大きいことから、表示処理部１４は、輝度値の変化に対して微分演算を実行することで勾配を得て、エッジ２Ａに対応する画像領域Ｒ１を抽出する。表示処理部１４は、変換後のエッジ画像Ｆ２（ｔ１）、Ｆ２（ｔ２）、Ｆ２（ｔ３）…からなる、正常状態の動画像Ｍ２を生成する。学習部１３は、動画像Ｍ２をデータ格納部１８に格納する。また学習部１３は、エッジ２Ａに対応する画像領域Ｒ１の複数の画素の位置（ｘｙ座標）をデータ格納部１８に格納する。

また学習部１３は、推定部１１に正常状態の動画像Ｍ１から振動データＤ４を抽出させる。具体的には、推定部１１は、動画像Ｍ２から抽出したエッジ２Ａに対応する画像領域Ｒ１の画素値を、Ｓｏｂｅｌフィルタが施されていない元の動画像Ｍ１から抽出する。ただし、推定部１１は、動画像Ｍ２から抽出したエッジ２Ａに対応する画像領域Ｒ１の画素値も、Ｓｏｂｅｌフィルタが施された動画像Ｍ２から抽出してもよい。

そして、推定部１１は、エッジ２Ａに対応する画像領域Ｒ１の複数の画素の各々の画素値の変化に基づいて、振動周期及び振動幅を推定する。図４は、正常状態におけるエッジ２Ａに対応する画像領域Ｒ１の複数の画素のうちある注目する１つの画素（以下、「注目画素」と呼ぶ）の画素値の、画像フレームＦ１（ｔ１）、Ｆ１（ｔ２）、Ｆ１（ｔ３）…にわたる変化（特性Ｘ１）を示す。

図４では、横軸が時間であり、縦軸が、注目画素の画素値（輝度値）である。特性Ｘ１は、複数のプロット（点）からなるプロットデータであり、複数のプロットは、画像フレームＦ１（ｔ１）、Ｆ１（ｔ２）、Ｆ１（ｔ３）…における注目画素の画素値と、それぞれ一対一に対応する。

ここでは振動データＤ４は、画素値の変動周期Ｔ１（図４参照）に関する情報と、画素値の変動幅Ｗ１（振幅：図４参照）に関する情報とを含むものとする。変動周期Ｔ１が、実際の物理的な「振動」の周期に対応し、変動幅Ｗ１が、実際の物理的な「振動」の大きさに対応する。

推定部１１は、注目画素の画素値の変化から、周期性を見つけ出す。図４では、推定部１１は、変化する画素値が最小値となる時点ｔ１１から、次に画素値が最小値となる時点ｔ１２までの期間を、１周期（変動周期Ｔ１）としている。推定部１１は、変化する画素値が最大値となる時点から次に最大値となる時点までの期間を１周期としてもよい。また図４では、推定部１１は、画素値の最大値と画素値の最小値の差を、変動幅Ｗ１としている。

振動データＤ４は、図４に示すようなプロットデータ（特性Ｘ１）に関する情報を含んでもよい。振動データＤ４は、特性Ｘ１を近似的に関数化した情報（周期関数）を含んでもよい。

要するに、推定部１１は、注目画素の画素値の変化の周期性から、オブジェクト２のエッジ２Ａに実際に発生している振動の周期性を推定する。

推定部１１は、例えば、エッジ２Ａに対応する画像領域Ｒ１の全ての画素の各々について、振動データＤ４（変動周期Ｔ１及び変動幅Ｗ１）を抽出する。つまり、推定部１１は、画素単位で振動データＤ４を抽出する。

ところで、ここでは一例として設備Ｅ１が搬送設備であるため、「振動」は、主に部品２１の搬送方向Ａ１（図２Ａ参照）と交差する方向（例えば上下方向）を含む成分が支配的となることが予想される。二次元のセンサ（撮像部３）で撮像された各画像フレームＦ１のｘ軸方向及びｙ軸方向は、概ね設備Ｅ１の左右方向、及び上下方向とそれぞれ対応する。また画像フレームＦ１のｘ軸方向は、部品２１の搬送方向Ａ１と略平行である。したがって、ｘ軸方向に沿った線画を比較的多く含む画像領域Ｒ１における画素では、ｙ軸方向の成分を含む振動が、振動データＤ４に反映されやすい。

一方で、ｘ軸方向の成分を含む振動は、注目画素の位置によっては、振動データＤ４に反映されにくい可能性がある。また図２Ａでいえば、設備Ｅ１の奥行方向（ｚ軸方向）の成分を含む振動も、振動データＤ４に反映されにくい可能性がある。これらを考慮すると、推定部１１は、画像領域Ｒ１の全ての画素について、画素単位で振動データＤ４を抽出することが好ましい。

ただし、振動データＤ４は、画素単位で抽出されなくてもよい。推定部１１は、画像領域Ｒ１の全ての画素を解析し、顕著な周期性が存在する特定の画素についてのみ振動データＤ４を抽出してもよい。また例えば変動周期Ｔ１は、画像領域Ｒ１の全ての画素の画素値の平均値又は合計値に関する変動周期でもよい。また変動幅Ｗ１は、画像領域Ｒ１の全ての画素の画素値の平均値又は合計値に関する変動幅でもよい。

また学習部１３は、上述した動画像Ｍ１とは撮像方向及び撮像範囲（画角）等が異なる動画像Ｍ１を用いて、正常状態の振動データＤ４を抽出してもよい。例えば、撮像部３の数を２台以上に増やして、学習部１３は、複数台の撮像部３からそれぞれ取得した複数の動画像Ｍ１から、正常状態の振動データＤ４を複数抽出してもよい。

学習部１３は、推定部１１が抽出した正常状態の振動データＤ４に基づいて、オブジェクト２に関する学習用データ（セット）を生成する。特に学習部１３は、オブジェクト２の正常状態における振動の周期パターン（変動周期Ｔ１及び変動幅Ｗ１）を学習する。ここでは一例として、学習部１３は、ニューラルネットワークに、正常状態における振動データＤ４に基づく学習用データで機械学習を行わせることで、学習済みモデルを生成する。したがって、抽出された正常状態における振動の周期パターン（変動周期Ｔ１及び変動幅Ｗ１）が、監視モードにおける判定処理の判定基準（閾値）として利用される。

本実施形態では、ユーザは、エッジ画像Ｆ２を含む動画像Ｍ２、振動データＤ４、及び、学習用データを用いた結果（学習結果）等を視覚的に確認できる。具体的には、表示処理部１４は、動画像Ｍ２、振動データＤ４、及び学習結果等に基づいて、確認データＤ１を生成して、第２通信部１７を通じて、確認データＤ１を提示装置４に送信する。提示装置４は、確認データＤ１を表示部に表示させる。確認データＤ１は、エッジ画像Ｆ２を含む、正常状態における動画像Ｍ２を含み得る。また確認データＤ１は、図４に示すようなプロットデータを含み得る。さらに確認データＤ１は、学習結果が反映されたデータ（正常状態の振動の周期パターン）を含み得る。

ユーザは、提示装置４の表示部に表示される確認データＤ１を通じて、表示処理部１４が、オブジェクト２のどの部分をエッジ２Ａとして検出したのかを容易に確認できる。またユーザは、学習部１３が、オブジェクト２の正常動作における振動の周期パターンをどのように学習したのか（学習結果）を容易に確認できる。

［ユーザ設定モード］
以下、処理部１０のユーザ設定モードについて説明する。

ユーザ設定モードにおいて、処理部１０の設定部１５は、ユーザからの入力指示に応じて、上述した確認データＤ１に対する変更を受け付けるように構成される。具体的には、提示装置４は、ユーザインタフェースを通じて、表示中の確認データＤ１に対する編集に関する操作入力を受け付けると、状態管理システム１００に、確認データＤ１に対する編集に関する指示信号を送信する。設定部１５は、第２通信部１７を通じて、指示信号を受信すると、指示信号に応じて、データ格納部１８に格納されている学習用データ、動画像Ｍ２、及び振動データＤ４等を修正する。

例えば、ユーザが、提示装置４の表示部に表示される動画像Ｍ２のエッジ画像Ｆ２（図２参照）を確認したところ、明らかに管理対象である設備Ｅ１及び部品２１の縁部分に該当しない箇所（外れ値）が、エッジ２Ａとして検出されている可能性がある。その場合、ユーザは、当該箇所の画像領域を、非エッジ領域へ、すなわちエッジ２Ａの画像領域Ｒ１から除外するように変更する編集を行えてもよい。例えば、設備Ｅ１の奥に設置されている別工程の設備が、撮像部３の画角内に含まれていた場合、別工程の設備の縁部分も、エッジ２Ａとして検出される可能性がある。この場合、学習部１３は、設定部１５が受け付けたユーザからの入力指示に応じて、別工程の設備の縁部分を非エッジ領域と見なすように、学習用データ、動画像Ｍ２、及び振動データＤ４等を修正する。

またユーザ設定モードにおいて、設定部１５は、監視モードの判定処理で用いられる第１閾値（閾値）を設定するように構成される。ここでいう第１閾値は、例えば、判定部１２が、監視モードにおいて、オブジェクト２の振動の大きさについて「正常」と判定するためのものである。

上述の通り、学習モードにおいて、推定部１１が、正常状態における振動の大きさに対応する変動幅Ｗ１を自動的に抽出しているため、初期設定では、抽出された変動幅Ｗ１が、判定用の第１閾値として適用される。本実施形態では、設定部１５は、ユーザが提示装置４のユーザインタフェースを通じて入力した情報に基づいて、第１閾値を設定することも可能である。例えば、設定部１５は、ユーザが提示装置４を通じて手動で入力したマージンに関する情報に基づいて、自動的に抽出された変動幅Ｗ１に許容誤差を加味して第１閾値を設定することも可能である。第１閾値は、正常と見なせる最小変動幅でもよいし、正常と見なせる最大変動幅でもよいし、最小変動幅から最大変動幅までを指定する範囲でもよい。

またユーザ設定モードにおいて、設定部１５は、監視モードの判定処理で用いられる第２閾値（閾値）を設定するように構成される。ここでいう第２閾値は、例えば、判定部１２が、監視モードにおいて、オブジェクト２の振動の周期について「正常」と判定するためのものである。

上述の通り、学習モードにおいて、推定部１１が、正常状態における振動の周期に対応する変動周期Ｔ１を自動的に抽出しているため、初期設定では、抽出された変動周期Ｔ１が、判定用の第２閾値として適用される。本実施形態では、設定部１５は、ユーザが提示装置４のユーザインタフェースを通じて入力した情報に基づいて、第２閾値を設定することも可能である。例えば、設定部１５は、ユーザが提示装置４を通じて手動で入力したマージンに関する情報に基づいて、自動的に抽出された変動周期Ｔ１に許容誤差を加味して第２閾値を設定することも可能である。第２閾値は、正常と見なせる最小周期でもよいし、正常と見なせる最大周期でもよいし、最小周期から最大周期までを指定する範囲でもよい。

設定部１５は、第２通信部１７を介して、ユーザの入力指示を受け付ける提示装置４から、判定用の第１閾値又は第２閾値に関する設定データＤ２（図１参照）を含む信号を取得すると、設定データＤ２をデータ格納部１８に格納する。

設定部１５は、オブジェクト２に関する既知の情報として、オブジェクト２の種類、形状、及び大きさ等を指定するパラメータも受付可能であることが好ましい。

以下では、ユーザ設定モードで受け付けられたこれらの情報をまとめて「ユーザ設定情報」と呼ぶ。学習部１３は、ユーザ設定情報の一部を、学習用データと合わせて、学習済みモデルの生成に利用してもよい。

［監視モード］
以下、処理部１０の監視モードにおける動作について、図５のフローチャートを参照しながら説明する。ただし、監視モードにおける動作は、以下の順序に実行されることに限定されない。

監視モードにおいて、処理部１０の評価部Ｃ１は、稼働中の設備Ｅ１及び部品２１（オブジェクト２）の状態を監視する。

処理部１０は、生産ラインが稼働中の間、撮像部３によりリアルタイムで撮像されている動画像Ｍ１（監視動画）を、撮像部３から随時取得する（ステップＳ１）。

表示処理部１４は、［学習モード］でサンプルデータの動画像Ｍ１（試料動画）に対して行った処理と同様に、リアルタイムで撮像中の動画像Ｍ１（監視動画）から、エッジ２Ａの検出を実行する（ステップＳ２：エッジ検出処理）。すなわち、表示処理部１４は、リアルタイムで撮像中の動画像Ｍ１から、変換後のエッジ画像Ｆ２（ｔ１）、Ｆ２（ｔ２）、Ｆ２（ｔ３）…からなる動画像Ｍ２を生成する。

そして、推定部１１は、画素値の変化に基づいて、監視中のオブジェクト２の振動の大きさ及び周期を推定する（推定ステップ）。ここでは推定部１１は、エッジ２Ａに対応する画像領域Ｒ１の画素値を抽出して、その変化に基づいて、振動の大きさ及び周期を推定する。推定部１１は、推定結果に基づき、変動幅Ｗ１及び変動周期Ｔ１に関する振動データＤ４を抽出する（ステップＳ３：抽出ステップ）。

ここで表示処理部１４は、リアルタイムで撮像されている動画像Ｍ１に基づいて「振動」の大きさが可視化された態様で、オブジェクト２の画像ＩＭ１を含む監視データＤ３（動画像）を生成して、提示装置４の表示部に表示させる（ステップＳ４：表示ステップ）。特に表示処理部１４は、図３に示すように、正常時の振動の大きさよりも相対的に振動が大きい箇所が分かりやすくなるように「ヒートマップ」で可視化した態様の監視データＤ３を生成して、提示装置４の表示部に表示させる。

次に評価部Ｃ１は、データ格納部１８に格納される学習済みモデル及びユーザ設定情報を参照し、監視中のオブジェクト２における異常の有無を評価する。すなわち、判定部１２は、推定部１１の推定結果である振動の大きさ（変動幅Ｗ１）及び振動の周期（変動周期Ｔ１）に基づいて、監視中のオブジェクト２に関する異常状態（異常の有無）を判定する（ステップＳ５：判定ステップ）。判定部１２は、監視中のオブジェクト２に「異常」有りと判定すると（ステップＳ５：ＹＥＳ）、処理部１０は、「異常」有りの旨を外部に通知し（ステップＳ６）、また異常の種類によっては設備Ｅ１の稼働を停止させる。特に振動の大きさ（変動幅Ｗ１）に異常がある場合、異常が発生している画像領域が、提示装置４にて表示中のヒートマップ（監視データＤ３）において、例えば赤色で表示され得る。したがって、ユーザは、赤色で表示中の画像領域の位置に基づいて、異常の発生箇所を容易に特定できる。

監視モードは、設備Ｅ１が稼働中の間、継続される。例えば、処理部１０は、ユーザから、設備Ｅ１の稼働停止の指示を受信すると（ステップＳ７：ＹＥＳ）、監視モードを終了する。処理部１０は、稼働停止の指示を受信していなければ（ステップＳ７：ＮＯ）、監視モードを継続する。なお、評価部Ｃ１が、画素値の変動に基づいて、自動的に設備Ｅ１の稼働停止を判定してもよい。

［利点］
以上の通り本実施形態によれば、オブジェクト２に生じている振動の大きさが可視化された態様で（ここでは一例としてヒートマップで）、オブジェクト２を含む画像ＩＭ１が表示される。したがって、オブジェクト２に生じている振動の大きさの「見える化」が容易に図られる。ユーザは、画像ＩＭ１を通じて、オブジェクト２における（比較的大きな）振動の発生箇所、或いは振動のばらつき等を確認できる。結果的に、状態管理システム１００には、オブジェクト２の状態をより分かりやすい態様で提供できる、という利点がある。

また本実施形態では、被写体Ｈ１としてオブジェクト２を含む動画像Ｍ１から、振動の大きさ及び周期の両方（いずれか一方でもよい）に関する振動データＤ４が抽出される。そのため、オブジェクト２に関して、信頼性がより高い振動データＤ４を得ることができる。また動画像Ｍ１から振動データＤ４が抽出されるため、例えば加速度センサ等を用いてオブジェクトの振動を計測する場合に比べて、非接触で比較的広い範囲にわたるオブジェクト２の管理を容易に行えることになる。

さらに動画像Ｍ１の複数の画素のうち注目する１以上の画素の画素値の変化に基づいて、振動の大きさ及び周期の両方（いずれか一方でもよい）が推定される。したがって、動画像Ｍ１中の全ての画素の画素値の変化に基づく推定を実行する場合に比べて、推定に関する処理負荷の低減を図ることができる。

特にその注目する１以上の画素とは、オブジェクト２のエッジ２Ａに対応する画像領域Ｒ１を構成する画素である。エッジ２Ａに対応する画像領域Ｒ１の画素は、例えばオブジェクト２の平面的な部位に対応する画像領域を構成する画素に比べて、「振動」が画素値の変化に反映されやすい。したがって、更に信頼性の高い振動データＤ４が得られる。また注目する画素の画素数も抑えやすくなり、推定に関する処理負荷を更に低減できる。

そして、判定部１２が、推定部１１による推定結果に基づいて、オブジェクト２に関する異常状態（正常状態、又は異常の予兆でもよい）について判定するため、オブジェクト２に関する異常状態について判定の信頼性を向上できる。

（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る状態管理システム１００と同様の機能は、状態管理方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。

本開示における状態管理システム１００は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における状態管理システム１００としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

また、状態管理システム１００における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、状態管理システム１００の構成要素は、複数のハウジングに分散して設けられていてもよい。反対に、状態管理システム１００における複数の機能が、１つのハウジング内に集約されてもよい。さらに、状態管理システム１００の少なくとも一部の機能、例えば、状態管理システム１００の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

基本例では、学習部１３は、正常に動作している振動の周期パターンを学習している。しかし、学習部１３は、振動の異常パターンを更に学習してもよい。学習部１３は、例えば、部品２１が、設備Ｅ１に対して正しくない位置又は向きの状態で搬送されている際の振動の異常パターン等を学習してもよい。

ところで基本例では、状態管理方法が、振動の大きさが可視化された態様で、オブジェクト２を含む画像ＩＭ１を表示する「表示ステップ」に加えて、オブジェクト２を含む動画像Ｍ１から振動データＤ４を抽出する「抽出ステップ」を更に有することを説明した。しかし、抽出ステップを有する状態管理方法において、表示ステップを有することは必須の構成ではない。

（４）まとめ
以上説明したように、第１の態様に係る状態管理方法は、オブジェクト（２）の状態を管理する方法である。状態管理方法は、オブジェクト（２）に生じている振動の大きさが可視化された態様で、オブジェクト（２）を含む画像（ＩＭ１）を表示する表示ステップを有する。第１の態様によれば、オブジェクト（２）の状態をより分かりやすい態様で提供できる。

第２の態様に係る状態管理方法は、第１の態様において、抽出ステップを更に有する。抽出ステップでは、被写体（Ｈ１）としてオブジェクト（２）を含む動画像（Ｍ１）から、振動の大きさ及び周期のうちの少なくとも一方に関する振動データ（Ｄ４）を抽出する。第２の態様によれば、オブジェクト（２）に関して、信頼性がより高い振動データ（Ｄ４）を得ることができる。

第３の態様に係る状態管理方法は、第２の態様において、動画像（Ｍ１）における複数の画素のうち注目する１以上の画素の画素値の変化に関する情報に基づいて、振動の大きさ及び周期のうちの少なくとも一方を推定する推定ステップを更に有する。抽出ステップでは、推定ステップによる推定結果に基づいて、振動データ（Ｄ４）を抽出する。第３の態様によれば、全ての画素の画素値の変化に基づく推定を実行する場合に比べて、推定に関する処理負荷の低減を図ることができる。

第４の態様に係る状態管理方法に関して、第３の態様において、注目する１以上の画素とは、オブジェクト（２）のエッジ（２Ａ）に対応する画像領域（Ｒ１）を構成する画素である。第４の態様によれば、更に信頼性の高い振動データ（Ｄ４）が得られる。

第５の態様に係る状態管理方法は、第３又は第４の態様において、判定ステップを更に有する。判定ステップでは、振動データ（Ｄ４）に基づいて、オブジェクト（２）に関する特定状態について判定する。第５の態様によれば、オブジェクト（２）に関する特定状態について判定の信頼性を向上できる。

第６の態様に係る状態管理方法に関して、第２の態様〜第５の態様のいずれか１つにおいて、動画像（Ｍ１）は、二次元又は三次元のセンサで撮像される。第６の態様によれば、例えばラインイメージセンサを用いる場合に比べて、信頼性のより高い振動データ（Ｄ４）を得ることができる。

第７の態様に係るプログラムは、１以上のプロセッサに第１の態様〜第６の態様のいずれか１つにおける状態管理方法を実行させるためのプログラムである。第７の態様によれば、オブジェクト（２）の状態をより分かりやすい態様で提供可能な機能を提供できる。

第８の態様に係る状態管理システム（１００）は、オブジェクト（２）の状態を管理するシステムである。状態管理システム（１００）は、オブジェクト（２）に生じている振動の大きさが可視化された態様で、オブジェクト（２）を含む画像（ＩＭ１）を表示させる表示処理部（１４）を備える。第８の態様によれば、オブジェクト（２）の状態をより分かりやすい態様で提供可能な状態管理システム（１００）を提供できる。

第２〜６の態様に係る構成については、状態管理方法に必須の構成ではなく、適宜省略可能である。

１００ 状態管理システム
１４ 表示処理部
２ オブジェクト
２Ａ エッジ
Ｄ４ 振動データ
Ｈ１ 被写体
ＩＭ１ 画像
Ｍ１ 動画像
Ｒ１ 画像領域

Claims (8)

1. オブジェクトの状態を管理する状態管理方法であって、
   前記オブジェクトに生じている振動の大きさが可視化された態様で、前記オブジェクトを含む画像を表示する表示ステップを有する、
   状態管理方法。
2. 被写体として前記オブジェクトを含む動画像から、前記振動の大きさ及び周期のうちの少なくとも一方に関する振動データを抽出する抽出ステップを更に有する、
   請求項１に記載の状態管理方法。
3. 前記動画像における複数の画素のうち注目する１以上の画素の画素値の変化に関する情報に基づいて、前記振動の大きさ及び周期のうちの少なくとも一方を推定する推定ステップを更に有し、
   前記抽出ステップでは、前記推定ステップによる推定結果に基づいて、前記振動データを抽出する、
   請求項２に記載の状態管理方法。
4. 前記注目する１以上の画素とは、前記オブジェクトのエッジに対応する画像領域を構成する画素である、
   請求項３に記載の状態管理方法。
5. 前記振動データに基づいて、前記オブジェクトに関する特定状態について判定する判定ステップを更に有する、
   請求項３又は請求項４に記載の状態管理方法。
6. 前記動画像は、二次元又は三次元のセンサで撮像される、
   請求項２〜５のいずれか１項に記載の状態管理方法。
7. １以上のプロセッサに請求項１〜６のいずれか１項に記載の状態管理方法を実行させるためのプログラム。
8. オブジェクトの状態を管理する状態管理システムであって、
   前記オブジェクトに生じている振動の大きさが可視化された態様で、前記オブジェクトを含む画像を表示させる表示処理部を備える、
   状態管理システム。

Images