JP2021179321A - 状態管理方法、プログラム、及び状態管理システム - Google Patents
状態管理方法、プログラム、及び状態管理システム Download PDFInfo
- Publication number
- JP2021179321A JP2021179321A JP2020083354A JP2020083354A JP2021179321A JP 2021179321 A JP2021179321 A JP 2021179321A JP 2020083354 A JP2020083354 A JP 2020083354A JP 2020083354 A JP2020083354 A JP 2020083354A JP 2021179321 A JP2021179321 A JP 2021179321A
- Authority
- JP
- Japan
- Prior art keywords
- vibration
- state management
- unit
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Tool Sensing Apparatuses (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
【課題】オブジェクトの状態をより分かりやすい態様で提供すること。【解決手段】状態管理方法は、オブジェクト2の状態を管理する方法である。状態管理方法は、オブジェクト2に生じている振動の大きさが可視化された態様で、オブジェクト2を含む画像IM1を表示する表示ステップを有する。【選択図】図3
Description
本開示は、一般に、状態管理方法、プログラム、及び状態管理システムに関する。より詳細には、オブジェクトの状態を管理する状態管理方法、プログラム、及び状態管理システムに関する。
特許文献1には、画像を利用した機械学習に関する学習用データ生成方法に関する開示がある。この学習用データ生成方法は、試料の評価用の画像から、明画素を含む第1領域と暗画素を含む第2領域とを抽出する抽出ステップを含む。また学習用データ生成方法は、第1領域の画素値の分布と第2領域の画素値の分布との差が小さくなるように第1領域と第2領域との少なくとも一方を補正する補正処理を実行して学習用データを生成する生成ステップを含む。
ところで、管理の対象であるオブジェクトを管理する者(ユーザ)にとっては、オブジェクトの状態がより分かりやすい態様で提供されることを望む場合がある。
本開示は上記事由に鑑みてなされ、オブジェクトの状態をより分かりやすい態様で提供できる、状態管理方法、プログラム、及び状態管理システムを提供することを目的とする。
本開示の一態様の状態管理方法は、オブジェクトの状態を管理する方法である。前記状態管理方法は、前記オブジェクトに生じている振動の大きさが可視化された態様で、前記オブジェクトを含む画像を表示する表示ステップを有する。
本開示の一態様のプログラムは、1以上のプロセッサに上記の状態管理方法を実行させるためのプログラムである。
本開示の一態様の状態管理システムは、オブジェクトの状態を管理するシステムである。前記状態管理システムは、前記オブジェクトに生じている振動の大きさが可視化された態様で、前記オブジェクトを含む画像を表示させる表示処理部を備える。
本開示によれば、オブジェクトの状態をより分かりやすい態様で提供できる、という利点がある。
(1)概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
本実施形態の一態様に係る状態管理方法は、オブジェクト2(図2A参照)の状態を管理する方法である。本実施形態では一例として、オブジェクト2は、工場における生産ラインで製造される部品21、及び、生産ラインに設置される(生産)設備E1の両方に相当することを想定する。ただし、オブジェクト2は、部品21及び設備E1のいずれか一方のみに相当してもよい。
本実施形態では、設備E1は、複数の部品21を搬送する搬送設備であるとする。したがって、搬送品である各部品21は、設備E1によって例えば一方向に沿って搬送されていく。しかし、設備E1は、搬送設備に限定されない。設備E1の具体的な他の例としては、プレス設備、板金設備、溶接設備、切削設備、金型製造設備、射出成型機、取出機、実装設備、組立設備、及び、検査測定機器が挙げられる。
状態管理方法は、状態管理システム100(図1参照)上で用いられる。状態管理システム100は、1又は複数の撮像部3(図1では1つ)、及びオブジェクト2に関する学習済みモデルを用いて、オブジェクト2(部品21及び設備E1)を監視する。監視対象のオブジェクト2に異常が発生すれば、状態管理システム100は、異常の発生を外部に通知する。また状態管理システム100は、設備E1を管理する設備管理システムに対して、発生した異常の種類に応じた制御を実行するように信号を送信してもよい。例えば、部品21に関する異常(部品の落下又は向きの不具合等)、或いは、設備E1に関する異常(設備異常)が発生すれば、状態管理システム100は、設備E1の稼働を緊急停止させるように、設備管理システムに信号を送信してもよい。
ここで本実施形態の一態様に係る状態管理方法は、オブジェクト2に生じている振動の大きさが可視化された態様で、オブジェクト2を含む画像IM1(図3参照)を表示する表示ステップを有している。「振動」は、例えば、稼働中にある設備E1の動力系(アクチュエータ、モータ等)に常時生じている設備E1に固有の微細な振動であったり、設備E1からの振動の影響を受けて搬送中の部品21に常時生じている振動であったりし得る。設備E1が搬送設備であれば、「振動」は、主に部品21の搬送方向A1(図2A及び図2B参照)と交差する方向の成分が支配的となり得る。
オブジェクト2の状態に何かしらの異常が発生すると、オブジェクト2に生じている「振動」にも影響する。例えば設備E1が経年劣化したり、設備E1に故障が発生したり、異物が混入したりして、設備E1に異常が発生すると、オブジェクト2の「振動」の大きさは変化する可能性がある。また部品21が落下したり、部品21の重量に異常があったり、設備E1に対する部品21の位置又は向きに不具合が生じたりしても、オブジェクト2の「振動」の大きさは変化する可能性がある。状態管理システム100は、オブジェクト2の「振動」の大きさを監視することで、オブジェクト2の状態(異常状態、又は異常の一歩手前の予兆を示す状態)を判定できる。
ここで上述の通り本実施形態の一態様に係る状態管理方法は、表示ステップを有しているため、オブジェクト2に生じている振動の大きさの「見える化」が容易に図られる。オブジェクト2の状態を管理するユーザは、画像IM1を通じて、オブジェクト2における(比較的大きな)振動の発生箇所、或いは振動のばらつき等を確認できる。結果的に、状態管理方法には、オブジェクト2の状態をより分かりやすい態様で提供できる、という利点がある。
また本実施形態の別の態様に係る状態管理システム100は、オブジェクト2の状態を管理するシステムである。状態管理システム100は、オブジェクト2に生じている振動の大きさが可視化された態様で、オブジェクト2を含む画像IM1を表示させる表示処理部14(図1参照)を備えている。この状態管理システム100においても、オブジェクト2の状態をより分かりやすい態様で提供できる、という利点がある。
状態管理システム100は、1以上のプロセッサ及び1以上のメモリを有するコンピュータシステムを主構成とする。言い換えれば、本実施形態に係る状態管理方法は、コンピュータシステム(状態管理システム100)上で用いられる。つまり、状態管理方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、本実施形態に係る状態管理方法を、1以上のプロセッサに実行させるためのプログラムである。
(2)詳細
本実施形態に係る状態管理方法、プログラム、及び状態管理システム100の詳細について、図1〜図5を参照しながら説明する。
本実施形態に係る状態管理方法、プログラム、及び状態管理システム100の詳細について、図1〜図5を参照しながら説明する。
(2.1)全体の構成
本実施形態の状態管理システム100は、管理する対象(オブジェクト2)の状態判定を行うように構成される。ここでは一例として、管理する対象が、上述の通り、工場の設備E1(生産設備)、及び部品21である場合について説明する。したがって、状態管理システム100を利用するユーザは、例えば、工場内で生産ラインを管理する管理者であるとする。しかし、状態管理システム100は、製造工程で用いられるだけでなく、倉庫での管理工程又は搬送工程でも適用され得る。また状態管理システム100は、工場以外にも、研究所、事務所及び教育施設等の施設においても導入され得る。また管理する対象の規模も特に限定されない。
本実施形態の状態管理システム100は、管理する対象(オブジェクト2)の状態判定を行うように構成される。ここでは一例として、管理する対象が、上述の通り、工場の設備E1(生産設備)、及び部品21である場合について説明する。したがって、状態管理システム100を利用するユーザは、例えば、工場内で生産ラインを管理する管理者であるとする。しかし、状態管理システム100は、製造工程で用いられるだけでなく、倉庫での管理工程又は搬送工程でも適用され得る。また状態管理システム100は、工場以外にも、研究所、事務所及び教育施設等の施設においても導入され得る。また管理する対象の規模も特に限定されない。
状態管理システム100の機能は、例えば1台のサーバ装置に全て搭載されていることを想定する。しかし、状態管理システム100の機能の一部は、別のサーバ装置、或いは、パーソナルコンピュータ、スマートフォン又はタブレット端末等の情報端末に、分散して設けられてもよい。
状態管理システム100は、オブジェクト2に関する教師データを用いて生成された「学習済みモデル」、及び動画像M1(図1及び図2A参照)に基づいて、稼働中にあるオブジェクト2の状態判定を行う。
本開示でいう「動画像」は、そのフレームレートについて特に限定されず、1コマ(フレーム)と1コマの間隔が比較的長い(コマ送り)ものも含む。動画像M1は、被写体H1(図2A参照)としてオブジェクト2の少なくとも一部を含む。言い換えると、状態管理システム100は、画像内で振動が生じ得るオブジェクト2の状態を管理する。ここでは一例として、設備E1が、複数の部品21を順次搬送する搬送設備であるとする。動画像M1は、必ずしも搬送設備の全体を被写体H1として含むことは必須ではなく、搬送設備の全体のうち、ユーザが所望する局所的な部位のみを被写体H1として含んでもよい。
ここでは図2Aは、動画像M1中の、時系列で連続するある3つの画像フレームF1(t1)〜F1(t3)を示している。各画像フレームF1には、設備E1の一部、及び搬送中の1個の部品21が被写体H1として含まれている。
設備E1は、稼働中において、例えば、前工程の設備で成形された(成形)部品21を次工程の設備まで搬送するように、搬送開始の位置から搬送終了の位置まで搬送方向A1に沿って、複数の部品21を一定の搬送速度で順次搬送する搬送動作を実行する。複数の部品21は、一定の間隔を保ちながら搬送される。ここでは一例として、動画像M1中の搬送方向A1は、左から右へと、水平方向に沿う直線的な方向であるが、特に限定されない。搬送方向A1は、曲線的な方向でもよいし、また勾配のある方向でもよい。
状態管理システム100は、1又は複数の撮像部3と通信可能に接続されている。撮像部3は、例えばCCD(Charge-Coupled Device)等の二次元のセンサ(例えばエリアイメージセンサ)を含む。すなわち、動画像M1は、二次元のセンサで撮像される。エリアイメージセンサの代わりにラインイメージセンサが用いられてもよいが、エリアイメージセンサの方が信頼性のより高い振動に関するデータ(後述する振動データD4)を得ることができる。また動画像M1は、三次元のセンサで撮像されたものでもよい。三次元のセンサとして、例えば、TOF(Time of Flight)方式の3Dセンサが適用されてもよい。
撮像部3は、工場内において固定的に設置されている。撮像部3は、工場内に設置されている設備E1の特定の領域を、例えば上方又は側方から撮像する。工場内で生産ラインが稼働中の間、撮像部3で撮像された画像(動画像M1)のデータは、常時、状態管理システム100に送信される。
撮像部3は、稼働中の設備E1によって搬送されている部品21が少なくとも1個、動画像M1の画像フレームF1(図2A参照)内に概ね収まる画角で、設備E1を撮像する。
また状態管理システム100は、提示装置4と通信可能に接続されている。提示装置4は、一例として、据え置き型でタッチパネル式のディスプレイ(表示部)を、ユーザインタフェースとして有していることを想定する。言い換えると、ユーザインタフェースは、例えば、タッチパネルディスプレイを含み、ユーザの操作(タップ操作等)の受け付けと、ユーザへの情報の表示を行う。ユーザインタフェースは、例えば、キーボード、ポインティングデバイス、メカニカルなスイッチ、又はジェスチャセンサ等の入力装置を有していてもよい。また、ユーザインタフェースは、音声入出力部を有していてもよい。提示装置4は、スマートフォン又はタブレット端末等の携帯型の情報端末にて実現されてもよい。
(2.2)状態管理システム
状態管理システム100は、図1に示すように、処理部10と、第1通信部16と、第2通信部17と、データ格納部18と、を備えている。
状態管理システム100は、図1に示すように、処理部10と、第1通信部16と、第2通信部17と、データ格納部18と、を備えている。
第1通信部16は、撮像部3と通信するための通信インタフェースである。第1通信部16は、例えば工場内のローカルネットワークを介して、有線又は無線にて撮像部3と通信し、撮像部3で撮像された動画像M1を含む信号を受信する。
第2通信部17は、提示装置4と通信するための通信インタフェースである。第2通信部17は、例えば有線にて提示装置4と通信し、(後述する)表示処理部14で生成された確認データD1を含む信号を提示装置4に送信する。また第2通信部17は、確認データD1の編集に関する指示信号を提示装置4から受信する。また第2通信部17は、(後述する)設定データD2を含む信号を、提示装置4から受信する。
データ格納部18は、学習済みモデルを含む種々のデータを格納可能に構成される。データ格納部18は、EEPROM(Electrically Erasable Programmable Read-Only Memory)のような書き換え可能な不揮発性メモリを含む。
処理部10は、1以上のプロセッサ(マイクロプロセッサ)と1以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、1以上のプロセッサが1以上のメモリに記憶された1以上のプログラム(アプリケーション)を実行することで、処理部10の各部として機能する。プログラムは、ここでは処理部10のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
処理部10は、図1に示すように、推定部11、判定部12、学習部13、表示処理部14、及び設定部15を有している。言い換えると、処理部10は、推定部11としての機能、判定部12としての機能、学習部13としての機能、表示処理部14としての機能、及び設定部15としての機能を有している。
推定部11及び判定部12は、稼働中のオブジェクト2の状態を評価する評価部C1を構成する。評価部C1は、いわゆる推論フェーズのための機能を有している。評価部C1は、生産ラインが稼働中の間、データ格納部18に格納される学習済みモデルを参照し、撮像部3で撮像された動画像M1に基づいて、オブジェクト2における異常(異常の予兆でもよい)の有無を評価する。
状態管理システム100は、評価部C1がオブジェクト2に異常「有り」と判定すると、工場内の設備E1を管理する設備管理システムに、その旨を含む信号を送信する。設備管理システムは、異常が発生した設備E1を含む工程、及び、その工程の前後の工程に対して、発生した異常の種類に応じた制御を実行する。設備管理システムは、例えば、設備E1に異常が発生すれば、設備E1の搬送動作、並びに設備E1の前後の工程の設備の動作を緊急停止させ得る。
また状態管理システム100は、評価部C1がオブジェクト2に異常「有り」と判定すると、その旨をユーザに通知する。例えば、状態管理システム100は、異常「有り」の旨を、ユーザが携帯するスマートフォン又はタブレット端末、ユーザが所有するパーソナルコンピュータ、或いは、ユーザが装着するウェアラブル端末等から通知させる。通知先は、提示装置4でもよい。状態管理システム100は、撮像部3で撮像された動画像M1において、異常が発生したタイミングの画像だけでなく、その前後の画像をメモリに録画して、ユーザに提示することが好ましい。
評価部C1の推定部11は、被写体H1としてオブジェクト2を含む動画像M1から、振動の大きさ及び周期のうちの少なくとも一方(ここでは両方)に関する振動データD4(図4参照)を抽出する(抽出ステップ)ように構成される。振動データD4は、例えば、動画像M1における複数の画素の各々の画素値の変化に関する情報を含む。つまり、振動データD4は、動画像M1中の複数の画像フレームF1(t1)、F1(t2)、F1(t3)…での各画素の画素値の変化に関する情報を含む。またここでは、推定部11は、動画像M1における複数の画素のうち注目する1以上の画素の画素値の変化に関する情報に基づいて、振動の大きさ及び周期のうちの少なくとも一方(ここでは両方)を推定する(推定ステップ)ように構成される。推定部11は、この推定結果に基づいて、振動データD4を抽出する。さらに「注目する1以上の画素」とは、オブジェクト2のエッジ2Aに対応する画像領域R1を構成する画素である。
本実施形態の表示処理部14は、エッジ検出の機能を有している。すなわち、表示処理部14は、動画像M1中のオブジェクト2のエッジ2Aを検出するエッジ検出処理を実行する。エッジ2Aは、設備E1の搬送レールの縁部分、及び部品21の外郭の縁部分等を含み得る。表示処理部14は、画像フレームF1(t1)、F1(t2)、F1(t3)…を、エッジ2Aを際立たせるように可視化された態様のエッジ画像F2(t1)、F2(t2)、F2(t3)…にそれぞれ変換する(図2B参照)。表示処理部14は、変換後のエッジ画像F2(t1)、F2(t2)、F2(t3)…からなる動画像M2を生成する。図2Bでは、表示処理部14により検出されたエッジ2Aが白色で、エッジ2A以外の背景部分が黒色で可視化されたエッジ画像F2が示されている。
表示処理部14は、例えばSobel検出法を利用して、エッジ画像F2への変換を行う。つまり、表示処理部14は、各画像フレームF1に対して、垂直方向、及び水平方向にSobelフィルタを施すことにより、対応するエッジ画像F2を生成する。ただし、エッジ画像F2への変換方法は、特に限定されず、Sobel検出法以外にも、例えば、Canny検出法、Laplacian検出法等の他のエッジ検出法が利用されてもよい。
推定部11は、表示処理部14が生成したエッジ画像F2におけるエッジ2Aに対応する画像領域R1の画素(注目する1以上の画素)における画素値(輝度値)の変化に基づいて、振動の大きさと振動の周期を推定して、振動データD4を抽出する。要するに、振動データD4は、エッジ2Aに対応する画像領域R1の画素値(輝度値)の変化に着目して得られる。振動データD4の詳細については後述する。
上述の通り、オブジェクト2に生じる「振動」は、稼働中にある設備E1に常時生じている固有の振動であったり、設備E1からの振動の影響を受けて部品21に常時生じている振動であったりし得る。設備E1の動力系等に異常が発生するか、又は経年劣化が進むことで、或いは、部品21に不具合があれば、オブジェクト2の「振動」にも影響が出始める。
評価部C1の判定部12は、オブジェクト2のエッジ2Aに対応する画像領域R1の画素値の、時間経過に伴う変動から、その振動(の大きさ及び周期)が、許容される正常時の振動か否かを判定することで、オブジェクト2の状態判定を行う。言い換えると、判定部12は、振動データD4に基づいて、オブジェクト2に関する特定状態について判定する(判定ステップ)ように構成される。簡単に言えば、判定部12は、エッジ2Aの画素値の変動から振動の大きさ及び周期を推定してオブジェクト2の状態を診断する。
判定部12は、振動データD4を監視し、振動の大きさが異常に変化したことを検知すると、「異常」有りと判定する。本実施形態では、判定部12は、学習済みモデルに基づいて、正常な振動の大きさと、異常な振動の大きさとを区別する。
また判定部12は、振動データD4を監視し、振動の周期性の崩れ(変化)を検知すると、「異常」有りと判定する。本実施形態では、判定部12は、学習済みモデルに基づいて、正常な振動の周期と、異常な振動の周期(又は周期性の消失)とを区別する。
設定部15は、判定部12が「異常」有りと判定するための閾値を設定するように構成される。閾値は、振動の大きさに関する第1閾値(変動幅W1)を含み得る。また閾値は、振動の周期に関する第2閾値(変動周期T1)を含み得る。設定部15は、第2通信部17を介して、ユーザの入力指示を受け付ける提示装置4から、判定用の第1閾値及び第2閾値に関する設定データD2(図1参照)を含む信号を受信する。設定部15は、提示装置4から設定データD2を取得すると、データ格納部18に格納する。
学習部13は、例えば学習用に撮像部3で撮像された動画像M1に基づいて、評価用モデル(学習済みモデル)を生成する。学習部13は、学習用データセットにより、人工知能のプログラム(アルゴリズム)に、「振動」に関するオブジェクト2の正常状態、異常状態、及びマージン(許容範囲)等を学習させる。人工知能のプログラムは、機械学習のモデルであって、例えば、階層モデルの一種であるニューラルネットワークが用いられる。学習部13は、ニューラルネットワークに学習用データセットで機械学習(例えば、深層学習)を行わせることで、学習済みモデルを生成する。学習部13は、新たに取得した学習用データセットを用いて再学習を行うことで、学習済みモデルの性能の向上を図ってよい。例えばオブジェクト2に新しい種類の異常が見つかれば、学習部13に、新しい異常に関する再学習を行わせることも可能である。
本実施形態では、学習部13は、上述した推論フェーズの場合と同様に、表示処理部14に、撮像部3から学習用に正常状態のサンプルデータとして取得した動画像M1を、エッジ画像F2からなる動画像M2に変換させる。そして、学習部13は、推定部11に正常状態の振動データD4を抽出させて、そのデータ(学習用データ)に基づいて学習済みモデルを生成する。学習部13は、異常状態のサンプルデータとして取得した動画像M1から、推定部11に異常状態の振動データD4を抽出させて、そのデータを学習用データとして加えてもよい。例えば、部品21の位置や向きに不具合がある状態で、設備E1によって搬送中におけるオブジェクト2の動画像M1が、異常状態のサンプルデータとして用意されてもよい。
表示処理部14は、確認データD1、及び監視データD3を、提示装置4の表示部に表示させるように構成される。表示処理部14は、第2通信部17を介して、確認データD1及び監視データD3を、提示装置4に送信する。
確認データD1は、後述する学習モードで得られる学習結果のデータであり、ユーザに提示して、ユーザに視覚的な「確認」を行わせるためのデータである。確認データD1は、正常状態の「振動」に対応する振動データD4に基づいて生成される。確認データD1は、正常状態におけるエッジ画像F2からなる動画像M2を含んでもよい。
監視データD3は、後述する監視モード中に得られる監視結果のデータ(リアルタイムのデータ)であり、ユーザに提示して、ユーザに視覚的な「確認」を行わせるためのデータである。監視データD3は、「振動」の大きさが可視化された態様でのオブジェクト2の画像IM1(図3参照)を含む。言い換えると、表示処理部14は、「振動」の大きさが可視化された態様のオブジェクト2の画像IM1を表示する(表示ステップ)。
表示処理部14は、エッジ2Aに対応する画像領域R1について、正常時の振動の大きさ(教師データ)に対する監視時の振動の大きさの差分値を演算する。表示処理部14は、正常時の振動の大きさよりも相対的に振動が大きい箇所が分かりやすくなるように、動画像M2をベースとして、演算した差分値について「ヒートマップ」で可視化した態様の監視データD3を生成して、提示装置4の表示部に表示させる。表示処理部14は、画素単位でヒートマップの階調を調整する。つまり、表示処理部14は、差分値が小さい箇所ほど淡い色(青色)の表示色でエッジ2Aの画素を表示し、差分値が大きい箇所ほど濃い色(赤色)の表示色でエッジ2Aの画素を表示させる。図3では、ヒートマップをグレイスケールで表示する。要するに、監視データD3は、複数のエッジ画像F2からなる動画像M2が、相対的に振動が大きい箇所が際立つように加工されたデータである。
このように構成された処理部10は、学習モード、ユーザ設定モード、及び監視モードを動作モードとして実行可能である。処理部10は、例えば一連の動作の流れとして、学習モード、ユーザ設定モード、及び監視モードの順に実行していく。
[学習モード]
以下、処理部10の学習モードについて説明する。
以下、処理部10の学習モードについて説明する。
撮像部3は、生産ライン(設備E1)が正常状態で稼働している様子を撮像し、その動画像M1をサンプルデータとして状態管理システム100に送信する。動画像M1のフレームレートは、例えば数十fpsである。
学習モードにおいて、処理部10の学習部13は、動画像M1の解析を行い、表示処理部14に、Sobel検出法等によってエッジ画像F2への変換を行わせる。エッジ2Aとその周辺部位との境界では、画素の輝度値の変化が大きいことから、表示処理部14は、輝度値の変化に対して微分演算を実行することで勾配を得て、エッジ2Aに対応する画像領域R1を抽出する。表示処理部14は、変換後のエッジ画像F2(t1)、F2(t2)、F2(t3)…からなる、正常状態の動画像M2を生成する。学習部13は、動画像M2をデータ格納部18に格納する。また学習部13は、エッジ2Aに対応する画像領域R1の複数の画素の位置(xy座標)をデータ格納部18に格納する。
また学習部13は、推定部11に正常状態の動画像M1から振動データD4を抽出させる。具体的には、推定部11は、動画像M2から抽出したエッジ2Aに対応する画像領域R1の画素値を、Sobelフィルタが施されていない元の動画像M1から抽出する。ただし、推定部11は、動画像M2から抽出したエッジ2Aに対応する画像領域R1の画素値も、Sobelフィルタが施された動画像M2から抽出してもよい。
そして、推定部11は、エッジ2Aに対応する画像領域R1の複数の画素の各々の画素値の変化に基づいて、振動周期及び振動幅を推定する。図4は、正常状態におけるエッジ2Aに対応する画像領域R1の複数の画素のうちある注目する1つの画素(以下、「注目画素」と呼ぶ)の画素値の、画像フレームF1(t1)、F1(t2)、F1(t3)…にわたる変化(特性X1)を示す。
図4では、横軸が時間であり、縦軸が、注目画素の画素値(輝度値)である。特性X1は、複数のプロット(点)からなるプロットデータであり、複数のプロットは、画像フレームF1(t1)、F1(t2)、F1(t3)…における注目画素の画素値と、それぞれ一対一に対応する。
ここでは振動データD4は、画素値の変動周期T1(図4参照)に関する情報と、画素値の変動幅W1(振幅:図4参照)に関する情報とを含むものとする。変動周期T1が、実際の物理的な「振動」の周期に対応し、変動幅W1が、実際の物理的な「振動」の大きさに対応する。
推定部11は、注目画素の画素値の変化から、周期性を見つけ出す。図4では、推定部11は、変化する画素値が最小値となる時点t11から、次に画素値が最小値となる時点t12までの期間を、1周期(変動周期T1)としている。推定部11は、変化する画素値が最大値となる時点から次に最大値となる時点までの期間を1周期としてもよい。また図4では、推定部11は、画素値の最大値と画素値の最小値の差を、変動幅W1としている。
振動データD4は、図4に示すようなプロットデータ(特性X1)に関する情報を含んでもよい。振動データD4は、特性X1を近似的に関数化した情報(周期関数)を含んでもよい。
要するに、推定部11は、注目画素の画素値の変化の周期性から、オブジェクト2のエッジ2Aに実際に発生している振動の周期性を推定する。
推定部11は、例えば、エッジ2Aに対応する画像領域R1の全ての画素の各々について、振動データD4(変動周期T1及び変動幅W1)を抽出する。つまり、推定部11は、画素単位で振動データD4を抽出する。
ところで、ここでは一例として設備E1が搬送設備であるため、「振動」は、主に部品21の搬送方向A1(図2A参照)と交差する方向(例えば上下方向)を含む成分が支配的となることが予想される。二次元のセンサ(撮像部3)で撮像された各画像フレームF1のx軸方向及びy軸方向は、概ね設備E1の左右方向、及び上下方向とそれぞれ対応する。また画像フレームF1のx軸方向は、部品21の搬送方向A1と略平行である。したがって、x軸方向に沿った線画を比較的多く含む画像領域R1における画素では、y軸方向の成分を含む振動が、振動データD4に反映されやすい。
一方で、x軸方向の成分を含む振動は、注目画素の位置によっては、振動データD4に反映されにくい可能性がある。また図2Aでいえば、設備E1の奥行方向(z軸方向)の成分を含む振動も、振動データD4に反映されにくい可能性がある。これらを考慮すると、推定部11は、画像領域R1の全ての画素について、画素単位で振動データD4を抽出することが好ましい。
ただし、振動データD4は、画素単位で抽出されなくてもよい。推定部11は、画像領域R1の全ての画素を解析し、顕著な周期性が存在する特定の画素についてのみ振動データD4を抽出してもよい。また例えば変動周期T1は、画像領域R1の全ての画素の画素値の平均値又は合計値に関する変動周期でもよい。また変動幅W1は、画像領域R1の全ての画素の画素値の平均値又は合計値に関する変動幅でもよい。
また学習部13は、上述した動画像M1とは撮像方向及び撮像範囲(画角)等が異なる動画像M1を用いて、正常状態の振動データD4を抽出してもよい。例えば、撮像部3の数を2台以上に増やして、学習部13は、複数台の撮像部3からそれぞれ取得した複数の動画像M1から、正常状態の振動データD4を複数抽出してもよい。
学習部13は、推定部11が抽出した正常状態の振動データD4に基づいて、オブジェクト2に関する学習用データ(セット)を生成する。特に学習部13は、オブジェクト2の正常状態における振動の周期パターン(変動周期T1及び変動幅W1)を学習する。ここでは一例として、学習部13は、ニューラルネットワークに、正常状態における振動データD4に基づく学習用データで機械学習を行わせることで、学習済みモデルを生成する。したがって、抽出された正常状態における振動の周期パターン(変動周期T1及び変動幅W1)が、監視モードにおける判定処理の判定基準(閾値)として利用される。
本実施形態では、ユーザは、エッジ画像F2を含む動画像M2、振動データD4、及び、学習用データを用いた結果(学習結果)等を視覚的に確認できる。具体的には、表示処理部14は、動画像M2、振動データD4、及び学習結果等に基づいて、確認データD1を生成して、第2通信部17を通じて、確認データD1を提示装置4に送信する。提示装置4は、確認データD1を表示部に表示させる。確認データD1は、エッジ画像F2を含む、正常状態における動画像M2を含み得る。また確認データD1は、図4に示すようなプロットデータを含み得る。さらに確認データD1は、学習結果が反映されたデータ(正常状態の振動の周期パターン)を含み得る。
ユーザは、提示装置4の表示部に表示される確認データD1を通じて、表示処理部14が、オブジェクト2のどの部分をエッジ2Aとして検出したのかを容易に確認できる。またユーザは、学習部13が、オブジェクト2の正常動作における振動の周期パターンをどのように学習したのか(学習結果)を容易に確認できる。
[ユーザ設定モード]
以下、処理部10のユーザ設定モードについて説明する。
以下、処理部10のユーザ設定モードについて説明する。
ユーザ設定モードにおいて、処理部10の設定部15は、ユーザからの入力指示に応じて、上述した確認データD1に対する変更を受け付けるように構成される。具体的には、提示装置4は、ユーザインタフェースを通じて、表示中の確認データD1に対する編集に関する操作入力を受け付けると、状態管理システム100に、確認データD1に対する編集に関する指示信号を送信する。設定部15は、第2通信部17を通じて、指示信号を受信すると、指示信号に応じて、データ格納部18に格納されている学習用データ、動画像M2、及び振動データD4等を修正する。
例えば、ユーザが、提示装置4の表示部に表示される動画像M2のエッジ画像F2(図2参照)を確認したところ、明らかに管理対象である設備E1及び部品21の縁部分に該当しない箇所(外れ値)が、エッジ2Aとして検出されている可能性がある。その場合、ユーザは、当該箇所の画像領域を、非エッジ領域へ、すなわちエッジ2Aの画像領域R1から除外するように変更する編集を行えてもよい。例えば、設備E1の奥に設置されている別工程の設備が、撮像部3の画角内に含まれていた場合、別工程の設備の縁部分も、エッジ2Aとして検出される可能性がある。この場合、学習部13は、設定部15が受け付けたユーザからの入力指示に応じて、別工程の設備の縁部分を非エッジ領域と見なすように、学習用データ、動画像M2、及び振動データD4等を修正する。
またユーザ設定モードにおいて、設定部15は、監視モードの判定処理で用いられる第1閾値(閾値)を設定するように構成される。ここでいう第1閾値は、例えば、判定部12が、監視モードにおいて、オブジェクト2の振動の大きさについて「正常」と判定するためのものである。
上述の通り、学習モードにおいて、推定部11が、正常状態における振動の大きさに対応する変動幅W1を自動的に抽出しているため、初期設定では、抽出された変動幅W1が、判定用の第1閾値として適用される。本実施形態では、設定部15は、ユーザが提示装置4のユーザインタフェースを通じて入力した情報に基づいて、第1閾値を設定することも可能である。例えば、設定部15は、ユーザが提示装置4を通じて手動で入力したマージンに関する情報に基づいて、自動的に抽出された変動幅W1に許容誤差を加味して第1閾値を設定することも可能である。第1閾値は、正常と見なせる最小変動幅でもよいし、正常と見なせる最大変動幅でもよいし、最小変動幅から最大変動幅までを指定する範囲でもよい。
またユーザ設定モードにおいて、設定部15は、監視モードの判定処理で用いられる第2閾値(閾値)を設定するように構成される。ここでいう第2閾値は、例えば、判定部12が、監視モードにおいて、オブジェクト2の振動の周期について「正常」と判定するためのものである。
上述の通り、学習モードにおいて、推定部11が、正常状態における振動の周期に対応する変動周期T1を自動的に抽出しているため、初期設定では、抽出された変動周期T1が、判定用の第2閾値として適用される。本実施形態では、設定部15は、ユーザが提示装置4のユーザインタフェースを通じて入力した情報に基づいて、第2閾値を設定することも可能である。例えば、設定部15は、ユーザが提示装置4を通じて手動で入力したマージンに関する情報に基づいて、自動的に抽出された変動周期T1に許容誤差を加味して第2閾値を設定することも可能である。第2閾値は、正常と見なせる最小周期でもよいし、正常と見なせる最大周期でもよいし、最小周期から最大周期までを指定する範囲でもよい。
設定部15は、第2通信部17を介して、ユーザの入力指示を受け付ける提示装置4から、判定用の第1閾値又は第2閾値に関する設定データD2(図1参照)を含む信号を取得すると、設定データD2をデータ格納部18に格納する。
設定部15は、オブジェクト2に関する既知の情報として、オブジェクト2の種類、形状、及び大きさ等を指定するパラメータも受付可能であることが好ましい。
以下では、ユーザ設定モードで受け付けられたこれらの情報をまとめて「ユーザ設定情報」と呼ぶ。学習部13は、ユーザ設定情報の一部を、学習用データと合わせて、学習済みモデルの生成に利用してもよい。
[監視モード]
以下、処理部10の監視モードにおける動作について、図5のフローチャートを参照しながら説明する。ただし、監視モードにおける動作は、以下の順序に実行されることに限定されない。
以下、処理部10の監視モードにおける動作について、図5のフローチャートを参照しながら説明する。ただし、監視モードにおける動作は、以下の順序に実行されることに限定されない。
監視モードにおいて、処理部10の評価部C1は、稼働中の設備E1及び部品21(オブジェクト2)の状態を監視する。
処理部10は、生産ラインが稼働中の間、撮像部3によりリアルタイムで撮像されている動画像M1(監視動画)を、撮像部3から随時取得する(ステップS1)。
表示処理部14は、[学習モード]でサンプルデータの動画像M1(試料動画)に対して行った処理と同様に、リアルタイムで撮像中の動画像M1(監視動画)から、エッジ2Aの検出を実行する(ステップS2:エッジ検出処理)。すなわち、表示処理部14は、リアルタイムで撮像中の動画像M1から、変換後のエッジ画像F2(t1)、F2(t2)、F2(t3)…からなる動画像M2を生成する。
そして、推定部11は、画素値の変化に基づいて、監視中のオブジェクト2の振動の大きさ及び周期を推定する(推定ステップ)。ここでは推定部11は、エッジ2Aに対応する画像領域R1の画素値を抽出して、その変化に基づいて、振動の大きさ及び周期を推定する。推定部11は、推定結果に基づき、変動幅W1及び変動周期T1に関する振動データD4を抽出する(ステップS3:抽出ステップ)。
ここで表示処理部14は、リアルタイムで撮像されている動画像M1に基づいて「振動」の大きさが可視化された態様で、オブジェクト2の画像IM1を含む監視データD3(動画像)を生成して、提示装置4の表示部に表示させる(ステップS4:表示ステップ)。特に表示処理部14は、図3に示すように、正常時の振動の大きさよりも相対的に振動が大きい箇所が分かりやすくなるように「ヒートマップ」で可視化した態様の監視データD3を生成して、提示装置4の表示部に表示させる。
次に評価部C1は、データ格納部18に格納される学習済みモデル及びユーザ設定情報を参照し、監視中のオブジェクト2における異常の有無を評価する。すなわち、判定部12は、推定部11の推定結果である振動の大きさ(変動幅W1)及び振動の周期(変動周期T1)に基づいて、監視中のオブジェクト2に関する異常状態(異常の有無)を判定する(ステップS5:判定ステップ)。判定部12は、監視中のオブジェクト2に「異常」有りと判定すると(ステップS5:YES)、処理部10は、「異常」有りの旨を外部に通知し(ステップS6)、また異常の種類によっては設備E1の稼働を停止させる。特に振動の大きさ(変動幅W1)に異常がある場合、異常が発生している画像領域が、提示装置4にて表示中のヒートマップ(監視データD3)において、例えば赤色で表示され得る。したがって、ユーザは、赤色で表示中の画像領域の位置に基づいて、異常の発生箇所を容易に特定できる。
監視モードは、設備E1が稼働中の間、継続される。例えば、処理部10は、ユーザから、設備E1の稼働停止の指示を受信すると(ステップS7:YES)、監視モードを終了する。処理部10は、稼働停止の指示を受信していなければ(ステップS7:NO)、監視モードを継続する。なお、評価部C1が、画素値の変動に基づいて、自動的に設備E1の稼働停止を判定してもよい。
[利点]
以上の通り本実施形態によれば、オブジェクト2に生じている振動の大きさが可視化された態様で(ここでは一例としてヒートマップで)、オブジェクト2を含む画像IM1が表示される。したがって、オブジェクト2に生じている振動の大きさの「見える化」が容易に図られる。ユーザは、画像IM1を通じて、オブジェクト2における(比較的大きな)振動の発生箇所、或いは振動のばらつき等を確認できる。結果的に、状態管理システム100には、オブジェクト2の状態をより分かりやすい態様で提供できる、という利点がある。
以上の通り本実施形態によれば、オブジェクト2に生じている振動の大きさが可視化された態様で(ここでは一例としてヒートマップで)、オブジェクト2を含む画像IM1が表示される。したがって、オブジェクト2に生じている振動の大きさの「見える化」が容易に図られる。ユーザは、画像IM1を通じて、オブジェクト2における(比較的大きな)振動の発生箇所、或いは振動のばらつき等を確認できる。結果的に、状態管理システム100には、オブジェクト2の状態をより分かりやすい態様で提供できる、という利点がある。
また本実施形態では、被写体H1としてオブジェクト2を含む動画像M1から、振動の大きさ及び周期の両方(いずれか一方でもよい)に関する振動データD4が抽出される。そのため、オブジェクト2に関して、信頼性がより高い振動データD4を得ることができる。また動画像M1から振動データD4が抽出されるため、例えば加速度センサ等を用いてオブジェクトの振動を計測する場合に比べて、非接触で比較的広い範囲にわたるオブジェクト2の管理を容易に行えることになる。
さらに動画像M1の複数の画素のうち注目する1以上の画素の画素値の変化に基づいて、振動の大きさ及び周期の両方(いずれか一方でもよい)が推定される。したがって、動画像M1中の全ての画素の画素値の変化に基づく推定を実行する場合に比べて、推定に関する処理負荷の低減を図ることができる。
特にその注目する1以上の画素とは、オブジェクト2のエッジ2Aに対応する画像領域R1を構成する画素である。エッジ2Aに対応する画像領域R1の画素は、例えばオブジェクト2の平面的な部位に対応する画像領域を構成する画素に比べて、「振動」が画素値の変化に反映されやすい。したがって、更に信頼性の高い振動データD4が得られる。また注目する画素の画素数も抑えやすくなり、推定に関する処理負荷を更に低減できる。
そして、判定部12が、推定部11による推定結果に基づいて、オブジェクト2に関する異常状態(正常状態、又は異常の予兆でもよい)について判定するため、オブジェクト2に関する異常状態について判定の信頼性を向上できる。
(3)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る状態管理システム100と同様の機能は、状態管理方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る状態管理システム100と同様の機能は、状態管理方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。
本開示における状態管理システム100は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における状態管理システム100としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、状態管理システム100における複数の機能が、1つのハウジング内に集約されていることは必須の構成ではない。例えば、状態管理システム100の構成要素は、複数のハウジングに分散して設けられていてもよい。反対に、状態管理システム100における複数の機能が、1つのハウジング内に集約されてもよい。さらに、状態管理システム100の少なくとも一部の機能、例えば、状態管理システム100の一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
基本例では、学習部13は、正常に動作している振動の周期パターンを学習している。しかし、学習部13は、振動の異常パターンを更に学習してもよい。学習部13は、例えば、部品21が、設備E1に対して正しくない位置又は向きの状態で搬送されている際の振動の異常パターン等を学習してもよい。
ところで基本例では、状態管理方法が、振動の大きさが可視化された態様で、オブジェクト2を含む画像IM1を表示する「表示ステップ」に加えて、オブジェクト2を含む動画像M1から振動データD4を抽出する「抽出ステップ」を更に有することを説明した。しかし、抽出ステップを有する状態管理方法において、表示ステップを有することは必須の構成ではない。
(4)まとめ
以上説明したように、第1の態様に係る状態管理方法は、オブジェクト(2)の状態を管理する方法である。状態管理方法は、オブジェクト(2)に生じている振動の大きさが可視化された態様で、オブジェクト(2)を含む画像(IM1)を表示する表示ステップを有する。第1の態様によれば、オブジェクト(2)の状態をより分かりやすい態様で提供できる。
以上説明したように、第1の態様に係る状態管理方法は、オブジェクト(2)の状態を管理する方法である。状態管理方法は、オブジェクト(2)に生じている振動の大きさが可視化された態様で、オブジェクト(2)を含む画像(IM1)を表示する表示ステップを有する。第1の態様によれば、オブジェクト(2)の状態をより分かりやすい態様で提供できる。
第2の態様に係る状態管理方法は、第1の態様において、抽出ステップを更に有する。抽出ステップでは、被写体(H1)としてオブジェクト(2)を含む動画像(M1)から、振動の大きさ及び周期のうちの少なくとも一方に関する振動データ(D4)を抽出する。第2の態様によれば、オブジェクト(2)に関して、信頼性がより高い振動データ(D4)を得ることができる。
第3の態様に係る状態管理方法は、第2の態様において、動画像(M1)における複数の画素のうち注目する1以上の画素の画素値の変化に関する情報に基づいて、振動の大きさ及び周期のうちの少なくとも一方を推定する推定ステップを更に有する。抽出ステップでは、推定ステップによる推定結果に基づいて、振動データ(D4)を抽出する。第3の態様によれば、全ての画素の画素値の変化に基づく推定を実行する場合に比べて、推定に関する処理負荷の低減を図ることができる。
第4の態様に係る状態管理方法に関して、第3の態様において、注目する1以上の画素とは、オブジェクト(2)のエッジ(2A)に対応する画像領域(R1)を構成する画素である。第4の態様によれば、更に信頼性の高い振動データ(D4)が得られる。
第5の態様に係る状態管理方法は、第3又は第4の態様において、判定ステップを更に有する。判定ステップでは、振動データ(D4)に基づいて、オブジェクト(2)に関する特定状態について判定する。第5の態様によれば、オブジェクト(2)に関する特定状態について判定の信頼性を向上できる。
第6の態様に係る状態管理方法に関して、第2の態様〜第5の態様のいずれか1つにおいて、動画像(M1)は、二次元又は三次元のセンサで撮像される。第6の態様によれば、例えばラインイメージセンサを用いる場合に比べて、信頼性のより高い振動データ(D4)を得ることができる。
第7の態様に係るプログラムは、1以上のプロセッサに第1の態様〜第6の態様のいずれか1つにおける状態管理方法を実行させるためのプログラムである。第7の態様によれば、オブジェクト(2)の状態をより分かりやすい態様で提供可能な機能を提供できる。
第8の態様に係る状態管理システム(100)は、オブジェクト(2)の状態を管理するシステムである。状態管理システム(100)は、オブジェクト(2)に生じている振動の大きさが可視化された態様で、オブジェクト(2)を含む画像(IM1)を表示させる表示処理部(14)を備える。第8の態様によれば、オブジェクト(2)の状態をより分かりやすい態様で提供可能な状態管理システム(100)を提供できる。
第2〜6の態様に係る構成については、状態管理方法に必須の構成ではなく、適宜省略可能である。
100 状態管理システム
14 表示処理部
2 オブジェクト
2A エッジ
D4 振動データ
H1 被写体
IM1 画像
M1 動画像
R1 画像領域
14 表示処理部
2 オブジェクト
2A エッジ
D4 振動データ
H1 被写体
IM1 画像
M1 動画像
R1 画像領域
Claims (8)
- オブジェクトの状態を管理する状態管理方法であって、
前記オブジェクトに生じている振動の大きさが可視化された態様で、前記オブジェクトを含む画像を表示する表示ステップを有する、
状態管理方法。 - 被写体として前記オブジェクトを含む動画像から、前記振動の大きさ及び周期のうちの少なくとも一方に関する振動データを抽出する抽出ステップを更に有する、
請求項1に記載の状態管理方法。 - 前記動画像における複数の画素のうち注目する1以上の画素の画素値の変化に関する情報に基づいて、前記振動の大きさ及び周期のうちの少なくとも一方を推定する推定ステップを更に有し、
前記抽出ステップでは、前記推定ステップによる推定結果に基づいて、前記振動データを抽出する、
請求項2に記載の状態管理方法。 - 前記注目する1以上の画素とは、前記オブジェクトのエッジに対応する画像領域を構成する画素である、
請求項3に記載の状態管理方法。 - 前記振動データに基づいて、前記オブジェクトに関する特定状態について判定する判定ステップを更に有する、
請求項3又は請求項4に記載の状態管理方法。 - 前記動画像は、二次元又は三次元のセンサで撮像される、
請求項2〜5のいずれか1項に記載の状態管理方法。 - 1以上のプロセッサに請求項1〜6のいずれか1項に記載の状態管理方法を実行させるためのプログラム。
- オブジェクトの状態を管理する状態管理システムであって、
前記オブジェクトに生じている振動の大きさが可視化された態様で、前記オブジェクトを含む画像を表示させる表示処理部を備える、
状態管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020083354A JP2021179321A (ja) | 2020-05-11 | 2020-05-11 | 状態管理方法、プログラム、及び状態管理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020083354A JP2021179321A (ja) | 2020-05-11 | 2020-05-11 | 状態管理方法、プログラム、及び状態管理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021179321A true JP2021179321A (ja) | 2021-11-18 |
Family
ID=78511238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020083354A Pending JP2021179321A (ja) | 2020-05-11 | 2020-05-11 | 状態管理方法、プログラム、及び状態管理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021179321A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023171663A1 (ja) * | 2022-03-09 | 2023-09-14 | 三菱重工業株式会社 | 解析装置、解析方法、およびプログラム |
JP7479069B2 (ja) | 2022-09-12 | 2024-05-08 | 株式会社アイフォーカス | ウェアラブルカメラ |
-
2020
- 2020-05-11 JP JP2020083354A patent/JP2021179321A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023171663A1 (ja) * | 2022-03-09 | 2023-09-14 | 三菱重工業株式会社 | 解析装置、解析方法、およびプログラム |
JP7479069B2 (ja) | 2022-09-12 | 2024-05-08 | 株式会社アイフォーカス | ウェアラブルカメラ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Rapid surface defect identification for additive manufacturing with in-situ point cloud processing and machine learning | |
US20190138676A1 (en) | Methods and systems for automatically creating statistically accurate ergonomics data | |
KR20190063839A (ko) | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 | |
US20060092274A1 (en) | Image sensor annotation method and apparatus | |
JP2018113610A (ja) | 視覚センサの異常原因推定システム | |
JP7059883B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
JP2021179321A (ja) | 状態管理方法、プログラム、及び状態管理システム | |
JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11521120B2 (en) | Inspection apparatus and machine learning method | |
KR20220085589A (ko) | 딥러닝 기반 제품 불량 검출방법 및 시스템 | |
JP2019159820A (ja) | 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム | |
US11682112B2 (en) | Inspection device and machine learning method | |
JP2015087940A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Ghidoni et al. | Automatic color inspection for colored wires in electric cables | |
US20060093203A1 (en) | Attribute threshold evaluation scheme | |
Raabe et al. | Vision based quality control and maintenance in high volume production by use of zero defect strategies | |
JP2021177295A (ja) | 状態判定方法、プログラム、及び状態判定システム | |
Kim et al. | CECvT: Initial Diagnosis of Anomalies in Thermal Images | |
US11320809B2 (en) | Factory management system and control system | |
Takacs et al. | Novel outlier filtering method for AOI image databases | |
CN112949490A (zh) | 设备动作检测方法、装置、电子设备及可读存储介质 | |
TW202333014A (zh) | 用於製造流程之系統及方法 | |
Siam et al. | Fault tolerant control of an industrial manufacturing process using image processing | |
Viharos et al. | Vision based, statistical learning system for fault recognition in industrial assembly environment | |
US11989226B2 (en) | Classification system and classification method using lerned model and model including data distribution |