JP2018116325A - 異常検知システム、異常検知装置、異常検知方法およびプログラム - Google Patents
異常検知システム、異常検知装置、異常検知方法およびプログラム Download PDFInfo
- Publication number
- JP2018116325A JP2018116325A JP2017004793A JP2017004793A JP2018116325A JP 2018116325 A JP2018116325 A JP 2018116325A JP 2017004793 A JP2017004793 A JP 2017004793A JP 2017004793 A JP2017004793 A JP 2017004793A JP 2018116325 A JP2018116325 A JP 2018116325A
- Authority
- JP
- Japan
- Prior art keywords
- work
- abnormality
- product
- abnormal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】製作物に対する作業を撮像し、撮像画像を生成する撮像部と、前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行う検知部と、前記異常な作業の後工程へ、異常に関する情報を通知する異常通知部と、を備える、異常検知システムが提供される。
【選択図】図7
Description
まず、本発明の背景について説明する。本発明の一実施形態に係る異常検知システムは、例えば、製品の生産が行われる様々な工場に導入されるシステムである。
上記では、本発明の背景について説明した。続いて、本実施形態に係る異常検知システムの概要について説明する。まず、図1を参照して、本実施形態に係る異常検知システムの構成について説明する。図1は、本実施形態に係る異常検知システムの構成を示す図である。図1に示すように、本実施形態に係る異常検知システムは、解析装置100と、撮像装置200と、電子機器300と、表示装置400と、を備える。
撮像装置200は、製作物に対する作業を撮像する撮像部として機能する装置である。より具体的に説明すると、撮像装置200は、製作物に対する作業を行う作業者またはロボットの動作を撮像し、撮像画像データを生成する。例えば、撮像装置200は、作業者の手元を含む領域を撮像領域として、手作業による作業を撮像したり、作業者の身体全体が含まれる領域を撮像領域として、身体全体の動きを伴う作業を撮像したり、ロボットの稼働箇所を含む領域を撮像領域として、ロボットによる作業を撮像したりする。もちろん、撮像装置200は、人とロボットの共同作業を撮像してもよい。
解析装置100は、撮像装置200から提供された撮像画像データを解析し、解析結果の情報を作業者本人に対して通知する。より具体的に説明すると、解析装置100は、撮像装置200から提供される撮像画像データと、予め学習された正常作業辞書データとを比較することで作業の異常度を算出する。そして、解析装置100は、算出した異常度と所定の閾値とを比較することによって、「OK(異常なし)」「要確認(異常が含まれる可能性あり)」「やり直し(異常あり)」等の多段階の解析結果を作業者本人の表示装置400に表示させる。
電子機器300は、解析装置100に対して区切り信号を通知する作業区切り通知部として機能する装置である。例えば、本実施形態に係る電子機器300は、作業項目の手順を作業項目毎に表示するタブレット型PCであるとする。例えば、作業者は、ある作業項目を実施した後に、次の作業項目の手順を電子機器300に表示させる操作(例えば、操作画面に表示された「次へ」ボタンを押下する操作)を行う。電子機器300は、当該次の作業項目の手順を表示させる操作が行われたことに基づいて、ある作業項目が完了したとみなし、区切り信号を生成する。電子機器300は、生成した区切り信号を解析装置100へ提供する。電子機器300のように、作業に用いられる装置が区切り信号を生成することによって、本実施形態に係る異常検知システムは、より適切なタイミングで区切り信号を生成することができる。
表示装置400は、解析結果を表示する装置である。より具体的に説明すると、表示装置400は、解析装置100から提供された解析結果に関する情報に基づいて解析結果を表示する。例えば、表示装置400は、図4または図5に示したような解析結果を表示する。なお、上記のとおり、表示装置400が表示する解析結果は、図4または図5の例に限定されず、手順書における異常な作業が行われた手順、確認方法、修正方法等に関する情報であってもよい。
以上では、本実施形態に係る異常検知システムの概要について説明した。続いて、図7を参照して、本実施形態に係る解析装置100の機能構成について説明する。図7は、本実施形態に係る解析装置100の機能構成を示すブロック図である。
通信部110は、撮像装置200、電子機器300および表示装置400との通信を行う。撮像装置200との通信について具体的に説明すると、通信部110は、正常作業の学習のとき、または、異常作業の検知処理が行われるときに撮像装置200から撮像画像データを受信し、当該データを後述する処理部120へ提供する。また、電子機器300との通信について具体的に説明すると、通信部110は、異常作業の検知処理が行われるときに電子機器300から区切り信号を受信し、当該信号を処理部120へ提供する。また、表示装置400との通信について具体的に説明すると、通信部110は、異常な作業が検知された場合に、処理部120から提供される解析結果に関する情報を表示装置400へ送信する。
処理部120は、異常な作業を検知する検知部として機能する。より具体的には、処理部120は、撮像装置200によって撮像された撮像画像を解析し、製作物に対する作業の異常度を算出することで、異常な作業を検知する。そして、処理部120は、異常を作業者に通知する異常通知部としても機能する。より具体的には、処理部120は、異常に関する情報を表示装置400に表示させることで作業者に通知する。上記のとおり、処理部120は、特徴抽出部121と、学習部122と、正常作業辞書123と、検知部124と、を備え、これらの機能構成が連携して処理を行うことで異常な作業の検知処理を実現する。以下に、処理部120が備える各機能構成について説明する。
特徴抽出部121は、撮像装置200によって撮像された撮像画像から特徴量を抽出する。より具体的に説明すると、正常作業の学習に際しては、特徴抽出部121は、正常作業が撮像された複数の撮像画像に共通して存在する特徴量を統計的手法で抽出し、抽出結果を学習部122に提供することで、正常作業の特徴量が作業項目毎に集められた正常作業モデルの生成を可能にする。
学習部122は、正常作業モデルの生成または更新を行う辞書更新部として機能する。より具体的に説明すると、学習部122は、特徴抽出部121によって抽出された正常作業の特徴量を集めることで正常作業モデルを生成し、これを後述する正常作業辞書123に記憶させる。また、学習部122は、パラメータ(例えば、ヘイズリダクション(画像鮮明化)の処理パラメータ等)を変更して学習を行うことで、複数種類の正常作業モデルを生成してもよい。
正常作業辞書123は、学習部122によって生成された正常作業モデルを記憶する。上記のとおり、正常作業辞書123は、複数種類の正常作業モデルを記憶してもよい。
検知部124は、異常な作業の検知を行う。より具体的に説明すると、検知部124は、製作物に対する作業が撮像された撮像画像から特徴抽出部121によって抽出された特徴量と、正常作業辞書123によって記憶されている正常作業モデルとを比較することで、作業の異常度を算出する。そして、例えば、検知部124は、算出した異常度と所定の閾値とを比較することによって、上記のように、「OK」「要確認」「やり直し」等の解析結果を出力する。
制御部130は、各機能構成を制御することによって、解析装置100の処理全体を統括的に制御する。例えば、制御部130は、異常作業の検知に際して、通信部110に撮像装置200から撮像画像データを受信させ、電子機器300から区切り信号を受信させる。そして、制御部130は、これらの情報を処理部120に提供することで、処理部120に作業の異常度を算出させる。最後に、制御部130は、通信部110に解析結果に関する情報を表示装置400に対して送信させる。その他の処理についても、制御部130は各機能構成を適宜制御する。
記憶部140は、制御部130が各種制御処理を実施するに際して参照可能な各種のパラメータ、データベースまたは各種のプログラム等を記憶する。また、記憶部140は、制御部130によって各種制御処理が実施される際に生成される一時的なデータや各種の履歴情報等を記憶してもよい。制御部130は、記憶部140に対して、自由にデータのリード/ライト処理を実施することが可能である。
上記では、本実施形態に係る解析装置100の機能構成について説明した。続いて、図8を参照して、本実施形態に係る装置の動作について説明する。図8は、異常検知処理における各装置の動作を示すフローチャートである。なお、図8には、上記の図2の工程aにおける異常検知処理が一例として示されている。
以上、本実施形態における各装置の動作について説明した。上記の異常検知システムにおける、作業の異常検知等の情報処理は、ソフトウェアと、以下に説明する解析装置100のハードウェアとの協働により実現される。
以上で説明したように、本実施形態に係る異常検知システムは、複数の工程を有する作業において、異常な作業が行われた場合に、当該異常に関する情報を後工程に通知することが可能である。より具体的には、本実施形態に係る異常検知システムは、後工程の作業者に、異常な作業が行われた製作物の部分、手順書における異常な作業が行われた手順、確認方法、修正方法等に関する情報を作業者に通知することができる。これによって、本実施形態に係る異常検知システムは、後工程の作業者が確認作業または修正作業を正確かつ円滑に行うことを可能にすることができる。
110 通信部
120 処理部
121 特徴抽出部
122 学習部
123 正常作業辞書
124 検知部
130 制御部
140 記憶部
200 撮像装置
300 電子機器
400 表示装置
Claims (10)
- 製作物に対する作業を撮像し、撮像画像を生成する撮像部と、
前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行う検知部と、
前記異常な作業の後工程へ、異常に関する情報を通知する異常通知部と、を備える、
異常検知システム。 - 前記異常に関する情報は、異常が含まれる可能性がある前記製作物の部分を特定する情報である、
請求項1に記載の異常検知システム。 - 前記異常に関する情報は、前記異常な作業の内容を特定する情報である、
請求項1に記載の異常検知システム。 - 前記製作物に対する作業は、連続して行われる複数の作業であり、
前記複数の作業間の区切りの通知を行う作業区切り通知部を更に備え、
前記検知部は、前記区切りの通知に基づいて前記検知を行う、
請求項1から3のいずれか1項に記載の異常検知システム。 - 前記作業区切り通知部は、前記製作物に対する作業に関係する電子機器に備えられる、
請求項4に記載の異常検知システム。 - 前記電子機器は、前記製作物に対する作業の手順を表示する機器、前記製作物に対する作業に用いられる工具若しくはロボットまたは前記撮像部である、
請求項5に記載の異常検知システム。 - 前記検知部は、正常作業の特徴量が学習された正常作業辞書と前記製作物に対する作業を比較することで前記検知を行い、
前記異常に関する情報に対する作業者からのフィードバックを通知するフィードバック通知部と、
前記フィードバックに基づいて前記正常作業辞書を更新する辞書更新部と、を更に備える、
請求項1から6のいずれか1項に記載の異常検知システム。 - 製作物に対する作業を撮像し、撮像画像を生成する撮像部と、
前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行う検知部と、
前記異常な作業の後工程へ、異常に関する情報を通知する異常通知部と、を備える、
異常検知装置。 - 製作物に対する作業を撮像し、撮像画像を生成することと、
前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行うことと、
前記異常な作業の後工程へ、異常に関する情報を通知することと、を有する、
異常検知方法。 - 製作物に対する作業を撮像し、撮像画像を生成することと、
前記撮像画像を解析し、前記製作物に対する異常な作業の検知を行うことと、
前記異常な作業の後工程へ、異常に関する情報を通知することと、
をコンピュータに実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004793A JP6855801B2 (ja) | 2017-01-16 | 2017-01-16 | 異常検知システム、異常検知装置、異常検知方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004793A JP6855801B2 (ja) | 2017-01-16 | 2017-01-16 | 異常検知システム、異常検知装置、異常検知方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018116325A true JP2018116325A (ja) | 2018-07-26 |
JP6855801B2 JP6855801B2 (ja) | 2021-04-07 |
Family
ID=62984140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017004793A Active JP6855801B2 (ja) | 2017-01-16 | 2017-01-16 | 異常検知システム、異常検知装置、異常検知方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6855801B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020181538A (ja) * | 2019-04-26 | 2020-11-05 | カミエンス・テクノロジー株式会社 | 就労支援装置、就労支援方法及び就労支援プログラム |
JP2020204819A (ja) * | 2019-06-14 | 2020-12-24 | オムロン株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
KR20210066541A (ko) * | 2019-11-28 | 2021-06-07 | 서은석 | 영상 분석 기반 비정상 객체 검출 시스템 및 방법 |
WO2022097310A1 (ja) * | 2020-11-06 | 2022-05-12 | オムロン株式会社 | 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体 |
WO2022107326A1 (ja) * | 2020-11-20 | 2022-05-27 | 株式会社日立システムズ | 作業支援装置および作業支援方法 |
WO2022107207A1 (ja) * | 2020-11-17 | 2022-05-27 | 日本電気株式会社 | 情報収集装置、情報収集方法及び記憶媒体 |
JP7115812B1 (ja) | 2021-06-28 | 2022-08-09 | 株式会社オプティム | プログラム、方法、情報処理装置、システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003167613A (ja) * | 2001-11-30 | 2003-06-13 | Sharp Corp | 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体 |
JP2006209468A (ja) * | 2005-01-28 | 2006-08-10 | Yakahi Kikuko | 作業動作解析装置、作業動作解析方法および作業動作解析プログラム |
JP2007243846A (ja) * | 2006-03-10 | 2007-09-20 | Matsushita Electric Ind Co Ltd | 画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法 |
JP2013132736A (ja) * | 2011-12-27 | 2013-07-08 | Mitsubishi Electric Engineering Co Ltd | 作業管理装置および作業管理システム |
US20160358324A1 (en) * | 2015-06-02 | 2016-12-08 | Hideki Sugimoto | Work instruction system and image processing apparatus |
JP2016221671A (ja) * | 2015-06-02 | 2016-12-28 | 株式会社リコー | 作業指示システム、画像処理装置、情報処理方法及びプログラム |
-
2017
- 2017-01-16 JP JP2017004793A patent/JP6855801B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003167613A (ja) * | 2001-11-30 | 2003-06-13 | Sharp Corp | 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体 |
JP2006209468A (ja) * | 2005-01-28 | 2006-08-10 | Yakahi Kikuko | 作業動作解析装置、作業動作解析方法および作業動作解析プログラム |
JP2007243846A (ja) * | 2006-03-10 | 2007-09-20 | Matsushita Electric Ind Co Ltd | 画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法 |
JP2013132736A (ja) * | 2011-12-27 | 2013-07-08 | Mitsubishi Electric Engineering Co Ltd | 作業管理装置および作業管理システム |
US20160358324A1 (en) * | 2015-06-02 | 2016-12-08 | Hideki Sugimoto | Work instruction system and image processing apparatus |
JP2016221671A (ja) * | 2015-06-02 | 2016-12-28 | 株式会社リコー | 作業指示システム、画像処理装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
加藤 慶信: "カメラ、活動量計、ビーコン 生産・物流現場の作業が、ここまで丸見え! 動線分析でつかむカイゼンの糸口", 日経情報ストラテジー NO.298 NIKKEI INFORMATION STRATEGY, JPN6020031233, 29 December 2016 (2016-12-29), JP, pages 30 - 35, ISSN: 0004335005 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020181538A (ja) * | 2019-04-26 | 2020-11-05 | カミエンス・テクノロジー株式会社 | 就労支援装置、就労支援方法及び就労支援プログラム |
JP7270187B2 (ja) | 2019-04-26 | 2023-05-10 | カミエンス・テクノロジー株式会社 | 就労支援装置、就労支援方法及び就労支援プログラム |
JP2020204819A (ja) * | 2019-06-14 | 2020-12-24 | オムロン株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
JP7272128B2 (ja) | 2019-06-14 | 2023-05-12 | オムロン株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
KR20210066541A (ko) * | 2019-11-28 | 2021-06-07 | 서은석 | 영상 분석 기반 비정상 객체 검출 시스템 및 방법 |
KR102320005B1 (ko) * | 2019-11-28 | 2021-10-29 | 서은석 | 영상 분석 기반 비정상 객체 검출 시스템 및 방법 |
WO2022097310A1 (ja) * | 2020-11-06 | 2022-05-12 | オムロン株式会社 | 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体 |
WO2022107207A1 (ja) * | 2020-11-17 | 2022-05-27 | 日本電気株式会社 | 情報収集装置、情報収集方法及び記憶媒体 |
WO2022107326A1 (ja) * | 2020-11-20 | 2022-05-27 | 株式会社日立システムズ | 作業支援装置および作業支援方法 |
JP7115812B1 (ja) | 2021-06-28 | 2022-08-09 | 株式会社オプティム | プログラム、方法、情報処理装置、システム |
WO2023276676A1 (ja) * | 2021-06-28 | 2023-01-05 | 株式会社オプティム | プログラム、方法、情報処理装置、システム |
JP2023005151A (ja) * | 2021-06-28 | 2023-01-18 | 株式会社オプティム | プログラム、方法、情報処理装置、システム |
Also Published As
Publication number | Publication date |
---|---|
JP6855801B2 (ja) | 2021-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6855801B2 (ja) | 異常検知システム、異常検知装置、異常検知方法およびプログラム | |
US20180027218A1 (en) | Work assistance device, work assistance system, work assistance method, and recording medium storing work assistance program | |
US11651317B2 (en) | Work operation analysis system and work operation analysis method | |
US20180374022A1 (en) | Methods and systems for improved quality inspection | |
GB2586105A (en) | Quality review management system | |
WO2017057780A1 (ja) | 表示盤や操作盤のデータ収集装置、方法およびプログラム | |
JP2008310582A (ja) | 保守作業支援装置とシステム並びに保守作業支援方法 | |
CN104246696B (zh) | 基于图像的应用自动化 | |
TW201631426A (zh) | 監視控制裝置 | |
JP2012221460A (ja) | 監視操作システム、トラッキング支援装置およびトラッキング支援方法 | |
JP6909117B2 (ja) | 稼働モニタリング装置、および、稼働モニタリング装置の制御プログラム | |
JP2021125266A (ja) | 状態推定装置、システム、及び製造方法 | |
JP6802122B2 (ja) | 原因推定方法およびプログラム | |
JP2021002136A (ja) | 作業支援装置、作業支援方法、および作業支援プログラム | |
JP6937961B1 (ja) | データ処理装置、データ処理方法およびデータ処理プログラム | |
JP2008009938A (ja) | 動画像データ処理装置、動画像データ処理方法、動画像データ処理プログラム、およびこれを記録した記録媒体 | |
JP6504180B2 (ja) | 異常検出装置、異常検出方法および異常検出プログラム | |
JP2014174653A (ja) | 稼動実績取得システム及び稼動実績取得方法 | |
JP6948294B2 (ja) | 作業異常検知支援装置、作業異常検知支援方法、および作業異常検知支援プログラム | |
JP2013168072A (ja) | 支援装置、支援プログラムおよび支援方法 | |
US20210181717A1 (en) | Production system, recovery system, production method, and information storage medium | |
TWI818913B (zh) | 製程設備之人工智慧控制裝置與方法 | |
CN116134480A (zh) | 图像处理装置、图像处理方法以及程序 | |
TW201743272A (zh) | 資料處理裝置、資料處理方法以及資料處理程式產品 | |
JP2015179355A (ja) | 重畳表示支援装置及び重畳表示支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6855801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |