JP2022031303A - 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム - Google Patents
異常作業検出システム、異常作業検出方法、および異常作業検出プログラム Download PDFInfo
- Publication number
- JP2022031303A JP2022031303A JP2021193708A JP2021193708A JP2022031303A JP 2022031303 A JP2022031303 A JP 2022031303A JP 2021193708 A JP2021193708 A JP 2021193708A JP 2021193708 A JP2021193708 A JP 2021193708A JP 2022031303 A JP2022031303 A JP 2022031303A
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- abnormal
- storage means
- abnormal work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
Description
図1は、第1の実施形態の異常作業検出システムを示すブロック図である。異常作業検出システムは、撮像手段10と、標準画像格納手段20と、類似度算出手段30と、類似度基準格納手段40と、異常作業検出手段50と、を有している。
図2は第2の実施形態の異常作業検出システム100を示すブロック図である。異常作業検出システム100は、撮像部110と、標準画像格納部120と、類似度算出部130と、類似度基準格納部140と、異常作業検出部150と、を有している。そして類似度算出部130は、特徴量抽出部131を有している。
(第3の実施形態)
図8は、本実施形態の異常作業検出システム200を示すブロック図である。異常作業検出システム200は、第2の実施形態と同様に、撮像部210と、標準画像格納部220と、類似度算出部230と、類似度基準格納部240と、異常作業検出部250と、を有している。そして、本実施形態では、上記の構成に加えて、類似度算出部230が、特徴量抽出部231と、物体認識部232と、重み付け設定部233と、を有している。
ここで、第2、第3の実施形態を利用した異常作業検出の具体例を示す。
図9の作業では、作業が正常に行われた場合、図10に示すように工程Aの類似度SAがピークアウトした次には工程Bの類似度SBが上昇しなければならない。ところが、図11に示すように、SAが正常範囲内でピークアウトした後に、SBが上昇せずに、SDが上昇したとする。このような状況は、例えば工程の順番を誤って工程Aの次に工程Dを実施した時に発生する。この異常作業は、図11に示すように、工程Bの類似度SBがSB正常範囲から外れた時点で検出することができる。
工程の順番は正しいが、次工程の実行が遅いという異常作業も考えられる。このような場合、類似度は、例えば図12のように変動する。図12の例では、A工程の類似度SAが正常範囲でピークアウトした後に、本来立ち上がってくるはずのB工程の類似度SBが、上昇しきらずに、しばらく時間が経過した後にSBがピークを迎えたSB正常範囲を外れてしまった状態を示している。このようなことは、作業者が気絶したり、居眠りをしたりして、そのあと気づいて作業を再開した、といった場合に起こり得る。この場合も、SBが正常範囲を外れたことをもって、異常作業を検出することができる。
2 モジュール
3 部品箱
4 左手
5 部品
6 標準画像
7 作業状況画像
8 物体
9 右手
10 撮像手段
20 標準画像格納手段
30 類似度算出手段
40 類似度基準格納手段
50 異常作業検出手段
100、200 異常作業検出システム
110、210 撮像部
120、220 標準画像格納部
130、230 類似度算出部
131、231 特徴量抽出部
140、240 類似度基準格納部
150、250 異常作業検出部
232 物体認識部
233 重み付け設定部
S 類似度
Claims (6)
- 作業者の作業状況を撮影する撮像手段と、
複数の作業工程それぞれの正常な作業を撮影した標準画像を格納する画像格納手段と、
前記正常な作業の正常範囲を基準として格納する基準格納手段と、
前記撮像手段によって撮影された作業状況画像から前記作業者の手及び部品を認識する物体認識手段と、
前記基準格納手段に格納された基準に基づいて、前記作業状況画像と前記画像格納手段に格納された標準画像とを比較して異常作業を検出する異常作業検出手段とを有し、
前記異常作業検出手段は、前記作業者の手及び部品に他の物体より大きな重みを付けて比較する
異常作業検出システム。 - 前記画像格納手段は、前記標準画像を前記作業工程の実施順と対応付けて格納し、
前記基準格納手段は、前記作業工程ごとに時間変動する前記正常範囲を基準として格納し、
前記異常作業検出手段は、前記時間変動する前記正常範囲に基づいて異常作業を検出する
ことを特徴とする請求項1に記載の異常作業検出システム。 - 作業者の作業状況を撮影し、
撮影された前記作業状況の画像から前記作業者の手及び部品を認識し、
撮影された前記作業状況の画像と画像格納手段に格納された複数の作業工程それぞれの正常な作業を撮影した標準画像とを基準格納手段に基準として格納された前記正常な作業の正常範囲に基づいて、前記作業者の手及び部品に他の物体より大きな重みを付けて比較して、異常作業を検出する
異常作業検出方法。 - 前記画像格納手段は、前記標準画像を前記作業工程の実施順と対応付けて格納し、
前記基準格納手段は、前記作業工程ごとに時間変動する前記正常範囲を基準として格納する
ことを特徴とする請求項3に記載の異常作業検出方法。 - 作業者の作業状況を撮影した作業状況画像を取得する処理と、
撮影された前記作業状況画像から前記作業者の手及び部品を認識する処理と、
撮影された前記作業状況の画像と画像格納手段に格納された複数の作業工程それぞれの正常な作業を撮影した標準画像とを基準格納手段に基準として格納された前記正常な作業の正常範囲に基づいて、前記作業者の手及び部品に他の物体より大きな重みを付けて比較して、異常作業を検出する処理と、
をコンピュータに実行させる異常作業検出プログラム。 - 前記画像格納手段は、前記標準画像を前記作業工程の実施順と対応付けて格納し、
前記基準格納手段は、前記作業工程ごとに時間変動する前記正常範囲を基準として格納する
ことを特徴とする請求項5に記載の異常作業検出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021193708A JP7235094B2 (ja) | 2020-03-05 | 2021-11-30 | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム |
JP2023023169A JP2023075113A (ja) | 2021-11-30 | 2023-02-17 | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037531A JP2020102245A (ja) | 2020-03-05 | 2020-03-05 | 異常作業検出システムおよび異常作業検出方法 |
JP2021193708A JP7235094B2 (ja) | 2020-03-05 | 2021-11-30 | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037531A Division JP2020102245A (ja) | 2020-03-05 | 2020-03-05 | 異常作業検出システムおよび異常作業検出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023023169A Division JP2023075113A (ja) | 2021-11-30 | 2023-02-17 | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022031303A true JP2022031303A (ja) | 2022-02-18 |
JP7235094B2 JP7235094B2 (ja) | 2023-03-08 |
Family
ID=87885188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021193708A Active JP7235094B2 (ja) | 2020-03-05 | 2021-11-30 | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7235094B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008009868A (ja) * | 2006-06-30 | 2008-01-17 | Saxa Inc | 画像処理装置 |
JP2011133984A (ja) * | 2009-12-22 | 2011-07-07 | Panasonic Corp | 動作特徴抽出装置および動作特徴抽出方法 |
JP2014115700A (ja) * | 2012-12-06 | 2014-06-26 | Nec Corp | 要確認度判定装置、要確認度判定方法、及びプログラム |
-
2021
- 2021-11-30 JP JP2021193708A patent/JP7235094B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008009868A (ja) * | 2006-06-30 | 2008-01-17 | Saxa Inc | 画像処理装置 |
JP2011133984A (ja) * | 2009-12-22 | 2011-07-07 | Panasonic Corp | 動作特徴抽出装置および動作特徴抽出方法 |
JP2014115700A (ja) * | 2012-12-06 | 2014-06-26 | Nec Corp | 要確認度判定装置、要確認度判定方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7235094B2 (ja) | 2023-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6672712B2 (ja) | 異常作業検出システムおよび異常作業検出方法 | |
JP6161257B2 (ja) | イベント検出装置及びその方法、動作認識装置及びその方法、プログラム | |
US9672634B2 (en) | System and a method for tracking objects | |
CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
CN104978709A (zh) | 描述符生成方法及装置 | |
US20130163869A1 (en) | Apparatus and method for extracting edge in image | |
JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11210773B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
CN111881764A (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
JP2018036770A (ja) | 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム | |
US20230065041A1 (en) | Geometric pattern matching method and device for performing the method | |
WO2017094140A1 (ja) | 物体検出装置及び物体検出方法 | |
JP2020102245A (ja) | 異常作業検出システムおよび異常作業検出方法 | |
CN111832381B (zh) | 物体信息登记装置以及物体信息登记方法 | |
CN111062415B (zh) | 基于对比差异的目标对象图像提取方法、系统及存储介质 | |
JP2022031303A (ja) | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム | |
WO2023160061A1 (zh) | 图像中运动对象的确定方法、装置、电子设备和存储介质 | |
JP2023075113A (ja) | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム | |
JP3946927B2 (ja) | 目標判定システム及び判定方法 | |
EP1638038B1 (en) | Method of determining an image descriptor, image comparison method, image search method and associated devices | |
CN114648809A (zh) | 计算机实施的处理监视方法、装置、系统和记录介质 | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 | |
JP6055307B2 (ja) | 対応点探索装置およびカメラ姿勢推定装置ならびにこれらのプログラム | |
US10713808B2 (en) | Stereo matching method and system using rectangular window | |
CN112396627A (zh) | 一种目标跟踪方法及装置、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230206 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7235094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |