JP2020102245A - 異常作業検出システムおよび異常作業検出方法 - Google Patents
異常作業検出システムおよび異常作業検出方法 Download PDFInfo
- Publication number
- JP2020102245A JP2020102245A JP2020037531A JP2020037531A JP2020102245A JP 2020102245 A JP2020102245 A JP 2020102245A JP 2020037531 A JP2020037531 A JP 2020037531A JP 2020037531 A JP2020037531 A JP 2020037531A JP 2020102245 A JP2020102245 A JP 2020102245A
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- work
- abnormal work
- image
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Studio Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、第1の実施形態の異常作業検出システムを示すブロック図である。異常作業検出システムは、撮像手段10と、標準画像格納手段20と、類似度算出手段30と、類似度基準格納手段40と、異常作業検出手段50と、を有している。
図2は第2の実施形態の異常作業検出システム100を示すブロック図である。異常作業検出システム100は、撮像部110と、標準画像格納部120と、類似度算出部130と、類似度基準格納部140と、異常作業検出部150と、を有している。そして類似度算出部130は、特徴量抽出部131を有している。
(第3の実施形態)
図8は、本実施形態の異常作業検出システム200を示すブロック図である。異常作業検出システム200は、第2の実施形態と同様に、撮像部210と、標準画像格納部220と、類似度算出部230と、類似度基準格納部240と、異常作業検出部250と、を有している。そして、本実施形態では、上記の構成に加えて、類似度算出部230が、特徴量抽出部231と、物体認識部232と、重み付け設定部233と、を有している。
ここで、第2、第3の実施形態を利用した異常作業検出の具体例を示す。
図9の作業では、作業が正常に行われた場合、図10に示すように工程Aの類似度SAがピークアウトした次には工程Bの類似度SBが上昇しなければならない。ところが、図11に示すように、SAが正常範囲内でピークアウトした後に、SBが上昇せずに、SDが上昇したとする。このような状況は、例えば工程の順番を誤って工程Aの次に工程Dを実施した時に発生する。この異常作業は、図11に示すように、工程Bの類似度SBがSB正常範囲から外れた時点で検出することができる。
工程の順番は正しいが、次工程の実行が遅いという異常作業も考えられる。このような場合、類似度は、例えば図12のように変動する。図12の例では、A工程の類似度SAが正常範囲でピークアウトした後に、本来立ち上がってくるはずのB工程の類似度SBが、上昇しきらずに、しばらく時間が経過した後にSBがピークを迎えたSB正常範囲を外れてしまった状態を示している。このようなことは、作業者が気絶したり、居眠りをしたりして、そのあと気づいて作業を再開した、といった場合に起こり得る。この場合も、SBが正常範囲を外れたことをもって、異常作業を検出することができる。
2 モジュール
3 部品箱
4 左手
5 部品
6 標準画像
7 作業状況画像
8 物体
9 右手
10 撮像手段
20 標準画像格納手段
30 類似度算出手段
40 類似度基準格納手段
50 異常作業検出手段
100、200 異常作業検出システム
110、210 撮像部
120、220 標準画像格納部
130、230 類似度算出部
131、231 特徴量抽出部
140、240 類似度基準格納部
150、250 異常作業検出部
232 物体認識部
233 重み付け設定部
S 類似度
Claims (10)
- 作業状況を撮影する撮像手段と、
複数の工程の正常作業を撮影した標準画像を格納する標準画像格納手段と、
前記撮像手段が撮影した作業状況画像の前記標準画像に対する類似度を算出する類似度算出手段と、
前記類似度の時間変動についての基準を定めた類似度基準を格納する類似度基準格納手段と、
前記類似度算出手段が算出した前記類似度と前記類似度基準とに基づいて異常作業を検出する異常作業検出手段と、
を有することを特徴とする異常作業検出システム。 - 前記類似度基準が、前記工程の実施順に対応する類似度変動の正常範囲を有する、ことを特徴とする請求項1に記載の異常作業検出システム。
- 前記類似度算出手段が、前記標準画像および前記作業状況画像の特徴点を抽出し前記特徴点における特徴量を算出する特徴量抽出手段を有する、ことを特徴とする請求項1または請求項2に記載の異常作業検出システム。
- 前記類似度算出手段が、前記特徴量抽出手段の抽出した前記特徴量に基づいて前記標準画像中の物体および前記作業状況画像中の物体を認識する物体認識手段と、前記物体認識手段が認識した所定の物体の前記特徴量に対して前記類似度を算出するための重み付けを設定する重み付け設定手段と、を有する、ことを特徴とする請求項3に記載の異常作業検出システム。
- 作業状況を撮影し、
所定の工程の正常作業を撮影した標準画像を格納し、
撮影した作業状況画像の前記標準画像に対する類似度を算出し、
前記類似度の時間変動についての基準を定めた類似度基準を格納し、
算出した前記類似度と前記類似度基準とに基づいて異常作業を検出する、
ことを特徴とする異常作業検出方法。 - 前記類似度基準に、前記工程の実施順に対応する類似度変動の正常範囲を設定する、ことを特徴とする請求項5に記載の異常作業検出システム。
- 前記標準画像および前記作業状況画像の特徴点を抽出し、前記特徴点における特徴量を算出して前記類似度を算出する、ことを特徴とする請求項5または請求項6に記載の異常作業検出方法。
- 前記特徴量抽出手段の抽出した前記特徴量に基づいて前記標準画像中の物体および前記作業状況画像中の物体を認識し、認識した所定の物体の前記特徴量に対して前記類似度を算出するための重み付けを設定する、ことを特徴とする請求項7に記載の異常作業検出方法。
- 作業状況を撮影するステップと、
複数の工程の正常作業を撮影した標準画像を格納するステップと、
撮影した作業状況画像の前記標準画像に対する類似度を算出するステップと、
前記類似度の時間変動についての基準を定めた類似度基準を格納するステップと、
前記類似度算出手段が算出した前記類似度と前記類似度基準とに基づいて異常作業を検出するステップと、
を有することを特徴とする異常作業検出プログラム。 - 前記類似度基準に、前記工程の実施順に対応する類似度変動の正常範囲を設定するステップを有する、ことを特徴とする請求項9に記載の異常作業検出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037531A JP2020102245A (ja) | 2020-03-05 | 2020-03-05 | 異常作業検出システムおよび異常作業検出方法 |
JP2021193708A JP7235094B2 (ja) | 2020-03-05 | 2021-11-30 | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037531A JP2020102245A (ja) | 2020-03-05 | 2020-03-05 | 異常作業検出システムおよび異常作業検出方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015216889A Division JP6672712B2 (ja) | 2015-11-04 | 2015-11-04 | 異常作業検出システムおよび異常作業検出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021193708A Division JP7235094B2 (ja) | 2020-03-05 | 2021-11-30 | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020102245A true JP2020102245A (ja) | 2020-07-02 |
Family
ID=71141299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037531A Pending JP2020102245A (ja) | 2020-03-05 | 2020-03-05 | 異常作業検出システムおよび異常作業検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020102245A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023166699A1 (ja) * | 2022-03-04 | 2023-09-07 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008009868A (ja) * | 2006-06-30 | 2008-01-17 | Saxa Inc | 画像処理装置 |
JP2011133984A (ja) * | 2009-12-22 | 2011-07-07 | Panasonic Corp | 動作特徴抽出装置および動作特徴抽出方法 |
JP2012150613A (ja) * | 2011-01-18 | 2012-08-09 | Ricoh Co Ltd | 作業内容測定装置及び作業管理装置 |
JP2014041560A (ja) * | 2012-08-23 | 2014-03-06 | Canon Inc | 画像処理装置、画像処理方法 |
JP2017091009A (ja) * | 2015-11-04 | 2017-05-25 | 日本電気株式会社 | 異常作業検出システムおよび異常作業検出方法 |
-
2020
- 2020-03-05 JP JP2020037531A patent/JP2020102245A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008009868A (ja) * | 2006-06-30 | 2008-01-17 | Saxa Inc | 画像処理装置 |
JP2011133984A (ja) * | 2009-12-22 | 2011-07-07 | Panasonic Corp | 動作特徴抽出装置および動作特徴抽出方法 |
JP2012150613A (ja) * | 2011-01-18 | 2012-08-09 | Ricoh Co Ltd | 作業内容測定装置及び作業管理装置 |
JP2014041560A (ja) * | 2012-08-23 | 2014-03-06 | Canon Inc | 画像処理装置、画像処理方法 |
JP2017091009A (ja) * | 2015-11-04 | 2017-05-25 | 日本電気株式会社 | 異常作業検出システムおよび異常作業検出方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023166699A1 (ja) * | 2022-03-04 | 2023-09-07 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6672712B2 (ja) | 異常作業検出システムおよび異常作業検出方法 | |
US10417773B2 (en) | Method and apparatus for detecting object in moving image and storage medium storing program thereof | |
AU2015224418B2 (en) | Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and non-transitory computer readable recording medium having therein program for three-dimensional coordinate computing | |
US9672634B2 (en) | System and a method for tracking objects | |
CN104978709A (zh) | 描述符生成方法及装置 | |
CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
JP5262705B2 (ja) | 運動推定装置及びプログラム | |
CN108120391A (zh) | 信息处理设备和方法、存储介质和物品制造方法 | |
US11928805B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
JP6116765B1 (ja) | 物体検出装置及び物体検出方法 | |
JPWO2018235219A1 (ja) | 自己位置推定方法、自己位置推定装置および自己位置推定プログラム | |
CN111127558B (zh) | 确定装配体检测角度的方法、装置、电子设备及存储介质 | |
JP2018036770A (ja) | 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム | |
JP2020102245A (ja) | 異常作業検出システムおよび異常作業検出方法 | |
CN111062415B (zh) | 基于对比差异的目标对象图像提取方法、系统及存储介质 | |
JP7235094B2 (ja) | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム | |
JP2009266155A (ja) | 移動体追跡装置及びその方法 | |
JP6930389B2 (ja) | 画像収集装置、プログラム、及び方法 | |
JP2023075113A (ja) | 異常作業検出システム、異常作業検出方法、および異常作業検出プログラム | |
KR101741501B1 (ko) | 카메라와 객체 간 거리 추정 장치 및 그 방법 | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 | |
EP1638038B1 (en) | Method of determining an image descriptor, image comparison method, image search method and associated devices | |
US10713808B2 (en) | Stereo matching method and system using rectangular window | |
KR102496462B1 (ko) | 비디오에서 키프레임 추출을 위한 알고리즘 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210625 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210831 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211022 |