JP2009205282A - 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 - Google Patents
動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 Download PDFInfo
- Publication number
- JP2009205282A JP2009205282A JP2008044797A JP2008044797A JP2009205282A JP 2009205282 A JP2009205282 A JP 2009205282A JP 2008044797 A JP2008044797 A JP 2008044797A JP 2008044797 A JP2008044797 A JP 2008044797A JP 2009205282 A JP2009205282 A JP 2009205282A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- data
- divided
- divided section
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【効果】動画像データから特徴抽出を安定的に行って動画像データを分割及び分類することができる。また、動作解析対象の運動を評価してその評価を有効に利用することができる。
【選択図】図1
Description
請求項1の発明にかかる動作解析方法は下記の第1〜5ステップから構成され、請求項2の発明にかかる動作解析装置4は下記の第1〜5手段から構成されている。
請求項3の発明にかかる動作解析方法は下記の第1〜4ステップから構成され、請求項4の発明にかかる動作解析装置4は下記の第1〜4手段から構成されている。
請求項3〜6の発明では、各要素動作の集まりである一動作を分割及び分類することができる。
請求項1〜10の発明では、複数方向別のヒストグラムを有効に利用して動画像データを分割することができる。
請求項12〜13の発明では、その評価を処理手段6により有効に利用することができる。
図1に示す雌雄ねじ部材1の締付け作業においては、最初に、部品を治具に固定し、複数組の雌雄ねじ部材1を締付け箇所に手締めする。次に、締付具(例えばトルクレンチ2)に対し規定トルクに達するまで「締める」→「戻す」の動作を繰り返す。トルクレンチ2で締め付ける箇所は複数あり、締付け作業を複数繰り返し行うため、途中、締付け作業を忘れるミスが発生することがある。この作業漏れを検出するために、トルクレンチ2にトルクセンサを設け、締付け作業の回数をカウントすることで、「締付け作業忘れ」ミスを検出するシステムが現場では利用されている。このシステムは、トルクが閾値以上となった回数を締付けた雌雄ねじ部材1の個数として判断し、作業終了後にカウントを表示することで、締付けるべき雌雄ねじ部材1の個数と一致していることを確認する。一致していない場合には、「締付け作業忘れ」などの作業ミスがあったとして、作業の再確認を要求する。しかし、このシステムでは、同一箇所や同一の雌雄ねじ部材1に対して二度締めした場合でも、二つの雌雄ねじ部材1を締め付けたと判断され、それ以降に雌雄ねじ部材1を一つ締め付け忘れても、カウントは規定をクリアし、「締付け作業忘れ」を検出できない問題がある。
図2に示すように、カメラ映像は多数の連続するフレームからできており、動作の最小単位である要素動作を構成する連続なフレームの集まりに、要素動作と要素動作の境(画像の変化点)である分割点を検出することで分割する。さらには複数の要素動作からひとつの意味のあるまとまりを構成する要素動作の集合を一動作と呼ぶ。
Claims (13)
- 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報の統計量に基づき第一段階の特徴データを算出する第1ステップと、その第1ステップで算出した第一段階の特徴データの時系列変化から動画像データを分割する第2ステップと、その第2ステップで分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出する第3aステップとその第3aステップで分割区間毎に算出した第二段階の時系列特徴データに基づきその分割区間を分類する第3bステップとのうち少なくともいずれか一方に基づき分割区間列データを獲得する第3ステップと、その第3ステップで獲得した分割区間列データに基づき動作解析対象の動作を解析する第4ステップとを備えたことを特徴とする動作解析方法。
- 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報の統計量に基づき第一段階の特徴データを算出する第1手段と、その第1手段で算出した第一段階の特徴データの時系列変化から動画像データを分割する第2手段と、その第2手段で分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出する第3a手段とその第3a手段で分割区間毎に算出した第二段階の時系列特徴データに基づきその分割区間を分類する第3b手段とのうち少なくともいずれか一方に基づき分割区間列データを獲得する第3手段と、その第3手段で獲得した分割区間列データに基づき動作解析対象の動作を解析する第4手段とを備えたことを特徴とする動作解析装置。
- 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報の統計量に基づき第一段階の特徴データを算出する第1ステップと、その第1ステップで算出した第一段階の特徴データの時系列変化から動画像データを分割する第2ステップと、その第2ステップで分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出する第3aステップとその第3aステップで分割区間毎に算出した第二段階の時系列特徴データに基づきその分割区間を分類する第3bステップとのうち少なくともいずれか一方に基づき分割区間列データを獲得する第3ステップと、その第3ステップで獲得した分割区間列データの類似度から連続する分割区間列を要素動作に統合して分類する第4ステップを備え、その第4ステップから得られる要素動作列データに基づき動作を解析することを特徴とする動作解析方法。
- 動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報の統計量に基づき第一段階の特徴データを算出する第1手段と、その第1手段で算出した第一段階の特徴データの時系列変化から動画像データを分割する第2手段と、その第2手段で分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出する第3a手段とその第3a手段で分割区間毎に算出した第二段階の時系列特徴データに基づきその分割区間を分類する第3b手段とのうち少なくともいずれか一方に基づき分割区間列データを獲得する第3手段と、その第3手段で獲得した分割区間列データの類似度から連続する分割区間列を要素動作に統合して分類する第4手段を備え、その第4手段から得られる要素動作列データに基づき動作を解析することを特徴とする動作解析装置。
- 前記第4ステップにおいて、分割した要素動作列データの類似度から連続する要素動作列を一動作に統合して分類し、その分類から得られる一動作列データに基づき一動作を解析することを特徴とする請求項3に記載の動作解析方法。
- 前記第4手段において、分割した要素動作列データの類似度から連続する要素動作列を一動作に統合して分類し、その分類から得られる一動作列データに基づき一動作を解析することを特徴とする請求項4に記載の動作解析装置。
- 外部機器からの信号を検出して解析対象区間の指定や動画像データの分割を行うことを特徴とする請求項1または請求項3または請求項5に記載の動作解析方法。
- 外部機器からの信号を検出して解析対象区間の指定や動画像データの分割を行うことを特徴とする請求項2または請求項4または請求項6に記載の動作解析装置。
- 前記第1ステップにおいて、動画像データから抽出する局所的な動き情報は動きベクトルであり、この局所的な動き情報の統計量である動きベクトルの複数方向別ヒストグラムを特徴データとして算出することを特徴とする請求項1または請求項3または請求項5または請求項7に記載の動作解析方法。
- 前記第1手段において、動画像データから抽出する局所的な動き情報は動きベクトルであり、この局所的な動き情報の統計量である動きベクトルの複数方向別ヒストグラムを特徴データとして算出することを特徴とする請求項2または請求項4または請求項6または請求項8に記載の動作解析装置。
- 請求項4または請求項6または請求項8または請求項10に記載の動作解析装置と、その動作解析装置により動作解析対象の運動に対して得られる要素動作列データや一動作列データと、予め設定した標準の要素動作列データや一動作列データとを比較し、それらの間の類似度を閾値により動作を評価する評価手段を備えたことを特徴とする動作評価装置。
- 前記評価手段からの評価信号に基づく処理を行う処理手段を備えたことを特徴とする請求項11に記載の動作評価装置。
- 前記動作解析対象の運動は、作業者が行う繰り返し動作であることを特徴とする請求項11または請求項12に記載の動作評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008044797A JP5149033B2 (ja) | 2008-02-26 | 2008-02-26 | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008044797A JP5149033B2 (ja) | 2008-02-26 | 2008-02-26 | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009205282A true JP2009205282A (ja) | 2009-09-10 |
JP5149033B2 JP5149033B2 (ja) | 2013-02-20 |
Family
ID=41147497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008044797A Expired - Fee Related JP5149033B2 (ja) | 2008-02-26 | 2008-02-26 | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5149033B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012088881A (ja) * | 2010-10-19 | 2012-05-10 | Nippon Hoso Kyokai <Nhk> | 人物動作検出装置およびそのプログラム |
JP2014506695A (ja) * | 2011-01-30 | 2014-03-17 | ミレイ,ラム スリカンス | 技術評価 |
WO2014089119A1 (en) * | 2012-12-03 | 2014-06-12 | Navisens, Inc. | Systems and methods for estimating the motion of an object |
KR101436369B1 (ko) | 2013-06-25 | 2014-09-11 | 중앙대학교 산학협력단 | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 |
JP2016146176A (ja) * | 2015-02-06 | 2016-08-12 | ゼロックス コーポレイションXerox Corporation | コンピュータ視覚ベースのプロセス認識 |
KR20200036002A (ko) * | 2017-08-01 | 2020-04-06 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 제스처 인식 방법, 장치 및 디바이스 |
CN111783567A (zh) * | 2020-06-16 | 2020-10-16 | 西安外事学院 | 一种基于极值标识的时间序列分类方法 |
US20210133444A1 (en) * | 2019-11-05 | 2021-05-06 | Hitachi, Ltd. | Work recognition apparatus |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196662A (ja) * | 2001-12-27 | 2003-07-11 | Ntt Data Corp | カット検出装置およびそのプログラム |
JP2006209468A (ja) * | 2005-01-28 | 2006-08-10 | Yakahi Kikuko | 作業動作解析装置、作業動作解析方法および作業動作解析プログラム |
-
2008
- 2008-02-26 JP JP2008044797A patent/JP5149033B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003196662A (ja) * | 2001-12-27 | 2003-07-11 | Ntt Data Corp | カット検出装置およびそのプログラム |
JP2006209468A (ja) * | 2005-01-28 | 2006-08-10 | Yakahi Kikuko | 作業動作解析装置、作業動作解析方法および作業動作解析プログラム |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012088881A (ja) * | 2010-10-19 | 2012-05-10 | Nippon Hoso Kyokai <Nhk> | 人物動作検出装置およびそのプログラム |
JP2014506695A (ja) * | 2011-01-30 | 2014-03-17 | ミレイ,ラム スリカンス | 技術評価 |
WO2014089119A1 (en) * | 2012-12-03 | 2014-06-12 | Navisens, Inc. | Systems and methods for estimating the motion of an object |
US11041725B2 (en) | 2012-12-03 | 2021-06-22 | Navisens, Inc. | Systems and methods for estimating the motion of an object |
US9836851B2 (en) | 2013-06-25 | 2017-12-05 | Chung-Ang University Industry-Academy Cooperation Foundation | Apparatus and method for detecting multiple objects using adaptive block partitioning |
WO2014208963A1 (ko) * | 2013-06-25 | 2014-12-31 | 중앙대학교 산학협력단 | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 |
KR101436369B1 (ko) | 2013-06-25 | 2014-09-11 | 중앙대학교 산학협력단 | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 |
JP2016146176A (ja) * | 2015-02-06 | 2016-08-12 | ゼロックス コーポレイションXerox Corporation | コンピュータ視覚ベースのプロセス認識 |
KR20200036002A (ko) * | 2017-08-01 | 2020-04-06 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 제스처 인식 방법, 장치 및 디바이스 |
KR102364993B1 (ko) * | 2017-08-01 | 2022-02-17 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 제스처 인식 방법, 장치 및 디바이스 |
US11450146B2 (en) | 2017-08-01 | 2022-09-20 | Huawei Technologies Co., Ltd. | Gesture recognition method, apparatus, and device |
US20210133444A1 (en) * | 2019-11-05 | 2021-05-06 | Hitachi, Ltd. | Work recognition apparatus |
CN111783567A (zh) * | 2020-06-16 | 2020-10-16 | 西安外事学院 | 一种基于极值标识的时间序列分类方法 |
CN111783567B (zh) * | 2020-06-16 | 2023-07-25 | 西安外事学院 | 一种基于极值标识的时间序列分类方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5149033B2 (ja) | 2013-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5149033B2 (ja) | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 | |
CN112446363A (zh) | 一种基于视频抽帧的图像拼接与去重方法及装置 | |
US11521312B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN113111844B (zh) | 一种作业姿态评估方法、装置、本地终端及可读存储介质 | |
EP4137901A1 (en) | Deep-learning-based real-time process monitoring system, and method therefor | |
US20080260206A1 (en) | Image processing apparatus and computer program product | |
JP2020181532A (ja) | 画像判定装置及び画像判定方法 | |
JP7222231B2 (ja) | 行動認識装置、行動認識方法及びプログラム | |
CN112288741A (zh) | 一种基于语义分割的产品表面缺陷检测方法、系统 | |
CN105809674A (zh) | 一种基于机器视觉的模具保护装置及其方法 | |
CN115144399B (zh) | 一种基于机器视觉的装配质量检测方法及装置 | |
CN111598913A (zh) | 一种基于机器人视觉的图像分割方法和系统 | |
JP6715282B2 (ja) | 品質監視システム | |
US20190303680A1 (en) | Behavior recognition apparatus, behavior recognition method, and recording medium | |
CN114092385A (zh) | 基于机器视觉的工业机械故障检测方法及装置 | |
CN114998357B (zh) | 基于多信息分析的工业检测方法、系统、终端和介质 | |
US20190347779A1 (en) | Operation analysis apparatus, operation analysis method, operation analysis program, and operation analysis system | |
CN114846513A (zh) | 动作分析系统和动作分析程序 | |
JP6264008B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN112508925B (zh) | 电子锁面板质量检测方法、系统、计算机装置和存储介质 | |
JP2020140365A (ja) | 製品品質不良予測システム | |
US20210080925A1 (en) | Work analysis apparatus for analyzing work including series of actions performed by working subject | |
EP4016376A1 (en) | Computer-implemented process monitoring method | |
JP2023047003A (ja) | 機械学習システム、学習データ収集方法及び学習データ収集プログラム | |
CN113639685A (zh) | 位移检测方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100326 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100329 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110119 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120321 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120327 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5149033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |