JP2016081504A - 深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法 - Google Patents
深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法 Download PDFInfo
- Publication number
- JP2016081504A JP2016081504A JP2015041146A JP2015041146A JP2016081504A JP 2016081504 A JP2016081504 A JP 2016081504A JP 2015041146 A JP2015041146 A JP 2015041146A JP 2015041146 A JP2015041146 A JP 2015041146A JP 2016081504 A JP2016081504 A JP 2016081504A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- recognition
- taekwondo
- type
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0605—Decision makers and devices using detection means facilitating arbitration
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
- G09B19/0038—Sports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physical Education & Sports Medicine (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
Remote(登録商標)モーションコントローラインタフェース、ソニー社のPlay Station(登録商標) Moveインタフェース、スペースマウスに代え得るGlobalFishインタフェース、ジョイスティックを弾性体リングを用いて製作してタッチパッドを組み込んだGroove
Padインタフェースなど様々な3D物理的インタフェースが挙げられる。
IR reflective)領域を示す。図2の(c)は、深度カメラによって、マーキングされた領域に赤外線を投射して連結された点の反射波の強度を測定し、反射強度を用いて距離を測定し、反射強度の低い点は遠くからきたものと推定し、強度の高い点は前面にいるユーザーからきたものと推定してオブジェクトの主なスケルトンを認識したものを示す。
各関節iの標準化された座標
Claims (17)
- 深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査装置において、
深度カメラから入力されたオブジェクトの特徴を取り出す特徴取出し部と、
前記オブジェクトの様々な動作を定義するための動作定義部と、
前記特徴取出し部及び前記動作定義部により得られた情報を用いて前記オブジェクトの行動を認識する動作認識部と、
前記動作認識部において確定された前記オブジェクトの動作の正確度を判定する判定部と、
を備えるテコンドー型の認識及び昇段審査装置。 - 前記深度カメラは、深度センサー及びビジュアルセンサーを備えることを特徴とする請求項1に記載のテコンドー型の認識及び昇段審査装置。
- 前記動作は、単純な動作、複雑な動作、身体の複数の部分を用いた動作に区別され、前記動作定義部は、動作分解部をさらに備えることを特徴とする請求項1に記載のテコンドー型の認識及び昇段審査装置。
- 前記動作認識部は、前記オブジェクトの動作を分類する動作分類部と、動作をマッチングする動作マッチング部及び前記オブジェクトの動作を確定する動作確定部をさらに備えることを特徴とする請求項2に記載のテコンドー型の認識及び昇段審査装置。
- 前記動作認識部は、確定された前記動作を格納するユーザー動作認識データベースを備えることを特徴とする請求項4に記載のテコンドー型の認識及び昇段審査装置。
- 前記判定部は、標準型動作データベースをさらに備え、前記深度カメラから受け取った座標を予め格納されている座標値と比較して正確度を測定することを特徴とする請求項4に記載のテコンドー型の認識及び昇段審査装置。
- 前記正確度の測定は、前記動作の開始点と前記動作の終点との間に必要な値を動的時間ワープアルゴリズムを用いて整列したデータを用いて求め、且つ、前記座標値及び前記整列したデータを用いて正確度を求めることにより行われることを特徴とする請求項6に記載のテコンドー型の認識及び昇段審査装置。
- 前記座標値は、前記オブジェクトのx、y、z軸の座標値であることを特徴とする請求項7に記載のテコンドー型の認識及び昇段審査装置。
- 深度カメラを用いた人体の骨格に基づくテコンドー型の認識及び昇段審査方法において、
深度カメラから入力されたオブジェクトの特徴を取り出す特徴取出ステップと、
前記オブジェクトの様々な動作を定義するための動作定義ステップと、
前記特徴取出ステップ及び前記動作定義ステップにより得られた情報を用いて前記オブジェクトの行動を認識する動作認識ステップと、
前記動作認識部において確定された前記オブジェクトの動作の正確度を判定する判定ステップと、
を含むテコンドー型認識及び昇段審査方法。 - 前記深度カメラは、深度センサー及びビジュアルセンサーを備えることを特徴とする請求項9に記載のテコンドー型認識及び昇段審査方法。
- 前記動作は、単純な動作、複雑な動作、身体の複数の部分を用いた動作に区別され、前記動作定義ステップは、動作分解ステップをさらに含むことを特徴とする請求項9に記載のテコンドー型認識及び昇段審査方法。
- 前記動作認識ステップは、前記オブジェクトの動作を分類する動作分類ステップと、動作をマッチングする動作マッチングステップ及び前記オブジェクトの動作を確定する動作確定ステップを含むことを特徴とする請求項11に記載のテコンドー型認識及び昇段審査方法。
- 前記動作認識ステップは、確定された前記動作を格納するユーザー動作認識データベースを備えることを特徴とする請求項12に記載のテコンドー型認識及び昇段審査方法。
- 前記判定ステップは、標準型動作データベースをさらに備え、前記深度カメラから座標を受け取って予め格納されている座標値と比較して正確度を測定するステップと、テコンドー型の連続したシーケンスを比較して判断するステップ及び合格基準の充足有無を判断して通報するステップをさらに含むことを特徴とする請求項13に記載のテコンドー型認識及び昇段審査方法。
- 前記正確度を測定するステップにおいては、
前記動作の開始点と前記動作の終点との間に必要な値を動的時間ワープアルゴリズムを用いて整列したデータを用いて求め、且つ、前記座標値及び前記整列したデータを用いて正確度を求めることを特徴とする請求項14に記載のテコンドー型認識及び昇段審査方法。 - 前記座標値は、前記オブジェクトのx、y、z軸の座標値であることを特徴とする請求項15に記載のテコンドー型認識及び昇段審査方法。
- 前記合格基準は、前記動作の正確度が60%〜100%であることを特徴とする請求項16に記載のテコンドー型認識及び昇段審査方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0138411 | 2014-10-14 | ||
KR20140138411 | 2014-10-14 | ||
KR10-2015-0006676 | 2015-01-14 | ||
KR1020150006676A KR101576106B1 (ko) | 2014-10-14 | 2015-01-14 | 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016081504A true JP2016081504A (ja) | 2016-05-16 |
JP5986656B2 JP5986656B2 (ja) | 2016-09-06 |
Family
ID=54979200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015041146A Expired - Fee Related JP5986656B2 (ja) | 2014-10-14 | 2015-03-03 | 深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160104298A1 (ja) |
EP (1) | EP3009957A3 (ja) |
JP (1) | JP5986656B2 (ja) |
KR (1) | KR101576106B1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049216A1 (ja) | 2017-09-05 | 2019-03-14 | 富士通株式会社 | 採点方法、採点プログラムおよび採点装置 |
US11776134B2 (en) | 2017-12-14 | 2023-10-03 | Fujitsu Limited | Non-transitory computer readable recording medium, element recognition method, and element recognition system |
US11983962B2 (en) | 2020-08-11 | 2024-05-14 | Shosabi Inc. | Information processing apparatus, and method |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101559972B1 (ko) * | 2015-04-15 | 2015-10-14 | 김태오 | 태권도 품새 단련 시스템 |
KR101770525B1 (ko) * | 2016-09-22 | 2017-08-23 | 우하성 | 태권도 승품 및 승단 심사 전산화 시스템 및 그 운용방법 |
JP6915701B2 (ja) | 2017-12-27 | 2021-08-04 | 富士通株式会社 | 抽出プログラム、抽出方法および情報処理装置 |
KR102331890B1 (ko) * | 2018-03-22 | 2021-11-29 | 한국전자통신연구원 | 무술 트레이닝 시스템 및 방법 |
KR102238085B1 (ko) * | 2018-08-23 | 2021-04-08 | 한국전자기술연구원 | 동작분석 장치 및 방법 |
CN110098961B (zh) * | 2019-04-25 | 2022-04-01 | 北京天融信网络安全技术有限公司 | 一种数据质量评估方法、装置及存储介质 |
KR102112236B1 (ko) | 2019-09-26 | 2020-05-18 | 주식회사 홀로웍스 | 모션 디텍팅 기반의 가상 품새 에스티메이팅 시스템 |
CN111950485B (zh) * | 2020-08-18 | 2022-06-17 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于人体骨架的人体行为识别方法及系统 |
KR102304641B1 (ko) * | 2020-12-15 | 2021-09-24 | (주)나노아이티 | 인공지능형 태권도 품새 판독 및 교육 시스템 |
US11854305B2 (en) | 2021-05-09 | 2023-12-26 | International Business Machines Corporation | Skeleton-based action recognition using bi-directional spatial-temporal transformer |
KR102381907B1 (ko) * | 2021-09-23 | 2022-04-04 | 최중구 | 태권도 동작에 대한 커리큘럼 기반의 학습 보조 방법 및 장치 |
KR102630828B1 (ko) | 2023-02-06 | 2024-01-31 | 주식회사 에이아이태권도 | 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030041034A (ko) * | 2001-11-19 | 2003-05-23 | 쓰리에스휴먼 주식회사 | 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체 |
JP2011090273A (ja) * | 2009-10-23 | 2011-05-06 | Tomonori Shiraishi | ヴァーチャル対戦による段位認定システム |
US20130113789A1 (en) * | 2011-11-09 | 2013-05-09 | Sony Corporation | Information processing apparatus, display control method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100607046B1 (ko) * | 2004-09-09 | 2006-08-01 | 주식회사 쿼터뷰 | 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법 |
US20140267611A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Runtime engine for analyzing user motion in 3d images |
KR101428922B1 (ko) * | 2013-04-19 | 2014-08-11 | 한밭대학교 산학협력단 | 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법 |
US9875664B2 (en) * | 2014-06-02 | 2018-01-23 | Xerox Corporation | Virtual trainer optimizer method and system |
-
2015
- 2015-01-14 KR KR1020150006676A patent/KR101576106B1/ko active IP Right Grant
- 2015-02-06 EP EP15154204.0A patent/EP3009957A3/en not_active Withdrawn
- 2015-02-24 US US14/629,561 patent/US20160104298A1/en not_active Abandoned
- 2015-03-03 JP JP2015041146A patent/JP5986656B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030041034A (ko) * | 2001-11-19 | 2003-05-23 | 쓰리에스휴먼 주식회사 | 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체 |
JP2011090273A (ja) * | 2009-10-23 | 2011-05-06 | Tomonori Shiraishi | ヴァーチャル対戦による段位認定システム |
US20130113789A1 (en) * | 2011-11-09 | 2013-05-09 | Sony Corporation | Information processing apparatus, display control method, and program |
JP2013101529A (ja) * | 2011-11-09 | 2013-05-23 | Sony Corp | 情報処理装置、表示制御方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
JPN6015052266; Yunyoung Nam, et al.: 'Data modeling and query processing for distributed surveillance systems' New Review of Hypermedia and Multimedia, 2013, [online] Vol.19, Nos.3-4, 20131010, pages 299-327, Taylor & Francis * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049216A1 (ja) | 2017-09-05 | 2019-03-14 | 富士通株式会社 | 採点方法、採点プログラムおよび採点装置 |
US11645872B2 (en) | 2017-09-05 | 2023-05-09 | Fujitsu Limited | Scoring method, scoring apparatus, and recording medium |
US11776134B2 (en) | 2017-12-14 | 2023-10-03 | Fujitsu Limited | Non-transitory computer readable recording medium, element recognition method, and element recognition system |
US11983962B2 (en) | 2020-08-11 | 2024-05-14 | Shosabi Inc. | Information processing apparatus, and method |
Also Published As
Publication number | Publication date |
---|---|
EP3009957A2 (en) | 2016-04-20 |
JP5986656B2 (ja) | 2016-09-06 |
EP3009957A3 (en) | 2016-05-11 |
KR101576106B1 (ko) | 2015-12-10 |
US20160104298A1 (en) | 2016-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5986656B2 (ja) | 深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法 | |
KR102097190B1 (ko) | 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러 | |
US10776423B2 (en) | Motor task analysis system and method | |
EP3035164B1 (en) | Wearable sensor for tracking articulated body-parts | |
US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
KR102110811B1 (ko) | Hci 시스템 및 방법 | |
US8428306B2 (en) | Information processor and information processing method for performing process adapted to user motion | |
CN110646938B (zh) | 近眼显示器系统 | |
KR20220028654A (ko) | 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법 | |
CN106933343A (zh) | 用于识别虚拟现实头戴装置中的手势的设备和方法 | |
JP2017117341A (ja) | 物体検出方法、装置、及びプログラム | |
US20150277570A1 (en) | Providing Onscreen Visualizations of Gesture Movements | |
TWI521387B (zh) | 三維空間中之可重置式虛擬觸控板 | |
Dan et al. | Survey on hand gesture recognition approaches | |
KR20160076488A (ko) | 근골격계 질환의 발생가능성의 판단 장치 및 방법 | |
CN103870814A (zh) | 基于智能相机的非接触式实时眼动识别方法 | |
Ye et al. | Gait analysis using a single depth camera | |
KR20140140482A (ko) | 오브젝트의 움직임을 이용하여 사용자 입력을 처리하는 장치 및 방법 | |
JP6303918B2 (ja) | ジェスチャ管理システム、ジェスチャ管理プログラム、ジェスチャ管理方法および指さし認識装置 | |
JP2021099666A (ja) | 学習モデルの生成方法 | |
Albrektsen | Using the Kinect Sensor for Social Robotics | |
US20120165084A1 (en) | Method and apparatus for tracking locations using webcams | |
Moita et al. | Development of interfaces for impaired users | |
Fan et al. | 3D Gesture and Finger Interaction for Floating Handwriting Recognition | |
Muddassar et al. | Bowling Action Analysis using Microsoft Kinect Xbox 360: December 2019 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160805 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5986656 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |