JP2021082954A - 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム - Google Patents
触覚メタデータ生成装置、映像触覚連動システム、及びプログラム Download PDFInfo
- Publication number
- JP2021082954A JP2021082954A JP2019209200A JP2019209200A JP2021082954A JP 2021082954 A JP2021082954 A JP 2021082954A JP 2019209200 A JP2019209200 A JP 2019209200A JP 2019209200 A JP2019209200 A JP 2019209200A JP 2021082954 A JP2021082954 A JP 2021082954A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- person
- skeleton
- metadata
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 241000282414 Homo sapiens Species 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000010801 machine learning Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000035807 sensation Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
以下、図面を参照して、本発明による一実施形態の触覚メタデータ生成装置12を備える映像触覚連動システム1について詳細に説明する。図1は、本発明による一実施形態の触覚メタデータ生成装置12を備える映像触覚連動システム1の概略構成を示すブロック図である。
図2は、本発明による一実施形態の触覚メタデータ生成装置12の処理例を示すフローチャートである。そして、図3は、触覚メタデータ生成装置12における人物骨格抽出処理に関する説明図である。また、図4(a)は1フレーム画像を例示する図であり、図4(b)は触覚メタデータ生成装置12における1フレーム画像における人物骨格抽出例を示す図である。図5は、触覚メタデータ生成装置12における軌跡特徴量の説明図である。そして、図6は、触覚メタデータ生成装置12における動オブジェクト検出のために生成する差分画像例を示す図である。
図7は、本発明による一実施形態の映像触覚連動システム1における制御ユニット13の概略構成を示すブロック図である。制御ユニット13は、メタデータ受信部131、解析部132、記憶部133、及び駆動部134‐1,134‐2を備える。
本実施形態の触覚メタデータ生成装置12により生成した触覚メタデータから抽出されるショットタイミングの検出に関する実験結果を表1に示す。尚、表1は、リオデジャネイロ五輪映像20ショット分の映像で評価し、選手別のショットタイミングを計測(±5フレームを許容)した時の実験結果であり、適合率とは検出精度を示し、再現率とは検出感度を示す。F値とは、適合率と再現率の調和平均を取った値である。
10 映像出力装置
11 ディスプレイ
12 触覚メタデータ生成装置
13 制御ユニット
14L,14R 触覚提示デバイス
121 複数フレーム抽出部
122 人物骨格抽出部
123 人物識別部
124 軌跡特徴量生成部
125 動オブジェクト検出部
126 人物動作認識部
127 メタデータ生成部
131 メタデータ受信部
132 解析部
133 記憶部
134‐1,134‐2 駆動部
141 ケース
142 振動アクチュエーター
Claims (5)
- 映像から人物オブジェクトを抽出し、動的な人物オブジェクトに対応する触覚メタデータを生成する触覚メタデータ生成装置であって、
入力された映像について、現フレーム画像を含む複数フレーム分の過去のフレーム画像を抽出する複数フレーム抽出手段と、
前記現フレーム画像を含む複数フレーム分のフレーム画像の各々について、骨格検出アルゴリズムに基づき、各人物オブジェクトの第1の骨格座標集合を生成する人物骨格抽出手段と、
前記現フレーム画像を含む複数フレーム分のフレーム画像の各々について、前記第1の骨格座標集合を基に、各人物オブジェクトの骨格の位置及びサイズと、その周辺画像情報を抽出することにより人物オブジェクトを識別し、人物IDを付与した第2の骨格座標集合を生成する人物識別手段と、
前記現フレーム画像を基準に、前記複数フレーム分のフレーム画像における前記第2の骨格座標集合を時系列に連結し、人物オブジェクト毎の骨格の軌跡を示す軌跡特徴量の集合として骨格軌跡集合を生成する軌跡特徴量生成手段と、
前記骨格軌跡集合の軌跡特徴量を基に、機械学習により触覚提示デバイスを作動させるための情報を検出する人物動作認識手段と、
前記現フレーム画像に対応して前記触覚提示デバイスを作動させるための触覚メタデータを生成し、フレーム単位で外部出力するメタデータ生成手段と、
を備えることを特徴とする触覚メタデータ生成装置。 - 前記現フレーム画像を含む複数フレーム分のフレーム画像の各々を用いて隣接フレーム間の差分画像を基に動オブジェクトを検出し、各差分画像から検出した動オブジェクトのうち全ての人物オブジェクトの前記骨格軌跡集合を用いて特定の動オブジェクトを選定し、各差分画像から得られる特定の動オブジェクトの座標位置、大きさ、移動方向を要素とし連結した動オブジェクト情報を生成する動オブジェクト検出手段を更に備え、
前記人物動作認識手段は、前記動オブジェクト情報を基に、全ての人物オブジェクトの前記骨格軌跡集合のうち前記触覚提示デバイスを作動させるための骨格軌跡集合を選定し、選定した骨格軌跡集合の軌跡特徴量を基に、機械学習により前記触覚提示デバイスを作動させるための情報を検出することを特徴とする、請求項1に記載の触覚メタデータ生成装置。 - 前記人物動作認識手段は、前記現フレーム画像に対応して、前記現フレーム画像内の各人物オブジェクトの識別、位置座標、及び分類、並びに、前記機械学習により前記触覚提示デバイスを作動させるタイミング及び速さを示す情報を前記触覚メタデータの生成のために検出することを特徴とする、請求項1又は2に記載の触覚メタデータ生成装置。
- 請求項1から3のいずれか一項に記載の触覚メタデータ生成装置と、
触覚刺激を提示する触覚提示デバイスと、
前記触覚メタデータ生成装置から得られる触覚メタデータを基に、予め定めた駆動基準データを参照し、前記触覚提示デバイスを駆動するよう制御する制御ユニットと、
を備えることを特徴とする映像触覚連動システム。 - コンピュータを、請求項1から3のいずれか一項に記載の触覚メタデータ生成装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019209200A JP7344096B2 (ja) | 2019-11-19 | 2019-11-19 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019209200A JP7344096B2 (ja) | 2019-11-19 | 2019-11-19 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021082954A true JP2021082954A (ja) | 2021-05-27 |
JP7344096B2 JP7344096B2 (ja) | 2023-09-13 |
Family
ID=75965496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019209200A Active JP7344096B2 (ja) | 2019-11-19 | 2019-11-19 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7344096B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013008869A1 (ja) * | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
WO2019012817A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
JP2019185752A (ja) * | 2018-03-30 | 2019-10-24 | 株式会社日立製作所 | 画像抽出装置 |
WO2019208312A1 (ja) * | 2018-04-26 | 2019-10-31 | 株式会社日立ハイテクノロジーズ | 歩行態様表示方法、歩行態様表示システム及び歩行態様分析装置 |
-
2019
- 2019-11-19 JP JP2019209200A patent/JP7344096B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013008869A1 (ja) * | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
WO2019012817A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
JP2019185752A (ja) * | 2018-03-30 | 2019-10-24 | 株式会社日立製作所 | 画像抽出装置 |
WO2019208312A1 (ja) * | 2018-04-26 | 2019-10-31 | 株式会社日立ハイテクノロジーズ | 歩行態様表示方法、歩行態様表示システム及び歩行態様分析装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7344096B2 (ja) | 2023-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11132533B2 (en) | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion | |
Miles et al. | A review of virtual environments for training in ball sports | |
US9248358B2 (en) | Interactive cognitive-multisensory interface apparatus and methods for assessing, profiling, training, and improving performance of athletes and other populations | |
US5616078A (en) | Motion-controlled video entertainment system | |
CN102331840B (zh) | 基于回环运动的用户选择和导航 | |
US20070021207A1 (en) | Interactive combat game between a real player and a projected image of a computer generated player or a real player with a predictive method | |
WO2019130527A1 (ja) | 抽出プログラム、抽出方法および情報処理装置 | |
US20070021199A1 (en) | Interactive games with prediction method | |
EP2203896B1 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
US20160049089A1 (en) | Method and apparatus for teaching repetitive kinesthetic motion | |
CN102947777A (zh) | 用户跟踪反馈 | |
CN104353240A (zh) | 基于Kinect的跑步机系统 | |
JP5446572B2 (ja) | 画像生成システム、制御プログラム、及び記録媒体 | |
US20110256914A1 (en) | Interactive games with prediction and plan with assisted learning method | |
US20230285832A1 (en) | Automatic ball machine apparatus utilizing player identification and player tracking | |
KR100907704B1 (ko) | 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법 | |
KR20100033205A (ko) | 골프연습 보조 시스템 및 그 방법 | |
CN110989839A (zh) | 人机对战的系统和方法 | |
CN111672089B (zh) | 一种针对多人对抗类项目的电子计分系统及实现方法 | |
KR101864039B1 (ko) | 증강현실을 이용한 격투기 스포츠의 공정심사 솔루션 제공용 빅데이터 분석처리 시스템 및 그 구동방법 | |
JP7344096B2 (ja) | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム | |
Dabnichki | Computers in sport | |
KR101723011B1 (ko) | 펜싱 선수의 훈련 관리 시스템 및 훈련 관리 방법 | |
JP7488704B2 (ja) | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム | |
JP7502957B2 (ja) | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7344096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |