JP2017063949A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2017063949A
JP2017063949A JP2015191437A JP2015191437A JP2017063949A JP 2017063949 A JP2017063949 A JP 2017063949A JP 2015191437 A JP2015191437 A JP 2015191437A JP 2015191437 A JP2015191437 A JP 2015191437A JP 2017063949 A JP2017063949 A JP 2017063949A
Authority
JP
Japan
Prior art keywords
information
result
processing apparatus
information processing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015191437A
Other languages
English (en)
Other versions
JP2017063949A5 (ja
Inventor
靖二郎 稲葉
Yasujiro Inaba
靖二郎 稲葉
広志 池田
Hiroshi Ikeda
広志 池田
伸穂 池田
Nobuo Ikeda
伸穂 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015191437A priority Critical patent/JP2017063949A/ja
Priority to US15/752,997 priority patent/US20190005842A1/en
Priority to EP16758289.9A priority patent/EP3356001A1/en
Priority to KR1020187007734A priority patent/KR20180059439A/ko
Priority to PCT/JP2016/003428 priority patent/WO2017056356A1/en
Publication of JP2017063949A publication Critical patent/JP2017063949A/ja
Publication of JP2017063949A5 publication Critical patent/JP2017063949A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの動作の技能向上を図ることが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】ユーザの動作の型を示す動作情報と、動作によって生じる結果を示す結果情報とを対応付ける対応付け処理部102を備える、情報処理装置100が提供される。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、例えばスポーツの世界では様々な電子機器が導入され、ユーザの技能向上を図るための支援が行われている。また、ボールの状態を認識する技術や、ユーザの技能向上を図るための技術が開発されている。飛行中のボール位置、ボールの回転状態、移動方向、および移動速度をリアルタイムで認識する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。また、ボールの挙動を自動的に分析し、ユーザに対して球技動作の改善内容を提示する技術としては、例えば下記の特許文献2に記載の技術が挙げられる。
特開2007−14671号公報 特開2009−125509号公報
ユーザがスポーツの練習を行う場合を例に挙げると、例えば、特許文献1に記載の技術や特許文献2に記載の技術が適用されたボール、または、ボールなどの動きを捉えるレーダなどの電子機器が用いられることによって、ユーザの動作が行われたときのボールなどの挙動を記録することが可能である。
しかしながら、ボールなどの挙動を記録することができたとしても、ユーザが、記録されたボールなどの挙動から、動作の改善ポイントを掴むことは困難である。
また、例えば特許文献2に記載の技術が用いられる場合には、記録されたボールの挙動の自動的な分析が行われる。例えば特許文献2に記載の技術が用いられる場合、ボールの挙動を予め設定された項目ごとに良否の判定が行われ、判定結果に対応する予め設定された改善内容が提示される。
ここで、ユーザごとに動作は異なることが想定され、また、異なる動作により記録されたボールの挙動に対して行われた良否判断の結果が、同一の結果となる場合があることが想定される。しかしながら、特許文献2に記載の技術が用いられる場合においてユーザに提示される改善内容は、記録されたボールの挙動の良否判断の結果に予め対応付られている改善内容である。よって、ユーザに対して提示された改善内容が、必ずしもユーザにとって適した改善内容であるとは限らない。
よって、上記のような既存の技術が用いられたとしても、ユーザは、スポーツなどの動作を伴う任意の対象において、動作の技能向上を図ることができるとは、限らない。
本開示では、ユーザの動作の技能向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザの動作の型を示す動作情報と、上記動作によって生じる結果を示す結果情報とを対応付ける対応付け処理部を備える、情報処理装置が提供される。
また、本開示によれば、ユーザの動作の型を示す動作情報と、上記動作によって生じる結果を示す結果情報とを対応付けるステップを有する、情報処理装置により実行される情報処理方法が提供される。
また、本開示によれば、ユーザの動作の型を示す動作情報と、上記動作によって生じる結果を示す結果情報とを対応付ける機能を、コンピュータに実現させるためのプログラムが提供される。
本開示によれば、ユーザの動作の技能向上を図ることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
なお、以下では、ユーザが、ゴルフやテニスなどのスポーツの練習を行う場合を主に例に挙げるが、本実施形態に係る情報処理方法は、ユーザが、筋力トレーニングや料理、医療における手技などの、動作を伴う任意の対象に関して練習を行う場合にも適用することが可能である。
[1]本実施形態に係る情報処理方法の概要
上述したように、“単にボールなどの挙動を記録すること”、または、“記録されたボールなどの挙動の良否判断の結果に予め対応付られている改善内容を提示すること”が行われたとしても、ユーザがスポーツなどにおける動作の技能向上を図ることができるとは、限らない。
そこで、本実施形態に係る情報処理装置は、ユーザの動作と、ユーザの動作の結果とを対応付ける(対応付け処理)。ここで、本実施形態に係る動作には、フォーム(運動などを行うときの姿態)と、動きとの一方または双方が含まれる。
上記対応付け処理によりユーザの動作とユーザの動作の結果とが対応付けられることによって、例えば、“ユーザがどのような動作を行ったときに、どのような結果が得られたのか”が明らかとなる。また、ユーザの動作とユーザの動作の結果とが対応付けられることにより、例えば、“良い結果が得られたときの動作と、良い結果が得られなかったときの動作との一方または双方を、ユーザに把握させること”が可能となる。
したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として上記対応付け処理を行うことによって、ユーザの動作の技能向上を図ることができる。
[2]本実施形態に係る情報処理方法に係る処理の他の例
なお、本実施形態に係る情報処理方法に係る処理は、上記対応付け処理に限られない。
例えば、本実施形態に係る情報処理装置は、ユーザの動作の結果を評価する評価処理を、さらに行うことが可能である。
また、上記評価処理がさらに行われる場合、本実施形態に係る情報処理装置は、上記対応付け処理の結果と上記評価処理の結果とを利用した1または2以上の処理を、さらに行うことが可能である。上記対応付け処理の結果と上記評価処理の結果とを利用した処理としては、例えば、後述する“分類処理”、“分類処理、および分析処理”、または、“分類処理、分析処理、および通知処理”が挙げられる。
なお、“上記対応付け処理”、“上記対応付け処理、および上記評価処理”、“上記対応付け処理、上記評価処理、および、上記対応付け処理の結果と上記評価処理の結果とを利用した処理”それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記対応付け処理、および上記評価処理”と、“上記対応付け処理、上記評価処理、および、上記対応付け処理の結果と上記評価処理の結果とを利用した処理”とのそれぞれを、1つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記対応付け処理”と、“上記対応付け処理、および上記評価処理”と、“上記対応付け処理、上記評価処理、および、上記対応付け処理の結果と上記評価処理の結果とを利用した処理”とのそれぞれを、(任意の切り分け方によって)2以上の処理と捉えることも可能である。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例を説明しつつ、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
図1は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、対応付け処理部102と、評価部104と、分類部106と、分析部108と、通知処理部110とを備える。
また、情報処理装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory。図示せず)、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、通信部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
制御部(図示せず)は、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する。また、制御部(図示せず)は、情報処理装置100において、例えば、対応付け処理部102、評価部104、分類部106、分析部108、および通知処理部110のうちの1または2以上の役目を果たしてもよい。
なお、対応付け処理部102、評価部104、分類部106、分析部108、および通知処理部110のうちの1または2以上は、対応付け処理部102、評価部104、分類部106、分析部108、および通知処理部110それぞれの処理を実現可能な専用の(または汎用の)回路(例えば、制御部(図示せず)とは別体のプロセッサなど)で構成されていてもよい。
ROM(図示せず)は、制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、動作情報(後述する)や結果情報(後述する)などの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。
ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
通信部(図示せず)としては、例えば後述する通信インタフェースが挙げられる。また、操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図2は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPUなどの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部(図示せず)として機能する。また、MPU150は、情報処理装置100において、例えば、対応付け処理部102、評価部104、分類部106、分析部108、および通知処理部110の役目を果たす。なお、対応付け処理部102、評価部104、分類部106、分析部108、および通知処理部110のうちの1または2以上は、対応付け処理部102、評価部104、分類部106、分析部108、および通知処理部110それぞれの処理を実現可能な専用の(または汎用の)回路(例えば、MPU150とは別体のプロセッサなど)で構成されていてもよい。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、動作情報(後述する)や結果情報(後述する)などの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、情報処理装置100の外部の操作入力デバイス(例えば、キーボードやマウスなど)や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、情報処理装置100が備える通信手段である。通信インタフェース164は、例えば、ネットワークを介して(あるいは、直接的に)、“対象ユーザの動作の検出に係るセンサなどの外部デバイス”や、“動作情報(後述する)と結果情報(後述する)との一方または双方を記憶する1または2以上のサーバなどの外部装置”と、無線または有線で通信を行うための通信部(図示せず)として機能する。
ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
情報処理装置100は、例えば図2に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図2に示す構成に限られない。
例えば、情報処理装置100は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合や、スタンドアロンで処理を行う構成である場合には、通信インタフェース164を備えていなくてもよい。また、通信インタフェース164は、複数の通信方式によって、1または2以上の外部装置などと通信を行うことが可能な構成であってもよい。
また、情報処理装置100は、例えば、動作情報(後述する)の取得に係るセンサと、結果情報(後述する)の取得に係るセンサとの一方または双方をさらに備えていてもよい。
また、情報処理装置100は、例えば、記録媒体156、操作入力デバイス160、および表示デバイス162のうちの1または2以上を備えない構成をとることが、可能である。
また、例えば、図2に示す構成(または変形例に係る構成)の一部または全部は、1、または2以上のIC(Integrated Circuit)で実現されてもよい。
再度図1を参照して、情報処理装置100の構成の一例について説明する。
[I]対応付け処理部102
対応付け処理部102は、上記対応付け処理を主導的に行う役目を果たす。対応付け処理部102は、動作情報と結果情報とを対応付ける。
ここで、本実施形態に係る動作情報とは、ユーザの動作の型を示すデータである。
ユーザの動作の型を示すデータとしては、例えば、“ユーザの体の動きと、ユーザが用いる打具などの道具の動きとの一方または双方の検出結果を示すデータ(以下、「第1の動き検出データ」と示す場合がある。)”、または、“ユーザの体の動きと、ユーザが用いる打具などの道具の動きとの一方または双方を推定することが可能なデータ(以下、「第1の動き推定データ」と示す場合がある。)”が挙げられる。また、ユーザの動作の型を示すデータには、例えば、フォーム(運動などを行うときの姿態)を示すデータが含まれていてもよい。
動作情報の一例である上記第1の動き検出データとしては、光学式の動き検出センサ(マーカー方式、または、マーカーレス方式のセンサ)、磁気式の動き検出センサ、または、慣性式の動き検出センサなどの、検出対象の動きを検出することが可能な任意の動き検出センサの検出結果を示すデータが、挙げられる。上記のような動き検出センサによりユーザの動きが検出されることによって、動作情報は、例えば、ユーザの節の3次元的な動き、打具などの道具の動き3次元的な動き、ボールなどにおける道具が当たった位置のうちの、1または2以上を示すことが可能となる。
また、動作情報の一例である上記第1の動き推定データとしては、例えば、撮像デバイスによりユーザが撮像された撮像画像など、検出対象の動きを推定することが可能な任意のデータが挙げられる。ここで、例えば、撮像画像(第1の動き推定データの一例)に基づくユーザの動きなどの推定に係る処理は、情報処理装置100が行ってもよいし、情報処理装置100の外部装置において行われてもよい。
図3は、本実施形態に係る情報処理方法を説明するための説明図であり、動作情報の生成に係る処理の一例を示している。ここで、図3を参照して説明する処理は、例えば、上記動き検出センサ、または、上記撮像デバイスなどの動作情報の生成に係るデバイスによって行われる。
動作情報の生成に係るデバイスでは、例えば下記の(A)〜(C)に示す方法によって、スポーツなどの動作に対応する動作情報が得られる。図3は、上記スポーツなどの動作が、ゴルフやテニスにおけるスイング動作である例を示している。以下では、スポーツなどの動作に対応する動作情報を「有効データ」と示す場合がある。
(A)動作情報の第1の取得例(図3のA)
動作情報の生成に係るデバイスは、1つの動作の開始前に手動で行われる動作開始の入力と、当該動作の終了後に手動で行われる動作終了の入力とに基づいて、動作開始の入力と動作終了の入力との間のデータ(例えば検出データまたは撮像画像データ)を、当該動作に対応する有効データとする。
ここで、上記動作開始の入力と上記動作終了の入力とは、例えば、動作情報の生成に係るデバイスが備えるボタンなどの操作デバイスに対する操作によって、行われる。また、上記動作開始の入力と上記動作終了の入力とは、例えば、“時計型、アイウェアなどの、身体に装着して用いられる任意のウェアラブル装置”や、スマートフォンなどの通信装置などの、動作情報の生成に係るデバイスの外部装置に対する操作によって、行われてもよい。上記動作情報の生成に係るデバイスの外部装置は、いわゆる、リモート・コントローラの役目を果たす。
(B)動作情報の第2の取得例(図3のB)
動作情報の生成に係るデバイスは、ボールのインパクトなどの、動作中の所定のタイミングを自動的に検出し、検出されたタイミングの前後一定時間の間のデータ(例えば検出データまたは撮像画像データ)を、有効データとする。動作情報の生成に係るデバイスは、例えば、予め設定されているデータを用いた比較処理など、動作中の所定のタイミングを自動的に検出することが可能な任意の処理によって、動作中の所定のタイミングを検出する。
(C)動作情報の第2の取得例(図3のC)
動作情報の生成に係るデバイスは、スイング動作などの所定の動作を自動的に検出し、検出された所定の動作の開始と終了の間のデータ(例えば検出データまたは撮像画像データ)を、有効データとする。動作情報の生成に係るデバイスは、例えば、予め設定されているデータを用いた比較処理など、動作を自動的に検出することが可能な任意の処理によって、所定の動作を検出する。
また、本実施形態に係る結果情報とは、ユーザの動作によって生じる結果を示すデータである。
ゴルフやテニスなどのボールを用いたスポーツにおけるユーザの動作を例に挙げると、ユーザの動作によって生じる結果を示すデータとしては、例えば、“ボールの動きの検出結果を示すデータ(以下、「第2の動き検出データ」と示す場合がある。)”、または、“ボールの弾道を推定することが可能なデータ(以下、「第2の動き推定データ」と示す場合がある。)”が挙げられる。
結果情報の一例である上記第2の動き検出データとしては、例えば、ドップラーレーダなどの、ボールの弾道を検出することが可能なセンサの検出結果を示すデータが、挙げられる。
また、結果情報の一例である上記第2の動き推定データとしては、例えば、撮像デバイスによりボールが撮像された撮像画像など、検出対象の動きを推定することが可能な任意のデータが挙げられる。ここで、例えば、撮像画像(第2の動き推定データの一例)に基づくボールの動きなどの推定に係る処理は、情報処理装置100が行ってもよいし、情報処理装置100の外部装置において行われてもよい。
対応付け処理部102は、対応付け処理において、例えば、上記のような動作情報に付加されている第1の識別情報と、上記のような結果情報に付加されている第2の識別情報とに基づいて、動作情報と結果情報とを対応付ける。
ここで、本実施形態に係る第1の識別情報は、例えば、動作情報を識別するためのデータである。第1の識別情報としては、下記に示す例が挙げられる。
・識別子(例えば、動作情報を示すID)
・時間情報(例えば、動作情報が生成された時間(例えば日時)を示すデータ)
また、本実施形態に係る第2の識別情報は、例えば、結果情報を識別するためのデータである。
・識別子(例えば、結果情報を示すID)
・時間情報(例えば、結果情報が生成された時間(例えば日時)を示すデータ)
図4は、本実施形態に係る情報処理方法を説明するための説明図であり、動作情報への第1の識別情報の付加、および結果情報への第2の識別情報の付加の一例を示している。図4に示す装置10は、動作情報の生成に係るデバイスの一例を示しており、図4に示す装置20、30、40それぞれは、結果情報の生成に係るデバイスの一例を示している。
動作情報の生成に係るデバイス(図4に示す装置10)では、例えば下記の(a)、(b)に示す方法によって、第1の識別情報が動作情報に付加される。また、結果情報の生成に係るデバイス(図4に示す装置20、30、40)では、例えば下記の(a)、(b)に示す方法によって、第1の識別情報に対応する第2の結果情報が、結果情報に付加される。
(a)第1の識別情報と第2の識別情報との第1の付加例
例えば、動作情報の生成に係るデバイス(図4に示す装置10)は、上記(A)〜(C)のいずれかの方法によって、動作の開始タイミングが認識されたときに、識別子を生成する。そして、動作情報の生成に係るデバイス(図4に示す装置10)は、生成した識別子を第1の識別情報として、動作情報に付加する。
ここで、動作情報の生成に係るデバイス(図4に示す装置10)は、例えば、生成した識別子を動作情報に埋め込むことによって、識別子を動作情報に付加する。また、動作情報の生成に係るデバイス(図4に示す装置10)は、例えば、生成した識別子を、動作情報の名称(データ名、またはファイル名)に加えることによって、識別子を動作情報に付加する。つまり、動作情報の識別子は、動作情報に埋め込まれてもよいし、または、動作情報の名称に含まれていてもよい。
また、動作情報の生成に係るデバイス(図4に示す装置10)は、結果情報の生成に係るデバイス(図4に示す装置20、30、40)それぞれに対して、生成した識別子を送信する。
動作情報の生成に係るデバイス(図4に示す装置10)から送信された識別子を取得した結果情報の生成に係るデバイス(図4に示す装置20、30、40)は、取得された識別子を第2の識別情報として、結果情報に付加する。
ここで、結果情報の生成に係るデバイス(図4に示す装置20、30、40)は、例えば、取得された識別子を結果情報に埋め込むことによって、識別子を結果情報に付加する。また、結果情報の生成に係るデバイス(図4に示す装置20、30、40)は、例えば、取得された識別子を、結果情報の名称(データ名、またはファイル名)に加えることによって、識別子を結果情報に付加する。つまり、結果情報の識別子は、結果情報に埋め込まれてもよいし、または、結果情報の名称に含まれていてもよい。
上記のような処理が行われることによって、動作情報の生成に係るデバイス(図4に示す装置10)と結果情報の生成に係るデバイス(図4に示す装置20、30、40)との間で同一の識別子が共有されることとなる。
(b)第2の識別情報と第2の識別情報との第2の付加例
動作情報の生成に係るデバイス(図4に示す装置10)と、結果情報の生成に係るデバイス(図4に示す装置20、30、40)との間において、各デバイスが備える時計の時刻が、手動でまたは自動的に、予め合わせられる。
例えば、動作情報の生成に係るデバイス(図4に示す装置10)は、上記(A)〜(C)のいずれかの方法によって、動作情報を生成する。そして、動作情報の生成に係るデバイス(図4に示す装置10)は、動作情報が生成された時間を示す時間情報を第1の識別情報として、動作情報に付加する。
ここで、動作情報の生成に係るデバイス(図4に示す装置10)は、例えば、時間情報を動作情報に埋め込むことによって、時間情報を動作情報に付加する。また、動作情報の生成に係るデバイス(図4に示す装置10)は、例えば、時間情報が示す時間を、動作情報の名称(データ名、またはファイル名)に加えることによって、時間情報を動作情報に付加する。つまり、例えば、動作情報の時間情報は、動作情報に埋め込まれて、または、動作情報の時間情報が示す時間は、動作情報の名称に含まれる。
結果情報の生成に係るデバイス(図4に示す装置20、30、40)は、結果情報が生成された時間を示す時間情報を第2の識別情報として、結果情報に付加する。
ここで、結果情報の生成に係るデバイス(図4に示す装置20、30、40)は、例えば、時間情報を結果情報に埋め込むことによって、時間情報を結果情報に付加する。また、結果情報の生成に係るデバイス(図4に示す装置20、30、40)は、例えば、時間情報が示す時間を、結果情報の名称(データ名、またはファイル名)に加えることによって、時間情報を結果情報に付加する。つまり、例えば、結果情報の時間情報は、結果情報に埋め込まれ、または、結果情報の時間情報が示す時間は、結果情報の名称に含まれる。
例えば上記(a)、(b)に示すように、動作情報には第1の識別情報が付加され、結果情報には、第1の識別情報に対応する第2の識別情報が付加される。
よって、対応付け処理部102は、第1の識別情報と第2の識別情報とが一致した場合に、動作情報と結果情報とを対応付ける。
より具体的には、対応付け処理部102は、例えば下記の(1)に示す第1の例に係る処理、または、下記の(2)に示す第2の例に係る処理のいずれかの処理を行うことによって、動作情報と結果情報とを対応付ける。
(1)対応付け処理の第1の例:第1の識別情報と第2の識別情報とが識別子である場合
上述したように、第1の識別情報が動作情報の識別子である場合、例えば、動作情報の識別子は、動作情報に埋め込まれ、または、動作情報の名称に含まれる。また、上述したように、第2の識別情報が結果情報の識別子である場合、例えば、結果情報の識別子は、結果情報に埋め込まれ、または、結果情報の名称に含まれる。
対応付け処理部102は、“動作情報に埋め込まれている、または、動作情報の名称に含まれている、動作情報の識別子”と、“結果情報に埋め込まれている、または、結果情報の名称に含まれている、結果情報の識別子”とを比較する。そして、動作情報の識別子と結果情報の識別子とが一致する場合に、識別子が一致する動作情報と結果情報とを対応付ける。
ここで、対応付け処理部102は、例えば、識別子が一致する動作情報と結果情報とをテーブル(または、データベース。以下、同様とする。)の同一のレコードに記録することによって、動作情報と結果情報とを対応付ける。なお、動作情報と結果情報とを対応付ける方法は、テーブルを用いる方法に限られず、動作情報と結果情報とは、動作情報と結果情報とを対応付けることが可能な、任意の方法によって対応付けられてもよい。
図5〜図7は、本実施形態に係る情報処理方法に係る処理を説明するための説明図である。図5は、動作情報と結果情報とが対応付けられているテーブルの一例を示している。また、図6は、図5に示す動作情報、および結果情報それぞれのデータフォーマットの一例を示している。図6では、各データが、例えば図7に示すような位置と方向との6自由度で表されている例を示している。
図5に示すテーブルには、例えば図5のH1に示すように、動作情報と結果情報とが対応付けて記録される。また、本実施形態に係るテーブルには、例えば、ユーザを示す情報(例えば図5に示す“プレーヤID”)、ユーザが撮像された撮像画像を示す画像データ(例えば図5に示す“画像file”)、後述する評価処理の結果(例えば図5に示す“結果スコア”)などのうちの1または2以上が、動作情報および結果情報に、さらに対応付けられていてもよい。
なお、“本実施形態に係るテーブルの例”が図5に示す例に限られず、また、“動作情報、および結果情報それぞれのデータフォーマットおよびデータの例”が、図6、図7に示す例に限られないことは、言うまでもない。
(2)対応付け処理の第2の例:第1の識別情報と第2の識別情報とが時間情報である場合
上述したように、第1の識別情報が動作情報の時間情報である場合、例えば、動作情報の時間情報は、動作情報に埋め込まれ、または、動作情報の時間情報が示す時間は、動作情報の名称に含まれる。また、上述したように、第2の識別情報が結果情報の時間情報である場合、例えば、結果情報の時間情報は、結果情報に埋め込まれ、または、結果情報の時間情報が示す時間は、結果情報の名称に含まれる。
対応付け処理部102は、“動作情報に埋め込まれている時間情報、または、動作情報の名称に含まれている時間情報が示す時間”と、“結果情報に埋め込まれている時間情報、または、結果情報の名称に含まれている時間情報が示す時間”とを比較する。そして、動作情報の時間情報が示す時間と結果情報の時間情報が示す時間とが一致する場合に、時間情報が示す時間が一致する動作情報と結果情報とを対応付ける。
ここで、対応付け処理部102は、例えば、時間情報が示す時間が一致する動作情報と結果情報とをテーブルの同一のレコードに記録することによって、動作情報と結果情報とを対応付ける。なお、上述したように、動作情報と結果情報とを対応付ける方法は、テーブルを用いる方法に限られない。
[II]評価部104
評価部104は、上記評価処理を主導的に行う役目を果たす。評価部104は、結果情報に基づいて、ユーザの動作を評価する。
より具体的には、評価部104は、例えば下記の(i)、(ii)に示すように、ユーザの動作の結果を数値化することによって、ユーザの動作を評価する。
ここで、下記の(i)に示す例は、ユーザがゴルフの練習を行う場合における評価処理の一例であり、下記の(ii)に示す例は、ユーザがテニスの練習を行う場合における評価処理の一例である。なお、評価部104における処理の例が、下記の(i)、(ii)に示す例に限られないことは、言うまでもない。
(i)評価処理の第1の例
図8は、本実施形態に係る情報処理方法に係る処理を説明するための説明図であり、ユーザがゴルフの練習を行った場合に得れらた結果情報に基づく評価処理の概要を示している。
評価部104は、例えば図8のAに示すように、結果情報が示すボールが飛んだ方向と、ユーザがボールを打った位置から目標位置までの方向との角度θを求める。目標位置は、例えば、選択されたユーザの技能レベルに応じて自動的に設定されてもよいし、ユーザによって任意の位置に設定されてもよい。
そして、評価部104は、求められた角度θに基づき動作によって生じる結果を示すスコアを求めることによって、動作の結果を数値化する。
ここで、角度θは、目標位置と実際にボールが飛んだ位置とのズレを示し、角度θが大きくなる程、ズレが大きいことを意味する。よって、評価部104は、例えば、求められた角度θが大きい程、動作によって生じる結果を示すスコアが小さくなるような任意の数式またはアルゴリズムを用いて、スコアを求めることによって、動作の結果を数値化する。
また、評価部104は、例えば、ボールが飛んだ位置がゴルフ場のどの領域に位置するかによって、スコアを大きく変えてもよい。例えば、評価部104は、角度θが同一であっても、ボールが飛んだ位置がゴルフ場における“フェアウェイ領域”に位置する場合におけるスコアを、ボールが飛んだ位置がゴルフ場における“ラフ領域”、“バンカー領域”、“アウト オブ バウンズ領域”などの他の領域に位置する場合におけるスコアよりも大きくする。
例えば図8のAに示すような、角度θに基づく動作の結果の数値化は、例えば、ボールをまっすぐ飛ばすことが困難な技術レベルのユーザの動作の結果を評価する場合に、特に有効であると考えられる。なお、角度θに基づく動作の結果の数値化によって、ボールをまっすぐ飛ばすことが困難な技術レベルのユーザ以外の他の技術レベルのユーザの動作の結果を評価することが可能であることは、言うまでもない。
また、評価部104は、例えば図8のBに示すように、結果情報が示すボールが飛んだ位置と、目標位置との距離dを求め、距離dに基づき動作によって生じる結果を示すスコアを求めることによって、動作の結果を数値化することも可能である。
ここで、距離dは、目標位置と実際にボールが飛んだ位置とのズレを示し、距離dが大きくなる程、ズレが大きいことを意味する。よって、評価部104は、例えば、求められた距離dが大きい程、動作によって生じる結果を示すスコアが小さくなるような任意の数式またはアルゴリズムを用いて、スコアを求めることによって、動作の結果を数値化する。
また、距離dに基づきスコアを求める場合には、設定された目標距離によって距離dを正規化を行ってもよい。目標距離により距離dを正規化することによって、例えば、求められたスコアをより人の感覚に近い値にすることができるという効果が期待される。ここで、目標距離は、例えば、選択されたユーザの技能レベルに応じて自動的に設定されてもよいし、ユーザによって設定されてもよい。
また、評価部104は、例えば、ボールが飛んだ位置がゴルフ場のどの領域に位置するかによって、スコアを大きく変えてもよい。例えば、評価部104は、距離dが同一であっても、ボールが飛んだ位置がゴルフ場における“フェアウェイ領域”に位置する場合におけるスコアを、ボールが飛んだ位置がゴルフ場における“ラフ領域”、“バンカー領域”、“アウト オブ バウンズ領域”などの他の領域に位置する場合におけるスコアよりも大きくする。
例えば図8のBに示すような、距離dにに基づく動作の結果の数値化は、例えば、ボールをまっすぐ飛ばせるようになったが距離がばらつく技術レベルのユーザの動作の結果を評価する場合に、特に有効であると考えられる。なお、距離dに基づく動作の結果の数値化によって、ボールをまっすぐ飛ばせるようになったが距離がばらつく技術レベルのユーザ以外の他の技術レベルのユーザの動作の結果を評価することが可能であることは、言うまでもない。
評価部104は、例えば図8を参照して示したように、結果情報に基づいてユーザの動作の結果を数値化する。ここで、数値化された動作の結果であるスコアは、例えば、目標位置と実際にボールが飛んだ位置とのズレを示す。よって、上記のように結果情報に基づいてユーザの動作の結果が数値化されることによって、ユーザの動作が評価される。
また、評価部104は、例えば図5のH2に示すように、数値化された動作の結果であるスコアを、スコアを求めるために用いた結果情報と対応付けてもよい。
なお、第1の例に係る評価処理は、図8を参照して示した結果情報に基づく処理に限られない。
例えば、評価部104は、ユーザの入力操作に基づいて、スコアによる定量的な評価、または、“良い”、“まあまあ”、“悪い”などの定性的な評価を行うことも可能である。ここで、上記ユーザの入力操作としては、例えば、操作部(図示せず)を構成するボタンなどを用いた操作、マイクロホンなどの音声入力デバイスへの音声入力操作など、様々な操作が挙げられる。
(ii)評価処理の第2の例
図9は、本実施形態に係る情報処理方法に係る処理を説明するための説明図であり、ユーザがテニスの練習を行った場合に得れらた結果情報に基づく評価処理の概要を示している。
図9のAは、ユーザがボールを打った位置と目標位置との一例を示している。目標位置は、例えば、選択されたユーザの技能レベルに応じて自動的に設定されてもよいし、ユーザによって任意の位置に設定されてもよい。
評価部104は、例えば図9のBに示すように、結果情報が示すボールが飛んだ方向と、ユーザがボールを打った位置から目標位置までの方向との角度θを求める。
そして、評価部104は、求められた角度θに基づき動作によって生じる結果を示すスコアを求めることによって、動作の結果を数値化する。
ここで、角度θは、目標位置と実際にボールが飛んだ位置とのズレを示し、角度θが大きくなる程、ズレが大きいことを意味する。よって、評価部104は、例えば、求められた角度θが大きい程、動作によって生じる結果を示すスコアが小さくなるような任意の数式またはアルゴリズムを用いて、スコアを求めることによって、動作の結果を数値化する。
また、評価部104は、例えば、ボールが飛んだ位置が、テニスのコートにおける“イン領域”であるか、または、“アウト領域”であるかによって、スコアを大きく変えてもよい。例えば、評価部104は、角度θが同一であっても、ボールが飛んだ位置がテニスのコートにおける“イン領域”に位置する場合におけるスコアを、ボールが飛んだ位置がテニスのコートにおける“アウト領域”に位置する場合におけるスコアよりも大きくする。
例えば図9のBに示すような、角度θに基づく動作の結果の数値化は、例えば、ボールをまっすぐ飛ばすことが困難な技術レベルのユーザの動作の結果を評価する場合に、特に有効であると考えられる。なお、角度θに基づく動作の結果の数値化によって、ボールをまっすぐ飛ばすことが困難な技術レベルのユーザ以外の他の技術レベルのユーザの動作の結果を評価することが可能であることは、言うまでもない。
また、評価部104は、例えば図9のCに示すように、結果情報が示すボールが飛んだ位置と、目標位置との距離dを求め、距離dに基づき動作によって生じる結果を示すスコアを求めることによって、動作の結果を数値化することも可能である。
ここで、距離dは、目標位置と実際にボールが飛んだ位置とのズレを示し、距離dが大きくなる程、ズレが大きいことを意味する。よって、評価部104は、例えば、求められた距離dが大きい程、動作によって生じる結果を示すスコアが小さくなるような任意の数式またはアルゴリズムを用いて、スコアを求めることによって、動作の結果を数値化する。
また、距離dに基づきスコアを求める場合には、設定された目標距離によって距離dを正規化を行ってもよい。目標距離により距離dを正規化することによって、例えば、求められたスコアをより人の感覚に近い値にすることができるという効果が期待される。ここで、目標距離は、例えば、選択されたユーザの技能レベルに応じて自動的に設定されてもよいし、ユーザによって設定されてもよい。
また、評価部104は、例えば、ボールが飛んだ位置が、テニスのコートにおける“イン領域”であるか、または、“アウト領域”であるかによって、スコアを大きく変えてもよい。例えば、評価部104は、距離dが同一であっても、ボールが飛んだ位置がテニスのコートにおける“イン領域”に位置する場合におけるスコアを、ボールが飛んだ位置がテニスのコートにおける“アウト領域”に位置する場合におけるスコアよりも大きくする。
例えば図9のCに示すような、距離dにに基づく動作の結果の数値化は、例えば、ボールをまっすぐ飛ばせるようになったが距離がばらつく技術レベルのユーザの動作の結果を評価する場合に、特に有効であると考えられる。なお、距離dに基づく動作の結果の数値化によって、ボールをまっすぐ飛ばせるようになったが距離がばらつく技術レベルのユーザ以外の他の技術レベルのユーザの動作の結果を評価することが可能であることは、言うまでもない。
評価部104は、例えば図9を参照して示したように、結果情報に基づいてユーザの動作の結果を数値化する。ここで、数値化された動作の結果であるスコアは、例えば、目標位置と実際にボールが飛んだ位置とのズレを示す。よって、上記のように結果情報に基づいてユーザの動作の結果が数値化されることによって、ユーザの動作が評価される。
また、評価部104は、上記(i)に示す第1の例に係る評価処理と同様に、数値化された動作の結果であるスコアを、スコアを求めるために用いた結果情報と対応付けてもよい。
なお、第2の例に係る評価処理は、図9を参照して示した結果情報に基づく処理に限られない。
例えば、評価部104は、上記(i)に示す第1の例に係る評価処理と同様に、ユーザの入力操作に基づいて、スコアによる定量的な評価、または、“良い”、“まあまあ”、“悪い”などの定性的な評価を行うことも可能である。
[III]分類部106
分類部106は、上記対応付け処理の結果と上記評価処理の結果とを利用した第1の処理を行う役目を果たし、これらの処理の結果を利用した処理として、上記分類処理を主導的に行う。
分類部106は、対応付け処理部102における対応付け処理の結果(動作情報と結果情報とが対応付けられた対応付け結果)と、評価部104における評価処理の結果(結果情報に基づくユーザの動作の評価結果)とに基づいて、動作情報が示す動作を複数の区分に分類する。
一例として、対応付け処理の結果が、図5に示すテーブルで表される場合における分類部106の処理を示す。
分類部106は、例えば、ユーザ(図5ではプレーヤIDにより特定される。)ごとに、スコア(評価部104における評価処理の結果の一例。図5ではH2に示す結果スコアが該当する。)と、1または2以上の閾値とを用いた閾値処理によって、当該スコアに対応付けられている動作情報を分類する。分類部106は、例えば、スコアに基づき動作情報を、“良い”、“まあまあ”、“悪い”などの定性的な評価の区分により分類する。
分類部106におけるスコアに基づく動作情報の分類の具体例としては、下記に示す例が挙げられる。なお、分類部106におけるスコアに基づく動作情報の分類の例が、下記に示す例に限られないことは、言うまでもない。
・“良い”:スコアが75以上の場合
・“まあまあ”:スコアが50以上、75未満の場合
・“悪い”:スコアが50未満の場合
分類部106は、例えば上記のように、対応付け処理の結果と、評価部104における評価処理の結果とに基づいて、動作情報が示す動作を複数の区分に分類する。
なお、分類部106における処理は、上記に限られない。例えば、評価部104において、“良い”、“まあまあ”、“悪い”などの定性的な評価が行われている場合には、分類部106は、当該定性的な評価により動作情報を分類することによって、動作情報が示す動作を複数の区分に分類することが可能である。
[IV]分析部108
分析部108は、上記対応付け処理の結果と上記評価処理の結果とを利用した第2の処理を行う役目を果たし、これらの処理の結果を利用した処理として、上記分析処理を主導的に行う。分析部108は、分類部106における分類結果(動作情報が示す動作の分類結果)に基づいて、ユーザの動作を分析する。
分析部108は、分類部106におよる分類結果における、異なる区分に属するユーザの動作の差分をとることによって、ユーザの動作を分析する。分析部108が差分を取る異なる区分としては、例えば下記に示す例が挙げられる。なお、分析部108が差分を取る異なる区分の例が、下記に示す例に限られないことは、言うまでもない。
・“良い”に分類された動作と、“悪い”に分類された動作
・“良い”に分類された動作と、“まあまあ”に分類された動作
・“まあまあ”に分類された動作と、“悪い”に分類された動作
分析部108は、例えば、動作情報が示す動きを統計解析することによって、異なる区分に属するユーザの動作の差分をとる。
一例を挙げると、分析部108は、例えば、重み付き最小二乗法、または、RANSAC(RANdom SAmple Consensus)などの任意の手法を用いて、異なる区分に属するユーザの動作の差分をとる。また、分析部108は、体の部位ごとに、動作の差分をとってもよい。
また、分析部108は、例えば、動作の主成分分析を行い、主成分の差分を求めることによって、異なる区分に属するユーザの動作の差分をとることも可能である。
[V]通知処理部110
通知処理部110は、上記対応付け処理の結果と上記評価処理の結果とを利用した第3の処理を行う役目を果たし、これらの処理の結果を利用した処理として、上記通知処理を主導的に行う。
通知処理部110は、上記通知処理として、分析部108における分析結果(ユーザの動作の分析結果)を通知させる。
例えば、通知処理部110は、分析部108における分析結果において、差分が最も大きかったユーザの動作に対応する画像データを、記憶部(図示せず)などの記録媒体から読み出す。また、通知処理部110は、例えば、差分をとった各区分における、平均の動きに最も近い動作に対応する画像データを、読み出すことも可能である。
ここで、記録媒体から読み出される画像データとしては、例えば、図5に示すテーブルにおいて動作情報に対応付けられている画像データ(図5に示す画像file)が挙げられる。ユーザの動作に対応する画像データとしては、ユーザの動作が撮像された撮像画像を示すデータが挙げられる。また、ユーザの動作に対応する画像データは、スティックピクチャなどの動作を表すことが可能な任意の表現のデータであってもよい。
そして、通知処理部110は、読み出された画像データが示す画像を、表示部(図示せず)の表示画面や、外部の表示デバイスの表示画面に表示させることによって、分析部108における分析結果を、視覚的に通知させる。
例えば、通知処理部110は、“良い”に分類された動作に対応する画像データが示す画像と、“悪い”に分類された動作に対応する画像データが示す画像との双方を、表示画面に表示させる。
また、通知処理部110は、例えば、動作の差分を強調するように表示させてもよい。ここで、動きの差分を強調するように表示させる方法としては、例えば、“撮像画像やスティックピクチャなどにおいて、動作の差分が大きな部位の色を変える方法”、または、“撮像画像やスティックピクチャなどにおいて、動作の差分が大きな部位を点滅させる方法”など、視覚的に強調を行うことが可能な、任意の方法が挙げられる。
情報処理装置100は、例えば図1に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記対応付け処理、上記評価処理、上記分類処理、上記分析処理、および上記通知処理)を行う。
なお、本実施形態に係る情報処理装置の構成は、図1に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図1に示す“通知処理部110”、“分析部108、および通知処理部110”、“分類部106、分析部108、および通知処理部110”、または、“評価部104、分類部106、分析部108、および通知処理部110”を備えていなくてもよい。
“通知処理部110”、“分析部108、および通知処理部110”、“分類部106、分析部108、および通知処理部110”、または、“評価部104、分類部106、分析部108、および通知処理部110”を備えない構成であっても、本実施形態に係る情報処理装置は、上記対応付け処理を行うことが可能である。
よって、“通知処理部110”、“分析部108、および通知処理部110”、“分類部106、分析部108、および通知処理部110”、または、“評価部104、分類部106、分析部108、および通知処理部110”を備えない構成であっても、本実施形態に係る情報処理装置は、例えば、ユーザの動作の技能向上を図ることができる。また、“通知処理部110”、“分析部108、および通知処理部110”、“分類部106、分析部108、および通知処理部110”、または、“評価部104、分類部106、分析部108、および通知処理部110”を備えない構成であっても、本実施形態に係る情報処理装置は、上記対応付け処理が行われることより奏される効果を、奏することができる。
また、上述したように、“上記対応付け処理”、“上記対応付け処理、および上記評価処理”、“上記対応付け処理、上記評価処理、および、上記対応付け処理の結果と上記評価処理の結果とを利用した処理(例えば、上記分類処理、上記分析処理、および上記通知処理のうちの1または2以上)”それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図1に示す対応付け処理部102、評価部104、分類部106、分析部108、および通知処理部110に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
[VI]本実施形態に係る情報処理方法に係る処理の一例
次に、図1に示す情報処理装置100における、本実施形態に係る情報処理方法に係る処理の一例を挙げる。
図10は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図であり、図1に示す情報処理装置100における処理の一例を示している。ここで、図10に示すステップS100、S102は、上記対応付け処理に該当する。また、図10に示すステップS104は、上記評価処理に該当し、図10に示すステップS106は、上記分類処理に該当する。そして、図10に示すステップS108は、上記分析処理に該当し、図10に示すステップS110、S112は、上記通知処理に該当する。
図1に示す情報処理装置100では、ステップS100、S102の処理は、例えば対応付け処理部102により行われる。また、図1に示す情報処理装置100では、ステップS104の処理は、評価部104により行われ、ステップS106の処理は、分類部106により行われる。また、図1に示す情報処理装置100では、ステップS108の処理は、分析部108により行われ、ステップS110、S112の処理は、通知処理部110により行われる。
情報処理装置100は、動作情報と結果情報とが取得されたか否かを判定する(S100)。動作情報と結果情報とは、例えば、情報処理装置100が記録媒体などから読み出すこと、または、外部装置から送信された動作情報と結果情報とを情報処理装置100が取得することによって、取得される。
ステップS100において動作情報と結果情報とが取得されたと判定されない場合には、情報処理装置100は、ステップS100において動作情報と結果情報とが取得されたと判定されるまで、処理を進めない。
また、ステップS100において動作情報と結果情報とが取得されたと判定された場合には、情報処理装置100は、動作情報と結果情報とを対応付ける(S102)。情報処理装置100は、例えば、上記(1)に示す第1の例に係る処理、または、上記(2)に示す第2の例に係る処理のいずれかの処理を行うことによって、動作情報と結果情報とを対応付ける。
情報処理装置100は、結果情報に基づいてユーザの動作の結果をスコアリングする(S104)。情報処理装置100は、例えば、上記(i)に示す第1の例に係る処理や、上記(ii)に示す第2の例に係る処理を行うことによって、ユーザの動作の結果をスコアリングする。
ステップS102、S104の処理が行われると、情報処理装置100は、ステップS102の処理による対応付けの結果と、ステップS104の処理により得られたスコアとに基づいて、ユーザの動作を分類する(S106)。情報処理装置100は、例えば、ステップS104の処理により得られたスコアと、1または2以上の閾値とを用いた閾値処理によって、当該スコアに対応付けられている動作情報、すなわち、当該スコアを得るために用いられた結果情報に対応付けられている動作情報を分類する。
情報処理装置100は、ステップS106の処理による分類結果に基づいて、ユーザの動作を分析する(S108)。情報処理装置100は、例えば、ステップS106の処理による分類結果における、異なる区分に属するユーザの動作の差分をとることによって、ユーザの動作を分析する。
情報処理装置100は、ステップS108の処理における分析結果を通知するか否かを判定する(S110)。情報処理装置100は、例えば、通知を開始するユーザ操作に応じた信号が検出された場合、または、自動的に通知を行う設定がされている場合に、分析結果を通知すると判定する(S110)。ここで、上記通知を開始するユーザ操作は、例えば、操作部(図示せず)を構成する操作デバイスと、情報処理装置100の外部装置との一方または双方で行われる。
ステップS110において分析結果を通知すると判定されない場合には、情報処理装置100は、例えば、図10に示す処理を終了する。
また、ステップS110において分析結果を通知すると判定された場合には、情報処理装置100は、ステップS108の処理における分析結果を通知する(S112)。情報処理装置100は、例えば、差分が最も大きかったユーザの動作に対応する画像データの画像を、動作の差分が強調されるように表示画面に表示させることなどによって、分析結果を通知する。
情報処理装置100は、本実施形態に係る情報処理方法に係る処理として、例えば図10に示す処理を行う。
なお、本実施形態に係る情報処理方法に係る処理は、図10に示す処理に限られない。
例えば、情報処理装置100は、“ステップS110、S112の処理”、“ステップS108〜S112の処理”、“ステップS106〜S112の処理”、または、“ステップS106〜S112の処理”を行わないことが可能である。
ここで、“ステップS110、S112の処理”、“ステップS108〜S112の処理”、“ステップS106〜S112の処理”、または、“ステップS104〜S112の処理”が行われない場合であっても、情報処理装置100では、上記対応付け処理が行われる。
よって、“ステップS110、S112の処理”、“ステップS108〜S112の処理”、“ステップS106〜S112の処理”、または、“ステップS104〜S112の処理”が行われない場合であっても、本実施形態に係る情報処理装置は、例えば、ユーザの動作の技能向上を図ることができる。また、“ステップS110、S112の処理”、“ステップS108〜S112の処理”、“ステップS106〜S112の処理”、または、“ステップS104〜S112の処理”が行われない場合であっても、本実施形態に係る情報処理装置は、上記対応付け処理が行われることより奏される効果を、奏することができる。
[VII]本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
情報処理装置100は、例えば下記に示す効果を奏することができる。なお、本実施形態に係る情報処理方法が用いられることにより奏される効果が、下記に示す効果に限られないことは、言うまでもない。
・動作の結果の良し悪しと、動きの違いを抽出してユーザに提示することが可能となる。
・上記のような提示によって、効率的にスポーツなどの技能向上を達成することができる。
[VIII]本実施形態に係る情報処理装置の適用例
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、PC(Personal Computer)やサーバなどのコンピュータ、タブレット型の装置、携帯電話やスマートフォンなどの通信装置、ユーザの身体に装着して用いられるウェアラブル装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムの一例としては、例えば、“上記対応付け処理”、“上記対応付け処理、および上記評価処理”、または、“上記対応付け処理、上記評価処理、および、上記対応付け処理の結果と上記評価処理の結果とを利用した処理(例えば、上記分類処理、上記分析処理、および上記通知処理のうちの1または2以上)”が、当該情報処理システムを構成する複数の装置において連携して行われるシステムが、挙げられる。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記対応付け処理”、“上記対応付け処理、および上記評価処理”、または、“上記対応付け処理、上記評価処理、および、上記対応付け処理の結果と上記評価処理の結果とを利用した処理(例えば、上記分類処理、上記分析処理、および上記通知処理のうちの1または2以上)”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、ユーザの動作の技能向上を図ることができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの動作の型を示す動作情報と、前記動作によって生じる結果を示す結果情報とを対応付ける対応付け処理部を備える、情報処理装置。
(2)
前記対応付け処理部は、前記動作情報に付加されている第1の識別情報と、前記結果情報に付加されている第2の識別情報とに基づいて、前記動作情報と前記結果情報とを対応付ける、(1)に記載の情報処理装置。
(3)
前記対応付け処理部は、前記第1の識別情報と前記第2の識別情報とが一致した場合に、前記動作情報と前記結果情報とを対応付ける、(2)に記載の情報処理装置。
(4)
前記第1の識別情報は、前記動作情報の識別子であり、
前記第2の識別情報は、前記結果情報の識別子である、(2)、または(3)に記載の情報処理装置。
(5)
前記動作情報の識別子は、前記動作情報に埋め込まれ、
前記結果情報の識別子は、前記結果情報に埋め込まれる、(4)に記載の情報処理装置。
(6)
前記動作情報の識別子は、前記動作情報の名称に含まれ、
前記結果情報の識別子は、前記結果情報の名称に含まれる、(4)に記載の情報処理装置。
(7)
前記第1の識別情報は、前記動作情報が生成された時間を示す前記動作情報の時間情報であり、
前記第2の識別情報は、前記結果情報が生成された時間を示す前記結果情報の時間情報である、(2)、または(3)に記載の情報処理装置。
(7)
前記動作情報の時間情報は、前記動作情報に埋め込まれ、
前記結果情報の時間情報は、前記結果情報に埋め込まれる、(7)に記載の情報処理装置。
(9)
前記動作情報の時間情報が示す時間は、前記動作情報の名称に含まれ、
前記結果情報の時間情報が示す時間は、前記結果情報の名称に含まれる、(7)に記載の情報処理装置。
(10)
前記結果情報に基づいて、前記動作を評価する評価部をさらに備える、(1)〜(9)のいずれか1つに記載の情報処理装置。
(11)
前記評価部は、前記動作の結果を数値化することにより評価する、(10)に記載の情報処理装置。
(12)
前記動作情報と前記結果情報とが対応付けられた対応付け結果と、前記結果情報に基づく前記動作の評価結果とに基づいて、前記動作情報が示す前記動作を複数の区分に分類する分類部をさらに備える、(10)、または(11)に記載の情報処理装置。
(13)
前記動作情報が示す前記動作の分類結果に基づいて、ユーザの動作を分析する分析部をさらに備える、(12)に記載の情報処理装置。
(14)
前記分析部は、異なる前記区分に属するユーザの動作の差分をとることによって、ユーザの動作を分析する、(13)に記載の情報処理装置。
(15)
ユーザの動作の分析結果を通知させる通知処理部をさらに備える、(13)、または(14)に記載の情報処理装置。
(16)
ユーザの動作の型を示す動作情報と、前記動作によって生じる結果を示す結果情報とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
(17)
ユーザの動作の型を示す動作情報と、前記動作によって生じる結果を示す結果情報とを対応付ける機能を、コンピュータに実現させるためのプログラム。
10、20、30、40 装置
100 情報処理装置
102 対応付け処理部
104 評価部
106 分類部
108 分析部
110 通知処理部

Claims (17)

  1. ユーザの動作の型を示す動作情報と、前記動作によって生じる結果を示す結果情報とを対応付ける対応付け処理部を備える、情報処理装置。
  2. 前記対応付け処理部は、前記動作情報に付加されている第1の識別情報と、前記結果情報に付加されている第2の識別情報とに基づいて、前記動作情報と前記結果情報とを対応付ける、請求項1に記載の情報処理装置。
  3. 前記対応付け処理部は、前記第1の識別情報と前記第2の識別情報とが一致した場合に、前記動作情報と前記結果情報とを対応付ける、請求項2に記載の情報処理装置。
  4. 前記第1の識別情報は、前記動作情報の識別子であり、
    前記第2の識別情報は、前記結果情報の識別子である、請求項2に記載の情報処理装置。
  5. 前記動作情報の識別子は、前記動作情報に埋め込まれ、
    前記結果情報の識別子は、前記結果情報に埋め込まれる、請求項4に記載の情報処理装置。
  6. 前記動作情報の識別子は、前記動作情報の名称に含まれ、
    前記結果情報の識別子は、前記結果情報の名称に含まれる、請求項4に記載の情報処理装置。
  7. 前記第1の識別情報は、前記動作情報が生成された時間を示す前記動作情報の時間情報であり、
    前記第2の識別情報は、前記結果情報が生成された時間を示す前記結果情報の時間情報である、請求項2に記載の情報処理装置。
  8. 前記動作情報の時間情報は、前記動作情報に埋め込まれ、
    前記結果情報の時間情報は、前記結果情報に埋め込まれる、請求項7に記載の情報処理装置。
  9. 前記動作情報の時間情報が示す時間は、前記動作情報の名称に含まれ、
    前記結果情報の時間情報が示す時間は、前記結果情報の名称に含まれる、請求項7に記載の情報処理装置。
  10. 前記結果情報に基づいて、前記動作を評価する評価部をさらに備える、請求項1に記載の情報処理装置。
  11. 前記評価部は、前記動作の結果を数値化することにより評価する、請求項10に記載の情報処理装置。
  12. 前記動作情報と前記結果情報とが対応付けられた対応付け結果と、前記結果情報に基づく前記動作の評価結果とに基づいて、前記動作情報が示す前記動作を複数の区分に分類する分類部をさらに備える、請求項10に記載の情報処理装置。
  13. 前記動作情報が示す前記動作の分類結果に基づいて、ユーザの動作を分析する分析部をさらに備える、請求項12に記載の情報処理装置。
  14. 前記分析部は、異なる前記区分に属するユーザの動作の差分をとることによって、ユーザの動作を分析する、請求項13に記載の情報処理装置。
  15. ユーザの動作の分析結果を通知させる通知処理部をさらに備える、請求項13に記載の情報処理装置。
  16. ユーザの動作の型を示す動作情報と、前記動作によって生じる結果を示す結果情報とを対応付けるステップを有する、情報処理装置により実行される情報処理方法。
  17. ユーザの動作の型を示す動作情報と、前記動作によって生じる結果を示す結果情報とを対応付ける機能を、コンピュータに実現させるためのプログラム。
JP2015191437A 2015-09-29 2015-09-29 情報処理装置、情報処理方法、およびプログラム Pending JP2017063949A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015191437A JP2017063949A (ja) 2015-09-29 2015-09-29 情報処理装置、情報処理方法、およびプログラム
US15/752,997 US20190005842A1 (en) 2015-09-29 2016-07-22 Information processing apparatus, information processing method, and program
EP16758289.9A EP3356001A1 (en) 2015-09-29 2016-07-22 Information processing apparatus, information processing method, and program
KR1020187007734A KR20180059439A (ko) 2015-09-29 2016-07-22 정보 처리 장치, 정보 처리 방법 및 프로그램
PCT/JP2016/003428 WO2017056356A1 (en) 2015-09-29 2016-07-22 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015191437A JP2017063949A (ja) 2015-09-29 2015-09-29 情報処理装置、情報処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020066935A Division JP2020146467A (ja) 2020-04-02 2020-04-02 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2017063949A true JP2017063949A (ja) 2017-04-06
JP2017063949A5 JP2017063949A5 (ja) 2018-10-25

Family

ID=56851657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015191437A Pending JP2017063949A (ja) 2015-09-29 2015-09-29 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20190005842A1 (ja)
EP (1) EP3356001A1 (ja)
JP (1) JP2017063949A (ja)
KR (1) KR20180059439A (ja)
WO (1) WO2017056356A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6811349B1 (ja) * 2020-03-31 2021-01-13 株式会社三菱ケミカルホールディングス 情報処理装置、方法、プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3095641C (en) * 2017-06-16 2023-03-21 Zte Corporation Methods for transmission and reception of control information in a coordinated system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009125509A (ja) * 2007-11-27 2009-06-11 Panasonic Electric Works Co Ltd 球技改善支援システム
JP2009297240A (ja) * 2008-06-12 2009-12-24 Panasonic Corp 学習支援装置および学習支援方法
JP2011062352A (ja) * 2009-09-17 2011-03-31 Koki Hashimoto 運動モーション教示装置および遊戯施設
US20110081634A1 (en) * 2009-10-02 2011-04-07 Masatomo Kurata Behaviour Pattern Analysis System, Mobile Terminal, Behaviour Pattern Analysis Method, and Program
JP2011120644A (ja) * 2009-12-08 2011-06-23 Yamaha Corp 回転動作解析装置及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007014671A (ja) 2005-07-11 2007-01-25 Toppan Printing Co Ltd ボールおよびその移動記録の認識・表示システム
US9401178B2 (en) * 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
KR101946033B1 (ko) * 2013-12-02 2019-02-08 나이키 이노베이트 씨.브이. 체공 시간

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009125509A (ja) * 2007-11-27 2009-06-11 Panasonic Electric Works Co Ltd 球技改善支援システム
JP2009297240A (ja) * 2008-06-12 2009-12-24 Panasonic Corp 学習支援装置および学習支援方法
JP2011062352A (ja) * 2009-09-17 2011-03-31 Koki Hashimoto 運動モーション教示装置および遊戯施設
US20110081634A1 (en) * 2009-10-02 2011-04-07 Masatomo Kurata Behaviour Pattern Analysis System, Mobile Terminal, Behaviour Pattern Analysis Method, and Program
JP2011120644A (ja) * 2009-12-08 2011-06-23 Yamaha Corp 回転動作解析装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6811349B1 (ja) * 2020-03-31 2021-01-13 株式会社三菱ケミカルホールディングス 情報処理装置、方法、プログラム
JP2021159313A (ja) * 2020-03-31 2021-10-11 株式会社三菱ケミカルホールディングス 情報処理装置、方法、プログラム

Also Published As

Publication number Publication date
EP3356001A1 (en) 2018-08-08
US20190005842A1 (en) 2019-01-03
KR20180059439A (ko) 2018-06-04
WO2017056356A1 (en) 2017-04-06

Similar Documents

Publication Publication Date Title
US11322044B2 (en) Information processing device, sensor device, information processing system, and storage medium
US9600717B1 (en) Real-time single-view action recognition based on key pose analysis for sports videos
AU2017331639B2 (en) A system and method to analyze and improve sports performance using monitoring devices
US10121065B2 (en) Athletic attribute determinations from image data
US20190160339A1 (en) System and apparatus for immersive and interactive machine-based strength training using virtual reality
US11839805B2 (en) Computer vision and artificial intelligence applications in basketball
US9407883B2 (en) Method and system for processing a video recording with sensor data
EP3186599B1 (en) Feedback provision system
US11478681B2 (en) Method of real time monitoring of a person during an event and event dynamics system thereof
JPWO2015107737A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6187558B2 (ja) 情報処理装置、情報処理システムおよび記録媒体
JP2017063949A (ja) 情報処理装置、情報処理方法、およびプログラム
CN105848737B (zh) 解析装置、记录媒体和解析方法
JP2020146467A (ja) 情報処理装置、情報処理方法、およびプログラム
US20160180059A1 (en) Method and system for generating a report for a physical activity
JP6990015B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020108823A (ja) 情報処理装置、情報処理方法、およびプログラム
Malawski Real-time first person perspective tracking and feedback system for weapon practice support in fencing
WO2022230501A1 (ja) 動作解析装置、動作解析方法、動作解析プログラム及び動作解析システム
JP2009268584A (ja) 動作解析装置、動作解析方法、プログラムおよび記録媒体
CN107050825B (zh) 常规动作训练装置及其方法
CN117351569A (zh) 运动计数方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180907

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200402

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200420

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200421

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200529

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200602

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201020

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210209

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210323

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210323