JP2023022265A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP2023022265A
JP2023022265A JP2022193967A JP2022193967A JP2023022265A JP 2023022265 A JP2023022265 A JP 2023022265A JP 2022193967 A JP2022193967 A JP 2022193967A JP 2022193967 A JP2022193967 A JP 2022193967A JP 2023022265 A JP2023022265 A JP 2023022265A
Authority
JP
Japan
Prior art keywords
motion
user
rhythm
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022193967A
Other languages
English (en)
Other versions
JP7424456B2 (ja
Inventor
敬太 望月
Keita Mochizuki
康隆 福本
Yasutaka Fukumoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2023022265A publication Critical patent/JP2023022265A/ja
Application granted granted Critical
Publication of JP7424456B2 publication Critical patent/JP7424456B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647Visualisation of executed movements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/05Image processing for measuring physical parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/83Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836Sensors arranged on the body of the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0015Dancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの動きのリズムを適切に認識する。【解決手段】情報処理装置は、少なくともユーザの体幹上の1カ所を含む1以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識するモーションリズム認識部を備える。本技術は、例えば、パフォーマンスの演出を行う演出システムに適用できる。【選択図】図4

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、ユーザの動きのリズムを認識する場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
従来、複数のユーザにそれぞれ装着したセンサからの運動情報に基づいて、各ユーザの運動リズムを推定し、各ユーザの運動リズムと基本となる運動リズムとの間の相違度や、ユーザ間の運動リズムの相違度を計算し、その結果をユーザにフィードバックするシステムが提案されている。また、運動リズムとして、テンポ(例えば1分あたりのビート数:BPM)を利用することが提案されている(例えば、特許文献1参照)。
特開2011-87794号公報
しかしながら、ユーザの動きのリズムは、通常は音楽のビートのような単調なものではなく、より複雑である。従って、単位時間あたりのビート数では、ユーザの動きのリズムを適切に表せない場合がある。
本技術は、このような状況に鑑みてなされたものであり、ユーザの動きのリズムを適切に認識できるようにするものである。
本技術の一側面のプログラムは、コンピュータを、ユーザの少なくとも1以上の検出位置に装着されたセンサ装置により検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析するモーション解析部と、前記モーション解析部により得られるモーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する表示制御部ととして機能させる。
本技術の一側面の情報処理装置は、ユーザの少なくとも1以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析するモーション解析部と、前記モーション解析部により得られるモーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する表示制御部とを備える。
本技術の一側面の情報処理方法は、情報処理装置が、ユーザの少なくとも1以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析し、モーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する。
本技術の一側面においては、ユーザの少なくとも1以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションが解析され、モーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示が制御される。
本技術の一側面によれば、ユーザの動きのリズムを適切に認識することができる。また、本技術の一側面によれば、ユーザの動きのリズムを適切に利用することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した演出システムのハードウエアの構成例を示すブロック図である。 ウエアラブルセンサの装着位置の例を示す図である。 ウエアラブルセンサの装着位置の例を示す図である。 本技術を適用した演出システムの機能の構成例を示すブロック図である。 ウエアラブルセンサの構成例を示すブロック図である。 ウエアラブルセンサが備えるセンサの仕様例を示す表である。 ウエアラブルセンサの処理を説明するためのフローチャートである。 通信パケットのフォーマットの例を示す図である。 動き検出データの構成例を示す表である。 モーション解析処理を説明するためのフローチャートである。 音楽のビートとモーションリズムの違いを説明するための図である。 モーションリズム認識モデルの生成方法の例を説明するための図である。 ダンスの技の例を示す図である。 ダンスの技の例を示す図である。 モーション認識モデルの生成方法の例を説明するための図である。 モーションの種類を通知するタイミングの例を示す図である。 演出制御処理を説明するためのフローチャートである。 演出方法の具体例を示す表である。 本技術を適用したシンク評価システムの機能の構成例を示すブロック図である。 シンク評価処理を説明するためのフローチャートである。 シンク度の検出方法の第1の例を説明するための図である。 シンク度の検出方法の第2の例を説明するための図である。 シンク度の検出方法の第2の例を説明するための図である。 本技術を適用した撮影システムの第1の実施の形態のハードウエアの構成例を示すブロック図である。 本技術を適用した撮影システムの第1の実施の形態の機能の構成例を示すブロック図である。 撮影制御処理を説明するためのフローチャートである。 表示制御処理を説明するためのフローチャートである。 表示画面の第1の例を示す図である。 表示画面の第2の例を示す図である。 表示画面の第3の例を示す図である。 本技術を適用した撮影システムの第2の実施の形態の機能の構成例を示すブロック図である。 撮影制御処理を説明するためのフローチャートである。 表示制御処理を説明するためのフローチャートである。 表示画面の第4の例を示す図である。 表示画面の第5の例を示す図である。 表示画面の第6の例を示す図である。 本技術を適用した楽曲推薦システムの一実施の形態を示すブロック図である。 楽曲推薦処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.第1の実施の形態(演出システム)
2.第2の実施の形態(シンク評価システム)
3.第3の実施の形態(撮影システム)
4.第4の実施の形態(撮影システム)
5.第5の実施の形態(楽曲推薦システム)
6.変形例
7.その他
<<1.第1の実施の形態>>
まず、図1乃至図18を参照して、本技術の第1の実施の形態について説明する。
<演出システムのハードウエア構成例>
図1は、本技術を適用した演出システム100のハードウエアの構成例を示している。
演出システム100は、ユーザのモーション解析を行い、解析結果に基づいて、ユーザのパフォーマンスの演出を行うシステムである。
なお、演出対象となるパフォーマンスの種類は、特に限定されない。例えば、演劇、音楽、舞踏等のパフォーマンスが演出対象となる。
演出システム100は、ウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5、解析用計算機102、制御用計算機103、及び、演出機器104を備える。
なお、以下、ウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5を個々に区別する必要がない場合、単にウエアラブルセンサ101と称する。
各ウエアラブルセンサ101は、ユーザの互いに異なる位置(以下、検出ポイント又は検出位置と称する)に装着され、各検出ポイントの動きを検出するセンサ装置である。各ウエアラブルセンサ101は、各検出ポイントの動きの検出結果を示す動き検出データを含む通信パケットを解析用計算機102に送信する。
解析用計算機102は、各ウエアラブルセンサ101からの動き検出データに基づいて、ユーザのモーション解析を行う。解析用計算機102は、ユーザのモーション解析の結果を示すデータを制御用計算機103に送信する。
制御用計算機103は、ユーザのモーション解析の結果に基づいて、演出機器104によるユーザのパフォーマンスの演出を制御する。例えば、制御用計算機103は、演出機器104による演出を制御するための演出制御データを生成し、演出機器104に送信する。
演出機器104は、演出制御データに基づいて、ユーザのパフォーマンスの演出を行う。
なお、各ウエアラブルセンサ101と解析用計算機102との間の通信には、例えば、任意の方式の低遅延の近距離無線通信が採用される。近距離無線通信を採用することにより、ウエアラブルセンサ101の消費電力を削減するとともに、ウエアラブルセンサ101を小型化することが可能になる。
解析用計算機102と制御用計算機103との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。
制御用計算機103と演出機器104との間の通信には、例えば、任意の方式の無線通信又は有線通信が採用される。
また、例えば、解析用計算機102と制御用計算機103とを1つのデバイスにより構成するようにしてもよい。
<各ウエアラブルセンサ101の装着位置の例>
図2及び図3は、各ウエアラブルセンサ101の装着位置(検出ポイント)の例を模式的に示している。
図2は、ウエアラブルセンサ101の最小構成の例を示している。具体的には、図2は、ウエアラブルセンサ101が1つのみユーザに装着される場合の例を示している。
後述するモーション解析において、ユーザの頭や腰等の体幹の動きを検出することで、解析精度が向上するという実験結果が出ている。従って、ウエアラブルセンサ101を1つのみユーザに装着する場合、ユーザの体幹上にウエアラブルセンサ101を装着することが望ましい。
例えば、図2のAでは、ウエアラブルセンサ101-1が、ユーザの頭部に装着されており、ユーザの頭部の動きを検出する。図2のBでは、ウエアラブルセンサ101-6が、ユーザの腰に装着されており、ユーザの腰の動きを検出する。すなわち、ウエアラブルセンサ101-1又はウエアラブルセンサ101-6により、ユーザの体幹の動き、重心、姿勢等が検出される。
例えば、ダンスでは、基本的に体幹の上下運動によりリズムがとられることが多い。従って、例えば、モーション解析において後述するモーションリズムの認識のみを行う場合、図2のA又はBに示されるように、ユーザの体幹上の1カ所のみにウエアラブルセンサ101を装着するだけでもよい。
図3は、ユーザの体全体の動きを捉えるために、体幹に加えて手足にウエアラブルセンサ101を装着した例を示している。なお、必ずしもユーザの手足の全てにウエアラブルセンサ101を装着する必要はなく、例えば、手だけ又は足だけに装着するようにしてもよい。
図3のAでは、図2のAと比較して、ユーザの両手首及び両足首にウエアラブルセンサ101-2乃至ウエアラブルセンサ101-5が追加で装着されている。
ウエアラブルセンサ101-2は、ユーザの左手首に装着され、左手首の動きを検出する。ウエアラブルセンサ101-3は、ユーザの右手首に装着され、右手首の動きを検出する。すなわち、ウエアラブルセンサ101-2及びウエアラブルセンサ101-3により、ユーザの両手の動きや手首のスナップ等が検出される。
ウエアラブルセンサ101-4は、ユーザの左足首に装着され、左足首の動きを検出する。ウエアラブルセンサ101-5は、ユーザの右足首に装着され、右足首の動きを検出する。すなわち、ウエアラブルセンサ101-4及びウエアラブルセンサ101-5により、ユーザの両足の動きやステップ等が検出される。
そして、ユーザの体幹、両手、及び、両足の相互の動きの連動性に基づいて、ユーザのモーション解析が行われる。
図3のBでは、図2のBと比較して、ユーザの両足首にウエアラブルセンサ101-4及びウエアラブルセンサ101-5が追加で装着されている。すなわち、ウエアラブルセンサ101-4及びウエアラブルセンサ101-5により、ユーザの両足の動きやステップ等が検出される。
そして、ユーザの体幹及び両足の相互の動きの連動性に基づいて、ユーザのモーション解析が行われる。
なお、図2及び図3のウエアラブルセンサ101の装着数及び装着位置は、その一例であり、モーション解析の用途や精度等により適宜変更される。
例えば、ユーザの体幹上として背中にウエアラブルセンサ101を装着するようにしてもよい。また、ユーザの体幹上の2カ所以上にウエアラブルセンサ101を装着するようにしてもよい。
なお、一般的に、ウエアラブルセンサ101の装着数が多くなるほど、モーション解析の精度が向上する一方、ユーザに与える負荷が大きくなる。一方、ウエアラブルセンサ101の装着数が少なくなるほど、ユーザに与える負荷が小さくなる一方、モーション解析の精度が低下する。
なお、肘や膝といった中間関節だけでリズムをとるケースはあまりないと想定される。従って、最大でも腰、頭、両手、両足の6か所、必要であれば追加で指にウエアラブルセンサ101を装着すれば十分だと考えられる。
また、ウエアラブルセンサ101の装着方法は、特に限定されない。例えば、バンド、ベルト、サポータ、テープ、クリップ等が用いられる。なお、各検出ポイントの動きを高精度に検出できるように、ユーザの動きを阻害したり、ユーザに不快感を与えたりしない程度に、できる限り各ウエアラブルセンサ101の装着位置が動かないようにすることが望ましい。
なお、以下、図1及び図3のAに示されるように、ウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5をユーザの頭部、両手、及び、両足に装着した場合を例に挙げて説明する。
<演出システムの機能の構成例>
図4は、演出システム100の機能の構成例を示している。
演出システム100は、ウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5、通信部151、センサ同期部152、モーション解析部153、演出制御部154、照明機器155、映像機器156、及び、音響機器157を備える。
通信部151は、各ウエアラブルセンサ101から通信パケットを受信し、センサ同期部152に供給する。
センサ同期部152は、各ウエアラブルセンサ101からの通信パケットに含まれる動き検出データの同期を取ることにより、各検出ポイントの動き検出データの時間差を吸収する。センサ同期部152は、同期を取った後の各動き検出データをモーション解析部153に供給する。
モーション解析部153は、例えば、図1の解析用計算機102により実現され、ユーザのモーション解析を行う。モーション解析部153は、モーションリズム認識部161、モーションBPM(Beats Per Minute)認識部162、及び、モーション認識部163を備える。
モーションリズム認識部161は、各ウエアラブルセンサ101からの動き検出データに基づいて、ユーザの動きのリズムを示すモーションリズムの認識処理を行う。モーションリズム認識部161は、ユーザのモーションリズムの認識結果を示すデータを演出制御部154に供給する。
モーションBPM認識部162は、各ウエアラブルセンサ101からの動き検出データに基づいて、ユーザの動きの基本周波数を示すモーションBPMの認識処理を行う。モーションBPM認識部162は、ユーザのモーションBPMの認識結果を示すデータを演出制御部154に供給する。
モーション認識部163は、各ウエアラブルセンサ101からの動き検出データに基づいて、ユーザのモーションの認識処理を行う。モーション認識部163は、ユーザのモーションの認識結果を示すデータを演出制御部154に供給する。
演出制御部154は、例えば、図1の制御用計算機103により実現され、照明機器155、映像機器156、及び、音響機器157によるユーザのパフォーマンスの演出の制御を行う。演出制御部154は、照明制御部171、映像制御部172、及び、音響制御部173を備える。
照明制御部171は、ユーザのモーションリズム、モーションBPM、及び、モーション等に基づいて、照明機器155による演出を制御するための照明演出制御データを生成し、照明機器155に送信する。
映像制御部172は、ユーザのモーションリズム、モーションBPM、及び、モーション等に基づいて、映像機器156による演出を制御するための映像演出制御データを生成し、映像機器156に送信する。
音響制御部173は、ユーザのモーションリズム、モーションBPM、及び、モーション等に基づいて、音響機器157による演出を制御するための音響演出制御データを生成し、音響機器157に送信する。
照明機器155は、例えば、各種のライトや光源等により構成される。照明機器155は、照明演出制御データに基づいて、照明制御部171の制御の下に、各種の光を出力することにより、照明演出を行う。
映像機器156は、例えば、プロジェクタやモニタ等により構成される。映像機器156は、映像演出制御データに基づいて、映像制御部172の制御の下に、各種の映像を出力することにより、映像演出を行う。
音響機器157は、例えばミキサーやスピーカ等により構成される。音響機器157は、音響演出制御データに基づいて、音響制御部173の制御の下に、各種の音を出力することにより、音響演出を行う。
<ウエアラブルセンサ101の構成例>
図5は、図1のウエアラブルセンサ101の構成例を示している。また、図6は、ウエアラブルセンサ101の各センサの仕様の例を示している。
ウエアラブルセンサ101は、HDR(High Dynamic Range)加速度センサ201、LDR(Low Dynamic Range)加速度センサ202、HDR(High Dynamic Range)ジャイロセンサ203、LDR(Low Dynamic Range)ジャイロセンサ204、地磁気センサ205、歪みセンサ206、気圧センサ207、時刻情報取得部208、センサデータ取得部209、マージ処理部210、姿勢検出部211、補正部212、バッファ213、パケット生成部214、送信制御部215、及び、送信部216を備える。
HDR加速度センサ201は、ウエアラブルセンサ101が装着されている位置(検出ポイント)のピッチ軸(x軸)、ロール軸(y軸)、及び、ヨー軸(z軸)の3軸方向の加速度の検出を行う。例えば、HDR加速度センサ201は、1024Hzのサンプリング周波数で検出ポイントの加速度をサンプリングし、16ビット×3軸のセンサデータ(以下、HDR加速度データと称する)を出力する。
LDR加速度センサ202は、検出ポイントのピッチ軸、ロール軸、及び、ヨー軸の3軸方向の加速度の検出を行う。例えば、LDR加速度センサ202は、1024Hzのサンプリング周波数で検出ポイントの加速度をサンプリングし、16ビット×3軸のセンサデータ(以下、LDR加速度データと称する)を出力する。
なお、HDR加速度センサ201の方がLDR加速度センサ202より検出可能な加速度のダイナミックレンジが広い。例えば、HDR加速度センサ201は±32G、LDR加速度センサ202は±16Gでセンサデータを出力する。
HDRジャイロセンサ203は、検出ポイントのピッチ軸回り、ロール軸回り、及び、ヨー軸回りの3軸回りの角速度の検出を行う。例えば、HDRジャイロセンサ203は、1024Hzのサンプリング周波数で検出ポイントの角速度をサンプリングし、16ビット×3軸のセンサデータ(以下、HDR角速度データと称する)を出力する。
LDRジャイロセンサ204は、検出ポイントのピッチ軸回り、ロール軸回り、及び、ヨー軸回りの3軸回りの角速度の検出を行う。例えば、LDRジャイロセンサ204は、1024Hzのサンプリング周波数で検出ポイントの角速度をサンプリングし、16ビット×3軸のセンサデータ(以下、LDR角速度データと称する)を出力する。
なお、HDRジャイロセンサ203の方がLDRジャイロセンサ204より検出可能な角速度のダイナミックレンジが広い。例えば、HDRジャイロセンサ203は±4000dps、LDRジャイロセンサ204は±2000dpsでセンサデータを出力する。
地磁気センサ205は、検出ポイント周辺のピッチ軸、ロール軸、及び、ヨー軸の3軸方向の地磁気の検出を行う。例えば、地磁気センサ205は、128Hzのサンプリング周波数で検出ポイント周辺の地磁気をサンプリングし、16ビット×3軸のセンサデータ(以下、地磁気データと称する)を出力する。
歪みセンサ206は、検出ポイントのピッチ軸及びロール軸の2軸方向の歪み(例えば、検出ポイントの伸縮等)を検出する。例えば、歪みセンサ206は、256Hzのサンプリング周波数で検出ポイントの歪みをサンプリングし、16ビット×2軸のセンサデータ(以下、歪みデータと称する)を出力する。
気圧センサ207は、検出ポイント周辺の気圧を検出する。例えば、検出ポイント周辺の気圧に基づいて、検出ポイントの高さ方向の位置が検出される。例えば、気圧センサ207は、128Hzのサンプリング周波数で検出ポイント周辺の気圧をサンプリングし、24ビットのセンサデータ(以下、気圧データと称する)を出力する。
時刻情報取得部208は、例えば時計等により構成され、現在時刻を示す時刻情報を取得し、センサデータ取得部209に供給する。
センサデータ取得部209は、HDR加速度センサ201、LDR加速度センサ202、HDRジャイロセンサ203、及び、LDRジャイロセンサ204からそれぞれHDR加速度データ、LDR加速度データ、HDR角速度データ、及び、LDR角速度データを取得し、取得したデータに取得した時刻を付加してマージ処理部210に供給する。また、センサデータ取得部209は、地磁気センサ205から地磁気データを取得し、取得したデータに取得した時刻を付加して姿勢検出部211に供給する。さらに、センサデータ取得部209は、歪みセンサ206及び気圧センサ207からそれぞれ歪みデータ及び気圧データを取得し、取得したデータに取得した時刻を付加して補正部212に供給する。
マージ処理部210は、HDR加速度データとLDR加速度データのマージ処理、及び、HDR角速度データとLDR角速度データのマージ処理を行う。マージ処理部210は、マージ後の加速度データ及び角速度データを姿勢検出部211及びバッファ213に供給する。
姿勢検出部211は、加速度データ、角速度データ、及び、地磁気データに基づいて、検出ポイントの姿勢の検出を行う。検出ポイントの姿勢は、例えば、オイラー角により表される。姿勢検出部211は、計算結果を示すデータ(以下、姿勢データと称する)をバッファ213に供給する。
補正部212は、歪みデータ及び気圧データの補正を行い、補正後の歪みデータ及び気圧データをバッファ213に供給する。
バッファ213は、姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを一時的に蓄積する。
パケット生成部214は、バッファ213に蓄積されている姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含む動き検出データを送信するための通信パケットを生成し、送信制御部215に供給する。
送信制御部215は、送信部216による通信パケットの送信を制御する。
送信部216は、所定の方式の無線通信により通信パケットを通信部151に送信する。
なお、図示を省略しているが、ウエアラブルセンサ101の各部は、例えば、バッテリにより駆動される。
<演出システムの処理>
次に、図7乃至図18を参照して、演出システム100の処理について説明する。
<ウエアラブルセンサ101の処理>
まず、図7のフローチャートを参照して、ウエアラブルセンサ101の処理について説明する。
この処理は、例えば、ウエアラブルセンサ101の電源がオンされたとき開始され、オフされたとき終了する。
ステップS1において、センサデータ取得部209は、センサデータの取得を開始する。
具体的には、センサデータ取得部209は、HDR加速度センサ201、LDR加速度センサ202、HDRジャイロセンサ203、及び、LDRジャイロセンサ204からそれぞれHDR加速度データ、LDR加速度データ、HDR角速度データ、及び、LDR角速度データを取得し、取得したデータに取得した時刻を付加してマージ処理部210に供給する処理を開始する。また、センサデータ取得部209は、地磁気センサ205から地磁気データを取得し、取得したデータに取得した時刻を付加して姿勢検出部211に供給する処理を開始する。さらに、センサデータ取得部209は、歪みセンサ206及び気圧センサ207からそれぞれ歪みデータ及び気圧データを取得し、取得したデータに取得した時刻を付加して補正部212に供給する処理を開始する。
ステップS2において、マージ処理部210は、加速度データ及び角速度データのマージ処理を開始する。
具体的には、マージ処理部210は、HDR加速度データとLDR加速度データをマージし(合成し)、マージ後の加速度データをバッファ213に供給し、蓄積させる処理を開始する。
なお、マージ後の加速度データのうち、LDR加速度データのダイナミックレンジの範囲内のデータには、LDR加速度データに基づくデータが使用され、それ以外の範囲のデータには、HDR加速度データに基づくデータが使用される。これにより、マージ後の加速度データにおいて、LDR加速度データのダイナミックレンジの範囲内の加速度の検出精度が向上する。
また、マージ処理部210は、HDR角速度データとLDR角速度データをマージし(合成し)、マージ後の角速度データをバッファ213に供給し、蓄積させる処理を開始する。
なお、マージ後の角速度データのうち、LDR角速度データのダイナミックレンジの範囲内のデータには、LDR角速度データに基づくデータが使用され、それ以外の範囲のデータには、HDR角速度データに基づくデータが使用される。これにより、マージ後の角速度データにおいて、LDR角速度データのダイナミックレンジの範囲内の角速度の検出精度が向上する。
ステップS3において、姿勢検出部211は、姿勢の検出を開始する。具体的には、姿勢検出部211は、加速度データ、角速度データ、及び、地磁気データに基づいて、検出ポイントの姿勢を示すピッチ軸回り、ロール軸回り、及び、ヨー軸回りの3軸回りのオイラー角を検出する処理を開始する。また、姿勢検出部211は、検出結果を示す姿勢データをバッファ213に供給し、蓄積させる処理を開始する。
ステップS4において、補正部212は、歪みデータ及び気圧データの補正を開始する。例えば、補正部212は、歪みデータ及び気圧データのノイズ除去、データサイズの変換等の処理を開始する。また、補正部212は、補正後の歪みデータ及び気圧データをバッファ213に供給し、蓄積させる処理を開始する。
ステップS5において、パケット生成部214は、通信パケットを送信するタイミングであるか否かを判定する。この判定処理は、通信パケットを送信するタイミングであると判定されるまで繰り返し実行され、通信パケットを送信するタイミングであると判定された場合、処理はステップS6に進む。
なお、例えば、通信パケットは、所定の間隔で送信される。例えば、通信パケットは、128Hzの送信頻度で(すなわち、1秒間に128回)送信される。この場合、通信パケットに含まれる動き検出データのサンプリング周波数は128Hzとなる。
ステップS6において、パケット生成部214は、通信パケットを生成する。例えば、パケット生成部214は、最新の姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データをバッファ213から読み出す。また、パケット生成部214は、現在時刻を示す時刻情報を時刻情報取得部138から取得する。そして、パケット生成部214は、バッファ213から読み出した姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データを含む通信パケットを生成する。
図8は、パケット生成部214により生成される通信パケットのフォーマットの例を示している。通信パケットは、ヘッダ、タイムスタンプ、及び、動き検出データを含む。
タイムスタンプには、例えば、センサデータを取得した時刻が設定される。なお、センサデータを取得した時刻には、例えば、通信パケット内の動き検出データに用いられた各センサデータの取得時刻のうち、最も早い時刻が設定される。また、例えば、動き検出データに含まれる各データの取得タイミングが異なる場合、データ毎にタイムスタンプ(センサデータを取得した時刻)を通信パケットに格納するようにしてもよい。この場合、通信パケットのフォーマットは、例えば、ヘッダ、タイムスタンプ1、動き検出データに含まれるデータ1(例えば、姿勢データ)、タイムスタンプ2、動き検出データに含まれるデータ2(例えば、加速度データ)、・・・のようになる。
動き検出データには、バッファ213から読み出された姿勢データ、加速度データ、角速度データ、歪みデータ、及び、気圧データが含まれる。なお、動き検出データは、例えば、所定の方式により暗号化される。
図9は、動き検出データに含まれる各データの仕様例を示している。
姿勢データのサイズは、例えば、16ビット×3軸とされる。通信パケットの送信頻度が128Hzの場合、姿勢データのサンプリング周波数は128Hzとなり、ビットレートは6,144bps(bit per second)となる。
加速度データのサイズは、例えば、20ビット×3軸とされる。通信パケットの送信頻度が128Hzの場合、加速度データのサンプリング周波数は128Hzとなり、ビットレートは7,680bpsとなる。
角速度データのサイズは、例えば、20ビット×3軸とされる。通信パケットの送信頻度が128Hzの場合、角速度データのサンプリング周波数は128Hzとなり、ビットレートは7,680bpsとなる。
歪みデータのサイズは、例えば、16ビット×2軸とされる。通信パケットの送信頻度が128Hzの場合、歪みデータのサンプリング周波数は128Hzとなり、ビットレートは4,096bpsとなる。
気圧データのサイズは、例えば、24ビットとされる。通信パケットの送信頻度が128Hzの場合、気圧データのサンプリング周波数は128Hzとなり、ビットレートは2,048bpsとなる。
パケット生成部214は、通信パケットを送信制御部215に供給する。また、パケット生成部214は、通信パケットにより送信する各データ、及び、それより古いデータをバッファ213から削除する。
ステップS7において、送信部216は、送信制御部215の制御の下に、通信パケットを通信部151に送信する。
その後、処理はステップS5に戻り、ステップS5以降の処理が実行される。
<モーション解析処理>
次に、図10のフローチャートを参照して、図7のウエアラブルセンサ101の処理に対応してモーション解析部153により実行されるモーション解析処理について説明する。
この処理は、例えば、解析用計算機102の電源がオンされたとき開始され、オフされたとき終了する。
ステップS31において、モーション解析部153は、モーション解析を開始する。
具体的には、モーションリズム認識部161は、例えば、事前の学習処理により得られたモーションリズム認識用モデルを用いて、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を開始する。
例えば、モーションリズム認識部161は、ユーザがモーションリズム(動きのリズム)をとったタイミングを検出する処理を開始する。
なお、図11は、音楽のビートとモーションリズムの違いを簡単に示している。上のグラフは音楽のビートの例を示し、下のグラフはモーションリズムの例を示している。
音楽のビートは、同じ楽曲内ではほとんど変化せず、略一定の間隔で規則的に刻まれる。これに対して、モーションリズムは、音楽のビートと同期する(音楽のビートにのる)ことも多いが、ビートとは異なるタイミングであって、楽曲からは分からない任意のタイミングでとられることも多い。
例えば、モーションリズムは、ユーザの動きのアクセントにより表される。また、ユーザの動きのアクセントは、例えば、ユーザの動きの向き、スピード、及び、パターンの変化により表される。例えば、ダンスにおいてモーションリズムをとる動きの例として、以下が挙げられる。
・体幹を上下させたり、左右に揺らしたりする。
・一時静止してポーズをとる。
・首、手、又は、足の運動方向を素早く切り替える。
・ターンする。
・手を周期的に動かす。
・ステップを踏む。
・ヘッドバンギングを行う。
・指を鳴らす。
・指でカウントをとる。
・急な動きをとる。
上記の動きにおいて、向き、スピード、又は、パターンが変化するタイミング、例えば、ユーザが動きを止めたり、動きの向きを変えたり、又は、動き出したりするタイミングが、ユーザがモーションリズムをとるタイミングとなる。
ただし、ユーザの動きの向き、スピード、及び、パターンが変化する全てのタイミングで、ユーザがモーションリズムをとっているとは限らない。例えば、ヘッドバンギングでは、頭が上下に揺らされるが、頭を上及び下で止める両方のタイミングで、モーションリズムがとられる場合もあるし、いずれか一方のタイミングでのみ、モーションリズムがとられる場合もある。
また、例えば、モーションリズム認識部161は、ユーザがモーションリズムをとった間隔(モーションリズムの発火間隔)の移動平均の算出を開始する。
さらに、例えば、モーションリズム認識部161は、ユーザのモーションリズムの強さ(ユーザの動きのリズムの強さ)を示すリズム度を検出し、検出したリズム度を示すリズム度データを演出制御部154に供給する処理を開始する。リズム度は、例えば、ユーザの動きのアクセントの強さにより表される。
ここで、図12を参照して、モーションリズム認識モデルの生成方法の例について説明する。
例えば、各ウエアラブルセンサ101を装着したユーザが、クリック音に合わせてリズムをとりながら踊る。すなわち、ユーザは踊りながら、クリック音が鳴動するタイミングでリズムをとる。クリック音の間隔は、一定でもよいし、一定でなくてもよい。そして、そのクリック音が正解データとしてディープニューラルネットワークに入力される。すなわち、クリック音が鳴動したタイミングが、ユーザがモーションリズムをとったタイミングを示す正解データとして、ディープニューラルネットに与えられる。
一方、各ウエアラブルセンサ101の加速度データ(図内のAcc)のノルム及び角速度データ(図内のGyro)のノルムが、所定のサンプル(例えば、xサンプル)幅のフレームを時間軸方向にシフトしながら、フレーム単位で抽出される。そして、抽出されたフレーム内の各ウエアラブルセンサ101の加速度データのノルム及び角速度データのノルムの同期がとられ、同期後のデータがディープニューラルネットワークに入力される。
ここで、ノルムとは、加速度データ又は角速度データのベクトルの大きさのことである。
そして、ディープニューラルネットワークを用いた学習処理により、ユーザのモーションリズムを認識するためのモーションリズム認識モデルが生成される。
なお、この例では、モーションリズム認識モデルが、モーションリズムがとられた否かを示す1又は0の離散値を出力する例を示しているが、リズム度(連続値)を出力するようにしてもよい。また、例えば、モーションリズム認識モデルが、認識結果の信頼度も出力するようにしてもよい。
モーションBPM認識部162は、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から供給される動き検出データに基づいて、ユーザのモーションBPMの認識処理を開始する。
ここで、モーションBPMは、例えば、ユーザの動きの基本周波数により表される。例えば、加速度データ又は角速度データの基本周波数がモーションBPMとして検出される。例えば、ユーザが体の上下運動で一定周期のリズムをとっている場合、この一回の上下運動がモーションBPMの一拍に対応する。
従って、モーションリズムは、不規則に観測されるユーザの運動を表し、モーションBPMは、長期的にユーザの動きを観測したときの周期的運動を表す。
なお、一般的なBPMは楽曲により決まる。一方、ユーザが楽曲に合わせて踊る場合、楽曲のBPMを2倍、1/2倍等に自分で変化させて、その速度に合わせて踊る場合がある。そのため、同じ楽曲でも、ユーザの動きが速くなったり、遅くなったりする。従って、モーションBPMは、楽曲のBPMとは必ずしも一致せず、同じ楽曲内でも変化する場合がある。
モーション認識部163は、例えば、事前の学習処理により得られたモーション認識用モデルを用いて、通信部151及びセンサ同期部152を介して、各ウエアラブルセンサ101から供給される動き検出データに基づいて、ユーザのモーションの認識処理を開始する。
ここで、本技術におけるモーションの定義について説明する。なお、この第1の実施の形態では、ユーザのパフォーマンスの演出を行う例を示しているが、本技術におけるモーションはパフォーマンス関連に限定されるものではない。
具体的には、モーションとは、例えば、所定の分類に基づく、ユーザ(人)の行動を構成する動きの単位のことである。従って、モーションは、行動よりも短時間のユーザの動きとなる。また、モーションは、ユーザの全身の動きであってもよいし、ユーザの体の一部の動きであってもよい。
一方、行動とは、所定の分類に基づく、一連のモーションの集合体であり、複数のモーションの組み合わせからなる。例えば、所定の目的を達成するための一連のモーションの集合体が行動となる。
なお、本技術において、行動及びモーションの分類は、任意に設定したり変更したりすることが可能である。例えば、ダンス、アイススケート、ラグビー、トライアスロン、水泳、登山等のスポーツの種目に基づいて、モーションを認識する対象となる行動が分類される。この場合、例えば、体操総合のように複数の種目を組み合わせたスポーツを、1つの行動とみなすことも可能である。
また、例えば、通勤、運転、仕事、勉強、育児、睡眠、料理、食べる、TVを観る、歌う、演奏する、撮影する等の日常生活の行動に基づいて、モーションを認識する対象となる行動が分類される。
一方、例えば、ダンスという行動に対して、スライド、ジャーク、ビズマーキー等のダンスの技に基づいて、認識対象となるモーションが分類される。或いは、ダンスという行動に対して、回転、跳躍、ステップ、横揺れ、縦揺れ等のダンスの動きに基づいて、認識対象となるモーションが分類される。なお、ダンスの技及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。
例えば、フィギュアスケートという行動に対して、アクセル、ルッツ、サルコウ等のフィギュアスケートの技に基づいて、認識対象となるモーションが分類される。或いは、フィギュアスケートという行動に対して、滑る、回転する、跳ぶ、ステップする等のフィギュアスケートの動きに基づいて、認識対象となるモーションが分類される。なお、フィギュアスケートの技及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。
例えば、ラグビーという行動に対して、スクラム、トライ、ラン、パス、タックル等のラグビー特有の動きに基づいて、認識対象となるモーションが分類される。或いは、例えば、ラグビーという行動に対して、走る、跳ぶ、投げる、捕る、ぶつかる等の一般的な動きに基づいて、認識対象となるモーションが分類される。なお、ラグビー特有の動き及び一般的な動きの両方に基づいて、認識対象となるモーションが分類されてもよい。
例えば、水泳という行動に対して、クロール、平泳ぎ、バタフライ、背泳ぎ等の水泳の泳法に基づいて、認識対象となるモーションが分類される。或いは、例えば、水泳という行動に対して、飛び込み、ターン、息継ぎ、キック等の水泳の動きに基づいて、認識対象となるモーションが分類される。なお、水泳の泳法及び動きの両方に基づいて、認識対象となるモーションが分類されてもよい。
例えば、トライアスロンという行動に対して、スイミング、サイクリング、ランニングのトライアスロンの種目に基づいて、認識対象となるモーションが分類される。
例えば、体操総合という行動に対して、あん馬、床、吊り輪等の体操の種目に基づいて、認識対象となるモーションが分類される。
例えば、通勤という行動に対して、歩く、休む、電車に乗る、階段を登る等の通勤時の動きに基づいて、認識対象となるモーションが分類される。
例えば、運転という行動に対して、アクセル、ブレーキ、ギア変更、後方確認等の運転時の動きに基づいて、認識対象となるモーションが分類される。
例えば、仕事という行動に対して、話す、聞く、書く、電話、PCを使う、打合せ等の仕事時の動きに基づいて、認識対象となるモーションが分類される。
なお、同じユーザの動きが、分類の違いにより、行動にもモーションにもなり得る。例えば、トライアスロンの各種目(スイミング、サイクリング、ランニング)は、それぞれ単独でモーションを認識する対象となる行動にもなり得る。すなわち、スイミング、サイクリング、又は、ランニングが行動に分類され、各行動に対してモーションの認識処理が行われる場合がある。
また、ユーザの全身のモーションだけでなく、例えば、足のモーション、手のモーション等、ユーザの部位毎のモーションを認識対象としてもよい。
なお、モーション認識部163は、基本的には、ユーザのモーションの種類(例えば、モーションの意味情報)までを認識し、各モーションの詳細な動きの認識は行わない。
例えば、ユーザがダンスを行っている場合、図13及び図14に示されるように、ポップコーン、スライド、ラコステ、バートシンプソン、フォーシング、ブルックリン、ジャーク、ビズマーキー、ワーム、フロントグルーブ、ジャンプ等のダンスの個々の技の種類が認識される。一方、個々の技における動きの違いまでは認識されない。すなわち、ユーザが同じダンスの技を手足の動きやリズムを変えて行っても、同じダンスの技として認識され、それ以上の違いは認識されない。
このように、所定の分類に基づくユーザのモーションの種類までの認識に限定することにより、ウエアラブルセンサ101の装着数を少なくすることができる。その結果、CG(Computer Graphics)等で用いられる従来のモーションキャプチャシステムと比較して、ユーザの負担を軽減することができる。例えば、ユーザは、ウエアラブルセンサ101を装着しても、動きがほとんど制約されずに、ほぼ普段通りの動きをすることが可能になる。
なお、必要に応じて、各モーションの詳細な動きまで認識するようにしてもよい。
ここで、図15を参照して、モーション認識モデルの生成方法の例について説明する。
例えば、各ウエアラブルセンサ101を装着したユーザが、認識対象となる様々なモーションを行う。そして、ユーザが行ったモーションの種類(モーションクラス)が、正解データとしてディープニューラルネットワークに与えられる。
一方、ユーザが各モーションを行ったときの各ウエアラブルセンサ101の加速度データ(図内のAcc)のノルム及び角速度データ(図内のGyro)のノルムが、所定のサンプル(例えば、xサンプル)幅のフレームを時間軸方向にシフトしながら、フレーム単位で抽出される。そして、抽出されたフレーム内の加速度データのノルム及び角速度データのノルムの同期がとられ、同期後のデータがディープニューラルネットワークに入力される。
そして、ディープニューラルネットワークを用いた学習処理により、ユーザのモーションを認識するためのモーション認識モデルが生成される。
図10に戻り、ステップS32において、モーションリズム認識部161は、モーションリズムがとられたか否かを判定する。モーションリズムがとられたと判定された場合、処理はステップS33に進む。
ステップS33において、モーションリズム認識部161は、リズムタイミングを通知する。すなわち、モーションリズム認識部161は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを演出制御部154に供給する。
ステップS34において、モーションリズム認識部161は、モーションリズムが変化したか否かを判定する。例えば、モーションリズム認識部161は、ユーザがモーションリズムをとった間隔の移動平均が所定の閾値以上変化した場合、モーションリズムが変化したと判定し、処理はステップS35に進む。
なお、最初のステップS34の処理では、必ずモーションリズムが変化したと判定され、処理はステップS35に進む。
ステップS35において、モーションリズム認識部161は、リズム変化タイミングを通知する。すなわち、モーションリズム認識部161は、モーションリズムが変化したタイミングを示すリズム変化タイミングデータを演出制御部154に供給する。
その後、処理はステップS36に進む。
一方、ステップS34において、例えば、モーションリズム認識部161は、モーションリズムをとった間隔の移動平均が所定の閾値以上変化していない場合、モーションリズムが変化していないと判定し、ステップS35の処理はスキップされ、処理はステップS36に進む。
また、ステップS32において、モーションリズムがとられていないと判定された場合、ステップS33乃至ステップS35の処理はスキップされ、処理はステップS36に進む。
ステップS36において、モーションBPM認識部162は、モーションBPMが変化したか否かを判定する。例えば、モーションBPM認識部162は、モーションBPMの変化量が所定の閾値以上である場合、モーションBPMが変化したと判定し、処理はステップS37に進む。
なお、最初のステップS36の処理では、必ずモーションBPMが変化したと判定され、処理はステップS37に進む。
ステップS37において、モーションBPM認識部162は、モーションBPMを通知する。すなわち、モーションBPM認識部162は、検出したモーションBPMを示すモーションBPMデータを演出制御部154に供給する。
その後、処理はステップS38に進む。
一方、ステップS36において、例えば、モーションBPM認識部162は、モーションBPMの変化量が所定の閾値未満である場合、モーションBPMが変化していないと判定し、ステップS37の処理はスキップされ、処理はステップS38に進む。
ステップS38において、モーション認識部163は、モーションを検出したか否かを判定する。モーションを検出したと判定された場合、処理はステップS39に進む。
ステップS39において、モーション認識部163は、モーションの種類を通知する。すなわち、モーション認識部163は、検出したモーションの種類を示すモーションデータを演出制御部154に供給する。
なお、モーションの種類を通知するタイミングは、例えば、モーションが完了したタイミングとされる。例えば、図16に示されるように、ユーザがジャンプした場合、ユーザが着地後に立ち上がった時点で、モーションの種類が通知される。
その後、処理はステップS32に戻り、ステップS32以降の処理が実行される。
一方、ステップS38において、モーションを検出していないと判定された場合、処理はステップS32に戻り、ステップS32以降の処理が実行される。
<演出制御処理>
次に、図17のフローチャートを参照して、図10のモーション解析処理に対応して演出制御部154により実行される演出制御処理について説明する。
この処理は、例えば、制御用計算機103の電源がオンされたとき開始され、オフされたとき終了する。
ステップS61において、演出制御部154は、モーション解析結果を取得する。具体的には、演出制御部154は、リズム度データ、リズムタイミングデータ、リズム変化タイミングデータ、モーションBPMデータ、又は、モーションデータをモーション解析部153から取得する。
ステップS62において、演出制御部154は、モーション解析結果に基づいて、演出制御を行う。
ここで、図18を参照して、演出方法の具体例について説明する。
まず、ユーザがモーションリズムをとったタイミングにおける演出方法の例について説明する。
例えば、照明制御部171は、照明機器155を強めに光らせる。このとき、照明制御部171は、リズム度に基づいて光量を調整するようにしてもよい。
例えば、照明制御部171は、照明機器155の照明方向を変化させる。例えば、照明制御部171は、照明機器155の照明方向を左右や上下等に振らせる。このとき、照明制御部171は、リズム度に基づいて照明方向を変化させる速度を調整するようにしてもよい。
例えば、映像制御部172は、映像機器156から出力される映像に対してエフェクトをかける。このとき、映像制御部172は、リズム度に基づいてエフェクトの種類や強さを調整するようにしてもよい。
例えば、音響制御部173は、音響機器157により効果音を鳴動させる。このとき、音響制御部173は、リズム度に基づいて効果音の種類や強さを調整するようにしてもよい。
次に、ユーザのモーションリズムが変化するタイミングにおける演出方法の例について説明する。
例えば、照明制御部171は、照明機器155のカラーテーマを変えたり、発光パターンを切り替えたりする。
例えば、映像制御部172は、映像機器156から出力される映像のカラーテーマを変えたり、映像を切り替えたり、映像のカットチェンジを行ったりする。
例えば、音響制御部173は、音響機器157から出力されるBGM(Back Ground Music)を切り替える。また、例えば、音響制御部173は、音響機器157から出力されるビートパターンを切り替える。さらに、例えば、音響制御部173は、音響機器157により効果音を鳴動させる。
次に、ユーザのモーションBPMによる演出方法の例について説明する。
例えば、照明制御部171は、モーションBPMに基づいて、照明機器155から出力される光の定期的な明滅のタイミングを調整する。例えば、照明制御部171は、照明機器155から出力される光の定期的なタイミングをモーションBPMに合わせる。
例えば、映像制御部172は、モーションBPMに基づいて、映像機器156から出力されるアバターのアニメーションの速度を調整する。例えば、映像制御部172は、アバターのアニメーションの速度をモーションBPMに合わせる。
例えば、音響制御部173は、音響機器157からモーションBPMと同じBPMのビートパターンを出力させる。また、例えば、音響制御部173は、音響機器157から出力される楽曲のBPMを調整する。例えば、音響制御部173は、楽曲のBPMをモーションBPMに合わせる。
次に、ユーザのモーションによる演出方法の例について説明する。
例えば、照明制御部171は、モーションが行われたタイミングで照明機器155を派手に光らせる。このとき、照明制御部171は、モーションの種類や強さに基づいて、光の色や強さを調整するようにしてもよい。
例えば、照明制御部171は、モーションが行われたタイミングで照明機器155のカラーテーマを変える。このとき、照明制御部171は、モーションの種類や強さに基づいて、カラーテーマを選択するようにしてもよい。
例えば、照明制御部171は、モーションが行われたタイミングで照明機器155の発光パターンを切り替える。このとき、照明制御部171は、モーションの種類や強さに基づいて、発光パターンを選択するようにしてもよい。
例えば、映像制御部172は、モーションが行われたタイミングで映像機器156から出力される映像に対してエフェクトをかける。このとき、映像制御部172は、モーションの種類や強さに基づいて、エフェクトの種類や強さを調整するようにしてもよい。
例えば、映像制御部172は、モーションが行われたタイミングで、映像機器156から出力されるアバターにモーションと関連性のあるアニメーションを割り当てる。例えば、映像制御部172は、アバターにユーザと同じモーションをさせる。
例えば、映像制御部172は、モーションが行われたタイミングで、映像機器156からモーションと関連性のあるパーティクル表現を出力させる。
例えば、映像制御部172は、モーションが行われたタイミングで、映像機器156から出力される映像のカットチェンジを行う。
例えば、音響制御部173は、音響機器157により効果音を鳴動させる。このとき、音響制御部173は、モーションの種類や強さに基づいて効果音の種類や強さを調整するようにしてもよい。
図17に戻り、その後、処理はステップS61に戻り、ステップS61以降の処理が実行される。
以上のようにして、ユーザのパフォーマンス中に、ユーザのモーションリズム、リズム度、モーションBPM、又は、モーションに合わせて効果的な演出を行うことができる。また、例えば、音楽を流さずにユーザがパフォーマンスを行う場合にも、ユーザの動きのみに基づいて、効果的な演出を行うことができる。
<第1の実施の形態の変形例>
以上の説明では、1人のユーザによるパフォーマンスの演出を行う例を示したが、本技術は、複数のユーザによるパフォーマンスの演出を行う場合にも適用できる。
この場合、例えば、各ユーザに対して、図4のウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5、通信部151、及び、センサ同期部152が設けられる。なお、通信部151及びセンサ同期部152は、複数のユーザ間で共有することも可能である。そして、例えば、各ユーザのモーションリズム、リズム度、モーションBPM、又は、モーションに基づいて、上述した方法により演出制御が行われる。
また、モーションリズム認識部161は、モーションリズムを長期的に観測することにより、繰り返し出現するモーションリズムのパターンを認識するようにしてもよい。そして、モーションリズムのパターンを用いて、演出制御が行われるようにしてもよい。
さらに、例えば、モーションリズム認識モデル及びモーション認識モデルに、生の加速度データや角速度データを入力する代わりに、加速度データや角速度データを人体の骨格情報に変換して入力するようにしてもよい。ここで、骨格情報とは、例えば、人体の各関節の位置や姿勢により表される。
また、例えば、機械学習を用いずにモーションリズム認識部161を構築することも可能である。
例えば、モーションリズム認識部161が、加速度データのノルムが所定の閾値を超えた場合に、ユーザがモーションリズムをとっていると認識するようにしてもよい。また、例えば、モーションリズム認識部161が、加速度データのノルムが極小になるタイミングを検出し、そのタイミングでユーザがモーションリズムをとっていると認識するようにしてもよい。加速度データのノルムが極小になるタイミングとして、例えば、ユーザの動きが静止しているタイミングが想定される。
なお、この機械学習を用いない例において、ユーザが複数のウエアラブルセンサ101を装着している場合、例えば、各ウエアラブルセンサ101の加速度データの平均値又は最大値等が用いられる。
また、本技術において、パフォーマンスの演出は、必ずしもパフォーマンスが行われているステージや客席に対して行われるとは限らない。例えば、各観客がAR(Augmented Reality)を用いた眼鏡型のウエアラブルデバイスを介してパフォーマンスを見ている場合、各観客のウエアラブルデバイスの映像や音声を制御することにより演出が行われるようにしてもよい。
<<2.第2の実施の形態>>
次に、図19乃至図23を参照して、本技術の第2の実施の形態について説明する。
<シンク評価システム300の機能の構成例>
図19は、本技術を適用したシンク評価システム300の機能の構成例を示している。なお、図中、図4と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
シンク評価システム300は、複数のユーザの動きのリズムの一致度を示すシンク度を評価するシステムである。換言すれば、シンク評価システム300は、複数のユーザの間の動きのリズムの一致度(同期レベル)を評価するシステムである。
シンク評価システム300は、モーション解析処理部301-1乃至モーション解析処理部301-n、シンク度検出部302、及び、提示機器303を備える。
モーション解析処理部301-1乃至モーション解析処理部301-nは、シンク評価の対象となる各ユーザに対してそれぞれ設けられる。
なお、以下、モーション解析処理部301-1乃至モーション解析処理部301-nを個々に区別する必要がない場合、単にモーション解析処理部301と称する。
各モーション解析処理部301は、それぞれウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5、通信部151、センサ同期部152、及び、モーションリズム認識部161を備える。
モーションリズム認識部161は、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から取得した動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部161は、ユーザのモーションリズムの認識結果を示すデータをシンク度検出部302に供給する。
シンク度検出部302は、ユーザ間のモーションリズムのシンク度を検出する。シンク度検出部302は、検出したシンク度を示すデータを提示機器303に供給する。
提示機器303は、映像、音、光、振動等によりユーザ間のモーションリズムのシンク度の提示を行う。
なお、通信部151、センサ同期部152、及び、モーションリズム認識部161は、必ずしもモーション解析処理部301毎に設ける必要はなく、複数のモーション解析処理部301間で共有するようにしてもよい。
<シンク評価処理>
次に、図20のフローチャートを参照して、シンク評価システム300により実行されるシンク評価処理について説明する。
この処理は、例えば、シンク評価システム300に処理の開始の指令が入力されたとき開始され、処理の終了の指令が入力されたとき終了する。
ステップS101において、各モーション解析処理部301は、各ユーザのモーションリズムを認識する。具体的には、各モーションリズム認識部161は、上述した図10のステップS31と同様の処理により、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。そして、各モーションリズム認識部161は、各ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データをシンク度検出部302に供給する。
ステップS102において、シンク度検出部302は、シンク度を検出する。
ここで、図21乃至図23を参照して、シンク度の検出方法の例について説明する。
まず、図21を参照して、ユーザAとユーザBがモーションリズムをとったタイミングの相関関係に基づいて、2人のユーザ間のシンク度を検出する例について説明する。
例えば、シンク度検出部302は、ユーザAがモーションリズムをとったタイミング、及び、ユーザBがモーションリズムをとったタイミングを古いものから順に時系列に並べる。例えば、下記のRhythm_Aは、ユーザAがモーションリズムをとった時刻を時系列に並べた行列であり、Rhythm_Bは、ユーザBがモーションリズムをとった時刻を時系列に並べた行列である。
Rhythm_A=[0.342, 0.628, 1.391,・・・]
Rhythm_B=[0.322, 0.839, 1.458,・・・]
次に、シンク度検出部302は、Rhythm_Aの各要素とRhythm_Bの各要素のうち、時刻が近いもの同士をペアリングする。これにより、(rhythm_a, rhythm_b)のペアからなる配列Rhythm_Pairが得られる。なお、rhythm_aはRhythm_Aの要素を示し、rhythm_bはRhythm_Bの要素を示している。
図21は、配列Rhythm_Pairを構成する各ペアをグラフにプロットしたものである。横軸は、ユーザAがモーションリズムをとった時刻を示し、縦軸は、ユーザBがモーションリズムをとった時刻を示している。
次に、シンク度検出部302は、配列Rhythm_Pairのrhythm_aとrhythm_bとの間の相関係数を計算する。そして、シンク度検出部302は、計算した相関係数を、ユーザAとユーザBの間のリズムタイミングのシンク度として用いる。
なお、ユーザが3人以上の場合においても、各ユーザ間の相関係数に基づいて、全ユーザ間のシンク度を検出することが可能である。例えば、2人ずつの各ユーザ間の相関係数を計算し、計算した相関係数の平均値を全ユーザ間のシンク度として検出することが可能である。
次に、図22及び図23を参照して、ユーザAとユーザBのリズム度に基づいて、シンク度を検出する例について説明する。
図22は、ユーザAとユーザBのリズム度の例を示すグラフである。横軸は時間を示し、縦軸はリズム度を示している。また、実線のグラフはユーザAのリズム度を示し、点線のグラフはユーザBのリズム度を示している。
そして、シンク度検出部302は、次式(1)により、ユーザAとユーザBのリズム度の相互相関を計算する。
Figure 2023022265000002
なお、式(1)のfはユーザAのリズム度を示す関数を示し、gはユーザBのリズム度を示す関数を示している。また、mはシフト量を示している。
図23は、ユーザAとユーザBのリズム度の相互相関の例を示している。横軸はシフト量mを示し、縦軸は相互相関を示している。
例えば、シンク度検出部302は、ユーザAとユーザBのリズム度の相互相関の最大値を、ユーザAとユーザBのモーションリズムのシンク度として求める。例えば、図23の例では、点線の丸で囲まれた部分の相互相関のピーク値が、ユーザAとユーザBのモーションリズムのシンク度とされる。
また、例えば、シンク度検出部302は、ユーザAとユーザBのリズム度の相互相関が最大となるときのシフト量mを、ユーザAとユーザBの間のモーションリズムのズレとして検出することが可能である。
なお、ユーザが3人以上の場合においても、各ユーザ間の相互相関に基づいて、全ユーザ間のシンク度を検出することが可能である。例えば、2人ずつの各ユーザ間の相互相関を計算し、計算した相互相関の平均値を全ユーザ間のシンク度として検出することが可能である。
シンク度検出部302は、検出したシンク度を示すシンク度データを提示機器303に供給する。
ステップS103において、提示機器303は、シンク度の提示を行う。
なお、シンク度の提示方法には、任意の方法を用いることができる。例えば、提示機器303は、映像や音声により、具体的なシンク度の数値を提示する。また、例えば、提示機器303は、効果音の種類、音量、若しくは、スピード、光の強さ若しくは色、又は、振動の強さ又は速さにより、シンク度を提示する。
その後、処理はステップS101に戻り、ステップS101以降の処理が実行される。
以上のようにして、複数のユーザ間のモーションリズムのシンク度を正確かつ容易に検出することができる。
また、例えば、各ユーザに対してリアルタイムにシンク度を提示することにより、各ユーザがシンク度を高めるように、ダンス等のパフォーマンスを改善することができる。
<第2の実施の形態の変形例>
例えば、各ユーザの部位(例えば、頭、手、足、腰等)毎にモーションリズムを認識し、複数のユーザの部位間のモーションリズムのシンク度を検出するようにしてもよい。
また、例えば、上述した第1の実施の形態において、各ユーザが参加するパフォーマンスの演出制御にシンク度を用いるようにしてもよい。ここで、各ユーザが参加するパフォーマンスには、各ユーザがパフォーマとして参加する場合と、各ユーザが観客として参加する場合がある。
各ユーザがパフォーマとしてパフォーマンスに参加する場合、例えば、各パフォーマのシンク度が所定の閾値を超えた場合、又は、所定の時間内にシンク度が基準値を超えた回数(発火頻度)が所定の閾値を超えた場合、各種の演出が行われる。
一方、各ユーザが観客としてパフォーマンスに参加する場合、例えば、各観客にウエアラブルセンサ101が装着される。そして、例えば、各観客のモーションリズムのシンク度が所定の閾値を超えた場合、又は、所定の時間内にシンク度の発火頻度が所定の閾値を超えた場合、各種の演出が行われる。
また、例えば、各ユーザが参加するパフォーマンスの演出制御に、シンク度の代わりに、或いは、シンク度に加えて、各ユーザのリズム度を用いるようにしてもよい。
各ユーザがパフォーマとしてパフォーマンスに参加する場合、例えば、各パフォーマのリズム度の総和が所定の閾値を超えた場合、又は、所定の時間内に各パフォーマのリズム度の総和が所定の基準値を超えた回数(発火頻度)が所定の閾値を超えた場合、各種の演出が行われる。
一方、各ユーザが観客としてパフォーマンスに参加する場合、例えば、各観客のリズム度の総和が所定の閾値を超えた場合、又は、所定の時間内に各観客のリズム度の発火頻度が所定の閾値を超えた場合、各種の演出が行われる。
なお、観客のシンク度やリズム度に基づいてパフォーマンスの演出を行うことにより、会場の一体感や盛り上がりを演出に反映することができる。その結果、さらに会場の一体感や盛り上がりを高めることができる。
<<3.第3の実施の形態>>
次に、図24乃至図30を参照して、本技術の第3の実施の形態について説明する。
<撮影システム400のハードウエアの構成例>
図24は、本技術を適用した撮影システム400のハードウエアの構成例を示している。なお、図中、図1と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
撮影システム400は、ウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5、計算機401、表示機器402、及び、撮影部403を備える。
各ウエアラブルセンサ101は、動き検出データを含む通信パケットを計算機401に送信する。
計算機401は、動き検出データに基づいて、撮影部403によるユーザの撮影を制御し、撮影の結果得られた画像を受信する。また、計算機401は、撮影されたユーザの画像の表示機器402による表示を制御する。
表示機器402は、例えば、プロジェクタ、モニタ等を備え、計算機401の制御の下に、画像の表示を行う。
撮影部403は、1以上のカメラを備える。撮影部403は、計算機401の制御の下に、ユーザの撮影を行い、撮影の結果得られた画像を計算機401に送信する。
なお、各ウエアラブルセンサ101と計算機401との間の通信には、例えば、任意の方式の低遅延の近距離無線通信が採用される。近距離無線通信を採用することにより、ウエアラブルセンサ101の消費電力を削減するとともに、ウエアラブルセンサ101を小型化することが可能になる。
計算機401と撮影部403との間の通信には、例えば、任意の方式の無線通信が採用される。
なお、例えば、計算機401と表示機器402を1つのデバイスにより構成したり、計算機401と撮影部403を1つのデバイスにより構成したりしてもよい。また、例えば、計算機401、表示機器402、及び、撮影部403を1つのデバイスにより構成してもよい。
<撮影システム400の機能の構成例>
図25は、撮影システム400の機能の構成例を示している。
なお、図中、図19及び図24と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
撮影システム400は、モーション解析処理部301、表示機器402、撮影部403、撮影制御部451、記憶部452、及び、表示制御部453を備える。モーション解析処理部301は、ウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5、通信部151、センサ同期部152、及び、モーションリズム認識部161を備える。
モーションリズム認識部161は、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から取得した動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部161は、ユーザのモーションリズムの認識結果を示すデータを撮影制御部451に供給するとともに、記憶部452に記憶させる。
撮影制御部451は、撮影部403の撮影の制御を行う。例えば、撮影制御部451は、ユーザのモーションリズムの認識結果に基づいて、撮影部403の撮影タイミングを制御する。
撮影部403は、撮影の結果得られた画像を記憶部452に記憶させる。
表示制御部453は、ユーザのモーションリズムの認識結果に基づいて、記憶部452に記憶されている画像の表示機器402による表示を制御する。
<撮影システム400の処理>
次に、図26乃至図30を参照して、撮影システム400の処理について説明する。
<撮影制御処理>
まず、図26のフローチャートを参照して、撮影システム400により実行される撮影制御処理について説明する。
この処理は、例えば、撮影システム400に撮影の開始の指令が入力されたとき開始される。
ステップS201において、モーションリズム認識部161は、モーションリズムの認識及び記録を開始する。具体的には、モーションリズム認識部161は、上述した図10のステップS31と同様の処理により、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を開始する。また、モーションリズム認識部161は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを記憶部452に供給し、記憶させる処理を開始する。
ステップS202において、図10のステップS32の処理と同様に、モーションリズムがとられたか否かが判定される。モーションリズムがとられたと判定された場合、処理はステップS203に進む。
ステップS203において、撮影システム400は、撮影を行う。具体的には、モーションリズム認識部161は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを撮影制御部451に供給する。
撮影部403は、撮影制御部451の制御の下に、ユーザがモーションリズムをとったタイミングに同期して、ユーザの撮影を行い、撮影の結果得られた画像を記憶部452に記憶させる。
ステップS204において、撮影システム400は、撮影を終了するか否かを判定する。撮影を終了しないと判定された場合、処理はステップS202に戻る。
その後、ステップS204において、撮影を終了すると判定されるまで、ステップS202乃至ステップS204の処理が繰り返し実行される。
一方、ステップS204において、撮影システム400は、例えば、撮影の終了の指令が入力された場合、撮影を終了すると判定し、撮影制御処理は終了する。
<表示制御処理>
次に、図27のフローチャートを参照して、撮影システム400により実行される表示制御処理について説明する。
この処理は、例えば、撮影システム400に画像の表示の指令が入力されたとき開始される。
ステップS231において、表示制御部453は、リズムタイミングに基づいて、表示レイアウトを設定する。
なお、表示レイアウトの具体例については、図28乃至図30を参照して後述する。
ステップS232において、表示制御部453は、リズム度に基づいて画像を加工するか否かを判定する。例えば、表示制御部453は、リズム度に基づいて画像を加工する設定がオンにされている場合、リズム度に基づいて画像を加工すると判定し、処理はステップS233に進む。
ステップS233において、表示制御部453は、各画像のエフェクト強度を計算する。具体的には、表示制御部453は、記憶部452に記憶されているリズム度データに基づいて、各画像の撮影時のユーザのリズム度を検出し、検出したリズム度に基づいて、各画像に適用するエフェクトの強度を計算する。例えば、エフェクト強度は、リズム度に所定の定数を乗じた値に設定される。
ステップS234において、表示制御部453は、計算したエフェクト強度に基づいて、記憶部452に記憶されている各画像にエフェクトをかける。
その後、処理はステップS235に進む。
一方、ステップS232において、例えば、表示制御部453は、リズム度に基づいて画像を加工する設定がオフにされている場合、リズム度に基づいて画像を加工しないと判定し、ステップS233及びステップS234の処理はスキップされ、処理はステップS235に進む。
ステップS235において、表示機器402は、表示制御部453の制御の下に、画像を表示する。
その後、表示制御処理は終了する。
ここで、図28乃至図30を参照して、この処理で表示機器402に表示される表示画面の例について説明する。
図28は、リズム度に基づいて画像を加工しない場合の表示画面の例を示している。
図28の表示画面は、画面の上方の画像表示部501と、画面の下方の操作部502に大きく分かれる。
画像表示部501には、ユーザがモーションリズムをとったときの画像(以下、リズムタイミング画像と称する)が、時系列に並べて表示される。この例では、リズムタイミング画像P1乃至リズムタイミング画像P4が、左から右に撮影時刻順に並べて表示されている。また、各リズムタイミング画像の間隔は、実際にユーザがモーションリズムをとった時刻の間隔に基づいて調整される。
例えば、リズムタイミング画像P1乃至リズムタイミング画像P4のうちいずれかが選択された場合、選択されたリズムタイミング画像が拡大され鮮明に表示される。このとき、例えば、選択されたリズムタイミング画像を保存したり、共有したりできるようにしてもよい。
操作部502には、シークバー511、スライダ512、再生ボタン513、早戻しボタン514、及び、早送りボタン515が表示されている。
スライダ512の幅は、画像表示部501に表示されるリズムタイミング画像の時間的な範囲の目安を示している。スライダ512の中央の円は、画像表示部501の略中央に表示されるリズムタイミング画像の撮影時刻の目安を示している。そして、スライダ512が、時間軸を示すシークバー511上を左又は右にスライドされることにより、画像表示部501に表示されるリズムタイミング画像の時間的な範囲が調整される。スライダ512が左にスライドされると、画像表示部501に表示されるリズムタイミング画像の時間的な範囲が戻る。一方、スライダ512が右にスライドされると、画像表示部501に表示されるリズムタイミング画像の時間的な範囲が進む。
再生ボタン513が押下されると、リズムタイミング画像の自動再生が開始される。例えば、撮影時刻がスライダ512の中央の円の部分に対応する時刻付近のリズムタイミング画像のみが表示画面内に大きく表示される。そして、表示画面内に表示されるリズムタイミング画像が、所定の間隔で時系列に従って1コマずつ自動的に進められる。このとき、早戻しボタン514が押下されると、画像表示部501に表示されるリズムタイミング画像が早戻しされる。一方、早送りボタン515が押下されると、画像表示部501に表示されるリズムタイミング画像が早送りされる。
なお、再生ボタン513が押下された場合、図28のレイアウトのまま、画像表示部501に表示されるリズムタイミング画像を左方向(時間が進む方向)にスクロールさせるようにしてもよい。
また、例えば、表示画面に対してピンチ操作が行われることにより、表示されている画像が拡大又は縮小されるようにしてもよい。
図29は、リズム度に基づいて画像を加工する場合の表示画面の例を示している。なお、図中、図28と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
図29の表示画面は、図28の表示画面と同様に、画像表示部501と操作部502に分かれる。操作部502は、図28の表示画面の操作部502と同様の構成である。一方、画像表示部501に表示されるリズムタイミング画像にエフェクトがかけられている点が異なっている。
具体的には、この例では、リズムタイミング画像P11乃至リズムタイミング画像P14が画像表示部501に表示されている。
例えば、リズムタイミング画像P12のように、リズム度に基づいて画像サイズが変化する。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、画像サイズが大きくなり、リズム度が小さいほど、画像サイズが小さくなる。
例えば、リズムタイミング画像P13のように、リズム度に基づいて、画像が振り子のように左右にスイングする。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、画像の振れ幅が大きくなり、リズム度が小さいほど、画像の振れ幅が小さくなる。
例えば、リズムタイミング画像P14のように、リズム度に基づいて、画像の周囲にパーティクルが表示される。例えば、リズムタイミング画像の撮影時のユーザのリズム度が大きいほど、パーティクルの数が多くなったり、パーティクルが明るくなったりする。一方、リズムタイミング画像の撮影時のユーザのリズム度が小さいほど、パーティクルの数が少なくなったり、パーティクルが暗くなったりする。
なお、以上の説明では、ユーザがモーションリズムをとったときに撮影する例を示したが、例えば、ユーザを常時撮影し、後でリズムタイミング及びリズム度に基づいて、撮影した画像(動画)を加工して表示するようにしてもよい。
この場合、例えば、図28又は図29の表示画面において、リズムタイミング画像P1乃至リズムタイミング画像P14のいずれかのリズムタイミング画像が選択された場合、選択されたリズムタイミング画像を基準とする所定の時間内の動画が再生されるようにしてもよい。また、例えば、各リズムタイミング画像付近の動画を時系列に連続して再生(ダイジェスト再生)できるようにしてもよい。
また、例えば、図30の表示画面のように、ピックアップ表示と動画表示が切り替えられるようにしてよい。
具体的には、図30の表示画面の上端には、ピックアップ表示タブ531及び動画表示タブ532が表示されている。この例では、動画表示タブ532が選択されている場合の例が示されている。なお、ピックアップ表示タブ531が選択されている場合、例えば、上述した図28又は図29の表示画面が、ピックアップ表示タブ531及び動画表示タブ532の下方に表示される。
動画表示タブ532が選択されている場合、ピックアップ表示タブ531及び動画表示タブ532の下方に、撮影したユーザの動画が表示される。また、動画に重畳して、操作部533が表示される。
操作部533には、シークバー541、スライダ542、モーションボタン543-1乃至モーションボタン543-3、再生ボタン544、早戻しボタン545、早送りボタン546、早戻しボタン547、早送りボタン548、早戻しボタン549、及び、早送りボタン550が表示されている。
シークバー541及びスライダ542は、図28及び図29のシークバー511及びスライダ512と同様のものである。スライダ542がシークバー541上を左にスライドされると、動画の時間軸方向の再生位置が戻る。一方、スライダ542がシークバー541上を右にスライドされると、動画の時間軸方向の再生位置が進む。
モーションボタン543-1乃至モーションボタン543-3は、検出されたモーションの時間的な位置を示している。なお、実際には、検出されたモーションの種類がモーションボタン543-1乃至モーションボタン543-3内に表示される。そして、モーションボタン543-1乃至モーションボタン543-3のうちのいずれかが選択されると、選択されたモーションの部分から動画の再生が開始される。
なお、例えば、選択したモーションの部分の動画をリピート再生する機能を設けるようにしてもよい。
再生ボタン544が押下されると、動画の再生が開始される。
早戻しボタン545が押下されると、動画の再生位置が1つ前のリズムタイミングに戻される。一方、早送りボタン546が押下されると、動画の再生位置が1つ後のリズムタイミングに進められる。
早戻しボタン547が押下されると、動画の再生位置が1つ前のモーションの先頭に戻される。一方、早送りボタン548が押下されると、動画の再生位置が1つ後のモーションの先頭に進められる。
早戻しボタン549が押下されると、動画の再生位置が1つ前のチャプタの先頭に戻される。一方、早送りボタン550が押下されると、動画の再生位置が1つ後のチャプタの先頭に進められる。
なお、チャプタは、例えば、ユーザのリズムパターンが略一定の区間、又は、ユーザのモーションBPMが略一定の区間毎に区切られる。
以上のようにして、ユーザがモーションリズムをとったタイミングの画像を簡単に撮影し、表示することができる。
また、ユーザがモーションリズムをとるときは、例えば、静止したり、ポーズを決めていたりすることが多い。従って、ユーザがモーションリズムをとったときに撮影することにより、ユーザが動いていても、ユーザの見栄えのよい画像をぶれずに撮影することができる。
<第3の実施の形態の変形例>
例えば、第1の実施の形態に、第3の実施の形態を適用することにより、ユーザがパフォーマンスを行っている最中に、ユーザがモーションリズムをとるごとにユーザを撮影することができる。そして、例えば、撮影した一連の画像をアルバムにまとめて、ユーザに配信することができる。
<<4.第4の実施の形態>>
次に、図31乃至図36を参照して、本技術の第4の実施の形態について説明する。
<撮影システム600の機能の構成例>
図31は、本技術を適用した撮影システム600の機能の構成例を示している。なお、図中、図19及び図25と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
撮影システム600は、モーション解析処理部301-1乃至モーション解析処理部301-n、シンク度検出部302、表示機器402、撮影部403、記憶部452、シンク度ピーク検出部601、撮影制御部602、及び、表示制御部603を備える。
各モーション解析処理部301のモーションリズム認識部161は、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から取得した動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。モーションリズム認識部161は、ユーザのモーションリズムの認識結果を示すデータをシンク度検出部302及び撮影制御部602に供給する。
シンク度ピーク検出部601は、シンク度検出部302により検出されるユーザ間のモーションのシンク度のピークを検出する。シンク度ピーク検出部601は、シンク度のピークの検出結果を示すデータを撮影制御部602に供給する。また、シンク度ピーク検出部601は、シンク度及びシンク度のピークの検出結果を示すデータを記憶部452に記憶させる。
撮影制御部602は、撮影部403の撮影の制御を行う。例えば、撮影制御部602は、各モーションリズム認識部161により認識された各ユーザのモーションリズムの認識結果に基づいて、撮影部403の撮影タイミングを制御する。また、例えば、撮影制御部602は、シンク度ピーク検出部601により検出されたユーザ間のモーションリズムのシンク度のピークに基づいて、撮影部403の撮影タイミングを制御する。
表示制御部603は、各ユーザのモーションリズムの認識結果、及び、ユーザ間のモーションリズムのシンク度のピークに基づいて、記憶部452に記憶されている画像の表示機器402による表示を制御する。
<撮影システム600の処理>
次に、図32乃至図36を参照して、撮影システム600の処理について説明する。
<撮影制御処理>
まず、図32のフローチャートを参照して、撮影システム600により実行される撮影制御処理について説明する。
この処理は、例えば、撮影システム600に撮影の開始の指令が入力されたとき開始される。
ステップS301において、各モーション解析処理部301のモーションリズム認識部161は、モーションリズムの認識及び記録を開始する。具体的には、各モーションリズム認識部161は、上述した図10のステップS31と同様の処理により、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を開始する。また、各モーションリズム認識部161は、各ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを記憶部452に供給し、記憶させる処理を開始する。
ステップS302において、撮影システム600は、シンク度の検出及び記録を開始する。具体的には、シンク度検出部302は、図20のステップS102と同様の処理により、各ユーザ間のモーションリズムのシンク度を検出する処理を開始する。また、シンク度検出部302は、検出したシンク度を示すシンク度データをシンク度ピーク検出部601に供給する処理を開始する。
シンク度ピーク検出部601は、シンク度のピークの検出処理を開始する。また、シンク度ピーク検出部601は、シンク度データにシンク度のピークの検出結果を付加して記憶部452に記憶させる処理を開始する。
ステップS303において、シンク度ピーク検出部601は、シンク度のピークを検出したか否かを判定する。シンク度のピークを検出していないと判定された場合、処理はステップS304に進む。
ステップS304において、各モーションリズム認識部161は、モーションリズムがとられたか否かを判定する。いずれか1つ以上のモーションリズム認識部161が、モーションリズムがとられたと判定した場合、処理はステップS305に進む。
一方、ステップS303において、シンク度のピークを検出したと判定された場合、ステップS304の処理はスキップされ、処理はステップS305に進む。
ステップS305において、撮影システム600は、撮影を行う。
具体的には、各モーションリズム認識部161は、モーションリズムがとられたことを検出した場合、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータを撮影制御部602に供給する。また、シンク度ピーク検出部601は、シンク度のピークを検出した場合、シンク度のピークを検出したことを示すシンク度ピーク検出データを撮影制御部602に通知する。
撮影部403は、撮影制御部602の制御の下に、1以上のユーザがモーションリズムをとったタイミング、又は、各ユーザ間のモーションリズムのシンク度がピークになったタイミングに同期して、ユーザの撮影を行い、撮影の結果得られた画像を記憶部452に記憶させる。
なお、撮影部403は、全てのユーザを一度に撮影するようにしてもよいし、各ユーザを個別に撮影するようにしてもよい。後者の場合、例えば、モーションリズムをとったユーザのみ撮影するようにしてもよいし、モーションリズムをとっていないユーザも撮影するようにしてもよい。また、後者の場合、ユーザを1人ずつ撮影するようにしてもよいし、ユーザを1人以上の複数のグループに分けて、グループ毎に撮影するようにしてもよい。
その後、処理はステップS306に進む。
一方、ステップS304において、いずれのモーションリズム認識部161も、モーションリズムがとられていないと判定した場合、ステップS305の処理はスキップされ、処理はステップS306に進む。すなわち、シンク度のピークが検出されておらず、かつ、いずれのユーザもモーションリズムをとっていない場合、撮影は行われない。
ステップS306において、図26のステップS204の処理と同様に、撮影を終了するか否かが判定される。撮影を終了しないと判定された場合、処理はステップS303に戻る。
その後、ステップS306において、撮影を終了すると判定されるまで、ステップS303乃至ステップS306の処理が繰り返し実行される。
一方、ステップS306において、撮影を終了すると判定された場合、撮影制御処理は終了する。
<表示制御処理>
次に、図33のフローチャートを参照して、撮影システム600により実行される表示制御処理について説明する。
この処理は、例えば、撮影システム600に画像の表示の指令が入力されたとき開始される。
ステップS331において、表示制御部603は、シンク度に基づいて表示レイアウトを設定するか否かを判定する。例えば、表示制御部603は、シンク度に基づいて表示レイアウトを設定する設定がオンにされている場合、シンク度に基づいて表示レイアウトを設定すると判定し、処理はステップS332に進む。
ステップS332において、表示制御部603は、シンク度及びリズムタイミングに基づいて、表示レイアウトを設定する。
なお、表示レイアウトの具体例については、図35及び図36を参照して後述する。
その後、処理はステップS334に進む。
一方、ステップS331において、例えば、表示制御部603は、シンク度に基づいて表示レイアウトを設定する設定がオフにされている場合、シンク度に基づいて表示レイアウトを設定しないと判定し、処理はステップS333に進む。
ステップS333において、表示制御部603は、リズムタイミングに基づいて、表示レイアウトを設定する。すなわち、ステップS332の処理と異なり、表示レイアウトの設定にリズムタイミングだけが用いられ、シンク度は用いられない。
なお、表示レイアウトの具体例については、図34を参照して後述する。
その後、処理はステップS334に進む。
ステップS334乃至ステップS336において、図27のステップS232乃至ステップS234と同様の処理が実行される。
ステップS337において、表示機器402は、表示制御部603の制御の下に、画像を表示する。
その後、表示制御処理は終了する。
ここで、図34及び図36を参照して、この処理で表示機器402に表示される表示画面の例について説明する。なお、図中、図28及び図29と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
図34は、シンク度を用いずに、リズムタイミングのみに基づいて画像を表示する場合の例を示している。
図34の表示画面は、図28及び図29の表示画面と同様に、画面の上方の画像表示部501と、画面の下方の操作部502に大きく分かれている。操作部502の構成は、図28及び図29の表示画面と同様である。
一方、画像表示部501には、ユーザA及びユーザBの2人のユーザのリズムタイミング画像が上下に並べて表示されている。各ユーザのリズムタイミング画像の表示レイアウトは、図28の表示画面と同様である。すなわち、ユーザAのリズムタイミング画像Pa1乃至リズムタイミング画像Pa4が、時系列に並べて表示されている。また、ユーザBのリズムタイミング画像Pb1乃至リズムタイミング画像Pb3が、時系列に並べて表示されている。
上下に並んでいるリズムタイミング画像Pa1とリズムタイミング画像Pb1、及び、リズムタイミング画像Pa3とリズムタイミング画像Pb2は、ほぼ同時刻に撮影された画像である。これにより、ユーザAとユーザBが、モーションリズムをとったタイミングがほぼ一致していたことが分かる。
一方、リズムタイミング画像Pa2は、ユーザBがモーションリズムをとっていないときにユーザAがモーションリズムをとったタイミングで撮影された画像である。
また、リズムタイミング画像Pa4とリズムタイミング画像Pb3の時間方向の位置が微妙にずれている。これにより、ユーザAとユーザBがモーションリズムをとったタイミングにズレがあったことが分かる。
なお、画像Pa1乃至画像Pb3には、各ユーザを個別に撮影した画像を用いてもよいし、ユーザA及びユーザBを一緒に撮影した画像から各ユーザを抽出した画像を用いてもよい。
図34の例では、各ユーザ間の動きのリズム(モーションリズム)を容易に比較することができる。従って、例えば、複数のユーザのうちの1人を手本となるユーザとすることにより、他のユーザは手本となる動きと自分の動きとを容易に比較することができ、特に、動きのリズムの違いを正確に認識することができる。その結果、各ユーザは、例えば、どうすれば自分の動きを手本に合わすことができるかを容易に認識し、自分の動きを改善することができる。
図35は、シンク度及びリズムタイミングに基づいて画像を表示する場合の例を示している。
図35の表示画面は、図34の表示画面と同様に、画面の上方の画像表示部501と、画面の下方の操作部502に大きく分かれている。操作部502の構成は、図34の表示画面と同様である。
一方、画像表示部501には、ユーザAとユーザBの動きのシンク度がピークになったときのユーザA及びユーザBのリズムタイミング画像のみが抽出されて表示されている。
すなわち、ユーザAのリズムタイミング画像Pa11乃至リズムタイミング画像Pa14が、時系列に並べて表示されている。また、ユーザBのリズムタイミング画像Pb11乃至リズムタイミング画像Pb14が、時系列に並べて表示されている。
上下に並んでいるリズムタイミング画像Pa11とリズムタイミング画像Pb11、リズムタイミング画像Pa12とリズムタイミング画像Pb12、リズムタイミング画像Pa13とリズムタイミング画像Pb13、及び、リズムタイミング画像Pa14とリズムタイミング画像Pb14の各ペアは、それぞれシンク度がピークとなったときに同じタイミングで撮影された画像である。
なお、画像Pa11乃至画像Pb14には、各ユーザを個別に撮影した画像を用いてもよいし、ユーザA及びユーザBを一緒に撮影した画像から各ユーザを抽出した画像を用いてもよい。
図36は、シンク度及びリズムタイミングに基づいて画像を表示する場合の他の例を示している。
図36の表示画面は、図34及び図35の表示画面と同様に、画面の上方の画像表示部501と、画面の下方の操作部502に大きく分かれている。操作部502の構成は、図34及び図35の表示画面と同様である。
一方、画像表示部501には、図35の表示画面と同様に、ユーザA乃至ユーザCの動きのシンク度がピークになったときのユーザA乃至ユーザCのリズムタイミング画像のみが抽出されて表示されている。
ただし、この表示画面では、図35の表示画面と異なり、シンク度がピークになったときに撮影されたユーザA乃至ユーザCの画像が1つにまとめて表示されている。すなわち、画像P21及び画像P22は、それぞれシンク度がピークになったときに撮影されたユーザA乃至ユーザCの画像が1つの画像内に含まれている。
なお、画像P21及び画像P22には、ユーザA乃至ユーザCを一緒に撮影した画像を用いてもよいし、各ユーザをシンク度がピークになったときに個別に撮影した画像を合成した画像を用いてもよい。
図35及び図36の例では、各ユーザ間のシンク度が高い瞬間、例えば、各ユーザの動きがぴったり一致して決まっている瞬間の画像を簡単に抽出して表示することができる。
なお、図34乃至図36の表示画面において、図29の表示画面と同様に、リズム度に基づいて各画像にエフェクトをかけるようにしてもよい。
また、例えば、各ユーザを常時撮影し、後でリズムタイミング、リズム度、及び、シンク度に基づいて、撮影した画像(動画)を加工して表示するようにしてもよい。
<<5.第5の実施の形態>>
次に、図37及び図38を参照して、本技術の第5の実施の形態について説明する。
<楽曲推薦システム700の機能の構成例>
図37は、本技術を適用した楽曲推薦システム700の機能の構成例を示している。なお、図中、図4と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
楽曲推薦システム700は、モーション解析処理部701、楽曲DB(データベース)702、楽曲解析部703、楽曲リズムDB(データベース)704、比較部705、及び、推薦部706を備える。
モーション解析処理部701は、ウエアラブルセンサ101-1乃至ウエアラブルセンサ101-5、通信部151、センサ同期部152、モーションリズム認識部161、及び、モーションBPM認識部162を備える。
モーションリズム認識部161は、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101供給される動き検出データに基づいて、ユーザのモーションリズムの認識処理を行う。モーションリズム認識部161は、ユーザのモーションリズムの認識結果を示すデータを比較部705に供給する。
モーションBPM認識部162は、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101供給される動き検出データに基づいてユーザのモーションBPMの認識処理を行う。モーションBPM認識部162は、ユーザのモーションBPMの認識結果を示すデータを比較部705に供給する。
楽曲DB702には、各楽曲の再生に用いる楽曲データが登録されている。
楽曲解析部703は、楽曲DB702に登録されている楽曲データの解析処理を行う。楽曲解析部703は、ビート検出部711、音源分離部712、及び、楽器別リズム認識部713を備える。
ビート検出部711は、楽曲DB702に登録されている各楽曲データに基づいて、各楽曲のビートを検出する。ビート検出部711は、検出した各楽曲のビートを示すデータを楽曲リズムDB704に登録する。
音源分離部712は、楽曲DB702に登録されている各楽曲データを音源毎(すなわち、楽器毎)に分離し、分離後の楽器毎の音響データを楽器別リズム認識部713に供給する。
楽器別リズム認識部713は、各楽曲の楽器毎の音響データに基づいて、各楽曲の楽器毎のリズムの認識処理を行う。例えば、楽器別リズム認識部713は、各楽器の音量等に基づいて、各楽器のリズムがとられたタイミング、及び、各楽器のリズムの強さを示すリズム度を認識する。楽器別リズム認識部713は、認識した各楽曲の楽器毎のリズム及びリズム度を示すデータを楽曲リズムDB704に登録する。
楽曲リズムDB704は、各楽曲のビート、並びに、楽器毎のリズム及びリズム度を示すデータが登録されている。
比較部705は、ユーザの動きのリズムと楽曲リズムDB704に登録されている各楽曲のリズムとを比較し、比較結果を示すデータを推薦部706に供給する。
推薦部706は、ユーザの動きのリズムと各楽曲のリズムとを比較した結果に基づいて、ユーザに推薦する楽曲を選択し、推薦する楽曲を示すデータを出力する。
<楽曲推薦処理>
次に、図38のフローチャートを参照して、楽曲推薦システム700により実行される楽曲推薦処理について説明する。
ステップS401において、モーション解析処理部701は、ユーザのモーションリズム及びモーションBPMを認識する。
具体的には、モーションリズム認識部161は、上述した図10のステップS31と同様の処理により、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101から供給される動き検出データに基づいて、各ユーザのモーションリズムの認識処理を行う。そして、モーションリズム認識部161は、ユーザがモーションリズムをとったタイミングを示すリズムタイミングデータ及びリズム度を示すリズム度データを比較部705に供給する。
モーションBPM認識部162は、上述した図10のステップS31と同様の処理により、通信部151及びセンサ同期部152を介して各ウエアラブルセンサ101供給される動き検出データに基づいてユーザのモーションBPMの認識処理を行う。モーションBPM認識部162は、検出したモーションBPMを示すモーションBPMデータを比較部705に供給する。
ステップS402において、比較部705は、ユーザの動きに合う楽曲を検索する。
例えば、比較部705は、楽曲リズムDBに登録されている楽曲の中から、ユーザのモーションBPMとの差が所定の範囲内のBPMを持つ楽曲を抽出する。
次に、比較部705は、抽出した楽曲の各楽器のリズムとユーザのモーションリズムとのマッチング度を検出する。なお、各楽器のリズムとモーションリズムとのマッチング度は、上述したユーザ間のモーションリズムのシンク度と同様の計算方法により検出することが可能である。例えば、各楽器のリズムをとったタイミングとユーザがモーションリズムをとったタイミングとの相関係数をマッチング度とすることができる。また、例えば、各楽器のリズム度とユーザのリズム度との相互相関をマッチング度とすることができる。
比較部705は、抽出した各楽曲のマッチング度を示すデータを推薦部706に供給する。
ステップS403において、推薦部706は、楽曲を推薦する。
具体的には、推薦部706は、各楽曲のマッチング度に基づいて、ユーザの動きに合う楽曲を抽出する。例えば、推薦部706は、少なくとも1つの楽器のマッチング度が所定の閾値以上である楽曲を抽出する。或いは、例えば、推薦部706は、楽曲毎にマッチング度の最大値を求め、マッチング度の最大値が上位の所定の数の楽曲を抽出する。また、例えば、推薦部706は、楽曲毎に全ての楽器のマッチング度の平均値を計算し、マッチング度の平均値が所定の閾値以上である楽曲を抽出する。或いは、例えば、推薦部706は、マッチング度の平均値が上位の所定の数の楽曲を抽出する。
そして、推薦部706は、抽出した楽曲を示すデータを後段の装置に出力する。
後段の装置は、例えば、推薦された楽曲に関する情報を提示したり、推薦された楽曲を再生したりする。
その後、楽曲推薦処理は終了する。
以上のようにして、ユーザの動きに合う楽曲を適切に推薦することができる。例えば、ユーザのモーションリズムと一致又は類似するリズムを持つ楽曲を推薦することができる。これにより、例えば、ユーザがBGMなしでダンスを始めた場合、そのダンスに合う楽曲を検索し、BGMとして流すことができる。
<第5の実施の形態の変形例>
以上の説明では、ユーザのモーションBPMと一致又は類似するBPMをもつ楽曲の中から推薦する楽曲を選択する例を示したが、BPMを用いずに、楽器毎のリズムだけを用いて、推薦する楽曲を選択するようにしてもよい。
また、例えば、各楽曲のBPMをユーザのモーションBPMに合わせた後、ユーザのモーションリズムと楽器毎のリズムとを比較した結果に基づいて、推薦する楽曲を選択するようにしてもよい。この場合、例えば、推薦する楽曲のBPMをユーザのモーションBPMに合わせた状態で、楽曲が再生される。
<<6.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
上述した各装置やシステムの機能の分担はその一例であり、適宜変更することが可能である。
例えば、モーションリズム認識部161、モーションBPM認識部162、及び、モーション認識部163の全部又は一部を、ウエアラブルセンサ101に設けるようにしてもよい。
また、以上の説明では、人のモーション解析を行う場合に本技術を適用する例を示したが、人以外のオブジェクトのモーション解析を行う場合にも本技術を適用することが可能である。対象となるオブジェクトは、動物等の生物、又は、ロボット等の無生物のいずれであってもよい。また、認識対象が無生物である場合、ロボット等のように自律的或いはユーザ操作により動く無生物、又は、海の浮き等の波や風等の外部からの力により動く無生物のいずれであってもよい。
<<7.その他>>
<コンピュータの構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図39は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ1000において、CPU(Central Processing Unit)1001,ROM(Read Only Memory)1002,RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及びドライブ1010が接続されている。
入力部1006は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体1011を駆動する。
以上のように構成されるコンピュータ1000では、CPU1001が、例えば、記録部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ1000では、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
少なくともユーザの体幹上の1カ所を含む1以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識するモーションリズム認識部を
備える情報処理装置。
(2)
前記モーションリズムは、前記ユーザの動きのアクセントにより表される
前記(1)に記載の情報処理装置。
(3)
前記動きのアクセントは、前記ユーザの動きの向き、スピード、及び、パターンの変化により表される
前記(2)に記載の情報処理装置。
(4)
前記モーションリズムに基づいて、前記ユーザのパフォーマンスの演出を制御する演出制御部を
さらに備える前記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションBPMを認識するモーションBPM認識部を
さらに備え、
前記演出制御部は、さらに前記モーションBPMに基づいて、前記演出を制御する
前記(4)に記載の情報処理装置。
(6)
前記検出データに基づいて、前記ユーザの行動を構成する動きの単位であるモーションを認識するモーション認識部を
さらに備え、
前記演出制御部は、さらに認識された前記モーションに基づいて、前記演出を制御する
前記(4)又は(5)に記載の情報処理装置。
(7)
前記モーションリズム認識部は、複数のユーザの前記モーションリズムを認識し、
各前記ユーザ間の前記モーションリズムの一致度を示すシンク度を検出するシンク度検出部を
さらに備える前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記シンク度に基づいて、前記複数のユーザが参加するパフォーマンスの演出を制御する演出制御部を
さらに備える前記(7)に記載の情報処理装置。
(9)
前記モーションリズム認識部は、各前記ユーザの前記モーションリズムの強さを示すリズム度を検出し、
前記シンク度検出部は、各前記ユーザのリズム度に基づいて、前記シンク度を検出する
前記(7)又は(8)に記載の情報処理装置。
(10)
前記シンク度に基づいて、各前記ユーザの撮影を制御する撮影制御部と、
前記シンク度に基づいて、各前記ユーザの画像の表示を制御する表示制御部と
のうち少なくとも1つをさらに備える前記(7)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記モーションリズムに基づいて、前記ユーザの撮影を制御する撮影制御部と、
前記モーションリズムに基づいて、前記ユーザの画像の表示を制御する表示制御部と
のうち少なくとも1つをさらに備える前記(1)乃至(9)のいずれかに記載の情報処理装置。
(12)
前記モーションリズム認識部は、前記モーションリズムの強さを示すリズム度を検出し、
前記表示制御部は、さらに前記リズム度に基づいて、前記ユーザの画像の表示を制御する
前記(11)に記載の情報処理装置。
(13)
前記モーションリズムと楽曲のリズムとを比較した結果に基づいて、推薦する楽曲を選択する推薦部を
さらに備える前記(1)乃至(4)及び(7)乃至(12)のいずれかに記載の情報処理装置。
(14)
前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションBPMを認識するモーションBPM認識部を
さらに備え、
前記推薦部は、さらに前記モーションBPMと楽曲のBPMとを比較した結果に基づいて、推薦する楽曲を選択する
前記(13)に記載の情報処理装置。
(15)
前記モーションリズム認識部は、前記モーションリズムの強さを示すリズム度を検出する
前記(1)乃至(8)及び(10)乃至(14)のいずれかに記載の情報処理装置。
(16)
前記モーションリズム認識部は、複数のユーザの前記リズム度を検出し、
前記複数のユーザの前記リズム度に基づいて、前記複数のユーザが参加するパフォーマンスの演出を制御する演出制御部を
さらに備える前記(15)に記載の情報処理装置。
(17)
前記検出データに基づいて、前記ユーザの動きの基本周波数であるモーションBPMを認識するモーションBPM認識部を
さらに備える前記(1)乃至(4)、(7)乃至(13)、(15)及び(16)のいずれかに記載の情報処理装置。
(18)
前記検出位置は、前記ユーザの両手及び両足のうちの少なくとも1カ所をさらに含む
前記(1)乃至(17)のいずれかに記載の情報処理装置。
(19)
情報処理装置が、
少なくともユーザの体幹上の1カ所を含む1以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する
情報処理方法。
(20)
少なくともユーザの体幹上の1カ所を含む1以上の検出位置においてセンサ装置により検出された前記検出位置の動きを示す検出データに基づいて、前記ユーザの動きのリズムを示すモーションリズムを認識する
処理をコンピュータに実行させるためのプログラム。
100 演出システム, 101-1乃至101-6 ウエアラブルセンサ, 102 解析用計算機, 103 制御用計算機, 104 演出機器, 151 通信部, 153 モーション解析部, 154 演出制御部, 155 照明機器, 156 映像機器, 157 音響機器, 161 モーションリズム認識部, 162 モーションBPM認識部, 163 モーション認識部, 171 照明制御部, 172 映像制御部, 173 音響制御部, 300 シンク評価システム, 301-1乃至301-n モーション解析処理部, 302 シンク度検出部, 303 提示機器, 400 撮影システム, 401 計算機, 402 表示機器, 403 撮影部, 451 撮影制御部, 453 表示制御部, 600 撮影システム, 601 シンク度ピーク検出部, 602 撮影制御部, 603 表示制御部, 700 楽曲推薦システム, 701 モーション解析処理部, 703 楽曲解析部, 704 比較部, 705 推薦部, 711 ビート検出部, 712 音源分離部, 713 楽器別リズム認識部

Claims (17)

  1. コンピュータを、
    ユーザの少なくとも1以上の検出位置に装着されたセンサ装置により検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析するモーション解析部と、
    前記モーション解析部により得られるモーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する表示制御部と
    として機能させるためのプログラム。
  2. 前記モーションは、前記ユーザの全身の動き又は前記ユーザの体の一部の動きである
    請求項1に記載のプログラム。
  3. 前記モーション解析部は、ディープニューラルネットワークを用いた学習によって得られる認識モデルを用いて、前記ユーザのモーションを認識する
    請求項1に記載のプログラム。
  4. 前記モーション解析部は、前記認識モデルを用いて、認識結果の信頼度も出力する
    請求項3に記載のプログラム。
  5. 前記モーション解析部は、前記モーションの、リズムの強さ、リズムのタイミング、及び、リズムの変化のうち少なくとも1つを認識する
    請求項1に記載のプログラム。
  6. 前記表示制御部は、前記モーション解析結果に基づいて、前記画像に対してエフェクトをかける
    請求項1に記載のプログラム。
  7. 前記表示制御部は、前記モーション解析結果に含まれる前記モーションのリズム、種類、及び、強さのうち少なくとも1つに応じて、前記エフェクトの種類及び強さのうち少なくとも1つを調整する
    請求項6に記載のプログラム。
  8. 前記表示制御部は、前記モーション解析結果に基づいて、前記ユーザに対応するアバターに前記モーションと関連性のあるアニメーションを割り当てる
    請求項1に記載のプログラム。
  9. 前記表示制御部は、前記モーション解析結果に基づいて、前記ユーザに対応するアバターに前記モーションをさせる
    請求項1に記載のプログラム。
  10. 前記モーション解析部は、複数のユーザの前記センサデータに基づいて、前記複数のユーザのモーションを解析し、
    前記コンピュータを、
    前記複数のユーザのモーションリズムのシンク度を検出するシンク検出部として
    さらに機能させるための請求項1に記載のプログラム。
  11. 前記モーション解析部は、前記モーションのリズム度を検出し、
    前記表示制御部は、前記リズム度に応じて、前記画像を加工する
    請求項1に記載のプログラム。
  12. 前記センサ装置は、モーションセンサ装置である
    請求項1に記載のプログラム。
  13. 前記モーションセンサ装置は、加速度センサ、ジャイロセンサ、地磁気センサ、歪みセンサ、及び、気圧センサのうち少なくとも1つを備える
    請求項12に記載のプログラム。
  14. 前記ユーザの画像は、撮影部において撮影された前記ユーザの画像である
    請求項1に記載のプログラム。
  15. 前記コンピュータを、
    前記モーション解析結果に基づいて、前記撮影部の撮影タイミングを制御する撮影制御部として
    さらに機能させるための請求項14に記載のプログラム。
  16. ユーザの少なくとも1以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析するモーション解析部と、
    前記モーション解析部により得られるモーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する表示制御部と
    を備える情報処理装置。
  17. 情報処理装置が、
    ユーザの少なくとも1以上の検出位置に装着されたセンサ装置において検出された前記検出位置のセンサデータに基づいて、前記ユーザのモーションを解析し、
    モーションリズムを含むモーション解析結果に基づいて、前記ユーザの画像の表示を制御する
    情報処理方法。
JP2022193967A 2017-12-19 2022-12-05 情報処理装置、情報処理方法、及び、プログラム Active JP7424456B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017242674 2017-12-19
JP2017242674 2017-12-19
PCT/JP2018/044640 WO2019124069A1 (ja) 2017-12-19 2018-12-05 情報処理装置、情報処理方法、及び、プログラム
JP2019560940A JP7192794B2 (ja) 2017-12-19 2018-12-05 情報処理装置、情報処理方法、及び、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019560940A Division JP7192794B2 (ja) 2017-12-19 2018-12-05 情報処理装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2023022265A true JP2023022265A (ja) 2023-02-14
JP7424456B2 JP7424456B2 (ja) 2024-01-30

Family

ID=66994647

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019560940A Active JP7192794B2 (ja) 2017-12-19 2018-12-05 情報処理装置、情報処理方法、及び、プログラム
JP2022193967A Active JP7424456B2 (ja) 2017-12-19 2022-12-05 情報処理装置、情報処理方法、及び、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019560940A Active JP7192794B2 (ja) 2017-12-19 2018-12-05 情報処理装置、情報処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US20200388190A1 (ja)
EP (1) EP3730196A4 (ja)
JP (2) JP7192794B2 (ja)
CN (1) CN111315453B (ja)
WO (1) WO2019124069A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009084A1 (ja) * 2017-07-05 2019-01-10 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
CN112100436B (zh) * 2020-09-29 2021-07-06 新东方教育科技集团有限公司 舞蹈片段识别方法、舞蹈片段识别装置和存储介质
KR102490769B1 (ko) * 2021-04-22 2023-01-20 국민대학교산학협력단 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
US20220385748A1 (en) * 2021-05-27 2022-12-01 Qualcomm Incorporated Conveying motion data via media packets
WO2023189649A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理システム、プログラムおよび情報処理方法
US12052113B2 (en) 2022-05-27 2024-07-30 Ricoh Company, Ltd. Information processing apparatus, information processing system, method for providing rhythm, and non-transitory recording medium

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325666A (ja) * 2000-01-01 2000-11-28 Konami Co Ltd ダンスゲーム装置
JP2004248830A (ja) * 2003-02-19 2004-09-09 Kato Seisakusho:Kk 弦楽器を用いたリズムゲーム装置
JP2006505167A (ja) * 2002-11-01 2006-02-09 シンクロ アーツ リミテッド 画像と自動同期させるサウンド置換に使用する方法及び装置
JP2008299631A (ja) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
JP2010046471A (ja) * 2008-07-23 2010-03-04 Sega Corp ゲーム装置及びゲーム制御方法、ゲームを制御するプログラム、プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP2011087794A (ja) * 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
JP2011239937A (ja) * 2010-05-18 2011-12-01 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム
WO2014150457A2 (en) * 2013-03-15 2014-09-25 Nike, Inc. Feedback signals from image data of athletic performance
JP2015066107A (ja) * 2013-09-27 2015-04-13 ブラザー工業株式会社 情報処理装置及びプログラム
US20150290495A1 (en) * 2007-04-19 2015-10-15 Nike, Inc. Footwork Training System and Method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5344323A (en) * 1993-02-16 1994-09-06 Les Burns Teaching recognition of body movement errors in dancing
US6266623B1 (en) * 1994-11-21 2001-07-24 Phatrat Technology, Inc. Sport monitoring apparatus for determining loft time, speed, power absorbed and other factors such as height
JP2001517115A (ja) * 1997-03-12 2001-10-02 ニューロコム・インターナショナル・インク 訓練のプログラムを監視するシステムと方法
US6018705A (en) * 1997-10-02 2000-01-25 Personal Electronic Devices, Inc. Measuring foot contact time and foot loft time of a person in locomotion
US6778866B1 (en) * 2000-03-16 2004-08-17 Ted S. Bettwy Method and apparatus for learning specific body motion
US20040219498A1 (en) * 2002-04-09 2004-11-04 Davidson Lance Samuel Training apparatus and methods
US20070006489A1 (en) * 2005-07-11 2007-01-11 Nike, Inc. Control systems and foot-receiving device products containing such systems
US7827000B2 (en) * 2006-03-03 2010-11-02 Garmin Switzerland Gmbh Method and apparatus for estimating a motion parameter
JP2007292847A (ja) * 2006-04-21 2007-11-08 Victor Co Of Japan Ltd 楽曲編集・再生装置
KR100784075B1 (ko) * 2007-02-13 2007-12-10 강태구 온라인 작곡을 위한 시스템, 방법 및 컴퓨터 판독 가능한기록 매체
WO2009152456A2 (en) * 2008-06-13 2009-12-17 Nike, Inc. Footwear having sensor system
US20100152619A1 (en) * 2008-12-16 2010-06-17 24/8 Llc System, method, and computer-program product for measuring pressure points
EP3042485B1 (en) * 2013-09-05 2020-03-11 NIKE Innovate C.V. Conducting sessions with captured image data of physical activity and uploading using token-verifiable proxy uploader
JP2019004927A (ja) * 2017-06-20 2019-01-17 カシオ計算機株式会社 電子機器、リズム情報報知方法及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325666A (ja) * 2000-01-01 2000-11-28 Konami Co Ltd ダンスゲーム装置
JP2006505167A (ja) * 2002-11-01 2006-02-09 シンクロ アーツ リミテッド 画像と自動同期させるサウンド置換に使用する方法及び装置
JP2004248830A (ja) * 2003-02-19 2004-09-09 Kato Seisakusho:Kk 弦楽器を用いたリズムゲーム装置
US20150290495A1 (en) * 2007-04-19 2015-10-15 Nike, Inc. Footwork Training System and Method
JP2008299631A (ja) * 2007-05-31 2008-12-11 Sony Ericsson Mobilecommunications Japan Inc コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
JP2010046471A (ja) * 2008-07-23 2010-03-04 Sega Corp ゲーム装置及びゲーム制御方法、ゲームを制御するプログラム、プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP2011087794A (ja) * 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
US9079058B2 (en) * 2009-10-23 2015-07-14 Sony Corporation Motion coordination operation device and method, program, and motion coordination reproduction system
JP2011239937A (ja) * 2010-05-18 2011-12-01 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム処理方法、ならびに、プログラム
WO2014150457A2 (en) * 2013-03-15 2014-09-25 Nike, Inc. Feedback signals from image data of athletic performance
JP2015066107A (ja) * 2013-09-27 2015-04-13 ブラザー工業株式会社 情報処理装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GODBOUT,ANDREW; BOYD,JEFFREY EDWIN: ""RhythmicSonic Feed back for Speed Skating by Real-Time MovementSynchronization"", INTERNATIONALJOURNAL OF COMPUTER SCIENCE IN SPORT, vol. 第11巻,第3号, JPN6023044680, 2012, AT, pages 37 - 51, ISSN: 0005186983 *
GODBOUT,ANDREW; THORNTON,CHRIS; BOYD,JEFFREY EDWIN: ""MO BILE SONIFICATION[SYNCHRONIZATION] FOR ATHLETES:A CASESTUDYIN COMMERCIAL IZATION OF SONIFICATION", (INPROCEEDINGS OF)THE 20TH INTERNATIO NAL CONFERENCE ON AUDITORYDISPLAY(ICAD-2014), JPN6023044681, June 2014 (2014-06-01), US, pages 1 - 8, ISSN: 0005186984 *

Also Published As

Publication number Publication date
US20200388190A1 (en) 2020-12-10
JP7192794B2 (ja) 2022-12-20
JPWO2019124069A1 (ja) 2020-12-10
EP3730196A4 (en) 2021-06-09
CN111315453A (zh) 2020-06-19
CN111315453B (zh) 2022-04-19
EP3730196A1 (en) 2020-10-28
JP7424456B2 (ja) 2024-01-30
WO2019124069A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP7192794B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20200237264A1 (en) Information processor, information processing method, and program
US8979710B2 (en) Adaptable exercise system and method
JP5867432B2 (ja) 情報処理装置、記録媒体および情報処理システム
US20220279890A1 (en) Apparel based dynamic movement scoring
US20150262503A1 (en) Motion coordination operation device and method, program, and motion coordination reproduction system
US11682157B2 (en) Motion-based online interactive platform
JP6830829B2 (ja) プログラム、表示装置、表示方法、放送システム及び放送方法
JP4919467B2 (ja) 活動支援装置
CN114303142A (zh) 影像生成装置
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
JP7307447B2 (ja) モーションキャプチャーシステム、モーションキャプチャープログラム及びモーションキャプチャー方法
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
US20220111283A9 (en) Adaptable exercise system and method
JP5928279B2 (ja) 運動支援装置及びプログラム
JP2019033868A (ja) 通信装置及び通信方法
JP2019103728A (ja) プログラム及びゲームシステム
WO2022132840A1 (en) Interactive mixed reality audio technology
Menache Motion capture primer
CN112818786B (zh) 一种基于体感的互动式影像动作匹配方法及系统
US20240135617A1 (en) Online interactive platform with motion detection
JP2019103729A (ja) プログラム及びゲームシステム
Suzuki et al. Beat playing system based on rhythmic human motions
JP2016015780A (ja) 情報処理装置、記録媒体および情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R151 Written notification of patent or utility model registration

Ref document number: 7424456

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151