JP2019004927A - 電子機器、リズム情報報知方法及びプログラム - Google Patents

電子機器、リズム情報報知方法及びプログラム Download PDF

Info

Publication number
JP2019004927A
JP2019004927A JP2017120575A JP2017120575A JP2019004927A JP 2019004927 A JP2019004927 A JP 2019004927A JP 2017120575 A JP2017120575 A JP 2017120575A JP 2017120575 A JP2017120575 A JP 2017120575A JP 2019004927 A JP2019004927 A JP 2019004927A
Authority
JP
Japan
Prior art keywords
rhythm
electronic device
electronic devices
same
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017120575A
Other languages
English (en)
Inventor
太 山本
Futoshi Yamamoto
太 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2017120575A priority Critical patent/JP2019004927A/ja
Priority to US15/997,063 priority patent/US10511398B2/en
Publication of JP2019004927A publication Critical patent/JP2019004927A/ja
Priority to JP2020212024A priority patent/JP6977857B2/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00Instruments in which the tones are generated by electromechanical means
    • G10H3/12Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/18Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a string, e.g. electric guitar
    • G10H3/186Means for processing the signal picked up from the strings
    • G10H3/188Means for processing the signal picked up from the strings for converting the signal to digital format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】チームスポーツの練習をアシストして複数のメンバー間でリズムを共有し、連携力の向上に寄与することが可能な電子機器、リズム情報報知方法及びプログラムを提供する。【解決手段】通信距離が限定された範囲内で他の電子機器と無線接続される近距離無線通信部14、近距離無線アンテナ24を用いた電子機器10であって、範囲内に他の電子機器が存在するか否かを判定し、他の電子機器が自機器と同一の行動をとっているか否かを判定し、他の電子機器が存在すると判定し、且つ他の電子機器が自機器と同一の行動をとっていると判定した場合に、他の電子機器に対して同一のテンポのリズム信号を発信する要求を送信するCPU11を含んだ制御部CNTを備える。【選択図】図1

Description

本発明は、例えばチームスポーツでの連携力を強化する練習用アシスト機器などに好適な電子機器、リズム情報報知方法及びプログラムに関する。
専用のメトロノームやリズムマシンを用意しないで、どこでも演奏をしたりダンスをしたりすることを可能とするための技術が提案されている。(例えば、特許文献1)
上記特許文献に記載された技術では、腕時計等にメトロノーム機能やリズムマシン機能等を負荷するものとしている。
特開平11−072586号公報
ところで、複数のメンバーが参加する、サッカーやバスケットボールなどのチーム対戦型スポーツにおいて、メンバー間の連携力が勝利のための重要な要素となっている。複数のメンバー間の連携が要求される場面は多々存在し、例えばパスを出すメンバーと同パスを受けるメンバーとのタイミングが合うことや、スクリーンアウトやカットインのタイミングが合うことで、試合を有利に進めることができる。
従来、連携力は日々の練習の積み重ねにより、多くの時間を共有することで強化されるものと認識されており、その成果として、特定のメンバー間では「何となく波長が合う」などと評されることがあった。また、例えば「南米の選手達には独特のリズムがある」などと評されることがあった。
しかしながら、上記特許文献に記載された技術では、個人のスキルを向上させることは可能であるが、メンバー間の連携力を向上することはできない。
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、チームスポーツの練習をアシストして複数のメンバー間でリズムを共有し、連携力の向上に寄与することが可能な電子機器、リズム情報報知方法及びプログラムを提供することにある。
本発明の一態様は、所定範囲内に複数の電子機器が存在するか否かを判定する存在判定手段、及び、複数の電子機器が同一の行動をとっているか否かを判定する行動判定手段、の少なくとも一方と、上記存在判定手段で複数の電子機器が存在すると判定した場合、または、上記行動判定手段で複数の電子機器が同一の行動をとっていると判定した場合、の少なくとも一方が判定された場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう制御手段と、を備える。
本発明によれば、チームスポーツの練習をアシストして複数のメンバー間でリズムを共有し、連携力の向上に寄与することが可能となる。
本発明の一実施形態に係るリズム発信器の電子回路の機能構成を示すブロック図。 同実施形態に係る第1の動作例でのマスタ機側の制御部による処理内容を示すフローチャート。 同実施形態に係る第2の動作例でのマスタ機側の制御部による処理内容を示すフローチャート。 同実施形態に係る第3の動作例でのマスタ機側の制御部による処理内容を示すフローチャート。
以下、本発明を、例えばサッカー等のチームスポーツの練習で使用するリズム発信器に適用した場合の一実施形態について図面を参照して説明する。
[構成]
図1は、本実施形態に係るリズム発信器10の電子回路の機能構成を示すブロック図である。同図において、このリズム発信器10は、CPU11、メインメモリ12、及びプログラムメモリ13でなる制御部CNTを中心として動作する。
すなわち、制御部CNTでは、フラッシュメモリ等の不揮発性メモリで構成されるプログラムメモリ13に記憶されている動作プログラムや各種固定データ等を、CPU11が読み出して、SRAM等で構成されるメインメモリ12に展開して保持させた上で、その動作プログラムを順次CPU11が実行することで、後述する動作等を統括して制御する。
この制御部CNTに対し、バスBを介して、近距離無線通信部14、GPS(Global Positioning System:全地球測位システム)受信部15、音声処理部16、バイブレータ17、表示部18、3軸加速度センサ19、ジャイロセンサ20、地磁気センサ21、心拍センサ22、及びキー操作部23が接続される。
近距離無線通信部14は、通信範囲が限定される通信方式として、例えばBluetooth(登録商標)(以下「ブルートゥース」と称する)等の近距離無線通信規格に則って、近距離無線アンテナ24を用いて、このリズム発信器10と同様の構成を有する他のリズム発信器と無線接続してデータの送受を行なうことで、相互間でリズム情報を共有する。
ここで近距離無線通信部14は、例えばブルートゥース(登録商標)のクラス1の出力クラスにより、半径100[m]程度の範囲内で他のリズム発信器と通信可能であるものとする。
GPS受信部15は、GPSアンテナ25を用いて、図示しない複数のGPS衛星からの到来電波を受信して、現在位置の絶対的な3次元座標位置(緯度/経度/高度)と現在時刻とを算出する。
音声処理部16は、例えばPCM音源を備え、与えられた音声データに基づいた音声によりスピーカ部26を駆動して拡声放音させる。
また、上記スピーカ部26を、可聴音を発する通常のスピーカではなく、骨伝導スピーカとなる振動子で構成して、この振動子を振動駆動させるものとしても良い。その場合、このリズム発信器10を所持してスポーツの練習を行なうメンバーの耳部近傍、例えばこめかみや耳後部の比較的皮下脂肪が薄い位置に有線接続される当該振動子を装着することにより、周囲の音に対する聴覚を阻害することなく、直接リズム音等を内耳を介して聴くことができる。
また音声処理部16は、マイクロホン27より入力したアナログの音声信号をデジタル化し、制御部CNTとの相互処理によりフィルタリング処理、音声認識処理等を行なうことによって、予め登録した話者、例えばこのリズム発信器10を使用するメンバーたちの指導者の声のみを抽出して認識可能な構成とするものとしてもよい。
バイブレータ17は、偏心したウェイトを回転軸に装着した小型モータとそのドライバで構成され、設定に応じてスピーカ部26でリズム音を出力するタイミングに同期して振動する。
表示部18は、例えば赤色LED(発光ダイオード)を備え、上記設定に応じてスピーカ部26でリズム音を出力するタイミングに同期して点灯する。
3軸加速度センサ19は、互いに直交する3軸に沿ったそれぞれの加速度を検出することで、このリズム発信器10の姿勢(重力加速度方向を含む)と与えられている外力の方向とを検出する。
ジャイロセンサ20は、例えば振動型ジャイロスコープで構成され、角速度を検出することで、リズム発信器10の姿勢変化の度合いを検出する。
地磁気センサ21は、例えば磁気抵抗効果素子(MRセンサ)で構成され、磁北方向を検出する。
上記3軸加速度センサ19、ジャイロセンサ20、及び地磁気センサ21の各検出出力を組み合わせることにより、上記GPSアンテナ25、GPS受信部15による現在位置の絶対値を検出できない、屋内などの環境下でも、3次元空間内での自律航法に基づく方位を考慮した行動軌跡を得ることができる。
心拍センサ22は、例えばこのリズム発信器10を所持するプレイヤーの胸部に装着される心電計とトランスミッタ、及びその受信部を含み、該プレイヤーの心拍をリアルタイムで検出する。
このリズム発信器10は、マッチ箱程度の大きさを有する本体筐体を、例えばサッカーであれば練習着の背面上部の内面側上部に設けられたポケット状の収納部などに収納することで、メンバーの練習を極力阻害することなく、使用することが可能となる。
[第1の動作例]
ここでは、練習前のブルートゥース(登録商標)によるペアリング設定時に、各メンバーが装着する複数のリズム発信器10,10,…中で、便宜上マスタ機として設定されたリズム発信器10による処理を用いて、他のスレーブ機の動作も合わせて説明する。
図2は、練習中にマスタ機となるリズム発信器10により実行される、基本的な処理の流れを示すフローチャートである。その処理当初にCPU11は、既存のリズム情報での周期とタイミングとに基づいて音声処理部16、スピーカ部26によるリズム音の発生を行なう(ステップS101)。
この初期動作時の既存のリズム情報に基づいたリズム音の発生は、他のスレーブ機においても同様に行なうものとする。
次にCPU11は、近距離無線通信部14及び近距離無線アンテナ24を用いて、予めペアリング設定した他のスレーブ機の動向を順次サーチする(ステップS102)。
このサーチの結果、他のスレーブ機の応答があったか否かを判断する(ステップS103)。
ここで他のスレーブ機から一切の応答がないと判断した場合(ステップS103のNo)、CPU11は再び上記ステップS101からの処理に戻る。
また上記ステップS103において、少なくともスレーブ機1台からの応答があったと判断した場合(ステップS103のYes)、次にCPU11はそれら応答のあった各スレーブ機に対して、行動のリズム情報を送信するよう要求する(ステップS104)。
ここでリズム情報としては、各スレーブ機となるリズム発信器10における、3軸加速度センサ19の出力から求められる上下動の周期、3軸加速度センサ19の出力とジャイロセンサ20、地磁気センサ21の出力とを組み合わせた、転回位置から次の転回位置までを夫々ベクトルに見立てた場合の各ベクトル長とベクトル方位の傾向から導出される、総合的なリズムの周期とタイミングとを含むと共に、心拍センサ22の出力による心拍数データを含んでいるものとする。
CPU11は、この要求を行なった全てのスレーブ機からのリズム情報が送信されてくるのを待機する(ステップS105)。
そして、要求を行なった全てのスレーブ機からリズム情報が送信されてきたと判断した時点で(ステップS105のYes)、CPU11は次に当該マスタ機における3軸加速度センサ19、ジャイロセンサ20、地磁気センサ21、及び地磁気センサ21の検出出力を取得した上で(ステップS106)、自機における総合的なリズムの周期とタイミングとを上記スレーブ機と同様に算出する(ステップS107)。
次にCPU11は、自機内で算出した総合的なリズム情報を基準として、上記ステップS105での待機時に得た他のスレーブ機のリズム情報で、予め設定される上下誤差範囲、例えばリズムの周期及びタイミング共にそれぞれ50[%]以内のものがあるか否かにより、同一のスポーツ、同一の練習を行なっている他のスレーブ機があるか否かを判断する(ステップS108)。
ここで、同一のスポーツ、同一の練習を行なっている他のスレーブ機が1台もないと判断した場合(ステップS108のNo)、CPU11は上記ステップS102からの処理に戻って、処理をやり直す。
また上記ステップS108において、同一のスポーツ、同一の練習を行なっている他のスレーブ機が少なくとも1台はあると判断した場合(ステップS108のYes)、CPU11はその該当するスレーブ機と自機のリズム情報による、予め用意された統合演算処理に基づいて共通するリズムとなる周期及びタイミングを決定する(ステップS109)。
そして、決定したリズム情報を該当するスレーブ機に対して設定させるべく、近距離無線通信部14及び近距離無線アンテナ24を介して、スレーブ機に送信する(ステップS110)。
これを受けたスレーブ機側の各リズム発信器10では、以後、そのリズム情報に基づいて音声処理部16、スピーカ部26によるリズム音の発生を行なうこととなる。
その後、CPU11はマスタ機である自機においても同様に、決定したリズム情報を設定して音声処理部16、スピーカ部26によるリズム音の発生を行なう(ステップS111)。
以上で、リズム音を共有する一連の環境設定が終了したこととなり、以後、再び上記ステップS102からの処理に戻る。
このように第1の動作例においては、チームスポーツの練習をアシストして複数のメンバー間でリズムを共有し、連携力の向上に寄与することが可能となる。
また上記動作例では、自機で得られるリズム情報と他機で得られるリズム情報との類似度から、予め設定した閾値により同一のスポーツ、同一の練習を行なっているかどうかを判断するものとしたので、同じ通信圏内で練習場所を共有しているだけの他者の存在を確実に排除して、より効率的に連携力の向上を目指した練習を行なうことができる。
[第2の動作例]
ここでは、練習前のブルートゥース(登録商標)によるペアリング設定時に、各メンバーが装着する複数のリズム発信器10,10,…中で、例えばキャプテンとなるメンバーなど、リーダーシップを持つメンバーが所持、装着するリズム発信器10をマスタ機として設定した場合の処理を、他のスレーブ機の動作も合わせて説明する。
なお以下の説明では、マスタ機のリズム発信器10に対して、近距離無線通信圏内にスレーブ機となる他のリズム発信器10が存在し、且つ同一のスポーツ、同一の練習を行なっている場合を前提として、リズム情報の調整を行なうための処理のみを抽出して説明する。
図3は、練習中にマスタ機となるリズム発信器10により実行される、基本的な処理の流れを示すフローチャートである。その処理当初にCPU11は、既存のリズム情報での周期とタイミングとに基づいて音声処理部16、スピーカ部26によるリズム音の発生を行なう(ステップS201)。
この初期動作時の既存のリズム情報に基づいたリズム音の発生は、他のスレーブ機においても同様に行なうものとする。
次にCPU11は、近距離無線通信部14及び近距離無線アンテナ24を用いて、予めペアリング設定した他のスレーブ機の動向を順次サーチする(ステップS202)。
このサーチの結果、他のスレーブ機が何台あるかを同一チーム員の数として取得する(ステップS203)。次いでCPU11は、マスタ機である自機の3軸加速度センサ19、ジャイロセンサ20、地磁気センサ21、及び地磁気センサ21の検出出力を取得した上で(ステップS204)、自機における総合的なリズムの周期とタイミングとを算出する(ステップS205)。
次にCPU11は、自機内で算出した総合的なリズム情報が、その前の周期で設定されているリズム情報と異なるか否かにより、このマスタ機間のリズム発信器10を装着したメンバーのリズムが変化したか否かを判断する(ステップS206)。
ここで自機内で算出した総合的なリズム情報が、その前の周期で設定されているリズム情報と同様であり、このマスタ機のリズム発信器10を装着したメンバーのリズムは変化していないと判断した場合(ステップS206のNo)、次にCPU11は、そのリズムとなってから予め設定された一定時間、例えば10分間が経過したか否かを判断する(ステップS209)。
ここで、そのリズムとなってからまだ予め設定された一定時間が経過していないと判断した場合(ステップS209のNo)、CPU11はそのまま上記ステップS202からの処理に戻り、同様の周期、タイミングでのリズム音の発生を維持する。
また上記ステップS209において、そのリズムとなってから予め設定された一定時間が経過したと判断した場合(ステップS209のYes)、CPU11は、予め設定されている他の新リズム情報を、他の全てのスレーブ機に対して設定させるべく、近距離無線通信部14及び近距離無線アンテナ24を介してスレーブ機に送信する(ステップS210)。
これを受けた各スレーブ機側のリズム発信器10では、以後、そのリズム情報に基づいて音声処理部16、スピーカ部26によるリズム音の発生を行なうこととなる。
その後、CPU11はマスタ機である自機においても同様に、新たに変更したリズム情報を設定して音声処理部16、スピーカ部26によるリズム音の発生を行なう(ステップS211)。
以上で、リズム音を共有する一連の環境設定が終了したこととなり、以後、再び上記ステップS202からの処理に戻る。
また上記ステップS206において、自機内で算出した総合的なリズム情報が、その前の周期で設定されているリズム情報とは異なり、このマスタ機のリズム発信器10を装着したメンバーのリズムが変化したと判断した場合(ステップS206のYes)、CPU11はこのマスタ機でのリズム情報に他の全てのスレーブ機を同期させるべく、この新たなリズム情報を、近距離無線通信部14及び近距離無線アンテナ24を介してスレーブ機に送信する(ステップS207)。
次いでCPU11はマスタ機である自機においても同様に、新たに検出したリズム情報を設定して音声処理部16、スピーカ部26によるリズム音の発生を行なう(ステップS208)。
以上で、マスタ機に追従した新たなリズム音を共有する一連の環境設定が終了したこととなり、以後、再び上記ステップS202からの処理に戻る。
このように第2の動作例においては、マスタ機となるリズム発信器10で検出されるリズム情報を優先して、他のスレーブ機でのリズム情報の発信を制御するものとしたので、マスタ機を適切に選択することで、チーム全体の連携力をより効率的に向上できるものと思われる。
また、チームスポーツとしてはサッカーを行なうことを想定して説明を行なったが、例えば複数のチームメンバーによる自転車のロードレース競技において、マスタ機のリズム発信器10を、そのチームのエースとなるメンバーが装着し、その他のスレーブ機となるリズム発信器10をアシストメンバーが装着するものとした場合に、エースとなるメンバーの体の動き(ケイデンス(クランク回転速度))からリズムを参照し、そのリズム周期を他のアシストメンバーに発信することで、時間当たりの変化が緩やかな速度変化が生じた際にも、チーム全体として適切に対応することが可能となり、より安全なグループでの走りを実現できる。
さらに、同じリズムで予め設定した一定の時間が経過した場合などには、上述した如くリズムの周期(テンポ)等を変えることにより、チーム全体としてのリズムが単調になるのを回避すると共に、多様なリズムへの対応力も含めて、さらなる連携力の向上を目指すことができる。
なお上記実施形態では、一旦リズムを設定してからの経過時間によりリズムを変える場合について説明したが、これに限らず、例えば予め設定した指導者の音声が、上記マイクロホン27、音声処理部16を介して抽出された場合や、マスタ機となるリズム発信器10のキー操作部23での手動キー操作等をトリガとして、リズムを可変するものとしてもよい。
[第3の動作例]
ここでは、練習前のブルートゥース(登録商標)によるペアリング設定時に、各メンバーが装着する複数のリズム発信器10,10,…中で、例えばサッカーであればミッドフィールダなど、攻守の中心となるメンバーが所持、装着するリズム発信器10をマスタ機として設定した場合の処理を、他のスレーブ機の動作も合わせて説明する。
なお以下の説明では、マスタ機のリズム発信器10に対して、近距離無線通信圏内にスレーブ機となる他のリズム発信器10が存在し、且つ同一のスポーツ、同一の練習を行なっている場合を前提として、リズム情報の調整を行なうための処理のみを抽出して説明する。
加えて、当該スポーツは、攻守に応じてチームメンバーの多くの位置が練習範囲内で移動するものであり、練習位置における、主として水平面に沿った当該練習範囲の座標情報(緯度/経度)と攻守の方向とが設定済であり、各メンバーの位置を統合することで、その重心位置等から、そのチームが攻守のいずれの状態であるのか、を計算により判断することが可能なスポーツであるものとする。
図4は、練習中にマスタ機となるリズム発信器10により実行される、基本的な処理の流れを示すフローチャートである。その処理当初にCPU11は、既存のリズム情報での周期とタイミングとに基づいて音声処理部16、スピーカ部26によるリズム音の発生を行なう(ステップS301)。
この初期動作時の既存のリズム情報に基づいたリズム音の発生は、他のスレーブ機においても同様に行なうものとする。
次にCPU11は、近距離無線通信部14及び近距離無線アンテナ24を用いて、予めペアリング設定した他のスレーブ機の位置情報を順次サーチする(ステップS302)。
このサーチの結果、他のスレーブ機の重心位置から自チームが攻守状態のいずれであるかを判定する(ステップS303)。
このとき、同チーム内の全メンバーが平等であるものとして、位置情報に対する平均値算出処理により重心位置を算出するものとしてもよい。
一方で、事前に設定したメンバー毎の重み付けにより、例えばサッカーでミッドフィールダとフォワード、ディフェンダなどそれぞれのポジションに応じた重み付けを行なって、攻撃と防御のいずれかを優先した練習を行なうか、あるいは特に攻撃や防御の基点となる特定の個人をより大きな重み付けとして、メンバーの個性を重視するなど、多様なバリエーションでの攻守判定を行なうものとしてもよい。
次いでCPU11は、マスタ機である自機の3軸加速度センサ19、ジャイロセンサ20、地磁気センサ21、及び地磁気センサ21の検出出力を取得した上で(ステップS304)、自機における総合的なリズムの周期とタイミングとを算出する(ステップS305)。
次にCPU11は、上記直前のステップS303での判定結果から、予め設定された直前の一定時間、例えば5分間内で、攻守のいずれの判定結果がより長かったかにより、守りとなっている時間の方が長かったかどうかを判断する(ステップS306)。
ここで、守っていた時間より、攻めていた時間の方が長かったと判断した場合(ステップS306のNo)、CPU11はその時点で設定されているリズムが正しいものとして、そのまま上記ステップS302からの処理に戻り、同様の周期、タイミングでのリズム音の発生を維持する。
また上記ステップS306において、守っていた時間が攻めていた時間より長かったと判断した場合(ステップS306のYes)、CPU11はチーム全体のリズム情報を変更するべく、新たなリズム情報を設定する(ステップS307)。具体的には、CPU11が、近距離無線通信部14及び近距離無線アンテナ24を介して他の全てのスレーブ機に対して新しいリズム情報への変更の指示を一斉送信するとともに、マスタ機である自機においても、新たなリズム情報を設定して音声処理部16、スピーカ部26によるリズム音の発生を行なわせる。
以上で、攻守の状況に応じて必要により新たなリズム音を設定する一連の処理が終了したこととなり、以後、再び上記ステップS302からの処理に戻る。
このように第3の動作例においては、味方となる複数のメンバーの位置に応じて攻守のいずれの状態であるのかを判定し、その判定結果に基づいて必要によりリズムの周期(テンポ)等を変えるものとしたので、良い状態でのリズムを自然と体得して、競技力と連携力の向上を目指すことができる。
なお上記実施形態においては、リズムを音声処理部16、スピーカ部26を用いて音により出力する場合について説明したが、合わせて、表示部18に用いられる赤色LED等によりリズム音と同期した点滅を行なわせることで、視覚的にも各メンバーが聞いているリズム音を認識できるようにすることも考えられる。
このようにすることで、例えば当該練習範囲全域を俯瞰できるような位置、例えばドローンを用いた空中から画像を撮影するものとして、各メンバーの連携力の度合いの強化の進捗度合いを撮影画像から定性的に判定するような画像処理システムを構築することも可能となる。
また上記実施形態では、各リズム発信器10の位置や動き等に応じてリズムを設定する場合について説明したが、これに加えて、心拍センサ22の出力によりリズム発信器10を装着したメンバーの心拍数を把握することで、その時点でメンバーにかかっている運動負荷を判断することができるため、それも加味してリズムの設定を行なうものとしてもよい。
例えば、複数のメンバーの心拍数の平均が一定の範囲、例えば120[拍/分]〜180[拍/分]の範囲内に収まるように、強い運動負荷と弱い運動負荷とを一定時間毎に交互に切り替えて与えるようなインターバルトレーニングを実行する場合に、当該運動負荷の強弱に合わせるべくリズムの設定を行なうことで、連携力のみならず、心肺機能の強化につながる練習を、より理解し易い自然な手法で提供できる。
また上記実施形態におけるリズム情報としては、マスタ機が当該リズムを生成するためのデータをスレーブ機に送信し、スレーブ機側で受信したデータを用いて自身のリズム発生器で当該リズムを発生するようにしてもよいし、マスタ機が発生した当該リズム音の音声データをスレーブ機に送信し、スレーブ機側で受信したリズム音の音声データをスピーカ部26で再生するようにしてもよい。
また上記実施形態では、マスタ機及びスレーブ機をプレイヤー自身が装着した場合について説明したが、マスタ機はコーチや監督が所持し、スレーブ機をプレイヤーに装着し、コーチや監督がマスタ機から所定のリズム情報を、プレイヤーが装着したスレーブ機に送信するようにしてもよい。
なお上記実施形態は、特定のチームスポーツに適用した場合について説明したが、本発明はチームスポーツの種類等を限定するものではない。
また、通信範囲が限定される近距離無線通信方式として、例えばBluetooth(登録商標)を用いる場合について説明したが、本発明は通信方式等を限定するものでもない。
さらに上記実施形態では、所定範囲内に複数のリズム発信器10が存在するか否かを、通信範囲が限定される近距離無線通信方式による通信応答があったか否かで判定したが、他の方法で判定してもよい。その場合は、例えば、リズム発信器10が現在位置を測位する測位手段を備え、各リズム発信器10の位置情報に基づいて、所定範囲内に複数のリズム発信器10が存在するか否かを判定してもよい。
また上記実施形態では、所定範囲内に複数のリズム発信器10が存在し、且つ複数のリズム発信器10が同一の行動をとっている場合に、複数のリズム発信器10に対して同一のテンポのリズム信号を発信するよう要求するようにしたが、所定範囲内に複数のリズム発信器10が存在している場合、又は複数のリズム発信器10が同一の行動をとっている場合、の少なくとも一方の場合に、複数のリズム発信器10に対して同一のテンポのリズム信号を発信するよう要求するようにしてもよい。
その他、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
所定範囲内に複数の電子機器が存在するか否かを判定する存在判定手段、及び、複数の電子機器が同一の行動をとっているか否かを判定する行動判定手段、の少なくとも一方と、
上記存在判定手段で複数の電子機器が存在すると判定した場合、または、上記行動判定手段で複数の電子機器が同一の行動をとっていると判定した場合、の少なくとも一方が判定された場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう制御手段と、
を備える電子機器。
[請求項2]
所定範囲内に複数の電子機器が存在するか否かを判定する存在判定手段と、
複数の電子機器が同一の行動をとっているか否かを判定する行動判定手と、を備え、
上記制御手段は、上記存在判定手段で複数の電子機器が存在すると判定し、且つ上記行動判定手段で複数の電子機器が同一の行動をとっていると判定した場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう、
請求項1記載の電子機器。
[請求項3]
上記存在判定手段は、上記所定範囲内に自機器以外の他の電子機器が存在するか否かを判定し、
上記行動判定手段は、他の電子機器が自機器と同一の行動をとっているか否かを判定し、
上記制御手段は、上記存在判定手段で他の電子機器が存在すると判定し、且つ上記行動判定手段で他の電子機器が自機器と同一の行動をとっていると判定した場合に、他の電子機器に対して同一のテンポのリズム信号を発信する要求を送信する、
請求項2記載の電子機器。
[請求項4]
上記行動判定手段は、他の電子機器化が自機器と同一のチームスポーツで使用されているか否かを判定する、請求項3記載の電子機器。
[請求項5]
上記制御手段は、予め設定されたタイミングでテンポの異なるリズム信号を発信する要求を行なう、請求項1乃至4いずれか記載の電子機器。
[請求項6]
自機器に与えられる外力を含む複数の環境情報を検出する検出手段と、
をさらに備え、
上記制御手段は、上記検出手段で得た複数の環境情報からテンポを決定して、同テンポでのリズム信号を発信する要求を行なう、
請求項1乃至5いずれか記載の電子機器。
[請求項7]
上記制御手段が送信するリズム信号の発信要求は、音、振動、及び光の少なくとも1つを含む、請求項1乃至6いずれか記載の電子機器。
[請求項8]
上記制御手段は、他の電子機器と自機器の位置関係、及び前回リズム信号を発信する要求を行なってからの経過時間の少なくとも一方に基づいて、テンポの異なるリズム信号を発信する要求を行なう、請求項5記載の電子機器。
[請求項9]
上記検出手段は、3次元空間内での位置座標、加速度、角速度、地磁気、及び機器装着者の心拍数の少なくとも複数の環境情報を検出する、請求項6記載の電子機器。
[請求項10]
電子機器でのリズム情報報知方法であって、
所定範囲内に複数の電子機器が存在するか否かを判定する存在判定工程、及び複数の電子機器が同一の行動をとっているか否かを判定する行動判定工程、の少なくとも一方と、
上記存在判定工程で複数の電子機器が存在すると判定した場合、または上記行動判定工程で複数の電子機器が同一の行動をとっていると判定した場合、の少なくとも一方が判定された場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう制御工程と、
を有するリズム情報報知方法。
[請求項11]
電子機器が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
所定範囲内に複数の電子機器が存在するか否かを判定する存在判定手段、及び複数の電子機器が同一の行動をとっているか否かを判定する行動判定手段、の少なくとも一方と、
上記存在判定手段で複数の電子機器が存在すると判定した場合、または上記行動判定手段で複数の電子機器が同一の行動をとっていると判定した場合、の少なくとも一方が判定された場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう制御手段、
として機能させるプログラム。
10…リズム発信器
11…CPU
12…メインメモリ
13…プログラムメモリ
14…近距離無線通信部
15…GPS受信部
16…音声処理部
17…バイブレータ
18…表示部
19…3軸加速度センサ
20…ジャイロセンサ
21…地磁気センサ
22…心拍センサ
23…キー操作部
24…近距離無線アンテナ
25…GPSアンテナ
26…スピーカ部
27…マイクロホン
B…バス
CNT…制御部
本発明の一態様は、所定範囲内に電子機器を保持するメンバーが複数存在するか否かを判定する存在判定手段、及び、電子機器を保持する複数のメンバーが同一の行動をとっているか否かを判定する行動判定手段、の少なくとも一方と、上記存在判定手段で所定範囲内に電子機器を保持するメンバーが複数存在すると判定した場合、または、上記行動判定手段で電子機器を保持する複数のメンバーが同一の行動をとっていると判定した場合、の少なくとも一方が判定された場合に、複数の電子機器に対して、上記複数のメンバーの連携力の向上を促すための同一のテンポのリズム信号を発信する要求を行なう制御手段と、を備える。

Claims (11)

  1. 所定範囲内に複数の電子機器が存在するか否かを判定する存在判定手段、及び、複数の電子機器が同一の行動をとっているか否かを判定する行動判定手段、の少なくとも一方と、
    上記存在判定手段で複数の電子機器が存在すると判定した場合、または、上記行動判定手段で複数の電子機器が同一の行動をとっていると判定した場合、の少なくとも一方が判定された場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう制御手段と、
    を備える電子機器。
  2. 所定範囲内に複数の電子機器が存在するか否かを判定する存在判定手段と、
    複数の電子機器が同一の行動をとっているか否かを判定する行動判定手と、を備え、
    上記制御手段は、上記存在判定手段で複数の電子機器が存在すると判定し、且つ上記行動判定手段で複数の電子機器が同一の行動をとっていると判定した場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう、
    請求項1記載の電子機器。
  3. 上記存在判定手段は、上記所定範囲内に自機器以外の他の電子機器が存在するか否かを判定し、
    上記行動判定手段は、他の電子機器が自機器と同一の行動をとっているか否かを判定し、
    上記制御手段は、上記存在判定手段で他の電子機器が存在すると判定し、且つ上記行動判定手段で他の電子機器が自機器と同一の行動をとっていると判定した場合に、他の電子機器に対して同一のテンポのリズム信号を発信する要求を送信する、
    請求項2記載の電子機器。
  4. 上記行動判定手段は、他の電子機器化が自機器と同一のチームスポーツで使用されているか否かを判定する、請求項3記載の電子機器。
  5. 上記制御手段は、予め設定されたタイミングでテンポの異なるリズム信号を発信する要求を行なう、請求項1乃至4いずれか記載の電子機器。
  6. 自機器に与えられる外力を含む複数の環境情報を検出する検出手段と、
    をさらに備え、
    上記制御手段は、上記検出手段で得た複数の環境情報からテンポを決定して、同テンポでのリズム信号を発信する要求を行なう、
    請求項1乃至5いずれか記載の電子機器。
  7. 上記制御手段が送信するリズム信号の発信要求は、音、振動、及び光の少なくとも1つを含む、請求項1乃至6いずれか記載の電子機器。
  8. 上記制御手段は、他の電子機器と自機器の位置関係、及び前回リズム信号を発信する要求を行なってからの経過時間の少なくとも一方に基づいて、テンポの異なるリズム信号を発信する要求を行なう、請求項5記載の電子機器。
  9. 上記検出手段は、3次元空間内での位置座標、加速度、角速度、地磁気、及び機器装着者の心拍数の少なくとも複数の環境情報を検出する、請求項6記載の電子機器。
  10. 電子機器でのリズム情報報知方法であって、
    所定範囲内に複数の電子機器が存在するか否かを判定する存在判定工程、及び複数の電子機器が同一の行動をとっているか否かを判定する行動判定工程、の少なくとも一方と、
    上記存在判定工程で複数の電子機器が存在すると判定した場合、または上記行動判定工程で複数の電子機器が同一の行動をとっていると判定した場合、の少なくとも一方が判定された場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう制御工程と、
    を有するリズム情報報知方法。
  11. 電子機器が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
    所定範囲内に複数の電子機器が存在するか否かを判定する存在判定手段、及び複数の電子機器が同一の行動をとっているか否かを判定する行動判定手段、の少なくとも一方と、
    上記存在判定手段で複数の電子機器が存在すると判定した場合、または上記行動判定手段で複数の電子機器が同一の行動をとっていると判定した場合、の少なくとも一方が判定された場合に、上記複数の電子機器に対して同一のテンポのリズム信号を発信する要求を行なう制御手段、
    として機能させるプログラム。
JP2017120575A 2017-06-20 2017-06-20 電子機器、リズム情報報知方法及びプログラム Pending JP2019004927A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017120575A JP2019004927A (ja) 2017-06-20 2017-06-20 電子機器、リズム情報報知方法及びプログラム
US15/997,063 US10511398B2 (en) 2017-06-20 2018-06-04 Electronic device for improving cooperation among a plurality of members
JP2020212024A JP6977857B2 (ja) 2017-06-20 2020-12-22 報知システム、報知方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017120575A JP2019004927A (ja) 2017-06-20 2017-06-20 電子機器、リズム情報報知方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020212024A Division JP6977857B2 (ja) 2017-06-20 2020-12-22 報知システム、報知方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2019004927A true JP2019004927A (ja) 2019-01-17

Family

ID=64658356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017120575A Pending JP2019004927A (ja) 2017-06-20 2017-06-20 電子機器、リズム情報報知方法及びプログラム

Country Status (2)

Country Link
US (1) US10511398B2 (ja)
JP (1) JP2019004927A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019004927A (ja) * 2017-06-20 2019-01-17 カシオ計算機株式会社 電子機器、リズム情報報知方法及びプログラム
US20200388190A1 (en) * 2017-12-19 2020-12-10 Sony Corporation Information processing apparatus, information processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087794A (ja) * 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
WO2013099629A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 情報処理装置及び方法
WO2015098302A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 解析装置、記録媒体および解析方法
JP5954288B2 (ja) * 2013-09-27 2016-07-20 ブラザー工業株式会社 情報処理装置及びプログラム
JP2016185226A (ja) * 2015-03-27 2016-10-27 オムロンヘルスケア株式会社 運動情報測定装置、運動管理方法、及び運動管理プログラム
US20160342199A1 (en) * 2015-05-19 2016-11-24 Spotify Ab Heart Rate Control Based Upon Media Content Selection

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3307567B2 (ja) 1997-08-21 2002-07-24 哲哉 小室 ミュージシャン及びダンサー用電子時計
US6434398B1 (en) * 2000-09-06 2002-08-13 Eric Inselberg Method and apparatus for interactive audience participation at a live spectator event
US20110072955A1 (en) * 2005-10-06 2011-03-31 Turner William D System and method for pacing repetitive motion activities
US8324492B2 (en) * 2006-04-21 2012-12-04 Vergence Entertainment Llc Musically interacting devices
EP2203893A4 (en) * 2007-10-30 2014-05-07 Hewlett Packard Development Co INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION
US7839269B2 (en) * 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
US20100079585A1 (en) * 2008-09-29 2010-04-01 Disney Enterprises, Inc. Interactive theater with audience participation
FI123245B (fi) * 2008-12-02 2013-01-15 Kineware Oy Fyysisen harjoittelun ohjaus
JP6003084B2 (ja) 2011-03-09 2016-10-05 株式会社ニコン 電子機器及びグループ化方法
US20120244969A1 (en) * 2011-03-25 2012-09-27 May Patents Ltd. System and Method for a Motion Sensing Device
US10325627B2 (en) * 2014-12-15 2019-06-18 Sony Corporation Information processing method and image processing apparatus
US20170006356A1 (en) * 2015-07-01 2017-01-05 Microsoft Corporation Augmented experience of media presentation events
US10775941B2 (en) * 2016-12-30 2020-09-15 Jason Francesco Heath Sensorized spherical input and output device, systems, and methods
JP2019004927A (ja) * 2017-06-20 2019-01-17 カシオ計算機株式会社 電子機器、リズム情報報知方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087794A (ja) * 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
WO2013099629A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 情報処理装置及び方法
JP5954288B2 (ja) * 2013-09-27 2016-07-20 ブラザー工業株式会社 情報処理装置及びプログラム
WO2015098302A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 解析装置、記録媒体および解析方法
JP2016185226A (ja) * 2015-03-27 2016-10-27 オムロンヘルスケア株式会社 運動情報測定装置、運動管理方法、及び運動管理プログラム
US20160342199A1 (en) * 2015-05-19 2016-11-24 Spotify Ab Heart Rate Control Based Upon Media Content Selection

Also Published As

Publication number Publication date
US10511398B2 (en) 2019-12-17
US20180367231A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
US8456298B2 (en) Apparatus and method for portable tracking
US10684304B2 (en) Foot exercise motion analysis device during moving exercise
US20190321728A1 (en) Game device, control method, and non-transitory computer-readable medium
US20170189803A1 (en) Task-oriented feedback using a modular sensing device
US20160184703A1 (en) Feedback for enhanced situational awareness
US9361067B1 (en) System and method for providing a software development kit to enable configuration of virtual counterparts of action figures or action figure accessories
JP6508061B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20170104541A (ko) 네비게이션 디바이스들 및 방법들
WO2017195390A1 (ja) 楽音・映像発生システム
JP2019033869A (ja) 情報処理装置、情報処理方法、及び、プログラム
EP3304953B1 (en) Transmitting athletic data using non-connected state of discovery signal
TW201936243A (zh) 人工智能之輔助操作系統
JP2019004927A (ja) 電子機器、リズム情報報知方法及びプログラム
US20180085673A1 (en) Vest and Motion Sensitive Wand for Interactive Game Play
US20210366450A1 (en) Information processing apparatus, information processing method, and recording medium
JP6977857B2 (ja) 報知システム、報知方法及びプログラム
US20190313176A1 (en) Portable audio equipment
US20220296455A1 (en) Clothing item
CN109544871A (zh) 安全范围监控方法和装置
KR20220138572A (ko) Ai 골프 카트 및 이를 포함하는 골프 시스템
JP6779938B2 (ja) ゲーム装置、制御方法及び制御プログラム
US20210178250A1 (en) Electronic Motion Sensing Devices and Method of Operating Same
KR101840745B1 (ko) 호스트의 골프 시뮬레이션 방법 및 호스트와 통신하는 전자 퍼팅 장치
JP6888436B2 (ja) 位置判定装置、位置判定システム、位置判定方法及びプログラム
WO2022039202A1 (ja) リモートレッスンシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201006